CN109863536B - 图像处理方法及图像处理装置 - Google Patents

Abstract

本发明涉及图像处理方法及图像处理装置。从孔的图像数据提取孔的边缘坐标群。从边缘坐标群提取对应于孔的4边的每一个的边坐标群。从边坐标群产生近似线。从边缘坐标群提取对应于孔的4个角部的每一个的角坐标群。从4条近似线中选择交叉的2条近似线，并对2条近似线分别设定多个相切点候选坐标。产生设定于2条近似线的一者的相切点候选坐标与设定于另一者的相切点候选坐标的能够取得的所有对。对产生的所有对进行从角坐标群借助多项式近似算出与对中所包含的2个相切点候选坐标相切的近似曲线的处理。从算出的所有近似曲线之中选择最接近角坐标群的近似曲线。

Description

图像处理方法及图像处理装置

技术领域

本发明是关于一种根据对解析对象物的解析区域及上述解析区域的周围进行拍摄所获得的图像数据而检测上述解析区域的边缘(轮廓或线等)的图像处理方法及图像处理装置。

背景技术

在生物细胞的解析中，使用被称为孔板(Well Plate)或微量板(Microplate)的设有多个孔(凹陷)的平板状容器。解析对象物的细胞是与培养液一并被保持于多个孔内。而且，利用相机拍摄细胞而进行解析。在利用相机拍摄时，对孔及其周围进行拍摄。因此，在图像处理中，必须精度良好地检测成为细胞的解析范围的孔壁的边界。

在专利文献1中，揭示有一种识别微量板的试验孔壁边界的方法。专利文献1所记载的方法从微量板的图像检测试验孔的壁边界的特征。而且，使用壁边界的特征产生壁边界的候选边缘图像。对该候选边缘图像进行解析，计算试验孔的外周边界的空间位置，使用该信息确定内周边界。将该内周边界作为试验孔区域。

现有技术文献

专利文献

专利文献1：日本专利第5920994号

发明内容

发明所要解决的问题

在专利文献1中，检测圆形或矩形孔的边缘。然而，孔有各种形状。例如，亦有孔为矩形且各角部为R形状者。此种形状中，在检测边缘时，必须检测孔各边的直线部及各角部的曲线部各自的边缘。但是，孔一般是经树脂成型的。因此，根据成型时的精度不同，存在直线部带有弧度，或邻接的直线部不为正交关系的情况。于是，亦存在对于每个角部的R形状的大小或形状不同的情况。有此种变形的孔的边缘利用专利文献1所记载的方法无法检测出。若检测错误的试验孔区域，则存在无法精度良好地进行细胞的解析的情况。

本发明是鉴于此种情况而完成的，其目的在于提供一种精度良好地检测圆角矩形状的解析区域的图像处理方法及图像处理装置。

解决问题的技术手段

为了解决上述问题，本申请的第1发明是一种图像处理方法，其根据对解析对象物的圆角矩形状的解析区域及所述解析区域的周围进行拍摄所获得的图像数据检测所述解析区域的边缘，且包含如下步骤：a)从所述图像数据提取所述解析区域的边缘坐标群；b)对所述解析区域的4条边部分别进行从所述边缘坐标群提取对应于所述解析区域的1条边部的边坐标群的处理；c)从4个所述边坐标群分别产生4条近似线；d)对所述解析区域的4个角部分别进行从所述边缘坐标群提取对应于所述解析区域的1个角部的角坐标群的处理；e)从所述4条近似线中选择交叉的第1近似线及第2近似线；f)对所述第1近似线及所述第2近似线分别设定多个相切点候选坐标；g)借助多项式近似，从最接近所述第1近似线及所述第2近似线的交点的所述角坐标群产生与设定于所述第1近似线的一个相切点候选坐标和设定于所述第2近似线的一个相切点候选坐标的至少一个以上的对相切的近似曲线；及h)从所述步骤g)中产生的近似曲线之中选择最接近所述步骤g)中所使用的所述角坐标群的近似曲线；针对可利用所述4条近似线取得的所有组合进行所述步骤e)至所述步骤h)。

本申请的第2发明是根据第1发明的图像处理方法，其中所述步骤g)于所述步骤f)中所设定的相切点候选坐标的所有对产生近似曲线。

本申请的第3发明是根据第1发明或第2发明的图像处理方法，其中所述步骤d)基于与交叉的2条所述近似线的交点的距离而提取所述角坐标群。

本申请的第4发明是根据第1至第3发明的图像处理方法，其中所述步骤c)是借助使用最小二乘法的多项式近似而产生所述近似线。

本申请的第5发明是根据第1至第4发明的图像处理方法，其中所述近似线为近似直线。

本申请的第6发明是根据第1至第5发明的图像处理方法，其中所述近似曲线为样条曲线。

本申请的第7发明是一种图像处理装置，其具备：相机，其对解析对象物的圆角矩形状的解析区域及所述解析区域的周围进行拍摄；及控制部，其根据利用所述相机拍摄所获得的图像数据检测所述解析区域的边缘；所述控制部包含如下步骤：a)从所述图像数据提取所述解析区域的边缘坐标群；b)对所述解析区域的4条边部分别进行从所述边缘坐标群提取对应于所述解析区域的1条边部的边坐标群的处理；c)从4个所述边坐标群分别产生4条近似线；d)对所述解析区域的4个角部分别进行从所述边缘坐标群提取对应于所述解析区域的1个角部的角坐标群的处理；e)从所述4条近似线中选择交叉的第1近似线及第2近似线；f)对所述第1近似线及所述第2近似线分别设定多个相切点候选坐标；g)借助多项式近似，从最接近所述第1近似线及所述第2近似线的交点的所述角坐标群算出与设定于所述第1近似线的一个相切点候选坐标和设定于所述第2近似线的一个相切点候选坐标的至少一个以上的对相切的近似曲线；h)从所述步骤g)中产生的近似曲线之中选择最接近所述步骤g)中所使用的所述角坐标群的近似曲线；针对可利用所述4条近似线取得的所有组合进行所述步骤e)至所述步骤h)。

发明的效果

根据本申请的第1发明至第7发明，以矩形的各边的近似线与使用该近似线产生的角部的近似曲线的组合，表示解析区域的边缘。角部与边部相比，存在无法精度良好地从图像数据提取边缘坐标群的情况。在该情况下，无法精度良好地检测角部的边缘。然而，根据本发明，借助使用矩形的各边的近似线产生角部的近似曲线，从而角部的边缘检测精度提高。由此，能够精度良好地检测解析区域的边缘。而且，借助掌握解析区域的边缘，可精度良好地进行对象物的解析。

附图说明

图1是表示设置于摄像装置的孔板的一例的立体图。

图2是表示摄像装置的构成的图。

图3是表示控制部与摄像装置内的各部的连接的方块图。

图4是表示边缘检测处理的流程图的图。

图5是用以说明边缘坐标群的图。

图6是用以说明边坐标群的图。

图7是用以说明根据边坐标群算出的近似直线的图。

图8是用以说明角坐标群的图。

图9是用以说明相切点候选坐标的图。

图10是表示算出孔的边缘的结果的图。

具体实施方式

以下，参照附图对本发明的优选实施方式进行说明。以下，本发明的“图像处理装置”是作为拍摄所设置的孔板的摄像装置进行说明。而且，作为在该摄像装置中执行的本发明的“图像处理方法”进行说明。

＜1.摄像装置的构成＞

图1是表示设置于摄像装置1的孔板9的一例的立体图。

孔板9是具有多个孔91的大致板状的试样容器。孔板9的材料例如使用使光透过的透明树脂。在孔板9的上表面规则地排列有多个孔91。孔91与培养液92一并保持成为解析对象物的多个细胞93。孔91的内侧是解析细胞93的解析区域。俯视时的孔91的形状为圆角矩形。圆角矩形为大致正方形，且4个角部成为R形状。

图2是表示本实施方式的摄像装置1的构成的图。

摄像装置1是一面使相机40的焦点位置变化一面拍摄多次孔板9内的多个细胞93而产生细胞93的图像数据的装置。摄像装置1例如在医药品的研究开发领域中，用于限缩成为医药品的候选的化合物的筛选工序。筛选工序的负责人对孔板9的多个孔91添加浓度或组成不同的化合物。然后，在摄像装置1中，取得孔板9的各孔91内的细胞93的图像数据。其后，基于所获得的图像数据，比较、分析细胞93的培养状态，由此验证添加至培养液92的化合物的效用。

但是，摄像装置1亦可于IPS细胞或ES细胞等多能性干细胞的研究、开发中用以观察细胞的分化等。

摄像装置1具备载台10、投光部20、投光部移动机构30、相机40、相机移动机构50及控制部60。

载台10是保持孔板9的载置台。摄像装置1内的载台10的位置至少在拍摄时固定。在载台10的中央设有上下贯通的矩形开口部11。另外，载台10于开口部11的边缘具有环状的支撑面12。孔板9嵌入至开口部11，并且由支撑面12支撑为水平。因此，各孔91的上部及下部未被载台10堵塞而露出。

投光部20配置在保持于载台10的孔板9的上方。投光部20具有LED等光源。在拍摄时，投光部20内的光源发光。由此，从投光部20朝向下方照射光。另外，投光部20只要从与相机40为相反侧朝向孔板9照射光即可。因此，投光部20的光源本身亦可为配置于从孔板9的上方偏离的位置，且经由镜面等光学系统而对孔板9照射光的构成。

投光部移动机构30是沿着保持于载台10的孔板9的上表面使投光部20水平移动的机构。投光部移动机构30例如使用经由滚珠螺杆将马达的旋转运动变换为直进运动的机构。摄像装置1可借助使投光部移动机构30动作，而将投光部20配置于各孔91的上方位置。另外，图2中，作为投光部20的移动方向，仅示出箭头A1的1个方向。然而，投光部移动机构30亦可使投光部20沿着孔板9的上表面于2个方向(图2中的左右方向及深度方向)移动。

相机40配置在保持于载台10的孔板9的下方。相机40具有透镜等光学系统及CCD或CMOS等摄像元件。在拍摄时，一面从投光部20朝向孔板9的一部分照射光，一面由相机40拍摄孔板9的该一部分。由此，能以电子数据的形式取得孔板9内的细胞93的图像。所取得的拍摄图像从相机40向控制部60输入。

相机移动机构50是一面维持相机40的姿势一面使相机40的高度及水平方向的位置变化的机构。相机移动机构50具有升降移动机构51与水平移动机构52。

升降移动机构51使相机40上下移动，从而使相机40的高度变化。由此，保持于载台10的孔板9与相机40的距离(即，细胞93与相机40之间的拍摄距离)变化。其结果，可使相机40的焦点位置沿着光轴上下移动。

水平移动机构52使相机40及升降移动机构51一体地水平移动。摄像装置1可借助使水平移动机构52动作，而将相机40配置于各孔91的下方位置。另外，图2中，作为借助水平移动机构52使相机40移动的方向，仅示出箭头A2的1个方向。然而，相机移动机构50亦可使相机40沿着孔板9的下表面于2个方向(图2中的左右方向及深度方向)移动。

另外，上述投光部移动机构30与水平移动机构52被同步驱动。由此，在俯视时，投光部20与相机40始终配置于相同位置。即，投光部20与相机40于相同方向上移动相同距离，于相机40被配置于某一孔91的下方位置时，必定于该孔91的上方位置配置投光部20。

控制部60例如由计算机构成。控制部60具有对摄像装置1内的各部进行动作控制的功能、以及对利用相机40进行拍摄所获得的图像数据进行图像处理的功能。图3是表示控制部60与摄像装置1内的各部的连接的方块图。如图3中概念性地表示的，控制部60具有CPU等处理器61、RAM等存储器62、及硬盘驱动器等记忆部63。在记忆部63内，记忆有用以对摄像装置1内的各部进行动作控制的程序P1、以及对图像数据进行图像处理的程序P2。

另外，控制部60与上述投光部20、投光部移动机构30、相机40、升降移动机构51、及水平移动机构52分别可通信地连接。控制部60按照程序P1对上述各部进行动作控制。由此，进行保持于孔板9的各孔91的细胞93的拍摄处理。另外，控制部60借助按照程序P2处理从相机40输入的图像数据，从而检测孔91的边缘，另外，取得孔91内的细胞93的图像数据。所谓孔91的边缘是孔板9中的孔91的内壁与其周围的边界。

＜2.关于图像处理＞

在拍摄孔板9时，对孔91及其周围进行拍摄。因此，在取得孔91内的细胞93的图像数据的情况时，首先必须检测孔板9中的孔91的边缘。摄像装置1根据拍摄孔板9而获得的图像数据，进行检测各孔91的边缘的处理(以下称为“边缘检测处理”)。以下，对边缘检测处理进行说明。

图4是表示边缘检测处理的流程图的图。以下，参照该流程图进行说明。

控制部60利用相机40拍摄孔板9(步骤S1)。接着，控制部60根据拍摄所获得的图像数据提取对于孔91的边缘坐标群(步骤S2)。边缘坐标群是根据图像数据的各像素的亮度变化而提取的坐标数据的集合，且是用以确定出孔91的边缘的像素信息。在检测该边缘坐标时使用已知的边缘检测处理。图5是用以说明边缘坐标群81的图。图5的黑点是由所提取的边缘坐标群81的各坐标确定出的像素。

步骤S2的处理中，存在因光的折射或细胞93等的影响而导致与孔91的边缘无关的像素的坐标被提取的情况。因此，存在即便根据步骤S2中提取的边缘坐标群81检测孔91的边缘，亦无法获得精度良好的结果的情况。因此，以下的处理中，进行根据提取的边缘坐标群81精度良好地检测孔91的边缘的处理。

另外，步骤S2中，在因光的折射或细胞93等的影响而导致提取多个边缘坐标群81的情况时，亦可进行借助各处理而限缩为一个边缘坐标群81的处理。

控制部60从边缘坐标群81提取边坐标群82(步骤S3)。图6是用以说明边坐标群82的图。所谓边坐标群82，如图6所示，是用以确定出孔91的除角部以外的各4条边的每一个的坐标的集合。控制部60针对孔91的4条边的每一个提取4个边坐标群82。

控制部60在步骤S2中，任意地设定为了提取边缘坐标群81而搜索的区域的中心坐标。然后，控制部60根据其中心坐标与孔91的理想直径设定推测为孔91的各边所在的区域。所谓孔91的理想直径是所谓的目录值，且是设置于摄像装置1的孔板9的设计上的孔直径(纵横的长度)。该理想直径记忆于记忆部63。控制部60从边缘坐标群81之中提取处于所设定的区域的坐标作为边坐标群82。

控制部60根据所提取的边坐标群82，使用最小二乘法算出近似直线83(步骤S4)。图7是用以说明根据边坐标群82算出的近似直线83的图。根据一个边坐标群82算出一条近似直线83。因此，在步骤S4的处理中，如图7所示算出4条近似直线83。

继而，控制部60从步骤S2中所提取的边缘坐标群81提取角坐标群84(步骤S5)。角坐标群84是用以确定出孔91的角部的坐标的集合。亦即，于步骤S5中，提取4个角坐标群84。图8是用以说明角坐标群84的图。于图8亦表示图7的近似直线83。

例如，控制部60将步骤S4中算出的4条近似直线83中的相邻的2条近似直线83的交点假设为孔91的角部。而且，控制部60从边缘坐标群81提取位于距该交点为特定距离的范围的坐标作为角坐标群84。亦即，控制部60基于距2条近似直线83的交点的距离，提取角坐标群84。

另外，控制部60亦可从边缘坐标群81提取除步骤S3中所提取的边坐标群82以外的其他坐标作为角坐标群84。

之后的步骤S6至步骤S10的处理是检测孔91的4个角部中的1个角部的边缘的处理。控制部60重复步骤S6至步骤S10的处理，而检测孔91的4个角部各自的边缘。

控制部60从步骤S4中算出的近似直线83之中选择交叉的2条近似直线83(步骤S6)。以下，将交叉的2条近似直线83的一者称为“第1近似直线83a”，将另一者称为“第2近似直线83b”。控制部60对接近于角坐标群84的第1近似直线83a及第2近似直线83b分别设定相切点候选坐标85(步骤S7)。所谓相切点候选坐标85是可成为孔91的角部的曲线的相切点的坐标。

图9是用以说明相切点候选坐标85的图。图9中，黑点表示相切点候选坐标85。图9中，表示于4条近似直线83分别设有相切点候选坐标85的状态。

控制部60于第1近似直线83a及第2近似直线83b上设定多个相切点候选坐标85。相切点候选坐标85的设定位置及设定数量可适当变更。相切点候选坐标85可分别以等间隔设定，亦可以不规则的间隔设定。另外，在图9中，示出于第1近似直线83a及第2近似直线83b分别设定有3个相切点候选坐标85的例子，但亦可为2个或4个以上。

控制部60产生设定于第1近似直线83a的一个相切点候选坐标85与设定于第2近似直线83b的一个相切点候选坐标85的所有对(步骤S8)。如图9所示，在第1近似直线83a及第2近似直线83b分别设定有3个相切点候选坐标85的情况时，产生的对数为9个。

控制部60针对步骤S8中产生的所有对算出与步骤S8中所产生的一个对中所包含的2个相切点候选坐标85相切的近似曲线(步骤S9)。近似曲线为借助多项式近似从角坐标群84算出的样条曲线。在图9的情况时，对1个角部算出9条近似曲线。

控制部60从步骤S9中产生的多条近似曲线中选择与步骤S5中提取的角坐标群84的位置关系最一致的一条近似曲线(步骤S10)。例如，控制部60选择角坐标群84的各坐标与近似曲线的距离的偏差最少者。

控制部60判定是否对孔91的所有角部进行了步骤S6至步骤S10的处理(步骤S11)。在未对所有角部进行上述处理的情况时(步骤S11的否)，控制部60返回至步骤S6的处理，从步骤S4中算出的近似直线83之中选择未选择的2条近似直线83，执行步骤S6至步骤S10的处理。亦即，控制部60执行4次步骤S6至步骤S10的处理。

在已对所有角部进行上述处理的情况时(步骤S11的是)，控制部60针对孔91的边缘，根据步骤S4中算出的4条近似直线83与步骤S10中选择的4条近似曲线算出孔91的边缘(步骤S12)。

图10是表示算出孔91的边缘的结果的图。排除位于近似直线83及近似曲线86的交点(图10的黑点)外侧的部分(图10的虚线部分)，剩余部分被检测作为孔91的边缘。

如上所述，在本实施方式中，以各边的近似直线83与角部的近似曲线86的组合表示孔91的边缘。角部与边部相比，因光的折射等影响而提取的边缘坐标易产生偏差。因此，借助使用矩形的各边的近似直线83产生角部的近似曲线86，从而提高角部的边缘检测的精度。其结果，可精度良好地检测孔91的边缘。而且，借助掌握孔91的边缘，可精度良好地进行细胞93的解析。

另外，借助使用多项式近似产生边缘候选，可进行稳健性较高的边缘检测。进而，借助使用多项式近似，可将因细胞93等的影响而检测出的边缘坐标排除。

＜3.变化例＞

以上，对本发明之一的实施方式进行了说明，但本发明并不限定于上述实施方式。

孔91的俯视时的形状亦可为具有长边与短边的大致长方形且4个角部成为R形状。进而，孔91的各边是设为直线进行了说明，但各边亦可为曲线。在该情况时，控制部60算出的各边的近似线为近似曲线。另外，控制部60算出的近似曲线86是设为样条曲线，但近似曲线86亦可使用除此以外的已知方法算出。

另外，控制部60亦可在图4的步骤S4中算出4条近似直线83的情况时，当对向的2条近似直线83的倾斜度的差为容许值以上时，判定2条近似直线83为异常，而不进行步骤S4之后的处理。或者，控制部60亦可于对向的2条近似直线83的距离与另外2条近似直线83的距离和孔91的理想直径差异较大的情况时，不进行步骤S4之后的处理。在不进行步骤S4之后的处理的情况时，控制部60可再次从步骤S1开始处理，亦可中止边缘检测处理。另外，亦可在对向的2条近似直线的距离与另外2条近似直线的距离的比超出容许值的情况时，跳过步骤S4之后的处理。

另外，控制部60亦可从步骤S10中的选择对象将图4的步骤S9中产生的近似曲线86中与R形状的理想轨迹差异较大的近似曲线86、例如方向不一致的近似曲线86排除在外。

另外，在上述实施方式中，在图像处理中使用最小二乘法，但亦可使用霍夫变换等已知方法。

亦可于不产生矛盾的范围内，适当组合上述实施方式及变化例中出现的各要素。

符号说明

1 摄像装置

9 孔板

10 载台

11 开口部

12 支撑面

20 投光部

30 投光部移动机构

40 相机

50 相机移动机构

51 升降移动机构

52 水平移动机构

60 控制部

61 处理器

62 存储器

63 记忆部

81 边缘坐标群

82 边坐标群

83 近似直线

84 角坐标群

85 相切点候选坐标

86 近似曲线

91 孔

92 培养液

93 细胞

Claims (7)

1.一种图像处理方法，其根据对解析对象物的圆角矩形状的解析区域及所述解析区域的周围进行拍摄而获得的图像数据而检测所述解析区域的边缘，包含如下步骤：

a)从所述图像数据提取所述解析区域的边缘坐标群；

b)对所述解析区域的4条边部分别进行从所述边缘坐标群提取对应于所述解析区域的1条边部的边坐标群的处理；

c)从4个所述边坐标群分别产生4条近似线；

d)对所述解析区域的4个角部分别进行从所述边缘坐标群提取对应于所述解析区域的1个角部的角坐标群的处理；

e)从所述4条近似线中选择交叉的第1近似线及第2近似线；

f)对所述第1近似线及所述第2近似线分别设定多个相切点候选坐标；

g)借助多项式近似，从最接近所述第1近似线及所述第2近似线的交点的所述角坐标群产生与设定于所述第1近似线的一个相切点候选坐标和设定于所述第2近似线的一个相切点候选坐标的至少一个以上的对相切的近似曲线；及

h)从所述步骤g)中产生的近似曲线之中选择最接近所述步骤g)中所使用的所述角坐标群的近似曲线，

针对可利用所述4条近似线取得的所有组合进行所述步骤e)至所述步骤h)。

2.如权利要求1所述的图像处理方法，其中，所述步骤g)以所述步骤f)中所设定的相切点候选坐标的所有对产生近似曲线。

3.如权利要求1所述的图像处理方法，其中，所述步骤d)基于与交叉的2条所述近似线的交点的距离而提取所述角坐标群。

4.如权利要求1-3中任一项所述的图像处理方法，其中，所述步骤c)借助使用最小二乘法的多项式近似而产生所述近似线。

5.如权利要求1-3中任一项所述的图像处理方法，其中，所述近似线为近似直线。

6.如权利要求1-3中任一项所述的图像处理方法，其中，所述近似曲线为样条曲线。

7.一种图像处理装置，具备：

相机，其对解析对象物的圆角矩形状的解析区域及所述解析区域的周围进行拍摄；及

控制部，其根据利用所述相机拍摄所获得的图像数据检测所述解析区域的边缘，

所述控制部包含如下步骤：

a)从所述图像数据提取所述解析区域的边缘坐标群；

b)对所述解析区域的4条边部分别进行从所述边缘坐标群提取对应于所述解析区域的1条边部的边坐标群的处理；

c)从4个所述边坐标群分别产生4条近似线；

d)对所述解析区域的4个角部分别进行从所述边缘坐标群提取对应于所述解析区域的1个角部的角坐标群的处理；

e)从所述4条近似线中选择交叉的第1近似线及第2近似线；

f)对所述第1近似线及所述第2近似线分别设定多个相切点候选坐标；

g)借助多项式近似，从最接近所述第1近似线及所述第2近似线的交点的所述角坐标群算出与设定于所述第1近似线的一个相切点候选坐标和设定于所述第2近似线的一个相切点候选坐标的至少一个以上的对相切的近似曲线；及

h)从所述步骤g)中产生的近似曲线之中选择最接近所述步骤g)中所使用的所述角坐标群的近似曲线，

针对可利用所述4条近似线取得的所有组合进行所述步骤e)至所述步骤h)。

Images