CN106204560A - 菌落挑选仪自动标定方法 - Google Patents

Abstract

本发明涉及一种菌落挑选仪自动标定方法。本方法菌落挑选仪作为实验平台，建立一套适用于菌落挑选仪的相机标定系统，实现菌落图像坐标同三维空间坐标之间的转换。本发明方法在Tsai两步法的基础上，针对传统相机标定方法的实现方式复杂、需要人工交互操作缺陷，提出了一种改进的相机标定方法，把图像处理和相机标定的技术结合起来，实现了相机标定自动化。并且保留了Tsai两步法的迭代参数较少，求解速度快，精度高的优点。能够较好的应用于菌落挑选仪的相机标定系统，保证了菌落挑选仪能够精确读取目标菌落的三维空间坐标信息，并利用实验数据对标定的准确性进行了验证。

Description

菌落挑选仪自动标定方法

技术领域

本发明涉及一种相机标定方法，具体涉及一种菌落挑选仪自动标定，既对该挑选仪平台的相机标定。

背景技术

随着计算机视觉理论和技术的不断更新和发展，越来越多的计算机视觉理论和技术已被广泛地应用于医学图像处理、机器人技术、文字识别、工业检测、军事侦察、地理勘察和现场测量等方面。随着计算机视觉应用的不断普及，相机标定技术作为视觉系统不可缺少的前提和基础部分，受到国内外学者的广泛关注，对相机标定技术的研究作为计算机视觉中首先必须解决的关键课题，有着很重要的意义，为计算机视觉在相关的各个领域的广泛应用奠定了坚实的基础。近年来相机标定技术在理论上的发展非常迅速，但是如何选定合适理论方法应用到实际设备的相机标定中，还需要在实际应用中考虑多方面因素。

发明内容

本发明的目的是针对已有技术的不足，提供一种菌落挑选仪自动标定方法，将相机标定技术更好的应用于菌落挑选仪上，确保能够更准确的提供目标菌落的位置信息。针对传统相机标定方法的实现方式复杂、需要人工交互操作的缺陷，本菌落挑选仪自动标定方法是一种改进的Tsai两步相机标定方法，并把图像处理和相机标定的技术结合起来，实现了相机标定自动化。

为了实现上述目的，本发明的构思是：

采用了1)CCD图像采集、2)图像读取、3)图像处理、4)质心点提取、5)选取参照点进行标定、6)坐标空间转换六个操作步骤来实现相机的标定。

采用一种改进的标定模板，使得标定点质心位置的获取更加准确。所述改进后的模板与传统标定模板不同，传统的标定板是贴在玻璃板上的一张国际象棋棋盘格，然后从不同角度拍摄若干张标定图像序列，所述改进后的模板采用圆斑点图文的背景，且圆点为黑色，圆心位置称为质心点，每个上下左右质心点的距离都是9mm。所述改进后的模板放置在菌落培养皿中，由固定在移动机械臂上的CCD图像摄像相机移动到预先设定的拍照位置对标定模板进行拍摄。

所述标定模板中黑色圆点质心坐标位置的获取，引入了图像处理相关方面的知识。所述图像处理相关方面所涉及的知识主要有图像的灰度化、中值滤波、边缘获取、区域生长、腐蚀和膨胀。经过所述图像处理环节后，计算机通过程序运算可以分割出图像中的黑色圆点，并计算出黑色圆点的质心点坐标，即图像坐标。

所述黑色圆点质心坐标信息的提取，其计算方式可以通过质心公式推导得出，即对同一标号区域(分割后每个单独的黑色圆点区域)的内部每个像素的X,Y坐标进行累加求平均，便可以得到一个区域的质心坐标(X,Y)。

$\left\{\begin{array}{c}X=\frac{1}{n}\underset{i=0}{\overset{n}{\Σ}}{X}_i\\ Y=\frac{1}{n}\underset{i=0}{\overset{n}{\Σ}}{Y}_i\end{array}\right.---\left(1\right)$

式中X_i和Y_i分别对应区域内第i个点的横坐标X和纵坐标Y，n为一个区域内所包含的像素点个数。对于大多数规则的均匀物体，质心点存在于物体的集合位置中心，代表物体的中心点，本标定方法中采用的标定模板中的黑色圆点是标准的圆点，所以提取出来的质心点坐标就是黑色圆点的圆心坐标。

所述标定参照点提取，在标定过程中首先人工选取图像中任意两个相邻的圆点，记录下计算机读取出的两个相邻圆点的质心坐标(x₁,y₁)和(x₂,y₂)。已知标定模板中任意相邻两点的质心距离为9mm，所以根据公式(2)可以计算出图像中像素点之间距离和实际距离的比值P。

$P=\frac{9}{\sqrt{{(X_1-X_2)}^2+{(Y_1-Y_2)}^2}}---\left(2\right)$

所述坐标空间转换，首先计算机控制机械臂移动到图像中心点附近的位置，记下此时机械臂的三维空间坐标(X,Y)，利用机械臂自身携带的探针对标定模板进行打孔，此刻标定模板上会留下一个孔印。然后移动相机至图像的拍照位置，此时图像显示框内会实时显示相机捕获到的图像并有一个红色形状十字，十字中心就是图像中心点，所对应的机械臂的坐标值为(x₀,y₀)，然后手动微调机械臂坐标值移动机械臂，使得拍照位置红色十字的中心点恰巧与孔印重合，记录下此时该孔点的机械臂坐标(x_,y_)。且w为计算机计算出的图像像素点宽度，h为计算机计算出的图像像素点高度，从而根据公式(3)可以计算出该孔点的图像坐标位置(x,y)。

$\left\{\begin{array}{c}x=w-\frac{(x\_-x_0)}{P}\\ y=h+\frac{(y\_-y_0)}{P}\end{array}\right.---\left(3\right)$

因此该孔点的像素坐标(x,y)与机械臂坐标(X,Y)相对应时，能保证探针打到该孔点，从而完成了相机的标定。在完成标定后，对于图像中指定任意一点的图像坐标(x_i,y_i),都可以用公式(4)转换为相对应的机械臂坐标(X_i,Y_i)，从而将坐标输送给机械臂指定机械臂携带探针移动到该点进行菌落提取操作，完成菌落的自动挑选。

$\left\{\begin{array}{c}{X}_i=X-(x_i-x)*P\\ Y_i=Y-(y_i-y)*p\end{array}\right.---\left(4\right)$

本发明与现有技术相比，具有如下显而易见的突出实质性特点和显著优点：

本发明不局限于传统的理论发明，引入了标有等间距黑色圆点的标定模板以及图像处理的相关知识，从而能够更加准确地获取标定模板上标定圆点的位置信息，本发明方法成功的将传统的标定理论知识运用到现实中的设备仪器中，解决了现实中标定的问题。为了验证本标定方法，我们对其进行了实验并对实验数据进行了分析。由实验数据可以看书标定的准确性成功达到了我们预期的效果，误差可控制在允许范围内。

附图说明

图1为本发明方法的程序框图。

图2为本发明方法中所用到的标定模板。

图3为本实验相机标定的操作界面，选取点的图像坐标和相对应的三维空间坐标。

图4为本相机标定方法所应用到的菌落挑选仪操作界面，筛选合格的菌落进行挑选确认。

图5为本相机标定方法所应用到的菌落挑选仪在利用探针挑选菌落。

具体实施方式

本发明结合附图和优先实施例对此发明方法做进一步说明，具体说明如下：

实施例一：

参见图1，本菌落挑选仪自动标定方法依次按照1)CCD图像采集、2)图像读取、3)图像处理、4)质心点提取、5)选取参照点进行标定、6)坐标空间转换六个操作步骤来实现相机的标定。

实施例二：本实施例与实施例一基本相同，特别之处如下：

所述步骤1)CCD图像采集是由固定在移动机械臂上的CCD图像摄像相机移动到预先设定的拍照位置对培养皿中的标定模板进行拍照，所述标定模板采用黑色圆斑点图文的背景，每个上下左右圆心间的距离都是9mm。

所述步骤2)图像读取是：使用菌落挑选仪自身软件系统将相机拍摄到的CCD图像读取出来并显示在操作界面上，同时保存图像的像素信息。

所述步骤3)图像处理是：对相机拍摄到的CCD图像加入了图像处理的技术，得到一幅经图像处理后的新图像文件。

所述步骤4)质心点提取是：对得到的新图像文件进行质心点的坐标获取，即获取标定模板中黑色圆点圆心的图像坐标(X,Y)，质心坐标获取的公式为其中X_i和Y_i分别对应区域内第i个点的横坐标X和纵坐标Y，n为一个区域内所包含的像素点个数。

所述步骤5)选取参照点进行标定，在操作界面上人工确认选取任意两个相邻的黑色圆点作为标定点，记录下计算机读取出的两个相邻圆点的质心坐标(x₁,y₁)和(x₂,y₂)。已知标定模板中任意相邻两点的质心距离为9mm，再根据已选取的两个圆点在图像上的坐标计算出图像上两点的距离差值，二者相除得到一个比值P，

所述步骤6)坐标空间转换，对图像中任意一个点的图像坐标值，根据得到的比值P及数学公式和转化为相对应的三维空间坐标，公式中(x,y)为探针打孔点的图像坐标位置，(X,Y)为探针打孔点机械臂的三维空间坐标，w为计算机计算出的图像像素点宽度，h为计算机计算出的图像像素点高度，(x₀,y₀)为相机移动到图像的拍照位置时图像显示框内图像的中心点所对应的机械臂的坐标，(x_,y_)为微调机械臂使得拍照位置的中心点与打孔点重合时该孔点的机械臂坐标，(x_i,y_i)为图像中指定任意一点的图像坐标，(X_i,Y_i)为图像坐标(x_i,y_i)相对应的机械臂坐标，P为两点间像素坐标距离与实际坐标距离的比值。

实施例三：本菌落挑选仪自动标定方法如下：

首先将标定模板(见图2)放置在空的培养器皿中，培养器皿放置于菌落挑选仪的挑选平台上，然后软件启动菌落挑选仪，待一切自检完成后开始执行相机标定步骤。

在电脑端点击菌落挑选仪界面上(见图3)的拍照按钮，机械臂会根据预先设定好的运动路径运行到指定位置并对标定模板进行拍照，该位置能够完整的拍摄到整个标定模板。

拍照完毕后，计算机使用菌落挑选仪自身软件系统将相机拍摄到的CCD图像读取出来并显示在操作界面上(见图4)，同时保存下图像的像素信息。

计算机经过菌落挑选仪程序的运算，会将标定模板上每个黑色圆点的质心点标注出来，并在界面上对应显示出每个质心点的图像坐标信息。计算坐标公式为其中X_i和Y_i分别对应区域内第i个点的横坐标X和纵坐标Y，n为一个区域内所包含的像素点个数。

在操软件作界面上人工任意选取两个相邻点，记录下计算机读取出的两个相邻圆点的质心坐标(x₁,y₁)和(x₂,y₂)，并点击基准点A和基准点B，计算机会默认选取这两个点作为标定点并计算出两像素点间的像素距离差，然后与两点间的实际距离相比计算出比例值P，

人工在界面上输入机械臂坐标点控制机械臂移动到图像中心点附近的位置，点击确认，挑选仪利用机械臂自身携带的探针对标定模板进行打孔，此刻标定模板上会留下一个孔印记下此时机械臂的三维空间坐标(X,Y)。然后移动相机至图像的拍照位置，此时图像中会显示一个红色形状十字，十字中心就是图像中心点，所对应的机械臂的坐标值为(x₀,y₀)，然后手动微调机械臂坐标值移动机械臂，使得拍照位置红色十字的中心点恰巧与孔印重合，记录下此时该孔点的机械臂坐标(x_,y_)。且w为计算机计算出的图像像素点宽度，h为计算机计算出的图像像素点高度，从而根据公式可以计算出该孔点的图像坐标位置(x,y)。点击标定按钮，计算机利用程序完成相机的自动标定。

在完成标定后，对于菌落挑选的过程，点击选取界面上任意目标菌落，然后点击筛选完成，程序会将该菌落的图像坐标(x_i,y_i)通过公式转化为相对应的机械臂坐标(X_i,Y_i)输送给控制器，控制器控制机械臂移动到指定位置利用探针对该点菌落进行提取(见图5)。公式中(x,y)为探针打孔点的图像坐标位置，(X,Y)为探针打孔点机械臂的三维空间坐标，P为两点间像素坐距离与实际坐标距离的比值。标定实验数据记录在表1中。

表1为标定实验数据

目标点	质心像素坐标	转换后的坐标(mm)	实际空间位置坐标(mm)	误差(mm)
					A1	(424，322)	(280.65，178.93)	(280.64，178.90)	0.06
A2	(502，472)	(310.25，164.04)	(310.23，164.01)	0.045
					A3	(577，395)	(295.33，149.14)	(295.31，149.11)	0.025
A4	(657，622)	(340.03，133.97)	(340.03，133.95)	0.01
					A5	(732，544)	(324.90，119.07)	(324.93，119.11)	0.035
A6	(805，391)	(295.08，104.42)	(295.04，104.40)	0.03
					A7	(878，238)	(265.29，89.67)	(265.25，89.73)	0.05
A8	(958，464)	(309.79，74.53)	(309.75，74.57)	0.04

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。

Claims (7)

1.一种菌落挑选仪自动标定方法，其特征在于包括1)CCD图像采集、2)读取图像、3)图像处理、4)提取质心点、5)选取参照点进行标定和6)坐标空间转换六个操作步骤。

2.根据权利要求1所述的一种菌落挑选仪自动标定方法，其特征在于：所述步骤1)CCD图像采集是由固定在移动机械臂上的CCD图像摄像相机移动到预先设定的拍照位置对培养皿中的标定模板进行拍照，所述标定模板采用黑色圆斑点图文的背景，每个上下左右圆心间的距离都是9mm。

3.根据权利要求2所述的一种菌落挑选仪自动标定方法，其特征在于：所述步骤2)图像读取是：使用菌落挑选仪自身软件系统将相机拍摄到的CCD图像读取出来并显示在操作界面上，同时保存图像的像素信息。

4.根据权利要求3所述的一种菌落挑选仪自动标定方法，其特征在于：所述步骤3)图像处理是：对相机拍摄到的CCD图像加入了图像处理的技术，得到一幅经图像处理后的新图像文件。

5.根据权利要求4所述的一种菌落挑选仪自动标定方法，其特征在于：所述步骤4)质心点提取是：对得到的新图像文件进行质心点的坐标获取，即获取标定模板中黑色圆点圆心的图像坐标(X,Y)，质心坐标获取的公式为其中X_i和Y_i分别对应区域内第i个点的横坐标X和纵坐标Y，n为一个区域内所包含的像素点个数。

6.根据权利要求2所述的一种菌落挑选仪自动标定方法，其特征在于：所述步骤5)选取参照点进行标定，在操作界面上人工确认选取任意两个相邻的黑色圆点作为标定点，记录下计算机读取出的两个相邻圆点的质心坐标(x₁,y₁)和(x₂,y₂)。已知标定模板中任意相邻两点的质心距离为9mm，再根据已选取的两个圆点在图像上的坐标计算出图像上两点的距离差值，二者相除得到一个比值P，

7.根据权利要求6所述的一种菌落挑选仪自动标定方法，其特征在于：所述步骤6)坐标空间转换，对图像中任意一个点的图像坐标值，根据得到的比值P及数学公式

转化为相对应的三维空间坐标，公式中(x,y)为探针打孔点的图像坐标位置，(X,Y)为探针打孔点机械臂的三维空间坐标，w为计算机计算出的图像像素点宽度，h为计算机计算出的图像像素点高度，(x₀,y₀)为相机移动到图像的拍照位置时图像显示框内图像的中心点所对应的机械臂的坐标，(x_,y_)为微调机械臂使得拍照位置的中心点与打孔点重合时该孔点的机械臂坐标，(x_i,y_i)为图像中指定任意一点的图像坐标，(X_i,Y_i)为图像坐标(x_i,y_i)相对应的机械臂坐标，P为两点间像素坐标距离与实际坐标距离的比值。