CN113298882B - 一种用于显微三维形貌测量系统的摄像机标定装置和方法 - Google Patents
一种用于显微三维形貌测量系统的摄像机标定装置和方法 Download PDFInfo
- Publication number
- CN113298882B CN113298882B CN202110633636.XA CN202110633636A CN113298882B CN 113298882 B CN113298882 B CN 113298882B CN 202110633636 A CN202110633636 A CN 202110633636A CN 113298882 B CN113298882 B CN 113298882B
- Authority
- CN
- China
- Prior art keywords
- pixel
- camera
- circle center
- active target
- coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000005259 measurement Methods 0.000 title claims abstract description 31
- 238000012876 topography Methods 0.000 title claims abstract description 19
- 238000000605 extraction Methods 0.000 claims abstract description 8
- 238000010587 phase diagram Methods 0.000 claims description 31
- 230000010363 phase shift Effects 0.000 claims description 28
- 238000004422 calculation algorithm Methods 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000012937 correction Methods 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 4
- 238000004088 simulation Methods 0.000 description 10
- 238000004519 manufacturing process Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 238000013519 translation Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004377 microelectronic Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000010979 ruby Substances 0.000 description 1
- 229910001750 ruby Inorganic materials 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
- G06T2207/30208—Marker matrix
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明涉及三维形貌测量领域,具体公开了一种用于3D显微形貌测量系统中摄像机标定的方法和装置,方法为,生成相位标靶,摄像机进行抓拍,抓拍标定图片进行相位解析后生成相位图,在相位图上提取整像素圆心特征点,以整像圆心特征点为中心在其D×D例如35×35像素大小的邻域内进行等相位线提取,再通过椭圆拟合,得到亚像素精度圆心特征点,由亚像素精度圆心特征点的像素坐标及其对应的世界坐标,再根据远心相机标定算法计算摄像机参数初值,用重复迭代的方法获取高精度的摄像机参数。本发明对图像模糊和噪声具很高的鲁棒性,标靶更加精确,圆心特征点的提取不受镜头畸变和透视畸变的影响。
Description
技术领域
本发明涉及三维显微形貌测量领域,特别涉及一种用于显微三维形貌测量系统的摄像机标定装置和方法。
背景技术
随着工业4.0的到来,外观尺寸在毫米及微米级的微器件在国防工业、信息技术、航空航天、微电子、生物医学等领域有着广泛应用和巨大的市场需求。精密制造技术也得到了快速发展,复杂零件表面及其微小结构特征的精密三维检测已经成为工业界的共性需求。尤其是高精度的三维形貌检测技术将是微器件加工与制造的重要品控工具,是高精度器件加工的依据和保证。这些零件表面结构特征复杂,制造精度高,对其进行高效的三维形貌测量是当前面临的重大挑战。基于条纹投影的显微测量系统具有测量时间短、重建点云密度高等优点,适用于复杂工件几何形状的测量。为了进行准确三维形貌测量,必须对摄像机进行标定。
在显微测量系统中的摄像机标定方面,现有标定方法存在的问题主要归结于三个方面。首先,显微测量系统的景深较小,标定过程中基于各种几何图形边界信息提取特征点的方法易受图像模糊、对比度和成像视角的影响,导致可操作性不强,标定结果重复性差,影响最终测量精度。其次,现有的显微测量系统标定方法是假设标定靶是一个理想平面,事实上,标定靶的制作过程中的不完美,尤其是低成本的硬件系统,这使得特征点在标靶中的定位不准确,进而导致不精确的标定结果。第三,由于镜头畸变和透视失真导致直接从图像中提取到的特征点并不准确,这将更进一步累积标定误差影响三维显微测量精度。由于高精度的系统标定方法对显微测量和精密制造都有着重要的意义,目前亟待一种高精度的三维显微测量系统标定方法,来满足工业界的精密三维检测需求。
发明内容
本发明的目的在于为了克服现有技术中提取特征点的方法易受图片质量影响导致损失测量精度、标定靶的定位不准确、镜头畸变和透视失真导致提取到的特征点不准确的问题,提供一种用于显微三维形貌测量系统的摄像机标定装置和方法。
为了实现上述发明目的,本发明提供了以下技术方案:
一种用于显微三维形貌测量系统的摄像机标定方法,包括如下步骤:
S1,用摄像机对主动标靶进行拍摄,对拍摄的图像进行相位解析,生成相位图;所述主动标靶上显示圆心特征点;
S2,在所述相位图上提取亚像素精度的圆心特征点的像素坐标;
S3,根据所述主动标靶圆心的世界坐标和所述亚像素精度的圆心特征点的像素坐标,采用远心相机标定算法,计算摄像机参数和重投影误差;
S4,根据所述摄像机参数和所述亚像素精度的圆心特征点的像素坐标,计算出圆心特征点矫正后的像素坐标;
S5,由所述主动标靶圆心的世界坐标和圆心特征点矫正后的像素坐标,根据远心相机标定算法计算新的摄像机参数和新的重投影误差;
S6,将所述重投影误差和所述新的重投影误差作差,当差值小于预设的阈值时,输出此时的摄像机参数并结束迭代,否则,则重复执行步骤S4~S6。
进一步的,步骤S2具体包括如下步骤:
S21,用基于灰度的椭圆拟合法对相位图提取圆心特征点的像素坐标;
S22,在每个圆心特征点的像素坐标附近使用约束条件提取相位值最接近零的整像素圆心特征点的像素坐标;
S23,以第i个整像素圆心特征点为中心的D×D像素大小的窗口内提取具有不同相位值的等相位线n条,分别对n条等相位线进行椭圆拟合,得到包含n个圆心像素坐标的集合Si={Op i(u,v)},其中p=1,...,n,i的值不超过相位图中圆心特征点的个数,D的取值为正整数且不超过相位图中两相邻圆心特征点之间的像素距离;舍去与均值误差大于阈值的元素,求得集合Si中除了舍去元素以外剩余的圆心像素坐标的平均值,所述平均值即为每张标定图片中第i个亚像素精度的圆心特征点的像素坐标;所述标定图片为所述拍摄的图像;
S24,重复步骤S23,直到相位图中所有亚像素精度的圆心特征点的像素坐标提取完成。
作为本发明的优选方案,所述主动标靶在数字显示设备上显示;主动标靶采用1频3步圆形相移条纹图,所述圆形相移条纹图的分辨率与所述数字显示设备分辨率相同;所述1频3步圆形相移条纹图的公式如下:
其中,k的取值范围为1~3的整数,(x,y)代表所述数字显示设备的像素点的坐标,代表该像素点灰度值,I′(x,y)为所述圆形相移条纹图的平均灰度,I″(x,y)为灰度调制,T为沿半径方向的条纹周期,为点(x,y)到最近的圆形相移条纹图圆心的欧氏距离。
作为本发明的优选方案,所述对主动标靶变换位姿进行拍摄的方法为,变换位姿的次数不小于3次,每个位姿下主动标靶上按时间顺序依次显示1频3步圆形相移条纹图,控制摄像机对主动标靶上依次显示的图像分别进行拍摄。
进一步的,所述相位图由以下公式计算得出:
其中(u,v)代表拍摄的图像上各点的像素坐标,I(u,v)代表拍摄的图像灰度,k=1,2,3。
进一步的,步骤S4的具体步骤包括:
S41,执行正视投影;所述正视投影指的是,利用所述摄像机初始参数和双线性插值算法,将所述相位图转换为虚拟主动标靶,并通过双线性插值等相位线提取以及椭圆拟合计算虚拟主动标靶上圆心的世界坐标;
S42,执行重投影;所述重投影指的是,将虚拟主动标靶上圆心的世界坐标,转换为圆心特征点的像素坐标,即所述圆心特征点矫正后的像素坐标。
进一步的,所述虚拟主动标靶与所述主动标靶的大小相同。
进一步的,主动标靶圆心的世界坐标,由圆心在主动标靶上的编号索引、圆心之间的间隔、数字显示设备尺寸和像元尺寸信息计算得出。
基于本发明的相同构思,还提出了一种用于显微三维形貌测量系统的摄像机标定装置,包括装有远心镜头的摄像机、控制单元、计算单元,其特征在于,还包括数字显示设备,所述计算单元生成相位标靶,所述数字显示设备显示所述相位标靶,所述控制单元控制所述摄像机抓拍所述相位标靶,所述计算单元还用于执行上述任一项的一种用于显微三维形貌测量系统的摄像机标定方法。
与现有技术相比,本发明的有益效果:
1、通过使用相位圆标靶,利用相位信息提取特征点,取代传统的基于灰度的方法,每个特征点都具有零相位值标签,可精确定位圆心特征点,并通过基于多条等相位线的椭圆拟合获取亚像素精度特征点,使得摄像机的标定对图像模糊和噪声具很高的鲁棒性;
2、通过LCD显示屏或其他数字显示设备显示,形成相位标靶,能够克服传统低价标靶制作不精确而带来误差的问题;
3、通过使用正视投影技术,消除由于主动标靶偏转而拍摄到椭圆所带来的零相位点提取困难的问题,将椭圆投影成标准圆,去除椭圆拟合偏心误差,顺利找到相位值为零的圆心,避免标定图像上特征点的提取受镜头畸变和透视畸变的影响,进一步提高了图像特征点的提取精度;
4、通过反复迭代的方法提高了摄像机参数的精度。
附图说明:
图1为基于结构光投影的三维显微形貌测量系统结构示意图;
图2为基于相位圆标靶的显微摄像机标定示意图;
图3为正视图仿真图片&提取到的圆心特征点;
图4为正视投影相位靶和特征点重投影示意图;
图5为基于绝对相位靶和正视投影的摄像机标定方法流程图。
具体实施方式
下面结合试验例及具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例,凡基于本发明内容所实现的技术均属于本发明的范围。
实施例1
如图2所示,搭建工作台、装有远心镜头的摄像机、控制单元、计算单元,还有数字显示设备,本实施例所用的计算单元为计算机,数字显示设备为LCD显示屏;数字显示设备用于显示仿真生成的主动标靶,计算单元为计算机,用于执行本实施例所述标定方法。
在本领域中,对主动标靶进行拍摄后,得到的拍摄图片称为标定图片。
一种用于显微三维形貌测量系统的摄像机标定方法,包括如下步骤:
S0,使用仿真算法生成主动标靶,所述主动标靶上显示有圆心特征点,即圆形相移条纹,具体方法如下:
如图3左上图所示,通过算法仿真生成1频3步圆形相移条纹图之后,在LCD显示屏上显示,LCD显示屏上显示的圆形相移条纹图在本发明中称为主动标靶,或相位圆标靶。本实施例通过以下公式仿真生成1频3步圆形相移条纹图3张:
其中,由于圆形相移条纹图为3张,本实施例中所有k的取值范围为1~3的整数,(x,y)代表主动标靶的像素点的坐标,代表该点灰度值,I′(x,y)为显示屏上圆形相移条纹图的平均灰度,I″(x,y)为灰度调制,T为沿半径方向的条纹周期,为点(x,y)到最近的圆形条纹圆心的欧氏距离。
本实施例中,生成的圆形相移条纹图中,每两个相邻圆形条纹的圆心间隔像素个数为50,换算为长度为0.5毫米,特征点个数9×10(9行10列),分辨率500×550,圆形条纹周期为40个像素,条纹频率为1,相移步数为3。
S1,用摄像机对主动标靶进行拍摄,对拍摄的图像进行相位解析,生成相位图;具体方法如下:
将上述生成的3张圆形相移条纹图作为主动标靶显示在LCD显示屏上,然后控制单元控制摄像机,对LCD显示屏显示的每张圆形相移条纹图进行拍摄,拍摄的方法为,变换16次位姿,变换次数记为j,每个位姿下按时间顺序依次显示其中3张圆形相移条纹图中的1张在LCD显示屏上,控制摄像机对依次显示的圆形相移条纹图采集拍摄图片;共采集48张拍摄图片。
拍摄图像的灰度可表示为公式(2),其中(u,v)代表拍摄图像的像素坐标,I′(u,v)分别代表拍摄图像的平均灰度,I″(u,v)为拍摄图像的灰度调制:
每个位姿下,对3张圆形相移条纹图的拍摄图像进行相位解析,计算得到1张相位图,相位图相位φ(u,v)的计算公式如下公式(3):
图3的右上图展示了其中1个位姿下的相位φ(u,v)所对应的相位图,16个位姿,对应有16张相位图。
S2,在所述相位图上提取亚像素精度的圆心特征点的像素坐标,具体方法如下:
针对每个位姿下的相位图,使用openCV中的findCirclesGrid函数用基于图像灰度的椭圆拟合法对每个位姿下的相位图提取圆心特征点O1;在每个基于图像灰度的圆心特征点O1附近使用约束条件minφ(u,v)提取具有相位值最接近零的整像素圆心特征点O2,由于整像素圆心特征点O2像素坐标为整像素,例如(159,219),其相位值可能不等于零而是接近零,例如为0.2158,因此再以整像素圆心特征点O2为中心的D×D大小例如35×35像素大小的窗口内,使用matlab中的contour函数提取具有不同相位值的等相位线n条,分别对n条等相位线进行椭圆拟合,得到包含n个圆心的集合Sij={Op ij(u,v)},其中p=1,...,n,i的值为正整数且不超过每张相位图中圆心特征点的个数,j的值为正整数且不超过变换位姿进行拍摄的次数16,D的取值为正整数且不超过相位图中两相邻圆心特征点之间的像素距离;舍去与均值误差大于阈值的元素,求得集合Sij中除了舍去元素以外剩余的圆心坐标的平均值,所述平均值即为亚像素精度圆心特征点O3,其像素坐标为(159.492,219.373),亚像素精度圆心特征点O3的相位值为零;
由于每个位姿下的相位图中含有多个圆心特征点,上述步骤具体方法中仅对其中一个圆心特征点的提取方法进行举例,本发明的实际操作中,对每个位姿下的相位图中所有圆心特征点均采用本步骤的方法提取该位姿下亚像素精度的圆心特征点的像素坐标,直到所有位姿下的相位图中亚像素精度的圆心特征点的像素坐标提取完成。
S3,计算所述主动标靶圆心的世界坐标,根据所述主动标靶圆心的世界坐标和所述亚像素精度的圆心特征点的像素坐标,根据远心相机标定算法得到摄像机参数和重投影误差;具体方法如下:
其中,计算所述主动标靶圆心的世界坐标的方法为,16个位姿的每个位姿下,世界坐标系的原点在主动标靶的靶心,且已知主动标靶圆心在主动标靶上的编号索引、圆心之间的间隔、LCD屏的尺寸和像元尺寸信息,因此计算得出主动标靶上各圆心的世界坐标,具体计算公式为如下公式(4),最终计算出主动标靶圆心的世界坐标:
公式(4)中所述主动标靶所在世界坐标系的z轴垂直于标靶平面(故Z=0),q为液晶显示器的像元尺寸,(x,y)为相位图上圆心特征点O3所对应的主动标靶上的圆心物理坐标,单位为毫米,由前述主动标靶圆心在主动标靶上的编号索引、位置,结合像元大小计算得出,L为显示器的宽度,H为显示器的高度,单位均为毫米。
依据主动标靶圆心的世界坐标和所述亚像素精度的圆心特征点O3的像素坐标之间的对应关系,利用远心相机标定算法计算出摄像机内参、正视图位姿下标靶相对于摄像机的旋转向量R0和平移向量T0、重投影误差Re-error;其中内参为矩阵A0包括焦距即远心相机中的放大倍率fu、fv,主点偏移u0、v0,畸变参数D0包括径向畸变k1、k2和切向畸变p1、p2;旋转向量R0包括旋转角θx、θy、θz,平移向量T0包括平移分量tx、ty、tz;从而计算出摄像机参数初值(fu,fv,u0,v0,tx,ty,tz,θx,θy,θz,k1,k2,p1,p2);每计算出一次摄像机参数,同时可计算出一次重投影误差。其中,远心相机标定算法为现有技术,具体算法可参考论文:Z.Chen,H.Liao,and X.Zhang,"Telecentric stereo micro-vision system:Calibration methodand experiments,"Opt.Lasers Eng.57,82-92(2014).代码:https://github.com/Seagate/telecentric-calibration。
S4,根据所述摄像机参数和所述亚像素精度的圆心特征点的像素坐标,计算出圆心特征点矫正后的像素坐标;具体实现步骤为,利用摄像机参数,进行正视投影和重投影,由此获取圆心特征点矫正后的像素坐标;
其中,正视投影是指,利用所述摄像机初始参数和双线性插值算法,将所述相位图转换为虚拟主动标靶,并通过双线性插值二次曲面拟合计算虚拟主动标靶上圆心的像素坐标对应的精确的灰度值;具体计算过程为,对所述相位图中每一个亚像素精度的圆心特征点的像素坐标转换为物理坐标pd(xd,yd),将各点的物理坐标pd(xd,yd)和得到的摄像机参数带入公式(6)进行畸变矫正,得到去畸变后的物理坐标p(x,y),其中相位图以主点为原点,主点即摄像机光心的像点(u0,v0);将去畸变后的物理坐标p(x,y)转换为像素坐标,带入公式(5),结合双线性插值算法计算出虚拟主动标靶;
公式(6)中,r2的值由x2+y2计算得出;
进而得到与LCD显示器大小、分辨率和像元尺寸均相同的虚拟主动标靶,虚拟主动标靶的世界坐标系的X轴和Y轴分别平行于显示器的长边和短边,Z轴垂直于虚拟主动标靶平面,如图4所示;这种由相位图生成虚拟主动标靶的过程,就是正视投影;
采用正视投影原理的作用和优点在于,由于不同位姿下的拍摄图像中,由于位姿的偏转,原本仿真生成的标准圆形经过摄像机的透视投影变成了椭圆形,各位姿下3张拍摄图像所生成的相位图中原本对应为标准相位圆的地方也对应为相位椭圆,因此找到相位值为零的圆心变得不精确,为了能够使相位值快速收敛,并精确定位零相位圆心特征点,采取正视投影的原理,将相位图中的二维相位椭圆“投影”为虚拟主动标靶的世界坐标系中的三维标准圆。
对所有位姿下相位圆标靶的拍摄图像,均利用上述步骤计算得到不同位姿下的虚拟主动标靶。
因为利用摄像机参数进行校正过,虚拟主动标靶上的特征点的世界坐标不受镜头畸变和透视畸变影响。
重投影的过程,是指将得到的虚拟主动标靶上圆心的世界坐标,带入上述公式(5)计算各圆心特征点的像素坐标,即所述圆心特征点矫正后的像素坐标。
S5,由所述主动标靶上各圆心的世界坐标和圆心特征点矫正后的像素坐标,根据远心相机标定算法计算新的摄像机参数和新的重投影误差;
S6,将所述重投影误差和所述新的重投影误差做差,当差值小于预设的阈值时,输出此时的摄像机参数并结束迭代,否则,则重复执行步骤S4~S6;具体方法如下:
将新的重投影误差与上一次的重投影误差进行比较,若差值小于阈值0.01像素则收敛,以重新计算的摄像机参数作为最终标定结果输出,否则使用重新计算的摄像机参数继续执行所述正视投影和迭代过程,直至收敛。最终获取到高精度的摄像机内参。
本实施例中主动标靶所使用的1频3步圆形相移条纹图,也可以由一帧彩色条纹图代替,其中一帧彩色条纹图由1频3步圆形相移条纹图合成。
本实施例中使用仿真摄像机来模拟拍摄,仿真摄像机的内参矩阵A为:
其中,仿真图片的像元尺寸为du=dv=6.9μm,放大倍率m=0.5;
畸变参数为D=(k1,k2,p1,p2)=(-1.76×10-5,-2.25×10-6,2.89×10-6,2.96×10-5),正视图对应的旋转向量为R=(θx,θy,θz)=(0,0,0),平移向量T=(tx,ty,tz)=(0,0,0)。
本实施例中由本发明所述方法计算出的远心摄像机的内参、畸变系数、正视图的旋转平移向量如下表1所示,其中估计值为用本发明方法计算得出的值,真值为上述仿真摄像机的参数,绝对误差为真值与估计值之差的绝对值。
表1仿真标定结果
重投影误差为0.0527像素。
实施例2
如图1所示,构建一种基于正视投影和相位圆标靶的显微测量系统,包括:三维显微测量系统、用LCD显示的相位靶。其中,三维显微测量系统包括工作台、光纤照明光源、数字微镜(DMD)、摄像机、计算机,摄像机已使用实施例1的标定装置和方法完成标定;
显微测量系统工作原理为,将条纹结构光送入多模光纤光源照明的DMD光学调制器,经长工作距离的显微光学投影系统投影至待测器件表面,通过控制单元调控DMD切换结构光场产生相移,同时同步触发长工作距离的摄像机采集图像,最后传输到计算机,根据实施例1所述方法得出的摄像机参数进行计算和投影,完成显微三维形貌的检测。
本文所述的一个或多个实施方案涉及计算机存储产品,所述计算机存储产品具有用于执行各种计算机实现的操作的指令或计算机代码的非暂时性计算机可读介质(也可称为非暂时性处理器可读介质)。计算机可读介质(或处理器可读介质)在其本身不包括暂时传播信号(例如,在诸如空间或电缆的传输介质上承载信息的传播电磁波)的意义上是非暂时性的。介质和计算机代码(也可称为代码或算法)可以是为特定目的而设计和构造的那些代码或算法。非暂时性计算机可读存储介质的实例包括但不限于:磁性介质,诸如硬盘、软盘和磁带;光学介质,诸如压缩盘/数字视频盘(CD/DVD)、压缩盘只读存储器(CD-ROM)和全息装置;磁光存储介质,诸如光盘;载波信号处理模块;以及专门被配置用于存储和执行程序代码的硬件装置,诸如专用集成电路(ASIC)、可编程逻辑装置(PLD)、只读存储器(ROM)以及随机存取存储器(RAM)装置。本文所述的其他实施方案涉及计算机程序产品,所述计算机程序产品可包括例如本文所公开的指令和/或计算机代码。
本文所述的一个或多个实施方案和/或方法可由软件(在硬件上执行)、硬件或其组合来执行。硬件模块可包括例如通用处理器(或微处理器或做控制器)、现场可编程门阵列(FPGA)和/或专用集成电路(ASIC)。软件模块(在硬件上执行)可用多种软件语言(例如计算机代码)表达,包括C、C++、Ruby、Visual和/或其他面向对象、过程或其他编程语言和开发工具。计算机代码的实例包括但不限于做代码或做指令、诸如由编译器产生的机器指令、用于产生网页服务的代码以及包含由使用解释器的计算机执行的更高级指令的文件。计算机代码的其他实例包括但不限于控制信号、加密的代码和压缩的代码。虽然上文已经描述各种实施方案,但应了解,所述实施方案仅以举例的方式而不是以限制性的方式来呈现。虽然如上所述的方法指示某些事件以一定顺序发生,但是某些事件的排序可变化。另外,某些事件在可能的情况下可在并行过程中同时执行,以及如上所述依序执行。
Claims (9)
1.一种用于显微三维形貌测量系统的摄像机标定方法,其特征在于,包括如下步骤:
S1,用摄像机对主动标靶进行拍摄,对拍摄的图像进行相位解析,生成相位图;所述主动标靶上显示圆心特征点;
S2,在所述相位图上提取亚像素精度的圆心特征点的像素坐标;
S3,根据所述主动标靶圆心的世界坐标和所述亚像素精度的圆心特征点的像素坐标,采用远心相机标定算法,计算摄像机参数和重投影误差;
S4,根据所述摄像机参数和所述亚像素精度的圆心特征点的像素坐标,计算出圆心特征点矫正后的像素坐标;
S5,由所述主动标靶圆心的世界坐标和圆心特征点矫正后的像素坐标,根据远心相机标定算法计算新的摄像机参数和新的重投影误差;
S6,将所述重投影误差和所述新的重投影误差作差,当差值小于预设的阈值时,输出此时的摄像机参数并结束迭代,否则,则重复执行步骤S4~S6。
2.如权利要求1所述的一种用于显微三维形貌测量系统的摄像机标定方法,其特征在于,步骤S2具体包括如下步骤:
S21,用基于灰度的椭圆拟合法对相位图提取圆心特征点的像素坐标;
S22,在每个圆心特征点的像素坐标附近使用约束条件提取相位值最接近零的整像素圆心特征点的像素坐标;
S23,在以第i个整像素圆心特征点为中心的D×D像素大小的窗口内提取具有不同相位值的等相位线n条,分别对n条等相位线进行椭圆拟合,得到包含n个圆心坐标的集合Si=,其中p=1,...,n,i的值不超过每张标定图片中圆心特征点的个数,D的取值为正整数且不超过相位图中两相邻圆心特征点之间的像素距离;舍去与均值误差大于阈值的元素,求得集合Si中除了舍去元素以外剩余的圆心坐标的平均值,所述平均值即为每张标定图片中第i个亚像素精度的圆心特征点的像素坐标;所述标定图片为所述拍摄的图像;
S24,重复步骤S23,直到所述标定图片中所有亚像素精度的圆心特征点的像素坐标提取完成。
4.如权利要求3所述的一种用于显微三维形貌测量系统的摄像机标定方法,其特征在于,步骤S1中,所述用摄像机对主动标靶进行拍摄是对主动标靶变换位姿进行拍摄,对主动标靶变换位姿进行拍摄的方法为,变换位姿的次数不小于3次,每个位姿下主动标靶上按时间顺序依次显示1频3步圆形相移条纹图,控制摄像机对主动标靶上依次显示的图像分别进行拍摄。
6.如权利要求1所述的一种用于显微三维形貌测量系统的摄像机标定方法,其特征在于,步骤S4的具体步骤包括,
S41,执行正视投影;所述正视投影指的是,利用所述摄像机初始参数和双线性插值算法,将所述相位图转换为虚拟主动标靶,并通过双线性插值等相位线提取以及椭圆拟合计算虚拟主动标靶上圆心的世界坐标;
S42,执行重投影;所述重投影指的是,将虚拟主动标靶上圆心的世界坐标,转换为圆心特征点的像素坐标,即所述圆心特征点矫正后的像素坐标。
7.如权利要求6所述的一种用于显微三维形貌测量系统的摄像机标定方法,其特征在于,所述虚拟主动标靶与所述主动标靶的大小相同。
8.如权利要求1所述的一种用于显微三维形貌测量系统的摄像机标定方法,其特征在于,主动标靶圆心的世界坐标,由圆心在主动标靶上的编号索引、圆心之间的间隔、数字显示设备尺寸和像元尺寸信息计算得出。
9.一种用于显微三维形貌测量系统的摄像机标定装置,包括装有远心镜头的摄像机、控制单元、计算单元,其特征在于,还包括数字显示设备,所述计算单元生成相位标靶,所述数字显示设备显示所述相位标靶,所述控制单元控制所述摄像机抓拍所述相位标靶,所述计算单元还用于执行如权利要求1~8任一项所述的一种用于显微三维形貌测量系统的摄像机标定方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110633636.XA CN113298882B (zh) | 2021-06-07 | 2021-06-07 | 一种用于显微三维形貌测量系统的摄像机标定装置和方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110633636.XA CN113298882B (zh) | 2021-06-07 | 2021-06-07 | 一种用于显微三维形貌测量系统的摄像机标定装置和方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113298882A CN113298882A (zh) | 2021-08-24 |
CN113298882B true CN113298882B (zh) | 2022-12-20 |
Family
ID=77327441
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110633636.XA Active CN113298882B (zh) | 2021-06-07 | 2021-06-07 | 一种用于显微三维形貌测量系统的摄像机标定装置和方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113298882B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114897997B (zh) * | 2022-07-13 | 2022-10-25 | 星猿哲科技(深圳)有限公司 | 相机标定方法、装置、设备及存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20080016315A (ko) * | 2006-08-18 | 2008-02-21 | 김민성 | 영상계측을 위한 카메라 교정방법 |
CN108898635A (zh) * | 2018-05-07 | 2018-11-27 | 深圳大学 | 一种提高相机标定精度的控制方法及系统 |
CN109506589A (zh) * | 2018-12-25 | 2019-03-22 | 东南大学苏州医疗器械研究院 | 一种基于结构光场成像的三维轮廓测量方法 |
CN110500954A (zh) * | 2019-07-30 | 2019-11-26 | 中国地质大学(武汉) | 一种基于圆特征及p3p算法的飞行器位姿测量方法 |
CN110930463A (zh) * | 2019-12-06 | 2020-03-27 | 北京迈格威科技有限公司 | 一种监控摄像头内参标定方法、装置和电子设备 |
US10630910B1 (en) * | 2019-02-15 | 2020-04-21 | Keyence Corporation | Image processing apparatus |
CN112862897A (zh) * | 2021-01-29 | 2021-05-28 | 武汉惟景三维科技有限公司 | 一种基于相位移编码圆的相机离焦状态下的快速标定方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102968794B (zh) * | 2012-11-22 | 2015-04-22 | 上海交通大学 | 小型二维靶大视场双目立体视觉系统结构参数在位标定法 |
US10269140B2 (en) * | 2017-05-04 | 2019-04-23 | Second Spectrum, Inc. | Method and apparatus for automatic intrinsic camera calibration using images of a planar calibration pattern |
CN109215082B (zh) * | 2017-06-30 | 2021-06-22 | 杭州海康威视数字技术股份有限公司 | 一种相机参数标定方法、装置、设备及系统 |
CN110296691B (zh) * | 2019-06-28 | 2020-09-22 | 上海大学 | 融合imu标定的双目立体视觉测量方法与系统 |
CN110599548A (zh) * | 2019-09-02 | 2019-12-20 | Oppo广东移动通信有限公司 | 摄像头的标定方法、装置、相机及计算机可读存储介质 |
-
2021
- 2021-06-07 CN CN202110633636.XA patent/CN113298882B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20080016315A (ko) * | 2006-08-18 | 2008-02-21 | 김민성 | 영상계측을 위한 카메라 교정방법 |
CN108898635A (zh) * | 2018-05-07 | 2018-11-27 | 深圳大学 | 一种提高相机标定精度的控制方法及系统 |
CN109506589A (zh) * | 2018-12-25 | 2019-03-22 | 东南大学苏州医疗器械研究院 | 一种基于结构光场成像的三维轮廓测量方法 |
US10630910B1 (en) * | 2019-02-15 | 2020-04-21 | Keyence Corporation | Image processing apparatus |
CN110500954A (zh) * | 2019-07-30 | 2019-11-26 | 中国地质大学(武汉) | 一种基于圆特征及p3p算法的飞行器位姿测量方法 |
CN110930463A (zh) * | 2019-12-06 | 2020-03-27 | 北京迈格威科技有限公司 | 一种监控摄像头内参标定方法、装置和电子设备 |
CN112862897A (zh) * | 2021-01-29 | 2021-05-28 | 武汉惟景三维科技有限公司 | 一种基于相位移编码圆的相机离焦状态下的快速标定方法 |
Non-Patent Citations (2)
Title |
---|
Camera calibration for 3D reconstruction: application to the measurement of 3D deformations on sheet metal parts;Jean-Jose Orteu,;《 Lasers and Optics in Manufacturing III》;19970819;全文 * |
显微三维重构系统的标定技术研究;张秀夫;《中国优秀硕士论文电子期刊网》;20200615;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN113298882A (zh) | 2021-08-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110288642B (zh) | 基于相机阵列的三维物体快速重建方法 | |
CN107063129B (zh) | 一种阵列式并行激光投影三维扫描方法 | |
CN110207614B (zh) | 一种基于双远心相机匹配的高分辨高精度测量系统及方法 | |
WO2016138758A1 (zh) | 一种远心成像的三维形貌测量系统标定方法 | |
CN111288925B (zh) | 一种基于数字对焦结构照明光场的三维重建方法和装置 | |
CN110414510B (zh) | 一种指针式仪表读数校正方法 | |
Zhongdong et al. | 3D laser scanner system using high dynamic range imaging | |
JPWO2008078744A1 (ja) | パターン投影法による3次元形状計測装置、方法およびプログラム | |
CN112525107B (zh) | 一种基于事件相机的结构光三维测量方法 | |
CN111238403A (zh) | 一种基于光场子孔径条纹图像的三维重建方法及装置 | |
CN107610183B (zh) | 一种条纹投影相位高度转换映射模型的标定方法 | |
Li et al. | Lens distortion elimination for improving measurement accuracy of fringe projection profilometry | |
CN115775303B (zh) | 一种基于深度学习与光照模型的高反光物体三维重建方法 | |
JP2015021862A (ja) | 3次元計測装置及び3次元計測方法 | |
CN112489109B (zh) | 一种三维成像系统方法、装置及三维成像系统 | |
CN113298882B (zh) | 一种用于显微三维形貌测量系统的摄像机标定装置和方法 | |
CN111353997A (zh) | 一种基于条纹投影的实时三维面型缺陷检测方法 | |
JPH03500934A (ja) | 光学相関器の出力相関平面の較正システム | |
JP2018179577A (ja) | 位置計測装置 | |
CN112179292B (zh) | 一种基于投影仪的线结构光视觉传感器标定方法 | |
CN109859313B (zh) | 3d点云数据获取方法、装置、3d数据生成方法及系统 | |
JP3370418B2 (ja) | 3次元形状測定システム | |
Hongsheng et al. | Three-dimensional reconstruction of complex spatial surface based on line structured light | |
CN114565720A (zh) | 一种基于线结构光旋转扫描的主动式三维重建系统及方法 | |
CN112529792A (zh) | 一种免畸变模型的相机畸变校正方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |