CN101299270A - 三维扫描系统中的多个摄像机同步快速标定方法 - Google Patents

三维扫描系统中的多个摄像机同步快速标定方法 Download PDF

Info

Publication number
CN101299270A
CN101299270A CNA2008101238774A CN200810123877A CN101299270A CN 101299270 A CN101299270 A CN 101299270A CN A2008101238774 A CNA2008101238774 A CN A2008101238774A CN 200810123877 A CN200810123877 A CN 200810123877A CN 101299270 A CN101299270 A CN 101299270A
Authority
CN
China
Prior art keywords
circle
plane
image
camera
video camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2008101238774A
Other languages
English (en)
Other versions
CN101299270B (zh
Inventor
达飞鹏
邢德奎
傅有成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN2008101238774A priority Critical patent/CN101299270B/zh
Publication of CN101299270A publication Critical patent/CN101299270A/zh
Application granted granted Critical
Publication of CN101299270B publication Critical patent/CN101299270B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)

Abstract

一种三维扫描系统中的多个摄像机同步快速标定方法,其实现步骤为:(1)设置正四棱台标定物,八个标定球位于四棱台的顶点,在上、下平面各设置两个基准标定球;(2)摄像机拍摄标定物,用双阈值分割方法分别获取上、下平面所对应的圆,提取圆心,得到图像中的圆心点与空间中标定球球心之间的三组对应关系,求解单应性矩阵获得内部参数矩阵、外部参数矩阵,并求取畸变系数,将已求解摄像机参数作为初始值,采用非线性优化方法求得单台摄像机参数的最优解;(3)依次求取多台摄像机与空间某一摄像机之间的外部参数矩阵,利用双目立体视觉的极线几何约束关系,建立优化目标函数,采用非线性优化方法求解两摄像机之间的外部参数矩阵的最优解。

Description

三维扫描系统中的多个摄像机同步快速标定方法
技术领域
本发明涉及视觉系统中的摄像机模型参数的标定问题,尤其涉及一种三维扫描系统中的基于立体标定物的多个摄像机参数的同步快速标定方法。
背景技术
计算机视觉的基本任务之一,是从摄像机拍摄得到的图像出发,计算视场中物体的三维信息,由此来对三维物体进行重建和识别。物体表面点的三维几何信息与其在图像上的对应点之间的相互关系是由摄像机的成像模型决定的,建立这一几何模型的过程实际上就是摄像机参数的求解过程。因此,对摄像机参数的标定是这一建模过程的前提和关键。对摄像机参数的求解过程称为摄像机标定。
文献“Image Processing,Analysis,and Machine Vision”(M.Sonka,V.Hlavac,R.Boyle,International Thomson Publishing,1998)中阐述了一种较为通用的摄像机成像模型,该成像模型可以用以下公式来描述:
u v 1 = λA R T X w Y w Z w 1
其中,Xw,Yw,Zw是标定物的世界坐标系坐标,u,v是在以像素为单位的图像坐标系中的二维坐标,其中图像坐标系的横坐标轴和纵坐标轴分别称为u轴和v轴,λ为一标量,R,T为摄像机的外部参数矩阵,分别定义了世界坐标系的原点相对于摄像机坐标系的三维空间的姿态和位置, A = f x s u 0 0 f y v 0 0 0 1 为摄像机内部参数矩阵,其中fx,fy分别表示u轴和v轴的尺度因子,又称有效焦距,s表示u轴和v轴轴间不垂直因子,(u0,v0)表示以像素为单位的图像的主点坐标,也称光学中心。摄像机标定就是计算摄像机模型参数的过程。
摄像机标定技术大致可以分成两类:传统的标定方法和摄像机自标定方法。近年来,摄像机的自标定算法取得了很大的进展,已发表了相当数量的文献,其中一些算法获得了较为广泛的应用。但是由于自标定算法相比于传统标定算法精度要差,不适合诸如三维扫描等对检测精度要求非常高的场合。
摄像机传统标定方法精度要高于自动标定方法,所以在较精密的三维信息获取系统中得到了大量使用。传统标定方法所使用的标定物主要有两类,一是平面模板,二是三维立体标定块,常见的平面标定模板的设置方法是在平面模板上设置一些可以方便检测的标志点,如交叉点或者圆形,通过提取图像中标志点信息,得到空间平面模板与计算机图像中的标志点的数据匹配关系,进而求解摄像机的参数。文献“A flexible new technique for camera calibration”(Zhang Z Y.IEEE Transaction on Pattern Analysis and Machine Intelligence,2000,22(11):1330-1334)中公开了一种利用平面模板上标志点的对应关系以及摄像机内部参数的约束条件来求解摄像机参数的标定方法。该方法并不需要知道标准参照物的尺寸,仅仅利用平面模板上的特征点的对应关系,将平面模板在摄像机前任意转动两次或两次以上即可完成标定,无需了解模板的运动参数,使得标定过程变得更加容易方便。这种方法在应用于多个摄像机参数的同步快速标定时的缺点是:需要多次人工干预,即手动的将平面标定模板旋转一定角度拍摄多幅图像,并且摄像机只有在一定角度下方可看见平面模板上的标志点,当摄像机光轴与平面模板夹角过小时,其上的标志点将无法在摄像机平面上准确显示,导致无法实现多个摄像机参数的同步快速标定。另一种常见的标定物是三维立体标定块,常见的三维标定块,制作复杂,制造要求精度高,并且一般只可观察到标定块上三个平面的表面信息。
发明内容
本发明提供一种三维扫描系统中的基于立体标定物的多个摄像机同步快速的标定方法,本发明具有标定精度高,可以实现空间中分布的多个摄像机的同步标定,具有标定过程简单、标定的复杂度小,稳定性好的优点,本发明可以用于标定单台摄像机参数,以及空间中所有的摄像机坐标系的统一。
本发明是一种三维扫描系统中的基于立体标定物的多个摄像机同步快速的标定方法,所述的多个摄像机包括两个以及两个以上的更多摄像机,具体摄像机数目依据三维扫描系统的具体要求来设置,多个摄像机的参数的标定包括单台摄像机参数的标定以及多台摄像机坐标系的统一,本发明的技术方案如下:
首先设置一正四棱台立体标定物,八个标定球位于四棱台的顶点,并在上平面、下平面各选择两个基准标定球,摄像机拍摄标定物,用双阈值分割方法分别获取上下平面所对应的圆,并提取圆心,得到图像中的圆心与空间中标定球球心之间的对应关系,提取标定物中三个平面所对应的图像中的圆心点,建立三组对应关系,求解单应性矩阵获得内部参数矩阵以及外部参数矩阵的初始值,然后采用非线性优化方法求解单台摄像机参数的最优解,然后求取多台摄像机与空间中某一摄像机之间的外部参数矩阵,并采用非线性优化方法求解两摄像机之间的外部参数矩阵的最优解,依次完成空间中所有的摄像机坐标系的统一。
本发明方法包括下列操作步骤:
第1步:用摄像机参数标定方法对多摄像机系统中的摄像机进行逐台参数标定,得到各台摄像机的内部参数、外部参数以及畸变系数,其中内部参数矩阵Ai,i为1、2、3、......n,n为多摄像机系统中的摄像机总数,内部参数矩阵包括:光学中心、有效焦距、轴间不垂直因子,外部参数包括旋转参数矩阵Ri,i为1、2、3、......n,n为多摄像机系统中的摄像机总数,以及平移参数矩阵Ti,i为1、2、3、......n,n为多摄像机系统中的摄像机总数,所述单台摄像机参数标定方法的具体步骤为:
第1.1步:设置立体标定物,该设置方法为:在空间设置八个标定球,以八个标定球球心为顶点在空间中组成一个正四棱台,四棱台的上平面中的四个标定球的颜色为白色,下平面中的四个标定球的颜色为灰黑色,选定四棱台的上平面中两个相邻标定球为上平面第一、第二基准标定球,上平面第一基准标定球的半径大于上平面第二基准标定球的半径,上平面第二基准标定球的半径大于上平面中的其余两个标定球的半径,与上平面相对应的下平面的四个标定球采用相同的设置方法,测得四棱台中六个表面中每两个相邻表面之间的角度信息,以及八条边上每两个相邻标定球球心之间的距离,
第1.2步:将立体标定物置入多摄像机视场中,调整标定物的空间位置,使计算机图像中能被分割、提取出超过六个标定球所对应的圆形,每个摄像机获取一幅标定物的图像,对摄像机所拍摄到的图像进行数据处理,得到计算机图像中的圆形标志点与标定球之间的数据匹配关系,对图像进行数据处理方法为:
建立以像素点为单位的计算机图像坐标系(u,v),坐标系的原点位于图像的左下方,横、纵坐标轴分别为u轴和v轴,对图像进行滤波,以及阈值分割,阈值分割采用双阈值分割方法,获取一高阈值和一低阈值,用高阈值来分割图像获得标定物的上平面中四个球所对应的圆,通过边界提取、轮廓跟踪、圆边界拟合及中心提取,获得圆心点的精确位置以及圆半径的大小,半径最大的圆为上平面第一基准标定球在图像中的第一基准圆,其序号为1,半径次之的为第二基准圆,其序号为2,第一基准圆圆心点与其余三个圆心点连线组成三条直线,设第一基准圆心点与第二基准圆心点的连线为基准直线,比较基准直线与其余两条直线的夹角的大小,夹角较小的直线上的圆序号为3,夹角较大的直线上的圆序号为4,提取图像中灰度值介于低阈值与高阈值之间的部分,获得标定物的下平面中四个球所对应的圆,采用与高阈值分割时相同的处理方法,得到标定物下平面中的四个标定球所对应的圆的序号,
第1.3步:在图像中选取三组圆心,每组有四个圆心组成,每组圆心所对应的标定球的球心在同一个平面上,三组圆心的选取方法为:第一组选取高阈值时分割出的图像中上平面标定球对应的四个圆,第二组和第三组的选取方法为:依据上、下平面中的标定球在图像中的圆心点的序号关系,在图像中下平面标定球所对应的圆中任意选择两个,在图像中上平面标定球所对应的四个圆中选择相同序号的两个,在三组圆心对应的标定物的三个平面上建立三个世界坐标系,选择上平面为基准平面,在基准平面上建立第一世界坐标系(O1-X1Y1Z1),第一世界坐标系的原点O1为上平面第一基准标定球的球心,上平面第一基准标定球球心与上平面第二基准标定球球心的连线方向为坐标系的O1X1轴,上平面第一基准标定球球心与上平面另外一个相邻标定球球心连线方向为坐标系的O1Y1轴,O1Z1轴垂直于标定物上平面且指向标定物外部方向,另外两个平面的世界坐标系的设置方法为:选择该平面上的一个标定球的球心为坐标系的原点,该平面上的过坐标系原点的一条边为坐标系的X轴,在该平面上的经过坐标系原点做与坐标系的X轴相互垂直的直线,为该坐标系的Y轴,Z轴垂直于标定物上该平面且指向标定物外部方向,所选取的标定物三个平面中的每一个平面上的四个标定球的球心点坐标对应着计算机图像中的四个圆形的圆心点坐标,从而建立三组对应关系,求解单应性矩阵,然后依据单应性矩阵求取单台摄像机内部参数矩阵Ai以及摄像机与第一世界坐标系之间的组成外部参数矩阵的旋转参数矩阵Ri,i为1、2、3、......n,n为多摄像机系统中的摄像机总数和平移参数矩阵Ti,i为1、2、3、......n,n为多摄像机系统中的摄像机总数,并求取畸变系数,
第1.4步:求取标定物上的八个标定球的球心在第一世界坐标系下的坐标,建立利用优化目标函数对单台摄像机的内部参数矩阵、外部参数矩阵以及畸变系数进行优化,所述的优化目标函数为:
Figure A20081012387700101
其中c代表图像中圆形的数目,
Figure A20081012387700102
是第一世界坐标系下某球心点Mj通过摄像机成像模型在计算机图像上的投影点坐标,mj为该标定球在计算机图像中所对应的圆的圆心坐标。待优化的参数包括:内参数矩阵Ai,畸变系数矩阵kpi=[k1,k2,p1,p2]T,摄像机与第一世界坐标系之间的外部参数矩阵Ri,Ti,i为1、2、3、......n,n为多摄像机系统中的摄像机总数,
采用非线性优化方法求解单个摄像机的精确的内参数、外参数以及畸变系数的最优解,
第2步:多台摄像机坐标系的统一,选择多台摄像机中的第一台为基准摄像机,其余摄像机为一般摄像机,求取一般摄像机与基准摄像机之间的旋转参数矩阵R1i,i为2、3、......n,n为多摄像机系统中的摄像机总数;平移参数矩阵T1i,i为2、3、......n,n为多摄像机系统中的摄像机总数,其实现的具体步骤为:
第2.1步:获取空间中摄像机与基准摄像机之间的旋转参数R1i和平移参数T1i的初始值,
R 1 i = R 1 × R i - 1 , T1i=T1-R1×Ti
其中R1、T1为基准摄像机与标定物基准平面之间的旋转参数矩阵、平移参数矩阵,Ri、Ti,i为2、3、......n,n为多摄像机系统中的摄像机总数,为除基准摄像机外其他摄像机与标定物基准平面之间的旋转参数矩阵、平移参数矩阵,
第2.2步:利用双目立体视觉极线几何约束关系,获得一般摄像机所拍摄的图像中的圆心点在基准摄像机图像中的极线,该极线理想情况下通过基准摄像机图像中的圆心点,这个圆心点与一般摄像机图像中的圆心点相对应,建立如下优化目标函数:
Σ i = 2 n Σ j = 1 c { | | v 1 ij - l 1 ij ( u 1 ij ) | | 2 }
其中c代表图像中圆形的数目,n为多摄像机系统中的摄像机总数,u1ij、v1ij表示与第i台摄像机图像中的第j个圆相对应的基准摄像机图像中第j个圆的圆心点的横坐标和纵坐标,l1ij表示与第i台摄像机图像中的第j个圆相对应的基准摄像机中的极线,l1ij(u1ij)表示极线l1ij上对应于横坐标u1ij的纵坐标,
采用非线性优化方法,求解优化目标函数,获得一般摄像机与基准摄像机之间外部参数矩阵的最优参数解。
与现有技术相比,本发明具有如下优点:
(1)本发明中采用立体标定球作为标定物上的特征标志点,具有图像中标志点位置提取准确的优点,且制作简单、易固定、准确,在标定过程中自动建立空间坐标系,自动获取和处理图像中的特征标志点,自动化程度高,使应用更加稳定可靠。
(2)与常见的立体标定物相比,本发明所采用的标定物,可获取的平面超过三个,为标定过程提供了更多的可供使用的平面。
(3)在进行多个摄像机同步快速标定时,本发明只需将标定物置于空间中,摄像机拍摄一次即可完成参数标定,简化了标定过程,减少了人为干预所引入的误差。
(4)本发明比较完整地标定了单个摄像机的内部参数与外部参数,包括光学中心、有效焦距、轴间不垂直因子、旋转参数矩阵及平移参数矩阵、畸变系数。
(5)采用非线性优化方法求解单台摄像机参数的最优解时立体标定物上的全部球心点均参与到求解过程中,提高了数据利用率,使得结果保持较高的精度。
(6)本发明完成了摄像机坐标系的统一,并且利用极线几何约束,建立了优化目标函数,采用非线性优化的方法求解两两摄像机之间的外部参数矩阵,使得结果更加精确。
附图说明
图1是立体标定物的结构示意图,其中标定物上平面的边长小于标定物下平面的边长,标定球之间通过横杆相连,1、2、3、4分别表示上、下平面的第一基准标定球、第二基准标定球以及第三、四标定球。
图2是立体标定物的三视图,A为俯视图,B为左侧视图,C为前视图,D为主视图。
图3是多摄像机标定系统图,a,b,c,d,e,f代表了六个摄像机,B为背景,为一块黑布。
图4是以像素点为单位的计算机图像坐标系图。
图5是图像的灰度直方图,t1为通过双阈值分割方法获得的低阈值,t2为通过双阈值分割方法获得的高阈值。
图6是图像中圆序号的关系图。
图7是图像处理流程图。
图8是空间坐标系的设置图,分别建立了三个坐标系:(O1-X1Y1Z1),(O2-X2Y2Z2),(O3-X3Y3Z3)。
图9是摄像机参数的初始值的获取流程图。
图10是单台摄像机参数标定流程图。
图11是双目立体视觉极线几何约束关系图,其中p代表空间中的一个球心点,表示基准摄像机成像平面,Ii表示第i台摄像机成像平面,表示基准摄像机光心,Ci表示第i台摄像机的光心,π为极平面,C1与Ci之间的连线为基线,p C1与I1交于p1为空间中p点在基准摄像机成像平面上所成的像,p Ci与Ii交于pij为空间中p点在一般摄像机成像平面上所成的像,pij对应着I1成像平面上的极线l1ij,对应关系由虚线表示。
图12是多台摄像机坐标系统一流程图。
图13是多摄像机同步快速标定系统实现流程图。
具体实施方式
一种用于求取三维扫描系统中多个摄像机参数的同步快速标定方法,包括:立体标定物的设置,拍摄立体标定物,结合针孔透视模型,求解单应性矩阵,求取单台摄像机的内部参数矩阵、外部参数矩阵以及畸变系数的初始值,并采用非线性优化的方法求解单台摄像机参数的最优解,将空间中多台摄像机的坐标系统一到同一个摄像机坐标系下,并利用极线几何约束关系求取两两摄像机之间旋转参数矩阵和平移参数矩阵的最优解。
下面参照附图,对本发明具体实施方案做出更为详细的描述:
(1)空间立体标定物的设置:
在空间设置八个标定球,以八个标定球球心为顶点在空间中组成一个正四棱台,如图2所示,相邻标定球之间用横杆相连,考虑到在一个球上同时连接三根延长线交于球心的横杆较为困难,一种解决办法如图1所示,即一个球只连接一根横杆,再用横杆连接横杆,四棱台的上平面中的四个标定球的颜色为白色,下平面中的四个标定球的颜色为灰黑色,使得上、下平面标定球的颜色的深度不同,并使得这种区分在摄像机所成图像中是容易区分的,横杆颜色为黑色。选定四棱台的上平面中两个相邻标定球为上平面第一、第二基准标定球,上平面第一基准标定球的半径大于上平面第二基准标定球的半径,上平面第二基准标定球的半径大于上平面中的其余两个标定球的半径,与上平面相对应的下平面的四个标定球采用相同的设置方法,设定与上平面第一基准标定球处于同一棱边上的下平面中的标定球为下平面第一基准标定球,设定与上平面第二基准标定球处于同一棱边上的下平面中的标定球为下平面第二基准标定球,且下平面第一基准标定球的半径大于下平面第二基准标定球的半径,下平面第二基准标定球的半径大于下平面中的其余两个标定球的半径。测得四棱台中六个表面中每两个相邻表面之间的角度信息,以及八条边上每两个相邻标定球球心之间的距离,测量的一种方法为通过已知的标定球的半径以及连杆的长度,采用空间立体几何的知识来求取,这种方法对标定物的设置要求较高,测量的另一种方法是使用两台已经精确标定的摄像机,采用双目视觉原理,通过两台摄像机转换出标定物的空间立体信息,确定标定物上标定球的球心位置,检验标定物的设置精度并求取相应的位置和角度信息。
(2)用摄像机参数标定方法对多摄像机系统中的摄像机进行逐台参数标定,得到各台摄像机的内部参数、外部参数以及畸变系数,其中内部参数矩阵Ai,i为1、2、3、......n,n为多摄像机系统中的摄像机总数,内部参数矩阵包括:光学中心、有效焦距、轴间不垂直因子,外部参数包括旋转参数矩阵Ri,i为1、2、3、......n,n为多摄像机系统中的摄像机总数,以及平移参数矩阵Ti,i为1、2、3、......n,n为多摄像机系统中的摄像机总数,所述单台摄像机参数标定方法的具体步骤为:
第2.1步:将立体标定物置入多摄像机视场中,为了方便图像处理,标定物所置入的背景为一黑布,如图3所示,其中的多个摄像机包括两个以及两个以上的更多个摄像机,具体摄像机数目依据三维扫描系统的具体要求来设置,图3即给出了一个由六个摄像机组成的实例。调整标定物的空间位置,使计算机图像中能被分割、提取出超过六个标定球所对应的圆形,通过拍摄,每个摄像机获取一幅标定物的图像,对摄像机所拍摄到的图像进行数据处理,得到以像素点为单位的计算机图像中的圆形标志点与标定球之间的数据匹配关系,对图像进行数据处理方法为:
如图4所示,建立以像素点为单位的计算机图像坐标系(u,v),坐标系的原点位于图像的左下方,横、纵坐标轴分别为u轴和v轴,对图像进行滤波,去除干扰噪声,再对图像进行阈值分割,阈值分割采用双阈值分割方法,所采用的双阈值分割方法的实现方法为:首先获取图像的灰度直方图,由于图像中的三种主要颜色为:白色、灰黑色以及黑色,这三种颜色在灰度直方图中形成三个波峰、两个波谷,如图5所示,由于图像中标定物所占的像素点数远小于背景所占的像素点数,所以采用常见的迭代法可以首先获取标定物与背景之间的分隔阈值t1,采用该阈值可以将图像中的背景与标定物分割出来,该阈值即为双阈值分割方法中的低阈值,然后在低阈值与图像像素点的最大灰度值之间再次采用迭代法来获取另外一个阈值,该阈值介于图像中标定物上平面中的标定球所成圆形的灰度值与图像中下平面的标定球所成圆形的灰度值之间,为双阈值分割方法中的高阈值t2。其中迭代法的实现步骤为:
首先,求出图像的最大灰度值和最小灰度值,分别记为Zmax和Zmin,令初始阈值S0=(Zmin+Zmax)/2;进而根据阈值Sk,Sk初始值为S0,k的大小等于迭代次数,将图像分割为前景和背景,分别求出前景和背景的平均灰度值Zo和Zb;求出新阈值Sk+1=(Zo+Zb)/2;如果Sk=Sk+1,则所得Sk即为阈值;否则根据阈值Sk+1将图像再次分割为前景和背景,迭代计算。
通过上述方法获得图像的高阈值和图像的低阈值,用高阈值来分割图像获得标定物的上平面中四个球所对应的圆,通过边界提取、轮廓跟踪、圆边界拟合及中心提取,获得圆心点的精确位置以及圆半径的大小,如图6所示,半径最大的圆为上平面第一基准标定球在图像中的第一基准圆,其序号为1,半径次之的为第二基准圆,其序号为2,第一基准圆圆心点与其余三个圆心点连线组成三条直线,设第一基准圆心点与第二基准圆心点的连线为基准直线,比较基准直线与其余两条直线夹角的大小,夹角较小的直线上的圆序号为3,夹角较大的直线上的圆序号为4,提取图像中灰度值介于低阈值与高阈值之间的部分,获得标定物的下平面中四个球所对应的圆,采用与高阈值分割时相同的处理方法,得到标定物下平面中的四个圆的序号,如果图像中上平面中的标定球将下平面中的一个标定球遮挡住,即图像中只能获取下平面标定球所对应的三个圆形,此时确定图像中下平面标定球所对应的三个圆的序号的方法为:首先提取图像中下平面标定球所对应的三个圆形,分别求得这三个圆形的半径和圆心坐标,寻找到半径最大的圆,求得该圆的圆心点与其余两个圆的圆心点的连线的斜率以及两连线之间的夹角关系,作为待匹配关系。由于图像中上平面中的标定球所对应的圆形的序号已经确立,从图像中上平面标定球所对应的四个圆中选择出三个圆,共可得到四组圆,如图6所示,这四组圆是:第一组包括序号为1、2、3的圆,第二组包括序号为1、3、4的圆,第三组包括序号为1、2、4的圆,第四组包括序号为2、3、4的圆。分别求出第一组中序号为1的圆的圆心点与序号为2、3的圆的圆心点之间连线的斜率以及两连线之间的夹角,第二组序号为1的圆的圆心点与序号为3、4的圆的圆心点之间连线的斜率以及两连线之间的夹角,第三组中序号为1的圆的圆心点与序号为2、4的圆的圆心点之间连线的斜率以及两连线之间的夹角,第四组中序号为2的圆的圆心点与序号为3、4的圆的圆心点之间连线的斜率以及两连线之间的夹角,共得到四组关系,从这四组关系中选择一组与待匹配关系斜率以及夹角的大小最接近的一组,作为参考关系,由于标定物的上平面平行于下平面,且标定物上、下平面相对应的边相互平行,这种平行关系在计算机图像中为斜率相近的两条线。待匹配关系中半径最大的圆与参考关系中半径最大的圆的序号一致,待匹配关系中其余两个圆的序号的确立方法为:待匹配关系中半径最大的圆形与其余两个圆形组成两条连线,对于每一条连线从参考关系中寻找与之斜率相近的连线,待匹配关系中该连线上的圆形的序号与参考关系中与之斜率相近的连线上的圆形的序号一致。
图像处理流程图如图7。
第2.2步:在图像中选取三组圆心,每组有四个圆心组成,每组圆心所对应的标定球的球心在同一个平面上,三组圆心的选取方法为:第一组选取高阈值时分割出的图像中上平面标定球对应的四个圆,第二组和第三组的选取方法为:依据上、下平面中的标定球在图像中的圆心点的序号关系,在图像中下平面标定球所对应的圆中任意选择两个,在图像中上平面标定球所对应的四个圆中选择相同序号的两个,例如图像中下平面标定球对应圆形选择序号为1、2的圆,则图像中上平面标定球对应圆形亦选择序号为1、2的圆,这四个圆的圆心所对应的标定球的球心即位于同一个平面上。在三组圆心对应的标定物的三个平面上建立三个世界坐标系,选择上平面为基准平面,在基准平面上建立第一世界坐标系(O1-X1Y1Z1),第一世界坐标系的原点O1为上平面第一基准标定球的球心,上平面第一基准标定球球心与上平面第二基准标定球球心的连线方向为坐标系的O1X1轴,上平面第一基准标定球球心与上平面另外一个相邻标定球球心连线方向为坐标系的O1Y1轴,O1Z1轴垂直于标定物上平面且指向标定物外部方向,另外两个平面的世界坐标系的设置方法为:选择该平面上的一个标定球的球心为坐标系的原点,该平面上的过坐标系原点的一条边为坐标系的X轴,在该平面上的经过坐标系原点做与坐标系的X轴相互垂直的直线,为该坐标系的Y轴,Z轴垂直于标定物上该平面且指向标定物外部方向,如图8所示,选取了标定物的三组平面,并分别在其上建立了三个世界坐标系为:(O1-X1Y1Z1),(O2-X2Y2Z2),(O3-X3Y3Z3)。通过已求得的标定物上球心之间的位置关系,可以求出在标定物同一世界坐标系下标定球的球心的世界坐标系坐标。所选取的标定物三个平面中的每一个平面上的四个标定球的球心点坐标对应着计算机图像中的四个圆形的圆心点坐标,从而建立三组对应关系,使用在文献“A flexible new technique forcamera calibration”(Zhang Z Y.IEEE Transaction on Pattern Analysis and MachineIntelligence,2000,22(11):1330-1334)中公开的求解摄像机内部参数矩阵和外部参数矩阵初始值方法,利用已知的三组关系求解单应性矩阵,然后依据单应性矩阵求取单台摄像机内部参数矩阵Ai以及摄像机与第一世界坐标系之间的组成外部参数矩阵的旋转参数矩阵Ri和平移参数矩阵Ti,i为1、2、3、......n,n为多摄像机系统中的摄像机总数,并求取畸变系数,所求取的摄像机内部参数以及摄像机与第一世界坐标系之间的外部参数以及畸变系数作为下一步优化目标函数的初始值。
摄像机参数的初始值的求取方法为:
令世界坐标系的Zw分量为0,则理想针孔透视模型可表示为:
Figure A20081012387700161
其中
Figure A20081012387700163
H=λA[r1 r2 T]=[h1 h2 h3],ri(i=1~3)和hi(i=1~3)表示旋转矩阵R和矩阵H的列向量,矩阵A为内参数矩阵,w,λ为标量;
H矩阵称为单应性矩阵,它表示了标定模板平面与图像平面之间的单应性,自由度是8,因此需要至少4个非共线对应点,才可以求出H矩阵。H矩阵的求解是一个非线性最小二乘问题,可以用Levenberg-Marquardt法进行非线性优化来解决。用非线性优化方法求解需要有一个合适的初始值来迭代,初始值获得方法如下:
假设hi表示矩阵H的第i个行向量,可将摄像机理想针孔透视模型改写成:
X = h 1 T h 2 T h 3 T T , 从而将上式表示为:
Figure A20081012387700172
如果有n对给定的点,能得到n个上述的方程组,联立这n个方程组,就能得到一个形如LX=0的矩阵方程,其中L是一个2n×9的矩阵,X的解是矩阵LTL的最小特征值对应的特征向量。实际求解过程中,观察L矩阵的构成可知,其元素有的是图像坐标系坐标,有的是世界坐标系坐标,有的则是这二者的乘积,即构成矩阵L的各元素数量值相差很大,因此L是一个非常病态的方程,需要对其进行改造。对图像坐标和世界坐标进行了归-化处理以改善矩阵L的病态性能。设各图像点坐标为(ui,vi)(i=1,2,3,4),各空间点的世界坐标系坐标为(Xwi,Ywi)(i=1,2,3,4),则整个步骤总结如下:
1.)分别求u,v两轴上各坐标的平均值mu,mv为:
m u = Σ i = 1 4 u i 4 , m v = Σ i = 1 4 v i 4
则各图像点相对于平均值点的相对值Δui,Δvi为:
Δui=ui-mu,Δvi=vi-mv
同样对世界坐标系坐标进行处理,可得其平均值和相对值为:
m x = Σ i = 1 4 X wi 4 , m y = Σ i = 1 4 Y wi 4
ΔXwi=Xwi-mx,ΔYwi=Ywi-my
2.)分别求u,v两轴上及XW,YW两轴上所有相对坐标到质心的平均值duv,dxy为:
d uv = Σ i = 1 4 ( Δ u i 2 + Δ v i 2 ) 1 2 4 , d xy = Σ i = 1 4 ( Δ X wi 2 + Δ Y wi 2 ) 1 2 4
3.)分别求u,v两轴上及XW,YW两轴上的比例缩放因子suv,sxy为:
s uv = 2 d uv , s xy = 2 d xy
4.)u,v两轴上及XW,YW两轴上的变换关系可以用矩阵Tuv,Txy表示为:
T uv = s uv 0 - s uv m u 0 s uv - s uv m v 0 0 1 , T xy = s xy 0 - s xy m x 0 s xy - s xy m y 0 0 1
5.)设经过归一化处理的图像坐标与世界坐标系坐标分别为
Figure A20081012387700185
Figure A20081012387700186
则有下列关系成立:
Figure A20081012387700187
设用归一化处理后的图像坐标与世界坐标系坐标的单应性矩阵为
Figure A20081012387700188
则原坐标系中图像平面与空间坐标系之间的单应性矩阵为:
H = T uv - 1 H ~ T xy
由于旋转矩阵R是单位正交矩阵,故r1,r2是单位正交向量,由此可得两个约束:
h 1 T A - T A - 1 h 2 = 0 h 1 T A - T A - 1 h 1 = h 2 T A - T A - 1 h 2
B = A - T A - 1 = b 1 b 2 b 4 b 2 b 3 b 5 b 4 b 5 b 6 , 定义向量b=[b1 b2 b3 b4 b5 b6]T,则上式可重新写为:
v 12 T ( v 11 - v 22 ) T b = Vb = 0
其中vij=[hi1hj1,hi1hj2+hi2hj1,hi2hj2,hi3hj1+hi1hj3,hi3hj2+hi2hj3,hi3hj3]T,hij为矩阵H的第i行,第j列元素。通过获取标定物上的n(n≥3)个平面的图像就可得到n个上述的方程组,从而求解出矩阵B。在求解出B后,通过乔里斯基分解就可标定出内参数矩阵A,包括等效焦距、轴间不垂直因子和主点坐标。标定出内参数矩阵A后,就可确定每幅图像的外部参数,即摄像机外部参数为:
ρ = 1 / | | A - 1 h 1 | | = 1 / | | A - 1 h 2 | | r 1 = ρ A - 1 h 1 , r 2 = ρ A - 1 h 2 , r 3 = r 1 × r 2 T = ρ A - 1 h 3
由上式确定的旋转矩阵R不满足正交性,因此采用奇异值分解方法将其正交化,得到摄像机的外部参数。
由于成像镜头本身的制造问题,对于非精密测量用的镜头而言,畸变的影响是很大的。考虑到镜头的径向畸变和切向畸变,建立一个完整的摄像机畸变模型。(u,v)是理想的以像素为单位的图像坐标系坐标,
Figure A20081012387700192
是实际观测到的以像素为单位的图像坐标系坐标。理想点的成像模型遵从理想针孔透视模型。类似地,设(Xn,Yn)是理想的摄像机成像平面上的空间点的归一化图像坐标,是实际观测的摄像机成像平面上的归一化图像坐标。可得:
X ~ n = X n + X n [ k 1 ( X n 2 + Y n 2 ) + k 2 ( X n 2 + Y n 2 ) 2 ] + p 1 ( 3 X n 2 + Y n 2 ) + 2 p 2 X n Y n
Y ~ n = Y n + Y n [ k 1 ( X n 2 + Y n 2 ) + k 2 ( X n 2 + Y n 2 ) 2 ] + 2 p 1 X n Y n + p 2 ( X n 2 + 3 Y n 2 )
其中k1,k2是一阶和二阶径向畸变系数,p1,p2是切向畸变系数。像素点图像坐标系坐标和摄像机成像平面上归一化图像坐标的转换关系为:
Figure A20081012387700196
u = u 0 + f x X n + s Y n v = v 0 + f y Y n
联立上述两式,可得:
Figure A20081012387700198
+ p 2 [ s ( X n 2 + Y n 2 ) + 2 Y n ( u - u 0 ) ]
Figure A200810123877001910
将上式改写成矩阵形式有:
Figure A200810123877001911
其中 A 1 = ( u - u 0 ) ( X n 2 + Y n 2 ) , B 1 = ( u - u 0 ) ( X n 2 + Y n 2 ) 2 ,
C 1 = f x ( X n 2 + Y n 2 ) + 2 X n ( u - u 0 ) , D 1 = s ( X n 2 + Y n 2 ) + 2 Y n ( u - u 0 ) ,
A 2 = ( v - v 0 ) ( X n 2 + Y n 2 ) , B 2 = ( v - v 0 ) ( X n 2 + Y n 2 ) 2 ,
C2=2Xn(v-v0), D 2 = f y ( X n 2 + 3 Y n 2 )
在给出了标定物上的n个平面上的标定点数据后,将这些等式堆积起来就得到形如Dkp=d的等式,其中kp=[k1,k2,p1,p2]T为畸变系数,用线性最小二乘法解得:
kp=(DTD)-1DTd
从而求得摄像机参数的初值,这些参数由:旋转参数矩阵R,平移参数矩阵T,内部参数矩阵A,畸变系数kp=[k1,k2,p1,p2]T组成,每一台摄像机可求得一组由旋转参数矩阵、平移参数矩阵、畸变系数组成的参数,从而可以求得第i台摄像机的旋转参数矩阵Ri、平移参数矩阵Ti、畸变系数kpi,内部参数矩阵Ai,i为1、2、3、......n,n为多摄像机系统中的摄像机总数。
获取摄像机参数的初始值的算法流程见图9。
第2.3步:利用标定物两相邻表面之间的角度信息以及两相邻标定球球心之间的距离,求取标定物上的八个标定球的球心在第一世界坐标系下的坐标,根据摄像机成像模型公式,利用优化目标函数对单台摄像机的内部参数矩阵、外部参数矩阵以及畸变系数进行优化,所述的优化目标函数为:
Figure A20081012387700206
其中c代表图像中圆形的数目,
Figure A20081012387700207
是第一世界坐标系下某球心点Mj通过摄像机成像模型将空间点经过透视投影变换在计算机图像上的投影点坐标,mj为该标定球在计算机图像中所对应的圆的圆心坐标。待优化的参数包括:内参数矩阵Ai,畸变系数矩阵kpi=[k1,k2,p1,p2]T,摄像机与第一世界坐标系之间的外部参数矩阵Ri,Ti,i为1、2、3、......n,n为多摄像机系统中的摄像机总数。
采用非线性优化方法求解单个摄像机的精确的内参数、外参数以及畸变系数的最优解,常见的非线性优化方法有:Levenberg-Marquardt方法,惩罚函数法或者遗传算法。
单台摄像机参数标定流程图如图10所示。
(3)多台摄像机坐标系的统一,选择多台摄像机中的第一台为基准摄像机,其余摄像机为一般摄像机,求取一般摄像机与基准摄像机之间的旋转参数矩阵R1i,i为2、3、......n,n为多摄像机系统中的摄像机总数;平移参数矩阵T1i,i为2、3、......n,n为多摄像机系统中的摄像机总数,其实现的具体步骤为:
第3.1步:利用已经求得的单台摄像机与标定物第一世界坐标系之间的外部参数矩阵,获取空间中摄像机与基准摄像机之间的旋转参数矩阵R1i和平移参数矩阵T1i的初始值:
R 1 i = R 1 × R i - 1 , T1i=T1-R1×Ti
其中R1、T1为基准摄像机与标定物基准平面之间的旋转参数矩阵、平移参数矩阵,Ri、Ti,i为2、3、......n,n为多摄像机系统中的摄像机总数,为除基准摄像机外其他摄像机与标定物基准平面之间的旋转参数矩阵、平移参数矩阵。
第3.2步:利用双目立体视觉极线几何约束关系,获得一般摄像机所拍摄的图像中的圆心点在基准摄像机图像中的极线,实现过程为:
已知基准摄像机和一般摄像机的内参数矩阵A1,Ai,i为2、3、......n,n为多摄像机系统中的摄像机总数。
极平面方程可以表示为:
p 1 j T A 1 - T S R 1 i A i - 1 p ij = 0
如图10,其中p1j为空间中一球心点在所对应的基准摄像机所拍摄图像中的齐次坐标,pij为空间中一球心点在所对应的一般摄像机所拍摄图像中的齐次坐标,i为2、3、......n,n为多摄像机系统中的摄像机总数,j为1、2、……、8为标定物上标定球的个数,A1 -T代表A1矩阵的转置,Ai -1代表Ai矩阵的求逆,S为反对称矩阵且由平移矩阵定义为:
S = 0 - t 1 iz - t 1 iy t 1 iz 0 - t 1 ix - t 1 iy t 1 ix 0 , i为2、3、......n,n为多摄像机系统中的摄像机总数t1ix,t1iy,t1iz为T1i矩阵中的三个分量。
然后利用极线几何约束关系,求取两个摄像机之间的基本矩阵F1i,i为2、3、......n,n为多摄像机系统中的摄像机总数:
F 1 i = A 1 - T S R 1 i A i - 1
求取基本矩阵后,一般摄像机的图像中的某一圆心点,在基准摄像机图像下经过基本矩阵转换为一条直线:
l1ij=F1ipij
该极线理想情况下通过基准摄像机图像中的圆心点,这个圆心点与一般摄像机图像中的圆心点相对应,建立如下优化目标函数:
Σ i = 2 n Σ j = 1 c { | | v 1 ij - l 1 ij ( u 1 ij ) | | 2 }
其中c代表图像中圆形的数目,n为多摄像机系统中的摄像机总数,u1ij、v1ij表示与第i台摄像机图像中的第j个圆相对应的基准摄像机图像中第j个圆的圆心点的横坐标和纵坐标,l1ij表示与第i台摄像机图像中的第j个圆相对应的基准摄像机中的极线,l1ij(u1ij)表示极线l1ij上对应于横坐标u1ij的纵坐标。
采用非线性优化方法,求解优化目标函数,获得一般摄像机与基准摄像机之间外部参数矩阵的最优参数解,常见的非线性优化方法有:Levenberg-Marquardt方法,惩罚函数法或者遗传算法。
多台摄像机坐标系统一流程图如图12。
整个多摄像机同步快速标定系统实现流程图如图13。

Claims (2)

1、一种三维扫描系统中的多个摄像机同步快速标定方法,其特征在于:
第1步:用摄像机参数标定方法对多摄像机系统中的摄像机进行逐台参数标定,得到各台摄像机的内部参数、外部参数以及畸变系数,其中内部参数矩阵Ai,i为1、2、3、......n,n为多摄像机系统中的摄像机总数,内部参数矩阵包括:光学中心、有效焦距、轴间不垂直因子,外部参数包括旋转参数矩阵Ri,i为1、2、3、......n,n为多摄像机系统中的摄像机总数,以及平移参数矩阵Ti,i为1、2、3、......n,n为多摄像机系统中的摄像机总数,所述单台摄像机参数标定方法的具体步骤为:
第1.1步:设置立体标定物,该设置方法为:在空间设置八个标定球,以八个标定球球心为顶点在空间中组成一个正四棱台,四棱台的上平面中的四个标定球的颜色为白色,下平面中的四个标定球的颜色为灰黑色,选定四棱台的上平面中两个相邻标定球为上平面第一、第二基准标定球,上平面第一基准标定球的半径大于上平面第二基准标定球的半径,上平面第二基准标定球的半径大于上平面中的其余两个标定球的半径,与上平面相对应的下平面的四个标定球采用相同的设置方法,测得四棱台中六个表面中每两个相邻表面之间的角度信息,以及八条边上每两个相邻标定球球心之间的距离,
第1.2步:将立体标定物置入多摄像机视场中,调整标定物的空间位置,使计算机图像中能被分割、提取出超过六个标定球所对应的圆形,每个摄像机获取一幅标定物的图像,对摄像机所拍摄到的图像进行数据处理,得到计算机图像中的圆形标志点与标定球之间的数据匹配关系,对图像进行数据处理方法为:
建立以像素点为单位的计算机图像坐标系(u,v),坐标系的原点位于图像的左下方,横、纵坐标轴分别为u轴和v轴,对图像进行滤波,以及阈值分割,阈值分割采用双阈值分割方法,获取一高阈值和一低阈值,用高阈值来分割图像获得标定物的上平面中四个球所对应的圆,通过边界提取、轮廓跟踪、圆边界拟合及中心提取,获得圆心点的精确位置以及圆半径的大小,半径最大的圆为上平面第一基准标定球在图像中的第一基准圆,其序号为1,半径次之的为第二基准圆,其序号为2,第一基准圆圆心点与其余三个圆心点连线组成三条直线,设第一基准圆心点与第二基准圆心点的连线为基准直线,比较基准直线与其余两条直线的夹角的大小,夹角较小的直线上的圆序号为3,夹角较大的直线上的圆序号为4,提取图像中灰度值介于低阈值与高阈值之间的部分,获得标定物的下平面中四个球所对应的圆,采用与高阈值分割时相同的处理方法,得到标定物下平面中的四个标定球所对应的圆的序号,
第1.3步:在图像中选取三组圆心,每组由四个圆心组成,每组圆心所对应的标定球的球心在同一个平面上,三组圆心的选取方法为:第一组选取高阈值时分割出的图像中上平面标定球对应的四个圆,第二组和第三组的选取方法为:依据上、下平面中的标定球在图像中的圆心点的序号关系,在图像中下平面标定球所对应的圆中任意选择两个,在图像中上平面标定球所对应的四个圆中选择相同序号的两个,在三组圆心对应的标定物的三个平面上建立三个世界坐标系,选择上平面为基准平面,在基准平面上建立第一世界坐标系(O1-X1Y1Z1),第一世界坐标系的原点O1为上平面第一基准标定球的球心,上平面第一基准标定球球心与上平面第二基准标定球球心的连线方向为坐标系的O1X1轴,上平面第一基准标定球球心与上平面另外一个相邻标定球球心连线方向为坐标系的O1Y1轴,O1Z1轴垂直于标定物上平面且指向标定物外部方向,另外两个平面的世界坐标系的设置方法为:选择该平面上的一个标定球的球心为坐标系的原点,该平面上的过坐标系原点的一条边为坐标系的X轴,在该平面上的经过坐标系原点做与坐标系的X轴相互垂直的直线,为该坐标系的Y轴,Z轴垂直于标定物上该平面且指向标定物外部方向,所选取的标定物三个平面中的每一个平面上的四个标定球的球心点坐标对应着计算机图像中的四个圆形的圆心点坐标,从而建立三组对应关系,求解单应性矩阵,然后依据单应性矩阵求取单台摄像机内部参数矩阵Ai以及摄像机与第一世界坐标系之间的组成外部参数矩阵的旋转参数矩阵Ri,i为1、2、3、......n,n为多摄像机系统中的摄像机总数,和平移参数矩阵Ti,i为1、2、3、......n,n为多摄像机系统中的摄像机总数,并求取畸变系数,
第1.4步:求取标定物上的八个标定球的球心在第一世界坐标系下的坐标,建立优化目标函数,对单台摄像机的内部参数矩阵、外部参数矩阵以及畸变系数进行优化,所述的优化目标函数为:
Figure A2008101238770003C1
其中c代表图像中圆形的数目,
Figure A2008101238770003C2
是第一世界坐标系下某球心点Mj通过摄像机成像模型在计算机图像上的投影点坐标,mj为该标定球在计算机图像中所对应的圆的圆心坐标。待优化的参数包括:内参数矩阵Ai,畸变系数矩阵kpi=[k1,k2,p1,p2]T,摄像机与第一世界坐标系之间的外部参数矩阵Ri,Ti,i为1、2、3、......n,n为多摄像机系统中的摄像机总数,
采用非线性优化方法求解单个摄像机的精确的内参数、外参数以及畸变系数的最优解,
第2步:多台摄像机坐标系的统一,选择多台摄像机中的第一台为基准摄像机,其余摄像机为一般摄像机,求取一般摄像机与基准摄像机之间的旋转参数矩阵R1i,i为2、3、......n,n为多摄像机系统中的摄像机总数;平移参数矩阵T1i,i为2、3、......n,n为多摄像机系统中的摄像机总数,其实现的具体步骤为:
第2.1步:获取空间中一般摄像机与基准摄像机之间的旋转参数矩阵R1i和平移参数矩阵T1i的初始值,
R 1 i = R 1 × R i - 1 , T1i=T1-R1×Ti
其中R1、T1为基准摄像机与标定物第一世界坐标系之间的旋转参数矩阵、平移参数矩阵;Ri、Ti,i为2、3、......n,n为多摄像机系统中的摄像机总数,为一般摄像机与标定物第一世界坐标系之间的旋转参数矩阵、平移参数矩阵,
第2.2步:利用双目立体视觉极线几何约束关系,获得一般摄像机所拍摄的图像中的圆心点在基准摄像机图像中的极线,该极线理想情况下通过基准摄像机图像中的圆心点,这个圆心点与一般摄像机图像中的圆心点相对应,为空间中同一个标定球在不同摄像机中所成的圆形的圆心点,建立如下优化目标函数:
Σ i = 2 n Σ j = 1 c { | | v 1 ij - l 1 ij ( u 1 ij ) | | 2 }
其中c代表图像中圆形的数目,n为多摄像机系统中的摄像机总数,u1ij、v1ij表示与第i台摄像机所成图像中的第j个圆相对应的基准摄像机所成图像中第j个圆的圆心点的横坐标和纵坐标,l1ij表示与第i台摄像机图像中的第j个圆相对应的基准摄像机中的极线,l1ij(u1ij)表示极线l1ij上对应于横坐标u1ij的纵坐标,
采用非线性优化方法,求解优化目标函数,获得一般摄像机与基准摄像机之间旋转、平移参数矩阵的最优参数解。
2.根据权利要求1所述的三维扫描系统中的多个摄像机同步快速标定方法,其特征在于对可能出现的图像中上平面中的标定球将下平面中的一个标定球遮挡住的情形,确定图像中下平面标定球所对应的三个圆的序号的方法为:首先提取图像中下平面标定球所对应的三个圆形,分别求得这三个圆形的半径和圆心点坐标,寻找到半径最大的圆,求得该圆的圆心点与其余两个圆的圆心点的连线的斜率以及两连线之间的夹角关系,作为待匹配关系,通过已确定的图像中上平面中的标定球所对应的圆形的序号,从图像中上平面标定球所对应的四个圆中选择出三个圆,共可得到四组圆,这四组圆是:第一组包括序号为1、2、3的圆,第二组包括序号为1、3、4的圆,第三组包括序号为1、2、4的圆,第四组包括序号为2、3、4的圆,分别求出第一组中序号为1的圆的圆心点与序号为2、3的圆的圆心点之间连线的斜率以及两连线之间的夹角,第二组序号为1的圆的圆心点与序号为3、4的圆的圆心点之间连线的斜率以及两连线之间的夹角,第三组中序号为1的圆的圆心点与序号为2、4的圆的圆心点之间连线的斜率以及两连线之间的夹角,第四组中序号为2的圆的圆心点与序号为3、4的圆的圆心点之间连线的斜率以及两连线之间的夹角,共得到四组关系,从这四组关系中选择一组与待匹配关系斜率以及夹角最接近的一组作为参考关系,待匹配关系中半径最大的圆与参考关系中半径最大的圆的序号一致,待匹配关系中其余两个圆的序号的确立方法为:待匹配关系中半径最大的圆形与其余两个圆形组成两条连线,对于每一条连线从参考关系中寻找与之斜率相近的连线,待匹配关系中该连线上的圆形的序号与参考关系中与之斜率相近的连线上的圆形的序号一致。
CN2008101238774A 2008-05-27 2008-05-27 三维扫描系统中的多个摄像机同步快速标定方法 Expired - Fee Related CN101299270B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2008101238774A CN101299270B (zh) 2008-05-27 2008-05-27 三维扫描系统中的多个摄像机同步快速标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2008101238774A CN101299270B (zh) 2008-05-27 2008-05-27 三维扫描系统中的多个摄像机同步快速标定方法

Publications (2)

Publication Number Publication Date
CN101299270A true CN101299270A (zh) 2008-11-05
CN101299270B CN101299270B (zh) 2010-06-02

Family

ID=40079091

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008101238774A Expired - Fee Related CN101299270B (zh) 2008-05-27 2008-05-27 三维扫描系统中的多个摄像机同步快速标定方法

Country Status (1)

Country Link
CN (1) CN101299270B (zh)

Cited By (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101996407A (zh) * 2010-12-01 2011-03-30 北京航空航天大学 一种多相机颜色标定方法
CN102034236A (zh) * 2010-12-01 2011-04-27 北京航空航天大学 基于一维物体的多相机分层标定方法
WO2011076104A1 (zh) * 2009-12-21 2011-06-30 华为终端有限公司 图像拼接方法及装置
CN102567991A (zh) * 2011-12-09 2012-07-11 北京航空航天大学 一种基于同心圆合成图像匹配的双目视觉标定方法和系统
CN102622747A (zh) * 2012-02-16 2012-08-01 北京航空航天大学 一种用于视觉测量的摄像机参数优化方法
CN102692183A (zh) * 2011-03-23 2012-09-26 比比威株式会社 多台摄像机的初始位置和姿势的计量方法
CN102706319A (zh) * 2012-06-13 2012-10-03 深圳泰山在线科技有限公司 一种基于图像拍摄的距离标定和测量方法及系统
CN103065323A (zh) * 2013-01-14 2013-04-24 北京理工大学 一种基于单应性变换矩阵的分段空间对准方法
CN103369247A (zh) * 2013-07-15 2013-10-23 天津大学 应用于多摄像头视觉信息处理的摄像头统一焦距标定方法
CN103426168A (zh) * 2013-07-18 2013-12-04 北京航空航天大学 基于一维标定杆的普通、广角、鱼眼立体摄像机的通用标定方法
CN103530870A (zh) * 2012-07-02 2014-01-22 索尼公司 用单应变换校正双目摄影的系统和方法
CN103776604A (zh) * 2014-02-13 2014-05-07 山东理工大学 蹦床冲击球检测方法
CN104089587A (zh) * 2014-08-05 2014-10-08 吉林大学 汽车视觉检测系统的摄像机一维环形标定靶标
CN105069784A (zh) * 2015-07-29 2015-11-18 杭州晨安视讯数字技术有限公司 一种双摄像机目标定位互验证非参数方法
CN105205824A (zh) * 2015-09-25 2015-12-30 北京航空航天大学 基于高精度辅助相机和球靶标的多摄像机全局校准方法
CN105282501A (zh) * 2014-07-21 2016-01-27 罗伯特·博世有限公司 具有反射装置和对应模块的监视设备以及用于设置该监视设备的方法
CN102999893B (zh) * 2011-09-14 2017-01-25 新奥特(北京)视频技术有限公司 修正摄像机镜头内参数误差的方法及系统
CN106643735A (zh) * 2017-01-06 2017-05-10 中国人民解放军信息工程大学 一种室内定位方法、装置和移动终端
CN106846488A (zh) * 2017-01-11 2017-06-13 江苏科技大学 一种基于多立体跟踪器的大型物体三维建模系统及方法
CN106846413A (zh) * 2017-01-24 2017-06-13 太原理工大学 三维树型直角坐标系构建和图像空间标定的装置及方法
CN106843224A (zh) * 2017-03-15 2017-06-13 广东工业大学 一种多目视觉定位协同引导运输车的方法及装置
CN104021551B (zh) * 2014-05-27 2017-07-18 无锡维森智能传感技术有限公司 一种用于车载环视系统摄像头参数标定的校正标志物
CN107123147A (zh) * 2017-03-31 2017-09-01 深圳市奇脉电子技术有限公司 双目摄像机的标定方法、装置及双目摄像机系统
CN107367235A (zh) * 2016-05-13 2017-11-21 南京理工大学 一种红外面阵扫描系统的轴系误差标定方法
CN107680137A (zh) * 2017-09-20 2018-02-09 东南大学 一种基于球体投影公切线的多相机标定及参数优化方法
CN107798725A (zh) * 2017-09-04 2018-03-13 华南理工大学 基于Android的二维住房户型识别和三维呈现方法
CN107862718A (zh) * 2017-11-02 2018-03-30 深圳市自由视像科技有限公司 4d全息视频捕捉方法
CN108267133A (zh) * 2017-12-21 2018-07-10 合肥中导机器人科技有限公司 一种激光式反射板坐标系冗余标定方法及激光导航系统
CN108717728A (zh) * 2018-07-19 2018-10-30 安徽中科智链信息科技有限公司 一种基于多视角深度摄像机的三维重建装置及方法
CN109191528A (zh) * 2018-07-13 2019-01-11 云南大学 利用球像与圆环点极线的性质标定针孔摄像机的方法
CN109803126A (zh) * 2019-02-22 2019-05-24 重庆紫光华山智安科技有限公司 用于多屏显示的控制方法、控制端及多屏显示系统
US10319105B2 (en) 2015-09-17 2019-06-11 Interdigital Ce Patent Holdings Method and system for calibrating an image acquisition device and corresponding computer program product
CN110211225A (zh) * 2019-06-05 2019-09-06 广东工业大学 基于双目视觉的三维重建方法及系统
CN110243285A (zh) * 2019-06-26 2019-09-17 华中科技大学 一种用于视觉测量系统的标定装置
CN110260786A (zh) * 2019-06-26 2019-09-20 华中科技大学 一种基于外部跟踪的机器人视觉测量系统及其标定方法
CN110360991A (zh) * 2019-06-18 2019-10-22 武汉中观自动化科技有限公司 一种摄影测量方法、装置及存储介质
CN110506297A (zh) * 2017-04-17 2019-11-26 康耐视公司 高精确度校准系统和方法
CN110619611A (zh) * 2019-09-09 2019-12-27 北京迈格威科技有限公司 图像校正标定方法、装置、计算机设备和存储介质
CN110827356A (zh) * 2018-08-14 2020-02-21 广东若铂智能机器人有限公司 一种基于机器臂的相机快速标定方法
CN110874606A (zh) * 2018-08-31 2020-03-10 深圳中科飞测科技有限公司 匹配方法、三维形貌检测方法及其系统、非暂时性计算机可读介质
CN111080714A (zh) * 2019-12-13 2020-04-28 太原理工大学 一种基于三维重建的平行式双目相机标定方法
CN111279390A (zh) * 2018-02-06 2020-06-12 惠普发展公司,有限责任合伙企业 通过拼接不重叠图像构建用户面部图像
CN111481293A (zh) * 2020-04-16 2020-08-04 首都医科大学 一种基于最优视点选择的多视点光学定位方法及系统
CN112184823A (zh) * 2019-07-03 2021-01-05 上海飞猿信息科技有限公司 环视系统快速标定方法
CN112348890A (zh) * 2020-10-27 2021-02-09 深圳技术大学 一种空间定位方法、装置及计算机可读存储介质
CN112631431A (zh) * 2021-01-04 2021-04-09 杭州光粒科技有限公司 Ar眼镜的位姿确定方法、装置及设备、存储介质
CN113012238A (zh) * 2021-04-09 2021-06-22 南京星顿医疗科技有限公司 一种多深度相机快速标定与数据融合的方法
CN113267143A (zh) * 2021-06-30 2021-08-17 三一建筑机器人(西安)研究院有限公司 边模识别方法
CN113393383A (zh) * 2021-08-17 2021-09-14 常州市新创智能科技有限公司 一种双深度相机拍照图像的拼接方法
CN113409403A (zh) * 2021-06-29 2021-09-17 湖南泽塔科技有限公司 相机标定架、基于标定架的单幅图像相机标定方法及系统
CN113538606A (zh) * 2021-08-17 2021-10-22 数坤(北京)网络科技股份有限公司 图像关联方法、联动显示方法及相关产品
CN115937332A (zh) * 2023-03-09 2023-04-07 江西明天高科技股份有限公司 多摄像头快速标定方法、三维标定物
CN117788781A (zh) * 2024-02-28 2024-03-29 深圳市易检车服科技有限公司 标定物识别方法、装置、电子设备及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6917702B2 (en) * 2002-04-24 2005-07-12 Mitsubishi Electric Research Labs, Inc. Calibration of multiple cameras for a turntable-based 3D scanner
CN100583151C (zh) * 2006-09-22 2010-01-20 东南大学 三维扫描系统中双摄像机标定方法
CN100461220C (zh) * 2007-03-30 2009-02-11 东南大学 三维扫描系统中的基于固定参数与可变参数的标定方法

Cited By (84)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011076104A1 (zh) * 2009-12-21 2011-06-30 华为终端有限公司 图像拼接方法及装置
CN101996407A (zh) * 2010-12-01 2011-03-30 北京航空航天大学 一种多相机颜色标定方法
CN101996407B (zh) * 2010-12-01 2013-02-06 北京航空航天大学 一种多相机颜色标定方法
CN102034236A (zh) * 2010-12-01 2011-04-27 北京航空航天大学 基于一维物体的多相机分层标定方法
CN102034236B (zh) * 2010-12-01 2012-12-26 北京航空航天大学 基于一维物体的多相机分层标定方法
CN102692183B (zh) * 2011-03-23 2014-10-22 比比威株式会社 多台摄像机的初始位置和姿势的计量方法
CN102692183A (zh) * 2011-03-23 2012-09-26 比比威株式会社 多台摄像机的初始位置和姿势的计量方法
CN102999893B (zh) * 2011-09-14 2017-01-25 新奥特(北京)视频技术有限公司 修正摄像机镜头内参数误差的方法及系统
CN102567991A (zh) * 2011-12-09 2012-07-11 北京航空航天大学 一种基于同心圆合成图像匹配的双目视觉标定方法和系统
CN102567991B (zh) * 2011-12-09 2015-10-21 北京航空航天大学 一种基于同心圆合成图像匹配的双目视觉标定方法和系统
CN102622747A (zh) * 2012-02-16 2012-08-01 北京航空航天大学 一种用于视觉测量的摄像机参数优化方法
CN102622747B (zh) * 2012-02-16 2013-10-16 北京航空航天大学 一种用于视觉测量的摄像机参数优化方法
CN102706319A (zh) * 2012-06-13 2012-10-03 深圳泰山在线科技有限公司 一种基于图像拍摄的距离标定和测量方法及系统
CN102706319B (zh) * 2012-06-13 2015-05-13 深圳泰山在线科技有限公司 一种基于图像拍摄的距离标定和测量方法及系统
CN103530870A (zh) * 2012-07-02 2014-01-22 索尼公司 用单应变换校正双目摄影的系统和方法
CN103065323B (zh) * 2013-01-14 2015-07-15 北京理工大学 一种基于单应性变换矩阵的分段空间对准方法
CN103065323A (zh) * 2013-01-14 2013-04-24 北京理工大学 一种基于单应性变换矩阵的分段空间对准方法
CN103369247A (zh) * 2013-07-15 2013-10-23 天津大学 应用于多摄像头视觉信息处理的摄像头统一焦距标定方法
CN103369247B (zh) * 2013-07-15 2016-05-04 天津大学 应用于多摄像头视觉信息处理的摄像头统一焦距标定方法
CN103426168A (zh) * 2013-07-18 2013-12-04 北京航空航天大学 基于一维标定杆的普通、广角、鱼眼立体摄像机的通用标定方法
CN103426168B (zh) * 2013-07-18 2016-04-27 北京航空航天大学 基于一维标定杆的普通、广角、鱼眼立体摄像机的通用标定方法
CN103776604A (zh) * 2014-02-13 2014-05-07 山东理工大学 蹦床冲击球检测方法
CN103776604B (zh) * 2014-02-13 2016-02-10 山东理工大学 蹦床冲击球检测方法
CN104021551B (zh) * 2014-05-27 2017-07-18 无锡维森智能传感技术有限公司 一种用于车载环视系统摄像头参数标定的校正标志物
CN105282501A (zh) * 2014-07-21 2016-01-27 罗伯特·博世有限公司 具有反射装置和对应模块的监视设备以及用于设置该监视设备的方法
CN104089587A (zh) * 2014-08-05 2014-10-08 吉林大学 汽车视觉检测系统的摄像机一维环形标定靶标
CN105069784A (zh) * 2015-07-29 2015-11-18 杭州晨安视讯数字技术有限公司 一种双摄像机目标定位互验证非参数方法
CN105069784B (zh) * 2015-07-29 2018-01-05 杭州晨安科技股份有限公司 一种双摄像机目标定位互验证非参数方法
US10319105B2 (en) 2015-09-17 2019-06-11 Interdigital Ce Patent Holdings Method and system for calibrating an image acquisition device and corresponding computer program product
CN105205824A (zh) * 2015-09-25 2015-12-30 北京航空航天大学 基于高精度辅助相机和球靶标的多摄像机全局校准方法
CN105205824B (zh) * 2015-09-25 2018-01-02 北京航空航天大学 基于高精度辅助相机和球靶标的多摄像机全局校准方法
CN107367235B (zh) * 2016-05-13 2019-12-27 南京理工大学 一种红外面阵扫描系统的轴系误差标定方法
CN107367235A (zh) * 2016-05-13 2017-11-21 南京理工大学 一种红外面阵扫描系统的轴系误差标定方法
CN106643735A (zh) * 2017-01-06 2017-05-10 中国人民解放军信息工程大学 一种室内定位方法、装置和移动终端
CN106846488A (zh) * 2017-01-11 2017-06-13 江苏科技大学 一种基于多立体跟踪器的大型物体三维建模系统及方法
CN106846413A (zh) * 2017-01-24 2017-06-13 太原理工大学 三维树型直角坐标系构建和图像空间标定的装置及方法
CN106843224B (zh) * 2017-03-15 2020-03-10 广东工业大学 一种多目视觉定位协同引导运输车的方法及装置
CN106843224A (zh) * 2017-03-15 2017-06-13 广东工业大学 一种多目视觉定位协同引导运输车的方法及装置
CN107123147A (zh) * 2017-03-31 2017-09-01 深圳市奇脉电子技术有限公司 双目摄像机的标定方法、装置及双目摄像机系统
CN110506297B (zh) * 2017-04-17 2023-08-11 康耐视公司 高精确度校准系统和方法
CN110506297A (zh) * 2017-04-17 2019-11-26 康耐视公司 高精确度校准系统和方法
CN107798725A (zh) * 2017-09-04 2018-03-13 华南理工大学 基于Android的二维住房户型识别和三维呈现方法
CN107798725B (zh) * 2017-09-04 2020-05-22 华南理工大学 基于Android的二维住房户型识别和三维呈现方法
CN107680137A (zh) * 2017-09-20 2018-02-09 东南大学 一种基于球体投影公切线的多相机标定及参数优化方法
WO2019056782A1 (zh) * 2017-09-20 2019-03-28 东南大学 一种基于球体投影公切线的多相机标定及参数优化方法
CN107680137B (zh) * 2017-09-20 2019-06-21 东南大学 一种基于球体投影公切线的多相机标定及参数优化方法
CN107862718A (zh) * 2017-11-02 2018-03-30 深圳市自由视像科技有限公司 4d全息视频捕捉方法
CN107862718B (zh) * 2017-11-02 2020-01-24 深圳市自由视像科技有限公司 4d全息视频捕捉方法
CN108267133B (zh) * 2017-12-21 2021-07-27 合肥中导机器人科技有限公司 一种激光式反射板坐标系冗余标定方法及激光导航系统
CN108267133A (zh) * 2017-12-21 2018-07-10 合肥中导机器人科技有限公司 一种激光式反射板坐标系冗余标定方法及激光导航系统
CN111279390A (zh) * 2018-02-06 2020-06-12 惠普发展公司,有限责任合伙企业 通过拼接不重叠图像构建用户面部图像
US11727544B2 (en) 2018-02-06 2023-08-15 Hewlett-Packard Development Company, L.P. Constructing images of users' faces by stitching non-overlapping images
CN111279390B (zh) * 2018-02-06 2023-11-07 惠普发展公司,有限责任合伙企业 用于构建用户面部图像的装置和方法以及介质
CN109191528A (zh) * 2018-07-13 2019-01-11 云南大学 利用球像与圆环点极线的性质标定针孔摄像机的方法
CN109191528B (zh) * 2018-07-13 2021-10-08 云南大学 利用球像与圆环点极线的性质标定针孔摄像机的方法
CN108717728A (zh) * 2018-07-19 2018-10-30 安徽中科智链信息科技有限公司 一种基于多视角深度摄像机的三维重建装置及方法
CN110827356A (zh) * 2018-08-14 2020-02-21 广东若铂智能机器人有限公司 一种基于机器臂的相机快速标定方法
CN110874606A (zh) * 2018-08-31 2020-03-10 深圳中科飞测科技有限公司 匹配方法、三维形貌检测方法及其系统、非暂时性计算机可读介质
CN109803126A (zh) * 2019-02-22 2019-05-24 重庆紫光华山智安科技有限公司 用于多屏显示的控制方法、控制端及多屏显示系统
CN110211225A (zh) * 2019-06-05 2019-09-06 广东工业大学 基于双目视觉的三维重建方法及系统
CN110360991A (zh) * 2019-06-18 2019-10-22 武汉中观自动化科技有限公司 一种摄影测量方法、装置及存储介质
CN110260786B (zh) * 2019-06-26 2020-07-10 华中科技大学 一种基于外部跟踪的机器人视觉测量系统及其标定方法
CN110260786A (zh) * 2019-06-26 2019-09-20 华中科技大学 一种基于外部跟踪的机器人视觉测量系统及其标定方法
CN110243285A (zh) * 2019-06-26 2019-09-17 华中科技大学 一种用于视觉测量系统的标定装置
CN112184823A (zh) * 2019-07-03 2021-01-05 上海飞猿信息科技有限公司 环视系统快速标定方法
CN110619611A (zh) * 2019-09-09 2019-12-27 北京迈格威科技有限公司 图像校正标定方法、装置、计算机设备和存储介质
CN111080714A (zh) * 2019-12-13 2020-04-28 太原理工大学 一种基于三维重建的平行式双目相机标定方法
CN111080714B (zh) * 2019-12-13 2023-05-16 太原理工大学 一种基于三维重建的平行式双目相机标定方法
CN111481293A (zh) * 2020-04-16 2020-08-04 首都医科大学 一种基于最优视点选择的多视点光学定位方法及系统
CN112348890B (zh) * 2020-10-27 2024-01-23 深圳技术大学 一种空间定位方法、装置及计算机可读存储介质
CN112348890A (zh) * 2020-10-27 2021-02-09 深圳技术大学 一种空间定位方法、装置及计算机可读存储介质
CN112631431A (zh) * 2021-01-04 2021-04-09 杭州光粒科技有限公司 Ar眼镜的位姿确定方法、装置及设备、存储介质
CN112631431B (zh) * 2021-01-04 2023-06-16 杭州光粒科技有限公司 Ar眼镜的位姿确定方法、装置及设备、存储介质
CN113012238B (zh) * 2021-04-09 2024-04-16 南京星顿医疗科技有限公司 一种多深度相机快速标定与数据融合的方法
CN113012238A (zh) * 2021-04-09 2021-06-22 南京星顿医疗科技有限公司 一种多深度相机快速标定与数据融合的方法
CN113409403A (zh) * 2021-06-29 2021-09-17 湖南泽塔科技有限公司 相机标定架、基于标定架的单幅图像相机标定方法及系统
CN113267143B (zh) * 2021-06-30 2023-08-29 三一建筑机器人(西安)研究院有限公司 边模识别方法
CN113267143A (zh) * 2021-06-30 2021-08-17 三一建筑机器人(西安)研究院有限公司 边模识别方法
CN113538606A (zh) * 2021-08-17 2021-10-22 数坤(北京)网络科技股份有限公司 图像关联方法、联动显示方法及相关产品
CN113393383A (zh) * 2021-08-17 2021-09-14 常州市新创智能科技有限公司 一种双深度相机拍照图像的拼接方法
CN115937332B (zh) * 2023-03-09 2023-08-15 江西明天高科技股份有限公司 多摄像头快速标定方法、三维标定物
CN115937332A (zh) * 2023-03-09 2023-04-07 江西明天高科技股份有限公司 多摄像头快速标定方法、三维标定物
CN117788781A (zh) * 2024-02-28 2024-03-29 深圳市易检车服科技有限公司 标定物识别方法、装置、电子设备及存储介质
CN117788781B (zh) * 2024-02-28 2024-06-07 深圳市易检车服科技有限公司 标定物识别方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN101299270B (zh) 2010-06-02

Similar Documents

Publication Publication Date Title
CN101299270B (zh) 三维扫描系统中的多个摄像机同步快速标定方法
CN107292927B (zh) 一种基于双目视觉的对称运动平台位姿测量方法
CN106651752B (zh) 三维点云数据配准方法及拼接方法
CN103411553B (zh) 多线结构光视觉传感器的快速标定方法
CN100578141C (zh) 放置信息估计方法以及信息处理装置
CN102927908B (zh) 机器人手眼系统结构光平面参数标定装置及方法
CN108555908A (zh) 一种基于rgbd相机的堆叠工件姿态识别及拾取方法
CN104574406B (zh) 一种360度全景激光与多个视觉系统间的联合标定方法
CN105046746A (zh) 一种数字散斑人体三维快速扫描方法
CN106485757A (zh) 一种基于实心圆标定板的立体视觉系统标定平台及标定方法
CN111709985B (zh) 一种基于双目视觉的水下目标测距方法
CN103278138A (zh) 一种复杂结构薄部件三维位置及姿态的测量方法
CN109523595A (zh) 一种建筑工程直线棱角间距视觉测量方法
Bleier et al. Low-cost 3d laser scanning in air orwater using self-calibrating structured light
CN111429527A (zh) 一种车载相机的外参自动标定方法及系统
CN110415304B (zh) 一种视觉标定方法及系统
Georgantas et al. An accuracy assessment of automated photogrammetric techniques for 3D modeling of complex interiors
CN110763204A (zh) 一种平面编码靶标及其位姿测量方法
CN108362205A (zh) 基于条纹投影的空间测距方法
CN113446957A (zh) 基于神经网络标定和散斑追踪的三维轮廓测量方法及装置
JP2023530449A (ja) 空中と地上の位置合わせのためのシステムおよび方法
CN116563377A (zh) 一种基于半球投影模型的火星岩石测量方法
Barazzetti et al. Automated and accurate orientation of complex image sequences
CN107679542A (zh) 一种双摄像头立体视觉识别方法及系统
CN107941241B (zh) 一种用于航空摄影测量质量评价的分辨率板及其使用方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: SOWTHEAST UNIV.

Effective date: 20140731

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20140731

Address after: 226600 Jiangsu Province, Nantong city Haian County Industrial Park Tong Ping Road No. 9

Patentee after: Nantong Tongyang Mechanical and Electrical Manufacture Co., Ltd.

Patentee after: Southeast University

Address before: 226600 Jiangsu Province, Nantong city Haian County Industrial Park Tong Ping Road No. 9

Patentee before: Nantong Tongyang Mechanical and Electrical Manufacture Co., Ltd.

Effective date of registration: 20140731

Address after: 226600 Jiangsu Province, Nantong city Haian County Industrial Park Tong Ping Road No. 9

Patentee after: Nantong Tongyang Mechanical and Electrical Manufacture Co., Ltd.

Patentee after: Southeast University

Address before: 226600 Jiangsu Province, Nantong city Haian County Industrial Park Tong Ping Road No. 9

Patentee before: Nantong Tongyang Mechanical and Electrical Manufacture Co., Ltd.

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100602

Termination date: 20190527

CF01 Termination of patent right due to non-payment of annual fee