CN110595392A - 一种十字线结构光双目视觉扫描系统及方法 - Google Patents
一种十字线结构光双目视觉扫描系统及方法 Download PDFInfo
- Publication number
- CN110595392A CN110595392A CN201910918647.5A CN201910918647A CN110595392A CN 110595392 A CN110595392 A CN 110595392A CN 201910918647 A CN201910918647 A CN 201910918647A CN 110595392 A CN110595392 A CN 110595392A
- Authority
- CN
- China
- Prior art keywords
- line
- image
- camera
- obtaining
- left image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2545—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
Abstract
本发明提供一种十字线结构光双目视觉扫描系统及方法,其方法包括:获取多个图像组,每个所述图像组均包括左侧图像和右侧图像;分别对每个图像组的左侧图像和右侧图像进行极线校正;根据校正后的左侧图像得到左侧图像线激光条中心线,并根据校正后的右侧图像得到右侧图像线激光条中心线,并根据所述左侧图像线激光条中心线和所述右侧图像线激光条中心线得到十字线光条交叉点,并分别得到各个所述图像组的十字线光条交叉点;根据各个所述十字线光条交叉点建立被测物的三维点云,并根据所述三维点云得到被测物的三维构造图。本发明能够快速准确的完成特征点匹配,建立被测物的三维点云,得到被测物的三维构造图,具有匹配速度快、误差小的优点。
Description
技术领域
本发明主要涉及视觉三维图像构建技术领域,具体涉及一种十字线结构光双目视觉扫描系统及方法。
背景技术
随着我国加工业和制造业的飞速发展以及现代检测技术的不断进步,在工业测量领域中,复杂表面形貌零部件的三维测量技术逐渐成为研究重点。以激光三角法为原理的线结构光三维测量技术具有高精度、易扩展、鲁棒性强等特点,已成为非接触式三维测量中应用最广泛、最具有发展前景的技术。传统单相机线结构光三维测量面对较复杂的被测工件时,存在表面被部分遮挡情况,导致了测量数据不完整的问题,且被测物的三维重建效率慢,匹配误差大。
发明内容
本发明所要解决的技术问题是针对现有技术的不足,提供一种十字线结构光双目视觉扫描系统及方法。
本发明解决上述技术问题的技术方案如下:一种十字线结构光双目视觉扫描系统,包括扫描装置和后台处理装置;
所述扫描装置包括线激光器以及分别位于所述线激光器两侧的第一相机和第二相机,所述线激光器用于产生线激光条;所述第一相机和所述第二相机用于当所述线激光条照射在所述被测物时,同时对所述被测物进行多次拍摄,每次拍摄分别得到左侧图像和右侧图像,所述左侧图像和右侧图像为一图像组,得到多个图像组;
所述后台处理装置,用于分别对每个图像组的左侧图像和右侧图像进行极线校正,并根据校正后的左侧图像得到左侧图像线激光条中心线,并根据校正后的右侧图像得到右侧图像线激光条中心线,并根据所述左侧图像线激光条中心线和所述右侧图像线激光条中心线得到十字线光条交叉点,并分别得到各个所述图像组的十字线光条交叉点,并根据各个所述十字线光条交叉点建立被测物的三维点云,根据所述三维点云得到被测物的三维构造图。
本发明解决上述技术问题的另一技术方案如下:一种十字线结构光双目视觉扫描方法,包括如下步骤:
获取多个图像组,每个所述图像组均包括左侧图像和右侧图像,所述左侧图像通过预设的第一相机拍摄得到的,所述右侧图像通过预设的第二相机拍摄得到的,所述第一相机和所述第二相机根据预设的线激光条照射在所述被测物时进行拍摄;
分别对每个图像组的左侧图像和右侧图像进行极线校正;
根据校正后的左侧图像得到左侧图像线激光条中心线,并根据校正后的右侧图像得到右侧图像线激光条中心线,并根据所述左侧图像线激光条中心线和所述右侧图像线激光条中心线得到十字线光条交叉点,并分别得到各个所述图像组的十字线光条交叉点;
根据各个所述十字线光条交叉点建立被测物的三维点云,并根据所述三维点云得到被测物的三维构造图。
本发明的有益效果是:第一相机和第二相机分别位于线激光器的两侧,形成十字线光双目视觉结构,线结构光投射到被测物表面产生变形的激光条,作为被测物表面标志线,提取十字线光条中心线和十字线光条交叉中心点,快速准确的完成特征点匹配,建立被测物的三维点云,得到被测物的三维构造图,具有匹配速度快、误差小的优点。
附图说明
图1为本发明一实施例提供的十字线结构光双目视觉扫描系统的功能模块示意图;
图2为本发明另一实施例提供的十字线结构光双目视觉扫描系统的功能模块示意图;
图3为本发明一实施例提供的扫描装置的结构示意图;
图4为本发明一实施例提供的十字线结构光双目视觉扫描方法的流程示意图;
图5为本发明一实施例提供的方向模板的示意图;
图6为本发明一实施例提供的模块搜索过程的示意图。
附图中,各标记所代表的部件名称如下:
1、支撑平台,2、支撑杆,3、伺服电机,4、线激光器,5、第一相机,6、第二相机,7、第一滑块,8、第一固定支架,9、第一锁止部件,10、第二滑块,11、第二固定支架,12、第一转盘部件,13、第二转盘部件,14、第二锁止部件,201、滑轨,301、联轴器,101、扫描装置,102、后台处理装置,1021、校正单元,1022、提取单元,1023、处理单元,1024、三维建立单元。
具体实施方式
以下结合附图对本发明的原理和特征进行描述,所举实例只用于解释本发明,并非用于限定本发明的范围。
图1为本发明一实施例提供的十字线结构光双目视觉扫描系统的功能模块示意图。图3为本发明一实施例提供的扫描装置的结构示意图。
如图1和图3所示,一种十字线结构光双目视觉扫描系统,包括扫描装置101和后台处理装置102;
所述扫描装置101包括线激光器4以及分别位于所述线激光器4两侧的第一相机5和第二相机6,所述线激光器4用于产生线激光条;所述第一相机5和所述第二相机6用于当所述线激光条照射在所述被测物时,同时对所述被测物进行多次拍摄,每次拍摄分别得到左侧图像和右侧图像,所述左侧图像和所述右侧图像为一图像组,得到多个图像组;
所述后台处理装置102,用于分别对每个图像组的左侧图像和右侧图像进行极线校正,并根据校正后的左侧图像得到左侧图像线激光条中心线,并根据校正后的右侧图像得到右侧图像线激光条中心线,并根据所述左侧图像线激光条中心线和所述右侧图像线激光条中心线得到十字线光条交叉点,并分别得到各个所述图像组的十字线光条交叉点,并根据各个所述十字线光条交叉点建立被测物的三维点云,根据所述三维点云得到被测物的三维构造图。
具体地,第一相机5和第二相机6采用CCD相机。
上述实施例中,第一相机和第二相机分别位于线激光器的两侧,形成十字线光双目视觉结构,线结构光投射到被测物表面产生变形的激光条,作为被测物表面标志线,提取十字线光条中心线和十字线光条交叉中心点,快速准确的完成特征点匹配,建立被测物的三维点云,得到被测物的三维构造图,具有匹配速度快、误差小的优点。
图2为本发明另一实施例提供的十字线结构光双目视觉扫描系统的功能模块示意图。
可选地,作为本发明的一个实施例,如图2和图3所示,所述第一相机5和所述第二相机6还用于,当关闭所述线激光器4时,拍摄所述被测物的原始左侧图像和原始右侧图像;
所述后台处理装置包括校正单元1021、提取单元1022、处理单元1023和三维建立单元1024;
所述校正单元1021用于,建立所述第一相机5和所述第二相机6的世界坐标系,根据所述世界坐标系建立所述第一相机5和所述第二相机6之间的坐标转换关系,并根据所述坐标转换关系对每个图像组的左侧图像和右侧图像进行极线校正,得到校正后的左侧图像和校正后的右侧图像;
所述提取单元1022用于,根据图像减背景算法分别提取所述校正后的左侧图像和所述校正后的左侧图像中的光条特征,得到左侧结构光光条和右侧结构光光条,所述左侧结构光光条和所述右侧结构光光条形成十字线光条;
所述处理单元1023用于,以预设的水平、垂直、左侧倾斜和右侧倾斜四个方向模板分别对所述左侧结构光光条和所述右侧结构光光条建立左侧结构光矩阵组和右侧结构光矩阵组,并根据所述左侧结构光矩阵组得到在所述p点处的左侧图像线激光条中心点,根据所述左侧图像线激光条中心点得到左侧图像线激光条中心线,以及根据所述右侧结构光矩阵组得到在所述p点处的右侧图像线激光条中心点,根据所述右侧图像线激光条中心点得到右侧图像线激光条中心线,根据所述左侧图像线激光条中心线和所述右侧图像线激光条中心线得到交点,作为十字线光条交叉点,并分别得到各个所述图像组的十字线光条交叉点;
所述三维建立单元1024用于,以各个所述图像组的十字线光条交叉点为原点建立所述校正后的左侧图像和所述校正后的右侧图像的坐标轴,以所述坐标轴的Y轴作为中心分界线,以所述十字线光条交叉点为起点沿所述中心分界线上下逐行移动搜索,得到所述左侧图像线激光条中心点的坐标和所述右侧图像线激光条中心点的坐标,根据所述左侧图像线激光条中心点的坐标在所述原始左侧图像中进行领域像素搜索匹配,匹配到对应的左侧图像像素点,根据所述原始左侧图像所述右侧图像线激光条中心点的坐标在所述原始右侧图像中进行领域像素搜索匹配,匹配到对应的右侧图像像素点,直至匹配得到各个图像组中左侧图像像素点和右侧图像像素点,根据所述各个图像组中左侧图像像素点和右侧图像像素点建立所述被测物的三维点云,根据所述三维点云得到被测物的三维构造图。
上述实施例中,所述校正单元1021具体用于:
设所述被测物为p点,所述p点在所述世界坐标系、所述第一相机坐标系和所述第二相机坐标系的非齐次坐标分别为pw、p1和p2,根据第一式建立所述世界坐标系和所述第一相机的坐标关系以及建立所述世界坐标系和所述第二相机的坐标关系,所述第一式为
根据所述第一式得到所述第一相机和所述第二相机之间的坐标转换关系,所述坐标转换关系为
其中,R1和t1为所述第一相机的外部参数,R2和t2为所述第二相机的外部参数,为两个相机外部参数的旋转矩阵,为两个相机外部参数的平移矩阵。
具体地,校正前,首先对第一相机和第二相机进行标定,得到左右相机的内参数矩阵Al、Ar和两个相机之间的坐标系转换关系矩阵R、T;
设两相机各自的外部参数分别为:R1、t1与R2、t2;两个相机之间的旋转平移关系分别为:R、t。可见两个相机之间旋转平移关系矩阵R和t由第一相机和第二相机的外参数所决定。
应理解地,利用在计算获得相机内外参数和两相机之间的关系后,进行左右图像极线校正,对所有左右图像都进行极线校正,使左右图像的极线平行重合;
然后利用双相机同时拍摄同一个时刻的激光条形图,并利用图像减背景算法提取光条特征图,模板法提取每一对图像的激光条中心线。
图5为本发明一实施例提供的方向模板的示意图。
在所述处理单元中,由于结构光光条的形状随物体表面变化而不同,在小尺度情况下,可以认为结构光条纹形状有四种模式:水平、垂直、左斜45度,右斜45度,故针对这四种模式,得到对应的方向模板,分别记为K0,K1,K2,K3。如图5所示,以5×4的方向模板为例,将模板的元素取为正数,分别用模板K0,K1,K2,K3对图像的每一行处理,例如假设图像大小为row×col,模板在i行上滑动,j为列在变化,根据第二式对模板K0的第i行处理
其中,K[s][t]为模板,C[i][j]为图像中在(i,j)像素点的灰度值。如果有:
用模板K1,K2,K3,分别为Hp1,Hp2,Hp3。则取
HP=max{Hp0,Hp1,Hp2,Hp3}
那么在第i行上激光条纹中心位置为点p处。
图6为本发明一实施例提供的模块搜索过程的示意图。
在提取完光条中心后,在激光十字线光条中心线图中用模板法寻找激光十字线光条中心线交叉中心点。首先采用元素值为1,大小5×5的模板搜索图像,当模板内中心点数最大时初步确定交叉中心,再用大小3×3的模板在5×5的模板确定的区域内搜索,当模板内中心点数最大时,精确确定交叉中心点,两个模板如图6所示。由于物体和相机相对静止,所以激光十字光条在图像中的位置固定不变。
应理解地,使用以上方法分别对左侧图像和右侧图像进行处理。
在所述三维建立单元中,首先以各个所述图像组的十字线光条交叉点为原点建立所述校正后的左侧图像和所述校正后的右侧图像的坐标轴,以所述坐标轴的Y轴作为中心分界线,在十字线光条交叉点领域内进行搜索匹配,目的是在原图像中找到准确的交叉点坐标;再自十字线光条交叉中心点起,分别沿中心分界线逐行上下移动,该中心分界线竖直穿过交叉中心点,并向分界线两边沿该行逐像素搜索,直到搜索到光条中心点,分别记录左右图像光条中心点的坐标,在不含光条的左右原始图像内,对记录的坐标进行领域像素搜索匹配,直到搜索匹配完所有光条中心点坐标处的像素,然后随着电机的匀速旋转相机不断采图,按照以上方法不断进行左右图像立体匹配,直到电机旋转完360度并匹配完所有采集的图像,最终计算得到被测物轮廓的三维点云,从而实现三维重构。
上述实施例中,解决了当前单目结构匹配速度慢,匹配误差大的问题,通过校正后的左侧图像和右侧图像来提取线激光条的光条特征,使提取的十字线光条交叉点更准确,从而使图中的像素匹配率更高。
图3为本发明一实施例提供的扫描装置的结构示意图。
可选地,作为本发明的一个实施例,如图3所示,所述扫描装置101还包括支撑平台1、支撑杆2、第一连接部件、第二连接部件和伺服电机3,
所述支撑平台1为方形板状结构,所述支撑杆2竖直的设置在所述支撑平台1的边缘处,所述支撑杆2的侧面设有滑轨201,所述第一连接部件和所述第二连接部件由上至下滑动连接在所述支撑杆2的滑轨201上并定位;所述伺服电机3固定在所述第一连接部件上且靠近所述支撑平台1的一侧,所述线激光器4固定在所述伺服电机3的联轴器301上,所述伺服电机3通过所述联轴器301驱动所述线激光器4转动;
所述第一相机5和所述第二相机6设置在所述第二连接部件上且以所述线激光器4为轴对称的位于所述线激光器4的两侧。
上述实施例中,将被测物体放置在支撑平台上,线激光器4提供光线,伺服电机可带动线激光器4转动,第一相机5和第二相机6分别位于线激光器4的两侧,形成双目视觉扫描结构,且可通过第一连接部件和第二连接部件调节相机和线激光器的角度,较单目的视觉扫描结构拍摄范围更广,解决了单目结构光存在表面被部分遮挡情况。
可选地,作为本发明的一个实施例,所述第一连接部件包括第一滑块7、第一滑轮和第一固定支架8,所述第一滑块7通过所述第一滑轮与所述支撑杆2的滑轨201滑动连接;所述第一固定支架8为L型板状结构,所述第一固定支架8的竖直端贴合在所述第一滑块7的表面,其水平端向所述支撑平台1的中心处延伸;所述伺服电机3固定在所述第一固定支架8的水平端处。
具体地,所述支撑杆2为长方体结构,所述第一滑块7为矩形框体结构,所述第一滑块7套在所述支撑杆2上。
上述实施例中,第一滑块7与滑轨201滑动连接,带动伺服电机3和连接在伺服电机3上的线激光器4共同上下滑动,来调节光线角度。
可选地,作为本发明的一个实施例,所述第一连接部件还包括第一锁止部件14,所述第一锁止部件14横向贯穿于所述第一滑块7并与所述第一滑块7螺纹连接,拧紧所述第一锁止部件14使其一端抵接在所述支撑杆2上,将所述第一滑块7固定在所述支撑杆2上。
具体地,第一锁止部件9可为螺钉部件,所述第一滑块7上设有螺孔,将螺钉部件贯穿过螺孔,并抵接在所述支撑杆2上,防止第一滑块7向下滑动,且螺钉部件可设置多个,多个螺钉部件等间距的设置在第一滑块7上。
上述实施例中,当第一滑块7滑到滑轨201的预定位置时,通过第一锁止部件9将第一滑块7固定在支撑杆2上,使其不再滑动。
可选地,作为本发明的一个实施例,所述第二连接部件包括第二滑块10、第二滑轮、第二固定支架11、第一转盘部件12和第二转盘部件13,所述第二滑块10通过所述第二滑轮与所述支撑杆2的滑轨201滑动连接,所述第二固定支架11为矩形板状结构,所述第二固定支架11的中部固定在所述第二滑块10上;
所述第一转盘部件12包括第一连接块和与所述第一连接块转动连接的第一刻度转动盘,所述第二转盘部件13包括第二连接块和与所述第二连接块转动连接的第二刻度转动盘;所述第一连接块和所述第二连接块固定在所述第二固定支架11上且以所述线激光器4为轴对称的位于所述线激光器4的两侧,所述第一相机5与所述第一刻度转动盘固定连接,所述第二相机6与所述第二刻度转动盘固定连接;所述第一刻度转动盘和所述第二刻度转动盘的外表面上周向的设有刻度。
具体地,所述支撑杆2为长方体结构,所述第二滑块10为矩形框体结构,所述第二滑块10套在所述支撑杆2上,且位于第一滑块7下方。
上述实施例中,第二滑块10与滑轨201滑动连接,带动第一相机5和第二相机6共同上下滑动,来上下调节拍摄角度,并且通过第一转盘部件12和第二转盘部件13水平转动,来调节拍摄角度,扩大拍摄范围。
可选地,作为本发明的一个实施例,所述第二连接部件还包括第二锁止部件9,所述第二锁止部件9横向贯穿于所述第二滑块10并、与所述第二滑块10螺纹连接,拧紧所述第二锁止部件9使其一端抵接在所述支撑杆2上,将所述第二滑块10固定在所述支撑杆2上。
具体地,第二锁止部件14可为螺钉部件,所述第二滑块10设有螺孔,将螺钉部件贯穿过螺孔,并抵接在所述支撑杆2上,防止第二滑块10向下滑动,且螺钉部件可设置多个,多个螺钉部件等间距的设置在第二滑块10上。
上述实施例中,当第二滑块10滑到滑轨201的预定位置时,通过第二锁止部件14将第二滑块10固定在支撑杆2上,使其不再滑动。
可选地,作为本发明的一个实施例,所述第一转盘部件12还包括第一转盘锁止部件,所述第一转盘锁止部件竖直贯穿于所述第一刻度转动盘并与所述第一刻度转动盘螺纹连接,拧紧所述第一转盘锁止部件使其一端抵接在所述第一连接块上;
所述第二转盘部件13还包括第二转盘锁止部件,所述第二转盘锁止部件竖直贯穿于所述第二刻度转动盘并与所述第二刻度转动盘螺纹连接,拧紧所述第二转盘锁止部件使其一端抵接在所述第二连接块上。
可选地,作为本发明的一个实施例,所述扫描装置还包括用于将所述第一相机5采集的数据传输至外部处理设备的第一数据线,所述第一数据线与所述第一相机5的输出端口连接;
所述扫描装置还包括用于将所述第二相机6采集的数据传输至所述外部处理设备的第二数据线,所述第二数据线与所述第二相机6的输出端口连接。
上述实施例中,可将第一相机5和第二相机6拍摄的图像数据通过数据线传输至外部处理设备进行数据分析处理。
可选地,作为本发明的一个实施例,所述扫描装置101还包括用于将所述第一相机5采集的数据传输至所述后台处理装置102的第一数据线,所述第一数据线与所述第一相机5的输出端口连接;
所述扫描装置101还包括用于将所述第二相机6采集的数据传输至所述后台处理装置102的第二数据线,所述第二数据线与所述第二相机6的输出端口连接。
可选地,作为本发明的一个实施例,所述扫描装置101还包括编码器,所述编码器设置在所述支撑杆2上,所述编码器与所述伺服电机3电连接;
所述编码器用于记录所述伺服电机3的联轴器301的转动角度,当转动完成一周时,生成停止信号;
所述伺服电机3用于,根据所述停止信号停止转动。
应理解地,当开始转动时,编码器记录电机转动角度,相机开始按一定的频率拍照,当电机转动完一周,即转动360度,电机停止转动,第一相机和第二相机停止拍照。
所述扫描装置101操作方法如下:
两台相机固定在支架刻度转盘上,可以根据测量物体需要准确调整连个相机角度,确保被测物在公共视场内,对被测物进行拍摄。同时,控制伺服电机匀速转动,带动线激光器旋转,线激光条沿光轴旋转360,完成对被测物表面扫描。线激光未打开时,首先分别用双目相机(即第一相机和第二相机)拍摄一张原始图像;当打开线激光,同时电机未转动时,双目相机分别拍摄一幅光条图像;当开始转动时,外部编码器记录电机转动角度,双目相机开始按一定的频率拍照,当电机转动完一周,电机停止转动,双目相机停止拍照。
图4为本发明实施例提供的十字线结构光双目视觉扫描方法的流程示意图。
可选地,作为本发明的一个实施例,如图4所示,一种十字线结构光双目视觉扫描方法,包括如下步骤:
S1:获取多个图像组,每个所述图像组均包括左侧图像和右侧图像,所述左侧图像通过预设的第一相机拍摄得到的,所述右侧图像通过预设的第二相机拍摄得到的,所述第一相机和所述第二相机根据预设的线激光条照射在所述被测物时进行拍摄;
S2:分别对每个图像组的左侧图像和右侧图像进行极线校正;
S3:根据校正后的左侧图像得到左侧图像线激光条中心线,并根据校正后的右侧图像得到右侧图像线激光条中心线,并根据所述左侧图像线激光条中心线和所述右侧图像线激光条中心线得到十字线光条交叉点,并分别得到各个所述图像组的十字线光条交叉点;
S4:根据各个所述十字线光条交叉点建立被测物的三维点云,并根据所述三维点云得到被测物的三维构造图。
本发明的第一相机和第二相机分别位于线激光器的两侧,形成十字线光双目视觉结构,线结构光投射到被测物表面产生变形的激光条,作为被测物表面标志线,提取十字线光条中心线和十字线光条交叉中心点,快速准确的完成特征点匹配,建立被测物的三维点云,得到被测物的三维构造图,具有匹配速度快、误差小的优点。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分,或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。
Claims (9)
1.一种十字线结构光双目视觉扫描系统,其特征在于,包括扫描装置和后台处理装置;
所述扫描装置包括线激光器以及分别位于所述线激光器两侧的第一相机和第二相机,所述线激光器用于产生线激光条;所述第一相机和所述第二相机用于当所述线激光条照射在所述被测物时,同时对所述被测物进行多次拍摄,每次拍摄分别得到左侧图像和右侧图像,得到多个图像组;
所述后台处理装置,用于分别对每个图像组的左侧图像和右侧图像进行极线校正,并根据校正后的左侧图像得到左侧图像线激光条中心线,并根据校正后的右侧图像得到右侧图像线激光条中心线,并根据所述左侧图像线激光条中心线和所述右侧图像线激光条中心线得到十字线光条交叉点,并分别得到各个所述图像组的十字线光条交叉点,并根据各个所述十字线光条交叉点建立被测物的三维点云,根据所述三维点云得到被测物的三维构造图。
2.根据权利要求1所述的十字线结构光双目视觉扫描系统,其特征在于,所述第一相机和所述第二相机还用于,当关闭所述线激光器时,拍摄所述被测物的原始左侧图像和原始右侧图像;
所述后台处理装置包括校正单元、提取单元、处理单元和三维建立单元;
所述校正单元用于,建立所述第一相机和所述第二相机的世界坐标系,根据所述世界坐标系建立所述第一相机和所述第二相机之间的坐标转换关系,并根据所述坐标转换关系对每个图像组的左侧图像和右侧图像进行极线校正,得到校正后的左侧图像和校正后的右侧图像;
所述提取单元用于,根据图像减背景算法分别提取所述校正后的左侧图像和所述校正后的左侧图像中的光条特征,得到左侧结构光光条和右侧结构光光条,所述左侧结构光光条和所述右侧结构光光条形成十字线光条;
所述处理单元用于,以预设的水平、垂直、左侧倾斜和右侧倾斜四个方向模板分别对所述左侧结构光光条和所述右侧结构光光条建立左侧结构光矩阵组和右侧结构光矩阵组,并根据所述左侧结构光矩阵组得到在所述被测物处的左侧图像线激光条中心点,根据所述左侧图像线激光条中心点得到左侧图像线激光条中心线,以及根据所述右侧结构光矩阵组得到在所述被测物处的右侧图像线激光条中心点,根据所述右侧图像线激光条中心点得到右侧图像线激光条中心线,根据所述左侧图像线激光条中心线和所述右侧图像线激光条中心线得到交点,作为十字线光条交叉点,并分别得到各个所述图像组的十字线光条交叉点;
所述三维建立单元用于,以各个所述图像组的十字线光条交叉点为原点建立所述校正后的左侧图像和所述校正后的右侧图像的坐标轴,以所述坐标轴的Y轴作为中心分界线,以所述十字线光条交叉点为起点沿所述中心分界线上下逐行移动搜索,得到所述左侧图像线激光条中心点的坐标和所述右侧图像线激光条中心点的坐标,根据所述左侧图像线激光条中心点的坐标在所述原始左侧图像中进行领域像素搜索匹配,匹配到对应的左侧图像像素点,根据所述原始左侧图像所述右侧图像线激光条中心点的坐标在所述原始右侧图像中进行领域像素搜索匹配,匹配到对应的右侧图像像素点,直至匹配得到各个图像组中左侧图像像素点和右侧图像像素点,根据所述各个图像组中左侧图像像素点和右侧图像像素点建立所述被测物的三维点云,根据所述三维点云得到被测物的三维构造图。
3.根据权利要求1所述的十字线结构光双目视觉扫描系统,其特征在于,所述校正单元具体用于:
设所述被测物为p点,所述p点在所述世界坐标系、所述第一相机坐标系和所述第二相机坐标系的非齐次坐标分别为pw、p1和p2,根据第一式建立所述世界坐标系和所述第一相机的坐标关系以及建立所述世界坐标系和所述第二相机的坐标关系,所述第一式为
根据所述第一式得到所述第一相机和所述第二相机之间的坐标转换关系,所述坐标转换关系为
其中,R1和t1为所述第一相机的外部参数,R2和t2为所述第二相机的外部参数,为两个相机外部参数的旋转矩阵,为两个相机外部参数的平移矩阵。
4.根据权利要求1所述的十字线结构光双目视觉扫描系统,其特征在于,所述扫描装置还包括支撑平台、支撑杆、第一连接部件、第二连接部件和伺服电机,
所述支撑平台为方形板状结构,所述支撑杆竖直的设置在所述支撑平台的边缘处,所述支撑杆的侧面设有滑轨,所述第一连接部件和所述第二连接部件由上至下滑动连接在所述支撑杆的滑轨上并定位;所述伺服电机固定在所述第一连接部件上且靠近所述支撑平台的一侧,所述线激光器固定在所述伺服电机的联轴器上,所述伺服电机通过所述联轴器驱动所述线激光器转动;
所述第一相机和所述第二相机设置在所述第二连接部件上且以所述线激光器为轴对称的位于所述线激光器的两侧。
5.根据权利要求4所述的十字线结构光双目视觉扫描系统,其特征在于,所述第一连接部件包括第一滑块、第一滑轮和第一固定支架,所述第一滑块通过所述第一滑轮与所述支撑杆的滑轨滑动连接;所述第一固定支架为L型板状结构,所述第一固定支架的竖直端贴合在所述第一滑块的表面,其水平端向所述支撑平台的中心处延伸;所述伺服电机固定在所述第一固定支架的水平端处。
6.根据权利要求4所述的十字线结构光双目视觉扫描系统,其特征在于,所述第二连接部件包括第二滑块、第二滑轮、第二固定支架、第一转盘部件和第二转盘部件,所述第二滑块通过所述第二滑轮与所述支撑杆的滑轨滑动连接,所述第二固定支架为矩形板状结构,所述第二固定支架的中部固定在所述第二滑块上;
所述第一转盘部件包括第一连接块和与所述第一连接块转动连接的第一刻度转动盘,所述第二转盘部件包括第二连接块和与所述第二连接块转动连接的第二刻度转动盘;所述第一连接块和所述第二连接块固定在所述第二固定支架上且以所述线激光器为轴对称的位于所述线激光器的两侧,所述第一相机与所述第一刻度转动盘固定连接,所述第二相机与所述第二刻度转动盘固定连接;所述第一刻度转动盘和所述第二刻度转动盘的外表面上周向的设有刻度。
7.根据权利要求4所述的十字线结构光双目视觉扫描系统,其特征在于,所述扫描装置还包括用于将所述第一相机采集的数据传输至所述后台处理装置的第一数据线,所述第一数据线与所述第一相机的输出端口连接;
所述扫描装置还包括用于将所述第二相机采集的数据传输至所述后台处理装置的第二数据线,所述第二数据线与所述第二相机的输出端口连接。
8.根据权利要求4所述的十字线结构光双目视觉扫描系统,其特征在于,所述扫描装置还包括编码器,所述编码器设置在所述支撑平台上,所述编码器与所述伺服电机电连接;
所述编码器用于记录所述伺服电机的联轴器的转动角度,当转动完成一周时,生成停止信号;
所述伺服电机用于,根据所述停止信号停止转动。
9.一种十字线结构光双目视觉扫描方法,其特征在于,包括如下步骤:
获取多个图像组,每个所述图像组均包括左侧图像和右侧图像,所述左侧图像通过预设的第一相机拍摄得到的,所述右侧图像通过预设的第二相机拍摄得到的,所述第一相机和所述第二相机根据预设的线激光条照射在所述被测物时进行拍摄;
分别对每个图像组的左侧图像和右侧图像进行极线校正;
根据校正后的左侧图像得到左侧图像线激光条中心线,并根据校正后的右侧图像得到右侧图像线激光条中心线,并根据所述左侧图像线激光条中心线和所述右侧图像线激光条中心线得到十字线光条交叉点,并分别得到各个所述图像组的十字线光条交叉点;
根据各个所述十字线光条交叉点建立被测物的三维点云,并根据所述三维点云得到被测物的三维构造图。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910918647.5A CN110595392B (zh) | 2019-09-26 | 2019-09-26 | 一种十字线结构光双目视觉扫描系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910918647.5A CN110595392B (zh) | 2019-09-26 | 2019-09-26 | 一种十字线结构光双目视觉扫描系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110595392A true CN110595392A (zh) | 2019-12-20 |
CN110595392B CN110595392B (zh) | 2021-03-02 |
Family
ID=68863842
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910918647.5A Active CN110595392B (zh) | 2019-09-26 | 2019-09-26 | 一种十字线结构光双目视觉扫描系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110595392B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111260773A (zh) * | 2020-01-20 | 2020-06-09 | 深圳市普渡科技有限公司 | 小障碍物的三维重建方法、检测方法及检测系统 |
CN111323767A (zh) * | 2020-03-12 | 2020-06-23 | 武汉理工大学 | 一种夜间无人车障碍物检测系统与方法 |
CN111524083A (zh) * | 2020-05-07 | 2020-08-11 | 桂林电子科技大学 | 基于结构光的主被动相结合水下对空成像图像恢复方法 |
CN112002010A (zh) * | 2020-08-12 | 2020-11-27 | 中国人民解放军总医院 | 基于线激光扫描的损伤皮肤重建方法及重建系统 |
CN113566733A (zh) * | 2021-06-29 | 2021-10-29 | 宁波大学 | 一种线激光视觉三维扫描装置及方法 |
CN114723828A (zh) * | 2022-06-07 | 2022-07-08 | 杭州灵西机器人智能科技有限公司 | 一种基于双目视觉的多线激光扫描方法及系统 |
CN114742789A (zh) * | 2022-04-01 | 2022-07-12 | 中国科学院国家空间科学中心 | 一种基于面结构光的通用零件拾取方法、系统及电子设备 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08201039A (ja) * | 1995-01-23 | 1996-08-09 | Mazda Motor Corp | 円ないし楕円の検出方法およびその装置 |
CN101245998A (zh) * | 2008-02-01 | 2008-08-20 | 黑龙江科技学院 | 一种三维测量系统的成像方法 |
CN105716539A (zh) * | 2016-01-26 | 2016-06-29 | 大连理工大学 | 一种快速高精度的三维形面测量方法 |
CN106403838A (zh) * | 2015-07-31 | 2017-02-15 | 北京航天计量测试技术研究所 | 一种手持式线结构光视觉三维扫描仪的现场标定方法 |
CN106802138A (zh) * | 2017-02-24 | 2017-06-06 | 杭州先临三维科技股份有限公司 | 一种三维扫描系统及其扫描方法 |
CN107907048A (zh) * | 2017-06-30 | 2018-04-13 | 长沙湘计海盾科技有限公司 | 一种基于线结构光扫描的双目立体视觉三维测量方法 |
-
2019
- 2019-09-26 CN CN201910918647.5A patent/CN110595392B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08201039A (ja) * | 1995-01-23 | 1996-08-09 | Mazda Motor Corp | 円ないし楕円の検出方法およびその装置 |
CN101245998A (zh) * | 2008-02-01 | 2008-08-20 | 黑龙江科技学院 | 一种三维测量系统的成像方法 |
CN106403838A (zh) * | 2015-07-31 | 2017-02-15 | 北京航天计量测试技术研究所 | 一种手持式线结构光视觉三维扫描仪的现场标定方法 |
CN105716539A (zh) * | 2016-01-26 | 2016-06-29 | 大连理工大学 | 一种快速高精度的三维形面测量方法 |
CN106802138A (zh) * | 2017-02-24 | 2017-06-06 | 杭州先临三维科技股份有限公司 | 一种三维扫描系统及其扫描方法 |
CN107907048A (zh) * | 2017-06-30 | 2018-04-13 | 长沙湘计海盾科技有限公司 | 一种基于线结构光扫描的双目立体视觉三维测量方法 |
Non-Patent Citations (2)
Title |
---|
于之靖 等: "十字线结构光双目视觉测量的在线匹配方法", 《半导体光电》 * |
毛佳红等: "基于线结构光的双目三维体积测量系统", 《光学技术》 * |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111260773A (zh) * | 2020-01-20 | 2020-06-09 | 深圳市普渡科技有限公司 | 小障碍物的三维重建方法、检测方法及检测系统 |
CN111260773B (zh) * | 2020-01-20 | 2023-10-13 | 深圳市普渡科技有限公司 | 小障碍物的三维重建方法、检测方法及检测系统 |
CN111323767A (zh) * | 2020-03-12 | 2020-06-23 | 武汉理工大学 | 一种夜间无人车障碍物检测系统与方法 |
CN111323767B (zh) * | 2020-03-12 | 2023-08-08 | 武汉理工大学 | 一种夜间无人车障碍物检测系统与方法 |
CN111524083A (zh) * | 2020-05-07 | 2020-08-11 | 桂林电子科技大学 | 基于结构光的主被动相结合水下对空成像图像恢复方法 |
CN112002010B (zh) * | 2020-08-12 | 2023-07-21 | 中国人民解放军总医院 | 基于线激光扫描的损伤皮肤重建方法及重建系统 |
CN112002010A (zh) * | 2020-08-12 | 2020-11-27 | 中国人民解放军总医院 | 基于线激光扫描的损伤皮肤重建方法及重建系统 |
CN113566733A (zh) * | 2021-06-29 | 2021-10-29 | 宁波大学 | 一种线激光视觉三维扫描装置及方法 |
CN113566733B (zh) * | 2021-06-29 | 2023-11-14 | 宁波大学 | 一种线激光视觉三维扫描装置及方法 |
CN114742789A (zh) * | 2022-04-01 | 2022-07-12 | 中国科学院国家空间科学中心 | 一种基于面结构光的通用零件拾取方法、系统及电子设备 |
CN114742789B (zh) * | 2022-04-01 | 2023-04-07 | 桂林电子科技大学 | 一种基于面结构光的通用零件拾取方法、系统及电子设备 |
CN114723828B (zh) * | 2022-06-07 | 2022-11-01 | 杭州灵西机器人智能科技有限公司 | 一种基于双目视觉的多线激光扫描方法及系统 |
CN114723828A (zh) * | 2022-06-07 | 2022-07-08 | 杭州灵西机器人智能科技有限公司 | 一种基于双目视觉的多线激光扫描方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN110595392B (zh) | 2021-03-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110595392B (zh) | 一种十字线结构光双目视觉扫描系统及方法 | |
CN107194972B (zh) | 一种摄像机标定方法及系统 | |
CN109215108B (zh) | 基于激光扫描的全景三维重建系统及方法 | |
CN109035394B (zh) | 人脸三维模型重建方法、装置、设备、系统及移动终端 | |
US6977356B2 (en) | Stereovision guided laser drilling system | |
CN110009672A (zh) | 提升ToF深度图像处理方法、3D图像成像方法及电子设备 | |
CN109377551B (zh) | 一种三维人脸重建方法、装置及其存储介质 | |
Draréni et al. | Plane-based calibration for linear cameras | |
WO2014044126A1 (zh) | 坐标获取装置、实时三维重建系统和方法、立体交互设备 | |
CN113192206B (zh) | 基于目标检测和背景去除的三维模型实时重建方法及装置 | |
CN110425983B (zh) | 一种基于偏振多光谱的单目视觉三维重建测距方法 | |
CN109974623B (zh) | 基于线激光和双目视觉的三维信息获取方法和装置 | |
CN107680039B (zh) | 一种基于白光扫描仪的点云拼接方法及系统 | |
CN111637834B (zh) | 一种三维数据测量装置及方法 | |
CN111028205A (zh) | 一种基于双目测距的眼睛瞳孔定位方法及装置 | |
CN110322485A (zh) | 一种异构多相机成像系统的快速图像配准方法 | |
CN111353997B (zh) | 一种基于条纹投影的实时三维面型缺陷检测方法 | |
CN109934765B (zh) | 高速相机全景图像拼接方法 | |
CN105115443B (zh) | 基于视觉测量技术的水平全视角高精度三维测量方法 | |
CN111583388A (zh) | 一种三维扫描系统的扫描方法及设备 | |
CN111932517A (zh) | 余料板材的轮廓测绘方法、装置、电子设备与存储介质 | |
JPH0766436B2 (ja) | 連続シルエット画像による3次元モデル構成装置 | |
CN115345924A (zh) | 一种基于多目相机线激光扫描的弯管测量方法 | |
CN114565720A (zh) | 一种基于线结构光旋转扫描的主动式三维重建系统及方法 | |
CN112361982B (zh) | 一种大幅面工件三维数据提取方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |