CN113362457A - 一种基于散斑结构光的立体视觉测量方法及系统 - Google Patents

一种基于散斑结构光的立体视觉测量方法及系统 Download PDF

Info

Publication number
CN113362457A
CN113362457A CN202110911023.8A CN202110911023A CN113362457A CN 113362457 A CN113362457 A CN 113362457A CN 202110911023 A CN202110911023 A CN 202110911023A CN 113362457 A CN113362457 A CN 113362457A
Authority
CN
China
Prior art keywords
speckle
image
window
adaptive
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110911023.8A
Other languages
English (en)
Other versions
CN113362457B (zh
Inventor
谢攀
许源平
曹衍龙
李涂鲲
乔文博
许志杰
张朝龙
郭本俊
黄健
卢军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu University of Information Technology
Original Assignee
Chengdu University of Information Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu University of Information Technology filed Critical Chengdu University of Information Technology
Priority to CN202110911023.8A priority Critical patent/CN113362457B/zh
Publication of CN113362457A publication Critical patent/CN113362457A/zh
Application granted granted Critical
Publication of CN113362457B publication Critical patent/CN113362457B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/254—Projection of a pattern, viewing through a pattern, e.g. moiré
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于散斑结构光的立体视觉测量方法及系统，通过采集不同曝光条件下待测物体图像的第一散斑图像、第二散斑图像以及彩色图像并进行校正，并对校正后的第一散斑图像、第二散斑图像进行自适应匹配，得到不同曝光条件下视差图；对不同曝光条件下视差图进行多曝光点融合，得到三维点云信息，并结合校正后的彩色图像与第一散斑图像匹配的色彩信息，匹配得到三维模型；本发明通过对散斑图像进行自适应匹配，并结合多次生成窗口策略，使得符合图像匹配接近性原则，提高遮挡区域匹配精度，并结合多曝光点云融合配准算法，对不同曝光条件下的点云数据进行融合，弥补反光区域所形成较大无法填补的问题，精确得到反光物体的三维信息。

Description

一种基于散斑结构光的立体视觉测量方法及系统
技术领域
本发明涉及立体视觉测量领域，具体涉及一种基于散斑结构光的立体视觉测量方法及系统。
背景技术
立体视觉是计算机视觉领域的一个重要分支，经过了40多年的研究与发展，这门技术在许多领域发挥着越来越重要的作用。现如今的立体视觉技术大都是以Marr的视觉理论框架为基础，形成了多种方法。例如，根据摄像头数目的不同，可分为单目视觉、双目视觉、三目视觉以及多目视觉方法；根据原理的不同，又可分为基于区域的视觉方法、基于特征的视觉方法、基于模型的视觉方法和基于规则的视觉方法等。单目视觉方法由于是根据目标在图像中所占的大小来计算目标距离，其优势在于成本最低，计算量小，但是其准确度较低。双目视觉方法的硬件大都由两个彩色摄像头构成，其成本虽比单目视觉高一些，但与激光雷达等测量方法相比仍然较低，同时其有较高的测量精度。然而彩色摄像头对环境光变换十分敏感，尤其在黑暗情况下几乎无法使用。并且如果被测场景本身缺乏纹理，则很难进行特征提取和匹配，影响测量精度。这类被动式双目视觉的立体相机都存在这样的问题，如STEROLABS 推出的 ZED 2K Stereo Camera, Point Grey 公司推出的 BumbleBee等。为了增加场景中的纹理以及适应弱光甚至无光环境下的测量，科研人员们在被动式双目视觉的基础上加入了主动投射的结构光。这种技术不受环境光影响且精度较高，但是由于具有编码能力的结构光投射器成本昂贵，并且每次使用前都需要对结构光进行编码投射到不同平面上，然后记录其在不同平面的形状，导致前期传感器的标定需要很长时间。如微软的Kinect-V1便是由一个彩色摄像头，一个红外投射器和一个红外摄像头组成，由红外摄像头捕获投射器投射的红外线pattern，再根据pattern的变形来获得深度信息。由于这种方式在强光环境下无法进行测量，且测量距离越远则测量误差越大，同时该方法有较高的算法复杂度而导致处理帧率较低。所以微软在Kinect-V2中抛弃了这种方式，而是改用飞行时间法获得深度信息。飞行时间法能在较远的距离时仍然保持较低的误差（1cm）并具有极高的实时性，但该误差对于小型工件来说还是较大，同时飞行时间法的成本相比被动双目视觉方法和主动结构光加双目视觉的方案都要高。
发明内容
针对现有技术中的上述不足，本发明提供了一种基于散斑结构光的立体视觉测量方法及系统。
为了达到上述发明目的，本发明采用的技术方案为：
一方面，本发明提供了一种基于散斑结构光的立体视觉测量方法，包括以下步骤：
S1、采集不同曝光条件下待测物体图像的第一散斑图像、第二散斑图像以及彩色图像，并进行校正；
S2、对步骤S1中校正后的第一散斑图像与第二散斑图像进行自适应匹配，得到不同曝光条件下视差图；
S3、对步骤S2中不同曝光条件下视差图进行多曝光点云融合，得到三维点云信息；
S4、将步骤S1中校正后的彩色图像与所述第一散斑图像匹配的色彩信息添加到步骤S3的三维点云信息中，得到三维模型。
本发明具有以下有益效果：
1、构建基于梯度的自适应窗口，结合Sobel算法与立体匹配算法特点，为遮挡区域选择更加合适的匹配窗口提高遮挡区域匹配精度；
2、构建多曝光点云融合配准算法，通过采集不同曝光条件下的点云数据进行融合，弥补当激光结构光不均匀时，物体表面的纹理信息无法在反光区域进行匹配，形成较大无法填补的空洞的问题，精确得到反光物体的三维信息；
3、通过多次生成窗口策略，进一步提高匹配算法在整张图像上的匹配精度，为每一轮生成窗口区域赋予不同权值，保证越接近中心点像素值与中心点像素值相关性越大。
进一步地，所述步骤S1具体包括以下分步骤：
S11、利用标定板对用于采集待测物体图像的摄像头进行标定；
S12、对步骤S11中标定后的摄像头设置不同曝光条件，并采集散斑激光投射到待测物体表面的第一散斑图像、第二散斑图像与色彩图像；
S13、对步骤S12中得到的第一散斑图像、第二散斑图像与彩色图像进行校正。
该进一步方案的有益效果为：
使用标定板对摄像头进行标定，并对采集图像进行校正处理，提高目标图像的精准性，降低图像误差，为后续立体匹配与融合提高匹配精度；同时设置不同曝光条件，采集不同曝光条件下图像信息，为后续多曝点融合处理，解决反光物体无法成像的问题。
进一步地，所述步骤S2具体包括以下分步骤：
S21、利用Sobel算子计算步骤S1中校正后的第一散斑图像、第二散斑图像中像素点梯度值，并根据各散斑图像中像素点梯度值划分不同区域；
S22、根据步骤S21中各像素点梯度值，以预设灰度阈值与预设距离阈值为基准构建自适应窗口区域；
S23、对步骤S22中自适应窗口进行多次窗口匹配，得到第一散斑图、第二散斑图的自适应匹配窗口及其区域权重；
S24、利用步骤S23中自适应匹配窗口区域权重对自适应匹配窗口进行相似度评估，并选取最佳匹配点计算视差，得到视差图。
该进一步方案的有益效果为：
通过构建自适应窗口立体匹配算法，通过Sobel算子依次进行卷积计算提取梯度，并结合多次生成匹配窗口提供多个权值，满足图像匹配接近原则，使越靠近中心点的像素与中心点像素相关性越大，提高匹配精确度，解决当前双目立体匹配算法遮挡区域精度低的问题。
进一步地，利用Sobel算子以水平方向与竖直方向遍历步骤S1中校正后的第一散斑图像的各像素点与校正后第二散斑图像中各像素点，计算各像素点梯度值，并根据各像素点梯度值大小划分不同遮挡区域，计算式表示为：
Figure 512366DEST_PATH_IMAGE001
其中，G为第i个像素点梯度值，
Figure 974571DEST_PATH_IMAGE002
为该第i个像素点垂直梯度值的绝对值，
Figure 994480DEST_PATH_IMAGE003
为第i个像素点水平梯度值的绝对值。
该进一步方案的有益效果为：
利用Sobel算子依次进行卷积计算，提取梯度，解决遮挡区域匹配精度较低的问题，为遮挡区域选择更加合适的匹配窗口并提高遮挡区域匹配精度。
进一步地，所述步骤S22具体包括以下分步骤：
S221、根据步骤S21中各像素点梯度值设定梯度阈值与两个不同大小的距离，并通过判断梯度阈值与各像素点梯度值间大小关系，确定各像素点对应的臂长阈值，表示为：
Figure 308656DEST_PATH_IMAGE004
其中，
Figure 97620DEST_PATH_IMAGE005
分别为预设的两个不同大小的距离阈值，L为臂长阈值，
Figure 730727DEST_PATH_IMAGE006
为梯度阈值；
S222、以步骤S1中第一散斑图像与第二散斑图像的待匹配像素点为中心，根据步骤S221中确定的臂长阈值，以预设的灰度阈值与距离阈值为基准构建自适应窗口十字骨架，得到自适应窗口区域，自适应窗口十字骨架判别式表示为：
Figure 237931DEST_PATH_IMAGE007
Figure 840951DEST_PATH_IMAGE008
其中，p为左右散斑图像中待匹配点，p i 为与待匹配点p同行或同列的像素点，
Figure 953263DEST_PATH_IMAGE009
为与待匹配点p同行或同列上的像素点灰度值，
Figure 554009DEST_PATH_IMAGE010
为待匹配点p灰度值；
Figure 361559DEST_PATH_IMAGE011
为与待匹配点p同行或同列上像素点的横坐标或纵坐标值，
Figure 705953DEST_PATH_IMAGE012
为待匹配点p的坐标值，
Figure 407193DEST_PATH_IMAGE013
分别为预设的颜色与臂长阈值。
该进一步方案的有益效果为：
根据像素点间梯度值划分不同遮挡区域与非遮挡区域，构建十字窗口骨架，并通过设定的灰度值与不同距离阈值为基准确定自适应窗口，为后续通过多次生成窗口方法奠定基础，提高遮挡区域匹配精度。
进一步地，所述步骤S23具体为：
采用多次生成窗口方法对步骤S22中自适应窗口设定不同窗口生成系数，并根据设置的不同窗口生成系数得到不同窗口间臂长阈值，并构建自适应匹配窗口区域，在生成过程中以轮次为基准为不同自适应匹配窗口区域中各像素点分配区域权重，生成多轮自适应匹配窗口。
该进一步方案的有益效果为：
提供多个权重使满足图像匹配接近性原则，使越靠近中心点像素值与中心点像素值间相关性越大。
进一步地，所述步骤S24具体包括以下分步骤：
S241、以步骤S23中第一散斑图像得到的自适应匹配窗口为自适应参考图像，并选取步骤S23中第二散斑图像在待匹配像素点同一行中最大搜索范围内自适应匹配窗口作为自适应子窗口；
S242、利用NCC算法相似度度量函数根据步骤S23中区域权重评估步骤S241中自适应子窗口与自适应参考窗口的相似度，表示为：
Figure DEST_PATH_IMAGE014
其中，
Figure 772315DEST_PATH_IMAGE015
为相似度，
Figure 988533DEST_PATH_IMAGE016
为自适应子窗口像素点，W为自适应参考窗口,
Figure 74300DEST_PATH_IMAGE017
为自适应参考窗口像素均值，I为自适应子窗口，
Figure 692363DEST_PATH_IMAGE018
为自适应子窗口像素均值，M为窗口横坐标，N为窗口纵坐标，
Figure 477655DEST_PATH_IMAGE019
为自适应参考窗口内像素点，
Figure 118851DEST_PATH_IMAGE020
代表该区域的权重值；
S243、根据步骤S242得到的评估结果，选择最大相似度所对应的自适应参考窗口与自适应匹配窗口中心作为最佳匹配点，计算两点间视差，遍历图像中所有像素点后，生成不同曝光条件下视差图。
进一步方案的有益效果为：
选择精确度高、对抗噪声性能强的NCC算法进行代价匹配，对输入的图像进行相似度评估，并选取最大相似度对应的窗口中心点作为最佳匹配点，构建自适应窗口立体匹配算法模型提高遮挡区域匹配精度，准确还原遮挡区域的特征信息。
进一步地，所述步骤S3具体包括以下分步骤：
S31、将步骤S2中不同曝光条件下视差图转换为点云集，表示为：
Figure 805048DEST_PATH_IMAGE021
其中，
Figure DEST_PATH_IMAGE022
分别为转换后点云集三个维度信息，f为双目相机焦距b为双目相机基线，d为视差，
Figure 871093DEST_PATH_IMAGE023
与
Figure 187805DEST_PATH_IMAGE024
均为第一散斑图像的像素坐标；
S32、从步骤S31中点云集选取目标点云集与初始点云集；
S33、利用KD树选择步骤S32中目标点云集各点云到初始点云集距离最近点作为目标点云集各点云的对应点，生成对应点集；
S34、利用奇异值分解法结合步骤S33中对应点集计算误差函数值最小条件下的旋转矩阵与平移矩阵，表示为：
Figure 378614DEST_PATH_IMAGE025
其中，f(.)为误差函数，R为旋转矩阵，T为平移矩阵，k为在两个点云集中初始点云Q中对应点的数量，
Figure 681551DEST_PATH_IMAGE026
为对应点间欧氏距离，
Figure 8627DEST_PATH_IMAGE027
为目标点云集P中点云，
Figure 496240DEST_PATH_IMAGE028
为初始点云集中点云；
S35、对步骤S34中旋转矩阵与平移矩阵对目标点云集进行刚性转换，表示为：
Figure 502242DEST_PATH_IMAGE029
其中，
Figure 795820DEST_PATH_IMAGE030
为刚性转换后的目标点云集，
Figure 180665DEST_PATH_IMAGE031
为点乘运算；
S36、根据步骤S35中刚性转换后的目标点云集计算到初始点云集间对应点平均距离，表示为：
Figure 635918DEST_PATH_IMAGE032
其中，d为平均距离，n为刚性转换后的目标点云集中点云数量，
Figure 112904DEST_PATH_IMAGE033
为刚性转换后的目标点云集中点云；
S37、判断步骤S36中平均距离是否小于预设阈值，若是则停止点云配准，否则返回步骤S33。
该进一步方案的有益效果为：
构建多曝光点云融合算法模型，对不同曝光点条件下生成的点云使用ICP算法进行融合处理，补全反光区域点云信息，填补深度图上的较大无法填补的空洞，完善成像结果，准确提取反光物体三维信息。
进一步地，所述步骤S4具体为：
根据步骤S1中校正后的彩色图像与校正后的第一散斑图像进行配准得到公共部分，将公共部分的色彩信息一一对应到步骤S3中三维点云信息，得到三维模型。
该进一步方案的有益效果为：
通过彩色摄像头采集的彩色图像信息，完善公共部分信息，构建与物体等高的三维模型。
另一方面，本发明还提供了一种基于散斑结构光的立体视觉测量系统，包括第一红外摄像模块、第二红外摄像模块、彩色摄像模块、散斑投影模块以及主控模块；
所述散斑投影模块用于向待测物体表面投射散斑激光；
所述第一红外摄像模块用于采集所述散斑投影模块投射到待测物体表面的图像信息，得到第一散斑图像；
所述第二红外摄像模块用于采集所述散斑投影模块投射到待测物体表面的图像信息，得到第二散斑图像；
所述彩色摄像模块用于采集所述散斑投影模块投射到待测物体表面的图像色彩信息，得到彩色图像；
所述主控模块用于接收所述第一红外摄像模块、所述第二红外摄像模块、所述彩色摄像模块分别采集的所述散斑投影模块投影到待测物体表面的散斑激光的第一散斑图像、第二散斑图像以及彩色图像，并对图像进行校正；对校正后的第一散斑图像与第二散斑图像进行自适应匹配，得到不同曝光条件下视差图，并对视差图进行多曝光点融合得到三维点云信息；并利用所述校正后的彩色图像与所述第一散斑图像进行校准，得到公共部分色彩信息，与三维点云信息进行匹配，构建三维模型。
本发明具有以下有益效果：
第一红外摄像模块、第二红外摄像模块、彩色摄像模块以及散斑投影模块以及主控模块构建一套通用性强且易用性高，可以全天候提取场景三维信息，以千元级成本达到毫米级精度的基于散斑结构光的双目立体相机硬件平台。
附图说明
图1为本发明提供的一种基于散斑结构光的立体视觉测量方法步骤示意图；
图2为本发明中步骤S1的分步骤示意图；
图3为摄像头标定板示意图；
图4为本发明中步骤S4的分步骤示意图；
图5为本发明中Sobel算子示意图；
图6为本发明中步骤S22分步骤示意图；
图7为本发明中十字骨架窗口图；
图8为本发明中多次自适应匹配窗口生成示意图；
图9为本发明中步骤S24分步骤示意图；
图10为本发明中双目成像原理图；
图11为本发明中步骤S3分步骤示意图；
图12为本发明中一种基于散斑结构光的立体视觉测量系统结构示意图；
图13为本发明中一种基于散斑结构光的立体视觉测量系统内摄像头模块排布图；
图14为本发明实施例中遮挡场景散斑图与点云图，其中图14（a）为遮挡场景散斑图，图14（b）为遮挡场景点云图；
图15为本发明实施例中反光待测物实物图，其中，图15（a）为反光待测实物A，图15（b）为反光待测实物B；
图16为本发明实施例中反光待测物实物A、B在不同曝光点下的散斑图，其中，图16（a）、图16（b）、图16（c）分别为反光待测物实物A在曝光度依次为-6、-5、-4下的散斑图；图16（d）、图16（e）、图16（f）分别为反光待测物实物B分别在曝光度依次为-6、-5、-4下的散斑图；
图17为本发明实施例中反光待测物实物A、B在不同曝光点下的散斑图，其中，图17（a）、图17（b）、图17（c）分别为反光待测物实物A在曝光度依次为-6、-5、-4下的点云图；图17（d）、图17（e）、图17（f）分别为反光待测物实物B在曝光度依次为-6、-5、-4下的散点云图；
图18为本发明实施例中反光待测物实物A、B的融合图，其中，图18（a）为反光待测物实物A融合图，图18（b）为反光待测物实物B融合图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
如图1所示，一方面，本发明实施例中提供一种基于散斑结构光的立体视觉测量方法，包括以下步骤S1-步骤S4：
S1、采集不同曝光条件下待测物体图像的第一散斑图像、第二散斑图像以及彩色图像，并进行校正；
如图2所示，本实施例中，步骤S1具体包括以下分步骤：
S11、利用标定板对用于采集待测物体图像的摄像头进行标定；
S12、对步骤S11中标定后的摄像头设置不同曝光条件，并采集散斑激光投射到待测物体表面的第一散斑图像、第二散斑图像与色彩图像；
S13、对步骤S12中得到的第一散斑图像、第二散斑图像与彩色图像进行校正。
实际中，本发明的数据来源于两个红外摄像头以及一个彩色摄像头所采集得同一时刻多张待测物体图像，并利用摄像头标定板进行校正，摄像头标定板如图3所示，得到标定后的摄像头，并通过设置摄像头的exposure参数得到不同曝光度条件。
实际中，设置多曝光度可得到一系列曝光级别不同的图像序列，包括欠曝光、正常曝光以及过渡曝光的图像，在本实施例中，利用欠曝光图像提取反光区域的三维信息，利用过渡曝光图像反映场景中较暗部分的场景信息，正常曝光图像作为补充。通过摄像头SDK查验与实验分析，本实施例中通过设置相机exposure参数来控制相机的曝光度；首先设置相机最大与最小exposure参数，最大值与最小值间差值为3，即使用三组不同曝光条件下的图像进行融合，并默认相机初始曝光参数为最大曝光参数，当相机在此曝光条件下采集到图像时，降低当前曝光参数，当曝光参数与预设最小曝光参数相等时，完成此场景下所有图像采集，将曝光参数恢复到最大曝光参数值。
S2、对步骤S1中校正后的第一散斑图像与第二散斑图像进行自适应匹配，得到不同曝光条件下视差图；
实际中，利用红外摄像头采集的每一帧图像作为自适应窗口立体匹配模型的数据来源，结合Sobel算子与立体匹配算法的特点，为遮挡区域选择更加合适的匹配窗口，提高遮挡区域的匹配精确度。
如图4所示，本实施例中，步骤S2具体包括以下分步骤：
S21、利用Sobel算子计算步骤S1中校正后的第一散斑图像、第二散斑图像中像素点梯度值，并根据各散斑图像中像素点梯度值划分不同区域；
本实施例中，步骤S21具体为：
利用Sobel算子以水平方向与竖直方向遍历步骤S1中校正后的第一散斑图像的各像素点与校正后第二散斑图像中各像素点，计算各像素点梯度值，并根据各像素点梯度值大小划分不同遮挡区域，计算式表示为：
Figure 944594DEST_PATH_IMAGE034
其中，G为第i个像素点梯度值，
Figure 449525DEST_PATH_IMAGE035
为该第i个像素点垂直梯度值的绝对值，
Figure 75678DEST_PATH_IMAGE036
为第i个像素点水平梯度值的绝对值。
实际中，首先使用Sobel算子提取出每个像素的梯度信息，Sobel算子如图5所示，把图像中每个像素的水平、垂直和2个对角共计4个方向对的梯度加权求和；每个Sobel算子包含两个3×3的卷积核，依次与整张图像上的每个像素点做卷积，可以分别计算像素的垂直梯度与水平梯度，根据水平梯度与垂直梯度可以得到各像素点梯度值，并根据梯度值大小区分遮挡区域与非遮挡区域，其中，图像的遮挡区域灰度变化越大，对应的梯度值越大，需要选取较小的匹配窗口，对于非遮挡区域梯度变化较小，需要选择较大的匹配窗口。
S22、根据步骤S21中各像素点梯度值，以预设灰度阈值与预设距离阈值为基准构建自适应窗口区域；
如图6所示，本实施例中，步骤S22具体包括以下分步骤：
S221、根据步骤S21中各像素点梯度值设定梯度阈值与两个不同大小的距离，并通过判断梯度阈值与各像素点梯度值间大小关系，确定各像素点对应的臂长阈值，表示为：
Figure 790693DEST_PATH_IMAGE037
其中，
Figure 629336DEST_PATH_IMAGE038
分别为预设的两个不同大小的距离阈值，L为臂长阈值，
Figure 785511DEST_PATH_IMAGE039
为梯度阈值；
实际中，计算得到每个像素点的梯度值后，通过整张图像上的像素点最大梯度值
Figure 661194DEST_PATH_IMAGE040
与最小梯度值
Figure 535609DEST_PATH_IMAGE041
设定梯度阈值
Figure 912364DEST_PATH_IMAGE039
，表示为：
Figure 188625DEST_PATH_IMAGE042
；并选定两个大小不同的距离阈值
Figure 484477DEST_PATH_IMAGE038
，即：距离阈值
Figure 846188DEST_PATH_IMAGE043
>距离阈值
Figure 26634DEST_PATH_IMAGE044
，利用计算得到的每个像素点梯度值与梯度阈值作比较，确定不同点对应的臂长阈值L，当像素点梯度值G小于梯度阈值
Figure 468985DEST_PATH_IMAGE039
，则令臂长阈值L数值等于距离阈值
Figure 873422DEST_PATH_IMAGE044
，当像素点梯度值G大于梯度阈值
Figure 660112DEST_PATH_IMAGE039
，则令臂长阈值L数值等于距离阈值
Figure 175407DEST_PATH_IMAGE043
。
S222、以步骤S1中第一散斑图像与第二散斑图像的待匹配像素点点为中心，根据步骤S221中确定的臂长阈值，以预设的灰度阈值与距离阈值为基准构建自适应窗口十字骨架，得到自适应窗口区域，自适应窗口十字骨架判别式表示为：
Figure 488577DEST_PATH_IMAGE045
Figure 63914DEST_PATH_IMAGE046
其中，p为左右散斑图像中待匹配像素点，p i 为与待匹配像素点p同行或同列的像素点，
Figure 337901DEST_PATH_IMAGE047
为与待匹配像素点p同行或同列上的像素点灰度值，
Figure 656887DEST_PATH_IMAGE048
为待匹配像素点p灰度值；
Figure 575295DEST_PATH_IMAGE049
为与待匹配像素点p同行或同列上像素点的横坐标或纵坐标值，
Figure 321535DEST_PATH_IMAGE050
为待匹配像素点p的坐标值，
Figure 82817DEST_PATH_IMAGE051
分别为预设的颜色与臂长阈值。
实际中，如图7所示，选取目标物体图像中待匹配像素点p，并以目标物体图像中待匹配像素点p为中心构建十字窗口骨架，根据设定的灰度阈值与不同距离阈值为基准确定十字骨架的四个臂长
Figure 267811DEST_PATH_IMAGE052
，并根据自适应窗口十字骨架判别式，以中心点向四周进行窗口扩展，当某一方向不满足任一条件时，扩展结束，最后形成以待匹配像素点p为中心的十字骨架区域，在图中区域表示为：
Figure 227677DEST_PATH_IMAGE053
；对于垂直方向上所有像素点q，在水平方向上进行重复扩展过程，得到区域
Figure 82500DEST_PATH_IMAGE054
，最终得到自适应窗口区域
Figure 393396DEST_PATH_IMAGE055
，表示为：
Figure 365769DEST_PATH_IMAGE056
。
S23、对步骤S22中自适应窗口进行多次窗口匹配，得到第一散斑图、第二散斑图的自适应匹配窗口及其区域权重；
本实施例中，所述步骤S23具体为：
采用多次生成窗口方法对步骤S22中自适应窗口设定不同窗口生成系数，并根据设置的不同窗口生成系数得到不同窗口间臂长阈值，并构建自适应匹配窗口区域，在生成过程中以轮次为基准为不同自适应匹配窗口区域中各像素点分配区域权重，生成多轮自适应匹配窗口。
实际中，为了满足图像匹配接近性原则，越靠近中心点的像素与中心点像素相关性越大，则需要更大的权值，在本实施例中，通过多次生成窗口方法生成三轮自适应窗口，设生成系数为
Figure 180141DEST_PATH_IMAGE057
，三次生成系数的数值分别为：
Figure 737024DEST_PATH_IMAGE058
，
Figure 331954DEST_PATH_IMAGE059
，以垂直方向像素点q为例子，若此时垂直方向像素点q为遮挡区域点，则第一轮垂直方向像素点q臂长阈值为L 1，则第二轮臂长阈值为
Figure 796433DEST_PATH_IMAGE060
，第三轮臂长阈值为
Figure 402995DEST_PATH_IMAGE061
。在生成过程中以轮次为基准为区域中各像素点分配权重
Figure 927517DEST_PATH_IMAGE062
，其中第一轮权重
Figure 760475DEST_PATH_IMAGE063
等于3，第二轮权重
Figure 763066DEST_PATH_IMAGE064
等于2，第三轮权重
Figure 489714DEST_PATH_IMAGE065
等于1，生成的自适应匹配窗口如图8所示，以目标物体图像中待匹配像素点p为中心，深灰色区域为第一轮生成自适应匹配窗口区域，此区域点距离中心点最近，权重值为3；中灰色区域为第二轮生成的自适应匹配窗口区域，权重值为2；浅灰色区域为第三轮生成的自适应匹配窗口区域，权重值为1。
S24、利用步骤S23中自适应匹配窗口区域权重对自适应匹配窗口进行相似度评估，并选取最佳匹配点计算视差，得到视差图。
如图9所示，本实施例中，步骤S24具体包括以下步骤：
S241、以步骤S23中第一散斑图像得到的自适应匹配窗口为自适应参考图像，并选取步骤S23中第二散斑图像在待匹配像素点同一行中最大搜索范围内自适应匹配窗口作为自适应子窗口；
S242、利用NCC算法相似度度量函数根据步骤S23中区域权重评估步骤S241中自适应子窗口与自适应参考窗口的相似度，表示为：
Figure 513033DEST_PATH_IMAGE066
其中，
Figure 754659DEST_PATH_IMAGE067
为相似度，
Figure 498624DEST_PATH_IMAGE068
为自适应子窗口像素点，W为自适应参考窗口,
Figure 407674DEST_PATH_IMAGE069
为自适应参考窗口像素均值，I为自适应子窗口，
Figure 320004DEST_PATH_IMAGE070
为自适应子窗口像素均值，M为窗口横坐标，N为窗口纵坐标，
Figure 314505DEST_PATH_IMAGE071
为自适应参考窗口内像素点，γ代表该区域的权重值；
实际中，选取好自适应匹配窗口后，需要使用代价匹配根据双目成像原理，如图10所述，以左图作为参考图像，与右图中待匹配点p同一行中以最大搜索范围内
Figure 596582DEST_PATH_IMAGE072
，逐一建立自适应子窗口，使用NCC算法相似度度量函数来评估子窗口与左图参考窗口的相似度。
S243、根据步骤S242得到的评估结果，选择最大相似度所对应的自适应参考窗口与自适应匹配窗口中心作为最佳匹配点，计算两点间视差，遍历图像中所有像素点后，生成不同曝光条件下视差图。
实际中，在使用NCC算法相似度度量函数评估完
Figure 688034DEST_PATH_IMAGE073
个子窗口后，选择相似度最大的两个窗口中心点为待匹配点的最佳匹配点，并根据两最佳匹配点在横坐标上的差值，计算两点的视差，即计算两点在横坐标上的差值，在遍历完窗口中所有像素点后，得到视差图。
S3、对步骤S2中不同曝光条件下视差图进行多曝光点云融合，得到三维点云信息；
实际中，为了解决反光物体无法成像的问题，构建了多曝光点云融合算法模型，将不同曝光条件下生成的点云使用ICP算法进行融合，补全反光区域点云。
如图11所示，本实施例中，步骤S3具体包括以下分步骤：
S31、将步骤S2中不同曝光条件下视差图转换为点云集，表示为：
Figure 459681DEST_PATH_IMAGE074
其中，
Figure 879161DEST_PATH_IMAGE075
分别为转换后点云集三个维度信息，f为双目相机焦距b为双目相机基线，d为视差，
Figure 27246DEST_PATH_IMAGE076
与
Figure 458358DEST_PATH_IMAGE077
均为第一散斑图像的像素坐标；
实际中，根据双目像原理如图10所示，可以得到空间中一点
Figure 666486DEST_PATH_IMAGE078
在左右图像中得到视差为d，而双目相机的焦距f与基线b均已知，则可以通过三角形相似法则得到视差图转换为点云公式。
S32、从步骤S31中点云集选取目标点云集与初始点云集；
实际中，输入不同点云，全区目标点云集P与初始点云集Q，根据ICP算法计算两组点云旋转矩阵R与平移矩阵T。
S33、利用KD树选择步骤S32中目标点云集各点云到初始点云集距离最近点作为目标点云集各点云的对应点，生成对应点集；
实际中，点云集存在大量数据，传统的ICP算法每次迭代都需要计算目标点云集与初始点云集中所有点云的欧氏距离，需要经过多次迭代才能得到较好效果，引入KD树数据结构，可以增加ICP算法的搜索效率。
S34、利用奇异值分解法结合步骤S33中对应点集计算误差函数值最小条件下的旋转矩阵与平移矩阵，表示为：
Figure 307683DEST_PATH_IMAGE079
其中，
Figure 993879DEST_PATH_IMAGE080
为误差函数，R为旋转矩阵，T为平移矩阵，k为在两个点云集中初始点云Q中对应点的数量，
Figure 59924DEST_PATH_IMAGE026
为对应点间欧氏距离，
Figure DEST_PATH_IMAGE081
为目标点云集P中点云，
Figure 376636DEST_PATH_IMAGE082
为初始点云集中点云；
S35、对步骤S34中旋转矩阵与平移矩阵对目标点云集进行刚性转换，表示为：
Figure 879030DEST_PATH_IMAGE083
其中，
Figure 368917DEST_PATH_IMAGE084
为刚性转换后的目标点云集，
Figure 899256DEST_PATH_IMAGE031
为点乘运算；
S36、根据步骤S35中刚性转换后的目标点云集计算到初始点云集间对应点平均距离，表示为：
Figure 449186DEST_PATH_IMAGE085
其中，d为平均距离，n为刚性转换后的目标点云集中点云数量，
Figure DEST_PATH_IMAGE086
为刚性转换后的目标点云集中点云；
S37、判断步骤S36中平均距离是否小于预设阈值，若是则停止点云配准，否则返回步骤S33。
实际中，通过判断步骤S36中平均距离是否小于预设阈值或迭代次数是否大于设定的最大次数，若平均距离小于预设阈值或迭代次数大于设定最大迭代次数则结束迭代，完成点云配准，若不满足给定任一条件则回到步骤S33。
S4、将步骤S1中校正后的彩色图像与所述第一散斑图像匹配的色彩信息添加到步骤S3的三维点云信息中，得到三维模型。
本实施例中，步骤S4具体为：
根据步骤S1中校正后的彩色图像与校正后的第一散斑图像进行配准得到公共部分，将公共部分的色彩信息一一对应到步骤S3中三维点云信息，得到三维模型。
实际中，利用彩色摄像头中采集的每一帧图像，与经过校正的第一散斑图像中同一帧图像进行配准，找到公共部分，将该公共部分的色彩信息一一对应到三维点云信息中，得到与真实物体高度一致的三维模型。
如图12所示，另一方面，本发明还提供一种基于散斑结构光的立体视觉测量系统，包括第一红外摄像模块、第二红外摄像模块、彩色摄像模块、散斑投影模块以及主控模块；
实际中，第一红外摄像模块、第二红外摄像模块均采用USB红外摄像头，散斑投影模块采用散斑投射器，彩色摄像模块采用USB彩色摄像头，主控模块采用工控机；由工控机自带的USB接口为散斑投射器与USB红外摄像头供电，散斑投射器与USB红外摄像头都通过USB接口与工控机连接。本领域技术人员应当知晓，上述硬件设备为工业中集成产品，这里不作赘述。
散斑投影模块用于向待测物体表面投射散斑激光；
主控模块用于为第一红外摄像模块、第二红外摄像模块、彩色摄像模块以及散斑投影模块提供工作电源；接收第一红外摄像模块、第二红外摄像模块、彩色摄像模块分别采集的散斑投影模块投影到待测物体表面的散斑激光的第一散斑图像、第二散斑图像以及彩色图像，并对图像进行校正；对校正后的第一散斑图像与第二散斑图像进行自适应匹配，得到不同曝光条件下视差图，并对视差图进行多曝光点融合得到三维点云信息；利用校正后的彩色图像与三维点云信息进行匹配，得到三维模型；
第一红外摄像模块用于采集散斑投影模块投射到待测物体表面的图像信息，得到第一散斑图像；
第二红外摄像模块用于采集散斑投影模块投射到待测物体表面的图像信息，得到第二散斑图像；
彩色摄像模块用于采集散斑投影模块投射到待测物体表面的图像色彩信息，得到彩色图像。
实际中，本发明的输入数据来源是两个红外摄像头以及一个彩色摄像头，三个摄像头均与一个装有windows操作系统的工控板进行连接，工控板上的测量程序通过UVC协议从三个摄像头中读取视频流，并通过OpenCV中的ffmpeg视频处理库从视频流中提取视频帧。
如图13所示，实际中，第一红外摄像模块以10mm的预设距离设置于散斑投影模块一侧；其中散斑投影模块采用直径为9mm的散斑投射器，第二红外摄像模块以以32mm设置于第一红外摄像另一侧，用于采集散斑投影模块投射到待测物体表面图像信息。
为了验证本发明所提出基于梯度的自适应窗口立体匹配算法对遮挡问题的优化，本发明实施例中选取较为经典的遮挡场景进行实验，遮挡场景散斑图如图14（a）所示，可以看出在此场景中，有人像与金属零件两个物体，其中人像物体有一定程度倾斜，导致有一部分阴影在倾斜区域后方，并且人像物体肩膀部分对零件有较为明显的遮挡，经过本发明提出算法模型处理后生成的点云模型如图14（b）所示，点云图中准确地还原了遮挡区域的特征信息且没有出现大量黑色未成像区域没有噪声点，成像效果基本达到预期。
为了验证本发明所提出的曝光点云融合算法模型还原反光物体三维信息的有效性，本发明实施例中选取两个反光零件作为待测物，零件实物图分别如图15（a）、图15（b）所示，第一零件实物图不同曝光条件下的散斑图分别如图16（a）、图16（b）、图16（c）所示，第二零件实物图不同曝光条件下的散斑图分别如图16（d）、图16（e）、图16（f）所示，第一零件实物图不同曝光条件下生成的点云分别如图17（a）、图17（b）、图17（c）所示，第二零件实物图不同曝光条件下生成的点云分别如图17（d）、图17（e）、图17（f）所示，经过多曝光点云融合算法融合后第一反光零件与第二反光零件的点云如图18（a）、图18（b）所示，可知本发明提出的多曝光点云融合配准算法可以精确还原反光物体三维信息。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (10)

1.一种基于散斑结构光的立体视觉测量方法，其特征在于，包括以下步骤：
S1、采集不同曝光条件下待测物体图像的第一散斑图像、第二散斑图像以及彩色图像，并进行校正；
S2、对步骤S1中校正后的第一散斑图像与第二散斑图像进行自适应匹配，得到不同曝光条件下视差图；
S3、对步骤S2中不同曝光条件下视差图进行多曝光点云融合，得到三维点云信息；
S4、将步骤S1中校正后的彩色图像与所述第一散斑图像匹配的色彩信息添加到步骤S3的三维点云信息中，得到三维模型。
2.根据权利要求1所述的基于散斑结构光的立体视觉测量方法，其特征在于，所述步骤S1具体包括以下分步骤：
S11、利用标定板对用于采集待测物体图像的摄像头进行标定；
S12、对步骤S11中标定后的摄像头设置不同曝光条件，并采集散斑激光投射到待测物体表面的第一散斑图像、第二散斑图像与色彩图像；
S13、对步骤S12中得到的第一散斑图像、第二散斑图像与彩色图像进行校正。
3.根据权利要求1所述的基于散斑结构光的立体视觉测量方法，其特征在于，所述步骤S2具体包括以下分步骤：
S21、利用Sobel算子计算步骤S1中校正后的第一散斑图像、第二散斑图像中像素点梯度值，并根据各散斑图像中像素点梯度值划分不同区域；
S22、根据步骤S21中各像素点梯度值，以预设灰度阈值与预设距离阈值为基准构建自适应窗口区域；
S23、对步骤S22中自适应窗口进行多次窗口匹配，得到第一散斑图、第二散斑图的自适应匹配窗口及其区域权重；
S24、利用步骤S23中自适应匹配窗口区域权重对自适应匹配窗口进行相似度评估，并选取最佳匹配点计算视差，得到视差图。
4.根据权利要求3所述的基于散斑结构光的立体视觉测量方法，其特征在于，所述步骤S21具体为：
利用Sobel算子以水平方向与竖直方向遍历步骤S1中校正后的第一散斑图像的各像素点与校正后第二散斑图像中各像素点，计算各像素点梯度值，并根据各像素点梯度值大小划分不同遮挡区域，计算式表示为：
Figure 963726DEST_PATH_IMAGE001
其中，G为第i个像素点梯度值，
Figure 474342DEST_PATH_IMAGE002
为该第i个像素点垂直梯度值的绝对值，
Figure 519658DEST_PATH_IMAGE003
为第i个像素点水平梯度值的绝对值。
5.根据权利要求3所述的一种基于散斑结构光的立体视觉测量方法，其特征在于，所述步骤S22具体包括以下分步骤：
S221、根据步骤S21中各像素点梯度值设定梯度阈值与两个不同大小的距离，并通过判断梯度阈值与各像素点梯度值间大小关系，确定各像素点对应的臂长阈值，表示为：
Figure 118130DEST_PATH_IMAGE004
其中，
Figure 198081DEST_PATH_IMAGE005
分别为预设的两个不同大小的距离阈值，L为臂长阈值，
Figure 99172DEST_PATH_IMAGE006
为梯度阈值；
S222、以步骤S1中第一散斑图像与第二散斑图像的待匹配像素点为中心，根据步骤S221中确定的臂长阈值，以预设的灰度阈值与距离阈值为基准构建自适应窗口十字骨架，得到自适应窗口区域，自适应窗口十字骨架判别式表示为：
Figure 631785DEST_PATH_IMAGE007
Figure 299527DEST_PATH_IMAGE008
其中，p为左右散斑图像中待匹配点，
Figure 296302DEST_PATH_IMAGE009
为与待匹配点p同行或同列的像素点，
Figure 555245DEST_PATH_IMAGE010
为与待匹配点p同行或同列上的像素点灰度值，
Figure 512836DEST_PATH_IMAGE011
为待匹配点p灰度值；
Figure 515427DEST_PATH_IMAGE012
为与待匹配点p同行或同列上像素点的横坐标或纵坐标值，L(p)为待匹配点p的坐标值，
Figure 639414DEST_PATH_IMAGE013
分别为预设的颜色与臂长阈值。
6.根据权利要求3所述的基于散斑结构光的立体视觉测量方法，其特征在于，所述步骤S23具体为：
采用多次生成窗口方法对步骤S22中自适应窗口设定不同窗口生成系数，并根据设置的不同窗口生成系数得到不同窗口间臂长阈值，并构建自适应匹配窗口区域，在生成过程中以轮次为基准为不同自适应匹配窗口区域中各像素点分配区域权重，生成多轮自适应匹配窗口。
7.根据权利要求3所述的基于散斑结构光的立体视觉测量方法，其特征在于，所述步骤S24具体包括以下步骤：
S241、以步骤S23中第一散斑图像得到的自适应匹配窗口为自适应参考图像，并选取步骤S23中第二散斑图像在待匹配像素点同一行中最大搜索范围内自适应匹配窗口作为自适应子窗口；
S242、利用NCC算法相似度度量函数根据步骤S23中区域权重评估步骤S241中自适应子窗口与自适应参考窗口的相似度，表示为：
Figure 334837DEST_PATH_IMAGE015
其中，
Figure 779725DEST_PATH_IMAGE016
为相似度，
Figure 648324DEST_PATH_IMAGE017
为自适应子窗口像素点，W为自适应参考窗口，
Figure 557374DEST_PATH_IMAGE018
为自适应参考窗口像素均值，I为自适应子窗口，
Figure 95803DEST_PATH_IMAGE019
为自适应子窗口像素均值，M为窗口横坐标，N为窗口纵坐标，
Figure 90304DEST_PATH_IMAGE020
为自适应参考窗口内像素点，
Figure 247747DEST_PATH_IMAGE021
代表该区域的权重值；
S243、根据步骤S242得到的评估结果，选择最大相似度所对应的自适应参考窗口与自适应匹配窗口中心作为最佳匹配点，计算两点间视差，遍历图像中所有像素点后，生成不同曝光条件下视差图。
8.根据权利要求1所述的基于散斑结构光的立体视觉测量方法，其特征在于，所述步骤S3具体包括以下分步骤：
S31、将步骤S2中不同曝光条件下视差图转换为点云集，表示为：
Figure 11303DEST_PATH_IMAGE022
其中，
Figure 986213DEST_PATH_IMAGE023
分别为转换后点云集三个维度信息，f为双目相机焦距，b为双目相机基线，d为视差，
Figure 202430DEST_PATH_IMAGE024
与
Figure 412832DEST_PATH_IMAGE025
均为第一散斑图像的像素坐标；
S32、从步骤S31中点云集选取目标点云集与初始点云集；
S33、利用KD树选择步骤S32中目标点云集各点云到初始点云集距离最近点作为目标点云集各点云的对应点，生成对应点集；
S34、用奇异值分解法结合步骤S33中对应点集计算误差函数值最小条件下的旋转矩阵与平移矩阵，表示为：
Figure 30895DEST_PATH_IMAGE026
其中，
Figure 442285DEST_PATH_IMAGE027
为误差函数，R为旋转矩阵，T为平移矩阵，k为在两个点云集中初始点云Q中对应点的数量，
Figure 457383DEST_PATH_IMAGE028
为对应点间欧氏距离，
Figure 143579DEST_PATH_IMAGE029
为目标点云集P中点云，
Figure 819411DEST_PATH_IMAGE030
为初始点云集中点云；
S35、对步骤S34中旋转矩阵与平移矩阵对目标点云集进行刚性转换，表示为：
Figure 198440DEST_PATH_IMAGE031
其中，
Figure 451567DEST_PATH_IMAGE032
为刚性转换后的目标点云集，
Figure 144716DEST_PATH_IMAGE033
为点乘运算；
S36、根据步骤S35中刚性转换后的目标点云集计算到初始点云集间对应点平均距离，表示为：
Figure 471792DEST_PATH_IMAGE034
其中，d为平均距离，
Figure 834772DEST_PATH_IMAGE035
为刚性转换后的目标点云集中点云数量，
Figure 512878DEST_PATH_IMAGE036
为刚性转换后的目标点云集中点云；
S37、判断步骤S36中平均距离是否小于预设阈值，若是则停止点云配准，否则返回步骤S33。
9.根据权利要求1所述的基于散斑结构光的立体视觉测量方法，其特征在于，所述步骤S4具体为：
根据步骤S1中校正后的彩色图像与校正后的第一散斑图像进行配准得到公共部分，将公共部分的色彩信息一一对应到步骤S3中三维点云信息，得到与真实物体高度一致的三维模型。
10.一种基于散斑结构光的立体视觉测量系统，应用于权利要求1至权利要求9任一所述的一种基于散斑结构光的立体视觉测量方法，其特征在于，包括第一红外摄像模块、第二红外摄像模块、彩色摄像模块、散斑投影模块以及主控模块；
所述散斑投影模块用于向待测物体表面投射散斑激光；
所述第一红外摄像模块用于采集所述散斑投影模块投射到待测物体表面的图像信息，得到第一散斑图像；
所述第二红外摄像模块用于采集所述散斑投影模块投射到待测物体表面的图像信息，得到第二散斑图像；
所述彩色摄像模块用于采集所述散斑投影模块投射到待测物体表面的图像色彩信息，得到彩色图像；
所述主控模块用于接收所述第一红外摄像模块、所述第二红外摄像模块、所述彩色摄像模块分别采集的所述散斑投影模块投影到待测物体表面的散斑激光的第一散斑图像、第二散斑图像以及彩色图像，并对图像进行校正；对校正后的第一散斑图像与第二散斑图像进行自适应匹配，得到不同曝光条件下视差图，并对视差图进行多曝光点融合得到三维点云信息；并利用所述校正后的彩色图像与所述第一散斑图像进行校准，得到公共部分色彩信息，与三维点云信息进行匹配，构建三维模型。
CN202110911023.8A 2021-08-10 2021-08-10 一种基于散斑结构光的立体视觉测量方法及系统 Active CN113362457B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110911023.8A CN113362457B (zh) 2021-08-10 2021-08-10 一种基于散斑结构光的立体视觉测量方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110911023.8A CN113362457B (zh) 2021-08-10 2021-08-10 一种基于散斑结构光的立体视觉测量方法及系统

Publications (2)

Publication Number Publication Date
CN113362457A true CN113362457A (zh) 2021-09-07
CN113362457B CN113362457B (zh) 2021-11-02

Family

ID=77540853

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110911023.8A Active CN113362457B (zh) 2021-08-10 2021-08-10 一种基于散斑结构光的立体视觉测量方法及系统

Country Status (1)

Country Link
CN (1) CN113362457B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113936049A (zh) * 2021-10-21 2022-01-14 北京的卢深视科技有限公司 单目结构光散斑图像深度恢复方法、电子设备及存储介质
CN114066950A (zh) * 2021-10-27 2022-02-18 北京的卢深视科技有限公司 单目散斑结构光图像匹配方法、电子设备及存储介质
CN115018934A (zh) * 2022-07-05 2022-09-06 浙江大学 结合十字骨架窗口和图像金字塔的立体图像深度检测方法
CN116067305A (zh) * 2023-02-09 2023-05-05 深圳市安思疆科技有限公司 一种结构光测量系统和测量方法
CN117928386A (zh) * 2024-03-22 2024-04-26 四川拓及轨道交通设备股份有限公司 一种便携式双目接触网几何参数检测系统及方法
CN117928386B (zh) * 2024-03-22 2024-05-31 四川拓及轨道交通设备股份有限公司 一种便携式双目接触网几何参数检测系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030154062A1 (en) * 2001-10-15 2003-08-14 General Electric Company System and method for statistical design of ultrasound probe and imaging system
CN109658443A (zh) * 2018-11-01 2019-04-19 北京华捷艾米科技有限公司 立体视觉匹配方法及系统
CN110263690A (zh) * 2019-06-12 2019-09-20 成都信息工程大学 一种基于小群组的群体行为特征提取与描述方法及系统
CN111145342A (zh) * 2019-12-27 2020-05-12 山东中科先进技术研究院有限公司 一种双目散斑结构光三维重建方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030154062A1 (en) * 2001-10-15 2003-08-14 General Electric Company System and method for statistical design of ultrasound probe and imaging system
CN109658443A (zh) * 2018-11-01 2019-04-19 北京华捷艾米科技有限公司 立体视觉匹配方法及系统
CN110263690A (zh) * 2019-06-12 2019-09-20 成都信息工程大学 一种基于小群组的群体行为特征提取与描述方法及系统
CN111145342A (zh) * 2019-12-27 2020-05-12 山东中科先进技术研究院有限公司 一种双目散斑结构光三维重建方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
WENBO QIAO等: "An Improved Adaptive Window Stereo Matching Algorithm", 《JOURNAL OF PHYSICS: CONFERENCE SERIES》 *
王尧山等: "一种基于系统稳定性和正确性的定位导航方法研究", 《成都信息工程大学学报》 *
王杰琼: "双目立体视觉匹配方法研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113936049A (zh) * 2021-10-21 2022-01-14 北京的卢深视科技有限公司 单目结构光散斑图像深度恢复方法、电子设备及存储介质
CN114066950A (zh) * 2021-10-27 2022-02-18 北京的卢深视科技有限公司 单目散斑结构光图像匹配方法、电子设备及存储介质
CN114066950B (zh) * 2021-10-27 2022-09-23 合肥的卢深视科技有限公司 单目散斑结构光图像匹配方法、电子设备及存储介质
CN115018934A (zh) * 2022-07-05 2022-09-06 浙江大学 结合十字骨架窗口和图像金字塔的立体图像深度检测方法
CN115018934B (zh) * 2022-07-05 2024-05-31 浙江大学 结合十字骨架窗口和图像金字塔的立体图像深度检测方法
CN116067305A (zh) * 2023-02-09 2023-05-05 深圳市安思疆科技有限公司 一种结构光测量系统和测量方法
CN117928386A (zh) * 2024-03-22 2024-04-26 四川拓及轨道交通设备股份有限公司 一种便携式双目接触网几何参数检测系统及方法
CN117928386B (zh) * 2024-03-22 2024-05-31 四川拓及轨道交通设备股份有限公司 一种便携式双目接触网几何参数检测系统及方法

Also Published As

Publication number Publication date
CN113362457B (zh) 2021-11-02

Similar Documents

Publication Publication Date Title
CN113362457B (zh) 一种基于散斑结构光的立体视觉测量方法及系统
CN113012293B (zh) 石刻模型构建方法、装置、设备及存储介质
CN107274483A (zh) 一种物体三维模型构建方法
CN109903372A (zh) 深度图超分辨率补全方法及高质量三维重建方法与系统
CN110853151A (zh) 一种基于视频的三维立体点集恢复方法
KR20210119417A (ko) 깊이 추정법
CN113689578B (zh) 一种人体数据集生成方法及装置
CN105184857A (zh) 基于点结构光测距的单目视觉重建中尺度因子确定方法
CN113052109A (zh) 一种3d目标检测系统及其3d目标检测方法
Ummenhofer et al. Point-based 3D reconstruction of thin objects
CN111524233A (zh) 一种静态场景动态目标的三维重建方法
CN114494589A (zh) 三维重建方法、装置、电子设备和计算机可读存储介质
CN114782628A (zh) 基于深度相机的室内实时三维重建方法
CN112630469B (zh) 一种基于结构光和多光场相机的三维检测方法
Wan et al. A study in 3D-reconstruction using kinect sensor
Kallwies et al. Triple-SGM: stereo processing using semi-global matching with cost fusion
JP2024510230A (ja) 顔表情、身体ポーズ形状及び衣服パフォーマンスキャプチャのための暗黙的微分可能レンダラーを用いたマルチビューニューラル人間予測
Tao et al. LiDAR-NeRF: Novel lidar view synthesis via neural radiance fields
CN111325828A (zh) 一种基于三目相机的三维人脸采集方法及装置
CN113160416B (zh) 一种用于煤流检测的散斑成像装置及方法
CN116681839B (zh) 一种基于改进NeRF的实景三维目标重建与单体化方法
Johannsen et al. Variational Separation of Light Field Layers.
Luo et al. Sparse rgb-d images create a real thing: a flexible voxel based 3d reconstruction pipeline for single object
CN114935316B (zh) 基于光学跟踪与单目视觉的标准深度图像生成方法
KR20160049639A (ko) 부분 선형화 기반의 3차원 영상 정합 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant