CN110044266B - 基于散斑投影的摄影测量系统 - Google Patents
基于散斑投影的摄影测量系统 Download PDFInfo
- Publication number
- CN110044266B CN110044266B CN201910478553.0A CN201910478553A CN110044266B CN 110044266 B CN110044266 B CN 110044266B CN 201910478553 A CN201910478553 A CN 201910478553A CN 110044266 B CN110044266 B CN 110044266B
- Authority
- CN
- China
- Prior art keywords
- image
- sub
- detected
- feature
- matched
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims abstract description 35
- 238000006243 chemical reaction Methods 0.000 claims abstract description 7
- 238000001514 detection method Methods 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 8
- 238000005259 measurement Methods 0.000 abstract description 27
- 230000000007 visual effect Effects 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 7
- 238000005457 optimization Methods 0.000 description 3
- 238000002360 preparation method Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Abstract
本发明公开了一种基于散斑投影的摄影测量系统，包括处理器、固定架、固定安装在固定架上的散斑投影器及多部相机；散斑投影器能投射散斑到待测区域；多部相机分别从多个角度采集其视场内的图像，并将图像发送到处理器；处理器对图像数据进行如下处理，以获得待测区域内散斑的三维信息：1)调取相机坐标系与工件坐标系之间的转换关系；2)确定各相机坐标系下各特征点的理论图像坐标；3)确定各个相机的可视特征点；4)图像匹配；5)获得特征的三维信息。该摄影测量系统不仅能适用于具有明显特征的待测工件，还适应于表面光滑无特殊点的待测工件，相较现有全局拼接方式，实际测量速度至少提升了一个数量级。
Description
技术领域
本发明涉及精密测量领域，具体涉及一种基于散斑投影的摄影测量系统。
背景技术
随着高端先进制造技术的飞速发展，航空、航天、汽车造船等行业的生产和工程对几何量精密测量技术提出更高要求。三维扫描技术和摄影测量技术是常用的加工质量检测技术。三维扫描技术通过投射激光、结构光或固定图像，再采用三角测量、双目立体视觉等原理获取工件的三维点云数据。将三维扫描技术配合机器人自动化平台，可实现大型自由曲面表面高密度点云的自动化精密测量。摄影测量技术通过在不同的位置和方向获取同一物体的两幅以上的数字图像，经图像匹配等处理及平差优化解算后得到待测点的三维坐标。
目前，大尺寸工件的三维扫描通常使用全局拼接点的方式，即在工件待测区域表面粘贴反光标记点，在每个局部测量位置使用双目立体视觉方式获取一小部分标记点的三维坐标，再和全局标记点进行比较，计算得到该测量位姿，将该姿态三维数据拼接到整体中去。使用该方法测量时不仅需要调试过的高精度机器人，还需要配合高精度的摄影测量设备。
摄影测量技术通过在测量范围内布置多台相机，可在短时间内获得整个视场内待测特征的信息。但由于图像匹配的要求，使用摄影测量技术只能检测工件上孔、角点等具有明显特征的部位，对于没有明显纹理的曲面(譬如光滑的前车盖)则无法进行精确匹配并检测。
发明内容
为了解决上述技术问题，本发明提供一种基于散斑投影的摄影测量系统，其不仅能适用于具有明显特征的待测工件，还适应于表面光滑无特殊点的待测工件，相较现有全局拼接方式，实际测量速度提升了一个量级；为此本发明的技术方案如下：
一种基于散斑投影的摄影测量系统，其特征在于：包括处理器、固定架、固定安装在所述固定架上的散斑投影器及多部相机；
所述散斑投影器能投射散斑到待测区域；
所述多部相机分别从多个角度采集其视场内的图像，并将图像发送到处理器；
所述处理器对接收到的图像数据进行如下处理，以获得待测区域内各待测特征的三维信息：
1)基于相机外参分别建立的多部相机坐标系与工件坐标系之间的转换关系；
2)基于工件数模，将工件坐标系下各特征点的位置转换到各个相机坐标系下；
3)依据共线方程，获得待测特征在各个相机所采集图片中的理论像素坐标，并确定各个相机的可视特征；
4)依据待测特征在图像上的反投影坐标确定图像内各待测特征的待测区域；基于步骤3)确定各待测特征在哪幅图片，将多部相机采集到的待测区域进行匹配，匹配方法如下：相互匹配的多张图像中的一张为参考图像，另外为待匹配图像，从参考图像中待测区域的第一个像素点开始，以此为中心，取尺寸为M×N像素的子图像c；在待匹配图像中，遍历待检测区，寻找与参考图像中子图像c相关性最大的子图像c’，以子图像c’的中心作为参考图像中子图像c在待匹配图像中的对应点；具体来说，所述子图像c与子图像c’的相关性利用如下算法进行计算：
式中，Correlation为相关性；A(m,n)为参考图像中子图像c像素的灰度值；B(m,n)为待匹配图像中子图像c’像素的灰度值；为子图像c的平均灰度值；/>为子图像c’的平均灰度值；m，n分别为子图像c/子图像c’中单一检测点横坐标、纵坐标的标号，m＝1，2，3…M，n＝1，2，3…N；
计算并匹配好各相机所采集图像中所有待测区域内匹配点集的图像坐标；
5)经步骤4)获取图像中所有匹配点集的图像坐标，再通过摄影测量原理获得各待测特征的三维点云，并计算待测特征的三维坐标。
当待测工件上不仅存在表面光滑的待测位置，也存在明显特征时，可采用如下摄影测量系统进行检测：一种基于散斑投影的摄影测量系统，包括处理器、固定架、固定安装在所述固定架上的散斑投影器及多部相机；
所述散斑投影器能投射散斑到待测区域；
所述多部相机分别从多个角度采集其视场内的图像，并将图像发送到处理器；
所述处理器对接收到的图像数据进行如下处理，以获得待测区域内各待测特征的三维信息，所述待测特征为明显特征或不明显特征：
明显特征指：待测物表面能清晰观测到的特征，可以是棱、边、角、点、孔、凸起物或轮廓线；
不明显特征指：待测物表面无法通过图像准确确定位置特征，可以是平面、曲面、拐角；
1)基于相机外参分别建立的多部相机坐标系与工件坐标系之间的转换关系；
2)基于工件数模，将工件坐标系下各特征点的位置转换到各个相机坐标系下；
3)依据共线方程，获得各待测特征在各个相机所采集图片中的理论像素坐标，并确定各个相机的可视特征点；
4)对于表面存在明显特征的部分，基于明显特征在图像上的反投影坐标确定图像内的待测特征检测区域，并对特征进行图像提取，获得待测特征的精确图像坐标，根据步骤3)可确定每个特征位于哪幅图像，并将其一一对应匹配；
对于表面光滑的部分，依据待测特征在图像上的反投影坐标确定图像内待测区域，根据步骤3)确定各待测特征位于哪幅图片，将多部相机采集到的图像待测区域进行匹配，匹配方法如下：相互匹配的多张图像中的一张为参考图像，另外为待匹配图像，从参考图像中待测区域的第一个像素点开始，以此为中心，取尺寸为M×N像素的子图像c；在待匹配图像中，遍历待检测区，寻找与参考图像中子图像c相关性最大的子图像c’，以子图像c’的中心作为参考图像中子图像c在待匹配图像中的对应点；所述子图像c与子图像c’的相关性利用如下算法进行计算：
式中，Correlation为相关性；A(m,n)为参考图像中子图像c像素的灰度值；B(m,n)为待匹配图像中子图像c’像素的灰度值；为子图像c的平均灰度值；/>为子图像c’的平均灰度值；m，n分别为子图像c/子图像c’中单一检测点横坐标、纵坐标的标号，m＝1，2，3…M，n＝1，2，3…N；
计算并匹配好各相机所采集图像中所有待测区域内匹配点集的图像坐标；
5)经步骤4)获取图像中所有明显特征图像坐标，再通过摄影测量原理获得各明显特征三维信息；获取图像中所有匹配点集的图像坐标，再通过摄影测量原理获得待测特征区域的三维点云。
进一步，以步骤5)得到的各特征或点云的三维信息为初值，利用光束平差法进行解算，以提高输出结果的精度；此步光束平差法利用以下公式进行计算：
以步骤5)得到的各特征或点云的三维信息为初值，利用光束平差法进行解算，解算通过以下公式进行：
工件上的明显特征和/或点云记为待匹配特征i，所述多部相机分别记为相机j；Xij表示待匹配特征i的三维信息在相机j拍摄图像中的像素坐标；aj是相机j的内参和外参；bi是待匹配特征i的三维信息；vij为逻辑变量，表示待匹配特征i在相机j拍摄图像中的可见性；Q(aj,bi)表示待匹配特征i在相机j拍摄图像上的预测投影坐标；d(Q(aj,bi),Xij)表示待匹配特征i的预测投影坐标和像素实际坐标的欧式距离。该方法通过最小化特征点在图像上的反投影误差来精确求解测点得三维信息。
进一步，步骤4)得到明显特征的匹配结果后，再利用多极线匹配方法对匹配结果进行确认，方法如下：将多幅包含明显特征的图像进行分组，三幅图像为一组，求取同一明显特征A在同一组图像中的两幅图像内的像素坐标在第三幅图像内的极线，若两极线在第三幅图像内的交点与明显特征A在第三幅图像内的位置重合，则表明图像中特征点匹配正确，否则需重新进行匹配。
进一步，所述散斑投影器有1个或多个，其投影点能覆盖所有待测待测区域。
常规使用全局拼接的三维扫描，需要在测量之前完成拼接点的粘贴和坐标计算。以车门测量为例，自动化蓝光扫描每次前期准备需要30分钟时间，机器人带动设备测量整个工件需要大约15分钟。而且设备投入使用之前，每一个测点都需要专业人员对机器人进行位姿调试，这大大提高了该系统的操作难度。而基于散斑投影的摄影测量方式，只要系统标定好后，每次测量并没有前期准备时间，对于工件调试也仅需要调整散斑投射器的位置，在测量时保证投射的散斑覆盖被测区域即可，该方法调试较为简便。实际测量时，仅需要所有相机同时对工件进行拍摄，便可进行后期解算。一般在1分钟之内便可完成车门的测量和解算，这极大的提升了测量的效率。此外该方式仅针对需要形貌特征的区域进行点云采集，而常规的三维扫描会将视场内所有的点云进行计算，这样便减少了大量冗余的三维点云信息的处理和存储，进一步提高了系统效率更加适用于关键性尺寸的获取。
由于摄影测量的高精度特性，该系统的测量精度较传统三维扫描更高。并且常规的三维扫描测量都需要配合机器人和单相机摄影测量设备，其整体的成本高于此类基于散斑投影的摄影测量整体设备。基于散斑投影的摄影测量设备在空间布局上更为紧凑，其设置和调试都更为简单。
常规的摄影测量系统，仅可以对工件上的孔、角点等比较明显的特征进行检测。因此使用摄影测量检测汽车零件时，只能用于前后桥，仪表板等只需要测孔位的零件，或门盖内板上一些关键孔位的测量，但不能用于门盖外板等需要测量曲面的零件。而基于散斑投影的摄影测量系统正好解决了该弊端，该系统仅通过设置散斑投射器以及软件算法的升级，便可实现曲面点云的扫描测量。而且点云获取的精度也由于经过了多相机平差解算，高于利用拼接的三维扫描精度。
本发明提出的基于散斑投影摄影系统及方法结合了三维扫描和摄影测量的优点并很好得解决了其存在得问题。该系统需要较少或无需前期准备时间，现场待测工件到达后可直接投入测量，因此直接提升了测量效率；该系统只对需要密集点云的部位投射散斑，其他较明显的特征使用摄影测量，这大大减少了计算量，进一步提升了测量效率。通过立体匹配得到三维点云后，再通过光束平差法优化测量结果提高整体的测量精度。
附图说明
图1为本发明提供的基于散斑投影的摄影测量系统的结构示意图；
图2为实施例1提供的基于散斑投影的摄影测量系统的流程图。
图中：1-相机；2-散斑投影器；3-待测物/工件。
具体实施方式
以下结合附图和实施例对本发明的技术方案进行详细描述。
实施例1
一种基于散斑投影的摄影测量系统，包括处理器、固定架、固定安装在固定架上的散斑投影器2及多部相机1；
散斑投影器2能投射散斑到待测区域；其数量为1个或多个，投影点能覆盖所有待测待测区域；
多部相机1分别从多个角度采集其视场内的图像，并将图像发送到处理器；
处理器对接收到的图像数据进行如下处理，以获得待测区域内特征的三维信息：
1)基于相机外参分别建立的多部相机坐标系与工件坐标系之间的转换关系；
2)基于工件3数模，将工件坐标系下各特征点的位置转换到各个相机坐标系下；
3)依据共线方程，获得各待测特征在各个相机所采集图片中的理论像素坐标，并确定各个相机的可视特征；
4)依据待测特征在图像上的反投影坐标确定图像内待测区域；基于步骤3)确定各待测特征在哪幅图片，将多部相机采集到的待测区域进行匹配，匹配方法如下：相互匹配的多张图像中的一张为参考图像，另外为待匹配图像，从参考图像中待测区域的第一个像素点开始，以此为中心，取尺寸为M×N像素的子图像c；在待匹配图像中，遍历待检测区，寻找与参考图像中子图像c相关性最大的子图像c’，以子图像c’的中心作为参考图像中子图像c在待匹配图像中的对应点；子图像c与子图像c’的相关性利用如下算法进行计算：
式中，Correlation为相关性；A(m,n)为参考图像中子图像c像素的灰度值；B(m,n)为待匹配图像中子图像c’像素的灰度值；为子图像c的平均灰度值；/>为子图像c’的平均灰度值；m，n分别为子图像c/子图像c’中单一检测点横坐标、纵坐标的标号，m＝1，2，3…M，n＝1，2，3…N；
计算并匹配好各相机所采集图像中所有待测区域内匹配点集的图像坐标；
优选，得到匹配结果后，利用多极线匹配的方法对匹配结果进行确认；
5)经步骤4)获取待测区域内所有匹配点集所对应的图像坐标，再通过摄影测量原理获得待测特征的三维点云。
作为对本实施例输出结果的的优化，以步骤5)得到的各特征的三维信息为初值，利用光束平差法进行解算，解算通过以下公式进行：
工件上的点云坐标记为待匹配特征i，所述多部相机分别记为相机j；Xij表示待匹配特征i的三维信息在相机j拍摄图像中的像素坐标；aj是相机j的内参和外参；bi是待匹配特征i的三维信息；vij为逻辑变量，表示待匹配特征i在相机j拍摄图像中的可见性；Q(aj,bi)表示待匹配特征i在相机j拍摄图像上的预测投影坐标；d(Q(aj,bi),Xij)表示待匹配特征i的预测投影坐标和像素实际坐标的欧式距离。
本实施例提供的方法可将摄影测量系统应用于表面无特征的待测物上，譬如汽车前盖、汽车顶盖。无需贴点、直接测量、精度高、速度快。
实施例2
一种基于散斑投影的摄影测量系统，包括处理器、固定架、固定安装在固定架上的散斑投影器2及多部相机1；
散斑投影器2能投射散斑到待测区域；其数量为1个或多个，投影点能覆盖所有待测待测区域；
多部相机1分别从多个角度采集其视场内的图像，并将图像发送到处理器；
处理器对接收到的图像数据进行如下处理，以获得待测区域内各待测特征的三维信息，待测特征为明显特征或不明显特征：
1)调取基于相机外参分别建立的多部相机坐标系与工件坐标系之间的转换关系；
2)基于工件3数模，将工件坐标系下各特征点的位置转换到各个相机坐标系下；
3)依据共线方程，获得各待测特征在各个相机所采集图片中的理论像素坐标，并确定各个相机的可视特征点；
4)对于表面存在明显特征的部分，基于明显特征在图像上的反投影坐标确定图像内的待测特征检测区域；并对特征进行图像提取，获得待测特征的精确图像坐标，根据步骤3)可确定每个特征位于哪幅图像，并将其一一对应匹配；为了优化匹配结果，可利用多极线匹配方法对匹配结果进行确认，方法如下：将多幅包含明显特征的图像进行分组，三幅图像为一组，求取同一明显特征A在同一组图像中的两幅图像内的像素坐标在第三幅图像内的极线，若两极线在第三幅图像内的交点与明显特征A在第三幅图像内的位置重合，则表明图像中特征点匹配正确，否则需重新进行匹配；
对于表面光滑的部分，依据待测特征在图像上的反投影坐标确定图像内待测区域，根据步骤3)确定各待测特征位于哪幅图片，将多部相机采集到的图像待测区域进行匹配，匹配方法如下：相互匹配的多张图像中的一张为参考图像，另外为待匹配图像，从参考图像中待测区域的第一个像素点开始，以此为中心，取尺寸为M×N像素的子图像c；在待匹配图像中，遍历待检测区，寻找与参考图像中子图像c相关性最大的子图像c’，以子图像c’的中心作为参考图像中子图像c在待匹配图像中的对应点；子图像c与子图像c’的相关性利用如下算法进行计算：
式中，Correlation为相关性；A(m,n)为参考图像中子图像c像素的灰度值；B(m,n)为待匹配图像中子图像c’像素的灰度值；为子图像c的平均灰度值；/>为子图像c’的平均灰度值；m，n分别为子图像c/子图像c’中单一检测点横坐标、纵坐标的标号，m＝1，2，3…M，n＝1，2，3…N；
计算并匹配好各相机所采集图像中所有待测区域内匹配点集的图像坐标；
5)经步骤4)获取待测区域内所有特征所对应的图像坐标，再通过摄影测量原理获得各明显特征/点云的三维信息。
作为对本实施例结果的优化，以步骤5)得到的各特征的三维信息为初值，利用光束平差法进行解算，以提高输出结果的精度；此步光束平差法利用以下公式进行计算：
以步骤5)得到的各特征的三维信息为初值，利用光束平差法进行解算，解算通过以下公式进行：
工件上的明显特征和/或点云记为待匹配特征i，多部相机分别记为相机j；Xij表示待匹配特征i的三维信息在相机j拍摄图像中的像素坐标；aj是相机j的内参和外参；bi是待匹配特征i的三维信息；vij为逻辑变量，表示待匹配特征i在相机j拍摄图像中的可见性；Q(aj,bi)表示待匹配特征i在相机j拍摄图像上的预测投影坐标；d(Q(aj,bi),Xij)表示待匹配特征i的预测投影坐标和像素实际坐标的欧式距离。该方法通过最小化特征点在图像上的反投影误差来精确求解特征点得三维信息。
本实施例提供的方法是适用于大部分应用场景的摄影测量系统，不管待测物表面是否存在明显特征均可快速得到测试结果。
前面对本发明具体示例性实施方案所呈现的描述是出于说明和描述的目的。前面的描述并不想要成为毫无遗漏的，也不是想要把本发明限制为所公开的精确形式，显然，根据上述教导很多改变和变化都是可能的。选择示例性实施方案并进行描述是为了解释本发明的特定原理及其实际应用，从而使得本领域的其它技术人员能够实现并利用本发明的各种示例性实施方案及其不同选择形式和修改形式。本发明的范围旨在由所附权利要求书及其等价形式所限定。
Claims (5)
1.一种基于散斑投影的摄影测量系统，其特征在于：包括处理器、固定架、固定安装在所述固定架上的散斑投影器及多部相机；
所述散斑投影器能投射散斑到待测区域；
所述多部相机分别从多个角度采集其视场内的图像，并将图像发送到处理器；
所述处理器对接收到的图像数据进行如下处理，以获得待测区域内各待测特征的三维信息：
1)基于相机外参分别建立的多部相机坐标系与工件坐标系之间的转换关系；
2)基于工件数模，将工件坐标系下各特征点的位置转换到各个相机坐标系下；
3)依据共线方程，获得各待测特征在各个相机所采集图片中的理论像素坐标，并确定各个相机的可视特征；
4)依据待测特征在图像上的反投影坐标确定图像内待测区域；基于步骤3)确定各待测特征在哪幅图片，将多部相机采集到的待测区域进行匹配，匹配方法如下：相互匹配的多张图像中的一张为参考图像，另外为待匹配图像，从参考图像中待测区域的第一个像素点开始，以此为中心，取尺寸为M×N像素的子图像c；在待匹配图像中，遍历待检测区，寻找与参考图像中子图像c相关性最大的子图像c’，以子图像c’的中心作为参考图像中子图像c在待匹配图像中的对应点；
所述子图像c与子图像c’的相关性利用如下算法进行计算：
式中，Correlation为相关性；A(m,n)为参考图像中子图像c像素的灰度值；B(m,n)为待匹配图像中子图像c’像素的灰度值；为子图像c的平均灰度值；/>为子图像c’的平均灰度值；m，n分别为子图像c/子图像c’中单一检测点横坐标、纵坐标的标号，m＝1，2，3…M，n＝1，2，3…N；
计算并匹配好各相机所采集图像中所有待测区域内匹配点集的图像坐标；
5)经步骤4)获取图像中所有匹配点集的图像坐标，再通过摄影测量原理获得待测特征区域的三维点云，并计算待测特征的三维坐标。
2.一种基于散斑投影的摄影测量系统，其特征在于：包括处理器、固定架、固定安装在所述固定架上的散斑投影器及多部相机；
所述散斑投影器能投射散斑到待测区域；
所述多部相机分别从多个角度采集其视场内的图像，并将图像发送到处理器；
所述处理器对接收到的图像数据进行如下处理，以获得待测区域内各待测特征的三维信息，所述待测特征为明显特征或不明显特征：
1)基于相机外参分别建立的多部相机坐标系与工件坐标系之间的转换关系；
2)基于工件数模，将工件坐标系下各特征点的位置转换到各个相机坐标系下；
3)依据共线方程，获得待测特征在各个相机所采集图片中的理论像素坐标，并确定各个相机的可视特征；
4)对于表面存在明显特征的部分，基于明显特征在图像上的反投影坐标确定图像内的待测特征检测区域，并对特征进行图像提取，获得待测特征的精确图像坐标，根据步骤3)可确定每个特征位于哪幅图像，并将其一一对应匹配；
对于表面光滑的部分，依据待测特征在图像上的反投影坐标确定图像内待测区域，根据步骤3)确定各待测特征位于哪幅图片，将多部相机采集到的图像待测区域进行匹配，匹配方法如下：相互匹配的多张图像中的一张为参考图像，另外为待匹配图像，从参考图像中待测区域的第一个像素点开始，以此为中心，取尺寸为M×N像素的子图像c；在待匹配图像中，遍历待检测区，寻找与参考图像中子图像c相关性最大的子图像c’，以子图像c’的中心作为参考图像中子图像c在待匹配图像中的对应点；
所述子图像c与子图像c’的相关性利用如下算法进行计算：
式中，Correlation为相关性；A(m,n)为参考图像中子图像c像素的灰度值；B(m,n)为待匹配图像中子图像c’像素的灰度值；为子图像c的平均灰度值；/>为子图像c’的平均灰度值；m，n分别为子图像c/子图像c’中单一检测点横坐标、纵坐标的标号，m＝1，2，3…M，n＝1，2，3…N；
计算并匹配好各相机所采集图像中所有待测区域内匹配点集的图像坐标；
5)经步骤4)获取图像中所有明显特征图像坐标，再通过摄影测量原理获得各明显特征的三维信息；获取图像中所有匹配点集的图像坐标，再通过摄影测量原理获得待测特征区域的三维点云。
3.如权利要求1或2所述基于散斑投影的摄影测量系统，其特征在于：以步骤5)得到的各特征或点云的三维信息为初值，利用光束平差法进行解算，解算通过以下公式进行：
工件上的明显特征和/或点云记为待匹配特征i，所述多部相机分别记为相机j；Xij表示待匹配特征i的三维信息在相机j拍摄图像中的像素坐标；aj是相机j的内参和外参；bi是待匹配特征i的三维信息；vij为逻辑变量，表示待匹配特征i在相机j拍摄图像中的可见性；Q(aj,bi)表示待匹配特征i在相机j拍摄图像上的预测投影坐标；d(Q(aj,bi),Xij)表示待匹配特征i的预测投影坐标和像素实际坐标的欧式距离。
4.如权利要求1或2所述基于散斑投影的摄影测量系统，其特征在于：步骤4)得到匹配结果后，利用多极线匹配的方法对匹配结果进行确认。
5.如权利要求1或2所述基于散斑投影的摄影测量系统，其特征在于：所述散斑投影器有1个或多个，其投影点能覆盖所有待测区域。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910478553.0A CN110044266B (zh) | 2019-06-03 | 2019-06-03 | 基于散斑投影的摄影测量系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910478553.0A CN110044266B (zh) | 2019-06-03 | 2019-06-03 | 基于散斑投影的摄影测量系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110044266A CN110044266A (zh) | 2019-07-23 |
| CN110044266B true CN110044266B (zh) | 2023-10-31 |
Family
ID=67284558
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910478553.0A Active CN110044266B (zh) | 2019-06-03 | 2019-06-03 | 基于散斑投影的摄影测量系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110044266B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110749290B (zh) * | 2019-10-30 | 2021-06-01 | 易思维（杭州）科技有限公司 | 基于三维投影的特征信息快速定位方法 |
| CN110930323B (zh) * | 2019-11-07 | 2023-09-12 | 华为技术有限公司 | 图像去反光的方法、装置 |
| CN111442721B (zh) * | 2020-03-16 | 2021-07-27 | 天目爱视（北京）科技有限公司 | 一种基于多激光测距和测角的标定设备及方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003262510A (ja) * | 2002-03-08 | 2003-09-19 | Center For Advanced Science & Technology Incubation Ltd | 三次元形状測定方法及び三次元スキャナ |
| CN104596439A (zh) * | 2015-01-07 | 2015-05-06 | 东南大学 | 一种基于相位信息辅助的散斑匹配三维测量方法 |
| JP2017102061A (ja) * | 2015-12-03 | 2017-06-08 | キヤノン株式会社 | 計測装置、計測方法および物品の製造方法 |
| CN107578464A (zh) * | 2017-06-30 | 2018-01-12 | 长沙湘计海盾科技有限公司 | 一种基于线激光扫描的传送带工件三维轮廓测量方法 |
| CN107633532A (zh) * | 2017-09-22 | 2018-01-26 | 武汉中观自动化科技有限公司 | 一种基于白光扫描仪的点云融合方法及系统 |
| CN108362220A (zh) * | 2018-01-19 | 2018-08-03 | 中国科学技术大学 | 用于印制线路板的三维形貌测量及缺陷检测的方法 |
| US10810750B1 (en) * | 2017-02-24 | 2020-10-20 | Shining 3D Tech Co., Ltd. | Three-dimensional scanning system and scanning method thereof |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2069713A4 (en) * | 2006-05-26 | 2012-12-26 | Corp Spg Data3D | PHOTOGRAMMETRIC SYSTEM AND TECHNIQUES FOR 3D ACQUISITION |
| US9131118B2 (en) * | 2012-11-14 | 2015-09-08 | Massachusetts Institute Of Technology | Laser speckle photography for surface tampering detection |
| CN105203044B (zh) * | 2015-05-27 | 2019-06-11 | 珠海真幻科技有限公司 | 以计算激光散斑为纹理的立体视觉三维测量方法及系统 |
-
2019
- 2019-06-03 CN CN201910478553.0A patent/CN110044266B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003262510A (ja) * | 2002-03-08 | 2003-09-19 | Center For Advanced Science & Technology Incubation Ltd | 三次元形状測定方法及び三次元スキャナ |
| CN104596439A (zh) * | 2015-01-07 | 2015-05-06 | 东南大学 | 一种基于相位信息辅助的散斑匹配三维测量方法 |
| JP2017102061A (ja) * | 2015-12-03 | 2017-06-08 | キヤノン株式会社 | 計測装置、計測方法および物品の製造方法 |
| US10810750B1 (en) * | 2017-02-24 | 2020-10-20 | Shining 3D Tech Co., Ltd. | Three-dimensional scanning system and scanning method thereof |
| CN107578464A (zh) * | 2017-06-30 | 2018-01-12 | 长沙湘计海盾科技有限公司 | 一种基于线激光扫描的传送带工件三维轮廓测量方法 |
| CN107633532A (zh) * | 2017-09-22 | 2018-01-26 | 武汉中观自动化科技有限公司 | 一种基于白光扫描仪的点云融合方法及系统 |
| CN108362220A (zh) * | 2018-01-19 | 2018-08-03 | 中国科学技术大学 | 用于印制线路板的三维形貌测量及缺陷检测的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110044266A (zh) | 2019-07-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Luhmann et al. | Sensor modelling and camera calibration for close-range photogrammetry | |
| CN105716542B (zh) | 一种基于柔性特征点的三维数据拼接方法 | |
| CN109919911B (zh) | 基于多视角光度立体的移动三维重建方法 | |
| CN110296667B (zh) | 基于线结构光多角度投影的高反射表面三维测量方法 | |
| CN109859272B (zh) | 一种自动对焦双目摄像头标定方法及装置 | |
| JP3728900B2 (ja) | キャリブレーション方法及び装置、並びにキャリブレーション用データ生成方法 | |
| CN110044266B (zh) | 基于散斑投影的摄影测量系统 | |
| CN111210468A (zh) | 一种图像深度信息获取方法及装置 | |
| CN102376089A (zh) | 一种标靶校正方法及系统 | |
| CN110749290B (zh) | 基于三维投影的特征信息快速定位方法 | |
| CN109272555B (zh) | 一种rgb-d相机的外部参数获得及标定方法 | |
| CN114714356A (zh) | 基于双目视觉的工业机器人手眼标定误差精确检测方法 | |
| WO2020199439A1 (zh) | 基于单双目混合测量的三维点云计算方法 | |
| CN114299156A (zh) | 无重叠区域下多相机的标定与坐标统一方法 | |
| CN109212497A (zh) | 一种空间六自由度车载雷达天线位姿偏差测量及对接方法 | |
| CN107271445B (zh) | 一种缺陷检测方法及装置 | |
| EP4224841A1 (en) | System and method for dynamic stereoscopic calibration | |
| CN113822920A (zh) | 结构光相机获取深度信息的方法、电子设备及存储介质 | |
| CN111738971A (zh) | 一种基于线激光双目立体视觉的电路板立体扫描检测方法 | |
| CN116743973A (zh) | 无感投影图像自动校正方法 | |
| Wang et al. | Distance measurement using single non-metric CCD camera | |
| Tagoe et al. | Determination of the Interior Orientation Parameters of a Non-metric Digital Camera for Terrestrial Photogrammetric Applications | |
| CN112304250B (zh) | 一种移动物体之间的三维匹配设备及方法 | |
| CN114754695A (zh) | 多视场桥梁挠度测量装置、方法及存储介质 | |
| CN114972447A (zh) | 一种基于无人机拍照的水体表面流迹线测量方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder |
Address after: Room 495, building 3, 1197 Bin'an Road, Binjiang District, Hangzhou City, Zhejiang Province 310051 Patentee after: Yi Si Si (Hangzhou) Technology Co.,Ltd. Address before: Room 495, building 3, 1197 Bin'an Road, Binjiang District, Hangzhou City, Zhejiang Province 310051 Patentee before: ISVISION (HANGZHOU) TECHNOLOGY Co.,Ltd. |
|
| CP01 | Change in the name or title of a patent holder |