CN110440712A - 自适应大景深三维扫描方法与系统 - Google Patents

Abstract

本发明公开了一种自适应大景深三维扫描方法与系统，其根据测量范围设定测量步长Δd，根据测量步长在测量范围标定若干个不同的测量位置P₁、P₂、……、P_n；而后，准备N幅不同带宽的结构光图案并按带宽从大到小依次排序，根据测量位置相对投影装置的距离，预生成若干的结构光图案组合S1、S2、……Sn；投射任意一结构光图案组合Sx到测量范围内的被测物体上，再从两侧采集投射到被测物体表面的变形的结构光图案，根据两侧采集的结构光图案图像的灰度变化关系确定图像中的匹配点，计算该匹配点相对投影装置的位置Dx；最后，根据位置Dx对下一组结构光图案组合进行优化。由此，以提高采集结构光图像的质量，获得更好的测量精度。

Description

自适应大景深三维扫描方法与系统

技术领域

本发明涉及三维扫描的技术领域，特别涉及一种自适应大景深三维扫描方法与系统。

背景技术

近年来，三维扫描技术在工业检测、机器人导航、逆向工程以及目标识别等领域获得了广泛的应用。特别是在工业自动化以及机器人领域，需要获得测量目标的精准三维尺寸以及面型。

目前的三维扫描技术包括接触式与非接触式两种，非接触式又分为点扫描，线扫描以及面扫描技术。非接触式面扫描技术以其扫描速度快，精度高，不会破坏被测目标等优点，在工业自动化检测和目标识别领域得到了广泛的应用。

结构光投影技术为目前常用的非接触式面扫描技术中的一种，其通过投影装置投射特定的结构光图案到被测物体表面，再由一个或多个图像采集装置采集投射到被测物体表面的结构光图案，而后根据图案的变形或者亮度变化计算出被测物体的三维面型。在针对一些大景深应用场景，如机械臂随机抓取或机器人三维视觉导航，测量范围大，景深广，结构光图案在远距离测量时投影分辨率不够，导致图像采集装置采集的结构光图案的可用数据量过少，严重影响测量的精准度。

发明内容

针对现有技术存在的问题，本发明的主要目的是提供一种自适应大景深三维扫描方法，以提高采集结构光图像的分辨力，获得更好的测量精度。

为实现上述目的，本发明提出的自适应大景深三维扫描方法，其包括如下步骤：

S1，根据测量范围设定测量步长Δd，根据测量步长在测量范围标定若干个不同的测量位置P₁、P₂、……、P_n；其中，测量位置P₁相对投影装置的位置最近，测量位置P_n相对投影装置的位置最远；

S2，将N幅不同带宽的结构光图案按带宽从大到小依次排序，根据测量位置相对投影装置的距离，预生成若干不同的结构光图案组合S1、S2、……Sn；其中，结构光图案组合S1对应测量范围(P₁，P₂)，结构光图案组合S2对应测量范围(P₂，P₃)，以此类推，结构光图案组合Sn对应大于测量位置P_n的测量范围；结构光图案组合Sa中的每一结构光图案的带宽均大于结构光图案组合Sb中的每一结构光图案的带宽，a＜b；

S3，通过投影装置投射一结构光图案组合Sx到测量范围内的被测物体上，再通过投影装置两侧的图像采集装置采集投射到被测物体表面的变形的结构光图案；

S4，根据两侧图像采集装置采集的结构光图案图像的灰度变化关系确定图像中的匹配点，计算该匹配点相对投影装置的位置Dx；

S5，判断所述位置Dx是否位于结构光图案组合Sx所对应的测量范围(P_x，P_X+1)，

若位置Dx位于测量范围(P_x，P_X+1)内，则继续向被测物体投射结构光图案组合Sx；

若位置Dx不在测量范围(P_x，P_X+1)内，则找出Dx所在的测量范围(P′_x，P′_X+1)，向被测物体投射测量范围(P′_x，P′_X+1)对应的结构光图案组合S′x。

在本发明的优选实施例中，该方法还包括：S6，根据测量位置相对投影装置的距离，设定图像采集装置的曝光时间。

具体地，所述步骤S4中，根据两侧图像采集装置采集的结构光图案图像的灰度变化关系确定图像中的匹配点的过程如下：

S41，获取投影装置左侧的图像采集装置采集的结构光图案图像中像素点p位置对应的灰度值I_i；

S42，获取投影装置右侧的图像采集装置采集的结构光图案图像中像素点q位置对应的灰度值I′_i；

S43，构建灰度相关性系数的计算公式：其中，i＝1,2,……，n；

S44，计算并判断ρ是否大于预设的阈值，若ρ大于预设的阈值，则确定左侧图像采集装置采集的图像中的像素点p与右侧图像采集装置采集的图像中的像素点q为匹配点。

具体地，所述步骤S4中，计算该匹配点相对投影装置的位置Dx的具体过程为：根据两图像采集装置预设的位置关系以及确定的匹配点，通过三角测量原理来计算该匹配点相对投影装置的位置Dx。

本发明还提出一种自适应大景深三维扫描系统，其包括：

一投影装置，用于向测量范围内的被测物体投射结构光图案组合；

两图像采集装置，分别设置在投影装置的两侧，用于采集投射到被测物体表面的变形的结构光图案；

数据处理装置，用于生成结构光组合，并将生成的结构光组合上传至投影装置；还根据两侧图像采集装置采集的结构光图案图像的灰度变化关系确定图像中的匹配点，并计算该匹配点相对投影装置的位置Dx，再根据位置Dx来上传新的结构光组合至投影装置。

在本发明的优选实施例中，所述图像采集装置内设有根据测量位置相对投影装置的距离来设定曝光时间的曝光单元和自动聚焦的变焦单元。

具体地，所述数据处理装置确定图像中的匹配点的过程如下：

A1，获取投影装置左侧的图像采集装置采集的结构光图案图像中像素点p位置对应的灰度值I_i；

A2，获取投影装置右侧的图像采集装置采集的结构光图案图像中像素点q位置对应的灰度值I′_i；

A3，构建灰度相关性系数的计算公式：其中，i＝1,2,……，n；

A4，计算并判断ρ是否大于预设的阈值，若ρ大于预设的阈值，则确定左侧图像采集装置采集的图像中的像素点p与右侧图像采集装置采集的图像中的像素点q为匹配点。

本发明的技术方案通过将大范围进行分层处理，根据分层情况预设与之层间测量范围相对应的结构光图案组合，结构光图案组合采用了带宽从大到小的结构光图案组成；投射任意一结构光图案组合到测量范围内的被测物体上，再从两侧采集投射到被测物体表面的变形的结构光图案，根据两侧采集的结构光图案图像的灰度变化关系确定图像中的匹配点，计算该匹配点相对投影装置的位置Dx；分析位置Dx处于哪一层间测量范围，根据该位置Dx来判断当前投射的结构光图案组合是否合适，从而选定下一组投射的结构光图案组合。同时，还通过层间测量范围来设定图像采集装置的曝光时间以及调整镜头的对焦范围，以便于为扫描系统提供更多的结构光信息。

与现有技术相比，本发明根据测量距离自动调整投射的结构光图案组合以及图像采集装置的曝光时间和焦距，有效提高扫描系统的测量精度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为本发明自适应大景深三维扫描方法的流程示意图；

图2为本发明自适应大景深三维扫描方法的实施示意图；

图3位本发明自适应大景深三维扫描系统的框架示意图；

本发明目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

本发明提出一种自适应大景深三维扫描方法。

参照图1，图1为本发明自适应大景深三维扫描方法的流程示意图。

如图1所示，在本发明实施例中，该自适应大景深三维扫描方法，其包括如下步骤：

S1，根据测量范围设定测量步长Δd，根据测量步长在测量范围标定若干个不同的测量位置P₁、P₂、……、P_n；其中，测量位置P₁相对投影装置100的位置最近，其次为P₂，以此类推，测量位置P_n相对投影装置100的位置最远。

在步骤S1中，测量步长Δd也可根据设定的准则来确定，如被测物体整体的高度为H，Δd＝H/c,c为一个整数，其是根据被测物体大小的来设定的，若被测物体越大，其测量范围越大，需要标定的测量位置越多，即c越大；若被测物体越小，其测量范围越小，需要标定的测量位置少，即c越小。通过设定测量步长Δd，以便将测量范围分为进行分层，将整个大的测量范围分为若干个不同的小测量方位，以便于预先设定结构光图案组合，提高测量效率。

S2，将N幅不同带宽的结构光图案按带宽从大到小依次排序，根据测量位置相对投影装置100的距离，预生成若干不同的结构光图案组合S1、S2、……Sn；其中，结构光图案组合S1对应测量范围(P₁，P₂)，结构光图案组合S2对应测量范围(P₂，P₃)，以此类推，结构光图案组合Sn对应大于测量位置P_n的测量范围。并且，结构光图案组合Sa中的每一结构光图案的带宽均大于结构光图案组合Sb中的每一结构光图案的带宽，a＜b。

在步骤S2中，通过根据测量位置来生成结构光图案组合，以方便后期直接根据测量位置来选择对应的结构光图案组合。

S3，通过投影装置100投射一结构光图案组合Sx到测量范围内的被测物体上，再通过投影装置100两侧的图像采集装置200采集投射到被测物体表面的变形的结构光图案。在根据两侧图像采集装置200采集的图像来寻找匹配点时，对于一些没有纹理或者特征不明显的被测物体，通常难以精确的找到匹配点，不能获得理想的测量效果。通过增加投影装置100向被测物体投射特定的结构光图案，有助于更快更精准的寻找到匹配点，提高测量的准确性。

在步骤S3中，两图像采集装置200的位置以及曝光时间是设定好的。两图像采集装置200在设定的位置以及光圈设置相同的情况下，可以采集到亮度适合的结构光图案；若采集的结构光图案的亮度不合适，则重新调整两图像采集装置的位置和光圈设置，直至能够采集到亮度适合的结构光图案为止。同时，初始状态下，曝光时间设定为最远测量距离下的最佳曝光时间。

S4，根据两侧图像采集装置200采集的结构光图案图像的灰度变化关系确定图像中的匹配点，计算该匹配点相对投影装置100的位置Dx。具体地，在步骤S4中，确定匹配点的过程如下：

S41，获取投影装置100左侧的图像采集装置200采集的结构光图案图像中像素点p位置对应的灰度值I_i；

S42，获取投影装置100右侧的图像采集装置200采集的结构光图案图像中像素点q位置对应的灰度值I′_i；

S43，构建灰度相关性系数的计算公式：其中，i＝1,2,……，n；

S44，计算并判断ρ是否大于预设的阈值，若ρ大于预设的阈值，则确定左侧图像采集装置200采集的图像中的像素点p与右侧图像采集装置200采集的图像中的像素点q为匹配点，即像素点p与像素点q之间具有最大的相似度。

具体地，在步骤S4中，计算该匹配点相对投影装置100的位置Dx是根据两图像采集装置200预设的位置关系以及确定的匹配点，通过三角测量原理来计算得到的。

S5，判断所述位置Dx是否位于结构光图案组合Sx所对应的测量范围(P_x，P_X+1)，若位置Dx位于测量范围(P_x，P_X+1)内，则继续向被测物体投射结构光图案组合Sx；若位置Dx不在测量范围(P_x，P_X+1)内，则找出Dx所在的测量范围(P′_x，P′_X+1)，向被测物体投射测量范围(P′_x，P′_X+1)对应的结构光图案组合S′x。

在步骤S5中，位置Dx远离投影装置100时，采用较小带宽的结构光图案组合，否则采用较大带宽的结构光图案组合，以便在不同的测量距离获得最优的灰度变化信息。

在本发明的优选实施例中，该方法还包括：S6，根据测量位置相对投影装置100的距离，设定图像采集装置200的曝光时间以及图像采集装置200的焦距。

同时根据测量距离调整采集装置的曝光时间，当被测物体远离图像采集装置200时，增加曝光时间，否则减小曝光时间。由此，以保证当投射亮度随距离增大而降低的情况下，仍旧可以才采集到亮度适当的结构光图案，从而可以获得更高的测量精度。

本发明的技术方案通过将大范围进行分层处理，根据分层情况预设与之层间测量范围相对应的结构光图案组合，结构光图案组合采用了带宽从大到小的结构光图案组成；投射任意一结构光图案组合到测量范围内的被测物体上，再从两侧采集投射到被测物体表面的变形的结构光图案，根据两侧采集的结构光图案图像的灰度变化关系确定图像中的匹配点，计算该匹配点相对投影装置100的位置Dx；分析位置Dx处于哪一层间测量范围，根据该位置Dx来判断当前投射的结构光图案组合是否合适，若当前投射的结构光图案组合合适，则下次继续投射结构光图案组合；若不合适则根据位置Dx选定下一组投射的结构光图案组合。同时，还通过层间测量范围来设定图像采集装置200的曝光时间以及焦距，以便于为扫描系统提供更多的结构光信息。

与现有技术相比，本发明根据测量距离自动调整投射的结构光图案组合以及图像采集装置200的曝光时间和焦距，有效提高扫描系统的测量精度。

为更好的实施本发明提供的方法，以下做进一步说明：

将投影装置100以及两图像采集装置200固定好，扫描工具箱101内的元件位置，测量范围即为工具箱101的内部空间，被测物体102即工具箱101内的元件。

如图2所示，工具箱101的高度H，根据工具箱101的设定测量步长Δd，标定工具箱101中三个测量位置P₁、P₂、P₃。

预先生成带宽为w₁、w₂、w₃、……、w_N的N幅结构光图案，其中，w₁>w₂>w_3>.……>w_N。根据标定的工具箱101中三个测量位置P₁、P₂、P₃，分别生成三个结构光图案组合S1、S2、S3。首先，投射结构光图案组合S1，两个图像采集装置200设定的曝光时间为T1。根据两侧图像采集装置200采集的结构光图案图像的灰度变化关系确定图像中的匹配点，计算该匹配点相对投影装置100的位置Dx。如果Dx位于P₁和P₂之间，则下次继续投射结构光图案组合S1，曝光时间T1保持不变；如果Dx位于P₂和P₃之间，则下次投射时将结构光图案组合S1更新为结构光图案组合S2，并采用更长的曝光时间T2(相当于增加曝光时间)并调整对焦焦距。由此保证随着距离的增加，在同样的测量范围内，特别是图像采集装置200范围小于投影范围时，可以为采集系统提供更多的结构光信息，提高测量精度。同时调整图像采集装置200的曝光时间，以在测量距离的增加导致投影亮度减弱、图像质量降低时，通过提高曝光时间来保证可以拍摄到质量好的结构光图案，以此提高测量准确性。最终实现根据当前测量距离的变化调整投射的结构光图组合和图像采集装置200的曝光时间。

本发明提出一种自适应大景深三维扫描系统。

参照图3，图3为本发明自适应大景深三维扫描系统的框架示意图。

如图3所示，该自适应大景深三维扫描系统包括：

一投影装置100，用于向测量范围内的被测物体投射结构光图案组合；

两图像采集装置200，分别设置在投影装置100的两侧，用于采集投射到被测物体表面的变形的结构光图案；

数据处理装置300，用于生成结构光组合，并将生成的结构光组合上传至投影装置100；还根据两侧图像采集装置200采集的结构光图案图像的灰度变化关系确定图像中的匹配点，并计算该匹配点相对投影装置100的位置Dx，再根据位置Dx来上传新的结构光组合至投影装置100。

测量前，先根据测量范围设定测量步长Δd，并根据测量步长在测量范围标定若干个不同的测量位置P₁、P₂、……、P_n，再将N幅不同带宽的结构光图案按带宽从大到小依次上传到数据处理装置300，由数据处理装置300生成若干组与测量位置相对应的结构光图案组合S1、S2、……Sn。

测量时，通过数据处理装置300将一组结构光图案组合Sx发送至投影装置100，由投影装置100将结构光图案组合Sx投射到向测量范围内的被测物体上；然后，通过投影装置100两侧的图像采集装置200采集投射到被测物体表面的变形的结构光图案；再然后，由两图像采集装置200将采集的变形的结构光图案集合回传至数据处理装置300，由数据处理装置300根据两侧采集的结构光图案图像的灰度变化关系确定图像中的匹配点，计算该匹配点相对投影装置100的位置Dx，并分析位置Dx处于哪一层间测量范围，从而根据该位置Dx来判断当前投射的结构光图案组合是否合适。若合适则投影装置100下次继续投射结构光图案组合；若不合适则由数据处理装置300根据位置Dx，将位置Dx对应的测量范围所对应的结构光组合上传至投影装置100，由投影装置100向测量范围内的被测物体投射新的结构光组合。

具体地，所述数据处理装置300确定图像中的匹配点的过程如下：

A1，获取投影装置100左侧的图像采集装置200采集的结构光图案图像中像素点p位置对应的灰度值I_i；

A2，获取投影装置100左侧的图像采集装置200采集的结构光图案图像中像素点q位置对应的灰度值I′_i；

A3，构建灰度相关性系数的计算公式：其中，i＝1,2,……，n；

A4，计算并判断ρ是否大于预设的阈值，若ρ大于预设的阈值，则确定左侧图像采集装置200采集的图像中的像素点p与右侧图像采集装置200采集的图像中的像素点q为匹配点。

在本发明的优选实施例中，所述图像采集装置200内设有根据测量位置相对投影装置100的位置来设定曝光时间曝光单元和自动聚焦的变焦单元。通过层间测量范围来设定图像采集装置200的曝光时间以及焦距，以便于为扫描系统提供更多的结构光信息。

与现有技术相比，本发明提供的自适应大景深三维扫描系统可以根据测量距离自动调整投射的结构光图案组合以及图像采集装置200的曝光时间，有效提高扫描系统的测量精度。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (7)

1.一种自适应大景深三维扫描方法，其特征在于，包括如下步骤：

S1，根据测量范围设定测量步长Δd，根据测量步长在测量范围标定若干个不同的测量位置P₁、P₂、……、P_n；其中，测量位置P₁相对投影装置的位置最近，测量位置P_n相对投影装置的位置最远；

S2，将N幅不同带宽的结构光图案按带宽从大到小依次排序，根据测量位置相对投影装置的距离，预生成若干不同的结构光图案组合S1、S2、……Sn；其中，结构光图案组合S1对应测量范围(P₁，P₂)，结构光图案组合S2对应测量范围(P₂，P₃)，以此类推，结构光图案组合Sn对应大于测量位置P_n的测量范围；结构光图案组合Sa中的每一结构光图案的带宽均大于结构光图案组合Sb中的每一结构光图案的带宽，a＜b；

S3，通过投影装置投射一结构光图案组合Sx到测量范围内的被测物体上，再通过投影装置两侧的图像采集装置采集投射到被测物体表面的变形的结构光图案；

S4，根据两侧图像采集装置采集的结构光图案图像的灰度变化关系确定图像中的匹配点，计算该匹配点相对投影装置的位置Dx；

S5，判断所述位置Dx是否位于结构光图案组合Sx所对应的测量范围(P_x，P_X+1)，

若位置Dx位于测量范围(P_x，P_X+1)内，则继续向被测物体投射结构光图案组合Sx；

若位置Dx不在测量范围(P_x，P_X+1)内，则找出Dx所在的测量范围(P′_x，P′_X+1)，向被测物体投射测量范围(P′_x，P′_X+1)对应的结构光图案组合S′x。

2.如权利要求1所述的自适应大景深三维扫描方法，其特征在于，还包括：

S6，根据测量位置相对投影装置的距离，设定图像采集装置的曝光时间。

3.如权利要求1所述的自适应大景深三维扫描方法，其特征在于，所述步骤S4中，根据两侧图像采集装置采集的结构光图案图像的灰度变化关系确定图像中的匹配点的过程如下：

S41，获取投影装置左侧的图像采集装置采集的结构光图案图像中像素点p位置对应的灰度值I_i；

S42，获取投影装置右侧的图像采集装置采集的结构光图案图像中像素点q位置对应的灰度值I′_i；

S43，构建灰度相关性系数的计算公式：其中，i＝1,2,……，n；

S44，计算并判断ρ是否大于预设的阈值，若ρ大于预设的阈值，则确定左侧图像采集装置采集的图像中的像素点p与右侧图像采集装置采集的图像中的像素点q为匹配点。

4.如权利要求1所述的自适应大景深三维扫描方法，其特征在于，所述步骤S4中，计算该匹配点相对投影装置的位置Dx的具体过程为：

根据两图像采集装置预设的位置关系以及确定的匹配点，通过三角测量原理来计算该匹配点相对投影装置的位置Dx。

5.一种自适应大景深三维扫描系统，其特征在于，包括：

一投影装置，用于向测量范围内的被测物体投射结构光图案组合；

两图像采集装置，分别设置在投影装置的两侧，用于采集投射到被测物体表面的变形的结构光图案；

数据处理装置，用于生成结构光组合，并将生成的结构光组合上传至投影装置；还根据两侧图像采集装置采集的结构光图案图像的灰度变化关系确定图像中的匹配点，并计算该匹配点相对投影装置的位置Dx，再根据位置Dx来上传新的结构光组合至投影装置。

6.如权利要求5所述的自适应大景深三维扫描系统，其特征在于，所述图像采集装置内设有根据测量位置相对投影装置的距离来设定曝光时间曝光单元和自动聚焦的变焦单元。

7.如权利要求5所述的自适应大景深三维扫描系统，其特征在于，所述数据处理装置确定图像中的匹配点的过程如下：

A1，获取投影装置左侧的图像采集装置采集的结构光图案图像中像素点p位置对应的灰度值I_i；

A2，获取投影装置右侧的图像采集装置采集的结构光图案图像中像素点q位置对应的灰度值I′_i；

A3，构建灰度相关性系数的计算公式：其中，i＝1,2,……，n；

A4，计算并判断ρ是否大于预设的阈值，若ρ大于预设的阈值，则确定左侧图像采集装置采集的图像中的像素点p与右侧图像采集装置采集的图像中的像素点q为匹配点。