CN112013786A - 一种大视场深度相机及三维信息探测方法 - Google Patents

Abstract

本发明公开了一种大视场深度相机及三维信息探测方法，涉及机器视觉技术领域。大视场深度相机包括并列设置的第一子深度相机和第二子深度相机，第一子深度相机包括第一摄像头和第一投影仪，第二子深度相机包括第二摄像头和第二投影仪，第一投影仪的投影范围与第二投影仪的投影范围部分重合，第一摄像头的拍摄范围与第二摄像头的拍摄范围部分重合，且第一摄像头的拍摄范围和第二摄像头的拍摄范围均完全覆盖第一投影仪和第二投影仪的总投影范围。上述大视场深度相机的总探测视场可调且能够实现最大化，结构紧凑、稳定，测量精度高。应用于上述大视场深度相机的三维信息探测方法可以获得较大的探测视场，且测量的待测物三维信息的精度较高。

Description

一种大视场深度相机及三维信息探测方法

技术领域

本发明涉及机器视觉技术领域，具体而言，涉及一种大视场深度相机及三维信息探测方法。

背景技术

目前，三维深度相机的测量技术方案主要分为飞行时间方案、散斑结构光方案和条纹结构光方案。前两种技术方案测量速度快，但是精度较差，而条纹结构光方案不仅测量精度高，且得到的深度图像还具有较高的分辨率。

现有技术中，基于条纹结构光方案实施方法只有在投影仪和摄像头的重叠视场区域，才可以进行三维点云的计算获取。因此，这种三维深度相机的探测视场受限于摄像头、投影仪的视场，其探测范围有限。对于大型待测目标，需要大视场的三维深度相机，仅用单一深度相机无法实现这种探测需求。利用多个深度相机进行视场拼接可以获得大视场探测能力，然而这需要预先标定它们之间的位姿关系，当外界环境轻微变化后，预先标定的结果就不再准确，进而严重影响了三维点云的获取精度。

发明内容

本发明的目的在于提供一种大视场深度相机及三维信息探测方法，能够稳定、准确地进行大视场三维探测。

本发明的实施例是这样实现的：

本发明实施例的一方面，提供一种大视场深度相机，包括并列设置的第一子深度相机和第二子深度相机，第一子深度相机包括第一摄像头和第一投影仪，第二子深度相机包括第二摄像头和第二投影仪，第一投影仪的投影范围与第二投影仪的投影范围部分重合，第一摄像头的拍摄范围与第二摄像头的拍摄范围部分重合，且第一摄像头的拍摄范围和第二摄像头的拍摄范围均完全覆盖第一投影仪和第二投影仪的总投影范围。

在本发明可选的实施例中，上述第一摄像头、第一投影仪、第二投影仪和第二摄像头依次设置，第一投影仪朝向第一摄像头偏转，第二投影仪朝向第二摄像头偏转，第一摄像头朝向第一投影仪偏转，第二摄像头朝向第二投影仪偏转。

在本发明可选的实施例中，上述大视场深度相机还包括相机壳体，第一子深度相机和第二子深度相机固定设置在相机壳体内。

本发明实施例的另一方面，提供一种三维信息探测方法，应用于上述大视场深度相机，方法包括：分别获取第一子深度相机和第二子深度相机的内参数据和外参数据，外参数据包括第一子深度相机和第二子深度相机的相对位置关系、第一摄像头和第一投影仪的相对位置关系以及第二摄像头和第二投影仪的相对位置关系；分别获取第一摄像头拍摄的第一照片序列和第二摄像头拍摄的第二照片序列；根据第一照片序列，利用第一结构光条纹图片序列得到第一投影仪以及第一摄像头之间的像素坐标对应关系，得到待测物的第一三维形貌信息；根据第二照片序列，利用第二结构光条纹图片序列得到第二投影仪以及第二摄像头之间的像素坐标对应关系，得到待测物的第二三维形貌信息；根据第一子深度相机和第二子深度相机的外参数据对第一三维形貌信息或第二三维形貌信息进行转换以得到待测物的三维形貌信息。

在本发明可选的实施例中，上述分别获取第一摄像头拍摄的第一照片序列和第二摄像头拍摄的第二照片序列包括：第一照片序列包括接收第一结构光条纹图片序列的待测物的图像信息；第二照片序列包括接收第二结构光条纹图片序列的待测物的图像信息。

在本发明可选的实施例中，上述根据第一照片序列，利用第一结构光条纹图片序列得到第一投影仪以及第一摄像头之间的像素坐标对应关系，得到待测物的第一三维形貌信息包括：第一照片序列中包含第一投影仪的像素坐标，根据第一照片序列分别解算待测物各空间点在第一投影仪的像素坐标和第一摄像头的像素坐标中的同名点，得到待测物的第一三维形貌信息。

在本发明可选的实施例中，上述根据第二照片序列，利用第二结构光条纹图片序列得到第二投影仪以及第二摄像头之间的像素坐标对应关系，得到待测物的第二三维形貌信息包括：第二照片序列中包含第二投影仪的像素坐标，根据第二照片序列分别解算待测物各空间点在第二投影仪的像素坐标和第二摄像头的像素坐标中的同名点，得到待测物的第二三维形貌信息。

在本发明可选的实施例中，上述根据第一子深度相机和第二子深度相机的外参数据对第一三维形貌信息或第二三维形貌信息进行转换以得到待测物的三维形貌信息之前，方法还包括：根据第一照片序列和第二照片序列中重叠视场区域的待测物的空间点坐标信息得到第一子深度相机和第二子深度相机的实时外参信息；根据实时外参信息对外参信息进行修正。

在本发明可选的实施例中，上述根据第一子深度相机和第二子深度相机的外参数据对第一三维形貌信息或第二三维形貌信息进行转换以得到待测物的三维形貌信息包括：根据第一子深度相机和第二子深度相机的外参数据，将第一三维形貌信息进行坐标系转换，并与第二三维形貌信息拼接，或者，将第二三维形貌信息进行坐标系转换，并与第一三维形貌信息拼接，以得到待测物的三维形貌信息。

本发明实施例的有益效果包括：

本发明实施例提供的大视场深度相机，包括并列设置的第一子深度相机和第二子深度相机，第一子深度相机包括第一摄像头和第一投影仪，第二子深度相机包括第二摄像头和第二投影仪，第一投影仪的投影范围与第二投影仪的投影范围部分重合，第一摄像头的拍摄范围与第二摄像头的拍摄范围部分重合，且第一摄像头的拍摄范围和第二摄像头的拍摄范围均完全覆盖第一投影仪和第二投影仪的总投影范围。上述大视场深度相机的总探测视场可调且能够实现最大化，结构紧凑、稳定，测量精度高。

本发明实施例还提供一种三维信息探测方法，应用于上述大视场深度相机，通过第一子深度相机和第二子深度相机分别对待测物进行探测，获得待测物的第一三维形貌信息和第二三维形貌信息，然后根据第一子深度相机和第二子深度相机的外参数据将第一三维形貌信息或第二三维形貌信息转换后与未转换的第一三维形貌信息或第二三维形貌信息拼接，最后获得待测物的三维形貌信息。待测物的第一三维形貌信息或第二三维形貌信息虽然没有包含待测物的全部形貌信息，但两者在转换拼接后即可包含待测物的全部形貌信息。上述方法可以获得较大的探测视场，且测量的待测物三维信息的精度较高。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例提供的大视场深度相机的结构示意图；

图2为本发明实施例提供的三维信息探测方法的流程图之一；

图3为本发明实施例提供的三维信息探测方法的流程图之二；

图4为本发明实施例提供的三维信息探测方法的流程图之三。

图标：100-大视场深度相机；110-第一子深度相机；111-第一摄像头；112-第一投影仪；120-第二子深度相机；121-第二摄像头；122-第二投影仪；130-相机壳体。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

在本发明的描述中，需要说明的是，术语“中心”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

图1为本发明实施例提供的大视场深度相机100的结构示意图，请参照图1，本实施例提供一种大视场深度相机100，包括并列设置的第一子深度相机110和第二子深度相机120，第一子深度相机110包括第一摄像头111和第一投影仪112，第二子深度相机120包括第二摄像头121和第二投影仪122，第一投影仪112的投影范围与第二投影仪122的投影范围部分重合，第一摄像头111的拍摄范围与第二摄像头121的拍摄范围部分重合，且第一摄像头111的拍摄范围和第二摄像头121的拍摄范围均完全覆盖第一投影仪112和第二投影仪122的总投影范围。上述大视场深度相机100的总探测视场可调且能够实现最大化，结构紧凑、稳定，测量精度高。

大视场深度相机100由两个子深度相机(即第一子深度相机110和第二子深度相机120)构成，一个子深度相机由一个摄像头和一个投影仪构成，一个子深度相机的摄像头、投影仪的重叠视场区域，即为该子深度相机的探测视场，两个子深度相机探测视场的并集，即为大视场深度相机100的总探测视场。通过分别调整两个子深度相机内投影仪和摄像头的相对位置关系，以及两个子深度相机之间的相对位置关系，使得两个子深度相机在并排放置方式下获得最大化的总探测视场。

可选的，第一摄像头111、第一投影仪112、第二投影仪122和第二摄像头121依次设置，第一投影仪112朝向第一摄像头111偏转，第二投影仪122朝向第二摄像头121偏转，第一摄像头111朝向第一投影仪112偏转，第二摄像头121朝向第二投影仪122偏转。

第一投影仪112和第二投影仪122设置在第一摄像头111和第二摄像头121之间，第一投影仪112朝向第一摄像头111偏转，第二投影仪122朝向第二摄像头121偏转，即第一投影仪112和第二投影仪122的投影侧相互远离且呈预设角度，如此，既可以保证第一投影仪112的投影范围与第二投影仪122的投影范围部分重合，也可以尽量获得最大的总投影范围；第一摄像头111朝向第一投影仪112偏转，第二摄像头121朝向第二投影仪122偏转，即第一摄像头111和第二摄像头121的拍摄侧相互靠近且呈预设角度，如此，即可以保证第一摄像头111的拍摄范围与第二摄像头121的拍摄范围部分重合，且第一摄像头111和第二摄像头121的总拍摄范围完全覆盖第一投影仪112和第二投影仪122的总投影范围。

可选的，大视场深度相机100还包括相机壳体130，第一子深度相机110和第二子深度相机120固定设置在相机壳体130内。

将各自放置的第一子深度相机110和第二子深度相机120紧凑地固定、封装在相机壳体130中，可以大幅度提升大视场深度相机100的稳定性，有效保证了测量精度。

图2为本发明实施例提供的三维信息探测方法的流程图之一，请参照图2，本实施例还提供一种三维信息探测方法，应用于上述大视场深度相机100，方法包括：

S100：分别获取第一子深度相机和第二子深度相机的内参数据和外参数据，外参数据包括第一子深度相机和第二子深度相机的相对位置关系、第一摄像头和第一投影仪的相对位置关系以及第二摄像头和第二投影仪的相对位置关系。

其中，内参数据是指第一摄像头111、第一投影仪112、第二摄像头121和第二投影仪122的焦距、分辨率等参数。

根据第一子深度相机110和第二子深度相机120的相对位置关系可以获得第一子深度相机110和第二子深度相机120之间的旋转矩阵和平移矩阵。

S110：分别获取第一摄像头拍摄的第一照片序列和第二摄像头拍摄的第二照片序列。

S120：根据第一照片序列，利用第一结构光条纹图片序列得到第一投影仪以及第一摄像头之间的像素坐标对应关系，得到待测物的第一三维形貌信息。

S130：根据第二照片序列，利用第二结构光条纹图片序列得到第二投影仪以及第二摄像头之间的像素坐标对应关系，得到待测物的第二三维形貌信息。

S140：根据第一子深度相机和第二子深度相机的外参数据对第一三维形貌信息或第二三维形貌信息进行转换以得到待测物的三维形貌信息。

本发明实施例提供的三维信息探测方法，通过第一子深度相机110和第二子深度相机120分别对待测物进行探测，获得待测物的第一三维形貌信息和第二三维形貌信息，然后根据第一子深度相机110和第二子深度相机120的外参数据将第一三维形貌信息或第二三维形貌信息转换后与未转换的第一三维形貌信息或第二三维形貌信息拼接，最后获得待测物的三维形貌信息。待测物的第一三维形貌信息或第二三维形貌信息虽然没有包含待测物的全部形貌信息，但两者在转换拼接后即可包含待测物的全部形貌信息。上述方法可以获得较大的探测视场，且测量的待测物三维信息的精度较高。

图3为本发明实施例提供的三维信息探测方法的流程图之二，请参照图3，可选的，分别获取第一摄像头拍摄的第一照片序列和第二摄像头拍摄的第二照片序列包括：

S111：第一照片序列包括接收第一结构光条纹图片序列的待测物的图像信息。

具体的，第一投影仪112向待测物投射第一结构光条纹图片序列，第一摄像头111拍摄第一结构光条纹图片序列投射过程中的待测物的图像信息。

S112：第二照片序列包括接收第二结构光条纹图片序列的待测物的图像信息。

具体的，第二投影仪122向待测物投射第二结构光条纹图片序列，第二摄像头121拍摄第二结构光条纹图片序列投射过程中的待测物的图像信息。

应理解，由于第一投影仪112的投影范围与第二投影仪122的投影范围部分重合，第一摄像头111的拍摄范围与第二摄像头121的拍摄范围部分重合，故第一照片序列还包括部分接收第二结构光条纹图片序列的待测物的图像信息，第二照片序列还包括部分接收第一结构光条纹图片序列的待测物的图像信息。

可选的，根据第一照片序列，利用第一结构光条纹图片序列得到第一投影仪112以及第一摄像头111之间的像素坐标对应关系，得到待测物的第一三维形貌信息包括：

第一照片序列中包含第一投影仪112的像素坐标，根据第一照片序列分别解算待测物各空间点在第一投影仪112的像素坐标和第一摄像头111的像素坐标中的同名点，得到待测物的第一三维形貌信息。

同名点是指待测物表面上的某一空间点在摄像头像素坐标系与投影仪像素坐标系下的映射点。对于待测物表面上的某一空间点，它在第一摄像头111像素坐标系中的坐标可以直接通过第一照片序列获得。由于第一照片序列中包含了第一结构光条纹图片序列，因此，可以通过第一照片序列解算待测物表面上的某一空间点所对应的第一投影仪112的像素坐标。依次解算待测物表面上的所有空间点的第一投影仪112的像素坐标和第一摄像头111的像素坐标，即可获得待测物的第一三维形貌信息。

可选的，根据第二照片序列，利用第二结构光条纹图片序列得到第二投影仪以及第二摄像头之间的像素坐标对应关系，得到待测物的第二三维形貌信息包括：

第二照片序列中包含第二投影仪122的像素坐标，根据第二照片序列分别解算待测物各空间点在第二投影仪122的像素坐标和第二摄像头121的像素坐标中的同名点，得到待测物的第二三维形貌信息。

对于待测物表面上的某一空间点，它在第二摄像头121像素坐标系中的坐标可以直接通过第二照片序列获得。由于第二照片序列中包含了第二结构光条纹图片序列，因此，可以通过第二照片序列解算待测物表面上的某一空间点所对应的第二投影仪122的像素坐标。依次解算待测物表面上的所有空间点的第二投影仪122的像素坐标和第二摄像头121的像素坐标，即可获得待测物的第二三维形貌信息。

图4为本发明实施例提供的三维信息探测方法的流程图之三，请参照图4，可选的，根据第一子深度相机和第二子深度相机的外参数据对第一三维形貌信息或第二三维形貌信息进行转换以得到待测物的三维形貌信息之前，方法还包括：

S150：根据第一照片序列和第二照片序列中重叠视场区域的待测物的空间点坐标信息得到第一子深度相机和第二子深度相机的实时外参信息；

S160：根据实时外参信息对外参信息进行修正。

任一子深度相机中的摄像头，其视场区域不仅完全覆盖了该子深度相机中的投影仪视场，也覆盖了另一个子深度相机的投影仪视场，这使得两个子深度相机存在交叠的探测视场。在交叠探测视场区域内提取特征点，令两个子深度相机同时得到该特征点的三维坐标信息，进而可以求解出两个子深度相机的旋转矩阵、平移矩阵。增加交叠视场区域，并在交叠视场区域内提取大量特征点作为样本，可以显著提升标定的旋转矩阵、平移矩阵准确度。

可选的，根据第一子深度相机和第二子深度相机的外参数据对第一三维形貌信息或第二三维形貌信息进行转换以得到待测物的三维形貌信息包括：

根据第一子深度相机110和第二子深度相机120的外参数据，将第一三维形貌信息进行坐标系转换，并与第二三维形貌信息拼接，或者，将第二三维形貌信息进行坐标系转换，并与第一三维形貌信息拼接，以得到待测物的三维形貌信息。

利用已经获得的旋转矩阵、平移矩阵，将第一三维形貌信息或第二三维形貌信息之一转换后与未转换的第一三维形貌信息或第二三维形貌信息拼接，即可得到待测物的三维形貌信息。该三维信息探测方法测得的待测物的三维形貌信息是第一子深度相机110测得的第一三维形貌信息和第二子深度相机120测得的第二三维形貌信息的并集，因此，该三维信息探测方法所对应的探测范围更大。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种大视场深度相机，其特征在于，包括并列设置的第一子深度相机和第二子深度相机，所述第一子深度相机包括第一摄像头和第一投影仪，所述第二子深度相机包括第二摄像头和第二投影仪，所述第一投影仪的投影范围与所述第二投影仪的投影范围部分重合，所述第一摄像头的拍摄范围与所述第二摄像头的拍摄范围部分重合，且所述第一摄像头的拍摄范围和所述第二摄像头的拍摄范围均完全覆盖所述第一投影仪和所述第二投影仪的总投影范围。

2.根据权利要求1所述的大视场深度相机，其特征在于，所述第一摄像头、所述第一投影仪、所述第二投影仪和所述第二摄像头依次设置，所述第一投影仪朝向所述第一摄像头偏转，所述第二投影仪朝向所述第二摄像头偏转，所述第一摄像头朝向所述第一投影仪偏转，所述第二摄像头朝向所述第二投影仪偏转。

3.根据权利要求2所述的大视场深度相机，其特征在于，还包括相机壳体，所述第一子深度相机和所述第二子深度相机固定设置在所述相机壳体内。

4.一种三维信息探测方法，应用于如权利要求1-3任一项所述的大视场深度相机，其特征在于，所述方法包括：

分别获取第一子深度相机和第二子深度相机的内参数据和外参数据，所述外参数据包括所述第一子深度相机和所述第二子深度相机的相对位置关系、第一摄像头和第一投影仪的相对位置关系以及第二摄像头和第二投影仪的相对位置关系；

分别获取所述第一摄像头拍摄的第一照片序列和所述第二摄像头拍摄的第二照片序列；

根据所述第一照片序列，利用第一结构光条纹图片序列得到所述第一投影仪以及所述第一摄像头之间的像素坐标对应关系，得到待测物的第一三维形貌信息；

根据所述第二照片序列，利用第二结构光条纹图片序列得到所述第二投影仪以及所述第二摄像头之间的像素坐标对应关系，得到所述待测物的第二三维形貌信息；

根据所述第一子深度相机和所述第二子深度相机的外参数据对所述第一三维形貌信息或所述第二三维形貌信息进行转换以得到所述待测物的三维形貌信息。

5.根据权利要求4所述的三维信息探测方法，其特征在于，所述分别获取所述第一摄像头拍摄的第一照片序列和所述第二摄像头拍摄的第二照片序列包括：

所述第一照片序列包括接收所述第一结构光条纹图片序列的所述待测物的图像信息；

所述第二照片序列包括接收所述第二结构光条纹图片序列的所述待测物的图像信息。

6.根据权利要求4所述的三维信息探测方法，其特征在于，所述根据所述第一照片序列，利用第一结构光条纹图片序列得到所述第一投影仪以及所述第一摄像头之间的像素坐标对应关系，得到所述待测物的第一三维形貌信息包括：

所述第一照片序列中包含所述第一投影仪的像素坐标，根据所述第一照片序列分别解算所述待测物各空间点在所述第一投影仪的像素坐标和所述第一摄像头的像素坐标中的同名点，得到所述待测物的第一三维形貌信息。

7.根据权利要求4所述的三维信息探测方法，其特征在于，所述根据所述第二照片序列，利用利用第二结构光条纹图片序列得到所述第二投影仪以及所述第二摄像头之间的像素坐标对应关系，得到所述待测物的第二三维形貌信息包括：

所述第二照片序列中包含所述第二投影仪的像素坐标，根据所述第二照片序列分别解算所述待测物各空间点在所述第二投影仪的像素坐标和所述第二摄像头的像素坐标中的同名点，得到所述待测物的第二三维形貌信息。

8.根据权利要求4所述的三维信息探测方法，其特征在于，所述根据所述第一子深度相机和所述第二子深度相机的外参数据对所述第一三维形貌信息或所述第二三维形貌信息进行转换以得到所述待测物的三维形貌信息之前，所述方法还包括：

根据所述第一照片序列和所述第二照片序列中重叠视场区域的所述待测物的空间点坐标信息得到所述第一子深度相机和所述第二子深度相机的实时外参信息；

根据所述实时外参信息对所述外参信息进行修正。

9.根据权利要求4所述的三维信息探测方法，其特征在于，所述根据所述第一子深度相机和所述第二子深度相机的外参数据对所述第一三维形貌信息或所述第二三维形貌信息进行转换以得到所述待测物的三维形貌信息包括：

根据所述第一子深度相机和所述第二子深度相机的外参数据，将所述第一三维形貌信息进行坐标系转换，并与所述第二三维形貌信息拼接，或者，将所述第二三维形貌信息进行坐标系转换，并与所述第一三维形貌信息拼接，以得到所述待测物的三维形貌信息。

Images