CN110487206B - 一种测量孔探仪、数据处理方法及装置 - Google Patents

Abstract

本发明提供了一种测量孔探仪、数据处理方法及装置，该测量孔探仪包括：显示设备、与显示设备电连接的信号传输设备、设置于信号传输设备自由端的探头；其中，探头包括：探头壳体，探头壳体形成一容置腔；固定于容置腔内的第一视差深度摄像头、第二视差深度摄像头和彩色影像摄像头，第一视差深度摄像头、第二视差深度摄像头和彩色影像摄像头两两相切设置，且分别与信号传输设备电连接；设置于容置腔内的照明光纤，照明光纤设置于相邻的摄像头之间。本发明实施例通过两个视差深度摄像头采集到的深度数据来修正彩色影像摄像头采集的图像数据，生成准确的三维测量数据，提高测量孔探仪的测量精度。

Description

一种测量孔探仪、数据处理方法及装置

技术领域

本发明涉及探测技术领域，尤其涉及一种测量孔探仪、数据处理方法及装置。

背景技术

孔探仪，从字面上看是指通过孔洞进行探测检查的仪器，其功能是能对弯曲管道深处探查，能观察不能直视到的部位，能在密封空腔内观察内部空间结构与状态，能实现远距离观察与操作。孔探仪主要用于汽车、航空发动机、管道、机械零件、电力、石油、化工等，可在不需拆卸或破坏组装及设备停止运行的情况下实现无损检测，广泛应用于航空、汽车、船舶、电气、化学、电力、煤气、原子能、土木建筑等现代核心工业的各个部门。

立体视觉的孔探仪在工业检测中的应用越来越广泛，可实现被测工件的三维测量，从而使得工作人员能够直接进行损伤评估。但是，现有的孔探仪的测量精度较差。

发明内容

本发明提供一种测量孔探仪、数据处理方法及装置，解决了现有立体孔探仪的三维测量精度差的问题。

第一方面，本发明的实施例提供了一种测量孔探仪，包括：显示设备、与显示设备电连接的信号传输设备、设置于信号传输设备自由端的探头；其中，探头包括：

探头壳体，探头壳体形成一容置腔；

固定于容置腔内的第一视差深度摄像头、第二视差深度摄像头和彩色影像摄像头，第一视差深度摄像头、第二视差深度摄像头和彩色影像摄像头两两相切设置，且分别与信号传输设备电连接；

设置于容置腔内的照明光纤，照明光纤设置于相邻的摄像头之间。

第二方面，本发明的实施例还提供了一种数据处理方法，应用于上述的测量孔探仪，该方法包括：

根据第一视差深度摄像头和第二视差深度摄像头采集的图像数据，形成视差数据；

根据视差数据和彩色影像摄像头的初始标定数据，形成深度数据；

根据深度数据和初始标定数据的位置关系，计算基于摄像头的统一坐标系的3维数据；

根据统一坐标系的3维数据，生成彩色影像摄像头视野内各个像素的3维云图。

第三方面，本发明的实施例还提供了一种数据处理装置，应用于桑述的测量孔探仪，该装置包括：

第一计算模块，用于根据第一视差深度摄像头和第二视差深度摄像头采集的图像数据，形成视差数据；

第二计算模块，用于根据视差数据和彩色影像摄像头的初始标定数据，形成深度数据；

第三计算模块，用于根据深度数据和初始标定数据的位置关系，计算基于摄像头的统一坐标系的3维数据；

生成模块，用于根据统一坐标系的3维数据，生成彩色影像摄像头视野内各个像素的3维云图。

本发明的上述技术方案的有益效果是：通过第一视差深度摄像头和第二视差深度摄像头采集到的深度数据来修正彩色影像摄像头采集的图像数据，生成准确的三维测量数据，提高测量孔探仪的测量精度。

附图说明

图1表示本发明实施例的测量孔探仪的结构示意图；

图2表示本发明实施例的数据处理方法流程示意图；

图3表示本发明实施例的数据处理装置的模块结构示意图。

其中，图中：

1、探头壳体，2、第一视差深度摄像头，3、第二视差深度摄像头，4、彩色影像摄像头，5、照明光纤；

11、容置腔。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。在下面的描述中，提供诸如具体的配置和组件的特定细节仅仅是为了帮助全面理解本发明的实施例。因此，本领域技术人员应该清楚，可以对这里描述的实施例进行各种改变和修改而不脱离本发明的范围和精神。另外，为了清楚和简洁，省略了对已知功能和构造的描述。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接或可以互相通讯；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正下方和斜下方，或仅仅表示第一特征水平高度小于第二特征。

下文的公开提供了许多不同的实施方式或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本发明。此外，本发明可以在不同例子中重复参考数字和/或参考字母，这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施方式和/或设置之间的关系。此外，本发明提供了的各种特定的工艺和材料的例子，但是本领域普通技术人员可以意识到其他工艺的应用和/或其他材料的使用。

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

如图1所示，本发明的实施例提供了一种测量孔探仪，包括：显示设备、与显示设备电连接的信号传输设备、设置于信号传输设备自由端的探头；其中，探头包括：

探头壳体1，探头壳体1形成一容置腔11；

固定于容置腔11内的第一视差深度摄像头2、第二视差深度摄像头3和彩色影像摄像头4，第一视差深度摄像头2、第二视差深度摄像头3和彩色影像摄像头4两两相切设置，且分别与信号传输设备电连接。其中，第一视差深度摄像头、第二视差深度摄像头和彩色影像摄像头分别内切于探头壳体的内壁上；第一视差深度摄像头2、第二视差深度摄像头3和彩色影像摄像头4构成微型3D深度相机。

设置于容置腔11内的照明光纤5，照明光纤5设置于相邻的摄像头之间，可选地，照明光纤5为三组，一组位于第一视差深度摄像头2和第二视差深度摄像头3之间，一组位于第一视差深度摄像头2和彩色影像摄像头4之间，一组位于第二视差深度摄像头3和彩色影像摄像头4之间。

其中，第一视差深度摄像头2和第二视差深度摄像头3的相机像素相同，彩色影像摄像头4的相机像素高于第一视差深度摄像头2或第二视差深度摄像头3的相机像素。可选地，第一视差深度摄像头2和第二视差深度摄像头3的相机像素为30万像素，彩色影像摄像头4的相机像素为100万像素。

其中，第一视差深度摄像头2和第二视差深度摄像头3的直径相同，彩色影像摄像头4的直径长于第一视差深度摄像头2或第二视差深度摄像头3的直径。可选地，第一视差深度摄像头2和第二视差深度摄像头3的直径为2.6mm，彩色影像摄像头4的直径为3mm，第一视差深度摄像头2、第二视差深度摄像头3和彩色影像摄像头4形成的微型3D深度相机的直径为6mm。

本发明实施例的测量孔探仪，通过第一视差深度摄像头和第二视差深度摄像头采集到的深度数据来修正彩色影像摄像头采集的图像数据，生成准确的三维测量数据，提高测量孔探仪的测量精度。

本发明实施例还提供了一种数据处理方法，应用于上述实施例中的测量孔探仪，如图2所示，该方法包括以下步骤：

步骤21：根据第一视差深度摄像头和第二视差深度摄像头采集的图像数据，形成视差数据。

其中，第一视差深度摄像头、第二视差深度摄像头和彩色影像摄像头为同步相机。第一视差深度摄像头和第二视差深度摄像头可形成视差。

步骤22：根据视差数据和彩色影像摄像头的初始标定数据，形成深度数据。

第一视差深度摄像头和第二视差深度摄像头形成视差，再通过视差运算和彩色影像摄像头初始标定数据(或称为原始的标定数据)再运算，转成深度数据。

步骤23：根据深度数据和初始标定数据的位置关系，计算基于摄像头的统一坐标系的3维数据。

将深度数据和初始标定数据的位置关系，计算获取图像中各个像素对应的统一世界坐标系的3维数据。

步骤24：根据统一坐标系的3维数据，生成彩色影像摄像头视野内各个像素的3维云图。

以此统一世界坐标的3维数据，可以生成彩色摄像头视野内的3维云图。

步骤23之前还包括：分别对第一视差深度摄像头、第二视差深度摄像头和彩色影像摄像头进行单独标定，得到各自的标定结果；具体地，对第一视差深度摄像头、第二视差深度摄像头和彩色影像摄像头分别单独标定。

根据标定结果，分别对以下摄像头组合进行立体标定，得到立体标定结果：

第一视差深度摄像头和第二视差深度摄像头，

第一视差深度摄像头和彩色影像摄像头，

第二视差深度摄像头和彩色影像摄像头。

具体地，对第一视差深度摄像头和第二视差深度摄像头进行立体标定，得到{R1，T1}，对第一视差深度摄像头和彩色影像摄像头进行立体标定，得到{R2，T2}，对第二视差深度摄像头和彩色影像摄像头进行立体标定，得到{R3，T3}。

步骤23具体包括：根据立体标定结果，确定修正参数；根据深度数据和初始标定数据的位置关系以及修正参数，计算基于摄像头的统一坐标系的3维数据。将第一视差深度摄像头和第二视差深度摄像头的标定结果{R1，T1}、第一视差深度摄像头和彩色影像摄像头的标定结果{R2，T2}、以及第二视差深度摄像头和彩色影像摄像头的标定结果{R3，T3}运算：{R1，T1}+{R2，T2}+{R3，T3}＝{R，T}得到修正的参数{R，T}。再将彩色影像摄像头的二维坐标{X1，Y1}以及第一视差深度摄像头、第二视差深度摄像头、彩色影像摄像头的坐标{X2，Y2，Z}进行计算：{R，T}+{X1，Y1}+{X2，Y2，Z}＝{X3，Y3，Z3}，其中，{X3，Y3，Z3}就是融合后的彩色影像摄像头的像素的世界坐标的集合。

这样本发明实施例的数据处理方法中，通过第一视差深度摄像头和第二视差深度摄像头采集到的深度数据来修正彩色影像摄像头采集的图像数据，生成准确的三维测量数据，提高测量孔探仪的测量精度。

以上介绍了本发明实施例的数据处理方法，下面将结合附图对其对应的数据处理装置作进一步说明。

本发明实施例的数据处理装置，应用于上述测量孔探仪，如图3所示，该装置包括：

第一计算模块310，用于根据第一视差深度摄像头和第二视差深度摄像头采集的图像数据，形成视差数据；

第二计算模块320，用于根据视差数据和彩色影像摄像头的初始标定数据，形成深度数据；

第三计算模块330，用于根据深度数据和初始标定数据的位置关系，计算基于摄像头的统一坐标系的3维数据；

生成模块340，用于根据统一坐标系的3维数据，生成彩色影像摄像头视野内各个像素的3维云图。

其中，数据处理装置还包括：

第一标定模块，用于分别对第一视差深度摄像头、第二视差深度摄像头和彩色影像摄像头进行单独标定，得到各自的标定结果；

第二标定模块，用于根据标定结果，分别对以下摄像头组合进行立体标定，得到立体标定结果：

第一视差深度摄像头和第二视差深度摄像头，

第一视差深度摄像头和彩色影像摄像头，

第二视差深度摄像头和彩色影像摄像头。

其中，第三计算模块330包括：

确定单元，用于根据立体标定结果，确定修正参数；

计算单元，用于根据深度数据和初始标定数据的位置关系以及修正参数，计算基于摄像头的统一坐标系的3维数据。

本发明实施例的装置是与上述数据处理方法对应的，上述方法实施例的技术方案均适用于该装置的实施例中，并能实现相同或相似的技术效果，通过第一视差深度摄像头和第二视差深度摄像头采集到的深度数据来修正彩色影像摄像头采集的图像数据，生成准确的三维测量数据，提高测量孔探仪的测量精度。

此外，需要指出的是，在本发明的装置和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行，某些步骤可以并行或彼此独立地执行。对本领域的普通技术人员而言，能够理解本发明的方法和装置的全部或者任何步骤或者部件，可以在任何计算装置(包括处理器、存储介质等)或者计算装置的网络中，以硬件、固件、软件或者它们的组合加以实现，这是本领域普通技术人员在阅读了本发明的说明的情况下运用他们的基本编程技能就能实现的。

因此，本发明的目的还可以通过在任何计算装置上运行一个程序或者一组程序来实现。所述计算装置可以是公知的通用装置。因此，本发明的目的也可以仅仅通过提供包含实现所述方法或者装置的程序代码的程序产品来实现。也就是说，这样的程序产品也构成本发明，并且存储有这样的程序产品的存储介质也构成本发明。显然，所述存储介质可以是任何公知的存储介质或者将来所开发出来的任何存储介质。还需要指出的是，在本发明的装置和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1.一种测量孔探仪，其特征在于，包括：显示设备、与所述显示设备电连接的信号传输设备、设置于所述信号传输设备自由端的探头；其中，所述探头包括：

探头壳体，所述探头壳体形成一容置腔；

固定于所述容置腔内的第一视差深度摄像头、第二视差深度摄像头和彩色影像摄像头，所述第一视差深度摄像头、所述第二视差深度摄像头和所述彩色影像摄像头两两相切设置，且分别与所述信号传输设备电连接；

设置于所述容置腔内的照明光纤，所述照明光纤设置于相邻的摄像头之间；

其中，分别对所述第一视差深度摄像头、所述第二视差深度摄像头和所述彩色影像摄像头进行单独标定，得到各自的标定结果；

根据所述标定结果，分别对以下摄像头组合进行立体标定，得到立体标定结果：所述第一视差深度摄像头和所述第二视差深度摄像头，所述第一视差深度摄像头和所述彩色影像摄像头，所述第二视差深度摄像头和所述彩色影像摄像头；

其中，根据第一视差深度摄像头和第二视差深度摄像头采集的图像数据，形成视差数据；

根据所述视差数据和所述彩色影像摄像头的初始标定数据，形成深度数据；

根据所述深度数据和所述初始标定数据的位置关系，计算基于摄像头的统一坐标系的3维数据；

根据所述统一坐标系的3维数据，生成所述彩色影像摄像头视野内各个像素的3维云图；

其中，根据所述深度数据和所述初始标定数据的位置关系，计算基于摄像头的统一坐标系的3维数据的步骤包括：

根据所述立体标定结果，确定修正参数；

根据所述深度数据和所述初始标定数据的位置关系以及所述修正参数，计算基于摄像头的统一坐标系的3维数据；

其中，将第一视差深度摄像头和第二视差深度摄像头的标定结果{R1，T1}、第一视差深度摄像头和彩色影像摄像头的标定结果{R2，T2}以及第二视差深度摄像头和彩色影像摄像头的标定结果{R3，T3}运算：{R1，T1}+{R2，T2}+{R3，T3}＝{R，T}得到修正的参数{R，T}；将彩色影像摄像头的二维坐标{X1，Y1}以及第一视差深度摄像头、第二视差深度摄像头、彩色影像摄像头的坐标{X2，Y2，Z}进行计算：{R，T}+{X1，Y1}+{X2，Y2，Z}＝{X3，Y3，Z3}，其中，{X3，Y3，Z3}是融合后的彩色影像摄像头的像素的世界坐标的集合。

2.根据权利要求1所述的测量孔探仪，其特征在于，所述第一视差深度摄像头和所述第二视差深度摄像头的相机像素相同，所述彩色影像摄像头的相机像素高于所述第一视差深度摄像头或所述第二视差深度摄像头的相机像素。

3.根据权利要求1所述的测量孔探仪，其特征在于，所述第一视差深度摄像头和所述第二视差深度摄像头的直径相同，所述彩色影像摄像头的直径长于所述第一视差深度摄像头或所述第二视差深度摄像头的直径。

4.根据权利要求1所述的测量孔探仪，其特征在于，所述第一视差深度摄像头、所述第二视差深度摄像头和所述彩色影像摄像头分别内切于所述探头壳体的内壁上。

5.根据权利要求1所述的测量孔探仪，其特征在于，所述照明光纤为三组，一组位于第一视差深度摄像头和所述第二视差深度摄像头之间，一组位于第一视差深度摄像头和所述彩色影像摄像头之间，一组位于所述第二视差深度摄像头和所述彩色影像摄像头之间。

6.一种测量孔探仪的数据处理方法，其特征在于，测量孔探仪包括：显示设备、与所述显示设备电连接的信号传输设备、设置于所述信号传输设备自由端的探头；其中，所述探头包括：探头壳体，所述探头壳体形成一容置腔；固定于所述容置腔内的第一视差深度摄像头、第二视差深度摄像头和彩色影像摄像头，所述第一视差深度摄像头、所述第二视差深度摄像头和所述彩色影像摄像头两两相切设置，且分别与所述信号传输设备电连接；设置于所述容置腔内的照明光纤，所述照明光纤设置于相邻的摄像头之间；所述方法包括：

分别对所述第一视差深度摄像头、所述第二视差深度摄像头和所述彩色影像摄像头进行单独标定，得到各自的标定结果；

根据所述标定结果，分别对以下摄像头组合进行立体标定，得到立体标定结果：

所述第一视差深度摄像头和所述第二视差深度摄像头，所述第一视差深度摄像头和所述彩色影像摄像头，所述第二视差深度摄像头和所述彩色影像摄像头；

其中，根据第一视差深度摄像头和第二视差深度摄像头采集的图像数据，形成视差数据；

根据所述视差数据和所述彩色影像摄像头的初始标定数据，形成深度数据；

根据所述深度数据和所述初始标定数据的位置关系，计算基于摄像头的统一坐标系的3维数据；

根据所述统一坐标系的3维数据，生成所述彩色影像摄像头视野内各个像素的3维云图；

其中，根据所述深度数据和所述初始标定数据的位置关系，计算基于摄像头的统一坐标系的3维数据的步骤包括：

根据所述立体标定结果，确定修正参数；

根据所述深度数据和所述初始标定数据的位置关系以及所述修正参数，计算基于摄像头的统一坐标系的3维数据；

其中，将第一视差深度摄像头和第二视差深度摄像头的标定结果{R1，T1}、第一视差深度摄像头和彩色影像摄像头的标定结果{R2，T2}以及第二视差深度摄像头和彩色影像摄像头的标定结果{R3，T3}运算：{R1，T1}+{R2，T2}+{R3，T3}＝{R，T}得到修正的参数{R，T}；将彩色影像摄像头的二维坐标{X1，Y1}以及第一视差深度摄像头、第二视差深度摄像头、彩色影像摄像头的坐标{X2，Y2，Z}进行计算：{R，T}+{X1，Y1}+{X2，Y2，Z}＝{X3，Y3，Z3}，其中，{X3，Y3，Z3}是融合后的彩色影像摄像头的像素的世界坐标的集合。

7.一种测量孔探仪的数据处理装置，其特征在于，测量孔探仪包括：显示设备、与所述显示设备电连接的信号传输设备、设置于所述信号传输设备自由端的探头；其中，所述探头包括：探头壳体，所述探头壳体形成一容置腔；固定于所述容置腔内的第一视差深度摄像头、第二视差深度摄像头和彩色影像摄像头，所述第一视差深度摄像头、所述第二视差深度摄像头和所述彩色影像摄像头两两相切设置，且分别与所述信号传输设备电连接；设置于所述容置腔内的照明光纤，所述照明光纤设置于相邻的摄像头之间；所述装置包括：

第一标定模块，用于分别对所述第一视差深度摄像头、所述第二视差深度摄像头和所述彩色影像摄像头进行单独标定，得到各自的标定结果；

第二标定模块，用于根据所述标定结果，分别对以下摄像头组合进行立体标定，得到立体标定结果：所述第一视差深度摄像头和所述第二视差深度摄像头，所述第一视差深度摄像头和所述彩色影像摄像头，所述第二视差深度摄像头和所述彩色影像摄像头；

第一计算模块，用于根据第一视差深度摄像头和第二视差深度摄像头采集的图像数据，形成视差数据；

第二计算模块，用于根据所述视差数据和所述彩色影像摄像头的初始标定数据，形成深度数据；

第三计算模块，用于根据所述深度数据和所述初始标定数据的位置关系，计算基于摄像头的统一坐标系的3维数据；

生成模块，用于根据所述统一坐标系的3维数据，生成所述彩色影像摄像头视野内各个像素的3维云图；

其中，根据所述深度数据和所述初始标定数据的位置关系，计算基于摄像头的统一坐标系的3维数据，包括：

根据所述立体标定结果，确定修正参数；

根据所述深度数据和所述初始标定数据的位置关系以及所述修正参数，计算基于摄像头的统一坐标系的3维数据；

其中，将第一视差深度摄像头和第二视差深度摄像头的标定结果{R1，T1}、第一视差深度摄像头和彩色影像摄像头的标定结果{R2，T2}以及第二视差深度摄像头和彩色影像摄像头的标定结果{R3，T3}运算：{R1，T1}+{R2，T2}+{R3，T3}＝{R，T}得到修正的参数{R，T}；将彩色影像摄像头的二维坐标{X1，Y1}以及第一视差深度摄像头、第二视差深度摄像头、彩色影像摄像头的坐标{X2，Y2，Z}进行计算：{R，T}+{X1，Y1}+{X2，Y2，Z}＝{X3，Y3，Z3}，其中，{X3，Y3，Z3}是融合后的彩色影像摄像头的像素的世界坐标的集合。