CN109141506B - 多功能标定系统 - Google Patents

Abstract

本发明公开了一种多功能标定系统，包括：多功能标定装置，包含：光源，用于发射光束；均化器，用于接收所述光束并产生均匀光束；标定纸，面向所述光源的一面印有标定图案，背向所述光源的一面为纯色图案，当光源打开时，所述标定纸被均匀光束照亮，背向光源的一侧可以显示出标定图案；深度相机，用于采集所述标定纸背向光源一面的二维图像和/或深度图像；计算设备，用于控制所述多功能标定装置以及所述深度相机，并接收所述二维图像和/或深度图像以进行计算。通过如上的一套多功能标定系统，可以不同功能标定的需要，且具有结构紧凑、操作方便、成本低的特点。

Description

多功能标定系统

技术领域

本发明涉及光学测量及制造领域，具体涉及一种多功能标定系统。

背景技术

结构光深度相机可以用于采集深度图像，进一步实现3D建模、手势识别、体感交互、人脸识别等功能。结构光深度相机在制造过程中涉及深度算法的标定、彩色图像与深度图像的对齐标定以及精度测量等工艺步骤，往往需要采集多个不同的工艺设备(比如标定装置或系统)来实现这些步骤，比如采用表面刻有立体纹理的标定板来实现对齐标定(专利申请CN107507235A)、采用激光测距仪等实现精度测量(专利申请CN106767933A)等，这些工艺步骤至少有以下两个方面的问题。一方面，由于工艺繁多，成本以及控制难度较大；另一方面，各个环节的工艺设备难以达到较高的标定或测量精度。

发明内容

为解决上述问题，本发明提出一种多功能标定系统，其能够满足不同功能标定的需要，且结构紧凑、操作方便、成本低。

本发明提供一种多功能标定系统，包括：多功能标定装置，包含：光源，用于发射光束；均化器，用于接收所述光束并产生均匀光束；标定纸，面向所述光源的一面印有标定图案，背向所述光源的一面为纯色图案，当光源打开时，所述标定纸被均匀光束照亮，背向光源的一侧可以显示出标定图案；深度相机，用于采集所述标定纸背向光源一面的二维图像和/或深度图像；计算设备，用于控制所述多功能标定装置以及所述深度相机，并接收所述二维图像和/或深度图像以进行计算。

在一些实施例中，光源关闭，所述深度相机采集参考结构光图像以进行深度标定。

在一些实施例中，光源关闭，所述深度相机获取所述标定纸的深度图像，所述计算设备基于所述深度图像进行深度精度测量。

在一些实施例中，所述光源包含发射第一波长的第一子光源以及第二波长的第二子光源。

在另一些实施例中，利用所述深度相机采集所述第一子光源打开时的第一标定图像以及所述第二子光源打开时的第二标定图像；所述计算设备基于所述第一标定图像以及所述第二标定图像计算出深度相机的对齐参数。

在另一些实施例中，利用所述深度相机采集所述第一子光源打开时的第一标定图像以及所述第二子光源打开时的第二标定图像；所述光源关闭时，利用所述深度相机采集所述标定纸的深度图像；所述计算设备基于所述第一标定图像、所述第二标定图像以及所述深度图像进行对齐精度测量。

在一些实施例中，所述标定图案包含棋盘格图案、圆形标记点图案、二维码图案、编码标记点图案中的一种或多种；所述纯色图案包括哑白色图案。

在一些实施例中，所述多功能标定装置还包括支撑件，用于支撑所述光源、所述均化器以及所述标定纸。所述多功能标定系统还包括底座，用于支撑所述多功能标定装置和所述深度相机并进行姿态控制。

本发明的有益效果：当光源关闭时，标定纸纯色图案的一面可以用于深度标定或深度计算精度的测量；当光源打开时，标定纸的标定图案可以用于对齐标定或对齐精度测量；通过如上的一套多功能标定系统，可以不同功能标定的需要，且具有结构紧凑、操作方便、成本低的特点。

附图说明

图1为本发明一个实施例的多功能标定系统示意图。

图2为本发明一个实施例的多功能标定装置示意图。

图3为本发明一个实施例的光源组成示意图。

具体实施方式

下面结合具体实施方式并对照附图对本发明作进一步详细说明，应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。

图1所示的是根据本发明一个实施例的多功能标定系统示意图。多功能标定系统100包括多功能标定装置10、深度相机40以及计算设备50，此外根据实际需要还可以包含支架20、底座30等组件。多功能标定装置10面向深度相机40一侧一般包含一个平面(对应下文中的标定纸，也可以称为标定平板)，深度相机40可以拍摄该平面的二维图像、深度图像等，计算设备50接收到二维图像和/或深度图像后进行处理以完成标定过程。支架20用于支撑深度相机40，在一个实施例中，支架20也可以对深度相机的姿态进行调整，比如下降、升起、旋转等姿态调整功能。底座30用于支撑多功能标定装置10、支架20或者深度相机40，在一个实施例中，底座30包含导轨，可以使得多功能标定装置10和/或支架20进行移动，或者底座30也可以包含旋转、起降等装置以使得多功能标定装置10和/或支架20进行姿态控制。计算设备50根据需要与多功能标定装置10、深度相机40、支架20以及底座30等进行连接，以实现控制、数据传输、计算等功能。

深度相机40一般用于采集可见光图像与深度图像，因此其内部一般含有用于采集可见光图像的可见光相机(即二维图像，比如彩色相机)以及用于采集用来计算深度图像的结构光图像的三维相机(比如红外相机等)。

可以理解的是，深度相机40与计算设备50之间没有明确的界限，二者可以是独立的器件也可以合成的器件，比如一个含有深度成像功能的计算终端，如平板、计算机、手机等。

可以理解的是，图1中多功能标定装置10与深度相机40横向摆放，底座安装在底部，在一些实施例中，多功能标定装置10与深度相机40也可以纵向或其他方向摆放，底座也可以安装在其他合适的位置。因此图1仅示例性提供了一个实施例的参考，并非是系统100结构设置上的限制。

另外，深度相机40的数量也可以为多个，由此可以使得本系统100同时对多个深度相机进行标定等功能，从而提高系统100的工作效率。

图2所示的是根据本发明一个实施例的多功能标定装置10的示意图。多功能标定装置10包括光源103、均化器104以及标定纸106，光源103用于发射出光束，均匀器104接收光源发射出的光束后形成亮度分布均匀的均匀光束，均匀光束入射到标定纸106上以照亮标定纸。

光源103可以是发光二极管(LED)、激光等任意形式的光源中的一种或多种。在一个实施例中，光源103为LED阵列，比如图1所示，多个LED灯珠103布置在同一个电路板102上。光源103的波长可以包括可见光以及红外、紫外等不可见光，具体的波长设置可以根据具体的需求进行设置。

均化器104可以是漫射板，比如通过在玻璃表面磨砂以形成漫射板。在一些实施例中，均化器104也可以是衍射光学元件，通过衍射的方式实现对光束的均化效果。可以理解的是，这里的均匀效果可以允许有一定的容差，比如光束强度分布均匀度达到某一阈值就认为达到了均化效果，比如阈值设置为80％等。

标定纸106的一个表面印有标定图案，比如棋盘格图案、圆形标记点图案、二维码图案、编码标记点图案等图案中一种或多种的组合，另一表面为纯色图案,纯色图案可以通过印刷等方式形成在标定纸106的表面上，也可以为标定纸原本的颜色。在一个实施例中，在标定纸面向光源的一面(假设为正面)印有标定图案，在背向光源的一面(假设为背面)有纯色图案，当光源关闭时，从背面一侧仅显示为纯色图案，当光源打开时，背面一侧可以显示出标定图案。

光源103设置在电路板等光源驱动102上，通过外接电源来控制光源103进行发光。不同的相机，其参数不同，故本实施例中光源103的亮度在一定的范围内可调，以使得可以实现不同亮度的照明，保证不同性能的相机都能采集到较佳的图像(比如二维图像、深度图像等)。在一个实施例中，当需要的光源103数量较多时(比如增加光源数量以提高照射均匀度等)，可以将多个光源驱动102进一步被安装在光源支架101上，光源支架101一般由金属等材料制成，为了更好地对光源进行散热，还可以在光源支架101或光源驱动102上设置散热器108，比如叶片形式的铝制散热槽、散热风扇等散热器。

标定纸106可以被贴在透明平板105上，一般地，透明平板105与标定纸106的平整度需要对应并且达到一定的要求，比如在标定工艺或精度测试工艺中，标定纸106与透明平板105的平整度越小越好，如不超过0.5mm。标定纸106也可以是透明平板，即在透明平板的两个表面分别印有标定图案及纯色图案，与纸质形式相比，透明平板的刻印工艺难度较大。在一些实施例中，标定纸106也可以直接贴在均化器104表面。可以理解的是，标定纸106设置在均化器104背向光源103一侧，在满足光束均匀性的前提下，标定纸106可以通过任意形式的方案进行安装。

多功能标定装置10还包括支撑件107，用于支撑光源103、均化器104以及标定纸106等组件。支撑件107可以设置在任意位置，比如图2中的下方，也可以同时在下方、上方均设置支撑件107以提升稳定性，或者可以在四周均设置有支撑件。支撑件107可以包括金属、塑料以及一些连接件等。

上述的多功能标定装置10在进行对深度相机进行标定等工艺时，深度相机将被放置在标定纸背向光源一侧(如图1所示)，该多功能标定系统100可以实现至少以下工艺流程：

1深度标定，即参考结构光图像标定。首先设置好深度相机与标定纸之间的间距，然后打开深度相机中的结构光投影模组以实现向标定纸上投影出结构光图像，随后由深度相机中的三维相机采集该结构光图像，并将该结构光图像作为参考结构光图像。在深度标定的过程中，为了避免环境光照对参考结构光图像质量的影响，在一个实施例中，可以在多功能标定系统100中增加外部遮光罩(图1中未示出)以将深度相机40、多功能标定装置10设置在其中避免外界环境光干扰。在一个实施例中，在深度标定过程中多功能标定装置10中的光源103处于关闭状态，标定纸106面向深度相机40的一面没有图案，比如为白色且带有一定的哑光度(哑白色)，当结构光投影模组投射结构光光束至该标定纸106时，该光束将会通过漫反射进入相机并成像，最终由深度相机中的三维相机采集到该结构光图像。

2对齐标定。对齐标定的目的是为了获取深度相机中可见光相机与采集结构光图像的三维相机的各自内部参数(内参)以及二者之间的外部参数(外参)。由于可见光相机与三维相机往往是对不同波长的光束进行感光成像，因此在本发明中将多功能标定装置10内部的光源103设置成至少两种不同波长的子光源，即第一波长的第一子光源以及第二波长的第二子光源。图3是根据本发明一个实施例的光源组成示意图。以阵列光源为例，在光源驱动102上设置有阵列排列的多个光源103，光源103被分成三类，分别为用于发射第一波长光束的子光源103a、发射第二波长光束的子光源103b以及发射第三波长光束的子光源103c，第一波长、第二波长以及第三波长可以根据需要设置成对应的波长，比如第一波长对应的是白光，第二波长对应的是940nm的红外光，第二波长对应的是850nm的红外光，不同波长的光源可以独立控制也可整体控制。设置超过两种波长的光源的好处在于可以使得该多功能标定装置适用于其他不同波长的深度相机的标定等工艺流程中。

在进行对齐标定时，首先打开可见光子光源(比如白光光源)，白光子光源发出白光并经过漫射板104均化后照射到标定纸106，标定纸面向光源103一面(假设称为正面，另一面称为背面)印有标定图案，此时标定图案将被白光光源照亮，特别地，将标定纸106的两面均具备一定的透射率，因此当白光光源照射标定纸106时，设置在标定纸背面的深度相机中的可见光相机将会采集到标定纸106正面的含有标定图案的可见光标定图像(第一标定图像)。随后将采集到的白光标定图案传输至计算设备中以进行可见光相机内参计算。

同样地，对于三维相机的内参计算过程，则需要打开光源103中与三维相机感光波长相同的子光源，比如940nm的红外光子光源103b(可以理解的是，在本例子中结构光投影模组所发出的结构光光束波长也应为940nm，为了便于描述，在后文中均以红外光子光源为例进行说明)，当该红外光照射标定纸106正面时，设置在标定纸背面的深度相机中的三维相机将会采集到对应的含有标定图案的红外光标定图像(第二标定图像)，随后计算设备基于该标定图案计算出三维相机的内参。

在分别获取到可见光相机以及三维相机的内参之后，考虑到在采集过程中，分别由可见光相机采集到的可见光标定图像以及三维相机所采集到的红外光标定图像之间满足一一对应关系(源自同一个标定图案)，基于这一特性可以进一步计算出可见光相机以及三维相机之间的外参。换句话说，在分别对可见光相机以及三维相机进行标定时，可以以标定纸作为参照，选取相同的世界坐标系，分别计算出可见光相机以及三维相机相对于世界坐标系的相对外参，再结合相对外参计算出可见光相机与三维相机之间的外部参数。

在分别对可见光相机以及三维相机进行标定时，往往需要在不同角度下进行采集，由此可以借助于底座30或者支架20对深度相机进行姿态或位置调控以实现多个角度下的采集，或者利用底座30控制多功能标定装置10的姿态或位置，从而实现多角度图像采集。

3深度计算精度测量。衡量结构光深度相机性能之一是深度图像的精度，利用多功能标定装置10可以对深度相机40的深度计算精度进行测量。这里的精度主要指准确度以及精密度，其中准确度可以用测量误差来衡量，精密度可以用偏差来衡量。在一个实施例中，分别将深度相机40设置在离标定纸106已知的、不同的距离上进行深度图像采集，在采集时，多功能标定装置中的光源全部关闭。比如在深度相机40的量程范围内每隔10cm采集一幅深度图像，随后将深度图像输出至计算设备50中以进行误差以及偏差的计算，具体的计算方法可参见专利申请CN106767933A。

4对齐精度测量。在对齐标定步骤中可以获取可见光相机以及三维相机的内参及外参。基于该内参及外参就可以对深度相机实时采集的彩色图像与深度图像进行数字对齐。由于误差、操作失误等多种因素的存在，往往不同深度相机的对齐效果不一样，因此需要通过一定的方法对对齐精度进行测量以判断深度相机的对齐效果。在一个实施例中，可以通过以下步骤进行对齐精度测量：

第一步，打开多功能对齐装置10中的白光子光源，利用深度相机中的可见光相机采集可见光图像，可见光图像上包括标定纸106上的标定图案，这里称为可见光标定图像(第一标定图像)；

第二步，独立于第一步，打开红外光子光源，利用深度相机中的三维相机采集红外光标定图像(第二标定图像)；

第三步，独立于第一步以及第二步，使多功能标定装置中的光源处于关闭状态，打开深度相机中的结构光投影模组，利用三维相机采集结构光图像，并进一步获取深度图像。

第四步，根据深度相机已标定过的对齐标定参数，将可见光标定图像与深度图像进行数字对齐计算，获取可见光标定图像中像素点与深度图像中像素点的对应关系。

第五步，分别提取可见光标定图像以及红外光标定图像中的对应标记点，将标记点所在像素之间的对应关系作为理论对齐值，并与第四步中数字对齐计算所得到的对应关系进行对比以判断对齐精度。

由于在采集可见光标定图像以及红外光标定图像时均打开了多功能标定装置中的光源，因此两种图像中均有标定图案，这里的标定图案可以是很多个小圆点或者其他带有明天轮廓特征的图案。通过分别对可见光标定图像以及红外光标定图像进行标记点(特征点)提取，同时由于是对同一块标记纸采集的图像，因此两种图像中标记点之间的一一对应关系也容易知道。另外，由于深度图像与红外光标定图像都是由三维相机采集的，因此二者之间没有视差，从而可以将红外光标定图像与可见光标定图像之间的对应关系作为深度图像与可见光标定图像之间对应关系的理论值(称为理论对应关系)。

在第四步中通过数字对齐可以获取深度图像与可见光标定图像之间的对应关系(称为计算对应关系)，最后通过对计算对应关系与理论对应关系之间的差异进行计算就可以判断出该深度相机的对齐精度。

从以上四种工艺可以看出，多功能标定装置通过对标定纸正面印有标定图案并在正面设置多种波长的光源，当光源关闭时，其背面就可以看成一面纯色的标定板，可以用于参考结构光图像采集、深度图像采集，进而进行深度标定或深度计算精度的测量。优选地，标定板的背面为哑白色，相对其他多种颜色，哑白色可以获取更高质量的结构光图像以及深度图像。当光源开启时，标定图案会透过标定纸从而被设置在标定纸背面的深度相机所采集到，比如由可见光相机采集可见光标定图像或由三维相机采集红外标定图像等，从而进一步进行对齐标定、对齐精度测量等。相对于已有技术，本发明中的多功能标定装置具备结构紧凑、功能更多、操作方便、成本低等特点。

可以理解的是，在一些实施例中，可以利用上述装置或系统仅实现单个或多个工艺，并不一定要求单个装置及系统来完成所有的工艺，具体需要考虑各个工艺在深度相机生产过程中的优先顺序以及考虑不同工艺对装置或系统的具体性能需求等。

在一个实施例中，对齐标定工艺中利用棋盘格样式标定图案，而在对齐精度测量工艺中利用圆点样式的标定图案，因此可以分别用一套多功能标定装置及系统来完成对齐标定工艺，用另一套多功能标定装置及系统来完成对齐精度测量工艺，两套装置及系统可以根据具体的需求进行结构上的优化，比如在对齐精度测量工艺中可以不需要对深度相机或多功能标定装置进行姿态调整。

在一个实施例中，可以用一套多功能标定系统来按照一定的步骤来实现多个工艺流程从而提高生产效率。比如：

首先利用多功能标定系统进行深度标定，即将深度相机调整到距离多功能标定装置距离为L时，并在光源关闭的情形下采集参考结构光图像，同时该参考结构光图像由计算设备写入深度相机的内存中，以便于后续深度计算时调用；

其次利用多功能标定系统进行深度精度测量，即将深度相机调整到距离多功能标定装置距离为R1,R2,…,RN时，在光源关闭的情形下获取深度图像，并由计算设备进行深度精度计算；

最后利用多功能标定系统进行对齐精度测量，即将深度相机调整到距离多功能标定装置距离为H时，按照对齐精度测量步骤进行对齐精度测量。

以上顺序的流程充分考虑了各个工艺之间的顺序，比如深度标定是计算深度图像以及深度精度测量的前提，而深度精度测量又是对齐精度测量的前提(对齐精度测量的前提是有较高质量的深度图像与可见光图像，故先进行深度精度测量以准确获知其精度达到要求后再进行对齐精度测量)。另外，由于深度标定、深度精度测量、对齐精度测量往往对深度相机与标定纸之间的距离不同，因此可以预先根据不同距离并合理设置好深度相机或多功能标定装置的行程，避免多次工艺中行程往复造成时间浪费，减少部分操作步骤工艺，提高多种功能标定的标定效率。且通过将各个环节规范化、机械化，如：多功能标定装置10或深度相机40沿着导轨进行精确地移动、旋转、起降等，可以避免外界不确定因素所带来的误差以及纯人工操作所带来的操作失误。

以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。

Claims (8)

1.一种多功能标定系统，其特征在于，包括：

多功能标定装置，包含：

光源，用于发射光束；

均化器，用于接收所述光束并产生均匀光束；

标定纸，面向所述光源的一面印有标定图案，背向所述光源的一面为纯色图案，当光源打开时，所述标定纸被均匀光束照亮，背向光源的一侧可以显示出标定图案；

深度相机，用于采集所述标定纸背向光源一面的二维图像和/或深度图像；计算设备，用于控制所述多功能标定装置以及所述深度相机，并接收所述二维图像和/或深度图像以进行计算；

所述光源包含发射第一波长的第一子光源以及第二波长的第二子光源；

利用所述深度相机采集所述第一子光源打开时的第一标定图像以及所述第二子光源打开时的第二标定图像；所述计算设备基于所述第一标定图像以及所述第二标定图像计算出深度相机的对齐参数。

2.如权利要求1所述的多功能标定系统，其特征在于，当所述光源关闭时，所述深度相机采集参考结构光图像以进行深度标定。

3.如权利要求1所述的多功能标定系统，其特征在于，当所述光源关闭时，所述深度相机获取所述标定纸的深度图像，所述计算设备基于所述深度图像进行深度精度测量。

4.如权利要求1所述的多功能标定系统，其特征在于，利用所述深度相机采集所述第一子光源打开时的第一标定图像以及所述第二子光源打开时的第二标定图像；所述光源关闭时，利用所述深度相机采集所述标定纸的深度图像；所述计算设备基于所述第一标定图像、所述第二标定图像以及所述深度图像进行对齐精度测量。

5.如权利要求1所述的多功能标定系统，其特征在于，所述标定图案包含棋盘格图案、圆形标记点图案、二维码图案、编码标记点图案中的一种或多种。

6.如权利要求1所述的多功能标定系统，其特征在于，所述纯色图案包括哑白色图案。

7.如权利要求1所述的多功能标定系统，其特征在于，所述多功能标定装置还包括支撑件，用于支撑所述光源、所述均化器以及所述标定纸。

8.如权利要求1所述的多功能标定系统，其特征在于，还包括底座，用于支撑所述多功能标定装置和所述深度相机并进行姿态控制。

Images