CN110675456B

CN110675456B - 多深度摄像机外部参数标定方法、装置及存储介质

Info

Publication number: CN110675456B
Application number: CN201910882692.XA
Authority: CN
Inventors: 邵志兢; 张煜; 赵维凯
Original assignee: Shenzhen Prometheus Vision Technology Co ltd
Current assignee: Zhuhai Prometheus Vision Technology Co ltd
Priority date: 2019-09-18
Filing date: 2019-09-18
Publication date: 2020-06-16
Anticipated expiration: 2039-09-18
Also published as: CN110675456A

Abstract

本发明提供一种多深度摄像机外部参数标定方法，其包括使用多个深度摄像机拍摄同一参照物，以获取参照物在每个深度摄像机中的参照物参数；基于每个深度摄像机中的参照物参数，获取相邻两个深度摄像机的相对外部参数；获取相邻两个深度摄像机的对应像素的拍摄彩色误差量；获取相邻两个深度摄像机的对应像素的拍摄深度误差量；获取相邻两个深度摄像机的对应画面特征点的画面特征点误差量；计算每个深度摄像机的外部参数修正量；使用每个深度摄像机的外部参数修正量对所述深度摄像机的相对外部参数进行修正；本发明可较好的避免重影现象的发生；通过相对外部参数求解外部参数修正量，便于迭代计算的收敛，降低了整体资源的消耗。

Description

多深度摄像机外部参数标定方法、装置及存储介质

技术领域

本发明涉及数据处理领域，特别是涉及一种多深度摄像机外部参数标定方法、装置及存储介质。

背景技术

全息体素视频(Volumetric Video)是一种全息视频类型，一般由多个RGBD 摄像机环绕被拍摄人物/物体，同时拍摄被摄物各个角度的色彩和深度信息，并融合成三维立体视频。

多RGBD(红绿蓝深度)摄像机之间的深度和彩色信息要融合到一起，生成完整的全息视频，不但需要各自的相机内参，还需要相互之间精准的相对外部参数。这里的相机内参指的是相机所拍摄到的像素和相机坐标系的3D位置的关系，相机外部参数指的是相机坐标系内得3D点和公共世界坐标系的关系。

现有的多个深度摄像机的外部参数标定方法一般会使用ICP算法(迭代最近点，Iterative Closest Point)，即根据拍摄物体的深度信息以及相机内参，将物体深度像素转换为点云，然后查找各个摄像机的点云的最近邻的点，并最小化最近领之间的距离，得到相机之间的相对外部参数，这种方法可对深度数据进行匹配。

但是上述深度标定方法可以对物体点云的平面对阵，却由于深度数据是没有纹理的，对于沿着平面的运动没有信息约束，导致物体表面纹理无法对准，后期融合容易出现重影现象，且进行迭代计算的次数过多，导致整体资源消耗较大。

故需要提供一种可较好的消除重影现象且资源消耗较少的多深度摄像机外部参数标定方法。

发明内容

本发明实施例提供一种可较好的消除重影现象且对应的画面处理资源消耗较少的多深度摄像机外部参数标定方法及装置，以解决现有的多深度摄像机系统的画面处理后期容易出现重影现象，且画面处理的资源消耗较大的技术问题。

本发明实施例提供一种多深度摄像机外部参数标定方法，其包括：

使用多个深度摄像机拍摄同一参照物，以获取所述参照物在每个深度摄像机中的参照物参数；

基于每个深度摄像机中的参照物参数，获取相邻两个深度摄像机的相对外部参数；

根据相邻两个深度摄像机的相对外部参数、以及相邻两个深度摄像机的拍摄画面的画面像素颜色，获取相邻两个深度摄像机的对应像素的拍摄彩色误差量；

根据相邻两个深度摄像机的相对外部参数、以及相邻两个深度摄像机的拍摄画面的画面像素深度，获取相邻两个深度摄像机的对应像素的拍摄深度误差量；

根据相邻两个深度摄像机的相对外部参数、以及相邻两个深度摄像机的拍摄画面的画面特征点，获取相邻两个深度摄像机的对应画面特征点的画面特征点误差量；

基于相邻两个深度摄像机的对应像素的拍摄彩色误差量、相邻两个深度摄像机的对应像素的拍摄深度误差量、以及相邻两个深度摄像机的对应画面特征点的画面特征点误差量，计算每个深度摄像机的外部参数修正量；

使用每个深度摄像机的外部参数修正量对所述深度摄像机的相对外部参数进行修正，并返回获取相邻两个深度摄像机的对应像素的拍摄彩色误差量、拍摄深度误差量以及画面特征点误差量的步骤，直至每个深度摄像机的外部参数修正量小于设定值。

本发明实施例还提供一种多深度摄像机外部参数标定方法，其包括：

使用多个深度摄像机拍摄同一参照物，以获取所述参照物在每个深度摄像机中的参照物参数；并将所述多个深度摄像机按位置分为多个摄像机组，每个摄像机组包括至少三个深度摄像机，相邻摄像机组至少包括一个相同的深度摄像机；

基于每个深度摄像机中的参照物参数，获取每个摄像机组中的任意两个深度摄像机的相对外部参数；

基于每个摄像机组中的任意两个深度摄像机的相对外部参数，以及每个摄像机组中的任意两个深度摄像机的拍摄画面的画面像素颜色，获取每个摄像机组中的任意两个相邻深度摄像机的对应像素的拍摄彩色误差量；

根据每个摄像机组中的任意两个深度摄像机的相对外部参数、以及每个摄像机组中的任意两个深度摄像机的拍摄画面的画面像素深度，获取每个摄像机组中的任意两个深度摄像机的对应像素的拍摄深度误差量；

根据每个摄像机组中的任意两个深度摄像机的相对外部参数、以及每个摄像机组中的任意两个深度摄像机的拍摄画面的画面特征点，获取每个摄像机组中的任意两个深度摄像机的对应画面特征点的画面特征点误差量；

基于每个深度摄像机的对应像素的拍摄彩色误差量、每个深度摄像机的对应像素的拍摄深度误差量、以及每个深度摄像机的对应画面特征点的画面特征点误差量，计算每个深度摄像机的外部参数修正量；

使用每个深度摄像机的外部参数修正量对所述深度摄像机的相对外部参数进行修正，并返回获取任意两个深度摄像机的对应像素的拍摄彩色误差量、拍摄深度误差量以及画面特征点误差量的步骤，直至每个深度摄像机的外部参数修正量小于设定值。

本发明实施例还提供一种多深度摄像机外部参数标定装置，其包括：

参照物参数获取模块，用于使用多个深度摄像机拍摄同一参照物，以获取所述参照物在每个深度摄像机中的参照物参数；

相对外部参数获取模块，用于基于每个深度摄像机中的参照物参数，获取相邻两个深度摄像机的相对外部参数；

拍摄彩色误差量获取模块，用于根据相邻两个深度摄像机的相对外部参数、以及相邻两个深度摄像机的拍摄画面的画面像素颜色，获取相邻两个深度摄像机的对应像素的拍摄彩色误差量；

拍摄深度误差量获取模块，用于根据相邻两个深度摄像机的相对外部参数、以及相邻两个深度摄像机的拍摄画面的画面像素深度，获取相邻两个深度摄像机的对应像素的拍摄深度误差量；

画面特征点误差量获取模块，用于根据相邻两个深度摄像机的相对外部参数、以及相邻两个深度摄像机的拍摄画面的画面特征点，获取相邻两个深度摄像机的对应画面特征点的画面特征点误差量；

外部参数修正量计算模块，用于基于相邻两个深度摄像机的对应像素的拍摄彩色误差量、相邻两个深度摄像机的对应像素的拍摄深度误差量、以及相邻两个深度摄像机的对应画面特征点的画面特征点误差量，计算每个深度摄像机的外部参数修正量；以及

外部参数修正模块，用于使用每个深度摄像机的外部参数修正量对所述深度摄像机的相对外部参数进行修正。

本发明实施例还提供一种存储介质，其内存储有处理器可执行指令，所述指令由一个或一个以上处理器加载，以执行上述多深度摄像机外部参数标定方法。

相较于现有技术，本发明的多深度摄像机外部参数标定方法及装置通过拍摄深度误差量、拍摄颜色误差量以及画面特征点误差量来对深度摄像机的外部参数进行修正，由于获取了拍摄颜色信息以及画面特征点信息，因此可较好的对物体表面纹理进行确定，避免重影现象的发生；通过相对外部参数求解外部参数修正量，便于迭代计算的收敛，降低了整体资源的消耗；有效解决了现有的多深度摄像机系统的画面处理后期容易出现重影现象，且画面处理的资源消耗较大的技术问题。

附图说明

图1a为本发明的多深度摄像机外部参数标定方法的第一实施例的流程图；

图1b为本发明的多深度摄像机外部参数标定方法的第一实施例对应的多深度摄像机系统的结构示意图；

图1c为本发明的多深度摄像机外部参数标定方法的第一实施例的参照物的结构示意图；

图2为本发明的多深度摄像机外部参数标定方法的第一实施例的步骤S102 的流程图；

图3为本发明的多深度摄像机外部参数标定方法的第一实施例的步骤S103 的流程图；

图4为本发明的多深度摄像机外部参数标定方法的第一实施例的步骤S104 的流程图；

图5为本发明的多深度摄像机外部参数标定方法的第一实施例的步骤S105 的流程图；

图6为本发明的多深度摄像机外部参数标定方法的第一实施例的步骤S106 的流程图；

图7为本发明的多深度摄像机外部参数标定方法的第二实施例的流程图；

图8为本发明的多深度摄像机外部参数标定装置的一实施例的结构示意图；

图9为本发明的多深度摄像机外部参数标定装置所在的电子设备的工作环境结构示意图。

具体实施方式

请参照图式，其中相同的组件符号代表相同的组件，本发明的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本发明具体实施例，其不应被视为限制本发明未在此详述的其它具体实施例。

在以下的说明中，本发明的具体实施例将参考由一部或多部计算机所执行之作业的步骤及符号来说明，除非另有述明。因此，其将可了解到这些步骤及操作，其中有数次提到为由计算机执行，包括了由代表了以一结构化型式中的数据之电子信号的计算机处理单元所操纵。此操纵转换该数据或将其维持在该计算机之内存系统中的位置处，其可重新配置或另外以本领域技术人员所熟知的方式来改变该计算机之运作。该数据所维持的数据结构为该内存之实体位置，其具有由该数据格式所定义的特定特性。但是，本发明原理以上述文字来说明，其并不代表为一种限制，本领域技术人员将可了解到以下所述的多种步骤及操作亦可实施在硬件当中。

本发明的多深度摄像机外部参数标定方法及标定装置可设置在任何的电子设备中，用于对多深度摄像机系统的多个深度摄像机进行外部参数的标定操作。该电子设备包括但不限于可穿戴设备、头戴设备、医疗健康平台、个人计算机、服务器计算机、手持式或膝上型设备、移动设备(比如移动电话、个人数字助理 (PDA)、媒体播放器等等)、多处理器系统、消费型电子设备、小型计算机、大型计算机、包括上述任意系统或设备的分布式计算环境，等等。该多深度摄像机外部参数标定装置优选为多深度摄像机系统，可基于多个深度摄像机的内部参数、预设外部参数以及对应的参照物参数对外部参数进行有效修正，提高了多深度摄像机系统的输出的画面质量以及降低了多深度摄像机系统的画面处理的资源消耗。

请参照图1a，图1a为本发明的多深度摄像机外部参数标定方法的第一实施例的流程图。本实施例的多深度摄像机外部参数标定方法可使用上述的电子设备进行实施，本实施例的多深度摄像机外部参数标定方法包括：

步骤S101，使用多个深度摄像机拍摄同一参照物，以获取该参照物在每个深度摄像机中的参照物参数；

步骤S102，基于每个深度摄像机中的参照物参数，获取相邻两个深度摄像机的相对外部参数；

步骤S103，根据相邻两个深度摄像机的相对外部参数、以及相邻两个深度摄像机的拍摄画面的画面像素颜色，获取相邻两个深度摄像机的对应像素的拍摄彩色误差量；

步骤S104，根据相邻两个深度摄像机的相对外部参数、以及相邻两个深度摄像机的拍摄画面的画面像素深度，获取相邻两个深度摄像机的对应像素的拍摄深度误差量；

步骤S105，根据相邻两个深度摄像机的相对外部参数、以及相邻两个深度摄像机的拍摄画面的画面特征点，获取相邻两个深度摄像机的对应画面特征点的画面特征点误差量；

步骤S106，基于相邻两个深度摄像机的对应像素的拍摄彩色误差量、相邻两个深度摄像机的对应像素的拍摄深度误差量、以及相邻两个深度摄像机的对应画面特征点的画面特征点误差量，计算每个深度摄像机的外部参数修正量；

步骤S107，使用每个深度摄像机的外部参数修正量对深度摄像机的相对外部参数进行修正，并返回步骤S103，直至每个深度摄像机的外部参数修正量小于设定值。

下面详细说明本实施例的多深度摄像机外部参数标定方法的各步骤的具体流程。

在步骤S101中，电子设备(如多深度摄像机系统等)使用多个深度摄像机拍摄同一参照图，以获取该参照物在每个深度摄像机中的参照物参数。

该深度摄像机为可测量参照物的颜色(红绿蓝等)以及深度的摄像机。具体的，多个深度摄像机可以不同的拍摄高度以及拍摄角度拍摄同一参照物，以得到可通过多张不同高度和角度的参照物参数来对多个深度摄像机进行外部参数的标定。

如图1b中的多深度摄像机系统包括第一深度摄像机、第二深度摄像机、第三深度摄像机、第四深度摄像机、……、第九深度摄像机以及第十深度摄像机。上述十个深度摄像机11的拍摄角度均不同，这里设定十个深度摄像机11均匀的分布在参照物12的周围，十个深度摄像机11的拍摄高度可以设置相同或不同。

请参照图1c，图1c为本发明的多深度摄像机外部参数标定方法的第一实施例的参照物的结构示意图。该参照物为二维码棋盘格，该二维码棋盘格包括间隔设置的黑色区域121以及白色区域122，棋盘格的交界处可以提供非常准确的特征点。白色区域设置有具有唯一编码的二维码123，以便为每个特征点进行独立编号。二维码棋盘格中随机设置有具有设定灰度值的浅色点124，以增加纯色区域(白色区域122和黑色区域121)的纹理特征，使得纯色区域的深度检测更加准确。

这样将一个或多个二维码棋盘格作为参照物12放置在拍摄场景中，使用多个深度摄像机11同时拍摄，从而获取参照物在每个深度摄像机11中的参照物参数。该参照物参数包括参照物的位置信息(水平位置、垂直位置以及深度位置)以及参照物的颜色信息等。

在本实施例中，二维码棋盘格的棋盘格的展示面朝上设置在所有的深度摄像机11之间，这样多深度摄像机系统的所有深度摄像机11可从不同的角度拍摄同一参照物12，由于拍摄参照物12的拍摄区域相同，不存在拍摄遮挡区域，仅仅是拍摄角度不同，因此更加方便不同深度摄像机11之间的像素匹配，提高了获取的相对外部参数的准确性。

在步骤S102中，电子设备基于步骤S101获取的每个深度摄像机中的参照物参数，获取相邻两个深度摄像机的相对外部参数。其中多深度摄像机系统包括依次相邻的n个深度摄像机。

具体请参照图2，图2为本发明的多深度摄像机外部参数标定方法的第一实施例的步骤S102的流程图。该步骤S102包括：

步骤S201，电子设备基于初始世界坐标系设置第m深度摄像机的外部参数，该外部参数包括旋转参数以及平移参数；其中m＝1；即直接将第m深度摄像机的外部参数所定义的坐标系设定为初始世界坐标系。这样可通过外部参数出传递的方法对各个深度摄像机的外部参数进行初始化。

步骤S202，电子设备根据第m深度摄像机的外部参数以及参照物参数、以及与第m深度摄像机相邻的第m+1深度摄像机中的参照物参数，计算第m+1 深度摄像机与第m深度摄像机的相对外部参数。

如第m深度摄像机对应的参照物参数中的参照物的位置信息为X_m，第m+1 深度摄像机中参照物的位置信息为X_m+1，第m深度摄像机的外部参数的旋转参数为R_m，第m深度摄像机的外部参数的平移参数为t_m，第m+1深度摄像机的外部参数的旋转参数为R_m+1，第m+1深度摄像机的外部参数的平移参数为t_m+1，则：

即第m+1深度摄像机的相对外部参数为：

R_mm+1X_m+t_mm+1＝X_m+1；

其中R_mm+1为第m+1深度摄像机相对第m深度摄像机的相对旋转参数， t_mm+1为第m+1深度摄像机相对第m深度摄像机的相对平移参数。这样第m+1 深度摄像机的旋转参数和平移参数为：

R_m+1＝R_mm+1R_m

t_m+1＝R_mm+1t_m+t_mm+1。

其中R_m+1为第m+1深度摄像机的旋转参数，t_m+1为第m+1深度摄像机的平移参数。

步骤S203，将对m进行计数操作，即m＝m+1，返回步骤S202，直至m＝n。

这样即获取了所有相邻两个深度摄像机的相对外部参数，即在确定一深度摄像机的预设外部参数的基础上，可获取所有深度摄像机的预设外部参数。

在步骤S103中，电子设备根据相邻两个深度摄像机的相对外部参数、以及相邻两个深度摄像机的拍摄画面的画面像素颜色，获取相邻两个深度摄像机的对应像素的拍摄彩色误差量。

具体请参照图3，图3为本发明的多深度摄像机外部参数标定方法的第一实施例的步骤S103的流程图。该步骤S103包括：

步骤S301，电子设备获取第m深度摄像机的拍摄画面的画面像素位置以及画面像素颜色。

步骤S302，电子设备基于第m深度摄像机的拍摄画面的画面像素位置，以及第m深度摄像机与第m+1深度摄像机的相对外部参数，计算第m深度摄像机上的画面像素到第m+1深度摄像机上的像素投影，从而可获取对应的第 m+1深度摄像机上的画面像素位置，进而获取第m+1深度摄像机的拍摄画面对应的画面像素颜色。

步骤S303，电子设备根据以下公式设定第m深度摄像机与第m+1深度摄像机的拍摄彩色误差量。

其中

为第m深度摄像机上的像素p点与第m+1深度摄像机上对应像素点的拍摄彩色误差量，I_pm为第m深度摄像机上的像素p点的画面像素颜色， X_pm为第m深度摄像机上的像素p点的画面像素位置；I_pm+1为第m+1深度摄像机的对应像素p点的画面像素颜色，P_m+1为第m+1深度摄像机的预设投影矩阵， ΔR_m为第m深度摄像机的旋转参数修正量，Δt_m为第m深度摄像机的平移参数修正量。

在步骤S104中，电子设备根据相邻两个深度摄像机的相对外部参数、以及相邻两个深度摄像机的拍摄画面的画面像素深度，获取相邻两个深度摄像机的对应像素的拍摄深度误差量。

具体请参照图4，图4为本发明的多深度摄像机外部参数标定方法的第一实施例的步骤S104的流程图。该步骤S104包括：

步骤S401，电子设备获取第m深度摄像机的拍摄画面的画面像素位置。

步骤S402，电子设备基于第m深度摄像机的拍摄画面的画面像素位置、以及第m深度摄像机与第m+1深度摄像机的相对外部参数，计算第m+1深度摄像机的拍摄画面对应的画面像素位置。

步骤S403，电子设备根据以下公式设定第m深度摄像机与第m+1深度摄像机的拍摄深度误差量：

其中

为第m深度摄像机上的像素p点与第m+1深度摄像机上对应像素点的拍摄深度误差量，X_pm为第m深度摄像机上的像素p点的画面像素位置； X_pm+1为第m+1深度摄像机的对应像素p点的画面像素位置，ΔR_m为第m深度摄像机的旋转参数修正量，Δt_m为第m深度摄像机的平移参数修正量。

在步骤S105中，电子设备根据相邻两个深度摄像机的相对外部参数、以及相邻两个深度摄像机的拍摄画面的画面特征点，获取相邻两个深度摄像机的对应画面特征点的画面特征点误差量。

具体请参照图5，图5为本发明的多深度摄像机外部参数标定方法的第一实施例的步骤S105的流程图。该步骤S105包括：

步骤S501，电子设备获取第m深度摄像机的拍摄画面的画面特征点的位置；

步骤S502，电子设备基于第m深度摄像机的拍摄画面的画面特征点的位置、以及第m深度摄像机与第m+1深度摄像机的相对外部参数，计算第m+1 深度摄像机的拍摄画面对应的画面特征点的位置。

步骤S503，电子设备根据以下公式设定第m深度摄像机与第m+1深度摄像机的画面特征点误差量：

其中

为第m深度摄像机上的画面特征点q与第m+1深度摄像机上对应画面特征点的画面特征点误差量，X_qm为第m深度摄像机上的画面特征点q 的画面像素位置；P_m+1为第m+1深度摄像机的预设投影矩阵，Q_m+1为第m+1 深度摄像机的对应画面特征点q的画面特征点的位置，ΔR_m为第m深度摄像机的旋转参数修正量，Δt_m为第m深度摄像机的平移参数修正量。

在步骤S106中，电子设备基于相邻两个深度摄像机的对应像素的拍摄彩色误差量、相邻两个深度摄像机的对应像素的拍摄深度误差量、以及相邻两个深度摄像机的对应画面特征点的画面特征点误差量，计算每个深度摄像机的外部参数修正量。

具体请参照图6，图6为本发明的多深度摄像机外部参数标定方法的第一实施例的步骤S106的流程图。该步骤S106包括：

步骤S601，将每个深度摄像机的拍摄彩色误差量、拍摄深度误差量以及画面特征点误差量进行叠加，生成该深度摄像机的深度摄像机能量项。

将所有的深度摄像机的深度摄像机能量项进行叠加，获取该深度摄像机系统的深度摄像机能量项的和。

步骤S602，使用高斯牛顿梯度下降算法求该深度摄像机能量项的和的最小值，以得到对应的所有深度摄像机的旋转参数修正量以及平移参数修正量。

具体的，对于n个深度摄像机，每个深度摄像机均具有旋转参数向量(一般为3个变量)以及位移参数向量(一般为3个变量)，这里假设每个深度摄像机均具有M个深度摄像机能量项，则得到该深度摄像机系统的误差向量r，到该误差向量r进行未知数求导可得到雅可比矩阵J(M*6n)。

高斯牛顿梯度下降算法每次下降值为：

Δ＝-(J^TJ)^-1J^Tr；

这样重复多次高斯牛顿梯度下降就可得到对应的所有深度摄像机的旋转参数修正量以及平移参数修正量。

步骤S107，电子设备使用步骤S106获取的每个深度摄像机的旋转参数修正量以及平移参数修正量对深度摄像机的相对外部参数(或外部参数)进行修正；并以修正后的相对外部参数返回步骤S103至步骤S105，直至每个深度摄像机的外部参数修正量小于设定值。

这样即完成了本实施例的多深度摄像机外部参数标定方法的多深度摄像机的外部参数的标定过程。

本实施例的步骤S103至步骤S105的过程是基于深度摄像机的相对外部参数来获取拍摄深度误差量、拍摄颜色误差量以及画面特征点误差量，上述三个误差量的获取顺序可根据用户的要求进行调整或对三个误差量进行并行获取等。

本实施例的多深度摄像机外部参数标定方法通过拍摄深度误差量、拍摄颜色误差量以及画面特征点误差量来对深度摄像机的外部参数进行修正，由于获取了拍摄颜色信息以及画面特征点信息，因此可较好的对物体表面纹理进行确定，避免重影现象的发生；通过相对外部参数求解外部参数修正量，便于迭代计算的收敛，降低了整体资源的消耗。

请参照图7，图7为本发明的多深度摄像机外部参数标定方法的第二实施例的流程图。本实施例的多深度摄像机外部参数标定方法可使用上述的电子设备进行实施，本实施例的多深度摄像机外部参数标定方法包括：

步骤S701，使用多个深度摄像机拍摄同一参照物，以获取参照物在每个深度摄像机中的参照物参数；并将多个深度摄像机按位置分为多个摄像机组，每个摄像机组包括至少三个深度摄像机，相邻摄像机组至少包括一个相同的深度摄像机；

步骤S702，基于每个深度摄像机中的参照物参数，获取每个摄像机组中的任意两个深度摄像机的相对外部参数；

步骤S703，基于每个摄像机组中的任意两个深度摄像机的相对外部参数，以及每个摄像机组中的任意两个深度摄像机的拍摄画面的画面像素颜色，获取每个摄像机组中的任意两个相邻深度摄像机的对应像素的拍摄彩色误差量；

步骤S704，根据每个摄像机组中的任意两个深度摄像机的相对外部参数、以及每个摄像机组中的任意两个深度摄像机的拍摄画面的画面像素深度，获取每个摄像机组中的任意两个深度摄像机的对应像素的拍摄深度误差量；

步骤S705，根据每个摄像机组中的任意两个深度摄像机的相对外部参数、以及每个摄像机组中的任意两个深度摄像机的拍摄画面的画面特征点，获取每个摄像机组中的任意两个深度摄像机的对应画面特征点的画面特征点误差量；

步骤S706，基于每个深度摄像机的对应像素的拍摄彩色误差量、每个深度摄像机的对应像素的拍摄深度误差量、以及每个深度摄像机的对应画面特征点的画面特征点误差量，计算每个深度摄像机的外部参数修正量；

步骤S707，使用每个深度摄像机的外部参数修正量对深度摄像机的相对外部参数进行修正，并返回步骤S703，直至每个深度摄像机的外部参数修正量小于设定值。

在第一实施例的基础上，本实施例对多个深度摄像机按位置进行分组操作，如深度摄像机系统包括依次相邻的十个深度摄像机，分别为第一深度摄像机、第二深度摄像机、……至第十深度摄像机。这里可将第一深度摄像机、第二深度摄像机以及第三深度摄像机设置为一组；第二深度摄像机、第三深度摄像机、第四深度摄像机、第五深度摄像机设置为一组，第五深度摄像机、第六深度摄像机以及第七深度摄像机设置为一组，第六深度摄像机、第七深度摄像机、第八深度摄像机、第九深度摄像机以及第十深度摄像机设置为一组。

具体的分组方式可按客户要求进行设定，一般拍摄位置较为接近或拍摄角度较为接近的深度摄像机可设置为一个摄像机组。

其中相邻摄像机组至少包括一个相同的深度摄像机，以确保相对外部参数可以通过一个摄像机组传递到邻近的摄像机组。如相邻摄像机组中包括多个相同的深度摄像机，则可将多个深度摄像机的相对外部参数传递到邻近的摄像机组中，从而尽量降低由于相对外部参数多次传递导致的累计误差。

后续电子设备获取每个摄像机组中的任意两个深度摄像机的相对外部参数，即在第一个摄像机组中，电子设备获取第一深度摄像机和第二深度摄像机的相对外部参数、第二深度摄像机和第三摄像摄像机的相对外部参数、以及第一深度摄像机与第三深度神相机的相对外部参数。

在第二个摄像机组中，电子设备获取第一深度摄像机和第三深度摄像机的相对外部参数、第二深度摄像机和第四摄像摄像机的相对外部参数、第二深度摄像机与第五深度神相机的相对外部参数、第三深度摄像机和第四深度摄像机的相对外部参数、第三深度摄像机和第五深度摄像机的相对外部参数、以及第四深度摄像机和第五深度摄像机的相对外部参数。

即第二深度摄像机和第三深度摄像机可在两个相邻摄像机组中均参与相对外部参数的传递。

步骤S703至步骤S707中的拍摄彩色误差量、拍摄深度误差量、画面特征点误差量、外部参数修正量的计算以及相对外部参数的修正，与上述的多深度摄像机外部参数标定方法的第一实施例中的计算过程相同或相似，具体请参照上述多深度摄像机外部参数标定方法的第一实施例中的步骤S103至步骤S107 中的相关描述。

在第一实施例的基础上，本实施例的多深度摄像机外部参数标定方法对多个深度摄像机进行分组操作，相邻摄像机组之间具有一个或多个相同的深度摄像机。在每个摄像机组中，计算任意两个深度摄像机的相对外部参数，从而将相对外部参数从相邻深度摄像机之间的传递转化为相邻摄像机组之间的传递，减少了相对外部参数的传递次数，从而降低了由于相对外部参数多次传递导致的累计误差，进一步降低了外部参数的计算量，降低了整体资源的消耗。

本发明还提供一种多深度摄像机外部参数标定装置，请参照图8，图8为本发明的多深度摄像机外部参数标定装置的一实施例的结构示意图。本实施例的多深度摄像机外部参数标定装置可使用上述的多深度摄像机外部参数标定方法的第一实施例进行实施，该多深度摄像机外部参数标定装置80包括参照物参数获取模块81、相对外部参数获取模块82、拍摄彩色误差量获取模块83、拍摄深度误差量获取模块84、画面特征点误差量获取模块85、外部参数修正量计算模块86以及外部参数修正模块87。

参照物参数获取模块81用于使用多个深度摄像机拍摄同一参照物，以获取参照物在每个深度摄像机中的参照物参数；相对外部参数获取模块82用于基于每个深度摄像机中的参照物参数，获取相邻两个深度摄像机的相对外部参数；拍摄彩色误差量获取模块83用于根据相邻两个深度摄像机的相对外部参数、以及相邻两个深度摄像机的拍摄画面的画面像素颜色，获取相邻两个深度摄像机的对应像素的拍摄彩色误差量；拍摄深度误差量获取模块84用于根据相邻两个深度摄像机的相对外部参数、以及相邻两个深度摄像机的拍摄画面的画面像素深度，获取相邻两个深度摄像机的对应像素的拍摄深度误差量；画面特征点误差量获取模块85用于根据相邻两个深度摄像机的相对外部参数、以及相邻两个深度摄像机的拍摄画面的画面特征点，获取相邻两个深度摄像机的对应画面特征点的画面特征点误差量；外部参数修正量计算模块86用于基于相邻两个深度摄像机的对应像素的拍摄彩色误差量、相邻两个深度摄像机的对应像素的拍摄深度误差量、以及相邻两个深度摄像机的对应画面特征点的画面特征点误差量，计算每个深度摄像机的外部参数修正量；外部参数修正模块87用于使用每个深度摄像机的外部参数修正量对深度摄像机的相对外部参数进行修正。

本实施例的多深度摄像机外部参数标定装置80使用时，首先参照物参数获取模块81使用多个深度摄像机拍摄同一参照图，以获取该参照物在每个深度摄像机中的参照物参数。

随后相对外部参数获取模块82基于获取的每个深度摄像机中的参照物参数，获取相邻两个深度摄像机的相对外部参数。其中多深度摄像机系统包括依次相邻的n个深度摄像机。

然后拍摄彩色误差量获取模块83根据相邻两个深度摄像机的相对外部参数、以及相邻两个深度摄像机的拍摄画面的画面像素颜色，获取相邻两个深度摄像机的对应像素的拍摄彩色误差量。

随后拍摄深度误差量获取模块84根据相邻两个深度摄像机的相对外部参数、以及相邻两个深度摄像机的拍摄画面的画面像素深度，获取相邻两个深度摄像机的对应像素的拍摄深度误差量。

然后画面特征点误差量获取模块85根据相邻两个深度摄像机的相对外部参数、以及相邻两个深度摄像机的拍摄画面的画面特征点，获取相邻两个深度摄像机的对应画面特征点的画面特征点误差量。

随后外部参数修正量计算模块86基于相邻两个深度摄像机的对应像素的拍摄彩色误差量、相邻两个深度摄像机的对应像素的拍摄深度误差量、以及相邻两个深度摄像机的对应画面特征点的画面特征点误差量，计算每个深度摄像机的外部参数修正量。

最后外部参数修正模块87使用获取的每个深度摄像机的旋转参数修正量以及平移参数修正量对深度摄像机的相对外部参数(或外部参数)进行修正；并以修正后的相对外部参数返回至拍摄彩色误差量获取模块、拍摄深度误差量获取模块以及画面特征点误差量获取模块，直至每个深度摄像机的外部参数修正量小于设定值。

这样即完成了本实施例的多深度摄像机外部参数标定装置80的多深度摄像机的外部参数的标定过程。

本实施例的多深度摄像机外部参数标定装置的具体工作原理与上述的多深度摄像机外部参数标定方法的第一实施例中的描述相同或相似，具体请参见上述多深度摄像机外部参数标定方法的第一实施例中的相关描述。

本实施例的多深度摄像机外部参数标定装置通过拍摄深度误差量、拍摄颜色误差量以及画面特征点误差量来对深度摄像机的外部参数进行修正，由于获取了拍摄颜色信息以及画面特征点信息，因此可较好的对物体表面纹理进行确定，避免重影现象的发生；通过相对外部参数求解外部参数修正量，便于迭代计算的收敛，降低了整体资源的消耗。

本发明的多深度摄像机外部参数标定方法及装置通过拍摄深度误差量、拍摄颜色误差量以及画面特征点误差量来对深度摄像机的外部参数进行修正，由于获取了拍摄颜色信息以及画面特征点信息，因此可较好的对物体表面纹理进行确定，避免重影现象的发生；通过相对外部参数求解外部参数修正量，便于迭代计算的收敛，降低了整体资源的消耗；有效解决了现有的多深度摄像机系统的画面处理后期容易出现重影现象，且画面处理的资源消耗较大的技术问题。

如本申请所使用的术语“组件”、“模块”、“系统”、“接口”、“进程”等等一般地旨在指计算机相关实体：硬件、硬件和软件的组合、软件或执行中的软件。例如，组件可以是但不限于是运行在处理器上的进程、处理器、对象、可执行应用、执行的线程、程序和/或计算机。通过图示，运行在控制器上的应用和该控制器二者都可以是组件。一个或多个组件可以有在于执行的进程和/或线程内，并且组件可以位于一个计算机上和/或分布在两个或更多计算机之间。

图9和随后的讨论提供了对实现本发明所述的多深度摄像机外部参数标定装置所在的电子设备的工作环境的简短、概括的描述。图9的工作环境仅仅是适当的工作环境的一个实例并且不旨在建议关于工作环境的用途或功能的范围的任何限制。实例电子设备912包括但不限于可穿戴设备、头戴设备、医疗健康平台、个人计算机、服务器计算机、手持式或膝上型设备、移动设备(比如移动电话、个人数字助理(PDA)、媒体播放器等等)、多处理器系统、消费型电子设备、小型计算机、大型计算机、包括上述任意系统或设备的分布式计算环境，等等。

尽管没有要求，但是在“计算机可读指令”被一个或多个电子设备执行的通用背景下描述实施例。计算机可读指令可以经由计算机可读介质来分布(下文讨论)。计算机可读指令可以实现为程序模块，比如执行特定任务或实现特定抽象数据类型的功能、对象、应用编程接口(API)、数据结构等等。典型地，该计算机可读指令的功能可以在各种环境中随意组合或分布。

图9图示了包括本发明的多深度摄像机外部参数标定装置中的一个或多个实施例的电子设备912的实例。在一种配置中，电子设备912包括至少一个处理单元916和存储器918。根据电子设备的确切配置和类型，存储器918可以是易失性的(比如RAM)、非易失性的(比如ROM、闪存等)或二者的某种组合。该配置在图9中由虚线914图示。

在其他实施例中，电子设备912可以包括附加特征和/或功能。例如，设备912还可以包括附加的存储装置(例如可移除和/或不可移除的)，其包括但不限于磁存储装置、光存储装置等等。这种附加存储装置在图9中由存储装置 920图示。在一个实施例中，用于实现本文所提供的一个或多个实施例的计算机可读指令可以在存储装置920中。存储装置920还可以存储用于实现操作系统、应用程序等的其他计算机可读指令。计算机可读指令可以载入存储器918 中由例如处理单元916执行。

本文所使用的术语“计算机可读介质”包括计算机存储介质。计算机存储介质包括以用于存储诸如计算机可读指令或其他数据之类的信息的任何方法或技术实现的易失性和非易失性、可移除和不可移除介质。存储器918和存储装置 920是计算机存储介质的实例。计算机存储介质包括但不限于RAM、ROM、 EEPROM、闪存或其他存储器技术、CD-ROM、数字通用盘(DVD)或其他光存储装置、盒式磁带、磁带、磁盘存储装置或其他磁存储设备、或可以用于存储期望信息并可以被电子设备912访问的任何其他介质。任意这样的计算机存储介质可以是电子设备912的一部分。

电子设备912还可以包括允许电子设备912与其他设备通信的通信连接 926。通信连接926可以包括但不限于调制解调器、网络接口卡(NIC)、集成网络接口、射频发射器/接收器、红外端口、USB连接或用于将电子设备912连接到其他电子设备的其他接口。通信连接926可以包括有线连接或无线连接。通信连接926可以发射和/或接收通信媒体。

术语“计算机可读介质”可以包括通信介质。通信介质典型地包含计算机可读指令或诸如载波或其他传输机构之类的“己调制数据信号”中的其他数据，并且包括任何信息递送介质。术语“己调制数据信号”可以包括这样的信号：该信号特性中的一个或多个按照将信息编码到信号中的方式来设置或改变。

电子设备912可以包括输入设备924，比如键盘、鼠标、笔、语音输入设备、触摸输入设备、红外相机、视频输入设备和/或任何其他输入设备。设备 912中也可以包括输出设备922，比如一个或多个显示器、扬声器、打印机和/ 或任意其他输出设备。输入设备924和输出设备922可以经由有线连接、无线连接或其任意组合连接到电子设备912。在一个实施例中，来自另一个电子设备的输入设备或输出设备可以被用作电子设备912的输入设备924或输出设备 922。

电子设备912的组件可以通过各种互连(比如总线)连接。这样的互连可以包括外围组件互连(PCI)(比如快速PCI)、通用串行总线(USB)、火线(IEEE 1394)、光学总线结构等等。在另一个实施例中，电子设备912的组件可以通过网络互连。例如，存储器918可以由位于不同物理位置中的、通过网络互连的多个物理存储器单元构成。

本领域技术人员将认识到，用于存储计算机可读指令的存储设备可以跨越网络分布。例如，可经由网络928访问的电子设备930可以存储用于实现本发明所提供的一个或多个实施例的计算机可读指令。电子设备912可以访问电子设备930并且下载计算机可读指令的一部分或所有以供执行。可替代地，电子设备912可以按需要下载多条计算机可读指令，或者一些指令可以在电子设备 912处执行并且一些指令可以在电子设备930处执行。

本文提供了实施例的各种操作。在一个实施例中，所述的一个或多个操作可以构成一个或多个计算机可读介质上存储的计算机可读指令，其在被电子设备执行时将使得计算设备执行所述操作。描述一些或所有操作的顺序不应当被解释为暗示这些操作必需是顺序相关的。本领域技术人员将理解具有本说明书的益处的可替代的排序。而且，应当理解，不是所有操作必需在本文所提供的每个实施例中存在。

而且，尽管已经相对于一个或多个实现方式示出并描述了本公开，但是本领域技术人员基于对本说明书和附图的阅读和理解将会想到等价变型和修改。本公开包括所有这样的修改和变型，并且仅由所附权利要求的范围限制。特别地关于由上述组件(例如元件、资源等)执行的各种功能，用于描述这样的组件的术语旨在对应于执行所述组件的指定功能(例如其在功能上是等价的)的任意组件(除非另外指示)，即使在结构上与执行本文所示的本公开的示范性实现方式中的功能的公开结构不等同。此外，尽管本公开的特定特征已经相对于若干实现方式中的仅一个被公开，但是这种特征可以与如可以对给定或特定应用而言是期望和有利的其他实现方式的一个或多个其他特征组合。而且，就术语“包括”、“具有”、“含有”或其变形被用在具体实施方式或权利要求中而言，这样的术语旨在以与术语“包含”相似的方式包括。

本发明实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。上述提到的存储介质可以是只读存储器，磁盘或光盘等。上述的各装置或系统，可以执行相应方法实施例中的方法。

综上所述，虽然本发明已以实施例揭露如上，实施例前的序号仅为描述方便而使用，对本发明各实施例的顺序不造成限制。并且，上述实施例并非用以限制本发明，本领域的普通技术人员，在不脱离本发明的精神和范围内，均可作各种更动与润饰，因此本发明的保护范围以权利要求界定的范围为准。

Claims

1.一种多深度摄像机外部参数标定方法，其特征在于，包括：

基于每个深度摄像机中的参照物参数，获取相邻两个深度摄像机的相对外部参数；其中所述相对外部参数包括相对旋转参数以及相对平移参数；

基于深度摄像机的拍摄彩色误差量、拍摄深度误差量以及画面特征点误差量，生成所述深度摄像机的深度摄像机能量项，将所有的深度摄像机的深度摄像机能量项进行叠加，获取该深度摄像机系统的摄像机能量项和；

使用高斯牛顿梯度下降算法求该深度摄像机系统的深度摄像机能量项和的最小值，以得到每个深度摄像机的旋转参数修正量以及平移参数修正量；

使用每个深度摄像机的旋转参数修正量以及平移参数修正量对所述深度摄像机的相对外部参数进行修正，并返回获取相邻两个深度摄像机的对应像素的拍摄彩色误差量、拍摄深度误差量以及画面特征点误差量的步骤，直至每个深度摄像机的旋转参数修正量以及平移参数修正量小于设定值。

2.根据权利要求1所述的多深度摄像机外部参数标定方法，其特征在于，所述参照物为二维码棋盘格，所述二维码棋盘格包括间隔设置的黑色区域以及白色区域，白色区域设置有具有唯一编码的二维码；所述二维码棋盘格中随机设置有具有设定灰度值的浅色点。

3.根据权利要求1所述的多深度摄像机外部参数标定方法，其特征在于，所述多深度摄像机系统包括依次相邻的n个深度摄像机；

所述基于每个深度摄像机中的参照物参数，获取相邻两个深度摄像机的相对外部参数的步骤包括：

基于初始世界坐标系设置第m深度摄像机的外部参数，其中外部参数包括旋转参数以及平移参数；m＝1；

根据所述第m深度摄像机的外部参数以及参照物参数、以及与所述第m深度摄像机相邻的第m+1深度摄像机中的参照物参数，计算与所述第m+1深度摄像机与所述第m深度摄像机的相对外部参数；

m＝m+1，返回计算相对外部参数的步骤，直至m＝n。

4.根据权利要求3所述的多深度摄像机外部参数标定方法，其特征在于，所述根据相邻两个深度摄像机的相对外部参数、以及相邻两个深度摄像机的拍摄画面的画面像素颜色，获取相邻两个深度摄像机的对应像素的拍摄彩色误差量的步骤包括：

获取第m深度摄像机的拍摄画面的画面像素位置以及画面像素颜色；

基于所述第m深度摄像机的拍摄画面的画面像素位置、以及第m深度摄像机与第m+1深度摄像机的相对外部参数，计算所述第m+1深度摄像机的拍摄画面对应的画面像素颜色；

根据以下公式设定所述第m深度摄像机与所述第m+1深度摄像机的拍摄彩色误差量：

其中

为第m深度摄像机上的像素p点与第m+1深度摄像机上对应像素点的拍摄彩色误差量，I_pm为第m深度摄像机上的像素p点的画面像素颜色，X_pm为第m深度摄像机上的像素p点的画面像素位置；I_pm+1为第m+1深度摄像机的对应像素p点的画面像素颜色，P_m+1为第m+1深度摄像机的预设投影矩阵，ΔR_m为所述第m深度摄像机的旋转参数修正量，Δt_m为所述第m深度摄像机的平移参数修正量。

5.根据权利要求3所述的多深度摄像机外部参数标定方法，其特征在于，所述根据相邻两个深度摄像机的相对外部参数、以及相邻两个深度摄像机的拍摄画面的画面像素深度，获取相邻两个深度摄像机的对应像素的拍摄深度误差量的步骤包括：

获取第m深度摄像机的拍摄画面的画面像素位置；

基于所述第m深度摄像机的拍摄画面的画面像素位置、以及第m深度摄像机与第m+1深度摄像机的相对外部参数，计算所述第m+1深度摄像机的拍摄画面对应的画面像素位置；

根据以下公式设定所述第m深度摄像机与第m+1深度摄像机的拍摄深度误差量：

其中

为第m深度摄像机上的像素p点与第m+1深度摄像机上对应像素点的拍摄深度误差量，X_pm为第m深度摄像机上的像素p点的画面像素位置；X_pm+1为第m+1深度摄像机的对应像素p点的画面像素位置，ΔR_m为所述第m深度摄像机的旋转参数修正量，Δt_m为所述第m深度摄像机的平移参数修正量。

6.根据权利要求3所述的多深度摄像机外部参数标定方法，其特征在于，所述根据相邻两个深度摄像机的相对外部参数、以及相邻两个深度摄像机的拍摄画面的画面特征点，获取相邻两个深度摄像机的对应画面特征点的画面特征点误差量的步骤包括：

获取第m深度摄像机的拍摄画面的画面特征点的位置；

基于所述第m深度摄像机的拍摄画面的画面特征点的位置、以及第m深度摄像机与第m+1深度摄像机的相对外部参数，计算所述第m+1深度摄像机的拍摄画面对应的画面特征点的位置；

根据以下公式设定所述第m深度摄像机与第m+1深度摄像机的画面特征点误差量：

其中

为第m深度摄像机上的画面特征点q与第m+1深度摄像机上对应画面特征点的画面特征点误差量，X_qm为第m深度摄像机上的画面特征点q的画面像素位置；P_m+1为第m+1深度摄像机的预设投影矩阵，Q_m+1为第m+1深度摄像机的对应画面特征点q的画面特征点的位置，ΔR_m为所述第m深度摄像机的旋转参数修正量，Δt_m为所述第m深度摄像机的平移参数修正量。

7.一种多深度摄像机外部参数标定方法，其特征在于，包括：

基于每个深度摄像机中的参照物参数，获取每个摄像机组中的任意两个深度摄像机的相对外部参数；其中所述相对外部参数包括相对旋转参数以及相对平移参数；

使用每个深度摄像机的旋转参数修正量以及平移参数修正量对所述深度摄像机的相对外部参数进行修正，并返回获取任意两个深度摄像机的对应像素的拍摄彩色误差量、拍摄深度误差量以及画面特征点误差量的步骤，直至每个深度摄像机的旋转参数修正量以及平移参数修正量小于设定值。

8.一种多深度摄像机外部参数标定装置，其特征在于，包括：

相对外部参数获取模块，用于基于每个深度摄像机中的参照物参数，获取相邻两个深度摄像机的相对外部参数；其中所述相对外部参数包括相对旋转参数以及相对平移参数；

外部参数修正量计算模块，用于基于深度摄像机的拍摄彩色误差量、拍摄深度误差量以及画面特征点误差量，生成所述深度摄像机的深度摄像机能量项，将所有的深度摄像机的深度摄像机能量项进行叠加，获取该深度摄像机系统的摄像机能量项和；使用高斯牛顿梯度下降算法求该深度摄像机系统的深度摄像机能量项和的最小值，以得到每个深度摄像机的旋转参数修正量以及平移参数修正量；以及

外部参数修正模块，用于使用每个深度摄像机的旋转参数修正量以及平移参数修正量对所述深度摄像机的相对外部参数进行修正。

9.一种存储介质，其内存储有处理器可执行指令，所述指令由一个或一个以上处理器加载，以执行如权利要求1至7中任一的多深度摄像机外部参数标定方法。