CN110378964A - 一种摄像机外参标定方法及装置、存储介质 - Google Patents

一种摄像机外参标定方法及装置、存储介质 Download PDF

Info

Publication number
CN110378964A
CN110378964A CN201811481282.6A CN201811481282A CN110378964A CN 110378964 A CN110378964 A CN 110378964A CN 201811481282 A CN201811481282 A CN 201811481282A CN 110378964 A CN110378964 A CN 110378964A
Authority
CN
China
Prior art keywords
point cloud
cloud data
imaging sensor
depth image
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811481282.6A
Other languages
English (en)
Other versions
CN110378964B (zh
Inventor
刘江
潘晖
彭成
杨家博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN201811481282.6A priority Critical patent/CN110378964B/zh
Publication of CN110378964A publication Critical patent/CN110378964A/zh
Application granted granted Critical
Publication of CN110378964B publication Critical patent/CN110378964B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例公开了一种摄像机外参标定方法及装置、存储介质，该方法包括：获得两个图像传感器中每个图像传感器对应的第一深度图像和第二深度图像；第一深度图像为包含背景内容的深度图像，第二深度图像为包含背景内容和前景内容的深度图像；两个图像传感器为至少两个图像传感器中视野范围重合、且相邻的两个图像传感器；根据第一深度图像和第二深度图像，计算所述每个图像传感器的点云数据，得到两个图像传感器中每个图像传感器的前景点云数据，前景点云数据为包含前景内容的点云数据；对前景点云数据和第一摄像机外参进行匹配迭代，得到两个图像传感器的第二摄像机外参。

Description

一种摄像机外参标定方法及装置、存储介质
技术领域
本发明涉及摄像机标定技术，尤其涉及一种摄像机外参标定方法及装置、存储介质。
背景技术
目前，在图像测量过程以及机器视觉应用中，为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，必须建立相机成像的几何模型，这些几何模型参数称为相机参数，求解相机参数的过程就称之为相机标定(或摄像机标定)；相机参数包括了决定摄像机坐标与世界坐标系之间相对位置关系的摄像机外参，现有的摄像机外参标定方法生成的摄像机外参，对图像中的像素点进行坐标转换后，转换后的坐标与该像素点在世界坐标系下的真实坐标往往存在几毫米误差，那么针对大规模场景中的多个摄像机，现有的标定方法得到的摄像机外参对应的整体误差较大。
发明内容
本发明的主要目的在于提出一种摄像机外参标定方法及装置、存储介质，能够提高摄像机外参的精度。
本发明的技术方案是这样实现的：
本发明实施例提供了一种摄像机外参标定方法，所述方法包括：
获得两个图像传感器中每个图像传感器对应的第一深度图像和第二深度图像；所述第一深度图像为包含背景内容的深度图像，所述第二深度图像为包含所述背景内容和前景内容的深度图像；所述两个图像传感器为至少两个图像传感器中视野范围重合、且相邻的两个图像传感器；
根据所述第一深度图像和所述第二深度图像，计算所述每个图像传感器的点云数据，得到所述两个图像传感器中每个图像传感器的前景点云数据，所述前景点云数据为包含所述前景内容的点云数据；
对所述前景点云数据和第一摄像机外参进行匹配迭代，得到所述两个图像传感器的第二摄像机外参；
其中，所述第一摄像机外参用于实现所述两个图像传感器中目标传感器向参照传感器的坐标转换，以得到坐标转换后的目标传感器；所述第二摄像机外参用于实现所述坐标转换后的目标传感器向所述参照传感器的坐标转换。
上述方案中，在所述获得两个图像传感器中每个图像传感器对应的第一深度图像和第二深度图像之前，所述方法还包括：
对所述两个图像传感器进行标定，得到所述第一摄像机外参。
上述方案中，在所述对所述两个图像传感器进行标定，得到所述第一摄像机外参之前，所述方法还包括：
根据预设的视野范围重合条件，设置所述至少两个图像传感器中第i个图像传感器和第i+1个图像传感器的水平距离，以使得所述第i个图像传感器的视野范围和所述第i+1个图像传感器的视野范围重合；其中，i为大于0、且小于I+1的正整数，I为至少两个图像传感器对应的传感器总个数；
将所述第i个图像传感器和所述第i+1个图像传感器，确定为所述两个图像传感器。
上述方案中，所述获得两个图像传感器中每个图像传感器对应的第一深度图像和第二深度图像，包括：
控制所述两个图像传感器，对所述背景内容进行拍摄，获得所述两个图像传感器中每个图像传感器对应的第一深度图像；
控制所述两个图像传感器，对所述背景内容和所述前景内容进行拍摄，获得所述两个图像传感器中每个图像传感器对应的第二深度图像。
上述方案中，所述根据所述第一深度图像和所述第二深度图像，计算所述每个图像传感器的点云数据，得到所述两个图像传感器中每个图像传感器的前景点云数据，包括：
利用所述每个图像传感器的深度传感器的摄像机内参，对所述第一深度图像进行坐标转换，得到所述每个图像传感器的第一点云数据；
利用所述每个图像传感器的深度传感器的摄像机内参，对所述第二深度图像进行坐标转换，得到所述每个图像传感器的第二点云数据；
对所述每个图像传感器的第一点云数据和第二点云数据进行前景处理，得到所述前景点云数据。
上述方案中，所述第一深度图像包括k帧深度图像；
对应地，所述利用所述每个图像传感器的深度传感器的摄像机内参，对所述第一深度图像进行坐标转换，得到所述每个图像传感器的第一点云数据，包括：
利用所述摄像机内参，对所述k帧深度图像中每一帧深度图像进行坐标转换，得到所述k帧深度图像中每一帧深度图像的点云数据；
根据所述点云数据，得到所述第一点云数据。
上述方案中，所述对所述每个图像传感器的第一点云数据和第二点云数据进行前景处理，得到所述前景点云数据，包括：
对所述每个图像传感器的第一点云数据和第二点云数据进行前景提取，得到所述两个图像传感器中每个图像传感器的差分点云数据；
利用前景特征，对所述每个图像传感器的差分点云数据进行像素点筛选，得到所述前景点云数据。
上述方案中，在所述对所述每个图像传感器的第一点云数据和第二点云数据进行前景提取之前，所述方法还包括：
获取所述每个图像传感器的第一点云数据对应的数据结构；
对应地，所述对所述每个图像传感器的第一点云数据和第二点云数据进行前景提取，得到所述两个图像传感器中每个图像传感器的差分点云数据，包括：
利用所述数据结构，对所述每个图像传感器的第一点云数据和所述第二点云数据进行前景提取，得到所述两个图像传感器中每个图像传感器的差分点云数据。
上述方案中，所述前景内容为运动物体，所述前景点云数据为运动物体点云数据；
对应地，所述利用前景特征，对所述每个图像传感器的差分点云数据进行像素点筛选，得到所述前景点云数据，包括：
对所述每个图像传感器的差分点云数据进行区域划分，得到所述两个图像传感器中每个图像传感器对应的候选运动物体区域；
利用地面方程系数和所述候选运动物体区域中每个候选运动物体区域中最高点的坐标，得到所述每个候选运动物体区域中最高点对应的地面高度；
根据预设高度阈值和所述每个候选运动物体区域中最高点对应的地面高度，判断所述每个运动物体候选区域是否为符合运动物体特征的区域；
当任意一个候选运动物体区域为不符合运动物体特征的区域时，从所述差分点云数据中删除所述任意一个候选运动物体区域，得到所述运动物体点云数据。
本发明实施例提供了一种摄像机外参标定装置，所述装置包括：获取单元、处理单元和迭代单元；其中，
所述获取单元，用于获得两个图像传感器中每个图像传感器对应的第一深度图像和第二深度图像；所述第一深度图像为包含背景内容的深度图像，所述第二深度图像为包含所述背景内容和前景内容的深度图像；所述两个图像传感器为至少两个图像传感器中视野范围重合、且相邻的两个图像传感器；
所述处理单元，用于根据所述第一深度图像和所述第二深度图像，计算所述每个图像传感器的点云数据，得到所述两个图像传感器中每个图像传感器的前景点云数据，所述前景点云数据为包含所述前景内容的点云数据；
所述迭代单元，用于对所述前景点云数据和第一摄像机外参进行匹配迭代，得到所述两个图像传感器的第二摄像机外参；其中，所述第一摄像机外参用于实现所述两个图像传感器中目标传感器向参照传感器的坐标转换，以得到坐标转换后的目标传感器；所述第二摄像机外参用于实现所述坐标转换后的目标传感器向所述参照传感器的坐标转换。
上述方案中，所述处理单元，还用于在所述获得两个图像传感器中每个图像传感器对应的第一深度图像和第二深度图像之前，对所述两个图像传感器进行标定，得到所述第一摄像机外参。
上述方案中，所述处理单元，还用于在所述对所述两个图像传感器进行标定，得到所述第一摄像机外参之前，根据预设的视野范围重合条件，设置所述至少两个图像传感器中第i个图像传感器和第i+1个图像传感器的水平距离，以使得所述第i个图像传感器的视野范围和所述第i+1个图像传感器的视野范围重合；其中，i为大于0、且小于I+1的正整数，I为至少两个图像传感器对应的传感器总个数；以及将所述第i个图像传感器和所述第i+1个图像传感器，确定为所述两个图像传感器。
上述方案中，所述获取单元，具体用于控制所述两个图像传感器，对所述背景内容进行拍摄，获得所述两个图像传感器中每个图像传感器对应的第一深度图像；以及控制所述两个图像传感器，对所述背景内容和所述前景内容进行拍摄，获得所述两个图像传感器中每个图像传感器对应的第二深度图像。
上述方案中，所述处理单元，具体用于利用所述每个图像传感器的深度传感器的摄像机内参，对所述第一深度图像进行坐标转换，得到所述每个图像传感器的第一点云数据；及利用所述每个图像传感器的深度传感器的摄像机内参，对所述第二深度图像进行坐标转换，得到所述每个图像传感器的第二点云数据；以及对所述每个图像传感器的第一点云数据和第二点云数据进行前景处理，得到所述前景点云数据。
上述方案中，所述第一深度图像包括k帧深度图像；
对应地，所述处理单元，具体用于利用所述摄像机内参，对所述k帧深度图像中每一帧深度图像进行坐标转换，得到所述k帧深度图像中每一帧深度图像的点云数据；以及根据所述点云数据，得到所述第一点云数据。
上述方案中，所述处理单元，具体用于对所述每个图像传感器的第一点云数据和第二点云数据进行前景提取，得到所述两个图像传感器中每个图像传感器的差分点云数据；以及利用前景特征，对所述每个图像传感器的差分点云数据进行像素点筛选，得到所述前景点云数据。
上述方案中，所述处理单元，还用于在所述对所述每个图像传感器的第一点云数据和第二点云数据进行前景提取之前，获取所述每个图像传感器的第一点云数据对应的数据结构；
对应地，所述处理单元，具体用于利用所述数据结构，对所述每个图像传感器的第一点云数据和所述第二点云数据进行前景提取，得到所述两个图像传感器中每个图像传感器的差分点云数据。
上述方案中，所述前景内容为运动物体，所述前景点云数据为运动物体点云数据；
对应地，所述处理单元，具体用于对所述每个图像传感器的差分点云数据进行区域划分，得到所述两个图像传感器中每个图像传感器对应的候选运动物体区域；及利用地面方程系数和所述候选运动物体区域中每个候选运动物体区域中最高点的坐标，得到所述每个候选运动物体区域中最高点对应的地面高度；及根据预设高度阈值和所述每个候选运动物体区域中最高点对应的地面高度，判断所述每个运动物体候选区域是否为符合运动物体特征的区域；以及当任意一个候选运动物体区域为不符合运动物体特征的区域时，从所述差分点云数据中删除所述任意一个候选运动物体区域，得到所述运动物体点云数据。
本发明实施例还提供了一种摄像机外参标定装置，所述装置包括：处理器、存储器和通信总线，所述存储器通过所述通信总线与所述处理器进行通信，所述存储器存储所述处理器可执行的一个或者多个程序，当所述一个或者多个程序被执行时，通过所述处理器执行上述任一项摄像机外参标定方法的步骤。
本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有程序，当所述程序被处理器执行时，导致所述处理器执行上述任一项摄像机外参标定方法的步骤。
本发明实施例提供一种摄像机外参标定方法及装置、存储介质，首先，获得两个图像传感器中每个图像传感器对应的第一深度图像和第二深度图像；所述第一深度图像为包含背景内容的深度图像，所述第二深度图像为包含所述背景内容和前景内容的深度图像；所述两个图像传感器为至少两个图像传感器中视野范围重合、且相邻的两个图像传感器；其次，根据所述第一深度图像和所述第二深度图像，计算所述每个图像传感器的点云数据，得到所述两个图像传感器中每个图像传感器的前景点云数据，所述前景点云数据为包含所述前景内容的点云数据；最后，对所述前景点云数据和第一摄像机外参进行匹配迭代，得到所述两个图像传感器的第二摄像机外参；其中，所述第一摄像机外参用于实现所述两个图像传感器中目标传感器向参照传感器的坐标转换，以得到坐标转换后的目标传感器；所述第二摄像机外参用于实现所述坐标转换后的目标传感器向所述参照传感器的坐标转换。采用上述技术实现方案，利用两个图像传感器中每个图像传感器的前景点云数据和第一摄像机外参，进行匹配迭代，得到两个图像传感器的第二摄像机外参，由于两个图像传感器为至少两个图像传感器中视野范围重合的两个图像传感器，那么两个图像传感器的摄像机外参有联系，可以得到两个图像传感器中以参照传感器为世界坐标系下的目标传感器的第一摄像机外参，并由于匹配迭代中的参考点云是两个图像传感器中的参照传感器的前景点云数据，匹配迭代中的目标点云可以根据第一摄像机外参和两个图像传感器中的目标传感器的前景点云数据获得，那么对参考点云和目标点云进行匹配迭代产生的第二摄像机外参，实现了对第一摄像机外参的转换结果进行更准确地转换，提高了摄像机外参的精度。
附图说明
图1为本发明实施例提供的一种摄像机外参标定系统的结构示意图；
图2为本发明实施例提供的一种摄像机外参标定方法的流程图；
图3为本发明实施例提供的至少两个图像传感器对应的一种链式结构示意图；
图4为本发明实施例提供的两个图像传感器的视野范围重合的示意图；
图5为本发明实施例提供的一种摄像机外参标定装置的结构示意图一；
图6为本发明实施例提供的一种摄像机外参标定装置的结构示意图二。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。
对本发明实施例进行进一步详细说明之前，对本发明实施例中涉及的名词和术语进行说明，除非另有定义，本发明实施例所使用的技术和科学术语与属于本发明实施例的技术领域的技术人员通常理解的含义相同。所使用的术语只是为了描述本发明实施例的目的，不是旨在限制本发明实施例，本发明实施例中涉及的名词和术语适用于如下的解释。
1)世界坐标系(world coordinate system)下的坐标表示为(Xw,Yw,Zw)。
2)相机坐标系(camera coordinate system)下的坐标表示为(Xc,Yc,Zc)。
3)图像坐标系(image coordinate system)下的坐标表示为(x,y)。
4)相机标定：世界坐标到图像坐标的映射。在图像测量过程以及机器视觉应用中，为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，必须建立相机成像的几何模型，这些几何模型参数就是相机参数。在大多数条件下这些参数必须通过实验与计算才能得到，这个求解参数的过程就称之为相机标定(或摄像机标定)；摄像机标定包括摄像机内参标定和摄像机外参标定。
5)摄像机内参：确定摄像机从三维空间到二维图像的投影关系(相机坐标系→成像平面坐标系)，内参数表示为M(fx、fy、u0、v0)，其中，fx、fy表示x方向和y方向的一个像素分别占多少长度单位，即一个像素代表的实际物理值的大小，其是实现图像物理坐标系与像素坐标系转换的关键。u0、v0表示图像的中心坐标和图像原点坐标之间相差的横向和纵向像素数。
6)摄像机外参：决定摄像机坐标与世界坐标系之间相对位置关系(世界坐标系→相机坐标系)，外参数表示为R、T，R＝R(α,β,γ)是旋转矩阵，分别是绕摄像机坐标系z轴旋转角度为γ，绕y轴旋转角度为β，绕x轴旋转角度为α，T＝(Tx,Ty,Tz)，是平移向量；6个参数组成(α,β,γ,Tx,Ty,Tz)为摄像机外参；Pc＝R＊Pw+T，其中，Pw为世界坐标，Pc是摄像机坐标。
7)大尺度场景：指标定规模较大的场景，使用多个传感器完成对于场景的标定过程。
8)精细化标定：精细化标定是建立在有相对较好的标定结果的情况下进行的进一步优化的过程。
9)RGBD传感器：传感器可以采集彩色图像(RGB data)和深度图像(Depth data)。
10)深度图像：图像中每个像素点存储的是场景中的物体距离传感器的距离信息，以毫米为单位。
11)点云数据：扫描资料以点的形式记录，每一个点包含有三维坐标，有些可能含有颜色信息(RGB)或反射强度信息(Intensity)。
12)链式结构：这里指的是从任意一个传感器出发，根据四邻域位置搜索的方式，可以将整个传感器布置关系连接成为两两连接成对的关系表达式。
下面参见图1，其为实现本发明各个实施例的一种摄像机外参标定系统的硬件结构示意图，该系统1可以包括：摄像机外参标定装置10、图像传感器11、图像传感器12、…、图像传感器1I，I为大于2的正整数；其中，摄像机外参标定装置10可以控制图像传感器进行图像采集，以根据图像传感器采集到的图像，标定摄像机外参；图像传感器可以为RGBD传感器，RGBD传感器包括彩色摄像机和深度摄像机，采用彩色摄像机(例如，RGB摄像机)捕获彩色图像，采用深度摄像机捕获深度图像，并且该彩色图像和该深度图像是对齐的，即该彩色图像和该深度图像的图像信息一样、捕获范围大小也一致。
本领域技术人员可以理解，图1中示出的摄像机外参标定系统的结构并不构成对摄像机外参标定系统的限定，摄像机外参标定系统可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
需要说明的是，本发明实施例可以基于图1所示的摄像机外参标定系统所实现。
实施例一
本发明实施例一提供一种摄像机外参标定方法，如图2所示，该方法包括：
S201：获得两个图像传感器中每个图像传感器对应的第一深度图像和第二深度图像；第一深度图像为包含背景内容的深度图像，第二深度图像为包含背景内容和前景内容的深度图像；两个图像传感器为至少两个图像传感器中视野范围重合、且相邻的两个图像传感器。
摄像机外参标定装置对放置在同一大尺度场景下的至少两个图像传感器，根据预设的视野范围重合条件，设置至少两个图像传感器中第i个图像传感器和第i+1个图像传感器的水平距离，以使得第i个图像传感器的视野范围和第i+1个图像传感器的视野范围重合，其中，i为大于0、且小于I+1的正整数，I为至少两个图像传感器对应的传感器总个数；至少两个图像传感器中第i个图像传感器和第i+1个图像传感器就是视野范围重合、且相邻的两个图像传感器；将两个图像传感器中的第i个图像传感器确定为参照传感器，将两个图像传感器中的第i+1个图像传感器确定为目标传感器，以参照传感器的相机坐标系为世界坐标系，对目标传感器的摄像机外参进行标定，该过程就是对两个图像传感器进行标定的过程；基于对两个图像传感器进行标定得到的标定结果，摄像机外参标定装置可以控制两个图像传感器中每个图像传感器对同一拍摄对象进行图像采集，利用两个图像传感器中每个图像传感器采集到的深度图像、以及标定结果，对两个图像传感器进行精细化标定。
在一些实施例中，摄像机外参标定装置为了使得至少两个图像传感器中第i个图像传感器的视野范围和第i+1个图像传感器的视野范围重合，建立至少两个图像传感器对应的链式结构，具体包括：在大尺度场景的水平面上建立n行m列的网格，n、m为大于0的正整数；从至少两个图像传感器中的第1个图像传感器开始，将至少两个图像传感器中的图像传感器布置在网格的第一行(或，第一列)上，再以第一行(或，第一列)的结束端为第二行(或，第二列)的起始端，将至少两个图像传感器中的图像传感器布置在网格的第二行(或，第二列)上，依次类推，直到将至少两个图像传感器中所有图像传感器布置在网格上；其中，将至少两个图像传感器中的第i+1个图像传感器布置在网格上时，根据预设的视野范围重合条件，设置第i+1个图像传感器与第i个图像传感器的横向距离或纵向距离，以使得第i+1个图像传感器的视野范围和第i个图像传感器的视野范围重合。
示例性地，如图3所示的至少两个图像传感器对应的一种链式结构示意图，至少两个图像传感器对应的I＝14，至少两个图像传感器包括：第1个图像传感器Cam1、第2个图像传感器Cam2、第3个图像传感器Cam3、…、第14个图像传感器Cam14，从至少两个图像传感器中的第1个图像传感器Cam1开始，根据预设的视野范围重合条件，将至少两个图像传感器中的14个图像传感器布置在网格中。
示例性地，如图4所示的两个图像传感器视野范围重合的示意图，预设的视野范围重合条件可以包括：第i个图像传感器Cami的从地面到预设高度h内的视野范围，与第i+1个图像传感器Cami+1的从地面到预设高度h内的视野范围有重合；图4中横线填充部分就是Cami和Cami+1的视野范围重合部分，可以知道Cami和Cami+1满足视野范围重合条件时，Cami和Cami+1的横向距离为L，其中，预设高度h可以为1m、2m或3m等。
在一些实施例中，在获得两个图像传感器中每个图像传感器对应的第一深度图像和第二深度图像之前，对两个图像传感器进行标定，得到第一摄像机参数，对两个图像传感器进行标定可以包括：利用标定板，对两个图像传感器进行标定；还可以包括：利用标定板，采用张正友标定方法，对两个图像传感器进行标定；其中，标定板可以为单平面棋盘格。
示例性地，控制两个图像传感器对同一标定板进行图像采集，获得两个图像传感器中每个图像传感器采集到的彩色图像，对采集到的彩色图像进行标定，得到第一摄像机外参；假设两个图像传感器中的参照传感器为Cami、目标传感器为Cami+1，参照传感器采集到的彩色图像中像素点坐标表示为Pi，目标传感器采集到的彩色图像中像素点坐标表示为Pi+1，得到的第一摄像机外参表示为Ri_i+1、Ti_i+1，可以根据Ri_i+1和Ti_i+1，将目标传感器Cami+1的坐标转换到参照传感器Cami的坐标系下，得到坐标转换后的目标传感器Cam’i+1，Cam’i+1对应的像素点坐标P’i+1可以表示为：
P’i+1＝Ri_i+1*Pi+1+Ti_i+1 (1)
在一些实施例中，摄像机外参标定装置控制两个图像传感器，对背景内容进行拍摄，获得两个图像传感器中每个图像传感器对应的第一深度图像；控制两个图像传感器，对背景内容和前景内容进行拍摄，获得两个图像传感器中每个图像传感器对应的第二深度图像；其中，场景内容包括运动物体，前景内容为场景内容中一个或多个运动物体对应的内容，背景内容为场景内容中除了前景内容之外的内容；运动物体为在场景中的位置或自身的姿态能够实时被改变的物体，例如，机器人、汽车等。
示例性地，摄像机外参标定装置控制两个图像传感器，在预设时长内对背景内容进行拍摄，得到每个图像传感器的第一图像，从第一图像中获得第一深度图像；控制两个图像传感器，在预设时长内对背景内容和前景内容进行拍摄，得到每个图像传感器的第二图像，从第二图像中获得第二深度图像。
示例性地，摄像机外参标定装置控制两个图像传感器，在同一时刻开始对背景内容进行拍摄，当拍摄时长等于预设拍摄时长，或者，拍摄的图像帧数等于预设帧数时，控制两个图像传感器停止拍摄，以使得每个传感器对应的第一深度图像包括k帧深度图像。
S202：根据每个图像传感器对应的第一深度图像和第二深度图像，计算每个图像传感器的点云数据，得到两个图像传感器中每个图像传感器的前景点云数据，前景点云数据为包含前景内容的点云数据。
摄像机外参标定装置根据每个图像传感器的第一深度图像，计算每个图像传感器的点云数据，得到每个图像传感器的第一点云数据，则第一点云数据为前景内容对应的点云数据；根据每个图像传感器的第二深度图像，计算每个图像传感器的点云数据，得到每个图像传感器的第二点云数据，则第二点云数据为前景内容和背景内容对应的点云数据；根据每个图像传感器的第一点云数据和第二点云数据，得到每个图像传感器的前景点云数据。
在一些实施例中，摄像机外参标定装置利用每个图像传感器的深度传感器的摄像机内参，对第一深度图像进行坐标转换，得到每个图像传感器的第一点云数据；利用每个图像传感器的深度传感器的摄像机内参，对第二深度图像进行坐标转换，得到每个图像传感器的第二点云数据；对每个图像传感器的第一点云数据和第二点云数据进行前景处理，得到前景点云数据。
示例性地，以第一深度图像为例，假设每个图像传感器对应的第一深度图像中的像素点坐标为(x,y,z)，z表示像素点的距离信息，利用每个图像传感器的深度传感器的摄像机外参M(fx、fy、u0、v0)，对第一深度图像进行坐标转换，得到的第一点云数据中像素点坐标(X,Y,Z)，(x,y,z)和(X,Y,Z)的关系表示为：
在一些实施例中，每个图像传感器对应的第一深度图像包括k帧深度图像，对应地，利用每个图像传感器的深度传感器的摄像机内参，对第一深度图像进行坐标转换，得到每个图像传感器的第一点云数据，包括：利用摄像机内参，对k帧深度图像中每一帧深度图像进行坐标转换，得到k帧深度图像中每一帧深度图像的点云数据；根据点云数据，得到第一点云数据。
示例性地，摄像机外参标定装置得到每个图像传感器的k帧深度图像中每一帧深度图像的点云数据，对k帧深度图像中每一帧深度图像的点云数据进行滤波，得到k帧深度图像中每一帧深度图像的滤波后的点云数据，再对k帧深度图像的所有滤波后的点云数据进行求和或平均，得到每个图像传感器的第一点云数据background_cloud。
示例性地，对k帧深度图像中每一帧深度图像的点云数据进行滤波，包括：使用离群点滤波方法，对k帧深度图像中每一帧深度图像的点云数据进行滤波；离群点就是自身与相邻的点的平均距离大于标准距离的点，离群点滤波方法就是从数据中删除离群点的方法。
在一些实施例中，摄像机外参标定装置控制两个传感器在同一时刻对背景内容和前景内容进行一次拍摄，得到每个传感器对应的第二点云数据update_cloud，进而，摄像机外参标定装置还可以在前景内容改变后，控制两个传感器在同一时刻对背景内容和改变后的前景内容进行拍摄，对第二点云数据update_cloud进行更新。
在一些实施例中，对每个图像传感器的第一点云数据和第二点云数据进行前景处理，得到前景点云数据，包括：对每个图像传感器的第一点云数据和第二点云数据进行前景提取，得到两个图像传感器中每个图像传感器的差分点云数据；利用前景特征，对每个图像传感器的差分点云数据进行像素点筛选，得到两个图像传感器中每个图像传感器的前景点云数据。
示例性地，摄像机外参标定装置利用背景差分方法，对每个图像传感器的第一点云数据background_cloud和第二点云数据update_cloud进行前景提取，得到每个图像传感器的差分点云数据forewordground_cloud；利用前景特征，从forewordground_cloud中删除不符合前景特征的像素点，每个图像传感器的前景点云数据。
在一些实施例中，在对每个图像传感器的第一点云数据和第二点云数据进行前景提取之前，方法还包括：获取每个图像传感器的第一点云数据对应的数据结构；对应地，对每个图像传感器的第一点云数据和第二点云数据进行前景提取，得到所述两个图像传感器中每个图像传感器的差分点云数据，包括：利用数据结构，对每个图像传感器的第一点云数据和第二点云数据进行前景提取，得到所述两个图像传感器中每个图像传感器的差分点云数据。
示例性地，可以使用对三维空间数据进行处理的方法，获取每个图像传感器的第一点云数据对应的数据结构；对三维空间数据进行处理的方法包括：八叉树、KD(k-dimension)树等。
在一些实施例中，前景内容为运动物体，前景点云数据为运动物体点云数据；对应地，利用前景特征，对每个图像传感器的差分点云数据进行像素点筛选，得到两个图像传感器中每个图像传感器的前景点云数据，包括：对每个图像传感器的差分点云数据进行区域划分，得到两个图像传感器中每个图像传感器对应的候选运动物体区域；利用地面方程系数和候选运动物体区域中每个候选运动物体区域中最高点的坐标，得到每个候选运动物体区域中最高点对应的地面高度；根据每个候选运动物体区域中最高点对应的地面高度和预设高度阈值，判断每个运动物体候选区域是否为符合运动物体特征的区域；当任意一个候选运动物体区域为不符合运动物体特征的区域时，从差分点云数据中删除任意一个候选运动物体区域，得到运动物体点云数据。
示例性地，对每个图像传感器的差分点云数据进行区域划分，得到两个图像传感器中每个图像传感器对应的候选运动物体区域，可以包括：对每个图像传感器的差分点云数据进行聚类，得到两个图像传感器中每个图像传感器对应的像素点集合；根据每个图像传感器对应的所有像素点集合之间的关联性，对每个图像传感器对应的像素点集合进行合并，得到两个图像传感器中每个图像传感器对应的候选运动物体区域；其中，将所有像素点集合中关联性大于或等于预设关联阈值的两个像素点进行合并。
示例性地，得到两个图像传感器中每个图像传感器对应的候选运动物体区域之后，获取每个图像传感器对应的每个候选运动物体区域中最高点的坐标，以任意一个候选运动物体区域中最高点的坐标为例，假设任意一个候选运动物体区域中最高点的坐标Ptuser表示为(x0,y0,z0)，地面方程系数表示为(a,b,c)，就可以得到最高点的坐标Ptuser和地面方程系数的关系式为：
ax0+by0+cz0+1＝0 (3)
根据关系式(3)，可以得到最高点的坐标Ptuser对应的地面高度d，表示为：
根据预设第一高度阈值dmin、预设第二高度阈dmax、以及Ptuser对应的地面高度d，判断该任意一个候选运动物体区域是否为符合运动物体特征的区域，dmin、小于dmax，当dmin≤d≤dmax时，确定该任意一个候选运动物体区域符合运动物体特征，否则，确定该任意一个候选运动物体区域不符合运动物体特征，并从每个图像传感器的差分点云数据中删除该任意一个候选运动物体区域。
示例性地，前景内容为运动物体，前景点云数据为运动物体点云数据时，除了利用预设高度阈值得到运动物体点云数据，还可以根据运动物体的其他固有特征，设置前景特征，例如，根据运动物体的宽度，预设宽度阈值，获取每个图像传感器对应的候选运动物体区域中每个候选运动物体区域的宽度值，根据每个候选运动物体区域的宽度值和预设宽度阈值，判断每个运动物体候选区域是否为符合运动物体特征的区域。
需要说明的是，选取前景内容对应的运动物体时，可以选择不会发生反光或折射的物体，如此，可以避免场景中的物体反光以及折射对深度传感器的精度造成影响，以保证不影响摄像机外参的精度；其次，前景内容为运动物体时，由于运动物体位置和运动物体姿势可以任意变动，避免了采集的前景点云数据单一等问题，可以更新前景点云数据，以用于进一步提高摄像机外参的精度。
S203：对前景点云数据和第一摄像机外参进行匹配迭代，得到两个图像传感器的第二摄像机外参；第一摄像机外参用于实现两个图像传感器中目标传感器向参照传感器的坐标转换，以得到坐标转换后的目标传感器；第二摄像机外参用于实现坐标转换后的目标传感器向参照传感器的坐标转换。
摄像机外参标定装置将两个图像传感器中第i个图像传感器作为参考传感器，将两个图像传感器中第i+1个图像传感器作为目标传感器，对应的，将第i个图像传感器的前景点云数据作为参考点云，将第i+1个图像传感器的前景点云数据作为目标点云，将参考点云、目标点云、以及第一摄像机外参作为匹配迭代算法的输入，得到第二摄像机外参。
示例性地，匹配迭代算法包括ICP算法，一致性采样算法等。
在一些实施例中，对前景点云数据和第一摄像机外参进行匹配迭代，得到两个图像传感器的第二摄像机外参，可以包括：利用第一摄像机外参，对两个图像传感器中目标传感器的前景点云数据进行坐标转换，得到坐标转换后的前景点云数据，对坐标转换后的前景点云数据和两个图像传感器中参考传感器的前景点云数据进行匹配迭代，得到第二摄像机外参。
示例性地，摄像机外参标定装置利用第一摄像机外参，对第i+1个图像传感器的前景点云数据进行坐标转换，得到坐标转换后的前景点云数据，再将第i个图像传感器的前景点云数据作为参考点云，将坐标转换后的前景点云数据作为目标点云，对参考点云和目标点云进行匹配迭代，得到第二摄像机外参。
示例性地，假设两个图像传感器中的参照传感器为Cami、目标传感器为Cami+1，Cami的前景点云数据中像素点坐标表示为Di，Cami+1的前景点云数据中像素点坐标表示为Di+1；根据第一摄像机外参Ri_i+1和Ti_i+1，对Cami+1的像素点坐标Di+1进行坐标转换，得到的坐标转换后的像素点坐标D’i+1表示为：
D’i+1＝Ri_i+1*Di+1+Ti_i+1 (5)
利用得到的第二摄像机外参表示为R’i_i+1、T’i_i+1，对坐标转换后的像素点坐标D’i+1进行坐标转换，得到标定精细化后的像素点坐标D”i+1表示为：
D”i+1＝R’i_i+1*D’i+1+T’i_i+1＝R’i_i+1*(Ri_i+1*Di+1+Ti_i+1)+T’i_i+1 (6)
需要说明的是，获得至少两个图像传感器中所有相邻的两个图像传感器的第一摄像机外参、第二摄像机外参，以至少两个图像传感器对应的传感器总个数I＝3为例，获得至少两个图像传感器中第1个图像传感器和第2个图像传感器的第一摄像机外参R1_2和T1_2、第二摄像机外参R’1_2和T’1_2，至少两个图像传感器中第2个图像传感器和第3个图像传感器的第一摄像机外参R2_3和T2_3、第二摄像机外参R’2_3和T’2_3；利用第1个图像传感器和第2个图像传感器的第一摄像机外参和第二摄像机外参、以及第2个图像传感器和第3个图像传感器的第一摄像机外参和第二摄像机外参，能够将第3个图像传感器的坐标转换到第1个图像传感器的坐标系下；进一步地，当以第1个图像传感器的坐标为世界坐标系时，就能够将第2个图像传感器的坐标和第3个图像传感器的坐标转换到世界坐标系下。
可以理解的是，利用两个图像传感器中每个图像传感器的前景点云数据和第一摄像机外参，进行匹配迭代，得到两个图像传感器的第二摄像机外参，由于两个图像传感器为至少两个图像传感器中视野范围重合的两个图像传感器，那么两个图像传感器的摄像机外参有联系，可以得到两个图像传感器中以参照传感器为世界坐标系下的目标传感器的第一摄像机外参，并由于匹配迭代中的参考点云是两个图像传感器中的参照传感器的前景点云数据，匹配迭代中的目标点云可以根据第一摄像机外参和两个图像传感器中的目标传感器的前景点云数据获得，那么对参考点云和目标点云进行匹配迭代产生的第二摄像机外参，实现了对第一摄像机外参的转换结果进行更准确地转换，提高了摄像机外参的精度。
实施例二
为了能够更加体现本发明的目的，在前述方法实施例的基础上，进行进一步的举例说明。
本发明实施例提供一种摄像机外参标定装置2，如图5所示，该装置2包括：获取单元20、处理单元21和迭代单元22；其中，
获取单元20，用于获得两个图像传感器中每个图像传感器对应的第一深度图像和第二深度图像；第一深度图像为包含背景内容的深度图像，第二深度图像为包含背景内容和前景内容的深度图像；两个图像传感器为至少两个图像传感器中视野范围重合、且相邻的两个图像传感器；
处理单元21，用于根据第一深度图像和第二深度图像，计算每个图像传感器的点云数据，得到两个图像传感器中每个图像传感器的前景点云数据，前景点云数据为包含前景内容的点云数据；
迭代单元22，用于对前景点云数据和第一摄像机外参进行匹配迭代，得到两个图像传感器的第二摄像机外参；其中，第一摄像机外参用于实现两个图像传感器中目标传感器向参照传感器的坐标转换，以得到坐标转换后的目标传感器；第二摄像机外参用于实现坐标转换后的目标传感器向参照传感器的坐标转换。
在一些实施例中，处理单元21，还用于在获得两个图像传感器中每个图像传感器对应的第一深度图像和第二深度图像之前，对两个图像传感器进行标定，得到第一摄像机外参。
在一些实施例中，处理单元21，还用于在对两个图像传感器进行标定，得到第一摄像机外参之前，根据预设的视野范围重合条件，设置至少两个图像传感器中第i个图像传感器和第i+1个图像传感器的水平距离，以使得第i个图像传感器的视野范围和第i+1个图像传感器的视野范围重合；其中，i为大于0、且小于I+1的正整数，I为至少两个图像传感器对应的传感器总个数；以及将第i个图像传感器和第i+1个图像传感器，确定为两个图像传感器。
在一些实施例中，获取单元20，具体用于控制两个图像传感器，对背景内容进行拍摄，获得两个图像传感器中每个图像传感器对应的第一深度图像；以及控制两个图像传感器，对背景内容和前景内容进行拍摄，获得两个图像传感器中每个图像传感器对应的第二深度图像。
在一些实施例中，处理单元21，具体用于利用每个图像传感器的深度传感器的摄像机内参，对第一深度图像进行坐标转换，得到每个图像传感器的第一点云数据；及利用每个图像传感器的深度传感器的摄像机内参，对第二深度图像进行坐标转换，得到每个图像传感器的第二点云数据；以及对每个图像传感器的第一点云数据和第二点云数据进行前景处理，得到前景点云数据。
在一些实施例中，第一深度图像包括k帧深度图像；
对应地，处理单元21，具体用于利用摄像机内参，对k帧深度图像中每一帧深度图像进行坐标转换，得到k帧深度图像中每一帧深度图像的点云数据；以及根据点云数据，得到第一点云数据。
在一些实施例中，处理单元21，具体用于对每个图像传感器的第一点云数据和第二点云数据进行前景提取，得到两个图像传感器中每个图像传感器的差分点云数据；以及利用前景特征，对每个图像传感器的差分点云数据进行像素点筛选，得到所述前景点云数据。
在一些实施例中，处理单元21，还用于在所述对所述每个图像传感器的第一点云数据和第二点云数据进行前景提取之前，获取每个图像传感器的第一点云数据对应的数据结构；
对应地，处理单元21，具体用于利用数据结构，对每个图像传感器的第一点云数据和第二点云数据进行前景提取，得到所述两个图像传感器中每个图像传感器的差分点云数据。
在一些实施例中，前景内容为运动物体，前景点云数据为运动物体点云数据；
对应地，处理单元21，具体用于对每个图像传感器的差分点云数据进行区域划分，得到两个图像传感器中每个图像传感器对应的候选运动物体区域；及利用地面方程系数和候选运动物体区域中每个候选运动物体区域中最高点的坐标，得到每个候选运动物体区域中最高点对应的地面高度；及根据预设高度阈值和每个候选运动物体区域中最高点对应的地面高度，判断每个运动物体候选区域是否为符合运动物体特征的区域；以及当任意一个候选运动物体区域为不符合运动物体特征的区域时，从差分点云数据中删除任意一个候选运动物体区域，得到运动物体点云数据。
需要说明的是，在实际应用中，上述获取单元20、处理单元21、和迭代单元22，可由位于摄像机外参标定装置2上的处理器23实现，具体为CPU(Central Processing Unit，中央处理器)、MPU(Microprocessor Unit，微处理器)、DSP(Digital Signal Processing，数字信号处理器)或现场可编程门阵列(FPGA，Field Programmable Gate Array)等实现。
本发明实施例还提供了一种摄像机外参标定装置2，如图6所示，该装置2包括：处理器23、存储器24和通信总线25，存储器24通过通信总线25与处理器23进行通信，存储器24存储处理器23可执行的一个或者多个程序，当一个或者多个程序被执行时，通过处理器23执行如前述实施例所述的任意一种摄像机外参标定方法。
在实际应用中，存储器24可以是易失性第一存储器(volatile memory)，例如随机存取第一存储器(Random-Access Memory，RAM)；或者非易失性第一存储器(non-volatilememory)，例如只读第一存储器(Read-Only Memory，ROM)，快闪第一存储器(flashmemory)，硬盘(Hard Disk Drive，HDD)或固态硬盘(Solid-State Drive，SSD)；或者上述种类的第一存储器的组合，并向处理器23提供程序和数据。
本发明实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有程序，当所述程序被处理器23执行时，导致所述处理器23执行前述实施例所述的任意一种摄像机外参标定方法。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (20)

1.一种摄像机外参标定方法，其特征在于，所述方法包括：
获得两个图像传感器中每个图像传感器对应的第一深度图像和第二深度图像；所述第一深度图像为包含背景内容的深度图像，所述第二深度图像为包含所述背景内容和前景内容的深度图像；所述两个图像传感器为至少两个图像传感器中视野范围重合、且相邻的两个图像传感器；
根据所述第一深度图像和所述第二深度图像，计算所述每个图像传感器的点云数据，得到所述两个图像传感器中每个图像传感器的前景点云数据，所述前景点云数据为包含所述前景内容的点云数据；
对所述前景点云数据和第一摄像机外参进行匹配迭代，得到所述两个图像传感器的第二摄像机外参；
其中，所述第一摄像机外参用于实现所述两个图像传感器中目标传感器向参照传感器的坐标转换，以得到坐标转换后的目标传感器；所述第二摄像机外参用于实现所述坐标转换后的目标传感器向所述参照传感器的坐标转换。
2.根据权利要求1所述的方法，其特征在于，在所述获得两个图像传感器中每个图像传感器对应的第一深度图像和第二深度图像之前，所述方法还包括：
对所述两个图像传感器进行标定，得到所述第一摄像机外参。
3.根据权利要求2所述的方法，其特征在于，在所述对所述两个图像传感器进行标定，得到所述第一摄像机外参之前，所述方法还包括：
根据预设的视野范围重合条件，设置所述至少两个图像传感器中第i个图像传感器和第i+1个图像传感器的水平距离，以使得所述第i个图像传感器的视野范围和所述第i+1个图像传感器的视野范围重合；其中，i为大于0、且小于I+1的正整数，I为至少两个图像传感器对应的传感器总个数；
将所述第i个图像传感器和所述第i+1个图像传感器，确定为所述两个图像传感器。
4.根据权利要求1所述的方法，其特征在于，所述获得两个图像传感器中每个图像传感器对应的第一深度图像和第二深度图像，包括：
控制所述两个图像传感器，对所述背景内容进行拍摄，获得所述两个图像传感器中每个图像传感器对应的第一深度图像；
控制所述两个图像传感器，对所述背景内容和所述前景内容进行拍摄，获得所述两个图像传感器中每个图像传感器对应的第二深度图像。
5.根据权利要求1所述的方法，其特征在于，所述根据所述第一深度图像和所述第二深度图像，计算所述每个图像传感器的点云数据，得到所述两个图像传感器中每个图像传感器的前景点云数据，包括：
利用所述每个图像传感器的深度传感器的摄像机内参，对所述第一深度图像进行坐标转换，得到所述每个图像传感器的第一点云数据；
利用所述每个图像传感器的深度传感器的摄像机内参，对所述第二深度图像进行坐标转换，得到所述每个图像传感器的第二点云数据；
对所述每个图像传感器的第一点云数据和第二点云数据进行前景处理，得到所述前景点云数据。
6.根据权利要求5所述的方法，其特征在于，所述第一深度图像包括k帧深度图像；
对应地，所述利用所述每个图像传感器的深度传感器的摄像机内参，对所述第一深度图像进行坐标转换，得到所述每个图像传感器的第一点云数据，包括：
利用所述摄像机内参，对所述k帧深度图像中每一帧深度图像进行坐标转换，得到所述k帧深度图像中每一帧深度图像的点云数据；
根据所述点云数据，得到所述第一点云数据。
7.根据权利要求5所述的方法，其特征在于，所述对所述每个图像传感器的第一点云数据和第二点云数据进行前景处理，得到所述前景点云数据，包括：
对所述每个图像传感器的第一点云数据和第二点云数据进行前景提取，得到所述两个图像传感器中每个图像传感器的差分点云数据；
利用前景特征，对所述每个图像传感器的差分点云数据进行像素点筛选，得到所述前景点云数据。
8.根据权利要求7所述的方法，其特征在于，在所述对所述每个图像传感器的第一点云数据和第二点云数据进行前景提取之前，所述方法还包括：
获取所述每个图像传感器的第一点云数据对应的数据结构；
对应地，所述对所述每个图像传感器的第一点云数据和第二点云数据进行前景提取，得到所述两个图像传感器中每个图像传感器的差分点云数据，包括：
利用所述数据结构，对所述每个图像传感器的第一点云数据和所述第二点云数据进行前景提取，得到所述两个图像传感器中每个图像传感器的差分点云数据。
9.根据权利要求7所述的方法，其特征在于，所述前景内容为运动物体，所述前景点云数据为运动物体点云数据；
对应地，所述利用前景特征，对所述每个图像传感器的差分点云数据进行像素点筛选，得到所述前景点云数据，包括：
对所述每个图像传感器的差分点云数据进行区域划分，得到所述两个图像传感器中每个图像传感器对应的候选运动物体区域；
利用地面方程系数和所述候选运动物体区域中每个候选运动物体区域中最高点的坐标，得到所述每个候选运动物体区域中最高点对应的地面高度；
根据预设高度阈值和所述每个候选运动物体区域中最高点对应的地面高度，判断所述每个运动物体候选区域是否为符合运动物体特征的区域；
当任意一个候选运动物体区域为不符合运动物体特征的区域时，从所述差分点云数据中删除所述任意一个候选运动物体区域，得到所述运动物体点云数据。
10.一种摄像机外参标定装置，其特征在于，所述装置包括：获取单元、处理单元和迭代单元；其中，
所述获取单元，用于获得两个图像传感器中每个图像传感器对应的第一深度图像和第二深度图像；所述第一深度图像为包含背景内容的深度图像，所述第二深度图像为包含所述背景内容和前景内容的深度图像；所述两个图像传感器为至少两个图像传感器中视野范围重合、且相邻的两个图像传感器；
所述处理单元，用于根据所述第一深度图像和所述第二深度图像，计算所述每个图像传感器的点云数据，得到所述两个图像传感器中每个图像传感器的前景点云数据，所述前景点云数据为包含所述前景内容的点云数据；
所述迭代单元，用于对所述前景点云数据和第一摄像机外参进行匹配迭代，得到所述两个图像传感器的第二摄像机外参；其中，所述第一摄像机外参用于实现所述两个图像传感器中目标传感器向参照传感器的坐标转换，以得到坐标转换后的目标传感器；所述第二摄像机外参用于实现所述坐标转换后的目标传感器向所述参照传感器的坐标转换。
11.根据权利要求10所述的装置，其特征在于，所述处理单元，还用于在所述获得两个图像传感器中每个图像传感器对应的第一深度图像和第二深度图像之前，对所述两个图像传感器进行标定，得到所述第一摄像机外参。
12.根据权利要求11所述的装置，其特征在于，所述处理单元，还用于在所述对所述两个图像传感器进行标定，得到所述第一摄像机外参之前，根据预设的视野范围重合条件，设置所述至少两个图像传感器中第i个图像传感器和第i+1个图像传感器的水平距离，以使得所述第i个图像传感器的视野范围和所述第i+1个图像传感器的视野范围重合；其中，i为大于0、且小于I+1的正整数，I为至少两个图像传感器对应的传感器总个数；以及将所述第i个图像传感器和所述第i+1个图像传感器，确定为所述两个图像传感器。
13.根据权利要求10所述的装置，其特征在于，所述获取单元，具体用于控制所述两个图像传感器，对所述背景内容进行拍摄，获得所述两个图像传感器中每个图像传感器对应的第一深度图像；以及控制所述两个图像传感器，对所述背景内容和所述前景内容进行拍摄，获得所述两个图像传感器中每个图像传感器对应的第二深度图像。
14.根据权利要求10所述的装置，其特征在于，所述处理单元，具体用于利用所述每个图像传感器的深度传感器的摄像机内参，对所述第一深度图像进行坐标转换，得到所述每个图像传感器的第一点云数据；及利用所述每个图像传感器的深度传感器的摄像机内参，对所述第二深度图像进行坐标转换，得到所述每个图像传感器的第二点云数据；以及对所述每个图像传感器的第一点云数据和第二点云数据进行前景处理，得到所述前景点云数据。
15.根据权利要求14所述的装置，其特征在于，所述第一深度图像包括k帧深度图像；
对应地，所述处理单元，具体用于利用所述摄像机内参，对所述k帧深度图像中每一帧深度图像进行坐标转换，得到所述k帧深度图像中每一帧深度图像的点云数据；以及根据所述点云数据，得到所述第一点云数据。
16.根据权利要求14所述的装置，其特征在于，所述处理单元，具体用于对所述每个图像传感器的第一点云数据和第二点云数据进行前景提取，得到所述两个图像传感器中每个图像传感器的差分点云数据；以及利用前景特征，对所述每个图像传感器的差分点云数据进行像素点筛选，得到所述前景点云数据。
17.根据权利要求16所述的装置，其特征在于，所述处理单元，还用于在所述对所述每个图像传感器的第一点云数据和第二点云数据进行前景提取之前，获取所述每个图像传感器的第一点云数据对应的数据结构；
对应地，所述处理单元，具体用于利用所述数据结构，对所述每个图像传感器的第一点云数据和所述第二点云数据进行前景提取，得到所述两个图像传感器中每个图像传感器的差分点云数据。
18.根据权利要求16所述的装置，其特征在于，所述前景内容为运动物体，所述前景点云数据为运动物体点云数据；
对应地，所述处理单元，具体用于对所述每个图像传感器的差分点云数据进行区域划分，得到所述两个图像传感器中每个图像传感器对应的候选运动物体区域；及利用地面方程系数和所述候选运动物体区域中每个候选运动物体区域中最高点的坐标，得到所述每个候选运动物体区域中最高点对应的地面高度；及根据预设高度阈值和所述每个候选运动物体区域中最高点对应的地面高度，判断所述每个运动物体候选区域是否为符合运动物体特征的区域；以及当任意一个候选运动物体区域为不符合运动物体特征的区域时，从所述差分点云数据中删除所述任意一个候选运动物体区域，得到所述运动物体点云数据。
19.一种摄像机外参标定装置，其特征在于，所述装置包括：处理器、存储器和通信总线，所述存储器通过所述通信总线与所述处理器进行通信，所述存储器存储所述处理器可执行的一个或者多个程序，当所述一个或者多个程序被执行时，通过所述处理器执行权利要求1至9任一项所述方法的步骤。
20.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有程序，当所述程序被处理器执行时，导致所述处理器执行权利要求1至9任一项所述方法的步骤。
CN201811481282.6A 2018-12-05 2018-12-05 一种摄像机外参标定方法及装置、存储介质 Active CN110378964B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811481282.6A CN110378964B (zh) 2018-12-05 2018-12-05 一种摄像机外参标定方法及装置、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811481282.6A CN110378964B (zh) 2018-12-05 2018-12-05 一种摄像机外参标定方法及装置、存储介质

Publications (2)

Publication Number Publication Date
CN110378964A true CN110378964A (zh) 2019-10-25
CN110378964B CN110378964B (zh) 2021-07-30

Family

ID=68243136

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811481282.6A Active CN110378964B (zh) 2018-12-05 2018-12-05 一种摄像机外参标定方法及装置、存储介质

Country Status (1)

Country Link
CN (1) CN110378964B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210149411A1 (en) * 2019-11-19 2021-05-20 Beijing Xiaomi Intelligent Technology Co., Ltd. Method, apparatus and storage medium for detecting small obstacles
CN113516717A (zh) * 2020-04-10 2021-10-19 富华科精密工业（深圳）有限公司 摄像装置外参标定方法、电子设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104715469A (zh) * 2013-12-13 2015-06-17 联想(北京)有限公司 一种数据处理方法及电子设备
CN104952056A (zh) * 2014-03-26 2015-09-30 株式会社理光 一种基于立体视觉的目标检测方法和系统
CN106204731A (zh) * 2016-07-18 2016-12-07 华南理工大学 一种基于双目立体视觉系统的多视角三维重建方法
US20170124717A1 (en) * 2015-10-28 2017-05-04 Intel Corporation Method and system of background-foreground segmentation for image processing
US20170292836A1 (en) * 2016-04-08 2017-10-12 Otis Elevator Company Method and System for Multiple 3D Sensor Calibration
CN107590832A (zh) * 2017-09-29 2018-01-16 西北工业大学 基于自然特征的物理对象追踪定位方法
CN107958482A (zh) * 2016-10-17 2018-04-24 杭州海康威视数字技术股份有限公司 一种三维场景模型构建方法及装置
CN108038885A (zh) * 2017-11-29 2018-05-15 深圳奥比中光科技有限公司 多深度相机标定方法
CN108694741A (zh) * 2017-04-07 2018-10-23 杭州海康威视数字技术股份有限公司 一种三维重建方法及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104715469A (zh) * 2013-12-13 2015-06-17 联想(北京)有限公司 一种数据处理方法及电子设备
CN104952056A (zh) * 2014-03-26 2015-09-30 株式会社理光 一种基于立体视觉的目标检测方法和系统
US20170124717A1 (en) * 2015-10-28 2017-05-04 Intel Corporation Method and system of background-foreground segmentation for image processing
US20170292836A1 (en) * 2016-04-08 2017-10-12 Otis Elevator Company Method and System for Multiple 3D Sensor Calibration
CN106204731A (zh) * 2016-07-18 2016-12-07 华南理工大学 一种基于双目立体视觉系统的多视角三维重建方法
CN107958482A (zh) * 2016-10-17 2018-04-24 杭州海康威视数字技术股份有限公司 一种三维场景模型构建方法及装置
CN108694741A (zh) * 2017-04-07 2018-10-23 杭州海康威视数字技术股份有限公司 一种三维重建方法及装置
CN107590832A (zh) * 2017-09-29 2018-01-16 西北工业大学 基于自然特征的物理对象追踪定位方法
CN108038885A (zh) * 2017-11-29 2018-05-15 深圳奥比中光科技有限公司 多深度相机标定方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
DM CORDOVA-ESPARZA 等: "A multiple camera calibration and point cloud fusion tool for Kinect V2", 《SCIENCE OF COMPUTER PROGRAMMING》 *
高军强: "基于摄像机阵列的大范围三维场景重建", 《中国优秀硕士学位论文全文数据库（信息科技辑）》 *
鲁栋栋: "基于多深度相机标定的点云数据模型重构", 《中国优秀硕士学位论文全文数据库（信息科技辑）》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210149411A1 (en) * 2019-11-19 2021-05-20 Beijing Xiaomi Intelligent Technology Co., Ltd. Method, apparatus and storage medium for detecting small obstacles
US11810376B2 (en) * 2019-11-19 2023-11-07 Beijing Xiaomi Intelligent Technology Co., Ltd. Method, apparatus and storage medium for detecting small obstacles
CN113516717A (zh) * 2020-04-10 2021-10-19 富华科精密工业（深圳）有限公司 摄像装置外参标定方法、电子设备及存储介质

Also Published As

Publication number Publication date
CN110378964B (zh) 2021-07-30

Similar Documents

Publication Publication Date Title
CN110462686B (zh) 用于从场景获得深度信息的设备和方法
CN108474658B (zh) 地面形态检测方法及系统、无人机降落方法和无人机
CN105184857B (zh) 基于点结构光测距的单目视觉重建中尺度因子确定方法
TWI555379B (zh) 一種全景魚眼相機影像校正、合成與景深重建方法與其系統
US9772405B2 (en) Backfilling clouds of 3D coordinates
CN104335005B (zh) 3d扫描以及定位系统
CN110728671B (zh) 基于视觉的无纹理场景的稠密重建方法
CN103635935B (zh) 3d街道
CN109801374B (zh) 一种通过多角度图像集重构三维模型的方法、介质及系统
CN110390719A (zh) 基于飞行时间点云重建设备
CN110044300A (zh) 基于激光器的两栖三维视觉探测装置及探测方法
CN103033132B (zh) 基于单目视觉的平面测量方法及装置
CN112132972A (zh) 一种激光与图像数据融合的三维重建方法及系统
CN101551918B (zh) 一种基于线激光的大型场景获取方法
CN109102537A (zh) 一种激光雷达和球幕相机结合的三维建模方法和系统
CN107170037A (zh) 一种基于多摄像机的实时三维点云重建方法和系统
CN109559349A (zh) 一种用于标定的方法和装置
CN109523595A (zh) 一种建筑工程直线棱角间距视觉测量方法
CN104794718B (zh) 一种单图像ct机房监控摄像机标定的方法
CN110806199A (zh) 一种基于激光投线仪和无人机的地形测量方法及系统
CN108764080B (zh) 一种基于点云空间二值化的无人机视觉避障方法
CN108230242B (zh) 一种从全景激光点云到视频流的转换方法
CN103258346A (zh) 一种3d照相打印系统
CN108010125A (zh) 基于线结构光和图像信息的真实尺度三维重建系统及方法
CN108257182A (zh) 一种立体摄像头模组的标定方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant