CN111047650A - 一种用于飞行时间相机的参数标定方法 - Google Patents

Abstract

本发明提供了一种用于飞行时间相机的参数标定方法，包括校准处理器接收标准校正图片的规格参数数据；校准处理器根据规格参数数据计算标准校正图片的图片特征点数据；待校准的飞行时间TOF相机对标准校正图片进行多角度拍摄，得到多组三维图像数据，并输出给校准处理器；其中，三维图像数据包括强度图数据；校准处理器对强度图数据进行特征点提取，得到每组三维图像数据对应的一组图像特征点数据；校准处理器对图片特征点数据和多组图像特征点数据进行分析计算，并通过最大似然估计、梯度下降迭代以及雅可比计算和反演，得到待校准的TOF相机的参数数据；根据待校准的TOF相机的参数数据对TOF相机进行参数标定。

Description

一种用于飞行时间相机的参数标定方法

技术领域

本发明涉数据处理领域，尤其涉及一种用于飞行时间相机的参数标定方法。

背景技术

随着科学技术的不断发展，计算机视觉技术蓬勃发展，为人们的生产、生活，娱乐都带来了全新的体验。TOF，全称为Time of Flight，即时间飞行，是一种根据传播介质在空间中的传播时间来计算目标物体距离的技术。基于TOF技术的深度相机是一种新型化、结构小巧、可获取目标点云的立体成像设备，它以高帧率提供三维图像，同时为每个像素提供强度数据和距离信息。这种相机一次拍摄即可包含二维和三维数据的多为图像的结合，并不会损失二维图像画质。它操作方便、获取信息可靠，发展潜力与市场前景不容小觑，在丰富人类精神生活的影视动漫、物联网、自然人机交互等领域带来巨大影响。

TOF相机的独特之处在于它不仅能够得到目标场景的深度信息，同时能够得到目标场景的强度信息，即目标场景的二维平面信息。由于系统误差和随机误差的存在，TOF相机的测量结果和测量精度会受到相机系统内部和外界环境等诸多因素的影响，为了获取更高精度的强度信息，需要对影响TOF相机的二维强度信息的参数进行标定。

发明内容

针对现有技术缺陷，本发明实施例的目的是提供一种用于飞行时间相机的参数标定方法，包括：

校准处理器接收标准校正图片的规格参数数据；

所述校准处理器根据所述规格参数数据计算标准校正图片的图片特征点数据；

待校准的飞行时间TOF相机对所述标准校正图片进行多角度拍摄，得到多组三维图像数据，并输出给校准处理器；其中，所述三维图像数据包括强度图数据；

所述校准处理器对所述强度图数据进行特征点提取，得到每组所述三维图像数据对应的一组图像特征点数据；

所述校准处理器对所述图片特征点数据和多组所述图像特征点数据进行分析计算，并通过最大似然估计、梯度下降迭代以及雅可比计算和反演，得到所述待校准的TOF相机的参数数据；

根据所述待校准的TOF相机的参数数据对所述TOF相机进行参数标定。

优选的，所述根据所述待校准的TOF相机的参数数据对所述TOF相机进行参数标定之后，所述方法还包括：

所述TOF相机根据所述参数数据对所述TOF相机获取的图像数据进行畸变校正处理。

优选的，所述标准校正图片为棋盘格图片。

进一步优选的，所述校准处理器对所述强度图数据进行特征点提取，得到每组所述三维图像数据对应的一组图像特征点数据具体为：

所述校准处理器获取所述强度图数据中各像素的灰度数据，得到第一图像数据；

对所述第一图像数据进行二值化处理，得到第二图像数据；

使用预设模板对所述第二图像数据进行遍历，并根据所述预设模板从所述第二图像数据中提取特定位置像素的信息，根据所述特定位置像素的信息确定所述图像特征点数据。

进一步优选的，所述预设模板为预设方形模板；使用预设模板对所述第二图像数据进行遍历，并根据所述预设模板从所述第二图像数据中提取特定位置像素的信息，根据所述特定位置像素的信息确定所述图像特征点数据具体为：

使用预设方形模板对所述第二图像数据进行遍历，实时获取所述预设方形模板的对角线上的像素信息；

根据所述对角线上的像素信息确定棋盘格图像的角点。

优选的，在所述校准处理器对所述强度图数据进行特征点提取，得到每组所述三维图像数据对应的一组图像特征点数据之前，所述方法还包括：

所述校准处理器对所述强度图数据进行降噪处理，得到降噪强度图数据并保存；

所述校准处理器将所述降噪强度图数据进行对比度变换，得到对比度变换数据并保存；

所述校准处理器对所述强度图数据、所述降噪强度图数据和所述对比度变换数据进行分析计算，得到增强后的强度图数据。

进一步优选的，所述棋盘格图片为12×9的棋盘格图片。

优选的，所述待校准的TOF相机对所述标准校正图片进行多角度拍摄，得到多组三维图像数据具体为：

所述TOF相机固定于第一预设位置，改变所述标准校正图片的摆放位置，并对不同摆放位置的标准校正图片进行拍摄，得到多帧三维图像数据。

本发明实施了提供的用于TOF相机的参数标定方法，通过使用TOF相机拍摄多张不同角度的标准校正图片得到多帧不同角度的三维点云数据，并对每一帧三维点云数据的强度图数据进行特征点提取，并根据标准校正图片的图片特征点数据和多组图像特征点数据进行计算分析，通过最大似然估计、梯度下降迭代以及雅克比计算和反演得到TOF相机的参数数据，对TOF相机进行标定。从而使得TOF相机能够通过标定参数对拍摄的图像的二维强度数据进行畸变校准，使TOF相机获得无二维平面畸变的三维点云数据。

附图说明

图1为本发明实施例提供的用于飞行时间相机的参数标定方法流程图；

图2为本发明实施例提供的一种对棋盘格图像的角点进行提取采用的预设方形模板与棋盘格图像的示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

本发明的一种用于飞行时间(Time Of Flight,TOF)相机的参数标定方法，用于对影响TOF相机二维强度数据的参数进行标定。

图1为本发明实施例提供的用于飞行时间相机的参数标定方法流程图，如图1所所示，包括以下步骤：

步骤110，校准处理器接收标准校正图片的规格参数数据。

具体的，校准处理器接收外部输入的标准图片的规格参数，规格参数包括图片的规格信息。标准校正图片为具有规则图案特征的图片，是能够通过规格参数容易计算出特征点的图片，例如棋盘格图片。规格参数就是标准标定板就算特征点的坐标用到的数据。以棋盘格图片为例，就是指棋盘格图片中的内角点行数和列数。

本发明实施例中采用的标准校正图片为棋盘格图片。为了保证计算的在本发明实施例的一个具体例子中，棋盘格图片的规格为12×9，且每个棋盘格的长和宽的实际尺寸为30mm。所以，规格参数为12行和9列。

步骤120，校准处理器根据规格参数数据计算标准校正图片的图片特征点数据。

具体的，在接收到规格参数后，校准处理器就根据规格参数计算每个特征点的世界坐标值。其中，世界坐标的建立，是以标准校正图为基准建立，定义标准校正图片的左上角为坐标原点，在标准校正图片平面上且平行于行方向指向右为X轴正向，在标准校正图片平面上且平行于列方向指向下为Y轴正向。根据建立的坐标系，校准处理器求的每个特征点的坐标值，生成图片特征点数据。本发明实施例中，采用的标准校正图片为棋盘格图片，所以生成的图片特征点数据为棋盘格的内角点的坐标数据。

步骤130，待校准的TOF相机对标准校正图片进行多角度拍摄，得到多组三维图像数据，并输出给校准处理器。

具体的，待校准的TOF相机固定于第一预设位置，改变标准校正图片的摆放位置，并对不同摆放位置的标准校正图片进行多次拍摄，每一次得到对一个标准校正图片进行拍摄的一帧三维点云数据，然后改变摆放位置再进行下一次拍摄。经过多次改变标准校正图片的摆放位置，多次拍摄，得到多组三维图像数据，并将多组三维图像数据输出给校准处理器。在本发明实施例的一个具体例子中，对标准校正图片进行15到20次拍摄，得到15到20帧三维点云数据。在进行标准校正图片的拍摄时，尽量保证标准校正图片充满TOF相机的视野，同时每次拍摄完一帧图像后就改变标准校正图片的摆放位置或者姿态，这样做可以更加全面的展现出TOF相机的相机参数。另外，要尽量保证拍摄的图像较为清晰，所以，在拍摄时，将标准校正图片摆放在TOF相机适宜成像的距离区间。其中，三维图像数据包括强度图数据。

本发明中需要校准的TOF相机为通过内置激光发射模块发射光信号，并通过内置的互补金属氧化物半导体(Complementary Metal Oxide Semiconductor,CMOS)像素阵列来获取三维场景的距离景深数据。对于目标场景的三维数据获取方式为：TOF相机使用振幅调制的光源，该光源主动地照射目标场景，并与锁定在同一频率的每个像素上的相关传感器耦合。其内置激光发射的发射光和发射光照射到场景物体上后发射的反射光具有相移，通过检测发射光和反射光之间的不同的相移量获得多次测量。内置激光发射器的振幅调制在10-100MH的调制频率区间，而频率控制着TOF相机传感器深度范围和深度分辨率。同时TOF相机的处理单元在每个像素上单独地执行相位差进行计算，得出目标场景的深度数据，TOF相机的处理单元进过对反射光的反射强度进行分析计算，得出目标场景的强度数据，再结合获取的二维数据进行分析处理后得到目标场景的三维点云数据。

本发明实施例的具体例子中，待校准TOF相机采用固态激光器或者LED阵列发射波长在850nm附近的光波发射器作为内置激光发射器。发射光源为通过连续调制方式得到的连续方波或正弦波。TOF相机处理单元通过计算多个采样样本中的发射光与反射光的相位角以及目标物体的距离，并对反射光强度转换的电流强度进行分析计算得到强度数据，然后再结合光学相机得到的二维图像数据进行融合处理，得到目标场景的三维点云数据。

步骤140，校准处理器对强度图数据进行特征点提取，得到每组三维图像数据对应的一组图像特征点数据。

具体的，本发明实施例中的标准校正图片为棋盘格图片，TOF相机获取的三维点云数据包括强度图数据。校准处理器对强度图数据进行特征点提取为对棋盘格图像的角点进行提取，具体步骤包括：

首先，校准处理器获取强度图数据中各像素的灰度数据，得到第一图像数据。

其次，为了便于棋盘格图像的角点检测，可以对棋盘格图像进行二值化处理，即对第一图像数据进行二值化处理，得到第二图像数据。例如，可以根据棋盘格图像的像素灰度值将棋盘格图像中的像素分为两类，即二值化处理，最终得到的棋盘格图像的中一个像素的灰度值为0或255。

最后，使用预设模板对第二图像数据进行遍历，并根据预设模板从第二图像数据中提取特定位置像素的信息，根据特定位置像素的信息确定图像特征点数据。

进一步具体的，本发明实施例中的预设模板为预设方形模板，棋盘格图像角点相邻的对角棋盘格中的像素的数量相同，像素的灰度值也相同，相邻的具有交线的棋盘格中的像素的数量相同，像素的灰度值不同。可以利用该特征，在通过预设方形模板对二值化处理后的第二图像数据进行遍历时，实时获取预设方形模板的对角线上的像素信息，进而可根据对角线上的像素信息确定棋盘格图像的角点。其中，预设方形模板的面积不能过大，否则会增大角点检测的计算量，也不能太少，否则可能会增加伪角点出现的概率。预设方形模板的面积可以与棋盘格图像中的棋盘格面积呈一定关系，本发明实施例中，预设方形模板是棋盘格中每个黑格或白格面积的1/4。图2为本发明实施例提供的一种对棋盘格图像的角点进行提取采用的预设方形模板与棋盘格图像的示意图，如图所示，用数字1标识出来的方形模块表示一个预设方形模板。

本发明实施例中，校准处理器在对强度图数据进行特征点提取之前，先对获取到的三维点云数据做图像增强处理，以提高特征点提取的准确度。图像增强处理方法依次包括如下步骤：

首先，校准处理器对强度图数据进行降噪处理，得到降噪强度图数据并保存。也就是说，采用现有的滤波算法对三维点云数据的强度数据进行滤波处理，本发明实施例中采用高斯滤波算法对三维点云数据的强度图数据进行滤波处理，去除强度图数据中的噪点，得到降噪强度图数据，然后保存。

其次，校准处理器将降噪强度图数据进行对比度变换，得到对比度变换数据并保存。校准处理器通过线性变换或者非线性变换的方法改变像素的亮度值来改变图像的对比度，得到对比度变换数据。

最后，校准处理器对强度图数据、降噪强度图数据和对比度变换数据进行分析计算，得到增强后的强度图数据。采用预设的图像数据分析算法对强度图数据、降噪强度图数据和对比度变换数据进行分析计算，本发明实施例优选的算法是：使用强度图数据减去降噪强度数据，已获得残差图像数据。其中，残差图像数据中包括原始图像中的边缘信息数据。将残差图像数据与对比度变换数据进行相加，得到增强后的强度图数据。

步骤150，校准处理器对图片特征点数据和多组图像特征点数据进行分析计算，并通过最大似然估计、梯度下降迭代以及雅可比计算和反演，得到待校准的TOF相机的参数数据。

具体的，根据相机成像模型中定义了四种坐标系，包括世界坐标为了解决这一问题，通常定义几种坐标系，分别是世界坐标系(O_W,X_w,Y_w,Z_w)，相机坐标系(O_C,X_C,Y_C,Z_C)和图像坐标系(x,y)和像素坐标系(u，v)。三维空间中任意两个坐标系都可以通过刚体变换进行转换。所谓刚体变换是指在保持三维空间中目标物体不发生形变的情况下，对之进行旋转和平移的运动。通过刚体变换中的旋转变换和平移变换，将世界坐标系转化为相机坐标系。接着从相机坐标转化到图像坐标，这一过程是投影透视过程，因为这一成像过程的成像效果和针孔模型是一样的，因此可以用针孔模型来表示透视投影，经过变换得到图像坐标。TOF相机存在径向和切向方向上的镜头畸变，所以我们将图像坐标系分为理想图像坐标系和实际图像坐标系，通过其数学模型可以基本描述透镜畸变，根据即畸变模型可以得到TOF相机镜头畸变下的实际图像坐标系，图像坐标系和像素坐标系是定义在同一个平面上的，但是由于实际的硬件像素传感器一般是以左上角作为像素传感器原点，所以两者还是需要做一次坐标变换，可以将世界坐标转换到像素坐标，同时消除了相机镜头畸变的影响。通过一系列的变化可以确定从世界坐标系到像素坐标系简化的转化关系为：

u和v表示像素坐标系中的坐标，α表示尺度因子，f_x、f_y、u₀和v₀表示相机内参，R和t表示相机外参，X_w和X_w表示世界坐标系中的坐标。其中：

d_x和d_y表示TOF相机一个像素长和高的实际尺寸，f为相机的焦距。

u₀和v₀是相机主点，即光轴在图像坐标系中的偏移量，以像素为单位。

R是一个3×3的旋转矩阵。

t是一个3×1平移向量。

γ表示由于制造误差产生的两个坐标轴偏斜参数，通常很小。

处理器将图片特征点数据和多组图像特征点数据代入到上述矩阵方程中，进行计算，并通过最大似然估计算法、梯度下降迭代算法以及雅可比计算和反演，可以得到待校准的TOF相机的参数数据。

步骤160，根据待校准的TOF相机的参数数据对TOF相机进行参数标定。

具体的，校准处理器将计算得到的TOF相机的参数数据输出，并将参数数据写入待校准的TOF相机的参数配置存储单元中，即完成对待校准的TOF相机进行参数标定。

本发明实施例中，在经过该本发明的参数标定方法的对TOF相机标定之后，TOF相机根据标定参数对拍摄图像数据进行畸变校正处理，得到无二维平面畸变的三维点云数据。

本发明实施了提供的用于TOF相机的参数标定方法，通过使用TOF相机拍摄多张不同角度的标准校正图片得到多帧不同角度的三维点云数据，并对每一帧三维点云数据的强度图数据进行特征点提取，并根据标准校正图片的图片特征点数据和多组图像特征点数据进行计算分析，通过最大似然估计、梯度下降迭代以及雅克比计算和反演得到TOF相机的参数数据，对TOF相机进行标定。从而使得TOF相机能够通过标定参数对拍摄的图像的二维强度数据进行畸变校准，使TOF相机获得无二维平面畸变的三维点云数据。

专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、校准处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种用于飞行时间相机的参数标定方法，其特征在于，所述参数标定方法包括：

校准处理器接收标准校正图片的规格参数数据；

所述校准处理器根据所述规格参数数据计算标准校正图片的图片特征点数据；

待校准的飞行时间TOF相机对所述标准校正图片进行多角度拍摄，得到多组三维图像数据，并输出给校准处理器；其中，所述三维图像数据包括强度图数据；

所述校准处理器对所述强度图数据进行特征点提取，得到每组所述三维图像数据对应的一组图像特征点数据；

所述校准处理器对所述图片特征点数据和多组所述图像特征点数据进行分析计算，并通过最大似然估计、梯度下降迭代以及雅可比计算和反演，得到所述待校准的TOF相机的参数数据；

根据所述待校准的TOF相机的参数数据对所述TOF相机进行参数标定。

2.根据权利要求1所述用于飞行时间相机的参数标定方法，其特征在于，所述根据所述待校准的TOF相机的参数数据对所述TOF相机进行参数标定之后，所述方法还包括：

所述TOF相机根据所述参数数据对所述TOF相机获取的图像数据进行畸变校正处理。

3.根据权利要求1所述用于飞行时间相机的参数标定方法，其特征在于，所述标准校正图片为棋盘格图片。

4.根据权利要求3所述用于飞行时间相机的参数标定方法，其特征在于，所述校准处理器对所述强度图数据进行特征点提取，得到每组所述三维图像数据对应的一组图像特征点数据具体为：

所述校准处理器获取所述强度图数据中各像素的灰度数据，得到第一图像数据；

对所述第一图像数据进行二值化处理，得到第二图像数据；

使用预设模板对所述第二图像数据进行遍历，并根据所述预设模板从所述第二图像数据中提取特定位置像素的信息，根据所述特定位置像素的信息确定所述图像特征点数据。

5.根据权利要求4所述用于飞行时间相机的参数标定方法，其特征在于，所述预设模板为预设方形模板；使用预设模板对所述第二图像数据进行遍历，并根据所述预设模板从所述第二图像数据中提取特定位置像素的信息，根据所述特定位置像素的信息确定所述图像特征点数据具体为：

使用预设方形模板对所述第二图像数据进行遍历，实时获取所述预设方形模板的对角线上的像素信息；

根据所述对角线上的像素信息确定棋盘格图像的角点。

6.根据权利要求1所述用于飞行时间相机的参数标定方法，其特征在于，在所述校准处理器对所述强度图数据进行特征点提取，得到每组所述三维图像数据对应的一组图像特征点数据之前，所述方法还包括：

所述校准处理器对所述强度图数据进行降噪处理，得到降噪强度图数据并保存；

所述校准处理器将所述降噪强度图数据进行对比度变换，得到对比度变换数据并保存；

所述校准处理器对所述强度图数据、所述降噪强度图数据和所述对比度变换数据进行分析计算，得到增强后的强度图数据。

7.根据权利要求3所述用于飞行时间相机的参数标定方法，其特征在于，所述棋盘格图片为12×9的棋盘格图片。

8.根据权利要求1所述用于飞行时间相机的参数标定方法，其特征在于，所述待校准的TOF相机对所述标准校正图片进行多角度拍摄，得到多组三维图像数据具体为：

所述TOF相机固定于第一预设位置，改变所述标准校正图片的摆放位置，并对不同摆放位置的标准校正图片进行拍摄，得到多帧三维图像数据。

Images