CN110246188B

CN110246188B - 用于tof相机的内参标定方法、装置及相机

Info

Publication number: CN110246188B
Application number: CN201910419868.8A
Authority: CN
Inventors: 徐振宾; 丁卫涛
Original assignee: Goertek Optical Technology Co Ltd
Current assignee: Goertek Optical Technology Co Ltd
Priority date: 2019-05-20
Filing date: 2019-05-20
Publication date: 2022-04-15
Anticipated expiration: 2039-05-20
Also published as: CN110246188A

Abstract

本发明公开了一种用于TOF相机的内参标定方法、装置及相机，该方法包括：获取输入的音圈电机的工作参数的参数值；根据参数值带动TOF深度模组向标定靶移动；控制TOF深度模组在向标定靶移动的过程中对标定靶进行连续拍摄；获取通过连续拍摄采集到的多幅标定靶图片；确定每幅标定靶图片的解像力数值；根据每幅标定靶图片的解像力数值，选取解像力数值最大的标定靶图片；根据解像力数值最大的标定靶图片中各角点的对应关系，确定TOF深度模组的内参数。本发明提供了内参标定的技术方案，能够基于音圈电机的工作原理实现对TOF深度模组移动的控制，进而通过标定靶图片解像力的判断，提高TOF相机内参标定的准确性。

Description

用于TOF相机的内参标定方法、装置及相机

技术领域

本发明涉及镜头的模组的内参标定技术领域，更具体地，本发明涉及一种用于TOF相机的内参标定方法、装置及相机。

背景技术

摄像机标定技术中，对于TOF深度相机参数的标定是一很重要的方面。TOF是飞行时间(Time of Flight)技术的缩写，即传感器发出经调制的近红外光，遇物体后反射，传感器通过计算光线发射和反射时间差或相位差，来换算被拍摄景物的距离，以产生深度信息，此外再结合传统的相机拍摄，就能将物体的三维轮廓以不同颜色代表不同距离的地形图方式呈现出来。

TOF深度相机获取的深度信息为球坐标系下的值，而在实际应用中往往需要用到空间直角坐标系下的深度值。因此，对TOF深度相机进行相机内参标定是非常必要的一步。摄像机的标定过程就是确定摄像机的几何和光学参数，以及摄像机相对于世界坐标系的方位。

针对具有自动对焦功能的TOF深度相机模组，在进行内参标定的时，拍摄棋盘格图像的距离不一定是焦点的位置，拍摄棋盘格图像的位置可能会在焦点位置的前后，容易造成标定的内参存在一定的误差。

发明内容

本发明实施例的一个目的是提供一种用于TOF相机的内参标定方案。

根据本发明的第一方面，提供了一种用于TOF相机的内参标定方法，其包括：

获取输入的所述音圈电机的工作参数的参数值；

根据所述参数值带动所述TOF深度模组向标定靶移动；

控制所述TOF深度模组在向所述标定靶移动的过程中对所述标定靶进行连续拍摄；

获取通过所述连续拍摄采集到的多幅标定靶图片；

确定每幅所述标定靶图片的解像力数值；

根据每幅所述标定靶图片的解像力数值，选取解像力数值最大的所述标定靶图片；

根据解像力数值最大的所述标定靶图片中各角点的对应关系，确定TOF深度模组的内参数。

可选地，所述音圈电机的工作参数包括起始驱动电流、最大位移和最大位移工作电流。

可选地，所述根据所述参数值带动所述TOF深度模组向标定靶移动包括：

当所述音圈电机的工作电流达到所述起始驱动电流，控制所述TOF深度模组开始对所述标定靶进行拍摄；

当所述音圈电机的工作电流达到所述最大位移工作电流，控制所述TOF深度模组停止对所述标定靶进行拍摄。

可选地，所述控制所述TOF深度模组在向所述标定靶移动的过程中对所述标定靶进行连续拍摄包括：

获取预设的所述TOF深度模组需要移动的步数；

控制所述TOF深度模组每向标定靶移动一步对所述标定靶进行一次拍摄。

可选地，所述标定靶为棋盘格，所述棋盘格的尺寸根据所述TOF深度模组的视场角确定。

可选地，所述棋盘格上设置有至少两条参考斜边，所述至少两条参考斜边的倾斜角度不同。

可选地，所述确定每幅所述标定靶图片的解像力数值包括：

采集包含所述参考斜边的感兴趣区域；

获取所述感兴趣区域内的所有像素点的像素值；

根据所有像素点的像素值，确定边缘像素点；

根据所述边缘像素点的像素值拟合曲线，获得边缘曲线；

对所述边缘曲线进行扩展，获得边缘扩展曲线；

对所述边缘扩展曲线进行处理，获得线扩展曲线；

对所述线扩展曲线进行傅里叶变换，获得调制传递函数曲线；

根据所述调制传递函数曲线和所述TOF深度模组的空间频率，确定所述标定靶图片的解像力数值。

可选地，所述根据每幅所述标定靶图片的解像力数值，选取解像力数值最大的所述标定靶图片包括：

采集任意连续三幅所述标定靶图片的解像力数值；

判断位于中间位置的所述标定靶图片的解像力数值是否大于位于前后位置的两幅所述标定靶图片的解像力数值，若大于，则确定所述中间位置的标定靶图片为解像力数值最大的标定靶图片；若小于或等于，则重新采集连续三幅所述标定靶图片的解像力数值再次进行判断。

可选地，所述根据解像力数值最大的所述标定靶图片中各角点的对应关系，确定TOF深度模组的内参数包括：

建立TOF相机的图像坐标系；

在解像力数值最大的所述标定靶图片上进行角点检测，获取角点的参数；

根据解像力数值最大的所述标定靶图片中的所有角点的参数进行张氏标定，获得TOF深度模组的内参数。

根据本发明的第二方面，提供了一种用于TOF相机的内参标定装置，其包括：

参数采集模块，用于获取输入的所述音圈电机的工作参数的参数值；

移动模块，用于根据所述参数值带动所述TOF深度模组向标定靶移动；

控制拍摄模块，用于控制所述TOF深度模组在向所述标定靶移动的过程中对所述标定靶进行连续拍摄；

图片获取模块，用于获取通过所述连续拍摄采集到的多幅标定靶图片；

解像力数值确定模块，用于确定每幅所述标定靶图片的解像力数值；

最大解像力选取模块，用于根据每幅所述标定靶图片的解像力数值，选取解像力数值最大的所述标定靶图片；

内参数确定模块，根据解像力数值最大的所述标定靶图片中各角点的对应关系，确定TOF深度模组的内参数。

根据本发明的第三方面，提供了一种TOF相机，其包括TOF深度模组、音圈电机及第二方面所述的内参标定装置。

根据本发明的第四方面，提供了一种TOF相机，其包括TOF深度模组、音圈电机、存储器和处理器，所述存储器用于存储计算机指令，所述处理器用于从所述存储器中调用所述计算机指令，并在所述计算机指令的控制下执行如第一方面中任一项所述的内参标定方法。

本发明的有益效果在于，根据本发明实施例的方法基于音圈电机的工作原理实现对TOF深度模组移动的控制，从而获得对应TOF深度模组不同位置的多幅标定靶图片，进而通过标定靶图片解像力的判断，选取解像力最大的标定靶图片，即选出TOF深度模组焦点位置的标定靶图片，由于标定靶图片的清晰程度决定对TOF相机内参标定的准确性，因此，本发明实施例的方法能够有效提高TOF相机内参标定的准确性。

通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍。应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1是根据本发明实施例的TOF相机的组成结构框图；

图2是根据本发明实施例的TOF相机的硬件配置的框图；

图3是根据本发明实施例的内参标定方法的示意性流程图；

图4是根据本发明实施例的音圈电机的工作电流与TOF深度模组移动距离的关系曲线；

图5是根据本发明另一实施例的内参标定方法的示意性流程图；

图6是根据本发明第三实施例的内参标定方法的示意性流程图；

图7是根据本发明实施例的棋盘格的示意图；

图8是根据本发明第四实施例的内参标定方法的示意性流程图；

图9是根据本发明实施例的拍摄的标定靶图片的示意图；

图10a是根据本发明实施例的边缘扩展曲线的示意图；

图10b是根据本发明实施例的线扩展曲线的示意图；

图10c是根据本发明实施例的调制传递函数曲线的示意图；

图11是根据本发明第五实施例的内参标定方法的示意性流程图；

图12是根据本发明第六实施例的内参标定方法的示意性流程图；

图13是根据本发明实施例的内参标定装置的示意性原理框图；

图14是根据本发明一个例子的内参标定方法的流程示意图。

具体实施方式

现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

<硬件配置>

图1是根据本发明实施例的TOF相机的组成结构框图。

根据图1所示，本发明实施例TOF相机可以包括TOF深度模组1100、音圈电机1200和内参标定装置1300，音圈电机1200与TOF深度模组1100连接，音圈电机1200用于控制TOF深度模组1100的透镜的移动，其中，内参标定装置1300用于根据本发明实施例的方法对TOF相机进行内参标定。

本实施例中，TOF相机中TOF是飞行时间(Time of Flight)技术的缩写，即传感器发出经调制的近红外光，遇物体后反射，传感器通过计算光线发射和反射时间差或相位差，来换算被拍摄景物的距离，以产生深度信息，此外再结合传统的相机拍摄，就能将物体的三维轮廓以不同颜色代表不同距离的地形图方式呈现出来。TOF相机获取的深度信息为球坐标系下的值，而在实际应用中往往需要用到空间直角坐标系下的深度值。因此，对TOF相机进行相机内参标定是非常必要的一步。

音圈电机1200也称为VCM(Voice Coil Motor)，其工作原理是，通电线圈放在磁场内就会产生力，力的大小与施加在线圈上的电流成比例，因此，根据音圈电机1200的工作电流可以控制TOF深度模组1100的透镜的移动。

图2根据本发明实施例的TOF相机的硬件配置的框图。

根据图2所示，TOF相机还可以包括一个或多个存储器1400和一个或多个处理器1500。

存储器1400例如可以包括ROM(只读存储器)、RAM(随机存取存储器)、诸如硬盘的非易失性存储器等。

处理器1500可以是移动版处理器，也可以是单片机等。

存储器1400用于存储指令，该指令用于控制处理器1500进行操作以执行根据本发明实施例的信号处理方法，本领域技术人员可以根据本发明所公开的技术方案设计指令。指令是如何控制处理器进行操作，这是本领域的公知，故本发明实施例在此不再详细描述。

<方法实施例>

图3根据本发明实施例的内参标定方法的示意性流程图。

根据图3所示，本实施例的TOF相机的内参标定方法由内参标定装置1300实施，该内参标定方法可以包括如下步骤S3100～S3700：

步骤S3100，内参标定装置1300获取输入的音圈电机1200的工作参数的参数值。

在本发明的实施例中，音圈电机1200的工作参数可以包括起始驱动电流、最大位移和最大位移工作电流。

音圈电机1200具有起始驱动电流和最大位移，起始驱动电流为音圈电机1200驱动TOF深度模组1100开始移动的最低驱动电流，最大位移是根据音圈电机1200的性能参数决定的，最大位移是音圈电机1200驱动TOF深度模组1100的最大移动位置。

在本发明的实施例中，控制TOF深度模组的镜头后退或者前进的音圈电机的工作电流与TOF深度模组的镜头后退或者前进的距离存在一定的关系曲线。

图4是根据本发明实施例的音圈电机的工作电流与TOF深度模组移动距离的关系曲线。

根据图4所示，例如，音圈电机1200推动TOF深度模组1100的镜头前进的起始驱动电流为24mA，最大位移为0.22mm，最大位移工作电流为74mA，即该音圈电机1200的工作电流范围为24mA～74mA，驱动TOF深度模组1100的透镜移动的范围为0～0.22mm。

步骤S3200，内参标定装置1300根据参数值带动TOF深度模组向标定靶移动。

在本发明的实施例中，如图5所示，该步骤S3200根据参数值带动TOF深度模组向标定靶移动可以进一步包括如下步骤S3210～S3220：

步骤S3210，当音圈电机1200的工作电流达到起始驱动电流，内参标定装置1300控制TOF深度模组开始对标定靶进行拍摄。

例如，当音圈电机1200的工作电流达到24mA时，内参标定装置1300控制TOF深度模组1100开始对标定靶进行拍摄。

步骤S3220，当音圈电机1200的工作电流达到最大位移工作电流，内参标定装置1300控制TOF深度模组停止对标定靶进行拍摄。

例如，当音圈电机1200的工作电流达到74mA时，即音圈电机1200驱动TOF深度模组1100前进的位移到达最大位移，内参标定装置1300控制TOF深度模组停止对标定靶进行拍摄。

步骤S3300，内参标定装置1300控制TOF深度模组在向标定靶移动的过程中对标定靶进行连续拍摄。

在本发明的实施例中，如图6所示，该步骤S3300控制TOF深度模组在向标定靶移动的过程中对标定靶进行连续拍摄可以进一步包括如下步骤S3310～S3320：

步骤S3310，内参标定装置1300获取预设的TOF深度模组1100需要移动的步数。

由于根据音圈电机1200的性能参数，音圈电机1200存在最大位移，因此，可以预设TOF深度模组1100需要移动的步数，预设的TOF深度模组1100需要移动的步数越多，所拍摄的相邻位置的两幅标定靶图片的距离越大，预设的TOF深度模组1100需要移动的步数越少，所拍摄的相邻位置的两幅标定靶图片的距离越小，根据预设的TOF深度模组1100需要移动的步数的选择，可以提高判断解像力最大的标定靶图片的效率。

在本发明的实施例中，TOF深度模组1100移动1Step所需的电流I₁的计算公式如下：

((I_max-I₀)/N)+I₀＝I₁ (1)

其中，I₀表示音圈电机的起始驱动电流，I_max表示音圈电机的最大位移工作电流，N表示预设的TOF深度模组需要移动的步数，I₁表示TOF深度模组移动1Step所需的电流。

TOF深度模组1100移动1Step的距离的计算公式如下：

d_max/N＝d₁ (2)

其中，d_max表示音圈电机的最大位移，N表示预设的TOF深度模组1100需要移动的步数，d₁表示TOF深度模组移动1Step的距离。

例如，音圈电机1200的工作电流范围为24mA～74mA，驱动TOF深度模组1100的透镜移动的范围为0～0.22mm，预设TOF深度模组1100需要移动的步数为1024Step。

根据上述计算公式，TOF深度模组1100移动1Step所需的电流I₁为24.048mA，TOF深度模组1100移动1Step的距离为0.21μm。

步骤S3320，内参标定装置1300控制TOF深度模组每向标定靶移动一步对标定靶进行一次拍摄。

在本发明的实施例中，内参标定装置1300控制TOF深度模组每向标定靶移动1Step拍摄一幅标定靶图片，即内参标定装置1300控制TOF深度模组每向标定靶移动0.21μm拍摄一幅标定靶图片。

步骤S3400，内参标定装置1300获取通过连续拍摄采集到的多幅标定靶图片。

在本发明的实施例中，内参标定装置1300获取1024幅标定靶图片。

步骤S3500，内参标定装置1300确定每幅标定靶图片的解像力数值。

在本发明的实施例中，标定靶可以为棋盘格(棋盘chart)，棋盘格的尺寸根据TOF深度模组1100的视场角确定，即棋盘格(棋盘chart)的宽度和高度根据TOF深度模组1100的视场角而定，当待标定的TOF深度模组1100的视场角改变时，需要对应调整棋盘格的宽度和高度，保证至少设计的棋盘格要在TOF深度模组显示的时候为满屏显示，即可以全部显示棋盘格的内容，如果棋盘格在TOF深度模组不是满屏显示，需要切割掉周边的图像信息。

在解像力数值的确定时，需要在棋盘格上设置参考线。参考线可以是斜边，参考斜边的数量可以至少包括两条，并且两条参考斜边的倾斜角度不同，例如，倾斜角度为45°。

图7是根据本发明实施例的棋盘格的示意图。

根据图7所示，在本发明的一个实施例中，在棋盘格上设置4条参考斜边，其中两条位于棋盘格的左上方，另两条位于棋盘格的右下方。

在本发明的实施例中，如图8所示，该步骤S3500确定每幅标定靶图片的解像力数值可以进一步包括如下步骤S3510～S3580：

步骤S3510，内参标定装置1300采集包含参考斜边的感兴趣区域。

在本发明的实施例中，如图9所示，将棋盘格的四条参考斜边进行编号，并每次采集包含其中一条参考斜边的感兴趣区域，调整感兴趣区域的位置，使参考斜边位于感兴趣区域的中间。感兴趣区域的形状可以为矩形、圆形或者椭圆形等。

在本发明的一个实施例中，在每确定一幅标定靶图片的解像力数值时，采集包含1号参考斜边的感兴趣区域。

在本发明的一个实施例中，如图9所示，在每确定一幅标定靶图片的解像力数值时，分别采集包含1～4号参考斜边的感兴趣区域。

步骤S3520，内参标定装置1300获取感兴趣区域内的所有像素点的像素值。

在本发明的一个实施例中，内参标定装置1300获取包含1号参考斜边的感兴趣区域中所有像素点的像素值。

在本发明的一个实施例中，内参标定装置1300分别获取包含1～4号参考斜边的感兴趣区域中所有像素点的像素值。

步骤S3530，内参标定装置1300根据所有像素点的像素值，确定边缘像素点。

在本发明的实施例中，边缘像素点为像素值变化最大的像素点组，内参标定装置1300根据所有像素点的像素值的大小，确定边缘像素点。

在本发明的一个实施例中，内参标定装置1300确定包含1号参考斜边的感兴趣区域中边缘像素点。

在本发明的一个实施例中，内参标定装置1300分别确定包含1～4号参考斜边的感兴趣区域中边缘像素点。

步骤S3540，内参标定装置1300根据边缘像素点的像素值拟合曲线，获得边缘曲线。

在本发明的一个实施例中，内参标定装置1300根据包含1号参考斜边的感兴趣区域中边缘像素点拟合边缘曲线。

在本发明的一个实施例中，内参标定装置1300分别根据包含1～4号参考斜边的感兴趣区域中边缘像素点拟合边缘曲线。

步骤S3550，内参标定装置1300对边缘曲线进行扩展，获得边缘扩展曲线。

在本发明的实施例中，在边缘曲线两侧等距离处取点，获得与边缘曲线平行的曲线，边缘曲线与多条与其平行的曲线，构成边缘扩展曲线(ESF)，如图10a所示，边缘扩展曲线(ESF)的横坐标为像素点的坐标位置，纵坐标为ESF值。

步骤S3560，内参标定装置1300对边缘扩展曲线进行处理，获得线扩展曲线。

在本发明的实施例中，对边缘扩展曲线(ESF)进行差分及相应处理，获得线扩展曲线(LSF)，如图10b所示，线扩展曲线(LSF)的横坐标为像素点的坐标位置，纵坐标为LSF值。

步骤S3570，内参标定装置1300对线扩展曲线进行傅里叶变换，获得调制传递函数曲线。

在本发明的实施例中，对线扩展曲线(LSF)进行傅里叶变换，获得调制传递函数曲线(MTF)，如图10c所示，调制传递函数曲线(MTF)的横坐标为TOF深度模组的空间频率，纵坐标为MTF值。

步骤S3580，内参标定装置1300根据调制传递函数曲线和TOF深度模组的空间频率，确定标定靶图片的解像力数值。

在本发明的实施例中，由于解像力数值为TOF深度模组1100在某一空间频率的MTF值，因此，根据待标定的TOF深度模组1100的空间频率，可以确定每幅标定靶图片的解像力数值。

在本发明的一个实施例中，内参标定装置1300对应1号参考斜边确定每幅标定靶图片的解像力数值。

在本发明的一个实施例中，内参标定装置1300分别对应1～4号参考斜边确定每幅标定靶图片的解像力数值的四个解像力数值。

步骤S3600，内参标定装置1300根据每幅标定靶图片的解像力数值，选取解像力数值最大的标定靶图片。

在本发明的实施例中，如图11所示，该步骤S3600确定每幅标定靶图片的解像力数值可以进一步包括如下步骤S3610～S3620：

步骤S3610，内参标定装置1300采集任意连续三幅标定靶图片的解像力数值。

步骤S3620，内参标定装置1300判断位于中间位置的标定靶图片的解像力数值是否大于位于前后位置的两幅标定靶图片的解像力数值，若大于，则确定中间位置的标定靶图片为解像力数值最大的标定靶图片；若小于或等于，则重新采集连续三幅标定靶图片的解像力数值再次进行判断。

在本发明的一个实施例中，内参标定装置1300采集任意连续三幅标定靶图片的解像力数值，确定该解像力数值的棋盘格均设置一条1号参考斜边，判断位于中间位置的标定靶图片的解像力数值是否大于位于前后位置的两幅标定靶图片的解像力数值，若大于，则确定中间位置的标定靶图片为解像力数值最大的标定靶图片；若小于或等于，则重新采集连续三幅标定靶图片的解像力数值再次进行判断。

在本发明的一个实施例中，内参标定装置1300采集任意连续三幅标定靶图片的解像力数值，其中，确定该解像力数值的棋盘格均设置四条1～4号参考斜边，每幅标定靶图片的解像力数值可以分别包括对应1～4号参考斜边的解像力数值；判断位于中间位置的标定靶图片的解像力数值是否大于位于前后位置的两幅标定靶图片的解像力数值。

具体地，将三幅图的对应1号参考斜边的解像力数值的大小进行比较，将三幅图的对应2号参考斜边的解像力数值的大小进行比较，将三幅图的对应3号参考斜边的解像力数值的大小进行比较，将三幅图的对应4号参考斜边的解像力数值的大小进行比较；

若中间位置的标定靶图片对应1～4号参考斜边的解像力数值均大于前后位置的两幅标定靶图片对应1～4号参考斜边的解像力数值，则确定中间位置的标定靶图片为解像力数值最大的标定靶图片；

若中间位置的标定靶图片对应1～4号参考斜边的解像力数值中任意一个均小于前后位置的两幅标定靶图片对应1～4号参考斜边的解像力数值，判断两者的差值是否大于预设的阈值，若大于，则重新采集连续三幅标定靶图片的解像力数值再次进行判断，若小于，则确定中间位置的标定靶图片为解像力数值最大的标定靶图片；

若中间位置的标定靶图片对应1～4号参考斜边的解像力数值均小于或者等于前后位置的两幅标定靶图片对应1～4号参考斜边的解像力数值，则重新采集连续三幅标定靶图片的解像力数值再次进行判断。

步骤S3700，内参标定装置1300根据解像力数值最大的标定靶图片中各角点的对应关系，确定TOF深度模组的内参数。

在本发明的实施例中，如图12所示，该步骤S3700根据解像力数值最大的标定靶图片中各角点的对应关系，确定TOF深度模组的内参数可以进一步包括如下步骤S3710～S3730：

步骤S3710，内参标定装置1300建立TOF相机的图像坐标系。

在本发明的实施例中，首先从世界坐标系转为相机坐标系，这一步是三维点到三维点的转换，确定了相机在某个三维空间中的位置和朝向，之后，从相机坐标系转为图像坐标系(成像平面坐标系)，这一步是三维点到二维点的转换。

步骤S3720，内参标定装置1300在解像力数值最大的标定靶图片上进行角点检测，获取角点的参数。

在本发明的实施例中，角点的参数包括角点的个数、角点的坐标。

步骤S3730，内参标定装置1300根据解像力数值最大的标定靶图片中的所有角点的参数进行张氏标定，获得TOF深度模组的内参数。

在本发明的实施例中，采用标定中常用张氏标定法，采集多幅处于不同位姿的棋盘格标定靶图片，其中，每幅用于标定的棋盘格标定靶图片为解像力最大的标定靶图片，利用多幅棋盘格的几何关系，建立各视图图像中各角点的对应关系，利用Opencv库进行求解，获得TOF深度模组的内参数。

在本发明的一个实施例中，所要获得的TOF深度模组的内参数可以为TOF深度模组的光学中心，内参标定装置1300在解像力数值最大的标定靶图片上进行角点检测，获取每个角点的坐标值，之后对该棋盘格的角点的坐标值求平均值，获得TOF深度模组的光学中心。

本发明实施例的内参标定方法可以基于音圈电机的工作原理实现对TOF深度模组移动的控制，从而获得对应TOF深度模组不同位置的多幅标定靶图片，进而通过标定靶图片解像力的判断，选取解像力最大的标定靶图片，即选出TOF深度模组焦点位置的标定靶图片，由于标定靶图片的清晰程度决定对TOF相机内参标定的准确性，因此，本发明实施例的方法能够有效提高TOF相机内参标定的准确性。

<装置实施例>

图13是根据本发明实施例的内参标定装置的示意性原理框图。

在本发明的实施例中，根据图13所示，内参标定装置1300可以包括参数采集模块1310、移动模块1320、控制拍摄模块1330、图片获取模块1340、解像力数值确定模块1350、最大解像力选取模块1360、内参数确定模块1370，用于实施本实施例中提供的内参标定方法，在此不再赘述。

参数采集模块1310可以用于获取输入的音圈电机1200的工作参数的参数值；

在本发明的实施例中，音圈电机1200的工作参数包括起始驱动电流、最大位移和最大位移工作电流。

移动模块1320可以用于根据参数值带动TOF深度模组向标定靶移动；

在本发明的一个实施例中，移动模块1320还可以用于当音圈电机1200的工作电流达到起始驱动电流，控制TOF深度模组1100开始对标定靶进行拍摄；当音圈电机1200的工作电流达到最大位移工作电流，控制TOF深度模组1100停止对标定靶进行拍摄。

控制拍摄模块1330可以用于控制TOF深度模组1100在向标定靶移动的过程中对标定靶进行连续拍摄；

在本发明的一个实施例中，控制拍摄模块1330还可以用于获取预设的TOF深度模组1100需要移动的步数；以及，还可以用于控制TOF深度模组1100每向标定靶移动一步对标定靶进行一次拍摄。

图片获取模块1340可以用于获取通过连续拍摄采集到的多幅标定靶图片；

解像力数值确定模块1350可以用于确定每幅标定靶图片的解像力数值；

在本发明的一个实施例中，解像力数值确定模块1350还可以用于采集包含参考斜边的感兴趣区域；用于获取感兴趣区域内的所有像素点的像素值；用于根据所有像素点的像素值，确定边缘像素点；用于根据边缘像素点的像素值拟合曲线，获得边缘曲线；用于对边缘曲线进行扩展，获得边缘扩展曲线；用于对边缘扩展曲线进行处理，获得线扩展曲线；用于对线扩展曲线进行傅里叶变换，获得调制传递函数曲线；以及，用于根据调制传递函数曲线和TOF深度模组的空间频率，确定标定靶图片的解像力数值。

最大解像力选取模块1360可以用于根据每幅标定靶图片的解像力数值，选取解像力数值最大的标定靶图片；

在本发明的一个实施例中，最大解像力选取模块1360还可以用于采集任意连续三幅标定靶图片的解像力数值；以及判断位于中间位置的标定靶图片的解像力数值是否大于位于前后位置的两幅标定靶图片的解像力数值，若大于，则确定中间位置的标定靶图片为解像力数值最大的标定靶图片；若小于或等于，则重新采集连续三幅标定靶图片的解像力数值再次进行判断。

内参数确定模块1370可以根据解像力数值最大的标定靶图片中各角点的对应关系，确定TOF深度模组的内参数。

在本发明的一个实施例中，内参数确定模块1370还可以用于建立TOF相机的图像坐标系；用于在解像力数值最大的所述标定靶图片上进行角点检测，获取角点的参数；以及，用于根据解像力数值最大的所述标定靶图片中的所有角点的参数进行张氏标定，获得TOF深度模组的内参数。

<TOF相机的实施例>

图1为根据本发明实施例的TOF相机的组成结构框图。

本发明的实施例中，根据图1所示，本发明实施例TOF相机可以包括TOF深度模组1100、音圈电机1200、及上述任一种内参标定装置1300。

本发明的实施例中，TOF深度模组1100为自动对焦机种，TOF深度模组1100可以包括透镜。

本发明的实施例中，音圈电机1200也称为VCM(Voice Coil Motor)，其工作原理是，通电线圈放在磁场内就会产生力，力的大小与施加在线圈上的电流成比例，因此，根据音圈电机1200的工作电流可以控制TOF深度模组1100的透镜的移动。

<例子>

图14是根据本发明一个例子的内参标定方法的流程示意图，该内参标定方法可以包括如下步骤：

步骤S14001，内参标定装置1300获取输入的音圈电机1200的起始驱动电流、最大位移和最大位移工作电流。

步骤S14002，内参标定装置1300获取预设的TOF深度模组1100需要移动的步数。

步骤S14003，当音圈电机1200的工作电流达到起始驱动电流，内参标定装置1300控制TOF深度模组开始对标定靶进行拍摄。

步骤S14004，当音圈电机1200的工作电流达到最大位移工作电流，内参标定装置1300控制TOF深度模组停止对标定靶进行拍摄。

步骤S14005，内参标定装置1300控制TOF深度模组每向标定靶移动一步对标定靶进行一次拍摄。

本例子中，步骤S14003～步骤S14005的执行不分先后顺序。

步骤S14006，内参标定装置1300获取通过连续拍摄采集到的多幅标定靶图片。

步骤S14007，内参标定装置1300采集包含参考斜边的感兴趣区域。

步骤S14008，内参标定装置1300获取感兴趣区域内的所有像素点的像素值。

步骤S14009，内参标定装置1300根据所有像素点的像素值，确定边缘像素点。

步骤S14010，内参标定装置1300根据边缘像素点的像素值拟合曲线，获得边缘曲线。

步骤S14020，内参标定装置1300对边缘曲线进行扩展，获得边缘扩展曲线。

步骤S14030，内参标定装置1300对边缘扩展曲线进行处理，获得线扩展曲线。

步骤S14040，内参标定装置1300对线扩展曲线进行傅里叶变换，获得调制传递函数曲线。

步骤S14050，内参标定装置1300根据调制传递函数曲线和TOF深度模组的空间频率，确定标定靶图片的解像力数值。

步骤S14060，内参标定装置1300采集任意连续三幅标定靶图片的解像力数值。

步骤S14070，内参标定装置1300判断位于中间位置的标定靶图片的解像力数值是否大于位于前后位置的两幅标定靶图片的解像力数值，若大于，则确定中间位置的标定靶图片为解像力数值最大的标定靶图片。

步骤S14080，内参标定装置1300建立TOF相机的图像坐标系。

步骤S14090，内参标定装置1300在解像力数值最大的标定靶图片上进行角点检测，获取角点的参数。

步骤S14100，内参标定装置1300根据解像力数值最大的标定靶图片中的所有角点的参数进行张氏标定，获得TOF深度模组的内参数。

上述各实施例主要重点描述与其他实施例的不同之处，但本领域技术人员应当清楚的是，上述各实施例可以根据需要单独使用或者相互结合使用。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分相互参见即可，每个实施例重点说明的都是与其他实施例的不同之处，但本领域技术人员应当清楚的是，上述各实施例可以根据需要单独使用或者相互结合使用。另外，对于装置实施例而言，由于其是与方法实施例相对应，所以描述得比较简单，相关之处参见方法实施例的对应部分的说明即可。以上所描述的系统实施例仅仅是示意性的，其中作为分离部件说明的模块可以是或者也可以不是物理上分开的。

本发明可以是装置、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。

这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。

Claims

1.一种用于TOF相机的内参标定方法，所述TOF相机包括TOF深度模组和音圈电机，其特征在于，所述内参标定方法包括：

获取输入的所述音圈电机的工作参数的参数值；

根据所述参数值带动所述TOF深度模组向标定靶移动；

获取通过所述连续拍摄采集到的多幅标定靶图片；

确定每幅所述标定靶图片的解像力数值；

根据解像力数值最大的所述标定靶图片中各角点的对应关系，确定TOF深度模组的内参数；

其中，所述控制所述TOF深度模组在向所述标定靶移动的过程中对所述标定靶进行连续拍摄包括：

获取预设的所述TOF深度模组需要移动的步数；

2.根据权利要求1所述的内参标定方法，其特征在于，所述音圈电机的工作参数包括起始驱动电流、最大位移和最大位移工作电流。

3.根据权利要求2所述的内参标定方法，其特征在于，所述根据所述参数值带动所述TOF深度模组向标定靶移动包括：

4.根据权利要求1所述的内参标定方法，其特征在于，所述标定靶为棋盘格，所述棋盘格的尺寸根据所述TOF深度模组的视场角确定。

5.根据权利要求4所述的内参标定方法，其特征在于，所述棋盘格上设置有至少两条参考斜边，所述至少两条参考斜边的倾斜角度不同。

6.根据权利要求5所述的内参标定方法，其特征在于，所述确定每幅所述标定靶图片的解像力数值包括：

采集包含所述参考斜边的感兴趣区域；

获取所述感兴趣区域内的所有像素点的像素值；

根据所述所有像素点的像素值，确定边缘像素点；

根据所述边缘像素点的像素值拟合曲线，获得边缘曲线；

对所述边缘曲线进行扩展，获得边缘扩展曲线；

对所述边缘扩展曲线进行处理，获得线扩展曲线；

7.根据权利要求1-6任一项所述的内参标定方法，其特征在于，所述根据每幅所述标定靶图片的解像力数值，选取解像力数值最大的所述标定靶图片包括：

采集任意连续三幅所述标定靶图片的解像力数值；

8.根据权利要求1-6任一项所述内参标定方法，其特征在于，所述根据解像力数值最大的所述标定靶图片中各角点的对应关系，确定TOF深度模组的内参数包括：

建立TOF相机的图像坐标系；

9.一种用于TOF相机的内参标定装置，其特征在于，所述TOF相机包括TOF深度模组和音圈电机，所述内参标定装置包括：

内参数确定模块，根据解像力数值最大的所述标定靶图片中各角点的对应关系，确定TOF深度模组的内参数；

其中，所述控制拍摄模块，具体用于：

获取预设的所述TOF深度模组需要移动的步数；以及

10.一种TOF相机，包括TOF深度模组、音圈电机及权利要求9中所述的内参标定装置。

11.一种TOF相机，包括TOF深度模组、音圈电机、存储器和处理器，所述存储器用于存储计算机指令，所述处理器用于从所述存储器中调用所述计算机指令，并在所述计算机指令的控制下执行如权利要求1-8中任一项所述的内参标定方法。