CN115810051A - 一种内参校准方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请实施例提供了一种内参校准方法、装置、电子设备及存储介质，涉及计算机技术领域，包括获得双目相机的图像采集区域内目标测量区域的参考尺寸；获得图像采集区域的深度图像；利用深度图像确定目标测量区域的目标尺寸，计算目标尺寸相对参考尺寸的尺寸误差；计算深度图像中有效像素点的数量占所有像素点的总数量的比值；利用尺寸误差和比值，确定双目相机当前的内参的代价函数；调整双目相机当前的内参，返回获得图像采集区域的深度图像的步骤，得到多个内参的代价函数；将代价函数满足预设的代价条件的内参，确定为双目相机校准后的内参。本申请实施例提供的方案可以降低内参校准的复杂度，并提高内参校准的准确度。

Description

一种内参校准方法、装置、电子设备及存储介质

技术领域

本申请涉及计算机技术领域，特别是涉及一种内参校准方法、装置、电子设备及存储介质。

背景技术

双目相机在客流统计、体积量方、辅助驾驶等场景中有着广泛的应用。在应用过程中，震动、磕碰、受热膨胀等原因，可能会引起双目相机发生形变，从而导致双目相机中左右相机之间的位姿关系发生改变，进而使得双目相机的内参发生改变，这种情况下，需要对双目相机的内参进行校准。

相关技术中，为校准双目相机的内参，需要在一种图像采集场景下分别获得左右相机所采集的左右相机图像，分别提取左右相机图像中的特征点，对左右相机图像之间的特征点进行匹配，得到特征点对，基于上述特征点对分别在左右相机图像中的位置和左右相机之间的对极几何关系，求解左右相机之间的位姿关系；然后改变双目相机的图像采集场景，获得新的场景下左右相机所采集的左右相机图像，基于上述图像并结合之前所求得的位姿关系，重新计算左右相机之间的位姿关系；重复执行上述步骤，实现多次迭代计算上述位姿关系，最终得到稳定的位姿关系，最后利用该稳定的位姿关系校准双目相机的内参。

应用上述方案虽然可以校准双目相机的内参，但是一方面，在校准过程中为了改变图像采集场景，以使得双目相机拍摄不同场景的图像，需要多次移动双目相机，不适用于如客流统计、体积量方等相机固定安装无法移动的静态应用场景；另一方面，上述方案中需要基于特征点进行匹配，对图像采集场景的依赖性较强，鲁棒性较低，当图像采集场景中特征点较少、或特征点较为集中时，所得到的特征点对难以准确反映左右相机之间的位姿关系，进而难以精准地实现双目相机的内参校准。

由此可见，相关技术中存在内参校准的复杂度较高、且准确度较低的问题。

发明内容

本申请实施例的目的在于提供一种内参校准方法、装置、电子设备及存储介质，以降低内参校准的复杂度，并提高内参校准的准确度。具体技术方案如下：

第一方面，本申请实施例提供了一种内参校准方法，所述方法包括：

获得双目相机的图像采集区域内目标测量区域的参考尺寸；

获得所述图像采集区域的深度图像，其中，所述深度图像为：利用所述双目相机当前的内参，对所述双目相机的左右相机所采集的图像进行图像处理得到的、反映所述图像采集区域深度信息的图像；

利用所述深度图像确定所述目标测量区域的目标尺寸，计算所述目标尺寸相对所述参考尺寸的尺寸误差；

计算所述深度图像中有效像素点的数量占所有像素点的总数量的比值，其中，所述有效像素点为：所述深度图像中像素值能够反映实际深度信息的像素点；

利用所述尺寸误差和比值，确定所述双目相机当前的内参的代价函数，其中，所述代价函数用于反映所述双目相机当前的内参的误差大小；

调整所述双目相机当前的内参，返回所述获得所述图像采集区域的深度图像的步骤，得到多个内参的代价函数；

将代价函数满足预设的代价条件的内参，确定为所述双目相机校准后的内参。

本申请的一个实施例中，所述利用所述尺寸误差和比值确定所述双目相机当前的内参的代价函数，包括：

按照以下公式计算所述双目相机当前的内参的代价函数c：

c＝α*(1-S1)+β*S2

其中，所述α为预设的第一权重，所述β为预设的第二权重，所述S1表示所述比值，所述S2表示所述尺寸误差。

本申请的一个实施例中，所述获得所述图像采集区域的深度图像，包括：

获得所述双目相机的左右相机所采集的左右相机图像；

利用所述双目相机当前的内参分别对所获得的左右相机图像进行校正；

对校正后的左右相机图像进行图像处理，得到反映所述图像采集区域深度信息的深度图像，并获得所述深度图像中每一像素点的置信度，其中，每一像素点的置信度表征：该像素点的像素值所反映的深度信息为实际的深度信息的概率；

所述计算所述深度图像中有效像素点的数量占所有像素点的总数量的比值，包括：

统计所述深度图像中置信度高于预设的置信度阈值的有效像素点的数量；

计算所述有效像素点的数量占所有像素点的总数量的比值。

本申请的一个实施例中，所述调整所述双目相机当前的内参，包括：

利用非线性优化算法计算所述代价函数的下降梯度，基于所述下降梯度确定所述双目相机内参的调整步长；

按照所述调整步长调整所述双目相机当前的内参。

第二方面，本申请实施例提供了一种内参校准装置，所述装置包括：

参考尺寸获得模块，用于获得双目相机的图像采集区域内目标测量区域的参考尺寸；

深度图像获得模块，用于获得所述图像采集区域的深度图像，其中，所述深度图像为：利用所述双目相机当前的内参，对所述双目相机的左右相机所采集的图像进行图像处理得到的、反映所述图像采集区域深度信息的图像；

尺寸误差计算模块，用于利用所述深度图像确定所述目标测量区域的目标尺寸，计算所述目标尺寸相对所述参考尺寸的尺寸误差；

比值计算模块，用于计算所述深度图像中有效像素点的数量占所有像素点的总数量的比值，其中，所述有效像素点为：所述深度图像中像素值能够反映实际深度信息的像素点；

代价函数确定模块，用于利用所述尺寸误差和比值确定所述双目相机当前的内参的代价函数；

内参调整模块，用于调整所述双目相机当前的内参，触发所述深度图像获得模块，得到多个内参的代价函数；

内参校准模块，用于将代价函数满足预设的代价条件的内参，确定为所述双目相机校准后的内参。

本申请的一个实施例中，所述代价函数确定模块，具体用于：

按照以下公式计算所述双目相机当前的内参的代价函数c：

c＝α*(1-S1)+β*S2

其中，所述α为预设的第一权重，所述β为预设的第二权重，所述S1表示所述比值，所述S2表示所述尺寸误差。

本申请的一个实施例中，所述深度图像获得模块，具体用于：

获得所述双目相机的左右相机所采集的左右相机图像；

利用所述双目相机当前的内参分别对所获得的左右相机图像进行校正；

对校正后的左右相机图像进行图像处理，得到反映所述图像采集区域深度信息的深度图像，并获得所述深度图像中每一像素点的置信度，其中，每一像素点的置信度表征：该像素点的像素值所反映的深度信息为实际的深度信息的概率；

所述比值计算模块，具体用于：

统计所述深度图像中置信度高于预设的置信度阈值的有效像素点的数量；

计算所述有效像素点的数量占所有像素点的总数量的比值。

本申请的一个实施例中，所述内参调整模块，具体用于：

利用非线性优化算法计算所述代价函数的下降梯度，基于所述下降梯度确定所述双目相机内参的调整步长；

按照所述调整步长调整所述双目相机当前的内参，触发所述深度图像获得模块，得到多个内参的代价函数。

第三方面，本申请实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现第一方面任一所述的方法步骤。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现第一方面任一所述的方法步骤。

本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的内参校准方法。

本申请实施例有益效果：

本申请实施例提供的内参校准方案中，可以获得双目相机的图像采集区域内目标测量区域的参考尺寸；获得图像采集区域的深度图像，其中，深度图像为：利用双目相机当前的内参，对双目相机的左右相机所采集的图像进行图像处理得到的、反映图像采集区域深度信息的图像；利用深度图像确定目标测量区域的目标尺寸，计算目标尺寸相对参考尺寸的尺寸误差；计算深度图像中有效像素点的数量占所有像素点的总数量的比值，其中，有效像素点为：深度图像中像素值能够反映实际深度信息的像素点；利用尺寸误差和比值，确定双目相机当前的内参的代价函数，其中，代价函数用于反映双目相机当前的内参的误差大小；调整双目相机当前的内参，返回获得图像采集区域的深度图像的步骤，得到多个内参的代价函数；将代价函数满足预设的代价条件的内参，确定为双目相机校准后的内参。

一方面，这样可以基于固定的目标测量区域进行双目相机的内参校准，在校准过程中无需为了改变图像采集场景而移动双目相机，适用于在双目相机固定安装无法移动的静态场景下对该双目相机的内参进行校准；

另一方面，本申请实施例提供的方案中，利用尺寸误差和比值计算双目相机内参的代价函数，基于代价函数确定校准后的内参，无需借助特征点对确定内参，降低对图像采集场景的依赖性，提高内参校准的鲁棒性，当图像采集场景中特征点较少或较为集中时，也能够实现双目相机的内参校准。

由此可见，应用本申请实施例提供的方案，可以降低内参校准的复杂度，并提高内参校准的准确度。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的实施例。

图1位本申请实施例提供的一种内参校准方法的流程示意图；

图2为本申请实施例提供的另一种内参校准方法的流程示意图；

图3为本申请实施例提供的一种内参校准装置的结构示意图；

图4为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员基于本申请所获得的所有其他实施例，都属于本申请保护的范围。

为了降低内参校准的复杂度、并提高内参校准的准确度，本申请实施例提供了一种内参校准方法、装置、电子设备及存储介质，下面分别进行详细介绍。

参见图1，图1位本申请实施例提供的一种内参校准方法的流程示意图，该方法可以应用于电子计算机、服务器、NVR(Network Video Recorder，网络视频录像机)、DVR(Digital Video Recorder，数字硬盘录像机)、双目相机等电子设备。上述双目相机的内参校准方法可以用于汽车辅助驾驶、机器人导航、客流统计、体积量方等应用场景中，以解决上述场景中所部署的双目相机内参失效的问题。

如图1所示，上述内参校准方法包括如下步骤S101-S107：

S101，获得双目相机的图像采集区域内目标测量区域的参考尺寸。

其中，上述目标测量区域可以是在双目相机的图像采集区域内绘制的图形所在的区域，上述图形可以是方形框、三角框、五角星等；另外，上述目标测量区域也可以是处于双目相机的图像采集区域内的物体所在的区域，上述物体可以是球、水杯、标定板、箱子、标志牌等。

具体的，可以获得双目相机的图像采集区域内的目标测量区域的实际尺寸，作为参考尺寸。上述尺寸可以包括目标测量区域的长、宽、高、半径，还可以包括目标测量区域相对双目相机的距离等。

本申请的一个实施例中，可以获得由人工测量得到的、上述目标测量区域的尺寸，作为参考尺寸；

除此之外，也可以获得上述目标测量区域的参数信息，从上述参数信息中确定目标测量区域的尺寸，作为参考尺寸。例如，假设上述目标测量区域为预设的标志牌所在的区域，则可以获得标志牌的参数信息，从该参数信息中获得标志牌的长、宽、高等信息，作为目标测量区域的参考尺寸。

S102，获得图像采集区域的深度图像。

其中，深度图像为：利用双目相机当前的内参，对双目相机的左右相机所采集的图像进行图像处理得到的、反映图像采集区域深度信息的图像。

上述内参可以包括：双目相机的焦距、像素大小、左右相机的位置、左右相机之间的位姿关系等。

具体的，双目相机包含左右相机，分别为左目相机、右目相机，利用上述左右相机分别对图像采集区域进行图像采集，可以得到左目相机采集的左目相机图像、右目相机采集的右目相机图像，作为左右相机图像，然后利用双目相机当前的内参，对上述左右相机图像进行图像处理，得到反映上述图像采集区域的深度信息的深度图像。

本申请的一个实施例中，可以直接获得双目相机发送的深度图像。具体的，双目相机在采集到图像采集区域的左右相机图像后，可以利用双目相机当前的内参，对上述左右相机图像进行图像处理，得到反映上述图像采集区域的深度信息的深度图像，然后将上述深度图像发送至电子设备，电子设备从而获得图像采集区域的深度图像。

除此之外，双目相机在采集到图像采集区域的左右相机图像后，可以将上述图像发送至电子设备，电子设备获得双目相机当前的内参，并利用上述内参对所接收的左右相机图像进行图像处理，得到反映上述图像采集区域的深度信息的深度图像。

S103，利用深度图像确定目标测量区域的目标尺寸，计算目标尺寸相对参考尺寸的尺寸误差。

具体的，由于目标测量区域处于双目相机的图像采集区域内，因此上述深度图像中包含目标测量区域。深度图像中像素点的像素值可以反映深度信息，利用所获得的深度图像中像素点的像素值所反映的深度信息，可以确定深度图像中目标测量区域的尺寸，作为目标尺寸。在得到目标尺寸后，可以计算上述目标尺寸相对参考尺寸的误差，作为尺寸误差。

由于上述目标尺寸是基于深度图像获得的，而深度图像是基于双目相机当前的内参获得的，因此上述尺寸误差可以反映双目相机当前内参的误差，尺寸误差越大，说明当前内参的误差越大，尺寸误差越小，说明当前内参的误差越小。

本申请的一个实施例中，在利用深度图像确定目标测量区域的目标尺寸时，可以从深度图像中确定反映目标测量区域的像素点的像素值，由于深度图像中每一像素点的像素值可以反映深度信息，因此基于上述像素值可以获得目标测量区域相对双目相机的距离，将上述距离作为目标测量区域的目标尺寸。

本申请的又一实施例中，可以根据像素点的像素值，获得像素点对应的点云数据，然后利用上述点云数据获得目标测量区域的目标尺寸。

本申请的一个实施例中，在计算目标尺寸相对参考尺寸的尺寸误差时，可以计算目标尺寸相对参考尺寸的差值、差值的绝对值等，作为尺寸误差，也可以进一步对上述差值、差值的绝对值等进行加权计算，得到尺寸误差。

S104，计算深度图像中有效像素点的数量占所有像素点的总数量的比值。

其中，有效像素点为：深度图像中像素值能够反映实际深度信息的像素点。

具体的，可以从深度图像中确定像素值能够反映实际深度信息的像素点，作为有效像素点，然后统计有效像素点的数量，计算上述有效像素点的数量占深度图像中所有像素点总数量的比值。

上述比值可以反映深度图像的稠密度，稠密度越高，说明该深度图像的准确度越高。由于上述深度图像为基于双目相机当前的内参获得的，因此上述稠密度也可以反映双目相机当前的内参的准确度，稠密度越大，说明当前内参的误差越小，准确度越高；稠密度越小，说明当前内参的误差越大，准确度越低。

S105，利用尺寸误差和比值确定双目相机当前的内参的代价函数。

其中，代价函数用于反映双目相机当前的内参的误差大小。

具体的，上述尺寸误差和比值均可以反映双目相机当前内参的误差，尺寸误差越小，稠密度越大，说明当前内参的误差越小；尺寸误差越大，稠密度越小，说明当前内参的误差越大。基于此，可以利用上述尺寸误差和上述比值确定双目相机当前内参的代价函数，该代价函数同样可以反映双目相机当前内参的误差大小。代价函数越小，说明基于当前内参所得到的尺寸误差越小、比值越大，进而说明当前内参的误差越小；代价函数越大，说明基于当前内参所得到的尺寸误差越大、比值越小，进而说明当前内参的误差越大

S106，调整双目相机当前的内参，返回步骤S102，得到多个内参的代价函数。

具体的，可以调整双目相机的内参，然后返回上述步骤S102，利用调整后的内参，重新获得图像采集区域的深度图像，基于新获得的深度图像获得目标测量区域新的目标尺寸，并获得新的深度图像中有效像素点的数量占所有像素点的总数量的比值，然后利用新的目标尺寸和新的比值确定调整后内参的代价函数，这样在每一次返回上述步骤S102后，均可得到一个新的调整后的内参、以及调整后内参的代价函数，最终可以得到多个内参、以及多个内参的代价函数。

本申请的一个实施例中，可以预先设定预设数量个内参，这样在调整双目相机的内参时，可以逐一遍历所设定的多个内参，在遍历结束之后，得到上述预设数量个内参的代价函数。其中，上述预设数量可以是5、10、30等。

除此之外，本申请的一个实施例中，也可以按照预设的调整步长，调整双目相机当前的内参。这种情况下，可以在循环次数达到预设的次数阈值的情况下，结束循环，最终得到上述次数阈值+1个内参的代价函数。

本申请的一个实施例中，在调整双目相机的内参时，可以调整双目相机所有的参数，也可以仅调整双目相机内参中的部分参数。例如，假设双目相机的内参包括焦距、垂直视场范围、水平视场范围、位姿、畸变系数等参数，在调整双目相机的内参时，由于双目相机的位姿可以通过位姿传感器获得，因此可以仅调整双目相机的焦距、垂直视场范围、水平视场范围、畸变系数等参数。

S107，将代价函数满足预设的代价条件的内参，确定为双目相机校准后的内参。

其中，上述代价条件用于：基于代价函数判断对应的内参是否符合要求，可以理解为，当内参的代价函数满足该代价条件时，说明利用该内参所计算得到的尺寸误差较小、且所得到的深度图像中有效像素点的数量占所有像素点的总数量的比值较高，进而说明该内参相对双目相机真实的内参的误差较小。

具体的，在得到多个内参的代价函数后，可以从上述多个内参中确定代价函数满足预设的代价条件的内参，作为双目相机校准后的内参。

本申请的一个实施例中，上述代价条件可以是代价函数最小。这种情况下，可以从多个内参中，选择对应的代价函数最小的内参，作为双目相机校准后的内参。

除此之外，上述代价条件还可以是代价函数小于预设的评价阈值。这种情况下，可以从多个内参中，选择对应的代价函数小于上述评价阈值的内参，然后从上述内参中选择一内参作为双目相机校准后的内参。

上述实施例提供的内参校准方案中，可以获得双目相机的图像采集区域内目标测量区域的参考尺寸；获得图像采集区域的深度图像，其中，深度图像为：利用双目相机当前的内参，对双目相机的左右相机所采集的图像进行图像处理得到的、反映图像采集区域深度信息的图像；利用深度图像确定目标测量区域的目标尺寸，计算目标尺寸相对参考尺寸的尺寸误差；计算深度图像中有效像素点的数量占所有像素点的总数量的比值，其中，有效像素点为：深度图像中像素值能够反映实际深度信息的像素点；利用尺寸误差和比值，确定双目相机当前的内参的代价函数，其中，代价函数用于反映双目相机当前的内参的误差大小；调整双目相机当前的内参，返回获得图像采集区域的深度图像的步骤，得到多个内参的代价函数；将代价函数满足预设的代价条件的内参，确定为双目相机校准后的内参。

一方面，这样可以基于固定的目标测量区域进行双目相机的内参校准，在校准过程中无需为了改变图像采集场景而移动双目相机，适用于在双目相机固定安装无法移动的静态场景下对该双目相机的内参进行校准；

另一方面，上述实施例提供的方案中，利用尺寸误差和比值计算双目相机内参的代价函数，基于代价函数确定校准后的内参，无需借助特征点对确定内参，降低对图像采集场景的依赖性，提高内参校准的鲁棒性，当图像采集场景中特征点较少或较为集中时，也能够实现双目相机的内参校准。

由此可见，应用上述实施例提供的方案，可以降低内参校准的复杂度，并提高内参校准的准确度。

本申请的一个实施例中，对于上述步骤S105在确定代价函数时，可以按照以下公式计算双目相机当前的内参的代价函数c：

c＝α*(1-S1)+β*S2

其中，α为预设的第一权重，β为预设的第二权重，S1表示比值，S2表示尺寸误差。上述第一权重可以为0.5、0.6、0.3、1.2、4等，上述第二权重可以为0.4、0.7、2.5、6等，上述第一权重与第二权重之和可以为1，也可以不为1，本申请实施例并不对此进行限定。

除此之外，也可以直接计算上述尺寸误差相对上述比值的比例，得到代价函数，本申请实施例并不对此进行限定。

本申请的一个实施例中，在上述步骤S102获得深度图像时，可以获得双目相机的左右相机所采集的左右相机图像；利用双目相机当前的内参分别对所获得的左右相机图像进行校正；对校正后的左右相机图像进行图像处理，得到反映图像采集区域深度信息的深度图像，并获得深度图像中每一像素点的置信度。

其中，每一像素点的置信度表征：该像素点的像素值所反映的深度信息为实际的深度信息的概率。

具体的，可以利用双目相机当前的内参对上述左右相机图像进行校正处理，然后对上述校正后左右相机图像进行立体匹配，计算校正后左右相机图像之间的视差图，最后将上述视差图转化为深度图，从而得到反映图像采集区域的深度信息的深度图像。在得到深度图像过程中，还可以获得深度图像中每一像素点的置信度，该置信度可以表征像素点的像素值所反映深度信息为实际的深度信息的概率。

上述方案的情况下，在计算深度图像中有效像素点的数量占所有像素点的总数量的比值时，可以统计深度图像中置信度高于预设的置信度阈值的有效像素点的数量；计算有效像素点的数量占所有像素点的总数量的比值。

具体的，可以从深度图像中确定置信度高于预设的置信度阈值的像素点，作为有效像素点，然后统计上述有效像素点的数量，进而计算有效像素点的数量占所有像素点的总数量的比值。

本申请的一个实施例中，在步骤S106调整双目相机当前的内参时，可以利用非线性优化算法计算代价函数的下降梯度，基于下降梯度确定双目相机内参的调整步长；按照调整步长调整双目相机当前的内参。

具体的，在得到代价函数后，可以利用非线性优化算法，计算上述代价函数的下降梯度，基于该梯度确定内参的调整步长，然后按照所确定的调整步长调整当前的内参，这样能够使得调整后的内参的代价函数减小，有助于获得更优的内参。

上述方案中，可以判断所计算的下降梯度是否达到预设的梯度阈值，若为否，则基于该梯度确定内参的调整步长，然后按照所确定的调整步长调整当前的内参，并返回步骤S102，继续获得调整后内参的代价函数，直至所计算的下降梯度达到预设的梯度阈值，则不再调整内参。

这种情况下，对于步骤S105，可以直接将最后一次调整后所得到的内参，作为双目相机校准后的内参。

具体的，当下降梯度达到预设的梯度阈值时，说明所计算的代价函数逐渐趋于稳定，不再显著下降，这种情况下，可以不再继续调整内参，而直接将最后一次调整后所得到的内参，作为双目相机校准后的内参。

上述方案中，可以不断优化双目相机的内参，使得对应的代价函数不断下降，最终将代价函数最小时对应的内参确定为双目相机校准后的内参，这种情况下，基于校准后内参所得到的尺寸误差越小、且比值越大，所得到的内参的误差越小，从而实现双目相机内参的校准。

参见图2，图2为本申请实施例提供的另一种内参校准方法的流程示意图，该方法包括如下步骤S201-S207：

S201，获得双目相机的图像采集区域内目标测量区域的参考尺寸。

S202，获得图像采集区域的深度图像，并获得深度图像中每一像素点的置信度。

其中，深度图像为：利用双目相机当前的内参，对双目相机的左右相机所采集的图像进行图像处理得到的、反映图像采集区域深度信息的图像。

每一像素点的置信度表征：该像素点的像素值所反映的深度信息为实际的深度信息的概率。

S203，统计深度图像中置信度高于预设的置信度阈值的有效像素点的数量，计算有效像素点的数量占所有像素点的总数量的比值，作为深度图像的稠密度。

S204，利用深度图像确定目标测量区域的目标尺寸，计算目标尺寸相对参考尺寸的尺寸误差。

S205，利用尺寸误差和稠密度，确定双目相机当前的内参的代价函数。

其中，代价函数用于反映双目相机当前的内参的误差大小。

具体的，可以按照以下公式计算双目相机当前的内参的代价函数c：

c＝α*(1-S1)+β*S2

其中，α为预设的第一权重，β为预设的第二权重，S1表示稠密度，S2表示尺寸误差。

S206，利用非线性优化算法计算代价函数的下降梯度，基于下降梯度确定双目相机内参的调整步长；按照调整步长调整双目相机当前的内参，返回步骤S202，得到多个内参的代价函数，直至所计算的下降梯度达到预设的梯度阈值。

S207，将最后一次调整后所得到的内参，确定为双目相机校准后的内参。

上述实施例提供的内参校准方案中，可以首先在双目相机的图像采集区域中选定一区域，作为目标测量区域，然后对该区域的尺寸信息进行人工精确测量，得到参考尺寸，上述尺寸信息包括但不限于该区域到相机的垂直距离、该区域的长度、宽度等；接着利用双目相机当前的内参进行深度图计算，得到深度图像，利用深度图像获得上述目标测量区域的尺寸信息，作为目标尺寸，计算该目标尺寸相对参考尺寸的误差，并确定该深度图像的稠密度，并利用稠密度和尺寸误差计算当前的内参对应的代价函数；

此时当前的内参的误差可能较大，所以计算得到的稠密度较低，且尺寸误差较大，从而得到的代价函数结果较高；因此，可以在当前内参的基础上，微调双目相机的内参，使得代价函数变小，并将调整后的内参作为当前的内参，代入下一次的深度图计算和内参调整步骤中，直至迭代结束。

一方面，这样可以基于固定的目标测量区域进行双目相机的内参校准，在校准过程中无需为了改变图像采集场景而移动双目相机，适用于在双目相机固定安装无法移动的静态场景下对该双目相机的内参进行校准；

另一方面，上述实施例提供的方案中，利用尺寸误差和比值计算双目相机内参的代价函数，基于代价函数确定校准后的内参，无需借助特征点对确定内参，降低对图像采集场景的依赖性，提高内参校准的鲁棒性，当图像采集场景中特征点较少或较为集中时，也能够实现双目相机的内参校准。

由此可见，应用上述实施例提供的方案，可以降低内参校准的复杂度，并提高内参校准的准确度。

与上述内参校准方法相对应地，本申请实施例还提供了一种内参校准装置，下面进行详细介绍。

参见图3，图3为本申请实施例提供的一种内参校准装置的结构示意图，所述装置包括：

参考尺寸获得模块301，用于获得双目相机的图像采集区域内目标测量区域的参考尺寸；

深度图像获得模块302，用于获得所述图像采集区域的深度图像，其中，所述深度图像为：利用所述双目相机当前的内参，对所述双目相机的左右相机所采集的图像进行图像处理得到的、反映所述图像采集区域深度信息的图像；

尺寸误差计算模块303，用于利用所述深度图像确定所述目标测量区域的目标尺寸，计算所述目标尺寸相对所述参考尺寸的尺寸误差；

比值计算模块304，用于计算所述深度图像中有效像素点的数量占所有像素点的总数量的比值，其中，所述有效像素点为：所述深度图像中像素值能够反映实际深度信息的像素点；

代价函数确定模块305，用于利用所述尺寸误差和比值确定所述双目相机当前的内参的代价函数；

内参调整模块306，用于调整所述双目相机当前的内参，触发所述深度图像获得模块，得到多个内参的代价函数；

内参校准模块307，用于将代价函数满足预设的代价条件的内参，确定为所述双目相机校准后的内参。

本申请的一个实施例中，所述代价函数确定模块305，具体用于：

按照以下公式计算所述双目相机当前的内参的代价函数c：

c＝α*(1-S1)+β*S2

其中，所述α为预设的第一权重，所述β为预设的第二权重，所述S1表示所述比值，所述S2表示所述尺寸误差。

本申请的一个实施例中，所述深度图像获得模块302，具体用于：

获得所述双目相机的左右相机所采集的左右相机图像；

利用所述双目相机当前的内参分别对所获得的左右相机图像进行校正；

对校正后的左右相机图像进行图像处理，得到反映所述图像采集区域深度信息的深度图像，并获得所述深度图像中每一像素点的置信度，其中，每一像素点的置信度表征：该像素点的像素值所反映的深度信息为实际的深度信息的概率；

所述比值计算模块304，具体用于：

统计所述深度图像中置信度高于预设的置信度阈值的有效像素点的数量；

计算所述有效像素点的数量占所有像素点的总数量的比值。

本申请的一个实施例中，所述内参调整模块306，具体用于：

利用非线性优化算法计算所述代价函数的下降梯度，基于所述下降梯度确定所述双目相机内参的调整步长；

按照所述调整步长调整所述双目相机当前的内参，触发所述深度图像获得模块，得到多个内参的代价函数。

上述实施例提供的内参校准方案中，可以获得双目相机的图像采集区域内目标测量区域的参考尺寸；获得图像采集区域的深度图像，其中，深度图像为：利用双目相机当前的内参，对双目相机的左右相机所采集的图像进行图像处理得到的、反映图像采集区域深度信息的图像；利用深度图像确定目标测量区域的目标尺寸，计算目标尺寸相对参考尺寸的尺寸误差；计算深度图像中有效像素点的数量占所有像素点的总数量的比值，其中，有效像素点为：深度图像中像素值能够反映实际深度信息的像素点；利用尺寸误差和比值，确定双目相机当前的内参的代价函数，其中，代价函数用于反映双目相机当前的内参的误差大小；调整双目相机当前的内参，返回获得图像采集区域的深度图像的步骤，得到多个内参的代价函数；将代价函数满足预设的代价条件的内参，确定为双目相机校准后的内参。

一方面，这样可以基于固定的目标测量区域进行双目相机的内参校准，在校准过程中无需为了改变图像采集场景而移动双目相机，适用于在双目相机固定安装无法移动的静态场景下对该双目相机的内参进行校准；

另一方面，上述实施例提供的方案中，利用尺寸误差和比值计算双目相机内参的代价函数，基于代价函数确定校准后的内参，无需借助特征点对确定内参，降低对图像采集场景的依赖性，提高内参校准的鲁棒性，当图像采集场景中特征点较少或较为集中时，也能够实现双目相机的内参校准。

由此可见，应用上述实施例提供的方案，可以降低内参校准的复杂度，并提高内参校准的准确度。

本申请实施例还提供了一种电子设备，如图4所示，包括处理器401、通信接口402、存储器403和通信总线404，其中，处理器401，通信接口402，存储器403通过通信总线404完成相互间的通信，

存储器403，用于存放计算机程序；

处理器401，用于执行存储器403上所存放的程序时，实现内参校准方法的步骤。

上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述电子设备与其他设备之间的通信。

存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

在本申请提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一内参校准方法的步骤。

在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一内参校准方法。

上述实施例提供的内参校准方案中，可以获得双目相机的图像采集区域内目标测量区域的参考尺寸；获得图像采集区域的深度图像，其中，深度图像为：利用双目相机当前的内参，对双目相机的左右相机所采集的图像进行图像处理得到的、反映图像采集区域深度信息的图像；利用深度图像确定目标测量区域的目标尺寸，计算目标尺寸相对参考尺寸的尺寸误差；计算深度图像中有效像素点的数量占所有像素点的总数量的比值，其中，有效像素点为：深度图像中像素值能够反映实际深度信息的像素点；利用尺寸误差和比值，确定双目相机当前的内参的代价函数，其中，代价函数用于反映双目相机当前的内参的误差大小；调整双目相机当前的内参，返回获得图像采集区域的深度图像的步骤，得到多个内参的代价函数；将代价函数满足预设的代价条件的内参，确定为双目相机校准后的内参。

一方面，这样可以基于固定的目标测量区域进行双目相机的内参校准，在校准过程中无需为了改变图像采集场景而移动双目相机，适用于在双目相机固定安装无法移动的静态场景下对该双目相机的内参进行校准；

另一方面，上述实施例提供的方案中，利用尺寸误差和比值计算双目相机内参的代价函数，基于代价函数确定校准后的内参，无需借助特征点对确定内参，降低对图像采集场景的依赖性，提高内参校准的鲁棒性，当图像采集场景中特征点较少或较为集中时，也能够实现双目相机的内参校准。

由此可见，应用上述实施例提供的方案，可以降低内参校准的复杂度，并提高内参校准的准确度。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例、电子设备实施例、计算机可读存储介质实施例、计算机程序产品实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本申请的较佳实施例，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

Claims (10)

1.一种内参校准方法，其特征在于，所述方法包括：

获得双目相机的图像采集区域内目标测量区域的参考尺寸；

获得所述图像采集区域的深度图像，其中，所述深度图像为：利用所述双目相机当前的内参，对所述双目相机的左右相机所采集的图像进行图像处理得到的、反映所述图像采集区域深度信息的图像；

利用所述深度图像确定所述目标测量区域的目标尺寸，计算所述目标尺寸相对所述参考尺寸的尺寸误差；

计算所述深度图像中有效像素点的数量占所有像素点的总数量的比值，其中，所述有效像素点为：所述深度图像中像素值能够反映实际深度信息的像素点；

利用所述尺寸误差和比值，确定所述双目相机当前的内参的代价函数，其中，所述代价函数用于反映所述双目相机当前的内参的误差大小；

调整所述双目相机当前的内参，返回所述获得所述图像采集区域的深度图像的步骤，得到多个内参的代价函数；

将代价函数满足预设的代价条件的内参，确定为所述双目相机校准后的内参。

2.根据权利要求1所述的方法，其特征在于，所述利用所述尺寸误差和比值确定所述双目相机当前的内参的代价函数，包括：

按照以下公式计算所述双目相机当前的内参的代价函数c：

c＝α*(1-S1)+β*S2

其中，所述α为预设的第一权重，所述β为预设的第二权重，所述S1表示所述比值，所述S2表示所述尺寸误差。

3.根据权利要求1所述的方法，其特征在于，所述获得所述图像采集区域的深度图像，包括：

获得所述双目相机的左右相机所采集的左右相机图像；

利用所述双目相机当前的内参分别对所获得的左右相机图像进行校正；

对校正后的左右相机图像进行图像处理，得到反映所述图像采集区域深度信息的深度图像，并获得所述深度图像中每一像素点的置信度，其中，每一像素点的置信度表征：该像素点的像素值所反映的深度信息为实际的深度信息的概率；

所述计算所述深度图像中有效像素点的数量占所有像素点的总数量的比值，包括：

统计所述深度图像中置信度高于预设的置信度阈值的有效像素点的数量；

计算所述有效像素点的数量占所有像素点的总数量的比值。

4.根据权利要求1-3中任一项所述的方法，其特征在于，所述调整所述双目相机当前的内参，包括：

利用非线性优化算法计算所述代价函数的下降梯度，基于所述下降梯度确定所述双目相机内参的调整步长；

按照所述调整步长调整所述双目相机当前的内参。

5.一种内参校准装置，其特征在于，所述装置包括：

参考尺寸获得模块，用于获得双目相机的图像采集区域内目标测量区域的参考尺寸；

深度图像获得模块，用于获得所述图像采集区域的深度图像，其中，所述深度图像为：利用所述双目相机当前的内参，对所述双目相机的左右相机所采集的图像进行图像处理得到的、反映所述图像采集区域深度信息的图像；

尺寸误差计算模块，用于利用所述深度图像确定所述目标测量区域的目标尺寸，计算所述目标尺寸相对所述参考尺寸的尺寸误差；

比值计算模块，用于计算所述深度图像中有效像素点的数量占所有像素点的总数量的比值，其中，所述有效像素点为：所述深度图像中像素值能够反映实际深度信息的像素点；

代价函数确定模块，用于利用所述尺寸误差和比值确定所述双目相机当前的内参的代价函数；

内参调整模块，用于调整所述双目相机当前的内参，触发所述深度图像获得模块，得到多个内参的代价函数；

内参校准模块，用于将代价函数满足预设的代价条件的内参，确定为所述双目相机校准后的内参。

6.根据权利要求5所述的装置，其特征在于，所述代价函数确定模块，具体用于：

按照以下公式计算所述双目相机当前的内参的代价函数c：

c＝α*(1-S1)+β*S2

其中，所述α为预设的第一权重，所述β为预设的第二权重，所述S1表示所述比值，所述S2表示所述尺寸误差。

7.根据权利要求5所述的装置，其特征在于，所述深度图像获得模块，具体用于：

获得所述双目相机的左右相机所采集的左右相机图像；

利用所述双目相机当前的内参分别对所获得的左右相机图像进行校正；

对校正后的左右相机图像进行图像处理，得到反映所述图像采集区域深度信息的深度图像，并获得所述深度图像中每一像素点的置信度，其中，每一像素点的置信度表征：该像素点的像素值所反映的深度信息为实际的深度信息的概率；

所述比值计算模块，具体用于：

统计所述深度图像中置信度高于预设的置信度阈值的有效像素点的数量；

计算所述有效像素点的数量占所有像素点的总数量的比值。

8.根据权利要求5-7中任一项所述的装置，其特征在于，所述内参调整模块，具体用于：

利用非线性优化算法计算所述代价函数的下降梯度，基于所述下降梯度确定所述双目相机内参的调整步长；

按照所述调整步长调整所述双目相机当前的内参，触发所述深度图像获得模块，得到多个内参的代价函数。

9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现权利要求1-4任一所述的方法步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-4任一所述的方法步骤。

Images