CN112509058B - 外参的计算方法、装置、电子设备和存储介质 - Google Patents

Abstract

本申请公开了图像采集设备的外参的计算方法、装置、电子设备和存储介质，涉及计算机视觉和深度学习技术等人工智能领域。图像采集设备的外参的计算方法具体实现方案为：获取由图像采集设备以预设姿态拍摄的参考图像，参考图像包括预先确定的多个第一角点，多个第一角点与三维空间中的多个3D坐标点一一对应；获取由图像采集设备拍摄的目标图像，在目标图像中确定与多个第一角点匹配的多个第二角点；以及基于多个第二角点以及与多个第二角点匹配的第一角点所对应的3D坐标点，计算图像采集设备的外参。

Description

外参的计算方法、装置、电子设备和存储介质

技术领域

本申请涉及人工智能领域，具体涉及计算机视觉和深度学习技术。尤其涉及图像采集设备的外参的计算方法、装置、系统、电子设备和存储介质。

背景技术

在计算机视觉应用中，为确定空间物体某点的三维几何位置与其在图像中对应点之间的对应关系，必须建立相机成像的几何模型，这些几何模型参数就是相机参数。在大多数条件下这些参数需要通过实验与计算才能得到，这个求解参数的过程可以称之为相机标定(或摄像机标定)。相机参数包括内参和外参，内参是相机坐标系与图像物理坐标之间的变换矩阵，外参是相机坐标系与世界坐标系之间的变换矩阵，对于同一相机，其内参基本保持不变，外参会随着相机姿态的变化而发生变化。

在实现本申请的过程中发现，对于位置基本固定的相机，例如监控摄像头，通常采用传统静态标定法来计算外参，如张氏标定法，传统静态标定法只能进行离线标定，无法进行实时在线标定。但是在风力、振动等因素的作用下，相机可能会发生偏转或偏移，其外参也会随之发生变化，若继续采用之前计算的外参进行图像处理会造成较大的误差，若重新采用上述方法修正外参又会造成工作量大且效率低的问题。

发明内容

提供了一种图像采集设备的外参的计算方法、装置、系统、电子设备和存储介质。

根据第一方面，提供了一种图像采集设备的外参的计算方法，包括：获取由上述图像采集设备以预设姿态拍摄的参考图像，上述参考图像包括预先确定的多个第一角点，上述多个第一角点与三维空间中的多个3D坐标点一一对应；获取由上述图像采集设备拍摄的目标图像，在上述目标图像中确定与上述多个第一角点匹配的多个第二角点；以及基于上述多个第二角点以及与上述多个第二角点匹配的第一角点所对应的3D坐标点，计算上述图像采集设备的外参。

根据第二方面，提供了一种图像采集设备的外参的计算装置，包括：获取模块，用于获取由上述图像采集设备以预设姿态拍摄的参考图像，上述参考图像包括预先确定的多个第一角点，上述多个第一角点与三维空间中的多个3D坐标点一一对应；匹配模块，用于获取由上述图像采集设备拍摄的目标图像，在上述目标图像中确定与上述多个第一角点匹配的多个第二角点；以及计算模块，用于基于上述多个第二角点以及与上述多个第二角点匹配的第一角点所对应的3D坐标点，计算上述图像采集设备的外参。

根据第三方面，提供了一种电子设备，包括：至少一个处理器；以及与上述至少一个处理器通信连接的存储器；其中，上述存储器存储有可被上述至少一个处理器执行的指令，上述指令被上述至少一个处理器执行，以使上述至少一个处理器能够执行本申请上述的方法。

根据第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，上述计算机指令用于使上述计算机执行本申请上述的方法。

根据第五方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现上述方法。

通过本申请的实施例的技术方案，通过设置参考图像，并预先获得参考图像中的角点与3D坐标点之间的对应关系，在需要进行外参计算时，将当前获取的目标图像与该参考图像进行角点匹配，进而得到目标图像中的角点与3D坐标点的对应关系，并根据该对应关系计算得到当前外参。通过此方法，可以对发生偏转或偏移的摄像头实现动态外参标定，节省人力并提高效率，此外，该方法的计算流程简单，可节省计算资源、快速获得计算结果，并且计算结果准确可靠。

应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1示意性示出了根据本申请实施例的可以应用图像采集设备的外参计算方法及装置的示例性系统架构；

图2示意性示出了根据本申请实施例的图像采集设备的外参的计算方法的流程图；

图3A示意性示出了根据本申请实施例的参考图像的示意图；

图3B示意性示出了根据本申请实施例的目标图像的示意图；

图4示意性示出了根据本申请实施例的第二角点与3D坐标点匹配的示意图；

图5示意性示出了根据本申请实施例的第一筛选的流程图；

图6示意性示出了根据本申请实施例的第二筛选的流程图；

图7A和图7B示意性示出了根据本申请实施例的参考图像和目标图像的示意图；

图8示意性示出了根据本申请实施例的图像采集设备的外参的计算装置的框图；以及

图9示意性示出了根据本申请实施例的适于实现图像采集设备的外参的计算方法的电子设备的框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

在实现本申请的过程中发现，对于位置基本固定的相机，例如监控摄像头，通常采用传统静态标定法来计算外参，如张氏标定法，传统静态标定法只能进行离线标定，无法进行动态标定。但是在风力等因素的作用下，相机可能会发生偏转或偏移，其外参也会随之发生变化，若继续采用之前标定的外参进行图像处理会造成较大的结果误差，若重新采用上述静态标定方法计算外参又会造成工作量大且效率低的问题。

本申请的实施例提供了一种图像采集设备的外参的计算方法，该方法包括：获取由图像采集设备以预设姿态拍摄的参考图像，参考图像包括预先确定的多个第一角点，多个第一角点与三维空间中的多个3D坐标点一一对应。获取由图像采集设备拍摄的目标图像，在目标图像中确定与多个第一角点匹配的多个第二角点。基于多个第二角点以及与多个第二角点匹配的第一角点所对应的3D坐标点，计算图像采集设备的外参。

图1示意性示出了根据本申请实施例的可以应用图像采集设备的外参计算方法及装置的示例性系统架构。

需要注意的是，图1所示仅为可以应用本申请实施例的系统架构的示例，以帮助本领域技术人员理解本申请的技术内容，但并不意味着本申请实施例不可以用于其他设备、系统、环境或场景。

如图1所示，根据该实施例的系统架构100可以包括图像采集设备111、112和113，以及计算设备120。其中，图像采集设备111、112和113例如可以是用于拍摄监控图像的监控摄像头，在道路监控的应用场景中，图像采集设备可以是设置于道路上的监控摄像头，用于拍摄道路监控图像。图像采集设备111、112和113可以将拍摄的图像发送至计算设备120，计算设备120可以根据每个图像采集设备拍摄的图像以及预存的相关数据计算得到各个图像采集设备的当前外参。

需要说明的是，本申请的实施例所提供的图像采集设备的外参计算方法一般可以由计算设备120执行。

应该理解，图1中的终端设备和计算设备的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备和计算设备。

图2示意性示出了根据本申请实施例的图像采集设备的外参的计算方法的流程图。

如图2所示，该方法包括操作S210～S230。

在操作S210，获取由图像采集设备以预设姿态拍摄的参考图像，参考图像包括预先确定的多个第一角点，多个第一角点与三维空间中的多个3D坐标点一一对应。

在操作S220，获取由图像采集设备拍摄的目标图像，在目标图像中确定与多个第一角点匹配的多个第二角点。

在操作S230，基于多个第二角点以及与多个第二角点匹配的第一角点所对应的3D坐标点，计算图像采集设备的外参。

根据本申请的实施例，图像采集设备例如可以是指监控摄像头，预设姿态例如可以是指图像采集设备被安装完毕时所处的姿态，图像采集设备被安装完毕后，可以开始采集前景图像，并且可以在这个阶段对图像采集设备进行初次外参标定，若图像采集设备发生偏转或者经过预定时间后可以采用本实施例提供的外参计算方法来对外参进行重新计算。

根据本申请的实施例，可以预先选取参考图像中的多个第一角点，并预先确定参考图像中多个第一角点各自的2D坐标以及在三维空间中与该多个第一角点一一对应的多个3D坐标。

图3A示意性示出了根据本申请实施例的参考图像310的示意图。

如图3A所示，在参考图像310上选取多个第一角点，在道路监控场景下，第一角点例如可以采用车道线的角点，选取的第一角点的数量依据实际情况而定，在本实施例中第一角点的数量例如可以大于20个，图中仅标注出了其中的四个第一角点p1、p2、p3和p4。在选择角点时，需要选取道路、标志物、路灯或者建筑等不动物体上的点作为角点，避免选取车辆等可移动物体上的点作为角点。

获得多个第一角点在参考图像310上的2D坐标，并获得分别与各个第一角点对应的3D坐标点。其中，三维空间可以是指图像采集设备以及前景物体所处的真实场景空间，例如，在道路监控场景中，三维空间是指道路、标志物或者建筑等物体所处的真实空间。可以用世界坐标系来标示该三维空间中的位置，本申请实施例中的3D坐标点是指在世界坐标系下的三维坐标。

参考图像中第一角点p1的2D坐标例如为(x1，y1)，该第一角点p1对应的3D坐标点例如为(X1，Y1，Z1)。参考图像中第一角点p2的2D坐标例如为(x2，y2)，该第一角点p2对应的3D坐标点例如为(X2，Y2，Z2)。其他第一角点同理。

图3B示意性示出了根据本申请实施例的目标图像320的示意图。

如图3A和图3B所示，在图像采集设备发生轻微偏转的情况下，拍摄的角度也发生改变，造成三维物体在目标图像320中的位置相对于在参考图像310中的位置发生了变化，其中，轻微偏转可以是指偏转角度小于某个角度阈值，该角度阈值例如可以为10°～30°之间的值。在选择目标图像320时，可以从图像采集设备采集的多张图像中选择前景物体较少的一张图像，以避免前景信息的干扰，例如，在道路监控场景中，可以选择一张车辆较少的监控图像。其中，前景物体较少可以是指前景物体的数量小于某一数量阈值，该数量阈值例如可以为2～5之间的值。

根据本申请的实施例，可以通过光流跟踪的方法在目标图像320中确定与多个第一角点匹配的多个第二角点，其中，光流跟踪方法例如可以是KLT(Kanada-Lucas-Tomasi)跟踪算法(也称为lucas光流法)，除了光流跟踪方法外，还可以采用BFM(Bruce ForceMather)等特征匹配算法来完成在目标图像320中确定与多个第一角点匹配的多个第二角点的操作。

参考图像310中的多个第一角点与目标图像320中的多个第二角点也是一一匹配的关系，例如，参考图像310中第一角点p1与目标图像320中的第二角点p1’匹配，第二角点p1’在目标图像320中的2D坐标例如为(x1’，y1’)。参考图像310中第一角点p2与目标图像320中的第二角点p2’匹配，第二角点p2’在目标图像320中的2D坐标例如为(x2’，y2’)。参考图像310中第一角点p3与目标图像320中的第二角点p3’匹配，参考图像310中第一角点p4与目标图像320中的第二角点p4’匹配，其他角点同理。

图4示意性示出了根据本申请实施例的第二角点与3D坐标点匹配的示意图。

如图4所示，根据本申请的实施例，在已知与多个第一角点(p1、p2、...、pn)一一对应的3D坐标点(P1、P2、...、Pn)，以及与多个第一角点(p1、p2、...、pn)一一对应的第二角点(p1’、p2’、...、pn’)之后，可以确定多个第二角点(p1’、p2’、...、pn’)与3D坐标点(P1、P2、...、Pn)的一一对应关系，其中，n为正整数。例如，第一角点p1与3D坐标点P1对应，并且第一角点p1与第二角点p1’匹配，因此，第二角点p1’的2D坐标(x1’，y1’)与3D坐标点P1(X1，Y1，Z1)是对应的，其他角点同理。

根据本申请的实施例，在得到目标图像的各个第二角点的2D坐标与3D坐标之间的对应关系之后，可以通过多个2D-3D坐标点对计算得到图像采集设备的当前外参，以对图像采集设备的外参进行了修正。

根据本申请的实施例，通过设置参考图像，并预先获得参考图像中的角点与3D坐标点之间的对应关系，在需要进行外参计算时，将当前获取的目标图像与该参考图像进行角点匹配，进而得到目标图像中的角点与3D坐标点的对应关系，并根据该对应关系计算得到当前外参。通过此方法，可以对发生偏转或偏移的摄像头实现动态外参标定，节省人力并提高效率，此外，该方法的计算流程简单，可节省计算资源、快速获得计算结果，并且计算结果准确可靠。

根据本申请的实施例，计算图像采集设备的外参可以包括：根据公式：p＝M*[R|T]*P来计算图像采集设备的外参，其中，p表示多个第二角点的坐标矩阵，P表示与多个第二角点匹配的第一角点所对应的3D坐标点的坐标矩阵，M表示图像采集设备的内参矩阵，[R|T]表示图像采集设备的外参矩阵。

例如，可以将n个第二角点的2D坐标转换为其次坐标并集合为矩阵将n个3D坐标转换为其次坐标并集合为矩阵内参矩阵M可以表示为/>外参矩阵[R|T]可以表示为因此，p＝M*[R|T]*P可以转换为下式：

对于同一个图像采集设备，其内参矩阵固定不变，内参矩阵M是已知的，并且p和P已知，因而可以计算得到外参矩阵[R|T]。

根据本申请的实施例，在通过光流跟踪等方法得到多个第二角点之后，可以先对多个第二角点进行筛选和验证，保留若干个匹配无误的第二角点，再根据保留的第二角点执行计算外参的操作。

根据本申请的实施例，图像采集设备的外参的计算方法还包括：在计算图像采集设备的外参之前，对多个第二角点进行第一筛选和第二筛选中的至少之一。

根据本申请的实施例，第一筛选例如可以是将多个第二角点中的一些离群点剔除，第二筛选例如可以包括验证第二角点与第一角点匹配是否正确。通过第一筛选和/或第二筛选可以保证角点匹配的准确性，进而可以保证计算的外参的精准度。

图5示意性示出了根据本申请实施例的第一筛选的流程图。

如图5所示，根据本申请的实施例，第一筛选包括操作S510～S520。

在操作S510，基于多个第二角点以及与多个第二角点匹配的第一角点进行单应性拟合。

在操作S520，通过随机采样一致RANSAC(Random Sample Consensus)算法，基于单应性拟合的结果从多个第二角点中去除离群的第二角点。

根据本申请的实施例，利用目标图像与参考图像上的多个匹配的角点来拟合两张图像之间的单应性矩阵，其中，单应性矩阵是指两张图像的转换矩阵，也就是一个图像中的点映射到另一图像中的对应点的变换矩阵。第一角点、第二角点与单应性矩阵之间的关系可以通过下式表示：

其中，表示任一个第一角点的坐标，/>表示与第一角点/>匹配的第二角点的坐标，/>表示单应性矩阵。

根据本申请的实施例，可以采用RANSAC算法进行单应性矩阵的拟合。在拟合单应性矩阵的过程中，RANSAC算法可以去除掉一些离群点，离群点例如是通过光流跟踪方法匹配角点时产生的匹配失误的角点。

具体地，在利用RANSAC算法拟合单应性矩阵的过程中，先取其中的部分点进行拟合，例如第一角点和第二角点组成的角点对的数量为20个，先取其中4个角点对拟合得到一个单应性矩阵，并验证剩余的16个角点对是否满足该单应性矩阵，满足的作为内点，不满足的作为外点。然后，再取其他4个角点对拟合得到另一个单应性矩阵，同样得到该单应性矩阵对应的内点和外点。以此类推，拟合得到多个单应性矩阵以及得到每个单应性矩阵对应的内点和外点，取其中内点数量最多的单应性矩阵作为最终的单应性矩阵，并将该最终的单应性矩阵对应的外点作为离群点剔除。

根据本申请的实施例，通过拟合单应性矩阵的方式剔除离群点，可以有效且快速地从较多数量的点中剔除掉一些匹配错误的点。

图6示意性示出了根据本申请实施例的第二筛选的流程图。

如图6所示，根据本申请的实施例，第二筛选包括：针对多个第二角点中的每个第二角点执行操作S610～S640。

在操作S610，在参考图像中，以与第二角点匹配的第一角点为中心确定第一图像块。

在操作S620，在目标图像中，以第二角点为中心确定第二图像块。

在操作S630，计算第二图像块相对于第一图像块的平移差。

在操作S640，在平移差大于预设的第一阈值的情况下，将第二角点作为非匹配的第二角点从多个第二角点中去除。

根据本申请的实施例，第一图像块和第二图像块的尺寸为N×N，其中N表示像素数量，且N在50至150的范围内。

图7A和图7B示意性示出了根据本申请实施例的参考图像710和目标图像720的示意图。

如图7A和图7B所示，以第一角点p1和第二角点p1’为例进行说明。在参考图像710中，以第一角点p1为中心，截取100×100的图片块711。在目标图像720中，以第二角点p1’为中心，同样截取100×100的图片块721，若第一角点p1与第二角点p1’为匹配无误的点，则图片块711与图片块721包含的内容相同，图片块中的各个像素可以准确对齐，两者之间的平移差为0，若第一角点p1匹配到了错误的第二角点pa，以第二角点pa为中心，截取到100×100的图片块722，可以看出，图片块722相对于图片块711平移了(dx，dy)。

两个图片块之间的平移差可以通过以下方式计算得到。

若图片块711的图像信号为f₁(x，y)，图片块722的图像信号为f₂(x，y)，

f₂(x，y)＝f₁(x-dx，y-dy) (3)

将该公式进行傅里叶变换得到：

F₂(u，v)＝f₁(u，v)*e^{-i*2π*(u*dx+u*dy)} (4)

得到两个图片块的互功率谱：

H(u，v)＝e^{-i*2π*(u*dx+v*dy)} (5)

对互功率谱进行傅里叶反变换可得到一个狄拉克函数(脉冲函数)，通过寻找这个函数的峰值的坐标可以得到偏移量。

根据本申请的实施例，第一阈值可以依据实际情况而定，例如可以是2，该第一阈值的计量单位为像素，当dx和dy均小于第一阈值的情况下，认为第一角点和第二角点匹配无误。依据上述方法，可以针对每对角点，确定匹配是否有误。

根据本申请的实施例，通过截取参考图像与目标图像中以各个角点为中心的图片块，并计算相应图片块之间的平移差来验证角点是否匹配正确，可以有效且快速地实现相应角点对之间的匹配验证，进而可以基于验证结果采取相应的措施，以保证最终外参计算的准确度。

根据本申请的实施例，图像采集设备的外参的计算方法还包括：在非匹配的第二角点的数量超过预设的第二阈值的情况下，将目标图像更换成由图像采集设备拍摄的另一个目标图像，并返回在目标图像中确定与多个第一角点匹配的多个第二角点的步骤。

例如，若经过上述平移差验证发现非匹配的第二角点的数量超过预设的第二阈值，则说明匹配错误的角点的数量较多，可以将当前目标图像丢弃，换取另一张备用的目标图像，返回上述操作S220进行参考图像与更换后的目标图像之间的角点匹配操作。若经过上述平移差验证发现非匹配的第二角点的数量没有超过预设的第二阈值，则说明匹配错误的角点的数量很少，这种情况下，可以将匹配错误的少量角点剔除，保留验证通过的大部分角点。其中，第二阈值也可以根据实际情况而定，例如可以是3。在本申请另一实施例中，也可以一旦发现存在非匹配的角点时，就将当前目标图像丢弃，换取另一张备用的目标图像重新进行处理。

根据本申请的实施例，若匹配失误的点较多时则更换目标图像，可以避免由于当前目标图像选取不当而造成外参计算失误的问题。若匹配失误的点较少时则剔除少量匹配失误的点，可以在保证外参计算准确的同时保证较高的计算效率。

根据本申请的实施例，对多个第二角点进行第一筛选和第二筛选中的至少之一包括：对多个第二角点进行第一筛选；对经过第一筛选后剩余的多个第二角点进行第二筛选；对经过第二筛选后剩余的多个第二角点再次进行第一筛选。

例如，在根据光流跟踪等方法得到匹配的第一角点和第二角点之后，由于此时角点数量较多，可以先利用拟合单应性矩阵的方法快速剔除掉一些离群点，然后再利用平移差验证的方式来验证剩余的点是否都匹配无误，双重验证保证准确。若在利用平移差的方式验证的过程中又剔除了少量点，则可以再进行一次单应性拟合，进一步保证留下的点具有极高的匹配准确度。

根据本申请的实施例，除了上述方式外，还可以先进行平移差验证的方法，然后再执行拟合单应性矩阵的方法，或者可以执行拟合单应性矩阵和平移差验证中的一种方式，等等。

根据本申请的实施例，图像采集设备的外参的计算方法在对多个第二角点进行第一筛选和第二筛选中的至少之一之后，还可以检测剩余的点是否在图像上分布均匀。具体地，可以将参考图像划分为均匀分布的多个第一区域；将目标图像划分为与多个第一区域一一对应的多个第二区域；在每个第二区域内均存在第二角点并且每个第一区域内均存在与第二角点匹配的第一角点的情况下，执行计算图像采集设备的外参的步骤。

例如，在经过第一筛选和第二筛选中的至少之一之后并在计算外参之前，可以检测经过筛选后剩余的角点是否分布均匀。例如可以将参考图像和目标图像都均分为四块区域：左上区域、左下区域、右上区域和右下区域。若在参考图像中四块区域中均分布有第一角点，且在目标图像中四块区域中均分布有第二角点，则可以初步认为角点分布均匀，进一步地，还可以检测匹配的角点对是否在各自图像中的对应区域内，例如，检测第一角点p2所在的第一区域与第二角点p2’所在的第二区域是否对应，再结合初步检测结果可以得到最终的均匀性检测结果。在均匀性检测通过的情况下可以进行外参的计算步骤或者继续进行其他检测，在均匀性检测没有通过的情况下，可以丢弃当前目标图像，采用另一张备用的目标图像返回在目标图像中确定与多个第一角点匹配的多个第二角点的步骤。

根据本申请的实施例，匹配角点的均匀程度对外参的准确度也存在较大的影响，因此，在计算外参前先进行均匀度检测，可以进一步保证外参的准确度。

根据本申请的实施例，图像采集设备的外参的计算方法还包括：在对多个第二角点进行第一筛选和第二筛选中的至少之一之后，还可以检测剩余的点是否满足数量要求。具体地，可以在经过第一筛选和第二筛选中的至少之一后剩余的第二角点的数量大于预设的第三阈值的情况下，执行计算图像采集设备的外参的步骤。

例如，利用上述公式(1)计算外参时，对角点对的数量有要求，不能小于第三阈值，因此，在计算外参之前先要检测剩余的角点对是否满足数量的要求，若满足，则可以进行外参的计算步骤或者继续进行其他检测，若不满足，则可以丢弃当前目标图像，采用另一张备用的目标图像返回在目标图像中确定与多个第一角点匹配的多个第二角点的步骤。其中，第三阈值例如可以为6。

本申请实施例的另一方面提供了一种图像采集设备的外参的计算装置。

图8示意性示出了根据本申请实施例的图像采集设备的外参的计算装置的框图。

如图8所示，该装置800包括：获取模块810、匹配模块820和计算模块830。

获取模块810用于获取由图像采集设备以预设姿态拍摄的参考图像，参考图像包括预先确定的多个第一角点，多个第一角点与三维空间中的多个3D坐标点一一对应。

匹配模块820用于获取由图像采集设备拍摄的目标图像，在目标图像中确定与多个第一角点匹配的多个第二角点。

计算模块830用于基于多个第二角点以及与多个第二角点匹配的第一角点所对应的3D坐标点，计算图像采集设备的外参。

根据本申请的实施例，通过设置参考图像，并预先获得参考图像中的角点与3D坐标点的对应关系，在需要重新进行外参时，将当前获取的目标图像与该参考图像进行匹配，得到目标图像中的角点与3D坐标点的对应关系，从而计算得到当前外参。通过此方法，可以对可能会发生偏转或偏移的摄像头进行在线外参标定，并且计算流程简单，所需参数易于获取，可节省计算资源、快速获得计算结果，并且计算结果准确可靠。

根据本申请的实施例，图像采集设备的外参的计算装置还包括筛选模块，筛选模块用于在计算图像采集设备的外参之前，对多个第二角点进行第一筛选和第二筛选中的至少之一。

根据本申请的实施例，第一筛选包括：基于多个第二角点以及与多个第二角点匹配的第一角点进行单应性拟合；以及通过随机采样一致RANSAC(Random SampleConsensus)算法，基于单应性拟合的结果从多个第二角点中去除离群的第二角点。

根据本申请的实施例，第二筛选包括：针对多个第二角点中的每个第二角点，在参考图像中，以与第二角点匹配的第一角点为中心确定第一图像块；在目标图像中，以第二角点为中心确定第二图像块；计算第二图像块相对于第一图像块的平移差；在平移差大于预设的第一阈值的情况下，将第二角点作为非匹配的第二角点从多个第二角点中去除。

根据本申请的实施例，计算还包括更换模块，用于在非匹配的第二角点的数量超过预设的第二阈值的情况下，将目标图像更换成由图像采集设备拍摄的另一个目标图像，并返回匹配模块820在目标图像中确定与多个第一角点匹配的多个第二角点的步骤。

根据本申请的实施例，第一图像块和第二图像块的尺寸为N×N，其中N表示像素数量，且N在50至150的范围内。

根据本申请的实施例，对多个第二角点进行第一筛选和第二筛选中的至少之一包括：对多个第二角点进行第一筛选；对经过第一筛选后剩余的多个第二角点进行第二筛选；对经过第二筛选后剩余的多个第二角点再次进行第一筛选。

根据本申请的实施例，计算装置还包括均匀模块，用于在对多个第二角点进行第一筛选和第二筛选中的至少之一之后，将参考图像划分为均匀分布的多个第一区域；将目标图像划分为与多个第一区域一一对应的多个第二区域；在每个第二区域内均存在第二角点并且每个第一区域内均存在与第二角点匹配的第一角点的情况下，执行计算图像采集设备的外参的步骤。

根据本申请的实施例，计算装置还包括数量模块，用于在对多个第二角点进行第一筛选和第二筛选中的至少之一之后，在经过第一筛选和第二筛选中的至少之一后剩余的第二角点的数量大于预设的第三阈值的情况下，执行计算图像采集设备的外参的步骤。

根据本申请的实施例，计算图像采集设备的外参包括：根据p＝M*[R|T]*P来来计算图像采集设备的外参，其中，p表示多个第二角点的坐标矩阵，P表示与多个第二角点匹配的第一角点所对应的3D坐标点的坐标矩阵，M表示图像采集设备的内参矩阵，[R|T]表示图像采集设备的外参矩阵。

根据本申请的实施例，本申请还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。计算机程序产品可以包括计算机程序，该计算机程序被计算机执行时实现根据本申请提供的图像采集设备的外参的计算方法。

图9示意性示出了根据本申请实施例的适于实现图像采集设备的外参的计算方法的电子设备的框图。

如图9所示，是执行本申请实施例的方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图9所示，该电子设备900包括：一个或多个处理器901、存储器902，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图9中以一个处理器901为例。

存储器902即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的方法。

存储器902作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的方法对应的程序指令/模块(例如，附图8所示的获取模块810、匹配模块820和计算模块830)。处理器901通过运行存储在存储器902中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的方法。

存储器902可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据上述方法的电子设备的使用所创建的数据等。此外，存储器902可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器902可选包括相对于处理器901远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

电子设备还可以包括：输入装置903和输出装置904。处理器901、存储器902、输入装置903和输出装置904可以通过总线或者其他方式连接，图9中以通过总线连接为例。

输入装置903可接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置904可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

根据本申请实施例的技术方案，通过设置参考图像，并预先获得参考图像中的角点与3D坐标点的对应关系，在需要重新进行外参时，将当前获取的目标图像与该参考图像进行匹配，得到目标图像中的角点与3D坐标点的对应关系，从而计算得到当前外参。通过此方法，可以对可能会发生偏转或偏移的摄像头进行在线外参标定，并且计算流程简单，所需参数易于获取，可节省计算资源、快速获得计算结果，并且计算结果准确可靠。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (10)

1.一种图像采集设备的外参的计算方法，包括：

获取由所述图像采集设备以预设姿态拍摄的参考图像，所述参考图像包括预先确定的多个第一角点，所述多个第一角点与三维空间中的多个3D坐标点一一对应；

获取由所述图像采集设备拍摄的目标图像，在所述目标图像中确定与所述多个第一角点匹配的多个第二角点；以及

基于所述多个第二角点以及与所述多个第二角点匹配的第一角点所对应的3D坐标点，计算所述图像采集设备的外参，

还包括：在计算所述图像采集设备的外参之前，对所述多个第二角点进行第一筛选和第二筛选中的至少之一；

其中，所述第一筛选包括：

基于所述多个第二角点以及与所述多个第二角点匹配的第一角点进行单应性拟合；以及

通过随机采样一致RANSAC算法，基于单应性拟合的结果从所述多个第二角点中去除离群的第二角点；

所述第二筛选包括：

针对所述多个第二角点中的每个第二角点，

在所述参考图像中，以与所述第二角点匹配的第一角点为中心确定第一图像块；

在所述目标图像中，以所述第二角点为中心确定第二图像块；

计算所述第二图像块相对于所述第一图像块的平移差；

在所述平移差大于预设的第一阈值的情况下，将所述第二角点作为非匹配的第二角点从所述多个第二角点中去除。

2.根据权利要求1所述的方法，还包括：

在非匹配的第二角点的数量超过预设的第二阈值的情况下，将所述目标图像更换成由所述图像采集设备拍摄的另一个目标图像，并返回在所述目标图像中确定与所述多个第一角点匹配的多个第二角点的步骤。

3.根据权利要求1所述的方法，其中，所述第一图像块和第二图像块的尺寸为N×N，其中N表示像素数量，且N在50至150的范围内。

4.根据权利要求1至3中任一项权利要求所述的方法，其中，所述对所述多个第二角点进行第一筛选和第二筛选中的至少之一包括：

对所述多个第二角点进行第一筛选；

对经过第一筛选后剩余的多个第二角点进行第二筛选；

对经过第二筛选后剩余的多个第二角点再次进行第一筛选。

5.根据权利要求1至3中任一项权利要求所述的方法，还包括：在对所述多个第二角点进行第一筛选和第二筛选中的至少之一之后，

将所述参考图像划分为均匀分布的多个第一区域；

将所述目标图像划分为与所述多个第一区域一一对应的多个第二区域；

在每个第二区域内均存在第二角点并且每个第一区域内均存在与第二角点匹配的第一角点的情况下，执行所述计算所述图像采集设备的外参的步骤。

6.根据权利要求1至3中任一项权利要求所述的方法，还包括：在对所述多个第二角点进行第一筛选和第二筛选中的至少之一之后，

在经过所述第一筛选和第二筛选中的至少之一后剩余的第二角点的数量大于预设的第三阈值的情况下，执行所述计算所述图像采集设备的外参的步骤。

7.根据权利要求1至3中任一项权利要求所述的方法，其中，所述计算所述图像采集设备的外参包括：

根据p=M*[R|T]*P来来计算所述图像采集设备的外参，

其中，p表示所述多个第二角点的坐标矩阵，P表示与所述多个第二角点匹配的第一角点所对应的3D坐标点的坐标矩阵，M表示所述图像采集设备的内参矩阵，[R|T]表示所述图像采集设备的外参矩阵。

8.一种图像采集设备的外参的计算装置，包括：

获取模块，用于获取由所述图像采集设备以预设姿态拍摄的参考图像，所述参考图像包括预先确定的多个第一角点，所述多个第一角点与三维空间中的多个3D坐标点一一对应；

匹配模块，用于获取由所述图像采集设备拍摄的目标图像，在所述目标图像中确定与所述多个第一角点匹配的多个第二角点；

计算模块，用于基于所述多个第二角点以及与所述多个第二角点匹配的第一角点所对应的3D坐标点，计算所述图像采集设备的外参；以及

筛选模块，筛选模块用于在计算图像采集设备的外参之前，对多个第二角点进行第一筛选和第二筛选中的至少之一，

其中，所述第一筛选包括：

基于所述多个第二角点以及与所述多个第二角点匹配的第一角点进行单应性拟合；以及

通过随机采样一致RANSAC算法，基于单应性拟合的结果从所述多个第二角点中去除离群的第二角点；

所述第二筛选包括：

针对所述多个第二角点中的每个第二角点，

在所述参考图像中，以与所述第二角点匹配的第一角点为中心确定第一图像块；

在所述目标图像中，以所述第二角点为中心确定第二图像块；

计算所述第二图像块相对于所述第一图像块的平移差；

在所述平移差大于预设的第一阈值的情况下，将所述第二角点作为非匹配的第二角点从所述多个第二角点中去除。

9. 一种电子设备，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的方法。

10.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-7中任一项所述的方法。