CN113920200A

CN113920200A - 图像采集装置的标定方法和系统

Info

Publication number: CN113920200A
Application number: CN202010662279.5A
Authority: CN
Inventors: 陆冬云
Original assignee: Beijing Guanhai Technology Development Co ltd
Current assignee: Beijing Guanhai Technology Development Co ltd
Priority date: 2020-07-10
Filing date: 2020-07-10
Publication date: 2022-01-11

Abstract

本申请实施例公开了一种图像采集装置的标定方法和系统、计算设备和计算机可读存储介质。该方法在第一场景中，对刚性连接的多个图像采集装置进行标定，获得多个图像采集装置的外参矩阵；基于多个图像采集装置的外参矩阵，计算多个图像采集装置之间的关联矩阵；在第二场景中，对所述刚性连接的多个图像采集装置中的任一图像采集装置进行标定，获取所述任一图像采集装置的外参矩阵；基于所述关联矩阵和所述任一图像采集装置的外参矩阵，计算所述刚性连接的多个图像采集装置中除所述任一图像采集装置之外的其余图像采集装置的外参矩阵。本申请实施例可以实现不同场景下的多图像采集装置的快速外参标定，降低图像采集装置标定的繁杂工作。

Description

图像采集装置的标定方法和系统

技术领域

本申请涉及机器视觉和图像识别技术领域，具体涉及一种图像采集装置的标定方法和系统。

背景技术

畜类动物养殖场的精益管理需要精确确定任意时刻动物个体所在的位置，此位置信息可以用于个体的计数，也可以基于位置随时间的连续变化，生成动物个体的运动轨迹，或者根据其所处区域，分析其行为等。

应用图像识别技术，可以通过摄像头等图像采集装置的监控画面获得动物个体在画面中的位置，而为了获得个体在真实物理空间中的精确位置，则需要应用图像采集装置的标定技术，获得图像采集装置的内参和外参，通过画面位置推算其物理位置。图像采集装置的标定技术中的内参与摄像头的焦距和畸变有关，外参与图像采集装置在物理世界的具体安装位置和角度有关，内参和外参共同决定被识别对象的画面位置到物理位置的变换。任何时候，只要图像采集装置的安装参数发生了变化，就需要重新标定外参，典型的情况是摄像头在不同的环境重新安装。

本申请的发明人发现，当牧场环境中部署大量摄像头时，由于需要对每颗摄像头进行外参标定，才能使其图像识别结果关联到其物理世界的位置，而外参的标定需要依赖已知位置的物理世界的多个特征标记物，在现实情况下，在每个摄像头的画面里找到标记物是困难的，因此对每一颗摄像头进行标定常常是困难而繁重的。

发明内容

为了解决上述问题，本申请实施例提出一种图像采集装置的标定方法和系统，用于实现不同场景下的多图像采集装置的快速外参标定，降低图像采集装置标定的繁杂工作。

第一方面，本申请实施例提供一种图像采集装置的标定方法，包括以下步骤

在第一场景中，对刚性连接的多个图像采集装置进行标定，获得所述多个图像采集装置的外参矩阵；

基于所述多个图像采集装置的外参矩阵，计算所述多个图像采集装置之间的关联矩阵；

在第二场景中，对所述刚性连接的多个图像采集装置中的任一图像采集装置进行标定，获取所述任一图像采集装置的外参矩阵；

基于所述关联矩阵和所述任一图像采集装置的外参矩阵，计算所述刚性连接的多个图像采集装置中除所述任一图像采集装置之外的其余图像采集装置的外参矩阵。

在优选的实施方式中，所述在第一场景中，对刚性连接的多个图像采集装置进行标定，获得所述多个图像采集装置的外参矩阵包括：

在第一场景的第一世界坐标系下，基于标记物对所述多个图像采集装置中的每个图像采集装置进行外参标定，获得每个图像采集装置相对于所述第一世界坐标系的位置矩阵和旋转矩阵；

将所述每个图像采集装置相对于所述第一世界坐标系的旋转矩阵转换为相对于所述第一世界坐标系的旋转角矩阵。

在优选的实施方式中，所述基于所述多个图像采集装置的外参矩阵，计算所述多个图像采集装置之间的关联矩阵包括：

基于所述每个图像采集装置相对于所述第一世界坐标系的位置矩阵和旋转角矩阵，计算任意两个图像采集装置之间的关联矩阵；其中，所述关联矩阵包含所述任意两个图像采集装置的位置矩阵之差和旋转角矩阵之差。

在优选的实施方式中，所述在第二场景中，对所述刚性连接的多个图像采集装置中的任一图像采集装置进行标定，获取所述任一图像采集装置的外参矩阵包括：

在第二场景的第二世界坐标系下，基于标记物对所述任一图像采集装置进行外参标定，获得所述任一图像采集装置相对于所述第二世界坐标系的位置矩阵和旋转矩阵；

将所述任一图像采集装置相对于所述第二世界坐标系的旋转矩阵转换为相对于所述第二世界坐标系的旋转角矩阵。

在优选的实施方式中，所述基于所述关联矩阵和所述任一图像采集装置的外参矩阵，计算所述刚性连接的多个图像采集装置中除所述任一图像采集装置之外的其余图像采集装置的外参矩阵包括：

根据所述任一图像采集装置的位置矩阵和旋转角矩阵，以及所述刚性连接的多个图像采集装置中其余图像采集装置与所述任一图像采集装置之间的关联矩阵，计算得到所述刚性连接的多个图像采集装置中其余图像采集装置相对于所述第二世界坐标系的位置矩阵和旋转角矩阵；

将所述其余图像采集装置相对于所述第二世界坐标系的旋转角矩阵转换为相对于所述第二世界坐标系的旋转矩阵。

第二方面，本申请实施例提供一种图像采集装置的标定系统，包括：

刚性连接的多个图像采集装置；

第一标定模块，用于在第一场景中，对所述刚性连接的多个图像采集装置进行标定，获得所述多个图像采集装置的外参矩阵；

第一计算模块，用于基于所述多个图像采集装置的外参矩阵，计算所述多个图像采集装置之间的关联矩阵；

第二标定模块，用于在第二场景中，对所述刚性连接的多个图像采集装置中的任一图像采集装置进行标定，获取所述任一图像采集装置的外参矩阵；

第二计算模块，用于基于所述关联矩阵和所述任一图像采集装置的外参矩阵，计算所述刚性连接的多个图像采集装置中除所述任一图像采集装置之外的其余图像采集装置的外参矩阵。

在优选的实施方式中，所述第一标定模块进一步用于：

在优选的实施方式中，所述第一计算模块进一步用于：

在优选的实施方式中，所述第二标定模块进一步用于：

在优选的实施方式中，所述第二计算模块进一步用于：

第三方面，本申请实施例还提供一种计算设备，包括存储器和处理器；其中，所述存储器用于存储至少一个计算机程序，其中，所述程序被所述处理器执行以实现前述实施方式所述方法的步骤。

第四方面，本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行以实现前述实施方式所述方法的步骤。

相对于现有技术，本申请实施例可以在多种场景下快速批量地实现摄像头的外参标定，极大减少现场繁杂的标定工作，可以应用于如牧场等各种工作环境中处理大批量摄像头的自动化标定问题，具有良好的应用前景和实用价值。

附图说明

通过以下详细的描述并结合附图将更充分地理解本发明，其中相似的元件以相似的方式编号，其中：

图1是一种示例性的刚性连接的一组摄像头的结构示意图；

图2是根据本申请一实施例的图像采集装置的标定方法的流程示意图；

图3是根据本申请又一实施例的图像采集装置的标定方法的流程示意图；

图4是示例性的刚性连接的一组摄像头在第一场景中的标定示意图；

图5是根据本申请又一实施例的图像采集装置的标定方法的流程示意图；

图6是示例性的刚性连接的一组摄像头在第二场景中的标定示意图；

图7是根据本申请又一实施例的图像采集装置的标定方法的流程示意图；

图8是根据本申请一实施例的图像采集装置的标定系统的结构示意图。

具体实施方式

下面通过实施例，并结合附图，对本申请的技术方案进行清楚、完整地说明，但是本申请不限于以下所描述的实施例。基于以下实施例，本领域普通技术人员在没有创造性劳动的前提下所获得的所有其它实施例，都属于本申请保护的范围。为了清楚起见，在附图中省略了与描述示例性实施方式无关的部分。

应理解，本申请中诸如“包括”或“具有”等的术语旨在指示本说明书中所公开的特征、数字、步骤、行为、部件或其组合的存在，并不排除一个或多个其它特征、数字、步骤、行为、部件或其组合存在或被添加的可能性。本申请中“多个”通常可以解释为两个或两个以上的含义。

如前所述，当在一些应用环境中部署大量摄像头时，对每颗摄像头进行外参标定常常是困难而繁重的工作。本申请实施例提出了一种标定方法，利用一些应用场景中成组摄像头之间的刚性连接的特性，获得这组摄像头存在的内在关联特性，只需对刚性连接的该组摄像头中的任意一颗摄像头进行外参标定，就可以通过本申请实施例提出的方法来计算得到这组摄像头中剩余的摄像头的外参，从而简化成组摄像头的外参标定工作，使得成组摄像头的标定工作大幅简化。

刚性连接是指两个部件之间，当一个部件产生位移或受力时，与之相连的部件不相对于第一个部件产生位移或相对变形。图1示出了一种示例性的刚性连接的一组摄像头的结构示意图。如图1所示，示例中的4颗摄像头C1、C2、C3、C4分别被固定在一个刚性支架上，每颗摄像头的安装角度是任意的，但安装完成后，摄像头彼此之间位置和角度不再变化。

当需要在应用现场部署该组摄像头时，理论上需要对每一颗摄像头进行人工的外参标定，而通过本申请实施例所述的标定方法，可以大大消减相机标定的繁杂工作，并且提升被识别对象坐标变换的精度。

图2是根据本申请一实施例的图像采集装置的标定方法的流程示意图。如图2所示，本申请实施例的图像采集设备的标定方法包括以下步骤：

步骤S110，在第一场景中，对刚性连接的多个图像采集装置进行标定，获得所述多个图像采集装置的外参矩阵；

步骤S120，基于所述多个图像采集装置的外参矩阵，计算所述多个图像采集装置之间的关联矩阵；

步骤S130，在第二场景中，对所述刚性连接的多个图像采集装置中的任一图像采集装置进行标定，获取所述任一图像采集装置的外参矩阵；

步骤S140，基于所述关联矩阵和所述任一图像采集装置的外参矩阵，计算所述刚性连接的多个图像采集装置中除所述任一图像采集装置之外的其余图像采集装置的外参矩阵。

本申请实施例中，第一场景和第二场景可以是刚性连接的一组图像采集装置所部署的不同的应用工作环境。例如，在一些实施方式中，第一场景可以包括但不限于摄像头出厂前的测试场地，典型场景是办公室；第二场景可以包括但不限于摄像头的最终应用生产环境，典型场景是牧场牛舍内。

本申请实施例在第一场景对该刚性连接的一组图像采集装置实施组装，将其固定在刚体上，然后对该组图像采集装置进行内参、外参的标定，内参矩阵可以直接供第二场景中标定使用。随后，基于获得的该组图像采集装置的外参矩阵，可以通过本实施例所述步骤获得这些图像采集装置之间的一组关联矩阵，此关联矩阵代表了任意两颗图像采集装置之间的空间关系，保存此关联矩阵可以供第二场景使用。在第二场景中安装该组图像采集装置，假定从第一场景到第二场景的过程中，没有干扰因素会影响刚体的形变或者导致图像采集装置相对刚体发生形变与角度变化，那么该组图像采集装置的局部空间关系与第一场景下的情况基本相同。因此，在第二场景中，通过对其中任一颗图像采集装置再次进行外参标定，并通过在第一场景获得的关联矩阵的快速计算，可得到该组图像采集装置中其他图像采集装置的外参矩阵，从而完成该组图像采集装置的外参标定，实现在多种场景下快速批量地对摄像头等图像采集装置进行外参标定，极大减少了现场繁杂的标定工作。

在一些实施方式中，如图3所示，步骤S110可以进一步包括：

步骤S210，在第一场景的第一世界坐标系下，基于标记物对所述多个图像采集装置中的每个图像采集装置进行外参标定，获得每个图像采集装置相对于所述第一世界坐标系的位置矩阵和旋转矩阵；

步骤S220，将所述每个图像采集装置相对于所述第一世界坐标系的旋转矩阵转换为相对于所述第一世界坐标系的旋转角矩阵。

图4是示例性的刚性连接的一组摄像头在第一场景中的标定示意图。如图4所示，根据本申请实施例，首先将刚性连接的摄像头C1、C2、C3、C4固定在刚体上，使得相关的一组摄像头共同构成位置相对固定的成组摄像头组件。随后，将该成组摄像头组件在第一场景进行安装部署，用于各项参数的标定。

在第一场景中构建物理世界坐标系，可以称为第一世界坐标系，从该组摄像头的画面里，可以看到此坐标系下的，已知坐标的多个标记物,如图4中的由坐标p₁(x₁,y₁,z₁)表示的实际对象1和由坐标p₂(x₂,y₂,z₂)表示的实际对象2。在同一时刻采集各个摄像头的画面，然后采用手工方式，采集各画面中标记物在其画面中的像素位置，如图4中的q₁(x′₁,y′₁,z′₁)和q₂(x′₂,y′₂,z′₂)。

然后，可以使用包括但不限于开源的计算机视觉函数库OPENCV或者基于CNN深度卷积神经网络提供的标准标定方法，对每颗摄像头实施外参标定，获得外参矩阵F1、F2、F3、F4。本申请实施例中，外参矩阵F可以表示为由一个位置矩阵T和一个旋转矩阵R组成，如下所示：

F＝(T，R)

其中，

其中，p_x、p_y、p_z分别为摄像头相对于世界坐标原点O的x坐标、y坐标和z坐标，R是3*3旋转矩阵，其中r11，r12，r13，…，r32，r33是矩阵参数，由OPENCV求取外参时获得。

其次，可以将旋转矩阵R转变为相对于第一世界坐标系的旋转角矩阵H，

其中：

θ_x＝a tan2(r₃₂,r₃₃)

θ_z＝a tan2(r₂₁,r₁₁)

式中：θ_x为摄像头轴线和x轴正向的夹角；θ_y为摄像头轴线和y轴正向的夹角，θ_z为摄像头轴线和z轴正向的夹角；a为常量，通常值可以取180/π，也可取经验值。

在一些实施方式中，步骤S120可以进一步包括：基于所述每个图像采集装置相对于所述第一世界坐标系的位置矩阵和旋转角矩阵，计算任意两个图像采集装置之间的关联矩阵；其中，所述关联矩阵包含所述任意两个图像采集装置的位置矩阵之差和旋转角矩阵之差。

再如图4所示，根据本申请实施例，在获得该组摄像头的外参矩阵，并获得每个摄像头的位置矩阵和旋转角矩阵之后，可以计算每颗摄像头之间的关联矩阵C_ij，关联矩阵C_ij体现了刚性连接的该组摄像头之间的空间关系，可以表示为：

对于四个摄像头C1、C2、C3、C4，可以分别计算C₁₂、C₂₃、C₃₄、C₁₃、C₁₄、C₂₄。

式中，θ_ix为摄像头i的轴线和x轴正向的夹角，θ_iy为摄像头i的轴线和y轴正向的夹角，θ_iz为摄像头i的轴线和z轴正向的夹角。同理，θ_jx为摄像头j的轴线和x轴正向的夹角,θ_jy为摄像头j的轴线和y轴正向的夹角，θ_jz为摄像头j的轴线和z轴正向的夹角。

p_ix为摄像头i距离世界坐标原点O的x坐标距离，p_iy为摄像头i距离世界坐标原点O的y坐标距离，p_iz为摄像头i距离世界坐标原点O的z坐标距离；p_jx为摄像头j距离世界坐标原点O的x坐标距离，p_jy为摄像头j距离世界坐标原点O的y坐标距离，p_jz为摄像头j距离世界坐标原点O的z坐标距离。

随后，保存该关联矩阵C_ij，供第二场景使用。该关联矩阵可以采用摄像头的MAC地址来唯一标识各摄像头的名称，该MAC地址不会因部署环境的变化而改变。

在一些实施方式中，如图5所示，步骤S130可以进一步包括：

步骤S310，在第二场景的第二世界坐标系下，基于标记物对所述任一图像采集装置进行外参标定，获得所述任一图像采集装置相对于所述第二世界坐标系的位置矩阵和旋转矩阵；

步骤S320，将所述任一图像采集装置相对于所述第二世界坐标系的旋转矩阵转换为相对于所述第二世界坐标系的旋转角矩阵。

图6是示例性的刚性连接的一组摄像头在第二场景中的标定示意图。如图6所示，将图4中该组摄像头C1、C2、C3、C4部署安装在第二场景，假定在从第一场景移动该组摄像头到第二场景的过程中，各摄像头始终安装在刚体上，且彼此之间的局部空间关系没有改变过。

首先，在第二场景中选择标记物，该标记物只需要且至少出现在一个摄像头的画面中，本实施例中可以选择立柱和颈枷上的特定点作为典型的标记物，如立柱根部，颈枷顶部等。

根据标记物的选择，确定任一颗摄像头，假定为摄像头C2，按前述使用的标准方法进行外参标定，并采用同样的方法计算摄像头C2相对于第二场景的第二世界坐标系的位置矩阵T₂和旋转角矩阵H₂。

在一些实施方式中，如图7所示，步骤S140可以进一步包括：

步骤S410，根据所述任一图像采集装置的位置矩阵和旋转角矩阵，以及所述刚性连接的多个图像采集装置中其余图像采集装置与所述任一图像采集装置之间的关联矩阵，计算得到所述刚性连接的多个图像采集装置中其余图像采集装置相对于所述第二世界坐标系的位置矩阵和旋转角矩阵；

步骤S420，将所述其余图像采集装置相对于所述第二世界坐标系的旋转角矩阵转换为相对于所述第二世界坐标系的旋转矩阵。

再如图6所示，根据本申请实施例，在上述获得了摄像头C2相对于第二场景的第二世界坐标系的位置矩阵T₂和旋转角矩阵H₂之后，可以使用其它摄像头与摄像头C2之间的关联矩阵C_ij，计算其余摄像头C1、C3、C4相对于第二场景的第二世界坐标系的位置矩阵和旋转角矩阵，以C3为例：

其中，T₃为摄像头C3相对于第二场景的第二世界坐标系的位置矩阵，H₃为摄像头C3相对于第二场景的第二世界坐标系的旋转角矩阵。对于摄像头C1、C4，同样可以参照此方法计算得到摄像头C1、C4分别相对于第二场景的第二世界坐标系的位置矩阵T₁、T₄和旋转角矩阵H₁、H₄。

最后，可以根据罗德里格斯(Rodrigues)旋转方程，将摄像头C1、C3、C4所获得的旋转角矩阵转变为其旋转矩阵R。

R_ix＝I+sin(θ_ix)K+(1-cos(θ_ix))K²

R_iy＝I+sin(θ_iy)K+(1-cos(θ_iy))K²

R_iz＝I+sin(θ_iz)K+(1-cos(θ_iz))K²

R_i＝R_ix×R_iy×R_iz

其中，I和K为常量，R_ix为摄像头i围绕x轴旋转的旋转角度得到的旋转矩阵，R_iy为摄像头i围绕y轴旋转的旋转角度得到的旋转矩阵，R_iz为摄像头i围绕z轴旋转的旋转角度得到的旋转矩阵。

图8是根据本申请一实施例的图像采集装置的标定系统的结构示意图。如图8所示，本申请实施例的图像采集装置的标定系统，包括以下组件：

图像采集装置组510，包括刚性连接的多个图像采集装置；

第一标定模块520，用于在第一场景中，对所述刚性连接的多个图像采集装置进行标定，获得所述多个图像采集装置的外参矩阵；

第一计算模块530，用于基于所述多个图像采集装置的外参矩阵，计算所述多个图像采集装置之间的关联矩阵；

第二标定模块540，用于在第二场景中，对所述刚性连接的多个图像采集装置中的任一图像采集装置进行标定，获取所述任一图像采集装置的外参矩阵；

第二计算模块550，用于基于所述关联矩阵和所述任一图像采集装置的外参矩阵，计算所述刚性连接的多个图像采集装置中除所述任一图像采集装置之外的其余图像采集装置的外参矩阵。

在一些实施方式中，所述第一标定模块520进一步用于：

在一些实施方式中，所述第一计算模块530进一步用于：

在一些实施方式中，所述第二标定模块540进一步用于：

在一些实施方式中，所述第二计算模块550进一步用于：

本申请实施例提供的图像采集装置的标定方法和系统，通过在第一场景中利用设计的标记物获得刚性连接的多图像采集装置的外参矩阵和关联矩阵，并在第二场景中，通过识别特定目标标定任一图像采集装置的外参矩阵，结合第一场景中获得的关联矩阵，利用图像采集装置之间的换算关系快速计算得到其它图像采集装置的外参矩阵。相对于现有技术，本申请实施例可以在多种场景下快速批量地实现摄像头的外参标定，极大减少了现场标定工作，可以应用于如牧场等各种工作环境中处理大批量摄像头的自动化标定问题，具有良好的应用前景和实用价值。

本申请实施例中所涉及到的步骤、单元或模块可以通过软件、硬件或其结合的方式实现。所描述的步骤、单元或模块也可以设置在计算设备的处理器中，其中单元或模块的名称并不构成对该单元或模块本身的限定。

本申请实施例描述的方法可以被实现为计算机软件程序。例如，本申请实施例可以包括一种计算机程序产品，其包括存储有一个或一个以上计算机程序的可读存储介质，所述计算机程序包含用于执行本申请所述描述的方法的程序代码。另一方面，本申请实施例也可以包括一种计算机可读存储介质，该计算机可读存储介质存储有一个或一个以上的程序，所述一个或一个以上的程序被一个或一个以上的处理器执行时，可以实现本申请实施例所描述的方法。

本申请所描述的方法、装置可以借助个人电脑、服务器等计算设备实现，该计算设备通常包括执行各种程序的处理器，以及用于存储程序的存储器，其中所述程序加载到处理器中运行时可以实现本申请实施例所描述的方法。

本申请的实施方式并不限于上述实施例所述，在不偏离本申请的精神和范围的情况下，本领域普通技术人员可以在形式和细节上对本申请做出各种改变和改进，这些均被认为落入了本申请的保护范围。

Claims

1.一种图像采集装置的标定方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的标定方法，其特征在于，所述在第一场景中，对刚性连接的多个图像采集装置进行标定，获得所述多个图像采集装置的外参矩阵包括：

3.根据权利要求2所述的标定方法，其特征在于，所述基于所述多个图像采集装置的外参矩阵，计算所述多个图像采集装置之间的关联矩阵包括：

4.根据权利要求3所述的标定方法，其特征在于，所述在第二场景中，对所述刚性连接的多个图像采集装置中的任一图像采集装置进行标定，获取所述任一图像采集装置的外参矩阵包括：

5.根据权利要求4所述的标定方法，其特征在于，所述基于所述关联矩阵和所述任一图像采集装置的外参矩阵，计算所述刚性连接的多个图像采集装置中除所述任一图像采集装置之外的其余图像采集装置的外参矩阵包括：

6.一种图像采集装置的标定系统，其特征在于，包括：

刚性连接的多个图像采集装置；

7.根据权利要求6所述的标定系统，其特征在于，所述第一标定模块进一步用于：

8.根据权利要求7所述的标定系统，其特征在于，所述第一计算模块进一步用于：

9.根据权利要求8所述的标定系统，其特征在于，所述第二标定模块进一步用于：

10.根据权利要求9所述的标定系统，其特征在于，所述第二计算模块进一步用于：

11.一种计算设备，其特征在于，包括存储器和处理器；所述存储器用于存储至少一个计算机程序，其中，所述计算机程序被所述处理器执行以实现权利要求1-5中任一项所述方法的步骤。

12.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，该计算机程序被处理器执行以实现权利要求1-5中任一项所述方法的步骤。