CN112950727A - 基于仿生曲面复眼的大视场多目标同时测距方法 - Google Patents

Abstract

本发明提供一种基于仿生曲面复眼的大视场多目标同时测距方法，解决现有双目立体视觉系统无法对大视场范围内的多个目标同时测距以及测距精度低、测距成本高的问题。该方法包括：步骤一、对仿生曲面复眼相机进行标定；步骤二、拍摄待测目标，复眼图像预处理；步骤三、基于双目理论测量；步骤四、坐标还原与变换，获得物点的空间坐标。本发明方法中同一物点可被多个小眼同时捕捉，其中任意两个小眼可组成双目对物点进行测量，多组测量能提高测量精度。此外，对于复眼而言，所有小眼都在同一探测器上成像，避免因左右相机不同步而导致的测量误差，因此，本发明方法具有较高的测量精度，且测距成本较低。

Description

基于仿生曲面复眼的大视场多目标同时测距方法

技术领域

本发明属于计算机视觉及光电探测领域，具体涉及一种基于仿生曲面复眼的大视场多目标同时测距方法。

背景技术

双目立体视觉是计算机视觉领域的重要分支，该技术是对人类视觉系统的模拟。它主要采用双摄像机从不同位置获取被测物体的两幅图像，通过计算特征点在两幅图像上的视差值恢复该点的深度信息，该深度信息即为摄像机与被测物体之间的距离。双目立体视觉系统具有简便可靠、成本低等优点，使其在诸多领域具有较高的应用价值，现已广泛应用于机器人导航、外太空探测、车辆辅助驾驶系统等。

但是，双目立体视觉系统的双摄像机采用的是单孔径相机，对于单孔径相机而言，其视场范围受限，只能测定小视场范围内目标的深度信息，无法对大视场范围内的多个目标同时测距，若需测量视场范围外的目标，还需辅以运动机构。同时，当被测目标快速运动时，为保证测量精度，双摄像机需严格完成同步摄像，因此，普通双目立体构型对电路系统具有较高要求，使得其测距成本较高。除此之外，对于普通双目视觉系统而言，视差与测量距离的相关系数随着距离增加而逐渐减小，即双目视觉系统在近距离处精度较高，远距离处精度较低。

发明内容

本发明的目的是解决现有双目立体视觉系统无法对大视场范围内的多个目标同时测距以及测距精度低、测距成本高的问题，提供一种基于仿生曲面复眼的大视场多目标同时测距方法，该方法可实现大视场内多目标同时测距。

为实现上述目的，本发明通过以下技术方案来实现：

一种基于仿生曲面复眼的大视场多目标同时测距方法，该方法基于仿生曲面复眼相机实现，包括以下步骤：

步骤一、对仿生曲面复眼相机进行标定

1.1)对仿生曲面复眼相机的所有小眼进行编号；

1.2)仿生曲面复眼相机拍摄CALTag标定板，其中多个小眼同时捕获目标，获取目标图像，移动复眼位置、改变成像角度，直至所有小眼均拍摄多幅目标图像，仿生曲面复眼相机共拍摄了D张目标图像；

1.3)图像处理；

将所有子图像从目标图像中进行分割，使得每个小眼都有D张相应的子图像，并根据曝光顺序对子图像进行编号，翻转所有子图像，进行CALTag角点检测，获取角点的像素坐标；同时，根据CALTag标定板的编码信息获得角点的空间坐标，从而建立二维像素坐标与三维世界坐标的对应关系；

1.4)遍历小眼并标定；

根据步骤1.1)获取的编号，对所有的相邻小眼进行立体标定，当相邻小眼能够同时拍摄CALTag标定板以及能够建立二维像素坐标与三维世界坐标的对应关系时，从D次曝光中选择一定的曝光次数，并将曝光的子图像用于立体标定，立体标定后得到平移矩阵T₁和旋转矩阵R₁；

步骤二、拍摄待测目标，复眼图像预处理

仿生曲面复眼相机获取目标图像，获取的目标图像包括多个小眼的子图像，单个小眼的子图像为圆形，截取圆形视场的外接矩形作为小眼像，并将小眼像翻转180°；

步骤三、基于双目理论测量

物点被小眼i与小眼j同时捕获，旋转小眼i与小眼j的摄像机坐标系，其中，小眼i的摄像机坐标系的旋转矩阵为R′，并投影小眼i与小眼j的子图像到旋转后的摄像机坐标系，根据立体视差原理获得物点在旋转后摄像机坐标系中的空间坐标P；

步骤四、坐标还原与变换，获得物点的空间坐标

4.1)将物点的空间坐标P还原至小眼的摄像机坐标系中，获取还原后的空间坐标P′；

P′＝R′×P

4.2)相邻小眼的位置关系通过它们的摄像机坐标系之间的平移矩阵T₁与旋转矩阵R₁表示，利用此位置参数，将空间坐标变换至任意小眼的摄像机坐标系下，获取任意摄像机坐标系下的物点坐标P₁；

P₁＝R₁×P′+T₁

4.3)对于同一物点，任意两个相邻且能够捕获该物点的小眼对该物点进行一次测量，将不同相邻小眼的测量结果变换至同一坐标系下，求取平均值，即获得该物点的空间坐标。

进一步地，步骤1.1)中，对仿生曲面复眼相机的所有小眼进行编号具体包括以下过程：

采用原始图像中的子图像代替小眼进行编号，这些子图像在原始图像中以六边形的形式排列，每个六边形视为一圈，它们的编号以逆时针方向从内圈向外圈增加，除位于中心和边缘的小眼外，其他小眼周围的6个小眼应落在其附近的3个圈上；

对于任意小眼i，它周围的6个小眼的编号可通过以下步骤确定：

(Ⅰ)若小眼i位于圈k处，则定义起点小眼的编号为s，则判断i是否位于六边形的顶点处，若u是整数，则i在六边形的顶点处；

(Ⅱ)对于同圈的相邻小眼，若小眼i位于该圈的起点，则相邻小眼的编号为i+1、6k-1+i，若小眼i位于该圈的终点，则相邻小眼的编号为i-1、i-(6k-1)；否则，小眼i的相邻小眼编号为i+1、i-1；

对于位于小眼i内圈的相邻小眼，若小眼i为顶点，则内圈相邻小眼编号为i-m；若小眼i为该圈终点，则内圈相邻小眼编号为i-n-(k-1)×6、i-(n+1)；否则，内圈相邻小眼编号为i-n、i-(n+1)；

对于位于小眼i外圈的相邻小眼，若小眼i不是顶点，则外圈相邻小眼编号为i+q、i+(q+1)；若小眼i是起点，则外圈相邻小眼编号为i+p、i+(p+1)、i+(p-1)+(k+1)×6；否则，外圈相邻小眼编号为i+p、i+(p+1)、i+(p-1)；

其中，j是第k圈中编号小于i，且离小眼i最近的顶点处的小眼编号。

进一步地，步骤1.3)中，对所有的相邻小眼进行立体标定时，为避免重复标定，仅当被遍历小眼为左侧小眼时，才执行立体标定。

进一步地，步骤一和步骤二中，仿生曲面复眼相机的单个小眼视场为14°，相邻小眼光轴夹角为7°，相邻小眼视场重叠率为49.99％。

进一步地，步骤一和步骤二中，仿生曲面复眼相机的视场为98°×98°。

与现有技术相比，本发明方法具有以下技术效果：

1.本发明方法中同一物点可被多个小眼同时捕捉，其中任意两个小眼可组成双目对物点进行测量，多组测量能提高测量精度。此外，普通双目测量需要通过电路保证双目严格同步摄像，但对于复眼而言，所有小眼都在同一探测器上成像，避免因左右相机不同步而导致的测量误差，因此，本发明方法具有较高的测量精度，且测距成本较低。

2.本发明标定方法适合能够清晰成像的曲面复眼，辅以简单的编号规则，能对包含任意数量小眼的曲面复眼进行自动标定，该方法灵活、简便，不需要将复眼与标定板进行严格对准，仅需拍摄多张照片，通过该标定方法，可以获取所有小眼的物理参数及其空间坐标，可实现基于传统双目理论的三维测量，使得后续的测量具有较高的测量精度。

3.本发明方法基于仿生曲面复眼相机实现，可实现大视场内多目标同时测距，快速运动目标或者静态场景均适用。

4.本发明方法中，单个小眼的视场较小，子图像的数据量小，图像匹配速度快，因此，本发明方法具有良好的实时性。

附图说明

图1为现有仿生曲面复眼相机的示意图；

图2为本发明方法中仿生曲面复眼小眼编号示意图；

图3为本发明方法中仿生曲面复眼拍摄的标定板图像；

图4为本发明方法中基于视差原理利用双目相机测量过程示意图。

具体实施方式

以下结合附图和具体实施例对本发明的内容作进一步详细描述。

仿生曲面复眼相机主要由三个子系统构成：小透镜阵列、中继转像系统和光电探测器。仿生曲面复眼相机采用相邻孔径交叉传递的工作模式，单个小眼视场为14°，相邻小眼光轴夹角为7°，相邻小眼视场重叠率近50％。因此，同一目标可被多个小眼同时捕捉，可实现多目立体成像。仿生曲面复眼的视场可达98°×98°，对于该视场范围内的任意多个目标，可实现同时测距。由于127个小眼共用同一大面阵光电探测器，完全同步摄像。因此，不论是快速运动目标还是静态场景，均可适用。当目标与曲面复眼距离较近时，至少两个小眼会对目标成像，短距离处测量精度较高。当目标与曲面复眼距离较远时，一个成像单元内多个小眼能够同时捕捉目标，其中任意两个小眼即可组成双目，对目标进行测距。多组双目同时对目标进行测距，即可提高测量精度。除此之外，由于单个小眼视场较小，图像分辨率较低，在立体匹配过程中，计算量小，实时性好。

本发明提供一种基于仿生曲面复眼的大视场多目标同时测距方法，该方法基于仿生曲面复眼相机实现，可实现大视场内多目标同时测距。如图1所示，仿生曲面复眼相机中，127个小透镜在曲面球壳上呈六边形排列，小透镜又称为小眼，除边缘小眼外，任意位置小眼与周围6个小眼可组成一个成像单元。仿生曲面复眼采用相邻孔径交叉传递的工作模式，单个小眼视场为14°，相邻小眼光轴夹角为7°，相邻小眼视场重叠率近50％，不仅可以实现98°×98°的超大视场，还可实现多目立体成像。

本发明基于仿生曲面复眼的大视场多目标同时测距方法包括以下步骤：

步骤一、对仿生曲面复眼相机进行标定

由于仿生曲面复眼相机是特殊的多孔径相机，传统的相机标定方法并不适用，为实现多个小眼同时标定，基于CALTag标定板，为仿生曲面复眼发明了一种批量灵活的标定方法，具体标定过程如下：

1.1)小眼编号；

如图2所示，在曲面复眼中，所有相邻的小眼都需要进行立体标定，由于小眼数量太多，很难一一列举所有双目组合，因此，首先对所有小眼进行编号，以便在标定过程中能够自动确定所有可能的双目组合，由于所有的子图像都通过各自的通道成像，相互不存在串扰，因此可以用原始图像中的子图像代替小眼进行编号，这些子图像在原始图像中以近似六边形的形式排列，每个六边形视为一圈，它们的编号以逆时针方向从内圈向外圈增加，除位于中心和边缘的小眼外，其他小眼周围的6个小眼应落在其附近的3个圈上；

对于任意小眼i，它周围的6个小眼的编号可通过以下步骤确定：

(Ⅰ)若小眼i位于圈k处，则定义起点小眼的编号为s，通过下式判断i是否位于六边形的顶点处，若u是整数，则i在六边形的顶点处，否则不是；

(Ⅱ)对于同圈的相邻小眼，若小眼i位于该圈的起点，则相邻小眼的编号为i+1、6k-1+i，若小眼i位于该圈的终点，则相邻小眼的编号为i-1、i-(6k-1)；否则，小眼i的相邻小眼编号为i+1、i-1；

对于位于小眼i内圈的相邻小眼，可分为三种情况：(a)若该小眼为顶点，则相邻小眼编号为i-m；(b)若该小眼为该圈终点，则相邻小眼编号为i-n-(k-1)×6、i-(n+1)；(c)否则相邻小眼编号为i-n、i-(n+1)；

对于位于小眼i外圈的相邻小眼，也可分为三种情况：(a)若该小眼不是顶点，则相邻小眼编号为i+q、i+(q+1)；(b)若该小眼是起点，则相邻小眼编号为i+p、i+(p+1)、i+(p-1)+(k+1)×6；(c)否则相邻小眼编号为i+p、i+(p+1)、i+(p-1)；

其中，j是第k圈中编号小于i，且离i最近的顶点处的小眼编号；

1.2)拍摄标定板；

如图3所示，仿生曲面复眼相机拍摄CALTag标定板，其中多个小眼同时捕获目标，获取目标图像，移动复眼位置、改变成像角度，直至所有小眼均拍摄多幅目标图像，仿生曲面复眼相机共拍摄了D张目标图像；

1.3)图像处理；

将所有子图像从目标图像中分割出来，使得每个小眼都有D张相应的子图像，并根据曝光顺序对子图像进行编号，翻转所有子图像，进行CALTag角点检测，获取角点的像素坐标；同时，根据CALTag标定板的编码信息获得角点的空间坐标，从而建立二维像素坐标与三维世界坐标的对应关系；

1.4)遍历小眼并标定；

遍历所有可能的相邻小眼进行立体标定。当遍历某对相邻小眼时，根据它们是否能同时拍摄标定板以同时建立像素坐标与世界坐标的对应关系，从D次曝光中选择合适的曝光次数。在这些曝光中的子图像可以用于立体标定。由于除中心小眼外的小眼的光轴与探测器表面不垂直，在标定过程中，切向畸变不可忽略。此外，在根据上述编号规则确定的所有可能的相邻小眼中，会存在多个重复组合，为避免重复标定，仅当被遍历小眼为左侧小眼时，才执行立体标定，立体标定后得到平移矩阵T₁和旋转矩阵R₁；

采用上述方法的优点：上述标定方法适合能够清晰成像的曲面复眼，辅以简单的编号规则，能对包含任意数量小眼的曲面复眼进行自动标定。该标定方法灵活、简便，不需要将复眼与标定板进行严格对准，仅需拍摄多张照片。通过这种标定方法，可以获取所有小眼的物理参数及其空间坐标，可实现基于传统双目理论的三维测量。

仿生曲面复眼的视场为98°×98°，多孔径小眼均可实现标定。因此该视场范围内当任意目标被多个小眼同时捕捉时，利用其中任意两个相邻小眼即可组成双目，对该点的世界坐标进行测量。现以相邻小眼为例，阐述测距过程；

步骤二、拍摄待测目标，复眼图像预处理

利用仿生曲面复眼相机的光电探测器获取目标图像，获取的目标图像包括多个小眼的子图像，单个小眼的子图像为圆形，为不失一般性，截取圆形视场的外接矩形作为小眼像，由于小眼所成像为倒立像，还需将小眼像翻转180°；

步骤三、基于双目理论测量

如图4所示，假设物点P被小眼i与小眼j同时捕获，旋转小眼i与小眼j的摄像机坐标系(其中，小眼i的摄像机坐标系的旋转矩阵为R′)，并投影它们的子图像，根据立体视差原理可获得物点在旋转后的摄像机坐标系中的空间坐标P；

步骤四、坐标还原与变换

4.1)由于曲面上不同的相邻小眼有不同的重投影平面，为将不同小眼的测量结果统一至相同坐标系下，首先将物点的空间坐标还原至小眼的摄像机坐标系中P′，获取还原后的空间坐标P′；

P′＝R′×P

4.2)相邻小眼的位置关系通过它们的摄像机坐标系之间的平移矩阵T1与旋转矩阵R1表示，并已经由立体标定获得，利用此位置参数，可将空间坐标变换至任意小眼的摄像机坐标系下，获取任意摄像机坐标系下的物点坐标P₁；

P₁＝R₁×P′+T₁

4.3)对于同一物点，任意两个相邻且能捕获该点的小眼即可对该物点进行一次测量，将不同相邻小眼的测量结果变换至同一坐标系下，求取平均值，即可获得该物点的空间坐标。

Claims (5)

1.一种基于仿生曲面复眼的大视场多目标同时测距方法，其特征在于，该方法基于仿生曲面复眼相机实现，包括以下步骤：

步骤一、对仿生曲面复眼相机进行标定

1.1)对仿生曲面复眼相机的所有小眼进行编号；

1.2)仿生曲面复眼相机拍摄CALTag标定板，其中多个小眼同时捕获目标，获取目标图像，移动复眼位置、改变成像角度，直至所有小眼均拍摄多幅目标图像，仿生曲面复眼相机共拍摄了D张目标图像；

1.3)图像处理；

将所有子图像从目标图像中进行分割，使得每个小眼都有D张相应的子图像，并根据曝光顺序对子图像进行编号，翻转所有子图像，进行CALTag角点检测，获取角点的像素坐标；同时，根据CALTag标定板的编码信息获得角点的空间坐标，从而建立二维像素坐标与三维世界坐标的对应关系；

1.4)遍历小眼并标定；

根据步骤1.1)获取的编号，对所有的相邻小眼进行立体标定，当相邻小眼能够同时拍摄CALTag标定板以及能够建立二维像素坐标与三维世界坐标的对应关系时，从D次曝光中选择一定的曝光次数，并将曝光的子图像用于立体标定，立体标定后得到平移矩阵T₁和旋转矩阵R₁；

步骤二、拍摄待测目标，复眼图像预处理

仿生曲面复眼相机获取目标图像，获取的目标图像包括多个小眼的子图像，单个小眼的子图像为圆形，截取圆形视场的外接矩形作为小眼像，并将小眼像翻转180°；

步骤三、基于双目理论测量

物点被小眼i与小眼j同时捕获，旋转小眼i与小眼j的摄像机坐标系，其中，小眼i的摄像机坐标系的旋转矩阵为R′，并投影小眼i与小眼j的子图像到旋转后的摄像机坐标系，根据立体视差原理获得物点在旋转后摄像机坐标系中的空间坐标P；

步骤四、坐标还原与变换，获得物点的空间坐标

4.1)将物点的空间坐标P还原至小眼的摄像机坐标系中，获取还原后的空间坐标P′；

P′＝R′×P

4.2)相邻小眼的位置关系通过它们的摄像机坐标系之间的平移矩阵T₁与旋转矩阵R₁表示，利用此位置参数，将空间坐标变换至任意小眼的摄像机坐标系下，获取任意摄像机坐标系下的物点坐标P₁；

P₁＝R₁×P′+T₁

4.3)对于同一物点，任意两个相邻且能够捕获该物点的小眼对该物点进行一次测量，将不同相邻小眼的测量结果变换至同一坐标系下，求取平均值，即获得该物点的空间坐标。

2.根据权利要求1所述的基于仿生曲面复眼的大视场多目标同时测距方法，其特征在于：步骤1.1)中，对仿生曲面复眼相机的所有小眼进行编号具体包括以下过程：

采用原始图像中的子图像代替小眼进行编号，这些子图像在原始图像中以六边形的形式排列，每个六边形视为一圈，它们的编号以逆时针方向从内圈向外圈增加，除位于中心和边缘的小眼外，其他小眼周围的6个小眼应落在其附近的3个圈上；

对于任意小眼i，它周围的6个小眼的编号可通过以下步骤确定：

(Ⅰ)若小眼i位于圈k处，则定义起点小眼的编号为s，则判断i是否位于六边形的顶点处，若u是整数，则i在六边形的顶点处；

(Ⅱ)对于同圈的相邻小眼，若小眼i位于该圈的起点，则相邻小眼的编号为i+1、6k-1+i，若小眼i位于该圈的终点，则相邻小眼的编号为i-1、i-(6k-1)；否则，小眼i的相邻小眼编号为i+1、i-1；

对于位于小眼i内圈的相邻小眼，若小眼i为顶点，则内圈相邻小眼编号为i-m；若小眼i为该圈终点，则内圈相邻小眼编号为i-n-(k-1)×6、i-(n+1)；否则，内圈相邻小眼编号为i-n、i-(n+1)；

对于位于小眼i外圈的相邻小眼，若小眼i不是顶点，则外圈相邻小眼编号为i+q、i+(q+1)；若小眼i是起点，则外圈相邻小眼编号为i+p、i+(p+1)、i+(p-1)+(k+1)×6；否则，外圈相邻小眼编号为i+p、i+(p+1)、i+(p-1)；

其中，j是第k圈中编号小于i，且离小眼i最近的顶点处的小眼编号。

3.根据权利要求2所述的基于仿生曲面复眼的大视场多目标同时测距方法，其特征在于：步骤1.3)中，对所有的相邻小眼进行立体标定时，为避免重复标定，仅当被遍历小眼为左侧小眼时，才执行立体标定。

4.根据权利要求1或2或3所述的基于仿生曲面复眼的大视场多目标同时测距方法，其特征在于：步骤一和步骤二中，仿生曲面复眼相机的单个小眼视场为14°，相邻小眼光轴夹角为7°，相邻小眼视场重叠率为49.99％。

5.根据权利要求4所述的基于仿生曲面复眼的大视场多目标同时测距方法，其特征在于：步骤一和步骤二中，仿生曲面复眼相机的视场为98°×98°。

Images