CN109345587A - 一种基于全景与单目视觉的混合视觉定位方法 - Google Patents

Abstract

本发明属于机器视觉领域，公开了一种基于全景与单目视觉的混合视觉定位方法，包含如下步骤：组成混合垂直立体视觉，使用平面棋盘格标定，得到全景相机与普通视觉相机的内部参数；在混合垂直立体视觉中，统一化为球面统一投影模型，根据全景与普通视觉的共同方位对全景有效坐标系转换得到新的全景方位坐标系；根据立体标定结果，得到旋转矩阵与平移矩阵；利用旋转矩阵与平移矩阵对混合垂直立体视觉立体校正，得到垂直视差，再根据混合垂直立体视觉系统的三角测量公式确定目标点的三维位置坐标信息。本发明保证全景视觉的大视场，弥补了全景相机分辨率低且不均匀的劣势，解决了混合视觉中立体标定的问题并将混合视觉定位通用化。

Description

一种基于全景与单目视觉的混合视觉定位方法

技术领域

本发明属于机器视觉领域，尤其涉及一种基于全景与单目视觉的混合视觉定位方法。

背景技术

机器视觉是人工智能正在快速发展的一个分支。简单说来，机器视觉就是用机器代替人眼来做测量和判断。机器视觉系统是通过机器视觉产品即图像摄取装置，分CMOS和CCD两种将被摄取目标转换成图像信号，传送给专用的图像处理系统，得到被摄目标的形态信息，根据像素分布和亮度、颜色等信息，转变成数字化信号；图像系统对这些信号进行各种运算来抽取目标的特征，进而根据判别的结果来控制现场的设备动作。机器视觉是一项综合技术，包括图像处理、机械工程技术、控制、电光源照明、光学成像、传感器、模拟与数字视频技术、计算机软硬件技术图像增强和分析算法、图像卡、I/O卡等。一个典型的机器视觉应用系统包括图像捕捉、光源系统、图像数字化模块、数字图像处理模块、智能判断决策模块和机械控制执行模块。机器视觉系统最基本的特点就是提高生产的灵活性和自动化程度。在一些不适于人工作业的危险工作环境或者人工视觉难以满足要求的场合，常用机器视觉来替代人工视觉。同时，在大批量重复性工业生产过程中，用机器视觉检测方法可以大大提高生产的效率和自动化程度。如今，中国正成为世界机器视觉发展最活跃的地区之一，应用范围涵盖了工业、农业、医药、军事、航天、气象、天文、公安、交通、安全、科研等国民经济的各个行业。其重要原因是中国已经成为全球制造业的加工中心，高要求的零部件加工及其相应的先进生产线，使许多具有国际先进水平的机器视觉系统和应用经验也进入了中国。

机器视觉主要通过模拟人的视觉功能从客观图像中提取周围信息，加以处理或计算，最终用于实际检测、测量和控制。双目立体视觉是机器视觉的一种重要形式，它是基于视差原理并利用成像设备从不同位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维信息的方法。经过几十年来的发展，立体视觉在机器人视觉、军事应用和航空测绘等众多领域得到广泛的应用。

申请号CN201410373212.4的专利公开了一种基于马步测度的Harris？SIFT双目视觉定位方法，用于无人水下航行器(UUV)回收过程中的实时双目视觉定位。基于双目立体视觉的模型原理，利用SIFT算法从左右摄像机分别获取的图像中检测目标，并获取匹配目标的特征点，对两幅图像中目标物体的坐标标定，通过计算可得到目标物体的深度距离，还原其三维信息。针对UUV运动的海洋环境的特点，本发明提出了一种基于采用马步距离做测度的Harris？SIFT算子双目视觉算法，提高了图像匹配的运算效率和应用水平的实时性，并且可以保证一定的精度。但该算法定位精度较低，不能用于精密测量领域。

发明内容

本发明的目的在于公开视场大，细节处理效果好的一种基于全景与单目视觉的混合视觉定位方法。

本发明的目的是这样实现的：

一种基于全景与单目视觉的混合视觉定位方法，包含如下步骤：

步骤(1)：将全景相机与普通视觉相机垂直放置组成混合垂直立体视觉，使用平面棋盘格对全景与普通视觉分别标定，得到全景相机与普通视觉相机的内部参数：

全景相机的内参矩阵为K_o，普通视觉相机的内参矩阵为K_p，全景相机的畸变系数为(k_o1,k₀₂,p₀₁,p_o2)，普通视觉相机的畸变系数为(k_p1,k_p2,k_p3,p_p1,p_p2)；

上式中，η是与双曲面镜参数有关的参数，γ₁与γ₂为有效焦距，(u₀,v_o)为全景相机的主点；

步骤(2)：在混合垂直立体视觉中，将全景与普通视觉统一化为球面统一投影模型，根据全景与普通视觉的共同方位对全景有效坐标系转换得到新的全景方位坐标系O_g-X_gY_gZ_g。

建立球面统一投影模型：O_m-X_mY_mZ_m为全景有效坐标系，全景有效坐标系原点为球面统一投影模型的单位球球心，O_p-X_pY_pZ_p为普通视觉相机的相机坐标系；

取矩阵和矩阵R_f：

上式中，θ为共同方位在全景图像中与X_m坐标轴的夹角，矩阵R_f是引入的用来统一全景与普通视觉共同方位的坐标系的矩阵；

旋转和R_f得到新的全景方位坐标系O_g-X_gY_gZ_g：

上式中，(x_g,y_g,z_g)是在新的全景方位坐标系中的球面点的坐标；

步骤(3)：根据立体标定结果，得到新的全景方位坐标系O_g-X_gY_gZ_g与普通视觉相机的相机坐标系O_p-X_pY_pZ_p之间的旋转矩阵R与平移矩阵T。

步骤(4)：利用旋转矩阵R与平移矩阵T对混合垂直立体视觉立体校正，通过一般化的立体匹配得到垂直视差，再根据混合垂直立体视觉系统的三角测量公式确定目标点的三维位置坐标信息。

步骤(4.1)：利用旋转矩阵R与平移矩阵T对混合垂直立体视觉立体校正：

将旋转矩阵R分解得到r_u、r_d：

r_u*r_d＝1；

上式中，r_u是上坐标系达到重投影透视图像平面共面所需的旋转矩阵，r_d是下坐标系达到重投影透视图像平面共面所需的旋转矩阵；

定义上坐标系原点与下坐标系原点的连线和重投影透视图像平面的交点为极点，令全景相机与普通视觉相机的图像平面和上坐标系原点与下坐标系原点的连线平行，使得极点处于无穷远处列对齐：计算使得极点处于y轴无穷远处的R_rect矩阵：

重投影透视图像平面和相机坐标系原点连线平行：

上式中，T＝[T_x T_y T_z]^T；

e₁和e₂正交，e₂与主光轴方向向量(0,0,1)叉积：

e₃与e₁和e₂正交：

e₃＝e₁×e₂；

将R_rect左乘到矩阵r_u和矩阵r_d：

R_u＝R_rect*r_u；

R_d＝R_rect*r_d；

上式中，R_d是立体校正过程中O_g-X_gY_gZ_g坐标系的旋转矩阵，R_u是立体校正过程中O_p-X_pY_pZ_p坐标系的旋转矩阵；

步骤(4.2)：立体校正后，空间点在重投影透视图像平面的投影列对齐，混合垂直立体视觉系统的三角测量公式为：

上式中，B为混合垂直立体视觉的基线，B的大小为全景有效视点与普通相机光心之间的距离；

步骤(4.3)：定义垂直视差为v_y＝y₂-y₁。垂直视差的大小d和给定的二维齐次坐标之间存在如下关系：

上式中，Q为重投影矩阵；

然后计算得到目标点的三维位置坐标信息(X/W,Y/W,Z/W)。

本发明的有益效果为：

本发明在保证全景视觉大视场的同时，应用常规视角相机的高分辨率优势对目标区域进行精细观测，弥补了全景相机分辨率低且不均匀的劣势，解决了混合视觉中立体标定的问题并将混合视觉定位通用化。

附图说明

图1是全景图像及球面统一投影模型；

图2是普通视觉图像与普通视觉球面统一模型；

图3是混合视觉立体校正后的共同方位透视展开；

图4是混合视觉中的普通场景图与二维视差图；

图5是球面统一投影模型图。

具体实施方式

下面结合附图来进一步描述本发明：

一种基于全景与单目视觉的混合视觉定位方法，包含如下步骤：

步骤(1)：将全景相机与普通视觉相机垂直放置组成混合垂直立体视觉，使用平面棋盘格对全景与普通视觉分别标定，得到全景相机与普通视觉相机的内部参数：

全景相机的内参矩阵为K_o，普通视觉相机的内参矩阵为K_p，全景相机的畸变系数为(k_o1,k₀₂,p₀₁,p_o2)，普通视觉相机的畸变系数为(k_p1,k_p2,k_p3,p_p1,p_p2)；

上式中，η是与双曲面镜参数有关的参数，γ₁与γ₂为有效焦距，(u₀,v_o)为全景相机的主点；

步骤(2)：如图1和图2，在混合垂直立体视觉中，将全景与普通视觉统一化为球面统一投影模型，根据全景与普通视觉的共同方位对全景有效坐标系转换得到新的全景方位坐标系O_g-X_gY_gZ_g。

如图5，建立球面统一投影模型：O_m-X_mY_mZ_m为全景有效坐标系，全景有效坐标系原点为球面统一投影模型的单位球球心，O_p-X_pY_pZ_p为普通视觉相机的相机坐标系；

取矩阵和矩阵R_f：

上式中，θ为共同方位在全景图像中与X_m坐标轴的夹角，矩阵R_f是引入的用来统一全景与普通视觉共同方位的坐标系的矩阵；

旋转和R_f得到新的全景方位坐标系O_g-X_gY_gZ_g：

上式中，(x_g,y_g,z_g)是在新的全景方位坐标系中的球面点的坐标；

此时仅仅是对混合视觉进行粗略校正，精确校正仍需通过立体标定得到两坐标系之间的旋转平移位置关系后立体校正。

步骤(3)：根据立体标定结果，得到新的全景方位坐标系O_g-X_gY_gZ_g与普通视觉相机的相机坐标系O_p-X_pY_pZ_p之间的旋转矩阵R与平移矩阵T。

步骤(4)：利用旋转矩阵R与平移矩阵T对混合垂直立体视觉立体校正，通过一般化的立体匹配得到垂直视差，再根据混合垂直立体视觉系统的三角测量公式确定目标点的三维位置坐标信息。

步骤(4.1)：利用旋转矩阵R与平移矩阵T对混合垂直立体视觉立体校正：

将旋转矩阵R分解得到r_u、r_d：

r_u*r_d＝1；

上式中，r_u是上坐标系达到重投影透视图像平面共面所需的旋转矩阵，r_d是下坐标系达到重投影透视图像平面共面所需的旋转矩阵；

定义上坐标系原点与下坐标系原点的连线和重投影透视图像平面的交点为极点，令全景相机与普通视觉相机的图像平面和上坐标系原点与下坐标系原点的连线平行，使得极点处于无穷远处列对齐：计算使得极点处于y轴无穷远处的R_rect矩阵：

重投影透视图像平面和相机坐标系原点连线平行：

上式中，T＝[T_x T_y T_z]^T；

e₁和e₂正交，e₂与主光轴方向向量(0,0,1)叉积：

e₃与e₁和e₂正交：

e₃＝e₁×e₂；

将R_rect左乘到矩阵r_u和矩阵r_d：

R_u＝R_rect*r_u；

R_d＝R_rect*r_d；

上式中，R_d是立体校正过程中O_g-X_gY_gZ_g坐标系的旋转矩阵，R_u是立体校正过程中

O_p-X_pY_pZ_p坐标系的旋转矩阵；

步骤(4.2)：如图3，通过对混合视觉中的共同方位透视展开得到具有垂直视差的列对齐的两幅图像，根据两图像的垂直视差和三角定位公式确定目标点的空间三维位置。经立体校正后，空间点在全景和普通视觉透视展开图像平面的投影具有相同的横坐标即列对齐，混合立体视觉系统的三角测量公式为：

上式中，B为混合垂直立体视觉的基线，B的大小为全景有效视点与普通相机光心之间的距离；

步骤(4.3)：如图4，定义垂直视差为v_y＝y₂-y₁。垂直视差的大小d和给定的二维齐次坐标之间存在如下关系：

上式中，Q为重投影矩阵；

然后计算得到目标点的三维位置坐标信息(X/W,Y/W,Z/W)。

在全景图像中可观测到周围大视场中的场景信息；然而由于全景的分辨率低且不均匀，因此需要通过一个高分辨率相机对感兴趣区域进行精细观测。通过混合视觉立体标定，立体校正后通过全景的方位坐标系与普通视觉坐标系共同方位透视展开，可得到两幅共面且列对齐的图像，具有垂直视差。

与现有技术相比，本发明在保证全景视觉大视场的同时，应用常规视角相机的高分辨率优势对目标区域进行精细观测，弥补了全景相机分辨率低且不均匀的劣势，解决了混合视觉中立体标定的问题并将混合视觉定位通用化。

以上所述并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于全景与单目视觉的混合视觉定位方法，其特征在于：包含如下步骤：

步骤(1)：将全景相机与普通视觉相机垂直放置组成混合垂直立体视觉，使用平面棋盘格对全景与普通视觉分别标定，得到全景相机与普通视觉相机的内部参数；

步骤(2)：在混合垂直立体视觉中，将全景与普通视觉统一化为球面统一投影模型，根据全景与普通视觉的共同方位对全景有效坐标系转换得到新的全景方位坐标系O_g-X_gY_gZ_g；

步骤(3)：根据立体标定结果，得到新的全景方位坐标系O_g-X_gY_gZ_g与普通视觉相机的相机坐标系O_p-X_pY_pZ_p之间的旋转矩阵R与平移矩阵T；

步骤(4)：利用旋转矩阵R与平移矩阵T对混合垂直立体视觉立体校正，通过一般化的立体匹配得到垂直视差，再根据混合垂直立体视觉系统的三角测量公式确定目标点的三维位置坐标信息。

2.根据权利要求1所述的一种基于全景与单目视觉的混合视觉定位方法，其特征在于：所述的步骤(1)中的全景相机与普通视觉相机的内部参数包括全景相机的内参矩阵K_o，普通视觉相机的内参矩阵K_p，全景相机的畸变系数(k_o1,k₀₂,p₀₁,p_o2)，普通视觉相机的畸变系数(k_p1,k_p2,k_p3,p_p1,p_p2)；

其中：

上式中，η是与双曲面镜参数有关的参数，γ₁与γ₂为有效焦距，(u₀,v_o)为全景相机的主点；

3.根据权利要求1所述的一种基于全景与单目视觉的混合视觉定位方法，其特征在于：所述的步骤(2)具体为：

建立球面统一投影模型：O_m-X_mY_mZ_m为全景有效坐标系，全景有效坐标系原点为球面统一投影模型的单位球球心，O_p-X_pY_pZ_p为普通视觉相机的相机坐标系；

取矩阵和矩阵R_f：

上式中，θ为共同方位在全景图像中与X_m坐标轴的夹角，矩阵R_f是引入的用来统一全景与普通视觉共同方位的坐标系的矩阵；

旋转和R_f得到新的全景方位坐标系O_g-X_gY_gZ_g：

上式中，(x_g,y_g,z_g)是在新的全景方位坐标系中的球面点的坐标。

4.根据权利要求1所述的一种基于全景与单目视觉的混合视觉定位方法，其特征在于：所述的步骤(4)具体为：

步骤(4.1)：利用旋转矩阵R与平移矩阵T对混合垂直立体视觉立体校正：

将旋转矩阵R分解得到r_u、r_d：

r_u*r_d＝1；

上式中，r_u是上坐标系达到重投影透视图像平面共面所需的旋转矩阵，r_d是下坐标系达到重投影透视图像平面共面所需的旋转矩阵；

定义上坐标系原点与下坐标系原点的连线和重投影透视图像平面的交点为极点，令全景相机与普通视觉相机的图像平面和上坐标系原点与下坐标系原点的连线平行，使得极点处于无穷远处列对齐：计算使得极点处于y轴无穷远处的R_rect矩阵：

重投影透视图像平面和相机坐标系原点连线平行：

上式中，T＝[T_x T_y T_z]^T；

e₁和e₂正交，e₂与主光轴方向向量(0,0,1)叉积：

e₃与e₁和e₂正交：

e₃＝e₁×e₂；

将R_rect左乘到矩阵r_u和矩阵r_d：

R_u＝R_rect*r_u；

R_d＝R_rect*r_d；

上式中，R_d是立体校正过程中O_g-X_gY_gZ_g坐标系的旋转矩阵，R_u是立体校正过程中O_p-X_pY_pZ_p坐标系的旋转矩阵；

步骤(4.2)：立体校正后，空间点在重投影透视图像平面的投影列对齐，混合垂直立体视觉系统的三角测量公式为：

上式中，B为混合垂直立体视觉的基线，B的大小为全景有效视点与普通相机光心之间的距离；

步骤(4.3)：定义垂直视差为v_y＝y₂-y₁；垂直视差的大小d和给定的二维齐次坐标之间存在如下关系：

上式中，Q为重投影矩阵；

然后计算得到目标点的三维位置坐标信息(X/W,Y/W,Z/W)。