CN113129350A - 一种基于相机阵列的深度提取方法 - Google Patents

Abstract

本发明提出了一种基于相机阵列的深度提取方法。首先使用相机阵列采集多幅高分辨图像。已知某三维物体的空间坐标点，可以计算其在每幅图像上的投影点坐标。同一物点经过相机投影在每幅图像上的投影点集合称为同源点。每幅图像上的同源点颜色相似度最高，即同源点颜色值的统计误差最小。根据多幅图像中同源点的视差关系，计算出参考图像各个像素点在其他图像中同源点的位置，通过寻找每个像素点对应的同源点颜色值统计误差最小的情况，即可得到参考图像与其相邻图像的视差图。

Description

一种基于相机阵列的深度提取方法

技术领域

本发明属于三维图像处理技术领域，涉及一种三维深度信息获取方法。

背景技术

目前，深度信息获取在三维立体显示、人脸识别、机器视觉等领域有着广泛的应用。目前使用较为广泛的获取深度信息的方法，是使用两个相机或者多个相机从不同视角获得图像，因为多个相机之间会有一定的间距，所以从不同视角获得的图像会存在一定的视差，其中视差可以根据已知的相机参数转换为物体的深度信息。

而传统获取视差图的方法是使用双目立体视觉，双目立体视觉根据获取的左右两幅图像，生成视差图。双目立体视觉获取视差图时只考虑左右两幅图像，生成视差图的过程中，不仅计算结果会出现错误匹配，还容易受噪声影响，无法直接得到最优视差。

本发明使用相机阵列采集三维物体的多幅视图，利用多幅视图生成视差图，降低了错误匹配的几率，同时也减少了噪声的影响。并且相机阵列每行每列相邻相机光心间距相等，使每幅图像上的同源点视差以正比例关系变化，准确获得一系列同源点的坐标。

发明内容

本发明提出了一种基于相机阵列的深度提取方法。首先使用相机阵列采集多幅高分辨图像。已知某三维物体的空间坐标点，可以计算其在每幅图像上的投影点坐标。同一物点经过相机投影在每幅图像上的投影点集合称为同源点。每幅图像上的同源点颜色相似度最高，即同源点颜色值的统计误差最小。根据多幅图像中同源点的视差关系，计算出参考图像各个像素点在其他图像中同源点的位置，通过寻找每个像素点对应的同源点颜色值统计误差最小的情况，即可得到参考图像与其相邻图像的视差图。

本发明采取的技术方案包括下列步骤：

(一)使用相机阵列采集三维物体的多幅图像，用来提取深度信息。

设相机阵列维数为(2M-1)(行)×(2N-1)(列)，每个相机焦距为f，相机成像平面物理大小为c_x(长)×c_y(宽)，每行每列相邻相机光心间距相等，大小为p。相机阵列的所有相机在一个空间直角坐标系xOy平面上，第一行第一列相机光心所处位置为坐标系xOy原点，如图1所示。使用上述相机阵列采集(2M-1)(行)×(2N-1)(列)幅图像I_(m,n)，m为图像所处位置的空间行坐标，n为空间列坐标，每幅图像分辨率大小为N_u(行)×N_v(列),每幅图像坐标系uOv，以图像左上角为坐标原点，u轴与x轴相互平行且正方向相同，其为每幅图像行坐标方向，v轴与y轴相互平行且正方向相同，其为每幅图像列坐标方向。

(二)根据多幅图像中同源点间的视差关系，计算参考图像中每个像素点在其他图像中的同源点坐标。

根据透镜成像原理可知，在相机阵列采集图像时，三维物体的任意一个物点经透镜成像，都可以在相机成像平面上得到该物点所成的一系列像点，即同源点。

如图2所示，设三维物体A点到相机的距离为l，A点经过第(1,n)相机投影在相机成像平面上的点为A_1,n，图像坐标为(u₁,v_n)；经过第(m,n)相机投影在相机成像平面上的点为A_m,n，图像坐标为(u_m,v_n)；经过第(m+1,n)相机投影在相机成像平面上的点为A_m+1,n，图像坐标为(u_m+1,v_n)。ΔU₁为图像行坐标u_m和u_m+1之间的差值，ΔU_m为图像行坐标u₁和u_m+1之间的差值。根据图2所示三角关系可以推出：

为相机成像平面上每个像素点的物理大小。根据公式(1)、(2)可推出ΔU₁和ΔU_m(m＝1,2,…,2M-2)的关系式：

ΔU_m＝m×ΔU₁ (3)

同理,设ΔV₁为图像列坐标v_n和v_n+1之间的差值；ΔV_n为图像列坐标v₁和v_n+1之间的差值。推出ΔV₁和ΔV_n(n＝1,2,…,2N-2)的关系式：

ΔV_n＝n×ΔV₁ (4)

因此，在等间距相机阵列采集的多幅图像中，一幅图像与其他图像同源点之间的视差和对应的成像相机之间的距离满足正比函数关系。

选择相机阵列的中央相机采集得到的图像I_(M,N)为参考图像，对于参考图像I_(M,N)的像素点i(u,v)，根据公式(3)、(4)可以计算出在其他图像I_(m,n)中的同源点图像坐标u_m,v_n：

u_m＝u-β_xΔU₁ (5)

v_n＝v-β_yΔV₁ (6)

β_x＝M-m为图像I_(m,n)与图像I_(M,N)上的同源点行坐标间正比函数的比例系数，β_y＝N-n为图像I_(m,n)与图像I_(M,N)上的同源点列坐标间正比函数的比例系数。

(三)在视差搜索范围D内的不同视差d处，采用欧氏距离计算同源点间的颜色值误差，颜色值误差最小时对应的d值为参考图像中该像素点的视差值。

根据公式(5)、(6)，计算得到参考图像I_(M,N)中每个像素点在其他图像中的一系列同源点。因为每幅图像上的同源点颜色相似度最高，即同源点颜色值的统计误差最小，所以本发明采用欧氏距离方法统计同源点间的颜色值误差。在不同视差d处，I_(M,N)中像素点i(u,v)与在某幅图像I_(m,n)中的同源点的欧式距离表示为E_(m,n)，根据公式(7)计算得到：

将在像素点i(u,v)，参考图像I_(M,N)与其余图像I_(m,n)计算得到的E_(m,n)聚合得到最终统计误差V(u,v,d)：

参考图像中像素点的视差值

可以通过在视差搜索范围D内使得V(u,v,d)最小的d值来确定，即：

(四)将获得的参考图像的视差图转换为深度图。

使用已知相机参数将参考图像视差图中的视差值转换为物体深度值l，以此获得深度图：

本发明提出一种基于相机阵列的深度提取方法，与通常采用的双目相机获得深度信息的方式相比，本发明的深度图获取方式具有如下优势：

(1)双目相机立体匹配获取深度时，对于弱纹理区域及遮挡区域效果不佳，相机阵列可以采集三维物体的多视角信息，能够将更多信息进行融合，改善深度图质量。

(2)根据多幅图像中同源点的视差关系，可以计算同源点位置坐标，不需要经过传统立体匹配方法中的大范围搜索过程。

附图说明

图1是相机阵列采集示意图；

图2是同源点关系原理图；

图3是三维物体；

图4是相机阵列采集的7*7幅图像；

图5是本发明生成的视差图；

图6是本发明生成的深度图。

具体实施方式

(一)使用相机阵列采集三维物体的多幅图像，用来提取深度信息。

本发明实施例中用3dsmax仿真采集系统。M＝4，N＝4，相机阵列维数为7*7，每个相机的焦距f＝50mm，相机成像平面物理大小为36mm*36mm，每行每列相邻相机光心间距相等，大小为p＝5mm。如图3所示为实验采集的三维物体，茶壶和花瓶前后放置在相机阵列前方，茶壶与相机阵列距离100mm，花瓶与相机阵列距离135mm。如图4所示为相机阵列采集的7*7幅图像，每幅图像的分辨率为400*400像素。

(二)根据多幅图像中同源点间的视差关系，计算参考图像中每个像素点在其他图像中的同源点坐标。

选择相机阵列的中央相机采集得到的图像I_(4,4)为参考图像，对于参考图像I_(4,4)的像素点i(u,v)，根据公式(5)、(6)计算出在其他图像中的同源点图像坐标(u_m,v_n)。

(三)在视差搜索范围D∈[10,30]内的不同视差d处，采用欧氏距离计算同源点间的颜色值误差，颜色值误差最小时对应的d值为参考图像中该像素点的视差值。

先由公式(7)计算在不同视差d处，图像I_(4,4)中像素点i(u,v)分别与在其余图像中的同源点的欧氏距离E_(m,n)，根据公式(8)，将图像I_(4,4)中像素点i(u,v)分别与其余图像计算得到的欧氏距离E_(m,n)聚合，得到最终统计误差V(u,v,d)。最后根据公式(9)，在视差搜索范围D内，使V(u,v,d)最小的d值为像素点i(u,v)的视差值。

图像I_(4,4)中的每个像素点重复步骤(二)、(三)，得到图像I_(4,4)每个像素点的视差值，即可得到参考图像I_(4,4)与其相邻图像I_(4,5)的视差图，视差图如图5所示。

(四)将获得的参考图像的视差图转换为深度图。

根据公式(10)，使用已知相机参数将I_(4,4)视差图中的视差值转换为物体深度值l，获得深度图。

深度图如图6所示，深度图中深色表示深度值较小，浅色表示深度值较大。

Claims (1)

1.一种基于相机阵列的深度提取方法，其特征在于包括下列步骤：

(一)使用相机阵列采集三维物体的多幅图像，用来提取深度信息。

设相机阵列维数为(2M-1)(行)×(2N-1)(列)，每个相机焦距为f，相机成像平面物理大小为c_x(长)×c_y(宽)，每行每列相邻相机光心间距相等，大小为p。相机阵列的所有相机在一个空间直角坐标系xOy平面上，第一行第一列相机光心所处位置为坐标系xOy原点，如图1所示。使用上述相机阵列采集(2M-1)(行)×(2N-1)(列)幅图像I_(m,n)，m为图像所处位置的空间行坐标，n为空间列坐标，每幅图像分辨率大小为N_u(行)×N_v(列),每幅图像坐标系uOv，以图像左上角为坐标原点，u轴与x轴相互平行且正方向相同，其为每幅图像行坐标方向，v轴与y轴相互平行且正方向相同，其为每幅图像列坐标方向。

(二)根据多幅图像中同源点间的视差关系，计算参考图像中每个像素点在其他图像中的同源点坐标。

根据透镜成像原理可知，在相机阵列采集图像时，三维物体的任意一个物点经透镜成像，都可以在相机成像平面上得到该物点所成的一系列像点，即同源点。

如图2所示，设三维物体A点到相机的距离为l，A点经过第(1,n)相机投影在相机成像平面上的点为A_1,n，图像坐标为(u₁,v_n)；经过第(m,n)相机投影在相机成像平面上的点为A_m,n，图像坐标为(u_m,v_n)；经过第(m+1,n)相机投影在相机成像平面上的点为A_m+1,n，图像坐标为(u_m+1,v_n)。ΔU₁为图像行坐标u_m和u_m+1之间的差值，ΔU_m为图像行坐标u₁和u_m+1之间的差值。根据图2所示三角关系可以推出：

为相机成像平面上每个像素点的物理大小。根据公式(1)、(2)可推出ΔU₁和ΔU_m(m＝1,2,…,2M-2)的关系式：

ΔU_m＝m×ΔU₁ (3)

同理,设ΔV₁为图像列坐标v_n和v_n+1之间的差值；ΔV_n为图像列坐标v₁和v_n+1之间的差值。推出ΔV₁和ΔV_n(n＝1,2,…,2N-2)的关系式：

ΔV_n＝n×ΔV₁ (4)

因此，在等间距相机阵列采集的多幅图像中，一幅图像与其他图像同源点之间的视差和对应的成像相机之间的距离满足正比函数关系。

选择相机阵列的中央相机采集得到的图像I_(M,N)为参考图像，对于参考图像I_(M,N)的像素点i(u,v)，根据公式(3)、(4)可以计算出在其他图像I_(m,n)中的同源点图像坐标u_m,v_n：

u_m＝u-β_xΔU₁ (5)

v_n＝v-β_yΔV₁ (6)

β_x＝M-m为图像I_(m,n)与图像I_(M,N)上的同源点行坐标间正比函数的比例系数，β_y＝N-n为图像I_(m,n)与图像I_(M,N)上的同源点列坐标间正比函数的比例系数。

(三)在视差搜索范围D内的不同视差d处，采用欧氏距离计算同源点间的颜色值误差，颜色值误差最小时对应的d值为参考图像中该像素点的视差值。

根据公式(5)、(6)，计算得到参考图像I_(M,N)中每个像素点在其他图像中的一系列同源点。因为每幅图像上的同源点颜色相似度最高，即同源点颜色值的统计误差最小，所以本发明采用欧氏距离方法统计同源点间的颜色值误差。在不同视差d处，I_(M,N)中像素点i(u,v)与在某幅图像I_(m,n)中的同源点的欧式距离表示为E_(m,n)，根据公式(7)计算得到：

将在像素点i(u,v)，参考图像I_(M,N)与其余图像I_(m,n)计算得到的E_(m,n)聚合得到最终统计误差V(u,v,d)：

参考图像中像素点的视差值

可以通过在视差搜索范围D内使得V(u,v,d)最小的d值来确定，即：

(四)将获得的参考图像的视差图转换为深度图。

使用已知相机参数将参考图像视差图中的视差值转换为物体深度值l，以此获得深度图：

Images