CN111932648A - 一种由螺旋采样光场数据重建三维物体的方法 - Google Patents

Abstract

本发明公开了一种由螺旋采样光场数据重建三维物体的方法，其包括：步骤1，将螺旋采样光场数据表示为L_s(x，y，Φ)：相机采集到的光场数据为螺旋采样光场数据，s表示螺距，

为螺旋角度，

表示在第k层下的旋转角度，x、y分别为相机的探测器平面在世界坐标系中的横、纵坐标；步骤2，建立物点在螺旋采样光场下的理想轨迹方程；步骤3，进行亚光圈区域匹配，追踪匹配点在螺旋采样光场数据中的轨迹；步骤4，对轨迹进行参数拟合，得到匹配点的三维坐标，重构三维物体。本发明方法能够实现高精度的物体三维表面重构，由于与螺旋CT数据采集模式相匹配，可与螺旋CT一起构成同时重构物体表面和内部结构信息的双模态成像系统。

Description

一种由螺旋采样光场数据重建三维物体的方法

技术领域

本发明涉及光学与数字图像处理技术领域，特别是关于一种由螺旋采样光场数据重建三维物体的方法。

背景技术

三维重建是利用二维投影信息恢复三维场景的计算过程,其首要问题是三维信息，即物体深度信息的获取。深度是空间中的一点到相机所在平面的距离。从图像中提取出场景的深度信息是计算摄影中的经典问题。基于相机阵列的深度提取技术(多目系统)是解决这一问题的一种典型方法，其原理的基础为双目立体视觉。该方法可以获取丰富的三维信息，能够对场景进行准确的三维重建。其缺点是设备体积庞大，造价昂贵，只适合于实验研究。

光场成像的研发，以其操作简单，携带方便，以及可灵活选取重聚焦图像等优点引起广泛地关注。光场成像系统可以记录光线的空间、角度和辐射度信息。相比于传统相机采集到的二维投影数据，光场相机采集的四维光场数据，包含足够的角度信息，能够对场景进行三维重建。其中，Lytro光场相机和Raytrix光场相机等实际消费产品，都展示了在获取场景三维信息方面的巨大优点。

光场数据记录了光线的空间位置和角度信息，使光场成像获得了传统成像难以实现的效果，如数字重聚焦(Digital Refocusing)、景深扩展(Extension of Depth ofField)和全景深合成(All-in-focus)等。另外，由于光线的空间、角度与深度信息之间的紧密联系，以光场数据为基础的三维重建受到了国内外学者的广泛关注。

发明内容

本发明的目的在于提供一种由螺旋采样光场数据重建三维物体的方法来克服或至少减轻现有技术的上述缺陷中的至少一个。

为实现上述目的，本发明提供一种由螺旋采样光场数据重建三维物体的方法，该方法包括以下步骤：

步骤1，将螺旋采样光场数据表示为L_s(x，y，Φ)，其具体包括：通过相机采集螺旋采样光场数据，其中，

为螺旋角度，

表示在第k层下的旋转角度，x为相机的探测器平面在世界坐标系中的横坐标，y为相机的探测器平面在世界坐标系中的纵坐标；

步骤2，建立物点在螺旋采样光场下的理想轨迹方程；

步骤3，进行亚光圈区域匹配，并追踪匹配点在螺旋采样光场数据中的轨迹；

步骤4，对轨迹进行参数拟合，得到匹配点的三维坐标，以重构三维物体。

进一步地，所述世界坐标系O_w-X_wY_wZ_w到相机坐标系O_c-X_cY_cZ_c之间的变换关系包括平移变换向量t＝(t_x，t_y，t_z)^T，所述步骤2建立得到的理想轨迹方程表示为：

式中，f表示相机的焦距,s表示螺旋采样光场数据的螺距，(x_w，y_w，z_w)是世界坐标系O_wX_wY_wZ_w的点坐标，(x_c，y_c，z_c)是相机坐标系O_cX_cY_cZ_c的点坐标。

进一步地，所述理想轨迹方程依据螺旋采样光场数据的几何模型得到，该几何模型包括：

世界坐标系O_w-X_wY_wZ_w到相机坐标系O_c-X_cY_cZ_c之间的变换关系，其表示为式(5)：

式(5)中，相机坐标系O_c-X_cY_cZ_c到图像坐标系O-XY之间的变换关系，其表示为式(7)：

进一步地，所述世界坐标系O_w-X_wY_wZ_w到相机坐标系O_c-X_cY_cZ_c之间的变换关系还包括旋转矩阵，该旋转矩阵的获取方式具体如下：

步骤211，将世界坐标系O_w-X_wY_wZ_w绕相机坐标系O_c-X_cY_cZ_c中的Y_C轴旋转270°，得到第一坐标系O₁-X₁Y₁Z₁，该旋转变换矩阵表示为矩阵(1)：

步骤212，将第一坐标系O₁-X₁Y₁Z₁绕其Z₁轴转90°，得第二坐标系O₂-X₂Y₂Z₂，该旋转变换矩阵表示为矩阵(2)：

所述平移变换向量的获取方式具体如下：

所述平移变换向量t＝(t_x，t_y，t_z)^T映射到相机坐标系O_c-X_cY_cZ_c表示为式(4)：

式中，

进一步地，所述相机坐标系O_c-X_cY_cZ_c到图像坐标系O-XY之间的变换关系依据式(6)表示的小孔成像模型获得：

进一步地，所述步骤3具体包括：

步骤31，定义亚光圈区域的匹配代价函数，其具体包括：

将步骤1建立得到的螺旋采样光场数据L(x，y，φ)的坐标像素化，对于k＝m，

处的视图L_m，n(x，y)，其螺旋角度

k表示相机P旋转的层数,

表示旋转角度，

为旋转角度的采样间隔，m为相机P旋转的层数k的编号，n为旋转角度

的编号；

通过式(9)表示的匹配代价函数寻找像素点(x，y)对应物点Q(x_w，y_w，z_w)的匹配点：

E(s，t)＝∑_{(x′，y′)∈W(x，y)}||L_m，n(x′，y′)-L_m′，n′(x′+sΔx，y′+tΔy)|| (9)

式(9)中，E(s，t)表示一视图L_m，n(x，y)中的像素点(x，y)与另一视图L_m′，n′(x，y)中的像素点(x+sΔx，y+tΔy)之间的匹配代价，视图L_m′，n′(x，y)中，m′为相机P旋转的层数k的编号，n′为旋转角度

的编号，仅螺旋角度

s表示x的视差，t表示y的视差；

步骤32，通过式(9)追踪像素点(x，y)对应的所有匹配点。

进一步地，所述步骤32具体包括：

设共有I个匹配点，第i个匹配点表示为(x_i，y_i)，第i个匹配点对应的螺旋角度为φ_i，则第i个匹配点的匹配点坐标和旋转角度组成三元组的集合为：

A＝{(x_i，y_i，φ_i)，i＝1，2，…，I} (11)。

进一步地，所述步骤4具体包括：

由公式(8)消去z_c可得式(12)和(13)：

物点Q(x_w，y_w，z_w)在不同旋转角度φ下所对应的不同的坐标(x_i，y_i)，i＝1，2，…，I，利用集合A对应的I个离散匹配点，采用最小二乘法拟合公式(12)和(13)，求得匹配点的三维坐标x_w，y_w和z_w。

本发明由于与螺旋CT数据采集模式相匹配，可与螺旋CT一起构成同时重构物体表面和内部结构信息的双模态成像系统，能够实现高精度的物体三维表面重构。

附图说明

图1为本发明实施例提供的由螺旋采样光场数据重建三维物体的方法的流程示意图。

图2为图1中的螺旋采样光场数据采样示意图。

图3为图2的螺旋采样光场数据采样过程中的旋转角度坐标系的示意图。

图4为图2的螺旋采样光场数据采样过程中的物点运动轨迹的示意图。

图5为图4的俯视图。

图6为小孔成像模型坐标系的示意图。

具体实施方式

下面结合附图和实施例对本发明进行详细的描述。

本实施例提供的由螺旋采样光场数据重建三维物体的方法包括：

步骤1，建立螺旋采样光场数据的“螺旋线+平面”参数化表示。

步骤2，建立物点在螺旋采样光场下的理想轨迹方程。

步骤3，进行亚光圈区域匹配，并追踪匹配点在螺旋采样光场数据中的轨迹。

步骤4，对轨迹进行参数拟合，得到匹配点的三维坐标，重构三维物体。

在一个实施例中，步骤1具体包括：

对于螺旋采样光场数据的采集，可以采用两种等价的方式：

其一，控制相机绕世界坐标系的一个轴(称为旋转轴)进行螺旋运动，对物体进行拍摄。

其二，将相机固定，而被拍摄物体绕着旋转轴进行旋转，同时沿着旋转轴平移，旋转一周平移一个螺距s。

例如第一种采集方式：如图2和图3所示，相机P在图2中示意为黑点，在图3中示意为方框，定义相机坐标系表示为O_cX_cY_cZ_c，世界坐标系表示为O_wX_wY_wZ_w，其中的O_w为原点。物点Q在世界坐标系O_wX_wY_wZ_w的坐标表示为Q(x_w，y_w，z_w)，物点Q在相机坐标系O_cX_cY_cZ_c的坐标表示为Q(x_c，y_c，z_c)。

相机P绕旋转轴做螺旋运动，本实施例以世界坐标系的Z_w轴为旋转轴，从图2中可以看出相机P的运动轨迹呈现出螺旋状运动轨迹。从图2的俯视图图3可以看出：相机P的运动轨迹呈圆周形。

对于相机P采集到的光场呈螺旋状，因此全文将相机P采集到的光场数据统一称为“螺旋采样光场数据”，并将螺旋采样光场数据参数化表示为L_s(x，y，Φ)。其中，s表示螺距，

为螺旋角度，

表示在第k层下的旋转角度，即相机坐标系Z_C轴在X_w，Y_w平面投影线OP与X_w的夹角,

的角度范围是0°到是360。x为相机P的探测器平面在世界坐标系O_w-X_wY_wZ_w中的横坐标，y为相机P的探测器平面在世界坐标系O_w-X_wY_wZ_w中的纵坐标。因此，通过L_s(x，y，Φ)能唯一确定螺旋采样光场数据中的一条光线的光强度。

在一个实施例中，步骤2具体包括：

步骤21，获取螺旋采样光场数据的成像几何模型。为了描述方便，该成像几何模型采用第二种采集方式进行描述，如图4所示。因此，该成像几何模型包括世界坐标系O_w-X_wY_wZ_w到相机坐标系O_c-X_cY_cZ_c之间的变换关系、以及相机坐标O_c-X_cY_cZ_c系到图像坐标系O-XY之间的变换关系。

下面分别对这两种变换关系的获取方式进行详细说明。

(一)世界坐标系O_w-X_wY_wZ_w到相机坐标系O_c-X_cY_cZ_c之间的变换关系包括该两坐标系之间的旋转变换矩阵和平移变换向量。

1、旋转矩阵将世界坐标系O_w-X_wY_wZ_w到相机坐标系O_c-X_cY_cZ_c，旋转矩阵的获取方式具体如下：

步骤211，将世界坐标系O_w-X_wY_wZ_w绕相机坐标系O_c-X_cY_cZ_c中的Y_C轴旋转270°，得到第一坐标系O₁-X₁Y₁Z₁，该旋转变换矩阵表示为矩阵(1)：

步骤212，将第一坐标系O₁-X₁Y₁Z₁绕其Z₁轴转90°，得第二坐标系O₂-X₂Y₂Z₂，该旋转变换矩阵表示为矩阵(2)：

例如：如图4中示出地，物点Q(x_w，y_w，z_w)绕世界坐标系O_w-X_wY_wZ_w中的Z_w轴做螺旋运动。从图4的俯视图图5可以看出：物点Q的运动轨迹呈圆周形，

表示物点Q在世界坐标系O_w-X_wY_wZ_w中绕Z_w轴在某一层中的旋转角度，θ表示物点Q在世界坐标系O_w-X_wY_wZ_w中与X_w轴的夹角。那么，物点Q在世界坐标系O_w-X_wY_wZ_w中绕Z_w轴做螺旋运动的轨迹表示为式(3)：

其中，

2、平移变换向量的获取方式具体如下：

如图4中示出地，世界坐标系O_w到相机坐标系O_c的平移变换向量，表示为：t＝(t_x，t_y，t_z)^T，根据式(1)、式(2)和式(3)，映射到相机坐标系O_c-X_cY_cZ_c表示为式(4)：

综上所述，将cos90°，sin90°，cos270°，sin270°，

代入式(4)，可得到世界坐标系O_w-X_wY_wZ_w到相机坐标系O_c-X_cY_cZ_c之间的变换关系表示为式(5)：

(二)相机坐标系O_c-X_cY_cZ_c到图像坐标系O-XY之间的变换关系，该变换关系为投影变换关系，其推导过程如下：

相机成像原理可类比于图6示出的小孔成像模型，图6中，O_c是相机坐标系O_c-X_cY_cZ_c的原点，也表示小孔成像模型中小孔的所在位置。Q(x，y)是物点Q(x_c，y_c，z_c)在探测器平面(x，y)上的像点。那么，以过O_c的平面(x_c，y_c)两侧的两个三角体为相似结构。由相似三角形的关系有式(6)：

式(6)中，f表示相机的焦距。

根据式(6)，相机坐标系O_c-X_cY_cZ_c到图像坐标系O-XY表示为式(7)：

步骤22，建立由式(8)表示的物点在螺旋采样光场下的理想轨迹方程,螺旋采样光场理想轨迹方程可根据式(5)表示的世界坐标系O_w-X_wY_wZ_w到相机坐标系O_c-X_cY_cZ_c之间的变换关系以及式(7)表示的相机坐标系O_c-X_cY_cZ_c到图像坐标系O-XY得到：

在一个实施例中，步骤3具体包括：

步骤31，定义亚光圈区域的匹配代价函数，其具体包括：

将步骤1建立得到的螺旋采样光场数据L_s(x，y，φ)的坐标像素化，对于k＝m，

处的视图L_m，n(x，y)，其螺旋角度

k表示旋转的层数,

表示旋转角度，

为旋转角度的采样间隔，m为旋转层数的编号，n为旋转角度

的编号。

寻找像素点(x，y)对应物点Q(x_w，y_w，z_w)的匹配点。匹配过程采用区域匹配，匹配代价函数为式(9)：

E(s，t)＝∑_{(x′，y′)∈W(x，y)}||L_m，n(x′，y′)-L_m′，n′(x′+sΔx，y′+tΔy)|| (9)

式(9)中，E(s，t)表示一视图L_m，n(x，y)中的像素点(x，y)与另一视图L_m′，n′(x，y)中的像素点(x+sΔx，y+tΔy)之间的匹配代价。视图L_m′，n′(x，y)中，m′为旋转层数的编号，仅表示与m代表的编号不同，n′为旋转角度

的编号，仅表示与n代表的编号不同，螺旋角度

L_m，n(x′，y′)和L_m′，n′(x′+sΔx，y′+tΔy)中的各个参数的物理意义根据上述表述以此类推。s表示x的视差，t表示y的视差。

根据式(9)，通过现有的搜索方法极小化E(s，t)，得到匹配点(x+sΔx，ytΔy。

上述实施例中，式(9)采用的是l₂范数，匹配代价函数还可以用l₁范数，比如下式(10)：

步骤32，通过式(9)追踪匹配点在螺旋采样光场数据中的轨迹，即追踪像素点(x，y)对应的所有匹配点，其具体包括如下方法：

设共有I个匹配点，第i个匹配点表示为(x_i，y_i)，第i个匹配点对应的螺旋角度为φ_i，则第i个匹配点的匹配点坐标和旋转角度组成三元组的集合表示为式(11)：

A＝{(x_i，y_i，φ_i)，i＝1，2，…，I} (11)

在一个实施例中，步骤4对匹配点在螺旋采样光场数据中的轨迹进行参数拟合，得到匹配点的三维坐标，进而重构三维物体。

由公式(8)消去z_c可得式(12)：

式(12)和(13)中，物点Q(x_w，y_w，z_w)在不同旋转角度φ_i下所对应的不同的坐标(x_i，y_i)，i＝1，2，…，I。f、t_x、t_y、t_z、s是由旋转采样光场采集过程决定的已知量。利用集合A＝{(x_i，y_i，φ_i)，i＝1，2，…，I}对应的I个离散点，采用最小二乘法拟合公式(12)和(13)，求得参数x_w，y_w和z_w，进而得到物点在世界坐标系下的坐标值，进而重构出三维物体。

最后需要指出的是：以上实施例仅用以说明本发明的技术方案，而非对其限制。本领域的普通技术人员应当理解：可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种由螺旋采样光场数据重建三维物体的方法，其特征在于，包括以下步骤：

步骤1，将螺旋采样光场数据表示为L_s(x，y，Φ)，其具体包括：通过相机采集螺旋采样光场数据，其中，

为螺旋角度，

表示在第k层下的旋转角度，x为相机的探测器平面在世界坐标系中的横坐标，y为相机的探测器平面在世界坐标系中的纵坐标；

步骤2，建立物点在螺旋采样光场下的理想轨迹方程；

步骤3，进行亚光圈区域匹配，并追踪匹配点在螺旋采样光场数据中的轨迹；

步骤4，对轨迹进行参数拟合，得到匹配点的三维坐标，以重构三维物体。

2.如权利要求1所述的由螺旋采样光场数据重建三维物体的方法，其特征在于，所述世界坐标系O_w-X_wY_wZ_w到相机坐标系O_c-X_cY_cZ_c之间的变换关系包括平移变换向量t＝(t_x，t_y，t_z)^T，所述步骤2建立得到的理想轨迹方程表示为：

式中，f表示相机的焦距,s表示螺旋采样光场数据的螺距，(x_w，y_w，z_w)是世界坐标系O_wX_wY_wZ_w的点坐标，(x_c，y_c，z_c)是相机坐标系O_cX_cY_cZ_c的点坐标。

3.如权利要求2所述的由螺旋采样光场数据重建三维物体的方法，其特征在于，所述理想轨迹方程依据螺旋采样光场数据的几何模型得到，该几何模型包括：

世界坐标系O_w-X_wY_wZ_w到相机坐标系O_c-X_cY_cZ_c之间的变换关系，其表示为式(5)：

式(5)中，相机坐标系O_c-X_cY_cZ_c到图像坐标系O-XY之间的变换关系，其表示为式(7)：

4.如权利要求3所述的由螺旋采样光场数据重建三维物体的方法，其特征在于，所述世界坐标系O_w-X_wY_wZ_w到相机坐标系O_c-X_cY_cZ_c之间的变换关系还包括旋转矩阵，该旋转矩阵的获取方式具体如下：

步骤211，将世界坐标系O_w-X_wY_wZ_w绕相机坐标系O_c-X_cY_cZ_c中的Y_C轴旋转270°，得到第一坐标系O₁-X₁Y₁Z₁，该旋转变换矩阵表示为矩阵(1)：

步骤212，将第一坐标系O₁-X₁Y₁Z₁绕其Z₁轴转90°，得第二坐标系O₂-X₂Y₂Z₂，该旋转变换矩阵表示为矩阵(2)：

所述平移变换向量的获取方式具体如下：

所述平移变换向量t＝(t_x，t_y，t_z)^T映射到相机坐标系O_c-X_cY_cZ_c表示为式(4)：

式中，

5.如权利要求3所述的由螺旋采样光场数据重建三维物体的方法，其特征在于，所述相机坐标系O_c-X_cY_cZ_c到图像坐标系O-XY之间的变换关系依据式(6)表示的小孔成像模型获得：

6.如权利要求1至5中任一项所述的由螺旋采样光场数据重建三维物体的方法，其特征在于，所述步骤3具体包括：

步骤31，定义亚光圈区域的匹配代价函数，其具体包括：

将步骤1建立得到的螺旋采样光场数据L(x，y，φ)的坐标像素化，对于

处的视图L_m，n(x，y)，其螺旋角度

k表示相机P旋转的层数,

表示旋转角度，

为旋转角度的采样间隔，m为相机P旋转的层数k的编号，n为旋转角度

的编号；

通过式(9)表示的匹配代价函数寻找像素点(x，y)对应物点Q(x_w，y_w，z_w)的匹配点：

E(s，t)＝∑_{(x′，y′)∈W(x，y)}||L_m，n(x′，y′)-L_m′，n′(x′+sΔx，y′+tΔy)|| (9)

式(9)中，E(s，t)表示一视图L_m，n(x，y)中的像素点(x，y)与另一视图L_m′，n′(x，y)中的像素点(x+sΔx，y+tΔy)之间的匹配代价，视图L_m′，n′(x，y)中，m′为相机P旋转的层数k的编号，n′为旋转角度

的编号，仅螺旋角度

s表示x的视差，t表示y的视差；

步骤32，通过式(9)追踪像素点(x，y)对应的所有匹配点。

7.如权利要6所述的由螺旋采样光场数据重建三维物体的方法，其特征在于，所述步骤32具体包括：

设共有I个匹配点，第i个匹配点表示为(x_i，y_i)，第i个匹配点对应的螺旋角度为φ_i，则第i个匹配点的匹配点坐标和旋转角度组成三元组的集合为：

A＝{(x_i，y_i，φ_i)，i＝1，2，…，I} (11)。

8.如权利要求7所述的由螺旋采样光场数据重建三维物体的方法，其特征在于，所述步骤4具体包括：

由公式(8)消去z_c可得式(12)和(13)：

物点Q(x_w，y_w，z_w)在不同旋转角度φ下所对应的不同的坐标(x_i，y_i)，i＝1，2，…，I，利用集合A对应的I个离散匹配点，采用最小二乘法拟合公式(12)和(13)，求得匹配点的三维坐标x_w，y_w和z_w。

Images