CN113724371A - 同轴照明光场的三维成像方法、系统、电子装置及存储介质 - Google Patents

Abstract

本发明公开了一种同轴照明光场的三维成像方法、系统、电子装置及存储介质，方法包括：利用光场相机对被测对象多次采样，得到多张子视图，光场相机至少包括具有相同光轴的相机传感器、微透镜阵列和主透镜；对各子视图的相位进行均匀采样，得到各子视图的采样相位；获取各子视图采样相位的相交相位，并利用所有的相交相位建立相交相位参考图；计算所有子视图采样相位与相交相位参考图的匹配点；使用各匹配点的射线方程计算匹配点对应的三维坐标；使用各子视图所有的三维坐标进行三维成像；能够解决现有技术中被测物体的三维点云数据不够完整的技术问题。

Description

同轴照明光场的三维成像方法、系统、电子装置及存储介质

技术领域

本发明涉及光场成像技术领域，尤其涉及一种同轴照明光场的三维成像方法、系统、电子装置及存储介质。

背景技术

随着低成本工业光场相机的出现，各种光场应用已经涌入市场，并且该应用再次引起了消费者的关注，所以基于光场三维成像技术的三维重建方法成为了当今研究的热门话题。

但是，现有的光场三维成像技术要么难以确定特征点导致三维模型重建精度低，要么存在遮挡和阴影问题，从而使得被测物体的三维点云数据不够完整。

发明内容

本发明的主要目的在于提供一种同轴照明光场的三维成像方法、系统、电子装置及存储介质，旨在解决现有技术中被测物体的三维点云数据不够完整的技术问题。

为实现上述目的，本发明第一方面提供一种同轴照明光场的三维成像方法，包括：利用所述光场相机对被测对象多次采样，得到多张子视图，所述光场相机至少包括具有相同光轴的相机传感器、微透镜阵列和主透镜；对各子视图的相位进行均匀采样，得到各子视图的采样相位；获取各子视图采样相位的相交相位，并利用所有的所述相交相位建立相交相位参考图；计算所有子视图采样相位与所述相交相位参考图的匹配点；使用各匹配点的射线方程计算所述匹配点对应的三维坐标；使用各子视图所有的所述三维坐标进行三维成像。

其中，所述对各子视图的相位进行均匀采样，得到各子视图的采样相位，包括：获取预设的绝对相位图，所述绝对相位图包含了被测对象的在三维光场中的相位分布范围；根据预设的采样率，在所述相位分布范围内，从各子视图进行均匀采样，得到各子视图的采样相位。

其中，所述使用各匹配点的射线方程计算所述匹配点对应的三维坐标包括：获取与所述匹配点相对应的预先标定的光线方程；将多个匹配点的光线方程相交，得到三维坐标。

其中，所述获取与所述匹配点相对应的预先标定的光线方程包括：计算所述匹配点附近的光线方程的插值，得到所述匹配点相对应的光线方程。

其中，在对被测对象进行采样时，通过采集被测对象的各个像素点来采集被测对象的子视图，其中，在对被测对象进行采样时，每个像素点的采集方法包括：使用角度平面和空间平面分别记录同一点、不同方向光线的角度平面坐标和空间平面坐标。

其中，在所述利用所述光场相机对被测对象多次采样之前，所述方法还包括：对光场相机进行系统标定，以校准光场相机的测量精度。

其中，所述对光场相机进行系统标定包括：控制显示屏沿垂直显示屏的方向平移；计算每次平移时，显示屏的像素点记录的光线方程；将光场相机感应的所有光线分别标定，并用所述光线方程描述。

本发明第二方面提供一种同轴照明光场的三维成像系统，包括：采样模块，用于利用所述光场相机对被测对象多次采样，得到多张子视图，所述光场相机至少包括具有相同光轴的相机传感器、微透镜阵列和主透镜；相位采集模块，用于对各子视图的相位进行均匀采样，得到各子视图的采样相位；建图模块，用于获取各子视图采样相位的相交相位，并利用所有的所述相交相位建立相交相位参考图；匹配点计算模块，用于计算所有子视图采样相位与所述相交相位参考图的匹配点；坐标计算模块，用于使用各匹配点的射线方程计算所述匹配点对应的三维坐标；三维成像模块，用于使用各子视图所有的所述三维坐标进行三维成像。

本发明第三方面提供一种电子装置，包括：存储器、处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现上述中的任意一项所述同轴照明光场的三维成像方法。

本发明第四方面提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现上述中的任意一项所述同轴照明光场的三维成像方法。

本发明提供一种同轴照明光场的三维成像方法、系统、电子装置及存储介质，有益效果在于：能够同时使用所有子视图的匹配点，从而使得得到的匹配点，更加准确；并且不会出现遮挡和阴影问题，使得后续根据三维坐标点计算点云数据时，得到的点云数据较为完整。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例同轴照明光场的三维成像方法的流程示意图；

图2为本发明实施例同轴照明光场的三维成像方法的对各子视图的相位进行均匀采样，得到各子视图的采样相位的流程示意图；

图3为本发明实施例同轴照明光场的三维成像方法的使用各匹配点的射线方程计算匹配点对应的三维坐标的流程示意图；

图4为本发明实施例同轴照明光场的三维成像方法的对光场相机进行系统标定的流程示意图；

图5为本发明实施例同轴照明光场的三维成像系统的框架图；

图6为本发明实施例电子装置的结构示意框图。

具体实施方式

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，为一种同轴照明光场的三维成像方法，包括：

S101、利用光场相机对被测对象多次采样，得到多张子视图；

S102、对各子视图的相位进行均匀采样，得到各子视图的采样相位；

S103、获取各子视图采样相位的相交相位，并利用所有的相交相位建立相交相位参考图；

S104、计算所有子视图采样相位与相交相位参考图的匹配点；

S105、使用各匹配点的射线方程计算匹配点对应的三维坐标；

S106、使用各子视图所有的三维坐标进行三维成像。

在步骤S101中，采用的光场相机至少包括具有相同光轴的相机传感器、微透镜阵列和主透镜，其中微透镜阵列和传感器平面构成物象关系，微透镜阵列通过主透镜后在传感器平面上可以清晰成像；其次主透镜与微透镜阵列结合构成成像镜组，被测物体通过成像镜组可以在相机传感器平面上清晰成像，此时被测物体与相机传感器平面构成物象关系。然后将调整半透半反射膜和投影仪的相对位置，使投影光线和入射光线重合，从而投影模块和光场相机系统构成同轴照明系统。

在步骤S103中，相交相位参考图的分辨率与重建点云的数量有关。

在步骤S104中，不是使用单个子视图作为模板在其他子视图中搜索匹配点，而是在所有子视图中计算相交相位参考图的匹配点，因此可以实现超过子视图分辨率的高分辨率重建。

因此，本实施例提供的同轴照明光场的三维成像方法，能够同时使用所有子视图的匹配点，从而使得得到的匹配点，更加准确；并且不会出现遮挡和阴影问题，使得后续根据三维坐标点计算点云数据时，得到的点云数据较为完整。

请参阅图2，在一个实施例中，步骤S102，对各子视图的相位进行均匀采样，得到各子视图的采样相位，包括：

S1021、获取预设的绝对相位图，绝对相位图包含了被测对象的在三维光场中的相位分布范围；

S1022、根据预设的采样率，在相位分布范围内，从各子视图进行均匀采样，得到各子视图的采样相位。

在本实施例中，能够采集各个子视图的相位。

请参阅图3，在一个实施例中，步骤S105，使用各匹配点的射线方程计算匹配点对应的三维坐标包括：

S1051、获取与匹配点相对应的预先标定的光线方程；

S1052、将多个匹配点的光线方程相交，得到三维坐标。

在本实施例中，空间点可以通过2D图像传感器中的4D光场来记录。具体来说，在光场相机系统中对对焦的物点进行成像时，从物点发出的光线通过不同的子孔径到达图像传感器平面(即4D光场光可以收集来自同一点的不同方向的光线)。子孔径平面和传感器平面分别表示为角度平面(s,t)和空间平面(u,v)。因此，4D光场记录了从空间点发出的光线的方向信息。根据光线的可逆性，一旦确定了像素平面上多个匹配点的位置，通过将这些匹配点的光线方程相交，就可以得到空间点的3D坐标。

在一个实施例中，在步骤S101，利用光场相机对被测对象多次采样之前，同轴照明光场的三维成像方法还包括：

S001、对光场相机进行系统标定，以校准光场相机的测量精度。

在在进行三维重建之前，需要先对光场相机系统进行系统标定。由于微透镜和相机主透镜组成的组合透镜系统会带来的复杂畸变以及光场多路复用带来的低分辨率，较低的分辨率会导致特征模糊，无法准确提取标定图案特征，例如高精度3D或2D靶标的角点，所以传统的基于内部参数和外部参数的相机标定方法难以准确的描述相机记录的所有光线以及不同视角的透视投影坐标系的相对位置。然而，相机每个像素的光线标定受复杂失真的影响很小。一般认为，像平面上的一个固定像素可以记录一系在空间中构成一条直线的点，即相机传感器平面每个像素点记录空间中的一根光线。只要知道直线上两点便可确定一根直线，可以通过3D靶标来标定每个像素点对应的直线方程。

请参阅图4，在一个实施例中，步骤S001，对光场相机进行系统标定包括：

S011、控制显示屏沿垂直显示屏的方向平移；

S021、计算每次平移时，显示屏的像素点记录的光线方程；

S031、将光场相机感应的所有光线分别标定，并用光线方程描述。

在本实施例中，使用高分辨率的显示屏和精密平移台组成的3D靶标。因为显示屏的每个像素单元大小均匀且已知，因此使用条纹分析技术将显示屏幕平面上公制的X坐标和Y坐标信息将相位信息，并且精密平移台提供了每个平面的公制的Z坐标信息。与传统的3D靶标相比，这种3D靶标不会受到标定图案模糊的影响，更加方便实现相机的像素光线标定。然后，沿垂直显示屏的方向平移显示屏，计算像素点记录的光线方程。最终，光场相机记录的所有光线都可以分别标定并用直线方程描述。然后可以应用校准的系统用于三维测量。

因此光线方程的计算方法可包括：使用条纹分析技术将显示屏幕平面上公制的X坐标和Y坐标信息将相位信息，并获取每个平面的公制的Z坐标信息；沿垂直显示屏的方向平移显示屏，显示屏的像素点的X坐标、Y坐标、Z坐标计算像素点记录的光线方程。

在一个实施例中，步骤S1051，获取与匹配点相对应的预先标定的光线方程包括：

计算匹配点附近的光线方程的插值，得到匹配点相对应的光线方程。

由于在进行标定时，光线是基于像素级标定的，查找的匹配点是亚像素级坐标，我们需要得到亚像素级的光线方程，因此需要通过亚像素级匹配点的附近的光线方程插值得到该匹配点的亚像素级的光线方程。

在一个实施例中，在对被测对象进行采样时，通过采集被测对象的各个像素点来采集被测对象的子视图，其中，在对被测对象进行采样时，每个像素点的采集方法包括：

使用角度平面和空间平面分别记录同一点、不同方向光线的角度平面坐标和空间平面坐标。

在本实施例中，空间点可以通过2D图像传感器中的4D光场来记录。具体来说，在光场相机系统中对对焦的物点进行成像时，从物点发出的光线通过不同的子孔径到达图像传感器平面(即4D光场光可以收集来自同一点的不同方向的光线)。子孔径平面和传感器平面分别表示为角度平面(s,t)和空间平面(u,v)。

请参阅图5，本发明实施例还提供一种同轴照明光场的三维成像系统，包括：采样模块1、相位采集模块2、建图模块3、匹配点计算模块4、坐标计算模块5及三维成像模块6。

采样模块1用于利用光场相机对被测对象多次采样，得到多张子视图，光场相机至少包括具有相同光轴的相机传感器、微透镜阵列和主透镜；相位采集模块2用于对各子视图的相位进行均匀采样，得到各子视图的采样相位；建图模块3用于获取各子视图采样相位的相交相位，并利用所有的相交相位建立相交相位参考图；匹配点计算模块4用于计算所有子视图采样相位与相交相位参考图的匹配点；坐标计算模块5用于使用各匹配点的射线方程计算匹配点对应的三维坐标；三维成像模块6用于使用各子视图所有的三维坐标进行三维成像。

本实施例的同轴照明光场的三维成像系统，能够同时使用所有子视图的匹配点，从而使得得到的匹配点，更加准确；并且不会出现遮挡和阴影问题，使得后续根据三维坐标点计算点云数据时，得到的点云数据较为完整。

在一个实施例中，相位采集模块2包括：绝对相位图获取单元及采样单元；绝对相位图获取单元，用于获取预设的绝对相位图，绝对相位图包含了被测对象的在三维光场中的相位分布范围；采样单元，用于根据预设的采样率，在相位分布范围内，从各子视图进行均匀采样，得到各子视图的采样相位。

在一个实施例中，坐标计算模块5包括：光线方程获取单元和方程相交单元；光线方程获取单元，用于获取与匹配点相对应的预先标定的光线方程；方程相交单元，用于将多个匹配点的光线方程相交，得到三维坐标。

在一个实施例中，光线方程获取单元具体用于计算匹配点附近的光线方程的插值，得到匹配点相对应的光线方程。

在一个实施例中，采样模块1至少包括：坐标记录单元，用于使用角度平面和空间平面分别记录同一点、不同方向光线的角度平面坐标和空间平面坐标。

在一个实施例中，同轴照明光场的三维成像系统还包括：标定模块，用于在利用采样模块1进行采样之前，对光场相机进行系统标定，以校准光场相机的测量精度。

在一个实施例中，标定模块包括：平移单元、光线方程计算单元和标定单元；平移单元用于控制显示屏沿垂直显示屏的方向平移；光线方程计算单元用于计算每次平移时，显示屏的像素点记录的光线方程；标定单元用于将光场相机感应的所有光线分别标定，并用光线方程描述。

本申请实施例提供一种电子装置，请参阅图6，该电子装置包括：存储器601、处理器602及存储在存储器601上并可在处理器602上运行的计算机程序，处理器602执行该计算机程序时，实现前述中描述的同轴照明光场的三维成像方法。

进一步的，该电子装置还包括：至少一个输入设备603以及至少一个输出设备604。

上述存储器601、处理器602、输入设备603以及输出设备604，通过总线605连接。

其中，输入设备603具体可为摄像头、触控面板、物理按键或者鼠标等等。输出设备604具体可为显示屏。

存储器601可以是高速随机存取记忆体(RAM，Random Access Memory)存储器，也可为非不稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器601用于存储一组可执行程序代码，处理器602与存储器601耦合。

进一步的，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质可以是设置于上述各实施例中的电子装置中，该计算机可读存储介质可以是前述中的存储器601。该计算机可读存储介质上存储有计算机程序，该程序被处理器602执行时实现前述实施例中描述的同轴照明光场的三维成像方法。

进一步的，该计算机可存储介质还可以是U盘、移动硬盘、只读存储器601(ROM，Read-Only Memory)、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本发明所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。

以上为对本发明所提供的一种同轴照明光场的三维成像方法、系统、电子装置及存储介质的描述，对于本领域的技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种同轴照明光场的三维成像方法，其特征在于，包括：

利用所述光场相机对被测对象多次采样，得到多张子视图，所述光场相机至少包括具有相同光轴的相机传感器、微透镜阵列和主透镜；

对各子视图的相位进行均匀采样，得到各子视图的采样相位；

获取各子视图采样相位的相交相位，并利用所有的所述相交相位建立相交相位参考图；

计算所有子视图采样相位与所述相交相位参考图的匹配点；

使用各匹配点的射线方程计算所述匹配点对应的三维坐标；

使用各子视图所有的所述三维坐标进行三维成像。

2.根据权利要求1所述的同轴照明光场的三维成像方法，其特征在于，

所述对各子视图的相位进行均匀采样，得到各子视图的采样相位，包括：

获取预设的绝对相位图，所述绝对相位图包含了被测对象的在三维光场中的相位分布范围；

根据预设的采样率，在所述相位分布范围内，从各子视图进行均匀采样，得到各子视图的采样相位。

3.根据权利要求1所述的同轴照明光场的三维成像方法，其特征在于，

所述使用各匹配点的射线方程计算所述匹配点对应的三维坐标包括：

获取与所述匹配点相对应的预先标定的光线方程；

将多个匹配点的光线方程相交，得到三维坐标。

4.根据权利要求3所述的同轴照明光场的三维成像方法，其特征在于，

所述获取与所述匹配点相对应的预先标定的光线方程包括：

计算所述匹配点附近的光线方程的插值，得到所述匹配点相对应的光线方程。

5.根据权利要求1所述的同轴照明光场的三维成像方法，其特征在于，

在对被测对象进行采样时，通过采集被测对象的各个像素点来采集被测对象的子视图，其中，在对被测对象进行采样时，每个像素点的采集方法包括：

使用角度平面和空间平面分别记录同一点、不同方向光线的角度平面坐标和空间平面坐标。

6.根据权利要求1所述的同轴照明光场的三维成像方法，其特征在于，

在所述利用所述光场相机对被测对象多次采样之前，所述方法还包括：

对光场相机进行系统标定，以校准光场相机的测量精度。

7.根据权利要求6所述的同轴照明光场的三维成像方法，其特征在于，

所述对光场相机进行系统标定包括：

控制显示屏沿垂直显示屏的方向平移；

计算每次平移时，显示屏的像素点记录的光线方程；

将光场相机感应的所有光线分别标定，并用所述光线方程描述。

8.一种同轴照明光场的三维成像系统，其特征在于，包括：

采样模块，用于利用所述光场相机对被测对象多次采样，得到多张子视图，所述光场相机至少包括具有相同光轴的相机传感器、微透镜阵列和主透镜；

相位采集模块，用于对各子视图的相位进行均匀采样，得到各子视图的采样相位；

建图模块，用于获取各子视图采样相位的相交相位，并利用所有的所述相交相位建立相交相位参考图；

匹配点计算模块，用于计算所有子视图采样相位与所述相交相位参考图的匹配点；

坐标计算模块，用于使用各匹配点的射线方程计算所述匹配点对应的三维坐标；

三维成像模块，用于使用各子视图所有的所述三维坐标进行三维成像。

9.一种电子装置，包括：存储器、处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现权利要求1至7中的任意一项所述方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现权利要求1至7中的任意一项所述方法。

Images