CN111768486B

CN111768486B - 基于旋转折射片的单目摄像机三维重建方法、系统

Info

Publication number: CN111768486B
Application number: CN202010634231.3A
Authority: CN
Inventors: 张文生; 王波; 胡占义; 董秋雷
Original assignee: Institute of Automation of Chinese Academy of Science
Current assignee: Institute of Automation of Chinese Academy of Science
Priority date: 2020-07-02
Filing date: 2020-07-02
Publication date: 2023-03-24
Anticipated expiration: 2040-07-02
Also published as: CN111768486A

Abstract

本发明提出了一种基于旋转折射片的单目摄像机三维重建方法，该方法基于单目相机和折射片构成的图像采集装置，在折射片不同旋转角下进行多角度目标物的图像采集，对各图像进行特征点匹配，计算各图像特征点匹配对之间的单应变换关系，通过矩阵分解计算所述折射片的旋转轴

的初值、各旋转角度下折射片法线方向

的初值；基于折射片的折射率η和厚度h以及

通过非共光心射线三角化对场景进行三维重建，得到三维重建初始结果；进一步通过优化旋转共轴约束下的非共光心三角化目标函数，获得三维重建最终结果。本发明提高了基于单目相机的三维重建结果的精准度。

Description

基于旋转折射片的单目摄像机三维重建方法、系统

技术领域

本发明属于视觉三维重建领域，具体涉及一种基于旋转折射片的单目摄像机三维重建方法、系统。

背景技术

三维重建是指将三维空间的物体或场景进行恢复和重构的技术，常采用的方法是，是对三维空间中的被重建对象的二维投影图像进行描述或重构的逆过程，由二维图像还原成含有三维信息的物体或场景。

传统的视觉三维重建需要多个相机或单个/多个相机运动，利用多视几何的方法对场景进行三维重建。多相机系统是目前较为常用的方式，但是由于采用多个相机，成本较高；单相机系统，需要相机与场景的相对运动进行多角度图像的采集，操作较为复杂。

发明内容

为了解决现有技术中的上述问题，即为了解决基于单目相机定位进行三维重建的便捷性和精确度的问题，本发明的第一方面，提出了一种基于旋转折射片的单目摄像机三维重建方法，基于图像采集装置进行图像采集，所述图像采集装置包括单目相机、折射装置；所述折射装置包括定轴旋转机构和该机构上固设的折射片；所述折射片设置于所述单目相机的镜头前方；

包括以下步骤：

步骤S100，标定所述折射片的折射率η和厚度h；

步骤S200，旋转所述折射片，通过所述单目相机拍摄目标物经过所述折射片折射后的图像，作为采集图像；获得所述折射片多个旋转角度下的采集图像，构建采集图像集；

步骤S300，对各采集图像进行特征点匹配，计算各采集图像特征点匹配对之间的单应变换关系，通过矩阵分解计算所述折射片的旋转轴

的初值、各旋转角度下折射片法线方向

的初值；

步骤S400，基于η、h、

通过非共光心射线三角化对场景进行三维重建，得到三维重建初始结果；

步骤S500，基于

第一重建结果，通过优化旋转共轴约束下的非共光心三角化目标函数，计算求得多角度折射成像下的单目场景三维重建最终结果。

在一些优选实施方式中，步骤S100中“标定所述折射片的折射率η和厚度h”，其方法为：

基于h、η、

R_cw、t_cw，最小化目标函数E，获取h、η的最终值；

其中，R_cw为标定板在摄像机坐标系下的旋转矩阵；t_cw为标定板在这相机坐标系下的平移向量；P_wi为标定板上的N个角点的标定板坐标，其经过折射后成像为p_i；

为p_i对应的射线方向的单位向量，

η为折射片的折射率；

为折射片的法线方向在摄像机坐标系下的指向的单位向量，

在一些优选实施方式中，在最小化目标函数E时，通过测量的方法获得h、η、

的初值，利用P_wi和p_i求解PnP问题获得R_cw和t_cw的初值。

在一些优选实施方式中，步骤S300中“对各采集图像进行特征点匹配”，其方法为：对各采集图像提取SIFT特征点，通过描述子进行特征点匹配。

在一些优选实施方式中，步骤S300中“算各采集图像特征点匹配对之间的单应变换关系”，其方法为：

将折射片各个旋转角度下成像关系作为纯旋转关系，第A个和第B个采集图像中匹配点p_Ai、p_Bi的单应变换公式为，

p_Ai＝H_ABp_Bi

通过RANSAC方法鲁棒的求解得到p_Ai和p_Bi的单应变换关系H_AB。

在一些优选实施方式中，所述旋转轴

的初值，其获取方法为：

基于单应变换关系H_AB，利用所述单目相机的内参数矩阵K，计算第A幅和第B幅采集图像的近似旋转矩阵R_AB；

对R_AB进行轴角表示，得到所述旋转轴

的初值。

在一些优选实施方式中，所述各旋转角度下折射片法线方向

的初值，其获取方法为：

以第一幅采集图像的法线方向为y轴方向，通过R_1j计算得到各旋转角度下折射片法线方向

的初值，其中R_1j为第一幅和第j幅采集图像的近似旋转矩阵。

在一些优选实施方式中，所述三维重建初始结果由各空间点的三维坐标Pd_i的初值构成，所述三维坐标Pd_i的初值的获取方法为：

最小化目标函数

其中，

表示点Pd_i到直线

的距离，而line(O_i'_j,D_ij)表示过点O_i'_j方向为

的直线，

为p_ij对应的射线方向的单位向量，p_ij为第j幅采集图像上的第i个点，O_i'_j为第j幅采集图像上的第i个点的虚拟光心。

在一些优选实施方式中，所述精确三维重建结果由各空间点的三维坐标Pd_i的精确值构成，所述三维坐标Pd_i的精确值的获取方法为：

基于各空间点的三维坐标Pd_i的初值，采用带共旋转轴约束的非共光心射线三角化目标函数

通过Levenburg-Marquadt方法迭代求解最小化目标函数的参数Pc_i、

a，获得三维坐标Pd_i的精确值；

其中，a的初值为

在

上的投影长度。

本发明的第二方面，提出了一种基于旋转折射片的单目摄像机三维重建系统，包括图像采集装置、三维重建装置；

所述图像采集装置包括单目相机、折射装置；所述折射装置包括定轴旋转机构和该机构上固设的折射片；所述折射片设置于所述单目相机的镜头前方；

所述重建装置包括第一模块、第二模块、第三模块、第四模块、第五模块；

所述第一模块，配置为述折射片的折射率η和厚度h；

所述第二模块，配置为旋转所述折射片，通过所述单目相机拍摄目标物经过所述折射片折射后的图像，作为采集图像；获得所述折射片多个旋转角度下的采集图像，构建采集图像集；

所述第三模块，配置为对各采集图像进行特征点匹配，计算各采集图像特征点匹配对之间的单应变换关系，通过矩阵分解计算所述折射片的旋转轴

的初值、各旋转角度下折射片法线方向

的初值；

所述第四模块，配置为基于η、h、

所述第五模块，配置为基于

本发明的第三方面，提出了一种图像采集装置，所述图像采集装置包括单目相机、折射装置；

所述折射装置包括定轴旋转机构和该机构上固设的折射片；

所述折射片设置于所述单目相机的镜头前方；

在工作状态下，可以通过所述定轴旋转机构带动折射片转动，所述单目相机可以拍摄目标物经过所述折射片折射后的图像。

本发明的有益效果：

本发明通过可旋转的折射片与单目相机的组合，不需要移动单目相机，即可获取不同折射片旋转角度下折射后的图像，操作更加方便，且图像采集过程中目标物及摄像机都保持位置不变，采集多角度图像为三维重建的精确度提供了基础；同时，基于本发明的三维重建方法，获取了精准的三维重建结果。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是本发明一种实施例的基于旋转折射片的单目摄像机三维重建方法的示意图；

图2为本发明一种实施例中单目摄像机与折射片放置示意图；

图3为本发明一种实施例中折射片折射率与厚度标定方法实物放置示意图；

图4为本发明一种实施例中折射片折射率与厚度标定方法光路示意图；

图5为本发明一种实施例中利用旋转折射片构成的非共光心多视几何约束示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

本发明的一种基于旋转折射片的单目摄像机三维重建方法，基于图像采集装置进行图像采集，所述图像采集装置包括单目相机、折射装置；所述折射装置包括定轴旋转机构和该机构上固设的折射片；所述折射片设置于所述单目相机的镜头前方；

包括以下步骤：

步骤S100，标定所述折射片的折射率η和厚度h；

的初值、各旋转角度下折射片法线方向

的初值：

步骤S400，基于η、h、

步骤S500，基于

为了更清晰地对本发明基于旋转折射片的单目摄像机三维重建方法进行说明，下面结合附图1-附图5对本方发明方法一种实施例中各步骤进行展开详述。

在对本发明方法介绍之前，先对本发明方法依托的图像采集装置进行说明。

本发明一种实施例中的图像采集装置，如图2所示，包括单目相机、折射装置；所述折射装置包括定轴旋转机构和该机构上固设的折射片；所述折射片设置于所述单目相机的镜头前方；在工作状态下，可以通过所述定轴旋转机构带动折射片转动，所述单目相机可以拍摄目标物经过所述折射片折射后的图像。

本实施例中折射片只要放置于单目相机的镜头前，保证预设旋转角度范围内，均可通过折射片采集到目标物即可，无需进行苛刻的位置关系限定。定轴旋转机构可以为绕固定轴旋转的旋转平台，折射片固设于该转台，可以跟随转台的转动而转动，从而改变与单目相机摄像头的相对位置关系。折射片可以为玻璃折射片，当然也可以为其他材质的折射片。单目摄像机在放置前首先标定摄像机内参数K。

本发明一种实施例的基于旋转折射片的单目摄像机三维重建方法，如图1所示，包括步骤S100-S500。

步骤S100，标定所述折射片的折射率η和厚度h。

将一个标定板放置于折射片前，并保持折射片旋转角度固定，拍摄标定板图像，如图3所示。标定板图像经过折射后在摄像机传感器上成像，标定板成像光路示意图如图4所示(图4中θ₁、θ₂分别为入射角、折射角)。摄像机的光心为O，在镜头前放置的折射片厚度为h，折射率为η。折射片的法线方向，在摄像机坐标系下的指向为单位向量：

已知标定板上的N个角点的标定板坐标为：P_wi，i＝1...N，其经过折射后成像的点为：p_i。p_i对应的射线方向为：

由折射定律可知：P_wi对应的虚拟光心O_i'到O的距离为：

而标定板角点的标定板坐标P_wi与摄像机坐标P_ci之间的关系为：

P_ci＝R_cwP_wi+t_cw

利用

与

的方向相同这一性质，可以得到约束的方程：

其中：

其中，R_cw为标定板在摄像机坐标系下的旋转矩阵；t_cw为标定板在这相机坐标系下的平移向量。

基于h、η、

R_cw、t_cw，最小化目标函数E的方法，获取h、η的最终值。在最小化目标函数E时，h、η、

的初值通过测量的方法获得，由于为初值因此这些测量值并不需要准确，只需粗糙的测量既可；标定板位姿R_cw和t_cw的初值则直接利用P_wi和p_i求解PnP问题获得。

步骤S200，旋转所述折射片，通过所述单目相机拍摄目标物经过所述折射片折射后的图像，作为采集图像；获得所述折射片多个旋转角度下的采集图像，构建采集图像集。

通过旋转平台带动折射片旋转，再多个旋转角度，通过单目相机拍摄目标物经过折射片折射后的图像。

的初值、各旋转角度下折射片法线方向

的初值。

图5示出了利用旋转折射片构成的非共光心对极几何约束示意图，由图5可知，通过折射片旋转后成像图像产生了类似于共光心多视几何中的旋转和平移的效果，且平移与旋转的关系由各点虚拟光心O_i'_j与各旋转角度下折射片法线方向

的关系决定，j＝1..M,(假定在M个折射片旋转角度下拍摄采样)。因此，本发明中首先确定旋转初值，进而求得平移初值。

对各采集图像提取SIFT特征点，通过描述子进行特征点匹配。

p_Ai＝H_ABp_Bi

通过RANSAC方法鲁棒的求解得到p_Ai和p_Bi的单应变换关系H_AB。

旋转轴

的初值，其获取方法为：

对R_AB进行轴角表示，得到旋转轴

的初值。

旋转轴

的初值可以基于任意两个采集图像获取即可，无需每两个采集图像分别计算一次。只为了后续进行目标函数的优化时提供一个初值，提高优化速度。

各旋转角度下折射片法线方向

的初值，其获取方法为：

的初值，其中R_1j为第一幅和第j幅采集图像的近似旋转矩阵。当然，也可以选择其他幅图像的法线方向为y轴方向进行上述计算。

步骤S400，基于η、h、

通过非共光心射线三角化对场景进行三维重建，得到三维重建初始结果。

利用由步骤S100中标定求得的h、η；由步骤S300中求得的各个旋转角度下折射片法线方向

的初值和旋转轴方向

的初值；由单目相机内参数K可得到各幅图像上各点p_j的射线方向

其中i＝1...N表示各采集图像对应点，j＝1...M表示各幅采集图像，通过各图像匹配点的虚拟光心O_i'_j到光心O的距离ΔO_ij与各旋转角度下法线方向

的关系：

求得O_i'_j。在求得O_i'_j后，通过最小化目标函数：

求解目标物被拍照部分各空间点的三维坐标Pd_i的初值。其中：

表示点Pd_i到直线

的距离，而line(O_i'_j,D_ij)表示过点O_i'_j方向为

的直线，

图5中，

为第一幅采集图像、第二幅采集图像对应旋转角度下折射片法线方向的初值，

步骤S500，基于

基于步骤S300求得的

可以求得

在

上的投影长度a(各

在

上的投影长度一致，因此只用求任一旋转角度下折射片法线方向向量在

上的投影长度即可)。结合步骤S400求得的目标物被拍照部分各空间点的三维坐标Pd_i的初值，通过优化如下的带共旋转轴约束的非共光心射线三角化目标函数：

通过Levenburg-Marquadt(列文博格-马夸尔特)方法迭代求解最小化目标函数的参数Pc_i、

a，获得三维坐标Pd_i的精确值。所有三维坐标Pd_i的精确值的集合即为目标物三维重建最终结果。

基于本发明上述实施例的方法，可以对目标物被图像采集的部分进行三维重建，如果目标物涉及多个重建部位，目标物较小的时候，可以将目标物设置于一个旋转平台上，分别通过上述方法对各重建部位进行三维重建，并合并，得到整体的三维重建结果；也可以通过其他方式分别对目标物/场景进行多个重建部位的三维重建，从而得到整体的三维重建结果。

本发明第二实施例的一种基于旋转折射片的单目摄像机三维重建系统，包括图像采集装置、三维重建装置；

所述第一模块，配置为述折射片的折射率η和厚度h；

的初值、各旋转角度下折射片法线方向

的初值：

所述第四模块，配置为基于η、h、

所述第五模块，配置为基于

所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。

需要说明的是，上述实施例提供的基于旋转折射片的单目摄像机三维重建系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。

本发明第三实施例的一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于旋转折射片的单目摄像机三维重建方法。

本发明第四实施例的一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于旋转折射片的单目摄像机三维重建方法。

所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。在该计算机程序被中央处理单元(CPU)执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。

术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。