CN111768486A - 基于旋转折射片的单目摄像机三维重建方法、系统 - Google Patents

基于旋转折射片的单目摄像机三维重建方法、系统 Download PDF

Info

Publication number
CN111768486A
CN111768486A CN202010634231.3A CN202010634231A CN111768486A CN 111768486 A CN111768486 A CN 111768486A CN 202010634231 A CN202010634231 A CN 202010634231A CN 111768486 A CN111768486 A CN 111768486A
Authority
CN
China
Prior art keywords
refraction
refraction sheet
sheet
monocular camera
dimensional reconstruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010634231.3A
Other languages
English (en)
Other versions
CN111768486B (zh
Inventor
张文生
王波
胡占义
董秋雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN202010634231.3A priority Critical patent/CN111768486B/zh
Publication of CN111768486A publication Critical patent/CN111768486A/zh
Application granted granted Critical
Publication of CN111768486B publication Critical patent/CN111768486B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提出了一种基于旋转折射片的单目摄像机三维重建方法，该方法基于单目相机和折射片构成的图像采集装置，在折射片不同旋转角下进行多角度目标物的图像采集，对各图像进行特征点匹配，计算各图像特征点匹配对之间的单应变换关系，通过矩阵分解计算所述折射片的旋转轴
Figure DDA0002567342150000013
的初值、各旋转角度下折射片法线方向
Figure DDA0002567342150000011
的初值；基于折射片的折射率η和厚度h以及
Figure DDA0002567342150000012
通过非共光心射线三角化对场景进行三维重建，得到三维重建初始结果；进一步通过优化旋转共轴约束下的非共光心三角化目标函数，获得三维重建最终结果。本发明提高了基于单目相机的三维重建结果的精准度。

Description

基于旋转折射片的单目摄像机三维重建方法、系统
技术领域
本发明属于视觉三维重建领域，具体涉及一种基于旋转折射片的单目摄像机三维重建方法、系统。
背景技术
三维重建是指将三维空间的物体或场景进行恢复和重构的技术，常采用的方法是，是对三维空间中的被重建对象的二维投影图像进行描述或重构的逆过程，由二维图像还原成含有三维信息的物体或场景。
传统的视觉三维重建需要多个相机或单个/多个相机运动，利用多视几何的方法对场景进行三维重建。多相机系统是目前较为常用的方式，但是由于采用多个相机，成本较高；单相机系统，需要相机与场景的相对运动进行多角度图像的采集，操作较为复杂。
发明内容
为了解决现有技术中的上述问题，即为了解决基于单目相机定位进行三维重建的便捷性和精确度的问题，本发明的第一方面，提出了一种基于旋转折射片的单目摄像机三维重建方法，基于图像采集装置进行图像采集，所述图像采集装置包括单目相机、折射装置；所述折射装置包括定轴旋转机构和该机构上固设的折射片；所述折射片设置于所述单目相机的镜头前方；
包括以下步骤：
步骤S100，标定所述折射片的折射率η和厚度h；
步骤S200，旋转所述折射片，通过所述单目相机拍摄目标物经过所述折射片折射后的图像，作为采集图像；获得所述折射片多个旋转角度下的采集图像，构建采集图像集；
步骤S300，对各采集图像进行特征点匹配，计算各采集图像特征点匹配对之间的单应变换关系，通过矩阵分解计算所述折射片的旋转轴
Figure BDA0002567342130000021
的初值、各旋转角度下折射片法线方向
Figure BDA0002567342130000022
的初值；
步骤S400，基于η、h、
Figure BDA0002567342130000023
通过非共光心射线三角化对场景进行三维重建，得到三维重建初始结果；
步骤S500，基于
Figure BDA0002567342130000024
三维重建初始结果，通过优化旋转共轴约束下的非共光心三角化目标函数，计算求得多角度折射成像下的单目场景三维重建最终结果。
在一些优选实施方式中，步骤S100中“标定所述折射片的折射率η和厚度h”，其方法为：
基于h、η、
Figure BDA0002567342130000025
Rcw、tcw，最小化目标函数E，获取h、η的最终值；
Figure BDA0002567342130000026
Figure BDA0002567342130000027
Figure BDA0002567342130000031
其中，Rcw标定板在摄像机坐标系下的旋转矩阵；tcw标定板在这相机坐标系下的平移向量；Pwi为标定板上的N个角点的标定板坐标，
其经过折射后成像为pi；
Figure BDA0002567342130000032
为pi对应的射线方向的单位向量，
Figure BDA0002567342130000033
η为折射片的折射率；
Figure BDA0002567342130000034
为折射片的法线方向在摄像机坐标系下的指向的单位向量，
Figure BDA0002567342130000035
在一些优选实施方式中，在最小化目标函数E时，通过测量的方法获得h、η、
Figure BDA0002567342130000036
的初值，利用Pwi和pi求解PnP问题获得Rcw和tcw的初值。
在一些优选实施方式中，步骤S300中“对各采集图像进行特征点匹配”，其方法为：对各采集图像提取SIFT特征点，通过描述子进行特征点匹配。
在一些优选实施方式中，步骤S300中“算各采集图像特征点匹配对之间的单应变换关系”，其方法为：
将折射片各个旋转角度下成像关系作为纯旋转关系，第A个和第B个采集图像中匹配点pAi、pBi的单应变换公式为，
pAi＝HABpBi
通过RANSAC方法鲁棒的求解得到pAi和pBi的单应变换关系HAB。
在一些优选实施方式中，所述旋转轴
Figure BDA0002567342130000041
的初值，其获取方法为：
基于单应变换关系HAB，利用所述单目相机的内参数矩阵K，计算第A幅和第B幅采集图像的近似旋转矩阵RAB；
对RAB进行轴角表示，得到所述旋转轴
Figure BDA0002567342130000042
的初值。
在一些优选实施方式中，所述各旋转角度下折射片法线方向
Figure BDA0002567342130000043
的初值，其获取方法为：
以第一幅采集图像的法线方向为y轴方向，通过R1j计算得到各旋转角度下折射片法线方向
Figure BDA0002567342130000044
的初值，其中R1j为第一幅和第j幅采集图像的近似旋转矩阵。
在一些优选实施方式中，所述三维重建初始结果由各空间点的三维坐标Pdi的初值构成，所述三维坐标Pdi的初值的获取方法为：
最小化目标函数
Figure BDA0002567342130000045
其中，
Figure BDA0002567342130000046
表示点Pdi到直线
Figure BDA0002567342130000047
的距离，而line(O′ij,Dij)表示过点O′ij方向为
Figure BDA0002567342130000048
的直线，
Figure BDA0002567342130000049
为pij对应的射线方向的单位向量，pij为第j幅采集图像上的第i个点，O′ij为第j幅采集图像上的第i个点的虚拟光心。
在一些优选实施方式中，所述精确三维重建结果由各空间点的三维坐标Pdi的精确值构成，所述三维坐标Pdi的精确值的获取方法为：
基于各空间点的三维坐标Pdi的初值，采用带共旋转轴约束的非共光心射线三角化目标函数
Figure BDA0002567342130000051
通过Levenburg-Marquadt方法迭代求解最小化目标函数的参数Pdi、
Figure BDA0002567342130000052
a，获得三维坐标Pdi的精确值；
其中，a的初值为
Figure BDA0002567342130000053
在
Figure BDA0002567342130000054
上的投影长度。
本发明的第二方面，提出了一种基于旋转折射片的单目摄像机三维重建系统，包括图像采集装置、三维重建装置；
所述图像采集装置包括单目相机、折射装置；所述折射装置包括定轴旋转机构和该机构上固设的折射片；所述折射片设置于所述单目相机的镜头前方；
所述重建装置包括第一模块、第二模块、第三模块、第四模块、第四模块；
所述第一模块，配置为述折射片的折射率η和厚度h；
所述第二模块，配置为旋转所述折射片，通过所述单目相机拍摄目标物经过所述折射片折射后的图像，作为采集图像；获得所述折射片多个旋转角度下的采集图像，构建采集图像集；
所述第三模块，配置为对各采集图像进行特征点匹配，计算各采集图像特征点匹配对之间的单应变换关系，通过矩阵分解计算所述折射片的旋转轴
Figure BDA0002567342130000055
的初值、各旋转角度下折射片法线方向
Figure BDA0002567342130000056
的初值；
所述第四模块，配置为基于η、h、
Figure BDA0002567342130000057
通过非共光心射线三角化对场景进行三维重建，得到三维重建初始结果；
所述第五模块，配置为基于
Figure BDA0002567342130000061
三维重建初始结果，通过优化旋转共轴约束下的非共光心三角化目标函数，计算求得多角度折射成像下的单目场景三维重建最终结果。
本发明的第三方面，提出了一种图像采集装置，所述图像采集装置包括单目相机、折射装置；
所述折射装置包括定轴旋转机构和该机构上固设的折射片；
所述折射片设置于所述单目相机的镜头前方；
在工作状态下，可以通过所述定轴旋转机构带动折射片转动，所述单目相机可以拍摄目标物经过所述折射片折射后的图像。
本发明的有益效果：
本发明通过可旋转的折射片与单目相机的组合，不需要移动单目相机，即可获取不同折射片旋转角度下折射后的图像，操作更加方便，且图像采集过程中目标物及摄像机都保持位置不变，采集多角度图像为三维重建的精确度提供了基础；同时，基于本发明的三维重建方法，获取了精准的三维重建结果。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本发明一种实施例的基于旋转折射片的单目摄像机三维重建方法的示意图；
图2为本发明一种实施例中单目摄像机与折射片放置示意图；
图3为本发明一种实施例中折射片折射率与厚度标定方法实物放置示意图；
图4为本发明一种实施例中折射片折射率与厚度标定方法光路示意图；
图5为本发明一种实施例中利用旋转折射片构成的非共光心多视几何约束示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
本发明的一种基于旋转折射片的单目摄像机三维重建方法，基于图像采集装置进行图像采集，所述图像采集装置包括单目相机、折射装置；所述折射装置包括定轴旋转机构和该机构上固设的折射片；所述折射片设置于所述单目相机的镜头前方；
包括以下步骤：
步骤S100，标定所述折射片的折射率η和厚度h；
步骤S200，旋转所述折射片，通过所述单目相机拍摄目标物经过所述折射片折射后的图像，作为采集图像；获得所述折射片多个旋转角度下的采集图像，构建采集图像集；
步骤S300，对各采集图像进行特征点匹配，计算各采集图像特征点匹配对之间的单应变换关系，通过矩阵分解计算所述折射片的旋转轴
Figure BDA0002567342130000081
的初值、各旋转角度下折射片法线方向
Figure BDA0002567342130000082
的初值：
步骤S400，基于η、h、
Figure BDA0002567342130000083
通过非共光心射线三角化对场景进行三维重建，得到三维重建初始结果；
步骤S500，基于
Figure BDA0002567342130000084
三维重建初始结果，通过优化旋转共轴约束下的非共光心三角化目标函数，计算求得多角度折射成像下的单目场景三维重建最终结果。
为了更清晰地对本发明基于旋转折射片的单目摄像机三维重建方法进行说明，下面结合附图1-附图5对本方发明方法一种实施例中各步骤进行展开详述。
在对本发明方法介绍之前，先对本发明方法依托的图像采集装置进行说明。
本发明一种实施例中的图像采集装置，如图2所示，包括单目相机、折射装置；所述折射装置包括定轴旋转机构和该机构上固设的折射片；所述折射片设置于所述单目相机的镜头前方；在工作状态下，可以通过所述定轴旋转机构带动折射片转动，所述单目相机可以拍摄目标物经过所述折射片折射后的图像。
本实施例中折射片只要放置于单目相机的镜头前，保证预设旋转角度范围内，均可通过折射片采集到目标物即可，无需进行苛刻的位置关系限定。定轴旋转机构可以为绕固定轴旋转的旋转平台，折射片固设于该转台，可以跟随转台的转动而转动，从而改变与单目相机摄像头的相对位置关系。折射片可以为玻璃折射片，当然也可以为其他材质的折射片。单目摄像机在放置前首先标定摄像机内参数K。
本发明一种实施例的基于旋转折射片的单目摄像机三维重建方法，如图1所示，包括步骤S100-S500。
步骤S100，标定所述折射片的折射率η和厚度h。
将一个标定板放置于折射片前，并保持折射片旋转角度固定，拍摄标定板图像，如图3所示。标定板图像经过折射后在摄像机传感器上成像，标定板成像光路示意图如图4所示(图4中θ1、θ2分别为入射角、折射角)。摄像机的光心为O，在镜头前放置的折射片厚度为h，折射率为η。折射片的法线方向，在摄像机坐标系下的指向为单位向量：
Figure BDA0002567342130000091
已知标定板上的N个角点的标定板坐标为：Pwi，i＝1...N，其经过折射后成像的点为：pi。pi对应的射线方向为：
Figure BDA0002567342130000092
由折射定律可知：Pwi对应的虚拟光心Oi'到O的距离为：
Figure BDA0002567342130000093
而标定板角点的标定板坐标Pwi与摄像机坐标Pci之间的关系为：
Pci＝RcwPwi+tcw
利用
Figure BDA0002567342130000094
与
Figure BDA0002567342130000095
的方向相同这一性质，可以得到约束的方程：
Figure BDA0002567342130000096
其中：
Figure BDA0002567342130000101
Figure BDA0002567342130000102
其中，Rcw标定板在摄像机坐标系下的旋转矩阵；tcw标定板在这相机坐标系下的平移向量。
基于h、η、
Figure BDA0002567342130000103
Rcw、tcw，最小化目标函数E的方法，获取h、η的最终值。在最小化目标函数E时，h、η、
Figure BDA0002567342130000104
的初值通过测量的方法获得，由于为初值因此这些测量值并不需要准确，只需粗糙的测量既可；标定板位姿Rcw和tcw的初值则直接利用Pwi和pi求解PnP问题获得。
步骤S200，旋转所述折射片，通过所述单目相机拍摄目标物经过所述折射片折射后的图像，作为采集图像；获得所述折射片多个旋转角度下的采集图像，构建采集图像集。
通过旋转平台带动折射片旋转，再多个旋转角度，通过单目相机拍摄目标物经过折射片折射后的图像。
步骤S300，对各采集图像进行特征点匹配，计算各采集图像特征点匹配对之间的单应变换关系，通过矩阵分解计算所述折射片的旋转轴
Figure BDA0002567342130000111
的初值、各旋转角度下折射片法线方向
Figure BDA0002567342130000112
的初值。
图5示出了利用旋转折射片构成的非共光心对极几何约束示意图，由图5可知，通过折射片旋转后成像图像产生了类似于共光心多视几何中的旋转和平移的效果，且平移与旋转的关系由各点虚拟光心O′ij与各旋转角度下折射片法线方向
Figure BDA0002567342130000113
的关系决定，j＝1..M,(假定在M个折射片旋转角度下拍摄采样)。因此，本发明中首先确定旋转初值，进而求得平移初值。
对各采集图像提取SIFT特征点，通过描述子进行特征点匹配。
将折射片各个旋转角度下成像关系作为纯旋转关系，第A个和第B个采集图像中匹配点pAi、pBi的单应变换公式为，
pAi＝HABpBi
通过RANSAC方法鲁棒的求解得到pAi和pBi的单应变换关系HAB。
旋转轴
Figure BDA0002567342130000114
的初值，其获取方法为：
基于单应变换关系HAB，利用所述单目相机的内参数矩阵K，计算第A幅和第B幅采集图像的近似旋转矩阵RAB；
对RAB进行轴角表示，得到旋转轴
Figure BDA0002567342130000115
的初值。
旋转轴
Figure BDA0002567342130000116
的初值可以基于任意两个采集图像获取即可，无需每两个采集图像分别计算一次。只为了后续进行目标函数的优化时提供一个初值，提高优化速度。
各旋转角度下折射片法线方向
Figure BDA0002567342130000117
的初值，其获取方法为：
以第一幅采集图像的法线方向为y轴方向，通过R1j计算得到各旋转角度下折射片法线方向
Figure BDA0002567342130000121
的初值，其中R1j为第一幅和第j幅采集图像的近似旋转矩阵。当然，也可以选择其他幅图像的法线方向为y轴方向进行上述计算。
步骤S400，基于η、h、
Figure BDA0002567342130000122
通过非共光心射线三角化对场景进行三维重建，得到三维重建初始结果。
利用由步骤S100中标定求得的h、η；由步骤S300中求得的各个旋转角度下折射片法线方向
Figure BDA0002567342130000123
的初值和旋转轴方向
Figure BDA0002567342130000124
的初值；由单目相机内参数K可得到各幅图像上各点pj的射线方向
Figure BDA0002567342130000125
其中i＝1...N表示各采集图像对应点，j＝1...M表示各幅采集图像，通过各图像匹配点的虚拟光心O′ij到光心O的距离ΔOij与各旋转角度下法线方向
Figure BDA0002567342130000126
的关系：
Figure BDA0002567342130000127
”
求得O′ij。在求得O′ij后，通过最小化目标函数：
Figure BDA0002567342130000128
求解目标物被拍照部分各空间点的三维坐标Pdi的初值。其中：
Figure BDA0002567342130000129
表示点Pdi到直线
Figure BDA00025673421300001210
的距离，而line(O′ij,Dij)表示过点O′ij方向为
Figure BDA00025673421300001211
的直线，
Figure BDA00025673421300001212
为pij对应的射线方向的单位向量，pij为第j幅采集图像上的第i个点，O′ij为第j幅采集图像上的第i个点的虚拟光心。
图5中，
Figure BDA0002567342130000131
为第一幅采集图像、第二幅采集图像对应旋转角度下折射片法线方向的初值，
步骤S500，基于
Figure BDA0002567342130000132
三维重建初始结果，通过优化旋转共轴约束下的非共光心三角化目标函数，计算求得多角度折射成像下的单目场景三维重建最终结果。
基于步骤S300求得的
Figure BDA0002567342130000133
可以求得
Figure BDA0002567342130000134
在
Figure BDA0002567342130000135
上的投影长度a(各
Figure BDA0002567342130000136
在
Figure BDA0002567342130000137
上的投影长度一致，因此只用求任一旋转角度下折射片法线方向向量在
Figure BDA0002567342130000138
上的投影长度即可)。结合步骤S400求得的目标物被拍照部分各空间点的三维坐标Pdi的初值，通过优化如下的带共旋转轴约束的非共光心射线三角化目标函数：
Figure BDA0002567342130000139
其中，β为预设权值，优选0.1～0.2之间的数值。
通过Levenburg-Marquadt(列文博格-马夸尔特)方法迭代求解最小化目标函数的参数Pdi、
Figure BDA00025673421300001310
a，获得三维坐标Pdi的精确值。所有三维坐标Pdi的精确值的集合即为目标物三维重建最终结果。
基于本发明上述实施例的方法，可以对目标物被图像采集的部分进行三维重建，如果目标物涉及多个重建部位，目标物较小的时候，可以将目标物设置于一个旋转平台上，分别通过上述方法对各重建部位进行三维重建，并合并，得到整体的三维重建结果；也可以通过其他方式分别对目标物/场景进行多个重建部位的三维重建，从而得到整体的三维重建结果。
本发明第二实施例的一种基于旋转折射片的单目摄像机三维重建系统，包括图像采集装置、三维重建装置；
所述图像采集装置包括单目相机、折射装置；所述折射装置包括定轴旋转机构和该机构上固设的折射片；所述折射片设置于所述单目相机的镜头前方；
所述重建装置包括第一模块、第二模块、第三模块、第四模块、第四模块；
所述第一模块，配置为述折射片的折射率η和厚度h；
所述第二模块，配置为旋转所述折射片，通过所述单目相机拍摄目标物经过所述折射片折射后的图像，作为采集图像；获得所述折射片多个旋转角度下的采集图像，构建采集图像集；
所述第三模块，配置为对各采集图像进行特征点匹配，计算各采集图像特征点匹配对之间的单应变换关系，通过矩阵分解计算所述折射片的旋转轴
Figure BDA0002567342130000141
的初值、各旋转角度下折射片法线方向
Figure BDA0002567342130000142
的初值：
所述第四模块，配置为基于η、h、
Figure BDA0002567342130000143
通过非共光心射线三角化对场景进行三维重建，得到三维重建初始结果；
所述第五模块，配置为基于
Figure BDA0002567342130000144
三维重建初始结果，通过优化旋转共轴约束下的非共光心三角化目标函数，计算求得多角度折射成像下的单目场景三维重建最终结果。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的基于旋转折射片的单目摄像机三维重建系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
本发明第三实施例的一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于旋转折射片的单目摄像机三维重建方法。
本发明第四实施例的一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于旋转折射片的单目摄像机三维重建方法。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。在该计算机程序被中央处理单元(CPU)执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (11)

1.一种基于旋转折射片的单目摄像机三维重建方法，其特征在于，基于图像采集装置进行图像采集，所述图像采集装置包括单目相机、折射装置；所述折射装置包括定轴旋转机构和该机构上固设的折射片；所述折射片设置于所述单目相机的镜头前方；
包括以下步骤：
步骤S100，标定所述折射片的折射率η和厚度h；
步骤S200，旋转所述折射片，通过所述单目相机拍摄目标物经过所述折射片折射后的图像，作为采集图像；获得所述折射片多个旋转角度下的采集图像，构建采集图像集；
步骤S300，对各采集图像进行特征点匹配，计算各采集图像特征点匹配对之间的单应变换关系，通过矩阵分解计算所述折射片的旋转轴
Figure FDA0002567342120000011
的初值、各旋转角度下折射片法线方向
Figure FDA0002567342120000012
的初值；
步骤S400，基于η、h、
Figure FDA0002567342120000013
通过非共光心射线三角化对场景进行三维重建，得到三维重建初始结果；
步骤S500，基于
Figure FDA0002567342120000014
三维重建初始结果，通过优化旋转共轴约束下的非共光心三角化目标函数，计算求得多角度折射成像下的单目场景三维重建最终结果。
2.根据权利要求1所述的基于旋转折射片的单目摄像机三维重建方法，其特征在于，步骤S100中“标定所述折射片的折射率η和厚度h”，其方法为：
基于h、η、
Figure FDA0002567342120000015
Rcw、tcw，最小化目标函数E，获取h、η的最终值；
Figure FDA0002567342120000021
Figure FDA0002567342120000022
Figure FDA0002567342120000023
其中，Rcw标定板在摄像机坐标系下的旋转矩阵；tcw标定板在这相机坐标系下的平移向量；Pwi为标定板上的N个角点的标定板坐标，其经过折射后成像为pi；
Figure FDA0002567342120000024
为pi对应的射线方向的单位向量，
Figure FDA0002567342120000025
η为折射片的折射率；
Figure FDA0002567342120000026
为折射片的法线方向在摄像机坐标系下的指向的单位向量，
Figure FDA0002567342120000027
3.根据权利要求2所述的基于旋转折射片的单目摄像机三维重建方法，其特征在于，在最小化目标函数E时，通过测量的方法获得h、η、
Figure FDA0002567342120000028
的初值，利用Pwi和pi求解PnP问题获得Rcw和tcw的初值。
4.根据权利要求1所述的基于旋转折射片的单目摄像机三维重建方法，其特征在于，步骤S300中“对各采集图像进行特征点匹配”，其方法为：对各采集图像提取SIFT特征点，通过描述子进行特征点匹配。
5.根据权利要求4所述的基于旋转折射片的单目摄像机三维重建方法，其特征在于，步骤S300中“算各采集图像特征点匹配对之间的单应变换关系”，其方法为：
将折射片各个旋转角度下成像关系作为纯旋转关系，第A个和第B个采集图像中匹配点pAi、pBi的单应变换公式为，
pAi＝HABpBi
通过RANSAC方法鲁棒的求解得到pAi和pBi的单应变换关系HAB。
6.根据权利要求5所述的基于旋转折射片的单目摄像机三维重建方法，其特征在于，所述旋转轴
Figure FDA0002567342120000031
的初值，其获取方法为：
基于单应变换关系HAB，利用所述单目相机的内参数矩阵K，计算第A幅和第B幅采集图像的近似旋转矩阵RAB；
对RAB进行轴角表示，得到所述旋转轴
Figure FDA0002567342120000032
的初值。
7.根据权利要求6所述的基于旋转折射片的单目摄像机三维重建方法，其特征在于，所述各旋转角度下折射片法线方向
Figure FDA0002567342120000033
的初值，其获取方法为：
以第一幅采集图像的法线方向为y轴方向，通过R1j计算得到各旋转角度下折射片法线方向
Figure FDA0002567342120000034
的初值，其中R1j为第一幅和第j幅采集图像的近似旋转矩阵。
8.根据权利要求1所述的基于旋转折射片的单目摄像机三维重建方法，其特征在于，所述三维重建初始结果由各空间点的三维坐标Pdi的初值构成，所述三维坐标Pdi的初值的获取方法为：
最小化目标函数
Figure FDA0002567342120000041
其中，
Figure FDA0002567342120000042
表示点Pdi到直线
Figure FDA0002567342120000043
的距离，而line(O′ij,Dij)表示过点O′ij方向为
Figure FDA0002567342120000044
的直线，
Figure FDA0002567342120000045
为pij对应的射线方向的单位向量，pij为第j幅采集图像上的第i个点，O′ij为第j幅采集图像上的第i个点的虚拟光心。
9.根据权利要求8所述的基于旋转折射片的单目摄像机三维重建方法，其特征在于，所述精确三维重建结果由各空间点的三维坐标Pdi的精确值构成，所述三维坐标Pdi的精确值的获取方法为：
基于各空间点的三维坐标Pdi的初值，采用带共旋转轴约束的非共光心射线三角化目标函数
Figure FDA0002567342120000046
通过Levenburg-Marquadt方法迭代求解最小化目标函数的参数Pdi、
Figure FDA0002567342120000047
a，获得三维坐标Pdi的精确值；
其中，a的初值为
Figure FDA0002567342120000048
在
Figure FDA0002567342120000049
上的投影长度。
10.一种基于旋转折射片的单目摄像机三维重建系统，其特征在于，包括图像采集装置、三维重建装置；
所述图像采集装置包括单目相机、折射装置；所述折射装置包括定轴旋转机构和该机构上固设的折射片；所述折射片设置于所述单目相机的镜头前方；
所述重建装置包括第一模块、第二模块、第三模块、第四模块、第四模块；
所述第一模块，配置为述折射片的折射率η和厚度h；
所述第二模块，配置为旋转所述折射片，通过所述单目相机拍摄目标物经过所述折射片折射后的图像，作为采集图像；获得所述折射片多个旋转角度下的采集图像，构建采集图像集；
所述第三模块，配置为对各采集图像进行特征点匹配，计算各采集图像特征点匹配对之间的单应变换关系，通过矩阵分解计算所述折射片的旋转轴
Figure FDA0002567342120000051
的初值、各旋转角度下折射片法线方向
Figure FDA0002567342120000052
的初值；
所述第四模块，配置为基于η、h、
Figure FDA0002567342120000053
通过非共光心射线三角化对场景进行三维重建，得到三维重建初始结果；
所述第五模块，配置为基于
Figure FDA0002567342120000054
三维重建初始结果，通过优化旋转共轴约束下的非共光心三角化目标函数，计算求得多角度折射成像下的单目场景三维重建最终结果。
11.一种图像采集装置，其特征在于，所述图像采集装置包括单目相机、折射装置；
所述折射装置包括定轴旋转机构和该机构上固设的折射片；
所述折射片设置于所述单目相机的镜头前方；
在工作状态下，可以通过所述定轴旋转机构带动折射片转动，所述单目相机可以拍摄目标物经过所述折射片折射后的图像。
CN202010634231.3A 2020-07-02 2020-07-02 基于旋转折射片的单目摄像机三维重建方法、系统 Active CN111768486B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010634231.3A CN111768486B (zh) 2020-07-02 2020-07-02 基于旋转折射片的单目摄像机三维重建方法、系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010634231.3A CN111768486B (zh) 2020-07-02 2020-07-02 基于旋转折射片的单目摄像机三维重建方法、系统

Publications (2)

Publication Number Publication Date
CN111768486A true CN111768486A (zh) 2020-10-13
CN111768486B CN111768486B (zh) 2023-03-24

Family

ID=72723663

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010634231.3A Active CN111768486B (zh) 2020-07-02 2020-07-02 基于旋转折射片的单目摄像机三维重建方法、系统

Country Status (1)

Country Link
CN (1) CN111768486B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112750203A (zh) * 2021-01-21 2021-05-04 脸萌有限公司 模型重建方法、装置、设备及存储介质
CN112927340A (zh) * 2021-04-06 2021-06-08 中国科学院自动化研究所 一种不依赖于机械摆放的三维重建加速方法、系统及设备
CN113643328A (zh) * 2021-08-31 2021-11-12 北京柏惠维康科技有限公司 标定物的重建方法、装置、电子设备及计算机可读介质
CN116883516A (zh) * 2023-09-07 2023-10-13 西南科技大学 相机参数标定方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102607526A (zh) * 2012-01-03 2012-07-25 西安电子科技大学 双介质下基于双目视觉的目标姿态测量方法
US20170085864A1 (en) * 2015-09-22 2017-03-23 The Governors Of The University Of Alberta Underwater 3d image reconstruction utilizing triple wavelength dispersion and camera system thereof
CN108253939A (zh) * 2017-12-19 2018-07-06 同济大学 可变视轴单目立体视觉测量方法
CN110763152A (zh) * 2019-10-09 2020-02-07 哈尔滨工程大学 一种水下主动旋转结构光三维视觉测量装置及测量方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102607526A (zh) * 2012-01-03 2012-07-25 西安电子科技大学 双介质下基于双目视觉的目标姿态测量方法
US20170085864A1 (en) * 2015-09-22 2017-03-23 The Governors Of The University Of Alberta Underwater 3d image reconstruction utilizing triple wavelength dispersion and camera system thereof
CN108253939A (zh) * 2017-12-19 2018-07-06 同济大学 可变视轴单目立体视觉测量方法
CN110763152A (zh) * 2019-10-09 2020-02-07 哈尔滨工程大学 一种水下主动旋转结构光三维视觉测量装置及测量方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张勇等: "用单数码相机实现物体表面的三维重建", 《计算机工程与设计》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112750203A (zh) * 2021-01-21 2021-05-04 脸萌有限公司 模型重建方法、装置、设备及存储介质
CN112750203B (zh) * 2021-01-21 2023-10-31 脸萌有限公司 模型重建方法、装置、设备及存储介质
CN112927340A (zh) * 2021-04-06 2021-06-08 中国科学院自动化研究所 一种不依赖于机械摆放的三维重建加速方法、系统及设备
CN112927340B (zh) * 2021-04-06 2023-12-01 中国科学院自动化研究所 一种不依赖于机械摆放的三维重建加速方法、系统及设备
CN113643328A (zh) * 2021-08-31 2021-11-12 北京柏惠维康科技有限公司 标定物的重建方法、装置、电子设备及计算机可读介质
CN116883516A (zh) * 2023-09-07 2023-10-13 西南科技大学 相机参数标定方法及装置
CN116883516B (zh) * 2023-09-07 2023-11-24 西南科技大学 相机参数标定方法及装置

Also Published As

Publication number Publication date
CN111768486B (zh) 2023-03-24

Similar Documents

Publication Publication Date Title
CN111768486B (zh) 基于旋转折射片的单目摄像机三维重建方法、系统
CN113379822B (zh) 一种基于采集设备位姿信息获取目标物3d信息的方法
US9965870B2 (en) Camera calibration method using a calibration target
CN111292364B (zh) 一种三维模型构建过程中图像快速匹配的方法
CN113532329B (zh) 一种以投射光斑为标定点的标定方法
CN113327291B (zh) 一种基于连续拍摄对远距离目标物3d建模的标定方法
CN111462304B (zh) 一种用于太空领域的3d采集和尺寸测量方法
CN109919911B (zh) 基于多视角光度立体的移动三维重建方法
WO2021185220A1 (zh) 一种基于坐标测量的三维模型构建及测量方法
CN106530358A (zh) 仅用两幅场景图像标定ptz摄像机的方法
WO2021185216A1 (zh) 一种基于多激光测距的标定方法
CN113034612B (zh) 一种标定装置、方法及深度相机
JP4052382B2 (ja) 非接触画像計測装置
CN110782498B (zh) 一种视觉传感网络的快速通用标定方法
CN107038753B (zh) 立体视觉三维重建系统及方法
CN112312113B (zh) 用于生成三维模型的方法、装置和系统
WO2021185215A1 (zh) 一种在3d建模中多相机共同标定方法
CN111627070B (zh) 一种对旋转轴进行标定的方法、装置和存储介质
CN102881040A (zh) 一种数码相机移动拍摄三维重建方法
Ventura et al. Structure and motion in urban environments using upright panoramas
JP2005275789A (ja) 三次元構造抽出方法
CN113034615B (zh) 一种用于多源数据融合的设备标定方法及相关装置
Cai et al. Near-infrared camera calibration for optical surgical navigation
Chai et al. Epipolar constraint of single-camera mirror binocular stereo vision systems
CN111325780B (zh) 一种基于图像筛选的3d模型快速构建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant