CN105654549A - 基于结构光技术和光度立体技术的水下三维重建装置及方法 - Google Patents

基于结构光技术和光度立体技术的水下三维重建装置及方法 Download PDF

Info

Publication number
CN105654549A
CN105654549A CN201511029819.1A CN201511029819A CN105654549A CN 105654549 A CN105654549 A CN 105654549A CN 201511029819 A CN201511029819 A CN 201511029819A CN 105654549 A CN105654549 A CN 105654549A
Authority
CN
China
Prior art keywords
laser
underwater
light
dimensional
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201511029819.1A
Other languages
English (en)
Other versions
CN105654549B (zh
Inventor
范浩
董军宇
亓琳
王楠
矫恒超
夏帆
夏一帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ocean University of China
Original Assignee
Ocean University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ocean University of China filed Critical Ocean University of China
Priority to CN201511029819.1A priority Critical patent/CN105654549B/zh
Publication of CN105654549A publication Critical patent/CN105654549A/zh
Application granted granted Critical
Publication of CN105654549B publication Critical patent/CN105654549B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00Stereoscopic photography
    • G03B35/02Stereoscopic photography by sequential recording

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

基于结构光技术和光度立体技术的水下三维重建装置及方法,包括一个长方体形框架,顶部设有滑轨,滑轨上安装激光发射器和高清相机,滑轨的下方有可旋转的圆形滑轨,激光器的光线图案为一字线图案。圆形滑轨上设有至少六个LED平行光面光源灯,均为白色灯,且每相邻的两个LED平行光面光源灯彼此等间距。上述装置可进行水下激光结构光三维重建,以及水下光度立体三维重建。其方法包括:标定装置中的各个设备及水质条件,对目标水域内的目标物体的探测,分别为激光结构光探测,光度立体探测,和两种探测结果融合,实现目标区域高精度三维成像。本发明可以实现多种水下重建方法。与以往的方法相比,极大地提高了物体边界的恢复准确度,得到更准确的三维信息。

Description

基于结构光技术和光度立体技术的水下三维重建装置及方法
技术领域
本发明涉及一种基于结构光技术和光度立体技术的水下三维重建装置及方法,能实现多种水下三维高精度重建方法,属于水下视觉技术领域。
背景技术
水下三维成像技术是探索海洋的重要技术,可用于海底地形地貌探测、海底考古、海洋生物研究等领域。目前,主要以声纳为主要探测技术,但是其精度较低,不能满足水下精确探测的需求。目前,很多研究者侧重于水下光学探测的研究。
海洋环境复杂,海水使光线在传播中发生吸收、散射,对光学成像产生不利影响。现有的水下三维重建设备主要以激光结构光、双目成像技术为主。基于激光结构光的水下扫描成像设备,在移动中采集图像,可生成区域性三维结构,但是扫描方法无法覆盖所有目标像素点,重构结果为稀疏离散的点云,成像密度不高。基于双目三维成像技术的设备,与惯性传感器结合,可生成较为完整的水下三维结构,但水下环境匹配点易错,导致重建的准确率低。
本发明装置融合激光结构光技术和水下光度立体技术,克服激光结构光技术成像密度低和光度立体技术难以获得初始高度估计的不足。以激光结构光技术获取的精确三维数据为初始估计,结合光度立体技术获得的目标物体的表面法向信息,进而重构出目标区域的三维结构。该设备及方法获取的水下三维数据,在重构精度上提升至毫米级别,可满足水下指定区域的高精度探测需求。
发明内容
为了满足水下高精度三维重建的目的,本发明提供一种基于结构光技术和光度立体技术的水下三维重建装置及方法。该装置可实现水下结构光三维重建、水下双目三维重建、水下光度立体三维重建等现有重建技术,同时实现了本发明提出的基于结构光技术和水下光度立体技术的高精度三维重建方法。该装置可通过对水下散射、吸收、折射等光学三维成像影响因素的分析,实现水下高精度三维重建。
基于结构光技术和光度立体技术的水下三维重建装置,其特征在于包括一个长方体形框架,该框架的顶部设有一条滑轨,该滑轨上安装有可调角度的激光发射器和高清相机,所述高清相机位于滑轨的中点处,在所述滑轨的下方固定有圆形滑轨,该圆形轨道可以围绕其圆心转动,且圆形滑轨的圆心与滑轨的中点上下重合,所述激光发射器位于高清相机的一侧;所述激光器的光线图案为一字线图案。
激光器与高清相机组合可实现进行水下激光结构光三维重建,即上述基于结构光技术和光度立体技术的水下三维重建装置在进行水下激光结构光三维重建中的应用。
上述圆形滑轨上设有至少六个LED平行光面光源灯,均为白色灯,且每相邻的两个LED平行光面光源灯彼此等间距。
白色灯组配合中心位置的相机,可实现水下光度立体三维重建系统,即上述水下三维重建装置在进行水下光度立体三维重建中的应用。
上述框架底部四角分别设有调整脚杯。
利用上述装置实现基于光度立体技术和激光结构光技术的水下高精度三维重建方法,其特征在于该方法是:
首先将所述装置安放于待探测目标水域,交替启动激光发射器和一只LED平行光面光源灯向框架内投射激光线和不同已知角度的光照,投射次数为P次,并同时在上述每个不同光照条件下拍摄出P幅图像,此时由于框架不动,因而拍摄到的是同样的目标水域,利用这些图像,恢复该目标水域的三维信息,具体如下:
步骤1,在装置下水之前,调节高清相机的焦距,使其成像距离为1±0.05米,调节激光器照射角度、光源灯的照射角度,使其对准上述高清相机的聚焦位置;
步骤2,标定装置中的各个设备及水质条件:
将步骤1中调节好的装置放入目标水域中,对高清相机进行校准,校准使用张正友标定法(该方法为张正友于1998年提出),通过校准以获得相机的内参与畸变,并以此矫正后续拍摄到的图像;
然后对水下光学成像模型—公式进行校准,即校准该水下光学模型的参数,包含水介质中的衰减系数β和散射系数g,
所述的光学成像模型由两部分组成,第一部分为光线经水下目标区域表面反射到相机的能量Esurf,第二部分为光线在传播过程中散射到相机的能量Emed,两部分之和E为相机拍摄到的光强;
E = E s u r f + E m e d E s u r f = Lρnse - β ( d s + d v ) E m e d = ∫ 0 d v - k Le - βd x P ( g , α ) βe - β ( d y + k ) d y - - - ( 1 )
其中,L为光照强度,ρ为目标区域表面反照率,n为目标区域表面法向,s为光照方向,β为衰减系数,ds为光源到目标区域的距离,dv为目标区域反射点到相机的深度距离,k为装置中灯和相机的高度差,P(g,α)=(1+gcosα)/4π,g为散射系数,α为光照方向角度(光源光线相对于相机中心线的夹角),dx为光线沿传播方向的距离,dy为光线沿光线沿反射到相机方向的距离;
所述的光学成像模型的校准步骤如下:将已知直径的球体放置于框架内高清相机的正下方1m处,作为被测物体,已知其表面法向n;光源灯的照射角度α在步骤1中已经设置;高清相机、光源灯和被测物体相对固定;测出dv,ds,k;通过转动圆形滑轨,拍摄至少6个不同光源照射角度下的图片,拍摄时每隔固定角度逐个打开光源灯,滑轨累计转动360度,记录每个角度的光照方向s;通过图像光照强度均一化处理,使每个角度的光照强度相同,从而将L作为一个常量;
需要计算的未知量为物体表面反照率ρ、衰减系数β、散射系数g;标定时,在上述转动圆形滑轨并进行拍摄的过程中,每隔固定角度打开一个光源灯,并拍摄一幅图像,共拍摄至少6幅不同光照方向的图像,即对于图像中每个像素有至少6个不同的求解方程;利用非线性求解方法(Matlab中fminshearch函数)可求得物体表面反照率ρ、衰减系数β、散射系数g;其中,反照率ρ与拍摄目标材质相关,非水下光照成像模型的标定成分;
从而通过标定得到水介质中的衰减系数β和散射系数g,并确定该水质条件下的光照成像模型;
步骤3,对目标水域内的目标物体的探测,该步骤包含3个操作,分别为(A)激光结构光探测,(B)光度立体探测,和(C)两种探测结果融合,
(A)激光结构光探测,获取激光线特征点处三维数据:
将装置置于目标水域中,使目标物体位于相机视野中心区域,打开激光器,使激光投射在目标物体;此时,激光线投射在目标物体和背景上,利用水下结构光三维成像方法(三角定位方法),获取激光线特征点(激光线的投射点称为特征点)处精确三维数据,具体如下:
考虑折射的影响,分别计算以相机中心为世界坐标系原点的水下折射后的激光平面方程Ax+By+Cz+D=0和特征点(ux,uy)在水下的反向投影射线方程其中f为焦距,K为可测量得到的折射影响因素;
两个方程联合,得到激光线特征点处的三维数据;设相机下方1m深为基准平面,则得到激光特征点的位置和相对高度;
(B)光度立体探测,获取目标物体的法向信息
步骤2中经校准后得到水下光照模型如公式2,利用该模型求解目标物体的法向信息:
E = Lρnse - β ( d s + d v ) + ∫ 0 d v - k Le - βd x P ( g , α ) βe - β ( d y + k ) d y - - - ( 2 )
其中,又dx=dy/cosα,带入公式(2),得:
E = Lρnse - β ( ( d v - k ) cos α + d v ) + Le - β k P ( g , α ) cos α ( 1 - e - β ( 1 + 1 cos α ) ( d v - k ) ) 1 + cos α - - - ( 3 )
此时,公式(3)中仅有ρ、n、dv未知;
同样是通过转动圆形轨道,调节光源灯位置,每隔固定角度打开一个光源灯,依次拍摄至少6个光照方向图像,则得到至少6个方程,利用非线性求解方法(Matlab中fminsearch函数)求解方程组,求得ρ、n、dv,其中目标水域(包含目标物体)的表面法向n为该步骤所需结果;
(C)将上述(A)和(B)两种探测结果融合,获取目标水域(包含目标物体)的高精度三维信息:
使用最小生成树算法,假设图像中每个像素点为图的结点,步骤3(B)中得到图像每个像素的点的法向,将其作为相邻两个结点(像素点)的权重,以步骤3(A)中得到的目标区域的激光结构点所在像素点为起始结点,其对应的高度作为初始值,生成最小生成树;沿着最小生成树路径,逐步累积得到目标区域三维表面的高度值;在此过程中,将目标物体边界上的结点(像素点)之间的边的权重加大,以使积分路径不包含物体边界,则目标物体的三维高度值由物体上的激光点处的高度值扩展得到,以此进一步提高成像的精确度;
通过以上A、B、C三个步骤,得到了目标物体的三维高度值,从而最终实现目标区域高精度三维成像。
本发明三维重建集成装置,可以实现多种水下重建方法。同时,利用该设备,可实现激光结构光与光度立体相结合的高精度三维重建方法。在水下成像过程中,由激光生成初始精确三维点云,由光度立体技术得到物体表面的法向信息。两者相结合,既克服激光结构光方法中三维点云离散稀疏的不足,又避免了光度立体技术中梯度积分的累积误差过大。此外,算法中所使用的积分方法,能有效的区分边界,与以往的方法相比,极大地提高了物体边界的恢复准确度,得到更准确的三维信息。
附图说明
图1是本发明的装置的俯视图。
图2是本发明的装置的左右侧视图。
图3是本发明的装置的前后侧视图。
图中,1、框架,2、滑轨,3、激光发射器,4、高清相机,5、圆形滑轨,6、LED平行光面光源灯,7、调整脚杯。
具体实施方式
如图1-3,基于结构光技术和光度立体技术的水下三维重建装置,其特征在于包括一个长方体形框架1,该框架1的顶部设有一条滑轨2,该滑轨2上安装有可调角度的激光发射器3和高清相机4,所述高清相机4位于滑轨2的中点处,在所述滑轨2的下方固定有圆形滑轨5,该圆形轨道5可以围绕其圆心转动,且圆形滑轨5的圆心与滑轨2的中点上下重合,所述激光发射器3位于高清相机4的一侧;所述激光器3的光线图案为一字线图案。
激光器3与高清相机4组合可实现进行水下激光结构光三维重建,即上述基于结构光技术和光度立体技术的水下三维重建装置在进行水下激光结构光三维重建中的应用。
上述圆形滑轨5上设有至少六个LED平行光面光源灯6,均为白色灯,且每相邻的两个LED平行光面光源灯6彼此等间距。
白色灯组配合中心位置的相机,可实现水下光度立体三维重建系统,即上述水下三维重建装置在进行水下光度立体三维重建中的应用。
上述框架1底部四角分别设有调整脚杯7。
利用上述装置实现基于光度立体技术和激光结构光技术的水下高精度三维重建方法,其特征在于该方法是:
首先将所述装置安放于待探测目标水域,交替启动激光发射器3和一只LED平行光面光源灯6向框架1内投射激光线和不同已知角度的光照,投射次数为P次,并同时在上述每个不同光照条件下拍摄出P幅图像,此时由于框架1不动,因而拍摄到的是同样的目标水域,利用这些图像,恢复该目标水域的三维信息,具体如下:
步骤1,在装置下水之前,调节高清相机4的焦距,使其成像距离为1±0.05米,调节激光器3照射角度、光源灯6的照射角度,使其对准上述高清相机4的聚焦位置;
步骤2,标定装置中的各个设备及水质条件:
将步骤1中调节好的装置放入目标水域中,对高清相机4进行校准,校准使用张正友标定法(该方法为张正友于1998年提出),通过校准以获得相机的内参与畸变,并以此矫正后续拍摄到的图像;
然后对水下光学成像模型—公式(1)进行校准,即校准该水下光学模型的参数,包含水介质中的衰减系数β和散射系数g,
所述的光学成像模型由两部分组成,第一部分为光线经水下目标区域表面反射到相机的能量Esurf,第二部分为光线在传播过程中散射到相机的能量Emed,两部分之和E为相机拍摄到的光强;
E = E s u r f + E m e d E s u r f = Lρnse - β ( d s + d v ) E m e d = ∫ 0 d v - k Le - βd x P ( g , α ) βe - β ( d y + k ) d y - - - ( 1 )
其中,L为光照强度,ρ为目标区域表面反照率,n为目标区域表面法向,s为光照方向,β为衰减系数,ds为光源到目标区域的距离,dv为目标区域反射点到相机的深度距离,k为装置中灯和相机的高度差,P(g,α)=(1+gcosα)/4π,g为散射系数,α为光照方向角度(光源光线相对于相机中心线的夹角),dx为光线沿传播方向的距离,dy为光线沿光线沿反射到相机方向的距离;
所述的光学成像模型的校准步骤如下:将已知直径的球体放置于框架1内高清相机的正下方1m处,作为被测物体,已知其表面法向n;光源灯的照射角度α在步骤1中已经设置;高清相机、光源灯和被测物体相对固定;测出dv,ds,k;通过转动圆形滑轨,拍摄至少6个不同光源照射角度下的图片,拍摄时每隔固定角度逐个打开光源灯,滑轨累计转动360度,记录每个角度的光照方向s;通过图像光照强度均一化处理,使每个角度的光照强度相同,从而将L作为一个常量;
需要计算的未知量为物体表面反照率ρ、衰减系数β、散射系数g;标定时,在上述转动圆形滑轨并进行拍摄的过程中,每隔固定角度打开一个光源灯,并拍摄一幅图像,共拍摄至少6幅不同光照方向的图像,即对于图像中每个像素有至少6个不同的求解方程;利用非线性求解方法(Matlab中fminshearch函数)可求得物体表面反照率ρ、衰减系数β、散射系数g;其中,反照率ρ与拍摄目标材质相关,非水下光照成像模型的标定成分;
从而通过标定得到水介质中的衰减系数β和散射系数g,并确定该水质条件下的光照成像模型;
步骤3,对目标水域内的目标物体的探测,该步骤包含3个操作,分别为(A)激光结构光探测,(B)光度立体探测,和(C)两种探测结果融合,
(A)激光结构光探测,获取激光线特征点处三维数据:
将装置置于目标水域中,使目标物体位于相机视野中心区域,打开激光器,使激光投射在目标物体;此时,激光线投射在目标物体和背景上,利用水下结构光三维成像方法(三角定位方法),获取激光线特征点(激光线的投射点称为特征点)处精确三维数据,具体如下:
考虑折射的影响,分别计算以相机中心为世界坐标系原点的水下折射后的激光平面方程Ax+By+Cz+D=0和特征点(ux,uy)在水下的反向投影射线方程其中f为焦距,K为可测量得到的折射影响因素;
两个方程联合,得到激光线特征点处的三维数据;设相机下方1m深为基准平面,则得到激光特征点的位置和相对高度;
(B)光度立体探测,获取目标物体的法向信息
步骤2中经校准后得到水下光照模型如公式2,利用该模型求解目标物体的法向信息:
E = Lρnse - β ( d s + d v ) + ∫ 0 d v - k Le - βd x P ( g , α ) βe - β ( d y + k ) d y - - - ( 2 )
其中,又dx=dy/cosα,带入公式(2),得:
E = Lρnse - β ( ( d v - k ) cos α + d v ) + Le - β k P ( g , α ) cos α ( 1 - e - β ( 1 + 1 cos α ) ( d v - k ) ) 1 + cos α - - - ( 3 )
此时,公式(3)中仅有ρ、n、dv未知;
同样是通过转动圆形轨道,调节光源灯位置,每隔固定角度打开一个光源灯,依次拍摄至少6个光照方向图像,则得到至少6个方程,利用非线性求解方法(Matlab中fminsearch函数)求解方程组,求得ρ、n、dv,其中目标水域(包含目标物体)的表面法向n为该步骤所需结果;
(C)将上述(A)和(B)两种探测结果融合,获取目标水域(包含目标物体)的高精度三维信息:
使用最小生成树算法,假设图像中每个像素点为图的结点,步骤3(B)中得到图像每个像素的点的法向,将其作为相邻两个结点(像素点)的权重,以步骤3(A)中得到的目标区域的激光结构点所在像素点为起始结点,其对应的高度作为初始值,生成最小生成树;沿着最小生成树路径,逐步累积得到目标区域三维表面的高度值;在此过程中,将目标物体边界上的结点(像素点)之间的边的权重加大,以使积分路径不包含物体边界,则目标物体的三维高度值由物体上的激光点处的高度值扩展得到,以此进一步提高成像的精确度;
通过以上A、B、C三个步骤,得到了目标物体的三维高度值,从而最终实现目标区域高精度三维成像。
实施例
本发明装置可与1m×1m水箱配合使用。调整脚杯可调节支架高度。图像采集装置为一个高清相机,沿镜头方向垂直与水面,固定于整个装置的正中心。
该装置中相机和激光位于同一高度,激光和相机连接到设备电路控制箱中,可独立控制,也可由上位机控制。激光发射器与相机固定于同一高度,激光射入水中的角度可以自由调节,光线图案为一字线图案。通常保持激光线位于相机可采集图像的中部位置。激光器选择功率高,且一字线图案极细的产品。激光器与图像采集装置组合可实现水下激光结构光三维重建系统。
光源部分:通过滑轨轴固定座将环形滑轨(直径为90cm)连接在矩形框架上,环形滑轨可360度自由转动。在圆形滑轨上设有至少6个LED平行光面光源灯,表面为磨砂玻璃,直径约为12cm,功率为7w,为白色灯。所有灯距离相等,照射角度相同,光线均匀、无斑点。所有灯并联,连接到设备电路控制箱中,可单独控制。设备控制箱中安装有变压器,将电压转换为12V直流电压,供设备使用。白色灯组配合中心位置的相机,可实现水下光度立体三维重建系统。

Claims (6)

1.基于结构光技术和光度立体技术的水下三维重建装置,其特征在于包括一个长方体形框架(1),该框架(1)的顶部设有一条滑轨(2),该滑轨(2)上安装有可调角度的激光发射器(3)和高清相机(4),所述高清相机(4)位于滑轨(2)的中点处,在所述滑轨(2)的下方固定有圆形滑轨(5),该圆形轨道(5)可以围绕其圆心转动,且圆形滑轨(5)的圆心与滑轨(2)的中点上下重合,所述激光发射器(3)位于高清相机(4)的一侧;所述激光器(3)的光线图案为一字线图案。
2.权利要求1所述的基于结构光技术和光度立体技术的水下三维重建装置在进行水下激光结构光三维重建中的应用。激光器3与高清相机4组合可实现进行水下激光结构光三维重建。
3.如权利要求1所述的水下三维重建装置,其特征在于上述圆形滑轨(5)上设有至少六个LED平行光面光源灯(6),均为白色灯,且每相邻的两个LED平行光面光源灯(6)彼此等间距。
4.权利要求2所述的水下三维重建装置在进行水下光度立体三维重建中的应用。白色灯组配合中心位置的相机,可实现水下光度立体三维重建系统。
5.如权利要求1所述的水下三维重建装置,其特征在于上述框架1底部四角分别设有调整脚杯7。
6.利用权利要求2所述装置实现基于光度立体技术和激光结构光技术的水下高精度三维重建方法,其特征在于该方法是:
首先将所述装置安放于待探测目标水域,交替启动激光发射器(3)和一只LED平行光面光源灯(6)向框架(1)内投射激光线和不同已知角度的光照,投射次数为P次,并同时在上述每个不同光照条件下拍摄出P幅图像,此时由于框架(1)不动,因而拍摄到的是同样的目标水域,利用这些图像,恢复该目标水域的三维信息,具体如下:
步骤1,在装置下水之前,调节高清相机(4)的焦距,使其成像距离为1±0.05米,调节激光器(3)照射角度、光源灯(6)的照射角度,使其对准上述高清相机(4)的聚焦位置;
步骤2,标定装置中的各个设备及水质条件:
将步骤1中调节好的装置放入目标水域中,对高清相机(4)进行校准,校准使用张正友标定法,通过校准以获得相机的内参与畸变,并以此矫正后续拍摄到的图像;
然后对水下光学成像模型—公式(1)进行校准,即校准该水下光学模型的参数,包含水介质中的衰减系数β和散射系数g,
所述的光学成像模型由两部分组成,第一部分为光线经水下目标区域表面反射到相机的能量Esurf,第二部分为光线在传播过程中散射到相机的能量Emed,两部分之和E为相机拍摄到的光强;
E = E s u r f + E m e d E s u r f = Lρnse - β ( d s + d v ) E m e d = ∫ 0 d v - k Le - βd x P ( g , α ) βe - β ( d y + k ) d y - - - ( 1 )
其中,L为光照强度,ρ为目标区域表面反照率,n为目标区域表面法向,s为光照方向,β为衰减系数,ds为光源到目标区域的距离,dv为目标区域反射点到相机的深度距离,k为装置中灯和相机的高度差,P(g,α)=(1+gcosα)/4π,g为散射系数,α为光照方向角度(光源光线相对于相机中心线的夹角),dx为光线沿传播方向的距离,dy为光线沿光线沿反射到相机方向的距离;
所述的光学成像模型的校准步骤如下:将已知直径的球体放置于框架(1)内高清相机的正下方1m处,作为被测物体,已知其表面法向n;光源灯的照射角度α在步骤1中已经设置;高清相机、光源灯和被测物体相对固定;测出dv,ds,k;通过转动圆形滑轨,拍摄至少6个不同光源照射角度下的图片,拍摄时每隔固定角度逐个打开光源灯,滑轨累计转动360度,记录每个角度的光照方向s;通过图像光照强度均一化处理,使每个角度的光照强度相同,从而将L作为一个常量;
需要计算的未知量为物体表面反照率ρ、衰减系数β、散射系数g;标定时,在上述转动圆形滑轨并进行拍摄的过程中,每隔固定角度打开一个光源灯,并拍摄一幅图像,共拍摄至少6幅不同光照方向的图像,即对于图像中每个像素有至少6个不同的求解方程;利用非线性求解方法求得物体表面反照率ρ、衰减系数β、散射系数g;其中,反照率ρ与拍摄目标材质相关,非水下光照成像模型的标定成分;
从而通过标定得到水介质中的衰减系数β和散射系数g,并确定该水质条件下的光照成像模型;
步骤3,对目标水域内的目标物体的探测,该步骤包含3个操作,分别为(A)激光结构光探测,(B)光度立体探测,和(C)两种探测结果融合,
(A)激光结构光探测,获取激光线特征点处三维数据:
将装置置于目标水域中,使目标物体位于相机视野中心区域,打开激光器,使激光投射在目标物体;此时,激光线投射在目标物体和背景上,利用水下结构光三维成像方法,获取激光线特征点(激光线的投射点称为特征点)处精确三维数据,具体如下:
考虑折射的影响,分别计算以相机中心为世界坐标系原点的水下折射后的激光平面方程Ax+By+Cz+D=0和特征点(ux,uy)在水下的反向投影射线方程 其中f为焦距,K为可测量得到的折射影响因素;
两个方程联合,得到激光线特征点处的三维数据;设相机下方1m深为基准平面,则得到激光特征点的位置和相对高度;
(B)光度立体探测,获取目标物体的法向信息
步骤2中经校准后得到水下光照模型如公式2,利用该模型求解目标物体的法向信息:
E = Lρnse - β ( d s + d v ) + ∫ 0 d v - k Le - βd x P ( g , α ) βe - β ( d y + k ) d y - - - ( 2 )
其中,又dx=dy/cosα,带入公式(2),得:
E = Lρnse - β ( ( d v - k ) cos α + d v ) + Le - β k P ( g , α ) cos α ( 1 - e - β ( 1 + 1 cos α ) ( d v - k ) ) 1 + cos α - - - ( 3 )
此时,公式(3)中仅有ρ、n、dv未知;
同样是通过转动圆形轨道,调节光源灯位置,每隔固定角度打开一个光源灯,依次拍摄至少6个光照方向图像,则得到至少6个方程,利用非线性求解方法求解方程组,求得ρ、n、dv,其中目标水域的表面法向n为该步骤所需结果;
(C)将上述(A)和(B)两种探测结果融合,获取目标水域的高精度三维信息:
使用最小生成树算法,假设图像中每个像素点为图的结点,步骤3(B)中得到图像每个像素的点的法向,将其作为相邻两个结点的权重,以步骤3(A)中得到的目标区域的激光结构点所在像素点为起始结点,其对应的高度作为初始值,生成最小生成树;沿着最小生成树路径,逐步累积得到目标区域三维表面的高度值;在此过程中,将目标物体边界上的结点之间的边的权重加大,以使积分路径不包含物体边界,则目标物体的三维高度值由物体上的激光点处的高度值扩展得到,以此进一步提高成像的精确度;
通过以上A、B、C三个步骤,得到了目标物体的三维高度值,从而最终实现目标区域高精度三维成像。
CN201511029819.1A 2015-12-31 2015-12-31 基于结构光技术和光度立体技术的水下三维重建装置及方法 Active CN105654549B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201511029819.1A CN105654549B (zh) 2015-12-31 2015-12-31 基于结构光技术和光度立体技术的水下三维重建装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201511029819.1A CN105654549B (zh) 2015-12-31 2015-12-31 基于结构光技术和光度立体技术的水下三维重建装置及方法

Publications (2)

Publication Number Publication Date
CN105654549A true CN105654549A (zh) 2016-06-08
CN105654549B CN105654549B (zh) 2018-05-15

Family

ID=56491255

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201511029819.1A Active CN105654549B (zh) 2015-12-31 2015-12-31 基于结构光技术和光度立体技术的水下三维重建装置及方法

Country Status (1)

Country Link
CN (1) CN105654549B (zh)

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106524909A (zh) * 2016-10-20 2017-03-22 北京旷视科技有限公司 三维图像采集方法及装置
CN106652018A (zh) * 2016-09-29 2017-05-10 北京京东尚科信息技术有限公司 物品三维重建方法、装置和系统
CN107403449A (zh) * 2017-08-09 2017-11-28 深度创新科技(深圳)有限公司 一种基于光度立体视觉的视觉系统及其三维重建方法
CN107862741A (zh) * 2017-12-10 2018-03-30 中国海洋大学 一种基于深度学习的单帧图像三维重建装置及方法
CN107976148A (zh) * 2017-12-25 2018-05-01 国家海洋局第二海洋研究所 一种深海生物测量装置及其生物特征的测量方法
CN108647554A (zh) * 2018-05-15 2018-10-12 佛山市南海区广工大数控装备协同创新研究院 一种运动鞋气垫立体二维码识别检测装置及方法
CN109146934A (zh) * 2018-06-04 2019-01-04 成都通甲优博科技有限责任公司 一种基于双目立体和光度立体的人脸三维重建方法及系统
CN109323663A (zh) * 2018-10-31 2019-02-12 中国科学院西安光学精密机械研究所 一种基于高速相机的水下双目交汇测量系统
CN109377547A (zh) * 2018-09-20 2019-02-22 东南大学 一种自标定光源方向的光度立体三维重建系统及重建方法
CN109410180A (zh) * 2018-09-30 2019-03-01 清华-伯克利深圳学院筹备办公室 衰减系数的确定方法、装置、计算机设备和存储介质
CN109709574A (zh) * 2019-01-09 2019-05-03 国家海洋局第一海洋研究所 一种海底微地形激光扫描成像系统及三维地形重建方法
CN107087150B (zh) * 2017-04-26 2019-05-21 成都通甲优博科技有限责任公司 一种基于双目立体和光度立体的三维摄像方法、系统及装置
CN109920007A (zh) * 2019-01-26 2019-06-21 中国海洋大学 基于多光谱光度立体与激光扫描的三维成像装置及方法
CN110044300A (zh) * 2019-01-22 2019-07-23 中国海洋大学 基于激光器的两栖三维视觉探测装置及探测方法
CN110081936A (zh) * 2019-05-24 2019-08-02 博纳德(天津)港口工程有限公司 一种用于地下连续墙水下多参数自动检测的装置
CN110487214A (zh) * 2019-08-26 2019-11-22 中国计量大学 一种基于光度立体技术和结构光技术相结合的产品合格率的检测系统及其检测方法
CN111090103A (zh) * 2019-12-25 2020-05-01 河海大学 水下小目标动态精细检测三维成像装置及方法
CN111563921A (zh) * 2020-04-17 2020-08-21 西北工业大学 一种基于双目相机的水下点云获取方法
CN112114317A (zh) * 2020-08-19 2020-12-22 中交第三航务工程局有限公司江苏分公司 基于点云数据的桩体形状复原方法
CN112284982A (zh) * 2020-11-23 2021-01-29 西南石油大学 堵水剂在多孔介质气水界面铺展和封堵性能的评价装置
CN112504240A (zh) * 2020-07-01 2021-03-16 天津市计量监督检测科学研究院 一种激光投线仪校准系统及校准方法
CN112595236A (zh) * 2020-11-26 2021-04-02 江苏国和智能科技有限公司 一种水下激光三维扫描和实时测距的测量装置
CN112629440A (zh) * 2020-08-27 2021-04-09 周波 一种光度和结构光3d结合的数据融合方法
CN112991532A (zh) * 2021-03-18 2021-06-18 中国海洋大学 基于光度立体法和激光三角法的水下高精度三维重建方法
CN113048908A (zh) * 2021-03-08 2021-06-29 中国海洋大学 一种基于激光扫描的海底地貌探测图像生成系统
CN113192184A (zh) * 2021-05-06 2021-07-30 上海工程技术大学 一种复杂织物表面的三维重建系统及方法
CN113706692A (zh) * 2021-08-25 2021-11-26 北京百度网讯科技有限公司 三维图像重构方法、装置、电子设备以及存储介质
CN116447978A (zh) * 2023-06-16 2023-07-18 先临三维科技股份有限公司 孔位信息检测方法、装置、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080304081A1 (en) * 2007-04-17 2008-12-11 University Of Southern California Acquisition of Surface Normal Maps from Spherical Gradient Illumination
CN103971406A (zh) * 2014-05-09 2014-08-06 青岛大学 基于线结构光的水下目标三维重建方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080304081A1 (en) * 2007-04-17 2008-12-11 University Of Southern California Acquisition of Surface Normal Maps from Spherical Gradient Illumination
CN103971406A (zh) * 2014-05-09 2014-08-06 青岛大学 基于线结构光的水下目标三维重建方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
吴则举: "基于多约束的水下小目标高精度三维重建研究", 《万方数据》 *
徐庆相: "基于光度立体视觉的表面精细特征三维重建技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
杨宇 等: "水下环境的线结构光扫描和三维重建", 《光学学报》 *

Cited By (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106652018A (zh) * 2016-09-29 2017-05-10 北京京东尚科信息技术有限公司 物品三维重建方法、装置和系统
CN106652018B (zh) * 2016-09-29 2021-01-26 北京京东尚科信息技术有限公司 物品三维重建方法、装置和系统
CN106524909A (zh) * 2016-10-20 2017-03-22 北京旷视科技有限公司 三维图像采集方法及装置
CN106524909B (zh) * 2016-10-20 2020-10-16 北京旷视科技有限公司 三维图像采集方法及装置
CN107087150B (zh) * 2017-04-26 2019-05-21 成都通甲优博科技有限责任公司 一种基于双目立体和光度立体的三维摄像方法、系统及装置
CN107403449A (zh) * 2017-08-09 2017-11-28 深度创新科技(深圳)有限公司 一种基于光度立体视觉的视觉系统及其三维重建方法
CN107403449B (zh) * 2017-08-09 2023-11-24 深度创新科技(深圳)有限公司 一种基于光度立体视觉的视觉系统及其三维重建方法
CN107862741B (zh) * 2017-12-10 2021-02-09 中国海洋大学 一种基于深度学习的单帧图像三维重建装置及方法
CN107862741A (zh) * 2017-12-10 2018-03-30 中国海洋大学 一种基于深度学习的单帧图像三维重建装置及方法
CN107976148B (zh) * 2017-12-25 2024-05-03 自然资源部第二海洋研究所 一种深海生物测量装置及其生物特征的测量方法
CN107976148A (zh) * 2017-12-25 2018-05-01 国家海洋局第二海洋研究所 一种深海生物测量装置及其生物特征的测量方法
CN108647554A (zh) * 2018-05-15 2018-10-12 佛山市南海区广工大数控装备协同创新研究院 一种运动鞋气垫立体二维码识别检测装置及方法
CN109146934A (zh) * 2018-06-04 2019-01-04 成都通甲优博科技有限责任公司 一种基于双目立体和光度立体的人脸三维重建方法及系统
CN109377547A (zh) * 2018-09-20 2019-02-22 东南大学 一种自标定光源方向的光度立体三维重建系统及重建方法
CN109410180B (zh) * 2018-09-30 2021-09-21 清华-伯克利深圳学院筹备办公室 衰减系数的确定方法、装置、计算机设备和存储介质
CN109410180A (zh) * 2018-09-30 2019-03-01 清华-伯克利深圳学院筹备办公室 衰减系数的确定方法、装置、计算机设备和存储介质
CN109323663A (zh) * 2018-10-31 2019-02-12 中国科学院西安光学精密机械研究所 一种基于高速相机的水下双目交汇测量系统
CN109323663B (zh) * 2018-10-31 2024-04-05 中国科学院西安光学精密机械研究所 一种基于高速相机的水下双目交汇测量系统
CN109709574B (zh) * 2019-01-09 2021-10-26 国家海洋局第一海洋研究所 一种海底微地形激光扫描成像系统及三维地形重建方法
CN109709574A (zh) * 2019-01-09 2019-05-03 国家海洋局第一海洋研究所 一种海底微地形激光扫描成像系统及三维地形重建方法
CN110044300A (zh) * 2019-01-22 2019-07-23 中国海洋大学 基于激光器的两栖三维视觉探测装置及探测方法
CN110044300B (zh) * 2019-01-22 2024-04-09 中国海洋大学 基于激光器的两栖三维视觉探测装置及探测方法
CN109920007A (zh) * 2019-01-26 2019-06-21 中国海洋大学 基于多光谱光度立体与激光扫描的三维成像装置及方法
CN109920007B (zh) * 2019-01-26 2023-04-07 中国海洋大学 基于多光谱光度立体与激光扫描的三维成像装置及方法
CN110081936B (zh) * 2019-05-24 2024-06-11 博纳德(天津)港口工程有限公司 一种用于地下连续墙水下多参数自动检测的装置
CN110081936A (zh) * 2019-05-24 2019-08-02 博纳德(天津)港口工程有限公司 一种用于地下连续墙水下多参数自动检测的装置
CN110487214A (zh) * 2019-08-26 2019-11-22 中国计量大学 一种基于光度立体技术和结构光技术相结合的产品合格率的检测系统及其检测方法
CN111090103A (zh) * 2019-12-25 2020-05-01 河海大学 水下小目标动态精细检测三维成像装置及方法
CN111563921B (zh) * 2020-04-17 2022-03-15 西北工业大学 一种基于双目相机的水下点云获取方法
CN111563921A (zh) * 2020-04-17 2020-08-21 西北工业大学 一种基于双目相机的水下点云获取方法
CN112504240A (zh) * 2020-07-01 2021-03-16 天津市计量监督检测科学研究院 一种激光投线仪校准系统及校准方法
CN112114317A (zh) * 2020-08-19 2020-12-22 中交第三航务工程局有限公司江苏分公司 基于点云数据的桩体形状复原方法
CN112629440A (zh) * 2020-08-27 2021-04-09 周波 一种光度和结构光3d结合的数据融合方法
CN112284982B (zh) * 2020-11-23 2024-05-14 西南石油大学 堵水剂在多孔介质气水界面铺展和封堵性能的评价装置
CN112284982A (zh) * 2020-11-23 2021-01-29 西南石油大学 堵水剂在多孔介质气水界面铺展和封堵性能的评价装置
CN112595236A (zh) * 2020-11-26 2021-04-02 江苏国和智能科技有限公司 一种水下激光三维扫描和实时测距的测量装置
CN113048908A (zh) * 2021-03-08 2021-06-29 中国海洋大学 一种基于激光扫描的海底地貌探测图像生成系统
CN112991532A (zh) * 2021-03-18 2021-06-18 中国海洋大学 基于光度立体法和激光三角法的水下高精度三维重建方法
CN112991532B (zh) * 2021-03-18 2022-03-22 中国海洋大学 基于光度立体法和激光三角法的水下高精度三维重建方法
CN113192184A (zh) * 2021-05-06 2021-07-30 上海工程技术大学 一种复杂织物表面的三维重建系统及方法
CN113706692B (zh) * 2021-08-25 2023-10-24 北京百度网讯科技有限公司 三维图像重构方法、装置、电子设备以及存储介质
CN113706692A (zh) * 2021-08-25 2021-11-26 北京百度网讯科技有限公司 三维图像重构方法、装置、电子设备以及存储介质
CN116447978B (zh) * 2023-06-16 2023-10-31 先临三维科技股份有限公司 孔位信息检测方法、装置、设备及存储介质
CN116447978A (zh) * 2023-06-16 2023-07-18 先临三维科技股份有限公司 孔位信息检测方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN105654549B (zh) 2018-05-15

Similar Documents

Publication Publication Date Title
CN105654549A (zh) 基于结构光技术和光度立体技术的水下三维重建装置及方法
CN105203044B (zh) 以计算激光散斑为纹理的立体视觉三维测量方法及系统
CN105787997B (zh) 水下高精度三维重建装置及方法
JP6940843B2 (ja) 水底観測システム
CN110044300A (zh) 基于激光器的两栖三维视觉探测装置及探测方法
JP6205465B2 (ja) 浅水域観測システム
CN106289106A (zh) 一种线阵相机和面阵相机相结合的立体视觉传感器及标定方法
CN107063117A (zh) 基于光场成像的水下激光同步扫描三角测距成像系统和方法
CN102692213B (zh) 基于主动式全景视觉传感器的交通事故现场测绘仪
CN104764445B (zh) 水下物点坐标确定方法及装置
CN104406539B (zh) 全天候主动式全景感知装置及3d全景建模方法
CN105716581B (zh) 基于双介质摄影技术的水下物点坐标确定方法和装置
CN107167093A (zh) 一种激光线扫描与阴影莫尔的复合式测量系统及测量方法
Ouyang et al. Visualization and image enhancement for multistatic underwater laser line scan system using image-based rendering
Skinner et al. Underwater image dehazing with a light field camera
van der Lucht et al. Structured-light based 3D laser scanning of semi-submerged structures
Agrafiotis et al. Camera constant in the case of two media photogrammetry
Nocerino et al. Underwater calibration of dome port pressure housings.
CN104296681B (zh) 基于激光点阵标识的三维地形传感方法
CN112991532B (zh) 基于光度立体法和激光三角法的水下高精度三维重建方法
JP6898396B2 (ja) 水底観測システム
JP6485616B2 (ja) 外観計測システム、画像処理方法及びプログラム
CN110231021A (zh) 波纹传感器、波纹重建方法及其应用
Zhang et al. 3-D shape recovery of planar and curved surfaces from shading cues in underwater images
Doucette et al. Stereo–video observation of nearshore bedforms on a low energy beach

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant