CN102819866A - 一种非朗伯表面快速三维重构方法 - Google Patents
一种非朗伯表面快速三维重构方法 Download PDFInfo
- Publication number
- CN102819866A CN102819866A CN2012102986957A CN201210298695A CN102819866A CN 102819866 A CN102819866 A CN 102819866A CN 2012102986957 A CN2012102986957 A CN 2012102986957A CN 201210298695 A CN201210298695 A CN 201210298695A CN 102819866 A CN102819866 A CN 102819866A
- Authority
- CN
- China
- Prior art keywords
- image
- equation
- lambert
- lambert surface
- light source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明属于图像理解与计算机视觉技术领域,特别涉及一种非朗伯表面快速三维重构方法。提供的技术方案是:一种非朗伯表面快速三维重构方法,依次包括下述步骤:一.构建适于非朗伯表面且接近实际成像条件下的成像模型;二.由上述成像模型和摄像机获取的灰度图像,建立非朗伯表面下SFS问题的图像辐照度方程;三.利用粘性解理论计算上述图像辐照度方程的粘性解;四.根据图像辐照度方程解的结果,重构出非朗伯表面的三维形状信息。本发明的优点是:直接对非朗伯表面下建立的图像辐照度方程进行求解,同时利用弱解理论——粘性解理论计算图像辐照度方程的粘性解,使非朗伯表面的SFS问题良性化;具有快速、准确的优点。
Description
技术领域
本发明属于图像理解与计算机视觉技术领域,主要涉及到由单幅图像明暗变化实现三维重构的技术,特别涉及到一种非朗伯表面快速三维重构方法。
背景技术
为了满足工农业产品检测、文档图像复原、医学图像分析、生物特征识别以及地形、地貌测量等领域中三维建模的需求,有效重构物体表面的三维形状信息,近年来已经成为图像理解与计算机视觉技术领域中一个非常重要的研究方向。然而,如何快速、准确重构非朗伯表面的三维形状,至今仍未得到较好解决。
目前,三维形状信息的获取手段主要有两大类:接触式测量和非接触式测量。尽管接触式测量方法已经比较成熟,而且还可以获得很高精度的数据,但其本身也存在较多不足:①接触式测量使得测头容易磨损及划伤被测表面,测量过程需要人工干预,因而测量成本较高,自动化程度较低;②接触式测量采用逐点扫描的方法,且扫描速度受到机械运动的限制,故测量时间较长、测量效率较低等,不太适于快速测量的场合;③对大型物件,尤其是软质材料测量效果不好,对测头不能触及的表面无法测量,而且对测量环境要求较高,故其应用范围往往受到限制。总之,接触式测量难以满足快速、有效的测量需求。
在申请号为03153504.6的中国发明专利中,申请人提到了非接触式测量的几种方法:光学传感器法、激光扫描法、立体视觉法、投影栅相位法等。随着计算机视觉和图像技术的发展,利用图像数据获取目标三维形状信息的非接触式测量技术已在社会生产的各个方面显示出越来越重要的地位和作用。由单幅图像明暗变化恢复形状(简称SFS)技术是实现物体表面三维重构的关键方法之一,其目标是利用单幅图像的明暗变化恢复物体表面各点的法向向量,进而可以获得其相对高度。
许多研究者试图找出最有效的实现SFS技术的方法,并取得了一定的进展。目前应用最广泛的主要有四种方法:演化和偏微分方程方法、最优化方法、局部化方法以及线性化方法等。演化和偏微分方程方法是从图像中一组已知高度值的边界点或奇异点出发,逐步确定出所有图像像素点对应的物体表面的形状信息,它是对SFS问题建立的一阶非线性偏微分方程本身直接求解。最优化方法就是将SFS问题中的图像辐照度方程表示为能量函数形式,然后通过附加约束条件将其转化为求解泛函极值的问题。局部化方法的思路就是在物体表面的每一点处,假定表面形状为平面、球面或抛物面等,并将表面反射模型与假设的局部形状结合起来,构成关于局部形状参数的线性偏微分方程组,然后利用已知的边界条件来求解该方程组得到物体表面的三维形状。线性化方法就是通过将反射图线性化,使非线性问题转化为线性问题,进而求解得到图像辐照度方程的解。
在上述这些实现SFS技术的方法中,各种方法存在一定的优点,也不可避免地存在不足之处。如线性化方法速度较快,但重构精度不高,求解过程缺乏可信度;局部化方法使用范围受到限制,且精度不高;演化和偏微分方程方法虽然精度较高,但需要考虑边界条件;最优化方法不需要考虑边界条件,但需要引入各种约束条件等等。
同时,上述方法通常只是针对朗伯表面设计的,如果应用到非朗伯表面,往往误差较大。
另外,SFS方法中建立的图像辐照度方程通常是Hamilton-Jacobi类型的一阶非线性偏微分方程,一般情况下不存在经典意义下的光滑解,通常认为是病态问题。为了使SFS问题良性化,考虑图像辐照度方程在弱解意义下的特性。Hamilton-Jacobi方程粘性解理论是一种非常好的弱解理论,可定量、直观地描述一阶或二阶偏微分方程的弱解。法国学者Prados提出了使用粘性解理论对朗伯表面下建立的图像辐照度方程解的特性进行了分析。但遗憾的是,对于非朗伯表面建立的图像辐照度方程的研究,尚未发现国内外有相关文献报导。
发明内容
本发明的目的在于针对现有技术的不足,提出一种非朗伯表面快速三维重构方法。本发明所述的方法不需要特定的边界条件,而且使SFS问题良性化,具有快速、准确的优点。
为了实现上述目的,本发明采用的技术方案如下:
一种非朗伯表面快速三维重构方法,依次包括下述步骤:
一.构建适于非朗伯表面且接近实际成像条件下的成像模型:从三个阶段入手,光源入射过程、非朗伯表面对入射光的反射过程、摄像机对反射光的记录过程,涉及到光源的分布、非朗伯表面的反射特性以及摄像机的投影方式的建模,其中:所述光源为近点光源,而且光源辐照度随着物体与光源之间距离的增大而存在衰减;非朗伯表面的反射特性使用Oren-Nayer反射模型来近似;摄像机的投影方式采用透视投影方式。
二.由上述成像模型和摄像机获取的灰度图像,建立非朗伯表面下SFS问题的图像辐照度方程:该步骤依次包括下述步骤,
(8)
三.利用粘性解理论计算上述图像辐照度方程的粘性解:该步骤依次包括下述步骤
(一) 将图像辐照度方程(8)看作是关于的一元二次方程
(二) 求解一元二次方程(9)得
(三) 于是,图像辐照度方程(8)等价为
(四) 一般情况下,方程(11)不存在经典解,可以利用粘性解理论计算上述图像辐照度方程的解。显然,上式是一个Hamilton-Jacobi类型的一阶非线性PDE,将简记为p,可以得到相应的Hamilton函数
(五) 应用最优控制理论,式(12)可以转化为如下的控制形式
(八) 对于逼近方法(15),计算以下最优问题:
(九) 求解算法(14)转化为
使用Newton法来进行求解,得到图像辐照度方程的粘性解。
(十) 使用迭代Fast Marching对上述求解算法(17)进行加速收敛。
与现有技术相比,本发明的优点是:
1.本发明可实现由单幅图像明暗变化重构非朗伯表面的三维形状,避免了多幅图像之间的匹配问题;
2.本发明考虑光源辐照度随着非朗伯表面与光源之间距离的增大而存在衰减的影响,同时使用Oren-Nayer反射模型描述非朗伯表面的反射特性,采用透视投影方式近似摄像机的投影方式,避免了由于成像模型不准确导致的重构精度不高的问题,因此可达到准确重构的需求;
3.本发明直接对非朗伯表面下建立的图像辐照度方程进行求解,避免了需要引入约束条件以及由于数值算法不合适导致的重构精度不高的问题;
4.本发明利用弱解理论——粘性解理论计算图像辐照度方程的粘性解,克服了传统SFS方法的病态性,从而使非朗伯表面的SFS问题良性化,因此进一步保障了准确重构的需求;
5.本发明不需要特定的边界条件,这是目前其他方法所无法实现的,从而使得本发明具有更广阔的适用范围;
6.本发明使用迭代Fast Marching对求解数值算法进行加速收敛,因而CPU运行时间较少,使本发明具有快速的特点。
附图说明:
图1是本发明的流程图;
图2是本发明建立的三维笛卡尔直角坐标系;
图3是本发明中非朗伯表面某一点的局部坐标系;
图4是非朗伯半球表面图像;
图5是非朗伯花瓶表面图像;
图6是本发明重构的非朗伯半球表面的三维形状;
图7是本发明重构的非朗伯花瓶表面的三维形状;
图8是非朗伯半球表面的真实高度值;
图9是非朗伯花瓶表面的真实高度值;
图10是本发明重构的非朗伯半球表面的高度误差;
图11是本发明重构的非朗伯花瓶表面的高度误差。
具体实施方式:
下面结合附图和实施例,对本发明做进一步详细说明,本实施例以本发明的技术方案为前提进行实施,给出了详细的实施方式,但本发明的保护范围不限于下述的实施例。
参照附图1,本发明所述非朗伯表面快速三维重构方法包括如下步骤:
一.构建适于非朗伯表面且接近实际成像条件下的成像模型
构建成像模型的方法为:从三个阶段入手:光源入射过程、非朗伯表面对入射光的反射过程、摄像机对反射光的记录过程,涉及到光源的分布、非朗伯表面的反射特性以及摄像机的投影方式的建模。本方法中,光源为近点光源,而且光源辐照度随着物体与光源之间距离的增大而存在衰减;非朗伯表面的反射特性使用Oren-Nayer反射模型来近似;摄像机的投影方式采用透视投影方式。
二.由上述成像模型和摄像机获取的灰度图像,建立非朗伯表面下SFS问题的图像辐照度方程,具体步骤是:
(三) 利用Oren-Nayer反射模型计算非朗伯表面辐射亮度
本发明中由于光源位于投影中心,故式(4)简化为
三.利用粘性解理论计算上述图像辐照度方程的粘性解:该步骤依次包括下述步骤
(二) 求解一元二次方程(9)得
(三) 于是,图像辐照度方程(8)等价为
(四) 一般情况下,方程(11)不存在经典解,可以利用粘性解理论计算上述图像辐照度方程的解。显然,上式是一个Hamilton-Jacobi类型的一阶非线性PDE,将简记为p,可以得到相应的Hamilton函数
(五) 应用最优控制理论,式(12)可以转化为如下的控制形式
(13)
(八) 对于逼近方法(15),计算以下最优问题:
(九) 求解算法(14)转化为
使用Newton法来进行求解,得到图像辐照度方程的粘性解。
(十) 使用迭代Fast Marching对上述求解算法(17)进行加速收敛。
四.根据图像辐照度方程解的结果,重构出非朗伯表面的三维形状信息。
本发明效果可以通过以下实验进一步证实:
一.实验条件:
实验所使用的输入图像如图4和图5所示,图4是非朗伯半球表面图像,图5是非朗伯花瓶表面图像。实验中的方法使用Matlab结合C语言mex函数实现,其中输入输出部分使用Matlab实现,图像辐照度方程求解算法使用C语言实现。
二.实验结果:
为了直观说明本发明的性能,实验中首先用本发明提出的方法对图4和图5进行了三维重构,算法分别迭代8步、10步后收敛,非朗伯半球表面的重构结果如图6所示,非朗伯花瓶表面的重构结果如图7所示。为了便于说明重构误差,实验中给出了非朗伯半球、花瓶表面的真实高度值,如图8和图9所示;并给出了本发明重构结果与真实值之间的高度误差图,如图10和图11所示,可以看出,误差绝大部分集中在物体表面的边界之处,其他地方的误差相对较小。
同时,为了定量地分析本发明的性能,从重构时间、重构精度等角度出发,计录了CPU运行时间并计算了高度平均绝对误差和高度均方根误差等指标,具体见表1。
表1 本发明重构结果的性能评价
从图6、7、10、11及表1可以看出,本发明能有效地重构出非朗伯半球、花瓶表面的三维形状,而且CPU运行时间较少,高度平均绝对误差和高度均方根误差均较低,达到了快速、准确的重构需求。
Claims (1)
1.一种非朗伯表面快速三维重构方法,依次包括下述步骤:
一.构建适于非朗伯表面且接近实际成像条件下的成像模型:从三个阶段入手,光源入射过程、非朗伯表面对入射光的反射过程、摄像机对反射光的记录过程,涉及到光源的分布、非朗伯表面的反射特性以及摄像机的投影方式的建模,其中:所述光源为近点光源,而且光源辐照度随着物体与光源之间距离的增大而存在衰减;非朗伯表面的反射特性使用Oren-Nayer反射模型来近似;摄像机的投影方式采用透视投影方式;
二.由上述成像模型和摄像机获取的灰度图像,建立非朗伯表面下SFS问题的图像辐照度方程:该步骤里依次包括下述步骤,
令,于是物体表面S可以用函数表示
(3)
(7)
其中:
将式(7)代入式(5),得到非朗伯表面下SFS问题的图像辐照度方程
三.利用粘性解理论计算上述图像辐照度方程的粘性解:该步骤依次包括下述步骤
(二) 求解一元二次方程(9)得
(三) 于是,图像辐照度方程(8)等价为
(11)
(四) 一般情况下,方程(11)不存在经典解,可以利用粘性解理论计算上述图像辐照度方程的解,
(五) 应用最优控制理论,式(12)可以转化为如下的控制形式
(13)
(14)
(七) 本发明中使用如下方法逼近
(八) 对于逼近方法(15),计算以下最优问题:
(九) 求解算法(14)转化为
使用Newton法来进行求解,得到图像辐照度方程的粘性解,
(十) 使用迭代Fast Marching对上述求解算法(17)进行加速收敛,
四.根据图像辐照度方程解的结果,重构出非朗伯表面的三维形状信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210298695.7A CN102819866B (zh) | 2012-08-22 | 2012-08-22 | 一种非朗伯表面快速三维重构方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210298695.7A CN102819866B (zh) | 2012-08-22 | 2012-08-22 | 一种非朗伯表面快速三维重构方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102819866A true CN102819866A (zh) | 2012-12-12 |
CN102819866B CN102819866B (zh) | 2015-09-09 |
Family
ID=47303968
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210298695.7A Expired - Fee Related CN102819866B (zh) | 2012-08-22 | 2012-08-22 | 一种非朗伯表面快速三维重构方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102819866B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101378175A (zh) * | 2007-08-31 | 2009-03-04 | Em微电子-马林有限公司 | 具有感光器和激光二极管的光电子电路以及包括其的模块 |
US20090116728A1 (en) * | 2007-11-07 | 2009-05-07 | Agrawal Amit K | Method and System for Locating and Picking Objects Using Active Illumination |
-
2012
- 2012-08-22 CN CN201210298695.7A patent/CN102819866B/zh not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101378175A (zh) * | 2007-08-31 | 2009-03-04 | Em微电子-马林有限公司 | 具有感光器和激光二极管的光电子电路以及包括其的模块 |
US20090116728A1 (en) * | 2007-11-07 | 2009-05-07 | Agrawal Amit K | Method and System for Locating and Picking Objects Using Active Illumination |
Non-Patent Citations (2)
Title |
---|
GUOHUI WANG ET AL.: "A Novel Shape from Shading Algorithm for Non-Lambertian Surfaces", 《THIRD INTERNATIONAL CONFERENCE ON MEASURING TECHNOLOGY AND MECHATRONICS AUTOMATION(ICMTMA),2011》, vol. 1, 7 January 2011 (2011-01-07), pages 222 - 225, XP031918514, DOI: doi:10.1109/ICMTMA.2011.61 * |
周文晖 等: "一种鲁棒的基于互信息的实时立体匹配算法", 《传感技术学报》, vol. 19, no. 4, 31 August 2006 (2006-08-31), pages 1243 - 1245 * |
Also Published As
Publication number | Publication date |
---|---|
CN102819866B (zh) | 2015-09-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111414798B (zh) | 基于rgb-d图像的头部姿态检测方法及系统 | |
CN105913489B (zh) | 一种利用平面特征的室内三维场景重构方法 | |
CN104330074B (zh) | 一种智能测绘平台及其实现方法 | |
CN102663820B (zh) | 三维头部模型重建方法 | |
CN104101331B (zh) | 基于全光场相机的非合作目标位姿测量 | |
CN105931234A (zh) | 一种地面三维激光扫描点云与影像融合及配准的方法 | |
CN102589530B (zh) | 基于二维相机和三维相机融合的非合作目标位姿测量方法 | |
Pan et al. | Dense 3D reconstruction combining depth and RGB information | |
CN103971404A (zh) | 一种高性价比的3d实景复制装置 | |
CN104835144A (zh) | 利用一个球的球心的像及正交性求解摄像机内参数 | |
CN103278138A (zh) | 一种复杂结构薄部件三维位置及姿态的测量方法 | |
CN103106661B (zh) | 空间二条相交直线线性求解抛物折反射摄像机内参数 | |
US10755433B2 (en) | Method and system for scanning an object using an RGB-D sensor | |
CN104021547A (zh) | 肺部 ct 的三维配准方法 | |
CN105046743A (zh) | 一种基于全局变分技术的超高分辨率三维重建方法 | |
CN109141226A (zh) | 单相机多角度的空间点坐标测量方法 | |
CN104537707A (zh) | 像方型立体视觉在线移动实时测量系统 | |
CN104463969B (zh) | 一种对航空倾斜拍摄的地理照片的模型的建立方法 | |
Zhou et al. | A novel way of understanding for calibrating stereo vision sensor constructed by a single camera and mirrors | |
CN109272555B (zh) | 一种rgb-d相机的外部参数获得及标定方法 | |
CN110009667A (zh) | 基于罗德里格斯变换的多视点云全局配准方法 | |
CN105115560A (zh) | 一种船舱舱容的非接触测量方法 | |
CN102930551B (zh) | 利用圆心的投影坐标和极线求解摄像机内参数 | |
CN105374067A (zh) | 一种基于pal相机的三维重建方法及其重建系统 | |
Babaee et al. | 3-D object modeling from 2-D occluding contour correspondences by opti-acoustic stereo imaging |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20150909 Termination date: 20190822 |