CN112381917B - 一种基于平行光类比的主动光照重现方法 - Google Patents
一种基于平行光类比的主动光照重现方法 Download PDFInfo
- Publication number
- CN112381917B CN112381917B CN202011090155.0A CN202011090155A CN112381917B CN 112381917 B CN112381917 B CN 112381917B CN 202011090155 A CN202011090155 A CN 202011090155A CN 112381917 B CN112381917 B CN 112381917B
- Authority
- CN
- China
- Prior art keywords
- illumination
- information
- ref
- image
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005286 illumination Methods 0.000 title claims abstract description 89
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000002310 reflectometry Methods 0.000 claims abstract description 13
- 238000009877 rendering Methods 0.000 claims abstract description 12
- 239000000463 material Substances 0.000 claims abstract description 6
- 239000013598 vector Substances 0.000 claims description 18
- 238000006073 displacement reaction Methods 0.000 claims description 11
- 238000003384 imaging method Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 4
- 238000011156 evaluation Methods 0.000 claims description 3
- 230000001133 acceleration Effects 0.000 claims description 2
- 238000011084 recovery Methods 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 abstract description 7
- 238000002474 experimental method Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 101100001677 Emericella variicolor andL gene Proteins 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000003449 preventive effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/506—Illumination models
Landscapes
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Generation (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于平行光类比的主动光照重现方法,以实现对光照差异鲁棒的物理真实的相机空间位姿恢复光照,该方法通过主动光照重现模型实现如下步骤:在开始光照重现任务前,对参考图像中观测的场景在不同光照条件下进行多次拍摄,得到一个场景图像集;利用场景图像集和参考图像计算得出场景的表面结构和反射率,以及参考图像中的光照信息;由此可以计算得到当前图像中的光照信息;将当前光和参考光渲染到两个相同的具有漫反射材质的单位球上,并根据当前光和参考光对单位球的渲染差异,计算获得光源运动的指导信息;最终根据运动指导信息控制光源运动实现光照条件重现;本发明能够保证光照重定位的实时进行。
Description
技术领域
本发明属于人工智能、计算机视觉领域,涉及主动视觉技术,具体为一种基于平行光类比的主动光照重现方法。
背景技术
成像光照重现,旨在物理真实地将成像时的光照条件恢复到与拍摄参考图像时一致。在表面材质信息获取,历史文化遗产预防性保护,微小变化检测等计算机视觉领域的问题中,都扮演着重要的角色。
虽然目前对于光照重现问题的解决方法有很多种,但是他们基本都是基于合成(或者说虚拟)光源重现,也就是说将参考图像作为输入,以此为根据被动地虚拟合成目标光照条件。这种光照重现方法侧重于保证当前图像的视觉效果和参考图像一致,并不具备物理真实性,这会对光照重现造成不可避免的误差。并且,目前效果较好的虚拟合成光照重现技术需结合深度学习方法,因此通常需要至少数百张在多种光照条件下图像作为训练数据,此外这些方法也需要使用复杂的光照模型和大量的计算量来保证光照重现的准确度。综上,现有虚拟光照重现方法无论从精度还是速度上都存在不足。
发明内容
本发明提供了一种基于平行光类比的主动光照重现方法,利用少量多光照条件的场景图像和参考图像计算参考图像中的光照以及当前光照之间的差异,以此指导主动光源的位置调整,大幅减少了现有光照重现算法对输入图像数量的要求,同时有效减少了光照重现过程的时间花费,并且保证了光照重现的物理真实性。作为一种数据获取手段,可以有效提高针对高值场景(如文物等)的微小变化检测的精确度。
本发明是通过以下技术方案实现的:
一种基于平行光类比的主动光照重现方法,所述方法通过主动光照重现模型减少对输入图像数量要求,所述主动光照重现模型包括以下步骤:
步骤四,将当前光和参考光渲染到两个相同的具有漫反射材质的单位球上,得到两个实时光照重现导航球Bref和Bt。
步骤六,判断光源重现过程是否完成;若重现完成则终止;若未完成则重复迭代步骤一至步骤六。
本发明提供的技术方案的有益效果是:
1、本发明在光照重现过程中,利用主动视觉技术,根据参考光和当前光的差异来指导光源位姿的调整,而非被动地对光照进行虚拟合成,可以大幅减少算法对输入图像的数量要求,减少了准备工作的时间。主动光照重现还可以保证重现结果的物理真实性,提高了光照重现结果的准确度。
2.本发明使用的光照模型为平行光模型,反射模型为漫反射模型,简单的计算模型大幅减少了光照重现的计算量,可以满足主动光源调整进行实时导航的速度要求。
附图说明
图1为一种基于平行光类比的主动光照重现方法的流程图;
图2为本发明方法与现有最优方法的实验结果比较
具体实施方式
下面结合附图对本发明中的技术方案进行清楚、完整地描述。基于本发明中的技术方案,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。本发明通过主动光照重现模型减少对输入图像数量要求,以实现物理真实的光照成像条件恢复;所述主动光照重现模型通过如下步骤实现:
在开始光照重现任务前,对参考图像中观测的场景在不同光照条件下进行多次拍摄,得到一个场景图像集;利用场景图像集和参考图像计算得出场景的表面结构和反射率,以及参考图像中的光照信息;由于场景的结构变化通常很小,可以认为当前图像与参考图像中的场景具有相同的结构和反射率,由此可以计算得到当前图像中的光照信息;将当前光和参考光渲染到两个相同的具有漫反射材质的单位球上,并根据当前光和参考光对单位球的渲染差异,计算获得光源运动的指导信息;最终根据运动指导信息控制光源运动实现光照条件重现;具体为:
(一)场景中法线信息N、反射率信息R、以及光照信息Lref的获取
光照重现过程开始前,获取待监测场景中的法线信息N、反射率信息R、以及光照信息Lref。具体步骤如下:
一般选取K=12,使用面光源(如面光板)分别于1-12点时钟方向对场景进行主动照明并分别获取场景图像。
说明2:法线信息N、反射率信息R、以及参考光照信息Lref的计算
第2步:利用得到的K+1张阴影图像S,根据无标定的光度立体算法LDR,计算获得场景中的法线信息N,以及参考图像中的光照信息Lref。
(二)实时光照重现导航球Bref和Bt的获取
获得实时光照重现导航球Bref和Bt具体方法为:
(2)在两个导航球上分别获得导航圆Cref和Ct。
说明3:实时光照重现导航圆Cref和Ct 的获取
第2步:设定一个阈值T,将Bref和Bt上像素值等于T(可以设置为所有像素值的中值)的像素点选中,在两个导航球上分别获得像素点集合Cref和Ct。根据朗勃成像模型S=NL,像素点的集合Cref和Ct总是呈现为圆形。
(三)获得指导光源运动的信息
(3)λt满足如下公式:
说明4:场景中球坐标系的建立
第1步:球坐标系的ZY面与场景成像平面重合。
第2步:Y轴为水平方向。
第3步:场景成像中心与相机中心的连线为X轴方向。
说明5:光源位姿和光源位移的表示
第2步:光源的位移信息使用Δρ=diag(λt)mt表示,diag(λt)为对角矩阵化后的位移距离向量λt。
(五)判断主动光源重现是否完成
判断主动光源重现过程是否完成的具体方法为:
为了避免场景结构差异给对当前光的重现效果的评价造成影响,本方法根据导航球Bref和Bt上的导航圆形Cref和Ct的重合度来评价光源重现的效果。
说明5:Cref和Ct 的重合度的计算
第1步:根据公式:
计算光照重现效果评价参数gt。其中A(reg(Ct)∩reg(Cref))指导航圆形Cref和Ct相交区域的面积,A(reg(Ct)∪reg(Cref))指导航圆形Cref和Ct合并区域的面积。
第2步:当某一次迭代中的gt大于设定的阈值η时,光照重现结束
下面结合具体实例对本发明方法进行可行性验证,详见下文描述:
实验使用佳能5DMarkⅢ相机获取图像,对于同一场景,分别使用一个灯泡和一个手持LED面光板分别作为近场点光源和近场小型面光源。实验在13个场景下进行(S1-S13),场景S1-3、S11和S13中主要为近朗勃平面,其他场景中包含非朗勃平面(如镜面)等。实验中还使用了消费级机械臂,证明了主动光照重现算法实现全自动化的可行性。在场景S1-10中,使用点光源进行光源重现前的多光照图像采集,场景S11-13中,这一过程使用的是手持LED面光源。在全部13个场景中,实验都使用手持光源的方法进行主动光源重现(ALR_H),由于实验使用的机械臂只有三个自由度,对面光源的朝向调整效果不理想,所以实验在场景S11-13中不使用机械臂(ALR_R)。
结果类比选取主动光源重现过程花费的时间和光源重现后拍摄图像与参考图像之间的均方误差(MSE)、峰值信噪比(PSNR)、结构相似性(SSIM)、多层级结构相似性(MS-SSIM)作为评估光源重现方法的指标。
在重现速度上,本方法和最优的方法HSH算法在不同场景下光源重现的结果表明:本方法的重现时间平均只需要3分钟(包括前期获取多光照条件图像花费的时间),而其他算法都至少需要30分钟。
在重现结果的准确度上,根据图2的实验结果显示,无论在什么场景下,本方法的重现结果都要比现有最优方法更加准确;比较手持光源(ALR_H)和机械臂调整光源(ALR_R),可以发现除了场景8,机械臂的准确性都要更好,这是因为机械臂比人力更加稳定。本方法在时间性能和光源重现精度方面均体现了显著的优越性。因此,可以表明发明方法的可行性和优越性。
Claims (5)
1.一种基于平行光类比的主动光照重现方法,其特征在于,所述方法通过主动光照重现模型减少对输入图像数量要求,以实现物理真实的光照成像条件恢复;所述主动光照重现模型通过如下步骤实现:
步骤四,将当前光和参考光渲染到两个相同的具有漫反射材质的单位球上,得到两个实时光照重现导航球Bref和Bt;其中:
402、设定一个阈值T,将Bref和Bt上像素值等于T的像素点选中,其中T表示图像中所有像素值的中值,在两个导航球上分别获得导航圆形Cref和Ct;
步骤五,根据当前光和参考光对单位球的渲染差异,获得最终指导光源运动的位移方向向量mt和位移距离向量λt;其中:
503、λt满足如下公式:
步骤六,判断光源重现过程是否完成,若重现完成则终止;若未完成则重复迭代步骤三至步骤六。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011090155.0A CN112381917B (zh) | 2020-10-13 | 2020-10-13 | 一种基于平行光类比的主动光照重现方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011090155.0A CN112381917B (zh) | 2020-10-13 | 2020-10-13 | 一种基于平行光类比的主动光照重现方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112381917A CN112381917A (zh) | 2021-02-19 |
CN112381917B true CN112381917B (zh) | 2023-01-17 |
Family
ID=74581357
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011090155.0A Active CN112381917B (zh) | 2020-10-13 | 2020-10-13 | 一种基于平行光类比的主动光照重现方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112381917B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102467752A (zh) * | 2010-11-05 | 2012-05-23 | 上海威塔数字科技有限公司 | 一种物理实时渲染三维场景的方法及系统 |
CN102855626A (zh) * | 2012-08-09 | 2013-01-02 | 深圳先进技术研究院 | 光源方向标定及人体信息三维采集方法与装置 |
WO2019070081A1 (ja) * | 2017-10-06 | 2019-04-11 | 大日本印刷株式会社 | ホログラム素子、情報記録媒体、ラベル体、転写箔体、カード、ホログラムシート及びホログラム複製方法 |
-
2020
- 2020-10-13 CN CN202011090155.0A patent/CN112381917B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102467752A (zh) * | 2010-11-05 | 2012-05-23 | 上海威塔数字科技有限公司 | 一种物理实时渲染三维场景的方法及系统 |
CN102855626A (zh) * | 2012-08-09 | 2013-01-02 | 深圳先进技术研究院 | 光源方向标定及人体信息三维采集方法与装置 |
WO2019070081A1 (ja) * | 2017-10-06 | 2019-04-11 | 大日本印刷株式会社 | ホログラム素子、情報記録媒体、ラベル体、転写箔体、カード、ホログラムシート及びホログラム複製方法 |
Non-Patent Citations (5)
Title |
---|
"Difference sphere: an approach to near light source estimation";Takai T 等;《Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2004. CVPR 2004.》;20040719;摘要,第1-2页第1、3节,第3页第4节,第5页第5节 * |
"Inverse Rendering and Relighting From Multiple Color Plus Depth Images";Liu, SY 等;《IEEE TRANSACTIONS ON IMAGE PROCESSING》;20171031;第26卷(第10期);第4951-4961页 * |
"Near-surface lighting estimation and reconstruction";Qian Zhang 等;《2017 IEEE International Conference on Multimedia and Expo (ICME)》;20170831;摘要,第1351-1352页第2节 * |
"未标定光度立体视觉技术研究";赵延松;《中国优秀硕士学位论文全文数据库(信息科技辑)》;20171015;第I138-198页 * |
"虚实融合场景中多光源的位置与强度估计研究";徐超;《中国优秀硕士学位论文全文数据库(信息科技辑)》;20190115;第I138-4867页 * |
Also Published As
Publication number | Publication date |
---|---|
CN112381917A (zh) | 2021-02-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Isler et al. | An information gain formulation for active volumetric 3D reconstruction | |
CN111801198B (zh) | 一种手眼标定方法、系统及计算机存储介质 | |
US20180012411A1 (en) | Augmented Reality Methods and Devices | |
CN108876814B (zh) | 一种生成姿态流图像的方法 | |
CN111325794A (zh) | 一种基于深度卷积自编码器的视觉同时定位与地图构建方法 | |
CN111768447B (zh) | 一种基于模板匹配的单目相机物体位姿估计方法及系统 | |
CN112001926B (zh) | 基于多维语义映射rgbd多相机标定方法、系统及应用 | |
Saito et al. | Relightable gaussian codec avatars | |
CN113361365B (zh) | 定位方法和装置、设备及存储介质 | |
CN113272713A (zh) | 用于执行自改进的视觉测程法的系统和方法 | |
CN110544278B (zh) | 刚体运动捕捉方法及装置、agv位姿捕捉系统 | |
CN115761011A (zh) | 一种线激光3d相机系统全自动标定方法及装置 | |
CN115187612A (zh) | 一种基于机器视觉的平面面积测量方法、装置及系统 | |
US20240013437A1 (en) | Method for providing calibration data for calibrating a camera, method for calibrating a camera, method for producing at least one predefined point-symmetric region, and device | |
CN114266823A (zh) | 一种结合SuperPoint网络特征提取的单目SLAM方法 | |
CN113160416B (zh) | 一种用于煤流检测的散斑成像装置及方法 | |
CN112381917B (zh) | 一种基于平行光类比的主动光照重现方法 | |
Li et al. | Monocular underwater measurement of structured light by scanning with vibrating mirrors | |
Lin et al. | Relightable and animatable neural avatars from videos | |
CN112365537A (zh) | 一种基于三维点云对齐的主动相机重定位方法 | |
Li et al. | Extrinsic calibration of non-overlapping multi-camera system with high precision using circular encoded point ruler | |
McIlroy et al. | Kinectrack: Agile 6-dof tracking using a projected dot pattern | |
CN114241059B (zh) | 一种光度立体视觉系统中相机和光源的同步标定方法 | |
CN112419421B (zh) | 一种相机标定方法和装置 | |
CN113989105B (zh) | 一种单相机球面镜反射成像投影装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |