CN102147931A - 基于渲染的单幅图像单点光源定位方法 - Google Patents

基于渲染的单幅图像单点光源定位方法 Download PDF

Info

Publication number
CN102147931A
CN102147931A CN 201110070348 CN201110070348A CN102147931A CN 102147931 A CN102147931 A CN 102147931A CN 201110070348 CN201110070348 CN 201110070348 CN 201110070348 A CN201110070348 A CN 201110070348A CN 102147931 A CN102147931 A CN 102147931A
Authority
CN
China
Prior art keywords
light source
image
images
analog light
rendering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN 201110070348
Other languages
English (en)
Inventor
黄本雄
罗霄凌
胡海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN 201110070348 priority Critical patent/CN102147931A/zh
Publication of CN102147931A publication Critical patent/CN102147931A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Generation (AREA)

Abstract

本发明为一种基于渲染的单幅图像单点光源定位方法。所述方法包括源图像读取、源图像预处理、三维模型建立、图像渲染、图像比对和参数确定等多个步骤,通过正向试根的方式得到光源位置参数,通过观测的函数极值得到光源位置。通过该方法能够对简单真实图像进行单点光源的定位,对于单点光源照射形成的图像,克服了现有光源定位方法必须对图像进行干扰或者对图像元素要求较高的限制。本方法还具有定位准确,可扩展性强的优点。

Description

基于渲染的单幅图像单点光源定位方法
技术领域
本发明涉及到观测图像或图像序列中分析图像的节本特征,并进行描述和解释,属于图像理解的范畴;具体涉及到计算机图形学、计算机视觉和数字图像处理等领域。
背景技术
在基于图象合成的图像理解方法中,为了使虚拟物体看起来较为真实,就要求虚拟物体表面的光照情况和阴影符合真实场景的现实情况,使人眼认为虚拟物体也受到与真实世界相同的光源的照射。要使虚拟物体的光照效果与真实世界的情况尽量相似,主要需要解决的问题就是光源追踪问题,即主要需要求出点光源的位置或是平行光的向量。但由于之前的光源定位方法无法在对图像不进行干扰的情况下提取出光源参数,对图像的特点要求较高,所以显得效率低下。
目前的一些光源追踪方法多数要在原三维场景中加入一些标定物体,如朗伯体球和标定立方体、或金属球等特殊物体,这种光源定位方式存在一些不足:(1)对不知道三维立体场景的照片无法进行光源定位。数码相机采集的图像,或者已知的图片,远离了采集场景后,无法在三维场景中加入特殊物体,所以就无法得到光源参数。(2)对已经有特征物体的图像很难提取出特征信息。对于真实图像,图像中会有很多噪声对图像信息进行干扰,从图像中提取出需要的光源定位信息,是一件非常困难的事情。(3)以往的方法都是利用到图像的局部信息进行光源定位,对图像的整体信息利用不足。
发明内容
本发明所要解决的技术问题是针对目前流行的光源追踪方法的不足,提出了一种新的基于渲染的光源定位方法,它可以实现对单幅简单图像进行光源定位。
为解决上述技术问题,本发明提出了一种基于渲染的光源定位方法,具体包括以下步骤:
步骤一、读取图像采集设备所采集的源图像;
步骤二、对所述源图像进行预处理,提取并判别出当前灰度场景中图像的三维特征;
步骤三、根据所述预处理得到的三维特征构建所述源图像的三维立体模型;
步骤四、在所述三维立体模型上设定某个点作为光源中心;
步骤五、利用渲染软件,在所述三维立体模型上设定一个相对光源中心一定距离的模拟光源,对具有该模拟光源的所述三维立体模型进行图像渲染,得到一个包括模拟光源信息的渲染图像;
步骤六、将模拟光源相对光源中心在三维空间内移动一个步进值,即,得到具有另一空间参数的新的模拟光源,然后利用渲染软件,对具有新的模拟光源的所述三维立体模型进行图像渲染,得到另一个包括模拟光源信息的渲染图像;
步骤七、重复步骤六,直到模拟光源的步进次数达到最大步进次数,得到若干个包括不同模拟光源信息的渲染图像;
步骤八、将所述若干个包括不同模拟光源信息的渲染图像分别与所述源图像对比,得到若干个相关度系数;
步骤九、找出相关度系数最大的渲染图像所对应的模拟光源即被认为真实光源,该模拟光源信息所对应的光源空间参数即真实光源位置。
作为优化,在所述步骤一中,将所述源图像以灰度矩阵方式存储。
同样优化的,在所述步骤八,将所述若干个包括不同模拟光源信息的渲染图像分别与所述源图像对比之前,将所述源图像和包括不同模拟光源信息的渲染图像分别转换为灰度图像。
更加优化的,在所述将所述若干个包括不同模拟光源信息的渲染图像分别与所述源图像对比之前,将已经为灰度图像的源图像和若干个渲染图像分别进行灰度分级处理。
采用本发明,通过该方法能够对简单真实图像进行单点光源的定位,对于单点光源照射形成的图像,通过渲染技术产生出渲染图像,然后通过与真实图像的比较,得到最佳的光源参数。克服了现有光源定位方法必须对图像进行干扰或者对图像元素要求较高的限制。
附图说明
下面结合附图和具体实施方式对本发明的技术方案作进一步具体说明。
图1是基于渲染的单幅图像单点光源定位方法的结构框图。
图2是平面和乒乓球组成的输入源图像。
图3是渲染软件中进行三维建模后的场景。
图4是渲染软件生成的光源位置在球右方的渲染图像。
图5是渲染软件生成的光源位置在球左方的渲染图像。
图6是渲染软件生成的光源位置在球后方的渲染图像。
图7是渲染软件生成的光源位置在球前方的渲染图像。
图8是进行多次比对后生成的比对矩阵的图像。
具体实施方式
如图1为基于渲染的单幅图像单点光源定位方法的流程图。
步骤开始,
步骤01:读取图像采集设备如CCD相机所采集的RGB源图像,并将源图像以灰度矩阵方式存储;
步骤02、对源图像进行预处理,提取并判别出当前灰度场景中图像的三维特征;即通过图像理解,在源图像中得到拍摄场景的三维物体的形状和摄像机参数信息,以便后续在渲染软件中建立相应的三维拍摄场景。
步骤03、根据预处理得到的三维特征,利用渲染软件构建源图像的三维立体模型;
步骤04、在三维立体模型上设定某个点作为光源中心。因为物体是接受光照的,所以光源位置一定在平面以上的可以反射光源的区域,所以可以通过先验知识设定某一个点作为光源中心位置,以及光源遍历移动的大致范围。光源中心位置一般设在源图像中心。光源中心可采用多种坐标方式,如球坐标系(r,θ,φ)或直角坐标系(x,y,z)。
步骤05、利用渲染软件,在三维立体模型上设定一个相对光源中心一定距离的模拟光源,如直角坐标系下的(1,1,1),对具有该模拟光源的三维立体模型进行图像渲染,得到一个包括模拟光源信息的渲染图像;模拟光源的位置信息与光源中心采用同一坐标系。
步骤06、将模拟光源相对光源中心在三维空间内移动一个步进值,则得到具有另一位置参数的新的模拟光源,如直角坐标系下的(2,1,1);然后利用渲染软件,对具有新的模拟光源的三维立体模型进行图像渲染,得到另一个包括模拟光源信息的渲染图像;
步骤07、判断模拟光源的步进次数达到最大步进次数?如果否,则重复步骤06,如果是,进入步骤08;
步骤08、将源图像和得到的若干个渲染图像分别进行灰度分级处理,得到若干个灰度矩阵,然后,将若干个渲染图像的灰度矩阵分别与源图像的灰度矩阵对比,在本实施例中是采用的灰度矩阵求相关的方法,可以避免亮度对灰度矩阵的影响,从而得到若干个相关度系数,将这个相关系数对应的光源位置参数存储在光源位置矩阵中。图像比对中,包括了灰度相关比对,图像形状参数比对,图像偏心率比对、图像球状性比对、图像圆形性比对等多种比对方法。
步骤09、在光源位置矩阵中求最大值,找出相关度系数最大的渲染图像所对应的模拟光源即被认为真实光源,该模拟光源信息所对应的光源空间参数即真实光源位置。因为在其余参数一定的情况下,当光源位置最接近的相关系数最大。
步骤结束。
如图2所示的平面和乒乓球组成的输入源图像。在得到的源图像中,有简单的物体圆球和平面,则根据源图像中的信息在渲染软件中对三维物体进行建模,如图3所示。但是要生成渲染图像还需要加入光源信息,光源信息主要由光源位置、颜色、强度组成。
当三维物体场景模型建立后,加上适合的光源设置,就可以在渲染软件中生成渲染图像,如图4所示,以便于后面的图像对比。然后对渲染图像进行如源图像一样以灰度矩阵的方式存储,然后对两个灰度矩阵进行相关比对,这样会得到一个相关系数。
移动光源位置,再对图像进行渲染,则又得到一张渲染图像,然后再对渲染图像进行如上所示的存储比对,又得到一个相关系数。如此,将光源位置在空间中移动后得到一个相关系数矩阵,如图5、图6、图7所示。则相关系数最大的位置就是光源所在位置得出的相关系数,如图8所示,从而确定光源位置。
最后所应说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的精神和范围,其均应涵盖在本发明的权利要求范围当中。

Claims (4)

1.基于渲染的单幅图像单点光源定位方法,其特征在于,包括以下步骤:
步骤一、读取图像采集设备所采集的源图像;
步骤二、对所述源图像进行预处理,提取并判别出当前灰度场景中图像的三维特征;
步骤三、根据所述预处理得到的三维特征构建所述源图像的三维立体模型;
步骤四、在所述三维立体模型上设定某个点作为光源中心;
步骤五、利用渲染软件,在所述三维立体模型上设定一个相对光源中心一定距离的模拟光源,对具有该模拟光源的所述三维立体模型进行图像渲染,得到一个包括模拟光源信息的渲染图像;
步骤六、将模拟光源相对光源中心在三维空间内移动一个步进值,即,得到具有另一空间参数的新的模拟光源,然后利用渲染软件,对具有新的模拟光源的所述三维立体模型进行图像渲染,得到另一个包括模拟光源信息的渲染图像;
步骤七、重复步骤六,直到模拟光源的步进次数达到最大步进次数,得到若干个包括不同模拟光源信息的渲染图像;
步骤八、将所述若干个包括不同模拟光源信息的渲染图像分别与所述源图像对比,得到若干个相关度系数;
步骤九、找出相关度系数最大的渲染图像所对应的模拟光源即被认为真实光源,该模拟光源信息所对应的光源空间参数即真实光源位置。
2.根据权利要求1所述的基于渲染的单幅图像单点光源定位方法,其主要特征在于,在所述步骤一中,将所述源图像以灰度矩阵方式存储。
3.根据权利要求1所述的基于渲染的单幅图像单点光源定位方法,其主要特征在于,在所述步骤八,将所述若干个包括不同模拟光源信息的渲染图像分别与所述源图像对比之前,将所述源图像和包括不同模拟光源信息的渲染图像分别转换为灰度图像。
4.根据权利要求2或3所述的基于渲染的单幅图像单点光源定位方法,其主要特征在于,在所述将所述若干个包括不同模拟光源信息的渲染图像分别与所述源图像对比之前,将已经为灰度图像的源图像和若干个渲染图像分别进行灰度分级处理。
CN 201110070348 2011-03-23 2011-03-23 基于渲染的单幅图像单点光源定位方法 Pending CN102147931A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 201110070348 CN102147931A (zh) 2011-03-23 2011-03-23 基于渲染的单幅图像单点光源定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 201110070348 CN102147931A (zh) 2011-03-23 2011-03-23 基于渲染的单幅图像单点光源定位方法

Publications (1)

Publication Number Publication Date
CN102147931A true CN102147931A (zh) 2011-08-10

Family

ID=44422180

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 201110070348 Pending CN102147931A (zh) 2011-03-23 2011-03-23 基于渲染的单幅图像单点光源定位方法

Country Status (1)

Country Link
CN (1) CN102147931A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105261318A (zh) * 2015-11-11 2016-01-20 北京航空航天大学 光场照明方法、装置及系统
CN108414195A (zh) * 2018-01-17 2018-08-17 深圳市绚视科技有限公司 待测光源发射器的检测方法、装置、系统及存储装置
JP2019527355A (ja) * 2016-07-18 2019-09-26 ウニヴェアズィテート バーゼル デジタル画像における改善された光沢表現のためのコンピュータシステムおよび方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1720552A (zh) * 2002-12-06 2006-01-11 科乐美股份有限公司 图像处理装置、图像处理方法、程序及信息存储媒体

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1720552A (zh) * 2002-12-06 2006-01-11 科乐美股份有限公司 图像处理装置、图像处理方法、程序及信息存储媒体

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
《2008 Congress on Image and Signal Processing》 20080530 Yan Feng Estimation of Light Source Environment for Illumination Consistency of Augmented Reality 全文 1-4 , *
《2009 Eigth IEEE/ACIS International Conference on Computer and Information Science》 20090603 Jintao Ma et al Efficient Estimation of Multiple Illuminant Directions Using C-means Clustering and Self-correction for Augmented Reality 摘要,第II节步骤C,及图3、图5 1-4 , *
《Proc. of SPIE - International Symposium on Photoelectronic Detection and Imaging 2007》 20070909 Jin-Tao Ma et al Marker Cube and Probe Sphere Based Illuminant Detection Algorithm 摘要,第2节,第3节第4段,及图4、图7、图8、图9 1-4 第6623卷, *
《计算机学报》 20100531 佟强 等 利用平面虚拟点光源的素描图像绘制 全文 1-4 第33卷, 第5期 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105261318A (zh) * 2015-11-11 2016-01-20 北京航空航天大学 光场照明方法、装置及系统
US9924144B2 (en) 2015-11-11 2018-03-20 Beihang University Light field illuminating method, device and system
JP2019527355A (ja) * 2016-07-18 2019-09-26 ウニヴェアズィテート バーゼル デジタル画像における改善された光沢表現のためのコンピュータシステムおよび方法
CN108414195A (zh) * 2018-01-17 2018-08-17 深圳市绚视科技有限公司 待测光源发射器的检测方法、装置、系统及存储装置

Similar Documents

Publication Publication Date Title
US11182614B2 (en) Methods and apparatuses for determining and/or evaluating localizing maps of image display devices
CN105765631B (zh) 对跟踪和映射误差稳健的大规模表面重构
US10607567B1 (en) Color variant environment mapping for augmented reality
US20180276882A1 (en) Systems and methods for augmented reality art creation
US20080024523A1 (en) Generating images combining real and virtual images
CN102768765B (zh) 实时点光源软阴影渲染方法
US20140307055A1 (en) Intensity-modulated light pattern for active stereo
CN110022470A (zh) 使用合成图像训练对象检测算法的方法和系统和存储介质
CN107025683A (zh) 一种信息处理方法及电子设备
CN109308722A (zh) 一种基于主动视觉的空间位姿测量系统及方法
CN104322052A (zh) 用于实时混合或复合计算机生成的三维对象和电影摄影机馈送视频的系统
CN110073362A (zh) 用于车道标记检测的系统及方法
CN106600650A (zh) 一种基于深度学习的双目视觉深度信息获取方法
CN105654547B (zh) 三维重建方法
JP2006053694A (ja) 空間シミュレータ、空間シミュレート方法、空間シミュレートプログラム、記録媒体
US11900649B2 (en) Methods, systems, articles of manufacture and apparatus to generate digital scenes
KR102502310B1 (ko) 적외선 이미징을 사용한 색상 식별
CN110363061A (zh) 计算机可读介质、训练对象检测算法的方法及显示装置
CN103593641B (zh) 基于立体摄像机的物体检测方法和装置
CN105096374A (zh) 材料的着色cg表现
CN103262126A (zh) 图像处理装置、照明处理装置及其方法
CN106716497A (zh) 在表面重构中使用自由形式变形
CN107193380B (zh) 一种高精度虚拟现实定位系统
CN109668545A (zh) 用于头戴式显示装置的定位方法、定位器以及定位系统
EP4134917A1 (en) Imaging systems and methods for facilitating local lighting

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20110810