CN103177432A - 一种用编码孔径相机获取全景图方法 - Google Patents
一种用编码孔径相机获取全景图方法 Download PDFInfo
- Publication number
- CN103177432A CN103177432A CN2013101049171A CN201310104917A CN103177432A CN 103177432 A CN103177432 A CN 103177432A CN 2013101049171 A CN2013101049171 A CN 2013101049171A CN 201310104917 A CN201310104917 A CN 201310104917A CN 103177432 A CN103177432 A CN 103177432A
- Authority
- CN
- China
- Prior art keywords
- spliced
- panorama sketch
- picture
- depth
- photo
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
本发明公开了一种用编码孔径相机获取全景图方法。使用本发明能够获取纯远景以及各处都清晰的全焦图。本发明采用编码孔径相机对场景进行拍摄,通过计算可以得到所拍摄图像中各点处点扩散函数的尺寸,利用点扩散函数的尺寸与深度的对应关系,采用反卷积算法,将图片清晰化,将各清晰化的图片进行拼接从而获得全景图。本发明可以减少图片拼接中因场景中存在遮挡物而带来的拼接错误,以及在拼接全景图时避免由于拍摄时的景深不一致带来的图像模糊问题。本发明采用编码相机对场景进行采集,设备要求相对简单,获取优化全景图时无需使用额外的深度获取设备;拍摄过程简单方便,容易实施与推广。
Description
技术领域
本发明涉及全景图拼接方法,具体涉及一种用编码孔径相机获取全景图方法。
背景技术
全景图能够极大地扩展相机的拍摄范围,给人带来视觉的震撼以及身临其境的感觉,是提高人在虚拟环境中沉浸感的一种重要手段。经典的全景图拼接讨论了拼接过程中图像关键点的选择、图像的注册、校准与相互融合等问题,主要的工作是将所获得的照片直接拼接融合在一起,呈现拍摄时获取的原始场景图像,而并未对拼接中全景图存在近景物体时的拼接以及非对焦区域的离焦模糊等问题进行处理。
当前景物体存在于一个完美的场景里时,它会挡住场景的一部分,甚至导致拼接出现问题,令原本完美的场景变得不完美。例如,在高处拍全景图时,周围距离特别近的栏杆可能会出现在镜头中;拍摄的巨幅壁画前,有一些其他景物(如树木、电线杆或者行人)遮住了壁画的一部分;或者所关心的大楼前有运动的物体(如往来飞驰的汽车等),而无法通过拍照获得完全纯净的大楼的全景照片。在这样的场景下拍摄的图片用于全景图拼接时,可能会给拼接带来不好的影响,全景图中多出了若干不希望看到的近景物体,会影响整个全景图的美观;再者由于一些运动前景物体位置的变化,可能会使全景图中出现两个或者更多该物体,影响视觉效果;最后图片中出现的近景物体会影响图片匹配时SIFT关键点的匹配导致全景图出现错误,产生所谓的“鬼影”。
同时,目前的大范围全景图拼接大多没有考虑场景中含有近景物体的问题,传统的中心柱状或球状全景图在拍摄时通常将焦距固定在某一距离,由于对象场景通常较远,场景远近物体的离焦量等一些相对变化量很小,此时近景物体在远景物体中的影响可以忽略,而在拍摄距离范围较近场合下,离焦场景图像的模糊问题就会凸显出来。
全景图中一类——多视点全景图经常被用来获取街区等长距离范围的建筑景物等,难免会在拍摄的过程遇到汽车、行人等非关心景物,现有的方法不仅没有对其进行去除,反而将这些前景物体拼接在全景图中。如果需要连续视频图像序列作为输入,来建立远景全景图或对图像进行清晰化处理,相比于用相机获取照片源来说,在设备要求上比较高。即便生成了含有深度信息的全景图或对场景进行了重建,也未对图片中前景对远景的遮挡等问题进行处理。
消去现实是一种能让前景物体从现实中“消失”技术,但大多数的该类系统需要多台摄像机或者从一段有变化的视频来获取不同位置的信息。如果只用一台摄像机视频流的消去现实系统,只能够对于相对简单的纹理获得较好的效果,无法真正获得前景物体后方的信息。
现今全景图的拼接依然存在一些缺陷:
1.呈现拍摄时获取的原始场景图像时,并未对拼接中全景图存在近景物体时的拼接以及非对焦区域的离焦模糊等问题进行处理。
2.在拍全景图时,周围距离特别近的物体可能会出现在镜头中,再者背景前中距离的物体也可能出现在镜头中,而且这些物体可能是静止的也可能是运动的,从而无法通过拍照获得完全纯净的背景的全景照片。
发明内容
有鉴于此,本发明提供了一种用编码孔径相机获取全景图方法,能够获取纯远景以及各处都清晰的全焦图。
本发明的用编码孔径相机获取全景图方法,包括以下步骤:
步骤1,将编码孔径相机始终对于某一距离对焦,获取目标场景图片,并按照不同尺寸点扩散函数所对应的深度将场景划分为N个深度层,根据所需的深度,将图像的对应区域选出;若所需深度区域为对焦区域,则进行步骤3;若所需深度区域为未对焦区域,则进行步骤2;
步骤2,若所需深度区域为未对焦区域,则根据计算深度层用k层所对应的点扩散函数fk对由于离焦产生模糊的图像y进行反卷积,得到所需深度区域的清晰图像;其中,fk为第k个深度层对应的点扩散函数,k=1,2,…,N;y为由于离焦产生模糊的图像,xk为利用点扩散函数fk对由于离焦产生模糊的图像y进行反卷积的结果,λk为经验参数;
步骤3,在不同的位置或者不同的角度对所需场景进行拍摄,获得所需待拼接照片,重复步骤1或重复步骤1、步骤2,将待拼接照片清晰化,并对所有图片进行全景图的拼接;
步骤4,对于步骤3中获得的全景图,若有部分区域由于信息不足而无法进行拼接时,则再对其进行局部补拍,获得所需待拼接照片,重复步骤1、步骤3或重复步骤1、步骤2、步骤3,将待拼接照片清晰化,与步骤3中获得的全景图进行拼接。
当拍摄场景中存在运动前景时,则在步骤1中在同一位置同一角度拍摄多幅照片以获得完备的后景信息;后景图片的融合可直接将所有提取的后景图片对齐后按照公式
直接叠加,其中B表示融合出的背景,I表示原图,M表示图片的背景蒙版,i表示是在该位置该角度拍摄照片的序号,i=1,2,…,T,其中T表示在该位置该角度拍摄照片的最大张数。
有益效果:
本发明的全景图拼接方法可以获得没有遮挡物体的优化的全景图,相比于传统全景图效果更好;本发明可以减少图片拼接中因场景中存在遮挡物而带来的拼接错误,以及在拼接全景图时避免由于拍摄时的景深不一致带来的图像模糊问题。本发明采用编码相机对场景进行采集,设备要求相对简单,获取优化全景图时无需使用额外的深度获取设备;拍摄过程简单方便,容易实施与推广。
附图说明
图1为编码孔径镜头光路示意图。
图2是编码孔径相机在不同深度处的点扩散函数(对焦于1.9m)。
图3为本发明的实施流程图。
图4为静止环境中利用本发明方法获得优化全景图的一个实例。
图5为在有运动对象的环境中利用本发明方法进行同一位置同一角度图片融合的实例。
具体实施方式
下面结合附图并举实施例,对本发明进行详细描述。
本发明提供了一种用编码孔径相机获取全景图方法,采用编码孔径相机对场景进行拍摄。
传统全景图的拍摄器具通常是普通的单反相机,相机的孔径是圆形或者多边形,其点扩散函数也呈圆形或者相应的多边形,即未对焦物点的像呈圆形或者多边形。这种相机拍摄的照片只能获得场景的二维信息,即图片信息。在普通单反相机镜头的孔径光阑处加入一个带有由二值编码确定透光形状的挡片(即编码孔径),使普通单反相机变成编码孔径相机。编码孔径相机与普通单反相机的差别是其点扩散函数发生了变化,呈与编码类似的形状。当相机固定焦距时,点扩散函数也随不同的拍摄距离(即深度)呈现出不同的尺寸,而不同尺寸的点扩散函数则在图像中表现为不同程度的模糊(与普通单反相机拍摄的离焦模糊效果类似),如图1、图2所示。通过计算可以得到所拍摄图像中各点处点扩散函数的尺寸,利用点扩散函数的尺寸与深度的对应关系,即可计算图像中各点的深度信息。具体说来,是利用一种对点扩散函数尺度敏感的反卷积算法(去模糊算法)对图像进行逐区域的计算,当区域深度与反卷积的点扩散函数尺寸对应时,反卷积的计算结果为清晰的图像;而当区域深度与反卷积的点扩散函数尺寸未对应时,反卷积的计算结果中则会产生振铃效应或者仍然是不清晰的图像。显然,利用各个区域对应深度的点扩散函数进行反卷积即可以获得一幅各处都清晰的图片(全焦图)。
首先对编码孔径相机获取的源图像分别进行处理,在图片中提取出相应区域的深度信息,根据实际应用需要将图片中不同的区域划分为若干不同的距离层(深度层),例如深度层1为2米处的物体,深度层2为3.5米处的物体,深度层3为5米处的物体,等等。在此基础上,选取所需要的特定深度层的图片区域,滤去会导致其拼接不完美甚至拼接错误的近景物体,重新进行图像拼接。对于相机固定对焦拍摄出的图片,由于图片中的物体远近的不同,未对焦的物体会存在一些离焦模糊,结合编码孔径图片中提取的深度以及相应的去模糊算法,即可去除相应的模糊,在远近不同的区域都可以获得较为清晰的图片,从而获得各处都清晰的全景图。
图3为本发明方法实施流程图,所述优化的全景图获取包括以下几个步骤:
步骤1,将编码孔径相机始终对于某一距离对焦,获取目标场景图片,并按照不同尺寸点扩散函数所对应的深度将场景划分为N个可能的深度层,例如深度层1为2米处的物体,深度层2为3.5米处的物体,深度层3为5米处的物体,等等。根据所需的深度,将图像的对应区域选出;由于在全景图拍摄过程中,相机始终对于某一距离对焦,其他距离的像会产生模糊。若所需深度区域为对焦区域,则进行步骤3;若所需深度区域为未对焦区域,则进行步骤2;
步骤2,若所需深度区域为未对焦区域,则根据计算深度层用其所对应的点扩散函数fk对图像进行反卷积,得到感兴趣区域的清晰图像;其中,fk为第k个深度层对应的点扩散函数,k=1,2,…,N;y为由于离焦产生模糊的图像,xk为利用fk对y进行反卷积的结果,λk为经验参数,为了调节ek在计算中出现的抖动。
步骤3,在不同的位置或者不同的角度对场景其余部分进行拍摄,获得所需待拼接照片,重复步骤1或重复步骤1、步骤2,将待拼接照片清晰化,并对所有图片进行全景图的拼接;
步骤4,对于步骤3中获得的全景图,若有部分区域由于信息不足而无法进行拼接时,则再对其进行局部补拍,获得所需待拼接照片,重复步骤1、步骤3或重复步骤1、步骤2、步骤3,将待拼接照片清晰化,与步骤3中获得的全景图进行拼接。
步骤101,当拍摄场景中存在运动前景时,则在步骤1中在同一位置同一角度拍摄多幅照片以获得完备的后景信息。由于后景在图像中的投影完全没有差别,后景图片的融合可直接将所有提取的后景图片对齐后按照公式
直接叠加,其中B表示融合出的背景,I表示原图,M表示图片的背景蒙版,i表示是在该位置该角度拍摄照片的序号,i=1,2,…,T,其中T表示在该角度拍摄照片的总张数。融合的结果是得到了该位置该角度上无前景物体的照片,将多幅照片成为一张可用的照片。
图4是静止环境中利用本发明方法获得优化全景图的一个实例。拼接过程主要关心的是后景涂鸦墙。两张利用编码孔径相机拍摄的待拼接图片中的一部分被前景(绿色小灌木)遮挡部分区域。利用步骤1中所描述的方法计算出两幅图的深度层,并获得只含所需要深度层(后景)的两幅图片,获得拼接结果1,小灌木处附近由于遮挡,后景信息缺失。拼接结果1再与其他位置拍摄的两幅相邻图像进行拼接,获得拼接结果2;与拼接结果1比较,被遮挡处的信息补充了一些,但仍有部分区域信息缺失。再进行步骤4,对被遮挡的部分进行局部补拍,与前面的结果进行拼接,得到拼接结果3,此时被遮挡的信息缺失部分已经补全。
图5是在有运动对象的环境中利用本发明方法进行同一位置同一角度图片融合的实例。在该位置该角度利用编码孔径相机拍摄5张照片,前景是运动的人和球,后景是篮球架和其他的景物。获取每张图的深度(前后景)信息后,将每一张图片的后景提取出来;在对齐它们之后取得相同的部分,即可完成同一位置同一角度后景图片融合,获得的结果中不存在运动的前景物体。
综上所述,以上仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (2)
1.一种用编码孔径相机获取全景图方法,其特征在于,包括以下步骤:
步骤1,将编码孔径相机始终对于某一距离对焦,获取目标场景图片,并按照不同尺寸点扩散函数所对应的深度将场景划分为N个深度层,根据所需的深度,将图像的对应区域选出;若所需深度区域为对焦区域,则进行步骤3;若所需深度区域为未对焦区域,则进行步骤2;
步骤2,若所需深度区域为未对焦区域,则根据计算深度层用k层所对应的点扩散函数fk对由于离焦产生模糊的图像y进行反卷积,得到所需深度区域的清晰图像;其中,fk为第k个深度层对应的点扩散函数,k=1,2,…,N;y为由于离焦产生模糊的图像,xk为利用点扩散函数fk对由于离焦产生模糊的图像y进行反卷积的结果,λk为经验参数;
步骤3,在不同的位置或者不同的角度对所需场景进行拍摄,获得所需待拼接照片,重复步骤1或重复步骤1、步骤2,将待拼接照片清晰化,并对所有图片进行全景图的拼接;
步骤4,对于步骤3中获得的全景图,若有部分区域由于信息不足而无法进行拼接时,则再对其进行局部补拍,获得所需待拼接照片,重复步骤1、步骤3或重复步骤1、步骤2、步骤3,将待拼接照片清晰化,与步骤3中获得的全景图进行拼接。
2.如权利要求1所述的一种用编码孔径相机获取全景图方法,其特征在于,当拍摄场景中存在运动前景时,则在步骤1中在同一位置同一角度拍摄多幅照片以获得完备的后景信息;后景图片的融合可直接将所有提取的后景图片对齐后按照公式
直接叠加,其中B表示融合出的背景,I表示原图,M表示图片的背景蒙版,i表示是在该位置该角度拍摄照片的序号,i=1,2,…,T,其中T表示在该位置该角度拍摄照片的最大张数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310104917.1A CN103177432B (zh) | 2013-03-28 | 2013-03-28 | 一种用编码孔径相机获取全景图方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310104917.1A CN103177432B (zh) | 2013-03-28 | 2013-03-28 | 一种用编码孔径相机获取全景图方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103177432A true CN103177432A (zh) | 2013-06-26 |
CN103177432B CN103177432B (zh) | 2015-11-18 |
Family
ID=48637264
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310104917.1A Active CN103177432B (zh) | 2013-03-28 | 2013-03-28 | 一种用编码孔径相机获取全景图方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103177432B (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103685956A (zh) * | 2013-12-11 | 2014-03-26 | 宇龙计算机通信科技(深圳)有限公司 | 一种全景照片拍摄方法及装置 |
CN105205796A (zh) * | 2014-06-30 | 2015-12-30 | 华为技术有限公司 | 广域图像获取方法和装置 |
CN105474622A (zh) * | 2013-08-30 | 2016-04-06 | 高通股份有限公司 | 用于产生全对焦图像的方法和设备 |
CN105516573A (zh) * | 2016-02-01 | 2016-04-20 | 清华大学 | 去模糊成像的装置和方法 |
CN106875348A (zh) * | 2016-12-30 | 2017-06-20 | 成都西纬科技有限公司 | 一种重对焦图像处理方法 |
CN109089040A (zh) * | 2018-08-20 | 2018-12-25 | Oppo广东移动通信有限公司 | 图像处理方法、图像处理装置及终端设备 |
CN110099220A (zh) * | 2019-06-17 | 2019-08-06 | 广东中星微电子有限公司 | 一种全景拼接方法及装置 |
WO2023192706A1 (en) * | 2022-03-31 | 2023-10-05 | Qualcomm Incorporated | Image capture using dynamic lens positions |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090278859A1 (en) * | 2005-07-15 | 2009-11-12 | Yissum Research Development Co. | Closed form method and system for matting a foreground object in an image having a background |
CN102438102A (zh) * | 2011-10-26 | 2012-05-02 | 西安电子科技大学 | 基于压缩编码孔径的超分辨率成像系统及成像方法 |
CN102859389A (zh) * | 2010-04-30 | 2013-01-02 | 伊斯曼柯达公司 | 使用编码孔径的距离测量 |
-
2013
- 2013-03-28 CN CN201310104917.1A patent/CN103177432B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090278859A1 (en) * | 2005-07-15 | 2009-11-12 | Yissum Research Development Co. | Closed form method and system for matting a foreground object in an image having a background |
CN102859389A (zh) * | 2010-04-30 | 2013-01-02 | 伊斯曼柯达公司 | 使用编码孔径的距离测量 |
CN102438102A (zh) * | 2011-10-26 | 2012-05-02 | 西安电子科技大学 | 基于压缩编码孔径的超分辨率成像系统及成像方法 |
Non-Patent Citations (3)
Title |
---|
ANAT LEVIN 等: "Image and Depth from a Conventional Camera with a Coded Aperture", 《ACM TRANSACTION ON GRAPHICS》, vol. 26, no. 3, 31 July 2007 (2007-07-31), XP055165197, DOI: 10.1145/1276377.1276464 * |
ZHANG YU-PENG 等: "Automatic Foreground-background Segmentation Based on Depth from Coded Aperture", 《PHOTONICS AND OPTOELECTRONICS (SOPO) 2012》, 23 May 2012 (2012-05-23) * |
江铁 等: "全景图像拼接技术研究现状综述", 《重庆工商大学学报( 自然科学版)》, vol. 29, no. 12, 31 December 2012 (2012-12-31) * |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105474622A (zh) * | 2013-08-30 | 2016-04-06 | 高通股份有限公司 | 用于产生全对焦图像的方法和设备 |
CN105474622B (zh) * | 2013-08-30 | 2018-12-21 | 高通股份有限公司 | 用于产生全对焦图像的方法和设备 |
CN103685956A (zh) * | 2013-12-11 | 2014-03-26 | 宇龙计算机通信科技(深圳)有限公司 | 一种全景照片拍摄方法及装置 |
CN105205796A (zh) * | 2014-06-30 | 2015-12-30 | 华为技术有限公司 | 广域图像获取方法和装置 |
WO2016000527A1 (zh) * | 2014-06-30 | 2016-01-07 | 华为技术有限公司 | 广域图像获取方法和装置 |
US10609282B2 (en) | 2014-06-30 | 2020-03-31 | Huawei Technologies Co., Ltd. | Wide-area image acquiring method and apparatus |
CN105516573B (zh) * | 2016-02-01 | 2018-08-28 | 清华大学 | 去模糊成像的装置和方法 |
CN105516573A (zh) * | 2016-02-01 | 2016-04-20 | 清华大学 | 去模糊成像的装置和方法 |
CN106875348A (zh) * | 2016-12-30 | 2017-06-20 | 成都西纬科技有限公司 | 一种重对焦图像处理方法 |
CN106875348B (zh) * | 2016-12-30 | 2019-10-18 | 成都西纬科技有限公司 | 一种重对焦图像处理方法 |
CN109089040A (zh) * | 2018-08-20 | 2018-12-25 | Oppo广东移动通信有限公司 | 图像处理方法、图像处理装置及终端设备 |
CN109089040B (zh) * | 2018-08-20 | 2021-05-14 | Oppo广东移动通信有限公司 | 图像处理方法、图像处理装置及终端设备 |
CN110099220A (zh) * | 2019-06-17 | 2019-08-06 | 广东中星微电子有限公司 | 一种全景拼接方法及装置 |
WO2023192706A1 (en) * | 2022-03-31 | 2023-10-05 | Qualcomm Incorporated | Image capture using dynamic lens positions |
Also Published As
Publication number | Publication date |
---|---|
CN103177432B (zh) | 2015-11-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103177432B (zh) | 一种用编码孔径相机获取全景图方法 | |
US10425638B2 (en) | Equipment and method for promptly performing calibration and verification of intrinsic and extrinsic parameters of a plurality of image capturing elements installed on electronic device | |
Wadhwa et al. | Synthetic depth-of-field with a single-camera mobile phone | |
CN106462944B (zh) | 高分辨率全景vr生成器及方法 | |
CN104580878B (zh) | 电子装置以及自动决定影像效果的方法 | |
US9350924B2 (en) | Portable electronic devices with integrated image/video compositing | |
TWI510086B (zh) | 數位重對焦方法 | |
JP5968107B2 (ja) | 画像処理方法、画像処理装置およびプログラム | |
Matsuyama et al. | 3D video and its applications | |
CN114245905A (zh) | 深度感知照片编辑 | |
US10708486B2 (en) | Generation of a depth-artificial image by determining an interpolated supplementary depth through interpolation based on the original depths and a detected edge | |
US9807372B2 (en) | Focused image generation single depth information from multiple images from multiple sensors | |
EP3005286B1 (en) | Image refocusing | |
KR20110078175A (ko) | 영상 데이터 생성 방법 및 장치 | |
JP7378219B2 (ja) | 撮像装置、画像処理装置、制御方法、及びプログラム | |
WO2010036240A1 (en) | Image segmentation from focus varied images using graph cuts | |
US8934730B2 (en) | Image editing method and associated method for establishing blur parameter | |
JP2012195797A (ja) | パンフォーカス画像生成装置 | |
US20220046189A1 (en) | Method for Improved Acquisition of Images for Photogrammetry | |
CN108564654B (zh) | 三维大场景的画面进入方式 | |
JP6976754B2 (ja) | 画像処理装置および画像処理方法、撮像装置、プログラム | |
TWI504936B (zh) | 影像處理裝置 | |
Liang et al. | The" Vertigo Effect" on Your Smartphone: Dolly Zoom via Single Shot View Synthesis | |
CN114022562A (zh) | 一种保持行人完整性的全景视频拼接方法和装置 | |
Oliveira et al. | Lenslet light field panorama creation: a sub-aperture image stitching approach |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |