CN103473746A - 增强现实中定标板的实时移除方法 - Google Patents

增强现实中定标板的实时移除方法 Download PDF

Info

Publication number
CN103473746A
CN103473746A CN2013104227518A CN201310422751A CN103473746A CN 103473746 A CN103473746 A CN 103473746A CN 2013104227518 A CN2013104227518 A CN 2013104227518A CN 201310422751 A CN201310422751 A CN 201310422751A CN 103473746 A CN103473746 A CN 103473746A
Authority
CN
China
Prior art keywords
calibration plate
image
picture
augmented reality
texture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2013104227518A
Other languages
English (en)
Other versions
CN103473746B (zh
Inventor
陈佳舟
秦绪佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN201310422751.8A priority Critical patent/CN103473746B/zh
Publication of CN103473746A publication Critical patent/CN103473746A/zh
Application granted granted Critical
Publication of CN103473746B publication Critical patent/CN103473746B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

增强现实中定标板的实时移除方法，是在现有基于定标板的增强现实系统上，利用图像修复的方法实时修补移除定标板后的画面空洞。修复方法包括以下步骤：利用相机定标获得定标板在视频画面中的位置,确定待修复的区域；计算线特征图像，与视频当前帧图像合并为纹理图像；对该纹理图像的非修复区域建立纹理块样本库；对待修复区域的边界像素,利用邻域纹理块到纹理块样本库进行匹配；将匹配得到的纹理块中心点颜色赋值为当前边界像素；判断是否完成了所有待修复区域的修补，若是，则结束修复，若否，对所剩待修复区域的边界像素继续上述修补步骤；最后，以上一帧修复结果和当前帧修复结果为邻域，对当前帧的修复结果进行双边滤波。

Description

增强现实中定标板的实时移除方法
技术领域
本发明涉及一种视频面画修复方法，特别是一种针对在增强现实中移除定标板后的视频画面进行实时修复的方法。
背景技术
增强现实是一种通过计算机系统提供的虚拟信息增强观察者对现实世界的视觉感知的技术，它利用相关计算机技术将虚拟景物实时叠加到真实环境的视频画面中。为了保证叠加的虚拟景物与真实环境之间的空间一致性，需要利用摄像机定标方法计算摄像机的内外参数。
目前的摄像机定标方法主要分基于单纯计算机视觉的方法和基于其它物理硬件的方法两大类。基于单纯计算机视觉的定标方法需要检测和跟踪拍摄环境中的纹理特征点，因此不适用于缺乏纹理的场景，且容易受到光照变化、相机快速移动等的影响。为解决上述困难，各种基于物理硬件的方法常被用于代替或者辅助摄像机的定标，比如GPS、惯性测量单元、地磁仪等。
考虑到硬件成本、易用性和稳定性，定标板成为了最为重要和通用的相机定标辅助硬件。用户只需在纸上打印相关的定标图案制作定标板，并将该定标板放置到摄像机拍摄画面中，该方法即可检测到摄像机相对该定标板的内外参数。基于定标板的相机定标方法不依赖于环境的特征信息，不受场景纹理的限制和部分遮挡的干扰，能够实时、稳定地定标摄像机，已获得了学术界的广泛认同。
然而，该方法要求定标板必须放置于视频画面中，这遮挡了部分真实景物，影响了增强现实画面的真实性和美观性，因此极大地限制了该技术在工业界的应用。
发明内容
为克服基于定标板的增强现实系统的上述不足，本发明提供了一种实时移除增强实现画面中的定标板、并对该区域进行实时修复的方法。该方法的具体步骤如下：
1）、从摄像机设备中获取当前帧图像I，将该图像二值化；
2）、从二值化图像中检测定标板的二维位置，将定标板四条边界围成的四边形定义为定标板区域Rm；
3）、根据定标板的二维位置，计算摄像机相对于该定标板的三维位置和朝向，即相机参数；
4）、根据相机参数绘制虚拟物体：利用OpenGL绘制函数，对虚拟物体的三维网格进行投影变换，再使用Phong模型进行真实感绘制，得到虚拟物体的绘制画面Iv；
5）、获取虚体物体所在的画面区域，定义为虚体区域Rv；
6）、根据定标板区域和虚拟区域，得到待修复的区域Rr=Rm-Rv；
7）、对该修复区域Rr进行图像修复，得到Ir；
8）、以上一帧图像和Ir为邻域像素，对Ir进行双边滤波，去除修复产生的噪声和相邻帧之间的不连续性；
9）、将绘制好的虚拟物体叠加到修复后的真实环境画面中，得到最终的增强现实画面Iv⊕Ir。
该方法的流程与现有的基于定标板的增强现实方法大体一致，其改进在于获得了引入定标板产生的修复区域，并对该区域进行了高质量的快速图像修复。进一步，所述的步骤（7）中的图像修复主要包括以下步骤：
（7.1）使用高斯差算子，对当前帧图像I进行线条检测，得到边缘线特征图像；
（7.2）并将该线特征图像视作alpha通道，和当前帧图像I合并得到四通道的纹理图像It；
（7.3）在纹理图像It的非修复区域截取M×M大小的纹理块，块与块之间的纵向与横向间隔为M/3，建立纹理块样本库（其中M取12个像素）；
（7.4）对于待修复区域Rr的每一个边界像素pr，将其M×M为大小的领域纹理块取出，并按照该纹理块中存在的颜色信息和位置去纹理块样本库中检索最相近的纹理块Pn；
（7.5）将最近纹理块Pn的中心像素的颜色赋值到当前处理的边界像素pr上；
（7.6）将上述边界像素pr标记为已修复区域，返回到步骤（4.4），对尚未修复的其它边界像素进行修复，直至所有整个待修复区域得到修复。
本发明的技术构思是：利用图像修复技术，修复移除定标板后的增强现实画面中的空洞，提高基于定标板的增强现实系统的真实性和美观性；结合纹理块匹配和边缘线特征的方法，保证了修复画面的空间连续性；而对上一帧修复结果的使用，保证了修复视频的时间连续性。
本发明的优点在于：对影响增强现实画面的美观性和真实性的定标板进行了移除，并实时地修复了移除后产生的画面空洞；该方法无需任何预处理，适用于环境光照变化的情况，计算速度达到实时，算法鲁棒，效果稳定。
附图说明
图1为本发明的总的流程图
图2为去除定标板区域后的画面修复流程图
具体实施方式
参照附图，进一步说明本发明：
增强现实中定标板的实时移除方法，包括以下步骤：
1）、从摄像机设备中获取当前帧图像I，将该图像二值化；
2）、从二值化图像中检测定标板的二维位置，将定标板四条边界围成的四边形定义为定标板区域Rm；
3）、根据定标板的二维位置，计算摄像机相对于该定标板的三维位置和朝向，即相机参数；
4）、根据相机参数绘制虚拟物体：利用OpenGL绘制函数，对虚拟物体的三维网格进行投影变换，再使用Phong模型进行真实感绘制，得到虚拟物体的绘制画面Iv；
5）、获取虚体物体所在的画面区域，定义为虚体区域Rv；
6）、根据定标板区域和虚拟区域，得到待修复的区域Rr=Rm-Rv；
7）、对该修复区域Rr进行图像修复，得到Ir；
8）、以上一帧图像和Ir为邻域像素，对Ir进行双边滤波，去除修复产生的噪声和相邻帧之间的不连续性；
9）、将绘制好的虚拟物体叠加到修复后的真实环境画面中，得到最终的增强现实画面Iv⊕Ir。
该方法的流程与现有的基于定标板的增强现实方法大体一致，其改进在于获得了引入定标板产生的修复区域，并对该区域进行了高质量的快速图像修复。进一步，所述的步骤（7）中的图像修复主要包括以下步骤：
（7.1）使用高斯差算子，对当前帧图像I进行线条检测，得到边缘线特征图像；
（7.2）并将该线特征图像视作alpha通道，和当前帧图像I合并得到四通道的纹理图像It；
（7.3）在纹理图像It的非修复区域截取M×M大小的纹理块，块与块之间的纵向与横向间隔为M/3，建立纹理块样本库（其中M取12个像素）；
（7.4）对于待修复区域Rr的每一个边界像素pr，将其M×M为大小的领域纹理块取出，并按照该纹理块中存在的颜色信息和位置去纹理块样本库中检索最相近的纹理块Pn；
（7.5）将最近纹理块Pn的中心像素的颜色赋值到当前处理的边界像素pr上；
（7.6）将上述边界像素pr标记为已修复区域，返回到步骤（4.4），对尚未修复的其它边界像素进行修复，直至所有整个待修复区域得到修复。
目前，在增强现实领域，基于定标板的摄像机定标方法已经日渐成熟，其定标的稳定性和计算效率都得到了学术界和工业界的广泛认可。本发明针对这类方法中定标板对增强画面的真实性和美观性的不足，提出了一种基于图像修复的定标板实时移除方法，为该类方法向工业界的直接使用铺平了道路。
本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (4)

1.增强现实中定标板的实时移除方法方法，包括以下步骤：
1）、从摄像机设备中获取当前帧图像I，将该图像二值化；
2）、从二值化图像中检测定标板的二维位置，将定标板四条边界围成的四边形定义为定标板区域Rm；
3）、根据定标板的二维位置，计算摄像机相对于该定标板的三维位置和朝向，即相机参数；
4）、根据相机参数绘制虚拟物体：利用OpenGL绘制函数，对虚拟物体的三维网格进行投影变换，再使用Phong模型进行真实感绘制，得到虚拟物体的绘制画面Iv；
5）、获取虚体物体所在的画面区域，定义为虚体区域Rv；
6）、根据定标板区域和虚拟区域，得到待修复的区域Rr=Rm-Rv；
7）、对该修复区域Rr进行图像修复，得到Ir；
8）、以上一帧图像和Ir为邻域像素，对Ir进行双边滤波，去除修复产生的噪声和相邻帧之间的不连续性；
9）、将绘制好的虚拟物体叠加到修复后的真实环境画面中，得到最终的增强现实画面Iv⊕Ir。
2.如权利要求1所述的增强现实中定标板的实时移除方法，其特征在于：所述的真实环境画面移除了定标板的遮挡；所述的增强现实画面中不存在用于摄像机定标的定标板，不影响最终结果的真实性和美观性；所述的对修复结果的双边滤波的使用，增强了修复画面的空间和时间的连贯性。
3.如权利要求1所述的增强现实中定标板的实时移除方法，其特征在于：所述的步骤（7）由以下步骤组成：
（7.1）使用高斯差算子，对当前帧图像I进行线条检测，得到边缘线特征图像；
（7.2）并将该线特征图像视作alpha通道，和当前帧图像I合并得到四通道的纹理图像It；
（7.3）在纹理图像It的非修复区域截取M×M大小的纹理块，块与块之间的纵向与横向间隔为M/3，建立纹理块样本库（其中M取12个像素）；
（7.4）对于待修复区域Rr的每一个边界像素pr，将其M×M为大小的领域纹理块取出，并按照该纹理块中存在的颜色信息和位置去纹理块样本库中检索最相近的纹理块Pn；
（7.5）将最近纹理块Pn的中心像素的颜色赋值到当前处理的边界像素pr上；
（7.6）将上述边界像素pr标记为已修复区域，返回到步骤（4.4），对尚未修复的其它边界像素进行修复，直至所有整个待修复区域得到修复。
4.如权利要求3所述的增强现实中定标板的实时移除方法，其特征在于：（7.1）、（7.2）中线特征图像的使用，保持了修复画面的结构连续性；（7.3）、（7.4）和（7.5）中基于纹理块的修复方法，保证了修复画面的颜色连贯性；最后（7.6）的判断，保证了所有因移除定标板所产生的空洞区域得到修补。
CN201310422751.8A 2013-09-16 2013-09-16 增强现实中定标板的实时移除方法 Active CN103473746B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310422751.8A CN103473746B (zh) 2013-09-16 2013-09-16 增强现实中定标板的实时移除方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310422751.8A CN103473746B (zh) 2013-09-16 2013-09-16 增强现实中定标板的实时移除方法

Publications (2)

Publication Number Publication Date
CN103473746A true CN103473746A (zh) 2013-12-25
CN103473746B CN103473746B (zh) 2016-02-24

Family

ID=49798580

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310422751.8A Active CN103473746B (zh) 2013-09-16 2013-09-16 增强现实中定标板的实时移除方法

Country Status (1)

Country Link
CN (1) CN103473746B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106056604A (zh) * 2016-05-27 2016-10-26 浙江工业大学 一种增强现实标识的自动镂空方法
CN106097260A (zh) * 2016-06-01 2016-11-09 浙江工业大学 一种基于镂空标识的保结构增强现实标识隐藏方法
CN106488139A (zh) * 2016-12-27 2017-03-08 深圳市道通智能航空技术有限公司 一种无人机拍摄的图像补偿方法、装置及无人机
CN112102212A (zh) * 2020-11-19 2020-12-18 腾讯科技（深圳）有限公司 一种视频修复方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006011706A1 (en) * 2004-07-30 2006-02-02 Industry-University Cooperation Foundation Hanyang University Vision-based augmented reality system using invisible marker
JP2010033397A (ja) * 2008-07-30 2010-02-12 Dainippon Printing Co Ltd 画像合成装置および方法
CN103093426A (zh) * 2012-12-14 2013-05-08 西安电子科技大学 恢复定标板遮挡区域的纹理和光照的方法
EP2597621A1 (en) * 2010-07-22 2013-05-29 Pioneer Corporation Augmented reality device and method of controlling the same

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006011706A1 (en) * 2004-07-30 2006-02-02 Industry-University Cooperation Foundation Hanyang University Vision-based augmented reality system using invisible marker
JP2010033397A (ja) * 2008-07-30 2010-02-12 Dainippon Printing Co Ltd 画像合成装置および方法
EP2597621A1 (en) * 2010-07-22 2013-05-29 Pioneer Corporation Augmented reality device and method of controlling the same
CN103093426A (zh) * 2012-12-14 2013-05-08 西安电子科技大学 恢复定标板遮挡区域的纹理和光照的方法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
NORIHIKO KAWAI等: "AR Marker Hiding Based on Image Inpainting and Reflection of Illumination Changes", 《2012 IEEE INTERNATIONAL SYMPOSIUM ON MIXED AND AUGMENTED REALITY(ISMAR)》 *
OTTO KORKALO等: "Light-Weight Marker Hiding for Augmented Reality", 《2010 9TH IEEE INTERNATIONAL SYMPOSIUM ON MIXED AND AUGMENTED REALITY(ISMAR)》 *
张国英等: "《矿业视频图像目标识别与分割》", 31 May 2010, 石油工业出版社 *
张显全等: "一种块匹配的图像修复算法", 《光电子 激光》 *
武娟等: "《新媒体游戏》", 31 July 2013, 人民邮电出版社 *
袁红兵: "《计算机辅助设计与制造教程》", 31 January 2007, 国防工业出版社 *
黄淑兵等: "一种改进的基于纹理合成的图像修复算法", 《合肥工业大学学报（自然科学版）》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106056604A (zh) * 2016-05-27 2016-10-26 浙江工业大学 一种增强现实标识的自动镂空方法
CN106056604B (zh) * 2016-05-27 2018-08-24 浙江工业大学 一种增强现实标识的自动镂空方法
CN106097260A (zh) * 2016-06-01 2016-11-09 浙江工业大学 一种基于镂空标识的保结构增强现实标识隐藏方法
CN106097260B (zh) * 2016-06-01 2018-10-23 浙江工业大学 一种基于镂空标识的保结构增强现实标识隐藏方法
CN106488139A (zh) * 2016-12-27 2017-03-08 深圳市道通智能航空技术有限公司 一种无人机拍摄的图像补偿方法、装置及无人机
CN112102212A (zh) * 2020-11-19 2020-12-18 腾讯科技（深圳）有限公司 一种视频修复方法、装置、设备及存储介质
CN112102212B (zh) * 2020-11-19 2021-02-09 腾讯科技（深圳）有限公司 一种视频修复方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN103473746B (zh) 2016-02-24

Similar Documents

Publication Publication Date Title
CN103400409B (zh) 一种基于摄像头姿态快速估计的覆盖范围3d可视化方法
CN106875444B (zh) 一种目标物定位方法及装置
JP6143747B2 (ja) 深度測定の品質の向上
CN103810685B (zh) 一种深度图的超分辨率处理方法
CN104331918B (zh) 基于深度图实时绘制室外地表遮挡剔除以及加速方法
Zollmann et al. Image-based ghostings for single layer occlusions in augmented reality
US9437034B1 (en) Multiview texturing for three-dimensional models
CN108141547B (zh) 将图像与另一图像数字化叠加
CN102982577A (zh) 用于图像处理的设备和方法
EP3110149B1 (en) A system and a method for depth-image-based rendering
Alexiadis et al. Real-time, realistic full-body 3D reconstruction and texture mapping from multiple Kinects
Meerits et al. Real-time diminished reality for dynamic scenes
CN103473746B (zh) 增强现实中定标板的实时移除方法
CN104318605A (zh) 矢量实线与三维地形的并行贴合渲染方法
CN104217461B (zh) 一种基于深度图模拟实时凹凸效果的视差映射方法
Moorfield et al. Bilateral filtering of 3D point clouds for refined 3D roadside reconstructions
Gouiaa et al. 3D reconstruction by fusioning shadow and silhouette information
JP6362401B2 (ja) 画像処理装置及び画像処理装置の制御方法
KR20110112143A (ko) Ｌｄｉ 기법 깊이맵을 참조한 2ｄ 동영상의 3ｄ 동영상 전환방법
Lee et al. Estimation of illuminants for plausible lighting in augmented reality
JP2012105019A (ja) 画像処理装置、方法およびそのプログラム
Kang et al. Automatic texture reconstruction of 3d city model from oblique images
Yagi et al. Diminished reality for privacy protection by hiding pedestrians in motion image sequences using structure from motion
Fan et al. Collaborative three-dimensional completion of color and depth in a specified area with superpixels
Zhang et al. Intermediate cubic-panorama synthesis based on triangular re-projection

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant