CN111405265A - 一种新型的图像绘制技术 - Google Patents
一种新型的图像绘制技术 Download PDFInfo
- Publication number
- CN111405265A CN111405265A CN202010214373.4A CN202010214373A CN111405265A CN 111405265 A CN111405265 A CN 111405265A CN 202010214373 A CN202010214373 A CN 202010214373A CN 111405265 A CN111405265 A CN 111405265A
- Authority
- CN
- China
- Prior art keywords
- image
- depth
- pixel
- area
- foreground
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000009466 transformation Effects 0.000 claims abstract description 10
- 238000012545 processing Methods 0.000 claims abstract description 4
- 238000000034 method Methods 0.000 claims description 25
- 238000009877 rendering Methods 0.000 claims description 24
- 239000011159 matrix material Substances 0.000 claims description 14
- 238000010606 normalization Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 abstract description 5
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000013507 mapping Methods 0.000 description 4
- 238000013519 translation Methods 0.000 description 4
- 238000007796 conventional method Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
Abstract
本发明公开了一种新型的图像绘制技术,包括以下步骤:3D图像变换;利用图像之间的深度差值来划分绘制不准确区域;设置图像的前景阈值和背景阈值;处理空洞。上述技术方案利用图像之间的深度差值来划分绘制不准确区域,根据图像的实际情况将图像中视觉冲击最明显的区域中的破损区域重新进行绘制,从而让图像的绘制区域变得更加清晰,减少最后一步填充空洞时空洞的个数,从而降低时间复杂度。
Description
技术领域
本发明涉及图像质量提升领域,尤其涉及一种新型的图像绘制技术。
背景技术
有资料显示,目前DIBR是绘制不同视角观察图像的主要方法。根据现有的图像将另一视角的图像进行绘制,从而得到在不同视角下所观察到的图像。该绘制方法中最关键的部分是进行3D-WARPING过程,该过程是将一幅图像先恢复至三维模型,然后在另外一处目标视点附近将该三维模型重新投影到目标平面得到虚拟视点处的图像。
目前的DIBR绘制技术中只考虑起始视点处的深度值和像素值,并没有将所绘制视点的深度值。而直接按照DIBR方法中的公式进行绘制会导致绘制后的视点位置重新产生移动,导致很多区域发生重复赋值或者没有进行赋值,从而在图像上形成斑块形状的图案,从视觉上仿佛图像中存在空洞。
中国专利文献CN103905813B公开了一种“基于背景提取与分区修复的DIBR空洞填补方法”。首先利用视频序列重建背景图像和背景深度图:利用视频序列和与之对应的深度图序列,比较每个像素点在每帧画面中所对应的深度值,将深度值最大时的像素作为背景图像的像素,通过逐帧比较获得真实的背景图像和与之对应的背景深度图;其次,计算画面中前景图像区域;最后,针对不同区域采取不同策略填补空洞。上述技术方案仅被动地填补空洞,没有在根本上减少空洞数量,耗费大量计算,时间复杂度高。
发明内容
本发明主要解决原有的DIBR绘制技术未考虑绘制视点的深度值的技术问题,提供一种新型的图像绘制技术,利用图像之间的深度差值来划分绘制不准确区域,根据图像的实际情况将图像中视觉冲击最明显的区域中的破损区域重新进行绘制,从而让图像的绘制区域变得更加清晰,减少最后一步填充空洞时空洞的个数,从而降低时间复杂度。
本发明的上述技术问题主要是通过下述技术方案得以解决的:本发明包括以下步骤:
(1)3D图像变换;DIBR技术中最关键的部分为3D图像变换(3D Image Wraping)它是一种针对图像像素进行变化的操作。通过三维变换将参考图像像素点映射到目标视图中,从而形成和参考图像相对应的原始目标视图。该方法本质上通过深度信息构建当前视点的三维信息,进而通过映射变换,得到其他视点的三维信息。
(2)利用图像之间的深度差值来划分绘制不准确区域;通过两个视点的深度值进行比较,发现当原图的深度图像和目标视图的深度图像对应位置的深度值存在一定程度的倍率差,定义两个视图深度误差为dif,然后根据深度误差dif确定重新针对深度误差较大的区域进行绘制,确定深度误差的阈值δ。
(3)设置图像的前景阈值和背景阈值;深度图像中深度值小于αbackgurand区域设为背景区域,大于αforgurand区域设为将两幅深度图像中的背景区域做并逻辑计算,前景区域做并逻辑计算,得到输出视图中的背景区域和前景区域。
(4)处理空洞。采用通过空洞周边像素逐步将空洞区域减少的方法进行填充,将这些空洞进行标记,并且将这些孔洞的边缘区域进行标记,填充空洞的顺序是由空洞外侧往空洞内测逐层填充。本质是以像素值之差的最小二范数作为参考依据,选择非空洞区域的像素进行比较,最后找到对应的匹配块并将对应的中心像素填充至修复块中心像素p。然后依次修复每一块空洞边缘像素,直至孔洞填充完毕。
作为优选,所述的假设图像像素p坐标为(u,v),图像平面坐标为(x,y),图像像素坐标列向量为矩阵P,相机矩阵为Camera。
M=[x y 1]T
P=[u v 1]T
其中f为相机的焦距,fx和fy分别为像素x方向和像素y方向的焦距。u0,v0,主点的实际位置,单位也是像素。
将像素坐标和图像平面坐标、相机坐标和实际三维空间的坐标进行互相联系,在像素坐标和图像坐标之间可以通过相机内参矩阵Camera得到运算关系:
然后将图像平面坐标转换为以相机为中心的相机坐标(Xc,Yc,Zc),转换关系如下
在本次实验中定义f为:
接着根据相机坐标系和普通的空间坐标系(Wx,Wy,Wz)进行进一步转换,转换关系为:
其中px,py,pz分别表示相机在空间坐标中在x、y、z方向上的平移量。矩阵R表示相机在空间中的旋转矩阵,通常情况下,R表示为单位矩阵。向量[px py pz]T表示相机在空间中的平移量。
作为优选,所述的定义两个视图深度误差为dif,像素p的深度差计算公式为:
dif(p)=|D原深度图(p)-D目标深度图(p)|
其中D指的是深度值,然后根据深度误差dif确定重新针对深度误差较大的区域进行绘制,确定深度误差的阈值δ,当深度误差超过阈值时,也就是dif(p)>δ时,便对区域重新进行绘制。
作为优选,所述的步骤(2)中原图的深度图像和目标视图的深度图像对应位置的深度值存在一定程度的倍率差,根据图像深度值来划分区域并判断是否重新进行赋值。
作为优选,所述的步骤(3)根据设置图像的前景阈值和背景阈值来区分图像的前景区域和背景区域,然后对两区域再次进行绘制。
作为优选,所述的步骤(3)分别设置背景阈值和前景阈值为αbackgurand和αforgurand,将两幅图像中的背景区域和前景区域做并逻辑计算,得到输出视图中的背景区域和前景区域,将所在区域的空洞部分重新进行绘制。从而使背景区域和前景区域中的绘制不充分区域得到进一步改进。
作为优选,所述的步骤(4)使用基于最小熵差的criminisi绘制方法将剩余部分空洞进行填充,将像素匹配块的选取准则调整为以最小熵差的选取方法,即匹配块的选取条件为使用熵差和选取区域像素值总和相乘之积的最小值。根据传统的criminisi的方法会发现运算的过程非常复杂,而且匹配块的选取条件没有考虑到要将图像纹理的细节部分进行结合。因此将匹配块熵差的概念引入。考虑到传统方法中计算量比较复杂,而且没有考虑到图像之间由于色块数量的差异而导致图像填充产生较大的误差。因此需要同时考虑到颜色的相似度和匹配块中像素值的分布。
作为优选,所述的步骤(4)根据匹配块误差d(P,Q)最小的范围以及熵差值的范围,把该两种元素的差值调整到0至1之间,
H(P)=-∑p(P)log(p(P))
H(Q)=-∑p(Q)log(p(Q))
其中H(P)和H(Q)分别指选取块P的匹配块Q的信息熵。
作为优选,所述的步骤(4)填充空洞的顺序是由空洞外侧往空洞内测逐层填充,为了客观表示空洞的填充顺序,采用公式(2.1)来表达填充的顺序P
P(p)=C(p)·D(p) (2.1)
其中p表示边缘像素点,C(p)表示像素p的置信度,D(p)表示像素p的数据项,C(p)和D(p)的运算公式如(2.2),(2.3)所示:
由于C(p)的取值范围在[0,1],因此在初始条件下,置信度C的初始值为
数据项初始值均设置为-0.1,
D(p)|=-0.1 (2.5)
然后不断对空洞像素p附近的置信度和数据项按照公式(2.4)(2.5)的方式进行迭代,直到这一次边缘空洞全部填充完毕。
本发明的有益效果是:利用图像之间的深度差值来划分绘制不准确区域,根据图像的实际情况将图像中视觉冲击最明显的区域中的破损区域重新进行绘制,从而让图像的绘制区域变得更加清晰,减少最后一步填充空洞时空洞的个数,从而降低时间复杂度。
附图说明
图1是本发明利用深度误差绘制图像的流程图。
图2是本发明利用深度图像阈值对区域进行重新绘制的流程图。
具体实施方式
下面通过实施例,并结合附图,对本发明的技术方案作进一步具体的说明。
实施例:本实施例的一种新型的图像绘制技术,如图1和图2所示,包括以下步骤:
(1)3D图像变换,DIBR技术中最关键的部分为3D图像变换(3DImage Wraping)它是一种针对图像像素进行变化的操作。通过三维变换将参考图像像素点映射到目标视图中,从而形成和参考图像相对应的原始目标视图。该方法本质上通过深度信息构建当前视点的三维信息,进而通过映射变换,得到其他视点的三维信息。
假设图像像素p坐标为(u,v),图像平面坐标为(x,y),图像像素坐标列向量为矩阵P,相机矩阵为Camera。
M=[x y 1]T
P=[u v 1]T
其中f为相机的焦距,fx和fy分别为像素x方向和像素y方向的焦距。u0,v0,主点的实际位置,单位也是像素。
将像素坐标和图像平面坐标、相机坐标和实际三维空间的坐标进行互相联系,在像素坐标和图像坐标之间可以通过相机内参矩阵Camera得到运算关系:
然后将图像平面坐标转换为以相机为中心的相机坐标(Xc,Yc,Zc),转换关系如下
在本次实验中定义f为:
接着根据相机坐标系和普通的空间坐标系(Wx,Wy,Wz)进行进一步转换,转换关系为:
其中px,py,pz分别表示相机在空间坐标中在x、y、z方向上的平移量。矩阵R表示相机在空间中的旋转矩阵,通常情况下,R表示为单位矩阵。向量[px py pz]T表示相机在空间中的平移量。
(2)利用图像之间的深度差值来划分绘制不准确区域,通过两个视点的深度值进行比较,发现当原图的深度图像和目标视图的深度图像对应位置的深度值存在一定程度的倍率差。
定义两个视图深度误差为dif,像素p的深度差计算公式为:
dif(p)=|D原深度图(p)-D目标深度图(p)|
其中D指的是深度值,然后根据深度误差dif确定重新针对深度误差较大的区域进行绘制,确定深度误差的阈值δ,当深度误差超过阈值时,也就是dif(p)>δ时,便对区域重新进行绘制。
根据图像深度值来划分区域并判断是否重新进行赋值,将前景部分直接进行赋值。
(3)设置图像的前景阈值和背景阈值来区分图像的前景区域和背景区域,然后对两区域再次进行绘制。分别设置背景阈值和前景阈值为αbackgurand和αforgurand,将两幅图像中的背景区域和前景区域做并逻辑计算,得到输出视图中的背景区域和前景区域,将所在区域的空洞部分重新进行绘制。
(4)处理空洞。使用基于最小熵差的criminisi绘制方法将剩余部分空洞进行填充,将像素匹配块的选取准则调整为以最小熵差的选取方法,即匹配块的选取条件为使用熵差和选取区域像素值总和相乘之积的最小值。根据匹配块误差d(P,Q)最小的范围以及熵差值的范围,把该两种元素的差值调整到0至1之间,
H(P)=-∑p(P)log(p(P))
H(Q)=-∑p(Q)log(p(Q))
其中H(P)和H(Q)分别指选取块P的匹配块Q的信息熵。
采用通过空洞周边像素逐步将空洞区域减少的方法进行填充,将这些空洞进行标记,并且将这些孔洞的边缘区域进行标记,填充空洞的顺序是由空洞外侧往空洞内测逐层填充。本质是以像素值之差的最小二范数作为参考依据,选择非空洞区域的像素进行比较,最后找到对应的匹配块并将对应的中心像素填充至修复块中心像素p。然后依次修复每一块空洞边缘像素,直至孔洞填充完毕。
填充空洞的顺序是由空洞外侧往空洞内测逐层填充,为了客观表示空洞的填充顺序,采用公式(2.1)来表达填充的顺序P
P(p)=C(p)·D(p) (2.1)
其中p表示边缘像素点,C(p)表示像素p的置信度,D(p)表示像素p的数据项,C(p)和D(p)的运算公式如(2.2),(2.3)所示:
由于C(p)的取值范围在[0,1],因此在初始条件下,置信度C的初始值为
数据项初始值均设置为-0.1,
D(p)|=-0.1 (2.5)
然后不断对空洞像素p附近的置信度和数据项按照公式(2.4)(2.5)的方式进行迭代,直到这一次边缘空洞全部填充完毕。
Claims (9)
1.一种新型的图像绘制技术,其特征在于,包括以下步骤:
(1)3D图像变换;
(2)利用图像之间的深度差值来划分绘制不准确区域;
(3)设置图像的前景阈值和背景阈值;
(4)处理空洞。
3.根据权利要求1所述一种新型的图像绘制技术,其特征在于,所述步骤(2)定义两个视图深度误差为dif,像素p的深度差计算公式为:
dif(p)=|D原深度图(p)-D目标深度图(p)|
其中D指的是深度值,然后根据深度误差dif确定重新针对深度误差较大的区域进行绘制,确定深度误差的阈值δ,当深度误差超过阈值时,也就是dif(p)>δ时,便对区域重新进行绘制。
4.根据权利要求3所述一种新型的图像绘制技术,其特征在于,所述步骤(2)中原图的深度图像和目标视图的深度图像对应位置的深度值存在一定程度的倍率差,根据图像深度值来划分区域并判断是否重新进行赋值。
5.根据权利要求1所述一种新型的图像绘制技术,其特征在于,所述步骤(3)根据设置图像的前景阈值和背景阈值来区分图像的前景区域和背景区域,然后对两区域再次进行绘制。
6.根据权利要求5所述一种新型的图像绘制技术,其特征在于,所述步骤(3)分别设置背景阈值和前景阈值为αbackgurand和αforgurand,将两幅图像中的背景区域和前景区域做并逻辑计算,得到输出视图中的背景区域和前景区域,将所在区域的空洞部分重新进行绘制。
7.根据权利要求1所述一种新型的图像绘制技术,其特征在于,所述步骤(4)使用基于最小熵差的criminisi绘制方法将剩余部分空洞进行填充,将像素匹配块的选取准则调整为以最小熵差的选取方法,即匹配块的选取条件为使用熵差和选取区域像素值总和相乘之积的最小值。
9.根据权利要求7或8所述一种新型的图像绘制技术,其特征在于,所述步骤(4)填充空洞的顺序是由空洞外侧往空洞内测逐层填充,为了客观表示空洞的填充顺序,采用公式(2.1)来表达填充的顺序P
P(p)=C(p)·D(p)(2.1)
其中p表示边缘像素点,C(p)表示像素p的置信度,D(p)表示像素p的数据项,c(p)和D(p)的运算公式如(2.2),(2.3)所示:
由于C(p)的取值范围在[0,1],因此在初始条件下,置信度C的初始值为
数据项初始值均设置为-0.1,
D(p)|=-0.1(2.5)
然后不断对空洞像素p附近的置信度和数据项按照公式(2.4)(2.5)的方式进行迭代,直到这一次边缘空洞全部填充完毕。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010214373.4A CN111405265B (zh) | 2020-03-24 | 2020-03-24 | 一种新型的图像绘制技术 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010214373.4A CN111405265B (zh) | 2020-03-24 | 2020-03-24 | 一种新型的图像绘制技术 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111405265A true CN111405265A (zh) | 2020-07-10 |
CN111405265B CN111405265B (zh) | 2021-09-17 |
Family
ID=71413512
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010214373.4A Active CN111405265B (zh) | 2020-03-24 | 2020-03-24 | 一种新型的图像绘制技术 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111405265B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101902657A (zh) * | 2010-07-16 | 2010-12-01 | 浙江大学 | 一种基于深度图分层的虚拟多视点图像的生成方法 |
CN102592275A (zh) * | 2011-12-16 | 2012-07-18 | 天津大学 | 虚拟视点绘制方法 |
CN103067705A (zh) * | 2012-12-19 | 2013-04-24 | 宁波大学 | 一种多视点深度视频预处理方法 |
CN103996174A (zh) * | 2014-05-12 | 2014-08-20 | 上海大学 | 一种对Kinect深度图像进行空洞修复的方法 |
CN107018401A (zh) * | 2017-05-03 | 2017-08-04 | 曲阜师范大学 | 基于逆映射的虚拟视点空洞填补方法 |
CN109712067A (zh) * | 2018-12-03 | 2019-05-03 | 北京航空航天大学 | 一种基于深度图像的虚拟视点绘制方法 |
-
2020
- 2020-03-24 CN CN202010214373.4A patent/CN111405265B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101902657A (zh) * | 2010-07-16 | 2010-12-01 | 浙江大学 | 一种基于深度图分层的虚拟多视点图像的生成方法 |
CN102592275A (zh) * | 2011-12-16 | 2012-07-18 | 天津大学 | 虚拟视点绘制方法 |
CN103067705A (zh) * | 2012-12-19 | 2013-04-24 | 宁波大学 | 一种多视点深度视频预处理方法 |
CN103996174A (zh) * | 2014-05-12 | 2014-08-20 | 上海大学 | 一种对Kinect深度图像进行空洞修复的方法 |
CN107018401A (zh) * | 2017-05-03 | 2017-08-04 | 曲阜师范大学 | 基于逆映射的虚拟视点空洞填补方法 |
CN109712067A (zh) * | 2018-12-03 | 2019-05-03 | 北京航空航天大学 | 一种基于深度图像的虚拟视点绘制方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111405265B (zh) | 2021-09-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109712067B (zh) | 一种基于深度图像的虚拟视点绘制方法 | |
US8860712B2 (en) | System and method for processing video images | |
US9013482B2 (en) | Mesh generating apparatus, method and computer-readable medium, and image processing apparatus, method and computer-readable medium | |
CN104780355B (zh) | 一种视点合成中基于深度的空洞修复方法 | |
US20080259073A1 (en) | System and method for processing video images | |
US20120032948A1 (en) | System and method for processing video images for camera recreation | |
CN111325693B (zh) | 一种基于单视点rgb-d图像的大尺度全景视点合成方法 | |
CN103024421B (zh) | 自由视点电视中的虚拟视点合成方法 | |
CN111462030A (zh) | 多图像融合的立体布景视觉新角度构建绘制方法 | |
WO2021180204A1 (zh) | 图像修复方法、装置和电子设备 | |
CN113192179A (zh) | 一种基于双目立体视觉的三维重建方法 | |
CN106791773A (zh) | 一种基于深度图像的新视点合成方法 | |
CN109859249B (zh) | Rgbd序列中基于自动分层的场景流估计方法 | |
CN111881985B (zh) | 立体匹配方法、装置、终端和存储介质 | |
Zhu et al. | An improved depth image based virtual view synthesis method for interactive 3D video | |
CN114332125A (zh) | 点云重建方法、装置、电子设备和存储介质 | |
Ma et al. | Depth-guided inpainting algorithm for free-viewpoint video | |
CN117501313A (zh) | 基于深度神经网络的毛发渲染系统 | |
CN111405265B (zh) | 一种新型的图像绘制技术 | |
CN113450274B (zh) | 一种基于深度学习的自适应视点融合方法及系统 | |
CN114882085B (zh) | 一种基于单一立方体三维点云配准方法及系统 | |
CN113179396B (zh) | 基于K-means模型的双视点立体视频融合方法 | |
CN115063485A (zh) | 三维重建方法、装置及计算机可读存储介质 | |
CN112365400A (zh) | 一种快速光场角度超分辨重建方法 | |
Wang et al. | Identifying and filling occlusion holes on planar surfaces for 3-D scene editing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20231020 Address after: Room 701, Building 5, No. 643 Shuangliu, Xihu District, Hangzhou City, Zhejiang Province, 310000 Patentee after: HANGZHOU EYECLOUD TECHNOLOGY Co.,Ltd. Address before: 310018 Xiasha Higher Education Zone, Hangzhou, Zhejiang, Jianggan District Patentee before: HANGZHOU DIANZI University |
|
TR01 | Transfer of patent right |