CN106851248A - 基于稀疏性的图像修复优先级计算方法 - Google Patents

基于稀疏性的图像修复优先级计算方法 Download PDF

Info

Publication number
CN106851248A
CN106851248A CN201710077004.3A CN201710077004A CN106851248A CN 106851248 A CN106851248 A CN 106851248A CN 201710077004 A CN201710077004 A CN 201710077004A CN 106851248 A CN106851248 A CN 106851248A
Authority
CN
China
Prior art keywords
block
point
priority
empty
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710077004.3A
Other languages
English (en)
Inventor
杨柏林
曾嘉
朱云芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Gongshang University
Original Assignee
Zhejiang Gongshang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Gongshang University filed Critical Zhejiang Gongshang University
Priority to CN201710077004.3A priority Critical patent/CN106851248A/zh
Publication of CN106851248A publication Critical patent/CN106851248A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于稀疏性的图像修复优先级计算方法。本发明利用虚拟视点合成图像的特殊性，将图像修复的优先级顺序优化成从背景部分向前景部分修复，可以有效的保留前景部分边缘信息不被破坏，从而得到更好的图像修复效果。

Description

基于稀疏性的图像修复优先级计算方法
技术领域
本发明属于图像修复的多媒体技术领域，具体涉及一种基于稀疏性的图像修复优先级计算方法。
背景技术
最近3DTV和3D电影的火热表明了观众对3D内容兴趣与日俱增。一般来说，对于3D视频，需要用大量视图用来提供三维深度。然而如何在传输中处理大量的视图成为难题。因此需要一种方法利用有限数量的视图来支持生成高质量的三维视频。
在过去，由于深度照相机昂贵的价格，所以深度信息是很难获得的。然而在现在，高性能低价格的深度相机变得普遍起来。利用颜色图和其对应的深度图来合成虚拟视点的方法称为DIBR技术。利用深度和相机信息，将所有的像素点重新投影到三维世界中。再将世界坐标中的像素点重新投影到虚拟视点的像平面上，这就是所谓的虚拟视点合成技术。虚拟视点合成技术可以在三维视频传输上减少大量的存储空间和传播带宽。
但是在虚拟视点合成技术中有一个关键问题，部分背景在进行视点变换之后，由于前景背景的相对位置移动，造成了从原视点不可见的背景在另一个视点可见，从而在新视点的图像中产生没有信息的空洞区域，还有一种情况是因为深度图深度不精确，导致像素点的相对移动距离变化而出现的空洞。
对于虚拟视点合成技术而言，由于虚拟视点合成的特殊性，前景与背景的相对位移，前景部分信息不会丢失，而主要丢失的信息均为背景信息。同时，背景信息的填充一般处于空洞区域周围。因此对虚拟视点合成的结果可以考虑利用背景信息对空洞进行修复，从而保证虚拟视点合成后修复的正确性。当然前人也研究了一些方法，但是一般的图像修复方法并不能有很好的修复顺序。
发明内容
本发明针对现有虚拟视点合成图像修复优先级计算方面的不足，提出基于稀疏性的图像修复优先级使得图像修复效果更优。根据虚拟视点合成中前景信息不会丢失，丢失信息均为背景信息以及复杂场景的特殊性，因此本发明利用图像修复优先级保证图像修复顺序从背景往前景方向修复以便于更好的修复效果。
本发明解决其技术问题所采用的技术方案如下：
步骤一：设待修复图为I，空洞点RGB像素值设为(0 255 0)，遍历深度图的所有像素点，设置空洞数组，将像素点为空洞像素值的点在空洞数组中设为1，非空洞像素值的点为0。设图像I空洞区域为Ω，非空洞区域为
步骤二：对每个空洞块边界上的像素点进行遍历，设边界上像素点为p，以点p为中心的块为Ψp，以点p为中心的邻近块邻近块被定义为在已知区域内的块，其中心点pj在点p的附近。即pj属于集合：
N(p)为周边的窗口，其中心点为p，其大小比Ψp块区域大。定义块与块之间的稀疏性为
P是块Ψp中缺失信息的矩阵，是P中已知信息的矩阵，σ是一个常数，d(·，·)表示均方距离，Z(p)是一个归一化常数，使得对块ψp，其与已知邻近块的稀疏性定义为
在区间(0,1]。
步骤三：设块Ψp的修复优先级为ρ(p)＝C(p)*s(p)，其中S(p)为结构项，C(p)为置信度项：
其中fg为Ψp块中前景区域，C(p)表示样本块Ψp中包含已知背景像素点的信息，如果点p属于空洞块Ω，则对C(p)进行初始化为0，否则的话初始化为1。然后对所有优先级进行排序，选取具有最高优先级的权值pmax作为待匹配块的中心点。
这样便计算出图像修复的优先级，根据此优先级进行修复便于得到更好图像修复效果。
本发明的有益效果：本发明利用虚拟视点合成图像的特殊性，将图像修复的优先级顺序优化成从背景部分向前景部分修复，可以有效的保留前景部分边缘信息不被破坏，从而得到更好的图像修复效果。
具体实施方式
以下结合实施例对本发明作进一步说明
实施例的具体步骤如下：
步骤一：设待修复图为I，空洞点RGB像素值设为(0 255 0)(即为纯绿色)，遍历深度图的所有像素点，设置空洞数组fillregion，将像素点为空洞像素值的点在fillregion中设为1，非空洞像素值的点为0。设图像I空洞区域为Ω，非空洞区域为
步骤二：对每个空洞块边界上的像素点进行遍历，设边界上像素点为p，以点p为中心的块为Ψp，以点p为中心的邻近块邻近块被定义为在已知区域内的块，其中心点pj在点p的附近。即pj属于集合：
N(p)为周边的窗口，其中心点为p，其大小比Ψp块区域大。定义块与块之间的稀疏性为
P是Ψp中缺失信息的矩阵，是块P中已知信息的矩阵，σ是一个常数，d(·，·)表示均方距离，Z(p)是一个归一化常数使得对块ψp，其与已知邻近块的稀疏性定义为
其中|·|表示成员的个数，表示成员的矢量，|N(p)|是为了限制ρ(p)在区间(0,1]，待匹配块拥有更强的结构稀疏性将会被计算出拥有更高的修复优先级，其次，被填充的块可以保证结构的一致性。
步骤三：设Ψp的修复优先级为ρ(p)＝C(p)*S(p)，其中S(p)为结构项是稀疏性公式(3)，C(p)为置信度项为
其中fg为Ψp块中前景区域，C(p)表示样本块Ψp中包含已知背景像素点的信息，如果点p属于空洞块Ω，则对C(p)进行初始化为0，否则的话初始化为1。然后对所有优先级进行排序，选取具有最高优先级的权值pmax作为待匹配块的中心点。
这样便计算出图像修复的优先级，根据此优先级进行修复便于得到更好图像修复效果。

Claims (1)

1.基于稀疏性的图像修复优先级计算方法，其特征在于该方法包括如下步骤：
步骤一：设待修复图为I，空洞点RGB像素值设为(02550)，遍历深度图的所有像素点，设置空洞数组，将像素点为空洞像素值的点在空洞数组中设为1，非空洞像素值的点为0；设图像I空洞区域为Ω，非空洞区域为
步骤二：对每个空洞块边界上的像素点进行遍历，设边界上像素点为p，以点p为中心的块为Ψp，以点p为中心的邻近块邻近块被定义为在已知区域内的块，其中心点pj在点p的附近；即pj属于集合：
N(p)为周边的窗口，其中心点为p，其大小比Ψp块区域大；定义块与块之间的稀疏性为
P是块Ψp中缺失信息的矩阵，是P中已知信息的矩阵，σ是一个常数，d(·，·)表示均方距离，Z(p)是一个归一化常数，使得对块ψp，其与已知邻近块的稀疏性定义为
其中|·|表示成员的个数，表示成员的矢量，|N(p)|是为了限制ρ(p)在区间(0，1]；
步骤三：设块Ψp的修复优先级为ρ(p)＝C(p)*S(p)，其中S(p)为结构项，C(p)为置信度项：
其中fg为Ψp块中前景区域，C(p)表示样本块Ψp中包含已知背景像素点的信息，如果点p属于空洞块Ω，则对C(p)进行初始化为0，否则的话初始化为1；然后对所有优先级进行排序，选取具有最高优先级的权值pmax作为待匹配块的中心点；
这样便计算出图像修复的优先级，根据此优先级进行修复便于得到更好图像修复效果。
CN201710077004.3A 2017-02-13 2017-02-13 基于稀疏性的图像修复优先级计算方法 Pending CN106851248A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710077004.3A CN106851248A (zh) 2017-02-13 2017-02-13 基于稀疏性的图像修复优先级计算方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710077004.3A CN106851248A (zh) 2017-02-13 2017-02-13 基于稀疏性的图像修复优先级计算方法

Publications (1)

Publication Number Publication Date
CN106851248A true CN106851248A (zh) 2017-06-13

Family

ID=59127891

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710077004.3A Pending CN106851248A (zh) 2017-02-13 2017-02-13 基于稀疏性的图像修复优先级计算方法

Country Status (1)

Country Link
CN (1) CN106851248A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107507139A (zh) * 2017-07-28 2017-12-22 北京航空航天大学 基于Facet方向导数特征的样例双重稀疏图像修复方法
CN108648221A (zh) * 2018-05-10 2018-10-12 重庆大学 一种基于混合滤波的深度图空洞修复方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103325095A (zh) * 2013-06-24 2013-09-25 西南交通大学 一种结合方向因子的样本块稀疏性图像修复方法
CN103700065A (zh) * 2013-12-03 2014-04-02 杭州电子科技大学 一种特征分类学习的结构稀疏传播图像修复方法
CN103955891A (zh) * 2014-03-31 2014-07-30 中科创达软件股份有限公司 一种基于块匹配的图像修复方法
CN104065946A (zh) * 2014-06-17 2014-09-24 四川虹微技术有限公司 基于图像序列的空洞填充方法
CN104780355A (zh) * 2015-03-31 2015-07-15 浙江大学 一种视点合成中基于深度的空洞修复方法
CN106296604A (zh) * 2016-08-04 2017-01-04 厦门美图之家科技有限公司 一种图像修复方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103325095A (zh) * 2013-06-24 2013-09-25 西南交通大学 一种结合方向因子的样本块稀疏性图像修复方法
CN103700065A (zh) * 2013-12-03 2014-04-02 杭州电子科技大学 一种特征分类学习的结构稀疏传播图像修复方法
CN103955891A (zh) * 2014-03-31 2014-07-30 中科创达软件股份有限公司 一种基于块匹配的图像修复方法
CN104065946A (zh) * 2014-06-17 2014-09-24 四川虹微技术有限公司 基于图像序列的空洞填充方法
CN104780355A (zh) * 2015-03-31 2015-07-15 浙江大学 一种视点合成中基于深度的空洞修复方法
CN106296604A (zh) * 2016-08-04 2017-01-04 厦门美图之家科技有限公司 一种图像修复方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XU ZONG BEN ETA.: "Image Inpainting by patch propagation using patch sparsity", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 *
李志丹等: "基于块结构稀疏度的自适应图像修复算法", 《电子学报》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107507139A (zh) * 2017-07-28 2017-12-22 北京航空航天大学 基于Facet方向导数特征的样例双重稀疏图像修复方法
CN107507139B (zh) * 2017-07-28 2019-11-22 北京航空航天大学 基于Facet方向导数特征的样例双重稀疏图像修复方法
CN108648221A (zh) * 2018-05-10 2018-10-12 重庆大学 一种基于混合滤波的深度图空洞修复方法
CN108648221B (zh) * 2018-05-10 2021-09-17 重庆大学 一种基于混合滤波的深度图空洞修复方法

Similar Documents

Publication Publication Date Title
US9237330B2 (en) Forming a stereoscopic video
US20200334894A1 (en) 3d motion effect from a 2d image
US9041819B2 (en) Method for stabilizing a digital video
CN112543317B (zh) 高分辨率单目2d视频到双目3d视频的转制方法
US20130063549A1 (en) Systems and methods for converting video
US8666146B1 (en) Discontinuous warping for 2D-to-3D conversions
US20130127988A1 (en) Modifying the viewpoint of a digital image
CN111047709B (zh) 一种双目视觉裸眼3d图像生成方法
US20130129192A1 (en) Range map determination for a video frame
CN104780355A (zh) 一种视点合成中基于深度的空洞修复方法
US20130129193A1 (en) Forming a steroscopic image using range map
CN102254348A (zh) 一种基于块匹配视差估计的中间视图合成方法
US20150195510A1 (en) Method of integrating binocular stereo video scenes with maintaining time consistency
WO2017128887A1 (zh) 全景图像的校正3d显示方法和系统及装置
Li et al. A real-time high-quality complete system for depth image-based rendering on FPGA
US11417060B2 (en) Stereoscopic rendering of virtual 3D objects
Klose et al. Stereoscopic 3D view synthesis from unsynchronized multi-view video
US9196080B2 (en) Medial axis decomposition of 2D objects to synthesize binocular depth
CN111951368A (zh) 一种点云、体素和多视图融合的深度学习方法
CN104751508B (zh) 3d立体影视制作中新视图的全自动快速生成及补全方法
KR101089344B1 (ko) 이퀄라이징 깊이지도 생성 기법을 이용한 단일영상의 입체영상 변환 방법
CN106851248A (zh) 基于稀疏性的图像修复优先级计算方法
WO2022217470A1 (en) Hair rendering system based on deep neural network
Zhang et al. Refilming with depth-inferred videos
CN112003999A (zh) 基于Unity 3D的三维虚拟现实合成算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170613