CN110460832B - 双视点视频的处理方法、系统和存储介质 - Google Patents

双视点视频的处理方法、系统和存储介质 Download PDF

Info

Publication number
CN110460832B
CN110460832B CN201910700923.0A CN201910700923A CN110460832B CN 110460832 B CN110460832 B CN 110460832B CN 201910700923 A CN201910700923 A CN 201910700923A CN 110460832 B CN110460832 B CN 110460832B
Authority
CN
China
Prior art keywords
double
images
image
viewpoint
depth map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910700923.0A
Other languages
English (en)
Other versions
CN110460832A (zh
Inventor
胡彦锋
郭伟洪
李国新
刘浩
张新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southern Hospital Southern Medical University
Original Assignee
Southern Hospital Southern Medical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southern Hospital Southern Medical University filed Critical Southern Hospital Southern Medical University
Priority to CN201910700923.0A priority Critical patent/CN110460832B/zh
Publication of CN110460832A publication Critical patent/CN110460832A/zh
Application granted granted Critical
Publication of CN110460832B publication Critical patent/CN110460832B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps

Abstract

本发明公开了一种双视点视频的处理方法、系统和存储介质，所述方法包括以下步骤：获取双视点图像；划分所述双视点图像的显著区域和非显著区域；根据所述双视点图像得到深度图；对所述深度图以及双视点图像中位于显著区域的部分采用较高码率的编码方式进行编码，对深度图以及双视点图像中位于非显著区域的部分采用较低码率的编码方式进行编码。本发明通过划分显著区域和非显著区域，并在编码时，对显著区域采用较高码率的编码方式进行编码，对非显著区域采用较低码率的编码方式进行编码；因此，本发明可以在确保显著区域的视频效果不显著降低的情况下，压缩双视点视频。本发明可以广泛应用于3D视频处理技术领域。

Description

双视点视频的处理方法、系统和存储介质
技术领域
本发明涉及3D视频处理技术领域，尤其是一种双视点视频的处理方法、系统和存储介质。
背景技术
随着显示技术和通信技术的发展，人们对移动终端的显示效果提出了越来越高的要求。裸眼3D技术由于能够摆脱3D眼镜的束缚，直接通过眼睛即可感受到逼真的3D显示效果。因此近几年市面上裸眼3D的移动终端销量也逐年增加，裸眼3D终端除了在消费领域的普及，还在一些专业领域，比如医疗教育等行业开始展开应用。
就目前的裸眼3D显示技术而言，裸眼3D实现方式主要分为三种：光屏障式，柱镜光栅式以及指向光源式。由于柱镜光栅式生产成本较低，裸眼3D显示效果好同时结构紧凑易生产，已经渐渐成为主流的裸眼3D显示技术。为保证立体视频显示的质量，当前裸眼3D视频多采用全高清及以上分辨率，由于移动设备显示屏幕较小，因此其所采用的视频多为双视点左右半宽格式。
由于其自身存储空间和通信带宽有限，巨大的裸眼3D视频数据量给裸眼3D终端相关产业发展提出了巨大的挑战。传统方案在对视频进行压缩的同时，使得视频质量明显下降。
发明内容
为解决上述技术问题，本发明的目的在于：提供一种双视点视频的处理方法、系统和存储介质，以在视频效果不显著降低的情况下，压缩双视点视频。
本发明实施例的第一方面提供了：
一种双视点视频的处理方法，包括以下步骤：
获取双视点图像；
划分所述双视点图像的显著区域和非显著区域；
根据所述双视点图像得到深度图；
对所述深度图以及双视点图像中位于显著区域的部分采用较高码率的编码方式进行编码，对深度图以及双视点图像中位于非显著区域的部分采用较低码率的编码方式进行编码。
进一步，所述划分所述双视点图像的显著区域和非显著区域，其具体包括：
计算所述双视点图像的拉普拉斯金字塔中的多个图像；
对所述拉普拉斯金字塔中的多个图像进行融合，得到融合图像；
对所述融合图像进行阈值划分，得到双视点图像的显著区域和非显著区域。
进一步，所述计算所述双视点图像的拉普拉斯金字塔中的多个图像，其具体包括：
计算所述双视点图像的高斯金字塔中的多个图像；
根据所述高斯金字塔中的多个图像，得到拉普拉斯金字塔中的多个图像。
进一步，所述计算所述双视点图像的高斯金字塔中的多个图像，其具体包括：
对所述双视点图像进行若干次二倍下采样，得到高斯金字塔中的多个图像；
所述根据所述高斯金字塔中的多个图像，得到拉普拉斯金字塔中的多个图像，其具体包括：
对高斯金字塔中的多个图像分别进行二倍上采样，得到多个上采样的图像，然后将高斯金字塔中的图像与同尺寸的上采样图像作差，得到拉普拉斯金字塔中的多个图像。
进一步，所述根据所述双视点图像得到深度图，其具体为：
对双视点图像进行立体匹配，计算出相应匹配点的视差，从而得到深度图。
进一步，在所述对所述拉普拉斯金字塔中的多个图像进行融合的过程中，对不同图层的融合操作采用不同的融合算子。
进一步，所述显著区域用掩模图表示。
本发明实施例的第二方面提供了：
一种双视点视频的处理系统，包括：
获取单元，用于获取双视点图像；
划分单元，用于划分所述双视点图像的显著区域和非显著区域；
深度图处理单元，用于根据所述双视点图像得到深度图；
编码单元，用于对所述深度图以及双视点图像中位于显著区域的部分采用较高码率的编码方式进行编码，对深度图以及双视点图像中位于非显著区域的部分采用较低码率的编码方式进行编码。
本发明实施例的第三方面提供了：
一种双视点视频的处理系统，包括：
存储器，用于存储程序；
处理器，用于加载所述程序，以执行所述的双视点视频的处理方法。
本发明实施例的第四方面提供了：
一种存储介质，其存储有程序，所述程序被处理器执行时实现所述的双视点视频的处理方法。
本发明的有益效果是：本发明通过划分显著区域和非显著区域，并在编码时，对显著区域采用较高码率的编码方式进行编码，对非显著区域采用较低码率的编码方式进行编码；因此，本发明可以在确保显著区域的视频效果不显著降低的情况下，压缩双视点视频。
附图说明
图1为本发明一种具体实施例的双视点视频的处理方法的流程图；
图2为本发明一种具体实施例中通过对双视点图像进行处理得到拉普拉斯金字塔的示意图。
具体实施方式
下面结合说明书附图和具体的实施例对本发明进行进一步的说明。
在裸眼3D技术中，无论采用何种形式的设备，其实质都是利用用户双眼的视觉差来产生3D立体效果。通常3D视频采用左右半宽或者上下半宽的视频格式。以左右半宽为例，同一帧图像中的左半侧和右半侧分别是用于给用户的左眼和右眼接收的图像。
参照图1，本实施例公开了一种双视点视频的处理方法，包括步骤S101～S104：
S101、获取双视点图像；
在本步骤中所指的双视点图像是指如左右半宽格式等视频中的一帧图像。其可以从3D视频中获取。
S102、划分所述双视点图像的显著区域和非显著区域；
具体地，本步骤通过以下方式划分双视点图像的显著区域和非显著区域。
首先，对双视点图像进行高斯滤波，然后将滤波后得到的图像进行二倍下采样，对二倍下采样的图像继续执行高斯滤波和二倍下采样，如此反复三次，得到高斯金字塔的多个图像。
其中，如图2所示，双视点图像G0进行高斯滤波后进行二倍下采样，得到图像G1。然后将图像G1进行高斯滤波和二倍下采样，得到图像G2。对图像G2进行高斯滤波和二倍下采样后得到图像G3。高斯金字塔的图像序列可以记作：G0、G1、G2、G3。
随后，通过插值的方式，将除了图像G0以外的图像G1、图像G2和图像G3进行二倍上采样。由图像G1进行二倍上采样得到图像G0 *，由图像G2进行二倍上采样得到图像G1*，由图像G3进行二倍上采样得到图像G2*。
其中，图像G0*的尺寸与图像G0相同；图像G1*的尺寸与图像G1相同；图像G2*的尺寸与图像G2相同。
然后将高斯金字塔中的图像与对应尺寸的上采样图像作差，得到拉普拉斯金字塔的多个图像。
具体地，拉普拉斯金字塔的各层图像由图像L0、图像L1、图像L2和图像L3表示。
其中，L3＝G3、L2＝G2-G2*、L1＝G1-G1*、L0＝G0-G0*。
随后，对图像L0、图像L1、图像L2和图像L3进行融合处理。其中，融合的过程在不同的拉普拉斯层上进行，为了突显出不同层的不同频率细节对最终融合图像的影响，在不同层所采用的融合算子不同。具体地，先从最顶层开始，将最顶层上采样到与上一层，并与上一层拉普拉斯图像进行融合，然后将上一层的融合图像继续进行上采样和融合操作，直到恢复到最底层。
融合过程的图像序列为：R0、R1、R2。
其中，
R2＝L2+f2(L3)
R1＝L1+f1(L2+f2(L3))
R0＝L0+f0(L1+f1(L2+f2(L3)))
f0，f1，f2是含有不同上采样算子的融合函数。
接着，通过统计融合图像中的直方图分布，通过如最大信息熵法等迭代方法确定二值化阈值。对感兴趣的区域，即显著区域进行二值化操作，获得图像中显著区域的掩模图。除了显著区域外的图像部分，均被划分为非显著区域，即不感兴趣区域。
S103、根据所述双视点图像得到深度图；
在本实施例中，可以对原始双视点图像进行立体匹配，计算出每组相应的匹配点的视差，并由此计算出深度图。
S104、对所述深度图以及双视点图像中位于显著区域的部分采用较高码率的编码方式进行编码，对深度图以及双视点图像中位于非显著区域的部分采用较低码率的编码方式进行编码。
所述较高和较低是相对而言的，即显著区域所采用的编码方式的码率比非显著区域所采用的编码方式的码率比要高。例如，对于显著区域所采用的编码方式的码率为X，非显著区域所采用的编码方式的码率为0.5X。
本实施例通过划分显著区域和非显著区域，并在编码时，对显著区域采用较高码率的编码方式进行编码，对非显著区域采用较低码率的编码方式进行编码；因此，本发明可以在确保显著区域的视频效果不显著降低的情况下，压缩双视点视频。
作为优选的实施例，所述划分所述双视点图像的显著区域和非显著区域，其具体包括：
计算所述双视点图像的拉普拉斯金字塔中的多个图像；
对所述拉普拉斯金字塔中的多个图像进行融合，得到融合图像；
对所述融合图像进行阈值划分，得到双视点图像的显著区域和非显著区域。
作为优选的实施例，所述计算所述双视点图像的拉普拉斯金字塔中的多个图像，其具体包括：
计算所述双视点图像的高斯金字塔中的多个图像；
根据所述高斯金字塔中的多个图像，得到拉普拉斯金字塔中的多个图像。
作为优选的实施例，所述计算所述双视点图像的高斯金字塔中的多个图像，其具体包括：
对所述双视点图像进行若干次二倍下采样，得到高斯金字塔中的多个图像；
所述根据所述高斯金字塔中的多个图像，得到拉普拉斯金字塔中的多个图像，其具体包括：
对高斯金字塔中的多个图像分别进行二倍上采样，得到多个上采样的图像，然后将高斯金字塔中的图像与同尺寸的上采样图像作差，得到拉普拉斯金字塔中的多个图像。
作为优选的实施例，所述根据所述双视点图像得到深度图，其具体为：
对双视点图像进行立体匹配，计算出相应匹配点的视差，从而得到深度图。
作为优选的实施例，在所述对所述拉普拉斯金字塔中的多个图像进行融合的过程中，对不同图层的融合操作采用不同的融合算子。
具体地，在融合过程中，先从拉普拉斯金字塔的最顶层开始，将最顶层上采样到与上一层，并与上一层拉普拉斯图像进行融合，然后将上一层的融合图像继续进行上采样和融合操作，直到恢复到最底层。
在本实施例中，在融合的过程对不同的层采用不同的融合算子，可以突显出不同层的不同频率细节对最终融合图像的影响，使得显著区域和非显著区域的划分更加精细。
作为优选的实施例，所述显著区域用掩模图表示。
本实施例采用掩模图来表示显著区域，以便于通过相与的方式快速将显著区域筛选出来。同理，非显著区域也可以用掩模图表示，其中表示显著区域的掩模图和表示非显著区域的掩模图为互补关系。
本实施例公开了一种双视点视频的处理系统，包括：
获取单元，用于获取双视点图像；
划分单元，用于划分所述双视点图像的显著区域和非显著区域；
深度图处理单元，用于根据所述双视点图像得到深度图；
编码单元，用于对所述深度图以及双视点图像中位于显著区域的部分采用较高码率的编码方式进行编码，对深度图以及双视点图像中位于非显著区域的部分采用较低码率的编码方式进行编码。
本实施例公开了一种双视点视频的处理系统，其包括：
存储器，用于存储程序；
处理器，用于加载所述程序，以执行所述的双视点视频的处理方法。
本实施例公开了一种存储介质，其存储有程序，所述程序被处理器执行时实现所述的双视点视频的处理方法。
上述系统和存储介质实施例均用于实现上述的方法实施例，因此，上述系统和存储介质实施例也可以达到上述方法实施例相同的技术效果。
对于上述方法实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (6)

1.一种双视点视频的处理方法，其特征在于：包括以下步骤：
获取双视点图像，所述双视点图像指半宽格式视频中的一帧图像；
对所述双视点图像进行若干次二倍下采样，得到高斯金字塔中的多个图像；
对高斯金字塔中的多个图像分别进行二倍上采样，得到多个上采样的图像，然后将高斯金字塔中的图像与同尺寸的上采样图像作差，得到拉普拉斯金字塔中的多个图像；
对所述拉普拉斯金字塔中的多个图像进行融合，得到融合图像，其中，对不同图像的融合操作采用不同的融合算子；
对所述融合图像进行阈值划分，得到双视点图像的显著区域和非显著区域；
根据所述双视点图像得到深度图；
对所述深度图以及双视点图像中位于显著区域的部分采用较高码率的编码方式进行编码，对深度图以及双视点图像中位于非显著区域的部分采用较低码率的编码方式进行编码。
2.根据权利要求1所述的一种双视点视频的处理方法，其特征在于：所述根据所述双视点图像得到深度图，其具体为：
对双视点图像进行立体匹配，计算出每组匹配点的视差，从而得到深度图。
3.根据权利要求1所述的一种双视点视频的处理方法，其特征在于：所述显著区域用掩模图表示。
4.一种双视点视频的处理系统，其特征在于：包括：
获取单元，用于获取双视点图像；
划分单元，用于对所述双视点图像进行若干次二倍下采样，得到高斯金字塔中的多个图像；对高斯金字塔中的多个图像分别进行二倍上采样，得到多个上采样的图像，然后将高斯金字塔中的图像与同尺寸的上采样图像作差，得到拉普拉斯金字塔中的多个图像；对所述拉普拉斯金字塔中的多个图像进行融合，得到融合图像，其中，对不同图像 的融合操作采用不同的融合算子；对所述融合图像进行阈值划分，得到双视点图像的显著区域和非显著区域；
深度图处理单元，用于根据所述双视点图像得到深度图；
编码单元，用于对所述深度图以及双视点图像中位于显著区域的部分采用较高码率的编码方式进行编码，对深度图以及双视点图像中位于非显著区域的部分采用较低码率的编码方式进行编码。
5.一种双视点视频的处理系统，其特征在于：包括：
存储器，用于存储程序；
处理器，用于加载所述程序，以执行如权利要求1-3任一项所述的双视点视频的处理方法。
6.一种存储介质，其存储有程序，其特征在于：所述程序被处理器执行时实现如权利要求1-3任一项所述的双视点视频的处理方法。
CN201910700923.0A 2019-07-31 2019-07-31 双视点视频的处理方法、系统和存储介质 Active CN110460832B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910700923.0A CN110460832B (zh) 2019-07-31 2019-07-31 双视点视频的处理方法、系统和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910700923.0A CN110460832B (zh) 2019-07-31 2019-07-31 双视点视频的处理方法、系统和存储介质

Publications (2)

Publication Number Publication Date
CN110460832A CN110460832A (zh) 2019-11-15
CN110460832B true CN110460832B (zh) 2021-09-07

Family

ID=68484202

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910700923.0A Active CN110460832B (zh) 2019-07-31 2019-07-31 双视点视频的处理方法、系统和存储介质

Country Status (1)

Country Link
CN (1) CN110460832B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111968105A (zh) * 2020-08-28 2020-11-20 南京诺源医疗器械有限公司 一种医学荧光成像中的显著性区域检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103179405A (zh) * 2013-03-26 2013-06-26 天津大学 一种基于多级感兴趣区域的多视点视频编码方法
CN103678552A (zh) * 2013-12-05 2014-03-26 武汉大学 基于显著区域特征的遥感影像检索方法及系统
CN103873876A (zh) * 2014-03-17 2014-06-18 天津大学 基于显著性的多视点彩色加深度视频编码方法
CN104335588A (zh) * 2012-07-04 2015-02-04 英特尔公司 基于感兴趣区域的3d视频译码
CN106507116A (zh) * 2016-10-12 2017-03-15 上海大学 一种基于3d显著性信息和视点合成预测的3d‑hevc编码方法
CN107396108A (zh) * 2017-08-15 2017-11-24 西安万像电子科技有限公司 码率分配方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104335588A (zh) * 2012-07-04 2015-02-04 英特尔公司 基于感兴趣区域的3d视频译码
CN103179405A (zh) * 2013-03-26 2013-06-26 天津大学 一种基于多级感兴趣区域的多视点视频编码方法
CN103678552A (zh) * 2013-12-05 2014-03-26 武汉大学 基于显著区域特征的遥感影像检索方法及系统
CN103873876A (zh) * 2014-03-17 2014-06-18 天津大学 基于显著性的多视点彩色加深度视频编码方法
CN106507116A (zh) * 2016-10-12 2017-03-15 上海大学 一种基于3d显著性信息和视点合成预测的3d‑hevc编码方法
CN107396108A (zh) * 2017-08-15 2017-11-24 西安万像电子科技有限公司 码率分配方法和装置

Also Published As

Publication number Publication date
CN110460832A (zh) 2019-11-15

Similar Documents

Publication Publication Date Title
Solh et al. Hierarchical hole-filling for depth-based view synthesis in FTV and 3D video
CN108475330B (zh) 用于有伪像感知的视图合成的辅助数据
US9525858B2 (en) Depth or disparity map upscaling
CN101415114B (zh) 视频编解码方法和装置以及视频编解码器
Zinger et al. Free-viewpoint depth image based rendering
Daribo et al. A novel inpainting-based layered depth video for 3DTV
EP2553933B1 (en) 3d disparity maps
JP5977752B2 (ja) 映像変換装置およびそれを利用するディスプレイ装置とその方法
KR100806201B1 (ko) 깊이영상의 계층적 분해를 이용한 삼차원 비디오 생성방법, 이를 위한 장치, 및 그 시스템과 기록 매체
KR20100095420A (ko) 깊이-맵을 프로세싱하는 방법 및 디바이스
US20110216162A1 (en) Multi-View Video Format Control
WO2013109252A1 (en) Generating an image for another view
WO2012161734A1 (en) Scale-independent maps
CN104041024A (zh) 立体影像编码装置、立体影像解码装置、立体影像编码方法、立体影像解码方法、立体影像编码程序以及立体影像解码程序
US20150304640A1 (en) Managing 3D Edge Effects On Autostereoscopic Displays
EP3547672A1 (en) Data processing method, device, and apparatus
Solh et al. Hierarchical hole-filling (HHF): Depth image based rendering without depth map filtering for 3D-TV
CN102469332A (zh) 修改立体图像对的方法和系统
JP7344988B2 (ja) ボリュメトリック映像の符号化および復号化のための方法、装置、およびコンピュータプログラム製品
Kim et al. Three-dimensional natural video system based on layered representation of depth maps
CN110460832B (zh) 双视点视频的处理方法、系统和存储介质
Kim et al. Multiview stereoscopic video hole filling considering spatiotemporal consistency and binocular symmetry for synthesized 3d video
Tezuka et al. View synthesis using superpixel based inpainting capable of occlusion handling and hole filling
WO2015115946A1 (en) Methods for encoding and decoding three-dimensional video content
Kao Stereoscopic image generation with depth image based rendering

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant