CN110460832A - 双视点视频的处理方法、系统和存储介质 - Google Patents
双视点视频的处理方法、系统和存储介质 Download PDFInfo
- Publication number
- CN110460832A CN110460832A CN201910700923.0A CN201910700923A CN110460832A CN 110460832 A CN110460832 A CN 110460832A CN 201910700923 A CN201910700923 A CN 201910700923A CN 110460832 A CN110460832 A CN 110460832A
- Authority
- CN
- China
- Prior art keywords
- double vision
- vision point
- image
- point image
- multiple images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
Abstract
本发明公开了一种双视点视频的处理方法、系统和存储介质,所述方法包括以下步骤:获取双视点图像;划分所述双视点图像的显著区域和非显著区域;根据所述双视点图像得到深度图;对所述深度图以及双视点图像中位于显著区域的部分采用较高码率的编码方式进行编码,对深度图以及双视点图像中位于非显著区域的部分采用较低码率的编码方式进行编码。本发明通过划分显著区域和非显著区域,并在编码时,对显著区域采用较高码率的编码方式进行编码,对非显著区域采用较低码率的编码方式进行编码;因此,本发明可以在确保显著区域的视频效果不显著降低的情况下,压缩双视点视频。本发明可以广泛应用于3D视频处理技术领域。
Description
技术领域
本发明涉及3D视频处理技术领域,尤其是一种双视点视频的处理方法、系统和存储介质。
背景技术
随着显示技术和通信技术的发展,人们对移动终端的显示效果提出了越来越高的要求。裸眼3D技术由于能够摆脱3D眼镜的束缚,直接通过眼睛即可感受到逼真的3D显示效果。因此近几年市面上裸眼3D的移动终端销量也逐年增加,裸眼3D终端除了在消费领域的普及,还在一些专业领域,比如医疗教育等行业开始展开应用。
就目前的裸眼3D显示技术而言,裸眼3D实现方式主要分为三种:光屏障式,柱镜光栅式以及指向光源式。由于柱镜光栅式生产成本较低,裸眼3D显示效果好同时结构紧凑易生产,已经渐渐成为主流的裸眼3D显示技术。为保证立体视频显示的质量,当前裸眼3D视频多采用全高清及以上分辨率,由于移动设备显示屏幕较小,因此其所采用的视频多为双视点左右半宽格式。
由于其自身存储空间和通信带宽有限,巨大的裸眼3D视频数据量给裸眼3D终端相关产业发展提出了巨大的挑战。传统方案在对视频进行压缩的同时,使得视频质量明显下降。
发明内容
为解决上述技术问题,本发明的目的在于:提供一种双视点视频的处理方法、系统和存储介质,以在视频效果不显著降低的情况下,压缩双视点视频。
本发明实施例的第一方面提供了:
一种双视点视频的处理方法,包括以下步骤:
获取双视点图像;
划分所述双视点图像的显著区域和非显著区域;
根据所述双视点图像得到深度图;
对所述深度图以及双视点图像中位于显著区域的部分采用较高码率的编码方式进行编码,对深度图以及双视点图像中位于非显著区域的部分采用较低码率的编码方式进行编码。
进一步,所述划分所述双视点图像的显著区域和非显著区域,其具体包括:
计算所述双视点图像的拉普拉斯金字塔中的多个图像;
对所述拉普拉斯金字塔中的多个图像进行融合,得到融合图像;
对所述融合图像进行阈值划分,得到双视点图像的显著区域和非显著区域。
进一步,所述计算所述双视点图像的拉普拉斯金字塔中的多个图像,其具体包括:
计算所述双视点图像的高斯金字塔中的多个图像;
根据所述高斯金字塔中的多个图像,得到拉普拉斯金字塔中的多个图像。
进一步,所述计算所述双视点图像的高斯金字塔中的多个图像,其具体包括:
对所述双视点图像进行若干次二倍下采样,得到高斯金字塔中的多个图像;
所述根据所述高斯金字塔中的多个图像,得到拉普拉斯金字塔中的多个图像,其具体包括:
对高斯金字塔中的多个图像分别进行二倍上采样,得到多个上采样的图像,然后将高斯金字塔中的图像与同尺寸的上采样图像作差,得到拉普拉斯金字塔中的多个图像。
进一步,所述根据所述双视点图像得到深度图,其具体为:
对双视点图像进行立体匹配,计算出相应匹配点的视差,从而得到深度图。
进一步,在所述对所述拉普拉斯金字塔中的多个图像进行融合的过程中,对不同图层的融合操作采用不同的融合算子。
进一步,所述显著区域用掩模图表示。
本发明实施例的第二方面提供了:
一种双视点视频的处理系统,包括:
获取单元,用于获取双视点图像;
划分单元,用于划分所述双视点图像的显著区域和非显著区域;
深度图处理单元,用于根据所述双视点图像得到深度图;
编码单元,用于对所述深度图以及双视点图像中位于显著区域的部分采用较高码率的编码方式进行编码,对深度图以及双视点图像中位于非显著区域的部分采用较低码率的编码方式进行编码。
本发明实施例的第三方面提供了:
一种双视点视频的处理系统,包括:
存储器,用于存储程序;
处理器,用于加载所述程序,以执行所述的双视点视频的处理方法。
本发明实施例的第四方面提供了:
一种存储介质,其存储有程序,所述程序被处理器执行时实现所述的双视点视频的处理方法。
本发明的有益效果是:本发明通过划分显著区域和非显著区域,并在编码时,对显著区域采用较高码率的编码方式进行编码,对非显著区域采用较低码率的编码方式进行编码;因此,本发明可以在确保显著区域的视频效果不显著降低的情况下,压缩双视点视频。
附图说明
图1为本发明一种具体实施例的双视点视频的处理方法的流程图;
图2为本发明一种具体实施例中通过对双视点图像进行处理得到拉普拉斯金字塔的示意图。
具体实施方式
下面结合说明书附图和具体的实施例对本发明进行进一步的说明。
在裸眼3D技术中,无论采用何种形式的设备,其实质都是利用用户双眼的视觉差来产生3D立体效果。通常3D视频采用左右半宽或者上下半宽的视频格式。以左右半宽为例,同一帧图像中的左半侧和右半侧分别是用于给用户的左眼和右眼接收的图像。
参照图1,本实施例公开了一种双视点视频的处理方法,包括步骤S101~S104:
S101、获取双视点图像;
在本步骤中所指的双视点图像是指如左右半宽格式等视频中的一帧图像。其可以从3D视频中获取。
S102、划分所述双视点图像的显著区域和非显著区域;
具体地,本步骤通过以下方式划分双视点图像的显著区域和非显著区域。
首先,对双视点图像进行高斯滤波,然后将滤波后得到的图像进行二倍下采样,对二倍下采样的图像继续执行高斯滤波和二倍下采样,如此反复三次,得到高斯金字塔的多个图像。
其中,如图2所示,双视点图像G0进行高斯滤波后进行二倍下采样,得到图像G1。然后将图像G1进行高斯滤波和二倍下采样,得到图像G2。对图像G2进行高斯滤波和二倍下采样后得到图像G3。高斯金字塔的图像序列可以记作:G0、G1、G2、G3。
随后,通过插值的方式,将除了图像G0以外的图像G1、图像G2和图像G3进行二倍上采样。由图像G1进行二倍上采样得到图像G0 *,由图像G2进行二倍上采样得到图像G1*,由图像G3进行二倍上采样得到图像G2*。
其中,图像G0*的尺寸与图像G0相同;图像G1*的尺寸与图像G1相同;图像G2*的尺寸与图像G2相同。
然后将高斯金字塔中的图像与对应尺寸的上采样图像作差,得到拉普拉斯金字塔的多个图像。
具体地,拉普拉斯金字塔的各层图像由图像L0、图像L1、图像L2和图像L3表示。
其中,L3=G3、L2=G2-G2*、L1=G1-G1*、L0=G0-G0*。
随后,对图像L0、图像L1、图像L2和图像L3进行融合处理。其中,融合的过程在不同的拉普拉斯层上进行,为了突显出不同层的不同频率细节对最终融合图像的影响,在不同层所采用的融合算子不同。具体地,先从最顶层开始,将最顶层上采样到与上一层,并与上一层拉普拉斯图像进行融合,然后将上一层的融合图像继续进行上采样和融合操作,直到恢复到最底层。
融合过程的图像序列为:R0、R1、R2。
其中,
R2=L2+f2(L3)
R1=L1+f1(L2+f2(L3))
R0=L0+f0(L1+f1(L2+f2(L3)))
f0,f1,f2是含有不同上采样算子的融合函数。
接着,通过统计融合图像中的直方图分布,通过如最大信息熵法等迭代方法确定二值化阈值。对感兴趣的区域,即显著区域进行二值化操作,获得图像中显著区域的掩模图。除了显著区域外的图像部分,均被划分为非显著区域,即不感兴趣区域。
S103、根据所述双视点图像得到深度图;
在本实施例中,可以对原始双视点图像进行立体匹配,计算出每组相应的匹配点的视差,并由此计算出深度图。
S104、对所述深度图以及双视点图像中位于显著区域的部分采用较高码率的编码方式进行编码,对深度图以及双视点图像中位于非显著区域的部分采用较低码率的编码方式进行编码。
所述较高和较低是相对而言的,即显著区域所采用的编码方式的码率比非显著区域所采用的编码方式的码率比要高。例如,对于显著区域所采用的编码方式的码率为X,非显著区域所采用的编码方式的码率为0.5X。
本实施例通过划分显著区域和非显著区域,并在编码时,对显著区域采用较高码率的编码方式进行编码,对非显著区域采用较低码率的编码方式进行编码;因此,本发明可以在确保显著区域的视频效果不显著降低的情况下,压缩双视点视频。
作为优选的实施例,所述划分所述双视点图像的显著区域和非显著区域,其具体包括:
计算所述双视点图像的拉普拉斯金字塔中的多个图像;
对所述拉普拉斯金字塔中的多个图像进行融合,得到融合图像;
对所述融合图像进行阈值划分,得到双视点图像的显著区域和非显著区域。
作为优选的实施例,所述计算所述双视点图像的拉普拉斯金字塔中的多个图像,其具体包括:
计算所述双视点图像的高斯金字塔中的多个图像;
根据所述高斯金字塔中的多个图像,得到拉普拉斯金字塔中的多个图像。
作为优选的实施例,所述计算所述双视点图像的高斯金字塔中的多个图像,其具体包括:
对所述双视点图像进行若干次二倍下采样,得到高斯金字塔中的多个图像;
所述根据所述高斯金字塔中的多个图像,得到拉普拉斯金字塔中的多个图像,其具体包括:
对高斯金字塔中的多个图像分别进行二倍上采样,得到多个上采样的图像,然后将高斯金字塔中的图像与同尺寸的上采样图像作差,得到拉普拉斯金字塔中的多个图像。
作为优选的实施例,所述根据所述双视点图像得到深度图,其具体为:
对双视点图像进行立体匹配,计算出相应匹配点的视差,从而得到深度图。
作为优选的实施例,在所述对所述拉普拉斯金字塔中的多个图像进行融合的过程中,对不同图层的融合操作采用不同的融合算子。
具体地,在融合过程中,先从拉普拉斯金字塔的最顶层开始,将最顶层上采样到与上一层,并与上一层拉普拉斯图像进行融合,然后将上一层的融合图像继续进行上采样和融合操作,直到恢复到最底层。
在本实施例中,在融合的过程对不同的层采用不同的融合算子,可以突显出不同层的不同频率细节对最终融合图像的影响,使得显著区域和非显著区域的划分更加精细。
作为优选的实施例,所述显著区域用掩模图表示。
本实施例采用掩模图来表示显著区域,以便于通过相与的方式快速将显著区域筛选出来。同理,非显著区域也可以用掩模图表示,其中表示显著区域的掩模图和表示非显著区域的掩模图为互补关系。
本实施例公开了一种双视点视频的处理系统,包括:
获取单元,用于获取双视点图像;
划分单元,用于划分所述双视点图像的显著区域和非显著区域;
深度图处理单元,用于根据所述双视点图像得到深度图;
编码单元,用于对所述深度图以及双视点图像中位于显著区域的部分采用较高码率的编码方式进行编码,对深度图以及双视点图像中位于非显著区域的部分采用较低码率的编码方式进行编码。
本实施例公开了一种双视点视频的处理系统,其包括:
存储器,用于存储程序;
处理器,用于加载所述程序,以执行所述的双视点视频的处理方法。
本实施例公开了一种存储介质,其存储有程序,所述程序被处理器执行时实现所述的双视点视频的处理方法。
上述系统和存储介质实施例均用于实现上述的方法实施例,因此,上述系统和存储介质实施例也可以达到上述方法实施例相同的技术效果。
对于上述方法实施例中的步骤编号,其仅为了便于阐述说明而设置,对步骤之间的顺序不做任何限定,实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
以上是对本发明的较佳实施进行了具体说明,但本发明并不限于所述实施例,熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换,这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
Claims (10)
1.一种双视点视频的处理方法,其特征在于:包括以下步骤:
获取双视点图像;
划分所述双视点图像的显著区域和非显著区域;
根据所述双视点图像得到深度图;
对所述深度图以及双视点图像中位于显著区域的部分采用较高码率的编码方式进行编码,对深度图以及双视点图像中位于非显著区域的部分采用较低码率的编码方式进行编码。
2.根据权利要求1所述的一种双视点视频的处理方法,其特征在于:所述划分所述双视点图像的显著区域和非显著区域,其具体包括:
计算所述双视点图像的拉普拉斯金字塔中的多个图像;
对所述拉普拉斯金字塔中的多个图像进行融合,得到融合图像;
对所述融合图像进行阈值划分,得到双视点图像的显著区域和非显著区域。
3.根据权利要求2所述的一种双视点视频的处理方法,其特征在于:所述计算所述双视点图像的拉普拉斯金字塔中的多个图像,其具体包括:
计算所述双视点图像的高斯金字塔中的多个图像;
根据所述高斯金字塔中的多个图像,得到拉普拉斯金字塔中的多个图像。
4.根据权利要求3所述的一种双视点视频的处理方法,其特征在于:所述计算所述双视点图像的高斯金字塔中的多个图像,其具体包括:
对所述双视点图像进行若干次二倍下采样,得到高斯金字塔中的多个图像;
所述根据所述高斯金字塔中的多个图像,得到拉普拉斯金字塔中的多个图像,其具体包括:
对高斯金字塔中的多个图像分别进行二倍上采样,得到多个上采样的图像,然后将高斯金字塔中的图像与同尺寸的上采样图像作差,得到拉普拉斯金字塔中的多个图像。
5.根据权利要求1所述的一种双视点视频的处理方法,其特征在于:所述根据所述双视点图像得到深度图,其具体为:
对双视点图像进行立体匹配,计算出每组匹配点的视差,从而得到深度图。
6.根据权利要求2所述的一种双视点视频的处理方法,其特征在于:在所述对所述拉普拉斯金字塔中的多个图像进行融合的过程中,对不同图层的融合操作采用不同的融合算子。
7.根据权利要求1所述的一种双视点视频的处理方法,其特征在于:所述显著区域用掩模图表示。
8.一种双视点视频的处理系统,其特征在于:包括:
获取单元,用于获取双视点图像;
划分单元,用于划分所述双视点图像的显著区域和非显著区域;
深度图处理单元,用于根据所述双视点图像得到深度图;
编码单元,用于对所述深度图以及双视点图像中位于显著区域的部分采用较高码率的编码方式进行编码,对深度图以及双视点图像中位于非显著区域的部分采用较低码率的编码方式进行编码。
9.一种双视点视频的处理系统,其特征在于:包括:
存储器,用于存储程序;
处理器,用于加载所述程序,以执行如权利要求1-7任一项所述的双视点视频的处理方法。
10.一种存储介质,其存储有程序,其特征在于:所述程序被处理器执行时实现如权利要求1-7任一项所述的双视点视频的处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910700923.0A CN110460832B (zh) | 2019-07-31 | 2019-07-31 | 双视点视频的处理方法、系统和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910700923.0A CN110460832B (zh) | 2019-07-31 | 2019-07-31 | 双视点视频的处理方法、系统和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110460832A true CN110460832A (zh) | 2019-11-15 |
CN110460832B CN110460832B (zh) | 2021-09-07 |
Family
ID=68484202
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910700923.0A Active CN110460832B (zh) | 2019-07-31 | 2019-07-31 | 双视点视频的处理方法、系统和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110460832B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111968105A (zh) * | 2020-08-28 | 2020-11-20 | 南京诺源医疗器械有限公司 | 一种医学荧光成像中的显著性区域检测方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103179405A (zh) * | 2013-03-26 | 2013-06-26 | 天津大学 | 一种基于多级感兴趣区域的多视点视频编码方法 |
CN103678552A (zh) * | 2013-12-05 | 2014-03-26 | 武汉大学 | 基于显著区域特征的遥感影像检索方法及系统 |
CN103873876A (zh) * | 2014-03-17 | 2014-06-18 | 天津大学 | 基于显著性的多视点彩色加深度视频编码方法 |
CN104335588A (zh) * | 2012-07-04 | 2015-02-04 | 英特尔公司 | 基于感兴趣区域的3d视频译码 |
CN106507116A (zh) * | 2016-10-12 | 2017-03-15 | 上海大学 | 一种基于3d显著性信息和视点合成预测的3d‑hevc编码方法 |
CN107396108A (zh) * | 2017-08-15 | 2017-11-24 | 西安万像电子科技有限公司 | 码率分配方法和装置 |
-
2019
- 2019-07-31 CN CN201910700923.0A patent/CN110460832B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104335588A (zh) * | 2012-07-04 | 2015-02-04 | 英特尔公司 | 基于感兴趣区域的3d视频译码 |
CN103179405A (zh) * | 2013-03-26 | 2013-06-26 | 天津大学 | 一种基于多级感兴趣区域的多视点视频编码方法 |
CN103678552A (zh) * | 2013-12-05 | 2014-03-26 | 武汉大学 | 基于显著区域特征的遥感影像检索方法及系统 |
CN103873876A (zh) * | 2014-03-17 | 2014-06-18 | 天津大学 | 基于显著性的多视点彩色加深度视频编码方法 |
CN106507116A (zh) * | 2016-10-12 | 2017-03-15 | 上海大学 | 一种基于3d显著性信息和视点合成预测的3d‑hevc编码方法 |
CN107396108A (zh) * | 2017-08-15 | 2017-11-24 | 西安万像电子科技有限公司 | 码率分配方法和装置 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111968105A (zh) * | 2020-08-28 | 2020-11-20 | 南京诺源医疗器械有限公司 | 一种医学荧光成像中的显著性区域检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110460832B (zh) | 2021-09-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108475330B (zh) | 用于有伪像感知的视图合成的辅助数据 | |
Zinger et al. | Free-viewpoint depth image based rendering | |
JP6005731B2 (ja) | スケール非依存マップ | |
KR20190015495A (ko) | 비디오 이미지 인코딩 방법 및 장치와, 비디오 이미지 디코딩 방법 및 장치 | |
CN108513119A (zh) | 图像的映射、处理方法、装置和机器可读介质 | |
CN101415114B (zh) | 视频编解码方法和装置以及视频编解码器 | |
CN102469332A (zh) | 修改立体图像对的方法和系统 | |
US20230100615A1 (en) | Video processing method and apparatus, and device, decoder, system and storage medium | |
TWI511525B (zh) | 用於產生、傳送及接收立體影像之方法,以及其相關裝置 | |
US20220217400A1 (en) | Method, an apparatus and a computer program product for volumetric video encoding and decoding | |
DE102007021518A1 (de) | Verfahren zum Verarbeiten eines Videodatensatzes | |
Olanda et al. | Terrain data compression using wavelet-tiled pyramids for online 3D terrain visualization | |
CN110460832A (zh) | 双视点视频的处理方法、系统和存储介质 | |
WO2022126333A1 (zh) | 图像填充方法及装置、解码方法及装置、电子设备及介质 | |
CN109345444B (zh) | 深度感知增强的超分辨率立体图像构建方法 | |
WO2024022086A1 (zh) | 基于三维显示的视频通信方法及系统 | |
Ruijters et al. | IGLANCE: transmission to medical high definition autostereoscopic displays | |
CN103813149B (zh) | 一种编解码系统的图像与视频重构方法 | |
Mahmoudpour et al. | The effect of depth map up-sampling on the overall quality of stereopairs | |
CN107277487A (zh) | 裸眼3d多宫格视频处理方法 | |
KR101347750B1 (ko) | 하이브리드 다운 샘플링 방법 및 장치, 하이브리드 업 샘플링 방법 및 장치 및 하이브리드 다운/업 샘플링 시스템 | |
Wan et al. | Stereoscopic 3D Depth Perception Analysis of H. 264/AVC Coded Video | |
Cao et al. | Feature Correlational Attention Network for Image Inpainting | |
Abdul Fatah | Post-production of holoscopic 3D image | |
US10469871B2 (en) | Encoding and decoding of 3D HDR images using a tapestry representation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |