CN104427323B - 基于深度的三维图像处理方法 - Google Patents

基于深度的三维图像处理方法 Download PDF

Info

Publication number
CN104427323B
CN104427323B CN201310370897.2A CN201310370897A CN104427323B CN 104427323 B CN104427323 B CN 104427323B CN 201310370897 A CN201310370897 A CN 201310370897A CN 104427323 B CN104427323 B CN 104427323B
Authority
CN
China
Prior art keywords
macro zone
zone block
depth
degree
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201310370897.2A
Other languages
English (en)
Other versions
CN104427323A (zh
Inventor
马守科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanning Fulian Fugui Precision Industrial Co Ltd
Original Assignee
Hongfujin Precision Industry Shenzhen Co Ltd
Hon Hai Precision Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hongfujin Precision Industry Shenzhen Co Ltd, Hon Hai Precision Industry Co Ltd filed Critical Hongfujin Precision Industry Shenzhen Co Ltd
Priority to CN201310370897.2A priority Critical patent/CN104427323B/zh
Priority to TW102131453A priority patent/TWI507020B/zh
Priority to US14/261,436 priority patent/US9525887B2/en
Publication of CN104427323A publication Critical patent/CN104427323A/zh
Application granted granted Critical
Publication of CN104427323B publication Critical patent/CN104427323B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)

Abstract

一种基于深度的三维图像处理方法。将深度视频进行下采样后，以隐写的方式将采样信息（深度信息）嵌入至颜色视频之亮度和色度宏区块中，然后再进行视频压缩。因此，在保持颜色视频之画质的情况下能再降低码率（Bit Rate），从而减少视频数据量以利存储与传输。

Description

基于深度的三维图像处理方法
技术领域
本发明系涉及一种图像处理方法，尤其涉及一种基于深度的三维图像处理方法。
背景技术
三维视频显示主要是在传统的二维影像上增加深度影像，以增强视觉的现实感和逼真感。影像的深度指的是场景到成像平面的距离信息，以000～255的灰度值（即，亮度值）来表示。距离成像平面愈近，深度影像的亮度越高（灰度值越大），反之，距离成像平面愈远，深度影像的亮度越低（灰度值越小）。
三维视频的影像数据量很大，因此需要对三维视频进行压缩，以避免存储空间不足和传输延迟的问题。已知的影像算法（例如，MPEG和H.264）仅能对二维视频进行压缩，而不能直接对三维视频进行压缩。
因此，需要一种可有效压缩深度信息的图像处理方法。
发明内容
有鉴于此，需提供一种基于深度的三维图像处理方法，其适用于电子装置，在保持颜色视频之画质的情况下能再进一步降低码率（Bit Rate），从而减少视频数据量以利存储与传输。
本发明一种实施方式提供一种基于深度的三维图像处理方法，适用于电子设备，所述三维图像处理方法包括：自视频源取得三维视频串流，并自所述三维视频串流提取其中一个视频帧；自所述视频帧分离出第一颜色宏区块与对应所述颜色宏区块之第一深度宏区块；对所述第一深度宏区块执行下采样操作以产生第二深度宏区块；对所述第一颜色宏区块执行深度信息嵌入操作，其中，将所述第二深度宏区块的深度信息嵌入到所述第一颜色宏区块中以产生第二颜色宏区块；对所述颜色宏区块执行图像处理以产生第三颜色宏区块；对所述第三颜色宏区块执行深度视频提取操作，其中，提取所述第三颜色宏区块中的深度信息以产生当前视角之第四颜色宏区块，并根据所述深度信息产生第三深度宏区块；对所述第三深度宏区块执行上采样操作；合成所述上采样后之第三深度宏区块与所述第四颜色宏区块以产生另一视角之第五颜色宏区块；以及将所述第四颜色宏区块与所述第五颜色宏区块合成为三维视频。
优选地，在本发明之基于深度的三维图像处理方法中，所述深度信息嵌入操作还包括：将所述第一颜色宏区块划分为多个子颜色宏区块；对所述第一深度宏区块进行下采样以产生所述第二深度宏区块，其中所述第二深度宏区块之总像素数为所述第一深度宏区块的1/N；以及自所述第二深度宏区块提取任意多个深度像素中的深度信息，并且嵌入至所述子颜色宏区块中，以得到具有深度信息之所述第二颜色宏区块。
优选地，在本发明之基于深度的三维图像处理方法中，所述子颜色宏区块包括4个亮度宏区块与2个色度宏区块。
优选地，本发明之基于深度的三维图像处理方法还包括：将所述亮度宏区块之每一个亮度宏区块的任意2个像素，以所述第二深度宏区块的任意2个像素置换；以及将所述色度宏区块之每一个色度宏区块的任意4个像素，以所述第二深度宏区块的任意4个像素置换。
优选地，在本发明之基于深度的三维图像处理方法中，所述第二深度宏区块之总像素数为所述第一深度宏区块的1/16。
优选地，在本发明之基于深度的三维图像处理方法中，所述深度视频撷取操作更包括下列步骤：将所述亮度宏区块之每一个亮度宏区块的2个像素以及所述色度宏区块之每一个色度宏区块的4个像素中之所述深度信息撷取出来，并根据所述深度信息产生所述第三深度宏区块。
通过本发明一种实施方式之基于深度的三维图像处理方法，在保持颜色视频之画质的情况下能再进一步降低码率，从而减少视频数据量以利存储与传输。
附图说明
图1是显示本发明一种实施方式之基于深度的三维图像处理方法的步骤流程图。
图2系显示本发明一种实施方式之深度信息嵌入方法的步骤流程图。
图3系显示本发明一种实施方式之深度信息撷取方法的步骤流程图。
主要元件符号说明
颜色宏区块 210、340
亮度宏区块 220
色度宏区块 230
深度宏区块 310
亮度信息 320
色度信息 330
具体实施方式
本发明一种实施方式之基于深度的三维图像处理方法将深度视频进行下采样后，将深度信息嵌入至颜色视频之亮度和色度宏区块中，然后再进行视频压缩。因此，在保持颜色视频之画质的情况下能再进一步降低码率（BitRate），从而减少视频数据量以利存储与传输。
图1是显示本发明一种实施方式之基于深度的三维图像处理方法的步骤流程图。
自视频源取得三维视频串流，自所述三维视频串流提取多个视频帧，并依序对每一个视频帧进行处理。首先，自第一个视频帧分离出至少一个颜色宏区块（Macroblock（MB））与对应所述颜色宏区块之至少一个深度宏区块（步骤S102、S104），其中所述颜色宏区块之总像素数为16*16，采样格式为Y:Cb:Cr=4:4:4。所述深度宏区块之总像素数为16*16，采样格式为Y:Cb:Cr=4:0:0。
对所述（第一）颜色宏区块进行残差处理，并且执行深度视频下采样操作，即，对所述（第一）深度宏区块进行下采样（步骤S106）。对所述（第一）颜色宏区块执行深度信息嵌入操作，即，将所述（第一）深度宏区块的深度信息嵌入（隐写）到对应之所述（第一）颜色宏区块中（步骤S108）。
图2系显示本发明一种实施方式之深度信息嵌入方法的步骤流程图。
对所述（第一）颜色宏区块的Cb像素和Cr像素进行下采样，其中采样格式为Y:Cb:Cr=4:2:0。将所述（第一）颜色宏区块划分为6个子颜色宏区块（步骤S202），其中包括4个亮度宏区块与2个色度宏区块（总像素数分别为8*8）。将所述（第一）深度宏区块依照1/16比例进行下采样后，形成总像素数为4*4的深度宏区块（步骤S204），以下称为第二深度宏区块。
自所述第二深度宏区块提取任意多个深度像素中的深度信息，并且嵌入至每一个亮度宏区块与每一个色度宏区块中（步骤S206、S208）。上述深度信息嵌入操作包括将4个亮度宏区块中之每一个亮度宏区块的任意2个像素（例如，在位置(1,1)与(8,8)的像素），以所述第二深度宏区块的任意2个像素置换，以及将2个色度宏区块中之每一个色度宏区块的任意4个像素（例如，在位置(1,1)、(1,8)、(8,1)与(8,8)的像素）以所述第二深度宏区块的任意4个像素置换。如此，可得到具有深度信息之颜色宏区块210（第二颜色宏区块），其包括4个亮度宏区块与2个色度宏区块。
需注意到，可使用所述第二深度宏区块中与所述亮度或色度宏区块中对应位置的像素来置换。
回到图1，深度信息被嵌入后，对（第二）颜色宏区块210进行离散余弦转换（Discrete Cosine Transform，DCT）与量化（Quantization）操作（步骤S110）。对包含（第二）颜色宏区块210的视频串流进行熵编码（EntropyEncoding）以得到视频编码流（步骤S112），接着进行熵译码（EntropyDecoding）以得到视频译码流（步骤S114），然后传送到网络层115以传送到远程或存储。
另一方面，对已完成变换与量化操作后之（第二）颜色宏区块210进行反离散余弦转换（Inverse DCT）与反量化（Inverse Quantization）（步骤S116）操作，以解碼恢复含深度信息之颜色宏区块210（以下称为第三颜色宏区块）。对所述第三颜色宏区块执行深度视频提取操作，即，提取所述第三颜色宏区块中的深度信息，以及恢复所述第三颜色宏区块中的色度与亮度信息以作为下一个视频帧之编码参考（步骤S118）。
图3系显示本发明一种实施方式之深度信息撷取方法的步骤流程图。
所述第三颜色宏区块包括4个亮度宏区块220与2个色度宏区块230。将在步骤S206与S208中嵌入的深度信息提取出来。也就是说，将4个亮度宏区块220中之每一个亮度宏区块的2个像素（例如，在位置(1,1)与(8,8)的像素）以及2个色度宏区块230中之每一个色度宏区块的4个像素（例如，在位置(1,1)、(1,8)、(8,1)与(8,8)的像素）中的深度信息提取出来（步骤S302与S306），以取得颜色宏区块210之深度信息，并据以产生深度宏区块310（第三深度宏区块）。
对亮度宏区块220与色度宏区块230进行信息估计和预测（步骤S304与S308），以取得所述第三颜色宏区块之亮度信息320与色度信息330。经由上述处理，可得到已去除深度信息之颜色宏区块340（第四颜色宏区块）。
将颜色宏区块340之前已经译码完成的画面作为参考帧（ReferenceFrame），并且依据所述参考帧对下一个视频帧进行帧内预测和运动估计（步骤S120），进而得到一个预测宏区块。根据所述预测宏区块与下一个视频帧之颜色宏区块相减得到一个最佳残差值，以作为下一个视频帧编码的原始数据。
另一方面，在接收端对深度宏区块310执行深度视频上采样（Up-Sampling）操作（步骤S122）。将上采样后的深度宏区块310和当前视角的颜色宏区块340合成以得到另一视角的宏区块。根据深度宏区块310的深度信息来调整所述另一视角的（第五）颜色宏区块对两眼的偏移距离，并且将所述第四与第五颜色宏区块合成为三维视频（步骤S124）。将合成后的三维视频传送到接收端（未显示）的显示设备（步骤S126）。
当处理完第一个视频帧后，即重复上述步骤，对下一个视频帧进行处理。需注意到，步骤S122、S124与S126都是在接收端（未显示）完成。
本发明一种实施方式之基于深度的图像处理方法对深度信息进行下采样后嵌入颜色视频，从压缩的码流中提取深度信息并进行上采样，然后对颜色视频的丢失信息进行估计和重建。如此一来，可以在视频较少失真的情况下进一步压缩码流，以减少压缩视频传输数据量。

Claims (7)

1.一种基于深度的三维图像处理方法，适用于电子设备，其特征在于，所述三维图像处理方法包括：
自视频源取得三维视频串流，并自所述三维视频串流提取其中一个视频帧；
自所述视频帧分离出第一颜色宏区块与对应所述颜色宏区块之第一深度宏区块；
对所述第一深度宏区块执行下采样操作以产生第二深度宏区块；
对所述第一颜色宏区块执行深度信息嵌入操作，其中，将所述第二深度宏区块的深度信息嵌入到所述第一颜色宏区块中以产生第二颜色宏区块；
对所述第二颜色宏区块执行图像处理以产生第三颜色宏区块；
对所述第三颜色宏区块执行深度视频提取操作，其中，提取所述第三颜色宏区块中的深度信息以产生当前视角之第四颜色宏区块，并根据所述深度信息产生第三深度宏区块；
对所述第三深度宏区块执行上采样操作；
合成所述上采样后之第三深度宏区块与所述第四颜色宏区块以产生另一视角之第五颜色宏区块；以及
将所述第四颜色宏区块与所述第五颜色宏区块合成为三维视频。
2.如权利要求1所述之三维图像处理方法，其特征在于，所述深度信息嵌入操作还包括：
将所述第一颜色宏区块划分为多个子颜色宏区块；
对所述第一深度宏区块进行下采样以产生所述第二深度宏区块，其中所述第二深度宏区块之总像素数为所述第一深度宏区块的1/N；以及
自所述第二深度宏区块提取任意多个深度像素中的深度信息，并且嵌入至所述子颜色宏区块中，以得到具有深度信息之所述第二颜色宏区块。
3.如权利要求2所述之三维图像处理方法，其特征在于，所述子颜色宏区块包括4个亮度宏区块与2个色度宏区块。
4.如权利要求3所述之三维图像处理方法，其特征在于，还包括：
将所述亮度宏区块之每一个亮度宏区块的任意2个像素，以所述第二深度宏区块的任意2个像素置换；以及
将所述色度宏区块之每一个色度宏区块的任意4个像素，以所述第二深度宏区块的任意4个像素置换。
5.如权利要求4所述之三维图像处理方法，其特征在于，还包括：
将所述亮度宏区块之每一个亮度宏区块的任意2个像素，以所述第二深度宏区块中相应位置之2个像素置换；以及
将所述色度宏区块之每一个色度宏区块的任意4个像素，以所述第二深度宏区块中相应位置之任意4个像素置换。
6.如权利要求4所述之三维图像处理方法，其特征在于，所述第二深度宏区块之总像素数为所述第一深度宏区块的1/16。
7.如权利要求4所述之三维图像处理方法，其特征在于，所述深度视频提取操作还包括：
将所述亮度宏区块之每一个亮度宏区块的2个像素以及所述色度宏区块之每一个色度宏区块的4个像素中之所述深度信息提取出来，并根据所述深度信息产生所述第三深度宏区块。
CN201310370897.2A 2013-08-23 2013-08-23 基于深度的三维图像处理方法 Expired - Fee Related CN104427323B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201310370897.2A CN104427323B (zh) 2013-08-23 2013-08-23 基于深度的三维图像处理方法
TW102131453A TWI507020B (zh) 2013-08-23 2013-08-30 基於深度的三維影像處理方法
US14/261,436 US9525887B2 (en) 2013-08-23 2014-04-25 Method for processing and compressing three-dimensional video data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310370897.2A CN104427323B (zh) 2013-08-23 2013-08-23 基于深度的三维图像处理方法

Publications (2)

Publication Number Publication Date
CN104427323A CN104427323A (zh) 2015-03-18
CN104427323B true CN104427323B (zh) 2016-08-10

Family

ID=52480361

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310370897.2A Expired - Fee Related CN104427323B (zh) 2013-08-23 2013-08-23 基于深度的三维图像处理方法

Country Status (3)

Country Link
US (1) US9525887B2 (zh)
CN (1) CN104427323B (zh)
TW (1) TWI507020B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10375375B2 (en) 2017-05-15 2019-08-06 Lg Electronics Inc. Method of providing fixed region information or offset region information for subtitle in virtual reality system and device for controlling the same
CN109246408B (zh) * 2018-09-30 2020-07-10 Oppo广东移动通信有限公司 一种数据处理方法、终端、服务器和计算机存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101610422A (zh) * 2009-07-21 2009-12-23 天津大学 立体图像视频序列压缩方法
WO2012005947A2 (en) * 2010-07-07 2012-01-12 Spinella Ip Holdings, Inc. System and method for transmission, processing, and rendering of stereoscopic and multi-view images
CN102474661A (zh) * 2009-08-06 2012-05-23 高通股份有限公司 根据输送协议封装三维视频数据
CN102714744A (zh) * 2010-11-10 2012-10-03 索尼公司 图像数据发送设备、图像数据发送方法、图像数据接收设备以及图像数据接收方法
WO2012147621A1 (ja) * 2011-04-28 2012-11-01 ソニー株式会社 符号化装置および符号化方法、並びに、復号装置および復号方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101323732B1 (ko) * 2005-07-15 2013-10-31 삼성전자주식회사 영상 부호화장치 및 방법과 그 복호화장치 및 방법
US9030469B2 (en) * 2009-11-18 2015-05-12 Industrial Technology Research Institute Method for generating depth maps from monocular images and systems using the same
US9628722B2 (en) * 2010-03-30 2017-04-18 Personify, Inc. Systems and methods for embedding a foreground video into a background feed based on a control input
US9014462B2 (en) * 2010-11-10 2015-04-21 Panasonic Intellectual Property Management Co., Ltd. Depth information generating device, depth information generating method, and stereo image converter
US9451252B2 (en) * 2012-01-14 2016-09-20 Qualcomm Incorporated Coding parameter sets and NAL unit headers for video coding
US9661340B2 (en) * 2012-10-22 2017-05-23 Microsoft Technology Licensing, Llc Band separation filtering / inverse filtering for frame packing / unpacking higher resolution chroma sampling formats

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101610422A (zh) * 2009-07-21 2009-12-23 天津大学 立体图像视频序列压缩方法
CN102474661A (zh) * 2009-08-06 2012-05-23 高通股份有限公司 根据输送协议封装三维视频数据
WO2012005947A2 (en) * 2010-07-07 2012-01-12 Spinella Ip Holdings, Inc. System and method for transmission, processing, and rendering of stereoscopic and multi-view images
CN102714744A (zh) * 2010-11-10 2012-10-03 索尼公司 图像数据发送设备、图像数据发送方法、图像数据接收设备以及图像数据接收方法
WO2012147621A1 (ja) * 2011-04-28 2012-11-01 ソニー株式会社 符号化装置および符号化方法、並びに、復号装置および復号方法

Also Published As

Publication number Publication date
TW201509173A (zh) 2015-03-01
CN104427323A (zh) 2015-03-18
US9525887B2 (en) 2016-12-20
US20150055700A1 (en) 2015-02-26
TWI507020B (zh) 2015-11-01

Similar Documents

Publication Publication Date Title
Zhao et al. Light field image coding via linear approximation prior
CN103493483B (zh) 译码多视图视频加深度内容
JP6675289B2 (ja) 画像復号装置、画像復号方法、画像符号化装置及び画像符号化方法
US8953898B2 (en) Image processing apparatus and method
Perra Lossless plenoptic image compression using adaptive block differential prediction
EP2668634B1 (en) Method and system for acquisition, representation, compression, and transmission of three-dimensional data
US9538239B2 (en) Decoder and method for decoding encoded input data containing a plurality of blocks or packets
US20090103616A1 (en) Method and device for generating depth image using reference image, method for encoding/decoding depth image, encoder or decoder for the same, and recording medium recording image generated using the method
US20130271565A1 (en) View synthesis based on asymmetric texture and depth resolutions
Perra et al. JPEG 2000 compression of unfocused light field images based on lenslet array slicing
CN102450015A (zh) 三维转换信息与二维视频序列的编码
CN102742282B (zh) 基于块的交错
KR20130091323A (ko) 스테레오스코픽 및 멀티-뷰 이미지들의 송신, 프로세싱 및 렌더링을 위한 시스템 및 방법
US10827161B2 (en) Depth codec for 3D-video recording and streaming applications
TW201123843A (en) Texture compression in a video decoder for efficient 2D-3D rendering
US10687068B1 (en) Method for compressing light field data using variable block-size four-dimensional transforms and bit-plane decomposition
CN102438167B (zh) 一种基于深度图像绘制的立体视频编码方法
CN101335902A (zh) 色度补偿方法和装置
CN102710949B (zh) 一种基于视觉感知的立体视频编码方法
CN102301712A (zh) 对亮度和色度彩色空间图像使用棋盘形马赛克的图像压缩
Li et al. Coding of plenoptic images by using a sparse set and disparities
WO2007026440A1 (ja) 画像情報圧縮方法、画像情報圧縮装置、及び自由視点テレビシステム
Merkle et al. Efficient compression of multi-view depth data based on MVC
CN104427323B (zh) 基于深度的三维图像处理方法
Deng et al. MASIC: Deep Mask Stereo Image Compression

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20180302

Address after: The Guangxi Zhuang Autonomous Region Nanning hi tech Zone headquarters Road No. 18, China ASEAN enterprise headquarters base three 5# workshop

Patentee after: NANNING FUGUI PRECISION INDUSTRIAL CO., LTD.

Address before: 518109 Guangdong city of Shenzhen province Baoan District Longhua Town Industrial Zone tabulaeformis tenth East Ring Road No. 2 two

Co-patentee before: Hon Hai Precision Industry Co., Ltd.

Patentee before: Hongfujin Precise Industry (Shenzhen) Co., Ltd.

TR01 Transfer of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160810

Termination date: 20180823

CF01 Termination of patent right due to non-payment of annual fee