CN102823241A - 立体三维图像的低带宽内容保留压缩方法和设备 - Google Patents

立体三维图像的低带宽内容保留压缩方法和设备 Download PDF

Info

Publication number
CN102823241A
CN102823241A CN2010800656487A CN201080065648A CN102823241A CN 102823241 A CN102823241 A CN 102823241A CN 2010800656487 A CN2010800656487 A CN 2010800656487A CN 201080065648 A CN201080065648 A CN 201080065648A CN 102823241 A CN102823241 A CN 102823241A
Authority
CN
China
Prior art keywords
image
frame
dimensional
capable image
displacement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010800656487A
Other languages
English (en)
Other versions
CN102823241B (zh
Inventor
埃米尔·楚卡莱斯基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN102823241A publication Critical patent/CN102823241A/zh
Application granted granted Critical
Publication of CN102823241B publication Critical patent/CN102823241B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H04N19/194—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive involving only two passes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N2013/40—Privacy aspects, i.e. devices showing different images to different viewers, the images not being viewpoints of the same scene
    • H04N2013/405—Privacy aspects, i.e. devices showing different images to different viewers, the images not being viewpoints of the same scene the images being stereoscopic or three dimensional

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

描述了一种方法和设备，包括：一种方法，所述方法包括：接受第一立体眼帧行图像；接受第二立体眼帧行图像；确定所述第一立体眼帧行图像与所述第二立体眼帧行图像之间的粗略图像移位；响应于所述粗略图像移位来确定精细图像移位；传送所述第一立体眼帧行图像和所述第二立体眼帧行图像之一；并且传送与所述精细图像移位相对应的数据和元数据以进一步处理。同样描述了一种方法和设备，包括：接收传输的第一全立体眼帧行图像；提取第一立体眼帧行图像与第二立体眼帧行图像之间的差；从所述第一立体眼帧行图像中减去所提取的差；存储所述第二立体眼帧行图像；从所述第一全立体眼帧行图像中包括的元数据中提取移位行值；并且响应于所述移位值将所述第二立体眼帧行图像移位至其原始位置。

Description

立体三维图像的低带宽内容保留压缩方法和设备
技术领域
本发明涉及三维(3D)视频图像的传递，具体地涉及降低3D视频图像传递所需的带宽而同时保留内容的方法和设备。
背景技术
在组播或广播应用中，通过有线和/或无线网络从服务器向多个接收机传输数据。组播系统是服务器向多个接收机同时传输相同数据的系统，其中，接收机形成所有接收机的子集，该子集的接收机多达以及包括所有的接收机。广播系统是服务器向所有接收机同时传输相同数据的系统。即，根据定义组播系统可以包括广播系统。
尽管用于传递(传输、部署)左眼(LE)-右眼(RE)图像差作为附加层的现有方法实现了实质立体压缩，但是用于附加层的带宽在单个信道的30％到60％范围上。该量仍较高，并且存在针对分发、解码和存储的问题。
目的在于找到一种实际且高效的方法，其在单个视频流的15％至30％带宽的图像中传递附加层。
本压缩方法更好地适应LE和RE视频图像对的立体3D(S3D)结构，并且利用了两个画面信道的内在关系。如果原始S3D画面是使用并行的摄像机装置或前束(toe-in)来捕获的，或者如果原始S3D画面是通过应用创造性场景深度来捕获(拍摄)的，则LE和RE视频图像对中的两个图像具有更深的相关性，可以沿着图像的z轴(或深度轴)通过非线性旋转来提取这种更深的相关性。本发明使用这种相关特征(来自人类视觉系统(HVS)的特性)，并且传递更好的视频传送压缩。
发明内容
本发明允许对以图像深度再现为目的而捕获或创建的视频图像(画面)的始位(home)的高级部署。通过现有管道(链路、信道)整体传送左眼(LE)图像和右眼(RE)图像之一，无论这些链路是组播、广播、有线、卫星、互联网还是地面等。使用立体画面对的容量特征和空间特性来压缩第二视频图像。
本发明扩展作为MPEG 4实现方式的部分而列出的解决方案(被称作2D Plus Delta技术)。本文所描述的本发明在基于3D旋转和迭代图像减法将LE与RE图像相关的方面与该技术不同。
应当注意到，视频图像数据用作示例，但是数据也可以是S3D类型多媒体数据。应当注意，本发明可以使用在以下系统中：在电视上显示或者在显示监视器或视频投影仪或能够呈现3D视频图像的任何其他设备上呈现3D视频图像，能够呈现3D视频图像的任何其他设备包括但不限于，移动设备、计算机、膝上型计算机、笔记本计算机、个人数字助理(PDA)、双模智能电话等。术语电视线路在本文用作以上用于传递和呈现3D视频图像的系统的示例性实施例。任何以上设备可以在客户端-服务器架构或者对等(P2P)架构或其任何组合或者用于传递和呈现3D视频图像的任何其他架构中进行操作。组合架构例如包括在具有网状路由器的多跳无线中继网络中使用的P2P架构，网状路由器连接至客户端-服务器架构中的服务器。
本发明通过首先从显示帧中第一有效帧行(line)的LE图像中减去第一有效帧行(同一行)的RE图像来采用高效的立体图像编码。如果该差值显著，则算法识别出存在立体内容，并且开始定位立体内容集中的位置--在远区、在中间区或者在接近真实场景的观看者区中。这可以通过分三步沿着LE图像行的方向移位RE图像行并且产生三个LE-RE差来实现。最小差指示场景的主导图像深度。然后围绕该位置来确定更精细图像行移位，以获得更小的差。对于后面的电视行重复该过程，其中在一个帧中添加垂直行相关、以及帧间时间行相关。因此，该过程找出RE图像与LE图像的最接近位置。非线性RE图像行移位表示电视帧中的旋转操作，目的在于适应最明显的立体平面中的LE图像行。完全地传递LE图像，而通过将RE图像编码为最小LE-RE差来编码RE图像。计算是：对差中的累加字节进行移位、减法和计数。该压缩方法在行扫描中实时操作。在接收侧，解压缩方法接受(接收)具有行移位值的元数据，并且该方法从传输的全LE图像中减去LE-RE差，以恢复RE行图像，并且将RE行图像定位至其原始位置。
应当注意，本发明的方法对完全逐行扫描或隔行扫描的LE和RE图像进行处理。即，本发明的方法按照向本发明的方法和设备呈现图像的方式来处理图像。本发明既不修改光栅格式也不采用分区或交织压缩。其并行承载针对两个图像的信息，并且不采用任何LE或RE图像序列来压缩立体图像对。
应当注意，本文描述的从左眼图像中减去RE图像的示例性实施例可以反向。如果是这种情况，则本发明的方法也可以反向。还应当注意到，本发明还可以使用比近区、中间区和远区更多的区域。例如，额外的区域可以在近区与中间区之间，以及在中间区与远区之间，因此实现5个区域、5次移位和5次减法。即，本发明不限于三个区域，三个区域的使用用作示例性实施例。
本发明的方法和设备被设计为通过对立体图像对采用自适应技术，来降低被传递至家庭或影院或移动设备的S3D双视频流的带宽。存在可以与本发明相比的三类高级S3D视频编码器和方法：
1)标准2D Plus Delta编码方法。这些方法基于MPEG4的多视图视频编码扩展的H.264实现，并且列为ISO/ITU/IEC/MPEG2/MPEG4/MVC提案。该技术使用LE或RE信道之一作为二维(2D)版本，而将该信道与第二信道之间的压缩差或视差(Delta)注入到视频流的用户数据中，或者作为副流或增强层传递。Delta数据可以是空间立体视差、时间预测、或双向运动补偿，但是delta数据不是图像深度数据。
该类方法的优点在于这些方法允许LE和RE立体视频视图的完全信息的重构，可以通过现有管道传递，并且可以由传统2D解码器来解码。该方法的缺点在于，不利用LE和RE图像的自然相关，因此压缩效率是有限的。
2)2D加深度编码方法，也被称作2D Plus Z格式。这些方法基于灰度级深度图，与每个2D图像帧相关联地构建。灰度级深度图指示2D图像中的特定像素需要在显示(屏幕)平面前方再现还是在该平面后面再现。256个灰度级等级可以在图像内构建深度的平滑梯度。显示监视器(电视机、视频投影、移动设备或用于呈现S3D视频图像的任何其他显示设备)中的处理采用深度图，并且构建LE和RE视频图像，并且还呈现多视图图像。
该类方法的优点在于有限的带宽，落在用于传递单个视频(非S3D)流的视频信道的20％范围内。该类方法的缺点在于与现有2D显示器不兼容，难以根据现场立体馈送来精确地产生深度图，并且在呈现深度图时产生可见伪像。
3)用于图像分割和立体相关计算的方法。这些方法在计算机视觉和复杂场景边缘检测中应用，并且带来了3D图画表示和识别的进步和优点。它们的缺点是成本较高并且处理慢，这在现场广播(组播、流传输)中不是始终可接受的。
因此，本发明的方法利用传递整个第二视频流所需的全信道带宽的15％至30％来表示第二视频流。生成的压缩视频流包含以全分辨率重构LE和RE立体视图所必要的所有信息。
所描述的方法和设备包括：接受第一立体眼帧行图像；接受第二立体眼帧行图像；确定第一立体眼帧行图像与第二立体眼帧行图像之间的粗略图像移位；响应于所述粗略图像移位来确定精细图像移位；转发所述第一立体眼帧行图像和所述第二立体眼帧行图像之一；并且转发与精细图像移位相对应的数据和元数据以进一步处理。还描述了一种方法和设备，包括：接受传输的第一全立体眼帧行图像；提取第一立体眼帧行图像与第二立体眼帧行图像之间的差；从第一立体眼帧行图像中减去所提取的差；存储第二立体眼帧行图像；从第一全立体眼帧行图像中包括的元数据中提取移位行值；并且响应于移位值将第二立体眼帧行图像移位至其原始位置。
附图说明
根据以下结合附图阅读时的详细描述，更好地理解本发明。附图包括以下简略描述的图：
图1示出了相对于人类视觉系统(HVS)场景目标的位置。
图2a、2b、2c和2d示出了初始LE和RE行图像以及将RE图像右移的结果，以便确定针对远场景目标、中间场景目标和近场景目标的粗略差。
图3是确定用于本发明压缩方法的粗略图像移位的示例性实施例的流程图。
图4是确定用于本发明压缩的行间和帧间处理的示例性实施例的流程图。
图5是根据本发明原理的编码器的示例性实施例的框图。
图6是本发明的解压缩方法的示例性实施例的流程图。
图7是本发明的解压缩器的示例性实施例的框图。
具体实施方式
针对将立体3D图像的两个视频信道尽可能多地压缩到单个视频信道以经由广播、卫星、有线、互联网、封装媒体、蓝光盘以及最近经由移动进行分发的问题，已经存在若干方法。随着S3D的兴起，开创了新的技术，或者出于压缩和与当前通道兼容性的目的，对容量画面应用一些现有的标准和实践。困难来自于以下事实：如果质量压缩的图像不能嵌入到第一流中，则第二视频流仍需要独立信道用于传递。
使用针对立体视频压缩和内容传递的MPEG提案实现了显著进步，主要在2D Plus Delta方法下。本发明的目的是在开发下一层次的内容保留压缩时利用立体图像对的相关特征，这使得更接近立体图像对的单信道表示
S3D成像的一个特征是LE图像和RE图像的旋转相似性。最接近人眼睛的目标具有最大图像视差，例如，空间LE和RE图像之间的差最大，不仅在位置方面在内容方面也如此。通常在大于150英尺远处的较远目标看起来在HVS中产生针对LE和RE的相似图像。近区和远区之间的目标在空间位置和内容方面产生具有中等差异的立体图像对。如果以远平面为旋转中心对LE或RE图像之一应用图像旋转，并且如果旋转方向向着另一图像，则在空间旋转的特定角度上图像会交叠。此刻，仅立体对图像之间的内容差是明显的。该剩余的差来自HVS的眼镜间距离，并且提供了用于编码的最有价值的信息。
实际上，很难对已经获取的S3D图像执行空间旋转。然而，本发明考虑通过对图像对中图像的两个行执行迭代数学运算来获得相似结果的可能性。因此，研究了多个步骤：
-找到LE图像与RE图像之间的粗略旋转相关性，一次一个帧行
-找到LE图像与RE图像之间的精细旋转相关性，一次一个帧行
-沿垂直方向，将一个S3D帧中的连续帧行相关
-沿时间方向，将连续帧相关。
在图1中示出了场景目标相对于观看者的位置为远目标、中间深度目标和近目标。这种表示是理解本发明并对用于RE图像编码的目标的主导位置进行选择的基础。
图2a是示出了前两行中LE和RE图像的行目标的像素的示例。水平位置差是立体摄像机装置的两个摄像机所获得的初始图像视差。将LE图像定位到RE图像的右侧：这也是人类如何看到这些图像的，假定两个画面从一个相同的水平开始点开始(对于两个画面而言，是零像素数目)。
在本发明的一个实施例中，将LE图像行视为基准，并将RE图像行沿着LE图像行的方向水平向右移动或移位，以找到最低(最小)LE-RE差。图2a的底(最后)行示出了在发起任何压缩之前的初始LE-RE图像差。该差在比特尺寸上小于两个立体分量中的任一个，但是大于如下所述当在RE图像移位之后创建的相同差。
在四个阶段中执行RE图像移位：
-首先，从LE图像中减去RE图像(LE-RE)，并且对结果进行分析。如果结果在零与128字节之间，则两个图像行不同，并且在该帧行中不存在实质性的S3D信息。通过所有像素数目相同的的视频值逐个相减LE-RE来实现减法阶段，然后对差求和。如果减法(差)结果大于128字节的数字值，则在帧行中存在显著的S3D数据。减法过程将差结果与以下计算字节相加，直到填充了第128个字节为止。不需要精确地计算差。连续减法和加法之后的最末全字节(full byte)的数目给出足够信息以判断立体效果，并且在本文中该最末全字节表示为初始差，即Diff(初始)。
-RE图像的第一水平移位是移位较小像素数目，并且将RE图像行向右移位。在图2b中示出了第一水平移位。该第一水平移位与真实S3D场景中较深或较远的目标相关。RE图像行的所有像素向右移位了10个像素，并且在本文中表示为移位(远)。需要大于帧行长度的缓冲器来容纳RE图像行的最右侧像素。从LE图像行中减去移动了10个像素的RE图像，并保留(存储、保持)该结果，该结果是计算之后的最末全字节的数目。然后，将RE图像行位置复位到其初始位置。图2b的底(最后)行示出了与图2a的底(最后)行相比图像差的比特尺寸的显著缩减。
-RE图像的第二水平移位是向右50个像素。这在图2c中示出并且在本文中表示为移位(中间)。该移位与真实S3D场景的中间深度的目标相关。所有RE图像行像素向右移位，并且采用另一缓冲器来存储移位的帧行。从LE图像行中减去移动了50个像素的RE图像行并且保留(存储、保持)结果，该结果是计算之后最末全字节的数目。然后，将RE图像行位置复位到其初始位置。图2c的底(最后)行示出了与图2a的底(最后)行相比图像差的比特尺寸的缩减。
-RE图像行的第三水平移位向右150个像素。这在图2d中示出并且在本文中表示为移位(近)。该移位针对真实S3D场景中最接近观看者的目标。移位了所有RE图像行像素，并且涉及到另一扩展缓冲器，以便存储移位的帧行。从LE图像行中减去移动了150个像素的RE图像行并且保留(存储、保持)结果，该结果是计算之后最末全字节的数目。同样将RE图像行位置复位到其初始位置。图2d的底(最后)行也示出了与图2a的底(最后)行相比图像差的比特尺寸的缩减。
一旦实施了三个图像行移位和减法阶段，则将生成的差与Diff(初始)相比较。仅需将最末全字节的数目相比较。与Diff(初始)相比三个移位结果中最末全字节数目最小的那个移位结果是LE图像行的最佳RE图像行近似，并且在本文中表示为RE(粗略)。这反映了沿场景的Z轴针对该帧行的主导目标位置。然后从LE图像行中逐像素地减去RE(粗略)，并且视频差是压缩的初始结果。这以最小冗余表示了图像对中的第二视频信道，并且在本文中表示为粗略差(Diff(粗略))。
对于图2a、2b、2c和2d中的示出的示例，图2c的移位具有获得的最佳LE-RE图像差，并且通过本发明的方法被选择，以用于本发明压缩方法的下个步骤，该下个步骤是两个图像行之间的精细相关。元数据以每行两个字节的方式来携带RE行移位信息。
在LE与RE图像行之间的粗略旋转相关之后，找到最佳初始匹配，发起下一层次的相关性搜索，以在粗略旋转相关的区域(周围、邻近)中找到更小(更低)LE-RE差。该过程应用相似的像素移位、减法和最末全字节比较。
为了开始针对精细旋转相关的搜索，将RE图像行设置在其最佳位置RE(粗略)，如上所述在粗略旋转相关中确定的。接着，以更小递增量来移位(移动)RE图像，例如，首先向右移位5个像素。从LE图像行中减去每个移位的RE图像行，并且将每个最末全字节数目与Diff(粗略)最末全字节数目相比较。如果新字节数目小于Diff(粗略)，则算法已经找到用于编码器的更好RE图像行候选，在本文中表示为RE(精细)，该精细差在本文中表示为Diff(精细)。重复向右移位RE，直到Diff(精细)开始增大(增长)为止，并且选择最小的Diff(精细)。
如果Diff(精细)大于Diff(粗略)，则以5个像素的递增量将RE图像行后退向左移位。如果找到小于Diff(粗略)的新字节数目，则该字节数目是用于编码的更好候选。重复向左移位RE，直到Diff(精细)开始增大(增长)，并且选择最小Diff(精细)。以RE图像行像素位置存储在缓冲器的元数据中，以传递RE图像行数据。
视频帧的每个其他帧行必须经历如上所述对第一帧行所进行的处理，同时标注连续帧行的附加非线性相关性评估。基于视频成像的已知结构和统计，下个帧行移位的最佳近似将是来自先前行的RE(精细)位置，这是定位下个帧行的粗略旋转相关点(位置)的良好开始点。
遵循这种考虑，对下个行Diff(初始)差进行测试。如果结果与其来自先前帧行的Diff(初始)值相似，则帧行之间的旋转相关免除了剩余的计算。如果Diff(初始)与其根据先前行的值相差|20|％，则目标显示出沿着图像垂直方向的非相似性，应重复上述计算(重新进行)。
图像序列的每个下一帧经历上述处理，其中增加了帧间非线性旋转相关。视频帧携带冗余信息，并且还携带目标尺寸和位置的重复。
在给定这种考虑的情况下，对下个行LE-RE(精细)差进行测试。如果结果相似于其根据先前帧的值，则帧之间的相关免除了详细计算。如果Diff(精细)与其根据先前行的值相差|20|％，则目标显示出沿着图像时间方向的非相似性，并重复上述计算(重新进行)。
S3D压缩方法以比帧周期的持续时间少的时间来变换一个帧，并且这被视为实时计算。关联的元数据以每帧行两个字节的方式携带针对RE图像的像素偏移。移位或旋转的RE信道由在立体图像对中两个图像的最佳交叠位置处获取的LE-RE差来表示。旋转变换或顺序RE图像移位是逐行执行的，从而分多步检测来场景汇聚。
接收侧计算量更低，接收侧从全LE图像中减去所传输的LE-RE图像差以重建RE图像，然后将RE移位回至其原始位置。从元数据获取针对移位值的信息。
本发明的压缩方法的示例性实施例的流程图由于其尺寸较大在两幅图中示出。
图3示出了本发明的一个帧行压缩方法的示例性实施例，其中首先将输入的LE与RE图像行相减以产生Diff(初始)。如果结果大于128个字节，则方法继续。然后将RE图像行向右分别移位10、50和150个像素，从LE图像行中减去移位结果。对三个差进行比较，并且向三个差之中的最小差分配Diff(粗略)。然后将RE图像行向右移位5个像素，并且在下个模块中向左移位5个像素。在每个步骤从LE图像行中减去RE图像行的值，并且创建Diff(精细)。将Diff(粗略)与Diff(精细)相比较，并且过程循环直到找到最小差为止。
图4示出了本发明压缩方法的示例性实施例的第二部分，其中输入来自方法的部分1(图3中所示)Diff(粗略)。还输入并存储来自先前帧行和来自先前帧的Diff(粗略)。当前Diff(粗略)与来自先前行的Diff(粗略)的比较确定了是否可以使用先前行移位值。如果Diff(粗略)当前行与Diff(粗略)先前行之间的差＞|20|％，则执行完整算法(部分1)。否则，当Diff(粗略)当前行与Diff(粗略)先前行之间的差＜|20|％时，进行与来自先前帧的Diff(粗略)的比较，以进行相同的比较。
图5是本发明的压缩设备的示例性实施例的框图。LE和RE图像行缓冲器分别用于存储LE图像数据和RE图像数据，并且连接至差分器，差分器的输出是Diff(初始)。通过RE图像行移位器(粗略)，向比较器提供偏移的RE图像行，在比较器中计算Diff(粗略)。经由精细RE图像行移位器和另一比较器，产生Diff(精细)。选择器选择当前帧行、先前帧行和先前帧之间的最新Diff(精细)，并且结果是压缩的第二视频流，该压缩的第二视频流传递以用于进一步MPEG处理。向帧行缓冲器提供从差分器输出的Diff(初始)。向行间比较器提供帧行缓冲器数据，以通过当前行Diff(精细)与先前行Diff(精细)之间的比较来确定Diff(精细)。行间比较器的输出向选择器和帧缓冲器比较器提供信息，帧缓冲器比较器通过当前行Diff(精细)与先前帧Diff(精细)之间的比较来确定Diff(精细)。向选择器提供帧行比较器的输出。
在图6中示出了本发明的解压缩方法的示例性实施例。接收到的全(非压缩)LE图像首先用于从中提取(LE-RE)图像差。该低带宽图像差由本发明的压缩方法压缩，这允许将压缩的图像差嵌入在主LE图像的流中。然后减法LE-(LE-RE)＝RE得到移位的RE(精细)图像行。将移位的RE(精细)图像行存储，并且根据来自元数据的控制信息移位至其帧行中的原始位置。因此恢复了立体对。
图7示出了解压缩设备的示例性实施例的框图。向LE-RE图像差的提取器提供输入的LE图像视频信号，LE-RE图像差占用主流的一小部分。然后针对LE-(LE-RE)的减法器恢复RE(精细)图像。将RE(精细)图像缓冲，并且根据来自元数据模块的控制信息将其移位至其在帧行中的原始位置。设备的输出是LE和RE图像的立体对。
再次参照图3，在305处，输入RE图像和LE图像。在310处，将RE图像向右移位10个像素。在325处，将从LE图像中减去移位了10个像素的RE图像。在315处，将RE图像向右移位50个像素。在330处，从LE图像中减去移位了50个像素的RE图像。在320处，将RE图像向右移位150个像素。在335处，从LE图像中减去移位了150个像素的RE图像。在340处，将三个差(10、50和150个像素)相比较，以确定最小差。将Diff(粗略)设置为最小差。在345处，将RE(粗略)设置为最小差(Diff(粗略))。在350处，将RE(粗略)向左和向右分别移位5个像素。在355处，从LE中减去向右移位了5个像素的RE(粗略)。从LE中减去向左移位了5个像素的RE(粗略)。在365处，将Diff(精细)设置为两个紧邻的先前减法结果中的最小者。在370处，将Diff(精细)与Diff(粗略)相比较。在375处，执行测试，以确定是否已经定位(找到)最小Diff(精细)。如果已经定位(找到)最小Diff(精细)，则对于本发明方法的该部分而言处理结束，并且处理前进至图4。如果还未定位(找到)最小Diff(精细)，则处理前进至350。在380处，将Diff(初始)设置为LE-RE。在390处，执行测试以确定Diff(初始)是否大于128个字节。如果Diff(初始)大于128个字节，则处理前进至340。如果Diff(初始)大于128个字节，则处理结束。
再次参照图4，在405处输入来自方法的部分1(图3中所示)的Diff(粗略)。在410处，存储来自先前帧行的Diff(粗略)，并且在420处，存储来自先前帧的Diff(粗略)。在415处，从先前行的Diff(粗略)中减去来自该行的Diff(粗略)。在430处，执行测试以确定差是否大于|20|％。如果差小于或等于|20|％，则在455处认为可以使用来自先前帧行的Diff(粗略)。在450处执行测试以确定这是否是最后帧。如果这是最后帧，则处理前进至405。如果差大于|20|％，则处理前进至425。在存储来自先前帧的Diff(粗略)之后，处理前进至425。在425处，从先前帧的Diff(粗略)中减去当前帧的Diff(粗略)。即，430处的正结果用作触发器或控制行，没有该触发器或控制行425处的处理以及后续处理不会执行。在435处执行测试以确定差是否大于|20|％。如果差大于|20|％，则返回并在440处执行图3的步骤。处理前进至450。如果差小于或等于|20|％，则在445处认为可以使用来自先前帧的Diff(粗略)。处理前进至450。
再次参照图6，在605处，输入LE图像行。LE图像行包括全LE图像和LE-RE图像以及元数据。在610处，提取LE-RE图像差。在615处，从LE图像中减去LE-RE图像差。在620处，针对一个帧行存储RE(精细)图像。在625处，从输入的LE图像行中提取元数据。在630处，使用元数据将RE(精细)图像移位至其原始行位置。即，重构了RE图像行。在635处，存储立体图像对(LE，RE)。在640处执行测试，以确定是否这是最后帧行。如果这是最后帧行，则处理结束。如果这不是最后帧行，则处理前进至605。
应当理解将本发明可以以各种形式的硬件、软件、固件、专用处理器或其组合来实现。优选地，将本发明实现为硬件和软件的组合。此外，优选地可以将该软件实现为在程序存储设备上具体体现的应用程序。可将该应用程序上载到包括任何适合架构的机器并由该机器执行。优选地，在具有硬件(例如，一个或多个中央处理单元(“CPU”)、随机访问存储器(“RAM”)以及输入/输出(“I/O”)接口)的计算机平台上实现该机器。该计算机平台还可以包括操作系统和微指令代码。本文描述的各种处理和功能可以是经由CPU执行的微指令代码的一部分或应用程序的一部分(或其组合)。此外，可将各种其它外围单元连接到计算机平台，如附加的数据存储单元和打印单元。
还应理解的是，由于在附图中描述的一些构成系统组件和方法优选地以软件来实现，因此根据对本发明编程的方式，系统组件(或处理步骤)之间的实际连接可以有所不同。在本文给出教导的情况下，本领域的普通技术人员将能够想到本发明的这些以及相似的实现方式或配置。

Claims (20)

1.一种方法，所述方法包括：
接受第一立体眼帧行图像；
接受第二立体眼帧行图像；
确定所述第一立体眼帧行图像与所述第二立体眼帧行图像之间的粗略图像移位；
响应于所述粗略图像移位来确定精细图像移位；
传送所述第一立体眼帧行图像和所述第二立体眼帧行图像之一；并且
传送与所述精细图像移位相对应的数据和元数据以进一步处理。
2.根据权利要求1所述的方法，其中，确定所述粗略图像移位还包括：
响应于所述第一立体眼帧行图像与所述第二立体眼帧行图像之间的差来确定初始差；
确定所述初始差是否大于阈值；
将所述第一立体眼帧行图像和所述第二立体眼帧行图像之一移位第一数目的像素；
将所述第一立体眼帧行图像和所述第二立体眼帧行图像之一移位第二数目的像素；
将所述第一立体眼帧行图像和所述第二立体眼帧行图像之一移位第三数目的像素；
响应于第一移位、第二移位、第三移位以及第四确定来确定最小差；并且
存储所述最小差。
3.根据权利要求2所述的方法，其中，确定精细差还包括：
将所述最小差向右移位第四数目的像素；
将所述最小差向左移位第四数目的像素；
从所述第一立体眼帧行图像中减去向右移位了所述第四数目像素的所述最小差；
从所述第一立体眼帧行图像中减去向左移位了所述第四数目像素的所述最小差；并且
确定第一减法与第二减法的结果之间的精细差。
4.根据权利要求1所述的方法，还包括：
从来自先前行的粗略图像移位中减去所述粗略图像移位；
确定所述减法的结果是否在20％的绝对值之内；
响应于第三确定，从先前帧的粗略图像移位中减去当前行的粗略图像移位；并且
确定所述第二减法的结果是否在20％的绝对值之内。
5.根据权利要求1所述的方法，其中，所述第一立体眼帧行图像是左眼图像，并且所述第二立体眼帧行图像是右眼图像。
6.根据权利要求1所述的方法，其中，所述第一立体眼帧行图像是右眼图像，并且所述第二立体眼帧行图像是左眼图像。
7.一种设备，包括：
用于接受第一立体眼帧行图像的装置；
用于接受第二立体眼帧行图像的装置；
用于确定所述第一立体眼帧行图像与所述第二立体眼帧行图像之间的粗略图像移位的装置；
用于响应于所述粗略图像移位来确定精细图像移位的装置；
用于传送所述第一立体眼帧行图像和所述第二立体眼帧行图像之一的装置；以及
用于传送与所述精细图像移位相对应的数据和元数据以进一步处理的装置。
8.根据权利要求7所述的设备，其中，用于确定所述粗略图像移位的装置还包括：
用于响应于所述第一立体眼帧行图像与所述第二立体眼帧行图像之间的差来确定初始差的装置；
用于确定所述初始差是否大于阈值的装置；
用于将所述第一立体眼帧行图像和所述第二立体眼帧行图像之一移位第一数目的像素的装置；
用于将所述第一立体眼帧行图像和所述第二立体眼帧行图像之一移位第二数目的像素的装置；
用于将所述第一立体眼帧行图像和所述第二立体眼帧行图像之一移位第三数目的像素的装置；
用于响应于第一移位、第二移位、第三移位以及第四确定来确定最小差的装置；以及
用于存储所述最小差的装置。
9.根据权利要求8所述的设备，其中，用于确定精细差的装置还包括：
用于将所述最小差向右移位第四数目的像素的装置；
用于将所述最小差向左移位第四数目的像素的装置；
用于从所述第一立体眼帧行图像中减去向右移位了所述第四数目像素的所述最小差的装置；
用于从所述第一立体眼帧行图像中减去向左移位了所述第四数目像素的所述最小差的装置；以及
用于确定第一减法与第二减法的结果之间的精细差的装置。
10.根据权利要求7所述的设备，还包括：
用于从来自先前行的粗略图像移位中减去所述粗略图像移位的装置；
用于确定所述减法的结果是否在20％的绝对值之内的装置；
用于响应于第三确定从先前帧的粗略图像移位中减去当前行的粗略图像移位的装置；以及
用于确定第二减法的结果是否在20％的绝对值之内的装置。
11.根据权利要求7所述的设备，其中，所述第一立体眼帧行图像是左眼图像，并且所述第二立体眼帧行图像是右眼图像。
12.根据权利要求7所述的设备，其中，所述第一立体眼帧行图像是右眼图像，并且所述第二立体眼帧行图像是左眼图像。
13.一种方法，所述方法包括：
接收传输的第一全立体眼帧行图像；
提取第一立体眼帧行图像与第二立体图像之间的差；
从所述第一立体眼帧行图像中减去所提取的差；
存储所述第二立体眼帧行图像；
从所述第一全立体眼帧行图像中包括的元数据中提取移位行值；并且
响应于所述移位值将所述第二立体眼帧行图像移位至其原始位置。
14.根据权利要求13所述的方法，还包括：存储所述第一立体眼帧行图像和所述第二立体眼帧行图像。
15.根据权利要求13所述的方法，其中，所述第一立体眼帧行图像是左眼图像，并且所述第二立体眼帧行图像是右眼图像。
16.根据权利要求13所述的方法，其中，所述第一立体眼帧行图像是右眼图像，并且所述第二立体眼帧行图像是左眼图像。
17.一种设备，包括：
用于接收传输的第一全立体眼帧行图像的装置；
用于提取第一立体眼帧行图像与第二立体图像之间的差的装置；
用于从所述第一立体眼帧行图像中减去所提取的差的装置；
用于存储所述第二立体眼帧行图像的装置；
用于从所述第一全立体眼帧行图像中包括的元数据中提取移位行值的装置；以及
用于响应于所述移位值将所述第二立体眼帧行图像移位至其原始位置的装置。
18.根据权利要求17所述的设备，还包括：用于存储所述第一立体眼帧行图像和所述第二立体眼帧行图像的装置。
19.根据权利要求17所述的设备，其中，所述第一立体眼帧行图像是左眼图像，并且所述第二立体眼帧行图像是右眼图像。
20.根据权利要求17所述的设备，其中，所述第一立体眼帧行图像是右眼图像，并且所述第二立体眼帧行图像是左眼图像。
CN201080065648.7A 2010-03-22 2010-03-22 立体三维图像的低带宽内容保留压缩方法和设备 Expired - Fee Related CN102823241B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/IB2010/000635 WO2011117662A1 (en) 2010-03-22 2010-03-22 Method and apparatus for low bandwidth content preserving compression of stereoscopic three dimensional images

Publications (2)

Publication Number Publication Date
CN102823241A true CN102823241A (zh) 2012-12-12
CN102823241B CN102823241B (zh) 2015-09-16

Family

ID=42670411

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080065648.7A Expired - Fee Related CN102823241B (zh) 2010-03-22 2010-03-22 立体三维图像的低带宽内容保留压缩方法和设备

Country Status (6)

Country Link
US (1) US9143758B2 (zh)
EP (1) EP2550807A1 (zh)
JP (1) JP2013523038A (zh)
KR (1) KR20130030252A (zh)
CN (1) CN102823241B (zh)
WO (1) WO2011117662A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201202754D0 (en) * 2012-02-17 2012-04-04 Qatar Foundation Multicasting multiview 3D videos
CN103676447A (zh) * 2012-09-07 2014-03-26 致伸科技股份有限公司 桌上型立体图像扫描装置
JP6365153B2 (ja) * 2014-09-10 2018-08-01 株式会社ソシオネクスト 画像符号化方法および画像符号化装置
GB2531358B (en) * 2014-10-17 2019-03-27 Advanced Risc Mach Ltd Method of and apparatus for processing a frame
KR102507383B1 (ko) * 2016-11-08 2023-03-08 한국전자통신연구원 직사각형 윈도우를 이용한 스테레오 정합 방법 및 스테레오 정합 시스템
US10497090B2 (en) 2017-05-16 2019-12-03 Qualcomm Incorporated Systems and methods for reducing memory bandwidth via multiview compression/decompression
DE102017117859A1 (de) * 2017-08-07 2019-02-07 Osram Opto Semiconductors Gmbh Verfahren zum Betreiben einer autostereoskopischen Anzeigevorrichtung und autostereoskopische Anzeigevorrichtung

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009034486A2 (en) * 2007-09-10 2009-03-19 Nxp B.V. Method and apparatus for line-based motion estimation in video image data
EP2046047A1 (en) * 2007-10-04 2009-04-08 Thomson Licensing Method and device for performing motion estimation

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01202093A (ja) * 1988-02-08 1989-08-15 Nippon Hoso Kyokai <Nhk> 立体テレビジョン伝送方式
JPH06189291A (ja) * 1992-12-21 1994-07-08 Sharp Corp 画像の動き検出装置
JPH07162864A (ja) * 1993-12-08 1995-06-23 Ricoh Co Ltd 動きベクトル検出方法
JP3055438B2 (ja) 1995-09-27 2000-06-26 日本電気株式会社 ３次元画像符号化装置
JP2001502504A (ja) * 1996-10-11 2001-02-20 サーノフ コーポレイション 立体視ビデオを符号化及び複号する装置及び方法
JP4223169B2 (ja) 1999-03-17 2009-02-12 パナソニック株式会社 動きベクトル検出方法，動きベクトル検出装置，及びデータ記録媒体

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009034486A2 (en) * 2007-09-10 2009-03-19 Nxp B.V. Method and apparatus for line-based motion estimation in video image data
EP2046047A1 (en) * 2007-10-04 2009-04-08 Thomson Licensing Method and device for performing motion estimation

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ALFONSO ALBA ET AL: "Phase-Correlation Guided Search for Realtime Stereo Vision", 《COMBINATORIAL IMAGE ANALYSIS,SPRINGER-VERLAG BERLIN HEIDELBERG,PP212-223》 *
JIANG G ET AL: "Disparity estimation and compression in multi-view video plus disparity maps", 《25TH MEETING: SHENZHEN, CN, 21 – 26 OCTOBER, 2007. (ISO/IEC JTC1/SC29/WG11 AND ITU-T SG16 Q.6)NO.JVT-Y024》 *
YONGDONG ZHANG ET AL: "An Efficient Hierarchical Disparity Estimation Algorithm for Stereoscopic Video Coding", 《CIRCUITS AND SYSTEMS,2000.IEEE APCCAS 2000.THE 2000 IEEE ASIA-PACIFIC CONFERENCE ON DEC.4-6,2000,PISCATAWAY,NJ,USA,IEEE》 *

Also Published As

Publication number Publication date
EP2550807A1 (en) 2013-01-30
JP2013523038A (ja) 2013-06-13
CN102823241B (zh) 2015-09-16
WO2011117662A1 (en) 2011-09-29
US9143758B2 (en) 2015-09-22
US20130016898A1 (en) 2013-01-17
KR20130030252A (ko) 2013-03-26

Similar Documents

Publication Publication Date Title
CN102823241B (zh) 立体三维图像的低带宽内容保留压缩方法和设备
CN102939763B (zh) 计算三维图像的视差
US8130836B2 (en) Multi-view stereo imaging system and compression/decompression method applied thereto
JP5363609B2 (ja) カメラパラメータを利用した多視点画像の生成方法
RU2209527C2 (ru) Способ и устройство сжатия видеоинформации
US8675731B2 (en) Encoder and method
US20130022116A1 (en) Camera tap transcoder architecture with feed forward encode data
CN103703777A (zh) 对具有深度范围变化的运动深度图进行译码
Ahmad Multi-view video: get ready for next-generation television
US11282169B2 (en) Method and apparatus for processing and distributing live virtual reality content
CN100581265C (zh) 一种多视点视频的处理方法
CN100539670C (zh) 已编码a/v序列的编辑
US20110096151A1 (en) Method and system for noise reduction for 3d video content
US20130251033A1 (en) Method of compressing video frame using dual object extraction and object trajectory information in video encoding and decoding process
KR20230119694A (ko) 온라인 시청을 위한 실시간 압축해제를 위해 볼류메트릭3차원 장면을 나타내는 데이터를 압축하기 위한 방법 및 디바이스
US20070047643A1 (en) Video data compression
CN101986713B (zh) 基于视点合成的多视点容错编码框架
CN103260090B (zh) 一种用于p2p三维流媒体系统中的视频段调度及传输方法
WO2015020069A1 (ja) データ処理装置、データ処理方法、プログラム、記録媒体及びデータ処理システム
KR100580876B1 (ko) 비트스트림 지도를 이용한 영상 부호화 및 복호화 장치 및 방법과, 그 기록매체
Su et al. A novel source mpeg-2 video identification algorithm
CN116097652A (zh) 基于视口变化的双流动态gop访问
WO2011094164A1 (en) Image enhancement system using area information
Gu et al. Low complexity Bi-Partition mode selection for 3D video depth intra coding
JP6074404B2 (ja) 立体的三次元画像の圧縮を維持する低帯域コンテンツのための方法及び装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150916

Termination date: 20170322