CN104604222A - 用于产生、传送和接收立体图像的方法及有关设备 - Google Patents

用于产生、传送和接收立体图像的方法及有关设备 Download PDF

Info

Publication number
CN104604222A
CN104604222A CN201380046250.2A CN201380046250A CN104604222A CN 104604222 A CN104604222 A CN 104604222A CN 201380046250 A CN201380046250 A CN 201380046250A CN 104604222 A CN104604222 A CN 104604222A
Authority
CN
China
Prior art keywords
image
depth
composograph
degree
disparity map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380046250.2A
Other languages
English (en)
Other versions
CN104604222B (zh
Inventor
P·达马托
G·巴洛卡
F·布时拉诺维
A·波利阿克维
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sisvel SpA
Original Assignee
Sisvel SpA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sisvel SpA filed Critical Sisvel SpA
Publication of CN104604222A publication Critical patent/CN104604222A/zh
Application granted granted Critical
Publication of CN104604222B publication Critical patent/CN104604222B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0077—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/003—Aspects relating to the "2D+depth" image format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/005—Aspects relating to the "3D+depth" image format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明涉及一种用于产生包含合成图像(C)的立体视频流(101)的方法，所述合成图像(C)包含关于右图像(R)和左图像(L)以及至少一个深度图的信息。根据该方法，从右图像(R)和左图像(L)选择像素，然后将所选择的像素加入到立体视频流的合成图像(C)中。该方法还通过使所述两个图像之一不变并且将另一个分解成包含多个像素的区域(R1、R2、R3)，为将右图像(R)的所有像素和左图像(L)的所有像素加入到合成图像(C)中作好准备。然后，将深度图的像素加入到未被右图像和左图像的像素占据的合成图像的区域中。本发明还涉及一种用于从合成图像开始重构左图像和右图像的方法以及一种允许实现所述方法的设备。

Description

用于产生、传送和接收立体图像的方法及有关设备
技术领域
本发明涉及立体视频流(亦即，当在可视化设备中被适当地处理时生成被观看者感知为是三维的图像序列的视频流)的产生、存储、传送、接收和再现。
背景技术
众所周知，可以通过再现两个图像(一个针对观看者的右眼，并且另一个针对观看者的左眼)来获得对三维的感知。
因此，立体视频流传输关于与对象或场景的右透视和左透视对应的两个图像序列的信息。这样的流还可以传输补充信息。
于2011年6月30日作为WO2011/077343A1公布的国际专利申请PCT/IB2010/055918描述了一种左/右图像复用方法及解复用方法(以及有关设备)，该方法允许保留水平分辨率和垂直分辨率之间的平衡，从而相对于诸如“并排(side by side)”和“上下(top and bottom)”的已知技术提供了优点。
根据所述复用方法，将第一图像(例如左图像)的像素不变地加入到合成图像中，而将第二图像划分成区域，其像素被布置在合成图像的空闲区中，如图1所示，其示出将两个所谓的720p图像加入到容器帧1080p中的情况。
在接收时，重构被划分成区域的图像，然后发送给显示器。例如，已知根据所谓的“帧交替”原理进行操作(亦即，在时间上相继地示出两个图像L和R)的显示器。为了立体视觉，需要佩戴所谓的“主动式(active)”眼镜，亦即如下眼镜：该眼镜与图像L和R的相继同步地遮蔽一个透镜并且保持另一个眼睛的透镜打开、使得每个眼睛只能够看见想要给它的图像。
已知对于某些观看者而言，通过这样的显示器得到的立体视觉可以被证实是令人讨厌的，期望对他们提供变化(减小)图像的深度的可能性，以便使其适合于他们的主观偏好和屏幕的大小。为此，需要在显示器内在正在被传送的那些图像之间提供中间图像的合成，其然后将被显示在实际传送的图像的地方。如果可以得到与所传送的图像关联的一个或多个深度图，则可以通过使用已知的技术完成这样的重构。
另外，所谓的自立体(self-stereoscopic)显示器最近开始出现在市场上，其不需要使用眼镜。这样的显示器还执行未传送图像的合成，因此需要提供这样的合成所需的信息的至少一个深度图。
从而，已经需要引入一种用于产生、传输和重构立体流的新格式，该格式可以用于传统的2D接收和再现设备、当前的双视图(two-view)立体3D接收和再现设备(具有或不具有深度调节)以及使用多于两个视图的未来的自立体设备，同时保留与当前使用的视频流生成和分发基础设施及设备的格式的最大兼容性。
发明内容
因此，本发明的目的是针对满足上述需求，提出一种用于产生、传送和接收立体图像的方法以及有关设备。
本发明涉及一种用于在单个合成帧内复用与右透视和左透视有关的两个图像(以下称为右图像和左图像)以及一个或多个深度图的方法和设备。
本发明还涉及一种用于解复用所述合成图像(亦即，用于从中提取通过复用设备加入的右图像和左图像以及深度图)的方法和设备。
在图1a中可见，关于上述国际专利申请(所谓的“瓦片格式”)，在合成图像中存在尺寸在水平和垂直方向上均为两个图像L和R的尺寸的一半的未用区域(C5)。根据本发明的一个可能的实施例，如图1b所示，可以将至少一个深度图(DM)加入到所述未用区域中。
将与图像x有关的深度图理解为灰度图像，其中每个像素具有与像素本身的深度(亦即，坐标“z”)成比例的亮度值，其中按照惯例假设值z＝0与屏幕上的位置对应，z的正值与位于屏幕后面的像素对应，而负值与位于屏幕的前面的像素对应。因为合成图像的未用区域具有水平和垂直尺寸(其是图像L和R的尺寸的一半)，所以在本发明的一个实施例中，可以将具有等于对应的图像的一半的水平和垂直分辨率的深度图(与两个图像L和R之一有关)加入到这样的区域中。已经观察到分辨率的这种损失不是有害的，因为通常可以在不精确的情况下计算或测量深度图，优选对全分辨率图通过在像素值之间进行插值来进行欠采样操作，因为这样的操作可以减少噪声分量，从而得到更高质量的重构图像。
根据本发明的其他实施例，可以将两个深度图加入到所述未用区域(C5)中。
上述国际专利申请还描述了立体图像L和R的复用和解复用的其他形式，虽然因为可用于加入深度图的剩下的空间更小而不那么有效，但是也可以对其应用本发明的方法。因此，将存在所述图的分辨率的进一步的降低。虽然仍然落入本发明的一般原理之内，但是在本文中将不描述这样的替代的实施方式。
本发明的具体目标是提供一种如作为本描述的组成部分的所附权利要求中所述的用于产生、传送和接收立体图像的方法以及有关设备。
附图说明
本发明的进一步的目的和优点将根据下面的对其若干实施例的描述变得明显，参考附图通过非限制性的示例提供该描述，其中：
图1a示出现有技术格式(瓦片格式)中的合成帧；
图1b示出根据本发明的合成帧的一个示例；
图2示出用于将右图像、左图像和深度图复用到合成图像中的设备的框图；
图3是由图2的设备执行的方法的流程图；
图4示出要加入到合成图像中的图像的拆卸的一种可能形式；
图5示出用于从合成帧中提取左图像、右图像和深度图的设备的框图；
图6是由图5的设备执行的方法的流程图。
具体实施方式
图2示出根据本发明的变型的用于产生具有至少一个深度图的立体视频流101的设备100的框图。
在图2中，设备100接收两个图像序列102和103(例如，分别用于左眼(L)和右眼(R)的两个视频流)以及与和立体视频流关联的三维内容有关的深度图序列106。
序列106的深度图可以与分别属于序列102和103的两个右图像和左图像之一关联，或者可以被创建为右图像和左图像的深度图之间的插值，亦即，与场景的中间视点有关。
在将在下面描述的这个第一实施例中，通过现有技术中已知的算法中的任何一个来产生深度图，例如，基于右图像和左图像之间的比较，并且返回大小等于两个比较图像之一的像素并且元素具有与所述图像的每个像素的深度成比例的值的矩阵(亦即，深度图)。另一种深度图产生技术基于测量场景中的对象与拍摄场景的摄像机对的距离：可以通过激光容易地测量该距离。在利用电子计算机的帮助产生伪视频流的情况下，摄像机是虚拟摄像机，因为它们由计算机仿造的某个场景的两个视点组成。在这样的情况下，深度图由计算机产生，并且非常精确。
作为图2的示例的替代，可以在设备100内产生序列106的深度图。在该情况下，设备100包含被输入序列102和103的图像L和R、然后计算对应的深度图的适当的模块(未在图中示出)，而不是从外部接收深度图序列。
设备100允许实现用于复用两个序列102和103的两个图像以及序列106的深度图的方法。
为了实现用于复用右图像和左图像以及深度图的方法，设备100包含：拆卸器模块104，用于将输入图像(图1b的示例中的右图像)分解成多个子图像，每个子图像与所接收的图像的一个区域对应；欠采样和滤波模块107，用于处理深度图；以及组装器模块105，能够将所接收的图像(包括深度图)的像素加入到单个合成图像中以在其输出处提供。如果不需要对序列106进行处理，则可以省略模块107。例如，这可以是当深度图是激光产生的并且从一开始就具有比图像L和R的分辨率低的分辨率时的情况。
现在将参考图3来描述由设备100实现的复用方法的一个示例。
该方法开始于步骤200。随后(步骤201)，如图4所示，两个输入图像之一(右或左)被分解为多个区域。在图4的示例中，所拆卸的图像是720p视频流的帧R，亦即具有1280x720个像素的分辨率的渐进(progressive)格式。
图4的帧R来自携带用于右眼的图像的视频流103，并且被拆卸成优选地在形状上为矩形的三个区域R1、R2和R3。
图像R的拆卸通过将其划分成相同大小的两个部分并且随后将这些部分中的一个细分成相同大小的两个部分来获得。
区域R1具有640x720个像素的大小，并且通过取得各行的所有前640个像素来获得。区域R2具有640x360个像素的大小，并且通过取得前360行的从641开始至1280为止的像素来获得。区域R3具有640x360个像素的大小，并且通过取得图像R的剩余像素(亦即，最后360行的从641开始至1280为止的像素)来获得。
在图2的示例中，由模块104执行拆卸图像R的步骤，模块104接收输入图像R(在该情况下是帧R)并且输出与三个区域R1、R2和R3对应的三个子图像(亦即，三组像素)。
随后(步骤202、203和204)构造合成图像C，其包含关于右图像和左图像这两者以及所接收的深度图的信息；在本文中描述的示例中，所述合成图像C是输出立体视频流的帧，因此也将其称为容器帧。
首先(步骤202)，将设备100所接收的并且未被设备105拆卸的输入图像(图2的示例中的左图像L)不变地加入到容器帧内的未划分区域，其中以包括两个输入图像的所有像素的方式调整容器帧的大小。例如，如果输入图像具有1280x720个像素的大小，则适合于包含两者的容器帧将是1920x1080个像素的帧，例如1080p类型的视频流的帧(具有1920x1080个像素的渐进格式)。
在图1的示例中，左图像L被加入到容器帧C中，并且位于左上角。这通过将图像L的1280x720个像素复制到由容器帧C的前720行的前1280个像素组成的区域C1中来获得。
在接下来的步骤203中，由模块104在步骤201中拆卸的图像被加入到容器帧中。这由模块105通过将拆卸的图像的像素在容器帧C中的未被图像L占据的区域(亦即，在区域C1外部的区域)中复制到容器帧C中来实现。
为了获得可能的最佳压缩并且减少在解压缩视频流时的伪像的的产生，通过保留相应的空间关系来复制由模块104输出的子图像的像素。换言之，仅仅通过平移操作，将区域R1、R2和R3在不受到任何变形的情况下复制到帧C的相应的区域中。
在图1b中示出由模块105输出的容器帧C的示例。
将区域R1复制到前720行的最后640个像素(区域C2)中，亦即紧挨着先前复制的图像L。
将区域R2和R3复制到区域C1的下面，亦即分别在区域C3和C4中，区域C3和C4分别包含最后360行的前640个像素和后面的640个像素。
用于将图像L和R加入到容器帧中的操作不隐含对水平和垂直分辨率之间的平衡的任何改变。
在下文中，上述用于将图像L和R加入到容器帧C中的技术将被定义为瓦片格式类型。
在帧C的空闲像素中，亦即在区域C5中，模块105以图像的形式加入关于立体对L和R的深度图(DM)(步骤204)。在步骤204之前，可以由模块107对深度图DM进行欠采样、滤波或进一步的处理。
优选地，将深度图编码为灰度图像，因此可以单独地通过亮度信号传输其信息内容；不使用色度，并且例如色度可以为空；这允许获得容器帧C的有效的压缩。
在优选实施例中，深度图DM具有640x360个像素的分辨率，与对具有1280x720个像素的分辨率(匹配图像L和R的分辨率)的原始深度图的4到1的欠采样(或抽取)对应。经欠采样的图DM的每个像素与原始图的2x2像素区域对应。通常通过使用本身在现有技术中已知的过程来执行该欠采样操作。
随后，对这样获得的帧C进行压缩，并且传送或保存到存储介质(例如DVD)。为此目的，提供适于对图像或视频信号进行压缩的压缩装置以及用于记录和/或传送压缩图像或视频信号的装置。
图5示出接收器1100的框图，接收器1100对接收的容器帧进行解压缩(如果被压缩的话)，重构两个右图像和左图像，并且使它们可用于允许3D内容的实现的可视化设备(例如电视机)。接收器1100可以是机顶盒或者内置在电视机中的接收器。
针对接收器1100做出的相同说明还可以应用于存储图像读取器(例如DVD读取器)，存储图像读取器读取容器帧(可能是压缩的)并且对其进行处理以便获得与被加入到由读取器读取的容器帧(可能是压缩的)中的右图像和左图像对应的一对帧。
回到图5，接收器接收(经由电缆或天线)压缩的立体视频流1101，并且通过解压缩模块1102对其进行解压缩，从而获得包含与帧C对应的帧C’的序列在内的视频流。在理想信道的情况下，或者如果正在从海量存储器或数据介质(蓝光、CD、DVD)中读取容器帧，则帧C’与携带除了由压缩处理引入的任何伪像之外的关于右图像和左图像以及深度图的信息的容器帧C对应。
然后，将这些帧C’提供给重构模块1103，重构模块1103执行如下面参考图6所述的图像重构和深度图提取方法。
显然，如果视频流未被压缩，则可以省略解压缩模块1102，并且可以将视频信号直接提供给重构模块1103。
当经解压缩的容器帧C’被接收时重构处理开始于步骤1300。
重构模块1103通过将经解压缩的帧的前720x1080个连续像素复制到小于容器帧的新的帧(例如720p流的帧)中来提取(步骤1301)左图像L。将这样重构的图像L发送给接收器1100的输出(步骤1302)。
术语“连续像素”是指属于帧的未划分区域的未改变的图像的像素。
随后，该方法为从容器帧C’提取右图像R作好准备。
提取右图像(还参见图4)的步骤通过复制(步骤1303)存在于帧C’中的区域R1开始。更详细地，将R1的640列的像素复制到表示重构图像Rout的新帧的对应的前640列中。随后，提取R2(步骤1304)。从解压缩的帧C’(如上所述，对应于图1b的帧C)中选择区域C3(对应于源区域R2)的像素。此时，将640列的像素复制到邻近刚从R1复制的那些列的空闲列中。
就R3而言(步骤1305)，从帧C’提取区域C4的像素，并且将其复制到重构帧的左下角中的最后的空闲列中。
此时，右图像Rout已经被完全重构并且可以被输出(步骤1306)。
最后，重构模块1103通过将经解压缩的容器帧C’的与区域C5对应的最后640x320个像素的亮度值复制到存储区中来提取(步骤1307)深度图。所述存储区的内容被输出给接收器1100(步骤1302)，并且将被显示器用于产生未在立体视频流中传送的插值图像。这样完成(步骤1309)了用于重构包含在容器帧C’中的右图像和左图像以及深度图的处理。对于由接收器1100所接收的视频流的每个帧重复所述处理，使得输出将包含分别用于右图像和左图像的两个视频流1104和1105以及与深度图对应的一个视频流1106。
用于重构用于图像合成的深度图以及右图像和左图像的上述处理基于如下假设：解复用器1100知道容器帧C是如何建立的，并且从而可以提取右和左图像以及合成深度图。
当然，如果复用方法是标准化的，则这是可行的。
为了考虑可以根据利用作为所附权利要求的主题的解决方案的方法中任何一种来产生容器帧的事实，解复用器优选使用以元数据的形式包含在合成图像的预定区域中或视频流中的信令信息，该信令信息标识正在产生的视频流的类型，以便知道如何对合成图像的内容进行拆包以及如何重构用于补充立体图像的合成的深度图以及右图像和左图像。
在对信令进行了解码之后，解复用器将知道未改变的图像(例如在上述示例中的左图像)的位置以及其他图像(例如在上述示例中的右图像)被拆卸到的区域的位置和深度图的位置。
利用该信息，解复用器可以提取未改变的图像(例如左图像)和深度图，并且重构被拆卸的图像(例如右图像)。
虽然到目前为止参考一些优选和有利的实施例例示了本发明，但是显然其不限于这样的实施例，并且想要将与对象或场景的两个不同透视(右和左)有关的两个图像以及关联的深度图组合到合成图像中的本领域的技术人员可以对其进行很多改变。
在可能的变型中，例如加入所谓的“视差图”或“置换贴图”，而不是将与两个图像之一有关的深度图加入到合成帧C中。在适当的假设下(用配备有相同光学器件的摄像机进行拍摄)，可以容易地根据深度图得出这样的图，可以容易地将这样的图与深度图联系起来。如果两个右图像和左图像被重叠地显示在同一个显示器上，并且未使用眼镜将它们分开，则可以容易地意识到：为了从一个图像获得另一个图像，需要将对象移动一定的量。更精确地，为了从左图像开始获得右图像，需要将位于屏幕后面的对象向右移动随着这样的对象所处的深度而增加的量。不需要移动恰好位于屏幕上的对象，但是需要将位于屏幕前面的对象向左移动根据与屏幕的距离增加的量
在先前提及的条件下，在深度P和视差D之间存在以下类型的关系：
D＝I*P/(P+P0)
其中，I是两眼间的距离，并且P0是观看者与屏幕的距离。应当注意，对于趋于无限的P，D将趋于I，并且对于P＝0(位于屏幕上的对象)，D将等于0。
当然，为了重构左图像和右图像之间的中间图像，可以采用与上述相同的过程，但是视差值将需要乘以在0和1之间的系数c，系数c为中间视点与参考图像的视点(在该情况下的左边的一个)的距离的函数。
应当注意的是，当根据以上描述从左边的一个开始重构右图像时，或者当重构中间图像时，留下一些区域未被覆盖，其对应于存在于右图像但是不存在于左图像中的对象的像素，因为它们被在它们前面的其他对象所遮蔽(所谓的“阻塞”)。
为了对中间图像进行完整的重构，因此将需要具有右图像和左图像这两者以及深度或视差图这两者。实际上，用这种方式可以通过从其他图像取得对应的像素并且将它们移动等于乘以系数1-c的相对视差的量来填充空(阻塞)区域。
如可以从以上描述理解到的那样，本发明的另一个可能的变型可能需要加入两个深度或视差图而不是一个。例如可以通过使用诸如并排或上下的已知的帧封装技术，将分别涉及左图像和右图像的这样的图加入到与在前面的情况下加入单个图的空间相同的空间中。在前者的情况下，将两个图的水平分辨率进一步地折半，而在后者的情况下，将垂直分辨率折半。还可以使用在上面被定义为“瓦片格式”的帧封装技术的进一步的变型。
用于在产生侧加入两个图以及在接收侧提取两个图的过程可以容易地根据参考单个图的情况描述的那些过程中得出，明显的变型对于本领域的技术人员是公知的。
当然，存在于视频流中的信令还需要能够分清存在一个还是两个图。因此，所述信令需要包含适于允许在合成帧的以下类型中的至少两种之间进行区分的信息：
1)不带有深度或视差图的瓦片格式类型的合成帧(图1a的情况)；
2)带有一个深度或视差图的瓦片格式类型的合成帧(图1b的情况)；
以及还可能：
3)带有上下配置的两个深度或视差图的瓦片格式类型的合成帧；
4)带有并排配置的两个深度或视差图的瓦片格式类型的合成帧；
5)带有以瓦片格式配置的两个深度或视差图的瓦片格式类型的合成帧。
接收器优选地包含适于基于信令信息执行以下操作中的一个或多个的一个或多个处理块：
-识别正在接收的帧的类型，以便如上所述地适当地重构三维视频内容的两个右和左图像；
-识别一个或两个深度或视差图的存在及其配置的类型；
-如果存在两个深度或视差图，则获得两个图中的每一个；
-对深度或视差图执行适于使图的尺寸为等于视频内容的图像的尺寸的值的操作。这些操作可以是例如与欠采样相反的类型的操作，例如插值操作。
其他变型可能涉及本发明的物理实现方式。例如，可以不同地细分和分配实现上述设备(具体地，设备100和接收器1100)的电子模块；另外，可以将它们提供为硬件模块的形式或者作为由处理器(具体地，配备有用于临时存储所接收的输入帧的适合的存储区域的视频处理器)实现的软件算法。因此，这些模块可以并行地或串行地执行根据本发明的图像复用和解复用方法的一个或多个视频处理步骤。虽然优选实施例涉及将两个720p视频流复用成一个1080p视频流，但是也可以使用其他的格式，这也是显然的。
显然，执行在图3和6中示出的复用和解复用过程的次序仅仅是示例性的：在不改变本发明的实质的情况下，可以出于任何理由对其进行修改。
本发明不限于合成图像的布置的特定类型，因为用于产生合成图像的不同的解决方案可以提供特定的优点和/或不足。
本发明及其所有的变型提出一种用于产生、传输和在任何类型的当前的或将来的显示器上再现3D内容的通用格式。
在2D再现设备的情况下，再现设备的视频处理器将简单地丢弃可能存在于接收器1100的输出处的图像R和深度图(DM或者DM1和DM2)，并且将在关联的可视化设备上只显示(经过缩放)图像L的序列。
这同样适用于用户启用2D显示模式的3D再现设备的情况。
取决于是否可以调节(减小)场景的深度，启用了3D显示模式的3D再现设备可以表现出两种不同的行为。在前者的情况下，视频处理器将使用图像L和R的两个序列来产生三维效果。在后者的情况下，视频处理器将使用包括在与每对立体图像R和L关联的合成帧C’中的深度图(一个或两个)来产生L和R之间的中间视图，从而获得具有低于可以从L和R得到的深度的可变深度的三维图像。
由自立体播放器来代表后一情况，其需要超大量的视图(几十)来为位于显示器前面的空间中的不同点处的观看者产生三维效果。在该情况下，视频处理器将使用包括在合成帧C’中的深度图(一个或两个)以及图像L和R本身来合成一系列的其他图像。在显示器的前面，存在大量的透镜或屏障，使得观看者将在能够进行立体视觉的空间中的任何点处只感知一对所述图像。
因此，再现设备的视频处理器可以包含适于向显示器发送两个图像序列的装置，这两个图像序列中的至少一个包含从所传送的视图中的至少一个以及至少一个深度图开始合成的图像。在该情况下，还优选地包含适于使观看者能够选择与更多的或更少的接近的视点有关的图像的序列以便改变对深度的感知的装置。
再现设备的视频处理器还可以包含适于产生与另外的视图对应的另外的图像，使得位于空间中的不同点处的观看者可以通过关联的自立体显示器看见不同的图像序列的装置。
就水平和垂直分辨率的平衡以及针对立体图像以及关联的深度图的适当的分辨率分配而言，到目前为止所提出的格式均未提供在仍然确保非常好的再现质量的同时的这样的使用的灵活性和宽度。
可以部分地在接收器设备中以及部分地在显示设备中进行上述再现操作。
本发明可以有利地至少部分地通过计算机程序实现，所述计算机程序包含用于在这样的程序被计算机执行时实现上述方法的一个或多个步骤的编码装置。因此，要理解的是，保护范围延伸至所述计算机程序以及包含所记录的消息的计算机可读装置，所述计算机可读装置包含用于在所述程序被计算机执行时实现上述方法的一个或多个步骤的程序编码装置。可以在不脱离本发明的保护范围(包括本领域的技术人员已知的所有等效设计)的情况下针对上述实施例示例进行变型。
可以将在各个优选实施例中示出的元素和特征组合在一起，然而这不脱离本发明的保护范围。
根据以上描述，本领域的技术人员将能够在不引入任何另外的实现细节的情况下实现本发明的目标。

Claims (31)

1.一种用于产生包含合成图像(C)的立体视频流(101)的方法，所述合成图像(C)包含关于三维视频内容的右图像(R)和左图像(L)的信息，其中，
选择所述右图像(R)的像素和所述左图像(L)的像素，并且
将所选择的像素加入到所述立体视频流的合成图像(C)中，
所述方法的特征在于：通过使得所述两个图像之一不变，将另一个图像分解成总面积等于所述另一个图像(R)的面积的多个区域(R1、R2、R3)，并且将所述区域加入到所述合成图像(C)中，来将所述右图像(R)的所有像素以及所述左图像(L)的所有像素加入到所述合成图像(C)中，
其中，所述合成图像(C)具有比加入所述左图像(L)和右图像(R)的所有像素所需的尺寸更大的尺寸，
并且其中，在所述加入之后剩余的合成图像(C)的像素中，加入与所述三维视频内容的像素的深度或视差有关的至少一个深度或视差图(DM)，所述图针对在接收时重构未在所述立体流中传送的图像。
2.根据权利要求1所述的方法，其中，将所述至少一个深度或视差图(DM)编码为灰度图像。
3.根据权利要求2所述的方法，其中，由单个亮度信号而不使用色度信号来传输所述至少一个深度或视差图的视频信息内容。
4.根据前述权利要求中的任一项所述的方法，其中，所述至少一个深度或视差图(DM)具有比其原始版本低的分辨率，后者的分辨率等于所述左图像(L)和右图像(R)的分辨率。
5.根据权利要求4所述的方法，其中，通过对所述原始深度图进行4到1的欠采样来获得所述至少一个深度或视差图(DM)。
6.根据前述权利要求中的任一项所述的方法，其中，所述至少一个深度或视差图(DM)是与两个右图像(R)或左图像(L)之一关联的或者与L和R之间的中间视点关联的深度或视差图。
7.根据前述权利要求中的任一项所述的方法，其中，所述至少一个深度或视差图(DM)包含与右图像(R)关联的深度或视差图以及与左图像(L)关联的深度或视差图。
8.根据权利要求7所述的方法，其中，通过帧封装技术将与右图像(R)和左图像(L)关联的所述深度或视差图加入到所述合成图像(C)的剩余像素中。
9.根据前述权利要求中的任一项所述的方法，其中，如果所述区域的数量为3，则通过以下步骤获得所述区域：
将所述另一个图像(R)划分为具有相同水平尺寸的两个部分(R1、R2R3)；
将所述两个部分(R2R3)之一划分为具有相同垂直尺寸的两个部分(R2、R3)。
10.根据前述权利要求中的任一项所述的方法，其中，将标识所产生的视频流的类型的信令信息作为元数据加入到所述合成图像(C)或所述立体视频流中。
11.根据权利要求10所述的方法，其中，调整所述信令信息使得允许在合成帧的以下类型中的至少两个之间进行区分：
不带有深度图的瓦片格式类型的合成帧；
带有一个深度图的瓦片格式类型的合成帧；
带有并排配置的两个深度图的瓦片格式类型的合成帧；
带有上下配置的两个深度图的瓦片格式类型的合成帧；
带有以瓦片格式配置的两个深度图的瓦片格式类型的合成帧。
12.一种用于产生包含合成图像(C)的立体视频流(101)的设备，所述合成图像(C)包含关于右图像(R)和左图像(L)的信息，其特征在于：所述设备包含用于实现根据前述权利要求中的任一项所述的方法的步骤的装置。
13.一种用于从合成图像(C)开始重构立体视频流的至少一对图像的方法，所述合成图像(C)包含关于右图像(R)和左图像(L)的信息，所述方法包含以下步骤：
通过从所述合成图像的第一区域(C1)复制单组连续像素来产生所述右图像(R)和左图像(L)的第一图像；
通过从所述合成图像的多个不同区域(C2、C3、C4)复制其他组连续像素来产生所述右图像(R)和左图像(L)的剩余图像，所述多个不同区域不同于所述第一区域(C1)；以及
通过从所述合成图像的不同于所述第一区域和所述多个不同区域的另外的区域(C5)复制至少一组连续像素来产生至少一个深度或视差图(DM)。
14.根据权利要求13所述的方法，其中，如果所述区域的数量为3，则：
所述合成图像(C)的区域之一(C2)具有与所述第一区域(C1)相同的垂直尺寸以及所述第一区域的水平尺寸的一半；
所述合成图像(C)的区域中的剩余的两个(C3、C4)具有相等的水平和垂直尺寸，并且为所述第一区域(C1)的垂直尺寸的一半。
15.根据权利要求13所述的方法，其中，从得自包含在所述另外的区域(C5)的连续像素中的亮度信号的灰度图像开始，产生所述至少一个深度或视差图(DM)。
16.根据权利要求15所述的方法，包含以下步骤：增加所述至少一个深度或视差图(DM)的水平和垂直尺寸，直到尺寸等于所述右图像(R)和左图像(L)的尺寸。
17.根据权利要求13所述的方法，包含以下步骤：从所述合成图像(C)或者从视频流获得适于识别正在产生的视频流的类型的信令信息。
18.根据权利要求17所述的方法，其中，调整所述信令信息使得允许在合成帧的以下类型中的至少两个之间进行区分：
不带有深度图的瓦片格式类型的合成帧；
带有一个深度图的瓦片格式类型的合成帧；
带有并排配置的两个深度图的瓦片格式类型的合成帧；
带有上下配置的两个深度图的瓦片格式类型的合成帧；
带有以瓦片格式配置的两个深度图的瓦片格式类型的合成帧。
19.一种用于从合成图像(C)开始重构立体视频流的至少一对图像的设备，所述合成图像(C)包含关于右图像(R)和左图像(L)的信息，所述设备包含：
用于通过从所述合成图像的第一区域(C1)复制单组连续像素来产生所述右图像(R)和左图像(L)的第一图像的装置；
用于通过从所述合成图像的多个不同区域(C2、C3、C4)复制其他组连续像素来产生所述右图像(R)和左图像(L)的剩余图像的装置，所述多个不同区域不同于所述第一区域(C1)；
用于通过从所述合成图像的不同于所述第一区域和所述多个不同区域的另外的区域(C5)复制至少一组连续像素来产生至少一个深度或视差图(DM)的装置。
20.根据权利要求19所述的设备，其中，如果所述区域的数量为3，则：
所述合成图像(C)的区域之一(C2)具有与所述第一区域(C1)相同的垂直尺寸以及所述第一区域(C1)的水平尺寸的一半；
所述合成图像(C)的区域中的剩余的两个(C3、C4)具有相等的水平和垂直尺寸，并且为所述第一区域(C1)的垂直尺寸的一半。
21.根据权利要求19所述的设备，其中，用于产生至少一个深度或视差图(DM)的装置利用得自包含在所述另外的区域(C5)的连续像素中的亮度信号的灰度图像。
22.根据权利要求21所述的设备，包含用于增加所述至少一个深度或视差图(DM)的水平和垂直尺寸直到尺寸等于所述右图像(R)和左图像(L)的尺寸的装置。
23.根据权利求19所述的设备，包含适于基于包含在所述合成图像(C)或所述视频流中的标识所述流类型的信令信息来识别正在接收的视频流的类型的装置。
24.根据权利要求23所述的设备，其中，所述信令信息允许在合成帧的以下类型中的至少两个之间进行区分：
不带有深度图的瓦片格式类型的合成帧；
带有一个深度图的瓦片格式类型的合成帧；
带有并排配置的两个深度图的瓦片格式类型的合成帧；
带有上下配置的两个深度图的瓦片格式类型的合成帧；
带有以瓦片格式配置的两个深度图的瓦片格式类型的合成帧。
25.根据权利要求24所述的设备，包含适于基于对区分合成帧的类型有用的信息来输出以下图像的装置：
所述右图像(R)和左图像(L)中的仅仅所述第一图像；或者
所述右图像(R)和左图像(L)中的所述第一图像和所述第二图像；或者
所述右图像(R)和左图像(L)中的所述第一图像和所述第二图像以及所述至少一个深度或视差图(DM)。
26.根据权利要求23所述的设备，包含适于基于所述信令信息来执行以下操作中的一个或多个的装置：
为了适当地重构三维视频内容的两个右图像和左图像的目的，识别正在接收的帧的类型；
识别一个或两个深度或视差图的存在及其配置的类型；
在两个深度或视差图的情况下，获得两个图中的每一个；
对所述深度或视差图执行适于使图的尺寸成为等于视频内容的图像的尺寸的值的操作。
27.根据权利要求19所述的设备，包含被设计为通过从所述右图像(R)和左图像(L)开始并且通过使用所述深度图来产生与另外的视图对应的另外的图像的装置。
28.根据权利要求27所述的设备，包含适于显示两个图像序列的装置，所述两个图像序列中的至少一个包含从所传送的视图中的至少一个以及从至少一个深度图开始合成的图像。
29.根据权利要求28所述的设备，包含适于使观看者能够选择与更多或更少的邻近视点有关的图像序列以便改变对深度的感知的装置。
30.根据权利要求27所述的设备，包含自立体显示器，并且包含适于利用与另外的视图对应的另外的图像以便允许位于空间中的不同点处的观看者看见不同的图像序列的装置。
31.一种立体视频流(1101)，其特征在于，包含通过根据权利要求1至11中的任一项所述的方法产生的至少一个合成图像(C)。
CN201380046250.2A 2012-09-06 2013-03-06 用于产生、传送和接收立体图像的方法及有关设备 Active CN104604222B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
RU2012138174/08A RU2012138174A (ru) 2012-09-06 2012-09-06 Способ компоновки формата цифрового стереоскопического видеопотока 3dz tile format
RU2012138174 2012-09-06
PCT/IB2013/051782 WO2014037822A1 (en) 2012-09-06 2013-03-06 Method for generating, transmitting and receiving stereoscopic images and relating devices

Publications (2)

Publication Number Publication Date
CN104604222A true CN104604222A (zh) 2015-05-06
CN104604222B CN104604222B (zh) 2017-03-29

Family

ID=48182965

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380046250.2A Active CN104604222B (zh) 2012-09-06 2013-03-06 用于产生、传送和接收立体图像的方法及有关设备

Country Status (16)

Country Link
US (1) US9723290B2 (zh)
JP (1) JP2015534745A (zh)
KR (1) KR20150053774A (zh)
CN (1) CN104604222B (zh)
AT (1) AT513369A3 (zh)
CH (1) CH706886A2 (zh)
DE (1) DE102013217826A1 (zh)
ES (1) ES2446165B1 (zh)
FR (2) FR2995165B1 (zh)
GB (1) GB2507844B (zh)
IT (1) ITTO20130679A1 (zh)
NL (1) NL2011349C2 (zh)
PL (1) PL405234A1 (zh)
RU (1) RU2012138174A (zh)
TW (1) TWI511525B (zh)
WO (1) WO2014037822A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109407835A (zh) * 2015-08-18 2019-03-01 奇跃公司 虚拟和增强现实系统和方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11277598B2 (en) * 2009-07-14 2022-03-15 Cable Television Laboratories, Inc. Systems and methods for network-based media processing
US9978341B2 (en) * 2014-12-23 2018-05-22 Mediatek Inc. Visual data processing method and visual data processing system which can perform a process operation according to a gazing point
CA2992304A1 (en) * 2015-07-15 2017-01-19 Blinxel Pty Ltd System and method for image processing
KR102647336B1 (ko) 2019-04-01 2024-03-14 구글 엘엘씨 동적 깊이 이미지를 캡처 및 편집하는 기술
US11127115B2 (en) 2019-12-13 2021-09-21 NextVPU (Shanghai) Co., Ltd. Determination of disparity

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101668219A (zh) * 2008-09-02 2010-03-10 深圳华为通信技术有限公司 3d视频通信方法、发送设备和系统
WO2011077343A1 (en) * 2009-12-21 2011-06-30 Sisvel Technology S.R.L. Method for generating, transmitting and receiving stereoscopic images, and related devices
WO2012014171A1 (en) * 2010-07-28 2012-02-02 Sisvel Technology S.R.L. Method for combining images relating to a three-dimensional content
WO2012023330A1 (ja) * 2010-08-16 2012-02-23 富士フイルム株式会社 画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体
CN102577409A (zh) * 2009-10-02 2012-07-11 松下电器产业株式会社 能再现立体视觉影像的再现装置、集成电路、再现方法、程序

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7529400B2 (en) * 2002-04-25 2009-05-05 Sharp Kabushiki Kaisha Image encoder, image decoder, record medium, and image recorder
US7636088B2 (en) * 2003-04-17 2009-12-22 Sharp Kabushiki Kaisha 3-Dimensional image creation device, 3-dimensional image reproduction device, 3-dimensional image processing device, 3-dimensional image processing program, and recording medium containing the program
US8487982B2 (en) * 2007-06-07 2013-07-16 Reald Inc. Stereoplexing for film and video applications
EP2235957A1 (en) * 2007-12-20 2010-10-06 Koninklijke Philips Electronics N.V. Image encoding method for stereoscopic rendering
KR100950046B1 (ko) * 2008-04-10 2010-03-29 포항공과대학교 산학협력단 무안경식 3차원 입체 ｔｖ를 위한 고속 다시점 3차원 입체영상 합성 장치 및 방법
CN102017628B (zh) * 2008-04-25 2013-10-09 汤姆逊许可证公司 深度信号的编码
CN104702960B (zh) * 2009-01-26 2018-01-02 汤姆森特许公司 用于视频解码的装置
US9571811B2 (en) * 2010-07-28 2017-02-14 S.I.Sv.El. Societa' Italiana Per Lo Sviluppo Dell'elettronica S.P.A. Method and device for multiplexing and demultiplexing composite images relating to a three-dimensional content
EP2426635A1 (en) * 2010-09-01 2012-03-07 Thomson Licensing Method for watermarking free view video with blind watermark detection
IT1402995B1 (it) * 2010-11-12 2013-09-27 Sisvel Technology Srl Metodo di elaborazione di un contenuto video tridimensionale e relativo apparato
DE112011103496T5 (de) * 2010-11-15 2013-08-29 Lg Electronics Inc. Verfahren zum Umwandeln eines Einzelbildformats und Vorrichtung zur Benutzung dieses Verfahrens
IT1404059B1 (it) * 2011-02-14 2013-11-08 Sisvel Technology Srl Metodo per la generazione, trasmissione e ricezione di immagini stereoscopiche e relativi dispositivi.

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101668219A (zh) * 2008-09-02 2010-03-10 深圳华为通信技术有限公司 3d视频通信方法、发送设备和系统
CN102577409A (zh) * 2009-10-02 2012-07-11 松下电器产业株式会社 能再现立体视觉影像的再现装置、集成电路、再现方法、程序
WO2011077343A1 (en) * 2009-12-21 2011-06-30 Sisvel Technology S.R.L. Method for generating, transmitting and receiving stereoscopic images, and related devices
WO2012014171A1 (en) * 2010-07-28 2012-02-02 Sisvel Technology S.R.L. Method for combining images relating to a three-dimensional content
WO2012023330A1 (ja) * 2010-08-16 2012-02-23 富士フイルム株式会社 画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109407835A (zh) * 2015-08-18 2019-03-01 奇跃公司 虚拟和增强现实系统和方法
CN109407835B (zh) * 2015-08-18 2023-01-13 奇跃公司 虚拟和增强现实系统和方法

Also Published As

Publication number Publication date
FR3002104B1 (fr) 2017-06-16
NL2011349A (en) 2014-03-10
AT513369A3 (de) 2018-08-15
ES2446165B1 (es) 2015-03-23
AT513369A2 (de) 2014-03-15
GB201314206D0 (en) 2013-09-25
US20150215599A1 (en) 2015-07-30
FR3002104A1 (fr) 2014-08-15
RU2012138174A (ru) 2014-03-27
NL2011349C2 (en) 2014-05-08
WO2014037822A1 (en) 2014-03-13
PL405234A1 (pl) 2014-03-17
ES2446165R1 (es) 2014-07-11
DE102013217826A1 (de) 2014-03-06
ITTO20130679A1 (it) 2014-03-07
US9723290B2 (en) 2017-08-01
FR2995165A1 (fr) 2014-03-07
TWI511525B (zh) 2015-12-01
GB2507844A (en) 2014-05-14
FR2995165B1 (fr) 2017-12-29
GB2507844B (en) 2017-07-19
JP2015534745A (ja) 2015-12-03
TW201415864A (zh) 2014-04-16
CH706886A2 (it) 2014-03-14
CN104604222B (zh) 2017-03-29
KR20150053774A (ko) 2015-05-18
ES2446165A2 (es) 2014-03-06

Similar Documents

Publication Publication Date Title
CN105165008B (zh) 对与多视图再现设备一起使用的视频数据信号进行编码的方法
CN102396236B (zh) 广播接收机及其视频数据处理方法
US8482654B2 (en) Stereoscopic image format with depth information
JP5553310B2 (ja) 立体的なレンダリングのための画像エンコード方法
JP6229962B2 (ja) 符号化装置及び符号化方法
KR101749893B1 (ko) 다목적 ３―ｄ 화상 포맷
JP5519647B2 (ja) カメラ・パラメータを利用したステレオスコピック映像データ・ストリーム生成方法及びその装置、
US8878836B2 (en) Method and apparatus for encoding datastream including additional information on multiview image and method and apparatus for decoding datastream by using the same
JP6037567B2 (ja) ２次元にも対応する立体映像フローのデコード方法
Smolic et al. Development of a new MPEG standard for advanced 3D video applications
KR20110129903A (ko) ３ｄ 시청자 메타데이터의 전송
CN104604222B (zh) 用于产生、传送和接收立体图像的方法及有关设备
EP2949121B1 (en) Method of encoding a video data signal for use with a multi-view stereoscopic display device
US10037335B1 (en) Detection of 3-D videos
KR20140041489A (ko) 스테레오스코픽 이미지의 동시적인 스테레오스코픽 및 모노스코픽 디스플레이를 가능하게 하기 위한 스테레오스코픽 이미지의 자동 컨버전
CN104838648A (zh) 用于创建和重建视频流的装置和方法
KR20090093734A (ko) 다시점 영상을 위한 부가 정보를 포함하는 데이터스트림부호화 방법 및 그 장치, 그리고 이를 이용한 데이터스트림복호화 방법 및 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant