CN101416520B - 多视图的高效编码 - Google Patents

多视图的高效编码 Download PDF

Info

Publication number
CN101416520B
CN101416520B CN2007800124727A CN200780012472A CN101416520B CN 101416520 B CN101416520 B CN 101416520B CN 2007800124727 A CN2007800124727 A CN 2007800124727A CN 200780012472 A CN200780012472 A CN 200780012472A CN 101416520 B CN101416520 B CN 101416520B
Authority
CN
China
Prior art keywords
image
picture signal
expression
collection
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2007800124727A
Other languages
English (en)
Other versions
CN101416520A (zh
Inventor
W·H·A·布鲁尔斯
C·瓦尔坎普
R·布拉斯彭宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=38470538&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN101416520(B) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN101416520A publication Critical patent/CN101416520A/zh
Application granted granted Critical
Publication of CN101416520B publication Critical patent/CN101416520B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/005—Aspects relating to the "3D+depth" image format

Abstract

介绍了一种将多视图图像信息编码到图像信号(200)中的新方法，包括：将由第一相机(101)拍摄的表达一个或多个对象(110，112)的像素值的第一图像(220)添加到图像信号(200)中；-将图谱(222)添加到图像信号(200)中，其中，针对第一图像(220)的各组像素，所述图谱包括了代表由各组像素表达的一个或多个对象(110，112)的区域在空间中的三维位置的各个值；和将由第二相机(102)拍摄的表达一个或多个对象(110，112)的像素值的第二图像(224)的局部表达(223)添加到图像信号(200)中，该局部表达(223)包括至少表达对第一相机(101)不可见的一个或多个对象(110，112)的区域的大多数像素的信息。优点是需要较少的信息就能够实现较高的精度并且提高了可用性。

Description

多视图的高效编码
技术领域
本发明涉及一种将图像的多幅视图编码成图像信号的方法，例如按照MPEG标准之一编码成压缩电视信号。 
本发明还涉及：用于生成这一信号的设备、用于接收这一信号的接收器、从该信号中提取编码信息从而可以将其用于生成多幅视图的方法以及高效编码信号本身。 
背景技术
当前正在对三维图像信息编码的标准化展开研究。例如，Redert A等人的文章“ATTEST：advanced three-dimensional television systemtechnologies”(3D Data Processing Visualization And Transmission，2002，Proceedings，First international Symposium on June 19-21，2002，Piscataway，NJ，USA，IEEE，19June 2002(2002-06-19)第313-319页，XP010596672 ISBN：0-7695-1521-4)公开了用于广播环境的三维电视系统的元素。Christoph Fehn等人的论文“Study of some MPEGTools Related to 3D-video”(ISO MPEG，Document M8423，30 April2002(2002-04-30)，第1-5页，XP030037386，Fairfax，USA)对于在MPEG标准中定义的、与三维视频应用相关的一些工具提供了简短的概述。 
有数种方式表达三维对象，例如表达为一组体像素(例如在医疗数据显示或工业零部件检验方面很普及)，或者表达为从不同方向采集的并且用来由单独一个观看者的双眼或者由多个观看者或运动的观看者等从不同方向观看的多个视图图像。 
比较流行的格式是左/右格式，其中由左侧的相机拍摄一幅画面并且由右侧的相机拍摄一幅画面。可以将这些画面显示在不同显示上，例如可以在第一组时刻期间展示左画面，并且在交错的第二组时刻期间展示右画面，由遮光眼镜与显示同步地遮挡住观看者的左右眼。能够产生场景的三维印象的显示器的另一个例子是具有偏振构件的投影仪，至少呈现场景的一些三维信息，即在特定方向上近似看起来象三维的(即立体的)。 
可以采用不同的场景近似质量，例如可以将三维场景表达为一组彼此遮挡的平坦层。但是这些不同质量可以按照现有的格式来进行编码。 
另一种流行的显示器是自动立体显示器。这种显示器是例如通过将LCD放置在一组透镜之后形成的，从而使得一组像素得以由各透镜投影到空间中的区域上。这样，在空间中生成了多个锥面，这些锥面两两包含用于左右眼的左右图像，从而在没有眼镜的情况下，用户也能够在多个空间区域中找到他的位置，并且感受3D效果。不过这些像素组的数据必须要从左右图像来生成。另一种选择是，用户可以从立体编码的左和右视图之间的多个中间方向看到对象，这些中间视图可以通过计算左和右画面之间的视差场并且随后进行内插来生成。 
发明内容
现有技术中的左/右编码的缺点是，需要相当可观的数据才能获得中间视图，并且仍然可能获得不尽如人意的结果。很难计算精确匹配的视差场，这将会导致内插中的伪像，比如背景部分粘连在前景对象上。引出本文下面给出的技术实施方式的需求是，找出一种能够在转换成不同格式(比如转换成一组具有中间视图的视图)的时候得出相对精确的结果而又不包含过大数据量的编码方式。 
借助一种将多视图图像信息编码到图像信号(200)中的方法，这些要求至少部分地得到了满足，该方法包括： 
-将由第一相机(101)拍摄的表达一个或多个对象(110，112)的像素值的第一图像(220)添加到图像信号(200)中； 
-将图谱(222)添加到图像信号(200)中，其中，针对第一图像(220)的各组像素，所述图谱(222)包括了用于表示由各组像素所表达的一个或多个对象(110，112)的区域在空间中的位置的各个值； 
提供由第二相机(102)在不同于第一相机的位置拍摄的表达一个或者多个对象的像素值的第二图像(224)； 
响应于第一图像(220)和第二图像(224)之间的视差，确定至少哪些区域存在于第二图像中但是不存在于第一图像(220)中；和 
-将第二图像(224)的局部表达(223)添加到图像信号(200)中，该局部表达(223)包括这些区域的至少大多数像素的信息， 
和由该方法获得的信号和能够实现该方法性能的设备。 
本发明的发明人已经认识到，如果理解了出于质量的原因，最好将包含与场景的三维结构有关的信息的代表实现特定应用(具有期望的质量)所需要的至少这一部分三维场景信息的图谱添加到左和右图像中，可以构想出一种重要的编码格式。为了视图内插，该图谱可以是例如精确分段的视差图谱，该图谱的视差向量将会带来中间视图的良好内插。需要注意的重要一点是，可以按照图谱在接收侧的使用在创建/发送侧优化地调整这个图谱，即，例如按照在显示器上如何模拟三维环境，这意味着它典型地具有与用于最佳预测左和右视图中的像素区域时不同的属性。 
该图谱可以例如由操作人员调整，甚至创建，操作人员可以在他那一侧预览多个计划进行的显示在接收该信号时会有何种表现。现在以及未来更是如此，已经用计算机生成了一部分内容，比如例如恐龙的三维模型，或者重叠的图形，这意味着至少为包含这些人工对象像素的区域创建精确的视差图谱或深度图谱或者类似的图谱是不太成问题的。 
这当然对游戏应用来说切实可行的，其中例如用户可以相对于场景做轻微移动，并且可能想要看到不同的场景，但是在不久的将来，本发明还可能对用两台相机拍摄的或者甚至根据例如运动视差生成的3D电视变得举足轻重。越来越多的工作室(例如，为BBC工作的)已经在为新闻节目使用例如虚拟环绕声。 
用很少的数据开销就可以对这个图谱进行编码，例如，编码为灰度值图像，按照MPEG-2标准压缩并且附加在信号中已有的左/右图像(或者运动视频的数个时刻的图像)上。 
不过本发明人认识到，有了这个图谱，能够实现数据量的进一步减少，因为场景的一部分是由两台相机成像的。虽然像素信息可能对双向内插有用(例如，朝向相机之一的镜面反射可以得到缓和)，实际上不是那么重要的信息将会存在于双重编码的部分中。因此，在可以得到该图谱的情况下，能够确定第二图像(例如右图像)的哪些部分需要进行编码(和发送)，以及哪些部分对于特定应用关系不大。并且在接收侧，能够实现漏失数据的良好质量重构。 
例如，在简单的场景近似(拍摄)中，在对象具有朝向相机(可以是平行定位的或者以小角度向下朝向场景)的基本平坦表面并且不是非常接近的情况下，在第二(右)图像中拍摄到的第一(左)图像中的漏失部分由背景对象(例如，无限远处场景的元素)的像素组成。 
一个重要的实施方式涉及局部第二视差或深度图谱或者类似图谱的编码。这个局部例如深度图谱基本上包含不可能由第一相机成像的区域的深度值。从这一深度数据中，于是可以在接收侧推断出哪些未遮挡部分属于具有第一深度的前景对象(附图1中由130表示)以及哪些部分属于背景(132)。这可以实现更好的内插策略，例如，可以精细调整伸展和空白的填补量，可以在中间图像中呈现耳朵的伪立体呈现，而不是仅仅背景像素等。另一个例子是，可以将倾斜相机的梯形畸变编码在这个第二图谱中，来进行接收侧补偿。 
在用(典型地略微)汇合的相机拍摄造成的梯形畸变的情况下，除了水平视差之外，一般还会有垂直视差。这一垂向分量可以按照向量方 式编码，或者编码在第二图谱中，如例如已经在《MPEG-4subgroup Video-3DAV》(例如，ISO/I EC JTC1/SC29/WG11Docs.MPEG2005/12603，12602，12600，12595)中提出的《auxi l iary data representat ion》中设想过的。可以将视差分量映射为辅助画面的亮度和/或色度，例如，可以将水平视差高分辨率地映射为亮度，并且可以将垂直视差按照一种方案映射为一个或两个色度分量(从而某些数据在U中，并且借助数学分割，同样数量的附加数据在V中)。 
局部左+右+＂深度＂的格式较之于首先编码成中间视图+＂深度＂+bisidal阻塞数据的优势如下。将阻塞数据变换成中心视图--而不是将其存储在原始的相机拍摄视图上，会导致处理不精确(尤其是如果(多个)深度图谱是自动得出的并且具有较低质量/一致性，具有时间和空间的不完整性)，并且因此会造成编码效率低下。而且在计算时，紧接着会造成中间视图进一步不精确。 
附图说明
参照下文介绍的实现方式和实施方式中并且参照附图，将会明显看出按照本发明的方法和设备的这些和其它方面，并且将会参照下文介绍的实现方式和实施方式中并且参照附图解释说明按照本发明的方法和设备的这些和其它方面，这些附图仅仅作为非限定性的具体说明更加一般概念的具体说明，并且其中虚线用于表示部件是根据需要任选的，非虚线的部件不一定是必须的。 
在附图中： 
附图1示意性地图解说明用至少两个相机拍摄场景； 
附图2示意性地图解说明将所需数据编码在图像信号中的几种选择； 
附图3示意性地图解说明用于生成该图像信号的示范性设备；和 
附图4示意性地图解说明能够使用该信号的示范性接收设备。 
具体实施方式
附图1表示拍摄包括近距对象110和远距对象112的场景的第一图像的第一相机101。它的视场是由线103和104限定的。它的背景视图由近距物体遮挡，即切线120左侧的区域132是看不见的。不过第二相机102能够在第二图像中拍摄到这一区域132的一部分，出于简便的原因， 可以认为第二图像是，并且称为，右图像(但是不应将此狭隘地理解为它是在另一画面的更右侧一点拍摄的)。第二相机还能够拍摄近距物体110的其它部分130。 
附图2象征性地表示这些所拍摄的图像作为一组像素看起来是什么样子的。图像信号200可以例如具有预定编码格式JPEG并且包含场景的编码照片，或者可以是MPEG-4编码的电影镜头。在后一种情况下，3D数据210包括重建某一瞬间的场景所需的信息。 
图像220是由第一相机拍摄的左图像，包括近距对象110和背景112。 
图谱222是包括与对象在三维空间中如何定位相关的任何信息的图谱，包括至少在显示器上呈现多个所需视图(静态地或动态地呈现，例如在游戏中与运动用户交互地呈现)所需要的信息。数种这样的表达都是可行的，例如可以是由第一相机观察到的它们的二维位置上的深度图谱，包括例如背景中的对象到相机中心的正交近似(例如，所有对象区域的平均值)距离，或者可以是双眼像差或视差，或者仅仅是视差的水平分量。 
可以在数学上将深度和视差等彼此关联起来。 
这个深度图谱可以例如是精确到像素的或者可以对于每一个8x8像素块具有单独一个值，并且可以对其进行编码，例如作为图像进行编码。 
可以将更多的信息添加到深度图谱上(可以包括每组像素的标量或数组，一组像素可能仅仅包括单独一个像素)，比如例如基于用于得出它的匹配算法确定的精度数据(关于深度图谱的某一部分的可靠性如何)。 
局部数据结构223(右图像224的一部分)包括仅仅能够由第二相机(与按照视差移位的近距物体225相邻)看到的背景的像素的信息(例如，仅仅是亮度，或者是颜色，或者是能够生成区域中的像素的任何其它惯用表达，比如例如纹理模型)。在接收器侧应用程序能够容忍一定数量的丢失像素(例如，通过用简单的外推、延展等生成它们)的情况下，这个编码的局部区域--或者至少按照像斑生成算法获得较大编码区域形状的一部分中的像素值所需的数据--可以略微小于右图像中拍摄的实际未遮挡区域。 
编码区域也可以较大(例如大到宽度的两倍并且垂直方向上附带有类似的缓冲区大小)。这在自动得出时形状的准确性不确定的情况下或 者在出于某种原因不希望进行双向内插的情况下是很重要的。 
还有可能出于编码的原因。可能比对整个块进行编码省事，并且鉴于复杂形状的编码可能会比较费事，可能会受益于额外编码的像素。另外，在发送端，可以对右图像中的数据进行人工或(半)自动分析，建议将其作为先前推导阶段的输出，除了左图像中的数据之外也是很有用处的。例如，可以考察像素属性来认定镜面反射，并且决定对两个图像中都包括该反射的像素区域进行编码。 
而且可以通过形态分析来分析差异区域的形状，具体来说，可以确定该区域的大小和宽度。小的区域可以牵涉到相当可观的编码开销，但是通常可以在接收器侧不用或用很少的信息来近似。因此，可能会从局部第二画面中忽略掉小区域。这可以是在检查各种删除的效果的操作人员控制之下进行的。 
区域的(环绕或确切)形状可以用多边形近似或园角方框来编码，并且可以直接对内部像素(纹理)值进行编码，或者通过形状上的线性变换表示的系数或其它数学模型来编码。而且，反之亦然，可以指示出不必编码/发送的部分。 
可以将局部表达映射到(例如，空行的简单移位、变形或裁剪成按照预定顺序重新排列的小块)第一图像不使用的图像或用户数据(例如，再生模型)上去。 
如果附带有深度图谱的第一图像是中心图像，则可以有用于两侧的局部第二图像，即，在它们之间可以进行内插的成一定角距离(基线)的局部第二图像。 
第一相机可以对背景成像，并且第二相机可以对例如新闻广播员覆盖住了一部分的背景进行成像，例如，在不同的时间从同一个观察点成像。即，这些相机不必是在某一时刻同时真实存在的相机，而是例如视图之一可以例如是从图片存储库中下载的。 
根据情况，至少对于第二图像中成像未覆盖的对象区域，可以向信号中添加第二深度图谱239(完整深度图谱240的一部分)或类似的表达。这个深度图谱可以包括近处和远处对象之间的边界。利用这一信息，接收侧能够在内插期间将不同的像素附加到正确的对象/深度层上。 
还可以将其它数据230添加到信号中，例如，添加到专用字段中，比如与场景中对象的独立或总体三维合成有关的信息。该指示可以简单 到一条沿着所成像的场景对象边界的线(如果例如深度图谱不足以或足够精确到能够本身区分对象)，或者甚至是象线网(例如，未遮挡部分中局部深度结构的线网)一样复杂的东西或由此得出的信息。 
而且，还可以包括相机位置信息和场景范围信息，使得接收侧能够进行多(至少两个)视图的更高级重建。 
附图3表示用于生成图像信号的设备310。它典型地是IC或IC的一部分，或者具有适当软件的处理器。该设备可以包含在更大的设备中，比如工作室中的专用编辑设备，并且可以附属于计算机，或者可以包含在计算机内。在示范性实施方式中，第一相机301和第二相机302与设备的310的输入端相连接。各个相机都具有测距仪(分别为308，309)，这些测距仪可以使用例如激光束或投影栅格等。 
在该设备中，有视差估算单元312，该单元被安排成用于至少通过考虑对象的几何形状(通过使用深度图谱中的信息)来确定至少两个画面之间的视差。从现有技术当中可以了解到不同的视差估算技术，例如，借助相关块中像素值的绝对差值的总和。 
它被安排成用于确定至少哪些区域仅仅存在于图像之一中以及哪些区域存在于两个图像中，但是它此外还可以具有能够对像素区域应用匹配准则的单元。 
还有深度图谱单元314，该单元能够生成和/或分析和/或细化深度图谱(或象视差图谱之类的相似表达)，深度图谱是由视差估算单元312确定的或者从所输入的包含例如距离数据的相机信号中提取出来的。根据需要可以包括呈现单元316，该单元可以生成例如中间视图，从而工作室的技术人员能够检验任何改变的影响和/或更加高效的编码。这是经由用户界面单元318完成的，用户界面单元可以使得例如用户能够改变局部表达223中的值，或者改变它的形状(例如，使它更大或更小)。用户还可以更改图谱222。另外，还可以接上显示器335和用户输入构件。该设备能够经由信号传输和合成构件339将最终编制的图像信号发送到网络330上，本领域技术人员可以为适当的网络找到合适的信号传输和合成构件(例如，转换成电视信号牵涉到上变换为传输频率，因特网传输牵涉到分组化，此外还可以有错误防止单元等)。 
不应将网络这一特征理解为是有限定作用的，而其本意是还要包括经由设备内部网络(比如总线)向存储器单元或存储介质进行传输。
附图4表示示范性的接收器400，该接收器同样可以是例如IC(的一部分)，并且该接收器包括用于从可从网络330中接收的图像信号中提取相关信息的构件，至少： 
-安排成用来提取由第一相机(101)拍摄的表达一个或多个对象(110，112)的像素值的第一图像(220)的构件(402)； 
-安排成用于从图像信号(200)中提取图谱的构件(404)，例如与第一图像的对象位置相对应的深度图谱；和 
-安排成用于提取由第二相机(102)拍摄的表达一个的或多个对象(110，112)的像素值的第二图像(224)的局部表达(223)的构件(406)； 
当然还可能存在其他构件，因为接收器(和提取方法)可以反映生成可能用到的任何实施方式，所以可能有例如提取其它数据的构件，比如两个对象之间边界的指示。 
所提取出来的信息被传送到图像再生器，该图像再生器能够生成例如完整的左和右图像。图像呈现单元412可以生成例如中间视图(例如，通过单向或双向内插，或者任何其它已知算法)，或者自动立体显示器上的两个视图(立体)所需的信号。取决于3D显示器的种类和3D实际上是如何表现的，这两个单元可以以不同的组合方式实现。 
接收器可以典型地与3D显示器415连接或者包含在3D显示器415中，3D显示器415可以呈现至少两个视图，或者可以将(多个)再生信号存储在存储装置420(例如盘422写入器)中或者固态存储器上等等。 
本文公开的算法部分在实践中可以(全部或部分地)以硬件方式(例如，专用IC的各个部分)实现或者以运行在专用数字信号处理器或通用处理器等上的软件的方式实现。 
在计算机程序产品的情况下，应当理解，命令集合的任何物理实现都能够使通用处理器或专用处理器在一系列加载步骤(可以包括中间转换步骤，象翻译成中间语言，并且最终翻译成处理器语言)之后，能够将命令取入处理器，来执行本发明的任何特征功能。具体地说，可以将计算机程序产品实现为载体(比如例如盘或磁带)上的数据、存在于存储器中的数据、在网络有线连接或无线连接上运送的数据或者纸张上的程序代码。除了程序代码之外，也可以将该程序所需要的特征数据具体实现为计算机程序产品。 
该方法发挥作用所需要的某些步骤可能已经存在处理器的功能中， 而不是计算机程序产品中介绍的功能，比如数据输入和输出步骤。 
应当注意，前面提到的实施方式仅仅是图解说明而不是限定本发明。除了权利要求中组合的那样的本发明的要素组合之外，这些要素的其它组合方式也是可以的。要素的任何组合都可以在单独一个专用单元中实现。 
权利要求中括号内的任何附图标记都并非打算用来限定权利要求。词＂包括＂并不排除除了权利要求中列出的那些要素或方面之外还存在其它的要素或方面的可能。置于要素前面的词＂一＂或＂一个＂并不排除存在多个这种要素的可能。

Claims (17)

1.一种将多视图图像信息编码到图像信号(200)中的方法，包括：
-将由第一相机(101)拍摄的表达一个或多个对象(110，112)的像素值的第一图像(220)添加到图像信号(200)中；
-将图谱(222)添加到图像信号(200)中，其中，针对第一图像(220)的各组像素，该图谱(222)包括了表示由各组像素表达的所述一个或多个对象(110，112)的区域在空间中的三维位置的各个值；和该方法的特征在于包括：
提供由第二相机(102)在不同于第一相机的位置拍摄的表达一个或者多个对象(110，112)的像素值的第二图像(224)；
响应于第一图像(220)和第二图像(224)之间的视差，确定至少哪些区域存在于第二图像中但是不存在于第一图像(220)中；以及
将第二图像(224)的局部表达(223)添加到图像信号(200)中，该局部表达(223)包括至少这些区域的大多数像素的信息。
2.按照权利要求1所述的方法，还包括将第二图谱(240)添加到所述图像信号(200)中，其中，针对第二图像(224)的各组像素，所述第二图谱至少包括了代表由各组像素表达的所述一个或多个对象(110，112)的区域在空间中的三维位置的各个值的局部表达(239)。
3.按照权利要求1或2所述的方法，包括借助视差计算算法为第一图像(220)中的像素组自动得出指向第二图像(224)中的相应像素组的视差向量，并且将图谱(222)添加到图像信号(200)中的步骤包括添加包括视差向量的图谱(222)。
4.按照权利要求1或2所述的方法，包括从距离确定装置(308)获得第一图像(220)中的像素组所对应的各距离，并且将图谱(222)添加到图像信号(200)中的步骤包括添加包括这些距离的图谱(222)。
5.按照权利要求1或2所述的方法，其中图谱(222)的值在添加到图像信号(200)之前由人精细调整。
6.按照权利要求1或2所述的方法，其中局部表达(223)在添加到图像信号(200)之前由人精细调整。
7.按照权利要求2所述的方法，还包括将指示第一对象(110)和第二对象(112)之间的边界的指示(250)添加到图像信号(200)中。
8.按照权利要求7所述的方法，其中所述指示(250)包括图谱(222)中的位置的曲线。
9.按照权利要求1或2所述的方法，其中将第二图像(224)的局部表达(223)添加到图像信号(200)中的步骤，包括指定环绕着第二图像(224)的局部表达(223)中的像素的区域的环绕形状的表达并且将其添加到图像信号中。
10.按照权利要求1或2所述的方法，其中将第二图像(224)的局部表达(223)添加到图像信号(200)中的步骤，包括指定第二图像(224)不需要编码的区域。
11.按照权利要求1或2所述的方法，其中在将局部表达(223)添加到图像信号(200)中之前，对包含在第二图像(224)的局部表达(223)中的区域进行图像分析，例如形态分析，并且对该局部代表进行更改，形态分析包括例如确定各区域的最大宽度。
12.一种生成多视图图像信息向图像信号(200)中的编码的设备(310)，包括：
-安排成用于将由第一相机(101)拍摄的表达一个或多个对象(110，112)的像素值的第一图像(220)添加到图像信号(200)中的构件(340)；
-安排成用于将图谱(222)添加到图像信号(200)中的构件(341)，其中针对第一图像(220)的各组像素，所述图谱包含了代表由各组像素表达的一个或多个对象(110，112)的区域在空间中的三维位置的各个值；所述设备的特征在于包括：
安排用于提供由第二相机(102)在不同于第一相机的位置拍摄的表达一个或者多个对象(110，112)的像素值的第二图像(224)的构件；
安排用于响应于第一图像(220)和第二图像(224)之间的视差，确定至少哪些区域存在于第二图像中但是不存在于第一图像(220)中的构件；和
安排成用于将第二图像(224)的局部表达(223)添加到图像信号(200)中的构件(342)，该局部表达(223)包括至少这些区域的大多数像素的信息。
13.按照权利要求12所述的设备，还包括自动视差估算单元，该单元被安排成用于估算第一图像(220)中的像素组与第二图像(224)中的相应像素组之间的视差向量。
14.按照权利要求12或13所述的设备，还包括用户界面单元(318)，该单元被安排成用于给予操作人员对图谱(222)和/或局部表达(223)的内容的控制权。
15.一种图像信号接收器(400)，包括：
-安排成用于从图像信号(200)中提取由第一相机(101)拍摄的表达一个或多个对象(110，112)的像素值的第一图像(220)的构件(402)；
-安排成用于从图像信号(222)中提取出图谱(222)的构件(404)，其中针对第一图像(220)的各组像素，所述图谱包括了代表由各组像素表达的所述一个或多个对象(110，112)的区域在空间中的三维位置的各个值；并且特征在于还包括：
-安排成用于从图像信号(200)中提取出由第二相机(102)在不同于第一相机的位置拍摄的表达一个或多个对象(110，112)的像素值的第二图像(224)的局部表达(223)的构件(406)，该局部表达(223)包括至少表达存在于第二图像中但是不存在于第一图像中的所述一个或多个对象(110，112)的区域的大多数像素的信息。
16.一种能够生成图像的至少两个视图的显示器(415)，包括：
-权利要求15中所述的图像信号接收器(400)；
-图像再生器(410)，安排成用于从由图像信号接收器(400)接收到的图像信号数据生成两个图像；和
-图像呈现单元(412)，安排成用于从这两个图像生成其格式适合于显示器的其它图像。
17.一种从图像信号(200)中提取多视图图像信息的方法，包括：
-从图像信号(200)中提取出由第一相机(101)拍摄的表达一个或多个对象(110，112)的像素值的第一图像(220)；
-从图像信号(200)中提取出图谱(222)，其中，针对第一图像(220)的各组像素，所述图谱包括了代表由各组像素表达的一个或多个对象(110，112)的区域在空间中的三维位置的各个值；和该方法的特征在于还包括：
-从图像信号(200)中提取出由第二相机(102)在不同于第一相机的位置拍摄的表达一个或多个对象(110，112)的像素值的第二图像(224)的局部表达(223)，该局部表达(223)包括至少表达存在于第二图像中但是不存在于第一图像中的所述一个或多个对象(110，112)的区域的大多数像素的信息。
CN2007800124727A 2006-03-31 2007-03-23 多视图的高效编码 Active CN101416520B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP06112096 2006-03-31
EP06112096.0 2006-03-31
PCT/IB2007/051031 WO2007113725A2 (en) 2006-03-31 2007-03-23 Efficient encoding of multiple views

Publications (2)

Publication Number Publication Date
CN101416520A CN101416520A (zh) 2009-04-22
CN101416520B true CN101416520B (zh) 2011-12-14

Family

ID=38470538

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007800124727A Active CN101416520B (zh) 2006-03-31 2007-03-23 多视图的高效编码

Country Status (10)

Country Link
US (1) US9986258B2 (zh)
EP (2) EP3104603B2 (zh)
JP (1) JP5317955B2 (zh)
KR (1) KR101340911B1 (zh)
CN (1) CN101416520B (zh)
ES (2) ES2599858T3 (zh)
PL (1) PL2005757T3 (zh)
RU (1) RU2431938C2 (zh)
TR (1) TR201810139T4 (zh)
WO (1) WO2007113725A2 (zh)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101388265B1 (ko) * 2007-06-11 2014-04-22 삼성전자주식회사 2ｄ 영상 미디어 표준을 기반으로 3ｄ 입체영상 파일을생성 및 재생하기 위한 시스템 및 방법
KR101387212B1 (ko) * 2007-06-12 2014-04-21 삼성전자주식회사 2ｄ 영상 미디어 표준을 기반으로 3ｄ 입체영상 파일을생성 및 재생하기 위한 시스템 및 방법
WO2009032255A2 (en) * 2007-09-04 2009-03-12 The Regents Of The University Of California Hierarchical motion vector processing method, software and devices
KR101362647B1 (ko) * 2007-09-07 2014-02-12 삼성전자주식회사 2ｄ 영상을 포함하는 3ｄ 입체영상 파일을 생성 및재생하기 위한 시스템 및 방법
KR101591085B1 (ko) * 2008-05-19 2016-02-02 삼성전자주식회사 영상 파일 생성 및 재생 장치 및 방법
CN106101682B (zh) * 2008-07-24 2019-02-22 皇家飞利浦电子股份有限公司 通用3-d画面格式
PL2332340T3 (pl) * 2008-10-10 2016-05-31 Koninklijke Philips Nv Sposób przetwarzania informacji o paralaksie zawartej w sygnale
TWI542190B (zh) * 2008-11-04 2016-07-11 皇家飛利浦電子股份有限公司 編碼三維影像信號的方法及系統、經編碼之三維影像信號、解碼三維影像信號的方法及系統
EP2197217A1 (en) * 2008-12-15 2010-06-16 Koninklijke Philips Electronics N.V. Image based 3D video format
CA2745392C (en) * 2008-12-18 2016-07-12 Lg Electronics Inc. Method for 3d image signal processing and image display for implementing the same
MY158823A (en) * 2008-12-19 2016-11-15 Koninl Philips Electronics Nv Method and device for overlaying 3d graphics over 3d video
US8798158B2 (en) * 2009-03-11 2014-08-05 Industry Academic Cooperation Foundation Of Kyung Hee University Method and apparatus for block-based depth map coding and 3D video coding method using the same
EP2425626A2 (en) 2009-05-01 2012-03-07 Thomson Licensing Inter-layer dependency information for 3dv
WO2011033673A1 (ja) * 2009-09-18 2011-03-24 株式会社 東芝 画像処理装置
JP5494283B2 (ja) * 2010-06-24 2014-05-14 ソニー株式会社 立体表示装置及び立体表示装置の制御方法
WO2012036902A1 (en) 2010-09-14 2012-03-22 Thomson Licensing Compression methods and apparatus for occlusion data
KR20120055991A (ko) * 2010-11-24 2012-06-01 삼성전자주식회사 영상처리장치 및 그 제어방법
KR101814798B1 (ko) * 2011-01-26 2018-01-04 삼성전자주식회사 입체영상 처리 장치 및 방법
EP2761878B1 (en) 2011-09-29 2020-04-08 Dolby Laboratories Licensing Corporation Representation and coding of multi-view images using tapestry encoding
WO2013112796A1 (en) * 2012-01-25 2013-08-01 Lumenco, Llc Conversion of a digital stereo image into multiple views with parallax for 3d viewing without glasses
KR20130094905A (ko) * 2012-02-17 2013-08-27 삼성전자주식회사 디스플레이장치 및 그 입체감 조정방법
RU2490819C1 (ru) * 2012-02-29 2013-08-20 Сергей Александрович Соболев Способ получения стереоскопических телевизионных изображений с автоматическим измерением предметного пространства в реальном времени
EP2880624B1 (en) * 2012-03-26 2019-05-08 Koninklijke Philips N.V. Brightness region-based apparatuses and methods for hdr image encoding and decoding
US9225962B2 (en) * 2012-07-16 2015-12-29 Cisco Technology, Inc. Stereo matching for 3D encoding and quality assessment
CN103634587A (zh) * 2012-08-22 2014-03-12 联想(北京)有限公司 图像处理方法、装置及电子设备
US9596446B2 (en) * 2013-02-06 2017-03-14 Koninklijke Philips N.V. Method of encoding a video data signal for use with a multi-view stereoscopic display device
EP3273686A1 (en) 2016-07-21 2018-01-24 Thomson Licensing A method for generating layered depth data of a scene
US9972122B1 (en) 2016-12-20 2018-05-15 Canon Kabushiki Kaisha Method and system for rendering an object in a virtual view
US10755142B2 (en) * 2017-09-05 2020-08-25 Cognizant Technology Solutions U.S. Corporation Automated and unsupervised generation of real-world training data
US10484667B2 (en) * 2017-10-31 2019-11-19 Sony Corporation Generating 3D depth map using parallax
US10549186B2 (en) 2018-06-26 2020-02-04 Sony Interactive Entertainment Inc. Multipoint SLAM capture
RU2767775C1 (ru) * 2018-07-11 2022-03-21 ИНТЕРДИДЖИТАЛ ВиСи ХОЛДИНГЗ, ИНК. Обработка облака точек
US10893299B2 (en) 2018-07-31 2021-01-12 Intel Corporation Surface normal vector processing mechanism
US10819968B2 (en) * 2018-07-31 2020-10-27 Intel Corporation Neural network based patch blending for immersive video
US11178373B2 (en) 2018-07-31 2021-11-16 Intel Corporation Adaptive resolution of point cloud and viewpoint prediction for video streaming in computing environments
US10762394B2 (en) 2018-07-31 2020-09-01 Intel Corporation System and method for 3D blob classification and transmission
US11212506B2 (en) 2018-07-31 2021-12-28 Intel Corporation Reduced rendering of six-degree of freedom video
US10887574B2 (en) 2018-07-31 2021-01-05 Intel Corporation Selective packing of patches for immersive video
RU2690757C1 (ru) * 2018-08-21 2019-06-05 Самсунг Электроникс Ко., Лтд. Система синтеза промежуточных видов светового поля и способ ее функционирования
US11057631B2 (en) 2018-10-10 2021-07-06 Intel Corporation Point cloud coding standard conformance definition in computing environments
US11957974B2 (en) 2020-02-10 2024-04-16 Intel Corporation System architecture for cloud gaming

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1511419A (zh) * 2001-05-29 2004-07-07 皇家菲利浦电子有限公司 可视通信信号

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61144191A (ja) * 1984-12-17 1986-07-01 Nippon Hoso Kyokai <Nhk> 立体テレビジョン画像伝送方法
GB8626527D0 (en) 1986-11-06 1986-12-10 British Broadcasting Corp 3d video transmission
JPH06265322A (ja) 1993-03-11 1994-09-20 Canon Inc 複数画像からの視差検出方法
JPH0715748A (ja) 1993-06-24 1995-01-17 Canon Inc 画像記録再生装置
JP3826236B2 (ja) * 1995-05-08 2006-09-27 松下電器産業株式会社 中間像生成方法、中間像生成装置、視差推定方法、及び画像伝送表示装置
JPH099294A (ja) 1995-06-14 1997-01-10 Eriko Shimizu 立体画像情報構成方式
JP3769850B2 (ja) 1996-12-26 2006-04-26 松下電器産業株式会社 中間視点画像生成方法および視差推定方法および画像伝送方法
US6163337A (en) 1996-04-05 2000-12-19 Matsushita Electric Industrial Co., Ltd. Multi-view point image transmission method and multi-view point image display method
US6175652B1 (en) * 1997-12-31 2001-01-16 Cognex Corporation Machine vision system for analyzing features based on multiple object images
KR100433625B1 (ko) * 2001-11-17 2004-06-02 학교법인 포항공과대학교 스테레오 카메라의 두영상과 양안차도를 이용한 다시점영상 합성 장치
AU2002952873A0 (en) 2002-11-25 2002-12-12 Dynamic Digital Depth Research Pty Ltd Image encoding system
KR100751422B1 (ko) 2002-12-27 2007-08-23 한국전자통신연구원 스테레오스코픽 비디오 부호화 및 복호화 방법, 부호화 및복호화 장치
US7512250B2 (en) * 2004-11-24 2009-03-31 Siemens Corporate Research, Inc. System and method for fast illumination-invariant background subtraction using two views
GB2474602A (en) * 2008-06-12 2011-04-20 Spandan Choudury A non-virtual-3d-video/photo generator rendering relative physical proportions of image in display medium and hence also of the display medium itself

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1511419A (zh) * 2001-05-29 2004-07-07 皇家菲利浦电子有限公司 可视通信信号

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
C.FEHN etc..An evolutionary and optimised approach on 3D-TV.<PROCEEDINGS OF INTERNATIONAL BROADCAST CONFERENCE(IBC 2002)>.2002,357-365. *
CHRISTOPH FEHN ET AL.Study of some MPEG Tools Related to 3D-Video.<ISO MPEG,DOCUMENT M8423 >.2002,第1-5页. *
P.KAUFF etc..Data format and coding for free viewpoint video.<PROCEEDINGS OF INTERNATIONAL BROADCAST CONFERENCE(IBC 2005)>.2005,第2-6页. *
REDERT A ET AL.advanced three-dimensional television system technologies.<3D DATA PROCESSING VISUALIZATION AND TRANSMISSION,2002.PROCEEDINGS.>.2002,313-319. *

Also Published As

Publication number Publication date
EP2005757A2 (en) 2008-12-24
JP5317955B2 (ja) 2013-10-16
US9986258B2 (en) 2018-05-29
KR101340911B1 (ko) 2013-12-13
EP3104603B1 (en) 2018-05-16
ES2599858T3 (es) 2017-02-03
TR201810139T4 (tr) 2018-08-27
CN101416520A (zh) 2009-04-22
ES2676055T5 (es) 2022-08-03
KR20090007384A (ko) 2009-01-16
EP3104603A1 (en) 2016-12-14
WO2007113725A2 (en) 2007-10-11
RU2431938C2 (ru) 2011-10-20
RU2008143205A (ru) 2010-05-10
JP2009531927A (ja) 2009-09-03
EP3104603B2 (en) 2022-06-08
ES2676055T3 (es) 2018-07-16
EP2005757B1 (en) 2016-08-24
PL2005757T3 (pl) 2017-02-28
US20100231689A1 (en) 2010-09-16
WO2007113725A3 (en) 2008-03-27

Similar Documents

Publication Publication Date Title
CN101416520B (zh) 多视图的高效编码
US11509933B2 (en) Method, an apparatus and a computer program product for volumetric video
CN103238338B (zh) 3d人机接口的混合现实
CN101610421B (zh) 视频通讯方法、装置及系统
EP3516873A1 (en) A method and a device for reconstructing a point cloud representative of a scene using light-field data
JP7344988B2 (ja) ボリュメトリック映像の符号化および復号化のための方法、装置、およびコンピュータプログラム製品
US20120293504A1 (en) System and method for transmitting three-dimensional image information using difference information
Lee et al. Efficient multiview depth video coding using depth synthesis prediction
KR102505130B1 (ko) 명시야 컨텐츠를 표현하는 신호를 인코딩하기 위한 방법 및 디바이스
KR100914636B1 (ko) 비주얼 통신 신호를 전송하기 위한 방법, 비주얼 통신 신호를 전송하기 위한 송신기 및 비주얼 통신 신호를 수신하기 위한 수신기
EP4133719A1 (en) A method, an apparatus and a computer program product for volumetric video coding
KR101609394B1 (ko) 입체 영상 인코딩 장치 및 방법
JP2020195093A (ja) 符号化装置、復号装置、及びプログラム
WO2019185983A1 (en) A method, an apparatus and a computer program product for encoding and decoding digital volumetric video
Ayatollahi et al. A taxonomy of depth map creation methods used in multiview video compression
JP7382186B2 (ja) 符号化装置、復号装置、及びプログラム
JP7336871B2 (ja) 全天周映像処理装置及びプログラム
Aflaki et al. Unpaired multiview video plus depth compression
Adhikarla et al. View synthesis for lightfield displays using region based non-linear image warping
Li et al. A novel representation and compression method in layered depth video
EP3267682A1 (en) Multiview video encoding
WO2019211519A1 (en) A method and an apparatus for volumetric video encoding and decoding
Chiu et al. Fast Coding Unit Decision Algorithm for Compressing Depth Maps in HEVC

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant