CN104769943B - 在多视图3dtv服务中处理边缘违反现象的方法和装置 - Google Patents

在多视图3dtv服务中处理边缘违反现象的方法和装置 Download PDF

Info

Publication number
CN104769943B
CN104769943B CN201380055737.7A CN201380055737A CN104769943B CN 104769943 B CN104769943 B CN 104769943B CN 201380055737 A CN201380055737 A CN 201380055737A CN 104769943 B CN104769943 B CN 104769943B
Authority
CN
China
Prior art keywords
rendering
edge
information
viewpoint
violated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201380055737.7A
Other languages
English (en)
Other versions
CN104769943A (zh
Inventor
徐琮烈
崔智铉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN104769943A publication Critical patent/CN104769943A/zh
Application granted granted Critical
Publication of CN104769943B publication Critical patent/CN104769943B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

一种用于接收供在多视图3D图像中处理边缘违反的3D图像广播信号的方法，包括步骤：接收用于广播多视图3D图像的广播信号；从接收的广播信号中解码在第一视图的3D图像中包括的第一左图像数据和第一右图像数据；从接收的广播信号中解析3D图像处理信息；通过使用第一左图像数据、第一右图像数据，和3D图像处理信息，产生在第二视图的3D图像中包括的第二左图像数据和/或第二右图像数据；解析包括在3D图像处理数据中的3D边缘违反区域检测函数信息，和通过使用3D边缘违反区域检测函数信息，处理该区域的边缘违反。

Description

在多视图3DTV服务中处理边缘违反现象的方法和装置
技术领域
本发明涉及处理包括多视图3D图像的数字广播信号的方法及其装置，并且尤其是，处理或者避免在提供多视图3D图像服务的过程中，出现在每个视点图像的左/右边界中的边缘违反(edge violation)现象的方法及其装置。
背景技术
随着3维电视(3DTV)的普及正在风行，通过数字广播发送的3D图像内容的传输和通过存储介质执行的3D图像内容的普及兴起。
通常，3D图像使用两只眼睛的立体视觉原理提供3D效果。由于人类经由两只眼睛的视差感觉视角，换言之，由于在两个彼此远离大约65mm的眼睛之间的间距造成的双目视差，所以3D图像可以以提供分别使左眼和右眼看到相关的平面图像的图像的方式提供3D效果和视角。
3D图像显示方法包括立体技术、体积的技术、全息摄影技术等等。在立体技术的情况下，其提供应当由左眼看到的左视图像，和应当由右眼看到的右视图像。立体技术允许人类使用偏振眼镜或者显示设备本身分别使左眼和右眼观看左视图像和右视图像的方式识别3D图像效果。
在立体3D图像内容的情况下，如果具有彼此不同的视点的两个类似的图像被发送，则立体技术采用接收机使用两个图像显示3D图像的技术。当3D图像由接收机显示的时候，由于在左图像和右图像之间的视差，出现双目视差。通过这样做，可以提供3D图像。
当提供3D图像的时候，被配置为由于按照每个内容的双目视差导致弹出到屏幕的前侧(到观众侧)的负视差对象、在内容内的场景、或者帧可能悬挂在屏幕的左和右边缘。在这种情况下，在由双目视差识别的深度和由屏幕边缘框识别的深度之间出现差异，并且用户可能感到失真的深度。
这种现象被称作边缘违反(edge violation)。由于边缘违反现象，观众可能感到视觉疲劳，并且对于观众来说正常地观看内容可能是困难的。目前地，3D图像接收机不具有能够处理边缘违反的单独的过程。
尤其是，在多视图3D图像的情况下，边缘违反的方面可能按照每个视点变化。目前，没有能够解决各种方面的边缘违反的方法。
在多视图3D广播环境下，按照每个3D视点，可能出现由边缘违反产生的不同水平的不便和失真。但是，当前的3DTV接收机不具有能够处理按照每个3D视点出现的失真现象的方法。
尤其是，当图像被以复制的方式包括在彼此不同的立体图像对(视图对)中的时候，发送由广播电台预先呈现的内容以防止出现由于边缘违反的失真现象的方法是不可适用的。
发明内容
技术任务
本发明的技术任务是解决前面提到的问题。更具体地说，本发明的技术任务是有效地解决在提供多视图3D图像广播服务的情况下能够发生的各种方面的边缘违反。
技术方案
为了实现这些目的和其他的优点，和按照本发明的目的，如在此处实施和广泛地描述的，按照一个实施例，一种接收多视图3D图像广播信号的方法，其处理在多视图3D图像中的边缘违反，包括步骤：接收用于多视图3D图像广播的广播信号，从接收的广播信号中解码包括在第一视点的3D图像中的第一左图像数据和第一右图像数据，从接收的广播信号中解析3D图像处理信息，使用第一左图像数据、第一右图像数据和3D图像处理信息产生在第二视点的3D图像中包括的第二左图像数据和第二右图像数据之中的至少一个或多个数据，解析包括在3D图像处理信息中的3D边缘违反区域检测函数信息，使用3D边缘违反区域检测函数信息提取出现在第二视点的3D图像中的边缘违反的区域并处理区域的边缘违反，以及显示第一视点的3D图像和第二视点的3D图像。
优选地，3D边缘违反区域检测函数信息包括识别用于提取边缘违反区域的函数类型的函数类型信息，和表示用于识别的函数的系数值的系数信息。
优选地，3D图像处理信息进一步包括预期捕捉第二左图像和第二右图像的照相机的位置信息，和表示第一视点的3D图像的边缘违反区域的信息。
优选地，3D图像处理信息进一步包括边缘处理信息，该边缘处理信息包含有关能够在由接收机产生的一个或多个视点的3D图像中出现的边缘违反信息。
优选地，边缘处理信息包括有关存在于在至少一个或多个视点的3D图像中包括的左图像中的边缘违反区域的像素数目的信息，和有关存在于在至少一个或多个视点的3D图像中包括的右图像中的边缘违反区域的像素数目的信息。
优选地，边缘处理信息进一步包括指定处理存在于在至少一个或多个视点的3D图像中包括的左图像和右图像中的边缘违反方法的信息。
优选地，边缘处理信息进一步包括在存在于在至少一个或多个视点的3D图像中包括的左图像和右图像中的边缘违反被处理之后，识别至少一个或多个视点的3D图像的最小视差的信息。
优选地，3D图像处理信息经由SEI(辅助的增强信息)消息被发送。
优选地，3D图像处理信息经由PMT(节目图表)、VCT(虚拟频道表)、EIT(事件信息表)或者SDT(服务描述表)被发送。
为了进一步实现这些和其它的优点，并且按照本发明的目的，按照不同的实施例，一种接收多视图3D图像广播信号的方法，其处理在多视图3D图像中的边缘违反，包括步骤：接收用于多视图3D图像广播的广播信号，从接收的广播信号中解码包括在第一视点的3D图像中的第一左图像数据和第一右图像数据，从接收的广播信号中解析3D图像处理信息，使用第一左图像数据、第一右图像数据和3D图像处理信息产生在第二视点的3D图像中包括的第二左图像数据和第二右图像数据之中的至少一个或多个数据，其中产生在第二视点的3D图像中包括的第二左图像数据和第二右图像数据之中的至少一个或多个数据的步骤包括下述步骤：将在第一视点的3D图像中包括的像素映射到第二视点的3D图像，并且从映射处理中提取在第二视点的3D图像中出现的边缘违反区域，处理第二视点的3D图像的边缘违反，以及显示第一视点的3D图像和第二视点的3D图像。
优选地，3D图像处理信息包括有关捕捉第一视点的3D图像的照相机的照相机参数的信息，并且产生在第二视点的3D图像中包括的第二左图像数据和第二右图像数据之中的至少一个或多个数据的步骤使用有关照相机参数的信息产生在第二视点的3D图像中包括的第二左图像数据和第二右图像数据之中的至少一个或多个数据。
优选地，提取在第二视点的3D图像中出现的边缘违反区域的步骤分别地检测在第二视点的3D图像的左图像和右图像中包括的像素，并且检测其中包括存在于左图像中而不存在于右图像中的像素或者存在于右图像中而不存在于左图像中的像素的区域作为边缘违反的区域。
有益效果
按照本发明，在观看多视图3D图像的情况下，能够处理每个视点的边缘违反。
按照本发明，能够对没有由发送端发送的视点的3D图像执行边缘处理。
按照本发明，虽然发送端没有提供为执行边缘处理所必需的信息(边缘违反信息)，接收机也可以执行边缘处理。
附图说明
图1是按照本发明的一个实施例，用于显示多视图3D图像方法的示意图；
图2是按照本发明的一个实施例，用于边缘违反的示意图；
图3是按照本发明的一个实施例，用于处理边缘违反方法的示意图；
图4是按照本发明的不同的实施例，用于处理边缘违反方法的示意图；
图5是按照本发明的一个实施例，用于经由SEI(辅助的增强信息)消息示意3D_view_processing_info结构的表；
图6是按照本发明的一个实施例，用于3D_view_processing_info语法的表；
图7是按照本发明的一个实施例，用于3D_edge_handling_info()元素语法的表；
图8是按照本发明的一个实施例，用于3D边缘违反区域检测器函数信息(3D_EVAD_function_info())元素的表；
图9是按照本发明的一个实施例，用于示意边缘处理信息的情形的示意图；
图10是按照本发明的一个实施例，用于示意允许接收端扣除有关虚拟3D图像的边缘处理信息的相关函数情形的示意图；
图11是按照本发明的一个实施例，用于接收机自身执行边缘违反处理而无需单独的信令的公式的示意图；
图12是按照本发明的一个实施例，用于执行由接收机自身执行的边缘违反处理而无需单独的信令的情形的示意图；
图13是按照本发明的一个实施例，用于多视图3D图像接收机的示意图。
具体实施方式
现在将详细地介绍本发明的优选实施例，其例子在伴随的附图中图示。但是，本发明可以不受该实施例的限制。
虽然在本说明书中使用的术语是从考虑到功能当前和广泛地使用的常规的术语中选择出来的，它们可以按照从事于相应的领域中的技术人员的意图、习惯、新技术的出现等等变化。有时候，某些术语可以由申请人任意地选择。在这种情况下，任意地选择的术语的含义将在说明书的详细说明的相应的部分中描述。因此，在本说明书中使用的术语需要基于相应的术语的实质上的含义和在本说明书中公开的整个内容解释，而不是认为是术语的简单名称。
表示3维图像的方法可以包括考虑两个视点的立体技术，和考虑超过3个视点的多视图图像技术(或者多视图技术)。相比较地，常规的单视图图像技术可以被称作单视觉图像技术。
立体技术使用通过以彼此远离某个距离的左照相机和右照相机拍摄相同的对象获得的一对图像，即，左视图像(在下文中，左图像)和右视图像(在下文中，右图像)。或者，立体技术使用基础图像和附加图像的一对图像。多视图技术使用通过以具有某个距离和角度的3个以上的照相机拍摄获得的3个以上的图像。多视图技术对应于在每个视点中提供立体技术的左/右图像的技术。
按照本发明，立体技术包括并排、上下、棋盘技术等等。并排技术是通过分别在左图像和右图像的每个上水平地执行一半下采样，和在左侧区域中设置一个采样的图像，和在右侧区域中设置另一个采样的图像配置一个立体图像的技术。上下技术是通过分别在左图像和右图像的每个上垂直地执行一半下采样，和在上区域中设置一个采样的图像，和在下区域中设置另一个采样的图像配置一个立体图像的技术。棋盘技术是通过以左图像和右图像分别地水平和垂直地相交的方式执行一半下采样配置一个图像的技术。但是，按照本发明的立体技术可以不受前面提到的示例限制。
作为一个例子，能够无需经过前面提到的下采样过程，以收发具有完整分辨率的两个图像的方式提供3D图像服务。在这种情况下，可以分开地配置分别发送左图像和右图像的传输流。尤其是，一个特定的传输流发送左图像，并且另一个传输流可以发送右图像。在这种情况下，传输流的每个可以作为用于2D图像服务的流使用。
图1是按照本发明的一个实施例，用于显示多视图3D图像方法的示意图。
参考图1，两个或更多个视点的3D图像可以经由单个显示板提供。
图1示出提供3个视点的3D图像的方案。立体3D图像可以在每个视点中提供。在这种情况下，包括在每个立体3D图像中的视频元素流可以在彼此不同的3D图像中共同使用。例如，元素流1(ES1)在3D视图ID对应于0的3D图像中用作右图像(右视图)，并且在3D视图ID对应于1的3D图像中可以用作左图像(左视图)。元素流2(ES2)在3D视图ID对应于1的3D图像中用作右图像(右视图)，并且在3D视图ID对应于2的3D图像中可以用作左图像(左视图)。
图2是按照本发明的一个实施例，用于边缘违反的示意图。
图2对应于示出由观看3D图像的观众识别的图像的每个部分的相对深度的俯视图。位于中心的圆圈形式的对象被认为是离用户最近的，并且左侧和右侧的矩形被排列在圆圈形式的对象后面。由于位于左侧和右侧的矩形具有负视差，所以该矩形被认为是基于屏幕放置地接近用户的对象。
但是，同时，由于矩形位置在屏幕的两端边缘处，所以用户可能将其识别为由对应于屏幕的边缘部分的框阻挡矩形的一部分。因此，用户识别为基于该屏幕左侧和右侧的矩形位于用户的接近位置，并且由于矩形由屏幕的框阻挡，用户也可能识别为该矩形位于屏幕的后面。因此，用户可能在深度方面感觉混乱。
与2D图像不同，当观看3D立体图像的时候，视角是用于显示效果的重要部分。例如，当几个人并排就座观看TV的时候，在2DTV的情况下，所有人可以观看类似水平的图像。但是，在3DTV的情况下，由于3DTV的悦目点是有限的，所以3D图像的质量可能按照观看3D图像的人的角度/位置变化。因此，在使用按照观看位置显示每个3D图像的多视图图像显示设备的情况下，每个观众可以能够观看3D图像，同时感觉较好的3D效果。
由于多视图图像3D服务示出按照每个位置彼此不同的视点的屏幕，所以3D效果、边缘违反现象等等在每个3D图像中具有不同的方面。因此，为了消除或者减轻边缘违反现象，应按照每个3D图像发送单独的参数。尤其是，两种方法可用于处理边缘违反。首先，立体3DTV经由广播信号将接收端需要的相关参数发送给接收端以处理边缘违反。其次，发送端可以将其边缘违反被预先处理的立体流发送给接收端。但是，在多视图3DTV广播中，由于处理或者减轻边缘违反的方法按照单个流包括于其中的视点的立体3D图像变化，所以很难适用发送其边缘违反由发送端预先消除或者减轻的立体流的方法。因此，必须具有允许接收端按照每个视点适当地接收和处理参数的广播信令。
在这种情况下，考虑3D图像可以对应于直接发送的流，或者由接收端合成的3D图像。当图像被合成的时候，如果作为输入的原始图像导致边缘违反，则基于原始图像产生的新3D图像也可能导致边缘违反。因此，如果用于补充边缘违反的信息按照合成的3D图像被发送，则当观众观看多视图3DTV的时候，可能减少失真或者不便。
因此，本发明提出在提供多视图3D图像的3DTV中实现多视图3D视频广播服务的接收机或者发射机的方法。并且，本发明提出使用信令信息操作和实现3DTV控制多视图3D视频输出的方法。
图3是按照本发明的一个实施例，用于处理边缘违反方法的示意图。
作为处理边缘违反的方法之一，可以能够使用发送端处理图像的HIT(水平图像转换)技术。按照HIT技术，为了防止失真现象出现在一对L、R立体图像的边缘侧，发送端执行图像的移位和绘条(bar)(剪切)处理，并且发送3D图像。
在不考虑多视图的情况下，以从发送端适用的方式发送移位和绘条处理的情形是可能的。但是，在多视图3DTV的情况下，由于要适用的移位和绘条可以按照每个视点变化，所以发送端可能难以预期移位和绘条并且发送3D图像。
图3(a)示出在水平方向移动和处理包括在3D图像中的左图像和右图像的方法。
参考图3(a)，边缘违反处理器在向左水平方向移动包括在3D图像中的左图像，并在向右水平方向移动右图像。在这种情况下，在水平方向的移动距离可以按照导致边缘违反的对象的显示大小确定。尤其是，左和右图像在水平方向被移动以便在屏幕中不显示该对象。
在左和右图像中，边缘违反处理器利用条填充由在水平方向移动产生的空的区域，并且剪切偏离由在水平方向移动产生的帧大小的区域。
如果3D图像使用由前面提到的处理产生的左和右图像产生，则可以能够消除或者减轻边缘违反。尤其是，预期导致边缘违反的区域被剪切，并且对应于左图像或者右图像的图像可以在边缘区域中显示。
图3(b)示出在水平方向移动和处理包括在3D图像中的左图像和右图像的方法。
参考图3(b)，边缘违反处理器将右图像的原始图像按照原样保持，并且仅仅在向左水平方向移动左图像。在向左水平方向移动的左图像之中，偏离帧区域的区域被剪切，并且剩余的左图像与右图像组合。通过这样做，可以配置3D图像。
图4是按照本发明的不同的实施例，用于处理边缘违反方法的示意图。
在多视图TV中，新的随机视点的3D图像可以基于接收的视频数据流产生(或者合成)。在这种情况下，如果边缘违反存在于用于合成3D图像的一对左/右图像中，则边缘违反也可能存在于合成的结果图像中。在这种情况下，可以存在能够消除、减轻或者防止边缘违反存在于重新合成的3D图像中的各种方法。
按照本发明的一个实施例，第一个方法是示意对于多个3D图像的边缘违反区域。(对于各种视图的边缘违反区域的示意)
按照第一个方法，可以能够对于所有合成的3D图像以诸如3D_edge_handling_infor()这样的形式示意信息。尤其是，对于许多视点的3D图像，如果产生有关在其中出现边缘违反的区域的信令信息，并且该信息被发送，则当接收机合成3D图像的时候，参考有关相应的视点的边缘违反区域的信息，接收机可以能够减少或者减轻边缘违反。在这种情况下，产生的信令信息可以经由广播信号和/或因特网信号传送给接收机。用于补充、消除或者减轻边缘违反的信息将称作边缘处理信息、边缘处理数据或者边缘信息。
按照本发明不同的实施例的第二个方法将提供用于边缘违反区域检测器(EVAD)函数的信令信息。(用于边缘违反区域检测器(EVAD)函数的信令信息)。
按照第二个方法，与有关左/右图像的照相机位置的信息对应的输入和输出可以示意与边缘处理要适用于的像素间隔值对应的边缘违反区域检测器(EVAD)函数。尤其是，第二个方法对应于示意函数类型和能够扣除LL_edge_violation_width和RR_edge_violation_width(或者LL_edge_pixel_width和RR_edge_pixel_width)的相关的系数的方法。例如，如果该方法示意相关的信息的值对应于线性地增长/减小形式，则能够经由函数类型对应于线性函数的点、起点值、终点值等等限定函数。在不同类型的函数的情况下，可以能够示意附加的相关的系数。
按照本发明的不同的实施例的第三个方法检测边缘违反而无需信令信息。(无需信令信息实现边缘违反检测)
按照第三个方法，当用于消除、减轻或者处理边缘违反的信息没有分别地示意的时候，接收端本身可以检测和处理边缘违反区域。在这种情况下，对于通过合成图像(视图合成)产生的虚拟的图像(虚拟的视图)，能够在产生虚拟的图像的过程中，经由在像素之间的映射信息扣除在其中出现边缘违反的区域。当接收端无需合成图像(视图合成)按照原样输出接收的视频数据流的时候，能够经由诸如在接收端中处理的左图像和右图像之间特征匹配这样的单独的过程，扣除在其中出现边缘违反的区域。作为特征匹配的一个例子，接收机分别地检测包括在左图像和右图像中的对象或者像素。并且，接收机可以检测存在于左图像中而不存在于右图像中的对象或者像素，或者存在于右图像中而不存在于左图像中的对象或者像素。接收机可以检测存在于或者左图像或者右图像中的对象或者像素的区域为其中边缘违反出现的区域。
参考图4，接收端可以包括边缘违反区域检测器和/或边缘违反处理器。
边缘违反区域检测器检测在对于特定的视点合成的3D图像的左图像和右图像中边缘违反出现的区域。在这种情况下，在前面提到的方法之中的一个或多个方法可用于检测边缘违反出现其中的区域。
如果有关在3D图像中出现的边缘违反的信息按照第一个方法为每个视点提供，则边缘违反处理器使用该信息消除、减轻或者处理边缘违反。或者，边缘违反处理器接收有关由边缘违反区域检测器检测的边缘违反区域的信息，并且然后可以能够使用该信息消除、减轻或者处理边缘违反。
图5是按照本发明的一个实施例，用于经由SEI(辅助的增强信息)消息示意3D_view_processing_info结构的表。
如果与边缘违反相关的信息以视频级别被发送，则可以能够按照每个帧或者场景应对边缘违反区域变化。
在H.264(或者AVC)视频的情况下，有关边缘违反的信息可以发送给包括配置为帮助诸如解码、输出等等这样的过程的信息的SEI(辅助的增强信息)区域。按照本发明，可以能够指定进入视频级别的SEI消息以发送边缘违反信息。图5对应于用于指定SEI消息信令3D_view_processing_info情形的实施例。作为一个实施例，如果有效载荷类型字段的值对应于“50”，则该字段可以表示发送3D_view_processing_info的SEI消息。
边缘违反信息或者3D边缘处理信息对应于用于消除、减轻或者处理在多视图3D图像的每个视点的图像中出现的边缘违反的信息。边缘违反信息或者3D边缘处理信息包括3D_view_processing_info。
图6是按照本发明的一个实施例，用于3D_view_processing_info语法的表。
为了处理其中出现边缘违反的部分，可以能够使用前面提到的移位和绘条方法。或者，可以使用绘制条而无需移位(浮动窗口)的方法、经由剪切和部分缩放而无需绘制条的处理边缘违反的方法等等。由于适用于每个处理方法的参数彼此不同，所以必须拥有发送边缘违反处理数据或者边缘违反信息以示意适用于每个处理方法参数的方法。边缘处理相关的数据可以作为用于视频内容的元数据给出。
按照本发明的一个实施例，3D图像处理信息(3D_view_processing_infor)包括3D_view_processing_info_id字段、3D_view_processing_update_flag字段、num_3D_views字段、3D_view_ID字段、3D_view_priority字段、synthesized_L-flag字段、synthesized_R-flag字段、Left_view_ID字段、L_camera_parameter_exist_flag字段、L_cam_baseline_distance字段、right_view_ID字段、R_camera_parameter_exist_flag字段、R_cam_baseline_distance字段、3D_edge_handling_info()元素，和/或3D_EVAD_function_info()元素。
3D_view_processing_info_id字段对应于唯一地识别3D图像处理信息的信息。
3D_view_processing_update_flag字段对应于表示是否当前发送的3D图像处理信息与先前接收的信息相同，或者是否当前发送的3D图像处理信息需要被新更新的字段。如果当前发送的3D图像处理信息需要更新，则3D_view_processing_update_flag字段被设置为“1”。如果当前发送的3D图像处理信息与先前接收的信息相同，则3D_view_processing_update_flag字段被设置为“0”。
num_3D_views字段对应于表示示意包括在当前节目中的3D图像(一对左图像和右图像)的虚拟的3D图像的数目、频道或者服务的字段。
3D_view_ID字段对应于表示能够识别每个3D图像值的字段。
3D_view_priority字段对应于表示3D图像的优先级的字段。
synthesized_L标记字段或者synthesized_R-flag字段对应于表示是否构成3D图像的左图像或者右图像对应于通过接收机合成的图像或者实际地发送的图像的字段。如果synthesized_X-flag字段的值对应于“0”，则表示相应的视图是实际地发送的视频图像。如果synthesized_X-flag字段的值对应于“1”，则表示相应的视图是由接收机合成的虚拟的图像。
Left_view_ID字段或者right_view_ID字段对应于当构成3D图像的左图像和/或右图像被实际地发送时候，表示包括在3D图像的左图像或者右图像中的视频数据流的标识符。在一些情况下，标识符的值可以以左图像视频或者右图像视频的PID值替换。
L_camera_parameter_exist_flag字段或者R_camera_parameter_exist_flag字段对应于是否存在用于图像的照相机参数值(为执行视图合成所必需的参数)的字段。例如，在MVC编解码器的情况下，由于照相机参数经由Multiview_acquisition_info SEI消息被发送，并且照相机参数按照每个视图ID存在，所以L_camera_parameter_exist_flag字段或者R_camera_parameter_exist_flag字段表示是否SEI消息被分别地发送。代替发送camera_parameter_exist_flag，可以发送相应的照相机参数集的ID值本身。在这种情况下，由Multiview_acquisition_info SEI消息示意的固有的照相机参数可以按照每个图像存在。或者，可以存在用于所有图像的公用参数集。在非固有的照相机参数的情况下，按照每个图像存在单独的参数集。因此，可以能够以照相机参数被分成固有照相机参数和非固有的照相机参数的方式发送标识符。
对于视图合成，必须不仅示意照相机参数，而且示意是否存在与视频视图相同的视点的深度图。为此，可以能够配置为示意诸如L_depth_map_exist_flag字段和/或R_depth_map_exist_flag字段等等这样的字段。L_depth_map_exist_flag字段或者R_depth_map_exist_flag字段对应于表示是否存在用于左图像或者右图像的深度图的字段。
L_cam_baseline_distance字段或者R_cam_baseline_distance字段对应于表示左虚拟的图像或者右虚拟的图像的视点信息的字段。这个字段对应于在处理视图合成的过程中作为输入值输入的值。由于照相机参数或者照相机参数的部分信息按照视图合成方法有必要作为输入值，所以这个字段可以被配置为按照该方法发送相关的信息。L_cam_baseline_distance字段或者R_cam_baseline_distance字段可以对应于表示捕捉虚拟图像的虚拟照相机的位置的信息。例如，L_cam_baseline_distance字段或者R_cam_baseline_distance字段可以表示在基线上虚拟左图像捕捉照相机或者虚拟右图像捕捉照相机的相对位置。
前面提到的字段或者信息可以用于由接收机使用以合成新视点的虚拟3D图像(虚拟的左图像和虚拟的右图像)的信息。
3D_edge_handling_info()元素和3D_EVAD_function_info()元素在下面描述。
图7是按照本发明的一个实施例，用于3D_edge_handling_info()元素语法的表。
边缘处理相关的数据可以作为用于视频内容的元数据给出。如图7所示，边缘处理相关的数据可以经由3D_edge_handling_info()元素发送。在这种情况下，为了处理其中出现边缘违反的部分，可以能够使用前面提到的移位和绘条方法。或者，可以使用绘制条而无需移位(浮动窗口)的方法、经由剪切和部分缩放而无需绘制条的处理边缘违反的方法等等。由于适用于每个处理方法的参数彼此不同，必须拥有发送边缘违反处理数据或者边缘违反信息以示意适用于每个处理方法参数的方法。
如在先前的描述中提及的，防止不匹配失真，即，边缘违反出现在左视图和右视图中的方法包括在对3D内容预先执行后处理之后发送3D内容的方法、发送推荐的边缘处理技术(浮动窗户/垂直边缘处置/HIT参数)的参数的方法、发送推荐的垂直边缘处置参数等等的方法。可以能够按照情形将不同的方法适用于每个边缘。应用方法可以按照帧变化。
在这种情况下，可以按照3D图像的边缘分别地使edge_violation_flag表示是否窗口违反出现。例如，如果edge_violation_flag的值对应于“00”，则可以表示边缘违反在3D图像的左边缘和右边缘两者中不出现。如果edge_violation_flag的值对应于“01”，则可以表示边缘违反仅仅出现在3D图像的右边缘中。如果edge_violation_flag的值对应于“10”，则可以表示边缘违反仅仅出现在3D图像的左边缘中。如果edge_violation_flag和值对应于“11”，则可以表示边缘违反出现在3D图像的左边缘和右边缘两者中。如果edge_violation_flag被示意，则接收机可以确定是否对3D图像执行后处理。edge_violation_flag可以包括在3D_view_processing_info或者3D_edge_handling_info()元素中。
3D_edge_handling_info()元素包括3D_edge_handling_update_flag字段、LL_edge_pixel_width字段、RR_edge_pixel_width字段、L_handling_type字段、R_handling_type字段、LL_stretch_start_pixel字段、LL_stretch_width_pixel字段、LL_stretch_parameter()元素、RR_stretch_start_pixel字段、RR_stretch_width_pixel字段、RR_stretch_parameter()元素，和/或EH_min_disparity字段。
3D_edge_handling_update_flag字段对应于表示是否当前发送的3D边缘处理信息与先前接收的信息相同，或者是否当前发送的3D边缘处理信息需要新更新的字段。如果当前发送的3D边缘处理信息需要更新，则3D_edge_handling_update_flag字段被设置为“1”。如果当前发送的3D边缘处理信息与先前接收的信息相同，则3D_edge_handling_update_flag字段被设置为“0”。
LL_edge_pixel_width字段和RR_edge_pixel_width字段分别地表示存在于左图像的左边缘中的边缘违反区域的像素数目，和存在于右图像的右边缘中的边缘违反区域的像素数目。如果LL_edge_pixel_width字段的值对应于“0”，则表示边缘违反不出现在左图像的左边缘中。在这种情况下，edge_violation_flag字段可以分别地存在以按照3D图像的边缘表示是否窗口违反出现。
L_handling_type字段和R_handling_type字段分别地指定适用于左图像或者右图像的处理边缘违反的方法。例如，如果字段的值对应于“00”，则可以表示预处理(预先处理)的状态，即，边缘违反由发送端预先处理的状态。如果字段的值对应于“01”，则可以表示条(浮动窗户)推荐的状态，即，推荐以条填充边缘违反出现的区域方法的状态。如果字段的值对应于“10”，则可以表示剪切和拉伸(垂直边缘处置)推荐的状态，即，推荐使用剪切和拉伸处理边缘违反方法的状态。如果字段的值对应于“11”，则可以表示移动和绘条(HIT)推荐的状态，即，推荐移动图像与边缘出现的区域一样多，剪切偏离帧的部分，和以条填充帧的剩余部分方法的状态。
当L_handling_type字段的值和R_handling_type字段的值对应于“10”的时候，适用LL_stretch_start_pixel字段和RR_stretch_start_pixel字段。LL_stretch_start_pixel字段和RR_stretch_start_pixel字段分别地表示基于左图像的左边缘或者右图像的右边缘开始拉伸的区域。
当L_handling_type字段的值和/或R_handling_type字段的值对应于“10”的时候，适用LL_stretch_width_pixel字段和RR_stretch_width_pixel字段。LL_stretch_width_pixel字段和RR_stretch_width_pixel字段分别地表示基于拉伸开始的区域拉伸的区域的宽度。
当L_handling_type字段的值和/或R_handling_type字段的值对应于“10”的时候，适用LL_stretch_parameter()元素和RR_stretch_parameter()元素。LL_stretch_parameter()元素和RR_stretch_parameter()元素可以包括在使用剪切和拉伸的情况下用于拉伸的参数。
EH_min_disparity字段表示在对边缘违反执行后处理之后的最小视差值。如果出现在屏幕的前侧的边缘违反被阻挡，则最小视差值可以按照阻挡的边缘违反变化。因此，当接收机在对其执行边缘处理过程的立体图像上弹出在屏显示(OSD)的时候，接收机可以考虑到最小视差值确定OSD的显示深度。为了通知总的视差范围，可以具有与EH_min_disparity字段一起发送EH_max_disparity字段的情形。有时候，也可以能够配置要发送的原始图像的视差范围。或者，可以具有诸如disparity_range_change_flag字段这样的单独的字段，以示意是否显示范围(最小和最大视差值)在适用边缘处理之后变化。
在这种情况下，当3D图像的对象位于左图像和右图像的时候，视差对应于位于左图像和右图像的对象的水平距离的差。由观众感知的对象的深度可以按照视差的值变化。
图8是按照本发明的一个实施例，用于3D边缘违反区域检测器函数信息(3D_EVAD_function_info())元素的表。
如果构成3D图像的左图像和右图像两者对应于实际发送的视频，则接收端可以能够基于3D图像产生新的虚拟的3D图像。在这种情况下，虽然存在于接收的左图像和右图像中的边缘违反区域可以经由前面提到的3D边缘处理信息等等而被知道，但是很难知道由接收端仅仅使用前面提到的方法的内容随机地选择的视点的虚拟的左图像和虚拟的右图像的边缘违反区域。因此，对于接收端来说有必要具有扣除按照虚拟的3D图像的照相机视图(照相机捕捉位置)产生的左图像和右图像的每个边缘违反区域的方法。
按照本发明，3D边缘违反区域检测(3D EVAD)函数对应于能够基于接收的左图像和右图像的照相机参数信息、附加信息(左图像和右图像的深度信息等等)，和有关用于视图合成的左图像和右图像的每个边缘违反区域的信息，在随机照相机视点中扣除边缘违反区域像素值的函数。例如，当照相机被以1D并行的形式排列的时候，可能存在在用于在位于照相机排列的基线上的随机视点中扣除边缘违反区域信息的函数。在这种情况下，照相机的视图位置可以由基线距离的形式表示。该函数接收作为输入值的照相机的基线距离值，并且输出视点的边缘违反区域信息。该基线距离可以变为表示在基线上照相机位置的值。
图8示出对于照相机位置值基于左图像照相机和右图像照相机的中心被标准化情形的3D EVAD函数。尤其是，如果L_cam_position(或者R_cam_position)对应于1，并且变为在两个照相机之间的中心点的照相机位置对应于0，则可以能够示意指定照相机位置的值提高0为1作为输入值，并且指定在左图像的左边缘(或者右图像的右边缘)中边缘违反区域的像素数目作为输出值的函数。在这种情况下，L_cam_position对应于表示捕捉左图像的照相机位置的值，并且R_cam_position对应于表示捕捉右图像的照相机位置的值。L_cam_position字段和R_cam_position字段可以包括在3D_EVAD_function_info()元素中。或者，L_cam_position字段和R_cam_position字段可以分别地对应于前面提到的L_cam_baseline_distance字段和R_cam_baseline_distance字段。
3D_EVAD_function_info()元素包括LL_function_type字段、RR_function_type字段、LL_coefficient字段，和/或RR_coefficient字段。
LL_function_type字段和RR_function_type字段对应于表示3D EVAD函数类型的字段。可以存在各种类型的函数。作为一个实施例，如果该字段的值对应于“1”，则可以能够表示“线性函数”。
LL_coefficient字段和RR_coefficient字段对应于表示前面提到的函数系数的字段。如果XX_function_type对应于“线性函数”，函数可以定义如下。
{表示XX_edge的边缘违反区域的像素数目＝XX_coefficient*X_cam_position+XX_edge_pixel_width}
如在先前的描述中提及的，由于边缘违反信息很可能按照每个帧变化，所以视频级别信令是适宜的。但是，有时候，可以按照场景、事件和节目/频道/服务适用相同的边缘违反处理信息。如果存在由发送端推荐的边缘违反处理方法，则由视频级别信令示意的信息可以以事件或者系统为单元发送。尤其是，事件单元的信息可以以对诸如ATSC PSIP或者DVB SI的EIT这样能够发送事件单元的信息的表赋予新的描述符的方式发送。或者，节目/频道/服务单元的信息可以以对诸如PMT、VCT、SDT等等这样能够发送系统级别信息的表赋予新的描述符的方式发送。前面提到的字段或者元素的信息可以包括在该描述符中。
在按照场景发送边缘违反处理信息的情况下，场景的间隔信息(每个场景的开始时间和结束时间)可以另外发送给系统级别的描述符。或者，边缘违反处理信息可以通过按照时间在间隔单元中构成边缘违反处理信息，以专用流形式发送。在这种情况下，必须具有互相同步视频信号和边缘违反处理信息流的过程。3D图像的边缘违反可以通过同步处理。
图9是按照本发明的一个实施例，用于示意边缘处理信息情形的示意图。
参考图9(a)，3D广播系统提供3个视点的3D图像(3D视图0、3D视图1和3D视图2)。3D视图0的3D图像包括视频0和视频1。3D视图1的3D图像包括视频1和视频2。3D视图2的3D图像包括视频2和视频3。发送端可以经由前面提到的信令方法提供每个视点的边缘处理信息。并且，有关能够由接收机合成的不同视点的3D图像的边缘处理信息也可以一起示意。
参考图9(b)，3D视图0的3D图像可以包括视频0和视频1。发送端可以示意有关捕捉视频0的照相机位置的信息、有关捕捉视频1的照相机位置的信息、有关视频0的边缘违反区域宽度的信息，和有关视频1的边缘违反区域宽度的信息。例如，诸如L、R照相机位置(0，1)，边缘违反宽度像素：(LL，RR)＝(24，8)这样的信息可以示意用于3D视图0的3D图像。L、R照相机位置(0，1)对应于表示捕捉左图像的照相机位于在基线的参考点，和捕捉右图像的照相机远离基线“1”这么多的信息。边缘违反宽度像素：(LL，RR)＝(24，8)对应于表示边缘违反出现在左图像的左边缘中的24个像素宽度的区域，和边缘违反出现在右图像的右边缘中的8个像素宽度的区域中的信息。
3D视图1的3D图像可以包括视频1和视频2。发送端可以示意有关捕捉视频1的照相机位置的信息、有关捕捉视频2的照相机位置的信息、有关视频1的边缘违反区域宽度的信息，和有关视频2的边缘违反区域宽度的信息。例如，诸如L、R照相机位置(1，2)，边缘违反宽度像素：(LL，RR)＝(3，36)这样的信息可以示意用于3D视图1的3D图像。L、R照相机位置(1，2)对应于表示捕捉左图像的照相机远离基线的参考点“1”这么多，和捕捉右图像的照相机远离基线“2”这么多的信息。边缘违反宽度像素：(LL，RR)＝(3，36)对应于表示边缘违反出现在左图像的左边缘中的3个像素宽度的区域，和边缘违反出现在右图像的右边缘中的36个像素宽度的区域中的信息。
发送端可以示意用于能够由接收端合成的不同的视点的3D图像的边缘处理信息。合成的3D视图X的3D图像可以包括合成的视频0.5和合成的视频1.5。合成的视频0.5和合成的视频1.5对应于由接收端使用由接收端接收的视频数据新产生的视频数据。尤其是，合成的视频0.5和合成的视频1.5对应于由接收端合成的视频数据以提供新的视点的3D图像。发送端可以示意有关预期捕捉视频0.5的虚拟的照相机位置的信息、有关预期捕捉视频1.5的虚拟的照相机位置的信息、有关预期在其中出现边缘违反的视频0.5的边缘违反区域宽度的信息，和有关预期在其中出现边缘违反的视频1.5的边缘违反区域宽度的信息。例如，发送端可以示意诸如L、R照相机位置(0.5，1.5)边缘违反宽度像素：(LL，RR)＝(10，25)这样的信息。L、R照相机位置(0.5，1.5)对应于表示捕捉左图像的虚拟的照相机远离基线的参考点“0.5”这么多，和捕捉右图像的虚拟的照相机远离基线“1.5”这么多的信息。边缘违反宽度像素：(LL，RR)＝(10，25)对应于表示边缘违反出现在左图像的左边缘中的10个像素宽度的区域，和边缘违反出现在右图像的右边缘中的25个像素宽度的区域中的信息。尤其是，发送端可以示意有关按照虚拟的照相机的位置预期在其中出现边缘违反的左图像和右图像的边缘违反区域的信息。
图10是按照本发明的一个实施例，用于示意允许接收端去扣除有关虚拟的3D图像的边缘处理信息的相关的函数情形的示意图。
如在先前的描述中提及的，接收机可以扣除在多视图TV中合成的3D图像的边缘违反区域信息(边缘处理信息)。该接收机可以使用3D视图0的左图像(视频0)和右图像(视频2)以及相关信息(L_cam_position，LL_edge_pixel_width，R_cam_position和RR_edge_pixel_width)作为输入值，扣除合成的3D视图0的边缘违反像素宽度和合成的3D视图1的边缘违反像素宽度。在这种情况下，可以能够使用示意的LL_function_type、LL_coefficient、RR_function_type和RR_coefficient值。有关示意的参数或者字段的解释以在先前的描述中早先提及的内容替换。
按照在图9中早先提及的方法，由于边缘违反像素宽度值本身按照每个合成的3D图像被发送，因此，在一些情况下可能不知道有关包括随机照相机位置的合成的3D视图的边缘违反像素宽度的信息。在这种情况下，可以能够仅仅知道有关特定的照相机位置的3D图像的边缘处理信息。相反地，如图10所示，如果相关的函数被示意以允许接收端扣除有关虚拟的3D图像的边缘处理信息，则由于能够扣除边缘违反像素宽度的函数按照每个间隔被示意，所以可以能够扣除有关在一个间隔内存在的所有3D图像对的边缘处理信息。
图11是按照本发明的一个实施例，用于接收机本身执行边缘违反处理而无需单独的信令的公式的示意图。
当接收端互相合成图像(视图合成)的时候，由于接收端经历将图像的每个像素映射到新视点的图像的过程，所以接收端可以能够知道对应于新视点的每个像素的传统图像的像素。通过这样做，接收端可以提取有关新合成的3D图像对(左图像和右图像)的边缘违反区域的信息。
尤其是，虽然位于3D图像的左边缘的边缘违反区域不存在于右图像中，但是边缘违反区域可以对应于仅仅存在于左图像中的区域或者对象(公式1-1，2-1)。虽然位于3D图像的右边缘的边缘违反区域不存在于左图像中，但是边缘违反区域可以对应于仅仅存在于右图像中的区域或者对象(公式1-1，2-2)。代替新合成的图像，接收的3D图像的边缘违反信息还可以经由诸如特征匹配等等这样的技术扣除边缘违反区域。(公式1-1，2-2)
尤其是，参考(公式1-1)，如果存在于左图像(V1)中的像素(p)不存在于右图像(V2)中，则可以确定为像素位于左边缘违反区域中。
参考(公式1-2)，如果不存在于左图像(V1)中的像素(p)存在于右图像(V2)中，则可以确定为像素位于右边缘违反区域中。
参考(公式2-1)，如果存在于左图像(V1)中的像素(p)不存在于合成的右图像(S12)中，则可以确定为像素位于合成的3D图像的左边缘违反区域中。
参考(公式2-2)，如果不存在于左图像(V1)中的像素(p)存在于合成的右图像(S12)中，则可以确定为像素位于合成的3D图像的右边缘违反区域中。
接收机使用前面提到的技术确定是否每个像素存在于边缘违反区域中，并且然后可以能够借助于最后接收的3D图像(或者合成的3D图像)确定边缘违反出现其中的区域。
图12是按照本发明的一个实施例，用于无执行由接收机本身执行的边缘违反处理而需单独的信令的情形的示意图。
V1和V2分别地对应于接收的立体3D图像的左图像和右图像。V1和S12分别地对应于新合成的立体3D图像的左图像和右图像。S12对应于基于V1和V2合成的图像。V1与接收的图像相同。在这种情况下，该图的阴影部分表示边缘违反已经在其中出现的区域。
例如，当适用在图11中先前提及的技术的时候，如果确定垂直排列在帧中像素的至少一个包括在边缘违反区域中，则能够配置接收机确定为所有垂直排列排的像素包括在边缘违反区域中。
图13是按照本发明的一个实施例，用于多视图3D图像接收机的示意图。
按照本发明的一个实施例，3D图像接收机包括调谐器和解调器13010、VSB解码器13020、TP多路分解器13030、深度解码器13040/13042/13044、视频解码器13050/13052/13054、3D虚拟视图合成13060、虚拟视图处理器13070/13072、视频选择器13080、3D边缘处理和视图处理13090、PSI/PSIP/SI处理器13100、3D视图信息处理13110和/或输出格式器13120。
调谐器和解调器13010接收广播信号。调谐器和解调器13010解调广播信号。
VSB解码器13020按照调制方案执行解调。VSB解码器13020解调由VSB方案调制的信号、由OFDM方案等等调制的信号。VSB解码器13020可以包括在调谐器和解调器中，或者可以单独地存在。
TP多路分解器13030从广播信号中提取传输流或者传输流分组。
深度解码器13040/13042/13044解码包括在广播信号中的深度相关的信息。深度相关的信息可以以诸如广播分组、传输分组、数据段、视频头部和视频存取单元头部这样的形式发送。每个深度解码器解码有关包括在每个3D图像中每个图像的深度信息。
视频解码器13050/13052/13054解码包括在广播信号中的每个视频图像。视频解码器解码包括在3D图像中的每个图像。例如，视频解码器可以包括解码基础图像(左图像和右图像)的基础图像视频解码器13050，和/或解码附加图像(如果基础图像对应于左图像，则为右图像，如果基础图像对应于右图像，则为左图像)的附加图像视频解码器13052/13054。附加图像包括用于产生参考视点的3D图像的视频图像，和/或用于产生附加视点的3D图像的视频图像。
3D虚拟的视图合成13060使用解码的基础图像和/或附加图像产生虚拟的图像。3D虚拟的视图合成13060可以产生包括在不同于经由广播信号发送的视点的视点的3D图像中的视频图像。3D虚拟视图合成13060在产生视频图像的过程中可以使用包括在PSI、PSIP或者DVB-SI中的信令信息。3D虚拟视图合成13060在产生视频图像的过程中可以使用由3D视图信息处理13110获得的信息。
虚拟视图处理器13070/13072相互分解合成的虚拟的图像，并且处理该图像。虚拟视图处理器13070/13072识别包括在每个视点的3D图像中的合成的虚拟的图像。
视频选择器13080选择要在多视图显示器的每个3D视点单元中输出的2个视频图像(视频数据流)。包括在每个视点的3D图像中的视频图像或者视频数据流可以变为解码的(即，包括在广播信号中的)视频图像，或者合成的虚拟视频图像。
3D边缘处理和视图处理13090使用在先前的描述中提及的一个或多个方案，处理能够在每个视点的3D图像中出现的边缘违反。对处理边缘违反方法的详细解释以如上所述的内容替换。3D边缘处理和视图处理13090在执行边缘处理的过程中可以使用用于产生边缘处理信息的边缘处理信息或者函数信息。如果边缘处理相关的信息没有由发送端示意，则3D边缘处理和视图处理13090通过互相比较视频图像，提取边缘违反区域，并且然后可以能够对提取的边缘违反区域执行边缘处理。
PSI/PSIP/SI处理器13100解析包括在广播信号中的信令信息。信令信息包括诸如PSI、PSIP、DVB-SI等等这样的信息。PSI、PSIP和DVB-SI包括节目图表(PMT)、虚拟的频道表(VCT)、事件信息表(EIT)或者服务描述表(SDT)。
3D视图信息处理13110获得视频级别的SEI消息、经由DVB-SI级别的描述符发送的PSI、PSIP或者3D图像相关的信息。在这种情况下，3D图像相关的信息可以包括深度图信息、照相机参数、边缘处理信息、用于产生边缘处理信息的功能信息、3D图像处理信息和/或前面提到的信息等等。
输出格式器13120格式化在其上以输出形式执行边缘处理的每个视点的3D图像，并且显示3D图像。
如在先前的描述中提及的，本发明提出通过按照在多视图3DTV中的每个3D图像，将边缘处理方法适用于在其中出现边缘违反的视点，组织和利用为产生提供适宜的深度的环境所必需的各种变量和数据的方法。
在本发明，在观看多视图3D图像的情况下，能够处理在每个视点中的边缘违反。
按照本发明，能够对没有由发送端发送的视点的3D图像执行边缘处理。
按照本发明，虽然为执行边缘处理所必需的信息(边缘违反信息)不由发送端提供，接收机也可以执行边缘处理。
按照本发明的方法可以以能够经由各种计算机装置执行的程序命令的形式实现，并且可以记录在由计算机可读的介质中。
由计算机可读的介质可以包括独立地或者其组合的程序命令、数据文件、数据结构等等。记录在介质中的程序命令可以对应于对于本发明特别地设计和配置的程序命令，或者为本领域技术人员公开已知的可使用的计算机软件。由计算机可读的记录介质的示例可以包括特别配置为存储和执行程序命令的硬盘、软盘、磁性介质，诸如磁带、光学介质，诸如CD-ROM和DVD，磁光盘介质，诸如磁光盘、ROM、RAM、闪存等等。程序命令的示例不仅包括由编译器产生的机器语言码，而且包括由计算机使用翻译器等等可执行的高级语言代码。前面提到的硬件设备可以被配置为由一个或多个软件模块工作以执行本发明的操作，反之亦然。
虽然已经在此处参考其优选实施例描述和举例说明了本发明，但可以不局限于前面提到的特定的实施例，并且对于本领域技术人员来说显而易见，不脱离本发明的精神和范围，可以在其中进行各种各改进和变化。因此，意图是本发明的技术想法和预期覆盖本发明的改进和变化。
本发明的模式
如在先前的描述中提及的，与本发明相关的事项已经在具体实施方式中描述。
工业实用性
本发明可以整体或者部分地在数字广播工业领域中使用。

Claims (12)

1.一种接收多视图3D图像广播信号的方法，其处理在多视图3D图像中的边缘违反，包括步骤：
接收用于多视图3D图像广播的广播信号；
从接收的广播信号中解码包含在第一视点的3D图像中的第一左图像数据和第一右图像数据；
从接收的广播信号中解析用于处理多视图3D图像中的边缘违反的3D图像处理信息；
使用所述第一左图像数据、所述第一右图像数据和所述3D图像处理信息，产生在第二视点的3D图像中包含的第二左图像数据和第二右图像数据之中的至少一个或多个数据；
解析用于描述被用于获取边缘违反区域的像素值的函数的3D边缘违反区域检测函数信息，所述3D边缘违反区域检测函数信息包含在所述3D图像处理信息中；
使用所述3D边缘违反区域检测函数信息，提取出现在所述第二视点的3D图像中的边缘违反的区域，并且处理所述区域的边缘违反；和
显示所述第一视点的3D图像和所述第二视点的3D图像。
2.根据权利要求1所述的方法，其中，所述3D边缘违反区域检测函数信息包括识别用于提取边缘违反区域的函数类型的函数类型信息，和表示用于识别的函数的系数值的系数信息。
3.根据权利要求2所述的方法，其中，所述3D图像处理信息进一步包括预期捕捉所述第二左图像和所述第二右图像的照相机的位置信息，和表示所述第一视点的3D图像的边缘违反区域的信息。
4.根据权利要求1所述的方法，其中，所述3D图像处理信息进一步包括边缘处理信息，所述边缘处理信息包含有关能够在由接收机产生的一个或多个视点的3D图像中出现的边缘违反的信息。
5.根据权利要求4所述的方法，其中，所述边缘处理信息包括有关存在于在所述至少一个或多个视点的3D图像中包含的左图像中的边缘违反区域的像素数目的信息，和有关存在于在所述至少一个或多个视点的3D图像中包含的右图像中的边缘违反区域的像素数目的信息。
6.根据权利要求5所述的方法，其中，所述边缘处理信息进一步包括指定处理存在于在所述至少一个或多个视点的3D图像中包含的所述左图像和所述右图像中的边缘违反的方法的信息。
7.根据权利要求6所述的方法，其中，所述边缘处理信息进一步包括识别在存在于在所述至少一个或多个视点的3D图像中包含的所述左图像和所述右图像的边缘违反被处理之后，所述至少一个或多个视点的3D图像的最小视差的信息。
8.根据权利要求7所述的方法，其中，所述3D图像处理信息经由SEI(辅助的增强信息)消息被发送。
9.根据权利要求7所述的方法，其中，所述3D图像处理信息经由PMT(节目图表)、VCT(虚拟频道表)、EIT(事件信息表)或者SDT(服务描述表)被发送。
10.一种接收多视图3D图像广播信号的方法，其处理在多视图3D图像中的边缘违反，包括步骤：
接收用于多视图3D图像广播的广播信号；
从接收的广播信号中解码在第一视点的3D图像中包含的第一左图像数据和第一右图像数据；
从接收的广播信号中解析用于处理多视图3D图像中的边缘违反的3D图像处理信息；
使用所述第一左图像数据、所述第一右图像数据和所述3D图像处理信息，产生在第二视点的3D图像中包含的第二左图像数据和第二右图像数据之中的至少一个或多个数据，其中产生在所述第二视点的3D图像中包含的所述第二左图像数据和所述第二右图像数据之中的至少一个或多个数据的步骤包括：将在所述第一视点的3D图像中包含的像素映射到所述第二视点的3D图像，并且从映射处理中提取在所述第二视点的3D图像中出现的边缘违反区域；
处理所述第二视点的3D图像的边缘违反；和
显示所述第一视点的3D图像和所述第二视点的3D图像。
11.根据权利要求10所述的方法，其中，所述3D图像处理信息包括有关捕捉所述第一视点的3D图像的照相机的照相机参数的信息，并且其中，产生在所述第二视点的3D图像中包含的所述第二左图像数据和所述第二右图像数据之中的至少一个或多个数据的步骤使用有关所述照相机参数的信息产生在所述第二视点的3D图像中包含的所述第二左图像数据和所述第二右图像数据之中的至少一个或多个数据。
12.根据权利要求10所述的方法，其中，提取在所述第二视点的3D图像中出现的边缘违反区域的步骤分别检测包含在所述第二视点的3D图像的左图像和右图像中的像素，并且检测其中包括存在于所述左图像中而不存在于所述右图像中的像素或者存在于所述右图像中而不存在于所述左图像中的像素的区域作为边缘违反的区域。
CN201380055737.7A 2012-10-25 2013-10-25 在多视图3dtv服务中处理边缘违反现象的方法和装置 Expired - Fee Related CN104769943B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261718681P 2012-10-25 2012-10-25
US61/718,681 2012-10-25
PCT/KR2013/009597 WO2014065635A1 (ko) 2012-10-25 2013-10-25 다시점 3dtv 서비스에서 에지 방해 현상을 처리하는 방법 및 장치

Publications (2)

Publication Number Publication Date
CN104769943A CN104769943A (zh) 2015-07-08
CN104769943B true CN104769943B (zh) 2017-03-08

Family

ID=50544933

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380055737.7A Expired - Fee Related CN104769943B (zh) 2012-10-25 2013-10-25 在多视图3dtv服务中处理边缘违反现象的方法和装置

Country Status (8)

Country Link
US (1) US9578300B2 (zh)
EP (1) EP2914003A4 (zh)
JP (1) JP6139691B2 (zh)
KR (1) KR20150079577A (zh)
CN (1) CN104769943B (zh)
CA (1) CA2888147A1 (zh)
MX (1) MX345274B (zh)
WO (1) WO2014065635A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101999137B1 (ko) * 2013-01-03 2019-07-11 삼성전자주식회사 카메라를 구비하는 장치의 이미지 처리장치 및 방법
KR102644833B1 (ko) * 2016-10-06 2024-03-07 주식회사 케이티 Vr 스트림의 지연을 보상하는 방법 및 시스템
US20190254759A1 (en) * 2016-11-04 2019-08-22 Intuitive Surgical Operations, Inc. Reconfigurable display in computer-assisted tele-operated surgery
JP6995294B1 (ja) 2020-11-18 2022-01-31 隆志 矢野 自動車のための、表示装置の映像の視認がステアリングホイール等の障害物によって阻害されない操縦システム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102271275A (zh) * 2010-06-01 2011-12-07 Lg电子株式会社 图像显示装置及其操作方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100899422B1 (ko) 2007-08-06 2009-05-27 삼성모바일디스플레이주식회사 스테레오 매칭 시스템 및 이를 이용한 스테레오 매칭방법
EP2357823A4 (en) 2008-12-02 2017-03-01 Lg Electronics Inc. 3d image signal transmission method, 3d image display apparatus and signal processing method therein
JP2011228862A (ja) 2010-04-16 2011-11-10 Sony Corp データ構造、画像処理装置、画像処理方法、およびプログラム
WO2012007867A1 (en) 2010-07-12 2012-01-19 Koninklijke Philips Electronics N.V. Signaling for multiview 3d video
KR20120023431A (ko) 2010-09-03 2012-03-13 삼성전자주식회사 깊이 조정이 가능한 2차원/3차원 영상 변환 방법 및 그 장치
KR20120089921A (ko) 2010-12-23 2012-08-16 한국전자통신연구원 다이나믹 프로그래밍 방식을 이용하는 스테레오 매칭 시스템 및 그 방법
WO2012096530A2 (en) 2011-01-13 2012-07-19 Samsung Electronics Co., Ltd. Multi-view rendering apparatus and method using background pixel expansion and background-first patch matching
WO2012099108A1 (ja) * 2011-01-17 2012-07-26 シャープ株式会社 多視点画像符号化装置、多視点画像復号装置、多視点画像符号化方法、多視点画像復号方法およびプログラム
DE112012000563B4 (de) 2011-01-25 2021-06-24 Lg Electronics Inc. Verfahren und Vorrichtung zum Senden/Empfangen eines digitalen Übertragungssignals
JP2012186781A (ja) * 2011-02-18 2012-09-27 Sony Corp 画像処理装置および画像処理方法
KR20120101881A (ko) * 2011-03-07 2012-09-17 삼성전자주식회사 영상 디스플레이 방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102271275A (zh) * 2010-06-01 2011-12-07 Lg电子株式会社 图像显示装置及其操作方法

Also Published As

Publication number Publication date
MX2015004381A (es) 2015-06-10
EP2914003A1 (en) 2015-09-02
JP6139691B2 (ja) 2017-05-31
US20150271464A1 (en) 2015-09-24
EP2914003A4 (en) 2016-11-02
MX345274B (es) 2017-01-24
CA2888147A1 (en) 2014-05-01
WO2014065635A1 (ko) 2014-05-01
US9578300B2 (en) 2017-02-21
CN104769943A (zh) 2015-07-08
KR20150079577A (ko) 2015-07-08
JP2015536608A (ja) 2015-12-21

Similar Documents

Publication Publication Date Title
KR101657123B1 (ko) 방송 수신기 및 ３ｄ 자막 데이터 처리 방법
US9445077B2 (en) Method and apparatus for processing broadcast signal for 3-dimensional broadcast service
CN102186023B (zh) 一种双目立体字幕处理方法
US9516294B2 (en) Digital broadcasting reception method capable of displaying stereoscopic image, and digital broadcasting reception apparatus using same
CN105812771B (zh) 数字接收器以及在数字接收器中处理字幕数据的方法
CN105163105B (zh) 处理和接收用于3维字幕的数字广播信号的方法和装置
US20100271465A1 (en) Receiving system and method of processing data
KR101899821B1 (ko) 다시점 3차원 방송 신호를 수신하기 위한 수신 장치 및 방법
US9392249B2 (en) Method and apparatus for transmitting/receiving a digital broadcasting signal
CA2881141C (en) Method and apparatus for transceiving image component for 3d image
CN104769943B (zh) 在多视图3dtv服务中处理边缘违反现象的方法和装置
CN103202025B (zh) 用于接收数字广播信号的设备和方法
US9100638B2 (en) Signal identification for downstream processing
US9544569B2 (en) Broadcast receiver and 3D subtitle data processing method thereof
CN102447863A (zh) 一种多视点立体视频字幕处理方法
KR101728724B1 (ko) 영상 표시 방법 및 그에 따른 영상 표시 장치
KR101733488B1 (ko) 3차원 영상 표시 방법 및 그에 따른 3차원 영상 표시 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170308

Termination date: 20201025