CN102238404A - 数据结构、图像处理装置和方法以及程序 - Google Patents

数据结构、图像处理装置和方法以及程序 Download PDF

Info

Publication number
CN102238404A
CN102238404A CN2011100976015A CN201110097601A CN102238404A CN 102238404 A CN102238404 A CN 102238404A CN 2011100976015 A CN2011100976015 A CN 2011100976015A CN 201110097601 A CN201110097601 A CN 201110097601A CN 102238404 A CN102238404 A CN 102238404A
Authority
CN
China
Prior art keywords
eye image
overlapping region
image
information
parallax
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011100976015A
Other languages
English (en)
Inventor
牛木卓
森藤孝文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102238404A publication Critical patent/CN102238404A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347—Demultiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Human Computer Interaction (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本发明公开了数据结构、图像处理装置和方法以及程序。该图像处理装置包括：获取构件，其获取包括左眼图像和右眼图像的3维图像的图像数据，以及作为关于左眼图像和右眼图像中包括的重叠区域的信息的重叠区域信息；以及视差检测构件，其检测除了由左眼图像和右眼图像的重叠区域信息确认的重叠区域以外的区域中的视差量。

Description

数据结构、图像处理装置和方法以及程序
技术领域
本发明涉及数据结构、图像处理装置和方法以及程序。具体地，本发明涉及允许提高对具有重叠信息的3D(3维)图像的视差检测和视差控制的精度的数据结构、图像处理装置和方法以及程序。
背景技术
尽管2D(2维)图像在诸如电影等视频内容中是主流的，但是3维图像近来引起人们的注意。已提出了关于3维图像显示装置的各种技术以及对3维图像编码和解码的方法(例如，参照日本未审专利申请公开第10-327430号和第2008-182669号)。
3维图像包括由左眼观看的左眼图像和由右眼观看的右眼图像。通过设定左眼图像和右眼图像之间的预定视差，允许观看者将3维图像感知为立体图像。
发明内容
顺便提及，3维图像有时按与2D图像相同的方式包括诸如字幕等重叠信息。当对包括这种重叠信息的3维图像执行诸如视差检测等处理时，有时因为重叠信息而难于执行正确的视差检测。
考虑到这些情形做出了本发明。所期望的是，允许提高对具有重叠信息的3维图像的视差检测和视差控制的精度。
根据本发明的实施例，提供了一种图像处理装置，包括：获取部件，用于获取包括左眼图像和右眼图像的3维图像的图像数据，以及作为关于左眼图像和右眼图像中包括的重叠区域的信息的重叠区域信息；以及视差检测部件，用于检测除了由左眼图像和右眼图像的重叠区域信息确认的重叠区域以外的区域中的视差量。
根据本发明的另一实施例，提供了一种由执行包括左眼图像和右眼图像的3维图像的图像处理的图像处理装置来处理图像的方法，该方法包括步骤：获取3维图像的图像数据和作为关于左眼图像和右眼图像中包括的重叠区域的信息的重叠区域信息；以及检测除了由左眼图像和右眼图像的重叠区域信息确认的重叠区域以外的区域中的视差量。
根据本发明的另一实施例，提供了一种用于使计算机执行处理的程序，包括步骤：获取包括左眼图像和右眼图像的3维图像的图像数据，以及作为关于左眼图像和右眼图像中包括的重叠区域的信息的重叠区域信息；以及检测除了由左眼图像和右眼图像的重叠区域信息确认的重叠区域以外的区域中的视差量。
通过本发明的实施例，获得了包括左眼图像和右眼图像的3维图像以及作为关于左眼图像和右眼图像中包括的重叠区域的信息的重叠区域信息。并且对除了由左眼图像和右眼图像的重叠区域信息确认的重叠区域以外的区域中的视差量执行检测。
根据本发明的另一实施例，提供了一种用于3维内容的内容数据的数据结构，包括：包括左眼图像和右眼图像的3维图像的图像数据；以及作为关于左眼图像和右眼图像中包括的重叠区域的信息的重叠区域信息。
在本发明的另一实施例中，作为3维内容的内容数据，包括：包括左眼图像和右眼图像的3维图像的图像数据以及作为关于左眼图像和右眼图像中包括的重叠区域的信息的重叠区域信息。
在这一点上，有可能经由传送介质传送程序，或者通过将程序记录在记录介质上来提供程序。
图像处理装置可以是独立的装置，或者可以是一个装置中包括的内部模块。
通过本发明的上述实施例，有可能提高对具有重叠信息的3维图像的视差检测和视差控制的精度。
附图说明
图1是图示将具有根据本发明的实施例的数据结构的3维内容的数据记录在记录介质上的记录装置的配置的示例的框图；
图2是图示图1中的记录装置的记录处理的流程图；
图3是图示记录在记录介质上的分级数据结构的示图；
图4是图示MPEG4盒的扩展区域的示例的示图；
图5是图示MPEG4盒的扩展区域的另一示例的示图；
图6是图示MPEG4盒的扩展区域的又一示例的示图；
图7是图示被应用本发明的实施例的重放装置的配置的示例的框图；
图8是图示3维图像处理部分的详细配置的示例的框图；
图9是图示3维图像处理部分的效果的示图；
图10是图示3维图像处理部分的效果的示图；
图11是图示图7中的重放装置的重放处理的流程图；
图12是图示3维图像处理部分的详细配置的另一示例的框图；
图13是图示图12中的3维图像处理部分的视差控制处理的流程图；以及
图14是图示被应用本发明的实施例的计算机的配置的示例的框图。
具体实施方式
记录装置的配置示例
记录装置的配置框图
图1是图示将具有根据本发明的数据结构的3维内容数据记录在记录介质上的记录装置的配置的示例的框图。
图1中的记录装置10包括视频编码器11、音频编码器12、复用部分13和记录控制部分14。
记录装置10对3维内容的内容数据执行编码，并且将数据记录在诸如BDROM(Blu-Ray(注册商标)光盘只读存储器)等记录介质20上。内容数据包括3维图像的图像数据(在下文中还被称为3维视频数据)、对应于图像数据的音频数据，并且3维视频数据包括图像数据的左眼图像和图像数据的右眼图像。
再者，内容数据包括元数据。记录装置10将关于3维图像的指示重叠区域的重叠区域信息作为元数据(附加信息)记录在记录介质20上，该重叠区域是其上附有重叠信息的区域。这里，重叠信息是诸如字幕、OSD(屏上显示)、菜单屏幕(菜单图像)、信箱的黑带图像等的信息。再者，重叠区域信息以例如，矩形重叠区域的左上角坐标(像素位置)、竖直方向长度和水平方向长度等形式来表述。在这一点上，确认重叠区域不限于此。可以使用任何其他方法。
记录装置10的视频编码器11通过诸如MPEG2(移动图片专家组阶段2)、MPEG4、AVC(高级视频编码)等编码方法对已从外部输入的3维视频数据编码。视频编码器11向复用部分13提供视频流，该视频流是作为编码结果而获得的ES(基本流)。
音频编码器12使用诸如MPEG等编码方法对对应于从外部输入的3维视频数据的音频数据编码，并且向复用部分13提供音频流，该音频流是作为结果而获得的ES。
复用部分13复用从视频编码器11提供的视频流和从音频编码器12提供的音频流，并且将作为结果而获得的复用流提供给记录控制部分14。
记录控制部分14将从复用部分13提供的复用流记录在记录介质20上。再者，记录控制部分14将从图中未示出的操作输入部分等输入的重叠区域信息作为定义文件记录在记录介质20上。
在如上文所述配置的记录装置10中，指示其上附有重叠信息的重叠区域的重叠区域信息作为3维内容的元数据被记录在记录介质20上。由此，有可能在重放时基于重叠区域信息执行适当的3维图像处理。
关于记录装置的记录处理的描述
图2是图示图1中的记录装置10的记录处理的流程图。例如，当输入附加信息、3维视频数据和音频数据时，记录处理开始。
首先，在步骤S10中，记录控制部分14将操作输入部分等输入的重叠区域信息作为定义文件记录在记录介质20上。
在步骤S11中，视频编码器11使用诸如MPEG2、MPEG4、AVC等编码方法对从外部输入的3维视频数据编码。并且视频编码器11将作为编码结果而获得的视频流提供给复用部分13。
在步骤S12中，音频编码器12使用诸如MPEG等编码方法对对应于从外部输入的3维视频数据的音频数据编码，并且将作为结果而获得的音频流提供给复用部分13。
在步骤S13中，复用部分13复用来自视频编码器11的视频流和来自音频编码器12的音频流，并且将作为结果而获得的复用流提供给记录控制部分14。
在步骤S14中，记录控制部分14将从复用部分13提供的复用流记录在记录介质20上，并且处理终止。
附加信息的数据结构
图3是图示记录在记录介质20上的分级数据结构的示图。
如图3中所示，记录在记录介质20上的数据分级包括诸如音频流、视频流等的ES层C，作为复用流的系统层的层B和作为关于记录介质20的唯一信息的层A等。
在上述示例中，给出了如下描述：将作为附加信息的重叠区域信息作为唯一定义文件记录在记录介质20上，就是说，记录在层A中。然而，也可能将作为附加信息的重叠区域信息记录在层B和层C中。
例如，当附加信息被记录在层C中时，如果编码方法是AVC，则附加信息被记录为SEI(补充增强信息)或者SPS(序列参数集合)或PPS(图片参数集合)的一部分。再者，如果编码方法是MPEG2，则附加信息被记录为视频序列或者扩展和用户数据(extension_and_user_data)。
在该情况中，有可能改变一个视频流中的重叠区域信息。再者，如果具有不同的重叠区域信息设定的多个3维图像视频流被记录在一个记录介质20上，则可能向重放装置提供每个重叠区域信息。
另一方面，当附加信息被记录在层B中时，附加信息被记录在TS(传送流)的专用分组、PS(节目流)的专用分组、MPEG4配置(Config)信息中包括的盒(box)的扩展区域等中。
例如，如图4中所示，其中记录附加信息的MPEG4盒的扩展区域被安置在紧随位于文件顶部的ftyp盒之后的专用扩展盒(图4中的uuid)中。在该情况中，重放记录介质20上记录的3维视频数据的重放装置可以在解码处理之前获得重叠区域信息。然而，重叠区域信息在文件中保持不变。
在这一点上，除了重叠区域信息以外，在专用扩展盒中还描述了编解码器的类型、位速率、帧尺寸、高宽比、指示图像是2D图像还是3维图像的信息等。
再者，如图5中所示，其中记录附加信息的MPEG4盒的扩展区域可以被安置在moov盒中的跟踪信息(trak)的区域中(图5中的stsd)。在该情况中，视频流包括指示参考目的地的附加信息区域的信息。重放装置基于该信息获得重叠区域信息。因此，在该情况中，在视频流中重叠区域信息是可变的。然而，较之图4的情况，接入性是较差的。
此外，如图6中所示，其中记录附加信息的MPEG4盒的扩展区域可以被安置在mdat盒中。就是说，附加信息可以被记录为媒体流(sideinfo.stream)。在该情况中，视频流和附加信息通过时间信息进行同步，并且因此重叠区域信息可以随时刻变化。
在这一点上，在从图4到图6的示例中，moov盒和mdat盒被依次安置在ftyp盒之后。然而，moov盒和mdat盒的安置不限于此。
被应用本发明的实施例的重放装置
重放装置的配置框图
图7是图示被应用本发明的实施例的重放装置的配置的示例的框图。
图7中的重放装置50包括读取部分51、分离部分52、视频解码器53、3维图像处理部分54和音频解码器55。重放装置50重放记录介质20上记录的3维视频数据和相应的音频数据。在重放时，重放装置50基于重叠区域信息对3维图像适当地执行图像处理，并且在处理之后输出图像数据，该重叠区域信息是从记录介质20读取的附加信息。
具体地，重放装置50的读取部分51读取记录介质20上记录的重叠区域信息，并且将该信息提供给3维图像处理部分54。再者，读取部分51读取记录介质20上记录的复用流，并且将该流提供给分离部分52。
分离部分52将从读取部分51提供的复用流分离为视频流和音频流。并且分离部分52将视频流提供给视频解码器53，并且将音频流提供给音频解码器55。
视频解码器53使用对应于图1中的视频编码器11的编码方法的方法来对从分离部分52提供的视频流解码，并且将作为结果获得的3维视频数据提供给3维图像处理部分54。
3维图像处理部分54使用重叠区域信息对从视频解码器53提供的3维视频数据执行预定的图像处理(后处理)。在本实施例中，3维图像处理部分54执行包括左眼图像和右眼图像的3维图像的生成处理，左眼图像和右眼图像在3维图像的重叠区域信息确认的区域以外的区域上具有不同的视差。并且3维图像处理部分54将处理之后的3维视频数据输出到显示部分61。
音频解码器55使用对应于图1中的音频编码器12的编码方法的方法来对从分离部分52提供的音频流解码，并且将作为结果获得的音频数据提供给扬声器62。
显示部分61例如通过分时显示对应于来自3维图像处理部分54的3维视频数据的左眼图像和右眼图像。此时，观看者佩戴例如具有与左眼图像和右眼图像的切换同步的快门的眼镜，并且因此仅通过左眼看到左眼图像，并且仅通过右眼看到右眼图像。由此，观看者有可能将3维图像感知为立体图像。
扬声器62输出对应于从音频解码器55提供的音频数据的声音。
3维图像处理部分54的详细配置的示例
图8是图示图7中的3维图像处理部分54的详细配置的示例的框图。
3维图像处理部分54包括视差检测部分71、控制参数计算部分72和视差控制部分73。
由视差检测部分71和视差控制部分73获得从读取部分51提供的重叠区域信息。再者，由视差检测部分71获得从视频解码器53提供的3维视频数据。
视差检测部分71将从视频解码器53提供的3维视频数据直接提供给视差控制部分73。再者，视差检测部分71在除了3维视频数据的左眼图像和右眼图像的重叠区域信息确认的重叠区域以外的区域上，使用例如块匹配方法等，检测左眼图像和右眼图像的每个像素的视差量。视差检测部分71将检测到的左眼图像和右眼图像的每个像素的视差量例如作为视差图(其中视差量的大小由亮度值表述)提供给控制参数计算部分72。在这一点上，控制参数计算部分72应掌握检测到的每个像素的视差量，并且因此可以以除了视差图以外的任何格式提供这种量。
控制参数计算部分72基于从视差检测部分71提供的左眼图像和右眼图像的每个像素的视差量计算供视差控制部分73执行控制的控制参数。具体地，视差控制部分73执行用于使左眼图像和右眼图像在具有视差的方向(横向方向)上移位的图像移位处理。控制参数计算部分72计算图像移位处理中的图像移位量作为控制参数。
例如，控制参数计算部分72根据从视差检测部分71提供的视差图计算每个像素的视差量的平均值，并且计算产生0的平均值的图像移位量。当每个像素的视差量的平均值是50个像素时，控制参数计算部分72向视差控制部分73提供25个像素的值作为图像移位量。此时，视差控制部分73基于25个像素的图像移位量，使右眼图像向左移位25个像素，并且使左眼图像向左移位25个像素，从而视差量的平均值可以是0。
再者，例如，控制参数计算部分72根据从视差检测部分71提供的视差图计算每个像素的视差量的最小值，计算为了使该最小值不超过双眼距离的所需图像移位量，并且将该值提供给视差控制部分73。例如，假设双眼距离是65mm，并且显示大小是42英寸，则控制参数计算部分72计算图像移位量，使得视差量的最小值不大于122个像素。
在这一点上，在本实施例中，正的视差量表示弹出方向(在接近的方向上)，并且负的量表示缩进的方向。
视差控制部分73基于从控制参数计算部分72提供的控制参数控制左眼图像和右眼图像之间的视差。就是说，视差控制部分73基于从控制参数计算部分72提供的图像移位量，对除了左眼图像和右眼图像的重叠区域信息确认的重叠区域以外的区域执行图像移位处理。视差控制部分73将图像移位处理之后的左眼图像和右眼图像的图像数据作为视差控制之后的3维视频数据提供给显示部分61(图7)。
3维图像处理部分54的处理的示例
图9图示了3维图像处理部分54的处理的示例。
如图9左侧所示，菜单屏幕附着于从视频解码器53提供的3维视频数据的左眼图像和右眼图像上。就是说，该情况中的重叠信息是菜单屏幕，并且从记录介质20获得的重叠区域信息是确认菜单屏幕的区域(在下文中被称为菜单区域)的信息。
视差检测部分71检测除了作为重叠区域的菜单区域以外的区域的图像的左眼图像和右眼图像之间的视差量，并且将作为检测结果的视差图提供给控制参数计算部分72。
控制参数计算部分72根据从视差检测部分71提供的视差图计算每个像素的视差量的平均值，并且基于从视差检测部分71提供的视差图计算产生0的平均值的图像移位量。在图9中的示例中，计算图像移位量，使得苹果的视差量变为0。
如图9右侧所示，视差控制部分73使除了作为左眼图像和右眼图像的重叠区域的菜单区域以外的区域的图像按从控制参数计算部分72提供的图像移位量来移位。这样，确定左眼图像和右眼图像，使得每个像素的视差量的平均值变为0，并且由此有可能产生易于看到的并且向观看用户提供极小的疲劳感受的图像。
另一方面，图10示出了如下情况中的结果：在该情况中，未提供重叠区域信息，并且视差控制部分73已使左眼图像和右眼图像按从控制参数计算部分72提供的图像移位量全部移位。
如图10中所示，当未考虑重叠区域时，部分菜单屏幕变得不可见，或者在菜单屏幕上出现视差，并且因此菜单屏幕的深度被转换。因此，变得难于看到。
如上文所述，使用重叠区域信息检测视差，从而有可能提高视差检测的精度，并且实现适用于用户观看的视差控制。结果，有可能向用户提供用户易于看到的3维图像。
重放装置的重放处理的描述
图11是图示重放装置50的重放处理的流程图。例如，当用户指示重放记录介质20上记录的3维内容时，重放处理开始。
首先，在步骤S31中，读取部分51读取作为附加信息的记录介质20上记录的重叠区域信息，并且将该信息提供给3维图像处理部分54的视差检测部分71和视差控制部分73。
在步骤S32中，重放装置50读取记录介质20上记录的3维内容的复用流，并且对该流解码。就是说，读取部分51从记录介质20读取3维内容的复用流，并且将该流提供给分离部分52。分离部分52将该复用流分离为视频流和音频流。视频解码器53使用对应于记录装置10的编码方法的方法对视频流解码，并且将作为结果而获得的3维视频数据提供给3维图像处理部分54。音频解码器55使用对应于记录装置10的编码方法的方法对音频流解码，并且将作为结果而获得的音频数据提供给扬声器62。
在步骤S33中，3维图像处理部分54的视差检测部分71检测除了3维视频数据的左眼图像和右眼图像的重叠区域信息确认的重叠区域以外的区域上的左眼图像和右眼图像的每个像素的视差量。将检测到的每个像素的视差量例如作为视差图(其中视差量的大小由亮度值表述)提供给控制参数计算部分72。
在步骤S34中，控制参数计算部分72基于已经由视差检测部分71检测到的每个像素的视差量计算供视差控制部分73执行控制的控制参数。例如，控制参数计算部分72根据从视差检测部分71提供的视差图计算每个像素的视差量的平均值，并且计算产生0的平均值的图像移位量。得到的图像移位量被提供给视差控制部分73。
在步骤S35中，视差控制部分73基于由控制参数计算部分72计算的控制参数控制3维视频数据的左眼图像和右眼图像的视差。具体地，视差控制部分73基于从控制参数计算部分72提供的图像移位量，对除了3维视频数据的左眼图像和右眼图像的重叠区域信息确认的重叠区域以外的区域执行图像移位处理。再者，在步骤S35中，音频解码器55输出对应于3维视频数据的音频数据，并且处理终止。
如上文所述，除了3维内容复用流以外，将3维图像的重叠区域信息作为附加信息记录在介质20上。重放装置50读取重叠区域信息，并且执行除了通过解码获得的3维视频数据的左眼图像和右眼图像的重叠区域信息确认的重叠区域以外的区域上的左眼图像和右眼图像之间的视差检测处理和视差控制处理。使用作为附加信息提供的重叠区域信息，有可能提高对具有重叠区域的3维图像的视差检测和视差控制的精度。
3维图像处理部分54的另一配置的示例
图12是图示3维图像处理部分54的详细配置的另一示例的框图。
除了以与图8中的3维图像处理部分54相同的方式包括视差检测部分71、控制参数计算部分72和视差控制部分73以外，图12中的3维图像处理部分54包括重叠区域信息检测部分81和重叠区域检测部分82。
图12中的3维图像处理部分54具有能够在其中重叠区域信息未作为附加信息记录在记录介质20上的情况中进行处理的配置。就是说，图12中的3维图像处理部分54确定重叠区域信息是否被记录在记录介质20上。如果重叠区域信息未被记录在记录介质20上，则图12中的3维图像处理部分54自身根据3维视频数据的左眼图像和右眼图像检测重叠区域，并且将重叠区域信息提供给视差检测部分71和视差控制部分73。
如果重叠区域信息被记录在记录介质20上，则重叠区域信息由读取部分51读取，并且被提供给重叠区域信息检测部分81。因此，重叠区域信息检测部分81根据是否从读取部分51提供重叠区域信息来确定重叠区域信息是否作为附加信息记录在记录介质20上。
如果从读取部分51提供了重叠区域信息，则重叠区域信息检测部分81将所获得的重叠区域信息直接提供给视差检测部分71和视差控制部分73。另一方面，如果未从读取部分51提供重叠区域信息，则重叠区域信息检测部分81向重叠区域检测部分82给出用于检测重叠区域的检测指令。
视频解码器53将3维视频数据提供给重叠区域检测部分82。如果重叠区域信息检测部分81提供了检测指令，则重叠区域检测部分82检测3维视频数据的左眼图像和右眼图像的各个重叠区域。重叠区域检测部分82将作为检测结果而获得的重叠区域改为格式与重叠区域信息检测部分81输出的重叠区域信息相同的重叠区域信息，并且将该信息提供给视差检测部分71和视差控制部分73。
在这一点上，由重叠区域检测部分82执行的检测重叠区域的方法没有特别限制，并且可以使用任何检测方法。例如，有可能使用如本申请人在日本未审专利申请公布第2008-166988号中公开的作为反射式字幕(telop)区域检测在预定时间段中没有变化的区域的处理。
在具有上述配置的3维图像处理部分54中，如果重叠区域信息包括在内容数据中，则使用该重叠区域信息执行视差检测和视差控制。另一方面，如果重叠区域信息未包括在内容数据中，则从3维视频数据的左眼图像和右眼图像检测重叠区域，并且使用检测到的重叠区域的重叠区域信息来执行视差检测和视差控制。
3维图像处理部分54中的视差控制处理
图13是图示图12中的3维图像处理部分54的视差控制处理的流程图。
在视差控制处理中，首先，在步骤S51中，重叠区域信息检测部分81确定是否已从读取部分51提供了重叠区域信息。
在步骤S51中，如果确定已提供重叠区域信息，则处理前往步骤S52，并且重叠区域信息检测部分81将从读取部分51提供的重叠区域信息提供给视差检测部分71和视差控制部分73。
另一方面，在步骤S51中，如果确定未提供重叠区域信息，则处理前往步骤S53，重叠区域信息检测部分81向重叠区域检测部分82给出用于检测重叠区域的检测指令。并且在步骤S54中，已被提供检测指令的重叠区域检测部分82检测3维视频数据的左眼图像和右眼图像的各个重叠区域，并且将重叠区域信息提供给3维视频数据视差检测部分71和视差控制部分73。
在步骤S52或S54中的处理之后执行的步骤S55至S57中的处理与图11中的步骤S33至S35中的处理相同，并且因此省略了其描述。
通过上文描述的视差控制处理，如果重叠区域信息未包括在内容数据中，则图12中的3维图像处理部分54自身检测3维视频数据的左眼图像和右眼图像的重叠区域。并且图12中的3维图像处理部分54对3维视频数据的左眼图像和右眼图像的除了检测到的重叠区域以外的区域执行视差检测处理和视差控制处理。由此，有可能提高对具有重叠区域的3维图像的视差检测和视差控制的精度。
在这一点上，在上述示例中，给出了其中将本发明应用于重放装置的示例的描述。然而，本发明可以应用于重放装置以外的装置。例如，可以由诸如卫星广播、有线电视(TV)、互联网等的通过网络的传送提供3维内容的内容数据。因此，本发明可以应用于如下显示装置和记录/重放装置：其接收包括在通过网络传送的3维内容的内容数据中的重叠区域信息，并且对重叠区域信息确认的区域以外的区域执行预定的视差检测和视差控制处理。再者，本发明可以被配置为独立的图像处理装置，其获得作为3维内容的元数据的重叠区域信息，对左眼图像和右眼图像的重叠区域信息确认的区域以外的区域执行处理，并且输出结果。
被应用本发明的计算机的描述
上述系列处理可以由硬件或软件执行。当该系列处理由软件执行时，构成软件的程序可以被安装在通用计算机等中。
因此，图14图示了其中安装了执行上述系列处理的程序的计算机的配置的示例。
程序可以预先记录在作为计算机内建记录介质的存储部分108或ROM(只读存储器)102中。
可替选地，程序可以存储(记录)在可拆卸介质111上。该可拆卸介质111可以被提供为所谓的套装软件。这里，对于可拆卸介质111，例如，存在CD-ROM(紧凑盘只读存储器)、MO(磁光)盘、DVD(数字多用途光盘)、磁盘、半导体存储器等。
在这一点上，程序可以从上述可拆卸介质111通过驱动器110安装在计算机中。此外，程序可以通过通信网络或者广播网络下载到计算机，并且可以安装在内部存储部分108中。就是说，程序可以通过有线或无线传送介质由通信部分109接收并且可以安装在存储部分108中。
计算机包括CPU(中央处理单元)101，并且输入/输出接口105通过总线104连接到CPU 101。
当用户通过操作输入部分106等借助于输入/输出接口105输入指令时，CPU 101根据指令执行ROM 102中存储的程序。可替选地，CPU 101将存储部分108中存储的程序加载到RAM(随机存取存储器)103以执行这些程序。
由此，CPU 101根据上述流程图执行处理。可替选地，CPU 101通过具有上述框图的配置执行处理。并且CPU 101按照需要例如，通过输入/输出接口105从输出部分107输出处理结果。可替选地，CPU 101从通信部分109传送处理结果，并且此外将结果记录在存储部分108等中。
在这一点上，输入部分106包括键盘、鼠标、麦克风等。再者，输出部分107包括LCD(液晶显示器)、扬声器等。
在本说明书中，计算机根据程序执行的处理不必然根据如流程图的所描述的顺序按时间序列进行处理。就是说，计算机根据程序执行的处理包括将并行地或者单独地执行的处理(例如，并行处理或对象处理)。
再者，程序可以由一个计算机(处理器)处理，并且可以由多个计算机分布式地执行。此外，程序可以被传输到远程计算机，并且可以在该处执行。
在上述实施例中，给出了其中从两个视点观看3维图像的情况的描述。然而，有可能相似地将本发明应用于其中从多个视点观看3维图像，就是说，当视点数目是三个或更多时的情况。
本申请包含与在2010年4月20日提交日本专利局的日本在先专利申请第JP 2010-097213中公开的主题内容相关的主题内容，该在先申请的整体内容通过引用合并于此。
本领域的技术人员应当理解，在所附权利要求及其等同物的范围内，可以根据设计需要和其他因素进行各种修改、组合、子组合和变更。

Claims (8)

1.一种图像处理装置，包括：
获取部件，用于获取包括左眼图像和右眼图像的3维图像的图像数据，以及作为关于所述左眼图像和所述右眼图像中包括的重叠区域的信息的重叠区域信息；以及
视差检测部件，用于检测除了由所述左眼图像和所述右眼图像的所述重叠区域信息确认的所述重叠区域以外的区域中的视差量。
2.根据权利要求1所述的图像处理装置，进一步包括：
视差控制部件，用于控制所述左眼图像和所述右眼图像之间的视差；以及
控制参数计算部件，用于基于所述视差检测部件检测到的所述视差量计算用于控制所述视差控制部件的视差的控制参数。
3.根据权利要求2所述的图像处理装置，
其中所述视差控制部件执行所述左眼图像和所述右眼图像的图像移位处理，以及
所述控制参数计算部件基于所述视差检测部件检测到的所述视差量计算所述图像移位处理中的图像移位量。
4.根据权利要求1所述的图像处理装置，进一步包括：
重叠区域信息检测部件，用于确定是否包括所述重叠区域信息作为所述3维图像的图像数据的附加信息；以及
重叠区域检测部件，当未包括所述重叠区域信息作为所述附加信息时，用于个别地检测所述左眼图像和所述右眼图像的所述重叠区域，
其中当未包括所述重叠区域信息作为所述附加信息时，所述获取部件获取作为所述重叠区域信息检测部件检测到的所述重叠区域的信息的重叠区域信息。
5.一种由执行包括左眼图像和右眼图像的3维图像的图像处理的图像处理装置来处理图像的方法，所述方法包括步骤：
获取所述3维图像的图像数据和作为关于所述左眼图像和所述右眼图像中包括的重叠区域的信息的重叠区域信息；以及
检测除了由所述左眼图像和所述右眼图像的所述重叠区域信息确认的所述重叠区域以外的区域中的视差量。
6.一种用于使计算机执行处理的程序，包括步骤：
获取包括左眼图像和右眼图像的3维图像的图像数据，以及作为关于所述左眼图像和所述右眼图像中包括的重叠区域的信息的重叠区域信息；以及
检测除了由所述左眼图像和所述右眼图像的所述重叠区域信息确认的所述重叠区域以外的区域中的视差量。
7.一种用于3维内容的内容数据的数据结构，包括：
包括左眼图像和右眼图像的3维图像的图像数据；以及
作为关于所述左眼图像和所述右眼图像中包括的重叠区域的信息的重叠区域信息。
8.一种图像处理装置，包括：
获取构件，其获取包括左眼图像和右眼图像的3维图像的图像数据，以及作为关于所述左眼图像和所述右眼图像中包括的重叠区域的信息的重叠区域信息；以及
视差检测构件，其检测除了由所述左眼图像和所述右眼图像的所述重叠区域信息确认的所述重叠区域以外的区域中的视差量。
CN2011100976015A 2010-04-20 2011-04-13 数据结构、图像处理装置和方法以及程序 Pending CN102238404A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-097213 2010-04-20
JP2010097213A JP2011228950A (ja) 2010-04-20 2010-04-20 データ構造、画像処理装置、画像処理方法、およびプログラム

Publications (1)

Publication Number Publication Date
CN102238404A true CN102238404A (zh) 2011-11-09

Family

ID=44787922

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011100976015A Pending CN102238404A (zh) 2010-04-20 2011-04-13 数据结构、图像处理装置和方法以及程序

Country Status (3)

Country Link
US (1) US9549167B2 (zh)
JP (1) JP2011228950A (zh)
CN (1) CN102238404A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102300114A (zh) * 2010-06-24 2011-12-28 索尼公司 立体显示设备和立体显示设备的显示方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011228862A (ja) * 2010-04-16 2011-11-10 Sony Corp データ構造、画像処理装置、画像処理方法、およびプログラム
JP2013051660A (ja) * 2011-08-04 2013-03-14 Sony Corp 送信装置、送信方法および受信装置
GB2500712A (en) * 2012-03-30 2013-10-02 Sony Corp An Apparatus and Method for transmitting a disparity map
KR20150008408A (ko) * 2012-04-13 2015-01-22 코닌클리케 필립스 엔.브이. 깊이 시그널링 데이터
US9736467B2 (en) * 2013-08-05 2017-08-15 Samsung Display Co., Ltd. Apparatus and method for adjusting stereoscopic images in response to head roll

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3423189B2 (ja) 1997-05-27 2003-07-07 三洋電機株式会社 ディジタル立体放送によるテロップ表示装置
US7015954B1 (en) * 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
KR100739730B1 (ko) * 2005-09-03 2007-07-13 삼성전자주식회사 3ｄ 입체 영상 처리 장치 및 방법
JP4793366B2 (ja) 2006-10-13 2011-10-12 日本ビクター株式会社 多視点画像符号化装置、多視点画像符号化方法、多視点画像符号化プログラム、多視点画像復号装置、多視点画像復号方法、及び多視点画像復号プログラム
KR101311896B1 (ko) * 2006-11-14 2013-10-14 삼성전자주식회사 입체 영상의 변위 조정방법 및 이를 적용한 입체 영상장치
US8390674B2 (en) * 2007-10-10 2013-03-05 Samsung Electronics Co., Ltd. Method and apparatus for reducing fatigue resulting from viewing three-dimensional image display, and method and apparatus for generating data stream of low visual fatigue three-dimensional image
KR101633627B1 (ko) * 2008-10-21 2016-06-27 코닌클리케 필립스 엔.브이. 입력 ３차원 비디오 신호를 프로세싱하는 방법 및 시스템
WO2010064853A2 (en) * 2008-12-02 2010-06-10 Lg Electronics Inc. 3d caption display method and 3d display apparatus for implementing the same

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102300114A (zh) * 2010-06-24 2011-12-28 索尼公司 立体显示设备和立体显示设备的显示方法

Also Published As

Publication number Publication date
US9549167B2 (en) 2017-01-17
JP2011228950A (ja) 2011-11-10
US20110254919A1 (en) 2011-10-20

Similar Documents

Publication Publication Date Title
US10791317B2 (en) Switching between 3D video and 2D video
US10158841B2 (en) Method and device for overlaying 3D graphics over 3D video
RU2554465C2 (ru) Комбинирование 3d видео и вспомогательных данных
TWI536801B (zh) 三維視訊格式偵測
CN102223551B (zh) 图像处理设备和图像处理方法
CN102223550A (zh) 图像处理设备、图像处理方法和程序
CN102111634A (zh) 图像处理设备和图像处理方法
CN102238404A (zh) 数据结构、图像处理装置和方法以及程序
EP2282550A1 (en) Combining 3D video and auxiliary data
EP2560399A1 (en) Data structure, image processing apparatus, image processing method, and program
CN102457742A (zh) 信息处理装置、信息处理方法和程序
CN102196287A (zh) 再现设备、再现控制方法和程序
EP2837183A2 (en) Depth signaling data
JP2011146830A (ja) 映像処理装置、映像識別方法、映像表示装置及びコンピュータプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20111109