CN102223550B - 图像处理设备、图像处理方法 - Google Patents

图像处理设备、图像处理方法 Download PDF

Info

Publication number
CN102223550B
CN102223550B CN201110091488.XA CN201110091488A CN102223550B CN 102223550 B CN102223550 B CN 102223550B CN 201110091488 A CN201110091488 A CN 201110091488A CN 102223550 B CN102223550 B CN 102223550B
Authority
CN
China
Prior art keywords
viewing environment
image
environment parameter
video camera
eye image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201110091488.XA
Other languages
English (en)
Other versions
CN102223550A (zh
Inventor
牛木卓
森藤孝文
绪形昌美
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102223550A publication Critical patent/CN102223550A/zh
Application granted granted Critical
Publication of CN102223550B publication Critical patent/CN102223550B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4516—Management of client data or end-user data involving client characteristics, e.g. Set-Top-Box type, software version or amount of memory available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)

Abstract

提供了图像处理设备和方法。图像处理设备包括第一获取部件、第二获取部件和校正处理部件。第一获取部件获取预设的观看环境参数连同三维画面的图像数据，预设的观看环境参数是预设的观看环境的参数。第二获取部件获取实际观看环境参数，实际观看环境参数是用户观看三维画面的实际观看环境的参数。校正处理部件根据所获取的预设的观看环境参数和所获取的实际观看环境参数之间的差来校正所述三维画面。其中，观看环境参数是眼间距离、观看距离和显示尺寸中的至少一个。其中，所获取的三维画面的图像数据包括以预定的摄像机间距离捕获的左眼图像和右眼图像，校正处理部件包括：虚拟摄像机间距离图像产生部件，图像缩放部件，以及控制参数计算部件。

Description

图像处理设备、图像处理方法
技术领域
本发明涉及图像处理设备、图像处理方法和程序，更具体地，涉及即使在实际观看环境与预设的观看环境不同的情况下也允许用户观看由创建者设计的三维(3D)画面的图像处理设备、图像处理方法和程序。
背景技术
二维(2D)画面主要用于视频内容，而3D画面近来正在吸引人们的关注。已经提出了用于3D画面的各种显示设备以及各种编码和解码技术(例如，参见日本未经审查的专利申请第10-327430号和第2008-182669号)。
3D画面包括使用左眼观看的左眼图像和使用右眼观看的右眼图像，并且利用左眼图像和右眼图像之间的预定量的视差，观众可以三维地感知画面。
当创建3D画面时，内容创建者通过假定用户观看环境(如观看距离、双眼视差和显示尺寸等)来预先设置视差量。
发明内容
然而，在许多情况下，用户的实际观看环境与预设的观看环境不同，这改变了3D画面的深度。更具体地，画面突出的量太大或太小。即，与创建者预设的相比，画面突出或后退过多。另外，屏幕上的深度与平面大小之间的比率会发生变化，由此导致立方体形状看起来象矩形，从而使3D画面失真。
因此，期望即使在实际观看环境与预设的观看环境不同的情况下也允许用户观看如同创建者预设的那样的3D画面。
根据本发明的一个实施倒，提供了一种图像处理设备，该图像处理设备包括第一获取部件、第二获取部件和校正处理部件。所述第一获取部件获取预设的观看环境参数连同3D画面的图像数据，所述预设的观看环境参数是预设的观看环境的参数。所述第二获取部件获取实际观看环境参数，所述实际观看环境参数是用于用户观看所述3D画面的实际观看环境的参数。所述校正处理部件根据所获取的预设的观看环境参数和所获取的实际观看环境参数之间的差来校正所述3D画面。其中，预设的观看环境参数和实际观看环境参数中的每一个是眼间距离、观看距离和显示尺寸中的至少一个。其中，所获取的三维画面的图像数据包括以预定的摄像机间距离来捕获的左眼图像和右眼图像，并且校正处理部件包括：虚拟摄像机间距离图像产生部件，用于产生以基于预定的摄像机间距离而改变的虚拟摄像机间距离来捕获的左眼图像和右眼图像，图像缩放部件，用于缩放由虚拟摄像机间距离图像产生部件产生的左眼图像和右眼图像，以及控制参数计算部件，用于根据形成预设的观看环境参数的眼间距离、观看距离或显示尺寸与形成实际观看环境参数的眼间距离、观看距离或显示尺寸之间的差来计算作为在虚拟摄像机间距离图像产生部件中使用的校正量的虚拟摄像机间距离或作为在图像缩放部件中使用的校正量的图像缩放量。
根据本发明的另一个实施例，提供了一种图像处理设备，包括：第一获取部件，用于获取预设的观看环境参数连同三维画面的图像数据，预设的观看环境参数是预设的观看环境的参数；第二获取部件，用于获取实际观看环境参数，实际观看环境参数是用户观看三维画面的实际观看环境的参数；以及校正处理部件，用于根据所获取的预设的观看环境参数和所获取的实际观看环境参数之间的差来校正三维画面，其中，预设的观看环境参数和实际观看环境参数中的每一个是眼间距离、观看距离和显示尺寸中的至少一个，其中，所获取的三维画面的图像数据包括左眼图像和右眼图像；并且校正处理部件包括：图像移位处理部件，用于移位左眼图像和右眼图像，使得左眼图像和右眼图像之间的视差量变为预定量，以及控制参数计算部件，用于根据形成预设的观看环境参数的眼间距离、观看距离或显示尺寸与形成实际观看环境参数的眼间距离、观看距离或显示尺寸之间的差来计算图像移位量，使得左眼图像和右眼图像之间的视差量变为预定量。
根据本发明的另一个实施例，提供了一种用于图像处理设备的图像处理方法，所述图像处理设备包括用于获取数据的第一获取部件、用于获取数据的第二获取部件和用于校正3D画面的校正处理部件。所述图像处理方法包括以下步骤：所述第一获取部件获取预设的观看环境参数连同3D画面的图像数据，所述预设的观看环境参数是预设的观看环境的参数；所述第二获取部件获取实际观看环境参数，所述实际观看环境参数是用户观看所述3D画面的实际观看环境的参数；以及所述校正处理部件根据所获取的预设的观看环境参数和所获取的实际观看环境参数之间的差来校正所述3D画面。其中，预设的观看环境参数和实际观看环境参数中的每一个是眼间距离、观看距离和显示尺寸中的至少一个，所获取的三维画面的图像数据包括以预定的摄像机间距离来捕获的左眼图像和右眼图像，并且校正处理部件执行如下步骤：由控制参数计算部件根据形成预设的观看环境参数的眼间距离、观看距离或显示尺寸与形成实际观看环境参数的眼间距离、观看距离或显示尺寸之间的差来计算作为在虚拟摄像机间距离图像产生部件中使用的校正量的虚拟摄像机间距离或作为在图像缩放部件中使用的校正量的图像缩放量，由虚拟摄像机间距离图像产生部件产生以基于预定的摄像机间距离而改变的虚拟摄像机间距离来捕获的左眼图像和右眼图像，以及由图像缩放部件缩放由虚拟摄像机间距离图像产生部件产生的左眼图像和右眼图像。
根据本发明的另一个实施例，提供了一种程序，该程序使计算机能够执行包括以下步骤的处理：获取预设的观看环境参数连同3D画面的图像数据，所述预设的观看环境参数是预设的观看环境的参数；获取实际观看环境参数，所述实际观看环境参数是用户观看所述3D画面的实际观看环境的参数；并且根据所获取的预设的观看环境参数和所获取的实际观看环境参数之间的差来校正所述3D画面。
根据本发明的一个实施例，连同3D画面的图像数据一起，获得了预设的观看环境参数，并且还获得用户观看所述3D画面的实际观看环境的参数。所述3D画面根据所获取的预设的观看环境参数和所获取的实际观看环境参数之间的差来校正。
所述程序可以通过经由传输介质发送或通过记录于记录介质上来提供。
所述图像处理设备可以是独立的设备或形成设备的元件。
根据本发明的一个实施例，即使实际观看环境参数和预设的观看环境参数不同，也可以使用户能够观看创建者设定的3D画面。
附图说明
图1是示出根据本发明的一个实施例的记录设备的配置的示例的框图；
图2是示出由图1中所示的记录设备执行的记录操作的流程图；
图3示出记录介质上记录的数据的分级结构；
图4示出移动画面专家组阶段4(MPEG4)框中的扩展分区的示例；
图5示出MPEG4框架中的扩展分区的另一个示例；
图6示出MPEG4框架中的扩展分区的另一个示例；
图7是示出根据本发明的一个实施例的播放设备的配置的示例的框图；
图8是示出由图7中所示的播放设备执行的播放操作的流程图；
图9是示出具有第一配置的校正处理器的示例的框图；
图10示出虚拟摄像机间距离图像的产生；
图11示出当摄像机间距离改变时视差量的改变；
图12示出进行缩放处理前后的左眼图像和右眼图像；
图13示出当图像缩放量改变时视差量的改变；
图14示出用于确定深度和每一个观看环境参数间的关系所需的变量；
图15示出当每个观看环境参数改变时改变的深度Za、Zb、Zc分别与原始深度Z的关系；
图16示出当观看距离改变时的校正量；
图17A和17B示出当观看距离改变时的校正量；
图18示出第一校正处理的概要；
图19是示出由具有第一配置的校正处理器执行的校正处理的流程图；
图20示出由具有第二配置的校正处理器执行的校正处理；
图21示出由具有第二配置的校正处理器执行的校正处理；
图22A、22B和22C示出由具有第二配置的校正处理器执行的校正处理；
图23是示出具有第二配置的校正处理器的示例的框图；
图24示出第二校正处理的概要；
图25是示出由具有第二配置的校正处理器执行的校正处理的流程图；以及
图26是示出根据本发明的一个实施例的计算机的配置的示例的框图。
具体实施方式
下面以下述顺序来描述本发明的实施例：
1.用于产生由本发明的一个实施例所应用到的播放设备播放的记录介质的记录设备的配置的示例；
2.本发明的一个实施例所应用到的播放设备的整体配置的示例；
3.播放设备的校正处理器的第一示例；
4.播放设备的校正处理器的第二示例；以及
5.本发明的一个实施例所应用到的计算机。
1、记录设备的配置的示例
图1是示出根据本发明的一个实施例的记录设备10的配置的示例的框图。
记录设备10包括视频编码器11、音频编码器12、复用器13和记录控制器14。
记录设备10将3D内容的内容数据编码，并且将经编码的内容数据记录在诸如蓝光(Blu-ray，注册商标)盘只读存储器(Blue-rayDiscReadOnlyMemory，BDROM)等记录介质20上。内容数据包括3D画面的图像数据(以下称为“3D视频数据”)和与3D视频数据对应的音频数据。3D视频数据包括作为附加信息(元数据)的由3D内容的内容创建者预设的观看环境的参数(这样的参数在下文中称为“预设的观看环境参数”)。
在本发明的实施例中，观看环境参数包括三种类型的参数，即用户的眼间距离、用户和显示单元之间的观看距离和上面显示3D画面的显示单元的显示尺寸(displaysize)。
记录设备10的视频编码器11根据诸如移动画面专家组阶段2(MovingPictureExpertsGroupPhase2，MPEG2)、MPEG4(PictureExpertsGroupPhase4)或高级视频编码(AdvancedVideoCoding，AVC)方法等编码方法来编码从外部源输入的3D视频数据。视频编码器11向复用器13提供通过将3D视频数据编码而获得的、作为基本流(ElementaryStream，ES)的视频流。
音频编码器12根据诸如MPEG方法等的编码方法来编码从外部源输入的与3D视频数据对应的音频数据，并且向复用器13提供通过将音频数据编码而获得的、作为ES的音频流。
复用器13将从视频编码器11提供的视频流与从音频编码器12提供的音频流相组合，并且向记录控制器14提供复用流。
记录控制器14将从复用器13提供的复用流记录在记录介质20上。记录控制器14还将从操作输入单元(未示出)输入的预设的观看环境参数作为定义文件而记录在记录介质20上。
在如上所述配置的记录设备10中，预设的观看环境参数作为附加信息(元数据)与3D内容数据一起被记录在记录介质20上。这使得播放设备能够在播放内容数据时针对预设的观看环境参数和实际观看环境参数之间的差来执行对内容数据的校正的处理。
图2是示出由图1中所示的记录设备10执行的记录操作的流程图。例如，当输入附加信息、3D视频数据和音频数据时开始记录操作。
在步骤S10，记录控制器14将从操作输入单元输入的、作为附加信息的预设的观看环境参数作为定义文件记录在记录介质20上。更具体地，将由内容创建者预设的、诸如用户的眼间距离、观看距离和显示尺寸等三种类型的值作为定义文件记录在记录介质20上。
在步骤S11中，视频编码器11根据诸如MPEG2、MPEG4或AVC等MPEG方法来编码从外部源输入的3D视频数据。视频编码器11然后向复用器13提供通过将3D视频数据编码而获得的视频流。
在步骤S12中，音频编码器12根据诸如MPEG方法等编码方法来编码与3D视频数据对应的、从外部源输入的音频数据。音频编码器12然后向复用器13提供通过将音频数据编码而获得的音频流。
在步骤S13中，复用器13将从视频编码器11提供的视频流与从音频编码器12提供的音频流相组合。复用器13然后向记录控制器14提供所得到的复用流。
在步骤S14中，记录控制器14在记录介质20上记录从复用器13提供的复用流。这样，结束操作。
图3示出要记录在记录介质20上的数据的分级结构。
如图3中所示，记录在记录介质20上的数据的层级包括层A、层B和层C。层C包含诸如音频流和视频流等ES。层B是具有复用流的系统层。层A包含作为记录在记录介质20上的唯一信息(soleinformation)的信息。
如上所述，作为附加信息的预设的观看环境参数被记录在层A上作为唯一定义文件(soledefinitionfile)。然而，预设的观看环境参数还可以记录在层B或层C上。
例如，如果附加信息记录在层C上，则其以如下方式被记录。如果编码方法是AVC，则附加信息作为补充增强信息(SupplementalEnhancementInformation，SEI)或序列参数集(SequenceParameterSet，SPS)或画面参数集(PictureParameterSet，PPS)的一部分来记录。如果编码方法是MPEG2，则将附加信息记录为视频序列或扩展和用户数据(extension_and_user_data)。
在该情况下，在一个视频流内，附加信息可以是可变的。另外，即使有具有不同的预设的观看环境参数的多个3D画面视频流被记录在记录介质20上，也可以向播放设备提供每一个预设的观看环境参数。
如果在层B上记录附加信息，则它被记录在例如传输流(TransportStream，TS)的专用包、程序流(ProgramStream，PS)的专用包或包含于MPEG4配置信息中的框(box)的扩展分区上。
上面记录了附加信息的MPEG4框的扩展分区被设置在紧随ftyp框后的专用扩展框(在图4中示出为“uuid”)中，ftyp框位于文件的头部。在该情况下，用于播放记录在记录介质20上的3D视频数据的播放设备可以在执行解码之前获得预设的观看环境参数。然而，预设的观看环境参数在文件中是不可变的。
在专用扩展框中，除了预设的观看环境参数之外，进一步记录了编码解码的类型、比特速率、帧大小、高宽比和关于图像是2D画面还是3D画面的信息等。
如图5中所示，MPEG4框的扩展分区可以被设置在moov框内的跟踪信息(在图5中被示出为“trak”)的分区(在图5中被示出为“stsd”)中。在该情况下，视频流中包含用于指示附加信息被记录在哪个分区中的信息。基于这个信息，播放设备获得预设的观看环境参数。因此，在该情况下，预设的观看环境参数在视频流内是可变的。然而，与预设的观看环境参数如图4中所示的那样来记录的情况相比，可访问性较差。
或者，如图6中所示，MPEG4框的扩展分区可以被设置在mdat框中。即，可以将附加信息作为一个媒体流(sideinfo.stream)来记录。在该情况下，根据时间信息使视频流和附加信息彼此同步，因此，预设的观看环境参数可以每一时刻改变。
在图4至6中所示的示例中，moov框和mdat框以该顺序布置在ftyp框后。然而，moov框和mdat框的布置并不局限于此。
2.播放设备的整体配置的示例
图7是示出根据本发明的一个实施例的播放设备50的配置的示例的框图。
图7所示的播放设备50包括读取器51、解复用器52、视频解码器53、校正处理器54、操作输入单元55和音频解码器56。播放设备50播放记录在记录介质20上的3D视频数据和对应的音频数据连同附加信息，并且基于附加信息而以适当的方式显示3D画面。
更具体地，播放设备50的读取器51读取作为附加信息的、记录在记录介质20上的预设的观看环境参数，并且向校正处理器54提供预设的观看环境参数。读取器51还读取记录在记录介质20上的复用流，并且向解复用器52提供复用流。
解复用器52将从读取器51提供的复用流分解为视频流和音频流。解复用器52向视频解码器53提供视频流，并且还向音频解码器56提供音频流。
视频解码器53根据与图1中所示的视频编码器11中使用的编码方法对应的方法来解码从解复用器52提供的视频流，并且向校正处理器54提供所得到的3D视频数据。
校正处理器54根据从读取器51提供的预设的观看环境参数和从操作输入单元55提供的实际观看环境参数之间的差来执行3D画面校正处理，以校正从视频解码器53提供的3D视频数据。然后，校正处理器54向显示单元61输出经校正的3D视频数据，即左眼图像数据和右眼图像数据。
操作输入单元55从观看3D画面的用户接收实际观看环境参数的输入。用户通过使用操作输入单元55来输入实际观看环境参数。更具体地，用户输入与预设的观看环境参数的值类似的三种类型的值，如眼间距离、观看距离和显示尺寸等。操作输入单元55向校正处理器54提供由用户输入的实际观看环境参数。
音频解码器56根据与图1中所示的音频编码器12中使用的编码方法对应的方法来解码从解复用器52提供的音频流，并且向扬声器62提供所得到的音频数据。
显示单元61以时分复用的方式来显示与从校正处理器54提供的3D视频数据对应的左眼图像和右眼图像。在该情况下，观众佩带例如与左眼图像和右眼图像的切换同步的快门式眼镜(shutterglass)，并且仅使用左眼观看左眼图像并仅使用右眼来观看右眼图像。这使得用户能够三维地感知3D画面。
扬声器62输出与从音频解码器56提供的音频数据对应的声音。
图8是示出由播放设备50执行的播放操作的流程图。例如，当用户给出用于播放记录在记录介质20上的3D内容的指令时，该播放操作开始。
在步骤S31，操作输入单元55从观看3D画面的用户接收实际观看环境参数的输入，并且向校正处理器54提供所接收的实际观看环境参数。步骤S31可以与下面的步骤分开而预先执行。即，在给出用于播放3D内容的指令之前，可以在例如设置屏幕上预先输入实际观看环境参数。
在步骤S32中，读取器51读取作为附加信息的、记录在记录介质20上的预设的观看环境参数，并且向校正处理器54提供预设的观看环境参数。
在步骤S33中，播放设备50读取记录在记录介质20上的3D内容的复用流，并且将该复用流解码。即，读取器51从记录介质20读取3D内容的复用流，并且向解复用器52提供复用流。解复用器52将复用流分解为视频流和音频流。视频解码器53根据与记录设备10中使用的编码方法对应的方法将视频流解码，并且向校正处理器54提供所得到的3D视频数据。音频解码器56根据与记录设备10使用的编码方法对应的方法将音频流解码，并且向扬声器62提供所得到的音频数据。
在步骤S34中，校正处理器54根据从读取器51提供的预设的观看环境参数和从操作输入单元55提供的实际观看环境参数之间的差来执行3D画面校正处理，用于校正所提供的3D视频数据。校正处理包括第一校正处理和第二校正处理。下面描述第一和第二校正处理的细节。
在步骤S35中，校正处理器54向显示单元61输出经校正的3D视频数据，即左眼图像和右眼图像的图像数据。另外，在步骤S35中，音频解码器56向扬声器62输出与经校正的3D视频数据对应的音频数据。当要播放的3D内容画面和声音被全部输出时，播放操作完成。
如上所述，播放设备50校正由内容创建者预设的观看环境和由用户输入的实际观看环境之间的差，从而能够不失真地提供3D画面，否则观看环境的差会引起失真。
下面给出由校正处理器54执行的3D画面校正处理的细节。在播放设备50中，可以采用图9中所示的校正处理器54的第一配置或图23中所示的校正处理器54的第二配置。
3.播放设备的校正处理器的第一示例
图9是示出校正处理器54的第一配置的示例的框图。
图9中所示的校正处理器54包括视差控制参数计算器81和视差控制器82。视差控制器82包括视差检测器91、虚拟摄像机间距离图像产生器92和图像缩放单元93。
从读取器51输入的预设的观看环境参数和从操作输入单元55输入的实际观看环境参数被提供到视差控制参数计算器81。视差控制参数计算器81根据预设的观看环境参数和实际观看环境参数之间的差来计算两个视差控制参数，如虚拟摄像机间距离(virtualinter-cameradistance)和图像缩放的量(下文该量被称为“图像缩放量”)。
在观看环境参数中，如果在预设的观看环境参数和实际观看环境参数之间观看距离是不同的，则可以控制(改变)虚拟摄像机间距离，从而校正3D画面的失真。下面详细描述这一点。
如果在预设的观看环境参数和实际观看环境参数间眼间距离或显示尺寸是不同的，则可以控制(改变)虚拟摄像机间距离和图像缩放量之一或两者，从而校正3D画面的失真。如果使用虚拟摄像机间距离和图像缩放量两者，则确定虚拟摄像机间距离与图像缩放量的控制比。然后，根据所确定的控制比，计算与通过使用虚拟摄像机间距离进行的校正的量和通过使用图像缩放量进行的校正的量对应的视差控制参数。虚拟摄像机间距离与图像缩放量的控制比可以作为固定值而被存储在校正处理器54中，或可以从例如操作输入单元55输入。
视差检测器91检测从视频解码器53(图7)提供的3D视频数据中的左眼图像和右眼图像之间的视差量，并且更具体地，视差检测器91通过使用例如块匹配方法来检测左眼图像的每一个像素和右眼图像的对应像素之间的视差量。视差检测器91通过将左眼图像和右眼图像之间的对应像素的视差量设置为亮度级(luminancelevel)来建立视差图(parallaxmap)，并且向虚拟摄像机间距离图像产生器92提供该视差图。视差量并不一定通过视差图来表示，而是可以用任何形式来表示视差量，只要虚拟摄像机间距离图像产生器92可以识别所检测的视差量即可。
从视频解码器53(图7)将形成以预定摄像机间距离来捕获的原始图像(校正前)的左眼图像和右眼图像提供到虚拟摄像机间距离图像产生器92。从视差检测器91将原始左眼图像的每一像素和原始右眼图像的对应像素之间的视差量作为视差图提供到虚拟摄像机间距离图像产生器92。虚拟摄像机间距离图像产生器92产生以虚拟摄像机间距离来捕获的左眼图像和右眼图像。即，虚拟摄像机间距离图像产生器92通过使用原始左眼图像、原始右眼图像以及左眼图像和右眼图像之间的视差量来产生以从视差控制参数计算器81提供的虚拟摄像机间距离来捕获的图像(这样的图像在下文中称为“虚拟摄像机间距离图像”)。
从视差控制参数计算器81提供的虚拟摄像机间距离以虚拟摄像机间距离与原始摄像机间距离的比来表示。例如，如图10中所示，假定当捕获原始左眼图像和右眼图像时使用的摄像机间距离是1，用于原始左眼图像的摄像机位置被设置为0.0，并且用于原始右眼图像的摄像机位置被设置为1.0。
当从视差控制参数计算器81提供虚拟摄像机间距离0.5时，虚拟摄像机间距离图像产生器92产生如图10中所示的具有虚拟摄像机位置0.25的左眼图像和具有虚拟摄像机位置0.75的右眼图像。在该情况下，所产生的左眼图像和右眼图像的摄像机间距离与原始摄像机间距离的比是0.5。
图11示出当摄像机间距离改变时视差量的改变。坐标的正侧表示画面的突出方向(pop-outdirection)(向前的方向，即朝向观众)，而坐标的负侧表示画面的后退方向(向后的方向，即远离观众)。
当摄像机间距离被缩小为原始摄像机间距离的50％(0.5)时，视差量也被缩小为校正前的视差量的1/2。当将摄像机间距离提高到原始摄像机间距离的200％(2.0)时，视差量也加倍。
参见图9，图像缩放单元93根据从视差控制参数计算器81提供的图像缩放量来缩放从虚拟摄像机间距离图像产生器92提供的左眼图像和右眼图像。从视差控制参数计算器81提供的图像缩放量用图像缩放量与原始图像缩放量的比来表示。图像缩放单元93然后向显示单元61(图7)输出经缩放后的、左眼图像和右眼图像的图像数据。
图12示出进行缩放处理前后的左眼图像和右眼图像。
在图12中，在其中出现视差的方向上，即在水平方向上，以缩放量(缩放比)0.5来校正被示出为原始图像的、缩放前的左眼图像和右眼图像。所得到的左眼图像和右眼图像被示出为经缩放的图像。
图13示出当改变缩放量时视差量的改变。
当缩放量被减小为原始缩放量的50％(0.5)时，视差量也被缩小为校正前的视差量的1/2。当缩放量被提高到原始缩放量的200％(2.0)时，视差量也加倍。
下面描述深度的改变与每一个观看环境参数(如观看距离、眼间距离和显示尺寸)的改变之间的关系。
参考图14来定义用于确定深度和每个观看环境参数之间的关系所需要的变量。
现在假定，用户观看3D画面的眼间距离用E来表示，并且从用户到显示3D画面的显示单元的距离(这样的距离被称为“观看距离”)用L来表示。现在假设，在用户观看的3D画面中，位于左眼图像的一个位置处的像素xL对应于右眼图像的相关联的位置处的像素xR。即，用户以视差量d＝(xL-xR)来观看3D画面。在该情况下，再现于用户的视网膜上的深度用Z来表示。
在该情况下，考虑到深度Z和视差量d之间的关系，可以通过等式(1)来表示Z：
E/(L-Z)＝d/Z
Z＝L·d/(E+d)...(1)
其中，在整个说明书和附图中，各式中的“·”表示相乘。
观看距离L和深度Z之间的关系如下文所述。
现在考虑当观看距离变为观看距离L′(观看距离L′是从原始观看距离L乘以因子S而变化得到的，即L′＝S·L)时的深度Za。
根据等式(1)可知，Za＝L′·d/(E+d)成立。因为L′＝S·L，所以等式(2)成立：
Za＝S·L·d/(E+d)...(2)
可以通过等式(3)来表示等式(2)。
Za＝S·Z...(3)
因此，当将观看距离以因子S来变化时，深度(突出量或后退量)Za也从原始深度Z以因子S而变化。
显示尺寸和深度Z之间的关系如下文所述。
当显示尺寸从原始显示尺寸以因子S而变化时，视差量d′也以因子S而变化(d′＝S·d)。根据等式(1)，通过Zb＝L·d′/(E+d′)来表示当视差量d′＝S·d时的深度Zb。因为d′＝S·d，所以等式(4)成立。
Zb＝L·S·d/(E+S·d)...(4)
通过使用等式(1)来消除等式(4)中的d，下面的等式(5)成立。
Zb＝L·S·Z/(L-Z+S·Z)...(5)
因此，当显示尺寸从原始显示尺寸以因子S而变化时，深度Zb如等式(5)所示的那样相对于原始深度Z是非线性的。
深度Z和眼间距离之间的关系如下文所述。
现在考虑当眼间距离从原始眼间距离E以因子S改变(E′＝S·E)时的深度Zc。根据等式(1)，Zc＝L·d/(E′+d)成立。因为E′＝S·E，等式(6)可以成立。
Zc＝L·d/(S·E+d)...(6)
通过使用等式(1)来消除等式(6)中的d，下面的等式(7)成立。
Zc＝L·Z/(S·L-S·Z+Z)...(7)
因此，当眼间距离从原始眼间距离E以因子S改变时，深度Zc如等式(7)所示的那样相对于原始深度Z是非线性的。
图15示出用于表示当改变观看距离、显示尺寸和眼间距离时改变的深度Za、Zb、Zc分别相对于原始深度Z的关系的、等式(3)、(5)和(7)的示例。
在图15中，原始观看环境参数如下：观看距离L是1500mm；显示尺寸是42英寸；并且眼间距离E是65mm。
图15中的等式(3)表示当观看距离L被提高到2250mm时改变的深度Za相对于原始深度Z的关系。
图15中的等式(5)表示当显示尺寸被提高到63英寸时改变的深度Zb相对于原始深度Z的关系。
图15中的等式(7)表示当眼间距离E被提高到97.5mm时改变的深度Zc相对于原始深度Z的关系。
现在根据深度改变和观看环境参数的改变之间的上述关系来描述校正量，即虚拟摄像机间距离和图像缩放量。
首先描述当观看距离以因子S改变(即L′＝S·L)时的校正量。
假定用Z’来指示当观看距离L变为观看距离L’时的深度Za，可以通过等式(8)来表示等式(2)。
Z′(d)＝S·L·d/(E+d)...(8)
考虑用于校正使改变的深度Z’与原始深度Z相同的视差量d的等式。假定用d′来表示校正的视差量，则如下定义等式(9)。
d′＝f(d)...(9)
通过改变等式(8)中的视差量d而获得等式(10)。
Z′(d′)＝S·L·d′/(E+d′)...(10)
考虑使改变的深度Z’与原始深度Z相同的等式d′＝f(d)，因为Z＝Z′，所以等式(11)成立。
Z＝Z′
L′·d/(E+d)＝S·L·d′/(E+d′)
S·d′·(E+d)＝d·(E+d′)
d′·(S·E+S·d-d)＝d·E
d′＝d·E/(S·E+S·d-d)...(11)
因此，当观看距离从原始观看距离以因子S改变时，为了消除观看距离的这种改变，视差量被改变为通过非线性等式(11)而获得的视差量d′。
图16示出当观看距离被改变为原始观看距离的200％和50％(L′/L)时等式(11)的原理图。
在这个实施例中，将虚拟摄像机间距离作为为视差控制参数来提供。因此，当观看距离从原始观看距离以因子S而发生时，为了消除这样的改变，将由等式(12)表示的虚拟摄像机间距离C(d)作为校正量来提供。
C(d)＝d′/d...(12)
图17A示出在观看距离L是1500mm、显示尺寸是42英寸并且眼间距离E是65mm的观看环境下将观看距离L加倍时的等式(11)。
图17B以由等式(12)C(d)＝d′/d表示的虚拟摄像机间距离的形式来示出图17A中所示的等式(11)。
下面描述当显示尺寸从原始显示尺寸以因子S改变时的校正量。
当显示尺寸以因子S改变时，视差量也以因子S改变。因此，将视差量改变为原始视差量的1/S的虚拟摄像机间距离或图像缩放量被设置为校正量。例如，如果视差量被提高四倍，则虚拟摄像机间距离被减小为原始虚拟摄像机间距离的25％，或图像缩放量被缩小为原始图像缩放量的25％。
或者，虚拟摄像机间距离和图像缩放量的组合可以被设置为校正量。例如，如果虚拟摄像机间距离与图像缩放量的控制比是50∶50，则可以产生具有50％的虚拟摄像机间距离的3D图像，然后，可以用50％的图像缩放比对所产生的3D图像执行图像缩放处理。
下面描述当眼间距离以因子S而改变(E′＝S·E)时的校正量。
如上文所述的观看距离的情况那样，假定用Z′来表示当眼间距离被改变到眼间距离E’时的深度Zc，则可以通过等式(13)来表示等式(6)。
Z′(d)＝L·d/(S·E+d)...(13)
考虑用于改变使改变的深度Z’与原始深度Z相同的视差量d的等式。
通过改变等式(13)中的视差量d，获得等式(14)。
Z′(d′)＝L·d′/(S·E+d′)...(14)
考虑使改变的深度Z’与原始深度Z相同的等式d′＝f(d)，根据等式(13)和等式(14)来建立等式(15)。
Z＝Z′
L·d/(E+d)＝L·d′/(S·E+d′)
d′·(E+d)＝d·(S·E+d′)
d′·(E+d′·d)＝d·S·E+d·d′
d′＝S·d...(15)
因此，当眼间距离从原始眼间距离以因子S改变时，视差量以因子S改变，由此消除由于眼间距离的变化而引起的深度的改变。
在上面的描述中，改变前的观看距离、显示尺寸和眼间距离对应于预设的观看环境参数，而改变后的观看距离、显示尺寸和眼间距离对应于实际观看环境参数。
图18示出用于消除由于预设的观看环境参数与实际观看环境参数(如观看距离、显示尺寸和眼间距离)之间的差而引起的深度的改变的处理的概要。
在图18中，改变观看环境参数的因子S被设置为4或1/4，即，观看距离、显示尺寸或眼间距离被增大到原始观看环境参数的四倍或缩小到原始观看环境参数的1/4。
在图18中，当校正量是虚拟摄像机间距离和图像缩放量的组合时，虚拟摄像机间距离与图像缩放量的控制比是50∶50。
在通过控制虚拟摄像机间距离而获得的图像中，如果图像具有阻塞(occlusion)，则会出现假象(artifact)。在通过控制图像缩放量而获得的图像中，高宽比被改变。因此，通过虚拟摄像机间距离控制和图像缩放控制的组合，可以在减少假象出现的同时抑制高宽比的改变。在这种情况下，当分别用Rs和Rc来表示图像缩放量和虚拟摄像机间距离并且用R′来表示必要的视差量的放大率时，可以使用满足R′＝Rs·Rc的Rs和Rc。
下面参考图19的流程图来详细描述由具有上述的第一配置的校正处理器54执行的校正处理，即图8的步骤S34中的第一校正处理。
在这个实施例中，假定虚拟摄像机间距离与图像缩放量的控制比是50∶50。另外，为了描述简单，假定在预设的观看环境和实际观看环境之间三个观看环境参数(如观看距离、显示尺寸和眼间距离)中仅一个是不同的。
在步骤S51中，视差控制参数计算器81从读取器51获得预设的观看环境参数，并且从操作输入单元55获得实际观看环境参数。向操作输入单元55输入的实际观看环境参数可以预先被存储在预定存储单元中。在该情况下，视差控制参数计算器81可以从存储单元中获得实际观看环境参数。
在步骤S52中，视差检测器91根据例如块匹配方法来检测从视频解码器53提供的左眼图像的每一像素和右眼图像的对应像素之间的视差量。所检测的左眼图像和右眼图像之间的对应像素的视差量作为例如视差图被提供到虚拟摄像机间距离图像产生器92。
在步骤S53中，视差控制参数计算器81将所提供的预设的观看环境参数与实际观看环境参数作比较，以便确定观看距离是否不同。如果在步骤S53中确定观看距离不同，则处理进行到步骤S54。在步骤S54中，视差控制参数计算器81根据观看距离的改变来确定虚拟摄像机间距离。根据等式(11)和等式(12)来确定虚拟摄像机间距离。改变前的观看距离是预设的观看环境参数中的观看距离，而改变后的观看距离是实际观看环境参数中的观看距离。视差控制参数计算器81将所确定的虚拟摄像机间距离作为视差控制参数提供到虚拟摄像机间距离图像产生器92。
在步骤S55中，虚拟摄像机间距离图像产生器92产生以从视差控制参数计算器81提供的虚拟摄像机间距离来捕获的左眼图像和右眼图像，并且向图像缩放单元93提供所产生的左眼图像和右眼图像。图像缩放单元93输出所提供的左眼图像和右眼图像而不对它们进行改变。
如果在步骤S53中确定观看距离是相同的，则跳过步骤S54和S55，并且处理进行到步骤S56。
在步骤S56中，视差控制参数计算器81将所提供的预设的观看环境参数与所提供的实际观看环境参数作比较，以便确定显示尺寸是否不同。如果在步骤S56确定显示尺寸不同，则处理进行到步骤S57。在步骤S57中，视差控制参数计算器81根据显示尺寸上的改变来确定虚拟摄像机间距离和图像缩放量。由于虚拟摄像机间距离与图像缩放量的控制比是50∶50，因此，视差控制参数计算器81根据显示尺寸上的改变来确定用于校正视差的改变量的一半的、虚拟摄像机间距离和图像缩放量中的每一个。视差控制参数计算器81分别向虚拟摄像机间距离图像产生器92和图像缩放单元93提供所确定的虚拟摄像机间距离和所确定的图像缩放量。
然后，在步骤S58中，虚拟摄像机间距离图像产生器92产生以从视差控制参数计算器81提供的虚拟摄像机间距离来捕获的左眼图像和右眼图像，并且将产生的左眼图像和右眼图像提供到图像缩放单元93。
在步骤S59中，图像缩放单元93产生具有从视差控制参数计算器81提供的图像缩放量的左眼图像和右眼图像，并且输出所产生的左眼图像和右眼图像。
如果在步骤S56中确定显示尺寸是相同的，则跳过步骤S57至S59，并且处理进行到步骤S60。
在步骤S60，视差控制参数计算器81将所提供的预设的观看环境参数与实际观看环境参数作比较，以便确定眼间距离是否不同。如果在步骤S60确定眼间距离不同，则处理进行到步骤S61。在步骤S61，视差控制参数计算器81根据眼间距离的改变来确定虚拟摄像机间距离和图像缩放量。由于虚拟摄像机间距离与图像缩放量的控制比是50∶50，因此视差控制参数计算器81根据眼间距离的改变来确定用于校正视差的改变量的一半的、虚拟摄像机间距离和图像缩放量中的每一个。视差控制参数计算器81分别向虚拟摄像机间距离图像产生器92和图像缩放单元93提供所确定的虚拟摄像机间距离和所确定的图像缩放量。
然后，在步骤S62，虚拟摄像机间距离图像产生器92产生以从视差控制参数计算器81提供的虚拟摄像机间距离来捕获的左眼图像和右眼图像，并且向图像缩放单元93提供所产生的左眼图像和右眼图像。
在步骤S63中，图像缩放单元93产生具有从视差控制参数计算器81提供的图像缩放量的左眼图像和右眼图像，并且输出所产生的左眼图像和右眼图像。处理然后结束。
如上所述，使用具有第一配置的校正处理器54，通过改变虚拟摄像机间距离和/或图像缩放量，可以校正由于预设的观看环境参数和实际观看环境参数之间的差而引起的、用户感知到的三维失真。
在如上所述的示例中，当三个观看环境参数(如观看距离、显示尺寸和眼间距离)中仅一个不同时，执行第一校正处理。然而，当两个或更多个观看环境参数不同时，也可以用类似于如上所述的方式来执行处理。例如，如果观看距离和显示尺寸不同，则由于观看距离的改变而引起的改变的虚拟摄像机间距离以及由于显示尺寸的改变而引起的改变的虚拟摄像机间距离的乘积是总的虚拟摄像机间距离，该总的虚拟摄像机间距离用作校正量。
在如上所述的示例中，虚拟摄像机间距离与图像缩放量的控制比是50∶50。然而，如果仅通过使用虚拟摄像机间距离和图像缩放量中的一个来进行校正，则省略步骤S58和S62或步骤58和S63。
4.播放设备的校正处理器的第二示例
下面描述由具有第二配置的校正处理器54执行的校正处理。
在具有第一配置的上述的校正处理器54中，通过改变虚拟摄像机间距离和图像缩放量来校正三维失真。相对比地，在具有第二配置的校正处理器54中，通过在出现视差的方向上(在水平方向上)移位左眼图像和右眼图像来校正由于预设的观看环境参数和实际观看环境参数之间的差而引起的三维失真。在该情况下，视差控制参数为形成图像的图像像素被移位的量。
图20示出在通过将图像移位而进行校正前后的左眼图像和右眼图像的示例。
在图20中，被示出为原始图像的左眼图像和右眼图像是校正之前的图像。
在图20中，被示出为向外移位的图像的左眼图像和右眼图像是通过将原始左眼图像和右眼图像向外移动总共100个像素(-100像素)使得在向后的方向(远离观众)上改变深度来获得的。
在图20中，被示出为向内移位的图像的左眼图像和右眼图像是通过将原始左眼图像和右眼图像向内移动总共100个像素(+100像素)使得在向前的方向(朝向观众)上改变深度来获得的。
图21示出当如图20中所示的那样向外和向内移位图像时视差量上的改变。
如图21中所示，当向外移位图像时，深度在向后的方向上改变，并且当向内移位图像时，深度在向前的方向上改变。
在使用图像移位的校正处理中，难以完全地校正由于预设的观看环境参数和实际观看环境参数之间的差而引起的、用户感知到的三维失真。因此，在具有第二配置的校正处理器54中进行精确的校正，以达到视差量的预定点，如达到左眼图像的像素和右眼图像的相关联的像素之间的视差量的平均值、最大值、最小值或出现频率最大的值。
例如，图22A示出左眼图像的像素和右眼图像的相关联的像素之间的视差量的频率分布。如果实际观看环境的显示尺寸是预设的观看环境的两倍大，则用户观察到的、左眼图像和右眼图像之间的视差量的频率分布如图22B中所示。
在图22B中所示的实际观看环境中的视差量的频率分布中，因为显示尺寸加倍，所以深度也变得加倍。更具体地，进一步在向后的方向上改变从显示单元向后的深度，并且进一步在向前的方向上改变从显示单元向前的深度。相对于视差0，视差量变为预设的观看环境中的两倍。
图22C示出通过以下述方式获得的频率分布：将由图22B指示的实际观看环境中的视差量的频率分布移位，使得图22B中所示的视差量的预定点(如视差量的出现频率最大的值)与图22A中的重合。
以这种方式，在具有第二配置的校正处理器54中执行了用于精确地校正左眼图像和右眼图像之间的视差量的预定点的图像移位处理。
图23是示出执行上述图像移位处理的校正处理器54的第二配置的示例框图。
图23中所示的校正处理器54包括视差控制参数计算器101和视差控制器102。视差控制器102包括视差检测器111和图像移位单元112。
从读取器51接收的预设的观看环境参数和从操作输入单元55接收的实际观看环境参数被提供到视差控制参数计算器101。视差图也被从视差控制器102的视差检测器111提供到视差控制参数计算器101。
视差控制参数计算器101基于从视差检测器111提供的视差图来产生左眼图像的像素和右眼图像的相关联的像素之间的视差量的频率分布。
视差控制参数计算器101计算图像要移位的量(该量在下文中被称为“图像移位量”)。通过基于预设的观看环境参数和实际观看环境参数之间的差来移位所产生的频率分布的预定基准点来执行这种图像移位。响应于用户利用例如设置屏幕而给出的指令，视差控制参数计算器101将左眼图像的像素和右眼图像的相关联的像素之间视差量的平均值、最大值、最小值和出现频率最大的值中被用作基准点的那一个存储于其中。视差控制参数计算器101向视差控制器102的图像移位单元112提供所计算的图像移位量。
与图9中所示的具有第一配置的校正处理器54的视差检测器91相同，视差检测器111通过使用例如块匹配方法来检测左眼图像的像素和右眼图像的相关联的像素之间的视差量。所得到的视差图被提供到视差控制参数计算器101。
图像移位单元112根据从视差控制参数计算器101提供的图像移位量，对形成从视频解码器53(图7)提供的原始图像(校正前)的左眼图像和右眼图像执行图像移位操作。然后，向显示单元61(图7)输出经过图像移位操作的左眼图像和右眼图像的图像数据。
现在描述图像移位量的改变与每个观看环境参数(诸如观看距离、眼间距离和显示尺寸)的改变之间的关系。
首先描述当原始观看距离L以因子S被改变(即L′＝S·L)时的图像移位量。
通过等式(2)来表示当原始观看距离L以因子S而被改变为观看距离L′(即L′＝S·L)时的深度Za。假定用Z’来表示深度Za，则可以通过等式(8)来表示等式(2)。
考虑用于校正使改变的深度Z’与原始深度Z相同的视差量d的等式。假定用d′来表示经校正的视差量，并且用“shift”来表示要确定的图像移位量，则等式(16)被如下定义。
d′＝f(d)＝d+shift...(16)
考虑使得改变的深度Z’与原始深度Z相同的等式d′＝f(d)，通过使用等式(11)来以等式(17)表示图像移位量。
d′＝d·E/(S·E+S·d-d)
d+shift＝d·E/(S·E+S·d-d)
shift＝d·E/(S·E+S·d-d)-d...(17)
因此，当原始观看距离以因子S改变时，为了消除观看距离上的这种的改变，图像被移位等式(17)所表示的图像移位量。
例如，当观看距离L是1500mm、显示尺寸是46英寸、眼间距离E是65mm、并且最大视差量是20像素(像素间距是每一个像素0.53mm，并且像素的长度是10.6mm)时，当观看距离被提高两倍时，如以下面的方式计算的，图像移位量“shift”是-11个像素。
shift＝10.6×65/(2.0×65+2.0×10.6-10.6)-10.6
＝-5.7mm
＝-10.8像素
≈-11像素
下面描述当原始眼间距离以因子S改变时的图像移位量。
为了消除眼间距离的以因子S的改变，如等式(15)所示，需要以因子S来改变视差量。由于如等式(16)所示d′＝d+shift，因此，可以通过等式(18)来表示图像移位量“shift”。
d′＝S·d
d+shift＝S·d
shift＝(S-1)·d...(18)
因此，当原始眼间距离以因子S改变时，为了消除眼间距离上的这种的改变，图像被移位等式(18)所表示的图像移位量“shift”。等式(18)中的视差量d指示将基准点移位前的视差量，该基准点例如为左眼图像的像素和右眼图像的相关联的像素之间的视差量的平均值、最大值、最小值或出现频率最大的值。
例如，当视差量的最大值(作为移位前的基准点)是20像素时，并且当眼间距离被提高到原始眼间距离的两倍时，如下所示的那样，图像移位量“shift”被计算为20像素：
shift＝(2-1)×20＝20
图24示出用于消除由于预设的观看环境参数和实际观看环境参数(如观看距离、显示尺寸和眼间距离)之间的差而引起的深度上的改变的图像移位校正处理。
在图24中，改变观看环境参数的因子S被设置为4或1/4，即，观看距、显示尺寸或眼间距离被增大为原始观看环境参数的四倍或减小到原始观看环境参数的1/4。
下面参考图25的流程图来详细描述由具有如上所述的第二配置的校正处理器54执行的第二校正处理，即图8中的步骤S34中的第二校正处理。如同图19中所示的处理那样，假定在预设的观看环境和实际观看环境之间三个观看环境参数(如观看距离、显示尺寸和眼间距离)中仅一个是不同的。
在步骤S71中，视差控制参数计算器101获得从读取器51提供的预设的观看环境参数和从操作输入单元55提供的实际观看环境参数。
在步骤S72中，视差检测器111根据例如块匹配方法来检测从视频解码器53提供的左眼图像的像素和右眼图像的相关联的像素之间的视差量。所检测到的左眼图像的像素和右眼图像的相关联的像素之间的视差量作为例如视差图而被提供到视差控制参数计算器101。
在步骤S73中，视差控制参数计算器101根据观看距离、显示尺寸或眼间距离上的改变来确定图像移位量。所确定的图像移位量被提供到图像移位单元112。
在步骤S74中，图像移位单元112产生被移位从视差控制参数计算器101提供的图像移位量的左眼图像和右眼图像。之后，图像移位单元112输出所产生的左眼图像和右眼图像的图像数据。然后，处理结束。
如上所述，使用具有第二配置的校正处理器54，通过执行图像移位处理，可以校正由于预设的观看环境参数和实际观看环境参数之间的差而引起的、用户感知到的三维失真。
在上述示例中，校正处理器54具有第一配置和第二配置之一。然而，校正处理器54可以具有第一配置和第二配置两者，以便通过使用第一配置和第二配置中的任何一个来执行校正处理。在该情况下，用户可以选择第一校正处理或第二校正处理中要执行的那一个，或可以根据要播放的画面的类型来选择处理。
另外，使用诸如观看距离、显示尺寸和眼间距离等的三种类型的观看环境参数。然而，可以仅使用这些参数中的一个或两个。
在上述示例中，本发明的实施例被应用到播放设备。然而，其还可以被应用到除播放设备之外的设备。例如，可以通过经由诸如卫星广播、有线电视(TV)或因特网等网络的传输来提供3D内容视频数据和预设的观看环境参数。因此，本发明的实施例可以被应用到接收通过经由网络的传输来发送的3D内容视频数据和预设的观看环境参数的显示设备或记录/播放设备，根据预设的观看环境参数和实际观看环境参数之间的差来校正3D画面，并且显示所得到的画面。本发明的实施例可以被用作图像处理设备，该图像处理设备获得实际观看环境参数以及3D内容视频数据连同预设的观看环境参数，然后校正3D视频数据并输出经校正的3D视频数据。
5.本发明的实施例所应用到的计算机
可以通过硬件或软件来执行上述的一系列处理。如果使用软件，则在例如通用计算机中安装形成该软件的程序。
图26示出根据本发明的一个实施例的、其中要安装用于执行上述一系列处理操作的程序的计算机的配置的示例。
可以预先在作为计算机内置的记录介质的存储单元208或只读存储器(ROM)202上记录程序。
或者，可以在可拆卸介质211中存储(记录)程序。可拆卸介质211可以作为所谓的软件包来提供。可拆卸介质211可以包括致密盘只读存储器(CD-ROM)、磁光(MO)盘、数字通用盘(DVD)、磁盘、半导体存储器等。
可以从上述的可拆卸介质211经由驱动器210向计算机内安装程序。或者，可以经由通信网络或广播网络向计算机内下载程序，并且将其安装在内置的存储单元208中。即，通信单元209可以经由有线或无线传输介质来接收程序，并且将该程序安装在存储单元208中。
该计算机具有内置的中央处理单元(CPU)201，并且输入/输出接口205经由总线204连接到CPU201。
CPU201响应于从用户通过操作输入单元206经由输入/输出接口205而输入的指令来执行ROM202中存储的程序。或者，CPU201可以将存储单元208中存储的程序安装到随机存取存储器(RAM)203内，并且执行所安装的程序。
CPU201根据上述流程图或由上述设备的元件执行的操作来执行处理。然后，如果必要，CPU201从输出单元207输出处理结果，或从通信单元209发送它们，或经由输入/输出接口205将它们记录在存储单元208中。
输入单元206可以包括键盘、鼠标、麦克风等。输出单元207可以包括液晶显示器(LCD)、扬声器等。
在本说明书中，不必以流程图中所示的顺序那样以时间顺序来执行由计算机根据程序来执行的处理。即，由计算机根据程序执行的处理包括并行或单独地执行的处理(例如，并行处理或对象处理)。
所述程序可以由单个计算机(处理器)执行或可以由多个计算机执行(分布处理)。所述程序可以被传送到远程计算机并且被执行。
在上述实施例中已经描述了具有两个视点的两视点3D画面。然而，具有三个或更多数量的视点的多视点3D画面也可以应用到本发明的实施例。
本发明的实施例不限于上文描述实施例，而是可以在不偏离本发明的主旨的情况下进行各种修改。
本申请包含与2010年4月14日提交于日本专利局的日本优先权专利申请JP2010-092816中公开的主题相关的主题，该申请的整体内容通过引用被包含在此。
本领域的技术人员应当明白，可以根据设计需求和其他因素进行各种修改、组合、子组合和替代，只要这些修改、组合、子组合和替代在所附权利要求或其等同的范围内。

Claims (2)

1.一种图像处理设备，包括：
第一获取部件，用于获取预设的观看环境参数连同三维画面的图像数据，所述预设的观看环境参数是预设的观看环境的参数；
第二获取部件，用于获取实际观看环境参数，所述实际观看环境参数是用户观看所述三维画面的实际观看环境的参数；以及
校正处理部件，用于根据所获取的预设的观看环境参数和所获取的实际观看环境参数之间的差来校正所述三维画面，
其中，所述预设的观看环境参数和所述实际观看环境参数中的每一个是眼间距离、观看距离和显示尺寸中的至少一个，
其中，所获取的三维画面的图像数据包括以预定的摄像机间距离来捕获的左眼图像和右眼图像，并且
所述校正处理部件包括：
虚拟摄像机间距离图像产生部件，用于产生以基于所述预定的摄像机间距离而改变的虚拟摄像机间距离来捕获的左眼图像和右眼图像，
图像缩放部件，用于缩放由所述虚拟摄像机间距离图像产生部件产生的左眼图像和右眼图像，以及
控制参数计算部件，用于根据形成所述预设的观看环境参数的眼间距离、观看距离或显示尺寸与形成所述实际观看环境参数的眼间距离、观看距离或显示尺寸之间的差来计算作为在所述虚拟摄像机间距离图像产生部件中使用的校正量的虚拟摄像机间距离或作为在所述图像缩放部件中使用的校正量的图像缩放量。
2.一种用于图像处理设备的图像处理方法，该图像处理设备包括用于获取数据的第一获取部件、用于获取数据的第二获取部件和用于校正三维画面的校正处理部件，所述图像处理方法包括以下步骤：
所述第一获取部件获取预设的观看环境参数连同三维画面的图像数据，所述预设的观看环境参数是预设的观看环境的参数；
所述第二获取部件获取实际观看环境参数，所述实际观看环境参数是用户观看所述三维画面的实际观看环境的参数；以及
所述校正处理部件根据所获取的预设的观看环境参数和所获取的实际观看环境参数之间的差来校正所述三维画面，
其中，所述预设的观看环境参数和所述实际观看环境参数中的每一个是眼间距离、观看距离和显示尺寸中的至少一个，
所获取的三维画面的图像数据包括以预定的摄像机间距离来捕获的左眼图像和右眼图像，并且所述校正处理部件执行如下步骤：
由控制参数计算部件根据形成所述预设的观看环境参数的眼间距离、观看距离或显示尺寸与形成所述实际观看环境参数的眼间距离、观看距离或显示尺寸之间的差来计算作为在虚拟摄像机间距离图像产生部件中使用的校正量的虚拟摄像机间距离或作为在图像缩放部件中使用的校正量的图像缩放量，
由所述虚拟摄像机间距离图像产生部件产生以基于所述预定的摄像机间距离而改变的所述虚拟摄像机间距离来捕获的左眼图像和右眼图像，以及
由所述图像缩放部件缩放由所述虚拟摄像机间距离图像产生部件产生的左眼图像和右眼图像。
CN201110091488.XA 2010-04-14 2011-04-07 图像处理设备、图像处理方法 Expired - Fee Related CN102223550B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010092816A JP2011223482A (ja) 2010-04-14 2010-04-14 画像処理装置、画像処理方法、およびプログラム
JP2010-092816 2010-04-14

Publications (2)

Publication Number Publication Date
CN102223550A CN102223550A (zh) 2011-10-19
CN102223550B true CN102223550B (zh) 2015-11-25

Family

ID=44779955

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110091488.XA Expired - Fee Related CN102223550B (zh) 2010-04-14 2011-04-07 图像处理设备、图像处理方法

Country Status (3)

Country Link
US (1) US9219911B2 (zh)
JP (1) JP2011223482A (zh)
CN (1) CN102223550B (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9485494B1 (en) * 2011-04-10 2016-11-01 Nextvr Inc. 3D video encoding and decoding methods and apparatus
WO2013073028A1 (ja) * 2011-11-16 2013-05-23 株式会社 東芝 画像処理装置、立体画像表示装置、画像処理方法および画像処理プログラム
JP5580486B2 (ja) 2011-12-19 2014-08-27 富士フイルム株式会社 画像出力装置、方法およびプログラム
WO2013094329A1 (ja) * 2011-12-19 2013-06-27 富士フイルム株式会社 画像処理装置、方法およびプログラムならびにその記録媒体
JP6021328B2 (ja) * 2011-12-22 2016-11-09 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、およびプログラム
US9495795B2 (en) 2012-01-16 2016-11-15 Panasonic Intellectual Property Management Co., Ltd. Image recording device, three-dimensional image reproducing device, image recording method, and three-dimensional image reproducing method
WO2013114887A1 (en) * 2012-02-02 2013-08-08 Panasonic Corporation Methods and apparatuses for 3d media data generation, encoding, decoding and display using disparity information
CN104160699B (zh) * 2012-03-07 2016-12-21 富士通株式会社 立体图像显示装置以及立体图像显示方法
KR20130134103A (ko) * 2012-05-30 2013-12-10 삼성전자주식회사 단말기의 이미지 제공 장치 및 방법
CN102752621A (zh) 2012-06-26 2012-10-24 京东方科技集团股份有限公司 景深保持装置、3d显示装置及显示方法
CN103688535B (zh) 2012-07-19 2017-02-22 太阳专利托管公司 图像编码方法、图像解码方法、图像编码装置及图像解码装置
CN103402106B (zh) * 2013-07-25 2016-01-06 青岛海信电器股份有限公司 三维图像显示方法及装置
US9924150B2 (en) 2013-12-24 2018-03-20 Intel Corporation Techniques for stereo three dimensional video processing
CN104023221B (zh) * 2014-06-23 2016-04-13 深圳超多维光电子有限公司 立体图像视差调节方法和装置
JP6415900B2 (ja) * 2014-08-26 2018-10-31 オリンパス株式会社 画像記録装置
CN105872528B (zh) * 2014-12-31 2019-01-15 深圳超多维科技有限公司 3d显示方法、装置及3d显示设备
CN105353882B (zh) * 2015-11-27 2018-08-03 广州视源电子科技股份有限公司 一种显示系统控制方法和装置
CN105611278B (zh) * 2016-02-01 2018-10-02 欧洲电子有限公司 防裸眼3d观看眩晕感的图像处理方法及系统和显示设备
JP6925816B2 (ja) * 2017-02-09 2021-08-25 株式会社小松製作所 位置計測システム、作業機械、及び位置計測方法
JP7294776B2 (ja) * 2018-06-04 2023-06-20 オリンパス株式会社 内視鏡プロセッサ、表示設定方法、表示設定プログラムおよび内視鏡システム
TWI824289B (zh) * 2021-02-08 2023-12-01 明俐科技有限公司 影像處理演算法的測試系統及測試方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1448029A (zh) * 2000-08-18 2003-10-08 去来株式会社 校正三维图像的方法和系统
CN1864415A (zh) * 2003-08-26 2006-11-15 夏普株式会社 立体视频再生装置及立体视频再生方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2735936B1 (fr) * 1995-06-22 1997-08-29 Allio Pierre Procede d'acquisition d'images autostereoscopiques simulees
JP3423189B2 (ja) 1997-05-27 2003-07-07 三洋電機株式会社 ディジタル立体放送によるテロップ表示装置
US7417664B2 (en) * 2003-03-20 2008-08-26 Seijiro Tomita Stereoscopic image picking up and display system based upon optical axes cross-point information
JP4440067B2 (ja) * 2004-10-15 2010-03-24 キヤノン株式会社 立体表示のための画像処理プログラム、画像処理装置および立体表示システム
US8619121B2 (en) * 2005-11-17 2013-12-31 Nokia Corporation Method and devices for generating, transferring and processing three-dimensional image data
JP4793366B2 (ja) 2006-10-13 2011-10-12 日本ビクター株式会社 多視点画像符号化装置、多視点画像符号化方法、多視点画像符号化プログラム、多視点画像復号装置、多視点画像復号方法、及び多視点画像復号プログラム
US8390674B2 (en) * 2007-10-10 2013-03-05 Samsung Electronics Co., Ltd. Method and apparatus for reducing fatigue resulting from viewing three-dimensional image display, and method and apparatus for generating data stream of low visual fatigue three-dimensional image

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1448029A (zh) * 2000-08-18 2003-10-08 去来株式会社 校正三维图像的方法和系统
CN1864415A (zh) * 2003-08-26 2006-11-15 夏普株式会社 立体视频再生装置及立体视频再生方法

Also Published As

Publication number Publication date
US20110254925A1 (en) 2011-10-20
CN102223550A (zh) 2011-10-19
US9219911B2 (en) 2015-12-22
JP2011223482A (ja) 2011-11-04

Similar Documents

Publication Publication Date Title
CN102223550B (zh) 图像处理设备、图像处理方法
US10051257B2 (en) 3D image reproduction device and method capable of selecting 3D mode for 3D image
US9432651B2 (en) Versatile 3-D picture format
EP2380357B2 (en) Method and device for overlaying 3d graphics over 3d video
US8780173B2 (en) Method and apparatus for reducing fatigue resulting from viewing three-dimensional image display, and method and apparatus for generating data stream of low visual fatigue three-dimensional image
CN103024408B (zh) 立体图像转换装置和方法、立体图像输出装置
TWI573425B (zh) 產生三維視訊信號
KR20120079101A (ko) ３ｄ 스크린 사이즈 보상
CN102223551B (zh) 图像处理设备和图像处理方法
WO2012060198A1 (ja) 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
KR101834934B1 (ko) ３ｄ 이미지 데이터의 전송
WO2009034519A1 (en) Generation of a signal
KR20150004823A (ko) 심도 헬퍼 데이터
JP5415217B2 (ja) 三次元映像処理装置
WO2012057048A1 (ja) 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
WO2012026342A1 (ja) 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
KR20130057974A (ko) 데이터 구조, 화상 처리 장치, 화상 처리 방법 및 프로그램
JP2011228950A (ja) データ構造、画像処理装置、画像処理方法、およびプログラム
KR20110114583A (ko) 디스플레이 파라미터 설정들의 제어
KR20140048994A (ko) 3ｄ 이미지들을 디스플레이하기 위한 디스플레이 장치
US8675050B2 (en) Data structure, recording apparatus and method, playback apparatus and method, and program
KR101674688B1 (ko) 입체영상 재생 장치 및 입체영상 재생 방법
WO2013153523A2 (en) Depth signaling data
EP2685730A1 (en) Playback device, playback method, and program

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20151125

Termination date: 20210407