CN102480630A - 信息处理设备、信息处理方法和程序 - Google Patents

Abstract

本发明涉及一种信息处理设备，包括：校正部分，适用于基于立体图像中包括的素材主体在深度方向上的位置来校正与立体图像相关的声音信息；以及输出控制部分，适用于当显示立体图像时输出校正后的声音图像。

Description

信息处理设备、信息处理方法和程序

技术领域

本公开涉及一种信息处理设备，且更具体地涉及处理信息来显示立体图像的信息处理设备和信息处理方法和用于使得计算机执行该方法的程序。

背景技术

已经提出了用于显示诸如从左眼图像和右眼图像形成的两视点图像的立体图像或3D(三维)图像的大量立体图像显示方法，其中可以通过使用在左眼和右眼之间的视差来获得立体效果。另外，近年来，得益于使用计算机在立体图像内容或3D内容的质量上的改进，在剧院等中频繁显示立体图像，并增加观看者的兴趣。

另外，与电视广播的数字化一起，可以传输过去不能通过模拟广播来传输的数字数据量。因此，预计，通过未来的数字广播，用于显示立体图像的数字数据被传输给家用电视机，以便有更多机会在家用电视机上显示立体图像。因此，预计，还将增加对立体图像的兴趣。

例如，作为用于显示立体图像的装置，已经在日本专利特开No.Hei9-322198中公开了立体视频显示电视装置，在其上，用户可以戴上快门眼镜来观看具有立体效果的视频。

发明内容

通过立体视频显示电视装置，可以适当地显示立体图像。

在此，当用户观看立体图像时，可以立体地观看到显示的对象的素材主体。另外，当用户观看立体图像时，在立体图像中包括的素材主体在深度方向上的位置看起来取决于素材主体的切换而不同。因此，预计，如果可以考虑立体地观看的素材主体在深度方向上的位置来输出声音，则可以更好地享受立体图像。

因此，期望提供信息处理设备和信息处理方法和程序，其中，当显示立体图像时，可以考虑立体图像中的素材主体在深度方向上的位置来输出声音。

因此，根据公开的技术的实施例，提供一种信息处理设备，包括校正部分，适用于基于立体图像中包括的素材主体在深度方向上的位置来校正与立体图像相关的声音信息；以及输出控制部分，适用于当显示立体图像时输出校正后的声音图像。而且，根据本公开的技术的实施例，提供一种用于使得计算机执行一种方法的信息处理方法和程序，所述方法包括基于立体图像中包括的素材主体在深度方向上的位置来校正与立体图像相关的声音信息；以及当显示立体图像时输出校正后的声音图像。在所述信息处理设备中，基于立体图像中包括的素材主体在深度方向上的位置来校正声音信息。则，当显示立体图像时，输出校正后的声音图像。

所述信息处理设备可以被配置以便其还包括检测部分，适用于检测在立体图像中包括的具体对象，以及所述校正部分基于被检测的具体对象在深度方向上的位置来校正要从被检测的具体对象发出的声音。在所述信息处理设备中，检测在立体图像中包括的具体对象，且基于所检测的具体对象在深度方向上的位置来校正从具体对象中发出的声音。

在这种情况下，所述信息处理设备可以被配置以便所述声音信息包括在中央声道、左声道和右声道中的声音，以及所述校正部分使用指示素材主体在深度方向上的位置、即指示被检测的具体对象在深度方向上的位置的参数之一来校正中央声道中的声音作为从被检测的具体对象中发出的声音，且使用除了指示被检测的具体对象在深度方向上的位置的参数之外的参数来校正左声道和右声道中的声音。在信息处理设备中，指示素材主体在深度方向上的位置的参数中指示被检测的具体对象在深度方向上的位置的那一个用于校正在中央声道中的声音。然后，使用除了指示被检测的具体对象在深度方向上的位置的参数之外的参数来校正左声道和右声道中的声音。

另外，在该情况下，所述校正部分可以计算除了指示被检测的具体对象在深度方向上的位置的参数之外的参数的平均值，并基于所计算的平均值来校正在左声道和右声道中的声音。在信息参考设备中，计算除了指示被检测的具体对象在深度方向上的位置的参数之外的参数的平均值，并基于所计算的平均值来校正在左声道和右声道中的声音。

所述校正部分可以使用指示素材主体在深度方向上的位置的参数来校正所述声音信息。在该信息处理设备中，使用指示素材主体在深度方向上的位置的参数来校正所述声音信息。

在该情况下，所述校正部分可以计算该参数的平均值并基于所计算的平均值来校正所述声音信息。在信息处理设备中，计算该参数的平均值并基于所计算的平均值来校正所述声音信息。

所述校正部分可以校正所述声音信息，以便根据在立体图像中包括的素材主体的背景的声音图像定位于背景在深度方向上的位置。在信息处理设备中，校正所述声音信息，以便根据在立体图像中包括的素材主体的背景的声音图像定位于背景在深度方向上的位置。

所述校正部分可以校正所述声音信息，以便根据所述声音信息的声音图像定位于素材主体在深度方向上的位置。在信息处理设备中，校正所述声音信息，以便根据所述声音信息的声音图像定位于立体素材主体在深度方向上的位置。

在该情况下，所述校正部分可以使用对应于素材主体在深度方向上的位置的头相关传输函数滤波器来校正所述声音信息。在该信息处理设备中，使用对应于立体素材主体在深度方向上的位置的头相关传输函数滤波器来校正声音信息。

在这种情况下，所述信息处理设备可以被配置以便其还可以包括保持部分，适用于为在深度方向上的多个位置保持多个头相关传输函数滤波器，其分别对应于在深度方向上的多个位置，以及所述校正部分选择头相关传输函数滤波器中对应于最靠近素材主体在深度方向上的位置的位置的那一个，并使用所选择的头相关传输函数滤波器来校正所述声音信息。在信息处理设备中，选择头相关传输函数滤波器中对应于最靠近立体素材主体在深度方向上的位置的位置的那一个，并使用所选择的头相关传输函数滤波器来校正所述声音信息。

或者所述信息处理设备可以被配置以便其还包括操作接受部分，适用于接受用于切换在立体图像中包括的素材主体在深度方向上的位置的切换操作，以及所述校正部分校正所述声音信息，以便当接受所述切换操作时，根据声音信息的声音图像定位于在切换之后的素材主体在深度方向上的位置。在所述信息处理设备中，当接受用于切换在立体图像中包括的素材主体在深度方向上的位置的切换操作时，校正所述声音信息，以便根据所述声音信息的声音图像定位于切换后的立体素材主体在深度方向上的位置。

总之，根据本公开的技术的信息处理设备可以实现较好的优点，当显示立体图像时，可以考虑立体图像中的素材主体在深度方向上的位置来输出声音。

附图说明

图1A和1B是图示使用应用了公开的技术的信息处理设备的不同例子的简化形式的示意图；

图2是图示根据本公开技术的第一实施例的信息处理设备的功能配置的例子的方框图；

图3是示出在图2所示的声音校正部分的功能配置的例子的方框图；

图4是示出在图2所示的立体图像校正部分的功能配置的例子的方框图；

图5是示出在图2所示的字幕产生部分的功能配置的例子的方框图；

图6是示出在图2所示的遥控器的外观配置的例子的示意图；

图7A和7B是图示配置在图2所示的显示部分上显示的立体图像的图像和在图像中包括的素材主体在深度方向上的位置之间的关系的示意图；

图8是图示在配置在图2所示的显示部分上显示的立体图像的图像中包括的素材主体的位移量之间的关系的示意图；

图9A和9B是示意地图示在图2所示的内容随附信息存储部分中存储的立体图像参数的图；

图10A和10B是图示在图2所示的内容存储部分中存储的立体图像内容的位移量和在图2所示的显示部分的显示面的位移量之间的关系的示意图；

图11是示意性地图示在其中观看在图2所示的显示部分上显示的立体图像的观看位置和素材主体、即立体图像中包括的立体素材主体的突出位置之间的关系的图；

图12A和12B是示意地图示由图2所示的立体图像校正部分分别在校正之前和校正之后的立体素材主体的位置的图；

图13是示意性地图示其中通过图2所示的声音校正部分来校正输出声音的校正方法的图；

图14是图示由图2所示的声音校正部分进行的声音校正处理的处理过程的例子的流程图；

图15是图示由图2所示的立体图像校正部分进行的立体图像校正处理的处理过程的例子的流程图；

图16是图示由图2所示的字幕产生部分进行的字幕产生处理的处理过程的例子的流程图；

图17A和17B是示意地图示按时序在图2所示的显示部分上显示的立体图像的图；

图18是示出在图2所示的声音校正部分的功能配置的另一例子的方框图；

图19A和19B、20A和20B和21A和21B是示意地图示由图2所示的立体图像校正部分调整深度量的不同例子的图；

图22A是示出图2所示的信息处理设备的外观配置的例子的示意图，且图22B是信息处理设备进行的校正处理的流程的简化形式的方框图；

图23是图示根据本公开技术的第二实施例的信息处理设备的功能配置的例子的方框图；

图24是示出在图23所示的立体图像校正部分的功能配置的例子的方框图；

图25是示出图23所示的图像拾取部分产生的图像的简化形式的示意图；

图26A和26B是示意性地图示在图23所示的显示部分上显示的立体图像的观看位置和观看立体图像的用户的会聚角之间的关系的图；

图27A是图示当获得图23所示的参考虹膜信息保持部分中保持的参考虹膜信息时的测量方法的图，且图27B是示意性地图示参考虹膜保持部分的所保持实体的图；

图28和29是示意性地图示校正在图23所示的显示部分上显示的立体图像中包括的立体素材主体的突出位置的不同例子的图；以及

图30是图示由图23所示的信息处理设备进行的立体图像显示处理的处理过程的例子的流程图.

具体实施方式

以下，将参考附图详细描述在此公开的技术的优选实施例。要注意，将以以下顺序来描述该描述：

1.第一实施例(立体图像输出控制：其中使用立体图像参数来校正立体图像和声音信息的例子)

2.第二实施例(立体图像输出控制：其中基于眼球的变化来校正立体素材主体的位置的例子)

<1.第一实施例>

信息处理设备的使用的例子

图1A和1B图示使用应用了公开的技术的信息处理设备的不同例子的简化形式。

具体地，图1A图示其中坐在椅子11上的用户或观看者10看信息处理设备100的显示部分181上显示的图像的状态。图1B图示其中坐在椅子11上的用户10看在提供了图像拾取部分610的信息处理设备600的显示部分181上显示的图像的另一状态。图1A和1B所示的用户10可以使用由其手握住的遥控器500来进行信息处理设备100或600的各种操作。要注意，此后与公开技术的第二实施例结合地详细描述提供了图像拾取部分610的信息处理设备600。

信息处理设备的配置的例子

图2图示根据本公开技术的第一实施例的信息处理设备100的功能配置的例子。参考图2，通过例如从广播站接收广播波并显示可以是立体图像或平面图像的图像的电视接收机或具有记录功能的电视接收机来实现信息处理设备100。

信息处理设备100包括控制部分110、操作接受部分115、内容存储部分121、内容随附信息存储部分122、获取部分130、声音校正部分140、立体图像校正部分150和字幕产生部分160。信息处理设备100还包括输出控制部分170、显示部分181、声音输出部分182和遥控器500。要注意，关于公开技术的第一实施例，在此省略用于通过天线从广播站接收广播波的广播接收部分、用于解码视频信号的视频解码部分、和用于解码音频信号的音频解码部分等的图示和描述，来有助于图示和描述。另外，在公开技术的第一实施例中，假设为了简化的描述，存储并然后显示通过广播接收部分接收并由视频解码部分和音频解码部分解码的内容、即图像数据或视频数据和音频数据。

控制部分110响应于由操作接受部分115接受的操作输入来控制信息处理设备100的组件。例如，如果接受用于显示立体图像的显示指令操作，则控制部分110进行用于使得根据显示指令操作的立体图像内容从显示部分181和声音输出部分182输出的控制。另一方面，如果例如接受用于校正立体图像的校正指令操作，则控制部分110进行用于使得响应于校正指令操作来进行图像校正处理的控制。另外，例如，如果例如接受用于校正立体图像的声音的校正指令操作，则控制部分110进行用于使得响应于校正指令操作来进行声音校正处理的控制。

操作接受部分115是用于接受用户的操作输入的操作接受部分，并响应于接受的操作输入而向控制部分110供应操作信号。操作接受部分115对应于例如用于开/关电源的操作元件。另外，如果操作接受部分115从遥控器500接受操作信号，则其向控制部分110供应接受的操作信号。

内容存储部分121被用于存储各种内容，并向获取部分130供应存储的内容。例如，内容存储部分121存储对应于由广播接收部分接收的广播波的内容，即图像数据和声音数据。另外，例如，内容存储部分121存储用于显示立体图像、即立体图像内容或立体图像信息的内容。

内容随附信息存储部分122是用于存储与内容存储部分121中存储的内容相关的随附信息的存储部分，并向获取部分130供应所存储的随附信息。例如，内容随附信息存储部分122存储与内容存储部分121中存储的立体图像内容相关的位移量保持表和以彼此相关的关系的二进制化数据，作为立体图像参数，其是随附信息。要注意，此后参考图9A和9B来描述位移量保持表和二进制化数据。另外，可以使用包括立体图像内容和关于立体图像的随附信息的内容作为立体图像内容或立体图像信息。

获取部分130在控制部分110的控制下，获取在内容存储部分121和内容随附信息存储部分122中存储的各种信息，并向信息处理设备100的组件供应所获取的信息。例如，如果获取部分130从内容存储部分121获取立体图像内容，则其从立体图像内容中向立体图像校正部分150供应图像数据，且从立体图像中向声音校正部分140供应声音数据。在该情况下，获取部分130从内容随附信息存储部分122获取与立体图像内容相关的立体图像参数，且向立体图像校正部分150、声音校正部分140和字幕产生部分160供应立体图像参数。

声音校正部分140在控制部分110的控制下当输出立体图像内容时校正声音数据，并向输出控制部分170输出校正后的声音数据。具体地，声音校正部分140基于立体图像中包括的素材主体在深度上的位置来校正从获取部分130向其供应的声音数据。例如，所述声音校正部分140使用从获取部分130供应的诸如表示素材主体在深度方向上的位置的参数的立体图像参数中包括的位移量保持表，来校正声音数据。例如，声音校正部分140计算在位移量保持表中的位移量的平均值，且基于所计算的平均值来校正声音数据。在该情况下，所述声音校正部分140校正所述声音信息，以便例如，声音数据的声音图像定位于素材主体在深度方向上的位置，即在对应于位移量的平均值的位置。例如，所述声音校正部分140使用对应于所述位置的头相关传输函数(HRTF)滤波器来校正所述声音信息。要注意，从FIR(有限脉冲响应)滤波器来配置头相关传输函数滤波器。另外，以后参考图3来详细描述声音校正部分140的功能配置。要注意，声音校正部分140用作在公开技术中的校正部分的部分。

立体图像校正部分150在控制部分110的控制下当输出立体图像内容时校正图像数据，并向输出控制部分170输出校正后的图像数据。具体地，立体图像校正部分150关于立体图像中包括的素材主体在深度方向上的位置，校正从获取部分130供应的图像数据。例如，立体图像校正部分150使用在从获取部分130向其供应的立体图像参数中包括的位移量保持表，来校正图像数据。例如，立体图像校正部分150响应于用户操作来调整位移量保持表中的位移量，来校正图像数据。要注意，此后参考图4来详细描述立体图像校正部分150的功能配置。

字幕产生部分160在控制部分110的控制下当要输出立体图像内容时产生字幕数据，且向输出控制部分170输出产生的字幕数据。具体地，字幕产生部分160根据来自控制部分110的指令来产生用于显示字幕作为立体图像的字幕数据。在该情况下，字幕产生部分160根据来自控制部分110的指令来校正字幕在深度方向上的位置。例如，立体图像校正部分150使用在从获取部分130向其供应的立体图像参数中包括的位移量保持表，来校正字幕数据。例如，字幕产生部分160计算在位移量保持表中的位移量的平均值，且基于所计算的平均值来校正字幕数据。要注意，此后参考图5来详细描述字幕产生部分160的功能配置。

输出控制部分170响应于由操作接受部分115接受的操作输入来进行用于输出在内容存储部分121中存储的内容的输出处理。例如，如果接受用于显示立体图像的显示指令操作，则输出控制部分170控制显示部分181和声音输出部分182来输出与显示指令操作相关的立体图像内容。在该情况下，输出控制部分170进行显示对象的图像数据和由字幕产生部分160产生的字幕数据的混合处理，以便在合成状态下显示立体图像和作为立体图像的字幕。另外，例如，如果接受用于校正立体图像的校正指令操作，则输出控制部分170使用从声音校正部分140输出的声音数据和从立体图像校正部分150输出的图像数据进行输出操作。

显示部分181在输出控制部分170的控制下显示各种图像。可以通过例如诸如LCD(液晶显示器)设备来实现显示部分181。

声音输出部分182在输出控制部分170的控制下输出各种声音信息。可以通过例如扬声器来实现声音输出部分182。

遥控器500用于从空间上远离信息处理设备100的位置的远程控制，并响应于用户向操作接受部分115的操作输入来输出操作信号或输出信号。例如，红外信号可以用作遥控器500的输出信号。此后参考图6来详细描述遥控器500的外观配置。

声音校正部分的配置的例子

图3图示根据本公开技术的第一实施例中的声音校正部分140的功能配置的例子。

参考图3，声音校正部分140包括调整值计算块141、位置转换块142、增益确定块143、和滤波器确定块144。声音校正部分140还包括声音数据输入块145、音量调整块146、滤波处理块147、声音数据输出块148和保持块149。

调整值计算块141在控制部分110的控制下计算用于从获取部分130供应的声音数据的调整值，并向位置转换块142输出所计算的调整值。例如，调整值计算块141计算在从获取部分130向其供应的立体图像参数中包括的位移量保持表中的位移量的平均值，作为调整值。

位置转换块142将从调整值计算块141输出的调整值转换为用于校正声音数据的位置，即转换为在深度方向上的位置。位置转换块142向增益确定块143和滤波器确定块144输出该位置、即校正后的位置信息。

增益确定块143基于从位置转换块142输出的位置信息来确定用于进行音量调整的增益量，且向音量调整块146输出确定的增益量。要注意，如果不需要音量调整，则增益确定块143向音量调整块146输出“1”作为增益量。另外，此后将参考图13详细描述增益量的确定方法。

滤波器确定块144基于从位置转换块142输出的位置信息来确定用于将声音图像定位于对应于该位置信息的位置的滤波器系数，并向滤波处理块147输出确定的滤波器系数。保持块149为多个位置的每个保持分别对应于在深度方向上的多个位置的多个头相关传输函数滤波器。例如，滤波器确定块144从保持块149中保持的多个头相关传输函数滤波器中选择与最靠近对应于从位置转换块142输出的位置信息的位置的位置相对应的头相关传输函数滤波器。然后，滤波器确定块144向滤波处理块147输出所选择的头相关传输函数滤波器的滤波器系数。要注意，以下将参考图13详细描述滤波器系数的确定方法。

声音数据输入块145从获取部分130接收向其供应的声音数据，并向音量调整块146供应声音数据。

音量调整块146使用从增益确定块143输出的增益量，进行关于从声音数据输入块145向其供应的声音数据的音量调整。要注意，此后参考图13详细描述音量调整方法。

滤波处理块147使用从滤波器确定块144输出的滤波器系数，进行从声音数据输入块145向其供应的声音数据的滤波处理，且向声音数据输出块148输出滤波处理之后的声音数据。例如，滤波处理块147使用具有从滤波器确定块144输出的滤波器系数的头相关传输函数滤波器，来进行用于将声音图像定位于通过位置转换块142的转换获得的位置的滤波处理。该滤波处理是头相关传输函数滤波器进行的例如二进制化处理和用于将头相关传输函数回复(convolute)到声音数据或声音信号的处理。要注意，此后参考图13来详细描述滤波处理方法。

声音数据输出块148向输出控制部分170输出从滤波处理块147输出的滤波处理后的声音数据。

图4图示根据本公开技术的第一实施例中的立体图像校正部分150的功能配置的例子。

参考图4，立体图像校正部分150包括调整块141、图像数据输入块152、水平移动处理块152、平滑处理块154和图像数据输出块155。

调整块151在控制部分110的控制下，调整用于校正从获取部分130向其供应的图像数据的参数，并向水平移动处理块153输出调整后的参数。例如，调整块151响应于由操作接受部分115接受的操作输入，调整在从获取部分130向其供应的立体图像参数中包括的位移量保持表中的位移量，且向水平移动处理块153输出调整后的位移量。要注意，对于用于调整参数的操作输入，例如，使用图6所示的立体图像的深度位置调整调节器510。通过操作输入，可能显示被重新调整到位置、即用户期望的深度方向上的位置的立体图像。

图像数据输入块152从获取部分130接收向其供应作为输入数据的图像数据，并向水平移动处理块153供应接收的图像数据。

水平移动处理块153使用从调整块151输出的调整后参数来进行从图像数据输入块152向其供应的图像数据的图像的移动处理，并向平滑处理块154输出在该处理之后的图像数据。例如，水平移动处理块153从配置对应于从图像数据输入块152供应的图像数据的立体图像的左眼图像和右眼图像之间进行左眼图像的水平移动处理。具体地，水平移动处理块153进行将配置左眼图像的像素移动调整块151调整后的位移量来产生新右眼图像的水平移动处理。例如在图9B所示的位移量保持表300的块的单元中进行该水平移动处理。然后，水平移动处理块153向平滑处理块154输出对应于配置立体图像的左眼图像和新产生的右眼图像的图像数据。要注意，虽然在本例子中，使用调整块151调整后的位移量来产生新的右眼图像，但是或者可以使用调整块151调整后的位移量来对原始右眼图像进行水平移动处理来产生立体图像。

平滑处理块154关于从水平移动处理块153输出的图像数据，进行立体素材主体的区域的边缘部分的滤波处理，即通过移动平均滤波器进行的平滑处理。平滑处理块154向图像数据输出块155输出该处理后的图像数据。例如，平滑处理块154使用从获取部分130向其供应的立体图像参数中包括的二进制化数据来确定立体素材主体的区域和任何其他区域。然后，平滑处理块154通过移动平均滤波器对被确定为立体素材主体的区域的区域进行平滑处理。通过该平滑处理，可以向位于远程的立体素材主体或3D对象的区域提供视角。

图像数据输出块155向输出控制部分170输出从平滑处理块154输出的图像处理后的图像数据。

字幕数据校正部分的配置的例子

图5图示根据本公开技术的第一实施例中的字幕产生部分160的功能配置的例子。

参考图5，字幕产生部分160包括调整值计算块161、字幕数据产生块162和字幕数据输出块163。

调整值计算块161在控制部分110的控制下，计算用于确定要在显示部分181上显示的字幕的该位置、即在深度方向上的位置的调整值。调整值计算块161向字幕数据产生块162输出计算的调整值。例如，调整值计算块161计算在从获取部分130向其供应的立体图像参数中包括的位移量保持表中的位移量的平均值，作为调整值。

字幕数据产生部分162在控制部分110的控制下产生要在显示部分181上显示的字幕数据，并向字幕数据输出块163输出产生的字幕数据。例如，字幕数据产生块162可以使用在内容存储部分121中存储的内容、即字幕内容来产生字幕数据。在该情况下，字幕数据产生块162进行使用从调整值计算块161输出的调整值产生的字幕数据的图像或字幕图像的水平移动处理。然后，字幕数据产生块162向字幕数据输出块163输出该处理之后的字幕数据。要注意，在该情况下的水平移动处理与图4所示的水平移动处理块153进行的水平移动处理相同，且因此在此省略该处理的重复描述。

字幕数据输出块163向输出控制部分170输出从字幕数据产生块162输出的字幕数据。

以此方式，根据公开技术的第一实施例，可以向用户提供根据在显示部分181上显示的立体图像的适当的立体字幕。因此，用户可以享受进一步丰富的呈现。

遥控器的配置的例子

图6图示根据本公开技术的第一实施例中的遥控器500的外观配置的例子。

参考图6，遥控器500具有在其上提供的电源按钮501和502，、频道指定按钮组503、箭头标记确定按钮组504、功能选择按钮组505和参考虹膜信息获取按钮506。遥控器500还具有在其上提供的立体图像校正切换按钮507、音量调整调节器508、频道选择调节器509、立体图像的深度位置调整调节器510、和立体图像的声音位置调整调节器511。

电源按钮510和502分别用于打开和关闭信息处理设备100的电源。

频道指定按钮组503用于当可以使用信息处理设备100、基于广播波、对于立体图像或平面图像的广播节目时指定广播频道。

箭头标记确定按钮组504包括向上、向下、向左和向右箭头标记按钮和当在显示部分181上显示菜单平面等时的确定按钮。当用于选择在显示部分181上显示的显示平面图像上的向上、向下、向左和向右方向的选择操作时使用向上、向下、向左和向右箭头标记按钮。例如，当要在菜单平面上进行选择操作时，该向上、向下、向左和向右箭头标记按钮用于分别向上、向下、向左和向右地移动选择状态。确定按钮用于在显示部分181上显示的显示平面图像上进行各种确定操作，且用于例如确定在菜单平面上的选择状态。

功能选择按钮组505包括用于选择各种功能的按钮。

按下参考虹膜向下获取按钮506来获取关于用户的参考虹膜向下。要注意，此后在公开技术的第二实施例中详细描述该参考虹膜详细获取按钮506。

按下立体图像校正切换按钮507来进行在自动进行关于立体图像的各种校正的自动模式和手动进行这些各种校正的手动模式之间的切换。

音量调整调节器508用于调整要从声音输出部分182输出的声音的音量。

频道选择调节器509用于当可以使用信息处理设备100、基于广播波、对于立体图像或平面图像的广播节目时选择广播频道。

立体图像的深度位置调整调节器510用于当在显示部分181上显示立体图像时调整立体图像中包括的素材主体在深度方向上的位置。要注意，此后参考图12A和12B来详细描述使用深度位置调整调节器510对立体图像的调整的例子。

立体图像的声音位置调整调节器511用于当在显示部分181上显示立体图像时调整定位关于立体图像的声音的声音图像的位置、即深度方向上的位置。

在立体图像和立体图像中包括的素材主体在深度方向上的位置之间的关系的例子

图7A和7B图示配置在公开技术的第一实施例中的显示部分181上显示的立体图像的图像和在每个图像中包括的素材主体在深度方向上的位置之间的关系。更具体地，图7A示意性地图示了当在显示部分181上显示立体图像时、在可以在深度方向上虚拟地放置用户210可以立体地观看的素材主体203-305的位置的情况下的顶部平面图。图7B图示了用于立体地显示图7A所示的素材主体203-205的立体图像、具体地、左眼图像201和右眼图像202。具体地，左眼和右眼图像201和202包括素材主体203-205。另外，深度方向是例如平行于互连用户210和显示部分181的显示面的线且垂直于显示部分181的显示面的方向。

要注意，在图7B中，在左眼图像201和右眼图像202两者中通过相同参考字符来指示相同素材主体。另外，在图7B中，以夸大的主体示出在左眼图像201和右眼图像202中包括的素材主体203-205的位移量来便于理解。

另外，在公开技术的第一例子中，可以使用视察屏障方法或特殊眼镜方法作为用于在显示部分181上立体图像的显示方法。在特殊眼镜方法中，用户佩戴诸如活动快门类型眼镜或极化器类型眼镜的用于观看立体图像的特殊眼镜，以便向用户提供立体图像。要注意，公开技术的实施例也可以被用于除了视察屏障方法和特殊眼镜方法之外的任何其他方法。

在此，研究一种情况，其中，当在显示部分181上显示左眼图像201和右眼图像202时，用户210的左眼211看到左眼图像201，且用户210的右眼212看到右眼图像202。在该情况下，假设在显示面的位置220、即显示部分181的显示面的位置处看到在左眼图像201和右眼图像202中包括的素材主体204。另外，假设位置220的内侧、即相对于显示面的内侧221看到在左眼图像201和右眼图像202中包括的素材主体203，且在显示面的位置220的那一侧、即在相对于显示面的那一侧222看到素材主体205。

以此方式，在参考在显示面上的位置220处的素材主体204的情况下，在立体图像、即在左眼图像201和右眼图像202中的水平方向上，放置提供立体效果的素材主体203和205。另外，在参考位置220的情况下，放置的位置在突出素材主体205和回缩素材主体203之间反转。

在左眼图像和右眼图像中包括的素材主体的位移量的关系的例子

图8图示配置在公开技术的第一实施例中的显示部分181上显示的立体图像的图像中包括的素材主体的位移量之间的关系。矩形230对应于图7B所示的左眼图像201和右眼图像202，且在矩形230中，示出在图7B所示的左眼图像201和右眼图像202中包括的素材主体203到205。要注意，在矩形230中，用粗线指示从素材主体203-205中的在图7B所示的左眼图像201中包括的素材主体203-205的内容。要注意，素材主体204没有位移，因为素材主体204对应于图7A所示的显示面上的位置220。因此，在矩形230，在左眼图像201中包括的素材主体204和在右眼图像202中包括的素材主体204彼此重复。

另外，由箭头标记230来指示在矩形230中参考左眼图像201的情况下在左眼图像201和右眼图像202之间的素材主体203的位移量。类似地，由另一箭头标记232来指示在参考左眼图像201的情况下在左眼图像201和右眼图像202之间的素材主体205的位移量。要注意，如上所述，素材主体204没有位移。

因为使用在左眼和右眼之间的视差来获得立体视觉，因此响应于素材主体的显示位置、即在深度方向上的位置，彼此位移在左眼图像201和右眼图像202中包括的素材主体。换句话说，显示素材主体的位移量对应于立体素材主体或3D对象的突出量或回缩量。

因此，在公开技术的第一实施例中，使用关于配置立体图像的左眼图像和右眼图像的素材主体的位移量、即立体素材主体或3D对象的突出量或回缩量，作为立体图像参数。因此，在公开技术的第一实施例中，使用左眼图像作为参考，且使用基于在左眼图像中包括的显示素材主体和右眼图像中包括的显示素材主体之间的差、即素材主体的突出量或回缩量计算的立体图像参数。

例如，如果将用作参考的左眼图像中包括的素材主体位移到在右眼图像上的左侧、即图8中的左侧，则素材主体是突出主体。然后，确定素材主体的位移量大于0、即位移量＞0。

另一方面，例如，如果将用作参考的左眼图像中包括的素材主体位移到在右眼图像上的右侧、即图8中的右侧，则素材主体是回缩主体。然后，确定素材主体的位移量小于0、即位移量＜0。

但是，例如，如果将用作参考的左眼图像中包括的素材主体不位移到右眼图像上，则素材主体位于显示面的位置、即屏幕面。然后，确定素材主体的位移量等于0、即位移量＝0。

具体地，由于在用作参考的左眼图像201中包括的素材主体203被位移到右眼图像202上由箭头标记231指示的右侧，因此素材主体203是回缩主体，且素材主体203的位移量小于0，即素材主体203的位移量＜0。

另一方面，由于在用作参考的左眼图像201中包括的素材主体205被位移到右眼图像202上由箭头标记232指示的左侧，因此素材主体205是突出主体，且素材主体205的位移量大于0，即素材主体205的位移量＞0。

另一方面，由于在用作参考的左眼图像201中包括的素材主体204不位移到右眼图像202上，因此素材主体204位于显示面或屏幕面上的位置处，且素材主体204的位移量是0，即素材主体204的位移量＝0。

位移量保持表的例子

图9A和9B示意性地图示在公开技术的第一实施例中在内容随附信息存储部分122中存储的立体图像参数、即位移量保持表300。

更具体地，图9A图示了用于产生位移量保持表300的立体图像、即具体的左眼图像301和右眼图像302。参考图9A，左眼图像301和右眼图像302包括1,920×1,080像素。要注意，在图9A中，示出对应于左眼图像301和右眼图像302的矩形，而未示出图像中包括的素材主体等。

在此，描述立体图像中包括的素材主体的位移量的计算方法。例如，左眼图像被划分为具体尺寸的区域或块，且计算在左眼图像和右眼图像的例如4×4像素的尺寸的对应区域之间的比较处理、即当在水平方向上连续移动对应区域时的比较处理。然后，基于相关值，以块为单位确定位移量来产生位移量保持表300。

图9B图示保持以块为单位从左眼图像301和右眼图像302计算的位移量的位移量保持表300。在关于每个从1,920×1,080像素配置的左眼图像301和右眼图像302的以4×4像素的块为单位进行比较处理的情况下，对于各个块计算480×270＝129,600位移量。在与位移量保持表300中的计算对象的块相关的关系中，保持以此方式对于各个块计算的位移量。另外，对配置计算对象的立体图像内容的每帧产生位移量保持表300。然后，在内容随附信息存储部分122中，在与计算对象的立体图像内容相关的关系中存储位移量保持表300。在该情况下，在与配置计算对象的立体图像内容的帧相关的关系中存储位移量保持表300。

另外，在图9B中，示出位于对应于左眼图像301的块的位置的位移量保持表300的位置处的位移量。另外，可以另外以像素为单位或以分块为单位来保持位移量。但是，在图9B中，图示其中保持以像素为单位计算的位移量的例子，以便理解。另外，虽然在图9B中，位移量被计算为0、表示突出方向上的值或突出量的正值和表示回缩方向上的值或回缩量的负值中的任一，但是仅示出正值便于理解。

二进制化数据的例子

现在，描述作为立体图像参数的例子的二进制化数据。例如，可以通过对位移量是“非0”且靠近其中位移量是“0”的区域(零位移量区域)的位移量保持表300的区域(非零位移量区域)进行边缘检测处理来检测立体素材主体。

通过边缘检测处理，以位移量保持表300的块为单位计算诸如例如“1”表示立体素材主体的区域且“0”表示任何其他区域的二进制化数据。然后，以位移量保持表300的块为单位计算的0或1的二进制化数据被保持在位移量保持表300中的相关关系中。

例如，如果用0和1的所计算二进制化数据来指定立体图像中的封闭区域，则可以确定封闭区域作为立体素材主体的区域。在以此方式来指定立体素材主体的区域的情况下，对应于素材主体的区域和素材主体的位移量可以彼此相关以得到立体图像参数。另外，如果在立体图像中包括多个素材主体，则对应于多个素材主体的区域和素材主体的位移量可以彼此相关以得到立体图像参数。在以此方式指定多个素材主体的情况下，对应于素材主体的区域必须是封闭区域。要注意，内容随附信息存储部分122可以存储通过将对应于每个指定的素材主体的区域与深度量相关而得到的立体图像参数，该深度量是通过彼此转换指定的素材主体的位移量而获得的突出量或回缩量。

在图像上的位移量和在位移面上的位移量之间的关系的例子

图10A和10B图示公开技术的第一实施例中的内容存储部分121中存储的立体图像内容上的位移和显示部分181的显示面上的位移之间的关系。更具体地，图10A示出配置立体图像的左眼图像201和右眼图像202。图10A所示的左眼图像201和右眼图像202类似于图7B所示的那些。在图10A中，左眼图像201上的素材主体与右眼图像202中包括的素材主体203的位移量被表示作为位移量G1。

图10B示出显示部分181上显示的立体图像。要注意，在图10B中，以合成方式来示出图10A所示的左眼图像201和右眼图像202。另外，在图10B中，显示部分181的显示面上的位移、即在左眼图像201和右眼图像202中包括的素材主体203的位移被表示为位移量G2。

声音校正部分140、立体图像校正部分150和字幕产生部分160以此方式基于在立体图像的位移量和显示部分181的显示面部的位移量之间的关系，使用立体图像参数进行校正处理。在该情况下，声音校正部分140、立体图像校正部分150和字幕产生部分160基于在立体图像的位移量和显示部分181的显示面部的位移量之间的保持的转换表，使用立体图像参数进行校正处理。

在观看位置和突出位置之间的关系的例子

图11示意性地图示公开技术的第一实施例中的当观看显示部分181上显示的立体图像时的观看位置和立体图像中包括的素材主体、即立体素材主体的突出位置之间的关系。

参考图11，显示立体图像的位置、即显示部分181的显示面上的位置被表示为显示面的位置350，且在观看显示部分181上显示的立体图像的情况下的用户的观看位置被表示为观看位置351。

另外，在此状态下，素材主体的突出位置、即可以被正观看立体图像的用户看到的立体素材主体352被表示为突出位置353。

在此，在立体图像中包括的立体素材主体352的位移量、即显示面上的位移量用p表示，在显示面的位置350和观看位置351之间的距离用L表示，且正观看立体图像的用户的两眼之间的距离用e表示。另外，在显示面的位置350和突出位置353之间的距离或突出量用d表示。

在此情况下，在显示位置的位置350、观看位置351和突出位置353之间的关系根据相似性关系满足以下公式1：

d∶p＝(L-d)∶E    ......公式1

如果变换公式1，则确定d＝pL(e+p)。

具体地，如果p＝71mm，l＝2,000mm和e＝65mm被替换为公式1，则可以确定突出量d为1,044mm(d＝71×2,000/(65+71))。

以此方式，可以使用素材主体的位移量来确定立体图像上的素材主体的突出量。因此，立体图像校正部分150可以使用立体图像上的素材主体的位移量，进行素材主体的深度量、即突出量或回缩量的校正。

立体图像的校正的例子

图12A示意性地图示了在显示部分181上显示立体图像且在深度方向上虚拟地放置立体图像中包括的素材主体203到205的位置的情况下的顶部平面图。要注意，图12A所示的例子类似于图7A的例子，除了距离B1和S1。

距离B1是在深度方向上虚拟地放置素材主体203-205的位置的情况下、在素材主体203和204之间的深度方向上的距离。同时，距离S1是在深度方向上虚拟地放置素材主体203-205的位置的情况下、在素材主体204和205之间的深度方向上的距离。

图12B示意性地图示了在通过立体图像校正部分150校正之后在显示部分181上显示立体图像且在深度方向上虚拟地放置立体图像中包括的素材主体203-205的位置的情况下的顶部平面图。

距离B2是在深度方向上虚拟地放置素材主体203-205的位置的情况下、在素材主体203和204之间的深度方向上的距离。同时，距离S2是在深度方向上虚拟地放置素材主体203-205的位置的情况下、在素材主体204和205之间的深度方向上的距离。

在图12B，调整立体图像的深度量、即突出量或回缩量在很缓和的状态下，以便当用户长时间观看立体图像内容时，用户的眼睛在长时间观看后可能不疲乏。

例如，通过对图6所示的立体图像移动该深度位置调整调节器510到相对于中间的“低”侧，可以调整立体素材主体的深度量、即突出量或回缩量到缓和的量。在该情况下，调整块151可以通过将位移量保持表中的位移量乘以常数K(0＜K＜1)，来调整每个位移量在该情况下，在图12A和12B的例子中，满足B2＜B1和S2＜S1。以此方式，可以减少立体素材主体的突出量或回缩量来减少用户的眼睛的负担。

另一方面，通过对图6所示的立体图像移动该深度位置调整调节器510到相对于中间的“高”侧，可以调整立体素材主体的深度量、即突出量或回缩量以便强调。在该情况下，调整块151可以通过将位移量保持表中的位移量乘以常数K(1＜K)，来调整每个位移量以此方式，可以增加立体素材主体的突出量或回缩量来强调，以提升立体图像的立体效果，以便用户可以享受立体图像。

以此方式，通过响应于用户操作来调整立体图像的深度量，可以提供符合用户的个人喜好的适当立体图像。在该情况下，例如，如果在遥控器500上提供对应于观看者的不同年龄组的设置按钮、诸如孩子按钮、青年按钮和老人按钮，且响应于用户的年龄组而按下它们，则可以提供适用于用户的年龄组的适当立体图像。例如，如果按下孩子按钮或老人按钮，则可以将立体图像和相关声音设置为缓和的水平。另一方面，如果按下青年按钮，则可以将立体图像和相关声音设置为强调。

另外，在以此方式转变立体图像的深度量的情况下，即在进行转变操作的情况下，可以校正声音数据以便基于声音数据的声音图像可以位于对应于校正后的深度量的位置处。

声音的校正的例子

图13示意性地图示在公开文档的第一实施例中由声音校正部分140校正输出声音的情况下的校正方法。在图13中，示意性地图示在观看显示部分181上显示的立体图像的情况下的观看位置和素材主体、即在立体图像中包括的立体素材主体的突出位置之间的关系。

参考图13，显示立体图像的位置、即显示部分181的显示面上的位置是显示面的位置400，且在用户观看显示部分181上显示的立体图像的情况下的用户的观看位置是观看位置401。另外，在该情况下，素材主体A和B、即可以由观看立体图像的用户看到的立体素材主体402和403的突出位置分别是突出位置404和405。

在此，在显示面的位置400和观看位置401之间的距离用L表示，在显示面的位置400和突出位置404之间的距离、即突出位置404的突出量用Ya表示，且在显示面的位置400和突出位置405之间的距离、即突出位置405的突出量用Yb来表示。在该情况下，在观看位置401和突出位置404之间的距离Za是L-Ya，即Za＝L-Ya，且在观看位置401和突出位置405之间的距离Zb是L-Yb，即，Zb＝L-Yb。

因此，在显示部分181上显示立体图像，且立体图像包括突出到突出位置404的立体素材主体的情况下，滤波处理块147响应于距离Za来进行滤波处理。因此，声音图像可以定位于立体素材主体402的突出位置404。要注意，该声音图像意味着感官声音源。

在此，通过已知方法来确定在滤波处理中使用的滤波器系数，该已知方法是分别在要定位的声音源的位置处、或距离处和方向上和观看位置处安装仿真人头(dummy head)，且测量脉冲响应。例如，在日本专利特开No.2010-178373中公开该方法。

另外，在与保持块149中的声音源的位置相关的关系中，预先存储由上述方法确定的分别对应于不同可假设声音源的位置、或距离和方向的多个滤波器系数。然后，滤波器确定块144响应于从位置转换块142输出的立体素材主体的深度量、即突出位置或回缩位置来选择滤波器系数之一。具体地，滤波器确定块144选择与最靠近立体素材主体的突出位置的位置相对应的滤波器系数。然后，滤波处理块147使用由滤波器确定块144选择的滤波器系数来进行滤波处理。

另外，以通过进行音量调整来校正该声音。自此，参考图13描述其中参考作为素材主体A的立体素材主体402的突出位置404进行作为素材主体B的立体素材主体403的突出位置405的音量调整的例子。

从音压和距离之间的关系中确定当调整音量时使用的增益量。具体地，在突出位置404处的音压是Ia的情况下，可以通过以下公式2来确定在突出位置405处的音压Ib：

Ib＝Ia×(Zb/Za)²    ...公式2

因此，作为在进行突出位置405处的音量调整的情况下的增益量g，确定Ib/Ia，即，g＝Ib/Ia。具体地，增益确定块143确定Ib/Ia作为在基于来自位置转换块142的位置信息进行在突出位置405处的音量调整的情况下的增益量g。

以此方式，音量调整块146在突出位置404的向其或向后的位置处、例如在突出位置405处，使用由增益确定块143确定的增益量进行音量调整。

通过以此方式进行音量调整处理以及滤波处理，可以准确地校正在除了对应于头相关传输函数滤波器的位置之外的位置处的声音信息。另外，通过以此方式进行音量调整处理以及滤波处理，即使提供大量头相关传输函数滤波器，也可以进行对应于每个位置的声音信息的校正。

以此方式，可以使用素材主体的位移位置来确定立体图像上的素材主体的突出量。因此，声音校正部分140可以使用素材主体的位移量，进行立体图像中的素材主体的声音信息的校正。

以此方式，通过公开技术的第一实施例，可以向用户提供根据在显示部分181上显示的立体图像的适当的立体声音。换句话说，当要显示立体图像时，可以考虑素材主体在深度方向上的位置来进行声音输出。因此，用户可以享受进一步丰富的呈现。

信息处理设备的操作的例子

现在，将参考附图详细描述本公开技术的第一实施例的信息处理设备100的操作。

声音校正部分的操作的例子

图14图示根据本公开技术的第一实施例中的声音校正部分140进行的声音校正处理的处理过程的例子。在图14中，基于位移量保持表的位移量的平均值来校正声音。

首先，在步骤S911处决定是否进行立体图像的显示指令操作，以及如果不进行立体图像的显示指令操作，则连续进行监视。如果在步骤S911处进行立体图像的显示指令操作，则调整值计算块141在步骤S912处获取位移量保持表，且在步骤S913处计算位移量保持表的位移量的平均值作为调整值。

然后，在步骤S914，位置转换块142将作为调整值的平均值转换为对应的位置、即转换为在深度方向上的位置。然后，增益确定块143在步骤S915处基于转换后的位置来确定用于进行音量调整的增益量。然后，在步骤S916处，滤波器确定块144基于转换后的位置来确定用于将声音图像定位于该位置的滤波器系数。

然后，在步骤S917处，音量调整块146使用确定的增益量来进行音量调整。然后，在步骤S918处，滤波处理块147使用确定的滤波器系数来进行滤波处理。要注意，在步骤S912处的处理是在公开的技术中的校正过程的例子。

然后，在步骤S919中，声音数据输出块148向输出控制部分170输出校正处理之后声音数据。因此，从输出控制部分170输出校正处理之后的声音数据。要注意，在步骤S919处的处理是公开技术中的输出控制步骤的例子。

然后，在步骤S920，决定是否进行立体图像的显示结束操作。如果不进行立体图像的显示结束操作，则处理返回到步骤S912。另一方面，如果在步骤S920处进行立体图像的显示结束操作，则声音校正处理的操作结束。

立体图像校正部分的操作的例子

图15图示根据本公开技术的第一实施例中的立体图像校正部分150进行的立体图像校正处理的处理过程的例子。更具体地，图15图示其中基于通过用户操作进行的参数调整来校正立体图像的例子。

首先，在步骤S931，确定是否进行立体图像的显示指令操作。如果不进行立体图像的显示指令操作，则连续进行监视。但是，如果在步骤S931处进行立体图像的显示指令操作，则在步骤S932处决定是否进行参数调整的指令操作。如果不进行参数调整的指令操作，则处理继续到步骤S938。

另一方面，如果在步骤S932处进行参数调整的指令操作，则调整块151在步骤S933处获取位移量保持表。然后，响应于由操作接受部分115接受的操作、即响应于参数调整的指令操作，在步骤S934处调整在位移量保持表中的位移量。

然后，水平移动处理块153在步骤S935处，基于调整后的位移量来进行水平移动处理，且然后在步骤S936处，平滑处理块154基于二进制化数据来进行平滑处理。然后，图像数据输出块155在步骤S937处向输出控制部分170输出校正处理之后的图像数据。

然后，在步骤S938，决定是否进行立体图像的显示结束操作。如果不进行立体图像的显示结束操作，则处理返回到步骤S932。另一方面，如果在步骤S938处进行立体图像的显示结束操作，则图像校正处理的操作结束。

字幕产生部分的操作的例子

图16图示根据本公开技术的第一实施例中的字幕产生部分160进行的字幕产生处理的处理过程的例子。更具体地，在图16中，基于位移量保持表的位移量的平均值来校正字幕数据。

首先，在步骤S951，决定是否进行立体图像的显示指令操作。如果不进行立体图像的显示指令操作，则连续进行监视。另一方面，如果在步骤S951处进行立体图像的显示指令操作，则调整值计算块161在步骤S953处获取位移量保持表。例如，调整值计算块161在步骤S953处计算位移量保持表的平均值作为调整值。

然后，在步骤S954，字幕数据产生块162产生字幕数据。然后，字幕数据产生块162在步骤S955处使用平均值或调整值，关于字幕数据或如此产生的字幕图像，进行图像的水平移动处理。然后，字幕数据输出块163在步骤S956处向输出控制部分170输出产生的字幕数据。

然后，在步骤S957处，决定是否进行立体图像的显示结束操作。如果不进行立体图像的显示结束操作，则处理返回到步骤S952。另一方面，如果在步骤S957处进行立体图像的显示结束操作，则字幕产生处理的操作结束。

参考具体立体图像的位置的声音的校正的例子

在前述描述中，描述基于位移量保持表中的位移量的平均值来校正声音的例子。但是，例如，在要显示包括诸如用户或家庭的具体人的立体图像的情况下，假设，用户期望参考具体人来校正该声音。因此，在以下描述中，描述其中参考立体图像中包括的具体对象来校正声音的例子。

17A和17B示意地图示按时序在公开技术的第一实施例中的显示部分181上显示的立体图像。

更具体地，图17A示出当从前侧成像正起飞的飞机413时的立体图像410-412。同时，图17B示出当从前侧成像朝向图像拾取人侧前进的人418时的立体图像415-417。

假设，立体图像410-412和415-417对应于从配置用于显示立体图像的动态图片的帧中的在每个固定的间隔时间之后的帧。在图17A和17B中，按时序示出配置立体图像的左眼图像和右眼图像之一的图像来便于理解。

另外，假设，当显示对应于立体图像410-412的动态图片时，显示飞机413作为其突出量相对较大的立体图像。而且，假设，在显示对应于立体图像415-417的动态图片的情况下，显示该人418作为其突出量相对较大的立体素材主体。

如从图17A和17B看到，在具体立体素材主体、即飞机413或人418按时序朝向图像拾取人侧连续前进的情形下，从音频声道中识别从立体素材主体生成的的声音，且校正该声音。如果以此方式进行声音校正，可以得到该用户更喜爱的适当的声音输出。

声音校正部分的配置的例子

图18图示根据本公开技术的第一实施例中的声音校正部分450的功能配置的例子。要注意，声音校正部分450是图3所示的声音校正部分140的部分修改的形式。因此，在此省略公共组件的重复描述来避免冗余要注意，声音校正部分450是在公开技术中的校正部分的例子。

参考图18，声音校正部分450包括面部检测块451、位置转换块452、增益确定块453、滤波器确定块454、音量调整块456、滤波处理块457、混合器块458和声音数据输出部分459。

声音数据输入块145从获取部分130接收向其供应的中央声道、左声道和右声道的声音数据作为向其的输入，且向音量调整块146和音量调整块456供应声音数据。例如，作为声道的中央声道的声音数据通过信号线462被供应到音量调整块456，而作为主声道的左声道和右声道的声音数据通过信号线被供应到音量调整块146。另外，滤波处理块147向混合器块458输出滤波处理之后的声音数据。

面部检测块451在控制部分110的控制下，检测从获取部分130向其供应的图像数据中包括的人的面部。然后，面部检测块451向位置转换块452输出关于被检测面部的面部信息、具体地即对应于面部的被检测区域的位移量的平均值。例如，面部检测块451使用位移量保持表和从获取部分130向其供应的立体图像参数中包括的二进制化数据来检测人的面部。例如，立体图像校正部分451响应于用户操作来调整位移量保持表中的位移量，来校正图像数据。然后，面部检测块451进行在提取的位移量和预先保留的人的面部的图案图像之间的匹配方法，来基于匹配处理的结果来检测人的面部。要注意，可以使用某些其他检测方法。例如，可以使用此后参考图23描述的类似于由公开技术的第二实施例中的面部检测部分620使用的面部检测方法。要注意，面部检测块451是在公开技术中的检测部分的例子。

位置转换块452将从面部检测块451输出的面部信息、即平均值转换为用于校正声音数据的方向上的位置。然后，位置转换块452向增益确定块453和滤波器确定块454输出该位置或转换后的位置信息。

然后，增益确定块453基于从位置转换块452输出的位置信息，确定用于进行音量调整的增益量，并向音量调整块456输出确定的增益信息。

滤波器确定块454基于从位置转换块452输出的位置信息来确定用于将声音图像定位于对应于该位置信息的位置的滤波器系数。滤波器确定块454向滤波处理块457输出确定的滤波器系数。

音量调整块456使用从增益确定块453输出的增益量，进行从声音数据输入块145向其供应的声音数据的音量调整，且向滤波处理块457输出音量调整之后的声音数据。

滤波处理块457使用从滤波器确定块454输出的滤波器系数，进行从声音数据输入块145向其供应的声音数据的滤波处理，且向混合器块458输出滤波处理之后的声音数据。

混合器块458混合从滤波处理块147输出的滤波处理之后的声音数据和从滤波处理块157输出的滤波处理之后的声音数据，且向声音数据输出部分459输出混合的声音数据。

声音数据输出块459向输出控制部分170输出从混合器块458输出的声音数据。

以此方式，声音校正部分450基于由面部检测块451检测的人的作为具体对象的面部在深度方向上的位置，来校正从该人发出的声音。具体地，声音校正部分450使用从立体图像参数中的表示人的面部在深度方向上的位置的参数、即位移量，来校正中央声道的声音数据，即从该人发出的声音数据。另外，例如，声音校正部分450可以使用除了表示人面部在深度方向上的位置的参数之外的参数或位移量，来校正左声道和右声道的声音数据。例如，调整值计算块141计算除了表示人面部在深度方向上的位置的参数之外的参数或位移量的平均值。然后，调整值计算块141可以基于所计算的平均值来校正左声道和右声道的声音数据。

要注意，虽然在以上描述的例子中，检测人面部作为具体对象，但是可以使用某些其他具体对象检测方法来检测例如飞机、汽车或人体的具体对象。例如，在日本专利特开No.2010-067102中公开了可以使用其中使用方向性梯度(HOG)的直方图来进行素材主体检测的检测方法来检测具体对象。

参考背景的位置的声音的校正的例子

在以前描述中，描述其中参考立体图像中包括的具体对象来校正声音的例子。但是，可以另外参考立体图像中包括的不同区域来校正声音。例如，在立体图像中包括的背景区域、或换句话说除了立体图像之外的区域可以用作校正声音、即关于背景区域的背景声音的参考。例如，能够使用二进制化数据来指定背景区域。具体地，二进制化数据是“0”的区域是背景区域。同时，可以从周围声道中提取背景声音。然后，在声道中的背景声音的声音图像被定位于对应于背景区域的位置。因此，可以向用户提供最佳立体声音。

基于场景转变的立体图像的校正的例子

之前，根据用户操作来校正立体图像的例子。在此，假设，例如在从广播节目转变为CM(商业信息)时，或在频道转变或场景转变时，可能发生从立体图像到平面图像或从平面图像反转为立体图像的转变。如果发生突然转变、诸如从立体图像到平面图像或从平面图像到立体图像的转变，则用户可能有不舒服的感觉。以下，描述参考CM转变或频道转变来校正立体图像的例子。要注意，以下在该例子中的信息处理设备的配置基本类似于参考图2等来描述的配置。因此，在此省略与图2等所示的信息处理设备100的那些共同的信息处理设备的组件的描述来避免冗余。

要注意，作为在场景转变时的检测方法，可以使用其中对象图像和就在先前的图像或相近图像彼此比较来检测展示突然转变的图像来分析对象图像是换台转变点(cut change point)还是场景转换点的方法。例如，作为换台转变检测方法，可以使用在日本专利特征No.2008-83894中公开的使用图像之间的直方图相似性和空间相关图像相似性来确定换台转变的方法。根据该方法，基于关于对象图像和相邻图像的直方图相似性和空间相关图像相似性，在对象图像和相近图像之间的图像转变是换台转变。要注意，可以基于来自广播接收部分的视频信号来检测CM转变。同时，可以基于由遥控器500或操作接受部分115接受的用户操作来检测频道转变。

基于CM转变的立体图像的校正的例子

图19A和19B图示根据本公开技术的第一实施例中的立体图像校正部分150的进行的深度量的调整的例子。在图19A和19B中，按时序示意性地图示对应于来自位移量保持表300中包含的位移量中的一个位移量、即一个块的深度量的变化。另外，在图19A和19B所示的例子中，假设，显示广播节目作为立体图像，且显示CM作为平面图像。

在图19A中，按时序图示在调整之前的立体图像的深度量。图19A中示出的曲线531和532对应于被显示为立体图像的广播节目、即节目(3D)的深度量的过渡。假设，在对应于曲线531和532的广播节目、即节目(3D)之后，显示CM(2D)为平面图像。

如图19A所示，在从广播节目向CM(2D)、即从对应于曲线531的节目(3D)向CM(2D)转变时，深度量突然变化。类似地，在从CM(2D)向广播节目转变、即对应于曲线532的节目(3D)时，和在从对应于曲线532的广播节目、即节目(3D)向CM(2D)转变时，深度量突然变化。在深度量以此方式变化的情况下，存在观看立体图像的用户可能有不舒服的感觉的可能。例如，在从广播节目、即从节目(3D)向CM(2D)转变时，由于图像突然从立体图像向平面图像转变，因此存在用户可能有不舒服的感觉的可能。因此，在从广播节目、即从节目(3D)向CM(2D)转变时，以图19B所示的方式调整深度量，以便可以减少在从立体图像向平面图像转变时可能给用户提供的不舒服的感觉。

在图19B中，按时序图示在调整之后的立体素材主体的深度量。在调整对应于图19A所示的曲线531的深度量之后，图19所示的曲线533对应于深度量的过渡。同时，在调整对应于图19A所示的曲线532的深度量之后，图19B所示的另一曲线534对应于深度量的过渡。

例如，在从广播节目、即从节目(3D)向CM(2D)转变时，图4所示的调整块151进行从深度量、即在边界时间之前预定时间段、例如时间段t11的深度量的调整。例如，对于从时间段t11的开始到结束的时间段，可以通过将深度量乘以随时间减少的参数来进行调整。该参数a变化到例如0≤a≤1的范围内的值，且在时间段t11的开始，参数a是a＝1，且在时间段t11的结束，参数a是a＝0。另外，对于从时间段t11的开始到结束的时间段，参数a变化以便响应于时间流逝从1减少到0。

例如，另一方面，在从CM(2D)向广播节目、即节目(3D)转变时，图4所示的调整块151进行深度量、即在边界时间之后预定时间段、例如时间段t12的位移量的调整。例如，通过将深度量乘以响应于从时间段t12的开始到结束的时间段的时间流逝而增加的参数b，来进行调整。该参数b变化到例如0≤a≤1的范围内的值，且在时间段t12的开始，参数b是b＝0，且在时间段t12的结束，参数b是b＝1。另外，参数b变化以便响应于从时间段t12的开始到结束的时间段的时间流逝而从0增加到1。

基于频道转变的立体图像的校正的例子

图20A和20B图示根据本公开技术的第一实施例中的立体图像校正部分150的进行的深度量的调整的例子。在图20A和20B中，按时序示意性地图示对应于来自位移量保持表300中包含的位移量中的一个位移量、即一个块的深度量的变化。另外，在图20A和20B所示的例子中，假设，显示立体图像和平面图像之一。

要注意，图20A和20B所示的例子是对图19A和19B中图示的例子的修改，且基本上类似于图19A和19B的例子，除了CM(2D)时间段和节目(2D)时间段。

要注意，虽然在图19A、19B和20A、20B所示的例子中，图示在CM转变和频道转变时的立体图像的校正的例子，在场景转变时，可以类似地进行立体图像的校正。

以此方式，在CM转变时，在场景转变时和在频道转变时，可能通过调整深度量来减轻观看者的不舒服的感觉。

在特殊再现时的立体图像的校正的例子

在先前的描述中，描述在场景转变时的立体图像的校正的例子。在此，而且，可以假设，用户可以通过诸如双倍速度再现的特殊再现方法来观看立体图像。在通过之前提出的这种特殊再现方法来显示立体图像的情况下，由于再现速度高于普通立体图像显示，因此用户可能感到难以观看该立体图像。因此，在以下描述中，描述其中当通过特殊再现方法显示立体图像时校正立体图像的例子。要注意，在该情况下的信息处理设备的配置基本类似于参考图2等来描述的配置。因此，在此省略类似配置的重复描述以避免冗余。

图21A和21B图示根据本公开技术的第一实施例中的立体图像校正部分150的进行的深度量的调整的例子。更具体地，图21A和21B示意性地图示按时序示意性地图示对应于来自位移量保持表300中包含的位移量中的一个位移量、即一个块的深度量的变化。另外，在图21A和21B所示的例子中，假设，正进行诸如双倍速度再现或三倍速度再现的预定多倍速度再现。

在此，在进行预定多倍速度再现的情况下，在抽样掉其某些帧的同时，显示显示对象的立体图像内容。例如，如果进行双倍速度再现，则在抽样掉配置立体图像内容的帧中的每隔一个的帧的同时显示显示对象的立体图像内容。在此，当进行预定多倍速度再现时，不使用与使得对象被抽样掉的帧相关的位移量保持表。这使得能够快速地进行立体图像的校正处理。

图21A按时序图示在调整之前的立体图像的深度量。图21A中示出的曲线551对应于立体图像的深度量的过渡。图21B按时序图示在调整之后的立体图像的深度量。图21B所示的曲线552对应于在调整对应于图21A所示的曲线551的深度量之后的深度量的过渡。

例如，如果正进行诸如双倍速度再现或三倍速度再现的预定多倍速度再现，则能够如上所述检测场景转变，并基于检测的结果来调整深度量。具体地，进行调整以便深度量不呈现横跨场景转变的突然转变。

或者，例如，可以使用与不使得对象被抽样掉的帧相关的位移量保持表来计算固定时间段内的深度量的平均值，以便调整固定时间段内的深度量，以便该深度量可以保持在离平均值的固定范围内。例如，能够计算时间段t31内的深度量的平均值553，并调整时间段t31内的深度量，以便其可以具有离平均值553的固定范围H1内的值。具体地，如果接受指示立体图像的多倍速度再现的指令操作，则立体图像校正部分150校正立体图像中包括的素材主体在深度方向上的位置，以便在深度方向上的素材主体的位置的变化可以维持在固定范围内。

或者，例如，可以通过乘以参数cn(n是正整数)来调整深度量，该参数cn响应于多倍速度再现的倍率而减小。该参数cn具有例如0≤cn≤1的范围内的值，且满足...c4(四倍速度再现时的参数)＜c3(三倍速度再现时的参数)＜c2(两倍速度再现时的参数)＜c1(正常速度再现时的参数)＝1的关系。

可以使得能够减小在多倍速度再现时在帧之间的深度量的波动以减小用户眼睛的负担。另外，在特殊再现操作时，可以通过调整深度量来消除用户的不愉快的感觉。

要注意，当如上所述进行在CM转变时立体图像的校正、在频道转变时立体图像的校正、在特殊再现时立体图像的校正等时，可以使用调整后的深度量来进行声音的校正。另外，可以通过用户操作来设置是否可以与以此方式的图像的校正一起进行声音校正。

当同时显示多个屏幕时的校正的例子

在上述例子中，显示基于立体图像内容的立体图像作为在显示部分181上的一个屏幕，即作为一个屏幕图像。在此，假设其中例如信息处理设备分别在多个屏幕上显示立体图像的情况，该信息处理设备可以在相同显示面板上显示多个屏幕、即诸如主屏幕和子屏幕的多个屏幕图像。在该情况下，如果在多个屏幕上显示的立体图像实质上彼此不同，则可以进行多个屏幕的立体图像的校正。因此，在以下描述中，描述如下例子，其中，在同时在相同显示面板上显示多个屏幕的情况下，对每个屏幕进行在屏幕上显示的立体图像的校正。

图22A和22B图示简化形式的根据本公开技术的第一实施例中的信息处理设备560的外观配置和校正处理的流程的例子。要注意，在本例子中的信息处理设备基本类似于参考图2等来描述的信息处理设备。因此，在此省略与图2等所示的上述消息处理设备100的那些共同的组件的重复描述来避免冗余。

更具体地，图22A示出作为信息处理设备560的外观配置的前侧的外观配置的例子。参考图22A，例如，在信息处理设备560的显示部分181上，显示主屏幕561和子屏幕562。另外，信息处理设备560可以在主屏幕561和子屏幕562上显示彼此不同的立体图像。

图22B图示简化形式的由信息处理设备560进行的校正处理的流程。更具体地，图22B所示的例子类似于上述的校正处理，除了以彼此不同的方式校正同时显示的两个立体图像。参考图22B，作为主屏幕的校正处理570的图像校正处理，对主屏幕图像数据571、即对构造主屏幕561的显示的对象的图像数据进行图像校正处理572。然后，进行在校正后的图像数据的主屏幕立体图像输出573。同时，作为主屏幕的校正处理570的声音校正处理，进行主屏幕声音数据574的声音校正处理575。然后，针对校正后的声音数据进行主屏幕声音输出576。

另外，作为子屏幕的校正处理580的图像校正处理，针对子屏幕图像数据581、即对构造子屏幕562的显示的对象的图像数据进行图像校正处理582。然后，针对在校正后的图像数据进行子屏幕立体图像输出583。同时，作为子屏幕的校正处理580的声音校正处理，针对子屏幕声音数据584进行声音校正处理585。然后，针对在校正后的声音数据进行子屏幕声音输出586。

或者，可以基于相同的设置实体来进行对主屏幕的校正处理570和对子屏幕的校正处理580，或可以基于不同设置实体来分别进行对主屏幕的校正处理570和对子屏幕的校正处理580。或者，可以响应于通过用户操作来设置的主屏幕561和子屏幕562的尺寸来改变设置实体。

要注意，虽然在图22A和22B的例子中，同时在同一显示面板上显示两个屏幕，但是可以类似地进行三个或更多屏幕的显示。

以此方式，在显示主屏幕561和子屏幕562的情况下，可以通过对每个屏幕调整深度量来在各个屏幕上提供丰富的呈现。

<2.第二实施例>

在公开技术的第一实施例中，描述了基于关于用户操作或立体图像的各种信息来进行声音校正和图像校正的例子。在此，因为立体图像提供在显示的素材主体的实际显示位置和用户通过幻象而看到的素材主体的位置之间的差，因此假设用户可能具有不舒服的感觉。因此，在公开技术的第二实施例中，描述其中如所述的用户的眼睛由于诸如不舒服感觉而疲劳的感觉被缓和的例子。

信息处理设备的配置的例子

图23图示根据本公开技术的第二实施例的信息处理设备600的功能配置的例子。

参考图23，信息处理设备600包括图像拾取部分610、面部检测部分620、虹膜检测部分630和参考虹膜信息保持部分640。信息处理设备600眼球变化检测部分650、获取部分660、立体图像校正部分670、声音输出部分680、和控制部分690。信息处理设备600还包括操作接受部分115、内容存储部分121、内容随附信息存储部分122、显示部分181、声音输出部分182和遥控器500，它们与图2所示的基本类似。因此，在此省略与图2等所示的消息处理设备100的那些共同的那些组件的重复描述来避免冗余。

图像拾取部分610在控制部分690的控制下，拾取图像拾取对象的图像来产生图像数据或视频数据，且向面部检测部分620和虹膜检测部分630连续输出产生的图像数据。更具体地，图像拾取部分610包括未示出的光学单元、图像拾取设备和信号处理部分。在图像拾取部分610中，在图像拾取设备的图像拾取面上形成通过光学单元近来的图像拾取对象的光学图像，且在该状态下，图像拾取设备进行图像拾取操作。然后，信息处理部分对拾取的图像信号进行信号处理来产生图像数据。然后，以预定帧速来向面部检测部分620和虹膜检测部分630连续输出产生的图像数据。可以由例如单筒相机实现图像拾取部分610。

另外，图像拾取部分610包括用于执行自动聚焦的自动聚焦(AF)功能。该自动聚焦功能是例如称为对比度AF的对比度检测类型。

在此，描述AF处理。在AF处理中，例如，重复进行一系列操作，即到要开始获取对比度信息的位置的移动操作和对比度信息的获取操作、即单次AF处理的组合。每次执行单次AF处理时，可以得到从镜头到图像拾取对象的距离、即图像拾取对象距离。具体地，如果图像拾取对象距离用a表示，从镜头到在图像拾取设备上形成的图像的距离用b表示，且镜头的焦距用f表示，则满足以下公式3：

1/a+1/b＝1/f    ...公式3

基于公式3，图像拾取部分610可以计算图像拾取对象距离a＝1/(1/f-1/b)。然后，图像拾取部分610向眼球变化检测部分650输出所计算的图像拾取对象距离a。

要注意，虽然在公开技术的第二实施例中，图像拾取部分610被内置于信息处理设备600中，但是可以使用成像设备作为外部设备来取代图像拾取部分610。例如，诸如数字静态照相机或例如具有集成相机的记录器的数字视频摄像机的成像设备彼此通过无线电路或有线电路连接，该集成相机具有向外部设备和信息处理设备600输出产生的图像数据的外部输出端。然后，可以通过信息处理设备600来获取由成像设备产生的图像数据，且将其连续供应给面部检测部分620和虹膜检测部分630。

面部检测部分620检测从图像拾取部分610输出的图像数据中包括的人的面部，并向虹膜检测部分630输出关于所检测的面部的面部检测信息。作为面部检测方法，例如，可以使用如下面部检测方法和其他方法，该面部检测方法基于在实际图像和记录面部的亮度分布信息的模板之间的匹配，如在日本专利特开No.2004-133637中公开的基于被包括在图像数据中的皮肤、人类的面部等的颜色的特征量的面部检测方法。该面部检测信息包括图像数据、即图像上的所检测面部的位置和大小。要注意，在图像数据上的所检测面部的位置可以是例如图像数据上的面部图像的左上部分，且图像数据上的所检测面部的大小可以是例如图像数据的面部图像在水平方向和垂直方向上的长度。基于该面部检测信息，可以指定如下面部图像，其是在包括图像数据上的面部的至少一部分的矩形中的图像数据。

虹膜检测部分630检测从图像拾取部分610输出的图像数据中包括的面部的双眼的虹膜，并向眼球变化检测部分650输出关于所检测的虹膜的虹膜信息。更具体地，虹膜检测部分630使用包括面部检测部分620输出的位置和大小的面部检测信息，从图像拾取部分610输出的图像数据中提取对应于面部检测部分620检测的面部的面部图像。作为在该情况下的虹膜检测方法，例如，可以类似于面部检测方法而使用基于在实际图像和记录虹膜的亮度分布信息等的模板之间的匹配的虹膜检测方法。虹膜信息包括面部图像上的所检测虹膜的位置。基于该虹膜信息，可以指定图像数据上的双眼的虹膜的位置。虹膜的位置可以是例如虹膜的中心位置。

可以使用一些其他虹膜检测方法。例如，从图像拾取部分610输出的图像数据可以被二进制化以便基于一个屏幕上的二进制化数据来检测虹膜。例如，从图像拾取部分610输出的图像数据被二进制化以确定水平或向左和向右方向上的各个线上的黑色像素和白色像素。然后，提取其中在水平方向上预定范围内的一定数量的白像素连续出现且另一预定范围内的另一数量的黑像素出现且此外再一预定范围内的一定数量的白像素在连续黑像素之后出现的线作为虹膜区域的候选线。然后，在垂直或向上和向下方向上，检测其中预定范围内的一定数量的这种被检测的候选线连续出现的区域。所检测的区域可以被确定为虹膜区域。

或者，可以使用眼球移动的测量设备来检测虹膜。例如，在专用于观看立体图像的眼镜的镜片的位置处提供眼球移动测量设备。在测量设备的眼球侧，提供红外LED(发光二极管)和光学接收器，同时在它们的外侧提供成像设备。然后，在眼球上发射红外光，且由光接收器来检测从眼球反射的光。由此可以指定虹膜部分的位置。

参考虹膜信息保持部分640保持虹膜信息、即由虹膜检测部分630关于预定时刻检测的虹膜的参考虹膜信息，且向眼球变化检测部分650供应保持的参考虹膜信息。

眼球变化检测部分650当在显示部分181上显示立体图像时检测用户的眼球的变化，并向立体图像校正部分670输出检测的结果。例如，眼球变化检测部分650使得在参考虹膜信息保持部分640中保持在由虹膜检测部分630在预定时刻检测的虹膜之间的距离作为参考虹膜信息、即作为参考虹膜距离。然后，眼球变化检测部分650相互比较在参考虹膜信息保持部分640中保持的参考虹膜信息和在预定时刻之后从虹膜检测部分630输出的虹膜信息，以检测用户的眼球的变化。在该情况下，眼球变化检测部分650向立体图像校正部分670输出在比较的对象的虹膜距离之间的差值、或在基于虹膜距离的会聚角之间的差值，作为检测结果。换句话说，眼球变化检测部分650可以基于在虹膜检测部分630检测的虹膜之间的距离来检测用户的眼球的变化。在此，预定时刻可以是进行用于指示显示立体图像的指令操作的时刻或接通信息处理设备600的电源的时刻。

获取部分660在控制部分690的控制下，获取在内容存储部分121和内容随附信息存储部分122中存储的各种信息，并向相关组件供应所获取的信息。

立体图像校正部分670在控制部分690的控制下当输出立体图像内容时校正图像数据，并向输出控制部分680输出校正后的图像数据。具体地，立体图像校正部分670基于由眼球变化检测部分650检测的眼球的所检测变化来校正在立体图像中包括的素材主体的深度方向上的位置。在该情况下，如果眼球的变化大于固定量的参考值，则立体图像校正部分670进行校正，以便立体图像中包括的素材主体的深度方向上的位置向立体图像的显示面侧移动。另外，立体图像校正部分670可以基于眼球的变化来确定对应于立体图像素材主体的用户的会聚角是否大于作为固定角的参考角。然后，如果会聚角大于固定参考角，则立体图像校正部分670进行校正，以便立体图像中包括的素材主体的深度方向上的位置移动到立体图像的显示面侧。在这些校正处理中，通过调整表示素材主体在深度方向上的位置的参数、例如位移量保持表中的位移量，来校正立体图像中包括的素材主体在深度方向上的位置。

输出控制部分680响应于由操作接受部分115接受的操作输入来进行用于输出在内容存储部分121中存储的内容的输出处理。另外，输出控制部分680控制显示部分181来显示包括参考素材主体的参考立体图像，该参考素材主体用于测量预定时刻、诸如在指示显示立体图像的指令操作时或当接通信息处理设备600的电源时的参考虹膜距离。

控制部分690根据由操作接受部分115接受的操作输入来控制信息处理设备600的组件。

图像校正部分的配置的例子

图24图示根据本公开技术的第二实施例中的立体图像校正部分670的功能配置的例子。参考图24，立体图像校正部分670包括图像数据输入块152、水平移动处理块152、平滑处理块154和图像数据输出块155，与图4所示的基本上相似。因此，在此省略它们的重复描述以避免冗余。

立体图像校正部分670还包括确定块671和调整块672。

确定块671基于控制部分690的控制，来确定是否要校正立体图像中包括的素材主体在深度方向上的位置，且向调整块672输出包括诸如差值的确定信息的确定结果。具体地，确定块671使用从眼球变化检测部分650输出的检测结果，即在构成比较对象的虹膜距离之间的差值，来确定眼球的变化、即差值是否大于固定参考值。然后，如果眼球的变化大于固定参考值，则确定块671确定要进行校正。另一方面，如果眼球的变化不大于固定参考值，则确定块671确定不进行校正。换句话说，确定块671可以基于眼球的变化来确定对应于立体图像素材主体的用户的会聚角是否大于作为固定参考角。然后，如果会聚角大于固定参考角，则确定块671确定要进行校正。

调整块672，基于从确定块671输出的确定结果，调整用于校正从获取部分660向其供应的图像数据的参数，并向水平移动处理块153输出调整后的参数。具体地，如果从确定块671输出要进行校正的确定结果，则调整块672调整用于进行校正以将立体图像中包括的素材主体在深度方向上的位置移动到立体图像的显示面侧的参数。另一方面，如果从确定块671输出不进行校正的确定结果，则调整块672不进行参数的调整。

由图像拾取部分产生的图像的例子

图25图示简化形式的在公开技术的第二实施例中的由图像拾取部分610产生的图像、即图像705。

参考图25，图像705是由图像拾取部分610产生的图像或图像数据的例子，且包括例如图1B所示的信息处理设备600前端的椅子11上坐着的用户10的面部。要注意，由面部检测部分620检测图像705中包括的用户10的面部。另外，由虹膜检测部分630检测图像705中包括的用户10的双眼、即左眼711和右眼712的虹膜。另外，在公开技术的第二实施例中，左眼的虹膜的中心位置被视为左眼的虹膜的位置，且右眼的虹膜的中心位置被视为右眼的虹膜的位置。另外，在公开技术的第二实施例中，在左眼的虹膜的中心位置和右眼的虹膜的中心位置之间的距离是虹膜距离。具体地，在公图25所示的例子中，在左眼711的虹膜的中心位置和右眼712的虹膜的中心位置之间的距离是虹膜距离。由于虹膜具有对应于实际虹膜距离e1的值，因此其被虚拟地表示为“e1”。要注意，可以基于图像拾取对象距离、即从镜头到用户10的面部的距离、从镜头到图像拾取元件的距离和在图像拾取元件的图像拾取面上形成为图像的虹膜之间的距离来计算虹膜距离e1。另外，可以使用固定值、诸如65mm来用作虹膜距离e1。

在观看位置、突出位置和会聚角之间的关系的例子

如26A和26B示意性地图示公开技术的第二实施例中的显示部分181上显示的立体图像的观看位置和观看立体图像的用户的会聚角之间的关系。

图26示出当用户观看平面图像或2D图像时的眼球和对应的会聚角α1。在图26A中，在显示部分181的显示面上显示立体图像的位置被表示为显示面的位置700，且当用户观看显示部分181上显示的立体图像时的用户的观看位置被表示为观看位置710。

例如，当用户观看到显示面的位置700上显示的平面图像时，进行水平方向上的用户的眼球的调整，以便该角可以与用户察觉的图像的位置一致，且调整双眼的焦点到显示面的位置700。更具体地，进行水平方向上的用户的双眼的角度调整，以便由互连用户的双眼、即左眼711和右眼712的虹膜的直线和显示面的位置700所限定的交叉点、换句话说察觉点701，与用户察觉的图像的位置一致。另外，与角度调整一起，调整双眼的焦点到显示面的位置700、即察觉点701。要注意，察觉点701处的角度α1通常称为会聚角。在用户以此方式观察在显示面的位置700上显示的屏幕图像的情况下，用户的双眼、即左眼711和右眼712的焦点和视点(eye point)两者出现在显示面的位置700处。

在此，描述会聚角α1的计算方法。例如，显示面的位置700和观看位置710之间的距离用L1表示，在观看立体图像的用户的双眼之间的距离用e1表示。在该情况下，满足以下公式4。

tan(α1/2)＝(e1/2)/L1    ...公式4

然后，可以从以下公式5中确定会聚角α1：

α1＝2tan^-1((e1/2)/L1)    ...公式5

要注意，作为距离L1，可以使用从图像拾取部分610输出的图像拾取对象距离。或者，作为距离L1，可以使用假设观看位置而确定的固定值，诸如2m，或可以通过用户手动操作、即使用遥控器500的手动操作来获取距离L1。或者，可以通过用调整的麦克风的距离测量或通过遥控器500的距离测量方法来获得距离L2。要注意，在使用遥控器500的距离测量方法中，例如，在用户10用手握住的遥控器500上提供UWB(超宽带)，以便使用UWB的位置测量功能来测量距离L1。或者，可以使用用红外线或超声波来测量距离的距离测量设备来测量距离L1。

图26B示出当用户观看立体图像或3D图像的情况下的用户的眼球和对应的收敛角α2。要注意，在图26B中，显示面的位置700和观看位置710类似于图26A所示的。另外，立体图像中包括的立体素材主体720的突出位置被表示为突出位置721，且显示面的位置700和突出位置721之间的距离或突出量用L2表示。

例如，当用户观看到显示面的位置700上显示的立体图像时，进行水平方向上的用户的眼球的调整，以便调整到由用户察觉的图像的位置、即突出位置721。具体地，进行水平方向上的用户的眼球的角度调整，以便由互连用户的双眼、即左眼711和右眼712的虹膜的直线和突出位置721所限定的交叉点、即察觉点722可以与用户察觉的图像、即立体素材主体720的图像的位置一致。要注意，在察觉点722处的会聚角是α2。

但是，调整双眼的焦点到显示面部的位置700。具体地，进行角度调整，以便该角度与察觉点722一致，且调整双眼的焦点到显示面的位置700、即察觉点701。

以此方式，在双眼被聚焦在显示面的位置700处时，因为察觉点722位于突出位置721，因此与很可能出现的生理现象产生矛盾。因此，显著地防止了所述的矛盾导致用户的疲劳。

在此，描述会聚角α2的计算方法。例如，显示面的位置700和突出位置721之间的距离用L2表示，在观看立体图像的用户的双眼之间的距离用e2表示。在该情况下，满足以下公式6。

tan(α2/2)＝(e2/2)/(L1-L2)    ...公式6

然后，可以根据以下公式7中确定会聚角α2：

α2＝2tan^-1((e2/2)/(L1-L2))    ...公式7

要注意，作为距离L2，可以使用立体图像中的素材主体的位移量来确定素材主体的突出量由此确定距离L2。

要注意，虽然在本例子中，基于用户的双眼、即左眼711和右眼722的虹膜之间的距离，检测用户察觉的图像、即立体素材主体720的图像，但是可以使用一些其他检测方法。例如，可以使用眼睛跟踪或注视分析方法来用于检测。

参考虹膜信息的测量的例子

图27A和27B示意性地图示当获取公开技术的第二实施例中的参考虹膜保持部分640中所保持的参考虹膜信息时的测量方法和参考虹膜信息保持部分640的所保持实体的例子。

更具体地，图27图示当测量参考虹膜信息时显示部分181上显示的立体图像或3D图像、用户的眼球、和会聚角α10之间的关系。要注意，在图27A中，显示面的位置700和观看位置710类似于图26A所示的。另外，立体图像中包括的参考立体素材主体730的突出位置被表示为突出位置731，且显示面的位置700和突出位置731之间的距离、即突出量用L3表示。

在此，参考立体素材主体730是在当获取关于用户的参考虹膜信息时显示的立体图像或参考立体图像中包括的素材主体。例如，如果按下图6所示的参考虹膜信息获取按钮506，则控制部分690向输出控制部分680发出指令以在显示部分181上显示包括参考立体素材主体730的立体图像。最后，在显示部分181上显示包括参考立体素材主体730的立体图像，且用户可以察觉参考立体素材主体730。要注意，可以在内容存储部分121中存储或者可以在输出控制部分680中保持包括参考立体素材主体730的立体图像。要注意，可以使用以上给出的公式7来确定会聚角α10。

图27B示意性地图示了参考虹膜信息保持部分640的所保持的实体。在参考虹膜信息保持部分640中，保持了左眼虹膜位置信息641、右眼虹膜位置信息642、双眼虹膜距离信息643和会聚角信息644。参考虹膜信息保持部分640中保持的信息是关于虹膜检测部分630当在显示部分181上显示包括参考立体素材主体730的立体图像时检测的虹膜的信息或参考虹膜信息。

左眼虹膜位置信息641表示关于虹膜检测部分630当在显示部分181上显示包括参考立体素材主体730的立体图像时检测的左眼的虹膜的位置。在左眼虹膜位置信息641中，例如，存储例如在由图像拾取部分610产生的图像数据或图像中的左眼711的虹膜的中心位置(X1，Y1)。

右眼虹膜位置信息642表示关于虹膜检测部分630当在显示部分181上显示包括参考立体素材主体730的立体图像时检测的右眼的虹膜的位置。在右眼虹膜位置信息642中，例如，存储例如在由图像拾取部分610产生的图像数据或图像中的右眼712的虹膜的中心位置(X2，Y2)。

双眼虹膜距离信息643是表示虹膜检测部分630当在显示部分181上显示包括参考立体素材主体730的立体图像时检测的左眼和右眼的虹膜之间的距离的信息。在双眼虹膜距离信息643中，例如，存储例如在由图像拾取部分610产生的图像数据或图像中的左眼711和右眼712之间的距离e3。

会聚角信息644是表示虹膜检测部分630当在显示部分181上显示包括参考立体素材主体730的立体图像时检测的左眼和右眼的虹膜相关的会聚角的信息。在会聚角信息644中，例如，存储例如在由图像拾取部分610产生的图像数据或图像中的左眼711和右眼712相关的会聚角α10。

突出位置的校正的例子

图28和29示意性地图示公开技术的第二实施例的显示部分181上显示的立体图像中包括的立体素材主体的突出位置的校正的例子。

更具体地，图28图示当在显示部分181上显示的立体图像或3D图像、用户的眼球、和会聚角α10和α11之间的关系的例子。要注意，图28类似于图27A，除了关于立体素材主体740的信息。另外，立体图像中包括的立体素材主体740的突出位置被表示为突出位置741，且显示面的位置700和突出位置741之间的距离、即突出量用L4表示。另外，可以使用以下公式7确定会聚角α11：

在此，眼球变化检测部分650基于由虹膜检测部分630检测的虹膜信息，即基于关于左眼711和右眼712的虹膜信息，来计算会聚角α11。然后，眼球变化检测部分650计算在参考虹膜信息保持部分640的会聚角信息644中保持的参考会聚角α10和会聚角α11之间的差。然后，立体图像校正部分670的确定块671基于差值α10-α11来确定是否调整立体素材主体740的深度量。具体地，如果差值α10-α11是0或正值，即如果α10≥α11，则确定块671确定不需要立体素材主体740的深度量的调整。另一方面，如果差值α10-α11呈现负值，即如果α10＜α11，则确定块671确定需要立体素材主体740的深度量的调整。

在图28所示的例子中，由于会聚角α10大于会聚角α11，即由于α10≥α11，因此则确定块671确定不需要立体素材主体740的深度量的调整。换句话说，如果如图28所示的在显示部分181上显示包括立体素材主体740的立体图像，则不进行立体图像的校正。

图29图示当在显示部分181上显示的立体图像或3D图像、用户的眼球、和会聚角α10和α12之间的关系的例子。要注意，图29类似于图27A，除了关于立体素材主体750的信息。另外，立体图像中包括的立体素材主体750的突出位置被表示为突出位置751，且显示面的位置700和突出位置751之间的距离、即突出量用L5表示。可以使用以下公式7确定会聚角α12：

在此，类似于图28所示的情况，眼球变化检测部分650计算参考会聚角α12，并计算在参考会聚角α10和会聚角α12之间的差值。然后，立体图像校正部分670的确定块671基于差值α10-α12来确定是否调整立体素材主体750的深度量。

在图29所示的例子中，由于会聚角α10小于会聚角α12，即由于α10＜α11，因此则确定块671确定需要立体素材主体750的深度量的调整。在该情况下，调整块672基于在参考会聚角α10和会聚角α12之间的差值来调整立体素材主体750的深度量，以便会聚角α12可以在参考会聚角α10内。通过该调整，立体素材主体750的位置、即突出位置751变为与参考立体素材主体730的位置相同的位置、即突出位置731或比突出位置731更靠近显示面的位置700侧的位置。

要注意，虽然在上述例子中，眼球变化检测部分650计算会聚角，但是确定块671可以另外计算会聚角并进行确定。具体地，确定块671计算对应于参考立体素材主体730的用户10的参考会聚角α10，并计算对应于在显示部分181上显示的立体图像中包括的立体素材主体750的用户10的会聚角α12。

然后，立体图像校正部分670基于在会聚角α12和参考会聚角α10之间的比较结果来校正立体素材主体750在深度方向上的位置。

另外，在上述例子中，虽然相互比较会聚角以确定是否需要校正。但是，可以相互比较虹膜距离以确定是否需要校正。

信息处理设备的操作的例子

现在，将参考附图描述本公开技术的第二实施例的信息处理设备600的操作。

图30图示根据本公开技术的第二实施例中的信息处理设备600进行的立体图像显示处理的处理过程的例子。在图30中，可以相互比较会聚角以确定是否需要校正。

参考图30，首先，在步骤S971处决定是否进行立体图像的显示指令操作，以及如果不进行立体图像的显示指令操作，则连续进行监视。另一方面，如果在步骤S971处进行立体图像的显示指令操作，则输出控制部分680在控制部分690的控制下控制显示部分181来在步骤S972处显示参考立体图像。

然后，在步骤S973处，虹膜检测部分630检测由图像拾取部分610产生的图像或图像数据中包括的用户的双眼的虹膜。然后在步骤S974处，眼球变化检测部分650基于所检测的虹膜之间的距离、即基于参考虹膜距离来计算参考会聚角α10。

然后，在步骤S975处，控制部分690输出关于显示指令操作的立体图像内容。更具体地，在步骤S975处，输出控制部分680控制显示部分181来根据显示指令操作而显示立体图像，且控制显示部分181来根据显示指令操作来显示立体图像内容。

然后，在步骤S976处，虹膜检测部分630检测由图像拾取部分610产生的图像或图像数据中包括的用户的双眼的虹膜。然后在步骤S977处，眼球变化检测部分650基于所检测的虹膜之间的距离来计算会聚角α20。

然后，在步骤S978处，确定块671基于差值，进行参考会聚角α10和会聚角α20之间的比较，即α10-α20＜0的确定。如果在步骤S978处比较结果指示会聚角α20等于或小于参考会聚角α10，则处理返回到步骤S975。另一方面，如在步骤S978处会聚角α20大于参考会聚角α10，则调整块672在步骤S979处调整立体素材主体的参数、即位移量。更具体地，调整块672在步骤S979处基于在参考会聚角α10和会聚角α20之间的差值来调整立体素材主体的参数，以便会聚角α20可以在参考会聚角α10内。然后，立体图像校正部分670在步骤S980处使用调整后的参数或位移量来进行立体图像的校正。然后，连续显示校正后的立体图像。

因此，在步骤S981处，决定是否进行立体图像的显示结束操作。如果不进行立体图像的显示结束操作，则处理返回到步骤S975。另一方面，如果在步骤S981处进行立体图像的显示结束操作，则立体图像显示处理的操作结束。

以此方式，通过公开技术的第二实施例，当用户观看立体图像时，可以减少眼睛的疲劳同时不丧失呈现。

要注意，虽然在本公开技术的第二首鼠两端描述中，省略了声音的校正的描述，但是当校正上述立体图像时，可以使用用于校正的参数来校正声音。

要注意，在本公开技术的实施例的前述描述中，描述了其中获取对应于广播波的立体图像内容来显示立体图像的信息处理设备。但是，本公开技术的实施例也可以应用于其中获取记录介质中存储的立体图像内容来显示立体图像的信息处理设备。本公开技术的实施例也可以应用于其中通过可以是有线网络或无线网络的网络来获取立体图像内容来显示立体图像的信息处理设备。

要注意，接合本公开技术的优选实施例描述的任何处理过程都可以被视为包括处理过程的方法或用于使得计算机执行处理过程的程序或作为存储了程序的记录介质。记录介质可以是例如CD(光盘)、MD(MiniDisc)、DVD(数字通用盘)存储卡、蓝光碟(注册商标)等。

本公开包含涉及分别在2010年11月29日在日本专利局提交的日本优先权专利申请JP 2010-264891中公开的主题，其全部内容被引用附于此。

本领域技术人员应该理解，可以取决于设计需求或其他因素，进行各种修改、组合、子组合和变更，只要它们处于所附权利要求或其等同物的范围内。

Claims (13)

1.一种信息处理设备，包括：

校正部分，适用于基于立体图像中包括的素材主体在深度方向上的位置来校正与立体图像相关的声音信息；以及

输出控制部分，适用于当显示立体图像时输出校正后的声音图像。

2.根据权利要求1的信息处理设备，还包括：

检测部分，适用于检测在立体图像中包括的具体对象，其中

所述校正部分基于被检测的具体对象在深度方向上的位置来校正要从被检测的具体对象发出的声音。

3.根据权利要求2的信息处理设备，其中，所述声音信息包括在中央声道、左声道和右声道中的声音，以及

所述校正部分使用指示素材主体在深度方向上的位置的参数中的、指示被检测的具体对象在深度方向上的位置的那一个参数，来校正中央声道中的声音作为从被检测的具体对象中发出的声音，且使用除了指示被检测的具体对象在深度方向上的位置的参数之外的参数来校正左声道和右声道中的声音。

4.根据权利要求3的信息处理设备，其中，所述校正部分计算除了指示被检测的具体对象在深度方向上的位置的参数之外的参数的平均值，并基于所计算的平均值来校正在左声道和右声道中的声音。

5.根据权利要求1的信息处理设备，其中，所述校正部分使用指示素材主体在深度方向上的位置的参数来校正所述声音信息。

6.根据权利要求5的信息处理设备，其中，所述校正部分计算该参数的平均值并基于所计算的平均值来校正所述声音信息。

7.根据权利要求1的信息处理设备，其中，所述校正部分校正所述声音信息，以便根据在立体图像中包括的素材主体的背景的声音图像定位于背景在深度方向上的位置。

8.根据权利要求1的信息处理设备，其中，所述校正部分校正所述声音信息，以便根据所述声音信息的声音图像定位于素材主体在深度方向上的位置。

9.根据权利要求8的信息处理设备，其中，所述校正部分使用对应于素材主体在深度方向上的位置的头相关传输函数滤波器来校正所述声音信息。

10.根据权利要求9的信息处理设备，还包括：

保持部分，适用于为在深度方向上的多个位置保持多个头相关传输函数滤波器，其分别对应于在深度方向上的多个位置，其中

所述校正部分选择头相关传输函数滤波器中对应于最靠近素材主体在深度方向上的位置的位置的那一个，并使用所选择的头相关传输函数滤波器来校正所述声音信息。

11.根据权利要求8的信息处理设备，还包括：

操作接受部分，适用于接受用于切换在立体图像中包括的素材主体在深度方向上的位置的切换操作，其中

所述校正部分校正所述声音信息，以便当接受所述切换操作时，根据声音信息的声音图像定位于在切换之后的素材主体在深度方向上的位置。

12.一种信息处理方法，包括：

基于立体图像中包括的素材主体在深度方向上的位置来校正与立体图像相关的声音信息；以及

当显示立体图像时输出校正后的声音图像。

13.一种用于使得计算机执行以下的程序：

基于立体图像中包括的素材主体在深度方向上的位置来校正与立体图像相关的声音信息；以及

当显示立体图像时输出校正后的声音图像。

Images