CN102480631A - 信息处理设备、信息处理方法和程序 - Google Patents

Abstract

这里公开的是一种信息处理设备，包括：显示控制部分，被适配来控制显示部分显示基于立体图像信息的立体图像；检测部分，被适配来当在显示部分上显示该立体图像时检测用户的眼球的变化；以及校正部分，被适配来基于所检测到的眼球的变化，校正包括在立体图像内的物体在深度方向上的位置。

Description

信息处理设备、信息处理方法和程序

背景技术

本公开涉及信息处理设备，并且更具体地说，涉及处理显示立体图像的消息的信息处理设备和信息处理方法以及使得计算机执行该方法的程序。

已经建议了显示立体图像或3D(三维)图像(例如，由左眼图像和右眼图像形成的、可以利用在左与右眼之间的视差从其获得立体效果的双视点图像)的很多立体图像显示方法。此外，近年来，由于立体图像内容或3D内容的质量利用计算机的改善，立体图像经常显示在影剧院等中，并且观众的兴趣日益增加。

此外，结合电视广播的数字化，可以传送过去不能由模拟广播传送的大量数字数据。因此，估计将来通过数字广播，将增加机会将显示立体图像的数字数据传输到家用电视机，以便在家用电视机上显示立体图像。因此，估计对立体图像的兴趣将进一步增加。

例如，如在日本专利公开第Hei 9-322198号公开的那样，作为显示立体图像的设备，已经建议了用户可以通过佩戴快门眼镜而在其上看到具有立体效果的视频的立体视频显示电视设备。

发明内容

利用该立体视频显示电视设备，可以恰当地显示立体图像。

这里，当该用户是正在观看立体图像时，可以立体地看到显示对象的物体(material body)。在这种情况下，由于用户实际上看到的图像的位置，即，显示面的位置，与该用户以幻景(illusion)查看的物体的位置彼此不同，所以认为该用户可以有不适的感受。此外，由于用户实际上看到的图像的位置与该用户以幻景查看到的物体的位置彼此不同，所以与可以真实地发生的生理现象的矛盾产生。因此，防止刚刚描述的这种矛盾引起用户眼疲劳是很重要的。

因此，希望提供这样的信息处理设备、信息处理方法和程序，当显示立体图像时，通过其可以减轻用户眼睛的负担。

根据该公开技术的实施例，提供信息处理设备、信息处理方法以及使得计算机执行该方法的程序。该信息处理设备包括：显示控制部分，被适配来控制显示部分以立体图像信息为基础显示立体图像；检测部分，被适配来当在显示部分上显示该立体图像时检测用户的眼球的变化；以及校正部分，被适配来基于所检测到的眼球的变化，校正包括在立体图像内的物体在深度方向上的位置。在该信息处理设备中，检测当在显示部分上显示立体图像时用户的眼球的变化，并且基于所检测到的眼球的变化校正包括在立体图像内的物体在深度方向上的位置。

此外，该校正部分可以基于所检测到的眼球的变化，确定与物体对应的用户的会聚角是否大于固定基准角，并进行校正以使得当该会聚角大于该固定基准角时，包括在立体图像内的物体在深度方向上的位置朝向立体图像的显示面侧移动。在该信息处理设备，确定与该物体对应的用户的会聚角是否大于该固定基准角。然后，进行该校正以使得当该会聚角是大于该固定基准角时，包括在该立体图像内的物体在该深度方向上的位置朝向立体图像的显示面侧移动。

此外，校正部分可以进行校正以使得当用户眼球变化大于固定基准量时，包括在立体图像内的物体在深度方向上的位置朝向立体图像的显示面侧移动。此外，在该信息处理设备中，进行校正以使得当用户眼球变化大于固定基准量时，包括在立体图像内的物体在深度方向上的位置朝向立体图像的显示面侧移动。

此外，根据本公开的实施例，该信息处理设备可以配置成使得其还包括虹膜检测部分，被适配来当在显示部分上显示立体图像时检测该用户的虹膜，并且使得该检测部分基于检测到的虹膜之间的距离检测眼球变化。在该信息处理设备中，检测用户的虹膜，并且基于检测到的虹膜之间的距离检测眼球的变化。

此外，根据本公开的实施例，该检测部分可以确定在预定定时检测到的虹膜之间的距离作为基准虹膜距离，并且连续比较该基准虹膜距离与迟于预定定时检测到的虹膜之间的距离，然后基于该比较结果检测眼球的变化。在该信息处理设备中，将该基准虹膜距离连续与迟于预定定时检测到的虹膜之间的距离相比较，并且基于该比较结果检测眼球的变化。

在这种情况下，该预定定时可以是进行用于显示基于立体图像信息的立体图像的指令的指令操作的定时。在该信息处理设备中，将在进行指令操作时检测到的虹膜之间的距离确定为基准虹膜距离。

在这种情况下，该信息处理设备可以被配置成使得该显示控制部分当进行该指令操作时，控制该显示部分以显示包括基准物体的基准立体图像，用于测量该基准虹膜距离，并且该校正部分确定当该基准立体图像被显示在该显示部分上时该用户的虹膜之间的距离为基准虹膜距离，并且基于在作为基于该基准虹膜距离计算出来的与基准物体对应的用户的会聚角的基准会聚角与对应于包括在显示在该显示部分上的立体图像中的物体并且基于在显示了该基准立体图像之后检测到的虹膜之间的距离计算出来的用户的会聚角之间的比较结果，来进行校正。在该信息处理设备中，基于在与基于该基准虹膜距离计算出来的基准会聚角和基于在显示了该基准立体图像之后检测到的虹膜之间的距离计算出来的会聚角之间的比较结果进行校正。

此外，根据本公开的实施例，该信息处理设备可以被配置成使得该立体像信息包括指示在该立体图像中的物体在深度方向上的位置的参数，并该校正部分通过调整该参数来进行该校正。在该信息处理设备，通过调整指示包括在该立体图像中的物体在该深度方向上的位置的参数来进行该校正。

根据该公开技术的另一个实施例，提供信息处理设备、信息处理方法和使得计算机执行该方法的程序。该信息处理设备包括：操作接受部分，被适配来接受；校正部分，被适配来当接受了该指令操作时，校正包括在该立体图像中的物体在该深度方向上的位置，以使得该位置的变化保持在固定范围之内；以及输出控制部分，被适配来输出其中校正了该物体在该深度方向上的位置的立体图像。在该信息处理设备，如果接受了用于进行立体图像的多速再现的指令的指令操作，则校正包括在该立体图像中的物体在该深度方向上的位置，以使得位置变化保持在该固定范围之内。然后，输出校正了该物体在该深度方向上的位置的立体图像。

总之，所公开的技术的信息处理设备能够实现以下优异效果：当显示立体图像时，减轻用户眼睛的负担。

附图说明

图1A和图1B是以简化形式图解使用该公开技术应用到的信息处理设备的不同示例的示意图；

图2是示出根据该公开技术的第一实施例的信息处理设备的功能配置的示例的方框图；

图3是示出如图2所示的声音校正部分的功能配置的示例的方框图；

图4是示出如图2所示的立体图像校正部分的功能配置的示例的方框图；

图5是示出如图2所示的字幕产生部分的功能配置的示例的方框图；

图6是示出如图2所示的遥控器的外观配置的示例的示意图；

图7A和图7B是图解构成显示在如图2所示的显示部分上的立体图像的图像与包括在这些图像中的物体在深度方向上的位置之间的关系的示意图；

图8是图解包括在构成显示在如图2所示的显示部分上的立体图像的图像中的物体的位移量之间的关系的示意图；

图9A和图9B是示意性地图解存储在如图2所示的内容伴随信息存储部分中的立体图像参数的视图；

图10A和图10B是图解存储在如图2所示的内容存储部分中的立体图像内容中的位移量与在如图2所示的显示部分的显示面上的位移量之间的关系的示意图；

图11是示意性地图解在观看如图2所示的显示部分上显示的立体图像的情况下的观看位置与包括在立体图像中的物体(即，立体物体)的突出位置之间的关系的视图；

图12A和图12B分别示意性地图解通过如图2所示的立体图像校正部分校正前后立体物体的位置的视图；

图13是示意性地图解在通过如图2所示的声音校正部分校正输出声音的情况下的校正方法的视图；

图14是图解通过如图2所示的声音校正部分的声音校正处理的处理规程的示例的流程图；

图15是图解如图2所示的立体图像校正部分的立体图像校正过程的处理规程的示例的流程图；

图16是图解如图2所示的字幕生成部分的字幕生成过程的处理规程的示例的流程图；

图17A和图17B是示意性示出以时间顺序显示在如图2所示的显示部分上的立体图像的视图；

图18是示出如图2所示的声音校正部分的功能配置的另一示例的框图；

图19A和图19B、图20A和图20B以及图21A和图21B是图解如图2所示的立体图像校正部分的深度量的调整的不同示例的概略图；

图22A是示出如图2所示的信息处理设备的外观配置的示例的示意图，而图22B是以简化形式图解信息处理设备的校正过程的流程的框图；

图23是示出根据该公开技术的第二实施例的信息处理设备的功能配置的示例的框图；

图24是示出如图23所示的立体图像校正部分的功能配置的示例的方框图；

图25是以简化形式示出由如图23所示的图像拾取部分生成的图像的示意图；

图26A和图26B是示意性图解显示在如图23所示的显示部分上的立体图像的观看位置与正在观看该立体图像的用户的会聚角之间的关系的概略图；

图27A是图解当获取被保持在如图23所示的基准虹膜信息保持部分中的基准虹膜信息时的测量方法的概略图，而图27B是示意性图解基准虹膜保持部分的保持实例(substance)的视图；

图28和图29是示意性图解包括在显示在如图23所示的显示部分上的立体图像中的立体物体的突出位置的校正的不同示例的概略图；以及

图30是图解图23的信息处理设备的立体图像显示过程的处理规程的示例的流程图。

具体实施方式

在下面，参考附图描述这里公开的技术的优选实施例。要注意，以下面的次序给出描述。

1.第一实施例(立体图像输出控制：在其中使用立体图像参数校正立体图像和声音信息的示例)

2.第二实施例(立体图像输出控制：在其中基于眼球的变化校正立体物体的位置的示例)

<1.第一实施例>

使用信息处理设备的示例

图1A和图1B以简化形式图解了使用应用了该公开技术的信息处理设备的不同示例。

具体地说，图1A图解了在其中坐在椅子11上的用户或观众10注视显示在信息处理设备100的显示部分181上的图像的状态。图1B图解了在其中坐在椅子11上的用户或观众10注视显示在其上提供了图像拾取部分610的信息处理设备600的显示部分181上的图像的另一状态。如图1A和图1B所示的用户10可以使用其手持的遥控器500来进行信息处理设备100或600的各种操作。要注意，以下联系该公开技术的第二实施例来详细描述在其上提供了图像拾取部分610的信息处理设备600。

信息处理设备的配置的示例

图2示出了根据该公开技术的第一实施例的信息处理设备100的功能配置的示例。参考图2，例如，用从广播台接收广播波并显示图像(其可以是立体图像或平面图像)的电视接收器或具有记录功能的电视接收器，来实现信息处理设备100。

信息处理设备100包括控制部分110、操作接受部分115、内容贮存部分121、内容伴随信息贮存部分122、获取部分130、声音校正部分140、立体图像校正部分150和字幕生成部分160。信息处理设备100还包括输出控制部分170、显示部分181、声音输出部分182和遥控器500。要注意，关于该公开技术的第一实施例，这里为了便于说明和描述，省略了用于通过天线从广播台接收广播波的广播接收部分、用于解码视频信号的视频解码部分、用于解码音频信号的音频解码部分的说明和描述。此外，在该公开技术的第一实施例中，为了简化描述而假定存储然后显示由广播接收部分接收到并由视频解码部分和音频解码部分解码的内容，即，图像数据或视频数据和音频数据。

控制部分110响应操作接受部分115接受的操作输入来控制信息处理设备100的组件。例如，如果接受了用于显示立体图像的显示指令操作，则控制部分110进行用于根据显示指令操作使得立体图像内容被从显示部分181和声音输出部分182输出的控制。另一方面，如果例如接受了用于校正立体图像的校正指令操作，则控制部分110进行用于使得图像校正过程响应校正指令操作而被进行的控制。此外，例如，如果接受了用于校正立体图像的声音的校正指令操作，则控制部分110进行用于响应校正指令操作进行声音校正过程的控制。

操作接受部分115是用于接受用户输入的操作的操作接受部分，并响应所接受的操作输入将操作信号供应到控制部分110。操作接受部分115例如对应于用于打开/关闭电源的操作构件。此外，如果操作接受部分115从遥控器500接受了操作信号，则其将所接受的操作信号供应到控制部分110。

内容贮存部分121被用于存储各种内容，并且将所存储的内容供应到获取部分130。例如，内容贮存部分121存储对应于广播接收部分接收到的广播波的内容，即，图像数据和声音数据。此外，例如，内容贮存部分121存储用于显示立体图像的内容，即，立体图像内容或立体图像信息。

内容伴随信息贮存部分122是用于存储与存储在内容贮存部分121中的内容相关的伴随信息的贮存部分，并且所存储的伴随信息供应到获取部分130。例如，内容伴随信息贮存部分122以相互关联的关系存储与存储在内容贮存部分121中的立体图像内容相关的位移量保持表和二进制化数据，作为看做伴随信息的立体图像参数。要注意，以下参考图9A和图9B描述位移量保持表和该二进制化数据。此外，可以将包括立体图像内容和与立体图像内容相关的伴随信息的内容用作立体图像内容或立体图像信息。

获取部分130在控制部分110的控制下获取存储在内容贮存部分121和内容伴随信息贮存部分122中的各种信息，并且将已获信息供应到信息处理设备100的组件。例如，如果获取部分130从内容贮存部分121获取了立体图像内容，则其将来自立体图像内容之内的图像数据供应到立体图像校正部分150，并将来自立体图像之内的声音数据供应到声音校正部分140。在这种情况下，获取部分130从内容伴随信息贮存部分122获取与立体图像内容关联的立体图像参数，并且将该立体图像参数供应到立体图像校正部分150、声音校正部分140和字幕生成部分160。

声音校正部分140当在控制部分110的控制下输出立体图像内容时校正声音数据，并将校正后的声音数据输出到输出控制部分170。具体地说，声音校正部分140基于包括在立体图像中的物体在深度方向上的位置校正从获取部分130供应到其的声音数据。例如，声音校正部分140使用包括在从获取部分130供应的立体图像参数(例如，表示物体在深度方向上的位置的参数)中的位移量保持表来校正声音数据。例如，声音校正部分140计算位移量保持表中的位移量的平均值，并基于所计算出的平均值来校正声音数据。在这种情况下，声音校正部分140校正该声音数据以使得例如将声音数据的声像(sound image)定位在物体在深度方向上的位置(即，与位移量的平均值对应的位置)处。例如，声音校正部分140使用与该位置对应的头相关传递函数(head related transfer function，HRTF)滤波器来校正声音数据。要注意，头相关传递函数滤波器例如由FIR(Finite Impulse Response，有限脉冲响应)滤波器构成。此外，以下参考图3详细描述声音校正部分140的功能配置。

立体图像校正部分150当在控制部分110的控制下输出立体图像内容时校正图像数据，并将校正后的图像数据输出到输出控制部分170。具体地说，立体图像校正部分150关于包括在立体图像中的物体在深度方向上的位置校正从获取部分130供应的图像数据。例如，立体图像校正部分150使用包括在从获取部分130供应到其的立体图像参数中的位移量保持表来校正图像数据。例如，立体图像校正部分150响应用户操作调整位移量保持表中的位移量来校正图像数据。要注意，以下参考图4详细描述立体图像校正部分150的功能配置。同样，立体图像校正部分150也是该公开技术中的校正部分的示例。

字幕生成部分160当在控制部分110的控制下输出立体图像内容时生成字幕数据，并将所生成的字幕数据输出到输出控制部分170。具体地说，字幕生成部分160根据来自控制部分110的指令生成用于显示字幕作为立体图像的字幕数据。在这种情况下，字幕生成部分160根据来自控制部分110的该指令校正字幕在深度方向上的位置。例如，立体图像校正部分150使用包括在从获取部分130供应到其的立体图像参数中位移量保持表来校正字幕数据。例如，字幕生成部分160计算位移量保持表中的位移量的平均值，并且基于所计算出来的平均值校正字幕数据。要注意，以下参考图5详细描述字幕生成部分160的功能配置。

输出控制部分170响应操作接受部分115接受到的操作输入进行用于输出存储在内容贮存部分121中的内容的输出过程。例如，如果接受了用于显示立体图像的显示指令操作，则输出控制部分170控制显示部分181和声音输出部分182来输出与显示指令操作关联的立体图像内容。在这种情况下，输出控制部分170进行显示对象的图像数据和字幕生成部分160所生成的字幕数据的混合过程(blending process)，以使得以合成状态显示立体图像和字幕(为立体图像)。此外，例如，如果接受了用于校正立体图像的校正指令操作，则输出控制部分170使用从声音校正部分140输出的声音数据和从立体图像校正部分150输出的图像数据进行输出操作。

显示部分181在输出控制部分170的控制下显示各种图像。例如，显示部分181可以用诸如LCD(液晶显示器)装置之类的显示装置实现。

声音输出部分182在输出控制部分170的控制下输出各种声音信息。例如，声音输出部分182可以用扬声器实现。

遥控器500用于从与信息处理设备100隔开的地方的遥控，并响应用户的操作输入来将操作信号或输出信号输出到操作接受部分115。例如，可以将红外信号用作遥控器500的输出信号。以下参考图6详细描述遥控器500的外观配置。

声音校正部分的配置的示例

图3示出了该公开技术的第一实施例中的声音校正部分140的功能配置的示例。

参考图3，声音校正部分140包括调整值计算块141、位置转换块142、增益确定块143和滤波器确定块144。声音校正部分140还包括声音数据输入块145、音量调整块146、滤波处理块147、声音数据输出块148和保持块149。

调整值计算块141在控制部分110的控制下计算用于校正从获取部分130供应的声音数据的调整值，并将所计算出来的调整值输出到位置转换块142。例如，调整值计算块141计算包括在从获取部分130供应到其的立体图像参数中的位移量保持表中的位移量的平均值作为调整值。

位置转换块142将从调整值计算块141输出的调整值转换为用于校正声音数据的位置，即，在深度方向上的位置。位置转换块142将转换后的该位置(即，位置信息)输出到增益确定块143和滤波器确定块144。

增益确定块143基于从位置转换块142输出的位置信息确定用于进行音量调整的增益量，并将所确定的增益量输出到音量调整块146。要注意，如果不需要音量调整，则增益确定块143输出“1”作为增益量到音量调整块146。此外，以下参考图13详细描述增益量的确定方法。

滤波器确定块144基于从位置转换块142输出的位置信息确定用于将声像定位在与该位置信息对应的位置处的滤波器系数，并输出所确定的滤波器系数到滤波处理块147。保持块149为多个位置的每一个保持单独与在深度方向上的多个位置对应的多个头相关传递函数滤波器。例如，滤波器确定块144从保持在保持块149中的多个头相关传递函数滤波器之中选择与最接近与从位置转换块142输出的位置信息对应的位置的位置对应的头相关传递函数滤波器。然后，滤波器确定块144输出所选头相关传递函数滤波器的滤波器系数到滤波处理块147。要注意，以下参考图13详细描述滤波器系数的确定方法。

声音数据输入块145接收从获取部分130供应到其的声音数据，并将该声音数据供应到音量调整块146。

音量调整块146使用从增益确定块143输出的增益量，关于从声音数据输入块145供应到其的声音数据进行音量调整，并输出音量调整之后的声音数据到滤波处理块147。要注意，以下参考图13详细描述音量调整方法。

滤波处理块147使用从滤波器确定块144输出的滤波器系数，对从声音数据输入块145供应到其的声音数据进行滤波过程，并输出滤波过程之后的声音数据到声音数据输出块148。例如，滤波处理块147使用具有从滤波器确定块144输出的滤波器系数的头相关传递函数滤波器，来进行用于将声像定位在通过位置转换块142的转换获得的位置处的滤波过程。例如，这种滤波过程是头相关传递函数滤波器的二进制化过程和将头相关传递函数卷积到声音数据或声音信号的过程。要注意，以下参考图13详细描述该滤波处理方法。

声音数据输出块148输出从滤波处理块147输出的滤波过程之后的声音数据到输出控制部分170。

[立体图像校正部分的配置示例]

图4示出了该公开技术的第一实施例中的立体图像校正部分150的功能配置的示例。

参考图4，立体图像校正部分150包括调整块151、图像数据输入块152、水平移动处理块153、平滑处理块154和图像数据输出块155。

调整块151在控制部分110的控制下调整用于校正从获取部分130供应到其的图像数据的参数，并输出调整后的参数到水平移动处理块153。例如，调整块151响应由操作接受部分115所接受的操作输入调整包括在从获取部分130供应到其的立体图像参数中的位移量保持表中的位移量，并输出调整后的位移量到水平移动处理块153。要注意，对于用于调整参数的操作输入，例如，使用用于如图6所示的立体图像的深度位置调整杆510。利用操作输入，可以显示重新调整到用户想要的位置(即，在深度方向上的位置)的立体图像。

图像数据输入块152接收从获取部分130作为输入数据供应到其的图像数据，并将所接收到的图像数据供应到水平移动处理块153。

水平移动处理块153使用从调整块151输出的调整后的参数，进行从图像数据输入块152供应到其的图像数据的图像的移动过程，并输出该过程之后的图像数据到平滑处理块154。例如，水平移动处理块153进行左眼图像从左眼图像与右眼图像之间的水平移动过程，该左眼图像和该右眼图像构成与从图像数据输入块152供应的图像数据对应的立体图像。具体地说，水平移动处理块153进行移动构成左眼图像的像素由调整块151调整后的位移量的水平移动过程，以生成新的右眼图像。例如，以图解在图9B中的位移量保持表300的块为单位，进行这种水平移动过程。然后，水平移动处理块153输出与构成立体图像的左眼图像对应的图像数据和重新生成的右眼图像到平滑处理块154。要注意，虽然在本示例中，由调整块151调整后的位移量用于生成新的右眼图像，但作为替代，由调整块151调整后的位移量可以用于进行对于原右眼图像的水平移动过程，以生成立体图像。

平滑处理块154关于从水平移动处理块153输出的图像数据，用移动平均滤波器进行立体物体的区域的边缘部分的滤波过程，即，平滑过程。平滑处理块154输出该过程之后的图像数据到图像数据输出块155。例如，平滑处理块154使用包括在从获取部分130供应到其的立体图像参数中的二进制化数据，确定立体物体的区域和任何其他区域。然后，平滑处理块154对于确定为立体物体的区域的区域，用移动平均滤波器进行平滑过程。利用这种平滑过程，可以向位于远处的立体物体或3D对象的区域提供透视(perspective)。

图像数据输出块155输出从平滑处理块154输出的该图像过程之后的图像数据到输出控制部分170。

字幕数据校正部分的配置的示例

图5示出了该公开技术的第一实施例中的字幕生成部分160的功能配置的示例。

参考图5，字幕生成部分160包括调整值计算块161、字幕数据生成块162和字幕数据输出块163。

调整值计算块161在控制部分110的控制下计算用于确定要显示在显示部分181上的字幕的位置(即，在深度方向上的位置)的调整值。调整值计算块161输出所计算出的调整值到字幕数据生成块162。例如，调整值计算块161计算包括在从获取部分130供应到其的立体图像参数中的位移量保持表中的位移量的平均值作为调整值。

字幕数据生成块162在控制部分110的控制下生成显示在显示部分181上的字幕数据，并输出所生成的字幕数据到字幕数据输出块163。例如，字幕数据生成块162可以使用存储在内容贮存部分121中的内容(即，字幕内容)生成字幕数据。在这种情况下，字幕数据生成块162进行使用从调整值计算块161输出的调整值而生成的字幕数据或字幕图像的图像的水平移动过程。然后，字幕数据生成块162输出该过程之后的字幕数据到字幕数据输出块163。要注意，在这种情况下的水平移动过程与经由如图4所示的水平移动处理块153的水平移动过程相同，因而这里省略该过程的重复描述。

字幕数据输出块163将从字幕数据生成块162输出的字幕数据输出到输出控制部分170。

按照这种方式，根据该公开技术的第一实施例，可以向用户提供根据显示在显示部分181上的立体图像的恰当立体字幕。因此，用户可以拥有更丰富的呈现。

遥控器的配置的示例

图6示出了该公开技术的第一实施例中的遥控器500的外观配置的示例。

参考图6，遥控器500拥有提供在其上的电源按钮501和502、频道指定按钮组503、箭头标志确定按钮组504、功能选择按钮组505和基准虹膜信息获取按钮506。遥控器500还有提供在其上的立体图像校正转变按钮507、音量调整杆508、频道选择杆509、立体图像深度位置调整杆510和立体图像声音位置调整杆511。

电源按钮501和502分别用于对信息处理设备100打开和关闭电源。

频道指定按钮组503用于在基于广播波的、可以用于立体图像或平面图像的广播节目使用信息处理设备100时指定广播频道。

箭头标志确定按钮组504包括当在显示部分181上显示菜单屏幕等时使用的向上、向下、向左和向右箭头标志按钮以及确定按钮。该向上、向下、向左和向右箭头标志按钮当在显示在显示部分181上的显示屏幕图像上选择向上、向下、向左和向右方向时使用。例如，该向上、向下、向左和向右箭头标志按钮当要进行选择操作时，分别用于在菜单屏幕上向上、向下、向左和向右移动选择状态。确定按钮用于对显示在显示部分181的显示屏幕图像上进行各种确定操作，并且例如用于在菜单屏幕上确定选择状态。

功能选择按钮组505包括用于选择各种功能的按钮。

按下基准虹膜信息获取按钮506来获取关于用户的基准虹膜信息。要注意，以下在该公开技术的第二实施例中详细描述基准虹膜信息获取按钮506。

按下立体图像校正转变按钮507来在自动进行关于立体图像的各种校正的自动模式与手动进行这样的各种校正的手动模式之间进行转变。

音量调整杆508用于调整要从声音输出部分182输出的声音的音量。

频道选择杆509用于在基于广播波的用于立体图像或平面图像的广播节目使用信息处理设备100时，选择广播频道。

立体图像深度位置调整杆510用于在立体图像被显示在显示部分181时，调整包括在立体图像中的物体在深度方向上的位置。要注意，以下参考图12A和图12B详细描述使用立体图像深度位置调整杆510的调整的示例。

立体图像声音位置调整杆511用于在立体图像被显示在显示部分181时，调整与立体图像相关的声音的声像定位在其上的位置，即，在深度方向上的位置。

立体图像与包括在立体图像中的物体在深度方向上的位置之间的关系的示例

图7A和图7B图解了在该公开技术的第一实施例中构成显示在显示部分181上的立体图像的图像与包括在每个图像中的物体在深度方向上的位置之间的关系。更具体地说，图7A示意性示出了在立体图像被显示在显示部分181上时，在实质上在深度方向上布置用户210可以立体地观看的物体203～205的位置的情况下的顶视图。图7B示出了一个立体图像，具体地说，是用于立体地显示如图7A所示的物体203～205的左眼图像201和右眼图像202。具体地说，左眼和右眼图像201和202包括物体203～205。此外，深度方向例如是平行于互连用户210和显示部分181的显示面的线并垂直于显示部分181的显示面的方向。

要注意，在图7B中，在左眼图像201和右眼图像202两者中，同样物体用同一参考字符表示。此外，在图7B中，包括在左眼图像201和右眼图像202中的物体203～205的位移量以夸张的状态被示出以便于理解。

此外，在该公开技术的第一示例中，可以将视差栅栏法或特殊眼镜法用作在显示部分181上显示立体图像的显示方法。在特殊眼镜法中，用户佩戴用于观看立体图像的特殊眼镜(诸如主动快门型眼镜或偏振型眼镜)以便向用户提供立体图像。要注意，该公开技术的实施例也可以应用于视差栅栏法和特殊眼镜法之外的任何其他方法。

这里，研究了当在显示部分181上显示左眼图像201和右眼图像202时用户210的左眼211观看左眼图像201而用户210的右眼212观看右眼图像202的情况。在这种情况下，假设在显示面的位置220(其是显示部分181的显示面的位置)处观看包括在左眼图像201和右眼图像202的物体204。此外，假设在位置220的内部侧(即，关于显示面的内部侧221)上观看包括在左眼图像201和右眼图像202中的物体203，并且在显示面的位置220的这一侧(即，关于显示面的这一侧222)上观看物体205。

按照这种方式，在将显示面上的位置220处的物体204取作基准的情况下，在该立体图像(即，在左眼图像201和右眼图像202)中在水平方向上移位提供立体效果的物体203和205。此外，在将位置220取作基准的情况下，被移位了的位置在突出物体205与缩进物体203之间反转(reverse)。

包括在左眼图像和右眼图像中的物体的位移量的关系的示例

图8图解了包括在构成显示在该公开技术的第一实施例中的显示部分181上的立体图像的图像中的物体的位移量之间的关系。矩形230对应于如图7B中所示的左眼图像201和右眼图像202，并且在矩形230中，示出了包括在如图7B中所示的左眼图像201和右眼图像202中的物体203～205。要注意，在矩形230中，物体203～205之中包括在如图7B中所示的左眼图像201中的物体203～205的轮廓线由粗线指示。要注意，因为像在图7中所看到那样，物体204对应于显示面上的位置220，所以关于物体204不发生位移。所以，在矩形230中，包括在左眼图像201中的物体204和包括在右眼图像202中的物体204相互重叠。

此外，用箭头标志231指示在将左眼图像201在矩形230作为基准的情况下，物体203在左眼图像201和右眼图像202之间的位移量。类似地，用另一箭头标志232指示在将左眼图像201作为基准的情况下物体205在左眼图像201和右眼图像202之间的位移量。要注意，如上所述，关于物体204不发生位移。

由于左眼和右眼之间的视差被利用来获得立体视觉，因此包括在左眼图像201和右眼图像202中的物体响应物体的显示位置(即，在深度位置上的位置)而相互移位。换句话说，所显示的物体的位移量对应于立体物体或3D对象的突出量或缩进量。

所以，在该公开技术的第一实施例中，与构成立体图像的左眼图像和右眼图像相关的物体的位移量(即，立体物体或3D对象的突出量或缩进量)被用作立体图像参数。此外，在该公开技术的第一实施例中，左眼图像被用作基准，并且使用基于包括在左眼图像中的所显示的物体与包括在右眼图像中的所显示的物体之间的差(即，物体的突出量或缩进量)所计算出来的立体图像参数。

例如，如果包括在被用作基准的左眼图像中的物体在右眼图像上向左侧(其为图8中的左侧)移位，则该物体为突出物体。然后，将物体的位移量确定为大于0，即，位移量＞0。

另一方面，例如，如果包括在被用作基准的左眼图像中的物体在右眼图像上向右侧(其为图8中的右侧)移位，则该物体为缩进物体。然后，将物体的位移量确定为小于0，即，位移量＜0。

然而，例如，如果包括在被用作基准的左眼图像中的物体在右眼图像上不移位，则该物体被定位在显示面(即，屏幕表面)的位置上。然后，将物体的位移量确定为等于0，即，位移量＝0。

具体地说，由于如右眼图像202上的箭头标志231所指示的那样，作为基准包括在左眼图像201中的物体203被移位到右侧，因此该物体203是缩进物体(retracted material body)，并且物体203的位移量小于0，即，物体203的位移量＜0。

另一方面，由于如右眼图像202上的箭头标志232所指示的那样，作为基准包括在左眼图像201中的物体205被移位到左侧，因此物体205是突出物体(protruding material body)，并且物体205的位移量大于0，即，物体205的位移量＞0。

另一方面，由于作为基准包括在左眼图像201中的物体204在右眼图像202上不移位，因此物体204被定位于显示面或屏幕表面上的一个位置，并且物体204的位移量是0，即，物体204的位移量＝0。

位移量保持表的示例

图9A和图9B示意性图解了存储在该公开技术的第一实施例的内容伴随信息贮存部分122中的立体图像参数，即，位移量保持表300。

更具体地说，图9A示出了用于生成位移量保持表300的立体图像，具体地说，是左眼图像301右眼图像302。参考图9A，左眼图像301和右眼图像302包括1,920×1,080个像素。要注意，在图9A，示出了与左眼图像301和右眼图像302对应的矩形，而未示出包括在图像中的物体等。

这里，描述包括在立体图像中的物体的位移量的计算方法。例如，将左眼图像分割成特定尺寸的区域或块，并计算在例如左眼图像和右眼图像的4×4个像素的尺寸的对应区域之间的比较过程，即，在水平方向上连续移动对应区域时的比较过程。然后，基于相关值，以块为单位确定位移量来生成位移量保持表300。

图9B图解了保持以块为单位从左眼图像301和右眼图像302计算出来的位移量的位移量保持表300。在关于每一个都由1,920×1,080个像素构成的左眼图像301和右眼图像302、以4×4个像素的块为单位进行比较过程的情况下，针对各个块计算480×270＝129,600个位移量。在位移量保持表300中以与计算对象的块相关联的关系保持以这种方式针对各个块所计算出来的位移量。此外，对构成计算对象的立体图像内容的每一帧生成位移量保持表300。然后，将位移量保持表300以与计算对象的立体图像内容相关联的关系存储在内容伴随信息贮存部分122中。在这种情况下，以与构成计算对象的立体图像内容的帧相关联的关系存储位移量保持表300。

此外，在图9B中，示出了被置于与左眼图像301的块的位置对应的位移量保持表300的位置上的位移量。此外，也可以以像素为单位或以片断(fraction)为单位保持位移量。然而，在图9B中，图解了保持以像素为单位计算出来的位移量的示例来便于理解。此外，虽然作为0、表示突出方向上的值的正值或突出量和表示缩进方向上的值的负值或缩进量中的任何一个来计算位移量，但在图9B中仅仅图解了正值以便于理解。

二进制化数据的示例

现在，描述作为立体图像参数的示例的二进制化数据。例如，可以通过对位移量保持表300中位移量是“非0”并且接近位移量是“0”的区域(零位移量区域)的区域(非零位移量区域)进行边缘检测过程来检测立体物体。

利用边缘检测过程，以位移量保持表300的块为单位计算诸如关于立体物体的区域的“1”和关于任何其他区域的“0”之类的二进制化数据。然后，以相关联的关系将以位移量保持表300的块为单位计算出来的二进制化数据0或1保持在位移量保持表300中。

例如，如果用所计算出来的二进制化数据0和1指定立体图像中的闭区域(closed region)，则可以将该闭区域确定为立体物体的区域。在按照这种方式指定立体物体的区域的情况下，可以将与物体对应的区域和该物体的位移量相互关联来产生立体图像参数。此外，如果在立体图像中包括多个物体，则将与所述多个物体对应的各区域和该物体的位移量相互关联来产生立体图像参数。在按照这种方式指定多个物体的情况下，需要与物体对应的区域是闭区域。要注意，内容伴随信息贮存部分122可以存储通过将与每一个指定的物体对应的区域和由转换指定的物体的位移量而获得的作为突出量或缩进量的深度量相互关联产生的立体图像参数。

图像上的位移量与显示面上的位移量之间的关系的示例

图10A和图10B图解了在该公开技术的第一实施例中存储在内容贮存部分121中的立体图像内容上的位移与显示部分181的显示面上的位移之间的关系。更具体地说，图10A示出了构成立体图像的左眼图像201和右眼图像202。在图10A中所示的左眼图像201和右眼图像202类似于在图10A中所示的那些图。在图10A中，左眼图像201上的物体203与包括在右眼图像202中的物体203的位移量被表示为位移量G1。

图10B示出了显示在显示部分181上的立体图像。要注意，在图10B，以合成的形式示出了在图10A中所示的左眼图像201和右眼图像202。此外，在图10B，显示部分181的显示面上的位移，即，包括在左眼图像201和右眼图像202中的物体203的位移，被表示为位移量G2。

声音校正部分140，立体图像校正部分150和字幕生成部分160以这种方式，基于立体图像上的位移量与显示部分181的显示面上的位移量之间的关系，使用立体图像参数进行校正过程。在这种情况下，声音校正部分140、立体图像校正部分150和字幕生成部分160基于立体图像上的位移量与显示部分181的显示面上的位移量之间的所保持的转换表，使用立体图像参数进行校正过程。

观看位置和突出位置之间的关系的示例

图11示意性图解了在当观看在该公开技术的第一实施例中显示在显示部分181上的立体图像时的观看位置，与包括在立体图像中的物体(即，立体物体)的突出位置之间的关系。

参考图11，在其上显示立体图像的位置，即，显示部分181的显示面的位置，被表示为显示面的位置350，而在观看显示在显示部分181上的立体图像的情况下用户的观看位置被表示为观看位置351。此外，可以由正在这种状态下观看立体图像的用户观看到的物体(即，立体物体352)的突出位置被表示为突出位置353。

这里，用p表示包括在立体图像中的立体物体352的位移量，即，显示面上的位移量，用L表示显示面的位置350与观看位置351之间的距离，而用e表示正在观看立体图像的用户双眼之间的距离。此外，用d表示显示面的位置350与突出位置353之间的距离或突出量。

在这种情况下，根据相似性关系，显示位置的位置350、观看位置351和突出位置353之间的关系满足以下表达式1：

d：p＝(L-d)：e...表达式1

如果变换该表达式1，则确定d＝pL(e+p)。

具体地说，如果p＝71mm，l＝2,000mm和e＝65mm被代入表达式1，则突出量d可以被确定为1,044mm(d＝71×2,000/(65+71))。

按照这种方式，可以使用物体的位移量来确定立体图像上物体的突出量。所以，立体图像校正部分150可以使用立体图像上物体的位移量来进行物体的深度量(即，突出量或缩进量)的校正。

立体图像校正的示例

图12A示意性示出了在显示部分181上显示立体图像以及实际上在深度方向上布置包括在立体图像中的物体203～205的位置的情况下的顶视图。要注意，除了距离B1和S1之外，在图12A中所示的示例类似于图7A的示例。

距离B1是在实际上在深度方向上布置物体203～205的位置的情况下在物体203和204之间在深度方向上的距离。同时，距离S1是在实际上在深度方向上布置物体203～205的位置的情况下在物体204和205之间在深度方向上的距离。

图12B示意性示出了在在由立体图像校正部分150校正之后在显示部分181上显示立体图像以及实际上在深度方向上布置包括在立体图像中的物体203～205的位置的情况下的顶视图。

距离B2是在实际上在深度方向上布置物体203～205的位置的情况下在物体203和204之间在深度方向上的距离。同时，距离S2是在实际上在深度方向上布置物体203～205的位置的情况下在物体204和205之间在深度方向上的距离。

在图12B中，调整立体图像的深度量(即，突出量或缩进量)以使其处于适中的状态，以便当用户长时间观看立体图像内容时，用户眼睛在长时间观看之后都不疲劳。

例如，通过将在图6中所示的立体图像深度位置调整杆510移动到关于中间的“下”侧，可以将立体物体的深度量(即，突出量或缩进量)调整到适中的量。在这种情况下，调整块151可以通过将位移量保持表中的位移量乘以常数K(0＜K＜1)来调整每一个位移量。在这种情况下，图12A和图12B的示例中，满足B2＜B1和S2＜S1。按照这种方式，可以减少立体物体的突出量和缩进量以减轻用户眼睛的负担。

另一方面，通过将如图6所示的立体图像深度位置调整杆510移动到关于中间的“高”侧，可以调整立体物体的深度量(即，突出量或缩进量)来加重。在这种情况下，调整块151可以通过将位移量保持表中的位移量乘以常数K(1＜K)来调整每一个位移量。按照这种方式，可以增加立体物体的突出量和缩进量来加重，从而提升立体图像的立体效果，以便用户可以欣赏立体图像。

按照这种方式，通过响应用户操作调整立体图像的深度量，可以提供符合用户个人喜好的合适的立体图像。在这种情况下，例如，如果在遥控器500上提供并响应用户的年龄组按下与观众的不同年龄组对应的设置按钮(诸如例如，儿童按钮、青年按钮和老年按钮)，则可以提供适合用户年龄组的合适的立体图像。例如，如果按下了儿童按钮或老年按钮，则可以将立体图像和相关联的声音设置成适中水平。另一方面，如果按下了青年按钮，则可以将立体图像和相关联的声音设置成被加重。

此外，在以这种方式改变立体图像的深度量的情况下，即，在进行改变操作的情况下，可以将声音数据校正成使得基于声音数据的声像可以被定位在与改变后的深度量对应的位置上。

声音校正的示例

图13示意性图解了在用本公开文档的第一实施例中的声音校正部分140校正输出声音的情况下的校正方法。在图13中，示意性图解了在观看显示在显示部分181上的立体图像的情况下的观看位置与包括在立体图像中的物体(即，立体物体)的突出位置之间的关系。

参考图13，在其上显示立体图像的位置(即，显示部分181的显示面)是该显示面的位置400，并且在用户观看显示在显示部分181上的立体图像的情况下用户的观看位置是观看位置401。此外，可以由正在这种状态下观看立体图像的用户看到的物体A和B(即，立体物体402和403)的突出位置分别是突出位置404和405。

这里，显示面的位置400与观看位置401之间的距离被表示为L，显示面的位置400与突出位置404之间的距离，即，突出位置404的突出量，被表示为Ya，而显示面的位置400与突出位置405之间的距离，即，突出位置405的突出量，被表示为Yb。在这种情况下，观看位置401与突出位置404之间的距离Za为L-Ya，即，Za＝L-Ya，而观看位置401与突出位置405之间的距离为L-Yb，即，Zb＝L-Yb。

所以，在立体图像被显示在显示部分181并且包括突出到突出位置404的立体物体402的情况下，滤波处理块147响应距离Za进行滤波过程。因此，可以将声像定位在立体物体402的突出位置404上。要注意，声像表示为敏感声源。

这里，通过在要定位的声源的一个距离上和一个方向上的一个位置处和一个观看位置处分别安装扬声器和仿真头(dummy head)的已知方法确定要在滤波处理中使用的滤波器系数，并且测量脉冲响应。例如在如日本专利公开第2010-178373号中公开了该方法。

此外，用上述方法确定的、分别对应于不同假定声源的各位置、或距离和方向的多个滤波器系数，与声源的各位置相关联的关系，事先存储在保持块149中。然后，滤波器确定块144响应从位置转换块142输出的立体物体的深度量(即，突出位置或缩进位置)选择滤波器系数之一。具体地说，滤波器确定块144选择与最接近立体物体的突出位置的位置对应的滤波器系数。然后，滤波处理块147使用由滤波器确定块144选择的滤波器系数进行滤波过程。

此外，可以通过进行音量调整来校正声音。这里，参考图13描述一个示例，在其中关于作为物体A的立体物体402的突出位置404，进行作为物体B的立体物体403的突出位置405的音量调整。

根据声压和距离之间的关系来确定调整音量时使用的增益量。具体地说，在突出位置404处的声压为Ia的情况下，突出位置405处的声压Ib可以通过以下表达式2确定：

Ib＝Ia×(Zb/Za)²...表达式2

相应地，作为在进行突出位置405处的音量调整的情况下的增益量g，确定Ib/Ia，即，g＝Ib/Ia。具体地说，增益确定块143基于来自位置转换块142的位置信息确定Ib/Ia，作为在进行突出位置405处的音量调整的情况下的增益量g。

按照这种方式，音量调整块146使用增益确定块143确定的增益量，进行在突出位置404前后的位置上(例如，在突出位置405上)的音量调整。通过按照这种方式与滤波过程一起进行音量调整过程，也可以精确地校正在除与头相关传递函数滤波器对应的位置之外的位置上的声音信息。此外，通过按照这种方式与滤波过程一起进行音量调整过程，即使提供了大量头相关传递函数滤波器，也可以进行与每一个位置对应的声音信息的校正。

按照这种方式，可以使用物体的位移位置确定立体图像上的物体的突出量。所以，声音校正部分140可以使用物体的位移量进行对立体图像中的物体的声音信息的校正。

按照这种方式，利用该公开技术的第一实施例，可以向用户提供根据要显示在显示部分181上的立体图像的合适的立体声音。换句话说，当要显示立体图像时，可以考虑到物体在深度方向上的位置来进行声音输出。结果，用户可以拥有进一步丰富的呈现。

信息处理设备的操作示例

现在，参考附图描述该公开技术的第一实施例中的信息处理设备100的操作。

声音校正部分的操作示例

图14图解了该公开技术的第一实施例中的声音校正部分140的声音校正过程的处理规程的示例。在图14中，基于位移量保持表的位移量的平均值来校正声音。

首先，在步骤S911中决定是否进行立体图像的显示指令操作，并且如果不进行立体图像的显示指令操作，则继续进行监视。如果在步骤S911进行立体图像的显示指令操作，则在步骤S912调整值计算块141获取位移量保持表并在步骤S913计算位移量保持表的位移量的平均值作为调整值。

然后，在步骤S914，位置转换块142将平均值作为调整值转换到对应位置，即，深度位置上的一个位置。然后，在步骤S915，增益确定块143确定用于基于转换后的位置进行音量调整的增益量。然后，在步骤S916，滤波器确定块144确定用于基于转换后的位置定位声像在该位置上的滤波器系数。

然后，在步骤S917，音量调整块146使用所确定的增益量进行音量调整。然后，在步骤S918，滤波处理块147使用所确定的滤波器系数进行滤波过程。要注意，步骤S912～S918中的过程是本公开技术中的校正规程的示例。

然后，在步骤S919，声音数据输出块148将校正过程之后的声音数据输出到输出控制部分170。因此，从输出控制部分170输出校正过程之后的声音数据。

然后，在步骤S920，决定是否进行立体图像的显示结束操作。如果不进行立体图像的显示结束操作，则处理返回步骤S912。另一方面，如果在步骤S920进行立体图像的显示结束操作，则结束对于声音校正过程的操作。

立体图像校正部分的操作示例

图15图解了利用该公开技术的第一实施例中的立体图像校正部分150的立体图像校正过程的处理规程的示例。更具体地说，图15图解了一个示例，在其中通过用户操作基于参数调整来校正立体图像。

首先，在步骤S931确定是否进行立体图像的显示指令操作。如果不进行立体图像的显示指令操作，则继续进行监视。然而，如果在步骤S931进行对于立体图像的显示指令操作，则在步骤S932决定是否进行用于参数调整的指令操作。如果不进行用于参数调整的指令操作，则处理前进到步骤S938。

另一方面，如果在步骤S932进行用于参数调整的指令操作，则调整块151在步骤S933获取位移量保持表。然后，响应操作接受部分115所接受的操作，即，响应用于参数调整的指令操作，在步骤S934中调整位移量保持表中的位移量。

然后，在步骤S935，水平移动处理块153进行基于调整后的位移量的水平移动过程，然后在步骤S936，平滑处理块154进行基于二进制化数据的平滑过程。之后，在步骤S937，图像数据输出块155将校正过程之后的图像数据输出到输出控制部分170。

然后，在步骤S938决定是否进行立体图像的显示结束操作。如果不进行立体图像的显示结束操作，则处理返回步骤S932。另一方面，如果在步骤S938进行立体图像的显示结束操作，则结束该图像校正过程的操作。

字幕生成部分的操作示例

图16图解了该该公开技术的第一实施例中的字幕生成部分160的字幕生成过程的处理规程的示例。更具体地说，在图16中，基于位移量保持表中的位移量的平均值来校正字幕数据。

首先，在步骤S951，决定是否进行立体图像的显示指令操作。如果不进行立体图像的显示指令操作，则继续进行监视。另一方面，如果在步骤S951进行立体图像的显示指令操作，则在步骤S952调整值计算块161获取位移量保持表。然后，在步骤S953，调整值计算块161计算位移量保持表的位移量的平均值作为调整值。

然后，在步骤S954，字幕数据生成块162生成字幕数据。然后，在步骤S955，字幕数据生成块162关于这样生成的字幕数据或字幕图像，使用平均值或调整值进行图像的水平移动过程。之后，在步骤S956，字幕数据输出块163将所生成的字幕数据输出到输出控制部分170。

之后，在步骤S957决定是否进行立体图像的显示结束操作。如果不进行立体图像的显示结束操作，则处理返回步骤S952。另一方面，如果在步骤S957进行立体图像的显示结束操作，则结束字幕生成过程的操作。

关于特定立体图像的位置的声音校正示例

在此前的描述中，描述了一个示例，在其中基于位移量保持表中的位移量的平均值校正声音。然而，例如，在要显示包括特定人(例如用户或一个家庭)的立体图像的情况下，假设用户想要关于特定的人校正声音。所以，以下描述中，描述了一个示例，在其中关于包括在立体图像中的特定对象校正声音。

图17A和图17B示意性示出了按时间顺序显示在该公开技术的第一实施例的显示部分181上的立体图像。

更具体地说，图17A示出了在从前侧成像正在起飞的飞机413时的立体图像410～412。同时，图17B示出了当从前侧成像正在朝着图像拾取人侧前进的人418时的立体图像415～417。

假设立体图像410～412和415～417对应于构成显示立体图像的动态画面的帧之中的每固定时间间隔之后的那些帧。在图17A和图17B中，按照时间顺序示出了构成立体图像的左眼图像和右眼图像之一的图像以便于理解。

此外，假设在显示与立体图像410～412对应的动态画面时，将飞机413显示为其突出量比较大的立体图像。还假设在显示与立体图像415～417对应的动态画面的情况下，人418被显示为其突出量比较大的立体物体。

像从图17A和图17B看到的那样，在特定立体物体(即，飞机413或人418)正在按时间顺序连续朝着图像拾取人侧前进的情景中，从音频声道之中识别从立体物体产生的声音，并且校正该声音。通过按照这种方式进行声音校正，可以进行更有利于用户的合适的声音输出。

声音校正部分的配置的示例

图18示出了该公开技术的第一实施例中的声音校正部分450的功能配置示例。要注意，声音校正部分450是图3中所示的声音校正部分140的部分修改后的形式。所以，这里省略共同组成部分的重复描述以避免冗余。

参考图18，声音校正部分450包括面孔检测块451、位置转换块452、增益确定块453、滤波器确定块454、音量调整块456、滤波处理块457、混合块458和声音数据输出部分459。

声音数据输入块145接收用于中心声道、从获取部分130作为到其的输入供应到其的左声道和右声道的声音数据，并将该声音数据供应到音量调整块146和音量调整块456。例如，通过信号线462将用于作为声道的中心声道的声音数据供应到音量调整块456，而通过信号线461将用于作为主音频声道的左和右声道的声音数据供应到音量调整块146。此外，滤波处理块147将滤波过程之后的声音数据输出到混合块458。

面孔检测块451在控制部分110的控制下检测包括在从获取部分130供应到其的图像数据中的人的面孔。然后，面孔检测块451向位置转换块452输出与所检测到的面孔相关的面孔信息，即，特别是与所检测到的面孔区域对应的位移量的平均值。例如，面孔检测块451使用位移量保持表和包括在从获取部分130中供应的立体图像参数中的二进制化数据检测人的面孔。例如，面孔检测块451从位移量保持表中的位移量之中提取与用二进制化数据指定的立体物体相关的区域中的那些位移量。然后，面孔检测块451在所提取的位移量与事先保持的人的面孔的模式图像之间进行匹配方法来基于匹配过程的结果检测人的面孔。要注意，可以使用某些其他检测方法。例如，可以使用与由之后参考图23描述的该公开技术的第二实施例中的面孔检测部分620使用的面孔检测方法类似的面孔检测方法。

位置转换块452将从面孔检测块451输出的面孔信息(即，平均值)转换成在深度方向上的位置，用于校正声音数据。然后，位置转换块452向增益确定块453和滤波器确定块454输出转换之后的位置或位置信息。

增益确定块453确定基于从位置转换块452输出的位置信息进行音量调整的增益量，并向音量调整块456输出所确定的增益信息。

滤波器确定块454基于从位置转换块452输出的位置信息，确定用于将声像定位在与位置信息对应的位置上的滤波器系数。滤波器确定块454向滤波处理块457输出所确定的滤波器系数。

音量调整块456使用从增益确定块453输出的增益量，对从声音数据输入块145供应到其的声音数据进行音量调整，并向滤波处理块457输出音量调整之后的声音数据。

滤波处理块457使用从滤波器确定块454输出的滤波器系数，对从声音数据输入块145供应到其的声音数据进行滤波过程，并且向混合块458输出滤波过程之后的声音数据。

混合块458混合从滤波处理块147输出的滤波过程之后的声音数据以及从滤波处理块157输出的滤波过程之后的声音数据，并且向声音数据输出部分459输出混合声音数据。

声音数据输出部分459向输出控制部分170输出从混合块458输出的声音数据。

按照这种方式，声音校正部分450基于面孔检测块451所检测到的人的面孔(其是特定对象)在深度方向上的位置，校正从人发出的声音。具体地说，声音校正部分450使用立体图像参数之中表示人面孔在深度方向上的位置的参数，即，位移量，来校正中心声道的声音数据，即，从人发出的声音数据。此外，例如，声音校正部分450可以使用除了表示人面孔在深度方向上的位置的参数之外的参数或位移量，来校正左声道和右声道的声音数据。例如，调整值计算块141计算除了表示人面孔在深度方向上的位置的参数之外的参数或位移量的平均值。然后，调整值计算块141可以基于所计算出来的平均值校正左声道和右声道的声音数据。

要注意，虽然在上述示例中人面孔被检测为特定对象，但也可以使用某些其他特定对象检测方法来检测特定对象(例如，飞机、汽车或人体。例如，可以使用例如在日本专利公开第2010-067102号公开的那种，在其中使用定向梯度直方图(histograms of oriented gradients，HOG)进行物体检测，以检测特定对象的检测方法。

关于背景位置的声音校正示例

在此前的描述中，描述了在其中关于包括在立体图像中的特定对象校正声音的示例。然而，也可以关于包括在立体图像中的不同区域来校正声音。例如，包括在立体图像中的背景区域，或换句换说，除了立体图像之外的区域，也可以被用作用来校正与背景区域相关的声音(即，背景声音)的基准。例如，可以使用二进制化数据来指定背景区域。特别地，在其中二进制化数据是“0”的区域是背景区域。同时，可以从环绕声道提取背景声音。然后，音频声道中的背景声音的声像被定位在与背景区域对应的位置上。结果，可以向用户提供最佳立体声音。

基于情景改变的立体图像的校正的示例

在此前，描述了根据用户操作来校正立体图像的示例。这里，假定例如在从广播节目向CM(Commercial Message，商业消息)转变时或在频道转变或情景转变时，可以发生从立体图像向平面图像或反过来从平面图像向立体图像的改变。如果发生这种从立体图像向平面图像或从平面图像向立体图像的改变那样的突然改变，则用户可以会有不舒服的感觉。在以下，描述了关于CM转变或频道转变校正立体图像的示例。要注意，该示例中的信息处理设备的配置实质上类似于此前参考图2等所述的配置。所以，这里省略该信息处理设备与如图2等所示的信息处理设备100共同的组成部分的描述以避免冗余。

要注意，作为在情景改变时的检测方法，例如，可以使用这样一种方法：在其中相互比较对象图像与紧接之前的图像或相邻图像来检测展现突然改变的图像，来分析对象图像是剪切(cut)改变点还是情景改变点。作为剪切改变检测方法，例如，可以使用像公开在例如日本专利公开第2008-83894号中的、使用图像之间的直方图相似性和空间相关图像相似性的方法来确定剪切改变。根据这种方法，对象图像与相邻图像之间的图像改变是基于关于对象图像与相邻图像的直方图相似性和空间相关图像相似性的剪切改变。要注意，可以基于来自广播接收部分的视频信号检测CM转变。同时，可以基于遥控器500或操作接受部分115所接受的用户操作来检测频道转变。

基于CM转变的立体图像的校正的示例

图19A和图19B图解了该公开技术的第一实施例中的立体图像校正部分150的深度量调整示例。在图19A和图19B中，按时间顺序示意性图解了与保持在位移量保持表300中的位移量之中的一个位移量(即，一个块)对应的深度量的变化。此外，在图19A和图19B中所图解的示例中，假设广播节目被显示为立体图像，而CM被显示为平面图像。

在图19A中，按时间顺序图解调整之前的立体图像的深度量。在图19A中示出的曲线531和532对应于显示为立体图像的广播节目(即，节目(3D))的深度量的跃迁(transition)。假设在与曲线531和532对应的广播节目(即，节目(3D))之后，CM(2D)被显示为平面图像。

像在图19A中看到的那样，在从与曲线531对应的广播节目(即，从节目(3D))向CM(2D)转变时，突然变化深度量。类似地，在从CM(2D)向与曲线532对应的广播节目(即，节目(3D))转变时和在从与曲线532对应的广播节目(即，节目(3D))向CM(2D)转变时，突然变化深度量。在按照这种方式变化深度量的情况下，存在一直观看立体图像的用户可以会有不舒服的感觉的可能性。例如，在从广播节目(即，节目(3D))向CM(2D)转变时，由于图像突然从立体图像转变到平面图像，所以存在用户可以会有不舒服的感觉的可能性。所以，在从广播节目(即，节目(3D))向CM(2D)转变时，以像在图19B中看到的方式那样调整深度量，以便可以减轻在从立体图像向平面图像转变时可以提供给用户的不舒服的感觉。

在图19B中，按时间顺序图解调整之后的立体物体的深度量。在图19B中示出的曲线533对应于在调整了与在图19A中示出的曲线531对应的深度量之后的深度量的跃迁。同时，在图19B中示出的另一曲线534对应于在调整了与在图19A中示出的曲线532对应的深度量之后的深度量的跃迁。

例如，在从广播节目(即，从节目(3D))向CM(2D)转变时，在图4中示出的调整块151在边界时间之前一预定时间段(例如，时段t11)，进行深度量(即，位移量)调整。例如，在从时段t11的开始到结束的时间段期间，可以通过将深度量乘以随着时间的消逝而减小的参数a来进行该调整。这个参数a变化到例如在0≤a≤1范围内的一个值，并且在时段t11开始处该参数a为a＝1，而在时段t11的结束处该参数a为a＝0。此外，在从时段t11的开始到结束的时间段期间，参数a变化以使得响应时间的消逝而从1减小到0。

另一方面，例如，在从CM(2D)向广播节目(即，节目(3D))转变时，在图4中示出的调整块151在边界时间之后预定时间段期间(例如，在时段t12期间)进行深度量(即，位移量)调整。例如，通过将深度量乘以响应在从时段t12的开始到结束的时间段期间时间的消逝而增加的参数b来进行该调整。这个参数b变化到例如在0≤b≤1范围内的一个值，并且在时段t12开始处该参数b为b＝0，而在时段t12的结束处该参数b为b＝1。此外，在从时段t12的开始到结束的时间段期间，参数b变化以使得响应在从时段t12的开始到结束的时间段期间时间的消逝而从0增大到1。

基于频道转变的立体图像的校正示例

图20A和图20B图解了在该公开技术的第一实施例中的立体图像校正部分150的深度量调整示例。在图20A和图20B中，按时间顺序示意性图解了与保持在位移量保持表300的位移量之中的一个位移量(即，一个块)对应的深度量的变化(variation)。此外，在图20A和图20B所图解的示例中，假设显示立体图像和平面图像之一。

要注意，图20A和图20B所图解的示例是图19A和图19B所图解的示例的变型，并且除了CM(2D)时段和节目(2D)时段之外，实质上类似于图19A和图19B的示例。

要注意，虽然在图19A、图19B和图20A、图20B所图解的示例中图解了在CM转变时以及在频道转变时立体图像的校正示例，但是在情景改变时也可以类似地进行立体图像的校正。

按照这种方式，在CM转变时、在情景改变时以及在频道转变时，均可以用深度量的调整来消除观众的不舒服的感觉。

在特殊再现时的立体图像的校正示例

在此前的描述中，描述了在情景改变时的校正示例。这里，也可以假设用户可以用特殊再现方法(诸如，双倍速再现)观看立体图像。在以刚刚提到的这种特殊再现方法显示立体图像的情况下，由于该再现速度高于普通立体图像显示下的速度，因此用户可以感觉立体图像难以观看。所以，在以下描述中，描述了在其中当用特殊再现方法显示立体图像时校正立体图像的示例。要注意，在这种情况下的信息处理设备具有实质上与此前参考图2等所述的配置类似的配置。所以，这里省略类似配置的重复描述来避免冗余。

图21A和图21B图解了在该公开技术的第一实施例中的立体图像校正部分150的深度量调整示例。更具体地说，图21A和图21B按时间顺序示意性图解了与保持在位移量保持表300中的位移量之中的一个位移量或一个块对应的深度量的变化。此外，在图21A和图21B所图解的示例中，假设正在进行诸如双倍速再现或三倍速再现那样的预定多倍速再现。

这里，在进行预定多倍速再现的情况下，在抽样出其某些帧的同时显示显示对象的立体图像内容。例如，如果进行倍速再现，则在抽样出构成立体图像内容的多帧的每隔一帧的同时显示显示对象的立体图像内容。所以，当进行预定多速再现，不使用与组成抽样出的对象的帧相关联的位移量保持表。这可以使得迅速进行立体图像的校正过程成为可以。

图21A按时间顺序图解了调整之前立体图像的深度量。如图21A所示的曲线551对应于立体图像的深度量的跃迁。图21B按时间顺序图解了调整之后立体图像的深度量。如图21B所示的曲线552对应于在调整与如图21A所示的曲线551对应的深度量之后的深度量的跃迁。

例如，如果正在进行诸如倍速再现或三倍速再现那样的预定多速再现，则可以像此前描述的那样来检测情景改变并基于检测结果调整深度量。具体地说，进行该调整以使得该深度量在这个情景改变中不展示突然改变。

或者，例如，可以使用与不组成抽样出的对象的帧相关联的位移量保持表来计算固定时间段内的深度量的平均值，以使得在该固定时间段内的深度量被调整得该深度量可以保持在离平均值的一个固定范围之内。例如，可以计算时段t31之内的深度量的平均值553并调整时段t31之内的深度量，以使得其可以具有在离平均值553的固定范围H1之内的值。具体地说，如果接受了关于立体图像的多速再现的指令的指令操作，则立体图像校正部分150校正包括在立体图像中的物体在深度方向上的位置，以便物体在深度方向上的位置的变化可以保持在固定范围之内。

或者，例如，另外可以通过将深度量乘以响应多速再现的放大倍率而减小的参数cn(n是正整数)来调整深度量。这个参数cn具有在例如0≤cn≤1的范围之内的值，并且满足关系：...c4(在四倍速再现时的参数)＜c3(在三倍速再现时的参数)＜c2(在倍速再现时的参数)＜c1(在正常速度再现时的参数)＝1。

这使得在多速再现时可以减少在多帧之中的深度量的波动，以减少用户眼睛的负担。此外，在特殊再现操作时，可以通过调整深度量来消除用户的不愉快的感觉。

要注意，当进行上述在CM转变时的立体图像的校正、在频道转变时的立体图像的校正、在特殊再现时的立体图像的校正等时，可以使用调整之后的深度量来进行声音的校正。此外，可以由用户操作设置是否按这种方式来将声音校正与图像校正一起进行。

当同时显示多个屏幕时的校正示例

在上述示例中，基于立体图像内容的立体图像被显示为在显示部分181上的一个屏幕，即，一个屏幕图像。这里，假设这样一种情况，在其中例如可以在同一显示板上显示诸如主屏幕和副屏幕那样的多个屏幕(即，多个屏幕图像)的信息处理设备，在多个屏幕上单独显示立体图像。在这种情况下，如果显示在这多个屏幕上的立体图像实质上相互不同，则可以进行针对各个屏幕的立体图像的校正。所以，在以下描述中，描述了这样一个示例，在其中在同一显示板上同时显示多个屏幕的情况下，对每一个屏幕进行显示在屏幕上的立体图像的校正。

图22A和图22B以简化形式图解了该公开技术的第一实施例中的信息处理设备560的外观配置和校正过程的流程的示例。要注意，本示例中的信息处理设备实质上类似于此前参考图2等描述的信息处理设备。所以，这里省略与此前参考图2等所述的信息处理设备100共同的组成部分的重复描述以避免冗余。

更具体地说，图22A示出了前侧的外观配置作为信息处理设备560的外观配置的示例。参考图22A，例如，在信息处理设备560的显示部分181上，显示了主屏幕561和副屏幕562。此外，信息处理设备560可以在主屏幕561和副屏幕562上显示相互不同的立体图像。

图22B以简化形式图解了信息处理设备560的校正过程的流程。具体地说，除了以相互不同的方式校正在同一时间上显示的两个立体图像之外，在图22B中图解的示例类似于此前所述的校正过程。参考图22B，作为针对主屏幕的校正过程570的图像校正过程，对主屏幕图像数据571(即，对组成主屏幕561的显示对象的图像数据)进行图像校正过程572。然后，进行校正之后的图像数据的主屏幕立体图像输出573。同时，作为针对主屏幕的校正过程570的声音校正过程，进行针对主屏幕声音数据574的声音校正过程575。然后，关于校正之后的声音数据进行主屏幕声音输出576。

此外，作为针对副屏幕的校正过程580的图像校正过程，关于组成副屏幕562的显示对象的副屏幕图像数据581，进行图像校正过程582。然后，关于校正之后的图像数据进行副屏幕立体图像输出583。同时，作为针对副屏幕的校正过程580的声音校正过程，关于副屏幕声音数据584进行声音校正过程585。然后，关于校正之后的声音数据进行副屏幕声音输出586。

或者，可以基于同一设置实例进行或可以基于不同设置实例单独进行针对主屏幕的校正过程570和针对副屏幕的校正过程580。或者，可以响应通过用户操作设置的主屏幕561和副屏幕562的尺寸来改变设置实例。

要注意，虽然在图22A和图22B的示例中同时在同一显示板上显示两个屏幕，但类似地可以进行三个或多个屏幕的显示。

按照这种方式，在显示主屏幕561和副屏幕562的情况下，可以通过调整关于每一个屏幕的深度量来在各个屏幕上提供丰富的呈现。

<2.第二实施例>

在该公开技术的第一实施例中，描述了基于与用户操作或立体图像相关的各种信息进行声音校正和图像校正的示例。这里，由于立体图像提供在所显示的物体的实际显示位置与用户以幻景(illusion)查看的物体的位置之间的差异，因此认为用户可以会有不舒服的感觉。所以，在该公开技术的第二实施例中，描述了在其中减轻了刚刚描述的不舒服的感觉引起的用户眼睛的疲劳感觉的示例。

信息处理设备的配置示例

图23示出了根据该公开技术的第二实施例的信息处理设备600的功能配置的示例。

参考图23，信息处理设备600包括图像拾取部分610、面孔检测部分620、虹膜检测部分630和基准虹膜信息保持部分640。信息处理设备600还包括眼球变化检测部分650、获取部分660、立体图像校正部分670、输出控制部分680和控制部分690。信息处理设备600还包括实质上类似于如图2所示的那些的操作接受部分115、内容贮存部分121、内容伴随信息贮存部分122、显示部分181、声音输出部分182和遥控器500。因此，这里省略与如图2所示的信息处理设备100的那些共同的那些组成部分的重复描述以避免冗余。

图像拾取部分610在控制部分690的控制下拾取图像拾取对象的图像以生成图像数据或视频数据，并且连续输出所生成的图像数据到面孔检测部分620和虹膜检测部分630。具体地说，图像拾取部分610包括未示出的光学单元、图像拾取装置和信号处理部分。在图像拾取部分610中，通过光学单元传入的图像拾取对象的光学图像被形成在图像拾取装置的图像拾取表面上，并且在这种状态下，图像拾取装置进行图像拾取操作。然后，信号处理部分对所拾取的图像信号进行信号处理以生成图像数据。然后，以预定帧速将所生成的图像数据连续输出到面孔检测部分620和虹膜检测部分630。图像拾取部分610例如可以用单筒相机来实现。

此外，图像拾取部分610包括用于进行自动聚焦的自动对焦(AF)功能。这种自动对焦功能例如是被称为对比度AF的对比度检测型的。

这里，描述AF过程。在该AF过程中，例如，重复进行作为到要在其上开始对比度信息获取的位置的移动操作与对比度信息的获取操作的组合的一系列操作，即，单次AF过程。每次执行单次AF过程时，可以抓取从镜头到图像拾取对象的距离(即，图像拾取对象距离)。具体地说，如果图像拾取对象距离被表示为a、从镜头到形成在图像拾取装置上的图像的距离被表示为b而镜头的焦距被表示为f，则满足以下表达式3：

1/a+1/b＝1/f...表达式3

基于表达式3，图像拾取部分610可以计算图像拾取对象距离a＝1/(1/f-1/b)。然后，图像拾取部分610输出所计算出的图像拾取对象距离a到眼球变化检测部分650。

要注意，虽然在该公开技术的第二实施例该图像拾取部分610被内置于信息处理设备600中，但作为外部设备的成像设备可以代替图像拾取部分610使用。例如，诸如数字照相机或数字摄像机之类的成像设备、带有具有用于向外部设备输出所生成的图像数据的外部输出端子的集成相机的记录器和信息处理设备600用无线电路或有线电路相互连接。然后，可以用信息处理设备600获取成像设备所生成的图像数据，并连续地供应到面孔检测部分620和虹膜检测部分630。

面孔检测部分620检测包括在从图像拾取部分610输出的图像数据中的人的面孔，并将与所检测到的面孔相关的面孔检测信息输出到虹膜检测部分630。作为面孔检测方法，例如，可以使用像公开在例如日本专利公开第2004-133637号的、基于实际图像与在其中记录了面孔的亮度分布信息的模板之间的匹配的这种面孔检测方法，基于包括在图像数据的人类皮肤颜色、面孔等的特征量的面孔检测方法，以及其他方法。面孔检测信息包括检测到的面孔在图像数据上(即，在图像上)的位置和尺寸。要注意，检测到的面孔在图像数据上的位置可以是例如图像数据上的面孔图像的左上部分的位置，而图像数据上的检测到的面孔的尺寸可以是图像数据上的面孔图像在水平方向和垂直方向上的长度。基于面孔检测信息，可以指定作为包括图像数据上的面孔的至少一部分的矩形形状的图像数据的面孔图像。

虹膜检测部分630检测包括在从图像拾取部分610输出的图像数据中的面孔的两个眼睛的虹膜，并向眼球变化检测部分650输出与检测到的虹膜相关的虹膜信息。具体地说，虹膜检测部分630使用包括从面孔检测部分620输出的位置和尺寸的面孔检测信息，自从图像拾取部分610输出的图像数据提取与由面孔检测部分620检测到的面孔对应的面孔图像。然后，虹膜检测部分630检测所提取的面孔图像的虹膜。作为在这种情况下的虹膜检测方法，例如，可以类似于像在面孔检测方法中那样，使用基于实际图像与在其中记录了虹膜的亮度分布信息的模板之间的匹配的虹膜检测方法。虹膜信息包括面孔图像上的检测到的虹膜的位置。基于该虹膜信息，可以指定图像数据上的双眼的虹膜的位置。虹膜的位置可以是例如虹膜的中心位置。

可以使用一些其他虹膜检测方法。例如，可以二进制化从图像拾取部分610输出的图像数据，以使得基于一个屏幕上的二进制化数据检测虹膜。例如，二进制化从图像拾取部分610输出的图像数据，来确定在水平或向左和向右方向上各条线上的黑像素和白像素。然后，将在其中在水平方向上在预定范围之内的大量白像素连续出现而在另一预定范围之内的另外大量黑像素出现，并且除此而外在再一预定范围之内的大量白像素紧接着连续的黑像素出现的线，提取为虹膜区域的候选线。然后，在垂直或向上和向下方向上，检测在其中在预定范围之内的大量这样检测到的候选线连续出现的区域。检测到的区域被确定为虹膜区域。

或者，眼球移动的测量设备可以用于检测虹膜。例如，将眼球移动测量设备提供在专门用于(exclusive use)观看立体图像的眼镜的透镜位置上。在测量设备的眼球侧上提供红外LED(光发射二极管)和光学接收器，同时在它们的外侧上提供成像设备。然后，红外辐射照射在眼球上，并由光接收器检测从眼球反射的光。从而，可以指定虹膜部分的位置。

基准虹膜信息保持部分640保持与由虹膜检测部分630在预定定时所检测到的虹膜相关的虹膜信息(即，基准虹膜信息)，并将所保持的基准虹膜信息供应到眼球变化检测部分650。

眼球变化检测部分650在立体图像被显示在显示部分181上时检测用户眼球的变化，并将检测结果输出到立体图像校正部分670。例如，眼球变化检测部分650使得由虹膜检测部分630在预定定时所检测到的虹膜之间的距离作为基准虹膜信息(即，作为基准虹膜距离)保持到基准虹膜信息保持部分640。然后，眼球变化检测部分650将保持在基准虹膜信息保持部分640中的基准虹膜信息与在预定定时之后从虹膜检测部分630输出的虹膜信息相互比较，以检测用户的眼球的变化。在这种情况下，眼球变化检测部分650将比较的对象的虹膜距离之间的差值或基于虹膜距离的集聚角(congestionangle)之间的差值，作为检测结果输出到立体图像校正部分670。换句话说，眼球变化检测部分650可以基于由虹膜检测部分630检测到的虹膜之间的距离来检测用户的眼球的变化。这里，所述预定定时可以是进行用于显示立体图像的指令的指令操作的定时，或者打开到信息处理设备600的电源的定时。要注意，眼球变化检测部分650是该公开技术中的检测部分的示例。

获取部分660在控制部分690的控制下获取存储在内容贮存部分121和内容伴随信息贮存部分122中的各种信息，并将已获信息供应到相关联的组成部分。

立体图像校正部分670当在控制部分690的控制下输出立体图像内容时校正图像数据，并输出校正之后的图像数据到输出控制部分680。具体地说，立体图像校正部分670基于由眼球变化检测部分650所检测到的眼球的所检测到的变化，校正包括在立体图像中的物体在深度方向上的位置。在这种情况下，如果眼球的变化大于固定量的基准，则立体图像校正部分670进行校正，以使得包括在立体图像中的物体在深度方向上的位置朝着立体图像的显示面侧移动。此外，立体图像校正部分670可以基于眼球的变化确定与立体图像物体对应的用户的会聚角是否大于作为固定角的基准角。然后，如果该会聚角大于固定基准角，则立体图像校正部分670进行校正，以使得包括在立体图像中的物体在深度方向上的位置移动到立体图像的显示面侧。在这些校正过程中，通过调整表示物体在深度方向上的位置的参数(例如，位移量保持表中的位移量)，来校正包括在立体图像中的物体在深度方向上的位置。要注意，立体图像校正部分670是在该公开技术中的校正部分的示例。

输出控制部分680响应由操作接受部分115所接受的操作输入，进行用于输出贮存在内容贮存部分121中的内容的输出过程。此外，输出控制部分680控制显示部分181来显示包括用于在预定定时测量基准虹膜距离的基准物体的基准立体图像，该预定定时诸如是在用于显示立体图像的指令的指令操作时或当打开到信息处理设备600的电源时的定时。要注意，输出控制部分680是该公开技术中的显示控制部分的示例。

控制部分690根据由操作接受部分115所接受的操作输入控制信息处理设备600的组成部分。

图像校正部分的配置示例

图24示出了该公开技术的第二实施例中的立体图像校正部分670的功能配置示例。参考图24，立体图像校正部分670包括实质上类似于在图4示出的那些的图像数据输入块152、水平移动处理块153、平滑处理块154和图像数据输出块155。所以，这里省略它们的重复描述以避免冗余。

立体图像校正部分670还包括确定块671和调整块672。

确定块671基于控制部分690的控制确定包括在立体图像中的物体在深度方向上的位置是否要校正，并将包括诸如差值之类的确定信息的确定结果输出到调整块672。具体地说，确定块671使用从眼球变化检测部分650输出的检测结果(即，作为比较对象的虹膜距离之间的差值)确定眼球变化(即，所述差值)是否大于固定基准值。然后，如果该眼球变化大于该固定基准值，则确定块671确定要进行校正。另一方面，如果眼球变化不大于该固定基准值，则确定块671确定不进行校正。换句话说，确定块671可以基于眼球变化确定与立体物体对应的用户的会聚角是否大于固定基准角。然后，如果会聚角大于固定基准角，则确定块671确定要进行校正。

调整块672基于从确定块671输出的确定结果，调整用于校正从获取部分660供应到其的图像数据的参数，并将调整之后的参数输出到水平移动处理块153。具体地说，如果从确定块671输出要进行校正的确定结果，则调整块672调整用于进行将包括在立体图像中的物体在深度方向上的位置移动到立体图像的显示面侧的校正的参数。另一方面，如果从确定块671输出不进行校正的确定结果，则调整块672不进行该参数的调整。

由图像拾取部分生成的图像的示例

图25以简化形式示出了由该公开技术的第二实施例中的图像拾取部分610所生成的图像(即，图像705)。

参考图25，图像705是由图像拾取部分610所生成的图像或图像数据的示例，例如其包括坐在图1B所述的信息处理设备600的前面的椅子11上的用户10的面孔。要注意，由面孔检测部分620检测包括在图像705中的用户10的面孔。此外，由虹膜检测部分630检测包括在图像705中的用户10的双眼(即，左眼711和右眼712)的虹膜。此外，在该公开技术的第二实施例中，将左眼虹膜的中心位置看作左眼虹膜的位置，而将右眼虹膜的中心位置看作右眼虹膜的位置。此外，在该公开技术的第二实施例中，左眼虹膜的中心位置与右眼虹膜的中心位置之间的距离是虹膜距离。具体地说，在图25所图解的示例中，左眼711的虹膜的中心位置与右眼712的虹膜的中心位置之间的距离是虹膜距离。由于虹膜距离具有与实际虹膜距离e1对应的值，所以其实际上被表示为“e1”。要注意，可以例如基于图像拾取对象距离(即，镜头离用户10的面孔的距离)、镜头离图像拾取部件的距离和形成为图像拾取部件的图像拾取面上的图像的虹膜之间的距离，来计算虹膜距离e1。此外，可将诸如65mm这样的固定值用作虹膜距离e1。

观看位置、突出位置和会聚角之间的关系的示例

图26A和图26B示意性图解了显示在该公开技术的第二实施例中的显示部分181上的立体图像的观看位置和观看立体图像的用户的会聚角之间的关系。

图26A示出了在观看平面图像或2D图像时用户的眼球和对应的会聚角α1。在图26A中，被显示在显示部分181的显示面上的立体图像的位置被表示为显示面的位置700，而用户观看显示在显示部分181上的立体图像时用户的观看位置被表示为观看位置710。

例如，当用户观看显示在显示面的位置700上的平面图像时，进行在水平方向上用户眼球的角度调整，以便该角度可以与用户注视的图像的位置一致并且将双眼的焦点调整到显示面的位置700。更具体地说，进行在水平方向上用户双眼的角度调整，以便由互连用户双眼(即，左眼711和右眼712)的虹膜与显示面的位置700的直线所限定的交点(换句话说，注视点701)与用户所注视的位置一致。此外，与角度调整一起，将双眼的焦点调整到显示面的位置700，即，注视点701。要注意，注视点701处的角度α1通常被称为会聚角。在用户按照这种方式观看显示在显示面的位置700上的平面图像的情况下，用户的双眼(即，左眼711和右眼712)的焦点和视点(eye point)存在于显示面的位置700处。

这里，描述了会聚角α1的计算方法。例如，用L1表示显示面的位置700与观看位置710之间的距离，而用e1表示为正在观看立体图像的用户的双眼之间的距离。在这种情况下，满足以下表达式4。

tan(α1/2)＝(e1/2)/L1...表达式4

然后，可以从以下表达式5确定会聚角α1：

α1＝2tan^-1((e1/2)/L1)...表达式5

要注意，可以使用从图像拾取部分610输出的图像拾取对象距离作为距离L1。或者，可以使用假设诸如2m这样的观看位置而确定的固定值作为距离L1，或可以通过用户的手工操作(即，通过使用遥控器500的手工操作)来获取距离L1。不然，可以通过依靠调整用麦克风的距离测量方法或通过使用遥控器500的距离测量方法来获取距离L1。要注意，在使用遥控器500的距离测量方法中，例如，在用户10手持的遥控器500上提供UWB(Ultra WideBand，超宽带)，以使得使用UWB位置测量功能测量距离L1。不然，可以使用红外线或超声波测量距离的距离测量设备来测量距离L1。

图26B示出了在用户观看立体图像或3D图像的情况下用户的眼球和对应的会聚角α2。要注意，在图26B中，显示面的位置700和观看位置710类似于在图26A中的那些。此外，包括在立体图像中的立体物体720的突出位置被表示为突出位置721，用L2表示显示面的位置700与突出位置721之间的距离或突出量。

例如，当用户观看显示在显示面的位置700上的立体图像时，进行在水平方向上用户的眼球的角度调整，以便被调整到用户注视的图像的位置，即，突出位置721。具体地说，进行在水平方向上用户的眼球的角度调整，以便互连用户的双眼(即，左眼711和右眼712)的虹膜与突出位置721的直线所限定的交点(即，注视点722)可以与用户注视的图像(立体物体720的图像)的位置一致。要注意，注视点722上的会聚角是α2。

然而，将双眼的焦点调整到显示面的位置700。具体地说，进行角度调整以便该角度与注视点722一致，并且将双眼的焦点调整到显示面的位置700，即，注视点701。

按照这种方式，虽然双眼被聚焦在显示面的位置700，但由于注视点722位于突出位置721处，所以发生与可以真正发生的生理现象的矛盾。所以，防止刚刚描述的矛盾引起用户疲劳很重要。

这里，描述会聚角α2的计算方法。例如，用L2表示显示面的位置700与突出位置721之间的距离，并用e2表示正在观看立体图像的用户的双眼之间的距离。在这种情况下，满足以下表达式6：

tan(α2/2)＝(e2/2)/(L1-L2)...表达式6

然后，可以根据以下表达式7确定会聚角α2：

α2＝2tan^-1((e2/2)/(L1-L2))...表达式7

要注意，作为距离L2，可以使用立体图像中的物体的位移量来确定物体的突出量，从而确定距离L2。

要注意，虽然在本示例中基于用户双眼(即，左眼711和右眼712)的虹膜之间的距离来检测用户所注视的图像(即，立体物体720的图像)，但也可以使用某些其他检测方法。例如，可以将眼睛跟踪或凝视分析法用于检测。

基准虹膜信息的测量示例

图27A和图27B示意性图解了当获取保持在该公开技术的第二实施例中的基准虹膜信息保持部分640中的基准虹膜信息时的测量方法，以及基准虹膜信息保持部分640的保持实例的示例。

更具体地说，图27A图解了当测量基准虹膜信息时显示在显示部分181上的立体图像或3D图像、用户的眼球和会聚角α10之间的关系的示例。要注意，在图27A中，显示面的位置700和观看位置710类似于在图26A中的那些。此外，包括在立体图像中的基准立体物体730的突出位置被表示为突出位置731，并且用L3表示显示面的位置700与突出位置731之间的距离，即，突出量。

这里，基准立体物体730是包括在当要获取与用户相关的基准虹膜信息时所显示的立体图像或基准立体图像中的物体。例如，如果按下了在图6中所示的基准虹膜信息获取按钮506，则控制部分690向输出控制部分680发布指令来在显示部分181上显示包括基准立体物体730的立体图像。因此，包括基准立体物体730的立体图像被显示在显示部分181上，并且用户可以观看基准立体物体730。要注意，可以将包括基准立体物体730的立体图像存储在内容贮存部分121中，或者可以保持在输出控制部分680中。要注意，可以使用此前给出的表达式7来确定会聚角α10。

图27B示意性图解了基准虹膜信息保持部分640的保持实例。在基准虹膜信息保持部分640中，保持了左眼虹膜位置信息641、右眼虹膜位置信息642、双眼虹膜距离信息643和会聚角信息644。保持在基准虹膜信息保持部分640中的信息是与当在显示部分181上显示包括基准立体物体730的立体图像时由虹膜检测部分630检测到的虹膜相关的信息或基准虹膜信息。

左眼虹膜位置信息641表示当在显示部分181上显示包括基准立体物体730的立体图像时由虹膜检测部分630检测到的左眼的虹膜的位置。在左眼虹膜位置信息641中，例如，存储例如在图像拾取部分610所生成的图像数据或图像中的左眼711的虹膜的中心位置(X1，Y1)。

右眼虹膜位置信息642表示当在显示部分181上显示包括基准立体物体730的立体图像时由虹膜检测部分630检测到的右眼的虹膜的位置。在右眼虹膜位置信息642中，例如，存储例如在图像拾取部分610所生成的图像数据或图像中的右眼712的虹膜的中心位置(X2，Y2)。

双眼虹膜距离信息643是表示当在显示部分181上显示包括基准立体物体730的立体图像时由虹膜检测部分630检测到的左眼和右眼的虹膜之间的距离的信息。在双眼虹膜距离信息643中，例如，存储在图像拾取部分610所生成的图像数据或图像中的左眼711和右眼712之间的距离e3。

会聚角信息644是表示与当在显示部分181上显示包括基准立体物体730的立体图像时由虹膜检测部分630检测到的左眼和右眼相关的会聚角的信息。在会聚角信息644中，例如，存储与在图像拾取部分610所生成的图像数据或图像中的左眼711和右眼712相关的会聚角α10。

突出位置的校正的示例

图28和图29示意性图解了包括在显示在该公开技术的第二实施例中的显示部分181上的立体图像中的立体物体的突出位置的校正示例。

具体地说，图28图解了显示在显示部分181上的立体图像或3D图像、用户的眼球以及会聚角α10和α11之间的关系的示例。要注意，除了与立体物体740相关的信息之外，图28类似于图27A。此外，包括在立体图像中的立体物体740的突出位置被表示为突出位置741，并且用L4表示显示面的位置700与突出位置741之间的距离，即，突出量。此外，可以使用此前给出的表达式7确定会聚角α11。

这里，眼球变化检测部分650基于由虹膜检测部分630检测到的虹膜信息(即，基于与左眼711和右眼712相关的虹膜信息)计算会聚角α11。然后，眼球变化检测部分650计算被保持在基准虹膜信息保持部分640的会聚角信息644中的基准会聚角α10与会聚角α11之间的差。然后，立体图像校正部分670的确定块671基于差值α10-α11来确定立体物体740的深度量是否要被调整。具体地说，如果差值α10-α11是0或正值，即，如果α10≥α11，则确定块671确定不需要立体物体740的深度量的调整。另一方面，如果差值α10-α11展现负值，即，如果α10＜α11，则确定块671确定需要立体物体740的深度量的调整。

在图28所图解的示例中，由于基准会聚角α10大于会聚角α11，即，由于α10≥α11，所以确定块671确定不需要立体物体740的深度量的调整。换句话说，如果包括立体物体740的立体图像像在图28中看到的那样被显示在显示部分181中，则不进行立体图像的校正。

图29图解了显示在显示部分181上的立体图像或3D图像、用户的眼球以及会聚角α10和α12之间的关系的示例。要注意，除了与立体物体750相关的信息之外，图29类似于图27A。此外，包括在立体图像中的立体物体750的突出位置被表示为突出位置751，并且用L5表示显示面的位置70α与突出位置751之间的距离，即，突出量。此外，可以使用此前给出的表达式7确定会聚角α12。

这里，类似于在图28中所图解的情况，眼球变化检测部分650计算会聚角α12，然后计算基准会聚角α10与会聚角α12之间的差值。然后，立体图像校正部分670的确定块671基于差值α10-α12确定立体物体750的深度量是否要被调整。

在图29所图解的示例中，由于基准会聚角α10小于会聚角α12，即，由于α10＜α11，所以确定块671确定需要立体物体750的深度量的调整。在这种情况下，调整块672基于基准会聚角α10与会聚角α12之间的差值来调整立体物体750的深度量，以便会聚角α12可以处于基准会聚角α10之内。利用该调整，立体物体750的位置(即，突出位置751)接近(come to)与基准立体物体730的位置相同的位置，即，突出位置731或比突出位置731更接近显示面的位置700侧的一个位置。

要注意，虽然在上述示例中眼球变化检测部分650计算会聚角，但确定块671也可以计算会聚角并进行确定。具体地说，确定块671计算与基准立体物体730对应的用户10的基准会聚角α10，并计算与包括在显示在显示部分181上的立体图像中的立体物体750对应的用户10的会聚角α12。然后，立体图像校正部分670基于会聚角α12与基准会聚角α10之间的比较结果校正立体物体750在深度方向上的位置。

此外，虽然在上述示例中相互比较会聚角来确定是否需要校正，然而可以相互比较虹膜距离来确定是否需要校正。

信息处理设备的操作示例

现在，参考附图描述根据该公开技术的第二实施例的信息处理设备600的操作。

图30图解了依靠该公开技术的第二实施例中的信息处理设备600的立体图像显示过程的处理规程的示例。在图30中，相互比较会聚角来确定是否需要校正。

参考图30，首先在步骤S971中确定是否进行立体图像的显示指令操作，并且如果不进行立体图像的显示指令操作，则继续进行监视。另一方面，如果在步骤S971进行立体图像的显示指令操作，则在步骤S972输出控制部分680在控制部分690的控制下，控制显示部分181显示基准立体图像。

然后，在步骤S973，虹膜检测部分630检测包括在由图像拾取部分610所生成的图像或图像数据中的用户双眼的虹膜。然后，在步骤S974，眼球变化检测部分650基于检测到的虹膜之间的距离(即，基于基准虹膜距离)计算基准会聚角α10。

然后，在步骤S975，控制部分690输出与显示指令操作相关的立体图像内容。具体地说，在步骤S975输出控制部分680控制显示部分181根据显示指令操作显示立体图像，并控制显示部分181根据显示指令操作显示立体图像内容。要注意，步骤S975是本公开技术中的显示控制的示例。

然后，在步骤S976，虹膜检测部分630检测包括在由图像拾取部分610所生成的图像或图像数据中的用户双眼的虹膜。然后，在步骤S977，眼球变化检测部分650基于检测到的虹膜之间的距离计算会聚角α20。要注意，步骤S976和S977是本公开技术中的检测的示例。

然后，在步骤S978，确定块671基于差值进行基准会聚角α10与会聚角α20之间的比较，即，确定α10-α20＜0。如果在步骤S978比较结果指示会聚角α20等于或小于基准会聚角α10，则处理返回步骤S975。另一方面，如果在步骤S978会聚角α20大于基准会聚角α10，则在步骤S979调整块672调整立体物体的参数，即，位移量。具体地说，在步骤S979调整块672基于基准会聚角α10与会聚角α20之间的差值调整立体物体的参数，以便会聚角α20可以处于基准会聚角α10之内。然后，立体图像校正部分670在步骤S980使用调整后的参数或位移量进行立体图像的校正。然后，继续显示校正后的立体图像。要注意，步骤S978～S980是本公开技术中的校正的示例。

之后，在步骤S981决定是否进行立体图像的显示结束操作。如果不进行立体图像的显示结束操作，则处理返回步骤S975。另一方面，如果在步骤S981进行立体图像的显示结束操作，则结束立体图像显示过程的操作。

按照这种方式，在该公开技术的第二实施例中，当用户观看立体图像时，可以减轻眼睛的疲劳而不损失呈现。

要注意，虽然在该公开技术的第二实施例的描述中省略了声音校正的描述，但在校正上述立体图像时，也可以使用用于该校正的参数来校正声音。

要注意，在该公开技术的实施例的前述描述中，描述了在其中获取与广播波对应的立体图像内容来显示立体图像的信息处理设备。然而，该公开技术的实施例还可以被应用到在其中获取存储在记录介质中的立体图像内容来显示立体图像的信息处理设备。该公开技术的实施例还可以应用到在其中通过网络(其可以是有线网络或无线网络)获取立体图像内容来显示立体图像的信息处理设备。

要注意，联系该公开技术的优选实施例描述的任何处理规程可以作为包括处理规程的方法或作为使得计算机执行处理规程的程序还可作为在其上或其中存储程序的记录介质来理解(grasp)。记录介质例如可以是CD(CompactDisc，紧致盘)、MD(MiniDisc，迷你盘)、DVD(Digital Versatile Disk，数字多用途盘)存储卡、Blu-ray盘(注册商标)等。

本公开包含涉及2010年11月29日向日本专利局提交的日本优先权专利申请JP2010-264892中公开的主题的主题，将其全部内容通过引用的方式合并在此。

本领域的技术人员应该理解，依赖于设计要求和其他因素，可以发生各种改进、组合、不分组合和变更，只要它们处于附属权利要求或其等效物之内。

Claims (11)

1.一种信息处理设备，包括：

显示控制部分，被适配来控制显示部分显示基于立体图像信息的立体图像；

检测部分，被适配来当在显示部分上显示该立体图像时检测用户的眼球的变化；以及

校正部分，被适配来基于所检测到的眼球的变化，校正包括在立体图像内的物体在深度方向上的位置。

2.根据权利要求1的信息处理设备，其中所述校正部分基于所检测到的眼球的变化，确定与物体对应的用户的会聚角是否大于固定基准角，并进行校正以使得当该会聚角大于该固定基准角时，包括在立体图像内的物体在深度方向上的位置朝向立体图像的显示面侧移动。

3.根据权利要求1的信息处理设备，其中所述校正部分进行校正以使得当用户的眼球的变化大于固定基准量时，包括在该立体图像中的物体在该深度方向上的位置朝向立体图像的显示面侧移动。

4.根据权利要求1的信息处理设备，还包括：

虹膜检测部分，被适配来当在显示部分上显示立体图像时检测用户的虹膜，其中

所述检测部分基于检测到的虹膜之间的距离检测眼球的变化。

5.根据权利要求4的信息处理设备，其中所述检测部分确定在预定定时检测到的虹膜之间的距离作为基准虹膜距离，并且连续比较该基准虹膜距离与迟于预定定时检测到的虹膜之间的距离，然后基于该比较结果检测眼球的变化。

6.根据权利要求5的信息处理设备，其中该预定定时是在其上进行用于显示基于立体图像信息的立体图像的指令的指令操作的定时。

7.根据权利要求6的信息处理设备，其中所述显示控制部分当进行该指令操作时，控制该显示部分显示包括基准物体的基准立体图像，用于测量该基准虹膜距离，并且

所述校正部分确定当该基准立体图像被显示在该显示部分上时该用户的虹膜之间的距离为基准虹膜距离，并且基于在作为基于该基准虹膜距离计算出来的与基准物体对应的用户的会聚角的基准会聚角与对应于包括在显示在该显示部分上的立体图像中的物体并且基于在显示了该基准立体图像之后检测到的虹膜之间的距离计算出来的用户的会聚角之间的比较结果，来进行校正。

8.根据权利要求1的信息处理设备，其中该立体图像信息包括指示包括在该立体图像中的物体在深度方向上的位置的参数，并且

所述校正部分通过调整该参数来进行校正。

9.一种信息处理设备，包括：

操作接受部分，被适配来接受；

校正部分，被适配来当接受了该指令操作时，校正包括在该立体图像中的物体在该深度方向上的位置，以使得该位置的变化保持在固定范围之内；以及

输出控制部分，被适配来输出其中校正了该物体在该深度方向上的位置的立体图像。

10.一种信息处理方法，包括：

控制显示部分基于立体图像信息显示立体图像；

当在显示部分上显示该立体图像时检测用户的眼球的变化；以及

基于所检测到的眼球的变化，校正包括在立体图像内的物体在深度方向上的位置。

11.一种程序，用于使得计算机执行：

控制显示部分基于立体图像信息显示立体图像；

当在显示部分上显示该立体图像时检测用户的眼球的变化；以及

基于所检测到的眼球的变化，校正包括在立体图像内的物体在深度方向上的位置。

Images