CN103995685A - 信息处理装置以及信息处理装置的控制方法 - Google Patents

Abstract

本发明提供一种基于外部的环境的状况、使用者的生物体信息、信息处理装置所接受的控制信息中的任意一个，来使使用者识别环境的变化、误操作的信息处理装置。信息处理装置具备：信息获取部，其获取使用上述信息处理装置的环境中的特定的信息、使用上述信息处理装置的使用者的生物体信息、以及用于控制上述信息处理装置的控制信息中的至少一个；和控制部，其基于获取的上述特定的信息、上述生物体信息以及上述控制信息的至少一个来控制上述信息处理装置。

Description

信息处理装置以及信息处理装置的控制方法

技术领域

本发明涉及信息处理装置。

背景技术

已知佩戴在头部的显示装置即头戴式显示装置（头戴式显示器（Head Mounted Display），HMD）。头戴式显示装置例如利用液晶显示器以及光源生成表示图像的图像光，并利用投影光学系统、导光板将生成的图像光引导至使用者的眼睛，从而使使用者视觉确认虚像。头戴式显示装置中有使用者除了虚像之外也能够视觉确认外景的透射式、和使用者不能够视觉确认外景的非透射式这两种类型。透射式头戴式显示装置中有光学透射式以及视频透射式。

已知一种在透射式头戴式显示装置中，对声音进行转换作成表示声音的文字图像来使使用者视觉确认的技术。例如，在专利文献1中，公开有在使头戴式显示装置的使用者视觉确认记录在记录介质中的内容的情况下，将内容所包含的声音区分为人的声音和环境声音，生成表示环境声音的文本图像，再使使用者视觉确认生成的文本图像的技术。另外，在专利文献2中，公开有在唱歌的合唱队与佩戴头戴式显示装置的指挥合唱队的指挥者的合唱练习中，确定歌曲的拍子、音高偏离的合唱队员，并使指挥者视觉确认表示确定的合唱队员的图像的技术。另外，在专利文献3中，公开有在使使用者视觉确认影像的头戴式显示装置中，形成仅射出警告、通知这样的报知用的图像光的区域，从而容易并且可靠地使使用者识别报知用的图像光的技术。

专利文献1：日本特开2011－250100号公报

专利文献2：日本特开2010－145878号公报

专利文献3：日本特开2007－52224号公报

然而，在专利文献1所记载的技术中，通过使用者的操作来调整视听的内容的音量，从而使用者能够调整与内容的声音不同的外部的声音的收听方法，但在未调整内容的音量，并且内容的音量较大的情况下，有时难以听到外部的声音。另外，存在虽然是内容的音量较大的状态，但想要使使用者识别如紧急异常时那样的突然发生的不能够预料的外部的声音的课题。另外，在专利文献2中，能够使使用者识别产生歌曲的拍子、音高偏差的声源，但使用者不能够对视听的声音的音量进行调整。另外，在专利文献3中，存在对于电池余量、电波状态，生成报知给使用者的图像光，但例如还想要检测使用者使用的环境的变化等并报知给使用者这样的课题。此外，上述的课题并不限于头戴式显示装置，是输出声音的声音输出装置共同的课题。

发明内容

本发明是为了解决上述课题的至少一部分而完成的，能够作为以下的方式来实现。

（1）根据本发明的一个方式，提供一种信息处理装置。该信息处理装置具备信息获取部，其获取使用上述信息处理装置的环境中的特定的信息、使用上述信息处理装置的使用者的生物体信息、以及用于控制上述信息处理装置的控制信息中的至少一个；和控制部，其基于获取的上述特定的信息、上述生物体信息以及上述控制信息的至少一个来控制上述信息处理装置。根据该方式的信息处理装置，能够基于外部的环境的状况、使用者的生物体信息、信息处理装置所接受到的控制信息中的任意一个，将与信息处理装置的控制相关的指示传递给使用者，并能够使使用者对环境以及生物体信息的变化、误操作进行识别。

（2）在上述方式的信息处理装置中也可以还具备声音输出部，其输出声音；上述控制部控制上述声音输出部输出的输出音。根据该方式的信息处理装置，即使使用者不进行视觉确认特定的位置等动作，也能够使使用者对环境的变化、误操作进行识别，使用者的便利性提高。

（3）在上述方式的信息处理装置中，上述信息获取部获取与上述输出音不同的外部的声音即外部音，作为上述特定的信息，上述控制部基于上述外部音来控制上述输出音。在该方式的信息处理装置中，由于基于外部音控制输出音，所以使用者能够一边视听供给的内容等的输出音，一边听见外部音，并能够迅速地识别外部的变化。

（4）在上述方式的信息处理装置中也可以还具备图像显示部，其基于图像数据来形成表示图像的图像光，且使使用者视觉确认上述图像光，并且使外景透过；和转换部，其将上述外部音转换成作为文字表示的文字图像，上述控制部使上述图像显示部形成表示上述文字图像的上述图像光即文字图像光。在该方式的信息处理装置中，能够将信息获取部所获取的外部音作为表示外部音的文字图像来使使用者视觉确认，从而使使用者更为详细地识别外部音。

（5）在上述方式的信息处理装置中也可以是上述控制部基于上述外部音，来设定上述图像显示部使使用者视觉确认的上述文字图像光的大小。根据该方式的信息处理装置，基于外部音来设定文字图像的文字的大小，所以能够使使用者视听外部音，并且也将外部音的音量、频率中的差异作为文字图像的文字的大小来使之视觉确认，而更为详细地识别外部音。

（6）在上述方式的信息处理装置中也可以是上述控制部使上述图像显示部在上述图像显示部可形成上述图像光的区域即可形成图像区域中的除了中心部分的部分形成上述文字图像光。根据该方式的信息处理装置，在可形成图像区域中的中心部分不显示表示外部音的文字图像，所以不会在过分妨碍使用者的视野，而使用者能够视觉确认透过图像显示部的外景并且能够视觉确认文字图像，使用者的便利性提高。

（7）在上述方式的信息处理装置中也可以具有配置的位置不同的多个上述信息获取部，上述信息处理装置还具备声源方向推断部，其基于一个信息获取部获取的上述外部音的音量、和其他的信息获取部获取的上述外部音的音量，来推断从上述图像显示部向上述外部音的声源的方向即声源方向，上述控制部使上述图像显示部与上述声源方向对应地形成上述图像显示部可形成上述图像光的区域即可形成图像区域中的上述文字图像光。根据该方式的信息处理装置，能够使使用者在声源较近的位置视觉确认将外部音作为文字表示的文字图像，并使使用者识别声源的位置。

（8）在上述方式的信息处理装置中也可以是上述声音控制部测定上述外部音的音量，并在测定出的上述外部音的音量从小于第一阈值变化到上述第一阈值以上的情况下，减小上述输出音的音量。根据该方式的信息处理装置，即使在内容等的输出音的音量较大的情况下，在外部音的音量较大时也降低输出音的音量，所以即使是获取警告音等的音量较大的外部音的情况，也能够更加明确地听到外部音。

（9）在上述方式的信息处理装置中也可以还具备特定音检测部，其检测上述外部音所包含的特定的声音，上述控制部基于上述特定音检测部检测出的上述特定的声音来控制上述输出音。根据该方式的信息处理装置，在检测出使用者想要检测的特定的声音时，降低输出音的音量，所以使用者能够仅听到外部音所包含的需要的声音，使用者的便利性提高。

（10）在上述方式的信息处理装置中也可以还具备动作检测部，其检测使用者的头部的动作的变化，上述控制部基于上述动作检测部检测出的使用者的头部的动作的变化，来控制上述输出音。根据该方式的信息处理装置，基于外部音的变化和使用者的视线方向的变化这两个指标来调整输出音的音量、频率等，所以与仅利用外部音的变化来调整输出音的音量的情况相比，抑制不必要的调整，使用者的便利性提高。

（11）在上述方式的信息处理装置中也可以是上述控制部使上述声音输出部基于上述外部音的变化来输出设定了上述外部音的音量的声音，作为上述输出音。根据该方式的信息处理装置，在外部音所包含的警告音等特定的声音相对于输出音以较小的音量被检测的情况下，能够作为比外部音的音量大的音量的输出音使使用者视听，使用者的便利性提高。

（12）在上述方式的信息处理装置中也可以是上述控制部在上述信息获取部获取到特定的人的声音的情况下，变更获取到的上述特定的人的声音的频率，并对上述声音输出部输出变更了频率的上述特定的人的声音，并且减小上述特定的人的声音以外的声音的音量。根据该方式的信息处理装置，在获取到人难以听到的频率的声音的情况下，容易视听获取的声音，所以使用者容易识别外部音。

（13）在上述方式的信息处理装置中也可以是上述控制部测定上述外部音的音量，并基于测定出的上述外部音的音量、和上述输出音的音量来控制上述输出音。根据该方式的信息处理装置，基于外部音的音量和输出音的音量，来调整输出音的音量，所以能够以反映使用者的意思的音量使使用者视听输出音，利用者的便利性提高。

（14）在上述方式的信息处理装置中，上述声音输出部在佩戴于使用者的头部的状态下，使使用者视听上述输出音。根据该方式的信息处理装置，由于佩戴在使用者的头部，所以声音输出部难以从使用者的耳朵上脱落，而能够稳定地使使用者视听输出音。

（15）在上述方式的信息处理装置中也可以是上述头部的动作的变化是使用者的头部的角速度与角度的变化量的至少一方，上述控制部在上述头部的动作的变化是第二阈值以上的情况下，减小上述输出声音的音量。根据该方式的信息处理装置，基于外部声音的变化和使用者的视线方向的变化这两个指标来调整输出声音的音量，所以与仅利用外部声音的变化来调整输出声音的音量的情况相比，抑制不必要的调整，使用者的便利性提高。

（16）在上述方式的信息处理装置中也可以还具备解析部，其进行上述外部声音的频谱中的每个频率的强度的解析，上述控制部基于上述解析部解析出的频谱中的特定的频率，来控制上述输出声音的音量。根据该方式的信息处理装置，在获取的外部声音中检测出频率不同的异音等的情况下，能够使使用者识别异音等，使用者的便利性提高。

（17）在上述方式的信息处理装置中也可以是上述特定的信息是与温度、湿度、磁、空气中的成分以及上述信息处理装置中的液体的附着中的至少一个相关联的信息。根据该方式的信息处理装置，能够基于信息处理装置的外部的环境的变化，使使用者识别信息处理装置的控制方法，并能够迅速并且容易明白地使使用者识别环境的危险的状况等。

（18）在上述方式的信息处理装置中也可以还具备操作部，其接受规定的操作作为上述控制信息，上述控制部在接受了与上述操作部接受到的上述规定的操作不同的操作的情况下控制上述信息处理装置。根据该方式的信息处理装置，在未进行规定的操作的情况下，使使用者识别使用者进行与规定的操作不同的操作，所以使用者容易进行规定的操作，使用者的便利性提高。

（19）在上述方式的信息处理装置中，也可以是上述信息获取部获取上述信息处理装置的加速度，上述特定的信息是上述信息处理装置中的阈值以上的加速度。根据该方式的信息处理装置，能够根据与信息处理装置所使用的环境的变化不同的使用者自身的状况的变化，使使用者识别信息处理装置的控制信息，使用者的便利性提高。

（20）在上述方式的信息处理装置中，上述控制部也可以进行向上述信息处理装置的使用者报知限制上述信息处理装置的使用的信息的控制。根据该方式的信息处理装置，由于将信息处理装置的控制信息报知给使用者，所以使用者能够基于外部的环境的变化、误操作来停止信息处理装置的使用，使用者的便利性提高。

（21）在上述方式的信息处理装置中也可以还具备图像显示部，其基于图像数据来形成表示图像的图像光，且使使用者视觉确认上述图像光，并且使外景透过；和转换部，其将上述设定信息转换成作为文字表示的文字图像，上述控制部使上述图像显示部形成表示上述文字图像的上述图像光即文字图像光。根据该方式的信息处理装置，能够作为表示信息处理装置的控制信息的文本图像使使用者视觉确认，而更为详细地识别控制信息。

上述的本发明的各方式所具有的多个构成要素并非全部都是必须的，为了解决上述的课题的一部分或者全部，或者为了实现本说明书所记载的效果的一部分或者全部，能够适当地对上述多个构成要素的一部分的构成要素进行其变更、删除、与新的其他的构成要素的替换、限定内容的部分删除。另外，为了解决上述的课题的一部分或者全部，或者为了实现本说明书所记载的效果的一部分或者全部，也可以将上述的本发明的一个方式所包含的技术特征的一部分或者全部与上述的本发明的其他的方式所包含的技术特征的一部分或者全部进行组合，而构成本发明的独立的一个方式。

例如，本发明的一个方式作为具备信息获取部、控制部这两个要素中的一个以上或者全部要素的装置能够实现。即，该装置可以具有信息获取部，也可以不具有。另外，装置可以具有控制部，也可以不具有。信息获取部例如也可以获取使用上述信息处理装置的环境中的特定的信息、使用上述信息处理装置的使用者的生物体信息、以及用于控制上述信息处理装置的控制信息中的至少一个。控制部例如也可以基于获取的上述特定的信息、上述生物体信息以及上述控制信息的至少一个来控制上述信息处理装置。这样的装置例如，能够作为信息处理装置来实现，但也能够作为信息处理装置以外的其他装置来实现。根据这样的方式，能够解决使用装置的使用者的便利性的提高、装置的一体化、可用性的提高等各种课题的至少一个。上述的信息处理装置的各方式的技术特征的一部分或者全部均能够应用于该装置。

本发明也能够以信息处理装置以外的各种方式来实现。例如，能够以声音处理装置、图像显示装置、头戴式显示装置、信息处理装置的控制方法、声音处理装置的控制方法、图像显示装置的控制方法、头戴式显示装置的控制方法、信息处理系统、声音处理系统、图像显示系统、头戴式图像显示系统等方式来实现。另外，能够以用于实现信息处理装置系统、声音处理装置系统、图像显示装置系统、头戴式显示装置系统的功能的计算机程序、记录有该计算机程序的记录介质、包含该计算机程序且在载波内具体化的数据信号等方式来实现。

附图说明

图1是表示头戴式显示装置100的外观构成的说明图。

图2是功能性地表示头戴式显示装置100的构成的框图。

图3是表示利用图像光生成部射出图像光的情况的说明图。

图4是表示输出音量调整处理的流程的说明图。

图5是表示使用者视觉确认的视野VR的一个例子的说明图。

图6是表示获取的外部声音的音量的变化的一个例子的说明图。

图7是表示获取的外部声音的频率的一个例子的说明图。

图8是功能性地表示第二实施方式中的100b的构成的框图。

图9是表示第二实施方式中的信息报知处理的流程的说明图。

图10是表示使用者视觉确认的视野VR2的一个例子的说明图。

图11是表示汽车的驾驶员视觉确认的视野VR’的一个例子的说明图。

图12是表示变形例中的头戴式显示装置的外观构成的说明图。

具体实施方式

接下来，基于实施方式并按照以下的顺序对本发明的实施方式进行说明。

A.第一实施方式：

A－1.头戴式显示装置的构成：

A－2.输出音量调整处理：

B.第二实施方式：

C.变形例：

A.第一实施方式：

A－1.头戴式显示装置的构成：

图1是表示头戴式显示装置100的外观构成的说明图。头戴式显示装置100是佩戴在头部的显示装置，也称作头戴式显示器（HeadMounted Display，HMD）。本实施方式的头戴式显示装置100是能够使使用者视觉确认虚像的同时也直接视觉确认外景的光学透射式的头戴式显示装置。此外，在本说明书中，将使用者利用头戴式显示装置100视觉确认的虚像简称为“显示图像”。另外，将射出基于图像数据而生成的图像光称为“显示图像”。

头戴式显示装置100具备在佩戴在使用者的头部的状态下使使用者视觉确认虚像的图像显示部20、和控制图像显示部20的控制部10（控制器10）。

图像显示部20是佩戴在使用者的头部的佩戴体，在本实施方式中具有眼镜形状。图像显示部20包含右保持部21、右显示驱动部22、左保持部23、左显示驱动部24、右光学图像显示部26、左光学图像显示部28、相机61、以及话筒62、64。右光学图像显示部26以及左光学图像显示部28分别以在使用者佩戴图像显示部20时位于使用者的右眼以及左眼前的方式配置。右光学图像显示部26的一端和左光学图像显示部28的一端在与使用者佩戴图像显示部20时的使用者的眉间对应的位置相互连接。

右保持部21是从右光学图像显示部26的另一端即端部ER至与使用者佩戴图像显示部20时的使用者的侧头部对应的位置延伸地设置的部件。同样，左保持部23是从左光学图像显示部28的另一端即端部EL至与使用者佩戴图像显示部20时的使用者的侧头部对应的位置延伸地设置的部件。右保持部21以及左保持部23如眼镜的脚丝（镜腿）那样操作，将图像显示部20保持在使用者的头部。

右显示驱动部22与左显示驱动部24配置在使用者佩戴图像显示部20时的与使用者的头部对置的一侧。此外，以下，统称右保持部21以及左保持部23仅称为“保持部”，统称右显示驱动部22以及左显示驱动部24仅称为“显示驱动部”，统称右光学图像显示部26以及左光学图像显示部28仅称为“光学图像显示部”。

显示驱动部22、24包含液晶显示器241、242（Liquid CrystalDisplay，以下称为“LCD241、242”）、投影光学系统251、252等（参照图2）。显示驱动部22、24的构成的详细内容后述。作为光学部件的光学图像显示部26、28包含导光板261、262（参照图2）和调光板。导光板261、262由透光性的树脂材料等形成，将从显示驱动部22、24输出的图像光引导至使用者的眼睛。调光板是薄板状的光学元件，以覆盖与使用者的眼睛侧相反的一侧即图像显示部20的表面的方式配置。调光板保护导光板261、262，抑制导光板261、262的损伤、污垢的附着等。另外，通过调整调光板的透光率，从而调整进入使用者的眼睛的外部光量，能够调整虚像的视觉确认的难易度。此外，调光板可以省略。

相机61配置在使用者佩戴图像显示部20时的与使用者的眉间对应的位置。相机61拍摄与使用者的眼睛侧相反的一侧方向的外部的景色即外景，并获取外景图像。本实施方式中的相机61是单眼相机，但也可以是立体相机。此外，使用者除了利用相机61获取的外景图像之外，也能够视觉确认透过图像显示部20的导光板261、262的外景。另外，利用相机61获取的外景图像的范围可以与使用者透过导光板261、262能够视觉确认的外景的范围相同，也可以不同。

右话筒62配置在右保持部21中的右显示驱动部22的相反的一侧。左话筒64配置在左保持部23中的左显示驱动部24的相反的一侧。右话筒62与左话筒64相对于图像显示部20配置的位置不同，所以右话筒62获取的外部声音的音量即外部音量与左话筒64获取的外部音量不同。此外，本说明书中的“声音”表示不仅是人的声音，还包括机械声音等的广义的“声音”的意思。右话筒62以及左话筒64相当于技术方案中的声音获取部。

图像显示部20还具有用于将图像显示部20与控制部10连接的连接部40。连接部40包含与控制部10连接的主体线48、右线42、左线44、以及连结部件46。右线42与左线44是从主体线48分支出的两根线。右线42从右保持部21的延伸方向的前端部AP插入右保持部21的框体内，与右显示驱动部22连接。同样地，左线44从左保持部23的延伸方向的前端部AP插入左保持部23的框体内，与左显示驱动部24连接。连结部件46具有设置于主体线48与右线42以及左线44的分支点，且用于连接耳机插头30的插孔。从耳机插头30延伸有右耳机32以及左耳机34。此外，右耳机32以及左耳机34相当于技术方案中的声音输出部。

图像显示部20与控制部10经由连接部40进行各种信号的传送。在主体线48中的与连结部件46相反的一侧的端部和控制部10分别设置有相互嵌合的连接器（未图示）。通过主体线48的连接器与控制部10的连接器的嵌合／嵌合解除，来连接或断开控制部10与图像显示部20。右线42、左线44、主体线48例如能够采用金属线缆、光纤。

控制部10是用于控制头戴式显示装置100的装置。控制部10包含决定键11、点灯部12、显示切换键13、跟踪板14、亮度切换键15、方向键16、菜单键17以及电源开关18。决定键11检测按下操作，并输出决定在控制部10操作的内容的信号。点灯部12通过其发光状态通知头戴式显示装置100的动作状态。作为头戴式显示装置100的动作状态，例如有电源的开／关等。作为点灯部12，例如使用LED（Light EmittingDiode：发光二极管）。显示切换键13检测按下操作，例如，输出将内容动态图像的显示模式切换为3D与2D的信号。跟踪板14检测在跟踪板14的操作面上的使用者的手指的操作，并输出与检测内容对应的信号。作为跟踪板14能够采用静电式、压力检测式、光学式这样的各种跟踪板。亮度切换键15检测按下操作，并输出增减图像显示部20的亮度的信号。方向键16检测对与上下左右方向对应的键的按下操作，并输出与检测内容对应的信号。电源开关18检测开关的滑动操作，从而切换头戴式显示装置100的电源接通状态。

图2是功能性地表示头戴式显示装置100的构成的框图。如图2所示，控制部10具有CPU140、操作部135、输入信息获取部110、存储部120、电源130、接口180、发送部51（Tx51）以及发送部52（Tx52）。操作部135接受使用者的操作，由决定键11、显示切换键13、跟踪板14、亮度切换键15、方向键16、菜单键17以及电源开关18构成。

输入信息获取部110获取与使用者的操作输入对应的信号。作为与操作输入对应的信号，例如有针对跟踪板14、方向键16、电源开关18的操作输入。电源130向头戴式显示装置100的各部供给电力。作为电源130，例如能够使用二次电池。存储部120储存有各种计算机程序。存储部120由ROM、RAM等构成。CPU140读出储存在存储部120中的计算机程序并执行，从而作为操作系统150（ОS150）、图像处理部160、声音处理部170、转换部185、方向判定部161以及显示控制部190发挥作用。

图像处理部160获取内容所包含的图像信号。图像处理部160从获取的图像信号中分离垂直同步信号VSync、水平同步信号HSync等同步信号。另外，图像处理部160根据分离出的垂直同步信号VSync、水平同步信号HSync的周期，利用PLL（Phase Locked Loop：锁相环）电路等（未图示）来生成时钟信号PCLK。图像处理部160使用A／D转换电路等（未图示）将分离出同步信号的模拟图像信号转换为数字图像信号。之后，图像处理部160将转换后的数字图像信号作为对象图像的图像数据Data（RGB数据），按照每一帧储存于存储部120内的DRAM。此外，图像处理部160也可以根据需要，对图像数据执行分辨率转换处理、亮度、彩度的调整这样的各种色调修正处理、梯形失真修正处理等图像处理。

图像处理部160分别将生成的时钟信号PCLK、垂直同步信号VSync、水平同步信号HSync、以及储存在存储部120内的DRAM的图像数据Data经由发送部51、52发送。此外，将经由发送部51发送的图像数据Data称为“右眼用图像数据”，将经由发送部52发送的图像数据Data称为“左眼用图像数据”。发送部51、52作为用于控制部10与图像显示部20之间的串行传送的收发器发挥作用。

声音处理部170对获取的外部声音以及输出的声音即输出声音进行各种处理。声音处理部170获取内容所包含的声音信号，并放大获取的声音信号，而供给给与连结部件46连接的右耳机32内的扬声器（未图示）以及左耳机34内的扬声器（未图示）。此外，例如，在采用Dolby（注册商标）系统的情况下，进行针对声音信号的处理，分别从右耳机32以及左耳机34输出例如改变频率等的不同的声音。

另外，声音处理部170将话筒62、64获取的外部音量以及输出声音的音量即输出音量确定为分贝（dB）的数值，或者检测包含于外部声音、且预先存储在存储部120中的警告音这样的特定的声音。外部声音所包含的特定的声音的检测通过对预先存储在存储部120中的警告音等的频谱的波形与在规定的期间获取的外部声音的频谱的波形进行对照来进行。声音处理部170通过对频谱的波形进行对照，从而也能够识别人的声音和其以外的声音。另外，声音处理部170解析获取的外部声音的频谱，来计算每个频率的强度。在本实施方式中，声音处理部170每隔1秒获取外部音量，在频谱的解析中，进行在1秒期间获取的外部声音的解析。

另外，声音处理部170基于在某一时刻获取的外部音量是否是预先规定的音量以上，或者在某一时刻获取的外部音量与在其前一秒获取的外部音量的变化，来调整输出音量。声音处理部170基于从某一时刻开始1秒间所获取的外部声音的频谱相对于在其之前的1秒间所获取的外部声音的频谱的变化来调整输出音量。另外，声音处理部170基于检测到的外部声音所包含的特定的声音来调整输出音量。

声音处理部170基于右话筒62获取的外部音量与左话筒64获取的外部音量来推断从图像显示部20向外部声音的声源的方向。具体而言，在本实施方式中，在右话筒62获取的音量比左话筒64获取的音量大的情况下，声音处理部170推断为以使用者为中心在右方向上存在声源。此外，声音处理部170相当于技术方案中的声音控制部、解析部、特定音检测部以及声源方向推断部。

转换部185将话筒62、64获取的声音转换为通过文字表示声音的文字图像。方向判定部161基于后述的9轴传感器66检测出的图像显示部20的动作的变化，来确定使用者的头部的角速度、角度的变化量。

显示控制部190生成控制右显示驱动部22以及左显示驱动部24的控制信号。具体而言，显示控制部190利用控制信号，来分别独立地控制右LCD控制部211对右LCD241的驱动开/关、右背光灯控制部201对右背光灯221的驱动开/关、左LCD控制部212对左LCD242的驱动开/关、左背光灯控制部202对左背光灯222的驱动开/关等。由此，显示控制部190控制右显示驱动部22以及左显示驱动部24的各自的图像光的生成以及射出。例如，显示控制部190使右显示驱动部22以及左显示驱动部24双方生成图像光，或者仅使一方生成图像光，或者使双方都不生成图像光。显示控制部190分别经由发送部51以及52发送针对右LCD控制部211与左LCD控制部212的控制信号。另外，显示控制部190分别发送针对右背光灯控制部201与左背光灯控制部202的控制信号。

另外，显示控制部190基于话筒62、64获取的外部音量，来设定方向判定部161转换后的文字图像的文字的大小，并作为表示已设定文字的大小的文字图像的控制信号发送至图像显示部20。图像显示部20基于发送的控制信号来生成表示文字图像的图像光，并向使用者的眼睛射出，从而使用者能够将声音视觉确认为文字图像。

接口180是用于对控制部10连接成为内容的供给源的各种外部设备OA的接口。作为外部设备OA例如有个人计算机（PC）、移动电话终端、游戏终端等。作为接口180，例如，能够使用USB接口、Micro USB接口、存储卡用接口等。

图像显示部20具备右显示驱动部22、左显示驱动部24、作为右光学图像显示部26的右导光板261、作为左光学图像显示部28的左导光板262、相机61、9轴传感器66、右话筒62以及左话筒64。

9轴传感器66是检测加速度（3轴）、角速度（3轴）、地磁（3轴）运动传感器。9轴传感器66被设置在图像显示部20，所以在图像显示部20佩戴在使用者的头部时，检测使用者的头部的动作。根据检测出的使用者的头部的动作得知图像显示部20的方向，所以方向判定部161能够推断使用者的视线方向。方向判定部161与9轴传感器66相当于技术方案中的动作检测部。话筒62、64将获取的声音的声音信号发送至转换部185以及声音处理部170。

右显示驱动部22包含接收部53（Rx53）、作为光源发挥作用的右背光灯控制部201（右BL控制部201）以及右背光灯221（右BL221）、作为显示元件发挥作用的右LCD控制部211以及右LCD241以及右投影光学系统251。右背光灯控制部201与右背光灯221作为光源发挥作用。右LCD控制部211与右LCD241作为显示元件发挥作用。此外，将右背光灯控制部201、右LCD控制部211、右背光灯221以及右LCD241总称为“图像光生成部”。

接收部53作为用于控制部10与图像显示部20之间的串行传送的接收器发挥作用。右背光灯控制部201基于输入的控制信号，来驱动右背光灯221。右背光灯221例如是LED、电致发光（EL）等发光体。右LCD控制部211基于经由接收部53输入的时钟信号PCLK、垂直同步信号VSync、水平同步信号HSync、以及右眼用图像数据，来驱动右LCD241。右LCD241是将多个像素配置成矩阵状的透射式液晶面板。

右投影光学系统251由使从右LCD241射出的图像光成为并行状态的光束的准直透镜构成。作为右光学图像显示部26的右导光板261使从右投影光学系统251输出的图像光沿着规定的光路反射并引导至使用者的右眼RE。此外，将右投影光学系统251与右导光板261总称为“导光部”。

左显示驱动部24具有与右显示驱动部22相同的构成。左显示驱动部24包含接收部54（Rx54）、作为光源发挥作用的左背光灯控制部202（左BL控制部202）以及左背光灯222（左BL）、作为显示元件发挥作用的左LCD控制部212以及左LCD242以及左投影光学系统252。左背光灯控制部202与左背光灯222作为光源发挥作用。左LCD控制部212与左LCD242作为显示元件发挥作用。此外，将左背光灯控制部202、左LCD控制部212、左背光灯222以及左LCD242总称为“图像光生成部”。另外，左投影光学系统252由使从左LCD242射出的图像光成为并行状态的光束的准直透镜构成。作为左光学图像显示部28的左导光板262使从左投影光学系统252输出的图像光沿着规定的光路反射并引导至使用者的左眼LE。此外，将左投影光学系统252与左导光板262总称为“导光部”。

图3是表示由图像光生成部射出图像光的情况的说明图。右LCD241通过驱动配置成矩阵状的各像素位置的液晶，使透过右LCD241的光的透过率变化，从而将从右背光灯221照射的照明光IL调制为表现图像的有效的图像光PL。关于左侧也相同。此外，如图3所示，在本实施方式中采用背光灯方式，但也可以为使用前灯方式、反射方式射出图像光的构成。

A－2.输出音量调整处理：

图4是表示输出音量调整处理的流程的说明图。输出音量调整处理是基于话筒62、64获取的外部声音的变化，控制部10的各部调整经由耳机32、34输出的输出音量的处理。首先，话筒62、64获取外部声音（步骤S310）。声音处理部170对话筒62、64获取的外部声音进行每隔1秒的音量的获取、频谱的解析、特定的声音的检测。

接下来，声音处理部170监视在外部声音中是否检测出警告音等特定的声音（步骤S320）。在检测出特定的声音的情况下（步骤S320：是），声音处理部170降低从耳机32、34输出的输出音量（步骤S360）。在本实施方式中，声音处理部170将输出音量降低到预先设定的音量，但在其他的实施方式中，也可以由使用者自由地设定降低的音量，也可以基于外部音量来设定音量。另外，也可以基于输出音量与外部音量来设定。

若输出音量降低，则接下来，显示控制部190将表示获取到的外部声音的文本图像显示到图像显示部20（步骤S370）。图5是表示使用者视觉确认的视野VR的一个例子的说明图。图5示出使用者视觉确认的视野VR、和图像显示部20能够显示图像的区域即最大图像显示区域PN。如图5所示，使用者能够将教师TE、接受教师TE的讲义的多名学生ST以及将获取的外部声音表示为文字图像的文本图像TX1作为外景视觉确认。使用者将由教师TE佩戴的讲义用话筒获取的声音经由接口180从耳机32、34视听为输出声音，并且视觉确认教师TE在白板WB上书写的文字。在本实施方式中，在步骤S330的处理中，在广播之前传出的“呯嗙啪嗙”这样的广播声音作为特定的声音被检测，转换部185将话筒62、64获取的外部声音转换为将外部声音表示为文字的文字图像。显示控制部190将转换后的文字图像作为文本图像TX1显示在最大图像显示区域PN。与广播声音所包含的“呯嗙啪嗙”这样的外部声音的音量相比，“刚刚，发生了地震。”这样的外部声音的音量较大。因此，如图5所示，与表示“呯嗙啪嗙”的声音的文字图像相比，显示控制部190增大表示“刚刚，发生了地震。”的文字图像中的各文字的大小。

从图5所示的扬声器SP输出广播声音，左话筒64比右话筒62更靠近扬声器SP的位置，所以与右话筒62相比获取的外部音量较大。因此，声音处理部170判定为作为外部声音的声源的扬声器SP相对于使用者处于左侧。显示控制部190在最大图像显示区域PN中除了中心部分、且在与中心相比靠左侧部分所占的部分较多的周边部显示文本图像TX1。本实施方式中的最大图像显示区域PN的横向的像素数是960，纵向的像素数是540。最大图像显示区域PN相当于技术方案中的可形成图像区域。最大图像显示区域PN中的除了中心部分的部分是指除了位于中央的横向的像素数320与纵向的像素数180的区域的区域，还优选除了位于中央的横向的像素数480与纵向的像素数270的区域的区域。此外，在本实施方式中，将除了中心的部分仅称为“周边部”，所谓的除了中心的部分未必是表示最大图像显示区域PN的外侧附近的区域。

接下来，声音处理部170监视是否返回到检测出的特定的声音未被检测的原来的状态（步骤S380）。在未检测出特定的声音的情况下（步骤S380：是），声音处理部170将在步骤S360的处理中已降低的输出音量返回到降低之前的输出音量（步骤S390）。之后，控制部10监视结束输出声音调整处理的操作（步骤S400）。在未检测出结束输出音量调整处理的操作的情况下（步骤S400：否），声音处理部170再次监视外部声音中是否检测出警告音等特定的声音（步骤S320）。在检测出结束输出音量调整处理的操作的情况下（步骤S400：是），显示控制部190使在最大图像显示区域PN显示的文本图像TX1不显示，控制部10结束输出音量调整处理。

在步骤S380的处理中，继续检测出特定的声音的情况下（步骤S380：否），控制部10监视结束输出声音调整处理的操作（步骤S410）。在未检测出结束输出音量调整处理的操作的情况下（步骤S380：否），声音处理部170继续监视是否返回到检测出的特定的声音未被检测的原来的状态（步骤S380）。在检测出结束输出音量调整处理的操作的情况下（步骤S410：是），控制部10结束输出音量调整处理。

在步骤320的处理中，在未检测出特定的声音的情况下（步骤S320：否），声音处理部170监视是否获取的外部音量发生变化而为预先规定的阈值以上的音量（步骤S330）。图6是表示获取的外部声音的音量的变化的一个例子的说明图。图6示出话筒62、64获取的外部声音的音量的变化Nout（dB）、和预先决定的音量阈值Nth（dB）。如图6所示，获取的外部音量至时刻t1是比音量阈值Nth小的音量，在从时刻t1开始1秒后的时刻t2是音量阈值Nth以上的音量。该情况下，音量从时刻t1的音量N1向时刻t2的音量N2变化，音量N2是音量阈值Nth以上（图4的步骤S330：是），所以接下来，控制部10的各部进行步骤S360以后的处理。

在步骤S330的处理中，在外部音量未变化，或者即使外部音量变化音量也比音量阈值Nth小的情况下（步骤S330：否），声音处理部170监视外部声音中是否检测出特定的频率（步骤S340）。图7是表示获取的外部声音的频率的一个例子的说明图。图7中示出对分别在期间T1和期间T1之后的期间T2中获取的外部声音进行了解析的频谱。如图7所示，在从期间T1中的频谱fT1向期间T2中的频谱fT2的变化中，检测出特定的频率的频带fth的频率的情况下（步骤S340：是），控制部10的各部进行步骤S360以后的处理。此外，一般都知道频率为3000赫兹（Hz）的声音即使音量较小人也能够容易地听到。因此，在其他的实施方式中，在人能够听到的频率即从20赫兹到20000赫兹的声音中，接近20赫兹或者20000赫兹的频率的声音的情况下，即使外部声音是相同的音量也可以减小输出声音。

在步骤S340的处理中，在外部声音中未检测出特定的频率的情况下（步骤S340：否），在外部声音变化，而在外部声音中检测出人的声音的状态下，方向判定部161监视使用者的头部的动作的检测（步骤S350）。若在声音处理部170在外部声音中检测出人的声音的状态下，方向判定部161在头部的角速度与角度的变化量的至少一个中检测出预先决定的阈值以上的变化量（步骤S350：是），则控制部10的各部进行步骤S360以后的处理。在步骤S350的处理中，在未检测出人的声音的情况下，或者未检测出阈值以上的头部的动作的变化量的情况下（步骤S350：否），声音处理部170再次监视在外部声音中是否检测出警告音等特定的声音（步骤S320）。

如以上说明的那样，在本实施方式的头戴式显示装置100中，声音处理部170基于话筒62、64获取的外部声音的变化，来调整从耳机32、34输出的输出声音的音量。因此，在该头戴式显示装置100中，在外部声音的音量等发生了变化的情况下减小输出声音的音量，所以使用者能够一边视听经由接口180供给的内容的声音，一边听见外部声音，并能够迅速地识别外部的变化。

另外，在本实施方式的头戴式显示装置100中，转换部185将话筒62、64获取的声音转换成通过文字表示声音的文字图像。显示控制部190将表示文字图像的控制信号发送至图像显示部20，并通过图像显示部20生成表示文字图像的图像光。因此，在该头戴式显示装置100中，能够将话筒62、64获取的外部声音作成表示外部声音的文本图像TX1来使使用者视觉确认，且使使用者更为详细地识别外部声音。

另外，在本实施方式的头戴式显示装置100中，显示控制部190基于话筒62、64获取的外部音量来设定文字图像的文字的大小，并将表示已设定文字的大小的文字图像的控制信号发送至图像显示部20。因此，在该头戴式显示装置100中，基于外部声音的音量来设定文本图像TX1的文字的大小，所以能够使使用者视听外部声音，并且也将外部音量的差异视觉确认为文本图像TX1的文字的大小，更为详细地识别外部声音。

另外，在本实施方式的头戴式显示装置100中，显示控制部190在图像显示部20能够显示图像的区域即最大图像显示区域PN中，在除了中心部分的周边部显示文本图像TX1。因此，在该头戴式显示装置100中，在最大图像显示区域PN中的中心部分不显示表示外部声音的文字图像，所以不会过分地妨碍使用者的视野VR，使用者能够视觉确认透过图像显示部20的外景并且能够视觉确认文字图像，提高使用者的便利性。

另外，在本实施方式的头戴式显示装置100中，在图像显示部20中右话筒62与左话筒64配置在不同的位置。声音处理部170基于右话筒62所获取的外部音量与左话筒64所获取的外部音量来推断从图像显示部20向外部声音的声源的方向。声音处理部170推断出扬声器SP相对于使用者处于左侧，在最大图像显示区域PN中，在与中心相比靠左侧部分所占的部分显示文本图像TX1。因此，在该头戴式显示装置100中，能够在使用者的视野VR中，在接近声源的位置视觉确认将外部声音表示为文字的文字图像，并使使用者识别声源的位置。

另外，在本实施方式的头戴式显示装置100中，声音处理部170在获取的音量从小于音量阈值Nth的音量N1向音量阈值Nth以上的音量N2变化的情况下降低输出音量。因此，在该头戴式显示装置100中，即使在内容的声音的音量较大的情况下，在外部音量较大的情况下也降低输出音量，所以即使在获取了警告音等的音量较大的外部声音的情况下，也能够更加明确地听到外部声音。

另外，在本实施方式的头戴式显示装置100中，声音处理部170检测获取的外部声音所包含的警告音这样的特定的声音，并基于检测出的外部声音所包含的特定的声音来调整输出声音。因此，在该头戴式显示装置100中，在检测出使用者想要检测的特定的声音时，降低输出音量，所以使用者能够只听到外部声音所包含的必要的声音，使用者的便利性提高。

另外，在本实施方式的头戴式显示装置100中，9轴传感器66检测使用者的头部的动作，并基于方向判定部161检测出的图像显示部20的动作的变化，来确定使用者的头部的角速度、角度的变化量。声音处理部170基于外部声音所包含的人的声音和使用者的头部的动作的预先规定的阈值以上的变化量来降低输出音量。因此，在该头戴式显示装置100中，基于外部声音的变化和使用者的视线方向的变化这两个指标来调整输出音量，所以与仅以外部声音的变化来调整输出音量的情况相比，抑制不必要的调整，使用者的便利性提高。

另外，在本实施方式的头戴式显示装置100中，声音处理部170对获取的外部声音的频谱进行解析，计算每个频率的强度，并基于解析出的外部声音的频谱的变化来调整输出声音。因此，在该头戴式显示装置100中，在获取的外部声音中检测出频率不同的异音等的情况下，能够使使用者识别异音等，使用者的便利性提高。

B.第二实施方式：

图8是功能性地表示第二实施方式中的100b的构成的框图。如图8所示，在第二实施方式中，在本实施方式中的图像显示部20b中，代替9轴传感器66而形成环境信息传感器67，控制部10b的CPU140b代替方向判定部161而具有环境信息判定部162和误操作判定部163。

环境信息传感器67检测外部的温度作为使用头戴式显示装置100b的环境的信息。环境信息判定部162将检测出的外部的温度与预先规定的阈值进行比较。误操作判定部163判定操作部135所接受的操作与控制头戴式显示装置100b的规定的操作是否相同。在通过环境信息判定部162比较的结果、以及通过误操作判定部163判定的操作的结果是规定的结果的情况下，为了使使用者识别基于规定的结果的忠告等信息而将预先规定的信息发送给转换部185和声音处理部170。转换部185将从环境信息判定部162发送过来的信息转换为通过文字来表示的文字图像。声音处理部170将从环境信息判定部162发送过来的信息转换为声音信号，并发送给话筒62、64。此外，第二实施方式中的环境信息传感器67和操作部135的至少一方相当于技术方案中的信息获取部。

图9是表示第二实施方式中的信息报知处理的流程的说明图。信息报知处理是接受检测出的环境的信息，或者在操作部135中被判定为误操作的操作的情况下，作为声音或者文本图像，向使用者报知忠告等信息的处理。

在信息报知处理中，首先，环境信息判定部162获取外部的温度，作为环境的信息（步骤S510）。接下来，环境信息判定部162判定获取的外部的温度是否符合预先设定的条件（步骤S520）。在第二实施方式中，作为预先设定的条件，外部的温度被设定为摄氏40度（40℃）以上的情况、和摄氏负10度（－10℃）以下的情况。在外部的温度不符合条件的情况下（步骤S520：否），误操作判定部163判定操作部135是否接受了与用于操作头戴式显示装置100b的规定操作不同的误操作（步骤S530）。作为误操作，例如是在从最大图像显示区域PN显示的多个选择项中选择一个的情况下，应该操作跟踪板14、方向键16、以及决定键11，但选择其他键，或者在规定的时间内连续敲打规定的次数以上决定键11的操作。在判定为操作部135未接受误操作的情况下（步骤S530：否），环境信息判定部162继续监视外部的温度是否符合预先设定的条件（步骤S520）。

在操作部135接受了误操作的情况下（步骤S530：是），或者在外部的温度符合预先设定的条件的情况下（步骤S520：是），声音处理部170基于从环境信息判定部162或者误操作判定部163发送过来的信息，使话筒62、64输出这些检测出的内容（以下，仅称为“忠告”）的声音（步骤S540）。即，话筒62、64输出限制头戴式显示装置100b的使用的声音。接下来，显示控制部190使图像显示部20b显示转换部185基于从环境信息判定部162或者误操作判定部163发送过来的信息进行转换后的意味着忠告的文本图像（步骤S550）。

图10是表示使用者视觉确认的视野VR2的一个例子的说明图。图10中，作为外部的温度，检测出符合预先设定的条件的摄氏45度，使用者视觉确认摘下头戴式显示装置100b的意思的忠告的文本图像TX11即“由于高温，请摘下HMD”。如图10所示，使用者视觉确认外景SC和在最大图像显示区域PN显示的显示图像VI。在最大图像显示区域PN中，使用者能够视觉确认透过的外景SC。显示图像VI是汽车行驶的内容动态图像。显示图像VI包括文本图像TX11。此外，在最大图像显示区域PN显示文本图像TX11，并且话筒62、64每隔恒定时间对使用者反复输出意味着忠告的“由于高温，请摘下HMD”的声音。

若从话筒62、64输出与文本图像TX11相同的内容的声音（图9的步骤S540），并在最大图像显示区域PN中显示文本图像TX11（步骤S550），则环境信息判定部162以及误操作判定部163判定环境的信息与操作部135所接受的操作的至少一方是否继续符合条件（步骤S560）。例如，在判定为外部的温度不足摄氏40度、且超过摄氏负10度的情况下（步骤S560：否），声音处理部170以及话筒62、64结束忠告的声音的输出，并且显示控制部190不显示文本图像TX11（步骤S570）。之后，控制部10b监视结束信息报知处理的操作（步骤S580）。

在步骤S560的处理中，在环境的信息与操作部135所接受的操作的至少一方继续符合条件的情况下（步骤S560：是），控制部10b监视结束信息报知处理的操作（步骤S590）。

如以上说明的那样，在第二实施方式的头戴式显示装置100b中，环境信息传感器67作为使用头戴式显示装置100b的环境的信息，检测外部的温度，且操作部135接受控制头戴式显示装置100b的规定的操作。控制部10b的环境信息判定部162在检测出的外部的温度符合预先设定的条件的情况下，进行忠告的声音输出以及文本图像TX11的显示，或者，控制部10b的误操作判定部163在操作部135接受了误操作的情况下，进行忠告的声音输出以及文本图像TX11的显示。因此，在第二实施方式的头戴式显示装置100b中，能够基于外部的环境的状况，或者头戴式显示装置100b所接受的操作内容，向使用者传递忠告等有关头戴式显示装置100b的控制的指示，并能够使使用者识别环境的变化、误操作。

另外，在第二实施方式的头戴式显示装置100b中，控制部10b中的环境信息判定部162或者误操作判定部163通过声音处理部170以及话筒62、64输出忠告的声音。因此，在第二实施方式的头戴式显示装置100b中，即使使用者未进行视觉确认特定的位置等动作，也能够使使用者识别环境的变化、误操作，使用者的便利性提高。

另外，在第二实施方式的头戴式显示装置100b中，在操作部135接受了与用于操作头戴式显示装置100b的规定的操作不同的误操作的情况下，误操作判定部163进行忠告的声音的输出以及最大图像显示区域PN中的文本图像TX11的显示。因此，在第二实施方式的头戴式显示装置100b中，在未进行正式的操作的情况下，使使用者识别使用者进行误操作，所以使用者容易进行正式的操作，使用者的便利性提高。

另外，在第二实施方式的头戴式显示装置100b中，控制部10b中的声音处理部170以及显示控制部190将限制头戴式显示装置100b的使用的忠告作为声音输出给使用者，并且作为文本图像TX11显示于最大图像显示区域PN。因此，在第二实施方式的头戴式显示装置100b中，将与头戴式显示装置100b的控制相关的信息报知给使用者，所以使用者能够基于外部的环境的变化、误操作停止头戴式显示装置100b的使用，使用者的便利性提高。

另外，在第二实施方式的头戴式显示装置100b中，转换部185将忠告等转换成通过文字表示的文字图像。显示控制部190将表示文字图像的控制信号发送至图像显示部20，通过图像显示部20生成表示文字图像的图像光。因此，在该头戴式显示装置100b中，能够作为表示忠告等的文本图像TX11使使用者视觉确认，并使更为详细地识别忠告等。

C.变形例：

此外，本发明并不限于上述实施方式，在不脱离其主旨的范围内能够在各种方式中实施，例如，也能够进行如下的变形。

C1.变形例1：

在上述实施方式中，以具备声音处理部170和图像显示部20的头戴式显示装置100为例进行了说明，但对于具备声音处理部170和图像显示部20的装置能够进行各种变形。图11是表示汽车的驾驶员视觉确认的视野VR’的一个例子的说明图。在该变形例中，如图11所示，作为使驾驶汽车的驾驶员视觉确认文字图像的图像显示装置，使用形成在汽车的挡风玻璃上的平视显示器（Head-up Display；HUD），作为声音处理装置，使用搭载在汽车上的汽车音响和分别安装在汽车的外部的前后左右的获取外部声音的话筒。

图11示出最大图像显示区域PN、和将获取的外部声音作为文字图像显示在最大图像显示区域PN的文本图像TX2。驾驶员是利用搭载在汽车上的汽车音响听音乐的状态。通过话筒获取的外部声音的声源是基于多个话筒获取的音量推断为处于汽车左前方的救护车（未图示）。在该变形例中，若因救护车发出的声音（图11所示的“呯嗙啪嗙”）而外部音量从小于音量阈值Nth的状态变化到外部音量是音量阈值Nth以上，则调整汽车音响的音量的声音处理部170’降低汽车音响发出的音乐的音量。另外，在最大图像显示区域PN中显示控制部190显示表示救护车发出的声音的文字图像即文本图像TX2。文本图像TX2被显示在最大图像显示区域PN中的左上的周边部。此外，也可以是不显示文本图像TX2，而仅减小汽车音响发出的音量的方式。因此，在该变形例中，在汽车的外面发生了什么异常时，容易使汽车的驾驶员识别该异常，驾驶员的便利性提高。

另外，在上述实施方式中，是具备能够将获取的外部声音显示为文字图像的图像显示部的方式，但图像显示部并不是必须的构成部件，对于声音处理装置的方式能够进行各种变形。例如，声音处理装置也可以是能够再生音乐内容的便携式音乐再生装置。在便携式音乐再生装置的使用者利用封闭型的耳机视听音乐内容的输出声音的情况下，也可以通过形成在便携式音乐再生装置的话筒获取外部声音，并基于外部声音的变化来设定输出声音的音量。

另外，在上述实施方式中，声音处理部170基于获取的外部声音的变化来进行降低输出声音的调整，但也可以进行升高输出声音的调整。例如，在使用者能够视听输出声音以及外部声音双方的情况下，声音处理部170也可以基于外部音量与输出音量之差升高输出音量，或者，进行降低输出音量的调整。在该变形例中，基于外部音量与输出音量之差来调整输出音量，所以能够以反映使用者的意思的音量使使用者视听输出声音，利用者的便利性提高。

C2.变形例2：

在上述实施方式中，基于外部声音的变化来调整输出声音的音量，但对于输出音量的调整能够进行各种变形。例如，声音处理部170设定话筒62、64获取的外部声音的音量，并作为输出声音从耳机32、34输出。在该变形例中，在外部声音所包含的警告音等特定的声音相对于输出声音以较小的音量被检测出的情况下，能够作为比外部音量大的音量的输出声音使使用者视听，使用者的便利性提高。

C3.变形例3：

另外，在上述实施方式中，显示控制部190以与从图像显示部20向外部声音的声源的方向对应的方式对最大图像显示区域PN中的显示文本图像TX1的位置进行了设定，但对于最大图像显示区域PN中显示文本图像TX1的位置能够进行各种变形。例如，也可以是在头戴式显示装置100仅配置一个话筒，不确定外部声音的声源的方向的方式。另外，即使能够确定外部声音的声源的方向，显示控制部190也可以不管外部声音的声源的方向来设定最大图像显示区域PN中显示文本图像TX1的位置。

另外，对于在最大图像显示区域PN显示的文字图像的各文字的大小以及大小的设定方法也能够进行各种变形。显示控制部190也可以不管外部音量，以预先规定的大小将文字图像中的各文字显示于最大图像显示区域PN。另外，也可以基于频率、声音的种类、使用者的头部的动作的变化量来设定最大图像显示区域PN中显示的文字图像中的各文字的大小。另外，也可以是不只变更文字的大小，还变更文字的字体。

C4.变形例4：

在上述实施方式中，以预先规定的方式显示在最大图像显示区域PN显示的表示外部声音的文字图像，但对于显示的文字图像的设定能够进行各种变形。在使用者正在听输出声音的情况下，也可以通过对操作部135进行规定的操作，从而将表示外部声音的文字图像显示为与进行操作之前不同的文字图像。

另外，在上述实施方式中，话筒62、64配置在使用者佩戴图像显示部20的情况下的两耳附近的位置，但对于话筒62、64的配置以及构造并不限于此，能够进行各种变形。例如，话筒62、64也可以具备如能够相对于图像显示部20变更方向的机械构造，而具有指向性的话筒。在声音处理部170能够推断从图像显示部20向外部声音的声源的方向的情况下，能够变更话筒62、64的方向，从而能够更为详细地获取外部声音，且能够容易地检测外部声音的变化。

另外，在上述实施方式中，声音处理部170根据外部声音的频率来检测外部声音的变化，所以对于外部声音所包含的特定的声音的检测能够进行各种变形。例如，即使是包含多个人的声音的外部声音，声音处理部170也可以识别每个人的声音，而能够辨识。在这种情况下，也可以在检测出预先规定的特定的一个人的声音时，声音处理部170调整外部音量。

另外，在上述实施方式中，检测外部声音所包含的特定的声音，来进行了输出音量的调整，但也可以检测特定的单词，来进行输出音量的调整。例如，从保护隐私的观点来考虑，也可以是对于特定的单词，升高输出音量，从而使用者不能够视听特定的单词的方式。另外，也可以预先登录个人名等特定的单词，从而对于已登录的单词，即使获取到声音也不进行向文字图像的转换。另外，对于将获取的外部声音转换为表示外部声音的文字图像的方式也相同，也可以是对于特定的单词不作为文字图像显示于图像显示部20的方式。

C5.变形例5：

另外，在上述实施方式中，基于外部声音的变化来控制输出声音，但也可以基于外部声音来控制输出声音。例如是几乎总是获取不到外部声音的状态，即使没有外部声音的音量、频率的变化，也可以进行减小输出声音的音量等控制。在该变形例中，即使获取的外部声音不发生变化，也控制输出声音，所以使用者能够听到适当的音量以及频率的输出声音。

另外，也可以是在相机61获取到预先规定的人的声音的情况下，声音处理部170变更获取到的人的声音的频率，而使耳机32、34的输出声音输出变更了频率的人的声音，并且减小变更了频率的人的声音以外的输出音量的方式。在该变形例中，在获取到人难以听到的频率的声音的情况下，使容易视听获取的声音，所以使用者容易识别外部声音。另外，也可以在从多个声源获取到频率几乎相同的外部声音的情况下，变更从几个声源获取的外部声音的频率，再从耳机32、34输出变更了频率的外部声音。一般地，如果人获取到频率接近的多个声音，则由于频率遮蔽，难以听到频率较低的声音。因此，在该变形例中，抑制频率遮蔽的影响，使使用者容易识别从多个声源获取的声音。

C6.变形例6：

在上述第二实施方式中，作为使用头戴式显示装置100b的环境的信息，利用环境信息传感器67检测外部的温度，但检测出的环境的信息并不限于此，能够进行各种变形。作为检测的环境的信息，例如也可以是湿度、磁性、空气中的成分、或者头戴式显示装置100b的湿润的程度。也可以利用湿度传感器测定湿度，利用磁传感器测定磁性的强度等。另外，作为空气中的成分，也可以利用一氧化碳计来测定空气中的一氧化碳，也可以利用浓度测定装置，测定大气中所包含的微小粒子状物质（例如，PM2.5）。另外，在使用者佩戴图像显示部20b的情况下，也可以在同与使用者对置的方向的相反方向上（以下，仅称为“外向”）形成检测水滴的传感器，从而检测图像显示部20b中的液体的附着。检测水滴的传感器向图像显示部20b的外向发出红外线，检测根据水滴的有无而发生变化的反射光，从而能够检测水滴的有无。在该变形例的头戴式显示装置100b中，能够基于头戴式显示装置100b的外部环境的变化，对使用者进行忠告等，例如，能够迅速并且容易明白地使使用者识别环境的危险状况。

另外，环境信息传感器67也可以检测特定的波长的光，作为环境的信息。也可以是利用紫外线强度计，检测波长范围从200纳米（nm）到440nm的紫外线，对使用者进行晒黑等的忠告。另外，也可以是在利用放射线检测器检测出规定的阈值以上的铯（Cs）的情况下，对使用者进行有关放射线的忠告。

另外，也可以根据头戴式显示装置100中的控制部10本身、图像显示部20本身的变化，对使用者进行忠告等。例如，也可以在图像显示部20中的9轴传感器66检测出预先规定的阈值以上的加速度的情况下，控制部10通过声音、图像对使用者进行忠告等。在该变形例的头戴式显示装置100中，能够根据与使用头戴式显示装置100的环境的变化不同的使用者自身的状况的变化，对使用者进行忠告等，使用者的便利性提高。

另外，也可以利用形成在图像显示部20或者控制部10的传感器来检测使用者的体温、血压这样的生物体信息，并根据检测出的生物体信息对使用者进行忠告等。例如，在该变形例中，在图像显示部20被佩戴在使用者的头部的情况下，在图像显示部20中的右显示驱动部22或者左显示驱动部24与使用者的太阳穴接触的部分形成有检测使用者的血压的压电式的血压传感器。在检测出的使用者的血压是预先存储在存储部120的血压的下限值以下且上限值以上的情况下，也可以对使用者进行“血压值异常。请去医院。”这样的忠告。另外，血压传感器并不限于压电式，也可以是对使用者的血液，检测由LED发出的反射光的传感器。另外，检测的使用者的生物体信息并不限于血压，能够进行各种变形。例如，也可以是使用者的呼吸的速度、体温。另外，也可以利用检测使用者的眼皮的开闭的红外线传感器、拍摄使用者的眼睛的周边的眼睛拍摄相机，在每单位时间的使用者的眼皮的次数减少的情况下，判断为使用者的身体状况存在异常，对使用者进行针对该异常的忠告。

另外，在上述第二实施方式中，如图10所示，在外部的温度符合预先设定的条件的情况下，进行文本图像TX11的忠告的显示以及忠告的声音的输出，但用于使使用者识别的有关头戴式显示装置100b的控制的信息并不限于此，能够进行各种变形。例如，在操作部135接受了误操作的情况下，也可以使使用者识别“未进行正确的操作”、“操作部135有可能产生故障”等信息。另外，在9轴传感器66在图像显示部20中检测出阈值以上的加速度的情况下，也可以使使用者识别“有可能破损”、“有可能连接器脱落”等信息。另外，在检测出定期的摇摆的情况下，也可以使使用者识别催促地震的发生的信息。另外，在图像显示部20检测出一定以上的水滴的附着的情况下，图像显示部20有可能发热，所以也可以使使用者识别提示摘下图像显示部20的信息。

C7.变形例7：

图12是表示变形例中的头戴式显示装置的外观构成的说明图。图12（A）的例子的情况下，与图1所示的头戴式显示装置100的不同之处在于，图像显示部20c代替右光学图像显示部26而具备右光学图像显示部26c这一点、和代替左光学图像显示部28而具备左光学图像显示部28c这一点。右光学图像显示部26c比上述实施方式的光学部件较小地形成，且配置在佩戴头戴式显示装置100c时的使用者的右眼的斜上方。同样，左光学图像显示部28c比上述实施方式的光学部件较小地形成，且配置在佩戴头戴式显示装置100c时的使用者的左眼的斜上方。图12（B）的例子的情况下，与图1所示的头戴式显示装置100的不同之处在于，图像显示部20d代替右光学图像显示部26而具备右光学图像显示部26d这一点、和代替左光学图像显示部28而具备左光学图像显示部28d这一点。右光学图像显示部26d比上述实施方式的光学部件较小地形成，且配置在佩戴头戴显示器时的使用者的右眼的斜下方。左光学图像显示部28d比上述实施方式的光学部件较小地形成，且配置在佩戴头戴显示器时的使用者的左眼的斜下方。像这样，只要光学图像显示部配置在使用者的眼睛的附近即可。另外，形成光学图像显示部的光学部件的大小也是任意的，能够作为光学图像显示部只覆盖使用者的眼睛的一部分的方式，换言之，光学图像显示部没有完全覆盖使用者的眼睛的方式的头戴式显示装置100来实现。

C8.变形例8：

另外，作为图像显示部，代替像眼镜那样佩戴的图像显示部20，例如也可以采用像帽子那样佩戴的图像显示部这样的其他方式的图像显示部。另外，在上述实施方式中，作为生成图像光的构成，利用LCD和光源，但代替这些，也可以采用有机EL显示器这样的其他的显示元件。另外，在上述实施方式中，利用9轴传感器66作为检测使用者的头的动作的传感器，但也可以取而代之，利用由加速度传感器、角速度传感器、地磁传感器中的一个或者两个构成的传感器。另外，在上述实施方式中，头戴式显示装置100为双眼类型的光学透射式，但本发明也能够同样地应用于例如视频透射式、单眼类型这样的其他形式的头戴式显示装置。

另外，在上述实施方式中，头戴式显示装置100也可以将表示相同的图像的图像光引导至使用者的左右眼而使使用者视觉确认二维图像，也可以将表示不同的图像的图像光引导至使用者的左右眼而使使用者视觉确认三维图像。

另外，在上述实施方式中，也可以将通过硬件来实现的构成的一部分置换为软件，相反，也可以将通过软件来实现的构成的一部分置换为硬件。例如，在上述实施方式中，图像处理部160、声音处理部170通过CPU140读出并执行计算机程序来实现，但这些功能部也可以通过硬件电路来实现。

另外，利用软件来实现本发明的功能的一部分或者全部的情况下，该软件（计算机程序）能够以储存于计算机可读取的记录介质的方式来提供。在该发明中，所谓的“计算机可读取的记录介质”并不局限于软盘、CD－ROM那样的便携式的记录介质，也包含各种RAM、ROM等计算机内的内部存储装置、硬盘等固定在计算机的外部存储装置。

另外，在上述实施方式中，如图1以及图2所示，控制部10与图像显示部20形成为分别独立的构成，但对于控制部10与图像显示部20的构成并不限于此，能够进行各种变形。例如，也可以在图像显示部20的内部形成控制部10中形成的构成的全部，也可以形成一部分。另外，在形成于控制部10的构成中，也可以只有操作部135作为单独的用户接口（UI）形成，也可以单独形成上述实施方式中的电源130，且是可交换的构成。另外，也可以重复地在图像显示部20中形成控制部10中形成的构成。例如，也可以在控制部10与图像显示部20的双方形成如图2所示的CPU140，也可以为形成于控制部10的CPU140和形成于图像显示部20的CPU所进行的功能分别分开的构成。

另外，在上述实施方式中，声音处理部170以及转换部185形成在控制部10，但也可以通过作为其他装置单独地构成的声音处理系统，来实现本发明。例如，也可以经由无线通信线路通过云计算、服务器或主机、智能手机来进行输出声音的控制、声音处理。

另外，在上述实施方式中，为在图像显示部20配置话筒62、64，耳机32、34与控制部10连接的方式，但对于话筒62、64以及耳机32、34的配置能够进行各种变形。例如，耳机32、34也可以像佩戴在头部的头戴式声音处理装置那样，与头戴式显示装置100连接。另外，作为声音输出装置，不光是耳机32、34，也可以使用扬声器。另外，话筒62、64也可以是不配置于图像显示部20，而例如是在设施的特定的位置具备的声音获取装置。另外，声音输出装置也可以是佩戴在头部的例如，助听器。在该变形例中，由于佩戴在使用者的头部，所以声音输出装置难以从使用者的耳朵脱落，而能够使使用者稳定地视听输出声音。

C9.变形例9：

例如，图像光生成部也可以为具备有机EL（有机电致发光，OrganicElectro-Luminescence）的显示器、和有机EL控制部的构成。另外，例如，图像光生成部能够代替LCD，而使用LCOS（Liquid crystal onsilicon：硅基液晶,LCoS是注册商标）、数字微镜设备等。另外，例如，对于激光视网膜投影型的头戴显示器也能够应用本发明。在激光视网膜投影型的情况下，所谓的“可形成图像区域”能够定义为被使用者的眼睛识别的图像区域。

另外，例如，头戴显示器也可以是光学图像显示部仅覆盖使用者的眼睛的一部分的方式，换言之，光学图像显示部没有完全覆盖使用者的眼睛的方式的头戴显示器。另外，头戴显示器也可以是所谓的单眼类型的头戴显示器。

另外，耳机也可以采用耳挂式、头戴型，也可以省略。另外，例如，也可以构成为搭载于汽车、飞机等车辆的头戴式显示器。另外，例如，也可以构成为内置于头盔等的身体防护具的头戴式显示器。

本发明并不限于上述实施方式、变形例，能够在不脱离其主旨的范围内以各种构成来实现。例如，与发明的内容栏中所记载的各方式中的技术特征对应的实施方式、变形例中的技术特征为了解决上述课题的一部分或者全部，或者为了实现上述的效果的一部分或者全部，能够适当地进行更换、组合。另外，若该技术特征在本说明书中没有作为必须的特征进行说明，能够适当地删除。

附图标记说明

10…控制部；11…决定键；12…点灯部；13…显示切换键；14…跟踪板；15…亮度切换键；16…方向键；17…菜单键；18…电源开关；20…图像显示部；21…右保持部；22…右显示驱动部；23…左保持部；24…左显示驱动部；26…右光学图像显示部；28…左光学图像显示部；30…耳机插头；32…右耳机（声音输出部）；34…左耳机（声音输出部）；40…连接部；42…右线；44…左线；46…连结部件；48…主体线；51…发送部；52…发送部；53…接收部；54…接收部；61…相机；62…右话筒（信息获取部）；64…左话筒（信息获取部）；66…9轴传感器（动作检测部、信息获取部）；67…环境信息传感器（信息获取部）；100…头戴式显示装置；110…输入信息获取部；120…存储部；130…电源；135…操作部（信息获取部）；140…CPU；150…操作系统；160…图像处理部；161…方向判定部（动作检测部、控制部）；162…环境信息判定部（控制部）；163…误操作判定部（控制部）；170…声音处理部（控制部、解析部、特定音检测部、声源方向推断部）；180…接口；185…转换部；190…显示控制部（控制部）；201…右背光灯控制部；202…左背光灯控制部；211…右LCD控制部；212…左LCD控制部；221…右背光灯；222…左背光灯；241…右LCD；242…左LCD；251…右投影光学系统；252…左投影光学系统；261…右导光板；262…左导光板；Nout…音量的变化；t1、t2…时刻；T1、T2…期间；N1、N2…音量（外部音的音量）；Nth…音量阈值（第一阈值）；fT1、fT2…频谱；fth…频率的频带；TX1、TX11、TX2…文本图像（文字图像）；OA…外部设备；WB…白板；RE…右眼；LE…左眼；SC…外景；IL…照明光；PL…图像光；PN…最大图像显示区域（可形成图像区域）；AP…前端部；SP…扬声器；VR…视野

Claims (19)

1.一种信息处理装置，其特征在于，具备：

信息获取部，其获取使用所述信息处理装置的环境中的特定的信息、使用所述信息处理装置的使用者的生物体信息、以及用于控制所述信息处理装置的控制信息中的至少一个；和

控制部，其基于获取的所述特定的信息、所述生物体信息和所述控制信息中的至少一个来控制所述信息处理装置。

2.根据权利要求1所述的信息处理装置，其特征在于，还具备：

声音输出部，其输出声音，

所述控制部控制所述声音输出部输出的输出音。

3.根据权利要求2所述的信息处理装置，其特征在于，

所述信息获取部获取与所述输出音不同的外部的声音即外部音，作为所述特定的信息，

所述控制部基于所述外部音来控制所述输出音。

4.根据权利要求3所述的信息处理装置，其特征在于，还具备：

图像显示部，其基于图像数据来形成表示图像的图像光，且使使用者视觉确认所述图像光，并且使外景透过；和

转换部，其将所述外部音转换成作为文字表示的文字图像，

所述控制部使所述图像显示部形成表示所述文字图像的所述图像光即文字图像光。

5.根据权利要求4所述的信息处理装置，其特征在于，

所述控制部基于所述外部音来设定所述图像显示部使使用者视觉确认的所述文字图像光的大小。

6.根据权利要求4或者5所述的信息处理装置，其特征在于，

所述控制部使所述图像显示部在所述图像显示部可形成所述图像光的区域即可形成图像区域中的除了中心部分的部分形成所述文字图像光。

7.根据权利要求4～6中的任意一项所述的信息处理装置，其特征在于，

具有配置的位置不同的多个所述信息获取部，

所述信息处理装置还具备声源方向推断部，该声源方向推断部基于一个所述信息获取部获取的所述外部音的音量、和其他的所述信息获取部获取的所述外部音的音量，来推断从所述图像显示部向所述外部音的声源的方向即声源方向，

所述控制部使所述图像显示部与所述声源方向对应地形成所述图像显示部可形成所述图像光的区域即可形成图像区域中的所述文字图像光。

8.根据权利要求4～7中的任意一项所述的信息处理装置，其特征在于，

所述控制部测定所述外部音的音量，并在测定出的所述外部音的音量从小于第一阈值变化到所述第一阈值以上的情况下，减小所述输出音的音量。

9.根据权利要求4～8中的任意一项所述的信息处理装置，其特征在于，还具备：

特定音检测部，其检测所述外部音所包含的特定的声音，

所述控制部基于所述特定音检测部检测出的所述特定的声音来控制所述输出音。

10.根据权利要求4～9中的任意一项所述的信息处理装置，其特征在于，还具备：

动作检测部，其检测使用者的头部的动作的变化，

所述控制部基于所述动作检测部检测出的使用者的头部的动作的变化，来控制所述输出音。

11.根据权利要求4～10中的任意一项所述的信息处理装置，其特征在于，

所述控制部使所述声音输出部基于所述外部音的变化来输出设定了所述外部音的音量的声音，作为所述输出音。

12.根据权利要求4～11中的任意一项所述的信息处理装置，其特征在于，

所述控制部在所述信息获取部获取到特定的人的声音的情况下，变更获取到的所述特定的人的声音的频率，并对所述声音输出部输出变更了频率的所述特定的人的声音，并且减小所述特定的人的声音以外的声音的音量。

13.根据权利要求2～12中的任意一项所述的信息处理装置，其特征在于，

所述声音输出部在佩戴于使用者的头部的状态下，使使用者视听所述输出音。

14.根据权利要求1或者2所述的信息处理装置，其特征在于，

所述特定的信息是与温度、湿度、磁性、空气中的成分以及所述信息处理装置中的液体的附着中的至少一个相关联的信息。

15.根据权利要求1或者2所述的信息处理装置，其特征在于，还具备：

操作部，其接受规定的操作，作为所述控制信息，

所述控制部在接受到与所述操作部所接受的所述规定的操作不同的操作的情况下控制所述信息处理装置。

16.根据权利要求1或者2所述的信息处理装置，其特征在于，

所述信息获取部获取所述信息处理装置的加速度，

所述特定的信息是所述信息处理装置中的阈值以上的加速度。

17.根据权利要求14～16中的任意一项所述的信息处理装置，其特征在于，

所述控制部进行向所述信息处理装置的使用者报知限制所述信息处理装置的使用的信息的控制。

18.根据权利要求14～17中的任意一项所述的信息处理装置，其特征在于，还具备：

图像显示部，其基于图像数据来形成表示图像的图像光，且使使用者视觉确认所述图像光，并且使外景透过；和

转换部，其将所述设定信息转换为作为文字表示的文字图像，

所述控制部使所述图像显示部形成表示所述文字图像的所述图像光即文字图像光。

19.一种信息处理装置的控制方法，其特征在于，是获取使用信息处理装置的环境中的特定的信息、使用所述信息处理装置的使用者的生物体信息以及用于控制所述信息处理装置的控制信息中的至少一个的信息处理装置的控制方法，具备：

基于获取的所述特定的信息、所述生物体信息以及所述控制信息中的至少一个来控制所述信息处理装置的工序。