CN103984097B - 头戴式显示装置、头戴式显示装置的控制方法以及图像显示系统 - Google Patents

头戴式显示装置、头戴式显示装置的控制方法以及图像显示系统 Download PDF

Info

Publication number
CN103984097B
CN103984097B CN201410047859.8A CN201410047859A CN103984097B CN 103984097 B CN103984097 B CN 103984097B CN 201410047859 A CN201410047859 A CN 201410047859A CN 103984097 B CN103984097 B CN 103984097B
Authority
CN
China
Prior art keywords
image
head
user
display apparatus
mounted display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410047859.8A
Other languages
English (en)
Other versions
CN103984097A (zh
Inventor
细谷佳教
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2013024089A external-priority patent/JP6135162B2/ja
Priority claimed from JP2013225388A external-priority patent/JP2015087523A/ja
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Publication of CN103984097A publication Critical patent/CN103984097A/zh
Application granted granted Critical
Publication of CN103984097B publication Critical patent/CN103984097B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Abstract

本发明提供一种使使用者视觉确认表示特定的对象物的位置的图像的头戴式显示装置。透射式的头戴式显示装置具备图像显示部，其在佩戴于使用者的头部的状态下，基于图像数据来形成图像，并将形成的图像作为虚像使使用者视觉确认；位置确定部，其确定特定的对象物相对于图像显示部的位置即对象位置；以及控制部，其基于位置确定部确定的对象位置，使图像显示部形成表示对象位置的对象位置显示图像，并且设定图像显示部形成图像的区域即图像形成区域中的对象位置显示图像的位置。

Description

头戴式显示装置、头戴式显示装置的控制方法以及图像显示 系统
技术领域
本发明涉及头戴式显示装置。
背景技术
已知一种佩戴于头部的显示装置即头戴式显示装置（头戴式显示器（HeadMounted Display），HMD）。头戴式显示装置，例如利用液晶显示器以及光源生成表示图像的图像光，通过利用投影光学系统、导光板将生成的图像光引导至使用者的眼睛，来使使用者视觉确认虚像。头戴式显示装置中有使用者除了虚像之外也能够视觉确认外景的透射式、和使用者不能够视觉确认外景的非透射式这两种类型。透射式的头戴式显示装置中有光学透射式以及视频透射式。
另一方面，已知作为接收从佩戴在被摄体的发送器发送的信号，并基于接收到的信号来确定被摄体的位置，跟踪被摄体的位置的变化而能够拍摄被摄体的自动跟踪型的拍摄装置的摄像机。
专利文献1中，公开有通过接收来自佩戴在被摄体的红外线发送器的红外光从而确定被摄体的位置，通过使固定有摄像机的三脚架可动，而能够以自动跟踪的方式拍摄被摄体的技术。另外，专利文献2中，公开有将接受来自佩戴在被摄体的红外线发送器的红外光而确定的被摄体的位置转换为图像信号，并将基于图像信号生成的图像与被摄体的位置相关联地显示在摄像机的取景器上的技术。另外，专利文献3中，公开有通过增加佩戴在被摄体的红外线发送器，从而容易确定被摄体的位置的自动跟踪型的摄像机。另外，专利文献4中，公开有接收佩戴在被摄体的发送器发送的信号，来确定被摄体的位置以及被摄体的加速度，并根据被摄体的加速度进行变焦控制的自动跟踪型的拍摄系统。
专利文献1：日本特开平9－74512号公报
专利文献2：日本特开平9－74504号公报
专利文献3：日本特开平9－74505号公报
专利文献4：日本特开2003－274252号公报
但是，在从专利文献1到专利文献4的专利文献所记载的技术中，在被摄体的速度、加速度这样的移动量较大的情况下，有可能不能够自动跟踪被摄体而不能够进行拍摄。另外，拍摄被摄体的摄像机的使用者需要观看取景器、监视器来确认是否正常地进行拍摄，对于用于视觉确认被摄体并且正常地拍摄被摄体的拍摄方法有改善的余地。另外，在摄像机中，存在摄像机的使用者视觉确认的外景与拍摄的外景不同的情况。除此之外，具有不拍摄被摄体，而确定被摄体的位置的课题。另外，还期望具有拍摄功能，并且使用的便利性良好的装置。
发明内容
本发明是为了解决上述的课题的至少一部分而完成的，能够作为以下的方式来实现。
（1）根据本发明的一个方式，提供一种透射式的头戴式显示装置。该头戴式显示装置具备：图像显示部，其在佩戴于使用者的头部的状态下，基于图像数据来形成图像，并将形成的图像作为虚像使使用者视觉确认；位置确定部，其确定特定的对象物相对于上述图像显示部的位置即对象位置；以及控制部，其基于上述位置确定部确定的上述对象位置，使上述图像显示部形成表示上述特定的对象位置的对象位置显示图像，并且设定上述图像显示部形成图像的区域即图像形成区域中的上述对象位置显示图像的位置。根据该方式的头戴式显示装置，使用者在佩戴于使用者的头部的图像显示部中的图像形成区域，视觉确认表示特定的对象物的位置的图像。因此，即使使用者不活动头部，也能够识别特定的对象物的位置，使用者的便利性提高。另外，即使使用者因某些遮挡物等而不能够直接视觉确认特定的对象物，也能够知道特定的对象物所在的方向。
（2）在上述方式的头戴式显示装置中也可以还具备拍摄部，其对包含使用者的视线方向的规定范围的外景进行拍摄。根据该头戴式显示装置，能够拍摄与使用者视觉确认的外景几乎相同的外景，即使使用者不特意确认拍摄的图像也没问题，所以容易拍摄外景，使用者的便利性提高。
（3）在上述方式的头戴式显示装置中也可以还具备判定部，其判定在上述拍摄部拍摄的上述规定范围即拍摄方向范围内是否包含有上述特定的对象物，上述控制部在上述判定部判定出在上述拍摄方向范围内包含有上述特定的对象物的情况下，基于上述对象位置，使上述图像显示部形成上述对象位置显示图像，并且设定上述图像形成区域中的上述对象位置显示图像的位置；在上述判定部判定出在上述拍摄方向范围内不包含上述特定的对象物的情况下，基于上述对象位置，使上述图像显示部形成上述对象位置显示图像作为表示从上述图像显示部向上述特定的对象物的方向的图像即对象方向推断图像，并且设定上述图像形成区域中的上述对象方向推断图像的位置。根据该头戴式显示装置，在使用者视觉确认特定的对象物的状态下以及没有视觉确认的状态下，表示特定的对象物的图像的位置不同，所以使用者容易判断特定的对象物是否包含在拍摄部的视角的范围内，使用者的便利性提高。
（4）在上述方式的头戴式显示装置中也可以是上述对象方向推断图像包含表示上述对象位置的图像。根据该头戴式显示装置，使用者在不能够视觉确认特定的对象物的情况下，能够视觉确认特定的对象物相对于使用者的位置，所以容易发现特定的对象物，使用者的便利性提高。
（5）在上述方式的头戴式显示装置中也可以是上述控制部使上述图像显示部将上述拍摄部拍摄的拍摄图像形成为比上述图像形成区域小的区域的图像。根据该头戴式显示装置，不会妨碍使用者透过图像显示部而能够视觉确认的外景，而能够与外景同时视觉确认拍摄部的拍摄图像，所以使用者的便利性提高。
（6）在上述方式的头戴式显示装置中也可以是上述控制部基于上述视线方向与从上述图像显示部向上述特定的对象物的方向所成的角度，来设定上述图像形成区域中的上述拍摄图像的位置。根据该头戴式显示装置，在使用者视觉确认特定的对象物的状态下以及未视觉确认的状态下，表示特定的对象物的图像的位置不同，所以使用者容易判断特定的对象物是否被包含在拍摄部的视角的范围内，使用者的便利性提高。
（7）在上述方式的头戴式显示装置中也可以是上述控制部在上述图像形成区域中的除了中心的周边部分设定上述图像形成区域中的上述拍摄图像的位置。根据该头戴式显示装置，使用者更容易视觉确认外景，使用者的便利性进一步提高。
（8）在上述方式的头戴式显示装置中也可以是上述控制部基于上述对象位置来确定上述图像显示部与上述特定的对象物的距离，并使上述图像显示部形成表示确定的上述距离的图像。根据该头戴式显示装置，不光确定使用者与特定的对象物的位置关系，还确定使用者与特定的对象物的距离。因此，使用者能够选择根据距离移动，或者仅变更视线方向的行动，所以使用者的便利性提高。
（9）在上述方式的头戴式显示装置中也可以还具备图像判定部，其存储表示上述特定的对象物的图像即对象图像，并且判定在上述拍摄部所拍摄的拍摄图像中是否包含有上述对象图像，上述位置确定部在判定出上述拍摄图像中包含有上述对象图像的情况下确定上述对象位置，在判定出上述拍摄图像中不包含上述对象图像的情况下不确定上述对象位置。根据该头戴式显示装置，即使不使特定的对象物预先携带或佩戴发送器等装置，也能够确定特定的对象物的位置，所以使用者的便利性提高。另外，即使特定的对象物包含在拍摄部的视角的范围内，而因遮挡物等特定的对象物没有照到拍摄部的拍摄图像中的情况下，不确定特定的对象物的位置，而使用者能够更高效地拍摄特定的对象物。
（10）在上述实施方式的头戴式显示装置中也可以还具备判定部，其判定上述拍摄部所拍摄的上述规定范围即拍摄方向范围内是否包含有上述特定的对象物，上述控制部在上述判定部判定为在上述拍摄方向范围内包含有上述特定的对象物的情况下，使上述图像显示部形成将基于上述对象位置设定的上述规定范围放大或者缩小的图像。根据该头戴式显示装置，即使拍摄对象即特定的对象物与使用者的视线方向不一致，使用者也能够拍摄特定的对象物。
（11）在上述实施方式的头戴式显示装置中也可以还具备视线方向确定部，其确定使用者的视线方向，上述控制部使上述图像显示部形成将基于确定的上述视线方向而设定并且被上述拍摄部拍摄的上述规定范围放大或者缩小的图像。根据该头戴式显示装置，能够放大或者缩小使用者想要视觉确认的范围再使使用者视觉确认，使用者的便利性提高。
（12）在上述实施方式的头戴式显示装置中也可以是上述控制部使上述图像显示部形成表示上述拍摄部拍摄的上述规定范围的图像。根据该头戴式显示装置，能够将拍摄的规定范围作为视觉信息使使用者识别，使用者的便利性提高。
（13）在上述实施方式的头戴式显示装置中也可以还具备声音获取部，其获取声音，上述控制部基于获取的声音来控制上述拍摄部。根据该头戴式显示装置，基于使用者的声音来控制头戴式显示装置，所以使用者不用手就能够控制头戴式显示装置，使用者的便利性提高。
（14）在上述实施方式的头戴式显示装置中也可以还具备眼睛拍摄部，其拍摄使用者的眼睛，上述控制部基于拍摄到的使用者的眼睛的状态来控制上述拍摄部。根据该头戴式显示装置，使用者不用手就能够控制头戴式显示装置，并且，使用者的声音不会与使用者以外的外部的声音混合而被获取，所以能够获取更适合于使用者的期望的拍摄图像以及声音。
（15）在上述实施方式的头戴式显示装置中，还可以具备修正部，其对上述拍摄部拍摄到的图像中的图像抖动进行修正。根据该头戴式显示装置，对由无意的使用者的头部的摇晃所引起的图像的抖动进行修正，而能够提供清晰的拍摄图像。
（16）在上述实施方式的头戴式显示装置中也可以还具备：移动检测部，其检测上述图像显示部的移动和上述图像显示部相对于重力方向的倾斜即显示部倾斜；和修正部，其基于检测出的上述图像显示部的移动和上述显示部倾斜，对上述拍摄部拍摄到的图像相对于重力方向的倾斜进行修正。根据该头戴式显示装置，对由无意的使用者US的头部的摇晃所引起的图像的抖动进行修正，能够提供清晰的拍摄图像。
上述的本发明的各方式所具有的多个构成要素并不是全部都是必须的构成，为了解决上述的课题的一部分或者全部，或者，为了实现本说明书所记载的效果的一部分或者全部，能够适当地对上述多个构成要素的一部分的构成要素，进行其变更、删除、与新的其他的构成要素的替换、限定内容的部分删除。另外，为了解决上述的课题的一部分或者全部，或者为了实现本说明书所记载的效果的一部分或者全部，也可以将上述的本发明的一个方式所包含的技术特征的一部分或者全部与上述的本发明的其他的方式所包含的技术特征的一部分或者全部进行组合，而构成本发明的独立的一个方式。
例如，本发明的一个方式能够作为具备图像显示部、位置确定部以及控制部这三个要素中的一个以上或者全部的要素的装置来实现。即，该装置可以具有图像显示部，也可以不具有。另外，装置可以具有位置确定部，也可以不具有。另外，装置可以具有控制部，也可以不具有。图像显示部例如也可以在佩戴于使用者的头部的状态下，基于图像数据来形成图像，并将形成的图像作为虚像使使用者视觉确认。位置确定部例如也可以确定特定的对象物相对于图像显示部的位置即对象位置。另外，控制部也可以基于位置确定部确定的对象位置，使图像显示部形成表示对象位置的对象位置显示图像，并且设定图像显示部形成图像的区域即图像形成区域中的对象位置显示图像的位置。这样的装置，例如，能够作为头戴式显示装置来实现，但也能够作为头戴式显示装置以外的其他装置来实现。根据这样的方式，能够解决装置的操作性的提高以及简单化、装置的一体化、使用装置的使用者的便利性的提高等各种课题中的至少一个。上述的头戴式显示装置的各方式的技术特征的一部分或者全部均能够应用于该装置。
本发明也能够以头戴式显示装置以外的各种方式来实现。例如，能够以头戴式显示装置的控制方法、头戴式显示系统、用于实现头戴式显示系统的功能的计算机程序、记录有该计算机程序的记录介质，包含该计算机程序且在载波内具体化的数据信号等方式来实现。
附图说明
图1是表示本发明的实施方式中的拍摄系统1000的简要结构的说明图。
图2是表示头戴式显示装置100的外观构成的说明图。
图3是功能性表示头戴式显示装置100的构成的框图。
图4是表示由图像光生成部射出图像光的情况的说明图。
图5是表示被摄体OB的位置图像显示处理的流程的说明图。
图6是表示使用者US视觉确认的视野VR的一个例子的说明图。
图7是表示被摄体方向显示处理的流程的说明图。
图8是表示使用者US视觉确认的视野VR的一个例子的说明图。
图9是表示使用者US视觉确认的视野VR的一个例子的说明图。
图10是表示使用者US视觉确认的视野VR的一个例子的说明图。
图11是表示使用者US视觉确认的视野VR的一个例子的说明图。
图12是表示使用者US视觉确认的视野VR的一个例子的说明图。
图13是表示使用者US视觉确认的视野VR的一个例子的说明图。
图14是表示使用者US视觉确认的视野VR的一个例子的说明图。
图15是表示其他实施方式中的头戴式显示装置100b的外观构成的说明图。
图16是功能性地表示其他实施方式中的头戴式显示装置100b的构成的说明图。
图17是表示其他实施方式中的被摄体OB的位置图像显示处理的流程的说明图。
图18是表示在显示有表示拍摄范围的外框RA1的情况下使用者US视觉确认的视野VR的一个例子的说明图。
图19是表示在第二显示模式的情况下使用者US视觉确认的视野VR的一个例子的说明图。
图20是表示在以视线方向为中心放大拍摄范围的情况下使用者US视觉确认的视野VR的一个例子的说明图。
图21是表示变形例中的头戴式显示装置的外观构成的说明图。
具体实施方式
接下来，基于实施方式并按照以下的顺序对本发明的实施方式进行说明。
A.实施方式：
A－1.拍摄系统的构成：
A－2.头戴式显示装置的构成：
A－3.被摄体的位置图像显示处理：
B.其他的实施方式：
C.变形例：
A.实施方式：
A－1.拍摄系统的构成：
图1是表示本发明的实施方式中的拍摄系统1000的示意结构的说明图。在图1所示的拍摄系统中，在运动会中，头戴式显示装置100（详细内容后述）的使用者US对佩戴确定被摄体OB的位置的被摄体位置确定装置500的被摄体OB进行拍摄。拍摄系统1000具备被摄体位置确定装置500和头戴式显示装置100。被摄体位置确定装置500形成在被摄体OB佩戴在头部的帽子中，内置GPS模块，通过接收来自GPS卫星的信号，来检测被摄体OB的当前位置。通过检测被摄体OB的当前位置，从而经由无线通信，头戴式显示装置100的使用者US能够确定被摄体OB的当前位置。此外，拍摄系统1000相当于技术方案中的图像显示系统，被摄体位置确定装置500相当于对象位置信息发送装置。另外，被摄体OB相当于技术方案中的特定的对象物。
A－2.头戴式显示装置的构成：
图2是表示头戴式显示装置100的外观构成的说明图。头戴式显示装置100是佩戴在头部的显示装置，也称为头戴式显示器（Head Mounted Display，HMD）。本实施方式的头戴式显示装置100是使用者US视觉确认虚像的同时也能够直接视觉确认外景的光学透射式的头戴式显示装置。此外，在本说明书中，为了便于说明，将使用者US通过头戴式显示装置100视觉确认的虚像称为“显示图像”。另外，将射出基于图像数据生成的图像光称为“对图像进行显示”。
头戴式显示装置100具备在佩戴在使用者US的头部的状态下使使用者US视觉确认虚像的图像显示部20、和控制图像显示部20的控制部10（控制器10）。
图像显示部20是佩戴在使用者US的头部的佩戴体，在本实施方式中具有眼镜形状。图像显示部20包含右保持部21、右显示驱动部22、左保持部23、左显示驱动部24、右光学图像显示部26、左光学图像显示部28、相机61、以及话筒63。右光学图像显示部26以及左光学图像显示部28分别以在使用者US佩戴图像显示部20时位于使用者US的右眼以及左眼前的方式配置。右光学图像显示部26的一端与左光学图像显示部28的一端在与使用者US佩戴图像显示部20时的使用者US的眉间对应的位置相互连接。
右保持部21是从右光学图像显示部26的另一端即端部ER到与使用者US佩戴图像显示部20时的使用者US的侧头部对应的位置延伸地设置的部件。同样，左保持部23是从左光学图像显示部28的另一端即端部EL到与使用者US佩戴图像显示部20时的使用者US的侧头部对应的位置延伸地设置的部件。右保持部21以及左保持部23如眼镜的脚丝（镜腿）那样操作，将图像显示部20保持在使用者US的头部。
右显示驱动部22与左显示驱动部24配置在使用者US佩戴图像显示部20时的与使用者US的头部对置的一侧。此外，以下，统称右保持部21以及左保持部23，仅称为“保持部”，统称右显示驱动部22以及左显示驱动部24，仅称为“显示驱动部”，统称右光学图像显示部26以及左光学图像显示部28，仅称为“光学图像显示部”。
显示驱动部22、24包含液晶显示器241、242（Liquid Crystal Display，以下称为“LCD241、242”）、投影光学系统251、252等（参照图3）。显示驱动部22、24的构成的详细内容后述。作为光学部件的光学图像显示部26、28包含导光板261、262（参照图3）和调光板。导光板261、262由透光性的树脂材料等形成，将从显示驱动部22、24输出的图像光引导至使用者US的眼睛。调光板是薄板状的光学元件，以覆盖与使用者US的眼睛侧相反的一侧即图像显示部20的正面的方式配置。调光板保护导光板261、262，抑制导光板261、262的损伤、污垢的附着等。另外，通过调整调光板的透光率，来调整进入使用者US的眼睛的外部光量从而能够调整虚像的视觉确认的难易。此外，调光板可以省略。
相机61配置在使用者US佩戴图像显示部20时的与使用者US的眉间对应的位置。相机61拍摄与使用者US的眼睛侧相反的一侧方向的外部的景色即外景，并获取外景图像。本实施方式中的相机61是单眼相机，但也可以是立体相机。本实施方式所使用的相机61的视角是以与后述的头戴式显示装置100的使用者US的视线方向相同的方向为中心，上下分别40度，左右分别60度。相机61相当于技术方案中的拍摄部。话筒63是获取声音的装置，配置在使用者US佩戴图像显示部20时的与使用者US的眉间对应的位置并且是相机61的下方的位置。此外，通过相机61持续地拍摄的外景相当于技术方案中的拍摄部所拍摄的规定范围的外景。使用者除了利用相机61拍摄的外景之外，还能够视觉确认透过图像显示部20的导光板261、262的外景、和显示在最大图像显示区域PN的显示图像。
图像显示部20还具有用于将图像显示部20与控制部10连接的连接部40。连接部40包含与控制部10连接的主体线48、右线42、左线44、以及连结部件46。右线42与左线44是从主体线48分支出的两根线。右线42从右保持部21的延伸方向的前端部AP插入右保持部21的框体内，与右显示驱动部22连接。同样，左线44从左保持部23的延伸方向的前端部AP插入左保持部23的框体内，与左显示驱动部24连接。连结部件46具有设置于主体线48与右线42以及左线44的分支点，用于连接耳机插头30的插孔。从耳机插头30延伸有右耳机32以及左耳机34。
图像显示部20与控制部10经由连接部40进行各种信号的传送。主体线48中的与连结部件46相反的一侧的端部与控制部10分别设置有相互嵌合的连接器（未图示）。通过主体线48的连接器与控制部10的连接器的嵌合／嵌合解除，来进行控制部10与图像显示部20的连接或断开。右线42、左线44、主体线48例如能够采用金属线缆、光纤。
控制部10是用于控制头戴式显示装置100的装置。控制部10包含决定键11、点灯部12、显示切换键13、跟踪板14、亮度切换键15、方向键16、菜单键17以及电源开关18。决定键11检测按下操作，并输出决定在控制部10操作的内容的信号。点灯部12利用其发光状态通知头戴式显示装置100的动作状态。作为头戴式显示装置100的动作状态，例如有电源的开／关等。作为点灯部12，例如使用LED（Light Emitting Diode：发光二极管）。显示切换键13检测按下操作，例如，输出将内容动态图像的显示模式切换为3D与2D的信号。跟踪板14检测在跟踪板14的操作面上的使用者US的手指的操作，并输出与检测内容对应的信号。作为跟踪板14能够采用静电式、压力检测式、光学式这样的各种跟踪板。亮度切换键15检测按下操作，并输出增减图像显示部20的亮度的信号。方向键16检测对与上下左右方向对应的键的按下操作，并输出与检测内容对应的信号。电源开关18检测开关的滑动操作，从而切换头戴式显示装置100的电源接通状态。
图3是功能性地表示头戴式显示装置100的构成的框图。如图3所示，控制部10具有输入信息获取部110、存储部120、电源130、无线通信部132、GPS模块134、操作部135、CPU140、接口180、发送部51（Tx51）以及发送部52（Tx52）。操作部135接受使用者US的操作，由决定键11、显示切换键13、跟踪板14、亮度切换键15、方向键16、菜单键17以及电源开关18构成。
输入信息获取部110获取与使用者US的操作输入对应的信号。作为与操作输入对应的信号，例如有针对跟踪板14、方向键16、电源开关18的操作输入。电源130向头戴式显示装置100的各部供给电力。作为电源130，例如能够使用二次电池。无线通信部132按照无线LAN、蓝牙这样的规定的无线通信标准，例如进行表示被摄体位置确定装置500的当前位置的位置信息的接收这样的与其他的设备之间进行各种信息的收发。GPS模块134通过接收来自GPS卫星的信号，来检测自身的当前位置。通过检测GPS模块134的当前位置，从而确定头戴式显示装置100的使用者US的当前位置。存储部120储存有各种计算机程序。存储部120由ROM、RAM等构成。CPU140读出储存在存储部120中的计算机程序并执行，从而作为操作系统150（ОS150）、图像处理部160、显示控制部190、声音处理部170、方向判定部161、图像判定部142发挥作用。
图像处理部160获取内容所包含的图像信号。图像处理部160从获取的图像信号中分离垂直同步信号VSync、水平同步信号HSync等同步信号。另外，图像处理部160根据分离出的垂直同步信号VSync、水平同步信号HSync的周期，利用PLL（Phase Locked Loop：锁相环）电路等（未图示）来生成时钟信号PCLK。图像处理部160使用A／D转换电路等（未图示）将分离出同步信号的模拟图像信号转换为数字图像信号。之后，图像处理部160将转换后的数字图像信号作为对象图像的图像数据Data（RGB数据），按照每一帧储存至存储部120内的DRAM。此外，图像处理部160也可以根据需要，对图像数据执行分辨率转换处理，亮度、彩度的调整这样的各种色调修正处理、梯形失真修正处理等图像处理。
图像处理部160分别将生成的时钟信号PCLK、垂直同步信号VSync、水平同步信号HSync、以及储存在存储部120内的DRAM的图像数据Data经由发送部51、52发送。此外，将经由发送部51发送的图像数据Data称为“右眼用图像数据”，将经由发送部52发送的图像数据Data称为“左眼用图像数据”。发送部51、52作为用于控制部10与图像显示部20之间的串行传送的收发器发挥作用。
显示控制部190生成控制右显示驱动部22以及左显示驱动部24的控制信号。具体而言，显示控制部190利用控制信号，来分别独立地控制右LCD控制部211对右LCD241的驱动开/关、右背光灯控制部201对右背光灯221的驱动开/关、左LCD控制部212对左LCD242的驱动开/关、左背光灯控制部202对左背光灯222的驱动开/关等。由此，显示控制部190控制右显示驱动部22以及左显示驱动部24的各自的图像光的生成以及射出。例如，显示控制部190使右显示驱动部22以及左显示驱动部24双方生成图像光，或者仅使一方生成图像光，或者使双方都不生成图像光。
显示控制部190分别经由发送部51以及52发送针对右LCD控制部211与左LCD控制部212的控制信号。另外，显示控制部190分别发送针对右背光灯控制部201与左背光灯控制部202的控制信号。
方向判定部161判定根据后述的9轴传感器66所检测出的图像显示部20的方向推断的使用者US的视线方向、与从图像显示部20向被摄体OB的方向即被摄体方向所成的角度是否是预先规定的阈值以上。方向判定部161基于视线方向与被摄体方向所成的角度，来判定符合以下三个状态内的哪一个。
（1）被摄体OB包含在相机61的视角的范围内的状态。
（2）被摄体OB不包含在相机61的视角的范围内、且包含在使用者US的视野VR的状态。
（3）被摄体OB不包含在使用者US的视野VR的状态。
此外，使用者US的视场角被预先设定为左右分别100度、上50度、下75度，比相机61的视角广。若使用者US的视线方向与被摄体方向所成的角度超过使用者US的视场角的范围，则方向判定部161判定为被摄体OB不包含在使用者US的视野VR中。
图像判定部142判定相机61所拍摄到的外景图像中是否包含有与预先存储在存储部120中的图像数据所表示的特定的图像相同的被摄体OB的图像。声音处理部170获取内容所包含的声音信号，并对获取的声音信号进行放大，供给给与连结部件46连接的右耳机32内的扬声器（未图示）以及左耳机34内的扬声器（未图示）。此外，例如，在采用Dolby（注册商标）系统的情况下，进行针对声音信号的处理，分别从右耳机32以及左耳机34输出例如已改变频率等的不同的声音。另外，声音处理部170将话筒63获取的声音转换为声音信号，存储部120存储转换后的声音信号。
接口180是用于对控制部10连接成为内容的供给源的各种外部设备OA的接口。作为外部设备OA例如有个人计算机（PC）、移动电话终端、游戏终端等。作为接口180，例如，能够使用USB接口、micro USB接口、存储卡用接口等。
图像显示部20具备右显示驱动部22、左显示驱动部24、作为右光学图像显示部26的右导光板261、作为左光学图像显示部28的左导光板262、相机61、9轴传感器66以及话筒63。
9轴传感器66是检测加速度（3轴）、角速度（3轴）、地磁（3轴）的运动传感器。由于9轴传感器66设置在图像显示部20，所以图像显示部20在佩戴在使用者US的头部时，检测使用者US的头部的移动。根据检测出的使用者US的头部的移动知道图像显示部20的方向，所以方向判定部161能够推断使用者US的视线方向。
右显示驱动部22包含接收部53（Rx53）、作为光源发挥作用的右背光灯控制部201（右BL控制部201）以及右背光灯221（右BL221）、作为显示元件发挥作用的右LCD控制部211以及右LCD241以及右投影光学系统251。右背光灯控制部201与右背光灯221作为光源发挥作用。右LCD控制部211与右LCD241作为显示元件发挥作用。此外，将右背光灯控制部201、右LCD控制部211、右背光灯221以及右LCD241总称为“图像光生成部”。
接收部53作为用于控制部10与图像显示部20之间的串行传送的接收器发挥作用。右背光灯控制部201基于输入的控制信号来驱动右背光灯221。右背光灯221例如是LED、电致发光（EL）等发光体。右LCD控制部211基于经由接收部53输入的时钟信号PCLK、垂直同步信号VSync、水平同步信号HSync、以及右眼用图像数据，来驱动右LCD241。右LCD241是将多个像素配置成矩阵状的透射式液晶面板。
右投影光学系统251由使从右LCD241射出的图像光成为并行状态的光束的准直透镜构成。作为右光学图像显示部26的右导光板261使从右投影光学系统251输出的图像光沿着规定的光路反射并引导至使用者US的右眼RE。此外，将右投影光学系统251与右导光板261总称为“导光部”。
左显示驱动部24具有与右显示驱动部22相同的构成。左显示驱动部24包含接收部54（Rx54）、作为光源发挥作用的左背光灯控制部202（左BL控制部202）以及左背光灯222（左BL222）、作为显示元件发挥作用的左LCD控制部212以及左LCD242、以及左投影光学系统252。左背光灯控制部202与左背光灯222作为光源发挥作用。左LCD控制部212与左LCD242作为显示元件发挥作用。此外，将左背光灯控制部202、左LCD控制部212、左背光灯222以及左LCD242总称为“图像光生成部”。另外，左投影光学系统252由使从左LCD242射出的图像光成为并行状态的光束的准直透镜构成。作为左光学图像显示部28的左导光板262使从左投影光学系统252输出的图像光沿着规定的光路反射并引导至使用者US的左眼LE。此外，将左投影光学系统252与左导光板262总称为“导光部”。
图4是表示利用图像光生成部射出图像光的情况的说明图。右LCD241通过驱动配置成矩阵状的各像素位置的液晶，使透过右LCD241的光的透过率变化，从而将从右背光灯221照射的照明光IL调制为表示图像的有效的图像光PL。关于左侧也相同。此外，如图4所示，在本实施方式中采用背光灯方式，但也可以为使用前灯方式、反射方式来射出图像光的构成。
A－3.被摄体的位置图像显示处理：
图5是表示被摄体OB的位置图像显示处理的流程的说明图。位置图像显示处理是为了使使用者US识别被摄体OB的位置，而使使用者US视觉确认表示被摄体OB的位置的图像的处理。图6是表示使用者US视觉确认的视野VR的一个例子的说明图。图6示出在运动会中，在使用者US佩戴图像显示部20的状态下，透过图像显示部20而被使用者US视觉确认的包含被摄体OB的外景SC。此外，如图6所示的最大图像显示区域PN是能够显示图像显示部20生成的图像的最大区域。此外，表示最大图像显示区域PN的外廓的实线是为了对本实施方式进行说明而示出的线，实际上不显示，所以不被使用者US视觉确认。本实施方式中的最大图像显示区域PN的横向的像素数是960，纵向的像素数是540，但在其他的实施方式中也可以是不同的像素数。最大图像显示区域PN相当于技术方案中的图像形成区域。
在被摄体OB的位置图像显示处理中，首先，控制部10确定图像显示部20与被摄体位置确定装置500的相对位置（步骤S310）。控制部10通过GPS模块134确定图像显示部20的当前位置，且无线通信部132获取表示确定的被摄体位置确定装置500的当前位置的信息。在本实施方式中，由使用者US携带控制部10，且由使用者US佩戴图像显示部20，所以能够视为控制部10的当前位置就是图像显示部20的当前位置，GPS模块134能够确定图像显示部20的当前位置。控制部10基于图像显示部20以及被摄体位置确定装置500的当前位置来确定被摄体位置确定装置500相对于图像显示部20的相对位置。此外，在其他实施方式中，GPS模块134也可以配置于图像显示部20。控制部10相当于技术方案中的位置确定部。
接下来，控制部10的方向判定部161判定被摄体OB是否包含在相机61的视角的范围内（步骤S320）。在图6所示的例子中，最大图像显示区域PN包含有被摄体OB，所以判定为包含在相机61的视角的范围内（图5的步骤S320：是），控制部10在最大图像显示区域PN显示表示被摄体OB的位置的图像（图5的步骤S340）。此外，所谓的包含在相机61的视角的范围并不限于照在相机61拍摄的外景SC，也包含处于相机61的视角的范围但因遮挡物等相机61不能够拍摄的情况。
在步骤S320的处理中，在判定为被摄体OB不包含在相机61的视角的范围内的情况下（步骤S320：否），控制部10进行显示表示从图像显示部20朝向被摄体OB的方向的图像的被摄体方向显示处理（步骤S330）。图7是对被摄体方向显示处理的流程进行表示的说明图。
图8是表示使用者US视觉确认的视野VR的一个例子的说明图。在图8中与图6不同，示出被摄体OB相对于使用者US的视线方向向右侧偏移，在最大图像显示区域PN的范围外、且在使用者US的视野VR内被视觉确认的状态。在被摄体方向显示处理中，首先，方向判定部161判定被摄体方向与视线方向所成的角度是否在预先规定的使用者US的视场角的范围内（图7的步骤S321）。在图8所示的例子中，被摄体OB在使用者US的视野VR中被视觉确认，所以在图7的步骤S321的处理中判定为在使用者US的视场角的范围内（步骤S321：是），控制部10将图像显示部20的显示模式设定为第一显示模式（步骤S322）。
图9是表示使用者US视觉确认的视野VR的一个例子的说明图。图9示出在图像显示部20的显示模式是第一显示模式的情况下，在最大图像显示区域PN显示的作为表示被摄体OB的方向的图像的箭头MK1。如图9所示，被摄体OB包含于使用者US的视野VR，并且存在于最大图像显示区域PN外的右方向。因此，在第一显示模式下，箭头MK1在最大图像显示区域PN中显示在垂直方向上与被摄体位置确定装置500相同的高度、且水平方向上被摄体OB所存在的方向的右侧的部分。控制部10通过将朝向右方的箭头MK1显示在最大图像显示区域PN中的右周边部，来示出被摄体OB的方向。此外，在本实施方式中，周边部可以说是除了中心的部分，未必表示最大图像显示区域PN的外侧附近。
接下来，方向判定部161监视被摄体OB是否包含在相机61的视角的范围内（步骤S323）。在被摄体OB不包含在相机61的视角的范围内的情况下（步骤S323：否），方向判定部161再次进行步骤S321的处理。在被摄体OB包含在相机61的视角的范围内的情况下（步骤S343：是），控制部10结束被摄体OB的被摄体方向显示处理。
在步骤S321的处理中，判定为是使用者US的视场角的范围外的情况下（步骤S321：否），控制部10将图像显示部20的显示模式设定为第二显示模式（步骤S325）。图10是表示使用者US视觉确认的视野VR的一个例子的说明图。图10示出在图像显示部20的显示模式是第二显示模式的情况下，在最大图像显示区域PN显示的作为表示被摄体OB的方向的图像的箭头MK2、和鸟瞰图VI1。如图10所示，被摄体OB不包含在使用者US的视野VR中。箭头MK2是显示在最大图像显示区域PN中的右上的部分，比图9所示的箭头MK1长的箭头图像。因此，控制部10通过显示比箭头MK1长的箭头MK2，能够使使用者US根据箭头的长度在感觉上识别被摄体方向与视线方向所成的角度多大。
第二显示模式中的鸟瞰图VI1显示在最大图像显示区域PN中的除了中心的周边部即右下区域。显示鸟瞰图VI1的区域是将最大图像显示区域PN分别在纵向与横向三等分而成的9个区域的右下区域，横向的像素数是320，纵向的像素数是180。此外，在其他实施方式中，鸟瞰图VI1在最大图像显示区域PN中显示的区域、显示的位置也可以不同。另外，所谓的最大图像显示区域PN中的除了中心的周边部是，除了9个区域的中央的一个区域的部分。所谓的最大图像显示区域PN中的周边部进一步优选为将最大图像显示区域PN分别在纵向和横向四等分而成的16个区域中的除了中央的4个区域的部分。如图10所示，在鸟瞰图VI1中，从使用者US向上方为使用者US的视线方向，利用点线表示假定的使用者US的视野范围ey，以从上空俯视的方式示出图像显示部20的位置与被摄体OB的位置的相对关系。在鸟瞰图VI1中显示的使用者US的位置以及被摄体OB的位置根据使用者US的视线方向的变化、因使用者US以及被摄体OB的移动而引起的相对位置的变化等实时变更。之后，若图像显示部20的方向变化，则控制部10进行图7的步骤S321以后的处理。
若被摄体方向显示处理结束，则接下来，控制部10在最大图像显示区域PN显示表示被摄体OB的位置的图像（图5的步骤S340）。图11是表示使用者US视觉确认的视野VR的一个例子的说明图。如图11所示，在最大图像显示区域PN中的被摄体OB上显示出表示被摄体OB的位置的箭头MK3。在本实施方式中，将相机61的视角的范围与最大图像显示区域PN设定为几乎相同，所以控制部10能够在最大图像显示区域PN中，以与外景SC的被摄体OB的位置对应的方式显示箭头MK3。由于不希望箭头MK3与被摄体OB重叠地显示，所以显示在距被摄体OB所佩戴的被摄体位置确定装置500的位置规定的距离的上方。此外，箭头MK1、箭头MK2、箭头MK3、鸟瞰图VI1相当于技术方案中的对象位置显示图像。另外，箭头MK1、箭头MK2、鸟瞰图VI1相当于技术方案中的对象方向推断图像。
接下来，若操作部135接受来自使用者US的规定的操作，则控制部10在开始相机61的拍摄图像的录像之前，将图像显示部20的显示模式设定为待机模式。（图5的步骤S350）。图12是表示使用者US视觉确认的视野VR的一个例子的说明图。在图12中，除了图11所示的例子之外，在开始录像的情况下，在最大图像显示区域PN缩小显示录像的相机61的拍摄图像VI2。如图12所示，拍摄图像VI2被显示在最大图像显示区域PN中的右下，与鸟瞰图VI1相同的区域。
接下来，若操作部135从使用者US接受录像开始的操作，则控制部10开始相机61的拍摄图像的录像。（图5的步骤S360）。若开始录像，则在图12所示的拍摄图像VI2中的左上显示“录像中”的文字。此外，在其他实施方式中，也可以是“录像中”以外的文字，且最大图像显示区域PN中的显示文字的位置也可以是不同的位置。因此，使用者US能够视觉确认视野VR，并且特别是即使不改变头的方向等也自然地确认录像的拍摄图像VI2。
接下来，控制部10一边录像，一边监视被摄体OB是否继续包含在相机61的视角的范围内（步骤S370）。在被摄体OB包含在相机61的视角的范围内的情况下（步骤S370：是），控制部10监视是否有对结束录像的操作部135的输入（步骤S390）。
在步骤S370的处理中，在被摄体OB不包含在相机61的视角的范围内的情况下（步骤S370：否），控制部10进行与步骤S330相同的被摄体方向显示处理（步骤S380）。在步骤S380的被摄体方向显示处理中，在本实施方式中，控制部10继续进行拍摄图像的录像，但在其他实施方式中，也可以在被摄体OB不包含在相机61的视角的范围内的情况下自动地停止录像。另外，在被摄体OB不包含在相机61的视角的范围内的情况下，控制部10也可以将决定是否继续进行录像的选择图像显示于最大图像显示区域PN，操作部135基于接受到的操作来决定是否进行录像。此外，步骤S380的处理与图7所示的被摄体方向显示处理相同，所以省略说明。
若步骤S380的被摄体方向显示处理结束，则接下来，控制部10在最大图像显示区域PN显示表示被摄体OB的位置的图像（图5的步骤S385）。之后，控制部10监视是否有对结束录像的操作部135的输入（步骤S390）。在操作部135从使用者US接受了结束录像的操作的情况下（步骤S390：是），控制部10结束相机61的拍摄图像的录像。在步骤S390的处理中，在操作部135未接受到结束录像的操作的情况下（步骤S390：否），在继续进行拍摄图像的录像的状态下，方向判定部161监视被摄体OB是否包含在相机61的视角的范围内（步骤S370）。
如以上说明的那样，在本实施方式的头戴式显示装置100中，控制部10确定图像显示部20的当前位置，并获取表示被摄体位置确定装置500的当前位置的信息，确定被摄体位置确定装置500相对于图像显示部20的相对位置。控制部10基于相对位置，使图像显示部20生成表示最大图像显示区域PN中的被摄体OB的位置的图像，设定最大图像显示区域PN中的生成的图像的位置。因此，在本实施方式的头戴式显示装置100中，使使用者US在佩戴于使用者US的头部的图像显示部20中的最大图像显示区域PN视觉确认表示被摄体OB的位置的图像。因此，即使使用者US不活动头，也能够识别被摄体OB的位置，使用者US的便利性提高。另外，只要使用者US使被摄体OB预先佩戴被摄体位置确定装置500，即使因某种遮挡物等不能够直接视觉确认被摄体OB，也能够知道被摄体OB所在的方向。
另外，在本实施方式的头戴式显示装置100中，相机61拍摄以使用者US的视线方向为中心的相机61的视角的范围的外景SC。因此，在本实施方式的头戴式显示装置100中，能够拍摄与使用者US视觉确认的外景SC几乎相同的外景SC，即使使用者US不特意确认拍摄的图像也没问题，所以容易拍摄外景SC，使用者US的便利性提高。
另外，在本实施方式的头戴式显示装置100中，方向判定部161判定在相机61的视角的范围内是否包含有被摄体OB。在方向判定部161判定为相机61的视角的范围内包含有被摄体OB的情况下，控制部10将最大图像显示区域PN中的箭头MK3显示在被摄体OB的附近。在方向判定部161判定为相机61的视角的范围内不包含被摄体OB的情况下，控制部10显示如最大图像显示区域PN中的箭头MK1以及箭头MK2那样表示被摄体OB的方向的图像。因此，在本实施方式的头戴式显示装置100中，在被使用者US视觉确认被摄体OB的状态下以及未被视觉确认的状态下，表示被摄体OB的图像的位置不同，所以使用者US容易判断被摄体OB是否包含在相机61的视角的范围内，使用者US的便利性提高。
另外，在本实施方式的头戴式显示装置100中，在图像显示部20的显示模式是第二显示模式的情况下，在显示于最大图像显示区域PN的鸟瞰图VI1中，将从使用者US向上方设为使用者US的视线方向，表示出图像显示部20的位置与被摄体OB的位置的相对关系。因此，在本实施方式的头戴式显示装置100中，在使用者US不能够视觉确认被摄体OB的情况下，能够视觉确认被摄体OB相对于使用者US的相对位置，所以容易发现被摄体OB，使用者US的便利性提高。
另外，在本实施方式的头戴式显示装置100中，控制部10使图像显示部20将相机61拍摄到的拍摄图像显示为比最大图像显示区域PN小的区域的图像。因此，在本实施方式的头戴式显示装置100中，不会妨碍使用者US透过图像显示部20而能够视觉确认的外景SC，而能够与外景SC同时视觉确认相机61的拍摄图像，所以使用者US的便利性提高。另外，控制部10将最大图像显示区域PN中的显示拍摄图像的位置设定在最大图像显示区域PN中的除了中心的周边部。因此，在本实施方式的头戴式显示装置100中，使用者US更容易视觉确认外景SC，使用者US的便利性进一步提高。
B.其他的实施方式：
图15是表示在其他实施方式中的头戴式显示装置100b的外观构成的说明图。图16是功能性地表示在其他实施方式中的头戴式显示装置100b的构成的说明图。如图15以及图16所示，在其他实施方式中，图像显示部20b具备右眼拍摄相机37与左眼拍摄相机38这一点，以及CPU140b具有图像修正部148这一点与第一实施方式不同。右眼拍摄相机37以及左眼拍摄相机38（以下，称为“眼睛拍摄相机37、38”）是分别拍摄使用者US的右眼以及左眼的小型CCD相机。图像修正部148以光学式或者电子式修正由相机61拍摄到的图像的抖动，从而修正为图像中没有抖动。
另外，在其他的实施方式中，图像判定部142b对眼睛拍摄相机37、38各自拍摄到的使用者US的右眼以及左眼的图像进行解析，从而确定使用者US的视线方向。例如，图像判定部142b对拍摄到的使用者US的眼黑的部分与眼白的部分的位置关系进行解析，从而确定使用者US的视线方向。此外，眼睛拍摄相机37、38以及图像判定部142b相当于技术方案中的视线方向确定部。而且，通过眼睛拍摄相机37、38以及图像判定部142b确定的使用者US的眼黑的部分、眼白的部分、眼皮的开闭状态等相当于技术方案中的眼睛的状态。
图17是表示在其他实施方式中的被摄体OB的位置图像显示处理的流程的说明图。在其他实施方式的位置图像显示处理中，控制部10b接受规定的操作，从而以确定的使用者US的视线方向为中心来放大或者缩小拍摄范围（以下，仅称为“进行变焦控制”）。
在其他实施方式中，首先，若确定出图像显示部20b与被摄体位置确定装置500的相对位置（步骤S410），则控制部10b监视切换为拍摄模式的规定的操作的接受（步骤S420）。在操作部135未接受到切换为拍摄模式的操作的情况下（步骤S420：否），控制部10b继续监视向拍摄模式的切换的操作的接受（步骤S420）。在操作部135接受到向拍摄模式的切换的操作的情况下（步骤S420：是），控制部10b将图像显示部20b的显示模式设定为待机模式（例如，图12）（图17的步骤S430）。
若设定为待机模式，则控制部10b监视录像开始的规定的操作的接受（步骤S440）。在操作部135未接受录像开始的操作的情况下（步骤S440：否），控制部10b继续监视录像开始的操作的接受（步骤S440）。在操作部135接受到录像开始的操作的情况下（步骤S440：是），控制部10b开始拍摄图像的录像（步骤S450）。
若开始拍摄图像的录像，则方向判定部161判定被摄体OB是否包含在相机61的视角的范围内（步骤S460）。在判定为被摄体OB包含在相机61的视角的范围内的情况下（步骤S460：是），控制部10b将表示被摄体OB的位置的图像显示在最大图像显示区域PN（步骤S470）。图18是在显示表示拍摄范围的外框RA1的情况下使用者US视觉确认的视野VR的一个例子的说明图。如图18所示，控制部10b将表示拍摄范围的外框RA1显示在最大图像显示区域PN（图17的步骤S490）。相机61拍摄外框RA1的内部，不拍摄外部。
在步骤S460的处理中，在判定为被摄体OB不包含在相机61的视角的范围内的情况下（步骤S460：否），控制部10b将图像显示部20b的显示模式设定为第二显示模式（步骤S480）。图19是表示在第二显示模式的情况下使用者US视觉确认的视野VR的一个例子的说明图。如图19所示，在第二显示模式下，控制部10b以与被摄体OB包含在相机61的视角的情况相同的方式，将表示拍摄范围的外框RA1显示于最大图像显示区域PN（图17的步骤S490）。
若显示表示拍摄范围的外框RA1，则控制部10b监视是否进行变焦控制的操作的接受（步骤S500）。在操作部135接受到进行变焦控制的操作的情况下（步骤S500：是），控制部10b的眼睛拍摄相机37、38以及图像判定部142b确定使用者US的视线方向（步骤S510）。接下来，控制部10b以确定的使用者US的视线方向为中心，根据操作部135接受到的操作来进行拍摄范围的变焦控制（步骤S520）。
图20是表示在以视线方向为中心放大拍摄范围的情况下使用者US视觉确认的视野VR的一个例子的说明图。如图20所示，以确定的使用者US的视线方向的被摄体OB为中心录像的拍摄图像作为拍摄图像VI3显示在最大图像显示区域PN的左下。另外，在最大图像显示区域PN显示表示进行变焦控制后的拍摄范围的外框RA2。这样，在其他实施方式中，不是相机61的拍摄范围的中心，而是通过数字变焦，以确定的使用者US的视线方向为中心，来进行拍摄范围的变焦控制。
在进行拍摄范围的变焦控制（图17的步骤S520），或者，控制部10b未接受变焦控制的操作的情况下（步骤S500：否），控制部10b监视是否具有对结束录像的操作部135的输入（步骤S530）。
如以上说明的那样，在其他的实施方式中的头戴式显示装置100b中，图像判定部142b以及眼睛拍摄相机37、38确定使用者US的视线方向，且控制部10b基于确定的使用者US的视线方向来进行拍摄范围的放大或者缩小。因此，在其他实施方式的头戴式显示装置100b中，能够放大或者缩小使用者US想要视觉确认的范围，例如，以视线方向为中心的规定范围，再使使用者US视觉确认，使用者US的便利性提高。
另外，在其他的实施方式的头戴式显示装置100b中，控制部10b将表示拍摄范围的外框RA1显示在最大图像显示区域PN（例如，图19），所以能够将拍摄范围作为视觉信息使使用者US识别，使用者US的便利性提高。
另外，在其他的实施方式的头戴式显示装置100b中，图像修正部148对拍摄图像的抖动进行修正，修正为图像中没有抖动，所以对因不无意的使用者US的头部的摇晃所引起的图像的抖动进行修正，而能够提供清晰的拍摄图像。
C.变形例：
此外，该发明并不限于上述实施方式，能够在不脱离其主旨的范围内在各种方式中实施，例如，能够进行如下的变形。
C1.变形例1：
在上述实施方式中，如图12所示，为鸟瞰图VI1以及拍摄图像VI2被显示在将最大图像显示区域PN九等分的情况下的右下的区域的方式，但对于显示鸟瞰图VI1以及拍摄图像VI2的区域能够进行各种变形。图13是表示使用者US视觉确认的视野VR的一个例子的说明图。在图13中，与上述实施方式中的图12所示的图不同，最大图像显示区域PN中的显示拍摄图像VI2的位置不同。在该变形例的头戴式显示装置100中，控制部10基于确定的图像显示部20与被摄体位置确定装置500的位置关系，将在最大图像显示区域PN中的显示拍摄图像VI2的位置设定在最大图像显示区域PN中的不与被摄体OB重叠的位置。因此，在该变形例的头戴式显示装置100中，使用者US始终能够视觉确认外景SC的被摄体OB，使用者US的便利性提高。
另外，基于操作部135所接受的操作，可以切换鸟瞰图VI1以及拍摄图像VI2的显示与不显示，也可以变更显示位置以及显示的区域的大小。在该变形例的头戴式显示装置100中，根据使用者US的意思来变更鸟瞰图VI1以及拍摄图像VI2的显示方式，所以使用者US的便利性提高。
另外，在最大图像显示区域PN显示的图像并不限于表示被摄体OB的位置的图像、鸟瞰图VI1、拍摄图像VI2，能够进行各种变形。例如，在图像显示部20的显示模式是第二显示模式的情况下，控制部10也可以基于使用者US与被摄体OB的相对位置来计算使用者US与被摄体OB的距离，并将计算出的距离作为数值图像显示在最大图像显示区域PN。另外，即使被摄体OB包含在相机61的视角的范围内，也可以基于使用者US与被摄体OB的距离来变更图像显示部20的显示模式，也可以始终使鸟瞰图VI1显示在最大图像显示区域PN。在该变形例的头戴式显示装置100中，如鸟瞰图VI1那样，不光确定使用者US与被摄体OB的位置关系，也确定使用者US与被摄体OB的距离。因此，使用者US能够选择根据距离移动、或者只有视线方向变更这样的行动，所以使用者US的便利性提高。
C2.变形例2：
在上述实施方式中，基于被摄体OB相对于使用者US的相对位置，来变更在最大图像显示区域PN显示的表示被摄体OB的位置的图像以及最大图像显示区域PN中的图像的位置，但图像以及显示图像的位置并不限于此，能够进行各种变形。图14是表示使用者US视觉确认的视野VR的一个例子的说明图。如图14所示，在包含最大图像显示区域PN的中心的部分，显示作为表示被摄体OB的位置的图像的箭头MK4。在图14中，使用者US的视野VR中不包含被摄体OB，通过箭头MK4表示被摄体OB位于使用者US的右侧。在该变形例的头戴式显示装置100中，在使用者US的视野VR中包含被摄体OB的情况下，不在最大图像显示区域PN显示如上述实施方式中的箭头MK3那样的图像。只有在被摄体OB不包含在视野VR的情况下，在最大图像显示区域PN中的相同的位置即中心显示表示被摄体OB的方向的箭头的图像。
C3.变形例3：
在上述实施方式中，通过被摄体位置确定装置500确定被摄体OB的位置，并确定图像显示部20与被摄体位置确定装置500的相对位置，但确定被摄体OB的位置的方法并不限于此，能够进行各种变形。例如，也可以不是确定图像显示部20与被摄体位置确定装置500的相对位置，而只确定被摄体位置确定装置500的位置，也可以分别确定图像显示部20与被摄体位置确定装置500的位置。另外，也可以不使用GPS卫星，而使被摄体OB携带与头戴式显示装置100一对一对应的发送特定的频率的发送器，来确定被摄体OB的位置。作为具体的通信方法，有无线LAN、Bluetooth（蓝牙，注册商标）、4G移动通信等。另外，也可以通过被摄体OB携带或者佩戴的搭载有GPS功能的移动终端（例如，智能手机）、手表，来确定被摄体OB的位置。此外，本说明书中的所谓的相对位置，不仅是图像显示部20与被摄体位置确定装置500的位置，还包含图像显示部20以及被摄体位置确定装置500的方向等位置信息。
另外，也可以通过图像识别来确定被摄体OB的位置。例如，在被摄体OB是人的情况下，也可以将被摄体OB的脸的图像预先登录到控制部10的存储部120，控制部10的图像判定部142判定相机61的拍摄图像中包含被摄体OB的脸，确定被摄体OB的位置。另外，在被摄体OB的脸以外的图像识别中，也可以通过特定的标记、衣服的样式、特征性的佩戴物等，来确定被摄体OB的位置。在该变形例的头戴式显示装置100中，即使不使被摄体OB预先携带以及佩戴发送器等装置，也能够确定被摄体OB的位置，所以使用者US的便利性提高。另外，即使被摄体OB包含在相机61的视角的范围内，但被摄体OB因遮挡物等未被照到相机61的拍摄图像中的情况下，不确定被摄体OB的位置，使用者US能够排除未照到被摄体OB的情况，能够更高效地进行拍摄。
另外，在上述实施方式中，通过GPS模块134来确定图像显示部20的位置，但对于确定包含图像显示部20的位置以及方向等位置信息的方法，能够进行各种变形。例如，图像显示部20内置GPS模块134，基于内置的GPS模块134和9轴传感器66，更为详细地确定图像显示部20的位置信息。在该头戴式显示装置100中，能够确定覆盖使用者US的眼睛的光学图像显示部26、28的详细的位置信息，所以能够确定使用者US的水平方向以及垂直方向中的方向等，并确定图像显示部20与被摄体位置确定装置500的更为详细的位置关系。因此，能够向使用者US通知被摄体OB的详细的位置关系，使用者的便利性进一步提高。
另外，在上述实施方式中，基于被摄体OB的位置在最大图像显示区域PN显示表示被摄体OB的位置的图像，但除了显示表示被摄体OB的位置的图像的控制之外，也可以进行其他的控制，对于使使用者US视觉确认被摄体OB的方法，能够进行各种变形。例如，也可以根据使用者US与被摄体OB的距离来进行自动对焦的控制。具体而言，也可以是在被摄体OB包含在相机61的视角，但使用者US与被摄体OB的距离为阈值以上的情况下，控制部10通过自动对焦对预先规定的大小以上的被摄体OB进行录像的方式。在该变形例的头戴式显示装置100中，即使是使用者US难以视觉确认被摄体OB的情况下，也能够更加明确地拍摄被摄体OB。另外，在被摄体OB包含在相机61的视角，但被摄体OB的拍摄的位置是相机61的视角中的周边部分的情况下，也可以通过自动对焦来进行如被摄体OB被配置在中心那样的拍摄。
C4.变形例4：
在上述实施方式中，控制部10经由无线通信部132获取被摄体位置确定装置500的位置信息，并通过GPS模块134来确定图像显示部20的位置，但确定被摄体OB相对于使用者US的相对位置的方法并不限于此，能够进行各种变形。例如，在室内进行的在一定范围的比赛中，也可以将确定多个头戴式显示装置100的使用者US的位置的位置信息暂时保管在服务器，再从服务器向各个使用者US发送各使用者US的位置信息。
另外，在上述实施方式中，通过配置在图像显示部20的9轴传感器66来推断使用者US的视线方向，但视线方向的推断方法并不限于此，能够进行各种变形。例如，也可以仅将图像显示部20的方向作为视线方向，通过利用CCD相机拍摄使用者的眼睛，并对拍摄到的图像进行解析，从而推断使用者的视线方向。
在上述实施方式中，在控制部10形成操作部135，但对操作部135的方式能够进行各种变形。例如，也可以是具有与控制部10分开且作为操作部135的用户界面的方式。在这种情况下，操作部135与形成有电源130等的控制部10分开，所以能够小型化，使用者US的操作性提高。另外，在操作部135形成检测操作部135的运动的9轴传感器，基于检测出的移动来进行各种操作，从而使用者US能够在感觉上进行头戴式显示装置100的操作。
C5.变形例5：
在上述实施方式中，相机61被固定地配置在图像显示部20，但对于相机61的配置以及方式并不限于此，能够进行各种变形。例如，也可以是相机61形成在图像显示部20，但相对于图像显示部20能够改变方向的方式。在该变形例的头戴式显示装置100中，在相机61的视角的范围内不包含被摄体OB的情况下，能够以自动跟踪的方式一边对被摄体OB进行录像，一边将在相机61的视角的范围内没有包含被摄体OB的情况通知给使用者US。另外，相机61也可以配置在控制部10，与控制部10、图像显示部20分开，例如，也可以配置在使用者US佩戴的头盔的上部等。
在上述实施方式中，设定成相机61的视角的范围与最大图像显示区域PN几乎相同，但相机61的视角的范围与最大图像显示区域PN的范围的关系并不限于此，能够进行各种变形。例如，相机61也可以具有变焦功能，以计算变焦后的视角的范围与最大图像显示区域PN的范围的关系的变化的方式来进行设定。在这种情况下，即使相机61的视角的范围发生了变化，控制部10也能够计算被摄体OB相对于最大图像显示区域PN的位置与被摄体OB相对于相机61的拍摄图像的位置的关系。因此，即使相机61的视角的范围与最大图像显示区域PN不同，也在最大图像显示区域PN显示表示被摄体OB的位置的图像。
C6.变形例6：
在上述其他实施方式中，基于确定的使用者US的视线方向来进行拍摄范围的变焦控制，但拍摄范围的变焦控制也可以基于使用者US的视线方向来进行。例如，拍摄范围的变焦控制也可以基于确定的被摄体OB的位置来进行。在该变形例中，控制部10b以被摄体OB的位置为中心，进行拍摄范围的放大或者缩小。因此，在该变形例的头戴式显示装置中，即使作为拍摄对象的被摄体OB与使用者US的视线方向不一致，也能够拍摄被摄体OB。
在上述其他实施方式中，通过图像修正部148对拍摄图像的抖动进行修正，但在拍摄图像中修正的内容并不限于抖动，能够进行各种变形。例如，图像修正部148也可以对通过9轴传感器66得到的相对于重力方向的倾斜进行修正。在该变形例中，9轴传感器66能够检测图像显示部20相对于重力方向以及水平方向的倾斜。在连结使用者US的右眼与左眼的直线与水平方向不同，即，使用者US的头部相对于水平方向倾斜的情况下，图像修正部148也可以修正为使拍摄图像中的横轴与水平方向一致。在该变形例的头戴式显示装置中，9轴传感器66检测佩戴图像显示部20的使用者US的头部的移动，检测图像显示部20相对于重力方向的倾斜，所以对因无意的使用者US的头部的摇晃所引起的图像的抖动进行修正，而能够提供清晰的拍摄图像。此外，在该变形例中，通过9轴传感器66还测定了图像显示部20的方位，但也可以不对方位进行测定。另外，修正的倾斜不光是与水平方向一致的倾斜，可以由使用者US任意地设定想要修正的倾斜。此外，9轴传感器66相当于移动检测部。
C7.变形例7：
在上述实施方式中，通过操作部135接受操作，来控制头戴式显示装置100，但控制头戴式显示装置100的方法并不限于此，能够进行各种变形。例如，在变形例中，也可以是话筒63获取使用者US的声音，声音处理部170对获取的使用者US的声音进行处理，控制部10基于其处理结果来控制头戴式显示装置100。在该变形例的头戴式显示装置100中，基于使用者US的声音来控制头戴式显示装置100，所以使用者US不用使用手就能够控制头戴式显示装置100，使用者US的便利性提高。
另外，也可以根据使用者US的眼皮的开闭状态、视线方向来控制头戴式显示装置100。在该变形例中，基于眼睛拍摄相机37、38拍摄到的使用者US的右眼以及左眼的图像，图像判定部142除了使用者US的视线方向之外还确定眼睛的开闭状态，控制部10基于确定的视线方向以及眼睛的开闭状态来控制头戴式显示装置100。例如，也可以在从闭右眼睁开左眼的眨眼的状态移至闭左眼睁开右眼的眨眼的状态的情况下，切换相机61的录像开始与结束。另外，在规定的时间，进行规定次数的眨眼的情况下，也可以进行变焦控制。对于眨眼也可以是两眼同时，对于单眼进行的动作，也可以分配各种操作。另外，为了不误检测使用者US无意进行的眨眼，也可以任意地决定规定的时间、规定的次数。另外，对于眼睛的开闭状态，基于开闭程度，操作、控制也可以不同。在该变形例的头戴式显示装置100中，眼睛拍摄相机37、38拍摄使用者US的眼睛，控制部10基于通过图像判定部142判定出的使用者US的眼睛的状态来控制头戴式显示装置100。因此，在该变形例中，使用者US能够不使用手来控制头戴式显示装置100，并且，不会使用者US的声音与使用者US以外的外部的声音混合而被获取，所以能够获取更适合使用者US的期望的拍摄图像以及声音。
C8.变形例8：
图21是表示变形例中的头戴式显示装置的外观构成的说明图。图21（A）的例子的情况与图2所示的头戴式显示装置100不同在于，图像显示部20c代替右光学图像显示部26而具备右光学图像显示部26c这一点、和代替左光学图像显示部28而具备左光学图像显示部28c这一点。右光学图像显示部26c形成为比上述实施方式的光学部件较小，配置在佩戴头戴式显示装置100c时的使用者US的右眼的斜上方。同样，左光学图像显示部28c形成为比上述实施方式的光学部件较小，配置在佩戴头戴式显示装置100c时的使用者US的左眼的斜上方。图21（B）的例子的情况与图1所示的头戴式显示装置100的不同在于，图像显示部20d代替右光学图像显示部26而具备右光学图像显示部26d这一点、和代替左光学图像显示部28而具备左光学图像显示部28d这一点。右光学图像显示部26d形成为比上述实施方式的光学部件较小，配置在佩戴头戴显示器时的使用者US的右眼的斜下方。左光学图像显示部28d形成为比上述实施方式的光学部件较小，配置在佩戴头戴显示器时的使用者US的左眼的斜下方。这样，只要光学图像显示部配置在使用者US的眼睛的附近即可。另外，形成光学图像显示部的光学部件的大小也是任意的，能够作为光学图像显示部只覆盖使用者US的眼睛的一部分的方式，换言之，光学图像显示部不完全覆盖使用者US的眼睛的方式的头戴式显示装置100来实现。
C9.变形例9：
例如，图像光生成部也可以为具备有机EL（有机电致发光，Organic Electro-Luminescence）的显示器、和有机EL控制部的构成。另外，例如，图像光生成部代替LCD，能够使用LCOS（Liquid crystal on silicon：硅基液晶,LCOS是注册商标）、数字微镜设备等。另外，例如，对于激光视网膜投影型的头戴显示器也能够应用本发明。在激光视网膜投影型的情况下，所谓的“图像光生成部中的图像光的可射出区域”能够定义为被使用者US的眼睛识别的图像区域。
另外，例如，头戴显示器也可以为光学图像显示部仅覆盖使用者US的眼睛的一部分的方式，换言之，光学图像显示部没有完全覆盖使用者US的眼睛的方式的头戴显示器。另外，头戴显示器也可以是所谓的单眼类型的头戴显示器。另外，技术方案中的图像形成区域也能够换言之为使使用者US视觉确认虚像的范围。
另外，耳机也可以采用耳挂式、头戴型，也可以省略。另外，例如，也可以构成为搭载于汽车、飞机等车辆的头戴显示器。另外，例如，也可以构成内置于头盔等的身体防护具的头戴显示器。
C10.变形例10：
上述实施方式中的头戴式显示装置100的构成只是一个例子，能够进行各种变形。例如，也可以省略设置在控制部10的方向键16、跟踪板14中的一方，或者除了方向键16、跟踪板14之外还可以代替方向键16、跟踪板14而设置操作用杆等其他的操作用接口。另外，控制部10也可以是能够连接键盘、鼠标等输入设备的构成，从键盘、鼠标接受输入。
另外，作为图像显示部，代替像眼镜那样佩戴的图像显示部20，例如也可以采用像帽子那样佩戴的图像显示部的其他方式的图像显示部。另外，可以适当地省略耳机32、34、相机61。另外，在上述实施方式中，作为生成图像光的构成，利用LCD和光源，但也可以取而代之，采用有机EL显示器这样的其他显示元件。另外，在上述实施方式中，利用9轴传感器66作为检测使用者US的头的移动的传感器，但也可以取而代之，利用由加速度传感器、角速度传感器、地磁传感器中的一个或者两个构成的传感器。另外，在上述实施方式中，头戴式显示装置100为双眼类型的光学透射式，但本发明也能够同样地应用于例如视频透射式、单眼类型这样的其他的形式的头戴式显示装置。
另外，在上述实施方式中，头戴式显示装置100也可以将表示相同的图像的图像光引导至使用者US的左右眼而使使用者US视觉确认二维图像，也可以将表示不同的图像的图像光引导至使用者US的左右眼而使使用者US视觉确认三维图像。
另外，在上述实施方式中，也可以将通过硬件来实现的构成的一部分置换为软件，相反，也可以将通过软件来实现的构成的一部分置换为硬件。例如，在上述实施方式中，图像处理部160、声音处理部170通过CPU140读出并执行计算机程序来实现，但这些功能部也可以通过硬件电路来实现。
另外，在利用软件来实现本发明的功能的一部分或者全部的情况下，该软件（计算机程序）能够以储存在计算机可读取的记录介质的方式来提供。在该发明中，所谓的“计算机可读取的记录介质”并不局限于软盘、CD－ROM那样的便携式记录介质，也包含各种RAM、ROM等计算机内的内部存储装置、硬盘等的固定在计算机的外部存储装置。
另外，在上述实施方式中，如图2以及图3所示，控制部10与图像显示部20形成为分别独立的构成，但对于控制部10与图像显示部20的构成并不限于此，能够进行各种变形。例如，也可以在图像显示部20的内部形成在控制部10中形成的构成的全部，也可以形成一部分。另外，上述实施方式中的电源130单独形成，也可以为能够更换的构成，形成在控制部10的构成也可以重复地形成于图像显示部20。例如，图2所示的CPU140可以形成于控制部10与图像显示部20双方，也可以为形成在控制部10的CPU140和形成在图像显示部20的CPU所进行的功能独立分开的构成。
另外，也可以是控制部10内置于个人计算机（PC），代替PC的监视器而使用图像显示部20的方式，也可以是控制部10与图像显示部20一体化，安装在使用者US的衣服上的穿戴式电脑的方式。
本发明并不限于上述实施方式、变形例，能够在不脱离其主旨的范围内以各种构成来实现。例如，与发明的摘要栏中所记载的各方式中的技术特征对应的实施方式、变形例中的技术特征为了解决上述课题的一部分或者全部，或者为了实现上述的效果的一部分或者全部，能够适当地进行更换、组合。另外，若该技术特征在本说明书中没有作为必须的特征进行说明，能够适当地删除。
附图标记说明
10…控制部（位置确定部）；11…决定键；12…点灯部；13…显示切换键；14…跟踪板；15…亮度切换键；16…方向键；17…菜单键；18…电源开关；20…图像显示部；21…右保持部；22…右显示驱动部；23…左保持部；24…左显示驱动部；26…右光学图像显示部；28…左光学图像显示部；30…耳机插头；32…右耳机；34…左耳机；37…右眼拍摄相机（视线方向确定部）；38…左眼拍摄相机（视线方向确定部）；40…连接部；42…右线；44…左线；46…连结部件；48…主体线；51…发送部；52…发送部；53…接收部；54…接收部；61…相机（拍摄部）；63…话筒（声音获取部）；66…9轴传感器（移动检测部）；100…头戴式显示装置；110…输入信息获取部；120…存储部；130…电源；132…无线通信部；134…GPS模块；135…操作部；140…CPU；142…图像判定部（视线方向确定部）；148…图像修正部（修正部）；150…操作系统；160…图像处理部；161…方向判定部（判定部）；170…声音处理部；180…接口；190…显示控制部；201…右背光灯控制部；202…左背光灯控制部；211…右LCD控制部；212…左LCD控制部；221…右背光灯；222…左背光灯；241…右LCD；242…左LCD；251…右投影光学系统；252…左投影光学系统；261…右导光板；262…左导光板；500…被摄体位置确定装置（对象位置信息发送装置）；1000…拍摄系统（图像显示系统）；OA…外部设备；OB…被摄体（特定的对象物）；SC…外景；IL…照明光；PL…图像光；PN…最大图像显示区域（图像形成区域）；AP…前端部；VR…视野；US…使用者；ey…视野范围；VI1…鸟瞰图（对象方向推断图像）；VI2、VI3…拍摄图像；MK1、MK2、MK4…箭头（对象方向推断图像）；MK3…箭头（对象位置显示图像）；RA1、RA2…外框。

Claims (18)

1.一种头戴式显示装置，其特征在于，是透射式的头戴式显示装置，具备：
图像显示部，其在佩戴于使用者的头部的状态下，在预先设定的视野区域具有与外景重叠地形成图像的图像形成区域；
位置确定部，其确定特定的对象物相对于所述图像显示部的位置即对象位置；以及
控制部，其基于所述位置确定部确定的所述对象位置，使所述图像显示部形成表示所述对象位置的对象位置显示图像，并且设定所述图像形成区域中的所述对象位置显示图像的位置，其中，
所述控制部判定所述特定的对象物是否包含在所述视野区域内，在判定为所述特定的对象物不在所述视野区域内的情况下，使所述图像显示部在所述图像形成区域形成表示所述图像显示部的位置和所述特定的对象物的位置的相对关系的所述对象位置显示图像。
2.根据权利要求1所述的头戴式显示装置，其特征在于，还具备：
拍摄部，其对包含于所述视野区域的所述外景进行拍摄。
3.根据权利要求2所述的头戴式显示装置，其特征在于，还具备：
判定部，其判定在所述拍摄部拍摄的规定范围即拍摄方向范围内是否包含有所述特定的对象物，
所述控制部在所述判定部判定为在所述拍摄方向范围内包含有所述特定的对象物的情况下，基于所述对象位置，使所述图像显示部形成所述对象位置显示图像，并且设定所述图像形成区域中的所述对象位置显示图像的位置；在所述判定部判定为在所述拍摄方向范围内不包含所述特定的对象物的情况下，基于所述对象位置，使所述图像显示部形成所述对象位置显示图像，作为表示从所述图像显示部朝向所述特定的对象物的方向的图像即对象方向推断图像，并且设定所述图像形成区域中的所述对象方向推断图像的位置。
4.根据权利要求3所述的头戴式显示装置，其特征在于，
所述对象方向推断图像包含表示所述对象位置的图像。
5.根据权利要求2～4中的任意一项所述的头戴式显示装置，其特征在于，
所述控制部使所述图像显示部将所述拍摄部拍摄的拍摄图像形成为比所述图像形成区域小的区域的图像。
6.根据权利要求5所述的头戴式显示装置，其特征在于，
所述控制部基于所述使用者的视线方向与从所述图像显示部朝向所述特定的对象物的方向所成的角度，来设定所述图像形成区域中的所述拍摄图像的位置。
7.根据权利要求5所述的头戴式显示装置，其特征在于
所述控制部将所述图像形成区域中的所述拍摄图像的位置设定在所述图像形成区域中的除了中心的部分。
8.根据权利要求2所述的头戴式显示装置，其特征在于，
所述控制部基于所述对象位置来确定所述图像显示部与所述特定的对象物的距离，并使所述图像显示部形成表示确定的所述距离的图像。
9.根据权利要求2所述的头戴式显示装置，其特征在于，还具备：
图像判定部，其存储表示所述特定的对象物的图像即对象图像，并且判定所述拍摄部拍摄到的拍摄图像中是否包含有所述对象图像，
所述位置确定部在判定为在所述拍摄图像中包含有所述对象图像的情况下确定所述对象位置；在判定为在所述拍摄图像中不包含所述对象图像的情况下不确定所述对象位置。
10.根据权利要求2所述的头戴式显示装置，其特征在于，还具备：
判定部，其判定在所述拍摄部拍摄的规定范围即拍摄方向范围内是否包含有所述特定的对象物，
所述控制部在所述判定部判定为在所述拍摄方向范围内包含有所述特定的对象物的情况下，使所述图像显示部形成将基于所述对象位置而设定的所述规定范围放大或者缩小的图像。
11.根据权利要求2所述的头戴式显示装置，其特征在于，还具备：
视线方向确定部，其确定使用者的视线方向，
所述控制部使所述图像显示部形成将基于确定的所述视线方向而设定并且被所述拍摄部拍摄的规定范围放大或者缩小的图像。
12.根据权利要求2所述的头戴式显示装置，其特征在于，
所述控制部使所述图像显示部形成表示所述拍摄部拍摄的规定范围的图像。
13.根据权利要求2所述的头戴式显示装置，其特征在于，还具备：
声音获取部，其获取声音，
所述控制部基于获取的声音来控制所述拍摄部。
14.根据权利要求2所述的头戴式显示装置，其特征在于，还具备：
眼睛拍摄部，其拍摄使用者的眼睛，
所述控制部基于拍摄到的使用者的眼睛的状态来控制所述拍摄部。
15.根据权利要求2所述的头戴式显示装置，其特征在于，还具备：
修正部，其对所述拍摄部拍摄到的图像中的图像抖动进行修正。
16.根据权利要求2所述的头戴式显示装置，其特征在于，还具备：
移动检测部，其检测所述图像显示部的移动、和所述图像显示部相对于重力方向的倾斜即显示部倾斜；和
修正部，其基于检测出的所述图像显示部的移动和所述显示部倾斜，对所述拍摄部拍摄到的图像相对于重力方向的倾斜进行修正。
17.一种控制方法，其特征在于，是具有在佩戴于使用者的头部的状态下，在预先设定的视野区域，将图像与外景重叠地形成于图像形成区域，而使所述使用者视觉确认的图像显示部的透射式的头戴式显示装置的控制方法，具备：
确定特定的对象物相对于所述图像显示部的位置即对象位置的工序；和
基于确定的所述对象位置，使所述图像显示部形成表示所述对象位置的对象位置显示图像，并且设定所述图像形成区域中的所述对象位置显示图像的位置，并显示所述对象位置显示图像的显示工序，
所述显示工序中判定所述特定的对象物是否包含在所述视野区域内，在判定为所述特定的对象物不在所述视野区域内的情况下，使所述图像显示部在所述图像形成区域显示表示所述图像显示部的位置和所述特定的对象物的位置的相对关系的所述对象位置显示图像。
18.一种图像显示系统，其特征在于，是具备发送表示特定的对象物的位置即对象位置的位置信息的对象位置信息发送装置、和透射式的头戴式显示装置的图像显示系统，
所述头戴式显示装置具备：
图像显示部，其在佩戴于使用者的头部的状态下，在预先设定的视野区域具有与外景重叠地形成图像的图像形成区域；
位置确定部，其接收所述对象位置信息发送装置发送的所述位置信息，来确定所述对象位置；以及
控制部，其基于所述位置确定部确定的所述对象位置，使所述图像显示部形成表示所述对象位置的对象位置显示图像，并且设定所述图像形成区域中的所述对象位置显示图像的位置，其中，
所述控制部判定所述特定的对象物是否包含在所述视野区域内，在判定为所述特定的对象物不在所述视野区域内的情况下，使所述图像显示部在所述图像形成区域显示表示所述图像显示部的位置和所述特定的对象物的位置的相对关系的所述对象位置显示图像。
CN201410047859.8A 2013-02-12 2014-02-11 头戴式显示装置、头戴式显示装置的控制方法以及图像显示系统 Active CN103984097B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2013024089A JP6135162B2 (ja) 2013-02-12 2013-02-12 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、画像表示システム
JP2013-024089 2013-02-12
JP2013225388A JP2015087523A (ja) 2013-10-30 2013-10-30 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、画像表示システム
JP2013-225388 2013-10-30

Publications (2)

Publication Number Publication Date
CN103984097A CN103984097A (zh) 2014-08-13
CN103984097B true CN103984097B (zh) 2018-10-02

Family

ID=51276132

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410047859.8A Active CN103984097B (zh) 2013-02-12 2014-02-11 头戴式显示装置、头戴式显示装置的控制方法以及图像显示系统

Country Status (2)

Country Link
US (1) US9411160B2 (zh)
CN (1) CN103984097B (zh)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150348427A1 (en) * 2014-06-03 2015-12-03 David Peregrim Exploiting Smart Vision Devices to Train Sports Team Tactics
JP6638195B2 (ja) * 2015-03-02 2020-01-29 セイコーエプソン株式会社 表示装置、表示装置の制御方法、および、プログラム
CN106662988B (zh) * 2014-08-27 2020-10-27 索尼公司 显示控制装置、显示控制方法及存储介质
US9898868B2 (en) * 2014-11-06 2018-02-20 Seiko Epson Corporation Display device, method of controlling the same, and program
KR101655818B1 (ko) * 2014-12-11 2016-09-08 현대자동차주식회사 웨어러블 글래스, 그 제어 방법 및 차량 제어 시스템
JP6492638B2 (ja) * 2014-12-25 2019-04-03 セイコーエプソン株式会社 表示装置、及び、表示装置の制御方法
US20160196693A1 (en) * 2015-01-06 2016-07-07 Seiko Epson Corporation Display system, control method for display device, and computer program
US9977241B2 (en) * 2015-03-17 2018-05-22 Seiko Epson Corporation Head-mounted display device, control method for head-mounted display device, and computer program
CN106157924B (zh) * 2015-04-01 2020-05-26 联想(北京)有限公司 一种电子设备和信息处理方法
KR20160139727A (ko) * 2015-05-28 2016-12-07 엘지전자 주식회사 글래스타입 단말기 및 이의 제어방법
CN104866103B (zh) * 2015-06-01 2019-12-24 联想(北京)有限公司 一种相对位置确定方法、穿戴式电子设备及终端设备
US9898091B2 (en) 2015-06-03 2018-02-20 Oculus Vr, Llc Virtual reality system with head-mounted display, camera and hand-held controllers
US9776084B2 (en) * 2015-06-15 2017-10-03 Oculus Vr, Llc Virtual reality system with camera shock-mounted to head-mounted display
US11245939B2 (en) * 2015-06-26 2022-02-08 Samsung Electronics Co., Ltd. Generating and transmitting metadata for virtual reality
CN106325480A (zh) * 2015-06-30 2017-01-11 天津三星电子有限公司 基于视线追踪的鼠标控制设备及其方法
EP3333808B1 (en) * 2015-08-06 2021-10-27 Sony Interactive Entertainment Inc. Information processing device
JP6679856B2 (ja) * 2015-08-31 2020-04-15 カシオ計算機株式会社 表示制御装置、表示制御方法及びプログラム
JP6886236B2 (ja) * 2015-09-30 2021-06-16 富士通株式会社 視野誘導方法、視野誘導プログラム、及び視野誘導装置
KR102400900B1 (ko) * 2015-10-26 2022-05-23 엘지전자 주식회사 시스템
US10424117B2 (en) * 2015-12-02 2019-09-24 Seiko Epson Corporation Controlling a display of a head-mounted display device
JP6017664B1 (ja) * 2015-12-28 2016-11-02 株式会社コロプラ 情報処理方法及び情報処理プログラム
CN105657407B (zh) * 2015-12-31 2018-11-23 深圳纳德光学有限公司 头戴显示器及其双目3d视频显示方法和装置
JPWO2017122270A1 (ja) * 2016-01-12 2018-10-11 サン電子株式会社 画像表示装置
KR102610120B1 (ko) 2016-01-20 2023-12-06 삼성전자주식회사 Hmd 디바이스 및 그 제어 방법
CN105843390B (zh) * 2016-02-24 2019-03-19 上海理湃光晶技术有限公司 一种图像缩放的方法与基于该方法的ar眼镜
JP2019114822A (ja) * 2016-03-23 2019-07-11 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置
CN107439001B (zh) * 2016-06-30 2020-06-23 深圳市柔宇科技有限公司 拍摄模组元件的角度调节方法及头戴式显示设备
JP2018033111A (ja) * 2016-08-26 2018-03-01 オリンパス株式会社 画像観察装置
CN106406361B (zh) * 2016-08-30 2020-03-20 北京小米移动软件有限公司 控制智能帽子的方法、装置及智能帽子
US11170580B2 (en) * 2017-02-16 2021-11-09 Sony Corporation Information processing device, information processing method, and recording medium
CN107105161A (zh) * 2017-04-27 2017-08-29 深圳市元征科技股份有限公司 变焦倍数调整方法及装置
US10578869B2 (en) 2017-07-24 2020-03-03 Mentor Acquisition One, Llc See-through computer display systems with adjustable zoom cameras
JP2019086737A (ja) * 2017-11-10 2019-06-06 シャープ株式会社 表示装置、制御方法、及びコンピュータープログラム
CN108921972A (zh) * 2018-05-25 2018-11-30 惠州市德赛西威汽车电子股份有限公司 一种具有眨眼拍照功能和疲劳驾驶提醒功能的行车记录仪
KR102506873B1 (ko) * 2018-07-18 2023-03-08 현대자동차주식회사 차량 입체 클러스터, 그를 포함한 시스템 및 그 입체 화면 제공 방법
US11041733B2 (en) 2018-10-22 2021-06-22 International Business Machines Corporation Determining a pickup location for a vehicle based on real-time contextual information
CN113412510A (zh) * 2019-02-15 2021-09-17 Jvc建伍株式会社 图像调整系统、图像调整装置以及图像调整方法
JP2020155923A (ja) * 2019-03-20 2020-09-24 ソニー株式会社 リモートコントロール装置と撮像制御装置およびその方法
CN112241199B (zh) * 2019-07-19 2023-03-24 华为技术有限公司 虚拟现实场景中的交互方法及装置
CN110493523B (zh) * 2019-08-27 2021-03-16 Oppo广东移动通信有限公司 图像显示方法、装置、终端及存储介质
US11582392B2 (en) 2021-03-25 2023-02-14 International Business Machines Corporation Augmented-reality-based video record and pause zone creation

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101231391A (zh) * 2003-12-17 2008-07-30 株式会社电装 机动车信息显示系统
CN101498845A (zh) * 2009-01-14 2009-08-05 长春大学 智能盲人导航眼镜
CN102735253A (zh) * 2011-04-05 2012-10-17 现代自动车株式会社 用于在挡风玻璃上显示道路引导信息的装置和方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0974512A (ja) 1995-09-05 1997-03-18 Canon Inc 撮像装置
JP3624029B2 (ja) 1995-09-05 2005-02-23 キヤノン株式会社 撮像装置
JPH0974504A (ja) 1995-09-05 1997-03-18 Canon Inc 撮像装置
JP2003274257A (ja) 2002-03-13 2003-09-26 Matsushita Electric Ind Co Ltd 自動動画撮影システム、自動動画撮影方法および自動動画撮像装置
JP5119636B2 (ja) * 2006-09-27 2013-01-16 ソニー株式会社 表示装置、表示方法
JP2008096868A (ja) * 2006-10-16 2008-04-24 Sony Corp 撮像表示装置、撮像表示方法
US20110128350A1 (en) * 2009-11-30 2011-06-02 Motorola, Inc. Method and apparatus for choosing a desired field of view from a wide-angle image or video
US9122053B2 (en) * 2010-10-15 2015-09-01 Microsoft Technology Licensing, Llc Realistic occlusion for a head mounted augmented reality display
US9330499B2 (en) * 2011-05-20 2016-05-03 Microsoft Technology Licensing, Llc Event augmentation with real-time information
US20130083003A1 (en) * 2011-09-30 2013-04-04 Kathryn Stone Perez Personal audio/visual system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101231391A (zh) * 2003-12-17 2008-07-30 株式会社电装 机动车信息显示系统
CN101498845A (zh) * 2009-01-14 2009-08-05 长春大学 智能盲人导航眼镜
CN102735253A (zh) * 2011-04-05 2012-10-17 现代自动车株式会社 用于在挡风玻璃上显示道路引导信息的装置和方法

Also Published As

Publication number Publication date
CN103984097A (zh) 2014-08-13
US9411160B2 (en) 2016-08-09
US20140225812A1 (en) 2014-08-14

Similar Documents

Publication Publication Date Title
CN103984097B (zh) 头戴式显示装置、头戴式显示装置的控制方法以及图像显示系统
JP6693060B2 (ja) 表示システム、表示装置、表示装置の制御方法、及び、プログラム
CN104076512B (zh) 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法
CN105319714B (zh) 显示装置、显示装置的控制方法及计算机存储介质
US9448625B2 (en) Head-mounted display device, control method for head-mounted display device, and image display system
CN106199963B (zh) 显示装置及其控制方法以及计算机程序
JP6476643B2 (ja) 頭部装着型表示装置、情報システム、頭部装着型表示装置の制御方法、および、コンピュータープログラム
CN108535868B (zh) 头部佩戴型显示装置及其控制方法
CN110060614B (zh) 头部佩戴型显示装置及其控制方法、显示系统
CN105589199A (zh) 显示装置、显示装置的控制方法以及程序
JP6094305B2 (ja) 頭部装着型表示装置、および、頭部装着型表示装置の制御方法
JP7035510B2 (ja) 表示システム、及び、表示システムの制御方法
JP6459380B2 (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
KR20220070485A (ko) 자동화된 비디오 캡처 및 합성 시스템
JP2016133399A (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
JP2016024208A (ja) 表示装置、表示装置の制御方法、および、プログラム
JP6303274B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP2016033759A (ja) 表示装置、表示装置の制御方法、および、プログラム
JP6135162B2 (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、画像表示システム
JP6631014B2 (ja) 表示システム、及び表示制御方法
JP2015087523A (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、画像表示システム
US20230252918A1 (en) Eyewear projector brightness control
JP2016033763A (ja) 表示装置、表示装置の制御方法、および、プログラム
JP2000132329A (ja) 面認識装置、面認識方法及び仮想画像立体合成装置
JP2018042004A (ja) 表示装置、頭部装着型表示装置、及び、表示装置の制御方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant