CN111600990B - 显示系统、记录介质以及信息处理装置的控制方法 - Google Patents

显示系统、记录介质以及信息处理装置的控制方法 Download PDF

Info

Publication number
CN111600990B
CN111600990B CN202010101284.9A CN202010101284A CN111600990B CN 111600990 B CN111600990 B CN 111600990B CN 202010101284 A CN202010101284 A CN 202010101284A CN 111600990 B CN111600990 B CN 111600990B
Authority
CN
China
Prior art keywords
display
unit
image
display unit
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010101284.9A
Other languages
English (en)
Other versions
CN111600990A (zh
Inventor
小林伸一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Publication of CN111600990A publication Critical patent/CN111600990A/zh
Application granted granted Critical
Publication of CN111600990B publication Critical patent/CN111600990B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72439—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for image or video messaging
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72415—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories for remote control of appliances
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04804—Transparency, e.g. transparent or translucent windows
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

显示系统、记录介质以及信息处理装置的控制方法，提高显示在智能手机等信息处理装置上的图像的可视性。在具有HMD(100)和连接有HMD的智能手机(300)的显示系统(1)中，HMD构成为能看到外景，并与外景重叠地显示第1图像(PT1)，智能手机具有：显示面板(331)，其显示第2图像(PT2)；触摸传感器(332)，其配置于显示面板；第1判定部(313)，其判定显示面板是否与HMD对置；检测部(314)，其检测显示面板相对于HMD的位置；第2判定部(315)，其判定显示面板的位置是否包含在第1图像中；调整部(316)，其根据第1和第2判定部的判定结果，调整影像显示部(20)中的第1图像的显示。

Description

显示系统、记录介质以及信息处理装置的控制方法
技术领域
本发明涉及显示系统、信息处理装置的控制程序以及信息处理装置的控制方法。
背景技术
公知有将在智能手机那样的便携终端装置上显示的图像镜像显示在HMD那样的显示装置上(例如，参照专利文献1)。
专利文献1所记载的便携终端装置具有触摸面板和处理器。处理器根据与内容相关联的设定信息，将便携式终端装置的操作模式从使触摸面板显示内容而受理触摸输入的第1模式切换为在触摸面板上不显示内容而受理触摸输入的第2模式。然后，在切换了操作模式的情况下，使内容显示在显示装置的显示器上。
专利文献1：日本特开2015-197694号公报
在专利文献1所记载的结构中，存在有时难以看到在智能手机上显示的图像的课题。
例如，当HMD所显示的图像与智能手机所显示的图像重叠的情况下，有时难以看到在智能手机上显示的图像。
发明内容
解决上述课题的一个方式是一种显示系统，其具有佩戴于使用者的头部的显示装置和与所述显示装置连接的信息处理装置，所述显示装置具有：第1显示部，其构成为能够看到外景，并与所述外景重叠地显示第1图像；以及第1显示控制部，其使所述第1显示部显示所述第1图像，所述信息处理装置具有：第2显示部，其显示第2图像；位置输入部，其配置于所述第2显示部，受理位置输入操作，并检测操作位置的坐标；第1判定部，其判定所述第2显示部是否与所述显示装置对置；检测部，其检测所述第2显示部相对于所述显示装置的位置；第2判定部，其判定所述第2显示部相对于所述显示装置的位置是否包含在通过所述第1显示部看到的所述第1图像中；以及调整部，其根据所述第1判定部的判定结果和所述第2判定部的判定结果，调整所述第1显示部中的所述第1图像的显示。
在上述显示系统中，可以采用如下结构：所述显示装置具有拍摄所述外景的摄像部，所述第1判定部根据所述摄像部拍摄的图像，判定所述信息处理装置的所述第2显示部是否与所述显示装置对置。
在上述显示系统中，可以采用如下结构：所述显示装置具有检测所述使用者的视线方向的视线检测部，所述第1判定部根据所述视线检测部的检测结果，判定所述信息处理装置的所述第2显示部是否与所述显示装置对置。
在上述显示系统中，可以采用如下结构：所述信息处理装置具有射出红外线的红外线射出部，所述显示装置具有接受所述红外线的红外线受光部，所述第1判定部根据所述红外线受光部的受光结果，判定所述信息处理装置的所述第2显示部是否与所述显示装置对置。
在上述显示系统中，可以采用如下结构：所述红外线射出部沿所述第2显示部的显示面的法线方向射出所述红外线。
在上述显示系统中，可以采用如下结构：所述显示装置具有检测距离的距离传感器，所述第1判定部根据由所述距离传感器检测出的、所述显示装置与所述第2显示部之间的距离，判定所述第2显示部是否与所述显示装置对置。
在上述显示系统中，可以采用如下结构：在所述第1判定部判定为所述第2显示部与所述显示装置对置、并且所述第2判定部判定为所述第2显示部相对于所述显示装置的位置包含在通过所述第1显示部看到的所述第1图像中的情况下，所述调整部调整所述第1显示部中的第1图像的显示。
在上述显示系统中，可以采用如下结构：所述调整部降低所述第1显示部的所述第1图像中的、与所述第2显示部的位置对应的图像的浓度。
在上述显示系统中，可以采用如下结构：所述调整部调整所述第1显示部中的所述第1图像的显示，使得所述第2显示部的位置不包含在所述第1图像中。
在上述显示系统中，可以采用如下结构：所述调整部使所述第1显示部中的所述第1图像的至少一部分的图像成为非显示，使得所述第2显示部的位置不包含在所述第1图像中。
在上述显示系统中，可以采用如下结构：所述调整部移动所述第1显示部中的所述第1图像的显示位置，使得所述第2显示部的位置不包含在所述第1图像中。
在上述显示系统中，可以采用如下结构：所述调整部将所述第1显示部中的所述第1图像缩小来进行显示，使得所述第2显示部的位置不包含在所述第1图像中。
在上述显示系统中，可以采用如下结构：所述信息处理装置具有：第2显示控制部，其使所述第2显示部显示所述第2图像；以及传送部，其将表示所述第2图像的数据传送到所述显示装置，所述第1图像与所述第2图像一致。
解决上述课题的其他方式是一种控制程序，其是信息处理装置的控制程序，该信息处理装置与具有第1显示部的显示装置连接，并具有第2显示部、配置于所述第2显示部的位置输入部以及计算机，该第1显示部构成为能够看到外景，并与所述外景重叠地显示图像，该控制程序使所述计算机作为如下部分发挥功能：第1判定部，其判定所述第2显示部是否与所述显示装置对置；检测部，其检测所述信息处理装置的所述第2显示部相对于所述显示装置的位置；第2判定部，其判定所述第2显示部相对于所述显示装置的位置是否包含在所述第1显示部所显示的所述图像中；以及调整部，其根据所述第1判定部的判定结果和所述第2判定部的判定结果，调整所述第1显示部中的所述图像的显示。
解决上述课题的又一其他方式是一种信息处理装置的控制方法，该信息处理装置与具有第1显示部的显示装置连接，并具有第2显示部、配置于所述第2显示部的位置输入部以及计算机，该第1显示部构成为能够看到外景，并与所述外景重叠地显示图像，该信息处理装置的控制方法包含如下步骤：第1判定步骤，判定所述第2显示部是否与所述显示装置对置；检测步骤，检测所述信息处理装置的所述第2显示部相对于所述显示装置的位置；第2判定步骤，判定所述第2显示部相对于所述显示装置的位置是否包含在所述第1显示部所显示的所述图像中；以及调整步骤，根据所述第1判定步骤的判定结果和所述第2判定步骤的判定结果，调整所述第1显示部中的所述图像的显示。
附图说明
图1是示出显示系统的结构的图。
图2是示出图像显示部的光学系统的结构的图。
图3是示出图像显示部的主要部分结构的立体图。
图4是示出构成HMD的各部分的结构的图。
图5是示出HMD的第1控制部和智能手机的结构的图。
图6是示出显示面板与HMD对置的状态的一例的图。
图7是示出显示面板与HMD对置的状态的另一例的图。
图8是示出显示面板的位置包含在第1图像中的状态的一例的画面图。
图9是示出使第1图像的一部分图像成为非显示的状态的一例的画面图。
图10是示出将第1图像缩小并移动的状态的一例的画面图。
图11是示出第1控制部以及第2控制部的处理的流程图。
标号说明
1：显示系统；10：连接装置；11、11A、11D：连接器；13、14：亮度调整键；15、16：音量调整键；20：影像显示部(第1显示部)；21：右保持部；22：右显示部；23：左保持部；24：左显示部；26：右导光板；261：半反射镜；28：左导光板；281：半反射镜；40：连接线缆；46：USB线缆；61：照相机(摄像部)；64：距离传感器；66：红外线传感器(红外线受光部)；68：内侧照相机；100：HMD(显示装置)；120：第1控制部；121：第1显示控制部；122：视线检测部；123：红外线检测部；130：非易失性存储部；140：操作部；145：连接部；147：声音处理部；210：右显示部基板；221：OLED单元；230：左显示部基板；235：6轴传感器；237：磁传感器；241：OLED单元；249：电源部；300：智能手机(信息处理装置)；310：第2控制部；311：第2显示控制部；312：传送部；313：第1判定部；314：检测部；315：第2判定部；316：调整部；320：非易失性存储部；321：内容数据；330：显示部；331：显示面板(第2显示部)；332：触摸传感器(位置输入部)；341：I/F部；345：通信部；351：6轴传感器；352：磁传感器；353：红外线通信部(红外线射出部)；PT1：第1图像；PT2：第2图像；θ、
Figure BDA0002386951240000041
ψ、η：倾斜角。
具体实施方式
以下，参照附图对实施方式进行说明。
1.显示系统的结构
1-1.显示系统的整体结构
图1是示出显示系统1的概略结构的图。
如图1所示，显示系统1具有HMD(Head Mounted Display：头戴式显示器)100。HMD100是具有佩戴于使用者的头部的影像显示部20和连接装置10，并通过影像显示部20在佩戴于使用者的头部的状态下令使用者看到虚像的装置。HMD 100对应于“显示装置”的一例。在以下的说明中，使用者是指佩戴并使用HMD 100的用户。
连接装置10在箱形的壳体上具有连接器11A以及连接器11D。在连接器11A上经由连接线缆40而连接有影像显示部20。以下，在不区分连接器11A、11D的情况下，有时记作连接器11。连接装置10的壳体也可以称为外壳或主体。
显示系统1是在HMD 100上连接智能手机300而构成的系统。连接器11D是HMD 100连接智能手机300的接口。即，在本实施方式中，连接器11D连接有智能手机300。智能手机300对应于“信息处理装置”的一例。
另外，智能手机300只不过是信息处理装置的一例。信息处理装置只要能够由使用者携带并且具有显示图像的显示部、触摸传感器那样的位置输入部以及计算机即可。例如，作为信息处理装置，可以将PDA(Personal Digital Assistant：个人数字助理)终端、平板型个人计算机等与连接装置10连接。
连接器11是连接通信线缆的有线接口，通过该通信线缆，连接装置10与外部的装置连接。连接器11A具有将连接线缆40连接于其的端子以及经由连接器11A来发送和接收信号的接口电路。
连接器11A是为了将影像显示部20与连接装置10连接而设置的。连接线缆40具有从连接装置10对影像显示部20进行电源供给、并且供影像显示部20与连接装置10相互发送和接收数据的功能。
连接器11D是能够从智能手机300输入影像数据并对智能手机300输出传感器数据的接口。智能手机300将记录在非易失性存储部中的内容数据再现。连接器11D例如是依据公知的通信接口标准的连接器。
在本实施方式中，作为一例，连接器11D是与影像数据以及各种数据的输入输出对应的接口，经由USB线缆46而与智能手机300连接。
作为连接器11D，例如，可以采用USB(Universal Serial Bus：通用串行总线)-TypeC标准的连接器。与USB-TypeC对应的接口能够实现基于USB3.1标准的数据的传送和20伏特、5安培以内的直流电力的供给。
另外，作为USB-TypeC的替代模式的功能，能够传送HDMI(High DefinitionMultimedia Interface：高清晰度多媒体接口)标准的影像数据、MHL(Mobile High-definition Link：移动高清链接)标准的影像数据等。智能手机300能够经由USB线缆46进行电源供给、数据的发送和接收以及影像或声音的流数据的供给等。USB-TypeC的替代模式作为Alternative模式而被公知。HDMI是注册商标。
在本实施方式中，影像显示部20具有眼镜形状。影像显示部20在具有右保持部21、左保持部23和前部框架27的主体上具有右显示部22、左显示部24、右导光板26以及左导光板28。
影像显示部20对应于“第1显示部”的一例。
右保持部21和左保持部23从前部框架27的两端部向后方延伸，将影像显示部20保持于使用者的头部U。将前部框架27的两端部中的、在佩戴影像显示部20时位于头部U的右侧的端部设为端部ER、将位于左侧的端部设为端部EL。右保持部21从前部框架27的端部ER延伸设置至在影像显示部20的佩戴状态下与使用者的右侧头部对应的位置。左保持部23从端部EL延伸设置至在影像显示部20的佩戴状态下与使用者的左侧头部对应的位置。
右导光板26和左导光板28设置在前部框架27上。右导光板26在影像显示部20的佩戴状态下位于使用者的右眼的眼前，使右眼看到图像。左导光板28在影像显示部20的佩戴状态下位于使用者的左眼的眼前，使左眼看到图像。
前部框架27具有将右导光板26的一端与左导光板28的一端相互连结的形状，该连结位置在使用者佩戴影像显示部20的佩戴状态下与使用者的眉间对应。
在前部框架27中，也可以在右导光板26与左导光板28的连结位置设置有在影像显示部20的佩戴状态下与使用者的鼻子抵接的鼻托部。在该情况下，能够通过鼻托部、右保持部21以及左保持部23将影像显示部20保持于使用者的头部。另外，也可以在右保持部21以及左保持部23上连结有在影像显示部20的佩戴状态下与使用者的后头部接触的带。在该情况下，能够通过带将影像显示部20保持于使用者的头部U。
右显示部22以及左显示部24分别是将光学单元以及外围电路单元化后的模块。
右显示部22是与基于右导光板26的图像显示相关的单元，设置在右保持部21上，在佩戴状态下位于使用者的右侧头部的附近。左显示部24是与基于左导光板28的图像显示相关的单元，设置在左保持部23上，在佩戴状态下位于使用者的左侧头部的附近。另外，也可以对右显示部22以及左显示部24进行统称而简称为“显示驱动部”。
右导光板26和左导光板28是由光透过性的树脂等形成的光学部，将右显示部22和左显示部24输出的图像光引导至使用者的眼睛。右导光板26和左导光板28例如是棱镜。
由右导光板26引导的图像光和透过右导光板26的外部光入射到使用者的右眼。同样地，由左导光板28引导的图像光和透过左导光板28的外部光入射到左眼。
在影像显示部20的前部框架27上配置有照度传感器65。照度传感器65接受来自佩戴影像显示部20的使用者的前方的外部光。
照相机61配设在影像显示部20的前部框架27上。照相机61设置在不遮挡透过右导光板26和左导光板28的外部光的位置。在图1的例子中，照相机61配置在前部框架27的端部ER侧，但也可以配置在端部EL侧，还可以配置在右导光板26与左导光板28的连结部。
照相机61对应于“摄像部”的一例。
照相机61是具有CCD(Charge Coupled Device：电荷耦合器件)、CMOS(Complementary Metal-Oxide-Semiconductor：互补金属氧化物半导体)等摄像元件和摄像镜头等的数码照相机。本实施方式的照相机61是单眼照相机，但也可以由立体照相机构成。
在前部框架27上配置有LED(Light Emitting Diode：发光二极管)指示器67。LED指示器67在端部ER处配置在照相机61的附近，在照相机61的工作中点亮，告知正在拍摄中。
在前部框架27上设置有距离传感器64和红外线传感器66。距离传感器64检测距位于预先设定的测量方向上的测量对象物的距离。距离传感器64例如可以是具有LED或激光二极管等光源、以及接受光源发出的光被测量对象物反射的反射光的受光部的光反射式距离传感器。另外，距离传感器64也可以是具有发出超声波的声源、和接收被测量对象物反射的超声波的检测部的超声波式的距离传感器。另外，距离传感器64也可以使用激光测距扫描仪，在该情况下，能够对包含影像显示部20的前方在内的大范围的区域进行测域。
红外线传感器66检测红外线。具体而言，红外线传感器66检测从智能手机300的红外线通信部射出的红外线。另外，红外线传感器66也可以构成为红外线通信部的一部分。在该情况下，能够与智能手机300的红外线通信部进行通信。红外线通信部例如按照IrDA标准进行通信。
红外线传感器66对应于“红外线受光部”的一例。
影像显示部20的右显示部22和左显示部24分别与连接装置10连接。在HMD100中，左保持部23连接有连接线缆40，与该连接线缆40连接的布线铺设在影像显示部20内部，右显示部22和左显示部24分别与连接装置10连接。
连接线缆40具有音频连接器36，具有构成立体声头戴式听筒的右耳机32和左耳机34、以及麦克风63的头戴式耳机30与音频连接器36连接。右耳机32佩戴在使用者的右耳上，左耳机34佩戴在使用者的左耳上。右耳机32以及左耳机34也可以称为声音输出部。
右耳机32和左耳机34根据连接装置10输出的声音信号来输出声音。
麦克风63收集声音，并将声音信号输出到连接装置10。麦克风63例如可以是单声道麦克风，也可以是立体声麦克风，可以是具有指向性的麦克风，也可以是无指向性的麦克风。
连接装置10具有亮度调整键13、亮度调整键14、音量调整键15以及音量调整键16作为由使用者操作的被操作部。亮度调整键13、亮度调整键14、音量调整键15以及音量调整键16分别由硬件按键构成。这些被操作部配置在连接装置10的主体的表面，例如由使用者的手指操作。
亮度调整键13、14是用于调整由影像显示部20显示的影像的显示亮度的硬件按键。亮度调整键13指示亮度的增大，亮度调整键14指示亮度的降低。音量调节键15、16是用于调整从右耳机32和左耳机34输出的声音的音量的硬件按键。音量调整键15指示音量的增大，音量调整键16指示音量的降低。
1-2.HMD的图像显示部的光学系统的结构
图2是示出影像显示部20所具有光学系统的结构的主要部分俯视图。为了便于说明，在图2中示出了使用者的左眼LE和右眼RE。
如图2所示，右显示部22和左显示部24构成为左右对称。作为令使用者的右眼RE看到图像的结构，右显示部22具有发出图像光的OLED(Organic Light Emitting Diode：有机发光二极管)单元221。此外，具有右光学系统251，该右光学系统251具有引导OLED单元221发出的图像光L的透镜组等。图像光L被右光学系统251引导至右导光板26。
OLED单元221具有OLED面板223、和驱动OLED面板223的OLED驱动电路225。OLED面板223是矩阵状地配置通过有机电致发光而进行发光并分别发出R(红)、G(绿)、B(蓝)的色光的发光元件而构成的自发光型显示面板。OLED面板223将各包含1个R、G、B的元件的单位作为1个像素而具有多个像素，利用矩阵状地配置的像素形成图像。OLED驱动电路225依照第1控制部120的控制，执行OLED面板223具备的发光元件的选择和对发光元件的通电，使OLED面板223的发光元件发光。关于第1控制部120，在后文参照图4进行说明。
OLED驱动电路225通过粘接等被固定于OLED面板223的反面即发光面的反面侧。OLED驱动电路225例如也可以由驱动OLED面板223的半导体器件构成，安装在被固定于OLED面板223的反面的基板上(省略图示)。在该基板上安装有图4所示的温度传感器217。
另外，OLED面板223也可以是矩阵状地配置发出白色光的发光元件、并重叠地配置与R、G、B的各色对应的滤色器的结构。此外，也可以使用除了分别放射R、G、B的色光的发光元件以外还具有发出W(白色)光的发光元件的WRGB结构的OLED面板223。
右光学系统251具有使从OLED面板223射出的图像光L成为平行状态的光束的准直透镜。利用准直透镜而成为平行状态的光束的图像光L入射到右导光板26。在右导光板26的内部的、引导光的光路中形成有反射图像光L的多个反射面。图像光L在右导光板26的内部经过多次反射而被引导至右眼RE侧。在右导光板26上形成有位于右眼RE的眼前的半反射镜261(反射面)。图像光L被半反射镜261反射，从右导光板26朝向右眼RE射出，该图像光L在右眼RE的视网膜上成像，令使用者看到图像。
此外，作为令使用者的左眼LE看到图像的结构，左显示部24具有：OLED单元241，其发出图像光；以及左光学系统252，其具有引导OLED单元241发出的图像光L的透镜组等。图像光L被左光学系统252引导至左导光板28。
OLED单元241具有OLED面板243、和驱动OLED面板243的OLED驱动电路245。OLED面板243是与OLED面板223同样构成的自发光型显示面板。OLED驱动电路245依照第1控制部120的指示，执行OLED面板243具备的发光元件的选择和对发光元件的通电，使OLED面板243的发光元件发光。
OLED驱动电路245通过粘接等被固定于OLED面板243的反面即发光面的反面侧。OLED驱动电路245例如也可以由驱动OLED面板243的半导体器件构成，安装在被固定于OLED面板243的反面的基板上(省略图示)。在该基板上安装有图4所示的温度传感器239。
左光学系统252具有使从OLED面板243射出的图像光L成为平行状态的光束的准直透镜。利用准直透镜而成为平行状态的光束的图像光L入射到左导光板28。左导光板28是形成有反射图像光L的多个反射面的光学元件，例如是棱镜。图像光L在左导光板28的内部经过多次反射而被引导至左眼LE侧。在左导光板28上形成有位于左眼LE的眼前的半反射镜281(反射面)。图像光L被半反射镜281反射，从左导光板28朝向左眼LE射出，该图像光L在左眼LE的视网膜上成像，令使用者看到图像。
根据该结构，HMD 100作为透射型显示装置发挥功能。即，被半反射镜261反射的图像光L和透过右导光板26的外部光OL入射到使用者的右眼RE。此外，被半反射镜281反射的图像光L和透过半反射镜281的外部光OL入射到左眼LE。这样，HMD 100使在内部进行处理后的图像的图像光L与外部光OL重叠地入射到使用者的眼睛，对使用者而言，能够透过右导光板26和左导光板28看到外景，并可与该外景重叠地看到由图像光L形成的图像。
半反射镜261、281是反射右显示部22和左显示部24分别输出的图像光而提取图像的图像提取部，能够称作显示部。
另外，也将左光学系统252和左导光板28统称作“左导光部”，将右光学系统251和右导光板26统称作“右导光部”。右导光部和左导光部的结构不限于上述的例子，只要使用图像光在使用者的眼前形成虚像，则能够使用任意的方式，例如可以使用衍射光栅，也可以使用半透过反射膜。
图3是示出影像显示部20的主要部分的结构的图。图3是从使用者的头部侧看到的影像显示部20的主要部分立体图。另外，在图3中省略连接线缆40的图示。
图3是影像显示部20与使用者的头部接触的一侧、换言之使用者的右眼RE和左眼LE可看到的一侧。换另一说法，在图3中，能够看到右导光板26和左导光板28的反面侧。
在图3中，对使用者的右眼RE照射图像光的半反射镜261和对左眼LE照射图像光的半反射镜281可看作大致四边形的区域。此外，如上所述，包含半反射镜261的右导光板26的整体和包含半反射镜281的左导光板28的整体使外部光透过。因此，使用者可透过右导光板26和左导光板28的整体而看到外景，在半反射镜261、281的位置处看到矩形的显示图像。
此外，在影像显示部20的使用者侧配置有内侧照相机68。内侧照相机68以分别与使用者的右眼RE和左眼LE对应的方式，在右导光板26与左导光板28的中央位置设置有一对。内侧照相机68是分别拍摄使用者的右眼RE和左眼LE的一对照相机。内侧照相机68依照第1控制部120的指示进行拍摄。第1控制部120分析内侧照相机68的拍摄图像数据。例如，第1控制部120根据内侧照相机68的拍摄图像数据，检测右眼RE和左眼LE的眼球表面上的反射光、瞳孔的图像，确定使用者的视线方向。此外，第1控制部120能够求出使用者的视线方向的变化，也可以检测右眼RE和左眼LE各自的眼球运动。
这里，使用者的视线的移动还能够视作使用者的虚拟视点的移动。
此外，在根据内侧照相机68的拍摄图像检测出右眼RE和左眼LE的视线方向的情况下，第1控制部120能够求出右眼RE和左眼LE的会聚角。会聚角对应于距使用者注视的对象物的距离。即，在使用者立体地看到图像或物体的情况下，右眼RE和左眼LE的会聚角与距所看对象的距离对应地确定。因此，通过检测会聚角，能够求出使用者注视的距离。此外，通过以引导使用者的会聚角的方式显示图像，能够引导立体观察。
1-3.HMD的各部分的结构
图4是示出构成HMD 100的各部分的结构的图。
影像显示部20的右显示部22具有右显示部基板210。在右显示部基板210上安装有与连接线缆40连接的右I/F部211、接收经由右I/F部211从连接装置10输入的数据的接收部213以及EEPROM(Electrically Erasable Programmable Read Only Memory：电可擦可编程只读存储器)215。右I/F部211将接收部213、EEPROM 215、温度传感器217、照相机61、距离传感器64、照度传感器65、红外线传感器66、LED指示器67以及内侧照相机68与连接装置10连接。接收部213将OLED单元221与连接装置10连接。
左显示部24具有左显示部基板230。在左显示部基板230上安装有与连接线缆40连接的左I/F部231以及接收经由左I/F部231从连接装置10输入的数据的接收部233。另外，在左显示部基板230上安装有6轴传感器235和磁传感器237。
左I/F部231将接收部233、6轴传感器235、磁传感器237以及温度传感器239与连接装置10连接。接收部233将OLED单元241与连接装置10连接。
I/F是接口的简写。另外，在本实施方式中，有时将接收部213和接收部233分别记载为Rx 213、Rx 233。
EEPROM 215非易失性地存储各种数据。EEPROM 215例如存储与影像显示部20所具有的OLED单元221、241的发光特性或显示特性相关的数据、与右显示部22或左显示部24所具有的传感器的特性相关的数据等。
具体而言，存储与OLED单元221、241的伽马校正相关的参数、补偿温度传感器217、239的检测值的数据等。这些数据通过HMD 100在出厂时的检查而生成，并被写入EEPROM215。EEPROM 215存储的数据能够由第1控制部120读取。
照相机61根据经由右I/F部211输入的信号执行拍摄，并将拍摄图像数据输出到右I/F部211。
照度传感器65接受外部光，输出与受光量或受光强度对应的检测值。LED指示器67根据经由右I/F部211输入的控制信号或驱动电流而点亮。
内侧照相机68根据经由右I/F部211输入的信号执行拍摄，并将拍摄图像数据输出到右I/F部211。
温度传感器217检测OLED单元221的温度，输出与检测温度对应的电压值或电阻值作为检测值。
距离传感器64执行距离检测，将表示检测结果的信号经由右I/F部211输出到连接装置10。距离传感器64例如可以使用红外线式深度传感器、超声波式距离传感器、Time OfFlight(飞行时间)式距离传感器以及组合了图像检测和声音检测的距离检测单元等。另外，距离传感器64也可以采用对通过立体照相机或单眼照相机的立体拍摄而得到的图像进行处理来检测距离的结构。
红外线传感器66执行红外线检测，将表示检测结果的信号经由右I/F部211输出到连接装置10。
接收部213接收经由右I/F部211从连接装置10传送的显示用的影像数据，并输出到OLED单元221。OLED单元221显示基于连接装置10传送的影像数据的影像。
另外，接收部233接收经由左I/F部231从连接装置10传送的显示用的影像数据，并输出到OLED单元241。OLED单元221、241显示基于连接装置10传送的影像数据的影像。
6轴传感器235是具有3轴加速度传感器和3轴陀螺传感器的运动传感器。6轴传感器235也可以采用将上述传感器模块化后的IMU(Inertial Measurement Unit：惯性测量装置)。磁传感器237例如是3轴的地磁传感器。陀螺传感器也被称为角速度传感器。
温度传感器239检测OLED单元241的温度，输出与检测温度对应的电压值或电阻值作为检测值。
影像显示部20的各部分通过借助连接线缆40从连接装置10供给的电力而进行动作。
影像显示部20在右显示部22具有电源部229，在左显示部24具有电源部249。电源部229将连接装置10经由连接线缆40供给的电力分配并供给到包含右显示部基板210的右显示部22的各部分。同样地，电源部249将连接装置10经由连接线缆40供给的电力分配并供给到包含左显示部基板230的左显示部24的各部分。右显示部22和左显示部24也可以具有转换电压的转换电路等。
连接装置10具有I/F部110、第1控制部120、传感器控制部122、显示控制部124、电源控制部126、非易失性存储部130、操作部140、连接部145以及声音处理部147。
I/F部110具有连接器11D。另外，I/F部110具有与连接器11D连接并执行依据各种通信标准的通信协议的接口电路。
I/F部110例如也可以是安装了连接器11D和接口电路的接口基板。另外，也可以采用如下结构：连接装置10的第1控制部120、传感器控制部122、显示控制部124、电源控制部126安装在未图示的连接装置主基板上。在该情况下，也可以在连接装置主基板上安装I/F部110的连接器11D和接口电路。
另外，I/F部110例如可以具有能够连接外部的存储装置或存储介质的存储卡用接口等，I/F部110也可以由无线通信接口构成。
第1控制部120控制连接装置10的各部分。第1控制部120具有CPU(CentralProcessing Unit：中央处理器)那样的处理器。在第1控制部120中，处理器执行控制程序，由此，通过软件与硬件的协作来控制HMD 100的各部分。第1控制部120连接有非易失性存储部130、操作部140、连接部145以及声音处理部147。
传感器控制部122控制照相机61、距离传感器64、照度传感器65、红外线传感器66、温度传感器217、6轴传感器235、磁传感器237以及温度传感器239。具体而言，传感器控制部122按照第1控制部120的控制进行各传感器的采样周期的设定和初始化，并按照各传感器的采样周期执行对各传感器的通电、控制数据的发送以及检测值的取得等。
传感器控制部122与I/F部110的连接器11D连接，在预先设定的时刻，将与从各传感器取得的检测值相关的数据输出到连接器11D。与连接器11D连接的智能手机300能够取得HMD 100的各传感器的检测值、照相机61的拍摄图像数据以及表示由内侧照相机68检测出的视线方向的数据。
显示控制部124执行用于通过影像显示部20显示基于输入到I/F部110的图像数据或影像数据的图像的各种处理。在本实施方式中，向连接器11D输入智能手机300输出的影像信号。影像信号是数字影像数据，但也可以是模拟影像信号。
显示控制部124执行例如帧的剪切、分辨率转换、中间帧生成、帧率转换等各种处理。分辨率转换包含所谓的缩放。显示控制部124将与OLED单元221和OLED单元241分别对应的图像数据输出到连接部145。输入到连接部145的图像数据作为影像信号201从连接器11A传送到右I/F部211和左I/F部231。影像信号201是与OLED单元221和OLED单元241分别对应地处理后的数字影像数据。
在本实施方式中，连接器11D由USB-TypeC连接器构成。显示控制部124经由连接器11D接收以USB-TypeC的替代模式传送的影像数据。
传感器控制部122和/或显示控制部124可以通过处理器执行程序而利用软件与硬件的协作来实现。即，传感器控制部122和显示控制部124由处理器构成，通过执行程序来执行上述动作。在该例子中，传感器控制部122和显示控制部124可以通过构成第1控制部120的处理器执行程序来实现。换言之，可以是，通过处理器执行程序，而作为第1控制部120、显示控制部124以及传感器控制部122发挥功能。这里，处理器可以被改称为计算机。
另外，显示控制部124和传感器控制部122也可以由DSP(Digital SignalProcessor：数字信号处理器)或FPGA(Field Programmable Gate Array：现场可编程门阵列)等程序化的硬件构成。另外，也可以将传感器控制部122和显示控制部124合并而构成为SoC(System-on-a-Chip：片上系统)-FPGA。
电源控制部126连接到连接器11D。电源控制部126根据从连接器11D供给的电力，进行对连接装置10的各部分和影像显示部20的电源供给。另外，电源控制部126也可以构成为具有未图示的电压转换电路，对电压进行转换并供给到连接装置10和影像显示部20的各部分。电源控制部126也可以由逻辑电路或FPGA等程序化的半导体器件构成。另外，电源控制部126也可以由与传感器控制部122和/或显示控制部124共用的硬件构成。
传感器控制部122、显示控制部124以及电源控制部126可以具有用于进行数据处理的工作存储器，也可以利用第1控制部120的存储器进行处理。
操作部140检测对连接装置10所具有的被操作部的操作，将表示操作内容的数据、或者表示被操作的被操作部的操作信号输出到第1控制部120。
声音处理部147根据从第1控制部120输入的声音数据，生成声音信号，并输出到连接部145。该声音信号从连接部145经由音频连接器36输出到右耳机32和左耳机34。另外，声音处理部147按照第1控制部120的控制，调整声音信号的音量。另外，声音处理部147生成麦克风63收集到的声音的声音数据，并输出到第1控制部120。也可以由第1控制部120以与处理影像显示部20具备的传感器的检测值同样的方式，对该声音数据进行处理。
此外，连接装置10也可以是具有未图示的电池、并从该电池向连接装置10和影像显示部20的各部分供给电力的结构。连接装置10具备的电池也可以是可充电的二次电池。
1-4.智能手机的结构
图5是示出HMD 100的第1控制部120和智能手机300的结构的图。
智能手机300具有第2控制部310、非易失性存储部320、显示部330、I/F部341、通信部345、6轴传感器351、磁传感器352以及红外线通信部353。
第2控制部310具有CPU或微型计算机等处理器，通过该处理器执行控制程序，从而控制智能手机300的各部分。第2控制部310也可以具有非易失性地存储处理器执行的控制程序的ROM(Read Only Memory：只读存储器)、以及构成处理器的工作区的RAM(RandomAccess Memory：随机存取存储器)那样的存储器。处理器对应于“计算机”的一例。存储在第2控制部310的存储器中的控制程序对应于“控制程序”的一例。
非易失性存储部320非易失性地存储由第2控制部310执行的控制程序以及第2控制部310处理的数据。非易失性存储部130例如是HDD(Hard Disk Drive：硬盘)等磁记录装置、或者使用了闪存等半导体存储元件的存储装置。
非易失性存储部320例如存储包含影像的内容的内容数据321。内容数据321是能够由第2控制部310处理的格式的文件，包含影像数据，也可以包含声音数据。
另外，非易失性存储部320存储作为第2控制部310执行的基本控制程序的操作系统(OS：Operating System(操作系统))以及以OS为平台进行动作的应用程序等。另外，非易失性存储部320存储了在执行应用程序时处理的数据或处理结果的数据。
显示部330所具有的显示面板331和触摸传感器332与第2控制部310连接。显示面板331根据第2控制部310的控制而显示各种图像。显示面板331例如由LCD(Liquid CrystalDisplay：液晶显示器)构成。显示面板331构成为矩形形状。在本实施方式中，显示面板331为长方形。
显示面板331对应于“第2显示部”的一例。
触摸传感器332检测触摸操作，并将表示检测到的操作的数据输出到第2控制部310。触摸操作对应于“位置输入操作”的一例。
触摸传感器332与显示面板331一体地形成。具体而言，触摸传感器332形成在显示面板331的图像显示面上。在本实施方式中，触摸传感器332为长方形。触摸传感器332输出的数据是表示触摸传感器332中的操作位置的坐标数据等。
触摸传感器332对应于“位置输入部”的一例。
I/F部341是与外部的装置连接的接口。I/F部341执行例如依据HDMI接口、USB接口等标准的通信。I/F部341具有连接USB线缆46的连接器、以及处理由连接器传送的信号的接口电路。I/F部341是具有连接器和接口电路的接口基板，与安装有第2控制部310的处理器等的主基板连接。或者，构成I/F部341的连接器和接口电路安装在智能手机300的主基板上。
在本实施方式中，I/F部341具有USB接口，通过USB线缆46而与连接器11D连接。第2控制部310例如通过USB线缆46输出影像数据，从连接装置10接收与传感器的输出值相关的数据等。
此外，I/F部341可以是无线通信接口。在这种情况下，I/F部341可以是安装在接口基板或者主基板上的电路，该接口基板安装了包含RF(Radio Frequency：射频)部在内的通信电路。
通信部345是与外部装置之间执行数据通信的通信接口。通信部345可以是能够连接线缆的有线通信接口，也可以是无线通信接口。例如，可以是与Ethernet(注册商标)对应的有线LAN接口、或与IEEE802.11标准对应的无线LAN接口。
另外，通信部345例如是通过无线电话线路而与其他智能手机连接的通信接口。
6轴传感器351是具有3轴加速度传感器和3轴陀螺传感器的运动传感器。6轴传感器351也可以采用将上述传感器模块化后的IMU。磁传感器352例如是3轴的地磁传感器。陀螺传感器也被称为角速度传感器。
红外线通信部353与其他智能手机之间执行红外线通信。另外，红外线通信部353向显示面板331的显示面的法线方向射出红外线。在从红外线通信部353射出的红外线被HMD 100的红外线传感器66接受到的情况下，显示面板331与HMD 100对置。关于这一点，在后文参照图7进行详细说明。
红外线通信部353对应于“红外线射出部”的一例。
第2控制部310具有第2显示控制部311、传送部312、第1判定部313、检测部314、第2判定部315以及调整部316。具体而言，通过第2控制部310所具有的处理器执行控制程序，第2控制部310作为第2显示控制部311、传送部312、第1判定部313、检测部314、第2判定部315以及调整部316发挥功能。
第2显示控制部311将内容数据321再现，将与内容数据321所包含的影像数据对应的第2图像PT2显示在显示部330的显示面板331上。
传送部312将表示第2图像PT2的数据传送到HMD 100。具体而言，传送部312经由I/F部341以及连接器11D，将表示第2图像PT2的数据传送到HMD 100的第1控制部120。
第1判定部313判定显示面板331是否与HMD 100对置。具体而言，在满足下述第1条件、第2条件以及第3条件的情况下，第1判定部313判定为显示面板331与HMD 100对置。
第1条件：显示面板331位于使用者的视野内。
第2条件：HMD 100位于显示面板331的显示面的法线方向上。
第3条件：显示面板331与HMD 100之间的距离为阈值距离以下。
具体而言，第1判定部313根据由照相机61形成的外景的图像、和第1控制部120基于由内侧照相机68形成的图像而检测出的视线方向来判定是否满足第1条件。
第1判定部313根据由照相机61形成的外景的图像、和由内侧照相机68形成的图像来判定是否满足第2条件。另外，第1判定部313根据从HMD 100的第1控制部120传送的红外线传感器66的检测结果来判定是否满足第2条件。
关于第1条件和第2条件，在后文参照图6和图7进行详细说明。
另外，第1判定部313根据由距离传感器64检测出的显示面板331与HMD 100之间的距离来判定是否满足第3条件。
关于第3条件，在后文参照图6详细地进行说明。
检测部314检测显示面板331相对于HMD 100位置。具体而言，检测部314根据照相机61拍摄到的外景图像，检测显示面板331相对于HMD 100的位置。
第2判定部315判定智能手机300的显示面板331相对于HMD 100的位置是否包含在通过影像显示部20看到的第1图像PT1中。具体而言，第2判定部315判定检测部314检测出的、显示面板331相对于HMD 100的位置是否包含在通过影像显示部20看到的第1图像PT1中。
更具体而言，第2判定部315根据由照相机61拍摄的图像，判定智能手机300的显示面板331相对于HMD 100的位置是否包含在通过影像显示部20看到的第1图像PT1中。照相机61拍摄比使用者的视野大的范围的外景图像。
第2判定部315首先从HMD 100取得照相机61拍摄的外景图像数据，从照相机61拍摄的外景图像中提取第1图像PT1所包含的外景图像。
然后，第2判定部315判定提取出的外景图像中是否包含智能手机300的显示面板331。另外，例如使用图像处理等来判定提取出的外景图像中是否包含智能手机300的显示面板331。
调整部316根据第1判定部313的判定结果和第2判定部315的判定结果，调整HMD100的影像显示部20中的第1图像PT1的显示。即，调整部316指示HMD 100的第1控制部120调整影像显示部20中的第1图像PT1的显示。第1控制部120按照来自调整部316的指示，调整影像显示部20中的第1图像PT1的显示。
具体而言，在满足接下来的第4条件和第5条件的情况下，调整部316调整影像显示部20中的第1图像PT1的显示。
第4条件：第1判定部313判定为显示面板331与HMD 100对置。
第5条件：第2判定部315判定为智能手机300的显示面板331相对于HMD 100的位置包含在通过影像显示部20看到的第1图像PT1中。
调整部316例如调整HMD 100的影像显示部20中的第1图像PT1的显示，使得显示面板331的位置不包含在第1图像PT1中。
具体而言，调整部316使第1图像PT1的一部分图像成为非显示，使得显示面板331的位置不包含在第1图像PT1中。另外，调整部316移动影像显示部20中的第1图像PT1的显示位置，使得显示面板331的位置不包含在第1图像PT1中。另外，调整部316将影像显示部20中的第1图像PT1缩小来进行显示，使得显示面板331的位置不包含在第1图像PT1中。
关于调整部316的处理，在后文参照图8～图10进行详细说明。
关于第2控制部310的处理，在后文参照图11进行具体说明。
1-5.HMD的第1控制部的结构
HMD 100的第1控制部120具有第1显示控制部121、视线检测部123以及红外线检测部125。具体而言，通过第1控制部120所具有的处理器执行控制程序，第1控制部120作为第1显示控制部121、视线检测部123以及红外线检测部125发挥功能。
第1显示控制部121显示第1图像PT1。具体而言，第1显示控制部121从智能手机300接收第2图像PT2，通过影像显示部20显示接收到的第2图像PT2作为第1图像PT1。即，第1图像PT1与第2图像PT2一致。换言之，第1图像PT1表示与第2图像PT2相同的图像。在该情况下，HMD 100的影像显示部20显示与显示在显示面板331上的图像相同的图像，进行所谓的“镜像显示”。
更具体而言，第1显示控制部121根据从智能手机300接收到的第2图像PT2，生成右图像和左图像。然后，第1显示控制部121使右显示部22显示右图像，使左显示部24显示左图像。
更具体而言，第1显示控制部121将右图像经由右I/F部211传送到OLED单元221，使OLED单元221显示右图像。另外，第1显示控制部121将左图像经由左I/F部231传送到OLED单元241，使OLED单元241显示左图像。
另外，第1显示控制部121按照来自智能手机300的第2控制部310的调整部316的指示，调整影像显示部20中的第1图像PT1的显示。
视线检测部123检测使用者的视线方向。具体而言，视线检测部123通过分析内侧照相机68的拍摄图像数据来检测使用者的视线方向。例如，视线检测部123根据内侧照相机68的拍摄图像数据，检测右眼RE和左眼LE的眼球表面上的反射光、瞳孔的图像，从而检测使用者的视线方向。
视线检测部123将表示使用者的视线方向的数据传送到第2控制部310。
红外线检测部125取得红外线传感器66的检测结果，将表示检测结果的数据经由连接器11D以及I/F部341传送到第2控制部310。
2.使用了具体例的智能手机的第1控制部的处理的说明
图6～图10分别是示出第2控制部310的处理的具体例的图。
2-1.第1判定部的处理的说明
图6是示出显示面板331与HMD 100对置的状态的一例的图。如图6所示，在使用者操作智能手机300的情况下，通常在使用者的视线方向LS上配置智能手机300。方向LS表示使用者的视线方向。方向LS是通过视线检测部123根据由内侧照相机68拍摄到的图像而检测的。
方向DA表示从HMD 100朝向智能手机300的触摸传感器332的中心位置PC的方向。方向DA是通过第1判定部313根据由照相机61拍摄的外景图像而检测的。
方向DA相对于方向LS倾斜了倾斜角θ。倾斜角θ表示方向DA相对于方向LS的倾斜角。
第1判定部313在倾斜角θ的绝对值为阈值角θS以下的情况下，判定为显示面板331位于使用者的视野内。即，第1判定部313在倾斜角θ为阈值角θS以下的情况下，判定为满足第1条件。阈值角θS例如是70度。
A-A线表示触摸传感器332的长边方向。B-B线表示触摸传感器332的短边方向。
A-A线相对于方向DA倾斜了倾斜角
Figure BDA0002386951240000211
倾斜角
Figure BDA0002386951240000212
表示A-A线相对于方向DA的倾斜角。另外，B-B线相对于方向DA倾斜了倾斜角ψ。倾斜角ψ表示B-B线相对于方向DA的倾斜角。倾斜角
Figure BDA0002386951240000213
以及倾斜角ψ是通过第1判定部313根据由照相机61拍摄的外景图像而检测的。
在使用者操作触摸传感器332的情况下，估计为方向LS与方向DA一致。即，在使用者操作触摸传感器332的情况下，倾斜角
Figure BDA0002386951240000214
以及倾斜角ψ定义了显示面板331的显示面相对于使用者或HMD 100的倾斜。
另外，例如在倾斜角
Figure BDA0002386951240000215
和倾斜角ψ分别为90度的情况下，显示面板331的显示面与方向DA垂直。
因此，在倾斜角
Figure BDA0002386951240000216
为最小倾斜角
Figure BDA0002386951240000217
以上且最大倾斜角
Figure BDA0002386951240000218
以下、并且倾斜角ψ为最小倾斜角ψN以上且最大倾斜角ψX以下的情况下，第1判定部313判定为HMD100位于显示面板331的显示面的法线方向。即，第1判定部313判定为满足第2条件。最小倾斜角
Figure BDA0002386951240000219
和最小倾斜角ψN例如分别是60度，最大倾斜角
Figure BDA00023869512400002110
和最大倾斜角ψX例如分别是120度。
这样，第1判定部313能够根据由照相机61拍摄的外景图像以及由内侧照相机68拍摄的图像，判定是否满足第1条件、以及是否满足第2条件。因此，第1判定部313能够根据由照相机61拍摄的外景图像、以及由内侧照相机68拍摄的图像判定是否满足第1条件。
距离LA表示显示面板331与HMD 100之间的距离。距离LA由距离传感器64检测。第1判定部313在距离LA为阈值距离LS以下的情况下，判定为满足第3条件。阈值距离LS例如为0.8m。
这样，第1判定部313能够根据距离传感器64的检测结果，判定是否满足第2条件。
图7是示出显示面板331与HMD 100对置的状态的另一例的图。
如图7所示，从红外线通信部353向中心线CL所示的方向射出红外线。中心线CL与向量VN平行。向量VN表示显示面板331的显示面的法线向量。即，中心线CL与包含显示面板331的显示面的平面垂直。
相对于中心线CL处于倾斜角ηA以下的范围表示从红外线通信部353射出的红外线所到达的范围。换言之，倾斜角ηA表示从红外线通信部353射出的红外线的扩展角。
直线LB表示连结红外线传感器66与红外线通信部353的直线。倾斜角ηB表示直线LB相对于中心线CL的倾斜角。如图7所示，倾斜角ηB小于倾斜角ηA。因此，红外线传感器66接受从红外线通信部353射出的红外线。
在红外线传感器66接受到从红外线通信部353射出的红外线的情况下，第1判定部313判定为HMD 100位于显示面板331的显示面的法线方向。即，第1判定部313判定为满足第2条件。
这样，第1判定部313能够根据红外线传感器66的检测结果判定是否满足第2条件。
2-2.调整部的处理的说明
图8是示出显示面板331的位置包含在第1图像PT1中的状态的一例的画面图。
如图8所示，在半反射镜261以及半反射镜281中分别显示第1图像PT1。第1图像PT1包含图标A1～图标A5、图标B1～图标B5、图标C1～图标C5以及按钮P1～P3。另外，第1图像PT1不包含背面图像。即，在半反射镜261以及半反射镜281的各自中，在除了图标A1～图标A5、图标B1～图标B5、图标C1～图标C5以及按钮P1～P3以外的区域中，使用者能够看到外景。
另外，第1图像PT1包含显示面板331相对于HMD 100的位置。具体而言，在半反射镜261以及半反射镜281的各自中，图标A4、图标A5、图标B4以及图标B5的位置与显示面板331的位置一致。
因此，显示面板331的一部分分别被图标A4、图标A5、图标B4以及图标B5遮挡而隐藏。在这种情况下，使用者可能难以看到显示在显示面板331上的第2图像PT2。
图9是示出使第1图像PT1的一部分图像成为非显示的状态的一例的画面图。
如图9所示，调整部316使第1图像PT1的一部分图像成为非显示，使得显示面板331的位置不包含在第1图像PT1中。具体而言，调整部316使图标A4、图标A5、图标B4以及图标B5的各个图标成为非显示。
这样，通过使位于遮挡显示面板331的位置的图标A4、图标A5、图标B4以及图标B5的各个图标成为非显示，能够使显示面板331的位置不包含在第1图像PT1中。因此，使用者能够容易地看到显示在显示面板331上的第2图像PT2。其结果，使用者对触摸传感器332的操作变得容易。
在图9中，说明了调整部316使第1图像PT1的一部分图像成为非显示的情况，但调整部316也可以降低第1图像PT1的一部分图像的浓度。具体而言，调整部316也可以降低第1图像PT1中的、与显示面板331的位置对应的图像的浓度。更具体而言，调整部316也可以降低图标A4、图标A5、图标B4以及图标B5各自的浓度。
在这种情况下，由于图标A4、图标A5、图标B4以及图标B5各自的浓度被降低，因此使用者容易看到显示在显示面板331上的第2图像PT2。
另外，调整部316也可以执行使第1图像PT1的一部分图像半透明化的处理。具体而言，调整部316也可以执行使第1图像PT1中的、与显示面板331的位置对应的图像半透明化的处理。更具体而言，调整部316也可以执行使图标A4、图标A5、图标B4以及图标B5分别半透明化的处理。
在这种情况下，由于图标A4、图标A5、图标B4以及图标B5的各个图标被半透明化，因此使用者容易看到显示在显示面板331上的第2图像PT2。
图10是示出将第1图像PT1缩小并移动的状态的一例的画面图。
如图10所示，调整部316将第1图像PT1缩小并移动，使得显示面板331的位置不包含在第1图像PT1中。具体而言，调整部316将第1图像PT1缩小为50％，并将第1图像PT1移动到与半反射镜261以及半反射镜281各自的左边接触的位置。
这样，通过将第1图像PT1缩小并移动，能够使显示面板331的位置不包含在第1图像PT1中。因此，使用者能够容易地看到显示在显示面板331上的第2图像PT2。其结果，使用者对触摸传感器332的操作变得容易。另外，在该情况下，使用者也能够容易地看到第1图像PT1，因此使用者对触摸传感器332的操作变得更容易。
在图10中，说明了调整部316将第1图像PT1缩小并移动的情况，但调整部316也可以将第1图像PT1缩小或移动，使得显示面板331的位置不包含在第1图像PT1中。
在该情况下，能够简化调整部316的处理。因此，能够减轻第2控制部310的负荷。
3.智能手机的第2控制部的处理的说明
图11是示出HMD 100的第1控制部120以及智能手机300的第2控制部310的处理的流程图。
首先，如图11所示，在步骤S101中，第2控制部310取得由照相机61拍摄的外景图像数据。
接着，在步骤S103中，第1控制部120的视线检测部123取得内侧照相机68的拍摄图像数据。
接着，在步骤S105中，第1控制部120的视线检测部123根据内侧照相机68的拍摄图像数据，检测使用者的视线方向。
接着，在步骤S107中，第2控制部310的第1判定部313判定是否满足第1条件以及第2条件。具体而言，第1判定部313在显示面板331位于使用者的视野内并且HMD 100位于显示面板331的显示面的法线方向的情况下，判定为满足第1条件以及第2条件。
更具体而言，第1判定部313根据由照相机61形成的外景的图像、和由视线检测部123检测出的视线方向，判定显示面板331是否位于使用者的视野内。另外，第1判定部313根据红外线传感器66的检测结果，判定显示面板331是否与HMD 100对置。
在第1判定部313判定为不满足第1条件或第2条件的情况下(步骤S107：否)，处理进入步骤S113。
然后，在步骤S113中，第1判定部313判定为显示面板331不与HMD 100对置。然后，处理返回到步骤S101。
在第1判定部313判定为满足第1条件以及第2条件的情况下(步骤S107：是)，处理进入步骤S109。
然后，在步骤S109中，第1判定部313通过距离传感器64取得显示面板331与HMD100之间的距离LA。
接着，在步骤S111中，第1判定部313判定距离LA是否为阈值距离LS以下。
在第1判定部313判定为距离LA不在阈值距离LS以下的情况下(步骤S111：否)，然后，在步骤S113中，第1判定部313判定为显示面板331不与HMD 100对置。然后，处理返回到步骤S101。
在第1判定部313判定为距离LA为阈值距离LS以下的情况下(步骤S111：是)，处理进入步骤S115。
然后，在步骤S115中，第1判定部313判定为显示面板331与HMD 100对置。
接着，在步骤S117中，检测部314检测智能手机300的显示面板331相对于HMD100的位置。
接着，在步骤S119中，第2判定部315判定智能手机300的显示面板331相对于HMD100的位置是否包含在通过影像显示部20看到的第1图像PT1中。
在第2判定部315判定为显示面板331的位置不包含在第1图像PT1中的情况下(步骤S119：否)，处理返回到步骤S101。在第2判定部315判定为显示面板331的位置包含在第1图像PT1中的情况下(步骤S119：是)，处理进入步骤S121。
然后，在步骤S121中，调整部316调整影像显示部20中的第1图像PT1的显示。具体而言，调整部316调整第1图像PT1的显示，使得显示面板331的位置不包含在第1图像PT1中。然后，处理返回到步骤S101。
另外，图10的步骤S107和步骤S111对应于“第1判定步骤”的一例。步骤S117对应于“检测步骤”的一例。步骤S119对应于“第2判定步骤”的一例。步骤S121对应于“调整步骤”的一例。
4.本实施方式的效果
如以上说明的那样，在本实施方式中，HMD 100具有：影像显示部20，其构成为能够看到外景，并与所述外景重叠地显示第1图像PT1；以及第1显示控制部121，其使影像显示部20显示第1图像PT1。智能手机300具有：显示面板331，其显示第2图像PT2；触摸传感器332，其配置在显示面板331上，受理位置输入操作，并检测操作位置的坐标；第1判定部313，其判定显示面板331是否与HMD 100对置；检测部314，其检测显示面板331相对于HMD 100的位置；第2判定部315，其判定显示面板331相对于HMD 100的位置是否包含在通过影像显示部20看到的第1图像PT1中；以及调整部316，其根据第1判定部313的判定结果和第2判定部315的判定结果，调整影像显示部20中的第1图像PT1的显示。
因此，例如，在第1判定部313判定为显示面板331与HMD 100对置、并且第2判定部315判定为显示面板331相对于HMD 100的位置包含在通过影像显示部20看到的第1图像PT1中的情况下，调整部316调整影像显示部20中的第1图像PT1的显示。因此，通过调整影像显示部20中的第1图像PT1的显示，能够提高显示在显示面板331上的第2图像PT2的可视性。其结果是，能够提高使用者对触摸传感器332的操作性。
另外，HMD 100具有拍摄外景的照相机61，第1判定部313根据照相机61拍摄的图像来判定智能手机300的显示面板331是否与HMD 100对置。
因此，第1判定部313能够准确地判定智能手机300的显示面板331是否与HMD100对置。
另外，HMD 100具有检测使用者的视线方向的视线检测部123，第1判定部313根据视线检测部123的检测结果，判定智能手机300的显示面板331是否与HMD 100对置。
因此，第1判定部313能够准确地判定智能手机300的显示面板331是否与HMD100对置。
另外，智能手机300具有射出红外线的红外线通信部353，HMD 100具有接受红外线的红外线传感器66，第1判定部313根据红外线传感器66的检测结果，判定智能手机300的显示面板331是否与HMD 100对置。
因此，第1判定部313能够准确地判定智能手机300的显示面板331是否与HMD100对置。
另外，红外线通信部353向显示面板331的显示面的法线方向射出红外线。
因此，第1判定部313能够准确地判定智能手机300的显示面板331是否与HMD100对置。
另外，HMD 100具有检测距离的距离传感器64，第1判定部313根据由距离传感器64检测出的、HMD 100与显示面板331之间的距离LA，判定显示面板331是否与HMD 100对置。
在距离LA大于阈值距离LS的情况下，第1判定部313判定为显示面板331不与HMD100对置。因此，通过适当地设定阈值距离LS的值，能够准确地判定显示面板331是否与HMD100对置。
另外，在第1判定部313判定为显示面板331与HMD 100对置、并且第2判定部315判定为显示面板331相对于HMD 100的位置包含在通过影像显示部20看到的第1图像PT1中的情况下，调整部316调整影像显示部20中的第1图像PT1的显示。
因此，通过调整影像显示部20中的第1图像PT1的显示，能够提高显示在显示面板331上的第2图像PT2的可视性。因此，能够提高使用者对触摸传感器332的操作性。
另外，调整部316降低影像显示部20的第1图像PT1中的、与显示面板331的位置对应的图像的浓度。
因此，能够提高显示在显示面板331上的第2图像PT2的可视性。因此，能够提高使用者对触摸传感器332的操作性。
另外，调整部316调整影像显示部20中的第1图像PT1的显示，使得显示面板331的位置不包含在第1图像PT1中。
因此，由于显示面板331的位置不包含在第1图像PT1中，所以能够提高显示在显示面板331上的第2图像PT2的可视性。因此，能够提高使用者对触摸传感器332的操作性。
另外，调整部316使影像显示部20中的第1图像PT1的至少一部分的图像成为非显示，使得显示面板331的位置不包含在第1图像PT1中。
调整部316例如使第1图像PT1中的、与显示面板331的位置对应的图像成为非显示。因此，能够通过简单的处理提高显示在显示面板331上的第2图像PT2的可视性。
另外，调整部316移动影像显示部20中的第1图像PT1的显示位置，使得显示面板331的位置不包含在第1图像PT1中。
因此，能够通过简单的处理提高显示在显示面板331上的第2图像PT2的可视性。
另外，调整部316将影像显示部20中的第1图像PT1缩小来进行显示，使得显示面板331的位置不包含在第1图像PT1中。
因此，能够通过简单的处理提高显示在显示面板331上的第2图像PT2的可视性。
5.其他实施方式
本发明不限于上述实施方式的结构，能够在不脱离其主旨的范围内以各种方式实施。
例如，在上述实施方式中，“信息处理装置”是智能手机300，但不限于此。“信息处理装置”只要构成为使用者能够携带，并且具有显示部、位置输入部以及控制部即可。例如，“信息处理装置”可以是PDA终端，也可以是平板型个人计算机。
另外，在上述实施方式中，第1判定部313根据照相机61拍摄的外景图像、内侧照相机68拍摄的图像以及红外线传感器66的检测结果，判定智能手机300的显示面板331是否与HMD 100对置，但本发明并不限定于此。第1判定部313只要根据照相机61拍摄的外景图像、内侧照相机68拍摄的图像以及红外线传感器66的检测结果中的至少一个，判定智能手机300的显示面板331是否与HMD 100对置即可。
另外，在上述实施方式中，第1判定部313在显示面板331位于使用者的视野内、HMD100位于显示面板331的显示面的法线方向并且HMD 100与显示面板331之间的距离LA为阈值距离LS以下的情况下，判定为显示面板331与HMD 100对置，但本发明并不限定于此。第1判定部313也可以根据显示面板331是否位于使用者的视野内并且HMD 100是否位于显示面板331的显示面的法线方向、HMD 100是否位于显示面板331的显示面的法线方向、以及HMD100与显示面板331之间的距离LA是否为阈值距离LS以下中的至少一个，来判定显示面板331是否与HMD 100对置。
另外，在上述实施方式中，例示了连接装置10与影像显示部20有线连接的结构，但不限于此，也可以采用影像显示部20与连接装置10无线连接的结构。
另外，也可以将连接装置10所具有的一部分功能设置在影像显示部20上，还可以通过多个装置来实现连接装置10。例如，也可以代替连接装置10，而使用能够安装于使用者的身体、服装或者使用者随身佩戴的饰品的可佩戴器件。该情况下的可佩戴器件例如可以是时钟型的装置、戒指型的装置、激光指针、鼠标、空中鼠标、游戏控制器、笔型的器件等。
另外，在上述实施方式中，以影像显示部20与连接装置10分离并经由连接线缆40而连接的结构为例进行了说明。不限于此，连接装置10与影像显示部20也可以一体地构成，并佩戴于使用者的头部。
另外，在上述实施方式中，使用者透过显示部看到外景的结构并不限定于右导光板26和左导光板28使外部光透过的结构。例如也能够应用于在无法看到外景的状态下显示图像的显示装置。具体而言，能够应用于显示照相机61的拍摄图像、根据该拍摄图像而生成的图像或CG、基于预先存储的影像数据或从外部输入的影像数据的影像等的显示装置。作为这种显示装置，能够包含无法看到外景的所谓的封闭型的显示装置。例如，如果构成为通过影像显示部20显示将由照相机61拍摄的外景的图像与显示图像合成后的合成图像，则即使影像显示部20不使外部光透过，也能够以使用者能够看到外景和图像的方式进行显示。当然还能够应用于这样的所谓视频透视型的显示装置。
另外，例如也可以代替影像显示部20而采用例如像帽子那样佩戴的图像显示部等其他方式的图像显示部，只要具有与使用者的左眼LE对应地显示图像的显示部、和与使用者的右眼RE对应地显示图像的显示部即可。另外，显示装置例如也可以构成为搭载在汽车或飞机等车辆上的HMD。并且，例如也可以构成为内置于头盔等身体防护器具的HMD。在该情况下，能够将对相对于使用者身体的位置进行定位的部分和相对于该部分进行定位的部分作为佩戴部。
此外，作为将图像光引导至使用者的眼睛的光学系统，例示了在右导光板26和左导光板28的一部分上通过半反射镜261、281形成虚像的结构。不限于此，也可以构成为在具有占据右导光板26和左导光板28的整个面或者大部分的面积的显示区域显示图像。在该情况下，在使图像的显示位置发生变化的动作中，可以包含将图像缩小的处理。
并且，光学元件不限于具有半反射镜261、281的右导光板26、左导光板28，只要是使图像光入射到使用者的眼睛的光学部件即可，具体而言，可以使用衍射光栅、棱镜、全息显示部。
另外，图4、图5等所示的各功能块中的至少一部分可以构成为通过硬件来实现，也可以构成为通过硬件和软件的协作来实现，并不限定于图示那样配置独立的硬件资源的结构。
另外，第2控制部310执行的控制程序也可以存储在非易失性存储部320或第2控制部310内的其他存储部中。另外，也可以构成为经由通信部345等取得并执行存储在外部装置中的控制程序。
另外，在连接装置10上形成的结构也可以重复地形成在影像显示部20上。例如，可以构成为将与连接装置10的处理器同样的处理器配置在影像显示部20中，也可以构成为连接装置10所具有的处理器和影像显示部20的处理器分别执行分开的功能。
另外，为了容易理解HMD 100的第1控制部120以及智能手机300的第2控制部310的处理，而将图11所示的流程图的处理单位根据主要的处理内容进行了分割。实施方式不受图11所示的流程图所示的处理单位的分割方法或名称限制。另外，第2控制部310的处理也可以根据处理内容而分割成更多的处理单位，还可以以一个处理单位包含更多处理的方式进行分割。另外，上述流程图的处理顺序也不限于图示的例子。
另外，可以由第1控制部120执行第2控制部310的处理，也可以由第2控制部310执行第1控制部120的处理。
另外，智能手机300的控制方法能够通过使智能手机300所具有的计算机执行与智能手机300的控制方法对应的控制程序来实现。另外，该控制程序也可以预先记录在以计算机可读取的方式进行记录的记录介质中。作为记录介质，能够使用磁记录介质、光学记录介质或者半导体存储器件。具体而言，可以列举软盘、CD-ROM(Compact Disk Read OnlyMemory：光盘只读存储器)、DVD(Digital Versatile Disc：数字多功能光盘)、Blu-ray(注册商标)Disc、磁光盘、闪存、卡型记录介质等可移动型或者固定式的记录介质。另外，记录介质也可以是作为图像显示装置所具有的内部存储装置的RAM、ROM、HDD等非易失性存储装置。另外，也可以将与智能手机300的控制方法对应的控制程序预先存储在服务器装置等中，并从服务器装置向智能手机300下载控制程序，由此，实现智能手机300的控制方法。

Claims (9)

1.一种显示系统，其具有佩戴于使用者的头部的显示装置和与所述显示装置连接的信息处理装置，
所述显示装置具有：
第1显示部，其构成为能够看到外景，并与所述外景重叠地显示第1图像；以及
第1显示控制部，其使所述第1显示部显示所述第1图像，
所述信息处理装置具有：
第2显示部，其显示第2图像；
位置输入部，其配置于所述第2显示部，受理位置输入操作，并检测操作位置的坐标；
第1判定部，其判定所述第2显示部是否与所述显示装置对置；
检测部，其检测所述第2显示部相对于所述显示装置的位置；
第2判定部，其判定所述第2显示部相对于所述显示装置的位置是否包含在通过所述第1显示部看到的所述第1图像中；以及
调整部，其根据所述第1判定部的判定结果和所述第2判定部的判定结果，调整所述第1显示部中的所述第1图像的显示，
在所述第2显示部位于所述使用者的视野内、所述显示装置位于所述第2显示部的显示面的法线方向上且所述第2显示部与所述显示装置之间的距离为阈值距离以下这三个条件均满足的情况下，所述第1判定部判定为所述第2显示部与所述显示装置对置，
该显示系统进行所述第1图像与所述第2图像一致的镜像显示，
在所述第1判定部判定为所述第2显示部与所述显示装置对置、并且所述第2判定部判定为所述第2显示部相对于所述显示装置的位置包含在通过所述第1显示部看到的所述第1图像中的情况下，所述调整部使所述第1显示部中的所述第1图像的遮挡所述第2图像的部分成为非显示，由此提高显示在所述第2显示部中的与所述第1图像一致的所述第2图像的可视性。
2.根据权利要求1所述的显示系统，其中，
所述显示装置具有拍摄所述外景的摄像部，
所述第1判定部根据所述摄像部拍摄的图像，判定所述信息处理装置的所述第2显示部是否与所述显示装置对置。
3.根据权利要求1或2所述的显示系统，其中，
所述显示装置具有检测所述使用者的视线方向的视线检测部，
所述第1判定部根据所述视线检测部的检测结果，判定所述信息处理装置的所述第2显示部是否与所述显示装置对置。
4.根据权利要求1所述的显示系统，其中，
所述信息处理装置具有射出红外线的红外线射出部，
所述显示装置具有接受所述红外线的红外线受光部，
所述第1判定部根据所述红外线受光部的受光结果，判定所述信息处理装置的所述第2显示部是否与所述显示装置对置。
5.根据权利要求4所述的显示系统，其中，
所述红外线射出部沿所述第2显示部的显示面的法线方向射出所述红外线。
6.根据权利要求1所述的显示系统，其中，
所述显示装置具有检测距离的距离传感器，
所述第1判定部根据由所述距离传感器检测出的、所述显示装置与所述第2显示部之间的距离，判定所述第2显示部是否与所述显示装置对置。
7.根据权利要求1所述的显示系统，其中，
所述信息处理装置具有：
第2显示控制部，其使所述第2显示部显示所述第2图像；以及
传送部，其将表示所述第2图像的数据传送到所述显示装置。
8.一种计算机可读的记录介质，其中，该记录介质记录有信息处理装置的控制程序，该信息处理装置与佩戴于使用者的头部的具有第1显示部的显示装置连接，并具有显示第2图像的第2显示部、配置于所述第2显示部的位置输入部以及计算机，该第1显示部构成为能够看到外景，并与所述外景重叠地显示第1图像，
该控制程序使所述计算机作为如下部分发挥功能：
第1判定部，其判定所述第2显示部是否与所述显示装置对置；
检测部，其检测所述信息处理装置的所述第2显示部相对于所述显示装置的位置；
第2判定部，其判定所述第2显示部相对于所述显示装置的位置是否包含在所述第1显示部所显示的所述图像中；以及
调整部，其根据所述第1判定部的判定结果和所述第2判定部的判定结果，调整所述第1显示部中的所述图像的显示，
在所述第2显示部位于所述使用者的视野内、所述显示装置位于所述第2显示部的显示面的法线方向上且所述第2显示部与所述显示装置之间的距离为阈值距离以下这三个条件均满足的情况下，所述第1判定部判定为所述第2显示部与所述显示装置对置，
所述信息处理装置和所述显示装置进行所述第1图像与所述第2图像一致的镜像显示，
在所述第1判定部判定为所述第2显示部与所述显示装置对置、并且所述第2判定部判定为所述第2显示部相对于所述显示装置的位置包含在通过所述第1显示部看到的所述第1图像中的情况下，所述调整部使所述第1显示部中的所述第1图像的遮挡所述第2图像的部分成为非显示，由此提高显示在所述第2显示部中的与所述第1图像一致的所述第2图像的可视性。
9.一种信息处理装置的控制方法，该信息处理装置与佩戴于使用者的头部的具有第1显示部的显示装置连接，并具有显示第2图像的第2显示部、配置于所述第2显示部的位置输入部以及计算机，该第1显示部构成为能够看到外景，并与所述外景重叠地显示第1图像，该信息处理装置的控制方法包含如下步骤：
第1判定步骤，判定所述第2显示部是否与所述显示装置对置；
检测步骤，检测所述信息处理装置的所述第2显示部相对于所述显示装置的位置；
第2判定步骤，判定所述第2显示部相对于所述显示装置的位置是否包含在所述第1显示部所显示的所述图像中；以及
调整步骤，根据所述第1判定步骤的判定结果和所述第2判定步骤的判定结果，调整所述第1显示部中的所述图像的显示，
在所述第2显示部位于所述使用者的视野内、所述显示装置位于所述第2显示部的显示面的法线方向上且所述第2显示部与所述显示装置之间的距离为阈值距离以下这三个条件均满足的情况下，所述第1判定步骤判定为所述第2显示部与所述显示装置对置，
所述信息处理装置和所述显示装置进行所述第1图像与所述第2图像一致的镜像显示，
在所述第1判定步骤判定为所述第2显示部与所述显示装置对置、并且所述第2判定步骤判定为所述第2显示部相对于所述显示装置的位置包含在通过所述第1显示部看到的所述第1图像中的情况下，所述调整步骤使所述第1显示部中的所述第1图像的遮挡所述第2图像的部分成为非显示，由此提高显示在所述第2显示部中的与所述第1图像一致的所述第2图像的可视性。
CN202010101284.9A 2019-02-21 2020-02-19 显示系统、记录介质以及信息处理装置的控制方法 Active CN111600990B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019029701A JP7238456B2 (ja) 2019-02-21 2019-02-21 表示システム、情報処理装置の制御プログラム、及び情報処理装置の制御方法
JP2019-029701 2019-02-21

Publications (2)

Publication Number Publication Date
CN111600990A CN111600990A (zh) 2020-08-28
CN111600990B true CN111600990B (zh) 2022-04-26

Family

ID=72142979

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010101284.9A Active CN111600990B (zh) 2019-02-21 2020-02-19 显示系统、记录介质以及信息处理装置的控制方法

Country Status (3)

Country Link
US (1) US11393431B2 (zh)
JP (1) JP7238456B2 (zh)
CN (1) CN111600990B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10698481B1 (en) 2017-09-28 2020-06-30 Apple Inc. Glint-assisted gaze tracker
JP2021064320A (ja) * 2019-10-17 2021-04-22 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2022056043A (ja) * 2020-09-29 2022-04-08 セイコーエプソン株式会社 表示システム、表示方法及びプログラム
JP6892960B1 (ja) * 2020-09-29 2021-06-23 Kddi株式会社 制御装置、情報処理システム、制御方法及びプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102540464A (zh) * 2010-11-18 2012-07-04 微软公司 提供环绕视频的头戴式显示设备
JP2012204998A (ja) * 2011-03-24 2012-10-22 Seiko Epson Corp 頭部装着型表示装置および頭部装着型表示装置の制御方法
CN103999030A (zh) * 2011-12-26 2014-08-20 索尼公司 头戴式显示器和信息显示装置
EP3327544A1 (en) * 2016-11-25 2018-05-30 Nokia Technologies OY An apparatus, associated method and associated computer readable medium
CN108474950A (zh) * 2016-01-20 2018-08-31 三星电子株式会社 Hmd设备及其控制方法
CN108508599A (zh) * 2017-02-27 2018-09-07 精工爱普生株式会社 显示装置和显示装置的控制方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9217867B2 (en) * 2011-03-24 2015-12-22 Seiko Epson Corporation Head-mounted display device and control method for the head-mounted display device
JP6064316B2 (ja) 2011-11-28 2017-01-25 セイコーエプソン株式会社 透過型表示装置、及び操作入力方法
WO2014188798A1 (ja) * 2013-05-21 2014-11-27 ソニー株式会社 表示制御装置、表示制御方法および記録媒体
US9448621B2 (en) * 2013-12-20 2016-09-20 Nokia Technologies Oy Causation of display of information on a see through display
KR102182161B1 (ko) * 2014-02-20 2020-11-24 엘지전자 주식회사 Hmd 및 그 제어 방법
JP2015197694A (ja) 2014-03-31 2015-11-09 シャープ株式会社 携帯端末装置およびその制御方法
US20150348322A1 (en) * 2014-06-02 2015-12-03 Dell Products L.P. Dynamically Composited Information Handling System Augmented Reality at a Primary Display
WO2016021252A1 (ja) * 2014-08-05 2016-02-11 ソニー株式会社 情報処理装置及び情報処理方法、並びに画像表示システム
EP2996017B1 (en) * 2014-09-11 2022-05-11 Nokia Technologies Oy Method, apparatus and computer program for displaying an image of a physical keyboard on a head mountable display
KR102243656B1 (ko) * 2014-09-26 2021-04-23 엘지전자 주식회사 모바일 디바이스, hmd 및 시스템
US10591729B2 (en) * 2015-05-29 2020-03-17 Kyocera Corporation Wearable device
US9865091B2 (en) * 2015-09-02 2018-01-09 Microsoft Technology Licensing, Llc Localizing devices in augmented reality environment
US10163198B2 (en) * 2016-02-26 2018-12-25 Samsung Electronics Co., Ltd. Portable image device for simulating interaction with electronic device
JP2018185638A (ja) 2017-04-25 2018-11-22 パナソニックＩｐマネジメント株式会社 表示装置、透過型ヘッドマウントディスプレイ、制御装置および表示システム
CN116224596A (zh) * 2018-06-25 2023-06-06 麦克赛尔株式会社 头戴式显示器、头戴式显示器协作系统及其方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102540464A (zh) * 2010-11-18 2012-07-04 微软公司 提供环绕视频的头戴式显示设备
JP2012204998A (ja) * 2011-03-24 2012-10-22 Seiko Epson Corp 頭部装着型表示装置および頭部装着型表示装置の制御方法
CN103999030A (zh) * 2011-12-26 2014-08-20 索尼公司 头戴式显示器和信息显示装置
CN108474950A (zh) * 2016-01-20 2018-08-31 三星电子株式会社 Hmd设备及其控制方法
EP3327544A1 (en) * 2016-11-25 2018-05-30 Nokia Technologies OY An apparatus, associated method and associated computer readable medium
WO2018096207A1 (en) * 2016-11-25 2018-05-31 Nokia Technologies Oy An apparatus, associated method and associated computer readable medium
CN108508599A (zh) * 2017-02-27 2018-09-07 精工爱普生株式会社 显示装置和显示装置的控制方法

Also Published As

Publication number Publication date
US20200273432A1 (en) 2020-08-27
US11393431B2 (en) 2022-07-19
JP7238456B2 (ja) 2023-03-14
CN111600990A (zh) 2020-08-28
JP2020135544A (ja) 2020-08-31

Similar Documents

Publication Publication Date Title
CN111600990B (zh) 显示系统、记录介质以及信息处理装置的控制方法
US20200374508A1 (en) Display apparatus and method for controlling display apparatus
US10657722B2 (en) Transmissive display device, display control method, and computer program
JP7243193B2 (ja) 表示システム、表示システムの制御方法、情報処理装置、及び情報処理装置の制御プログラム
US20190227642A1 (en) Head-mounted display apparatus and method of controlling head-mounted display apparatus
US11353704B2 (en) Head mounted device (HMD) coupled to smartphone executing personal authentication of a user
US20210200284A1 (en) Image display device, power supply system, and power supply method for image display device
US10171866B2 (en) Display system, display device, head-mounted display device, display control method, control method for display device, and computer program
CN112558300B (zh) 显示系统、记录介质、信息处理装置的控制方法和显示装置
CN112526749B (zh) 显示装置、记录介质、显示装置的控制方法和显示系统
CN111488072B (zh) 信息处理装置、信息处理装置的控制方法以及记录介质
CN112581920B (zh) 显示系统、显示控制方法以及记录介质
CN111556310B (zh) 显示系统、记录介质以及信息处理装置的控制方法
US20240027765A1 (en) Control device, control method for head-mounted display device, and program
JP2021057747A (ja) 表示システム、画像表示装置、画像表示方法及びプログラム
JP2021047370A (ja) 表示装置、表示装置の制御方法、表示装置の制御プログラム、及び表示システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant