CN108508599A - 显示装置和显示装置的控制方法 - Google Patents

显示装置和显示装置的控制方法 Download PDF

Info

Publication number
CN108508599A
CN108508599A CN201810122197.4A CN201810122197A CN108508599A CN 108508599 A CN108508599 A CN 108508599A CN 201810122197 A CN201810122197 A CN 201810122197A CN 108508599 A CN108508599 A CN 108508599A
Authority
CN
China
Prior art keywords
image
hmd
shifter
display
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810122197.4A
Other languages
English (en)
Other versions
CN108508599B (zh
Inventor
小泽惠实
小林伸
小林伸一
高野正秀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to CN202111196650.4A priority Critical patent/CN113885208B/zh
Publication of CN108508599A publication Critical patent/CN108508599A/zh
Application granted granted Critical
Publication of CN108508599B publication Critical patent/CN108508599B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2003Display of colours
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0016Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the operator's input device
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C39/00Aircraft not otherwise provided for
    • B64C39/02Aircraft not otherwise provided for characterised by special use
    • B64C39/024Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14Display of multiple viewports
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/243Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0118Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10Simultaneous control of position or course in three dimensions
    • G05D1/101Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/102Simultaneous control of position or course in three dimensions specially adapted for aircraft specially adapted for vertical take-off of aircraft
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0271Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping
    • G09G2320/0276Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping for the purpose of adaptation to the characteristics of a display device, i.e. gamma correction
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0626Adjustment of display parameters for control of overall brightness
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/14Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Optics & Photonics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Digital Computer Display Output (AREA)
  • Studio Devices (AREA)

Abstract

提供显示装置和显示装置的控制方法,能够与外景的可视性对应地适当调整透射型显示装置显示的图像的可视性。HMD(100)具有:图像显示部(20),其通过使外部光透过而以能够目视外景的方式显示图像;移动体位置取得部,其取得移动器(310)的位置;操作检测部,其检测操作;以及显示控制部,其使图像显示部(20)显示图像。显示控制部执行图像显示控制,在该图像显示控制中,根据由移动体位置取得部取得的移动器(310)的位置和由操作检测部检测的操作,控制由图像显示部(20)显示的图像相对于透过图像显示部(20)的外部光的可视性。

Description

显示装置和显示装置的控制方法
技术领域
本发明涉及显示装置和显示装置的控制方法。
背景技术
以往,已知有观察透过图像显示部的外景的透射型显示装置(例如,参照专利文献1)。这种显示装置例如能够在如下方法中使用:在显示了图像的状态下,观察该显示图像和外景双方。
此外,以往,已知有能够远程操纵的无人机(所谓无人驾驶飞机)(例如,参照专利文献2)。专利文献2记载的无人机是具有导航姿势控制系统的四翼直升机(quadricopter),搭载照相机。
专利文献1:日本特开2017-022635号公报
专利文献2:日本特开2006-12042号公报
专利文献1所记载的透射型显示装置例如能够进行如下的利用:显示专利文献2所记载的无人机拍摄的图像,观察实际空间的无人机作为外景。在这样的利用方法中,能够一边目视外景即实际空间的无人机,一边观察该拍摄图像,认为是有用的。
但是,透射型显示装置显示的图像的可视性受到透过显示装置的外部光的影响。因此,可考虑在显示装置显示图像的情况下,进行考虑了外部光的影响的处理。但是,以往不存在兼顾目视外景和观察透射型显示装置显示的图像的方法。
发明内容
本发明的目的在于提供一种能够在透射型显示装置中与外景的可视性结合来适当地调整透射型显示装置显示的图像的可视性的显示装置以及显示装置的控制方法。
为了解决上述课题,本发明的显示装置具有:显示部,其通过使外部光透过而以能够目视外景的方式显示图像;移动体位置取得部,其取得移动体的位置;操作检测部,其检测操作;以及显示控制部,其使所述显示部显示图像,所述显示控制部执行可视性控制处理,在该可视性控制处理中,根据由所述移动体位置取得部取得的所述移动体的位置以及由所述操作检测部检测的操作,控制由所述显示部显示的图像相对于透过所述显示部的外部光的可视性。
根据本发明,通过根据移动体的位置和操作来控制显示图像相对于外景的可视性,能够适当地调整实际空间的移动体的可视性和显示图像的可视性。例如,能够根据移动体的位置,判定观察移动体作为外景的可能性,因此能够与该可能性对应地进行提高移动体的可视性的控制和提高显示图像的可视性的控制等。
此外,在上述结构中,也可以构成为,具有图像取得部,该图像取得部取得与所述移动体拍摄的拍摄图像相关的图像数据,所述显示控制部使所述显示部显示基于由所述图像取得部取得的所述图像数据的图像。
根据该结构,能够显示与移动体拍摄的拍摄图像相关的图像,并相对于被观察为外景的移动体的可视性适当地调整该图像的可视性。
此外,在上述结构中,也可以构成为,所述图像取得部取得与多个所述移动体拍摄的各个拍摄图像相关的多个所述图像数据,所述显示控制部使所述显示部显示基于由所述图像取得部取得的多个所述图像数据的多个所述图像,通过所述可视性控制处理来控制多个所述图像的可视性。
根据该结构,在显示与多个移动体相关的多个图像的情况下,能够适当地调整这些多个图像的可视性。
此外,在上述结构中,也可以构成为,所述显示控制部以使得根据由所述图像取得部取得的多个所述图像数据而显示于所述显示部的多个所述图像的可视性之差变小的方式执行所述可视性控制处理。
根据该结构,在显示与多个移动体相关的多个图像的情况下,能够实现容易观察全部这些多个图像的状态。
此外,在上述结构中,也可以构成为,所述显示控制部以使得根据由所述图像取得部取得的多个所述图像数据而显示于所述显示部的多个所述图像中的一部分所述图像的可视性高于其他所述图像的方式执行所述可视性控制处理。
根据该结构,在显示与多个移动体相关的多个图像的情况下,能够提高一部分的图像的可视性,例如能够使显示装置的使用者关注特定图像。
此外,在上述结构中,也可以构成为,所述移动体位置取得部取得透过所述显示部而观察实际空间的所述移动体的观察位置,所述显示控制部与所述移动体位置取得部取得的所述移动体的观察位置对应地执行所述可视性控制处理。
根据该结构,能够与由显示部观察移动体的位置对应地适当调整显示图像相对于外景的可视性。
此外,在上述结构中,也可以构成为,所述显示控制部使与所述移动体相关联的图像显示在与所述移动体的观察位置对应的位置。
根据该结构,能够有效地显示与观察为外景的移动体相关的信息。
此外,在上述结构中,也可以构成为,所述移动体位置取得部取得所述移动体相对于所述显示部的相对位置。
根据该结构,能够与使用显示装置的使用者如何观察到移动器对应地适当显示显示图像。
此外,在上述结构中,也可以构成为,所述显示控制部使所述显示部显示表示由所述移动体位置取得部取得的所述移动体的位置的信息。
根据该结构,能够使使用显示装置的使用者有效地看到与移动体的位置相关的信息。
此外,在上述结构中,也可以构成为,所述显示控制部根据图像数据使所述显示部显示所述图像,构成为能够执行针对所述图像数据的亮度调整、色调调整、伽玛校正中的至少任意一个,在所述可视性控制处理中,变更所述图像数据的亮度、色调和伽玛校正值中的至少任意一个。
根据该结构,能够有效地调整显示图像相对于外景的可视性。
此外,在上述结构中,也可以构成为,所述显示控制部通过执行所述可视性控制处理,根据所述操作检测部检测的操作而切换第1模式和第2模式,在该第1模式下,使透过所述显示部而观察的所述外景的可视性高于由所述显示部显示的图像的可视性,在该第2模式下,相对于透过所述显示部的外部光而提高所述显示部显示的图像的可视性。
根据该结构,能够与操作对应地切换外景和显示图像的可视性的优先级,能够实现便利性的提高。
此外,在上述结构中,也可以构成为,具有外部光检测部,该外部光检测部检测外部光,所述显示控制部与由所述外部光检测部检测的外部光对应地执行所述可视性控制处理。
根据该结构,能够更加适当地调整显示图像相对于外部光的可视性。
此外,在上述结构中,也可以是具有佩戴于使用者的头部的所述显示部的头部佩戴型显示装置的结构。
根据该结构,适当地控制使用者透过佩戴于头部的显示部而观察的外景和显示图像的可视性,能够实现便利性的提高。
此外,为了解决上述课题,本发明是一种显示装置的控制方法,该显示装置具有显示部,该显示部通过使外部光透过而以能够目视外景的方式显示图像,该控制方法包括以下步骤:取得移动体的位置;检测操作;以及执行可视性控制处理,在该可视性控制处理中,根据所述移动体的位置和操作,控制由所述显示部显示的图像相对于透过所述显示部的外部光的可视性。
根据本发明,通过根据移动体的位置和操作来控制显示图像相对于外景的可视性,能够适当地调整实际空间的移动体的可视性和显示图像的可视性。例如,能够根据移动体的位置,判定观察移动体作为外景的可能性,因此能够与该可能性对应地进行提高移动体的可视性的控制和提高显示图像的可视性的控制等。
本发明还能够用除了上述显示装置和显示装置的控制方法以外的各种方式实现。例如,还能够构成为包含上述显示装置和移动体的显示系统。此外,还能够构成为包含上述显示装置、移动体和操纵上述移动体的操纵装置的系统。此外,为了执行上述控制方法,还可以作为由控制部或计算机执行的程序来实现。此外,能够用如下等方式实现:记录了上述程序的记录介质、发布程序的服务器装置、传输上述程序的传输介质、在载波内将上述程序具体化后的数据信号。
附图说明
图1是移动器复合控制系统的概略结构图。
图2是移动器的功能框图。
图3是示出HMD的外观结构的说明图。
图4是示出图像显示部的光学系统的结构的图。
图5是示出图像显示部的结构的立体图。
图6是示出图像显示部与拍摄范围的对应的示意图。
图7是HMD的框图。
图8是HMD的控制部和存储部的功能框图。
图9是示出移动器的动作的流程图。
图10是示出HMD的动作的流程图。
图11是示出HMD的显示例的图。
图12是示出HMD的动作的流程图。
图13是示出HMD之间的数据的收发涉及的动作的时序图。
图14是示出HMD的动作的流程图。
图15是示出HMD的动作的流程图。
图16是示出外景的观察特性的图表。
图17是示出图像显示部显示的图像的观察特性的图表。
图18是示出HMD的显示例的图。
图19是示出HMD的显示例的图。
图20是示出HMD的显示例的图。
标号说明
1:移动器复合控制系统;10:控制装置;20:图像显示部(显示部);61:HMD照相机(外部光检测部);63:麦克风;64:距离传感器;65:照度传感器(外部光检测部);67:LED指示器;68:内侧照相机;69:温度传感器;100、100A、100B、100C:HMD(显示装置);110:操作部;111:6轴传感器;113:磁传感器;115:GPS;117:HMD通信部(图像取得部);118:存储器;120:控制器基板;121:非易失性存储部;130:电源部;132:电池;134:电源控制电路;140:主处理器;141:HMD控制部;143:操作系统;145:图像处理部;147:显示控制部;149:拍摄控制部;151:检测控制部;153:通信控制部;155:位置估计部(移动体位置取得部);157:操作检测部;159:指令生成部;170:HMD存储部;171:设定数据;173:拍摄图像数据;174:移动器识别数据;175:移动区数据;180:语音编解码器;182:语音接口;184:外部连接器;186:外部存储器接口;188:USB连接器;192:传感器集线器;194:FPGA;196:接口;211:接口;213:接收部;215:EEPROM;215:ROM;217:温度传感器;221:OLED单元;223:OLED面板;225:OLED驱动电路;227:右电子遮光件;228:遮光件驱动部;229:液晶面板;227:右电子遮光件;231:接口;233:接收部;235:传感器;235:6轴传感器;237:磁传感器;239:温度传感器;241:OLED单元;243:OLED面板;245:OLED驱动电路;247:左电子遮光件;248:遮光件驱动部;247:左电子遮光件;249:液晶面板;251:右光学系统;252:左光学系统;261:半反射镜;281:半反射镜;300、300A、300B、300C:移动器控制系统;310、310A、310B、310C:移动器(移动体);335:移动器照相机;336:摄像元件;337:变焦机构;341:移动器控制部;342:移动器存储部;343:移动器通信部;344:GPS装置;345:飞行控制部;346:照相机控制部;347:电机控制器;348:姿势传感器;349:指示器;V1:显示区域;VR:视野。
具体实施方式
图1是应用了本发明的实施方式的移动器复合控制系统1的概略结构图。
移动器复合控制系统1是由移动器控制系统300构成的显示系统,该移动器控制系统300具有移动器(移动体)310、以及操纵移动器310的操作员佩戴并使用的HMD(HeadMounted Display:头部佩戴型显示装置)100。移动器复合控制系统1是多个操作员分别佩戴HMD 100(显示装置)并操纵移动器310的结构,包含多个移动器控制系统300。
在图1的例子中,由3个移动器控制系统300A、300B、300C构成移动器复合控制系统1。构成移动器复合控制系统1的移动器控制系统300的数量、即HMD 100的数量和移动器310的数量是任意的,可以为2个以下,也可以为4个以上。此外,移动器复合控制系统1可以包含不操纵移动器310的操作员佩戴的HMD 100。
在下面的说明中,利用标号区分多个HMD 100和移动器310,记述为HMD 100A、100B、100C和移动器310A、310B、310C。在需要区分各个HMD 100的情况下记载为HMD 100A、100B、100C,在不区分的情况下记载为HMD 100。同样,在需要区分各个移动器310的情况下记载为移动器310A、310B、310C,在不区分的情况下记载为移动器310。
此外,虽然未图示,但移动器310A被操作员A操纵,移动器310B被操作员B操纵,移动器310C被操作员C操纵。操作员能够称作用户或者使用者,在下面的说明中称作使用者。
在本实施方式中,作为本发明的移动体的一个方式,例示移动器310。移动器310是借助4个螺旋桨321、322、323、324的旋转而进行飞行的飞行体。移动器310是或者被称作表示无人机(UAV:Unmanned Aerial Vehicle)的无人驾驶飞机(Drone)的一种,还能够称作四机翼直升机。移动器310被HMD 100远程操纵。即,移动器310A被HMD 100A远程操纵,同样,移动器310B被HMD 100B远程操纵,移动器310C被HMD 100C远程操纵。
螺旋桨321、322、323、324分别由飞行电机331、332、333、334驱动而旋转,使移动器310悬浮。此外,在移动器310上设置有移动器照相机335,能够向HMD 100发送由移动器照相机335拍摄的拍摄图像。移动器照相机335可以直接固定于移动器310的主体上,也可以是经由万向接头(Gimbal)、云台等基座而固定于移动器310的主体上的结构。此外,也可以在移动器照相机335的基座上设置变更和调整移动器照相机335的拍摄方向的机构。
HMD 100是具有如下部件的显示装置:图像显示部20(显示部),其在被佩戴于使用者的头部的状态下,使使用者观察虚像;以及控制装置10,其控制图像显示部20。如之后参照图3进行叙述那样,控制装置10具有扁平的箱形的主体,在该主体上具有受理使用者的操作的各种开关或操作盘等操作部。通过由使用者操作这些操作部,控制装置10作为控制HMD100的控制装置发挥功能。
HMD 100与移动器310之间执行通信。HMD 100从移动器310接收图像数据,利用图像显示部20显示基于接收到的图像数据的图像。由此,使用者能够利用图像显示部20观察移动器310拍摄到的拍摄图像,操作控制装置10,从而操纵移动器310。
连接HMD 100与移动器310的方式是任意的,例如使用后述的频率的无线信号来收发各种数据。
图2是移动器310的功能框图,示出移动器310的控制系统的结构。该结构对于移动器310A、310B、310C是共同的,不对它们进行区分而进行说明。
移动器310的控制系统由控制移动器310的移动器控制部341以及与移动器控制部341连接的各部件构成。详细而言,移动器310具有移动器控制部341、移动器存储部342、移动器通信部343、GPS装置344、飞行控制部345、照相机控制部346、电机控制器347、姿势传感器348和指示器349。此外,虽然省略图示,但移动器310具有:电池,其向包含飞行电机331、332、333、334(图1)在内的各部件供给电源;以及电池控制电路,其控制电池的电力供给。
移动器控制部341具有CPU(Central Processing Unit)或微型计算机等运算处理装置(处理器),通过执行程序,控制移动器310。移动器控制部341可以设为具有ROM(ReadOnly Memory)、RAM(Random Access Memory)以及其他周边电路等的结构。
存储由移动器控制部341处理的数据等的移动器存储部342与移动器控制部341连接。移动器存储部342具有半导体存储器元件等存储装置,存储与移动器310的控制相关的各种数据或移动器控制部341执行的程序。
此外,移动器通信部343与移动器控制部341连接。移动器通信部343具备天线、RF电路、基带电路、通信控制电路等而构成,或者由将这些部件合并而成的器件构成,与HMD100之间执行无线通信。移动器通信部343利用作为无线电控制用频率的27MHz波段、40MHz波段、2.4GHz波段等执行无线通信。或者,移动器通信部343进行依据Bluetooth(注册商标)、无线LAN(包含Wi-Fi(注册商标))等标准的无线通信。移动器通信部343依照移动器控制部341的控制,与HMD 100执行通信,接收HMD 100发送的指令并输出到移动器控制部341。此外,移动器通信部343向HMD 100发送移动器照相机335的拍摄图像数据。
移动器310A具备的移动器通信部343与HMD 100A进行通信。同样,移动器310B的移动器通信部343与HMD 100B进行通信,移动器310C的移动器通信部343与HMD 100C进行通信。
GPS(Global Positioning System)装置344是通过接收并解析从GPS卫星发送的信号来测量(定位)移动器310的位置的装置。GPS装置344依照移动器控制部341的控制进行定位,将定位结果输出到移动器控制部341。GPS装置344输出的定位结果包含移动器310的纬度和经度,也可以包含移动器310的高度。
此外,飞行控制部345与移动器控制部341连接。飞行控制部345与电机控制器347以及姿势传感器348连接。电机控制器347是依照飞行控制部345的控制来驱动飞行电机331、332、333、334的电路。
姿势传感器348是检测移动器310的姿势或运动的传感器。例如,姿势传感器348能够设为具备陀螺仪传感器、加速度传感器、速度传感器、高度传感器中的任意一个的结构。此外,姿势传感器348可以具有用于检测移动器310的方向的地磁传感器。例如,姿势传感器348可以使用将3轴陀螺仪传感器、3轴加速度传感器、3轴地磁传感器合并而成的9轴运动传感器单元,也可以将高度传感器与该运动传感器单元合并。姿势传感器348依照飞行控制部345的控制,将检测值输出到飞行控制部345。此外,姿势传感器348也可以具有风速传感器。
飞行控制部345将移动器310利用姿势传感器348检测出的检测值和/或利用GPS装置344检测出的纬度、经度输出到移动器控制部341。移动器控制部341能够利用移动器通信部343向HMD 100发送姿势传感器348的检测值和GPS装置344的检测结果的一部分或者全部。将移动器310向HMD 100发送的与移动器310的位置相关的信息称作移动器位置信息。移动器位置信息例如包含移动器310的高度、纬度、经度,还可以包含风速等与外部环境相关的信息。此外,作为表示移动器310的位置的信息,移动器位置信息也可以包含高度、纬度、经度以外的信息。例如,可以通过与移动器310的平面位置对应的住址标识、地名、土地编号、附近或正下方的设施名称或建筑物名称来表现移动器310的位置。此外,可以包含利用以预先设定的地标为基准的方位或距离表示移动器310的位置的信息,也可以包含风速等与外部环境相关的信息。
此外,移动器310向HMD 100发送的与移动器310的位置相关的信息除了移动器位置信息以外,也可以包含与移动器310的环境或状况相关的移动器状况信息。移动器状况信息可以包含与移动器310的位置相关的信息。例如,也可以包含移动器310的附近或正下方的设施名称或建筑物名称等与周边施设相关的信息。此外,移动器状况信息可以包含与移动器310的环境相关的信息(天气(气候)、温度、湿度、风速、风向、降雨量等)。
移动器310可以向HMD 100发送基于在HMD 100所指定的时刻取得的检测值和/或检测结果的移动器位置信息。移动器310可以向HMD 100随时发送基于在HMD100所指定的时刻以后取得的检测值和/或检测结果的移动器位置信息。
另外,移动器310检测位置的结构不限定于GPS装置344或姿势传感器348。例如,也可以从预先设置于移动器310飞过的区域的无线信标发送器接收信标信号,根据信标信号的接收强度等,检测移动器310的位置。在无线信标发送器中能够使用利用红外光(IR)等可见光以外区域的光发送信标信号的光信标装置、或利用Bluetooth发送信标信号的Bluetooth信标。在该情况下检测的移动器310的位置包含高度、以及相对于无线信标发送器的相对位置。在该情况下,移动器控制部341生成移动器位置信息,发送到HMD 100即可,该移动器位置信息包含高度、以及相对于无线信标发送器的相对位置。
控制飞行控制部345的照相机控制部346与移动器控制部341连接。飞行控制部345如上所述地设置于移动器310的主体上,拍摄规定方向。飞行控制部345具有:摄像元件336;以及变焦机构337,其使摄像镜头(省略图示)移动来调整变焦倍率。摄像元件336例如由CCD(Charge Coupled Device)图像传感器或CMOS(Complementary Metal OxideSemiconductor)图像传感器等构成。
照相机控制部346依照移动器控制部341的控制,驱动摄像元件336和变焦机构337,按照由移动器控制部341指定的变焦倍率进行拍摄,将拍摄图像数据输出到移动器控制部341。移动器310利用移动器照相机335按照预先设定的采样周期执行拍摄,生成拍摄图像数据。即,也可以说,移动器310拍摄动态图像。移动器310能够向HMD 100发送在HMD 100所指定的时刻拍摄的拍摄图像数据。在该情况下,HMD 100能够取得移动器310拍摄的静态图像的拍摄图像数据。此外,移动器310能够向HMD 100随时发送在HMD 100所指定的时刻以后拍摄的拍摄图像数据。在该情况下,HMD 100能够取得移动器310拍摄的动态图像(影像)的拍摄图像数据。
在发送移动器照相机335的拍摄图像数据的情况下,移动器控制部341可以发送根据拍摄图像数据而生成的图像数据。例如,可以变更移动器照相机335的拍摄图像数据的分辨率或帧率来调整频带,发送调整后的图像数据。
此外,指示器349与移动器控制部341连接。指示器349具有LED(Light EmittingDiode)等光源,按照与移动器310的动作状态对应的发光颜色和/或发光图案进行发光。指示器349配置于移动器310的壳体的下表面、前表面、后表面等在移动器310的飞行中可从外部观察到的位置上。移动器控制部341使指示器349与飞行控制部345的动作状态对应地发光。例如,在移动器310前进的情况下,移动器控制部341使指示器349以红色的方式发光,在移动器310后退的期间内,使指示器349以绿色的方式发光。此外,在移动器310的转弯过程中,可以使指示器349闪烁。
图3是示出HMD 100的外观结构的说明图。该结构对于HMD 100A、100B、100C是共同的,因此,不对它们进行区分而进行说明。图4、图5、图6、图7以及图8也同样如此。
如图3所示,控制装置10具有扁平的箱形的外壳10A(壳体)。外壳10A具有受理使用者的操作的各种开关或触控板14等,通过由使用者操作这些部件,控制装置10作为控制HMD100的控制装置发挥功能。此外,外壳10A内置有控制HMD 100的功能部。
图像显示部20是被佩戴于使用者头部的佩戴体,在本实施例中具有眼镜形状。图像显示部20在具有右保持部21、左保持部23和前部框架27的主体上具有右显示单元22、左显示单元24、右导光板26和左导光板28。
右保持部21和左保持部23分别从前部框架27的两端部朝后方延伸,如眼镜的镜腿(腿)那样将图像显示部20保持于使用者的头部。这里,设前部框架27的两端部中的、在图像显示部20的佩戴状态下位于使用者的右侧的端部为端部ER、位于使用者的左侧的端部为端部EL。右保持部21设置成从前部框架27的端部ER延伸至在图像显示部20的佩戴状态下与使用者的右侧头部对应的位置。左保持部23设置成从端部EL延伸至在图像显示部20的佩戴状态下与使用者的左侧头部对应的位置。
右导光板26和左导光板28设置于前部框架27。右导光板26在图像显示部20的佩戴状态下位于使用者的右眼的眼前,使右眼观察图像。左导光板28在图像显示部20的佩戴状态下位于使用者的左眼的眼前,使左眼观察图像。
前部框架27具有将右导光板26的一端和左导光板28的一端相互连结起来的形状,在使用者佩戴图像显示部20的佩戴状态下,其连结位置对应于使用者的眉间。前部框架27可以设置右导光板26与左导光板28的连结位置处的、在图像显示部20的佩戴状态下与使用者的鼻子抵接的鼻接触部。在该情况下,能够通过鼻接触部、以及右保持部21和左保持部23,将图像显示部20保持于使用者的头部。此外,可以将在图像显示部20的佩戴状态下与使用者的后头部接触的带(省略图示)与右保持部21以及左保持部23连结,在该情况下,能够利用带将图像显示部20保持于使用者的头部。
右显示单元22是涉及基于右导光板26的图像的显示的单元,设置于右保持部21,在佩戴状态下位于使用者的右侧头部的附近。左显示单元24是涉及基于左导光板28的图像的显示的单元,设置于左保持部23,在佩戴状态下位于使用者的左侧头部的附近。另外,还将右显示单元22和左显示单元24统一简称作“显示驱动部”。
本实施方式的右导光板26和左导光板28是由透光性的树脂等形成的光学部,例如是棱镜,将右显示单元22和左显示单元24输出的图像光引导至使用者的眼睛。
图像显示部20将右显示单元22和左显示单元24分别生成的图像光引导至右导光板26和左导光板28,利用该图像光使使用者观察虚像,由此,显示图像。在外部光从使用者的前方透过右导光板26和左导光板28而入射到使用者的眼睛的情况下,构成虚像的图像光和外部光入射到使用者的眼睛,虚像的可视性受外部光的强度影响。因此,例如将右电子遮光件227和左电子遮光件247(图5)配置于前部框架27,能够调整虚像的观察的容易度。
HMD照相机61(外部光检测部)配设于图像显示部20的前部框架27。HMD照相机61优选拍摄使用者在佩戴了图像显示部20的状态下观察的外景方向,设置于前部框架27的前表面上的、不遮挡透过右导光板26和左导光板28的外部光的位置。在图3的例子中,HMD照相机61配置于前部框架27的端部ER侧。HMD照相机61也可以配置于端部EL侧,也可以配置于右导光板26与左导光板28的连结部。
HMD照相机61是具有CCD或CMOS等摄像元件和摄像镜头等的数字照相机,本实施方式的HMD照相机61是单反照相机,但也可以由立体照相机构成。HMD照相机61拍摄HMD 100的表侧方向、换言之、佩戴HMD 100的状态下的使用者的视野方向的至少一部分的外景(实际空间)。在另外的表达方式中,可以说HMD照相机61能够拍摄与使用者的视野重叠的范围或者方向,拍摄使用者注视的方向。HMD照相机61的视场角的宽度能够适当设定,但在本实施方式中,如后所述,包含使用者通过右导光板26和左导光板28观察的外界。更优选HMD照相机61的拍摄范围设定成能够拍摄可透过右导光板26和左导光板28观察到的使用者的视野的整体。
HMD照相机61依照HMD控制部141具备的拍摄控制部149的控制,执行拍摄,将拍摄图像数据输出到拍摄控制部149。
HMD 100具有距离传感器64,该距离传感器64检测与位于预先设定的测量方向的测量对象物相距的距离。距离传感器64例如能够设为检测与对使用者来说位于前方的测量对象物相距的距离的结构,在本实施方式中,配置于前部框架27上的、右导光板26与左导光板28的连结部分。在该例子中,在图像显示部20的佩戴状态下,距离传感器64的位置在水平方向上为使用者的双眼的大致中间,在铅直方向上为比使用者的双眼靠上的位置。距离传感器64的测量方向例如能够设为前部框架27的表侧方向,换言之,是与HMD照相机61的拍摄方向重叠的方向。
距离传感器64例如具有LED或激光二极管等光源、以及接收光源发出的光发射到测量对象物的反射光的受光部。距离传感器64依照HMD控制部141的控制,执行三角测距处理或基于时间差的测距处理即可。此外,距离传感器64可以设为具有发出超声波的音源、以及接收由测量对象物反射的超声波的检测部的结构。在该情况下,距离传感器64依照HMD控制部141的控制,根据到超声波的反射为止的时间差来执行测距处理即可。
控制装置10和图像显示部20利用连接线40连接起来。连接线40以能够拆装的方式与设置于外壳10A的端部上的连接器42连接。即,在外壳10A上设置有能够插拔连接线40的连接器42,在使用图像显示部20的情况下,连接线40与连接器42连接。
连接线40从左保持部23的前端与设置于图像显示部20的内部的各种电路连接。连接线40可以具有传输数字数据的金属缆线或者光纤缆线,具有传输模拟信号的金属缆线。在连接线40的中途设置有连接器46。
连接器46是连接立体声迷你插头的插座(音频连接器),连接器46和控制装置10例如用传输模拟语音信号的线连接。在图3所示的结构例中,具有构成立体声耳机的右耳机32和左耳机34以及麦克风63的耳机30与连接器46连接。
例如,如图3所示,麦克风63配置成使麦克风63的集音部朝向使用者的视线方向而采集语音,将语音信号输出到语音接口182(图8)。麦克风63例如可以是单声道麦克风,也可以是立体声麦克风,也可以是具有定向性的麦克风,也可以是无定向性的麦克风。
控制装置10具有触控板14、上下键15、LED显示部17和电源开关18作为使用者操作的被操作部。这些被操作部配置于外壳10A的表面。例如,利用使用者的手/指操作这些被操作部。
触控板14是外壳10A的前表面上的、使用者使手指接触的、用于进行触摸操作的区域。触控板14可以是与外壳10A的前表面相同的平面,但优选是使用者可识别触控板14和除此以外的区域的结构。例如,可以通过印刷或者凹凸形成表示触控板14的边缘的线,也可以对触控板14实施使触控板14的表面的触感与除此以外的区域不同的表面加工。
控制装置10在外壳10A的前表面上能够利用后述的触摸传感器13(图7)检测使用者对触控板14的接触操作。在触摸传感器13检测出接触操作的情况下,控制装置10确定检测出操作的位置。触控板14能够用于进行输入触控板14上的绝对位置或者相对位置的操作。
在外壳10A的前表面上设置有LED显示部17。LED显示部17位于触控板14,LED显示部17的表面与外壳10A的前表面上的其他区域没有不同。LED显示部17具有可使光透过的透射部(省略图示),通过点亮设置于透射部的正下方的1个或者多个LED,以使用者能够观察符号等的方式进行发光。在图3的例子中,通过点亮LED显示部17的LED,出现3个符号△(三角形)、○(圆形)、□(四边形)。
控制装置10利用触摸传感器13检测使用者的手/指对LED显示部17的接触操作,能够确定操作位置。因此,例如,能够确定操作位置是对应于在LED显示部17中出现的哪一个符号的位置。因此,LED显示部17作为软键发挥功能。例如,通过将在LED显示部17中出现的符号与HMD 100的功能对应,能够检测对LED显示部17的触摸操作作为针对该功能的操作。在图3的例子中,HMD 100能够将符号○(圆形)分配给起始键。在该情况下,在对符号○(圆形)的位置进行了接触操作时,HMD控制部141检测起始键的操作。此外,符号□(四边形)能够分配给历史键。在该情况下,HMD控制部141检测符号□(四边形)的接触操作作为历史键的操作。同样,符号△(三角形)能够分配给返回键。HMD控制部141检测符号△(三角形)的接触操作作为返回键的操作。
上下键15配置于外壳10A的侧面,具有检测按压操作的一对键。上下键15用于从右耳机32和左耳机34输出的音量的增减的指示输入、以及图像显示部20的显示的明亮度的增减的指示输入。
电源开关18是切换HMD 100的电源的接通/断开的开关。
在外壳10A上的与电源开关18相同侧的侧面上设置有USB连接器188(图7)。USB连接器188是将控制装置10与外部的装置连接的接口,在本实施方式中,作为接口的一例,例示依据USB标准的连接器。USB连接器188例如是具有适合于microUSB标准的形状和尺寸的连接器,传输速度等规格是任意的。
如后所述,控制装置10具有电池132(图7),控制装置10和图像显示部20借助电池132供给的电力进行动作。对电池132的充电能够通过向USB连接器188供给电力而进行。HMD100可卸下控制装置10和图像显示部20,仅将控制装置10与专用的充电装置连接来进行充电。
图4是示出图像显示部20具备的光学系统的结构的主要部分俯视图。在图4中为了说明方便,示出使用者的左眼LE和右眼RE。
如图4所示,右显示单元22和左显示单元24构成为左右对称。作为使使用者的右眼RE观察图像的结构,右显示单元22具有发出图像光的OLED(Organic Light EmittingDiode)单元221。此外,具有右光学系统251,该右光学系统251具有引导OLED单元221发出的图像光L的透镜组等。图像光L被右光学系统251引导至右导光板26。
OLED单元221具有OLED面板223、以及驱动OLED面板223的OLED驱动电路225。OLED面板223是矩阵状地配置通过有机电致发光而进行发光并分别发出R(红)、G(绿)、B(蓝)的色光的发光元件而构成的自发光型显示面板。OLED面板223将各包含1个R、G、B的元件的单位作为1个像素而具有多个像素,由配置成矩阵状的像素形成图像。OLED驱动电路225依照HMD控制部141的控制,执行OLED面板223具备的发光元件的选择和向发光元件的通电,使OLED面板223的发光元件发光。OLED驱动电路225通过粘接等固定于OLED面板223的背面即发光面的里侧。OLED驱动电路225例如可以由驱动OLED面板223的半导体器件构成,安装在固定于OLED面板223的背面的基板上(省略图示)。在该基板上安装有温度传感器69(图7)。
另外,OLED面板223可以是矩阵状地配置发出白色光的发光元件、重叠地配置与R、G、B的各色对应的滤色器的结构。此外,也可以使用除了分别发射R、G、B的色光的发光元件以外还具有发出W(白色)光的发光元件的WRGB结构的OLED面板223。
右光学系统251具有使从OLED面板223射出的图像光L成为平行状态的光束的准直透镜。利用准直透镜而成为平行状态的光束的图像光L入射到右导光板26。在右导光板26的内部,在引导光的光路中形成有反射图像光L的多个反射面。图像光L在右导光板26的内部经过多次反射而被引导至右眼RE侧。在右导光板26上形成有位于右眼RE的眼前的半反射镜261(反射面)。图像光L在半反射镜261上反射,从右导光板26朝向右眼RE射出,该图像光L在右眼RE的视网膜上成像,使使用者观察图像。
此外,左显示单元24具有发出图像光的OLED单元241、以及左光学系统252作为使使用者的左眼LE观察图像的结构,左光学系统252具有引导OLED单元241发出的图像光L的透镜组等。图像光L被左光学系统252引导至左导光板28。
OLED单元241具有OLED面板243、以及驱动OLED面板243的OLED驱动电路245。OLED面板243是与OLED面板223同样构成的自发光型显示面板。OLED驱动电路245依照HMD控制部141的控制,执行OLED面板243具备的发光元件的选择和向发光元件的通电,使OLED面板243的发光元件发光。OLED驱动电路245通过粘接等固定于OLED面板243的背面即发光面的里侧。OLED驱动电路245例如可以由驱动OLED面板243的半导体器件构成,安装在固定于OLED面板243的背面的基板上(省略图示)。在该基板上安装有温度传感器239。
左光学系统252具有使从OLED面板243射出的图像光L成为平行状态的光束的准直透镜。利用准直透镜而成为平行状态的光束的图像光L入射到左导光板28。左导光板28是形成有反射图像光L的多个反射面的光学元件,例如是棱镜。图像光L在左导光板28的内部经过多次反射而被引导至左眼LE侧。在左导光板28上形成有位于左眼LE的眼前的半反射镜281(反射面)。图像光L在半反射镜281上反射,从左导光板28朝向左眼LE射出,该图像光L在左眼LE的视网膜上成像,使使用者观察图像。
根据该结构,HMD 100作为透视型的显示装置发挥作用。即,半反射镜261反射的图像光L和透过了右导光板26的外部光OL入射到使用者的右眼RE。此外,半反射镜281反射的图像光L和透过了半反射镜281的外部光OL入射到左眼LE。这样,HMD 100使在内部处理后的图像的图像光L与外部光OL重叠地入射到使用者的眼睛,对使用者而言,透过右导光板26和左导光板28观察到外景,与该外景重叠地观察由图像光L形成的图像。
半反射镜261、281是反射右显示单元22和左显示单元24分别输出的图像光而取出图像的图像取出部,能够称作显示部。
另外,也将左光学系统252和左导光板28统称作“左导光部”,将右光学系统251和右导光板26统称作“右导光部”。右导光部和左导光部的结构不限于上述的例子,只要使用图像光在使用者的眼前形成虚像,则能够使用任意的方式,例如可以使用衍射光栅,也可以使用半透过反射膜。
此外,图像显示部20具有右电子遮光件227和左电子遮光件247。右电子遮光件227具有遮光件驱动部228(图6)和液晶面板229。左电子遮光件247具有遮光件驱动部248(图6)和液晶面板249。液晶面板229和249也能够称作透射率调整板。
右电子遮光件227的液晶面板229设置于右导光板26的前表面侧、即与使用者的头部侧相反的一侧。图2示出与右导光板26分离地配置液晶面板229的状态,液晶面板229粘贴于右导光板26的表面。液晶面板229与图像显示部20的右导光板26重叠地配置。
左电子遮光件247的液晶面板249设置于左导光板28的前表面侧、即与使用者的头部侧相反的一侧。图2示出与左导光板28分离地配置液晶面板249的状态,液晶面板249粘贴于左导光板28的表面。液晶面板249与图像显示部20的左导光板28重叠地配置。
液晶面板229和249是矩阵状地配置多个像素的透射型液晶面板。液晶面板229和249由TN(twisted nematic:扭曲向列)液晶、宾主液晶、PDLC(Polymer Dispersed LiquidCrystal:聚合物分散液晶)、电致变色、气致变色中的任意一个的液晶构成。
液晶面板229和249通过供给电压的增减,使从外部引导至使用者的眼睛RE的外部光的透射率按照像素单位增减。关于本实施方式的右电子遮光件227和左电子遮光件247,在无供给电压的状态下,外部光的透射率成为100%,在供给电压为最大的状态下,外部光的透射率为0%(切断)。
图5和图6是示出图像显示部20的主要部分结构的图。图5是从使用者的头部侧观察图像显示部20时的主要部分立体图。另外,在图5中省略连接线40的图示。图6是HMD照相机61的视场角的说明图。
图5是图像显示部20与使用者的头部接触的一侧、换言之使用者的右眼RE和左眼LE可观察到的一侧。换另一说法,能够观察到右导光板26和左导光板28的背侧。
在图5中,对使用者的右眼RE照射图像光的半反射镜261和对左眼LE照射图像光的半反射镜281可看作大致四边形的区域。此外,包含半反射镜261、281的右导光板26和左导光板28的整体如上所述使外部光透过。因此,使用者可透过右导光板26和左导光板28的整体而目视外景,在半反射镜261、281的位置处观察到矩形的显示图像。
HMD照相机61如上所述配置于图像显示部20的右侧的端部,拍摄使用者的双眼朝向的方向,即,对使用者来说拍摄前方。图6是以俯视的方式示意性示出使用者的右眼RE和左眼LE、以及HMD照相机61的位置的图。用C表示HMD照相机61的视场角(拍摄范围)。另外,图6示出水平方向的视场角C,但HMD照相机61的实际的视场角与通常的数字照相机同样地在上下方向上也扩大。
HMD照相机61的光轴设为包含右眼RE和左眼LE的视线方向的方向。使用者在佩戴了HMD 100的状态下可观察的外景不一定是无限远。例如,如图6所示,在使用者用双眼注视对象物OB时,如图中标记RD、LD所示,使用者的视线朝向对象物OB。在该情况下,从使用者到对象物OB的距离多数为30cm~10m左右,更多数为1m~4m左右。因此,可以针对HMD 100确定通常使用时的从使用者到对象物OB的距离的上限和下限的标准。该标准可以通过调査或实验求出,也可以由使用者设定。在通常使用时的到对象物OB的距离相当于所设定的上限的标准的情况和相当于下限的标准的情况下,HMD照相机61的光轴和视场角优选设定为该对象物OB包含在视场角中。
此外,一般而言,人的视野角设为水平方向大概200度、垂直方向大概125度,其中的信息接受能力优异的有效视野为水平方向30度、垂直方向20度左右。并且,可迅速且稳定地观察到人注视的注视点的稳定注视视野设为水平方向60~90度、垂直方向45度~70度左右。在该情况下,在注视点为图6的对象物OB时,以视线RD、LD为中心,水平方向30度、垂直方向20度左右是有效视野。此外,水平方向60~90度、垂直方向45度~70度左右为稳定注视视野,水平方向大约200度、垂直方向大约125度为视野角。并且,能够将使用者透过右导光板26和左导光板28而观察的实际的视野称作实际视野(FOV:Field Of View)。在图3所示的本实施方式的结构中,实际视野相当于使用者透过右导光板26和左导光板28而观察的实际的视野。实际视野比视野角和稳定注视视野窄,比有效视野宽。
HMD照相机61的视场角C优选能够拍摄比使用者的视野大的范围,具体而言,更优选视场角C至少比使用者的有效视野大。此外,更优选视场角C比使用者的实际视野大。进一步优选视场角C比使用者的稳定注视视野大,最优选视场角C比使用者的双眼的视野角大。
HMD照相机61也可以是具有所谓广角镜头作为摄像镜头、能够拍摄较大的视场角。广角镜头中可以包含称作超广角镜头、准广角镜头的镜头,可以是单焦点镜头,也可以是变焦镜头,也可以是HMD照相机61具备由多个镜头构成的镜头组的结构。
此外,距离传感器64在右导光板26与左导光板28的中央,朝向前方配置。例如,距离传感器64构成为能够检测从图像显示部20的中央位置到如图6所示的对象物OB那样位于使用者的正面方向的物体的距离。佩戴HMD 100的使用者将头朝向要注视的方向,因此能够认为要注视的对象位于图像显示部20的正面。因此,如果设图像显示部20的正面为检测方向64A,则配置于图像显示部20的中央的距离传感器64能够检测距使用者注视的对象的距离。
此外,如图5所示,在图像显示部20的使用者侧配置有内侧照相机68。内侧照相机68以分别与使用者的右眼RE以及左眼LE对应的方式,在右导光板26与左导光板28的中央位置设置有一对。内侧照相机68是分别拍摄使用者的右眼RE和左眼LE的一对照相机。内侧照相机68依照HMD控制部141的控制进行拍摄。HMD控制部141解析内侧照相机68的拍摄图像数据。例如,HMD控制部141根据内侧照相机68的拍摄图像数据,检测右眼RE和左眼LE的眼球表面的反射光和瞳孔的图像,确定使用者的视线方向。此外,HMD控制部141能够求出使用者的视线方向的变化,可以检测右眼RE和左眼LE各自的眼球运动。
这里,使用者的视线的移动还能够视作使用者的假想视点的移动。
此外,HMD控制部141可以从内侧照相机68的拍摄图像数据中提取使用者的右眼RE和左眼LE的睑(眼睑)的图像来检测眼睑运动,也可以检测眼睑的状态。在本实施方式中,例示图像显示部20具有一对内侧照相机68、68的结构,但例如也可以将1个内侧照相机68设置于图像显示部20的中央位置。在该情况下,优选1个内侧照相机68具有可拍摄右眼RE和左眼LE的视场角,例如也可以利用内侧照相机68仅拍摄右眼RE或者左眼LE的一方。即,可以设为HMD控制部141检测右眼RE或者左眼LE中的任意一方的视线方向、眼球运动、眼睑运动、眼睑的状态等的结构。
此外,在根据内侧照相机68的拍摄图像而检测出右眼RE和左眼LE的视线方向的情况下,HMD控制部141能够求出右眼RE和左眼LE的收敛角。在图6中用标记PA表示收敛角。收敛角PA对应于距使用者注视的对象物OB的距离。即,在使用者立体地观察图像或物体的情况下,右眼RE和左眼LE的收敛角与距观察的对象的距离对应地确定。因此,通过检测收敛角,能够求出使用者注视的距离。此外,通过以引导使用者的收敛角的方式显示图像,能够引导立体观察。
收敛角例如能够根据内侧照相机68的拍摄图像数据求出。例如,根据内侧照相机68的拍摄图像数据求出右眼RE的视线方向,根据该视线方向求出右眼RE的视线方向相对于右眼RE的正面方向的角度LA。同样,根据内侧照相机68的拍摄图像数据求出左眼LE的视线方向,根据该视线方向,求出左眼LE的视线方向相对于左眼LE的正面方向的角度RA。收敛角PA等于角度LA、RA之和,能够容易求出收敛角PA。
图7是示出构成HMD 100的各部件的结构的框图。
控制装置10具有主处理器140,该主处理器140执行程序而控制HMD 100。存储器118以及非易失性存储部121与主处理器140连接。此外,作为输入装置,操作部110与主处理器140连接。此外,作为传感器类,6轴传感器111、磁传感器113以及GPS 115与主处理器140连接。此外,HMD通信部117、语音编解码器180、外部连接器184、外部存储器接口186、USB连接器188、传感器集线器192以及FPGA 194与主处理器140连接。这些作为与外部的接口发挥作用。
主处理器140安装于控制装置10内置的控制器基板120上。除了主处理器140以外,在控制器基板120上还可以安装有存储器118、非易失性存储部121等。在本实施方式中,6轴传感器111、磁传感器113、GPS 115、HMD通信部117、存储器118、非易失性存储部121、语音编解码器180等安装于控制器基板120上。此外,也可以是在控制器基板120上安装有外部连接器184、外部存储器接口186、USB连接器188、传感器集线器192、FPGA 194和接口196的结构。
在主处理器140执行程序的情况下,存储器118构成临时存储执行的程序和被处理的数据的工作区。非易失性存储部121由闪存和eMMC(embedded Multi Media Card:嵌入式多媒体卡)构成。非易失性存储部121存储主处理器140执行的程序、以及主处理器140通过执行程序而处理的各种数据。
主处理器140根据从操作部110输入的操作信号,检测针对触控板14的操作面的接触操作,取得操作位置。
操作部110包含按钮11、触摸传感器13和LED显示部17。触摸传感器13检测对触控板14的触摸操作,确定检测出的触摸操作的操作位置。在该情况下,操作部110将包含表示触控板14上的触摸位置的数据的操作信号输出到主处理器140。在进行了按钮11的操作的情况和触摸传感器13检测出触摸操作的情况下,从操作部110向主处理器140输出操作信号。
LED显示部17包含配置于触控板14(图3)的正下方的LED(省略图示)、以及使该LED点亮的驱动电路。LED显示部17依照主处理器140的控制,使LED点亮、闪烁、熄灭。
6轴传感器111是具有3轴加速度传感器和3轴陀螺仪(角速度)传感器的运动传感器(惯性传感器)。6轴传感器111可以采用对上述的传感器进行了模块化的IMU(InertialMeasurement Unit)。
磁传感器113例如是3轴的地磁传感器。
GPS(Global Positioning System)115具有未图示的GPS天线,接收从GPS卫星发送的无线信号,检测控制装置10的当前位置的坐标。
6轴传感器111、磁传感器113和GPS 115依照预先指定的采样周期,将检测值输出到主处理器140。或者,6轴传感器111、磁传感器113和GPS 115根据主处理器140的请求,在由主处理器140指定的时刻,将检测值输出到主处理器140。
HMD通信部117(图像取得部)与外部设备之间执行无线通信。在本实施方式中,通信部117与其他HMD 100具备的HMD通信部117执行无线通信。HMD通信部117具备天线、RF电路、基带电路、通信控制电路等而构成,或者由将这些部件合并而成的设备构成。HMD通信部117例如进行依据Bluetooth、无线LAN(包含Wi-Fi)等标准的无线通信。
HMD通信部117与移动器310具备的移动器通信部343进行无线通信。在该结构中,HMD通信部117在通信中使用的波段或通信方式以能够与移动器通信部343进行通信的方式适当选择即可。因此,与移动器通信部343同样,HMD通信部117利用作为无线电控制用频率的27MHz波段、40MHz波段、2.4GHz波段等执行无线通信。或者,移动器通信部343进行依据Bluetooth、无线LAN(包含Wi-Fi)等标准的无线通信。
HMD 100可以设为如下结构:具有与HMD通信部117不同的通信部(省略图示),通过该通信部与移动器通信部343进行通信。
HMD 100A具备的HMD通信部117与移动器310A执行通信。同样,HMD 100B具备的HMD通信部117与移动器310B进行通信,HMD 100C具备的HMD通信部117与移动器310C进行通信。
此外,HMD通信部117还能够与其他HMD 100具备的HMD通信部117执行通信。因此,如后所述,构成移动器复合控制系统1的HMD 100A、100B、100C能够相互收发数据。并且,HMD100A的HMD通信部117不限于移动器310A,还能够向移动器310B、310C发送包含指令等的数据。HMD 100B、100C也同样能够向移动器310A、310B、310C发送数据。在该情况下,例如可以从HMD 100A向移动器310B、310C发送移动器310A的位置信息,进行避免过度接近的动作。
语音接口182是输入输出语音信号的接口。在本实施方式中,语音接口182包含设置于连接线40的连接器46(图3)。语音编解码器180与语音接口182连接,进行经由语音接口182而输入输出的语音信号的编码和解码。此外,语音编解码器180可以具有进行从模拟语音信号向数字语音数据的转换的A/D转换器、以及进行其相反的转换的D/A转换器。例如,本实施方式的HMD 100利用右耳机32和左耳机34输出语音,用麦克风63进行集音。语音编解码器180将主处理器140输出的数字语音数据转换为模拟语音信号,经由语音接口182输出。此外,语音编解码器180将输入到语音接口182的模拟语音信号转换为数字语音数据,输出到主处理器140。
外部连接器184是连接与主处理器140通信的外部装置的连接器。例如,在将外部装置与主处理器140连接、进行主处理器140执行的程序的调试或HMD 100的动作的日志的收集的情况下,外部连接器184是连接该外部装置的接口。
外部存储器接口186是能够连接可移动型的存储器设备的接口,例如包含存储卡插槽和接口电路,该存储卡插槽安装卡型记录介质而能够进行数据的读取。该情况下的卡型记录介质的尺寸、形状、标准没有限制,能够适当进行变更。
USB连接器188具有依据USB标准的连接器和接口电路,能够将USB存储器设备、智能手机、计算机等连接起来。USB连接器188的尺寸或形状、适合的USB标准的版本能够适当选择和变更。
此外,HMD 100具有振动器19。振动器19具有电机、以及偏心的转子(均省略图示),依照主处理器140的控制,产生振动。例如在检测到针对操作部110的操作的情况、HMD 100的电源接通/断开的情况等下,HMD 100按照规定的振动模式,利用振动器19产生振动。
传感器集线器192以及FPGA 194经由接口(I/F)196,连接图像显示部20。传感器集线器192取得图像显示部20具备的各种传感器的检测值,输出到主处理器140。此外,FPGA194执行在主处理器140与图像显示部20的各部之间收发的数据的处理、以及经由接口196的传输。
图像显示部20的右显示单元22和左显示单元24分别与控制装置10连接。如图3所示,在HMD 100中,连接线40与左保持部23连接,与该连接线40相连的布线铺设于图像显示部20内部,右显示单元22以及左显示单元24分别与控制装置10连接。
右显示单元22具有显示单元基板210。在显示单元基板210上安装有与接口196连接的接口(I/F)211、接收经由接口211从控制装置10输入的数据的接收部(Rx)213、以及EEPROM 215。
接口211将接收部213、EEPROM 215、温度传感器217、HMD照相机61、照度传感器65、LED指示器67以及遮光件驱动部228与控制装置10连接。
EEPROM(Electrically Erasable Programmable ROM)215以能够供主处理器140读取的方式存储各种数据。EEPROM 215例如存储与图像显示部20具备的OLED单元221、241的发光特性或显示特性相关的数据、与右显示单元22或者左显示单元24具备的传感器的特性相关的数据等。具体而言,存储OLED单元221、241的伽马校正相关的参数以及对温度传感器217、239的检测值进行补偿的数据等。这些数据通过HMD 100的工厂出货时的检查而生成,写入EEPROM 215中,在出货后,主处理器140可利用EEPROM 215的数据进行处理。
HMD照相机61依照经由接口211而输入的信号执行拍摄,将拍摄图像数据或者表示拍摄结果的信号输出到控制装置10。
如图3所示,照度传感器65(外部光检测部)设置于前部框架27的端部ER,配置成接收来自佩戴图像显示部20的使用者的前方的外部光。照度传感器65输出与受光量(受光强度)对应的检测值。
如图3所示,在前部框架27的端部ER处,LED指示器67配置于照相机61的附近。LED指示器67在照相机61正在拍摄时点亮,通知处于拍摄中。
温度传感器217检测温度,输出与检测温度对应的电压值或者电阻值作为检测值。温度传感器217安装于OLED面板223(图4)的背面侧。温度传感器217例如可以与OLED驱动电路225安装于同一基板上。根据该结构,温度传感器217主要检测OLED面板223的温度。
内侧照相机68依照经由接口211从控制装置10输入的信号执行拍摄,将拍摄图像数据或者表示拍摄结果的信号输出到控制装置10。图7示出1个内侧照相机68,但图5所示的一对内侧照相机68、68可以同时动作。此外,也可以是一对内侧照相机68、68分别与接口211连接并独立地动作的结构。
距离传感器64依照经由接口211从控制装置10输入的信号执行距离检测,将表示检测结果的信号输出到控制装置10。图7示出1个距离传感器64,但图5所示的一对距离传感器64、64可以同时动作。此外,也可以是一对距离传感器64、64分别与接口211连接并独立地动作的结构。
遮光件驱动部228依照主处理器140控制向右电子遮光件227供给的电压,使右电子遮光件227的外部光的透射率按照像素单位增减。
接收部213经由接口211接收由主处理器140发送的数据。在接收到OLED单元221显示的图像的图像数据的情况下,接收部213将接收到的图像数据输出到OLED驱动电路225(图4)。
左显示单元24具有显示单元基板210。在显示单元基板210上安装有与接口196连接的接口(I/F)231、以及接收经由接口231从控制装置10输入的数据的接收部(Rx)233。此外,在显示单元基板210上安装有6轴传感器235(运动传感器)和磁传感器237。
接口231将接收部233、6轴传感器235、磁传感器237、温度传感器239以及遮光件驱动部248与控制装置10连接。
6轴传感器235是具有3轴加速度传感器和3轴陀螺仪(角速度)传感器的运动传感器(惯性传感器)。6轴传感器235可以采用对上述的传感器进行了模块化的IMU(InertialMeasurement Unit)。
磁传感器237例如是3轴的地磁传感器。
温度传感器239检测温度,输出与检测温度对应的电压值或者电阻值作为检测值。温度传感器239安装于OLED面板243(图4)的背面侧。温度传感器239例如可以与OLED驱动电路245安装于同一基板上。根据该结构,温度传感器239主要检测OLED面板243的温度。
此外,温度传感器239可以内置于OLED面板243或者OLED驱动电路245。此外,上述基板可以是半导体基板。具体而言,在将OLED面板243作为Si-OLED与OLED驱动电路245等一起安装为集成半导体芯片上的集成电路的情况下,可以在该半导体芯片上安装温度传感器239。
遮光件驱动部248依照主处理器140控制向左电子遮光件247供给的电压,使左电子遮光件247的外部光的透射率按照像素单位增减。
右显示单元22具备的HMD照相机61、距离传感器64、照度传感器65、内侧照相机68、温度传感器217和左显示单元24具备的6轴传感器235、磁传感器237、温度传感器239与传感器集线器192连接。传感器集线器192依照主处理器140的控制,进行各传感器的采样周期的设定和初始化。传感器集线器192对应于各传感器的采样周期,执行向各传感器的通电、控制数据的发送、检测值的取得等。此外,传感器集线器192在预先设定的时刻,将右显示单元22和左显示单元24具备的各传感器的检测值输出到主处理器140。传感器集线器192可以具有如下功能:对应于针对主处理器140的输出的时刻,临时保持各传感器的检测值。此外,传感器集线器192可以具有如下功能:对应于各传感器的输出值的信号形式或者数据形式的差异,转换为统一的数据形式的数据,输出到主处理器140。
此外,传感器集线器192依照主处理器140的控制,使向LED指示器67的通电开始和停止,对应于HMD照相机61开始和结束拍摄的时刻,使LED指示器67点亮或者闪烁。
控制装置10具有电源部130,利用从电源部130供给的电力进行动作。电源部130具有可充电的电池132、以及电源控制电路134,该电源控制电路134进行电池132的剩余量的检测和向电池132的充电的控制。电源控制电路134与主处理器140连接,将电池132的剩余量的检测值或者电压的检测值输出到主处理器140。此外,可以根据电源部130供给的电力,从控制装置10向图像显示部20供给电力。此外,也可以构成为主处理器140可控制从电源部130向控制装置10的各部和图像显示部20的电力的供给状态。
HMD 100可以具有连接作为内容的供给源的各种外部设备的接口(省略图示)。例如,可以是USB接口、微型USB接口、存储卡用接口等支持有线连接的接口,也可以由无线通信接口构成。该情况下的外部设备是向HMD 100供给图像的图像供给装置,使用了个人计算机(PC)、移动电话终端、便携型游戏机等。在该情况下,HMD 100能够输出基于从这些外部设备输入的内容数据的图像或语音。
图8是构成控制装置10的控制系统的HMD存储部170和HMD控制部141的功能框图。图8所示的HMD存储部170是由非易失性存储部121(图7)构成的逻辑性的存储部,可以包含EEPROM 215。此外,主处理器140执行程序,由此,利用程序与硬件的协作,形成HMD控制部141、以及HMD控制部141具有的各种功能部。HMD控制部141、以及构成HMD控制部141的各功能部例如由主处理器140、存储器118和非易失性存储部121构成。
HMD控制部141利用HMD存储部170存储的数据来执行各种处理,控制HMD 100。
HMD存储部170存储由HMD控制部141处理的各种数据。HMD存储部170存储设定数据171、显示设定数据172、拍摄图像数据173、移动器识别数据174和移动区数据175。
此外,HMD存储部170可以存储包含内容的内容数据,该内容包含可由图像显示部20显示的图像和影像。
设定数据171包含HMD 100的动作涉及的各种设定值。此外,在HMD控制部141控制HMD 100时使用参数、矩阵式、运算式、LUT(LookUp Table)等的情况下,可以将它们包含在设定数据171中。
显示设定数据172是与由图像显示部20显示的图像相关的数据,详细而言,包含与使用者操纵移动器310的情况下的图像的显示方式相关的设定。
显示设定数据172例如包含将HMD通信部117从移动器310接收到的图像数据显示在图像显示部20上的情况下的显示尺寸、显示位置等信息。HMD控制部141能够将图标、小组件、菜单画面等分配有特定功能的图像或区域显示在图像显示部20上,能够使用它们来实现GUI(Graphical User Interface)。显示设定数据172可以包含与是否需要它们的显示或显示位置等相关的信息,也可以包含用于显示它们的图像数据。
拍摄图像数据173是从移动器310接收到的图像数据。HMD控制部141将从移动器310接收到的图像数据作为拍摄图像数据173存储到HMD存储部170中。
这里,HMD 100A的HMD控制部141存储从移动器310A接收的拍摄图像数据作为拍摄图像数据173。此外,如上所述,HMD 100A、100B、100C能够相互进行数据通信,例如,移动器310A、310B、310C能够分别收发由移动器照相机335拍摄的拍摄图像数据。在该情况下,HMD100A、100B、100C存储从其他HMD 100接收到的拍摄图像数据作为拍摄图像数据173。具体而言,在从HMD 100B、100C接收到移动器310B、310C的拍摄图像数据的情况下,HMD 100A将其存储为拍摄图像数据173。HMD 100B、100C也同样如此。
移动器识别数据174包含识别控制装置10进行通信的移动器310的信息。移动器识别数据174可以包含移动器310的机型名称、型号、制造商名称、制造编号、制造时所设定的固有ID等。或者,移动器识别数据174可以包含使用者设定的移动器310的ID等识别信息。HMD 100A、100B、100C能够分别利用移动器识别数据174来识别移动器310A、310B、310C。
移动器识别数据174可以包含HMD 100对移动器控制系统300进行认证而使用的认证用信息。此外,在控制装置10利用HMD通信部117与移动器310进行通信的情况下,移动器识别数据174可以包含通信所需的信息。具体而言,可以包含网络地址、网络ID、密码等通信用认证信息等。
移动区数据175可以包含与预先设定为使移动器310移动(飞行)的区域的移动区相关的信息。例如,移动区包含移动器310A、310B、310C移动(飞行)的区域(空域、地域),移动区数据175是包含该空域或地域的地图数据。此外,移动区数据175不限于与平面位置相关的数据,也可以包含与高度相关的数据。
移动区数据175中包含的数据与移动器310A、310B、310C的位置能够用可表示实际空间中的绝对位置的纬度或经度对应起来。此外,也可以利用相对于实际空间所设定的基准位置的相对位置而对应起来。
HMD控制部141具有操作系统(OS)143、图像处理部145、显示控制部147、拍摄控制部149、检测控制部151、通信控制部153、位置估计部155、操作检测部157和指令生成部159的功能。
操作系统143的功能是HMD存储部170存储的控制程序的功能,其他HMD控制部141的各部是在操作系统143上执行的应用程序的功能。
图像处理部145根据由图像显示部20显示的图像或者影像的图像数据,生成向右显示单元22和左显示单元24发送的信号。图像处理部145生成的信号可以是垂直同步信号、水平同步信号、时钟信号、模拟图像信号等。
此外,图像处理部145可以根据需要进行分辨率转换处理,该分辨率转换处理将图像数据的分辨率转换为适于右显示单元22和左显示单元24的分辨率。此外,图像处理部145可以执行调整图像数据的亮度或彩度的图像调整处理、根据3D图像数据生成2D图像数据或者根据2D图像数据生成3D图像数据的2D/3D转换处理等。在执行了这些图像处理的情况下,图像处理部145根据处理后的图像数据,生成用于显示图像的信号,经由连接线40发送到图像显示部20。
显示控制部147生成控制右显示单元22和左显示单元24的控制信号,利用该控制信号控制右显示单元22和左显示单元24各自的图像光的生成和射出。具体而言,显示控制部147控制OLED驱动电路225、245,执行OLED面板223、243的图像显示。显示控制部147根据图像处理部145输出的信号,进行由OLED驱动电路225、245在OLED面板223、243上描绘的时刻的控制、以及OLED面板223、243的亮度控制等。
此外,显示控制部147根据显示设定数据172,利用图像显示部20显示各种图像。例如,显示控制部147依照显示设定数据172的设定,显示图标、小组件、菜单等。
此外,显示控制部147执行调整图像显示部20显示的图像的可视性的处理。在下面的说明中将该处理称作图像显示控制(可视性控制处理)。在图像显示控制中,显示控制部147执行图像显示部20显示的图像涉及的图像数据的亮度调整、色调调整、伽玛校正中的至少任意一个。此外,在图像显示控制中,显示控制部147除了图像数据涉及的上述处理以外,或者可以替代上述处理而调整右电子遮光件227和左电子遮光件247的透射率(透光率)。
在图像显示控制中,显示控制部147检测透过图像显示部20而入射到使用者的视野的外部光OL的光量。作为具体的外部光OL的光量的检测方法,可举出使用照度传感器65的检测值的方法、或使用HMD照相机61的拍摄图像的亮度和HMD照相机61的曝光量的方法。显示控制部147根据检测控制部151取得的照度传感器65的检测值来判定外部光OL的光量,与所判定的外部光OL的光量对应地,以实现图像显示部20显示的图像的可视性的方式进行图像显示控制。此外,显示控制部147根据HMD照相机61拍摄的拍摄图像数据的亮度、以及该拍摄图像数据的拍摄时的曝光量的设定值,通过拍摄控制部149的控制来判定外部光OL的光量。
此外,在图像显示控制中,在根据多个图像数据将多个图像显示在图像显示部20上的情况下,显示控制部147还能够进行使显示的多个图像的可视性协调的处理。在该情况下,显示控制部147判定由图像显示部20显示的多个图像涉及的图像数据的可视性,处理成使可视性一致。即,显示控制部147以使各个图像的可视性之差变小的方式,对多个移动器310A、310B、310C拍摄的拍摄图像进行图像显示控制。或者,显示控制部147以使任意一部分的图像的可视性比其他图像高的方式进行处理。显示控制部147执行的处理例如可以是上述图像数据的亮度调整、色调调整、伽玛校正中的至少任意一个。
例如,在HMD 100A分别取得移动器310A、310B、310C拍摄的拍摄图像数据并显示在图像显示部20上的情况下,显示控制部147根据移动器310A、310B、310C各自的拍摄图像数据,显示图像。显示控制部147以使这些多个图像的可视性一致或者使任意一部分的图像的可视性比其他图像高的方式进行图像显示控制。由此,HMD 100A能够在图像的可视性一致的状态或者一部分的图像比其他图像容易观察的状态下,显示移动器310A、310B、310C的拍摄图像。
除了主处理器140执行程序而实现的结构以外,显示控制部147还可以由与主处理器140不同的硬件(例如,DSP(Digital Signal Processor))构成。
拍摄控制部149控制HMD照相机61使其执行拍摄,生成拍摄图像数据,临时存储到HMD存储部170中。此外,在HMD照相机61构成为包含生成拍摄图像数据的电路的照相机单元的情况下,拍摄控制部149从HMD照相机61取得拍摄图像数据,临时存储到HMD存储部170中。
此外,拍摄控制部149可以控制内侧照相机68使其拍摄使用者的右眼RE和左眼LE。在该情况下,HMD控制部141可以依照拍摄控制部149的控制,解析内侧照相机68拍摄的拍摄图像数据,从而检测使用者的右眼RE和左眼LE的运动。在该情况下,HMD控制部141可以针对右眼RE和左眼LE各自或者任意一方求出运动方向和运动量等。
检测控制部151取得HMD 100具备的各种传感器的检测值。检测控制部151控制的传感器例如包含6轴传感器111、磁传感器113、温度传感器217、6轴传感器235、磁传感器237、距离传感器64和照度传感器65。此外,也可以包含GPS 115。
此外,检测控制部151作为受理部发挥功能,受理针对HMD 100的操作。检测控制部151检测针对控制装置10具备的按钮11或触摸传感器13的操作。此外,检测控制部151根据控制装置10具备的6轴传感器111或磁传感器113的检测值和/或检测值的变化,检测由于使控制装置10运动而引起的操作。此外,检测控制部151根据图像显示部20具备的6轴传感器235或磁传感器237的检测值和/或检测值的变化,检测由于使图像显示部20运动而引起的操作。例如,在控制装置10和/或图像显示部20的运动与预先设定的方式的运动对应的情况下,检测控制部151检测操作。
通信控制部153控制HMD通信部117,使其执行与移动器310以及其他HMD 100之间的通信。即,HMD 100A的通信控制部153利用HMD通信部117与移动器310A执行通信,并且分别与HMD 100B、100C执行通信。
此外,通信控制部153可以接收从移动器310发送的拍摄图像数据。例如,通信控制部153从HMD通信部117收发的数据中提取与拍摄图像数据对应的数据。HMD 100A具备的通信控制部153可以接收移动器310A发送的拍摄图像数据,也可以接收移动器310B、310C发送的拍摄图像数据。此外,在HMD 100B、100C朝向HMD 100A发送从移动器310接收到的拍摄图像数据的情况下,HMD 100A具备的通信控制部153可以接收该发送的拍摄图像数据。这些功能在HMD 100B、100C具备的通信控制部153中也同样。
位置估计部155(移动体位置取得部)估计移动器310的位置。位置估计部155可以根据移动器310的位置信息,确定移动器310的位置。在移动器310位于移动区内的状态下,位置估计部155根据移动器310发送的拍摄图像数据,进行估计移动器310的位置的处理。
HMD 100A的位置估计部155估计移动器310A的位置。此外,HMD 100A的位置估计部155可以根据从HMD 100B、100C接收的数据,估计移动器310B、310C的位置。
位置估计部155估计的移动器310的位置不限定于利用移动区数据175确定的移动区中的移动器310的位置。
例如,位置估计部155可以估计移动器310相对于图像显示部20的相对位置。更详细而言,位置估计部155估计用于判定佩戴图像显示部20的使用者是否能够透过图像显示部20观察实际空间的移动器310的位置。具体而言,位置估计部155可以估计将图像显示部20的位置和图像显示部20的正面方向作为基准的移动器310的位置。或者,可以估计使用者透过图像显示部20而观察实际空间的移动器310的情况下的、通过了图像显示部20的视野与移动器310的相对位置。
此外,位置估计部155可以利用通过通信控制部153的控制而执行的数据通信来取得移动器310的移动器位置信息。例如,位置估计部155从通过通信控制部153的控制而由HMD通信部117接收的各种数据中提取与移动器位置信息对应的数据。例如,HMD 100A具备的位置估计部155可以接收移动器310A发送的移动器位置信息,也可以接收移动器310B、310C发送的移动器位置信息。此外,在HMD 100B、100C朝向HMD 100A发送了从移动器310接收到的移动器位置信息的情况下,HMD 100A具备的位置估计部155可以接收该发送的移动器位置信息。这些功能在HMD 100B、100C具备的位置估计部155中也同样。
并且,不限于包含GPS装置344的检测值等的移动器位置信息,位置估计部155可以根据从外部(移动器310以外或者HMD 100以外的装置)接收的数据或信号来估计移动器310A的位置。例如,可以接收安装于信号器或引导标识等道路设备上的信标信号发送器、在商业设施中设置于店铺等中的信标发送器等发送的信标信号,并用于位置的估计。此外,作为来自外部的信号,可以使用移动电话的基站发送的数据、由公用无线LAN的发送设备(例如,WiFi点等)发送的位置信息或通信数据。此外,可以利用上述的各种信号的组合来估计位置。
操作检测部157检测佩戴了图像显示部20的使用者的操作,例如检测位置指示操作。操作检测部157解析通过拍摄控制部149的控制而由HMD照相机61拍摄的拍摄图像数据,从拍摄图像数据中提取指示体(使用者的手指、手、其他的身体的一部分或者其他物体等)的图像。操作检测部157确定拍摄图像数据中的指示体的图像位置,将所确定的位置转换为相对于图像显示部20的相对位置。输出转换后的位置作为操作位置。由此,佩戴图像显示部20的使用者使指示体位于HMD照相机61的拍摄范围,或者在拍摄范围内使指示体运动,由此能够进行位置指示操作。
指令生成部159依照检测控制部151检测的操作或者操作检测部157检测的操作,生成指令。指令生成部159生成的指令是使移动器310动作的指令。例如是指示移动器310的上升(悬浮)、下降、前进(行进)、后退、转弯(旋转)、反向转弯(反转)等的指令、指示移动器310的标准动作的指令、或指示拍摄图像数据的发送的指令等。指令生成部159生成的指令利用HMD通信部117发送到移动器310。
指令生成部159生成的指令(相当于本发明的指令)只要指示移动器310的动作,则数据形式或处理的过程未特别限定。具体而言,指令生成部159生成的指令可以是移动器310中的、用于供移动器控制部341控制各部的指令、即移动器310的内部指令本身,也可以是作为使移动器控制部341生成内部指令的源的数据。例如移动器控制部341可以是如下结构:接收由指令生成部159生成并由HMD通信部117发送的指令,并根据该指令,生成用于控制飞行控制部345、照相机控制部346、指示器349等的内部指令。因此,指令生成部159可以具有生成用于供移动器控制部341控制飞行控制部345、照相机控制部346、指示器349等的内部指令的功能,也可以具有生成移动器控制部341可解释的形式的控制数据等的功能。内部指令例如可以包含上述常规动作指令等。
HMD 100A的指令生成部159生成与使用HMD 100A而操纵的移动器310A对应的指令。由HMD 100A的指令生成部159生成的与移动器310A对应的指令至少是指移动器控制部341能够接收、解释并执行处理的形式的数据,不限定于移动器310A的内部指令。这里,在移动器310A、310B、310C的至少一部分与不同的指令对应地动作的情况下,HMD 100A的指令生成部159只要能够生成与移动器310A对应的指令即可。此外,HMD 100A的指令生成部159可以是能够生成与移动器310B、310C对应的指令的结构。
并且,指令生成部159可以根据从其他HMD 100接收到的数据,生成指令。
例如,HMD 100A可以依照从HMD 100B接收的数据,生成针对移动器310A的指令,利用HMD通信部117发送。该动作相当于HMD 100B经由HMD 100A向移动器310A间接发送指令的动作。可以在HMD 100A、100B、100C之间相互执行该动作。在该情况下,即使是移动器310A、310B、310C不同的情况等对应的指令不同的情况,也能够从1个HMD 100向各个移动器310发送指令。
在指令生成部159生成指令、并由HMD通信部117将指令发送到移动器310的情况下,可以在HMD通信部117与移动器310的移动器通信部343之间收发被加密的指令。例如,HMD通信部117和移动器通信部343可以构成为以分组形式收发包含指令的各种数据,按照每个分组实施使用了随机数或密钥信息的加密。在该情况下,指令生成部159可以对指令进行加密,使HMD通信部117发送加密数据。此外,在移动器310中,移动器控制部341可以进行对由移动器通信部343接收到的加密数据进行解密的处理。在从移动器310向HMD 100发送数据的情况下也同样可以利用移动器通信部343发送由移动器控制部341加密的加密数据,HMD 100利用HMD通信部117接收加密数据,HMD控制部141对接收到的加密数据进行解密。
HMD控制部141利用HMD通信部117与移动器310进行通信,接收移动器310发送的移动器位置信息。此外,HMD控制部141接收移动器310发送的拍摄图像数据。此外,HMD控制部141可以对从移动器310接收到的移动器位置信息进行加工,生成根据接收到的移动器位置信息而生成的表示移动器310的位置的数据作为新的移动器位置信息。此外,HMD控制部141可以对从移动器310接收到的拍摄图像数据进行加工,生成基于接收到的拍摄图像数据的新图像数据。
此外,HMD 100A能够向HMD 100B、100C发送移动器310A的移动器位置信息和拍摄图像数据。在该情况下,HMD 100A的HMD控制部141能够在指定的时刻向HMD 100B、100C发送移动器位置信息和/或拍摄图像数据。同样,HMD 100B能够向HMD 100A、100C发送移动器310B的移动器位置信息和拍摄图像数据。此外,HMD 100C能够向HMD 100A、100B发送移动器310C的移动器位置信息和拍摄图像数据。
能够根据HMD 100A、100B、100C的功能,设移动器复合控制系统1具备的HMD 100A、100B、100C为第1显示装置和第2显示装置。在该情况下,HMD 100A、100B、100C中的任意一个对应于第1显示装置,其他对应于第2显示装置。例如在设HMD 100A为第1显示装置的情况下,HMD 100B、100C对应于第2显示装置。在设HMD 100B或者HMD 100C为第1显示装置的情况下也同样如此,在各个情况下,HMD 100A、100C或者HMD 100A、100B对应于第2显示装置。此外,在这些情况下,能够将第1显示装置的图像显示部20称作第1显示部、第2显示装置的图像显示部20称作第2显示部。
在上述的情况下,第1显示装置的操作检测部157相当于第1操作检测部,第2显示装置的操作检测部157相当于第2操作检测部。第1显示装置的指令生成部159相当于第1移动体控制部,第2显示装置的指令生成部159相当于第2移动体控制部。第1显示装置的通信控制部153相当于第1移动体图像数据取得部,第2显示装置的通信控制部153相当于第2移动体图像数据取得部。这些第1和第2移动体图像数据取得部可以通过通信控制部153与HMD通信部117的协作实现,作为图像取得部的功能也同样如此。此外,第1显示装置的显示控制部147相当于第1显示控制部,第2显示装置的显示控制部147相当于第2显示控制部。
此外,在上述的情况下,能够设作为移动器复合控制系统1具有的移动体的移动器310A、310B、310C中的任意一个为第1移动体、其他为第2移动体。例如,在设移动器310A为第1移动体的情况下,移动器310B、310C对应于第2移动体。在设移动器310B、310C为第1移动体的情况下也同样如此,移动器310A、310C或者移动器310A、310B对应于第2移动体。
第1显示装置与第1移动体的对应关系以及第2显示装置与第2移动体的对应关系也同样如此。在HMD 100A为第1显示装置的情况下,移动器310A对应于第1移动体。在HMD100A为第2显示装置的情况下,移动器310A对应于第2移动体。HMD 100B、100C和移动器310B、310C也同样如此。
图9、图10、图12、图13、图14和图15是示出移动器复合控制系统1的各部的动作的流程图。图11是示出HMD 100中的显示例的图。图16和图17是示出图像显示部20显示的图像的观察特性的图表。图18、图19和图20是示出伴随移动器复合控制系统1的动作而显示在图像显示部20上的画面的显示例的图。参照这些图,说明移动器复合控制系统1的动作。
图9是示出移动器310的动作的流程图。图9所示的动作对于移动器310A、310B、310C是共同的。移动器310A、310B、310C分别依照从HMD 100A、100B、100C发送的指令,执行图9的动作。这里,以移动器310A为例进行说明。
在将移动器310A的电源接通时,移动器310A的移动器控制部341开始动作,执行包含电机控制器347在内的各部的初始化、以及建立与HMD 100A之间的通信的动作(步骤S11)。
移动器控制部341开始基于GPS装置344的位置检测,开始取得GPS装置344检测的位置信息(步骤S12)。此外,移动器控制部341控制照相机控制部346,开始基于移动器照相机335的拍摄(步骤S13)。
移动器控制部341开始向HMD 100A发送从GPS装置344取得的位置信息和移动器照相机335的拍摄图像数据的处理(步骤S14)。这里,移动器控制部341可以将姿势传感器348的检测值包含在位置信息中发送。此外,移动器控制部341例如可以将包含移动器310的电池剩余量等在内的控制信息包含在位置信息中发送。在图9所示的动作例中,移动器控制部341在步骤S14以后按照预先设定的周期,继续执行位置信息和拍摄图像数据的发送。
移动器控制部341判定移动器通信部343是否从HMD 100A接收到指令(步骤S15)。在接收到指令的情况下(步骤S15;是),移动器控制部341判定接收到的指令是否是常规动作指令(步骤S16)。在接收到的指令是常规动作指令的情况下(步骤S16;是),移动器控制部341使飞行控制部345执行由接收到的指令指定的常规动作(步骤S17),转移到步骤S19。在接收到的指令不是常规动作指令的情况下(步骤S16;否),移动器控制部341使飞行控制部345执行由接收到的指令指定的动作(步骤S18),转移到步骤S19。此外,在未从HMD 100A接收到指令的情况下(步骤S15;否),移动器控制部341转移到步骤S19。
在步骤S19中,移动器控制部341判定是否结束动作(步骤S19),在不结束动作的情况下(步骤S19;否),返回步骤S15。
移动器310B以及移动器310C与移动器310A同样地执行图9的动作,分别与HMD100B、100C执行通信。由此,移动器310B依照HMD 100B发送的指令进行动作,向HMD 100B发送拍摄图像数据和位置信息。移动器310C和HMD 100C也同样如此。
图10是示出HMD 100的动作的流程图。图10所示的动作对于HMD 100A、100B、100C是共同的,这里,以HMD 100A为例进行说明。
在HMD 100A的电源接通时,HMD 100A的HMD控制部141开始动作,进行HMD 100A的各部的初始化,与移动器310A之间建立通信(步骤S31)。
HMD控制部141使图像显示部20显示用于进行操纵移动器310A的操作的操纵画面(操作用画面)(步骤S32),开始指令生成处理(步骤S33)。指令生成处理是如下处理:在将操纵画面显示在图像显示部20上的状态下,利用操作检测部157检测操作,根据检测出的操作,由指令生成部159生成用于使移动器310A运动的指令并发送。从在步骤S33中开始指令生成处理以后到结束动作为止,HMD控制部141能够与使用者的操作对应地生成指令并发送。如上所述,在指令生成处理中由操作检测部157检测的操作是触控板14的触摸操作等控制装置10中的操作、HMD照相机61的拍摄范围中的指示体的操作等。之后参照图11,说明指示体的操作的例子。
HMD控制部141开始从移动器310A接收位置信息的动作(步骤S34)。此外,HMD控制部141开始取得图像数据(步骤S35)。在步骤S35中取得的图像数据可以是移动器310A的拍摄图像数据,也可以是其他移动器310B、310C的拍摄图像数据。
这里,HMD控制部141判定是否将在步骤S34中开始接收到的位置信息和在步骤S35中开始取得的图像数据发送到其他HMD 100(步骤S36)。关于是否需要发送,预先设定于HMD控制部141中,例如根据设定数据171所包含的设定值确定。具体的发送目的地是HMD 100B和HMD 100C中的至少任意一个。此外,HMD控制部141可以与其他HMD 100即HMD 100B、100C进行通信,在被请求了数据的发送的情况下,判定为发送数据。
在向HMD 100B或者HMD 100C发送数据的情况下(步骤S36;是),HMD控制部141开始图像数据和位置信息的数据发送(步骤S37)。假设在HMD 100B执行图10的动作的情况下,在步骤S37中开始向HMD 100A、100C的数据发送,在HMD 100C执行图10的动作的情况下,在步骤S37中,开始向HMD 100A、100B的数据发送。
然后,HMD控制部141判定是否从其他HMD 100接收数据(步骤S38)。关于是否需要接收,预先设定在HMD控制部141中,例如根据设定数据171所包含的设定值确定。具体的发送源是HMD 100B和HMD 100C中的至少任意一个。此外,HMD控制部141可以与其他HMD 100即HMD 100B、100C进行通信,在被请求了数据的接收的情况下,判定为接收数据。此外,在判定为不向HMD 100B或者HMD 100C发送数据的情况下(步骤S36;否),转移到步骤S38。
在从HMD 100B或者HMD 100C接收数据的情况下(步骤S38;是),HMD控制部141开始图像数据和位置信息的数据的接收(步骤S39)。假设在HMD 100B执行图10的动作的情况下,在步骤S39中开始来自HMD 100A、100C的数据接收,在HMD 100C执行图10的动作的情况下,在步骤S39中开始来自HMD 100A、100B的数据接收。
HMD控制部141开始决定图像数据的显示位置和尺寸的显示位置调整处理(步骤S40),结束本处理。此外,在判定为未从其他HMD 100接收数据的情况下(步骤S38;否),执行步骤S40的动作并结束本处理。
HMD 100A、100B、100C显示的画面的状态、即显示形式是任意的。
例如,HMD 100A可以显示用于操作移动器310A的操作画面。操作画面是用于借助使用者的操作来操纵移动器310A的画面,例如,进行基于HMD 100A从移动器310A接收的位置信息的显示。具体而言,显示移动器310A的经度、纬度、高度、电池剩余量等。
此外,在根据使用者的操作而向移动器310A发送了指令的情况下,HMD控制部141可以显示表示所发送的指令的内容的图像。具体而言,可以显示表示向移动器310A发送了指示前进的指令的图像、字符、图形或者其他显示对象。
此外,HMD控制部141可以利用图像显示部20显示表示移动器310A的位置的图像。该图像例如可以是与地图一起表示移动器310A的位置的图像,也可以在该地图中显示HMD100A的位置。此外,在上述地图上可以显示移动器310B、310C的位置,也可以显示HMD 100B、100C的位置。HMD 100A能够根据HMD 100A从HMD 100B、100C接收的位置信息,显示这些位置。此外,如上所述显示为图像的地图可以使用俯瞰地图,具体而言,可以是作为与移动器310A飞行的状况对应的导航地图发挥功能的显示方式。
此外,HMD控制部141可以显示HMD 100A从移动器310A、HMD 100B、100C接收到的图像。这些图像是根据从移动器310A接收到的拍摄图像数据而显示的图像、或者根据HMD100A从HMD 100B接收到的图像数据而显示的图像。具体而言,是基于HMD 100B从移动器310B接收的移动器310B的拍摄图像数据的图像、或者基于HMD 100B具备的HMD照相机61的拍摄图像数据的图像。此外,可以根据HMD 100A从HMD 100C接收到的图像数据,显示图像。具体而言,可以显示基于HMD 100C从移动器310C接收的移动器310C的拍摄图像数据的图像、或者基于HMD 100C具备的HMD照相机61的拍摄图像数据的图像。
此外,HMD控制部141可以显示表示移动器310A的动作状态的图像。该图像例如能够设为相对于使用者透过图像显示部20而观察的实际空间的移动器310A在与观察到移动器310A的位置对应的显示位置处显示的所谓AR(增强现实:Augmented Reality)图像。该图像例如是表示移动器310A的行进方向(前进、后退、转弯、反向转弯等)的图像。在本实施方式中,移动器310A具备的指示器349(图2)与移动器310A的移动方向对应地发光。因此,能够以与观察到实际空间的移动器310A的位置重叠的方式显示模拟了指示器349的发光的AR图像。这样,通过对实际空间的移动器310A的可视性造成影响,显示追加地显示信息的AR图像,能够获得有效的视觉效果。
在该例子中,即使在无法直接观察移动器310A的指示器349的情况下,也与能够直接观察指示器349的情况同样,使用者能够掌握移动器310A的动作状态。由此,使用者能够获知移动器310A的行进方向。可以构成为即使在HMD 100B在图像显示部20上显示图像的显示区域和HMD 100C在图像显示部20上显示图像的显示区域中,也进行相同的显示。即,也可以在操纵画面的显示中或者可观察实际空间的移动器310B、310C的状态下,显示与上述的AR图像相同的图像。此外,在与显示区域重叠的位置处观察实际空间的移动器310B、310C的情况下,HMD 100A的HMD控制部141可以在观察到移动器310B、310C的位置处显示AR图像。
此外,HMD控制部141可以在图像显示部20的显示区域上进行基于HMD 100从移动器310接收的位置信息的显示。具体而言,可以显示移动器310的经度、纬度、高度、电池剩余量等。这里,在HMD 100A的图像显示部20上,可以显示移动器310A的经度、纬度、高度、电池剩余量等,也可以显示移动器310B和移动器310C中的任意一个1以上的经度、纬度、高度、电池剩余量等。
可以是HMD 100A、100B、100C各自可执行这些显示的结构,也可以是仅HMD 100A、100B、100C的一部分进行上述显示的结构。因此,在移动器复合控制系统1中,HMD 100A、100B、100C可以显示相同的图像等显示对象,或者,HMD 100A、100B、100C的显示或者显示的信息可以是各自不同的形式。
通过采用这些显示形式,HMD 100A的使用者一边观察实际空间的移动器310A,一边观察图像显示部20所显示的图像或操作标识。例如,在通过法令/条令等规则规定了在可目视的范围内操纵移动器310A那样的无人飞行体的情况下,需要能够观察实际空间的移动器310A。另一方面,使用者观察表示移动器310A的位置或状态等的图像的重要性也不低。此外,例如,在HMD 100B发送移动器310B的拍摄图像数据的情况下,HMD 100A的使用者通过观察图像显示部20的显示,能够获知移动器310B的位置或方向。此外,使用者能够获得关于移动器310B拍摄的拍摄对象物的较多信息。例如,在移动器310B、310C在远离HMD 100A的使用者的位置飞行的情况下,能够利用基于移动器310B、310C的拍摄图像数据的图像,实现拥堵道路的信息、绕道的引导、包含火灾在内的各种灾害现场的信息提供、以及信息共享。另外,在上述的显示方式中,为了识别拍摄了显示的图像的设备,可以在图像上显示框,并按照每个机型变更框的显示状态(实线、虚线或显示颜色等)。
这里,对HMD 100A、100B、100C的显示形式进行说明。
图11是示出HMD 100A的显示例的图。
在附图中,标号VR1表示佩戴HMD 100A的图像显示部20的使用者的视野。标号V1是能够使使用者利用半反射镜261、281观察图像的区域、换言之,图像显示部20能够显示图像的可显示区域。视野VR1表示使用者通过透过图像显示部20的外部光OL和图像显示部20输出的图像光L而观察的范围。在图11的例子中,在与显示区域V1重叠的位置处观察到实际空间的移动器310A。
在显示区域V1的中央处显示作为操作画面发挥功能的图像P11。图像P11是用于根据使用者的操作来操纵移动器310A的画面,例如,进行基于HMD 100A从移动器310A接收的位置信息的显示。具体而言,显示移动器310A的经度、纬度、高度、电池剩余量等。
此外,在根据使用者的操作而向移动器310A发送了指令的情况下,HMD控制部141将所发送的指令的内容显示在图像P11上。例如,在图15中,在图像P11上显示表示向移动器310A发送了指示前进的指令的操作标识M11。该指令的内容的显示可以如操作标识M11那样是图像,也能够利用字符、图形或者其他显示对象。
在显示区域V1中显示图像P12,该图像P12表示移动器310A的位置。关于图像P12,与地图一起显示表示移动器310A的位置的图像。在图像P12的地图上,可以显示HMD 100A的位置。此外,在图像P12的地图上,可以显示移动器310B、310C的位置,也可以显示HMD 100B、100C的位置。HMD 100A能够根据HMD 100A从HMD 100B、100C接收的位置信息,显示这些位置。此外,图像P12所显示的地图可以使用俯瞰地图,具体而言,可以是作为与移动器310A飞行的状况对应的导航地图发挥功能的显示形式。
在显示区域V1上显示HMD 100A从移动器310A、HMD 100B、100C接收到的图像P13、P14、P15。图像P13是根据从移动器310A接收到的拍摄图像数据而显示的图像。图像P14是根据HMD 100A从HMD 100B接收到的图像数据而显示的图像。具体而言,是基于HMD 100B从移动器310B接收的移动器310B的拍摄图像数据的图像、或者基于HMD 100B具备的HMD照相机61的拍摄图像数据的图像。图像P15是根据HMD 100A从HMD 100C接收到的图像数据而显示的图像。具体而言,是基于HMD 100C从移动器310C接收的移动器310C的拍摄图像数据的图像、或者基于HMD 100C具备的HMD照相机61的拍摄图像数据的图像。
此外,在显示区域V1中显示图像AR1,该图像AR1表示移动器310A的动作状态。图像AR1是表示移动器310A的行进方向(前进、后退、转弯、反向转弯等)的图像。在本实施方式中,显示模拟了移动器310A具备的指示器349(图2)的发光的图像AR1。图像AR1的显示位置设为与观察到实际空间的移动器310A的位置重叠的位置。即,图像AR1是对实际空间的移动器310A的可视性造成影响、追加地显示信息的AR显示。
由此,即使在无法直接观察移动器310A的指示器349的情况下,也与能够直接观察指示器349的情况同样,使用者能够掌握移动器310A的动作状态。由此,使用者能够获知移动器310A的行进方向。在显示区域V2、V3中,也可以在操纵画面的显示中或者可观察实际空间的移动器310B、310C的状态下,显示与图像AR1相同的图像。此外,在与显示区域重叠的位置处观察到实际空间的移动器310B、310C的情况下,HMD 100A的HMD控制部141可以在观察到移动器310B、310C的位置处显示与图像AR1相同的图像。
并且,图11的显示例示出在视野VR1中观察到实际空间的移动器310A的状态下进行指示体H的操作的例子。在图11的例子中,指示体H是使用者的手,但指示体H只要是内置有发光电路的电子器件、指示棒、笔等各种物体、且可由HMD照相机61拍摄的物体即可。HMD控制部141利用拍摄控制部149取得HMD照相机61的拍摄图像数据,由操作检测部157解析该拍摄图像数据,由此,检测指示体H。操作检测部157通过确定指示体H相对于图像显示部20的相对位置,确定指示体H相对于视野VR1的位置。该位置被检测为指示体H的操作位置。HMD控制部141在与操作位置对应的显示区域V1内部的显示位置处显示操作图像M12,该操作图像M12表示检测出指示体H的操作。操作图像M12是用于向使用者通知HMD控制部141检测出的操作位置的图像。并且,HMD控制部141根据操作检测部157检测出的指示体H的位置,利用指令生成部159生成向移动器310发送的指令,利用HMD通信部117发送到移动器310。这里,可以关于指示体H的位置预先执行校准,由HMD 100存储包含校准结果的校准数据,在该情况下,能够依照校准数据,确定指示体H的位置对准。即,佩戴图像显示部20的使用者通过使指示体H运动,能够指示移动器310的驱动,HMD 100提供所谓的操作UI(User Interface)。该指示体H对操作UI的操作相当于位置指示操作。即,位置指示操作是在使指示体位于HMD照相机61的拍摄范围内的位置或者使指示体运动的操作。如图11的例子所示,操作检测部157不仅检测指示体H的位置作为指示位置,也可以实现手势UI,在该手势UI中,在指示体H在HMD照相机61的拍摄范围内运动的情况下,如果该运动对应于预先设定的手势,则操作检测部157检测出该运动。如果操作检测部157根据HMD照相机61的拍摄图像而检测到指示体的位置或者运动,则相当于检测到位置指示操作。这样,操作检测部157检测的操作不限于针对作为控制装置10的操作部的触控板14等的操作,还能够包含指示体H的操作、以及图像显示部20的位置、姿势、运动等的操作。而且,操作检测部157检测的操作不限于为了操纵移动器310而使用HMD 100的使用者,例如,在HMD 100A的使用者操纵移动器310A的情况下,将操作检测部157检测的操作用于HMD 100B的使用者操作的该HMD 100B的显示的控制。
HMD 100A的HMD控制部141进行控制由图像显示部20显示的各个图像等的可视性的处理。图12示出该处理。
图12是示出HMD 100的动作的流程图。图12所示的动作对于HMD 100A、100B、100C是共同的,这里,以HMD 100A为例进行说明。
HMD 100A的HMD控制部141取得从作为显示对象的移动器310、即移动器310A接收的拍摄图像数据和位置信息(步骤S61)。在步骤S61中取得的拍摄图像数据和位置信息可举出在图10所示的处理中接收到的拍摄图像数据和位置信息,但也可以从HMD 100B、100C接收拍摄图像数据和位置信息。
HMD控制部141取得HMD 100A的位置信息(步骤S62)。在步骤S62中,取得例如GPS115(图7)检测的位置信息,但该位置信息只要是能够确定HMD 100A的位置的信息即可。
HMD控制部141根据在步骤S61和步骤S62中取得的信息,对显示在显示区域V1上的图像涉及的图像数据进行重要度的排序(步骤S63)。在步骤S63中,HMD控制部141例如根据移动器310A的位置和HMD 100A的位置,对外景、移动器310A的拍摄图像数据以及用于操纵移动器310A的操纵画面的重要度进行排序。HMD控制部141依照在步骤S63中决定的重要度的排序,决定基于各图像数据的图像的显示位置和显示尺寸(步骤S64),更新显示(步骤S65)。
接着,HMD控制部141取得HMD照相机61的拍摄图像的拍摄图像数据(步骤S66),解析拍摄图像数据,由此检测外部光OL的状态(步骤S67)。HMD控制部141检测显示在图像显示部20上的显示对象的图像数据各自的特性(步骤S68)。HMD控制部141根据在步骤S67中检测出的外部光OL的状态以及在步骤S68中检测出的各图像数据的特性,决定图像显示控制的内容(步骤S69),依照所决定的内容进行图像显示控制(步骤S70)。
在步骤S67中,HMD控制部141检测外部光OL的光量或者外部光OL的强度。在该情况下,HMD控制部141不限于在步骤S67中利用HMD照相机61的拍摄图像数据来检测外部光OL的光量或者强度的处理,也可以进行根据照度传感器65的检测值来检测外部光OL的光量或者强度的处理。此外,在步骤S67中,HMD控制部141可以检测外部光OL的色调。外部光OL的色调可以确定为例如RGB、YUV、Lab等各种颜色空间中的坐标。此外,例如可以从拍摄图像数据中提取预先设定的位置或者数量的代表像素,根据提取出的像素的颜色数据来检测外部光OL的色调。或者,可以根据拍摄图像数据整体的颜色数据(灰度值)的平均值或中央值来检测外部光OL的色调。这些处理的具体内容是任意的。
作为在步骤S69中决定的图像显示控制的内容,可举出与外部光OL的状态对应地提高图像显示部20显示的图像的可视性的处理、以及提高透过图像显示部20的外景的可视性的处理。此外,可举出使图像显示部20所显示的多个图像的可视性一致的处理、以及使图像显示部20所显示的多个图像的可视性的一部分比其他图像高的处理。
在图像显示控制中,例如,在步骤S65中,在上述操纵画面的重要度的等级高的情况下,HMD控制部141可以进行处理,使得操纵画面的可视性高于外景和拍摄图像数据。即,可以通过操纵画面的放大显示、闪烁等进行强调显示。此外,为了减少外部光OL的光量,HMD控制部141可以减少右电子遮光件227和左电子遮光件247的透射光量。可以在使右电子遮光件227和左电子遮光件247的透射光量发生变化的情况下,进行使右电子遮光件227和左电子遮光件247的一部分区域的透射光量与其他区域不同的区域控制。此外,也可以使特定图像的亮度或图像尺寸在时间上(随时间)发生变化以使其淡入或者淡出。此外,可以进行将荧光色显示添加到图像而进行强调的显示控制。此外,HMD控制部141可以提高操纵画面的亮度,以使操纵画面的可视性高于外景。在该处理中,HMD控制部141可以与根据照度传感器65的检测值或HMD照相机61的拍摄图像数据而获得的外部环境对应地进行控制。作为一例,可以与HMD 100A的地点的背景、受气候或时刻影响的实际背景(晴天、下雨、夕阳、夜晚、下雪、大海、红叶等)对应地控制显示区域V1的图像。此外,HMD控制部141可以调整操纵画面的颜色或者色调,并自动调整操纵画面,以能够维持可与背景的天空或者云、风景区分的状态。此外,在操纵画面看起来较暗的情况下,可以附加明亮颜色(白色等)的水印或背景。
并且,在进行排序时,HMD控制部141可以根据其他移动器、即移动器310B、310C的位置、移动器310A的位置与HMD 100A的位置的位置关系,变更排序。
关于基于移动器310A的拍摄图像数据的图像、用于操纵移动器310A的操纵画面、以及其他图像等的显示位置的控制,HMD控制部141可以使用HMD 100A具有的各种传感器的检测值。例如,HMD控制部141可以使用与图像显示部20的位置相关的检测值,控制显示位置。具体而言,HMD控制部141可以利用操作检测部157,根据6轴传感器235和/或磁传感器237的检测值来检测图像显示部20的运动,并检测图像显示部20的运动或使用者的姿势作为操作。此外,操作检测部157可以根据HMD照相机61的拍摄图像的变化或距离传感器64的检测值的变化来检测图像显示部20的运动或使用者的姿势。此外,操作检测部157可以检测由内侧照相机68拍摄的右眼RE和/或左眼LE的运动或视线方向作为操作。而且,利用显示控制部147的功能,HMD控制部141可以对应于操作检测部157检测出的操作而决定显示图像的优先级,并决定显示位置。由此,可以控制基于作为第1显示装置的HMD 100A或作为第2显示装置的HMD 100B、100C中的拍摄图像数据的图像的显示位置、显示区的尺寸、拍摄图像与外景的透射度、以及控制用显示UI的透射度等。作为一例,可以在视线或佩戴图像显示部20的使用者的头的朝向面向作为操作对象的移动器310的情况下,能够优先地观察透过显示区域V1而观察的外景(实际空间),变更显示图像或操作用UI的透射度。此外,可以还反映移动器310的动作状态来进行这些控制,例如,在移动器310起飞和降落时,在移动器310位于接近使用者的位置的情况下,能够熄灭基于移动器照相机335的拍摄图像数据的图像的显示,并提高用于操作移动器310的操纵用图像的显示的优先级。并且,在由操作检测部157检测出佩戴图像显示部20的头的急剧运动、或右眼RE或者左眼LE的视线方向的急剧变动的情况下,可以判断为对应于产生了在使用者的附近目视外景的优先事项的情况,具体而言判断为使用者正在步行。在这样的情况下,HMD控制部141可以使基于移动器照相机335的拍摄图像数据的图像和移动器310的操纵用图像的显示从视野VR1的中央退回到周边,并且以使图像的显示亮度(明亮度)下降并使外景的可视性高于这些图像的方式控制图像。
此外,之后参照图16~图19,对图像显示控制的具体例进行叙述。
图13是示出HMD 100A、100B、100C之间的数据收发涉及的动作的时序图。
在移动器复合控制系统1中,HMD 100A、100B、100C能够相互收发数据。
具体而言,HMD 100A能够发送移动器310A的拍摄图像数据(移动器照相机图像数据)、移动器310A的位置信息(移动器位置信息)、以及HMD照相机61的拍摄图像数据(HMD照相机图像数据)。可以进行发送到HMD 100B(步骤SA1)和发送到HMD 100C(步骤SA2)作为发送目的地的动作中的任意一个。
同样,HMD 100B能够发送移动器310B的移动器照相机图像数据、移动器310B的移动器位置信息、以及HMD 100B拍摄的HMD照相机图像数据。发送目的地能够选择HMD 100A(步骤SB1)、HMD 100C(步骤SB2)中的任意一个。HMD 100C能够发送移动器310C的移动器照相机图像数据、移动器310C的移动器位置信息、以及HMD 100C拍摄的HMD照相机图像数据。发送目的地能够选择HMD 100A(步骤SC1)、HMD 100B(步骤SC2)中的任意一个。
这样,在移动器复合控制系统1中,HMD 100A、100B、100C能够相互收发数据,相互取得移动器310A、310B、310C的拍摄图像数据和位置信息。能够利用该结构,进行移动器310的操纵的交替(交接)。
例如,移动器310A根据HMD 100A的操纵移动至A地点,在A地点处执行悬停。这里,HMD 100B与HMD 100A相互通信,彼此进行认证。在成功认证之后,HMD 100A将识别HMD 100B的数据发送到移动器310A,并且,移动器310A根据该数据与HMD 100B相互通信并进行认证。然后,移动器310A从在A地点处悬停的状态,转移到依照HMD 100B发送的指令而移动的状态。根据该步骤,能够将移动器310A的操纵从HMD 100A的使用者移交给HMD 100B的使用者。此外,在交接的前后,可以变更HMD 100A、100B显示的基于移动器310A的拍摄图像数据的图像、或者实际空间的移动器310A上重叠显示的AR图像。可以在HMD 100A操纵移动器310A的期间和HMD 100B操纵移动器310A的期间内,改变AR显示的显示颜色或基于拍摄图像数据的图像的显示框的颜色。
图14是示出HMD 100的动作的流程图。
该图14所示的动作是与对应于移动器310的AR图像的显示有关的动作。图14的动作可以由HMD 100B、100C执行,这里作为一例,说明由HMD 100A执行的例子。AR图像例如可以是如上所述模拟指示器349的发光的图像,也可以是表示移动器310A的位置和动作涉及的信息的字符或图像。这里,说明显示与指示器349对应的AR图像的例子。
HMD 100A的HMD控制部141取得HMD照相机61的拍摄图像数据(步骤S81)。HMD控制部141从拍摄图像数据中提取移动器310A的图像,检测提取出的图像与显示区域V1的相对位置(步骤S82)。检测出的位置相当于移动器310A相对于透过图像显示部20的视野VR1的位置,是决定AR图像的显示位置的条件。
HMD控制部141确定移动器310A的移动方向(步骤S83)。移动器310A的移动方向能够根据HMD 100A发送到移动器310A的指令、或移动器310A发送到HMD 100A的位置信息等来确定。
HMD控制部141根据所确定的移动方向,生成与指示器349的显示对应的AR图像,显示在图像显示部20的显示区域上(步骤S84)。
HMD控制部141检测或者取得移动器310A具备的指示器349的观察状态(步骤S85)。即,能够根据在步骤S82中检测出的位置、移动器310A的高度、角度等,检测观察状态,该观察状态包含HMD 100A的使用者是否能够观察指示器349等。该观察状态例如能够由使用者操作控制装置10来输入,在该情况下,HMD控制部141取得使用者输入的观察状态。
HMD控制部141与在步骤S85中检测或者取得的观察状态对应地调整在步骤S84中开始显示的图像AR1的显示状态(步骤S86)。例如,在使用者能够良好地观察指示器349的情况下,使图像AR1的显示亮度下降,或者使显示停止。此外,在使用者难以观察指示器349的情况下,提高AR图像的显示亮度。
图15是示出HMD 100的动作的流程图。图15所示的动作是与对应于移动器310的AR图像的显示相关的动作,特别表示控制进行AR图像的显示的情况下的可视性的动作。图15的动作可以由HMD 100B、100C执行,这里,作为一例,说明由HMD 100A执行的例子。AR图像例如可以是如上所述模拟指示器349的发光的图像,也可以是表示移动器310A的位置和动作涉及的信息的字符或图像。这里,说明显示与指示器349对应的AR图像的例子。
HMD控制部141取得移动器310A的位置(步骤S91)。取得移动器310A的位置的处理例如能够设为与在步骤S82(图14)中检测移动器310A的位置的处理同样的处理。
接着,HMD控制部141判定实际空间的移动器310A是否位于使用者可透过图像显示部20观察的位置(步骤S92)。即,判定是否能够观察到移动器310A作为外景。
这里,在实际空间的移动器310A位于可观察的位置的情况下(步骤S92;是),HMD控制部141执行AR显示(步骤S93)。HMD控制部141为了确保外景中的移动器310A的可视性,选择移动器优先模式作为HMD 100A的显示模式(步骤S94)。
此外,在实际空间的移动器310A不位于可观察的位置的情况下(步骤S92;否),HMD控制部141选择显示图像优先模式作为HMD 100A的显示模式(步骤S95)。
在步骤S94和步骤S95中选择了显示模式之后,HMD控制部141取得HMD照相机61的拍摄图像数据(步骤S96)。HMD控制部141通过解析所取得的拍摄图像数据,检测外部光OL的状态(步骤S97)。步骤S96和步骤S97的动作例如与上述的步骤S66和步骤S67的动作相同。HMD控制部141结合在步骤S94或者步骤S95中所选择的显示模式来决定图像显示控制的内容(步骤S98),依照所决定的内容进行图像显示控制(步骤S99)。
图16是示出外景的观察特性的图表,例如示出由图像显示部20显示移动器310A搭载的移动器照相机335的图像等图像的情况下的实际空间的物体的观察特性。
图16的纵轴表示实际空间的物体(外景)的可视性,纵轴的上方表示可视性较高,下方表示可视性较低。图16的横轴表示显示图像的色调,图中的左侧表示色调是暗色,图中的右侧表示色调是亮色。
图16所示的实线SP1表示显示图像的色调与外景的可视性的相关。图中的区域N表示外景为暗色的情况(外部光OL的频率成分偏向暗色的情况),例如相当于夜间或者较暗的室内。与此相对,区域D表示外景为亮色的情况(外部光OL的频率成分偏向亮色的情况),例如相当于白天或者较亮的室内。
在图16所示的例子中,相关SP1表示:显示图像的色调越亮,则外景中的物体(例如,实际空间的移动器310A)的可视性越低,显示图像的色调越暗,则外景中的物体的可视性越高。
在该图16的例子中的区域D中,显示图像的色调变亮,实际空间的移动器310A的可视性由于该色调的影响而变低。在该情况下,在显示图像优先模式(第2模式)下,使显示图像的可视性比外景优先,因此,HMD控制部141继续显示。与此相对,在移动器优先模式(第1模式)下,为了提高移动器310A的可视性,进行图像显示控制。在该图像显示控制中,HMD控制部141为了提高移动器310A的可视性,对显示图像的图像数据进行使对比度下降等的处理。或者,进行使图像数据的亮度或者图像显示部20中的显示亮度下降、使图像数据的伽马值变暗等的处理。
此外,如图16的例子中的区域N那样,在显示图像的色调较暗、且实际空间的移动器310A的可视性较高的情况下,在移动器优先模式下,移动器310A的可视性较高,因此,HMD控制部141继续显示。与此相对,在显示图像优先模式下,为了提高显示图像的可视性,HMD控制部141对图像数据进行提高对比度的处理。
图17是示出图像显示部20的显示图像的观察特性的图表,例如示出由图像显示部20显示移动器310A搭载的移动器照相机335的图像等图像的情况下的观察特性。图17的纵轴表示显示的图像的可视性,纵轴的上方表示可视性较高,下方表示可视性较低。图17的横轴表示显示图像与外景(外部光OL)的色调差,图中的左侧表示色调差较大,图中的右侧表示色调差较小。如果换一种表达方式,则横轴的左侧表示显示图像的色调和外景的色调接近补色,横轴的右侧表示显示图像的色调和外景的色调接近同色。这里,色调差例如可以考虑为色相环中的距离。
图17中的实线SP表示显示图像的可视性、与显示图像和外景的色调差的相关。区域U表示显示图像的可视性较低的状态。即,表示在显示图像的色调与外景的色调接近的情况下,图像显示部20显示的图像的可视性变低。
在显示图像优先模式下,在产生了与区域U对应的状态的情况下,HMD控制部141执行图像显示控制,以提高显示图像的可视性。在该图像显示控制中,HMD控制部141例如通过使显示的图像涉及的图像数据的色调向暗侧偏移,提高显示图像的可视性。在该情况下,能够在不改变显示图像的亮度的情况下提高可视性,因此能够防止外景的可视性极端下降。
图18和图19是示出图像显示部20中的显示例的图,示出显示了移动器310A的移动器照相机335的拍摄图像的例子。在图中,VR表示佩戴HMD 100A的图像显示部20的使用者的视野。标号V1是能够使使用者利用半反射镜261、281观察图像的区域、换言之,是图像显示部20能够显示图像的可显示区域(显示区域)。视野VR表示使用者利用透过图像显示部20的外部光OL和图像显示部20输出的图像光L而观察的范围。
在图18所示的例子中,在位于使用者的视野VR的大致中央的显示区域V1上显示拍摄图像P1。在图18的例子中,显示区域V1所显示的拍摄图像P1比在视野VR整体中观察到的外景的明亮度亮。因此,拍摄图像P1的可视性较高,外景的可视性较低。
在显示图像优先模式下,HMD控制部141维持图18的显示状态。与此相对,在移动器优先模式下,HMD控制部141执行针对拍摄图像P1的图像数据的图像显示控制,以提高外景的可视性。图19示出执行该图像显示控制以后的状态。
在图19的例子中,与图18相比,拍摄图像P1的明度较低。因此,外景的可视性相对于拍摄图像P1提高。
这样,HMD控制部141能够进行与外部光OL的状态(光量、色调等)对应地控制外景的可视性以及显示图像的可视性的处理。因此,能够也与气候等气象条件或观察为外景的背景的影响对应地控制作为外景的移动器310A的可视性和作为显示图像的移动器照相机335的拍摄图像的可视性。作为气象条件,可举出晴天、阴天、雨天、下雪、早晚、夜间等,作为背景,可举出森林、市区、天空、陆地、大海、红叶等。此外,根据移动器310A的位置,在优先使使用者目视外景的状态下选择移动器优先模式。此外,HMD控制部141在优先使使用者观察显示图像的状态下选择显示图像优先模式。因此,能够根据状况适当地控制显示图像或者外景的可视性。
此外,HMD控制部141还能够显示配置有操纵用图像(图标)的操纵画面,作为用于操纵移动器310A的操纵用画面。图20示出该例子。
图20是示出HMD 100的显示例的图,示出在显示区域V1上配置有图标IC1~IC4的例子。图标IC1、IC2、IC3、IC4是与从HMD 100A发送到移动器310A的指令和控制显示区域V1中的显示的指示对应的图标。
即,能够将发送到移动器310A的指令与图标IC1~IC4对应起来。作为指示移动器310A的移动的指令的例子,可举出使移动器310A向通过使用者的操作而指定的位置飞行的飞行指示指令、以及自动追踪使用者指定或者事先设定的对象物的追踪指示指令。此外,可举出执行上升、下降、旋转、反转、前进、后退等基本动作的基本移动指令、进行以使用者指定或者事先设定的位置为中心画圆的飞行的圆形飞行指令、以及自动追踪使用者的HMD100A的使用者追踪指令。此外,可举出在使用者指定或者事先设定的位置之间移动的指定位置移动指令、向预先设定的起始位置移动的起始移动指令、以及固定在使用者指定或者事先设定的方向上的方向固定指令。
此外,作为可分配给图标IC1~IC4的图像显示部20的显示的指示,可举出移动器310A显示由移动器照相机335拍摄的拍摄图像的指示。此外,可举出移动器310A的位置或电池剩余量等状态的显示的指示、以及移动器310A搭载的传感器的检测值的显示的指示等。此外,可举出移动器照相机335的拍摄条件的设定的指示、地图的显示的指示、以及地图的显示涉及的设定的指示等。并且,不限于在显示区域V1上配置图标IC1~IC4,可以在显示区域V1上配置更多的图标,也可以在多个画面上配置与不同指示对应的图标。在该情况下,可以将切换到配置有不同图标的画面的指示与任意一个图标对应起来。
如以上所说明那样,应用了本发明的实施方式的HMD 100具有图像显示部20,该图像显示部20以通过使外部光透过而能够目视外景的方式显示图像。此外,HMD100具有:位置估计部155,其取得移动器310的位置;操作检测部157,其检测操作;以及显示控制部147,其使图像显示部20显示图像。显示控制部147执行图像显示控制(可视性控制处理),在该图像显示控制中,根据操作等,控制由图像显示部20显示的图像相对于透过图像显示部20的外部光的可视性。操作等例如是由位置估计部155取得的移动器310的位置、以及由操作检测部157检测的操作。
根据应用了本发明的HMD 100以及HMD 100的控制方法,根据移动器310的位置和操作来控制显示图像相对于外景的可视性,由此,能够适当地调整实际空间的移动器310的可视性和显示图像的可视性。例如,能够根据移动器310的位置来判定观察移动器310作为外景的可能性,因此,能够与该可能性对应地进行提高移动器310的可视性的控制和提高显示图像的可视性的控制等。
操作检测部157检测的操作不限于针对触控板14等的操作。例如,关于在图15~图20中所说明的显示控制,HMD控制部141可以使用HMD 100A具有的各种传感器的检测值。例如,HMD控制部141可以使用与图像显示部20的位置相关的检测值,控制显示位置。具体而言,可以利用操作检测部157,根据6轴传感器235和/或磁传感器237的检测值来检测图像显示部20的运动,检测图像显示部20的运动或使用者的姿势作为操作。此外,操作检测部157可以根据HMD照相机61的拍摄图像的变化或距离传感器64的检测值的变化来检测图像显示部20的运动或使用者的姿势。此外,操作检测部157可以检测由内侧照相机68拍摄的右眼RE和/或左眼LE的运动或视线方向作为操作。即,在控制显示图像和外景的可视性的处理中,操作检测部157可以检测图像显示部20的运动、佩戴图像显示部20的使用者的运动、姿势、视线方向或者视线方向的变化等作为操作。
此外,HMD 100具有HMD通信部117,该HMD通信部117取得与移动器310拍摄的拍摄图像相关的图像数据,显示控制部147使图像显示部20显示基于由HMD通信部117取得的图像数据的图像。由此,能够显示与移动器310拍摄的拍摄图像相关的图像,并相对于观察为外景的移动器310的可视性,适当地调整该图像的可视性。
此外,HMD通信部117取得与多个移动器310A、310B、310C拍摄的各个拍摄图像相关的多个图像数据。显示控制部147使图像显示部20显示基于由HMD通信部117取得的多个图像数据的多个图像。显示控制部147通过图像显示控制,控制多个图像的可视性。由此,在显示与多个移动器310相关的多个图像的情况下,能够适当地调整这些多个图像的可视性。
此外,例如在佩戴HMD 100A的使用者操纵移动器310A的情况下,可以由不进行移动器310A的操纵的使用者使用的HMD 100B或者HMD 100C显示基于移动器310A的拍摄图像数据的图像。在该情况下,能够在HMD 100A与不操纵移动器310A的HMD 100B、100C之间共享基于移动器310A的拍摄图像数据的图像。此外,不限于图像的共享,例如也可以在未由HMD100A显示基于移动器310A的拍摄图像数据的图像的时刻,利用不操纵移动器310A的HMD100B、100C显示基于移动器310A的拍摄图像数据的图像。
此外,显示控制部147以使根据由HMD通信部117取得的多个图像数据而由图像显示部20显示的多个图像的可视性的差变小的方式,执行图像显示控制。由此,在显示与多个移动器310相关的多个图像的情况下,能够实现容易观察全部这些多个图像的状态。
此外,显示控制部147也可以是如下结构:以根据由HMD通信部117取得的多个图像数据而由图像显示部20显示的多个图像中的、一部分的图像的可视性高于其他图像的方式,执行图像显示控制。由此,在显示与多个移动器310相关的多个图像的情况下,能够提高一部分图像的可视性,例如能够使显示装置的使用者关注特定的图像。
此外,位置估计部155取得透过图像显示部20而观察实际空间的移动器310的观察位置,显示控制部147与位置估计部155取得的移动器310的观察位置对应地执行图像显示控制。由此,能够与在图像显示部20中观察到移动器310的位置对应地适当地调整显示图像相对于外景的可视性。
此外,显示控制部147在与移动器310的观察位置对应的位置处显示与移动器310相关的图像。由此,能够有效地显示与观察为外景的移动器310相关的信息。
这里,HMD 100可以显示与移动器310的位置相关的信息。与移动器310的位置相关的信息可以包含上述移动器位置信息,此外也可以包含与移动器310的环境或状况相关的移动器状况信息。移动器状况信息可以包含与移动器310的位置相关的信息。例如,也可以包含移动器310的附近或正下方的设施名称或建筑物名称等与周边施设相关的信息。此外,移动器状况信息可以包含与移动器310的环境相关的信息(天气(气候)、温度、湿度、风速、风向、降雨量等)。
此外,位置估计部155取得移动器310相对于图像显示部20的相对位置。由此,能够与使用显示装置的使用者如何观察到移动器310对应地适当显示显示图像。
此外,显示控制部147也可以是使图像显示部20显示表示由位置估计部155取得的移动器310的位置的信息的结构。由此,能够使使用显示装置的使用者有效地观察到与移动器310的位置相关的信息。
此外,显示控制部147构成为能够根据图像数据使图像显示部20显示图像并执行针对图像数据的亮度调整、色调调整、伽玛校正中的至少任意一个。在图像显示控制中,显示控制部147变更图像数据的亮度、色调和伽玛校正值中的至少任意一个。由此,能够有效地调整显示图像相对于外景的可视性。
此外,HMD 100的HMD控制部141可以根据图像显示部20或者使用图像显示部20的使用者的状态,控制图像显示部20中的外景的可视性。该动作还能够应用于作为第1显示装置的HMD 100A、100B、100C、以及作为第2显示装置的HMD 100A、100B、100C中的任意一个。因此,能够与图像显示部20或者使用者的位置、运动、姿势等所反映的对使用者来说的外景的可视性的重要度对应地控制外景的可视性。
此外,显示控制部147通过执行图像显示控制,执行使透过图像显示部20而观察的外景的可视性高于由图像显示部20显示的图像的可视性的移动器优先模式(第1模式)。此外,执行相对于透过图像显示部20的外部光而提高图像显示部20显示的图像的可视性的显示图像优先模式(第2模式)。显示控制部147切换地选择并执行这些移动器优先模式和显示图像优先模式。由此,能够与操作对应地切换外景与显示图像的可视性的优先级,能够实现便利性的提高。移动器优先模式和显示图像优先模式的切换能够根据移动器310的位置来执行,还能够与操作检测部157检测的操作对应地执行。
此外,HMD 100具有HMD照相机61和照度传感器65作为检测外部光的外部光检测部,显示控制部147根据由外部光检测部检测的外部光来执行图像显示控制。由此,能够更加适当地调整显示图像相对于外部光的可视性。
此外,HMD 100是具有佩戴于使用者的头部的图像显示部20的头部佩戴型显示装置。由此,适当地控制使用者透过佩戴于头部的图像显示部20而观察的外景和显示图像的可视性,能够实现便利性的提高。
另外,本发明不限于上述实施方式的结构,能够在不脱离其宗旨的范围内以各种方式来实施。
例如,移动器310的移动器照相机335不限于进行基于可见光的拍摄的装置,也可以是进行基于红外光等可见光以外的拍摄的结构或使用了超声波等的传感器。例如,可以将照射红外光的光源搭载于移动器310。由此,能够使用移动器310的拍摄图像数据来检测农作物的糖度。此外,在进行建筑物的检修的情况下,能够进行对象建筑物的探伤检查或使用热成像技术进行温度测量等。
此外,作为移动器复合控制系统1的应用例,可举出在体育场等具有多个座位的大规模设施中,利用移动器310的拍摄图像数据来判定每个位置的拥挤程度、判定道路中的拥堵状况等用途。
此外,在上述的实施方式中,操作检测部157检测图像显示部20的运动或者针对图像显示部20的操作,指令生成部159能够根据该操作而生成指示常规动作的指令。这里,操作检测部157可以检测除了HMD 100以外的装置的操作。例如,可以举出使用者使用佩戴于手指的戒指型操作设备的例子。此外,可以举出使用者使用佩戴于手腕的手表型操作设备的例子。这些操作设备可以具有6轴传感器235和磁传感器237等运动传感器、以及向HMD100发送运动传感器的检测值的发送部。在该情况下,如果操作设备和HMD通信部117构成为可通过Bluetooth相互进行通信,则操作检测部157能够检测使操作设备运动的操作。在该情况下,在操作设备的运动是预先设定的方式的情况下,操作检测部157可以生成指示常规动作的指令。
此外,操作检测部157可以检测基于麦克风63收集的语音的指令指示。即,在由语音接口182检测的语音的模式对应于预先设定的模式的情况下,检测控制部151可以生成指示常规动作的指令。
如附图所示的指示体H那样,除了人的手指、手等以外,指示体还可以是远程操作HMD 100的遥控装置、指示棒、笔等。此外,检测控制部151可以检测空气鼠标等设备的操作,能够使用HMD照相机61的拍摄图像作为检测单元,还能够使用具有例如LED等发光体的设备作为指示体。
例如,在上述实施方式中例示了控制装置10与图像显示部20有线连接的结构,但本发明不限于此,也可以是图像显示部20与控制装置10无线连接的结构。该情况下的无线通信方式可以采用作为HMD通信部117支持的通信方式而例示出的方式,也可以是其他通信方式。
此外,可以将控制装置10具备的一部分的功能设置于图像显示部20,也可以通过多个装置来实现控制装置10。例如,可以替代控制装置10,使用能够安装于使用者的身体、服装或者使用者随身佩戴的饰品的可佩戴设备。该情况下的可佩戴设备例如可以是钟表型的装置、戒指型的装置、激光笔、鼠标、空气鼠标、游戏控制器、笔型的设备等。
并且,在上述实施方式中,以图像显示部20和控制装置10分离并经由连接线40而连接的结构为例进行了说明。本发明不限于此,还能够采用将控制装置10和图像显示部20构成为一体而佩戴于使用者的头部的结构。
此外,在上述实施方式中,使用者透过显示部目视外景的结构不限于右导光板26和左导光板28透过外部光的结构。例如,还能够应用于在无法目视外景的状态下显示图像的显示装置。具体而言,还能够将本发明应用于显示HMD照相机61的拍摄图像、根据该拍摄图像而生成的图像或CG、基于预先存储的影像数据或从外部输入的影像数据的影像等的显示装置。作为这种显示装置,能够包含无法目视外景的所谓封闭型的显示装置。例如,如果采用由图像显示部20显示将由HMD照相机61拍摄的外景的图像与显示图像合成后的合成图像的结构,则即使图像显示部20不透过外部光,也能够以可使使用者观察的方式显示外景和图像。当然还能够将本发明应用于这样的所谓视频透视型的显示装置。
在上述实施方式中,作为移动体的一例,示出了作为无人飞行体且四机翼直升机的移动器310。移动体不限定于此,还能够应用于被远程操作的汽车、船、机器人、它们的玩具等的远程操作或进行自动运转的各种无人移动体。该情况下的移动体只要具有拍摄图像的照相机即可,可举出直升机、飞机、火箭、潜水艇、人造卫星、公交车等车辆、铁道车辆等移动体,可以是有人,也可以是无人,也可以搭载货物。可以是以无人的方式操纵/操作的设备,也可以是搭载人员作为运输对象的结构。此外,移动体也可以是卡车(货物运输车)所附带的起重单元等附属设备。此外,能够应用于铲车、铲雪车、割草机、拖拉机、推土机、联合收割机、手扶拖拉机、插秧机、农药撒布机等作业用车辆或作业用(例如,施工现场用)设备等在农业、林业、渔业、矿业等中使用的设备。这些移动体可以是被远程操作使用的设备,也可以由人搭乘并操纵。
此外,如在上述实施方式中所说明那样,还能够应用于不进行与实际空间重叠地显示图像的AR显示、结合拍摄到的实际空间的图像和虚拟图像的MR(Mixed Reality)显示或者显示虚拟图像的VR(Virtual Reality)显示这样的处理的显示装置。例如,当然也可以包含显示从外部输入的影像数据或者模拟影像信号的显示装置作为本发明的应用对象。
此外,例如,可以替代图像显示部20,采用例如帽子那样佩戴的图像显示部等其他方式的图像显示部,具有与使用者的左眼LE对应地显示图像的显示部和与使用者的右眼RE对应地显示图像的显示部即可。此外,本发明的显示装置例如可以构成为搭载于汽车或飞机等车辆的头戴式显示器。此外,例如也可以构成为内置于头盔等身体防护器具的头戴式显示器。在该情况下,能够设对相对于使用者身体的位置进行定位的部分和针对该部分进行定位的部分为佩戴部。
此外,作为将图像光引导至使用者的眼睛的光学系统,例示了在右导光板26和左导光板28的一部分中利用半反射镜261、281形成虚像的结构。本发明不限于此,也可以构成为将图像显示在具有占据右导光板26和左导光板28的整个面或者大部分的面积的显示区域中。在该情况下,在使图像的显示位置发生变化的动作中,可以包含将图像缩小的处理。
并且,本发明的光学元件不限于具有半反射镜261、281的右导光板26、左导光板28,只要是使图像光入射到使用者的眼睛的光学部件即可,具体而言,可以使用衍射光栅、棱镜、全息显示部。
此外,图2、图7、图8等所示的各功能块中的至少一部分可通过硬件实现,也可以是通过硬件与软件的协作实现的结构,不限定于配置如图所示地独立的硬件资源的结构。此外,HMD控制部141执行的程序可以存储在非易失性存储部121或者控制装置10内的其他存储装置(省略图示)中。此外,也可以采用经由HMD通信部117或外部连接器184取得并执行存储在外部装置中的程序的结构。此外,形成于控制装置10的结构中的操作部110可以形成为使用者界面(UI)。此外,形成于控制装置10的结构可以重复地形成于图像显示部20。例如,与主处理器140相同的处理器可以配置于图像显示部20上,控制装置10具备的主处理器140和图像显示部20的处理器可以执行单独划分的功能。

Claims (14)

1.一种显示装置,其具有:
显示部,其通过使外部光透过而以能够目视外景的方式显示图像;
移动体位置取得部,其取得移动体的位置;
操作检测部,其检测操作;以及
显示控制部,其使所述显示部显示图像,
所述显示控制部执行可视性控制处理,在该可视性控制处理中,根据由所述移动体位置取得部取得的所述移动体的位置以及由所述操作检测部检测的操作,控制由所述显示部显示的图像相对于透过所述显示部的外部光的可视性。
2.根据权利要求1所述的显示装置,其中,
该显示装置具有图像取得部,该图像取得部取得与所述移动体拍摄的拍摄图像相关的图像数据,
所述显示控制部使所述显示部显示基于由所述图像取得部取得的所述图像数据的图像。
3.根据权利要求2所述的显示装置,其中,
所述图像取得部取得与多个所述移动体拍摄的各个拍摄图像相关的多个所述图像数据,
所述显示控制部使所述显示部显示基于由所述图像取得部取得的多个所述图像数据的多个所述图像,通过所述可视性控制处理来控制多个所述图像的可视性。
4.根据权利要求3所述的显示装置,其中,
所述显示控制部以使得根据由所述图像取得部取得的多个所述图像数据而显示于所述显示部的多个所述图像的可视性之差变小的方式执行所述可视性控制处理。
5.根据权利要求4所述的显示装置,其中,
所述显示控制部以使得根据由所述图像取得部取得的多个所述图像数据而显示于所述显示部的多个所述图像中的一部分所述图像的可视性高于其他所述图像的方式执行所述可视性控制处理。
6.根据权利要求1至5中的任意一项所述的显示装置,其中,
所述移动体位置取得部取得透过所述显示部而观察实际空间的所述移动体的观察位置,
所述显示控制部与所述移动体位置取得部取得的所述移动体的观察位置对应地执行所述可视性控制处理。
7.根据权利要求6所述的显示装置,其中,
所述显示控制部使与所述移动体相关联的图像显示在与所述移动体的观察位置对应的位置。
8.根据权利要求1至7中的任意一项所述的显示装置,其中,
所述移动体位置取得部取得所述移动体相对于所述显示部的相对位置。
9.根据权利要求1至8中的任意一项所述的显示装置,其中,
所述显示控制部使所述显示部显示表示由所述移动体位置取得部取得的所述移动体的位置的信息。
10.根据权利要求1至9中的任意一项所述的显示装置,其中,
所述显示控制部根据图像数据使所述显示部显示所述图像,构成为能够执行针对所述图像数据的亮度调整、色调调整、伽玛校正中的至少任意一个,在所述可视性控制处理中,变更所述图像数据的亮度、色调和伽玛校正值中的至少任意一个。
11.根据权利要求1至10中的任意一项所述的显示装置,其中,
所述显示控制部通过执行所述可视性控制处理,根据所述操作检测部检测的操作而切换第1模式和第2模式,在该第1模式下,使透过所述显示部而观察的所述外景的可视性高于由所述显示部显示的图像的可视性,在该第2模式下,相对于透过所述显示部的外部光而提高所述显示部显示的图像的可视性。
12.根据权利要求1至11中的任意一项所述的显示装置,其中,
该显示装置具有外部光检测部,该外部光检测部检测外部光,
所述显示控制部与由所述外部光检测部检测的外部光对应地执行所述可视性控制处理。
13.根据权利要求1至12中的任意一项所述的显示装置,其中,
该显示装置是具有佩戴于使用者的头部的所述显示部的头部佩戴型显示装置。
14.一种显示装置的控制方法,该显示装置具有显示部,该显示部通过使外部光透过而以能够目视外景的方式显示图像,该控制方法包括以下步骤:
取得移动体的位置;
检测操作;以及
使所述显示部显示图像,执行可视性控制处理,在该可视性控制处理中,根据所述移动体的位置和操作,控制由所述显示部显示的图像相对于透过所述显示部的外部光的可视性。
CN201810122197.4A 2017-02-27 2018-02-07 显示装置和显示装置的控制方法 Active CN108508599B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111196650.4A CN113885208B (zh) 2017-02-27 2018-02-07 显示装置、显示系统和显示装置的控制方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017034318A JP6919222B2 (ja) 2017-02-27 2017-02-27 表示装置、及び、表示装置の制御方法
JP2017-034318 2017-02-27

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202111196650.4A Division CN113885208B (zh) 2017-02-27 2018-02-07 显示装置、显示系统和显示装置的控制方法

Publications (2)

Publication Number Publication Date
CN108508599A true CN108508599A (zh) 2018-09-07
CN108508599B CN108508599B (zh) 2021-11-02

Family

ID=63246516

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202111196650.4A Active CN113885208B (zh) 2017-02-27 2018-02-07 显示装置、显示系统和显示装置的控制方法
CN201810122197.4A Active CN108508599B (zh) 2017-02-27 2018-02-07 显示装置和显示装置的控制方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202111196650.4A Active CN113885208B (zh) 2017-02-27 2018-02-07 显示装置、显示系统和显示装置的控制方法

Country Status (5)

Country Link
US (3) US10455157B2 (zh)
JP (1) JP6919222B2 (zh)
KR (1) KR20180099484A (zh)
CN (2) CN113885208B (zh)
TW (1) TW201831955A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111458876A (zh) * 2020-03-30 2020-07-28 Oppo广东移动通信有限公司 一种头戴式显示设备的控制方法及头戴式显示设备
CN111600990A (zh) * 2019-02-21 2020-08-28 精工爱普生株式会社 显示系统、记录介质以及信息处理装置的控制方法
CN113099090A (zh) * 2021-04-08 2021-07-09 重庆工程职业技术学院 一种煤矿检查辅助系统和方法

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6540572B2 (ja) * 2016-03-29 2019-07-10 ブラザー工業株式会社 表示装置および表示制御方法
EP4235263A3 (en) 2017-09-29 2023-11-29 Apple Inc. Gaze-based user interactions
US10678238B2 (en) * 2017-12-20 2020-06-09 Intel IP Corporation Modified-reality device and method for operating a modified-reality device
JP6968689B2 (ja) * 2017-12-27 2021-11-17 Dynabook株式会社 電子機器、ウェアラブル機器及び表示制御方法
KR102068500B1 (ko) * 2018-06-08 2020-01-21 인하대학교 산학협력단 증강현실을 이용한 무인기 관리 시스템
US10839604B2 (en) * 2018-07-11 2020-11-17 The Boeing Company Augmented reality system with an active portable anchor
US10896546B2 (en) * 2018-07-11 2021-01-19 The Boeing Company Augmented reality system with an active portable anchor
KR102263227B1 (ko) * 2018-12-14 2021-06-10 건국대학교 산학협력단 상대 항법 정보를 활용한 증강 현실 기반 무인 이동체 제어 방법 및 장치
JP7156932B2 (ja) * 2018-12-20 2022-10-19 Nsウエスト株式会社 ヘッドアップディスプレイ装置およびヘルメット
JP2021034992A (ja) * 2019-08-29 2021-03-01 セイコーエプソン株式会社 光学装置及び装着型表示装置
US11816757B1 (en) * 2019-12-11 2023-11-14 Meta Platforms Technologies, Llc Device-side capture of data representative of an artificial reality environment
US11860455B2 (en) * 2019-12-11 2024-01-02 Nvidia Corporation Modular prescription augmented reality display
JP6957695B1 (ja) * 2020-07-30 2021-11-02 株式会社ジンズホールディングス プログラム、情報処理方法、及び情報処理装置
JP6892961B1 (ja) * 2020-09-29 2021-06-23 Kddi株式会社 制御装置、表示制御方法及び表示制御プログラム
KR20230029229A (ko) * 2021-08-24 2023-03-03 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
JP2023143437A (ja) * 2022-03-25 2023-10-06 富士フイルム株式会社 制御装置、制御方法、及び制御プログラム
JP2024018720A (ja) * 2022-07-29 2024-02-08 富士フイルム株式会社 画像処理装置、眼鏡型情報表示装置、画像処理方法、及び画像処理プログラム

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101141567A (zh) * 2006-09-08 2008-03-12 索尼株式会社 图像获取和显示设备以及图像获取和显示方法
CN102266672A (zh) * 2010-03-11 2011-12-07 鹦鹉股份有限公司 一种远程控制无人驾驶飞机、尤其是旋翼无人驾驶飞机的方法和装置
US20130234914A1 (en) * 2012-03-07 2013-09-12 Seiko Epson Corporation Head-mounted display device and control method for the head-mounted display device
CN103913841A (zh) * 2013-01-07 2014-07-09 精工爱普生株式会社 显示装置以及显示装置的控制方法
CN105334864A (zh) * 2015-11-24 2016-02-17 杨珊珊 一种用于控制无人机的智能眼镜及控制方法
CN205123853U (zh) * 2015-10-11 2016-03-30 广州蜃境信息科技有限公司 远程控制增强现实航拍装置
CN105676457A (zh) * 2016-04-08 2016-06-15 吕佩剑 一种多飞行视角的头戴显示设备
CN105850148A (zh) * 2013-12-26 2016-08-10 精工爱普生株式会社 视频传输和显示系统
CN106131488A (zh) * 2016-07-12 2016-11-16 北京仿真中心 一种基于无人机的增强现实方法
CN106210253A (zh) * 2015-05-26 2016-12-07 Lg电子株式会社 眼镜型终端及其控制方法
CN205942090U (zh) * 2016-04-29 2017-02-08 深圳市大疆创新科技有限公司 可穿戴设备及无人机系统

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006012042A (ja) 2004-06-29 2006-01-12 Canon Inc 画像生成方法及び装置
US9097891B2 (en) * 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc See-through near-eye display glasses including an auto-brightness control for the display brightness based on the brightness in the environment
WO2013105926A1 (en) * 2011-03-22 2013-07-18 Aerovironment Inc. Invertible aircraft
JP6026088B2 (ja) * 2011-08-09 2016-11-16 株式会社トプコン 遠隔操作システム
FR2985329B1 (fr) 2012-01-04 2015-01-30 Parrot Procede de pilotage intuitif d'un drone au moyen d'un appareil de telecommande.
JP6060512B2 (ja) * 2012-04-02 2017-01-18 セイコーエプソン株式会社 頭部装着型表示装置
JP6607433B2 (ja) 2014-06-23 2019-11-20 パナソニックIpマネジメント株式会社 映像配信方法及びサーバ
EP3133819A1 (en) 2014-04-14 2017-02-22 Panasonic Intellectual Property Management Co., Ltd. Image delivery method, image reception method, server, terminal apparatus, and image delivery system
US9898868B2 (en) * 2014-11-06 2018-02-20 Seiko Epson Corporation Display device, method of controlling the same, and program
US9684950B2 (en) * 2014-12-18 2017-06-20 Qualcomm Incorporated Vision correction through graphics processing
EP3245553A4 (en) * 2015-01-13 2018-04-04 Ricoh Company, Ltd. Head-mounted display apparatus, and display method
WO2017000313A1 (zh) * 2015-07-02 2017-01-05 深圳市大疆创新科技有限公司 图像处理系统、图像数据处理方法、装置及相关设备
JP2017022635A (ja) 2015-07-14 2017-01-26 セイコーエプソン株式会社 頭部装着型表示装置および画像処理システム
KR20170014609A (ko) * 2015-07-30 2017-02-08 엘지전자 주식회사 이동 단말기 및 이의 제어방법
JP6540572B2 (ja) * 2016-03-29 2019-07-10 ブラザー工業株式会社 表示装置および表示制御方法
KR101696243B1 (ko) * 2016-07-22 2017-01-13 김계현 가상 현실 구현 시스템 및 그의 가상 현실 구현 방법
CN106162145B (zh) * 2016-07-26 2018-06-08 北京奇虎科技有限公司 基于无人机的立体图像生成方法、装置
JP2018036993A (ja) * 2016-09-02 2018-03-08 オリンパス株式会社 表示システム、携帯情報機器、ウエラブル型端末、情報表示方法およびプログラム
JP6919206B2 (ja) * 2017-01-27 2021-08-18 セイコーエプソン株式会社 表示装置、及び、表示装置の制御方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101141567A (zh) * 2006-09-08 2008-03-12 索尼株式会社 图像获取和显示设备以及图像获取和显示方法
CN102266672A (zh) * 2010-03-11 2011-12-07 鹦鹉股份有限公司 一种远程控制无人驾驶飞机、尤其是旋翼无人驾驶飞机的方法和装置
US20130234914A1 (en) * 2012-03-07 2013-09-12 Seiko Epson Corporation Head-mounted display device and control method for the head-mounted display device
CN103913841A (zh) * 2013-01-07 2014-07-09 精工爱普生株式会社 显示装置以及显示装置的控制方法
CN105850148A (zh) * 2013-12-26 2016-08-10 精工爱普生株式会社 视频传输和显示系统
CN106210253A (zh) * 2015-05-26 2016-12-07 Lg电子株式会社 眼镜型终端及其控制方法
CN205123853U (zh) * 2015-10-11 2016-03-30 广州蜃境信息科技有限公司 远程控制增强现实航拍装置
CN105334864A (zh) * 2015-11-24 2016-02-17 杨珊珊 一种用于控制无人机的智能眼镜及控制方法
CN105676457A (zh) * 2016-04-08 2016-06-15 吕佩剑 一种多飞行视角的头戴显示设备
CN205942090U (zh) * 2016-04-29 2017-02-08 深圳市大疆创新科技有限公司 可穿戴设备及无人机系统
CN106131488A (zh) * 2016-07-12 2016-11-16 北京仿真中心 一种基于无人机的增强现实方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111600990A (zh) * 2019-02-21 2020-08-28 精工爱普生株式会社 显示系统、记录介质以及信息处理装置的控制方法
CN111600990B (zh) * 2019-02-21 2022-04-26 精工爱普生株式会社 显示系统、记录介质以及信息处理装置的控制方法
US11393431B2 (en) 2019-02-21 2022-07-19 Seiko Epson Corporation Display system, control program for information processor, and control method for information processor that are configured to adjust display of a first image on a first display unit based on the position of a second display unit
CN111458876A (zh) * 2020-03-30 2020-07-28 Oppo广东移动通信有限公司 一种头戴式显示设备的控制方法及头戴式显示设备
CN113099090A (zh) * 2021-04-08 2021-07-09 重庆工程职业技术学院 一种煤矿检查辅助系统和方法

Also Published As

Publication number Publication date
CN113885208B (zh) 2024-02-13
US20200344420A1 (en) 2020-10-29
TW201831955A (zh) 2018-09-01
US20200007773A1 (en) 2020-01-02
CN108508599B (zh) 2021-11-02
JP2018141824A (ja) 2018-09-13
KR20180099484A (ko) 2018-09-05
CN113885208A (zh) 2022-01-04
JP6919222B2 (ja) 2021-08-18
US10972668B2 (en) 2021-04-06
US10750094B2 (en) 2020-08-18
US20180249086A1 (en) 2018-08-30
US10455157B2 (en) 2019-10-22

Similar Documents

Publication Publication Date Title
CN108508599A (zh) 显示装置和显示装置的控制方法
CN108510928A (zh) 显示系统、显示装置以及显示装置的控制方法
US10599142B2 (en) Display device and control method for display device
CN108205197A (zh) 显示装置和显示装置的控制方法
CN109491496A (zh) 头部佩戴型显示装置和头部佩戴型显示装置的控制方法
CN110060614A (zh) 头部佩戴型显示装置及其控制方法、显示系统
US10310502B2 (en) Head-mounted display device, control method therefor, and computer program
CN108664037A (zh) 头部佩戴型显示装置以及无人机的操纵方法
TW201626046A (zh) 頭部配戴型顯示裝置、頭部配戴型顯示裝置之控制方法及電腦程式
CN108572726A (zh) 透过型显示装置、显示控制方法和记录介质
CN105589199A (zh) 显示装置、显示装置的控制方法以及程序
CN108508603A (zh) 头部佩戴型显示装置及其控制方法、以及记录介质
CN110275297A (zh) 头部佩戴型显示装置、显示控制方法以及记录介质
CN104702871A (zh) 无人机投影显示方法、系统及装置
CN109960039A (zh) 显示系统、电子设备以及显示方法
CN110389447A (zh) 透射型头部佩戴型显示装置、辅助系统、显示控制方法和介质
TWM538644U (zh) 具模擬夜視鏡之互動式教學訓練系統
CN113805829B (zh) 导航界面的显示方法、装置、终端、存储介质及程序产品
CN207300050U (zh) 一种日夜兼容的低照度电子瞄准镜
US20230062433A1 (en) Eyewear controlling an uav
US20230063386A1 (en) Eyewear synchronized with uav image capturing system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant