JP2018142764A - 表示システム、表示装置、及び、表示装置の制御方法 - Google Patents

表示システム、表示装置、及び、表示装置の制御方法 Download PDF

Info

Publication number
JP2018142764A
JP2018142764A JP2017034319A JP2017034319A JP2018142764A JP 2018142764 A JP2018142764 A JP 2018142764A JP 2017034319 A JP2017034319 A JP 2017034319A JP 2017034319 A JP2017034319 A JP 2017034319A JP 2018142764 A JP2018142764 A JP 2018142764A
Authority
JP
Japan
Prior art keywords
display
unit
hmd
image
mobile device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017034319A
Other languages
English (en)
Inventor
恵実 小澤
Emi Ozawa
恵実 小澤
小林 伸一
Shinichi Kobayashi
伸一 小林
高野 正秀
Masahide Takano
正秀 高野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2017034319A priority Critical patent/JP2018142764A/ja
Priority to CN201810127046.8A priority patent/CN108510928A/zh
Priority to US15/895,214 priority patent/US10574897B2/en
Publication of JP2018142764A publication Critical patent/JP2018142764A/ja
Priority to US16/575,828 priority patent/US11025826B2/en
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/243Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/296Synchronisation thereof; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/383Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0118Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/0001Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems
    • G02B6/0011Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being planar or of plate-like form
    • G02B6/0081Mechanical or electrical aspects of the light guide and light source in the lighting device peculiar to the adaptation to planar light guides, e.g. concerning packaging
    • G02B6/0086Positioning aspects
    • G02B6/0088Positioning aspects of the light guide or other optical sheets in the package
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10Simultaneous control of position or course in three dimensions
    • G05D1/101Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/102Simultaneous control of position or course in three dimensions specially adapted for aircraft specially adapted for vertical take-off of aircraft
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/06Consumer Electronics Control, i.e. control of another device by a display or vice versa

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • General Engineering & Computer Science (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】撮像機能を有する移動体により撮像される画像を、効果的に表示することが可能な表示装置、及び、表示装置の制御方法を提供する。
【解決手段】HMD100は、外光を透過することにより外景を視認可能に画像を表示する表示部と、操作を検出する操作検出部157と、操作検出部157が検出する操作に応じて第1移動体を動作させるためのコマンドを生成するHMD制御部141と、移動体が撮像した撮像画像に関する第1移動体画像データーを取得する通信制御部153と、通信制御部153により取得された第1移動体画像データーに基づく画像を表示部に表示させる表示制御部147と、を備え、表示制御部147は、表示部における外景の視認性を制御する。
【選択図】図8

Description

本発明は、表示システム、表示装置、及び、表示装置の制御方法に関する。
従来、遠隔操縦できる無人機(いわゆるドローン)が知られている(例えば、特許文献1参照)。特許文献1記載の無人機は、航法姿勢制御システムを備える4翼ヘリコプター(quadricopter)であり、遠隔制御装置との間の無線リンクを通じて操縦コマンドを受信する。また、特許文献1記載の無人機はカメラを備え、カメラにより取り込んだ画像を遠隔制御装置に送信する。ユーザーは、遠隔制御装置のタッチスクリーンを用いて、無人機の旋回、上昇もしくは下降、カメラが指す方向の変更等の操作を行うことができる。
特開2013−144539号公報
特許文献1に記載されたように、無人機にカメラを設けて撮像を行わせる場合、撮像された画像を適切に表示することが考えられる。このため、無人機が撮像する画像を、有用性の高い方法で表示する手法が望まれていた。
本発明は、撮像機能を有する移動体により撮像される画像を、効果的に表示することが可能な表示システム、表示装置、及び、表示装置の制御方法を提供することを目的とする。
上記課題を解決するため、本発明は、第1表示装置、及び、第2表示装置を有する表示システムであって、前記第1表示装置は、第1表示部と、操作を検出する第1操作検出部と、前記第1操作検出部が検出する操作に応じて第1移動体を動作させるためのコマンドを生成する第1移動体制御部と、前記第1移動体が撮像した撮像画像に関する第1移動体画像データーを取得する第1移動体画像データー取得部と、前記第1移動体画像データー取得部により取得された前記第1移動体画像データーに基づく画像を前記第1表示部に表示させる第1表示制御部と、を備え、第2表示装置は、第2表示部と、前記第1移動体が撮像した撮像画像に関する第1移動体画像データーを取得する第2移動体画像データー取得部と、前記第2移動体画像データー取得部により取得された前記第1移動体画像データーに基づく画像を前記第2表示部に表示させる第2表示制御部と、を備える。
本発明によれば、表示装置が第1移動体を動作させるためのコマンドを生成するので、第1移動体が撮像した撮像画像に関する画像を表示する表示装置を、第1移動体の操作に利用できる。このため、表示装置が表示する画像を見ながら、移動体の操作を行うことができる。また、第1移動体が撮像する撮像画像に関する画像を、第2表示装置により表示することが可能であるため、例えば、第1移動体の操作に関与しない人が第1移動体の撮像画像を確認できる。
また、上記構成において、前記第1表示部は、外光を透過することにより外景を視認可能に前記画像を表示し、前記第1表示制御部は、前記第1表示部における前記外景の視認性を制御する構成であってもよい。
この構成によれば、第1表示装置により、外景を視認可能な表示部に、第1移動体が撮像した撮像画像に関する画像を表示する。これにより、実空間の第1移動体を視認し、第1移動体の動作に関する操作を行い、さらに、撮像画像に関する画像を視認できる。このため、撮像画像の確認と、実空間の第1移動体を見ながら第1移動体の操作を行うことができる。また、表示部における外景の視認性を制御できるので、例えば、撮像画像よりも実空間の第1移動体の視認性を優先し、第1移動体の操作が容易になるよう表示を制御することができる。
また、上記構成において、前記第1表示制御部は、前記コマンドを生成する処理に関する操作用画面を前記表示部に表示させ、前記操作用画面の表示状態に対応して、前記第1表示部における前記外景の視認性を制御する構成であってもよい。
この構成によれば、第1移動体の動作に関する操作用画面の表示状態に合わせて外景の視認性を制御できるので、例えば、操作用画面の視認性と実空間の第1移動体の視認性とを調整できる。このため、第1移動体の操作の容易性を高めることができる。
また、上記構成において、前記第1表示制御部は、前記第1移動体画像データーに基づく画像の表示状態に対応して、前記第1表示部における前記外景の視認性を制御する構成であってもよい。
この構成によれば、第1移動体の撮像画像に関する表示状態に合わせて外景の視認性を制御するので、例えば、実空間の第1移動体の視認性と撮像画像に関する画像の視認性とを調整でき、より一層の利便性の向上を図ることができる。
また、上記構成において、前記第1表示制御部は、前記第1表示部または前記第1表示部を使用するユーザーの状態に基づいて、前記第1表示部における前記外景の視認性を制御する構成であってもよい。
この構成によれば、第1表示部または第1表示部を使用するユーザーの状態に基づいて、第1表示部における前記外景の視認性を制御するので、第1表示部またはユーザーの位置、動き、姿勢等に反映されるユーザーにとっての外景の視認性の重要度に対応して、外景の視認性を制御できる。
また、上記構成において、前記第1表示制御部は、前記第1移動体の動作状態に対応する画像を前記第1表示部に表示させる構成であってもよい。
この構成によれば、第1表示部の表示によって、第1移動体の動作状態に関する情報を得ることができ、第1移動体の操作、及び、第1移動体の撮像画像の利用に関し、利便性の向上を図ることができる。
また、上記構成において、前記第2表示部は、外光を透過することにより外景を視認可能に前記画像を表示し、前記第2表示制御部は、前記第2表示部における前記外景の視認性を制御する構成であってもよい。
この構成によれば、第2表示装置において、外景と、第1移動体が撮像した撮像画像に関する画像とを視認でき、外景の視認性を制御することができる。
また、上記構成において、前記第2表示制御部は、前記第2表示部または前記第2表示部を使用するユーザーの状態に基づいて、前記第2表示部における前記外景の視認性を制御する構成であってもよい。
この構成によれば、第2表示部または第2表示部を使用するユーザーの状態に基づいて、第1表示部における前記外景の視認性を制御するので、第2表示部またはユーザーの位置、動き、姿勢等に反映されるユーザーにとっての外景の視認性の重要度に対応して、外景の視認性を制御できる。
また、上記構成において、前記第2表示装置は、操作を検出する第2操作検出部と、前記第2操作検出部が検出する操作に応じて第2移動体を動作させるためのコマンドを生成する第2移動体制御部と、を備え、前記第2表示制御部は、前記コマンドを生成する処理に関する操作用画面を前記表示部に表示させ、前記操作用画面の表示状態に対応して、前記第2表示部における前記外景の視認性を制御する構成であってもよい。
この構成によれば、第1表示装置において第1移動体の動作に関するコマンドを生成し、第2表示装置において第2移動体の動作に関するコマンドを生成する。このため、第1表示装置を使用する使用者(ユーザー)、及び、第2表示装置を使用する使用者は、それぞれ、実空間の移動体を視認しながら移動体の動作に関する操作を行い、移動体が撮像した撮像画像に関する画像を視認することができる。これにより、移動体の操作と、移動体が撮像した撮像画像の利用とを容易に行うことが可能な表示システムを提供できる。
また、上記構成において、前記第2表示装置が備える第2移動体画像データー取得部は、前記第2移動体が撮像した撮像画像に関する第2移動体画像データーを取得し、前記第2表示制御部は、前記第2移動体画像データー取得部により取得された前記第1移動体画像データーに基づく画像と、前記第2移動体画像データーに基づく画像とを前記第2表示部に表示する構成であってもよい。
この構成によれば、第2表示装置により、第1移動体および第2移動体がそれぞれ撮像した撮像画像に関する画像を表示できる。
また、上記構成において、前記第2表示制御部は、前記第2移動体画像データー取得部により取得された前記第1移動体画像データーに基づく画像、及び、前記第2移動体画像データーに基づく画像の少なくともいずれかの画像の表示状態に対応して、前記第2表示部における前記外景の視認性を制御する構成であってもよい。
この構成によれば、第1移動体および/または第2移動体の撮像画像を表示する場合の外景の視認性を制御できる。このため、外景と、第1移動体および/または第2移動体の撮像画像との視認性のバランスを調整できるので、例えば、第2表示装置の使用者が操作する場合に、実空間の第2移動体の視認性を優先し、操作性を高めることができる。
また、上記構成において、前記第2表示制御部は、前記第2移動体の動作状態に対応する画像を前記第2表示部に表示させる構成であってもよい。
この構成によれば、第2表示装置において第2移動体の動作状態に関する表示をすることができ、第2移動体の動作に関する操作を、より容易にし、操作性を高めることができる。
また、上記構成において、前記第2表示制御部は、前記第1移動体の動作状態、及び、前記第2移動体の動作状態に対応する画像を前記第2表示部に表示させる構成であってもよい。
この構成によれば、第2表示装置において第1移動体および第2移動体の動作状態に関する表示をすることができる。これにより、第1移動体の状態を確認しながら、第2移動体の動作に関する操作を行うことができる。
また、上記構成において、前記第2表示制御部は、前記第2移動体の動作状態に対応する画像を、前記第2表示部を介する前記外景において視認される前記第2移動体に対応する位置に表示させる構成であってもよい。
この構成によれば、第2移動体の動作状態に関して第2表示部が表示する画像を、実空間の第2移動体が視認される位置に対応して表示させることができ、実空間の第2移動体を見ながら、第2移動体の動作状態に関する情報を得ることができる。このため、第2移動体の動作に関する操作を、より容易にし、操作性を高めることができる。
また、上記構成において、前記第2表示装置は、前記第1移動体の位置及び前記第2移動体の位置に関する情報を取得する位置情報取得部を備え、前記第2表示制御部は、前記位置情報取得部により取得された情報を前記第2表示部に表示させる構成であってもよい。
この構成によれば、第2表示装置において第1移動体および第2移動体の位置に関する表示をすることができる。
また、上記構成において、前記第2表示装置が備える前記第2移動体制御部は、前記位置情報取得部により取得された情報に基づき、前記第2移動体を動作させるための前記コマンドを生成する構成であってもよい。
この構成によれば、第2表示装置により、第1移動体および第2移動体の位置に対応して、第2移動体を動作させることができる。
また、上記構成において、前記第1表示部及び前記第2表示部の少なくともいずれかは、使用者の頭部に装着される頭部装着型表示部である構成であってもよい。
この構成によれば、頭部装着型の表示部を有する表示装置により、実空間の第1移動体または第2移動体を視認しながら、移動体の動作に関する操作を行い、さらに、移動体が撮像した撮像画像に関する画像を見ることができる。
また、上記課題を解決するため、本発明は、外光を透過することにより外景を視認可能に画像を表示する表示部と、操作を検出する操作検出部と、前記操作検出部が検出する操作に応じて第1移動体を動作させるためのコマンドを生成する移動体制御部と、前記移動体が撮像した撮像画像に関する第1移動体画像データーを取得する移動体画像データー取得部と、前記移動体画像データー取得部により取得された前記第1移動体画像データーに基づく画像を前記表示部に表示させる表示制御部と、を備え、前記表示制御部は、前記表示部における前記外景の視認性を制御する。
本発明によれば、外景を視認可能な表示部に、第1移動体が撮像した撮像画像に関する画像を表示するので、実空間の第1移動体を視認しながら、撮像画像に関する画像を見ることができる。そして、この撮像画像を見ながら、実空間の第1移動体を視認して操作を行うことができるので、撮像画像の確認と移動体の操作との両方を、容易に行うことができる。また、表示部における外景の視認性を制御できるので、例えば、撮像画像よりも実空間の第1移動体の視認性を優先し、移動体の操作が容易になるよう表示を制御することができる。
また、上記構成において、前記移動体画像データー取得部は、第2移動体が撮像した撮像画像に関する第2移動体画像データーを取得し、前記表示制御部は、前記移動体画像データー取得部により取得された前記第1移動体画像データー、及び、前記第2移動体画像データーの少なくともいずれかに基づく画像を前記表示部に表示させ、前記第1移動体画像データーに基づく画像、及び、前記第2移動体画像データーに基づく画像の少なくともいずれかの画像の表示状態に対応して、前記表示部における前記外景の視認性を制御する構成であってもよい。
この構成によれば、外景の視認性を制御することが可能なため、例えば、第1移動体の撮像画像及び/又は第2移動体の撮像画像に関連する画像を表示し、この画像と外景との視認性を調整することができる。これにより、移動体が撮像する撮像画像を、効率よく利用できる。
また、上記課題を解決するため、本発明は、外光を透過することにより外景を視認可能に画像を表示する表示部を備える表示装置の制御方法であって、操作を検出し、検出した操作に応じて移動体を動作させるためのコマンドを生成し、前記移動体が撮像した撮像画像に関する移動体画像データーを取得し、取得した前記移動体画像データーに基づく画像を前記表示部に表示させ、前記表示部における前記外景の視認性を制御する。
本発明によれば、外景を視認可能な表示部に、移動体が撮像した撮像画像に関する画像を表示するので、実空間の移動体を視認しながら、撮像画像に関する画像を見ることができる。そして、この撮像画像を見ながら、実空間の移動体を視認して操作を行うことができるので、撮像画像の確認と移動体の操作との両方を、容易に行うことができる。また、表示部における外景の視認性を制御できるので、例えば、撮像画像よりも実空間の移動体の視認性を優先し、移動体の操作が容易になるよう表示を制御することができる。
本発明は、上述した表示システム、及び表示装置の制御方法以外の種々の形態で実現することも可能である。例えば、上記の表示システムは、上記の表示装置と第1移動体及び/または第2移動体とを含むシステムであってもよい。また、上記の制御方法を実行するために制御部やコンピューターが実行するプログラムとして実現してもよい。また、上記プログラムを記録した記録媒体、プログラムを配信するサーバー装置、上記プログラムを伝送する伝送媒体、上記プログラムを搬送波内に具現化したデーター信号等の形態で実現できる。
移動機複合制御システムの概略構成図。 移動機の機能ブロック図。 HMDの外観構成を示す説明図。 画像表示部の光学系の構成を示す図。 画像表示部の構成を示す斜視図。 画像表示部と撮像範囲の対応を示す模式図。 HMDのブロック図。 HMDの制御部および記憶部の機能ブロック図。 移動機の動作を示すフローチャート。 HMDの動作を示すフローチャート。 HMDの動作を示すフローチャート。 HMD間のデーターの送受信に係る動作を示すシーケンス図。 HMDの動作を示すフローチャート。 HMDの表示例を示す図。 HMDの表示例を示す図。 HMDの表示例を示す図。 HMDの表示例を示す図。
図1は、本発明を適用した実施形態に係る移動機複合制御システム1の概略構成図である。
移動機複合制御システム1(表示システム)は、移動機(移動体)310と、移動機310を操縦するオペレーターが装着して使用するHMD(Head Mounted Display:頭部装着型表示装置)100とを有する移動機制御システム300により構成される。移動機複合制御システム1は、複数のオペレーターが、それぞれHMD100(表示装置)を装着し、移動機310を操縦する構成であり、複数の移動機制御システム300を含む。
図1の例では、3つの移動機制御システム300A、300B、300Cにより移動機複合制御システム1が構成される。移動機複合制御システム1を構成する移動機制御システム300の数、すなわちHMD100の数および移動機310の数は任意であり、2以下であっても4以上であってもよい。また、移動機複合制御システム1は、移動機310を操縦しないオペレーターが装着するHMD100を含んでもよい。
以下の説明では、複数のHMD100及び移動機310を符号により区別して、HMD100A、100B、100C、及び、移動機310A、310B、310Cと表記する。各々のHMD100を区別する必要がある場合はHMD100A、100B、100Cと記載し、区別しない場合はHMD100と記載する。同様に、各々の移動機310を区別する必要がある場合は移動機310A、310B、310Cと記載し、区別しない場合は移動機310と記載する。
また、図示はしないが、移動機310AはオペレーターAにより操縦され、移動機310BはオペレーターBにより操縦され、移動機310CはオペレーターCにより操縦される。オペレーターは、ユーザー、あるいは使用者ということができ、以下の説明では使用者と称する。
本実施形態では、本発明の移動体の一態様として、移動機310を例示する。移動機310は、4つのプロペラ321、322、323、324の回転により飛行する飛行体である。移動機310は、或いは、無人飛行体(UAV:Unmanned Aerial Vehicle)を意味するドローン(Drone)と呼ばれるものの一種であり、4翼ヘリコプターと呼ぶこともできる。移動機310は、HMD100により遠隔操縦される。すなわち、移動機310AはHMD100Aにより遠隔操縦され、同様に、移動機310BはHMD100Bにより、移動機310CはHMD100Cにより遠隔操縦される。
プロペラ321、322、323、324は、それぞれ、飛行モーター331、332、333、334により駆動されて回転し、移動機310を浮上させる。また、移動機310には移動機カメラ335が設けられ、移動機カメラ335により撮像した撮像画像をHMD100に送信できる。移動機カメラ335は、移動機310の本体に直接固定されてもよいし、ジンバル(Gimbal)、雲台等の台座を介して移動機310の本体に固定される構成であってもよい。また、移動機カメラ335の台座に、移動機カメラ335の撮像方向を変更及び調整する機構を設けてもよい。
HMD100は、使用者の頭部に装着された状態で使用者に虚像を視認させる画像表示部20(表示部)と、画像表示部20を制御する制御装置10と、を備える表示装置である。制御装置10は、図3を参照して後述するように、平たい箱形の本体を備え、この本体に、使用者の操作を受け付ける各種のスイッチや操作パッド等の操作部を備える。これらの操作部を使用者が操作することによって、制御装置10は、HMD100を制御する制御装置として機能する。
HMD100は、移動機310との間で通信を実行する。HMD100は、移動機310から画像データーを受信して、受信した画像データーに基づく画像を画像表示部20により表示する。これにより、使用者は、移動機310が撮像した撮像画像を画像表示部20によって視認し、制御装置10を操作して、移動機310を操縦できる。
HMD100と移動機310とを接続する態様は任意であり、例えば、後述する周波数の無線信号を用いて各種データーを送受信する。
図2は、移動機310の機能ブロック図であり、移動機310の制御系の構成を示す。この構成は、移動機310A、310B、310Cに共通であるため、これらを区別せず説明する。
移動機310の制御系は、移動機310を制御する移動機制御部341と、移動機制御部341に接続される各部により構成される。詳細には、移動機310は、移動機制御部341、移動機記憶部342、移動機通信部343、GPS装置344、飛行制御部345、カメラ制御部346、モーターコントローラー347、姿勢センサー348、及び、インジケーター349を備える。また、図示を省略するが、移動機310は、飛行モーター331、332、333、334(図1)を含む各部に電源を供給するバッテリーと、バッテリーによる電力供給を制御するバッテリー制御回路とを備える。
移動機制御部341は、CPU(Central Processing Unit)やマイコン等の演算処理装置(プロセッサー)を備え、プログラムを実行することにより、移動機310を制御する。移動機制御部341は、ROM(Read Only Memory)、RAM(Random Access Memory)、その他周辺回路等を備える構成としてもよい。
移動機制御部341には、移動機制御部341が処理するデーター等を記憶する移動機記憶部342が接続される。移動機記憶部342は、半導体メモリー素子等の記憶装置を有し、移動機310の制御に関する各種データーや、移動機制御部341が実行するプログラムを記憶する。
また、移動機制御部341には、移動機通信部343が接続される。移動機通信部343は、アンテナ、RF回路、ベースバンド回路、通信制御回路等を備えて構成され、或いはこれらが統合されたデバイスで構成され、HMD100との間で無線通信を実行する。移動機通信部343は、ラジコン用の周波数である27MHz帯、40MHz帯、2.4GHz帯等で無線通信を実行する。或いは、移動機通信部343は、Bluetooth(登録商標)、無線LAN(Wi−Fi(登録商標)を含む)等の規格に準拠した無線通信を行う。移動機通信部343は、移動機制御部341の制御に従ってHMD100と通信を実行し、HMD100が送信するコマンドを受信して移動機制御部341に出力する。また、移動機通信部343は、移動機カメラ335の撮像画像データーをHMD100に送信する。
移動機310Aが備える移動機通信部343は、HMD100Aと通信を行う。同様に、移動機310Bの移動機通信部343はHMD100Bと通信し、移動機310Cの移動機通信部343はHMD100Cと通信する。
GPS(Global Positioning System)装置344は、GPS衛星から送信される信号を受信して解析することにより、移動機310の位置を測定(測位)する装置である。GPS装置344は、移動機制御部341の制御に従って測位を行い、測位結果を移動機制御部341に出力する。GPS装置344が出力する測位結果は、移動機310の緯度及び経度を含み、移動機310の高度を含んでもよい。
また、移動機制御部341には飛行制御部345が接続される。飛行制御部345は、モーターコントローラー347、及び姿勢センサー348に接続される。モーターコントローラー347は、飛行制御部345の制御に従って、飛行モーター331、332、333、334を駆動する回路である。
姿勢センサー348は、移動機310の姿勢や動きを検出するセンサーである。例えば、姿勢センサー348は、ジャイロセンサー、加速度センサー、速度センサー、高度センサーのいずれかを備える構成とすることができる。また、姿勢センサー348は、移動機310の方向を検出するための地磁気センサーを備えてもよい。例えば、姿勢センサー348は、3軸ジャイロセンサー、3軸加速度センサー、3軸地磁気センサーを統合した9軸モーションセンサーユニットを用いてもよく、このモーションセンサーユニットに高度センサーを統合してもよい。姿勢センサー348は、飛行制御部345の制御に従って、検出値を飛行制御部345に出力する。また、姿勢センサー348は風速センサーを備えてもよい。
飛行制御部345は、移動機310が姿勢センサー348により検出した検出値及び/またはGPS装置344により検出した緯度、経度を、移動機制御部341に出力する。移動機制御部341は、姿勢センサー348の検出値及びGPS装置344の検出結果の一部または全部を、移動機通信部343によりHMD100に送信できる。移動機310がHMD100に送信する移動機310の位置に関する情報を、移動機位置情報と呼ぶ。移動機位置情報は、例えば、移動機310の高度、緯度、経度を含み、風速等の外部環境に関する情報を含んでもよい。また、移動機位置情報は、移動機310の位置を示す情報として、高度、緯度、経度以外の情報を含んでもよい。例えば、移動機310の位置を移動機310の平面位置に対応する住所表示、地名、地番、近傍または直下の施設名や建物名により表現してもよい。また、予め設定されたランドマークを基準とする方角や距離により移動機310の位置を示す情報を含んでもよいし、風速等の外部環境に関する情報を含んでもよい。
また、移動機310がHMD100に送信する移動機310の位置に関する情報は、移動機位置情報のほか、移動機310の環境や状況に関する移動機状況情報を含んでもよい。移動機状況情報は、移動機310の位置に関連する情報を含んでもよい。例えば、移動機310の近傍または直下の施設名や建物名等の周辺施設に関する情報を含んでもよい。また、移動機状況情報は、移動機310の環境に関する情報(天気(天候)、温度、湿度、風速、風向、降雨量等)を含んでもよい。
移動機310は、HMD100に対し、HMD100が指定したタイミングで取得した検出値及び/または検出結果に基づく移動機位置情報を送信してもよい。また、移動機310は、HMD100に対し、HMD100が指定したタイミング以後に取得した検出値及び/または検出結果に基づく移動機位置情報を随時送信してもよい。
なお、移動機310が位置を検出する構成は、GPS装置344や姿勢センサー348に限定されない。例えば、移動機310が飛行する領域(エリア)に予め設置された無線ビーコン送信機からビーコン信号を受信し、ビーコン信号の受信強度等に基づいて移動機310の位置を検出してもよい。無線ビーコン送信機には、赤外光(IR)等の可視外領域の光でビーコン信号を送信する光ビーコン装置や、Bluetoothでビーコン信号を送信するBluetoothビーコンを利用できる。この場合に検出される移動機310の位置は、高度、及び、無線ビーコン送信機に対する相対位置を含む。この場合、移動機制御部341は、高度、及び、無線ビーコン送信機に対する相対位置を含む移動機位置情報を生成して、HMD100に送信すればよい。
移動機制御部341には、飛行制御部345を制御するカメラ制御部346が接続される。飛行制御部345は、上述したように移動機310の本体に設置されて、所定の方向を撮像する。飛行制御部345は、撮像素子336と、撮像レンズ(図示略)を移動させてズーム倍率を調整するズーム機構337とを備える。撮像素子336は、例えば、CCD(Charge Coupled Device)イメージセンサーやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサー等からなる。
カメラ制御部346は、移動機制御部341の制御に従って撮像素子336及びズーム機構337を駆動し、移動機制御部341により指定されたズーム倍率で撮像を行い、撮像画像データーを移動機制御部341に出力する。移動機310は、移動機カメラ335によって予め設定されたサンプリング周期で撮像を実行し、撮像画像データーを生成する。すなわち、移動機310は動画像を撮像するといえる。移動機310は、HMD100に対し、HMD100が指定したタイミングで撮像した撮像画像データーを送信することができる。この場合、HMD100は、移動機310が撮像した静止画像の撮像画像データーを取得できる。また、移動機310は、HMD100に対し、HMD100が指定したタイミング以後に撮像した撮像画像データーを随時送信することができる。この場合、HMD100は、移動機310が撮像した動画像(映像)の撮像画像データーを取得できる。
移動機制御部341は、移動機カメラ335の撮像画像データーを送信する場合に、撮像画像データーに基づき生成した画像データーを送信してもよい。例えば、移動機カメラ335の撮像画像データーの解像度やフレームレートを変更して帯域を調整し、調整した画像データーを送信してもよい。
また、移動機制御部341には、インジケーター349が接続される。インジケーター349は、LED(Light Emitting Diode)等の光源を備え、移動機310の動作状態に対応する発光色、及び/または発光パターンで発光する。インジケーター349は、移動機310の筐体の下面、前面、後面など、移動機310の飛行中において外部から視認可能な位置に配置される。移動機制御部341は、飛行制御部345の動作状態に対応して、インジケーター349を発光させる。例えば、移動機制御部341は、移動機310が前進している場合は赤色でインジケーター349を発光させ、移動機310が後退している間は緑色でインジケーター349を発光させる。また、移動機310の旋回中に、インジケーター349を点滅させてもよい。
図3は、HMD100の外観構成を示す説明図である。この構成は、HMD100A、100B、100Cに共通であるため、これらを区別せず説明する。図4、図5、図6、図7及び図8についても同様である。
制御装置10は、図3に示すように、平たい箱形のケース10A(筐体)を備える。ケース10Aは、使用者の操作を受け付ける各種のスイッチやトラックパッド14等を備え、これらを使用者が操作することによって、制御装置10は、HMD100を制御する制御装置として機能する。また、ケース10Aは、HMD100を制御する機能部を内蔵する。
画像表示部20は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有する。画像表示部20は、右保持部21と、左保持部23と、前部フレーム27とを有する本体に、右表示ユニット22、左表示ユニット24、右導光板26、及び左導光板28を備える。
右保持部21及び左保持部23は、それぞれ、前部フレーム27の両端部から後方に延び、眼鏡のテンプル(つる)のように、使用者の頭部に画像表示部20を保持する。ここで、前部フレーム27の両端部のうち、画像表示部20の装着状態において使用者の右側に位置する端部を端部ERとし、使用者の左側に位置する端部を端部ELとする。右保持部21は、前部フレーム27の端部ERから、画像表示部20装着状態において使用者の右側頭部に対応する位置まで延伸して設けられる。左保持部23は、端部ELから、画像表示部20の装着状態において使用者の左側頭部に対応する位置まで延伸して設けられる。
右導光板26及び左導光板28は、前部フレーム27に設けられる。右導光板26は、画像表示部20の装着状態において使用者の右眼の眼前に位置し、右眼に画像を視認させる。左導光板28は、画像表示部20の装着状態において使用者の左眼の眼前に位置し、左眼に画像を視認させる。
前部フレーム27は、右導光板26の一端と左導光板28の一端とを互いに連結した形状を有し、この連結位置は、使用者が画像表示部20を装着する装着状態で、使用者の眉間に対応する。前部フレーム27は、右導光板26と左導光板28との連結位置において、画像表示部20の装着状態で使用者の鼻に当接する鼻当て部を設けてもよい。この場合、鼻当て部と右保持部21及び左保持部23とにより画像表示部20を使用者の頭部に保持できる。また、右保持部21及び左保持部23に、画像表示部20の装着状態において使用者の後頭部に接するベルト(図示略)を連結してもよく、この場合、ベルトによって画像表示部20を使用者の頭部に保持できる。
右表示ユニット22は、右導光板26による画像の表示に係るユニットであり、右保持部21に設けられ、装着状態において使用者の右側頭部の近傍に位置する。左表示ユニット24は、左導光板28による画像の表示に係るユニットであり、左保持部23に設けられ、装着状態において使用者の左側頭部の近傍に位置する。なお、右表示ユニット22及び左表示ユニット24を総称して単に「表示駆動部」とも呼ぶ。
本実施形態の右導光板26及び左導光板28は、光透過性の樹脂等によって形成される光学部であり、例えばプリズムであり、右表示ユニット22及び左表示ユニット24が出力する画像光を、使用者の眼に導く。
画像表示部20は、右表示ユニット22及び左表示ユニット24がそれぞれ生成する画像光を、右導光板26及び左導光板28に導き、この画像光によって虚像を使用者に視認させることによって、画像を表示する。使用者の前方から、右導光板26及び左導光板28を透過して外光が使用者の眼に入射する場合、使用者の眼には、虚像を構成する画像光及び外光が入射することとなり、虚像の視認性が外光の強さに影響される。このため、例えば前部フレーム27に右電子シェード227及び左電子シェード247(図5)を配置し、虚像の視認のしやすさを調整できる。
HMDカメラ61は、画像表示部20の前部フレーム27に配設される。HMDカメラ61は、使用者が画像表示部20を装着した状態で視認する外景方向を撮像することが望ましく、前部フレーム27の前面において、右導光板26及び左導光板28を透過する外光を遮らない位置に設けられる。図3の例では、HMDカメラ61が前部フレーム27の端部ER側に配置される。HMDカメラ61は、端部EL側に配置されてもよく、右導光板26と左導光板28との連結部に配置されてもよい。
HMDカメラ61は、CCDやCMOS等の撮像素子及び撮像レンズ等を備えるデジタルカメラであり、本実施形態のHMDカメラ61は単眼カメラであるが、ステレオカメラで構成してもよい。HMDカメラ61は、HMD100の表側方向、換言すれば、HMD100を装着した状態における使用者の視界方向の少なくとも一部の外景(実空間)を撮像する。別の表現では、HMDカメラ61は、使用者の視界と重なる範囲または方向を撮像し、使用者が注視する方向を撮像するということもできる。HMDカメラ61の画角の広さは適宜設定可能であるが、本実施形態では、後述するように、使用者が右導光板26及び左導光板28を通して視認する外界を含む。より好ましくは、右導光板26及び左導光板28を透過して視認可能な使用者の視界の全体を撮像できるように、HMDカメラ61の撮像範囲が設定される。
HMDカメラ61は、HMD制御部141が備える撮像制御部149の制御に従って撮像を実行し、撮像画像データーを撮像制御部149に出力する。
HMD100は、予め設定された測定方向に位置する測定対象物までの距離を検出する距離センサー64を備える。距離センサー64は、例えば、使用者にとって前方に位置する測定対象物までの距離を検出する構成とすることができ、本実施形態では、前部フレーム27において右導光板26と左導光板28との連結部分に配置される。この例では、画像表示部20の装着状態において、距離センサー64の位置は、水平方向では使用者の両眼のほぼ中間であり、鉛直方向では使用者の両眼より上である。距離センサー64の測定方向は、例えば、前部フレーム27の表側方向とすることができ、言い換えればHMDカメラ61の撮像方向と重複する方向である。
距離センサー64は、例えば、LEDやレーザーダイオード等の光源と、光源が発する光が測定対象物に反射する反射光を受光する受光部とを有する。距離センサー64は、HMD制御部141の制御に従い、三角測距処理や時間差に基づく測距処理を実行すればよい。また、距離センサー64は、超音波を発する音源と、測定対象物で反射する超音波を受信する検出部とを備える構成としてもよい。この場合、距離センサー64は、HMD制御部141の制御に従い、超音波の反射までの時間差に基づき測距処理を実行すればよい。
制御装置10と画像表示部20とは、接続ケーブル40により接続される。接続ケーブル40は、ケース10Aの端部に設けられるコネクター42に着脱可能に接続される。すなわち、ケース10Aには、接続ケーブル40を抜き差し可能なコネクター42が設けられ、画像表示部20を使用する場合にコネクター42に接続ケーブル40が接続される。
接続ケーブル40は、左保持部23の先端から、画像表示部20の内部に設けられる各種回路に接続する。接続ケーブル40は、デジタルデーターを伝送するメタルケーブルまたは光ファイバーケーブルを有し、アナログ信号を伝送するメタルケーブルを有していてもよい。接続ケーブル40の途中には、コネクター46が設けられる。
コネクター46は、ステレオミニプラグを接続するジャック(オーディオコネクター)であり、コネクター46と制御装置10とは、例えばアナログ音声信号を伝送するラインで接続される。図3に示す構成例では、ステレオヘッドホンを構成する右イヤホン32及び左イヤホン34と、マイク63とを有するヘッドセット30が、コネクター46に接続される。
マイク63は、例えば図3に示すように、マイク63の集音部が使用者の視線方向を向くように配置され、音声を集音して、音声信号を音声インターフェイス182(図8)に出力する。マイク63は、例えばモノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであってもよいし、無指向性のマイクであってもよい。
制御装置10は、使用者により操作される被操作部として、トラックパッド14、上下キー15、LED表示部17、及び電源スイッチ18を備える。これらの被操作部はケース10Aの表面に配置される。これらの被操作部は、例えば、使用者の手指により操作される。
トラックパッド14は、ケース10Aの前面において、使用者が指を接触させる、タッチ操作を行うための領域である。トラックパッド14は、ケース10Aの前面と同様の平面であってもよいが、トラックパッド14と、それ以外の領域とを使用者が識別できる構成であることが好ましい。例えば、トラックパッド14の縁を示す線が印刷または凹凸により形成されてもよいし、トラックパッド14が、トラックパッド14の表面の触感をそれ以外の領域と異ならせる表面加工を施されてもよい。
制御装置10は、ケース10Aの前面において、後述するタッチセンサー13(図7)により、使用者によるトラックパッド14への接触操作を検出できる。制御装置10は、タッチセンサー13が接触操作を検出した場合に、操作を検出した位置を特定する。トラックパッド14は、トラックパッド14における絶対位置、或いは、相対位置を入力する操作のために使用できる。
ケース10Aの前面にはLED表示部17が設置される。LED表示部17は、トラックパッド14に位置し、LED表示部17の表面は、ケース10Aの前面における他の領域と違わない。LED表示部17は、光を透過可能な透過部(図示略)を有し、透過部の直下に設置される1または複数のLEDが点灯することにより、使用者が記号等を視認できるように、発光する。図3の例では、LED表示部17のLEDが点灯することにより、3つの記号△(三角形)、○(丸)、□(四角形)が現れる。
制御装置10は、LED表示部17に対する使用者の手指の接触操作を、タッチセンサー13により検出し、操作位置を特定できる。このため、例えば操作位置が、LED表示部17に現れる記号のどれに対応する位置かを特定できる。従って、LED表示部17はソフトウェアボタンとして機能する。例えば、LED表示部17に現れる記号を、HMD100の機能に対応付けることで、LED表示部17へのタッチ操作を当該機能に対する操作として検出できる。HMD100は、図3の例で、記号○(丸)をホームボタンに割り当てることができる。この場合、記号○(丸)の位置に接触操作が行われると、HMD制御部141は、ホームボタンの操作を検出する。また、記号□(四角形)は履歴ボタンに割り当てることができる。この場合、記号□(四角形)の接触操作を、HMD制御部141は、履歴ボタンの操作として検出する。同様に、記号△(三角形)は戻るボタンに割り当てることができる。HMD制御部141は、記号△(三角形)の接触操作を、戻るボタンの操作として検出する。
上下キー15は、ケース10Aの側面に配置され、押圧操作を検出する一対のキーを備える。上下キー15の右イヤホン32及び左イヤホン34から出力する音量の増減の指示入力や、画像表示部20の表示の明るさの増減の指示入力に利用される。
電源スイッチ18は、HMD100の電源のオン/オフを切り替えるスイッチである。
ケース10Aにおいて電源スイッチ18と同じ側の側面には、USBコネクター188(図7)が設けられる。USBコネクター188は、制御装置10を、外部の装置に接続するインターフェイスであり、本実施形態ではインターフェイスの一例として、USB規格に準拠したコネクターを例示する。USBコネクター188は、例えば、microUSB規格に適合する形状、及びサイズを有するコネクターであり、転送速度等の仕様は任意である。
制御装置10は後述するようにバッテリー132(図7)を有し、バッテリー132が供給する電力により制御装置10および画像表示部20が動作する。バッテリー132への充電は、USBコネクター188に対して電力を供給することにより行うことができる。HMD100は、制御装置10と画像表示部20を取り外し、制御装置10のみを専用の充電装置に接続することで、充電を行うことができる。
図4は、画像表示部20が備える光学系の構成を示す要部平面図である。図4には説明のため使用者の左眼LE及び右眼REを図示する。
図4に示すように、右表示ユニット22と左表示ユニット24とは、左右対称に構成される。使用者の右眼REに画像を視認させる構成として、右表示ユニット22は、画像光を発するOLED(Organic Light Emitting Diode)ユニット221を備える。また、OLEDユニット221が発する画像光Lを導くレンズ群等を備えた右光学系251を備える。画像光Lは、右光学系251により右導光板26に導かれる。
OLEDユニット221は、OLEDパネル223と、OLEDパネル223を駆動するOLED駆動回路225とを有する。OLEDパネル223は、有機エレクトロルミネッセンスにより発光してR(赤)、G(緑)、B(青)の色光をそれぞれ発する発光素子を、マトリクス状に配置して構成される、自発光型の表示パネルである。OLEDパネル223は、R、G、Bの素子を1個ずつ含む単位を1画素として、複数の画素を備え、マトリクス状に配置される画素により画像を形成する。OLED駆動回路225は、HMD制御部141の制御に従って、OLEDパネル223が備える発光素子の選択及び発光素子への通電を実行して、OLEDパネル223の発光素子を発光させる。OLED駆動回路225は、OLEDパネル223の裏面すなわち発光面の裏側に、ボンディング等により固定される。OLED駆動回路225は、例えばOLEDパネル223を駆動する半導体デバイスで構成され、OLEDパネル223の裏面に固定される基板(図示略)に実装されてもよい。この基板には温度センサー69(図7)が実装される。
なお、OLEDパネル223は、白色に発光する発光素子をマトリクス状に配置し、R、G、Bの各色に対応するカラーフィルターを重ねて配置する構成であってもよい。また、R、G、Bの色光をそれぞれ放射する発光素子に加え、W(白)の光を発する発光素子を備えるWRGB構成のOLEDパネル223を用いてもよい。
右光学系251は、OLEDパネル223から射出された画像光Lを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Lは、右導光板26に入射する。右導光板26の内部において光を導く光路には、画像光Lを反射する複数の反射面が形成される。画像光Lは、右導光板26の内部で複数回の反射を経て右眼RE側に導かれる。右導光板26には、右眼REの眼前に位置するハーフミラー261(反射面)が形成される。画像光Lは、ハーフミラー261で反射して右眼REに向けて右導光板26から射出され、この画像光Lが右眼REの網膜に像を結び、使用者に画像を視認させる。
また、使用者の左眼LEに画像を視認させる構成として、左表示ユニット24は、画像光を発するOLEDユニット241と、OLEDユニット241が発する画像光Lを導くレンズ群等を備えた左光学系252とを備える。画像光Lは、左光学系252により左導光板28に導かれる。
OLEDユニット241は、OLEDパネル243と、OLEDパネル243を駆動するOLED駆動回路245とを有する。OLEDパネル243は、OLEDパネル223と同様に構成される自発光型の表示パネルである。OLED駆動回路245は、HMD制御部141の制御に従って、OLEDパネル243が備える発光素子の選択及び発光素子への通電を実行して、OLEDパネル243の発光素子を発光させる。OLED駆動回路245は、OLEDパネル243の裏面すなわち発光面の裏側に、ボンディング等により固定される。OLED駆動回路245は、例えばOLEDパネル243を駆動する半導体デバイスで構成され、OLEDパネル243の裏面に固定される基板(図示略)に実装されてもよい。この基板には、温度センサー239が実装される。
左光学系252は、OLEDパネル243から射出された画像光Lを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Lは、左導光板28に入射する。左導光板28は、画像光Lを反射する複数の反射面が形成された光学素子であり、例えばプリズムである。画像光Lは、左導光板28の内部で複数回の反射を経て左眼LE側に導かれる。左導光板28には、左眼LEの眼前に位置するハーフミラー281(反射面)が形成される。画像光Lは、ハーフミラー281で反射して左眼LEに向けて左導光板28から射出され、この画像光Lが左眼LEの網膜に像を結び、使用者に画像を視認させる。
この構成によれば、HMD100は、シースルー型の表示装置として機能する。すなわち、使用者の右眼REには、ハーフミラー261で反射した画像光Lと、右導光板26を透過した外光OLとが入射する。また、左眼LEには、ハーフミラー281で反射した画像光Lと、ハーフミラー281を透過した外光OLとが入射する。このように、HMD100は、内部で処理した画像の画像光Lと外光OLとを重ねて使用者の眼に入射させ、使用者にとっては、右導光板26及び左導光板28を透かして外景が見え、この外景に重ねて、画像光Lによる画像が視認される。
ハーフミラー261、281は、右表示ユニット22及び左表示ユニット24がそれぞれ出力する画像光を反射して画像を取り出す画像取り出し部であり、表示部ということができる。
なお、左光学系252と左導光板28とを総称して「左導光部」とも呼び、右光学系251と右導光板26とを総称して「右導光部」と呼ぶ。右導光部及び左導光部の構成は上記の例に限定されず、画像光を用いて使用者の眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いても良いし、半透過反射膜を用いても良い。
また、画像表示部20は、右電子シェード227及び左電子シェード247を備える。右電子シェード227は、シェード駆動部228(図6)と、液晶パネル229とを備える。左電子シェード247は、シェード駆動部248(図6)と、液晶パネル249とを備える。液晶パネル229及び249は、透過率調整板ともいうことができる。
右電子シェード227の液晶パネル229は、右導光板26の前面側、すなわち、使用者の頭部の側とは反対側に設けられる。図2には、液晶パネル229を、右導光板26から離して配置した状態を示すが、液晶パネル229は、右導光板26の表面に貼り付けられる。液晶パネル229は、画像表示部20の右導光板26に重ねて配置される。
左電子シェード247の液晶パネル249は、左導光板28の前面側、すなわち、使用者の頭部の側とは反対側に設けられる。図2には、液晶パネル249を、左導光板28から離して配置した状態を示すが、液晶パネル249は、左導光板28の表面に貼り付けられる。液晶パネル249は、画像表示部20の左導光板28に重ねて配置される。
液晶パネル229及び249は、複数の画素をマトリクス状に配置した透過型の液晶パネルである。液晶パネル229及び249は、TN(twisted nematic)液晶、ゲストホスト液晶、PDLC(Polymer Dispersed Liquid Crystal)、エレクトロクロミック、ガスクロミックのいずれかの液晶により構成される。
液晶パネル229及び249は、供給電圧の増減により、外部から使用者の眼REに導かれる外光の透過率を画素単位で増減させる。本実施形態の右電子シェード227及び左電子シェード247は、供給電圧なしの状態では外光の透過率が100%となり、供給電圧が最大の状態では外光の透過率が0%(遮断)される。
図5及び図6は、画像表示部20の要部構成を示す図である。図5は、画像表示部20を使用者の頭部側から見た要部斜視図である。なお、図5では接続ケーブル40の図示を省略する。図6はHMDカメラ61の画角の説明図である。
図5は、画像表示部20の使用者の頭部に接する側、言い換えれば使用者の右眼RE及び左眼LEに見える側である。別の言い方をすれば、右導光板26及び左導光板28の裏側が見えている。
図5では、使用者の右眼REに画像光を照射するハーフミラー261、及び、左眼LEに画像光を照射するハーフミラー281が、略四角形の領域として見える。また、ハーフミラー261、281を含む右導光板26及び左導光板28の全体が、上述したように外光を透過する。このため、使用者には、右導光板26及び左導光板28の全体を透過して外景が視認され、ハーフミラー261、281の位置に矩形の表示画像が視認される。
HMDカメラ61は、上記のように画像表示部20において右側の端部に配置され、使用者の両眼が向く方向、すなわち使用者にとって前方を撮像する。図6は、HMDカメラ61の位置を、使用者の右眼RE及び左眼LEとともに平面視で模式的に示す図である。HMDカメラ61の画角(撮像範囲)をCで示す。なお、図6には水平方向の画角Cを示すが、HMDカメラ61の実際の画角は一般的なデジタルカメラと同様に上下方向にも拡がる。
HMDカメラ61の光軸は、右眼RE及び左眼LEの視線方向を含む方向とされる。使用者がHMD100を装着した状態で視認できる外景は、無限遠とは限らない。例えば図6に示すように、使用者が両眼で対象物OBを注視すると、使用者の視線は、図中符号RD、LDに示すように対象物OBに向けられる。この場合、使用者から対象物OBまでの距離は、30cm〜10m程度であることが多く、1m〜4m程度であることが、より多い。そこで、HMD100について、通常使用時における使用者から対象物OBまでの距離の上限、及び下限の目安を定めてもよい。この目安は調査や実験により求めてもよいし使用者が設定してもよい。HMDカメラ61の光軸、及び画角は、通常使用時における対象物OBまでの距離が、設定された上限の目安に相当する場合、及び、下限の目安に相当する場合に、この対象物OBが画角に含まれるように、設定されることが好ましい。
また、一般に、人間の視野角は水平方向におよそ200度、垂直方向におよそ125度とされ、そのうち情報受容能力に優れる有効視野は水平方向に30度、垂直方向に20度程度である。さらに、人間が注視する注視点が迅速に安定して見える安定注視野は、水平方向に60〜90度、垂直方向に45度〜70度程度とされている。この場合、注視点が、図6の対象物OBであるとき、視線RD、LDを中心として水平方向に30度、垂直方向に20度程度が有効視野である。また、水平方向に60〜90度、垂直方向に45度〜70度程度が安定注視野であり、水平方向に約200度、垂直方向に約125度が視野角となる。さらに、使用者が画像表示部20を透過して右導光板26及び左導光板28を透過して視認する実際の視野を、実視野(FOV:Field Of View)と呼ぶことができる。図3に示す本実施形態の構成で、実視野は、右導光板26及び左導光板28を透過して使用者が視認する実際の視野に相当する。実視野は、視野角及び安定注視野より狭いが、有効視野より広い。
HMDカメラ61の画角Cは、使用者の視野よりも広い範囲を撮像可能であることが好ましく、具体的には、画角Cが、少なくとも使用者の有効視野よりも広いことが好ましい。また、画角Cが、使用者の実視野よりも広いことが、より好ましい。さらに好ましくは、画角Cが、使用者の安定注視野よりも広く、最も好ましくは、画角Cが使用者の両眼の視野角よりも広い。
HMDカメラ61が、撮像レンズとして、いわゆる広角レンズを備え、広い画角を撮像できる構成としてもよい。広角レンズには、超広角レンズ、準広角レンズと呼ばれるレンズを含んでもよいし、単焦点レンズであってもズームレンズであってもよく、複数のレンズからなるレンズ群をHMDカメラ61が備える構成であってもよい。
また、距離センサー64は、右導光板26と左導光板28との中央において、前方を向いて配置される。例えば、距離センサー64は、画像表示部20の中央位置から、図6に示す対象物OBのように、使用者の正面方向に位置する物体までの距離を検出可能に構成される。HMD100を装着した使用者は、注視する方向に頭を向けるので、注視する対象は画像表示部20の正面にあると考えることができる。このため、画像表示部20の中央に配置された距離センサー64が、画像表示部20の正面を検出方向64Aとすれば、使用者が注視する対象までの距離を検出できる。
また、図5に示すように、画像表示部20の使用者側には内側カメラ68が配置される。内側カメラ68は、使用者の右眼RE、及び、左眼LEのそれぞれに対応するように、右導光板26と左導光板28との中央位置に一対、設けられる。内側カメラ68は、使用者の右眼REと左眼LEとをそれぞれ撮像する一対のカメラである。内側カメラ68は、HMD制御部141の制御に従って撮像を行う。HMD制御部141は、内側カメラ68の撮像画像データーを解析する。例えば、HMD制御部141は、内側カメラ68の撮像画像データーから右眼RE及び左眼LEの眼球表面における反射光や瞳孔の画像を検出し、使用者の視線方向を特定する。また、HMD制御部141は、使用者の視線方向の変化を求めることができ、右眼RE及び左眼LEのそれぞれの眼球運動を検出してもよい。
ここで、使用者の視線の移動は、使用者の仮想視点の移動とみることもできる。
また、HMD制御部141は、内側カメラ68の撮像画像データーから使用者の右眼RE及び左眼LEの瞼(眼瞼)の画像を抽出して、眼瞼運動を検出してもよく、眼瞼の状態を検出してもよい。本実施形態では画像表示部20が一対の内側カメラ68、68を備える構成を例示するが、例えば、1つの内側カメラ68を、画像表示部20の中央位置に設けてもよい。この場合、1つの内側カメラ68が、右眼RE及び左眼LEを撮像できる画角を有することが好ましいが、例えば、右眼REまたは左眼LEの一方のみを内側カメラ68により撮像してもよい。すなわち、右眼REまたは左眼LEのいずれか一方の視線方向、眼球運動、眼瞼運動、眼瞼の状態等をHMD制御部141が検出する構成としてもよい。
また、HMD制御部141は、内側カメラ68の撮像画像から右眼RE及び左眼LEの視線方向を検出した場合に、右眼RE及び左眼LEの輻輳角を求めることができる。図6には輻輳角を符号PAで示す。輻輳角PAは、使用者が注視する対象物OBまでの距離に対応する。すなわち、使用者が立体的に画像や物体を視認する場合、視認する対象までの距離に対応して、右眼RE及び左眼LEの輻輳角が定まる。従って、輻輳角を検出することで、使用者が注視する距離を求めることができる。また、使用者の輻輳角を誘導するように画像を表示することにより、立体視を誘導できる。
輻輳角は、例えば、内側カメラ68の撮像画像データーから求めることができる。例えば、内側カメラ68に撮像画像データーから右眼REの視線方向を求め、この視線方向から、右眼REの正面方向に対する右眼REの視線方向の角度LAを求める。同様に、内側カメラ68の撮像画像データーから左眼LEの視線方向を求め、この視線方向に基づき、左眼LEの正面方向に対する左眼LEの視線方向の角度RAを求める。輻輳角PAは、角度LA、RAの和に等しく、容易に輻輳角PAを求めることができる。
図7は、HMD100を構成する各部の構成を示すブロック図である。
制御装置10は、プログラムを実行してHMD100を制御するメインプロセッサー140を備える。メインプロセッサー140には、メモリー118及び不揮発性記憶部121が接続される。また、メインプロセッサー140には、入力装置として操作部110が接続される。また、メインプロセッサー140には、センサー類として、6軸センサー111、磁気センサー113、及び、GPS115が接続される。また、メインプロセッサー140には、HMD通信部117(通信部)、音声コーデック180、外部コネクター184、外部メモリーインターフェイス186、USBコネクター188、センサーハブ192、及び、FPGA194が接続される。これらは外部とのインターフェイスとして機能する。
メインプロセッサー140は、制御装置10が内蔵するコントローラー基板120に実装される。コントローラー基板120には、メインプロセッサー140に加えて、メモリー118、不揮発性記憶部121等が実装されてもよい。本実施形態では、6軸センサー111、磁気センサー113、GPS115、HMD通信部117、メモリー118、不揮発性記憶部121、音声コーデック180等がコントローラー基板120に実装される。また、外部コネクター184、外部メモリーインターフェイス186、USBコネクター188、センサーハブ192、FPGA194、及びインターフェイス196をコントローラー基板120に実装した構成であってもよい。
メモリー118は、メインプロセッサー140がプログラムを実行する場合に、実行されるプログラム、及び、処理されるデーターを一時的に記憶するワークエリアを構成する。不揮発性記憶部121は、フラッシュメモリーやeMMC(embedded Multi Media Card)で構成される。不揮発性記憶部121は、メインプロセッサー140が実行するプログラムや、メインプロセッサー140がプログラムを実行して処理する各種データーを記憶する。
メインプロセッサー140は、操作部110から入力される操作信号に基づいて、トラックパッド14の操作面に対する接触操作を検出し、操作位置を取得する。
操作部110は、ボタン11、タッチセンサー13、およびLED表示部17を含む。タッチセンサー13は、トラックパッド14へのタッチ操作を検出し、検出したタッチ操作の操作位置を特定する。この場合、操作部110は、トラックパッド14におけるタッチ位置を示すデーターを含む操作信号をメインプロセッサー140に出力する。ボタン11の操作が行われた場合、及び、タッチセンサー13がタッチ操作を検出した場合、操作部110からメインプロセッサー140に対し、操作信号が出力される。
LED表示部17は、トラックパッド14(図3)の直下に配置されるLED(図示略)、及び、このLEDを点灯させる駆動回路を含む。LED表示部17は、メインプロセッサー140の制御に従って、LEDを点灯、点滅、消灯させる。
6軸センサー111は、3軸加速度センサー、及び、3軸ジャイロ(角速度)センサーを備えるモーションセンサー(慣性センサー)である。6軸センサー111は、上記のセンサーがモジュール化されたIMU(Inertial Measurement Unit)を採用してもよい。
磁気センサー113は、例えば、3軸の地磁気センサーである。
GPS(Global Positioning System)115は、図示しないGPSアンテナを備え、GPS衛星から送信される無線信号を受信して、制御装置10の現在位置の座標を検出する。
6軸センサー111、磁気センサー113及びGPS115は、検出値を、予め指定されたサンプリング周期に従ってメインプロセッサー140に出力する。或いは、6軸センサー111、磁気センサー113及びGPS115は、メインプロセッサー140の要求に応じて、メインプロセッサー140により指定されたタイミングで、検出値をメインプロセッサー140に出力する。
HMD通信部117は、外部の機器との間で無線通信を実行する。本実施形態では、通信部117は、他のHMD100が備えるHMD通信部117と無線通信を実行する。HMD通信部117は、アンテナ、RF回路、ベースバンド回路、通信制御回路等を備えて構成され、或いはこれらが統合されたデバイスで構成される。HMD通信部117は、例えば、Bluetooth、無線LAN(Wi−Fiを含む)等の規格に準拠した無線通信を行う。
HMD通信部117は、移動機310が備える移動機通信部343と無線通信を行う。この構成において、HMD通信部117が通信に使用する周波数帯や通信方式は、移動機通信部343と通信できるよう適宜選択されればよい。従って、HMD通信部117は、移動機通信部343と同様、ラジコン用の周波数である27MHz帯、40MHz帯、2.4GHz帯等で無線通信を実行する。或いは、移動機通信部343は、Bluetooth、無線LAN(Wi−Fiを含む)等の規格に準拠した無線通信を行う。
HMD100は、HMD通信部117とは別の通信部(図示略)を備え、この通信部によって移動機通信部343と通信を行う構成としてもよい。
HMD100Aが備えるHMD通信部117は、移動機310Aと通信を実行する。同様に、HMD100Bが備えるHMD通信部117は移動機310Bと通信し、HMD100Cが備えるHMD通信部117は移動機310Cと通信する。
また、HMD通信部117は、他のHMD100が備えるHMD通信部117と通信を実行することも可能である。このため、後述するように、移動機複合制御システム1を構成するHMD100A、100B、100Cが相互にデーターを送受信することができる。さらに、HMD100AのHMD通信部117は、移動機310Aに限らず、移動機310B、310Cに対してコマンド等を含むデーターを送信可能であってもよい。HMD100B、100Cも同様に、移動機310A、310B、310Cに対しデーターを送信可能であってもよい。この場合、例えば、HMD100Aから移動機310B、310Cに対し移動機310Aの位置情報を送信し、過度の接近を回避する動作を行わせてもよい。
音声インターフェイス182は、音声信号を入出力するインターフェイスである。本実施形態では、音声インターフェイス182は、接続ケーブル40に設けられたコネクター46(図3)を含む。音声コーデック180は、音声インターフェイス182に接続され、音声インターフェイス182を介して入出力される音声信号のエンコード/デコードを行う。また、音声コーデック180はアナログ音声信号からデジタル音声データーへの変換を行うA/Dコンバーター、及び、その逆の変換を行うD/Aコンバーターを備えてもよい。例えば、本実施形態のHMD100は、音声を右イヤホン32及び左イヤホン34により出力し、マイク63で集音する。音声コーデック180は、メインプロセッサー140が出力するデジタル音声データーをアナログ音声信号に変換して、音声インターフェイス182を介して出力する。また、音声コーデック180は、音声インターフェイス182に入力されるアナログ音声信号をデジタル音声データーに変換してメインプロセッサー140に出力する。
外部コネクター184は、メインプロセッサー140と通信する外部の装置を接続するコネクターである。外部コネクター184は、例えば、外部の装置をメインプロセッサー140に接続して、メインプロセッサー140が実行するプログラムのデバッグや、HMD100の動作のログの収集を行う場合に、この外部の装置を接続するインターフェイスである。
外部メモリーインターフェイス186は、可搬型のメモリーデバイスを接続可能なインターフェイスであり、例えば、カード型記録媒体を装着してデーターの読取が可能なメモリーカードスロットとインターフェイス回路とを含む。この場合のカード型記録媒体のサイズ、形状、規格は制限されず、適宜に変更可能である。
USBコネクター188は、USB規格に準拠したコネクターとインターフェイス回路とを備え、USBメモリーデバイス、スマートフォン、コンピューター等を接続できる。USBコネクター188のサイズや形状、適合するUSB規格のバージョンは適宜に選択、変更可能である。
また、HMD100は、バイブレーター19を備える。バイブレーター19は、モーター(図示略)、偏心した回転子(図示略)等を備え、メインプロセッサー140の制御に従って振動を発生する。HMD100は、例えば、操作部110に対する操作を検出した場合、HMD100の電源がオン/オフされる場合等に、所定の振動パターンでバイブレーター19により振動を発生する。
センサーハブ192及びFPGA194は、インターフェイス(I/F)196を介して、画像表示部20を接続される。センサーハブ192は、画像表示部20が備える各種センサーの検出値を取得してメインプロセッサー140に出力する。また、FPGA194は、メインプロセッサー140と画像表示部20の各部との間で送受信するデーターの処理、及び、インターフェイス196を介した伝送を実行する。
画像表示部20の右表示ユニット22及び左表示ユニット24は、それぞれ、制御装置10に接続される。図3に示すように、HMD100では左保持部23に接続ケーブル40が接続され、この接続ケーブル40に繋がる配線が画像表示部20内部に敷設され、右表示ユニット22と左表示ユニット24のそれぞれが制御装置10に接続される。
右表示ユニット22は、表示ユニット基板210を有する。表示ユニット基板210には、インターフェイス196に接続されるインターフェイス(I/F)211、インターフェイス211を介して制御装置10から入力されるデーターを受信する受信部(Rx)213、及び、EEPROM215(記憶部)が実装される。
インターフェイス211は、受信部213、EEPROM215、温度センサー217、HMDカメラ61、照度センサー65、LEDインジケーター67、及びシェード駆動部228を、制御装置10に接続する。
EEPROM(Electrically Erasable Programmable ROM)215は、各種のデーターをメインプロセッサー140が読み取り可能に記憶する。EEPROM215は、例えば、画像表示部20が備えるOLEDユニット221、241の発光特性や表示特性に関するデーター、右表示ユニット22または左表示ユニット24が備えるセンサーの特性に関するデーターなどを記憶する。具体的には、OLEDユニット221、241のガンマ補正に係るパラメーター、温度センサー217、239の検出値を補償するデーター等を記憶する。これらのデーターは、HMD100の工場出荷時の検査によって生成され、EEPROM215に書き込まれ、出荷後はメインプロセッサー140がEEPROM215のデーターを利用して処理を行える。
HMDカメラ61は、インターフェイス211を介して入力される信号に従って撮像を実行し、撮像画像データー、或いは、撮像結果を示す信号を制御装置10に出力する。
照度センサー65は、図3に示すように、前部フレーム27の端部ERに設けられ、画像表示部20を装着する使用者の前方からの外光を受光するよう配置される。照度センサー65は、受光量(受光強度)に対応する検出値を出力する。
LEDインジケーター67は、図3に示すように、前部フレーム27の端部ERにおいてHMDカメラ61の近傍に配置される。LEDインジケーター67は、HMDカメラ61による撮像を実行中に点灯して、撮像中であることを報知する。
温度センサー217は、温度を検出し、検出温度に対応する電圧値あるいは抵抗値を、検出値として出力する。温度センサー217は、OLEDパネル223(図3)の裏面側に実装される。温度センサー217は、例えばOLED駆動回路225と同一の基板に実装されてもよい。この構成により、温度センサー217は、主としてOLEDパネル223の温度を検出する。
内側カメラ68は、インターフェイス211を介して制御装置10から入力される信号に従って撮像を実行し、撮像画像データー、或いは、撮像結果を示す信号を制御装置10に出力する。図4には1つの内側カメラ68を図示するが、図3(A)に示す一対の内側カメラ68、68が同時に動作してもよい。また、一対の内側カメラ68、68のそれぞれが、インターフェイス211に接続され、独立して動作する構成であってもよい。
距離センサー64は、インターフェイス211を介して制御装置10から入力される信号に従って距離検出を実行し、検出結果を示す信号を制御装置10に出力する。図4には1つの距離センサー64を図示するが、図3(A)に示す一対の距離センサー64、64が同時に動作してもよい。また、一対の距離センサー64、64のそれぞれが、インターフェイス211に接続され、独立して動作する構成であってもよい。
シェード駆動部228は、メインプロセッサー140に従って、右電子シェード227に供給される電圧を制御し、右電子シェード227の外光の透過率を画素単位で増減させる。
受信部213は、インターフェイス211を介してメインプロセッサー140が送信するデーターを受信する。受信部213は、OLEDユニット221で表示する画像の画像データーを受信した場合に、受信した画像データーを、OLED駆動回路225(図2)に出力する。
左表示ユニット24は、表示ユニット基板210を有する。表示ユニット基板210には、インターフェイス196に接続されるインターフェイス(I/F)231、インターフェイス231を介して制御装置10から入力されるデーターを受信する受信部(Rx)233が実装される。また、表示ユニット基板210には、6軸センサー235(動きセンサー)、及び、磁気センサー237が実装される。
インターフェイス231は、受信部233、6軸センサー235、磁気センサー237、温度センサー239、及びシェード駆動部248を、制御装置10に接続する。
6軸センサー235は、3軸加速度センサー、及び、3軸ジャイロ(角速度)センサーを備えるモーションセンサー(慣性センサー)である。6軸センサー235は、上記のセンサーがモジュール化されたIMU(Inertial Measurement Unit)を採用してもよい。
磁気センサー237は、例えば、3軸の地磁気センサーである。
温度センサー239は、温度を検出し、検出温度に対応する電圧値あるいは抵抗値を、検出値として出力する。温度センサー239は、OLEDパネル243(図3)の裏面側に実装される。温度センサー239は、例えばOLED駆動回路245と同一の基板に実装されてもよい。この構成により、温度センサー239は、主としてOLEDパネル243の温度を検出する。
また、温度センサー239が、OLEDパネル243或いはOLED駆動回路245に内蔵されてもよい。また、上記基板は半導体基板であってもよい。具体的には、OLEDパネル243が、Si−OLEDとして、OLED駆動回路245等とともに統合半導体チップ上の集積回路として実装される場合、この半導体チップに温度センサー239を実装してもよい。
シェード駆動部248は、メインプロセッサー140に従って、左電子シェード247に供給する電圧を制御し、左電子シェード247の外光の透過率を画素単位で増減させる。
右表示ユニット22が備えるHMDカメラ61、距離センサー64、照度センサー65、内側カメラ68、温度センサー217、左表示ユニット24が備える6軸センサー235、磁気センサー237、温度センサー239は、センサーハブ192に接続される。センサーハブ192は、メインプロセッサー140の制御に従って各センサーのサンプリング周期の設定及び初期化を行う。センサーハブ192は、各センサーのサンプリング周期に合わせて、各センサーへの通電、制御データーの送信、検出値の取得等を実行する。また、センサーハブ192は、予め設定されたタイミングで、右表示ユニット22及び左表示ユニット24が備える各センサーの検出値を、メインプロセッサー140に出力する。センサーハブ192は、各センサーの検出値を、メインプロセッサー140に対する出力のタイミングに合わせて一時的に保持する機能を備えてもよい。また、センサーハブ192は、各センサーの出力値の信号形式、或いはデーター形式の相違に対応し、統一されたデーター形式のデーターに変換して、メインプロセッサー140に出力する機能を備えてもよい。
また、センサーハブ192は、メインプロセッサー140の制御に従ってLEDインジケーター67への通電を開始及び停止させ、HMDカメラ61が撮像を開始及び終了するタイミングに合わせて、LEDインジケーター67を点灯または点滅させる。
制御装置10は、電源部130を備え、電源部130から供給される電力により動作する。電源部130は充電可能なバッテリー132、及び、バッテリー132の残容量の検出およびバッテリー132への充電の制御を行う電源制御回路134を備える。電源制御回路134はメインプロセッサー140に接続され、バッテリー132の残容量の検出値、或いは電圧の検出値をメインプロセッサー140に出力する。また、電源部130が供給する電力に基づき、制御装置10から画像表示部20に電力を供給してもよい。また、電源部130から制御装置10の各部及び画像表示部20への電力の供給状態を、メインプロセッサー140が制御可能な構成としてもよい。
HMD100は、コンテンツの供給元となる種々の外部機器を接続するインターフェイス(図示略)を備えてもよい。例えば、USBインターフェイス、マイクロUSBインターフェイス、メモリーカード用インターフェイス等の有線接続に対応したインターフェイスであってもよく、無線通信インターフェイスで構成してもよい。この場合の外部機器は、HMD100に画像を供給する画像供給装置であり、パーソナルコンピューター(PC)、携帯電話端末、携帯型ゲーム機等が用いられる。この場合、HMD100は、これらの外部機器から入力されるコンテンツデーターに基づく画像や音声を出力できる。
図8は、制御装置10の制御系を構成するHMD記憶部170、及びHMD制御部141の機能ブロック図である。図8に示すHMD記憶部170は、不揮発性記憶部121(図7)により構成される論理的な記憶部であり、EEPROM215を含んでもよい。また、HMD制御部141、及び、HMD制御部141が有する各種の機能部は、メインプロセッサー140がプログラムを実行することによって、ソフトウェアとハードウェアとの協働により形成される。HMD制御部141、及びHMD制御部141を構成する各機能部は、例えば、メインプロセッサー140、メモリー118、及び不揮発性記憶部121により構成される。
HMD制御部141は、HMD記憶部170が記憶するデーターを利用して各種処理を実行し、HMD100を制御する。
HMD記憶部170は、HMD制御部141が処理する各種のデーターを記憶する。HMD記憶部170は、設定データー171、表示設定データー172、撮像画像データー173、移動機識別データー174、及び、移動エリアデーター175を記憶する。
また、HMD記憶部170は、画像表示部20により表示可能な画像や映像を含むコンテンツを含むコンテンツデーターを記憶してもよい。
設定データー171は、HMD100の動作に係る各種の設定値を含む。また、HMD制御部141がHMD100を制御する際にパラメーター、行列式、演算式、LUT(LookUp Table)等を用いる場合、これらを設定データー171に含めてもよい。
表示設定データー172は、画像表示部20により表示する画像に関するデーターであり、詳細には、使用者が移動機310を操縦する場合の画像の表示態様に関する設定を含む。
表示設定データー172は、例えば、移動機310からHMD通信部117が受信した画像データーを画像表示部20に表示する場合の表示サイズ、表示位置等の情報を含む。HMD制御部141は、画像表示部20にアイコン、ウィジェット、メニュー画面等のように、特定の機能が割り当てられた画像や領域を表示することが可能であり、これらを用いてGUI(Graphical User Interface)を実現できる。表示設定データー172は、これらの表示の要否や表示位置等に関する情報を含んでもよいし、これらを表示するための画像データーを含んでもよい。
撮像画像データー173は、移動機310から受信された画像データーである。HMD制御部141は、移動機310から受信した画像データーを、撮像画像データー173としてHMD記憶部170に記憶させる。
ここで、HMD100AのHMD制御部141は、移動機310Aから受信する撮像画像データーを撮像画像データー173として記憶する。また、上述したように、HMD100A、100B、100Cは相互にデーター通信可能であり、例えば、移動機310A、310B、310Cがそれぞれ移動機カメラ335により撮像した撮像画像データーを送受信できる。この場合、HMD100A、100B、100Cは、他のHMD100から受信した撮像画像データーを、撮像画像データー173として記憶する。具体的には、HMD100Aは、HMD100B、100Cから、移動機310B、310Cの撮像画像データーを受信した場合、撮像画像データー173として記憶する。HMD100B、100Cも同様である。
移動機識別データー174は、制御装置10が通信する移動機310を識別する情報を含む。移動機識別データー174は、移動機310の機種名、型番、メーカー名、製造番号、製造時に設定された固有のID等を含んでもよい。或いは、移動機識別データー174は、使用者が設定した移動機310のID等の識別情報を含んでもよい。HMD100A、100B、100Cは、それぞれ、移動機識別データー174を利用して、移動機310A、310B、310Cを識別できる。
移動機識別データー174は、HMD100が移動機制御システム300を認証するために用いる認証用の情報を含んでもよい。また、移動機識別データー174は、制御装置10がHMD通信部117により移動機310と通信する場合、通信に必要な情報を含んでもよい。具体的には、ネットワークアドレス、ネットワークID、パスワード等の通信用の認証情報等を含んでもよい。
移動エリアデーター175は、移動機310を移動(飛行)させる領域として予め設定された移動エリアに関する情報を含む。例えば、移動エリアは、移動機310A、310B、310Cが移動(飛行)する領域(空域、地域)を含み、移動エリアデーター175は、この空域や地域を含む地図データーである。また、移動エリアデーター175は、平面位置に関するデーターに限らず、高度に関するデーターを含んでもよい。
移動エリアデーター175に含まれるデーターと、移動機310A、310B、310Cの位置とは、実空間における絶対的な位置を示すことが可能な、緯度や経度で対応付けることが可能である。また、実空間に設定される基準位置に対する相対的な位置により対応付けることが可能であってもよい。
HMD制御部141は、オペレーティングシステム(OS)143、画像処理部145、表示制御部147、撮像制御部149、検出制御部151、通信制御部153、画像データー取得部154、位置推定部155、位置情報取得部156、操作検出部157、及び、コマンド生成部159の機能を有する。
オペレーティングシステム143の機能は、HMD記憶部170が記憶する制御プログラムの機能であり、その他のHMD制御部141の各部は、オペレーティングシステム143上で実行されるアプリケーションプログラムの機能である。
画像処理部145は、画像表示部20により表示する画像または映像の画像データーに基づいて、右表示ユニット22及び左表示ユニット24に送信する信号を生成する。画像処理部145が生成する信号は、垂直同期信号、水平同期信号、クロック信号、アナログ画像信号等であってもよい。
また、画像処理部145は、必要に応じて、画像データーの解像度を右表示ユニット22及び左表示ユニット24に適した解像度に変換する解像度変換処理を行ってもよい。また、画像処理部145は、画像データーの輝度や彩度を調整する画像調整処理、3D画像データーから2D画像データーを作成し、或いは2D画像データーから3D画像データーを生成する2D/3D変換処理等を実行してもよい。画像処理部145は、これらの画像処理を実行した場合、処理後の画像データーに基づき画像を表示するための信号を生成して、接続ケーブル40を介して画像表示部20に送信する。
画像処理部145は、メインプロセッサー140がプログラムを実行して実現される構成のほか、メインプロセッサー140とは別のハードウェア(例えば、DSP(Digital Signal Processor))で構成してもよい。
表示制御部147は、右表示ユニット22及び左表示ユニット24を制御する制御信号を生成し、この制御信号により、右表示ユニット22及び左表示ユニット24のそれぞれによる画像光の生成及び射出を制御する。具体的には、表示制御部147は、OLED駆動回路225、245を制御して、OLEDパネル223、243による画像の表示を実行させる。表示制御部147は、画像処理部145が出力する信号に基づきOLED駆動回路225、245がOLEDパネル223、243に描画するタイミングの制御、OLEDパネル223、243の輝度の制御等を行う。
また、表示制御部147は、表示設定データー172に基づき、画像表示部20により各種の画像を表示させる。例えば、表示制御部147は、表示設定データー172の設定に従ってアイコン、ウィジェット、メニュー等を表示させる。
撮像制御部149は、HMDカメラ61を制御して撮像を実行させ、撮像画像データーを生成し、HMD記憶部170に一時的に記憶する。また、HMDカメラ61が撮像画像データーを生成する回路を含むカメラユニットとして構成される場合、撮像制御部149は撮像画像データーをHMDカメラ61から取得して、HMD記憶部170に一時的に記憶する。
また、撮像制御部149は、内側カメラ68を制御して使用者の右眼RE及び左眼LEを撮像してもよい。この場合、HMD制御部141は、撮像制御部149の制御に従って内側カメラ68が撮像する撮像画像データーを解析して、使用者の右眼RE及び左眼LEの運動を検出してもよい。この場合、HMD制御部141は、右眼RE及び左眼LEのそれぞれ、或いは、いずれか一方について、動き方向、及び、動き量等を求めてもよい。
検出制御部151は、HMD100が備える各種センサーの検出値を取得する。検出制御部151が制御するセンサーは、例えば、6軸センサー111、磁気センサー113、温度センサー217、6軸センサー235、磁気センサー237、距離センサー64、及び照度センサー65を含む。また、GPS115を含んでもよい。
また、検出制御部151は、受付部として機能し、HMD100に対する操作を受け付ける。検出制御部151は、制御装置10が備えるボタン11やタッチセンサー13に対する操作を検出する。また、検出制御部151は、制御装置10が備える6軸センサー111や磁気センサー113の検出値及び/または検出値の変化に基づき、制御装置10を動かすことによる操作を検出する。また、検出制御部151は、画像表示部20が備える6軸センサー235や磁気センサー237の検出値及び/または検出値の変化に基づき、画像表示部20を動かすことによる操作を検出する。例えば、検出制御部151は、制御装置10及び/又は画像表示部20の動きが、予め設定された態様の動きに該当する場合に、操作を検出する。
通信制御部153は、HMD通信部117を制御して、移動機310、及び、他のHMD100との間の通信を実行させる。すなわち、HMD100Aの通信制御部153は、HMD通信部117により、移動機310Aと通信を実行し、さらに、HMD100B、100Cと各々に対し通信を実行する。
画像データ取得部154は、通信制御部153の制御によって実行されるデーター通信を利用して、移動機310から送信される撮像画像データーを受信する。例えば、画像データー取得部154は、通信制御部153の制御によってHMD通信部117が送受信するデーターから、撮像画像データーに該当するデーターを抽出する。
HMD100Aが備える画像データー取得部154は、移動機310Aが送信する撮像画像データーを受信してもよいし、移動機310B、310Bが送信する撮像画像データーを受信してもよい。また、HMD100Aが備える画像データー取得部154は、HMD100B、100Cが、移動機310から受信した撮像画像データーをHMD100Aに向けて送信した場合に、この送信された撮像画像データーを受信してもよい。これらの機能は、HMD100B、100Cが備える画像データー取得部154も同様である。
位置推定部155は、移動機310の位置を推定する。位置推定部155は、移動機310の位置情報に基づき、移動機310の位置を特定してもよい。すなわち、位置推定部155は、後述する位置情報取得部156が取得する移動機位置情報に基づいて、移動機310の位置を推定してもよい。或いは、移動機310が移動エリア内に位置する状態で、位置推定部155は、移動機310が送信する撮像画像データーに基づいて、移動機310の位置を推定する処理を行ってもよい。
HMD100Aの位置推定部155は、移動機310Aの位置を推定する。また、HMD100Aの位置推定部155は、HMD100B、100Cから受信するデーターに基づき、移動機310B、310Cの位置を推定することが可能なものであってもよい。
位置情報取得部156は、通信制御部153の制御によって実行されるデーター通信を利用して、移動機310の移動機位置情報を取得する。例えば、位置情報取得部156は、通信制御部153の制御によってHMD通信部117が受信する各種のデーターから、移動機位置情報に該当するデーターを抽出する。
HMD100Aが備える位置情報取得部156は、移動機310Aが送信する移動機位置情報を受信してもよいし、移動機310B、310Bが送信する移動機位置情報を受信してもよい。また、HMD100Aが備える位置情報取得部156は、HMD100B、100Cが、移動機310から受信した移動機位置情報をHMD100Aに向けて送信した場合に、この送信された移動機位置情報を受信してもよい。これらの機能は、HMD100B、100Cが備える位置情報取得部156も同様である。
操作検出部157(位置指定部)は、画像表示部20を装着した使用者による操作を検出するものであり、例えば位置指示操作を検出する。操作検出部157は、撮像制御部149の制御によりHMDカメラ61が撮像する撮像画像データーを解析し、撮像画像データーから指示体(使用者の指、手、他の身体の一部、或いは他の物体など)の画像を抽出する。操作検出部157は、撮像画像データーにおける指示体の画像の位置を特定し、特定した位置を、画像表示部20に対する相対位置に変換する。変換後の位置を、操作位置として出力する。これにより、画像表示部20を装着する使用者が、HMDカメラ61の撮像範囲に指示体を位置させ、或いは、撮像範囲で指示体を動かすことで、位置指示操作を行うことができる。
コマンド生成部159は、検出制御部151が検出する操作、或いは、操作検出部157が検出する操作に従って、コマンドを生成する。コマンド生成部159が生成するコマンドは、移動機310を動作させるコマンドである。例えば、移動機310の上昇(浮上)、降下、前進(進行)、後退、旋回(回転)、逆旋回(逆回転)等を指示するコマンドや、移動機310の定型動作を指示するコマンド、撮像画像データーの送信を指示するコマンド等である。コマンド生成部159が生成するコマンドはHMD通信部117により移動機310に送信される。
コマンド生成部159が生成するコマンド(本発明のコマンドに相当)は、移動機310の動作を指示するものであれば、データ形式や処理されるプロセスは特に限定されない。具体的には、コマンド生成部159が生成するコマンドは、移動機310において、移動機制御部341が各部を制御するためのコマンド、すなわち移動機310の内部コマンドそのものであってもよいし、移動機制御部341に対して内部コマンドを生成させる元となるデータであってもよい。例えば、移動機制御部341が、コマンド生成部159が生成してHMD通信部117により送信するコマンドを受信し、このコマンドに基づき、飛行制御部345、カメラ制御部346、インジケーター349等を制御するための内部コマンドを生成する構成であってもよい。従って、コマンド生成部159は、飛行制御部345、カメラ制御部346、インジケーター349等を移動機制御部341が制御するための内部コマンドを生成する機能を有するものであってもよいし、移動機制御部341が解釈可能な形式の制御データ等を生成する機能を有するものであってもよい。内部コマンドとは、例えば、上述した定型動作コマンド等を含んでもよい。
HMD100Aのコマンド生成部159は、HMD100Aを用いて操縦される移動機310Aに対応するコマンドを生成する。移動機310Aに対応するコマンドとは、HMD100Aのコマンド生成部159が生成するコマンドは、少なくとも移動機制御部341が受信し、解釈し、処理を実行可能な形式のデーターを指し、移動機310Aの内部コマンドに限定されない。ここで、移動機310A、310B、310Cの少なくとも一部が異なるコマンドに対応して動作する場合、HMD100Aのコマンド生成部159は、移動機310Aに対応するコマンドを生成可能であればよい。また、HMD100Aのコマンド生成部159が移動機310B、310Cに対応するコマンドを生成可能な構成であってもよい。
さらに、コマンド生成部159は、他のHMD100から受信したデーターに基づきコマンドを生成してもよい。
例えば、HMD100Aが、HMD100Bから受信するデーターに従って、移動機310Aに対するコマンドを生成し、HMD通信部117により送信してもよい。この動作は、HMD100Bが、移動機310Aに対し、HMD100Aを介して間接的にコマンドを送信する動作に相当する。この動作を、HMD100A、100B、100Cの間で相互に実行可能であってもよい。この場合、移動機310A、310B、310Cが異なっている場合など、対応するコマンドが異なる場合であっても、1つのHMD100から各々の移動機310にコマンドを送信できる。
コマンド生成部159が生成し、HMD通信部117によって移動機310にコマンドを送信する場合、HMD通信部117と、移動機310の移動機通信部343との間で暗号化されたコマンドを送受信してもよい。例えば、HMD通信部117と移動機通信部343とがパケット形式で、コマンドを含む各種データを送受信する構成とし、パケットごとに乱数や鍵情報を用いた暗号化を施してもよい。この場合、コマンド生成部159が、コマンドを暗号化して、暗号データをHMD通信部117により送信させてもよい。また、移動機310において、移動機制御部341が、移動機通信部343により受信した暗号データーを復号する処理を行ってもよい。移動機310からHMD100にデータを送信する場合も同様に、移動機制御部341が暗号化した暗号データを移動機通信部343により送信し、HMD100が、HMD通信部117によって暗号データーを受信し、受信した暗号データーをHMD制御部141が復号してもよい。
HMD制御部141は、HMD通信部117により移動機310と通信し、位置情報取得部156によって、移動機310が送信する移動機位置情報を受信する。また、HMD制御部141は、画像データー取得部154によって、移動機310が送信する撮像画像データーを受信する。また、HMD制御部141は、移動機310から受信した移動機位置情報を加工し、受信した移動機位置情報に基づき生成された移動機310の位置を示すデーターを、新しい移動機位置情報として生成してもよい。また、HMD制御部141は、移動機310から受信した撮像画像データーを加工して、受信した撮像画像データーに基づく新たな画像データーを生成してもよい。
また、HMD100Aは、HMD100B、100Cに対し、移動機310Aの移動機位置情報、及び、撮像画像データーを送信できる。この場合、HMD100AのHMD制御部141は、HMD100B、100Cに対し、指定されたタイミングで移動機位置情報及び/または撮像画像データーを送信することができる。同様に、HMD100Bは、HMD100A、100Cに対し、移動機310Bの移動機位置情報、及び、撮像画像データーを送信できる。また、HMD100Cは、HMD100A、100Bに対し、移動機310Cの移動機位置情報、及び、撮像画像データーを送信できる。
移動機複合制御システム1において、HMD100A、100B、100Cのいずれかは、第1表示装置に対応し、その他は第2表示装置に対応する。例えばHMD100Aを第1表示装置とする場合において、HMD100B、100Cは第2表示装置に対応する。HMD100B、100Cを第1表示装置とする場合も同様に、HMD100A、100C、或いは、HMD100A、100Bが第2表示装置に対応する。ここで、第1表示装置の画像表示部20が、第1表示部に相当し、第2表示装置の画像表示部20が、第2表示部に相当する。
また、第1表示装置の操作検出部157は第1操作検出部に相当し、第2表示装置の操作検出部157は第2操作検出部に相当する。第1表示装置のコマンド生成部159は第1移動体制御部に相当し、第2表示装置のコマンド生成部159は第2移動体制御部に相当する。第1表示装置の画像データー取得部154は第1移動体画像データー取得部に相当し、第2表示装置の画像データー取得部154は第2移動体画像データー取得部に相当する。また、第1表示装置の表示制御部147は第1表示制御部に相当し、第2表示装置の表示制御部147は第2表示制御部に相当する。
移動機310A、310B、310Cは、移動体であり、移動機310A、310B、310Cのいずれかは、第1移動体に対応し、その他は第2移動体に対応する。例えば移動機310Aを第1移動体とする場合において、移動機310B、310Cは第2移動体に対応する。移動機310B、310Cを第1移動体とする場合も同様に、移動機310A、310C、或いは、移動機310A、310Bが第2移動体に対応する。
第1表示装置と第1移動体との対応関係、及び、第2表示装置と第2移動体との対応関係も同様である。HMD100Aが第1表示装置である場合、移動機310Aは第1移動体に対応する。HMD100Aが第2表示装置である場合、移動機310Aは第2移動体に対応する。HMD100B、100C及び移動機310B、310Cについても同様である。
図9、図10、図11、図12及び図13は移動機複合制御システム1の各部の動作を示すフローチャートである。図14、図15、図16及び図17は、移動機複合制御システム1の動作に伴い画像表示部20に表示される画面の表示例を示す図である。これらの図を参照して、移動機複合制御システム1の動作を説明する。
図9は、移動機310の動作を示すフローチャートである。図9に示す動作は移動機310A、310B、310Cに共通である。移動機310A、310B、310Cは、それぞれ、HMD100A、100B、100Cから送信されるコマンドに従って図9の動作を実行する。ここでは、移動機310Aを例に挙げて説明する。
移動機310Aの移動機制御部341は、移動機310Aの電源がオンにされると動作を開始し、モーターコントローラー347を含む各部の初期化、及び、HMD100Aとの間の通信を確立する動作を実行する(ステップS11)。
移動機制御部341は、GPS装置344による位置検出を開始させ、GPS装置344が検出する位置情報の取得を開始する(ステップS12)。また、移動機制御部341は、カメラ制御部346を制御して、移動機カメラ335による撮像を開始させる(ステップS13)。
移動機制御部341は、GPS装置344から取得した位置情報、及び、移動機カメラ335の撮像画像データーを、HMD100Aに送信する処理を開始する(ステップS14)。ここで、移動機制御部341は、姿勢センサー348の検出値を位置情報に含めて送信してもよい。また、移動機制御部341は、例えば移動機310のバッテリー残量等を含む制御情報を、位置情報に含めて送信してもよい。図9に示す動作例では、移動機制御部341は、位置情報及び撮像画像データーの送信を、ステップS14以後、予め設定された周期で継続して実行する。
移動機制御部341は、移動機通信部343により、HMD100Aからコマンドを受信したか否かを判定する(ステップS15)。コマンドを受信した場合(ステップS15;Yes)、移動機制御部341は、受信したコマンドが定型動作コマンドであるか否かを判定する(ステップS16)。受信したコマンドが定型動作コマンドである場合(ステップS16;Yes)、移動機制御部341は、受信したコマンドで指定される定型動作を、飛行制御部345によって実行させ(ステップS17)、ステップS19に移行する。受信したコマンドが定型動作コマンドでない場合(ステップS16;Yes)、移動機制御部341は、受信したコマンドで指定される動作を飛行制御部345によって実行させ(ステップS18)、ステップS19に移行する。また、HMD100Aからコマンドを受信していない場合(ステップS15;No)、移動機制御部341はステップS19に移行する。
ステップS19で、移動機制御部341は、動作を終了するか否かを判定し(ステップS19)、動作を終了しない場合は(ステップS19;No)、ステップS15に戻る。
移動機310B及び移動機310Cは、移動機310Aと同様に図9の動作を実行し、それぞれ、HMD100B、100Cと通信を実行する。これにより、移動機310Bは、HMD100Bが送信するコマンドに従って動作し、HMD100Bに対して撮像画像データーや位置情報を送信する。移動機310C及びHMD100Cについても同様である。
図10は、HMD100の動作を示すフローチャートである。図10に示す動作はHMD100A、100B、100Cに共通であり、ここでは、HMD100Aを例に挙げて説明する。
HMD100AのHMD制御部141は、HMD100の電源がオンにされると動作を開始し、HMD100の各部の初期化を行い、移動機310Aとの間で通信を確立する(ステップS31)。
HMD制御部141は、移動機310Aを操縦する操作を行うための操縦画面(操作用画面)を画像表示部20により表示させ(ステップS32)、コマンド生成処理を開始する(ステップS33)。コマンド生成処理は、画像表示部20に操縦画面を表示する状態において操作検出部157によって操作を検出し、検出した操作に基づき、コマンド生成部159によって移動機310Aを動かすためのコマンドを生成し、送信する処理である。HMD制御部141は、ステップS33でコマンド生成処理を開始してから、動作を終了するまで、使用者の操作に対応してコマンドを生成し送信することができる。コマンド生成処理で操作検出部157が検出する操作は、上述したように、トラックパッド14のタッチ操作等の制御装置10における操作、HMDカメラ61の撮像範囲における指示体による操作等である。指示体による操作については、図15を参照して後に例を説明する。
HMD制御部141は、移動機310Aから位置情報を受信する動作を開始する(ステップS34)。また、HMD制御部141は画像データーの取得を開始する(ステップS35)。ステップS35で取得する画像データーは移動機310Aの撮像画像データーであってもよく、他の移動機310B、310Cの撮像画像データーであってもよい。
ここで、HMD制御部141は、ステップS34で受信開始した位置情報、及び、ステップS35で取得開始した画像データーを、他のHMD100に送信するか否かを判定する(ステップS36)。送信の要否は、予めHMD制御部141に設定され、例えば設定データー171に含まれる設定値により決められる。具体的な送信先は、HMD100B及びHMD100Cの少なくともいずれかである。また、HMD制御部141は、他のHMD100すなわちHMD100B、100Cと通信を行い、データーの送信を要求された場合に、データーを受信すると判定してもよい。
HMD制御部141は、HMD100BまたはHMD100Cにデーターを送信する場合(ステップS36;Yes)、画像データー及び位置情報のデーター送信を開始する(ステップS37)。仮に、HMD100Bが図10の動作を実行する場合、ステップS37ではHMD100A、100Cへのデーター送信を開始し、HMD100Cが図10の動作を実行する場合、ステップS37ではHMD100A、100Bへのデーターの送信を開始する。
その後、HMD制御部141は、他のHMD100からデーターを受信するか否かを判定する(ステップS38)。受信の要否は、予めHMD制御部141に設定され、例えば設定データー171に含まれる設定値により決められる。具体的な送信元は、HMD100B及びHMD100Cの少なくともいずれかである。また、HMD制御部141は、他のHMD100すなわちHMD100B、100Cと通信を行い、データーの受信を要求された場合に、データーを受信すると判定してもよい。また、HMD100BまたはHMD100Cにデーターを送信しないと判定した場合(ステップS36;No)、ステップS38に移行する。
HMD制御部141は、HMD100BまたはHMD100Cからデーターを受信する場合(ステップS38;Yes)、画像データー及び位置情報のデーターの受信を開始する(ステップS39)。仮に、HMD100Bが図10の動作を実行する場合、ステップS39ではHMD100A、100Cからのデーター受信を開始し、HMD100Cが図10の動作を実行する場合、ステップS39ではHMD100A、100Bからのデーター受信を開始する。
HMD制御部141は、画像データーの表示位置及びサイズを決定する表示位置調整処理を開始し(ステップS40)、本処理を終了する。また、他のHMD100からデーターを受信しないと判定した場合(ステップS38;No)、ステップS40の動作を実行して本処理を終了する。
ここで、HMD100A、100B、100Cの表示形態について説明する。
図14は、HMD100Aの表示例を示す図である。
図中、符号VR1は、HMD100Aの画像表示部20を装着する使用者の視野を示す。符号V1はハーフミラー261、281により画像を使用者に視認させることが可能な領域であり、言い換えれば画像表示部20が画像を表示できる表示可能領域である。視野VR1は、画像表示部20を透過する外光OL、及び、画像表示部20が出力する画像光Lによって使用者が視認する範囲を示している。図14の例では、表示領域V1に重なる位置に、実空間の移動機310Aが視認される。
表示領域V1の中央には、操作画面として機能する画像P11が表示される。画像P11は、使用者の操作により移動機310Aを操縦するための画面であり、例えば、移動機310AからHMD100Aが受信する位置情報に基づく表示が行われる。具体的には、移動機310Aの経度、緯度、高度、バッテリー残量等が表示される。
また、HMD制御部141は、使用者の操作に応じて移動機310Aにコマンドを送信した場合に、送信したコマンドの内容を画像P11に表示する。例えば、図14には、画像P11に、移動機310Aに対して前進を指示するコマンドを送信したことを示す操作表示M11が表示される。このコマンドの内容の表示は、操作表示M11のように画像であってもよいし、文字、図形、或いはその他の表示オブジェクトを利用できる。
表示領域V1には、移動機310Aの位置を示す画像P12が表示される。画像P12は、地図とともに移動機310Aの位置を示す画像が表示される。画像P12の地図には、HMD100Aの位置が表示されてもよい。また、画像P12の地図に、移動機310B、310Cの位置が表示されてもよく、HMD100B、100Cの位置が表示されてもよい。HMD100Aは、これらの位置を、HMD100AがHMD100B、100Cから受信する位置情報に基づき表示できる。また、画像P12に表示される地図は、俯瞰地図を用いてもよく、具体的には、移動機310Aが飛んでいる状況に応じたナビゲーションマップとして機能する表示態様であってもよい。
表示領域V1には、移動機310A、HMD100B、100CからHMD100Aが受信した画像P13、P14、P15が表示される。画像P13は、移動機310Aから受信した撮像画像データーに基づき表示される画像である。画像P14は、HMD100AがHMD100Bから受信した画像データーに基づき表示される画像である。具体的には、HMD100Bが移動機310Bから受信する移動機310Bの撮像画像データーに基づく画像、または、HMD100Bが備えるHMDカメラ61の撮像画像データーに基づく画像である。画像P15は、HMD100AがHMD100Cから受信した画像データーに基づき表示される画像である。具体的には、HMD100Cが移動機310Cから受信する移動機310Cの撮像画像データーに基づく画像、または、HMD100Cが備えるHMDカメラ61の撮像画像データーに基づく画像である。
また、表示領域V1には、移動機310Aの動作状態を示す画像AR1が表示される。画像AR1は、移動機310Aの進行方向(前進、後退、旋回、逆旋回など)を示す画像である。本実施形態では、移動機310Aが備えるインジケーター349(図2)の発光を模した画像AR1が表示される。画像AR1の表示位置は、実空間の移動機310Aが視認される位置に重なる位置とされる。つまり、画像AR1は、実空間の移動機310Aの視認性に影響を与え、追加的に情報を表示する、いわゆる拡張現実(AR:Augmented Reality)表示である。
これにより、使用者は、移動機310Aのインジケーター349を直接視認できない場合であっても、直接インジケーター349を視認できる場合と同様に、移動機310Aの動作状態を把握できる。これにより、使用者は、移動機310Aの進行方向を知ることができる。表示領域V2、V3においても、操縦画面の表示中、或いは、実空間の移動機310B、310Cを視認可能な状態で、画像AR1と同様の画像を表示してもよい。また、実空間の移動機310B、310Cが、表示領域V1に重なる位置で視認される場合に、HMD100AのHMD制御部141が、移動機310B、310Cが視認される位置に画像AR1と同様の画像を表示してもよい。
図15は、操作用画面の別の例を含むHMD100Aの表示例を示す図である。
図15の表示例では、実空間の移動機310Aが視野VR1に視認される状態で、指示体Hによる操作を行う例を示す。指示体Hは、図15の例では使用者の手であるが、発行回路を内蔵した電子デバイス、指示棒、ペン、その他各種の物体であって、HMDカメラ61により撮像可能な物体であればよい。HMD制御部141は、撮像制御部149によりHMDカメラ61の撮像画像データを取得し、この撮像画像データーを操作検出部157が解析することで、指示体Hを検出する。操作検出部157は、画像表示部20に対する指示体Hの相対位置を特定することにより、視野VR1に対する指示体Hの位置を特定する。この位置が、指示体Hによる操作位置として検出される。HMD制御部141は、操作位置に対応する表示領域V1内部の表示位置に、指示体Hによる操作を検出したことを示す操作画像M12を表示させる。操作画像M12は、HMD制御部141が検出した操作位置を使用者に報知するための画像である。さらに、HMD制御部141は、操作検出部157が検出した指示体Hの位置に基づき、移動機310に送信するコマンドをコマンド生成部159により生成させ、HMD通信部117によって移動機310に送信させる。ここで、指示体Hの位置に関して予めキャリブレーションが実行され、キャリブレーションの結果を含むキャリブレーションデータをHMD100が記憶してもよく、この場合、キャリブレーションデータに従って、指示体Hの位置アライメントを特定できる。つまり、画像表示部20を装着する使用者は、指示体Hを動かすことによって、移動機310の駆動を指示することができ、HMD100はいわゆるアクションUI(User Interface)を提供する。この指示体HによるアクションUIの操作は、位置指示操作に相当する。つまり、位置指示操作は、HMDカメラ61の撮像範囲において指示体を位置に位置させ、或いは動かす操作である。操作検出部157は、図15の例のように、指示体Hの位置を指示位置として検出するだけでなく、指示体HがHMDカメラ61の撮像範囲において動いた場合に、この動きが予め設定されたジェスチャーに該当すると、これを操作検出部157が検出する、ジェスチャーUIを実現してもよい。HMDカメラ61の撮像画像に基づいて指示体の位置または動きを操作検出部157が検出すれば、位置指示操作が検出されたことになる。このように、操作検出部157が検出する操作は、制御装置10の操作部であるトラックパッド14等に対する操作に限らず、指示体Hによる操作、画像表示部20の位置、姿勢、動き等による操作を含めることができる。そして、操作検出部157が検出する操作は、移動機310を操縦するためにHMD100を使用する使用者に限らず、例えば、移動機310AをHMD100Aの使用者が操縦する場合において、HMD100Bの使用者が操作を行い、このHMD100Bの表示の制御に適用してもよい。
図16は、HMD100Bの表示例を示す図である。
図中、符号VR2は、HMD100Aの画像表示部20を装着する使用者の視野を示す。符号V2はハーフミラー261、281により画像を使用者に視認させることが可能な領域であり、言い換えれば画像表示部20が画像を表示できる表示可能領域である。視野VR2は、画像表示部20を透過する外光OL、及び、画像表示部20が出力する画像光Lによって使用者が視認する範囲を示している。図16の例では、表示領域V2に重なる位置に、実空間の移動機310Bが視認される。
表示領域V2には、例えば、移動機310BからHMD100Bが受信する位置情報に基づく表示を行ってもよい。具体的には、移動機310Bの経度、緯度、高度、バッテリー残量等を表示してもよい。
表示領域V2には、移動機310B、HMD100A、100CからHMD100Bが受信した画像P21、P22、P23が表示される。画像P21は、移動機310Bから受信した撮像画像データーに基づき表示される画像である。画像P22は、HMD100BがHMD100Aから受信した画像データーに基づき表示される画像である。具体的には、HMD100Aが移動機310Aから受信する移動機310Aの撮像画像データーに基づく画像、または、HMD100Aが備えるHMDカメラ61の撮像画像データーに基づく画像である。画像P23は、HMD100BがHMD100Cから受信した画像データーに基づき表示される画像である。具体的には、HMD100Cが移動機310Cから受信する移動機310Cの撮像画像データーに基づく画像、または、HMD100Cが備えるHMDカメラ61の撮像画像データーに基づく画像である。
図17は、HMD100Cの表示例を示す図である。
図中、符号VR3は、HMD100Aの画像表示部20を装着する使用者の視野を示す。符号V3はハーフミラー261、281により画像を使用者に視認させることが可能な領域であり、言い換えれば画像表示部20が画像を表示できる表示可能領域である。視野VR3は、画像表示部20を透過する外光OL、及び、画像表示部20が出力する画像光Lによって使用者が視認する範囲を示している。
図17の例では、表示領域V3に重なる位置においても実空間の景色、すなわち外景が、画像表示部20を透過して視認される。
表示領域V3には、例えば、移動機310CからHMD100Cが受信する位置情報に基づく表示を行ってもよい。具体的には、移動機310Cの経度、緯度、高度、バッテリー残量等を表示してもよい。
表示領域V3には、移動機310CやHMD100A、100BからHMD100Cが受信した画像P31、P32が表示される。画像P31は、移動機310Cから受信した撮像画像データーに基づき表示される画像である。画像P32は、HMD100CがHMD100AまたはHMD100Bから受信した画像データーに基づき表示される画像である。具体的には、HMD100Aが移動機310Aから受信する移動機310Aの撮像画像データーに基づく画像、または、HMD100Aが備えるHMDカメラ61の撮像画像データーに基づく画像であってもよい。或いは、HMD100Bが移動機310Bから受信する移動機310Bの撮像画像データーに基づく画像、または、HMD100Bが備えるHMDカメラ61の撮像画像データーに基づく画像であってもよい。
図16に示す表示領域V2において、HMD100Bは、移動機310Bを操縦するための操縦画面を表示してもよい。図17の表示領域V3においても、HMD100Cが、移動機310Cを操縦するための操縦画面を表示してもよい。
HMD100Aの使用者は、実空間の移動機310Aを視認しながら、図14に示した表示領域V1に表示される画像P11〜P15及び操作表示M11を見る。例えば、移動機310Aのような無人飛行体の操縦について、目視できる範囲で操縦するよう法令・条令その他の規則により規定されている場合、実空間の移動機310Aを視認できる必要がある。一方、使用者が画像P11〜P15を視認することの重要性も低くない。例えば、HMD100Bが移動機310Bの撮像画像データーを送信する場合に、HMD100Aの使用者は、画像P14を視認することにより、移動機310Bの位置や方向を知ることができる。また、移動機310Bが撮像する撮像対象物について、多くの情報を得ることができる。例えば、移動機310B、310CがHMD100Aの使用者から離れた位置を飛行する場合に、移動機310B、310Cの撮像画像データーに基づく画像を利用して、渋滞道路の情報、迂回路の案内、火事を含む各種災害現場の情報提供、情報共有を実現できる。なお、図14〜図17に示した表示例において、表示される画像を撮像した機器を識別するため、画像に枠を表示し、枠の表示状態(実線か破線か、表示色など)を機種毎に変更してもよい。
HMD100AのHMD制御部141は、表示領域V1に表示する画像P11〜P15の各々について、視認性を制御する処理を行う。この処理を図11に示す。
図11は、HMD100の動作を示すフローチャートである。図11に示す動作はHMD100A、100B、100Cに共通であるが、ここでは、HMD100Aを例に挙げて説明する。
HMD100AのHMD制御部141は、表示対象である移動機310、すなわち移動機310Aから受信する撮像画像データー及び位置情報を取得する(ステップS61)。ステップS61で取得される撮像画像データー及び位置情報は、図10に示す処理で受信したものが挙げられるが、HMD100B、100Cから受信してもよい。
HMD制御部141は、HMD100Aの位置情報を取得する(ステップS62)。ステップS62では、例えば、GPS115(図7)が検出する位置情報を取得するが、HMD100Aの位置を特定可能な情報であればよい。
HMD制御部141は、ステップS61及びステップS62で取得した情報に基づき、表示領域V1に表示する画像に係る画像データーに対し、重要度の順位付けを行う(ステップS63)。HMD制御部141は、ステップS63で決定した重要度の順位付けに従って、各画像データーに基づく画像の表示位置及び表示サイズを決定し(ステップS64)、表示を更新し(ステップS65)、本処理を終了する。
ステップS62で、HMD制御部141は、移動機310Aの位置とHMD100Aの位置とに基づき、外景と、移動機310Aの撮像画像データーと、移動機310Aを操縦するための操縦画面との重要度を順位付けする。例えば、操縦画面(図14の画像P11)の重要度の順位が高い場合、外景及び撮像画像データーよりも操縦画面の視認性が高くなるように、処理を行う。すなわち、操縦画面の拡大表示、ブリンキング等により強調表示をしてもよい。また、外光OLの光量を低減させるため、HMD制御部141は、右電子シェード229及び左電子シェード249の透過光量を低減させてもよい。また、HMD制御部141は、操縦画面の輝度を高めて、外景よりも操縦画面の視認性が高まるようにしてもよい。この処理で、HMD制御部141は、照度センサー65の検出値や、HMDカメラ61の撮像画像データーから得られる外部環境に対応して、制御を行ってもよい。一例として、HMD100Aの場所の背景、天候や時刻に影響される実背景(晴れ、雨、夕方、夜、雪、海、紅葉等)に応じて、表示領域V1の画像を制御してもよい。また、HMD制御部141は、操縦画面の色または色調を調整して、操縦画面が、背景の空または雲、風景と識別可能な状態を維持できるように自動調整してもよい。また、操縦画面が暗く見える場合に、明色(白など)の透かしや背景を付加してもよい。
さらに、HMD制御部141は、順位付けを行う際に、他の移動機すなわち移動機310B、310Cの位置と、移動機310Aの位置と、HMD100Aの位置との位置関係によって変更してもよい。
移動機310Aの撮像画像データーに基づく画像、移動機310Aを操縦するための操縦画面、及び、その他の画像等の表示位置の制御に関して、HMD制御部141は、HMD100Aが有する各種センサーの検出値を用いてもよい。例えば、HMD制御部141は、画像表示部20の位置に関する検出値を用いて表示位置を制御してもよい。具体的には、操作検出部157により、6軸センサー235及び/または磁気センサー237の検出値に基づいて画像表示部20の動きを検出し、画像表示部20の動きや使用者の姿勢を操作として検出してもよい。また、操作検出部157が、HMDカメラ61の撮像画像の変化や距離センサー64の検出値の変化に基づき画像表示部20の動きや使用者の姿勢を検出してもよい。また、操作検出部157が内側カメラ68により撮像した右眼RE及び/または左眼LEの動きや視線方向を操作として検出してもよい。そして、HMD制御部141が、表示制御部147の機能により、操作検出部157が検出した操作に対応して表示画像の優先度を決定し、表示位置を決定してもよい。これにより、第1表示装置であるHMD100Aや第2表示装置であるHMD100B、100Cにおける撮像画像データに基づく画像の表示位置、表示エリアのサイズ、撮像画像と外景との透過度、制御用表示UIの透過度等を制御してもよい。一例として、視線や、画像表示部20を装着した使用者の頭の向きが、操作する対象である移動機310を向いている場合は、表示領域Vを透過して視認される外景(実空間)を優先して視認できるように、表示画像や操作用UIの透過度を変更してもよい。また、これらの制御を移動機310の動作状態をも反映させて行ってもよく、例えば、移動機310が離着陸をする時に、使用者から近い位置に移動機310が位置する場合は、移動機カメラ335の撮像画像データーに基づく画像の表示を消して、移動機310を操作するための操縦用画像の表示の優先度を高めることができる。さらにまた、操作検出部157によって画像表示部20を装着した頭の急な動きや右眼REまたは左眼LEの視線方向の急な変動を検出した場合に、使用者の近くで外景を見る優先事項が発生した場合に該当すると判断し、具体的には使用者が歩いていると判断してもよい。このような場合に、HMD制御部141は、移動機カメラ335の撮像画像データーに基づく画像や移動機310の操縦用画像の表示を、視野VR1の中央から周辺に退避させる、画像の表示輝度(明るさ)を低下させて、これらの画像よりも外景の視認性を高めるように画像を制御してもよい。
図12は、HMD100A、100B、100C間のデーターの送受信に係る動作を示すシーケンス図である。
移動機複合制御システム1において、HMD100A、100B、100Cは、相互にデーターを送受信可能である。
具体的には、HMD100Aは、移動機310Aの撮像画像データー(移動機カメラ画像データー)、移動機310Aの位置情報(移動機位置情報)、及び、HMDカメラ61の撮像画像データー(HMDカメラ画像データー)を送信できる。送信先として、HMD100Bに送信する(ステップSA1)、HMD100Cに送信する(ステップSA2)動作のいずれも可能である。
同様に、HMD100Bは、移動機310Bの移動機カメラ画像データー、移動機310Bの移動機位置情報、及び、HMD100Bが撮像したHMDカメラ画像データーを送信できる。送信先は、HMD100A(ステップSB1)、HMD100C(ステップSB2)のいずれも選択可能である。HMD100Cは、移動機310Cの移動機カメラ画像データー、移動機310Cの移動機位置情報、及び、HMD100Cが撮像したHMDカメラ画像データーを送信できる。送信先は、HMD100A(ステップSC1)、HMD100B(ステップSC2)のいずれも選択可能である。
このように、移動機複合制御システム1では、HMD100A、100B、100Cが相互にデーターを送受信し、移動機310A、310B、310Cの撮像画像データー及び位置情報を互いに取得できる。この構成を利用して、移動機310の操縦の交代(引継)を行う事ができる。
例えば、HMD100Aの操縦により移動機310AがA地点まで移動し、A地点でホバリングを実行する。ここで、HMD100BがHMD100Aと相互に通信し、互いに認証を行う。認証に成功した後、HMD100Aは移動機310Aに対し、HMD100Bを識別するデーターを送信し、このデーターに基づき、移動機310Aが、HMD100Bと相互に通信して認証を行う。その後、移動機310Aは、A地点でホバリングする状態から、HMD100Bが送信するコマンドに従って移動する状態に移行する。この手順により、移動機310Aの操縦を、HMD100Aの使用者からHMD100Bの使用者に引き継ぐことができる。また、引継の前後において、HMD100A、100Bが表示する移動機310Aの撮像画像データーに基づく画像、または、実空間の移動機310Aに重ねて表示されるAR画像を変更してもよい。HMD100Aが移動機310Aを操縦する間と、HMD100Bが移動機310Aを操縦する間とで、AR表示の表示色や撮像画像データーに基づく画像の表示枠の色を変えてもよい。
図13は、HMD100の動作を示すフローチャートである。
この図13に示す動作は移動機310に対応するAR画像(例えば、HMD100Aが表示する図14の画像AR1)の表示に関する動作である。図13の動作はHMD100B、100Cが実行してもよく、ここでは一例として、HMD100Aが実行する例を説明する。
HMD100AのHMD制御部141は、HMDカメラ61の撮像画像データーを取得する(ステップS81)。HMD制御部141は、撮像画像データーから移動機310Aの画像を抽出し、抽出した画像と表示領域V1との相対位置を検出する(ステップS82)。検出した位置は、画像表示部20を透過した視野VR1に対する移動機310Aの位置に相当し、画像AR1の表示位置を決定する条件となる。
HMD制御部141は、移動機310Aの移動方向を特定する(ステップS83)。移動機310Aの移動方向は、HMD100Aが移動機310Aに送信したコマンドや、移動機310AがHMD100Aに送信する位置情報等に基づき特定できる。
HMD制御部141は、特定した移動方向に基づき、インジケーター349の表示に対応する画像AR1を生成し、表示領域V1に表示する(ステップS84)。
HMD制御部141は、移動機310Aが備えるインジケーター349の視認状態を検出、或いは取得する(ステップS85)。すなわち、ステップS82で検出した位置や、移動機310Aの高度、角度等から、HMD100Aの使用者がインジケーター349を視認できるかどうか等を含む視認状態を検出できる。この視認状態は、例えば、使用者が制御装置10を操作して入力することができ、この場合、HMD制御部141は、使用者が入力する視認状態を取得する。
HMD制御部141は、ステップS85で検出または取得した視認状態に対応して、ステップS84で表示を開始した画像AR1の表示状態を調整する(ステップS86)。例えば、使用者が、インジケーター349を良好に視認できる場合には、画像AR1の表示輝度を低下させ、或いは、表示を停止させる。また、使用者が、インジケーター349を視認することが困難な場合には、画像AR1の表示輝度を向上させる。
以上説明したように、本発明を適用した実施形態の移動機複合制御システム1は、第1表示装置としてのHMD100、及び、第2表示装置としてのHMD100を有する表示システムである。第1表示装置としてのHMD100は、画像表示部20と、操作を検出する操作検出部157とを備える。また、操作検出部157が検出する操作に応じて第1移動体としての移動機310を動作させるためのコマンドを生成するコマンド生成部159とを備える。また、第1移動体としての移動機310が撮像した撮像画像に関する撮像画像データーを取得する画像データー取得部154を備える。また、画像データー取得部154により取得された撮像画像データーに基づく画像を画像表示部20に表示させる表示制御部147を備える。第2表示装置としてのHMD100は、画像表示部20と、第1移動体としての移動機310が撮像した撮像画像に関する撮像画像データーを取得する画像データー取得部154とを備える。また、画像データー取得部154により取得された撮像画像データーに基づく画像を画像表示部20に表示させる表示制御部147を備える。
本発明を適用した移動機複合制御システム1、HMD100、及び、HMD100の制御方法によれば、HMD100が移動機310を動作させるためのコマンドを生成する。これにより、移動機310が撮像した撮像画像に関する画像を表示するHMD100を、移動機310の操作に利用できる。このため、表示装置が表示する画像を見ながら、移動機310の操作を行うことができる。また、移動機310が撮像する撮像画像に関する画像を、第2表示装置としてのHMD100により表示することが可能であるため、例えば、移動機310の操作に関与しない人が移動機310の撮像画像を確認できる。例えばHMD100Aを装着した使用者が移動機310Aを操縦する場合において、移動機310Aの操縦をしない使用者が使用するHMD100B、或いはHMD100Cにおいて、移動機310Aの撮像画像データーに基づく画像を表示できる。この場合、HMD100Aと、移動機310Aを操縦していないHMD100B、100Cとの間で移動機310Aの撮像画像データーに基づく画像を共有できる。また、画像の共有に限らず、例えば、HMD100Aにおいて移動機310Aの撮像画像データーに基づく画像を表示していないタイミングで、移動機310Aを操縦していないHMD100B、100Cにより、移動機310Aの撮像画像データーに基づく画像を表示してもよい。
また、画像表示部20は、外光を透過することにより外景を視認可能に画像を表示し、表示制御部147は、画像表示部20における外景の視認性を制御する。従って、第1表示装置としてのHMD100により、外景を視認可能な画像表示部20に、移動機310が撮像した撮像画像に関する画像を表示する。これにより、実空間の移動機310を視認し、移動機310の動作に関する操作を行い、さらに、撮像画像に関する画像を視認できる。このため、撮像画像の確認と、実空間の移動機310を見ながら移動機310の操作を行うことができる。また、画像表示部20における外景の視認性を制御できるので、例えば、撮像画像よりも実空間の移動機310の視認性を優先し、移動機310の操作が容易になるよう表示を制御することができる。
また、表示制御部147は、コマンドを生成する処理に関する操縦画面を画像表示部20に表示させ、操縦画面の表示状態に対応して、画像表示部20における外景の視認性を制御する。これにより、操縦画面の表示状態に合わせて外景の視認性を制御できるので、例えば、操縦画面の視認性と実空間の移動機310の視認性とを調整できる。このため、移動機310の操作の容易性を高めることができる。
表示制御部147は、撮像画像データーに基づく画像の表示状態に対応して、画像表示部20における外景の視認性を制御する。これにより、移動機310の撮像画像に関する表示状態に合わせて外景の視認性を制御するので、例えば、実空間の移動機310の視認性と撮像画像に関する画像の視認性とを調整でき、より一層の利便性の向上を図ることができる。
また、HMD100のHMD制御部141は、画像表示部20または画像表示部20を使用する使用者の状態に基づいて、画像表示部20における外景の視認性を制御してもよい。この動作は、第1表示装置としてのHMD100A、100B、100C、及び、第2表示装置としてのHMD100A、100B、100Cのいずれにおいても適用できる。従って、画像表示部20または使用者の位置、動き、姿勢等に反映される使用者にとっての外景の視認性の重要度に対応して、外景の視認性を制御できる。
表示制御部147は、移動機310の動作状態に対応する画像を画像表示部20に表示させる。これにより、画像表示部20の表示によって、移動機310の動作状態に関する情報を得ることができ、移動機310の操作、及び、移動機310の撮像画像の利用に関し、利便性の向上を図ることができる。
第2表示装置としてのHMD100において、画像表示部20は、外光を透過することにより外景を視認可能に画像を表示する構成である。表示制御部147は、画像表示部20における外景の視認性を制御する。これにより、第2表示装置としてのHMD100において、外景と、移動機310が撮像した撮像画像に関する画像とを視認でき、外景の視認性を制御することができる。
第2表示装置としてのHMD100は、操作を検出する操作検出部157と、操作検出部157が検出する操作に応じて移動機310を動作させるためのコマンドを生成するコマンド生成部159と、を備える。表示制御部147は、コマンドを生成する処理に関する操縦画面を画像表示部20に表示させ、操縦画面の表示状態に対応して、画像表示部20における外景の視認性を制御する。この構成では、第1表示装置としてのHMD100において移動機310の動作に関するコマンドを生成し、第2表示装置としてのHMD100において移動機310の動作に関するコマンドを生成する。このため、第1表示装置としてのHMD100を使用する使用者、及び、第2表示装置としてのHMD100を使用する使用者は、それぞれ、実空間の移動機310を視認しながら移動機310の動作に関する操作を行える。さらに、移動機310が撮像した撮像画像に関する画像を視認することができる。これにより、複数の移動機310A、310B、310Cの操作と、移動機310A、310B、310Cが撮像した撮像画像の利用とを容易に行うことが可能な移動機複合制御システム1を提供できる。
第2表示装置としてのHMD100が備える画像データー取得部154は、移動機310が撮像した撮像画像に関する移動機310画像データーを取得する。表示制御部147は、画像データー取得部154により取得された撮像画像データーに基づく画像と、移動機310画像データーに基づく画像とを画像表示部20に表示する。これにより、第2表示装置としてのHMD100により、移動機310および移動機310がそれぞれ撮像した撮像画像に関する画像を表示できる。
表示制御部147は、画像データー取得部154により取得された撮像画像データーに基づく画像、及び、移動機310画像データーに基づく画像の少なくともいずれかの画像の表示状態に対応して、画像表示部20における外景の視認性を制御する。これにより、移動機310A、310B、310Cの少なくともいずれかの撮像画像を表示する場合の外景の視認性を制御できる。このため、外景と、移動機310A、310B、310Cの撮像画像との視認性のバランスを調整できる。このため、例えば、第2表示装置としてのHMD100の使用者が操作(操縦)する場合に、実空間の移動機310の視認性を優先し、操作性を高めることができる。
表示制御部147は、移動機310の動作状態に対応する画像を画像表示部20に表示させる。これにより、第2表示装置としてのHMD100において移動機310の動作状態に関する表示をすることができ、移動機310の動作に関する操作を、より容易にし、操作性を高めることができる。
表示制御部147は、移動機310の動作状態、及び、移動機310の動作状態に対応する画像を画像表示部20に表示させる。これにより、第2表示装置としてのHMD100において移動機310および移動機310の動作状態に関する表示をすることができる。これにより、移動機310の状態を確認しながら、移動機310の動作に関する操作を行うことができる。
表示制御部147は、移動機310の動作状態に対応する画像を、画像表示部20を介する外景において視認される移動機310に対応する位置に表示させる。これにより、移動機310の動作状態に関して画像表示部20が表示する画像を、実空間の移動機310が視認される位置に対応して表示させることができ、実空間の移動機310を見ながら、移動機310の動作状態に関する情報を得ることができる。このため、移動機310の動作に関する操作を、より容易にし、操作性を高めることができる。
HMD100は、位置情報取得部156により、移動機310A、310B、310Cの少なくともいずれかの位置に関する情報を取得する。表示制御部147は、位置情報取得部156により取得された情報を画像表示部20に表示させる。これにより、HMD100において移動機310A、310B、310Cの位置に関する表示をすることができる。
コマンド生成部159は、位置情報取得部156により取得された移動機310の位置情報に基づき、移動機310を動作させるためのコマンドを生成する。これにより、移動機310の位置に対応して、移動機310を動作させることができる。
画像表示部20は、使用者の頭部に装着される頭部装着型表示部である。これにより、頭部装着型の表示部を有する表示装置により、実空間の移動機310を視認しながら、移動機310の動作に関する操作を行い、さらに、移動機310が撮像した撮像画像に関する画像を見ることができる。
ここで、移動機310の位置に関する情報は、上述した移動機位置情報を含んでもよく、その他、移動機310の環境や状況に関する移動機状況情報を含んでもよい。移動機状況情報は、移動機310の位置に関連する情報を含んでもよい。例えば、移動機310の近傍または直下の施設名や建物名等の周辺施設に関する情報を含んでもよい。また、移動機状況情報は、移動機310の環境に関する情報(天気(天候)、温度、湿度、風速、風向、降雨量等)を含んでもよい。
なお、この発明は上記実施形態の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。
例えば、移動機310の移動機カメラ335は可視光による撮像を行うものに限定されず、赤外光などの可視外光による撮像を行う構成や、超音波等を用いたセンサーであってもよい。例えば、赤外光を照射する光源を移動機310に搭載してもよい。これにより、移動機310の撮像画像データーを用いて、農作物の糖度を検出することができる。また、建造物の点検をする場合において、対象の建造物の探傷検査や、サーモグラフィ技術を利用して温度の測定等を行うことができる。
また、移動機複合制御システム1の適用例として、スタジアム等の多数の座席を有する大規模施設において、移動機310の撮像画像データーを利用して場所ごとの混雑度を判定する、道路における渋滞の状況を判定する等の用途が挙げられる。
また、上述した実施形態において、操作検出部157は、画像表示部20の動きまたは画像表示部20に対する操作を検出し、この操作に応じてコマンド生成部159が定型動作を指示するコマンドを生成することが可能である。ここで、操作検出部157は、HMD100以外の装置による操作を検出してもよい。例えば、使用者が指に装着する指輪型の操作デバイスを用いる例が挙げられる。また、使用者が腕に装着する腕時計型の操作デバイスを用いる例が挙げられる。これらの操作デバイスは、6軸センサー235や磁気センサー237等の動きセンサーと、動きセンサーの検出値をHMD100に送信する送信部とを備えてもよい。この場合、操作デバイスとHMD通信部117とが、Bluetoothにより相互に通信可能な構成とすれば、操作検出部157が、操作デバイスを動かす操作を検出できる。この場合、操作検出部157は、操作デバイスの動きが予め設定された態様である場合に、定型動作を指示するコマンドを生成してもよい。
また、操作検出部157は、マイク63が集音する音声によるコマンド指示を検出してもよい。すなわち、検出制御部151は、音声インターフェイス182により検出する音声のパターンが、予め設定されたパターンに該当する場合に、定型動作を指示するコマンドを生成してもよい。
指示体は、図に示した指示体Hのように、人間の指、手等のほか、HMD100を遠隔操作するリモコン装置、指し棒、ペン等であってもよい。また、検出制御部151は、エアーマウス等のデバイスの操作を検出してもよく、検出手段としてはHMDカメラ61の撮像画像を用いることができ、例えばLED等の発光体を具備するデバイスを指示体として用いることもできる。
例えば、上記実施形態では、制御装置10が画像表示部20と有線接続される構成を例示したが、本発明はこれに限定されず、制御装置10に対して画像表示部20が無線接続される構成であってもよい。この場合の無線通信方式はHMD通信部117が対応する通信方式として例示した方式を採用してもよいし、その他の通信方式であってもよい。
また、制御装置10が備える一部の機能を画像表示部20に設けてもよく、制御装置10を複数の装置により実現してもよい。例えば、制御装置10に代えて、使用者の身体、着衣、或いは、使用者が身につける装身具に取り付け可能なウェアラブルデバイスを用いてもよい。この場合のウェアラブルデバイスは、例えば、時計型の装置、指輪型の装置、レーザーポインター、マウス、エアーマウス、ゲームコントローラー、ペン型のデバイス等であってもよい。
さらに、上記実施形態では、画像表示部20と制御装置10とが分離され、接続ケーブル40を介して接続された構成を例に挙げて説明した。本発明はこれに限定されず、制御装置10と画像表示部20とが一体に構成され、使用者の頭部に装着される構成とすることも可能である。
また、上記実施形態において、使用者が表示部を透過して外景を視認する構成は、右導光板26及び左導光板28が外光を透過する構成に限定されない。例えば外景を視認できない状態で画像を表示する表示装置にも適用可能である。具体的には、HMDカメラ61の撮像画像、この撮像画像に基づき生成される画像やCG、予め記憶された映像データーや外部から入力される映像データーに基づく映像等を表示する表示装置に、本発明を適用できる。この種の表示装置としては、外景を視認できない、いわゆるクローズ型の表示装置を含むことができる。例えば、HMDカメラ61により撮像する外景の画像と、表示画像とを合成した合成画像を画像表示部20により表示する構成とすれば、画像表示部20が外光を透過しなくても、使用者に外景と画像とを視認可能に表示できる。このような、いわゆるビデオシースルー型の表示装置に本発明を適用することも勿論可能である。
上記実施形態では、移動体の一例として、無人飛行体であり、4翼ヘリコプターである移動機310を示した。移動体は、これに限定されるものではなく、遠隔操作される自動車や船、ロボット、これらの玩具等の遠隔操作や自動運転される種々の無人の移動体に対しても適用可能である。この場合の移動体は画像を撮像するカメラを有していればよく、ヘリコプター、飛行機、ロケット、潜水艦、人口衛星、バス等の車両、鉄道車両等の移動体が挙げられ、有人であっても無人であってもよく、貨物を搭載してもよい。無人で操縦・操作される機器であっても、輸送対象として人を乗せる構成であってもよい。また、移動体は、トラック(貨物運送用自動車)に付随するクレーンユニット等の付属機器であってもよい。また、シャベルカー、除雪車、草刈機、トラクター、ブルドーザー、コンバイン、耕運機、田植え機、農薬散布機等の作業用車両や作業用(例えば、建設現場用)機器等、農業、林業、漁業、砿業等で使用される機器に適用できる。これらの移動体は遠隔操作利用される機器であってもよく人が搭乗して操縦してもよい。
また、上記実施形態で説明したように実空間に重ねて画像を表示するAR表示や、撮像した実空間の画像と仮想画像とを組み合わせるMR(Mixed Reality)表示、或いは仮想画像を表示するVR(Virtual Reality)表示といった処理を行わない表示装置にも適用できる。例えば、外部から入力される映像データーまたはアナログ映像信号を表示する表示装置も、本発明の適用対象として勿論含まれる。
また、例えば、画像表示部20に代えて、例えば帽子のように装着する画像表示部等の他の方式の画像表示部を採用してもよく、使用者の左眼LEに対応して画像を表示する表示部と、使用者の右眼REに対応して画像を表示する表示部とを備えていればよい。また、本発明の表示装置は、例えば、自動車や飛行機等の車両に搭載されるヘッドマウントディスプレイとして構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。この場合、使用者の身体に対する位置を位置決めする部分、及び、当該部分に対し位置決めされる部分を装着部とすることができる。
また、画像光を使用者の眼に導く光学系として、右導光板26及び左導光板28の一部に、ハーフミラー261、281により虚像が形成される構成を例示した。本発明はこれに限定されず、右導光板26及び左導光板28の全面または大部分を占める面積を有する表示領域に、画像を表示する構成としてもよい。この場合、画像の表示位置を変化させる動作において、画像を縮小する処理を含めてもよい。
さらに、本発明の光学素子は、ハーフミラー261、281を有する右導光板26、左導光板28に限定されず、画像光を使用者の眼に入射させる光学部品であればよく、具体的には、回折格子、プリズム、ホログラフィー表示部を用いてもよい。
また、図2、図7、図8等に示した各機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよく、図に示した通りに独立したハードウェア資源を配置する構成に限定されない。また、HMD制御部141が実行するプログラムは、不揮発性記憶部121または制御装置10内の他の記憶装置(図示略)に記憶されてもよい。また、外部の装置に記憶されたプログラムをHMD通信部117や外部コネクター184を介して取得して実行する構成としてもよい。また、制御装置10に形成された構成のうち、操作部110が使用者インターフェイス(UI)として形成されてもよい。また、制御装置10に形成された構成が重複して画像表示部20に形成されていてもよい。例えば、メインプロセッサー140と同様のプロセッサーが画像表示部20に配置されてもよいし、制御装置10が備えるメインプロセッサー140と画像表示部20のプロセッサーとが別々に分けられた機能を実行する構成としてもよい。
1…移動機複合制御システム(表示システム)、10…制御装置、20…画像表示部(表示部、第1表示部、第2表示部)、61…HMDカメラ、63…マイク、64…距離センサー、65…照度センサー、67…LEDインジケーター、68…内側カメラ、69…温度センサー、100、100A、100B、100C…HMD(第1表示装置、第2表示装置)、110…操作部、111…6軸センサー、113…磁気センサー、115…GPS、117…HMD通信部、118…メモリー、120…コントローラー基板、121…不揮発性記憶部、130…電源部、132…バッテリー、134…電源制御回路、140…メインプロセッサー、141…HMD制御部、143…オペレーティングシステム、145…画像処理部、147…表示制御部(第1表示制御部、第2表示制御部)、149…撮像制御部、151…検出制御部、153…通信制御部、154…画像データー取得部(移動体画像データー取得部、第1移動体画像データー取得部、第2移動体画像データー取得部)、155…位置推定部、156…位置情報取得部、157…操作検出部(第1操作検出部、第2操作検出部)、159…コマンド生成部(移動体制御部、第1移動体制御部、第2移動体制御部)、170…HMD記憶部、171…設定データー、173…撮像画像データー、174…移動機識別データー、175…移動エリアデーター、180…音声コーデック、182…音声インターフェイス、184…外部コネクター、186…外部メモリーインターフェイス、188…USBコネクター、192…センサーハブ、194…FPGA、196…インターフェイス、211…インターフェイス、213…受信部、215…EEPROM、215…ROM、217…温度センサー、221…OLEDユニット、223…OLEDパネル、225…OLED駆動回路、227…右電子シェード、228…シェード駆動部、229…液晶パネル、229…右電子シェード、231…インターフェイス、233…受信部、235…センサー、235…6軸センサー、237…磁気センサー、239…温度センサー、241…OLEDユニット、243…OLEDパネル、245…OLED駆動回路、247…左電子シェード、248…シェード駆動部、249…左電子シェード、249…液晶パネル、251…右光学系、252…左光学系、261…ハーフミラー、281…ハーフミラー、300、300A、300B、300C…移動機制御システム、310、310A、310B、310C…移動機(移動体、第1移動体、第2移動体)、335…移動機カメラ、336…撮像素子、337…ズーム機構、341…移動機制御部、342…移動機記憶部、343…移動機通信部、344…GPS装置、345…飛行制御部、346…カメラ制御部、347…モーターコントローラー、348…姿勢センサー、349…インジケーター、V…表示領域、VR…視野。

Claims (21)

  1. 第1表示装置、及び、第2表示装置を有する表示システムであって、
    前記第1表示装置は、
    第1表示部と、
    操作を検出する第1操作検出部と、
    前記第1操作検出部が検出する操作に応じて第1移動体を動作させるためのコマンドを生成する第1移動体制御部と、
    前記第1移動体が撮像した撮像画像に関する第1移動体画像データーを取得する第1移動体画像データー取得部と、
    前記第1移動体画像データー取得部により取得された前記第1移動体画像データーに基づく画像を前記第1表示部に表示させる第1表示制御部と、を備え、
    第2表示装置は、
    第2表示部と、
    前記第1移動体が撮像した撮像画像に関する第1移動体画像データーを取得する第2移動体画像データー取得部と、
    前記第2移動体画像データー取得部により取得された前記第1移動体画像データーに基づく画像を前記第2表示部に表示させる第2表示制御部と、を備える
    表示システム。
  2. 前記第1表示部は、外光を透過することにより外景を視認可能に前記画像を表示し、
    前記第1表示制御部は、前記第1表示部における前記外景の視認性を制御する請求項1記載の表示システム。
  3. 前記第1表示制御部は、前記コマンドを生成する処理に関する操作用画面を前記表示部に表示させ、前記操作用画面の表示状態に対応して、前記第1表示部における前記外景の視認性を制御する請求項2記載の表示システム。
  4. 前記第1表示制御部は、前記第1移動体画像データーに基づく画像の表示状態に対応して、前記第1表示部における前記外景の視認性を制御する請求項2または3記載の表示システム。
  5. 前記第1表示制御部は、前記第1表示部または前記第1表示部を使用するユーザーの状態に基づいて、前記第1表示部における前記外景の視認性を制御する請求項4記載の表示システム。
  6. 前記第1表示制御部は、前記第1移動体の動作状態に対応する画像を前記第1表示部に表示させる請求項1から5のいずれか1項に記載の表示システム。
  7. 前記第2表示部は、外光を透過することにより外景を視認可能に前記画像を表示し、
    前記第2表示制御部は、前記第2表示部における前記外景の視認性を制御する請求項1から6のいずれかに記載の表示システム。
  8. 前記第2表示制御部は、前記第2表示部または前記第2表示部を使用するユーザーの状態に基づいて、前記第2表示部における前記外景の視認性を制御する請求項7記載の表示システム。
  9. 前記第2表示装置は、
    操作を検出する第2操作検出部と、
    前記第2操作検出部が検出する操作に応じて第2移動体を動作させるためのコマンドを生成する第2移動体制御部と、を備え、
    前記第2表示制御部は、前記コマンドを生成する処理に関する操作用画面を前記表示部に表示させ、前記操作用画面の表示状態に対応して、前記第2表示部における前記外景の視認性を制御する請求項7または8記載の表示システム。
  10. 前記第2表示装置が備える第2移動体画像データー取得部は、前記第2移動体が撮像した撮像画像に関する第2移動体画像データーを取得し、
    前記第2表示制御部は、前記第2移動体画像データー取得部により取得された前記第1移動体画像データーに基づく画像と、前記第2移動体画像データーに基づく画像とを前記第2表示部に表示する請求項9記載の表示システム。
  11. 前記第2表示制御部は、前記第2移動体画像データー取得部により取得された前記第1移動体画像データーに基づく画像、及び、前記第2移動体画像データーに基づく画像の少なくともいずれかの画像の表示状態に対応して、前記第2表示部における前記外景の視認性を制御する請求項10記載の表示システム。
  12. 前記第2表示制御部は、前記第2移動体の動作状態に対応する画像を前記第2表示部に表示させる請求項9から11のいずれか1項に記載の表示システム。
  13. 前記第2表示制御部は、前記第1移動体の動作状態、及び、前記第2移動体の動作状態に対応する画像を前記第2表示部に表示させる請求項9から12のいずれか1項に記載の表示システム。
  14. 前記第2表示制御部は、前記第2移動体の動作状態に対応する画像を、前記第2表示部を介する前記外景において視認される前記第2移動体に対応する位置に表示させる請求項9から13のいずれか1項に記載の表示システム。
  15. 前記第2表示装置は、前記第1移動体の位置及び前記第2移動体の位置に関する情報を取得する位置情報取得部を備え、
    前記第2表示制御部は、前記位置情報取得部により取得された情報を前記第2表示部に表示させる請求項9から14のいずれか1項に記載の表示システム。
  16. 前記第2表示装置が備える前記第2移動体制御部は、前記位置情報取得部により取得された情報に基づき、前記第2移動体を動作させるための前記コマンドを生成する請求項9から15のいずれか1項に記載の表示システム。
  17. 前記第2表示装置が備える前記第2移動体制御部は、前記位置情報取得部により取得された情報に基づき、前記第1移動体を動作させるためのコマンドを生成する請求項9から16のいずれか1項に記載の表示システム。
  18. 前記第1表示部及び前記第2表示部の少なくともいずれかは、使用者の頭部に装着される頭部装着型表示部である請求項1から17のいずれか1項に記載の表示システム。
  19. 外光を透過することにより外景を視認可能に画像を表示する表示部と、
    操作を検出する操作検出部と、
    前記操作検出部が検出する操作に応じて第1移動体を動作させるためのコマンドを生成する移動体制御部と、
    前記移動体が撮像した撮像画像に関する第1移動体画像データーを取得する移動体画像データー取得部と、
    前記移動体画像データー取得部により取得された前記第1移動体画像データーに基づく画像を前記表示部に表示させる表示制御部と、を備え、
    前記表示制御部は、前記表示部における前記外景の視認性を制御する
    表示装置。
  20. 前記移動体画像データー取得部は、第2移動体が撮像した撮像画像に関する第2移動体画像データーを取得し、
    前記表示制御部は、前記移動体画像データー取得部により取得された前記第1移動体画像データー、及0び、前記第2移動体画像データーの少なくともいずれかに基づく画像を前記表示部に表示させ、前記第1移動体画像データーに基づく画像、及び、前記第2移動体画像データーに基づく画像の少なくともいずれかの画像の表示状態に対応して、前記表示部における前記外景の視認性を制御する請求項19記載の表示装置。
  21. 外光を透過することにより外景を視認可能に画像を表示する表示部を備える表示装置の制御方法であって、
    操作を検出し、
    検出した操作に応じて移動体を動作させるためのコマンドを生成し、
    前記移動体が撮像した撮像画像に関する移動体画像データーを取得し、
    取得した前記移動体画像データーに基づく画像を前記表示部に表示させ、前記表示部における前記外景の視認性を制御する、表示装置の制御方法。
JP2017034319A 2017-02-27 2017-02-27 表示システム、表示装置、及び、表示装置の制御方法 Pending JP2018142764A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017034319A JP2018142764A (ja) 2017-02-27 2017-02-27 表示システム、表示装置、及び、表示装置の制御方法
CN201810127046.8A CN108510928A (zh) 2017-02-27 2018-02-08 显示系统、显示装置以及显示装置的控制方法
US15/895,214 US10574897B2 (en) 2017-02-27 2018-02-13 Display system, display device, and control method for display device
US16/575,828 US11025826B2 (en) 2017-02-27 2019-09-19 Display system, display device, and control method for display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017034319A JP2018142764A (ja) 2017-02-27 2017-02-27 表示システム、表示装置、及び、表示装置の制御方法

Publications (1)

Publication Number Publication Date
JP2018142764A true JP2018142764A (ja) 2018-09-13

Family

ID=63245891

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017034319A Pending JP2018142764A (ja) 2017-02-27 2017-02-27 表示システム、表示装置、及び、表示装置の制御方法

Country Status (3)

Country Link
US (2) US10574897B2 (ja)
JP (1) JP2018142764A (ja)
CN (1) CN108510928A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020199924A (ja) * 2019-06-11 2020-12-17 イームズロボティクス株式会社 無人飛行体、無人飛行方法及び無人飛行プログラム

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020155923A (ja) * 2019-03-20 2020-09-24 ソニー株式会社 リモートコントロール装置と撮像制御装置およびその方法
JP2021106447A (ja) * 2019-12-26 2021-07-26 セイコーエプソン株式会社 画像表示装置、給電システム及び画像表示装置の給電方法
US11735059B2 (en) * 2020-02-12 2023-08-22 Borealis Technical Limited Aircraft ground travel monitoring system with integrated cockpit head-up display system
CN111262628B (zh) * 2020-03-17 2021-09-07 京东方科技集团股份有限公司 光通信系统及其方法
JP7424201B2 (ja) * 2020-05-18 2024-01-30 富士フイルムビジネスイノベーション株式会社 目視点検確認装置及びプログラム
JP2022056043A (ja) * 2020-09-29 2022-04-08 セイコーエプソン株式会社 表示システム、表示方法及びプログラム
JP2022065826A (ja) * 2020-10-16 2022-04-28 セイコーエプソン株式会社 操作方法及びプログラム

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2957266B1 (fr) * 2010-03-11 2012-04-20 Parrot Procede et appareil de telecommande d'un drone, notamment d'un drone a voilure tournante.
US10083639B2 (en) * 2011-02-04 2018-09-25 Seiko Epson Corporation Control device for controlling image display device, head-mounted display device, image display system, control method for the image display device, and control method for the head-mounted display device
JP6026088B2 (ja) 2011-08-09 2016-11-16 株式会社トプコン 遠隔操作システム
KR20130035682A (ko) * 2011-09-30 2013-04-09 삼성전자주식회사 프로젝터 장치에서 영상 출력 제어 방법 및 장치
FR2985329B1 (fr) 2012-01-04 2015-01-30 Parrot Procede de pilotage intuitif d'un drone au moyen d'un appareil de telecommande.
JP6104191B2 (ja) * 2014-02-04 2017-03-29 シャープ株式会社 通信システム、および情報処理方法
JP6607433B2 (ja) 2014-06-23 2019-11-20 パナソニックIpマネジメント株式会社 映像配信方法及びサーバ
EP3133819A4 (en) 2014-04-14 2017-02-22 Panasonic Intellectual Property Management Co., Ltd. Image delivery method, image reception method, server, terminal apparatus, and image delivery system
CN203950035U (zh) * 2014-06-11 2014-11-19 江苏数字鹰科技发展有限公司 室内无人机定位系统
US9959591B2 (en) * 2014-07-31 2018-05-01 Seiko Epson Corporation Display apparatus, method for controlling display apparatus, and program
KR102246557B1 (ko) * 2015-04-07 2021-04-30 엘지전자 주식회사 이동 단말기 및 그 제어 방법
FR3035523B1 (fr) * 2015-04-23 2017-04-21 Parrot Systeme de pilotage de drone en immersion
KR20160138806A (ko) * 2015-05-26 2016-12-06 엘지전자 주식회사 글래스타입 단말기 및 그 제어방법
JP6693060B2 (ja) * 2015-07-06 2020-05-13 セイコーエプソン株式会社 表示システム、表示装置、表示装置の制御方法、及び、プログラム
CN105045277B (zh) * 2015-07-08 2017-10-31 西安电子科技大学 一种多无人机操控信息显示系统
KR102364730B1 (ko) * 2015-07-29 2022-02-18 엘지전자 주식회사 이동 단말기 및 이의 제어방법
KR101743638B1 (ko) * 2015-11-19 2017-06-05 주식회사 와이젯 이동 단말기와 hmd 장치가 독립적으로 분리되는 분리 제어형 영상 시스템 및 그 동작 방법
CN105334864B (zh) * 2015-11-24 2018-12-07 杨珊珊 一种用于控制无人机的智能眼镜及控制方法
CN105427661B (zh) * 2015-12-14 2019-01-25 山东科技大学 基于太阳能无人机群的大型停车场车位检测系统及其工作方法
CN105676457A (zh) * 2016-04-08 2016-06-15 吕佩剑 一种多飞行视角的头戴显示设备
CN106197377A (zh) * 2016-06-30 2016-12-07 西安电子科技大学 一种无人机对地目标监视及二维三维联动的显示系统
TWI585741B (zh) * 2016-08-04 2017-06-01 友達光電股份有限公司 驅動裝置與驅動方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020199924A (ja) * 2019-06-11 2020-12-17 イームズロボティクス株式会社 無人飛行体、無人飛行方法及び無人飛行プログラム
JP7320380B2 (ja) 2019-06-11 2023-08-03 イームズロボティクス株式会社 無人飛行体、無人飛行方法及び無人飛行プログラム

Also Published As

Publication number Publication date
US20200014852A1 (en) 2020-01-09
US11025826B2 (en) 2021-06-01
CN108510928A (zh) 2018-09-07
US10574897B2 (en) 2020-02-25
US20180249085A1 (en) 2018-08-30

Similar Documents

Publication Publication Date Title
JP6919222B2 (ja) 表示装置、及び、表示装置の制御方法
JP6919206B2 (ja) 表示装置、及び、表示装置の制御方法
US11310483B2 (en) Display apparatus and method for controlling display apparatus
US11025826B2 (en) Display system, display device, and control method for display device
CN108664037B (zh) 头部佩戴型显示装置以及无人机的操纵方法
US10310502B2 (en) Head-mounted display device, control method therefor, and computer program
US10838205B2 (en) Head mounted display, control method thereof, and computer program
JP2018165066A (ja) 頭部装着型表示装置およびその制御方法
US20190222774A1 (en) Head-mounted display apparatus, display system, and method of controlling head-mounted display apparatus
JP2018097160A (ja) 表示システム、表示装置、及び、表示装置の制御方法
JP2019081456A (ja) 頭部装着型表示装置、無人機の操縦方法
JP2017134630A (ja) 表示装置、表示装置の制御方法、及び、プログラム
JP2017182413A (ja) 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
US20230062433A1 (en) Eyewear controlling an uav
US20230063386A1 (en) Eyewear synchronized with uav image capturing system
EP4396642A1 (en) Eyewear controlling an uav
EP4396655A1 (en) Eyewear synchronized with uav image capturing system