JP2019081456A - 頭部装着型表示装置、無人機の操縦方法 - Google Patents
頭部装着型表示装置、無人機の操縦方法 Download PDFInfo
- Publication number
- JP2019081456A JP2019081456A JP2017209970A JP2017209970A JP2019081456A JP 2019081456 A JP2019081456 A JP 2019081456A JP 2017209970 A JP2017209970 A JP 2017209970A JP 2017209970 A JP2017209970 A JP 2017209970A JP 2019081456 A JP2019081456 A JP 2019081456A
- Authority
- JP
- Japan
- Prior art keywords
- drone
- unit
- display
- distance
- mounted display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 54
- 238000004891 communication Methods 0.000 claims abstract description 56
- 238000001514 detection method Methods 0.000 claims description 30
- 230000033001 locomotion Effects 0.000 claims description 22
- 230000008859 change Effects 0.000 claims description 7
- 230000000007 visual effect Effects 0.000 abstract description 11
- 230000006870 function Effects 0.000 description 57
- 238000012545 processing Methods 0.000 description 57
- 230000008569 process Effects 0.000 description 44
- 238000012986 modification Methods 0.000 description 40
- 230000004048 modification Effects 0.000 description 40
- 230000003287 optical effect Effects 0.000 description 27
- 238000003384 imaging method Methods 0.000 description 22
- 239000000758 substrate Substances 0.000 description 14
- 210000003128 head Anatomy 0.000 description 13
- 230000015654 memory Effects 0.000 description 13
- 238000004590 computer program Methods 0.000 description 12
- 238000006243 chemical reaction Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000005259 measurement Methods 0.000 description 8
- 239000004973 liquid crystal related substance Substances 0.000 description 7
- 230000005236 sound signal Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 230000003190 augmentative effect Effects 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 239000003550 marker Substances 0.000 description 4
- 230000008685 targeting Effects 0.000 description 4
- 238000007792 addition Methods 0.000 description 3
- 238000012217 deletion Methods 0.000 description 3
- 230000037430 deletion Effects 0.000 description 3
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 238000002834 transmittance Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 229910052751 metal Inorganic materials 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 210000001525 retina Anatomy 0.000 description 2
- 230000000630 rising effect Effects 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 241000282414 Homo sapiens Species 0.000 description 1
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 238000001093 holography Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 229910052744 lithium Inorganic materials 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 229920000642 polymer Polymers 0.000 description 1
- 230000001012 protector Effects 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 230000004270 retinal projection Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Images
Landscapes
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
【課題】無人機を目的地まで精度良く航行させることを可能とする頭部装着型表示装置を提供する。【解決手段】無人機400の操縦に関する制御を行うことが可能な頭部装着型表示装置100であって、外界を視認可能な表示部20と、GNSS情報を取得するGNSS情報取得部と、前記無人機との間の無線通信を利用した通信を行い得る通信部と、制御部と、を備え、前記制御部は、前記無人機が、前記GNSS情報取得部によって取得される前記GNSS情報で示される位置に向けて移動する自動航行モードM1で航行している場合に、前記表示部によって視認可能な視界内に前記無人機が進入したか否かを判定し、前記視界内に前記無人機が進入したと判定された場合に、前記自動航行モードでの航行を前記無人機に対し中止させ、前記自動航行モードとは異なる特定の航行モードM2で前記無人機を航行させる頭部装着型表示装置。【選択図】図10
Description
本開示は、頭部装着型表示装置を用いて、無人機を操縦することに関する。
近年、ドローン(Drone)と呼ばれる、遠隔操縦または自律飛行が可能な無人航空機の開発が進んでいる。従来の無人航空機は、例えば、特許文献1に記載されているように、GNSS電波を受信してGNSS情報を取得するGNSS受信部を搭載している。無人航空機は、GNSS情報によって、機体の姿勢や位置を推定することができる。無人航空機は、専用のリモコン装置以外にも、スマートフォンやタブレット等の他の装置で操縦することができる。
無人航空機では、GNSS情報を利用することで、目的地まで自動的に航行させることが考えられる。しかしながら、GNSS情報に含まれる位置情報は、数m〜数十mと比較的、誤差が大きいため、従来の無人航空機では、目的地まで精度良く航行させることができないことがあった。例えば、山岳部や山間部、ビルの谷などでは、位置情報は誤差の大きいものとなり、目的地から大きく離れた地点に到達してしまうことがあった。そのため、無人航空機を操縦する装置において、目的地まで精度良く航行させることができる技術が望まれていた。なお、このような課題は、無人航空機に限らず、遠隔操作や自動運転される種々の人が搭乗しないヴィークル(すなわち、無人機)に共通する課題であった。
本開示の一形態は、無人機の操縦に関する制御を行うことが可能な頭部装着型表示装置であって;外界を視認可能な表示部と;GNSS情報を取得するGNSS情報取得部と;前記無人機との間の無線通信を利用した通信を行い得る通信部と;制御部と、を備え;前記制御部は;前記無人機が、前記GNSS情報取得部によって取得される前記GNSS情報で示される位置に向けて移動する自動航行モードで航行している場合に、前記表示部によって視認可能な視界内に前記無人機が進入したか否かを判定し;前記視界内に前記無人機が進入したと判定された場合に、前記自動航行モードでの航行を前記無人機に対し中止させ、前記自動航行モードとは異なる特定の航行モードで前記無人機を航行させる頭部装着型表示装置である。この形態によれば、自動航行モードで航行している場合に、表示部によって視認可能な視界内に無人機が進入したときに、自動航行モードでの航行が中止され、自動航行モードとは異なる特定の航行モードで、無人機は航行する。このため、この形態によれば、精度の低いGNSS情報を利用した自動航行モードでの航行を取りやめることができることから、目的地まで高い精度で航行させることが可能となる。
上記形態において、更に、前記視界を撮像するカメラを有し;前記制御部は、前記カメラの撮像画像を取得し、前記無人機を特定するために予め準備された目的画像と前記撮像画像とをパターンマッチングすることによって、前記無人機が前記視界に進入したか否かの判定を行うようにしてもよい。この形態によれば、表示部によって視認可能な視界内に無人機が進入したか否かを高精度に判定することができる。
上記形態において、前記GNSS情報取得部は、前記GNSS情報を受信するGNSS受信部を備え;前記自動航行モードは、前記頭部装着型表示装置へ帰還させるものであってもよい。この形態によれば、頭部装着型表示装置の元へ帰還させることを、高い精度で行うことができる。
上記形態において、前記GNSS情報取得部は、前記頭部装着型表示装置から離れた位置に備えられたGNSS受信部から前記GNSS情報を受信してもよい。この形態によれば、GNSS受信部が備えられた位置に向かって自動航行モードでの航行している場合に、特定の航行モードに航行を切り替えて、目的地まで高い精度で航行を行うことができる。
上記形態において、更に、前記無人機から送られてくる無線電波を受信する無線電波受信部を備え;前記特定の航行モードは、前記無線電波受信部によって受信される無線電波の強度を測定し、測定した前記強度の変化から航行ルートを定めるモードであってもよい。無線電波の強度に基づく航行モードは高い精度での航行を可能とすることから、この形態の表示装置によれば、目的地までの航行をより高い精度で行うことができる。
上記形態において、前記無人機は、機体の動きを検出する慣性センサーを備え、前記慣性センサーの検出値を逐次積算することによって、機体の位置を求め;前記特定の航行モードは、前記頭部装着型表示装置が、前記無人機が求めた前記機体の位置を取得し、取得した前記機体の位置から航行ルートを定めるモードであってもよい。この形態の表示装置によれば、目的地までの航行を高い精度で行うことができる。
上記形態において、前記慣性センサーは、第1慣性センサーであり;更に、動きを検出する第2慣性センサーを有し;前記特定の航行モードは、前記頭部装着型表示装置が、前記第2慣性センサーの検出値を逐次積算することによって、前記頭部装着型表示装置の位置を求め、求めた前記頭部装着型表示装置の位置と、取得した前記機体の位置と、から航行ルートを定めるモードであってもよい。この形態によれば、頭部装着型表示装置へ帰還させることを、より高い精度で行うことができる。
上記形態において、更に、使用者によって操作され、前記無人機の動きを指示する操作部を有し;前記特定の航行モードは、前記頭部装着型表示装置が、前記操作部に対する指示に従って航行ルートを定めるモードであってもよい。この形態によれば、頭部装着型表示装置へ帰還させることを、高い精度で行うことができる。
上記形態において、前記表示部は、外界を透過視認可能な表示部であり;前記制御部は;前記操作部のための操作画面を前記表示部に表示させ;前記視界内に前記無人機が進入したと判定された場合に、前記表示部における前記無人機の位置を推定し、推定された前記位置から離れた位置に前記操作画面を移動させてもよい。この形態によれば、使用者の視界において、無人機が操作画面によって隠されることがないことから、無人機を帰還させる操作性を向上させることができる。
上記形態において、前記通信部は、前記無人機によって撮像された画像である無人機画像を、前記無人機から無線通信で取得し;前記表示部は、外界を透過視認可能な表示部であり、当該頭部装着型表示装置から前記無人機までの距離である操縦距離が、第2距離よりも遠い場合、第1態様による表示をし、前記操縦距離が前記第2距離よりも近く第1距離以上の場合、第2態様による表示をし、前記操縦距離が前記第1距離よりも近い場合、第3態様による表示をし;前記第1,第2及び第3態様による表示は、前記無人機画像の表示を含んでもよい。この形態によれば、無人機画像を含む表示を、操縦距離に応じて変更することができる。
上記形態において、前記第2態様による表示における前記無人機画像の表示領域は、前記第1態様による表示における前記無人機画像の表示領域よりも狭くてもよい。この形態によれば、操縦距離が第2距離よりも小さい場合、つまり無人機が使用者に近い場合、表示部を通じた無人機の視認がしやすくなる。
上記形態において、前記第1態様による表示は、前記第1態様による表示であることを示す表示を含み;前記第2態様による表示は、前記第2態様による表示であることを示す表示を含み;前記第3態様による表示は、前記第3態様による表示であることを示す表示を含んでもよい。この形態によれば、使用者は、何れの態様による表示であるかを認識できる。
上記形態において、前記制御部は、前記第1及び第2距離の少なくとも何れか一方を、前記無人機と、前記無人機周辺の背景色との関係に基づき設定してもよい。この形態によれば、無人機の見えやすさに応じて、第1及び第2距離の少なくとも何れか一方を設定することが可能になる。
上記形態において、前記操縦距離が前記第1距離以下であることは、前記表示部によって視認可能な視界内に前記無人機が進入したと判定されることの必要条件であり;前記制御部は、前記自動航行モードによる航行によって前記操縦距離が前記第1距離よりも大きい距離から前記第1距離に縮まった場合、前記特定の航行モードによる航行が開始するまで、前記無人機に対し現在位置でのホバリングを指示してもよい。この形態によれば、自動航行モードから特定の航行モードに切り替える際に、時間的な余裕を持たせることができる。
上記形態において、前記制御部は、前記操縦距離が前記第1距離以下から前記第1距離より大きい距離に伸びた場合、前記無人機に対し前記自動航行モードによって前記操縦距離を縮めるように指示してもよい。この形態によれば、一旦、特定の航行モードになった後に第1距離よりも遠ざかった場合、自動航行モードに切り替えることができる。
上記形態において、前記制御部は、複数の前記無人機に対し、航行モードの指示が可能であってもよい。この形態によれば、1つの頭部装着型表示装置を用いて、複数の無人機を操縦できる。
上記形態において、更に、使用者によって操作され、前記無人機の動きを指示する操作部を有し;前記制御部は、前記操作部のための操作画面を前記表示部に表示させ;前記特定の航行モードは、前記頭部装着型表示装置が、前記操作部に対する指示に従って航行ルートを定めるモードであり;前記制御部は、前記操縦距離が前記第1距離以下の無人機が複数、存在する場合、前記複数の無人機の中から何れか1つを、前記操作部に対する指示に従って航行ルートを定める無人機である選択機として選択してもよい。この形態によれば、複数の無人機を1つずつ操縦することができる。
上記形態において、前記制御部は、前記操縦距離が前記第1距離以下の無人機の中で、前記選択機以外の無人機に対し、ホバリングを指示してもよい。この形態によれば、複数の無人機を1つずつ操縦することができる。
上記形態において、前記制御部は、前記操縦距離が前記第1距離以下の無人機の中で、前記選択機以外の無人機に対し、前記選択機に追従することを指示してもよい。この形態によれば、複数の無人機を一遍に操縦することができる。
上記形態において、前記表示部は、前記第3態様による表示として、前記選択機を、前記選択機以外の無人機と区別するための像を表示してもよい。この形態によれば、どの無人機を操縦しているのかが分かりやすくなる。
上記形態において、前記選択機以外の無人機には、当該頭部装着型表示装置による操縦対象の無人機と、当該頭部装着型表示装置による操縦対象外の無人機とが含まれ;前記表示部は、前記第3態様による表示として、当該頭部装着型表示装置による操縦対象の無人機と、当該頭部装着型表示装置による操縦対象外の無人機と区別するための像を表示してもよい。この形態によれば、どの無人機が操縦対象であり、どの無人機が操縦対象外かが分かりやすくなる。
上記形態において、前記制御部は、前記特定の航行モードにおける目的地の入力を使用者から受け付け、前記目的地に向かうことを前記無人機に指示してもよい。この形態によれば、任意の目的地に無人機を向かわせることができる。
本開示は、頭部装着型表示装置以外の種々の形態で実現することも可能である。例えば、無人機の操縦方法、頭部装着型表示装置の制御方法、頭部装着型表示装置の備える各構成要素の機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記憶した記憶媒体等で実現できる。
A.第1実施形態:
A−1.全体の構成:
図1は、第1実施形態における頭部装着型表示装置を備える無人航空機システムの概略構成を示す説明図である。無人航空機システムは、頭部装着型表示装置100と、無人航空機400と、リモコン装置500と、を備えている。
A−1.全体の構成:
図1は、第1実施形態における頭部装着型表示装置を備える無人航空機システムの概略構成を示す説明図である。無人航空機システムは、頭部装着型表示装置100と、無人航空機400と、リモコン装置500と、を備えている。
無人航空機400は、GNSS(Global Navigation Satellite System)レシーバーやIMU(Inertial Measurement Unit)センサー等を搭載し、これらにより機体の姿勢や位置を把握しつつ飛行することができる。無人航空機400は、いわゆるドローンである。リモコン装置500は、無人航空機400を遠隔から操縦する装置である。無人航空機400は、リモコン装置500によって遠隔操縦されるが、自律飛行も可能である。リモコン装置500には、USBケーブル350を介して、頭部装着型表示装置100が接続されている。頭部装着型表示装置100は、リモコン装置500を介して、無人航空機400を操縦することができる。まず、頭部装着型表示装置100の構成について、詳述する。
A−2.頭部装着型表示装置の構成:
頭部装着型表示装置100は、使用者の頭部に装着する表示装置であり、ヘッドマウントディスプレイ(Head Mounted Display、HMD)とも呼ばれる。HMD100は、グラスを通過して視認される外界の中に画像が浮かび上がるシースルー型(透過型)の頭部装着型表示装置である。HMD100は、使用者に画像を視認させる画像表示部20と、画像表示部20を制御する制御装置(コントローラー)10とを備えている。
頭部装着型表示装置100は、使用者の頭部に装着する表示装置であり、ヘッドマウントディスプレイ(Head Mounted Display、HMD)とも呼ばれる。HMD100は、グラスを通過して視認される外界の中に画像が浮かび上がるシースルー型(透過型)の頭部装着型表示装置である。HMD100は、使用者に画像を視認させる画像表示部20と、画像表示部20を制御する制御装置(コントローラー)10とを備えている。
画像表示部20は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有する。画像表示部20が「表示部」に相当する。画像表示部20は、右保持部21と、左保持部23と、前部フレーム27とを有する支持体に、右表示ユニット22と、左表示ユニット24と、右導光板26と、左導光板28とを備える。
右保持部21および左保持部23は、それぞれ、前部フレーム27の両端部から後方に延び、眼鏡のテンプル(つる)のように、使用者の頭部に画像表示部20を保持する。ここで、前部フレーム27の両端部のうち、画像表示部20の装着状態において使用者の右側に位置する端部を端部ERとし、使用者の左側に位置する端部を端部ELとする。右保持部21は、前部フレーム27の端部ERから、画像表示部20の装着状態における使用者の右側頭部に対応する位置まで延伸して設けられている。左保持部23は、前部フレーム27の端部ELから、画像表示部20の装着状態における使用者の左側頭部に対応する位置まで延伸して設けられている。
右導光板26および左導光板28は、前部フレーム27に設けられている。右導光板26は、画像表示部20の装着状態における使用者の右眼の眼前に位置し、右眼に画像を視認させる。左導光板28は、画像表示部20の装着状態における使用者の左眼の眼前に位置し、左眼に画像を視認させる。
前部フレーム27は、右導光板26の一端と左導光板28の一端とを互いに連結した形状を有する。この連結位置は、画像表示部20の装着状態における使用者の眉間の位置に対応する。前部フレーム27には、右導光板26と左導光板28との連結位置において、画像表示部20の装着状態において使用者の鼻に当接する鼻当て部が設けられていてもよい。この場合、鼻当て部と右保持部21と左保持部23とによって、画像表示部20を使用者の頭部に保持できる。また、右保持部21および左保持部23に対して、画像表示部20の装着状態において使用者の後頭部に接するベルトを連結してもよい。この場合、ベルトによって画像表示部20を使用者の頭部に強固に保持できる。
右表示ユニット22は、右導光板26による画像の表示を行う。右表示ユニット22は、右保持部21に設けられ、画像表示部20の装着状態における使用者の右側頭部の近傍に位置する。左表示ユニット24は、左導光板28による画像の表示を行う。左表示ユニット24は、左保持部23に設けられ、画像表示部20の装着状態における使用者の左側頭部の近傍に位置する。なお、右表示ユニット22および左表示ユニット24を総称して「表示駆動部」とも呼ぶ。
本実施形態の右導光板26および左導光板28は、光透過性の樹脂等によって形成される光学部(例えばプリズム)であり、右表示ユニット22および左表示ユニット24が出力する画像光を使用者の眼に導く。なお、右導光板26および左導光板28の表面には、調光板が設けられてもよい。調光板は、光の波長域により透過率が異なる薄板状の光学素子であり、いわゆる波長フィルターとして機能する。調光板は、例えば、前部フレーム27の表面(使用者の眼と対向する面とは反対側の面)を覆うように配置される。調光板の光学特性を適宜選択することにより、可視光、赤外光、および紫外光等の任意の波長域の光の透過率を調整することができ、外部から右導光板26および左導光板28に入射し、右導光板26および左導光板28を透過する外光の光量を調整できる。
画像表示部20は、右表示ユニット22および左表示ユニット24がそれぞれ生成する画像光を、右導光板26および左導光板28に導き、この画像光によって画像(拡張現実感(AR)画像)を使用者に視認させる(これを「画像を表示する」とも呼ぶ)。使用者の前方から右導光板26および左導光板28を透過して外光が使用者の眼に入射する場合、使用者の眼には、画像を構成する画像光と、外光とが入射する。このため、使用者における画像の視認性は、外光の強さに影響を受ける。
このため、例えば前部フレーム27に調光板を装着し、調光板の光学特性を適宜選択あるいは調整することによって、画像の視認のしやすさを調整することができる。典型的な例では、HMD100を装着した使用者が少なくとも外の景色を視認できる程度の光透過性を有する調光板を選択することができる。調光板を用いると、右導光板26および左導光板28を保護し、右導光板26および左導光板28の損傷や汚れの付着等を抑制する効果が期待できる。調光板は、前部フレーム27、あるいは、右導光板26および左導光板28のそれぞれに対して着脱可能としてもよい。また、複数種類の調光板を交換して着脱可能としてもよく、調光板を省略してもよい。
カメラ61は、画像表示部20の前部フレーム27に配置されている。カメラ61は、前部フレーム27の前面において、右導光板26および左導光板28を透過する外光を遮らない位置に設けられる。図1の例では、カメラ61は、前部フレーム27の端部ER側に配置されている。カメラ61は、前部フレーム27の端部EL側に配置されていてもよく、右導光板26と左導光板28との連結部に配置されていてもよい。
カメラ61は、CCDやCMOS等の撮像素子、および、撮像レンズ等を備えるデジタルカメラである。本実施形態のカメラ61は単眼カメラであるが、ステレオカメラを採用してもよい。カメラ61は、HMD100の表側方向、換言すれば、画像表示部20の装着状態において使用者が視認する視界方向の、少なくとも一部の外界(実空間)を撮像する。換言すれば、カメラ61は、使用者の視界と重なる範囲または方向を撮像し、使用者が視認する方向を撮像する。カメラ61の画角の広さは適宜設定できる。本実施形態では、カメラ61の画角の広さは、使用者が右導光板26および左導光板28を透過して視認可能な使用者の視界の全体と一致するように設定される。カメラ61は、制御機能部150(図6)の制御に従って撮像を実行し、得られた撮像データを制御機能部150へ出力する。
HMD100は、予め設定された測定方向に位置する測定対象物までの距離を検出する測距センサーを備えていてもよい。測距センサーは、例えば、前部フレーム27の右導光板26と左導光板28との連結部分に配置することができる。測距センサーの測定方向は、MD100の表側方向(カメラ61の撮像方向と重複する方向)とすることができる。測距センサーは、例えば、LEDやレーザーダイオード等の発光部と、光源が発する光が測定対象物に反射する反射光を受光する受光部と、により構成できる。この場合、三角測距処理や、時間差に基づく測距処理により距離を求める。測距センサーは、例えば、超音波を発する発信部と、測定対象物で反射する超音波を受信する受信部と、により構成してもよい。この場合、時間差に基づく測距処理により距離を求める。測距センサーはカメラ61と同様に、制御機能部150(図6)により制御され、検出結果を制御機能部150へ出力する。
図2は、画像表示部20が備える光学系の構成を示す要部平面図である。説明の便宜上、図2には使用者の右眼REおよび左眼LEを図示する。図2に示すように、右表示ユニット22と左表示ユニット24とは、左右対称に構成されている。
右眼REに画像(AR画像)を視認させる構成として、右表示ユニット22は、OLED(Organic Light Emitting Diode)ユニット221と、右光学系251とを備える。OLEDユニット221は、画像光を発する。右光学系251は、レンズ群等を備え、OLEDユニット221が発する画像光Lを右導光板26へと導く。
OLEDユニット221は、OLEDパネル223と、OLEDパネル223を駆動するOLED駆動回路225とを有する。OLEDパネル223は、有機エレクトロルミネッセンスにより発光し、R(赤)、G(緑)、B(青)の色光をそれぞれ発する発光素子により構成される自発光型の表示パネルである。OLEDパネル223は、R、G、Bの素子を1個ずつ含む単位を1画素とした複数の画素が、マトリクス状に配置されている。
OLED駆動回路225は、制御機能部150(図6)の制御に従って、OLEDパネル223が備える発光素子の選択および通電を実行し、発光素子を発光させる。OLED駆動回路225は、OLEDパネル223の裏面、すなわち発光面の裏側に、ボンディング等により固定されている。OLED駆動回路225は、例えばOLEDパネル223を駆動する半導体デバイスで構成され、OLEDパネル223の裏面に固定される基板に実装されてもよい。この基板には、後述する温度センサー217(図5)が実装される。なお、OLEDパネル223は、白色に発光する発光素子をマトリクス状に配置し、R、G、Bの各色に対応するカラーフィルターを重ねて配置する構成を採用してもよい。また、R、G、Bの色光をそれぞれ放射する発光素子に加えて、W(白)の光を放射する発光素子を備えるWRGB構成のOLEDパネル223が採用されてもよい。
右光学系251は、OLEDパネル223から射出された画像光Lを平行状態の光束にするコリメートレンズを有する。コリメートレンズにより平行状態の光束にされた画像光Lは、右導光板26に入射する。右導光板26の内部において光を導く光路には、画像光Lを反射する複数の反射面が形成される。画像光Lは、右導光板26の内部で複数回の反射を経て右眼RE側に導かれる。右導光板26には、右眼REの眼前に位置するハーフミラー261(反射面)が形成される。画像光Lは、ハーフミラー261で反射後、右導光板26から右眼REへと射出され、この画像光Lが右眼REの網膜で像を結ぶことで、使用者に画像を視認させる。
左眼LEに画像(AR画像)を視認させる構成として、左表示ユニット24は、OLEDユニット241と、左光学系252とを備える。OLEDユニット241は画像光を発する。左光学系252は、レンズ群等を備え、OLEDユニット241が発する画像光Lを左導光板28へと導く。OLEDユニット241は、OLEDパネル243と、OLEDパネル243を駆動するOLED駆動回路245を有する。各部の詳細は、OLEDユニット221、OLEDパネル223、OLED駆動回路225と同じである。OLEDパネル243の裏面に固定される基板には、温度センサー239(図5)が実装される。また、左光学系252の詳細は右光学系251と同じである。
以上説明した構成によれば、HMD100は、シースルー型の表示装置として機能することができる。すなわち使用者の右眼REには、ハーフミラー261で反射した画像光Lと、右導光板26を透過した外光OLとが入射する。使用者の左眼LEには、ハーフミラー281で反射した画像光Lと、左導光板28を透過した外光OLとが入射する。このように、HMD100は、内部で処理した画像の画像光Lと外光OLとを重ねて使用者の眼に入射させる。この結果、使用者にとっては、右導光板26および左導光板28を透かして外界(実世界)が見えると共に、この外界に重なるようにして画像光Lによる画像(AR画像)が視認される。
ハーフミラー261およびハーフミラー281は、右表示ユニット22および左表示ユニット24がそれぞれ出力する画像光を反射して画像を取り出す「画像取り出し部」として機能する。また、右光学系251および右導光板26を総称して「右導光部」とも呼び、左光学系252および左導光板28を総称して「左導光部」とも呼ぶ。右導光部および左導光部の構成は、上述した例に限定されず、画像光を用いて使用者の眼前に画像を形成する限りにおいて任意の方式を用いることができる。例えば、右導光部および左導光部には、回折格子を用いてもよいし、半透過反射膜を用いてもよい。
図1において、制御装置10と画像表示部20とは、接続ケーブル40によって接続される。接続ケーブル40は、制御装置10の下部に設けられるコネクターに着脱可能に接続され、左保持部23の先端ALから、画像表示部20内部の各種回路に接続する。接続ケーブル40には、デジタルデータを伝送するメタルケーブルまたは光ファイバーケーブルを有する。接続ケーブル40にはさらに、アナログデータを伝送するメタルケーブルを含んでもよい。接続ケーブル40の途中には、コネクター46が設けられている。
コネクター46は、ステレオミニプラグを接続するジャックであり、コネクター46と制御装置10とは、例えばアナログ音声信号を伝送するラインで接続される。図1に示す本実施形態の例では、コネクター46には、ステレオヘッドホンを構成する右イヤホン32および左イヤホン34と、マイク63を有するヘッドセット30とが接続されている。
マイク63は、例えば図1に示すように、マイク63の集音部が使用者の視線方向を向くように配置されている。マイク63は、音声を集音し、音声信号を音声インターフェース182(図5)に出力する。マイク63は、モノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであっても無指向性のマイクであってもよい。
制御装置10は、HMD100(特に画像表示部20)を制御するための装置である。制御装置10は、点灯部12と、タッチパッド14と、方向キー16と、決定キー17と、電源スイッチ18とを含んでいる。点灯部12は、HMD100の動作状態(例えば、電源のON/OFF等)を、その発光態様によって通知する。点灯部12としては、例えば、LED(Light Emitting Diode)を用いることができる。
タッチパッド14は、タッチパッド14の操作面上での接触操作を検出して、検出内容に応じた信号を出力する。タッチパッド14としては、静電式や圧力検出式、光学式といった種々のタッチパッドを採用することができる。方向キー16は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。決定キー17は、押下操作を検出して、制御装置10において操作された内容を決定するための信号を出力する。電源スイッチ18は、スイッチのスライド操作を検出することで、HMD100の電源の状態を切り替える。
図3は、使用者から見た画像表示部20の要部構成を示す図である。図3では、接続ケーブル40、右イヤホン32、左イヤホン34の図示を省略している。図3の状態では、右導光板26および左導光板28の裏側が視認できると共に、右眼REに画像光を照射するためのハーフミラー261、および、左眼LEに画像光を照射するためのハーフミラー281が略四角形の領域として視認できる。使用者は、これらハーフミラー261、281を含む左右の導光板26、28の全体を透過して外界を視認すると共に、ハーフミラー261、281の位置に矩形の表示画像を視認する。
図4は、カメラ61の画角を説明するための図である。図4では、カメラ61と、使用者の右眼REおよび左眼LEとを平面視で模式的に示すと共に、カメラ61の画角(撮像範囲)をλで示す。なお、カメラ61の画角λは図示のように水平方向に拡がっている他、一般的なデジタルカメラと同様に鉛直方向にも拡がっている。
上述のようにカメラ61は、画像表示部20において右側の端部に配置され、使用者の視線の方向(すなわち使用者の前方)を撮像する。このためカメラ61の光軸は、右眼REおよび左眼LEの視線方向を含む方向とされる。使用者がHMD100を装着した状態で視認できる外界は、無限遠とは限らない。例えば、使用者が両眼で対象物OBを注視すると、使用者の視線は、図中の符号RD、LDに示すように、対象物OBに向けられる。この場合、使用者から対象物OBまでの距離は、30cm〜10m程度であることが多く、1m〜4mであることがより多い。そこで、HMD100について、通常使用時における使用者から対象物OBまでの距離の上限および下限の目安を定めてもよい。この目安は、予め求められHMD100にプリセットされていてもよいし、使用者が設定してもよい。カメラ61の光軸および画角は、このような通常使用時における対象物OBまでの距離が、設定された上限および下限の目安に相当する場合において対象物OBが画角に含まれるように設定されることが好ましい。
なお、一般的に、人間の視野角は水平方向におよそ200度、垂直方向におよそ125度とされる。そのうち情報受容能力に優れる有効視野は水平方向に30度、垂直方向に20度程度である。人間が注視する注視点が迅速に安定して見える安定注視野は、水平方向に60〜90度、垂直方向に45〜70度程度とされている。この場合、注視点が対象物OB(図4)であるとき、視線RD、LDを中心として水平方向に30度、垂直方向に20度程度が有効視野である。また、水平方向に60〜90度、垂直方向に45〜70度程度が安定注視野である。使用者が画像表示部20を透過して右導光板26および左導光板28を透過して視認する実際の視野を、実視野(FOV:Field Of View)と呼ぶ。実視野は、視野角および安定注視野より狭いが、有効視野より広い。
本実施形態のカメラ61の画角λは、使用者の視野と一致する範囲を撮像可能に設定される。カメラ61の画角λは、少なくとも使用者の有効視野より広い範囲を撮像可能に設定される構成としてもよい。実視野よりも広い範囲を撮像可能に設定される構成としてもよい。カメラ61の画角λは、使用者の安定注視野より広い範囲を撮像可能に設定される構成としてもよく、使用者の両眼の視野角と一致する範囲を撮像可能に設定される構成としてもよい。このため、カメラ61には、撮像レンズとしていわゆる広角レンズを備え、広い画角を撮像できる構成としてもよい。広角レンズには、超広角レンズ、準広角レンズと呼ばれるレンズを含んでもよい。また、カメラ61には、単焦点レンズを含んでもよく、ズームレンズを含んでもよく、複数のレンズからなるレンズ群を含んでもよい。
図5は、HMD100の電気的な構成を示すブロック図である。制御装置10は、プログラムを実行してHMD100を制御するメインプロセッサー140と、記憶部と、入出力部と、センサー類と、インターフェースと、電源部130とを備える。メインプロセッサー140には、これらの記憶部、入出力部、センサー類、インターフェース、電源部130がそれぞれ接続されている。メインプロセッサー140は、制御装置10が内蔵しているコントローラー基板120に実装されている。
記憶部には、メモリー118と、不揮発性記憶部121とが含まれている。メモリー118は、メインプロセッサー140によって実行されるコンピュータープログラム、および、処理されるデータを一時的に記憶するワークエリアを構成する。不揮発性記憶部121は、フラッシュメモリーやeMMC(embedded Multi Media Card)で構成される。不揮発性記憶部121は、メインプロセッサー140が実行するコンピュータープログラムや、メインプロセッサー140によって処理される各種のデータを記憶する。本実施形態において、これらの記憶部はコントローラー基板120に実装されている。
入出力部には、タッチパッド14と、操作部110とが含まれている。操作部110には、制御装置10に備えられた方向キー16と、決定キー17と、電源スイッチ18とが含まれる。メインプロセッサー140は、これら各入出力部を制御すると共に、各入出力部から出力される信号を取得する。
センサー類には、6軸センサー111と、磁気センサー113と、GNSSレシーバー115とが含まれている。6軸センサー111は、3軸加速度センサーと3軸ジャイロ(角速度)センサーとを備えるモーションセンサー(慣性センサー)である。6軸センサー111は、これらセンサーがモジュール化されたIMUを採用してもよい。磁気センサー113は、例えば、3軸の地磁気センサーである。
GNSSレシーバー115は、図示しないGNSSアンテナを用いて、航法衛星から送信される電波を受信し、図示しないGNSS回路を用いて、受信された電波を解析することにより、GNSS情報を取得する。GNSS情報は、緯度、経度、高度を含む位置情報や、撮影時刻および日付の情報を有する。
これらセンサー類(6軸センサー111、磁気センサー113、GNSSレシーバー115)は、検出値を予め指定されたサンプリング周波数に従って、メインプロセッサー140へと出力する。各センサーが検出値を出力するタイミングは、メインプロセッサー140からの指示に応じてもよい。
インターフェースには、無線通信部117と、音声コーデック180と、外部コネクター184と、外部メモリーインターフェース186と、USB(Universal Serial Bus)コネクター188と、センサーハブ192と、FPGA194と、インターフェース196とが含まれている。これらは、外部とのインターフェースとして機能する。無線通信部117は、HMD100と外部機器との間における無線通信を実行する。無線通信部117は、図示しないアンテナ、RF回路、ベースバンド回路、通信制御回路等を備えて構成され、あるいはこれらが統合されたデバイスとして構成されている。無線通信部117は、例えば、Bluetooth(登録商標)、Wi−Fi(登録商標)を含む無線LAN等の規格に準拠した無線通信を行う。
音声コーデック180は、音声インターフェース182に接続され、音声インターフェース182を介して入出力される音声信号のエンコード/デコードを行う。音声インターフェース182は、音声信号を入出力するインターフェースである。音声コーデック180は、アナログ音声信号からデジタル音声データへの変換を行うA/Dコンバーター、および、その逆の変換を行うD/Aコンバーターを備えてもよい。本実施形態のHMD100は、音声を右イヤホン32(図1)および左イヤホン34から出力し、マイク63により集音する。音声コーデック180は、メインプロセッサー140が出力するデジタル音声データをアナログ音声信号に変換し、音声インターフェース182を介して出力する。また、音声コーデック180は、音声インターフェース182に入力されるアナログ音声信号をデジタル音声データに変換してメインプロセッサー140に出力する。
外部コネクター184は、メインプロセッサー140に対して、メインプロセッサー140と通信する外部装置(例えば、パーソナルコンピューター、スマートフォン、ゲーム機器等)を接続するためのコネクターである。外部コネクター184に接続された外部装置は、コンテンツの供給元となり得る他、メインプロセッサー140が実行するコンピュータープログラムのデバッグや、HMD100の動作ログの収集に使用できる。外部コネクター184は種々の態様を採用できる。外部コネクター184としては、例えば、USBインターフェース、マイクロUSBインターフェース、メモリーカード用インターフェース等の有線接続に対応したインターフェースや、無線LANインターフェース、Bluetoothインターフェース等の無線接続に対応したインターフェースを採用できる。
外部メモリーインターフェース186は、可搬型のメモリーデバイスを接続可能なインターフェースである。外部メモリーインターフェース186は、例えば、カード型記憶媒体を装着してデータの読み書きを行うメモリーカードスロットと、インターフェース回路とを含む。カード型記憶媒体のサイズ、形状、規格等は適宜選択できる。USBコネクター188は、USB規格に準拠したメモリーデバイス、スマートフォン、パーソナルコンピューター等を接続可能なインターフェースである。
USBコネクター188は、例えば、USB規格に準拠したコネクターと、インターフェース回路とを含む。USBコネクター188のサイズ、形状、USB規格のバージョン等は適宜選択できる。
センサーハブ192およびFPGA194は、インターフェース(I/F)196を介して画像表示部20に接続されている。センサーハブ192は、画像表示部20が備える各種センサーの検出値を取得して、メインプロセッサー140に出力する。FPGA194は、メインプロセッサー140と画像表示部20の各部との間で送受信されるデータの処理およびインターフェース196を介した伝送を実行する。インターフェース196は、画像表示部20の右表示ユニット22と、左表示ユニット24とに対してそれぞれ接続されている。本実施形態の例では、左保持部23に接続ケーブル40(図1)が接続され、この接続ケーブル40に繋がる配線が画像表示部20内部に敷設され、右表示ユニット22と左表示ユニット24とのそれぞれが、制御装置10のインターフェース196に接続される。
また、HMD100は、バイブレーター19を備える。バイブレーター19は、図示しないモーターと、偏芯した回転子等を備え、メインプロセッサー140の制御に従って振動を発生する。HMD100は、例えば、操作部110に対する操作を検出した場合や、HMD100の電源がオンオフされた場合等に所定の振動パターンでバイブレーター19により振動を発生させる。
電源部130には、バッテリー132と、電源制御回路134とが含まれている。電源部130は、制御装置10が動作するための電力を供給する。バッテリー132は、充電可能な電池である。電源制御回路134は、バッテリー132の残容量の検出と、OS143への充電の制御を行う。電源制御回路134は、メインプロセッサー140に接続され、バッテリー132の残容量の検出値や、バッテリー132の電圧の検出値をメインプロセッサー140へと出力する。なお、電源部130が供給する電力に基づいて、制御装置10から画像表示部20へと電力を供給してもよい。電源部130から制御装置10の各部および画像表示部20への電力の供給状態を、メインプロセッサー140により制御可能な構成としてもよい。
右表示ユニット22は、表示ユニット基板210と、OLEDユニット221と、カメラ61と、照度センサー65と、LEDインジケーター67と、温度センサー217とを備える。表示ユニット基板210には、インターフェース196に接続されるインターフェース(I/F)211と、受信部(Rx)213と、EEPROM(Electrically Erasable Programmable Read-Only Memory)215とが実装されている。受信部213は、インターフェース211を介して制御装置10から入力されるデータを受信する。受信部213は、OLEDユニット221で表示する画像の画像データを受信した場合に、受信した画像データをOLED駆動回路225(図2)へと出力する。
EEPROM215は、各種のデータをメインプロセッサー140が読み取り可能な態様で記憶する。EEPROM215は、例えば、画像表示部20のOLEDユニット221、241の発光特性や表示特性に関するデータ、右表示ユニット22または左表示ユニット24のセンサー特性に関するデータ等を記憶する。具体的には、例えば、OLEDユニット221、241のガンマ補正に係るパラメーター、後述する温度センサー217、239の検出値を補償するデータ等を記憶する。これらのデータは、HMD100の工場出荷時の検査によって生成され、EEPROM215に書き込まれる。出荷後は、メインプロセッサー140がEEPROM215のデータを読み込んで各種の処理に利用する。
カメラ61は、インターフェース211を介して入力される信号に従って撮像を実行し、撮像画像データあるいは撮像結果を表す信号を制御装置10へと出力する。照度センサー65は、図1に示すように、前部フレーム27の端部ERに設けられ、画像表示部20を装着する使用者の前方からの外光を受光するように配置される。照度センサー65は、受光量(受光強度)に対応した検出値を出力する。LEDインジケーター67は、図1に示すように、前部フレーム27の端部ERにおいてカメラ61の近傍に配置される。LEDインジケーター67は、カメラ61による撮像を実行中に点灯して、撮像中であることを報知する。
温度センサー217は、温度を検出し、検出した温度に対応する電圧値あるいは抵抗値を出力する。温度センサー217は、OLEDパネル223(図3)の裏面側に実装される。温度センサー217は、例えばOLED駆動回路225と同一の基板に実装されてもよい。この構成により、温度センサー217は主としてOLEDパネル223の温度を検出する。なお、温度センサー217は、OLEDパネル223あるいはOLED駆動回路225に内蔵されてもよい。例えば、OLEDパネル223がSi−OLEDとしてOLED駆動回路225と共に統合半導体チップ上の集積回路として実装される場合、この半導体チップに温度センサー217を実装してもよい。
左表示ユニット24は、表示ユニット基板230と、OLEDユニット241と、温度センサー239とを備える。表示ユニット基板230には、インターフェース196に接続されるインターフェース(I/F)231と、受信部(Rx)233と、6軸センサー235と、磁気センサー237とが実装されている。受信部233は、インターフェース231を介して制御装置10から入力されるデータを受信する。受信部233は、OLEDユニット241で表示する画像の画像データを受信した場合に、受信した画像データをOLED駆動回路245(図2)へと出力する。
6軸センサー235は、3軸加速度センサーおよび3軸ジャイロ(角速度)センサーを備えるモーションセンサー(慣性センサー)である。6軸センサー235は、上記のセンサーがモジュール化されたIMUを採用してもよい。磁気センサー237は、例えば、3軸の地磁気センサーである。6軸センサー235と磁気センサー237は、画像表示部20に設けられているため、画像表示部20が使用者の頭部に装着されている場合には、使用者の頭部の動きを検出する。検出された頭部の動きから画像表示部20の向き、すなわち、使用者の視界が特定される。
温度センサー239は、温度を検出し、検出した温度に対応する電圧値あるいは抵抗値を出力する。温度センサー239は、OLEDパネル243(図3)の裏面側に実装される。温度センサー239は、例えばOLED駆動回路245と同一の基板に実装されてもよい。この構成により、温度センサー239は主としてOLEDパネル243の温度を検出する。温度センサー239は、OLEDパネル243あるいはOLED駆動回路245に内蔵されてもよい。詳細は温度センサー217と同様である。
右表示ユニット22のカメラ61、照度センサー65、温度センサー217と、左表示ユニット24の6軸センサー235、磁気センサー237、温度センサー239は、制御装置10のセンサーハブ192に接続される。センサーハブ192は、メインプロセッサー140の制御に従って各センサーのサンプリング周期の設定および初期化を行う。センサーハブ192は、各センサーのサンプリング周期に合わせて、各センサーへの通電、制御データの送信、検出値の取得等を実行する。センサーハブ192は、予め設定されたタイミングで、右表示ユニット22および左表示ユニット24が備える各センサーの検出値をメインプロセッサー140へ出力する。センサーハブ192は、各センサーの検出値を一時的に保持するキャッシュ機能を備えてもよい。センサーハブ192は、各センサーの検出値の信号形式やデータ形式の変換機能(例えば、統一形式への変換機能)を備えてもよい。
FPGA194は、メインプロセッサー140の制御に従ってLEDインジケーター67への通電を開始および停止させることで、LEDインジケーター67を点灯または消灯させる。
図6は、制御装置10の構成を機能的に示すブロック図である。制御装置10は、機能的には、記憶機能部122と、制御機能部150とを備える。記憶機能部122は、不揮発性記憶部121(図5)により構成される論理的な記憶部である。記憶機能部122は、記憶機能部122のみを使用する構成に替えて、不揮発性記憶部121に組み合わせてEEPROM215やメモリー118を使用する構成としてもよい。制御機能部150は、メインプロセッサー140がコンピュータープログラムを実行することにより、すなわち、ハードウェアとソフトウェアとが協働することにより構成される。
記憶機能部122には、制御機能部150における処理に供する種々のデータが記憶されている。具体的には、本実施形態の記憶機能部122には、設定データ123と、コンテンツデータ124と、が記憶されている。設定データ123は、HMD100の動作に係る各種の設定値を含む。例えば、設定データ123には、制御機能部150がHMD100を制御する際のパラメーター、行列式、演算式、LUT(Look Up Table)等が含まれている。
コンテンツデータ124には、制御機能部150の制御によって画像表示部20が表示する画像や映像を含むコンテンツのデータ(画像データ、映像データ、音声データ等)が含まれている。なお、コンテンツデータ124には、双方向型のコンテンツのデータが含まれてもよい。双方向型のコンテンツとは、操作部110によって使用者の操作を取得して、取得した操作内容に応じた処理を制御機能部150が実行し、処理内容に応じたコンテンツを画像表示部20に表示するタイプのコンテンツを意味する。この場合、コンテンツのデータには、使用者の操作を取得するためのメニュー画面の画像データ、メニュー画面に含まれる項目に対応する処理を定めるデータ等を含み得る。映像データは、動画を示す動画データである。
制御機能部150は、記憶機能部122が記憶しているデータを利用して各種処理を実行することにより、OS143、画像処理部145、表示制御部147、撮像制御部149、入出力制御部151、通信制御部153、無人航空機制御部155としての機能を実行する。本実施形態では、OS143以外の各機能部は、OS143上で実行されるコンピュータープログラムとして構成されている。
画像処理部145は、画像表示部20により表示する画像/映像の画像データに基づいて、右表示ユニット22および左表示ユニット24に送信する信号を生成する。画像処理部145が生成する信号は、垂直同期信号、水平同期信号、クロック信号、アナログ画像信号等であってもよい。画像処理部145は、メインプロセッサー140がコンピュータープログラムを実行して実現される構成の他、メインプロセッサー140とは別のハードウェア(例えば、DSP(Digital Signal Processor))で構成してもよい。
なお、画像処理部145は、必要に応じて、解像度変換処理、画像調整処理、2D/3D変換処理等を実行してもよい。解像度変換処理は、画像データの解像度を右表示ユニット22および左表示ユニット24に適した解像度へと変換する処理である。画像調整処理は、画像データの輝度や彩度を調整する処理や、ガンマ補正等である。2D/3D変換処理は、三次元画像データから二次元画像データを生成し、あるいは、二次元画像データから三次元画像データを生成する処理である。画像処理部145は、これらの処理を実行した場合、処理後の画像データに基づき画像を表示するための信号を生成し、接続ケーブル40を介して画像表示部20へと送信する。
表示制御部147は、右表示ユニット22および左表示ユニット24を制御する制御信号を生成し、この制御信号により、右表示ユニット22および左表示ユニット24のそれぞれによる画像光の生成と射出とを制御する。具体的には、表示制御部147は、OLED駆動回路225、245を制御して、OLEDパネル223、243による画像の表示を実行させる。表示制御部147は、画像処理部145が出力する信号に基づいて、OLED駆動回路225、245がOLEDパネル223、243に描画するタイミングの制御、OLEDパネル223、243の輝度の制御等を行う。
撮像制御部149は、カメラ61を制御して撮像を実行させ、撮像画像データを生成し、記憶機能部122に一時的に記憶させる。また、カメラ61が撮像画像データを生成する回路を含むカメラユニットとして構成される場合、撮像制御部149は、撮像画像データをカメラ61から取得して、記憶機能部122に一時的に記憶させる。
入出力制御部151は、タッチパッド14(図1)と、方向キー16と、決定キー17とを適宜、制御して、これらから入力指令を取得する。取得した指令は、OS143、またはOS143と共にOS143上で動作するコンピュータープログラムに出力される。OS143、またはOS143上で動作するコンピュータープログラムは、これらの入力指令に基づいて、画像表示部20の画面に表示されるカーソルを移動させる。通信制御部153は、無線通信部117を制御して、外部機器との間で無線通信を行う。
無人航空機制御部155は、無人航空機400との間で直接もしくは間接的に信号を送受信することによって、HMD100側から無人航空機400を操縦することを可能としている。無人航空機制御部155の詳細については、後述する。
図7は、HMD100による拡張現実感表示の一例を示す説明図である。図7では、使用者の視界VTを例示している。上述のようにして、HMD100の使用者の両眼に導かれた画像光が使用者の網膜に結像することにより、使用者は拡張現実感(AR)としての画像AIを視認する。図7の例では、画像AIは、HMD100のOSのメニュー画面である。メニュー画面には、例えば、「メッセージ」、「電話」、「カメラ」、「ブラウザー」、「無人航空機」の各アプリケーションプログラムを起動するためのアイコンICが含まれる。また、右左の導光板26,28が外界SCからの光を透過することで、使用者は外界SCを視認する。このように、本実施形態のHMD100の使用者は、視界VTのうち画像AIが表示された部分については、外界SCに重なるようにして画像AIを見ることができる。また、視界VTのうち画像AIが表示されていない部分については、外界SCだけを見ることができる。
A−3.無人航空機とリモコン装置の構成:
図1に示すように、無人航空機400は、4基のプロペラ410(2基は図示を省略)と、カメラ420と、を有する。無人航空機400は、4基のプロペラ410によって、空中を自在にかつ安定的に飛び回ることができ、カメラ420によって、上空から地上を撮影することができる。
図1に示すように、無人航空機400は、4基のプロペラ410(2基は図示を省略)と、カメラ420と、を有する。無人航空機400は、4基のプロペラ410によって、空中を自在にかつ安定的に飛び回ることができ、カメラ420によって、上空から地上を撮影することができる。
図8は、無人航空機400の電気的な構成とリモコン装置500の電気的な構成とを示すブロック図である。無人航空機400は、4個のモーター430と、4個のESC(Electronic Speed Controller)435と、GNSSレシーバー440と、6軸センサー450と、無線通信部460と、Wi−Fi通信部470と、バッテリー480と、制御部490と、を備える。
各モーター430は、各プロペラ410と接続され、各プロペラ410を駆動する。各ESCは、各モーター430と接続され、入力信号に応じて各モーター430の回転数を制御する。
GNSSレシーバー440は、図示しないGNSSアンテナを用いて、航法衛星から送信される電波を受信し、図示しないGNSS回路を用いて、受信された電波を解析することにより、GNSS情報を取得する。GNSS情報は、緯度、経度、高度を含む位置情報や、撮影時刻および日付の情報を有する。GNSS情報によって、無人航空機400は、機体(無人航空機400)の現在位置(緯度、経度、高度)を知ることができる。
6軸センサー450は、3軸加速度センサーと3軸ジャイロ(角速度)センサーとを備えるモーションセンサー(慣性センサー)である。6軸センサー450は、これらセンサーがモジュール化されたIMU(Inertial Measurement Unit)を採用してもよい。6軸センサー450によって、無人航空機400は、機体の姿勢・速度などを知ることができる。
無線通信部460は、リモコン装置500の有する無線通信部540との間における無線通信を実行する。Wi−Fi通信部470は、Wi−Fiを含む無線LANの規格に準拠した無線通信を行う。本実施形態では、後述するWi−Fi航行モード時において、Wi−Fi通信部470は、HMD100の制御装置10に備えられる無線通信部117との間でWi−Fiの電波のやり取りを行う。
バッテリー480は、無人航空機400全体の電源であり、本実施形態では、リチウムポリマーバッテリーが採用されている。
制御部490には、カメラ420、各ESC435、GNSSレシーバー440、6軸センサー450、無線通信部460、Wi−Fi通信部470、およびバッテリー480がそれぞれ接続されている。制御部490は、メインプロセッサーと記憶部とを備えるマイクロコンピューターによって構成され、記憶部にプログラムを読み込んで実行することにより、種々の機能を実行する。具体的には、制御部490は、無線通信部460を介してリモコン装置500との間で無線通信を実行して、リモコン装置500からの制御指令に従って各モーター430の回転数を個別に制御する。この結果、制御部490は、リモコン装置500からの指令に従って、機体を上昇、下降、前進、後進、左移動、右移動、ホバリングさせることができる。また、制御部490は、リモコン装置500からの指令に従って、カメラ420による撮影を行うことができ、撮影画像をディスプレイ510に表示する。
制御部490は、さらに、自動航行モードM1にて、機体を移動することができる。自動航行モードM1は、目的地を示す位置情報を設定することによって、機体を自動的に目的地まで航行させるモードである。無人航空機400は、前述したように、GNSSレシーバー440によって機体の現在位置を知ることができることから、制御部490は、自動航行モードM1において、現在位置から目的地の位置までの方向と距離を常に演算し、方向と距離に応じて各モーター430の回転数を制御することによって、機体を目的地に自動的に移動させることができる。
自動航行モードM1を利用する機能の1つとして、例えば、無人航空機400とリモコン装置500との間の通信が途絶えた場合に、無人航空機400を離陸地点に戻す機能がある。制御部490は、自動航行モードM1において、予め記憶しておいた離陸地点のGNSS情報に含まれる位置情報を目的地に設定することによって、機体を離陸地点に戻すことができる。
図1に示すように、リモコン装置500は、ディスプレイ510と、ジョイスティックタイプの操作部520と、を有する。また、図8に示すように、リモコン装置500は、GNSSレシーバー530と、無線通信部540と、USBコネクター550と、制御部590と、を備える。
GNSSレシーバー530は、図示しないGNSSアンテナを用いて、GNSS衛星から送信される電波を受信し、図示しないGNSS回路を用いて、受信された電波を解析することにより、GNSS情報を取得する。GNSS情報は、緯度、経度、高度を含む位置情報や、撮影時刻および日付の情報を有する。GNSS情報によって、リモコン装置500は、リモコン装置500の現在位置(緯度、経度、高度)を知ることができる。
無線通信部540は、無人航空機400の有する無線通信部460との間における無線通信を実行する。USBコネクター550は、例えば、USB規格に準拠したコネクターと、インターフェース回路とを含む。USBコネクター550は、USB規格に準拠したメモリーデバイス、スマートフォン、パーソナルコンピューター等を接続可能なインターフェースである。本実施形態では、USBコネクター550は、USBケーブル350を介して、HMD100の制御装置10に備えられたUSBコネクター188と接続されている。制御装置10に備えられたUSBコネクター188が、「無人航空機400との間の無線通信を利用した通信を行い得る通信部」に相当する。なお、リモコン装置500と制御装置10との間の接続は、USB接続に限る必要はなく、その他の有線の接続によるものであってもよい。さらに、有線に替えて、無線によってリモコン装置500と制御装置10との間を接続する構成であってもよい。
制御部590には、ディスプレイ510、操作部520、GNSSレシーバー530、無線通信部540、およびUSBコネクター550がそれぞれ接続されている。制御部590は、メインプロセッサーと記憶部とを備えるマイクロコンピューターによって構成され、記憶部にプログラムを読み込んで実行することにより、種々の機能を実行する。具体的には、制御部590は、操作部520からの操作指令を、無人航空機400に対して送信することによって、無人航空機400に、上昇、下降、前進、後進、左移動、右移動、ホバリングといった飛行形態を指令する。また、制御部590は、無人航空機400に対して、カメラ420による撮影を指令する。
A−4.HMDによる帰還処理:
図6を用いて先に説明したように、HMD100に備えられた制御装置10は、制御機能部150の1つとして、無人航空機400を操縦する無人航空機制御部155を備える。無人航空機制御部155は、リモコン装置500の操作部520をソフトウェア的に実現した操作画面(例えば、図14の操作画面CB)を、画像表示部20に表示させ、HMD100の使用者によってこの操作画面に入力された操作指令を、リモコン装置500に送信することによって、リモコン装置500の有する機能を利用して、HMD100側から無人航空機400を操縦する。無人航空機制御部155は、リモコン装置500の全ての機能を有してもよく、リモコン装置500の全ての機能のうちの一部だけでもよい。また、無人航空機制御部155は、上記の操作画面から撮影指令を受けた場合に、撮影指令をリモコン装置500に送信することによって、リモコン装置500の有する機能を利用して、HMD100側から無人航空機400に対して、カメラ420による撮影を指令する。
図6を用いて先に説明したように、HMD100に備えられた制御装置10は、制御機能部150の1つとして、無人航空機400を操縦する無人航空機制御部155を備える。無人航空機制御部155は、リモコン装置500の操作部520をソフトウェア的に実現した操作画面(例えば、図14の操作画面CB)を、画像表示部20に表示させ、HMD100の使用者によってこの操作画面に入力された操作指令を、リモコン装置500に送信することによって、リモコン装置500の有する機能を利用して、HMD100側から無人航空機400を操縦する。無人航空機制御部155は、リモコン装置500の全ての機能を有してもよく、リモコン装置500の全ての機能のうちの一部だけでもよい。また、無人航空機制御部155は、上記の操作画面から撮影指令を受けた場合に、撮影指令をリモコン装置500に送信することによって、リモコン装置500の有する機能を利用して、HMD100側から無人航空機400に対して、カメラ420による撮影を指令する。
また、操作部520をソフトウェア的に実現した操作画面には、「リターン・トゥ・HMD」と呼ばれるソフトウェアボタンが用意されている。このソフトウェアボタンが方向キー16(図1)と決定キー17(図1)とによって操作された場合に、無人航空機制御部155は、HMD100の元に無人航空機400を帰還させる帰還処理を実行する(帰還処理部155a)。
図9は、帰還処理を示すフローチャートである。この帰還処理は、図6に示した帰還処理部155aによる処理であり、HMD100のメインプロセッサー140によって実行される。図7に例示したメニュー画面の「無人航空機」のアイコンICが方向キー16(図1)と決定キー17(図1)とによって指示され、その後に、起動された「無人航空機」のアプリケーションプログラムにおいて、「リターン・トゥ・HMD」のソフトウェアボタンが操作された場合に、帰還処理は実行開始される。
処理が開始されると、HMD100のメインプロセッサー140は、まず、GNSSレシーバー115からGNSS情報を取得する(S110)。メインプロセッサー140とS110の処理が、「GNSS情報取得部」に相当する。
次いで、メインプロセッサー140は、取得したGNSS情報に含まれる位置情報(緯度、経度、高度)を目的地に設定した自動航行モードM1(図8)での航行を、無人航空機400に対して指示する(S120)。この指示は、HMD100の制御装置10の現在位置に無人航空機400を帰還させる指示を、リモコン装置500を介して無人航空機400に対して行う。
続いて、メインプロセッサー140は、カメラ61を起動して、使用者の視線方向の外界を撮影する(S130)。この撮影される外界は、使用者によって画像表示部20を通して視認可能な視界に相当する。
続いて、メインプロセッサー140は、カメラ61により撮影された画像の中に無人航空機400が含まれるか否かを判定する(S140)。具体的には、無人航空機400の形状的な特徴を示す画像を目的画像として準備し、パターンマッチングによって、撮影された画像の中から目的画像と一致度の高い画像部分が検出された場合に、撮影された画像の中に無人航空機400が含まれていると判定する。
なお、無人航空機400の形状的な特徴を示す画像を目的画像とする構成に替えて、無人航空機400に予めマーカーを貼り付け、マーカーを目的画像としてもよい。マーカーは、二次元マーカーであり、パターンマッチングする目的画像を指定するための標識となる。
図10は、使用者によって画像表示部20を通して視認可能な視界を説明するための図である。図中において、例えば、2点鎖線で示した範囲が、画像表示部20を通して視認可能な視界WAである。S140による判定処理によって、視界WA内に無人航空機400が進入したか否かが判定されることになる。
図9に戻り、S140で、撮影された画像の中に無人航空機400が含まれていないと判定された場合、すなわち、視界WA内に無人航空機400が進入していないと判定された場合には、メインプロセッサー140は、無人航空機400がS120で設定した目的地に到着したか否かを判定する(S150)。目的地に到着したか否かは、リモコン装置500が無人航空機400と通信することによって把握しており、リモコン装置500に問い合わせることによって、S150の判定がなされる。
S150で、目的地に到着していないと判定された場合、すなわち、視界WA内に無人航空機400が進入しておらず、かつ目的地に到着していないと判定された場合には、メインプロセッサー140は、S110に処理を戻して、自動航行モードM1での帰還を継続して実行させる。図10に例示するように、無人航空機400は、視界WAの外側を飛行している場合には、自動航行モードM1で航行する。
メインプロセッサー140は、S110からS140までの処理を繰り返し実行し、S140で、撮影された画像の中に無人航空機400が含まれていると判定された場合、すなわち、視界WA内に無人航空機400が進入していると判定された場合には、無人航空機400に対して、自動航行モードでの航行を中止し、Wi−Fi航行モードでの航行を指示する(S160)。
図11は、Wi−Fi航行モードを説明するための図である。Wi−Fi航行モードM2(図6参照)では、HMD100の制御装置10と無人航空機400との間でWi−Fiの電波B1,B2のやり取りを行い、Wi−Fiの電波強度の変化から無人航空機400の航行ルートを定める。具体的には、Wi−Fiの電波強度が強くなる方向に航行ルートを定める。メインプロセッサー140は、Wi−Fi航行モードM2において、無人航空機400からのWi−Fiの電波強度を測定し、電波強度の変化から、電波強度が強くなる方向を推定し、この電波強度が強くなる方向を航行ルートとし、この航行ルートを飛行するように、リモコン装置500を介して無人航空機400に対して飛行形態を指示する。飛行形態とは、上昇、下降、前進、後進、左移動、右移動、ホバリング等の機体の動きである。
なお、リモコン装置500を介して無人航空機400に飛行形態を指示する構成に替えて、制御装置10が、無線通信部117から直接、無人航空機400に飛行形態を指示する構成としてもよい。さらに、電波強度が強くなる方向を推定し、この電波強度が強くなる方向を航行ルートと求める処理を、制御装置10の側で行うのではなく、無人航空機400の制御部490で行い、この求めた航行ルートに従って、制御部490が、無人航空機400の飛行形態を制御する構成としてもよい。
図9のS160の実行後、メインプロセッサー140は、無人航空機400がHMD100の制御装置10の位置まで到着したか否かを判定し(S170)、到着するまで、Wi−Fi航行モードM2での帰還を継続して実行させる。図10に例示するように、無人航空機400は、視界WA内を飛行している場合には、Wi−Fi航行モードM2で航行する。ただし、到着する直前においては、無人航空機400がHMD100や使用者に衝突しないように、無人航空機400は、カメラ420で障害物(ここでは、HMD100や使用者)を認識し、予め設定した距離を離して自動着陸する。
S170またはS150で、到着したと判定された場合には、メインプロセッサー140は、この帰還処理を終了する。
A−5.実施形態の効果について:
以上のように構成された第1実施形態のHMD100によれば、無人航空機400が自動航行モードM1で制御装置10へ向かって航行している場合に、画像表示部20を通して視認可能な視界WA内に無人航空機400が進入したときに、自動航行モードM1を中止して、Wi−Fiの電波強度の変化から航行ルートを定めるWi−Fi航行モードM2で、無人航空機400を航行させる。このため、HMD100によれば、精度の低いGNSS情報を利用した自動航行モードM1での航行を取りやめることができることから、HMD100まで高い精度で帰還させることが可能となる。特に本実施形態では、自動航行モードM1から切り替えられるWi−Fi航行モードM2は、Wi−Fi電波の強度の変化から航行ルートを定めるもので、高い精度での航行を可能とする。このため、HMD100までの帰還をより高い精度で行うことができる。
以上のように構成された第1実施形態のHMD100によれば、無人航空機400が自動航行モードM1で制御装置10へ向かって航行している場合に、画像表示部20を通して視認可能な視界WA内に無人航空機400が進入したときに、自動航行モードM1を中止して、Wi−Fiの電波強度の変化から航行ルートを定めるWi−Fi航行モードM2で、無人航空機400を航行させる。このため、HMD100によれば、精度の低いGNSS情報を利用した自動航行モードM1での航行を取りやめることができることから、HMD100まで高い精度で帰還させることが可能となる。特に本実施形態では、自動航行モードM1から切り替えられるWi−Fi航行モードM2は、Wi−Fi電波の強度の変化から航行ルートを定めるもので、高い精度での航行を可能とする。このため、HMD100までの帰還をより高い精度で行うことができる。
第1実施形態の変形例として、Wi−Fi航行モードM2に替えて、Wi−Fi以外の電波、例えば、無線LANや、Bluetooth、iBeacon(登録商標)等の強度によって、航行ルートを定めるモードとしてもよい。
B.第2実施形態:
図12は、第2実施形態のHMDで実行される帰還処理を示すフローチャートである。第2実施形態のHMDで実行される帰還処理は、第1実施形態における帰還処理(図9)と比較して、S160に対応するS260の処理が相違し、その他のステップの処理は同一である。第2実施形態のHMDのハードウェア構成は、第1実施形態のHMD100のハードウェア構成と同一である。なお、以下の説明において、第1実施形態と同一のパーツについては、第1実施形態と同じ符号を付ける。
図12は、第2実施形態のHMDで実行される帰還処理を示すフローチャートである。第2実施形態のHMDで実行される帰還処理は、第1実施形態における帰還処理(図9)と比較して、S160に対応するS260の処理が相違し、その他のステップの処理は同一である。第2実施形態のHMDのハードウェア構成は、第1実施形態のHMD100のハードウェア構成と同一である。なお、以下の説明において、第1実施形態と同一のパーツについては、第1実施形態と同じ符号を付ける。
図12の帰還処理におけるS260では、メインプロセッサー140は、無人航空機400に対して、自動航行モードでの航行を中止し、デッドレコニング航行モードでの航行を指示する。すなわち、画像表示部20を通して視認可能な視界WA内に無人航空機400が進入した場合に、第1実施形態の帰還処理では、自動航行モードM1からWi−Fi航行モードM2への切り替えを実行していたが、これに替えて、第2実施形態の帰還処理では、自動航行モードM1からデッドレコニング航行モードへの切り替えを行う。
無人航空機400には、6軸センサー450が備えられている。6軸センサー450の検出信号から、無人航空機400の機体の姿勢・速度などを知ることができる。このため、無人航空機400が離陸前の状態にあるときの6軸センサー450の検出信号の値(検出値)を初期値とし、その初期値に6軸センサー450の検出値を逐次足し合わせる(積算する)ことによって、その初期値に該当する位置を基準とした相対的な位置と姿勢(無人航空機400の位置と姿勢)を求めることができる。この対象の位置と姿勢を求める方法が、「デッドレコニング(Dead-Reckoning)」と呼ばれるものである。
一方、第2実施形態のHMDの制御装置にも、第1実施形態と同様に6軸センサー111(図5)が設けられている。このため、デッドレコニングの手法を採用することによって、初期値に該当する位置と姿勢を基準とした相対的な位置と姿勢(HMDの制御装置の位置と姿勢)を求めることができる。帰還処理を実行する前に、無人航空機400についての前記初期値に該当する位置と姿勢を、HMDの制御装置の前記初期値に該当する位置にキャリブレーションした上で、無人航空機400側、HMDの制御装置側ともにデッドレコニングを行うことによって、HMDの制御装置の現在の位置と姿勢に対する、無人航空機400の現在の位置と姿勢とを求めることができる。
S260で実行されるデッドレコニング航行モードにおいて、制御装置のメインプロセッサーは、上述したようにして、HMDの制御装置の現在の位置と姿勢に対する、無人航空機400の現在の位置と姿勢とを求め、求めた位置と姿勢とから航行ルートを求め、この航行ルートを飛行するように、リモコン装置500を介して無人航空機400に対して飛行形態を指示する。飛行形態とは、上昇、下降、前進、後進、左移動、右移動、ホバリング等の機体の動きである。
なお、リモコン装置500を介して無人航空機400に飛行形態を指示する構成に替えて、制御装置が、無線通信部117(図5)から直接、無人航空機400に飛行形態を指示する構成としてもよい。さらに、HMDの制御装置の現在の位置と姿勢に対する、無人航空機400の現在の位置と姿勢とを求め、求めた位置と姿勢とから航行ルートを求める処理を、制御装置10の側で行うのではなく、無人航空機400の制御部490で行い、この求めた航行ルートに従って、制御部490が、無人航空機400の飛行形態を制御する構成としてもよい。
デッドレコニング航行モードによれば、6軸センサー111,450の検出信号を利用して、HMDの制御装置の現在の位置と姿勢に対する、無人航空機400の現在の位置と姿勢とを、高精度に求めることができる。このため、第2実施形態のHMDによれば、第1実施形態のHMD100と同様に、無人航空機400をHMDまで高い精度で帰還させることができる。
C.第3実施形態:
図13は、第3実施形態のHMDで実行される帰還処理を示すフローチャートである。第3実施形態のHMDで実行される帰還処理は、第1実施形態における帰還処理(図9)と比較して、S160に対応するS260の処理が相違し、その他のステップの処理は同一である。第3実施形態のHMDのハードウェア構成は、第1実施形態のHMDのハードウェア構成と同一である。以下の説明において、第1実施形態と同一のパーツについては、第1実施形態と同じ符号を付ける。
図13は、第3実施形態のHMDで実行される帰還処理を示すフローチャートである。第3実施形態のHMDで実行される帰還処理は、第1実施形態における帰還処理(図9)と比較して、S160に対応するS260の処理が相違し、その他のステップの処理は同一である。第3実施形態のHMDのハードウェア構成は、第1実施形態のHMDのハードウェア構成と同一である。以下の説明において、第1実施形態と同一のパーツについては、第1実施形態と同じ符号を付ける。
図13の帰還処理におけるS160では、メインプロセッサー140は、無人航空機400に対して、自動航行モードでの航行を中止し、手動航行モードでの航行を指示する。すなわち、画像表示部20を通して視認可能な視界WA内に無人航空機400が進入した場合に、第1実施形態の帰還処理では、自動航行モードM1からWi−Fi航行モードM2への切り替えを実行していたが、これに替えて、第3実施形態の帰還処理では、自動航行モードM1から手動航行モードへの切り替えを行う。
図14は、リモコン装置500(図1)の操作部520をソフトウェア的に実現した操作画面CBを示す説明図である。操作画面CBは画像表示部20によって表示される。使用者は、方向キー16(図1)と決定キー17(図1)とを用いて操作画面CBに対して入力操作を行う。手動航行モードでは、メインプロセッサー140は、操作画面CBに入力された操作指令を、リモコン装置500に送信することによって、リモコン装置500の有する機能を利用して、HMD100側から無人航空機400を操縦する。
なお、操作画面に入力された操作指令を、リモコン装置500を介して無人航空機400に送る構成に替えて、制御装置が、無線通信部117(図5)から直接、無人航空機400に送る構成としてもよい。
以上のように構成された第3実施形態のHMDによれば、無人航空機400が自動航行モードM1で制御装置10へ向かって航行している場合に、画像表示部20を通して視認可能な視界WA内に無人航空機400が進入したとき、GNSS情報を利用した自動航行モードM1を中止して、手動航行モードで無人航空機400を航行させる。このため、第3実施形態のHMDによれば、精度の低いGNSS情報を利用した自動航行モードM1での航行を取りやめることができることから、第1および第2実施形態と同様に、HMD100まで高い精度で帰還させることが可能となる。
第3実施形態の変形例として、6軸センサー111、450を、3軸の加速度センサーだけを有する慣性センサーに替えてもよい。
D.第4実施形態:
図15は、第4実施形態のHMDにおいて表示される操作画面CBXを示す説明図である。操作画面CBXは、第3実施形態における操作画面CB(図14)に相当するものである。操作画面CBXは、第3実施形態における操作画面CBと比較して、画像表示部20による表示位置が相違するだけで、形状や機能は同一である。その他のソフトウェア構成やハードウェア構成は、第3実施形態のHMDと同一である。
図15は、第4実施形態のHMDにおいて表示される操作画面CBXを示す説明図である。操作画面CBXは、第3実施形態における操作画面CB(図14)に相当するものである。操作画面CBXは、第3実施形態における操作画面CBと比較して、画像表示部20による表示位置が相違するだけで、形状や機能は同一である。その他のソフトウェア構成やハードウェア構成は、第3実施形態のHMDと同一である。
図15において、破線は、第3実施形態の操作画面CBの表示位置を示している。第3実施形態では、視界VT内に無人航空機400が進入した場合に、視界VT内の無人航空機400の位置と操作画面CBとが重なることがあった。これに対して、第4実施形態のHMDでは、視界VT内の無人航空機400の位置から離れた位置となるように、操作画面CBXの位置が変更される。具体的には、図9のS140で、パターンマッチングによって無人航空機400が検出される位置を求め、その位置から視界VT内の無人航空機400の位置を推定し、推定された位置から離れた位置に操作画面CBXを移動する。この結果、視界VT内の無人航空機400の位置およびその周囲は、外界を透過することができ、無人航空機400を使用者は確実に確認することができる。
したがって、第4実施形態のHMDでは、第3実施形態と同様に、HMD100まで高い精度で帰還させることができる。特に第4実施形態のHMDでは、視界VTにおいて、無人航空機400が操作画面CBXによって隠されることがないことから、無人航空機400を手動にて帰還させる操作性を向上させることができる。なお、本実施形態における、無人航空機400の位置と操作画面CBとが重ならないように操作画面CBの表示位置を変更する構成は、第1実施形態、および第2実施形態においても採用するようにしてもよい。
E.第5実施形態:
図16は、第5実施形態のHMDで実行される帰還処理を示すフローチャートである。第5実施形態の説明は、第1実施形態と異なる点を主な対象とする。特に説明しない点については、第1実施形態と同じである。
図16は、第5実施形態のHMDで実行される帰還処理を示すフローチャートである。第5実施形態の説明は、第1実施形態と異なる点を主な対象とする。特に説明しない点については、第1実施形態と同じである。
本実施形態における帰還処理は、複数の無人航空機400を対象にすることができる。但し、まず1つの無人航空機400のみを対象にする場合(以下「個体が1つの場合」という)を例にとって説明をする。その後、複数の無人航空機400を対象にした場合を説明する。複数の無人航空機400それぞれが異なるものであるとして表現する場合は、無人航空機400を個体と呼ぶ。
まず、メインプロセッサー140は、各個体について、HMD100までの距離(以下、操縦距離)を取得する(S610)。S610には、実施形態1で説明した測距センサーが用いられる。
次に、メインプロセッサー140は、無人航空機400の個体を識別する(S620)。但し、S620は、個体が1つの場合においては不要なステップであるので、詳細については、複数の無人航空機400を対象にした場合の説明と共に後述する。
次に、メインプロセッサー140は、無人航空機400を、操縦距離がL1より大きい個体と、操縦距離がL1以下の個体とに分類する(S630)。個体が1つの場合においては、その個体についての操縦距離がL1より大きいのか、操縦距離がL1以下なのかを判定することになる。
図17は、L1,L2を示す図である。L1は、例えば10mである。L1は、後述するように、手動航行モードに移行するための境界値として用いられる。人間は、約10mまでは両眼視差が最も支配的であり、奥行き感度が最も高い。このため、本実施形態におけるL1は、10mに設定されている。別の形態において、境界値は、例えば11m〜9mでもよい。
L2は、L1よりも長い距離である。本実施形態では、L2は、例えば、15mである。L2は、後述する第1処理において用いられるので、第1処理と共に説明する。
次に、メインプロセッサー140は、図18に示す第1処理を実行する(S700)。第1処理は、操縦距離がL1より大きい個体を対象にする処理である。従って、操縦距離がL1より大きい個体が無ければ、実質的に第1処理はスキップされる。
メインプロセッサー140は、まず、GNSSレシーバー115からGNSS情報を取得する(S710)。次いで、メインプロセッサー140は、取得したGNSS情報に含まれる位置情報を目的地に設定した自動航行モードM1での航行を、無人航空機400に対して指示する(S720)。
次に、メインプロセッサー140は、操縦距離がL1以下の個体があるかを判定する(S730)。個体が1つの場合、その個体の操縦距離がL1以下であるとき、メインプロセッサー140は、S730でNOと判定し、第1処理を終える。一方、その無人航空機400の操縦距離がL1より大きいとき、メインプロセッサー140は、S730でYESと判定し、S740に進む。
メインプロセッサー140は、S740において、L1<操縦距離<L2を満たす個体があるかを判定する。個体が1つの場合、その個体の操縦距離がL1より大きいはずなので、S740では、その無人航空機400の操縦距離がL2より小さいかが判定される。
その無人航空機400の操縦距離がL2以上である場合、メインプロセッサー140は、S740でNOと判定し、最も操縦距離が近い個体を用いて、第1態様で表示する(S750)。個体が1つの場合、最も操縦距離が近い個体とは、その1つの個体のことになる。
図19は、第1態様による表示を例示する。第1態様は、画像AIとして表示可能な全範囲において、無人航空機400のカメラ420によって撮像された無人機画像Cを表示することを特徴とする。
HMD100の使用者は、視界VTのうち画像AIが表示された部分については、画像AIに重なるようにして外界SCを見ることができる。図19では、画像AIと重なった外界SCは、破線で示されている。図19に示された無人航空機400は、画像AIと重なった外界SCの一部として視認される。無人航空機400は、操縦距離がL2以上であるため、小さく見える。
図19に示されるように、第1態様による表示には、航行モードRと、位置情報Pとが含まれる。後述する第2,第3態様の表示にも、航行モードRと、位置情報Pとが含まれる。航行モードRとは、航行モードを示す情報のことである。図19には、航行モードRとして「AUTO」という文字が示されている。「AUTO」は、自動航行モードを示すと共に、第1態様による表示であることを示している。
位置情報Pは、無人航空機400の位置を示す。位置情報Pは、垂直線と、水平線と、3つの同心円とに対して点がプロットされることによって、操縦距離と、方角とを示す。図19は、点P1がプロットされた様子を示す。
垂直線と水平線との交点は、3つの同心円の中心に一致している。位置情報Pは、操縦距離および方角の情報を、極座標系によって示す。つまり、操縦距離の情報は、動径として示される。この動径とは、プロットされた点と、同心円の中心との距離のことである。3つの同心円のうち最も半径が短い円の半径は、L1に相当する。3つの同心円のうち2番目に半径が短い円の半径は、L2に相当する。
方角の情報は、偏角として示される。この偏角とは、垂直線と、仮想線とがなす角度のことである。この仮想線は、プロットされた点と、同心円の中心とを結ぶ仮想線のことであり、表示されない。HMD100の真正面に位置する場合、点は、垂直線上、且つ、中心よりも上部にプロットされる。
一方、メインプロセッサー140は、上記1つの無人航空機400の操縦距離がL2未満である場合、S740でYESと判定し、S750に進む。メインプロセッサー140は、S750において、L1<操縦距離<L2を満たす個体に対し、減速モードによる航行を指示する。減速モードとは、通常の自動航行モードよりも速度を落として自動航行するモードである。
次に、メインプロセッサー140は、最も操縦距離が近い個体を用いて、第2態様で表示する(S770)。図20は、第2態様による表示を例示する。第2態様は、画像AIとして表示可能な範囲の一部において、無人機画像Cを表示することを特徴とする。このように表示するのは、外界SCの一部としての無人航空機400を視認しやすくするためである。第2態様における航行モードRは、「WAIT」という文字によって示される。「WAIT」は、手動航行モードではないこと(つまり自動航行モードであること)を示すと共に、第2態様による表示であることを示す。
メインプロセッサー140は、S750又はS770を終えると第1処理を終え、第2処理を実行する(S800)。
図21は、第2処理を示すフローチャートである。第2処理は、操縦距離がL1以下の個体を対象にする処理である。従って、操縦距離がL1以下の個体が無ければ、実質的に第2処理はスキップされる。
まず、メインプロセッサー140は、操縦距離がL1の個体にホバリングを指示する(S810)。S810によってホバリングを指示された個体は、操縦距離がL1の位置においてホバリングを実施する。操縦距離がL1よりも遠い位置から帰還を開始した個体は、少なくとも一度、S810によってホバリングを実行することになる。そして、S810によってホバリングを指示された個体は、後述するS860によって手動航行モードによる航行を指示されるまでホバリングを継続する。
次に、メインプロセッサー140は、個体の選択を受け付ける(S820)。個体の選択とは、手動航行モードの対象にする個体を選択することである。S820は、個体が1つの場合、その個体が自動的に選択される。
次に、メインプロセッサー140は、選択されている個体(以下、選択機)が変更されたかを判定する(S830)。選択機が変更された場合には、選択された個体が無い状態から、或る個体が選択された場合が含まれる。従って、個体が1つの場合に、その個体の操縦距離がL1に到達したとき、S830ではYESと判定され、S840に進む。
メインプロセッサー140は、S840に進むと、カメラ61により撮影された画像の中に、選択機が含まれるか否かを判定する。撮影された画像の中に選択機が含まれない場合(S840,NO)、メインプロセッサー140は、選択機に対し、ホバリングを指示する(S850)。一方、撮影された画像の中に選択機が含まれる場合(S840,YES)、メインプロセッサー140は、選択機に対し、手動航行モードでの航行を指示する(S860)。
S850又はS860の後、メインプロセッサー140は、選択されていない個体に対し、現在位置でホバリングを指示する(S870)。個体が1つの場合、S870は実質的にスキップされる。次に、メインプロセッサー140は、選択機を用いて、第3態様による表示を実行し(S880)、第2処理を終える。
図22は、第3態様による表示を例示する。第3態様の場合、航行モードRには「MANUAL」と表示される。「MANUAL」は、手動航行モードであることを示すと共に、第3態様による表示であることを示す。第3態様の場合、強調表示として、選択機を2重の破線で囲う。
メインプロセッサー140は、第2処理を終えると、全個体が目的地に到着したかを判定する(S900)。個体が1つの場合は、その個体が目的地に到着したかを判定する。その個体が目的地に到着していない場合(S900,NO)、S610に戻る。その個体が目的地に到着した場合(S900,YES)、メインプロセッサー140は、帰還処理を終える。
続いて、複数の無人航空機400を対象にした場合を説明する。個体が1つの場合と特に変わらないステップについては、適宜、説明を省略する。
メインプロセッサー140は、S620において、個体を識別する。本実施形態においては、複数の無人航空機400それぞれについて、固有の識別記号が割り当てられている。無人航空機400は、無線通信部460を用いて、自身の識別番号と、GNSSレシーバー440によって取得したGNSS情報とを定期的に送信する。以下、これらの情報を合わせて、識別情報と呼ぶ。
メインプロセッサー140は、識別記号を用いて、操縦対象である個体と、操縦対象でない個体とを分別する。メインプロセッサー140は、操縦対象である個体を対象に、S610において取得した各個体の操縦距離と、各個体から受信した識別情報と、GNSSレシーバー115によって取得される制御装置10のGNSS情報とを加味することによって、各個体の操縦距離と、識別番号との組み合わせとして尤もらしいものを推定する。このようにしてS620が実現される。
なお、他の形態においては、識別番号に加えて或いは代えて、機影に基づき個体を推測してもよいし、航路と個体の位置に基づき個体を推定してもよい。
次に第1処理について、S730から説明する。操縦距離がL1以下の個体がある場合に(S730,YES)、第1処理を終えるのは、第3態様による表示を実行するために、S740〜S770をスキップすることを目的としている。
図23は、個体が複数である場合における第3態様の表示を例示する。図23は、操縦対象の個体として無人航空機400a,400b,400cを示し、操縦対象外の個体として無人航空機400dを示している。
無人航空機400aの操縦距離は、L1より小さい。無人航空機400bの操縦距離は、L1である。無人航空機400c,dの操縦距離は、L1より大きく、L2より小さい。
第3態様では、選択機の周囲に、二重の破線を表示する。図23に示されている場合では、無人航空機400aが選択機であるので、無人航空機400aの周囲に二重の破線が表示されている。
第3態様では、選択されていない個体であって、選択可能な個体の周囲に、一重の破線を表示する。選択可能な個体とは、操縦距離がL1以下であること、及び、視界WA内に進入していることを満たす個体である。図23に示されている場合、無人航空機400bが、選択されていない個体であって、選択可能な個体に該当するので、無人航空機400bの周囲に一重の破線が表示されている。
本実施形態において、個体の選択は、ポインターQを用いて実行される。ポインターQは、画像AI内において、虚像として表示される。使用者は、操作部110を用いて、ポインターQの位置を移動させることができる。使用者が選択したい個体の機影にポインターQを重ねた状態で、操作部110による選択操作を実行すると、その機影に該当する個体が選択機になる。新たな個体が選択されると、それまで選択機だった個体は、選択されていない個体になり、現在位置でホバリングを指示される(S870)。
なお、本実施形態において、個体の選択は、位置情報Pとして表示された点を選択することによっても実行できる。
第3態様では、操縦対象外の個体であって、操縦距離がL2以下の個体の機影に対し、操作対象外であること示す画像を重畳表示する。図23では、無人航空機400dに対し、X字状の画像が重畳表示されている。
本実施形態によれば、操縦距離に応じて表示の態様を変化させるので、手動航行モードを用いた帰還の際に、使用者が無人航空機400を視認しやすくなる。さらに、複数の無人航空機400を手動航行モードで帰還させる際、個体を1つずつ操作できるので、各々の目的地に順番に着陸させることができる。
F.第6実施形態:
第6実施形態を説明する。第6実施形態の説明は、第5実施形態と異なる点を主な対象とする。特に説明しない点については、第5実施形態と同じである。
第6実施形態を説明する。第6実施形態の説明は、第5実施形態と異なる点を主な対象とする。特に説明しない点については、第5実施形態と同じである。
図24は、第6実施形態における第2処理を示すフローチャートである。第6実施形態では、第5実施形態において実行されるS870の代わりに、S875が実行される。S875では、メインプロセッサー140は、選択されていない個体に対し、選択機を追従する自動航行(以下、追従航行)を指示する。
追従航行を指示された個体が1つだけの場合、その個体は、選択機との操縦距離を所定距離に維持するように航行する。選択機との操縦距離は、カメラ420による撮像画像に基づき推定する。追従航行する個体は、選択機が目的地に到着した後、自動航行によって選択機の近傍に着陸する。
追従航行を指示された個体が複数の場合、それら複数の個体のうち、選択機に最も距離が近い個体が、選択機との操縦距離を所定操縦距離に維持するように航行する。追従航行を指示された複数の個体のうち、選択機にn(nは2以上の整数)番目に操縦距離が近い個体は、n−1番目に操縦距離が近い個体との操縦距離を所定距離に維持するように航行する。本実施形態によれば、複数の個体を一遍に帰還させることができる。
G.第7実施形態:
第7実施形態を説明する。第7実施形態の説明は、第5実施形態と異なる点を主な対象とする。特に説明しない点については、第5実施形態と同じである。
第7実施形態を説明する。第7実施形態の説明は、第5実施形態と異なる点を主な対象とする。特に説明しない点については、第5実施形態と同じである。
図25は、第7実施形態における第2処理を示すフローチャートである。第7実施形態においては、第5実施形態におけるS830及びS870は、省略される。このため、個体が選択されると(S820)、S840が実行される。S840でYESと判定されると、S860の代わりに、S865及びS867が実行される。
メインプロセッサー140は、S865において、選択機に対し、目的地を指示する。第5実施形態においては、第1実施形態と同じく、離陸地点が目的地として指示される(S720)。S720において、離陸地点が目的地として指示されるのは、第7実施形態においても同じである。但し、第7実施形態においては、S720における指示は、仮の目的地であり、S865において、改めて目的地が指示される。
図26は、目的地を指示するための画像AIを例示する。S865において、画像AIとして、地図が表示される。使用者は、ポインターQを操作して、目的地を指示する。なお、別の形態では、タブレット端末などを用いて、目的地を指示してもよい。
メインプロセッサー140は、S865において目的地が指示された個体に対し、Wi−Fi航行モードでの航行を指示する(S867)。別の形態では、デッドレコニング航行モードでの航行を指示してもよい。なお、本実施形態においては、一度、Wi−Fi航行モードでの航行が指示された個体は、S820における選択対象から除外される。本実施形態によれば、複数の個体を対象に、別々の目的地に自動で着陸させることができる。
H.第8実施形態:
第8実施形態を説明する。第8実施形態の説明は、第5実施形態と異なる点を主な対象とする。特に説明しない点については、第5実施形態と同じである。
第8実施形態を説明する。第8実施形態の説明は、第5実施形態と異なる点を主な対象とする。特に説明しない点については、第5実施形態と同じである。
図27は、第8実施形態における帰還処理を示すフローチャートである。第8実施形態においては、S620の後、且つ、S630の前に、設定処理が実行される(S1000)。
図28は、設定処理を示すフローチャートである。メインプロセッサー140は、カメラ420による撮像画像から、各個体の機体の色を取得する(S1010)。続いて、メインプロセッサー140は、カメラ420による撮像画像から、各個体の周囲の背景色を取得する(S1020)。
続いて、メインプロセッサー140は、個体毎に、L1,L2としての距離の値を設定する(S1030)。S1030は、S1010及びS1020における取得結果が利用される。具体的には、背景色との関係で、機体が見やすければ、L1,L2の値を大きめの値に設定し、反対に機体が見にくければ、L1,L2の値を小さめの値に設定する。メインプロセッサー140は、機体の見やすさの程度を、背景色と機体の色とのコントラストの強さで決定する。本実施形態によれば、L1,L2を適切な値に設定できる。
I.変形例:
なお、この開示は上記した実施形態およびそれらの変形例に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば、次のような変形も可能である。
なお、この開示は上記した実施形態およびそれらの変形例に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば、次のような変形も可能である。
・変形例1:
各実施形態および変形例では、無人航空機システムは、HMD100と、無人航空機400と、リモコン装置500と、を備えていた。これに対して、変形例として、無人航空機システムは、リモコン装置500を備えずに、HMD100と、無人航空機400と、を備えた構成としてもよい。この場合には、リモコン装置500の機能を全て、HMD100がソフトウェアによって実現する構成とする。
各実施形態および変形例では、無人航空機システムは、HMD100と、無人航空機400と、リモコン装置500と、を備えていた。これに対して、変形例として、無人航空機システムは、リモコン装置500を備えずに、HMD100と、無人航空機400と、を備えた構成としてもよい。この場合には、リモコン装置500の機能を全て、HMD100がソフトウェアによって実現する構成とする。
・変形例2:
各実施形態および変形例では、自動航行モードでの行き先となるGNSS情報は、HMD100の制御装置10に備えられたGNSSレシーバー115によって取得する構成とした。これに対して、変形例として、HMD100の画像表示部20にGNSSレシーバーを設け、そのGNSSレシーバーからGNSS情報を取得するようにしてもよい。また、リモコン装置500に備えられたGNSSレシーバー530によって取得されたGNSS情報を、リモコン装置500から取得する構成としてもよい。
各実施形態および変形例では、自動航行モードでの行き先となるGNSS情報は、HMD100の制御装置10に備えられたGNSSレシーバー115によって取得する構成とした。これに対して、変形例として、HMD100の画像表示部20にGNSSレシーバーを設け、そのGNSSレシーバーからGNSS情報を取得するようにしてもよい。また、リモコン装置500に備えられたGNSSレシーバー530によって取得されたGNSS情報を、リモコン装置500から取得する構成としてもよい。
・変形例3:
各実施形態および変形例では、HMD100の制御装置10にGNSSレシーバー115を設け、自動航行モードは、HMD100の制御装置10の現在位置に無人航空機400を帰還させる構成とした。これに対して、変形例として、GNSSレシーバーを頭部装着型表示装置から離れた位置に設けて、そのGNSSレシーバーの位置まで無人航空機400を航行させる構成としてもよい。例えば、所定の施設内の予め定められた位置にGNSSレシーバーを配置し、その位置を自動航行モードでの行き先としてもよい。この場合には、無人航空機は、自動航行モードで所定の施設内までの航行を実行しており、HMDの使用者は、この施設に出向いた上で、自動航行モードとは異なる特定の航行モードで無人航空機を航行させることが可能となる。
各実施形態および変形例では、HMD100の制御装置10にGNSSレシーバー115を設け、自動航行モードは、HMD100の制御装置10の現在位置に無人航空機400を帰還させる構成とした。これに対して、変形例として、GNSSレシーバーを頭部装着型表示装置から離れた位置に設けて、そのGNSSレシーバーの位置まで無人航空機400を航行させる構成としてもよい。例えば、所定の施設内の予め定められた位置にGNSSレシーバーを配置し、その位置を自動航行モードでの行き先としてもよい。この場合には、無人航空機は、自動航行モードで所定の施設内までの航行を実行しており、HMDの使用者は、この施設に出向いた上で、自動航行モードとは異なる特定の航行モードで無人航空機を航行させることが可能となる。
また、無人航空機400がホームポジションを出発地として航行した後、無人航空機400を、ホームポジションに帰還させるようにしてもよい。ホームポジションとは、出発地および帰還先として、使用者が任意に決定できる位置である。使用者は、ホームポジションとして決定した位置に無人機400を置き、その位置をホームポジションとしてもよい。無人航空機400は、ホームポジションに帰還するために、ホームポジションにおけるGNSS等の位置姿勢情報を出発前に取得し、頭部装着型表示装置100に送信してもよい。無人機400がホームポジションにおいて位置情報を頭部装着型表示装置100に提供できればよいので、例えば、可搬性のあるGNSSレシーバーを任意の位置に設置することによって、その位置をホームポジションとしてもよい。ホームポジションに設置されたGNSSレシーバーは、無人航空機400の出発後に撤去してもよい。頭部装着型表示装置100は、送信されてきた位置姿勢情報を、目的地として記憶する。頭部装着型表示装置100は、記憶した目的地を、自動航行モード及び特定の航行モードにおける目的地として用いる。この方法を用いれば、例えば、GNSSレシーバーを設置した施設内に使用者が出向かなくても自動航行モードから特定の航行モードに切り替えが可能である。
・変形例4:
各実施形態および変形例では、カメラ61の撮像画像が画像表示部20によって視認可能な視界WAと一致するものとして、カメラ61の撮像画像を用いて、視界WA内に無人航空機400が進入したか否かを判定していた。これに対して、変形例として、画像表示部20に備えられた6軸センサー235と磁気センサー237から、画像表示部20が向いている方位を求め、この方位が画像表示部20によって視認可能な視界WAを特定し得るとして、この方位と、無人航空機400のGNSSレシーバー440によって取得したGNSS情報で示される位置とから、視界WA内に無人航空機400が進入したか否かを判定する構成としてもよい。この構成によっても、各実施形態および変形例と同様の効果を奏することができる。
各実施形態および変形例では、カメラ61の撮像画像が画像表示部20によって視認可能な視界WAと一致するものとして、カメラ61の撮像画像を用いて、視界WA内に無人航空機400が進入したか否かを判定していた。これに対して、変形例として、画像表示部20に備えられた6軸センサー235と磁気センサー237から、画像表示部20が向いている方位を求め、この方位が画像表示部20によって視認可能な視界WAを特定し得るとして、この方位と、無人航空機400のGNSSレシーバー440によって取得したGNSS情報で示される位置とから、視界WA内に無人航空機400が進入したか否かを判定する構成としてもよい。この構成によっても、各実施形態および変形例と同様の効果を奏することができる。
さらに、他の変形例として、先に説明した測距センサーによって無人航空機400までの距離を検出し、検出した距離が所定値以下である場合に、視界WA内に無人航空機400が進入したと判定してもよい。上記所定値を例えば11m〜9mとし、無人航空機までの距離が所定値以下である場合に、視界WA内に無人航空機400が進入したと判定する。この構成によっても、各実施形態および変形例と同様の効果を奏することができる。上記所定値は、例えば10mとすることもできる。
さらに、他の変形例として、カメラ61の撮像画像に換えて、無人航空機400側のカメラ420の撮像画像を利用して、視界WA内に無人航空機400が進入したか否かを判定する構成としてもよい。具体的には、無人航空機400側のカメラ420の撮像画像に、HMDを装着した使用者が含まれるか否かから、視界WA内に無人航空機400が進入したか否かを判定する構成とする。この構成によっても、各実施形態および変形例と同様の効果を奏することができる。また、リモコン装置500(図8参照)のディスプレイ510に表示しているカメラ420の撮像画像をリモコン装置500から取得し、この撮像画像を利用して、視界WA内に無人航空機400が進入したか否かを判定する構成としてもよい。
・変形例5:
各実施形態および変形例では、自動航行モードでの航行中に、視界WA内に無人航空機400が進入した場合に、自動航行モードからWi−Fi航行モードへの切り替えを行う構成であった。これに対して、変形例として、上記Wi−Fi航行モードへの切り替えの後、無人航空機400が使用者から離れる方向に旋回し、視界WAの外に無人航空機400が移動した場合には、Wi−Fi航行モードから自動航行モードへの切り替えを行う構成としてもよい。さらに、使用者の視界から出た後に、視界内に再び進入した場合等、繰り返し視界を出入りする場合であっても、本開示を適用可能である。
各実施形態および変形例では、自動航行モードでの航行中に、視界WA内に無人航空機400が進入した場合に、自動航行モードからWi−Fi航行モードへの切り替えを行う構成であった。これに対して、変形例として、上記Wi−Fi航行モードへの切り替えの後、無人航空機400が使用者から離れる方向に旋回し、視界WAの外に無人航空機400が移動した場合には、Wi−Fi航行モードから自動航行モードへの切り替えを行う構成としてもよい。さらに、使用者の視界から出た後に、視界内に再び進入した場合等、繰り返し視界を出入りする場合であっても、本開示を適用可能である。
・変形例6:
第2実施形態では、HMDの制御装置の位置と姿勢を6軸センサー111(図5)の検出信号に基づいて求めていた。これに対して、変形例として、6軸センサー111の検出信号に加えて、GNSSの検出信号やカメラの撮像画像を利用して、HMDの制御装置の位置と姿勢をより高精度に求める構成としてもよい。また、カメラと通信装置を備えた他のHMDにおいて、使用者のHMD(本開示を適用したHMD)の位置と姿勢を観察可能な構成とし、観察された位置と姿勢を他のHMDから通信によって受信することによって、使用者のHMDの位置と姿勢を求めるようにしてもよい。
第2実施形態では、HMDの制御装置の位置と姿勢を6軸センサー111(図5)の検出信号に基づいて求めていた。これに対して、変形例として、6軸センサー111の検出信号に加えて、GNSSの検出信号やカメラの撮像画像を利用して、HMDの制御装置の位置と姿勢をより高精度に求める構成としてもよい。また、カメラと通信装置を備えた他のHMDにおいて、使用者のHMD(本開示を適用したHMD)の位置と姿勢を観察可能な構成とし、観察された位置と姿勢を他のHMDから通信によって受信することによって、使用者のHMDの位置と姿勢を求めるようにしてもよい。
・変形例7:
第2実施形態におけるデッドレコニング航行モードでは、無人航空機400が離陸前の状態にあるときの6軸センサー450の検出信号の値(検出値)を初期値としていた。これに対して、変形例として、無人航空機400が離陸前の状態にあるときの位置と姿勢を、HMD側のカメラ61の撮像画像から求めて、その求めた位置と姿勢を初期値としてもよい。カメラ61は、ステレオカメラとしてもよい。また、カメラ61は単眼カメラとし、2枚以上の撮像画像から三角測量の原理に基づいて距離を算出することによって、位置と姿勢を求め、それを初期値としてもよい。さらに、無人航空機400が離陸前の状態にあるときに換えて、離陸後の所定の状態のときとすることもできる。具体的には、無人航空機を離陸後、予め定めた所定の高さでホバリングさせ、そのときの位置と姿勢を初期値としてもよい。
第2実施形態におけるデッドレコニング航行モードでは、無人航空機400が離陸前の状態にあるときの6軸センサー450の検出信号の値(検出値)を初期値としていた。これに対して、変形例として、無人航空機400が離陸前の状態にあるときの位置と姿勢を、HMD側のカメラ61の撮像画像から求めて、その求めた位置と姿勢を初期値としてもよい。カメラ61は、ステレオカメラとしてもよい。また、カメラ61は単眼カメラとし、2枚以上の撮像画像から三角測量の原理に基づいて距離を算出することによって、位置と姿勢を求め、それを初期値としてもよい。さらに、無人航空機400が離陸前の状態にあるときに換えて、離陸後の所定の状態のときとすることもできる。具体的には、無人航空機を離陸後、予め定めた所定の高さでホバリングさせ、そのときの位置と姿勢を初期値としてもよい。
・変形例8:
各実施形態および変形例では、ドローンのような遠隔操縦または自律飛行が可能な無人航空機を例として説明したが、これに限定されるものではなく、無人地上車両、無人水上艦、無人水上艇、無人水上船、無人潜水艦、無人潜水艇、無人宇宙機などの無人機に対しても本開示を適用可能である。
各実施形態および変形例では、ドローンのような遠隔操縦または自律飛行が可能な無人航空機を例として説明したが、これに限定されるものではなく、無人地上車両、無人水上艦、無人水上艇、無人水上船、無人潜水艦、無人潜水艇、無人宇宙機などの無人機に対しても本開示を適用可能である。
・変形例9:
各実施形態および変形例において、ハードウェアによって実現されるとした構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されるとした構成の一部をハードウェアに置き換えるようにしてもよい。
各実施形態および変形例において、ハードウェアによって実現されるとした構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されるとした構成の一部をハードウェアに置き換えるようにしてもよい。
・変形例10:
上記実施形態では、HMDの構成について例示した。しかし、HMDの構成は、本開示の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、構成要素の追加・削除・変換等を行うことができる。
上記実施形態では、HMDの構成について例示した。しかし、HMDの構成は、本開示の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、構成要素の追加・削除・変換等を行うことができる。
上記実施形態では、右導光板26および左導光板28が外光を透過する、いわゆる透過型のHMD100について説明した。しかし、本開示は、例えば、外界を透過しないで画像を表示する、いわゆる非透過型のHMD100に適用することもできる。また、非透過型のHMD100には、カメラで外界を撮像して、その撮像画像を表示部に表示すれば良い。これらのHMD100では、上記実施形態で説明した実空間に重畳して画像を表示するAR(Augmented Reality)表示の他、撮像した実空間の画像と仮想画像とを組み合わせて表示するMR(Mixed Reality)表示、あるいは、仮想空間を表示するVR(Virtual Reality)表示を行うこともできる。
上記実施形態では、制御装置10および画像表示部20の機能部について説明したが、これらは任意に変更することができる。例えば、次のような態様を採用してもよい。制御装置10に記憶機能部122および制御機能部150を搭載し、画像表示部20には表示機能のみを搭載する態様。制御装置10と画像表示部20との両方に、記憶機能部122および制御機能部150を搭載する態様。制御装置10と画像表示部20とを一体化した態様。この場合、例えば、画像表示部20に制御装置10の構成要素が全て含まれ、眼鏡型のウェアラブルコンピューターとして構成される。制御装置10の代わりにスマートフォンや携帯型ゲーム機器を使用する態様。制御装置10と画像表示部20とを無線通信により接続し、接続ケーブル40を配した態様。この場合、例えば、制御装置10や画像表示部20に対する給電についても無線で実施してよい。
・変形例11:
上記実施形態では、制御装置の構成について例示した。しかし、制御装置の構成は、本開示の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、構成要素の追加・削除・変換等を行うことができる。
上記実施形態では、制御装置の構成について例示した。しかし、制御装置の構成は、本開示の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、構成要素の追加・削除・変換等を行うことができる。
上記実施形態では、制御装置10が備える入力手段の一例について説明した。しかし、制御装置10は、例示した一部の入力手段を省略して構成されてもよく、上述しない他の入力手段を備えていてもよい。例えば、制御装置10は、操作スティック、キーボード、マウス等を備えていてもよい。例えば、制御装置10は、使用者の身体の動き等に対応付けられたコマンドを解釈する入力手段を備えていてもよい。使用者の身体の動き等とは、例えば、視線を検出する視線検出、手の動きを検出するジェスチャー検出、足の動きを検出するフットスイッチ等により取得できる。なお、視線検出は、例えば、画像表示部20の内側を撮像するカメラにより実現できる。ジェスチャー検出は、例えば、カメラ61により経時的に撮影された画像を画像解析することにより実現できる。
上記実施形態では、制御機能部150は、メインプロセッサー140が記憶機能部122内のコンピュータープログラムを実行することにより動作するとした。しかし、制御機能部150は種々の構成を採用することができる。例えば、コンピュータープログラムは、記憶機能部122に代えて、または記憶機能部122と共に、不揮発性記憶部121、EEPROM215、メモリー118、他の外部記憶装置(各種インターフェースに挿入されているUSBメモリー等の記憶装置、ネットワークを介して接続されているサーバー等の外部装置を含む)に格納されていてもよい。また、制御機能部150の各機能は、当該機能を実現するために設計されたASIC(Application Specific Integrated Circuit)を用いて実現されてもよい。
・変形例12:
特定の航行モードとして手動航行モードを採用する形態の変形例として、L1よりもさらに近いL0以下の距離に無人航空機400が進入した場合に、操作部520に入力される操作量と、無人航空機400の反応との関係を変更してもよい。無人航空機400の反応とは、例えば、無人航空機400が移動する移動量でもよいし、移動速度の変化量の範囲でもよい。上記の関係とは、例えば、ジョイスティックタイプの操作部520に対して最大の操作量を入力した場合に、関係の変更前に比べて、移動量を小さくしてもよいし、速度が遅くなるように設定してもよい。上記のように構成することで、無人機400がL0よりも遠い場合に比べ、L0以下の距離に無人航空機400が進入した場合、無人航空機400の細かい移動を制御することができるようになる。
特定の航行モードとして手動航行モードを採用する形態の変形例として、L1よりもさらに近いL0以下の距離に無人航空機400が進入した場合に、操作部520に入力される操作量と、無人航空機400の反応との関係を変更してもよい。無人航空機400の反応とは、例えば、無人航空機400が移動する移動量でもよいし、移動速度の変化量の範囲でもよい。上記の関係とは、例えば、ジョイスティックタイプの操作部520に対して最大の操作量を入力した場合に、関係の変更前に比べて、移動量を小さくしてもよいし、速度が遅くなるように設定してもよい。上記のように構成することで、無人機400がL0よりも遠い場合に比べ、L0以下の距離に無人航空機400が進入した場合、無人航空機400の細かい移動を制御することができるようになる。
・変形例13:
上記実施形態では、画像表示部の構成について例示した。しかし、画像表示部の構成は、本開示の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、構成要素の追加・削除・変換等を行うことができる。
上記実施形態では、画像表示部の構成について例示した。しかし、画像表示部の構成は、本開示の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、構成要素の追加・削除・変換等を行うことができる。
図29は、変形例の画像表示部が備える光学系の構成を示す要部平面図である。変形例の画像表示部では、使用者の右眼REに対応したOLEDユニット221aと、左眼LEに対応したOLEDユニット241aと、が設けられている。右眼REに対応したOLEDユニット221aは、白色で発色するOLEDパネル223aと、OLEDパネル223aを駆動して発光させるOLED駆動回路225とを備えている。OLEDパネル223aと右光学系251との間には、変調素子227(変調装置)が配置されている。変調素子227は、例えば、透過型液晶パネルで構成され、OLEDパネル223aが発する光を変調して画像光Lを生成する。変調素子227を透過して変調された画像光Lは、右導光板26によって右眼REに導かれる。
左眼LEに対応したOLEDユニット241aは、白色で発光するOLEDパネル243aと、OLEDパネル243aを駆動して発光させるOLED駆動回路245とを備えている。OLEDパネル243aと左光学系252との間には、変調素子247(変調装置)が配置されている。変調素子247は、例えば、透過型液晶パネルで構成され、OLEDパネル243aが発する光を変調して画像光Lを生成する。変調素子247を透過して変調された画像光Lは、左導光板28によって左眼LEに導かれる。変調素子227、247は、図示しない液晶ドライバー回路に接続される。この液晶ドライバー回路(変調装置駆動部)は、例えば変調素子227、247の近傍に配置される基板に実装される。
変形例の画像表示部によれば、右表示ユニット22および左表示ユニット24は、それぞれ、光源部としてのOLEDパネル223a、243aと、光源部が発する光を変調して複数の色光を含む画像光を出力する変調素子227、247と、を備える映像素子として構成される。なお、OLEDパネル223a、243aが発する光を変調する変調装置は、透過型液晶パネルが採用される構成に限定されない。例えば、透過型液晶パネルに代えて反射型液晶パネルを用いてもよいし、デジタル・マイクロミラー・デバイスを用いてもよいし、レーザー網膜投影型のHMD100としてもよい。
上記実施形態では、眼鏡型の画像表示部20について説明したが、画像表示部20の態様は任意に変更することができる。例えば、画像表示部20を帽子のように装着する態様としてもよく、ヘルメット等の身体防護具に内蔵された態様としてもよい。また、画像表示部20を、自動車や飛行機等の車両、またはその他の交通手段に搭載されるHUD(Head Up Display)として構成してもよい。
上記実施形態では、画像光を使用者の眼に導く光学系として、右導光板26および左導光板28の一部に、ハーフミラー261、281により虚像が形成される構成を例示した。しかし、この構成は任意に変更することができる。例えば、右導光板26および左導光板28の全面(または大部分)を占める領域に虚像が形成されてもよい。この場合、画像の表示位置を変化させる動作によって画像を縮小してもよい。また、本開示の光学素子は、ハーフミラー261、281を有する右導光板26および左導光板28に限定されず、画像光を使用者の眼に入射させる光学部品(例えば、回折格子、プリズム、ホログラフィー等)を用いる限り任意の態様を採用できる。
本開示は、上述の実施形態や実施例、変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、実施例、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。
10…制御装置、12…点灯部、14…タッチパッド、16…方向キー、17…決定キー、18…電源スイッチ、19…バイブレーター、20…画像表示部、21…右保持部、22…右表示ユニット、23…左保持部、24…左表示ユニット、26…右導光板、27…前部フレーム、28…左導光板、30…ヘッドセット、32…右イヤホン、34…左イヤホン、40…接続ケーブル、46…コネクター、61…カメラ、63…マイク、65…照度センサー、67…LEDインジケーター、100…頭部装着型表示装置(HMD)、110…操作部、111…6軸センサー、113…磁気センサー、115…GNSSレシーバー、117…無線通信部、118…メモリー、120…コントローラー基板、121…不揮発性記憶部、122…記憶機能部、123…設定データ、124…コンテンツデータ、130…電源部、132…バッテリー、134…電源制御回路、140…メインプロセッサー、145…画像処理部、147…表示制御部、149…撮像制御部、150…制御機能部、151…入出力制御部、153…通信制御部、155…無人航空機制御部、155a…帰還処理部、180…音声コーデック、182…音声インターフェース、184…外部コネクター、186…外部メモリーインターフェース、188…USBコネクター、192…センサーハブ、196…インターフェース、210…表示ユニット基板、211…インターフェース、213…受信部、215…EEPROM、217…温度センサー、221、221a…OLEDユニット、223、223a…OLEDパネル、225…OLED駆動回路、227…変調素子、230…表示ユニット基板、231…インターフェース、233…受信部、235…6軸センサー、237…磁気センサー、239…温度センサー、241、241a…OLEDユニット、243、243a…OLEDパネル、245…OLED駆動回路、247…変調素子、251…右光学系、252…左光学系、261…ハーフミラー、281…ハーフミラー、400…無人航空機、410…プロペラ、420…カメラ、430…モーター、440…GNSSレシーバー、450…6軸センサー、460…無線通信部、470…Wi−Fi通信部、480…バッテリー、490…制御部、500…リモコン装置、510…ディスプレイ、520…操作部、530…GNSSレシーバー、540…無線通信部、550…USBコネクター、590…制御部、WA…外界
Claims (23)
- 無人機の操縦に関する制御を行うことが可能な頭部装着型表示装置であって、
外界を視認可能な表示部と、
GNSS情報を取得するGNSS情報取得部と、
前記無人機との間の無線通信を利用した通信を行い得る通信部と、
制御部と、を備え、
前記制御部は、
前記無人機が、前記GNSS情報取得部によって取得される前記GNSS情報で示される位置に向けて移動する自動航行モードで航行している場合に、前記表示部によって視認可能な視界内に前記無人機が進入したか否かを判定し、
前記視界内に前記無人機が進入したと判定された場合に、前記自動航行モードでの航行を前記無人機に対し中止させ、前記自動航行モードとは異なる特定の航行モードで前記無人機を航行させる
頭部装着型表示装置。 - 更に、前記視界を撮像するカメラを有し、
前記制御部は、前記カメラの撮像画像を取得し、前記無人機を特定するために予め準備された目的画像と前記撮像画像とをパターンマッチングすることによって、前記無人機が前記視界に進入したか否かの判定を行う
請求項1に記載の頭部装着型表示装置。 - 前記GNSS情報取得部は、前記GNSS情報を受信するGNSS受信部を備え、
前記自動航行モードは、前記頭部装着型表示装置へ帰還させるものである
請求項1から請求項2までの何れか一項に記載の頭部装着型表示装置。 - 前記GNSS情報取得部は、前記頭部装着型表示装置から離れた位置に備えられたGNSS受信部から前記GNSS情報を受信する
請求項1から請求項2までの何れか一項に記載の頭部装着型表示装置。 - 更に、前記無人機から送られてくる無線電波を受信する無線電波受信部を備え、
前記特定の航行モードは、前記無線電波受信部によって受信される無線電波の強度を測定し、測定した前記強度の変化から航行ルートを定めるモードである
請求項1から請求項4までの何れか一項に記載の頭部装着型表示装置。 - 前記無人機は、機体の動きを検出する慣性センサーを備え、前記慣性センサーの検出値を逐次積算することによって、機体の位置を求め、
前記特定の航行モードは、前記頭部装着型表示装置が、前記無人機が求めた前記機体の位置を取得し、取得した前記機体の位置から航行ルートを定めるモードである
請求項1から請求項4までの何れか一項に記載の頭部装着型表示装置。 - 前記慣性センサーは、第1慣性センサーであり、
更に、動きを検出する第2慣性センサーを有し、
前記特定の航行モードは、前記頭部装着型表示装置が、前記第2慣性センサーの検出値を逐次積算することによって、前記頭部装着型表示装置の位置を求め、求めた前記頭部装着型表示装置の位置と、取得した前記機体の位置と、から航行ルートを定めるモードである
請求項6に記載の頭部装着型表示装置。 - 更に、使用者によって操作され、前記無人機の動きを指示する操作部を有し、
前記特定の航行モードは、前記頭部装着型表示装置が、前記操作部に対する指示に従って航行ルートを定めるモードである
請求項1から請求項4までの何れか一項に記載の頭部装着型表示装置。 - 前記表示部は、外界を透過視認可能な表示部であり、
前記制御部は、
前記操作部のための操作画面を前記表示部に表示させ、
前記視界内に前記無人機が進入したと判定された場合に、前記表示部における前記無人機の位置を推定し、推定された前記位置から離れた位置に前記操作画面を移動させる
請求項8に記載の頭部装着型表示装置。 - 前記通信部は、前記無人機によって撮像された画像である無人機画像を、前記無人機から無線通信で取得し、
前記表示部は、外界を透過視認可能な表示部であり、当該頭部装着型表示装置から前記無人機までの距離である操縦距離が、第2距離よりも遠い場合、第1態様による表示をし、前記操縦距離が前記第2距離よりも近く第1距離以上の場合、第2態様による表示をし、前記操縦距離が前記第1距離よりも近い場合、第3態様による表示をし、
前記第1,第2及び第3態様による表示は、前記無人機画像の表示を含む
請求項1から請求項4までの何れか一項に記載の頭部装着型表示装置。 - 前記第2態様による表示における前記無人機画像の表示領域は、前記第1態様による表示における前記無人機画像の表示領域よりも狭い
請求項10に記載の頭部装着型表示装置。 - 前記第1態様による表示は、前記第1態様による表示であることを示す表示を含み、
前記第2態様による表示は、前記第2態様による表示であることを示す表示を含み、
前記第3態様による表示は、前記第3態様による表示であることを示す表示を含む
請求項10から請求項11までの何れか一項に記載の頭部装着型表示装置。 - 前記制御部は、前記第1及び第2距離の少なくとも何れか一方を、前記無人機と、前記無人機周辺の背景色との関係に基づき設定する
請求項10から請求項12までの何れか一項に記載の頭部装着型表示装置。 - 前記操縦距離が前記第1距離以下であることは、前記表示部によって視認可能な視界内に前記無人機が進入したと判定されることの必要条件であり、
前記制御部は、前記自動航行モードによる航行によって前記操縦距離が前記第1距離よりも大きい距離から前記第1距離に縮まった場合、前記特定の航行モードによる航行が開始するまで、前記無人機に対し現在位置でのホバリングを指示する
請求項10から請求項13までの何れか一項に記載の頭部装着型表示装置。 - 前記制御部は、前記操縦距離が前記第1距離以下から前記第1距離より大きい距離に伸びた場合、前記無人機に対し前記自動航行モードによって前記操縦距離を縮めるように指示する
請求項10から請求項14までの何れか一項に記載の頭部装着型表示装置。 - 前記制御部は、複数の前記無人機に対し、航行モードの指示が可能である
請求項10から請求項15までの何れか一項に記載の頭部装着型表示装置。 - 更に、使用者によって操作され、前記無人機の動きを指示する操作部を有し、
前記制御部は、前記操作部のための操作画面を前記表示部に表示させ、
前記特定の航行モードは、前記頭部装着型表示装置が、前記操作部に対する指示に従って航行ルートを定めるモードであり、
前記制御部は、前記操縦距離が前記第1距離以下の無人機が複数、存在する場合、前記複数の無人機の中から何れか1つを、前記操作部に対する指示に従って航行ルートを定める無人機である選択機として選択する
請求項16に記載の頭部装着型表示装置。 - 前記制御部は、前記操縦距離が前記第1距離以下の無人機の中で、前記選択機以外の無人機に対し、ホバリングを指示する
請求項17に記載の頭部装着型表示装置。 - 前記制御部は、前記操縦距離が前記第1距離以下の無人機の中で、前記選択機以外の無人機に対し、前記選択機に追従することを指示する
請求項17に記載の頭部装着型表示装置。 - 前記表示部は、前記第3態様による表示として、前記選択機を、前記選択機以外の無人機と区別するための像を表示する
請求項17から請求項19までの何れか一項に記載の頭部装着型表示装置。 - 前記選択機以外の無人機には、当該頭部装着型表示装置による操縦対象の無人機と、当該頭部装着型表示装置による操縦対象外の無人機とが含まれ、
前記表示部は、前記第3態様による表示として、当該頭部装着型表示装置による操縦対象の無人機と、当該頭部装着型表示装置による操縦対象外の無人機と区別するための像を表示する
請求項20に記載の頭部装着型表示装置。 - 前記制御部は、前記特定の航行モードにおける目的地の入力を使用者から受け付け、前記目的地に向かうことを前記無人機に指示する
請求項10から請求項16までの何れか一項に記載の頭部装着型表示装置。 - 頭部装着型表示装置を用いて、無人機を操縦する方法であって、
GNSS情報で示される位置に向けて移動する自動航行モードで前記無人機が航行している場合に、前記頭部装着型表示装置によって視認可能な視界内に前記無人機が進入したか否かを前記頭部装着型表示装置が判定し、
前記視界内に前記無人機が進入したと判定された場合に、前記頭部装着型表示装置が、前記自動航行モードでの航行を前記無人機に対し中止させ、前記自動航行モードとは異なる特定の航行モードで前記無人機を航行させる
無人機の操縦方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017209970A JP2019081456A (ja) | 2017-10-31 | 2017-10-31 | 頭部装着型表示装置、無人機の操縦方法 |
CN201810171935.4A CN108664037B (zh) | 2017-03-28 | 2018-03-01 | 头部佩戴型显示装置以及无人机的操纵方法 |
US15/925,381 US11046429B2 (en) | 2017-03-28 | 2018-03-19 | Head mounted display and method for maneuvering vehicle |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017209970A JP2019081456A (ja) | 2017-10-31 | 2017-10-31 | 頭部装着型表示装置、無人機の操縦方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019081456A true JP2019081456A (ja) | 2019-05-30 |
Family
ID=66670644
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017209970A Pending JP2019081456A (ja) | 2017-03-28 | 2017-10-31 | 頭部装着型表示装置、無人機の操縦方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2019081456A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021179957A (ja) * | 2019-07-25 | 2021-11-18 | 株式会社プロドローン | 遠隔操縦システムおよびその操縦装置 |
DE112020002078T5 (de) | 2019-04-23 | 2022-01-05 | Denka Company Limited | Leuchtstoffpulver und lichtemittierende Vorrichtung |
CN115412722A (zh) * | 2022-08-16 | 2022-11-29 | 中国检验认证集团河北有限公司 | 无人水尺观测系统、方法及装置 |
JP7493572B2 (ja) | 2019-12-17 | 2024-05-31 | 三菱電機株式会社 | 基地局および遠隔管理装置 |
-
2017
- 2017-10-31 JP JP2017209970A patent/JP2019081456A/ja active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE112020002078T5 (de) | 2019-04-23 | 2022-01-05 | Denka Company Limited | Leuchtstoffpulver und lichtemittierende Vorrichtung |
JP2021179957A (ja) * | 2019-07-25 | 2021-11-18 | 株式会社プロドローン | 遠隔操縦システムおよびその操縦装置 |
JP7493572B2 (ja) | 2019-12-17 | 2024-05-31 | 三菱電機株式会社 | 基地局および遠隔管理装置 |
CN115412722A (zh) * | 2022-08-16 | 2022-11-29 | 中国检验认证集团河北有限公司 | 无人水尺观测系统、方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108664037B (zh) | 头部佩戴型显示装置以及无人机的操纵方法 | |
US10972668B2 (en) | Display device and control method for display device | |
JP2018165066A (ja) | 頭部装着型表示装置およびその制御方法 | |
JP6919206B2 (ja) | 表示装置、及び、表示装置の制御方法 | |
US10643390B2 (en) | Head mounted display, method for controlling head mounted display, and computer program | |
US10785472B2 (en) | Display apparatus and method for controlling display apparatus | |
JP7087481B2 (ja) | 頭部装着型表示装置、表示制御方法、およびコンピュータープログラム | |
US10310502B2 (en) | Head-mounted display device, control method therefor, and computer program | |
US10838205B2 (en) | Head mounted display, control method thereof, and computer program | |
US11025826B2 (en) | Display system, display device, and control method for display device | |
US20180259775A1 (en) | Transmission-type display device, display control method, and computer program | |
JP7003633B2 (ja) | 透過型表示装置、表示制御方法、およびコンピュータープログラム | |
JP2019081456A (ja) | 頭部装着型表示装置、無人機の操縦方法 | |
JP2019164420A (ja) | 透過型頭部装着型表示装置および透過型頭部装着型表示装置の制御方法、透過型頭部装着型表示装置の制御のためのコンピュータープログラム | |
US11804052B2 (en) | Method for setting target flight path of aircraft, target flight path setting system, and program for setting target flight path | |
JP2017182413A (ja) | 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム | |
JP2017134630A (ja) | 表示装置、表示装置の制御方法、及び、プログラム | |
US20230062433A1 (en) | Eyewear controlling an uav | |
JP2018067160A (ja) | 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム | |
JP2018056791A (ja) | 表示装置、受信装置、プログラム、及び受信装置の制御方法。 |