JP2018036993A - 表示システム、携帯情報機器、ウエラブル型端末、情報表示方法およびプログラム - Google Patents

Abstract

【課題】ユーザのウエラブル端末の使用状態に応じて、ウエラブル端末と外部装置に適切に表示を行うことができる表示システム、携帯情報機器、ウエラブル型端末、情報表示方法およびプログラムを提供する。
【解決手段】使用者の頭部に装着し第１の表示部を有するウエアラブル型端末と、第２の表示部を有するウエアラブル端末以外の機器とで、ほぼ同一のコンテンツを表示可能な情報表示方法において、使用者が凝視する対象を検出し（Ｓ１、Ｓ２１〜Ｓ３７）、第２の表示部で表示した画像を第１の表示部で表示する際に、対象に基づいて切り替えて制御する（Ｓ３、Ｓ５、Ｓ９）。
【選択図】 図４

Description

本発明は、眼鏡型の表示部を有するウエラブル型端末、表示システム、携帯情報機器、情報表示方法およびプログラムに関する。

近年、いわゆる拡張現実感（ＡＲ：Augmented Reality）技術が発達し、コンピュータによって作成されるＣＧ（Computer Graphics）などの仮想物体の画像を現実空間に仮想物体があるように表示することが可能となってきた。例えば、ユーザが表示部付き眼鏡（ウエラブル端末）を装着し、このウエラブル端末を介して現実空間を視認すると、表示部に種々の情報が現実空間に重畳して表示するウエラブル端末が提案されている（特許文献１参照）。

特開２０１１−２５３３２４号公報

上述の先行技術では、眼鏡型のウエラブル端末の表示部に表示を行うことが開示されている。しかし、ユーザが凝視している対象によっては、眼鏡型ウエラブル端末の表示部に限らず、他の外部装置に表示を行う方がよい場合がある。しかし、上述の特許文献１には、この点については、何ら記載がない。

本発明は、このような事情を鑑みてなされたものであり、ユーザのウエラブル端末の使用状態に応じて、ウエラブル端末と外部装置に適切に表示を行うことができる表示システム、携帯情報機器、ウエラブル型端末、情報表示方法およびプログラムを提供することを目的とする。

上記目的を達成するため第１の発明に係る表示システムは、使用者の頭部に装着し第１の表示部を有するウエアラブル型端末と、第２の表示部を有する上記ウエアラブル端末以外の機器とでほぼ同一のコンテンツを表示可能な表示システムにおいて、上記使用者が凝視する対象を判定する判定部と、上記第２の表示部で表示した画像を上記第１の表示部で表示する際に、上記判定した上記対象に基づいて切り替えて制御する表示制御部と、を有する。

第２の発明に係る表示システムは、上記第１の発明において、上記判定部は、使用者の姿勢の時間的変化の特徴、または、特定時間の姿勢の継続に基づいて判定する。
第３の発明に係る表示システムは、上記第１の発明において、上記判定部は、上記使用者の姿勢情報を取得し、この姿勢情報に基づいて判定する。

第４の発明に係る表示システムは、上記第１の発明において、上記判定部は、周囲の音声情報を取得し、この取得した音声情報に基づいて判定する。
第５の発明に係る表示システムは、上記第１の発明において、上記判定部は、撮像部によって取得した画像情報に基づいて判定する。
第６の発明に係る表示システムは、上記第１の発明において、上記ウエアラブル端末を装着した際に、対面した人物の反応情報を取得する反応情報取得部を有し、上記表示制御部は、上記反応情報取得部によって取得した上記反応情報に基づいて、上記第２の表示部で表示した画像を上記第１の表示機器で表示する。

第７の発明に係る携帯情報機器は、使用者の頭部に装着し、上記使用者が現実空間を直接視認する方向に、可視光を透過可能な第１の表示部を有するウエラブル型端末と通信可能な携帯情報機器において、上記携帯情報機器に設けられた第２の表示部と、上記使用者が凝視する対象を検出する判定部と、上記第２の表示部で表示した画像を上記第１の表示部で表示する際に、上記対象に基づいて切り替えて制御する表示制御部と、を有する。

第８の発明に係るウエラブル型端末は、第２の表示部と使用者が凝視する対象を判定する判定部を有する携帯情報機器と通信可能なウエラブル型端末において、上記ウエラブル型端末に設けられた第１の表示部と、上記第２の表示部で表示した画像を上記第１の表示部で表示する際に、上記対象に基づいて切り替えて制御する表示制御部と、を有する。

第９の発明に係る情報表示方法は、使用者の頭部に装着し第１の表示部を有するウエアラブル型端末と、第２の表示部を有する上記ウエアラブル端末以外の機器とで、ほぼ同一のコンテンツを表示可能な情報表示方法において、上記使用者が凝視する対象を検出し、上記第２の表示部で表示した画像を上記第１の表示部で表示する際に、上記対象に基づいて切り替えて制御する。
第１０の発明に係る情報表示方法は、使用者の頭部に装着し、上記使用者が現実空間を直接視認する方向に、可視光を透過可能な第１の表示部を有するウエラブル型端末と通信可能であり、第２の表示部を有する携帯情報機器における情報表示方法において、上記使用者が凝視する対象を検出し、上記第２の表示部で表示した画像を上記第１の表示部で表示する際に、上記検出した上記対象に基づいて切り替えて制御する。

第１１の発明に係るプログラムは、使用者の頭部に装着し、上記使用者が現実空間を直接視認する方向に、可視光を透過可能な第１の表示部を有するウエラブル型端末と通信可能であり、第２の表示部を有する携帯情報機器内に設けられたコンピュータを実行するプログラムにおいて、上記使用者が凝視する対象を検出し、上記第２の表示部で表示した画像を上記第１の表示部で表示する際に、上記検出した上記対象に基づいて切り替えて制御する、
ことを上記コンピュータに実行させる。

本発明によれば、ユーザのウエラブル端末の使用状態に応じて、ウエラブル端末と外部装置に適切に表示を行うことができる表示システム、携帯情報機器、ウエラブル型端末、情報表示方法およびプログラムを提供することができる。

本発明の第１実施形態に係る表示システムの主として電気的構成を示すブロック図である。 本発明の第１実施形態に係る表示システムの使用状態を示す図である。 本発明の第１実施形態に係る表示システムの使用状態を示す図である。 本発明の第１実施形態に係る表示システムの動作を示すフローチャートである。 本発明の第１実施形態に係る情報表示装置の携帯端末制御の動作を示すフローチャートである。 本発明の第１実施形態に係る携帯端末の動作を示すフローチャートである。 本発明の第１実施形態に係るドローンの動作を示すフローチャートである。 本発明の第１実施形態に係る眼鏡型端末の動作を示すフローチャートである。 本発明の第２実施形態に係る情報表示装置の使用状態を示す図である。 本発明の第２実施形態に係る院内端末の動作を示すフローチャートである。 本発明の第２実施形態に係るウエアラブル部の動作を示すフローチャートである。

以下、本発明の好ましい実施形態として眼鏡型情報表示装置（以下、ウエアラブル部１０と称す）と、外部機器２０となからなる表示システムについて説明する。

図１（ａ）は、情報表示システムの概略を示すブロック図であり、図１（ｂ）は、ユーザ４０がウエアラブル部１０を頭部に装着した状態を示している。ウエアラブル部１０は、いわゆる眼鏡の形状をしており、光学部材４１，４２と、ユーザ４０の頭部に装着するための装着部を有する。なお、光学部材４１、４２は、屈折力を有しない透明ガラス、透明プラスチック等でもよい。また、ウエアラブル部１０は、制御部１１、第１表示部１２、情報取得部１３を有する。

このウエアラブル部１０は、使用者の頭部に装着し第１の表示部を有するウエアラブル型端末として機能する。また、ウエアラブル部１０は、使用者の頭部に装着し、使用者が現実空間を直接視認する方向に、可視光を透過可能な第１の表示部を有するウエラブル型端末として機能する。

第１表示部１２は、ユーザ４０が右眼用光学部材４１を介して外界を観察する際に、制御部１１によって生成された画像を、外界の風景に重畳して表示させる。この光学部材４１は表示部に対応する部分は拡大機能等を有し、その他の部分はシースルーの素通しの構成のものを想定している。しかし、これに限らず、半透過の反射ミラー、拡大ハーフミラー等を用いるようにしてもよい。図１（ｃ）に示すように、ユーザ４０は、左眼用光学部材４２によって左視界（光学眼鏡視界）を観察できるが、この光学部材４２は素通しでもよく、光学部がなくてもよい。右眼用光学部材４１によって右視界（光学眼鏡視界）を観察できるが、この光学部材４１も前述したように素通しであったり、光学部がなくてもよい。また、前述したように、右眼用光学部４１の下側の表示領域１２ａにおいて、ユーザ４０は、第１表示部１２によって形成される画像を観察することができる。

なお、第１表示部１２は、表示領域１２ａを右眼用部材４１側に設けていたが、これに限らず左眼用部材４２側に設けてもよい。このときは、表示部が視野全体となるが、目の前のものが見えなくならないように、例えば、後述の情報取得部で得た目の前の撮像結果を表示するようにすれば、素通しと同様の機能にできる。本実施形態は、現実世界において前方にある対象物に対するユーザの「凝視」に着目した提案である。ユーザは、目による視覚だけでなく、他の五感を駆使して、感じたものを見ようとするので、現実世界の対象物をよく見ようとする動作をよく行う。本実施形態においては、現実世界の対象物をよく見ようとする動作、すなわち、素通しの先にある現実の対象物を見ようとする状況を検出することを「凝視検出」または「凝視判定」としている。つまり、眼鏡型ウエアラブル端末に仮想的に表示されたものを凝視するような状況もあるが、それよりも、姿勢や体勢などの変化を伴う、現実世界の注視状態の検出によって、特別な操作をすることなく、直感的、無意識、ハンズフリーで表示切換を行うことを発明として説明している。

情報取得部１３は、画像入力部１３ａと音声入力部１３ｂを有する。画像入力部１３ａは、図１（ｂ）に示すように、画像を形成するための撮影レンズや画像を光電変換するための撮像素子等を含むカメラ１３ａａを有する。画像入力部１３ａによって変換された画像データは、制御部１１に出力される。音声入力部１３ｂは、音声を音声データに変換するためのマイク１３ｂｂを有し、ここで変換された音声データは、制御部１１に出力される。なお、図１（ｂ）においては、第１表示部１２、画像入力部１３ａ、カメラ１３ａａ、音声入力部１３ｂ、およびマイク１３ｂｂは、別体のように描かれているが、ウエラブル部１０として一体に構成されている。

ユーザは、何かを凝視すると、特定の姿勢になって目を凝らすので、特定時間、画像や音声情報が変化しないようなことを検出した場合には、「凝視」と判定してもよい。あるいは、検出された画像がモニタの画像であったり、予め学習やプログラムで記録された特定の対象物の画像であったり、検出された音声が特定の機器の音声や、ユーザの声であった場合には、「凝視」と判定してもよい。本実施形態においては、今回、何を見ているかに応じて表示部における表示を切り替えるので、ユーザの仕草や姿勢、体勢を判定しやすいウエアラブル部１０に情報取得部１３を設けることは有利である。ユーザが見ている画像を検出するのみならず、見ている画像の変化や推移などを検出してもよい。情報取得部や動きセンサ部は、共に凝視判定に使えるが、一方でも組合せでもよい。いずれの場合も、特定の状態になっての時間や、特定の第１の状態から特定の第２の状態への推移の特徴などで判定が可能となる。

もちろん、その人のつぶやきや体の動かし方の癖を学習（ユーザが満足したかどうかを音声などで判定し、教師データとすれば良い）して利用してもよい。こうした情報取得部や動きセンサ部は、別体として、そのデータを用いて凝視判定してもよく、そのデータを他の機器が受信して凝視判定してもよい。つまり、使用者の姿勢の時間的変化の特徴、または、特定時間の姿勢の継続に基づいてユーザの凝視状態を判定することができる。この姿勢は動きそのものや、動いた結果や、画像そのものや画像の推移によって判定できる。

制御部１１は、ＣＰＵ（Central Processing Unit）とその周辺回路およびメモリ等を有する。ＣＰＵはメモリに記憶されたプログラムに従って、ウエアラブル部１０内の各部を制御することによってウエラブル部１０の全体を実行する。周辺回路は、ウエラブル部１０がいずれの方位に向いているかを検出するための電子コンパスや、凝視仰角を測定するための傾き検出用のセンサや、動きを検出するジャイロ等の動きセンサを有する。

また、制御部１１内の周辺回路としては、通信回路を有し、外部機器２０と通信を行う。通信方式としては、ＷｉＦｉやブルートゥース（登録商標）等の無線通信や、赤外通信等を使用してもよく、この場合にはいずれか一方の通信方式でもよく、また両方式を使用してもよい。また、両方式を使用する場合には、ブロードキャストモード等によるＷｉＦｉ通信によって画像通信を行い、ブルートゥース（登録商標）によって外部機器との制御用信号の通信を行ってもよい。

外部機器２０は、据え置き型ＰＣ（Personal Computer）、ノート型ＰＣ、タブレットＰＣ、スマートフォン等の表示部と通信回路を有する機器であればよい。本実施形態においては、外部機器２０としてスマートフォンに適用した場合について説明するが、これ以外の機器であっても勿論かまわない。

外部機器２０は、制御部２１、第２表示部２２、情報取得部２３を有する。外部機器２０は、第２の表示部を有するウエアラブル端末以外の機器として機能する。このウエアラブル端末以外の機器とウエアラブル型端末は、ほぼ同一のコンテンツを表示可能である。また、外部機器２０は、第２の表示部と使用者が凝視する対象を判定する判定部を有する携帯情報機器として機能する。

第２表示部２０は、液晶パネル、有機ＥＬパネル等を有し、画像を表示する。画像としては、外部機器２０がスマートフォンの場合には、スマートフォンのメニュー画面や、後述するようにドローンと連携している場合には、ドローンから送信されてきた画像等がある。情報取得部２３は、ユーザが外部機器２０に情報を入力するものであり、例えば、キーボード、タッチパネル等がある。

制御部２１は、ＣＰＵ（Central Processing Unit）とその周辺回路およびメモリ等を有する。ＣＰＵはメモリに記憶されたプログラムに従って、外部機器２０内の各部を制御することによって外部機器２０の全体を実行する。また、制御部２１内の周辺回路として、通信回路を有し、ウエラブル部１０や、第２の外部機器等と通信を行う。

なお、図１（ａ）においては、制御部１１はウエラブル部１０に配置され、制御部２１は外部機器２０に配置されている。第１表示部１２および第２表示部２２の表示制御（切り替え制御を含む）を行う表示制御部３０の機能は、制御部１１が担ってもよく、制御部２１が担ってもよい。また、両制御部１１、２１が協働して実行するようにしてもよい。

外部機器２０をユーザが見ているかどうかは、画像情報に基づいて、この外部機器２０の形状を判定してもよいし、外部機器２０の表示内容で判定しても良い。外部機器２０に特別な表示（例えば、バーコードやパターン等、機器によって読み取りが容易な表示）をよって行わせることによって、判定の際に補助するようにしてもよく、発光パターンや発音パターンを組み合わせてもよい。ちらっと見る場合は、ちらっと見た時も見たいという意志がある場合もあるので、「凝視」に分類してもよい。凝視の時間で判定するより、ちらっと見る時の動きパターンなどを画像や動き（姿勢変化）で判定すればよい。

表示制御部３０は、使用者が凝視する対象を判定する判定部（例えば、図４（ａ）のＳ１、図４（ｂ）、図６のＳ６７）として機能する。この判定は、前述したように、画像、音声、動きなどのデータを取得して、その特徴、変化の特徴などに基づいて行えばよい。判定結果を表示した際のユーザの声や身振りなどを利用して、ユーザが判定結果を満足したか否かを判定し、状況ごとに良い悪い等の結果を蓄積し、人工知能を利用した学習を利用することにより、さらなる性能アップが可能となる。

また、表示制御部３０は、第２の表示部で表示した画像を第１の表示部で表示する際に、判定した対象に基づいて切り替えて制御する表示制御部として機能する（例えば、図４のＳ３、Ｓ５、Ｓ９参照）。この表示制御部は、表示部を一体的に備えるウエアラブル部内に設けられていてもよく、また外部機器側に設けられていてもよい。また、表示制御部は、これらの機器内に備えられた制御部が連携することによって実現してもよく、さらに他の機器と連携することによって実現するようにしてもよい。

上述の判定部は、使用者の姿勢情報を取得し、この姿勢情報に基づいて判定する（例えば、図４（ｂ）のＳ２３、Ｓ２５、Ｓ３１参照）。また、判定部は、周囲の音声情報を取得し、この取得した音声情報に基づいて判定する（例えば、図４（ｂ）のＳ２７、Ｓ３１参照）。また、判定部は、撮像部によって取得した画像情報に基づいて判定する（例えば、図４（ｂ）のＳ２９、Ｓ３１参照）。また、判定部は、使用者の姿勢の時間的変化の特徴、または、特定時間の姿勢の継続に基づいて判定する。この判定は、取得した画像、音声、姿勢の情報そのものだけではなく、その継続時間や、その状態になるまでの過程を考慮して行ってもよい。複合的に組み合わせて学習させてもよい。従って、画像入力部（撮像部）や音声入力部は、ユーザの姿勢や所作に応じて取得できる方向が変わるように、適度に指向性があるものを想定してもよい。もちろん、指向性制御を有する画像入力部や音声入力部を用いても同様の機能を達成することができる。つまり、ユーザの顔の前にあるものを直視している時に、素通しで見えるものが、取得した情報に基づいて判定可能に配置・構成されていることが望ましい。

次に、図２および図３を用いて、本実施形態における表示システムの使用例について説明する。図２は、ユーザ４０がウエラブル部１０を頭部に装着し、外部機器２０を用いて遠隔操作可能な無線操縦航空機（ドローン５０）を操縦しながら、撮影を行う様子を示す。なお、外部機器２０として、スマートフォンを使用している。また、本実施形態においては、ドローンを使用しているが、航空機に限らず、ロボット、陸上を移動可能な機械、水中を移動可能な機械にも応用が可能である。

ドローン５０は、安全を確保する観点から、目視で操縦することが望ましい。そこで、ユーザ４０はウエラブル部１０の右眼用光学部材４１と左眼用光学部材４２を透してドローン５０を見ながら、外部機器２０の第２表示部２２上に設けられたタッチパネル２２ａをタッチ操作することにより、ドローン５０の操縦を行う。光学部を素通し状態とすることにより、余計な表示を無くし、操縦に集中することができる。

後述するように、ユーザ４０がドローン５０を凝視すると、ドローン操縦用の接眼部表示モード１および外部機器表示モード１に切り替わる（図４（ａ）のＳ３→Ｓ９→Ｓ１１の接眼部表示モード１参照）。この凝視しているかの判定は、ウエラブル部１０の画像入力部１３ａによって取得した画像について画像認識によって行うようにしてもよい。例えば、画像中にドローン５０があれば、ユーザ４０がドローン５０を凝視していると判定してもよい。また、画像中の操縦部（外部機器２０の第２表示部２２に表示される）が表示状態から見えなくなった場合に、ユーザ４０がドローン５０を凝視していると判定してもよい。もちろん、ドローン操縦時であることがわかれば、徐々に上昇、徐々に下降とか、上空を見上げるといった姿勢や姿勢の変化で、操縦時に見ているものを推測（凝視判定）してもよい。

ドローン操縦用の接眼部表示モード１と外部機器表示モード１に切り替わると、外部機器２０の表示部２２には、ドローン５０を前進操縦するためのアイコン２２ｂ、後退操縦させるためのアイコン２２ｃ、左旋回操縦させるためのアイコン２２ｄ、右旋回操縦させるためのアイコン２２ｅが表示される。

また、右眼用光学部材４１の表示領域１２ａ（接眼部表示）には、操縦ガイド表示が行われる。操縦ガイド表示としては、上述のアイコン２２ｂ〜２２ｅと、ドローンで撮影した画像が表示可能である。図２に示される例では、ユーザ４０が前進させるアイコン２２ｂをタッチ操作させていることから、表示領域１２ａに表示されるアイコン２２ｂが、他のアイコンと識別されるように表示される。

また、ドローン５０はカメラ５１を搭載しており、カメラ５１で撮影した動画の画像データは、外部機器２０を介して、またはドローン５０から直接、ウエラブル部１０の通信回路に送信される。ドローン５０からの画像データは、表示領域１２ａにアイコン２２ｂ〜２２ｅと共に表示される。これによって、ドローン視点での観察が可能となり、これまで見られなかったものを簡単に確認できるようになる。操縦と観察がシームレスにできれば、誰にでも安全に、直接目視が困難な場所にある観察対象物を詳細に観察することが容易にできる。また、露出制御やピント制御等を行う観察にこだわった操作や、目標物に安全に近づくことにこだわった操作を併用した高度な観察もできる。

表示領域１２ａは、上述したように、右眼用光学部材４１の下側であり、この表示領域１２ａにドローン５０からの画像と外部機器２０のアイコンを表示しない場合には、外部機器２０が見える。このため、表示領域１２ａでの表示は、外部機器２０の表示パネルと重なる位置であり、ユーザ４０は、あたかも外部機器２０を直接見ながら操縦しているような感覚で違和感がない。

なお、ドローン５０を上昇させるように操縦する場合には、外部機器２０を手前にあおるように搖動させ（図中の矢印Ａの方向）、下降させるように操縦する場合には、外部機器２０を向こう側にあおるように搖動させればよい（図中の矢印Ｂの方向）。

次に、図３（ａ）は、カメラ５１のカメラ操作を行うために、ユーザ４０の凝視対象がドローン５０から外部機器２０に移った状態を示す。凝視対象が外部機器２０に代わると、図３（ａ）に示すように、ユーザ４０は、右眼用光学部材４１および左眼用光学部材４２を透して、外部機器２０を見えることができる。後述するように、ユーザ４０が外部機器２０を凝視すると、外部機器操作用の接眼部表示モード２および外部機器表示モード２に切り替わる（図４（ａ）のＳ３→Ｓ５→Ｓ７の接眼部表示モード１参照）。

ユーザ４０の凝視対象がドローン５０に向いていないことから、安全な飛行を確保するために、外部機器２０からドローン５０に対して、移動を停止し、同じ位置に留まるホバリングを行うように指示がなされる。また、右眼用光学部材４１の表示領域１２ａには、ドローン５０が移動停止状態であることが表示される。

外部機器２０の表示パネルには、メニュー等、カメラ操作を行うための表示がなされると共に、ドローン５０からの画像２２ｆも表示される。ユーザ４０は、この画像を見ながら、ピントを合わせ、露出を調整し、静止画撮影の指示を行う等、カメラ操作を行う。

図３（ｂ）は、ユーザ４０が他人４３にドローン５０で撮影した画像等を確認している様子を示す。この場合には、ユーザ４０は外部機器２０を凝視している状態にあることから、この場合も接眼部表示モード２および外部機器表示モード２で、外部機器２０と表示領域１２ａの表示がなされる。

このように、本実施形態においては、ユーザ４０が凝視する対象物に応じて、ウエラブル部１０の表示領域１２ａと外部機器２０における表示を切り替えるようにしている。このため、ウエラブル部１０の表示領域１２ａには、必要なガイド表示がなされて、ドローン５０の操縦に集中できる。また、外部機器２０は、ユーザ４０の凝視対象に応じて、ドローン５０の操縦装置として最適な表示を行うことが可能となる。

次に、図４ないし図８に示すフローチャートを用いて、本実施形態の動作について説明する。図４（ａ）に示すフローチャートは、ウエラブル部１０、外部機器２０、およびドローン５０からなる表示システムにおけるメイン動作を示す。このフローは、ウエラブル部１０内の制御部１１および外部機器２０内の制御部１２、およびドローン５０内の制御部にそれぞれ設けてあるＣＰＵが、それぞれの内部メモリに記憶されたプログラムに従って、各機器の各部を制御することによって実行する。なお、各機器における動作については、図５ないし図８に示すフローチャートを用いて説明する。

図４（ａ）に示すフローがスタートすると、まず、眼鏡型端末の状態判定を行う（Ｓ１）。ここでは、眼鏡型端末であるウエラブル部１０を装着したユーザ４０の凝視対象がドローン５０であるか、外部機器２０であるかを判定する。この眼鏡型端末の状態判定の詳しい動作については、典型的で説明しやすい例である図４（ｂ）を用いて後述する。

ステップＳ１において眼鏡型端末の状態判定を行うと、凝視対象が対象１であったか、対象２であったかを判定する（Ｓ３）。ここでは、ステップＳ１での判定結果に従って、凝視対象がドローン５０（対象１）であったか、外部機器２０（対象２）であったかを判定する。

ステップＳ３における判定結果が対象１、すなわちユーザの凝視対象がドローン５０であった場合には、接眼部表示モード１を実行し（Ｓ５）、外部機器表示モード１を実行する（Ｓ７）。ステップＳ５では、接眼部、すなわち右眼用光学部材４１の下側の表示領域１２ａに、図２に示すようなドローン操縦用等の操縦ガイド表示を行わせる。ステップＳ７では、外部機器２０（この実施形態では、スマートフォン）に、ドローン５０の操縦用の表示を行う。具体的には、図２に示すようなアイコン２２ｂ〜２２ｅを表示する。

一方、ステップＳ３における判定結果が対象２、すなわちユーザの凝視対象が外部機器２０であった場合には、接眼部表示モード２を実行し（Ｓ９）、外部機器表示モード２を実行する（Ｓ１１）。ステップＳ９では、接眼部、すなわち右眼用光学部材４１の下側の表示領域１２ａに、図３（ａ）に示すようなドローンが停止状態であることの表示を行う。またステップＳ１１では、外部機器２０に、ドローン５０のカメラ操作の表示を行わせる。具体的には、図３（ａ）に示すようなドローン撮影のライブビュー画像（または撮影画像）やメニュー画面、カメラ操作アイコン等を表示する。

ステップＳ７において外部機器表示モード１を実行すると、またはステップＳ１１において外部機器表示モード２を実行すると、ステップＳ１に戻る。

このように、本実施形態に係るシステムにおける表示部制御のフローにおいては、ユーザ４０が対象１（ここでは、ドローン５０）を凝視しているか、対象２（ここでは、外部機器２０）を凝視しているかを判定し、判定結果に応じて、接眼部（表示領域１２ａ）における表示モードと、外部機器２０（スマートフォン）における表示モードを切り替える。このため、ウエラブル部１０の接眼部（表示領域１２ａ）と外部機器２０の表示部には、ユーザ４０のシステムの使用状況に応じた表示が適切に表示される。

なお、本実施形態においては、対象１はドローン５０とし、対象２は外部機器２０としたが、これに限らず、本発明が適用されているシステムによって、対象１、２は適宜選択すればよい。

次に、ステップＳ１における眼鏡型端末状態判定の詳しい動作について、図４（ｂ）に示すフローチャートを用いて説明する。

眼鏡型端末状態判定のフローに入ると、まず、通信状態の判定を行う（Ｓ２１）。ここでは、ウエラブル部１０が、いずれの機器と通信を行っているかを判定する。図２および図３に示した例では、ウエラブル部１０は外部機器２０と通信可能であり、また外部機器２０はドローン５０と通信可能であり、この通信先を判定する。ウエラブル部１０は、外部機器２０を利用して、外部機器２０および／またはドローン５０の間の通信状態を判定することができ、またこれらの機器の情報を取得することができる。

次に、凝視方位判定を行う（Ｓ２３）。ここでは、ウエラブル部１０内の電子コンパスによって、ウエラブル部１０が向いている方向を検出する。また、凝視仰角判定を行う（Ｓ２５）。ここでは、ウエラブル部１０内の傾きセンサや動きセンサ等を用いて、ウエラブル部１０の向いている仰角を検出する。

続いて、内蔵カメラ画像判定を行う（Ｓ２７）。ここでは、情報取得部１３内の画像入力部１３ａによって取得した画像データに基づいて、画像認識によって画像を識別する。また、内蔵マイク音声判定を行う（Ｓ２９）。ここでは、情報取得部１３内の音声入力部１３ｂによって取得した音声データに基づいて、周囲にある音声を識別する。

以上の処理を行うと、次に、有力情報で対象判定を行う（Ｓ３１）。ここでは、ステップＳ２１からＳ２９において取得した情報に基づいて、表示制御部３０が、ウエラブル部１０を装着したユーザが凝視している対象を判定する。例えば、仰角判定の結果、空を見上げており、カメラ画像判定の結果、ドローンの映像があり、マイク音声判定の結果、プロペラ音を抽出した場合には、凝視対象が対象１（ドローン）であると判定する。一方、仰角判定の結果、水平より見下げており、カメラ画像判定の結果、外部機器の映像がある場合には、凝視対象が対象２（外部機器２０）であると判定する。この判定は表示制御部３０が行うが、ウエラブル部１０内の制御部１１または外部機器２０内の制御部２１のいずれかが単独で行ってもよく、また両制御部が協働して行ってもよい。

ステップＳ３１において対象判定を行うと、次に、凝視対象が対象１か否かを判定する（Ｓ３３）。ステップＳ３１における判定の結果、凝視対象が対象１であった場合には、「対象１」（Ｓ３５）とし、一方、凝視対象が対象２であった場合には、「対象２」（Ｓ３７）とする。

このように、眼鏡型端末状態判定のフローにおいては、各機器の状態を判定し、この判定結果に基づいて、ウエラブル部１０を装着したユーザ４０が、対象１（ここでは、ドローン５０）を凝視しているか、対象２（ここでは、スマートフォン）を凝視しているかを判定している。なお、このフローでは、ステップＳ２１〜Ｓ２９における情報に基づいて判定しているが、判定のための情報としては、いずれかのステップを省略してもよく、また別の情報を取得するようにしてもよい。本発明が適用されるシステムに応じて適宜選択すればよい。

なお、図４に示すフローにおいては、説明の容易さから、各状態の静止状態的な状況判断を強調して説明しているが、前述のように、それぞれ、所定時間の継続や、変化の特徴などが、実際には判定される。遷移パターンや複合的な判断にすれば精度や満足度があがり、さらには、様々なパラメータや画像などを人工知能で学習させて判断してもよい。

次に、図５ないし図８に示すフローチャートを用いて、各機器の動作について説明する。図５に示すフローチャートは、外部機器２０の動作を示す。このフローは、外部機器２０の制御部２１内のＣＰＵが内部メモリに記憶されたプログラムに従って、外部機器２０内の各部を制御することにより実行する。

携帯端末制御のフローがスタートすると、まず、機能別アイコンの一覧表示を行う（Ｓ４１）。ここでは、外部機器２０が実行できる機能について、第２表示部２２にアイコンの一覧形式で表示される。ここで表示される機能として「眼鏡型連携」がある。眼鏡型連携は、図２および図３を用いて説明したように、ユーザ４０が使用するスマートフォン（外部機器２０）の状態に応じて、表示状態を変更するモードである。なお、眼鏡型連携以外にも、例えば、顕微鏡連携、内視鏡連携等、他の外部機器と連携するモードを表示するようにしてもよい。

次に、眼鏡型連携が選択された否かを判定する（Ｓ４３）。ユーザ４０は、眼鏡型連携を選択したい場合には、操作部材によってカーソルを移動させ、またはタッチ操作等によって、眼鏡型連携を選択することができる。このステップでは、ユーザ４０の操作状態に基づいて判定する。

ステップＳ４３における判定の結果が眼鏡型連携でない場合には、下位機能のアイコンを表示する（Ｓ４５）。ここでは、ステップＳ４１において表示されたアイコンの中で、ユーザ４０が選択したアイコンに対応する機能について、下位機能のアイコンを第２表示部２２に表示する。

次に、アイコンを選択したか否かについて判定する（Ｓ４７）。ここでは、ステップＳ４７において表示したアイコンの中で、ユーザ４０が選択しているか否かを判定する。この判定の結果、アイコンを選択していた場合には、選択機能を起動する（Ｓ４９）。続いて、終了か否かを判定する（Ｓ５１）。ここでは、選択された機能が終了したか否かを判定する。この判定の結果、終了していない場合には、選択された機能を実行する。

ステップＳ４７における判定の結果、アイコンが選択されていない場合には、戻るか否かを判定する（Ｓ５３）。外部機器２０には、最初の状態（ホームポジション）に戻るためのアイコンまたは操作部材が設けてある。このステップでは、このアイコンがタッチされ、または操作部材が操作されてかに基づいて判定する。この判定の結果、戻るが選択されていない場合には、ステップＳ４５に戻り、下位機能のアイコンを表示する。

ステップＳ５３における判定の結果、戻るが選択された場合、またはステップＳ５１における判定の結果、終了した場合には、ステップＳ４１に戻る。

ステップＳ４３に戻り、このステップにおける判定の結果、眼鏡型連携の場合には、その他、連携機能一覧表示を行う（Ｓ６１）。ここでは、眼鏡型連携における連携先、ドローン５０と、これ以外の連携先、例えば、顕微鏡連携、内視鏡連携等、他の外部機器と連携するモードを表示する。

次に、ドローン連携か否かを判定する（Ｓ６３）。ユーザ４０は、ドローン連携を選択したい場合には、操作部材によってカーソルを移動させ、またはタッチ操作等によって、ドローン連携を選択することができる。このステップでは、ユーザ４０の外部機器２０に対する操作状態に基づいて判定する。この判定の結果、ユーザがドローン以外との連携を選択した場合には、その他の機能を実行する。

ステップＳ６３における判定の結果、ドローン連携が選択されていた場合には、次に、ドローン連携におけるメニューを表示する（Ｓ６５）。ここでは、第２表示部２２に種々のメニューを表示する。例えば、ドローンが複数ある場合に、いずれのドローンと連携をとるか、また外部機器２０やドローン５０との通信方式、ドローン５０に搭載したカメラの初期設定、ドローン５０自体の初期設定等、各種設定のためのメニュー表示を行う。いずれかのメニューの項目が選択されると、選択事項に沿って実行される。

次に、目視対象が操縦部かドローンか否かを判定する（Ｓ６７）。ここでは、図４（ｂ）で説明した眼鏡型端末状態判定等に基づいて、ユーザ４０が凝視している対象が、ドローン５０であるか、操縦部を有する外部機器２０（スマートフォン）であるかを判定する。この判定は、本実施形態においては、表示制御部３０が行っている。表示制御部３０の内の外部機器２０の制御部２１が単独で行っている。これ以外にも、外部機器２０とウエラブル部１０が協働して行ってもよく、またウエラブル部１０が判定した結果を受信するようにしてもよい。

ステップＳ６７における判定の結果、目視対象がドローンであった場合には、接眼部と端末表示部に操縦部ガイド表示を行う（Ｓ６９）。ここでは、ユーザ４０は、図２を用いて説明したように、ドローン５０を凝視している状態である。そこで、ウエラブル部１０の表示領域１２ａと、外部機器２０（スマートフォン）には、ユーザ４０がドローン５０の操縦に専念できるように表示を行う。すなわち、ウエラブル部１０の表示領域１２ａには、操縦用アイコン２２ｂ〜２２ｅを表示するように、ウエラブル部１０に信号を送信する。また、外部機器２０の第２表示部２２には、操縦用のアイコン２２ｂ〜２２ｅを大きく表示し、ユーザ４０が画面を見ない状態で手探りでもタッチ操作により操縦しやすくする。

続いて、操作に従ってドローン操作信号を送信する（Ｓ７１）。ここでは、アイコン２２ｂ〜２２ｅのタッチ状態や、ユーザによる外部機器２０の動かし方等に基づいて、ドローン５０を前進、後退、左右旋回、上昇、下降等の操縦信号をドローン５０に送信する（図７のＳ９５参照）。

続いて、ライブビューを行うか否かを判定する（Ｓ７３）。ユーザ４０は、ドローン５０が搭載しているカメラからの画像を確認しながらドローン５０の操縦を行いたい場合がある。一方、ウエラブル部１０の電源は小型である場合が多く、電源消耗を防止したい場合には、ユーザ４０はカメラからの画像表示を望まない。そこで、このステップでは、ユーザ４０がライブビュー表示を行うか否かを選択できるようにするために、ライブビュー表示用のアイコンまたは操作部を設け、この操作状態に基づいてライブビューを行いか否かを判定する。

ステップＳ７３における判定の結果、ライブビューであった場合には、ドローン５０のカメラを起動し、画像は接眼部（表示領域１２ａ）に表示させる（Ｓ７５）。ライブビュー表示は、図３（ａ）に示すように、表示領域１２ａに行う（後述する図７のＳ９９参照）。

一方、ステップＳ７３における判定の結果、ライブビューを行わない場合には、ドローンカメラをオフ、表示もオフ（Ｓ７７）。ここでは、電源消耗を防止するために、ドローン５０に搭載されたカメラをオフとし、またウエラブル部１０の表示領域１２ａの表示もオフとする。

ステップＳ６７に戻り、このステップにおける判定の結果が、目視対象が操縦部であった場合には、ドローンを停止する（Ｓ７９）。前述したように、ドローン５０の操縦にあたっては、安全確保の観点から、ユーザ４０が直接、ドローン５０を見ている状態で行うことが望ましい。そこで、ユーザ４０が、外部機器２０（スマートフォン）の第２表示部２２の操縦用画面（アイコン２２ｂ〜２２ｅ等）を見ている状態では、ドローン５０を飛行させることは望ましくない。そこで、本実施形態においては、目視対象が操縦部である場合には、外部機器２０は、ドローン５０に対して空中で停止した状態、すなわちホバリングを行うように指示する。

続いて、接眼部にドローン停止表示を行う（Ｓ８１）。ユーザ４０は、操縦部をウエラブル部１０の光学部材４１、４２を透して目視している。そこで、ウエラブル部１０の表示領域１２ａに、図３（ａ）に示すように、停止状態であることを表示させるように、通信を介して指示する。

ドローンの停止表示を行うと、次に、ライブビューか否かを判定する（Ｓ８３）。ここでは、ステップＳ７３と同様に、ユーザ４０がライブビュー表示を行うか否かを選択するので、この選択結果に基づいて判定する。

ステップＳ８３における判定の結果、ライブビューであった場合には、ドローン５０のカメラを起動し、画像は接眼部（表示領域１２ａ）に表示させる（Ｓ８５）。ここでは、ステップＳ７５と同様に、ライブビュー表示を、図３（ａ）に示すように、表示領域１２ａに行う（後述する図７のＳ９９参照）。

続いて、端末表示部にもライブビュー表示を行う（Ｓ８７）。ここでは、外部表示部２０の第２表示部２２にもライブビュー表示を行う。ユーザ４０は、外部表示部２０の第２表示部２２を見ていることから、この表示部にもライブビュー表示を行い、ドローン５０の状態を確認できるようにしている。

次に、操作に従って、カメラ制御を行う（Ｓ８９）。外部機器２０の第２表示部２２には、撮影用のメニュー画面や、静止画や動画の撮影指示、ピント合わせ指示、露出補正指示、光学フィルタ挿入指示、画像処理指示等、各種のアイコンが表示されている。このステップでは、ユーザ４０のタッチ操作等に従って、カメラ操作を行う（後述する図７のＳ１０３参照）。なお、アイコン以外に、カメラ操作用の操作部材を設け、この操作状態に従ってカメラ制御を行ってもよい。

ステップＳ８３に戻って、このステップにおける判定の結果、ライブビューを行わない場合には、ドローンカメラをオフ、表示もオフする（Ｓ９１）。ここでは、電源消耗を防止するために、ドローン５０に搭載されたカメラをオフとし、またウエラブル部１０の表示領域１２ａの表示もオフとする。

ステップＳ７５、Ｓ７７、Ｓ８７、Ｓ９１において、それぞれの処理を実行すると、次に、ドローン操作が終了か否かを判定する（Ｓ９３）。ユーザ４０は、ドローン５０の操作を終了する場合には、終了アイコンや終了操作部材等を操作する。このステップではこれらの操作に応じて判定する。ステップＳ９３における判定の結果、ドローン操作が終了していない場合には、ステップＳ６７に戻る。

一方、ステップＳ９３における判定の結果、ドローン操作が終了の場合には、ドローンを帰還させる（Ｓ９５）。ここでは、ドローン５０がユーザ４０のところへ無事に戻れるように、帰還のための制御を行う（後述する図７のＳ９５参照）。ドローン５０が帰還すると、ステップ４１に戻る。

このように、携帯端末制御のフローにおいては、眼鏡連携、ドローン連携が選択されると（Ｓ４３、Ｓ６３参照）、ユーザ４０がドローン５０を凝視しているか、外部機器２０を凝視していかの目視対象物に応じて、ウエラブル部１０の表示領域１２ａと外部機器２０の第２表示部２２における表示を切り替えている（Ｓ６９、Ｓ８１）。このため、ユーザの凝視対象に応じて最適な表示がなされる。また、ウエラブル部１０が外部機器２０と連携するようにしているので、外部機器２０が有している情報、例えば、ドローン５０の操縦過程や履歴情報等を利用することができ、総合的な判断が可能となる。さらに、外部機器２０を介して外部の機器やデータベース等と連携し、また人工知能を活用することができる。

なお、本フローは、携帯端末（スマートフォン）でドローン５０の制御を行うようにしている。しかし、この例に限らず、例えば、専用コントローラによって制御を行うようにしてもよく、この場合でも、眼鏡型端末（ウエラブル部）によってドローン５０の制御を行うようにすればよい。また、図５および図６に示すフローにおいては、説明の容易さから、各状態の静止状態的な状況判断を強調して説明しているが、前述のように、それぞれ、所定時間の継続や、変化の特徴などが、実際には判定される。遷移パターンや複合的な判断にすれば精度や満足度があがり、さらには、様々なパラメータや画像などを人工知能で学習させて判断してもよい。

次に、図７に示すフローチャートを用いて、ドローン５０の動作を示す。このフローは、ドローン５０の制御部内のＣＰＵが内部メモリに記憶されたプログラムに従って、ドローン５０内の各部を制御することにより実行する。

ドローン制御のフローがスタートすると、まず通信待ちする（Ｓ９１）。本実施形態において、外部機器２０がドローン５０の操縦機器としての役割を有しており、ドローン５０ｈａ外部機器２０からの制御信号に基づいて動作する。このステップでは、外部機器２０からドローン５０に信号が送信されるのを待つ。通信があると、ステップＳ９３以下を実行する。

続いて、移動操作通信か否かを判定する（Ｓ９３）。ユーザ４０がドローン５０を凝視している場合には、外部機器２０からドローン操作信号が送信されてくる（図６のＳ７１参照）。このステップでは、外部機器２０からの通信が移動操作のための通信であるか否かを判定する。

ステップＳ９３における判定の結果、移動操作通信であった場合には、操作応じた移動制御を行う（Ｓ９５）。ここでは、外部機器２０からの指示に従って、前進、後退、左旋回、右旋回、上昇、下降、ホバリング等の制御を行う。また、外部機器２０から帰還指示がなされている場合には、ユーザ４０のもとへ戻る。

ステップＳ９３における判定の結果、移動操作通信でない場合には、次に、ライブビュー通信か否かを判定する（Ｓ９７）。前述したように、ユーザ４０がドローン５０のカメラ部で撮影したライブビュー画像を確認したい場合には、ドローンカメラを起動し、画像を送信するように指示がなされる。このステップでは、この指示を受信したか否かに基づいて判定する。

ステップＳ９７における判定の結果、ライブビュー通信があった場合には、指定送信先に送信する（Ｓ９９）。ここでは、ドローン５０に搭載されたカメラ部を起動し、このカメラ部で取得した画像データを、指定先に送信する。指定先としては、ウエラブル部１０および／または外部機器２０があり、またこれ以外の送信先でもよい。

ステップＳ９７における判定の結果、ライブビュー通信でない場合には、次に、カメラモード等であるか否かを判定する（Ｓ１０１）。ユーザ４０は、ドローン５０に搭載されたカメラの操作を行う場合には、操作指示を送信してくる（図６のＳ８９参照）。このステップでは、この指示がなされたか否かを判定する。

ステップＳ１０１における判定の結果、カメラモード等である場合には、操作に応じた撮影制御を行う（Ｓ１０３）。ここでは、外部機器２０からの指示に応じて撮影制御を行う。

ステップＳ１０１における判定の結果、カメラモード等でない場合、またステップＳ９５、Ｓ９９、Ｓ１０３における処理を実行すると、ステップＳ９１に戻る。

このように、本実施形態におけるドローン制御のフローでは、ユーザ４０が外部機器２０から通信によって指示してくる命令に従って、ドローン５０の制御を行っている。なお、ドローン５０においても、電源消耗を防止したい場合には、撮像動作や撮像した画像の送信等を制限するようにしてもよい。また、図７に示すフローにおいては、説明の容易さから、各状態の静止状態的な状況判断を強調して説明しているが、前述のように、それぞれ、所定時間の継続や、変化の特徴などが、実際には判定される。遷移パターンや複合的な判断にすれば精度や満足度があがり、さらには、様々なパラメータや画像などを人工知能で学習させて判断してもよい。

次に、図８に示すフローチャートを用いて、眼鏡型端末（ウエラブル部１０）の動作について説明する。このフローは、ウエラブル部１０の制御部１１内のＣＰＵが内部メモリに記憶されたプログラムに従って、ウエラブル部１０内の各部を制御することにより実行する。

眼鏡型端末のフローがスタートすると、まず通信待ちする（Ｓ１１１）。本実施形態において、ウエラブル部１０は、外部機器２０からの通信に基づいて動作する。このステップでは、外部機器２０からウエラブル部１０に信号が送信されてくるのを待つ。

次に、通信があるか否かを判定する（Ｓ１１３）。前述したように、通信方式としては、ＷｉＦｉやブルートゥース（登録商標）等の無線通信や、赤外通信等のいずれか１つ又は複数の通信方式を使用している。このステップでは、いずれかの通信方式によって外部機器２０からアクセスがあったか否かを判定する。

ステップＳ１１３における判定の結果、通信があった場合には、各センサをオンとする（Ｓ１１５）。前述したように、本実施形態においては、ウエラブル部１０は、凝視方位検出用の電子コンパス、凝視仰角検出用のセンサ、内蔵カメラ、内蔵マイク等の種々のセンサを有しており（図４（ｂ）参照）、これらのセンサの動作を開始させる。

各種センサをオンとすると、次に、凝視対象の判定を行う（Ｓ１１７）。ここでは、ステップＳ１１５において動作を開始させた各種センサの検出出力を用いて、図４（ｂ）のフロー等に基づいて、凝視対象の判定を行う。

凝視対象の判定を行うと、次に、判定結果を送信する（Ｓ１１９）。ここでは、ステップＳ１１７における凝視対象の判定結果を、通信回路を介して外部機器２０に送信する。外部機器２０は、この検出結果に基づいて凝視対象の判定を行い、この判定結果に基づいて、表示の切り替えを行う（図６のＳ６９、Ｓ８１参照）。

次に、コマンド通信か否かの判定を行う（Ｓ１２１）。ここでは、外部機器２０（スマートフォン）から眼鏡型端末にコマンドが送信されてきたか否かを判定する。

ステップＳ１２１における判定の結果、コマンドが送信されてきた場合には、コマンドに合わせた制御（表示）を行う（Ｓ１２３）。前述したように、外部機器２０は表示制御についてコマンドをウエラブル部１０に送信してくる（図６のＳ６９、Ｓ７５、Ｓ７７、Ｓ８１、Ｓ８５、Ｓ８７等）ので、これらのコマンドに応じた制御を行う。例えば、前述したように、ウエラブル部１０の電源消耗を防止したい場合には、ライブビュー表示をオフするコマンドが送信されてくる。この場合には、ウエラブル部１０にライブビュー表示を行わない。

ステップＳ１２３においてコマンドに合わせた制御を行うと、またはステップＳ１２１における判定の結果、コマンド通信でない場合、またはステップＳ１１３における判定の結果、通信でない場合には、ステップＳ１１１に戻る。

このように、眼鏡型端末のフローにおいては、外部機器２０からのコマンドに応じて表示を行うようにしている（Ｓ１２３参照）。このため、眼鏡型端末と外部機器で状況に応じた適切な表示が可能となる。また、ライブビュー表示をオフとすることにより、電源消耗を防止することができる。なお、図８に示すフローにおいては、説明の容易さから、各状態の静止状態的な状況判断を強調して説明しているが、前述のように、それぞれ、所定時間の継続や、変化の特徴などが、実際には判定される。遷移パターンや複合的な判断にすれば精度や満足度があがり、さらには、様々なパラメータや画像などを人工知能で学習させて判断してもよい。

以上、説明したように、本発明の第１実施形態は、眼鏡型端末に適用したウエラブル部１０、スマートフォンに適用した外部機器２０、およびドローン５０からなるシステムにおいて、ユーザ４０の凝視対象に応じて、ウエラブル部１０と外部機器２０に表示する内容を異ならせて、操作をし易くしている。

次に、図９ないし図１１を用いて、本発明の第２実施形態について説明する。第２実施形態は、ウエラブル部１０を装着した医師４４が、患者を診察するにあたって、各種情報を表示部に表示することができるようにしている。

本実施形態の構成は、図１（ａ）におけるウエラブル部１０を医師４４が装着し、外部機器２０としてはパーソナルコンピュータ（ＰＣ）６０を用い、これらの主な構成は、第１実施形態と同様である。なお、外部機器２０の第２表示部２２は、パーソナルコンピュータの表示パネルが相当し、制御部２１、情報取得部２３を有する。

情報取得部２３としては、キーボード、タッチパネル、マイクロフォン等を有する。制御部２１の周辺回路として、ウエラブル部１０と通信を行うための通信回路を有する。パーソナルコンピュータ６０は、スタンドアロンであってもよいが、本実施形態においては、病院内のＬＡＮ（Local Area Network）に接続された院内端末として説明する。

次に、図９を用いて、本実施形態におけるウエラブル部１０とパーソナルコンピュータ６０の使い方について説明する。

図９（ａ）は、ウエアラブル部１０を装着した医師４４が患者４５を診察している様子を示す。この状態では、ウエアラブル部１０は、患者４５を凝視している。この状態では、ウエアラブル部１０に設けられた画像入力部１３ａによって取得した画像は、パーソナルコンピュータ６０の表示モニタには表示されず、ウエラブル部１０の第１表示部１２の表示エリア１２ａに表示されるのみである。また、このときのライブビュー画像は、パーソナルコンピュータ６０に送信され、パーソナルコンピュータ６０内のメモリに記憶される。

図９（ｂ）は、医師４４が患者４５に症状（診断結果）を説明している様子を示す。この状態では、ウエアラブル部１０は、パーソナルコンピュータ６０の表示モニタを凝視している。この状態では、ウエアラブル部１０の表示領域１２ａは消灯され、パーソナルコンピュータ６０の表示モニタに、メモリに記憶された患者の画像が表示される。

図９（ｃ）は、パーソナルコンピュータ６０の表示パネルへの表示の変形例を示す。すなわち、図９（ｂ）に示す例は、医師４４が患者４５を凝視すると、自動的にパーソナルコンピュータ６０の表示パネルに患者４５の患部を表示するようにしていた。これに対して、図９（ｃ）に示す変形例では、患者４５が「見せてください」と依頼し、これに医師４４が「はい」と応じた場合、すなわち、会話で許可がなされた場合に、パーソナルコンピュータ６０の表示パネルに、患者４５の患部を表示するようにしている。このために、パーソナルコンピュータ６０は、マイクロフォンで収集した音声データを用いて音声認識を行って判定している。パーソナルコンピュータ６０の表示パネルに表示がなされると、ウエアラブル部１０の表示領域１２ａにおける表示は消灯するようにしてもよい。

なお、表示領域１２ａには、図９（ｃ）に示すように、患者４５の患部を２つ並列に表示するようにしてもよい。この場合には、過去に撮影し、記録されている画像と、今回の診察で撮影された画像を比較するために表示する。図９（ｃ）において、会話で表示が許可された後に、パーソナルコンピュータ６０の表示パネルに２つの画像が並列に表示されているのも、過去と今回の画像を比較のためである。

次に、図１０に示すフローチャートを用いて、パーソナルコンピュータ６０における動作について説明する。このフローは、パーソナルコンピュータ６０内の制御部のＣＰＵが、内部メモリに記憶されたプログラムに従って制御する。

図１０に示す院内端末のフローがスタートすると、まず、操作を待つ（Ｓ１３１）。例えば、マウス、キーボード、バーコード読み取り等の種々の操作がなされたか否かを判定し、これらの操作が無い場合には、待機状態となる。ステップＳ１３１における判定の結果、操作を検出すると、ウエアラブル部１０と端末通信を行う（Ｓ１３３）。ここでは、パーソナルコンピュータ６０とウエアラブル部１０の間で、無線通信を行う（後述する図１１のＳ１６１参照）。

ウエラブル端末通信を行うと、次に、情報取得のための入力操作がなされたか否かを判定する（Ｓ１３５）。情報取得のための入力操作としては、キーボード入力やマイクロフォンによる音声入力等がある。このステップでは、いずれかの情報入力がなされたか否かを判定する。

ステップＳ１３５における判定の結果、情報入力操作がなされた場合には、次に、情報取得の入力元が何であるか判定する（Ｓ１３７）。ここでは、情報入力元が、キーボード等であるか、音声入力であるか、判定する。なお、情報取得の入力元の判定にあたっては、ウエラブル部１０における情報も利用するようにしてもよい（後述する図１１のＳ１６３、Ｓ１６５参照）。

ステップＳ１３７における判定の結果、音声入力であった場合には、情報を取得し、接眼表示を行う（Ｓ１３９）。ここでは、マイクロフォンから音声データを入力し、この入力に基づいて、例えば、患者を特定する。例えば、医師４４が患者の名前等を称呼した際に、音声認識を行う。ウエラブル部１０の表示領域１２ａに、取得した情報の表示を行う。例えば、患者を特定した場合には、患者の氏名等を表示する。

続いて、音声交渉判定を行う（Ｓ１４３）。ここでは、マイクロフォンから入力した音声データに基づいて、医師４４と患者４５の会話の内容を判定する。例えば、図９（ｃ）に示したような会話に基づいて判定を行う。なお、この会話内容の認識（音声認識）にあたっては、パーソナルコンピュータ６０が行ってもよく、また院内のサーバが行ってもよく、さらに外部サーバに接続し、この外部サーバによって音声認識を行うようにしてもよい。

ステップＳ１４３における判定の結果、シェアされた場合、すなわち、音声による交渉内容を判定できた場合には、情報取得し、デスクトップ表示を行う（Ｓ１４５）。ここでは、音声交渉の結果に応じた情報を取得し、この取得した情報をパーソナルコンピュータの表示パネルに表示する。

ステップＳ１３７に戻り、このステップにおける判定の結果、キーボード等の入力元であった場合には、情報を取得し、デスクトップ表示を行う（Ｓ１４１）。ここでは、キーボード等によって取得した情報を、パーソナルコンピュータ６０の表示パネルに表示する。

ステップＳ１４１またはＳ１４５において、情報を取得しデスクトップ表示を行うと、またはステップＳ１４３における判定の結果、音声交渉の結果がシェアされない場合には、またはステップＳ１３５において、情報取得入力操作がなされていない場合には、凝視方向の判定を行う（Ｓ１４７）。ここでは、医師４４が患者４５の方を向いているのか、それともパーソナルコンピュータ６０の表示パネルの方を向いているのかを判定する。凝視方向の判定方法としては、図４（ｂ）のフローチャートに示す条件等に基づいて判定すればよい。なお、凝視方向の判定にあたっては、ウエラブル部１０における情報も利用するようにしてもよい（後述する図１１のＳ１６３、Ｓ１６５参照）。

ステップＳ１４７における判定の結果、医師４４の凝視方向が患者４５の方向であれば、接眼表示を行う（Ｓ１４９）。ここでは、ウエラブル部１０の画像入力部１３ａで取得した画像を、図９（ａ）に示すように、ウエラブル部１０の表示領域１２ａに表示する。

一方、ステップＳ１４７における判定の結果、医師４４がパーソナルコンピュータ６０の表示パネルに向いている場合には、デスクトップ表示を行う（Ｓ１５１）。ここでは、ウエラブル部１０の表示領域１２ａの表示を消灯し、パーソナルコンピュータ６０の表示パネルに、患者４５の患部等、患者に診察結果を説明するに役立つ情報の表示を行う。

ステップＳ１４９またはＳ１５１において表示を行うと、次に、ログアウトか否かを判定する（Ｓ１５３）。ここでは、パーソナルコンピュータ６０にログアウト処理が施されたか否かを判定する。この判定の結果、ログアウト処理が施されていない場合には、ステップＳ１３３に戻る。

一方、ステップＳ１５３における判定の結果、ログアウト処理が施された場合には、ウエラブル端末をオフする（Ｓ１５５）。ウエラブル部１０においてオフ処理が施されると（図１１のＳ１７７）、その旨が通信されてくるので、この通信に基づいて判定する。ウエラブル端末をオフとなると、ステップＳ１３１に戻る。

このように、院内端末のフローにおいては、ウエラブル部１０はＰＣ等の院内端末と通信を行いながら、情報を処理し、表示を適切に切り替えることができる。なお、本実施形態においては、図６のＳ７３、Ｓ８３におけるライブビューの可否については行っていない。しかし、第１実施形態と同様に、ウエラブル部１０における電源消耗を防止するために、ライブビューの表示のオンオフを行えるようにしても勿論かまわない。また、院内端末は、院内サーバや外部のサーバと接続し、種々の情報を取得すると共に、音声認識、画像認識等の外部処理を行うようにしてもよい。外部連携が可能となることにより、種々の作業が容易となる。

次に、図１１に示すフローチャートを用いて、本実施形態におけるウエアラブル部１０の動作について説明する。このフローは、ウエアラブル部１０の制御部１１内のＣＰＵが、内部メモリに記憶されたプログラムに従って制御する。

図１１に示すウエアラブル部のフローがスタートすると、まず、通信待ちを行う（Ｓ１６１）。院内端末（パーソナルコンピュータ６０）は、ステップＳ１３３において、ウエアラブル部１０に通信を行ってくるので、この通信を待つ。

ステップＳ１６１における判定の結果、通信があると、次に、各種入力部の起動を行う（Ｓ１６３）。ここでは、ウエアラブル部１０内の画像入力部１３ａや音声入力部１３ｂ等の各種入力部を起動する。

各種入力部を起動すると、次に、各種入力結果を送信する（Ｓ１６５）。ここでは、ステップＳ１６３において起動した入力部によって取得した情報を院内端末（パーソナルコンピュータ６０）に送信する。なお、情報の送信にあたっては、そのままのデータでなくてもよい。

各種入力結果の送信を行うと、次に、接眼部（表示領域１２ａ）が表示可能か否かを判定する（Ｓ１６７）。前述した情報取得の入力元の判定結果に応じて、ステップＳ１３９においては接眼部で表示可能である一方、ステップ１４１では接眼部では表示を行っていない。また、医師４４の凝視方向に応じて、ステップＳ１４９では接眼部で表示可能である一方、ステップＳ１５１では接眼部では表示を行っていない。このステップでは、院内端末からの指示に基づいて、接眼部が表示可能か否かを判定する。

ステップＳ１６７における判定の結果、接眼表示が可能な場合には、接眼表示を行う（Ｓ１７１）。ここでは、表示領域１２ａに、例えば図９（ａ）に示すような表示を行う。一方、判定の結果、接眼表示が不可の場合には、接眼表示をオフする（Ｓ１６９）。ここでは、例えば、図９（ｂ）に示すように、表示領域１２ａの表示をオフとする。なお、不都合がなければ、表示をそのまま継続しておいてもよい。表示をオフとすることにより、ウエラブル部１０における電源消耗を防止することができる。

ステップＳ１７１において、接眼表示を行うと、次に、撮影指示や解除がなされたか否かを判定する（Ｓ１７３）。撮影指示がなされると、画像入力部１３ａによって取得される画像データに基づく静止画撮影が指示され、解除されるまで表示される。ここでは、この撮影指示・解除がおこなわれたか否かを判定する。また動画の場合には、動画撮影の開始が指示されたか、動画撮影の終了が指示されたか等について判定する。

ステップＳ１７３における判定の結果、撮影指示・解除がなされた場合には、撮影結果の保持または解除を行う（Ｓ１７５）。ここでは、ステップＳ１７３の判定結果に基づいて、静止画像の表示（フリーズ）、動画像の記録開始・終了を行う。なお、画像入力部１３ａで取得される画像データの記録は、パーソナルコンピュータ６０に送信し、そこで行うが、ウエアラブル部１０で行えるようにしてもよい。撮影結果が解除されると、通常のライブビュー表示に戻る。

ステップＳ１７５において撮影結果の保持・解除がなされると、またはステップＳ１６９において接眼表示をオフすると、またはステップＳ１７３における判定の結果、撮影指示・解除が無い場合には、次に、端末オフ情報か否かを判定する（Ｓ１７７）。前述したように、院内端末の動作中にステップＳ１５５において、ウエラブル端末のオフを行うと通信によって通知が来る。このステップでは、この通知があるか否かに基づいて判定する。この判定の結果、端末オフ情報がない場合には、ステップＳ１６１に戻る。

ステップＳ１７７における判定の結果、端末オフ情報がある場合には、各種入力部をオフする（Ｓ１７９）。ここでは、ステップＳ１６３において起動した各種入力部をオフする。各種入力部をオフにすると、ステップＳ１６１に戻る。

このように、本発明の第２実施形態においては、医師４４が患者４５を凝視している場合には、ウエアラブル部１０の表示領域１２に患者の患部等の画像を表示するようにしている（図９（ａ）、図１０のＳ１４９、図１１のＳ１７１等）。また、医師４４がパーソナルコンピュータ６０を見ながら患者４５に症状を説明するような場合には、パーソナルコンピュータ６０に画像を表示するようにしている（図９（ｂ）、図１０のＳ１５１、図１１のＳ１６９等）。このため、本実施形態においても、ウエアラブル部１０を装着したユーザの凝視方向に応じて、ウエアラブル部１０と外部機器２０（パーソナルコンピュータ６０）の表示部における表示を適切にすることができる。

また、第２実施形態においては、ウエアラブル端末を装着した際に、対面した人物の反応情報を取得する反応情報取得部を有し、表示制御部は、反応情報取得部によって取得した反応情報に基づいて、第２の表示部で表示した画像を第１の表示機器で表示するようにしている（例えば、図９（ｃ）、図１０のＳ１４３、Ｓ１４５参照）。このため、周囲の状況に応じて、自動的に第１の表示部と第２の表示部に適切な表示を行うことができる。

以上説明したように、本発明の各実施形態においては、使用者が凝視する対象を検出し（例えば、図４（ａ）のＳ１、図４（ｂ）、図６のＳ６７等参照）、第２の表示部で表示した画像を第１の表示部で表示する際に、対象に基づいて切り替えて制御する（例えば、図４（ａ）のＳ３、Ｓ５、Ｓ９、図６のＳ６９、Ｓ８１等参照）。このため、ユーザのウエラブル端末の使用状態に応じて、ウエラブル端末と外部装置に適切に表示を行うことができる。すなわち、ユーザが凝視している対象に応じて、表示を適切に行うことができる。

なお、本発明の各実施形態においては、無線操縦型航空機をスマートフォンを介して操縦する例と、医師が患者を診察する場合に、本発明を適用した例について説明した。しかし、この例以外にも、ウエラブル端末と他の外部機器の両方に表示を行うシステムであれば、本発明を適用することができる。

また、本発明の各実施形態においては、制御部としてＣＰＵとその周辺回路及びプログラムによって実行する例について説明した。しかし、これに限らず、機能の一部または全部をヴェリログ（Verilog）によって記述されたプログラム言語に基づいて生成されたゲート回路等のハードウエア構成でもよく、またＤＳＰ（Digital Signal Processor）等のソフトを利用したハードウエア構成を利用してもよい。これらは適宜組み合わせてもよいことは勿論である。また、様々な判定の機能については、人工知能による学習結果を反映させてもよい。

また、本明細書において説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムで設定可能であることが多く、記録媒体や記録部に収められる場合もある。この記録媒体、記録部への記録の仕方は、製品出荷時に記録してもよく、配布された記録媒体を利用してもよく、インターネットを介してダウンロードしたものでもよい。

また、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の順番を表現する言葉を用いて説明したとしても、特に説明していない箇所では、この順で実施することが必須であることを意味するものではない。

本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１０・・・ウエアラブル部、１１・・・制御部、１２・・・第１表示部、１２ａ・・・表示領域、１３・・・情報取得部、１３ａ・・・画像入力部、１３ｂ・・・音声入力部、２０・・・外部機器、２１・・・制御部、２２・・・情報取得部、２２ａ・・・タッチパネル、２２ｂ・・・アイコン、２２ｃ・・・アイコン、２２ｄ・・・アイコン、２２ｅ・・・アイコン、３０・・・表示制御部、４０・・・ユーザ、４１・・・光学部材、４２・・・光学部材、４３・・・他人、４４・・・医師、４５・・・患者、５０・・・ドローン、５１・・・カメラ

Claims (11)

1. 使用者の頭部に装着し第１の表示部を有するウエアラブル型端末と、第２の表示部を有する上記ウエアラブル端末以外の機器とでほぼ同一のコンテンツを表示可能な表示システムにおいて、
   上記使用者が凝視する対象を判定する判定部と、
   上記第２の表示部で表示した画像を上記第１の表示部で表示する際に、上記判定した上記対象に基づいて切り替えて制御する表示制御部と、
   を有することを特徴とする表示システム。
2. 上記判定部は、使用者の姿勢の時間的変化の特徴、または、特定時間の姿勢の継続に基づいて判定することを特徴とする請求項１に記載の表示システム。
3. 上記判定部は、上記使用者の姿勢情報を取得し、この姿勢情報に基づいて判定することを特徴とする請求項１に記載の表示システム。
4. 上記判定部は、周囲の音声情報を取得し、この取得した音声情報に基づいて判定することを特徴とする請求項１に記載の表示システム。
5. 上記判定部は、撮像部によって取得した画像情報に基づいて判定することを特徴とする請求項１に記載の表示システム。
6. 上記ウエアラブル端末を装着した際に、対面した人物の反応情報を取得する反応情報取得部を有し、
   上記表示制御部は、上記反応情報取得部によって取得した上記反応情報に基づいて、上記第２の表示部で表示した画像を上記第１の表示機器で表示する、
   ことを特徴とする請求項１に記載の表示システム。
7. 使用者の頭部に装着し、上記使用者が現実空間を直接視認する方向に、可視光を透過可能な第１の表示部を有するウエラブル型端末と通信可能な携帯情報機器において、
   上記携帯情報機器に設けられた第２の表示部と、
   上記使用者が凝視する対象を検出する判定部と、
   上記第２の表示部で表示した画像を上記第１の表示部で表示する際に、上記対象に基づいて切り替えて制御する表示制御部と、
   を有することを特徴とする携帯情報機器。
8. 第２の表示部と使用者が凝視する対象を判定する判定部を有する携帯情報機器と通信可能なウエラブル型端末において、
   上記ウエラブル型端末に設けられた第１の表示部と、
   上記第２の表示部で表示した画像を上記第１の表示部で表示する際に、上記対象に基づいて切り替えて制御する表示制御部と、
   を有することを特徴とするウエラブル型端末。
9. 使用者の頭部に装着し第１の表示部を有するウエアラブル型端末と、第２の表示部を有する上記ウエアラブル端末以外の機器とで、ほぼ同一のコンテンツを表示可能な情報表示方法において、
   上記使用者が凝視する対象を検出し、
   上記第２の表示部で表示した画像を上記第１の表示部で表示する際に、上記対象に基づいて切り替えて制御する、
   ことを特徴とする情報表示方法。
10. 使用者の頭部に装着し、上記使用者が現実空間を直接視認する方向に、可視光を透過可能な第１の表示部を有するウエラブル型端末と通信可能であり、第２の表示部を有する携帯情報機器における情報表示方法において、
    上記使用者が凝視する対象を検出し、
    上記第２の表示部で表示した画像を上記第１の表示部で表示する際に、上記検出した上記対象に基づいて切り替えて制御する、
    ことを特徴とする情報表示方法。
11. 使用者の頭部に装着し、上記使用者が現実空間を直接視認する方向に、可視光を透過可能な第１の表示部を有するウエラブル型端末と通信可能であり、第２の表示部を有する携帯情報機器内に設けられたコンピュータを実行するプログラムにおいて、
    上記使用者が凝視する対象を検出し、
    上記第２の表示部で表示した画像を上記第１の表示部で表示する際に、上記検出した上記対象に基づいて切り替えて制御する、
    ことを上記コンピュータに実行させることを特徴とするプログラム。
    

Images