JP2018205647A - 頭部装着型表示装置 - Google Patents

Abstract

【課題】装着時において、装着者の視線や目によるコミュニケーションを容易にすることができる頭部装着型表示装置を提供すること。【解決手段】装着者の視点位置でその視線方向における現実空間を撮像する撮像手段と、装着者の視線を検出するための視線検出手段と、装着者の頭の位置もしくは姿勢を検出するための頭部位置検出手段と、撮像手段の撮影画像と、頭部位置検出手段の装着者の頭の位置情報もしくは姿勢情報に応じて生成される仮想画像とを合成し複合現実感画像を生成する複合画像生成処理を行う画像処理手段と、装着者が視認できる位置に配置され、複合現実感画像を表示する第一の表示手段と、装着者が直接視認できない位置に配置された第二の表示手段と、を備え、視線検出手段により検出された装着者の視線情報を用いて、現実空間上での装着者の視線を表現するように第二の表示手段に表示することを特徴とする。【選択図】図１

Description

本発明は、頭部装着型表示装置に関し、特に、頭部装着型表示装置が装着者に対して、複合現実感の提示中における、非装着者に向けた表示に関する。

近年、現実空間と仮想空間の継ぎ目のない結合を目的とした複合現実感（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ、以下ＭＲという）に関する研究が盛んになっている。ＭＲは従来、現実空間と切り離された状況でのみ体験可能であった仮想空間（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ、以下ＶＲという）の世界と現実空間との共存を目的とし、ＶＲを増強する技術として注目されている。

また、複合現実感を実現する装置として代表的なものは、ヘッドマウントディスプレイ（ＨＭＤ）である。ＨＭＤを用いたＭＲの方式としては、半透過型（シースルー型）のヘッドマウントディスプレイにＣＧ等の画像重畳する光学シースルー方式と、ＨＭＤに装着したビデオカメラで撮影した画像データにＣＧ等の画像を合成した後、ＨＭＤに表示するビデオシースルー方式がある。

ＭＲの用途は、例えば、工場において製品の組み立て手順を実物に重ねて表示する作業補助の用途や、レストランや店舗において商品をＣＧ等の画像で置き換えた展示、様々な日常生活への利用が考えられている。この他にも、特許文献１に記載されるように、ＭＲを用いて複数人が同じ空間を共有し、協調して動作を行うような用途や、その際にＨＭＤ装着者同士が空間を共有するための技術提案もされている。

特許第３４１３１２８号公報

しかしながら、ＭＲ利用者（装着者）の顔がＨＭＤで覆われることから、ＭＲ利用者が視線や目によるコミュニケーションをすることが困難になるという課題がある。

上述の特許文献１に開示された技術では、ＭＲ利用者同士の視線や目によるコミュニケーションに関するもので、ＭＲ非利用者（非装着者）との視線や目によるコミュニケーションに関しては、触れられていない。

本発明の目的は、装着時において、装着者の視線や目によるコミュニケーションを容易にすることができる頭部装着型表示装置を提供することにある。

上記の目的を達成するため、本発明に係る頭部装着型表示装置は、
装着者の視点位置でその視線方向における現実空間を撮像する撮像手段と、装着者の視線を検出するための視線検出手段と、装着者の頭の位置もしくは姿勢を検出するための頭部位置検出手段と、前記撮像手段の撮影画像と、前記頭部位置検出手段の装着者の頭の位置情報もしくは姿勢情報に応じて生成される仮想画像とを合成し複合現実感画像を生成する複合画像生成処理を行う画像処理手段と、装着者が視認できる位置に配置され、前記複合現実感画像を表示する第一の表示手段と、装着者が直接視認できない位置に配置された第二の表示手段と、を備え、前記視線検出手段により検出された装着者の視線情報を用いて、現実空間上での装着者の視線を表現するように前記第二の表示手段に表示することを特徴とする。

本発明に係る頭部装着型表示装置によれば、装着時において、装着者の視線や目によるコミュニケーションを容易にすることができる。

本実施形態による頭部装着型表示装置１００の構成例を示すブロック図である。 本実施形態による頭部装着型表示装置１００の構成配置を説明する図である。 本実施形態における動作を説明するフローチャートである。 本実施形態における第一の表示部１０９、第二の表示部１１１へ表示するデータの生成を説明する図である。 本実施形態における第二の表示部１１１の表示例を説明する図である。

以下、図面を参照して本発明の好ましい実施形態を説明する。

《第１の実施形態》
まず、図１は、本実施形態における頭部装着型表示装置の構成例を示すブロック図である。図２は、本実施形態における頭部装着型表示装置１００の構成配置を説明する図である。

頭部装着型表示装置１００は、撮像部１０１とシステム制御部１０２と画像処理部１０３と画像生成処理部１０４と不揮発性メモリ１０５とメモリ１０６と頭部位置検出部１０７と視線検出部１０８と第一の表示部１０９とバス１１０と第二の表示部１１１によって構成されている。

ここで、撮像部１０１、システム制御部１０２、画像処理部１０３、画像生成処理部１０４、不揮発性メモリ１０５、メモリ１０６、頭部位置検出部１０７、視線検出部１０８、第一の表示部１０９と、第二の表示部１１１は、バス１１０を介して接続されている。

撮像部１０１は、ＣＣＤセンサやＣＭＯＳセンサ等の撮像素子、レンズ、シャッター、絞り、測距部、Ａ／Ｄ変換器等を有するカメラユニットである。撮像部１０１で撮像された画像の画像データは、画像処理部１０３に送信され、画像処理部１０３で、後述する各種処理を施された後、現実空間画像データとしてメモリ１０６に記録される。

また、図２に示すように、撮像部１０１は装着者の頭部前面に配置され、装着者の視線方向に配置される。

システム制御部１０２は、例えば不揮発性メモリ１０５に格納されるプログラムに従い、メモリ１０６をワークメモリとして用いて、頭部装着型表示装置１００の各部を制御する。なお、後述する頭部装着型表示装置１００の機能や処理は、システム制御部１０２が不揮発性メモリ１０５に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。

画像処理部１０３は、システム制御部１０２の制御に基づいて、画像データに対して各種画像処理を施す。画像処理が施される画像データとしては、メモリ１０６に格納された画像データや、撮像部１０１で撮像された画像データがある。

画像処理部１０３が行う画像処理には、画像データの符号化処理、複合化処理、圧縮処理、伸長処理、拡大／縮小処理（リサイズ）、ノイズ低減処理、色変換処理等が含まれる。画像処理部１０３は、例えば、特定の画像処理を施すための専用の回路ブロックである。また、画像処理の種別によっては、画像処理部１０３ではなく、システム制御部１０２がプログラムに従って画像処理を実行することもできる。

画像生成処理部１０４は、グラフィックスカードなどの機器によって実現される。一般的に、画像生成処理部１０４は図示しないグラフィックスメモリを保持している。システム制御部１０２で、実行されるプログラムによって生成された画像情報は、バス１１０を介して画像生成処理部１０４が保持するグラフィックスメモリに書き込まれる。

画像生成処理部１０４は、グラフィックスメモリに書き込まれた画像情報を基に、ＣＧ等の仮想空間画像データを生成する。また、画像生成処理部１０４は、生成した仮想空間画像データと、撮像部１０１によってメモリ１０６に書き込まれている現実空間画像データとを合成し、複合現実感画像データを生成する。そして、画像生成処理部１０４は、複合現実感画像データを第一の表示部１０９に適した画像信号に変換し、送出する。

また画像生成処理部１０４は、システム制御部１０２の指示により、後述する視線検出部１０８が算出する視線位置情報を用いて、装着者の視線や眼に関する画像データを生成する。そして、画像生成処理部１０４は、装着者の視線や眼に関する画像データを第二の表示部１１１に適した画像信号に変換し、送出する。

グラフィックスメモリは必ずしも画像生成処理部１０４が保持する必要はなく、メモリ１０６がグラフィックスメモリの機能を実現してもよい。

不揮発性メモリ１０５には、画像データや、その他のデータ、システム制御部１０２が動作するための各種プログラム等が格納されている。不揮発性メモリ１０５は、例えばハードディスク（ＨＤ）やＲＯＭ等を有している。

メモリ１０６は、撮像部１０１から得られた現実空間画像データや、視線検出部１０８から得られた装着者の視線データ、頭部位置検出部１０７で得られた装着者の頭部位置データ、第一の表示部１０８に表示するための複合現実感画像データなどの各種データを記録する。メモリ１０６は、前述のデータを格納するのに十分な記憶容量を備えている。

頭部位置検出部１０７は、内部に頭部装着型表示装置１００の位置や姿勢に関するデータを測定するためのセンサを備え、観測したデータから装着者の頭部位置情報を算出する。例えば、頭部位置検出部１０７は、特許第５０４７０９０号に記載される三次元位置姿勢センサによる測定手法を用いて、ジャイロセンサ、加速度センサ、磁気センサ等で構成される。また、算出された頭部位置データは、メモリ１０６に記録される。

視線検出部１０８は、頭部装着型表示装置１００の装着者の視線等の眼に関する情報を測定するためのセンサを備え、観測したデータから装着者の視線データを算出する。視線検出部１０８は、例えば図２に示すように、装着者の眼が映り込む位置に小型カメラ（アイカメラ）を配置する。そして、アイカメラの撮像画像から装着者の眼の検出処理を行い、装着者の視線位置データを算出する。この他にも温度センサと、赤外線を照射するユニットを配置することで、赤外線照射による装着者の白眼と黒目の温度変化の差から装着者の眼の検出を行ってもよい。算出された装着者の視線データは、メモリ１０６に記録される。

第一の表示部１０９は、頭部装着型表示装置１００の装着者に対し、複合現実感画像データ（以下、第一の表示データ）の表示を行う。例えば、図２に示すように、第一の表示部１０９は頭部装着型表示装置１００において、装着者の両眼が覆われる位置に配置される。

第二の表示部１１１は、本発明の頭部装着型表示装置１００の非装着者に対して、装着者の視線や眼に関する画像データ（以下、第二の表示データ）の表示を行う。第二の表示部１１１は、図２に示すように、装着者の視線や眼に関する画像データの表示が非装着者に対して、違和感がないように、顔正面方向で装着者の顔全面かつ、眼が覆われるように配置される。

次に、図１に示した頭部装着型表示装置１００の利用時に、第一の表示部１０９、第二の表示部１１１、それぞれに対して画像を表示するフローを、図３のフローチャートと図４、図５を参照して説明する。

図４は、本実施形態における第一の表示部１０９、第二の表示部１１１へ表示するデータの生成を説明する図である。図５は、本実施形態における第二の表示部１１１の表示例を説明する図である。

ここから、図３のフローチャートを用いて、本実施形態のシステム制御部１０２のふるまいについて詳細に説明する。

まず、前提条件としては、図３のフローチャートの開始は、頭部装着型表示装置１００を装着した状態、且つ、装着者が複合現実感画像の表示を利用している状態である。また、装着者の前方には、図４（ａ）に示すような現実空間４０１が広がっているものとする。そして、図４（ｃ）に示すタイミングＴ０からタイミングＴ４を例にして、時間軸上の各ステップのふるまいを説明する。タイミングＴ０からタイミングＴ４は、後述するステップＳ３０１から、ステップＳ３１０までの一連の処理が実行されると、タイミングが１つ進むものとする。

ステップＳ３０１において、撮像部１０１で被写体を撮像し、画像処理部１０４で各種画像処理を行った後、現実空間画像として一時記憶メモリであるメモリ１０６に記憶する。また、本実施形態では、図４（ａ）の破線枠４０２で示す範囲が、撮像部１０１の撮影可能であり、その範囲が撮影画像として取得できるものとする。

ステップＳ３０２において、視線検出部１０８は、装着者の視線データを算出する。算出した装着者の視線情報は、一次記憶メモリであるメモリ１０６に記憶する。本実施形態では、アイカメラの撮像画像に対し、人体の黒目と白目の画像パターンをテンプレートマッチングによって検出を行う構成とする。この検出処理により、アイカメラの撮像画像内における眼の大きさや中心座標、黒目の中心座標位置といった検出情報が取得される。そして、眼の中心座標と、黒目の中心座標とのずれ量から、視線の方向や大きさといった装着者の視線データを算出する。例えば、図４（ｃ）において、タイミングＴ０の場合は、装着者の頭部と目の動きから、装着者の視線方向は左方向と算出され、タイミングＴ１の場合は、装着者の視線方向は正面方向として算出される。図４（ｃ）は、水平方向を例としているが、垂直方向も同様の方法で算出することができる。また、視線検出処理は、片眼のみに適応してもよいし、視線情報の精度を向上や、奥行き方向の焦点位置を算出するために両眼に対して適応してもよい。

ステップＳ３０３において、頭部位置検出部１０７は、装着者の頭部位置データを取得する。本実施形態では、頭部位置データとして、少なくとも頭部の回転方向および量が取得できるものとする。例えば、図４（ｃ）において、タイミングＴ０からタイミングＴ２の間は、装着者の頭部の向きが１２時方向であることを情報として取得する。そしてまた、タイミングＴ３、からタイミングＴ４の間は、装着者の頭部の向きが１１時方向であることを情報として取得する。また、検出された装着者の頭部位置データは、一次記憶メモリであるメモリ１０６に記憶する。

ステップＳ３０４において、システム制御部１０２はメモリ１０６から注視領域データと装着者の視線データを読み出し、現実空間画像に対する装着者の注視領域データを更新する。ここでの注視領域データは、現実空間画像内の第一の表示部１０９で表示する領域の中心座標とする。そのため、注視領域データの更新は、第一の表示部１０９で表示する領域の中心座標に対して、ステップＳ３０２で算出された装着者の視線データから算出される座標のずれ量を足し込むことで算出される。

具体的な処理を、図４（ｃ）のタイミングＴ０を例に説明する。説明を簡便にするため、視線データは水平方向に限定し、且つ、左方向、中央方向、右方向の三つの方向の種類のみが扱われ、それぞれに固有の座標ずれ量が定められているものとして説明する。

例えば、図４（ｃ）のタイミングＴ０の状態においては、現実空間の破線で囲まれた領域を現実空間画像の領域、実線で囲まれた領域を、第一の表示部１０９の表示領域とする。そして、取得された装着者の視線データは、第一の表示部１０９に対して左方向を向いているため、注視領域データが左方向にずれる様に更新される。

これに対して、図４（ｃ）のタイミングＴ１の状態においては、現実空間の破線で囲まれた領域を現実空間画像の領域、実線で囲まれた領域を、第一の表示部１０９の表示領域とする。そして、取得された装着者の視線データは、第一の表示部１０９に対して、正面方向を向いているため、注視領域データは更新されない。

さらには、図４（ｃ）のタイミングＴ２の状態においては、現実空間の破線で囲まれた領域を現実空間画像の領域、実線で囲まれた領域を、第一の表示部１０９の表示領域とした場合、取得された装着者の視線データは、第一の表示部１０９に対して、右方向を向いているため、注視領域データは右方向にずれるように更新される。

また、この注視領域データの初期値は、任意ではあるが、を現実空間画像の中心座標としてよい。更新した装着者の注視領域データは、一次記憶メモリであるメモリ１０６に記憶する。

ステップＳ３０５において、画像生成処理部１０４が装着者の注視領域データと、頭部位置データから仮想空間画像の生成を行う。仮想空間画像は、現実空間画像の任意の座標位置に合成され、後述する複合現実感画像データを生成するための画像データであればよい。本実施形態では、頭部位置データから現実空間上の座標や方位を取得し、グラフィックメモリ上に書き込まれた画像情報からその座標や方位に対応したＣＧを生成する。そして、注視領域データから、生成したＣＧ画像のうち、注視領域内に配置すべきものを配置した仮想空間画像（図４（ｂ））を生成する。

ステップＳ３０６において、画像生成処理部１０４が注視領域データと、現実空間画像と、仮想空間画像から第一の表示データとなる複合現実感画像データを生成し、第一の表示部１０９に表示する。

ステップＳ３０７において、システム制御部１０２は、第二の表示データ更新をするか否かを判定する。第二の表示データ更新をする場合は、ステップ３０８を実施する。第二の表示データ更新をしない場合は、ステップ３１０を実施する。本実施形態では、装着者の頭部に動きがない場合に第二の表示データを更新するものとする。例えば、タイミングＴ０からタイミングＴ２の期間は更新を行ない、タイミングＴ３では、頭部位置データの変化があるため、更新を行わない。そのため、後述のステップＳ３０８で説明する第二の表示データの生成を実施しないことになる。

この他にも、本ステップの判定条件は、第二の表示データ生成処理を実施するかしないかを判定する処理であればよい。例えば、頭部位置検出部１０７が装着者頭部の加速度を検出可能な場合は、検出された加速度が所定の値を超えるか否かを判定条件としてもよいし、所定の回数、もしくは所定の時間、連続で頭部位置データの変位が検出されたか否かを判定条件としてもよい。

この他にも、装着者の視線データを判定条件としてもよい。例えば、装着者の視線が一定の場合は、第二の表示データを更新する必要性が低いため、視線データに所定の変位があるか否かを判定条件としてもよい。

そしてまた、撮像部１０１が取得した現実空間画像に対して、顔や人が検出可能な場合は、顔や人が検出されたか否かを判定条件としてもよい。これは、前述のように第二の表示部１１１は、非装着者に対する表示のため、非装着者が不在の場合は、第二の表示データを更新する必要性が低いためである。

ステップＳ３０８において、画像生成処理部１０４は、注視領域データから第二の表示データを生成し、メモリ１０６へ格納する。本実施形態での、第二の表示部１１１に表示するための第二の表示データは、少なくとも装着者の現実空間画像上の視線を表現するものとする。例えば、タイミングＴ０においては、前述のように注視領域データは、現実空間画像上の左側の座標位置を示している。そのため、第二の表示データは、視線方向が左方向であることを表現するように生成される。

そして、タイミングＴ１においては、前述のように注視領域データは、現実空間画像上の左側の座標位置を示している。そのため、第二の表示データは、視線方向が左方向であることを表現するように生成される。さらには、タイミングＴ２においては、前述のように注視領域データは、現実空間画像上の中央の座標位置を示している。そのため、第二の表示データは、視線方向が正面方向であることを表現するように生成される。

この他にも、システム制御部１０２が、視線検出部１０８が取得した視線データから装着者の表情や感情の検出が可能であれば、頭部装着型表示装置により、装着者の隠れてしまう表情や感情を表現した第二の表示データを生成してもよい。この他にも、注視領域データの更新頻度や時間的な変位から、注視領域データに対する注視度という指標を設けて、注視領域データが更新されない場合は、注視度が高いとして表現するようにしてもよい。

ステップＳ３０９において、システム制御部１０２の指示により、第二の表示部１１１はメモリ１０６から第二の表示データを読み出し、表示する。例えば、図４（ｃ）におけるタイミングＴ０や、Ｔ１での表示例は、図５（ａ）となる。この他にも、前述したようにステップＳ３０８で、笑顔を表現した第二の表示データが生成されている場合は、図５（ｂ）のような表示例となる。

ステップＳ３１０において、システム制御部１０２は、装着者から第一の表示部１０９で複合現実感画像表示の終了指示があるかを判定する。複合現実感画像表示の終了指示がある場合は、第一の表示部１０９の表示処理および、第二の表示部１１１に対する表示処理を終了する。複合現実感画像表示の終了指示がある場合は、ステップＳ３０１を処理する。

本実施形態に示したように構成された頭部装着型表示装置によれば、前記頭部装着型表示装置を装着時においても、非装着者に対して装着者の視線や目に関する情報を表示することが可能となり、視線や表情によるコミュニケーションを容易に行うことができる。

以上、本発明の好ましい実施形態について説明したが、図１に示した電子機器の構成は一例であり、各実施形態の動作を実行できるのであれば、本発明に係る電子機器の構成は、図１に示した構成に限定されるものではない。また、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１００ 頭部装着型表示装置、１０１ 撮像部、１０２ システム制御部、
１０３ 画像処理部、１０４ 画像生成処理部、１０５ 不揮発性メモリ、
１０６ メモリ、１０７ 頭部位置検出部、１０８ 視線検出部、
１０９ 第一の表示部、１１０ バス、１１１ 第二の表示部

Claims (8)

1. 装着者の視点位置でその視線方向における現実空間を撮像する撮像手段と、
   装着者の視線を検出するための視線検出手段と、
   装着者の頭の位置もしくは姿勢を検出するための頭部位置検出手段と、
   前記撮像手段の撮影画像と、前記頭部位置検出手段の装着者の頭の位置情報もしくは姿勢情報に応じて生成される仮想画像とを合成し複合現実感画像を生成する複合画像生成処理を行う画像処理手段と、
   装着者が視認できる位置に配置され、前記複合現実感画像を表示する第一の表示手段と、
   装着者が直接視認できない位置に配置された第二の表示手段と、
   を備え、
   前記視線検出手段により検出された装着者の視線情報を用いて、現実空間上での装着者の視線を表現するように前記第二の表示手段に表示することを特徴とする頭部装着型表示装置。
2. 視線検出手段は、装着者の目を撮像するための第二の撮像部を備え、第二の撮像部で取得された画像を用いて、装着者の視線を検出することを特徴とする請求項１に記載の頭部装着型表示装置。
3. 第二の表示手段が表示する装着者の視線情報は、前記視線検出手段により検出された装着者の視線情報と、前記複合現実感画像の表示領域情報とを合わせて、現実空間上における装着者の視線を表現するように第二の表示手段に表示することを特徴とすることを特徴とする請求項１に記載の頭部装着型表示装置。
4. 第二の表示手段が表示する装着者の視線情報は、前記視線検出手段により、装着者の視線移動が検出された時に更新することを特徴とする請求項１に記載の頭部装着型表示装置。
5. 第二の表示手段が表示する装着者の視線情報は、前記視線検出手段により、装着者の左目と右目の視差情報を算出することで、前記視線情報に奥行き方向の距離パラメータを含んでいることを特徴とする請求項１に記載の頭部装着型表示装置。
6. 第二の表示手段は、前記装着者の視線の表示に加え、頭部に装着することにより、伝達困難となる装着者の感情の関する情報を表示することを特徴とする請求項１に記載の頭部装着型表示装置。
7. 第二の表示手段は、前記撮像部で取得した撮像画像に顔もしくは、人体が検出された時に表示を更新することを特徴とする請求項１に記載の頭部装着型表示装置。
8. 第二の表示手段は、前記視線検出手段から取得した装着者の視線情報の変動推移情報を用いて、装着者の視野や注視度を算出し、装着者の視線情報に加えて、視野範囲や注視度に関する表示を行うことを特徴とする請求項１に記載の頭部装着型表示装置。