JP2022049247A

JP2022049247A - 頭部装着型画像表示装置

Info

Publication number: JP2022049247A
Application number: JP2020155355A
Authority: JP
Inventors: 健笠原; Takeshi Kasahara; 淳一澤田; Junichi Sawada
Original assignee: Tekjp Inc
Current assignee: Tekjp Inc
Priority date: 2020-09-16
Filing date: 2020-09-16
Publication date: 2022-03-29
Also published as: WO2022059521A1

Abstract

【課題】ユーザに応じた自然な３次元画像の表示を可能とする頭部装着型画像表示装置を提供すること。
【解決手段】画像表示部と、調節部と、を有する頭部装着型画像表示装置であり、画像表示部は、レンズの光軸間の間隔を調節可能に並置される少なくとも一組の第１カメラ及び第２カメラから取得される画像をそれぞれ表示可能な、第１表示部及び第２表示部を有し、調節部は、第１表示部及び第２表示部からそれぞれ出力される画像の光軸間の間隔と、ユーザの瞳孔間間隔であるＰＤ値とを一致可能であり、第１カメラ及び第２カメラのレンズの光軸間の間隔を、ユーザの瞳孔間間隔であるＰＤ値に一致可能である、頭部装着型画像表示装置。
【選択図】図２

Description

本発明は、頭部装着型画像表示装置に関する。

従来、複数のカメラ装置を組み合わせて、ユーザの左右両眼に対応する画像を作成することで３次元画像を表示する方法が知られている。近年では、頭部装着型の画像表示装置を用いてユーザの左右両眼にそれぞれ対応する画像を見せることで没入感を高める技術や、現実の画像と作成された虚像や文字等とを組み合わせて表示する技術が知られている（例えば、特許文献１参照）。

国際公開第２０１８／１０１１６２号

特許文献１に開示されているように、ユーザの左右両眼にそれぞれ対応する画像を撮影するカメラ間の間隔は従来固定されているものであった。例えば、ステレオ感を強調するために、カメラ間の間隔はユーザの左右両眼の瞳孔間間隔（ＰＤ値）よりも広く設定されている場合がある。このような場合、裸眼では通常見ることのできない視野角から撮影された画像を見続けることで、脳が視覚した経験のある画像との相違による違和感から、疲れを感じやすく、長時間の画像視聴を行い難いという問題があった。

本発明は、上記に鑑みてなされたものであり、ユーザに応じた自然な３次元画像の表示を可能とする頭部装着型画像表示装置を提供することを目的とする。

（１）本発明は、画像表示部と、調節部と、を有する頭部装着型画像表示装置であり、前記画像表示部は、レンズの光軸間の間隔を調節可能に並置される少なくとも一組の第１カメラ及び第２カメラから取得される画像をそれぞれ表示可能な、第１表示部及び第２表示部を有し、前記調節部は、前記第１表示部及び前記第２表示部からそれぞれ出力される画像の光軸間の間隔と、ユーザの瞳孔間間隔であるＰＤ値とを一致可能であり、前記第１カメラ及び前記第２カメラのレンズの光軸間の間隔を、ユーザの瞳孔間間隔であるＰＤ値に一致可能である、頭部装着型画像表示装置に関する。

（２）前記第１カメラ及び前記第２カメラを有し、前記第１カメラ及び前記第１表示部を固定する第１固定部と、前記第２カメラ及び前記第２表示部を固定する第２固定部と、を有する、（１）に記載の頭部装着型画像表示装置。

（３）前記第１カメラ及び前記第２カメラに前記ＰＤ値を送信可能な通信部を有する、（１）又は（２）に記載の頭部装着型画像表示装置。

（４）前記調節部は、前記第１表示部及び前記第２表示部の上下間隔及び角度を調節可能であり、前記調節部は、前記ユーザの左右の視線と、前記第１表示部及び前記第２表示部からそれぞれ出力される画像の光軸とをそれぞれ一致可能である、（１）～（３）のいずれかに記載の頭部装着型画像表示装置。

（５）前記第１カメラ及び前記第２カメラと、被撮影物との距離Ｌを測定可能な測距センサを有し、前記調節部は、前記距離Ｌが所定の閾値以下である場合には、前記被撮影物に対する前記第１カメラ及び前記第２カメラのレンズの光軸と、前記第１表示部及び前記第２表示部からそれぞれ出力される画像の光軸とを一致させる、（４）に記載の頭部装着型画像表示装置。

（６）前記第１表示部及び前記第２表示部は、網膜ディスプレイである、（１）～（５）のいずれかに記載の頭部装着型画像表示装置。

本発明によれば、ユーザに応じた自然な３次元画像の表示を可能とする頭部装着型画像表示装置を提供できる。

本実施形態に係る頭部装着型画像表示装置の概要図である。本実施形態に係る頭部装着型画像表示装置を示す斜視図である。本実施形態に係る頭部装着型画像表示装置を示す斜視図である。他の実施形態に係る頭部装着型画像表示装置の概念図である。他の実施形態に係る頭部装着型画像表示装置の概念図である。

《第１実施形態》
以下、本発明の一実施形態について図面を参照しながら説明する。本発明の内容は以下の実施形態の記載に限定されない。

＜頭部装着型画像表示装置＞
本実施形態に係る頭部装着型画像表示装置１は、図１（ａ）～（ｃ）に示すように、頭部装着型画像表示装置１のユーザ２（以下、単に「ユーザ」と記載する場合がある）の右眼ＲＥと左眼ＬＥの瞳孔間間隔（ＰＤ値）Ｃと、並置される第１カメラ３０ａと第２カメラ３０ｂのレンズの光軸間の間隔Ａと、第１表示部１１ａ及び第２表示部１１ｂからそれぞれ出力される画像の光軸間の間隔Ｂを全て等しい間隔とすることができる。これにより、頭部装着型画像表示装置１は、ユーザにとって自然な３Ｄ画像を表示させることができる。並置される第１カメラ及び第２カメラは、ユーザから離れた位置にある少なくとも一組のリモートカメラであってもよいし、ユーザの視界と同様の画像を撮影する、頭部装着型画像表示装置１に配置された一組のカメラであってもよいし、上記を組み合わせてもよい。

頭部装着型画像表示装置１は、図２及び図３に示すように、画像表示部としての第１表示部１１ａ及び第２表示部１１ｂと、第１固定部１２ａ及び第２固定部１２ｂと、位置検出部１３ａ及び１３ｂと、調節部としてのモータ１４ａ及び１４ｂと、第１カメラ３１ａ及び第２カメラ３１ｂと、上記を収容するフレームＦと、を有する。図２は、ユーザが頭部装着型画像表示装置１を装着した状態で外側から見た図であり、図３は、頭部装着型画像表示装置１をユーザが装着する側から見た図である。上記以外に、頭部装着型画像表示装置１は、ＰＤ値や画像データ等の情報を外部と送受信可能な通信部（図示せず）と、制御部（図示せず）と、を有していてもよい。また、フレームＦをユーザの頭部に固定するベルト等の装着具を有していてもよい。

第１表示部１１ａ及び第２表示部１１ｂは、それぞれ第１カメラ３１ａ及び第２カメラ３１ｂから取得した画像を、ユーザの右眼ＲＥ及び左眼ＬＥに対応する画像として出力できる。第１表示部１１ａ及び第２表示部１１ｂは、外部のリモートカメラ３の第１カメラ３０ａ及び第２カメラ３０ｂから取得した画像をそれぞれ表示可能であってもよい。更に、上記複数のカメラから取得される画像を重畳させて表示可能であってもよいし、上記の画像に虚像や文字等を重畳させて表示可能であってもよい。例えば、リモートカメラ３から取得される画像に対し、ユーザの目の前の画像（例えば、ユーザの手）を重畳させて表示可能であってもよい。これにより、ユーザはまるで自己が離れた場所に存在するかのような感覚を得ることができる。

本実施形態において、第１表示部１１ａ及び第２表示部１１ｂは、網膜ディスプレイである。第１表示部１１ａ及び第２表示部１１ｂは、第１カメラ及び第２カメラから取得した画像データに基づいたレーザ光線を生成するモジュール１１１ａ及び１１１ｂと、生成されたレーザ光線をそれぞれ光軸Ｏｒ及び光軸Ｏｌでユーザの網膜へと導くミラー１１２ａ及び１１２ｂと、を備える。第１表示部１１ａ及び第２表示部１１ｂを網膜ディスプレイとすることで、ユーザの視力に依らずに視聴可能な３次元画像を表示できる。第１表示部１１ａ及び第２表示部１１ｂは、上記に限定されず、液晶ディスプレイであってもよい。第１表示部１１ａ及び第２表示部１１ｂが液晶ディスプレイである場合、それぞれの光軸Ｏｒ及び光軸Ｏｌは、第１表示部１１ａ及び第２表示部１１ｂから出力される画像の光軸中心として定義される。

第１固定部１２ａは、第１表示部１１ａ及び、後述する第１カメラ３１ａを固定する板状部材である。同様に、第２固定部１２ｂは、第２表示部１１ｂ及び、後述する第２カメラ３１ｂを固定する板状部材である。第１固定部１２ａは、図２及び図３に示すように、第１表示部１１ａから出力される画像の光軸と、第１カメラ３１ａのレンズの光軸とが同一の光軸Ｏｒとして一致するように固定する。第２固定部１２ｂも上記と同様に、第２表示部１１ｂから出力される画像の光軸と、第２カメラ３１ｂのレンズの光軸が光軸Ｏｌとして一致するように固定する。これにより、第１カメラ３１ａと第２カメラ３１ｂとのレンズの光軸間の間隔Ａと、第１表示部１１ａと第２表示部１１ｂの光軸間の間隔Ｂとを、特に操作を要することなく常に一致させることができる。

第１固定部１２ａ及び第２固定部１２ｂの上部は、一部がフレームＦに形成されたスリットＳＬａ及びＳＬｂを介してフレームＦの上方に向けて延出し、調節部としてのノブ１２１ａ及び１２１ｂを形成する。第１固定部１２ａ及び第２固定部１２ｂは、ユーザの視点から見て左右方向に摺動可能である。ユーザがノブ１２１ａ及び１２１ｂを左右に操作することで、第１固定部１２ａ及び第２固定部１２ｂを左右に摺動させ、ユーザの左右の視線と光軸Ｏｒ及びＯｌとを一致させることができる。即ち、図１における間隔ＣであるＰＤ値と、第１カメラ３１ａと第２カメラ３１ｂのレンズ間の光軸間の間隔Ａ、及び第１表示部１１ａと第２表示部１１ｂからそれぞれ出力される画像の光軸間の間隔Ｂを一致させることができる。上記に加え、第１表示部１１ａ及び第２表示部１１ｂから出力される画像の光軸Ｏｒ及びＯｌを、ユーザの左右の視線と一致させることができる。これにより、頭部装着型画像表示装置１は、ユーザの実際の視界と同一の３次元画像を表示させることができる。光軸Ｏｒ及び光軸Ｏｌの間隔の調節レンジは、人間のＰＤ平均値を考慮し、例えば、最小５０ｍｍ、最大８０ｍｍとすることができる。

ノブ１２１ａ及び１２１ｂをユーザが操作することによる第１固定部１２ａ及び第２固定部１２ｂの調整は、例えば、第１表示部１１ａ及び第２表示部１１ｂに調整用チャートを表示させ、該調整用チャートの中心位置が合うようにユーザがノブ１２１ａ及び１２１ｂを左右に動かすことで行われる。ノブ１２１ａ及び１２１ｂは、光軸Ｏｒ及びＯｌの中心線Ｏｃからのそれぞれの間隔が一定になるような連携機構を有していてもよく、上記に加えて、中心線Ｏｃからの間隔をそれぞれ微調整可能であることが好ましい。

位置検出部１３ａ及び１３ｂは、光軸Ｏｒ及びＯｌの位置を検出可能な位置検出エンコーダである。位置検出部１３ａ及び１３ｂにより検出される位置情報は、例えば、光軸Ｏｒ及びＯｌの中心線Ｏｃからの距離として数値化される。上記距離を加算してＰＤ値として数値化してもよい。上記数値化されたＰＤ値等は、例えば外部のリモートカメラ３に送信される。これにより、外部のリモートカメラ３の第１カメラ３０ａと第２カメラ３０ｂの間隔Ａを、ＰＤ値に一致させることができる。従って、外部のリモートカメラ３から取得した画像を、ユーザに応じた自然な３次元画像とすることができる。上記位置検出エンコーダとしては、特に限定されないが、例えば、光学反射式リニアエンコーダ、マグネット式リニアエンコーダ、抵抗式エンコーダ、回転式エンコーダ等を使用できる。

調節部としてのモータ１４ａ及び１４ｂは、ノブ１２１ａ及び１２１ｂと同様に、第１固定部１２ａ及び第２固定部１２ｂを左右に摺動可能である。モータ１４ａ及び１４ｂによる第１固定部１２ａ及び第２固定部１２ｂの上記動作は、ユーザの操作により行われてもよいし、ユーザの左右の瞳孔位置や、ユーザの顔の中心（例えば、ユーザの鼻）を光学式センサにより検出することで、自動的又は半自動的に行われてもよい。上記瞳孔位置及び顔の中心の検出は、公知の画像認識を用いた顔検出技術や、瞳孔検出技術等により行うことができる。上記瞳孔位置の検出及び動作と、ユーザの操作による調節とを組み合わせてもよい。例えば、上記瞳孔位置の検出と、光軸Ｏｒ及びＯｌをユーザの左右の瞳孔位置に合わせる動作が自動的に行われた後に、ユーザがノブ１２１ａ及び１２１ｂ又はモータ１４ａ及び１４ｂを操作して微調整を行うように構成してもよい。

第１カメラ３１ａ及び第２カメラ３１ｂは、ユーザの実際の視界に応じた３次元画像を撮影する。ユーザの実際の視界をディスプレイ上に表示させる方法としては、ハーフミラーを用いる方法がある。しかし、ハーフミラーを用いる場合、ハーフミラー上に表示される画像に実際の画像が透過して見えるため、自然な３次元画像を表示することが困難である。本実施形態に係る頭部装着型画像表示装置は、第１カメラ３１ａ及び第２カメラ３１ｂを有することで、より自然な３次元画像を表示できる。

第１カメラ３１ａ及び第２カメラ３１ｂは、レンズの光軸方向がユーザの視界方向を向くように、それぞれ第１固定部１２ａ及び第２固定部１２ｂに固定される。第１カメラ３１ａ及び第２カメラ３１ｂは、左右に摺動可能な第１固定部１２ａ及び第２固定部１２ｂに固定され、レンズの光軸間の間隔を調節可能である。第１カメラ３１ａ及び第２カメラ３１ｂにより撮影された画像は、第１表示部１１ａ及び第２表示部１１ｂにそれぞれ表示される。上記以外に、第１カメラ及び第２カメラは、ユーザから離れた位置の画像を取得可能な外部のリモートカメラ３に搭載されていてもよい。この場合、リモートカメラ３に搭載される第１カメラ３０ａ及び第２カメラ３０ｂは、レンズの光軸間の間隔を遠隔操作により調節可能であることが好ましい。上記第１カメラ及び第２カメラとしては特に制限されず、公知のカメラ装置を用いることができる。

通信部は、リモートカメラ３等の外部と、頭部装着型画像表示装置１との間でデータを送受信可能に構成される。通信部から外部に送信されるデータとしては、例えば、位置検出部１３ａ及び１３ｂにより取得されるＰＤ値が挙げられる。外部から通信部が受信するデータとしては、例えば、外部のリモートカメラ３により撮影される画像データが挙げられる。上記以外に、通信部は、インターネットを介して第１表示部１１ａ及び第２表示部１１ｂに表示させる虚像や文字等の情報を取得可能であってもよい。

制御部は、調節部としてのモータ１４ａ及び１４ｂを、自動的に又はユーザの操作により動作させる。制御部は、例えば記憶媒体に記憶された瞳孔検出プログラムにより、ユーザの瞳孔位置と、光軸Ｏｒ及びＯｌが一致するように、モータ１４ａ及び１４ｂを動作させる。又は、制御部は、ユーザの操作入力を受け付けることで、モータ１４ａ及び１４ｂを動作させる。ユーザの操作入力方法としては、頭部装着型画像表示装置に設置されるスイッチ操作や、スマートフォン、リモコン等の無線通信による操作が挙げられる。

以下、本発明の他の実施形態について説明する。上記第１実施形態と同様の構成については、説明を省略する場合がある。

《第２実施形態》
本実施形態に係る頭部装着型画像表示装置は、上下方向に移動可能であり、更にパン及びチルト機能により角度を自在に変更可能である第１表示部１１ａ及び第２表示部１１ｂを有する。これにより、ユーザが例えば斜視を有している場合であっても、ユーザの左眼ＬＥ及び右眼ＲＥの視線と、第１表示部１１ａ及び第２表示部１１ｂの光軸Ｏｒ及びＯｌをそれぞれ一致させることができる。従って、本実施形態に係る頭部装着型画像表示装置は、従来は３次元画像を視聴することが困難であった、斜視を有するユーザが視聴可能な３次元画像を表示できる。また、斜視を有していないとされるユーザであっても、僅かな視差を有している場合があるが、そうしたユーザに対しても自然な３次元映像を提供できる。

本実施形態に係る頭部装着型画像表示装置の構成について、概念図である図４を用いて説明する。図４（ａ）は、ユーザの左眼ＬＥ及び右眼ＲＥと、第１表示部１１ａ及び第２表示部１１ｂとの位置関係を、ユーザの真横から見た概念図である。同様に、図４（ｂ）は各表示部との位置関係を、ユーザの上方から見た概念図である。図４（ａ）に示すように、ユーザの左眼ＬＥの視線方向は正面を向いているのに対し、右眼ＲＥの視線方向は、上方に角度θを有し、ユーザから見て右方に角度φ１の角度を有している。この場合に、第１表示部１１ａを、第２表示部１１ｂに対し上方に高さｈ移動させ、下方に角度θ傾けると共に、ユーザから見て左方に角度ψ１傾ける。これにより、ユーザの左眼ＬＥの視線と、第２表示部１１ｂの光軸Ｏｌとを一致させるだけでなく、ユーザの右眼ＲＥの視線と、第１表示部１１ａの光軸Ｏｒとを一致させることができる。

《第３実施形態》
本実施形態に係る頭部装着型画像表示装置は、図５に示すように、被撮影物との距離を測定可能な測距センサ１５を有する。測距センサ１５としては、特に限定されないが、例えば、赤外線センサ、レーザセンサ、超音波センサ、ＬＩＤＡＲ（ＬｉｇｈｔＤｅｔｅｃｔｉｏｎａｎｄＲａｎｇｉｎｇ、ＬａｓｅｒＩｍａｇｉｎｇＤｅｔｅｃｔｉｏｎａｎｄＲａｎｇｉｎｇ）センサ等を用いることができる。

本実施形態に係る頭部装着型画像表示装置は、第２実施形態と同様に、少なくともパン機能を有し、角度を変更可能な第１表示部１１ａ及び第２表示部１１ｂを有する。図５は、本実施形態に係る頭部装着型画像表示装置とユーザの左眼ＬＥ及び右眼ＲＥとの位置関係を、ユーザの上方から見た概念図である。

本実施形態に係る頭部装着型画像表示装置は、図５に示すように、被撮影物Ｘに対する第１カメラ及び第２カメラの距離Ｌが所定の閾値以下である場合、被撮影物Ｘに対する第１カメラ及び第２カメラの光軸と、第１表示部１１ａ及び第２表示部１１ｂからそれぞれ出力される画像の光軸Ｏｒ及びＯｌとを一致させる。具体的には、第１表示部１１ａ及び第２表示部１１ｂを、それぞれユーザの正面方向に対し、外側に角度φ２だけ傾ける。これにより、第１カメラ及び第２カメラに対して至近距離にある物体をより自然に３次元画像で表示できる。なお、第１表示部１１ａの光軸Ｏｒと正面方向とのなす角度と、第２表示部１１ｂの光軸Ｏｌと正面方向とのなす角度とは、被撮影物Ｘの位置に応じて異なっていてもよい。

以上、本発明の好ましい実施形態について説明したが、本発明の内容は上記実施形態に限定されず、適宜変更が可能である。

上記実施形態では、第１表示部１１ａ及び第２表示部１１ｂからそれぞれ出力される画像の中心間の間隔を調節する調節部を、調節部としてのノブ１２１ａ及び１２１ｂ又はモータ１４ａ及び１４ｂとして、第１固定部１２ａ及び第２固定部１２ｂを物理的に左右方向に摺動させるものとして説明した。上記に限定されない。調節部は、例えば、第１表示部１１ａ及び第２表示部１１ｂが液晶ディスプレイである場合、表示される画像の光軸中心を、ディスプレイが固定された状態で左右方向に移動するものであってもよい。

上記実施形態では、並置される第１カメラ３０ａと第２カメラ３０ｂのレンズの光軸間の間隔Ａを、遠隔操作で調節可能であるものとして説明した。上記に限定されない。第１カメラ３０ａと第２カメラ３０ｂのレンズの光軸間の間隔Ａは、画像に補正を加えることで仮想的に調節可能であってもよい。即ち、固定された第１カメラ３０ａ及び第２カメラ３０ｂから取得された画像をトリミング、部分圧縮により補正し、仮想的にレンズの光軸間の間隔Ａを調節してもよい。この際に、例えば左眼用の画像は左側の圧縮率を高くし、右眼用の画像は右側の圧縮率を高くすることで、現実の画像に近い画像に補正することができる。

１頭部装着型画像表示装置
２ユーザ
３０ａ、３１ａ第１カメラ
３０ｂ、３１ｂ第２カメラ
１１ａ第１表示部
１１ｂ第２表示部
１２ａ第１固定部
１２ｂ第２固定部
１２１ａ、１２１ｂノブ（調節部）
１４ａ、１４ｂモータ（調節部）
１５測距センサ

Claims

画像表示部と、調節部と、を有する頭部装着型画像表示装置であり、
前記画像表示部は、レンズの光軸間の間隔を調節可能に並置される少なくとも一組の第１カメラ及び第２カメラから取得される画像をそれぞれ表示可能な、第１表示部及び第２表示部を有し、
前記調節部は、前記第１表示部及び前記第２表示部からそれぞれ出力される画像の光軸間の間隔と、ユーザの瞳孔間間隔であるＰＤ値とを一致可能であり、
前記第１カメラ及び前記第２カメラのレンズの光軸間の間隔を、ユーザの瞳孔間間隔であるＰＤ値に一致可能である、頭部装着型画像表示装置。
前記第１カメラ及び前記第２カメラを有し、
前記第１カメラ及び前記第１表示部を固定する第１固定部と、前記第２カメラ及び前記第２表示部を固定する第２固定部と、を有する、請求項１に記載の頭部装着型画像表示装置。
前記第１カメラ及び前記第２カメラに前記ＰＤ値を送信可能な通信部を有する、請求項１又は２に記載の頭部装着型画像表示装置。
前記調節部は、前記第１表示部及び前記第２表示部の上下間隔及び角度を調節可能であり、
前記調節部は、前記ユーザの左右の視線と、前記第１表示部及び前記第２表示部からそれぞれ出力される画像の光軸とをそれぞれ一致可能である、請求項１～３のいずれかに記載の頭部装着型画像表示装置。
前記第１カメラ及び前記第２カメラと、被撮影物との距離Ｌを測定可能な測距センサを有し、
前記調節部は、前記距離Ｌが所定の閾値以下である場合には、前記被撮影物に対する前記第１カメラ及び前記第２カメラのレンズの光軸と、前記第１表示部及び前記第２表示部からそれぞれ出力される画像の光軸とを一致させる、請求項４に記載の頭部装着型画像表示装置。
前記第１表示部及び前記第２表示部は、網膜ディスプレイである、請求項１～５のいずれかに記載の頭部装着型画像表示装置。