JP2016110147A - 眼追跡に基づくホログラフィック表示方法及びホログラフィック表示装置 - Google Patents

Abstract

【課題】眼追跡に基づくホログラフィック表示方法及びホログラフィック表示装置を提供する。【解決手段】眼追跡に基づくホログラフィック表示方法は、リアルタイムで観覧者の眼を追跡して眼画像を取得するステップ１０１と、追跡された眼画像に基づいて両眼の座標を確定できるかどうかを判断するステップ１０２と、追跡された眼画像に基づいて両眼の座標を確定できない場合に、表示される３Ｄ画像の変換被写界深度を減少するステップ１０３とを含む。上記形態によって、本発明はカメラが眼の位置をはっきりと追跡できない時であってもユーザがはっきりしている３Ｄ映像を観覧できるようにする。【選択図】図１

Description

本発明は、ホログラフィック表示、特に眼追跡に基づくホログラフィック表示方法及びホログラフィック表示装置に関する。

物体をはっきりと観察するには、実際に見た物体の距離関係を確定する過程、及びはっきりと物体の網膜での結像を取得する過程は一般に必要とされている。このような二つの過程は一般にそれぞれ眼球輻輳と眼球調節と称されている。眼球調節とは、眼球が焦点を変更することによって物体のはっきりしている結像を取得する過程を指す。眼球輻輳とは、物体が網膜においてちょうど両眼の黄斑中心凹部に位置して成像する過程、即ち両眼が物体の前後位置又は被写界深度を確定する過程を指す。

人間がホログラフィック表示画面の放送する映像を観覧している時、眼がはっきりしているホログラフィック表示画像を取得できるようにするために、ホログラフィック表示装置はカメラによって眼の位置を取得して、更に眼の位置に応じて３Ｄ画像を調整して、ユーザが位置変化した時であっても３Ｄ映像を楽しむことができるようにする。

しかしながら、従来の技術におけるホログラフィック表示装置の表示する３Ｄ映像は、ユーザが位置を問わずに観察できるはっきりしている３Ｄ画像でなく、最適な観覧範囲が存在し、この範囲から離れれば、はっきりしている３Ｄ画像を楽しむことができなくなってしまう。なお、外界光線が変化した場合に、例えば光線が暗くなったり、カメラが遮られたり又は損壊された等の場合に、従来のホログラフィック表示装置はユーザの需要を満たすことができなくなった。

本発明は、カメラが眼の位置をはっきりと追跡できない時であってもユーザがはっきりしている３Ｄ映像を観覧できるようにする眼追跡に基づくホログラフィック表示方法及びホログラフィック表示装置を提供することを主として解決しようとする技術的課題としている。

上記技術的課題を解決するために、本発明は、
リアルタイムで観覧者の眼を追跡して眼画像を取得するステップと、
追跡された眼画像に基づいて両眼の座標を確定できるかどうかを判断するステップと、
追跡された眼画像に基づいて両眼の座標を確定できない場合に、表示される３Ｄ画像の変換被写界深度を減少するステップと、を含む眼追跡に基づく自己適応的ホログラフィック表示方法を提供するという一技術的解決手段を採用する。

追跡された眼画像に基づいて両眼の座標を確定できない場合に、表示される３Ｄ画像の変換被写界深度を減少するステップに続いて、
両眼の座標を取得できない原因を追跡された眼画像に基づいて確定し、
前記原因を表明するための提示情報を表示するステップを更に含む。

追跡された眼画像に基づいて両眼の座標を確定できる場合に、前記方法は、
前記追跡された眼画像に基づいて両眼の座標を確定し、表示される３Ｄ画像の変換被写界深度を増大するステップを更に含む。

前記追跡された眼画像に基づいて両眼の座標を確定し、表示される３Ｄ画像の変換被写界深度を増大するステップについて、具体的に言えば、
前記追跡された眼画像に基づいて両眼の画面に対する第１座標情報と第２座標情報を確定し、
前記両眼の間の中心位置の前記画面中心位置に対する第１距離を検出し、
前記第１座標情報と第２座標情報に基づいて前記両眼間の第２距離を得、
前記第１距離及び前記第２距離に基づいて前記両眼の間の中心位置の前記画面に対する角度を確定し、
前記角度に基づいて３Ｄインタリーブアルゴリズムによって被写界深度パラメータを確定し、前記被写界深度パラメータに基づいて前記表示画像の左右図のずれを変更し、前記３Ｄ画像の変換被写界深度を増大する。

前記の前記第１距離及び前記第２距離に基づいて前記両眼の前記画面に対する角度を確定するステップについて、具体的に言えば、
前記第１距離、前記第２距離に基づいて
を利用して前記両眼の間の中心位置の前記画面に対する角度を確定する。

θは前記両眼の間の中心位置の前記画面に対する角度であり、Ｌは前記両眼間の第２距離であり、Ｚは前記両眼の間の中心位置の前記画面中心位置に対する第１距離である。

追跡された眼画像に基づいて両眼の座標を確定できない場合に、表示される３Ｄ画像の変換被写界深度を減少するステップは、
３Ｄインタリーブアルゴリズムによって被写界深度パラメータを確定し、前記被写界深度パラメータに基づいて前記表示画像の左右図のずれを変更し、前記３Ｄ画像の変換被写界深度を小さくするステップを含む。

上記技術的課題を解決するために、本発明は、
リアルタイムで観覧者の眼を追跡して眼画像を取得するための追跡モジュールと、
追跡された眼画像に基づいて両眼の座標を確定できるかどうかを判断するための制御モジュールと、
追跡された眼画像に基づいて両眼の座標を確定できない時、表示される３Ｄ画像の変換被写界深度を減少するための被写界深度調節モジュールと、を含むホログラフィック表示装置を提供するという別の技術的解決手段を採用する。

前記制御モジュールが更に前記追跡された眼画像に基づいて両眼の座標を取得できない原因を確定するためのものでもあって、
前記ホログラフィック表示装置は更に、前記原因表明用の提示情報を表示するための表示モジュールを含む。

前記被写界深度調節モジュールが更に前記追跡モジュールの追跡した眼画像に基づいて両眼の座標を確定する時、表示される３Ｄ画像の変換被写界深度を増大するためのものでもある。

前記被写界深度調節モジュールは、具体的に言えば３Ｄインタリーブアルゴリズムによって被写界深度パラメータを確定し、前記被写界深度パラメータに基づいて前記表示画像の左右図のずれを変更して前記表示画像の３Ｄ変換被写界深度を小さくする。

本発明の有益な効果は、従来の技術の状況と異なって、本発明においてリアルタイムで観覧者の眼を追跡して眼画像を取得し、追跡された眼画像に基づいて両眼の座標を確定できるかどうかを判断し、追跡された眼画像に基づいて両眼の座標を確定できない場合に、表示される３Ｄ画像の変換被写界深度を減少するようになっており、眼がはっきりしている３Ｄ画像を観察できるようにし、ユーザーエクスペリエンスを向上させることである。

本発明に係る眼追跡に基づくホログラフィック表示方法の一実施形態のフロー模式図である。 本発明に係るホログラフィック表示システムの一実施形態の構造模式図である。 本発明に係る眼追跡に基づくホログラフィック表示方法の別の実施形態のフロー模式図である。 本発明に係る眼追跡に基づくホログラフィック表示方法の更に別の実施形態のフロー模式図である。 本発明に係る眼追跡に基づくホログラフィック表示方法のまた一つの実施形態のフロー模式図である。 本発明に係るホログラフィック表示装置の一実施形態の構造模式図である。 本発明に係るホログラフィック表示装置の別の実施形態の構造模式図である。

本発明に係る眼追跡に基づくホログラフィック表示方法の一実施形態のフロー模式図である図１を参照する。本実施形態のホログラフィック表示方法は以下のようなステップを含む。

１０１：リアルタイムで観覧者の眼を追跡して眼画像を取得する。

ホログラフィック表示装置は眼の位置に応じて対応するホログラフィック表示画像を調整するために、一般にカメラによって眼画像を取得する。図２に示すように、本実施形態のホログラフィック表示システムは、ホログラフィック表示装置２０１と、前記ホログラフィック表示装置２０１の前端に配置されてホログラフィック表示装置２０１に電気的に接続され、眼画像２０３を取得するために用いられるカメラ２０２とを含む。その中で、図２におけるカメラ２０２とホログラフィック表示装置２０１の位置は限定されず相対的な位置となる。

その中で、ホログラフィック表示装置２０１は、一般に常用されている大型ホログラフィック表示装置、例えば３Ｄ投影機を含み、３Ｄスマート携帯端末、例えば３Ｄスマートフォンをも含み、３Ｄ画像を表示できる装置であればよく、ここで制限を加えなく、カメラの種類にも制限を加えなく、例えば３Ｄ投影機の前端に配置されるカメラ、更に例えばスマートフォンのフロントカメラ等が挙げられる。

１０２：追跡された眼画像に基づいて両眼の座標を確定できるかどうかを判断する。

まず、ホログラフィック表示装置はカメラが正常に作動できるかどうかを判断し、現在カメラが損壊され又は一時機能しなくなった時、現在眼画像を追跡できなく、即ち観覧者の両眼の座標を確定できないと直接確定する。

現在カメラが正常に作動できる場合に、ホログラフィック表示装置は更にカメラが画像を取得できるかどうかを判断し、即ち、更にカメラが遮られたかどうかを判断し、例えば知能端末によって３Ｄ画像を放送する場合に、カメラが手の指又は他の物件に遮られたかどうか等を判断し、カメラが画像を取得できなければ、ホログラフィック表示装置は観覧者の両眼の座標を確定できない。

別の実施形態では、外界環境の光強度値の大きさが直接観覧者の楽しむ３Ｄ画像の観覧解像度を影響するので、ホログラフィック表示装置はカメラによって眼画像を取得できる時、更に上記眼画像に基づいて現在の外界環境の光強度値が所定の光強度閾値範囲内にあるかどうかを判断し、現在の外界環境の光強度値が所定の光強度範囲内でなければ、例えば現在の環境の光強度が大き過ぎ又は暗すぎれば、はっきりしている３Ｄ画像を好適に楽しむことができず、いずれの場合であっても追跡された眼画像に基づいて両眼の座標を確定できないと確定する。

カメラが正常に作動でき且つ外界環境の光強度値が所定の光強度値範囲内にある場合に、ホログラフィック表示装置は更にはっきりしている眼画像を追跡できるかどうかを確定する。一般のカメラとしていずれも一定の撮影距離及び撮影角度が存在し、観覧者の所在する距離又は角度がカメラの距離又は角度の極限値を超えた場合に、例えばカメラの最遠撮影距離が５０メートルであれば、観覧者が５０メートルから離れた箇所に位置する時、カメラは観覧者の眼画像を追跡できず、即ち眼画像に基づいて両眼の座標を確定できない。

別の実施形態では、観覧者がカメラの距離と角度の極限範囲内に位置して眼画像を追跡できる場合であっても、観覧者がカメラの有効距離と有効角度範囲内に位置しておらず、例えば観覧者がカメラから遠く離れ又はずれ過ぎ、人の顔がカメラに対して小さ過ぎ又はずれ過ぎたので、ホログラフィック表示装置は眼画像に基づいて観覧者の両眼の座標を確実に追跡することができない。

具体的に言えば、他の実施形態では、ホログラフィック表示装置は眼画像に基づいて両眼の画面に対する第１座標情報と第２座標情報を確定し、その中で、第１座標情報と第２座標情報は画面に対する空間座標情報であり、好ましい実施形態では、画面中心位置を座標原点とし、他の実施形態では、他の箇所、例えば画面の任意位置を座標原点としてよく、ここで制限を加えない。また、第１座標情報と第２座標情報に基づいて観覧者の両眼の間の中心位置を確定する。

更に、ホログラフィック表示装置は両眼の間の中心位置の画面中心位置に対する第１距離を検出し、好ましくは、赤外線距離計によって第１距離を検出し、他の実施形態では、他の手段によって検出してもよく、ここで制限を加えない。

ホログラフィック表示装置は更に第１座標情報と第２座標情報に基づいて両眼の間の第２距離を取得し、且つ第１距離及び第２距離に基づいて両眼の間の中心位置の画面に対する角度を確定する。

具体的に言えば、
を利用して前記両眼の間の中心位置の前記画面に対する角度を確定し、
ただし、θは前記両眼の間の中心位置の前記画面に対する角度であり、Ｌは前記両眼間の第２距離であり、Ｚは前記両眼の間の中心位置の前記画面中心位置に対する第１距離である。

第１距離と両眼の間の中心位置の前記画面に対する角度を取得した後、ホログラフィック表示装置は、それぞれ第１距離と両眼の間の中心位置の前記画面に対する角度がそれぞれの有効範囲内にあるかどうかを判断し、両方のいずれか一方が対応する有効範囲でない場合に、追跡された眼画像に基づいて両眼の座標を確定できないと確定する。

上記の挙げられた両眼の座標を追跡できない実施例が例だけであり、制限を加えるものでなく、他の実施形態では、カメラがはっきりしている両眼の座標を取得できない場合であればいずれも本発明の特許請求の範囲内に含まれると見なし、ここで制限を加えないことを説明する必要がある。

１０３：追跡された眼画像に基づいて両眼の座標を確定できない場合に、表示される３Ｄ画像の変換被写界深度を減少する。

具体的に言えば、ホログラフィック表示装置は３Ｄインタリーブアルゴリズムによって被写界深度パラメータを確定し、前記被写界深度パラメータに基づいて前記表示画像の左右図のずれを変更し、前記３Ｄ画像の変換被写界深度を小さくする。

眼が物体を観覧する時、物体が光線原理によって眼球に成像し、且つ成像が大脳に伝送され、物体の像が感じられる。物体が移って消えた時、視神経による物体の印象が直ちに消えることなく、約０．１秒間続き、眼のこのような現象は眼の残像現象と称されている。

具体的に言えば、３Ｄ画像は、一般にフレームを単位とするものであって、１フレームずつの３Ｄ画像が左、右の二枚の異なる角度で撮影した画面を含むので、３Ｄ画像を放送する時、交替して左、右画像を放送し、人の左、右眼がそれぞれ対応する左、右画像を対応的に受信し、上記左眼データ画像と右眼データ画像が所定時間内に切り替えられる時に、左眼に視覚残像作用が存在するため、左眼データ画像の印象が消えておらず、左眼データ画像とわずかに異なっている右眼データ画像が現れ、続いて大脳によって二枚の画像が一体に合成されて３Ｄ視覚効果が実現される。

従って、３Ｄインタリーブアルゴリズムによって被写界深度パラメータを確定した後、前記被写界深度パラメータに基づいて表示画像の左右図のずれを小さくして前記３Ｄ画像の変換被写界深度を小さくすることによって、観覧者によりはっきりと観察させる。

従来の技術の状況と異なって、本発明においてリアルタイムで観覧者の眼を追跡して眼画像を取得し、追跡された眼画像に基づいて両眼の座標を確定できるかどうかを判断し、追跡された眼画像に基づいて両眼の座標を確定できない場合に、表示される３Ｄ画像の変換被写界深度を減少するようになっており、眼がはっきりしている３Ｄ画像を観察できるようにし、ユーザーエクスペリエンスを向上させる。

図３に示すように、図３は本発明に係る眼追跡に基づく自己適応的ホログラフィック表示方法の別の実施形態のフロー模式図である。

本実施形態は、ホログラフィック表示装置が追跡された眼画像に基づいて両眼の座標を確定できず、表示される３Ｄ画像の変換被写界深度を小さくするステップ３０３に続いて、更にステップ３０４を含むことで前の実施形態と異なっている。

３０４：両眼の座標を取得できない原因を追跡された眼画像に基づいて確定し、
前記原因を表明するための提示情報を表示する。

具体的に言えば、ホログラフィック表示装置は両眼の座標を確定できない時、更に取得できない原因を確定する。例えば、まずカメラが眼画像を取得したかどうかを判断し、カメラが眼画像を取得しなかった場合に、更にカメラが眼画像を取得できない原因を確定し、例えばカメラが損壊されたかどうか、現在カメラが遮られているかどうか、現在の外界環境の光強度値が所定の光強度閾値範囲内でないか、又は観覧者がカメラの極限撮影距離と撮影角度の外に位置しているかどうかを判断する。

現在カメラが眼画像を取得できるが、取得された眼画像に基づいて両眼の座標を確定できない場合に、ホログラフィック表示装置は更に両眼の座標を確定できない原因を取得し、例えば観覧者がカメラの極限撮影距離及び撮影角度内に位置しているが、カメラの有効距離又は有効範囲内に位置していない時、カメラが眼画像を追跡できるが、観覧者がカメラの有効距離と有効角度範囲内に位置していなく、例えば観覧者がカメラから遠く離れ又はずれ過ぎ、人の顔がカメラに対して小さ過ぎ又はずれ過ぎたので、ホログラフィック表示装置は眼画像に基づいて観覧者の両眼の座標を確実に追跡することができない。

上記の挙げられた両眼の座標を追跡できない実施例が例だけであり、制限を加えるものでなく、他の実施形態では、カメラがはっきりしている両眼の座標を取得できない場合であればいずれも本発明の特許請求の範囲内に含まれると見なし、ここで制限を加えないことを説明する必要がある。

更に、ホログラフィック表示装置は両眼の座標を確定できない原因を確定してから、その画面に提示情報を表示して両眼の座標を確定できない原因を表明して、ユーザが原因に応じて調整するように注意を与える作用を発揮する。

例えば、カメラが損壊されたので両眼の座標を確定できない場合に、その画面に「カメラが機能しなくなった」という指示メッセージを表示する。カメラが遮られたことが原因になった場合に、その画面に「カメラが物件に遮られた」という指示メッセージを表示する。現在の環境の光強度値が所定の光強度閾値範囲内でないことが原因になった場合に、「使用環境が暗い」という指示メッセージを表示する。距離又は角度に起因して眼画像に基づいて両眼の座標を取得できない場合に、「観覧距離が遠い」又は「観覧角度が適宜でない」等の指示メッセージを表示し、ここで制限を加えない。

なお、本実施形態のホログラフィック表示方法は更にステップ３０１〜３０３を含むが、ステップ３０１〜３０３は前の実施形態のステップ１０１〜１０３と同様であるので、詳細について図１と関連する文字の記載を参照し、ここで繰り返して説明しない。

従来の技術と異なって、本実施形態のホログラフィック表示方法において、ホログラフィック表示装置が追跡された眼画像に基づいて両眼の座標を確定できない時、表示される３Ｄ画像の変換被写界深度を減少して、眼がはっきりしている３Ｄ画像を観察できるようにし、ユーザーエクスペリエンスを向上させる。

前の実施形態と異なって、本実施形態のホログラフィック表示方法において、表示される３Ｄ画像の変換被写界深度を減少した後、更に両眼の座標を取得できない原因を確定し、上記原因を表明するための提示情報を表示し、観覧者にとって提示作用を発揮して、観覧者が提示メッセージに基づいて対応する調整を行ってよりはっきりしている有効な３Ｄ画像を観覧できるようにし、ユーザーエクスペリエンスを向上させる。

図４に示すように、図４は本発明に係る眼追跡に基づくホログラフィック表示方法の更に別の実施形態のフロー模式図である。

本実施形態の自己適応的表示方法は、ホログラフィック表示装置が追跡された眼画像に基づいて両眼の座標を確定できないので表示される３Ｄ画像の変換被写界深度を小さくした後に、更にステップ４０４を含むことで第１実施形態の自己適応的表示方法と異なっている。

４０４：前記追跡された眼画像に基づいて両眼の座標を確定し、表示される３Ｄ画像の変換被写界深度を増大する。

ホログラフィック表示装置は表示される３Ｄ画像の変換被写界深度を小さくした後、眼画像の取得を停止せず、依然としてリアルタイムでカメラによって眼画像を取得し、更に追跡された眼画像に基づいて両眼の座標を確定できるかどうかステップを実行する。

追跡された眼画像に基づいて両眼の座標を確定できる場合に、ホログラフィック表示装置は表示される３Ｄ画像の変換被写界深度を増大して、元の画像表示に復帰させる。

具体的に言えば、ホログラフィック表示装置は眼画像に基づいて両眼の画面に対する第１座標情報と第２座標情報を確定し、その中で、第１座標情報と第２座標情報は画面に対する空間座標情報であり、好ましい実施形態では、画面中心位置を座標原点とし、他の実施形態では、他の箇所、例えば画面の任意位置を座標原点としてもよく、ここで制限を加えない。また、第１座標情報と第２座標情報に基づいて観覧者の両眼の間の中心位置を確定する。

更に、ホログラフィック表示装置は両眼の間の中心位置の画面中心位置に対する第１距離を検出し、好ましくは、赤外線距離計によって第１距離を検出し、他の実施形態では、他の手段によって検出してもよく、ここで制限を加えない。

ホログラフィック表示装置は更に第１座標情報と第２座標情報に基づいて両眼の間の第２距離を取得し、第１距離及び第２距離に基づいて両眼の間の中心位置の画面に対する角度を確定する。

具体的に言えば、
を利用して前記両眼の間の中心位置の前記画面に対する角度を確定する。

前記角度に基づいて３Ｄインタリーブアルゴリズムを利用して被写界深度パラメータを確定し、前記被写界深度パラメータに基づいて前記表示画像の左右図のずれを増大して更に前記３Ｄ画像の変換被写界深度を増大する。

本実施形態のホログラフィック表示方法は更にステップ４０１〜４０３を含むが、ステップ４０１〜４０３は第１実施形態のステップ１０１〜１０３と同様であるので、詳細について図１及びその関連する文字の記載を参照し、ここで繰り返して説明しない。

従来の技術と異なって、本実施形態のホログラフィック表示方法において、ホログラフィック表示装置が追跡された眼画像に基づいて両眼の座標を確定できない時、表示される３Ｄ画像の変換被写界深度を減少して、眼がはっきりしている３Ｄ画像を観察できるようにし、ユーザーエクスペリエンスを向上させる。

第１実施形態と異なって、本実施形態のホログラフィック表示方法において、表示される３Ｄ画像の変換被写界深度を減少した後、眼画像の追跡を継続し、また、眼画像を追跡できた後、追跡された眼画像に基づいて両眼の座標を確定し、且つ表示される３Ｄ画像の変換被写界深度を増大して、表示される３Ｄ画像を初期の表示効果に復帰させて観覧者がよりはっきりしている有効な３Ｄ画像を観覧できるようにし、ユーザーエクスペリエンスを向上させる。

別の実施形態では、図５に示すように、図５は本発明に係る眼追跡に基づくホログラフィック表示方法のまた一つの実施形態のフロー模式図である。

本実施形態は、前記追跡された眼画像に基づいて両眼の座標を確定し、表示される３Ｄ画像の変換被写界深度を増大するステップ５０５を実行する前に、両眼の座標を取得できない原因を追跡された眼画像に基づいて確定し、前記原因を表明するための提示情報を表示するステップ５０４を更に含むことで前の実施形態と異なっている。

例えば、カメラが損壊されたので両眼の座標を確定できない場合に、その画面に「カメラが機能しなくなった」という指示メッセージを表示する。カメラが遮られたことが原因になった場合に、その画面に「カメラが物件に遮られた」という指示メッセージを表示する。現在の環境の光強度値が所定の光強度閾値範囲内でないことが原因になった場合に、「使用環境が暗い」という指示メッセージを表示する。距離又は角度に起因して眼画像に基づいて両眼の座標を取得できない場合に、「観覧距離が遠い」又は「観覧角度が適宜でない」等の指示メッセージを表示し、ここで制限を加えない。

従来の技術と異なって、本実施形態のホログラフィック表示方法において、ホログラフィック表示装置が追跡された眼画像に基づいて両眼の座標を確定できない時、表示される３Ｄ画像の変換被写界深度を減少して、眼がはっきりしている３Ｄ画像を観察できるようにし、ユーザーエクスペリエンスを向上させる。表示される３Ｄ画像の変換被写界深度を減少した後、眼画像の追跡を継続し、また、眼画像を追跡できた後、追跡された眼画像に基づいて両眼の座標を確定し、表示される３Ｄ画像の変換被写界深度を増大して、表示される３Ｄ画像を初期の表示効果に復帰させて観覧者がよりはっきりしている有効な３Ｄ画像を観覧できるようにする。

前の実施形態と異なって、本実施形態の３Ｄ表示方法において、表示される３Ｄ画像の変換被写界深度を減少した後、更に両眼の座標を取得できない原因を確定し、上記原因を表明するための提示情報を表示し、観覧者にとって提示作用を発揮して、観覧者が提示メッセージに基づいて対応する調整を行ってよりはっきりしている有効な３Ｄ画像を観覧できるようにし、ユーザーエクスペリエンスを向上させる。

本発明に係るホログラフィック表示装置の一実施形態の構造模式図である図６を参照する。本実施形態のホログラフィック表示装置は追跡モジュール６０１、制御モジュール６０２及び被写界深度調節モジュール６０３を含む。

追跡モジュール６０１はリアルタイムで観覧者の眼を追跡して眼画像を取得するためのものである。

ホログラフィック表示装置において眼の位置に基づいて対応するホログラフィック表示画像を調整するために、一般に追跡モジュール６０１がカメラによって眼画像を取得する。

その中で、ホログラフィック表示装置は、一般に常用されている大型ホログラフィック表示装置、例えば３Ｄ投影機を含み、３Ｄスマート携帯端末、例えば３Ｄスマートフォンをも含み、３Ｄ画像を表示できる装置であればよく、ここで制限を加えなく、カメラの種類にも制限を加えなく、例えば３Ｄ投影機の前端に配置されるカメラ、更に例えばスマートフォンのフロントカメラ等が挙げられる。

制御モジュール６０２は追跡された眼画像に基づいて両眼の座標を確定できるかどうかを判断するためのものである。

まず、制御モジュール６０２はカメラが正常に作動できるかどうかを判断し、現在カメラが損壊され又は一時機能しなくなった時、現在眼画像を追跡できなく、即ち観覧者の両眼の座標を確定できないと直接確定する。

現在カメラが正常に作動できる場合に、制御モジュール６０２は更にカメラが画像を取得できるかどうかを判断し、即ち、更にカメラが遮られたかどうかを判断し、例えば知能端末によって３Ｄ画像を放送する場合に、カメラが手の指又は他の物件に遮られたかどうか等を判断し、カメラが画像を取得できなければ、制御モジュール６０２は観覧者の両眼の座標を確定できない。

別の実施形態では、外界環境の光強度値の大きさが直接観覧者の楽しむ３Ｄ画像の観覧解像度を影響するので、制御モジュール６０２はカメラによって眼画像を取得できる時、更に上記眼画像に基づいて現在の外界環境の光強度値が所定の光強度閾値範囲内にあるかどうかを判断し、現在の外界環境の光強度値が所定の光強度範囲内でなければ、例えば現在の環境の光強度が大き過ぎ又は暗すぎれば、はっきりしている３Ｄ画像を好適に楽しむことができず、制御モジュール６０２はいずれの場合であっても追跡された眼画像に基づいて両眼の座標を確定できないと確定する。

カメラが正常に作動でき且つ外界環境の光強度値が所定の光強度値範囲内にある場合に、制御モジュール６０２は更にはっきりしている眼画像を追跡できるかどうかを確定する。一般のカメラとしていずれも一定の撮影距離及び撮影角度が存在し、観覧者の所在する距離又は角度がカメラの距離又は角度の極限値を超えた場合に、例えばカメラの最遠撮影距離が５０メートルであれば、観覧者が５０メートルから離れた箇所に位置する時、カメラは観覧者の眼画像を追跡できず、即ち制御モジュール６０２は眼画像に基づいて両眼の座標を確定できない。

別の実施形態では、観覧者がカメラの距離と角度の極限範囲内に位置して眼画像を追跡できる場合であっても、観覧者がカメラの有効距離と有効角度範囲内に位置しておらず、例えば観覧者がカメラから遠く離れ又はずれ過ぎ、人の顔がカメラに対して小さ過ぎ又はずれ過ぎたので、制御モジュール６０２は眼画像に基づいて観覧者の両眼の座標を確実に追跡することができない。

具体的に言えば、他の実施形態では、制御モジュール６０２は眼画像に基づいて両眼の画面に対する第１座標情報と第２座標情報を確定し、その中で、第１座標情報と第２座標情報は画面に対する空間座標情報であり、好ましい実施形態では、画面中心位置を座標原点とし、他の実施形態では、他の箇所、例えば画面の任意位置を座標原点としてよく、ここで制限を加えない。また、第１座標情報と第２座標情報に基づいて観覧者の両眼の間の中心位置を確定する。

更に、制御モジュール６０２は両眼の間の中心位置の画面中心位置に対する第１距離を検出し、好ましくは、赤外線距離計によって第１距離を検出し、他の実施形態では、他の手段によって検出してもよく、ここで制限を加えない。

制御モジュール６０２は更に第１座標情報と第２座標情報に基づいて両眼の間の第２距離を取得し、且つ第１距離及び第２距離に基づいて両眼の間の中心位置の画面に対する角度を確定する。

具体的に言えば、制御モジュール６０２は
を利用して前記両眼の間の中心位置の前記画面に対する角度を確定し、
ただし、θは前記両眼の間の中心位置の前記画面に対する角度であり、Ｌは前記両眼間の第２距離であり、Ｚは前記両眼の間の中心位置の前記画面中心位置に対する第１距離である。

第１距離と両眼の間の中心位置の前記画面に対する角度を取得した後、制御モジュール６０２は、それぞれ第１距離と両眼の間の中心位置の前記画面に対する角度がそれぞれの有効範囲内にあるかどうかを判断し、両方のいずれか一方が対応する有効範囲でない場合に、追跡された眼画像に基づいて両眼の座標を確定できないと確定する。

上記の挙げられた両眼の座標を追跡できない実施例が例だけであり、制限を加えるものでなく、他の実施形態では、カメラがはっきりしている両眼の座標を取得できない場合であればいずれも本発明の特許請求の範囲内に含まれると見なし、ここで制限を加えないことを説明する必要がある。

被写界深度調節モジュール６０３は追跡された眼画像に基づいて両眼の座標を確定できない時、表示される３Ｄ画像の変換被写界深度を減少するためのものである。

具体的に言えば、被写界深度調節モジュール６０３は３Ｄインタリーブアルゴリズムによって被写界深度パラメータを確定し、前記被写界深度パラメータに基づいて前記表示画像の左右図のずれを変更し、前記３Ｄ画像の変換被写界深度を小さくする。

眼が物体を観覧する時、物体が光線原理によって眼球に成像し、且つ成像が大脳に伝送され、物体の像が感じられる。物体が移って消えた時、視神経による物体の印象が直ちに消えることなく、約０．１秒間続き、眼のこのような現象は眼の残像現象と称されている。

具体的に言えば、３Ｄ画像は、一般にフレームを単位とするものであって、１フレームずつの３Ｄ画像が左、右の二枚の異なる角度で撮影した画面を含むので、３Ｄ画像を放送する時、交替して左、右画像を放送し、人の左、右眼がそれぞれ対応する左、右画像を対応的に受信し、上記左眼データ画像と右眼データ画像が所定時間内に切り替えられる時に、左眼に視覚残像作用が存在するため、左眼データ画像の印象が消えておらず、左眼データ画像とわずかに異なっている右眼データ画像が現れ、続いて大脳によって二枚の画像が一体に合成されて３Ｄ視覚効果が実現される。

従って、被写界深度調節モジュール６０３は３Ｄインタリーブアルゴリズムによって被写界深度パラメータを確定した後、前記被写界深度パラメータに基づいて表示画像の左右図のずれを小さくすることによって前記３Ｄ画像の変換被写界深度を小さくして、観覧者がよりはっきりと観察できるようにする。

従来の技術の状況と異なって、本発明において追跡モジュールがリアルタイムで観覧者の眼を追跡して眼画像を取得し、判断モジュールが追跡された眼画像に基づいて両眼の座標を確定できるかどうかを判断し、判断モジュールが追跡された眼画像に基づいて両眼の座標を確定できない時、被写界深度調節モジュールが表示される３Ｄ画像の変換被写界深度を減少するようになっており、眼がはっきりしている３Ｄ画像を観察できるようにし、ユーザーエクスペリエンスを向上させる。

別の実施形態では、追跡モジュールは、判断モジュールが追跡モジュールの追跡した眼画像に基づいて両眼の座標を確定できないので被写界深度調節モジュールが表示される３Ｄ画像の被写界深度を小さくした後、眼画像の追跡を継続するためのものでもある。判断モジュールが追跡モジュールの追跡した眼画像に基づいて両眼の座標を確定できる時、被写界深度調節モジュールは更に表示される３Ｄ画像の変換被写界深度を増大して初期の画像表示に復帰させるために用いられる。

具体的に言えば、判断モジュールは眼画像に基づいて両眼の画面に対する第１座標情報と第２座標情報を確定し、その中で、第１座標情報と第２座標情報は画面に対する空間座標情報であり、好ましい実施形態では、画面中心位置を座標原点とし、他の実施形態では、他の箇所、例えば画面の任意位置を座標原点としてもよく、ここで制限を加えない。また、第１座標情報と第２座標情報に基づいて観覧者の両眼の間の中心位置を確定する。

更に、ホログラフィック表示装置は両眼の間の中心位置の画面中心位置に対する第１距離を検出し、好ましくは、赤外線距離計によって第１距離を検出し、他の実施形態では、他の手段によって検出してもよく、ここで制限を加えない。

判断モジュールは更に第１座標情報と第２座標情報に基づいて両眼の間の第２距離を取得し、第１距離及び第２距離に基づいて両眼の間の中心位置の画面に対する角度を確定する。

具体的に言えば、判断モジュールは
を利用して前記両眼の間の中心位置の前記画面に対する角度を確定する。

被写界深度調節モジュールは上記角度に基づいて３Ｄインタリーブアルゴリズムを利用して被写界深度パラメータを確定し、前記被写界深度パラメータに基づいて前記表示画像の左右図のずれを増大して更に前記３Ｄ画像の変換被写界深度を増大する。

従来の技術と異なって、本実施形態のホログラフィック表示装置の判断モジュールは追跡モジュールの追跡した眼画像に基づいて両眼の座標を確定できない時、被写界深度調節モジュールは表示される３Ｄ画像の変換被写界深度を減少して、眼がはっきりしている３Ｄ画像を観察できるようにし、ユーザーエクスペリエンスを向上させる。

前の実施形態と異なって、本実施形態の被写界深度調節モジュールが表示される３Ｄ画像の変換被写界深度を減少した後、追跡モジュールが眼画像の追跡を継続し、眼画像を追跡できた後、判断モジュールが追跡された眼画像に基づいて両眼の座標を確定し、更に、被写界深度調節モジュールが表示される３Ｄ画像の変換被写界深度を増大して、表示される３Ｄ画像を初期の表示効果に復帰させて観覧者がよりはっきりしている有効な３Ｄ画像を観覧できるようにし、ユーザーエクスペリエンスを向上させる。

別の実施形態では、本発明に係るホログラフィック表示装置の別の実施形態の構造模式図である図７を参照する。本実施形態のホログラフィック表示装置は前の実施形態における追跡モジュール７０１、制御モジュール７０２、被写界深度調節モジュール７０３を除いて、更に表示モジュール７０４を含む。

表示モジュール７０４は、制御モジュール７０２が追跡モジュール７０１の追跡した眼画像に基づいて両眼の座標を取得できない原因を確定した後、上記原因表明用の提示情報を表示するためのものである。

例えば、カメラが損壊されたので両眼の座標を確定できない場合に、その画面に「カメラが機能しなくなった」という指示メッセージを表示する。カメラが遮られたことが原因になった場合に、その画面に「カメラが物件に遮られた」という指示メッセージを表示する。現在の環境の光強度値が所定の光強度閾値範囲内でないことが原因になった場合に、「使用環境が暗い」という指示メッセージを表示する。距離又は角度に起因して眼画像に基づいて両眼の座標を取得できない場合に、「観覧距離が遠い」又は「観覧角度が適宜でない」等の指示メッセージを表示し、ここで制限を加えない。

上記の挙げられた両眼の座標を追跡できない実施例が例だけであり、制限を加えるものでなく、他の実施形態では、カメラがはっきりしている両眼の座標を取得できない場合であればいずれも本発明の特許請求の範囲内に含まれると見なし、ここで制限を加えないことを説明する必要がある。

従来の技術と異なって、本実施形態のホログラフィック表示装置の判断モジュールは追跡モジュールの追跡した眼画像に基づいて両眼の座標を確定できない時、被写界深度調節モジュールは表示される３Ｄ画像の変換被写界深度を減少して、眼がはっきりしている３Ｄ画像を観察できるようにし、ユーザーエクスペリエンスを向上させる。

前の実施形態と異なって、本実施形態のホログラフィック表示装置において、表示される３Ｄ画像の変換被写界深度を減少した後、制御モジュールが更に両眼の座標を取得できない原因を確定し、表示モジュールが上記原因を表明するための提示情報を表示し、観覧者にとって提示作用を発揮して、観覧者が提示メッセージに基づいて対応する調整を行ってよりはっきりしている有効な３Ｄ画像を観覧できるようにし、ユーザーエクスペリエンスを向上させる。

上記のものは本発明の実施形態のみであって、それによって本発明の特許請求の範囲に制限を加えるものでなく、本発明の明細書及び添付図面の内容に基づいて行われた等効果の構造変更又は等効果のフロー変更、或いは直接又は間接的なその他の関連技術分野への活用は、すべて同じ理由から本発明の特許請求の範囲に含まれるものである。

Claims (10)

1. リアルタイムで観覧者の眼を追跡して眼画像を取得するステップと、
   追跡された眼画像に基づいて両眼の座標を確定できるかどうかを判断するステップと、
   追跡された眼画像に基づいて両眼の座標を確定できない場合に、表示される３Ｄ画像の変換被写界深度を減少するステップと、を含むことを特徴とする眼追跡に基づくホログラフィック表示方法。
2. 追跡された眼画像に基づいて両眼の座標を確定できない場合に、表示される３Ｄ画像の変換被写界深度を減少するステップに続いて、
   両眼の座標を取得できない原因を追跡された眼画像に基づいて確定し、
   前記原因を表明するための提示情報を表示するステップを更に含むことを特徴とする請求項１に記載の眼追跡に基づくホログラフィック表示方法。
3. 追跡された眼画像に基づいて両眼の座標を確定できる場合に、更に、
   前記追跡された眼画像に基づいて両眼の座標を確定し、表示される３Ｄ画像の変換被写界深度を増大するステップを含むことを特徴とする請求項１又は２に記載の眼追跡に基づくホログラフィック表示方法。
4. 前記追跡された眼画像に基づいて両眼の座標を確定し、表示される３Ｄ画像の変換被写界深度を増大するステップについて、具体的に言えば、
   前記追跡された眼画像に基づいて両眼の画面に対する第１座標情報と第２座標情報を確定し、
   前記両眼の間の中心位置の前記画面の中心位置に対する第１距離を検出し、
   前記第１座標情報と第２座標情報に基づいて前記両眼の間の第２距離を得、
   前記第１距離及び前記第２距離に基づいて前記両眼の間の中心位置の前記画面に対する角度を確定し、
   前記角度に基づいて３Ｄインタリーブアルゴリズムによって被写界深度パラメータを確定し、前記被写界深度パラメータに基づいて表示画像の左右図のずれを変更し、前記３Ｄ画像の変換被写界深度を増大することを特徴とする請求項３に記載の眼追跡に基づくホログラフィック表示方法。
5. 前記の前記第１距離及び前記第２距離に基づいて前記両眼の前記画面に対する角度を確定するステップについて、具体的に言えば、
   前記第１距離、前記第２距離に基づいて
   を利用して前記両眼の間の中心位置の前記画面に対する角度を確定し、
   ただし、θは前記両眼の間の中心位置の前記画面に対する角度であり、Ｌは前記両眼の間の第２距離であり、Ｚは前記両眼の間の中心位置の前記画面の中心位置に対する第１距離であることを特徴とする請求項４に記載の眼追跡に基づくホログラフィック表示方法。
6. 追跡された眼画像に基づいて両眼の座標を確定できない場合に、表示される３Ｄ画像の変換被写界深度を減少するステップは、
   ３Ｄインタリーブアルゴリズムによって被写界深度パラメータを確定し、前記被写界深度パラメータに基づいて表示画像の左右図のずれを変更し、前記３Ｄ画像の変換被写界深度を小さくするステップを含むことを特徴とする請求項１に記載の眼追跡に基づくホログラフィック表示方法。
7. リアルタイムで観覧者の眼を追跡して眼画像を取得するための追跡モジュールと、
   追跡された眼画像に基づいて両眼の座標を確定できるかどうかを判断するための制御モジュールと、
   追跡された眼画像に基づいて両眼の座標を確定できない場合に、表示される３Ｄ画像の変換被写界深度を減少するための被写界深度調節モジュールと、を含むことを特徴とするホログラフィック表示装置。
8. 前記制御モジュールが更に両眼の座標を取得できない原因を前記追跡された眼画像に基づいて確定するためのものでもあって、
   更に、前記原因表明用の提示情報を表示するための表示モジュールを含むことを特徴とする請求項７に記載のホログラフィック表示装置。
9. 前記被写界深度調節モジュールが前記追跡モジュールの追跡した眼画像に基づいて両眼の座標を確定する時に、表示される３Ｄ画像の変換被写界深度を増大するためのものでもあることを特徴とする請求項７又は８に記載のホログラフィック表示装置。
10. 前記被写界深度調節モジュールは、具体的に言えば、３Ｄインタリーブアルゴリズムによって被写界深度パラメータを確定し、前記被写界深度パラメータに基づいて前記表示画像の左右図のずれを変更して前記表示画像の３Ｄ変換被写界深度を小さくすることを特徴とする請求項７に記載のホログラフィック表示装置。