JP2014513317A

JP2014513317A - 画像を表示するための方法およびデバイス

Info

Publication number: JP2014513317A
Application number: JP2013557142A
Authority: JP
Inventors: リエ，ヤンファン
Original assignee: アルカテル−ルーセント
Priority date: 2011-03-31
Filing date: 2012-03-23
Publication date: 2014-05-29
Also published as: US20140009391A1; WO2012130742A1; CN103384544A; KR20140000326A; EP2505223A1

Abstract

本発明は、ディスプレイ・ユニット（１２）の画像ディスプレイ（１４）上に画像を表示するための方法に関する。本発明によれば、本方法は、
画像ディスプレイ（１４）を見る少なくとも１人の人間の顔の内部の複数の基準点（１８、２０）を検出するステップであって、その検出は、ディスプレイ・ユニット（１２）に強固に結合された検出ユニット（１６）の使用によって実行される、検出するステップと、
基準点（１８、２０）に対するディスプレイ・ユニット（１２）の相対運動の少なくとも１つの運動成分を決定するステップと、
基準点（１８、２０）に対する運動成分の少なくとも部分的な補償のために運動補償された画像（３４）のデータを生成するステップと、
画像ディスプレイ（１４）上に運動補償された画像（３４）を映像化するステップと
を含む。本発明は、本方法を実行するための対応するデバイス（１０）に関する。

Description

本発明は、ディスプレイ・ユニットの画像ディスプレイ上に画像を表示するための方法に関する。本発明は、さらに、画像を表示するための画像ディスプレイを有するディスプレイ・ユニットと、ディスプレイ・ユニットに強固に結合され、画像ディスプレイを見る少なくとも１人の人間の顔の内部の複数の基準点を検出するのに適している検出ユニットと、信号接続によりディスプレイ・ユニットおよび検出ユニットに接続された処理ユニットとを備えるデバイスに関する。

最新式のラップトップ・コンピュータは、ディスプレイ・ユニットと、ディスプレイ・ユニットを見る少なくとも１人の人間の顔の内部の複数の基準点を検出するのに適しているカメラと、信号接続によりディスプレイ・ユニットおよびカメラに接続された処理ユニットとを備える。これらの種類のラップトップ・コンピュータにおいては、カメラおよびディスプレイ・ユニットは、ディスプレイ・ユニットを収容する筐体部分の中で互いに強固に結合される。ラップトップ・コンピュータのようなほとんどのモバイル・デバイスは、非モバイル・デバイスと同様に画像を表示し、これは、例えば、列車、自動車、または飛行機のような乗り物において、モバイル・アプリケーションの使用を妨げる不快感や乗り物酔いを引き起こす。

視覚情報と平衡感覚との間の不一致に焦点を合わせて、移動環境におけるディスプレイ・ユニットの使用により引き起こされる乗り物酔い、または他の不都合を軽減するためのアイデアが、すでに存在しているが、移動環境におけるユーザとディスプレイ・ユニットとの間の比較的短期間の運動を取り扱う解決法は、存在していない。

本発明の一目的は、ユーザと、移動するディスプレイ・ユニットとの間の比較的短期間の運動に起因した、移動環境におけるディスプレイ・ユニットの使用によって引き起こされる不快感を回避するための方法およびシステムを提供することである。

この目的は、独立請求項によって達成される。従属請求項は、本発明の有利な実施形態を詳しく述べるものである。

本発明による方法は、以下のステップ、すなわち、（ｉ）画像ディスプレイを見る少なくとも１人の人間の顔の内部の複数の基準点を検出するステップであって、検出は、ディスプレイ・ユニットに強固に結合された検出ユニットの使用によって実行される、検出するステップと、（ｉｉ）基準点に対するディスプレイ・ユニットの相対運動の少なくとも１つの運動成分を決定するステップと、（ｉｉｉ）基準点に対する運動成分の少なくとも部分的な補償のために運動補償された画像のデータを生成するステップと、（ｉｖ）画像ディスプレイ上に運動補償された画像を映像化するステップとを含む。

本発明の基本的アイデアは、ユーザの目の間の、または顔（単数または複数）の他の基準点の間の相対運動を感知し、また運動補償された画像はその人の目に対してわずかな運動だけを有する画像であるという印象を少なくとも１人の人間に対して与えるように、表示された画像を修正することである。

相対運動は、画像ディスプレイ上の画像を見る少なくとも１人の人間の顔の内部の基準点を検出することによって感知される。検出ユニットを使用して、この検出を実行する。基準点およびそれらの位置を検出した後に、前記運動補償された画像のデータは、生成され、これらの運動補償された画像を映像化するためのディスプレイ・ユニットに対して送信される。

相対運動は、単一の運動成分を有することもあり、またはいくつかの運動成分から構成されることもある。それらの成分は、直線運動成分、または回転、傾斜などのような回転運動成分である。運動成分の方向は、画像ディスプレイの映像化平面（スクリーン平面）に対して平行であっても、または画像ディスプレイのこの映像化平面に対して垂直であってもよい。運動成分は、画像ディスプレイのスクリーン平面に平行な平面内の方向にある運動成分であることが好ましい。

簡単な解析幾何学を適用することによる、ディスプレイ・ユニットに対する基準点の検出された運動からは、直線運動成分の正確な計算のために必要になる、ユーザの顔の映像化平面に対する距離は、知られていない。

本発明の好ましい一実施形態によれば、スクリーン平面に平行な平面の中の直線運動成分は、比例則による、感知された運動と実際の相対運動との間の調整のために成人（米国／ヨーロッパ）の平均瞳孔間距離６２ｍｍを使用することにより推定され得る。ほとんどの成人の場合に簡単な解析幾何学を適用することによる検出ユニットの位置に関しては、これは、単に１０％以下の不正確さをもたらすだけである。

本発明の別の好ましい実施形態によれば、直線運動成分は、ユーザの瞳孔間距離を使用することにより較正され得る。これは、（ｉ）ユーザによって入力されることもあり、（ｉｉ）例えばルーラーを用いた較正によってオンラインの瞳孔計におけるように算出されることもあり、または（ｉｉｉ）ユーザが、画像平面に対して規定の距離にあるディスプレイを閲覧するときに獲得される画像から算出されることもある。

本発明の好ましい実施形態によれば、運動成分、または複数の運動成分のうちの少なくとも１つは、周期的に変化する運動成分である。特に、これらの補償された周期的に変化する運動成分の最大周波数は、ディスプレイ・デバイスのリフレッシュ周波数によって与えられる第１のしきい値（上限）によって制限される。第２のしきい値（下限）は、人間の目が、不快感なしに運動に簡単に追随することができる約２Ｈｚの周波数によって与えられる。

運動補償された画像を映像化するステップは、周期的に変化する運動成分の基本的な周波数部分を少なくとも補償することが好ましい。

本発明の別の実施形態によれば、運動成分、または複数の運動成分のうちの少なくとも１つは、ディスプレイ・デバイスとユーザとの間の突然の相対的転位である。特に、補償されるべき非周期的運動についての最小運動速度は、人間の目が不快感なしに運動に簡単に追随することができる約２０ｃｍ／ｓによって与えられる。

本発明のさらに別の実施形態によれば、例えば、ディスプレイ・デバイスに対するユーザの恒久的に変化した位置による、恒久的な直線または回転運動成分に起因した画像補償は、約２ｓの時定数で軽減される。これは、画像補償制御アルゴリズムに対する不可欠な構成要素によって実現される。

本発明のさらに別の実施形態によれば、スクリーン平面に平行な平面の中の各周期的な運動成分と、非周期的な運動成分とについての線形補償は、ディスプレイ・デバイス・サイズの約１０％に制限されて、一定量の画像が、ディスプレイ・デバイス上で常に目に見えることを保証する。

本発明の好ましい実施形態によれば、画像平面に垂直な周期的または非周期的な運動が、検出された基準点の間の換算距離によって検出される。

本発明の別の好ましい実施形態によれば、画像平面に垂直な運動または少なくとも１つの運動成分は、基準点の距離変化から算出されるファクタだけ、画像をズーム・イン／アウトすることにより補償される。

本発明の別の好ましい実施形態によれば、検出ユニットは、少なくとも１つのカメラを備える。このカメラおよびディスプレイ・ユニットは、互いに強固に結合される。さらに、カメラは、ディスプレイ・ユニット上の画像を閲覧する少なくとも１人の人間の顔の基準点を検出するために調整される。これらの基準点は、特に、人間（単数または複数）の目を表す基準点である。

本発明のさらに別の好ましい実施形態によれば、顔検出のためのアルゴリズムは、顔の基準点を検出するために使用される。顔検出は、デジタル画像の中の人間の顔の位置およびサイズを決定するコンピュータ技術である。対応するアルゴリズムは、顔の特徴を検出し、他の映像化されたオブジェクトを無視する。多数のアルゴリズムは、２値パターン分類タスクとして顔検出タスクを実施する。すなわち、ある画像の所与の部分の内容は、特徴に変換され、その後、例示の顔に向けられた分類器は、画像の特定の領域が顔であるか否かを決定する。アルゴリズムは、検出ユニットまたは処理ユニットで実施される。

本発明の好ましい実施形態によれば、各運動補償された画像は、画像ディスプレイ上で映像化されるときにバックグラウンド画像部分によってフレーム化される有効な画像内容から構成される。運動補償された画像についての各有効な画像内容は、全体の目に見える画像ディスプレイ内容の面積の８０％以下の部分を使用することが好ましい。

本発明の別の実施形態によれば、運動補償された画像の有効な画像内容の部分は、ある時間にわたって積分された過去に感知された運動を考慮に入れて適応できる。適応できる部分は、垂直方向および水平方向について異なっている。

本発明のさらに別の実施形態によれば、運動補償された画像の有効な画像内容の部分の適応のための時定数が不均衡である。運動補償された画像についての有効な画像内容のサイズ比を増大させるための時定数は、散発性運動成分を含む１０分の範囲内にあるのに対して、運動補償された画像についての有効な画像内容のサイズ比を減少させるための時定数は、突然に変更された環境状態に対処する数秒の範囲内にある。

本発明のさらに別の好ましい実施形態によれば、複数の人間の基準点が検出される場合、相対運動は平均の相対運動である。

本発明は、さらに、コンピュータに上記の方法を実行するようにさせる１組の命令と、上記の方法を実行するように適合されるコンピュータ使用可能プログラム・コードを含むコンピュータ使用可能媒体を備えるコンピュータ・プログラム製品とを含む、ストレージ・デバイス、フロッピー（登録商標）・ディスク、ＣＤ、ＤＶＤ、ブルー・レイ・ディスク、ランダム・アクセス・メモリ（ＲＡＭ：ｒａｎｄｏｍａｃｃｅｓｓｍｅｍｏｒｙ）などのコンピュータ読取り可能媒体に関する。

本発明は、さらに、対応するデバイス、特に、上記方法を実行するためのデバイスについても言及している。本発明によるデバイスの処理ユニットは、検出された基準点に対するディスプレイ・ユニットの相対運動の少なくとも１つの運動成分を決定するように構成される。処理ユニットは、さらに、基準点に対する運動成分の少なくとも部分的な補償のために運動補償された画像のデータを生成するように構成される。

本発明の好ましい実施形態によれば、処理ユニットは、基準点に対する運動成分の少なくとも部分的な補償のために運動補償された画像のデータを生成するように構成される。

本発明の別の好ましい実施形態によれば、検出ユニットは、カメラを備える。本発明のさらに別の好ましい実施形態によれば、顔検出アルゴリズムは、検出ユニットまたは処理ユニットで実施される。

最後に、デバイスは、ハンドヘルド・デバイス、またはラップトップ・デバイスであることが好ましい。これらの種類のデバイスは、例えば、ラップトップ・コンピュータ、タブレット・コンピュータ、電子書籍読取装置、または任意の種類の他の移動可能デバイスである。最新式のラップトップ・コンピュータは、すでに、ディスプレイ・ユニットと、ディスプレイ・ユニットの画像ディスプレイを見る１人または複数人の人間の顔の内部の基準点を検出するのに適しているカメラと、信号接続によりディスプレイ・ユニットおよびカメラに接続された処理ユニットとを備えている。これらの種類のラップトップ・コンピュータにおいては、カメラと、ディスプレイ・ユニットとは、その筐体部分のうちの１つの中で互いに強固に結合される。

本発明の態様は、本発明の実施形態による方法と、デバイス（システム）と、コンピュータ・プログラム製品とについてのフローチャート図および／またはブロック図を参照して以下で説明される。フローチャート図および／またはブロック図の各ブロックと、フローチャート図および／またはブロック図の中のブロックの組合せとは、コンピュータ・プログラム命令によって実施され得ることが、理解されるであろう。これらのコンピュータ・プログラム命令は、汎用コンピュータ、専用コンピュータ、または他のプログラマブル・データ処理装置のプロセッサに対して提供されてマシンを作り、その結果、コンピュータまたは他のプログラマブル・データ処理装置のプロセッサによって実行される命令が、フローチャートおよび／またはブロック図の１つまたは複数のブロックの中で指定される機能／動作を実施するための手段を作り出すようにすることができる。

また、これらのコンピュータ・プログラム命令は、コンピュータ、他のプログラマブル・データ処理装置、または他のデバイスに、特定の方法で機能するように指示することができるコンピュータ読取り可能媒体に記憶され、その結果、コンピュータ読取り可能媒体に記憶される命令が、フローチャートおよび／またはブロック図の１つまたは複数のブロックにおいて指定される機能／動作を実施する命令を含む製造品を生成するようにすることができる。

コンピュータ・プログラム命令は、コンピュータ、他のプログラマブル・データ処理装置、または他のデバイス上へとロードされ、コンピュータ、他のプログラマブル装置、または他のデバイス上で一連の動作ステップが実行されるようにして、コンピュータ実装されたプロセスを生成し、その結果、コンピュータ、または他のプログラマブル装置上で実行される命令が、フローチャートおよび／またはブロック図の１つまたは複数のブロックにおいて指定される機能／動作を実施するためのプロセスを提供するようにすることができる。

本発明のこれらの態様および他の態様は、以下で説明される実施形態から明らかであり、またそれらの実施形態を参照して明らかにされるであろう。

ラップトップ・コンピュータとして形成される本発明の好ましい一実施形態によるモバイル・デバイスを示す図である。本発明の好ましい実施形態による画像を表示するための方法を示す概略図である。

図１は、画像を表示するための画像ディスプレイ（スクリーン）１４を有するディスプレイ・ユニット１２、ならびに処理ユニット（図示せず）を備えるデバイス１０を示すものである。デバイスは、画像ディスプレイ１４の前に座っており、また画像ディスプレイ１４を見ている人の顔の内部の基準点１８、２０を検出するための検出ユニット１６をさらに備える。この実施形態において、デバイスは、モバイル・デバイス、より正確には、ラップトップ・コンピュータ２２である。ラップトップ・コンピュータ２２の処理ユニットは、そのメイン・ボード（図示せず）上に位置している。信号接続は、処理ユニットをディスプレイ・ユニット１２と、検出ユニット１６とに接続している。ラップトップ・コンピュータ２２は、ヒンジによって接続された２つの主要な筐体部分２４、２６を示している。第１の筐体部分２４は、ラップトップ・コンピュータ２２の基部であり、キーボード２８とメイン・ボードとを担持している。第２の筐体部分２６は、ディスプレイ・ユニット１２と、カメラ３０である検出ユニット１６とを担持している。それゆえに、検出ユニット１６と、ディスプレイ・ユニット１２とは、互いに機械的に結合される。

図１は、さらに、ラップトップ・コンピュータ２２の前の人間の目の位置にある２つの検出された基準点１８、２０を示すものである。第１の基準点１８は、固定されているが、第２の基準点２０は、カメラ３０と、第１の基準点１８とに対して移動している。顔の対応する周期的な運動（二重矢印３２）は、画像ディスプレイ１４の映像化平面に平行な平面の中に少なくとも回転成分を有する。

システム１０の処理ユニットは、検出された基準点１８、２０に対するディスプレイ・ユニット１２の相対運動のこの少なくとも１つの運動成分を決定するように構成される。処理ユニットは、さらに、以前に提示された運動補償された画像に対して現在の運動補償された画像３４の有効な画像内容３６を移動させることにより決定された１つまたは複数の運動成分を補償する運動補償された画像のデータを生成するように構成される。

図１においては、画像ディスプレイ１４は、バックグラウンド画像部分３８によって取り囲まれた有効な画像内容３６を有する運動補償された画像３４を表示している。この実施形態においては、有効な画像内容３６は、カメラ３０の使用によって検出される基準点１８、２０のアラインメントに平行に方向づけられる。補償のためには、有効な画像内容３６が、適度な運動補償のために何も切り取ることなくシフトされ得る。これは、ウィンドウズ（登録商標）のフレームである有効な画像内容３６が補償中に消えてしまうと非常に厄介となるラップトップ・コンピュータ２２を用いて作業するために好ましい可能性がある。

代替的な一実施形態においては、有効な画像内容３６は、正確にディスプレイ１４のサイズを有する可能性があり、また補償のためにシフトするときに、該画像内容は、一方の側で切り取られるのに対して、ディスプレイの他方の側は、わずかな未使用の部分（黒）を有する。これは、小さな偏差を有する環境の中でビデオを見るために好ましい可能性がある。別の代替的な実施形態においては、画像内容３６は、画像ディスプレイ１４よりも大きい可能性さえあり、また適応できる画像内容サイズを用いてすべてのエッジで切り取られることがこの場合にも好ましい。運動補償がアクティブであるときに、画像内容３６は、表示されるべき内容のない領域を回避してシフトされ得る。これは、適度の偏差から高い偏差を有する環境の中でビデオを見るために好ましい可能性がある。

図２は、本発明の好ましい実施形態による、画像を表示するための方法を示すフローチャートを示すものである。

ブロック４０は、検出ユニット１６が、１つまたは複数の顔を検出するステップ（ステップ４０）を表している。次のステップ４２においては、基準点１８、２０が、画像ディスプレイ１４を見る少なくとも１人の人間の顔の内部で検出され、そこでは、その検出は、顔検出アルゴリズムの使用によって実行される。

次のステップ４４においては、基準点１８、２０に対するディスプレイ・ユニット１２の相対運動の少なくとも１つの運動成分が、決定される。

次のステップ４６においては、基準点１８、２０に対する運動成分の少なくとも部分的な補償のための、運動補償された画像３４のデータは、画像内容３６から生成される。

最後に、ステップ４８において、運動補償された画像３４は、画像ディスプレイ１４上に映像化される。

本発明は、図面および上記の説明の中で詳細に示され、また説明されているが、そのような説明図および説明は、例証的または例示的であり、また限定的ではないものと考えられるべきであり、本発明は、開示された実施形態だけには限定されない。

開示された実施形態であるべき他の変形形態は、本図面、本開示、および添付の特許請求の範囲の検討から、特許請求の範囲の本発明を実行する際に、当業者により理解され、また達成され得る。特許請求の範囲においては、単語「備えている／含んでいる（ｃｏｍｐｒｉｓｉｎｇ）」は、他の要素またはステップを排除するものではなく、また不定冠詞「１つの（ａ）」または「１つの（ａｎ）」は、複数のものを排除するものではない。ある種の方策が、相互に異なる従属請求項において列挙されるという単なる事実は、これらの方策の組合せが、有効に使用され得ないことを示してはいない。特許請求の範囲におけるどのような参照符号も範囲を限定するものとして解釈されるべきではない。

Claims

ディスプレイ・ユニット（１２）の画像ディスプレイ（１４）上に画像を表示するための方法であって、
前記画像ディスプレイ（１４）を見る少なくとも１人の人間の顔の内部の複数の基準点（１８、２０）を検出するステップであって、前記検出は、前記ディスプレイ・ユニット（１２）に強固に結合された検出ユニット（１６）の使用によって実行される、検出するステップと、
前記基準点（１８、２０）に対する前記ディスプレイ・ユニット（１２）の相対運動の少なくとも１つの運動成分を決定するステップと、
前記基準点（１８、２０）に対する前記運動成分の少なくとも部分的な補償のために運動補償された画像（３４）のデータを生成するステップと、
前記画像ディスプレイ（１４）上に前記運動補償された画像（３４）を映像化するステップと
を含む方法。
前記運動成分は、前記画像ディスプレイ（１４）のスクリーン平面に平行な平面内の方向における運動成分である、請求項１に記載の方法。
前記運動成分または前記運動成分のうちの少なくとも１つは、周期的に変化する運動成分である、請求項１または２に記載の方法。
前記運動補償された画像（３４）を前記映像化するステップは、前記周期的に変化する運動成分の基本的な周波数部分を少なくとも補償する、請求項３に記載の方法。
前記運動成分、または前記運動成分のうちの少なくとも１つは、ディスプレイ・デバイスとユーザとの間の突然の相対的転位である、請求項１乃至４のいずれか１項に記載の方法。
スクリーン平面に垂直な周期的または非周期的な運動は、前記検出された基準点（１８、２０）の間の換算距離によって検出される、請求項１乃至５のいずれか１項に記載の方法。
前記検出ユニット（１６）は、少なくとも１つのカメラ（３０）を備える、請求項１乃至６のいずれか１項に記載の方法。
顔検出のためのアルゴリズムは、前記顔の前記基準点（１８、２０）を検出するために使用される、請求項１乃至７のいずれか１項に記載の方法。
各運動補償された画像（３４）は、前記画像ディスプレイ（１４）上に映像化されるときに、バックグラウンド画像部分（３８）によってフレーム化される有効な画像内容（３６）から構成される、請求項１乃至８のいずれか１項に記載の方法。
前記運動補償された画像（３４）の各有効な画像内容（３６）は、全体の目に見える画像ディスプレイ内容の面積のうちの８０％以下の部分を使用する、請求項９に記載の方法。
複数の人間についての前記基準点（１８、２０）が検出される場合、前記相対運動は、平均の相対運動である、請求項１乃至１０のいずれか１項に記載の方法。
請求項１乃至１１のいずれか１項に記載の方法を実行するように適合されるコンピュータ使用可能プログラム・コードを含むコンピュータ使用可能媒体を備えるコンピュータ・プログラム製品。
画像を表示するための画像ディスプレイ（１４）を有するディスプレイ・ユニット（１２）と、
前記ディスプレイ・ユニット（１２）に強固に結合され、前記画像ディスプレイ（１４）を見る少なくとも１人の人間の顔の内部の複数の基準点（１８、２０）を検出するために適している検出ユニット（１６）と、
信号接続により前記ディスプレイ・ユニット（１２）および前記検出ユニット（１６）に接続された処理ユニットと
を備えるデバイス（１０）、特に請求項１乃至１１のいずれか１項に記載の方法を実行するためのデバイス（１０）において、
前記処理ユニットは、前記検出された基準点（１８、２０）に対する前記ディスプレイ・ユニット（１２）の相対運動の少なくとも１つの運動成分を決定するように、また前記基準点（１８、２０）に対する前記運動成分の少なくとも部分的な補償のために運動補償された画像（３４）のデータを生成するように、構成されていることを特徴とする、デバイス（１０）。
前記処理ユニットは、前記基準点（１８、２０）に対する前記運動成分の少なくとも部分的な補償のために運動補償された画像（３４）のデータを生成するように構成されている、請求項１３に記載のデバイス。
前記デバイスは、ハンドヘルド・デバイスまたはラップトップ・デバイス（２２）である、請求項１３または１４に記載のデバイス。