JP2014520469A - ディスプレイ光のシーン照明を使用して反射物体を高信頼度で検出するための方法及びシステム - Google Patents

Abstract

少なくとも１人の視聴者の動作又は姿勢に特に基づいて制御信号を生成するための方法は、周辺光及びディスプレイ装置により生成される光によって照らされるシーンの複数の画像を検出するステップであって、複数の画像の各々が、実質的に一定量の周辺光、及びディスプレイ装置によって生成される所定量の光を含み、所定量の光が、複数の画像の少なくとも２つの連続する画像間で変化する、ステップと、ディスプレイ装置で生成される光の既知の特徴を使用することにより、ディスプレイ装置で生成される光を周辺光と区別して、照らされるシーンの一部のみを抽出するステップと、抽出された一部に応じて制御信号を生成するステップとを含む。
【選択図】図２

Description

本発明は、ユーザインターフェイス、画像センサ、映像処理、画像分析、ディスプレイ技術、及びディスプレイバックライト制御の分野に適用する。

リモートコントローラのボタンは通常、コマンドをテレビ又はセットトップボックスに送信して、映像及び音声の調整、チャンネルの変更などを行なうために使用される。より自然で高品質なユーザ制御は、ユーザと、装置制御のために使用される特定の物体の姿勢とを検出する（例えば、ユーザが立体三次元データ視聴用に使用されるメガネをかけて、立体三次元データを表示することができるディスプレイで二次元と三次元のモードを自動的に切り替える場合に検出する）ために他のセンサ（例えば、カメラ）を使用して達成されうる。

カメラを使用するロバストで信頼性の高いユーザ／物体検出は、多くの場合、困難である。主な理由は、標準的なリビングルームなど、非常に変わりやすい環境において関心対象の物体を検出するために必要とされる複雑なアルゴリズムにある。さらに、表示環境において予想されうる非常に変化しやすい光の条件が、さらに検出を一層困難なものにしている。

上記で説明される制限を克服するために、一解決策が提案される。ディスプレイは光源である。一実施形態において、ディスプレイ光（より具体的には、ディスプレイバックライト）、及びディスプレイから生じる光の量に関する情報は、ディスプレイで生成される光を他の不明の（周辺の）光源と区別することによって、カメラベースの物体検出システムのパフォーマンスを高めるために使用される。

一実施形態において、例えば輝度、又は波長などの他の特性など、ディスプレイ光の特性に時間変調が導入される。好ましい一実施形態において、人間の目に不可視の光の時間変調が使用される。時間変調は、カメラ（光センサ）信号で検出され、ディスプレイ光に対応する信号の部分のみを抽出するために使用される。このようにして、周辺光源の影響が除去される。次いで、この「復調された」信号（画像）は、さらに、ユーザ及び／又は物体並びにそれらの姿勢を検出するために分析されて、１つ又は複数の装置を制御する。近接した反射物体は、放射されたディスプレイ光の強い反射をもたらし、変調されたディスプレイ光をさほど強くは反射しない背景から区別されるので、検出することがより容易になる。

ユーザ認識ディスプレイのシステム全体の例示的な実施形態を示す図である。 基本原理を示す図である。 基本処理ブロック及びデータフローの例を示す図である。 ２つの画像を減算することによる復調の例を示す図である。 周辺光及びディスプレイ光の時系列変化を示す図である。 基準露出の時系列変化、及び平均表示画像レベルに対する露出差の時系列変化を示す図である。 同上 ロールシャッタカメラによって取り込まれた複数の画像を結合することによる復調を例示する図である。 復調画像と検出された結合領域とを示す図である。 バックライトカラムのブラック期間の挿入方法を示す図である。 同上

図１は、ユーザ認識ディスプレイのシステム全体の例示的な実施形態を示している。ユーザは、ディスプレイを観る。光センサ（例えば、カメラ）データは、シーンを分析するために使用される。シーン内の光の一部は、ディスプレイ自体から生じる。カメラデータは、ユーザを検出するため、さらに立体三次元を視聴可能にするメガネ、又はカメラを使用する制御に使用されるリモートコントローラ若しくは特殊装置など、一部の他の関連する物体を検出するために使用されることもありうる。検出される必要のある物体は、正確な検出を助けるために特殊な反射素材の部分を有することも、又は例えば手のジェスチャ制御のために、近接していることもありうる。

図２は、基本原理を示している。光変調は、ディスプレイによって（例えば、ディスプレイバックライトを制御することによって）導入される。人間の目に不可視の高周波光変調が使用されることが好ましい。カメラは、光によって照らされる画像を取り込む。複数のカメラ画像が使用され組み合わされて、ディスプレイで生成される光を他の（周辺の）光源と区別する。

図３は、基本処理ブロック及びデータフローの例を示している。複数のカメラ画像が使用され組み合わされて、復調ブロックにおいて、ディスプレイで生成される光を他の（周辺の）光源と区別する。結果として得られるのは、ディスプレイで生成される光に対応する画像（信号）であり、ここで不明の周辺光の影響は除去される。シーン分析エンジンは、復調されたデータを分析し、ユーザ及び／又は他の物体を検出する。ユーザ及び／又は物体に関する抽出された情報は、テレビ（又はセットトップボックス）を制御するために使用されうる。（ディスプレイ制御ユニットにおいて使用可能な）ディスプレイから外に生じる光に関する情報は、復調を制御するために使用される。光センサは、さらに、例えばそのデータ取込み時間をディスプレイ照明と同期するために制御されてもよい。シーン分析エンジンはまた、表示されるコンテンツに依存する、生成されるディスプレイ光に関する情報を使用することもでき、例えば、したがって、シーン分析エンジンは、検出が困難となり得るほどに光の量が少ない期間を認識できるようになる。

図４は、２つの画像を減算することによる復調の例を示している。２つの画像はディスプレイに表示され、カメラは、図１と同様のディスプレイの上部にある。表示される画像の一方はより暗く、他方の画像はより明るい。その結果、ディスプレイから生じる光の量は変化しており、カメラによって取り込まれる。２つのシーン内の近接物体（例えば、ユーザ）及び高反射物体（上の列のメガネ及び下の列のユーザの手の中の物体）は、取り込まれた２つの画像の差を示す右側の画像で明確に視認できる。ディスプレイ光の色及び物体反射率特性に関する情報は、関心対象の特定の物体に対する検出をさらに高めるために、シーン分析エンジンによって使用されてもよい。

時間変調光の抽出
時間変調光信号を抽出するための基本原理及び例示的な方法が最初に説明される。他のタイプの変調が可能であるが、実際面では方形パルスが最も一般的であるため、本明細書においてはこれに重点を置く。

Ｉは、シーン内の物体に対応する特定のピクセルにおいてカメラ（又は他の光センサ）によって観測される光の量を示すものとする。反射光の一部は、周辺光源Ｉ_{ａｍｂｉｅｎｔ}から生じ、別の一部は、反射ディスプレイ光Ｉ_{ｄｉｓｐｌａｙ}であり、観測される合計量は以下のとおりとなる。
Ｉ＝Ｉ_{ａｍｂｉｅｎｔ}＋Ｉ_{ｄｉｓｐｌａｙ} （１）

さまざまな光源がどのように反射されるかの例は、図２に提示される。ディスプレイから生じる光の量が変化している場合、物体から反射されるディスプレイ光Ｉ_{ｄｉｓｐｌａｙ}もまた同期的に変化することになり、図４及び図５（ａ）の例を参照されたい。周辺光は一定であると仮定され、物体は静止しているものと仮定される。したがって、周辺光Ｉ_{ａｍｂｉｅｎｔ}に対応する部分は一定である。

低照度で物体の視認性を高めるため、物体の一部は特殊な反射素材でできていてもよい。ディスプレイから十分な光が生じる場合、そのような物体はカメラによっても低照度で見ることができる。高反射物体及び近接物体は、Ｉ_{ｄｉｓｐｌａｙ}の大きな変化を示すので、このようにして他の物体と区別されてもよい。図４を参照すると、２つの時間インスタンスにおいて取り込まれた画像の差が、変化するディスプレイ光の効果を抽出するために使用される実施態様を示している。

ディスプレイから生じる光の量は、提示される映像素材の変動により変化する。人間の目に不可視の特殊な高周波時間光変調を、表示される画像に導入することも可能である。このようにして既知の光変調は常に、映像素材とは無関係に存在する（光がディスプレイから生じないときの映像が完全にブラックである場合を除く）。変調は、表示される映像素材、表示されるグラフィックス、ディスプレイバックライトにおいて、又は追加の光源を使用することによって導入されてもよい。

ライトの「点滅」による感度の増大
光センサは、周辺光Ｉ_{ａｍｂｉｅｎｔ}に対して測定可能な最小の反射ディスプレイ光Ｉ_{ｄｉｓｐｌａｙ}を決定する特定のダイナミックレンジを有する。低照度の条件において、式（１）におけるディスプレイ光Ｉ_{ｄｉｓｐｌａｙ}の影響は大きい。多量の周辺光がある場合、Ｉ_{ａｍｂｉｅｎｔ}は式（１）の主要な部分となり、画像を取り込むために使用される精度が限られているために、Ｉ_{ｄｉｓｐｌａｙ}の変化を測定することは困難となることもある。周辺光が持続的であると仮定すると、ディスプレイで生成される光の周辺光に対する比率は、以下のように増大しうる。持続的な放射光の代わりに、ディスプレイ光は、より高い振幅のより短い光パルスで放射される。そのようなシステムの現実的な具体化は、ディスプレイバックライトの「点滅」によるものであり、ディスプレイバックライトは、平均輝度レベルが保たれるより高い振幅の短パルス中に光を放射するように制御される。したがって、「点滅」は、ディスプレイバックライトを「点滅」させることにより実現されることがさらに仮定されるが、他の可能な実施態様は除外されない。図５（ｂ）は、ディスプレイが常時光を放射している図５（ａ）に提示される状況に関して、Ｉ_{ｄｉｓｐｌａｙ}／Ｉ_{ａｍｂｉｅｎｔ}比を増大させるために、より短い光パルスがどのように使用されうるかを示す。図５（ｂ）における２５％のバックライト負荷サイクルにより、光パルス中の比Ｉ_{ｄｉｓｐｌａｙ}／Ｉ_{ａｍｂｉｅｎｔ}は、図５（ａ）の場合に比べて４倍大きくなる。カメラ（光センサ）の露出は、光パルスの時間間隔に制限されるべきである。より長いカメラの露出は、カメラが光を取り込むので、Ｉ_{ｄｉｓｐｌａｙ}／Ｉ_{ａｍｂｉｅｎｔ}比の向上を減じることになる。

周辺光の影響を除去するための点滅光及び基準露出の使用
ディスプレイから光が生じない場合の基準露出は、Ｉ_{ａｍｂｉｅｎｔ}を測定するために使用されてもよく、周辺光レベルは、式（１）においてこの基準露出を減算することにより除去されてもよい。このようにして、Ｉ_{ｄｉｓｐｌａｙ}は測定Ｉから抽出される。点滅光を使用する場合、基準露出の測定は光パルス間で実行されてもよい。図６（ｂ）は、パルス変調及び光パルス間の基準露出の使用を示す。カメラは、光パルス中及びパルス間にも測定している。パルス間のカメラ測定は、基準周辺光測定として使用される。

多くの光源についてディスプレイによってさらに多くの光が生成されうるので、ディスプレイバックライトのより長い負荷サイクルは実際面で好ましい。図６（ａ）及び図６（ｂ）において、負荷サイクル（期間Ａ１）は、フレーム周期（期間Ａ１＋Ａ２）の５０％であると仮定される。バックライトのより長い負荷サイクルを可能にするため、基準露出期間が短縮されるべきである。ディスプレイ光がオンである期間中、測定に対して同じ露出期間が使用されるべきである。図７は、負荷サイクルが７５％である場合の例を示す。

ライトがオン及びオフの場合の露出期間が同じではない場合、測定されるレベルは、期間の逆比により修正される必要がある。例えば、時間Ａ２がわずか２５％、Ａ１が７５％である場合、測定される基準露出は、Ａ１／Ａ２＝３で乗算されるべきである。このようにして、２つの期間Ｉ_{ａｍｂｉｅｎｔ}＊Ａ１及びＩ_{ａｍｂｉｅｎｔ}＊Ａ２に対応する領域は同一にされる。

ディスプレイ上の画像により生じる変動の低減
より明るい画像が表示される場合、測定されるＩ_{ｄｉｓｐｌａｙ}は、より暗い画像がディスプレイ上にある場合に比べて大きくなる。例えばジェスチャ制御及び人々の検出など、さらなる処理には、Ｉ_{ｄｉｓｐｌａｙ}の変動を低減することが必要となることもある。これは、表示される画像が認識されているので可能である。

図６（ｃ）は、ディスプレイ上の画像によって生じた変動の補正を示す。図６（ｂ）において、周辺光レベルは除去され、２つの期間Ｉ_{ｄｉａｐｌａｙ}（Ａ）及びＩ_{ｄｉｓｐｌａｙ}（Ｂ）の抽出されたディスプレイ光反射は、ディスプレイ上の画像に依存する。変調は、Ｉ_{ｄｉｓｐｌａｙ}を表示される画像の空間平均輝度で除算することにより補正される。

より大きい距離の照明及びセンサダイナミックレンジ
通常、ディスプレイから生じる光の量は限られているので、遠く離れた物体及び反射率の低い物体へのディスプレイの影響を確実に測定することは困難である。ディスプレイに近接したユーザを検出するために、背景とユーザを区別することが実際に役立つ。

しかし、他の応用では、より遠く距離を隔てたディスプレイ照明を測定することが要件となりうる。上記で説明されるように、光センサの感度が高められるべきであり、信号対ノイズ比が増大されてもよい。別の問題は、センサのアナログデジタル変換（ＡＤＣ）が通常は限られたダイナミックレンジを有することである。シーンが静的であると仮定される場合、ダイナミックレンジを拡大するために複数の測定（露出）が使用されてもよい。

光センサの限られたダイナミックレンジを扱うための別の手法は、関心対象である信号のレンジに重点を置くことである。例えば、手のジェスチャのインターフェイスを作成する場合、人間の皮膚を検出することが重要である。センサの感度は、人間の皮膚で反射されるディスプレイ光変調がセンサのダイナミックレンジを超えないような方法で、設定されてもよい。他のより明るい物体の場合、これは露出過度を生じる可能性があるが、それは検出にとって重要ではない。

皮膚反射のレンジは、皮膚色の領域を検出するための一部の手順を使用することによって初期化されて適合されてもよい。例えば、顔検出器が使用されてもよい。顔は検出され、検出された顔領域のピクセル情報及び現在のカメラ設定に基づいて、皮膚に対応するダイナミックレンジが推定されてもよい。
同期化

通常、人間の目に不可視の高周波光変調が使用される。しかし、光センサは、同じ高周波で測定する必要はなく、一部のフレームをスキップすることにより、より低周波で動作することもできる。例えば図６において、光センサは、期間Ａ１中に測定を行ない、次いでＢ２期間中に第１の基準周辺光測定を行なうことができる。

変調信号の最大振幅を測定することができるように、図６を参照すると、光センサは、何らかの方法でディスプレイ光照明と同期される必要がある。これは、例えば一部のトリガ信号を使用して光センサと光源を同期することにより行なわれてもよい。別の方法は、適応同期化であって、例えば位相ロックループ（ＰＬＬ：ｐｈａｓｅ ｌｏｃｋ ｌｏｏｐ）の手法など、測定された信号を分析する一部の自動手順が使用される。

ロールシャッタカメラの実施態様
光センサとしてのロールシャッタカメラは、低コストなカメラであるため、重要なユースケースである。そのようなシステムにおいて、各画像ラインは、ラインがリセットされて露出され、順次読み出されるので、異なる期間にわたり統合される。画像ラインを順次読み出した結果、ディスプレイ光変調の遷移にわたり統合されて、それにより、変調信号の最大振幅を測定しない画像ラインが得られる。露出期間がさらに長い場合、さらに多くの画像ラインが影響を受けることになる。ディスプレイ光変調の遷移にわたり統合されるラインもまた、使用されてもよいが、これらはさらに悪い信号対ノイズ比を有することになる。解決策は、取り込まれた複数のカメラ画像を組み合わせて、適切な時間インスタンスにおいて取り込まれた画像ラインを、各ラインごとに変調信号の最大振幅を測定することができるように選択することである。複数の画像の後にすべての画像ラインが最大及び最小振幅を確実に得るようにするため、カメラの周波数とディスプレイ光変調の周波数とが異なる必要がある。

図８は、ロールシャッタカメラによって取り込まれた複数の画像を組み合わせることによる復調を例示している。ディスプレイバックライトは、９０Ｈｚで方形パルスを放射しており、カメラは、２０％の露出時間で１２０Ｈｚで取り込んでいた。取り込まれた４つの画像が示される。ディスプレイバックライトがオンのときにどの画像ラインが取り込まれるか（より明るいもの）、及びライトがオフのときにどの画像ラインが取り込まれるか（より暗いもの）を示すために、画像の左側に視認できる白い物体がカメラに近接して存在した。統合時間により、遷移は平滑である。取り込まれた４つの画像を使用すると、比較されるべき適正なラインを選択することによって、変調信号の最大振幅を測定することが可能である。矢印は、最大振幅を得るために、どの画像のどのラインが使用されるかを大まかに示す。復調されたディスプレイ光反射のみを示す結果の画像が、右側に示される。すべてのラインが最大振幅で復調されることが観察されうる。

デュアルモード操作
実際には、ディスプレイバックライトを、例えば８０％など、大部分をオンにして、ディスプレイから生じる光の量を最大化することが好ましい。変調の導入には、ディスプレイから生じる光の量を低減することができる暗い期間が必要となる。短い暗い期間が使用される場合、システムは、復調画像を生成するためにさらに多くの画像とさらに長い時間を必要とする。例えばバックライト減光アプリケーションにおけるような、短い明るい期間についても同様である。その結果、移動する物体の検出は、さらに困難になる。さらに、ユーザ動作の検出は、さらに遅くなる。２０％〜８０％の間の負荷サイクルは、減光アプリケーションの典型的な有効範囲である。

デュアルモード操作は、一解決策として使用されうる。
ユーザ検出待機モード（映像モード）：ユーザがユーザインターフェイスを使用していないが、例えば映像を視聴しているような場合。
画像品質を最大化するために短い暗い期間が使用される。例えば、８０％の負荷サイクルの点滅バックライト。その結果、多くの画像が復調に使用されて、ユーザ検出はより遅くなるが、システムにとっては、ユーザが対話モードに切り替えようと望むことを検出する必要があるだけである。
代替策は、負荷サイクルを増加させることではなく、ライトがオフにされることがない高レベルと低レベル間の光レベル変調を生成することである。その結果、変調ディスプレイ光の振幅は、より小さくなり、検出することがさらに困難になる。
対話モード（ディスプレイメニューモード）：対話モードに切り替えられる場合、ユーザがディスプレイを制御して一部の選択を行なおうと望むことが仮定されるので、画面の完全な明るさはさほど重要ではない。ユーザ検出の反応速度を高めるためにより長い暗い期間が使用される。その結果、画面の明るさは低下する可能性があるが、このことはまた、ディスプレイが対話モード（ディスプレイメニューモード）にあることの自然な表示としての役割を果たしうる。

バックライトを走査する実施態様
原理は、走査バックライトによりディスプレイに適用されてもよい。通常の減光アプリケーションにおいて、セグメントは、映像リフレッシュレートに固定された走査順序でカラムごとにリフレッシュされる。すべての映像フレームは、異なる光レベルを保つことができる。さらに短い暗い期間は、数ミリ秒間に同時にすべてのカラムをオフに切り替えることにより導入されてもよい。図１１の例を参照されたい。実際の解決策において、通常、光レベルは、図１１（ｃ）に示されるように、例えば６００Ｈｚのより高い周波数でＰＷＭ（ｐｕｌｓｅ ｗｉｄｔｈ ｍｏｄｕｌａｔｉｏｎ：パルス幅変調）信号により制御される。

別のディスプレイバックライト走査技術は、順次クロストークの低減及び動き描写の向上のために使用される。この場合、ＰＷＭ信号の負荷サイクルはすでに低く（例えば、５０％）、周波数は映像の周波数（例えば、６０Ｈｚ）と等しくこれに固定されている（図１０ａ参照）。この実施形態において、「ライトオン」期間は、すべてのバックライトカラムのブラック期間を挿入するために適切な時期に分割及び／又はシフトされる。図１０（ｂ）及び図１０（ｃ）に例が示される。理想的な走査が中断されるので、これは画像品質に何らかの結果をもたらした可能性がある。この実施形態はまた、減光を使用するシステムと組み合わされてもよい。

フレーム順次三次元テレビの実施態様
点滅光変調とフレーム順次三次元システムの組合せは、左目及び右目の画像を切り替えて２つの画像間のクロストークを低減する場合に通常すでに暗い期間を有しているので、多くの場合有利である。次いで、これらの暗い期間が使用されてもよい。三次元技術に応じて、暗い期間はさらに長くされる必要がある。類似する組合せは、暗い期間が、順次表示されるさまざまな画像間のクロストークを低減するために通常導入される（例えば、一部のカラー順次の実施態様など）他の順次技法に使用されてもよい。

さらなる実施態様の所見
図４に示される単純な実施態様の場合、仮定は、物体が静止していることである。測定が高周波数で行なわれる場合、取り込まれるフレーム間の移動は小さいことになる。より低い測定周波数の場合、移動する物体は最初に追跡されて、ディスプレイ光の変化に起因する外観の変化があるかどうか検査される前に位置を調整される。

図２及び図６で説明される実施形態において、基準露出（図６のＡ２及びＢ２）間の差は、移動に起因する変化を検出するために使用されてもよい。これらのフレームの変化する領域は、動きに対応するので、分析から除外されてもよい。別の方法は、基準露出（Ａ２及びＢ２）を物体追跡及び動作ベースの補正に使用することである。

例えば色又は偏光など、放射光の他の特性が変化している場合、同じ原理を適用することが可能である。さらに、赤外線（ＩＲ）光は、ＩＲ高感度カメラとの組合せで、ユーザが視認できない照明をもたらす別の方法である。本明細書において説明される技法は、そのようなシステムにも適用されてもよい。

シーン及びユーザ分析エンジン
本発明の提案される光変調／復調の方法は、既知のディスプレイ光に対応する信号の一部のみを抽出するために使用され、このようにして不明の周辺光の影響に対してロバストである。近接した反射物体は、放射されるディスプレイ光の強い反射をもたらすので、結果として得られる画像で強く視認されることになる。本明細書において使用される、「ｃｌｏｓｅ−ｂｙ（近接した）」という用語は、例えば２〜３メートルなど、ゼロ乃至数メートルの範囲内の物体を含むことが意図される。さまざまな反射物体を区別するため、及び／又はそれらの姿勢及び他の特性を抽出するため、さらなる処理が必要とされる。

復調画像に基づく本発明のシステム及び方法は、不明の周辺光の影響を除去せずに直接カメラ画像に作用するシステムに比べて、よりロバストであり、はるかに計算コストが低いことが期待される。

本発明の光変調システムに基づくさまざまな応用が実現されうる。これ以降、そのようないくつかの応用についてさらなる詳細が示される。

手検出ユーザインターフェイス
ユーザ及びユーザの手を検出することは、ユーザインターフェイスを実現するために非常に重要である。手は通常、多くの光を反射しているので、たとえわずかな量の光がディスプレイによって放射されている場合であっても、ディスプレイに近接した手を検出することが可能になる。

このようにして、タッチスクリーンの「タッチフリー」による代替が、通常のディスプレイとの組合せで通常のカメラを使用して実現されてもよい。そのようなシステムは、テレビセットの基本制御ボタン（オン／オフボタンを除く）を完全に代替するために使用されてもよく、コスト削減につながる可能性がある。

ユーザの手検出のための処理実施態様の例が、さらに詳細に説明される
第１。ディスプレイ光は近接物体のみを照らし、そのため最初に、遠く離れた背景に属するピクセルを除去するために閾値が適用される。通常は、この単純な手順で十分である。加えて、例えば、シーンの長期時間平均画像など、背景の静的物体を除去するために、背景のモデルを作成することが可能である。結果として得られるのは、画像ピクセルが、前景ピクセル及び背景ピクセルとしてラベル付けされるセグメント化である。

第２。さらなる画像セグメント化が、前景ピクセルとしてラベル付けされるピクセルのみを考慮して実行される。結合領域が検出され、小さい結合領域は除去される。結合領域は、相互に結合される前景ピクセルのグループであり、ここで相互に結合されるとは、隣接するピクセルのうちの少なくとも１つがやはり、前景としてラベル付けされることを意味する。小さい結合領域は、物体が有すると予想されるピクセルよりも少ないピクセルを備える領域である。例えば、特定のカメラに対して３メートルの最大距離にある最小サイズの人間の手が計算されてもよく、このピクセルの数は、より少ないピクセルを備えるすべての領域を除去するために使用されてもよい。必要に応じて、各結合領域は、Ｄ．Ｃｏｍａｎｉｃｕ、Ｐ．Ｍｅｅｒ著「Ｍｅａｎ ｓｈｉｆｔ：Ａ ｒｏｂｕｓｔ ａｐｐｒｏａｃｈ ｔｏｗａｒｄ ｆｅａｔｕｒｅ ｓｐａｃｅ ａｎａｌｙｓｉｓ」、ＩＥＥＥ Ｔｒａｎｓ． Ｐａｔｔｅｒｎ Ａｎａｌ． Ｍａｃｈｉｎｅ Ｉｎ−ｔｅｌｌ．、２００２年５月に定義されている「Ｍｅａｎ Ｓｈｉｆｔ（平均値シフト）」［２］などの一部のセグメント化アルゴリズムを使用して、さらに分割されてもよい。復調画像の例、及びセグメント化の結果が図９に示される。右の画像に提示される２つの結合領域は検出され、さまざまなグレー値は領域の各々に属するピクセルをマークするために使用される。

第３。検出された結合セグメントの輪郭が抽出される。次いで、セグメントの輪郭は、さまざまな形状を区別するために使用されうる特徴のセットによって記述される。好ましい一実施形態において、開示が参照により本明細書に組み入れられるＭ．Ｋ．Ｈｕ、「Ｖｉｓｕａｌ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ ｂｙ Ｍｏｍｅｎｔ Ｉｎｖａｒｉａｎｔｓ」、ＩＲＥ Ｔｒａｎｓ．Ｉｎｆｏ．Ｔｈｅｏｒｙ、ＩＴ−８巻、１７９〜１８７頁、１９６２、及びＷｕ、Ｍ．−Ｆ．に説明されているような、Ｈｕモーメント［１］が使用された。

第４。抽出された特徴は、固有の形状を検出するために検出器に渡される。例えば、反射マーカの固有の形状が検出されてもよい。ユーザの手が検出される必要がある場合、例えば開いた手の形状、指し示す手の形状、及び閉じた手の形状用の検出器が使用されてもよい。

第５。ユーザ検出器の出力はまた、時間的にフィルタリングされる。一定期間安定した状態を保つ検出は、真の検出であると見なされる。ユーザの手及び手の形状が検出される場合、この情報は、一部のタッチフリーユーザインターフェイスを設計するために使用されてもよい。三次元視聴メガネに対応する特殊マーカが検出される場合、これはディスプレイの二次元又は三次元の表示モードを自動的に選択するために使用されてもよい。

前述の形状検出器は、統計的パターン認識分類器関数を使用して構築されてもよい。分類器関数は、統計的パターン認識技法ＡｄａＢｏｏｓｔを使用して自動的に構築される。統計的パターン認識技法は、１つは（例えば開いた手など）検出される必要のある形状の例を含むデータセット、及びもう１つはランダム形状を含むデータセットという、２つの大規模な画像のセットから自動的に関数を構築する。

さらに、カメラに加えて、検出及び追跡を向上させるために他のセンサが使用されてもよい。

三次元メガネの検出
ディスプレイの二次元及び三次元のモードを自動的に切り替えるための三次元視聴メガネを検出することは、別の応用である。検出は、メガネが高い光反射率の素材でできている場合、光の条件に対してロバストになされてもよい。図４の例は、高い反射率の物体が、復調画像で明確に視認されることができ、場合によっては容易に検出されることを示す。

光変調のグラフィックス
ディスプレイバックライトを使用する代わりに、光変調は、提示されたグラフィックにより直接導入されてもよい。現在、多くのディスプレイは、グラフィックスの高速更新（例えば２４０Ｈｚ画面）を可能にし、これはまた提示されたグラフィックスに変調を直接含めることができるようにする。そのようなシステムの利点は、バックライトの特殊な制御の必要がないことである。

別の利点は、画面の一部のみでグラフィックスを変調することにより、画面の一部の「局所的な光変調」を、たとえディスプレイバックライトがこれを直接サポートしていない場合であっても、生成することが可能となることである。画面の一部だけから光を変調することは、さまざまな目的を有することができる。例えば、「メニューオブジェクト」のみが変調光を生成する場合、人間の手又は指が物体に近づいたときに限り手や指を照らすことになり、このようにして検出をさらにロバストなものにする。

局所的なディスプレイ照明を使用する三次元深度再構築
開示が参照により本明細書に組み込まれる、Ｅ．Ｐｒａｄｏｓ，Ｏ．Ｆａｕｇｅｒａｓ、Ｓｈａｐｅ Ｆｒｏｍ Ｓｈａｄｉｎｇ：ａ ｗｅｌｌ−ｐｏｓｅｄ ｐｒｏｂｌｅｍ？、ＩＥＥＥ ｃｏｎｆｅｒｅｎｃｅ ＣＶＰＲ、２００５、及びＣ．Ｈｅｒｎａｎｄｅｚ、Ｇ．Ｖｏｇｉａｔｚｉｓ、Ｇ．Ｊ．Ｂｒｏｓｔｏｗ、Ｂ．Ｓｔｅｎｇｅｒ、Ｒ．Ｃｉｐｏｌｌａ、Ｎｏｎ−ｒｉｇｉｄ Ｐｈｏｔｏｍｅｔｒｉｃ Ｓｔｅｒｅｏ ｗｉｔｈ Ｃｏｌｏｒｅｄ Ｌｉｇｈｔｓ、２００７、［３］、［４］において説明されているような、照度差ステレオ（ｐｈｏｔｏｍｅｔｒｉｃ ｓｔｅｒｅｏ）は、既知の光が物体からいかに反射されるかを分析して、導入される影を分析することにより三次元構造体が再構築される技法である。三次元再構築の場合、通常、さまざまな方向からの既知の光源によって照らされる物体の複数の画像が必要とされる。類似する処理原理を使用する三次元再構築は、（上記で説明されるディスプレイバックライト又はグラフィックスにより）局所的なディスプレイ光照明を使用して、さまざまな方向からの既知の光源によって照らされる物体の画像のセットを生成することで実現されてもよい。バックライトを走査することは、ディスプレイ光がさまざまな時間に画面のさまざまな部分から放射される事例である。

そのようなシステムの例示の実施態様は、好ましい一実施形態において以下の事項を実行する。
ディスプレイの一角の一部の小さい領域から変調された光を生成して、復調する。
すべての４つの角について、この操作を繰り返す。代替として、ディスプレイの角ごとに異なる変調／復調が使用される場合（さまざまな周波数若しくは位相、又はさまざまな光の色）、これは同時に行なわれてもよい。
その結果得られるのは、４つの異なる既知の光源から照らされた物体の４つの画像である。
［３］、［４］などの一部の処理技法を適用して、ディスプレイによって照らされる物体の三次元構造体を推定する。

代替の実施態様もまた、本開示の範囲内に含まれてもよい。それらの代替の実施態様において、機能は、関与する機能に応じて、実質的に同時又は逆の順序を含む、示されるか又は説明された順序とは異なる順序で実行されてもよい。前述の説明は、例示及び説明の目的で提示されてきた。説明は、包括的であること、又は本開示を開示される厳密な形態に限定することを意図していない。上記の教示を踏まえて、明白な変更又は変形が可能である。しかし、説明される実施態様は、本開示の原理及びその実際の適用を示すために選択され説明されたものであり、これにより当業者が、さまざまな実施態様において、検討される特定の用途に適するようにさまざまな変更を加えて本開示を使用できるようにするものである。すべてのそのような変更形態及び変形形態は、適正であり法的に権利を有する幅に従って解釈される場合、添付の特許請求の範囲により決定される本開示の範囲に含まれる。

Claims (15)

1. 少なくとも１人の視聴者の動作又は姿勢に特に基づいて制御信号を生成するための方法であって、
   周辺光及びディスプレイ装置により生成される光によって照らされるシーンの複数の画像を検出するステップであり、前記複数の画像の各々が、実質的に一定量の周辺光、及び前記ディスプレイ装置によって生成される所定量の光を含み、前記所定量の光が、前記複数の画像の少なくとも２つの連続する画像間で変化する、ステップと、
   前記ディスプレイ装置で生成される光の既知の特徴を使用することにより、前記ディスプレイ装置で生成される光を前記周辺光と区別して、照らされる前記シーンの一部のみを抽出するステップと、
   抽出された前記一部に応じて制御信号を生成するステップと
   を含む方法。
2. 複数の画像を検出する前記ステップが、
   前記ディスプレイ装置により生成される第１の光を使用して、近接物体を照らすサブステップと、
   第１の画像、すなわち照らされる前記近接物体と背景物体とを含むシーンの一部を取り込むサブステップと、
   前記ディスプレイ装置により生成される第２の光を使用して、近接物体を照らすサブステップと、
   第２の画像、すなわち照らされる前記近接物体と背景物体とを含むシーンの一部を取り込むサブステップと
   を含む、請求項１に記載の方法。
3. 照らすサブステップが、以下、すなわち、
   表示される映像素材、
   表示される画像、
   表示されるグラフィックス、
   前記ディスプレイ装置のバックライトユニットにより生成されるバックライト、
   追加の光源、
   放射するディスプレイ装置上の点滅するコンテンツ
   のうちの少なくとも１つの明るさを所定の期間にわたって変更することを含む、請求項２に記載の方法。
4. 照らすサブステップが、以下、すなわち、
   映像素材中にすでに存在する変化によるディスプレイ光変調、
   「点滅光」により感度を増大させることによるディスプレイ光変調、
   前記映像素材中の前記変化とは無関係となる基準測定を含むことによるディスプレイ光変調、
   前記ディスプレイ装置上の前記画像によって生じた変動を低減することによるディスプレイ光変調、
   ロールシャッタカメラ装置による取込み画像間のカメラセンサ感度の変更であって、カメラ取込み及びディスプレイ光変調に、画像の一部が使用され、相異なる周波数が使用される、カメラセンサ感度の変更
   のうちの少なくとも１つを含み、
   及び／又は、前記ディスプレイ装置で生成される光を区別するサブステップが、
   動きに起因する周辺光の変化の誤検出を低減するための２つの露出の動き補正、
   一方のモードが高画質を有し、他方のモードが視聴者動作を検出するための高感度を有するデュアルモード操作
   のうちの少なくとも１つを含む、請求項２又は３に記載の方法。
5. ディスプレイ装置で生成される光を区別する前記ステップが、
   検出された前記複数の画像のうちの少なくとも２つを比較するサブステップと、
   第１の閾値を適用することにより画像から背景物体を除去するサブステップと、
   前記画像をセグメント化して、結合領域を検出し小さい結合領域を除去することによりノイズの多い結果を除去するサブステップであって、前記画像が、取込み画像、又は、特に少なくとも２つの取込み画像間の差に基づく画像である、組合せ画像のうちの１つである、サブステップと、
   検出された前記セグメントの輪郭を抽出するサブステップであって、前記輪郭が、さまざまな複数の所定の形状を区別するように構成される特徴のセットを記述する、サブステップと、
   前記複数の所定の形状のうちの少なくとも１つを検出するために、抽出された前記輪郭を検出器に渡すサブステップと
   を含む、請求項１〜４のいずれか一項に記載の方法。
6. 制御信号を生成する前記ステップが、
   検出された前記少なくとも１つの所定の形状の抽出された前記輪郭を時間的にフィルタリングするサブステップ
   を含む、請求項１〜５のいずれか一項に記載の方法。
7. 以下、すなわち、
   前記制御信号に応じて前記ディスプレイ装置の二次元又は三次元の表示モードを選択するステップと、
   タッチフリーユーザインターフェイスを選択する、又はアクティブ化するステップ
   のうちの少なくとも１つをさらに含む、請求項１〜６のいずれか一項に記載の方法。
8. 前記複数の所定の形状が、
   手、又はそのような手の部分、特に開いた手、指し示す手、若しくは閉じた手、
   腕、
   頭、
   メガネ、
   三次元視聴メガネに対応する所定のマーカ、
   制御装置（例えば、ポインタ）、
   制御装置に対応する所定のマーカ
   のうちの少なくとも１つを含む、請求項１〜７のいずれか一項に記載の方法。
9. 接続されているディスプレイ装置によって生成される光の量を調整するように構成された映像処理システムと、
   前記ディスプレイ装置による相異なる照明の下でシーンの少なくとも２つの画像を取り込むためのカメラであって、前記シーンが少なくとも１つの近接物体と背景物体とを含む、カメラと、
   前記カメラに接続され、取り込まれた前記少なくとも２つの画像間の差に基づいて複数の所定の形状から少なくとも１つの形状を決定するように構成された評価装置と
   を備える処理装置。
10. 前記映像処理システムがフレーム周期の少なくとも一部の間に前記ディスプレイ装置の明るさを変調するように構成され、前記変調が、以下、すなわち、
    表示される映像素材、
    表示される画像、
    表示されるグラフィックス、
    前記ディスプレイ装置のバックライトユニットにより生成されるバックライト
    のうちの少なくとも１つに導入される、請求項９に記載の処理装置。
11. 明るさの前記変調が、前記ディスプレイ装置の視聴者には視認できない、請求項１０に記載の処理装置。
12. 前記評価装置が、
    第１の閾値を適用することによって前記取込み画像の１つから背景物体を除去するステップと、
    前記取込み画像の１つをセグメント化して、結合領域を検出し小さい結合領域を除去することによりノイズの多い結果を除去するステップと、
    検出された前記セグメントの輪郭を抽出するステップであって、前記輪郭が、さまざまな複数の所定の形状を区別するように構成される特徴のセットを記述する、ステップと、
    前記複数の所定の形状のうちの少なくとも１つを検出するために、抽出された前記輪郭を検出器に渡すステップと
    を含む、請求項９〜１１のいずれか一項に記載の処理装置。
13. 前記評価装置が、
    前記取込み画像の少なくとも１つ、又は相異なる照明の下で取り込まれた少なくとも２つの画像間の差に基づいて結合領域を検出するためのエッジ検出装置と、
    さまざまな前記複数の所定の形状を区別するように構成された特徴のセットを記述する輪郭を格納するためのストレージと
    を備える、請求項９〜１２のいずれか一項に記載の処理装置。
14. 前記複数の所定の形状が、以下、すなわち、
    手、又はそのような手の部分、特に開いた手、指し示す手、若しくは閉じた手、
    腕、
    頭、
    メガネ、
    ポインタ、
    三次元視聴メガネに対応する所定のマーカ
    のうちの少なくとも１つを含む、請求項９〜１３のいずれか一項に記載の処理装置。
15. 前記評価装置が、統計的パターン認識分類関数、特に統計的パターン認識技法ＡｄａＢｏｏｓｔを使用して構築される、請求項９〜１４のいずれか一項に記載の処理装置。

Images