JP2013516882A - 立体視眼鏡を認識する装置および方法、ならびに、立体視ビデオストリームの表示を制御する方法 - Google Patents

Abstract

【課題】
【解決手段】 本発明は、立体表示システムに関する。立体視眼鏡を認識する方法は、スクリーンの前方の環境の２枚の画像を同一視点から取得する。２枚の画像のうち一方を他方から減算することによって差分画像を計算し、差分画像内で２枚のレンズが存在することを検出する。本発明はさらに、立体視眼鏡を認識する方法を用いて、立体視画像の表示を制御する方法に関する。また、当該方法を実施する装置も開示する。
【選択図】 図５

Description

本発明は概して、立体表示システムに関する。本発明は具体的には、請求項１のプリアンブルに記載の立体視眼鏡を認識する方法、および、当該方法を用いて立体画像または立体視ビデオストリームの表示を制御する表示システムに関する。

公知のように、立体視は、複数の視点、通常は右視点および左視点からの同じ被写体の画像を２枚利用して得られる。

このような２つの視点に関する画像（通常、右画像および左画像と呼ばれる）は、それぞれ右目および左目を対象としており、人間は脳で両方の視点を統合して３次元として認識する１枚の画像を得る。

右画像および左画像は、適切な取得システム（いわゆる、２個の対物レンズまたは一対のカメラを持つ「立体カメラ」）等を利用して、最初に第１の画像（例えば、左画像）を取得した後もう一方の画像（例えば、右画像）を電子的に（計算処理によって）形成して取得することができる。

立体画像で３Ｄコンテンツを実現する多くの技術がこれまでに開発されている。

公知の技術としては、右画像および左画像の可視化を時間軸で交互に行うものがまず挙げられる。

しかし、この技術には、ユーザがアクティブ眼鏡（「シャッター眼鏡」としても知られる）を着用しなければならないという問題点がある。アクティブシャッター眼鏡は、右目または左目を交互に隠して、それぞれの目が所定の視点に対応付けられている画像のみを見ることができるようにする。

別の公知の技術によると、右画像および左画像を異なる偏光を用いて投影する。このため、例えば、テレビのスクリーンを適切に処理するか、または、プロジェクタで適切なフィルタを利用するとしてよい。

この場合も、ユーザは、それぞれが右画像または左画像のみを透過するよう偏光状態が異なるレンズで構成された適切な眼鏡（この場合はパッシブ眼鏡）を着用しなければならない。

どちらの場合も、ユーザが特別な眼鏡（以下では、通常の度付き眼鏡と区別するべく立体視眼鏡と呼ぶ）を着用することなくビデオストリームを鑑賞しようとすると、乱れてぼやけて見え、ユーザの目が疲れてしまい、頭痛の原因となってしまう。

このため、ユーザが手動で平面視（２Ｄ）または立体視（３Ｄ）を選択できる３Ｄビデオ画像表示システムがある。このため、ユーザが３Ｄコンテンツを鑑賞したい場合には、立体視眼鏡を着用して３Ｄ表示モードを選択し、２Ｄ表示モードを選択すれば、立体視眼鏡を着用する必要はない。

一方、ユーザが手動でこのように調整する場合、例えば、身体的障害または表示装置の位置が原因で、ビデオ信号表示モードを切り替えるのが難しい場合があるので、または、表示装置の利用方法が複雑であるために、立体視装置の利用時の柔軟性が制限されてしまう。

この問題を解決するべく、一部の公知の立体視システムでは自動制御が行われている。

例えば、日本国特許文献第２００１−３２６９４９Ａ号および２００８−１７１０１３Ａ号では、ユーザは立体視用アクティブ眼鏡を着用している間も他の作業を実行可能な装置を説明している。このようなシステムでは、眼鏡にカメラを設けている。眼鏡は、スクリーンを向いている場合に、そう認識して、眼鏡の制御部に信号を出力する。こうして、眼鏡は動作を開始する。ユーザがスクリーンを鑑賞していない場合には、眼鏡は動作を停止して、つまり、どちらの目も遮蔽されていないことになる。

これらの装置には、カメラを備え、電力供給を受ける立体視眼鏡が必要になるという問題がある。このような眼鏡は、構造が複雑で、重量があり、高価である。

また、上記特許文献が提案している解決方法では、ビデオ信号は常に立体視モードで表示されているので、ユーザが常に眼鏡を着用している必要がある。このため、これらの解決方法は、ユーザが立体視眼鏡を着用していない場合にビデオ信号をどのように表示するかという問題の解決方法にはなっていない。

日本国特許文献第１０９３９８７Ａ号では、スクリーン上に設けられているセンサから受信する信号に基づいて平面視および立体視のどちらにするかを自動的に切り替える装置が説明されている。当該センサは、立体視眼鏡にある赤外線源が発する放射線を検出する。ビデオ信号は、立体視眼鏡を着用しているユーザがスクリーンを向いている場合に限り立体視モードで表示される。この装置には、眼鏡が赤外線源専用の電源を必要とするので、構造が複雑で高価になってしまうという欠点がある。

本発明は、先行技術が抱える問題を解決する装置および方法を提供することを目的とする。

具体的には、本発明は、３Ｄコンテンツを表示しているスクリーンの前方の環境、例えば、立体視ビデオストリームが投影または表示されている場所に立体視眼鏡が存在することを認識する方法を提供することを目的とする。

本発明はさらに、立体視眼鏡自体を変化させることなく、または、少なくとも大きさおよび／またはコストを変化させることなく、立体視眼鏡が存在するか否かを検出する方法を提供することを目的とする。

本発明はさらに、立体コンテンツ表示装置を効率的に制御する方法および関連する装置を提供することを目的とする。

本発明はさらに、立体画像が表示されているスクリーンの前方の環境の分析結果に応じてビデオストリームの表示モードを制御する方法および関連する装置を提供することを目的とする。

本発明はさらに、立体視ビデオストリームの表示を、立体ビデオコンテンツが表示されているスクリーンの前方に座っている人の意図に最大限沿って制御する方法を提供することを目的とする。

本発明の上記およびその他の目的は、本明細書の一部として不可欠な特許請求の範囲に記載の特徴を持つ装置および方法によって実現される。

本発明の基礎となる考えは概して、立体視眼鏡を認識する方法を提供することにある。当該方法では、投影画像の前方の環境の画像を少なくとも２枚同じ視点から取得して、１以上のユーザをフレームに収める。立体視眼鏡の特性（レンズの偏光または交互に片目を隠す機能）を利用して、２つの画像を比較して眼鏡が存在することを認識する。

本明細書で説明する方法は、画像を取得する少なくとも１つのセンサと、当該画像を適切に処理する手段とを備える装置を用いて実施される。

この解決方法によれば、眼鏡が存在するか否かを検出するべく眼鏡に設けられているカメラ等の能動素子（例えば、光源）を利用することなく眼鏡を検出でき、先行技術の問題点が克服される。

このような検出方法によれば、センサがフレームに収めた環境に立体視眼鏡が存在するか否かに応じて１つの表示モードが自動的に選択されるので、立体表示システムを利用する際の柔軟性が向上する。例えば、当該方法によれば、平面視と立体視とを自動的に切り替えることが可能となる。当該方法はさらに、一部の領域について一対の画像を生成するこのようなシステムでは、センサが検出した条件に応じて立体画像の奥行を調整することが可能となる。

（例えば、所定の時間間隔で、または、偏光を利用して）さまざまな画像取得モードを利用することによって、本明細書で提案する概念は、偏光レンズ眼鏡（円偏光または直線偏光を利用）およびアクティブ眼鏡（例えば、「シャッター眼鏡」）の両方を検出することができる。このため、本明細書で開示する解決方法によれば利用の柔軟性について大きな利点が得られることは明らかである。

また、この眼鏡検出方法では、例えば、人の顔の位置と眼鏡の位置とを比較することによって、眼鏡が着用されているか否かを検出できるという利点がある。このため、ユーザが最も望んでいると思われる表示モードをより正確に選択することができる。

例えば、眼鏡がテーブルの上にある場合、ユーザが平面視モード（２Ｄ）でビデオを鑑賞したいと考えていることを意味するので、その表示モードを選択する。逆に、眼鏡が着用されている場合、ユーザが３Ｄビデオを鑑賞したいことが明らかであるので、立体表示モードを選択する。

他の有益な実施形態によると、当該方法では、全てのユーザが立体視眼鏡を着用しているか否かを検出することができる。このため、一部のユーザのみが立体視眼鏡を着用している場合、立体視眼鏡を着用していないユーザが見る映像があまり乱れない表示モード（例えば、２Ｄ）を選択して、および／または、適切なメッセージを観客に示す。一実施形態によると、例えば、入力信号が立体視用であり、誰も眼鏡を着用していない場合、眼鏡を使用するよう提案するメッセージを生成して、信号を２Ｄ形式で表示する。一部の観客のみが眼鏡を着用している場合、同様のメッセージを生成して、眼鏡を着用していない観客に着用を勧める。このように生成したメッセージは、映像および／または音声であってよく、ＯＳＤ（オンスクリーンディスプレイ）技術を利用してビデオに文字または記号を重畳して表示するか、または、照明等の発光信号をスクリーン外でオンオフ制御するとしてもよい。

本発明のその他の目的および利点は、以下に記載する好ましい実施形態の詳細な説明から一層明らかになる。以下の説明では、添付図面を参照する。添付図面は、本発明を制限するものではなく、一例として示されているに過ぎない。図面は以下の通りである。
本発明に係る装置が取得する風景の画像の一例を示す概略図である。 本発明に係る装置の第１の実施形態を示す図である。 本発明に係る装置の第２の実施形態を示す図である。 本発明に係る装置の第３の実施形態を示す図である。 本発明に係る方法の第１の実施形態を示す図である。

図１に示す例は、スクリーンの前方に通常見られる風景、つまり、ソファに座っているユーザ１を示す画像１００である。ユーザ１は、立体視コンテンツ（画像またはビデオ）を鑑賞するべく立体視眼鏡２を着用している。

図１の画像１００は、立体視コンテンツが表示されているスクリーン、例えば、テレビのスクリーンまたは画像を投影しているシートの前方にある環境の画像である。

画像１００は、スクリーンの近傍に配置されており、スクリーンの前方に座っているユーザ１の方を向いているカメラ装置によって取得される。このため、カメラ装置は、スクリーンの前方の環境を正面から撮影する。このような視点から撮影するのが好ましい理由は、ユーザが着用している可能性がある立体視眼鏡を正面からフレームに収めるので、カメラ装置が見るレンズ領域が、同じ環境を横方向から撮影した場合に比べて、大きくなるからである。

これに代えて、カメラ装置は、異なる位置に配置するとしてもよく、スクリーンから離して配置するとしてもよいが、スクリーンの前方の環境をフレームに収めることが好ましい。

どちらの場合であっても、以下で説明する方法に応じたこの環境の画像の処理を向上させるためには、この環境に照明を照射する適切な赤外光源を備えるカメラ装置を用意することが好ましく有益である。図２は、画像１００を取得するカメラ装置３の第１の実施形態を示す概略図である。

カメラ装置３は、図１を参照しつつ上述したように、画像１００の風景をフレームに収める対物レンズ４を備える。

フレームに収められた画像１００はこの後、ビームスプリッタ５に送信される。ビームスプリッタ５は、２つの別々の光路を形成する。第１の光路６ａを進む画像は、第１の偏光子７によってフィルタリングされ、第１の偏光子７から放出される放射線は、第１の方向に、例えば、伝搬方向に直交する水平方向、または、例えば、反時計回り方向の円偏光に偏光されている。ビームスプリッタ５から出力された後に第２の光路６ｂを進む画像は、ミラー８によって反射され、第２の偏光子９によってフィルタリングされる。第２の偏光子９は、入射する放射線を、第１の偏光方向とは異なる（そして、好ましくは第１の偏光方向に直交する）第２の偏光方向に、または、上述した方向とは逆の円偏光、つまり、時計回り方向に偏光する。図２の例では、偏光子９から出力される光は、垂直方向（図２のｚ方向）に偏光されている。

当該カメラ装置はさらに、２つの画像センサ１０および１１を備えており、各画像センサは、２つの別々の光路６ａおよび６ｅを進んで到達した画像のうちいずれか１つを検出する。これら２つのセンサは、例えば、ＣＣＤセンサ、または、光あるいは一般的な明るい放射線、特に、可視放射線または赤外放射線の検出に適した任意のその他の技術を利用したセンサであるとしてよい。

このようにして、同じ視点および同じタイミングで撮影された２枚の画像を取得する。このうち１枚は、第１の偏光子７でフィルタリングされており、もう１枚は、第２の偏光子９でフィルタリングされている。

画像センサ１０および１１によって取得する画像はこの後、電気信号に変換され、手段１２に送信される。手段１２は、後述する方法に応じて画像を処理する。この手段１２は、プロセッサまたはマイクロコントローラで構成されていることが好ましいが、画像センサ１０および１１から受信した画像を以下に記載する手順に従って比較可能な電子デバイスが１以上、接続、集積化または相互接続されているとしてもよい。

このカメラ装置３は、偏光レンズ技術を用いている立体視眼鏡が存在するか否かを検出する。このため、偏光子フィルタ７および９は、テレビまたはプロジェクタに表示されており、ユーザが鑑賞している右画像および左画像の２つの偏光方向で光を偏光する。このため、偏光子フィルタは、眼鏡２の２つのレンズと同じ偏光機能を持つ。

別の実施形態によると、同じ環境について偏光が異なる画像を２枚取得するべく、カメラ装置は、例えば、赤外線を放出する光源を備えている。当該光源は、偏光を用いて画像の２つの偏光方向において風景に照明を照射する。このため、例えば、２つの赤外ＬＥＤを、立体視眼鏡のレンズと同じ種類の２つの偏光子フィルタの後方に配置している。これに代えて、偏光の無い光源を持つ２つの偏光子フィルタを移動することができる機械システムを利用して、２つのフィルタによって決まる２つのモードで偏光を交互に取得することが考えられる。このようなシステムは、例えば、回転部を備えるとしてよい。当該回転部は、その領域の半分をカバーするフィルタを２つ有しており、回転部が回転すると、偏光の無い光源からの光が、これら２つのフィルタによって交互に偏光される。本実施形態によると、カメラ装置は、同じタイミングだが異なる偏光を用いて一の環境の複数の画像を取得するべく、図２に示すビームスプリッタを備えているとしてよい。これに代えて、カメラ装置は、簡略化されて、一の画像センサを利用し、ビームスプリッタは利用しないとしてもよい。このような場合、環境に照明を照射する２つのＬＥＤを交互に制御して、２つの異なるタイミングで２枚の画像を取得する。環境に照射する照明を交互に高速に切り替えることによって（数十ミリ秒毎、または、数百ミリ秒毎）、後述するように、立体視眼鏡を検出する目的で２枚の画像を比較することができる。この別の実施形態は、２つの異なる偏光に応じた偏光を風景に照射しており、装置内の光路に偏光子を設ける必要はないパッシブ眼鏡の場合に利用可能である。この実施形態では、異物（つまり、立体視眼鏡以外のもの、例えば、ソファ、テーブル、花瓶、床）に反射しないように特に注意しなければならない。このような反射は、偏光に影響を及ぼし、風景にレンズがあるか否かを検出する際の邪魔になってしまう場合がある。

図３に示す例は、カメラ装置の別の実施形態を示している。図２と同じ構成要素については、同じ参照番号を付与している。

この実施形態では、カメラ装置３´が備える画像センサは１つのみである。対物レンズ４が受光する光は、ビームスプリッタ５によって２つの光路６ａおよび６ｂに分割され、その後、２つの光路に配置されている偏光子７および９が、入射する放射線を偏光して２つの偏光画像を出力する。これら２つの偏光画像は、画像センサ１３を２つに分割した部分をそれぞれカバーする。画像センサ１３の出力は、処理のために手段１２´に送信される。

この変形例によると、装置が小型化されるという利点があり、構成要素の数を少なくできる。

図４は、カメラ装置の別の実施形態を示す図である。

カメラ装置３´´は、図１を参照しつつ上述したように、風景をフレームに収める対物レンズ４を備える。入射する画像は、画像センサ１４に直接送られる。画像センサ１４は、同期手段１５が設定した周波数で画像を取得する。画像取得周波数は、立体画像表示周波数またはその倍数、例えば、５０Ｈｚに対応し、１つの画像を５０分の１秒毎に取得する。同期手段１５は、ユーザ１が鑑賞している画像またはビデオストリームを表示するテレビまたはプロジェクタに内蔵されているか、または、接続されているのが好ましい。このため、右画像および左画像の可視化と同期して画像を取得する。

画像センサ１４が取得する画像は、手段１６に送られる。手段１６は、後述する方法に応じて画像を処理する。

このカメラ装置３´´は、立体視用のアクティブ「シャッター」眼鏡が存在するか否かを検出する場合に特に適している。カメラ装置は、さまざまな取得タイミングで、眼鏡２の各レンズの開閉状態の相違を検出可能である。

同期手段１５が右画像および左画像の可視化と同期している場合、「シャッター」眼鏡とも同期している。「シャッター」眼鏡は、公知であるように、テレビまたはプロジェクタと同期しており、右目は常に右画像を見て、左目は常に左画像を見ることになる。このため、カメラ装置３´´は常に、１枚の閉鎖した（閉じた）レンズおよび１枚の透明な（開いた）レンズをフレームに収めるが、２枚の連続するフレームでは、最初のフレームで閉じているレンズが２番目のフレームでは開いており、その逆も正しい。

このため、異なるタイミングでカメラ装置が連続して撮影した複数の画像では、最初の画像で閉じているレンズは、２番目の画像で開いており、眼鏡の他方のレンズについてはこの逆になる。

一実施形態によると、カメラ装置３´´は、例えば、赤外線の光源を備える。当該光源は、画像取得周波数と同じ周波数でパルス状の光を風景に照射する。これに代えて、画像取得周波数の約数の周波数、または、カメラ装置の撮影周波数に等しい周波数でパルス状に光を風景に照射するとしてもよい。このため、当該光源は、同期手段１５によって制御されるのが好ましい。

別の実施形態によると、カメラ装置３´´は、赤外線の光源を備えており、当該光源は、時間軸に沿ってパルス状ではなく、常に風景に照明を照射する。

この実施形態によると、光源は、カメラ装置３´´の適切な手段によって照明条件が好ましくないと見なされると、選択的にアクティブ化されるのが好ましい。逆に、風景に対する自然照明が十分である場合には、光源をオフにする。このように、本実施形態では、構造が簡略化され（光源はパルス状ではない）、エネルギー消費が少ない（光源は必要な場合のみオンとする）。

上述した全実施形態では、カメラ装置は、立体視眼鏡を検出し、立体視を制御する方法を実行する。

図５は、当該方法の第１の実施形態が備えるさまざまな段階を示す。分かりやすいように、カメラ装置３を参照しつつ説明する。

カメラ装置３は、偏光子７および９によってフィルタリングされた２枚の画像に対応する画像５１および５２を取得する。図５では、ユーザが着用している偏光型立体視眼鏡の左レンズおよび右レンズの相違を強調している。画像５１では、左レンズが暗く、画像５２では、同じ左レンズが透明である。これは、光が偏光子フィルタを通過すると、同じ偏光のレンズは透明になるが、他方のレンズは偏光が異なるために暗くなるためである。

眼鏡がアクティブ型（例えば、「シャッター眼鏡」）であって、画像の取得タイミングが異なる場合には、図４のカメラ装置３´´の説明で既に言及したように、同じ種類の画像５１および５２が取得される。

どちらの場合でも、２枚の画像５１および５２を取得した後、立体視眼鏡の存在を認識する方法において、両画像を比較して、両者間の相違点を検出する。

一実施形態によると、画像５１を画像５２から減算する（言うまでもなく、この反対、つまり、画像５２を画像５１から減算することも同様に可能である）。

公知であるように、１枚の画像は複数の画素から構成されており、画素のＲＧＢ値はビット列で表される。このため、２枚の画像に対して減算を行うことは、一方の画像の画素のＲＧＢ値を他方の画像の対応する画素のＲＧＢ値から減算することに等しい。

この減算の結果として、立体視眼鏡のレンズの領域を除き、ほとんど全ての画素がヌル値となる画像が得られる。レンズの領域では、画像５３に示すように、２枚のレンズに対応して正の値および負の値があり、画像５３の残りの部分は完全にヌル（同図では黒で示す）である。

差分画像５３の例において、レンズ以外の部分は、画像５１および５２が完全に一致しているので、全てヌルである。

実際には、減算を行った画像同士は、ノイズ等の乱れによって、レンズ以外の領域でもわずかに異なることは明白である。

この場合、差分画像のうち、画素のＲＧＢ値がゼロに近い部分は実質的にヌルと見なし、差分画像のうちレンズの領域は所定のしきい値を超えるＲＧＢ値を持つであろうことは明らかである。

２枚の画像を取得したタイミングが異なる場合（例えば、図４を参照しつつ上述したようにシャッター眼鏡の場合）、２枚の画像は観客が動いている可能性があるので、完全に重ね合わせることができないことに留意されたい。しかし、以下で説明する次のステップでは、動きによって生じる差分が、眼鏡によって発生するのと同様のパターンを生成する可能性は非常に低いので、眼鏡のパターンは認識される。一実施形態に係る方法は、観客の動きによって測定結果が誤りを含むようになってしまわないように、取得された２枚の画像の対応する画素間の差分の二乗の合計値に基づき、信頼インデックスを推定して、どの程度２枚の画像が異なるのかを理解する。このようなインデックスは、例えば、２枚の画像の画素のうち一部または全ての差分の平均値であってもよいし、または、所定のしきい値を超える差分の数であってもよい。

信頼インデックスが所定値（例えば、実験結果から計算された値）を超えると、測定結果は無視して、眼鏡の存在を示す信号は、信頼インデックスがしきい値を下回り、風景内に存在する観客が着用している眼鏡のレンズの動きが実質的に止まったことを意味するまで生成されない。

さらに別の実施形態に係る方法では、観客の動きによって測定結果が誤りを含むようになってしまわないように、上記の処理に代えて、または、上記の処理に加えて、公知の動き検出方法、つまり、被写体追跡方法を用いてユーザの動きを検出する。このようにすることで、画像内で検出されるユーザの顔またはレンズの動きを検出することが可能となる。このため、続く画像でのレンズの並進を推定することができ、推定結果と、フレームに収められた風景内の眼鏡の存在とを相互に関連付ける。

眼鏡を認識する方法に戻って、差分画像を計算した後、差分画像内で眼鏡を認識する段階を実行する。

一実施形態によると、眼鏡は、差分画像内に２つのレンズが存在することを検出することによって、検出される。一実施形態によると、レンズは、所定値を超える数の非ヌル値の画素が連続している場合に検出される。別の実施形態によると、連続した非ヌル値の画素と、所定のレンズ画像とを比較することによってレンズを検出する。

一実施形態によると、レンズの領域でのパターンは、パターン調査技術または画像処理技術、例えば、ハール（Ｈａａｒ）法を利用して認識される。この方法は、例えば、公知のソフトウェアライブラリ、例えば、ＯｐｅｎＣＶ（Ｏｐｅｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ）ライブラリを用いて実施され得る。当該ライブラリは、人工視覚アルゴリズムの複数の実施例が含まれる。

差分画像においてレンズを認識するべく、立体画像を鑑賞している際に発生し得る（例えば、風景に対する照明が不十分である、眼鏡に対してわずかな光が存在する等）さまざまな風景撮影条件についての当該方法の精度を評価することによって、レンズ形状では適切な許容誤差を考慮することが有益である。

眼鏡が無い場合、２枚の画像５１および５２は略同じ画像となるので、差分画像５３は、全てがヌルとなり、カメラ装置のプロセッサ（例えば、手段１２、１２´または１６）は眼鏡が存在しないと検出する。

２つのセンサが設けられている場合、または、カメラ装置の光学系の位置合わせが完全でない場合、取得した２枚の画像はそのまま重ね合わせることができない。眼鏡の検出処理を改善することを目的として、画像の位置合わせが最良の状態となっていること、および、画像の線形性を保証する初期校正段階を含む。

好ましい実施形態によると、立体視眼鏡が存在すること（または、存在しないこと）を認識した後、カメラ装置は、立体視眼鏡が存在すること、または、存在しないことを示す信号を出力する。

図２、図３および図４を参照しつつ説明すると、この信号は、手段１２、１２´および１６によって生成され、手段１２、１２´および１６から出ている矢印によって示されている。一実施形態によると、立体視眼鏡を認識する装置は、表示システム（テレビ、セットトップボックス、プロジェクタ等）とは別の装置であり、立体視眼鏡の存在を示す信号を表示システムに送信する送信手段（図２から図４では不図示）を備える。眼鏡認識装置からの信号の送信は、有線方式または無線方式で、標準化された通信モードおよび通信プロトコル（ＵＳＢ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉ、イーサネット（登録商標）等）または特許で保護されているプロトコルを利用して行われるとしてよい。このため、表示システムは、後述するように、この信号を受信して復号する手段、および、受信した信号に基づいて３Ｄコンテンツの表示を制御する手段を備える。

言うまでもなく、眼鏡認識装置は、表示システムに一体化されるとしてもよい。この場合には、眼鏡の存在を検出するために用いられる手段を、３Ｄ画像の可視化を制御する際にも利用するとしてよい。例えば、上記の信号を用いて、平面視から立体視（または、この逆）へと切り替えるとしてよい。

このように、上述した方法に応じて眼鏡検出システムを利用することによって、画像および／またはビデオストリームの表示を制御する方法を実施することが可能である。ユーザが立体視眼鏡を着用している場合に限り立体視画像を表示することによって、ユーザの希望に最も近い表示モードを自動的に選択する。これによって、立体視画像表示装置の利用について柔軟性が高くなる。

別の実施形態によると、上述したように眼鏡の存在を検出する（つまり、異なる偏光または異なる所定のタイミングで撮影した２枚の画像を比較する）処理に加え、画像内に人の頭が存在するか否かについても検出する。

当該方法は、顔が存在するか否かを検出し得ることがより好ましい。

この顔検出は、セキュリティ技術およびビデオ監視技術で一般的に利用されている公知の顔認識技術を利用することによって行う。

顔は、検出処理の処理時間および算出コストを低減するべく、取得した２枚の画像のうち１枚のみで検出することが好ましい。

当該方法は、顔の領域を検出する段階を備えることが好ましい。

顔認識ステップおよび眼鏡認識ステップは、並行して、または、任意の順序で実行するとしてよい。

画像内での顔の位置と、レンズの位置とを比較する。

顔の位置とレンズの位置との比較に基づき、装置がフレームに収める位置において、立体視眼鏡がユーザによって着用されているのか、または、家具またはソファに置かれているのみであるのかを検出する。このステップは、ＯｐｅｎＣＶアルゴリズムによって実施することが好ましいとしてよい。

別の実施形態に係る方法は、検出した眼鏡の数（検出したレンズの数に基づいて算出可能）が検出した顔の数に対応しているか否かを検出する。より好ましくは、全ての眼鏡が着用されているか否か（つまり、全ての眼鏡が認識された顔の領域に含まれているか否か）を検出する。

全てのユーザが眼鏡を着用している場合、表示制御方法は、立体視モードでビデオストリームを表示する。

逆に、ユーザが立体視眼鏡を着用していないと認識されると、当該方法は、例えば、平面視モードに切り替えることによって、表示モードを変更する。これに代えて、立体視眼鏡を着用していない観客が感じる不快感を軽減するべく、奥行きを小さくした別の立体視モードに表示モードを変更することが考えられる。

一実施形態によると、全てのユーザが眼鏡を着用しているか否かに応じて表示モードを選択することに加えて、または、このような選択に代えて、当該方法ではさらに、観客に情報メッセージを生成する。

例えば、入力信号が立体視信号であるが誰も眼鏡を着用していない場合、（映像および／音声）メッセージを生成して、眼鏡の利用を提案し、入力信号を２Ｄ形式で表示する。一部の観客のみが眼鏡を着用している場合、メッセージを生成して、眼鏡を着用していない観客に着用を提案する。このように生成したメッセージは、映像および／または音声であってよく、ＯＳＤ（オンスクリーンディスプレイ）技術を利用してビデオに文字または記号を重畳して表示するか、または、照明等の発光信号をスクリーン外でオンオフ制御するとしてもよい。

上述した方法はさらに、適応トレーニングステップを備えるとしてよい。当該ステップは、例えば、立体視眼鏡に対応付けられるパターンの好ましい形状を定義することによって、ユーザが表示モードを自動で切り替えたいと願う状況をより効果的に認識するために用いられる。立体視眼鏡は、例えば、それぞれ形状および寸法が異なるとしてよいが、カメラ装置が認識可能な共通の特徴が幾つかはあるはずである（例えば、偏光の種類またはアクティブ化周波数）。この適応トレーニングステップは、ＯｐｅｎＣＶアルゴリズムを用いて実施されることが好ましいとしてよい。

カメラ装置が偏光レンズを持つが立体視には不適切な眼鏡（例えば、特別なサングラス）をフレームに収めた場合、当該方法は、２つの画像間の差分が同じ偏光を持つレンズの存在を明らかにするので、このような眼鏡が存在することを認識する。この結果、当該方法はその位置には立体視眼鏡が無いと仮定する。

上述した装置による画像の取得および処理は、継続的に実行されるとしてもよいし、または、定期的に、例えば、１５秒毎に繰り返し実行されるのがより好ましい。間隔を長くすることによって、例えば、装置の算出負荷を低減することが可能である。

一実施形態によると、スクリーンの前方の環境の画像は、継続的に取得および処理を行う。つまり、取得ステップおよび処理ステップは、継続的に繰り返し実行される。言うまでもなく、当該ステップは、ある程度時間がかかる（数ミリ秒）ので、「継続的に取得および処理」という記載は、この処理を常に繰り返し行うことを意味する。この実施形態によると、表示モードは、各眼鏡存在検出ステップにおいて常に変更されるものではない。このようにして、間違った検出結果によって２つの異なる表示モード間で常に画像を切り替えることを避ける。一実施形態によると、ビデオストリームの表示モードを選択する上で利用される信号は、所定回数の取得ステップおよび処理ステップを完了した後で生成される。つまり、表示モードを変更するためには、一回の取得ステップでは不十分で、所定数の取得ステップを実行する必要がある。これに代えて、各処理ステップの終了時に信号を常に生成するが、表示装置が無視するとしてもよい。

当業者であれば、特許請求の範囲に記載されている本発明の保護対象範囲から逸脱することなく、本発明を多くの点で変更し得ることは明らかである。特に、本発明は、記載したさまざまな実施形態の構成要素および特徴を組み合わせて（そして、当業者に公知の技術的解決方法とも組み合わせて）、同じ視点から撮影した２枚の画像を取得して比較することによって立体視眼鏡を認識し、このように眼鏡を検出することによってビデオストリームの表示モードを制御するという基本的な考えを利用する別の方法および装置を構成することによって、他の実施形態に想到し得るので、本明細書で説明した各実施形態に限定されないことは明らかである。

また、本発明は、立体視眼鏡の存在を検出するカメラ装置に限定されず、当該カメラ装置、および、立体視ビデオストリームを受信する手段、および、上述したようにビデオストリームの表示モードを制御する方法に応じて、立体視ビデオストリームを表示する手段を備えるビデオ表示システムに拡張され得ることも明らかである。このようなシステムでは、カメラ装置および表示装置（例えば、テレビまたはプロジェクタ）は、接続されているか一体化されているとしてよく、互いに動作可能に対応付けられているとしてもよい。

一変形例によると、本明細書で提案した立体視眼鏡を認識する方法は、例えば、ビデオ信号を切り替える、または、２つの目の一方についての画像をリアルタイムに生成する立体視システムにおいて視差効果が発生するのを避けるべく、立体視画像を修正する等の追加機能を実現することを目的として、眼鏡の動きパターンを検出するアルゴリズムを備えるとしてよい。

別の実施形態によると、「シャッター」眼鏡は、２つの偏光フィルタが２つのレンズの近傍、例えば、フレームの外部、レンズの外部に配置されていることが好ましい。これによって、シャッター型であっても、偏光型立体視眼鏡が存在するか否かを検出することが可能な装置を利用することができるようになる。当該装置が、２つのフィルタの２つの方向において偏光を用いてスクリーンの前方の環境を撮影している場合、図５を参照しつつ前述したように、フィルタは一方が透明で、他方が暗くなっており、上述した方法で立体視眼鏡を検出することができる。当該方法の利点は、鑑賞者が移動することにより検出結果に不確定性またはエラーが生じないように防止できるという点にある。

Claims (22)

1. 立体視眼鏡を認識する方法であって、立体視ビデオストリームを表示するスクリーンの前方の環境の２枚の画像（５１、５２）を同一視点から取得し、
   前記２枚の画像（５１、５２）のうち一方を他方から減算することによって差分画像（５３）を計算し、
   前記差分画像（５３）内で立体視眼鏡（２）の２枚のレンズが存在することを検出する方法。
2. 所定値を超える数の連続した非ヌル画素から成る画素群がある場合に一のレンズを検出する請求項１に記載の方法。
3. 連続した非ヌル画素から成る画素群を所定のレンズ画像と比較することによって一のレンズを検出する請求項１または請求項２に記載の方法。
4. 前記２枚の画像（５１、５２）は、対応する偏光子フィルタ（７、９）を用いて取得され、前記２枚の画像に対応付けられている前記偏光子フィルタ（７、９）は、互いに異なり、前記２枚のレンズと同じ偏光機能を持つ請求項１から請求項３のうちいずれか一項に記載の方法。
5. 前記２枚の画像（５１、５２）は、異なるタイミングで取得される画像であり、
   前記２枚の画像（５１、５２）の取得は、前記スクリーン上での右画像および左画像の可視化と同期している請求項１から請求項４のうちいずれか一項に記載の方法。
6. 前記右画像および前記左画像は、立体視ビデオストリームの２つの異なる立体視フレームに対応する請求項５に記載の方法。
7. 前記眼鏡の検出は時間の経過に応じて複数回行われ、
   第１の検出では、検出した前記眼鏡の形状および前記眼鏡のサイズの少なくとも一方をメモリに格納し、
   次の検出では、検出した前記眼鏡の形状および前記眼鏡のサイズの少なくとも一方と、格納されている前記形状および前記眼鏡のサイズの少なくとも一方とを比較する請求項１から請求項６のうちいずれか一項に記載の方法。
8. 前記眼鏡の検出は時間の経過に応じて複数回行われ、
   表示モードは、画像の取得および眼鏡の検出を所定回数繰り返し実行した後でのみ変更する請求項１から請求項７のうちいずれか一項に記載の方法。
9. ユーザの右目を意図した一連の右画像、および、ユーザの左目を意図した一連の左画像を有する立体視ビデオストリームの表示モードを制御する方法であって、
   立体視ビデオストリームを表示するスクリーンの前方の環境における立体視眼鏡の存在を、請求項１から請求項８のいずれか一項に記載されている特徴を持つ方法によって、検出し、
   前記立体視ビデオストリームは、前記立体視眼鏡が検出されるか否かに応じて決まるモードで表示される方法。
10. 前記立体視眼鏡の検出は、時間の経過に応じて繰り返し実行され、前記表示モードは、前記検出の結果が変化すると、自動的に切り替えられる請求項９に記載の方法。
11. 前記ビデオストリームは、前記立体視眼鏡が検出される場合、立体視モードで表示され、
    前記立体視ビデオストリームは、前記立体視眼鏡が検出されない場合、平面視モードで表示される請求項９または請求項１０に記載の方法。
12. 前記スクリーンの前方にある前記環境においてユーザの顔を認識し、前記立体視眼鏡を検出したか否か、および、前記立体視眼鏡の位置に対応する位置で顔を検出したか否かに応じて前記立体視ビデオストリームを表示する段階をさらに備える請求項９または請求項１０または請求項１１に記載の方法。
13. 検出した前記立体視眼鏡が全て顔に対応する位置にある場合、音声メッセージおよび映像メッセージの少なくとも一方を生成する請求項１２に記載の方法。
14. 立体視眼鏡を認識する装置であって、
    画像を取得する少なくとも１つのセンサ（１０、１１、１３、１４）と、
    取得した前記画像を処理する手段（１２、１２´）と
    を備え、
    前記処理する手段（１２、１２´）は、請求項１から請求項８のうちいずれか一項に記載の立体視眼鏡を認識する方法を実行する装置。
15. レンズが取得した光を２つの異なる光路に分割するビームスプリッタ（５）と、
    前記２つの光路のうち第１の光路に配置されており、入射光を第１の種類の偏光によって偏光する第１の偏光子（７）と、
    前記２つの光路のうち第２の光路に配置されており、前記入射光を第２の種類の偏光によって偏光する第２の偏光子（９）と
    をさらに備える請求項１４に記載の装置。
16. 前記第１の画像および前記第２の画像はそれぞれ、対応する画像センサ（１０、１１）によって取得される請求項１５に記載の装置。
17. 前記第１の画像および前記第２の画像は共に、一の画像センサ（１４）によって取得される請求項１５に記載の装置。
18. 前記少なくとも１つの画像センサによってフレームに収められる風景に照明を照射する手段をさらに備える請求項１４から請求項１７のうちいずれか一項に記載の装置。
19. 前記照明を照射する手段は、偏光源を含む請求項１８に記載の装置。
20. 前記装置は、偏光されていない光、特に、赤外光の光源と、
    前記偏光されていない光の光源の前方にある一対の偏光子フィルタを移動させる機械システムと
    を備える請求項１９に記載の装置。
21. 前記装置に前記立体視眼鏡の検出に関する信号を出力する手段をさらに備える請求項１４から請求項２０のうちいずれか一項に記載の装置。
22. 請求項１４から請求項２１のうちいずれか一項に記載の立体視眼鏡の存在を検出する装置と、
    立体視ビデオストリームを受信する手段と、
    請求項９から請求項１３のうちいずれか一項に記載されている特徴を持つ方法によって、前記立体視ビデオストリームを表示する手段と
    を備えるビデオ表示システム。

Images