JP2013021389A - 画像表示装置 - Google Patents

Abstract

【課題】多視点表示する場合の表示画面上の物体による観察者の違和感を軽減する画像表示装置を提供すること。
【解決手段】画像表示装置１００は、複数の視点に対して視差が異なる少なくとも２つの画像を表示する表示部１０６と、表示部１０６前方の物体２ａを検出する検出部１０２と、検出部１０２による検出結果に基づいて、表示部１０６の表示画面のうち物体２ａと重なって観察される領域を特定する領域特定部１０４と、表示部１０６が表示する画像のうち、特定された領域の周辺領域の表示態様を他の領域と異ならせるように表示制御する表示制御部１０４と、を備える。
【選択図】図１

Description

本発明は、画像表示装置に関する。

次のような操作制御装置が知られている。この操作制御装置は、ユーザーの手の動きに応じて画像を操作することができる（例えば、特許文献１）。

特開２０１０−８１４６６号公報

上記のような操作制御技術を、視差バリアなどを用いて複数の視点に対して視差が異なる画像を表示する（いわゆる３Ｄ表示）場合へ適用することが着目されていなかった。一般に、多視点表示中の画面上に手をかざすと、ユーザーの目から見て手の陰になる領域で視差が得られなくなる。このため、手の周囲において立体感が損なわれ、表示画面を観察するユーザーが違和感を感じてしまう。

本発明による画像表示装置は、複数の視点に対して視差が異なる少なくとも２つの画像を表示する表示部と、表示部前方の物体を検出する検出部と、検出部による検出結果に基づいて、表示部の表示画面のうち物体と重なって観察される領域を特定する領域特定部と、表示部が表示する画像のうち、特定された領域の周辺領域の表示態様を他の領域と異ならせるように表示制御する表示制御部と、を備えることを特徴とする。

本発明による画像表示装置では、多視点表示する場合の表示画面上の物体による観察者の違和感を軽減できる。

第一の実施形態による画像表示装置の構成を例示するブロック図である。 デジタルフォトフレームの外観を例示する図である。 制御装置が実行する表示制御処理の流れを示すフローチャートである。 画像を再生表示中のモニタを例示する図である。 画像を再生表示中のモニタの前に手をかざした場合を例示する図である。 周辺領域を説明する図である。 第二の実施形態における周辺領域を説明する図である。 視差を変化させた状態を説明する図である。

以下、図面を参照して本発明を実施するための形態について説明する。
（第一の実施形態）
図１は、本発明の第一の実施形態による画像表示装置の構成を例示するブロック図である。画像表示装置としては、例えば、図２に示すようなデジタルフォトフレーム１００が用いられる。このデジタルフォトフレーム１００は、操作部材１０１と、カメラ１０２と、接続ＩＦ（インターフェース）１０３と、制御装置１０４と、記憶媒体１０５と、モニタ１０６とを備える。操作部材１０１は、デジタルフォトフレーム１００のユーザーによって操作される種々の操作ボタン等を含む。

カメラ１０２は、ＣＣＤイメージセンサまたはＣＭＯＳイメージセンサを備えている。このカメラ１０２は、図２に示すように、デジタルフォトフレーム１００の前面に配置され、デジタルフォトフレーム１００に対面するユーザーを撮像することができる。カメラ１０２が備えるイメージセンサから出力される画像信号は、制御装置１０４へ出力される。制御装置１０４は、画像信号に基づいて画像データを生成する。

接続ＩＦ１０３は、デジタルフォトフレーム１００と外部機器とを接続するためのインターフェースである。本実施形態のデジタルフォトフレーム１００は、この接続ＩＦ１０３を介して画像データが記録されている外部機器、例えばデジタルカメラ等と接続される。そして、制御装置１０４は、接続ＩＦ１０３を介して外部機器から画像データを取り込んで、記憶媒体１０５に記録する。

なお、接続ＩＦ１０３としては、外部機器とデジタルフォトフレーム１００とを有線接続するためのＵＳＢインターフェースや、無線接続するための無線ＬＡＮモジュールなどが用いられる。あるいは、接続ＩＦ１０３の代わりにメモリカードスロットを設け、該メモリカードスロットに画像データが記録されたメモリカードを挿入することにより、画像データを取り込むように構成してもよい。

制御装置１０４は、ＣＰＵ、メモリ、およびその他の周辺回路によって構成され、デジタルフォトフレーム１００の全体を制御する。なお、制御装置１０４を構成するメモリは、例えばＳＤＲＡＭ等の揮発性のメモリである。このメモリは、ＣＰＵがプログラム実行時にプログラムを展開するためのワークメモリや、データを一時的に記録するためのバッファメモリを含む。

記憶媒体１０５は、フラッシュメモリ等の不揮発性のメモリであって、制御装置１０４によって実行されるプログラムや、接続ＩＦ１０３を介して取り込まれた画像データ等が記録される。モニタ１０６は、例えば３Ｄ液晶パネルによって構成され、図２に示すように、再生対象の画像２ｂを表示する。具体的には、モニタ１０６の表示面に視差バリア（不図示）を備えており、視差が異なる複数の画像をそれぞれ異なる視点に向けて表示（多視点表示）させる。これにより、ユーザーが３Ｄ画像を立体的に観察し得る。

制御装置１０４は、再生対象画像２ｂをモニタ１０６に表示させる場合に、２枚（またはそれ以上）の視差像を上下方向に長く切って交互に並べて表示させる。上記視差バリアの周期は、上記視差像を並べる周期と同じに構成され、該視差バリアの開口部の幅は視差像と同じである。ユーザーがこの画像を所定距離から観察すると、左右の目で別々の画像を分離して観察することができるので両眼視差が発生する。このような立体視を得るための表示は公知技術であるため、ここでは詳細説明を省略する。

制御装置１０４はさらに、カメラ１０２によって撮像された画像に基づいてユーザーの手２ａの動きを検出し、ユーザーの手２ａが横に移動したことを検出した場合には、図２に示すように、ユーザーの手２ａの動きに従って再生中の画像２ｂを切り替える。例えば、制御装置１０４は、ユーザーの手２ａが左方向に移動したことを検出した場合には、再生中の画像２ｂを左方向にスライドさせるとともに、１つ後の画像も左にスライドさせて表示する。一方、制御装置１０４は、ユーザーの手２ａが右方向に移動したことを検出した場合には、再生中の画像２ｂを右方向にスライドさせるとともに、１つ前の画像も右にスライドさせて表示する。このように、ユーザーは、手の振りによって直感的に表示する画像の切り替えを指示することができる。

第一の実施形態では、再生中の画像２ｂのうち、ユーザーの手２ａと重なって観察される領域の周辺領域における表示態様を変化させる。以下、制御装置１０４による、ユーザーの手２ａの動きに応じた表示制御処理について説明する。

図３は、ユーザーの手２ａの動きに応じた表示制御処理の流れを示すフローチャートである。図３に示す処理は、モニタ１０６で画像２ｂの再生表示を開始すると起動するプログラムとして、制御装置１０４によって実行される。なお、モニタ１０６は、該モニタ１０６からたとえば５０cm〜１m離れて観察する場合に適した視差像を表示するように構成されている。

図３のステップＳ１０において、制御装置１０４は、カメラ１０２による画像の撮像を開始させる。第一の実施形態では、カメラ１０２は所定のフレームレート（たとえば３０フレーム／秒）で撮像を行うこととし、制御装置１０４にはカメラ１０２から該フレームレートに応じた時間間隔で連続して画像データが入力される。制御装置１０４は、撮像を開始させるとステップＳ２０へ進む。

ステップＳ２０において、制御装置１０４は、カメラ１０２から入力される画像データに基づいて、入力画像内にユーザーの手２ａが写っているか否かを判断する。例えば、あらかじめユーザーの手２ａの画像をテンプレート画像として記憶媒体１０５に記録しておき、制御装置１０４が入力画像とテンプレート画像とのマッチング処理を行うことにより、入力画像内にユーザーの手２ａが写っているか否かを判断する。制御装置１０４は、ユーザーの手２ａが写っていると判断した場合にステップＳ２０を肯定判定してステップＳ３０へ進む。これに対して、ユーザーの手２ａが写っていないと判断した場合の制御装置１０４は、ステップＳ２０を否定判定してステップＳ８０へ進む。

ステップＳ３０において、制御装置１０４は、ステップＳ２０でユーザーの手２ａを検出したことに伴い、モニタ１０６の画面上でユーザーの手２ａと重なって観察される領域の周辺において、以下のように画像の表示態様を変化させる。図４は、画像２ｂを再生表示中のモニタ１０６を例示する図である。図５は、画像２ｂを再生表示中のモニタ１０６の前にユーザーが手２ａをかざした場合を例示する図である。

制御装置１０４は、たとえば、モニタ１０６の画面上で手２ａと重なって観察される領域の周辺領域５における表示輝度を周辺領域５以外の他の領域の表示輝度に比べて相対的に暗くするように表示制御を行う。このように表示態様を変化させることで、ユーザーに対して周辺領域５が他の領域と切り離されているという印象を与える。

図６は周辺領域５を説明する図である。図６において、ユーザーは、左右の目６１、６２で観察画像に含まれる物体６３〜６６を観察する。ユーザーが手２ａをかざしたので、ユーザーにとって物体６３〜６６を観察しづらくなる。符号Ａは、ユーザーから見えない領域を示す。符号Ｂは、左右の目６１、６２の少なくとも一方が手２ａの陰に入ることで、適切な視差が得られない領域を示す。符号Ｃは、手２ａをかざしても適切な視差が得られる領域を示す。

図５に例示した周辺領域５は、図６において符号Ｂで示した領域に対応する。符号Ｂおよび符号Ａで示した領域は、ユーザーが左右の画像を分離して観察することができない。このため、モニタ１０６の表示画面上で周辺領域５を観察するユーザーにとって、観察画像の立体感が損なわれて違和感を感じやすい。しかしながら、ユーザーに対して周辺領域５が他の領域と切り離されているような印象を与えることで、立体視できないことに起因する違和感を軽減させる。

記憶媒体１０５には、あらかじめカメラ１０２からユーザーの手２ａまでの距離と、カメラ１０２で撮像した画面における撮影ユーザーの手２ａの位置とに関連づけて、モニタ１０６の表示画面において手２ａと重なって観察される領域を特定する情報と、表示態様の変化を行うべきモニタ１０６の表示画面上の座標と範囲を示す情報とがそれぞれ記憶されている。制御装置１０４は、カメラ１０２で撮像された画像に基づいて、上記記憶媒体１０５から上記情報を読み出し、該読み出し情報にしたがって表示態様を変化させる範囲（周辺領域５に対応）を特定した上で、モニタ１０６に対する表示制御を行う。

なお、表示態様の変化として周辺領域５における表示輝度を他の領域に比べて相対的に下げる他に、周辺領域５における色の彩度を他の領域に比べて相対的に下げたり、周辺領域５におけるコントラストを他の領域に比べて相対的に低下させるように表示制御してもよい。また、これらの各表示制御を適宜組み合わせてもよい。

制御装置１０４は、その後、ステップＳ４０へ進み、カメラ１０２から時系列で入力される画像データ間での画像内における手２ａの位置の変化を監視することにより、画像内におけるユーザーの手２ａの位置が変化したか否か、すなわちユーザーの手２ａの動きを検出したか否かを判断する。制御装置１０４は、手２ａの動きを検出した場合にステップＳ４０を肯定判定してステップＳ５０へ進む。制御装置１０４は、手２ａの動きを検出しない場合にはステップＳ４０を否定判定してステップＳ６０へ進む。

ステップＳ５０において、制御装置１０４は、ステップＳ４０で検出したユーザーの手２ａの動きに応じて再生中の画像２ｂを操作する。ユーザーの手２ａが横に移動したことを検出した場合には、図２に示すように、ユーザーの手２ａの動きに従って再生中の画像２ｂを切り替える。例えば、ユーザーの手２ａが左方向に移動したことを検出した場合には、再生中の画像２ｂを左方向にスライドさせるとともに、１つ後の画像も左にスライドさせて表示する。一方、制御装置１０４は、ユーザーの手２ａが右方向に移動したことを検出した場合には、再生中の画像２ｂを右方向にスライドさせるとともに、１つ前の画像も右にスライドさせて表示する。これによって、ユーザーは、手の振りによって直感的に表示する画像の切り替えを指示することができる。

ステップＳ６０において、制御装置１０４は、カメラ１０２から入力される画像データに基づいて、入力画像内にユーザーの手２ａが写っているか否かを判断する。制御装置１０４は、ユーザーの手２ａが継続して写っていると判断した場合には、ステップＳ６０を肯定判定してステップＳ４０へ戻り、上述した処理を繰り返す。制御装置１０４は、ユーザーの手２ａが写っていないと判断した場合には、ステップＳ６０を否定判定してステップＳ７０へ進む。

ステップＳ７０において、制御装置１０４は、ステップＳ３０以降に継続している画像の表示態様の変化を元に戻すように表示制御を行う。これにより、ユーザーの手２ａと重なって観察される領域の周辺領域５に対する表示態様の変化が終了する。

その後、ステップＳ８０へ進み、制御装置１０４は、ユーザーによって画像の再生を終了するように指示されたか否かを判断する。制御装置１０４は、再生終了指示を示す操作信号を操作部材１０１から受けると、ステップＳ８０を肯定判定して図３による処理を終了する。制御装置１０４は、再生終了指示を示す操作信号を受けない場合は、ステップＳ８０を否定判定してステップＳ２０へ戻る。

以上説明した第一の実施形態によれば、次の作用効果が得られる。
（１）デジタルフォトフレーム１００は、複数の視点に対して視差が異なる少なくとも２つの画像（視差像）を表示するモニタ１０６と、モニタ１０６前方の手２ａを検出するカメラ１０２と、カメラ１０２による検出結果に基づいて、モニタ１０６の表示画面のうち手２ａと重なって観察される領域を特定する制御装置１０４と、モニタ１０６が表示する画像のうち、特定された領域の周辺領域５の表示態様を他の領域と異ならせるように表示制御する制御装置１０４と、を備えるようにしたので、多視点表示する場合の表示画面上の手２ａが引き起こすユーザーの違和感を軽減できる。具体的には、モニタ１０６の表示画面上で観察するユーザーにとって、周辺領域５における観察画像の立体感が損なわれて違和感を感じやすいところ、ユーザーに対して周辺領域５が他の領域と切り離されているような印象を与えることで、立体視できないことに起因する違和感を軽減させることができる。

（２）上記（１）のデジタルフォトフレーム１００において、制御装置１０４は、表示画像の輝度、色、コントラストの少なくとも１つを変化させることによって表示態様を異ならせるので、適切に、ユーザーに対して周辺領域５が他の領域と切り離されているような印象を与えることができる。

（３）上記（１）、（２）のデジタルフォトフレーム１００において、カメラ１０２は、イメージセンサから出力される画像信号に基づいて手２ａを検出するので、モニタ１０６前方の手２ａを適切に検出することができる。

（４）上記（１）〜（３）のデジタルフォトフレーム１００において、カメラ１０２で検出された手２ａの動きに応じた操作を受け付ける制御装置１０４をさらに備えるようにした。多視点表示する機器に対し、いわゆるジェスチャー操作を受け付けるように構成する場合でも、立体視できないことに起因する違和感を軽減させることができる。

（５）上記（１）〜（４）のデジタルフォトフレーム１００において、カメラ１０２は人の手２ａを検出するので、モニタ１０６の前方に手２ａをかざしたことによって立体視できないことに起因する違和感を軽減させることができる。

（第二の実施形態）
第二の実施形態では、モニタ１０６の画面上で手２ａと重なって観察される領域の周辺領域５に対し、他の領域と比べて視差像の視差を大きく異ならせることによって表示態様を変化させる。このように表示態様を変化させることで、ユーザーに対して周辺領域５が他の領域と切り離されているという印象を与える。

図７は、周辺領域５を説明する図である。図７において、ユーザーは、左右の目７１、７２で観察画像に含まれる物体７３〜７６を観察する。ユーザーが手２ａをかざしたので、ユーザーにとって物体７３〜７６を観察しづらくなる。符号Ａは、ユーザーから見えない領域を示す。符号Ｂは、左右の目７１、７２の少なくとも一方が手２ａの陰に入ることで、適切な視差が得られない領域を示す。符号Ｃは、手２ａをかざしても適切な視差が得られる領域を示す。周辺領域５は、上記符号Ｂで示した領域に対応する。

第二の実施形態の制御装置１０４は、第一の実施形態と同様に、カメラ１０２で撮像された画像に基づいて表示態様を変化させる範囲（周辺領域５に対応）を特定した上で、モニタ１０６に対する表示制御を行う。図８は、視差を変化させた状態を説明する図である。制御装置１０４は、領域Ｂのうち領域Ｃとの境界側の領域Ｂ２について、モニタ１０６に表示させる視差像の視差を他の領域における視差と異ならせることにより、画像にとって遠方に見えるように制御する。図８の例では、物体７３の一部７３Ｂと、物体７６の一部７６Ｂとが遠方にあるように視差が与えられる。物体７３の一部７３Ｂおよび物体７６の一部７６Ｂは、それぞれ領域Ｂ２に対応する。

このように、第二の実施形態では物体が遠方に存在するように見せることで、ユーザーに対して周辺領域５が他の領域と切り離されているような印象を与え、立体視できないことに起因する違和感を軽減させる。

以上説明した第二の実施形態によれば、上記第一の実施形態と同様の作用効果が得られる。そしてさらに、デジタルフォトフレーム１００において、制御装置１０４は、表示画像の視差を変化させることによって表示態様を異ならせるので、適切に、ユーザーに対して周辺領域５が他の領域と切り離されているような印象を与えることができる。

（変形例１）
モニタ１０６に対面するユーザーを照明する赤外光源を設けるようにしてもよい。この場合のカメラ１０２は、赤外光源で照明されたユーザーの手２ａを撮像する。赤外画像を撮像するように構成することで、赤外画像において手２ａに相当する領域の輝度が高くなるため、該赤外画像の中から手２ａを検出する処理が容易になる。

（変形例２）
上記実施形態では、ユーザーの手２ａを検出するためにカメラ１０２を用いる方法を説明したが、非タッチ式の静電検出方式を採用してユーザーの手を検出してもよい。また、ゲーム機用の距離センサを用いて構成してもよい。

（変形例３）
上述した説明では、ユーザーがモニタ１０６の前に片手２ａをかざす例を説明したが、両手をかざすようにしてもよい。この場合の制御装置１０４は、カメラ１０２で撮像された画像に基づいて、モニタ１０６の表示画面において左右それぞれの手と重なって観察される複数の領域をそれぞれ特定し、これら複数の周辺領域における表示態様を、他の領域の表示態様に比べて相対的に異ならせるように表示制御を行う。変形例３では、ユーザーが両手をかざす場合にも、該ユーザーに対して両手に対応するそれぞれの周辺領域が他の領域と切り離されているという印象を与えることができる。

なお、上記説明ではモニタ１０６の前にかざす手の指を離していないが、指と指とを離すように広げた手をかざす場合には、指ごとに周辺領域を設け、各指の周辺領域においてそれぞれの周辺領域における表示態様を、他の領域の表示態様に比べて相対的に異ならせるように表示制御を行うとよい。

（変形例４）
上記実施形態の説明では、手２ａと重なって見える領域の周辺領域５において、他の領域の表示態様に比べて異なる表示態様で一様に表示制御するようにした。この代わりに、周辺領域５と他の領域との境界において表示態様を徐々に変化させることにより、グラデーション的に周囲になじむように表示態様を制御してもよい。

（変形例５）
画像表示装置としてデジタルフォトフレームを例に説明したが、モニタ１０６およびカメラ１０２を備えるものであれば、デジタルカメラや携帯電話機、テレビなどにも本発明を適用可能である。

以上の説明はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。また、各実施形態および各変形例を適宜組み合わせてもよい。

２ａ…手
２ｂ…表示画像
５…周辺領域
１００…デジタルフォトフレーム
１０１…操作部材
１０２…カメラ
１０３…接続ＩＦ
１０４…制御装置
１０５…記憶媒体
１０６…モニタ

Claims (6)

1. 複数の視点に対して視差が異なる少なくとも２つの画像を表示する表示部と、
   前記表示部前方の物体を検出する検出部と、
   前記検出部による検出結果に基づいて、前記表示部の表示画面のうち前記物体と重なって観察される領域を特定する領域特定部と、
   前記表示部が表示する画像のうち、前記特定された領域の周辺領域の表示態様を他の領域と異ならせるように表示制御する表示制御部と、
   を備えることを特徴とする画像表示装置。
2. 請求項１に記載の画像表示装置において、
   前記表示制御部は、前記表示画像の輝度、色、コントラストの少なくとも１つを変化させることによって前記表示態様を異ならせることを特徴とする画像表示装置。
3. 請求項１または２に記載の画像表示装置において、
   前記表示制御部は、前記表示画像の前記視差を変化させることによって前記表示態様を異ならせることを特徴とする画像表示装置。
4. 請求項１〜３のいずれか一項に記載の画像表示装置において、
   前記検出部は、イメージセンサから出力される画像信号に基づいて前記物体を検出することを特徴とする画像表示装置。
5. 請求項１〜４のいずれか一項に記載の画像表示装置において、
   前記検出部で検出された物体の動きに応じた操作を受け付ける操作制御部をさらに備えることを特徴とする画像表示装置。
6. 請求項１〜５のいずれか一項に記載の画像表示装置において、
   前記物体は人の手であることを特徴とする画像表示装置。

Images