JP2011077679A - 立体画像表示装置 - Google Patents

Abstract

【課題】立体表示画像に応じて立体視が可能な範囲を変え、閲覧性を向上させる。
【解決手段】左目用データ、右目用データの横方向の解像度として解析し、解像度が所定のレベル以上に細かいか否かを判断する（ステップＳ１３）。解像度が所定のレベル以上に細かい場合（ステップＳ１３でＮＯ）は、左目用データ及び右目用データの解像度を低くすることによる画質の劣化の影響が大きいため、左目用データ及び右目用データをそれぞれ１箇所に集約させ、１箇所で立体画像の閲覧が可能な高解像度表示を行う（ステップＳ１４）。解像度が所定のレベル以上に細かくない場合（ステップＳ１３でＹＥＳ）は、左目用データ及び右目用データの解像度を低くすることによる画質の劣化の影響が小さいため、左目用データ及び右目用データをそれぞれ複数箇所に集約させる多視点表示を行い、複数箇所で立体視を可能とし、閲覧性を良くする（ステップＳ１５）。
【選択図】 図６

Description

本発明は立体画像表示装置に係り、特に右目用の画像及び左目用の画像を視認可能な位置が調整可能な立体画像表示装置に関する。

特許文献１には、閲覧者の頭部の位置情報を検出し、その頭部の位置情報に基づいて最適な位置に立体像が表示されるように光学特性可変レンズを制御し、左目用の画像を左目に入光させ、右目用の画像を右目に入光させることで、自然に立体像が閲覧可能な３次元ディスプレイ装置が記載されている。

特許文献２には、左右のバックライトからの光を凹面鏡で反射させ、それぞれ平行光として左目、右目に入光させることで、閲覧者が左右にずれても立体表示画像の視認性が損なわれない液晶表示装置が記載されている。

特許文献３には、閲覧者の要求やデータに含まれる画像の枚数に応じた枚数の画像を１枚の表示手段に表示させ、かつ画像の枚数に応じてバリア開口パターンを調整することでＮ眼の立体視が可能な立体表示装置が記載されている。

特開平７−７２４４５号公報 特開２００４−２４０４３５号公報 特開２００６−１１５１５１号公報

しかしながら、特許文献１に記載された発明においては、閲覧者が１人であり、その閲覧者が大きく移動する場合には対応可能であるが、閲覧者が複数いる場合に対応できないという問題がある。また、閲覧者の移動が検出できたとしても、検出された位置に応じて光学特性可変レンズを制御し終わるまでは、閲覧者が立体表示画像を視認できないという問題がある。

特許文献２に記載された発明においては、装置、特に厚さ方向が大型化してしまうという問題がある。

特許文献３には、表示手段に２枚以上の画像を表示する点については記載されているが、立体表示画像をどのような位置で視認させるかという点について記載されていない。したがって、特許文献３に記載された発明を用いても、立体表示画像の視認性を改善することはできない。

本発明はこのような事情に鑑みてなされたもので、立体表示画像に応じて立体視が可能な範囲を変えることで、立体表示画像を閲覧しやすくすることができる立体画像表示装置を提供することを目的とする。

請求項１に記載の立体画像表示装置は、左目用の画像と右目用の画像とを取得する取得手段と、左目用の画像が表示される縦に細長い短冊状の左目映像表示部と、右目用の画像を表示する縦に細長い短冊状の右目映像表示部とが横方向に交互に配列された表示手段であって、前記左目映像表示部及び前記右目映像表示部の位置及び幅の少なくとも１つが調整可能な表示手段と、前記左目映像表示部に前記取得手段により取得された左目用の画像を表示させ、前記右目映像表示部に前記取得手段により取得された右目用の画像を表示させる表示制御手段と、前記左目映像表示部に表示された左目用の画像を左目のみで視認可能とし、前記右目映像表示部に表示された右目用の画像を右目のみで視認可能とする画像分離手段と、前記取得手段により取得された左目用の画像又は右目用の画像の横方向の画像の細かさが所定のレベル以上であるか否かを判断する判断手段と、前記判断手段による判断結果に基づいて、前記左目映像表示部に表示された左目用の画像を左目のみで視認でき、かつ前記右目映像表示部に表示された右目用の画像を右目のみで視認できる範囲を異ならせるように前記表示手段及び前記画像分離手段を制御する制御手段と、を備えたことを特徴とする。

請求項１に記載の立体画像表示装置によれば、左目用の画像と右目用の画像とが取得され、取得された左目用の画像又は右目用の画像の横方向の画像の細かさが所定のレベル以上であるか否かが判断される。この判断結果に基づいて、左目映像表示部に表示された左目用の画像を左目のみで視認でき、かつ右目映像表示部に表示された右目用の画像を右目のみで視認できる範囲を異ならせるように、左目映像表示部及び前記右目映像表示部の位置及び幅の少なくとも１つを調整すると共に画像分離手段を制御する。これにより、左目用の画像と右目用の画像と基づいて適切に立体表示画像を表示することができると共に、表示する画像に応じて立体視が可能な範囲を異ならせることができる。

請求項２に記載の立体画像表示装置は、請求項１に記載の立体画像表示装置において、前記画像分離手段は、前記表示手段の手前に設けられ、位置及び大きさが調整可能な開口部とバリアとを有する視差バリアであり、前記制御手段は、前記開口部及びバリアの位置及び大きさを調整することを特徴とする。

請求項２に記載の立体画像表示装置によれば、表示手段の手前に設けられ、位置及び大きさが調整可能な開口部とバリアとを有する視差バリアを用いるため、左目映像表示部に表示された左目用の画像を左目のみで視認でき、かつ右目映像表示部に表示された右目用の画像を右目のみで視認できる範囲を異ならせる事が容易となる。

請求項３に記載の立体画像表示装置は、請求項１又は２に記載の立体画像表示装置において、前記制御手段は、前記横方向の画像の細かさが所定のレベル以上である場合には、所定の位置でのみ立体視が可能となり、前記横方向の画像の細かさが所定のレベル以上でない場合には、複数の位置で立体視が可能となるように前記表示手段及び前記画像分離手段を制御することを特徴とする。

請求項３に記載の立体画像表示装置によれば、横方向の画像の細かさが所定のレベル以上である場合、すなわち画質の劣化が目立ちやすい画像である場合には所定の位置でのみ立体視を可能とする。これにより、画質の劣化が目立ちやすい場合には画質を重視した立体表示を行うことができる。また、横方向の画像の細かさが所定のレベル以上でない場合、すなわち画質の劣化が目立ちにくい画像である場合には複数の位置で立体視を可能とする。これにより、画質の劣化が目立ちにくい場合には立体視を可能とする範囲を広げ、立体表示画像の閲覧性を高くすることができる。

請求項４に記載の立体画像表示装置は、請求項３に記載の立体画像表示装置において、閲覧者の位置を検出する閲覧者検出手段を備え、前記制御手段は、前記横方向の画像の細かさが所定のレベル以上である場合には、前記閲覧者検出手段により検出された閲覧者の位置を前記所定の位置とし、前記横方向の画像の細かさが所定のレベル以上でない場合には、前記閲覧者検出手段により検出された閲覧者の位置を含む複数の位置で立体視を可能とすることを特徴とする。

請求項４に記載の立体画像表示装置によれば、閲覧者の位置が検出され、閲覧者の位置で立体視を可能とする。横方向の画像の細かさが所定のレベル以上でない場合には、閲覧者の位置を含む複数の位置で立体視を可能とする。これにより、画質の劣化が目立ちにくい場合には、閲覧者が移動しても立体視を可能とすることができる。

請求項５に記載の立体画像表示装置は、請求項１から４のいずれかに記載の立体画像表示装置において、前記表示手段に表示された左目用の画像及び右目用の画像の視野角を調整する視野角調整手段と、前記判断手段による判断結果に基づいた視野角となるように前記視野角調整手段を制御する視野角制御手段と、を備えたことを特徴とする。

請求項５に記載の立体画像表示装置によれば、横方向の画像の細かさに応じて視野角が制御される。これにより、閲覧者を立体視が可能な範囲へ誘導することができる。

本発明によれば、立体表示画像に応じて立体視が可能な範囲を変えることで、立体表示画像を閲覧しやすくすることができる。

本発明の第１の実施の形態の立体画像表示装置１の正面斜視図である。 立体表示画像表示部の概略を示す正面斜視図である。 立体表示画像表示部に立体表示画像を表示する方法を説明する図である。 立体画像表示装置１の電気的な構成を示すブロック図である。 画像解析部が立体表示画像の解像度を解析する方法を説明する図である。 立体画像表示装置１の画像表示処理の流れを示すフローチャートである。 高解像度表示が行われた場合の概略図である。 多視点表示が行われた場合の概略図である。 本発明の第２の実施の形態の立体画像表示装置２の立体表示画像表示部の概略を示す正面斜視図である。 立体画像表示装置２が視野角の調整を行う方法を説明する図である。 立体画像表示装置２の電気的な構成を示すブロック図である。 立体画像表示装置２の画像表示処理の流れを示すフローチャートである。 高解像度表示が行われた場合の概略図である。 多視点表示が行われた場合の概略図である。

以下、添付図面に従って本発明に係る立体画像表示装置を実施するための最良の形態について詳細に説明する。

＜第１の実施の形態＞
図１は、本発明の第１の実施の形態に係る立体画像表示装置１の概略を示す正面斜視図である。立体画像表示装置１は、１人又は複数の人数で立体表示画像が閲覧可能な表示装置であり、静止画のみでなく、動画の再生も可能である。

立体画像表示装置１は、図１に示すように、主として、略矩形の板状の本体部１０と、本体部１０の正面に露出するように設けられた立体表示画像表示部１１と、撮影部１２とで構成される。

立体表示画像表示部１１は、図２に示すように、主として、表示部１３と、可変視差バリア１４とで構成される。

表示部１３は、例えば、カラー表示が可能な液晶ディスプレイであり、図３に示すように、縦に細長い短冊状の表示ユニットが横方向に複数並んで形成される。左目用データが表示される左目映像表示部１３ａ及び右目用データが表示される右目映像表示部１３ｂは、１又は隣接する２以上の表示ユニットにより構成され、表示ユニットの数を変更することにより幅が調整可能である。左目映像表示部１３ａ及び右目映像表示部１３ｂの幅が調整された後で、左目映像表示部１３ａ及び右目映像表示部１３ｂが交互に位置するように左目映像表示部１３ａ及び右目映像表示部１３ｂの位置が調整される。

左目映像表示部１３ａには、左目用データを基本ユニットと同じように短冊状に区切ったときに左目映像表示部１３ａに相当する位置にある左目用データが表示され、右目映像表示部１３ｂには、右目用データを基本ユニットと同じように短冊状に区切ったときに右目映像表示部１３ｂに相当する位置にある右目用データが表示される。なお、表示部１３としては、液晶ディスプレイに限らず、ＣＲＴ、プラズマディスプレイ、有機ＥＬ等の様々なディスプレイを用いることができる。

可変視差バリア１４は、表示部１３の前面（閲覧者側）に所定の距離を隔てて設けられ、短冊状の光透過部（開口部）と光遮蔽部（バリア）とが表示される。可変視差バリア１４は、オフ状態で光を透過してオン状態で光を遮断する液晶ディスプレイであり、開口部、バリアの位置、大きさを任意に調整可能である。表示部１３の左目映像表示部１３ａに表示された左目用データと、右目映像表示部１３ｂに表示された右目用データとを閲覧者が可変視差バリア１４の開口部を通じて見ることにより、閲覧者の右目では右目用の画像、左目では左目用の画像だけが視認される。これにより、閲覧者が表示部１３に表示された画像を立体表示画像として視認することができる。

撮影部１２は、デジタルカメラ、ビデオカメラ等の撮像装置であり、立体表示画像表示部１１の正面の画像を連続して撮影する。また、撮影部１２は、撮影した画像から閲覧者の顔領域を認識し、眼の位置を検出する。

次に、立体画像表示装置１の電気的な構成について説明する。図４に示すように、立体画像表示装置１は、主として、ＣＰＵ５０と、メモリ制御部５１と、メインメモリ５２と、デジタル信号処理部５３と、信号入力部５４と、外部Ｉ／Ｏ（入出力部）５５と、メディア制御部５６と、記録メディア５７と、画像解析部５８と、視差バリア制御部５９と、左目映像制御部６０ａと、右目映像制御部６０ｂと、撮影光学系６１と、撮像素子６２と、撮像素子駆動／撮像信号処理部６３と、顔検出部６４とで構成される。

ＣＰＵ５０は、立体画像表示装置１の全体の動作を統括制御する制御手段として機能するとともに、各種の演算処理を行う演算手段として機能する。ＣＰＵ５０は、各種制御用のプログラムや設定情報などを格納するメモリ領域を有し、このプログラムや設定情報に基づいて各種処理を実行し、立体画像表示装置１の各部を制御する。

また、ＣＰＵ５０は、信号入力部５４又はメディア制御部５６から入力された右眼用データ及び左眼用データを非圧縮の画像データとする。さらに、ＣＰＵ５０は、表示部１３の左目映像表示部１３ａ及び右目映像表示部１３ｂの位置、幅を調整する。ＣＰＵ５０が行う左目映像表示部１３ａ及び右目映像表示部１３ｂの位置、幅を調整する処理の詳細については、後に詳述する。

メインメモリ５２は、ＣＰＵ５０等の作業用領域や画像データ等の一時記憶領域として利用される。メインメモリ５２には、メモリ制御部５１を介して、ＣＰＵ５０により非圧縮の画像データとされた右眼用データ及び左眼用データが展開され、各種処理が行われる。

デジタル信号処理部５３は、メインメモリ５２に展開された右眼用データ及び左眼用データのＹＣ信号を、表示部１３に最適な状態で表示されるように、サイズ変換、画質補正等の処理を行う。

また、デジタル信号処理部５３は、サイズ変換、画質補正等の処理が行われた右眼用データ及び左眼用データのＹＣ信号を、所定方式の映像信号（例えば、ＮＴＳＣ方式のカラー複合映像信号）に変換する。

信号入力部５４は、外部Ｉ／Ｏ５５を介して外部機器（立体表示画像が撮影可能なデジタルカメラ、ＰＣ、ハードディスクドライブ等の記憶装置等）から送信される立体表示画像（右目用データ及び左目用データ）を取得し、メモリ制御部５１等に入力する。

外部Ｉ／Ｏ５５はＳＣＳＩや双方向パラレルＩ／Ｆ、ＨＤＭＩ等の高速で双方向通信が可能なインタフェースが好ましいが、双方向に限定されるものではない。

メディア制御部５６は、記録メディア５７に記録された立体表示画像（右目用データ及び左目用データ）を取得し、メモリ制御部５１等に入力する。

記録メディア５７は、立体画像表示装置１に着脱自在なｘＤピクチャカード（登録商標）、ＳＤカード（登録商標）に代表される半導体メモリカード、可搬型小型ハードディスク、磁気ディスク、光ディスク、光磁気ディスク等、種々の記録媒体である。記録メディア５７には、Ｅｘｉｆファイル等の所定のフォーマットの画像ファイルとして立体表示画像（右目用データ及び左目用データ）が格納されている。

画像解析部５８は、立体表示画像データの横方向の解像度を解析し、立体表示画像が所定のレベル以上に細かいか否かを判断する。ここで、解像度とは、左目用データ及び右目用データの画像の細かさを示す指標であり、シーンに依存するものである。

本実施の形態では、画像解析部５８は、図５に示すように、左目用データ、右目用データを基準となる画素数（例えば、表示部１３と同じ画素数）に変換し、画素数変換後の左目用データ、右目用データの所定のライン（例えば、縦方向の略中央のライン）について横方向（水平方向）の空間周波数を分析し、所定の周波数より高い周波数成分（高周波成分）の積算値を算出する。そして、画像解析部５８は、積算値が所定の値より大きい場合には、解像度が所定のレベル以上に高い、すなわち画像が所定のレベル以上に細かいと判断する。なお、左目用データ、右目用データは同一の被写体を異なる方向から撮影した画像であるため、解像度は、少なくとも左目用データ及び右目用データの一方について調べれば足りる。

なお、解像度を解析する方法は、所望のラインについて水平方向の空間周波数を分析し、所定の周波数より高い周波数成分（高周波成分）の積算値を解像度として算出する方法に限らない。例えば、水平方向の所望のラインの画像信号の空間周波数を分析し、最も高い周波数成分を解像度としてもよい。また、空間周波数の分析は、水平方向の所望のラインの画像信号に基づいて行う場合に限らない。例えば、全てのラインについて横方向の空間周波数を分析し、その平均値を求めるようにしても良いし、縦方向の全画素（列）の画素値の総和や平均値を各列毎に求め、これに対して横方向の空間周波数を分析するようにしてもよい。また、横方向の全画素に対して行われた空間周波数分析に基づいて解像度を算出する必要はなく、右目用データ、左目用データから主要被写体を抽出し、主要被写体についてのみ横方向の空間周波数分析を行い、これに基づいて解像度を算出するようにしてもよい。なお、画像データから主要被写体を抽出する方法は、既に公知の様々な方法を用いることができるため、説明を省略する。

また、画像解析部５８は、水平方向の空間周波数を分析した結果に限らず、左目用データ、右目用データの画素数を解像度として用いても良い。この場合には、撮影時にカメラ側が設定し、左目用データ、右目用データのタグ情報等に記憶されている画素数の情報を用いることも可能である。

視差バリア制御部５９は、画像解析部５８で算出された解像度に基づいて、視差バリア１４の開口部を調整し、解像度に応じて立体視が可能な範囲を変更する。視差バリア制御部５９が行う制御の詳細については、後に詳述する。

左目映像制御部６０ａは、デジタル信号処理部５３により所定方式の映像信号に変換された左目用データを表示部１３の左目映像表示部１３ａに表示させ、右目映像制御部６０ｂは、デジタル信号処理部５３により所定方式の映像信号に変換された右目用データを表示部１３の右目映像表示部１３ｂに表示させる。

撮影光学系６１は、主として、絞り、フォーカスレンズ、ズームレンズで構成され、撮像素子に被写体像を結像させる。

撮像素子６２は、レンズ光軸上に配置されたＣＣＤ型やＣＭＯＳ型のイメージセンサであり、撮影光学系６１によって結像された被写体の画像を電子的に撮像する。

撮像素子駆動／撮像信号処理部６３は、撮像素子６２及び撮像素子６２の光電荷蓄積・転送動作を制御する。撮像素子６２から出力された撮像信号は、撮像素子駆動／撮像信号処理部６３に入力される。

撮像素子駆動／撮像信号処理部６３は、撮像素子６２から出力された画像信号に対してそれぞれ相関二重サンプリング処理（撮像素子の出力信号に含まれるノイズ（特に熱雑音）等を軽減することを目的として、撮像素子の１画素毎の出力信号に含まれるフィードスルー成分レベルと画素信号成分レベルとの差をとることにより正確な画素データを得る処理）を行い、増幅し、増幅した撮影画像をアナログからデジタルに変換する。

撮像素子駆動／撮像信号処理部６３は、同時化回路（単板ＣＣＤのカラーフィルタ配列に伴う色信号の空間的なズレを補間して色信号の位相を合わせる処理回路）、ホワイトバランス補正回路、ガンマ補正回路、輪郭補正回路、輝度・色差信号生成回路等を含み、ＣＰＵ５０からの指令に従い、撮像素子駆動／撮像信号処理部６３から入力された撮影画像に所要の信号処理を施して、輝度データ（Ｙデータ）と色差データ（Ｃｒ，Ｃｂデータ）とからなる画像データ（ＹＣデータ）を生成し、顔検出部６４に出力する。

顔検出部６４は、撮像素子駆動／撮像信号処理部６３から入力された撮影画像から画像内の顔領域を抽出し、その位置（たとえば、顔領域の重心）を検出する。この顔領域の抽出は、たとえば、原画像から肌色データを抽出し、肌色範囲と判断された測光点のクラスタを顔として抽出する。この他、画像から顔領域を抽出する方法としては、測光データを色相と彩度に変換し、変換した色相・彩度の二次元ヒストグラムを作成し、解析することで、顔領域を判断する方法や、人の顔の形状に相当する顔候補領域を抽出し、その領域内の特徴量から顔領域を決定する方法、画像から人の顔の輪郭を抽出し、顔領域を決定する方法、複数の顔の形状をしたテンプレートを用意し、そのテンプレートと画像との相関を計算し、この相関値により顔候補領域とすることで人の顔を抽出する方法等が知られており、これらの方法を用いて抽出することができる。

また、顔検出部６４は、抽出された顔領域から特徴点を抽出する。特徴点は、たとえば、撮影画像内の黒色とその他の色との境界を求めることにより抽出される。この方法により、主として、目頭、目尻、黒目の境界、眉頭、眉尻、小鼻、口角、唇の略中央部、顔の輪郭が抽出され、これに基づいて閲覧者の左目及び右目の位置が検出される。

このようにして構成された立体画像表示装置１の動作について説明する。以下の処理は、主としてＣＰＵ５０で行われる。図６は、立体表示画像を表示部１３に表示する処理の流れを示すフローチャートである。

電源ボタン（図示せず）が押下されると、外部電源（図示せず）から電力の供給を受け、立体画像表示装置１の電源が投入される。立体画像表示装置１は、表示モードの下で起動し、ＣＰＵ５０は、外部Ｉ／Ｏ５５を介して接続された外部機器又は記録メディア５７に記録された立体表示画像を取得し、非圧縮の画像データとしてメインメモリ５２に展開する。

ＣＰＵ５０は、メインメモリ５２に展開された左目用データ及び右目用データが表示部１３に最適な状態で表示可能か否かを判断する（ステップＳ１０）。最適な状態で表示可能か否かは、表示部１３の解像度、大きさ等と、左目用データ及び右目用データの画素数の画素数、大きさ、解像度等とを比較することにより行われる。左目用データ及び右目用データが表示部１３に最適な状態で表示されないと判断された場合（ステップＳ１０でＮＯ）には、ＣＰＵ５０はデジタル信号処理部５３に指示を出し、デジタル信号処理部５３はサイズ変換等の処理を行う（ステップＳ１１）。

ＣＰＵ５０からの指示に応じて、画像解析部５８は、左目用データ及び右目用データが表示部１３に最適な状態で表示されると判断された場合（ステップＳ１０でＹＥＳ）には、元の左目用データ及び右目用データについて、左目用データ及び右目用データが表示部１３に最適な状態で表示されないと判断された場合（ステップＳ１０でＮＯ）には、サイズ変換処理（ステップＳ１１）後の左目用データ及び右目用データについて、横方向の高周波成分の解像度を解析する（ステップＳ１２）。

画像解析部５８は、ステップＳ１２で求められた解像度が所定のレベル以上に高いか否かを判断する（ステップＳ１３）。本実施の形態では、ステップＳ１２で高周波成分の積算値を求め、求められた高周波成分の積算値の値によって画像の水平コントラストの間隔が表示部１３の画素ピッチの２倍以上か否かを判断し、画像の水平コントラストの間隔が表示部１３の画素ピッチの２倍以上である場合には、解像度が所定のレベルよりも低い、すなわち左目用データ及び右目用データが所定のレベルより粗いと判断する。

ステップＳ１２で求められた画像の水平コントラストの間隔が表示部１３の画素ピッチの２倍以上でない場合（ステップＳ１３でＮＯ）は、解像度が所定のレベル以上に高い、すなわち画像が所定のレベル以上に細かく、左目用データ及び右目用データの解像度を低くすることによる画質の劣化の影響が大きい場合であるため、立体視が可能な範囲を広げて閲覧性を良くするべきではない。したがって、左目用データ及び右目用データをそれぞれ１箇所、合計２箇所に集約させる２視点表示（高解像度表示）を行う（ステップＳ１４）。

ステップＳ１４の処理について説明する。図７は、高解像度表示を行う場合の立体表示画像表示部１１の模式図である。デジタル信号処理部５３は、左眼用データ及び右眼用データを所定方式の映像信号に変換し、所定方式の映像信号に変換された左目用データを左目映像制御部６０ａに入力し、所定方式の映像信号に変換された右目用データを右目映像制御部６０ｂに入力する。

ＣＰＵ５０は、図７に示すように、左目映像表示部１３ａ及び右目映像表示部１３ｂが１つの基本ユニットにより構成されるように左目映像表示部１３ａ及び右目映像表示部１３ｂの幅を調整し、左目映像表示部１３ａ及び右目映像表示部１３ｂが交互に位置するように左目映像表示部１３ａ及び右目映像表示部１３ｂの位置を調整する。

左目映像制御部６０ａは、入力された左目用データを基本ユニットと同じ短冊状に区切り、左目映像表示部１３ａに相当する位置にある左目用データを左目映像表示部１３ａに表示させる。右目映像制御部６０ｂは、入力された右目用データを基本ユニットと同じ短冊状に区切り、右目映像表示部１３ｂに相当する位置にある右目用データを右目映像表示部１３ｂに表示させる。

ＣＰＵ５０は、撮像素子６２で連続的に画像を撮影し、撮像素子駆動／撮像信号処理部６３はその画像信号が連続的に処理し、顔検出部６４は、処理された画像信号から閲覧者の左目及び右目の位置を検出する。

視差バリア制御部５９は、顔検出部６４が検出した閲覧者の左目の位置からは左目用データのみが視認でき、顔検出部６４が検出した閲覧者の右目の位置からは右目用データのみが視認できるように、可変視差バリア１４にバリアを表示する。

これにより、左目映像表示部１３ａに表示された画像が全て閲覧者の左目で視認され、右目映像表示部１３ｂに表示された画像が全て閲覧者の右目で視認されるため、閲覧者は良好な画質の立体表示画像を閲覧することができる。

ステップＳ１２で求められた画像の水平コントラストの間隔が表示部１３の画素ピッチの２倍以上の場合（ステップＳ１３でＹＥＳ）は、解像度が所定のレベルより低い、すなわち画像が所定のレベル以上に細かくなく、左目用データ及び右目用データの解像度を低くすることによる画質の劣化の影響が小さい場合であるため、多少画質が悪くなったとしても、立体視が可能な範囲を広げ、閲覧性を良くするべきである。したがって、左目用データ及び右目用データをそれぞれ複数箇所に集約させる多視点表示を行う（ステップＳ１５）。

ステップＳ１５の処理について説明する。図８は、多視点表示を行う場合の立体表示画像表示部１１の模式図である。デジタル信号処理部５３は、左眼用データ及び右眼用データを所定方式の映像信号に変換し、所定方式の映像信号に変換された左目用データを左目映像制御部６０ａに入力し、所定方式の映像信号に変換された右目用データを右目映像制御部６０ｂに入力する。

本実施の形態では、左目用データ及び右目用データをそれぞれ３箇所、すなわち６視点に集約させる。したがって、ＣＰＵ５０は、図８に示すように、左目映像表示部１３ａ及び右目映像表示部１３ｂが３つの基本ユニットにより構成されるように左目映像表示部１３ａ及び右目映像表示部１３ｂの幅を調整し、左目映像表示部１３ａ及び右目映像表示部１３ｂが交互に位置するように左目映像表示部１３ａ及び右目映像表示部１３ｂの位置を調整する。

左目映像制御部６０ａは、入力された左目用データを基本ユニットと同じ短冊状に区切り、左目映像表示部１３ａに相当する位置にある左目用データを左目映像表示部１３ａに表示させる。右目映像制御部６０ｂは、入力された右目用データを基本ユニットと同じ短冊状に区切り、右目映像表示部１３ｂに相当する位置にある右目用データを右目映像表示部１３ｂに表示させる。

ＣＰＵ５０は、撮像素子６２で連続的に画像を撮影し、撮像素子駆動／撮像信号処理部６３はその画像信号が連続的に処理し、顔検出部６４は、処理された画像信号から閲覧者の左目及び右目の位置を検出する。

視差バリア制御部５９は、顔検出部６４が検出した閲覧者の左目の位置と、左目の位置から所定の距離だけ左右に離れた位置の３箇所で左目用データが視認でき、顔検出部６４が検出した閲覧者の右目の位置と、右目の位置から所定の距離だけ左右に離れた位置の３箇所で右目用データが視認できるように、可変視差バリア１４にバリアを表示する。

これにより、立体視を可能とする範囲が広がり、閲覧者は、今いる位置のみでなく、今いる位置から少し左右に移動した場合にも立体表示画像を視認できるため、立体表示画像が閲覧しやすくなる。

以上、図６に示す処理により立体表示画像が立体表示画像表示部１１に表示される。立体表示画像表示部１１に表示された画像のコマ送りは、図示しない入力手段を操作することにより行なわれ、例えば、右キーが操作されると、次の画像ファイルが外部機器や記録メディア５７から読み出され、同様の方法により立体表示画像表示部１１に表示される。また、左キーが操作されると、一つ前の画像ファイルが外部機器や記録メディア５７から読み出され、立体表示画像表示部１１に表示される。

本実施の形態によれば、左目用データと右目データとを用いて適切に立体表示画像を表示することができる。また、本実施の形態によれば、表示する画像に応じて立体視が可能な範囲を異ならせることができる。すなわち、画質の劣化が目立ちやすい場合には良好な画質で立体表示画像を表示させ、画質の劣化が目立ちにくい場合には立体視を可能とする範囲を広げ、閲覧性を高くすることができる。

なお、本実施の形態では、解像度が所定のレベルより低い場合には、閲覧者が立体表示画像を閲覧しやすいように、閲覧者が今いる位置とその近傍に左目用データ及び右目用データを集約させたが、このような多視点表示は、顔検出部６４が複数人の閲覧者を検出した場合にも適用可能である。視差バリア制御部５９により視点間の距離は任意に調整可能であるため、複数人の閲覧者に対応するためにはこの距離を大きく離すようにすればよい。

また、本実施の形態では、図８において、６視点で立体表示画像が視認可能な場合を示したが、視点数はこれに限定されない。図８に示す場合よりも左目用データ、右目用データの数が多い場合や、画像の細かさの程度が低い場合には、視点数を更に増やすことも可能であるし、視点数を減らすことも可能である。

また、本実施の形態では、図８に示すように、左目映像表示部１３ａに相当する位置にある左目用データを左目映像表示部１３ａに表示させ、右目映像表示部１３ｂに相当する位置にある右目用データを右目映像表示部１３ｂに表示させたが、左目映像表示部１３ａ、右目映像表示部１３ｂを構成する各基本ユニットに表示される画像が異なるため、頭を動かした時に見える立体表示画像が変化することが考えられる。

これを解決するために、図８に示す６視点表示の場合には、左目映像表示部１３ａ、右目映像表示部１３ｂを構成する各基本ユニットに表示される画像を平均した画像を生成し、その平均した画像を左目映像表示部１３ａ、右目映像表示部１３ｂの３つの基本ユニットに表示するようにすればよい。これにより、６視点数の場合には３箇所で同じ立体表示画像を閲覧することができる。

また、本実施の形態では、パララックスバリア方式の可変視差バリア１４を用いたが、パララックスバリア方式に限定されない。例えば、電圧によって可変なレンズアレイを用いることもできる。電圧によって可変なレンズアレイとしては、例えば、電圧を印加して液晶を駆動させる液晶レンズや、電極を用意したセルに二層の液体を封入し、電界を発生させて液体の界面を変形させる液体を用いた可変レンズを挙げることができる。これらの電圧によって可変なレンズアレイは、電圧をかけることでレンズ機能を果たすと共に、電圧を変更することによりレンズ特性が変更である。これにより、左目用データ、右目用データが視認可能な位置を変更することが出来る。

また、本実施の形態では、高解像度表示と多視点表示とで、左目映像表示部１３ａ、右目映像表示部１３ｂの幅及び位置を変更したが、左目映像表示部１３ａ、右目映像表示部１３ｂの幅及び位置のいずれか一方を変更するようにしてもよい。

また、本実施の形態では、撮像素子６２で連続的に撮影された画像から検出された閲覧者の左目及び右目の位置に、又は閲覧者の左目及び右目の位置を含む複数箇所で立体表示画像を閲覧可能としたが、撮像素子６２での撮影及び閲覧者の左目及び右目の位置の検出は必須ではない。例えば、閲覧者の視認位置を設定しておき、その視認位置又は視認位置を含む複数箇所で立体表示画像を閲覧可能としても良い。また、本実施の形態では、静止画を表示する場合を例に説明したが、同様の方法により動画を表示することもできる。

また、本実施の形態では、ステップＳ１３で解像度が所定のレベル以上に高いか否かを判断するにあたり、画像の水平コントラストの間隔が表示部１３の画素ピッチの２倍以上か否かを基準としているが、解像度が所定のレベル以上に高いか否かの判断基準はこれに限られるものではない。

また、本実施の形態では、ステップＳ１３で解像度が所定のレベル以上に高いと判断された場合には２視点表示を行い（ステップＳ１４）、ステップＳ１３で解像度が所定のレベルより低いと判断された場合には多視点表示を行う（ステップＳ１５）ようにしたが、解像度と表示方法の関係はこれに限られるものではない。例えば、画像の解像度が所定のレベル以上に高い場合には多視点表示を行い、解像度が所定のレベルより低い場合には２視点を行うようにしてもよい。この場合には、画像の解像度に応じて視点数を変えることができるという効果、及び表示対象の画像の解像度によらず、常にほぼ一定の解像度の画像を閲覧者に閲覧させることができるという効果が得られる。

＜第２の実施の形態＞
本発明の第２の実施の形態は、立体表示画像データの解像度に解像度に応じて立体視が可能な範囲を変更するとともに視野角を変更するものである。以下、第２の実施の形態の立体画像表示装置２について説明する。なお、第１の実施の形態と同一の部分については同一の符号を付し、説明を省略する。

立体画像表示装置２は、主として、本体部１０と、本体部１０の正面に露出するように設けられた立体表示画像表示部１１−１と、撮影部１２とで構成される。

立体表示画像表示部１１−１は、図９に示すように、主として、表示部１３と、可変視差バリア１４と、視野角調整パネル１５とで構成される。

視野角調整パネル１５は、遮光性のフィンが細かいピッチでリブ状に配列されたフィルタであり、可変視差バリア１４の前面に所定の距離を隔てて設けられる。視野角調整パネル１５は、フィンの高さを調整することにより視野角（可視範囲）が変更可能である。例えば、図１０（ａ）に示すようにフィンの高さを低くすることで視野角が広くなり、図１０（ｂ）に示すようにフィンの高さを高くすることにより視野角が狭くなる。視野角調整パネル１５として用いられるフィルタの構成は既に公知であるため、詳細な説明は省略する。なお、視野角調整パネル１５としては、遮光フィルタに限らず、液晶パネル等を用いることもできる。

次に、立体画像表示装置２の電気的な構成について説明する。図１１に示すように、立体画像表示装置２は、主として、ＣＰＵ５０と、メモリ制御部５１と、メインメモリ５２と、デジタル信号処理部５３と、信号入力部５４と、外部Ｉ／Ｏ（入出力部）５５と、メディア制御部５６と、記録メディア５７と、画像解析部５８と、視差バリア制御部５９と、左目映像制御部６０ａと、右目映像制御部６０ｂと、撮影光学系６１と、撮像素子６２と、撮像素子駆動／撮像信号処理部６３と、顔検出部６４と、視野角調整パネル制御部６５とで構成される。

視野角調整パネル制御部６５は、画像解析部５８で算出された解像度に基づいて視野角調整パネル１５のフィンの高さを調整し、立体表示画像表示部１１−１の視野角を制御する。

このようにして構成された立体画像表示装置２の動作について説明する。図１２は、立体表示画像を表示部１３に表示する処理の流れを示すフローチャートである。以下の処理は、主としてＣＰＵ５０で行われる。

電源ボタン（図示せず）が押下されると、ＣＰＵ５０は、外部Ｉ／Ｏ５５を介して接続された外部機器又は記録メディア５７から立体表示画像を取得してメインメモリ５２に展開し、メインメモリ５２に展開された左目用データ及び右目用データが表示部１３に最適な状態で表示可能か否かを判断する（ステップＳ１０）。左目用データ及び右目用データが表示部１３に最適な状態で表示されないと判断された場合（ステップＳ１０でＮＯ）には、ＣＰＵ５０はデジタル信号処理部５３に指示を出し、デジタル信号処理部５３はサイズ変換等の処理を行う（ステップＳ１１）。

ＣＰＵ５０からの指示に応じて、画像解析部５８は、左目用データ及び右目用データが表示部１３に最適な状態で表示されると判断された場合（ステップＳ１０でＹＥＳ）には、元の左目用データ及び右目用データについて、左目用データ及び右目用データが表示部１３に最適な状態で表示されないと判断された場合（ステップＳ１０でＮＯ）には、サイズ変換処理（ステップＳ１１）後の左目用データ及び右目用データについて、横方向の高周波成分の積算値を解像度として解析し、横方向の高周波成分の積算値を解像度として解析する（ステップＳ１２）。画像解析部５８は、ステップＳ１２で求められた解像度が所定のレベル以上に高いか否か、すなわち画像の水平コントラストの間隔が表示部１３の画素ピッチの２倍以上であるか否かを判断する（ステップＳ１３）。

ステップＳ１２で求められた画像の水平コントラストの間隔が表示部１３の画素ピッチの２倍以上でない場合（ステップＳ１３でＮＯ）は、解像度が所定のレベル以上に高い、すなわち画像が所定のレベル以上に細かく、左目用データ及び右目用データの解像度を低くすることによる画質の劣化の影響が大きい場合であるため、図７に示すように、左目用データ及び右目用データをそれぞれ１箇所、合計２箇所に集約させる２視点表示（高解像度表示）を行う（ステップＳ１４）。

それと共に、図１３に示すように、視野角調整パネル制御部６５は、立体視が可能な位置のみで表示部１３に表示された左目用データ、右目用データが視認でき、立体視が不可能な位置では表示部１３に表示された左目用データ、右目用データが視認できないように、視野角調整パネル１５のフィンを高くし、視野角を狭くする（ステップＳ１６）。これにより、立体視が可能な位置に閲覧者を誘導することができる。

ステップＳ１２で求められた画像の水平コントラストの間隔が表示部１３の画素ピッチの２倍以上の場合（ステップＳ１３でＹＥＳ）は、解像度が所定のレベルより低い、すなわち画像が所定のレベル以上に細かくなく、左目用データ及び右目用データの解像度を低くすることによる画質の劣化の影響が小さい場合であるため、左目用データ及び右目用データをそれぞれ複数箇所に集約させる多視点表示を行う（ステップＳ１５）。

それと共に、図１４に示すように、視野角調整パネル制御部６５は、立体視が可能な全ての位置で表示部１３に表示された左目用データ、右目用データが視認でききるように、視野角調整パネル１５のフィンを低くし、視野角を広くする（ステップＳ１７）。これにより、立体視のし易さが妨げられることなく、立体視が可能な位置に閲覧者を誘導することができる。

本実施の形態によれば、高解像度表示の場合には視野角を狭くし、多視点表示の場合には視野角を広くすることにより、閲覧者を立体視が可能な範囲へ誘導することができる。

なお、本実施の形態では、視野角調整パネル１５を可変視差バリア１４の前面に所定の距離を隔てて設けたが、可変視差バリア１４と視野角調整パネル１５との順番は逆でも良い。すなわち視野角調整パネル１５の前面に可変視差バリア１４が配設されていても良い。

本発明は、１人又は複数の人数で立体表示画像が閲覧可能な表示装置に限らず、デジタルカメラ、ビデオカメラ等の撮像装置のモニタにも適用可能である。

１、２、３、４：立体画像表示装置、１０：撮像素子、１１：移動部材、１２、３５：ボイスコイルモータ、３２、３６：位置検出素子、３４、３８：メインガイド回転止めガイド軸、３９：スライダー、４０：固定部材

Claims (5)

1. 左目用の画像と右目用の画像とを取得する取得手段と、
   左目用の画像が表示される縦に細長い短冊状の左目映像表示部と、右目用の画像を表示する縦に細長い短冊状の右目映像表示部とが横方向に交互に配列された表示手段であって、前記左目映像表示部及び前記右目映像表示部の位置及び幅の少なくとも１つが調整可能な表示手段と、
   前記左目映像表示部に前記取得手段により取得された左目用の画像を表示させ、前記右目映像表示部に前記取得手段により取得された右目用の画像を表示させる表示制御手段と、
   前記左目映像表示部に表示された左目用の画像を左目のみで視認可能とし、前記右目映像表示部に表示された右目用の画像を右目のみで視認可能とする画像分離手段と、
   前記取得手段により取得された左目用の画像又は右目用の画像の横方向の画像の細かさが所定のレベル以上であるか否かを判断する判断手段と、
   前記判断手段による判断結果に基づいて、前記左目映像表示部に表示された左目用の画像を左目のみで視認でき、かつ前記右目映像表示部に表示された右目用の画像を右目のみで視認できる範囲を異ならせるように前記表示手段及び前記画像分離手段を制御する制御手段と、
   を備えたことを特徴とする立体画像表示装置。
2. 前記画像分離手段は、前記表示手段の手前に設けられ、位置及び大きさが調整可能な開口部とバリアとを有する視差バリアであり、
   前記制御手段は、前記開口部及びバリアの位置及び大きさを調整することを特徴とする請求項１に記載の立体画像表示装置。
3. 前記制御手段は、前記横方向の画像の細かさが所定のレベル以上である場合には、所定の位置でのみ立体視が可能となり、前記横方向の画像の細かさが所定のレベル以上でない場合には、複数の位置で立体視が可能となるように前記表示手段及び前記画像分離手段を制御することを特徴とする請求項１又は２に記載の立体画像表示装置。
4. 閲覧者の位置を検出する閲覧者検出手段を備え、
   前記制御手段は、前記横方向の画像の細かさが所定のレベル以上である場合には、前記閲覧者検出手段により検出された閲覧者の位置を前記所定の位置とし、前記横方向の画像の細かさが所定のレベル以上でない場合には、前記閲覧者検出手段により検出された閲覧者の位置を含む複数の位置で立体視を可能とすることを特徴とする請求項３に記載の立体画像表示装置。
5. 前記表示手段に表示された左目用の画像及び右目用の画像の視野角を調整する視野角調整手段と、
   前記判断手段による判断結果に基づいた視野角となるように前記視野角調整手段を制御する視野角制御手段と、
   を備えたことを特徴とする請求項１から４のいずれかに記載の立体画像表示装置。

Images