JP2005352267A - 画像信号処理装置 - Google Patents

Abstract

【課題】 立体表示器に対して立体視不能な位置のユーザに対しても正常な画像を提示できるようにする。
【解決手段】 入力ビデオ信号が平面の画像であり、接続されている外部表示器１１２が平面であれば、制御部１０４は、出力画像切り替え部１０９ａに対して、出力信号を、画像入力部１０１から出力されるバッファされた入力ビデオ信号に切り替えるように制御する。また、同時に立体表示画像処理部１０５に対し、平面画像入力時の画像処理を立体表示器１０８で平面画像が正常に見えるような画像処理方法に切り替える制御を行う。
【選択図】 図１

Description

本発明は、多視点画像を平面画像に変換することの出来る画像信号処理装置に関するものである。

従来、多視点画像を表示するための技術として公知のものとして、偏光メガネ方式、液晶シャッター方式等のメガネが必要となる方式と、レンチキュラレンズや視差バリアを用いた裸眼で可能な方式等がある。これらの方式を使用した画像信号処理装置において、立体表示を行うには、少なくとも二視点の画像が必要である。そのため立体表示器用の画像を記録、再生、伝送する場合に、視点数分の記録装置、再生装置、伝送装置等を用意し、それぞれの視点の画像を独立した画像として扱って記録、再生、伝送等を行うと、視点の数だけ装置が必要であるため、システムのハードウェア規模が大きくなってしまう。またそれぞれが独立した装置であるため、動画においては、複数の動画像を同期させる手段が別途必要となるという問題が生じる。

上記のような問題があるため、通常は、後述する特許文献１で示すように、複数視点の動画像を、ひとつの画像信号へ統合して扱うことが行われる。例えばＮ視点の画像に対応するＮ個のビデオ信号が、各視点の画像のフレームにおいて、それぞれ水平方向に１／Ｎに縮小され、その縮小されたそれぞれの画像が、水平方向に視点順に結合して１フレームの画像として合成される。

図５は、Ｎ＝２である場合における画像合成方法の例を示す図である。図６は、従来の画像信号処理装置の構成を示すブロック図である。
この画像信号処理装置は、図５に示すような画像がビデオ信号として入力された場合に、立体表示を行うものである。以降の本明細書のブロック図において、同一の符号を付したものは同一の機能を持つものとする。

画像入力部１０１は外部機器との接続のための接続端子やバッファアンプなどで構成される。端子を介して外部の再生装置や伝送装置との間とケーブル等の接続手段による接続される。画像入力部１０１によりバッファされたビデオ入力信号は、Ａ／Ｄ変換部１０２へ入力される。Ａ／Ｄ変換部１０２において、ビデオ信号はアナログ信号からデジタルコンポーネント信号へと変換される。またＡ／Ｄ変換部１０２は、入力ビデオ信号から同期信号を抽出し、抽出した同期信号に位相同期した所定のサンプルクロックを生成する。この生成されたサンプルクロックにより、入力ビデオ信号は、サンプリングされデジタル信号へ変換される。またＡ／Ｄ変換部１０２において抽出された同期信号と、サンプリングクロックから多視点画像表示処理部１０５で必要となるタイミング制御信号とが生成される。Ａ／Ｄ変換部１０２においてデジタルコンポーネント信号に変換されたビデオ信号および生成されたタイミング制御信号・サンプルクロック信号などの信号は、立体表示画像処理部１０５へ入力される。立体表示画像処理部１０５では、入力されたデジタルコンポーネント信号を立体表示器１０８で立体視するためのフォーマットへ変換する機能を有する。

以下では立体表示器１０８が二視点対応の視差バリア方式の表示器である場合について立体表示画像処理部１０５の動作を説明する。
図７は、視差バリア方式の立体表示器の原理を示す図であり、視差バリア式の立体表示器を真上から見た様子を表す。

表示器７０１は液晶ディスプレイなどであり、入力された立体表示画像処理部１０５から入力される映像信号を表示する。表示器７０１における各矩形領域は、表示器７０１の最小の表示単位である画素を示す。画素は画素ピッチｐの間隔で並んでいる。視差バリア７０２は、表示器７０１とユーザとの間に、表示器７０１からｄだけ離れた位置に配置される。視差バリア７０２は、光を通す透過部と光を通さない非透過部が水平方向に交互に並んでおり、透過部の間隔はｐ’である。視差バリア７０２において、塗りつぶし部分が非透過部を、塗りつぶしのない部分が透過部を示す。ユーザは、表示器７０１から距離Ｄだけ離れた位置から表示器７０１を見る。この時のユーザの左眼７０５と右眼７０６の間隔はｌとする。このような条件下でＤ−ｄ：ｄ≒ｌ：ｐおよびｐ’：ｐ≒Ｄ−ｄ：Ｄの関係が成り立つ場合において立体視が可能となる。

図７のような場合には、画素７０３と左眼７０５を結んだ直線状に視差バリア７０２の非透過部分７０７が配置される。このため左眼７０５には画素７０３からの光が到達しない。また画素７０３と右眼７０６を結んだ直線上に視差バリア７０２の透過部７０８が配置される。このため右眼７０６では画素７０３からの光が到達することが出来る。このため画素７０３は、左眼７０５では見えないが右眼７０６では見ることの出来る画素となる。一方、画素７０４と右眼７０６の直線上には非透過部７０７が配置され、左眼７０５との直線上に透過部７０８が配置される。このため画素７０４は右眼７０６では見えるが、左眼７０５では見えない画素となる。同様に、ハッチングで示した画素は右眼でのみ知覚され、ハッチングのない画素は左眼のみで知覚される。
このような構成にすることにより、表示器７０１の画素において、右眼で見える画素と左眼で見える画素が交互に配置され、左眼７０５と右眼７０６に別個の画像が知覚される。

図７のような立体表示器１０８においては、立体表示画像処理部１０５では、立体表示を可能にするために、各視点用の画像を画素単位で並びかえて配置しなおす処理が必要となる。図５に示すように、左眼用の画像と右眼用の画像がそれぞれ水平方向に１／２に圧縮され左右に並べられているが、立体表示画像処理部１０５は、立体表示器１０８で立体表示を行うために、これら画像を、左眼用の画像と右眼用の画像が視差バリアのスリットの間隔に対応した周期でインタリーブされた状態へと並び替える処理を行う。

上記のような構成にし、複数視点のビデオ画像をひとつのビデオ信号に統合することにより、特別な記録装置や伝送装置を用いなくても平面画像のビデオ用の記録装置や再生装置、伝送装置等を用いることで多視点画像の記録・再生・伝送等を行うことが可能となる。
特開平８−２９４１４４号公報

しかしながら、多視点画像再生装置における立体表示方式が、例えば視差バリア方式のような裸眼立体視方式では、多視点画像として視聴可能な位置に制限があるため、同時に視聴可能な人数に制限が生じる。また、偏光眼鏡やシャッター式眼鏡などの特殊な眼鏡を使用する方式においても、用意できる眼鏡の数の制限により、多視点画像を同時に視聴可能な人数に制限が生じる。

しかも、このときに表示されている画像は、それぞれの表示方式に合わせたフォーマットの画像である。そのため、視差バリア方式において視聴可能な位置から外れた場合や、眼鏡式の装置において眼鏡を掛けていない人間が視聴した場合等に、左眼用の画像と右眼用の画像が分離されずに両方の眼で同時に見えてしまったり、右眼用の画像と左眼用の画像が逆に知覚されるため正常な立体感が得られなかったりなどの現象を生じてしまう。このように、正常でない画像が知覚される場合があるという問題があった。

また、このような複数視点が統合されたビデオ信号を、通常の平面表示用のディスプレイで表示しても、やはり正常な画像が表示されないという問題があった。

そこで、本発明は、立体表示器に対して立体視不能な位置のユーザに対しても正常な画像を提示できる画像信号処理装置を提供することを目的とする。

本発明は、上記のような課題を解決するために、Ｎ視点の画像が、時間または空間方向に間引きされて情報量を１／Ｎに削減した後、各視点の画像が時間または空間方向に所定の順序に並べて合成し１つの信号へと構成した多視点画像信号を入力可能な画像信号処理装置であって、多視点画像を平面画像へ変換する画像変換手段と、画像を表示する平面画像用の表示器とを備え、入力画像信号が平面画像信号であるときは該入力画像信号を前記表示器に表示させ、入力画像信号が多視点画像信号であるときは、前記画像変換手段により変換された平面画像信号を前記表示器に表示させることを特徴とする。

また、本発明は、前記画像信号処理装置であって、入力画像信号が多視点画像信号か平面画像信号であるかを判定する画像判定手段と、入力画像信号と前記画像変換手段による変換処理した変換画像信号のいずれかを選択して前記表示器に出力する選択手段とを備え、前記画像判定手段が入力画像信号を多視点画像信号と判定した場合に、前記選択手段が変換画像信号を選択して出力し、前記画像判定手段が入力画像信号を平面画像信号と判定した場合に、前記選択手段が入力画像信号を選択して出力することを特徴とする。

ここで、入力ビデオ信号が、少なくとも符号化された画像と制御情報が多重化されたビットストリームとして入力され、前記制御情報には入力ビデオ信号が多視点画像信号であるか平面画像信号であるかを示す情報を含み、前記画像判定手段は、前記制御情報に含まれる画像が多視点画像信号であるか平面画像信号であるかを示す情報により判定することを特徴とする。

また、本発明は、前記画像信号処理装置であって、ユーザによって入力画像信号が多視点画像か平面画像かの種別を入力するための入力手段と、入力画像信号と前記画像変換手段による変換処理した変換画像信号のいずれかを選択して前記表示器に出力する選択手段とを備え、ユーザにより前記入力手段を介して多視点画像信号と入力された場合に、前記選択手段が変換画像信号を選択して出力し、ユーザにより平面画像であると入力された場合に、前記選択手段が入力画像信号を選択して出力することを特徴とする。

また、本発明は、Ｎ視点の画像が、時間または空間方向に間引きされて情報量を１／Ｎに削減した後、各視点の画像が時間または空間方向に所定の順序に並べて合成し１つの信号へと構成した多視点画像信号を入力可能な画像信号処理装置であって、画像を表示する表示器と、前記表示器が立体表示可能かどうかを判定する表示判定手段と、多視点画像を平面画像へ変換する画像変換手段と、入力画像信号が多視点画像信号か平面画像信号であるかを判定する画像判定手段と、入力画像信号と前記画像変換手段による変換処理した変換画像信号のいずれかを選択して前記表示器に出力する選択手段とを備え、前記表示判定手段が前記表示器を立体表示及び平面表示可能と判定した場合、前記画像判定手段が入力画像信号を多視点画像信号と判定したとき、または平面画像信号が入力されたと判定されたときに、前記選択手段は、前記入力画像信号を選択し、前記表示判定手段が前記表示器を平面表示のみ可能と判定した場合、前記画像判定手段が入力画像信号を多視点画像信号と判定したとき、前記選択手段は、前記変換画像信号を選択することを特徴とする。

上記の装置により、多視点画像信号から変換した平面画像信号を出力され、上記の装置に平面表示用の表示器を接続することにより、立体視不能な位置のユーザに対しても正常な画像を見ることが可能となる。

以上のように、本発明によれば、入力画像信号が多視点画像信号あるいは平面画像であっても、その入力画像信号を平面画像として平面画像用の表示器に表示することができるので、利用者に常に平面画像の内容を提示でき、例えば、多視点画像表示の使用可能なエリアから外れた利用者に対しも、平面画像用の表示器で内容を提示できる。

また、本発明によれば、入力される画像のビットストリームに多重化された制御情報から、入力された画像が平面画像であるか、多視点画像であるかを自動的に判別して、あるいはユーザが入力して、それに基づいて選択手段が表示器に平面画像を表示できるように画像信号を切り替えるので、利用者に対し常に平面画像の内容を提示できるようになる。

さらに、本発明によれば、表示器が立体表示用か、平面表示用かの判断をするので、その表示器が表示可能な画像を自動的に表示できる。

以下、本発明の実施の形態について、図面を参照しながら説明する。

＜第１の実施形態＞
図１は、本発明に係る画像信号処理装置における第１の実施形態の構成を示すブロック図である。以下の説明においては、入力される多視点統合されたビデオ信号のフォーマットとして、図５に示すような、水平に１／２に圧縮された二視点の画像を水平方向に並べたフォーマットを例として使用するが、これは本発明における入力ビデオ信号フォーマットの様態を限定するものではない。

図１において、画像入力部１０１、Ａ／Ｄ変換部１０２、立体表示画像処理部１０５、立体表示器１０８は、多視点画像を表示する場合において、従来の機器と同等の機能を有しかつ同等の動作が可能となっている。

画像入力部１０１は、外部機器との接続のための接続端子やバッファアンプなどで構成される。画像入力部１０１は、端子を介して外部の再生装置や伝送装置との間とケーブル等の接続手段により接続される。前記端子を介して、図５に示すフォーマットの画像がビデオ信号として画像入力部１０１に入力される。
なお、ビデオ信号元は同一装置内にあっても良く、そのような形態においては、接続端子は必ずしも存在しなくても良い。そのような場合においては、ビデオ信号元からのビデオ信号は、画像入力部１０１内のバッファアンプに直接入力される。入力されたビデオ信号は、画像入力部１０１内のバッファアンプによりバッファ増幅される。このバッファされたビデオ入力信号は、Ａ／Ｄ変換部１０２へ出力される。

Ａ／Ｄ変換部１０２は、アナログビデオ信号からデジタルコンポーネント信号へと変換する。Ａ／Ｄ変換部１０２は、入力ビデオ信号から同期信号を抽出し、同期信号に位相同期した所定のサンプルクロックを生成する。この生成したサンプルクロックにより、入力ビデオ信号をサンプリングし、デジタル信号へ変換する。
また、Ａ／Ｄ変換部１０２では、同期信号から立体表示画像処理部１０５および画像伸張処理部１０６で必要となるタイミング制御信号を生成する。
なお、Ａ／Ｄ変換部１０２に入力されるビデオ信号がコンポーネント信号でない実施形態においては、デジタル信号への変換処理前もしくは変換処理後に、入力された信号形式からコンポーネント信号へ変換する機能も必要となる。

図１の実施形態では、入力されるビデオ信号がアナログビデオ信号である場合を想定しているが、入力ビデオ信号は、デジタルビデオ信号であるような実施形態でもよい。この場合には、画像入力部１０１は、接続端子とデジタルインタフェースから構成される。そして、画像入力部１０１で入力されたベースバンドデジタルビデオ信号は、デジタルコンポーネント信号へ変換されて、立体表示画像処理部１０５、画像伸張処理部１０６へ直接出力される。このような場合にはＡ／Ｄ変換部１０２では、アナログビデオ信号のデジタルビデオ信号への変換は必要がなく、立体表示画像処理部１０５および画像伸張処理部１０６で必要となるタイミング制御信号を生成するだけで良い。

デジタルコンポーネント信号に変換されたビデオ信号およびタイミング制御信号、サンプルクロック信号は、立体表示画像処理部１０５および画像伸張処理部１０６に入力される。操作部１０３は、ボタン、スイッチ、タッチパネルなどを有し、ユーザからの操作を電気信号へ変換する機能を持つ。電気信号に変換されたユーザ操作は、制御部１０４へ入力される。制御部１０４は、装置全体の動作の制御を行う機能を持っており、操作部１０３から入力されるユーザ操作により、装置の制御の内容を変える。

なお、ユーザ操作に対応して本発明にかかわる制御を行う必要がない場合（例えば、入力されるビデオ信号が多視点画像に限定されておりかつ接続される外部表示器が平面画像用のものに限定され、出力される視点が固定になっているような場合）には、操作部１０３はなくてもかまわない。

画像伸張処理部１０６は、入力された多視点画像ビデオ信号の特定の視点を選択し、統合時に間引かれた画像情報を補間する処理を行う。制御部１０４は、ユーザ操作などによって選択された視点の画像が格納された位置が、伸張の対象となるように画像伸張処理部１０６を制御する。変換処理後の信号はＤ／Ａ変換部１０７ａへ入力され、アナログビデオ信号に変換される。この信号と画像入力部からの入力ビデオ信号が、ビデオ信号選択器１０９ａに入力される。ビデオ信号選択器１０９ａは切り替えスイッチであって、制御部１０４からの制御により、上記２つの信号のいずれかを選択し、選択した信号を信号出力部１１０へ出力する。

水平方向に１／Ｎに間引きされたＮ視点の画像が水平方向に視点順に配置されたフォーマットの信号が入力される場合では、画像伸張処理部１０６の構成を図２に示すような構成することで実現可能である。

書き込み制御部２０１には、Ａ／Ｄ変換部１０２から、サンプルクロックと水平同期信号、垂直同期信号がタイミング制御のために入力される。また制御部１０４から視点選択信号が入力される。入力された信号から、書き込み制御部２０１は、１水平期間の内選択された視点が格納された期間のみ、メモリ２０２に対し書き込みを行うように、書き込みアドレスと書き込みパルスを発生させる。書き込みアドレスは、書き込みが有効である期間は１サンプルクロック毎にインクリメントされる。この書き込みを有効とする期間は、１水平期間内で有効画像が格納される期間における１／Ｎの部分である。指定された視点が視点ｎ（ｎは１からＮ）の場合には、水平期間のうちで有効画素のある期間の開始時点の水平同期信号からの時点をＴ１とし、有効画素のある期間をＴ２とすると、水平同期信号からＴ１＋Ｔ２・（ｎ−１）／ＮからＴ１＋Ｔ２・ｎ／Ｎの期間が、視点ｎの画像として選択される。これによりメモリ２０２には、視点選択信号で指定された視点の画像のみが書き込まれる。

メモリ２０２は、少なくとも２水平期間分で１視点分の画像を格納するだけの容量を持ち、１水平期間分を単位とするデュアルバッファとして使用される。１視点分の画像は１／Ｎに圧縮されているため、必要な容量は水平期間の有効画素数の２／Ｎ倍以上あればよい。メモリ２０２の容量の半分ずつが２つのバンクとして管理され、それぞれのバンクが読み出し用と書き込み用として排他的に使用され、それぞれのバンクを書き込みと読み出しに１水平期間毎に交互に切り替えて使用される。このことにより、メモリ２０２において、１水平期間分の遅延が生じる。このメモリ２０２に格納された画像は水平方向に１／Ｎに圧縮された画像であるため、読み出し制御部２０３と補間フィルタ２０４が補間処理を行い、水平方向にＮ倍に拡大する処理を行う。

読み出し制御部２０３は、１水平期間の有効期間中にＮサンプルクロック毎に読み出しアドレスをインクリメントし、読み出しパルスを出力する。これにより１／Ｎに圧縮されている画像がＮ倍に伸張されて読み出されるが、読み出された画素はＮ画素毎にしか有効な画素が存在していない。補間フィルタ２０４は、メモリ２０２から読み出された有効な画素の存在しない部分を、前後に存在する有効な画素から補間処理を行って生成する。補間処理には、零次ホールド法、線形補間法、ＳＩＮＣ関数による補間、スプライン補間、ラプラス補間法等が、一般的なアルゴリズムとして存在する。タイミング遅延部２０５では、メモリ２０２の書き込み・読み出しによる１水平期間の遅延＋補間フィルタ部２０４での処理遅延の時間だけ、水平同期信号および垂直同期信号を遅延させることにより、画素データとタイミング制御信号の時間のずれを補正して同期させる。以上の構成により画像伸張処理部１０６が実現できる。

また、本実施形態における制御部１０４において、入力ビデオ信号の種類、外部表示器１１２の種類などのユーザによる選択の組み合わせに応じた制御の例を以下に示す。ユーザの選択として、画像入力部１０１へ入力するビデオ信号が、平面画像信号か多視点画像信号かをユーザ操作により入力させるようにしても良い。また、出力端子１１１の接続端子に接続されている外部表示器１１２が平面用であるか立体用であるかの情報をユーザ操作により選択し、入力させるようにしても良い。また、多視点画像を平面画像に変換する時に使用する視点をユーザ操作により選択できるようにしても良い。

制御部１０４は、これらのユーザ操作の組み合わせにより、以下に示すような制御を行う事が可能となる。例えば、入力ビデオ信号が平面の画像であり、接続されている外部表示器１１２が平面であれば、制御部１０４は、出力画像切り替え部１０９ａに対して、出力信号を、画像入力部１０１から出力されるバッファされた入力ビデオ信号に切り替えるように制御する。また、同時に立体表示画像処理部１０５に対し、平面画像入力時の画像処理を立体表示器１０８で平面画像が正常に見えるような画像処理方法に切り替える制御を行う。

このような画像処理は、入力された平面画像を左右の両視点の画像として扱うことにより実現可能である。例えば、立体表示器１０８が視差バリア方式であるならば、入力された平面画像を立体表示器１０８の視点数Ｎに対し、入力された平面画像を水平方向に帯域制限フィルタで高域信号を除いた後、水平方向に１／Ｎにサブサンプリングを行い、このサブサンプリングされた信号を０次ホールド法でＮ倍に拡大し、立体表示器１０８へ入力する。これにより、すべての視点に対し同一の画像が入力される。

また、平面画像および多視点画像、両方の表示モードを持つような立体表示器１０８を備えている場合には、立体表示画像処理部１０５へ入力画像をそのまま出力するように制御し、同時にこの立体表示器１０８に対し平面画像表示モードへの切り替えるような制御を行ってもよい。このような立体表示器１０８は、例えば視差バリア方式では、視差バリアの非透過部分を透過状態と非透過状態を電気的に切り替えられるような手段があれば実現できる。代表的な手段としては、視差バリアを液晶パネルで構成する方法がある。また、シャッター式眼鏡を使用する方式であれば、両眼のシャッターが両方とも開放状態になるように制御する事で、平面画像の表示にも対応可能となる。

また別の制御形態の例として、入力ビデオ信号が多視点画像であり、出力端子１１１に接続される外部表示器１１２が平面画像用である場合に、立体表示器１０８および立体表示画像処理部１０５に対し、多視点画像を表示するモードに切り替えるように制御し、同時に画像伸張処理部１０６に対して、画像伸張の対象となる領域がユーザにより選択された視点の画像となるように制御する。例えば、入力されるビデオ信号が水平方向にＮ個の視点が並んだ多視点画像信号である場合において、変換対象の視点として視点ｎが選択された場合には、書き込み制御部２０１に対しＴ１＋Ｔ２・（ｎ−１）／ＮからＴ１＋Ｔ２・ｎ／Ｎの期間を設定する。同時にビデオ信号選択器１０９ａに対し、出力ビデオ信号が平面画像に変換されたビデオ信号となるような制御を行っても良い。

以上のように、第１の実施形態によれば、装置に入力される多視点画像用のビデオ信号から、平面画像用の表示器でも表示可能なビデオ信号が生成されるため、平面画像用の表示器を装置に接続して、立体表示器１０８に立体画像を表示すると同時に外部表示器１１２に平面画像を表示することが可能となる。このため多視点画像表示の使用可能なエリアから外れた利用者に対し、画像の内容を提示できるようになる。

＜第２の実施形態＞
図３は、本発明に係る画像信号処理装置における第２の実施形態の構成を示すブロック図である。
デジタル信号インタフェース３０１は、外部のデジタルＶＣＲなどのようなデジタルで記録されたビデオ信号を再生可能な機器に接続される。デジタル信号インタフェース３０１によって、電気レベルの変換やタイミング信号の抽出などが行われて、内部で扱える信号に変換される。入力される信号には、符号化されたデジタルビデオ信号と制御信号、符号化された音声信号等が多重化されたビットストリームが含まれる。デジタル信号インタフェース３０１へ入力された信号から上記のビットストリームとタイミング信号などが抽出され、多重分離部３０２へ入力される。また、信号元はデジタルＶＣＲ装置のように装置内部にあっても良く、その場合はデジタル信号インタフェース３０１には内蔵の再生装置からの信号が入力される。

多重分離部３０２では、上記の多重化されたビットストリームを、制御情報、符号化ビデオストリーム、符号化音声ストリーム等のそれぞれのエレメンタリストリームに分離する。これらの分離されたエレメンタリストリームのうち、制御情報のストリームは、制御部１０４ｂへと入力される。この制御情報のストリームには、入力画像が平面画像であるか多視点画像であるかを示す情報が、その他の制御情報と共に含まれる。符号化ビデオストリームは、多視点画像または通常の平面画像を所定の符号化方式で符号化したものである。多重分離部３０２で分離された符号化ビデオストリームは、ビデオ復号器３０３へ入力される。

ビデオ復号器３０３では、所定の符号化方式で符号化されているビデオストリームを復号し、ベースバンドのデジタルコンポーネントビデオ信号として出力する。立体表示画像処理部１０５、立体表示器１０８、画像伸張処理部１０６、信号出力部１１０、出力端子１１１、外部表示器１１２は、第１の実施形態と同じ機能を有する。またＤ／Ａ変換部１０７ｂは第１の実施形態のＤ／Ａ変換部１０７ａと同じ機能を有する。したがって本実施形態におけるこれらについての詳細な説明は省略する。

またビデオ信号選択器１０９ｂは、第１の実施形態における出力ビデオ信号選択器１０９ａがＤ／Ａ変換後のアナログビデオ信号で行っていた出力ビデオ信号の切り替え処理を、Ｄ／Ａ変換前のデジタルビデオ信号で行うものであり、出力ビデオ信号を切り替えるという機能においては同一の機能を有する。

多重分離部３０２で分離された制御情報のビットストリームは、制御部１０４ｂに入力される。制御部１０４ｂでは、入力された制御情報のうち入力された画像が平面画像か多視点画像か示す情報の検出によって判定手段として機能し、以下に示すような制御を行う。

制御部１０４ｂは、入力された画像ビットストリームが多視点画像であると判定する場合には、立体表示画像処理部１０５に対し、入力された画像から立体表示器１０８で立体表示するための画像処理を行う動作を指示する。また立体表示器１０８に対し、多視点画像を表示するモードに切り替えを指示する信号を出力する。またビデオ信号選択器１０９ｂに対し、出力ビデオ信号として、画像伸張処理部１０６の出力画像を選択するように制御を行う。これにより立体表示器１０８で多視点画像が表示されるとともに、出力端子１１１からは多視点画像から平面画像に変換された画像がビデオ信号として出力される。この時に平面画像が表示可能な外部表示器１１２が出力端子１１１に接続されていれば平面画像が表示される。

一方、入力された画像ビットストリームが平面画像であると判定する場合には、立体表示画像処理部１０５に対し画像処理を立体表示器１０８で平面画像が正常に見えるような画像処理方法に切り替える制御を行う。また立体表示器１０８が平面画像と多視点画像の両方に対応した表示器である場合には、立体表示画像処理部１０５には入力された平面画像をそのまま立体表示器１０８に出力させる制御を行うとともに、立体表示器１０８を平面画像の表示モードに切り替えるように制御する。これにより平面画像が入力された場合も自動的に立体表示器１０８で正常な画像が表示することができる。同時にビデオ信号選択器１０９ｂに対しては、入力された画像ビットストリームを復号した画像がビデオ信号として出力されるように信号の切り替えを制御する。

以上のように、第２の実施形態によれば、装置に入力される画像のビットストリームに多重化された制御情報から、入力された画像が平面画像であるか、多視点画像であるかを自動的に判別し、入力された画像に応じて、立体表示画像処理部１０５、画像伸張処理部１０６、ビデオ信号選択器１０９ｂを制御することにより、立体表示器１０８および外部表示器１１２において、正常な画像がユーザに見えるような制御を自動的に行うことが可能となる。

＜第３の実施形態＞
図４は、本発明に係る画像信号処理装置における第３の実施形態の構成を示すブロック図である。この実施形態は、多視点画像を撮影可能な撮像装置における表示部分を示すものである。この構成においては、第１の表示器として立体表示が可能な立体表示器１０８と第２の表示手段として平面画像のみを表示する平面表示器４０２を持っている。

画像入力部１０１、Ａ／Ｄ変換部１０２、操作部１０３、立体表示画像処理部１０５、画像伸張処理部１０６、信号出力部１１０、出力端子１１１、外部表示器１１２については、第１の実施形態と同一の機能を持つ。ビデオ信号選択器１０９ｃ、ビデオ信号選択器１０９ｄの機能は、第２の実施形態におけるビデオ信号選択器１０９ｂと同一の機能を持つ。Ｄ／Ａ変換部１０７ｃ、Ｄ／Ａ変換部１０７ｄは第１の実施形態におけるＤ／Ａ変換部１０７ａと同一機能を持つ。

第２の表示器（平面表示器４０２）は、例えば撮影時に使用されるビューファインダーのように片眼で覗きこんで使用する形態となるため、この場合には両眼視差による立体表示は不可能である。従って、このような場合には第２の表示器は、立体表示器ではなく平面表示専用の表示器を使用する。しかし、画像入力部１０１へ多視点画像が入力された場合には、そのままのビデオ信号を平面表示器４０２に入力すると平面表示器４０２には正常な画像が表示されないという問題が生じる。このため画像入力部１０１に多視点画像が入力されている場合において、制御部１０４は、平面表示器４０２に出力されるビデオ信号が画像伸張処理部１０６で平面画像に変換された信号が出力されるようにビデオ信号選択器１０９ｃを制御する。逆に平面画像が画像入力部１０１に入力されている場合には、入力されたビデオ信号がそのまま平面表示器４０２に表示されるように、ビデオ信号選択器１０９ｃを制御する。

ビデオ信号選択器１０９ｃの制御は、第１の実施形態におけるビデオ信号選択器１０９ａの制御と同じでよい。また、図４のように、Ｄ／Ａ変換部、ビデオ信号選択器を２組もつことにより、平面表示器４０２には常に平面画像を表示すると同時に、外部表示器１１２に対しては平面画像または多視点画像を選択して出力することが可能となる。なお、外部表示器１１２に対し常に平面画像を出力するような場合においては、Ｄ／Ａ変換部、信号選択器は１組でも良く、その場合には平面表示器４０２と外部表示器１１２に対し、同じビデオ信号を出力すればよい。

上記の様に第３の実施形態によれば、立体表示を行うための表示器と平面表示専用の表示器をもつような装置において、表示画像の切替のための回路を２組持つことにより、平面表示専用の表示器に常に平面画像が表示すると同時に、外部に接続された外部表示器に対しては、ユーザ操作により選択された多視点画像または平面画像を表示することが可能となる。

本発明に係る画像信号処理装置における第１の実施形態の構成を示すブロック図である。 画像伸張処理部の構成を示すブロック図である。 本発明に係る画像信号処理装置における第２の実施形態の構成を示すブロック図である。 本発明に係る画像信号処理装置における第３の実施形態の構成を示すブロック図である。 ２視点の画像をひとつのビデオ信号へ統合する様子を示す図である。 従来の画像信号処理装置の構成を示すブロック図である。 視差バリア式の立体表示器の原理を示す図である。

符号の説明

１０１ 画像入力部
１０２ 変換部
１０３ 操作部
１０４ 制御部
１０４ｂ 制御部
１０５ 立体表示画像処理部
１０６ 画像伸張処理部
１０７ａ，１０７ｂ，１０７ｃ 変換部
１０８ 立体表示器
１０９ａ，１０９ｂ，１０９ｃ，１０９ｄ ビデオ信号選択器
１１１ 出力端子
１１２ 外部表示器
２０１ 制御部
２０２ メモリ
２０３ 制御部
２０４ 補間フィルタ
２０４ 補間フィルタ部
２０５ タイミング遅延部
３０１ デジタル信号インタフェース
３０２ 多重分離部
３０３ ビデオ復号器
４０２ 平面表示器

Claims (5)

1. Ｎ視点の画像が、時間または空間方向に間引きされて情報量を１／Ｎに削減した後、各視点の画像が時間または空間方向に所定の順序に並べて合成し１つの信号へと構成した多視点画像信号を入力可能な画像信号処理装置であって、
   多視点画像を平面画像へ変換する画像変換手段と、
   画像を表示する平面画像用の表示器とを備え、
   入力画像信号が平面画像信号であるときは該入力画像信号を前記表示器に表示させ、入力画像信号が多視点画像信号であるときは、前記画像変換手段により変換された平面画像信号を前記表示器に表示させることを特徴とする画像信号処理装置。
2. 請求項１に記載の画像信号処理装置であって、
   入力画像信号が多視点画像信号か平面画像信号であるかを判定する画像判定手段と、
   入力画像信号と前記画像変換手段による変換処理した変換画像信号のいずれかを選択して前記表示器に出力する選択手段とを備え、
   前記画像判定手段が入力画像信号を多視点画像信号と判定した場合に、前記選択手段が変換画像信号を選択して出力し、
   前記画像判定手段が入力画像信号を平面画像信号と判定した場合に、前記選択手段が入力画像信号を選択して出力することを特徴とする画像信号処理装置。
3. 請求項２に記載の画像信号処理装置であって、
   入力ビデオ信号が、少なくとも符号化された画像と制御情報が多重化されたビットストリームとして入力され、前記制御情報には入力ビデオ信号が多視点画像信号であるか平面画像信号であるかを示す情報を含み、
   前記画像判定手段は、前記制御情報に含まれる画像が多視点画像信号であるか平面画像信号であるかを示す情報により判定することを特徴とする画像信号処理装置。
4. 請求項１に記載の画像信号処理装置であって、
   ユーザによって入力画像信号が多視点画像か平面画像かの種別を入力するための入力手段と、
   入力画像信号と前記画像変換手段による変換処理した変換画像信号のいずれかを選択して前記表示器に出力する選択手段とを備え、
   ユーザにより前記入力手段を介して多視点画像信号と入力された場合に、前記選択手段が変換画像信号を選択して出力し、
   ユーザにより平面画像であると入力された場合に、前記選択手段が入力画像信号を選択して出力することを特徴とする画像信号処理装置。
5. Ｎ視点の画像が、時間または空間方向に間引きされて情報量を１／Ｎに削減した後、各視点の画像が時間または空間方向に所定の順序に並べて合成し１つの信号へと構成した多視点画像信号を入力可能な画像信号処理装置であって、
   画像を表示する表示器と、
   前記表示器が立体表示可能かどうかを判定する表示判定手段と、
   多視点画像を平面画像へ変換する画像変換手段と、
   入力画像信号が多視点画像信号か平面画像信号であるかを判定する画像判定手段と、
   入力画像信号と前記画像変換手段による変換処理した変換画像信号のいずれかを選択して前記表示器に出力する選択手段とを備え、
   前記表示判定手段が前記表示器を立体表示及び平面表示可能と判定した場合、前記画像判定手段が入力画像信号を多視点画像信号と判定したとき、または平面画像信号が入力されたと判定されたときに、前記選択手段は、前記入力画像信号を選択し、
   前記表示判定手段が前記表示器を平面表示のみ可能と判定した場合、前記画像判定手段が入力画像信号を多視点画像信号と判定したとき、前記選択手段は、前記変換画像信号を選択することを特徴とする画像信号処理装置。

Images