JP4937404B1 - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】簡易に複数の多視差画像を生成できる画像処理装置および画像処理方法を提供する。
【解決手段】実施形態によれば、画像処理装置は、入力された画像及び眼間距離設定値に基づいて、第１の画像と、前記第１の画像との間に前記眼間距離設定値の視差が存在する第２の画像と、を生成する複数の視差画像生成部を備える。前記入力された画像は前記複数の視差画像生成部に共通して入力され、前記眼間距離設定値は前記複数の視差画像生成部にそれぞれ異なって設定される。
【選択図】図２

Description

本発明の実施形態は、画像処理装置および画像処理方法に関する。

近年、映像信号を立体的に表示する立体画像表示装置が普及しつつある。立体画像表示装置では、視点が異なる複数の視差画像が表示されており、左目と右目で異なる視差画像を見ることにより、映像信号が立体的に見える。

裸眼式立体表示装置の場合、２枚の視差画像ではなく、それより多い、例えば９枚の視差画像を表示することで、より自然な立体画像を表示できる。しかしながら、多数の視差画像を生成するためには、複雑な回路を新たに開発する必要がある。

特開２００２−７３００３号公報

簡易に複数の多視差画像を生成できる画像処理装置および画像処理方法を提供する。

実施形態によれば、画像処理装置は、入力画像に基づいて、前記入力画像の視点から所定距離だけ離れた第１の視点から見た第１の画像と、前記入力画像の視点から前記第１の視点とは反対側に前記所定距離だけ離れた第２の視点から見た第２の画像と、を生成する複数の視差画像生成部を備え、前記入力画像は前記複数の視差画像生成部に共通して入力され、前記所定距離は前記複数の視差画像生成部ごとに異なる。

第１の実施形態に係る画像表示装置１１０を含む画像表示システムの概略ブロック図。 視差画像生成装置１００の内部構成の一例を示す概略ブロック図。 視差画像生成部１の入出力関係を示すブロック図。 図３の視差画像生成部１の処理動作を説明する図。 視差画像生成部１により生成される視差画像の一例を概念的に示す図。 視差画像生成装置１００の処理動作を説明する図。 視差画像生成装置１００により生成される視差画像の一例を概念的に示す図。 視差画像生成装置１００’の内部構成の一例を示す概略ブロック図。

以下、画像処理装置および画像処理方法の実施形態について、図面を参照しながら具体的に説明する。

（第１の実施形態）
図１は、第１の実施形態に係る画像表示装置１１０を含む画像表示システムの概略ブロック図である。

画像表示装置１１０は、各部の動作を制御する制御部１５６と、操作部１１６と、受光部１１８とを備えている。制御部１５６は、ＲＯＭ（Read Only Memory）１５７と、ＲＡＭ（Random Access Memory）１５８と、ＣＰＵ（Central Processing Unit）１５９と、フラッシュメモリ１６０とを有する。

制御部１５６は、操作部１１６から入力される操作信号や、リモートコントローラ１１７から送信され受光部１１８を介して入力される操作信号に応じて、ＲＯＭ１５７に予め記憶されたシステム制御プログラムおよび各種処理プログラムを起動させる。制御部１５６は、ＲＡＭ１５８をＣＰＵ１５９のワークメモリとし、起動したプログラムに従って各部の動作を制御する。また制御部１５６は、各種設定に必要な情報等を例えばＮＡＮＤフラッシュメモリ等のような不揮発性のメモリであるフラッシュメモリ１６０に格納して使用する。

また、画像表示装置１１０は、入力端子１４４と、チューナ１４５と、ＰＳＫ（Phase Shift Keying）復調器１４６と、ＴＳ（Transport Stream）復号器１４７ａと、信号処理部１２０とを備えている。

入力端子１４４は、ＢＳ／ＣＳデジタル放送受信用のアンテナ１４３が受信した衛星デジタルテレビジョン放送信号を、衛星デジタル放送用のチューナ１４５に送信する。チューナ１４５は、受信したデジタル放送信号のチューニングを行い、チューニングされたデジタル放送信号をＰＳＫ復調器１４６に送信する。ＰＳＫ復調器１４６は、デジタル放送信号からＴＳを復調し、復調されたＴＳをＴＳ復号器１４７ａに送信する。ＴＳ復号器１４７ａは、ＴＳをデジタル映像信号、デジタル音声信号、およびデータ信号を含むデジタル信号に復号した後、信号処理部１２０にこれらを送信する。

ここでのデジタル映像信号とは、画像表示装置１１０が出力可能な映像に関するデジタル信号であり、デジタル音声信号とは、画像表示装置１１０が出力可能な音声に関するデジタル信号である。またデータ信号とは、復調されたサービスについての各種情報を示すデジタル信号である。

また、画像表示装置１１０は、入力端子１４９と、２つのチューナ１５０ａ，１５０ｂを有するチューナ部１５０と、２つのＯＦＤＭ（Orthogonal Frequency Division Multiplexing）復調器１５１と、２つのＴＳ復号器１４７ｂと、アナログチューナ１６８と、アナログ復調器１６９とを備えている。

入力端子１４９は、地上波デジタル放送受信用のアンテナ１４８が受信した地上波デジタルテレビジョン放送信号を、地上波デジタル放送用のチューナ部１５０に送信する。チューナ部１５０のチューナ１５０ａ，１５０ｂは、それぞれ受信したデジタル放送信号のチューニングを行い、チューニングされたデジタル放送信号を、２つ存在するＯＦＤＭ復調器１５１に送信する。ＯＦＤＭ復調器１５１は、デジタル放送からＴＳを復調し、復調されたＴＳをそれぞれ対応するＴＳ復号器１４７ｂに送信する。ＴＳ復号器１４７ｂは、ＴＳをデジタル映像信号および音声信号等に復号した後、信号処理部１２０にこれらを送信する。チューナ部１５０のチューナ１５０ａ，１５０ｂのそれぞれで取得した地上波デジタルテレビジョン放送は、２つずつのＯＦＤＭ復調器１５１、ＴＳ復号器１４７ｂによってそれぞれ同時にデジタル映像信号、デジタル音声信号、およびデータ信号を含むデジタル信号として復号された後に、信号処理部１２０に送信されることが可能である。

アンテナ１４８は、地上波アナログテレビジョン放送信号も受信可能である。受信された地上波アナログテレビジョン放送信号は、図示しない分配器によって分配されて、アナログチューナ１６８に送信される。アナログチューナ１６８は、受信したアナログ放送信号のチューニングを行い、チューニングされたアナログ放送信号をアナログ復調器１６９に送信する。アナログ復調器１６９はアナログ放送信号の復調を行い、復調されたアナログ放送信号を信号処理部１２０に送信する。また、画像表示装置１１０は、一例として、アンテナ１４８が接続される入力端子１４９にＣＡＴＶ（Common Antenna Television）用のチューナを接続することによってＣＡＴＶも視聴できる。

また、画像表示装置１１０は、ライン入力端子１３７と、音声処理部１５３と、スピーカ１１５と、グラフィック処理部１５２と、ＯＳＤ（On Screen Display）信号生成部１５４と、映像処理部１５５と、と、表示部２００とを備えている。

信号処理部１２０は、ＴＳ復号器１４７ａ、１４７ｂ、または制御部１５６から送信されたデジタル信号に、適切な信号処理を施す。より具体的には、信号処理部１２０はデジタル信号をデジタル映像信号、デジタル音声信号、およびデータ信号に分離する。分離されたデジタル映像信号はグラフィック処理部１５２に、音声信号は音声処理部１５３に送信される。また信号処理部１２０は、アナログ復調器１６９から送信された放送信号を、所定のデジタルフォーマットの映像信号および音声信号に変換する。デジタルに変換された映像信号はグラフィック処理部１５２に、音声信号は音声処理部１５３に送信される。また信号処理部１２０は、ライン入力端子１３７からの入力信号にも所定のデジタル信号処理を施す。

音声処理部１５３は、入力された音声信号を、スピーカ１１５で再生可能なフォーマットのアナログ音声信号に変換する。アナログ音声信号は、スピーカ１１５に送信されて再生される。

ＯＳＤ信号生成部１５４は、制御部１５６の制御に従って、ＵＩ（ユーザ・インタフェース）画面などを表示するためのＯＳＤ信号を生成する。また信号処理部１２０においてデジタル放送信号から分離されたデータ信号は、ＯＳＤ信号生成部１５４により適切なフォーマットのＯＳＤ信号に変換され、グラフィック処理部１５２に送信される。

グラフィック処理部１５２は、信号処理部１２０から送信されるデジタル映像信号のデコード処理を行う。デコードされた映像信号は、ＯＳＤ信号生成部１５４から送信されたＯＳＤ信号と重ね合わせて合成され、映像処理部１５５に送信される。グラフィック処理部１５２は、デコードされた映像信号またはＯＳＤ信号を、映像処理部１５５に選択的に送信することもできる。

また、グラフィック処理部１５２はデジタル映像信号を立体表示するために、視点がそれぞれ異なる複数の視差画像（間に視差が存在する画像）を生成する。これについては、後に詳しく説明する。

映像処理部１５５は、グラフィック処理部１５２から送信された信号を、表示部２００で表示可能なフォーマットのアナログ映像信号に変換する。アナログ映像信号は、表示部２００に送信されて表示される。表示部２００は、例えば１２インチや２０インチの液晶ディスプレイである。

さらに、画像表示装置１１０は、ＬＡＮ（Local Area Network）端子１３１と、ＬＡＮ Ｉ／Ｆ（Interface）１６４と、ＵＳＢ（Universal Serial Bus）端子１３３と、ＵＳＢ Ｉ／Ｆ１６５と、ＨＤＤ（Hard Disk Drive）１７０とを備えている。

ＬＡＮ端子１３１はＬＡＮ Ｉ／Ｆ１６４を介して制御部１５６に接続されている。ＬＡＮ端子１３１はイーサネット（登録商標）を用いた一般的なＬＡＮ対応ポートとして使用される。本実施形態において、ＬＡＮ端子１３１にはＬＡＮケーブルが接続されており、インターネット１３０と通信可能となっている。

ＵＳＢ端子１３３はＵＳＢ Ｉ／Ｆ１６５を介して制御部１５６に接続されている。ＵＳＢ端子１３３は、一般的なＵＳＢ対応ポートとして使用される。ＵＳＢ端子１３３には、例えばハブを介して、携帯電話、デジタルカメラ、各種メモリカードに対するカードリーダ／ライタ、ＨＤＤ、キーボード等が接続される。制御部１５６は、ＵＳＢ端子１３３を介して接続される機器との間で、情報の通信（送受信）を行うことができる。

ＨＤＤ１７０は画像表示装置１１０に内蔵される磁気記憶媒体であって、画像表示装置１１０が有する各種情報を記憶する機能を有する。

次に、本実施形態の特徴の１つである視差画像生成装置１００について説明する。図２は、視差画像生成装置１００の内部構成の一例を示す概略ブロック図である。視差画像生成装置１００は４つの視差画像生成部１ａ〜１ｄを備えている。視差画像生成装置１００は、例えば半導体チップで構成され、グラフィック処理部１５２に内蔵される。まずは、１つの視差画像生成部１について説明する。

図３は、視差画像生成部１の入出力関係を示すブロック図であり、図４は、図３の視差画像生成部１の処理動作を説明する図である。また、図５は、視差画像生成部１により生成される視差画像の一例を概念的に示す図である。視差画像生成部１は、例えば眼鏡式立体表示用に、周知の手法により、２次元（２Ｄ）入力画像から２枚の視差画像、すなわち、右目用視差画像および左目用視差画像を生成するものである。

視差画像生成部１には、２次元入力画像と、奥行き情報と、視差変換設定値と、眼間距離設定値ｄとが入力される。

奥行き情報は、各画素が、表示部２００の手前および奥のいずれの方向にどれだけ奥行きがあるのか、という情報を含む。奥行き情報は予め入力画像に付加されていてもよいし、奥行き生成部（不図示）を設けて、入力画像の特徴に基づいて奥行き情報を生成してもよい。奥行き情報を生成する場合、例えば入力画像の動きベクトルを検出し、動きベクトルが大きい箇所ほど手前にあり、小さい箇所ほど奥にあるものとすることができる。

また、視差変換設定値とは、例えば、視聴者と表示部２００との距離を示す視距離や、表示部２００から視聴者側へ最も飛び出して近くに見える位置と、最も引っ込んで遠くに見える位置と、の距離を示す奥行き設定値等、視差画像を生成するために用いられる、１または２以上の設定値である。奥行き情報と視差変換設定値をまとめて、視差画像生成パラメータと呼ぶ。

そして、視差画像生成部１は、図４に示すように、被写体２を右目Ｒから見た視差画像（右目用視差画像）と、左目Ｌから見た視差画像（左目用視差画像）とを生成する。右目Ｒと左目Ｌとの距離が眼間距離設定値ｄに対応しており、右目用視差画像と左目用視差画像との間には、眼間距離設定値ｄの視差が存在する。なお、眼間距離設定値ｄは視差画像生成パラメータには含まれない。

例えば、左目Ｌから見た視差画像の場合、手前にある物体は奥にある物体より右側にずれて見える。よって、視差画像生成部１は、奥行き情報に基づき、手前にある物体を右側にずらす処理を行う。ずらす量は視差画像生成パラメータや眼間距離設定値ｄに依存する。例えば、奥行き情報や奥行き設定値が大きいほど、また、視距離が小さいほど、ずらす量を大きくする。そして、もともと物体があった場所は、周辺の画素を用いて適宜補間する。これにより、図５に示すような右目用および左目用視差画像が生成される。このとき、視差画像生成部１に入力される２次元入力画像は、右目Ｒと左目Ｌとの中央から見た画像に対応する。言い換えると、右目用視差画像は、入力画像からｄ／２の視差が入力画像の右側に存在し、左目用視差画像は、入力画像からｄ／２の視差が入力画像の左側に存在する。

図２の視差画像生成装置１００は、図３に示す視差画像生成部１を４つ備えている。図６は、視差画像生成装置１００の処理動作を説明する図であり、図７は、視差画像生成装置１００により生成される視差画像の一例を概念的に示す図である。

視差画像生成部１ａ〜１ｄには、共通の２次元入力画像、奥行き情報および視差変換設定値（視差画像生成パラメータ）が入力される。さらに、視差画像生成部１ａ〜１ｄには、それぞれ異なる眼間距離設定値ｄ１〜ｄ４が入力される。そして、視差画像生成部１ａ〜１ｄは、それぞれ２枚ずつの視差画像を生成し、出力する。また、入力画像も視差画像の１つとして出力される。

視差画像生成部１ａ〜１ｄに共通して入力される２次元入力画像は、図６の中央の視点３４から被写体２を見た画像、すなわち図７の視差画像４４に対応する。そして、視差画像生成部１ａが生成する右目用視差画像は、視点３３から被写体２を見た視差画像４３となり、左目用視差画像は、視点３５から見た視差画像４５となる。視点３３，３５間の距離は、眼間距離設定値ｄ１に対応する。また、中央の視点３４を中心として、視点３３および視点３５は左右対称の位置にある。すなわち、入力画像は視点３３と視点３５との中央から見た視差画像４４に対応する。

同様に、視差画像生成部１ｂはそれぞれ視点３２，３６から見た視差画像４２，４６を、視差画像生成部１ｃはそれぞれ視点３１，３７から見た視差画像４１，４７を、視差画像生成部１ｄはそれぞれ視点３０，３８から見た視差画像４０，４８を生成する。視点３２，３６間の距離は眼間距離設定値ｄ２に、視点３１，３７間の距離は眼間距離設定値ｄ３に、視点３０，３８間の距離は眼間距離設定値ｄ４に、それぞれ対応する。これにより、図７に示すように、視差画像生成装置１００は、入力画像を含め、９枚の視差画像４０〜４８を生成できる。

なお、人間の右目と左目はほぼ水平方向に並んでいるため、視点３０〜３８は水平方向に並ぶ視点であることが望ましい。また、視点３０〜３８の間隔は、それぞれ等しくてもよいし、異なっていてもよい。

このように、第１の実施形態では、２枚の視差画像を生成する視差画像生成部１を複数用いて視差画像を生成する。視差画像生成部１は既存の手法を用いることができるため、簡易に多くの視差画像を生成できる。

（第２の実施形態）
上述した第１の実施形態では、複数の視差画像生成部を用いたが、以下に説明する第２の実施形態では、１つの視差画像生成部を用い、複数の眼間距離設定値のうちの１つを時分割で切替ながら入力することにより、視差画像を生成するものである。

図８は、第２の実施形態に係る視差画像生成装置１００’の内部構成の一例を示す概略ブロック図である。視差画像生成装置１００’は、１つの視差画像生成部１と、選択部（Ｓｅｌ）５と、分配部（Ｄｉｖ）６ａ，６ｂと、制御部７とを備えている。

選択部５には、図２と同様の眼間距離設定値ｄ１〜ｄ４が入力され、これらのうちの１つを選択して、視差画像生成部１に出力する。視差画像生成部１には、２次元入力画像と、奥行き情報と、視差変換設定値と、選択部５により選択された眼間距離設定値とが入力される。視差画像生成部１は、右目用および左目用視差画像を生成し、右目用視差画像を分配部６ａに、左目用視差画像を分配部６ｂにそれぞれ出力する。選択部５により選択された眼間距離設定値に応じて、分配部６ａは入力される右目用視差画像を視差画像４０〜４３のいずれかとし、分配部６ｂは入力される左目用視差画像を視差画像４５〜４８のいずれかとする。制御部７は、選択部５および分配部６ａ，６ｂを制御する。

図８の視差画像生成装置１００’は以下のように動作する。まず、制御部７は選択部５を制御して、眼間距離設定値ｄ１を選択する。そして、制御部７は分配部６ａ，６ｂを制御して、視差画像生成部１により生成される右目用視差画像を視差画像４３とし、左目用視差画像を視差画像４５とする。次に、制御部７は選択部５を制御して、眼間距離設定値ｄ２を選択する。そして、制御部７は分配部６ａ，６ｂを制御して、右目用視差画像を視差画像４２とし、左目用視差画像を視差画像４６とする。以下同様に、制御部７は、眼間距離設定値を順繰りに選択させ、選択される眼間距離設定値に応じて、生成される視差画像の出力先を切り替える。

これにより、視差画像生成装置１００’は図７に示すような９枚の視差画像４０〜４８を生成できる。

このように、第２の実施形態では、１つの視差画像生成部１を用い、時分割で眼間距離設定値を切り替えて、視差画像を生成する。そのため、より小規模な視差画像生成装置で多くの視差画像を生成できる。

なお、図８では１つの視差画像生成部を用いる例を示したが、２つ以上の視差画像生成部と、これらのそれぞれ対応する選択部および分配部を設け、より短時間で多くの視差画像を生成するようにしてもよい。

また、視差画像の数は９枚に限られず、中央の視差画像を含め、少なくとも５枚の視差画像を生成すればよい。さらに、本実施形態では、視差画像生成装置が画像表示装置に搭載される例を示したが、例えばＳＴＢ（Set Top box）等の放送受信装置や記録媒体の再生装置等に搭載して、画像処理装置を構成してもよい。

上述した実施形態で説明した画像処理装置の少なくとも一部は、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。ソフトウェアで構成する場合には、画像処理装置の少なくとも一部の機能を実現するプログラムをフレキシブルディスクやＣＤ−ＲＯＭ等の記録媒体に収納し、コンピュータに読み込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でもよい。

また、画像処理装置の少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線（無線通信も含む）を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１，１ａ〜１ｄ 視差画像生成部
２ 被写体
５ 選択部
６ａ，６ｂ 分配部
７ 制御部
３０〜３８ 視点
４０〜４８ 視差画像
１００ 視差画像生成装置
２００ 表示部

Claims (13)

1. 入力画像に基づいて、前記入力画像の視点から所定距離だけ離れた第１の視点から見た第１の画像と、前記入力画像の視点から前記第１の視点とは反対側に前記所定距離だけ離れた第２の視点から見た第２の画像と、を生成する複数の視差画像生成部を備え、
   前記入力画像は前記複数の視差画像生成部に共通して入力され、
   前記所定距離は前記複数の視差画像生成部ごとに異なる画像処理装置。
2. 前記入力画像を、前記第１の視点および前記第２の視点の中心から見た画像であって、前記第１および第２の画像とともに表示される画像として出力する、請求項１に記載の画像処理装置。
3. 前記複数の視差画像生成部が生成する前記第１および第２の画像は、略水平方向に並ぶ複数の視点から見た視差画像である請求項１に記載の画像処理装置。
4. 前記複数の視差画像生成部のそれぞれに対応して設けられ、それぞれ異なる前記所定距離を示す複数の視差設定値のうちの１つを順繰りに選択する選択部を備え、
   前記複数の視差画像生成部のそれぞれは、前記対応する選択部により選択された視差設定値に基づいて前記第１および第２の画像を生成する請求項１に記載の画像処理装置。
5. 前記複数の視差画像生成部のそれぞれは、視差画像生成パラメータに基づいて前記第１および第２の画像を生成し、
   前記視差画像生成パラメータは、前記複数の視差画像生成部に共通して設定される請求項１に記載の画像処理装置。
6. 前記視差画像生成パラメータは、少なくとも前記入力された画像の奥行き情報を含む請求項５に記載の画像処理装置。
7. 前記第１および第２の画像を表示する表示部を備える請求項１に記載の画像処理装置。
8. 複数の視差画像生成部のそれぞれを用い、入力画像に基づいて、前記入力画像の視点から所定距離だけ離れた第１の視点から見た第１の画像と、前記入力画像の視点から前記第１の視点とは反対側に前記所定距離だけ離れた第２の画像と、を生成するステップを備え、
   前記入力画像は前記複数の視差画像生成部に共通して入力され、
   前記所定距離は前記複数の視差画像生成部ごとに異なる画像処理方法。
9. 前記入力画像を、前記第１の視点および前記第２の視点の中心から見た画像であって、前記第１および第２の画像とともに表示される画像として出力するステップを備える請求項８に記載の画像処理方法。
10. 前記複数の視差画像生成により生成される前記第１および第２の画像は、略水平方向に並ぶ複数の視点から見た視差画像である請求項８に記載の画像処理方法。
11. それぞれ異なる前記所定距離を示す複数の視差設定値のうちの１つを順繰りに選択するステップを備え、
    前記第１および第２の画像を生成するステップでは、前記選択された視差設定値に基づいて前記入力画像の視差画像を生成する請求項８に記載の画像処理方法。
12. 前記第１および第２の画像は、視差画像生成パラメータに基づいて生成され、
    前記視差画像生成パラメータは、前記複数の視差画像生成部に共通して設定される請求項８に記載の画像処理方法。
13. 前記視差画像生成パラメータは、少なくとも前記入力された画像の奥行き情報を含む請求項１２に記載の画像処理方法。

Images