JP2012060246A - 画像処理装置、集積回路装置 - Google Patents

Abstract

【課題】 周辺の画素との関係性を考慮した奥行き値を演算し、滑らかで自然な立体視画像が得られる画像処理装置を提供する。
【解決手段】 １枚の非立体視画像の画像信号である入力画像信号２０８に基づいて、立体視画像を構成する右目用画像及び左目用画像の少なくとも一方の画像信号を生成する画像処理装置であって、前記入力画像信号のうち、前記非立体視画像における１つの画素である注目画素とその周囲の画素を含む演算対象画素群の画素値を一時的に保持するバッファー部２０と、前記演算対象画素群の画素値に基づいて前記注目画素の奥行き値を生成する奥行き値生成部３０と、前記奥行き値に基づいて前記左目用画像及び前記右目用画像の少なくとも一方の画像信号を生成する立体視画像生成部４０と、を含む。
【選択図】 図１

Description

本発明は、画像処理装置、集積回路装置等に関する。

近年、２Ｄ３Ｄ変換によって非立体視画像（２次元画像）を加工し、立体視画像（３次元画像）として鑑賞者に認識させる立体視が行われている。２Ｄ３Ｄ変換では、例えば立体視画像における奥行きを示す奥行き値を非立体視画像の特徴から推定し、視差のある２枚の画像を生成する。この２枚の画像はそれぞれ右目用画像と左目用画像であり、画像生成の際には、奥行き値に基づいて画素を移動させる画素移動が一般に行われる。

特許文献１によれば、各画素の彩度から画像の奥行き値を推定している。しかし、推定される彩度は各画素でばらつく。このような奥行き値に基づいて画素移動を行った場合、鑑賞者にとってギザギザで滑らかさのない立体視画像に見える可能性がある。特許文献１ではこれを回避するために、画像中のオブジェクトを抽出し、その中に含まれる画素の奥行き値を平均する。しかし、平均化により各オブジェクトは平面的に飛び出す、又は奥まることになり、不自然な立体視画像が得られることになる。

特許文献２によれば、各画素の輝度から画像の奥行き値を推定している。そして、オブジェクト単位ではなく画素単位で周囲の奥行き値との平均化を行っており、オブジェクトが平面的に飛び出す又は奥まるという問題は生じない。しかし、奥行き値の推定は１つの画素の画素値に基づき画一的に行われ、周辺画素との関係性を考慮した奥行き値を得ることはできない。例えば、奥行き値を求める画素が遠景に含まれるか、近景に含まれるかによって、適応的に奥行き値の推定に用いるパラメーターを変更することはできない。

特開２００２−１２３８４２号公報 特許第４０６１３０５号公報

本発明はこのような問題点に鑑みてなされたものである。本発明のいくつかの態様によれば、周辺の画素との関係性を考慮した奥行き値を演算し、滑らかで自然な立体視画像が得られる画像処理装置を提供することができる。

（１）本発明は、１枚の非立体視画像の画像信号である入力画像信号に基づいて、立体視画像を構成する右目用画像及び左目用画像の少なくとも一方の画像信号を生成する画像処理装置であって、前記入力画像信号のうち、前記非立体視画像における１つの画素である注目画素とその周囲の画素を含む演算対象画素群の画素値を一時的に保持するバッファー部と、前記演算対象画素群の画素値に基づいて前記注目画素の奥行き値を生成する奥行き値生成部と、前記奥行き値に基づいて前記左目用画像及び前記右目用画像の少なくとも一方の画像信号を生成する立体視画像生成部と、を含む。

（２）この画像処理装置において、前記奥行き値生成部は、前記演算対象画素群の画素値の平均値に基づき前記奥行き値を生成してもよい。

本発明の奥行き値生成部は、１つの画素（注目画素）の画素値から奥行き値を生成するのではなく、注目画素を含む例えばＵ画素×Ｖ画素（Ｕ、Ｖは２以上の整数）の領域に含まれる画素（演算対象画素群）から奥行き値を生成する。具体的には、演算対象画素群の画素値を演算することにより求められる修正画素値に基づいて奥行き値を生成する。修正画素値とは例えば演算対象画素群の画素値の平均値であるが、画素毎に異なった重み付けをして求めてもよい。これらの発明によれば、周辺の画素との関係性を考慮した修正画素値に基づいて奥行き値が生成されるため、奥行き値を得た後に平均化の処理を行わなくても自然な立体視画像が得られる。なお、一般の画像信号の処理と同様に、注目画素はこの画像処理装置のシステムクロックに同期してシフトし、所定の時間が経過すると１フレーム全ての画素について奥行き値が生成される。つまり、注目画素は非立体視画像の画素のいずれかであって、時間と共に変化する。また、右目用画像と左目用画像とは常に対になって生成される必要はない。例えば、相関の高い２フレームの非立体視画像が得られる場合に、第１フレーム目では右目用画像を生成し、第２フレーム目では左目用画像を生成してもよい。

（３）この画像処理装置において、前記奥行き値生成部は、前記演算対象画素群の画素値、又は前記演算対象画素群の画素値に基づき演算した修正画素値から輝度と彩度とを求め、前記輝度と前記彩度とを所与の割合で加算することで前記注目画素の前記奥行き値を生成してもよい。

（４）本発明は、１枚の非立体視画像の画像信号である入力画像信号に基づいて、立体視画像を構成する右目用画像及び左目用画像の少なくとも一方の画像信号を生成する画像処理装置であって、前記入力画像信号のうち、前記非立体視画像における１つの画素である注目画素とその周囲の画素を含む演算対象画素群の画素値に基づいて、前記注目画素の奥行き値を生成する奥行き値生成部と、前記奥行き値に基づいて前記左目用画像及び前記右目用画像の少なくとも一方の画像信号を生成する立体視画像生成部と、を含み、前記奥行き値生成部は、前記演算対象画素群の画素値に基づいて、前記注目画素の輝度と彩度とを求め、前記輝度と前記彩度とを所与の割合で加算することで前記注目画素の奥行き値を生成する。

これらの発明によれば、 輝度と彩度を所与の割合で加算して奥行き値とすることができる。よって、加算する割合を調整することで、画像の特性（例えば遠景、又は近景）にあった奥行き値を生成することが可能となる。さらに、本発明の奥行き値生成部は、注目画素と周囲の画素の画素値に基づいて加算する割合を調整することができるため、１フレームの非立体視画像の中でも例えば画素毎に前記の割合を変更することが可能である。

（５）この画像処理装置において、前記奥行き値生成部は、前記演算対象画素群の画素値に基づいて、前記非立体視画像に含まれるオブジェクトのエッジを検出し、前記非立体視画像を前記オブジェクトのエッジで区切られた領域に区分し、前記注目画素が前記領域のいずれに属するかを判断して、判断結果に基づき前記輝度と前記彩度とを加算する際の前記所与の割合を定めてもよい。

本発明によれば、オブジェクトのエッジで区切られた領域毎に 、奥行き値を構成する輝度と彩度の割合を調整できるので、より自然な画像を生成することができる。

（６）この画像処理装置において、前記奥行き値生成部は、前記演算対象画素群の画素値に基づいて、輝度、彩度とは異なる前記注目画素の属性を求め、前記注目画素の属性に基づいて、前記輝度と前記彩度とを加算する前記所与の割合を定めてもよい。

（７）この画像処理装置において、前記奥行き値生成部は、前記演算対象画素群の明度差を前記注目画素の属性として求めてもよい。

これらの発明によれば、演算対象画素群（注目画素と周囲の画素）の画素値に基づいて輝度、彩度とは異なる画像の情報（属性）を求めて、輝度と彩度とを加算する所与の割合を調整できるので、より自然な画像の生成を可能にする。例えば、当該属性としては演算対象画素群の明度差（コントラスト）であってもよい。

（８）この画像処理装置において、前記奥行き値生成部は、前記演算対象画素群の明度差を求めて、前記明度差に基づいて、前記注目画素が前記非立体視画像において焦点からどれだけ離れているかを示すぼやけ度を求め、前記輝度と前記彩度と前記ぼやけ度とを所与の割合で加算することで前記注目画素の奥行き値を生成してもよい。

本発明によれば、演算対象画素群の画素値に基づいて輝度、彩度、ぼやけ度を求めて、輝度と彩度とぼやけ度とを加算する所与の割合を調整できるので、さらに自然な画像を生成することができる。ぼやけ度は、注目画素が画像において焦点から離れており、ピントが合っていない場合に絶対値が大きくなるような画像の情報である。コントラストが低い場合には、ぼやけ度は大きくなる。

（９）この画像処理装置において、前記立体視画像生成部は、前記左目用画像及び前記右目用画像の少なくとも一方の画像信号を生成する場合において、前記注目画素をその奥行き値に基づいて画素移動させた位置である対象画素理想位置と、前記注目画素に隣接する隣接画素をその奥行き値に基づいて画素移動させた位置である隣接画素理想位置とを求め、前記対象画素理想位置と前記隣接画素理想位置とに挟まれる前記左目用画像又は前記右目用画像の画素の画素値を、前記注目画素および前記隣接画素の画素値に基づく補間処理により求めてもよい。

（１０）本発明は、１枚の非立体視画像の画像信号である入力画像信号に基づいて、立体視画像を構成する右目用画像及び左目用画像の少なくとも一方の画像信号を生成する画像処理装置であって、前記入力画像信号に基づいて前記非立体視画像の各画素の奥行き値を生成する奥行き値生成部と、前記奥行き値に基づいて前記左目用画像及び前記右目用画像の少なくとも一方の画像信号を生成する立体視画像生成部と、を含み、前記立体視画像生成部は、前記左目用画像及び前記右目用画像の少なくとも一方の画像信号を生成する場合において、前記非立体視画像における１つの画素である注目画素をその奥行き値に基づいて画素移動させた位置である対象画素理想位置と、前記注目画素に隣接する隣接画素をその奥行き値に基づいて画素移動させた位置である隣接画素理想位置とを求め、前記対象画素理想位置と前記隣接画素理想位置とに挟まれる画素の画素値を、前記注目画素および前記隣接画素の画素値に基づく補間処理により求める。

これらの発明によれば、視差のある左目用画像と右目用画像との画像信号を生成する際に、画素の移動量を小数点以下まで求めて理想的な画素移動の位置（対象画素理想位置、隣接画素理想位置）を計算する。そして、対象画素理想位置と隣接画素理想位置とに挟まれた画素の画素値を補完処理によって求めることで、移動量の小数点以下を切り上げ、切り捨て、又は四捨五入等して画素値を求める手法に比べて、画素の不連続感を与えない自然な画像を生成することができる。

（１１）本発明は、前記のいずれかに記載の画像処理装置を含む集積回路装置である。

本発明によれば、自然な立体視画像の立体視を可能にする半導体デバイスなどの集積回路を提供することができる。

第１実施形態における画像処理装置を含む集積回路装置のブロック図。 図２（Ａ）は非立体視画像を例示した図。図２（Ｂ）は第１実施形態におけるバッファー部のブロック図。 第１実施形態における奥行き値生成部のブロック図。 図４（Ａ）〜（Ｄ）は奥行き値を説明するための図。 図５（Ａ）は非立体視画像を例示した図。図５（Ｂ）は右目用画像の補間処理を説明するための図。図５（Ｃ）は左目用画像の補間処理を説明するための図。 第１実施形態における立体視画像生成部のブロック図。 図７（Ａ）、（Ｂ）は補間処理用変数を説明するための図。 補間処理における係数を説明するための図。 第１実施形態における立体視画像生成部の処理を表すフローチャート。 第１変形例における奥行き値生成部のブロック図。 第２変形例における奥行き値生成部のブロック図。 第３変形例における奥行き値生成部のブロック図。 図１３（Ａ）、（Ｂ）は非立体視画像の領域を例示した図。

以下、本発明の実施形態について図面を参照して説明する。

１．第１実施形態
本発明の第１実施形態について図１〜図９を参照して説明する。

１．１．画像処理装置の入出力信号
図１の２Ｄ３Ｄ変換器が本実施形態の画像処理装置である。本実施形態では、画像処理装置（２Ｄ３Ｄ変換器）１０は集積回路装置１０００の一部であり、入力画像信号２０８を受け取って出力立体視画像信号２１４に変換して出力する。なお、画像処理装置１０は集積回路装置１０００の一部ではなく独立した装置であってもよい。

本実施形態では、画像処理装置１０は、集積回路装置１０００の入力インターフェース（入力Ｉ／Ｆ）８０、メモリーインターフェース（メモリーＩ／Ｆ）８２、フレームバッファー８４、別のメモリーインターフェース（メモリーＩ／Ｆ）８６を経由した入力画像信号２０８を取得する。フレームバッファー８４は１フレーム分以上の画素値を一時保存できるメモリーであり、フレームバッファー８４にアクセスするためのインターフェースとしてメモリーインターフェース８２、８６が設けられている。集積回路装置１０００の外部から入力される画像信号２００は、例えばホストＣＰＵから供給されてもよい。このとき、入力インターフェース８０により適切なデータの受け渡しが行われる。画像信号２０２、２０４、２０６は集積回路装置１０００の内部信号である。

本実施形態では、画像処理装置１０は３Ｄパネルの特性に合わせて、すなわちＬＣＤインターフェース（ＬＣＤＩ／Ｆ）９０の要求する入力フォーマットに合わせて出力立体視画像信号２１４を出力する。出力立体視画像信号２１４は、ＦＩＦＯ８８を経由して画像信号２１６としてＬＣＤインターフェース９０に入力されて画像信号２１８として、集積回路装置１０００の外部へと出力される。

本実施形態では、画像処理装置１０は、例えばホストＣＰＵから奥行き値の演算で用いる係数を制御する制御信号２２０を受け取ってもよい。

１．２．画像処理装置の構成
本実施形態の画像処理装置１０は、バッファー部２０、奥行き値生成部３０、立体視画像生成部４０を含む。

バッファー部２０は、入力画像信号２０８のうち、非立体視画像における１つの画素である注目画素とその周囲の画素を含む演算対象画素群の画素値２１０を一時的に保持する。

奥行き値生成部３０は、バッファー部２０に保持される演算対象画素群の画素値２１０に基づいて、前記注目画素の前記立体視画像における奥行きを示す奥行き値を生成する。演算対象画素群の画素値２１０に基づいて、前記注目画素の画素値を修正した修正画素値を求める画素値修正部を含んでいてもよい。このとき、修正画素値に基づいて奥行き値が生成される。

立体視画像生成部４０は、前記注目画素および前記注目画素に隣接する画素の画素値に基づいて補間処理を行うことで、出力立体視画像信号２１４を構成する左目用画像及び右目用画像の少なくとも一方の画像信号を生成する。本実施形態の立体視画像生成部４０は、図１のように、バッファー部２０から注目画素の画素値２２４、前記注目画素に隣接する画素（隣接画素）の画素値２２６、ピクセルカウンターの値２２８、奥行き値生成部３０から注目画素の奥行き値２１２、隣接画素の奥行き値２２２を受け取る。

１．３．バッファー部
図２（Ａ）はバッファー部２０に保持される画素値を説明するための非立体視画像３００の例である。非立体視画像３００は水平方向にＮ画素、垂直方向にＭ画素を含む。その画素Ｐ_ｉｊは画素の位置に応じて添え字が付されている。添え字ｉはＭまでの自然数であり垂直方向のｉライン目の画素であることを示す。添え字ｊはＮまでの自然数であり水平方向のｊカラム目の画素であることを示す。なお、図２（Ｂ）では、画素Ｐ_ｉｊの画素値もＰ_ｉｊで表現している。

画素Ｐ_ｉｊの画素値は、例えばＲＧＢそれぞれ８ビットのデータを有する２４ビットデータであってもよいし、Ｇが６ビット、ＲとＢは５ビットのデータを有する１６ビットデータであってもよい。また、ＹＵＶなどのデータフォーマットであってもよい。

図２（Ｂ）は本実施形態のバッファー部２０のブロック図である。本実施形態のバッファー部２０は、奥行き値生成部３０の演算に必要な画素の画素値を一時的に保持する。バッファー部２０が画素値を保持することにより、後段の奥行き値生成部３０は注目画素と周辺画素との関係性を考慮した演算結果を得ることができる。そして、周辺画素との関係性を考慮して生成された奥行き値により、画像処理装置１０はより自然な立体視画像を生成することができる。

本実施形態のバッファー部２０では、バッファーＰＬ_１１〜ＰＬ_３３は図外のクロックに同期してＰＬ_ｕｖのデータをＰＬ_ｕｖ＋１へとシフトさせる（但し、この例ではｕ＝｛１、２、３｝、ｖ＝｛１、２｝）。ラインバッファー１とラインバッファー２はそれぞれ１つ前のライン、２つ前のラインの画素値を保持するラインバッファーである。

本実施形態のバッファー部２０は、演算対象画素群の画素値２１０を奥行き値生成部３０に出力する。そして、注目画素の画素値（ＰＤ_Ｃ）２２４と、水平方向に１つ前の隣接画素の画素値（ＰＤ_Ｐ）２２６と、ピクセルカウンターの値（ＰＣＮＴ）２２８を立体視画像生成部４０に出力する。

図２（Ｂ）の例では、入力画像信号２０８として非立体視画像３００のＰ_４５の画素値が入力されＰＬ_１１に保持されており、バッファーＰＬ_１１〜ＰＬ_３３には、図２（Ａ）の領域３０２に含まれる画素の画素値が保持されている。

この例では、後段の奥行き値生成部３０は、領域３０２の中央の画素であるＰ_３４の画素値を周辺の画素Ｐ_２３、Ｐ_２４、Ｐ_２５、Ｐ_３３、Ｐ_３５、Ｐ_４３、Ｐ_４４、Ｐ_４５の画素値に基づいて調整して修正画素値を得る。そして、奥行き値生成部３０は修正画素値に基づいて注目画素Ｐ_３４の奥行き値を求める。

また、この例では、後段の立体視画像生成部４０は、領域３０２の中央に位置する注目画素Ｐ_３４の画素値と隣接画素Ｐ_３３の画素値とに基づいて補間処理を行う。そして、ＰＣＮＴ２２８によって注目画素のカラム数を把握することができる。

この例では注目画素が画素Ｐ_３４である場合についてのみ図示しているが、前記のように、図外のクロックに同期して保持される画素値は変化（シフト）する。例えば１クロック後には、ＰＬ_２２には新たに注目画素となったＰ_３５の画素値が保持され、ＰＬ_２３には新たに隣接画素となったＰ_３４の画素値が保持される。このように、本実施形態の画像処理装置１０では、１フレーム分の非立体視画像の各画素をシフトさせながら注目画素とすることで、各画素の奥行き値を求め、立体視に必要な右目用画像と左目用画像とを生成する。

なお、バッファー部２０はピクセルカウンターの値（ＰＣＮＴ）や図外のラインカウンターの値に基づいて、いわゆる外周画素（周辺画素）の処理を行ってもよい。外周画素の処理とは、例えば非立体視画像３００の外周部分の画素（例えばＰ_１１〜Ｐ_１Ｎ）を予めラインバッファーやバッファーにコピーしておき、データを欠くバッファーをなくす処理をいう。

また、バッファーの数は領域３０２（Ｕ画素×Ｖ画素）に対応する。本実施形態ではＵ＝Ｖ＝３であるが、例えばＵ＝Ｖ＝２のように偶数であってもよいし、Ｕ＝３、Ｖ＝２のようにＵとＶとで異なる値でもよい。

ここで、バッファー部２０は、必ずしも画像処理装置１０に含まれている必要はない。例えば、画像処理装置１０の外部にあって必要なデータを画像処理装置１０に出力してもよい。

１．４．奥行き値生成部
図３は本実施形態の奥行き値生成部３０のブロック図である。本実施形態の奥行き値生成部３０は、輝度値４０２と彩度４０４とを所与の比率で加算して拡大率４１６を乗じたものを奥行き値２１２とする。前記の所与の比率は、例えばＣＰＵからの制御信号２２０によって変更可能である。例えば、非立体視画像が遠景であれば大気の影響を考慮して奥行き値の推定に彩度を用いる方がよく、逆に近景であれば輝度を用いる方がよい。本実施形態の奥行き値生成部３０は、例えば、非立体視画像が遠景か近景かに応じて輝度値４０２と彩度４０４との比率を変更することができ、最適な奥行き値２１２を出力することが可能である。

本実施形態の奥行き値生成部３０は画素値修正部３２を含んでもよい。画素値修正部３２は、演算対象画素群の画素値２１０、すなわち非立体視画像における注目画素（例えば図２（Ａ）のＰ_３４）とその周囲の画素（例えば図２（Ａ）の領域３０２の画素）の画素値から修正画素値４００を生成する。本実施形態では、修正画素値４００は演算対象画素群の画素値２１０の平均値である。また、本実施形態では各画素値はＲＧＢそれぞれ８ビットのデータ（０〜２５５）を有する２４ビットデータであるとする。

なお修正画素値４００の別の例として、画素値修正部３２は演算対象画素群の画素値２１０の一部から平均値を求めてもよい。例えば、注目画素と上下左右に隣接する４つの画素（例えば図２（Ａ）のＰ_２４、Ｐ_３３、Ｐ_３５、Ｐ_４４）の画素値を平均して修正画素値４００としてもよい。また、画素値修正部３２は演算対象画素群の画素値２１０の各画素値に重み付けを行って修正画素値４００を計算してもよい。図２（Ａ）の領域３０２の例では、注目画素Ｐ_３４の画素値には０．２を乗じ、その他８つの画素の画素値には０．１を乗じて、それらを加算して修正画素値４００としてもよい。

修正画素値４００は、周囲の画素の画素値を用いて注目画素の画素値を修正したものである。よって、注目画素の画素値だけから求められる奥行き値に比べて、修正画素値４００から求められる奥行き値は周囲の画素の奥行き値との関連性を有しており、結果的に、より自然な立体視画像を生じさせる。

輝度値計算部３１０は、修正画素値４００のＲ成分（Ｒ）、Ｇ成分（Ｇ）、Ｂ成分（Ｂ）から輝度値（Ｙ）４０２を数１によって求める。なお、本実施形態の輝度値（Ｙ）４０２は０≦Ｙ≦１の範囲の値をとる。

彩度計算部３１２は、修正画素値４００のＲ成分（Ｒ）、Ｇ成分（Ｇ）、Ｂ成分（Ｂ）から彩度（Ｓ）４０４を数２によって求める。なお、本実施形態の彩度（Ｓ）４０４は０≦Ｓ≦１の範囲の値をとる。

比率係数設定部３２０は、制御信号２２０に基づいて、輝度値（Ｙ）４０２の比率係数（Ｒ_Ｙ）４０６と彩度（Ｓ）４０４の比率係数（Ｒ_Ｓ）４０８とを定める。比率係数（Ｒ_Ｙ）４０６と比率係数（Ｒ_Ｓ）４０８とは数３の関係に従う。なお、本実施形態の比率係数（Ｒ_Ｙ）４０６は、０≦Ｒ_Ｙ≦１の範囲の値をとる。

本実施形態の奥行き値生成部３０は、輝度値（Ｙ）４０２、彩度（Ｓ）４０４にそれぞれ比率係数（Ｒ_Ｙ）４０６、比率係数（Ｒ_Ｓ）４０８を乗じて中間値４１０、４１２を生成する。そして、加算器３１６でこれらの中間値を加算して数４で与えられる原奥行き値（Ｚ_０）４１４を求める。

そして、奥行き値生成部３０は、原奥行き値Ｚ_０４１４に拡大率（Ｄ）４１６を乗じて奥行き値（Ｚ_Ｃ）２１２を生成する。ここで、拡大率（Ｄ）４１６は、制御信号２２０に基づいて比率係数設定部３２０から出力される。奥行き値（Ｚ_Ｃ）２１２は数５（ここでは上の式）で与えられ、拡大率（Ｄ）４１６は本実施形態においては１≦Ｄ≦８の範囲の値である。なお、上限値８は立体視画像生成部４０のＦＩＦＯのサイズによって決定されている。補間処理の対象となる画素数がＦＩＦＯのサイズ内に収まるようにするためである。

ここで、奥行き値（Ｚ_Ｃ）は大小関係を反転する機能を持っていてもよい。このとき、通常の場合に奥行き値は式（５）の上の式で表され、反転した場合には下の式となる。反転した場合には、原奥行き値Ｚ_０４１４ではなく、固定値の１から原奥行き値（Ｚ_０）４１４を引いた値（以下、反転値）が用いられる。

図３では、減算器４５０が反転値４６４を生成している。比率係数設定部３２０からの選択信号４６６に従って、マルチプレクサー４５２は原奥行き値（Ｚ_０）４１４又は反転値４６４を選択する。そして、拡大率（Ｄ）４１６を乗じて奥行き値（Ｚ_Ｃ）が求められる。

原奥行き値（Ｚ_０）４１４に代えて反転値４６４を選択するのは、例えば次のような場合である。非立体視画像において輝度又は彩度の高い画素は手前にある場合が多い。例えば比率係数（Ｒ_Ｙ）４０６や比率係数（Ｒ_Ｓ）４０８の画一的な設定が原因で、このような画素が奥まった位置に配置されそうな場合に、反転値を選択することで奥行き値を調整して手前に配置させることが可能になる。反転値を選択する機能（反転値選択機能）により、手前にあるべき画素が奥まって見える不自然な画像が生成されることを回避でき、自然な立体視画像が得られる。

このとき、選択信号４６６により瞬時に切り替えが可能であるため、画素毎の制御ができる。例えば、比率係数設定部３２０は、輝度値（Ｙ）および彩度（Ｓ）の少なくとも一方を直接受け取ってもよい（図外）。そして、閾値等を用いてその画素が手前に配置されるべきか否かを判断して、画素毎に選択信号４６６を切り替えてもよい。なお、比率係数設定部３２０は画像の情報を制御信号２２０経由で受け取り、画像毎に反転値選択機能を使用するか否かを判断してもよい。

ここで、再び図２（Ａ）および（Ｂ）の例を用いて奥行き値（Ｚ_Ｃ）について説明する。この場合の奥行き値（Ｚ_Ｃ）２１２は領域３０２の中央に位置する注目画素Ｐ_３４の奥行き値である。そして、遅延回路３２２は１つ前の注目画素の奥行き値（Ｚ_Ｐ）２２２を保持している。本実施形態において「１つ前」とは、バッファー部２０のレジスターの値をシフトさせるクロック（図外）を基準として１クロック前を意味する。図２（Ａ）および（Ｂ）の例では、１つ前の注目画素は隣接画素Ｐ_３３である。

このように、本実施形態の奥行き値生成部３０は、注目画素、隣接画素にそれぞれ対応した奥行き値（Ｚ_Ｃ）２１２、奥行き値（Ｚ_Ｐ）２２２を出力する。

ここで、遅延回路３２２は、奥行き値生成部３０でなく、例えばバッファー部２０にあってもよい。この場合、奥行き値（Ｚ_Ｐ）２２２は隣接画素の画素値ＰＤ_Ｐ２２６と共にバッファー部２０から立体視画像生成部４０に出力されてもよい。また、奥行き値（Ｚ_Ｃ）２１２についても、一度、バッファー部２０を経由して、注目画素の画素値ＰＤ_Ｃ２２４と共に立体視画像生成部４０に出力されてもよい。

１．５．奥行き値と画素移動について
図４（Ａ）〜（Ｄ）は奥行き値を説明するための図である。図４（Ａ）〜（Ｄ）は非立体視画像３３２を上方から見ており、鑑賞者の右目３３０Ｒと左目３３０Ｌとが示されている。前記の通り立体視のためには視差のある２枚の画像を生成する必要がある。ここでは、右目用画像を作成する場合における奥行き値について図４（Ａ）〜（Ｄ）を用いて説明する。なお、左目用画像については、画素移動させる方向が左右対称となるだけで、右目用画像の作成方法と同様であるため図示および詳細な説明を省略する。

図４（Ａ）は、ある画素３４０が立体視画像においても非立体視画像３３２の上に表示される場合、すなわち鑑賞者と非立体視画像３３２までの距離に等しい距離だけ離れている場合を示している。このとき、非立体視画像３３２に表示される当該画素の位置を移動させる必要はなく奥行き値はゼロである。しかし、画素３４０が立体視画像において非立体視画像３３２よりも手前、または奥まった位置に表示される場合には、画素移動を行う必要がある。

図４（Ｂ）は、画素３４０が立体視画像において非立体視画像３３２よりも手前に位置するように表示される場合を示している。なお、垂線３３４は画素３４０を含む非立体視画像３３２に対する仮想的な垂線である。ここで、非立体視画像３３２の位置をゼロとして鑑賞者から見て奥の方の奥行きをプラスにとる。図４（Ｂ）では、立体視画像における画素３４０の奥行きは−Ｌ_１である。このとき、右目用画像では、非立体視画像３３２が当初に画素３４０を表示している位置（非立体視画像画素位置）３４２から左方にＳ_１だけずれた位置（右目用画像画素位置）３４４に画素移動を行う必要がある。

図４（Ｃ）は、画素３４０が立体視画像において非立体視画像３３２よりも少し奥まった位置（＋Ｌ_２の位置）に表示される場合を示している。このとき、右目用画像では、非立体視画像画素位置３４２から右方にＳ_２だけ画素移動を行う必要がある。

図４（Ｄ）は、画素３４０が立体視画像において図４（Ｃ）の場合よりも更に奥まった＋Ｌ_３の位置に表示される場合を示している。このとき、右目用画像では、右方にＳ_２よりも大きいＳ_３だけ画素移動を行う必要がある。

これらの例における、画素の移動量Ｓ_１〜Ｓ_３が奥行き値である。右方へ画素移動する場合をプラスにとると、図４（Ｂ）の場合の奥行き値は−Ｓ_１であり、図４（Ｃ）、（Ｄ）の場合の奥行き値はそれぞれ＋Ｓ_２、＋Ｓ_３である。このとき奥行き値は、立体視画像において表示される位置（奥行き）と正の相関関係をもつ。

本実施形態では、例えば奥行き値生成部３０の比率係数設定部３２０によって適当な拡大率（Ｄ）４１６（図３参照）を与えることにより、奥行き値（すなわち、画素の移動量）と、鑑賞者が認識する立体視画像における奥行きとの関係とを調整することが可能である。

ここで、左目用画像を作成する場合には左右の対称性を利用できる。つまり、右目用画像を作成するのに用いる演算式において奥行き値の符号を変えて適用すればよい。例えば図４（Ｃ）の例において、右目用画像では非立体視画像画素位置３４２から＋Ｓ_２だけ画素移動を行うが、左目用画像では対称性により−Ｓ_２だけ画素移動を行うと考えることが可能である。左右の対称性を利用することにより、奥行き値生成部３０が右目用画像と左目用画像について個別に奥行き値を求める場合に比べて演算量が半分で済む。

１．６．補間処理の概要
前記の通り、奥行き値生成部３０が生成した奥行き値（Ｚ_Ｃ）２１２だけ画素移動を行うことで、例えば右目用画像を生成することが可能である。しかし、奥行き値（Ｚ_Ｃ）は立体視画像において表示されるべき位置（奥行き）に基づいて決定されるため、整数値、すなわち画素間隔の倍数になるとは限らない。奥行き値が小数部分を含む場合には、例えば小数点以下の切り捨てや切り上げ等が行われるが、その誤差によって不自然な立体視画像が生成される恐れがある。

そこで、本実施形態においては、奥行き値生成部３０が出力する注目画素および隣接画素の奥行き値を用いて、補間処理によって右目用画像および左目用画像の画素値を生成する。

図５（Ａ）〜（Ｃ）は、補間処理を説明するための図である。図５（Ａ）は非立体視画像の例を示し、バッファー部２０の説明で用いた図２（Ａ）と同一の画像である。補間処理を行う立体視画像生成部４０は、バッファー部２０からピクセルカウンターの値ＰＣＮＴと領域３０４内の２つの画素Ｐ_３３、Ｐ_３４の画素値を受け取る。また、立体視画像生成部４０は、奥行き値生成部３０から画素Ｐ_３３、Ｐ_３４のそれぞれの奥行き値Ｚ_Ｐ、Ｚ_Ｃを受け取る。画素Ｐ_３４は注目画素であり、画素Ｐ_３３は１つ前の隣接画素である。立体視画像生成部４０は、ＰＣＮＴの値が５であることから、注目画素のカラム数が４であると判断できる。

図５（Ｂ）は、立体視画像生成部４０が右目用画像における補間処理の対象画素を選択する手順を示している。図５（Ｂ）の上図は、画素Ｐ_３３、Ｐ_３４の移動位置を計算する前、すなわち非立体視画像における配置を示す。画素Ｐ_３３、Ｐ_３４は右目用画像においてはそれぞれ奥行き値Ｚ_Ｐ、Ｚ_Ｃが加算され、理想的には図５（Ｂ）の下図に示す位置に移動する。図５（Ｂ）の下図の画素Ｐ_３３の位置は隣接画素理想位置であり、画素Ｐ_３４の位置は対象画素理想位置である。このとき、前記のように奥行き値Ｚ_Ｐ、Ｚ_Ｃは小数部分を含むため、画素があるべき位置Ｘ_１、Ｘ_２、…、Ｘ_Ｎからずれている。ここで、奥行き値の小数点以下の切り捨て等を行うと不自然な立体視画像が生成され得る。そこで、本実施形態の立体視画像生成部４０は、理想的に移動した図５（Ｂ）の下図の画素Ｐ_３３、Ｐ_３４の画素値を用いて、これらに挟まれた画素を例えば線形補間によって作成することで自然な立体視画像を生成する。この例においては位置Ｘ_５、Ｘ_６の画素が、画素Ｐ_３３、Ｐ_３４の画素値を用いた補間処理の対象となる。そして、注目画素と隣接画素をシフトさせながら、右目用画像の各画素をこの補間処理により作成することで、自然な立体視画像を表示できる右目用画像が生成される。

図５（Ｃ）は、立体視画像生成部４０が左目用画像における補間処理の対象画素を選択する手順を示している。左目用画像を生成する場合には、奥行き値Ｚ_Ｐ、Ｚ_Ｃの符号を変えた−Ｚ_Ｐ、−Ｚ_Ｃを加算して画素Ｐ_３３、Ｐ_３４の理想的な移動位置を求める。それ以外は右目用画像の場合と同じである。この例では、位置Ｘ_２の画素だけが、画素Ｐ_３３、Ｐ_３４の画素値を用いた補間処理の対象となる。

１．７．立体視画像生成部
１．７．１．全体構成
図６は、本実施形態の立体視画像生成部４０のブロック図である。前記のように、立体視画像生成部４０は注目画素と隣接画素の画素値から、補間処理の対象となる画素（補間処理対象画素）の画素値を演算で求める。

立体視画像生成部４０は、注目画素の画素値ＰＤ_Ｃ２２４、隣接画素の画素値ＰＤ_Ｐ２２６、奥行き値Ｚ_Ｃ２１２、Ｚ_Ｐ２２２、ピクセルカウンターの値（ＰＣＮＴ）２２８を受け取る。

立体視画像生成部４０は、理想的な注目画素と隣接画素の移動位置を計算する移動位置計算部３５０を含む。移動位置計算部３５０は、ＰＣＮＴ２２８から注目画素のカラム数を把握し、Ｚ_Ｃ２１２とＺ_Ｐ２２２に基づいて画素移動の位置を計算する。

立体視画像生成部４０は、補間処理対象画素の画素値を計算で求める際の係数を出力する補間係数設定部３５２を含む。本実施形態では補間処理対象画素の画素値は数６のように求められ、補間係数設定部３５２は、移動位置計算部３５０からの制御信号４２２に従って係数ＣＯ_Ｐ４２６とＣＯ_Ｃ４２４を出力する。

なお、数６はＰＤ_Ｐ、ＰＤ_Ｃのデータ形式に従って各要素に対して展開される。例えば、本実施形態のようにＲＧＢの各要素を有する場合には、具体的には数７のように求められる。

例えば、図５（Ｂ）の例において、補間処理対象画素は位置Ｘ_５、Ｘ_６にある２つの画素である。このうち、位置Ｘ_５の画素は隣接画素理想位置（画素移動後の画素Ｐ_３３の位置）に近いため、係数ＣＯ_ＰをＣＯ_Ｃよりも大きくすることが好ましい。逆に、位置Ｘ_６の画素は対象画素理想位置（画素移動後の画素Ｐ_３４の位置）に近いため、係数ＣＯ_ＣをＣＯ_Ｐよりも大きくすることが好ましい。本実施形態の移動位置計算部３５０は、補間処理対象画素の位置情報を計算し、位置Ｘ_５の画素と位置Ｘ_６の画素とで異なる係数が出力されるように補間係数設定部３５２を制御信号４２２によって制御する。

立体視画像生成部４０は、乗算器３５４、３５６や加算器３５８によって、数６の画素値ＰＤ_ｉ４３２を計算する。選択回路３６０は、移動位置計算部３５０から右目用画像の補間処理であるか左目用画像の補間処理であるかを指定する選択信号４３４を受け取って、画素値ＰＤ_ｉ４３２をＲＦＩＦＯ３６２、又はＬＦＩＦＯ３６４に出力する。ＲＦＩＦＯ３６２、ＬＦＩＦＯ３６４はそれぞれ、右目用画像、左目用画像を一時保存するためのＦＩＦＯである。

立体視画像生成部４０は、合成出力部３６６を含んでいてもよい。合成出力部３６６は右目用画像と左目用画像とを例えば後段のＬＣＤインターフェースに適したフォーマットに合成し、出力立体視画像信号２１４として出力する。このとき、例えばＰＣＮＴ２２８の値や処理の状況を示すパラメーターなどを移動位置計算部３５０から内部信号４４４として受け取り、例えば出力タイミングの調整を行ってもよい。

１．７．２．移動位置計算
図７（Ａ）〜（Ｂ）は移動位置計算に用いられる補間処理用変数を説明するための図である。図７（Ａ）は、この例では画素移動後の画素Ｐ_３３、Ｐ_３４を含む１ライン分の右目用画像であるとする。記号等については、図５（Ｂ）の下図と同じであり説明を省略する。

図７（Ａ）に示された補間処理用変数Ｄｉｓｔ、Ａｃｃは、奥行き値Ｚ_Ｃ、Ｚ_Ｐと同じように、隣接する画素の間隔を１とする数値で表現される。なお、奥行き値Ｚ_Ｃ、Ｚ_Ｐについては重複記載となるため説明を省略する。

変数Ｄｉｓｔは、画素移動後の隣接画素Ｐ_３３と注目画素Ｐ_３４との距離であり、数８で与えられる。

変数Ａｃｃの初期値は、画素移動後の隣接画素Ｐ_３３と最も近い画素位置（この例ではＸ_５）との距離であり、数９で与えられる。

ただし、［］はガウス記号であり、［Ｚ_Ｐ］はＺ_Ｐを越えない最大の整数値を表す。移動位置計算部３５０は、上記の変数ＤｉｓｔとＡｃｃを計算で求め、これらの変数の比率に応じた係数を補間係数設定部３５２が出力するように制御信号４２２によって制御する。

ここで、左目用画像の計算は、奥行き値Ｚ_Ｃ、Ｚ_Ｐの符号を変えて同様に行う。

なお、変数Ａｃｃは後述するように係数を選択する際の計算において、値を１ずつインクリメントして用いられる。数９および数１１の式は、その初期値を与えるものである。

図７（Ｂ）は、補間処理用変数Ｄｉｓｔ、Ａｃｃの別の例を示す図である。このとき、変数ＤｉｓｔはＡｃｃよりも小さい。Ｄｉｓｔ＜Ａｃｃが成り立つ場合には、補間処理対象画素は存在しないため、移動位置計算部３５０は例えば次の注目画素の計算を開始することになる（図９のＳ１６Ｎ参照）。

１．７．３．補間係数
図８のテーブルは、補間処理における係数の具体例である。このテーブルが示すように、変数ＡｃｃとＤｉｓｔの比に応じて係数ＣＯ_Ｐ、ＣＯ_Ｃが変化する。図８の下図では、変数Ｄｉｓｔは理想的に画素移動した画素Ｐ_３３、Ｐ_３４の間の距離である。また、変数Ａｃｃは理想的に画素移動した画素Ｐ_３３から画素位置までの距離であり、図ではその初期値Ａｃｃとして示している。

図８の下図で、画素位置Ｘ_５の画素の画素値ＰＤ_５を補間処理で求める場合、ＡｃｃはＤｉｓｔに比べて小さく、２／８＜Ａｃｃ／Ｄｉｓｔ≦３／８が成り立つ。すると、数６と図８のテーブルに従ってＰＤ_５は（６／８）＊Ｐ_３３＋（２／８）＊Ｐ_３４と計算される。なお、ここでは画素Ｐ_３３、Ｐ_３４の画素値もＰ_３３、Ｐ_３４で表すこととする。このとき、近接する画素Ｐ_３３の係数ＣＯ_Ｐの方が大きい。

次に、画素位置Ｘ_６の画素の画素値ＰＤ_６を補間処理で求める場合には、Ａｃｃに画素間隔である１を加えた値を新たなＡｃｃとして計算する。このとき、５／８＜Ａｃｃ／Ｄｉｓｔ≦６／８であるとすると、数６と図８に従ってＰＤ_６は（３／８）＊Ｐ_３３＋（５／８）＊Ｐ_３４と計算される。このとき、近接する画素Ｐ_３４の係数ＣＯ_Ｃの方が大きい。

画素位置Ｘ_７の画素については、Ａｃｃに２を加えた値を新たなＡｃｃとするとＤｉｓｔよりも値が大きくなる。よって、前記の通り、画素Ｐ_３３、Ｐ_３４に基づく補完処理は行われない。

なお、仮に画素位置Ｘ_５が画素Ｐ_３３、Ｐ_３４の中央付近にあり、５／８＜Ａｃｃ／Ｄｉｓｔ≦６／８を満たす場合には、ＰＤ_５は（４／８）＊Ｐ_３３＋（４／８）＊Ｐ_３４と計算される。つまり、画素Ｐ_３３、Ｐ_３４の画素値を１／２ずつ加算した値となる。

移動位置計算部３５０は、このように係数ＣＯ_ＰとＣＯ_Ｃを求め、補間係数設定部３５２がこれらの係数を出力するように制御する。なお、図８のテーブルは変数ＡｃｃとＤｉｓｔの比率を８段階に区分して係数を定めているが、より細かく設定（例えば１６段階）してもよいし、逆に区分を粗くしてもよい。

１．７．４．フローチャート
図９は、本実施形態における立体視画像生成部４０の移動位置計算部３５０における処理を表すフローチャートである。

本実施形態では、移動位置計算部３５０は新たにＰＣＮＴ２２８、奥行き値Ｚ_Ｃ２１２、Ｚ_Ｐ２２２を取得し（Ｓ１０）、まず右目用画像を作成するための計算を行う（Ｓ１２）。

変数ＡｃｃとＤｉｓｔを計算により求めて（Ｓ１４）、これらの変数の大小関係を判断する（Ｓ１６）。Ａｃｃ＜Ｄｉｓｔであれば（Ｓ１６Ｙ）、その比率から補間係数を求めて（Ｓ２２）、補間係数設定部３５２や他の機能ブロックに対して制御信号を出力し（Ｓ２４）、例えば補間係数を更新させる。次に、Ａｃｃの値に１を加えて新たなＡｃｃとし（Ｓ２６）、次の画素位置の画素に対しても同様の処理を行うためにＳ１６に戻る。

もし、Ａｃｃ≧Ｄｉｓｔであれば（Ｓ１６Ｎ）、補間処理対象画素がなくなったことを意味する。その場合、右目用画像を作成していたならば（Ｓ１８Ｙ）、左目用画像の作成に移行し（Ｓ３２）同様の処理を行う。左目用画像の作成していた場合には（Ｓ１８Ｎ）１フレーム分の処理を終えたならば（Ｓ２０Ｙ）一連の処理を終了し、そうでなければＳ１０に戻って処理を継続する（Ｓ２０Ｎ）。

このように、立体視画像生成部４０がこのようなフローに従って補間処理で右目用画像と左目用画像の画素値を得ることで、本実施形態の画像処理装置は自然な立体視画像を生成することができる。

２．変形例
２．１．第１変形例
２．１．１．構成
図１０は、第１変形例における奥行き値生成部３０Ａのブロック図である。なお、図３と同じ要素には同じ番号を付しており説明を省略する。

第１実施形態においては、比率係数設定部３２０は制御信号２２０にのみ基づいて奥行き値の比率係数を決定する（図３参照）。画像処理装置１０を含む集積回路装置１０００の外部に存在するホストＣＰＵ等が制御信号２２０を出力している場合、アクセスに時間がかかるため、１フレームの非立体視画像の全領域で同じ比率係数が使用されることがある。しかし、例えば１フレームの非立体視画像をいくつかの領域に区分して各領域の特徴に応じて適応的に比率係数を変更できれば、より自然な立体視画像を生成するための適切な奥行き値を生成することができる。

第１変形例の奥行き値生成部３０Ａは、バッファー部２０に保持された演算対象画素群の画素値２１０に基づいて修正画素値の演算とは異なる画像処理を行い、その処理結果を比率係数設定部３２０Ａに出力することで、領域ごとに比率係数を変えることを可能にする。具体的には、明度差（コントラスト）を計算する明度差計算部３２４を含み、その処理結果４１８を比率計数設定部３２０Ａに出力する。

本願発明では、周辺の画素との関係を考慮して奥行き値を生成できる。このとき、奥行き値の計算に必要な画像処理と周辺の画素との関係を数値化する画像処理とを並列に行い、必要な画像処理の結果を反映させて、適切な１つの奥行き値を得ることができる。例えば、第１変形例では、画素値修正部３２と明度差計算部３２４は並列に画像処理を行っており、周辺の画素との関係を示す明度差を反映させた１つの奥行きが生成される。奥行き値を複数得てから平均化処理などを必要とする特許文献１又は特許文献２の発明に比べても、本願発明は、奥行き値の生成時に必要な画像処理の結果を反映できるとの有利な効果がある。

２．１．２．具体例
図１３（Ａ）は、第１変形例での非立体視画像の領域の例を示す図である。ポートレートなどの写真（非立体視画像）では、近く（近景）にフォーカスの合った人物像が配置され、背景（遠景）にぼやけた景色が写っている場合がある。図１３（Ａ）がこのような非立体視画像であるとすると、近景の領域３８０Ｂと遠景の領域３８０Ａに領域を区分することができる。

このとき、近景の領域３８０Ｂにのみフォーカスが合っている。よって、両領域を区別するには、隣接画素間での明るさの差（コントラスト）を検出して判断すればよい。例えば、明度差計算部３２４は演算対象画素群の画素値２１０から輝度を求めて隣接画素間の差の絶対値をとり、その絶対値の和から注目画素が近景の領域３８０Ｂに含まれるか、遠景の領域３８０Ａに含まれるかを判断してもよい。例えば、前記の絶対値の和が大きい場合には、フォーカスが合っていると判断されるため、注目画素は近景の領域３８０Ｂに含まれると判断できる。

ここで、遠景は大気の影響が強いため、彩度を用いて奥行き値を推定するのが有効であり、逆に近景は大気の影響を無視できるため、輝度を用いて奥行き値を推定するのが有効である。

よって、第１変形例の比率係数設定部３２０Ａは、明度差計算部３２４から注目画素が遠景であるか近景であるかを示す処理結果４１８を受け取り、遠景であれば彩度の比率係数Ｒ_Ｓ４０８を高く設定し、近景であれば輝度の比率係数Ｒ_Ｙ４０６を高く設定する。このように、第１変形例の奥行き値生成部３０Ａは、適応的に比率係数を変更して、より自然な立体視画像を生成するための適切な奥行き値を生成することができる。

２．２．第２変形例
図１１は、第２変形例における奥行き値生成部３０Ｂのブロック図である。なお、図３、図１０と同じ要素には同じ番号を付しており説明を省略する。

第２変形例の奥行き値生成部３０Ｂも第１変形例の奥行き値生成部３０Ａと同じように明度差により、遠景であるか近景であるかを判断して奥行き値を調整する。

しかし、原奥行き値（Ｚ_０）４１４Ａは数４ではなく、明度差から求められる画像のぼけ具合を示す「ぼやけ度σ」を含めた数１２の式で与えられる。

このとき、ぼやけ度σはコントラストが低い遠景において大きくなり、原奥行き値も大きくなる。よって直接的に明度差計算部３２４の処理結果４１８（ぼやけ度σ）を奥行き値に反映させることができ、比率係数設定部の制御も第１変形例の場合に比べて単純化できる。

２．３．第３変形例
図１２は、第３変形例における奥行き値生成部３０Ｃのブロック図である。なお、図３と同じ要素には同じ番号を付しており説明を省略する。

第３変形例における奥行き値生成部３０Ｃは、非立体視画像のオブジェクトのエッジを検出して、非立体視画像を複数の領域に区分した上で、領域毎に適応的に比率係数を変更するものである。

図１３（Ｂ）は、第３変形例での非立体視画像の領域の例を示す図である。第１変形例の場合と異なり、人物像（近景）と背景（遠景）の領域区分だけでなく、各人物の頭部とそれ以外などの領域に区分されている（領域３８２Ａ〜３８２Ｅ）。領域は非立体視画像のオブジェクトの輪郭に基づいて定められる。よって、人間の視覚による認識と対応した領域毎に奥行き値の比率係数を変更できるので、より自然な立体視画像を得ることができる。

これらの領域、すなわちオブジェクトの輪郭を検出するために、第３変形例の奥行き値生成部３０Ｃはエッジ検出部３２８を含む。エッジ検出部３２８は、ラプラシアンフィルターやソーベルフィルターを用いてエッジ検出を行ってもよい。

第３変形例の比率係数設定部３２０Ｃは、注目画素がどの領域に属するかとの情報を含む処理結果４１９を受け取り、領域に応じて適応的に比率係数を変更する。第３変形例の奥行き値生成部３０Ｃは、より自然な立体視画像を生成するための適切な奥行き値を生成することができる。

これらの例示に限らず、本発明は、実施の形態で説明した構成と実質的に同一の構成（例えば、機能、方法および結果が同一の構成、あるいは目的および効果が同一の構成）を含む。

本発明による立体視については、視差バリア、レンチキュラーレンズを用いた裸眼立体視だけでなく、偏光眼鏡、シャッター眼鏡を用いた方式等、両眼の視差を利用する様々な立体視方式に適用できる。

また、本発明は、実施の形態で説明した構成の本質的でない部分を置き換えた構成を含む。また、本発明は、実施の形態で説明した構成と同一の作用効果を奏する構成又は同一の目的を達成することができる構成を含む。また、本発明は、実施の形態で説明した構成に公知技術を付加した構成を含む。

１０…画像処理装置（２Ｄ３Ｄ変換器）、２０…バッファー部、３０、３０Ａ、３０Ｂ、３０Ｃ…奥行き値生成部、３２…画素値修正部、４０…立体視画像生成部、８０…入力インターフェース（入力Ｉ／Ｆ）、８２…メモリーインターフェース（メモリーＩ／Ｆ）、８４…フレームバッファー、８６…メモリーインターフェース（メモリーＩ／Ｆ）、８８、３６２、３６４…ＦＩＦＯ、９０…ＬＣＤインターフェース（ＬＣＤＩ／Ｆ）、２００…画像信号、２０２、２０４、２０６…内部信号、２０８…入力画像信号、２１０…演算対象画素群の画素値、２１２、２１２Ａ…奥行き値（Ｚ_Ｃ）、２１４…出力立体視画像信号、２１６、２１８…画像信号、２２０…制御信号、２２２、２２２Ａ…奥行き値（Ｚ_Ｐ）、２２４…画素値（ＰＤ_Ｃ）、２２６…画素値（ＰＤ_Ｐ）、２２８…ピクセルカウンターの値（ＰＣＮＴ）、３００、３３２…非立体視画像、３０２…（演算対象画素群を示す）領域、３０４…（注目画素と隣接画素を示す）領域、３１０…輝度値計算部、３１２…彩度計算部、３１３、３１４、３１８、３１８Ａ、３２６、３５４、３５６…乗算器、３１６、３１６Ａ、３５８…加算器、３２０、３２０Ａ、３２０Ｂ、３２０Ｃ…比率係数設定部、３２２…遅延回路、３２４…明度差計算部、３２８…エッジ検出部、３３０Ｒ…右目、３３０Ｌ…左目、３３４…垂線、３４０…画素、３４２…非立体視画像画素位置、３４４…右目用画像画素位置、３５０…移動位置計算部、３５２…補間係数設定部、３６０…選択回路、３６６…合成出力部、３８０Ａ〜Ｂ、３８２Ａ〜Ｅ…領域、４００…修正画素値、４０２…輝度値（Ｙ）、４０４…彩度（Ｓ）、４０６…比率係数（Ｒ_Ｙ）、４０８…比率係数（Ｒ_Ｓ）、４１０、４１２…中間値、４１４、４１４Ａ…原奥行き値（Ｚ_０）、４１６…拡大率（Ｄ）、４１８…明度差計算部の処理結果（ぼやけ度σ）、４１９…エッジ検出部の処理結果、４２０…比率係数（１−Ｒ_Ｙ−Ｒ_Ｓ）、４２２…制御信号、４２４…係数（ＣＯ_Ｃ）、４２６…係数（ＣＯ_Ｐ）、４２８、４３０、４３６、４３８、４４０、４４２、４４４、４６０、４６８…内部信号、４３２…画素値（ＰＤ_ｉ）、４３４、４６６…選択信号、４５０…減算器、４５２…マルチプレクサー、４６４…反転値、１０００…集積回路装置

Claims (11)

1. １枚の非立体視画像の画像信号である入力画像信号に基づいて、立体視画像を構成する右目用画像及び左目用画像の少なくとも一方の画像信号を生成する画像処理装置であって、
   前記入力画像信号のうち、前記非立体視画像における１つの画素である注目画素とその周囲の画素を含む演算対象画素群の画素値を一時的に保持するバッファー部と、
   前記演算対象画素群の画素値に基づいて前記注目画素の奥行き値を生成する奥行き値生成部と、
   前記奥行き値に基づいて前記左目用画像及び前記右目用画像の少なくとも一方の画像信号を生成する立体視画像生成部と、を含む画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記奥行き値生成部は、
   前記演算対象画素群の画素値の平均値に基づき前記奥行き値を生成する画像処理装置。
3. 請求項１乃至２のいずれかに記載の画像処理装置において、
   前記奥行き値生成部は、
   前記演算対象画素群の画素値、又は前記演算対象画素群の画素値に基づき演算した修正画素値から輝度と彩度とを求め、前記輝度と前記彩度とを所与の割合で加算することで前記注目画素の前記奥行き値を生成する画像処理装置。
4. １枚の非立体視画像の画像信号である入力画像信号に基づいて、立体視画像を構成する右目用画像及び左目用画像の少なくとも一方の画像信号を生成する画像処理装置であって、
   前記入力画像信号のうち、前記非立体視画像における１つの画素である注目画素とその周囲の画素を含む演算対象画素群の画素値に基づいて、前記注目画素の奥行き値を生成する奥行き値生成部と、
   前記奥行き値に基づいて前記左目用画像及び前記右目用画像の少なくとも一方の画像信号を生成する立体視画像生成部と、を含み、
   前記奥行き値生成部は、
   前記演算対象画素群の画素値に基づいて、前記注目画素の輝度と彩度とを求め、前記輝度と前記彩度とを所与の割合で加算することで前記注目画素の奥行き値を生成する画像処理装置。
5. 請求項３乃至４のいずれかに記載の画像処理装置において、
   前記奥行き値生成部は、
   前記演算対象画素群の画素値に基づいて、前記非立体視画像に含まれるオブジェクトのエッジを検出し、
   前記非立体視画像を前記オブジェクトのエッジで区切られた領域に区分し、
   前記注目画素が前記領域のいずれに属するかを判断して、判断結果に基づき前記輝度と前記彩度とを加算する際の前記所与の割合を定める画像処理装置。
6. 請求項３乃至４のいずれかに記載の画像処理装置において、
   前記奥行き値生成部は、
   前記演算対象画素群の画素値に基づいて、輝度、彩度とは異なる前記注目画素の属性を求め、
   前記注目画素の属性に基づいて、前記輝度と前記彩度とを加算する前記所与の割合を定める画像処理装置。
7. 請求項６に記載の画像処理装置において、
   前記奥行き値生成部は、
   前記演算対象画素群の明度差を前記注目画素の属性として求める画像処理装置。
8. 請求項３乃至５のいずれかに記載の画像処理装置において、
   前記奥行き値生成部は、
   前記演算対象画素群の明度差を求めて、
   前記明度差に基づいて、前記注目画素が前記非立体視画像において焦点からどれだけ離れているかを示すぼやけ度を求め、
   前記輝度と前記彩度と前記ぼやけ度とを所与の割合で加算することで前記注目画素の奥行き値を生成する画像処理装置。
9. 請求項１又は８に記載の画像処理装置において、
   前記立体視画像生成部は、
   前記左目用画像及び前記右目用画像の少なくとも一方の画像信号を生成する場合において、
   前記注目画素をその奥行き値に基づいて画素移動させた位置である対象画素理想位置と、前記注目画素に隣接する隣接画素をその奥行き値に基づいて画素移動させた位置である隣接画素理想位置とを求め、
   前記対象画素理想位置と前記隣接画素理想位置とに挟まれる前記左目用画像又は前記右目用画像の画素の画素値を、前記注目画素および前記隣接画素の画素値に基づく補間処理により求める画像処理装置。
10. １枚の非立体視画像の画像信号である入力画像信号に基づいて、立体視画像を構成する右目用画像及び左目用画像の少なくとも一方の画像信号を生成する画像処理装置であって、
    前記入力画像信号に基づいて前記非立体視画像の各画素の奥行き値を生成する奥行き値生成部と、
    前記奥行き値に基づいて前記左目用画像及び前記右目用画像の少なくとも一方の画像信号を生成する立体視画像生成部と、を含み、
    前記立体視画像生成部は、
    前記左目用画像及び前記右目用画像の少なくとも一方の画像信号を生成する場合において、
    前記非立体視画像における１つの画素である注目画素をその奥行き値に基づいて画素移動させた位置である対象画素理想位置と、前記注目画素に隣接する隣接画素をその奥行き値に基づいて画素移動させた位置である隣接画素理想位置とを求め、
    前記対象画素理想位置と前記隣接画素理想位置とに挟まれる画素の画素値を、前記注目画素および前記隣接画素の画素値に基づく補間処理により求める画像処理装置。
11. 請求項１乃至１０のいずれかに記載の画像処理装置を含む集積回路装置。