JP2011087100A - 擬似立体画像作成装置及び擬似立体画像表示システム - Google Patents

Abstract

【課題】人物の入力画像部分に対しても、複雑な絵柄で急峻なエッジを多く含む入力画像部分と同程度の十分な立体感が得られる擬似立体画像を作成する。
【解決手段】奥行き推定データ生成部１０１は、非立体画像の入力画像信号の肌色画像部分を画素単位で検出し、その肌色画像部分についての視差量を、肌色画像部分以外の他の画像部分に比較して相対的に強調させた奥行き推定データを生成する。ステレオペア生成部１０２は、奥行き推定データ生成部１０１の入力画像信号を右眼画像信号としたとき、ステレオペアを構成する左眼画像信号を生成して出力する。
【選択図】図１

Description

本発明は擬似的な立体画像を作成する擬似立体画像作成装置及び擬似立体画像を表示する擬似立体画像表示システムに関する。

立体画像表示システムにおいて非立体画像の擬似立体視による鑑賞を可能にするために、通常の２次元の静止画もしくは動画、即ち奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない２次元の画像（非立体画像）から擬似的な立体画像を作成することが数多く行われている。

例えば、本発明者により、非立体画像から擬似的な立体画像を作成する擬似立体画像作成装置が特許文献１に開示されている。この特許文献１記載の擬似立体画像作成装置は、２次元の静止画の画像内容からシーンの基本的な奥行き構造を、“経験知からあるタイプのシーン構造が比較的近い可能性が高いので選択する”という程度に推定し、誤判定された場合でも違和感の小さいものを採用する、所謂フェイルセーフの思想に基づき、擬似的な立体画像を作成するものである。

特許第４２１４９７６号公報

しかしながら、上記の特許文献１に記載の従来の擬似立体画像作成装置のように、推定される奥行き構造をもとに作成した擬似立体画像は、同じような設定であっても、一般的に単純な絵柄で急峻なエッジをあまり含まない入力画像に基づいて作成した場合は、十分な立体感を得られない傾向がある。このため、特に人物に関する入力画像に対しては、人物が多くのコンテンツにおいてシーン中で重要な位置付けであるにもかかわらず、一般に急峻なエッジを多く含まないため、作成した擬似立体画像の立体感が、人物以外のエッジを多く含む擬似立体画像部分のそれに対して相対的に不十分に感じられる。

本発明は上記の点に鑑みなされたもので、入力画像の肌色領域に応じて立体化の強度を制御することにより、人物の入力画像部分に対しても、複雑な絵柄で急峻なエッジを多く含む入力画像部分と同程度の十分な立体感が得られる擬似立体画像を作成し得る擬似立体画像作成装置及び擬似立体画像表示システムを提供することを目的とする。

上記目的を達成するため、第１の発明の擬似立体画像作成装置は、基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルタイプを記憶する記憶手段と、奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像の画面内の複数の所定領域における画素値の統計量を算定して複数の評価値を得る算定手段と、記憶手段に記憶されている複数の基本奥行きモデルタイプを、算定手段により得られた評価値に応じた合成比率で合成する合成手段と、非立体画像の画素単位に肌色の度合いを示す肌色強度を算出する肌色強度算出手段と、合成手段により合成された合成結果と、供給される非立体画像と、肌色強度とから奥行き推定データを生成する奥行き推定データ生成手段と、非立体画像のテクスチャを、肌色強度に基づいて、被写体の凹凸を強調するように奥行き推定データに応じた量だけシフトするテクスチャシフト手段と、テクスチャシフト手段から出力された画像信号と、非立体画像による画像信号とを擬似立体画像信号として出力する出力手段とを有することを特徴とする。

また、上記の目的を達成するため、第２の発明の擬似立体画像作成装置は、基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルタイプを記憶する記憶手段と、奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像の画面内の複数の所定領域における画素値の統計量を算定して複数の評価値を得る算定手段と、記憶手段に記憶されている複数の基本奥行きモデルタイプを、算定手段により得られた評価値に応じた合成比率で合成する合成手段と、非立体画像の画素単位に肌色の度合いを示す肌色強度を算出する肌色強度算出手段と、合成手段により合成された合成結果と、供給される非立体画像とから奥行き推定データを生成する奥行き推定データ生成手段と、非立体画像のテクスチャを、対応部分の奥行き推定データに応じた量だけシフトするテクスチャシフト手段と、テクスチャシフト手段から出力された画像信号に対して、肌色強度算出手段から出力される肌色強度に応じて画像強調の度合いを制御する処理を行って第１の画像信号を生成する第１の画像強調手段と、非立体画像に対して、肌色強度算出手段から出力される肌色強度に応じて画像強調の度合いを制御する処理を行って、第１の画像信号と共に擬似立体画像信号を構成する第２の画像信号を生成する第２の画像強調手段とを有することを特徴とする。

また、上記の目的を達成するため、第３の発明の擬似立体画像表示システムは、基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルタイプを記憶する記憶手段と、奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像の画面内の複数の所定領域における画素値の統計量を算定して複数の評価値を得る算定手段と、記憶手段に記憶されている複数の基本奥行きモデルタイプを、算定手段により得られた評価値に応じた合成比率で合成する合成手段と、非立体画像の画素単位に肌色の度合いを示す肌色強度を算出する肌色強度算出手段と、合成手段により合成された合成結果と、供給される非立体画像と、肌色強度とから奥行き推定データを生成する奥行き推定データ生成手段と、非立体画像のテクスチャを、肌色強度に基づいて、被写体の凹凸を強調するように奥行き推定データに応じた量だけシフトするテクスチャシフト手段と、テクスチャシフト手段から別視点画像として出力された画像信号と、非立体画像による画像信号とを擬似立体画像信号として出力する出力手段と、出力手段から出力された別視点画像の画像信号及び非立体画像の画像信号の一方を右眼画像信号とし他方を左眼画像信号として擬似立体画像を表示する表示装置とを有することを特徴とする。

更に、上記の目的を達成するため、第４の発明の擬似立体画像表示システムは、基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルタイプを記憶する記憶手段と、奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像の画面内の複数の所定領域における画素値の統計量を算定して複数の評価値を得る算定手段と、記憶手段に記憶されている複数の基本奥行きモデルタイプを、算定手段により得られた評価値に応じた合成比率で合成する合成手段と、非立体画像の画素単位に肌色の度合いを示す肌色強度を算出する肌色強度算出手段と、合成手段により合成された合成結果と、供給される非立体画像とから奥行き推定データを生成する奥行き推定データ生成手段と、非立体画像のテクスチャを、対応部分の奥行き推定データに応じた量だけシフトするテクスチャシフト手段と、テクスチャシフト手段から出力された画像信号に対して、肌色強度算出手段から出力される肌色強度に応じて画像強調の度合いを制御する処理を行って第１の画像信号を生成する第１の画像強調手段と、非立体画像に対して、肌色強度算出手段から出力される肌色強度に応じて画像強調の度合いを制御する処理を行って、第１の画像信号と共に擬似立体画像信号を構成する第２の画像信号を生成する第２の画像強調手段と、第１の画像信号及び第２の画像信号の一方を右眼画像信号とし、他方を左眼画像信号として擬似立体画像を表示する表示装置とを有することを特徴とする。

本発明によれば、人物の入力画像部分に対しても、複雑な絵柄で急峻なエッジを多く含む肌色領域以外の領域の入力画像部分と同程度の十分な立体感が得られる擬似立体画像を作成することができる。

本発明の擬似立体画像作成装置の第１の実施の形態のブロック図である。 図１中の奥行き推定データ生成部の一実施の形態のブロック図である。 シグモイド関数を示す図である。 図２中の肌色強度評価部が有する関数分布の一例を示す図である。 図２中の奥行きモデル合成部の一例のブロック図である。 図１中のステレオペア生成部の一実施の形態のブロック図である。 図２中の合成比率決定部による合成比率の決定条件の一例の説明図である。 本発明の擬似立体画像作成装置の第２の実施の形態のブロック図である。 図８中の奥行き推定データ生成部の一実施の形態のブロック図である。

以下、本発明の実施の形態について図面を参照して説明する。

（第１の実施の形態）
図１は、本発明になる擬似立体画像作成装置の第１の実施の形態のブロック図を示す。同図に示すように、本実施の形態の擬似立体画像作成装置１００は、擬似立体化を行う非立体画像のカラー画像信号が入力される奥行き推定データ生成部１０１と、上記の非立体画像のカラー画像信号及び奥行き推定データ生成部１０１で生成された奥行き推定データが入力されて、入力カラー画像信号とステレオペアを構成する画像信号を生成して出力するステレオペア生成部１０２とから構成されている。

上記の入力カラー画像信号は、奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像であり、赤（Ｒ）、緑（Ｇ）及び青（Ｂ）の三原色の表色系で表示されるカラー画像信号である。

奥行き推定データ生成部１０１は、上記の非立体画像の入力カラー画像信号の肌色画像部分を画素単位で検出し、その肌色画像部分についての視差量を、肌色画像部分以外の他の画像部分に比較して相対的に強調させた奥行き推定データを生成する。ステレオペア生成部１０２は、奥行き推定データ生成部１０１の入力画像信号を右眼画像信号としたとき、ステレオペアを構成する左眼画像信号を生成して出力する。

図２は、奥行き推定データ生成部１０１の一実施の形態のブロック図を示す。同図に示すように、本実施の形態の奥行き推定データ生成部１０１は、擬似立体化を行う非立体画像の画像信号が入力される画像入力部２０１と、画像入力部２０１からの非立体画像の上部約２０％の高域成分評価値を計算により求める算定手段である上部の高域成分評価部２０２と、画像入力部２０１からの非立体画像の下部約２０％の高域成分評価値を計算により求める算定手段である下部の高域成分評価部２０３と、非立体画像の画素値の肌色に近い度合い（以下、「肌色強度」という）の推定を行うために、画像入力部２０１からの非立体画像の三原色（ＲＧＢ）表色系をＨＳＶ表色系に変換するＲＧＢ→ＨＳＶ変換部２０４とを有する。

また、奥行き推定データ生成部１０１は、上部の高域成分評価値及び下部の高域成分評価値の各値に応じて基本奥行きモデルタイプＡ、基本奥行きモデルタイプＢ及び基本奥行きモデルタイプＣの合成比率を決定する合成比率決定部２０５と、各々基本奥行きモデルタイプＡ、基本奥行きモデルタイプＢ及び基本奥行きモデルタイプＣの画像を記憶する３つの記憶手段であるフレームメモリ２０６、２０７及び２０８と、下部の高域成分評価値及び上部の高域成分評価値の各値に応じて合成比率決定部２０５で決定された合成比率により、フレームメモリ２０７、２０８及び２０９からの３種類の基本奥行きモデル画像を合成する奥行きモデル合成部２０９と、肌色強度評価部２１０と、奥行きモデル合成部２０９により得られた合成基本奥行きモデル画像に、画像入力部２０１の基になる画像の三原色信号（ＲＧＢ信号）のうちの赤色信号（Ｒ信号）をある乗数を乗じて重畳し最終的な奥行き推定データを得る第１の重み付け部２１１と、肌色強度評価部２１０から出力される信号にある乗数を乗じて重み付けを行う第２の重み付け部２１２と、加算器２１３とを有する。

なお、ＲＧＢ→ＨＳＶ変換部２０４と肌色強度評価部２１０とは、肌色強度算出手段を構成している。また、合成比率決定部２０５と奥行きモデル合成部２０９とは、合成手段を構成している。また、重み付け部２１１及び２１２と加算器２１３とは、奥行き推定データ生成手段を構成している。この奥行き推定データ生成部１０１は、ＲＧＢ→ＨＳＶ変換部２０４、肌色強度評価部２１０及び重み付け部２１２により、入力画像信号中の人物部分の立体感を強調するための肌色処理を行う点に特徴がある。

ＲＧＢ→ＨＳＶ変換部２０４は、画像入力部２０１からの非立体画像の三原色（ＲＧＢ）表色系を、公知の方法でＨＳＶ表色系に変換する。ＨＳＶ表色系は、色を色相（Hue）、彩度（Saturation）、明度（Value又はBrightness）の３つの要素で表す表色系である。ここでは、ＲＧＢ→ＨＳＶ変換部２０４は、三原色信号である非立体画像の入力カラー画像信号から、公知の方法でＨＳＶ表色系の色相を示すＨ値と彩度を示すＳ値とを画素単位で算出して出力する。

肌色強度評価部２１０は、色相座標と彩度座標についてそれぞれ予め決定した値の関数分布ｆh、ｆsを有し、その関数分布ｆh、ｆsをＲＧＢ→ＨＳＶ変換部２０４から出力されたＨ値とＳ値とで別々に参照することで得られた関数分布の色相座標と彩度座標の各値の積をもって肌色強度を画素単位に算出する。ここでは、上記の関数分布ｆh、ｆsは、後述するように色相座標の中心座標値と、彩度座標値に“４０”を乗算した彩度座標の中心座標値がそれぞれ“２０”であるような関数分布である。ここで、彩度座標値に“４０”を乗算しているのは、正規化によって関数分布を共用するためである。

そして、肌色強度評価部２１０は、上記の関数分布において色相座標値（Ｈ値）が２０、彩度座標値（Ｓ値）が０.５（すなわち、Ｓ×４０＝２０に相当）程度を中心とする一帯を典型的な肌色とし、Ｈ値が０又はＨ値が４０、若しくはＳ値が０.０（すなわち、Ｓ×４０＝０に相当）又はＳ値が１.０（すなわち、Ｓ×４０＝４０に相当）に近付くと、肌色である可能性は低い、若しくは肌色部分でも影になった部分である可能性が高いと判断する。これにより、肌色領域内での被写体の凹凸の推定も可能になる。

上記の関数分布ｆh、ｆsは、具体的には図３に示すような、シグモイド関数δa(x)（＝１／（１＋ｅ^-ax））を利用して作成される。図３に示すように、シグモイド関数δa(x)は、ｘの値が約６／ａ以上で“１”に漸近する関数なので、上記の関数分布ｆh、ｆsは、この特性を利用してＨ＝１８〜２２、Ｓ×４０＝１８〜２２において関数値が“１”、Ｈ＝０又はＳ×４０＝０、Ｈ＝４０又はＳ×４０＝４０において、関数値が“０”になるように設計される。これらの関数分布ｆh、ｆsは、以下のように書くことができる。

図４は、上記の数式で表される関数分布ｆh、ｆsを示す。ただし、横軸がＨのときは関数分布ｆh、横軸がＳ×４０のときは関数ｆsを示す。

肌色強度評価部２１０は、これらの関数分布ｆh、ｆsにおけるＲＧＢ→ＨＳＶ変換部２０４から出力されたＨ値とＳ値に対応する関数値ｆh(H)、ｆs(S×40)を求め、更にそれらの積を肌色強度として算出して出力する。

なお、人物の肌色は、厳密には人種などに応じて異なるが、肌色強度評価部２１０により算出される上記の肌色強度は、Ｈ値及びＳ値がそれぞれ所定の範囲内にあるときに、肌色領域を示すようにしているので、人種にあまり依存せずに肌色部分を示すことが確認されている。例えば、所定の範囲とは、図４に示すＨ値がＨ＝１８〜２２、及びＳ値がＳ×４０＝１８〜２２の範囲のことである。

図５は、奥行きモデル合成部２０９の一例の構成を示す。同図に示すように、奥行きモデル合成部２０９は、合成比率決定部２０５により決定された各基本奥行きモデルタイプの合成比率ｋ１、ｋ２、ｋ３（ただし、ｋ１＋ｋ２＋ｋ３＝１）と、フレームメモリ２０６、２０７、２０８からの基本奥行きモデルタイプＡ、Ｂ、Ｃの値とを乗算器２０９１、２０９２、２０９３において別々に乗算し、それら３つの乗算結果を加算器２０９４で加算して、得られた加算結果を加算器２１３へ出力する構成である。

上記の基本奥行きモデルタイプＡ〜Ｃは、それぞれ基本となる複数のシーン構造のそれぞれについて奥行き値を示す。すなわち、上記の基本奥行きモデルタイプＡは、球面状の凹面による奥行きモデルで、多くの場合に、この基本奥行きモデルタイプＡの画像が使用される。また、上記の基本奥行きモデルタイプＢは、基本奥行きモデルタイプＡの上部を球面でなく、アーチ型の円筒面に置き換えたもので、上部を円筒面（軸は垂直方向）で下部を凹面（球面）としたモデルである。更に、上記の基本奥行きモデルタイプＣは、上部を平面とし、下部をその平面から連続し、下に行くほど手前側に向かう円筒面状としたもので、上部が平面、下部が円筒面（軸は水平方向）としたモデルである。

図６は、図１中のステレオペア生成部１０２の一実施の形態のブロック図を示す。同図に示すように、本実施の形態のステレオペア生成部１０２は、奥行き推定データ生成部１０１から奥行き推定データが入力され、かつ、奥行き推定データ生成部１０１に入力される非立体画像の画像信号が分岐して入力され、テクスチャシフト手段であるテクスチャシフト部３０１と、オクルージョン補償部３０２と、ポスト処理部３０３により構成される。なお、オクルージョン補償部３０２とポスト処理部３０３により出力手段が構成される。

テクスチャシフト部３０１は、奥行き推定データを基に別視点の画像を生成する。例えば、原画の画像信号を基準として左に視点移動した画像を生成する場合、画面より手前に表示するものについては、近い物ほど画像を見る者の内側（鼻側）に見えるので、内側すなわち右に対応部分のテクスチャを奥行きに応じた量だけ移動する。画面より奥に表示するものについては、近い物ほど画像を見る者の外側に見えるので、左に対応部分のテクスチャを奥行きに応じた量だけ移動する。

オクルージョン補償部３０２は、シフトを行うことによる画像中の位置関係変化によりテクスチャの存在しない部分、すなわちオクルージョンが発生する場合があるため、入力画像の対応部分で充填する、又は分割された画像のテクスチャの統計量に基づき公知の方法等で、テクスチャシフト部３０１からの画像信号に対して、オクルージョンを補償する。

ポスト処理部３０３は、オクルージョン補償部３０２によりオクルージョン補償された画像信号に対して、平滑化などの公知のポスト処理を施して、それ以前の処理において発生したノイズを軽減した画像信号、例えば左眼画像信号を出力する。

次に、本実施の形態の擬似立体画像作成装置１００の動作について説明する。

奥行き推定データ生成部１０１内の画像入力部２０１は、擬似立体化を行う非立体画像のカラー画像信号（三原色信号）を取り込み、そのカラー画像信号を上部の高域成分評価部２０２、下部の高域成分評価部２０３及びＲＧＢ→ＨＳＶ変換部２０４に供給すると共に、画像信号中の赤色信号（Ｒ信号）を重み付け部２１１に供給する。上記のカラー画像信号は、量子化された画像データである。

上部の高域成分評価部２０２は、入力された非立体画像の上部約２０％の画像領域を、水平方向８画素、垂直方向８画素のブロックに分割し、各ブロック内の点（ｉ，ｊ）における輝度信号をＹ（ｉ，ｊ）としたとき、各ブロックについて次式の演算を行う。

続いて、上部の高域成分評価部２０２は、上部約２０％の画像領域における全てのブロックの上式で得られた加算結果の平均値を上部の高域成分評価値として算出する。

下部の高域成分評価部２０３は、上記の上部高域成分評価部２０２とは評価対象の画像領域が異なるだけで、入力された非立体画像の下部約２０％の画像領域を前記のサイズのブロックに分割し、数２で示した式により得られた各ブロックの輝度信号の加算結果の平均値を下部高域成分評価値として算出する。

合成比率決定部２０５は、上記の上部の高域成分評価値と下部の高域成分評価値の各値に応じて、所定の合成比率の決定条件に基づいて前記合成比率ｋ１、ｋ２、ｋ３を決定する。

図７は、合成比率の決定条件の一例を示す。図７は、横軸に示す上部の高域成分評価値と、縦軸に示す下部の高域成分評価値の各値と、予め指定された値ｔｐｓ、ｔｐｌ、ｂｍｓ、ｂｍｌとの兼ね合いにより合成比率が決定されることを示す。図７において、複数のタイプが記載されている領域については、高域成分評価値に応じて線形に合成される。

例えば、図７において、「ｔｙｐｅＡ／Ｂ」の領域では、下記のように（上部の高域成分評価値）と（下部の高域成分評価値）の比率でｔｙｐｅＡとｔｙｐｅＢの比率が決定され、ｔｙｐｅＣは比率の決定には用いられない。なお、図７に示す「ｔｙｐａＡ」は上述の基本奥行きモデルタイプＡ、「ｔｙｐａＢ」は上述の基本奥行きモデルタイプＢ、「ｔｙｐａＣ」は上述の基本奥行きモデルタイプＣに対応する。

ｔｙｐｅＡ：ｔｙｐｅＢ：ｔｙｐ３
＝（上部の高域成分評価値−ｔｐｓ）：（ｔｐ１−下部の高域成分評価値）：０
また、図７において、「ｔｙｐｅＡ／Ｂ／Ｃ」の領域では、ｔｙｐｅＡ／ＢとｔｙｐｅＡ／Ｃとの平均を採用して、下記のようにｔｙｐｅＡ／Ｂ／Ｃの値が決定される。

ｔｙｐｅＡ：ｔｙｐｅＢ：ｔｙｐｅＣ
＝（上部の高域成分評価値−tps）＋（下部の高域成分評価値−bms）：（tpl−
上部の高域成分評価値）：（bml−下部の高域成分評価値）
なお、図５における合成比率ｋ１、ｋ２、ｋ３は次式で算出される。

ｋ１＝ｔｙｐｅＡ／（ｔｙｐｅＡ＋ｔｙｐｅＢ＋ｔｙｐｅＣ）
ｋ２＝ｔｙｐｅＢ／（ｔｙｐｅＡ＋ｔｙｐｅＢ＋ｔｙｐｅＣ）
ｋ３＝ｔｙｐｅＣ／（ｔｙｐｅＡ＋ｔｙｐｅＢ＋ｔｙｐｅＣ）
図５に示す奥行きモデル合成部２０９は、乗算器２０９１、２０９２、２０９３において、上記のように合成比率決定部２０５で決定された合成比率ｋ１、ｋ２、ｋ３と、フレームメモリ２０６、２０７、２０８からの基本奥行きモデルタイプＡ、Ｂ、Ｃの値とを別々に乗算し、それら３つの乗算結果を加算器２０９４で加算合成して、得られた加算結果を図２に示す加算器２１３へ出力する。

このように、本実施の形態では、基本となるシーンの奥行き構造モデルとして３種類の基本奥行きモデルを用意し、基になる画像の輝度信号の高域成分を画面上部及び画面下部について算定し、基本奥行きモデルタイプＡを基本にしながらも、画面上部の高域成分が少ない場合には上部に空若しくは平坦な壁が存在するシーンと認識して上部の奥行きを深くした基本奥行きも出るタイプＢの比率を増加させ、画面下部の高域成分が少ない場合には下部に平坦な地面若しくは水面が手前に連続的に広がるシーンと認識して、上部を遠景として平面近似し、下部については下に行くほど奥行きの小さくなる基本奥行きも出るタイプＣの比率を増加させるといった処理を行うようにしたため、どのような画像に対しても違和感を感じさせないと同時に、できる限り現実に近いシーン構造の決定を行うことが可能になる。

再び図２に戻って説明する。重み付け部２１１は、画像入力部２０１により入力された基になる非立体画像の画像信号（これは三原色信号である）のうちの赤色信号（Ｒ信号）に対して所定の重み付け係数を乗算して加算器２１３へ出力する。

一方、ＲＧＢ→ＨＳＶ変換部２０４は、三原色信号である非立体画像の入力カラー画像信号から、公知の方法でＨＳＶ表色系の色相を示すＨ値と彩度を示すＳ値とを画素単位で算出して肌色強度評価部２１０へ出力する。

肌色強度評価部２１０は、（１）式〜（６）式で表される図４に示した関数分布ｆh、ｆsを予め有しており、これらの関数分布ｆh、ｆsにおけるＲＧＢ→ＨＳＶ変換部２０４から出力されたＨ値とＳ値に対応する関数値ｆh(H)、ｆs(S×40)を求め、更にそれらの積を評価値である肌色強度として算出して重み付け部２１２へ出力する。

関数分布ｆh、ｆsは、Ｈ＝２０、Ｓ×４０＝２０程度の関数値ｆh(H)、ｆs(S×40)が、（２）式、（５）式で表される、それぞれ“１”のときに肌色部分であるとしているので、肌色強度評価部２１０は、それらの積である肌色強度の値が“１”である画素は肌色領域と評価し、肌色強度の値が”０”に近い画素ほど肌色領域ではない（肌色である可能性が低い、あるいは肌色部分でも影になった部分である）と評価する。

重み付け部２１２は、肌色強度評価部２１０から出力された肌色強度に対して所定の重み付け係数を乗算し、得られた乗算結果を加算器２１３へ出力する。加算器２１３は、重み付け部２１１からの重み付けされたＲ信号と、重み付け部２１２からの重み付けされた肌色強度と、奥行きモデル合成部２０９からの合成信号とを加算合成して奥行き推定データを生成して出力する。

Ｒ信号を使用する理由の一つは、Ｒ信号の大きさが、順光に近い環境で、かつ、テクスチャの明度が大きく異ならないような条件において、被写体の凹凸と一致する確率が高いという経験則によるものである。更に、もう一つの理由として、赤色及び暖色は色彩学における前進色であり、寒色系よりも奥行きが手前に認識されるという特徴があり、この奥行きを手前に配置することで立体感を強調することが可能であるということである。

なお、赤色及び暖色が前進色であるのに対し、青色は後退色であり、暖色系よりも奥行きが奥に認識される特徴がある。よって、青色の部分を奥に配置することによっても立体感の強調は可能である。更に双方を併用して、赤色の部分を手前、青色の部分を奥に配置することによって立体感を強調することも可能である。

また、本実施の形態では、肌色領域の程度の大きさを示す肌色強度を重み付けした値を用いて奥行き推定データを生成しているので、作成される擬似立体画像の肌色領域の全体について人物等の被写体の凹凸が強調される（被写体の凹凸を大きくする）ことで立体感が強調され、更に肌色領域内部でも凹凸を強調することができる。

奥行き推定データ生成部１０１内の加算器２１３から出力された奥行き推定データは、図１及び図６に示したステレオペア生成部１０２に供給される。図６において、ステレオペア生成部１０２内のテクスチャシフト部３０１は、奥行き推定データ生成部１０１に入力される画像信号と同一の非立体画像の画像信号が入力され、その入力画像信号の別視点の画像信号を上記の奥行き推定データを基に生成する。

いま、入力画像信号に対する奥行き推定データを８ビットの値Ｙｄで表すものとする。テクスチャシフト部３０１は、この値Ｙｄについて小さい値、すなわち奥に位置するものから順に、その値に対応する部分の入力画像信号のテクスチャを（Ｙｄ−ｍ）／ｎ画素だけ右にシフトする。ここで、ｍは画面上全体の飛び出し感を調整する輻輳パラメータであり、ｍより大きな値のＹｄに関しては画面より手前に、ｍより小さな値のＹｄに関しては奥に表示される。また、ｎは立体感を調整するパラメータである。

奥行き推定データ生成部１０１及びステレオペア生成部１０２に入力される右眼画像信号とポスト処理部３０３より出力される左眼画像信号とにより、ステレオペアが構成される。

このように、本実施の形態によれば、入力画像の肌色領域の全体について視差量を強調させる制御を行うようにしたため、人物の入力画像部分に対しても、複雑な絵柄で急峻なエッジを多く含む肌色領域以外の領域の入力画像部分と同程度の十分な立体感が得られる擬似立体画像を作成することができる。

（第２の実施の形態）
図８は、本発明になる擬似立体画像作成装置の第２の実施の形態のブロック図を示す。同図に示すように、本実施の形態の擬似立体画像作成装置４００は、擬似立体化を行う非立体画像のカラー画像信号が入力される奥行き推定データ生成部４０１と、上記の非立体画像のカラー画像信号及び奥行き推定データ生成部４０１で生成された奥行き推定データが入力されて、入力カラー画像信号とステレオペアを構成する画像信号を生成して出力するステレオペア生成部４０２と、ステレオペア生成部４０２から出力される画像信号の画像強調を奥行き推定データ生成部４０１からの制御信号ＣＴＬ１に応じて行う画像強調部４０３と、入力カラー画像信号の画像強調を奥行き推定データ生成部４０１からの制御信号ＣＴＬ１に応じて行う画像強調部４０４とから構成されている。なお、画像強調部４０３、４０４は、第１、第２の画像強調手段を構成している。

本実施の形態の擬似立体画像作成装置４００は、第１の実施の形態の擬似立体画像作成装置１００と同様に、入力される非立体画像の画像信号に対して、奥行き推定データ生成部４０１において奥行き推定を行って奥行き推定データを生成し、その奥行き推定データを基にしてステレオペア生成部４０２において生成される左眼画像信号と、入力される上記非立体画像の画像信号を流用した右眼画像信号とからステレオペアを構成する。

ただし、この擬似立体画像作成装置４００は、擬似立体画像作成装置１００と比較して、奥行き推定データ生成部４０１の構成が若干異なり、かつ、画像強調部４０３及び４０４が追加されている点で異なる。なお、ステレオペア生成部４０２は、図６に示したステレオペア生成部１０２と同一構成である。

図９は、奥行き推定データ生成部４０１の一実施の形態のブロック図を示す。同図中、図２と同一構成部分には同一符号を付し、その説明を省略する。図９において、肌色強度評価部４１０は、前述した（１）式〜（６）式で表される図４に示した関数分布ｆh、ｆsを予め有しており、これらの関数分布ｆh、ｆsにおけるＲＧＢ→ＨＳＶ変換部２０４から出力されたＨ値とＳ値に対応する関数値ｆh(H)、ｆs(S×40)を求め、更にそれらの積を肌色強度として算出し、その肌色強度を制御信号ＣＴＬ１として図８に示す画像強調部４０３及び４０４にそれぞれ供給する。なお、肌色強度評価部４１０は、ＲＧＢ→ＨＳＶ変換部２０４と共に肌色強度算出手段を構成している。

また、加算器４１１は、重み付け部２１１からの重み付けされたＲ信号と、奥行きモデル合成部２０９からの合成信号とを加算合成して奥行き推定データを生成して出力する。すなわち、奥行き推定データ生成部４０１は、肌色強度評価部４１０により算出して得た肌色強度を視差データとして用いず、画像強調部４０３及び４０４による画像強調のために用いる。

再び図８に戻って説明する。ステレオペア生成部４０２は、非立体画像の入力画像信号に対して、奥行き推定データ生成部４０１からの奥行き推定データを基にして生成され、かつ、オクルージョン補償された、非立体画像の入力画像信号とは別視点の画像信号を生成する。

画像強調部４０３は、ステレオペア生成部４０２から出力された画像信号に対して、奥行き推定データ生成部４０１からの制御信号ＣＴＬ１に基づいて、肌色強度に応じて画像強調の度合いを制御する処理を行い、肌色部分のテクスチャを強調した画像信号を左眼画像信号として出力する。一方、画像強調部４０４は、奥行き推定データ生成部４０１に入力される非立体画像のカラー画像信号に対して、奥行き推定データ生成部４０１からの制御信号ＣＴＬ１に基づいて、肌色強度に応じて画像強調の度合いを制御する処理を行い、肌色部分のテクスチャを強調した画像信号を右眼画像信号として出力する。

画像強調部４０３及び４０４における画像強調としては、高域強調、コントラスト調整、輝度変調、彩度強調などがある。画像強調部４０３及び４０４におけるこれらの画像強調は、関心領域である顔や皮膚の細部や陰影の強調や色彩の補正などを、関心領域外の事物と比較して強く行うことで、結果的に関心領域が非関心領域に比べて相対的に強めの凹凸が感じられるようにすることを目的とするものである。

このように、本実施の形態によれば、入力画像の肌色領域の全体について画像を強調させる制御を行うようにしたため、人物の入力画像部分に対しても、複雑な絵柄で急峻なエッジを多く含む肌色領域以外の領域の入力画像部分と同程度の十分な立体感が得られる擬似立体画像を作成することができる。

以上、本発明の第１及び第２の実施の形態について説明したが、本発明は第１の実施の形態と第２の実施の形態の各擬似立体画像作成装置１００及び４００を単独で使用する場合に限らず、これらを組み合わせて使用することが可能である。

また、擬似立体画像作成装置１００又は４００により生成されたステレオペアを構成する右眼画像信号と左眼画像信号とは、図示しないステレオ表示装置に供給されて擬似立体画像を表示される。擬似立体画像作成装置１００又は４００と、ステレオ表示装置とは本発明の擬似立体画像表示システムの実施の形態を構成する。

ここで、上記のステレオ表示装置とは、偏光メガネを用いたプロジェクションシステム、時分割表示と液晶シャッタメガネを組み合わせたプロジェクションシステムもしくはディスプレイシステム、レンチキュラ方式のステレオディスプレイ、パララックスバリア方式のステレオディスプレイ、アナグリフ方式のステレオディスプレイ、ヘッドマウントディスプレイなどを含む。特にステレオ画像の各画像に対応した２台のプロジェクタによるプロジェクションシステムを含む。

なお、本発明は以上の実施の形態に限定されるものではなく、例えば、以上の実施の形態では、肌色強度評価部２１０、４１０が、図４に示した非線形的な関数分布を用いて、典型的な肌色領域と、肌色領域で無い典型的な非肌色領域と、それらの中間の領域とに応じた肌色強度を算出するようにしたが、上記の関数分布を中間領域の無い肌色領域であるか否かの二値の領域を示す関数分布を用いた構成として肌色強度を算出するようにしてもよい。

すなわち、この場合は、（１）式〜（６）式で表される図４に示した関数分布の替りに、０≦Ｈ≦４０のときは関数値ｆh(H)が“１”の肌色領域で、それ以外のときは関数値ｆh(H)が“０”の非肌色領域である二値的な関数分布と、０≦Ｓ×４０≦４０のときは関数値ｆs(S×40)が“１”の肌色領域で、それ以外のときは関数値ｆs(S×40)が “０”の非肌色領域である二値的な関数分布とを用いる。

また、例えば、立体感の画像高域成分による制御は上記のようなシフト量への乗算による制御に限らず、シフト量への加減や、前記パラメータｍを制御することによる飛び出し感の制御、図２の重み付け部２１１の制御などによって実現することも可能である。

また、上記の実施の形態では、右眼画像信号を入力画像信号、左眼画像信号を作成された画像信号としたステレオペアを作成しているが、左眼画像信号を入力画像信号、右眼画像信号を作成された画像信号としたステレオペアとしてもよく、更には右に視点移動した別視点画像と左に視点移動した別視点画像とを用いてステレオペアを構成することも可能である。

また、以上の実施の形態では２視点のステレオペアの画像信号による擬似立体画像信号を作成するように説明したが、３視点以上の表示が可能な表示装置を用いた場合、その視点数に応じた数の別視点画像信号から上記の実施の形態と同様の方法により擬似立体画像信号を作成して表示する多視点立体映像表示システムの構築も可能である。

また、本発明の擬似立体画像表示システムにおいては、音声出力を装備する形態のものも考えられる。この場合、静止画等音声情報を持たない映像コンテンツについては、映像にふさわしい環境音を付加するような態様のものが考えられる。

更に、本発明は、擬似立体画像作成装置１００、４００をコンピュータのソフトウェアによって実現する擬似立体画像作成用プログラムも包含するものである。この場合、擬似立体画像作成用プログラムは、記録媒体からコンピュータに取り込まれてもよいし、ネットワーク経由でコンピュータに取り込まれてもよい。

１００、４００ 擬似立体画像作成装置
１０１、４０１ 奥行き推定データ生成部
１０２、４０２ ステレオペア生成部
２０１ 画像入力部
２０２ 上部の高域成分評価部
２０３ 下部の高域成分評価部
２０４ ＲＧＢ→ＨＳＶ変換部
２０５ 合成比率決定部
２０６〜２０８ フレームメモリ
２０９ 奥行きモデル合成部
２１０、４１０ 肌色強度評価部
２１１、２１２ 重み付け部
２１３、２０９４、４１１ 加算器
３０１ テクスチャシフト部
３０２ オクルージョン補償部
３０３ ポスト処理部
４０３、４０４ 画像強調部
２０９１〜２０９３ 乗算器

Claims (4)

1. 基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルタイプを記憶する記憶手段と、
   奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像の画面内の複数の所定領域における画素値の統計量を算定して複数の評価値を得る算定手段と、
   前記記憶手段に記憶されている前記複数の基本奥行きモデルタイプを、前記算定手段により得られた前記評価値に応じた合成比率で合成する合成手段と、
   前記非立体画像の画素単位に肌色の度合いを示す肌色強度を算出する肌色強度算出手段と、
   前記合成手段により合成された合成結果と、供給される前記非立体画像と、前記肌色強度とから奥行き推定データを生成する奥行き推定データ生成手段と、
   前記非立体画像のテクスチャを、前記肌色強度に基づいて、被写体の凹凸を強調するように前記奥行き推定データに応じた量だけシフトするテクスチャシフト手段と、
   前記テクスチャシフト手段から出力された画像信号と、前記非立体画像による画像信号とを擬似立体画像信号として出力する出力手段と
   を有することを特徴とする擬似立体画像作成装置。
2. 基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルタイプを記憶する記憶手段と、
   奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像の画面内の複数の所定領域における画素値の統計量を算定して複数の評価値を得る算定手段と、
   前記記憶手段に記憶されている前記複数の基本奥行きモデルタイプを、前記算定手段により得られた前記評価値に応じた合成比率で合成する合成手段と、
   前記非立体画像の画素単位に肌色の度合いを示す肌色強度を算出する肌色強度算出手段と、
   前記合成手段により合成された合成結果と、供給される前記非立体画像とから奥行き推定データを生成する奥行き推定データ生成手段と、
   前記非立体画像のテクスチャを、対応部分の前記奥行き推定データに応じた量だけシフトするテクスチャシフト手段と、
   前記テクスチャシフト手段から出力された画像信号に対して、前記肌色強度算出手段から出力される前記肌色強度に応じて画像強調の度合いを制御する処理を行って第１の画像信号を生成する第１の画像強調手段と、
   前記非立体画像に対して、前記肌色強度算出手段から出力される前記肌色強度に応じて画像強調の度合いを制御する処理を行って、前記第１の画像信号と共に擬似立体画像信号を構成する第２の画像信号を生成する第２の画像強調手段と
   を有することを特徴とする擬似立体画像作成装置。
3. 基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルタイプを記憶する記憶手段と、
   奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像の画面内の複数の所定領域における画素値の統計量を算定して複数の評価値を得る算定手段と、
   前記記憶手段に記憶されている前記複数の基本奥行きモデルタイプを、前記算定手段により得られた前記評価値に応じた合成比率で合成する合成手段と、
   前記非立体画像の画素単位に肌色の度合いを示す肌色強度を算出する肌色強度算出手段と、
   前記合成手段により合成された合成結果と、供給される前記非立体画像と、前記肌色強度とから奥行き推定データを生成する奥行き推定データ生成手段と、
   前記非立体画像のテクスチャを、前記肌色強度に基づいて、被写体の凹凸を強調するように前記奥行き推定データに応じた量だけシフトするテクスチャシフト手段と、
   前記テクスチャシフト手段から別視点画像として出力された画像信号と、前記非立体画像による画像信号とを擬似立体画像信号として出力する出力手段と、
   前記出力手段から出力された前記別視点画像の画像信号及び前記非立体画像の画像信号の一方を右眼画像信号とし他方を左眼画像信号として擬似立体画像を表示する表示装置と
   を有することを特徴とする擬似立体画像表示システム。
4. 基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルタイプを記憶する記憶手段と、
   奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像の画面内の複数の所定領域における画素値の統計量を算定して複数の評価値を得る算定手段と、
   前記記憶手段に記憶されている前記複数の基本奥行きモデルタイプを、前記算定手段により得られた前記評価値に応じた合成比率で合成する合成手段と、
   前記非立体画像の画素単位に肌色の度合いを示す肌色強度を算出する肌色強度算出手段と、
   前記合成手段により合成された合成結果と、供給される前記非立体画像とから奥行き推定データを生成する奥行き推定データ生成手段と、
   前記非立体画像のテクスチャを、対応部分の前記奥行き推定データに応じた量だけシフトするテクスチャシフト手段と、
   前記テクスチャシフト手段から出力された画像信号に対して、前記肌色強度算出手段から出力される前記肌色強度に応じて画像強調の度合いを制御する処理を行って第１の画像信号を生成する第１の画像強調手段と、
   前記非立体画像に対して、前記肌色強度算出手段から出力される前記肌色強度に応じて画像強調の度合いを制御する処理を行って、前記第１の画像信号と共に擬似立体画像信号を構成する第２の画像信号を生成する第２の画像強調手段と、
   前記第１の画像信号及び前記第２の画像信号の一方を右眼画像信号とし、他方を左眼画像信号として擬似立体画像を表示する表示装置と
   を有することを特徴とする擬似立体画像表示システム。

Images