JP2015022458A - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Abstract

【課題】２Ｄ画像から３Ｄ画像を生成する際に、オブジェクト境界部分の画像品質を向上させる。【解決手段】画像処理装置１００にて、デプスマップ生成部１０は、入力画像とデプスモデルをもとに、入力画像のデプスマップを生成する。３Ｄ画像生成部３０は、入力画像をデプスマップをもとに画素シフトして、別視点の画像を生成する。その際、画素シフトにより移動されるオブジェクトの画素と、その画素により覆い隠される画素をアルファブレンドする。【選択図】図３４

Description

本発明は、２Ｄ画像を立体視のための３Ｄ画像に変換する処理を実行する画像処理装置、画像処理方法及び画像処理プログラムに関する。

近年、３Ｄ映画、３Ｄ放送などの３Ｄ映像コンテンツが普及してきている。観察者に立体視させるためには、視差を持つ右眼画像と左眼画像が必要である。３Ｄ映像を表示する際、右眼画像と左眼画像を時分割に表示し、シャッタメガネや偏光メガネなどの映像分離用メガネにより右眼画像と左眼画像を分離する。これにより観察者は右眼画像を右眼のみで、左眼画像を左眼のみで観察でき立体視できる。なお右眼画像と左眼画像を時分割ではなく空間分割すればメガネは必要なくなるが解像度が低下する。メガネ方式にしてもメガネレス方式にしても右眼画像と左眼画像が必要な点では共通する。

３Ｄ映像を製作するには大きく２つの方法があり、２台のカメラを用いて右眼画像と左眼画像を同時に撮影する方法と、１台のカメラで撮影された２Ｄ画像を後に編集して視差画像を生成する方法がある。本発明は後者の方法に関するものであり、２Ｄ３Ｄ変換技術に関するものである。

図１は、２Ｄ３Ｄ変換の基本処理プロセスを説明するための図である。まず２Ｄ入力画像からデプスマップ（奥行き情報ともいう）を生成する（ステップＳ１０）。そして２Ｄ入力画像とデプスマップを用いて３Ｄ画像を生成する（ステップＳ３０）。図１では２Ｄ入力画像を３Ｄ出力画像の右眼画像とし、２Ｄ入力画像をデプスマップを用いて画素シフトした画像を３Ｄ出力画像の左眼画像としている。以下、所定の視差を持つ右眼画像と左眼画像の組みを３Ｄ画像または視差画像という。

３Ｄ画像を生成する際にはデプスマップを用いて２Ｄ画像を画素シフトして、当該２Ｄ画像に対して視差を持つ別視点の２Ｄ画像を生成する。この画素シフトにより、生成される別視点の２Ｄ画像内に欠落画素が発生する。一般的に、この欠落画素は周辺画素から補間される。

特開平１０−２９３３９０号公報

画面内においてオブジェクト境界でのデプスの段差が大きい場合、その境界部分の画素シフト量も大きくなる。したがって欠落画素の数、即ち欠落領域の面積も大きくなる。上述したようにその欠落画素には周辺画素が補間されるが、その欠落領域の面積が大きくなると、補間される画素が補間位置にマッチしない箇所が発生しやすくなる。

本発明はこうした状況に鑑みてなされたものであり、その目的は、２Ｄ画像から３Ｄ画像を生成する際に、オブジェクト境界部分の画像品質を向上させる技術を提供することにある。

上記課題を解決するために、本発明のある態様の画像処理装置（１００）は、入力画像とデプスモデルをもとに、前記入力画像のデプスマップを生成するデプスマップ生成部（１０）と、前記入力画像を前記デプスマップをもとに画素シフトして、別視点の画像を生成する画像生成部（３０）と、を備える。前記画像生成部（３０）は、画素シフトにより移動されるオブジェクトの画素と、その画素により覆い隠される画素をアルファブレンドする。

本発明の別の態様は、画像処理方法である。この方法は、入力画像とデプスモデルをもとに、前記入力画像のデプスマップを生成するステップと、前記入力画像を前記デプスマップをもとに画素シフトして、別視点の画像を生成するステップと、を備える。前記別視点の画像を生成するステップは、画素シフトにより移動されるオブジェクトの画素と、その画素により覆い隠される画素をアルファブレンドする。

本発明のさらに別の態様は、画像処理装置（１００）である。この装置は、入力画像とデプスモデルをもとに、前記入力画像のデプスマップを生成するデプスマップ生成部（１０）と、前記入力画像を前記デプスマップをもとに画素シフトして、別視点の画像を生成する画素シフト部（３１）と、ローパスフィルタ用マスクを前記デプスマップをもとに画素シフトするマスクシフト部（２４）と、生成された別視点の画像に、シフトされたローパスフィルタ用マスクを用いてローパスフィルタをかけるフィルタ部（３２）と、を備える。

なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、２Ｄ画像から３Ｄ画像を生成する際に、製作者の手間を軽減しつつ高品質な３Ｄ画像を生成できる。

２Ｄ３Ｄ変換の基本処理プロセスを説明するための図である。 本発明の基本となる実施例に係る画像編集システムの構成を示す図である。 本発明の実施例に係るデプスマップ生成部の構成例を示す図である。 本発明の基本となる実施例に係る画像編集システムの全体処理プロセスを説明するための図である。 入力デプスマップのゲイン調整プロセスを説明するための図である。 入力デプスマップのオフセット調整プロセスを説明するための図である。 レイヤデプスマップの合成処理プロセスを説明するための図である。 マスクを使用しない入力デプスマップのゲイン調整プロセスを説明するための図である。 マスクを使用しない入力デプスマップのオフセット調整プロセスを説明するための図である。 画素シフトと画素補間を説明するための図である。 オブジェクト境界のデプスの段差が大きい場合における、画素シフトと画素補間を説明するための図である。 オブジェクト境界のデプスの段差が大きい場合でも不自然さが発生しない、画素シフトと画素補間を説明するための図である。 本発明の実施例１に係る画像編集システムの構成を示す図である。 本発明の実施例１に係る画像編集システムの全体処理プロセスを説明するための図である。 レイヤデプスマップのアルファブレンドを説明するための図である。 マスク補正部の構成例を示す図である。 図１６のマスク補正部によるマスクぼかし処理を説明するための図である。 第１ローパスフィルタによりマスク信号に形成される傾斜と、二値化部に設定される第１閾値の関係を説明するための図である。 第１ローパスフィルタにより付加される傾斜と、第２ローパスフィルタにより付加される傾斜を比較するための図である。 本発明の実施例１の変形例に係る画像編集システムの全体処理プロセスを説明するための図である。 本発明の実施例２に係るマスク補正部の構成例を示す図である。 図２２（ａ）−（ｃ）は左右対称な第２ローパスフィルタを用いたマスクエッジの加工処理を説明するための図である。 図２３（ａ）−（ｃ）は左右非対称な第２ローパスフィルタを用いたマスクエッジの加工処理を説明するための図である。 本発明の実施例２に係るフィルタ形状設定部によるフィルタ形状の決定処理を説明するためのフローチャートである。 図２５（ａ）−（ｃ）は左右対称な第１ローパスフィルタを用いたマスクエッジの加工処理を説明するための図である。 図２６（ａ）−（ｃ）は左右非対称な第１ローパスフィルタを用いたマスクエッジの加工処理を説明するための図である。 画素シフト前後の前景オブジェクトを示す図である。 図２８（ａ）−（ｂ）は、一般方式の、画素シフトを用いた３Ｄ画像生成を説明するための図である。 図２９（ａ）−（ｂ）は、実施例３に係る、画素シフトを用いた３Ｄ画像生成を説明するための図である。 図３０（ａ）−（ｄ）は、画素シフトにおける、基本的なオブジェクトエッジ加工処理を説明するための図である。 図３１（ａ）−（ｃ）は、実施例１、２に係る画素シフトにおける、オブジェクトエッジ加工処理を説明するための図である。 図３２（ａ）−（ｃ）は、実施例３に係る画素シフトにおける、オブジェクトエッジ加工処理を説明するための図である。 図３３（ａ）−（ｂ）は、前景画像と背景画像をアルファブレンドする処理を模式的に表した画像を示す図である。 本発明の実施例３に係る画像処理装置の構成を示す図である。 本発明の実施例４に係る画像処理装置の構成を示す図である。 図３６（ａ）−（ｆ）は、実施例４に係る画像処理装置により原画像から別視点の画像が生成されるまでの流れを説明するための図である。

図２は、本発明の基本となる実施例に係る画像編集システム５００の構成を示す図である。本実施例に係る画像編集システム５００は、画像処理装置１００及びコンソール端末装置２００を備える。

コンソール端末装置２００は画像製作者（以下、ユーザという）が画像を製作、編集するために使用する端末装置である。コンソール端末装置２００は操作部６０および表示部７０を備える。操作部６０はキーボード、マウス等の入力デバイスであり、表示部７０はディスプレイ等の出力デバイスである。なお入出力が一体となったデバイスであるタッチパネルディスプレイが用いられてもよい。またコンソール端末装置２００はプリンタ、スキャナ等の印刷物を媒体として用いるユーザインタフェースを含んでもよい。操作部６０はユーザ操作を受け付け、そのユーザ操作に起因した信号を生成し、画像処理装置１００に出力する。表示部７０は画像処理装置１００により生成された画像を表示する。

画像処理装置１００はデプスマップ生成部１０、デプスマップ加工部２０、３Ｄ画像生成部３０、操作受付部４０、表示制御部５０を含む。これらの構成はハードウエア的には、任意のプロセッサ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。例えばデプスマップ生成部１０、デプスマップ加工部２０、３Ｄ画像生成部３０について、その機能を全てソフトウェアで実現してもよいし、デプスマップ生成部１０および３Ｄ画像生成部３０の機能を専用のロジック回路で構成し、デプスマップ加工部２０の機能をソフトウェアで実現してもよい。

デプスマップ生成部１０は、入力される２Ｄ画像とデプスモデルをもとに当該２Ｄ画像のデプスマップを生成する。デプスマップは、デプス値（奥行き値ともいう）を輝度値で表したグレースケール画像である。デプスマップ生成部１０はシーン構造を推定して、そのシーン構造に適合的なデプスモデルを使用してデプスマップを生成する。本実施例ではデプスマップ生成部１０は複数の基本デプスモデルを合成してデプスマップ生成に使用する。その際、当該２Ｄ画像のシーン構造に応じて複数の基本デプスモデルの合成比率を変化させる。

図３は、本発明の実施例に係るデプスマップ生成部１０の構成例を示す図である。デプスマップ生成部１０は、画面上部高域成分評価部１１、画面下部高域成分評価部１２、合成比率決定部１３、第１基本デプスモデル用フレームメモリ１４、第２基本デプスモデル用フレームメモリ１５、第３基本デプスモデル用フレームメモリ１６、合成部１７、加算部１８を含む。

画面上部高域成分評価部１１は、処理すべき２Ｄ画像の画面上部において高域成分を有する画素の割合を算出する。その割合を画面上部の高域成分評価値とする。なお画面全体に対する画面上部の割合は略２０％に設定するとよい。画面下部高域成分評価部１２は当該２Ｄ画像の画面下部において高域成分を有する画素の割合を算出する。その割合を画面下部の高域成分評価値とする。なお画面全体に対する画面下部の割合は略２０％に設定するとよい。

第１基本デプスモデル用フレームメモリ１４は第１基本デプスモデルを保持し、第２基本デプスモデル用フレームメモリ１５は第２基本デプスモデルを保持し、第３基本デプスモデル用フレームメモリ１６は第３デプスモデルを保持する。第１基本デプスモデルは画面上部及び画面下部をそれぞれ凹状の球面とするモデルである。第２基本デプスモデルは画面上部を縦方向に軸線を有する円筒面、画面下部を凹状の球面とするモデルである。第３基本デプスモデルは画面上部を平面、画面下部を横方向に軸線を有する円筒面とするモデルである。

合成比率決定部１３は、画面上部高域成分評価部１１および画面下部高域成分評価部１２によりそれぞれ算出された、画面上部および画面下部の高域成分評価値をもとに第１基本デプスモデル、第２基本デプスモデル、第３基本デプスモデルの合成比率ｋ１，ｋ２，ｋ３（ただし、ｋ１＋ｋ２＋ｋ３＝１）を決定する。合成部１７はこれらの合成比率ｋ１，ｋ２，ｋ３と、第１基本デプスモデル、第２基本デプスモデル、第３基本デプスモデルをそれぞれ乗算し、それぞれの乗算結果を加算する。この演算結果が合成基本デプスモデルとなる。

例えば合成比率決定部１３は、画面上部の高域成分評価値が小さい場合は画面上部に空もしくは平坦な壁が存在するシーンと認識して、画面上部の奥行きを深くした第２基本デプスモデルの比率を増加させる。また画面下部の高域成分評価値が小さい場合は画面下部に平坦な地面もしくは水面が手前に連続的に広がるシーンと認識して、第３基本デプスモデルの比率を増加させる。第３基本デプスモデルでは、画面上部は遠景として平面近似し、画面下部は下に行くほど奥行きを小さくしている。

加算部１８は、合成部１７により生成された合成基本デプスモデルに上記２Ｄ画像の赤成分（Ｒ）信号を重畳してデプスマップを生成する。Ｒ信号を使用する理由は、Ｒ信号の大きさが順光に近い環境で、かつテクスチャの明度が大きく異ならないような条件において、被写体の凹凸と一致する確率が高いという経験則によるものである。また赤色および暖色は色彩学における前進色であり、寒色系よりも奥行きが手前に認識され、立体感が強調されるためである。

図２に戻る。デプスマップ加工部２０は、デプスマップ生成部１０により生成されたデプスマップを加工する。本実施例ではデプスマップ加工部２０は、外部設定される複数のマスクパターン（以下、単にマスクという）により指定される画面内の複数の領域ごとに、デプスマップ生成部１０により生成されたデプスマップを個別または独立に加工する。例えばゲイン調整、オフセット調整、グラデーション処理などの加工を行う。デプスマップ加工部２０による処理の詳細は後述する。

３Ｄ画像生成部３０は、上述の２Ｄ画像およびデプスマップ加工部２０により加工されたデプスマップをもとに別視点の２Ｄ画像を生成する。３Ｄ画像生成部３０は、オリジナル視点の２Ｄ画像と別視点の２Ｄ画像を右眼画像と左眼画像として出力する。

以下、オリジナル視点の２Ｄ画像とデプスマップを用いて当該２Ｄ画像と視差を持つ別視点の２Ｄ画像を生成する具体例を説明する。この具体例ではオリジナル視点の２Ｄ画像を画面表示させた場合の視点を基準にして、左に視点移動した別視点の２Ｄ画像を生成する。その場合、観察者に対してテクスチャを近景として表示させるときは画面に向かって左側へオリジナル視点の２Ｄ画像のテクスチャを所定量移動させ、テクスチャを観察者に遠景として表示させるときは画面に向かって右側へテクスチャを所定量移動させる。

デプスマップの各画素の輝度値をＹｄ、飛び出し感を表す輻輳値をｍ、立体感を表す奥行き値をｎとする。３Ｄ画像生成部３０は輝度値Ｙｄの小さい値から順に、その輝度値Ｙｄに対応するオリジナル視点の２Ｄ画像のテクスチャを画素ごとに（Ｙｄ−ｍ）／ｎ画素分左にシフトする。（Ｙｄ−ｍ）／ｎの値が負の場合、（ｍ−Ｙｄ）／ｎ画素分右にシフトする。なお観察者には、デプスマップの輝度値Ｙｄの小さいテクスチャは画面奥側に見え、輝度値Ｙｄの大きいテクスチャは画面手前に見える。輝度値Ｙｄ、輻輳値ｍ、奥行き値ｎは０〜２５５の範囲の値であり、例えば、輻輳値ｍ＝２００、奥行き値ｎ＝２０に設定される。

なお、デプスマップ生成部１０によるデプスマップ生成、および３Ｄ画像生成部３０による３Ｄ画像生成のより詳細な説明は、本出願人が先に出願した特開２００５−１５１５３４号公報、特開２００９−４４７２２号公報に開示されている。

操作受付部４０は、コンソール端末装置２００の操作部６０から入力される信号を受け付ける。操作受付部４０は、入力される信号をその内容に応じてデプスマップ加工部２０または３Ｄ画像生成部３０に出力する。表示制御部５０はコンソール端末装置２００の表示部７０を制御する。具体的には表示制御部５０は、２Ｄ入力画像、デプスマップ生成部１０により生成されたデプスマップ、デプスマップ加工部２０により加工されたデプスマップ、３Ｄ画像生成部３０により生成された３Ｄ画像を表示できる。

図４は、本発明の基本となる実施例に係る画像編集システム５００の全体処理プロセスを説明するための図である。一般的に２Ｄ画像には複数のオブジェクトが含まれる。図４の２Ｄ入力画像は３つのオブジェクトを含む。具体的には人物、木、背景のオブジェクトを含む。まずデプスマップ生成部１０は、２Ｄ入力画像からデプスマップを生成する（ステップＳ１０）。デプスマップは白に近いほど輝度が高く観察者との距離が近いことを示し、黒に近いほど輝度が低く観察者との距離が遠いことを示す。３Ｄ画像を生成する場合、デプスマップの白に近い領域ほど飛び出し量が大きくなり、黒に近い領域ほど引っ込み量が大きくなる。

本実施例では画像内の複数のオブジェクトに対して個別に奥行き感を調整するために、デプスマップ内の個々のオブジェクト領域に対して独立にエフェクト調整する。具体的には、画像中の個々のオブジェクト領域を表す複数のマスクを用いて、デプスマップ内に、個々のオブジェクト領域を特定する。そして特定されたオブジェクト領域ごとに個別にエフェクト調整し、エフェクト調整された複数のデプスマップを得る。そして、この複数のデプスマップを合成して一つのデプスマップを生成する。このデプスマップは、オリジナル視点の２Ｄ画像から別視点の２Ｄ画像を生成する際に使用される。

デプスマップ生成部１０は２Ｄ入力画像のデプスマップを自動的に生成する（Ｓ１０）。生成されたデプスマップは、デプスマップ加工部２０に入力される。デプスマップ加工部２０には、２Ｄ入力画像内の複数のオブジェクト領域をそれぞれ表す複数のマスクも入力される。これらのマスクはユーザによりトレースされたオブジェクト領域の輪郭をもとに生成される。例えば、表示制御部５０は表示部７０に２Ｄ入力画像を表示させ、ユーザはその２Ｄ入力画像内においてオブジェクト領域とすべき領域の輪郭を、操作部６０を使用してトレースする。操作受付部４０は操作部６０からの信号により、個々のオブジェクト領域の輪郭情報を生成し、マスクとしてデプスマップ加工部２０に出力する。なおユーザが印刷物上に描いた輪郭をスキャナにより読み取ることによりマスクを画像処理装置１００に読み込ませてもよい。

図４では各マスクの有効領域を白で無効領域を黒で描いている。人物のマスクは人物の領域のみを有効とし、他の領域を無効とするパターンである。木のマスクは木の領域のみを有効とし、他の領域を無効とするパターンである。背景のマスクは背景のみを有効とし、他の領域を無効とするパターンである。

１画面あたりのマスクの数に制約はなく、ユーザが任意に設定できる。またオブジェクト領域はユーザが１つのオブジェクト領域にすべきと決定した領域に設定できる。例えば、図４に示すように１人の人物に１つのオブジェクト領域を設定してもよいし、人物の部位ごと、さらに各部位の部分ごとにオブジェクト領域を設定してもよい。特に高品質な３Ｄ画像を生成する際には、１人の人物に対しても多数のオブジェクト領域を設定し、部位ごと、さらに各部位の部分ごとに厚みや奥行き方向の位置を調整することもある。

デプスマップ加工部２０は、デプスマップ生成部１０から入力されるデプスマップ（以下、入力デプスマップという）を、ユーザインタフェースを介して入力される複数のマスクを用いて加工する（Ｓ２０）。デプスマップ加工部２０は各マスクで特定される領域ごとに、個別にデプスマップを加工する。以下、この領域別のデプスマップの加工をデプスマップのレイヤ処理と呼ぶ。またレイヤ処理されたデプスマップをレイヤデプスマップと呼ぶ。本明細書ではレイヤを、マスクの有効領域に対する処理の単位を示す概念として使用している。

図４では、一例としてデプスマップ加工部２０は入力デプスマップから、人物のマスク（レイヤ１のマスク）を用いて人物の領域を特定してレイヤ処理している（Ｓ２１ａ）。同様に入力デプスマップから、木のマスク（レイヤ２のマスク）を用いて木の領域を特定してレイヤ処理している（Ｓ２１ｂ）。同様に入力デプスマップから、背景のマスク（レイヤ３のマスク）を用いて背景の領域を特定してレイヤ処理している（Ｓ２１ｃ）。

デプスマップ加工部２０は、レイヤ１〜３のレイヤデプスマップの各オブジェクト領域のデプスマップを合成する（Ｓ２２）。この合成されたデプスマップを合成デプスマップと呼ぶ。３Ｄ画像生成部３０は、この合成デプスマップを用いて２Ｄ入力画像の画素をシフトし、２Ｄ入力画像に対して視差を持つ画像を生成する（Ｓ３０）。３Ｄ画像生成部３０は２Ｄ入力画像を３Ｄ出力画像の右眼画像（Ｒ）とし、生成した画像を左眼画像（Ｌ）として出力する。

まず、デプスマップ加工部２０によるレイヤ処理としてゲイン調整する例を説明する。ゲイン調整はオブジェクトの奥行き方向の厚みを調整する処理である。ゲインを上げるとオブジェクトが厚くなり、ゲインを下げるとオブジェクトが薄くなる。

図５は、入力デプスマップのゲイン調整プロセスを説明するための図である。デプスマップ加工部２０は、加工前のデプスマップである入力デプスマップに対して、人物のマスクの有効領域だけにゲインを乗算して、入力デプスマップ内の人物の部分のみデプス値の振幅を大きくする（Ｓ２１ａ）。図５において加工後のデプスマップであるレイヤデプスマップは人物の部分の振幅が大きくなっている（符号ａ参照）。

次に、デプスマップ加工部２０によるレイヤ処理としてオフセット調整する例を説明する。オフセット調整はオブジェクトの奥行き方向の位置を調整する処理である。正のオフセット値を加算するとオブジェクトが飛び出し方向に移動し、負のオフセット値を加算すると引っ込み方向に移動する。

図６は、入力デプスマップのオフセット調整プロセスを説明するための図である。デプスマップ加工部２０は、加工前のデプスマップである入力デプスマップに対して、木のマスクの有効領域だけにオフセットを加算して、入力デプスマップ内の木の部分のみデプス値のレベルを高くする（Ｓ２１ｂ）。図６において加工後のデプスマップであるレイヤデプスマップは木の部分のレベルが高くなっている（符号ｂ参照）。

図７は、レイヤデプスマップの合成処理プロセスを説明するための図である。デプスマップ加工部２０は、レイヤ１のレイヤデプスマップ（人物のデプスマップ）のうち、レイヤ１のマスク（人物のマスク）の有効領域のみを切り出す。同様にレイヤ２のレイヤデプスマップ（木のデプスマップ）のうち、レイヤ２のマスク（木のマスク）の有効領域のみを切り出す。同様にレイヤ３のレイヤデプスマップ（背景のデプスマップ）のうち、レイヤ３のマスク（背景のマスク）の有効領域のみを切り出す。デプスマップ加工部２０は、切り出した３つのデプスマップを組み合わせて合成デプスマップを生成する。

図８は、マスクを使用しない入力デプスマップのゲイン調整プロセスを説明するための図である。レイヤデプスマップの合成の際、各レイヤデプスマップのマスクの有効領域のみを用いて合成するのであれば、各レイヤデプスマップのマスクの無効領域は合成デプスマップに反映されないことになる。よって、デプスマップ加工部２０は入力デプスマップ全体にゲインを乗算して、入力デプスマップ全体のデプス値の振幅を大きくする（Ｓ２１ａ）。図８においてレイヤデプスマップは全体の振幅が大きくなっている（符号ｃ参照）。

図９は、マスクを使用しない入力デプスマップのオフセット調整プロセスを説明するための図である。レイヤデプスマップの合成の際、各レイヤデプスマップのマスクの有効領域のみを用いて合成するのであれば、各レイヤデプスマップのマスクの無効領域は合成デプスマップに反映されないことになる。よって、デプスマップ加工部２０は入力デプスマップ全体にオフセットを加算して、入力デプスマップ全体のデプス値のレベルを高くする（Ｓ２１ｂ）。図９においてレイヤデプスマップは全体のレベルが高くなっている（符号ｄ参照）。

図１０は、画素シフトと画素補間を説明するための図である。３Ｄ画像生成部３０は合成デプスマップをもとに２Ｄ入力画像の画素をシフトし、２Ｄ入力画像に対して視差を持つ画像を生成する（Ｓ３０）。図１０では２Ｄ入力画像内の人物領域の画素を左にシフトする例を示している。図１０のデプスマップは人物領域のデプス値にオフセット値が加算されて人物領域のデプス値が大きくなっている。人物領域のデプス値が大きくなると、３Ｄ画像の人物領域の飛び出し量が大きくなる。

人物領域の周囲の背景領域を画素シフトせずに人物領域のみを画素シフトすると、画素が存在しない欠落画素領域が発生する（補正前の画素シフト画像の符号ｅ参照）。３Ｄ画像生成部３０は、この欠落画素領域をその周辺画素から生成した画素で補間して欠落画素領域を補正する。画素補間には様々な方法があるが、例えば人物領域の境界の画素で補間する（補正後の画素シフト画像の符号ｆ参照）。

図１１は、オブジェクト境界のデプスの段差が大きい場合における、画素シフトと画素補間を説明するための図である。オブジェクト境界でのデプスの段差が大きい場合、画素シフト量も大きくなるため、欠落画素領域の面積も大きくなる。この欠落画素領域を周辺画素から生成した画素で補間する場合、その補間する領域の面積も大きくなるため、オブジェクト境界での画像の不自然、不整合、不適合が目立つようになる。

図１１では図１０と比較して人物領域の画素シフト量が大きくなっている。図１１の補正前の画素シフト画像の欠落画素領域の面積は、図１０のその面積より大きくなっている（符号ｇ参照）。図１１の補正後の画素シフト画像でも図１０の補正後の画素シフト画像と同様に、欠落画素領域に人物領域の境界の画素を補間している。その欠落画素領域は本来は背景とすべき領域であり、その領域が大きくなると人物の形状が崩れてしまう（符号ｈ参照）。

また画像内のオブジェクトには、その境界が鮮明なものばかりではなく不鮮明なものも存在する。オブジェクト境界の不鮮明は、例えば撮影時のピンぼけ、手ぶれ、モーションブラーなどにより発生する。オブジェクト境界が不鮮明であいまいな場合、オブジェクト境界に合わせた適切なマスクを作成するのが困難である。不正確な輪郭で作成されたマスクを用いて、デプスマップの加工、画素シフト、画素補間を行った場合、生成される３Ｄ画像のオブジェクトの輪郭が不自然になりやすくなる。

図１２は、オブジェクト境界のデプスの段差が大きい場合でも不自然さが発生しない、画素シフトと画素補間を説明するための図である。オブジェクト境界における欠落画素領域の面積が大きい場合でも、人物と背景がなだらかに切り替わるように補間することで、オブジェクト境界の不自然を目立ちにくくできる。

図１２の補正前の画素シフト画像の欠落画素領域の面積も、図１１と同様に図１０のその面積より大きくなっている（符号ｉ参照）。図１２の補正後の画素シフト画像では図１１の補正後の画素シフト画像と異なり、人物と背景の境界における不自然が目立ちにくくなっている（符号ｊ参照）。

図１３は、本発明の実施例１に係る画像編集システム５００の構成を示す図である。実施例１に係る画像編集システム５００では、図２の基本となる実施例に係る画像編集システム５００の画像処理装置１００にマスク補正部８０が追加される。以下、図１３の実施例１に係る画像編集システム５００と、図２の基本となる実施例に係る画像編集システム５００との相違点を説明する。

マスク補正部８０は、操作受付部４０を介してコンソール端末装置２００から設定されるマスクを補正してデプスマップ加工部２０に出力する。具体的にはマスク補正部８０はマスクのオブジェクト境界に、ぼかし処理を施す。デプスマップ加工部２０は、マスク補正部８０により補正されたマスクをもとに生成される、複数のオブジェクト領域の各デプスマップをアルファブレンド（αブレンド）する。即ちデプスマップ加工部２０は、複数のレイヤデプスマップを、各マスクで規定された係数（α値）にしたがい合成する。

図１４は、本発明の実施例１に係る画像編集システム５００の全体処理プロセスを説明するための図である。図１４の処理プロセスは図４の処理プロセスに、マスクぼかし処理が追加された構成である。以下、相違点について説明する。なお以下の説明では、マスクの有効領域（図では白で描いている）内の画素値を１、無効領域（図面では黒で描いている）内の画素値を０とする。

実施例１では操作受付部４０から出力されるレイヤ１のマスク（人物のマスク）、レイヤ２のマスク（木のマスク）及びレイヤ３のマスク（背景のマスク）は、デプスマップ加工部２０に入力される前にマスク補正部８０に入力される。マスク補正部８０は各マスクのオブジェクト境界部分にぼかし処理を施す（Ｓ１５ａ〜Ｓ１５ｂ）。具体的にはマスク補正部８０は、マスク信号のエッジ（即ち、０と１の境界）及びその近傍領域（以下、両者を総称してエッジ領域という）の値を、０と１の間の値（０と１を除く）に補正する（符号ｋ参照）。

デプスマップ加工部２０は、補正されたマスクのレベルに応じて、レイヤデプスマップを合成する（Ｓ２２）。これによりマスクのエッジ領域では、なだらかにデプス値が変化する合成デプスマップを生成できる。３Ｄ画像生成部３０は、この合成デプスマップを用いて画素シフト、画素補間を行う。これによりオブジェクト境界がなだらかに変化し、オブジェクト境界の不自然が目立たなくなる。

図１５は、レイヤデプスマップのアルファブレンドを説明するための図である。デプスマップ加工部２０は、マスク補正部８０により補正された各マスク信号の値をもとに、各レイヤデプスマップ内のデプス値のブレンド比率を決定する。各レイヤデプスマップは指定された順番に重ね合わされる。重ね合わせの順番はユーザが操作部６０から入力し、操作受付部４０を介してデプスマップ加工部２０に設定される。本明細書の例では背景のレイヤデプスマップ、木のレイヤデプスマップ、人物のデプスマップの順番で重ね合わされる。

図１５においてレイヤｎ（ｎは自然数）のマスク信号のエッジ領域は、０％から５０％への垂直な立ち上がりと、５０％から１００％へのなだらかな傾斜から構成される。各パーセンテージの数値は合成比率を示している。このレイヤｎのマスク信号を用いて、レイヤｎのデプス信号（以下、レイヤｎデプスという）と、レイヤΣ（ｎ−１）の合成デプス信号（以下、レイヤΣ（ｎ−１）デプスという）をブレンドする。レイヤΣ（ｎ−１）デプスは、レイヤ１からレイヤ（ｎ−１）までの各デプス信号をブレンドした合成デプス信号である。即ち、レイヤｎデプスがブレンドされる時点までに生成された合成デプス信号である。

レイヤｎのマスク信号の合成比率が０％の期間（符号ｌ参照）では、レイヤｎデプスが０％、レイヤΣ（ｎ−１）デプスが１００％でブレンドされる。即ち、レイヤΣ（ｎ−１）デプスはレイヤｎデプスにより全く上書きされず、レイヤΣ（ｎ−１）デプスがそのまま出力される（符号ｏ参照）。レイヤｎのマスク信号の合成比率が５０％の時点（符号ｐ参照）では、レイヤｎデプスが５０％、レイヤΣ（ｎ−１）デプスが５０％の比率でブレンドされる。

レイヤｎのマスク信号の合成比率が５０％〜１００％の期間（符号ｍ参照）では、合成比率が変化しながらレイヤｎデプスとレイヤΣ（ｎ−１）デプスがブレンドされる。例えばレイヤｎのマスク信号の合成比率が７５％の時点（符号ｑ参照）では、レイヤｎデプスが７５％、レイヤΣ（ｎ−１）デプスが２５％の比率でブレンドされる。レイヤｎのマスク信号の合成比率が１００％に到達した時点（符号ｒ参照）から、レイヤｎデプスが１００％、レイヤΣ（ｎ−１）デプスが０％の比率でブレンドされる。レイヤｎのマスク信号の合成比率が１００％の期間（符号ｎ参照）では、レイヤΣ（ｎ−１）デプスはレイヤｎデプスにより完全上書きされ、結果としてレイヤｎデプスがそのまま出力される（符号ｓ参照）。これによりレイヤΣｎデプスが生成される。レイヤΣｎデプスは、レイヤ１からレイヤｎまでの各デプス信号をブレンドした合成デプス信号である。

なおレイヤデプスのブレンドの際に、レイヤΣ（ｎ−１）デプスのマスク信号は使用されない。レイヤΣｎデプスのマスク信号のみにより、レイヤΣｎデプスとレイヤΣ（ｎ−１）デプスとの合成比率が決定される。したがってレイヤデプスの重なりが多い領域では、下のレイヤデプスのデプス値はレイヤデプスが重ねられるにつれ薄まっていく。

以下、マスク信号のエッジをぼかす処理について具体的に説明する。このぼかし処理は以下の３つの基本ステップからなる。まずオリジナルのマスク信号のエッジを、対象となるオブジェクトの輪郭に対して適切な位置になるように移動させる。これによりマスクのオブジェクト領域の面積が拡大または縮小する。次に当該マスクのエッジに傾斜をつける。最後に傾斜をつけたマスクのエッジ領域を制限する。

以下、上述のぼかし処理をローパスフィルタを用いて行う方法を説明する。まず黒い部分のレベルが０、白い部分のレベルが１であるマスクにローパスフィルタをかける。これにより、平坦部分のレベルは変化させずに、エッジ領域に０と１の中間のレベルの傾斜が付加されたマスクを生成できる。

さらにマスクのエッジ領域のうち、マスクの有効領域に対して外側にのみ傾斜を付け、内側は加工前のレベルを保持したい場合がある。またその逆に、マスクのエッジ領域のうち、マスクの有効領域に対して内側にのみ傾斜を付け、外側は加工前のレベルを保持したい場合もある。これらの場合を考慮して、マスクの有効領域を拡大または縮小して、マスク信号のエッジの位置を任意に移動させる処理を、ぼかしマスク生成用のローパスフィルタの前段に挿入する。

さらに、ぼかし処理によりマスクのエッジが意図した量より大きく拡大することを防ぐために、ぼかされたエッジ領域を制限する処理を、ぼかしマスク生成用のローパスフィルタの後段に挿入する。以下、このローパスフィルタを用いたぼかし処理について、より具体的に説明する。

図１６は、マスク補正部８０の構成例を示す図である。マスク補正部８０は第１ローパスフィルタ８１、二値化部８２、第２ローパスフィルタ８３、クリッピング部８４を含む。これらの構成もハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できる。

１段目の第１ローパスフィルタ８１は、オリジナルのマスク信号にローパスフィルタをかける。二値化部８２は第１ローパスフィルタ８１から出力される、エッジに傾斜がついたマスク信号を第１閾値を用いて二値化する。第１ローパスフィルタ８１および二値化部８２の作用により、オリジナルのマスク信号のエッジの位置が移動される。

２段目の第２ローパスフィルタ８３は、二値化部８２から出力されるエッジの位置が移動されたマスク信号にローパスフィルタをかける。これによりマスク信号のエッジに傾斜がつけられる。クリッピング部８４は第２ローパスフィルタ８３から出力される、エッジに傾斜がついたマスク信号を第２閾値を用いて、第２閾値以下の信号を０にクリッピングする。

図１７は、図１６のマスク補正部８０によるマスクぼかし処理を説明するための図である。図１７の左に処理フローを、中央にマスクの信号波形を、右にマスクの画像を示す。図１７の説明ではマスクの各画素値が８ビットで規定され、マスクの画像において黒が０(0b00000000)、白が２５５(0b11111111)であるとする。通常、オリジナルのマスク信号は０または２５５のみを持つ二値信号である。

オリジナルのマスク信号は、第１ローパスフィルタ８１に入力される。第１ローパスフィルタ８１はマスク信号のエッジの位置をかえる前処理として、オリジナルのマスク信号にローパスフィルタをかける（Ｓ８１）。具体的には第１ローパスフィルタ８１はオリジナルのマスク信号を、エッジ領域が傾斜を持つマスク信号に加工する。傾斜部分の値は０と２５５の間の値（０と２５５を除く）に加工される。

次に二値化部８２はマスク信号のエッジの位置をかえる前処理として、加工されたマスク信号の値と第１閾値を比較してマスク信号を二値化する（Ｓ８２）。具体的にはマスク信号の値が第１閾値よりも大きい場合はマスク信号の値を２５５に設定し、小さい場合は０に設定する。これにより再び、マスク信号は０または２５５のみを持つ二値信号となる。

第１閾値が０と２５５の中間値である１２７より小さく設定される場合、二値化されたマスク信号のエッジは、オリジナルのマスク信号のエッジよりも外側に移動される。この場合、マスクの画像内において白の面積が拡大する。一方、第１閾値が中間値である１２７より大きく設定される場合、二値化されたマスク信号のエッジは、オリジナルのマスク信号のエッジよりも内側に移動される。この場合、マスクの画像内において白の面積が縮小する。なお第１閾値が中間値である１２７に設定される場合、二値化されたマスク信号のエッジは、オリジナルのマスク信号におけるエッジの位置と同じになる。

図１７ではマスク信号のエッジの位置を外側に移動させる例を示している。第１ローパスフィルタ８１のタップ数や係数などのフィルタ特性および二値化部８２の第１閾値を可変することにより、マスク信号のエッジの位置を任意に調整できる。

図１８は、第１ローパスフィルタ８１によりマスク信号に形成される傾斜と、二値化部８２に設定される第１閾値の関係を説明するための図である。同じエッジの位置のマスク信号を生成する場合において、傾斜が緩くて長い場合は第１閾値が高くなり、傾斜が短く急な場合は第１閾値が低くなる関係にある。ユーザが操作部６０から第１ローパスフィルタ８１のフィルタ特性および二値化部８２の第１閾値を入力することにより、操作受付部４０を介して第１ローパスフィルタ８１および二値化部８２に設定される。ユーザは操作部６０から、第１ローパスフィルタ８１のフィルタ特性および二値化部８２の第１閾値の少なくとも一方を調整することにより、マスク信号のエッジの位置を任意に調整できる。なお第１閾値を低く設定したほうが傾斜を短くできるため、第１ローパスフィルタ８１のタップ数を減らすことができ、第１ローパスフィルタ８１を簡素化できる。

図１７に戻る。エッジの位置が移動されたマスク信号は第２ローパスフィルタ８３に入力される。第２ローパスフィルタ８３は、エッジの位置が移動されたマスク信号にローパスフィルタをかける（Ｓ８３）。これにより、再びエッジ領域に傾斜が付加されたぼかしマスクが生成される。

次にクリッピング部８４は、第２ローパスフィルタ８３により生成されたエッジ領域に傾斜を持つマスク信号の値と第２閾値を比較して、当該マスク信号の値が第２閾値以下のときマスク信号の値を０に設定する（Ｓ８４）。即ちエッジ領域において白側の傾斜は残し、黒側の傾斜は急峻に落とす。これにより第２閾値より大きい領域では白からグレーに変化する傾斜がつき、第２閾値以下の領域では黒のマスクを生成できる。このクリッピング処理により、マスク内のぼかしをかけた領域を制限し、マスクのエッジ領域が意図した大きさより、大きくなることを抑制できる。

図１７では、ぼかし処理を水平方向にかける例を示しているが、二次元ローパスフィルタを用いることにより、ぼかし処理を水平方向と垂直方向の両方にかけることもできる。その際、水平方向と垂直方向で係数が異なるフィルタを用いてもよい。その場合、水平方向と垂直方向とで個別にマスク信号のエッジの位置、傾斜の度合い、ぼかし幅を調整できる。

また水平方向と垂直方向で係数が異なり、かつ斜め方向は縦横の係数の中間値を持つ楕円状の二次元ローパスフィルタを用いてもよい。楕円状の二次元ローパスフィルタを用いれば、水平方向と垂直方向とで個別にマスク信号のエッジの位置および傾斜の度合い、ぼかし幅を調整でき、その調整を斜め方向に作用させることもできる。例えば、正方形のオリジナルマスクを、縦横が任意の長さで、かつ角が丸くなった長方形に加工することができる。また正方形のオリジナルマスクを、縦横の傾斜の度合いが個別かつ任意で、角においては縦横の傾斜の度合いと連続性を持ちつつなだらかに変化する傾斜を持つ全方位に任意のなだらかな傾斜がついた長方形に加工することもできる。

図１９は、第１ローパスフィルタ８１により付加される傾斜と、第２ローパスフィルタ８３により付加される傾斜を比較するための図である。第１ローパスフィルタ８１により付加される傾斜（符号ｔ参照）は、二値化境界位置を調整するために使用される仮の傾斜であり、二値化後には消える。したがって傾斜は一定の角度で線形に変化する傾斜でよい。第２ローパスフィルタ８３により付加される傾斜（符号ｔ参照）は、残る傾斜であるため、ユーザがその傾斜の形状も調整するとよい。例えば傾斜の上部では上が凸の、下部では下が凸の形状に調整してもよい。この形状に調整すると、クリッピングされる幅を大きくできる。

このように、第１ローパスフィルタ８１、第２ローパスフィルタ８３のタップ数や係数などのフィルタ特性、二値化部８２の第１閾値、クリッピング部８４の第２閾値を調整することにより、マスク信号のエッジの位置、マスクの有効領域の面積、ぼかし幅をそれぞれ自由に調整できる。また全てのレイヤのマスク信号に同一のぼかし処理をかける必要はなく、各レイヤのマスク信号ごとに個別にぼかし処理をかけてもよい。

以上のぼかし処理により、マスク信号のエッジを任意の位置に移動させ、マスクの有効領域の面積を変化させることができる。またエッジ領域に任意の傾きの傾斜をつけることができる。さらにマスクのぼかし領域を任意に制限することができる。

ぼかしマスクは、後段のデプスマップの合成で使用される。デプスマップ加工部２０は、ぼかしマスクのレベルに応じて、複数のレイヤデプスマップをアルファブレンドする。その際、ぼかしマスクのレベルに応じて、各レイヤデプスマップの合成比率が決定される。

以上説明したように実施例１によれば、レイヤデプスマップを合成する際、ぼかしマスクを使用することにより、合成デプスマップのオブジェクト境界部分に連続性を持たせることができる。即ちオブジェクト境界部分に大きな段差がある場合、その段差をなだらかにすることができる。したがって、この合成デプスマップをもとに生成される別視点の画像のオブジェクト境界部分を自然な境界に仕上げることができる。

また境界があいまいなオブジェクトに対して、不正確な輪郭で作成されたマスクを用いた場合でも、その輪郭の位置を調整することにより、生成される３Ｄ画像のオブジェクトの輪郭が不自然な輪郭となることを回避できる。

以下、ぼかしマスクを用いずにオブジェクト境界の不自然を目立ちにくくする方法について説明する。

図２０は、本発明の実施例１の変形例に係る画像編集システム５００の全体処理プロセスを説明するための図である。図２０の処理プロセスは図４の処理プロセスに、ローパスフィルタ処理が追加された構成である。以下、相違点について説明する。なお図１４の処理プロセスと異なりマスクぼかし処理が追加されない。

デプスマップ加工部２０は、合成デプスマップにローパスフィルタをかける（Ｓ８５）。これにより、デプスマップ内のオブジェクト境界におけるデプス値の変化がなだらかになる。ただし、ぼかしマスクを使用する方法と比較し、そのデプス値の変化をオブジェクト毎に任意に調整することはできない。また、ぼかしマスクを使用する方法では、オブジェクト境界におけるデプス値の変化だけをなだらかに加工できる。これに対して、合成デプスマップにローパスフィルタをかける方法では、オブジェクト境界だけでなくオブジェクト内部の平坦部分についても、細かなディテール（凹凸）が失われる。

ぼかしマスクを使用する方法と、合成デプスマップにローパスフィルタをかける処理は、各々独立で使用することもできるし、両方の処理を同時に使用することもできる。また、各々の処理の順番を入れ替えることもできる。レイヤ合成する前のデプスマップにローパスフィルタをかけて、ぼかし処理されたレイヤデプスマップを生成し、それらレイヤデプスマップをぼかしマスクを用いて合成し、さらに合成デプスマップにローパスフィルタをかけてもよい。

次に実施例２について説明する。実施例１では、デプスマップを加工する際の基準となるマスクに対して以下の処理を施した。マスクの有効エリアの面積を可変する。マスクのエッジ部分に傾斜をつける（具体的には、０または１ではなく ０．５などの中間値を作る）。マスクにつけた傾斜（中間値）の値に応じて、デプスマップをαブレンド合成する。合成されたデプスマップにローパスフィルタをかけて、急峻な変化を抑圧する。

実施例１では、これらの処理により、合成デプスマップのオブジェクトの境界部分に連続性を持たせ、この合成デプスマップを基に生成された画像（３Ｄ画像）のオブジェクトの境界部分の不自然を目立たなくすることを示した。

この実施例１に係る方法では、本来補正の必要が無い部分にまで補正処理が行われる場合が発生する。その補正の副作用により画像が不自然に変化してしまう場合がある。また、その補正の副作用を回避または軽減するために補正の効果を弱めた場合、オブジェクトの境界部分の不自然さを完全に解消できないことがある。

実施例２では、マスクぼかし処理の特殊性を考慮したうえで、マスクの補正処理を局所的に非対称に効果せしめる手段を講じる。これにより、狙いとする部分のみに排他的に補正処理を施すことができ、上記の副作用を回避または軽減できる。即ち、マスクのエッジ部分の処理を非対称に行い、その非対称なエッジを備えるマスクの加工を行う。これにより補正処理の副作用を抑えつつ、生成される３Ｄ画像におけるオブジェクトの境界部分の不自然さを目立ちにくくできる。

マスクぼかし処理の特殊性に鑑み、まずマスクの加工を非対称に行うことで狙いとする効果が得られる理由を説明し、次にマスクの加工を非対称に行うための具体的手段について説明する。

まずマスクの加工を非対称に行うことで狙いとする効果が得られる理由を説明する。上述したように本明細書では、デプスマップで表現されているデプス値に基づいて入力画像の一部の画素を水平にシフトすることにより、入力画像に対してオブジェクト毎に視差を持つ３Ｄ画像を生成する。一般に、入力画像を左眼画像とし、右眼画像を画素シフトで生成する場合において、飛び出し方向の視差を与えるには画素を左側にシフトする。この場合、シフトしたオブジェクトの右側には画素シフトにより画素抜けのエリアが生じる。一方、シフトしたオブジェクトの左側は、シフト画素が背景画素上に被さることになる。オブジェクトの左側には抜け画素が発生しない。

即ち画素シフトによる画素抜けは、オブジェクトの片側にだけ発生する。画素抜けが発生する方向は、生成すべき画像を右眼画像とするか左眼画像にするか、及びオブジェクトに飛び出し方向の視差を与えるか奥行き方向の視差を与えるかの二つに依存する。

上述の例において、オブジェクトの左右両側に均等なマスクエッジの加工処理を施した場合、オブジェクトの右側はその境界部分の不自然さを目立たなくできる。一方、オブジェクトの左側にあたる背景部分に何らかのテクスチャが存在する場合、上記のマスクエッジの加工処理の影響を受けた画素シフトが背景部分にも及ぶことになる。この場合、背景テクスチャが歪む可能性がある。例えば、その背景テクスチャに道路の白線が含まれる場合、白線が歪む可能性がある。

そこで、上述のマスクエッジの加工をオブジェクトの右側だけに作用させ、左側には作用させないようにする。これにより、オブジェクトの左側の背景テクスチャを歪まないようにできる。

次にマスクの加工を非対称に行うための具体的手段について説明する。実施例１で説明したようにマスクエッジの加工には、以下の２つのフィルタを用いる。１つは、マスクのエッジポジションを移動させ、マスクの有効エリアの面積を可変するために用いるフィルタである。もう１つは、マスクに応じたデプスマップのブレンド比率を制御するために、マスクエッジに傾斜を付けるためのフィルタである。前者は図１６の第１ローパスフィルタ８１に相当し、後者は第２ローパスフィルタ８３に相当する。

これらのフィルタは、一般に左右または上下対称な係数で構成される。実施例２では中心に対して非対称な係数を設定したフィルタを意図的に用いる。これにより上記のマスクエッジの加工を左右非対称に行うことができ、上述の補正処理による副作用を回避または軽減できる。

図２１は、実施例２に係るマスク補正部８０の構成例を示す図である。実施例２に係るマスク補正部８０は図１６のマスク補正部８０にフィルタ形状設定部８５が追加された構成である。以下、図１６のマスク補正部８０との相違点について説明する。

実施例２に係るマスク補正部８０は、少なくとも左右が非対称な第２ローパスフィルタ８３を用いて、マスクのオブジェクト境界部分に、ぼかし処理を施す。フィルタ形状設定部８５は、第２ローパスフィルタ８３のフィルタ形状を決定する。ユーザは操作部６０から、第２ローパスフィルタ８３のフィルタ形状を特定するための情報をフィルタ形状設定部８５に設定できる。ユーザは、第２ローパスフィルタ８３のタップ数および／または係数の値を左右非対称に設定することにより、左右非対称なフィルタ形状の第２ローパスフィルタ８３を設定できる。

また上述したように、ぼかし処理を水平方向だけでなく垂直方向にもかけるため、二次元ローパスフィルタを用いることもできる。この場合、ユーザは左右だけでなく上下にも非対称なフィルタ形状の第２ローパスフィルタ８３を設定できる。また上述したように楕円状の二次元ローパスフィルタを用いれば、斜め方向にも自然なぼかし処理をかけることができる。

このようにユーザは、水平方向、垂直方向、斜め方向に個別の係数を持ち、かつ中心に対して非対称な係数を持つ第２ローパスフィルタ８３を設定できる。即ち、上下左右斜め全方位に渡って非対称な形状の第２ローパスフィルタ８３を設定できる。このようにユーザは、ぼかし処理の効果を、対象とするオブジェクトの縦横斜めのいかなる部分に対しても、任意に作用せしめることができる。

以下、第２ローパスフィルタ８３を左右非対称にした場合の効果について考察する。この考察では説明を分かりやすくするため、水平方向にぼかし処理を施す一次元のローパスフィルタを想定する。

図２２（ａ）−（ｃ）は左右対称な第２ローパスフィルタ８３ｓを用いたマスクエッジの加工処理を説明するための図である。図２３（ａ）−（ｃ）は左右非対称な第２ローパスフィルタ８３ａを用いたマスクエッジの加工処理を説明するための図である。図２２（ａ）は、左右対称な第２ローパスフィルタ８３ｓの一例を示す。図２３（ａ）は、左右非対称な第２ローパスフィルタ８３ａの一例を示す。

図２２（ｂ）は、図２２（ａ）の左右対称な第２ローパスフィルタ８３ｓを用いて、マスクＭ１（点線）をフィルタリングする処理を示す。フィルタリング後のマスクＭ２（実線）は左右のエッジが等しく緩やかになる。図２３（ｂ）は、図２３（ａ）の左右非対称な第２ローパスフィルタ８３ａを用いて、マスクＭ４（点線）をフィルタリングする処理を示す。フィルタリング後のマスクＭ５（実線）はエッジ形状が左右で異なる。左のエッジの高レベル領域は緩やかになまる。右側のエッジの低レベル領域は緩やかに外側に広がる。

図１７に示したように、第２ローパスフィルタ８３によるフィルタリング後のマスクは、第２閾値を用いてクリッピング処理される。当該クリッピング処理では第２閾値より下のレベルのマスク値をゼロにする。第２閾値は、マスクレベルの中間付近のレベルに設定される。

図２２（ｃ）は、図２２（ｂ）のフィルタリング後のマスク（細い実線）を第２閾値でクリッピングする処理を示す。クリッピング後のマスクＭ３（太い実線）は、左右のエッジの低レベル領域が垂直になる。図２３（ｃ）は、図２３（ｂ）のフィルタリング後のマスク（細い実線）を第２閾値でクリッピングする処理を示す。クリッピング後のマスクＭ６も、左右のエッジの低レベル領域が垂直になる。

マスクＭ３とマスクＭ６を比較すると、前者は左右のエッジに均等な傾斜がついている。後者は左右のエッジの傾斜が異なる。図２３（ａ）に示すように中心に対して左側だけに係数を持つ第２ローパスフィルタ８３ａを用いた場合、左側のエッジには傾斜がつくが、右側のエッジには殆ど傾斜がつかない。右側のエッジは、加工前の状態とほぼ同様な、急峻な状態のエッジが維持される。

図２３（ｂ）に示すように非対称な第２ローパスフィルタ８３ａでフィルタリングされたマスクＭ５の右側のエッジには、その低レベル領域に緩やかな傾斜が付いている。その後、図２３（ｃ）に示すようにマスクＭ５と第２閾値を比較して、第２閾値より下のレベルのマスク値をゼロにクリッピングする。これにより、クリッピング後のマスクＭ６の右側のエッジにおける低レベル領域の傾斜は除去される。

仮に上記のクリッピング処理をしない場合、マスクのエッジ形状を左右非対称にすることはできても、マスクレベルの低レベル領域の傾斜が残ってしまう。実施例２に係るマスクエッジ加工処理の目的を果たせなくなる。即ち、レイヤデプスの左右非対称ブレンド、更には３Ｄ画像生成の際の画素シフトが及ぼす範囲を制限して、テクスチャのある背景部分にマスクエッジ加工処理の影響が及ばないようにする効果が果たせなくなる。

これに対して上記のクリッピング処理を追加することにより、マスクの片側のエッジにだけ傾斜をつけ、もう片側のエッジには傾斜をつけないという加工が可能になる。よって、実施例２に係るクリッピング処理は、マスクエッジの形状を非対称にする単純な加工処理から容易に類推できない有利な効果を奏している。

上述したようにユーザは、第２ローパスフィルタ８３のフィルタ形状を任意に設定することができる。したがってオブジェクトの全方位ではなく任意の方向に偏りを持つぼかし処理が可能である。例えば、オブジェクトの周囲のテクスチャの状況に応じて、その偏りを調整できる。以下の説明では第２ローパスフィルタ８３のフィルタ形状を手動ではなく自動で設定する処理を説明する。これにより、ユーザの負担を軽減できる。

図２１に戻る。フィルタ形状設定部８５は、生成すべき画像が右眼画像であるか左眼画像であるか、及びマスクのオブジェクト境界部分における境界の内側のデプス値と外側のデプス値の比較結果から得られるオブジェクトと周囲との前後関係に応じて、第２ローパスフィルタ８３のフィルタ形状を設定する。

生成すべき画像が左眼画像であり、かつオブジェクトが周囲より手前（即ち、飛び出し方向）に位置する場合、３Ｄ画像生成部３０はオブジェクトを右側に画素シフトする。生成すべき画像が左眼画像であり、かつオブジェクトが周囲より奥（即ち、奥行き方向）に位置する場合、３Ｄ画像生成部３０はオブジェクトを左側に画素シフトする。生成すべき画像が右眼画像であり、かつオブジェクトが周囲より手前（即ち、飛び出し方向）に位置する場合、３Ｄ画像生成部３０はオブジェクトを左側に画素シフトする。生成すべき画像が右眼画像であり、かつオブジェクトが周囲より奥（即ち、奥行き方向）に位置する場合、３Ｄ画像生成部３０はオブジェクトを右側に画素シフトする。

オブジェクトが右側に画素シフトされる場合、フィルタ形状設定部８５は、第２ローパスフィルタ８３の左側のエッジが右側のエッジより緩やかなフィルタ形状に設定する。右側のエッジには傾斜をつかないか、またはごく小さな傾斜しかつかないフィルタ形状に設定する。オブジェクトが左側に画素シフトされる場合、フィルタ形状設定部８５は、第２ローパスフィルタ８３の右側のエッジが左側のエッジより緩やかなフィルタ形状に設定する。

以下より具体的に説明する。本明細書における画像編集システム５００において、３Ｄ画像を構成する右眼画像と左眼画像のうち、一方にオリジナルの入力画像を割り当て、他方に、画素シフトにより生成される画像を割り当てる。この割り当ては、ユーザの設定により決定される。フィルタ形状設定部８５には、決定された割り当てが設定される。

次に、マスクが指し示すオブジェクトが、その周囲に対して飛び出す方向に存在するか、反対に奥行き方向に存在するか判断する。飛び出し方向に存在する場合、右眼画像内のオブジェクトと左眼画像内のオブジェクトの間の距離を長くする必要がある。反対に奥行き方向に存在する場合、当該距離を短くする必要がある。オブジェクトが周囲に対して飛び出す方向に存在するか奥行き方向に存在するかの判断には、デプスマップを使用する。

フィルタ形状設定部８５は、デプスマップを解析することにより、マスクが指し示すオブジェクトのエリアのデプス値と、その周辺のデプス値の相対差を求める。例えば、当該オブジェクトのエリア内のデプス値の平均値と、その周辺における設定された範囲内のデプス値の平均値との差分を求める。

本明細書では白に近いほどデプス値が高く、黒に近いほどデプス値が低くなる。したがって、オブジェクトのエリアのデプス値のほうが、その周辺のデプス値より大きい場合、オブジェクトが周辺より観察者に近いと判定できる。反対にオブジェクトのエリアのデプス値のほうが、その周辺のデプス値より小さい場合、オブジェクトがその周辺より観察者から遠いと判定できる。

マスクが指し示すオブジェクトのエリアのデプス値が、その周辺のデプス値より大きい場合、即ちオブジェクトが飛び出し方向に位置すると判定される場合について考える。この前提において右眼画像に画素シフトにより生成される画像を割り当てる場合、画素シフトの方向は左と判定できる。この場合、画素シフトによってオブジェクトの右側に画素抜け領域が発生する。したがってオブジェクトの右側に、より広く、より傾斜が付くように加工され、オブジェクトの左側が加工されない補正処理が望まれる。フィルタ形状設定部８５はこのよう補正処理を実現するため、右側のエッジがより緩やかなフィルタ形状の第２ローパスフィルタ８３を設定する。

このようにフィルタ形状設定部８５は、画素シフトにより生成される画像が右眼画像であるか左眼画像であるか、及びオブジェクトのエリアとその周辺のデプスの相対差の２つのパラメータにより、第２ローパスフィルタ８３のフィルタ形状を偏らせるべき方向を決定する。

図２４は、実施例２に係るフィルタ形状設定部８５によるフィルタ形状の決定処理を説明するためのフローチャートである。まずフィルタ形状設定部８５は、生成される画像が左眼画像であるか右眼画像であるか判定する（Ｓ１０）。次にオブジェクトが周辺より飛び出しているか奥まっているか判定する（Ｓ２０、Ｓ２２）。

左眼画像であり（Ｓ１０の左眼）、かつオブジェクトが周辺より奥まっている場合（Ｓ２０の奥まり）、フィルタ形状設定部８５は画素シフトの方向が左と判定し、第２ローパスフィルタ８３のフィルタ形状を、右側のエッジに傾斜が付加されたフィルタ形状に設定する（Ｓ３１）。左眼画像であり（Ｓ１０の左眼）、かつオブジェクトが周辺より飛び出している場合（Ｓ２０の飛び出し）、フィルタ形状設定部８５は画素シフトの方向が右と判定し、第２ローパスフィルタ８３のフィルタ形状を、左側のエッジに傾斜が付加されたフィルタ形状に設定する（Ｓ３２）。

右眼画像であり（Ｓ１０の右眼）、かつオブジェクトが周辺より飛び出している場合（Ｓ２２の飛び出し）、フィルタ形状設定部８５は画素シフトの方向が左と判定し、第２ローパスフィルタ８３のフィルタ形状を、右側のエッジに傾斜が付加されたフィルタ形状に設定する（Ｓ３１）。右眼画像であり（Ｓ１０の右眼）、かつオブジェクトが周辺より奥まっている場合（Ｓ２２の奥まり）、フィルタ形状設定部８５は画素シフトの方向が右と判定し、第２ローパスフィルタ８３のフィルタ形状を、左側のエッジに傾斜が付加されたフィルタ形状に設定する（Ｓ３２）。

またフィルタ形状設定部８５は、オブジェクト境界の内側のデプス値と外側のデプス値との差分に応じて、より緩やかにすべき側（即ち、傾斜を付加すべき側）のエッジにおける傾斜の程度を決定できる。当該差分が大きいほど、オブジェクト境界の段差が大きく、画素シフト量が大きくなることを示す。フィルタ形状設定部８５は、当該差分が大きいほど傾斜の程度を大きくする。即ち、当該差分が大きいほど、エッジに付加すべき傾斜をより緩やかに設定する。

これまで第２ローパスフィルタ８３を左右非対称にする例を説明した。実施例２では第２ローパスフィルタ８３だけでなく第１ローパスフィルタ８１も左右非対称にすることができる。

図２５（ａ）−（ｃ）は左右対称な第１ローパスフィルタ８１ｓを用いたマスクエッジの加工処理を説明するための図である。図２６（ａ）−（ｃ）は左右非対称な第１ローパスフィルタ８１ａを用いたマスクエッジの加工処理を説明するための図である。図２５（ａ）は、左右対称な第１ローパスフィルタ８１ｓの一例を示す。図２６（ａ）は、左右非対称な第１ローパスフィルタ８１ａの一例を示す。

図２５（ｂ）は、図２５（ａ）の左右対称な第１ローパスフィルタ８１ｓを用いて、マスクＭ７（点線）をフィルタリングする処理を示す。フィルタリング後のマスクＭ８（実線）は左右のエッジが等しく緩やかになる。図２６（ｂ）は、図２６（ａ）の左右非対称な第１ローパスフィルタ８１ａを用いて、マスクＭ１０（点線）をフィルタリングする処理を示す。フィルタリング後のマスクＭ１１（実線）はエッジ形状が左右で異なる。左側のエッジの高レベル領域が緩やかになまる。右側のエッジの低レベル領域は緩やかに外側に広がる。

図２５（ｃ）は、図２５（ｂ）のフィルタリング後のマスク（細い実線）を第１閾値（図１７参照）で二値化することにより、マスクのエッジ幅を広げる加工処理を示す。エッジ幅を広げる場合、第１閾値をゼロ付近に設定する。図２６（ｃ）は、図２６（ｂ）のフィルタリング後のマスク（細い実線）を第１閾値で二値化することにより、マスクのエッジ幅を広げる加工処理を示す。

図２５（ｃ）に示すように加工後のマスクＭ９は、左右が均等に広がっている。一方、図２６（ｃ）に示すように加工後のマスクＭ１２は、左右のエッジの移動量が異なる。中心に対して左側だけに係数を持つ第１ローパスフィルタ８１ａを用いた場合、図２６（ｃ）に示すように右側のエッジポジションは右に移動するが、左側のエッジポジションは元の位置のままである。このようにマスクの左右を不均等に広げることができる。

マスクのエッジに傾斜をつける場合、オブジェクトの境界部分が広くなる。この場合においてマスクのエッジポジションをそのままにしておくと、オブジェクト境界部分がオブジェクトの内側に侵食してくる。したがってエッジに傾斜をつける場合、通常、そのエッジポジションを外側に移動させる。傾斜の程度が大きいほど、よりエッジポジションを外側に移動させる。このように傾斜の程度とエッジポジションの移動量は比例関係にある。

図２３（ａ）−（ｃ）及び図２６（ａ）−（ｃ）に示すように、左側に係数を持つフィルタ形状のローパスフィルタでは、左側のエッジに傾斜がつき、右側のエッジポジションが外側に移動する。したがって第１ローパスフィルタ８１と第２ローパスフィルタ８３では左右反対のフィルタ形状に設定する必要がある。オブジェクトの左側をぼかしたい場合、左側に係数を持つ第２ローパスフィルタ８３を設定し、右側に係数を持つ第１ローパスフィルタ８１を設定する。反対にオブジェクトの右側をぼかしたい場合、右側に係数を持つ第２ローパスフィルタ８３を設定し、左側に係数を持つ第１ローパスフィルタ８１を設定する。

図２６（ａ）−（ｃ）に示した例は、第１ローパスフィルタ８１を用いてマスクのエッジポジションを外側に移動させる（即ち、マスクの幅を広げる）場合の例である。マスクの幅を広げる場合、外側に移動させるエッジの側と逆側に係数を持つフィルタ形状の第１ローパスフィルタ８１を用いる。反対にマスクのエッジポジションを内側に移動させる（即ち、マスクの幅を狭める）場合、内側に移動させるエッジの側と同じ側に係数を持つフィルタ形状の第１ローパスフィルタ８１を用いる。

図２６（ａ）では左側にのみ係数を持つフィルタ形状の第１ローパスフィルタ８１ａが示されている。図２６（ｂ）では、この第１ローパスフィルタ８１ａによりフィルタリングされた後のマスクＭ１１が示されている。このマスクＭ１１の左側では内側に傾斜が付き、右側では外側に傾斜が付いている。

オリジナルマスクＭ１０の幅を広げる場合、第１閾値のレベルを低く設定する。フィルタリング後のマスクＭ１１を第１閾値で二値化すると、オリジナルマスクＭ１０の外側に傾斜が付いている右側のエッジが外側に移動され、オリジナルマスクＭ１０の幅が右側に伸びる（図２６（ｃ）参照）。左側は変化しない。反対にオリジナルマスクＭ１０の幅を狭める場合、第１閾値のレベルを高く設定する。フィルタリング後のマスクＭ１１を第１閾値で二値化すると、オリジナルマスクＭ１０の内側に傾斜が付いている左側のエッジが内側に移動され、オリジナルマスクＭ１０の左側が縮む。右側は変化しない。このようにマスクの幅を広げる場合、第１ローパスフィルタ８１の係数を持つ側と反対側が広がり、マスクの幅を狭める場合、第１ローパスフィルタ８１の係数を持つ側と同じ側が狭まる。

これまでの説明では、エッジの加工を行う際に、一意の係数で定義された１つのフィルタを用いて、マスク全体を一律に処理する手法を示した。この点、これまでに述べてきたマスクエッジの加工を非対称に行う効果を得るためには、必ずしも１つのフィルタを用いる処理に限定されない。それぞれフィルタ形状が異なる複数のフィルタを用いて、マスクエッジのエリア毎に個別にフィルタ処理してもよい。即ち、マスクの加工を幅広く行いたいエリアには、幅の広い形状を持つフィルタを用いる。反対に、マスクの加工度合いを少なくしたいエリアには、幅の狭い形状を持つフィルタを用いるか、または全くフィルタ処理しない。このように複数種類のローパスフィルタをマスクエッジのエリア毎に切り替えて使用してもよい。

以上説明したように実施例２によれば、マスクエッジの加工を、オブジェクトの上下左右斜め全方向に渡って非対称に行うことができる。このようなマスクを用いてオブジェクトの境界部分を補正することにより、正常な背景テクスチャに影響を及ぼすことなく、歪みが生じている部分のみを排他的に補正できる。したがって高品位な３Ｄ画像を生成できる。

次に実施例３について説明する。実施例１、２に説明した手法を用いると、抜け画素部分の歪みを軽減できる。上述した画素シフト方式の２Ｄ３Ｄ変換では、抜け画素部分が発生する以外の課題も存在する。以下、これについて詳しく述べる。

画像中に、背景オブジェクトと前景オブジェクトが存在する場合にて、この画像に視差を付加するために、デプスレベルに応じて前景オブジェクトを水平方向にシフトする。前景オブジェクトに飛び出し方向の視差を付加するには、各実施例において、前景オブジェクトの画素を左方向にシフトする。その結果、前景オブジェクトの右エッジの外側には抜け画素が生じ、逆の左エッジ部分は元からある背景画像の画素を覆い隠した状態となる。

図２７は、画素シフト前後の前景オブジェクトを示す図である。図２７にて中央の人物を前景オブジェクトとする。図２７中の黒い部分は、画素シフト前の前景オブジェクトの位置を示し、半透明の人物画像は、画素シフト後の前景オブジェクトの位置を示す。図２７より明らかなように、前景オブジェクトの右エッジ部分には抜け画素が生じ（符号ｕ参照）、左エッジ部分は、元からある背景画像の画素を覆い隠した状態となる（符号ｖ参照）。

図２７のオブジェクトの右エッジ部分である抜け画素部分については、実施例１、２に示した手法で、歪みを軽減しつつ周辺画素で補間できる。しかしながら、図２７のオブジェクトの左エッジ部分である、背景画像を前景画像が覆い隠す部分については元からある背景画素が、シフト後の前景画素で上書きされた状態となる。従って、オブジェクトのエッジ境界部分は前景と背景が明確に分離し、輪郭のハッキリした画像となる。

一般に、ＣＧなどの人工的に製作された画像ではオブジェクトのエッジ境界は明確であるのが普通であるが、カメラなどで撮影された自然画においては、オブジェクトのエッジ部分はなだらかに変化するソフトな風合いを持つ。このことが画像の自然さを醸し出す要因となっている。

しかしながら上述したように画素シフトにより、もともとソフトであったエッジ部分が、輪郭のハッキリした状態に加工されてしまうため、原画の持つ自然な風合いが破壊されてしまう。この点が、画素シフト方式の２Ｄ３Ｄ変換の課題となっている。

実施例３では、画素シフトの処理に工夫を加えることにより、システムの大幅変更無しに、画像の輪郭が不自然に加工されてしまう課題を解決する。実施例３では、画素シフトする際に、前景画素が背景画素を完全に上書きするのではなく、ある一定の比率で前景と背景をアルファブレンドする。

図２８（ａ）−（ｂ）は、一般方式の、画素シフトを用いた３Ｄ画像生成を説明するための図である。図２８（ａ）に示すように一般方式では、３Ｄ画像生成部３０は原画像を、デプスマップを用いて画素シフトする（Ｓ３１）。図２８（ｂ）に示すように一般方式では、前景画素が背景画素を覆い隠すように画素シフトされる。つまり、前景画素が背景画素に置き換わるように画素シフトされる。図２８（ｂ）では前景画素が左に３画素シフトされ、背景画素の右端の３画素が前景画素の左端の３画素で完全に上書きされる。従って前景オブジェクトのエッジ境界は背景と完全に分離される。

図２９（ａ）−（ｂ）は、実施例３に係る、画素シフトを用いた３Ｄ画像生成を説明するための図である。図２９（ａ）に示すように実施例３では、３Ｄ画像生成部３０は原画像を、デプスマップとアルファブレンドマスク（以下、単にブレンドマスクという）を用いて画素シフトする（Ｓ３１）。ブレンドマスクとは画素シフト処理で、前景画素と背景画素をブレンドする際の比率を与える信号である。この信号を適切に設定し、前景画像が背景画像を覆い隠す部分についてのみアルファブレンドすることで、その部分の前景画素と背景画素をなじませることができる。その結果、画像の輪郭が不自然に加工されることを回避できる。図２９（ｂ）では前景画素が左に３画素シフトされるが、前景画素の左端の３画素は背景画素の右端の３画素とブレンドされる。従って前景オブジェクトのエッジ境界部分は背景と合成され、なだらかに変化する。

以下、実施例１−３に係る画素シフトにおける、オブジェクトエッジ加工処理を説明する。図３０（ａ）−（ｄ）は、画素シフトにおける、基本的なオブジェクトエッジ加工処理を説明するための図である。図３０（ａ）は画素シフト前の原画像である。図３０（ｂ）は、図３０（ａ）の原画像に与える視差量を示すデプスマップである。このデプスマップは、輝度が高い（明るい）部分が飛び出し方向の視差であることを示している。

図３０（ｃ）は、抜け画素補間前の画素シフト画像である。この画素シフト画像は、図３０（ｂ）のデプスマップの視差量に応じて、図３０（ａ）の原画像の画素をシフトして得られる画像である。ここでは、画像中央下側の人型の部分が前景画像である。図３０（ｃ）より明らかなように、前景画像の右エッジ部分（符号ｗ参照）には、画素シフトによる抜け画素が生じている。

図３０（ｄ）は、抜け画素補間後の画素シフト画像である。この画素シフト画像は、デプスマップに対して特別の手段を講じることなく、抜け画素部分を周辺画素で一律に補間した場合の画素シフト画像である。図３０（ｄ）より明らかなように、前景画像の右エッジ部分（符号ｘ参照）が引き伸ばされ、不自然な画像となっている。

図３１（ａ）−（ｃ）は、実施例１、２に係る画素シフトにおける、オブジェクトエッジ加工処理を説明するための図である。図３１（ａ）は画素シフト前の原画像である。図３１（ｂ）は、図３１（ａ）の原画像に与える視差量を示すデプスマップである。このデプスマップは実施例１、２で説明したように、マスク信号をぼかす処理により右エッジ部分（符号ｙ参照）に傾斜が付加されたデプスマップである。

図３１（ｃ）は画素シフト画像である。この画素シフト画像は、図３１（ｂ）のデプスマップを用いて、図３１（ａ）の原画像の画素をシフトして得られる画像である。オブジェクトの右エッジ部分（符号ｚ参照）について、背景から前景になだらかに変化するのでエッジの歪が解消している。エッジがソフトになるため、自然な画像となる。一方、オブジェクトの左エッジ部分（符号ａａ参照）については、画素シフトにより前景画素が背景画素を覆い隠すことになる。エッジがシャープになり、不自然な画像となる。

図３２（ａ）−（ｃ）は、実施例３に係る画素シフトにおける、オブジェクトエッジ加工処理を説明するための図である。図３２（ａ）は画素シフト前の原画像である。なお図示しないが、画素シフトに用いるデプスマップは、図３１（ｂ）に示すものと同様に、マスク信号をぼかす処理により、オブジェクトの右エッジ部分に傾斜が付加されたものを使用する。

図３２（ｂ）は画素シフト処理にて、前景画素と背景画素をブレンドする際の比率を与えるブレンドマスクである。ブレンドマスクは、輝度が高いほど前景のブレンド率が高くなることを示す。ブレンドマスクが黒ならば背景が１００％、白ならば前景が１００％、グレー５０％ならば前景と背景が半分ずつブレンドされる。図３２（ｂ）では、人物オブジェクトの左エッジ部分（符号ｂｂ参照）の輝度に傾斜をつけ、白から黒になだらかに変化するように加工する。

図３２（ｃ）は画素シフト画像である。この画素シフト画像は、図３１（ｂ）のデプスマップと、図３２（ｂ）のブレンドマスクを用いて、図３２（ａ）の原画像の画素をシフトして得られる画像である。人物オブジェクトの右エッジ部分（符号ｃｃ参照）は図３１（ｃ）と同じである。人物オブジェクトの左エッジ部分（符号ｄｄ参照）は、デプスマップのレベルに従い左にシフトされた画素が、その位置に元からある背景画素と、ブレンドマスクのレベルに応じてブレンドされる。従って、シフト後の前景オブジェクトの左エッジ部分は背景部分に溶け込んでなじむため、輪郭がソフトになり自然な画像となる。

図３３（ａ）−（ｂ）は、前景画像と背景画像をアルファブレンドする処理を模式的に表した画像を示す。図３３（ａ）はアルファブレンドをしない場合の画像であり、左側の濃い領域が背景を、右側の薄い領域が前景を示す。図３３（ａ）では、前景画像と背景画像の境界は明確に分離している。図３３（ｂ）はアルファブレンドする場合の画像であり、前景画像のエッジが背景画像に溶け込み、輪郭がソフトになっている。

図３４は、本発明の実施例３に係る画像処理装置１００の構成を示す図である。図３４では図面を簡略化するため、操作受付部４０及び表示制御部５０を省略して描いている。デプスマップ生成部１０は、原画像である２Ｄ入力画像のデプスマップを、当該２Ｄ入力画像と上述のデプスモデルをもとに生成する。デプスマップ生成の具体的処理は、上述の通りである。

マスク補正部８０は、外部設定されるマスクとパラメータをもとに、当該マスク内のオブジェクトのシフト方向と反対方向のエッジに傾斜を付加して、ぼかしマスクを生成するとともに、当該マスク内のオブジェクトのシフト方向のエッジに傾斜を付加してブレンドマスクを生成する。外部設定されるマスクには、原画像内のオブジェクトの輪郭をトレースしたＲＯＴＯマスクを用いることができる。上述のように個々のオブジェクトごとのマスクがそれぞれ設定されてもよいし、全てのオブジェクトを含むマスクが１枚設定されてもよい。

以下、より具体的に説明する。マスク補正部８０は、マスクぼかし部８０ａ及びブレンドマスク生成部８０ｂを含む。マスクぼかし部８０ａは、図１６または図２１に示したマスク補正部８０の構成を用いることができ、ぼかしマスクを生成する。ユーザは操作受付部４０からパラメータとして、第１ローパスフィルタ８１、第２ローパスフィルタ８３のタップ数や係数などのフィルタ特性、二値化部８２の第１閾値、クリッピング部８４の第２閾値を調整することにより、マスク内のオブジェクトのエッジを任意にぼかすことができる。例えば、ぼかし幅や傾斜の角度を調整できる。

以下の説明では、左右非対称なフィルタ形状を設定できる図２１に示した構成を、マスクぼかし部８０ａに採用することを想定する。ユーザは、画素シフトによるオブジェクト移動により、欠落画素が発生する側のオブジェクトエッジをぼかすように、パラメータを設定する。

ブレンドマスク生成部８０ｂは、図２１に示した構成を用いることができ、ブレンドマスクを生成する。ユーザは、画素シフトによるオブジェクト移動により、画素が重なる側のオブジェクトエッジをぼかすように、パラメータを設定する。

マスクぼかし部８０ａ及びブレンドマスク生成部８０ｂは、図２１に示した構成の回路をそれぞれ別々に備えてもよいし、一つの回路を時分割で使用してもよい。またソフトウェア処理で実現してもよい。

デプスマップ加工部２０は、デプスマップ生成部１０により生成されたデプスマップを、マスクぼかし部８０ａにより生成されたぼかしマスクをもとに加工する。加工処理の具体的処理は上述の通りである。

実施例３では３Ｄ画像生成部３０をより詳細に説明する。３Ｄ画像生成部３０は画素シフト部３１及び画素補間部３３を含む。画素シフト部３１は、デプスマップ加工部２０により加工されたデプスマップをもとに、２Ｄ入力画像の画素をシフトして別視点の画像を生成する。具体的には、２Ｄ入力画像の画素を水平方向にシフトして、当該２Ｄ入力画像と所定の視差を持つ画像を生成する。その際、画素シフト部３１は、ブレンドマスク生成部８０ｂにより生成されたブレンドマスクをもとに、画素シフトにより移動されるオブジェクトの画素と、その画素により覆い隠される画素をアルファブレンドする。即ち、オブジェクトの画素である前景画素と背景画素が重なる領域の画素を、前景画素と背景画素をアルファブレンドして生成する。

このように画素シフト部３１は、デプスマップのレベルに応じて画素を水平シフトする本来の機能に加えて、シフト対象画素と、シフト先の位置に元から存在する画素をブレンドマスクのレベルに応じてブレンドして、新しいシフト画素を生成する機能を有する。

以下、当該画素ブレンド処理をより具体的に説明する。シフト対象画素(前景画素)の画素値をＳｆ、シフト先の位置に元から存在する画素(背景画素)の画素値をＳｂ、シフト対象画素のシフト前の位置のブレンドマスクのレベルをＭ（０．０〜１．０）とすると、アルファブレンドで生成される画素の画素値Ｓａは、下記（式１）で表される。
Ｓａ＝Ｓｆ＊Ｍ＋Ｓｂ＊（１．０−Ｍ） ・・・（式１）

画素補間部３３は、画素シフト部３１による画素シフトにより発生する欠落画素を、その周辺画素を用いて補間する。このように画素シフト及び画素補間により生成された画像と、原画像が組み合わされて３Ｄ画像が生成される。

以上説明したように、原画像から別視点の画像を生成する過程で、画素シフトにより背景画像を前景画像が覆い隠す状態になったとき、オブジェクトのエッジ境界部分がシャープになり、不自然が画像が生成される。これに対して実施例３によれば、背景画素と前景画素を局所的にアルファブレンドしてシフト画像を生成することにより、オブジェクトのエッジ境界部分をソフトにして、自然な３Ｄ画像を生成できる。

画素シフトにより欠落画素が発生する側のオブジェクトのエッジ境界部分には、背景画素が存在しないため、背景画素と前景画素をアルファブレンドする処理はなじまない。欠落側のエッジ境界は、ぼかしマスクを用いてレイヤデプスマップをアルファブレンドすることにより、エッジ境界部分の画素シフト量を調整して、オブジェクトのエッジ部分を引き伸ばす。これにより欠落画素部分を目立ちにくくできる。このように、オブジェクトの両側のエッジ境界部分の加工処理を、それぞれに適した方法で使い分けることにより、自然なエッジ境界部分に加工できる。

次に実施例４について説明する。実施例３では、前景と背景の境界である輪郭をソフトにするための処理を、画素シフトの過程で行った。同様の処理を独立して行う場合に比べて、処理フローを簡略化し、回路規模を削減することができる。実施例４では、実施例３と異なる手法で、実施例３と同様の効果を奏する手法を説明する。

図３５は、本発明の実施例４に係る画像処理装置１００の構成を示す図である。実施例４ではマスク補正部８０は、マスクぼかし部８０ａ及びＬＰＦ用マスク生成部８０ｃを含む。マスクぼかし部８０ａは実施例３と同様である。ＬＰＦ用マスク生成部８０ｃは、図２１に示した構成を用いることができ、ＬＰＦ用マスクを生成する。ユーザは、画素シフトによるオブジェクト移動により、画素が重なる側のオブジェクトエッジをぼかすように、パラメータを設定する。このようにＬＰＦ用マスク生成部８０ｃは、実施例３のブレンドマスク生成部８０ｂと同様に構成できる。

実施例４に係る画像処理装置１００は、実施例３に係る画像処理装置１００と比較し、マスクシフト部２４及び微分部２６が追加される。また３Ｄ画像生成部３０にフィルタ処理部３２が追加される。実施例３のブレンドマスクは、画素シフト部３１による画素シフトの際の前景画素と背景画素のブレンド処理に使用されるが、実施例４のＬＰＦ用マスクは、フィルタ処理部３２によるエッジのシャープネス制御処理に使用される。

マスクシフト部２４は、ＬＰＦ用マスク生成部８０ｃにより生成されたＬＰＦ用マスクを、デプスマップ生成部１０により生成されたデプスマップをもとに画素シフトする。マスクシフト部２４は、画素シフト部３１と同様の回路構成を用いることができる。マスクシフト部２４及び画素シフト部３１は、同じ構成の回路をそれぞれ別々に備えてもよいし、一つの回路を時分割で使用してもよい。またソフトウェア処理で実現してもよい。

微分部２６は、シフトされたＬＰＦ用マスクを微分して、オブジェクトの、ぼかすべきエッジ部分にのみ０以外の値を持つＬＰＦ用マスクを生成する。画素シフト部３１は、デプスマップ加工部２０により加工されたデプスマップをもとに、２Ｄ入力画像の画素をシフトして別視点の画像を生成する。実施例４に係る画素シフト部３１は、デプスマップのレベルに応じて画素を水平シフトする本来の機能のみを有し、実施例３のように画素をアルファブレンド機能は有しない。

フィルタ処理部３２には画素シフト部３１から、画素が重なる側のオブジェクトエッジがシャープな状態のシフト画像が入力される。フィルタ処理部３２は、このシフト画像に対して、微分部２６から入力されるＬＰＦ用マスクを用いて局所的、選択的にローパスフィルタをかける。これにより、シフト画像の当該エッジ部分をぼかして、オブジェクト境界が自然な画像を生成できる。画素補間部３３は、シフト画像内に発生する欠落画素を、その周辺画素を用いて補間する。フィルタ処理部３２によるフィルタ処理と、画素補間部３３による画素補間処理の順番は、逆でもよい。

図３６（ａ）−（ｆ）は、実施例４に係る画像処理装置１００により原画像から別視点の画像が生成されるまでの流れを説明するための図である。図３６（ａ）は原画像を示す。図３６（ｂ）はオリジナルマスクを示す。図３６（ｃ）は、図３６（ａ）の原画像が、デプスマップを用いて画素シフトされた後の画像を示す。図３６（ｄ）は、図３６（ｂ）のオリジナルマスクに、画素が重なる側のエッジに傾斜が付与されたＬＰＦ用マスクを示す。図３６（ｅ）は、図３６（ｄ）のＬＰＦ用マスクが、デプスマップを用いてシフトされた後のＬＰＦ用マスクを示す。図３６（ｆ）は、図３６（ｅ）のＬＰＦ用マスクが微分された後のＬＰＦ用マスクを示す。図３６（ｇ）は、図３６（ｃ）のシフト後の画像に、図３６（ｅ）のＬＰＦ用マスクを用いてローパスフィルタがかけられた後の画像を示す。

なお微分部２６による微分結果が負になる場合は、０と扱う。微分することにより、シフト後のオブジェクト境界に位置する画素に最も強くローパスフィルタがかかることなり、オブジェクトのエッジ境界部分をよりソフトにできる。

以下、フィルタ処理部３２によるオブジェクトエッジのシャープネス制御の具体例を説明する。フィルタ処理部３２は、微分されたＬＰＦ用マスクのレベルが０のときは、シャープネス処理をしない。微分されたＬＰＦ用マスクのレベルが０より大きいときは、そのレベルに応じて強度の異なるローパスフィルタ処理を行う。この「強度の異なるローパスフィルタ処理」とは、ローパスフィルタ処理を行った後の画像のぼかし度合いの強度を意味しており、その強度が制御できる手法であれば、どのような手法を用いてもよい。ここでは以下の２つを例に挙げる。

第１の手法は、ローパスフィルタのタップ数を制御する手法である。画像のぼかし度合いの強度を上げる際には、ローパスフィルタのタップ数を長くする。第２の手法は、ローパスフィルタをかける画像とかけない画像をブレンドする手法である。画像のぼかし度合いの強度を上げる際には、ローパスフィルタをかける画像の比率を高くする。この２つの例以外のどのような手法を用いてもよい。上述の微分部２６による微分処理も一例であり、微分処理以外の加工処理をＬＰＦ用マスクに施してもよい。またシフトされたＬＰＦ用マスクを加工せずに、そのまま使用してもよい。

実施例４では、シャープネスを制御する基準信号としてのＬＰＦ用マスクを用いる際に、生成したＬＰＦ用マスクを、デプスマスクを用いて水平方向にシフトする。以下、ＬＰＦ用マスクのシフトについて、より詳しく説明する。

ＬＰＦ用マスクの基になる信号はＲＯＴＯマスクである。従って、ＬＰＦ用マスク生成部８０ｃで生成されるＬＰＦ用マスクの前景の位置は、原画像の前景オブジェクトの位置、即ち画素シフト前の位置に一致している。しかしながら、フィルタ処理部３２によるローパスフィルタ処理の対象である画像は、画素シフト後のシフト画像であり、前景オブジェクトの位置はデプスマップの示す視差の分だけ水平方向にシフトしている。

仮に、ＬＰＦ用マスク生成部８０ｃで生成されたＬＰＦ用マスクを、そのままフィルタ処理部３２によるローパスフィルタ処理に適用した場合、ＬＰＦ用マスクの前景オブジェクトの位置と、エッジのシャープネス制御の対象である、シフト画像の前景オブジェクトの位置が一致しない。従って、エッジのシャープネス制御を正しい位置で行うことができない。

シフト画像の前景オブジェクトの位置に一致したＬＰＦ用マスクを新たに手動で生成することも考えられるが、ＬＰＦ用マスクを新たに手動で生成するのは、ユーザにとって大きな負担となる。これに対して実施例４では、生成したＬＰＦ用マスクを、マスクシフト部２４で、シフト画像の前景オブジェクトの位置に一致するように水平方向にシフトする。ＬＰＦ用マスクの画素シフトは、既に処理系に存在するＬＰＦ用マスクに対して、これも既に処理系に存在するデプスマップを用いて行う。またシフト処理も、画素シフト部３１で用いられる処理と同様の手法を用いて自動で行われる。上述のようにＬＰＦ用マスクを新たに手動で生成するような、ユーザに対する大きな負担は発生しない。

なおこれまで、実施例３の手法の置き換えとして実施例４の手法を説明したが、実施例３と実施例４の手法を組み合わせて用いてもよい。いずれにせよ、エッジのシャープネス制御を行う上で、その目的のために新たな制御信号を作ることを必要とせず、既にシステムフロー上に存在するＲＯＴＯマスクだけを基に、シャープネス制御を行うことができる。

以上説明したように実施例４によれば、シフト画像のオブジェクトのエッジ境界部分をフィルタリング処理することにより、そのエッジ境界部分をソフトにし、自然な画像を生成できる。またＬＰＦ用マスクも、原画像と同様にデプスマップを用いてシフトされるまで、処理対象の画像とＬＰＦ用マスクのエッジ位置が適合しないことによる、品質低下を回避できる。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。例えば、前景オブジェクトをシフトさせる方向は加工対象の画像が右眼画像であるか左眼画像であるかで適宜設定すればよい。その際、例えば、シフト方向に応じて、オブジェクト画像が背景画像を覆い隠す側のエッジにはアルファブレンドを施し、抜け画素が生じる側にはアルファブレンドを施さないようにしてもよい。

実施例３のブレンドマスクの加工および実施例４のＬＰＦ用マスクの加工にて、ぼかし幅を可変する、ぼかし量を可変する、ぼかす位置を任意に可変する、ぼかす位置を水平だけでなく垂直にも拡張する、ローパスフィルタではなく変換テーブルを用いてぼかす、ぼかしの傾斜を制御する、ブレンドマスクを手動で加工する、あるいは全く加工しない、等のあらゆる手法を用いてもよい。

また、実施例１−４に係る画素シフト部３１による画素シフトにて、上記に述べた手法以外の任意の手法を用いて、前景オブジェクトの位置をシフトさせてもよい。

５００ 画像編集システム、 １００ 画像処理装置、 １０ デプスマップ生成部、 １１ 画面上部高域成分評価部、 １２ 画面下部高域成分評価部、 １３ 合成比率決定部、 １４ 第１基本デプスモデル用フレームメモリ、 １５ 第２基本デプスモデル用フレームメモリ、 １６ 第３基本デプスモデル用フレームメモリ、 １７ 合成部、 １８ 加算部、 ２０ デプスマップ加工部、 ２４ マスクシフト部、 ２６ 微分部、 ３０ ３Ｄ画像生成部、 ３１ 画素シフト部、 ３２ フィルタ処理部、 ３３ 画素補間部、 ４０ 操作受付部、 ５０ 表示制御部、 ２００ コンソール端末装置、 ６０ 操作部、 ７０ 表示部、 ８０ マスク補正部、 ８０ａ マスクぼかし部、 ８０ｂ ブレンドマスク生成部、 ８０ｃ ＬＰＦ用マスク生成部、 ８１ 第１ローパスフィルタ、 ８２ 二値化部、 ８３ 第２ローパスフィルタ、 ８４ クリッピング部、 ８５ フィルタ形状設定部。

Claims (6)

1. 入力画像とデプスモデルをもとに、前記入力画像のデプスマップを生成するデプスマップ生成部と、
   前記入力画像を前記デプスマップをもとに画素シフトして、別視点の画像を生成する画像生成部と、を備え、
   前記画像生成部は、画素シフトにより移動されるオブジェクトの画素と、その画素により覆い隠される画素とをアルファブレンドすることを特徴とする画像処理装置。
2. 前記デプスマップ生成部により生成されたデプスマップを、ぼかしマスクをもとに加工するデプスマップ加工部を、さらに備え、
   前記画像生成部は、前記入力画像を、前記デプスマップ加工部により加工されたデプスマップをもとに画素シフトすることを特徴とする請求項１に記載の画像処理装置。
3. 前記画像生成部は、ブレンドマスクをもとに、画素シフトにより移動されるオブジェクトの画素と、その画素により覆い隠される画素とをアルファブレンドし、
   外部設定されるマスクとパラメータをもとに、前記マスク内のオブジェクトのシフト方向のエッジに傾斜を付加して前記ブレンドマスクを生成し、前記マスク内のオブジェクトのシフト方向と反対方向のエッジに傾斜を付加して前記ぼかしマスクを生成するマスク補正部を、さらに備えることを特徴とする請求項２に記載の画像処理装置。
4. 入力画像とデプスモデルをもとに、前記入力画像のデプスマップを生成するステップと、
   前記入力画像を前記デプスマップをもとに画素シフトして、別視点の画像を生成するステップと、を備え、
   前記別視点の画像を生成するステップは、画素シフトにより移動されるオブジェクトの画素と、その画素により覆い隠される画素をアルファブレンドすることを特徴とする画像処理方法。
5. 入力画像とデプスモデルをもとに、前記入力画像のデプスマップを生成する処理と、
   前記入力画像を前記デプスマップをもとに画素シフトして、別視点の画像を生成する処理と、をコンピュータに実行させ、
   前記別視点の画像を生成する処理は、画素シフトにより移動されるオブジェクトの画素と、その画素により覆い隠される画素をアルファブレンドすることを特徴とする画像処理プログラム。
6. 入力画像とデプスモデルをもとに、前記入力画像のデプスマップを生成するデプスマップ生成部と、
   前記入力画像を前記デプスマップをもとに画素シフトして、別視点の画像を生成する画素シフト部と、
   ローパスフィルタ用マスクを前記デプスマップをもとに画素シフトするマスクシフト部と、
   生成された別視点の画像に、シフトされたローパスフィルタ用マスクを用いてローパスフィルタをかけるフィルタ部と、
   を備えることを特徴とする画像処理装置。