JP2013182601A - 画像処理方法、プログラム及び装置 - Google Patents

Abstract

【課題】合成対象領域の画像の照明条件等の影響で、画像の合成結果が不自然な画像となることを抑制する。
【解決手段】ポアソン方程式を用いた繰り返し演算により、画像中に存在する顔領域(合成対象領域Ｔ)にマスク画像Ｓを合成した結果に相当する合成結果画像Ｆを求めるにあたり、合成対象領域Ｔ内に、合成結果画像Ｆの演算に際して合成対象領域Ｔの画素値を保存する内部領域Ｔbを設定し、合成対象領域Ｔの境界Γと、内部領域Ｔbの境界Γ2及び境界Γ2の内側を含む内部領域Ｔbと、については合成対象領域Ｔの画素値を保存する条件で前記繰り返し演算を行って合成結果画像Ｆを求め、求めた合成結果画像Ｆを合成対象領域Ｔに合成する。
【選択図】図６

Description

開示の技術は画像処理方法、画像処理プログラム及び画像処理装置に関する。

画像に被写体として写っている人物のプライバシーを保護する技術として、前記人物を特定できないように、画像中の前記人物の顔領域にモザイクを掛けたり、前記人物の眼部領域を矩形状にマスクする画像処理が知られている。しかし、上記のような画像処理を行った画像は、一見しただけで加工されていることが明瞭に判別できる画像となり、画像の鑑賞者に不自然な印象を与える。

これを解決するため、マスク画像の勾配情報を用い、画像中の顔領域等の合成対象領域のエッジ(マスク画像との合成境界)を境界条件としてポアソン方程式を解くことで、合成対象領域にマスク画像を合成する技術が提案されている。この技術では、合成対象領域に任意の初期値画像を与え、各画素の差分がマスク画像の勾配情報とエッジの境界条件を満たす値に収束するまで繰り返し演算を行うことで、合成対象領域にマスク画像を合成した結果に相当する合成結果画像が生成される。なお、合成対象領域が顔領域である場合、マスク画像としては、例えば他の人物の顔を表す画像や、複数の人の平均的な顔を表す画像を適用することができる。

特開２００８−２０４４６６号公報

Patrick Perez,MichelGangnet,Andrew Blake,"PoissonImage Editing",Microsoft ReserchUK,2003 P.Viola and M.Jones,"Rapid object detection using a boosted cascade of simple features,"in Proc.IEEEComputer Vision and Pattern Recognition,pp.I_511-I_518,2001

しかしながら、上記の技術は、合成結果画像を生成するための繰り返し演算において、合成対象領域の境界の画素値は合成結果画像上でそのまま保存されるものの、合成対象領域の境界よりも内側の領域の画素値は合成結果画像に反映されない。このため、合成対象領域の画像が、例えば正面以外の方向から照明光が照射された照明条件の顔画像である等の場合に、合成対象領域の画像の照明条件が反映されないことで、合成結果画像が不自然な画像になってしまうという課題があった。

開示の技術は、合成対象領域の画像の照明条件等の影響で、画像の合成結果が不自然な画像となることを抑制することが目的である。

開示の技術は、画像中の合成対象領域に合成結果画像が合成される処理対象画像に対し、合成対象領域内に、合成結果画像の演算に際して合成対象領域の画素値が保存される内部領域を設定する設定ステップを備える。また開示の技術の合成ステップは、合成対象領域の画像及び合成画像に基づき、ポアソン方程式を用いた繰り返し演算により、合成対象領域に合成画像を合成した結果に相当する合成結果画像を求める。上記の繰り返し演算は、合成対象領域の境界及び内部領域の画素の画素値を保存する条件で行われる。そして開示の技術の合成ステップは、求めた合成結果画像を処理対象画像中の合成対象領域の画像と置き換える。

開示の技術は、合成対象領域の画像の照明条件等の影響で、画像の合成結果が不自然な画像となることを抑制できる、という効果を有する。

実施形態に係る画像処理装置の機能ブロック図である。 画像処理装置として機能するコンピュータの概略ブロック図である。 マスク合成処理の一例を示すフローチャートである。 第１実施形態に係る内部領域設定処理の一例を示すフローチャートである。 内部領域設定処理による内部領域の設定の一例を示すイメージ図である。 ポアソン方程式を用い内部領域を設定したマスク画像の合成を説明するための概略図である。 第２実施形態に係る内部領域設定処理の一例を示すフローチャートである。 第２実施形態に係る内部領域設定処理を説明するためのイメージ図である。 (Ａ),(Ｂ)は内部領域無しの場合、(Ｃ),(Ｄ)は内部領域有りの場合の、合成対象領域の一例及び合成結果の一例を各々示すイメージ図である。 図９(Ｃ)に示す内部領域の設定過程の一例を示すイメージ図である。

以下、図面を参照して開示の技術の実施形態の一例を詳細に説明する。

〔第１実施形態〕
図１には、本第１実施形態に係る画像処理装置１０が示されている。画像処理装置１０は、処理対象の画像中に存在する人物の顔領域等の合成対象領域に、予め設定されたマスク画像を合成することで、処理対象の画像中に被写体として写っている人物のプライバシーの保護を図るマスク合成処理を行う装置である。なお、処理対象の画像は、単一の静止画像でもよいし、動画像の各フレームの画像でもよいし、動画像の各フレームの中から選択された画像でもよい。

画像処理装置１０は、処理対象画像取得部１２、マスク画像取得部１４、合成対象領域検出部１６、２個の色要素分離部１８,２０、３個の画像合成部２２〜２６、色要素合成部２８及び画像出力部３０を備えている。また、画像合成部２２〜２６は、互いに同一の構成であり、処理対象画像保持部３２、マスク画像保持部３４、位置・サイズ補正部３６、内部領域設定部３８及びマスク画像合成部４０を各々備えている。

処理対象画像取得部１２は、画像を撮影する機能を備えた撮影装置によって被写体が撮影されることで得られた画像を、撮影装置又は前記画像を記憶する記憶部から処理対象画像として取得する。なお、処理対象画像取得部１２は上記の撮影装置を含んだ構成であってもよい。また、画像処理装置１０自体が上記の撮影装置に内蔵されていてもよい。また、例えば撮影装置が、画像処理装置１０として機能する情報機器と通信ケーブルを介して接続される場合、処理対象画像取得部１２は、前記情報機器に設けられ、通信ケーブルを介して撮影装置から画像データを受信することで取得する通信ユニットでもよい。

マスク画像取得部１４は、処理対象画像中に存在する人物の顔領域等の合成対象領域に合成するためのマスク画像を取得する。前述のように、本実施形態に係るマスク合成処理は、処理対象の画像中に被写体として写っている人物のプライバシーの保護を目的としており、マスク画像は、マスク画像が合成された画像が前記人物の特定が困難な画像となるように予め設定される。例えば合成対象領域が人物の顔領域である場合、マスク画像としては、画像中に被写体として写っている人物以外の他の人の顔を表す画像や、複数の人の平均的な顔を表す画像等が予め設定される。マスク画像取得部１４は、予め設定されて記憶部に記憶されたマスク画像を記憶部から読み出す等の処理を行うことで、マスク画像を取得する。なお、以下では合成対象領域が人物の顔領域である場合を例に説明する。

合成対象領域検出部１６は、処理対象画像取得部１２によって取得された処理対象画像に対し、画像中に存在している合成対象領域を検出し、検出した合成対象領域の画像上の位置及びサイズを画像合成部２２〜２６の位置・サイズ補正部３６へ各々出力する。色要素分離部１８は、処理対象画像取得部１２によって取得された処理対象画像を画素毎に複数の色要素に分離し、色要素分離部２０は、マスク画像取得部１４によって取得されたマスク画像を画素毎に複数の色要素に分離する。複数の色要素としては、任意の色空間を規定する色要素を適用可能であり、例えばＲ,Ｇ,ＢやＹ,Ｕ,Ｖ、Ｌ*,ａ*,ｂ*等のうちの何れかを適用することができる。

画像合成部２２〜２６は互いに異なる色要素に対応しており、互いに異なる色要素の処理対象画像が色要素分離部１８,２０から入力される。画像合成部２２〜２６は、互いに異なる色要素について、入力された処理対象画像中の合成対象領域に入力されたマスク画像を合成する処理を各々行う。

すなわち、処理対象画像保持部３２は、色要素分離部１８から入力された特定の色要素の処理対象画像を保持し、マスク画像保持部３４は、色要素分離部２０から入力された特定の色要素のマスク画像を保持する。また、位置・サイズ補正部３６は、マスク画像保持部３４に保持された特定の色要素のマスク画像の位置及びサイズが、合成対象領域検出部１６によって検出された合成対象領域の位置及びサイズに合致するようにマスク画像を補正する。

内部領域設定部３８は、処理対象画像中の合成対象領域内に、マスク画像合成部４０による合成結果画像の演算に際して合成対象領域の画素値を保存する内部領域を設定する。なお、内部領域設定部３８は開示の技術における設定部の一例であり、内部領域設定部３８によって実現される処理は開示の技術における設定ステップの一例である。

また、マスク画像合成部４０は、ポアソン方程式を用いた繰り返し演算により、合成対象領域にマスク画像を合成した結果に相当する合成結果画像を生成する。なお、上記の繰り返し演算の詳細は後述するが、合成対象領域の境界及び内部領域設定部３８によって設定された内部領域の画素値を保存する条件で行われる。そしてマスク画像合成部４０は、生成した合成結果画像を処理対象画像中の合成対象領域の画像と置き換えることで、処理対象画像中に合成対象領域にマスク画像を合成する。なお、マスク画像合成部４０は開示の技術における合成部の一例であり、マスク画像合成部４０によって実現される処理は開示の技術における合成ステップの一例である。

色要素合成部２８は、マスク画像が合成された互いに異なる色要素の画像が画像合成部２２〜２６から出力される度に、画像合成部２２〜２６から出力された各色要素の画像を単一のカラー画像へ合成して出力する。画像出力部３０は、色要素合成部２８から出力された単一の画像を、マスク画像が合成された画像として出力する。

画像処理装置１０は、例えば図２に示すコンピュータ５０で実現することができる。コンピュータ５０はＣＰＵ５２、メモリ５４、不揮発性の記憶部５６、キーボード５８、マウス６０、ディスプレイ６２を備え、これらはバス６４を介して互いに接続されている。

また、記憶部５６はＨＤＤ(Hard Disk Drive)やフラッシュメモリ等によって実現できる。記録媒体としての記憶部５６には、コンピュータ５０を画像処理装置１０として機能させるためのマスク合成プログラム６６が記憶されている。ＣＰＵ５２は、マスク合成プログラム６６を記憶部５６から読み出してメモリ５４に展開し、マスク合成プログラム６６が有するプロセスを順次実行する。

マスク合成プログラム６６は、処理対象画像取得プロセス６８、マスク画像取得プロセス７０、合成対象領域検出プロセス７２、色要素分離プロセス７４、画像合成プロセス７６、色要素合成プロセス７８及び画像出力プロセス８０を有する。ＣＰＵ５２は、処理対象画像取得プロセス６８を実行することで、図１に示す処理対象画像取得部１２として動作する。またＣＰＵ５２は、マスク画像取得プロセス７０を実行することで、図１に示すマスク画像取得部１４として動作する。またＣＰＵ５２は、合成対象領域検出プロセス７２を実行することで、図１に示す合成対象領域検出部１６として動作する。またＣＰＵ５２は、色要素分離プロセス７４を実行することで、図１に示す色要素分離部１８,２０として動作する。またＣＰＵ５２は、画像合成プロセス７６を実行することで、図１に示す画像合成部２２〜２６として動作する。またＣＰＵ５２は、色要素合成プロセス７８を実行することで、図１に示す色要素合成部２８として動作する。またＣＰＵ５２は、画像出力プロセス８０を実行することで、図１に示す画像出力部３０として動作する。

また、画像合成プロセス７６は、処理対象画像保持プロセス８２、マスク画像保持プロセス８４、位置・サイズ補正プロセス８６、内部領域設定プロセス８８及びマスク画像合成プロセス９０を有する。ＣＰＵ５２は、処理対象画像保持プロセス８２を実行することで、図１に示す処理対象画像保持部３２として動作する。またＣＰＵ５２は、マスク画像保持プロセス８４を実行することで、図１に示すマスク画像保持部３４として動作する。またＣＰＵ５２は、位置・サイズ補正プロセス８６を実行することで、図１に示す位置・サイズ補正部３６として動作する。またＣＰＵ５２は、内部領域設定プロセス８８を実行することで、図１に示す内部領域設定部３８として動作する。またＣＰＵ５２は、マスク画像合成プロセス９０を実行することで、図１に示すマスク画像合成部４０として動作する。

これにより、マスク合成プログラム６６を実行したコンピュータ５０が、画像処理装置１０として機能することになる。なお、マスク合成プログラム６６は開示の技術における画像処理プログラムの一例である。

なお、画像処理装置１０は、例えば半導体集積回路、より詳しくはＡＳＩＣ(Application Specific Integrated Circuit)等で実現することも可能である。

次に本第１実施形態の作用を説明する。例えば、撮影装置によって撮影された画像を配布、或いは放送、或いはネットワーク上で公開する等の理由で、画像中に被写体として写っている人物のプライバシーの保護を図る必要が生じた場合、画像処理装置１０に対してマスク合成処理の実行が指示される。なお、マスク合成処理の実行に際しては、処理対象の画像が指定され、合成対象のマスク画像も指定される。これにより、本第１実施形態に係る画像処理装置１０では、図３に示すマスク合成処理が実行される。

マスク合成処理のステップ１００において、マスク画像取得部１４は、例えば記憶部５６等に予め記憶された複数のマスク画像の中から、合成対象として指定されたマスク画像を取得する。なお、マスク画像を合成する合成対象領域として、画像中に被写体として写っている人物の顔領域全体を適用する場合、マスク画像としては、例えば図６に示すように、人物の顔(他の人の顔や複数の人の平均的な顔等)を表す顔画像が適用される。ステップ１０２において、色要素分離部２０は、マスク画像取得部１４によって取得されたマスク画像を複数の色要素に分離する。なお、色要素分離部２０によって分離された各色要素のマスク画像は、画像合成部２２〜２６のマスク画像保持部３４に各々保持される。

ステップ１０４において、処理対象画像取得部１２は、処理対象として指定された画像を取得する。またステップ１０６において、合成対象領域検出部１６は、処理対象画像取得部１２によって取得された処理対象画像の中から合成対象領域を検出し、処理対象画像における合成対象領域の位置及びサイズを検出する。なお、合成対象領域として顔領域を適用する場合、顔領域の検出には、例えばHaar classifierを用いる手法(非特許文献２参照)等の任意の手法を適用できる。また、合成対象領域は合成対象領域検出部１６によって検出することに限られるものではない。例えば処理対象画像中に被写体として写っている複数の人物のうちの一部の人物に対してのみマスク画像を合成する等の場合、処理対象の人物の合成対象領域が指定されるようにしてもよい。

次のステップ１０８において、色要素分離部１８は、処理対象画像取得部１２によって取得された処理対象画像を複数の色要素に分離する。なお、色要素分離部１８によって分離された各色要素毎の処理対象画像は、画像合成部２２〜２６の処理対象画像保持部３２に各々保持される。

次のステップ１１０において、画像合成部２２〜２６の何れかは、個々の色要素を識別するための変数ｊに１を設定する。またステップ１１２において、画像合成部２２〜２６のうち、色要素ｊに対応する画像合成部の内部領域設定部３８は、色要素ｊの処理対象画像を処理対象画像保持部３２から取り出す。ステップ１１４において、位置・サイズ補正部３６は、色要素ｊのマスク画像をマスク画像保持部３４から取り出す。ステップ１１６において、位置・サイズ補正部３６は、ステップ１１４で取り出した色要素ｊのマスク画像の位置及びサイズを、合成対象領域検出部１６によって検出された合成対象領域の位置・サイズに一致するように補正する。

次のステップ１１８において、内部領域設定部３８は、マスク画像合成部４０による合成結果画像の演算に際して合成対象領域の画素値を保存する内部領域を、処理対象画像中の合成対象領域内に設定する内部領域設定処理を行う。以下、この内部領域設定処理について、図４を参照して説明する。

内部領域設定処理のステップ１５０において、内部領域設定部３８は、合成対象領域の画像Ｔのラプラス変換画像Ｌtを演算する。合成対象領域の画像Ｔのラプラシアンフィルタ適用値Ｌtは次の(１)式で表される。
Ｌt(ｘ,ｙ)＝Ｔ(ｘ-1,ｙ)＋Ｔ(ｘ+1,ｙ)＋Ｔ(ｘ,ｙ-1)＋Ｔ(ｘ,ｙ+1)＋４Ｔ(ｘ,ｙ)
…(１)
上記(１)式の演算を合成対象領域の画像Ｔの全画素について各々行うことで、合成対象領域の画像Ｔのラプラス変換画像Ｌtが得られる。

また、ステップ１５２において、内部領域設定部３８は、マスク画像Ｓのラプラス変換画像Ｌsを演算する。マスク画像Ｓのラプラシアンフィルタ適用値Ｌsは次の(２)式で表される。
Ｌs(ｘ,ｙ)＝Ｓ(ｘ-1,ｙ)＋Ｓ(ｘ+1,ｙ)＋Ｓ(ｘ,ｙ-1)＋Ｓ(ｘ,ｙ+1)＋４Ｓ(ｘ,ｙ)
…(２)
上記(２)式の演算をマスク画像Ｓの全画素について各々行うことで、マスク画像Ｓのラプラス変換画像Ｌsが得られる。

ステップ１５４において、内部領域設定部３８は、合成対象領域の画像Ｔの全画素の画素値(但し二値)を登録可能なテーブルＭ1を確保する。またステップ１５６において、内部領域設定部３８は、合成対象領域の画像Ｔから処理対象の画素(ｘ,ｙ)を選択する。またステップ１５８において、内部領域設定部３８は、ラプラス変換画像Ｌsにおける処理対象画素の値Ｌs(ｘ,ｙ)が予め設定された閾値Thc未満で、かつラプラス変換画像Ｌtにおける処理対象画素の値Ｌt(ｘ,ｙ)が閾値Thc未満か否か判定する。

ステップ１５８の判定が肯定された場合はステップ１６０へ移行し、ステップ１６０において、内部領域設定部３８は、処理対象の画素(ｘ,ｙ)の値として内部領域候補を意味する値(例えば"1")を、先のステップ１５４で確保したテーブルＭ1に登録する。なお、ステップ１５８の判定が肯定される画素は、開示の技術における「合成対象領域の画像及び合成画像における画素値の変化が各々閾値未満」の画素の一例である。また、ステップ１５８の判定が否定された場合はステップ１６２へ移行し、ステップ１６２において、内部領域設定部３８は、処理対象の画素(x,y)の値として除外領域候補を意味する値(例えば"0")をテーブルＭ1に登録する。

次のステップ１６４において、内部領域設定部３８は、先のステップ１５６で合成対象領域の画像Ｔの全画素を処理対象として選択したか否か判定する。ステップ１６４の判定が否定された場合はステップ１５６へ戻り、ステップ１６４の判定が肯定される迄、ステップ１５６〜ステップ１６４を繰り返す。これにより、合成対象領域の画像Ｔの全画素が処理対象として各々選択され、一例として図５(Ａ)に示すように、合成対象領域の画像Ｔの各画素は、内部領域候補(図５に黒色で示す領域)又は除外領域候補(図５に白色で示す領域)に分けられる。

ステップ１６４の判定が肯定されるとステップ１６６へ移行し、ステップ１６６において、内部領域設定部３８は、合成対象領域の画像Ｔから、人物の顔領域のパーツ(例えば目や鼻等)に相当するパーツ領域を抽出するパーツ抽出処理を行う。このパーツ領域の抽出は、例えば合成対象領域の画像Ｔに対してエッジ抽出を行い、抽出されたエッジに対して目や鼻等に相当するパターンをパターンマッチングによって抽出する等の処理を行うことで実現できる。これにより、一例として図５(Ｂ)に示すように、合成対象領域の画像Ｔ内から複数のパーツ領域が抽出される。

次のステップ１６８において、内部領域設定部３８は、ステップ１６６のパーツ抽出処理で抽出されたパーツ領域の中から、未取り出しのパーツ領域を処理対象として取り出し、取り出した処理対象のパーツ領域の中心座標Ｐ(ｘ,ｙ)を取得する。次のステップ１７０において、内部領域設定部３８は、座標(ｘ−Ｎ,ｙ−Ｎ)を左上隅、座標(ｘ＋Ｎ,ｙ＋Ｎ)を右上隅とする矩形領域を設定し、設定した矩形領域内の全画素の値をテーブルＭ1上で除外領域候補を意味する値に書き替える。

次のステップ１７２において、内部領域設定部３８は、ステップ１６６のパーツ抽出処理で抽出された全てのパーツ領域を取り出したか否か判定する。ステップ１７２の判定が否定された場合はステップ１６８に戻り、ステップ１７２の判定が肯定される迄、ステップ１６８〜ステップ１７２を繰り返す。これにより、例として図５(Ｃ)に示すように、ステップ１６６のパーツ抽出処理で抽出された個々のパーツ領域及びその周囲を含む矩形領域内の各画素が除外領域候補(図５に白色で示す領域)に設定される。なお、ステップ１６８〜ステップ１７２で除外領域候補に設定されない画素は、開示の技術における「特徴領域から所定距離以上離れている」画素の一例である。

ステップ１７２の判定が肯定されるとステップ１７４へ移行し、ステップ１７４において、内部領域設定部３８は、合成対象領域の画像Ｔの全画素の中から処理対象の画素(ｘ,ｙ)を選択し、選択した処理対象の画素(ｘ,ｙ)の値をテーブルＭ1から読み出す。次のステップ１７６において、内部領域設定部３８は、ステップ１７４でテーブルＭ1から読み出した処理対象の画素(ｘ,ｙ)の値に基づき、処理対象の画素(ｘ,ｙ)が除外領域候補の画素か否か判定する。ステップ１７６の判定が否定された場合はステップ１８０へ移行する。また、ステップ１７６の判定が肯定された場合はステップ１７８へ移行し、ステップ１７８において、内部領域設定部３８は、処理対象の画素(ｘ,ｙ)及びその近傍の範囲内の全画素の値をテーブルＭ1上で除外領域候補を意味する値に書き替える。

次のステップ１８０において、内部領域設定部３８は、合成対象領域の画像Ｔの全画素を処理対象の画素(ｘ,ｙ)として選択したか否か判定する。ステップ１８０の判定が否定された場合はステップ１７４に戻り、ステップ１８０の判定が肯定される迄、ステップ１７４〜ステップ１８０を繰り返す。これにより、例として図５(Ｄ)を図５(Ｃ)と比較しても明らかなように、内部領域候補の画素が集合した微小面積の領域は除外領域候補の画素に書き替わり、内部領域候補の画素から成り比較的面積の大きな領域のみが内部領域候補として残ることになる。なお、ステップ１７４〜ステップ１８０で除外領域候補に設定されない画素は、開示の技術における「合成対象領域の画像及び合成画像の少なくとも一方における画素値の変化が閾値以上の画素から所定距離以上離れている」画素の一例である。

ステップ１８０の判定が肯定されるとステップ１８２へ移行し、ステップ１８２において、内部領域設定部３８は、テーブルＭ1上で内部領域候補となっている画素の領域を内部領域Ｔbに設定する。また、内部領域設定部３８は、設定した内部領域Ｔbの外縁をなす１画素幅の画素列を内部領域Ｔbの境界Γ2として抽出し、内部領域設定処理を終了する。

内部領域設定処理が終了すると、図３に示すマスク合成処理のステップ１２０へ移行する。ステップ１２０において、マスク画像合成部４０は、位置・サイズ補正部３６によって位置及びサイズが補正された色要素ｊのマスク画像を、色要素ｊの処理対象画像への色要素ｊのマスク画像の合成に用いる初期値画像Ｉとして設定する。また、マスク画像合成部４０は、初期値画像Ｉの外縁をなす１画素幅の画素列には、合成対象領域の画像Ｔの外縁をなす１画素幅の画素列(境界Γ)の画素値をそのまま設定する。更に、マスク画像合成部４０は、初期値画像Ｉのうち、内部領域設定部３８によって設定された内部領域Ｔbに対応する領域には、境界Γ2を含め、合成対象領域の画像Ｔにおける内部領域Ｔbの画素値をそのまま設定する。

次のステップ１２２において、マスク画像合成部４０は、色要素ｊの処理対象画像に色要素ｊのマスク画像を合成するマスク画像合成処理を行う。マスク画像合成部４０によるマスク画像合成処理は、マスク画像の勾配情報を用い、合成対象領域のエッジ(マスク画像との合成境界Γ)及び内部領域Ｔbのエッジ(Γ2)を境界条件としてポアソン方程式を解き、合成結果画像を求める処理である。具体的には、例えば以下の演算処理によって実現される(図６も参照)。

すなわち、マスク画像をＳ(幅Ｗ,高さＨ)、合成対象領域の画像をＴ(幅Ｗ,高さＨ)、初期値画像をＩ(幅Ｗ,高さＨ)、合成結果画像をＦとしたときに、マスク画像Ｓのラプラシアンフィルタ適用値Ｌsは先の(２)式で表される。但し、画像の外縁(境界Γ)は算出先とならないので、マスク画像Ｓの幅をＷ、高さをＨとすると、先の(２)式におけるラプラシアンフィルタ適用値Ｌsの演算範囲は、
０＜ｘ＜Ｗ-1、０＜ｙ＜Ｈ-1
である。また、合成結果画像Ｆのうち、画像の外縁(境界Γ)と、内部領域Ｔbの外縁(境界Γ2)及びその内側を含む内部領域Ｔbについては、合成対象領域の画像Ｔの画素値をそのまま用いる(次の(３)式参照)。
Ｆ(ｘ,ｙ)＝Ｔ(ｘ,ｙ) …(３)
(但し、ｘ＝０、又はｙ＝０、又はｘ＝Ｗ、又はｙ＝Ｈ、又はｘ,ｙが内部領域Ｔbに相当する値のとき)

また、合成結果画像Ｆのラプラシアンフィルタ適用値Ｌfをマスク画像Ｓのラプラシアンフィルタ適用値Ｌsと一致させる(次の(４)式参照)。
Ｌf(ｘ,ｙ)＝Ｌs(ｘ,ｙ) …(４)
上記(３),(４)式の方程式を解くことで、合成対象領域Ｔの全領域で合成結果画像Ｆ(ｘ,ｙ)の値を得ることができる。

上記の方程式は、以下のようにして解くことができる。すなわち、合成結果画像Ｆのラプラシアンフィルタ適用値Ｌfは次の(５)式で表される。
Ｌf(ｘ,ｙ)＝Ｆ(ｘ-1,ｙ)＋Ｆ(ｘ+1,ｙ)＋Ｆ(ｘ,ｙ-1)＋Ｆ(ｘ,ｙ+1)＋４Ｆ(ｘ,ｙ)
…(５)
また、前出の(４)式より次の(６)式が得られる。
Ｆ(ｘ,ｙ)＝{Ｆ(ｘ-1,ｙ)＋Ｆ(ｘ+1,ｙ)＋Ｆ(ｘ,ｙ-1)＋Ｆ(ｘ,ｙ+1)−Ｌs(ｘ,ｙ)}/４
…(６)

合成結果画像Ｆを数値的に解く場合は、(６)式を次の(７)式の漸化式へ変形し、合成結果画像Ｆに初期値を与えた後、合成結果画像Ｆの値が収束する迄繰り返し演算を行う(ガウスザイデル法)。
Ｆi+1(ｘ,ｙ)＝{Ｆi(ｘ-1,ｙ)＋Ｆi(ｘ+1,ｙ)＋Ｆi(ｘ,ｙ-1)＋Ｆi(ｘ,ｙ+1)
−Ｌs(ｘ,ｙ)}/４ …(７)
但し、ｉは各回の演算を識別するための変数である。

先のステップ１２０で説明したように、初期値は以下の(８)式で表される。
Ｆ0(ｘ,ｙ)＝Ｉ(ｘ,ｙ)＝Ｔ(ｘ,ｙ) (ｘ＝０、又はｙ＝０、又はｘ＝Ｗ、又はｙ＝Ｈ、又はｘ,ｙが内部領域Ｔbに相当する値のとき)
Ｆ0(ｘ,ｙ)＝Ｉ(ｘ,ｙ)＝Ｓ (ｘ,ｙ) (ｘ,ｙが上記以外の値のとき) …(８)

また、内部領域Ｔbの境界Γ2及びその内側の領域の各画素の座標値を、メモリ５４に保持したテーブルＭ2に登録しておき、座標値がテーブルＭ2に登録されている画素は、(７)式の演算の対象外とする。また、収束条件は以下の何れかである。
(収束条件Ａ) |Ｆi+1−Ｆi|が閾値以下
(収束条件Ｂ) 合成結果画像Ｆのラプラシアンフィルタ適用値Ｌfを演算し、|Ｌf−Ｌs|が閾値以下
これにより、合成対象領域の画像Ｔにマスク画像Ｓを合成した結果に相当する合成結果画像Ｆが生成される。また、生成された合成結果画像Ｆのうち、境界Γと、境界Γ2及びその内側を含む内部領域Ｔbについては、合成対象領域の画像Ｔの画素値が保存される。

また、(７)式に代えて以下の(９)式によって合成結果画像Ｆを求めることも可能である(ＳＯＲ法)。
Ｆi+1(ｘ,ｙ)＝(1−ω)Ｆi(ｘ,ｙ)＋ω{Ｆi(ｘ-1,ｙ)＋Ｆi(ｘ+1,ｙ)＋Ｆi(ｘ,ｙ-1)
＋Ｆi(ｘ,ｙ+1)−Ｌs(ｘ,ｙ)}/４ …(９)
この場合も、内部領域Ｔbの境界Γ2及びその内側の領域の各画素の座標値を、メモリ５４に保持したテーブルＭ2に登録しておき、座標値がテーブルＭ2に登録されている画素は、(９)式の演算の対象外とする。(９)式におけるωは加速係数であり、(９)式はω＝１〜２で収束する。なお、前出の(７)式は(９)式におけるω＝１の場合とみなすことも可能である。ω＝1.95程度の値を用いることで良好な収束性が得られる。

上記のようにして色要素ｊの合成結果画像Ｆを生成すると、マスク画像合成部４０は、色要素ｊの処理対象画像のうちの合成対象領域に、生成した色要素ｊの合成結果画像Ｆを合成する。これにより、色要素ｊの画像として、合成したマスク画像(合成結果画像Ｆ)との合成境界が目立ちにくい自然な画像が得られる。また、内部領域設定部３８によって設定された内部領域Ｔbについても、合成対象領域の画像Ｔの画素値が合成結果画像Ｆ上で保存されている。このため、合成対象領域の当初の画像Ｔが正面以外の方向から照明光が照射された顔画像であった場合にも、この照明条件が反映された合成結果画像Ｆが得られ、合成結果画像Ｆを合成した結果が不自然な画像になってしまうことが抑制される。

次のステップ１２６において、画像合成部２２〜２６の何れかは、処理対象画像の全ての色要素についてマスク画像の合成が行われたか否か判定する。ステップ１２６の判定が否定された場合はステップ１２８へ移行し、ステップ１２８において、画像合成部２２〜２６の何れかは変数ｊの値を１だけインクリメントする。ステップ１２８の処理を行った後はステップ１１２に戻り、ステップ１２６の判定が肯定される迄、ステップ１１２〜ステップ１２８を繰り返す。これにより、処理対象画像の全ての色要素についてマスク画像の合成が行われる。

また、ステップ１２６の判定が肯定されるとステップ１３０へ移行する。ステップ１３０において、色要素合成部２８は、処理対象画像の全ての色要素の画像(合成結果画像Ｆを貼り付けた画像)を単一の画像として合成する。また、画像出力部３０は、色要素合成部２８によって生成された画像を出力する。

画像出力部３０から出力される画像は、画像中に被写体として写っている人物の顔領域等の合成対象領域にマスク画像が合成された領域であるので、当該画像を視認しても前記人物の特定は困難であり、前記人物のプライバシーの保護が実現される。

〔第２実施形態〕
次に開示の技術の第２実施形態について説明する。なお、本第２実施形態は第１実施形態と同一の構成であるので、各部分に同一の符号を付して構成の説明を省略し、以下、本第２実施形態の作用について、第１実施形態と異なる部分についてのみ説明する。

本第２実施形態において、内部領域設定部３８は図７に示す内部領域設定処理を行う。第２実施形態に係る内部領域設定処理のうち、ステップ１５０〜ステップ１８０については、第１実施形態で説明した内部領域設定処理と同じであるので、説明を省略する。

本第２実施形態に係る内部領域設定処理において、内部領域設定部３８は、ステップ１８０の判定が肯定されることで内部領域の設定が一旦完了すると、ステップ１８４へ移行し、合成対象領域を複数の領域に分割する。図８(Ａ)には、合成対象領域の複数の領域への分割の一例として、合成対象領域をエリア１〜４の４個の領域に四等分した例を示す。合成対象領域の分割数は４に限られるものではなく、３以下でも５以上でもよいが、分割した個々の領域の面積の差がなるべく小さくなるように分割することが望ましい。

次のステップ１８６において、内部領域設定部３８は、テーブルＭ1上で内部領域候補となっている画素の数を、ステップ１８４で合成対象領域を分割することによって得られた個々の分割領域毎に各々計数する。一例として、内部領域候補が合成対象領域の画像Ｔ内に図８(Ｂ)に示すように分布している場合、テーブルＭ1上で内部領域候補となっている画素の数の個々の分割領域毎の計数結果として、図８(Ｃ)に示す計数結果が得られることになる。

次のステップ１８８において、内部領域設定部３８は、複数の分割領域の中に、テーブルＭ1上で内部領域候補となっている画素の数が閾値Ｎγ未満となっている分割領域が存在しているか否か判定する。ステップ１８８の判定が否定された場合はステップ１８２へ移行する。一方、ステップ１８８の判定が肯定された場合はステップ１９０へ移行し、先に説明したステップ１５８の判定に用いている閾値Thcを一定量増加させてステップ１５６へ戻し、ステップ１８８の判定が肯定される迄、ステップ１５６〜ステップ１９０を繰り返す。

先に説明したステップ１５８〜ステップ１６２では、ラプラス変換画像Ｌs,Ｌtにおける処理対象画素の値が各々閾値Thc未満の場合に処理対象画素を内部領域候補とし、それ以外の場合に処理対象画素を除外領域候補としている。このため、上記のように閾値Thcを一定量増加させることで、ステップ１８０の判定が肯定されて内部領域の設定が一旦完了した時点で、テーブルＭ1上で内部領域候補となっている画素の数が増加する。これに伴い、個々の分割領域における内部領域候補の画素の数も増加するので、内部領域候補の画素の数が閾値Ｎγ未満の分割領域が無くなることでステップ１８８の判定が肯定されることになる。

このように、本第２実施形態に係る内部領域設定処理では、合成対象領域を複数の領域に分割し、個々の分割領域における内部領域候補の画素の数が閾値Ｎγ以上となるように、閾値Thcを調整して内部領域Ｔbを設定している。これにより、当初の閾値Thcに基づいて設定した内部領域候補の合成対象領域内における分布が偏っていたとしても、この偏りが軽減されるように閾値Thcが調整されて内部領域Ｔbが設定される。従って、マスク画像合成部４０による合成結果画像Ｆの生成において、合成対象領域の当初の画像Ｔが正面以外の方向から照明光が照射された顔画像であったとしても、この照明条件がより精度良く反映された合成結果画像Ｆが得られる。

続いて、開示の技術の効果について、実例を挙げて更に説明する。図９(Ａ)に示す白色の領域は、処理対象画像から検出した合成対象領域を表している。図９(Ａ)に示す合成対象領域は全面が一様に白色であり、合成対象領域に対して内部領域Ｔbを設定しない例を示している。合成対象領域に対して内部領域Ｔbを設定することなく、合成結果画像Ｆの生成及び合成対象領域への合成を行った結果を図９(Ｂ)に示す。

図９(Ｂ)に示す画像のうち、人物の頭部のうちの頭髪部や背景の明度に注目すれば明らかなように、処理対象画像は、被写体として写っている人物に対して左後方から照明されている照明条件の画像である。これに対し、図９(Ｂ)において、合成対象領域に合成された合成結果画像Ｆは、特に頬周辺の明度が不自然に高く、合成対象領域の当初の画像の照明条件が反映されていないことが明らかである。

一方、図９(Ａ),(Ｂ)と同一の処理対象画像及び同一のマスク画像を用いる条件で開示の技術を適用した場合、図９(Ｃ)に示すように、合成対象領域内に複数の内部領域Ｔbが設定される。なお、図９(Ｃ)において、内部領域Ｔbは、合成対象領域内に黒色で示す領域である。図９(Ｃ)に示す内部領域Ｔbの設定過程を図１０に示す。

図１０(Ａ)は、合成対象領域の画像Ｔの各画素のうち、ラプラス変換画像Ｌs,Ｌtにおける値が各々閾値Thc未満の画素を内部領域候補に設定した結果を示す。なお、図１０では内部領域候補に設定した画素を黒色で示している。図１０(Ａ)に示す結果に対し、パーツ抽出処理で抽出された個々のパーツ領域及びその周囲を含む矩形領域内の各画素を除外領域候補に設定した結果を図１０(Ｂ)に示す。そして、図１０(Ｂ)に示す結果に対し、除外領域候補の画素及びその近傍の範囲内の画素を除外領域候補に設定した結果を図１０(Ｃ)に示す。これにより、図９(Ｃ)に示す内部領域Ｔbが合成対象領域内に設定される。

また、図９(Ｃ)に示す内部領域Ｔbを(７)式又は(９)式の演算対象から除外して合成結果画像Ｆの生成及び合成対象領域への合成を行った結果を図９(Ｄ)に示す。図９(Ｄ)において、合成対象領域に合成された合成結果画像Ｆは、図９(Ｂ)に示した結果と比較しても明らかなように、特に頬周辺の明度が低下しており、合成対象領域の当初の画像の照明条件が反映された自然な画像となっている。このように、開示の技術を適用することで、合成対象領域の画像Ｔが、正面以外の方向から照明光が照射された照明条件であったとしても、この影響により画像の合成結果が不自然な画像となることを抑制することができる。

なお、前出の(１),(２),(５),(６),(７),(９)式では、演算対象の画素に対して上下左右に位置する４画素の値を用いてラプラシアンフィルタ適用値を演算しているが、より多数の画素(例えば周囲８画素)の値を用いて演算してもよい。また、ラプラシアンフィルタに代えて、２階微分に相当する値が得られる他のフィルタを適用してもよい。

また、上記では、合成対象領域の画像及び合成画像における画素値の変化が各々閾値未満の画素として、ラプラス変換画像Ｌsにおける値Ｌs(ｘ,ｙ)が閾値Thc未満で、かつラプラス変換画像Ｌtにおける値Ｌt(ｘ,ｙ)が閾値Thc未満の画素を適用していた。しかし、これに限定されるものではなく、ラプラス変換画像に代えて、２階微分に相当する値が得られるラプラシアンフィルタ以外の他のフィルタを適用した画像を用いてもよいし、１階微分に相当する値が得られるフィルタを適用した画像を用いてもよい。

また、第２実施形態では、閾値Thcの初期値として低めの値を設定しておくことを前提に、全ての分割領域における内部領域候補の画素の数が閾値Ｎγ以上となる迄、閾値Thcを増加させる態様を説明したが、これに限定されるものではない。例えば閾値Thcの初期値として高めの値を設定しておき、全ての分割領域における内部領域候補の画素の数が上限値以下になる迄、閾値Thcを減少させるようにしてもよい。また、分割領域毎の内部領域候補の画素の数に下限値(第２実施形態で説明した閾値Ｎγ)と上限値を各々設定し、全ての分割領域の内部領域候補の画素の数が上限値と下限値の間の範囲内に入るように閾値Thcを調整してもよい。また、閾値Thcを調整しても、何れかの分割領域の内部領域候補の画素の数が上限値と下限値の間の範囲から外れる場合には、内部領域候補の画素の数が上限値と下限値の間の範囲から外れる分割領域の数が最小となるように閾値Thcを調整してもよい。

更に、上記では、所定の特徴を有する特徴領域として、人物の顔領域のパーツ(例えば目や鼻等)に相当するパーツ領域を合成対象領域の画像から抽出する態様を説明したが、これに限定されるものではない。例えば、所定の特徴を有する特徴領域として、画像のエッジが存在する領域や、画像の空間周波数が比較的高い領域などを適用してもよい。

また、上記では、図４又は図７に示した内部領域設定処理を各色要素毎に行う態様を説明したが、これに限定されるものではなく、各色要素毎に分離する前の画像を用いて、各色要素毎の処理に共通に用いる内部領域を設定するようにしてもよい。

また、上記では合成対象領域として人物の顔に相当する顔領域を適用した態様を説明したが、これに限定されるものではなく、顔領域以外の他の領域を適用してもよい。例えばプライバシーの保護が目的であれば、合成対象領域として顔領域のうちの眼部領域を適用し、当該合成領域に異なる人物の眼部を表すマスク画像を合成することも、個人の特定を阻止することに有効であるので好ましい。合成対象領域として眼部領域を適用した場合、マスク画像としては、動画像中に被写体として写っている人物以外の他の人の眼部領域を表す画像や、複数の人の平均的な眼部領域を表す画像等が設定される。

また、上記では開示の技術を、画像中に存在する人物に対応する合成対象領域に、プライバシーの保護を図る目的で設定したマスク画像を合成する態様を説明したが、これに限られるものではない。開示の技術は、マスク画像以外の一般的な画像の合成に適用することも可能であり、合成対象領域は画像中に存在する人物に対応する領域に限られるものではなく、合成画像もプライバシーの保護を図る目的で設定したマスク画像に限られない。また、処理対象画像及び合成画像は静止画像に限られるものではなく、処理対象画像及び合成画像の少なくとも一方に動画像を適用することも可能である。

また、上記では処理対象画像としてカラー画像を適用した態様を説明したが、これに限定られるものではなく、処理対象画像としてモノクロの画像を適用してもよい。

また、上記では開示の技術に係る画像処理プログラムの一例であるマスク合成プログラムが記憶部５６に予め記憶（インストール）されている態様を説明したが、これに限定されるものではない。開示の技術に係る画像処理プログラムは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の記録媒体に記録されている形態で提供することも可能である。

本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

以上の実施形態に関し、更に以下の付記を開示する。

（付記１）
前記設定部は、合成対象領域の画像及び合成画像における画素値の変化が各々閾値未満で、かつ前記合成対象領域の画像及び合成画像の少なくとも一方における画素値の変化が閾値以上の画素から所定距離以上離れている領域を前記内部領域として設定する請求項１０記載の画像処理装置。

（付記２）
前記設定部は、合成対象領域の画像から所定の特徴を有する特徴領域を抽出し、抽出した前記特徴領域から所定距離以上離れている領域を前記内部領域として設定する請求項１０又は付記１記載の画像処理装置。

（付記３）
前記合成対象領域は人物の顔又は顔の一部分に対応する領域であり、前記特徴領域は人物の顔の何れかのパーツに対応する領域である付記２記載の画像処理装置。

（付記４）
前記設定部は、前記合成対象領域を複数の領域に分割したときに、分割した個々の領域における前記内部領域に属する画素数が各々予め設定した範囲内となるように、前記内部領域を設定する請求項１０、付記１〜付記３の何れか１項記載の画像処理装置。

（付記５）
前記合成部は、前記内部領域の各画素をテーブルに登録しておき、前記繰り返し演算において、前記合成対象領域の境界に相当する画素及び前記テーブルに登録されている画素を演算対象から除外することで、前記合成対象領域の境界及び前記内部領域の画素値を保存する請求項１０、付記１〜付記４の何れか１項記載の画像処理装置。

（付記６）
前記処理対象画像は、複数の色要素の画像を含むカラー画像であり、
前記合成部は、前記合成結果画像を各色要素毎に各々求め、前記合成結果画像を前記処理対象画像中の前記合成対象領域の画像と置き換えることを各色要素毎に各々行う請求項１０、付記１〜付記５の何れか１項記載の画像処理装置。

（付記７）
前記合成対象領域は人物の顔又は顔の一部分に対応する領域である請求項１０、付記１〜付記６の何れか１項記載の画像処理装置。

１０ 画像処理装置
１２ 処理対象画像取得部
１４ マスク画像取得部
１６ 合成対象領域検出部
１８,２０ 色要素分離部
２０ 色要素分離部
２２ 画像合成部
２８ 色要素合成部
３０ 画像出力部
３２ 処理対象画像保持部
３４ マスク画像保持部
３６ 位置・サイズ補正部
３８ 内部領域設定部
４０ マスク画像合成部
５０ コンピュータ
５２ ＣＰＵ
５４ メモリ
５６ 記憶部
６６ マスク合成プログラム

Claims (10)

1. 画像中の合成対象領域に合成結果画像が合成される処理対象画像に対し、前記合成対象領域内に、前記合成結果画像の演算に際して前記合成対象領域の画素値が保存される内部領域を設定する設定ステップと、
   前記合成対象領域の画像及び合成画像に基づき、前記合成対象領域の境界及び前記設定ステップで設定した前記内部領域の画素の画素値を保存する条件で、ポアソン方程式を用いた繰り返し演算により、前記合成対象領域に前記合成画像を合成した結果に相当する前記合成結果画像を求め、求めた前記合成結果画像を前記処理対象画像中の前記合成対象領域の画像と置き換える合成ステップと、
   を含む画像処理方法。
2. 前記設定ステップは、合成対象領域の画像及び合成画像における画素値の変化が各々閾値未満で、かつ前記合成対象領域の画像及び合成画像の少なくとも一方における画素値の変化が閾値以上の画素から所定距離以上離れている領域を前記内部領域として設定する請求項１記載の画像処理方法。
3. 前記設定ステップは、合成対象領域の画像から所定の特徴を有する特徴領域を抽出し、抽出した前記特徴領域から所定距離以上離れている領域を前記内部領域として設定する請求項１又は請求項２記載の画像処理方法。
4. 前記合成対象領域は人物の顔又は顔の一部分に対応する領域であり、前記特徴領域は人物の顔の何れかのパーツに対応する領域である請求項３記載の画像処理方法。
5. 前記設定ステップは、前記合成対象領域を複数の領域に分割したときに、分割した個々の領域における前記内部領域に属する画素数が各々予め設定した範囲内となるように、前記内部領域を設定する請求項１〜請求項４の何れか１項記載の画像処理方法。
6. 前記合成ステップは、前記内部領域の各画素をテーブルに登録しておき、前記繰り返し演算において、前記合成対象領域の境界に相当する画素及び前記テーブルに登録されている画素を演算対象から除外することで、前記合成対象領域の境界及び前記内部領域の画素の画素値を保存する請求項１〜請求項５の何れか１項記載の画像処理方法。
7. 前記処理対象画像は、複数の色要素の画像を含むカラー画像であり、
   前記合成ステップは、前記合成結果画像を各色要素毎に各々求め、前記合成結果画像を前記処理対象画像中の前記合成対象領域の画像と置き換えることを各色要素毎に各々行う請求項１〜請求項６の何れか１項記載の画像処理方法。
8. 前記合成対象領域は人物の顔又は顔の一部分に対応する領域である請求項１〜請求項７の何れか１項記載の画像処理方法。
9. コンピュータに、
   画像中の合成対象領域に合成結果画像が合成される処理対象画像に対し、前記合成対象領域内に、前記合成結果画像の演算に際して前記合成対象領域の画素値が保存される内部領域を設定する設定ステップと、
   前記合成対象領域の画像及び合成画像に基づき、前記合成対象領域の境界及び前記設定ステップで設定した前記内部領域の画素の画素値を保存する条件で、ポアソン方程式を用いた繰り返し演算により、前記合成対象領域に前記合成画像を合成した結果に相当する前記合成結果画像を求め、求めた前記合成結果画像を前記処理対象画像中の前記合成対象領域の画像と置き換える合成ステップと、
   を含む処理を実行させるための画像処理プログラム。
10. 画像中の合成対象領域に合成結果画像が合成される処理対象画像に対し、前記合成対象領域内に、前記合成結果画像の演算に際して前記合成対象領域の画素値が保存される内部領域を設定する設定部と、
    前記合成対象領域の画像及び合成画像に基づき、前記合成対象領域の境界及び前記設定部によって設定された前記内部領域の画素の画素値を保存する条件で、ポアソン方程式を用いた繰り返し演算により、前記合成対象領域に前記合成画像を合成した結果に相当する前記合成結果画像を求め、求めた前記合成結果画像を前記処理対象画像中の前記合成対象領域の画像と置き換える合成部と、
    を含む画像処理装置。