JP2013206015A - 画像処理装置および方法、並びにプログラム - Google Patents

Abstract

【課題】より簡単に画像を合成することができるようにする。
【解決手段】つなぎ目候補領域決定部は、異なる人が含まれる２枚の撮影画像から、それぞれ人の領域を検出し、撮影画像から人の領域を除外したつなぎ目候補領域を決定する。つなぎ目候補領域は、各撮影画像を重ね合わせたときに、どの撮影画像でも人の領域となっていない領域とされる。つなぎ目決定部は、つなぎ目候補領域の上辺と下辺を通り、つなぎ目候補領域を分断するつなぎ目を決定する。合成部は、つなぎ目の位置で、２枚の撮影画像を合成することで、各人が含まれる出力画像を生成する。本技術は、画像処理装置に適用することができる。
【選択図】図１

Description

本技術は画像処理装置および方法、並びにプログラムに関し、特に、より簡単に画像合成を行なうことができるようにした画像処理装置および方法、並びにプログラムに関する。

例えば、ユーザが他のユーザと２人で旅行に行った際に、記念撮影をすることがある。このような場合に、２人のユーザが写っている画像を得るための手法として、画像合成が考えられる。

すなわち、まず１人目のユーザが、２人目のユーザと風景を撮影する。これにより、１枚目の撮影画像が得られる。続いて、２人目のユーザが、１人目のユーザと風景を撮影する。これにより、２枚目の撮影画像が得られる。

そして、得られた１枚目と２枚目の撮影画像を合成することで、２人のユーザが風景とともに写っている合成画像を得ることができる。

例えば特許文献１には、このような画像合成を実現するための技術が開示されている。しかしながら、その技術では、１枚目と２枚目の撮影画像のつなぎ目が直線とされるため、その直線に重ならないように人物を撮影しなければならず、不便であった。

そこで、グラフカット手法を利用して、撮影画像のつなぎ目の位置を適応的に定めるようにした技術が提案されている（例えば、特許文献２および特許文献３参照）。

この技術では、撮影画像から人物と思われる領域が検出され、検出された部分に対応するデータ項に強めの値が設定されて、さらに２枚の撮影画像間での差分強度に応じて平滑化項が設定される。そして、このデータ項と平滑化項の和を最小とするように、グラフカット手法により、つなぎ目が適応的に定められる。

特開２００３−２７４２６３号公報 特開２０１１−１３８３１３号公報 特開２０１１−１３９２８８号公報

しかしながら、上述した技術では、簡単な処理で適切に２つの撮影画像を合成することができなかった。

例えば、グラフカット手法を利用した技術では、エッジ情報などが用いられて人物と思われる領域が検出されているが、その検出手法はヒューリスティックであり、検出精度が高いとはいえなかった。そのため、適切に撮影画像間のつなぎ目の位置を求めることが困難であった。また、グラフカット手法を利用した技術では、平滑化項とデータ項の２つを算出し、それら合計のエネルギ関数を最小とする複雑な計算が必要であった。

本技術は、このような状況に鑑みてなされたものであり、より簡単な処理で適切に画像を合成することができるようにするものである。

本技術の一側面の画像処理装置は、第１の前景物体と背景を含む第１の撮影画像と、第２の前景物体と前記背景を含む第２の撮影画像とを合成して、前記第１の前景物体、前記第２の前景物体、および前記背景を含む出力画像を生成する画像処理装置であって、前記第１の撮影画像または前記第２の撮影画像から、前記第１の前景物体と前記第２の前景物体の領域を除去して得られるつなぎ目候補領域を決定するつなぎ目候補領域決定部と、前記つなぎ目候補領域の上辺と下辺を通り、前記つなぎ目候補領域を分断するつなぎ目を決定するつなぎ目決定部と、前記つなぎ目で前記第１の撮影画像と前記第２の撮影画像を合成して前記出力画像を生成する合成部とを備える。

前記つなぎ目候補領域決定部には、前記第１の撮影画像または前記第２の撮影画像における、前記第１の前景物体または前記第２の前景物体の領域を前景領域として検出する前景領域決定部と、前記第１の撮影画像または前記第２の撮影画像のうちの一方の画像における前記前景領域と、前記前景領域に対応する他方の画像の領域との差分を計算する前景差分計算部と、前記前景差分計算部により計算された差分に基づいて閾値を決定する閾値決定部と、前記前景領域を除く領域について、前記第１の撮影画像と前記第２の撮影画像の差分を計算する背景差分計算部と、前記背景差分計算部により計算された差分、および前記閾値に基づいて、前記つなぎ目候補領域を決定する閾値処理部とを設けることができる。

前記閾値処理部には、前記背景差分計算部により差分が計算された領域のうち、差分が前記閾値以上となる領域を除外して得られる領域を前記つなぎ目候補領域とさせることができる。

前記つなぎ目候補領域決定部には、前記第１の撮影画像または前記第２の撮影画像における、前記つなぎ目候補領域とは異なる領域であって、前記第１の前景物体と前記第２の前景物体との間に位置する領域を中央部貫通領域として決定する中央部貫通領域決定部をさらに設け、前記つなぎ目決定部には、前記つなぎ目候補領域内のみを通る前記つなぎ目が得られない場合には、前記つなぎ目が前記中央部貫通領域を通過してもよいという条件で、前記つなぎ目を決定させることができる。

前記つなぎ目決定部には、前記第１の撮影画像または前記第２の撮影画像における、前記つなぎ目候補領域および前記中央部貫通領域とは異なる領域に対して、領域侵食処理を行なわせ、前記つなぎ目候補領域内のみを通る前記つなぎ目が得られない場合には、前記領域侵食処理により侵食された領域を前記つなぎ目が通過してもよいという条件で、前記つなぎ目を決定させることができる。

本技術の一側面の画像処理方法またはプログラムは、第１の前景物体と背景を含む第１の撮影画像と、第２の前景物体と前記背景を含む第２の撮影画像とを合成して、前記第１の前景物体、前記第２の前景物体、および前記背景を含む出力画像を生成する画像処理方法またはプログラムであって、前記第１の撮影画像または前記第２の撮影画像から、前記第１の前景物体と前記第２の前景物体の領域を除去して得られるつなぎ目候補領域を決定し、前記つなぎ目候補領域の上辺と下辺を通り、前記つなぎ目候補領域を分断するつなぎ目を決定し、前記つなぎ目で前記第１の撮影画像と前記第２の撮影画像を合成して前記出力画像を生成するステップを含む。

本技術の一側面においては、第１の前景物体と背景を含む第１の撮影画像と、第２の前景物体と前記背景を含む第２の撮影画像とを合成して、前記第１の前景物体、前記第２の前景物体、および前記背景を含む出力画像を生成する画像処理において、前記第１の撮影画像または前記第２の撮影画像から、前記第１の前景物体と前記第２の前景物体の領域を除去して得られるつなぎ目候補領域が決定され、前記つなぎ目候補領域の上辺と下辺を通り、前記つなぎ目候補領域を分断するつなぎ目が決定され、前記つなぎ目で前記第１の撮影画像と前記第２の撮影画像が合成されて前記出力画像が生成される。

本技術の一側面によれば、より簡単な処理で適切に画像を合成することができる。

画像処理装置の構成例を示す図である。 撮影画像の一例を示す図である。 顔検出について説明する図である。 顔領域の分断線について説明する図である。 人物間画像について説明する図である。 つなぎ目候補領域について説明する図である。 人マスクについて説明する図である。 人領域除外画像について説明する図である。 人の領域と背景領域との差分について説明する図である。 背景領域同士の差分について説明する図である。 閾値決定に用いる累積ヒストグラムについて説明する図である。 つなぎ目候補領域について説明する図である。 微小領域追加処理について説明する図である。 微小領域追加処理について説明する図である。 微小領域追加処理について説明する図である。 中央部貫通領域について説明する図である。 つなぎ目について説明する図である。 出力画像の一例について説明する図である。 撮影画像の他の例について説明する図である。 つなぎ目候補領域について説明する図である。 中央部貫通領域について説明する図である。 つなぎ目について説明する図である。 出力画像の一例について説明する図である。 画像合成処理について説明するフローチャートである。 差分マップの生成について説明する図である。 コンピュータの構成例を示す図である。

以下、図面を参照して、本技術を適用した実施の形態について説明する。

〈第１の実施の形態〉
［本技術の概念について］
まず、本技術の概念について説明する。

本技術で行なわれる画像合成処理は、主に３つのステップからなる。

まず、最初のステップでは、１枚目と２枚目の撮影画像上の人以外の部分の領域が、つなぎ目候補領域として指定される処理が行なわれる。このつなぎ目候補領域内を通り、つなぎ目候補領域を分断する線を２つの撮影画像のつなぎ目とすれば、人を切断することなく、１枚目の撮影画像と２枚目の撮影画像をつなぎ合わせることができる。

２つ目のステップでは、つなぎ目候補領域内で、２つの撮影画像がスムーズにつながるつなぎ目が決定される。

そして、最後のステップである３つ目のステップでは、実際に、決定されたつなぎ目で２つの撮影画像の合成処理が行なわれる。

これにより、簡単な計算で、２枚の撮影画像を合成して（つなぎ合わせて）、記念写真等の１枚の合成画像を得ることができる。

［本技術と従来技術との差異について］
ここで、本技術による画像合成と、従来の画像合成との違いについて説明しておく。

本技術では、２つの撮影画像の差分を参照して、適応的につなぎ目を決定していく点が、上述した特許文献１とは異なる。特許文献１では、つなぎ目とされる部分が予め定められている。

また、特許文献２の第２９段落目や、特許文献３の第３１段落目には、顔検出手法では横向きや後向きの人物を検出することができないと述べられている。

しかしながら、一般的に、記念撮影をする際は、被写体となるユーザの顔は正面を向いているので、従来からある既知の顔検出手法を利用することができる。本技術では、顔検出を利用している点が、特許文献２や特許文献３とは異なる。

また、本技術では、撮影画像上の人物が写っている部分がマスクされて、２枚の撮影画像間のつなぎ目が、そのマスク部分を通らないようにされている。これにより、従来の技術において必要であったデータ項（人物らしさの度合いを表す項）は、本技術では不要となる。なぜなら、本技術では、人物らしさの部分がマスクされているからである。これにより、平滑化項のみを考慮したエネルギ関数を最小とする簡単な計算で、所望の結果を導くことができる。

［画像処理装置の構成例］
次に、本技術を適用した具体的な実施の形態について説明する。

図１は、本技術を適用した画像処理装置の一実施の形態の構成例を示す図である。

図１の画像処理装置１１には、２人のユーザによって、それぞれ撮影された２枚の撮影画像ＩＰ−１および撮影画像ＩＰ−２が入力される。そして、画像処理装置１１において、これらの撮影画像ＩＰ−１と撮影画像ＩＰ−２が合成され、その結果得られた出力画像ＯＰが出力される。

なお、２枚の撮影画像ＩＰ−１と撮影画像ＩＰ−２は、それぞれ異なるユーザが撮影するため、各撮影画像の撮影方向がわずかに異なる可能性があるが、各撮影画像の位置合わせを行なえば、撮影方向のずれに対処することができる。また、そのような撮影画像の位置合わせ技術は、既知の技術であるので、その説明は省略する。

したがって、以下においては、２枚の撮影画像ＩＰ−１と撮影画像ＩＰ−２は、同じ位置から同じ方向を撮影したものであるとして、説明を続ける。また、以下では、撮影画像ＩＰ−１と撮影画像ＩＰ−２を特に区別する必要のない場合、単に撮影画像ＩＰとも称することとする。

図１の例では、１枚目の撮影画像ＩＰ−１は、２枚目の撮影画像ＩＰ−２に投影されている被写体としての男性が撮影した画像であり、被写体として女性と風景が写っている画像である。撮影画像ＩＰ−１には、風景として木が写っている。

また、２枚目の撮影画像ＩＰ−２は、１枚目の撮影画像ＩＰ−１に投影されている被写体としての女性が撮影した画像であり、被写体として男性と風景が写っている画像である。撮影画像ＩＰ−２には、風景として木が写っている他、移動している自動車も被写体として写ってしまっている。

本技術の目的は、撮影画像ＩＰ−１と撮影画像ＩＰ−２を用いて、出力画像ＯＰを得ることである。出力画像ＯＰでは、主要な被写体である男性と女性が写っている。なお、出力画像ＯＰには、２枚目の撮影画像ＩＰ−２上の自動車が半分だけ写っているが、これは主要な被写体（男性と女性）ではないので、許容されることとする。

画像処理装置１１は、つなぎ目候補領域決定部２１、つなぎ目決定部２２、および合成部２３から構成される。

つなぎ目候補領域決定部２１は、供給された撮影画像ＩＰに基づいてつなぎ目候補領域決定処理を行なうことで、それらの撮影画像ＩＰのつなぎ目の探索対象の領域であるつなぎ目候補領域を決定し、その決定結果をつなぎ目決定部２２に供給する。ここで、つなぎ目候補領域決定処理は、上述した「最初のステップ」に対応する。

つなぎ目候補領域決定部２１は、顔検出部３１−１、顔検出部３１−２、人物間採用部３２、人マスク生成部３３、人マスク部除外処理部３４、人マスク部差分計算部３５、背景部差分計算部３６、閾値決定部３７、除外処理部３８、微小領域追加部３９、および中央部貫通領域追加部４０を備えている。

顔検出部３１−１は、供給された撮影画像ＩＰ−１から、被写体としての人（人物）の顔領域を検出し、その検出結果を人物間採用部３２、人マスク生成部３３、および中央部貫通領域追加部４０に供給する。

また、顔検出部３１−２は、供給された撮影画像ＩＰ−２から、被写体としての人の顔領域を検出し、その検出結果を人物間採用部３２、人マスク生成部３３、および中央部貫通領域追加部４０に供給する。なお、以下、顔検出部３１−１および顔検出部３１−２を特に区別する必要のない場合、単に顔検出部３１とも称することとする。

人物間採用部３２は、供給された撮影画像と、顔検出部３１からの顔領域の検出結果とに基づいて人物間採用処理を行い、その結果得られた人物間画像を人マスク部除外処理部３４および人マスク部差分計算部３５に供給する。

人物間採用処理では、２枚の撮影画像の一方における被写体としての人物の顔の領域の中央から、他方の撮影画像における人の領域とは反対側の領域が撮影画像から削除（除去）され、残った領域の画像が人物間画像とされる。すなわち、人物間画像は、撮影画像における主要被写体である２人のユーザの間の領域の画像である。

人マスク生成部３３は、顔検出部３１から供給された顔領域の検出結果に基づいて、撮影画像上の主要な被写体としての人の領域を示す人マスクを生成し、人マスク部除外処理部３４および人マスク部差分計算部３５に供給する。

人マスク部除外処理部３４は、人物間採用部３２からの人物間画像と、人マスク生成部３３からの人マスクとに基づいて人領域除外画像を生成し、背景部差分計算部３６および除外処理部３８に供給する。ここで、人領域除外画像は、人物間画像から人マスクの領域が除去されて得られる画像である。

人マスク部差分計算部３５は、人物間採用部３２からの人物間画像と、人マスク生成部３３からの人マスクに基づいて、２枚の人物間画像の一方における人の領域と、その人の領域に対応する他方の人物間画像の領域との差分を計算し、閾値決定部３７に供給する。すなわち、１枚目の人物間画像の人の領域と、その領域に対応する２枚目の人物間画像の領域との差分、および２枚目の人物間画像の人の領域と、その領域に対応する１枚目の人物間画像の領域との差分が計算される。これにより、人の領域と背景領域との差分が得られる。

背景部差分計算部３６は、人マスク部除外処理部３４から供給された２枚の人領域除外画像の重複領域の差分を計算し、その計算結果を除外処理部３８に供給する。ここで、人領域除外画像の重複領域とは、２枚の人領域除外画像上の同じ被写体が重なるように、それらの人領域除外画像を並べたときに互いに重なる領域である。この重複領域は、背景が写っている領域である。

閾値決定部３７は、人マスク部差分計算部３５から供給された差分の計算結果に基づいて閾値決定処理を行なうことで閾値を決定し、除外処理部３８に供給する。閾値決定部３７で決定される閾値は、２枚の撮影画像の対応する画素位置で差分を求めたときに、その差分から、対応する２つの画素位置が、それぞれ背景領域同士であるか、または人の領域と背景領域であるかを定めるのに用いられる。

除外処理部３８は、背景部差分計算部３６からの差分と、閾値決定部３７からの閾値とを用いて、人マスク部除外処理部３４から供給された人領域除外画像から、人の領域を除外してつなぎ目候補領域とし、微小領域追加部３９に供給する。

微小領域追加部３９は、除外処理部３８から供給されたつなぎ目候補領域に対して、適宜、修正を加えて中央部貫通領域追加部４０、およびつなぎ目決定部２２に供給する。

中央部貫通領域追加部４０は、顔検出部３１からの顔検出結果と、微小領域追加部３９からのつなぎ目候補領域とに基づいて中央部貫通領域を定め、つなぎ目決定部２２に供給する。

ここで、中央部貫通領域とは、主要な被写体である２人の人物の中間にある領域であって、つなぎ目候補領域ではない領域をいい、この中央部貫通領域は、できればつなぎ目の領域としたくない領域である。

つなぎ目決定部２２は、供給された撮影画像ＩＰと、つなぎ目候補領域決定部２１からのつなぎ目候補領域および中央部貫通領域とに基づいてつなぎ目決定処理を行なうことで、撮影画像ＩＰ間のつなぎ目を決定し、合成部２３に供給する。ここで、つなぎ目決定処理は、上述した「２つ目のステップ」に対応する。

また、つなぎ目決定部２２は、差分計算部５１および分断線検出部５２を備えている。

差分計算部５１は、供給された撮影画像ＩＰ、微小領域追加部３９からのつなぎ目候補領域、および中央部貫通領域追加部４０からの中央部貫通領域に基づいて、撮影画像ＩＰ間の差分を示す差分マップを生成し、分断線検出部５２に供給する。但し、差分マップの各画素の画素値は、中央部貫通領域などの各領域に基づいて適宜変更される。

分断線検出部５２は、差分計算部５１から供給された差分マップに基づいて、撮影画像ＩＰ間のつなぎ目を決定し、合成部２３に供給する。

合成部２３は、分断線検出部５２から供給されたつなぎ目の位置で、供給された２枚の撮影画像ＩＰを合成する合成処理を行なって、出力画像ＯＰを生成する。そして、合成部２３は、合成処理により得られた出力画像ＯＰを出力する。なお、この合成処理が、上述した「最後のステップ」（３つ目のステップ）に対応する。

［顔検出処理について］
次に、図１の画像処理装置１１を構成する各部により行なわれる処理について説明していく。

まず、顔検出部３１により行なわれる顔検出処理について説明する。

例えば、図２に示すように、１枚目の撮影画像ＩＰ−１と２枚目の撮影画像ＩＰ−２が画像処理装置１１に供給されたとする。なお、図２において、図１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

図２に示される撮影画像ＩＰ−１と撮影画像ＩＰ−２は、図１に示した撮影画像ＩＰと同じ画像となっている。

１枚目の撮影画像ＩＰ−１には、被写体として主要被写体である女性ＭＨ１１と、風景としての木ＬＤ１１が含まれている。また、２枚目の撮影画像ＩＰ−２には、被写体として主要被写体である男性ＭＨ１２、風景としての木ＬＤ１１、および自動車ＯＢ１１が含まれている。

顔検出部３１では、供給された撮影画像ＩＰに対して顔検出処理が施される。なお、画像が与えられたときに、その画像から顔を検出する処理は一般的な処理であり既知であるので、その詳細は省略する。

撮影画像ＩＰに対する顔検出処理が行なわれると、例えば図３に示すように、各撮影画像ＩＰから顔領域が検出される。

この例では、１枚目の撮影画像ＩＰ−１からは、女性ＭＨ１１の顔の領域が顔領域ＦＣ１１として検出され、２枚目の撮影画像ＩＰ−２からは、男性ＭＨ１２の顔の領域が顔領域ＦＣ１２として検出されている。また、これらの顔領域ＦＣ１１と顔領域ＦＣ１２は矩形の領域となっている。

例えば、顔検出部３１からは、このようにして得られた顔領域ＦＣ１１や顔領域ＦＣ１２の位置情報が出力される。

［人物間採用処理について］
顔検出処理が行なわれると、次に人物間採用部３２による人物間採用処理が行なわれる。

例えば、図４に示すように、顔検出処理で得られた顔領域ＦＣ１１と顔領域ＦＣ１２のそれぞれの中央を分断する線を考える。なお、図４において、図３における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

図４では分断線Ｌ１１が、１枚目の撮影画像ＩＰ−１から検出された顔領域ＦＣ１１の中央を分断する図中、縦方向（鉛直方向）の直線であり、分断線Ｌ１２が、２枚目の撮影画像ＩＰ−２から検出された顔領域ＦＣ１２の中央を分断する図中、縦方向の直線となっている。

分断線Ｌ１１が定められると、１枚目の撮影画像ＩＰ−１については、その撮影画像ＩＰ−１における分断線Ｌ１１よりも、２枚目の撮影画像ＩＰ−２の分断線Ｌ１２がある側と反対側にある領域が削除される。同様に、２枚目の撮影画像ＩＰ−２については、その撮影画像ＩＰ−２における分断線Ｌ１２よりも、１枚目の撮影画像ＩＰ−１の分断線Ｌ１１がある側と反対側にある領域が削除される。

これにより、図５に示す人物間画像ＨＰ−１および人物間画像ＨＰ−２が得られる。

図５では、人物間画像ＨＰ−１は、撮影画像ＩＰ−１における分断線Ｌ１１よりも、図４中、右側の領域の画像であり、図５中、斜線部分の領域は、撮影画像ＩＰ−１から削除された領域、つまり撮影画像ＩＰ−１上の人物間画像ＨＰ−１とされない領域である。

また、人物間画像ＨＰ−２は、撮影画像ＩＰ−２における分断線Ｌ１２よりも、図４中、左側の領域の画像であり、斜線部分の領域は、撮影画像ＩＰ−２から削除された領域、つまり撮影画像ＩＰ−２上の人物間画像ＨＰ−２とされない領域である。

人物間採用部３２からは、人物間採用処理により得られた人物間画像ＨＰ−１および人物間画像ＨＰ−２が出力される。

ここで、人物間採用処理以降の各処理が、どのような目的で行なわれているかについて説明する。すなわち、つなぎ目候補領域決定処理の最終的な目標について説明する。

つなぎ目候補領域決定処理の最終的な目標は、撮影画像ＩＰから人の部分（領域）を除外して、背景部分の画素位置を除外せずに、つなぎ目の領域の候補として残すことである。すなわち、例えば図６に示すように、撮影画像ＩＰのうち、女性ＭＨ１１と男性ＭＨ１２の領域を除く、女性ＭＨ１１と男性ＭＨ１２についての顔領域の分断線間の領域ＳＣ１１を残すことである。

図６の例では、撮影画像ＩＰにおける女性ＭＨ１１と、その分断線Ｌ１１よりも図中、左側の領域、および撮影画像ＩＰにおける男性ＭＨ１２と、その分断線Ｌ１２よりも図中、右側の領域に斜線が施されている。そして、撮影画像ＩＰから斜線が施された領域が削除されて得られる領域が領域ＳＣ１１となっており、撮影画像ＩＰの領域ＳＣ１１のみを残して他の領域を除外することが目標とされる。

もちろん、例えば図５に示した自動車ＯＢ１１と、主要な被写体である男性ＭＨ１２とを区別することは不可能に近い。さらに、ノイズによる誤判定もあるので、正確に図６の領域ＳＣ１１を抽出することはほぼ不可能である。そこで、なるべく領域ＳＣ１１に等しい領域を抽出することが、つなぎ目候補領域決定処理の最終的な目標となる。

［人マスク生成処理について］
人物間採用処理が行なわれると、次に、人マスク生成部３３により人マスク生成処理が行なわれる。

人マスク生成処理では、例えば図４に示した顔領域ＦＣ１１や顔領域ＦＣ１２から、撮影画像ＩＰにおける人の領域の情報が人マスクとして生成される。

人マスクの生成には、顔領域の横幅のBODY_W倍の横幅を持ち、顔領域の高さのBODY_H倍の高さを持つ矩形領域が考えられる。

すなわち、例えば図７に示すように撮影画像ＩＰ−１の顔領域ＦＣ１１直下に位置し、顔領域ＦＣ１１の横幅（図中、横方向の長さ）のBODY_W倍の横幅を持ち、かつ顔領域ＦＣ１１の高さ（図中、縦方向の長さ）のBODY_H倍の高さを持つ矩形領域を領域ＢＲ１１とする。このように顔領域ＦＣ１１直下に位置し、顔領域ＦＣ１１の大きさにより定まる大きさの領域ＢＲ１１は、主要被写体としての人の体の領域である。

そこで、人マスク生成処理では、顔領域ＦＣ１１と領域ＢＲ１１とからなる領域を、人マスクＭＣ１１とする。この人マスクＭＣ１１の領域は、主要な被写体である人の領域である。

同様に、撮影画像ＩＰ−２についても、顔領域ＦＣ１２直下に位置し、顔領域ＦＣ１２の横幅のBODY_W倍の横幅を持ち、かつ顔領域ＦＣ１２の高さのBODY_H倍の高さを持つ矩形領域が領域ＢＲ１２とされる。そして、顔領域ＦＣ１２と領域ＢＲ１２とからなる領域が人マスクＭＣ１２とされる。

人マスク生成部３３からは、人マスク生成処理により得られた人マスクＭＣ１１および人マスクＭＣ１２の位置情報が出力される。

なお、BODY_WおよびBODY_Hは、人の体の領域を得るためのパラメータであり、一般的には、それぞれ例えば３および７という値にすればよい。この数値にすることで、人の領域として適度な大きさを指定するこができる。

［人マスク部除外処理について］
人マスク生成処理が行なわれると、続いて人マスク部除外処理部３４により人マスク部除外処理が行なわれる。

人マスク部除外処理では、人マスク生成部３３から出力された人マスクに基づいて、人物間画像から、さらに人マスクにより示される領域が削除され、人領域除外画像とされる。

例えば、図８に示すように、１枚目の撮影画像ＩＰ−１から、斜線の施された領域ＥＲ１１が除去されて残る領域の画像が、図５に示した人物間画像ＨＰ−１である。

人マスク部除外処理では、撮影画像ＩＰ−１から領域ＥＲ１１が除去された領域から、さらにその領域内に含まれている、人マスクにより示される領域ＥＲ１２が除去されて、人領域除外画像ＨＲＰ−１とされる。

なお、図８において、図１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

図８において、領域ＥＲ１２は、撮影画像ＩＰ−１における図７の人マスクＭＣ１１の領域のうち、撮影画像ＩＰ−１から領域ＥＲ１１が除去された領域内に含まれる領域を示している。したがって、人領域除外画像ＨＲＰ−１は、人物間画像ＨＰ−１からさらに人マスクＭＣ１１の領域を除去（削除）して得られる領域の画像である。

このようにして得られる人領域除外画像ＨＲＰ−１は、人物間画像ＨＰ−１から人の領域が除去された画像であるが、人領域除外画像ＨＲＰ−１には、矢印Ａ１１に示すように、主要な被写体としての女性ＭＨ１１のスカートの部分などが含まれている。

なお、図８では、領域ＥＲ１１は人物間採用処理で撮影画像ＩＰ−１から除去された領域を示しており、領域ＥＲ１２は人マスク部除外処理で撮影画像ＩＰ−１から除去される領域を示している。これらの領域は、ともに撮影画像ＩＰ−１から除去された領域であるが、ここでは図を見やすくするため、それらの領域が分けて図示されている。つまり、実際の処理では、領域ＥＲ１１と領域ＥＲ１２は、どちらも区別する必要はなく、除去された領域とされる。

また、撮影画像ＩＰ−１における場合と同様に、撮影画像ＩＰ−２についても人マスク部除外処理が行なわれる。

すなわち、撮影画像ＩＰ−２から領域ＥＲ１３が除去された領域から、さらにその領域内に含まれている、人マスクにより示される領域ＥＲ１４が除去されて、人領域除外画像ＨＲＰ−２とされる。

ここで、２枚目の撮影画像ＩＰ−２から、領域ＥＲ１３が除去されて残る領域の画像が、図５に示した人物間画像ＨＰ−２である。また、領域ＥＲ１４は、撮影画像ＩＰ−２における図７の人マスクＭＣ１２の領域のうち、撮影画像ＩＰ−２から領域ＥＲ１３が除去された領域内に含まれる領域を示している。したがって、人領域除外画像ＨＲＰ−２は、人物間画像ＨＰ−２からさらに人マスクＭＣ１２の領域を除去（削除）して得られる領域の画像である。

このようにして得られる人領域除外画像ＨＲＰ−２は、人物間画像ＨＰ−２から人の領域が除去された画像であるが、人領域除外画像ＨＲＰ−２には、矢印Ａ１２に示すように、主要な被写体としての男性ＭＨ１２の肘の部分などが含まれている。

なお、撮影画像ＩＰ−２についても、図を見やすくするため、領域ＥＲ１３と領域ＥＲ１４が分けて図示されている。

人マスク部除外処理部３４において人マスク部除外処理が行なわれると、その結果得られた人領域除外画像ＨＲＰ−１と人領域除外画像ＨＲＰ−２が、背景部差分計算部３６および除外処理部３８に出力される。

［人マスク部差分計算処理について］
人マスク部除外処理が行なわれると、人マスク部差分計算部３５により、人マスク部差分計算処理が行なわれる。

人マスク部差分計算処理では、撮影画像ＩＰの主要な被写体としての人が写っている位置における、２枚の撮影画像ＩＰ間の差分が求められる。

なお、差分のとり方には各種の手法があるが、本技術は、特定の差分計算手法に限定されるものではない。

例えば、２枚の画像間の差分を求める方法として、従来から輝度信号値の絶対値差分をとる手法や、ＲＧＢ空間で対応する画素データの距離を差分とする方法、注目画素位置を中心とした小さなブロック内でテクスチャの類似度を見る方法などが知られている。本技術では、２枚の撮影画像ＩＰ間の差分を求める手法として、これらの何れの手法が用いられてもよい。以下では、どの手法が用いられるかに関わらず、単に「差分」という用語を用いて説明を続けることとする。

さて、人マスク部差分計算処理では、人が写っている位置における、２枚の撮影画像ＩＰ間の差分は、具体的に以下のようにして算出される。

例えば、図９に示すように、１枚目の人物間画像ＨＰ−１は、撮影画像ＩＰ−１から図４に示した分断線Ｌ１１よりも図４中、左側の領域を除去して得られる画像である。図９では、撮影画像ＩＰ−１上の斜線が施された領域が除去された領域を示している。

同様に、２枚目の人物間画像ＨＰ−２は、撮影画像ＩＰ−２から図４に示した分断線Ｌ１２よりも図４中、右側の領域を除去して得られる画像であり、図９では、撮影画像ＩＰ−２上の斜線が施された領域が除去された領域を示している。

なお、図９において、図５における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

このような人物間画像ＨＰ−１上において、図７に示した人マスクＭＣ１１のうち、人物間画像ＨＰ−１内に含まれている領域が領域ＤＦ１１である。つまり領域ＤＦ１１は、人マスクＭＣ１１のうち、分断線Ｌ１１よりも図９中、右側の領域である。

また、人物間画像ＨＰ−１上において、図７に示した人マスクＭＣ１２のうち、人物間画像ＨＰ−２内に含まれている領域と同じ位置にある領域が領域ＤＦ１２である。

さらに、人物間画像ＨＰ−２上において、図７に示した人マスクＭＣ１１のうち、人物間画像ＨＰ−１内に含まれている領域と同じ位置にある領域が領域ＤＦ１３であり、人マスクＭＣ１２のうち、人物間画像ＨＰ−２内に含まれている領域が領域ＤＦ１４である。

ここで、領域ＤＦ１３は、同じ被写体が重なるように人物間画像ＨＰ−１と人物間画像ＨＰ−２を重ねた場合に、領域ＤＦ１１と重なる領域である。同様に、領域ＤＦ１２は、同じ被写体が重なるように人物間画像ＨＰ−１と人物間画像ＨＰ−２を重ねた場合に、領域ＤＦ１４と重なる領域である。

また、１枚目の人物間画像ＨＰ−１上における領域ＤＦ１１は、女性ＭＨ１１の領域であるので、領域ＤＦ１１は人の領域である。これに対して、人物間画像ＨＰ−１上における領域ＤＦ１２は、２枚目の人物間画像ＨＰ−２上の男性ＭＨ１２の領域に対応する領域であるが、１枚目の人物間画像ＨＰ−１には男性ＭＨ１２が写っていないので、領域ＤＦ１２は背景の領域である。

同様に、２枚目の人物間画像ＨＰ−２上の領域ＤＦ１３は背景の領域であり、領域ＤＦ１４は人の領域である。

このようにして領域ＤＦ１１乃至領域ＤＦ１４が得られると、領域ＤＦ１１と領域ＤＦ１３の同じ位置にある画素の画素値の差分、および領域ＤＦ１２と領域ＤＦ１４の同じ位置にある画素の画素値の差分が計算される。差分の計算により得られる差分データの数は、領域ＤＦ１１内の画素の総数と、領域ＤＦ１４内の画素の総数との和に等しくなる。

このような差分計算により、人が写っている領域ＤＦ１１と、背景の領域ＤＦ１３との差分、および人が写っている領域ＤＦ１４と、背景の領域ＤＦ１２との差分が求まる。

但し、領域ＤＦ１１内には、領域ＨＤＦ１１のように人の領域ではない領域も含まれている。この領域ＨＤＦ１１と同じ位置にある領域ＤＦ１３内の領域ＨＤＦ１２は、領域ＨＤＦ１１と同じ背景の領域となっている。そのため、領域ＨＤＦ１１と領域ＨＤＦ１２の差分については、背景領域同士の差分となってしまうが、そのような領域は殆どないため、基本的には、領域ＤＦ１１と領域ＤＦ１３内の各位置での差分は、人の領域と背景領域の差分となる。これは、領域ＤＦ１２と領域ＤＦ１４の差分についても同様である。

したがって、人マスク部差分計算部３５から閾値決定部３７には、領域ＤＦ１１と領域ＤＦ１３の各領域内の対応する画素の画素値の差分、および領域ＤＦ１２と領域ＤＦ１４の各領域内の対応する画素の画素値の差分が供給される。そして、それらの差分のデータ数は、領域ＤＦ１１と領域ＤＦ１４内の画素の総数と同じ個数となる。

［背景部差分計算処理について］
人マスク部差分計算処理が行なわれると、背景部差分計算部３６において、背景部差分計算処理が行なわれる。すなわち、人マスク部差分計算処理と同じ差分計算が、人マスク部除外処理で人物間画像から除外（除去）されずに残った領域、つまり人領域除外画像についても行なわれる。

例えば、背景部差分計算処理では、図１０に示すように、人領域除外画像ＨＲＰ−１内の領域ＵＲ１１と、人領域除外画像ＨＲＰ−２内の領域ＵＲ１２との差分が求められる。なお、図１０において、図８における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

図１０では、撮影画像ＩＰ−１から斜線が施された領域ＥＲ３１が除去されて得られる領域の画像が人領域除外画像ＨＲＰ−１である。同様に、撮影画像ＩＰ−２から斜線が施された領域ＥＲ３２が除去されて得られる領域の画像が人領域除外画像ＨＲＰ−２である。

また、人領域除外画像ＨＲＰ−１上の差分の計算対象となる領域ＵＲ１１は、同じ被写体が重なるように人領域除外画像ＨＲＰ−１と人領域除外画像ＨＲＰ−２を重ねたときに、人領域除外画像ＨＲＰ−２と重なる人領域除外画像ＨＲＰ−１上の領域である。

換言すれば、領域ＵＲ１１は、人領域除外画像ＨＲＰ−１から、２枚目の撮影画像ＩＰ−２の領域ＥＲ３２に対応する領域を除去して残る領域であり、２枚の撮影画像ＩＰを重ねてもおよそ背景のみとなる領域である。

人領域除外画像ＨＲＰ−２上の差分の計算対象となる領域ＵＲ１２は、同じ被写体が重なるように人領域除外画像ＨＲＰ−１と人領域除外画像ＨＲＰ−２を重ねたときに、人領域除外画像ＨＲＰ−１と重なる人領域除外画像ＨＲＰ−２上の領域である。

このようにして領域ＵＲ１１と領域ＵＲ１２が得られると、これらの領域ＵＲ１１と領域ＵＲ１２内の同じ位置にある画素の画素値の差分が計算される。つまり、人領域除外画像の重複領域の差分が求められる。差分の計算により得られる差分データの数は、領域ＵＲ１１内の画素の総数に等しくなる。

したがって、背景部差分計算部３６から除外処理部３８には、背景の領域である領域ＵＲ１１と領域ＵＲ１２の各画素の画素値の差分が供給される。

［閾値決定処理について］
人マスク部差分計算処理と背景部差分計算処理が行われ、人の領域と背景領域の差分、および背景領域同士の差分が得られると、閾値決定部３７において閾値決定処理が行なわれ、閾値が決定される。

ここで、本技術の特徴の１つである閾値の考え方について説明する。

１枚目の撮影画像ＩＰ−１にも２枚目の撮影画像ＩＰ−２にも、背景（静止物体）として写っている部分は同じ背景であるので、２枚の撮影画像ＩＰ間の差分を各位置でとれば、それぞれの位置で差分の値は０となるはずである。しかし、実際にはノイズなどの影響で差分の値は０にはならず、ある小さな値を持つ。

一方、１枚目の撮影画像ＩＰ−１、または２枚目の撮影画像ＩＰ−２の一方のみに写っている人の部分について差分をとれば、その差分の値は０でない大きな値となる。

つなぎ目候補領域決定処理の最終目標は、つなぎ目候補領域を求めるときに、人の部分を除外すると同時に、背景部分であるにも関わらずノイズの影響で差分をとったときに差分値が０にならなかった画素位置をなるべく除外せずに、つなぎ目候補領域として残すことである。

ここで、１つの問題がある。すなわち、つなぎ目候補領域から除外される人の領域と背景領域との差分、および背景領域同士の差分を区別するための閾値をどのような値に設定すればよいかという問題である。

閾値をかなり小さな値に設定した場合は、２枚の撮影画像上の対応する領域について、画像間で対応する画素値の差分が少しでもあれば、その差分は閾値以上ということになり、差分を求めた領域は、つなぎ目候補領域から除外されてしまう。

この場合、つなぎ目候補領域から人の部分の領域を確実に除外することができるが、背景領域であるにも関わらずノイズのために差分があった位置も、つなぎ目候補領域から除外されてしまうことになる。

一方、閾値をかなり大きな値に設定した場合は、画像間で対応する画素値の差分が大きくても、その差分は閾値以下ということになり、差分を求めた領域は、つなぎ目候補領域から除外されない。この場合、背景部分の領域は多少のノイズがあって差分が０でなくても、つなぎ目候補領域から除外されずに残ると推定されるが、人の部分の領域もつなぎ目候補領域として残ってしまう可能性が高い。

なお、ここでいう人の部分の領域とは、例えば人マスク部除外処理により得られた人領域除外画像上にある、図８の矢印Ａ１１に示した女性ＭＨ１１のスカートの部分や、矢印Ａ１２に示した男性ＭＨ１２の肘の部分などである。つまり、人領域除外画像から除去されずに残った人の投影像の領域である。

以上の説明をまとめると、閾値についての問題は、矢印Ａ１１に示したスカートの部分や、矢印Ａ１２に示した肘の部分を、人の領域としてつなぎ目候補領域から除外したいが、そのためには、閾値をどのように設定したらよいかという問題である。

そこで、この実施の形態では、閾値決定部３７による閾値決定処理において、入力される撮影画像に最適な閾値を自動で決定するようにしている。すなわち、閾値決定処理では以下の処理が行われる。

まず、人マスク部差分計算処理により求められた差分のデータについて、累積ヒストグラムが生成される。

例えば、図９の領域ＤＦ１１と領域ＤＦ１３内の同じ位置にある画素の差分、および領域ＤＦ１２と領域ＤＦ１４内の同じ位置にある画素の差分の計算結果に基づいて、図１１の曲線ＨＧ１１により示される累積ヒストグラムが生成される。なお、図１１において、横軸および縦軸は、それぞれ画素数および差分値を示している。

曲線ＨＧ１１により示される累積ヒストグラム（以下、累積ヒストグラムＨＧ１１とも称する）は、人の領域と背景の領域の差分の累積ヒストグラムであり、位置ＰＸ１１における画素数は、領域ＤＦ１１と領域ＤＦ１４内の画素の総数である。

また、曲線ＨＧ１２により示される累積ヒストグラム（以下、累積ヒストグラムＨＧ１２とも称する）は、図１０に示した領域ＵＲ１１と領域ＵＲ１２内の同じ位置にある画素の差分の累積ヒストグラムである。累積ヒストグラムＨＧ１２は、背景領域同士の差分の累積ヒストグラムであり、位置ＰＸ１２における画素数は領域ＵＲ１１内の画素の総数である。

累積ヒストグラムＨＧ１１は、多少の誤差はあったとしても、ほぼ、人と背景の差分をとるとどのような値になるかを示している。

ここで、多少の誤差と述べたのは、図９の領域ＤＦ１１内には、例えば人の領域だけでなく、領域ＨＤＦ１１などの背景の領域も含まれているからである。

図９では、領域ＨＤＦ１１に対応する２枚目の人物間画像ＨＰ−２上の領域は、領域ＤＦ１３内の領域ＨＤＦ１２となっている。これらの対応する領域ＨＤＦ１１と領域ＨＤＦ１２は、何れも２枚の撮影画像における背景部分の領域である。したがって、領域ＨＤＦ１１と領域ＨＤＦ１２について求めた差分は、人の領域と背景領域の差分とはいえない。しかし、領域ＤＦ１１内は、ほぼ人の投影像で満たされており、領域ＨＤＦ１１などは微少領域であり無視できるので、多少の誤差という表現を用いている。

ここで、上述した「多少の誤差」を例えば２０％と考えれば、累積ヒストグラムＨＧ１１における下位２０％の位置ＰＸ１３に対応する差分値ＴＨ１１が１つの目安となる。位置ＰＸ１３に示される画素数は、位置ＰＸ１１に示される画素数の２０％分の画素数であり、累積ヒストグラムＨＧ１１の位置ＰＸ１３における差分値が差分値ＴＨ１１である。

したがって、２枚の撮影画像ＩＰの所定の画素位置について求めた差分値が差分値ＴＨ１１以上であれば、どちらか一方の撮影画像ＩＰには人が写っており、他方の撮影画像ＩＰには背景が写っている画素位置であったと考えられる。なお、本技術では、閾値を決定する際の画素数は、総画素の２０％分の画素数に限定されるわけではなく、１０％や３０％など、どのような値であってもよい。

閾値決定処理では、人の領域と背景の領域との差分の計算結果から、累積ヒストグラムＨＧ１１が生成され、この累積ヒストグラムＨＧ１１の下位２０％となる画素数の位置ＰＸ１３における差分値ＴＨ１１が閾値として求められる。

したがって、累積ヒストグラムＨＧ１２において、差分値が差分値ＴＨ１１となる画素数の位置ＰＸ１４までの間に累積された、差分の計算対象となった画素は、背景領域同士の差分が得られた画素である。逆に、累積ヒストグラムＨＧ１２において位置ＰＸ１４から位置ＰＸ１２までの間に累積された画素は、人の領域と背景領域の差分が得られた画素である。

閾値決定部３７から除外処理部３８には、閾値決定処理により得られた差分値ＴＨ１１が閾値として出力される。

［除外処理について］
閾値決定処理により閾値が定められると、除外処理部３８では、定められた閾値が用いられて除外処理が行なわれて、つなぎ目候補領域から人の領域が除外される。

例えば、つなぎ目候補領域から、図８の矢印Ａ１１に示した女性ＭＨ１１のスカートの部分や、矢印Ａ１２に示した男性ＭＨ１２の肘の部分を除外する処理が行なわれる。

すなわち、人マスク部除外処理で撮影画像ＩＰから削除されずに残された図１０の領域ＵＲ１１と領域ＵＲ１２内の各画素について、それらの画素を、つなぎ目候補領域を構成する画素とするかの選別が行なわれる。つなぎ目候補領域を構成する画素とするかの選別には、背景部差分計算部３６において計算された、各画素の差分が用いられる。

除外処理では、累積ヒストグラムＨＧ１２で、先に求めた閾値、つまり差分値ＴＨ１１以上である差分を持つ画素位置が、どちらか一方の撮影画像の画素には人が写っており、他方の撮影画像の画素には背景が写っている画素位置であるとされ、削除される。

図１１の例では、位置ＰＸ１４から位置ＰＸ１２の間で累積された画素位置が、削除（除外）される画素位置である。

したがって、例えば図１０の領域ＵＲ１１と領域ＵＲ１２の各画素のうち、差分値が閾値以上である画素が除外されて残った画素からなる領域が、つなぎ目候補領域とされる。換言すれば、つなぎ目候補領域は、領域ＵＲ１１と領域ＵＲ１２の各画素のうち、差分値が閾値未満である画素からなる領域である。

これにより、例えば図１０の領域ＵＲ１１や領域ＵＲ１２から、図１２に示すつなぎ目候補領域が得られる。

図１２では、１枚目または２枚目の撮影画像ＩＰのうち、斜線が施された領域ＥＲ４１と領域ＥＲ４２とが除去されて残った領域が領域ＵＲ２１であり、領域ＵＲ２１は、図１０における撮影画像ＩＰ上の領域ＵＲ１１または領域ＵＲ１２である。

そして、この領域ＵＲ２１内の各領域のうち、斜線の施された領域は差分が閾値以上である画素からなる領域であり、斜線の施されていない領域は差分が閾値未満である画素からなる領域である。

したがって、領域ＵＲ２１内にある斜線の施されていない領域が、つなぎ目候補領域となる。なお、図１２において、領域ＥＲ４１と領域ＥＲ４２は、人物間採用処理と人マスク部除外処理で除外された領域を示している。

また、領域ＵＲ２１内の斜線が施されている領域は、除外処理によって除外（削除）された領域を示している。なお、削除された領域を区別して図示しているのは、図を見やすくするためであり、実際の処理ではこれらの領域は区別する必要はなく、どちらも削除された領域とされる。

このような除外処理によって、例えば図８の矢印Ａ１１に示した女性ＭＨ１１のスカートの部分や、矢印Ａ１２に示した男性ＭＨ１２の肘の部分などが、つなぎ目候補領域から除外されることになる。

しかし、撮影画像ＩＰ上の自動車ＯＢ１１は、２枚の撮影画像ＩＰのうちの２枚目の撮影画像ＩＰ−２にしか写っていないために、つなぎ目候補領域から除外されてしまっているが、これは仕方のないことである。図１２では、領域ＥＲ４３の一部が、主要な被写体ではないにも関わらず削除されてしまった自動車ＯＢ１１の領域となっている。

また、領域ＥＲ４４の一部の領域は、巨大なノイズがあったために、この領域における２枚の撮影画像間の差分が大きな値となってしまい、閾値処理において閾値以上であると判定されて、背景領域でないとしてつなぎ目候補領域から除外されてしまった領域である。

これらの領域ＥＲ４３や領域ＥＲ４４の一部の領域は、閾値処理による誤判定が生じたために、つなぎ目候補領域から除外されてしまった領域である。

除外処理によって、つなぎ目候補領域が得られると、このつなぎ目候補領域が除外処理部３８から微小領域追加部３９に出力される。

［微小領域追加処理について］
さらに、つなぎ目候補領域が得られると、微小領域追加部３９では、つなぎ目候補領域に対して閾値処理による誤判定を軽減する処理である、微小領域追加処理が行なわれる。

微小領域追加処理では、例えば図１３に示す撮影画像ＩＰにおけるつなぎ目候補領域を特定するための情報、すなわち斜線が施されている領域を示す情報が入力とされる。なお、図１３において、図１２における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。図１３は、図１２の斜線領域を区別せずに再掲したものである。

微小領域追加処理では、まず、撮影画像ＩＰにおけるつなぎ目候補領域、つまり斜線の施されていない、除外されずに残っている領域がセグメント化される。これにより、例えば図１４に示すように、セグメントＣＥ１１乃至セグメントＣＥ１３の３つのセグメントが得られる。

次に、これらのセグメントＣＥ１１乃至セグメントＣＥ１３を膨張させる処理、すなわちダイレーション（dilation）が行なわれる。例えば、ダイレーションする量は４画素程度とされる。

このようなダイレーションを行なうことで、２つのセグメントがつながり合う場合は、ダイレーションした画素位置が残されるようにされる。つまり、一旦は削除された画素位置であったが、ダイレーションによりつながるようであれば、その画素位置の削除を取りやめて、つなぎ目候補領域の画素として残されるようにされる。

これにより、ダイレーション後のつなぎ目候補領域として、図１５に示すつなぎ目候補領域が得られる。図１５では、撮影画像ＩＰのうち、斜線が施されていない領域がつなぎ目候補領域となっている。

図１５に示すダイレーション後のつなぎ目候補領域と、図１３に示したダイレーション前のつなぎ目候補領域とを比較すると、図１５の例では、図１３の領域ＥＲ４４の一部の領域が、つなぎ目候補領域に含まれている。すなわち、閾値処理による誤判定が生じて、一度は除外されてしまった領域が、その除外が取り消されて最終的にはつなぎ目候補領域とされている。

これにより、ノイズのために誤判定してしまった微少領域の削除（除去）を取りやめることができ、より適切なつなぎ目候補領域が得られるようになる。最終的に得られたつなぎ目候補領域は、撮影画像ＩＰからおよそ人の領域を除外して、およそ背景部分を残した領域である。

微小領域追加処理が行なわれて、つなぎ目候補領域が修正されると、つなぎ目候補領域を特定する情報、例えば図１５の斜線が施されている領域の情報が微小領域追加部３９から中央部貫通領域追加部４０、および差分計算部５１に供給される。

なお、以下、微小領域追加処理により得られた、最終的なつなぎ目候補領域を特定する情報をマスク情報と称することとする。マスク情報は、つなぎ目候補領域を特定することができる情報であれば、図１５の斜線が施されていない領域、つまりつなぎ目候補領域を示す情報であってもよいし、図１５の斜線が施されている領域、つまりつなぎ目候補領域とされずに除外された領域を示す情報であってもよい。以下では、マスク情報は、つなぎ目候補領域とされずに除外された領域を示す情報、つまりつなぎ目候補領域とされないようにマスクされる領域を示す情報であるものとして説明を続ける。

［中央部貫通領域追加処理について］
さて、図１５を見ても分かるように、撮影画像ＩＰ上の斜線の施されていない領域、つまり除外されずに残ったつなぎ目候補領域だけを通り、図中、上から下までを貫通する線を引くことは不可能である。

もちろん、図２に示した自動車ＯＢ１１の領域と、女性ＭＨ１１や男性ＭＨ１２などの主要な被写体である人の領域とを区別して、自動車ＯＢ１１の部分をつなぎ目候補領域として残すことができればよいが、そのようなことは不可能である。これは、自動車ＯＢ１１の領域と、女性ＭＨ１１や男性ＭＨ１２などの人の領域とを区別することができないからである。

しかし、２つの撮影画像ＩＰをつなぎ合わせるためには、撮影画像ＩＰを図中、上から下まで貫通（分断）する線を引かなくてはならない。そこで、本技術では、撮影画像ＩＰに含まれる２人のユーザ、つまり女性ＭＨ１１と男性ＭＨ１２の丁度、中央部分を、つなぎ目が通るようにさせることとする。中央部分であれば、人（女性ＭＨ１１と男性ＭＨ１２）を分断しない可能性が高くなるからである。

そこで、図１６に示すように、撮影画像ＩＰ上において図４を参照して説明した人物間採用処理で求められた分断線Ｌ１１と分断線Ｌ１２から等距離にあり、幅が例えば１６画素の領域ＣＬ１１を考える。なお、図１６において、図４における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

図１６では、斜線の施されていない領域がつなぎ目候補領域となっている。また、撮影画像ＩＰ上の分断線Ｌ１１と分断線Ｌ１２の間にある、２つの点線の間の領域が領域ＣＬ１１とされており、この領域ＣＬ１１の図中、横方向の幅は１６画素となっている。なお、領域ＣＬ１１の横幅は、１６画素に限らず、どのような画素数であってもよい。例えば、領域ＣＬ１１の横幅は、８画素や３２画素などとされてもよい。

このような横幅１６画素の領域ＣＬ１１内にある、斜線が施された中央部貫通領域ＥＲ５１が求められる。中央部貫通領域ＥＲ５１は、領域ＣＬ１１のうち、つなぎ目候補領域ではない領域、つまりマスク情報により示される領域である。この中央部貫通領域ＥＲ５１は、これまでの処理によってつなぎ目候補領域から除外された領域であり、回避可能であれば、つなぎ目としたくない領域である。

中央部貫通領域追加処理によって、中央部貫通領域ＥＲ５１が求められると、中央部貫通領域追加部４０から差分計算部５１には、中央部貫通領域ＥＲ５１を示す情報が出力される。

以上で、つなぎ目候補領域決定処理の説明を終える。つなぎ目候補領域決定処理は、２枚の撮影画像ＩＰを入力とし、図１５に示したマスク情報、つまり撮影画像ＩＰからつなぎ目候補領域とされずに除外された領域を示す情報と、図１６に示した中央部貫通領域ＥＲ５１を示す情報とを出力とする処理である。

なお、より厳密に述べるならば、つなぎ目候補領域決定処理では、１枚目の撮影画像ＩＰ−１は合成する際に図２中、右側の領域を使うのか、または左側の領域を使うのかという情報も出力される。この情報は、後述する合成処理において使用される。

撮影画像ＩＰ−１の左右のどちら側の領域を合成処理に用いるかは、２つの撮影画像ＩＰに対する顔検出処理で検出された２人のユーザのうち、どちらのユーザの顔が左側にあったかにより判定することができる。

つまり、１枚目の撮影画像ＩＰ−１の顔検出処理の結果の顔の位置が、２枚目の撮影画像ＩＰ−２の顔検出処理の結果の顔の位置より、図２中、左側にあった場合、すなわち図２の例の場合は、１枚目の撮影画像ＩＰ−１は合成する際に左側の領域を使うとされる。

逆に、１枚目の撮影画像ＩＰ−１の顔検出処理の結果の顔の位置が、２枚目の撮影画像ＩＰ−２の顔検出処理の結果の顔の位置より、図２中、右側にあった場合は、１枚目の撮影画像ＩＰ−１は合成する際に右側の領域を使うとされる。

このような合成時に１枚目の撮影画像ＩＰ−１のどちら側の領域を用いるかを示す情報の流れは、図１には図示されていないが、より詳細には、そのような情報が合成部２３に供給されることになる。

［つなぎ目決定処理について］
次に、つなぎ目を決定する処理であるつなぎ目決定処理について説明する。つなぎ目決定処理は、差分計算処理およびエネルギ最小分断線検出処理の２つの処理からなる。

まず、差分計算処理では、２枚の撮影画像ＩＰが入力され、それらの撮影画像ＩＰの対応する画素位置ごとに差分が計算される。この差分の計算手法は、上述した人マスク部差分計算処理における差分の計算手法と同じであってもよいし、他の計算手法であってもよい。

２枚の撮影画像ＩＰの画素位置での差分が小さいということは、その画素位置で、２枚の撮影画像ＩＰをつなぎ合わせても、つなぎ目が分からないことを意味する。この考え方は、上述した特許文献２や特許文献３における平滑化項と同じ考え方である。

さて、この差分計算処理においては、つなぎ目候補領域決定処理で得られたつなぎ目候補領域を特定するマスク情報と、中央部貫通領域を示す情報とが用いられ、差分マップが生成される。なお、以下では、マスク情報により示される領域、つまり撮影画像ＩＰ上のつなぎ目候補領域とされずに除外された領域を、マスク領域とも称することとする。

具体的には、撮影画像ＩＰ上のマスク情報により示されるマスク領域であり、かつ中央部貫通領域ではない領域内の画素位置については、その画素位置の差分値が強制的に無限大の値とされる。例えば、そのような領域は、図１６に示した撮影画像ＩＰ上の斜線が施された領域のうち、中央部貫通領域ＥＲ５１ではない領域である。

また、中央部貫通領域内の画素位置については、その画素位置の差分値に対して１以上である所定の大きさ、例えば１０００などを持ったゲインがかけられる。

これにより、以下のような性質を有する差分マップが得られる。ここで、差分マップの画素の画素値は、基本的に、その画素と同じ位置にある２枚の撮影画像の画素の画素値の差分の値を示している。但し、上述した中央部貫通領域内の画素など、撮影画像上の特定の画素と同じ位置にある差分マップの画素の画素値は、無限大やゲインがかけられた値とされる。

性質１：つなぎ目候補領域決定処理で得られたマスク情報により示されるマスク領域であって、かつ中央部貫通領域内にない領域に対応する差分マップの画素の画素値は、無限大の値を持つ。

性質２：つなぎ目候補領域決定処理で得られた中央部貫通領域に対応する差分マップの画素の画素値は、かなり大きな値を持つ。

性質３：つなぎ目候補領域に対応する差分マップの画素の画素値は、その画素位置における２枚の撮影画像の差分が小さい画素では小さな値となり、２枚の撮影画像の差分が大きい画素では大きな値となる。

差分計算処理では、上述した３つの性質を有する差分マップが求められ、差分計算部５１から分断線検出部５２へと出力される。

分断線検出部５２により行なわれるエネルギ最小分断線検出処理では、撮影画像の上辺と下辺を結ぶ１本の線（分断線）が求められ、得られた分断線が撮影画像ＩＰ間のつなぎ目とされる。

この分断線は、差分マップの任意の上辺と下辺の画素位置を、それぞれ始点と終点とし、始点から終点までの経路のうち、経路上にある差分マップの画素の画素値の合計値が最小となる経路を求め、その経路と同じ位置を通る撮影画像上の線を分断線とすることで求められる。したがって、撮影画像ＩＰ間のつなぎ目は、実質的には、次のようにして求められることになる。

すなわち、つなぎ目候補領域の上辺と下辺を通り、つなぎ目候補領域を分断する線（分断線）がつなぎ目として求められる。このとき、分断線は、できるだけつなぎ目候補領域内のみを通過するように求められるが、そのような分断線が得られない場合には、分断線が中央部貫通領域を通過してもよいという条件で、分断線が求められる。なお、分断線は、マスク領域であって、かつ中央部貫通領域内にない領域を通過することはない。

このような分断線は、実際には、動的計画法（dynamic programming）により簡単に求めることができる。なお、動的計画法は既知の技術であるので、その詳細な説明は省略する。

以上のようにして分断線が求められると、この分断線は分断線検出部５２から合成部２３に出力される。

例えば、合成部２３に出力される分断線は、図１７に示すように、撮影画像間のつなぎ目とされる。なお、図１７において、図２における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

図１７では、１枚目の撮影画像ＩＰ−１上のつなぎ目ＳＭ１１と、２枚目の撮影画像ＩＰ−２上のつなぎ目ＳＭ１２が、つなぎ目決定処理で得られた分断線を示している。同じ被写体が重なるように撮影画像ＩＰ−１と撮影画像ＩＰ−２を重ね合わせると、これらのつなぎ目ＳＭ１１とつなぎ目ＳＭ１２も重なるようになっている。

［合成処理について］
次に、１枚目の撮影画像ＩＰ−１と２枚目の撮影画像ＩＰ−２を合成して出力画像ＯＰを生成する合成処理について説明する。

合成処理では、２つの撮影画像と、つなぎ目決定処理で求めた分断線、つまりつなぎ目が入力とされる。また、より詳細には、つなぎ目候補領域決定処理で得られた、１枚目の撮影画像は合成する際に左右のどちら側の領域を用いるのかを示す情報も与えられる。

例えば、１枚目の撮影画像ＩＰ−１の左側の領域を用いる旨の情報が与えられた場合、入力されたつなぎ目の左側の領域には、１枚目の撮影画像ＩＰ−１が用いられ、つなぎ目の右側の領域には、２枚目の撮影画像ＩＰ−２が用いられて合成処理が行なわれる。

すなわち、例えば図１７に示した撮影画像ＩＰ−１のつなぎ目ＳＭ１１よりも図中、左側の領域と、撮影画像ＩＰ−２のつなぎ目ＳＭ１２よりも図中、右側の領域とがつなぎ合わされて、出力画像ＯＰとされる。

これにより、例えば図１８に示す出力画像ＯＰが得られる。なお、図１８において、図１における場合と対応する部分には同一の符号を付してあり、その説明は省略する。

図１８の例では、出力画像ＯＰには、主要な被写体である女性ＭＨ１１と男性ＭＨ１２が分断されずに写っており、高品質な出力画像ＯＰが得られていることが分かる。但し、出力画像ＯＰでは、自動車ＯＢ１１がつなぎ目ＳＭ１３により分断されている。

なお、１枚目の撮影画像ＩＰ−１の右側の領域を用いる旨の情報が与えられた場合には、入力されたつなぎ目の右側の領域には、１枚目の撮影画像ＩＰ−１が用いられ、つなぎ目の左側の領域には、２枚目の撮影画像ＩＰ−２が用いられて合成処理が行なわれる。

［中央部貫通領域追加処理の補足について］
ここで、上述した中央部貫通領域追加処理について、補足説明をする。

例えば、図１に示した画像処理装置１１に、図１９に示す撮影画像が入力されたとする。なお、図１９において図２における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

図１９の例では、１枚目の撮影画像ＩＰ−１と、２枚目の撮影画像ＩＰ−２’が入力されている。１枚目の撮影画像ＩＰ−１は、図２に示した撮影画像ＩＰ−１と同じであり、２枚目の撮影画像ＩＰ−２’と、図２に示した撮影画像ＩＰ−２とでは、写っている被写体は同じであるが、それらの被写体のうち自動車ＯＢ１１が写っている位置が異なっている。具体的には、撮影画像ＩＰ−２’では、撮影画像ＩＰ−２における場合よりも自動車ＯＢ１１がやや右側に位置している。

なお、以下、撮影画像ＩＰ−１と撮影画像ＩＰ−２’を特に区別する必要のない場合、単に撮影画像ＩＰとも称することとする。

これらの撮影画像ＩＰ−１と撮影画像ＩＰ−２’に対して、画像処理装置１１が各処理を施すと、微小領域追加部３９から出力されるマスク情報、つまりマスク領域を示す情報は、図２０に示すようになる。

図２０では、撮影画像ＩＰ上の斜線が施された領域がマスク領域を示しており、斜線の施されていない領域がつなぎ目候補領域を示している。

図１５に示したマスク領域（斜線が施された領域）では、女性ＭＨ１１と自動車ＯＢ１１に対応する領域がつながっている。これに対して、図２０のマスク領域では、女性ＭＨ１１と自動車ＯＢ１１に対応する領域がつながっていない。

また、撮影画像ＩＰ−１と撮影画像ＩＰ−２’を入力とする場合、中央部貫通領域追加処理により得られる中央部貫通領域は、図２１に示すようになる。

図２１では、撮影画像ＩＰ上の斜線が施された領域がマスク領域を示しており、斜線の施されていない領域がつなぎ目候補領域を示している。また、撮影画像ＩＰ上のマスク領域のうち、女性ＭＨ１１と男性ＭＨ１２に対応する領域の中間に位置する領域が中央部貫通領域ＥＲ６１となっている。

このような場合、つなぎ目決定処理で、差分マップの画素の画素値の合計値が最小となる経路から求まる撮影画像ＩＰの上辺と下辺を結ぶ１本の線（分断線）、つまりつなぎ目として、図２２に示すつなぎ目ＳＭ２１が得られる。

図２２では、撮影画像ＩＰ上のつなぎ目ＳＭ２１は、中央部貫通領域ＥＲ６１ではなく、斜線で示されるマスク領域の間にある領域ＰＳ１１を通っている。領域ＰＳ１１は、つなぎ目候補領域内にある領域である。

また、このつなぎ目ＳＭ２１により撮影画像ＩＰ−１と撮影画像ＩＰ−２’をつなぎ合わせると、図２３に示す出力画像ＯＰ’が得られる。なお、図２３において、図２２または図１８における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

図２３の出力画像ＯＰ’では、主要な被写体である女性ＭＨ１１と男性ＭＨ１２だけでなく、自動車ＯＢ１１も分断されずに写っていることが分かる。

ところで、つなぎ目決定処理において、図２２の斜線が施されたマスク領域であって、中央部貫通領域ＥＲ６１ではない領域は、無限大のエネルギを有する。つまり、その領域と同じ位置にある差分マップの各画素の画素値は、無限大の値とされる。

そのため、つなぎ目ＳＭ２１が、斜線が施されたマスク領域のうち、中央部貫通領域ＥＲ６１ではない領域を通過することはない。しかし、中央部貫通領域ＥＲ６１は有限の値のエネルギをもつ、つまり中央部貫通領域ＥＲ６１と同じ位置にある差分マップの各画素の画素値は、有限の値となるので、つなぎ目ＳＭ２１が中央部貫通領域ＥＲ６１を通過する可能性もあるとも思える。

しかし、中央部貫通領域ＥＲ６１に対応する差分マップの画素では、前述した通り２枚の撮影画像ＩＰの差分値を１０００倍した値が画素値とされている。したがって、つなぎ目ＳＭ２１が中央部貫通領域ＥＲ６１を通ると、１０００倍ものエネルギが加わることになるので、中央部貫通領域ＥＲ６１を通過するよりは、つなぎ目候補領域内の領域ＰＳ１１を通過する方が、エネルギが小さくて済む。つまり、エネルギ最小分断線検出処理の結果として、中央部貫通領域ＥＲ６１を通ることはなく、領域ＰＳ１１を通るつなぎ目が求まることになる。

このように、回避可能であれば、つなぎ目としたくない領域である中央部貫通領域は、まさに図２２の例のように回避可能である場合、つまり領域ＰＳ１１を通過すればよい場合は、つなぎ目の領域とはならない。

そして、図１６の例のように、回避が不可能である場合には、つなぎ目は、回避可能であれば、つなぎ目としたくない中央部貫通領域ＥＲ５１を通ることになる。中央部貫通領域追加処理で求まった中央部貫通領域は、後段のつなぎ目決定処理に対して、適切な情報として提供される。

［画像合成処理の説明］
次に、図２４のフローチャートを参照して、画像処理装置１１により行なわれる画像合成処理について説明する。画像合成処理は、画像処理装置１１に撮影画像ＩＰが供給され、出力画像ＯＰの生成が指示されると開始される。

ステップＳ１１において、顔検出部３１は、供給された撮影画像ＩＰから、被写体としての人の顔領域を検出する。

例えば、顔検出部３１−１は、１枚目の撮影画像ＩＰ−１から人の顔領域を検出し、その検出結果を人物間採用部３２、人マスク生成部３３、および中央部貫通領域追加部４０に供給する。また、顔検出部３１−２は、２枚目の撮影画像ＩＰ−２から人の顔領域を検出し、その検出結果を人物間採用部３２、人マスク生成部３３、および中央部貫通領域追加部４０に供給する。

ステップＳ１２において、人物間採用部３２は、供給された撮影画像と、顔検出部３１からの顔領域の検出結果とに基づいて人物間画像を生成し、人マスク部除外処理部３４および人マスク部差分計算部３５に供給する。

例えば、人物間採用部３２は、撮影画像ＩＰから検出された顔領域の中央部を分断する分断線を定め、撮影画像ＩＰにおける分断線よりも他方の撮影画像ＩＰの分断線側にある領域の画像を、人物間画像とする。これにより、例えば図５の人物間画像ＨＰ−１と人物間画像ＨＰ−２が得られる。

ステップＳ１３において、人マスク生成部３３は、顔検出部３１から供給された顔領域の検出結果に基づいて、撮影画像ＩＰ上の人の領域を示す人マスクを生成し、人マスク部除外処理部３４および人マスク部差分計算部３５に供給する。

例えば、人マスク生成部３３は、撮影画像ＩＰ上の顔領域に対して、顔領域の高さおよび横幅から定まる大きさで、顔領域直下に位置する矩形領域を定め、定めた矩形領域と顔領域とからなる領域を、人の領域を示す人マスクとする。これにより、例えば図７の人マスクＭＣ１１と人マスクＭＣ１２が得られる。

ステップＳ１４において、人マスク部除外処理部３４は、人物間採用部３２からの人物間画像と、人マスク生成部３３からの人マスクとに基づいて人領域除外画像を生成し、背景部差分計算部３６および除外処理部３８に供給する。

例えば、人マスク部除外処理部３４は、人物間画像から人マスクの領域が除去されて残った領域の画像を、人領域除外画像とする。これにより、例えば図８の人領域除外画像ＨＲＰ−１と人領域除外画像ＨＲＰ−２が得られる。

ステップＳ１５において、人マスク部差分計算部３５は、人物間採用部３２からの人物間画像と、人マスク生成部３３からの人マスクに基づいて、人物間画像における人マスク部分の差分を計算し、閾値決定部３７に供給する。

すなわち、人マスク部差分計算部３５は、２枚の人物間画像の一方における人の領域と、その人の領域に対応する他方の人物間画像の領域との差分をそれらの領域内の画素ごとに計算する。これにより、例えば図９の領域ＤＦ１１と領域ＤＦ１３の同じ位置にある画素の画素値の差分、および領域ＤＦ１２と領域ＤＦ１４の同じ位置にある画素の画素値の差分が計算される。つまり、人の領域と背景領域との差分が計算される。

ステップＳ１６において、背景部差分計算部３６は、人マスク部除外処理部３４から供給された２枚の人領域除外画像の重複領域の差分を計算し、その計算結果を除外処理部３８に供給する。この処理では、例えば図１０の領域ＵＲ１１と領域ＵＲ１２内の同じ位置にある画素の画素値の差分が計算される。これにより、およそ背景の領域同士の差分が得られる。

ステップＳ１７において、閾値決定部３７は、人マスク部差分計算部３５から供給された差分の計算結果に基づいて閾値決定処理を行なうことで閾値を決定し、除外処理部３８に供給する。

すなわち、閾値決定部３７は、人マスク部差分計算部３５から供給された差分に基づいて、その差分を求めた画素の累積ヒストグラムを生成し、得られた累積ヒストグラムの所定の累積画素数における差分値を閾値とする。これにより、例えば図１１の累積ヒストグラムＨＧ１１が生成され、位置ＰＸ１３における差分値ＴＨ１１が閾値とされる。

ステップＳ１８において、除外処理部３８は、背景部差分計算部３６からの差分と、閾値決定部３７からの閾値とを用いて、人マスク部除外処理部３４から供給された人領域除外画像から、つなぎ目候補領域を定めて微小領域追加部３９に供給する。

例えば、除外処理部３８は、同じ被写体が重なるように１枚目と２枚目の人領域除外画像を重ねた場合に、それらの人領域除外画像が重なる領域（重複領域）を求める。そして、除外処理部３８は、重複領域のうち、２枚の人領域除外画像の画素の差分が閾値未満である画素からなる領域をつなぎ目候補領域とする。この処理により、例えば図１２の領域ＵＲ２１内にある斜線の施されていない領域が、つなぎ目候補領域として定められる。

ステップＳ１９において、微小領域追加部３９は、除外処理部３８から供給されたつなぎ目候補領域に対して、微小領域追加処理を行なう。そして、微小領域追加部３９は、微小領域追加処理により得られた、最終的なつなぎ目候補領域を特定するマスク情報を、中央部貫通領域追加部４０、および差分計算部５１に供給する。

すなわち、微小領域追加処理では、つなぎ目候補領域に対してダイレーションが行なわれ、つなぎ目候補領域の修正が行なわれる。これにより、例えば図１５に示した斜線が施されていない領域がつなぎ目候補領域として得られる。そして、例えば図１５に示した斜線が施されている領域、つまりつなぎ目候補領域ではない領域がマスク領域とされ、マスク領域を示すマスク情報が、つなぎ目候補領域を特定する情報として出力される。

ステップＳ２０において、中央部貫通領域追加部４０は、顔検出部３１からの顔検出結果と、微小領域追加部３９からのマスク情報とに基づいて中央部貫通領域を定め、差分計算部５１に供給する。

すなわち、中央部貫通領域追加部４０は、撮影画像ＩＰにおけるマスク領域であって、顔検出部３１により検出された２つの顔領域の分断線のほぼ中間にある領域を、中央部貫通領域とする。これにより、例えば図１６の中央部貫通領域ＥＲ５１が得られる。

ステップＳ２１において、差分計算部５１は、供給された撮影画像ＩＰ、微小領域追加部３９からのマスク情報、および中央部貫通領域追加部４０からの中央部貫通領域に基づいて差分マップを生成し、分断線検出部５２に供給する。

例えば、差分計算部５１は、これから生成しようとする差分マップの画素の画素値を、その画素と同じ位置にある２枚の撮影画像ＩＰの画素の画素値の差分値とする。そして、差分計算部５１は、差分マップの各画素のうち、中央部貫通領域と同じ位置にある画素については、その差分マップの画素の画素値にゲインをかけた値を最終的な画素値とする。

また、差分計算部５１は、差分マップの画素のうち、撮影画像上のつなぎ目候補領域ではなく、かつ中央部貫通領域でもない領域と同じ位置にある画素については、その画素の画素値を無限大の値として、その結果得られた差分マップを最終的な差分マップとする。

ステップＳ２２において、分断線検出部５２は、差分計算部５１から供給された差分マップに基づいて、撮影画像ＩＰ間のつなぎ目を決定し、合成部２３に供給する。

例えば、分断線検出部５２は、差分マップの任意の上辺から下辺までの経路について、経路上にある画素の画素値の合計値が最小となる経路を求め、その経路と同じ位置を通る撮影画像上の線を、撮影画像のつなぎ目とする。これにより、例えば図１７のつなぎ目ＳＭ１１とつなぎ目ＳＭ１２が得られる。

ステップＳ２３において、合成部２３は、分断線検出部５２から供給されたつなぎ目の位置で、供給された２枚の撮影画像ＩＰを合成して出力画像ＯＰを生成する。これにより、例えば図１８に示した出力画像ＯＰが得られる。

出力画像が得られると、合成部２３は生成した出力画像を出力し、画像合成処理は終了する。

以上のようにして、画像処理装置１１は、撮影画像から人の領域が除外された領域をつなぎ目候補領域とし、つなぎ目候補領域を用いて、つなぎ目を決める際のエネルギを示す差分マップを生成する。そして、画像処理装置１１は、差分マップに基づいてつなぎ目を決定し、そのつなぎ目で撮影画像を合成して出力画像とする。

このように、差分マップを用いることで、人の領域を通らない適切なつなぎ目を簡単に定めることができ、これにより、簡単な処理で適切に画像を合成することができる。

〈第２の実施の形態〉
［差分計算処理について］
次に、本技術の第２の実施の形態について説明する。

第２の実施の形態において、上述した第１の実施の形態と異なる点は、つなぎ目決定処理を構成する差分計算処理の部分だけである。つまり、差分計算部５１により行なわれる処理のみである。そこで、以下では、この差分計算処理について説明を行なう。

先に述べたように、つなぎ目候補領域決定処理で求まった図１５に示すつなぎ目候補領域を特定するためのマスク情報は、およそ人の部分を除外して、およそ背景部分を残した領域を特定するための情報である。これは、正確に人の部分を除外して、正確に背景部分を残した領域の情報ではない。

ここで「正確」でなく「およそ」という事を加味する点が、第１の実施の形態と第２の実施の形態との違いである。

上述した第１の実施の形態では、図１５のマスク情報により示される、つなぎ目候補領域とされずに除去されたマスク領域を、つなぎ目とされる領域から完全に除外するため、マスク領域に対応する差分マップの画素の画素値には、無限大の値がセットされていた。

しかし、このマスク情報が正確ではないので、マスク領域を、つなぎ目とされる領域から完全に除外するべきではない。そこで、第２の実施の形態においては、マスク情報により示される、つなぎ目候補領域とされずに除去されたマスク領域の境界周辺部分では、差分マップの画素値を無限大の値とする代わりに、大きなゲインをかけるようにする。これにより、マスク領域を「完全に除外して、つなぎ目を通過させない」とするのではなく、マスク領域を「なるべく通過させない」とする。

具体的には、つなぎ目候補領域決定処理で得られたマスク情報により示されるマスク領域から、回避可能であれば、つなぎ目としたくない領域を除いた領域に対して、領域浸食処理、すなわちエロージョン（erosion）が行なわれる。

ここで、マスク領域は、例えば図１５において斜線が施された領域であり、回避可能であれば、つなぎ目としたくない領域とは、例えば図１６の中央部貫通領域ＥＲ５１である。

また、エロージョンする量は、例えば８画素程度である。このエロージョン（侵食）された領域を第１エロージョン領域とする。

さらに、第１エロージョン領域に対して、再度、エロージョンが行なわれ、このときエロージョン（侵食）された領域を第２エロージョン領域とする。

例えば、図１５に示したマスク領域、つまり斜線の施されている領域について、その領域から中央部貫通領域ＥＲ５１を除いた領域に対して、エロージョンが行なわれるとすると、図２５に示すようになる。

図２５では、撮影画像ＩＰのうち、斜線の施されていない領域が、マスク情報により特定されるつなぎ目候補領域を示している。また、斜線が施されている領域の一部がマスク領域ＭＳＫ１１となっている。さらに、マスク領域ＭＳＫ１１に隣接する領域が第１エロージョン領域ＲＯ１１であり、その第１エロージョン領域ＲＯ１１に隣接する領域が第２エロージョン領域ＲＯ１２である。

この実施の形態では、まず差分計算部５１による差分計算処理では、上記のエロージョンが２回行なわれ、第１エロージョン領域と第２エロージョン領域が求められる。

そして、差分計算処理では、第２エロージョン領域であり、かつ回避可能であれば、つなぎ目としたくない領域（中央部貫通領域）でない領域内の位置については、撮影画像間の差分値が強制的に無限大の値とされる。すなわち、第２エロージョン領域であり、かつ中央部貫通領域でない領域に対応する差分マップの領域内の各画素については、その画素の画素値が無限大の値とされる。

さらに、第１エロージョン領域であり、かつ第２エロージョン領域でなく、かつ中央部貫通領域でない領域内の位置については、その位置における撮影画像間の差分値に、所定の大きさ（例えば、２０などの１以上の値）を持ったゲインがかけられる。

つまり、第１エロージョン領域であり、かつ第２エロージョン領域でなく、かつ中央部貫通領域でない領域に対応する差分マップの領域を注目領域とすると、注目領域内の各位置の撮影画像間の差分値に対してゲインがかけられる。そして、注目領域に対応する差分マップの領域内の画素の画素値は、その画素と同じ位置にある注目領域内の位置のゲインがかけられた差分値の値とされる。

さらに、つなぎ目候補領域とされずに除去された領域、つまりマスク領域であり、かつ第１エロージョン領域でなく、かつ第２エロージョン領域でなく、かつ中央部貫通領域でない領域内の位置については、その位置における撮影画像間の差分値に、所定の大きさ（例えば、１０などの１以上の値）を持ったゲインがかけられる。

すなわち、マスク領域であり、かつ第１エロージョン領域、第２エロージョン領域、および中央部貫通領域の何れでもない領域を注目領域とすると、注目領域内の各位置の撮影画像間の差分値に対してゲインがかけられる。そして、注目領域に対応する差分マップの領域内の画素の画素値は、その画素と同じ位置にある注目領域内の位置のゲインがかけられた差分値の値とされる。このときかけられるゲインは、第１エロージョン領域にかけられるゲインよりも小さい値とされる。

また、つなぎ目候補領域では、２枚の撮影画像間の差分値がそのままセットされる。つまり、つなぎ目候補領域に対応する差分マップの領域内の画素については、その画素と同じ位置にあるつなぎ目候補領域の画素の差分値が、そのまま差分マップの画素の画素値とされる。

さて、これにより、以下のような５つの性質を持った差分マップが得られる。

性質１：第２エロージョン領域であって、かつ中央部貫通領域内にない領域に対応する差分マップの画素の画素値は、無限大の値を持つ。

性質２：第１エロージョン領域であって、かつ第２エロージョン領域内にも、中央部貫通領域内にもない領域に対応する差分マップの画素の画素値は、大きな値を持つ（例えば、差分値を２０倍した値）。

性質３：つなぎ目候補領域から除外された領域（マスク領域）であって、かつ第１エロージョン領域、第２エロージョン領域、および中央部貫通領域の何れの領域内にもない領域に対応する差分マップの画素の画素値は、ある程度大きな値を持つ（例えば、差分値を１０倍した値）。

性質４：中央部貫通領域に対応する差分マップの画素の画素値は、かなり大きな値を持つ（例えば、差分値を１０００倍した値）。

性質５：その他の領域、つまり、つなぎ目候補領域に対応する差分マップの画素の画素値は、その画素位置における２枚の撮影画像の差分が小さい画素では小さな値となり、２枚の撮影画像の差分が大きい画素では大きな値となる。

差分計算処理では、差分計算部５１によって、上述した性質１乃至性質５を有する差分マップが生成され、分断線検出部５２に供給される。したがって、この場合、図２４のステップＳ２１では、性質１乃至性質５を有する差分マップが差分計算部５１により生成されることになる。

以上のようにして差分マップを生成することで、つなぎ目候補領域決定処理で得られたつなぎ目候補領域から除外された領域、つまりマスク領域について、多少浸食をした画像の上辺と下辺を結ぶ１本の線も、エネルギ最小分断線検出処理での候補として与えることができる。したがって、撮影画像ＩＰ間のつなぎ目は、実質的には、次のようにして求められることになる。

すなわち、つなぎ目候補領域の上辺と下辺を通り、つなぎ目候補領域を分断する線（分断線）がつなぎ目として求められる。このとき、分断線は、できるだけつなぎ目候補領域内のみを通過するように求められるが、そのような分断線が得られない場合には、分断線が第１エロージョン領域や、マスク領域の一部、中央部貫通領域を通過してもよいという条件で、分断線が求められる。

但し、分断線は、中央部貫通領域よりは、第１エロージョン領域を通過するようにされる。また、分断線は、第１エロージョン領域よりは、マスク領域のうちの中央部貫通領域、第１エロージョン領域、および第２エロージョン領域の何れでもない領域を通過するようにされる。さらに、分断線は第２エロージョン領域を通過することはない。

なお、以上においては、２回のエロージョンを行なうと説明したが、エロージョンを行なう回数は、１回であってもよいし、３回以上であってもよい。

また、上述した画像合成処理の全体の処理量のなかで、つなぎ目候補領域決定処理での処理が大きな割合を占める。そこで、この部分に関しては、縮小画像を生成して、縮小画像上で処理を行い、出来上がったマスク情報を原画像の大きさに拡大するという処理を行うようにしてもよい。これにより、つなぎ目候補領域決定処理での処理量を減らすことが可能となる。

さらに、以上においては、主要な被写体としての２人のユーザが出力画像に含まれるように撮影画像の合成を行なうと説明したが、主要な被写体は、人に限らずどのようなものであってもよい。例えば、物体認識等により検出可能な被写体であれば、その被写体を前景として、出力画像を生成することが可能である。

この場合、主要な被写体としての第１の前景物体および背景が含まれた第１の撮影画像と、主要な被写体としての第２の前景物体および背景が含まれた第２の撮影画像とが合成されて、第１の前景物体、第２の前景物体、および背景が含まれる出力画像が生成される。

ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図２６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。

バス２０４には、さらに、入出力インターフェース２０５が接続されている。入出力インターフェース２０５には、入力部２０６、出力部２０７、記録部２０８、通信部２０９、及びドライブ２１０が接続されている。

入力部２０６は、キーボード、マウス、マイクロホン、撮像素子などよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記録部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインターフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。

以上のように構成されるコンピュータでは、CPU２０１が、例えば、記録部２０８に記録されているプログラムを、入出力インターフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インターフェース２０５を介して、記録部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記録部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記録部２０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、本技術は、以下の構成とすることも可能である。

［１］
第１の前景物体と背景を含む第１の撮影画像と、第２の前景物体と前記背景を含む第２の撮影画像とを合成して、前記第１の前景物体、前記第２の前景物体、および前記背景を含む出力画像を生成する画像処理装置であって、
前記第１の撮影画像または前記第２の撮影画像から、前記第１の前景物体と前記第２の前景物体の領域を除去して得られるつなぎ目候補領域を決定するつなぎ目候補領域決定部と、
前記つなぎ目候補領域の上辺と下辺を通り、前記つなぎ目候補領域を分断するつなぎ目を決定するつなぎ目決定部と、
前記つなぎ目で前記第１の撮影画像と前記第２の撮影画像を合成して前記出力画像を生成する合成部と
を備える画像処理装置。
［２］
前記つなぎ目候補領域決定部は、
前記第１の撮影画像または前記第２の撮影画像における、前記第１の前景物体または前記第２の前景物体の領域を前景領域として検出する前景領域決定部と、
前記第１の撮影画像または前記第２の撮影画像のうちの一方の画像における前記前景領域と、前記前景領域に対応する他方の画像の領域との差分を計算する前景差分計算部と、
前記前景差分計算部により計算された差分に基づいて閾値を決定する閾値決定部と、
前記前景領域を除く領域について、前記第１の撮影画像と前記第２の撮影画像の差分を計算する背景差分計算部と、
前記背景差分計算部により計算された差分、および前記閾値に基づいて、前記つなぎ目候補領域を決定する閾値処理部と
を備える
［１］に記載の画像処理装置。
［３］
前記閾値処理部は、前記背景差分計算部により差分が計算された領域のうち、差分が前記閾値以上となる領域を除外して得られる領域を前記つなぎ目候補領域とする
［２］に記載の画像処理装置。
［４］
前記つなぎ目候補領域決定部は、前記第１の撮影画像または前記第２の撮影画像における、前記つなぎ目候補領域とは異なる領域であって、前記第１の前景物体と前記第２の前景物体との間に位置する領域を中央部貫通領域として決定する中央部貫通領域決定部をさらに備え、
前記つなぎ目決定部は、前記つなぎ目候補領域内のみを通る前記つなぎ目が得られない場合には、前記つなぎ目が前記中央部貫通領域を通過してもよいという条件で、前記つなぎ目を決定する
［１］乃至［３］の何れかに記載の画像処理装置。
［５］
前記つなぎ目決定部は、前記第１の撮影画像または前記第２の撮影画像における、前記つなぎ目候補領域および前記中央部貫通領域とは異なる領域に対して、領域侵食処理を行い、前記つなぎ目候補領域内のみを通る前記つなぎ目が得られない場合には、前記領域侵食処理により侵食された領域を前記つなぎ目が通過してもよいという条件で、前記つなぎ目を決定する
［４］に記載の画像処理装置。

１１ 画像処理装置， ２１ つなぎ目候補領域決定部， ２２ つなぎ目決定部， ２３ 合成部， ３２ 人物間採用部， ３３ 人マスク生成部， ３４ 人マスク部除外処理部， ３５ 人マスク部差分計算部， ３６ 背景部差分計算部， ３７ 閾値決定部， ３８ 除外処理部， ４０ 中央部貫通領域追加部， ５１ 差分計算部， ５２ 分断線検出部

Claims (7)

1. 第１の前景物体と背景を含む第１の撮影画像と、第２の前景物体と前記背景を含む第２の撮影画像とを合成して、前記第１の前景物体、前記第２の前景物体、および前記背景を含む出力画像を生成する画像処理装置であって、
   前記第１の撮影画像または前記第２の撮影画像から、前記第１の前景物体と前記第２の前景物体の領域を除去して得られるつなぎ目候補領域を決定するつなぎ目候補領域決定部と、
   前記つなぎ目候補領域の上辺と下辺を通り、前記つなぎ目候補領域を分断するつなぎ目を決定するつなぎ目決定部と、
   前記つなぎ目で前記第１の撮影画像と前記第２の撮影画像を合成して前記出力画像を生成する合成部と
   を備える画像処理装置。
2. 前記つなぎ目候補領域決定部は、
   前記第１の撮影画像または前記第２の撮影画像における、前記第１の前景物体または前記第２の前景物体の領域を前景領域として検出する前景領域決定部と、
   前記第１の撮影画像または前記第２の撮影画像のうちの一方の画像における前記前景領域と、前記前景領域に対応する他方の画像の領域との差分を計算する前景差分計算部と、
   前記前景差分計算部により計算された差分に基づいて閾値を決定する閾値決定部と、
   前記前景領域を除く領域について、前記第１の撮影画像と前記第２の撮影画像の差分を計算する背景差分計算部と、
   前記背景差分計算部により計算された差分、および前記閾値に基づいて、前記つなぎ目候補領域を決定する閾値処理部と
   を備える
   請求項１に記載の画像処理装置。
3. 前記閾値処理部は、前記背景差分計算部により差分が計算された領域のうち、差分が前記閾値以上となる領域を除外して得られる領域を前記つなぎ目候補領域とする
   請求項２に記載の画像処理装置。
4. 前記つなぎ目候補領域決定部は、前記第１の撮影画像または前記第２の撮影画像における、前記つなぎ目候補領域とは異なる領域であって、前記第１の前景物体と前記第２の前景物体との間に位置する領域を中央部貫通領域として決定する中央部貫通領域決定部をさらに備え、
   前記つなぎ目決定部は、前記つなぎ目候補領域内のみを通る前記つなぎ目が得られない場合には、前記つなぎ目が前記中央部貫通領域を通過してもよいという条件で、前記つなぎ目を決定する
   請求項１に記載の画像処理装置。
5. 前記つなぎ目決定部は、前記第１の撮影画像または前記第２の撮影画像における、前記つなぎ目候補領域および前記中央部貫通領域とは異なる領域に対して、領域侵食処理を行い、前記つなぎ目候補領域内のみを通る前記つなぎ目が得られない場合には、前記領域侵食処理により侵食された領域を前記つなぎ目が通過してもよいという条件で、前記つなぎ目を決定する
   請求項４に記載の画像処理装置。
6. 第１の前景物体と背景を含む第１の撮影画像と、第２の前景物体と前記背景を含む第２の撮影画像とを合成して、前記第１の前景物体、前記第２の前景物体、および前記背景を含む出力画像を生成する画像処理方法であって、
   前記第１の撮影画像または前記第２の撮影画像から、前記第１の前景物体と前記第２の前景物体の領域を除去して得られるつなぎ目候補領域を決定し、
   前記つなぎ目候補領域の上辺と下辺を通り、前記つなぎ目候補領域を分断するつなぎ目を決定し、
   前記つなぎ目で前記第１の撮影画像と前記第２の撮影画像を合成して前記出力画像を生成する
   ステップを含む画像処理方法。
7. 第１の前景物体と背景を含む第１の撮影画像と、第２の前景物体と前記背景を含む第２の撮影画像とを合成して、前記第１の前景物体、前記第２の前景物体、および前記背景を含む出力画像を生成する画像処理用のプログラムであって、
   前記第１の撮影画像または前記第２の撮影画像から、前記第１の前景物体と前記第２の前景物体の領域を除去して得られるつなぎ目候補領域を決定し、
   前記つなぎ目候補領域の上辺と下辺を通り、前記つなぎ目候補領域を分断するつなぎ目を決定し、
   前記つなぎ目で前記第１の撮影画像と前記第２の撮影画像を合成して前記出力画像を生成する
   ステップを含む処理をコンピュータに実行させるプログラム。

Images