JP2015153321A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】対象となる部分を手作業によらずに分離する画像処理装置、画像処理方法及びプログラムを提供すること。【解決手段】各フレームの画像から特徴点を検出する特徴点検出部１１と、各フレームの画像間の対応点を探索する対応点探索部１２と、複数の多角形状を投影する多角形状分割部１３と、対象となるフレームの画像及び対象となるフレームの画像の前又は／及び後のフレームの画像において、画素同士の類似性に基づいて、各画像を複数の領域に分割する領域分割部１４と、各多角形状の位置に対応する各分割領域を重複領域として抽出する抽出部１５と、対応点に基づいて、対象となるフレームの画像の前又は／及び後のフレームの画像から、各重複領域に対応する対応領域を特定する特定部１６と、重複領域に非剛体が含まれると判断する判断部１７と、非剛体が含まれていると判断された重複領域から非剛体部分を分離する分離部１８とを備える。【選択図】図１

Description

本発明は、画像を処理する画像処理装置、画像処理方法及びプログラムに関する。

撮影映像から被写体領域を切り出して映像合成を行う技術がある。以下に代表的な方法を示す。
カメラを固定し、背景映像を先に撮っておく方法（以下、第１方法という。）がある。具体的には、所定の被写体（例えば、人、動物等）が含まれていない場所を事前にカメラで撮影しておき、これを背景映像とする。その後、カメラの前に所定の被写体が移動してきたと仮定し、これを撮影映像とする。第１方法では、撮影映像と背景映像との差分を求め、差のある領域を非剛体領域（所定の被写体が含まれた領域）とし取り出す。

また、クロマキー合成による方法（以下、第２方法という。）がある（例えば、特許文献１を参照）。クロマキー合成では、まず、特定色のスクリーンを背景として配置し、この背景とともに所定の被写体を撮影する。第２方法では、撮影映像に基づいて、各画素の色相、彩度、輝度等を基準に背景色かそれ以外かを判定し、背景色ではない部分を非剛体領域（所定の被写体が含まれた領域）として取り出す。

また、グラフカットを利用した方法（以下、第３方法という。）がある。第３方法では、被写体を撮影した後、ユーザが対象領域をラフに切り出し、これをＳｅｅｄとして所定の拘束条件を与えて、グラフカットにより最適化を行う。なお、所定の拘束条件とは、例えば、１）隣接画素の色の差が大きい部分にラベル境界が来るようにする、２）指定された前景／背景Ｓｅｅｄに似た色を持つ画素が前景／背景になるようする、等である。

特開２００４−７７７０号公報

第１方法を利用する場合には、カメラを固定する必要があり、カメラワークを自在にしたい場合に適用が困難となる。
また、第２方法を利用する場合には、背景を特殊なものに限定する必要があり、風景等を背景に利用したい場合に適用が困難となる。特に、映像ライブラリに保存されている過去の映像は、クロマキーによって撮影されていないものが多く、第２方法の利用は困難である。
また、第３方法では、ユーザ自身が対象領域を指定する必要があり、手作業の労力が多大である。

このようにして、映像制作では、撮影映像から被合成対象となる被写体領域を切り出して映像合成を行うために、クロマキー合成（第２方法）や後処理による煩雑な手作業（第３方法）が利用されてきた。

本発明は、対象となる部分（非剛体部分）を手作業によらずに分離する画像処理装置、画像処理方法及びプログラムを提供することを目的とする。これにより、本発明は、映像加工の専門知識を持たない人でも多大な労力を払うことなく所望の映像制作を行うことを可能とする。

本発明に係る画像処理装置は、複数のフレームで構成されるコンテンツにおいて、各フレームの画像から特徴点を検出する特徴点検出部と、前記特徴点検出部により検出された各特徴点の特徴量に基づいて、各フレームの画像間の対応点を探索する対応点探索部と、対象となるフレームの画像において、隣接するｎ個の特徴点を連結して複数の多角形状に分割し、前記対象となるフレームの画像の前又は／及び後のフレームの画像に対して、前記複数の多角形状を投影する多角形状分割部と、前記対象となるフレームの画像及び前記対象となるフレームの画像の前又は／及び後のフレームの画像において、画素同士の類似性に基づいて、各画像を複数の領域に分割する領域分割部と、前記多角形状分割部により複数の多角形状に分割した前記対象となるフレームの画像と、前記領域分割部により複数の領域に分割した前記対象となるフレームの画像とを比較し、各多角形状の位置に対応する各分割領域を重複領域として抽出する抽出部と、前記対応点探索部により探索した対応点に基づいて、前記対象となるフレームの画像の前又は／及び後のフレームの画像から、前記抽出部で抽出された各重複領域に対応する対応領域を特定する特定部と、前記抽出部で抽出された各重複領域と、前記特定部で特定された各対応領域とを比較して、変化量を算出し、算出した変化量が所定の閾値を超える場合には、その重複領域には非剛体が含まれると判断する判断部と、前記領域分割部により分割した領域に基づいて、前記判断部により非剛体が含まれていると判断された重複領域から非剛体部分を分離する分離部とを備える構成である。

かかる構成によれば、画像処理装置は、各フレームの画像に対して、特徴点の抽出、対応点探索等を行い、一方、各フレームの画像に対して領域分割を行って、これらの結果に基づいて各フレームの画像から対象となる部分（非剛体部分）を分離するので、対象となる部分（非剛体部分）を手作業によらずに分離することができ、映像加工の専門知識を持たない人でも多大な労力を払うことなく所望の映像制作を行うことを可能とする。

画像処理装置では、前記対応点探索部により探索された各フレームの画像間の対応点を利用して、バンドル調整による最適化により、各特徴点の３次元位置と、前記コンテンツを撮像したカメラのカメラ姿勢を推定し、前記各特徴点の３次元位置と、前記カメラ姿勢に基づいて、特徴点を３次元空間に逆投影し、さらに画像面に再投影し、特徴点と再投影点の距離を再投影誤差として算出し、所定の大きさ以上離れている特徴点を特定する算出部を備え、前記対応点探索部は、記特徴点検出部により検出された各特徴点から前記算出部により特定された特徴点を除外し、残った特徴点の特徴量に基づいて、各フレームの画像間の対応点を探索する構成でもよい。

かかる構成によれば、画像処理装置は、各特徴点の３次元位置と、カメラ姿勢に基づいて、特徴点を３次元空間に逆投影し、さらに画像面に再投影し、特徴点と再投影点の距離を再投影誤差として算出し、所定の大きさ以上離れている特徴点を除外するので、誤対応を減少させて高精度に各フレームの画像から対象となる部分（非剛体部分）を分離することができる。

画像処理装置では、前記分離部により各重複領域から非剛体部分を分離した後、非剛体部分を前景領域とし、前記前景領域以外の部分を背景領域とし、前記前景領域と前記背景領域の境界領域からトライマップを作成し、前記前景領域と前記背景領域の連続性に基づいて、前記前景領域の境界部分の透過度を算出する透過度算出部を備える構成でもよい。

かかる構成によれば、画像処理装置は、透過度算出部により前景領域（非剛体部分）の境界部分の透過度を算出するので、非剛体部分の境界部分に自然なソフトエッジ処理を行うことができる。例えば、このような非剛体部分を他の映像に合成処理した場合、非剛体部分の境界部分が他の映像にうまく溶け込み、違和感のない合成映像を作ることができる。

画像処理装置では、前記分離部により各重複領域から非剛体部分を分離した分離領域と、前記対象となるフレームの画像の前又は／及び後のフレームの画像において前記分離領域に対応する対応領域とを比較して、類似度を判定する第１類似度判定部と、前記対象となるフレームの画像の前及び後のフレームの画像において前記分離領域に対応する対応領域同士を比較して、類似度を判定する第２類似度判定部と、前記第１類似度判定部による判定結果から類似度が所定値よりも低いと判定され、前記第２類似度判定部により類似度が所定値よりも高いと判定された場合、前記対象となるフレームの画像の前又は後のフレームの画像において前記分離領域に対応する対応領域のうち、類似度が高い方の対応領域を切り出して前記分離領域に張り付ける処理部を備える構成でもよい。

かかる構成によれば、画像処理装置は、画像から非剛体部分を分離した箇所を他のフレームの画像における同一領域の要素で補うので、好適に剛体部分のみの画像を作成することができる。

本発明に係る画像処理方法は、複数のフレームで構成されるコンテンツにおいて、各フレームの画像から特徴点を検出する特徴点検出工程と、前記特徴点検出工程により検出された各特徴点の特徴量に基づいて、各フレームの画像間の対応点を探索する対応点探索工程と、対象となるフレームの画像において、隣接するｎ個の特徴点を連結して複数の多角形状に分割し、前記対象となるフレームの画像の前又は／及び後のフレームの画像に対して、前記複数の多角形状を投影する多角形状分割工程と、前記対象となるフレームの画像及び前記対象となるフレームの画像の前又は／及び後のフレームの画像において、画素同士の類似性に基づいて、各画像を複数の領域に分割する領域分割工程と、前記多角形状分割工程により複数の多角形状に分割した前記対象となるフレームの画像と、前記領域分割工程により複数の領域に分割した前記対象となるフレームの画像とを比較し、各多角形状の位置に対応する各分割領域を重複領域として抽出する抽出工程と、前記対応点探索工程により探索した対応点に基づいて、前記対象となるフレームの画像の前又は／及び後のフレームの画像から、前記抽出工程で抽出された各重複領域に対応する対応領域を特定する特定工程と、前記抽出工程で抽出された各重複領域と、前記特定工程で特定された各対応領域とを比較して、変化量を算出し、算出した変化量が所定の閾値を超える場合には、その重複領域には非剛体が含まれると判断する判断工程と、前記領域分割工程により分割した領域に基づいて、前記判断工程により非剛体が含まれていると判断された重複領域から非剛体部分を分離する分離工程とを備える構成である。

かかる構成によれば、画像処理方法は、各フレームの画像に対して、特徴点の抽出、対応点探索等を行い、一方、各フレームの画像に対して領域分割を行って、これらの結果に基づいて各フレームの画像から対象となる部分（非剛体部分）を分離するので、対象となる部分（非剛体部分）を手作業によらずに分離することができ、映像加工の専門知識を持たない人でも多大な労力を払うことなく所望の映像制作を行うことを可能とする。

本発明に係るプログラムは、複数のフレームで構成されるコンテンツにおいて、各フレームの画像から特徴点を検出する特徴点検出工程と、前記特徴点検出工程により検出された各特徴点の特徴量に基づいて、各フレームの画像間の対応点を探索する対応点探索工程と、対象となるフレームの画像において、隣接するｎ個の特徴点を連結して複数の多角形状に分割し、前記対象となるフレームの画像の前又は／及び後のフレームの画像に対して、前記複数の多角形状を投影する多角形状分割工程と、前記対象となるフレームの画像及び前記対象となるフレームの画像の前又は／及び後のフレームの画像において、画素同士の類似性に基づいて、各画像を複数の領域に分割する領域分割工程と、前記多角形状分割工程により複数の多角形状に分割した前記対象となるフレームの画像と、前記領域分割工程により複数の領域に分割した前記対象となるフレームの画像とを比較し、各多角形状の位置に対応する各分割領域を重複領域として抽出する抽出工程と、前記対応点探索工程により探索した対応点に基づいて、前記対象となるフレームの画像の前又は／及び後のフレームの画像から、前記抽出工程で抽出された各重複領域に対応する対応領域を特定する特定工程と、前記抽出工程で抽出された各重複領域と、前記特定工程で特定された各対応領域とを比較して、変化量を算出し、算出した変化量が所定の閾値を超える場合には、その重複領域には非剛体が含まれると判断する判断工程と、前記領域分割工程により分割した領域に基づいて、前記判断工程により非剛体が含まれていると判断された重複領域から非剛体部分を分離する分離工程とをコンピュータに実行させるためのものである。

かかる構成によれば、プログラムは、各フレームの画像に対して、特徴点の抽出、対応点探索等を行い、一方、各フレームの画像に対して領域分割を行って、これらの結果に基づいて各フレームの画像から対象となる部分（非剛体部分）を分離するので、対象となる部分（非剛体部分）を手作業によらずに分離することができ、映像加工の専門知識を持たない人でも多大な労力を払うことなく所望の映像制作を行うことを可能とする。

本発明によれば、対象となる部分（非剛体部分）を手作業によらずに分離することができる。

画像処理装置の構成を示す図である。 画像処理装置の動作についての説明に供するフローチャートである。 ＳＬＩＣ手法についての説明に供する図である。 剛体映像及び非剛体映像を作成する手順についての説明に供する図である。

ビデオカメラによる撮影映像において、カメラ姿勢を考慮し大域的な動きをキャンセルした場合、非剛体又は動物体を特定の位置、及び時間方向で観察すると、映像情報に変化が現れる。一方、背景の建物などは変化しない。

本実施例は、この点に着目し、特徴点の抽出と、対応点の探索の結果を利用して、最適化によりカメラ姿勢や特徴点の３次元位置情報を算出し、この過程で再投影誤差を利用して、対応点の外れ値を除外する構成を提案する。さらに、本実施例では、色や明るさが類似している領域で画像を分割した領域分割情報を利用して、カメラ本体を移動させながら撮影した映像に対しても、動物体を含めた非剛体の領域を判定し、分離する構成を提案する。以下に、本実施例に係る画像処理装置１の構成と動作について詳述する。

画像処理装置１は、図１に示すように、特徴点検出部１１と、対応点探索部１２と、多角形状分割部１３と、領域分割部１４と、抽出部１５と、特定部１６と、判断部１７と、分離部１８とを備える。なお、特徴点検出部１１及び対応点探索部１２は、カメラ姿勢推定部１０１として構成されてもよい。また、多角形状分割部１３、抽出部１５、特定部１６、判断部１７及び分離部１８は、非剛体領域抽出部１０２として構成されてもよい。

特徴点検出部１１は、複数のフレームで構成されるコンテンツにおいて、各フレームの画像から特徴点を検出する。なお、コンテンツは、ビデオカメラ等により撮像されたデータであり、例えば、コンテンツＤＢ２に記録されている。

対応点探索部１２は、特徴点検出部１１により検出された各特徴点の特徴量に基づいて、各フレームの画像間の対応点を探索する。

多角形状分割部１３は、対象となるフレームの画像において、隣接するｎ個の特徴点を連結して複数の多角形状に分割し、対象となるフレームの画像の前又は／及び後のフレームの画像に対して、複数の多角形状を投影する。多角形状分割部１３は、例えば、隣接する３個の特徴点を連結して複数の三角形状に分割する。

領域分割部１４は、対象となるフレームの画像及び対象となるフレームの画像の前又は／及び後のフレームの画像において、画素同士の類似性に基づいて、各画像を複数の領域に分割する。なお、領域分割部１４は、コンテンツＤＢ２から各フレームの画像が供給される。

抽出部１５は、多角形状分割部１３により複数の多角形状に分割した対象となるフレームの画像と、領域分割部１４により複数の領域に分割した対象となるフレームの画像とを比較し、各多角形状の位置に対応する各分割領域を重複領域として抽出する。

特定部１６は、対応点探索部１２により探索した対応点に基づいて、対象となるフレームの画像の前又は／及び後のフレームの画像から、抽出部１５で抽出された各重複領域に対応する対応領域を特定する。

判断部１７は、抽出部１５で抽出された各重複領域と、特定部１６で特定された各対応領域とを比較して、変化量を算出し、算出した変化量が所定の閾値を超える場合には、その重複領域には非剛体が含まれると判断する。

分離部１８は、領域分割部１４により分割した領域に基づいて、判断部１７により非剛体が含まれていると判断された重複領域から非剛体部分を分離する。

このように構成されることにより、画像処理装置１は、各フレームの画像に対して、特徴点の抽出、対応点探索等を行い、一方、各フレームの画像に対して領域分割を行って、これらの結果に基づいて各フレームの画像から対象となる部分（非剛体部分）を分離するので、対象となる部分（非剛体部分）を手作業によらずに分離することができ、映像加工の専門知識を持たない人でも多大な労力を払うことなく所望の映像制作を行うことを可能とする。

画像処理装置１は、図１に示すように、算出部１９を備える構成でもよい。なお、算出部１９は、カメラ姿勢推定部１０１として構成されてもよい。
算出部１９は、対応点探索部１２により探索された各フレームの画像間の対応点を利用して、バンドル調整による最適化により、各特徴点の３次元位置と、コンテンツを撮像したカメラのカメラ姿勢を推定し、各特徴点の３次元位置と、カメラ姿勢に基づいて、特徴点を３次元空間に逆投影し、さらに画像面に再投影し、特徴点と再投影点の距離を再投影誤差として算出し、所定の大きさ以上離れている特徴点を特定する。
対応点探索部１２は、特徴点検出部１１により検出された各特徴点から算出部１９により特定された特徴点を除外し、残った特徴点の特徴量に基づいて、各フレームの画像間の対応点を探索する。

かかる構成によれば、画像処理装置１は、各特徴点の３次元位置と、カメラ姿勢に基づいて、特徴点を３次元空間に逆投影し、さらに画像面に再投影し、特徴点と再投影点の距離を再投影誤差として算出し、所定の大きさ以上離れている特徴点を除外するので、誤対応を減少させて高精度に各フレームの画像から対象となる部分（非剛体部分）を分離することができる。

画像処理装置１は、図１に示すように、透過度算出部２０を備える構成でもよい。
透過度算出部２０は、分離部１８により各重複領域から非剛体部分を分離した後、非剛体部分を前景領域とし、前景領域以外の部分を背景領域とし、前景領域と背景領域の境界領域からトライマップを作成し、前景領域と背景領域の連続性に基づいて、前景領域の境界部分の透過度を算出する。

かかる構成によれば、画像処理装置１は、透過度算出部２０により前景領域（非剛体部分）の境界部分の透過度を算出するので、非剛体部分の境界部分に自然なソフトエッジ処理を行うことができる。例えば、このような非剛体部分を他の映像に合成処理した場合、非剛体部分の境界部分が他の映像にうまく溶け込み、違和感のない合成映像を作ることができる。

画像処理装置１は、図１に示すように、第１類似度判定部２１と、第２類似度判定部２２と、処理部２３を備える構成でもよい。なお、第１類似度判定部２１、第２類似度判定部２２及び処理部２３は、剛体映像生成部１０３として構成されてもよい。

第１類似度判定部２１は、分離部１８により各重複領域から非剛体部分を分離した分離領域と、対象となるフレームの画像の前又は／及び後のフレームの画像において分離領域に対応する対応領域とを比較して、類似度を判定する。

第２類似度判定部２２は、対象となるフレームの画像の前及び後のフレームの画像において分離領域に対応する対応領域同士を比較して、類似度を判定する。

処理部２３は、第１類似度判定部２１による判定結果から類似度が所定値よりも低いと判定され、第２類似度判定部２２により類似度が所定値よりも高いと判定された場合、対象となるフレームの画像の前又は後のフレームの画像において分離領域に対応する対応領域のうち、類似度が高い方の対応領域を切り出して分離領域に張り付ける。

かかる構成によれば、画像処理装置１は、画像から非剛体部分を分離した箇所を他のフレームの画像における同一領域の要素で補うので、好適に剛体部分のみの画像を作成することができる。

上述したように、ビデオカメラから取得された映像（複数のフレームで構成されるコンテンツ）は、コンテンツＤＢ２に格納される。
カメラ姿勢推定部１０１は、コンテンツＤＢ２に格納された映像に対し、特徴点の抽出、対応点探索、カメラ姿勢推定、特徴点３次元位置の推定を行う。また、領域分割部１４は、これと同時に、映像に対し領域分割を行う。

非剛体領域抽出部１０２は、これらの結果を利用し、非剛体領域（動物体を含む非剛体が含まれる領域）を抽出する。剛体映像生成部１０３は、非剛体領域を除去した剛体領域のみの映像を生成する。また、透過度算出部２０は、非剛体領域と剛体領域の境界の透過度を推定する。

このようにして、画像処理装置１は、非剛体領域のみで構成された映像と、剛体領域のみで構成された映像を作り出すことができる。

ここで、画像処理装置１による処理の流れについて、図２に示すフローチャートを参照しながら説明する。なお、ステップＳＴ１〜ステップＳＴ３は、カメラ姿勢推定工程ＳＴ１０１であり、ステップＳＴ４〜ステップＳＴ８は、剛体・非剛体領域判定工程ＳＴ１０２であり、ステップＳＴ９〜ステップＳＴ１０は、ポスト・プロセス工程ＳＴ１０３である。

ステップＳＴ１において、カメラ姿勢推定部１０１は、特徴点を抽出し、記述する。
ステップＳＴ２において、カメラ姿勢推定部１０１は、対応点を探索する。
ステップＳＴ３において、カメラ姿勢推定部１０１は、最適化（三次元座標とカメラパラメータ出力）を行う。

ステップＳＴ４において、領域分割部１４は、初期値を設定する。分割間隔は、本実施例では、Ｓ＝ｎ／ｉ、ｎ＝６４、ｉ＝１を初期値とした。
ステップＳＴ５において、領域分割部１４は、所定の方法によって領域分割を行う。ここで、所定の方法とは、例えば、ＳＬＩＣ手法による時空間クラスタリングである。

ステップＳＴ６において、非剛体領域抽出部１０２は、重複領域の抽出を行う。
ステップＳＴ７において、非剛体領域抽出部１０２は、重複領域の評価を行う。
ステップＳＴ８において、領域分割部１４は、分割数が最大であるかどうかを判断する。分割数が最大の場合（Ｙｅｓ）には、ステップＳＴ９に進み、分割数が最大でない場合（Ｎｏ）には、ステップＳＴ５に戻る。

ステップＳＴ９において、剛体映像生成部１０３は、穴埋め処理による剛体画像を生成する。
ステップＳＴ１０において、透過度算出部２０は、非剛体領域の透過度マップを作成する。

＜カメラ姿勢推定工程ＳＴ１０１について＞
カメラ姿勢推定工程ＳＴ１０１においては、動画像の各時刻の画像に対し、ＳＩＦＴ手法により特徴点を検出・記述する。次に、各画像上の特徴点と対応する、異なる時刻の画像上の対応点を特徴ベクトルの距離を指標に判定し、対応関係を求める。次に、バンドル調整（アジャストメント）による最適化で、特徴点の３次元位置と、カメラ姿勢を推定する。

ここで、求められる情報は、
・各時刻の画像上の特徴点の画像上の水平、垂直位置と３次元空間上の（ｘ，ｙ，ｚ）位置、
・カメラの内部パラメータである画像中心（ｃ_ｘ，ｃ_ｙ）、焦点距離（ｆ）、レンズ歪み（ｋ１，ｋ２）
・カメラの外部パラメータ（ｘ，ｙ，ｚ，ｒｏｌｌ，ｐｉｔｃｈ，ｙａｗ）、
である。

ここで、本実施例では、カメラパラメータや特徴点の３次元位置を推定する必要はなく、誤対応の少ない対応関係を求めることができれば、この部分の処理を限定するものではない。

例えば、特徴点を抽出し、それらの特徴ベクトルのユークリッド距離から対応関係を求める方法でもよいし、フレーム双方向で対応関係を求め、同一の対応関係にならなければ、外れ値として除外するような誤対応抑制処理を適用してもよい。

誤対応が少なくすることが、本実施例の高精度化に有利である。よって、本実施例では最適化によりカメラパラメータと特徴点の３次元位置を求める工程により、つまり幾何学的なヒントを利用することにより、外れ値を抑制している。

＜剛体・非剛体領域判定工程ＳＴ１０２について＞
つぎに、基本的な時空間分割について説明を行う。ＳＬＩＣ手法は、図３に示すように、処理対象となる画像Ａに一定間隔（Ｓ）でシードとなる点を配置し、このシード位置の画素情報（又は更新した同じラベルの付いた画素の画素情報の平均値）とシードから２Ｓの範囲の各画素情報との比較し、その類似性を拠り所にラベル付けを繰り返し、領域分割を行う。つまり、この２Ｓは、各画素を評価する範囲となる。

ＳＬＩＣ手法は、被写体の動きを考慮した手法ではないため、本実施例では、時間方向の画像間で同一クラスタ領域の移動量を用い、画素間の画素情報の比較、シード位置の更新に利用し、速い動きの被写体に対しても領域が正しく連結される工夫を行った。

具体的には、ＳＬＩＣで画素間の画素情報の特徴距離を算出する際、従来はその画素情報の色空間で、例えばＬ^＊ａ^＊ｂ^＊表色系で扱い、これと時空間での位置（ｘ，ｙ，ｚ）を加えた６次元の特徴とし、その距離を類似性の基準とする。

例えば、シード位置の画素をＰ、比較対象の画素をＱとすると、それぞれの特徴ベクトルは、下記式で表せる。

また、類似度の評価値Ｄは、下記式で表せる。評価値Ｄは、小さいほど、類似性があることになる。

ここでＳは、配置したシード間の距離（画素）で、ｍは、ＳＬＩＣで領域分割する際の複雑度を表し、ｍを大きくするほど空間上での近接度が重要となる。本実施例では、ｍ＝Ｓとした。

ここで、本実施例では、各時間の画像間で同じラベルの画素を対象として、各時間での２次元重心位置の移動量をキャンセルするようＰｘ，Ｐｙに与えて、評価、３次元重心位置の更新を行う。

これにより、速い動きの被写体が画像上に含まれている場合でも、同じ被写体が同一クラスタに含まれやすくなり、本実施例の目的である剛体領域と非剛体領域の分離の精度を向上することができる。

ただし、本実施例は、被写体の動きの検出手法や、評価式にどのように反映させるかを限定するものではなく、例えば、各フレームの同一クラスタの重心移動量ではなく、各画素のオプティカルフローから平均移動量を考慮する、又は各画素の移動量を考慮するなどの方法でも精度向上は可能である。

＜剛体・非剛体領域判定（重複領域の抽出）＞
剛体・非剛体領域の判定は、領域分割の結果と、カメラパラメータで求められた特徴点の三次元位置情報と、カメラ姿勢情報を利用し、ある時刻の特徴点間が成す三角形パッチを用いて行う。

ここで、カメラ姿勢、特徴点の３次元位置、及び時空間領域における分割処理結果が得られたものと仮定する。
図４に示すように、ある時刻（フレーム）ｔの画像（図４中の画像ｘ_１）に注目すると、その画像に対し、特徴点の３次元位置をカメラ姿勢を用いて投影し、２次元座標を求める。各特徴点の２次元座標は、隣接する特徴点と接続することで、三角形のパッチを形成できる。なお、本実施例では、ドロネー三角形分割手法を用いて三角形のパッチを形成したが、この手法に限定されない。

つぎに、同様の投影を前後の時刻（フレーム）の画像（図４中の画像ｙ_１及び画像ｚ_１）に対し行い、時刻ｔで作成した各三角形に対応する領域を特定する。なお、画像ｙ_１は、時刻ｔよりも時間的に以前の時刻（フレーム）ｔ−１の画像である。画像ｚ_１は、時刻ｔよりも時間的に以後の時刻（フレーム）ｔ＋１の画像である。

つぎに、領域分割結果と三角形領域の対応をとり、領域分割結果が三角形を重複する領域を抽出する。
ここで、時刻ｔについては同じ２次元座標空間であるが、その前後の時刻の画像は重複領域の場所は異なる。そこで、同一の三角形領域は、同じ被写体領域だと仮定すると、時刻ｔの三角形内の各画素は、前後の時刻の三角形領域にアフィン変換により座標変換可能となる。つまり、時刻ｔ以外の重複領域の各画素が、異なる時刻の画像上でどの座標に対応するかが判明することとなる。

図４に示す例では、時刻ｔの画像ｘ_１の中の三角形領域ａ_１に対応する領域は、時刻ｔ−１の画像ｙ_１では、三角形領域ｂ_１であり、また、時刻ｔ＋１の画像ｚ_１では、三角形領域ｃ_１である。

ここで、重複領域の時間変化に対する画像情報の特徴量の変化量を評価することで、剛体と非剛体の判定が可能になる。つまり、剛体では変化が少なく、非剛体では、その被写体の動きが画像の大域的な動きとは異なるため、変化量が多くなる。

図４に示す例では、時刻ｔの画像ｘ_１の中の三角形領域ａ_１は、前後の時刻の同じ三角形領域に基づいて、非剛体が含まれていると判断できる。よって、非剛体領域抽出部１０２は、三角形領域ａ_１から非剛体領域（図４中のＰ_１）を抽出する。

＜剛体・非剛体領域判定（重複領域の評価）＞
つぎに、重複領域の評価方法について述べる。厳密には、上述した三角形領域は、時刻変化に対し、その頂点位置が合致していても、三角形内部に含まれる被写体が平面とは限らないため、誤差が生じる。

例えば、時刻の異なる重複領域に対し、各画素の輝度差などを基準に剛体・非剛体判定を行った場合、判定結果が不安定となる。
そのため、本実施例では、多少の位置誤差が含まれていても模様と色特徴を基準に安定に重複領域の比較を行っている。

具体的には、重複領域を対象にＨｏＧ（Ｈｉｓｔｏｇｒａｍ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔ）及び色類似度を用いて評価を行い、得られた類似度に対して閾値処理を行うことで判定を行う。ＨｏＧについては、輝度勾配の方向と程度からヒストグラムを作成し、これを特徴量とする。

また、色類似度は、輝度成分を除外した色ヒストグラムインターセクションを用いる。本実施例では、色空間は、Ｌ^＊ａ^＊ｂ^＊表色系としたが、これに限定されない。ただし、照明の影響を受けないようＲＧＢ表色系ではなく、ＨＳＶなど輝度と色成分が独立した表色系が好ましい。

通常、色ヒストグラムインターセクションは、各色成分を量子化したものをヒストグラムのビン（ＢＩＮ）と、それぞれの色ヒストグラムを作成する。これを、各ビンで最小値を総和し、一方のヒストグラムの総和で除算した値を類似度とする。

ここで、色空間としてＬ^＊ａ^＊ｂ^＊表色系を採用し、Ｌ（明度）を除き同様の演算により求めた値を本実施例では類似度とする。
これにより照明変化の影響を受けにくい類似度評価値となる。本実施例では、Ｌを除外したが、照明変化の程度に合わせて、Ｌ、ａ、ｂで重みづけをすることも可能である。

＜剛体・非剛体領域判定（判定処理）＞
剛体・非剛体であるかの判定は、重複領域の評価結果に基づき行う。評価パラメータの一つは色ヒストグラムインターセクションであり、これは１．０に近いほど類似していることになる。

もうひとつの評価パラメータであるＨｏＧは、勾配ヒストグラムであり、これについても色ヒストグラムインターセクションを算出すれば、類似しているほど１．０に近づくことになる。

ヒストグラムを特徴ベクトルとして、特徴ベクトル間の距離で評価することも可能である。また、算出した評価パラメータを非線形ＳＶＭで学習して判定したり、それぞれに重みを付けて評価することも可能であるが、本実施例では、実験から経験的に双方ともインターセクションを算出して乗算し、１．０に対し、±０．１以内の評価値のものを剛体と判定した。

＜剛体・非剛体領域判定（ループによる詳細化）＞
ここまでの処理で求めた剛体・非剛体領域情報を、より詳細にするためＳＬＩＣ手法をベースとした領域分割処理における分割数を多く設定し、再分割を行う。
ここで、剛体・非剛体領域の境界については、判定誤りが生じやすいことと、前回のシード間隔では適切に剛体・非剛体領域の分離ができない場合があるため、境界領域では非剛体領域を剛体領域方向へ１領域分膨張させる。

剛体と判定された領域を再度判定する必要はないので、その領域ではシードを設定しない。一方、非剛体と判定された領域に対しては、前回の処理に対し、２倍のシード間隔で座標を設定したシードを与える。

また、シード位置がＳＬＩＣ手法の重心位置算出により更新される場合に、重心位置が剛体領域に移動することがないような拘束条件を与える。なお、本実施例では、剛体領域の画像情報をＲ，Ｇ，Ｂで（０，０，０）の黒と設定したが、これに限定されず、例えば、ＳＬＩＣ内の更新において剛体領域に移動する場合は、Ｘ，Ｙ，Ｚ座標の重心位置更新を行わず、その回の更新時は、前回重心位置更新による値を保持するなどの方法でもよい。

本実施例では、これを繰り返すことで、より細かな領域分割を行う。また、本実施例では、シード間隔が２画素置き（つまり、水平方向及び垂直方向でシードとシードの間に１画素間が空く状態）となるまで繰り返す設定としたが、これに限られず、繰り返し回数と処理時間との間には相関があるため、用途により繰り返し条件を変更してもよい。

＜ポスト・プロセス工程ＳＴ１０３について＞
上述した剛体・非剛体の領域分割処理は、それぞれの境界領域がいわゆるハードエッジとなっている。この状態で、映像加工に利用することは可能である。しかし、映画製作やテレビ番組制作においては、映像合成時に違和感が生じないようソフトエッジで映像素材を用意して用いることが一般的である。また、剛体領域についても、映像加工で利用するには、非剛体領域を取り除いただけでは、穴開きの状態であり、なんらかの映像情報で補填する必要がある。以下、これらの処理について説明する。

＜非剛体を含まない剛体映像の穴埋め処理＞
特定の時刻の非剛体領域に対し、別の時刻同士で同じ領域を比較する。このとき、上述した重複領域の評価方法で、評価を行う。これにより、内容が同一であれば、評価結果は類似度が高く評価される。このことから、統計的に剛体領域であるか否かの判断を行い、剛体領域と判断された映像情報を特定時刻の非剛体領域にアフィン変換を行い補填する。

この補填処理の際に、各映像情報の境界付近で、低域成分や絵柄に不連続が生じ、違和感となる場合がある。そこで、本実施例では、それぞれの境界領域１画素分を互いの隣接する画素との平均値とすることで違和感を低減させている。

この違和感に対する対策方法は、特に限定されるものではなく、例えば、色味を貼り付け先画像つまり穴開きの剛体領域のものに似せ、テクスチャ（画像の勾配）は貼り付け元画像、つまり別の時刻の非剛体領域に対応する剛体領域画像のものを使うことで自然な画像合成を実現する。以下の論文に掲載された手法を利用することも可能である。
Ｐ．Ｐｅｒｅｚ，Ｍ．Ｇａｎｇｎｅｔ ａｎｄ Ａ．Ｂｌａｋｅ：”Ｐｏｉｓｓｏｎ ｉｍａｇｅ ｅｄｉｔｉｎｇ”，Ｐｒｏｃ．ＳＩＧＧＲＡＰＨ，２２（３），ｐｐ．３１３−３１８（２００３）

図４に示す例では、時刻ｔの画像ｘ_１から非剛体領域（図４中のＰ_１）が抽出された画像ｘ_２は、抽出された部分を他の画像（図４中の画像ｙ_２と画像ｚ_２）を利用して埋める処理を行う様子を示している。画像ｙ_２は、時刻ｔ−１の画像であり、画像ｚ_２は、時刻ｔ＋１の画像である。
時刻ｔの画像ｘ_２の中の三角形領域ａ_２に対応する領域は、時刻ｔ−１の画像ｙ_２では、三角形領域ｂ_２であり、また、時刻ｔ＋１の画像ｚ_２では、三角形領域ｃ_２である。

三角形領域ｂ_２から非剛体領域Ｐ_１に相当する部分Ｐ_２を切り出し、また、三角形領域ｃ_２から非剛体領域Ｐ_２に相当する部分Ｐ_３を切り出す。そして、切り出した部分Ｐ_２と部分Ｐ_３を三角形領域ａ_２の該当する部分に合成する。このようにして、非剛体の映像を作成する。

＜非剛体領域の透過度マップ生成（αプレーン作成）＞
映像合成を行う際に、背景画像と前景画像を違和感なく合成するために考慮するべき点として、境界領域の自然さがあげられる。通常は、ハードエッジではなく、背景と前景の境界画素をブレンドしソフトエッジとすることで違和感の低減を行っている。具体的には前景となる画像、例えば、ＲＧＢ画像であれば、さらに透過度の分布を表す画像プレーン（αプレーン）を加え、この値を前景と背景の混合割合として映像合成を行う。

非剛体領域を除いた剛体のみの画像Ｉｒを作成している。これは、映像合成でいうところの背景画像にあたり、非剛体領域との境界では、一定の混合率で非剛体映像ブレンドされている。

ここで、撮影された非剛体・剛体が分離されていない画像をＩ_ｃとし、非剛体のみの画像をＩ_ｎとする。画像非剛体領域の透過率をα（０から１）で表し、０は透過、１は非透過、その間は画素混合が行われ、以下の式であらわす映像合成が行われると仮定できる。
Ｉ_ｃ＝Ｉ_ｎα＋Ｉ_ｒ（１−α） ・・・（６）
Ｉ_ｒは、上述で求めている。一方、Ｉ_ｃは、撮影された映像そのものである。透過度付き非剛体映像を求めるには、未知数は、厳密にはＩ_ｎ、αであり、これらを推定する必要がある。

ここで、αプレーンは、画像上の２次元座標（ｘ，ｙ）とすると０≦α（ｘ，ｙ）≦１となる。ここで、自然画像からαを推定する従来手法としてＰｏｉｓｓｏｎ Ｍａｔｔｉｎｇ（以下の論文参照）などがあげられる。
Ｊ．Ｓｕｎ，Ｊ．Ｊｉａ，Ｃ．Ｋ．Ｔａｎｇ，Ｈ．Ｙ．Ｓｈｕｍ，Ｐｏｉｓｓｏｎ ｍａｔｔｉｎｇ，ＳＩＧＧＲＡＰＨ，２００４

これらは撮影画像から特定の被写体領域をαを含め抜き出す手法である。抜き出す対象を前景領域、背景を背景領域を手動で指定し、それら境界部分を未知領域とし、最適化により未知領域のαを推定する手法である。

本実施例では、非剛体領域、剛体領域の境界、２画素幅を未知領域とし、非剛体領域から未知領域を除いた領域を前景領域、剛体領域から未知領域を除いた領域を背景領域とし、Ｐｏｉｓｓｏｎ Ｍａｔｔｉｎｇによりαを推定する。なお、本実施例では、αを推定する方法を限定するものではなく、前景領域、背景領域、未知領域のＴｒｉｍａｐを与えることでαを推定する手法、例えば、以下の論文に示されている手法を適用してもよい。
Ｘｉａｏｗｕ Ｃｈｅｎ，Ｄｏｎｇｑｉｎｇ Ｚｏｕ，ＰｉｎｇＴａｎ，Ｉｍａｇｅ Ｍａｔｔｉｎｇ ｗｉｔｈ Ｌｏｃａｌ ａｎｄ ＮｏｎｌｏｃａｌＳｍｏｏｔｈ Ｐｒｉｏｒｓ，ＣＶＰＲ２０１３
以上の手法により非剛体領域の高精度な透過度、領域情報を取得する。

従来、特定の被写体領域を抽出するには、一定の撮影環境を用意するか、撮影後の後処理において、手作業で切り出し作業をする必要があり、煩雑であった。一般的には、切り出しは、映像上の人物を切り出すニーズが高い。

本実施例に係る画像処理装置１は、移動物体等の非剛体を対象として、自動で抽出することができ、プロフェッショナルなクリエイターの煩雑な作業を低減するとともに、映像制作のスキルを持ち合わせない、一般ユーザでも高度な映像合成が可能になる。

また、本実施例では、主に、対象となる部分（非剛体部分）を手作業によらずに分離する画像処理装置の構成と動作について説明したが、これに限られず、各構成要素を備え、対象となる部分（非剛体部分）を手作業によらずに分離するための方法、及びプログラムとして構成されてもよい。

さらに、画像処理装置の機能を実現するためのプログラムをコンピュータで読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。

ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータで読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

さらに「コンピュータで読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時刻の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時刻プログラムを保持しているものも含んでもよい。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。

１ 画像処理装置
１１ 特徴点検出部
１２ 対応点探索部
１３ 多角形状分割部
１４ 領域分割部
１５ 抽出部
１６ 特定部
１７ 判断部
１８ 分離部
１９ 算出部
２０ 透過度算出部
２１ 第１類似度判定部
２２ 第２類似度判定部
２３ 処理部
１０１ カメラ姿勢推定部
１０２ 非剛体領域抽出部
１０３ 剛体映像生成部

Claims (6)

1. 複数のフレームで構成されるコンテンツにおいて、各フレームの画像から特徴点を検出する特徴点検出部と、
   前記特徴点検出部により検出された各特徴点の特徴量に基づいて、各フレームの画像間の対応点を探索する対応点探索部と、
   対象となるフレームの画像において、隣接するｎ個の特徴点を連結して複数の多角形状に分割し、前記対象となるフレームの画像の前又は／及び後のフレームの画像に対して、前記複数の多角形状を投影する多角形状分割部と、
   前記対象となるフレームの画像及び前記対象となるフレームの画像の前又は／及び後のフレームの画像において、画素同士の類似性に基づいて、各画像を複数の領域に分割する領域分割部と、
   前記多角形状分割部により複数の多角形状に分割した前記対象となるフレームの画像と、前記領域分割部により複数の領域に分割した前記対象となるフレームの画像とを比較し、各多角形状の位置に対応する各分割領域を重複領域として抽出する抽出部と、
   前記対応点探索部により探索した対応点に基づいて、前記対象となるフレームの画像の前又は／及び後のフレームの画像から、前記抽出部で抽出された各重複領域に対応する対応領域を特定する特定部と、
   前記抽出部で抽出された各重複領域と、前記特定部で特定された各対応領域とを比較して、変化量を算出し、算出した変化量が所定の閾値を超える場合には、その重複領域には非剛体が含まれると判断する判断部と、
   前記領域分割部により分割した領域に基づいて、前記判断部により非剛体が含まれていると判断された重複領域から非剛体部分を分離する分離部とを備える画像処理装置。
2. 前記対応点探索部により探索された各フレームの画像間の対応点を利用して、バンドル調整による最適化により、各特徴点の３次元位置と、前記コンテンツを撮像したカメラのカメラ姿勢を推定し、前記各特徴点の３次元位置と、前記カメラ姿勢に基づいて、特徴点を３次元空間に逆投影し、さらに画像面に再投影し、特徴点と再投影点の距離を再投影誤差として算出し、所定の大きさ以上離れている特徴点を特定する算出部を備え、
   前記対応点探索部は、前記特徴点検出部により検出された各特徴点から前記算出部により特定された特徴点を除外し、残った特徴点の特徴量に基づいて、各フレームの画像間の対応点を探索する請求項１記載の画像処理装置。
3. 前記分離部により各重複領域から非剛体部分を分離した後、非剛体部分を前景領域とし、前記前景領域以外の部分を背景領域とし、前記前景領域と前記背景領域の境界領域からトライマップを作成し、前記前景領域と前記背景領域の連続性に基づいて、前記前景領域の境界部分の透過度を算出する透過度算出部を備える請求項１又は２記載の画像処理装置。
4. 前記分離部により各重複領域から非剛体部分を分離した分離領域と、前記対象となるフレームの画像の前又は／及び後のフレームの画像において前記分離領域に対応する対応領域とを比較して、類似度を判定する第１類似度判定部と、
   前記対象となるフレームの画像の前及び後のフレームの画像において前記分離領域に対応する対応領域同士を比較して、類似度を判定する第２類似度判定部と、
   前記第１類似度判定部による判定結果から類似度が所定値よりも低いと判定され、前記第２類似度判定部により類似度が所定値よりも高いと判定された場合、前記対象となるフレームの画像の前又は後のフレームの画像において前記分離領域に対応する対応領域のうち、類似度が高い方の対応領域を切り出して前記分離領域に張り付ける処理部を備える請求項１又は２記載の画像処理装置。
5. 複数のフレームで構成されるコンテンツにおいて、各フレームの画像から特徴点を検出する特徴点検出工程と、
   前記特徴点検出工程により検出された各特徴点の特徴量に基づいて、各フレームの画像間の対応点を探索する対応点探索工程と、
   対象となるフレームの画像において、隣接するｎ個の特徴点を連結して複数の多角形状に分割し、前記対象となるフレームの画像の前又は／及び後のフレームの画像に対して、前記複数の多角形状を投影する多角形状分割工程と、
   前記対象となるフレームの画像及び前記対象となるフレームの画像の前又は／及び後のフレームの画像において、画素同士の類似性に基づいて、各画像を複数の領域に分割する領域分割工程と、
   前記多角形状分割工程により複数の多角形状に分割した前記対象となるフレームの画像と、前記領域分割工程により複数の領域に分割した前記対象となるフレームの画像とを比較し、各多角形状の位置に対応する各分割領域を重複領域として抽出する抽出工程と、
   前記対応点探索工程により探索した対応点に基づいて、前記対象となるフレームの画像の前又は／及び後のフレームの画像から、前記抽出工程で抽出された各重複領域に対応する対応領域を特定する特定工程と、
   前記抽出工程で抽出された各重複領域と、前記特定工程で特定された各対応領域とを比較して、変化量を算出し、算出した変化量が所定の閾値を超える場合には、その重複領域には非剛体が含まれると判断する判断工程と、
   前記領域分割工程により分割した領域に基づいて、前記判断工程により非剛体が含まれていると判断された重複領域から非剛体部分を分離する分離工程とを備える画像処理方法。
6. 複数のフレームで構成されるコンテンツにおいて、各フレームの画像から特徴点を検出する特徴点検出工程と、
   前記特徴点検出工程により検出された各特徴点の特徴量に基づいて、各フレームの画像間の対応点を探索する対応点探索工程と、
   対象となるフレームの画像において、隣接するｎ個の特徴点を連結して複数の多角形状に分割し、前記対象となるフレームの画像の前又は／及び後のフレームの画像に対して、前記複数の多角形状を投影する多角形状分割工程と、
   前記対象となるフレームの画像及び前記対象となるフレームの画像の前又は／及び後のフレームの画像において、画素同士の類似性に基づいて、各画像を複数の領域に分割する領域分割工程と、
   前記多角形状分割工程により複数の多角形状に分割した前記対象となるフレームの画像と、前記領域分割工程により複数の領域に分割した前記対象となるフレームの画像とを比較し、各多角形状の位置に対応する各分割領域を重複領域として抽出する抽出工程と、
   前記対応点探索工程により探索した対応点に基づいて、前記対象となるフレームの画像の前又は／及び後のフレームの画像から、前記抽出工程で抽出された各重複領域に対応する対応領域を特定する特定工程と、
   前記抽出工程で抽出された各重複領域と、前記特定工程で特定された各対応領域とを比較して、変化量を算出し、算出した変化量が所定の閾値を超える場合には、その重複領域には非剛体が含まれると判断する判断工程と、
   前記領域分割工程により分割した領域に基づいて、前記判断工程により非剛体が含まれていると判断された重複領域から非剛体部分を分離する分離工程とをコンピュータに実行させるためのプログラム。

Images