JP2005202706A - 動体を含まない画像の合成処理 - Google Patents

Abstract

【課題】 画像内の動体を検出して確実に動体を含まない画像を生成することを可能とする。
【解決手段】 画像生成装置は、基準画像データを設定する基準画像設定部と、基準画像データと１つの画像データとを用いて、基準画像内の動体を検出し、基準画像内の動体を内包する動体領域を設定する動体検出部とを備えている。また、画像生成装置は、複数の画像データの表す画像の中から、基準画像内の動体領域に対応する画像領域に動体を含まない画像を探索し、検出された画像を置換領域画像として設定する置換領域画像検出部と、基準画像データの内、基準画像内の動体領域を除く画像領域の画像を表す画像データと、置換領域画像を表す画像データとを用いて、動体を含まない画像を表す画像データを合成する画像合成部とを備えている。
【選択図】 図３

Description

本発明は、複数の画像データから、動体を含まない画像を表す画像データを合成する技術に関する。

カメラなどの画像生成装置で風景や静物を撮影するとき、近くに通行している人や自動車など（動体）が存在していると、それが邪魔になって、ユーザーの希望する画像が得られない場合がある。また、そのような場合に、ビデオカメラなどの動画像生成装置を用いて所定時間撮影を行ったとしても、動体を含まない画像が得られない場合がある。

このような場合に、動体を含まない画像を生成する技術として、動画像を構成する複数のフレーム画像について各対応画素毎に画素データのヒストグラムを取り、各画素毎に最も出現頻度の高い画素データを選択することにより、動体を含まない画像を生成する技術がある。

特開平９−１４９３６４号公報 特開２００３−２８８６０１号公報

しかし、上記のような技術では、フレーム画像内の動体を検出している訳ではないので、種々の画像に対して確実に動体を消去して動体を含まない画像を生成することが困難であるという問題があった。

本発明は、上述した従来の課題を解決するためになされたものであり、画像内の動体を検出して確実に動体を含まない画像を生成することを可能とする技術を提供することを目的とする。

上記課題を解決するために、本発明の画像生成装置は、複数の画像データから１つの画像データを合成する画像生成装置であって、
前記複数の画像データの中の１つの画像データを基準画像データとして設定する基準画像設定部と、
前記基準画像データと、前記複数の画像データの中の前記基準画像データ以外の少なくとも１つの画像データとを用いて、前記基準画像データの表す基準画像内の動体を検出し、前記基準画像内の前記動体を内包する動体領域を設定する動体検出部と、
前記複数の画像データの表す画像の中から、前記基準画像内の動体領域に対応する画像領域に動体を含まない画像を探索し、前記探索によって検出された画像を置換領域画像として設定する置換領域画像検出部と、
前記基準画像データの内、前記基準画像内の動体領域を除く画像領域の画像を表す画像データと、前記置換領域画像を表す画像データとを少なくとも用いて、動体を含まない画像を表す画像データを合成する画像合成部とを備える。

この画像生成装置は、基準画像内の動体を検出して動体領域を設定し、基準画像データ以外の画像データから、動体を含まない画像である置換領域画像を検出して、動体を含まない画像を合成する。このように、この画像生成装置によれば、画像内の動体を検出して確実に動体を含まない画像を生成することができる。

上記画像生成装置において、前記動体検出部は、動体検出に用いる画像データの表す画像相互の画像全体としてのずれ量を推定し、前記推定したずれ量を用いて、前記画像データの内の少なくとも１つの画像データを補正するずれ補正部を備えるとしてもよい。

このようにすれば、基準画像内の動体の検出を正確かつ迅速に行うことができると共に、生成する動体を含まない画像をより自然な画像とすることができる。

また、上記画像生成装置において、前記動体検出部は、前記動体領域の設定を、前記基準画像を分割して得られる基準ブロック単位で行い、
前記置換領域画像検出部は、前記置換領域画像の検出を前記基準ブロック単位で行うとしてもよい。

このようにすれば、基準画像内の動体領域の設定や置換領域画像の検出を正確かつ迅速に行うことができると共に、画像生成処理の高速化を図ることができる。

また、上記画像生成装置において、前記複数の画像データは、動画像を構成する時系列的に連続したフレーム画像データであるとしてもよい。

このようにすれば、動画像中の任意のフレーム画像を基準として、動体を含まない画像を生成することができる。

また、上記画像生成装置において、前記動体検出部による動体の検出は、前記基準画像データと、前記基準画像データと時系列的に連続しているフレーム画像データとを用いて行うとしてもよい。

このようにすれば、両フレーム画像データ間における、画像全体としてのずれの影響が比較的少ない上、非動体の画像を表す画像領域の画素値の変化も比較的少ないため、迅速かつ確実に動体の検出を行うことができることができる。

また、上記画像生成装置において、前記置換領域画像検出部による置換領域画像の探索は、前記基準画像データと生成時刻がより近いフレーム画像データの表す画像内を優先的に探索するとしてもよい。

このようにすれば、基準画像データと生成時刻がより近いフレーム画像データの表す画像から置換領域画像が検出されやすく、そのような置換領域画像を用いて画像を合成すれば、より自然な画像を生成することができる。

また、上記画像生成装置において、前記置換領域画像検出部による置換領域画像の探索は、前記基準画像データの生成時刻から所定時間離れた時刻に生成されたフレーム画像データの表す画像内を優先的に探索するとしてもよい。

このようにすれば、基準画像内に動きの遅い動体を表す画像領域があるときも、置換領域画像の検出を迅速に行うことができる。

また、上記画像生成装置において、前記画像合成部における画像データの合成は、前記置換領域画像を表す画像データを含む前記複数の画像データの中の少なくとも１つの画像データの内、前記基準画像内の動体領域に対応する画像領域以外の画像領域における動体を含まない画像を表す画像データを用いて行うとしてもよい。

このようにすれば、置換換領域画像を表す画像データを含む画像データの内、基準画像内の動体領域に対応する画像領域の画像を表す画像データだけでなく、それ以外の画像領域の画像を表す画像データを用いて、画像合成を行うことができ、より自然な画像を容易に生成することができる。

さらに、前記合成される画像データは、前記複数の画像データよりも解像度の高い画像データであるとしてもよい。

このようにすれば、動体を含まない画像を解像度の高い画像として生成することができると共に、より自然な画像を生成することができる。

なお、本発明は、種々の態様で実現することが可能であり、例えば、画像生成方法および装置、画像データ処理方法および装置、これらの方法または装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体、そのコンピュータプログラムを含み搬送波内に具現化されたデータ信号、等の形態で実現することができる。

次に、本発明の実施の形態を実施例に基づいて以下の順序で説明する。
Ａ．第１実施例：
Ａ−１．画像生成システムの構成：
Ａ−２．画像生成処理の概要：
Ａ−３．基準フレーム画像内の動体検出：
Ａ−４．ずれ補正：
Ａ−５．置換領域画像の検出：
Ａ−６．画像合成：
Ｂ．変形例：

Ａ．第１実施例：
Ａ−１．画像生成システムの構成：
図１は、本発明の第１実施例としての画像生成システムの構成を概略的に示した説明図である。この画像生成システム１００は、コンピュータ１０と、コンピュータ１０に情報を入力する装置としてのキーボード１２０およびマウス１３０と、情報を出力する装置としてのディスプレイ１５０およびプリンタ２０と、コンピュータ１０に動画像データを入力するデジタルビデオカメラ３０およびＣＤ−Ｒ／ＲＷドライブ１４０とを備えている。なお、動画像データを入力する装置としては、ＤＶＤドライブ等の種々の情報記憶媒体からデータを読み出すことが可能な駆動装置を備えることも可能である。

コンピュータ１０は、所定のオペレーティングシステムの下で、画像データを生成するためのアプリケーションプログラムを実行することにより、画像内に動体を含まない画像を表す画像データの生成を行う。このアプリケーションプログラムは、画像生成制御部１１と、フレーム画像取得部１２と、基準画像設定部１３と、ずれ補正部１４と、動体検出部１５と、置換領域画像検出部１６と、画像合成部１７との機能を有している。

画像生成制御部１１は、画像生成処理の全体を制御する。例えば、キーボード１２０やマウス１３０からユーザによって画像データの生成の指示が入力されると、画像生成制御部１１は各部の動作を制御して、画像内に動体を含まない画像を表す画像データを生成する。さらに、画像生成制御部１１は、生成された画像データを、図示しないプリンタドライバを介してプリンタ２０に印刷させることもできる。

なお、本明細書において、例えば、風景や静物以外の通行人や通行車両などのように、画像内における動きのあるものを「動体」と呼ぶ。また、本明細書において、画像内に動体を含まない画像を「非動体画像」と呼び、非動体画像を表す画像データを「非動体画像データ」と呼ぶ。

Ａ−２．画像生成処理の概要：
図２は、画像生成システム１００を用いて非動体画像データを生成する処理の流れを示すフローチャートである。また、図３は、画像生成システム１００を用いて非動体画像データを生成する処理の内容を概念的に示した説明図である。以下、図２および図３を用いて、画像生成システム１００による非動体画像データの生成処理の概要を説明する。

ステップＳ１００（図２）では、フレーム画像取得部１２が、デジタルビデオカメラ３０から、動画像を構成する複数のフレーム画像データを取得する。動画像は、時系列的に連続した複数のフレーム画像データで構成されており、個々のフレーム画像は、通常は、ノンインターレース方式の静止画像として構成されている。なお、本明細書においては、フレーム画像データが表す画像を「フレーム画像」と呼ぶ。

図３の上段には、取得されたフレーム画像データの表すフレーム画像を、左側から右側へと時系列順に並べて示している。

ステップＳ２００（図２）では、基準画像設定部１３が、基準フレーム画像データの設定を行う。基準フレーム画像データは、ステップＳ１００で取得した複数のフレーム画像データの中の１つのフレーム画像データである。基準画像設定部１３は、例えば、動画像再生中にユーザーによってキーボード１２０やマウス１３０から指示が入力されると、指示が入力されたときのフレーム画像データを基準フレーム画像データとして設定する。

図３の上段には、設定された基準フレーム画像データの表す基準フレーム画像Ｆ（０）を示している。なお、本明細書において、基準フレーム画像データの表す基準フレーム画像Ｆ（０）を基準として、時系列的にＸフレーム前のフレーム画像をＦ（−Ｘ）と表し、時系列的にＸフレーム後のフレーム画像をＦ（Ｘ）と表す。例えば、基準フレーム画像Ｆ（０）より１フレーム前のフレーム画像はＦ（−１）と表され、基準フレーム画像Ｆ（０）より１フレーム後のフレーム画像はＦ（１）と表される。

ステップＳ３００（図２）では、動体検出部１５が、基準フレーム画像Ｆ（０）内の動体を検出し、基準フレーム画像Ｆ（０）内の動体を内包する基準動体領域ｓＭＡを設定する。図３の中段には、基準フレーム画像Ｆ（０）内に基準動体領域ｓＭＡが設定された様子を示しており、基準動体領域ｓＭＡを太線で囲って示している。本実施例では、動体である自動車を内包する領域が基準動体領域ｓＭＡとして設定されている。動体検出部１５による動体の検出および基準動体領域ｓＭＡの設定については、後に詳述する。

ステップＳ４００（図２）では、置換領域画像検出部１６が、ステップＳ１００で取得された複数のフレーム画像データの表す画像を探索し、置換領域画像の検出を行う。ここで、本明細書において、「置換領域画像」とは、基準フレーム画像Ｆ（０）内の基準動体領域ｓＭＡに対応する画像領域の少なくとも一部の領域の画像であって、動体を含まない画像をいう。すなわち、置換領域画像は、基準動体領域ｓＭＡの画像を、動体を含まない画像に置き換えるために用いることができる画像である。なお、置換領域画像を表す画像データを「置換領域画像データ」と呼ぶ。

置換領域画像の検出は、基準動体領域ｓＭＡに対応する画像領域内のすべての領域について検出されるまで行われる。すなわち、基準動体領域ｓＭＡの画像全体を、動体を含まない画像に置き換えるために必要な１つまたは複数の置換領域画像が検出されるまで行われる。

図３の中段には、例えばフレーム画像Ｆ（ｍ）を探索して検出された置換領域画像ＳＡＰを太線で囲って示している。図に示すように、対象画像領域ＳＡＰ内には動体が含まれていない。置換領域画像検出部１６による置換領域画像の検出については、後に詳述する。

ステップＳ５００（図２）では、画像合成部１７が、基準フレーム画像データの内、基準動体領域ｓＭＡを除く画像領域を表す画像データと、置換領域画像を表す画像データとを合成して、画像内に動体を含まない画像（非動体画像）を表す非動体画像データを生成する。図３の下段には、画像合成部１７によって生成された非動体画像データの表す非動体画像ＮＭＰを示している。画像合成部１７による画像合成については、後に詳述する。

なお図３では、説明をわかりやすくするために、検出された１つの置換領域画像ＳＡＰが、基準動体領域ｓＭＡ全体に対応するものとなっている例を用いているが、基準動体領域ｓＭＡの一部の領域に対応する複数の置換領域画像が検出される場合もある。このときは、複数の置換領域画像を表す複数の画像データを用いて、非動体画像データの生成を行うこととなる。

以上のようにして、画像生成システム１００は、複数のフレーム画像データを用いて、画像内に動体を含まない画像（非動体画像）を表す非動体画像データを生成する。以下、基準フレーム画像内の動体検出（ステップＳ３００）、置換領域画像の検出（ステップＳ４００）および画像合成（ステップＳ５００）の詳細について、順次説明する。

Ａ−３．基準フレーム画像内の動体検出：
図４は、基準フレーム画像内の動体検出（図２のステップＳ３００）の処理の一例を概念的に示した説明図である。本実施例では、基準フレーム画像Ｆ（０）と、基準フレーム画像Ｆ（０）の１フレーム後のフレーム画像Ｆ（１）とを用いて、基準フレーム画像Ｆ（０）内の動体検出を行っている。これは、時系列的に連続したフレーム画像を用いて動体検出を行えば、画像全体としてのずれの影響が少ない上、非動体の画像を表す領域の画素値の変化も少ないため、迅速かつ確実に動体の検出を行うことができるからである。

また、本実施例では、基準フレーム画像Ｆ（０）を８列×６行の計４８個の基準ブロックに分割し、基準ブロック単位で動体検出を行っている。図４（ａ）の左側には、動体検出に用いられる基準フレーム画像Ｆ（０）とフレーム画像Ｆ（１）とを示しており、基準フレーム画像Ｆ（０）が基準ブロックに分割された様子を示している。

動体検出の始めに、ずれ補正部１４が、フレーム画像Ｆ（１）の、基準フレーム画像Ｆ（０）に対する画像全体としてのずれを推定し、推定したずれ量を用いてフレーム画像Ｆ（１）のずれ補正を行う。動画像を構成する複数のフレーム画像は、相互に画像全体としてずれが生じている場合がある。そこで、ずれ補正部１４によるずれ補正により画像全体としてのずれを補正してから動体検出を行うことによって、動体の検出を正確かつ迅速に行うことができる。ずれ補正部１４によるずれ補正については、後に詳述する。

図４（ａ）の右側には、基準フレーム画像Ｆ（０）とずれ補正部１４により補正されたフレーム画像Ｆ（１）とを重ね合わせた状態を示している。フレーム画像Ｆ（１）に対してずれ補正を行ったために、両画像のそれぞれの縁は重なっていない。また、両画像内の非動体（家や木など）は、ほとんど重なって表示されているが、動体（自動車）は、基準フレーム画像Ｆ（０）生成時からフレーム画像Ｆ（１）生成時の間に移動しているので、２重に表示されている。

次に、動体検出部１５は、基準フレーム画像Ｆ（０）と補正されたフレーム画像Ｆ（１）とを重ね合わせた状態で、基準フレーム画像Ｆ（０）の基準ブロックを分割する分割線を用いてフレーム画像Ｆ（１）をブロックに分割する。こうすることによって、両画像相互のずれが補正された状態で、基準フレーム画像Ｆ（０）のブロック分割に合わせたフレーム画像Ｆ（１）のブロック分割を行うことができる。なお、本明細書において、あるフレーム画像を、基準フレーム画像Ｆ（０）のブロック分割に合わせたブロックに分割することを基準ブロック分割と呼ぶ。

次に、動体検出部１５は、基準フレーム画像Ｆ（０）内の各ブロックについて、ブロック内の画像に動体が含まれるか否かを判定し、各ブロックを、動体が含まれる動体ブロックと、動体が含まれない非動体ブロックとに判別する。基準フレーム画像Ｆ（０）内の各ブロックの判別は、基準フレーム画像Ｆ（０）内の各ブロックの画像と、フレーム画像Ｆ（１）内の対応するブロックの画像とを用いて行う。

例えば、図４（ａ）においてハッチングを付して示したブロックＢｉについて判別を行うときは、基準フレーム画像Ｆ（０）内のブロックＢｉの画像Ｂｉ（０）と、フレーム画像Ｆ（１）内のブロックＢｉの画像Ｂｉ（１）とを用いて行う。図４（ｂ）には、画像Ｂｉ（０）および画像Ｂｉ（１）を拡大して示している。説明の便宜上、画像Ｂｉ（０）および画像Ｂｉ（１）には、ブロックの中心位置を示す十字の印を追加的に示している。なお、本明細書においては、フレーム画像Ｆ（ｘ）内のブロックＢｉの画像をＢｉ（ｘ）と表す。

基準フレーム画像Ｆ（０）内のブロックＢｉについての判別は、例えば、画像Ｂｉ（０）に対する画像Ｂｉ（１）の移動量を求め、求めた移動量の大きさによって行う。すなわち、例えば、画像Ｂｉ（０）および画像Ｂｉ（１）を完全に重ね合わせた状態から、画像Ｂｉ（１）の位置を様々に移動させて、画像Ｂｉ（０）と画像Ｂｉ（１）との重なった画素の画素値の差分を各画素について求め、各画素についての画素値の差分の二乗和の値が最小となるような画像Ｂｉ（１）の位置を求める。画像Ｂｉ（１）の元の位置からその位置までの移動距離を、画像Ｂｉ（０）に対する画像Ｂｉ（１）の移動量とする。求めた移動量が所定の閾値より小さいときは、そのブロックを非動体ブロックと判別し、求めた移動量が所定の閾値以上のときは、そのブロックを動体ブロックと判別する。

図４（ｃ）には、画像Ｂｉ（０）に対する画像Ｂｉ（１）の移動量を求めた結果の状態を示している。図４（ｃ）の例では、画像Ｂｉ（０）と画像Ｂｉ（１）とがほぼ完全に重なっており、移動量は所定の閾値より小さいので、基準フレーム画像Ｆ（０）内のブロックＢｉは非動体ブロックであると判別される。

なお、ブロック内に動体が含まれない非動体ブロックは、理想的には移動量がゼロになるが、実際には、移動量が完全にゼロになることは困難な場合がある。従って、所定の閾値を定め、所定の閾値より小さいときは、そのブロックが非動体であると判別している。

図５は、基準フレーム画像内の他のブロックにおける動体検出の処理の例を概念的に示した説明図である。図５では、図４における説明で用いたブロックＢｉとは別のブロックであるブロックＢｊについて動体ブロックか非動体ブロックかの判別を行っている例を示している。図５（ａ）の右側には、図４（ａ）と同様に、基準フレーム画像Ｆ（０）とずれ補正部１４により補正されたフレーム画像Ｆ（１）とを重ね合わせた状態を示している。そして、図５（ｂ）には、基準フレーム画像Ｆ（０）およびフレーム画像Ｆ（１）内における、判別を行うブロックＢｊの画像である画像Ｂｊ（０）および画像Ｂｊ（１）を拡大して示している。また、図４（ｃ）には、画像Ｂｊ（０）に対する画像Ｂｊ（１）の移動量を求めた結果の状態を示しており、移動量を画像Ｂｊ（０）および画像Ｂｊ（１）の中心位置を結ぶ矢印の長さで示している。

図５の例では、画像Ｂｊ（０）内に含まれている自動車の画像が動体を表す画像であるため、画像Ｂｊ（１）内における自動車の画像の位置は、画像Ｂｊ（０）内における位置から移動している。従って、画像Ｂｊ（０）に対する画像Ｂｊ（１）の移動量を求めると、図５（ｃ）に示すように、移動量が大きくなる。この移動量は、所定の閾値以上であり、基準フレーム画像Ｆ（０）内のブロックＢｊは動体ブロックであると判別される。

動体検出部１５は、基準フレーム画像Ｆ（０）内の各ブロックについて、上記のような処理により動体ブロックか非動体ブロックかの判別を行う。そして、基準フレーム画像Ｆ（０）内のブロックの内、動体ブロックと判別されたブロックの領域を基準動体領域ｓＭＡとして設定する。図６は、動体検出部１５による動体検出結果を概念的に示した説明図である。本実施例では、基準フレーム画像Ｆ（０）内のブロックＢｊおよびブロックＢｋが動体ブロックと判別され、ブロックＢｊとブロックＢｋとを合わせた領域が基準動体領域ｓＭＡとして設定される。

Ａ−４．ずれ補正：
ここで、上述したずれ補正部１４によるずれ補正について、以下説明する。図７は、フレーム画像Ｆ（１）の基準フレーム画像Ｆ（０）に対するずれについて示す説明図である。

画像の位置ずれは、並進（横方向または縦方向）のずれと、回転のずれとの組み合わせで表される。図７では、基準フレーム画像Ｆ（０）の縁と、フレーム画像Ｆ（１）の縁とを重ねた状態を示している。また、基準フレーム画像Ｆ（０）の中心位置に十字印Ｘ０を追記し、この十字印Ｘ０が、フレーム画像Ｆ（１）と同様にずれたとして、フレーム画像Ｆ（１）上に、ずれた結果の十字印Ｘ１を示している。また、基準フレーム画像Ｆ（０）および十字印Ｘ０を太い実線で示すとともに、フレーム画像Ｆ（１）および十字印Ｘ１を細い破線で示している。

本実施例では、横方向の並進ずれ量を「ｕｍ」、縦方向の並進ずれ量を「ｖｍ」、回転ずれ量を「δｍ」とそれぞれ表す。例えば、図７に示すように、フレーム画像Ｆ（１）は、基準フレーム画像Ｆ（０）に対して、並進ずれ、および回転ずれが生じており、そのずれ量はそれぞれ、ｕｍ、ｖｍ、δｍと表される。

図８は、フレーム画像Ｆ（１）の基準フレーム画像Ｆ（０）に対するずれの補正について示す説明図である。図８では、上記ずれ量を補正し、フレーム画像Ｆ（１）と基準フレーム画像Ｆ（０）とを重ね合わせた状態を示している。このような補正を行うために用いられる横方向の並進補正量を「ｕ」と、縦方向の並進補正量を「ｖ」と、回転補正量を「δ」とそれぞれ表す。ここで、補正とは、フレーム画像Ｆ（１）の各画素の位置を、横方向にｕの移動、縦方向にｖの移動、およびδの回転を施した位置に移動させることを意味する。従って、フレーム画像Ｆ（１）についての補正量ｕ、ｖ、δは、ｕ＝−ｕｍ、ｖ＝−ｖｍ、δ＝−δｍの関係で表される。

ずれ補正部１４は、フレーム画像Ｆ（１）と基準フレーム画像Ｆ（０）とに基づき、フレーム画像Ｆ（１）の補正量ｕ、ｖ、δを、例えばパターンマッチ法や勾配法および最小自乗法による所定の算出式を用いて算出する。ずれ補正部１４は、このようにして算出された補正量ｕ、ｖ、δを用いて、フレーム画像Ｆ（１）のずれ補正を行う。

ずれ補正部１４によるずれ補正を行った結果、図８に示すように、画像内の非動体はほぼ重なった状態となる。

Ａ−５．置換領域画像の検出：
次に、置換領域画像検出部１６による置換領域画像の検出（図２のステップＳ４００）について説明する。置換領域画像の検出は、ステップＳ１００（図２）で取得された複数のフレーム画像データの表す画像を探索し、置換領域画像の検出を行う処理である。ここで、前述したように、置換領域画像とは、基準フレーム画像Ｆ（０）内の基準動体領域ｓＭＡに対応する画像領域の少なくとも一部の領域の画像であって、動体を含まない画像をいう。従って、本実施例では、各フレーム画像を探索して、基準動体領域ｓＭＡに対応する画像領域であるブロックＢｊおよびブロックＢｋ（図６）の画像であって、動体を含まない画像を、検出する処理を行うこととなる。

本実施例では、基準フレーム画像Ｆ（０）を表す基準フレーム画像データと生成時刻がより近いフレーム画像データの表すフレーム画像から順に探索を行っている。すなわち、まず、基準フレーム画像Ｆ（０）の前後それぞれ１フレームのフレーム画像であるフレーム画像Ｆ（１）およびフレーム画像Ｆ（―１）を探索する。探索の結果、ブロックＢｊおよびブロックＢｋの少なくとも一方について、置換領域画像が検出されなかったときは、さらに前後それぞれ１フレームのフレーム画像であるフレーム画像Ｆ（２）およびフレーム画像（−２）を探索する。このようにして、ブロックＢｊおよびブロックＢｋの両方について置換領域画像が検出されるまで、フレーム画像の探索を繰り返す。このようにすれば、基準フレーム画像Ｆ（０）を表す基準フレーム画像データと生成時刻がより近いフレーム画像データの表すフレーム画像から置換領域画像が検出されやすく、そのような置換領域画像を用いて非動体画像を合成すれば、より自然な画像を生成することが容易になるため好ましい。

図９は、置換領域画像の検出の処理の一例を概念的に示した説明図である。図９の左側には、時系列順に上から下へと並んだフレーム画像を示している。ここで、基準フレーム画像Ｆ（０）およびその１フレーム後のフレーム画像Ｆ（１）は、前述の基準フレーム画像Ｆ（０）内の動体検出処理において、基準ブロックに分割されており、図９には、基準ブロックに分割されている様子を示している。

上述したとおり、置換領域画像検出部１６は、まず、フレーム画像Ｆ（１）およびフレーム画像Ｆ（―１）について、置換領域画像の探索を行う。置換領域画像の探索は、あるフレーム画像内の、基準動体領域ｓＭＡに対応するブロック（本実施例では、ブロックＢｊおよびブロックＢｋ）が、動体ブロックか非動体ブロックかを判別し、非動体ブロックであると判別されたブロックの画像を置換領域画像として設定することにより行われる。また、本実施例では、あるフレーム画像についての置換領域画像の探索は、当該フレーム画像と、その１フレーム後のフレーム画像とを用いて行っている。すなわち、例えば、フレーム画像Ｆ（１）についての置換領域画像の探索は、フレーム画像Ｆ（１）とフレーム画像Ｆ（２）とを用いて行う。以下、フレーム画像Ｆ（１）を例にとって、置換領域画像の探索について説明する。

置換領域画像の探索の始めに、ずれ補正部１４が、フレーム画像Ｆ（２）の、フレーム画像Ｆ（１）に対する画像全体としてのずれを推定し、推定したずれ量を用いてフレーム画像Ｆ（２）のずれ補正を行う。このずれ補正の処理は、前述の基準フレーム画像内の動体検出処理における、ずれ補正を行う処理の内容と同じである。

図９の右側下には、フレーム画像Ｆ（１）と、ずれ補正部１４により補正されたフレーム画像Ｆ（２）とを重ね合わせた状態を示している。

置換領域画像検出部１６は、フレーム画像Ｆ（１）のブロックを分割する分割線を用いてフレーム画像Ｆ（２）をブロックに分割する。ここで、フレーム画像Ｆ（１）は、前述の基準フレーム画像内の動体検出処理において、基準フレーム画像Ｆ（０）のブロック分割に合わせたブロック分割（基準ブロック分割）がなされている。従って、フレーム画像Ｆ（２）にも、基準ブロック分割がなされることとなる。

次に、置換領域画像検出部１６は、フレーム画像Ｆ（１）内の、ブロックＢｊおよびブロックＢｋについて、動体ブロックか非動体ブロックかの判別を行い、非動体ブロックと判別されたブロックの画像を、置換領域画像として設定する。この判別の処理の内容は、前述の基準フレーム画像内の動体検出処理における動体ブロックか非動体ブロックかを判別する処理の内容と同じである。すなわち、例えば、ブロックＢｊについて判別を行うときには、フレーム画像Ｆ（１）内のブロックＢｊの画像Ｂｊ（１）に対する、フレーム画像Ｆ（２）内のブロックＢｊの画像Ｂｊ（２）の移動量を求める。この移動量の値が所定の閾値より小さいときは、非動体ブロックと判別し、移動量の値が所定の閾値以上のときは、動体ブロックと判別する。

本実施例では、フレーム画像Ｆ（１）内のブロックＢｊおよびブロックＢｋは、動体である自動車の画像を含んでいるため、ブロックＢｊおよびブロックＢｋについて求めた移動量は、共に、所定の閾値以上となり、動体ブロックと判別される。従って、フレーム画像Ｆ（１）からは、置換領域画像は検出されない。

同様に、置換領域画像検出部１６は、フレーム画像Ｆ（−１）についての置換領域画像の探索を、フレーム画像Ｆ（−１）と基準フレーム画像Ｆ（０）とを用いて行う。本実施例では、フレーム画像Ｆ（−１）についても、ブロックＢｊおよびブロックＢｋ共に、動体ブロックと判別され、置換領域画像は検出されない。

フレーム画像Ｆ（１）およびフレーム画像Ｆ（−１）についての置換領域画像の探索が終了したら、置換領域画像検出部１６が、基準動体領域ｓＭＡに対応するすべてのブロックついて、置換領域画像の設定が完了しているか否かを判定する。すべてのブロックについて、置換領域画像の設定が完了していると判定したときは、置換領域画像探索の処理を終了する。一方、本実施例のように、置換領域画像の設定が完了していないブロックがあると判定したときは、さらに１フレーム前および後のフレーム画像データについて、置換領域画像の探索を行う。

図１０は、さらなる置換領域画像の検出の処理の一例を概念的に示した説明図である。図１０に示すとおり、置換領域画像検出部１６は、フレーム画像Ｆ（２）およびフレーム画像（−２）について置換領域画像の探索を行う。フレーム画像Ｆ（２）およびフレーム画像（−２）についての置換領域画像の探索は、上述のフレーム画像Ｆ（１）およびフレーム画像（−１）についての置換領域画像の探索と同様に行う。

本実施例では、フレーム画像Ｆ（２）について置換領域画像の探索を行った結果、フレーム画像Ｆ（２）内のブロックＢｊが非動体ブロックと判別され、ブロックＢｊの画像が置換領域画像として設定される。また、フレーム画像Ｆ（−２）について置換領域画像の探索を行った結果、フレーム画像Ｆ（−２）内のブロックＢｋが非動体ブロックと判別され、ブロックＢｋの画像が置換領域画像として設定される。

フレーム画像Ｆ（２）およびフレーム画像Ｆ（−２）についての置換領域画像の探索が終了したら、置換領域画像検出部１６は、再度、基準動体領域ｓＭＡに対応するすべてのブロックについて、置換領域画像の設定が完了しているか否かを判定する。本実施例では、ブロックＢｊおよびブロックＢｋについての置換領域画像の設定は、共に完了しているため、置換領域画像探索の処理を終了する。なお、再度、完了していないと判定したときには、さらに１フレーム前および後のフレーム画像データについて、置換領域画像の探索を行う。このように、基準動体領域ｓＭＡに対応するすべてのブロックについて、置換領域画像の設定が完了していると判定されるまで、置換領域画像探索の処理を繰り返す。

以上のようにして、基準フレーム画像Ｆ（０）内の基準動体領域ｓＭＡに対応するブロックのすべてについて、置換領域画像が設定される。

Ａ−６．画像合成：
図１１は、画像合成（図２のステップＳ５００）の処理の一例を概念的に示した説明図である。画像合成の処理は、基準フレーム画像データの内、基準画像Ｆ（０）内の基準動体領域ｓＭＡを除く領域を表す画像データと、置換領域画像を表す画像データとを合成して、画像内に動体を含まない画像（非動体画像）を表す非動体画像データを生成する処理である。

図１１（ａ）の左側には、基準フレーム画像Ｆ（０）と、置換領域画像を含むフレーム画像Ｆ（２）およびＦ（−２）とを示している。それぞれのフレーム画像の右側には、それぞれのフレーム画像の内、画像合成に使用する画像を示している。すなわち、基準フレーム画像Ｆ（０）内の基準動体領域ｓＭＡ（ブロックＢｊおよびブロックＢｋ）を除く領域の画像と、フレーム画像Ｆ（２）内の置換領域画像（ブロックＢｊの画像Ｂｊ（２））と、フレーム画像Ｆ（−２）内の置換領域画像（ブロックＢｋの画像Ｂｋ（−２））との３つの画像を示している。

画像合成部１７は、上記３つの画像を表す画像データを取得し、それらを合成して、動体を含まない画像（非動体画像）を表す非動体画像データを生成する。図１１（ｂ）には、生成された非動体画像データが表す非動体画像ＮＭＰを示している。非動体画像ＮＭＰは、動体（本実施例では自動車）を含まない画像となっている。

以上のようにして、画像生成システム１００は、動画像を構成する複数のフレーム画像データから、画像内に動体を含まない画像（非動体画像）を表す非動体画像データを生成することができる。

Ｂ．変形例：
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。

Ｂ１．変形例１：
上記実施例では、基準フレーム画像内の動体の検出および置換領域画像の検出を、基準フレーム画像Ｆ（０）を分割した基準ブロック単位で行っているが、ブロック単位以外で行うことも可能である。図１２は、基準フレーム画像内の動体の検出および置換領域画像の検出をブロック単位以外で行っている例について、概略的に示す説明図である。

図１２の例における、基準フレーム画像内の動体の検出は、基準フレーム画像Ｆ（０）とずれ補正されたフレーム画像Ｆ（１）とを重ね合わせて、重なった各画素について画素値の差分の絶対値を取り、差分の絶対値が所定の閾値よりも大きい画素の表す画像を動体として検出することにより行う。そして、差分の絶対値が所定の閾値よりも大きい画素を内包する矩形の領域を基準動体領域ｓＭＡとして設定する。ここで、動体の検出を確実に行うために、基準動体領域ｓＭＡは、所定の大きさ（面積）以上とするとしてもよい。

また、図１２の例における、置換領域画像の検出は、上記実施例と同様に、例えば、フレーム画像内の基準動体領域ｓＭＡに対応する画像領域の移動量を用いて動体を含まない画像を検出すればよい。また、基準動体領域ｓＭＡに対応する画像領域をブロックに分割して検出を行ってもよい。

以上のように、ブロック単位以外でも、基準フレーム画像内の動体の検出および置換領域画像の検出を行うことができる。

Ｂ２．変形例２：
上記実施例では、基準フレーム画像以外のフレーム画像については、置換領域画像以外の画像は非動体画像の合成に使用していないが、置換領域画像以外の画像を非動体画像の合成に使用するようにしてもよい。例えば、置換領域画像の検出を行う際に、フレーム画像内の基準動体領域ｓＭＡに対応するブロック以外のブロックについても動体ブロックか否かの判別を行い、置換領域画像を含むフレーム画像内のすべての非動体ブロックの画像を画像合成に使用してもよい。

図１３は、置換領域画像を含むフレーム画像内のすべての非動体ブロックの画像を使用して画像合成を行う処理を概念的に示した説明図である。図１３（ａ）左側には、基準フレーム画像Ｆ（０）と、置換領域画像を含む２つのフレーム画像Ｆ（２）およびＦ（−２）とを示している。上記実施例では、フレーム画像Ｆ（２）およびＦ（−２）については、基準動体領域ｓＭＡに対応するブロック（すなわちブロックＢｊおよびブロックＢｋ）についてのみ、動体ブロックか否かの判別を行っているが、本変形例では、基準動体領域ｓＭＡに対応するブロック以外のブロックについても動体ブロックか否かの判別を行う。その結果、フレーム画像Ｆ（２）およびＦ（−２）についても、それぞれ動体領域ＭＡが設定される。そして、図１３（ａ）の右側に示す３つの画像、すなわち、基準フレーム画像の基準動体領域ｓＭＡ以外の画像と、フレーム画像Ｆ（２）およびＦ（−２）の動体領域ＭＡ以外の画像とを合成して、図１３（ｂ）に示す非動体画像ＮＭＰを生成する。ここで、画像を合成する際に、使用する３つの画像において、同じ位置の画素の画素値が存在する場合には、例えば、画素値の平均をとるようにしてもよい。このようにして非動体画像ＮＭＰを生成すれば、より自然な非動体画像ＮＭＰを生成することができる。

さらに、上記３つの画像を用いて、非動体画像ＮＭＰを、フレーム画像より解像度の高い画像として生成することも可能である。

Ｂ３．変形例３：
上記実施例では、基準動体領域ｓＭＡに対応する各ブロックについて、１つの置換領域画像を検出し、それを用いて画像の合成を行っているが、各ブロックについて複数の置換領域画像を検出し、検出された複数の置換領域画像を用いて画像の合成を行うようにしてもよい。すなわち、基準動体領域ｓＭＡに対応する各ブロックについて、所定数の置換領域画像が検出されるまでフレーム画像の探索を繰り返すようにしてもよい。このようにすれば、例えば、基準動体領域ｓＭＡ内の画像を、複数の置換領域画像の画素値の平均を用いて動体を含まない画像に置き換えることができ、合成された非動体画像ＮＭＰをより自然な画像とすることが容易になる。また、複数の置換領域画像を用いて解像度の高い画像を生成し、生成した画像を用いて、非動体画像ＮＭＰを生成してもよい。

Ｂ４．変形例４：
上記実施例では、あるフレーム画像内のあるブロックが動体ブロックか非動体ブロックかの判別を、他のフレーム画像の対応するブロックとの移動量の大きさを用いて行っているが、他の方法で判別を行ってもよい。例えば、フレーム画像内のあるブロックと他のフレーム画像の対応するブロックとを縁をそろえて重ね合わせ、重なった各画素毎の画素値の差分の絶対値の合計を求め、その値が所定の閾値より小さいときは非動体ブロックと判別するとすることも可能である。

Ｂ５．変形例５：
上記実施例では、基準フレーム画像Ｆ（０）内の動体の検出の処理を、基準フレーム画像Ｆ（０）と、１フレーム後のフレーム画像Ｆ（１）とを用いて行っているが、フレーム画像Ｆ（１）の代わりに、例えば１フレーム前のフレーム画像Ｆ（−１）や、２フレーム後のフレーム画像Ｆ（２）などの他のフレーム画像を用いて行うことも可能である。

Ｂ６．変形例６：
上記実施例では、置換領域画像の検出を行う際に、基準フレーム画像に近いフレーム画像から順に前後１フレームづつ探索範囲を広げて置換領域画像の探索を行っているが、他の順番で置換領域画像の探索を行うことも可能である。例えば、まず基準フレーム画像から前後５フレーム離れたフレーム画像（フレーム画像Ｆ（５）およびＦ（−５））を探索し、その後さらに前後５フレーム離れたフレーム画像を探索するといったような探索順序を採用することも可能である。このように、所定フレーム画像数とばして探索を行うと、例えば、基準フレーム画像内に動きの遅い動体を表す領域があるときも、置換領域画像の検出を迅速に行うことができる。

Ｂ７．変形例７：
上記実施例では、基準フレーム画像Ｆ（０）を、８列×６行の計４８個の均等なブロックに分割しているが、分割するブロックの個数、大きさ、形状は任意であり、また、均等でないブロックに分割することも可能である。

Ｂ８．変形例８：
上記実施例では、動画像を構成する複数のフレーム画像データを用いて、非動体画像データを生成する例を用いて説明したが、フレーム画像データ以外の他の画像データを用いて非動体画像データを生成することも可能である。例えば、複数の静止画像データを用いて非動体画像データを生成することもできる。

Ｂ９．変形例９：
上記実施例では、置換領域画像の検出の処理において、基準動体領域ｓＭＡに対応するブロックすべてについて置換領域画像が検出されるまでフレーム画像の探索範囲を広げて探索しているが、探索範囲の上限を設け、探索範囲の上限まで探索しても置換領域画像が検出されないブロックが存在する場合は、処理を終了するようにしてもよい。

Ｂ１０．変形例１０：
上記実施例において、画像全体およびブロックごとのずれ補正量を推定する際に、並進ずれ（横方向ｕ、縦方向ｖ）および回転ずれ（δ）の３つのパラメータを用いてずれ補正量を推定しているが、本発明は、これに限られるものではない。例えば、パラメータの数を変えてずれ補正量を推定してもよいし、他の種類のパラメータを用いてずれ補正量を推定するようにしてもよい。

Ｂ１１．変形例１１：
上記実施例では、基準フレーム画像Ｆ（０）内の動体検出および置換領域画像の検出において、あるフレーム画像内のブロックに対する他のフレーム画像内の対応するブロックの移動量を中心位置の移動量として求めているが、これに限られるものではなく、例えば左上点や左下点の移動量を求めてもよい。一般には、各フレーム画像内の任意の所定の座標に関する移動量を求めるようにしてもよい。

Ｂ１２．変形例１２：
上記実施例では、ノンインターレース方式のフレーム画像データから非動体画像を生成していたが、インターレース方式のフレーム画像データ（フィールド画像データ）から非動体画像を生成してもよい。

本発明の第１実施例としての画像生成システムの構成を概略的に示した説明図。 画像生成システム１００を用いて非動体画像データを生成する処理の流れを示すフローチャート。 画像生成システム１００を用いて非動体画像データを生成する処理の内容を概念的に示した説明図。 基準フレーム画像内の動体検出の処理の一例を概念的に示した説明図。 基準フレーム画像内の他のブロックにおける動体検出の処理の例を概念的に示した説明図。 動体検出部１５による動体検出結果を概念的に示した説明図。 フレーム画像Ｆ（１）の基準フレーム画像Ｆ（０）に対するずれについて示す説明図。 フレーム画像Ｆ（１）の基準フレーム画像Ｆ（０）に対するずれの補正について示す説明図。 置換領域画像の検出の処理の一例を概念的に示した説明図。 さらなる置換領域画像の検出の処理の一例を概念的に示した説明図。 画像合成の処理の一例を概念的に示した説明図。 基準フレーム画像内の動体の検出および置換領域画像の検出をブロック単位以外で行っている例について概略的に示す説明図。 置換領域画像を含むフレーム画像内のすべての非動体ブロックの画像を使用して画像合成を行う処理を概念的に示した説明図。

符号の説明

１０...コンピュータ
１１...画像生成制御部
１２...フレーム画像取得部
１３...基準画像設定部
１４...ずれ補正部
１５...動体検出部
１６...置換領域画像検出部
１７...画像合成部
２０...プリンタ
３０...デジタルビデオカメラ
１００...画像生成システム
１２０...キーボード
１３０...マウス
１４０...ＣＤ−Ｒ／ＲＷドライブ
１５０...ディスプレイ

Claims (12)

1. 複数の画像データから１つの画像データを合成する画像生成装置であって、
   前記複数の画像データの中の１つの画像データを基準画像データとして設定する基準画像設定部と、
   前記基準画像データと、前記複数の画像データの中の前記基準画像データ以外の少なくとも１つの画像データとを用いて、前記基準画像データの表す基準画像内の動体を検出し、前記基準画像内の前記動体を内包する動体領域を設定する動体検出部と、
   前記複数の画像データの表す画像の中から、前記基準画像内の動体領域に対応する画像領域に動体を含まない画像を探索し、前記探索によって検出された画像を置換領域画像として設定する置換領域画像検出部と、
   前記基準画像データの内、前記基準画像内の動体領域を除く画像領域の画像を表す画像データと、前記置換領域画像を表す画像データとを少なくとも用いて、動体を含まない画像を表す画像データを合成する画像合成部と、を備える、画像生成装置。
2. 請求項1記載の画像生成装置であって、
   前記動体検出部は、動体検出に用いる画像データの表す画像相互の画像全体としてのずれ量を推定し、前記推定したずれ量を用いて、前記画像データの内の少なくとも１つの画像データを補正するずれ補正部を備える、画像生成装置。
3. 請求項1記載の画像生成装置であって、
   前記動体検出部は、前記動体領域の設定を、前記基準画像を分割して得られる基準ブロック単位で行い、
   前記置換領域画像検出部は、前記置換領域画像の検出を前記基準ブロック単位で行う、画像生成装置。
4. 請求項1記載の画像生成装置であって、
   前記複数の画像データは、動画像を構成する時系列的に連続したフレーム画像データである、画像生成装置。
5. 請求項４記載の画像生成装置であって、
   前記動体検出部による動体の検出は、前記基準画像データと、前記基準画像データと時系列的に連続しているフレーム画像データとを用いて行う、画像生成装置。
6. 請求項４記載の画像生成装置であって、
   前記置換領域画像検出部による置換領域画像の探索は、前記基準画像データと生成時刻がより近いフレーム画像データの表す画像内を優先的に探索する、画像生成装置。
7. 請求項４記載の画像生成装置であって、
   前記置換領域画像検出部による置換領域画像の探索は、前記基準画像データの生成時刻から所定時間離れた時刻に生成されたフレーム画像データの表す画像内を優先的に探索する、画像生成装置。
8. 請求項1記載の画像生成装置であって、
   前記画像合成部における画像データの合成は、前記置換領域画像を表す画像データを含む前記複数の画像データの中の少なくとも１つの画像データの内、前記基準画像内の動体領域に対応する画像領域以外の画像領域における動体を含まない画像を表す画像データを用いて行う、画像生成装置。
9. 請求項８記載の画像生成装置であって、
   前記合成される画像データは、前記複数の画像データよりも解像度の高い画像データである、画像生成装置。
10. 複数の画像データから１つの画像データを合成する画像生成方法であって、
    （ａ）前記複数の画像データの中の１つの画像データを基準画像データとして設定する工程と、
    （ｂ）前記基準画像データと、前記複数の画像データの中の前記基準画像データ以外の少なくとも１つの画像データとを用いて、前記基準画像データの表す基準画像内の動体を検出し、前記基準画像内の前記動体を内包する動体領域を設定する工程と、
    （ｃ）前記複数の画像データの表す画像の中から、前記基準画像内の動体領域に対応する画像領域に動体を含まない画像を探索し、前記探索によって検出された画像を置換領域画像として設定する工程と、
    （ｄ）前記基準画像データの内、前記基準画像内の動体領域を除く画像領域の画像を表す画像データと、前記置換領域画像を表す画像データとを少なくとも用いて、動体を含まない画像を表す画像データを合成する工程と、を備える、画像生成方法。
11. 複数の画像データから１つの画像データを合成するための画像生成プログラムであって、
    前記複数の画像データの中の１つの画像データを基準画像データとして設定する基準画像設定機能と、
    前記基準画像データと、前記複数の画像データの中の前記基準画像データ以外の少なくとも１つの画像データとを用いて、前記基準画像データの表す基準画像内の動体を検出し、前記基準画像内の前記動体を内包する動体領域を設定する動体検出機能と、
    前記複数の画像データの表す画像の中から、前記基準画像内の動体領域に対応した画像領域に動体を含まない画像を探索し、前記探索によって検出された画像を置換領域画像として設定する置換領域画像機能と、
    前記基準画像データの内、前記基準画像内の動体領域を除く画像領域の画像を表す画像データと、前記置換領域画像を表す画像データとを少なくとも用いて、動体を含まない画像を表す画像データを合成する画像合成機能と、をコンピュータ上で実現することを特徴とする、画像生成プログラム。
12. 請求項１１記載の画像生成プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images