JP2016224720A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】主要移動体が代表静止画像内の他の移動体の上を横断するような違和感のあるシネマグラフの生成を防止することができる画像処理装置を提供することを課題とする。
【解決手段】画像処理装置は、入力動画像から主要移動体及び他の移動体を含む移動体を抽出する移動体抽出部（２０１）と、前記入力動画像の中から前記主要移動体が前記他の移動体に重なっていないフレーム区間を選択する区間選択部（２０３）と、前記区間選択部により選択されたフレーム区間の動画像を基に代表静止画像を生成する代表静止画像生成部（２０４）と、前記区間選択部により選択されたフレーム区間における前記主要移動体の動画像と、前記代表静止画像生成部により生成された代表静止画像とを合成する合成部（２０５）とを有する。
【選択図】図２

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

一般的にシネマグラフは、静止画像の一部が動画像として動き、ある時間範囲において繰り返し再生が行われるものであり、一部の移動体が動画像として動き、それ以外の移動体が静止し、非現実感が表現されて印象的な画像となる。特許文献１では、検出された局所的な動きの領域に関連するピクセルを除いた、各画像フレーム内のピクセルを代表静止画像に置き換えて、シネマグラフを生成している。

特開２０１４−１０２８２０号公報

しかし、移動体を含む複数入力画像の中で、ある１枚の静止画像（以下、代表静止画像という）を選択し、入力画像の中で抽出された動画像中の移動体（以下、主要移動体という）を合成した場合、違和感のあるシネマグラフとなる可能性がある。例えば、画像奥に位置する主要移動体が、画像手前に位置する他の移動体の上を横断する可能性がある。これは、主要移動体と代表静止画像が撮影された時間軸が異なるために起こる現象である。特許文献１では、主要移動体と他の移動体の位置関係を考慮して代表静止画像を選択していないため、主要移動体が他の移動体の上を横断してしまう可能性がある。

本発明の目的は、主要移動体が代表静止画像内の他の移動体の上を横断するような違和感のあるシネマグラフの生成を防止することができる画像処理装置、画像処理方法及びプログラムを提供することである。

本発明の画像処理装置は、入力動画像から主要移動体及び他の移動体を含む移動体を抽出する移動体抽出部と、前記入力動画像の中から前記主要移動体が前記他の移動体に重なっていないフレーム区間を選択する区間選択部と、前記区間選択部により選択されたフレーム区間の動画像を基に代表静止画像を生成する代表静止画像生成部と、前記区間選択部により選択されたフレーム区間における前記主要移動体の動画像と、前記代表静止画像生成部により生成された代表静止画像とを合成する合成部とを有する。

主要移動体が代表静止画像内の他の移動体の上を横断するような違和感のあるシネマグラフの生成を防止することができる。

撮像装置の構成図である。 画像処理装置の構成図である。 シネマグラフを生成する処理を示すフローチャートである。 再生区間選択部の処理を示すフローチャートである。 領域分割の例を示す図である。 移動体非重畳の各フレーム区間の例を示す図である。 シネマグラフを生成する処理を示すフローチャートである。 他の移動体を合成画像のレイヤーの前面に配置する処理を示す図である。 主要移動体が移動体の上を横断する例を示す図である。

（第１の実施形態）
図１は、本発明の第１の実施形態による撮像装置１００の構成例を示すブロック図である。撮像装置１００は、デジタルカメラ、デジタルビデオカメラ、カメラ機能付き携帯電話、カメラ付きコンピュータなど、カメラ機能を備える装置である。撮像装置１００は、光学系１０１、撮像素子１０２、ＣＰＵ１０３、一次記憶装置１０４、画像処理装置１０５、記録媒体１０６、二次記憶装置１０７、表示部１０８及び操作部１０９を有する。

光学系１０１は、レンズ、シャッタ及び絞りを有し、ＣＰＵ１０３の制御により、被写体からの光を撮像素子１０２に結像させる。撮像素子１０２は、例えばＣＣＤイメージセンサ又はＣＭＯＳイメージセンサであり、光学系１０１を通って結像した光を画像信号に変換する。ＣＰＵ１０３は、入力された信号や予め記憶されたプログラムに従い、撮像装置１００を構成する各部を制御することにより、撮像装置１００の機能を実現させる。一次記憶装置１０４は、例えばＲＡＭのような揮発性記憶装置であり、一時的なデータを記憶し、ＣＰＵ１０３の作業用に使われる。また、一次記憶装置１０４に記憶されている情報は、画像処理装置１０５で利用されたり、記録媒体１０６へ記録される。

画像処理装置１０５は、撮像素子１０２で変換された画像信号を処理することにより、撮影画像を生成する。画像処理装置１０５は、画像信号を連続的に処理することにより複数枚の撮影画像を生成し、複数フレームの動画像を生成することができる。二次記憶装置１０７は、例えばＥＥＰＲＯＭのような不揮発性記憶装置であり、撮像装置１００を制御するためのプログラム（ファームウェア）や各種の設定情報を記憶し、ＣＰＵ１０３に接続される。

記録媒体１０６は、一次記憶装置１０４に記憶されている画像データなどを記憶する。なお、記録媒体１０６は、例えば半導体メモリカードのように撮像装置１００から取り外し可能であり、パーソナルコンピュータなどに装着してデータを読み出すことが可能である。つまり、撮像装置１００は、記録媒体１０６の着脱機構及び読み書き機能を有する。表示部１０８は、撮影時のビューファインダー画像の表示、撮影した画像の表示、対話的な操作のためのＧＵＩ画像などの表示を行う。操作部１０９は、ユーザの操作を受け付けて、ＣＰＵ１０３へ操作情報を伝達する入力デバイス群であり、例えばボタン、レバー、タッチパネル等、音声や視線などを用いた入力バイス群である。

なお、本実施形態の撮像装置１００は、画像処理装置１０５が撮影画像又は動画像に行う画像処理のパターンを複数有し、そのパターンを撮影モードとして操作部１０９から設定可能である。画像処理装置１０５は、現像処理と呼ばれる画像処理、及び撮影モードに応じた色調の調整などを行う。なお、画像処理装置１０５の機能の一部又は全部は、ＣＰＵ（コンピュータ）１０３がプログラムを実行することにより実現してもよい。

また、ＣＰＵ１０３、一次記憶装置１０４、画像処理装置１０５、記録媒体１０６及び二次記憶装置１０７を有する情報処理装置（コンピュータ）が処理を行ってもよい。すなわち、その情報処理装置が、プログラムを実行することにより、撮像装置１００が撮影した画像を取得して、現像処理及び撮影モードに応じた色調の調整などを行ってもよい。

図２は、図１の画像処理装置１０５の構成例を示すブロック図である。画像処理装置１０５は、移動体抽出部２０１、主要移動体選択部２０２、再生区間選択部２０３、代表静止画像生成部２０４及び移動体合成部２０５を有し、一次記憶装置１０４に記憶された画像データを入力する。

図３は、画像処理装置１０５の画像処理方法を示すフローチャートであり、画像処理装置１０５が動画像からシネマグラフを生成する処理を示す。まず、ステップＳ３０１では、撮像装置１００は、動画像の撮影を行い、その動画像を一次記憶装置１０４に記憶する。移動体抽出部２０１は、一次記憶装置１０４に記憶された動画像を入力し、その入力動画像から移動体を抽出する。移動体抽出部２０１は、例えば、背景差分法により移動体を検出する。具体的には、移動体抽出部２０１は、動画像とは別に予め撮影された撮影画像又は動画像として撮影した画像から切り出して取得した静止画像と動画像の各フレームとの差分を算出し、その差分が閾値を超える画素を差分画素とする。そして、移動体抽出部２０１は、近接する差分画素のうち色や輝度が類似する周囲の画素を移動体として抽出する。つまり、移動体は、色や輝度が類似する近接した画素の集合であり、動画像内の物体の一部である。動画像内の移動体は、一つ又は複数であってもよく、動画像の一部又は全部のフレームに含まれていてもよい。

次に、ステップＳ３０２では、主要移動体選択部２０２は、ステップＳ３０１で抽出された移動体の中から、シネマグラフにおいて動画像として再生する対象である主要移動体を選択する。また、主要移動体選択部２０２は、ステップＳ３０１で抽出された移動体のうちの主要移動体以外の移動体を他の移動体として選択する。主要移動体の選択は、表示部１０８に対して移動体を順次又は同時に表示して、操作部１０９によりユーザが選択することにより行われる。なお、主要移動体選択部２０２は、ユーザの指定を必要とせず、自動で主要移動体を選択してもよい。例えば、主要移動体選択部２０２は、ステップＳ３０１で抽出された各移動体の移動範囲を、静止画像と動画像の各フレームとの差分信号の総和から算出し、最も大きな移動範囲となる移動体を主要移動体と選択することが可能である。

次に、ステップＳ３０３では、再生区間選択部２０３は、ステップＳ３０２で選択された一つ又は複数の主要移動体に対して、動画像として再生する再生フレーム区間を選択する。再生フレーム区間の動画像は、主要移動体の動画像を含む。再生フレーム区間の選択は、表示部１０８に対してフレームを順次又は同時に表示して、操作部１０９によりユーザが選択することにより行われる。再生区間選択部２０３は、ユーザが選択したフレーム区間と近接するフレームを選択結果に加えたり、フレームを合成又は編集したものを加えたりすることで、繰り返し再生時に開始フレームと終了フレームとの差分による違和感を低減できる。再生するフレームは、主要移動体毎に異なっていてもよい。なお、再生区間選択部２０３は、フレーム間の主要移動体の軌跡情報を用いて自動で再生フレーム区間を選択してもよい。例えば、再生区間選択部２０３は、主要移動体の動きベクトルを求め、主要移動体がフレームインする直前を開始フレームとし、フレームアウトした直後を終了フレームとする再生フレーム区間を選択することが可能である。また、再生区間選択部２０３は、動きベクトルが一巡するような開始フレーム及び終了フレームを含む再生フレーム区間を選択することも可能である。

その後、再生区間選択部２０３は、図４の処理を行う。ステップＳ４０１では、再生区間選択部２０３は、ステップＳ３０１で抽出された移動体を含む各フレームの画像から移動体の位置情報の特定を行う。具体的には、まず、再生区間選択部２０３は、抽出された移動体の画像を用いて、各フレームの画像から、移動体であれば「１」、移動体でなければ「０」を示す二値画像を生成する。そして、再生区間選択部２０３は、各フレームにおいて、移動体と判定されたブロック状の領域を位置情報の検出枠とし、移動体の位置情報を特定する。あるいは、再生区間選択部２０３は、各フレームにおいて、移動体の輪郭に沿った領域を移動体の位置情報の特定結果としてもよい。

次に、ステップＳ４０２では、再生区間選択部２０３は、ステップＳ４０１で特定された位置情報から、再生フレーム区間の各フレームでの主要移動体と他の移動体との間の距離情報を算出する。具体的には、再生区間選択部２０３は、次式（１）により距離情報ｄ_tを算出する。
ｄ_t＝｜ｍ_t−ｘ_t｜ ・・・（１）

ここで、位置情報ｍ_tはｔフレームにおいての主要移動体ｍの位置、位置情報ｘ_tはｔフレームにおいての移動体ｘの位置、距離情報ｄ_tはｘ_tとｘ_t間の距離を表す。このとき、距離情報ｄ_tは、検出枠間の距離であってもよいし、それぞれの移動体の輪郭間の距離でもよい。

次に、ステップＳ４０３では、再生区間選択部２０３は、ステップＳ３０１で抽出された移動体を含む再生フレーム区間の各フレームの画像について、ステップＳ４０２で算出した主要移動体及び他の移動体間の距離情報から移動体の重畳判定を行う。移動体の重畳判定は、各距離情報が閾値以上か否かを判断する。再生区間選択部２０３は、そのフレームにおいて、閾値以上である場合、主要移動体が他の移動体に重なっておらず（以下、移動体非重畳）、閾値未満である場合、主要移動体が他の移動体に重なっている（以下、移動体重畳）と判断する。

次に、ステップＳ４０４では、再生区間選択部２０３は、ステップＳ３０１で抽出された移動体を含む再生フレーム区間の各フレームの画像について、ステップＳ４０３で移動体重畳と判断した場合、その移動体重畳フレームを除去する。フレームの除去は、主要移動体と他の移動体との奥行の関係を基に除去をするか否かを判断してもよい。ここで、奥行は、二枚の撮影画像を基に各画素の視差から求められ、視差が小さければ奥行が浅く、視差が大きければ奥行きが深い。あるフレームにおいて、画像奥が主要移動体、画像手前が他の移動体という奥行の関係である場合、主要移動体が他の移動体の上を横断し、違和感のあるシネマグラフとなる可能性があるため、フレーム除去を行う。これに対し、画像奥が他の移動体、画像手前が主要移動体である場合、主要移動体が他の移動体の上を横断しても違和感が少ないため、フレーム除去を行わないとしてもよい。

次に、ステップＳ４０５では、再生区間選択部２０３は、ステップＳ４０４において移動体重畳フレームが除去された各フレームの画像について、移動体重畳フレームを区切りとした各移動体非重畳フレーム区間のいずれか１つを選択する。具体的には、再生区間選択部２０３は、次式（２）を用いて、移動体非重畳フレーム区間を選択する。
Ｄ_i≧Ｔｈ ・・・（２）

ここで、Ｄ_iはi番目の移動体非重畳フレーム区間のフレーム数、Ｔｈはフレーム数の閾値を表す。図６に、移動体重畳フレーム区間と移動体非重畳フレーム区間（Ｄ₁〜Ｄ₃）とを含む再生フレーム区間の例を示す。

再生区間選択部２０３は、各移動体非重畳フレーム区間に含まれるフレーム数Ｄ_iが閾値Ｔｈ以上か否かを判断し、閾値Ｔｈ以上であるフレーム数の移動体非重畳フレーム区間を選択する。上式（２）の条件において、複数の移動体非重畳フレーム区間が選択された場合は、再生区間選択部２０３は、閾値Ｔｈを変更し、移動体非重畳フレーム区間を再選択する。あるいは、再生区間選択部２０３は、ステップＳ４０１で特定した位置情報を用いて、移動体非重畳フレーム区間を選択してもよい。例えば、再生区間選択部２０３は、画像中央に主要移動体が含まれる移動体非重畳フレーム区間を優先して、移動体非重畳フレーム区間を選択することが可能である。

以上のように、再生区間選択部２０３は、入力動画像の中から主要移動体が他の移動体に重なっていない移動体非重畳フレーム区間を選択する。また、再生区間選択部２０３は、主要移動体が他の移動体に重なっているフレームのうちの主要移動体が手前であって他の移動体が奥であるフレームを含む移動体非重畳フレーム区間を選択するようにしてもよい。また、再生区間選択部２０３は、主要移動体が他の移動体に重なっているフレームのうちの主要移動体が奥であって他の移動体が手前であるフレームを含むフレーム区間を選択しない。

次に、図３に戻り、ステップＳ３０４では、代表静止画像生成部２０４は、ステップＳ４０５で選択された移動体非重畳フレーム区間の動画像を基に、静止させる背景又は前景を代表静止画像として生成する。具体的には、代表静止画像生成部２０４は、動画像の各フレーム画像を所定の領域に分割し、領域毎の色又は輝度情報などを用いて自動で代表静止画像を生成する。例えば、代表静止画像生成部２０４は、図５に示すような複数のブロックの領域分割を行い、各領域に含まれる全ての画素の輝度値の平均を領域の代表輝度値とする。そして、代表静止画像生成部２０４は、各領域の代表輝度値のそれぞれに対して隣接フレーム間の差分を算出し、その差分の絶対値を求める。そして、代表静止画像生成部２０４は、各領域の差分絶対値が閾値以上となる領域の数が最も多いフレーム画像を代表静止画像とする。これにより、他の移動体が代表静止画像内に含まれるため、非現実感のあるシネマグラフと生成することができる。また、本実施形態では、方形状のブロックに分割をしているが、この限りではなく、任意の形状の領域に分割することができる。例えば、所定の像高の割合で領域分割することで、画像周辺においての収差による歪みによる影響を抑えることができる。なお、代表静止画像生成部２０４は、表示部１０８に対してフレーム画像を順次又は同時に表示して、操作部１０９を用いたユーザの操作により代表静止画像を選択してもよい。代表静止画像は、一つ又は複数のレイヤーによって構成され、各レイヤーは一部又は全部の画素によって構成される。代表静止画像生成部２０４は、ユーザが選択した又は自動で選択されたフレームをそれと近接するフレームに変更したり、フレームを合成又は編集したものを代表静止画像として生成することで、不要な移動体を消去したり、ノイズを低減することができる。

次に、ステップＳ３０５では、移動体合成部２０５は、ステップＳ４０５で選択された移動体非重畳フレーム区間におけるステップＳ３０２で選択された主要移動体の動画像と、ステップＳ３０４で生成された代表静止画像とを合成し、シネマグラフを生成する。それぞれの主要移動体は、代表静止画像のレイヤーの前面、背面又は途中に配置されてもよい。

ここで、図４の処理がない場合、生成した代表静止画像によっては、図９の不自然なシネマグラフが生成されてしまう場合がある。本来、図５のように、画像奥に位置する主要移動体９０２が画像手前に位置する他の移動体９０１の奥（下）を横断すべきある。しかし、図４の処理がない場合、図９のように、画像奥に位置する主要移動体９０２が画像手前に位置する他の移動体９０１の手前（上）を横断するような違和感のあるシネマグラフとなる可能性がある。

そこで、本実施形態では、図４の処理を行うことにより、主要移動体に対して移動体の重畳が起こっていない移動体非重畳フレーム区間の動画像を選択する。これにより、本実施形態は、主要移動体が、代表静止画像に含まれる他の移動体よりも画像奥に位置し、主要移動体が他の移動体の上を横断するような違和感のあるシネマグラフの生成を防止することができる。

（第２の実施形態）
第１の実施形態では、図４のステップＳ４０１〜Ｓ４０５において、主要移動体及び他の移動体間の距離情報を算出し、これに基づいた移動体の重畳判定をし、移動体重畳フレームの除去を行うことで、違和感のあるシネマグラフの生成を防止した。これに対し、本発明の第２の実施形態では、他の移動体を合成画像のレイヤーの前面に合成することで実現している。第２の実施形態による撮像装置１００の構成は、第１の実施形態の図１の構成と同様である。以下、本実施形態が第１の実施形態と異なる点を説明する。

図７は、本発明の第２の実施形態による画像処理装置１０５の画像処理方法を示すフローチャートである。図７は、図３に対して、ステップＳ３０５の代わりにステップＳ７０５を設けたものである。また、本実施形態では、図４の処理を行わない。

まず、画像処理装置１０５は、図３と同様に、ステップＳ３０１〜Ｓ３０４の処理を行う。その後、ステップＳ７０５では、移動体合成部２０５は、ステップＳ３０３で選択された再生フレーム区間におけるステップＳ３０２で選択された主要移動体の動画像と、ステップＳ３０４で生成された代表静止画像とを合成することにより、合成画像を生成する。そして、移動体合成部２０５は、所定の条件の場合に、上記の合成画像のレイヤーの前面に、代表静止画像内の他の移動体を配置することにより、上記の合成画像と代表静止画像内の他の移動体とを合成する。具体的には、移動体合成部２０５は、主要移動体と他の移動体との奥行の関係から、他の移動体を合成画像のレイヤーの前面に配置するか否かの条件を判断する。ここで、奥行は、第１の実施形態と同様に、二枚の撮影画像を基に各画素の視差から求める。例えば、あるフレームにおいて画像奥が主要移動体、画像手前が他の移動体という奥行の関係である場合、主要移動体が他の移動体の上を横断するような違和感があるシネマグラフとなる可能性がある。その場合、移動体合成部２０５は、図８に示すように、まず、主要移動体の動画像８０２と代表静止画像８０３とを合成することにより合成画像を生成し、その後、その合成画像のレイヤーの前面に他の移動体８０１を配置する。これにより、主要移動体８０２が他の移動体８０１の上を横断することはなく、違和感の少ないシネマグラフを生成することができる。

以上のように、移動体合成部２０５は、主要移動体が他の移動体に重なっているフレームのうちの主要移動体が奥であって他の移動体が手前であるフレームが上記の合成画像に含まれている場合には、上記の合成画像と他の移動体とを合成する。これに対し、移動体合成部２０５は、主要移動体が他の移動体に重なっているフレームのうちの主要移動体が奥であって他の移動体が手前であるフレームが上記の合成画像に含まれていない場合には、上記の合成画像と他の移動体とを合成しない。

本実施形態によれば、第１の実施形態の場合の移動体重畳フレームの除去を行わずに、合成画像のレイヤーの前面に他の移動体を配置することにより、主要移動体が他の移動体の上を横断するような違和感のあるシネマグラフの生成を防止することができる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

２０１ 移動体抽出部、２０２ 主要移動体選択部、２０３ 再生区間選択部、２０４ 代表静止画像生成部、２０５ 移動体合成部

Claims (11)

1. 入力動画像から主要移動体及び他の移動体を含む移動体を抽出する移動体抽出部と、
   前記入力動画像の中から前記主要移動体が前記他の移動体に重なっていないフレーム区間を選択する区間選択部と、
   前記区間選択部により選択されたフレーム区間の動画像を基に代表静止画像を生成する代表静止画像生成部と、
   前記区間選択部により選択されたフレーム区間における前記主要移動体の動画像と、前記代表静止画像生成部により生成された代表静止画像とを合成する合成部と
   を有することを特徴とする画像処理装置。
2. 前記区間選択部は、前記主要移動体が前記他の移動体に重なっているフレームのうちの前記主要移動体が手前であって前記他の移動体が奥であるフレームを含むフレーム区間を選択し、前記主要移動体が前記他の移動体に重なっているフレームのうちの前記主要移動体が奥であって前記他の移動体が手前であるフレームを含むフレーム区間を選択しないことを特徴とする請求項１記載の画像処理装置。
3. 入力動画像から主要移動体及び他の移動体を含む移動体を抽出する移動体抽出部と、
   前記入力動画像を基に代表静止画像を生成する代表静止画像生成部と、
   前記主要移動体の動画像と前記代表静止画像とを合成することにより合成画像を生成し、前記合成画像と前記代表静止画像内の前記他の移動体とを合成する合成部と
   を有することを特徴とする画像処理装置。
4. 前記合成部は、前記合成画像のレイヤーの前面に前記他の移動体を配置することにより合成することを特徴とする請求項３記載の画像処理装置。
5. 前記合成部は、
   前記主要移動体が前記他の移動体に重なっているフレームのうちの前記主要移動体が奥であって前記他の移動体が手前であるフレームが前記合成画像に含まれている場合には、前記合成画像と前記他の移動体とを合成し、
   前記主要移動体が前記他の移動体に重なっているフレームのうちの前記主要移動体が奥であって前記他の移動体が手前であるフレームが前記合成画像に含まれていない場合には、前記合成画像と前記他の移動体とを合成しないことを特徴とする請求項３又は４記載の画像処理装置。
6. さらに、前記入力動画像の中から前記主要移動体の動画像を含むフレーム区間を選択する区間選択部を有し、
   前記合成部は、前記区間選択部により選択されたフレーム区間における前記主要移動体の動画像と、前記代表静止画像生成部により生成された代表静止画像とを合成することを特徴とする請求項３〜５のいずれか１項に記載の画像処理装置。
7. さらに、前記移動体抽出部により抽出された移動体の中から前記主要移動体を選択する主要移動体選択部を有することを特徴とする請求項１〜６のいずれか１項に記載の画像処理装置。
8. 移動体抽出部により、入力動画像から主要移動体及び他の移動体を含む移動体を抽出する移動体抽出ステップと、
   区間選択部により、前記入力動画像の中から前記主要移動体が前記他の移動体に重なっていないフレーム区間を選択する区間選択ステップと、
   代表静止画像生成部により、前記選択されたフレーム区間の動画像を基に代表静止画像を生成する代表静止画像生成ステップと、
   合成部により、前記選択されたフレーム区間における前記主要移動体の動画像と、前記生成された代表静止画像とを合成する合成ステップと
   を有することを特徴とする画像処理方法。
9. 移動体抽出部により、入力動画像から主要移動体及び他の移動体を含む移動体を抽出する移動体抽出ステップと、
   代表静止画像生成部により、前記入力動画像を基に代表静止画像を生成する代表静止画像生成ステップと、
   合成部により、前記主要移動体の動画像と前記代表静止画像とを合成することにより合成画像を生成し、前記合成画像と前記代表静止画像内の前記他の移動体とを合成する合成ステップと
   を有することを特徴とする画像処理方法。
10. 入力動画像から主要移動体及び他の移動体を含む移動体を抽出する移動体抽出ステップと、
    前記入力動画像の中から前記主要移動体が前記他の移動体に重なっていないフレーム区間を選択する区間選択ステップと、
    前記選択されたフレーム区間の動画像を基に代表静止画像を生成する代表静止画像生成ステップと、
    前記選択されたフレーム区間における前記主要移動体の動画像と、前記生成された代表静止画像とを合成する合成ステップと
    をコンピュータに実行させるためのプログラム。
11. 入力動画像から主要移動体及び他の移動体を含む移動体を抽出する移動体抽出ステップと、
    前記入力動画像を基に代表静止画像を生成する代表静止画像生成ステップと、
    前記主要移動体の動画像と前記代表静止画像とを合成することにより合成画像を生成し、前記合成画像と前記代表静止画像内の前記他の移動体とを合成する合成ステップと
    をコンピュータに実行させるためのプログラム。

Images