JP2005135091A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】 時系列に連続する複数の画像データの中から、被写体または背景が移動しているシーンの画像データを抽出すると共に、その画像データに基づいて、流し撮り画像のデータを生成するようにする。
【解決手段】 画像選択部１４２は動画像データの中から、連続する２つの画像データを順次選択する。ブロック分割部１４３は基準画像を複数のブロックに分割する。移動検出部１４４はブロック毎に基準画像の前記対象画像に対する移動量を検出し、それに基づいて、移動有りのブロックか否かを判定すると共に、基準画像の対象画像に対する平均移動量などを検出する。画像抽出部１４５は平均移動量が移動領域値以上である場合に、選択しているその画像データを、被写体または背景が移動しているシーンの画像データとして抽出する。流し撮り画像生成部１４６は抽出された２つの画像データに基づいて、流し撮り画像のデータを生成する。
【選択図】 図１

Description

本発明は、時系列に連続する複数の画像データの中から、被写体または背景が移動しているシーンの画像データを抽出すると共に、その画像データに基づいて、画像の一部が流れるように表現された静止画像のデータを生成することが可能な画像処理装置及び画像処理方法に関するものである。

ビデオカメラなどで撮影して得られた動画像データは、時系列に連続する複数のフレーム画像データ（あるいはフィールド画像データ）で構成されている。また、デジタルカメラなどで連写撮影して得られた連写画像データも、画像ファイルとして互いに独立した、時系列に連続する複数の画像データで構成されている。

このような動画像データなどを用いて静止画像のデータを生成する従来の方法としては、例えば、下記の特許文献１に記載の方法などが知られている。

この特許文献１に記載の方法では、連続する（ｎ＋１）個のフレーム画像データから１つのフレーム画像データを基準フレーム画像データとして選択し、この基準フレーム画像データに対する他のｎ個のフレーム画像データの動きベクトルをそれぞれ算出し、各動きベクトルに基づいて、（ｎ＋１）個のフレーム画像データを合成して、１つの高解像度な静止画像データを生成していた。

特開２０００−２４４８５１号公報

しかしながら、上記従来技術においては、特に、被写体または背景が移動しているシーンの画像について、流し撮りのごとく、被写体または背景が流れるように表現された静止画像（以下、流し撮り画像という）のデータを生成することについては、何ら考慮されていなかった。

そこで、本発明の目的は、このような従来技術の状況を鑑み、動画像データや連写画像データなどを構成する時系列に連続する複数の画像データの中から、被写体または背景が移動しているシーンの画像データを抽出すると共に、その画像データに基づいて、流し撮り画像のデータを生成することが可能な画像処理装置及び画像処理方法を提供することにある。

上記した目的の少なくとも一部を達成するために、本発明の第１の画像処理装置は、時系列に連続する複数の画像データの中から、被写体または背景が移動しているシーンの画像データを抽出し、該画像データに基づいて、画像の一部が流れるように表現された流し撮り画像のデータを生成する画像処理装置であって、
時系列に連続する前記複数の画像データの中から、連続する２つの画像データを順次選択する画像選択部と、
選択した前記２つの画像データをそれぞれ基準画像のデータ及び対象画像のデータとして、前記基準画像を複数のブロックに分割するブロック分割部と、
ブロック毎に、前記基準画像の前記対象画像に対する移動量を検出し、検出した該移動量に基づいて、移動有りのブロックか否かを判定すると共に、前記基準画像の前記対象画像に対する画像全体としての全体移動量を検出する移動検出部と、
検出した前記全体移動量が予め定められた閾値以上である場合に、選択した前記２つの画像データを、前記シーンの画像データとして抽出する画像抽出部と、
抽出された前記２つの画像データに基づいて、移動有りのブロックに属さない画素については、前記基準画像の画素で前記流し撮り画像の画素を構成し、移動有りのブロックに属する画素については、前記基準画像の画素と前記対象画像の画素とを合成して、その合成により得られた画素で、前記流し撮り画像の画素を構成することより、前記流し撮り画像のデータを生成する流し撮り画像生成部と、
を備えることを要旨とする。

このように、本発明の第１の画像処理装置では、選択した２つの画像データについて、基準画像の対象画像に対する全体移動量が閾値以上である場合に、その２つの画像データを被写体または背景が移動しているシーンの画像データとして抽出しているので、時系列に連続する複数の画像データの中から、上記シーンの画像データを自動的に抽出することができる。

また、抽出された２つの画像データに基づいて、移動有りのブロックに属さない画素については、基準画像の画素で流し撮り画像の画素を構成し、移動有りのブロックに属する画素については、基準画像の画素と対象画像の画素とを合成して、その合成により得られた画素で、流し撮り画像の画素を構成することより、流し撮り画像のデータを生成しているようにしているので、抽出されたそれら画像データを用いて、流し撮り画像のデータを容易に生成することができる。さらに、流し撮り画像としては、移動していない部分に対して、移動している部分が流れるように表現された流し撮り画像を生成することができる。

なお、本明細書において、「時系列に連続する複数の画像データ」及び「連続する２つの画像データ」としては、時間的に見て、連続するそれら画像データの間に、別の画像データが存在する場合を排除するものではない。

本発明の第２の画像処理装置は、時系列に連続する複数の画像データの中から、被写体または背景が移動しているシーンの画像データを抽出し、該画像データに基づいて、画像の一部が流れるように表現された流し撮り画像のデータを生成する画像処理装置であって、
時系列に連続する前記複数の画像データの中から、連続する２つの画像データを順次選択する画像選択部と、
選択した前記２つの画像データをそれぞれ基準画像のデータ及び対象画像のデータとし、前記基準画像を複数のブロックに分割するブロック分割部と、
ブロック毎に、前記基準画像の前記対象画像に対する移動量を検出し、検出した該移動量に基づいて、移動有りのブロックか否かを判定すると共に、前記基準画像の前記対象画像に対する画像全体としての全体移動量を検出する移動検出部と、
検出した前記全体移動量が予め定められた閾値以上である場合に、選択した前記２つの画像データを、前記シーンの画像データとして抽出する画像抽出部と、
抽出された前記２つの画像データに基づいて、移動有りのブロックに属する画素については、前記基準画像の画素で前記流し撮り画像の画素を構成し、移動有りのブロックに属さない画素については、前記対象画像を前記全体移動量に応じた量だけ移動し、前記基準画像の画素と移動した前記対象画像の画素とを合成して、その合成により得られた画素で、前記流し撮り画像の画素を構成することより、前記流し撮り画像のデータを生成する流し撮り画像生成部と、
を備えることを要旨とする。

このように、本発明の第２の画像処理装置においても、第１の画像処理装置の場合と同様に、時系列に連続する複数の画像データの中から、被写体または背景が移動しているシーンの画像データを自動的に抽出することができる。

また、抽出された２つの画像データに基づいて、移動有りのブロックに属する画素については、基準画像の画素で流し撮り画像の画素を構成し、移動有りのブロックに属さない画素については、対象画像を前記全体移動量に応じた量だけ移動し、基準画像の画素と移動した対象画像の画素とを合成して、その合成により得られた画素で、流し撮り画像の画素を構成することより、流し撮り画像のデータを生成しているようにしているので、抽出されたそれら画像データを用いて、流し撮り画像のデータを容易に生成することができる。さらに、流し撮り画像としては、第１の画像処理装置の場合とは反対に、移動している部分に対して、移動していない部分が流れるように表現された流し撮り画像を生成することができる。

本発明の画像処理装置において、前記移動検出部は、検出した前記移動量のうち、移動有りのブロックについての前記移動量に基づいて、前記全体移動量を検出するようにしてもよい。

こうすることにより、全体移動量として、画像における移動している部分の移動量を多く反映した量を検出することができる。

本発明の第３の画像処理装置は、時系列に連続する複数の画像データの中から、被写体または背景が移動しているシーンの画像データを抽出する画像処理装置であって、
時系列に連続する前記複数の画像データの中から、連続する２つの画像データを順次選択する画像選択部と、
選択した前記２つの画像データをそれぞれ基準画像のデータ及び対象画像のデータとし、前記基準画像を複数のブロックに分割するブロック分割部と、
ブロック毎に、前記基準画像の前記対象画像に対する移動量を検出し、検出した該移動量に基づいて、前記基準画像の前記対象画像に対する画像全体としての全体移動量を検出する移動検出部と、
検出した前記全体移動量が予め定められた閾値以上である場合に、選択した前記２つの画像データを、前記シーンの画像データとして抽出する画像抽出部と、
を備えることを要旨とする。

このように、本発明の第３の画像処理装置においても、第１及び第２の画像処理装置の場合と同様に、時系列に連続する複数の画像データの中から、被写体または背景が移動しているシーンの画像データを自動的に抽出することができる。

本発明の画像処理装置において、前記画像抽出部は、前記２つの画像データの選択が前記複数の画像データ全てについてなされても、検出した各全体移動量の何れもが前記閾値に満たない場合には、順次選択された前記２つの画像データの組み合わせのうち、検出した前記全体移動量が最大となった２つの画像データの組み合わせを、前記シーンの画像データとして抽出することが好ましい。

こうすることにより、検出した各全体移動量の何れもが閾値に満たない場合でも、被写体または背景が移動しているシーンの画像データを自動的に抽出することができる。

本発明の第４の画像処理装置は、時系列に連続する２つの画像データに基づいて、画像の一部が流れるように表現された流し撮り画像のデータを生成する画像処理装置であって、
連続する前記２つの画像データをそれぞれ基準画像のデータ及び対象画像のデータとし、前記基準画像を複数のブロックに分割するブロック分割部と、
ブロック毎に、前記基準画像の前記対象画像に対する移動量を検出し、検出した該移動量に基づいて、移動有りのブロックか否かを判定する移動検出部と、
前記２つの画像データに基づいて、移動有りのブロックに属さない画素については、前記基準画像の画素で前記流し撮り画像の画素を構成し、移動有りのブロックに属する画素については、前記基準画像の画素と前記対象画像の画素とを合成して、その合成により得られた画素で、前記流し撮り画像の画素を構成することより、前記流し撮り画像のデータを生成する流し撮り画像生成部と、
を備えることを要旨とする。

このように、本発明の第４の画像処理装置では、連続する２つの画像データに基づいて、移動有りのブロックに属さない画素については、基準画像の画素で流し撮り画像の画素を構成し、移動有りのブロックに属する画素については、基準画像の画素と対象画像の画素とを合成して、その合成により得られた画素で、流し撮り画像の画素を構成することより、流し撮り画像のデータを生成しているようにしているので、それら２つの画像データから、流し撮り画像のデータを容易に生成することができる。さらに、流し撮り画像としては、移動していない部分に対して、移動している部分が流れるように表現された流し撮り画像を生成することができる。

本発明の第５の画像処理装置は、時系列に連続する２つの画像データに基づいて、画像の一部が流れるように表現された流し撮り画像のデータを生成する画像処理装置であって、
連続する前記２つの画像データをそれぞれ基準画像のデータ及び対象画像のデータとし、前記基準画像を複数のブロックに分割するブロック分割部と、
ブロック毎に、前記基準画像の前記対象画像に対する移動量を検出し、検出した該移動量に基づいて、移動有りのブロックか否かを判定すると共に、前記基準画像の前記対象画像に対する画像全体としての全体移動量を検出する移動検出部と、
前記２つの画像データに基づいて、移動有りのブロックに属する画素については、前記基準画像の画素で前記流し撮り画像の画素を構成し、移動有りのブロックに属さない画素については、前記対象画像を前記全体移動量に応じた量だけ移動し、前記基準画像の画素と移動した前記対象画像の画素とを合成して、その合成により得られた画素で、前記流し撮り画像の画素を構成することより、前記流し撮り画像のデータを生成する流し撮り画像生成部と、
を備えることを要旨とする。

このように、本発明の第５の画像処理装置では、連続する２つの画像データに基づいて、移動有りのブロックに属する画素については、基準画像の画素で流し撮り画像の画素を構成し、移動有りのブロックに属さない画素については、対象画像を前記全体移動量に応じた量だけ移動し、基準画像の画素と移動した対象画像の画素とを合成して、その合成により得られた画素で、流し撮り画像の画素を構成することより、流し撮り画像のデータを生成しているようにしているので、それら２つの画像データから、流し撮り画像のデータを容易に生成することができる。さらに、流し撮り画像としては、第４の画像処理装置の場合とは反対に、移動している部分に対して、移動していない部分が流れるように表現された流し撮り画像を生成することができる。

なお、本発明は、上記した画像処理装置などの装置発明の態様に限ることなく、画像処理方法などの方法発明としての態様で実現することも可能である。さらには、それら方法や装置を構築するためのコンピュータプログラムとしての態様や、そのようなコンピュータプログラムを記録した記録媒体としての態様や、上記コンピュータプログラムを含み搬送波内に具現化されたデータ信号など、種々の態様で実現することも可能である。

また、本発明をコンピュータプログラムまたはそのプログラムを記録した記録媒体等として構成する場合には、上記装置の動作を制御するプログラム全体として構成するものとしてもよいし、本発明の機能を果たす部分のみを構成するものとしてもよい。

以下、本発明の実施の形態を実施例に基づいて以下の順序で説明する。
Ａ．装置の構成：
Ｂ．処理の内容：
Ｂ−１．画像選択・移動検出処理：
Ｂ−２．流し撮り画像生成処理：
Ｂ−２−１．種類１についての流し撮り画像生成処理：
Ｂ−２−２．種類２についての流し撮り画像生成処理：
Ｃ．実施例の効果：
Ｄ．変形例：

Ａ．装置の構成：
図１は本発明の一実施例としての画像処理装置を示すブロック図である。図１に示す画像処理装置１００は、パーソナルコンピュータで構成されており、コンピュータ本体１０２と、そのコンピュータ本体１０２に接続される入力装置であるキーボード１１０，ポインティングデバイス１１２と、同じくコンピュータ本体１０２に接続される出力装置であるモニタ１１４と、同じくコンピュータ本体１０２に接続される印刷装置であるプリンタ１１６と、を備えている。

このうち、コンピュータ本体１０２は、プログラムに従って種々の処理や制御を行なうためのＣＰＵ１０４と、プログラムを記憶したり、処理中に得られたデータなどを記憶したりするためのメモリ１０６と、各種プログラムや各種データを格納するためのハードディスク装置１０８と、各構成要素との間でデータや信号の受け渡しを行うＩ／Ｏ回路部１１８と、ＵＳＢケーブルを介してプリンタ１１６との間でデータのやり取りを行うUSBインターフェイス（Ｉ／Ｆ）回路部１２０と、ネットワーク２００上にあるサーバなどとの間でデータのやり取りを行うネットワークＩ／Ｆ回路部１２２と、を備えており、各部は互いにバスを介して接続されている。

なお、コンピュータ本体１０２は、この他、ＣＤ−ＲＯＭドライブ装置やＰＣカードＩ／Ｆ回路部などを備えていてもよい。また、Ｉ／Ｆ回路部１２０，１２２とともに、あるいは、Ｉ／Ｆ回路部１２０，１２２に代えて、IEEE1394Ｉ／Ｆ回路部や、BluetoothＩ／Ｆ回路部や、SCSIＩ／Ｆ回路部や、パラレルＩ／Ｆ回路部や、シリアルＩ／Ｆ回路部や、IEEE802.11Ｉ／Ｆ回路部などを備えるようにしてもよい。

また、ＣＰＵ１０４は、メモリ１０６に格納されているプログラムのうち、画像処理プログラムを実行することより、後述するような画像選択部１４２，ブロック分割部１４３，移動検出部１４４，画像抽出部１４５，流し撮り画像生成部１４６，ユーザインターフェイス部１４８として機能する。なお、上記画像処理プログラムは、アプリケーションプログラムで構成されるが、その一部をオペレーティングシステムプログラムによって構成するようにしてもよい。

また、本実施例において、画像選択部１４２は請求項における画像選択部に、ブロック分割部１４３は請求項におけるブロック分割部に、移動検出部１４４は請求項における移動検出部に、画像抽出部１４５は請求項における画像選択部に、流し撮り画像生成部１４６は請求項における流し撮り画像生成部に、それぞれ相当する。

本実施例では、上記した画像処理プログラムは、ＣＤ−ＲＯＭに記録された形態で提供され、ＣＤ−ＲＯＭドライブ装置（図示せず）により読み取られることによって、コンピュータ本体１０２内に取り込まれる。取り込まれたプログラムは、ハードディスク装置１０８に転送され、その後、起動時などにメモリ１０６に転送される。このように、本実施例では、プログラムをコンピュータ読み取り可能に記録する「記録媒体」としてＣＤ−ＲＯＭを利用することを述べたが、その他にも、フレキシブルディスク、光磁気ディスク、ＤＶＤ、メモリカード、ＩＣカード、ＲＯＭカートリッジ、パンチカード、バーコードなどの符号が印刷された印刷物、コンピュータの内部記憶装置（ＲＡＭやＲＯＭなどのメモリ）および外部記憶装置等の、コンピュータが読取り可能な種々の媒体を利用できる。また、上記画像処理プログラムは、このような記録媒体に記録された形態で提供される他、ネットワーク２００を介して、プログラムを供給するプログラムサーバ（図示せず）からコンピュータ本体１０２内に取り込むようにしてもよい。

一方、ハードディスク装置１０８には、動画像データや、連写画像データや、それらデータから生成される静止画像データなど、各種画像データを格納する画像データベース部１３２が構築されている。

Ｂ．処理の内容：
それでは、図１に示す画像処理装置１００における処理の内容について説明する。本実施例の画像処理装置１００は、例えば、動画像の再生中に、ユーザが所望のシーンを指定すると、そのシーンの近傍から最適な２枚のフレーム画像を抽出し、その抽出したフレーム画像を用いて、流し撮り画像を生成するものである。

まず、ＣＰＵ１０４によって、上記した画像処理プログラムが実行されると、ユーザインターフェイス部１４８は、モニタ１１４にデータ選択ウインドウ（図示せず）を表示させる。そこで、ユーザが、ポインティングデバイス１１２を操作して、例えば、画像データベース部１３２に格納されている画像データの中から、例えば、所望の動画像データを選択すると、ユーザインターフェイス部１４８は、その動画像データを読み出して、メモリ１０６に書き込む。

次に、ユーザインターフェイス部１４８は、モニタ１１４に、データ選択ウインドウに代えて、画像表示ウインドウ（図示せず）を表示させる。そして、ユーザが、ポインティングデバイス１１２を操作して、画像表示ウインドウ内に配置されている再生ボタンを押すと、ユーザインターフェイス部１４８は、メモリ１０６に書き込んだ動画像データを再生し、画像表示ウインドウ内に表示させる。画像表示ウインドウ内には、再生ボタンの他、停止ボタン、早送りボタン、巻き戻しボタン、コマ送りボタン、及びコマ戻しボタンが配置されており、ユーザがポインティングデバイス１１２を操作して、それらボタンを適宜押すと、ユーザインターフェイス部１４８は、その押されたボタンに対応した表示動作を行う。

そこで、例えば、動画像データを再生している際に、ユーザが、ポインティングデバイス１１２を操作して、所望のシーンを指定しようとして、画像表示ウインドウ内に別に配置されているシーン指定ボタンを押すと、ユーザインターフェイス部１４８は、そのタイミングで、画像表示ウインドウ内にその時点で表示されている画像について、動画像データ内における、その表示画像に対応するフレーム画像データの位置を取得して、メモリ１０６に書き込む。フレーム画像データの位置は、フレーム番号ｓとして取得される。

なお、指定するシーンとしては、［Ａ］被写体が移動しており、カメラをほぼ固定して、その被写体を撮影しているシーンや、［Ｂ］被写体が移動しており、その被写体の移動に合わせてカメラを移動して、その被写体を撮影しているシーンなどが推奨される。

また、表示画像に対応するフレーム画像データのフレーム番号は、ユーザインターフェイス部１４８が、カウンタでカウントすることにより、常に把握されている。

次に、ユーザインターフェイス部１４８は、設定ウインドウ（図示せず）を一時的に表示させ、ユーザに、後述の移動検出の際に用いる移動量閾値Ｒｔｈと、生成すべき流し撮り画像の種類と、を設定させる。このうち、流し撮り画像の種類は、２種類あり、［種類１］移動していない部分に対して、移動している部分が流れるように表現された画像と、［種類２］移動している部分に対して、移動していない部分が流れるように表現された画像と、がある。

ユーザが、キーボード１１０やポインティングデバイス１１２を操作して、設定ウインドウ内において、移動量閾値Ｒｔｈと流し撮り画像の種類を設定すると、ユーザインターフェイス部１４８は、その設定結果をメモリ１０６に書き込み、設定ウインドウを閉じる。

その後、ユーザが、ポインティングデバイス１１２を操作して、流し撮り画像を生成しようとして、画像表示ウインドウ内に別に配置されている実行ボタンを押すと、図２に示す画像選択・移動検出処理が開始され、その後、画像選択・移動検出処理が終了すると、後述の流し撮り画像生成処理が開始される。

Ｂ−１．画像選択・移動検出処理：
図２は本実施例における画像選択・移動検出処理の処理手順を示すフローチャートである。図２に示す画像選択・移動検出処理が開始されると、まず、ＣＰＵ１０４によって機能される画像選択部１４２が、動画像データの中から、フレーム番号Ｉのフレーム画像Ｆ（Ｉ）のデータと、そのデータよりも時間的に１つ後のデータである、フレーム番号Ｉ＋１のフレーム画像Ｆ（Ｉ＋１）のデータと、をそれぞれ選択して抽出し、メモリ１０６に書き込む（ステップＳ１０２）。

初期状態では、画像選択部１４２は、ユーザからの指定により先に取得したフレーム番号ｓを、メモリ１０６から読み出し、そのフレーム番号ｓを、画像選択に用いるフレーム番号Ｉの初期値とする。従って、画像選択部１４２は、フレーム番号ｓのフレーム画像Ｆ（ｓ）のデータと、フレーム番号ｓ＋１のフレーム画像Ｆ（ｓ＋１）のデータと、を選択して、メモリ１０６に書き込むことになる。

なお、以降は、これら２つのフレーム画像Ｆ（Ｉ），Ｆ（Ｉ＋１）のデータに対する一連の処理が完了する毎に、ステップＳ１１６において、画像選択部１４２が、フレーム番号Ｉの値を更新して、順次、フレーム画像のデータを選択することになる。

図３は動画像データから２つのフレーム画像データを選択する選択方法を説明するための説明図である。図３において、横軸は時間軸である。図３では、動画像を構成する複数のフレーム画像が、その時間軸に沿って並んでいる様子を模式的に示している。各フレーム画像の下に記載されている番号は、フレーム番号であり、上に記載されている番号は、フレーム画像データの選択順序を示している。

上述したとおり、ユーザからの指定によって取得したフレーム番号はｓであり、本実施例では、このフレーム番号ｓのフレーム画像を中心として、時間軸に対して左右交互に２つのフレーム画像データを順次選択し、最大で、選択可能範囲内にある２ｅ組のフレーム画像データを選択するようにしている。なお、ｅは、選択可能範囲を表す予め定めされた値である。

具体的には、画像選択部１４２は、フレーム番号Ｉを、ｓを初期値として、ステップＳ１１６において以下の順序で更新する。

Ｉ：ｓ，ｓ−１，ｓ＋１，ｓ−２，ｓ＋２，......，ｓ−ｅ＋２，ｓ＋ｅ−２，ｓ−ｅ＋１，ｓ＋ｅ−１，ｓ−ｅ
このようにフレーム番号Ｉの値を更新することにより、図３に示すごとく、以下の選択順序で、２つのフレーム画像のデータが選択される。

１番目：Ｉ＝ｓ ；フレーム画像Ｆ（ｓ），Ｆ（ｓ＋１）
２番目：Ｉ＝ｓ−１；フレーム画像Ｆ（ｓ−１），Ｆ（ｓ）
３番目：Ｉ＝ｓ＋１；フレーム画像Ｆ（ｓ＋１），Ｆ（ｓ＋２）
４番目：Ｉ＝ｓ−２；フレーム画像Ｆ（ｓ−２），Ｆ（ｓ−１）
（省略）
２ｅ−２番目：Ｉ＝ｓ−ｅ＋１；フレーム画像Ｆ（ｓ−ｅ＋１），Ｆ（ｓ−ｅ＋２）
２ｅ−１番目：Ｉ＝ｓ＋ｅ−１；フレーム画像Ｆ（ｓ＋ｅ−１），Ｆ（ｓ＋ｅ）
２ｅ 番目：Ｉ＝ｓ−ｅ ；フレーム画像Ｆ（ｓ−ｅ），Ｆ（ｓ−ｅ＋１）
そして、最終的に、フレーム番号Ｉがｓ＋ｅとなって、選択可能範囲のフレーム画像データについて、全ての選択が完了したら（ステップＳ１１４）、画像抽出部１４５は、図２に示す画像選択・移動検出処理を終了する。

さて、今、前述のステップＳ１０２において、画像選択部１４２が選択した２つのフレーム画像Ｆ（Ｉ），Ｆ（Ｉ＋１）は、図４に示すごとくであるものとする。

図４は選択した２つのフレーム画像の一例を示す説明図である。図４において、（ａ）はフレーム画像Ｆ（Ｉ）を示し、（ｂ）はフレーム画像Ｆ（Ｉ＋１）を示す。

図４（ｂ）に示すフレーム画像Ｆ（Ｉ＋１）は、図４（ａ）に示すフレーム画像（Ｆ）よりも時間的に１つ後であるので、これらフレーム画像によって構成される動画像では、背景はそのままで、被写体である電車が右から左に向かって移動していることになる。

なお、ここで、以下、選択した２つのフレーム画像のうち、フレーム画像Ｆ（Ｉ）を基準フレーム画像と呼び、フレーム画像Ｆ（Ｉ＋１）を対象フレーム画像と呼ぶことにする。

以上のような２つのフレーム画像データの選択を終えたら、次に、ブロック分割部１４３が、選択した２つのフレーム画像のうち、基準フレーム画像Ｆ（Ｉ）を、Ｍ×Ｎ個の矩形のブロックに分割する（ステップＳ１０４）。なお、本実施例では、Ｍ＝Ｎ＝８としている。

図５は図４（ａ）に示す基準フレーム画像Ｆ（Ｉ）を８×８個のブロックに分割した様子を示す説明図である。図５に示すように、全て同じ大きさの矩形のブロックに分割する。

続いて、移動検出部１４４は、分割した各ブロックについて、基準フレーム画像Ｆ（Ｉ）の対象フレーム画像Ｆ（Ｉ＋１）に対する移動の有無を判定すると共に、移動有りと判定された全てのブロックについての平均移動量Ｒａｖなどを検出する（ステップＳ１０６）。

図６は図２のステップＳ１０６におけるブロック移動検出処理の処理ルーチンを詳細に示したフローチャートである。

図６に示す処理ルーチンが開始されると、移動検出部１４４は、基準フレーム画像Ｆ（Ｉ）において、分割した８×８個のブロックの中から、１つのブロックＢ（ｍ，ｎ）を選択する（ステップＳ２０２）。ここで、フレーム画像の水平方向をｘ方向、垂直方向をｙ方向とすると共に、フレーム画像の左上を原点として、原点から数えてｘ方向にｍ番目、ｙ方向にｎ番目のブロックをＢ（ｍ，ｎ）と表すことにする。

本実施例では、（ｍ，ｎ）＝（１，１）を初期値とし、移動検出部１４４は、まず、基準フレーム画像Ｆ（Ｉ）の左上に位置にするブロックＢ（１，１）を選択する。

なお、以降は、ブロック（ｍ，ｎ）に対する一連の処理が完了する毎に、ステップＳ２１４において、移動検出部１４４が、ｍ，ｎの値を更新して、順次、ブロックを選択することになる。本実施例では、例えば、（ｍ，ｎ）を、まず、（１，１）から（８，１）までｍの値を１ずつ増加させて更新し、次に、ｎの値を１つ増加させた後、（１，２）から（８，２）までｍの値を１ずつ増加させて更新し、以下同様の処理を繰り返して、最終的に（８，８）になるまで更新する。

こうして、１つのブロックＢ（ｍ，ｎ）を選択したら、次に、移動検出部１４４は、その選択したブロックＢ（ｍ，ｎ）が、対象フレーム画像Ｆ（Ｉ＋１）において、ｘ，ｙ方向に、それぞれ、どれだけの量、移動したかを検出する（ステップＳ２０４）。

図７は基準フレーム画像Ｆ（Ｉ）において選択されたブロックとそのブロックが対象フレーム画像Ｆ（Ｉ＋１）においてどれだけの量、移動したかを説明するための説明図である。

今、基準フレーム画像Ｆ（Ｉ）において選択されたブロックＢ（ｍ，ｎ）が図７（ａ）に示すごとくであるとする。そこで、この基準フレーム画像Ｆ（Ｉ）におけるブロックＢ（ｍ，ｎ）の位置を、そのまま、図７（ｂ）に示す対象フレーム画像Ｆ（Ｉ＋１）に写し出すと、Ｐ１の位置となる。しかしながら、例えば、動画像において被写体が移動したことにより、基準フレーム画像Ｆ（Ｉ）では、Ｐ１の位置にあったブロックＢ（ｍ，ｎ）の部分の画像が、その後、対象フレーム画像Ｆ（Ｉ＋１）では、Ｐ２の位置に移動したものとすると、図７（ｂ）に示すように、ブロックＢ（ｍ，ｎ）の部分の画像は、対象フレーム画像Ｆ（Ｉ＋１）において、Ｐ１の位置から、ｘ方向にΔｘ、ｙ方向にΔｙ、移動していることになる。

従って、移動検出部１４４は、ブロックＢ（ｍ，ｎ）について、基準フレーム画像Ｆ（Ｉ）の対象フレーム画像Ｆ（Ｉ＋１）に対するｘ，ｙ方向の移動量として、Δｘ，Δｙを検出する。

それでは、この移動量Δｘ，Δｙの具体的な検出方法について説明する。図８は移動量Δｘ，Δｙの検出方法を説明するための説明図である。

今、対象フレーム画像Ｆ（Ｉ＋１）において、図８に示すように、Ｐ１の位置からｘ方向にｄｘ、ｙ方向にｄｙ移動した位置に、仮想ブロックＩＢを想定する。ここで、基準フレーム画像Ｆ（Ｉ）のブロックＢ（ｍ，ｎ）内において、任意の画素Ｐの位置を（ｘ，ｙ）とし、その画素値をＱ_I（ｘ，ｙ）とすると、対象フレーム画像Ｆ（Ｉ＋１）の仮想ブロックＩＢ内において、上記画素Ｐに対応する画素Ｐ'の位置は、（ｘ＋ｄｘ，ｙ＋ｄｙ）となり、その画素値はＱ_I+1（ｘ＋ｄｘ，ｙ＋ｄｙ）となる。

そこで、対象フレーム画像Ｆ（Ｉ＋１）の仮想ブロックＩＢ内における画素Ｐ'の画素値と、基準フレーム画像Ｆ（Ｉ）のブロックＢ（ｍ，ｎ）内における、上記画素Ｐ'に対応する画素Ｐの画素値と、の差分を、ブロック内の全画素について算出し、それらの和を画素差分値ＤＩＦ（ｄｘ，ｄｙ）として、式（１）に示すように求める。
ＤＩＦ（ｄｘ，ｄｙ）
＝Σ（｜Ｑ_I+1（ｘ＋ｄｘ，ｙ＋ｄｙ）−Ｑ_I（ｘ，ｙ）｜） （１）

そして、ｄｘ，ｄｙの値を、式（２）の範囲内で、順次変化させて、同様にして、画素差分値ＤＩＦ（ｄｘ，ｄｙ）をそれぞれ求める。
−Ｒｔｈ＜ｄｘ＜Ｒｔｈ
−Ｒｔｈ＜ｄｙ＜Ｒｔｈ （２）
なお、Ｒｔｈは、前述したように、ユーザにより設定された移動量閾値である。

その後、求めた画素差分値ＤＩＦ（ｄｘ，ｄｙ）が最小となるときのｄｘ，ｄｙの値を求め、その値を移動量Δｘ，Δｙとして検出する。

こうして、ｘ方向，ｙ方向の移動量Δｘ，Δｙを検出したら、次に、移動検出部１４４は、式（３）に基づいて、合成移動量Ｒを算出する（ステップＳ２０６）。
Ｒ＝（Δｘ²＋Δｙ²）^1/2 （３）

そして、移動検出部１４４は、ユーザの設定により先に取得した移動量閾値Ｒｔｈをメモリ１０６から読み出し、算出した合成移動量Ｒを、その移動量閾値Ｒｔｈと比較して、合成移動量Ｒが移動量閾値Ｒｔｈ以上であるか否かを判定する（ステップＳ２０８）。

判定の結果、合成移動量Ｒが移動量閾値Ｒｔｈに満たない場合には、移動検出部１４４は、選択したブロックＢ（ｍ，ｎ）について移動無しと決定し、何もすることなく、ステップＳ２１２の処理に移行する。

一方、判定の結果、合成移動量Ｒが移動量閾値Ｒｔｈ以上である場合には、移動検出部１４４は、選択したブロックＢ（ｍ，ｎ）について移動有りと決定し、ブロックＢ（ｍ，ｎ）に対応して移動有りマークを設定し、メモリ１０６に書き込むと共に、ブロックＢ（ｍ，ｎ）について検出した移動量Δｘ，Δｙの値も、メモリ１０６に書き込む（ステップＳ２１０）。

そして、移動検出部１４４は、基準フレーム画像Ｆ（Ｉ）における全てのブロックについて、上記した一連の処理を行ったか否かを判定し（ステップＳ２１２）、行っていなければ、ｍ，ｎの値を上述したごとく更新した上で、次のブロックを選択し、同様の処理を行う。

一方、全てのブロックについて、上記した一連の処理を完了したら、次に、移動検出部１４４は、移動有りと決定した各ブロックの移動量Δｘ，Δｙに基づいて、基準フレーム画像Ｆ（Ｉ）の対象フレーム画像Ｆ（Ｉ＋１）に対するｘ方向，ｙ方向の平均移動量Ｒｘａｖ，Ｒｙａｖ及び平均移動量Ｒａｖを算出して、メモリ１０６に書き込む（ステップＳ２１６）。

具体的には、まず、移動検出部１４４は、ステップＳ２１０において書き込んだ移動有りマークの設定情報をメモリ１０６から読み出す。

図９は移動有りマークの設定情報を模式的に示した説明図である。図９において、○印が移動有りマークである。従って、この○印の付いているブロックが、ステップＳ２０８において移動有りとして決定されたブロックである。

次に、移動検出部１４４は、この移動有りマークの設定情報から、移動有りと決定したたブロックの個数ＢＮを検出する。なお、図９では、○印の数は、１６個であるので、ＢＮ＝１６として検出される。

続いて、移動検出部１４４は、ステップＳ２１０において、移動有りと決定したブロックについて書き込んだｘ方向，ｙ方向の移動量Δｘ，Δｙを、メモリ１０６からそれぞれ読み出し、それら移動量Δｘについての和ΣΔｘを求めると共に、移動量Δｙについての和ΣΔｙを求める。そして、式（４）に示すごとくそれぞれの移動量の和ΣΔｘ，ΣΔｙを、先に求めた個数ＢＮで除して、ｘ方向，ｙ方向の平均移動量Ｒｘａｖ，Ｒｙａｖを求める。
Ｒｘａｖ＝ΣΔｘ／ＢＮ
Ｒｙａｖ＝ΣΔｙ／ＢＮ （４）

さらに、移動検出部１４４は、それらｘ方向，ｙ方向の平均移動量Ｒｘａｖ，Ｒｙａｖに基づいて、式（５）により、平均移動量Ｒａｖを求める。
Ｒａｖ＝（Ｒｘａｖ²＋Ｒｙａｖ²）^1/2 （５）

このようして求められたｘ方向，ｙ方向の平均移動量Ｒｘａｖ，Ｒｙａｖや、平均移動量Ｒａｖは、基準フレーム画像Ｆ（Ｉ）の対象フレーム画像Ｆ（Ｉ＋１）に対する画像全体としての全体移動量を表すものといえる。

以上の処理を終了したら、移動検出部１４４は、図６に示す処理ルーチンから抜けて、図２に示すステップＳ１０８の処理に移行する。

ステップＳ１０８では、画像抽出部１４５は、算出した平均移動量Ｒａｖ及びｘ方向，ｙ方向の平均移動量Ｒｘａｖ，Ｒｙａｖをメモリ１０６からそれぞれ読み出し、そのうちの平均移動量Ｒａｖと、後述の平均移動量最大値Ｒａｖｍａｘと、を比較して、平均移動量Ｒａｖが、平均移動量最大値Ｒａｖｍａｘを超えているか否かを判定する。

初期状態では、画像抽出部１４５は、平均移動量最大値Ｒａｖｍａｘの初期値として、０を設定している。また、その他、画像抽出部１４５は、後述の移動量最大フレーム番号Ｉｒｍａｘの初期値として、フレーム番号ｓを設定しており、後述のｘ方向平均移動量最大値Ｒｘａｖｍａｘ，ｙ方向平均移動量最大値Ｒｙａｖｍａｘとして、それぞれ、０を設定している。

さて、判定の結果、読み出した平均移動量Ｒａｖが平均移動量最大値Ｒａｖｍａｘを超えている場合には、画像抽出部１４５は、その平均移動量Ｒａｖを新たな平均移動量最大値Ｒａｖｍａｘとして設定してメモリ１０６に書き込むと共に、そのときのフレーム番号Ｉを新たな移動量最大フレーム番号Ｉｒｍａｘとして設定し、先に読み出したｘ方向の平均移動量Ｒｘａｖをｘ方向平均移動量最大値Ｒｘａｖｍａｘとして、ｙ方向の平均移動量Ｒｙａｖをｙ方向平均移動量最大値Ｒｙａｖｍａｘとして、それぞれ設定してメモリ１０６に書き込み、さらに、先に求めた移動有りマークの設定情報をメモリ１０６内の特定領域に上書き保存する（ステップＳ１１０）。

こうすることにより、移動量最大フレーム番号Ｉｒｍａｘとしては、その時点において、平均移動量Ｒａｖが最大となるフレーム画像のフレーム番号Ｉが設定されると共に、平均移動量最大値Ｒａｖｍａｘとしては、その最大となる平均移動量Ｒａｖが設定されることになり、また、ｘ方向平均移動量最大値Ｒｘａｖｍａｘ，ｙ方向平均移動量最大値Ｒｙａｖｍａｘとしては、平均移動量Ｒａｖが最大となるｘ方向，ｙ方向の平均移動量Ｒｘａｖ，Ｒｙａｖがそれぞれ設定されることになり、特定領域には、そのフレーム画像についての移動有りマークの設定情報が保存されることになる。

次に、画像抽出部１４５は、先に読み出した平均移動量Ｒａｖと、ユーザより設定された移動量閾値Ｒｔｈと、を比較して、平均移動量Ｒａｖが移動量閾値Ｒｔｈ以上であるか否かを判定する（ステップＳ１１２）。

判定の結果、平均移動量Ｒａｖが移動量閾値Ｒｔｈ以上である場合には、選択可能範囲内のフレーム画像データの全てについて、選択が完了していなくても、画像抽出部１４５は、図２に示す画像選択・移動検出処理を終了する。

従って、この場合、移動量最大フレーム番号Ｉｒｍａｘは、最終的に、平均移動量Ｒａｖが移動量閾値Ｒｔｈ以上になった時点のフレーム画像のフレーム番号となっている。

一方、判定の結果、平均移動量Ｒａｖが移動量閾値Ｒｔｈに満たない場合には、フレーム番号Ｉがｓ＋ｅと等しいか否かを判定して（ステップＳ１１４）、上述したごとく、選択可能範囲内のフレーム画像データについて、全ての選択が完了したかどうかを検出する。そして、全ての選択が完了していたら、上述したごとく、画像抽出部１４５は、図２に示す画像選択・移動検出処理を終了する。

従って、この場合、移動量最大フレーム番号Ｉｒｍａｘは、最終的に、選択可能範囲内の全てのフレーム画像の中で、平均移動量Ｒａｖが最大となるフレーム画像のフレーム番号となっている。

Ｂ−２．流し撮り画像生成処理：
以上のようにして、画像選択・移動検出処理が終了すると、次に、流し撮り画像生成処理が開始される。この流し撮り画像生成処理では、移動量最大フレーム番号Ｉｒｍａｘに基づいて抽出される基準フレーム画像と対象フレーム画像とを用いて、流し撮り画像を生成する。なお、ここで、流し撮り画像をＦｃとし、その流し撮り画像Ｆｃにおける任意の画素をＰｃ（ｘ，ｙ）とし、その画素値をＱｃ（ｘ，ｙ）とするものとする。

流し撮り画像生成部１４６は、まず、ユーザによって先に設定された流し撮り画像Ｆｃの種類を、メモリ１０６から読み出し、設定された種類が、「種類１」、すなわち、移動していない部分に対して、移動している部分が流れるように表現された画像である場合には、図１０に示す種類１についての流し撮り画像生成処理を実行し、設定された種類が、「種類２」、すなわち、移動している部分に対して、移動していない部分が流れるように表現された画像である場合には、図１１に示す種類２についての流し撮り画像生成処理を実行する。

Ｂ−２−１．種類１についての流し撮り画像生成処理：
図１０は本実施例における種類１についての流し撮り画像生成処理の処理手順を示すフローチャートである。

図１０に示す処理が開始されると、流し撮り画像生成部１４６は、まず、メモリ１０６から移動量最大フレーム番号Ｉｒｍａｘと、メモリ１０６の特定領域から移動有りマークの設定情報と、をそれぞれ読み出す（ステップＳ３０２）。読み出した移動量最大フレーム番号Ｉｒｍａｘが、今、フレーム番号Ｉｍであるとすると、次に、画像抽出部１４５は、動画像データの中から、フレーム番号Ｉｍの基準フレーム画像Ｆ（Ｉｍ）のデータと、そのデータよりも時間的に１つ後のデータである、フレーム番号Ｉｍ＋１の対象フレーム画像Ｆ（Ｉｍ＋１）のデータと、をそれぞれ抽出する（ステップＳ３０４）。

ここで、前述したとおり、移動量最大フレーム番号Ｉｒｍａｘは、最終的に、平均移動量Ｒａｖが移動量閾値Ｒｔｈ以上になった時点のフレーム画像のフレーム番号か、または、選択可能範囲内の全てのフレーム画像の中で、平均移動量Ｒａｖが最大となるフレーム画像のフレーム番号となっているため、こうして、その移動量最大フレーム番号Ｉｒｍａｘ（すなわち、フレーム番号Ｉｍ）に基づいて動画像データの中から基準フレーム画像Ｆ（Ｉｍ）のデータと、対象フレーム画像Ｆ（Ｉｍ＋１）のデータを抽出することにより、それら画像データとして、被写体または背景が移動しているシーンの画像データを抽出することができる。

続いて、流し撮り画像生成部１４６は、基準フレーム画像Ｆ（Ｉｍ）の中から、１つの画素Ｐ（ｘ，ｙ）を選択する（ステップＳ３０６）。本実施例では、（ｘ，ｙ）＝（１，１）を初期値として、流し撮り画像生成部１４６は、まず、基準フレーム画像Ｆ（Ｉｍ）の左上に位置にする画素Ｐ（１，１）を選択する。

なお、以降は、画素Ｐ（ｘ，ｙ）に対する一連の処理が完了する毎に、ステップＳ３１６において、流し撮り画像生成部１４６が、ｘ，ｙの値を更新して、順次、画素を選択することになる。本実施例では、例えば、（ｘ，ｙ）を、まず、（１，１）からｘの値を１ずつ増加させて更新し、水平方向に画素を１つずつ選択し、次に、ｙの値を１つ増加させて、垂直方向に１画素分移動させた後、（１，２）からｘの値を１ずつ増加させて更新し、水平方向に画素を１つずつ選択し、以下同様の処理を繰り返して、最終的に基準フレーム画像Ｆ（Ｉｍ）の右下に位置にする画素になるまで更新する。

なお、ｘ，ｙの初期値及び更新手順については、後述の図１１における処理おいても同様である。

こうして、１つの画素Ｐ（ｘ，ｙ）を選択したら、次に、流し撮り画像生成部１４６は、先に読み出した移動有りマークの設定情報を参照して、その選択した画素Ｐ（ｘ，ｙ）が、移動有りマークの付されたブロックに属するか否かを判定する（ステップＳ３０８）。

判定の結果、選択した画素Ｐ（ｘ，ｙ）が、移動有りマークの付されたブロックＢに属していない場合には、式（６）に示すごとく、流し撮り画像Ｆｃにおける画素Ｐｃ（ｘ，ｙ）の画素値Ｑｃ（ｘ，ｙ）として、基準フレーム画像Ｆ（Ｉｍ）における画素Ｐ（ｘ，ｙ）の画素値Ｑ_Im（ｘ，ｙ）を設定し、流し撮り画像Ｆｃのデータとしてメモリ１０６に書き込む（ステップＳ３１２）。
Ｑｃ（ｘ，ｙ）←Ｑ_Im（ｘ，ｙ） （６）

一方、判定の結果、選択した画素Ｐ（ｘ，ｙ）が、移動有りマークの付されたブロックＢに属している場合には、式（７）に示すごとく、流し撮り画像Ｆｃにおける画素Ｐｃ（ｘ，ｙ）の画素値Ｑｃ（ｘ，ｙ）として、基準フレーム画像Ｆ（Ｉｍ）における画素Ｐ（ｘ，ｙ）の画素値Ｑ_Im（ｘ，ｙ）と対象フレーム画像Ｆ（Ｉｍ＋１）における画素Ｐ'（ｘ，ｙ）の画素値Ｑ_Im+1（ｘ，ｙ）との平均値を設定し、流し撮り画像Ｆｃのデータとしてメモリ１０６に書き込む（ステップＳ３１０）。
Ｑｃ（ｘ，ｙ）←（Ｑ_Im（ｘ，ｙ）＋Ｑ_Im+1（ｘ，ｙ））／２ （７）

例えば、今、ステップＳ３０４において抽出された基準フレーム画像Ｆ（Ｉｍ）が図４（ａ）に示すごとくであり、対象フレーム画像Ｆ（Ｉｍ＋１）が図４（ｂ）に示すごとくであり、ステップＳ３０２で読み出された移動有りマークの設定情報が図９に示すごとくであるものすると、基準フレーム画像Ｆ（Ｉｍ）における移動有りマークの付されたブロックは、図１２に示すごとくになる。

図１２は基準フレーム画像Ｆ（Ｉｍ）における移動有りマークの付されたブロックを示す説明図である。従って、図１２において、点線の○印の付いていないブロック内の画素については、式（６）に従って、基準フレーム画像Ｆ（Ｉｍ）における画素Ｐ（ｘ，ｙ）が、そのまま、流し撮り画像Ｆｃにおける画素Ｐｃ（ｘ，ｙ）を構成し、点線の○印の付いているブロック内の画素については、式（７）に従って、基準フレーム画像Ｆ（Ｉｍ）における画素Ｐ（ｘ，ｙ）と対象フレーム画像Ｆ（Ｉｍ＋１）における画素Ｐ'（ｘ，ｙ）とを合成して、その合成により得られた画素が流し撮り画像Ｆｃにおける画素Ｐｃ（ｘ，ｙ）を構成することになる。

そして、流し撮り画像生成部１４６は、基準フレーム画像Ｆ（Ｉｍ）における全ての画素について、上記した一連の処理を行ったか否かを判定し（ステップＳ３１４）、行っていなければ、ｘ，ｙの値を上述したごとく更新した上で、次の画素を選択し、同様の処理を行う。一方、全てのブロックについて、上記した一連の処理を完了したら、流し撮り画像生成部１４６は、図１０に示す処理を終了する。

こうして、流し撮り画像生成処理が終了すると、メモリ１０６には、生成された流し撮り画像Ｆｃのデータが格納されることになる。

次に、ユーザインターフェイス部１４８は、モニタ１１４に、流し撮り画像表示ウインドウ（図示せず）をさらに表示させ、メモリ１０６から、生成した流し撮り画像Ｆｃのデータを読み出し、そのデータに基づいて、流し撮り画像Ｆｃを流し撮り画像表示ウインドウ内に表示させる。

従って、その流し撮り画像表示ウインドウには、図１３に示すような流し撮り画像Ｆｃが表示されることになる。

図１３は種類１の流し撮り画像を示す説明図である。すなわち、図１２と比較すれば明らかなように、図１３に示す流し撮り画像Ｆｃは、移動有りマークの付されていないブロックの部分については、基準フレーム画像Ｆ（Ｉｍ）がそのまま表示され、移動有りマークの付されているブロックの部分については、画像が流れるように表示されることになる。従って、図１０に示す処理を実行することにより、「種類１」の流し撮り画像、すなわち、移動していない部分に対して、移動している部分が流れるように表現された流し撮り画像を得ることができる。

また、こうして流し撮り画像Ｆｃが表示されている際に、ユーザが、ポインティングデバイス１１２を操作して、例えば、流し撮り画像表示ウインドウ内に配置されている保存ボタンを押すと、ユーザインターフェイス部１４８は、生成した流し撮り画像Ｆｃのデータをメモリ１０６から読み出して、ハードディスク装置１０８における画像データベース部１３２に書き込んで保存する。また、代わりに、流し撮り画像表示ウインドウ内に配置されている印刷ボタンを押すと、ユーザインターフェイス部１４８は、流し撮り画像Ｆｃのデータをメモリ１０６から読み出して、USBＩ／Ｆ回路部１２０を介してプリンタ１１６に伝送し、プリンタ１１６は、そのデータに基づいて、流し撮り画像Ｆｃを印刷する。

従って、このようにして、生成した流し撮り画像Ｆｃを保存したり、印刷したりすることも可能である。

Ｂ−２−２．種類２についての流し撮り画像生成処理：
さて、一方、ユーザによって先に設定された流し撮り画像Ｆｃの種類が、「種類２」、すなわち、移動している部分に対して、移動していない部分が流れるように表現された画像である場合には、流し撮り画像生成部１４６は、図１１に示す種類２についての流し撮り画像生成処理を実行する。

図１１は本実施例における種類２についての流し撮り画像生成処理の処理手順を示すフローチャートである。

図１１に示す処理が開始されると、流し撮り画像生成部１４６は、まず、メモリ１０６から移動量最大フレーム番号Ｉｒｍａｘと、ｘ方向平均移動量最大値Ｒｘａｖｍａｘ，ｙ方向平均移動量最大値Ｒｙａｖｍａｘと、メモリ１０６の特定領域から移動有りマークの設定情報と、をそれぞれ読み出す（ステップＳ４０２）。読み出した移動量最大フレーム番号Ｉｒｍａｘが、今、フレーム番号Ｉｍであるとし、ｘ方向平均移動量最大値Ｒｘａｖｍａｘが、移動量Ｒｘｍとし、ｙ方向平均移動量最大値Ｒｙａｖｍａｘが、移動量Ｒｙｍとする。

すると、画像抽出部１４５は、まず、動画像データの中から、被写体または背景が移動しているシーンの画像データとして、フレーム番号Ｉｍの基準フレーム画像Ｆ（Ｉｍ）のデータと、フレーム番号Ｉｍ＋１の対象フレーム画像Ｆ（Ｉｍ＋１）のデータと、をそれぞれ抽出する（ステップＳ４０４）。

次に、流し撮り画像生成部１４６は、基準フレーム画像Ｆ（Ｉｍ）の中から、１つの画素Ｐ（ｘ，ｙ）を選択する（ステップＳ４０６）。続いて、流し撮り画像生成部１４６は、先に読み出した移動有りマークの設定情報を参照して、その選択した画素Ｐ（ｘ，ｙ）が、移動有りマークの付されたブロックに属するか否かを判定する（ステップＳ４０８）。

判定の結果、選択した画素Ｐ（ｘ，ｙ）が、移動有りマークの付されたブロックＢに属している場合には、図１０における処理とは反対に、式（８）に示すごとく、流し撮り画像Ｆｃにおける画素Ｐｃ（ｘ，ｙ）の画素値Ｑｃ（ｘ，ｙ）として、基準フレーム画像Ｆ（Ｉｍ）における画素Ｐ（ｘ，ｙ）の画素値Ｑ_Im（ｘ，ｙ）を設定し、流し撮り画像Ｆｃのデータとしてメモリ１０６に書き込む（ステップＳ４１０）。
Ｑｃ（ｘ，ｙ）←Ｑ_Im（ｘ，ｙ） （８）

一方、判定の結果、選択した画素Ｐ（ｘ，ｙ）が、移動有りマークの付されたブロックＢに属していない場合には、先にｘ方向，ｙ方向平均移動量最大値Ｒｘａｖｍａｘ，Ｒｙａｖｍａｘとして読み出した移動量Ｒｘｍ，Ｒｙｍに基づいて、式（９）に示すごとく、流し撮り画像Ｆｃにおける画素Ｐｃ（ｘ，ｙ）の画素値Ｑｃ（ｘ，ｙ）として、基準フレーム画像Ｆ（Ｉｍ）における画素Ｐ（ｘ，ｙ）の画素値Ｑ_Im（ｘ，ｙ）と、対象フレーム画像Ｆ（Ｉｍ＋１）における画素Ｐ'（ｘ−Ｒｘｍ，ｙ−Ｒｙｍ）の画素値Ｑ_Im+1（ｘ−Ｒｘｍ，ｙ−Ｒｙｍ）と、の平均値を設定し、流し撮り画像Ｆｃのデータとしてメモリ１０６に書き込む（ステップＳ４１２）。
Ｑｃ（ｘ，ｙ）←（Ｑ_Im（ｘ，ｙ）＋Ｑ_Im+1（ｘ−Ｒｘｍ，ｙ−Ｒｙｍ））／２ （９）

例えば、今、ステップＳ４０４において抽出された基準フレーム画像Ｆ（Ｉｍ）が図４（ａ）に示すごとくであり、対象フレーム画像Ｆ（Ｉｍ＋１）が図４（ｂ）に示すごとくであり、ステップＳ４０２で読み出された移動有りマークの設定情報が図９に示すごとくであるものすると、基準フレーム画像Ｆ（Ｉｍ）における移動有りマークの付されたブロックは、前述したとおり、図１２に示すごとくになる。

従って、図１２において、点線の○印の付いているブロック内の画素については、式（８）に従って、基準フレーム画像Ｆ（Ｉｍ）における画素Ｐ（ｘ，ｙ）が、そのまま、流し撮り画像Ｆｃにおける画素Ｐｃ（ｘ，ｙ）を構成し、点線の○印の付いていないブロック内の画素については、式（９）に従って、対象フレーム画像Ｆ（Ｉｍ＋１）をｘ方向に−Ｒｘｍ、ｙ方向に−Ｒｙｍだけ移動し、基準フレーム画像Ｆ（Ｉｍ）における画素Ｐ（ｘ，ｙ）と、その移動した対象フレーム画像Ｆ（Ｉｍ＋１）における画素Ｐ'（ｘ−Ｒｘｍ，ｙ−Ｒｙｍ）と、を合成して、その合成により得られた画素が流し撮り画像Ｆｃにおける画素Ｐｃ（ｘ，ｙ）を構成することになる。

そして、流し撮り画像生成部１４６は、基準フレーム画像Ｆ（Ｉｍ）における全ての画素について、上記した一連の処理を行ったか否かを判定し（ステップＳ４１４）、行っていなければ、ｘ，ｙの値を更新した上で、次の画素を選択し、同様の処理を行う。一方、全てのブロックについて、上記した一連の処理を完了したら、流し撮り画像生成部１４６は、図１１に示す処理を終了する。

このようにして流し撮り画像生成処理が終了すると、ユーザインターフェイス部１４８は、モニタ１１４に、流し撮り画像表示ウインドウを表示させ、メモリ１０６から、生成した流し撮り画像Ｆｃのデータを読み出し、そのデータに基づいて、流し撮り画像Ｆｃを流し撮り画像表示ウインドウ内に表示させる。

従って、その流し撮り画像表示ウインドウには、図１４に示すような流し撮り画像Ｆｃが表示されることになる。

図１４は種類２の流し撮り画像を示す説明図である。すなわち、図１２と比較すれば明らかなように、図１４に示す流し撮り画像Ｆｃは、図１３に示した流し撮り画像Ｆｃとは反対に、移動有りマークの付されているブロックの部分については、基準フレーム画像Ｆ（Ｉｍ）がそのまま表示され、移動有りマークの付されていないブロックの部分については、画像が流れるように表示されることになる。従って、図１１に示す処理を実行することにより、「種類２」の流し撮り画像、すなわち、移動有りと検出された部分に対して、移動している部分に対して、移動していない部分が流れるように表現された流し撮り画像を得ることができる。

なお、このような「種類２」の流し撮り画像Ｆｃについても、「種類１」の流し撮り画像Ｆｃと同様にして、保存や印刷を行うことができる。

Ｃ．実施例の効果：
以上説明したように、本実施例によれば、動画像データの中から、被写体または背景が移動しているシーンの画像データを自動的に抽出することができると共に、それら画像データを用いて、流し撮り画像のデータを容易に生成することができる。

また、ユーザが設定した種類に応じて、移動していない部分に対して、移動している部分が流れるように表現された流し撮り画像や、移動している部分に対して、移動していない部分が流れるように表現された流し撮り画像を得ることができる。

さらに、ユーザが設定した移動量閾値Ｒｔｈに応じて、移動有りとして検出される移動量の範囲などを変えることができるため、移動量の比較的大きいシーンの画像データや移動量の比較的小さいシーンの画像データを選択的に抽出することができる。例えば、移動量閾値Ｒｔｈを比較的大きい値に設定した場合には、動画像データの中から、移動量の比較的大きいシーンの画像データを抽出することができ、そのような画像データを用いて流し撮り画像を生成した場合には、流れるように表現される部分において、画像の流れる量（移動量）は大きくなるよう表現される。逆に、移動量閾値Ｒｔｈを比較的小さい値に設定した場合には、動画像データの中から、移動量の比較的小さいシーンの画像データを抽出することができ、そのような画像データを用いて流し撮り画像を生成した場合には、流れるように表現される部分において、画像の流れる量（移動量）は小さくなるよう表現される。

Ｄ．変形例：
上記した実施例においては、動画像データの中から、被写体または背景が移動しているシーンの画像データを抽出した後、引き続き、それら画像データを用いて流し撮り画像のデータを生成するようにしていたが、本発明はこれに限定されるものではなく、上記シーンの画像データの抽出のみを行うようにしてもよい。

また、予め、被写体または背景が移動しているシーンの画像データを用意しておき、それら画像データを用いて流し撮り画像のデータを生成するようにして、上記シーンの画像データの抽出は行わずに、流し撮り画像データの生成のみを行うようにしてもよい。

また、上記した実施例では、動画像データの中から、フレーム画像データを選択して抽出するようにしていたが、動画像データが複数のフィールド画像データで構成されている場合には、フィールド画像データを選択して抽出するようにしてもよいし、フィールド画像データからフレーム画像データを生成し、そのフレーム画像データを選択して抽出するようにしてもよい。

また、上記した実施例においては、時系列に連続する複数の画像データとして、動画像データを用いていたが、本発明はこれに限定されるものではなく、上述した連写画像データを用いるようにしてもよい。

また、上記した実施例においては、動画像データなど時系列に連続する複数の画像データの中から、２つの画像データを選択して抽出するようにしていたが、３つ以上の画像データを選択して抽出するようにしてもよい。また、流し撮り画像のデータを生成する場合も、連続する２つの画像データに基づいて生成していたが、連続する３つ以上の画像データに基づいて生成するようにしてもよい。

また、上記した実施例においては、ブロックＢ（ｍ，ｎ）について、基準フレーム画像Ｆ（Ｉ）の対象フレーム画像Ｆ（Ｉ＋１）に対するｘ，ｙ方向の移動量Δｘ，Δｙを検出する際、対象フレーム画像Ｆ（Ｉ＋１）の仮想ブロックＩＢ内における画素Ｐ'の画素値と、基準フレーム画像Ｆ（Ｉ）のブロックＢ（ｍ，ｎ）内における、上記画素Ｐ'に対応する画素Ｐの画素値と、の差分を、ブロック内の全画素について算出した上で、それらの和を画素差分値ＤＩＦ（ｄｘ，ｄｙ）として求めていたが、必ずしも、ブロック内の全画素について上記差分を求める必要はなく、ブロック内を代表点について上記差分を求めて、それらの和を画素差分値ＤＩＦ（ｄｘ，ｄｙ）として求めるようにしてもよい。なお、代表点としては、例えば、ブロック内を格子状に区切り、その格子点を用いるようにすればよい。

また、上記した実施例においては、ユーザは移動量閾値Ｒｔｈとして任意の値を設定できるようになっていたが、本発明はこれに限定されるわけではなく、例えば、予め、式（１０）に示すような関係を持つ３つのレベルＲｔｈ１，Ｒｔｈ２，Ｒｔｈ３を設定しておき、ユーザは、それら３つのレベルの中から移動量閾値Ｒｔｈを選択できるよう構成してもよい。また、これらのレベル自体も、３つに限定されるものではない。
画像サイズの１／１０程度＜Ｒｔｈ３＜Ｒｔｈ２＜Ｒｔｈ１＜画像サイズの１／２０程度 （１０）

また、上記した実施例においては、図２のステップＳ１１２で用いる移動量閾値Ｒｔｈと、図６のステップＳ２０３で用いる移動量閾値Ｒｔｈとは、同じ値を用いていたが、異なる値を用いるようにしてもよい。

また、上記した実施例においては、図６のステップＳ２１６で求めたｘ方向，ｙ方向の平均移動量Ｒｘａｖ，Ｒｙａｖや、平均移動量Ｒａｖを、基準画像の対象画像に対する画像全体としての全体移動量として用いていたが、このような移動量の単純平均値に限らず、例えば、移動量の和や、移動量の自乗平均値や、移動量の最大値や中間値などを、全体移動量として用いるようにしてもよい。

また、上記した実施例においては、全体移動量を、移動有りと判定されたブロックについての移動量のみを用いて検出していたが、全てのブロックについての移動量を用いて検出するようにしてもよい。

また、上記した実施例においては、基準画像を８×８個の矩形のブロックに分割していたが、４×４個、４×８個など、分割するブロックの個数は限定されない。また、矩形に限らず、３角形や６角形など、分割するブロックの形状も限定されない。

さらに、上記した実施例においては、画像処理装置はパーソナルコンピュータで構成するようにしたが、本発明はこれに限定されるものではなく、モバイルコンピュータや、ワークステーションなどで構成するようにしてもよい。あるいは、コンピュータとしての機能を有するデジタルカメラ、ビデオカメラ、ビデオテーププレーヤ、ＤＶＤプレーヤ、ハードディスクプレーヤ、プリンタ、ファクシミリ、スキャナ、携帯電話、携帯情報端末などにおいて、本発明の画像処理装置を構成するようにしてもよい。

本発明の一実施例としての画像処理装置を示すブロック図である。 本発明の一実施例における画像選択・移動検出処理の処理手順を示すフローチャートである。 動画像データから２つのフレーム画像データを選択する選択方法を説明するための説明図である。 選択した２つのフレーム画像の一例を示す説明図である。 図４（ａ）に示す基準フレーム画像Ｆ（Ｉ）を８×８個のブロックに分割した様子を示す説明図である。 図２のステップＳ１０６におけるブロック移動検出処理の処理ルーチンを詳細に示したフローチャートである。 基準フレーム画像Ｆ（Ｉ）において選択されたブロックとそのブロックが対象フレーム画像Ｆ（Ｉ＋１）においてどれだけの量、移動したかを説明するための説明図である。 移動量Δｘ，Δｙの検出方法を説明するための説明図である。 移動有りマークの設定情報を模式的に示した説明図である。 本発明の一実施例における種類１についての流し撮り画像生成処理の処理手順を示すフローチャートである。 本発明の一実施例における種類２についての流し撮り画像生成処理の処理手順を示すフローチャートである。 基準フレーム画像Ｆ（Ｉｍ）における移動有りマークの付されたブロックを示す説明図である。 種類１の流し撮り画像を示す説明図である。 種類２の流し撮り画像を示す説明図である。

符号の説明

１００...画像処理装置
１０２...コンピュータ本体
１０４...ＣＰＵ
１０６...メモリ
１０８...ハードディスク装置
１１０...キーボード
１１２...ポインティングデバイス
１１４...モニタ
１１６...プリンタ
１１８...Ｉ／Ｏ回路部
１２０...USBＩ／Ｆ回路部
１２２...ネットワークＩ／Ｆ回路部
１３２...画像データベース部
１４２...画像選択部
１４３...ブロック分割部
１４４...移動検出部
１４５...画像抽出部
１４６...画像生成部
１４８...ユーザインターフェイス部
２００...ネットワーク

Claims (22)

1. 時系列に連続する複数の画像データの中から、被写体または背景が移動しているシーンの画像データを抽出し、該画像データに基づいて、画像の一部が流れるように表現された流し撮り画像のデータを生成する画像処理装置であって、
   時系列に連続する前記複数の画像データの中から、連続する２つの画像データを順次選択する画像選択部と、
   選択した前記２つの画像データをそれぞれ基準画像のデータ及び対象画像のデータとして、前記基準画像を複数のブロックに分割するブロック分割部と、
   ブロック毎に、前記基準画像の前記対象画像に対する移動量を検出し、検出した該移動量に基づいて、移動有りのブロックか否かを判定すると共に、前記基準画像の前記対象画像に対する画像全体としての全体移動量を検出する移動検出部と、
   検出した前記全体移動量が予め定められた閾値以上である場合に、選択した前記２つの画像データを、前記シーンの画像データとして抽出する画像抽出部と、
   抽出された前記２つの画像データに基づいて、移動有りのブロックに属さない画素については、前記基準画像の画素で前記流し撮り画像の画素を構成し、移動有りのブロックに属する画素については、前記基準画像の画素と前記対象画像の画素とを合成して、その合成により得られた画素で、前記流し撮り画像の画素を構成することより、前記流し撮り画像のデータを生成する流し撮り画像生成部と、
   を備える画像処理装置。
2. 時系列に連続する複数の画像データの中から、被写体または背景が移動しているシーンの画像データを抽出し、該画像データに基づいて、画像の一部が流れるように表現された流し撮り画像のデータを生成する画像処理装置であって、
   時系列に連続する前記複数の画像データの中から、連続する２つの画像データを順次選択する画像選択部と、
   選択した前記２つの画像データをそれぞれ基準画像のデータ及び対象画像のデータとし、前記基準画像を複数のブロックに分割するブロック分割部と、
   ブロック毎に、前記基準画像の前記対象画像に対する移動量を検出し、検出した該移動量に基づいて、移動有りのブロックか否かを判定すると共に、前記基準画像の前記対象画像に対する画像全体としての全体移動量を検出する移動検出部と、
   検出した前記全体移動量が予め定められた閾値以上である場合に、選択した前記２つの画像データを、前記シーンの画像データとして抽出する画像抽出部と、
   抽出された前記２つの画像データに基づいて、移動有りのブロックに属する画素については、前記基準画像の画素で前記流し撮り画像の画素を構成し、移動有りのブロックに属さない画素については、前記対象画像を前記全体移動量に応じた量だけ移動し、前記基準画像の画素と移動した前記対象画像の画素とを合成して、その合成により得られた画素で、前記流し撮り画像の画素を構成することより、前記流し撮り画像のデータを生成する流し撮り画像生成部と、
   を備える画像処理装置。
3. 請求項１または請求項２に記載の画像処理装置において、
   前記移動検出部は、検出した前記移動量のうち、移動有りのブロックについての前記移動量に基づいて、前記全体移動量を検出することを特徴とする画像処理装置。
4. 時系列に連続する複数の画像データの中から、被写体または背景が移動しているシーンの画像データを抽出する画像処理装置であって、
   時系列に連続する前記複数の画像データの中から、連続する２つの画像データを順次選択する画像選択部と、
   選択した前記２つの画像データをそれぞれ基準画像のデータ及び対象画像のデータとし、前記基準画像を複数のブロックに分割するブロック分割部と、
   ブロック毎に、前記基準画像の前記対象画像に対する移動量を検出し、検出した該移動量に基づいて、前記基準画像の前記対象画像に対する画像全体としての全体移動量を検出する移動検出部と、
   検出した前記全体移動量が予め定められた閾値以上である場合に、選択した前記２つの画像データを、前記シーンの画像データとして抽出する画像抽出部と、
   を備える画像処理装置。
5. 請求項１ないし請求項４のうちの任意の１つに記載の画像処理装置において、
   前記画像抽出部は、前記２つの画像データの選択が前記複数の画像データ全てについてなされても、検出した各全体移動量の何れもが前記閾値に満たない場合には、順次選択された前記２つの画像データの組み合わせのうち、検出した前記全体移動量が最大となった２つの画像データの組み合わせを、前記シーンの画像データとして抽出することを特徴とする画像処理装置。
6. 時系列に連続する２つの画像データに基づいて、画像の一部が流れるように表現された流し撮り画像のデータを生成する画像処理装置であって、
   連続する前記２つの画像データをそれぞれ基準画像のデータ及び対象画像のデータとし、前記基準画像を複数のブロックに分割するブロック分割部と、
   ブロック毎に、前記基準画像の前記対象画像に対する移動量を検出し、検出した該移動量に基づいて、移動有りのブロックか否かを判定する移動検出部と、
   前記２つの画像データに基づいて、移動有りのブロックに属さない画素については、前記基準画像の画素で前記流し撮り画像の画素を構成し、移動有りのブロックに属する画素については、前記基準画像の画素と前記対象画像の画素とを合成して、その合成により得られた画素で、前記流し撮り画像の画素を構成することより、前記流し撮り画像のデータを生成する流し撮り画像生成部と、
   を備える画像処理装置。
7. 時系列に連続する２つの画像データに基づいて、画像の一部が流れるように表現された流し撮り画像のデータを生成する画像処理装置であって、
   連続する前記２つの画像データをそれぞれ基準画像のデータ及び対象画像のデータとし、前記基準画像を複数のブロックに分割するブロック分割部と、
   ブロック毎に、前記基準画像の前記対象画像に対する移動量を検出し、検出した該移動量に基づいて、移動有りのブロックか否かを判定すると共に、前記基準画像の前記対象画像に対する画像全体としての全体移動量を検出する移動検出部と、
   前記２つの画像データに基づいて、移動有りのブロックに属する画素については、前記基準画像の画素で前記流し撮り画像の画素を構成し、移動有りのブロックに属さない画素については、前記対象画像を前記全体移動量に応じた量だけ移動し、前記基準画像の画素と移動した前記対象画像の画素とを合成して、その合成により得られた画素で、前記流し撮り画像の画素を構成することより、前記流し撮り画像のデータを生成する流し撮り画像生成部と、
   を備える画像処理装置。
8. 時系列に連続する複数の画像データの中から、被写体または背景が移動しているシーンの画像データを抽出し、該画像データに基づいて、画像の一部が流れるように表現された流し撮り画像のデータを生成するための画像処理方法であって、
   （ａ）時系列に連続する前記複数の画像データの中から、連続する２つの画像データを順次選択する工程と、
   （ｂ）選択した前記２つの画像データをそれぞれ基準画像のデータ及び対象画像のデータとし、前記基準画像を複数のブロックに分割する工程と、
   （ｃ）ブロック毎に、前記基準画像の前記対象画像に対する移動量を検出し、検出した該移動量に基づいて、移動有りのブロックか否かを判定すると共に、前記基準画像の前記対象画像に対する画像全体としての全体移動量を検出する工程と、
   （ｄ）検出した前記全体移動量が予め定められた閾値以上である場合に、選択した前記２つの画像データを、前記シーンの画像データとして抽出する工程と、
   （ｅ）抽出された前記２つの画像データに基づいて、移動有りのブロックに属さない画素については、前記基準画像の画素で前記流し撮り画像の画素を構成し、移動有りのブロックに属する画素については、前記基準画像の画素と前記対象画像の画素とを合成して、その合成により得られた画素で、前記流し撮り画像の画素を構成することより、前記流し撮り画像のデータを生成する工程と、
   を備える画像処理方法。
9. 時系列に連続する複数の画像データの中から、被写体または背景が移動しているシーンの画像データを抽出し、該画像データに基づいて、画像の一部が流れるように表現された流し撮り画像のデータを生成するための画像処理方法であって、
   （ａ）時系列に連続する前記複数の画像データの中から、連続する２つの画像データを順次選択する工程と、
   （ｂ）選択した前記２つの画像データをそれぞれ基準画像のデータ及び対象画像のデータとし、前記基準画像を複数のブロックに分割する工程と、
   （ｃ）ブロック毎に、前記基準画像の前記対象画像に対する移動量を検出し、検出した該移動量に基づいて、移動有りのブロックか否かを判定すると共に、前記基準画像の前記対象画像に対する画像全体としての全体移動量を検出する工程と、
   （ｄ）検出した前記全体移動量が予め定められた閾値以上である場合に、選択した前記２つの画像データを、前記シーンの画像データとして抽出する工程と、
   （ｅ）抽出された前記２つの画像データに基づいて、移動有りのブロックに属する画素については、前記基準画像の画素で前記流し撮り画像の画素を構成し、移動有りのブロックに属さない画素については、前記対象画像を前記全体移動量に応じた量だけ移動し、前記基準画像の画素と移動した前記対象画像の画素とを合成して、その合成により得られた画素で、前記流し撮り画像の画素を構成することより、前記流し撮り画像のデータを生成する工程と、
   を備える画像処理方法。
10. 請求項８または請求項９に記載の画像処理方法において、
    前記工程（ｃ）では、検出した前記移動量のうち、移動有りのブロックについての前記移動量に基づいて、前記全体移動量を検出することを特徴とする画像処理方法。
11. 時系列に連続する複数の画像データの中から、被写体または背景が移動しているシーンの画像データを抽出するための画像処理方法であって、
    （ａ）時系列に連続する前記複数の画像データの中から、連続する２つの画像データを順次選択する工程と、
    （ｂ）選択した前記２つの画像データをそれぞれ基準画像のデータ及び対象画像のデータとし、前記基準画像を複数のブロックに分割する工程と、
    （ｃ）ブロック毎に、前記基準画像の前記対象画像に対する移動量を検出し、検出した該移動量に基づいて、前記基準画像の前記対象画像に対する画像全体としての全体移動量を検出する工程と、
    （ｄ）検出した前記全体移動量が予め定められた閾値以上である場合に、選択した前記２つの画像データを、前記シーンの画像データとして抽出する工程と、
    を備える画像処理方法。
12. 請求項８ないし請求項１１のうちの任意の１つに記載の画像処理方法において、
    前記工程（ｄ）では、前記２つの画像データの選択が前記複数の画像データ全てについてなされても、検出した各全体移動量の何れもが前記閾値に満たない場合には、順次選択された前記２つの画像データの組み合わせのうち、検出した前記全体移動量が最大となった２つの画像データの組み合わせを、前記シーンの画像データとして抽出することを特徴とする画像処理方法。
13. 時系列に連続する２つの画像データに基づいて、画像の一部が流れるように表現された流し撮り画像のデータを生成するための画像処理方法であって、
    （ａ）連続する前記２つの画像データをそれぞれ基準画像のデータ及び対象画像のデータとし、前記基準画像を複数のブロックに分割する工程と、
    （ｂ）ブロック毎に、前記基準画像の前記対象画像に対する移動量を検出し、検出した該移動量に基づいて、移動有りのブロックか否かを判定する工程と、
    （ｃ）前記２つの画像データに基づいて、移動有りのブロックに属さない画素については、前記基準画像の画素で前記流し撮り画像の画素を構成し、移動有りのブロックに属する画素については、前記基準画像の画素と前記対象画像の画素とを合成して、その合成により得られた画素で、前記流し撮り画像の画素を構成することより、前記流し撮り画像のデータを生成する工程と、
    を備える画像処理方法。
14. 時系列に連続する２つの画像データに基づいて、画像の一部が流れるように表現された流し撮り画像のデータを生成するための画像処理方法であって、
    （ａ）連続する前記２つの画像データをそれぞれ基準画像のデータ及び対象画像のデータとし、前記基準画像を複数のブロックに分割する工程と、
    （ｂ）ブロック毎に、前記基準画像の前記対象画像に対する移動量を検出し、検出した該移動量に基づいて、移動有りのブロックか否かを判定すると共に、前記基準画像の前記対象画像に対する画像全体としての全体移動量を検出する工程と、
    （ｃ）前記２つの画像データに基づいて、移動有りのブロックに属する画素については、前記基準画像の画素で前記流し撮り画像の画素を構成し、移動有りのブロックに属さない画素については、前記対象画像を前記全体移動量に応じた量だけ移動し、前記基準画像の画素と移動した前記対象画像の画素とを合成して、その合成により得られた画素で、前記流し撮り画像の画素を構成することより、前記流し撮り画像のデータを生成する工程と、
    を備える画像処理方法。
15. 時系列に連続する複数の画像データの中から、被写体または背景が移動しているシーンの画像データを抽出し、該画像データに基づいて、画像の一部が流れるように表現された流し撮り画像のデータを生成するためのプログラムであって、
    （ａ）時系列に連続する前記複数の画像データの中から、連続する２つの画像データを順次選択する機能と、
    （ｂ）選択した前記２つの画像データをそれぞれ基準画像のデータ及び対象画像のデータとし、前記基準画像を複数のブロックに分割する機能と、
    （ｃ）ブロック毎に、前記基準画像の前記対象画像に対する移動量を検出し、検出した該移動量に基づいて、移動有りのブロックか否かを判定すると共に、前記基準画像の前記対象画像に対する画像全体としての全体移動量を検出する機能と、
    （ｄ）検出した前記全体移動量が予め定められた閾値以上である場合に、選択した前記２つの画像データを、前記シーンの画像データとして抽出する機能と、
    （ｅ）抽出された前記２つの画像データに基づいて、移動有りのブロックに属さない画素については、前記基準画像の画素で前記流し撮り画像の画素を構成し、移動有りのブロックに属する画素については、前記基準画像の画素と前記対象画像の画素とを合成して、その合成により得られた画素で、前記流し撮り画像の画素を構成することより、前記流し撮り画像のデータを生成する機能と、
    をコンピュータに実現させるためのプログラム。
16. 時系列に連続する複数の画像データの中から、被写体または背景が移動しているシーンの画像データを抽出し、該画像データに基づいて、画像の一部が流れるように表現された流し撮り画像のデータを生成するためのプログラムであって、
    （ａ）時系列に連続する前記複数の画像データの中から、連続する２つの画像データを順次選択する機能と、
    （ｂ）選択した前記２つの画像データをそれぞれ基準画像のデータ及び対象画像のデータとし、前記基準画像を複数のブロックに分割する機能と、
    （ｃ）ブロック毎に、前記基準画像の前記対象画像に対する移動量を検出し、検出した該移動量に基づいて、移動有りのブロックか否かを判定すると共に、前記基準画像の前記対象画像に対する画像全体としての全体移動量を検出する機能と、
    （ｄ）検出した前記全体移動量が予め定められた閾値以上である場合に、選択した前記２つの画像データを、前記シーンの画像データとして抽出する機能と、
    （ｅ）抽出された前記２つの画像データに基づいて、移動有りのブロックに属する画素については、前記基準画像の画素で前記流し撮り画像の画素を構成し、移動有りのブロックに属さない画素については、前記対象画像を前記全体移動量に応じた量だけ移動し、前記基準画像の画素と移動した前記対象画像の画素とを合成して、その合成により得られた画素で、前記流し撮り画像の画素を構成することより、前記流し撮り画像のデータを生成する機能と、
    をコンピュータに実現させるためのプログラム。
17. 請求項１５または請求項１６に記載のプログラムにおいて、
    前記機能（ｃ）は、検出した前記移動量のうち、移動有りのブロックについての前記移動量に基づいて、前記全体移動量を検出する機能を含むことを特徴とするプログラム。
18. 時系列に連続する複数の画像データの中から、被写体または背景が移動しているシーンの画像データを抽出するためのプログラムであって、
    （ａ）時系列に連続する前記複数の画像データの中から、連続する２つの画像データを順次選択する機能と、
    （ｂ）選択した前記２つの画像データをそれぞれ基準画像のデータ及び対象画像のデータとし、前記基準画像を複数のブロックに分割する機能と、
    （ｃ）ブロック毎に、前記基準画像の前記対象画像に対する移動量を検出し、検出した該移動量に基づいて、前記基準画像の前記対象画像に対する画像全体としての全体移動量を検出する機能と、
    （ｄ）検出した前記全体移動量が予め定められた閾値以上である場合に、選択した前記２つの画像データを、前記シーンの画像データとして抽出する機能と、
    をコンピュータに実現させるためのプログラム。
19. 請求項１５ないし請求項１８のうちの任意の１つに記載のプログラムにおいて、
    前記機能（ｄ）は、前記２つの画像データの選択が前記複数の画像データ全てについてなされても、検出した各全体移動量の何れもが前記閾値に満たない場合には、順次選択された前記２つの画像データの組み合わせのうち、検出した前記全体移動量が最大となった２つの画像データの組み合わせを、前記シーンの画像データとして抽出する機能を含むことを特徴とするプログラム。
20. 時系列に連続する２つの画像データに基づいて、画像の一部が流れるように表現された流し撮り画像のデータを生成するためのプログラムであって、
    （ａ）連続する前記２つの画像データをそれぞれ基準画像のデータ及び対象画像のデータとし、前記基準画像を複数のブロックに分割する機能と、
    （ｂ）ブロック毎に、前記基準画像の前記対象画像に対する移動量を検出し、検出した該移動量に基づいて、移動有りのブロックか否かを判定する機能と、
    （ｃ）前記２つの画像データに基づいて、移動有りのブロックに属さない画素については、前記基準画像の画素で前記流し撮り画像の画素を構成し、移動有りのブロックに属する画素については、前記基準画像の画素と前記対象画像の画素とを合成して、その合成により得られた画素で、前記流し撮り画像の画素を構成することより、前記流し撮り画像のデータを生成する機能と、
    をコンピュータに実現させるためのプログラム。
21. 時系列に連続する２つの画像データに基づいて、画像の一部が流れるように表現された流し撮り画像のデータを生成するためのプログラムであって、
    （ａ）連続する前記２つの画像データをそれぞれ基準画像のデータ及び対象画像のデータとし、前記基準画像を複数のブロックに分割する機能と、
    （ｂ）ブロック毎に、前記基準画像の前記対象画像に対する移動量を検出し、検出した該移動量に基づいて、移動有りのブロックか否かを判定すると共に、前記基準画像の前記対象画像に対する画像全体としての全体移動量を検出する機能と、
    （ｃ）前記２つの画像データに基づいて、移動有りのブロックに属する画素については、前記基準画像の画素で前記流し撮り画像の画素を構成し、移動有りのブロックに属さない画素については、前記対象画像を前記全体移動量に応じた量だけ移動し、前記基準画像の画素と移動した前記対象画像の画素とを合成して、その合成により得られた画素で、前記流し撮り画像の画素を構成することより、前記流し撮り画像のデータを生成する機能と、
    をコンピュータに実現させるためのプログラム。
22. 請求項１５ないし請求項２１のうちの任意の１つに記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images