JP2012242821A - 表示画像生成方法 - Google Patents

Abstract

【課題】 撮影等により得られた動きの有る数秒程度の動画像から繰り返し動画を生成して表示する場合に、処理能力が或る程度低い装置であっても、当該繰り返し画像の生成開始から略々リアルタイムに繰り返し画像の表示を可能にする。
【解決手段】
第一画像メモリ部２は、入力ビデオデータを一時的に保持する。画像処理部３は、第一画像メモリ部２に一時的に保持されたビデオデータを用いてループ動画生成処理を行うことで、繰り返し動画を生成する。第二画像メモリ部４と表示画像生成部５は、画像処理部３によるループ動画生成処理開始時点では、入力ビデオデータの画像を画面上に表示させ、ループ動画生成処理過程で中間画が生成されている時にはその中間画像の繰り返し動画を表示させ、ループ動画生成処理が完了した後は、当該ループ動画生成処理完了後の繰り返し動画を表示させる。
【選択図】 図４

Description

本発明は、例えば数秒程度の動画像が繰り返し再生される繰り返し再生動画を作成して表示するための表示画像生成方法に関する。

例えば動きの有る数秒程度の動画像を構成する複数フレームの先頭フレームと最後尾フレームを繋いで繰り返し再生表示した場合、例えば画面内で移動していた表示オブジェクトの動きが前記先頭フレームと最後尾フレームの繋ぎ目部分で一瞬途切れてしまい、スムーズな動画像とならないことが多い。すなわち例えば、さざ波が寄せてくる様子や木の葉が風に揺れる様子を撮影した数秒程度の動画像を前記繰り返し再生表示した場合、前記繋ぎ目部分で波の動きや木の葉の揺れが一瞬途切れてしまう。このため、当該繰り返し再生表示されている動画像を観ているユーザは、前記一瞬の途切れ部分を違和感として感じることになる。

このようなことから、例えば非特許文献１に記載のループ動画生成手法では、入力ビデオのフレーム画像から、時間的に離れていて且つ類似度の最も高いフレーム画像のペアを検出し、それらペアとして検出されたフレーム画像間の差異を視覚的に顕在化させないようにブレンド（混合）して繋ぐことにより、視覚的に滑らかな繋ぎ目を実現可能としている。

Arno Sch odl, Richard Szeliski, David H. Salesin, and Irfan Essa."Video textures". Proceedings of SIGGRAPH 2000, pages 489-498, July 2000.

ところで、近年は、高解像度で鮮やかな画像を表示可能なディスプレイパネルを搭載し、また、高解像度の動画像を撮影可能なカメラデバイスを内蔵した携帯情報端末が普及しつつある。そして、当該携帯情報端末において、例えば、前記内蔵されたカメラデバイスにより撮影した動画像から、前述のような数秒程度の動画像が繰り返し再生表示されるような繰り返し動画を生成し、その繰り返し動画を前記ディスプレイパネルの画面上に表示させることのニーズも高まりつつある。

しかしながら、携帯情報端末の処理能力は、未だパーソナルコンピュータ等には及ばず、そのため、例えば撮影動画像から前述のように数秒程度の動画像を抜き出して繰り返し動画を生成するような場合には、或る程度長い処理時間が必要になる。このため、ユーザは、例えば撮影後直ぐに（略々リアルタイムに）繰り返し動画を観たい場合であっても、当該繰り返し動画の生成処理が完了するまで待たされることになる。

これらのことから、発明者は、処理能力が或る程度低い装置であっても、例えば撮影等により得られた動きの有る数秒程度の動画像から繰り返し動画を生成して表示する場合に、当該繰り返し画像の生成開始から略々リアルタイムに繰り返し画像の表示を可能にすることの必要性を認識している。

そして、本発明の一実施形態の表示画像生成方法は、時間的及び／又は空間的に連続した複数枚の画像データを画像データ受信部が受信し、前記受信された時間的及び／又は空間的に連続した複数枚の画像データから、画像処理部が、時間的及び／又は空間的に結合された一群の処理画像を生成し、前記画像処理部による前記一群の処理画像の生成開始時点では、表示画像生成部が前記受信された前記時間的及び／又は空間的に連続した複数枚の画像データを画面上に表示させ、前記画像処理部による前記一群の処理画像の生成過程で中間処理画像が生成されている時には、表示画像生成部が当該中間処理画像を画面上に継続的に表示させ、前記画像処理部による前記一群の処理画像の生成が完了した後には、表示画像生成部が当該生成完了後の前記一群の処理画像を画面上に継続的に表示させる。

また、本発明の一実施形態の表示画像生成装置は、時間的及び／又は空間的に連続した複数枚の画像データを受信する画像データ受信部と、前記受信された時間的及び／又は空間的に連続した複数枚の画像データから、時間的及び／又は空間的に結合された一群の処理画像を生成する画像処理部と、前記画像処理部による前記一群の処理画像の生成開始時点では、前記受信された前記時間的及び／又は空間的に連続した複数枚の画像データを画面上に表示させ、前記画像処理部による前記一群の処理画像の生成過程で中間処理画像が生成されている時には、当該中間処理画像を画面上に継続的に表示させ、前記画像処理部による前記一群の処理画像の生成が完了した後には、当該生成完了後の前記一群の処理画像を画面上に継続的に表示させる表示画像生成部とを有して構成されている。

また、本発明の一実施形態の表示画像生成プログラムは、時間的及び／又は空間的に連続した複数枚の画像データを受信する画像データ受信部と、前記受信された時間的及び／又は空間的に連続した複数枚の画像データから、時間的及び／又は空間的に結合された一群の処理画像を生成する画像処理部と、前記画像処理部による前記一群の処理画像の生成開始時点では、前記受信された前記時間的及び／又は空間的に連続した複数枚の画像データを画面上に表示させ、前記画像処理部による前記一群の処理画像の生成過程で中間処理画像が生成されている時には、当該中間処理画像を画面上に継続的に表示させ、前記画像処理部による前記一群の処理画像の生成が完了した後には、当該生成完了後の前記一群の処理画像を画面上に継続的に表示させる表示画像生成部として、コンピュータを機能させる。

また、本発明の一実施形態の記憶媒体は、時間的及び／又は空間的に連続した複数枚の画像データを受信する画像データ受信部と、前記受信された時間的及び／又は空間的に連続した複数枚の画像データから、時間的及び／又は空間的に結合された一群の処理画像を生成する画像処理部と、前記画像処理部による前記一群の処理画像の生成開始時点では、前記受信された前記時間的及び／又は空間的に連続した複数枚の画像データを画面上に表示させ、前記画像処理部による前記一群の処理画像の生成過程で中間処理画像が生成されている時には、当該中間処理画像を画面上に継続的に表示させ、前記画像処理部による前記一群の処理画像の生成が完了した後には、当該生成完了後の前記一群の処理画像を画面上に継続的に表示させる表示画像生成部としてコンピュータを機能させる表示画像生成プログラムを記憶してなる。

すなわち本実施形態によれば、一例として、撮影等により得られた動きの有る数秒程度の動画像から繰り返し動画を生成して表示する場合に、中間画等の処理過程の画像を再生しつつバックグラウンドで時間のかかる処理を行うようになされている。

これにより、本発明の一実施形態によれば、処理能力が或る程度低い装置であっても、一群の処理画像の生成開始から略々リアルタイムに画像を継続的に表示可能となる。また、本発明の一実施形態によれば、一群の処理画像の生成過程で生ずる中間画像を表示することで、一群の処理画像が生成されるまでの画像をユーザに見せて楽しませることができる。

本発明実施形態における繰り返し動画の生成とその表示の概要説明に用いる図である。 本実施形態におけるループ動画生成処理のうち最適繰り返し区間検出処理の概要説明に用いる図である。 本実施形態のループ動画生成処理において入力ビデオデータの各フレームと繰り返し動画の各フレームの説明に用いる図である。 本実施形態の携帯情報端末においてループ動画生成処理にかかわる主要部の概略構成を示す機能ブロック図である。 本実施形態の携帯情報端末において待ち受け画像の繰り返し動画を生成するループ動画生成処理にかかわる主要部の概略構成を示す機能ブロック図である。 本実施形態の携帯情報端末において待ち受け画像の繰り返し動画を生成するループ動画生成処理の流れを示すフローチャートである。 本実施形態の携帯情報端末においてサムネイル画像の繰り返し動画を生成するループ動画生成処理にかかわる主要部の概略構成を示す機能ブロック図である。 本実施形態の携帯情報端末においてサムネイル画像の繰り返し動画を生成するループ動画生成処理の流れを示すフローチャートである。 本実施形態においてフレームレートを調整しつつ繰り返し動画を生成して表示する際の各フレームの関係説明に用いる図である。 本実施形態においてフレームレートを調整しつつ繰り返し動画を生成して表示する際の各フレームレートとループ動画生成処理の関係説明に用いる図である。 本実施形態の携帯情報端末においてフレームレートを調整しつつ繰り返し動画を生成するループ動画生成処理にかかわる主要部の概略構成を示す機能ブロック図である。 本実施形態の携帯情報端末においてフレームレートを調整しつつ繰り返し動画を生成するループ動画生成処理の流れを示すフローチャートである。 本実施形態の携帯情報端末においてパノラマ繰り返し動画を生成する際のビデオデータの各フレームの一例を示す図である。 本実施形態の携帯情報端末においてパノラマ繰り返し動画を生成する際に位置合わせ処理されたビデオデータの各フレームの一例を示す図である。 本実施形態の携帯情報端末においてパノラマ繰り返し動画を生成する際に生成されるパノラマ画像の一例を示す図である。 本実施形態の携帯情報端末においてパノラマ繰り返し動画を生成する際の重複画像部分の説明に用いる図である。 本実施形態の携帯情報端末においてパノラマ繰り返し動画を生成する際の複数の重複画像部分とそれらからなるパノラマ繰り返し動画の説明に用いる図である。 本実施形態の携帯情報端末においてパノラマ繰り返し動画を生成するループ動画生成処理にかかわる主要部の概略構成を示す機能ブロック図である。 本実施形態の携帯情報端末においてパノラマ繰り返し動画を生成するループ動画生成処理の流れを示すフローチャートである。 本実施形態の携帯情報端末においてビデオ一時停止時に繰り返し動画を生成するループ動画生成処理にかかわる主要部の概略構成を示す機能ブロック図である。 本実施形態の携帯情報端末においてビデオ一時停止時に繰り返し動画を生成するループ動画生成処理の流れを示すフローチャートである。 本実施形態の携帯情報端末においてループ動画生成処理を用いてパノラマ静止画を生成する際の各フレームの一例を示す図である。 本実施形態の携帯情報端末においてループ動画生成処理を用いてパノラマ静止画を生成する際のブレンド処理の説明に用いる図である。 本実施形態の携帯情報端末においてループ動画生成処理を用いて一部処理が完了したパノラマ静止画の一例を示す図である。 本実施形態の携帯情報端末においてパノラマ静止画を生成するループ動画生成処理にかかわる主要部の概略構成を示す機能ブロック図である。 本実施形態の携帯情報端末においてパノラマ静止画を生成するループ動画生成処理の流れを示すフローチャートである。 本実施形態の携帯情報端末においてループ動画生成処理を用いた三次元ノイズリダクション処理が開始された時点のプレビュー画像の説明に用いる図である。 本実施形態の携帯情報端末において二枚の画像を用いた三次元ノイズリダクション処理の説明に用いる図である。 本実施形態の携帯情報端末において三枚の画像を用いた三次元ノイズリダクション処理の説明に用いる図である。 本実施形態の携帯情報端末において三次元ノイズリダクションを実現するループ動画生成処理にかかわる主要部の概略構成を示す機能ブロック図である。 本実施形態の携帯情報端末において三次元ノイズリダクションを実現するループ動画生成処理の流れを示すフローチャートである。 本実施形態の携帯情報端末においてループ動画生成処理の進行状況を例えばインジケータのゲージと％表示によりユーザへ認識させる画面表示の一例を示す図である。 本実施形態の携帯情報端末においてループ動画生成処理の進行状況を例えば表示濃淡や透明度の変更によりユーザへ認識させる画面表示の一例を示す図である。 本実施形態の携帯情報端末においてループ動画生成処理の完了をユーザへ認識させる画面表示の一例を示す図である。 ループ動画生成処理等の所定の画像処理により得られる中間画をディスプレイ画面上に表示可能とした本発明実施形態の携帯情報端末の詳細な構成例を示すブロック図である。 例えばオリジナル動画像としてカメラ部により撮影したビデオデータを用いて繰り返し動画を生成して表示する場合の本発明実施形態の携帯情報端末の具体的な構成例を示すブロック図である。

以下、図面を参照しながら、本発明の表示画像生成方法が適用される一実施形態について説明する。

［本実施形態の概要］
先ず、本発明実施形態の概要について説明する。

本実施形態の表示画像生成方法が適用される表示処理装置は、一例として、高解像度で鮮やかな画像を表示可能なディスプレイパネルを搭載し、また例えば、高解像度の動画像を撮影可能なカメラ部を内蔵した携帯情報端末等に適用可能である。以下の実施形態では、携帯情報端末を例に挙げて説明することにする。

本実施形態の携帯情報端末は、時間的及び／又は空間的に連続した複数枚の画像データを受信し、その受信した時間的及び／又は空間的に連続した複数枚の画像データから、時間的及び／又は空間的に結合された一群の処理画像を生成し、前記一群の処理画像の生成開始時点では前記受信された前記時間的及び／又は空間的に連続した複数枚の画像データを画面上に表示させ、前記一群の処理画像の生成過程で中間処理画像が生成されている時には当該中間処理画像を画面上に継続的に表示させ、前記一群の処理画像の生成が完了した後には、当該生成完了後の前記一群の処理画像を画面上に継続的に表示させるようになされている。

例えば、前記受信した複数枚の画像データがビデオデータである場合、本実施形態の携帯情報端末は、そのビデオデータから切り出した数秒程度の動画を繰り返し再生する繰り返し動画を生成し、その繰り返し動画を前記ディスプレイパネルの画面（以下適宜ディスプレイ画面と表記する。）に表示可能となされている。勿論、本実施形態の携帯情報端末は、前記撮影動画像に限らず、例えば種々のネットワークや種々のストレージデバイスから取得した動画像から前記数秒程度の動画像を切り出し、その動画像から繰り返し動画を生成して表示することも可能となされている。なお、以下の説明では、前記撮影動画像やネットワーク等を介した動画像から前記切り出されて、前記繰り返し動画の生成に用いられる数秒程度の動画像を、オリジナル動画像と表記することにする。

また、本実施形態において、前記繰り返し動画の表示は、例えばユーザから繰り返し動画の表示開始の指示入力がなされた時から、或いは、携帯情報端末に予め設定されている自動表示開始条件が満たされた時点から、略々リアルタイムに開始される。なお、前記携帯情報端末に予め設定された自動表示開始条件が満たされた時点とは、一例として、特定の時刻になった時、特定のアプリケーションが起動された時、何れかのアプリケーションで特定の処理が開始された時などが考えられる。勿論、それらは一例であり、本実施形態はそれらに限定されない。以下の説明において、ユーザから繰り返し動画表示の開始指示入力がなされた時点や前記自動表示開始条件が満たされた時点等を特に区別せずに、繰り返し動画表示開始時点と表記することにする。

本実施形態の携帯情報端末は、前記繰り返し動画表示開始時点では、前記オリジナル動画像を構成する各フレームを先頭から順に表示して行き、最後尾のフレームの次は先頭フレームを繋げることで、繰り返し画像を表示する。すなわち、本実施形態の携帯情報端末は、例えば図１中の（Ａ）に示すように、前記繰り返し動画表示開始時点では、繰り返し表示スレッドとして、前記オリジナル動画像を構成する各フレームＦ０〜ＦＮを先頭から順に表示して行き、最後尾のフレームＦＮの次は先頭フレームＦ０を繋げることで、繰り返し画像を表示する。

また、本実施形態の携帯情報端末は、前記繰り返し動画表示開始時点から前記オリジナル動画像を用いた繰り返し動画を表示しつつ、バックグラウンドの処理として、前記オリジナル動画像に対して、後述するようなループ動画生成処理を実行する。本実施形態において、前記ループ動画生成処理は、ユーザからみて視覚的に違和感の無い滑らかな繰り返し動画を生成するための処理であり、例えば、位置合わせ処理、最適繰り返し区間検出処理、ループ化処理、ブレンド処理等からなる。また、位置合わせ処理には、例えば動き検出処理や手振れ補正処理なども含まれる。なお、位置合わせ処理に含まれる動き検出処理や手振れ補正処理は、元のオリジナル動画像の内容により、それを行うか否かが適宜制御される。すなわち例えば、オリジナル動画像が例えば撮影動画像であるような場合において、その動画像に手振れ成分が含まれているような時には前記手振れ補正処理を実行し、一方、手振れ成分が含まれない場合には前記手振れ補正処理を実行しないというように、位置合わせ処理が適宜制御される。また、ループ動画生成処理の際に使用されるフレームは、前記オリジナル動画像を構成するフレームだけでなく、前記何れかの処理が実行されて得られたフレームであってもよい。

また、本実施形態の携帯情報端末は、前記ループ動画生成処理の各処理の実行途中で表示可能となったフレーム若しくは各処理完了により表示可能となったフレームが生成されると、そのフレームを、前記繰り返し動画中の表示時間的に対応するフレームと逐次差し替える。すなわち、本実施形態の携帯情報端末は、例えば図１中の（Ｂ）及び（Ａ）に示すように、画像合成処理スレッドとしてループ動画生成処理を実行しつつ前記各処理の実行途中若しくは各処理完了により表示可能となったフレームＦｋ，Ｆk+1等が生成されると、それらフレームＦｋ，Ｆk+1等を繰り返し表示スレッドの繰り返し動画中の表示時間的に対応するフレームと逐次差し替える。なお、繰り返し動画中に表示時間的に対応するフレームが存在しない場合には、前記ループ動画生成処理によるフレームを追加してもよいし、繰り返し動画に不要となったフレームが発生した場合には当該フレームを削除してもよい。また、前記ループ動画生成処理完了後の各フレームは、全てのフレームが前記処理後のフレームである必要はなく、元のオリジナル動画像のフレームが含まれていてもよい。言い換えると、前記ループ動画生成処理がなされるフレームは、ユーザからみて視覚的に違和感の無い滑らかな繰り返し動画を生成するための処理が必要なフレームであり、ユーザからみて元々視覚的に違和感が無い動画部分のフレームについてはループ動画生成処理されることなく、元のオリジナル動画像のフレームがそのまま使用される。

本実施形態の携帯情報端末においては、前述のように繰り返し動画の表示と並行して前記ループ動画生成処理が実行されることにより、前記ディスプレイ画面に表示される繰り返し動画は、前記繰り返し動画表示開始時点のオリジナル動画像の繰り返し動画から、前記ループ動画生成処理中の各処理の実行途中若しくは処理完了後のフレームへ徐々に差し替えられた動画となる。すなわち、本実施形態において、前記携帯情報端末の画面上には、前記前記繰り返し動画表示開始時点では前記オリジナル動画像からなる繰り返し動画が表示され、その後前記ループ動画生成処理の実行途中の各フレームへ徐々に差し替えられた繰り返し動画が表示され、前記ループ動画生成処理が完了すると、ユーザからみて視覚的な違和感の無い滑らかな繰り返し動画が表示されることになる。したがってこの場合、その繰り返し動画を観ているユーザは、前記繰り返し動画表示開始時点のオリジナル画像からなる繰り返し動画が、前記ループ動画生成処理による動画に徐々に変わっていく様子を楽しむことができ、最終的には前記ループ動画生成処理が完了した後の滑らかな繰り返し動画を観ることができるようになる。

その後、本実施形態の携帯情報端末は、ユーザからの指示若しくは自動設定に応じて、図１の（Ｃ）に示すように、前記ループ動画生成処理が完了した後の繰り返し動画のデータを、例えば内蔵メモリや所定の保存先メモリ等へ保存したり、所望のネットワークへ送信等する。

前述したように、本実施形態の携帯情報端末によれば、前記繰り返し動画表示開始時点から前記オリジナル動画像を用いた繰り返し動画を表示しつつ、バックグラウンド処理により処理を分散してループ動画生成処理を実行し、逐次フレームを差し替え等することにより、前記繰り返し動画表示開始時点から略々リアルタイムに繰り返し動画を表示可能となっている。また、本実施形態の携帯情報端末によれば、繰り返し動画が変化する様をユーザに見せることができ、これにより、ユーザは、徐々に画像が仕上がっている様子を楽しむことができることになる。

また、本実施形態の携帯情報端末によれば、前記ループ動画生成処理が完了した後の繰り返し動画がメモリ等に保存されることにより、ユーザは、その後任意に繰り返し動画を再生して表示させることができる。また、本実施形態の携帯情報端末によれば、前記繰り返し動画のデータを他の機器への提供或いは転送可能となされているため、当該繰り返し動画のデータを入手した他の機器は、当該繰り返し動画を再生表示等することができる。

［ループ動画生成処理］
以下、前記ループ動画生成処理について説明する。

前記ループ動画生成処理は、前述したように、位置合わせ処理、最適繰り返し区間検出処理、ループ化処理、ブレンド処理からなる。

［位置合わせ処理］
前記オリジナル動画像が、例えば携帯情報端末を手に持った状態で前記内蔵カメラ部による撮影を行ったことで得られた動画像である場合、その動画像には、手振れ成分（カメラが振れることによる画像の振れ成分）が含まれている可能性が大きい。このように、撮影時のカメラ振れ等による動画像の振れ成分は、例えばその動画像を観るユーザに対して視覚的な不快感を与えるだけでなく、後に行われる最適繰り返し区間検出処理におけるフレーム画像の類似度計算等の際にも悪影響を及ぼす可能性が高い。

このため、本実施形態のループ動画生成処理では、先ず、前記オリジナル動画像の振れ成分を打ち消す方向へ各フレーム画像の位置を合わせる画像処理を行い、当該位置合わせ処理後の動画像に対して最適繰り返し区間検出処理以降の各処理を行う。

前記位置合わせ処理は、例えばカメラ撮影時の手振れなどによる動画像の振れ成分を画像処理により補正する処理であり、例えば、一枚の基準フレーム画像に対して別のフレーム画像を射影変換して位置を合わせるような位置合わせ計算により行われる。なお、前記基準フレーム画像は、オリジナル動画像の先頭フレーム画像を使ってもよいし、任意に選択した一フレーム画像を用いてもよい。位置合わせに必要な射影変換行列は、先ず一組のフレーム画像の特徴点を抽出し、それら一組のフレーム画像の特徴点が適合するような射影変換行列を計算することで得られる。

このような位置合わせ計算に適した特徴点としては、いわゆるＳＩＦＴ特徴点を用いることができる。ＳＩＦＴ特徴点については、例えば、「Brown, M. and Lowe, D. G. 2003. "Recognising Panoramas.",In Proceedings of the Ninth IEEE international Conference on Computer Vision -Volume 2 (October 13 - 16, 2003). ICCV. IEEE Computer Society, Washington,DC, 1218.」等に詳細が述べられているので、ここでは、その詳細な説明は割愛する。

前記特徴点は、視点が変わっても再現性のある点の位置とその特徴量を求めて、当該特徴量と位置の情報から特徴点間の対応関係を計算して２枚のフレーム画像の位置関係を求めるものである。一方の特徴点が他方のどの特徴点と対応するかは、特徴量間のユークリッド距離で求める。さらに、位置合わせ計算では、いわゆるＲＡＮＳＡＣ法によって少数の特徴点対応ペアを選択して二つの特徴点間の位置の変換に最もよく適合する変換行列を計算する。これにより、前記ＲＡＮＳＡＣ法によって特徴点の位置や対応関係に誤りが含まれていても正しく変換行列を求めることができる。前記ＲＡＮＳＡＣ法の適用方法は前記文献に詳細が記されている。前記変換行列の種類としては、射影変換行列を使うのが一般的であるが、変換の自由度の異なるアフィン変換行列や剛体変換行列を用いてもよい。但し、射影変換によってフレーム画像が変形した結果、画像の端や角部分には変換したフレーム画像が重ならない場所が発生する可能性がある。そのため、位置合わせ処理では、前記オリジナル動画像の映像に全域に渡って画素が重ねられる有効な領域を残して出力するクロップ処理を行う。このクロップ処理では、射影変換された全フレーム画像群を検査して、フレーム画像が重ならないことのある画素位置は無効とし、有効な画素を含む最大の矩形を計算して、クロップ領域とする。そして、このクロップ領域を用いて、全フレーム画像群をクロップ処理する。なお、このクロップ処理によって画像が小さくなるので、元の解像度を残したいときは重なりの無い余白に黒い色を設定するなどしてクロップ処理を行わなくてもよい。

［最適繰り返し区間検出処理］
前記最適繰り返し区間検出処理は、例えば図２に示すように、時間的に離れたフレームの画像同士を比較して類似度を計算することにより、繰り返し遷移するのに最適な時間的位置（フレーム位置）を発見する処理、つまり最も類似度の高いフレーム画像ペアを検出する処理である。

ここで、前記最適繰り返し区間検出処理では、図２中の（Ａ）および（Ｂ）に示すように、前記オリジナル動画像を構成する或るフレーム画像Ｆｉの各画素の輝度値と別のフレーム画像Ｆｊのそれぞれ対応する各画素の輝度値との差分の絶対値を、それらフレーム画像内の全画素について求め、それら全画素の前記差分の絶対値の総和を、前記フレーム画像の類似度の計算に用いる評価値として求める。なお、繰り返し区間が過度に短くなってしまうのを防ぐため、前記評価値を求める際の前記フレーム画像Ｆｉとフレーム画像Ｆｊとの間の時間的な距離は、最低限離れていなければいけない時間的な距離を考慮して予め決められた最短ビデオ出力長Lmin以上の距離とする。すなわち、最短ビデオ出力長Lminより時間的な距離が短い組のフレーム画像同士については、前記評価の対象から除外する。前記最短ビデオ出力長Lminは、本実施形態の繰り返し動画生成表示処理を実行する表示画像生成プログラムへの入力パラメータとして指定しても良いし、前記オリジナル動画像の全体長に対する割合として前記プログラムが計算してもよい。なお、以下の実施形態では、前記表示画像生成プログラムを、繰り返し動画生成プログラムと表記する。

本実施形態では、前記差分絶対値の総和のことを差分絶対値和と呼び、当該差分絶対値和をＳＡＤ（Sum of Absolute Difference）値と表記することにする。前記ＳＡＤ値は、フレーム画像同士の類似度を求める際の評価値であり、当該ＳＡＤ値が小さい場合にはフレーム画像同士が類似していることになり、逆に、ＳＡＤ値が大きい場合にはフレーム画像同士が類似していないことになる。すなわち、ＳＡＤ値が小さいフレーム画像同士は類似度が高いため、それらフレーム画像同士を例えば連結しても視覚的な違和感は少ない（視覚的な差異は少ない）ものと考えることができる。

但し、フレーム画像同士のＳＡＤ値だけでは、それらフレーム画像内のオブジェクトの動きまでは評価することはできない。例えば、時計の振り子が左右に振れるような動画像の場合、当該動画像を構成するフレーム画像内の時計の振り子部分が前記オブジェクトであり、或るフレーム画像同士のＳＡＤ値だけでは、前記振り子のオブジェクトが例えば画像上で左側から振れてきたのか或いは右側から振れてきたのかを判断することは出来ない。したがって、この場合、それらフレーム画像同士のＳＡＤ値が小さいことのみをもって、それらフレーム画像同士を連結した場合、前記振り子のオブジェクトの動きが連続しなくなる可能性がある。

このため、本実施形態の最適繰り返し区間検出処理は、前記ＳＡＤ値を用いた類似度の評価の際に、図２中の（Ｂ）に示すように、当該評価の対象になっているフレーム画像のそれぞれ近傍の数フレームについても、それらフレーム画像同士のＳＡＤ値を計算し、さらに、図２中の（Ｃ）に示すように、それらのＳＡＤ値に重みをつけて積算することにより積算ＳＡＤ値を求める。なお、前記評価の対象となっているフレーム画像からどの程度時間的に離れた近隣フレーム画像のＳＡＤ値までを考慮するかは、例えばパラメータにより任意に設定可能である。本実施形態では、当該パラメータとして、図２中の（Ａ）に示すようなＳＡＤ積算タップ長Ｌｓａｄとして設定することができる。つまり、ＳＡＤ積算タップ長Ｌｓａｄは、評価の対象となっているフレーム画像を中心として時間的に前後に離れた近隣フレーム画像の数を表すパラメータとなっている。また、前記重みは、図２中の（Ｃ）に示すように、中心から徐々に減衰するような重みが望ましく、例えば正規分布重みを用いることができる。このようにしてフレーム画像同士の類似度を計算すると、時間的に近いフレーム画像同士は変化が少ないため、その積算ＳＡＤ値は小さくなる。すなわち、前記積算ＳＡＤ値が小さくなるほど、前記評価の対象になっているフレーム画像同士において、その画像内のオブジェクトの動きをも含めて類似度が高いと評価することができる。

前述のように、本実施形態の最適繰り返し区間検出処理は、前記フレーム画像Ｆｉとフレーム画像Ｆｊ同士の比較だけでなく、それらに隣接した数フレーム分の積算ＳＡＤ値をも前記評価に加えることにより、前記オリジナル動画像内で繰り返し遷移するのに最適な時間的位置（フレーム位置）、つまり類似度の高いフレーム画像ペアを検出することが可能となっている。

［ループ化処理］
ループ化処理は、前記最適繰り返し区間検出処理により検出された、図３中（Ａ）に示すように前記時間的に離れた類似度の高いフレーム画像Ｆｉとフレーム画像ＦｊのペアＭＲＰ間で、図３中の（Ｂ）に示すように動画像を切り出して出力してその先頭フレーム画像（フレーム画像Ｆｉ）と最後尾フレーム画像（フレーム画像Ｆｊ）をブレンド（混合）させ、図３中の（Ｃ）に示すように繋げることでループ動画を生成する処理である。

［ブレンド処理］
ブレンド処理は、前記ループ化処理におけるブレンドのための処理であり、時間的に離れた前記フレーム画像Ｆｉとフレーム画像Ｆｊの両フレーム画像間の差異が視覚的に顕在化しないように、それらフレーム画像Ｆｉとフレーム画像Ｆｊのそれぞれ前後幾つかのフレーム画像をブレンド（混合）しつつ変化させることにより、動画像の滑らかな繋がりを実現する処理である。なお、前記フレーム画像Ｆｉとフレーム画像Ｆｊからそれぞれ時間的に遠いフレーム画像については、オリジナル動画像のフレーム画像データをそのまま出力する。

すなわち、前述のように類似度の高いフレーム画像を見つけて繋げるようにしても、一般的な動画像では完全に両フレーム画像が一致することはなく、視聴者から観て視覚的に継ぎ目が明らかとなってしまう可能性が高い。このため、本実施形態のブレンド処理では、前記継ぎ目の視覚的な顕在化を軽減する方法として、例えば、フレーム画像ｉとフレーム画像ｊのそれぞれ前後幾つかのフレーム画像についてブレンド率を徐々に変えながらブレンドするクロスフェード処理を用いる。

［携帯情報端末の主要部の概略構成］
図４には、本実施形態の携帯情報端末の主要部の概略構成を示す。なお、図４の構成において、画像処理部３と表示画像生成部５は、ハードウェアとして用意されてもよいし、本実施形態の繰り返し動画生成プログラムの実行により例えばＣＰＵ内に演算機能部として構成されるものであってもよい。また、本実施形態の繰り返し動画を生成する処理をＣＰＵ等が実行するための繰り返し動画生成プログラムは、例えば半導体メモリやディスク状記録媒体等、或いはインターネットや所定の通信ネットワークを介して本実施形態の携帯情報端末へ供給されてインストール可能となされている。それはこれ以降に説明する各実施形態においても同様である。

図４において、入力端子１には、例えばカメラ部により撮影されたビデオデータＶＤやネットワーク或いはストレージデバイスからファイルデータとして提供されたビデオデータＶＤ等が供給される。なお、当該入力端子１に供給されるビデオデータＶＤは、前記オリジナル動画像データに相当する。また、入力端子１におけるビデオデータＶＤの受信単位は、当該ビデオデータＶＤ全体が纏められたファイル単位や、フレーム単位、スキャンライン単位など何れであってもよい。前記入力端子に供給されたビデオデータＶＤは、第一画像メモリ部２へ入力する。

第一画像メモリ部２は、制御部７による書き込み／読み出しの制御の基で、前記ビデオデータＶＤを一時的に蓄積した後、後段の画像処理部３へ出力する。

画像処理部３は、前述したループ動画生成処理を実行するための構成である。当該画像処理部３は、制御部７による制御の基で、前記第一画像メモリ部２から供給されたビデオデータＶＤに対して前述したループ動画生成処理を実行する。そして、画像処理部３は、そのループ動画生成処理の実行により一定単位の処理が完了したならば、当該一定単位の処理終了後の画像データＰＤとその一定単位の処理が完了したことを示す完了信号ＣＳを第二画像メモリ部４へ出力する。但し、前記繰り返し動画表示開始直後であるために前記ループ動画生成処理で前記一定単位の処理が完了していない場合、画像処理部３は、前記第一画像メモリ部２から元のビデオデータＶＤを前記画像データＰＤとして一定単位毎に読み出して出力する。なお、前記一定単位は、例えばフレーム単位、フレーム内の一ブロック単位、或いは、前記ビデオデータ全体が纏められたファイル単位の何れであってもよい。

第二画像メモリ部４は、制御部７による書き込み／読み出しの制御の基で、前段の画像処理部３から出力される画像データＰＤを蓄積するとともに、後段の表示画像生成部５へフレーム単位の画像データＦＰを出力する。

表示画像生成部５は、制御部７による制御の基で、ディスプレイ表示に必要なフレーム単位の画像データＦＰを前記第二画像メモリ部４から逐次読み出し、そのフレーム画像データＦＰを出力端子６から後段のディスプレイへ出力する。また、表示画像生成部５は、現時点でディスプレイ上に表示しているフレームの時間的位置を画像処理部３へ通知（ＦＰＮ）する。なお、本実施形態において、前記ループ動画生成処理が開始された後、当該ループ動画生成処理が全て完了する前に前記ディスプレイに表示されるフレーム画像を中間画と表記することにする。

前記表示画像生成部５からの前記表示フレーム位置通知ＦＰＮを受けた画像処理部３は、当該表示フレーム位置通知ＦＰＮにより、現時点でディスプレイに表示されている表示フレームを認識し、それ以外のフレームについて前記ループ動画生成処理を続行する。そして、画像処理部３は、当該ループ動画生成処理の実行により一定単位の処理が完了したならば、その一定単位の処理終了後の画像データＰＤと前記完了信号ＣＳを第二画像メモリ部４へ出力する。このため、前記第二画像メモリ部４は、ディスプレイに表示されているフレーム以外の画像データＰＤを受信することになる。なお、第二画像メモリ部４は、前記ディスプレイ表示されるフレーム用の格納領域の他に、前記画像処理部３で処理対象となっているデータ用の格納領域を別途確保しておき、それら格納領域を処理終了タイミングで切り替えるダブルバッファ構成となされていてもよい。

［待ち受け背景動画像を表示する場合の携帯情報端末の概略構成］
図５には、本実施形態の携帯情報端末が例えば携帯電話端末である場合において、その携帯電話端末のディスプレイ画面上に表示される待ち受け背景画像として、前述のような繰り返し動画を表示することにした場合の主要部の概略構成を示す。なお、この図５では、オリジナル動画像として内蔵カメラ部により撮影されたビデオデータを用いた例を挙げている。また、図５の構成において、画像処理部１３と表示画像生成部１５は、ハードウェアとして用意されてもよいし、本実施形態の繰り返し動画生成プログラムを実行することにより例えばＣＰＵ内に演算機能部として構成されるものであってもよい。

図５において、入力端子１１には、内蔵カメラ部により撮影されたビデオデータＶＤが供給される。なお、当該入力端子１１におけるビデオデータＶＤの受信単位は、前述の図４の例と同様に、例えばファイル単位やフレーム単位、スキャンライン単位など何れであってもよい。前記入力端子１１に供給されたビデオデータＶＤは、第一画像メモリ部１２へ入力する。

第一画像メモリ部１２は、ビデオバッファであり、制御部１７による書き込み／読み出しの制御の基で、前記ビデオデータＶＤを一時的に蓄積した後、後段の画像処理部１３へ出力する。

画像処理部１３は、前述したループ動画生成処理を実行するための構成であり、表示画像生成部１５からの表示フレーム位置通知ＦＰＮにより現時点でディスプレイに表示されているフレームの時間的位置を認識しつつ、制御部１７による制御の基で、その表示フレーム以外のフレームについて前記ループ動画生成処理を行う。当該画像処理部１３は、前述のように、ループ動画生成処理の実行により一定単位の処理が完了したならば、当該一定単位の処理終了後の画像データＰＤと前記完了信号ＣＳを第二画像メモリ部１４へ出力する。なお、この例において、画像処理部１３は、例えば動画の繰り返し区間を変更するような場合には、表示フレーム位置がループ動画生成処理で削除対象とならない位置にあるタイミングで処理を行うことにする。

第二画像メモリ部１４は、表示画像生成部１５へ供給するフレーム画像用のバッファメモリであり、制御部１７による書き込み／読み出しの制御の基で、前段の画像処理部１３から出力される画像データＰＤを蓄積するとともに、後段の表示画像生成部１５へフレーム単位の画像データＦＰを出力する。

表示画像生成部１５は、制御部１７による制御の基、ディスプレイ表示に必要なフレーム単位の画像データＦＰを前記第二画像メモリ部１４から逐次読み出し、そのフレーム画像データＦＰを出力端子１６から後段のディスプレイへ出力する。本実施形態において、前記ループ動画生成処理が開始された後、当該ループ動画生成処理が全て完了するまでの間、表示画像生成部１５からは、前記中間画のフレーム画像データＦＰがディスプレイへ出力される。そして、前記ループ動画生成処理が全て完了すると、表示画像生成部１５からは、当該ループ動画生成処理完了後の繰り返し動画がディスプレイへ出力される。

但し、本実施形態のような携帯電話端末の場合、待ち受け画像用以外のアプリケーションプログラムの実行により、ディスプレイ画面上に待ち受け画像以外の画像が表示されたり、省電力のためにディスプレイ画面の表示輝度がゼロにされることがある。このため、表示画像生成部１５は、ディスプレイ輝度がゼロでなく且つ待ち受け画像が表示される場合にのみ、前記繰り返し動画となされた待ち受け背景動画をディスプレイ画面上に表示させる。すなわち、表示画像生成部１５は、例えば、他のアプリケーションプログラム用のウィンドウがディスプレイ画面上で最大表示される場合や、ディスプレイ画面の表示輝度がゼロにされる場合には、前記待ち受け背景動画表示のための処理を停止する。なお本実施形態の場合、表示画像生成部１５は、プレビュー可視信号ＰＶＳにより、ディスプレイ画面上に繰り返し動画を表示可能か否か判断する。前記プレビュー可視信号ＰＶＳは、前記他のアプリケーションプログラム用のウィンドウが最大表示されたことやディスプレイ画面の表示輝度がゼロになされたことで、ディスプレイ画面上に繰り返し動画を表示可能か否かを示す信号である。本実施形態の場合、当該プレビュー可視信号ＰＶＳは、一例として制御部１７が生成している。

［待ち受け背景動画像を表示する場合の携帯情報端末のフローチャート］
図６には、図５の構成例において待ち受け背景動画を生成して表示する処理のフローチャートを示す。なお本実施形態の場合、この図６のフローチャートの処理は、例えば待ち受け画面プログラムと本実施形態の繰り返し動画生成プログラムがＣＰＵにより実行されることで実現される。

この図６のフローチャートにおいて、本実施形態のプログラム実行によりＣＰＵ内に形成される制御部１７は、ステップＳ１の処理として第一画像メモリ１２にビデオデータＶＤを展開させた後、さらに、ステップＳ２の処理として例えばユーザからの待ち受け設定操作等により、待ち受け背景画像として前記繰り返し動画を使用することの設定がなされた場合、ステップＳ３の処理として前記画像処理部１３を制御して前述したループ動画生成処理を開始させる。

前記ループ動画生成処理を開始させると、制御部１７は、ステップＳ４の処理として、前記表示画像生成部１５を制御して、ステップＳ４からステップＳ１１までの処理を行わせる。

すなわち、制御部１７は、画像処理部１３によるループ動画生成処理と並行して、ステップＳ４からステップＳ１１までの処理として、表示画像生成部１５による中間画のフレーム画像を用いた繰り返し動画の表示を行わせる。

ステップＳ４にて中間画の表示処理が開始されると、表示画像生成部１５は、ステップＳ５の処理として、前記ループ動画生成処理で一フレーム分の処理が終わって中間画の書き換えが可能か否か判断し、書き換えが可能である場合にはステップＳ６の処理として前フレームでの処理による中間画を前記ループ動画生成処理にて新たに一フレーム分の処理で得られた中間画に書き換える。

また、制御部１７は、ステップＳ７の処理として、当該携帯情報端末の状態が前述したように前記待ち受け画像以外のウィンドウ画像がディスプレイの全画面に表示されたり、省電力のためにディスプレイ画面の表示輝度がゼロにされることで待ち受け背景動画を表示できない状態になるか否か判断している。そして、表示画像生成部１５は、待ち受け背景動画を表示できることを示すプレビュー可視信号ＰＶＳを制御部１７から受け取っている間は、ステップＳ８の処理として中間画の表示更新を続け、一方、待ち受け背景動画を表示できないことを示すプレビュー可視信号ＰＶＳを制御部１７から受け取ると、ステップＳ９の処理として中間画の表示処理を中断する。

また、制御部１７は、ステップＳ１０の処理として、画像処理部１３におけるループ動画生成処理が全て完了したか否か判断しており、ループ動画生成処理が全て完了していない間はステップＳ５へ処理を戻す。

一方、画像処理部１３におけるループ動画生成処理が全て完了した場合、制御部１７は、ステップＳ１１の処理として、表示画像生成部１５に対して前記中間画による繰り返し動画の表示処理を終了させる。そして、制御部１７は、ステップＳ１２の処理として、前記表示画像生成部１５を制御して、前記ループ動画生成処理が全て完了した後の繰り返し動画をディスプレイ画面に表示させる。

上述のように、本実施形態の携帯情報端末は、前記ループ動画生成処理の開始後、そのループ動画生成処理が完了するまでの間は、ディスプレイ画面上に中間画の繰り返し動画からなる待ち受け背景動画が表示され、ループ動画生成処理が全て完了した後は、当該ループ動画生成処理完了後の繰り返し動画からなる待ち受け背景動画が表示される。

［サムネイル動画を表示する場合の携帯情報端末の概略構成］
図７には、本実施形態の携帯情報端末において、ディスプレイ画面上に繰り返し動画としてサムネイル動画を表示することにした場合の主要部の概略構成を示す。なお、この図７では、オリジナル動画像としてファイルとして用意或いは取得したビデオデータから生成されたサムネイル動画を繰り返し動画として表示する場合の例を挙げている。また、図７の構成において、画像処理部２３と表示画像生成部３５は、ハードウェアとして用意されてもよいし、本実施形態の繰り返し動画生成プログラムを実行することにより例えばＣＰＵ内に演算機能部として構成されるものであってもよい。

図７において、入力端子２１には、予めカメラ部により撮影されて保存されたたり、ネットワークや外部ストレージデバイス等から取得したファイル単位のビデオデータＶＤが供給される。なお、当該入力端子２１におけるビデオデータＶＤの受信単位は、前述同様に、例えば当該ファイル単位やフレーム単位、スキャンライン単位など何れであってもよい。前記入力端子２１に供給されたビデオデータＶＤは、第一画像メモリ部２２へ入力する。

第一画像メモリ部２２は、ビデオバッファであり、制御部２７による書き込み／読み出しの制御の基で、前記ビデオデータＶＤを一時的に蓄積した後、後段の画像処理部２３へ出力する。

画像処理部２３は、制御部２７による制御の基で、前記供給されたビデオデータＶＤを構成する各フレーム画像から、ユーザ所望の領域若しくは端末が自動的に判断した領域を切り出すか、或いは、それら各フレーム画像をユーザ所望のスケール若しくは端末が自動的に設定したスケールへ縮小して、前記ビデオデータＶＤを構成する各フレーム画像の時間順に対応した各サムネイル画像を生成する。さらに、画像処理部２３は、制御部２７による制御の基で、前記各サムネイル画像について前記ループ動画生成処理を実行する。そして、当該画像処理部２３は、前記サムネイル画像に対する前記ループ動画生成処理の一定単位の処理が完了したならば、当該一定単位の処理終了後のサムネイル画像データＳＭＤと完了信号ＣＳを第二画像メモリ部２４へ出力する。

第二画像メモリ部２４は、表示画像生成部２５へ供給するサムネイル表示画像用のバッファメモリであり、制御部２７による書き込み／読み出しの制御の基で、前段の画像処理部２３から出力されるサムネイル画像データＳＭＤを蓄積するとともに、後段の表示画像生成部２５へサムネイル画像データＳＰを出力する。

表示画像生成部２５は、制御部２７による制御の基、ディスプレイ表示に必要なサムネイル画像データＳＰを前記第二画像メモリ部２４から逐次読み出し、そのサムネイル画像データＳＰを出力端子２６から後段のディスプレイへ出力する。本実施形態において、前記ループ動画生成処理が開始された後、当該ループ動画生成処理が全て完了するまでの間、表示画像生成部２５からは、中間画のサムネイル画像データＳＰがディスプレイへ出力される。そして、前記ループ動画生成処理が全て完了すると、表示画像生成部２５からは、当該ループ動画生成処理完了後のサムネイル繰り返し動画がディスプレイへ出力される。

なお、この例においても前述の待ち受け画像表示の場合と同様に、例えば他のアプリケーションプログラムの実行により、ディスプレイ画面上にサムネイル画像以外の画像が表示されたり、省電力のためにディスプレイ画面の表示輝度がゼロにされることがある。このため、表示画像生成部２５は、ディスプレイ輝度がゼロでなく且つサムネイル画像が表示される場合にのみ、前記繰り返し動画となされたサムネイル動画をディスプレイ画面上に表示させる。このため、表示画像生成部２５は、例えば、他のアプリケーションプログラム用のウィンドウがディスプレイ画面上で最大表示される場合や、ディスプレイ画面の表示輝度がゼロにされる場合には、前記サムネイル動画表示のための処理を停止する。なお本実施形態の場合、表示画像生成部２５は、プレビュー可視信号ＰＶＳにより、ディスプレイ画面上にサムネイル動画を表示可能か否か判断する。この例の場合、前記プレビュー可視信号ＰＶＳは、前記他のアプリケーションプログラム用のウィンドウが最大表示されたことやディスプレイ画面の表示輝度がゼロになされたことで、ディスプレイ画面上にサムネイル動画を表示可能か否かを示す信号である。本実施形態の場合、当該プレビュー可視信号ＰＶＳは、一例として制御部２７が生成している。

［サムネイル動画を表示する場合の携帯情報端末のフローチャート］
図８には、図７の構成例においてサムネイル動画を生成して表示する処理のフローチャートを示す。なお本実施形態の場合、この図８のフローチャートの処理は、本実施形態の繰り返し動画生成プログラムがＣＰＵにより実行されることで実現される。

この図８のフローチャートにおいて、本実施形態のプログラム実行によりＣＰＵ内に形成される制御部２７は、ステップＳ２１の処理として第一画像メモリ２２に前記ファイル単位のビデオデータＶＤを展開させた後、さらに、ステップＳ２２の処理として例えばユーザからのサムネイル画像表示設定操作等を通じて、サムネイル画像からなる繰り返し動画を使用することの設定がなされた場合、ステップＳ２３の処理として前記画像処理部２３を制御して前述した各サムネイル画像の生成とそれら各サムネイル画像を用いたループ動画生成処理を開始させる。

前記サムネイル画像を用いたループ動画生成処理を開始させると、制御部２７は、ステップＳ２４の処理として、前記表示画像生成部２５を制御して、ステップＳ２４からステップＳ３１までの処理を行わせる。

すなわち、制御部２７は、画像処理部２３によるサムネイル画像の生成及びループ動画生成処理と並行して、ステップＳ２４からステップＳ３１までの処理として、表示画像生成部２５によるサムネイル画像から得られる中間画を用いた繰り返し動画の表示を行わせる。

ステップＳ２４にてサムネイル画像の中間画表示処理が開始されると、表示画像生成部２５は、ステップＳ２５の処理として、前記ループ動画生成処理で一フレーム分の処理が終わって中間画の書き換えが可能か否か判断し、書き換えが可能である場合にはステップＳ２６の処理として前フレームでの処理による中間画を前記ループ動画生成処理にて新たに一フレーム分の処理で得られた中間画に書き換える。

また、制御部２７は、ステップＳ２７の処理として、当該携帯情報端末の状態が前述したように他のウィンドウ画像がディスプレイの全画面に表示されたり、省電力のためにディスプレイ画面の表示輝度がゼロにされることで画面表示されない状態になるか否か判断している。そして、表示画像生成部２５は、サムネイル動画を表示できることを示すプレビュー可視信号ＰＶＳを制御部２７から受け取っている間は、ステップＳ２８の処理として中間画の表示更新を続け、一方、サムネイル動画を表示できないことを示すプレビュー可視信号ＰＶＳを制御部２７から受け取ると、ステップＳ２９の処理として中間画の表示処理を中断する。

また、制御部２７は、ステップＳ３０の処理として、画像処理部２３におけるループ動画生成処理が全て完了したか否か判断しており、ループ動画生成処理が全て完了していない間はステップＳ２５へ処理を戻す。

一方、画像処理部２３におけるループ動画生成処理が全て完了した場合、制御部２７は、ステップＳ３１の処理として、表示画像生成部２５に対して前記サムネイル画像の中間画による繰り返し動画の表示処理を終了させる。そして、制御部２７は、ステップＳ２２の処理として、前記表示画像生成部２５を制御して、前記ループ動画生成処理が全て完了した後のサムネイル画像の繰り返し動画をディスプレイ画面に表示させる。

上述のように、本実施形態の携帯情報端末は、前記ループ動画生成処理の開始後、そのループ動画生成処理が完了するまでの間は、ディスプレイ画面上にサムネイル画像の中間画からなる繰り返し動画が表示され、ループ動画生成処理が全て完了した後は、当該ループ動画生成処理完了後のサムネイル画像からなる繰り返し動画が表示される。

［フレームレートを調整しつつ繰り返し動画を表示する場合の携帯情報端末の概略構成］
本実施形態の携帯情報端末は、例えば図９及び図１０に示すように、入力ビデオデータから一定間隔毎にフレーム画像を抜き出すことでフレームレートを下げたビデオデータに対してループ動画生成処理を行いつつ繰り返し動画を表示し、その後、元の入力ビデオデータと同じにフレームレートになるまで次々にフレームレートを上げてループ動画生成処理と繰り返し動画の表示を続けることも可能となされている。

すなわち例えば、図９中の（Ａ）に示すように、入力ビデオデータのフレームレートが３０ｆｐｓ（フレーム／秒）であった場合、本実施形態の携帯情報端末は、ループ動画生成処理開始時点では前記入力ビデオデータから５ｆｐｓ毎のフレーム画像Ｆを抜き出す（それら以外のフレーム画像を間引く）ことにより、図９の（Ｂ）及び図１０に示すようにフレームレートが５ｆｐｓのビデオデータを生成する。そして、携帯情報端末は、当該フレームレートが５ｆｐｓのビデオデータの各フレーム画像Ｆについて、前述したような位置合わせ処理ｐｍ、フレーム画像Ｆｓ〜フレーム画像Ｆｅまでの最適繰り返し区間検出処理、それらフレーム画像Ｆｓ〜フレーム画像Ｆｅ間のループ処理ＬＰおよびブレンド処理を実行する。これにより、ディスプレイ画面上には、５ｆｐｓ毎にフレーム画像Ｆが表示されるいわゆるスライドショーのような繰り返し動画が表示されることになる。

次に、本実施形態の携帯情報端末は、前記フレームレートが３０ｆｐｓの入力ビデオデータから、前記５ｆｐｓの繰り返し動画の各フレーム画像の間に位置するそれぞれ一つのフレーム画像Ｆを抜き出し、それらフレーム画像Ｆを、前記５ｆｐｓの繰り返し動画の各フレーム画像の間に各々追加することにより、図９の（Ｃ）及び図１０に示すようなフレームレートが１０ｆｐｓのビデオデータを生成する。そして、携帯情報端末は、当該フレームレートが１０ｆｐｓのビデオデータの各フレーム画像Ｆのうち前記追加したフレーム画像について、その両側の前記５ｆｐｓのフレーム画像を基準に位置合わせ処理ｐｍを行う。さらに、携帯情報端末は、当該１０ｆｐｓのビデオデータについて、前述同様にフレーム画像Ｆｓ〜フレーム画像Ｆｅまでの最適繰り返し区間検出処理、それらフレーム画像Ｆｓ〜フレーム画像Ｆｅ間のループ処理ＬＰおよびブレンド処理を実行する。これにより、ディスプレイ画面上には、１０ｆｐｓ毎にフレーム画像Ｆが表示されるいわゆるスライドショーのような繰り返し動画が表示されることになる。

次に、本実施形態の携帯情報端末は、前記フレームレートが３０ｆｐｓの入力ビデオデータから、前記１０ｆｐｓの繰り返し動画の各フレーム画像の間に位置するそれぞれ二つのフレーム画像Ｆを抜き出し、それらフレーム画像Ｆを、前記１０ｆｐｓの繰り返し動画の各フレーム画像の間に各々追加することにより、図９の（Ｄ）及び図１０に示すようなフレームレートが３０ｆｐｓのビデオデータを生成する。そして、携帯情報端末は、当該フレームレートが３０ｆｐｓのビデオデータの各フレーム画像Ｆのうち、前記追加したフレーム画像について、その前後の前記１０ｆｐｓのフレーム画像を基準に位置合わせ処理ｐｍを行う。さらに、携帯情報端末は、当該３０ｆｐｓのビデオデータについて、前述同様にフレーム画像Ｆｓ〜フレーム画像Ｆｅまでの最適繰り返し区間検出処理、それらフレーム画像Ｆｓ〜フレーム画像Ｆｅ間のループ処理ＬＰおよびブレンド処理を実行する。これにより、ディスプレイ画面上には、３０ｆｐｓ毎にフレーム画像Ｆが表示される繰り返し動画が表示されることになる。

なお、図９及び図１０では、１０ｆｐｓのフレームレートから３０ｆｐｓのフレームレートに調整される例を挙げているが、１０ｆｐｓのフレームレートから２０ｆｐｓへフレームレートを調整し、その後、２０ｆｐｓから３０ｆｐｓへフレームレートを調整するようにしてもよい。

その後、前記フレームレートが３０ｆｐｓのビデオデータに対する前記ループ動画生成処理が全て完了すると、本実施形態の携帯情報端末は、図９の（Ｅ）及び図１０に示すように、当該ループ動画生成処理完了後のフレームレートが３０ｆｐｓの繰り返し動画を表示する。

このように、本実施形態の携帯情報端末は、ループ動画生成処理を開始した時点ではスライドショーのような繰り返し動画が表示され、その後徐々にフレームレートが上げられた繰り返し動画を生成及び表示することが可能となされている。

図１１には、本実施形態の携帯情報端末において、前述のように徐々にフレームレートが上げられた繰り返し動画を表示する場合の主要部の概略構成を示す。なお、この図１１では、オリジナル動画像として前記カメラ部にて撮影された入力ビデオデータを用い、その入力ビデオデータから前述したフレームレートが徐々に上げられる繰り返し動画を生成して表示する例を挙げている。また、図１１の構成において、第一画像処理部３３、第二画像処理部３４、表示画像生成部３７は、ハードウェアとして用意されてもよいし、本実施形態の繰り返し動画生成プログラムを実行することにより例えばＣＰＵ内に演算機能部として構成されるものであってもよい。

図１１において、入力端子３１には、カメラ部により撮影されたビデオデータＶＤが供給される。なお、当該入力端子３１におけるビデオデータＶＤの受信単位は、前述同様に、例えば当該ファイル単位やフレーム単位、スキャンライン単位など何れであってもよい。前記入力端子３１に供給されたビデオデータＶＤは、第一画像メモリ部３２へ入力する。

第一画像メモリ部３２は、ビデオバッファであり、制御部３９による書き込み／読み出しの制御の基で、前記ビデオデータＶＤを一時的に蓄積した後、後段の第一画像処理部３３へ出力する。

第一画像処理部３３は、制御部２８による制御の基で、ビデオデータのフレームレートを調整するための構成である。当該第一画像処理部３３は、ループ動画生成処理の開始時点では、前記入力ビデオデータＶＤから一定間隔毎にフレーム画像を抜き出す（それら以外のフレーム画像を間引く）ことにより、前記５ｆｐｓのような第一のフレームレートへ下げられたビデオデータＶＤを生成して、後段の第二画像メモリ部３５へ出力する。なお、第一画像処理部３３は、第一のフレームレートへ調整されたビデオデータＶＤの各フレーム画像について、例えば隣接するフレーム画像をブレンドするとともにいわゆるブラー処理を施すことにより、それら各フレーム画像間の視覚的な繋がりを確保できるようにすること、つまり絵が飛び飛びにならないような処理を行うものとなされている。

第二画像メモリ部３５は、フレームレートが調整された後のビデオデータＶＤ用のビデオバッファである。前記ループ動画生成処理開始時点における当該第二画像メモリ部３５は、制御部３９による書き込み／読み出しの制御の基で、前記第一のフレームレートへ調整されたビデオデータＶＤを一時的に蓄積した後、後段の第二画像処理部３４へ出力する。

第二画像処理部３４は、制御部３９による制御の基で、前記フレームレートが調整された後のビデオデータＶＤを構成している各フレーム画像を用いて、前述したようなループ動画生成処理を行うとともに、当該ループ動画生成処理中の中間画の各フレーム画像を第三画像メモリ部３６へ出力する。前記ループ動画生成処理開始時点の第二画像処理部３４は、前記第一のフレームレートのビデオデータＶＤに対してループ動画生成処理を実行する。また、第二画像処理部３４は、当該フレームレートが調整された後のビデオデータＶＤを用いたループ動画生成処理が完了すると、その旨を示す完了信号ＣＳを第一画像処理部３３へ出力する。なお、この例の場合、完了信号ＣＳは、フレームレートを上げるための新たなフレーム画像のデータを要求する信号となる。

前記完了信号ＣＳを受けた第一画像処理部３３は、制御部３９による制御の基、第一画像メモリ部３２に蓄積されている入力ビデオデータＶＤから、例えば前記１０ｆｐｓのような第二のフレームレートのビデオデータを生成する際に使用されるフレーム画像を抜き出して、第二画像メモリ部３５へ出力する。この時の当該第二画像メモリ部３５は、制御部３９による書き込み／読み出しの制御の基で、前記第二のフレームレートのビデオデータの生成に使用されるフレーム画像のデータを一時的に蓄積した後、後段の第二画像処理部３４へ出力する。

この時の第二画像処理部３４は、前記ループ動画生成処理を行った第一のフレームレートのビデオデータに対し、前記第二画像メモリ部３５から供給されたフレーム画像を追加することにより第二のフレームレートのビデオデータを生成する。そして、第二画像処理部３４は、当該第二のフレームレートのビデオデータに対してループ動画生成処理を行うとともに、そのループ動画生成処理中の中間画の各フレーム画像を第三画像メモリ部３６へ出力する。また、第二画像処理部３４は、当該第二のフレームレートのビデオデータＶＤを用いたループ動画生成処理が完了すると、その旨を示す完了信号ＣＳを第一画像処理部３３へ出力する。

以下、第一画像処理部３４，第二画像メモリ部３５では、フレームレートを徐々に上げるようなフレームレート調整処理を行い、また第二画像処理部３４ではそれらフレームレート調整後のビデオデータに対して前述同様のループ動画生成処理を行う。

第三画像メモリ部３６は、後段の表示画像生成部３７へ供給するフレーム画像用のバッファメモリである。すなわち当該第三画像メモリ部３６は、制御部３９による書き込み／読み出しの制御の基で、前段の第二画像処理部３４から前述のような各フレームレートにおいて出力される画像データＰＤを蓄積するとともに、後段の表示画像生成部３７へフレーム単位の画像データＦＰを出力する。

表示画像生成部３７は、制御部３９による制御の基、ディスプレイ表示に必要なフレーム単位の画像データＦＰを前記第三画像メモリ部３６から逐次読み出し、そのフレーム画像データＦＰを出力端子３８から後段のディスプレイへ出力する。すなわちこの例の場合、表示画像生成部３７からは、前記各フレームレートにおいてそれぞれループ動画生成処理が行われている間の中間画のフレーム画像データＦＰがディスプレイへ出力される。その後、フレームレートが入力ビデオデータのフレームレートになり、そのフレームレートでの前記ループ動画生成処理が全て完了すると、表示画像生成部３７からは、当該ループ動画生成処理完了後の繰り返し動画がディスプレイへ出力される。

［フレームレートを調整しつつ繰り返し動画を表示する場合の携帯情報端末のフローチャート］
図１２には、図１１の構成例においてフレームレートを調整しつつ繰り返し動画を生成して表示する処理のフローチャートを示す。なお本実施形態の場合、この図１２のフローチャートの処理は、本実施形態の繰り返し動画生成プログラムがＣＰＵにより実行されることで実現される。

この図１２のフローチャートにおいて、本実施形態のプログラム実行によりＣＰＵ内に形成された制御部３９は、ステップＳ４１の処理として第一画像メモリ３２にビデオデータＶＤが展開された後、ステップＳ４２の処理としてフレームレートを決めるための変数（以下、フレームレートレベルＲｉと表記する。）を設定する。この例では、フレームレートレベルＲｉの値として“０”〜“４”の値が設定される。一例として、前記フレームレートレベルＲｉ＝０は５ｆｐｓのフレームレートに対応し、フレームレートレベルｉ＝１は１０ｆｐｓに、フレームレートレベルｉ＝２は２０ｆｐｓに、フレームレートレベルｉ＝３は３０ｆｐｓに、フレームレートレベルｉ＝４はフレームレート調整の終了にそれぞれ対応している。

前記ステップＳ４２にてフレームレートレベルｉが設定されると、制御部３９は、ステップＳ４３の処理として、第一画像メモリ部３２，前記第一画像処理部３３，第二画像メモリ部３５をそれぞれ制御して、前記フレームレートレベルｉに対応したフレームレートのビデオデータを生成させ、さらに、それらと第二画像処理部３４を制御して、ステップＳ４４からステップＳ５２までの処理を行わせる。

すなわち、制御部３９は、ステップＳ４３にてフレームレートレベルｉのビデオデータが生成されると、ステップＳ４４の処理として当該フレームレートレベルｉのビデオデータに対するループ動画生成処理による中間画の表示が開始されたか否か判断する。そして、制御部３９は、前記中間画の表示が開始済みであると判断した場合にはステップＳ４５へ処理を進め、第二画像処理部３４，第三画像メモリ部３６，表示画像生成部３７を制御して、当該フレームレートレベルｉの中間画の繰り返し動画を表示させる。一方、フレームレートレベルｉにおける中間画の表示が開始済みでない時、制御部３９は、ステップＳ４６へ処理を進める。

ステップＳ４６の処理に進むと、制御部３９は、第二画像処理部３４を制御して、前記フレームレートレベルｉのビデオデータに対するループ動画生成処理を開始させる。そして、制御部３９は、ステップＳ４７の処理として、当該フレームレートレベルｉのビデオデータに対するループ動画生成処理が完了したか否か判断し、完了していない時にはステップＳ５０へ処理を進める。

ステップＳ５０の処理に進むと、制御部３９は、前記フレームレートレベルｉの値が“０”か否か判断する。そして、制御部３９は、フレームレートレベルｉの値が“０”である場合にはステップＳ５１の処理として、第二画像処理部３４，第三画像メモリ部３６，表示画像生成部３７を制御して、当該フレームレートレベルｉにおける中間画の繰り返し動画を用いた表示更新を続けさせる。一方、フレームレートレベルｉの値が“０”でない場合、制御部３９は、ステップＳ５１の処理として、第二画像処理部３４，第三画像メモリ部３６，表示画像生成部３７を制御し、フレームレートレベル（ｉ−１）における中間画の繰り返し動画を用いた表示更新を続けさせる。

また、ステップＳ４７において、前記フレームレートレベルｉのビデオデータに対するループ動画生成処理が完了したと判断すると、制御部３９は、ステップＳ４８へ処理を進める。

ステップＳ４８の処理に進むと、制御部３９は、フレームレートレベルｉの値をインクリメントし、ステップＳ４９へ処理を進める。

次に、制御部３９は、ステップＳ４９の処理として、前記フレームレートレベルｉの値が“４”になったか否か判断し、“４”になっていない場合にはステップＳ４２へ処理を戻し、“４”になった場合にはステップＳ５３へ処理を進める。

ステップＳ５３の処理に進むと、制御部３９は、第一画像メモリ部３２，前記第一画像処理部３３，第二画像メモリ部３５，第二画像処理部３４，第三画像メモリ部３６，表示画像生成部３７を制御して、前記ループ動画生成処理による中間画の表示処理を終了させる。

その後、制御部３９は、ステップＳ５４の処理として、第三画像メモリ部３６と表示画像生成部３７を制御して、前記ループ動画生成処理の完了後の繰り返し動画の表示処理を開始させる。

［パン撮影によるパノラマ画像から繰り返し動画を生成して表示する場合の携帯情報端末の概略構成］
本実施形態の携帯情報端末は、例えば図１３に示すようにカメラ部を一定方向（例えば水平方向）に振りながらビデオ撮影するいわゆるパン撮影により複数のビデオフレーム画像を得て、それら複数のビデオフレーム画像（例えばビデオフレーム画像Ｆ１〜Ｆ８）の手振れ補正や傾き補正等を行って図１４に示すように繋げることにより、図１５に示すようないわゆるパノラマ画像を生成可能となされている。

ここで、前記パン撮影において、或る程度時間をかけてゆっくりカメラ部を一定方向（水平方向等）へ振りながら撮影した場合、図１６に示すように、そのビデオ撮影による各ビデオフレーム画像内には重複した画像部分ＯＶが存在することになる。すなわち図１６の例において、例えば、ビデオフレーム画像Ｆ１における水平方向の撮影範囲がＦ１Ｌ〜Ｆ１Ｒの範囲であり、ビデオフレーム画像Ｆ２における水平方向の撮影範囲がＦ２Ｌ〜Ｆ２Ｒ、ビデオフレーム画像Ｆ３における水平方向の撮影範囲がＦ３Ｌ〜Ｆ３Ｒ、ビデオフレーム画像Ｆ４における水平方向の撮影範囲がＦ４Ｌ〜Ｆ４Ｒ、ビデオフレーム画像Ｆ５における水平方向の撮影範囲がＦ５Ｌ〜Ｆ５Ｒであったとすると、画像部分ＯＶはそれら五つのビデオフレーム画像で重複した撮影範囲の画像となり、画像部分ＮＯＶは五つのビデオフレーム画像のうち何れか一つ以上で重複していない範囲の画像となる。

このため、例えば図１７の（Ａ）に示すようにパン撮影により重複した画像部分を含むビデオ撮影を行った場合には、複数の重複画像部分ＯＶが得られることになる。

本実施形態の携帯情報端末は、各重複画像部分ＯＶについてそれぞれ前述のようなループ動画生成処理を行い、例えば以下のようにして、それぞれ各重複画像部分ＯＶの繰り返し動画ＯＶＬを生成し、さらにそれら各繰り返し動画ＯＶＬの重複部分をブレンドしつつ繋ぐ処理ＣＣＦを行うことにより、図１７の（Ｂ）に示すようなパノラマ繰り返し動画ＰＯＶＬを生成可能となされている。

ここで、本実施形態において、前記重複画像を構成するフレーム数は、視覚的に動画像として観ることができるだけの所定数（一例として３０フレーム）とし、各重複画像部分ＯＶの繰り返し動画ＯＶＬの時間（動画長）は同じにする。また、各重複画像部分ＯＶの動画は時間的にズレていることになるが、本実施形態の携帯情報端末は、それら時間的なズレがあっても画像上で繋げることができるシーンを処理の対象とする。さらに、本実施形態の携帯情報端末は、各重複画像部分ＯＶの繰り返し動画ＯＶＬを生成する際に、各繰り返し動画間で一定部分だけ重なりを持つように処理する。そして、本実施形態の携帯情報端末は、各重複画像部分ＯＶの繰り返し動画ＯＶＬの各フレームを一枚ずつアルファブレンドして結合させる処理ＣＣＦを行って、前記各重複画像部分ＯＶの繰り返し動画ＯＶＬからなるパノラマ繰り返し動画ＰＯＶＬを生成する。また、前記各重複画像部分ＯＶの繰り返し動画ＯＶＬの連結部分は、例えばクロスフェード処理により混合する。

図１８には、本実施形態の携帯情報端末において、例えばパン撮影による重複した画像部分を含むビデオデータから、前述したような複数の重複画像部分ＯＶについてループ動画生成処理を行い、それぞれ重複画像部分ＯＶによる繰り返し動画ＯＶＬを生成して表示する場合の主要部の概略構成を示す。なお、この図１８では、オリジナル動画像として前記カメラ部にてパン撮影された入力ビデオデータを用い、その入力ビデオデータから前述した重複画像部分ＯＶの繰り返し動画ＯＶＬを生成して表示する例を挙げている。また、図１８の構成において、第一画像処理部４４、第二画像処理部４３、第三画像処理部４６、表示画像生成部４８は、ハードウェアとして用意されてもよいし、本実施形態の繰り返し動画生成プログラムを実行することにより例えばＣＰＵ内に演算機能部として構成されるものであってもよい。

図１８において、入力端子４１には、カメラ部にてパン撮影されたビデオデータＶＤが供給される。なお、当該入力端子４１におけるビデオデータＶＤの受信単位は、前述同様に、例えば当該ファイル単位やフレーム単位、スキャンライン単位など何れであってもよい。前記入力端子４１に供給されたビデオデータＶＤは、第一画像メモリ部４２へ入力する。

第一画像メモリ部４２は、ビデオバッファであり、制御部５０による書き込み／読み出しの制御の基で、前記ビデオデータＶＤを一時的に蓄積した後、後段の第一画像処理部４４と第二画像処理部４３へ出力する。

第二画像処理部４３は、制御部５０による制御の基で、前記パン撮影されたビデオデータＶＤを構成する各画像について傾き補正等を行って繋ぎ合わせることによりパノラマ画像ＰＰを生成する。当該第二画像処理部４３が生成したパノラマ画像ＰＰは、第二画像メモリ部４５へ送られる。

第二画像メモリ部４５は、制御部５０による書き込み／読み出しの制御の基で、前記パノラマ画像ＰＰのデータを一時的に蓄積した後、後段の第三画像処理部４６へ出力する。

また、前記第一画像メモリ部４２からビデオデータＶＤを受け取った第一画像処理部４４は、制御部５０による制御の基で、前記各重複画像部分ＯＶについてループ画像生成処理を行い、各重複画像部分ＯＶの繰り返し動画ＯＶＬを生成する。当該第一画像処理部４４は、各重複画像部分ＯＶの繰り返し動画ＯＶＬを生成すると、それら各繰り返し動画ＯＶＬのデータと各々のループ動画生成処理の完了を示す完了信号ＣＳを、第三画像処理部４６へ出力する。

第三画像処理部４６は、前記第二画像メモリ部４５から供給されたパノラマ画像ＰＰと前記各重複画像部分ＯＶの繰り返し動画ＯＶＬをブレンドする。そして、当該ブレンド処理が完了すると、第三画像処理部４６は、前記パノラマ画像ＰＰに繰り返し動画ＯＶＬをブレンドおよび結合処理ＣＣＦしたパノラマ繰り返し動画ＰＯＶＬとその処理の完了を示す完了信号ＰＣＳを第三画像メモリ部４７へ出力する。

第三画像メモリ部４７は、後段の表示画像生成部４８へ供給するフレーム画像用のバッファメモリである。すなわち当該第三画像メモリ部４７は、制御部５０による書き込み／読み出しの制御の基で、前段の第三画像処理部４６から前述のようなパノラマ繰り返し動画ＰＯＶＬの画像データを蓄積するとともに、後段の表示画像生成部４８へフレーム単位の画像データＦＰを出力する。

表示画像生成部４８は、制御部５０による制御の基、ディスプレイ表示に必要なフレーム単位の画像データＦＰを前記第三画像メモリ部４７から逐次読み出し、そのフレーム画像データＦＰを出力端子４９から後段のディスプレイへ出力する。すなわちこの例の場合、表示画像生成部４８からは、前記パノラマ繰り返し動画ＰＯＶＬのうち、ディスプレイ画面上に表示可能な範囲の動画データが出力される。これにより、ディスプレイ画面上には、パノラマ繰り返し動画ＰＯＶＬのうちで、ディスプレイ画面上に表示可能な範囲の繰り返し動画が表示されることになり、したがって、パノラマ繰り返し動画ＰＯＶＬからユーザ所望の範囲を選択すれば、その範囲の繰り返し動画がディスプレイ画面上に表示されることになる。

［パン撮影によるパノラマ画像から繰り返し動画を生成して表示する場合の携帯情報端末のフローチャート］
図１９には、図１８の構成例においてパン撮影によるパノラマ画像から繰り返し動画を生成して表示する処理のフローチャートを示す。なお本実施形態の場合、この図１９のフローチャートの処理は、本実施形態の繰り返し動画生成プログラムとパノラマ画像生成プログラムがＣＰＵにより実行されることで実現される。

この図１９のフローチャートにおいて、本実施形態のプログラム実行によりＣＰＵ内に形成された制御部３９は、ステップＳ６１の処理として第一画像メモリ３２にビデオデータＶＤを展開させた後、ステップＳ６２の処理として前記第二画像処理部４３を制御してパノラマ画像ＰＰを生成させる。

また、制御部５０は、ステップＳ６３の処理として、前記表示画像生成部４８を制御して中間画の表示を開始させ、またステップＳ６４の処理として、前記第一画像処理部４４を制御して各重複画像部分ＯＶについてのループ動画生成処理を開始させる。

すなわち、制御部５０は、先ずステップＳ６４にて前記各重複画像部分ＯＶのそれぞれの位置を表す変数（以下、重複範囲Ｅｉと表記する）を設定し、第一画像処理部４４を制御して、当該重複範囲Ｅｉの重複画像部分について前述のようにループ動画生成処理を開始させる。なお、重複範囲Ｅｉの値は例えばカメラ部を水平方向に振りながらビデオ撮影した際の時間順の各撮影範囲に対応する。

次に、制御部５０は、ステップＳ６５の処理として、前記第一画像処理部４４による当該重複範囲Ｅｉについてのループ動画生成処理が完了したか否か判断し、完了していない場合にはステップＳ６６へ処理を進め、完了していない場合にはステップＳ６８へ処理を進める。

ステップＳ６８の処理に進むと、制御部５０は、第三画像メモリ部４７および表示画像生成部４８を制御して、当該重複範囲Ｅｉの重複画像部分のループ動画生成処理による中間画の繰り返し動画の表示更新を続ける。

そして、ステップＳ６９において、制御部５０は、全ての重複範囲Ｅｉの各重複画像部分についてのループ動画生成処理が完了したか否か判断し、完了した時にはステップＳ７０へ処理を進め、完了していない時にはステップＳ６５へ処理を戻す。

また、前記ステップＳ６５の判定処理において、前記重複範囲Ｅｉについてのループ動画生成処理が完了したと判断してステップＳ６６の処理に進むと、制御部５０は、前記重複範囲Ｅｉをインクリメントし、ステップＳ６７へ処理を進める。

ステップＳ６７の処理に進むと、制御部５０は、前記第三画像処理部４６を制御して、ループ動画生成処理が完了した重複範囲Ｅｉまでの繰り返し動画と前記パノラマ画像をブレンド（混合）させて、ステップＳ６４へ処理を戻す。

また、ステップＳ６９にて全ての重複範囲Ｅｉの各重複画像部分についてのループ動画生成処理が完了したと判断してステップＳ７０の処理に進むと、制御部５０は、第三画像メモリ部４７と表示画像生成部４８を制御して、前記中間画の表示処理を終了させる。

その後、制御部５０は、ステップＳ７１の処理として、第三画像メモリ部４７と表示画像生成部４８を制御して、前記ループ動画生成処理の完了後のパノラマ繰り返し動画の表示処理を開始させる。

［ビデオ表示を一時停止させて繰り返し動画を表示する場合の携帯情報端末の概略構成］
図２０には、本実施形態の携帯情報端末において、ビデオ表示を一時停止した際に繰り返し動画を表示する場合の主要部の概略構成を示す。なお、この図２０では、オリジナル動画像としてカメラ部やディジタルテレビジョン放送受信部等の映像入力部から供給されたビデオデータを用いた例を挙げている。また、図２０の構成において、画像処理部６４と表示画像生成部６６は、ハードウェアとして用意されてもよいし、本実施形態の繰り返し動画生成プログラムを実行することにより例えばＣＰＵ内に演算機能部として構成されるものであってもよい。

図２０において、入力端子６１には、映像入力部からのビデオデータＶＤが供給される。なお、当該入力端子６１におけるビデオデータＶＤの受信単位は、前述の例と同様に、例えばファイル単位やフレーム単位、スキャンライン単位など何れであってもよい。前記入力端子６１に供給されたビデオデータＶＤは、第一画像メモリ部６２へ入力する。

第一画像メモリ部６２は、制御部６７による書き込み／読み出しの制御の基で、最新の一定時間分のデータを保持し、それ以外の古いデータについては破棄するリングバッファである。なお一定時間としては一例として３秒等を挙げることができる。また、当該メモリ部の容量が前記一定時間分のデータ量よりも十分に大きい場合には、前記最新の一定時間分のデータ以外の古いデータも容量が許す範囲で保持しておいてもよい。この例の場合、第一画像メモリ部６３は、制御部６７から一時停止通知信号ＰＣＳを受け取ると、バッファの更新を停止して、当該一時停止通知信号ＰＣＳを受信する前の前記最新の一定時間分のビデオデータを保持する。そして、第一画像メモリ部６２は、前記一時停止通知信号ＰＣＳを受信したことで前記バッファの更新を停止した後は、前記保持している一定時間分のビデオデータを、後段の画像処理部６４へ出力する。

画像処理部６４は、前述したループ動画生成処理を実行するための構成であり、制御部６７による制御の基で、前記一定時間分のビデオデータを用いて前記ループ動画生成処理を行う。そして、当該画像処理部６４は、前述同様にループ動画生成処理の実行による一定単位の処理が完了したならば、当該一定単位の処理終了後の画像データＰＤと前記完了信号ＣＳを第二画像メモリ部６４へ出力する。

第二画像メモリ部６４は、表示画像生成部６５へ供給するフレーム画像用のバッファメモリであり、制御部６７による書き込み／読み出しの制御の基で、前段の画像処理部６３から出力される一定時間分のビデオデータへのループ動画生成処理による中間画のデータＰＤを蓄積するとともに、後段の表示画像生成部６５へフレーム単位の画像データＦＰを出力する。

表示画像生成部６５は、制御部６７による制御の基、ディスプレイ表示に必要なフレーム単位の画像データＦＰを前記第二画像メモリ部６４から逐次読み出し、そのフレーム画像データＦＰを出力端子６６から後段のディスプレイへ出力する。本実施形態において、前記ループ動画生成処理が開始された後、当該ループ動画生成処理が全て完了するまでの間、表示画像生成部６５からは、前記中間画のフレーム画像データＦＰがディスプレイへ出力される。そして、前記ループ動画生成処理が全て完了すると、表示画像生成部６５からは、前記一定時間分のビデオデータに対するループ動画生成処理完了後の繰り返し動画がディスプレイへ出力される。これにより、この例の場合、ディスプレイ画面上には、一定時間分のビデオデータから生成された繰り返し動画が表示されることになる。

［ビデオ表示を一時停止して繰り返し動画を表示する場合の携帯情報端末のフローチャート］
図２１には、図２０の構成例において一時停止後に繰り返し動画を表示する処理のフローチャートを示す。なお、本実施形態の場合、この図２１のフローチャートの処理は、例えば本実施形態の繰り返し動画生成プログラムがＣＰＵにより実行されることで実現される。

この図２１のフローチャートにおいて、本実施形態のプログラム実行によりＣＰＵ内に形成される制御部６７は、ステップＳ８１の処理として第一画像メモリ６２のリングバッファ動作を開始させて、最新の一定時間分のビデオデータＶＤを逐次保持させつつ後段へ出力させる。

制御部６７は、例えばユーザから一時停止指示操作等がなされたことを認識すると、ステップＳ８２の処理として一時停止信号ＰＣＳを発生させて第一画像メモリ部６２へ送り、当該第一画像メモリ部６２でのリングバッファの更新を停止させる。そして、制御部６７は、前記一時停止信号ＰＣＳの発生以前の前記一定時間分のビデオデータを、前記第一画像メモリ部６２から画像処理部６３へ出力させる。

次に、制御部６７は、ステップＳ８３の処理として、前記表示画像生成部１５を制御して中間画の表示を開始させ、またステップＳ８４の処理として、前記画像処理部１３を制御して前記一定時間分のビデオデータを用いたループ動画生成処理を開始させる。

そして、制御部６７は、ステップＳ８５の処理として、第二画像メモリ部６４および表示画像生成部６５を制御して、前記一定時間分のループ動画生成処理による中間画の繰り返し動画の表示更新を続ける。

その後、ステップＳ８６において、制御部６７は、前記ループ動画生成処理が完了したか否か判断し、完了していない時にはステップＳ８５へ処理を戻し、一方、完了した時にはステップＳ８７へ処理を進める。

ステップＳ８７の処理に進むと、制御部６７は、第二画像メモリ部６４および表示画像生成部６５を制御して前記中間画の表示処理を終了させ、その後、ステップＳ８８の処理として、前記完了したループ動画生成処理による繰り返し動画の表示を行わせる。

上述のように、本実施形態の携帯情報端末は、例えばユーザ等により一時停止の指示が入力された時には、その一時停止前に第一画像メモリ部６２に保持されていた一定時間分のビデオデータを用いた繰り返し動画を表示することができる。

［ループ動画生成処理を用いて複数の静止画像からパノラマ静止画を生成する応用例］
本実施形態の携帯情報端末は、前記ループ動画生成処理のうち位置合わせ処理とブレンド処理を用いることにより、複数の静止画像からパノラマ静止画を生成するとともに、当該ループ動画生成処理によるパノラマ静止画生成過程の中間画を表示することも可能となされている。

すなわち例えば、図２２に示すようにカメラ部を一定方向（例えば水平方向）に振りながら撮影した複数の静止画像が有る場合、本実施形態の携帯情報端末は、それら各静止画像について、例えば図２３に示すように隣接する静止画像間でマッチングを行い、それら静止画像内で前記マッチングにより略々一致する画像要素同士が重なるように位置合わせ処理を行い、それら画像要素にブレンド処理を施す。そして、本実施形態の携帯情報端末は、図２４に示すように、前記位置合わせやブレンド処理等により各静止画像が繋ぎ合わされていく様子を中間画としてディスプレイ画面上に表示する。

これにより、本実施形態の携帯情報端末は、複数の静止画像からパノラマ静止画が生成されていく様子をディスプレイ画面上に表示することが可能となる。

図２５には、本実施形態の携帯情報端末において、前記複数の静止画像を用い、前記ループ動画生成処理によりパノラマ静止画像を生成するとともに、その処理の中間画を表示する場合の主要部の概略構成を示す。なお、この図２５では、オリジナル動画像としてカメラ部を一定方向に振りながら撮影した複数の静止画像データＳＤが入力端子７１に供給された例を挙げている。また、図２５の構成において、画像処理部７３と表示画像生成部７５は、ハードウェアとして用意されてもよいし、本実施形態の繰り返し動画生成プログラムを実行することにより例えばＣＰＵ内に演算機能部として構成されるものであってもよい。

図２５において、入力端子７１には、例えばカメラ部を水平方向に振りながら撮影した複数の静止画像データＳＤが、その撮影順に供給される。当該入力端子７１に供給された複数の静止画像データＳＤは、第一画像メモリ部７２へ入力する。

第一画像メモリ部７２は、前記カメラ部を水平方向に振りながら撮影した撮影順の静止画像データＳＤを、制御部７７による書き込み／読み出しの制御の基で、その供給順に一時的に保持し、またその供給の順番で出力する。当該第一画像メモリ部７２から順番に読み出された複数の静止画像データＳＤは、順次後段の画像処理部７４へ入力する。

画像処理部７３は、前述したループ動画生成処理を実行可能な構成であり、この例の場合は、制御部７７による制御の基で、隣り合う静止画像同士の位置合わせ処理とブレンド処理を行う。そして、それら位置合わせ処理やブレンド処理をそれぞれ一定単位の処理とし、当該一定単位の処理が完了する毎に、その一定単位の処理終了後の画像データＰＤと前記完了信号ＣＳを第二画像メモリ部７４へ出力する。

第二画像メモリ部７４は、表示画像生成部７５へ供給する表示フレーム画像用のバッファメモリであり、前記制御部７７による書き込み／読み出しの制御の基で、前段の画像処理部７３から出力される一定単位の処理終了後の中間画の画像データＰＤを蓄積するとともに、後段の表示画像生成部７５へ前記表示フレーム単位の中間画の画像データＦＰを出力する。

表示画像生成部７５は、制御部７７による制御の基、ディスプレイ表示に必要なフレーム単位の中間画の画像データＦＰを前記第二画像メモリ部７４から逐次読み出し、その画像データＦＰを出力端子７６から後段のディスプレイへ出力する。

これにより、本実施形態の場合、前記一定単位の各処理の完了毎に徐々にパノラマ静止画像が完成していく様子の画像がディスプレイ画面上に表示されることになる。

［ループ動画生成処理を用いて複数の静止画像からパノラマ静止画を生成して表示する場合の携帯情報端末のフローチャート］
図２６には、図２５の構成例において複数の静止画像からパノラマ静止画を生成して表示する処理のフローチャートを示す。なお本実施形態の場合、この図２６のフローチャートの処理は、本実施形態の繰り返し動画生成プログラムとパノラマ画像生成プログラムがＣＰＵにより実行されることで実現される。

この図２６のフローチャートにおいて、本実施形態のプログラム実行によりＣＰＵ内に形成された制御部７７は、ステップＳ９１の処理として第一画像メモリ７２に複数の静止画像データＳＤを順番に展開させた後、ステップＳ７２の処理としてそれら複数の静止画像データＳＤを順番に画像処理部７３へ出力させ、当該画像処理部７３にて隣接する静止画像間で略々一致している画像要素同士が重なるように位置合わせ処理を行わせる。

次に、制御部７７は、ステップＳ９３の処理として、前記表示画像生成部７５を制御して中間画の表示を開始させ、またステップＳ９４の処理として、前記画像処理部７３を制御して前記各静止画像に対するループ動画生成処理を開始させる。

すなわち、制御部７７は、先ずステップＳ９４にて、各静止画像を表すと共にそれらの撮影順に対応した変数（以下、静止画像Ｐｉと表記する。）を設定し、画像処理部７３を制御して、隣接する二つの静止画像Ｐｉと静止画像Ｐi+1について、前述のように両画像間で略々一致する画像要素同士のブレンド（混合）処理を行わせる。

次に、制御部７７は、ステップＳ９５の処理として、前記画像処理部７３による前記隣接静止画像Ｐｉ，Ｐi+1のブレンド処理が完了したか否かを判断し、完了したと判断した場合にはステップＳ９６へ処理を進め、完了していないと判断した場合にはステップＳ９８へ処理を進める。

ステップＳ９８の処理に進むと、制御部７７は、第二画像メモリ部７４および表示画像生成部７５を制御して、前記ブレンド処理による中間画のパノラマ静止画像の表示更新を続ける。

そして、ステップＳ９９において、制御部７７は、全ての静止画像を繋げたパノラマ静止画像の生成処理が完了したか否か判断し、完了した時にはステップＳ１００へ処理を進め、一方、完了していない時にはステップＳ９５へ処理を戻す。

また、前記ステップＳ９５の判定処理において、前記隣接静止画像Ｐｉ，Ｐi+1のブレンド処理が完了したと判断してステップＳ９６の処理に進むと、制御部７７は、前記静止画像Ｐｉをインクリメントし、ステップＳ９７へ処理を進める。

ステップＳ９７の処理に進むと、制御部７７は、前記画像処理部７３を制御して、ブレンド処理が完了した画像までのパノラマ静止画像とそれら処理前の前記位置合わせ後の各静止画像とからなる中間画を生成させて、ステップＳ９４へ処理を戻す。

また、ステップＳ９９にて全ての静止画像を繋げたパノラマ静止画像の生成処理が完了したと判断してステップＳ１００の処理に進むと、制御部７７は、第二画像メモリ部７４と表示画像生成部７５を制御して、前記中間画の表示処理を終了させる。

その後、制御部７７は、ステップＳ１０１の処理として、第二画像メモリ部７２と表示画像生成部７５を制御して、前記全ての静止画像が繋げられたパノラマ静止画像の表示処理を開始させる。

［ループ動画生成処理を用いた三次元ノイズリダクション処理を行う応用例］
本実施形態の携帯情報端末は、前記ループ動画生成処理のうち位置合わせ処理とフレンド処理からなる重ね合わせ処理を行うことにより、ビデオデータに三次元ノイズリダクション（ＮＲ）処理を施すとともに、当該ループ動画生成処理による三次元ノイズリダクション処理過程の中間画を表示することも可能となされている。

すなわち例えば、本実施形態の携帯情報端末は、図２７に示すように三次元ノイズリダクション開始時点では複数のフレーム画像のうち例えば先頭の一枚のフレーム画像のみを表示しておく。次に、携帯情報端末は、図２８に示すように２枚分のフレーム画像を用い、それらフレーム画像の位置合わせを行った後、それらフレーム画像をブレンドする重ね合わせ処理により、当該二枚分のフレーム画像に三次元ノイズリダクション処理を施す。次に、携帯情報端末は、図２９に示すように３枚分のフレーム画像を用い、それら各フレーム画像の位置合わせを行った後、それら各フレーム画像をブレンドする重ね合わせ処理により、当該三枚分のフレーム画像に三次元ノイズリダクション処理を施す。

このように、本実施形態の携帯情報端末は、徐々にフレーム画像の枚数を増やしながら三次元ノイズリダクション処理を行い、それら処理により得られる中間画を順次表示し、全ての処理が完了した後は、その完了後の画像を表示するようなことが可能となされている。

図３０には、本実施形態の携帯情報端末において、ループ動画生成処理のうち位置合わせ処理とブレンド処理を用いた重ね合わせ処理により三次元ノイズリダクション処理を実行するとともに、その処理の中間画を表示する場合の主要部の概略構成を示す。なお、この図３０では、オリジナル動画像として例えばビデオデータＶＤを構成するフレーム画像が入力端子８１に供給された例を挙げている。また、図３０の構成において、画像処理部８３と表示画像生成部８５は、ハードウェアとして用意されてもよいし、本実施形態の繰り返し動画生成プログラムを実行することにより例えばＣＰＵ内に演算機能部として構成されるものであってもよい。

図３０において、入力端子８１には、入力ビデオデータＶＤが供給され、その入力ビデオデータＶＤは第一画像メモリ部８２へ入力する。

第一画像メモリ部８２は、制御部８７による書き込み／読み出しの制御の基で、入力ビデオデータを一時的に保持する。また、第一画像メモリ部８２は、後段の画像処理部８３での三次元ノイズリダクション処理の進展に応じて、その保持しているデータを当該画像処理部８３へ出力する。

画像処理部８３は、前述したループ動画生成処理を実行可能な構成である。この例の場合、画像処理部８３は、制御部８７による制御の基で、前述のように二枚、三枚等の複数枚のフレーム画像について位置合わせた後に重ね合わせる三次元ノイズリダクション処理を行う。そして、それら位置合わせ処理と重ね合わせ処理をそれぞれ一定単位の処理とし、当該一定単位の処理が完了する毎に、その一定単位の処理終了後の画像データＰＤと前記完了信号ＣＳを第二画像メモリ部８４へ出力する。

第二画像メモリ部８４は、表示画像生成部８５へ供給する表示フレーム画像用のバッファメモリであり、前記制御部８７による書き込み／読み出しの制御の基で、前段の画像処理部８３から出力される一定単位の処理終了後の中間画の画像データＰＤを蓄積するとともに、後段の表示画像生成部８５へ前記表示フレーム単位の中間画の画像データＦＰを出力する。

表示画像生成部８５は、制御部８７による制御の基、ディスプレイ表示に必要なフレーム単位の中間画の画像データＦＰを前記第二画像メモリ部８４から逐次読み出し、その画像データＦＰを出力端子８６から後段のディスプレイへ出力する。

これにより、本実施形態の場合、前記一定単位の各処理の完了毎に徐々に三次元ノイズリダクションされた画像が完成していく様子の画像がディスプレイ画面上に表示されることになる。

［ループ動画生成処理を用いた三次元ノイズリダクション処理された画像を生成して表示する場合の携帯情報端末のフローチャート］
図３１には、図３０の構成例において三次元ノイズリダクション処理による画像を生成して表示する処理のフローチャートを示す。なお本実施形態の場合、この図３１のフローチャートの処理は、本実施形態の繰り返し動画生成プログラムがＣＰＵにより実行されることで実現される。

この図３１のフローチャートにおいて、本実施形態のプログラム実行によりＣＰＵ内に形成された制御部８７は、ステップＳ１１１の処理として第一画像メモリ８２に入力ビデオデータＶＤを展開させる。

次に、ステップＳ１１２の処理として、例えばユーザからの指示操作等により三次元ノイズリダクション処理の実行指示がなされた場合、制御部８７は、ステップＳ１１３の処理として、前記表示画像生成部８５を制御して中間画の表示を開始させ、またステップＳ１１４の処理として、前記画像処理部８３を制御して、前記ループ動画生成処理の位置合わせ処理とブレンド処理による重ね合わせ処理を開始させる。

すなわち、制御部８７は、先ずステップＳ１１４にて、フレーム画像の重ね合わせ枚数に対応した変数（以下、画像枚数Ｄｉと表記する。）を設定し、画像処理部８３を制御して、画像枚数Ｄｉで示される枚数のフレーム画像についてそれぞれ位置合わせとブレンド処理を実行させる。

次に、制御部８７は、ステップＳ１１５の処理として、前記画像処理部８３による前記画像枚数Ｄｉの重ね合わせ処理が完了したか否か判断し、完了していない場合にはステップＳ１１６へ処理を進め、完了していない場合にはステップＳ１１８へ処理を進める。

ステップＳ１１８の処理に進むと、制御部８７は、第二画像メモリ部８４および表示画像生成部８５を制御して、前記重ね合わせ処理の三次元ノイズリダクション処理による中間画の表示更新を続ける。

そして、ステップＳ１１９において、制御部８７は、全ての三次元ノイズリダクション処理が完了したか否か判断し、完了した時にはステップＳ１２０へ処理を進め、一方、完了していない時にはステップＳ１１５へ処理を戻す。

また、前記ステップＳ１１５の判定処理において、前記画像枚数Ｄｉの重ね合わせ処理が完了したと判断してステップＳ１１６の処理に進むと、制御部８７は、前記画像枚数Ｄｉをインクリメントし、ステップＳ１１７へ処理を進める。

ステップＳ１１７の処理に進むと、制御部８７は、前記画像処理部８３を制御して、三次元ノイズリダクション処理が完了したところまでの中間画を生成させて、ステップＳ１１４へ処理を戻す。

また、ステップＳ１１９にて全ての三次元ノイズリダクション処理が完了したと判断してステップＳ１２０の処理に進むと、制御部８７は、第二画像メモリ部８４と表示画像生成部８５を制御して、前記中間画の表示処理を終了させる。

その後、制御部８７は、ステップＳ１２１の処理として、第二画像メモリ部８２と表示画像生成部８５を制御して、前記全ての三次元ノイズリダクション処理が完了した画像の表示処理を開始させる。

［ループ動画生成処理中およびそれが完了したことをユーザへ示す画面例］
図３２〜図３４には、前述した各実施形態において、ループ動画生成処理途中やその処理が完了した場合に、それをユーザへ明示するための画面例を示す。

図３２は、ループ動画生成処理の進行度合いを、ディスプレイ画面上で例えばインジケータ１４０のゲージ進行と％表示の数値１４１によりユーザへ明示するようにした場合の一例を示している。

図３３は、ループ動画生成処理の進行状態を、ディスプレイ画面の表示濃淡や透明度を変更するようなエフェクト表示により、ユーザへ明示するようにした場合の一例を示している。すなわちこの図３３の例では、処理開始時には図中（Ａ）のディスプレイ画面例のようにその画面表示濃度を薄くし、処理の進行中にはその進行度合いに応じて図中（Ｂ）のように徐々に画面表示濃度を濃くして行き、処理が完了した時には図中（Ｃ）のように画面表示濃度を最も濃くするようにする。

図３４は、ループ動画生成処理が完了した時に、ディスプレイ画面上に完了したことをユーザへ明示するメッセージ１４２を表示するようにした場合の一例を示している。なお、処理完了は、例えば音を鳴らしたり、バイブレータを作動させることでユーザへ通知してもよい。

［画像処理中の中間画を表示する携帯情報端末の詳細な構成］
図３５には、例えば前述した各実施形態で説明したようなループ動画生成処理等の所定の画像処理により得られる中間画を、ディスプレイ画面上に表示可能とした携帯情報端末の詳細な構成例を示す。

この図３５において、入力端子１０１は、前述したカメラ部やネットワーク、ストレージデバイス等からビデオデータ等が供給される。当該入力端子１０１に供給されたビデオデータ等は、画像データ受信部１０２にて受信される。

画像データ受信部１０２は、入力端子１０１から供給されたデータを、当該携帯情報端末内部で扱うデータ形式に変換する。また、画像データ受信部１０２は、当該変換したデータを、制御部１１２による制御の基、画像メモリ部１１４へ送る。

画像メモリ部１１４は、例えば前述した第一画像メモリ部、第二画像メモリ部、および、第三画像メモリ部に相当し、制御部１１２による制御の基で、前記画像データ受信部１０２により変換された入力ビデオデータを一時的に記憶し、また、中間画の記憶やディスプレイに表示するデータの記憶等を行う。

ユーザ操作入力部１１３は、本実施形態の携帯情報端末を扱うユーザにより操作され、当該ユーザから例えば前述したような待ち受け背景設定操作の指示入力やサムネイル画像表示の指示入力、三次元ノイズリダクション処理の指示入力等を取り込む。当該ユーザ操作部１１３に入力されたユーザ指示入力信号は、システムバスを介して制御部１１２へ送られる。これにより、制御部１１２は、例えば前述のような待ち受け背景設定操作の指示やサムネイル画像表示の指示、三次元ノイズリダクション処理の指示等が、ユーザから入力されたこと等を認識し、そのユーザからの入力指示に応じて前述したように各部を制御することができる。

画像処理部１００は、制御部１１２による制御の基で、画像メモリ部１１４からデータを読み出して、例えば前述したループ動画生成処理等の所定の画像処理を行った後、当該処理後のデータを前記画像メモリ部１１４へ書き戻す。また、画像処理部１００は、前記所定の画像処理の中間画のデータを画像メモリ部１１４へ出力しつつ、その中間画の表示に必要な情報ＩＰＩを表示画像生成部１１５へ通知する。そして、画像処理部１００は、全ての画像処理が完了すると、当該画像処理完了後のデータを画像メモリ部１１４に一旦保存すると共に、前記画像処理が完了したことを示す生成処理終了通知ＣＣＮを静止画コーデック部１１６へ送る。

静止画コーデック部１１６は、前記画像処理部１００から前記生成処理終了通知ＣＣＮを受け取ると、制御部１１２による制御の基で、前記画像処理完了後のデータを前記画像メモリ部１１４から読み出し、そのデータを例えば内蔵メモリ等の記憶再生部１１７へ記憶させる。

表示画像生成部１１５は、制御部１１２による制御の基、前記画像処理部１００にて前記画像処理が行われている時には、前記画像メモリ部１１４から前記中間画のデータを読み出してディスプレイへ表示するフレーム画像を生成する。また、表示画像生成部１１５は、現時点でディスプレイ上に表示しているフレームの時間的位置を画像処理部１００へ通知する。さらに、表示画像生成部１１５は、前記画像処理部１００による処理が完了した後は、制御部１１２による制御の基、前記静止画コーデック部１１６を通じて前記記憶再生部１１７から前記画像処理完了後のデータを読み出し、そのデータから前記ディスプレイへ表示するフレーム画像を生成する。

表示インターフェース部１１８は、前記表示画像生成部１１５から供給された表示フレームのデータを、当該携帯情報端末に接続されているディスプレイデバイスの仕様に応じて変換し、その変換後のデータを出力端子１１９を介してディスプレイデバイスへ出力する。

制御部１１２は、前述した各構成要素の制御とともに、本実施形態の携帯情報端末全体の動作を制御し、また必要に応じて種々の演算処理を行う。

［カメラ撮影されたビデオデータから繰り返し動画を生成して表示する携帯情報端末の具体的な構成］
図３６には、前述した各実施形態のうち、例えばオリジナル動画像としてカメラ部により撮影したビデオデータを用いて繰り返し動画を生成して表示する場合の携帯情報端末の具体的な構成例を示す。

この図３６において、レンズ１２１から画像変換部１２３までの構成は、前述したカメラ部の主要構成である。前記レンズ１２１は、被写体像およびその背景像等を撮像素子１２２の撮像面上に結像させる。撮像素子１２２は、その撮像面上に形成された被写体像およびその背景像等を光電変換してＲＡＷ（生）データを生成し、当該ＲＡＷデータを画像変換部１２３へ出力する。画像変換部１２３は、前記画像データ受信部１０２の一例であり、前記ＲＡＷデータをＲ（赤），Ｇ（緑），Ｂ（Ｂ）のデータへ変換する。なお、撮像素子１２２の前面にはＲＧＢフィルタ等も設けられるが、図３６ではそれらの図示を省略している。前記画像変換部１２３から出力されたＲＧＢデータは、画像メモリ部１３４へ送られる。

画像メモリ部３４は、例えば前述した図５や図１１，図１２等の第一画像メモリ部，第二画像メモリ部，第三画像メモリ部等に相当し、制御部１３２による制御の基で、前記画像変換部１２３からのＲＧＢデータを一時的に記憶し、また、中間画の記憶やディスプレイに表示するデータの記憶等を行う。

ユーザ操作入力部１３３は、本実施形態の携帯情報端末を扱うユーザにより操作され、当該ユーザから例えば前述したような待ち受け背景設定操作やフレームレート変更によるスライドショー画像の開始操作、パノラマ繰り返し動画の開始操作等の指示入力を取り込む。当該ユーザ操作部１３３に入力されたユーザ指示入力信号は、システムバスを介して制御部１３２へ送られる。これにより、制御部１３２は、例えば前述のような待ち受け背景設定操作の指示やフレームレート変更によるスライドショー画像の開始指示、パノラマ繰り返し動画の開始指示等が、ユーザから入力されたこと等を認識し、そのユーザからの入力指示に応じて前述したように各部を制御することができる。

ループ動画生成部１２０は、前述した各実施形態の画像処理部に相当し、制御部１３２による制御の基で、画像メモリ部１３４からデータを読み出して、前述したループ動画生成処理における位置合わせ処理、最適繰り返し区間検出処理、ループ化処理、ブレンド処理等を行う。当該ループ動画生成部１２０は、前記位置合わせ処理の際には入力ビデオデータの先頭からフレーム毎に画像を更新し、前記最適繰り返し区間検出処理とループ化処理では当該繰り返し区間の開始と終了のフレーム位置を表示画像生成部１３５へ通知する。また、ループ動画生成部１２０は、ブレンド処理の際にはフレンド処理を行う先頭位置からフレーム毎に画像を更新する。なお、フレーム画像を更新する時は、当該フレーム画像が現在ディスプレイに表示されているフレームでないことを確認して行う。そして、ループ動画生成部１２０は、それらループ動画生成処理後のデータを前記画像メモリ部１３４へ書き戻す。また、ループ動画生成部１２０は、前記ループ動画生成処理による中間画のデータを画像メモリ部１３４へ出力しつつ、その中間画の表示に必要な情報として前記繰り返し区間の開始と終了のフレーム位置を示す情報ＳＥＦＰを表示画像生成部１３５へ通知する。そして、ループ動画生成部１２０は、全てのループ動画生成処理が完了すると、当該処理完了後のデータを画像メモリ部１３４に一旦保存すると共に、当該処理が完了したことを示す生成処理終了通知ＣＣＮを静止画コーデック部１３６へ送る。

静止画コーデック部１３６は、前記ループ動画生成部１２０から前記生成処理終了通知ＣＣＮを受け取ると、制御部１３２による制御の基で、前記ループ動画生成処理完了後のデータを前記画像メモリ部１３４から読み出し、そのデータを例えば内蔵メモリ等の記憶再生部１３７へ記憶させる。

表示画像生成部１３５は、制御部１３２による制御の基、前記ループ動画生成部１２０によるループ動画生成処理開始直後は、前記画像メモリ部１３４からフレーム画像Ｆ１〜フレーム画像ＦＮのデータを繰り返し読み出してディスプレイ上に表示するフレーム画像を生成する。また、表示画像生成部１３５は、前記ループ動画生成部１２０にて前記ループ動画生成処理のループ化処理が終了した後は、前記最適繰り返し区間における開始フレームから終了フレームまでの中間画のデータを前記画像メモリ部１３４から読み出してディスプレイ上に表示するフレーム画像を生成する。なお、表示画像生成部１３５は、現時点でディスプレイ上に表示しているフレームの時間的位置をループ動画生成部１２０へ通知する。さらに、表示画像生成部１３５は、前記ループ動画生成部１２０による全ての処理が完了した後は、制御部１３２による制御の基、前記静止画コーデック部１３６を通じて前記記憶再生部１３７から前記ループ動画生成処理完了後のデータを読み出し、そのデータから前記ディスプレイへ表示するフレーム画像を生成する。

解像度変換部１３８は、前記表示インターフェース部１１８に相当し、前記表示画像生成部１３５から供給された表示フレーム画像のデータを、当該携帯情報端末に接続されているディスプレイデバイス１３９の解像度仕様に応じて変換し、その変換後のデータを前記ディスプレイデバイス１３９へ出力する。

制御部１３２は、前述した各構成要素の制御とともに、本実施形態の携帯情報端末全体の動作を制御し、また必要に応じて種々の演算処理を行う。

［総括］
以上説明したように本発明実施形態にかかる表示画像生成方法は、時間的及び／又は空間的に連続した複数枚の画像データを画像データ受信部が受信するステップと、前記受信された時間的及び／又は空間的に連続した複数枚の画像データから、画像処理部が、時間的及び／又は空間的に結合された一群の処理画像を生成するステップと、前記画像処理部による前記一群の処理画像の生成開始時点では、表示画像生成部が前記受信された前記時間的及び／又は空間的に連続した複数枚の画像データを画面上に表示させるステップと、前記画像処理部による前記一群の処理画像の生成過程で中間処理画像が生成されている時には、表示画像生成部が当該中間処理画像を画面上に継続的に表示させるステップと、前記画像処理部による前記一群の処理画像の生成が完了した後には、表示画像生成部が当該生成完了後の前記一群の処理画像を画面上に継続的に表示させるステップとを有している。

また、本実施形態の表示画像生成方法は、前記受信された各画像データが時間的に連続した画像データである時、前記画像処理部が、当該時間的に連続した複数枚の画像から類似した二つの画像及びそれら画像間の時間的に連続した複数枚の画像を抜き出すステップと、前記類似した二つの画像のうち時間的に前の画像を先頭画像とし時間的に後の画像を最後尾画像としてそれら前記先頭画像と最後尾画像を連結するステップと、前記先頭画像と最後尾画像及びそれら画像間の時間的に連続した複数枚の画像からなるループ画像を、前記一群の処理画像として生成するステップとを有する。

また、本実施形態の表示画像生成方法は、前記受信された各画像データが時間的に連続した画像データである時、画像処理部が、前記時間的に連続した複数枚の各画像から切り出した各小画像、若しくは前記複数枚の各画像を縮小した各小画像から、類似した二つの小画像及びそれら小画像間の時間的に連続した複数枚の小画像を抜き出すステップと、前記類似した二つの小画像のうち時間的に前の小画像を先頭小画像とし時間的に後の小画像を最後尾小画像としてそれら前記先頭小画像と最後尾小画像を連結するステップと、前記先頭小画像と最後尾小画像及びそれら小画像間の時間的に連続した複数枚の小画像からなるループ画像を前記一群の処理画像として生成するステップとを有する。

また、本実施形態の表示画像生成方法は、前記受信された各画像データが時間的に連続した画像データである時、前記画像処理部が、前記受信された時間的に連続した複数枚の画像から所定時間間隔毎の複数枚の画像を抜き出す処理を前記所定時間間隔を変更しながら逐次行うステップと、当該抜き出し処理毎の複数枚の画像から、類似した二つの画像及びそれら画像間の時間的に連続した複数枚の画像を抜き出すステップと、前記類似した二つの画像のうち時間的に前の画像を先頭画像とし時間的に後の画像を最後尾画像としてそれら前記先頭画像と最後尾画像を連結するステップと、前記先頭画像と最後尾画像及びそれら画像間の時間的に連続した複数枚の画像からなるループ画像を前記一群の処理画像として生成するステップとを有する。

なお、この場合、本実施形態の表示画像生成方法において、前記所定時間間隔は逐次短くなされ、前記一群の処理画像の生成が完了する際には前記画像データ受信部が前記複数枚の画像データを受信する際の時間間隔に一致する。

また、本実施形態の表示画像生成方法は、前記受信された各画像データが時間的に連続した画像データである時、前記画像処理部が、当該時間的に連続した複数枚の画像から一定時間分に連続した複数枚の画像を抜き出すステップと、前記一定時間分の連続した複数枚の画像の中で前の先頭の画像と時間的に最後尾の画像を連結するステップと、前記先頭画像と最後尾画像及びそれら画像間の時間的に連続した複数枚の画像からなるループ画像を前記一群の処理画像として生成するステップを有する。

また、本実施形態の表示画像生成方法は、前記受信された各画像データが時間的及び空間的に連続した画像データである時、前記画像処理部が、当該時間的及び空間的に連続した各画像からそれぞれ時間的及び空間的に重複した範囲の画像部分を抜き出すステップと、前記時間的及び空間的に重複した範囲の各画像部分のうち時間的に前の画像部分と時間的に後の画像部分を連結するステップと、前記時間的に前の画像部分と時間的に後の画像部分及びそれら画像部分間の時間的及び空間的に連続した各画像部分からなるループ画像を、前記一群の処理画像として生成するステップとを有する。

また、本実施形態の表示画像生成方法は、前記受信された各画像データが空間的に連続した画像データである時、前記画像処理部が、当該空間的に連続した各画像をそれぞれ空間的に重複した画像部分で重ね合わせて連結した画像を、前記一群の処理画像として生成するステップを有する。

また、本実施形態の表示画像生成方法は、前記画像処理部が、当該時間的及び／又は空間的に連続した各画像をそれぞれ重ね合わせた一枚の画像を、前記一群の処理画像として生成するステップを有する。

また、本実施形態の表示画像生成方法は、前記画像処理部による前記一群の処理画像の生成が完了した後には、当該生成完了後の前記一群の処理画像データを記憶部に保存するステップと、前記記憶部から読み出された前記一群の処理画像データを、前記表示画像生成部が画面上に継続的に表示させるステップとを有する。

次に、本発明実施形態の表示画像生成装置は、時間的及び／又は空間的に連続した複数枚の画像データを受信する画像データ受信部と、前記受信された時間的及び／又は空間的に連続した複数枚の画像データから、時間的及び／又は空間的に結合された一群の処理画像を生成する画像処理部と、前記画像処理部による前記一群の処理画像の生成開始時点では、前記受信された前記時間的及び／又は空間的に連続した複数枚の画像データを画面上に表示させ、前記画像処理部による前記一群の処理画像の生成過程で中間処理画像が生成されている時には、当該中間処理画像を画面上に継続的に表示させ、前記画像処理部による前記一群の処理画像の生成が完了した後には、当該生成完了後の前記一群の処理画像を画面上に継続的に表示させる表示画像生成部とを有する。

ここで、本実施形態の表示画像生成装置において、前記受信された各画像データが時間的に連続した画像データである時、前記画像処理部は、当該時間的に連続した複数枚の画像から類似した二つの画像及びそれら画像間の時間的に連続した複数枚の画像を抜き出し、前記類似した二つの画像のうち時間的に前の画像を先頭画像とし時間的に後の画像を最後尾画像としてそれら前記先頭画像と最後尾画像を連結し、前記先頭画像と最後尾画像及びそれら画像間の時間的に連続した複数枚の画像からなるループ画像を前記一群の処理画像として生成する。

また、本実施形態の表示画像生成装置において、前記受信された各画像データが時間的に連続した画像データである時、画像処理部は、前記時間的に連続した複数枚の各画像から切り出した各小画像、若しくは前記複数枚の各画像を縮小した各小画像から、類似した二つの小画像及びそれら小画像間の時間的に連続した複数枚の小画像を抜き出し、前記類似した二つの小画像のうち時間的に前の小画像を先頭小画像とし時間的に後の小画像を最後尾小画像としてそれら前記先頭小画像と最後尾小画像を連結し、前記先頭小画像と最後尾小画像及びそれら小画像間の時間的に連続した複数枚の小画像からなるループ画像を前記一群の処理画像として生成する。

また、本実施形態の表示画像生成装置において、前記受信された各画像データが時間的に連続した画像データである時、前記画像処理部は、前記受信された時間的に連続した複数枚の画像から所定時間間隔毎の複数枚の画像を抜き出す処理を前記所定時間間隔を変更しながら逐次行い、当該抜き出し処理毎の複数枚の画像から、類似した二つの画像及びそれら画像間の時間的に連続した複数枚の画像を抜き出し、前記類似した二つの画像のうち時間的に前の画像を先頭画像とし時間的に後の画像を最後尾画像としてそれら前記先頭画像と最後尾画像を連結し、前記先頭画像と最後尾画像及びそれら画像間の時間的に連続した複数枚の画像からなるループ画像を前記一群の処理画像として生成する。

なお、この場合において、前記所定時間間隔は逐次短くなされ、前記一群の処理画像の生成が完了する際には前記画像データ受信部が前記複数枚の画像データを受信する際の時間間隔に一致する。

また、本実施形態の表示画像生成装置において、前記受信された各画像データが時間的に連続した画像データである時、前記画像処理部は、当該時間的に連続した複数枚の画像から一定時間分に連続した複数枚の画像を抜き出し、前記一定時間分の連続した複数枚の画像の中で前の先頭の画像と時間的に最後尾の画像を連結し、前記先頭画像と最後尾画像及びそれら画像間の時間的に連続した複数枚の画像からなるループ画像を前記一群の処理画像として生成する。

また、本実施形態の表示画像生成装置において、前記受信された各画像データが時間的及び空間的に連続した画像データである時、前記画像処理部は、当該時間的及び空間的に連続した各画像からそれぞれ時間的及び空間的に重複した範囲の画像部分を抜き出し、前記時間的及び空間的に重複した範囲の各画像部分のうち時間的に前の画像部分と時間的に後の画像部分を連結し、前記時間的に前の画像部分と時間的に後の画像部分及びそれら画像部分間の時間的及び空間的に連続した各画像部分からなるループ画像を、前記一群の処理画像として生成する。

また、本実施形態の表示画像生成装置において、前記受信された各画像データが空間的に連続した画像データである時、前記画像処理部は、当該空間的に連続した各画像をそれぞれ空間的に重複した画像部分で重ね合わせて連結した画像を、前記一群の処理画像として生成する。

また、本実施形態の表示画像生成装置において、前記画像処理部は、当該時間的及び／又は空間的に連続した各画像をそれぞれ重ね合わせた一枚の画像を、前記一群の処理画像として生成する。

また、本実施形態の表示画像生成装置は、前記画像処理部による前記一群の処理画像の生成が完了した後には、当該生成完了後の前記一群の処理画像データを記憶部に保存し、前記記憶部から読み出された前記一群の処理画像データを、前記表示画像生成部が画面上に継続的に表示させる。

さらに、本実施形態の表示画像生成プログラム（繰り返し動画生成プログラム）は、時間的及び／又は空間的に連続した複数枚の画像データを受信する画像データ受信部と、前記受信された時間的及び／又は空間的に連続した複数枚の画像データから、時間的及び／又は空間的に結合された一群の処理画像を生成する画像処理部と、前記画像処理部による前記一群の処理画像の生成開始時点では、前記受信された前記時間的及び／又は空間的に連続した複数枚の画像データを画面上に表示させ、前記画像処理部による前記一群の処理画像の生成過程で中間処理画像が生成されている時には、当該中間処理画像を画面上に継続的に表示させ、前記画像処理部による前記一群の処理画像の生成が完了した後には、当該生成完了後の前記一群の処理画像を画面上に継続的に表示させる表示画像生成部として、コンピュータを機能させる。

また、本実施形態の記憶媒体は、時間的及び／又は空間的に連続した複数枚の画像データを受信する画像データ受信部と、前記受信された時間的及び／又は空間的に連続した複数枚の画像データから、時間的及び／又は空間的に結合された一群の処理画像を生成する画像処理部と、前記画像処理部による前記一群の処理画像の生成開始時点では、前記受信された前記時間的及び／又は空間的に連続した複数枚の画像データを画面上に表示させ、前記画像処理部による前記一群の処理画像の生成過程で中間処理画像が生成されている時には、当該中間処理画像を画面上に継続的に表示させ、前記画像処理部による前記一群の処理画像の生成が完了した後には、当該生成完了後の前記一群の処理画像を画面上に継続的に表示させる表示画像生成部としてコンピュータを機能させる表示画像生成プログラムを記憶してなる。

これらのことから、本実施形態においては、例えば撮影等により得られた動きの有る数秒程度の動画像から繰り返し動画を生成して表示する場合に、中間画等の繰り返し動画を再生しつつバックグラウンドで時間のかかる処理を行うことにより、処理能力が或る程度低い装置であっても、当該繰り返し画像の生成開始から略々リアルタイムに繰り返し画像の表示が可能となっている。また、本実施形態によれば、例えば携帯電話端末の待ち受け画面やいわゆるデジタルフォトフレーム向けに動きのある数秒位の繰り返し動画（例えばさざ波が寄せてくる様子や木の葉が風に揺れる様子）を作成及び表示する際に処理効率を向上させることができ、例えば撮影後の処理待ち時間を無くすことができる。

なお、本実施形態の携帯情報端末は、画像を表示可能なディスプレイパネルを備えた装置であれば、例えば高機能型携帯電話端末やタブレット端末或いはスレートＰＣの他、例えばいわゆるＰＤＡ（Personal Digital Assistant）やノート型パーソナルコンピュータ、携帯ゲーム機、携帯型ナビゲーション端末など携帯端末のみならず、据え置き型の様々な電子機器にも適用可能である。

また、前述した実施形態の説明は、本発明の一例である。このため、本発明は前述した実施形態に限定されることなく、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることはもちろんである。

さらに、本発明の請求項又は請求項と均等の範囲内にある限り、デザイン又はその他の要素によって種々の改変、組み合わせ、他の実施形態が生じうることは、当業者によって当然のことと理解される。

１，１１，２１，３１，４１，６１，７１，８１，１０１…入力端子、２，１２，２２，３２，４２，６２，７２，８２…第一画像メモリ部、３，１３，２３，７３，８３，１００…画像処理部、４，１４，２４，３５，４５，６４，７４，８４…第二画像メモリ部、５，１５，２５，３７，４８，６５，７５，８５，１１５，１３５…表示画像生成部、６，１６，２６，３８，４９，６６，７６，８６，１１９…出力端子、７，１７，２７，３９，５０，６７，７７，８７，１１２，１３２…制御部、３３，４４…第一画像処理部、３４，４３…第二画像処理部、４６…第三画像処理部、３６，４７…第三画像メモリ部、１０２…画像データ受信部、１１３，１３３…ユーザ操作入力部、１１６，１３６…静止画コーデック部、１１７，１３７…記憶再生部、１１８…表示インターフェース部、１２０…ループ動画生成部、１２１…レンズ、１２２…撮像素子、１２３…画像変換部、１３８…解像度変換部、１３９…ディスプレイデバイス

Claims (1)

1. 時間的及び／又は空間的に連続した複数枚の画像データを画像データ受信部が受信し、
   前記受信された時間的及び／又は空間的に連続した複数枚の画像データから、画像処理部が、時間的及び／又は空間的に結合された一群の処理画像を生成し、
   前記画像処理部による前記一群の処理画像の生成開始時点では、表示画像生成部が、前記受信された前記時間的及び／又は空間的に連続した複数枚の画像データを画面上に表示させ、
   前記画像処理部による前記一群の処理画像の生成過程で中間処理画像が生成されている時には、表示画像生成部が、当該中間処理画像を画面上に継続的に表示させ、
   前記画像処理部による前記一群の処理画像の生成が完了した後には、表示画像生成部が、当該生成完了後の前記一群の処理画像を画面上に継続的に表示させる表示画像生成方法。