JP2005252753A - 画像処理装置、位置ずれ記憶方法、及びシーン記憶方法 - Google Patents

Abstract

【課題】 複数の画像から、パンシーンやパノラマ画像を生成することができるシーンを特定するために、動画像の再生や静止画像の表示を行って確認しなければならず、手間が掛かっていた。
【解決手段】 時系列に隣り合う２つのフレーム画像間の位置ずれ量を推定し、推定した位置ずれ量を、時系列上で後となるフレーム画像のフレーム番号と共に位置ずれ情報として記憶しておく。この位置ずれ情報を用い、位置ずれ量が左右に連続するフレーム番号を特定してパンシーンを特定し、また、位置ずれ量から推定されるデジタルビデオカメラの動き量を順次足し合わせてしきい値と比較して、パノラマ画像を生成することができるシーンを特定する。そして、特定した各シーンの開始及び終了フレーム番号を、それぞれ記憶しておく。この記憶された開始及び終了フレーム番号を確認することで、パンシーンやパノラマ画像を生成することができるシーンを、簡易に特定することができる。
【選択図】 図１

Description

本発明は、動画像等の複数の画像から成る画像群から、時系列に並んだ一連の画像群として、パンもしくはチルトと呼ばれるカメラワークで撮影された画像群や、パノラマ画像または縦長画像などの合成画像を生成することができる画像群を、簡易に特定することが可能な技術に関する。

従来、動画像等の複数の画像から成る画像群から、パノラマ画像を生成し、生成したパノラマ画像を表示または印刷したいという要望があった。一般に、パノラマ画像は、デジタルビデオカメラ等の撮影装置を左右のいずれかの方向に移動させる、いわゆるパンと呼ばれるカメラワークで撮影された複数の画像を合成して生成されるので、まず、複数の時系列に並んだ一連の画像群（以下、「シーン」と呼ぶ）として、パンで撮影されたシーン（以下、「パンシーン」と呼ぶ）を特定する必要があった。そして、更に、この特定したパンシーンから、所望の大きさのパノラマ画像を生成することができるシーンを特定する必要があった。
なお、複数の画像からパノラマ画像を生成して印刷する方法の一例として、下記の特許文献に記載されたものが知られている。

特開２０００−２９５４６０号公報

従来、動画像等の複数の画像から成る画像群から、前述のパンシーンや、パノラマ画像を生成することができるシーンを特定するためには、動画像を再生したり、静止画像を表示して、ユーザが確認しなければならず、手間が掛かるという問題があった。
以上の課題は、横長のパノラマ画像を生成する場合だけでなく、縦長の画像を生成する場合にもあった。すなわち、縦長画像を生成する場合には、パンシーン及びパノラマ画像を生成することができるシーンではなく、撮影装置を上下のいずれかの方向に移動させる、いわゆるチルトと呼ばれるカメラワークで撮影されたシーン（以下、「チルトシーン」と呼ぶ）や、縦長画像を生成することができるシーンを特定する必要があり、そのようなシーンを特定するのにも手間が掛かるという問題があった。
本発明は、従来技術における前述の課題を解決するためになされたものであり、複数の画像から成る画像群から、パンもしくはチルトシーンなどのカメラワークシーン、またはパノラマ画像もしくは縦長画像などの合成画像を生成することができるシーン（以下、「合成画像生成可能シーン」と呼ぶ）を、簡易に特定することが可能な技術を提供することを目的とする。

前述の課題の少なくとも一部を解決するために、本発明の画像処理装置は、時系列に並んだ複数の画像から成る画像群から、各画像間の位置ずれ量をそれぞれ推定する位置ずれ量推定部と、推定した前記位置ずれ量を、前記画像群における各画像の時系列上の位置と対応付けて、それぞれ記憶する記憶部と、を備えることを要旨とする。

このようにすれば、記憶された位置ずれ量を用いて、画像群からパンもしくはチルトシーンなどのカメラワークシーン、またはパノラマ画像もしくは縦長画像などの合成画像を生成することができる合成画像生成可能シーンを特定することができる。従って、ユーザは、画像群を再生したり表示したりして確認せずに、簡易にこれらシーンを特定することができる。

また、本発明の画像処理装置は、時系列に並んだ複数の画像から成る画像群における、各画像間の位置ずれ量を、各画像の時系列上の位置と対応付けて表す位置ずれ情報に基づいて、前記画像群において、前記位置ずれ量が略一定方向の位置ずれを示す画像が複数ほぼ連続している箇所を、所定のカメラワークシーンとして特定するシーン特定部と、特定した前記カメラワークシーンの、前記画像群における時系列上の位置を記憶する記憶部と、を備えることを要旨とする。

静止した被写体を撮影装置で撮影した場合、撮影された各画像間の位置ずれは、撮影装置の動きにのみ起因して生じることになる。従って、位置ずれ量が略一定方向の位置ずれを示す画像が複数ほぼ連続している箇所を特定することで、撮影装置の動き量が略一定方向の動きを示す画像群、すなわち、パン，チルトなど所定のカメラワークで撮影されたシーンを特定することができる。そして、この特定したカメラワークシーンの、前記画像群における時系列上の位置を記憶することで、ユーザは、この記憶された時系列上の位置を確認することにより、カメラワークシーンを簡易に特定することができる。

なお、前述のカメラワークシーンは、パンシーンもしくはチルトシーンであってもよい。合成画像生成可能シーンを、更に特定し易くなるからである。

また、本発明の画像処理装置は、時系列に並んだ複数の画像から成る画像群における、各画像間の位置ずれ量を、各画像の時系列上の位置と対応付けて表す位置ずれ情報に基づいて、前記画像群において、前記位置ずれ量が略一定方向の位置ずれを示す画像が複数ほぼ連続し、かつ、それら複数の画像間の前記位置ずれ量の合計量が所定量以上となる箇所を、合成画像生成可能シーンとして特定するシーン特定部と、特定した前記合成画像生成可能シーンの、前記画像群における時系列上の位置を記憶する記憶部と、を備えることを要旨とする。

合成画像は、略一定方向にずれた複数の画像を重ね合わせて生成することができる。そして、このようにして生成される合成画像の大きさは、各画像の略一定方向のずれ量を合計した合計量に基づいて算出される。従って、この合計量に対して予め目標量を定めておき、前述ように、位置ずれ量が略一定方向の位置ずれを示す画像が複数ほぼ連続し、かつ、それら複数の画像間の位置ずれ量の合計量が、この目標量以上となる箇所を特定することで、所望の大きさの合成画像を生成することができるシーン（合成画像生成可能シーン）を特定することができる。
そして、この特定した合成画像生成可能シーンの、前記画像群における時系列上の位置を記憶することで、ユーザは、この記憶された時系列上の位置を確認することにより、合成画像生成可能シーンを簡易に特定することができる。

また、前記記憶部は、前記合成画像生成可能シーンの、前記画像群における時系列上の位置と共に、少なくとも、前記合計量を表す情報を併せて記憶することが好ましい。
このようにすることで、ユーザは、記憶された合計量を表す情報を確認することにより、特定した合成画像生成可能シーンから生成することができる合成画像の大きさを、実際に合成画像を生成せずに簡易に確認することができる。
なお、上記した画像群は、動画像であってもよい。

なお、本発明は、以下に示すような種々の態様で実現することが可能である。
（１） 位置ずれ記憶方法及びシーン記憶方法
（２）上述の画像処理装置や、位置ずれ記憶方法及びシーン記憶方法を実現するためのコンピュータプログラム。

本発明をコンピュータプログラムまたはそのプログラムを記録した記録媒体として構成する場合には、上述の画像処理装置の動作を制御するプログラム全体として構成するものとしてもよいし、本発明の機能を果たす部分のみを構成するものとしてもよい。また、記録媒体としては、フレキシブルディスクやＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ／ＲＡＭ、光磁気ディスク、ＩＣカード、メモリカード、磁気テープ、ＲＯＭカートリッジ、パンチカード、バーコードなどの符号が印刷された印刷物、コンピュータの内部記憶装置（ＲＡＭやＲＯＭなどのメモリ）および外部記憶装置などコンピュータが読み取り可能な種々の媒体を利用できる。

以下、本発明を実施するための最良の形態を実施例に基づいて以下の順序で説明する。
Ａ．実施例：
Ａ１．装置構成：
Ａ２．具体的な動作：
Ａ２−１．位置ずれ量推定及び記憶処理：
Ａ２−２．パン／チルトシーン特定及び記憶処理：
Ａ２−３．パノラマ／縦長サブシーン特定及び記憶処理：
Ａ３．実施例の効果：
Ｂ．変形例：
Ｂ１．変形例１：〜Ｂ１０．変形例１０：

Ａ．実施例：
Ａ１．装置構成：
本実施例における画像処理装置の概要構成について、図１を用いて説明する。
図１は、本実施例における画像処理装置の概要構成を示す説明図である。画像処理装置１０は、コンピュータ１００と、コンピュータ１００にデータを入力するための装置として、キーボード１１３，マウス１１４，及びＤＶＤドライブ１１０と、画像等を出力する装置として、ディスプレイ１１２，及びプリンタ１１１と、を備えている。
ＤＶＤドライブ１１０は、挿入されるＤＶＤ１１０ａに記録されている動画像データを読み出すことができる。
コンピュータ１００は、ＣＰＵ１０１，ハードディスク１０２，メモリ１０３，及び入出力インタフェース部１０４を備えており、それぞれ内部バス１０５によって接続されている。ここで、入出力インタフェース部１０４は、コンピュータ１００に対して、前述のキーボード１１３，マウス１１４，ＤＶＤドライブ１１０，ディスプレイ１１２，及びプリンタ１１１を、それぞれ接続するためのインタフェース群からなる。

コンピュータ１００では、所定のオペレーティングシステムの下、アプリケーションプログラム１０２ｐが実行されることになる。なお、このオペレーティングシステムには、各種ドライバが組み込まれ、前述のキーボード１１３，マウス１１４，ＤＶＤドライブ１１０，ディスプレイ１１２，及びプリンタ１１１が制御される。このアプリケーションプログラム１０２ｐが起動され、メモリ１０３にロードされると、ＣＰＵ１０１は、アプリケーションプログラム１０２ｐを実行することにより、位置ずれ量推定部１０１ａ，パン／チルトシーン特定部１０１ｂ，サブシーン特定部１０１ｃ，及び表示処理部１０１ｄとして機能することになる。
ハードディスク１０２には、前述のアプリケーションプログラム１０２ｐの他、動画像データ１０２ａ，位置ずれ情報１０２ｂ，規定シーン情報１０２ｃ，パン／チルトシーン情報１０２ｄ，及びサブシーン情報１０２ｅが記憶される。なお、これらの記憶される情報については、後ほど説明する。

なお、位置ずれ量推定部１０１ａは、請求項に記載の位置ずれ量推定部に該当し、パン／チルトシーン特定部１０１ｂ及びサブシーン特定部１０１ｃは、請求項記載のシーン特定部に該当する。

Ａ２．具体的な動作：
Ａ２−１．位置ずれ量推定及び記憶処理：
まず、位置ずれ量推定及び記憶処理について、図１〜図４を用いて説明する。
図２は、本実施例における位置ずれ量推定及び記憶処理の手順を示すフローチャートである。この位置ずれ量推定及び記憶処理が実行される前に、ＤＶＤ１１０ａに保存されている動画像データ１０２ａが、ＤＶＤドライブ１１０を介してハードディスク１０２に書き込まれ、記憶されているものとする。
この動画像データ１０２ａは、複数のフレーム画像データからなる。なお、このフレーム画像データは、動画像の１コマに相当する静止画像（フレーム画像）を表す。
なお、動画像データ１０２ａの表す動画像は、静止した被写体をデジタルビデオカメラ（図示省略）を動かしながら撮影した動画像であるものとする。

まず、図１に示す位置ずれ量推定部１０１ａは、ハードディスク１０２に記憶されている動画像データ１０２ａを読み出して、メモリ１０３に記憶させる（ステップＳ２００）。
続いて、位置ずれ量推定部１０１ａは、フレーム番号を示す変数ｋに初期値１を代入する（ステップＳ２０２）。フレーム番号とは、動画像データ１０２ａにおける、各フレーム画像データの時系列上での順番を意味し、最初のフレーム画像データから順番に１，２，...と、位置ずれ量推定部１０１ａにより定められる番号である。
なお、以下、フレーム番号ｎ（ｎ＝１，２，...）のフレーム画像を、フレーム画像Ｆ（ｎ）と表すものとする。

続いて、位置ずれ量推定部１０１ａは、フレーム番号ｋ及びｋ＋１のフレーム画像データを、それぞれメモリ１０３に記憶させた動画像データ１０２ａから抽出する（ステップＳ２０４）。
続いて、位置ずれ量推定部１０１ａは、抽出したフレーム画像データの表すフレーム画像Ｆ（ｋ）及びフレーム画像Ｆ（ｋ＋１）を、それぞれ基準フレーム画像及び対象フレーム画像と定めて、基準フレーム画像に対する対象フレーム画像の位置ずれ量を推定する（ステップＳ２０６）。ここで、位置ずれ量について、図３を用いて説明する。

図３は、本実施例における位置ずれ量を示す説明図である。図３において（Ａ）は、抽出されたフレーム画像Ｆ（ｋ）とフレーム画像Ｆ（ｋ＋１）とを示し、（Ｂ）は、フレーム画像Ｆ（ｋ）とフレーム画像Ｆ（ｋ＋１）とを、画像全体が一致するように重ね合わせた状態を示し、（Ｃ）は、フレーム画像Ｆ（ｋ）に対してフレーム画像Ｆ（ｋ＋１）を、フレーム画像Ｆ（ｋ）及びＦ（ｋ＋１）を撮影した際のデジタルビデオカメラ（図示省略）の動き量だけずらして重ね合わせた状態を示す。

図３において、凸型の図形は、フレーム画像Ｆ（ｋ）及びＦ（ｋ＋１）に写し出された被写体を示す。なお、図３（Ｂ）において、フレーム画像Ｆ（ｋ）に写し出された凸型の被写体を分かり易く示すため、その輪郭を破線で示している。

フレーム画像Ｆ（ｋ）及びＦ（ｋ＋１）は、デジタルビデオカメラを動かしながら撮影されているので、図３（Ｂ）に示すように、フレーム画像Ｆ（ｋ）及びＦ（ｋ＋１）を重ね合わせると、図３（Ｂ）の太線の矢印に示すように、フレーム画像Ｆ（ｋ＋１）に写し出された凸型の被写体は、フレーム画像Ｆ（ｋ）に写し出された凸型の被写体に対して位置がずれることになる。以下において、このずれを「位置ずれ」と呼ぶものとする。
そして、図３（Ｂ）に示すように、Ｘ−Ｙ座標系を定めるものとして、この位置ずれの量を、以下のように表すものとする。すなわち、位置ずれ量のＸ方向の成分をｕとし、Ｙ方向の成分をｖとし、位置ずれ量（ｕ，ｖ）と表す。なお、以下、位置ずれ量のＸ方向の成分ｕを「横ずれ量ｕ」、位置ずれのＹ方向成分ｖを「縦ずれ量ｖ」と呼ぶ。
この位置ずれ量（ｕ，ｖ）は、画像間のずれを推定する一般的な手法である、パターンマッチ法や勾配法等により推定されるものとする。

なお、この位置ずれは、凸型の被写体が静止しているので、デジタルビデオカメラの動きにのみ起因して生じる。従って、フレーム画像Ｆ（ｋ）及びフレーム画像Ｆ（ｋ＋１）を撮影した際のデジタルビデオカメラの動き量は、横ずれ量ｕ及び縦ずれ量ｖの符号をそれぞれ反転させた（−ｕ，−ｖ）と表される。そして、フレーム画像Ｆ（ｋ＋１）をフレーム画像Ｆ（ｋ）に対して、このデジタルビデオカメラの動き量（−ｕ，−ｖ）だけずらして重ねると、図３（Ｃ）に示すように、それぞれのフレーム画像に写し出された凸型の被写体は一致することになる。

続いて、位置ずれ量推定部１０１ａは、ステップＳ２０６で推定した位置ずれ量（ｕ，ｖ）を、対象フレーム画像Ｆ（ｋ＋１）のフレーム番号であるｋ＋１と共に、位置ずれ情報１０２ｂとしてメモリ１０３に記憶させる（ステップＳ２０８）。

続いて、位置ずれ量推定部１０１ａは、フレーム番号ｋ＋１のフレーム画像データが、動画像データ１０２ａにおける最後のフレーム画像データであるか否かを判定する（ステップＳ２１０）。最後のフレーム画像データでないと判定した場合には、位置ずれ量推定部１０１ａは、変数ｋの値を１増加する（ステップＳ２１２）。
そして、ステップＳ２１０において、最後のフレーム画像データであると判定するまで、位置ずれ量推定部１０１ａは、ステップＳ２０４〜ステップＳ２１２の処理を繰り返し実行する。

ステップＳ２１２において、変数ｋの値を１ずつ増加することにより、位置ずれ量推定部１０１ａは、ステップＳ２０６において、基準フレーム画像及び対象フレーム画像の組み合わせを、フレーム画像Ｆ（１）及びＦ（２）、フレーム画像Ｆ（２）及びＦ（３）、...と、最後のフレーム画像が対象フレーム画像となる組み合わせになるまで、順次ずらして定めることになる。
従って、ステップＳ２１０において、フレーム番号ｋ＋１のフレーム画像データが、最後のフレーム画像データであると判定した場合、メモリ１０３には、動画像を構成する全てのフレーム画像について、それぞれ隣り合うフレーム画像間の位置ずれ量（ｕ，ｖ）が、フレーム番号ｋ＋１と対応して、位置ずれ情報１０２ｂとして記憶されていることになる。

ここで、位置ずれ情報１０２ｂについて、図４を用いて説明する。図４は、本実施例における位置ずれ情報１０２ｂを示す説明図である。本実施例では、動画像データ１０２ａは、２０００枚のフレーム画像のフレーム画像データからなるものとする。従って、位置ずれ情報１０２ｂとしては、例えば、フレーム画像Ｆ（１）に対するフレーム画像Ｆ（２）の位置ずれ量（−３，−２）が、フレーム番号２と対応するように、フレーム番号２０００までの各フレーム画像間の位置ずれ量が、それぞれの位置ずれ量を推定する際に対象フレーム画像と定められた、フレーム画像Ｆ（ｋ＋１）のフレーム番号ｋ＋１と対応して、メモリ１０３に記憶されることになる。

その後、ステップＳ２１０において、フレーム番号ｋ＋１のフレーム画像データが、最後のフレーム画像データであると判定した場合、位置ずれ量推定部１０１ａは、メモリ１０３に記憶させた位置ずれ情報１０２ｂを読み出して、ハードディスク１０２に書き込んで記憶させる（ステップＳ２１４）。
そして、ステップＳ２１４が終了すると、位置ずれ量推定及び記憶処理は終了する。

Ａ２−２．パン／チルトシーン特定及び記憶処理：
パン／チルトシーンは、デジタルビデオカメラを左右／上下のいずれかの方向に移動させながら撮影された、時系列に並んだ一連のフレーム画像群である。ここで、前述のように、位置ずれ量を（ｕ，ｖ）とすると、デジタルビデオカメラの動き量は、（−ｕ，−ｖ）となるので、横ずれ量ｕが、＋Ｘ方向または−Ｘ方向に連続するフレーム群を特定することで、デジタルビデオカメラを左または右に移動させながら撮影したパンシーンを特定することができる。また、同様にして、縦ずれ量ｖが、＋Ｙ方向または−Ｙ方向に連続するフレーム群を特定することで、デジタルビデオカメラを上または下に移動させながら撮影したチルトシーンを特定することができる。
本実施例では、このようにしてパン／チルトシーンを特定し、特定したパン／チルトシーンに係わる情報をハードディスク１０２に記憶する。以下、パン／チルトシーン特定及び記憶処理について、図１及び図４〜７を用いて詳細を説明する。
なお、図３に示す、フレーム画像Ｆ（ｋ）及びＦ（ｋ＋１）のように、２枚のフレーム画像から成るフレーム画像群もシーンと呼ぶことができるが、本実施例においては、各シーンは、３枚以上のフレーム画像からなるものとする。

図５は、本実施例におけるパン／チルトシーン特定及び記憶処理の手順を示すフローチャートである。

まず、図１に示すパン／チルトシーン特定部１０１ｂは、ハードディスク１０２に記憶された動画像データ１０２ａを読み出して、メモリ１０３に記憶させる（ステップＳ３００）。
続いて、パン／チルトシーン特定部１０１ｂは、メモリ１０３に記憶させた動画像データ１０２ａの表す動画像を規定シーンに分割して、各規定シーンの規定シーン番号及び開始／終了フレーム番号を、規定シーン情報１０２ｃとしてメモリ１０３に記憶させる（ステップＳ３０２）。

ここで、規定シーン分割とは、例えば、山を撮影したシーンから海を撮影したシーンに切り替わるような場合、このシーンの切り替わりを特定し、それぞれのシーンを規定シーンとして、動画像を分割しておくものである。
なお、動画像を規定シーンに分割する方法としては、以下のようなシーン分割方法を用いるものとする。すなわち、動画像データ１０２ａに基づき、それぞれのフレーム画像の各画素値の平均値を求め、時系列に並んだ２つのフレーム画像について、この求めた各画素値の平均値の差分を、更に求める。そして、この求めた各画素値の平均値の差分が、或るしきい値以上となった場合に、この差分が求められた２つのフレーム画像間を、シーンの切り替わりと特定し、この２つのフレーム画像を、規定シーンの終了フレーム画像、及び次の規定シーンの開始フレーム画像とする。
なお、規定シーン番号は、規定シーンに分割された順番に１，２，...と、パン／チルトシーン特定部１０１ｂにより定められる番号である。

ここで、規定シーン情報１０２ｃについて、図６を用いて説明する。図６は、本実施例における規定シーン情報１０２ｃを示す説明図である。本実施例では、前述の規定シーン分割により、動画像データ１０２ａの表す動画像が５つの規定シーンに分割されたものとする。従って、図６に示すように、この５つの規定シーンについて、それぞれ規定シーン番号及び開始／終了フレーム番号が、規定シーン情報１０２ｃとしてメモリ１０３に記憶される。

続いて、パン／チルトシーン特定部１０１ｂは、メモリ１０３に記憶させた規定シーン情報１０２ｃを、ハードディスク１０２に書き込み、記憶させる（ステップＳ３０４）。
続いて、パン／チルトシーン特定部１０１ｂは、ハードディスク１０２に記憶させた、位置ずれ情報１０２ｂ及び規定シーン情報１０２ｃを読み出して、メモリ１０３に記憶させる（ステップＳ３０６）。

続いて、パン／チルトシーン特定部１０１ｂは、規定シーン番号を示す変数ｉに、初期値１を代入する（ステップＳ３０８）。
続いて、パン／チルトシーン特定部１０１ｂは、ｉ番目の規定シーンにおいて、パンシーンを特定する（ステップＳ３１０）。以下、ステップＳ３１０の処理について、図４及び図６を用いて具体的に説明する。

パン／チルトシーン特定部１０１ｂは、まず、ｉ番目の規定シーンの開始及び終了フレーム番号を、規定シーン情報１０２ｃから得る。最初にステップＳ３１０を実行する時には、ｉ＝１であるので、１番目の規定シーンについて、図６に示す規定シーン情報１０２ｃから、その開始及び終了フレーム番号である、１及び３４０を得ることになる。
次に、パン／チルトシーン特定部１０１ｂは、ｉ番目の規定シーンに対応した横ずれ量ｕを、位置ずれ情報１０２ｂから特定する。前述のように、ｉ＝１の場合、１番目の規定シーンの開始フレーム番号は１であるが、フレーム画像Ｆ（１）に対するフレーム画像Ｆ（２）の位置ずれ量は、図４に示すように、フレーム番号２と対応して記憶されている。従って、１番目の規定シーンに対応した横ずれ量ｕとして、図４に示す位置ずれ情報１０２ｂから、フレーム番号２からフレーム番号３４０までの横ずれ量ｕである、−３，−４，...−６を特定する。

次に、パン／チルトシーン特定部１０１ｂは、特定した横ずれ量ｕの中で、＋Ｘ方向（プラス）の値または０が２つ以上連続する、もしくは−Ｘ方向（マイナス）の値または０が２つ以上連続する、複数の横ずれ量ｕを検索する。従って、ｉ＝１の場合、フレーム番号２からフレーム番号３４０までの横ずれ量ｕにおいて、フレーム番号２からフレーム番号７までの横ずれ量ｕは、図４に示すように、いずれもマイナスの値または０であるので、このフレーム番号２からフレーム番号７の横ずれ量ｕを、最初に見つけることになる。
そして、この見つけたフレーム番号２からフレーム番号７までの横ずれ量ｕに対応した、フレーム画像Ｆ（１）〜フレーム画像Ｆ（７）を、最初のパンシーンであると特定する。
以下同様にして、ｉ番目の規定シーンにおいて、全てのパンシーンを特定する。

続いて、パン／チルトシーン特定部１０１ｂは、ｉ番目の規定シーンにおいて、ステップＳ３１０で特定した全てのパンシーンに関し、それぞれ、そのパンシーンの開始及び終了フレーム番号を、パン／チルトシーン番号及びパンフラグと共に、パン／チルトシーン情報１０２ｄとしてメモリ１０３に記憶させる（ステップＳ３１２）。ここで、パン／チルトシーン番号とは、パンシーンまたはチルトシーンが特定された順番に１，２，...とパン／チルトシーン特定部１０１ｂにより定められる番号であり、パンフラグとは、特定されたシーンがパンシーンであることを示す識別子である。

続いて、パン／チルトシーン特定部１０１ｂは、ｉ番目の規定シーンにおいて、チルトシーンを特定する（ステップＳ３１４）。チルトシーンを特定する方法としては、パンシーンを特定する方法と同様であるので、詳細な説明を省略する。

続いて、パン／チルトシーン特定部１０１ｂは、ステップＳ３１４で特定したチルトシーンの開始及び終了フレーム番号を、パン／チルトシーン番号及びチルトフラグと共に、パン／チルトシーン情報１０２ｄとしてメモリ１０３に記憶させる（ステップＳ３１６）。ここで、チルトフラグとは、特定されたシーンがチルトシーンであることを示す識別子である。

続いて、パン／チルトシーン特定部１０１ｂは、ｉ番目の規定シーンが、最後の規定シーンであるか否かを判定する（ステップＳ３１８）。最後の規定シーンでないと判定した場合には、パン／チルトシーン特定部１０１ｂは、変数ｉの値を１増加する（ステップＳ３２０）。
そして、ステップＳ３１８において、ｉ番目の規定シーンが最後の規定シーンであると判定するまで、パン／チルトシーン特定部１０１ｂは、ステップＳ３１０〜ステップＳ３２０の処理を繰り返し実行する。従って、パン／チルトシーン特定部１０１ｂは、全ての規定シーンについて、パン／チルトシーンを特定し、それぞれのパン／チルトシーンについてパン／チルトシーン番号，パン／チルトフラグ，及び開始／終了フレーム番号を、パン／チルトシーン情報１０２ｄとして、メモリ１０３に記憶させることになる。

ここで、パン／チルトシーン情報１０２ｄについて、図７を用いて説明する。図７は、本実施例におけるパン／チルトシーン情報１０２ｄを示す説明図である。なお、図７に示すＰ及びＣは、それぞれパンフラグＰ及びチルトフラグＣを示す。
本実施例では、図６に示す５つの規定シーンから、それぞれ１つずつパンもしくはチルトシーンが特定されたものとする。この場合、図７に示すように、特定された５つのパン／チルトシーンについて、それぞれパン／チルトシーン番号，パン／チルトフラグ，及び開始／終了フレーム番号が、パン／チルトシーン情報１０２ｄとして、メモリ１０３に記憶されることになる。例えば、前述の１番目の規定シーンで最初に特定されたフレーム画像Ｆ（１）〜フレーム画像Ｆ（７）のパンシーンについては、パン／チルトシーン番号＝１、パンフラグＰ、開始フレーム番号＝１、及び終了フレーム番号＝７と記憶されている。

ステップＳ３１８において、ｉ番目の規定シーンが最後の規定シーンであると判定すると、パン／チルトシーン特定部１０１ｂは、メモリ１０３に記憶させたパン／チルトシーン情報１０２ｄを読み出して、ハードディスク１０２に書き込んで記憶させる（ステップＳ３２２）。
そして、ステップＳ３２２が終了すると、パン／チルトシーン特定及び記憶処理は終了する。

Ａ２−３．パノラマ／縦長サブシーン特定及び記憶処理：
前述したパンシーンまたはチルトシーンに含まれる複数のフレーム画像を合成することにより、パノラマ画像または縦長画像を生成することができる。しかし、生成されるパノラマ画像または縦長画像の大きさは、フレーム画像同士の重なり具合によって異なる。そこで、所望の大きさのパノラマ画像または縦長画像を得るためには、パンシーンまたはチルトシーンから、合成画像生成可能シーンを特定する必要がある。
なお、以下において、所望の大きさのパノラマ画像を生成することができる合成画像生成可能シーンを「パノラマサブシーン」と呼び、所望の大きさの縦長画像を生成することができる合成画像生成可能シーンを「縦長サブシーン」と呼ぶものとする。
まず、パンシーンに含まれる複数のフレーム画像を合成して生成されるパノラマ画像の大きさについて、図８を用いて説明する。

図８は、本実施例におけるパンシーンに含まれる３枚のフレーム画像から合成して生成されるパノラマ画像の大きさを示す説明図である。
図８において、（Ａ）は、デジタルビデオカメラを動かして撮影した動画像のうち、フレーム画像Ｆ（ｋ）及びＦ（ｋ＋１）の連続する２枚のフレーム画像を、図３（Ｃ）に示した場合と同様に、フレーム画像Ｆ（ｋ）に対して、フレーム画像Ｆ（ｋ＋１）を、デジタルビデオカメラの動き量だけずらして重ねた状態を示す。また、図８において（Ｂ）は、（Ａ）に示すフレーム画像Ｆ（ｋ）及びＦ（ｋ＋１）に対し、更に、フレーム画像Ｆ（ｋ＋２）をデジタルビデオカメラの動き量だけずらして重ねた状態を示す。

図８において、フレーム画像Ｆ（ｋ）及びＦ（ｋ＋１）を撮影した際のデジタルビデオカメラの動き量を、動き量Ｍ１（ｒ１，ｓ１）とし、フレーム画像Ｆ（ｋ＋１）及びＦ（ｋ＋２）を撮影した際のデジタルビデオカメラの動き量を、動き量Ｍ２（ｒ２，ｓ２）とし、それぞれ太い破線の矢印で示す。図８に示すように、動き量Ｍ１及びＭ２のＸ方向の成分ｒ１及びｒ２は、共に＋Ｘ方向を示し、フレーム画像Ｆ（ｋ）〜Ｆ（ｋ＋２）で、＋Ｘ方向のパンシーンとなっている。
また、図８において、フレーム画像Ｆ（ｋ）〜Ｆ（ｋ＋２）のそれぞれの縦及び横の長さを、Ｈｆ及びＷｆと示す。

このように、フレーム画像Ｆ（ｋ）〜Ｆ（ｋ＋２）を、それぞれデジタルビデオカメラの動き量である動き量Ｍ１及び動き量Ｍ２だけずらして重ねると、図３（Ｃ）に示す凸型の被写体のように、フレーム画像同士が重なる部分において、写し出された被写体は一致することになる。従って、フレーム画像Ｆ（ｋ）〜Ｆ（ｋ＋２）を合成してパノラマ画像を生成することができる。

そして、これらフレーム画像Ｆ（ｋ）〜Ｆ（ｋ＋２）から生成することができるパノラマ画像の領域は、本実施例において、以下のように定めるものとする。すなわち、フレーム画像Ｆ（ｋ）とフレーム画像Ｆ（ｋ＋１）との重なり部分を含む、図８（Ａ）に示す領域Ａに対し、図８（Ｂ）に示すように、更にフレーム画像Ｆ（ｋ＋２）を重ねる。そして、この領域Ａとフレーム画像Ｆ（ｋ＋２）との重なり部分を含む、図８（Ｂ）に示す領域Ｐを、パノラマ画像の領域と定める。

なお、フレーム画像Ｆ（ｋ）〜Ｆ（ｋ＋２）は、＋Ｘ方向のパンシーンであるので、領域Ｐの左辺の位置は、フレーム画像Ｆ（ｋ）の左辺の位置に一致しており、また、領域Ｐの右辺の位置は、フレーム画像Ｆ（ｋ＋２）の右辺の位置に一致している。
一方、領域Ｐの上辺の位置は、フレーム画像Ｆ（ｋ）に対して、最も＋Ｙ方向にずれたフレーム画像Ｆ（ｋ＋１）の上辺の位置に一致している。また、領域Ｐの下辺の位置は、フレーム画像Ｆ（ｋ）に対して、最も−Ｙ方向にずれたフレーム画像Ｆ（ｋ＋２）の下辺の位置に一致している。

ここで、領域Ｐの横の長さＷｐは、図８（Ｂ）に示すように、Ｗｆ＋｜Ｘｚ（＋）｜と表される。なお、Ｘｚ（＋）は、動き量Ｍ１及び動き量Ｍ２の、それぞれのＸ方向成分ｒ１及びｒ２を足し合わせた値である。
一方、領域Ｐの縦の長さＨｐは、図８（Ｂ）に示すように、Ｈｆ−（｜Ｙｚ（＋）｜＋｜Ｙｚ（−）｜）と表される。なお、Ｙｚ（＋）は、動き量Ｍ１のＹ方向成分ｓ１であり、また、Ｙｚ（−）は、動き量Ｍ１及び動き量Ｍ２の、それぞれのＹ方向成分ｓ１及びｓ２を、足し合わせた値である。

従って、｜Ｘｚ（＋）｜が大きくなるほど、パノラマ画像の横の長さＷｐは長くなり、
｜Ｙｚ（＋）｜＋｜Ｙｚ（−）｜が小さくなるほど、パノラマ画像の縦の長さＨｐは長くなる。そこで、本実施例では、パノラマ画像の横の長さＷｐ，縦の長さＨｐが、それぞれ或る程度長くなるように、予め｜Ｘｚ（＋）｜及び｜Ｙｚ（＋）｜＋｜Ｙｚ（−）｜に対して、それぞれ、しきい値Ｔｘ及びしきい値Ｔｙを定めておき、｜Ｘｚ（＋）｜がしきい値Ｔｘ以上になると共に、｜Ｙｚ（＋）｜＋｜Ｙｚ（−）｜がしきい値Ｔｙよりも小さくなるシーンを、パノラマサブシーンとして特定する。

なお、この｜Ｙｚ（＋）｜＋｜Ｙｚ（−）｜のしきい値Ｔｙとしては、フレーム画像の縦の長さの、１０％以下の値を設定することが望ましい。
なお、仮に、フレーム画像Ｆ（ｋ）〜Ｆ（ｋ＋２）が−Ｘ方向のパンシーンである場合には、動き量Ｍ１及び動き量Ｍ２の、それぞれのＸ方向成分ｒ１及びｒ２を足し合わせた値を、Ｘｚ（−）と表すものとする。

次に、Ｘｚ（＋），Ｘｚ（−），Ｙｚ（＋），及びＹｚ（−）の求め方について、図４，図７，及び図９を用いて具体的に説明する。

図９は、本実施例におけるＸｚ（＋），Ｘｚ（−），Ｙｚ（＋）及びＹｚ（−）の求め方を示す説明図である。
図９において、フレーム画像Ｆ（１）〜Ｆ（４）は、図７に示す１番目のパンシーンの開始フレーム画像であるフレーム画像Ｆ（１）から４番目のフレーム画像Ｆ（４）までの４枚のフレーム画像を示しており、それぞれデジタルビデオカメラの動き量だけずらして重ねている。
なお、このデジタルビデオカメラの動き量は、図４に示す位置ずれ情報１０２ｂのうち、フレーム画像Ｆ（１）〜Ｆ（４）に対応した、フレーム番号２〜４の横ずれ量ｕ及び縦ずれ量ｖを、それぞれ符号を反転させて求めている。具体的には、デジタルビデオカメラの動き量のＸ方向成分は、＋３，＋４，＋２となり、また、デジタルビデオカメラの動き量のＹ方向成分は、＋２，−３，＋４となる。なお、図９において、それぞれの値をフレーム画像Ｆ（１）〜Ｆ（４）と合わせて示している。
また、図９において、領域Ｐ１は、フレーム画像Ｆ（１）〜Ｆ（４）を合成して生成することができるパノラマ画像の領域を示す。

まず、Ｘｚ（＋）は、図９に示すように、フレーム画像Ｆ（１）からフレーム画像Ｆ（４）までのデジタルビデオカメラの動き量のＸ方向成分、＋３，＋４，＋２を全て足し合わせた＋９となる。また、Ｘｚ（−）は、フレーム画像Ｆ（１）〜Ｆ（４）が＋Ｘ方向のパンシーンなので、０とする。

一方、Ｙｚ（＋）及びＹｚ（−）は次のように求める。すなわち、デジタルビデオカメラの動き量のＹ方向成分を＋２から順番に、−３，＋４と１つずつ値を足し合わせていき、＋２，−１，＋３と合計値を順次求める。そして、合計値を求める度に、それまでに求められた合計値のうちでプラスの値で最大となる値、及びマイナスの値で最小となる値と、この求めた合計値と、を比較する。そして、求めた合計値がプラスの値で最大となる値よりも大きければ、求めた合計値をＹｚ（＋）とし、求めた合計値がマイナスの値で最小となる値よりも小さければ、求めた合計値をＹｚ（−）とする。
具体的には、＋２に−３を足し合わせ、合計値−１を求めた段階では、Ｙｚ（＋）及びＹｚ（−）は、＋２及び−１であるが、更に＋４を足し合わせ、合計値＋３を求めた段階で、Ｙｚ（＋）は、＋２から、より大きな＋３に変わることになり、最終的にＹｚ（＋）及びＹｚ（−）は、＋３及び−１となる。
なお、仮に、合計値が常にマイナス（プラス）である場合には、Ｙｚ（＋）（Ｙｚ（−））は０とする。

以上、パノラマ画像について説明したが、縦長画像についても同様であるので説明を省略する。

続いて、パノラマ／縦長サブシーン特定及び記憶処理について、図１，図４，図７，図９及び図１０を用いて説明する。

図１０は、本実施例におけるパノラマ／縦長サブシーン特定及び記憶処理の手順を示すフローチャートである。
なお、本実施例では、このパノラマ／縦長サブシーン特定及び記憶処理が実行される前に、予め、前述の｜Ｘｚ（＋）｜及び｜Ｘｚ（−）｜のしきい値Ｔｘ＝８が定められ、また、｜Ｙｚ（＋）｜＋｜Ｙｚ（−）｜のしきい値Ｔｙ＝５が定められているものとする。

まず、図１に示すサブシーン特定部１０１ｃは、ハードディスク１０２に記憶された、位置ずれ情報１０２ｂ及びパン／チルトシーン情報１０２ｄを読み出して、メモリ１０３に記憶させる（ステップＳ４００）。
続いて、サブシーン特定部１０１ｃは、パン／チルトシーン番号を示す変数ｊに、初期値１を代入する（ステップＳ４０２）。

続いて、サブシーン特定部１０１ｃは、メモリ１０３に記憶させたパン／チルトシーン情報１０２ｄからｊ番目のパン／チルトシーンのパン／チルトフラグを抽出し、更に、メモリ１０３に記憶させた位置ずれ情報１０２ｂから、ｊ番目のパン／チルトシーンに対応する位置ずれ量を抽出する（ステップＳ４０４）。
最初にステップＳ４０４を実行する時には、ｊ＝１であるので、サブシーン特定部１０１ｃは、図７に示すパン／チルトシーン情報１０２ｄから、１番目のパンシーンのパン／チルトフラグであるパンフラグＰを抽出する。また、図７に示すように、１番目のパンシーンは、フレーム画像Ｆ（１）〜Ｆ（７）からなるので、サブシーン特定部１０１ｃは、図４に示す位置ずれ情報１０２ｂから、これらフレーム画像Ｆ（１）〜Ｆ（７）に対応したフレーム番号２〜７の位置ずれ量を抽出する。

続いて、サブシーン特定部１０１ｃは、ステップＳ４０４において抽出したパン／チルトフラグに基づき、ｊ番目のパン／チルトシーンが、パンシーンであるか否かを判定する（ステップＳ４０６）。そして、サブシーン特定部１０１ｃは、ｊ番目のパン／チルトシーンがパンシーンであると判定すると、パノラマサブシーン特定処理（ステップＳ４０７）を実行し、パンシーンでない、すなわち、チルトシーンであると判定すると、縦長サブシーン特定処理（ステップＳ４０８）を実行する。
ｊ＝１の場合、ステップＳ４０４において、図７に示すパン／チルトシーン情報１０２ｄから、１番目のパンシーンのパン／チルトフラグであるパンフラグＰを抽出しているので、サブシーン特定部１０１ｃは、パノラマサブシーン特定処理（ステップＳ４０７）を実行することになる。

パノラマサブシーン特定処理（ステップＳ４０７）では、サブシーン特定部１０１ｃは、まず、前述のようにして、デジタルビデオカメラの動き量のＸ方向成分またはＹ方向成分を順次足し合わせてＸｚ（＋），Ｘｚ（−），Ｙｚ（＋），及びＹｚ（−）を求める。次に、｜Ｘｚ（＋）｜もしくは｜Ｘｚ（−）｜がしきい値Ｔｘ以上であるか否かを判定し、更に、｜Ｙｚ（＋）｜＋｜Ｙｚ（−）｜がしきい値Ｔｙよりも小さいか否かを判定する。そして、｜Ｘｚ（＋）｜もしくは｜Ｘｚ（−）｜がしきい値Ｔｘ以上であり、かつ、｜Ｙｚ（＋）｜＋｜Ｙｚ（−）｜がしきい値Ｔｙよりも小さくなった時に、パノラマサブシーンとして特定する。

具体的には、図４に示す位置ずれ情報１０２ｂから求めたデジタルビデオカメラの動き量においては、図９に示すように、フレーム画像Ｆ（４）を重ねた段階で、｜Ｘｚ（＋）｜は９となり、初めてしきい値Ｔｘの８以上となり、また、この時、｜Ｙｚ（＋）｜＋｜Ｙｚ（−）｜は４となり、しきい値Ｔｙの５よりも小さくなっているので、フレーム画像Ｆ（１）〜Ｆ（４）を、最初のパノラマサブシーンとして特定する。なお、同様にして、次のパノラマサブシーンとして、フレーム画像Ｆ（５）〜Ｆ（７）を特定することになる。そして、１番目のパンシーンについて、全てのパノラマサブシーンが特定されることになる。
以上、パノラマサブシーン特定処理（ステップＳ４０７）について説明したが、縦長サブシーン特定処理（ステップＳ４０８）も同様の処理であるので、説明を省略する。

ステップＳ４０７において、ｊ番目のパンシーンに含まれる全てのパノラマサブシーンを特定すると、サブシーン特定部１０１ｃは、特定したパノラマサブシーンのサブシーン番号，パン／チルトフラグ，開始／終了フレーム番号，Ｘｚ（＋），Ｘｚ（−），Ｙｚ（＋），及びＹｚ（−）を、サブシーン情報１０２ｅとしてメモリ１０３に記憶させる（ステップＳ４０９）。
なお、サブシーン番号とは、パノラマサブシーンまたは縦長サブシーンが特定された順番に１，２，...とサブシーン特定部１０１ｃにより定められる番号である。
また、ステップＳ４０８において、ｊ番目のチルトシーンに含まれる全ての縦長サブシーンを特定すると、サブシーン特定部１０１ｃは、特定した縦長サブシーンのサブシーン番号，パン／チルトフラグ，開始／終了フレーム番号，Ｘｚ（＋），Ｘｚ（−），Ｙｚ（＋），及びＹｚ（−）を、サブシーン情報１０２ｅとしてメモリ１０３に記憶させる（ステップＳ４１０）。

続いて、サブシーン特定部１０１ｃは、ｊ番目のパン／チルトシーンが、最後のパン／チルトシーンであるか否かを判定する（ステップＳ４１２）。最後のパン／チルトシーンでないと判定した場合には、サブシーン特定部１０１ｃは、変数ｊの値を１増加する（ステップＳ４１４）。
そして、ステップＳ４１２において、ｊ番目のパン／チルトシーンが最後のパン／チルトシーンであると判定するまで、サブシーン特定部１０１ｃは、ステップＳ４０４〜ステップＳ４１４の処理を繰り返し実行する。従って、サブシーン特定部１０１ｃは、全てのパン／チルトシーンについて、パノラマ／縦長サブシーンを特定し、それぞれのパノラマ／縦長サブシーンについてサブシーン番号，パン／チルトフラグ，開始／終了フレーム番号，Ｘｚ（＋），Ｘｚ（−），Ｙｚ（＋），及びＹｚ（−）を、サブシーン情報１０２ｅとして、メモリ１０３に記憶させることになる。

ここで、サブシーン情報１０２ｅについて、図１１を用いて説明する。図１１は、本実施例におけるサブシーン情報１０２ｅを示す説明図である。図１１に示すように、前述の最初に特定されたフレーム画像Ｆ（１）〜Ｆ（４）のパノラマサブシーン、及び次に特定されたフレーム画像Ｆ（５）〜Ｆ（７）のパノラマサブシーンついて、それぞれのサブシーン番号，パン／チルトフラグ，開始／終了フレーム番号，Ｘｚ（＋），Ｘｚ（−），Ｙｚ（＋），及びＹｚ（−）が、特定された順序で記憶されている。なお、他のパノラマ／縦長サブシーンについても、サブシーン情報１０２ｅとして、特定された順序で記憶されることになるが、図１１では省略している。

ステップＳ４１２において、ｊ番目のパン／チルトシーンが最後のパン／チルトシーンであると判定すると、サブシーン特定部１０１ｃは、メモリ１０３に記憶させたサブシーン情報１０２ｅを読み出して、ハードディスク１０２に書き込んで記憶させる（ステップＳ４１６）。
そして、ステップＳ４１６が終了すると、パノラマ／縦長サブシーン特定及び記憶処理は終了する。

Ａ３．実施例の効果：
以上説明したように、画像処理装置１０は、動画像データ１０２ａから位置ずれ量を推定し、この推定した位置ずれ量を、この位置ずれ量を推定した際に対象フレーム画像と定めたフレーム画像のフレーム番号に対応させて、位置ずれ情報１０２ｂとして記憶する。従って、この位置ずれ情報１０２ｂを用いることにより、動画像の中からパン／チルトシーンまたはパノラマ／縦長サブシーンを特定することができる。
また、画像処理装置１０は、特定したパン／チルトシーン及びパノラマ／縦長サブシーンについて、開始／終了フレーム番号を、パン／チルトシーン情報１０２ｄ及びサブシーン情報１０２ｅとして記憶するので、ユーザは、動画像を再生して確認しなくても、これらパン／チルトシーン情報１０２ｄ及びサブシーン情報１０２ｅを確認することで、パン／チルトシーン、またはパノラマ／縦長サブシーンを簡易に特定することができる。
また、画像処理装置１０は、特定したパノラマ／縦長サブシーンについて、開始／終了フレーム番号の他に、パン／チルトフラグ，Ｘｚ（＋），Ｘｚ（−），Ｙｚ（＋），及びＹｚ（−）もサブシーン情報１０２ｅとして記憶するので、実際に複数のフレーム画像を合成してパノラマ／縦長画像を生成しなくても、動画像データの中から生成することができる、パノラマ／縦長画像の大きさを簡易に確認することができる。

Ｂ．変形例
なお、本発明は、前述の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において、種々の態様において実施することが可能であり、例えば以下のような変形も可能である。

Ｂ１．変形例１：
前述の実施例では、図１に示すハードディスク１０２にサブシーン情報１０２ｅを記憶させるが、このサブシーン情報１０２ｅを用いて、動画像におけるパノラマ／縦長サブシーンの時間的な位置や、パノラマ／縦長サブシーンから生成することができるパノラマ／縦長画像の大きさを、簡易に確認することができる確認ウィンドウを、図１に示すディスプレイ１１２に表示するようにしてもよい。以下、このような確認ウィンドウについて、図１２を用いて説明する。

図１２は、変形例１におけるパノラマ／縦長サブシーン及びパノラマ／縦長画像の大きさを確認するための確認ウィンドウを示す説明図である。
図１２において、（Ａ）は、パノラマサブシーン及びパノラマ画像サイズを確認する場合の確認ウィンドウＷを示し、（Ｂ）は、縦長サブシーン及び縦長画像サイズを確認する場合の確認ウィンドウＷを示す。
なお、この確認ウィンドウＷは、図１に示す表示処理部１０１ｄによって生成されて、ディスプレイ１１２に表示される。

確認ウィンドウＷは、動画像表示部２１，動画像操作部２２，インジケータ２４，画像サイズ表示部２８，切り換え部２９，及びタイトルバー３０からなる。インジケータ２４は、スライダ２５及びサブシーン位置表示部２６からなる。
インジケータ２４は、その幅が動画像表示部２１に表示される動画像の時間的な長さを示しており、パノラマ／縦長サブシーンを示すサブシーン位置表示部２６によって、動画像におけるパノラマ／縦長サブシーンの時間的な位置及び時間的な長さを示している。

ユーザが、図１に示すハードディスク１０２に記憶された動画像データ１０２ａをキーボード１１３やマウス１１４の操作により指定すると、表示処理部１０１ｄは、指定された動画像データ１０２ａの表す動画像の開始フレーム画像を、動画像表示部２１に表示すると共に、指定された動画像データ１０２ａのファイル名「動画．ａｖｉ」を、タイトルバー３０に表示する。

そして、ユーザが、キーボード１１３やマウス１１４の操作により、切り換え部２９において「パノラマ画像」を選択すると、表示処理部１０１ｄは、サブシーン情報１０２ｅをメモリ１０３に読み出し、全てのパノラマサブシーンの開始／終了フレーム番号を確認する。そして、表示処理部１０１ｄは、この開始／終了フレーム番号から、それぞれのパノラマサブシーンのこの動画像における時間的な位置及び時間的な長さを決定し、図１２（Ａ）に示すように、インジケータ２４上に、それぞれのパノラマサブシーンを表すサブシーン位置表示部２６を表示する。なお、動画像データ１０２ａの表す動画像には３つのパノラマサブシーンが含まれており、図１２（Ａ）に示すように、３つのサブシーン位置表示部２６がインジケータ２４上に表示されている。

ユーザが、マウス１１４の操作によりポインタ２７を動かし、図１２（Ａ）に示すように、スライダ２５を最初のサブシーン位置表示部２６に重ねて、最初のサブシーン位置表示部２６を指定すると、表示処理部１０１ｄは、メモリ１０３に読み出されたサブシーン情報１０２ｅの中から、最初のパノラマサブシーンのＸｚ（＋），Ｘｚ（−），Ｙｚ（＋），及びＹｚ（−）を抽出し、パノラマ画像の縦及び横の長さを算出する。そして、表示処理部１０１ｄは、この算出したパノラマ画像の縦及び横の長さの値に基づき、図１２に示すように、画像サイズ表示部２８にパノラマ画像サイズを表示する。

また、ユーザが、最初のサブシーン位置表示部２６を指定した状態で、ポインタ２７により動画像操作部２２にある再生ボタン２３を選択すると、表示処理部１０１ｄは、動画像表示部２１に、この最初のパノラマサブシーンを再生する。

一方、ユーザが、切り換え部２９において、「縦長画像」を選択すると、表示処理部１０１ｄは、今度は、縦長サブシーンを表すサブシーン位置表示部２６を、インジケータ２４上に表示する。なお、動画像データ１０２ａの表す動画像には３つの縦長サブシーンが含まれており、図１２（Ｂ）に示すように、３つのサブシーン位置表示部２６がインジケータ２４上に表示されている。また、図１２（Ｂ）に示すように、２番目の縦長サブシーンがスライダ２５によって指定されており、この縦長サブシーンから生成することができる縦長画像の大きさが、画像サイズ表示部２８に表示されている。

なお、以上説明した確認ウィンドウＷを、ディスプレイ１１２に代えて、プリンタ１１１に出力するようにしてもよい。また、サブシーン位置表示部２６に代えて、各パン／チルトシーンを示すパン／チルトシーン位置表示部を表示させるようにしてもよい。なお、この場合、メモリ１０３には、サブシーン情報１０２ｅに代えて、パン／チルトシーン情報１０２ｄを読み出すようにする。

以上説明したように、パノラマ／縦長サブシーンの動画像における時間的な位置及び時間的な長さを、インジケータ２４上のサブシーン位置表示部２６として表示するので、ユーザは、動画像を再生して確認しなくても、動画像に含まれているパノラマ／縦長サブシーンを簡易に特定することができる。
また、サブシーン位置表示部２６と共に、生成することができるパノラマ／縦長画像の大きさも表示するので、実際に複数のフレーム画像を合成してパノラマ／縦長画像を生成しなくても、パノラマ／縦長画像の大きさを簡易に確認することができる。

Ｂ２．変形例２：
前述の実施例では、パンシーンを特定する際に、図５に示すステップＳ３１０において、＋Ｘ方向（プラス）の値または０が２つ以上連続する、もしくは−Ｘ方向（マイナス）の値または０が２つ以上連続する複数の横ずれ量ｕを検索して、これら複数の横ずれ量ｕに対応した一連のフレーム画像群をパンシーンとして特定していたが、１つもしくは２つ以上飛び飛びで、＋Ｘ方向（プラス）の値または０が２つ以上連続する、もしくは−Ｘ方向（マイナス）の値または０が連続する横ずれ量ｕを検索するようにしてもよい。
なお、チルトシーンを特定する際にも、図５に示すステップＳ３１４において、同様な処理を行うようにしてもよい。
このようにすることで、他のフレーム画像と比較して極端な位置ずれとなる１枚もしくは２枚以上のフレーム画像を除いて、より多くのフレーム画像群を１つのパン／チルトシーンとして特定することができる。また、より多くのフレーム画像群を１つのパン／チルトシーンとして特定することができるので、このパン／チルトシーンから、より大きなパノラマ／縦長画像を生成することができるパノラマ／縦長サブシーンを特定することができることになる。

Ｂ３．変形例３：
前述の実施例では、図１に示すように、位置ずれ情報１０２ｂ，規定シーン情報１０２ｃ，パン／チルトシーン情報１０２ｄ，及びサブシーン情報１０２ｅを、動画像データ１０２ａとは別のデータとして、ハードディスク１０２に記憶させるようにしていたが、これらの情報を、動画像データ１０２ａのヘッダ部等に記憶し、動画像データ１０１ａの一部として、ハードディスク１０２に記憶させるようにしてもよい。

Ｂ４．変形例４：
前述の実施例では、図２に示すステップＳ２０６において、フレーム画像Ｆ（ｋ）及びフレーム画像Ｆ（ｋ＋１）を、それぞれ基準フレーム画像及び対象フレーム画像として定めていたが、逆に、フレーム画像Ｆ（ｋ＋１）を基準フレーム画像とし、また、フレーム画像Ｆ（ｋ）を対象フレーム画像として定めるようにしてもよい。
この場合、ステップＳ２０６では、位置ずれ量（ｕ，ｖ）ではなく、デジタルビデオカメラの動き量（−ｕ，−ｖ）を推定することになり、また、ステップＳ２０８では、位置ずれ情報１０２ｂとして、位置ずれ量（ｕ，ｖ）ではなく、デジタルビデオカメラの動き量（−ｕ，−ｖ）を記憶することになる。

Ｂ５．変形例５：
前述の実施例では、図２に示すステップＳ２０６において推定した位置ずれ量を、ステップＳ２０８において、対象フレーム画像のフレーム番号と共にメモリ１０３に記憶させていたが、対象フレーム画像のフレーム番号に代えて、基準フレーム画像のフレーム番号と共に記憶させるようにしてもよい。

Ｂ６．変形例６：
前述の実施例では、図１０に示すステップＳ４０９及びステップＳ４１０において、Ｘｚ（＋），Ｘｚ（−），Ｙｚ（＋），及びＹｚ（−）をメモリ１０３に記憶するようにしていたが、これらＸｚ（＋），Ｘｚ（−），Ｙｚ（＋），及びＹｚ（−）に代えて、Ｘｚ（＋），Ｘｚ（−），Ｙｚ（＋），及びＹｚ（−）から算出される、パノラマ／縦長画像の縦及び横の長さを、それぞれ記憶するようにしてもよい。

Ｂ７．変形例７：
前述の実施例では、動画像データ１０２ａは、デジタルビデオカメラで撮影した動画像を表すデータであるものとしたが、デジタルカメラの連写等により得られた、時系列に並んだ複数の静止画像を表すデータであってもよい。

Ｂ８．変形例８：
前述の実施例では、図５に示すステップＳ３０２において、動画像データ１０２ａの表す動画像を規定シーンに分割していたが、このステップＳ３０２の処理を省略しても構わない。
ステップＳ３０２の処理では、シーンの切り替わりを特定して動画像を規定シーンに分割するが、このシーンの切り替わりを挟んだ２つのフレーム画像間の位置ずれ量は、例えば、山を撮影したフレーム画像と海を撮影したフレーム画像との間の位置ずれ量のように、同じシーン内の隣り合う２つのフレーム画像間の位置ずれ量に比べて、大きく変化することになる。従って、図５に示すステップＳ３１０もしくはステップＳ３１４において、このシーンの切り替わりを挟んだ２つのフレーム画像を、同一のパンシーンもしくはチルトシーンとして特定する可能性が低いからである。

Ｂ９．変形例９：
前述の実施例では、動画像データ１０２ａ，位置ずれ情報１０２ｂ，規定シーン情報１０２ｃ，パン／チルトシーン情報１０２ｄ，及びサブシーン情報１０２ｅは、全てハードディスク１０２に記憶され、また、ハードディスク１０２から読み出されていたが、ハードディスク１０２に代えて、ＤＶＤ１１０ａに記憶され、また、ＤＶＤ１１０ａから読み出されるようにしてもよい。
このようにすることで、コンピュータ１００に搭載されたハードディスク１０２の容量が小さい場合でも、位置ずれ量推定及び記憶処理、パン／チルトシーン特定及び記憶処理、及びパノラマ／縦長サブシーン特定及び記憶処理を実行することができる。

Ｂ１０．変形例１０：
前述の実施例では、動画像データ１０２ａが記録されている記録媒体として、ＤＶＤ１１０ａを用いていたが、ＤＶＤ１１０ａに代えて、ＭＯ，ＣＤ−Ｒ／ＲＷ，磁気テープ，メモリカード等、他の記録媒体を用いることも可能である。

本実施例における画像処理装置の概要構成を示す説明図。 本実施例における位置ずれ量推定及び記憶処理の手順を示すフローチャート。 本実施例における位置ずれ量を示す説明図。 本実施例における位置ずれ情報１０２ｂを示す説明図。 本実施例におけるパン／チルトシーン特定及び記憶処理の手順を示すフローチャート。 本実施例における規定シーン情報１０２ｃを示す説明図。 本実施例におけるパン／チルトシーン情報１０２ｄを示す説明図。 本実施例におけるパンシーンに含まれる３枚のフレーム画像から合成して生成されるパノラマ画像の大きさを示す説明図。 本実施例におけるＸｚ（＋），Ｘｚ（−），Ｙｚ（＋）及びＹｚ（−）の求め方を示す説明図。 本実施例におけるパノラマ／縦長サブシーン特定及び記憶処理の手順を示すフローチャート。 本実施例におけるサブシーン情報１０２ｅを示す説明図。 変形例１におけるパノラマ／縦長サブシーン及びパノラマ／縦長画像の大きさを確認するための確認ウィンドウを示す説明図。

符号の説明

１０...画像処理装置
２１...動画像表示部
２２...動画像操作部
２３...再生ボタン
２４...インジケータ
２５...スライダ
２６...サブシーン位置表示部
２７...ポインタ
２８...画像サイズ表示部
２９...切り換え部
３０...タイトルバー
１００...コンピュータ
１０１...ＣＰＵ
１０１ａ...位置ずれ量推定部
１０１ｂ...パン／チルトシーン特定部
１０１ｃ...サブシーン特定部
１０１ｄ...表示処理部
１０２...ハードディスク
１０２ａ...動画像データ
１０２ｂ...位置ずれ情報
１０２ｃ...規定シーン情報
１０２ｄ...パン／チルトシーン情報
１０２ｅ...サブシーン情報
１０２ｐ...アプリケーションプログラム
１０３...メモリ
１０４...入出力インタフェース部
１０５...内部バス
１１０...ＤＶＤドライブ
１１０ａ...ＤＶＤ
１１１...プリンタ
１１２...ディスプレイ
１１３...キーボード
１１４...マウス
Ｗ...確認ウィンドウ

Claims (13)

1. 画像処理装置であって、
   時系列に並んだ複数の画像から成る画像群から、各画像間の位置ずれ量をそれぞれ推定する位置ずれ量推定部と、
   推定した前記位置ずれ量を、前記画像群における各画像の時系列上の位置と対応付けて、それぞれ記憶する記憶部と、
   を備える画像処理装置。
2. 画像処理装置であって、
   時系列に並んだ複数の画像から成る画像群における、各画像間の位置ずれ量を、各画像の時系列上の位置と対応付けて表す位置ずれ情報に基づいて、前記画像群において、前記位置ずれ量が略一定方向の位置ずれを示す画像が複数ほぼ連続している箇所を、所定のカメラワークシーンとして特定するシーン特定部と、
   特定した前記カメラワークシーンの、前記画像群における時系列上の位置を記憶する記憶部と、
   を備える画像処理装置。
3. 請求項２に記載の画像処理装置であって、
   前記所定のカメラワークシーンは、パンシーンもしくはチルトシーンであることを特徴とする画像処理装置。
4. 画像処理装置であって、
   時系列に並んだ複数の画像から成る画像群における、各画像間の位置ずれ量を、各画像の時系列上の位置と対応付けて表す位置ずれ情報に基づいて、前記画像群において、前記位置ずれ量が略一定方向の位置ずれを示す画像が複数ほぼ連続し、かつ、それら複数の画像間の前記位置ずれ量の合計量が所定量以上となる箇所を、合成画像生成可能シーンとして特定するシーン特定部と、
   特定した前記合成画像生成可能シーンの、前記画像群における時系列上の位置を記憶する記憶部と、
   を備える画像処理装置。
5. 請求項４に記載の画像処理装置であって、
   前記記憶部は、前記合成画像生成可能シーンの、前記画像群における時系列上の位置と共に、少なくとも、前記合計量を表す情報を併せて記憶することを特徴とする画像処理装置。
6. 請求項１ないし請求項５のいずれかに記載の画像処理装置であって、
   前記画像群は、動画像であることを特徴とする画像処理装置。
7. 画像間の位置ずれ量を記憶部に記憶するための位置ずれ記憶方法であって、
   （ａ）時系列に並んだ複数の画像から成る画像群から、各画像間の位置ずれ量をそれぞれ推定する工程と、
   （ｂ）推定した前記位置ずれ量を、前記画像群における各画像の時系列上の位置と対応付けて、前記記憶部にそれぞれ記憶する工程と、
   を備える位置ずれ記憶方法。
8. シーンを記憶部に記憶するためのシーン記憶方法であって、
   （ａ）時系列に並んだ複数の画像から成る画像群における、各画像間の位置ずれ量を、各画像の時系列上の位置と対応付けて表す位置ずれ情報に基づいて、前記画像群において、前記位置ずれ量が略一定方向の位置ずれを示す画像が複数ほぼ連続している箇所を、所定のカメラワークシーンとして特定する工程と、
   （ｂ）特定した前記カメラワークシーンの、前記画像群における時系列上の位置を前記記憶部に記憶する工程と、
   を備えるシーン記憶方法。
9. シーンを記憶部に記憶するためのシーン記憶方法であって、
   （ａ）時系列に並んだ複数の画像から成る画像群における、各画像間の位置ずれ量を、各画像の時系列上の位置と対応付けて表す位置ずれ情報に基づいて、前記画像群において、前記位置ずれ量が略一定方向の位置ずれを示す画像が複数ほぼ連続し、かつ、それら複数の画像間の前記位置ずれ量の合計量が所定量以上となる箇所を、合成画像生成可能シーンとして特定する工程と、
   （ｂ）特定した前記合成画像生成可能シーンの、前記画像群における時系列上の位置を前記記憶部に記憶する工程と、
   を備えるシーン記憶方法。
10. 画像間の位置ずれ量を記憶部に記憶するためのプログラムであって、
    時系列に並んだ複数の画像から成る画像群から、各画像間の位置ずれ量をそれぞれ推定する機能と、
    推定した前記位置ずれ量を、前記画像群における各画像の時系列上の位置と対応付けて、前記記憶部にそれぞれ記憶する機能と、
    をコンピュータに実現させるためのプログラム。
11. シーンを記憶部に記憶するためのプログラムであって、
    時系列に並んだ複数の画像から成る画像群における、各画像間の位置ずれ量を、各画像の時系列上の位置と対応付けて表す位置ずれ情報に基づいて、前記画像群において、前記位置ずれ量が略一定方向の位置ずれを示す画像が複数ほぼ連続している箇所を、所定のカメラワークシーンとして特定する機能と、
    特定した前記カメラワークシーンの、前記画像群における時系列上の位置を前記記憶部に記憶する機能と、
    をコンピュータに実現させるためのプログラム。
12. シーンを記憶部に記憶するためのプログラムであって、
    時系列に並んだ複数の画像から成る画像群における、各画像間の位置ずれ量を、各画像の時系列上の位置と対応付けて表す位置ずれ情報に基づいて、前記画像群において、前記位置ずれ量が略一定方向の位置ずれを示す画像が複数ほぼ連続し、かつ、それら複数の画像間の前記位置ずれ量の合計量が所定量以上となる箇所を、合成画像生成可能シーンとして特定する機能と、
    特定した前記合成画像生成可能シーンの、前記画像群における時系列上の位置を前記記憶部に記憶する機能と、
    をコンピュータに実現させるためのプログラム。
13. 請求項１０ないし請求項１２のいずれかに記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images