JP2015076738A - 撮影画像処理装置、撮影画像処理方法及びプログラム - Google Patents

Abstract

【課題】移動する被写体の状態を再生して確認可能とするために撮影された画像から被写体の移動に関する情報を算出して再生制御の情報として利用できるようにする。【解決手段】制御部１は、被写体を固定位置からその被写体の移動に合わせて撮影方向を変化させながらの複数回の撮影により得られた一連の撮影画像を取得し、この一連の撮影画像から該被写体の撮影サイズの時間的変化を特定すると共に、この撮影サイズの時間的変化の関数として、被写体の移動に関するパラメータを算出し、このパラメータを一連の撮影画像を再生する際の再生制御情報として、該一連の撮影画像に対応付けて画像メモリ３ｂに保存する。【選択図】 図１

Description

本発明は、移動する被写体を撮影した画像を処理する撮影画像処理装置、撮影画像処理方法及びプログラムに関する。

一般に、デジタルスチルカメラやビデオカメラなどの撮像装置によって撮影された撮影画像（例えば、正面から近づいてくる被写体を撮影した画像）を利用し、その被写体までの距離や移動速度（接近速度）を求めるようにした技術が知られている（特許文献１参照）。また、撮影画像と焦点距離などの情報に基づいて被写体の大きさ（実サイズ：例えば、人の身長）を算出するようにした技術が知られている（特許文献２参照）。

特開２００７−２８８４６０号公報 特開２０１０−５０５９７号公報

しかしながら、上述した特許文献の技術にあっては、被写体までの距離、移動速度（接近速度）、被写体の実サイズを算出することが目的であり、ほんの一瞬の撮影で足りる代わりに撮影の自由度は制限される。このため、例えば、撮影画像を再生することによって移動する被写体の状態をユーザが様々な角度から確認可能な、つまり、再生して観賞するための撮影画像を得ることはできない。
ところで、例えば、カメラの撮影方向を固定して被写体（マラソンのランナー）を定点撮影する場合に、そのランナーが十分な大きさで撮影されるように撮影画角を決めると（ズーム倍率を大きくすると）、動画のフレーム内にランナーが収められる時間はほんの一瞬しかなく、逆に、ランナーが収められる時間が長くなるように撮影画角を決めると（ズーム倍率を小さくすると）、ランナーを十分な大きさで撮影することができなくなってしまうという問題があり、移動速度などの情報を算出するための動画撮影と、移動する被写体の状態を画像により確認可能（再生して観賞可能）とするための動画撮影とを同時に効率良く行うことはできなかった。

本発明の課題は、移動する被写体の状態を再生して確認可能とするために撮影された画像から被写体の移動に関する情報を算出して、その情報を画像再生の制御情報として利用できるようにすることである。

上述した課題を解決するために本発明は、
移動する被写体を撮影した画像を処理する撮影画像処理装置であって、
前記被写体を固定位置からその被写体の移動に合わせて撮影方向を変化させながらの複数回の撮影により得られた一連の撮影画像を取得する画像取得手段と、
前記画像取得手段により取得された一連の撮影画像から該被写体の撮影サイズの時間的変化を特定する特定手段と、
前記特定手段によって特定された撮影サイズの時間的変化の関数を用いて、前記被写体の移動に関するパラメータを算出する算出手段と、
前記算出手段によって算出された被写体の移動に関するパラメータを用いて、前記一連の撮影画像に関する所定処理を実行する制御手段と、
を備えたことを特徴とする撮影画像処理装置である。

上述した課題を解決するために本発明は、
移動する被写体を固定位置からその被写体の移動に合わせて撮影方向を変化させながらの複数回の撮影により得られた一連の撮影画像を取得するステップと、
前記取得された一連の撮影画像から該被写体の撮影サイズの時間的変化を特定するステップと、
前記特定手段によって特定された撮影サイズの時間的変化の関数を用いて、前記被写体の移動に関するパラメータを算出するステップと、
前記算出された被写体の移動に関するパラメータを用いて、前記一連の撮影画像に関する所定処理を実行するステップと、
を備えたことを特徴とする撮影画像処理方法である。

上述した課題を解決するために本発明は、
移動する被写体を撮影した画像を処理する撮影画像処理装置のコンピュータを制御するためのプログラムであって、
前記コンピュータを、
移動する被写体を撮影した画像を処理する撮影画像処理装置であって、
前記被写体を固定位置からその被写体の移動に合わせて撮影方向を変化させながらの複数回の撮影により得られた一連の撮影画像を取得する画像取得手段、
前記画像取得手段により取得された一連の撮影画像から該被写体の撮影サイズの時間的変化を特定する特定手段、
前記特定手段によって特定された撮影サイズの時間的変化の関数を用いて、前記被写体の移動に関するパラメータを算出する算出手段、
前記算出手段によって算出された被写体の移動に関するパラメータを用いて、前記一連の撮影画像に関する所定処理を実行する制御手段、
として機能させるようにしたコンピュータ読み取り可能なプログラムである。

本発明によれば、移動する被写体の状態を再生して確認可能とするために撮影された画像から被写体の移動に関する情報を算出して、その情報を画像再生の制御情報として利用することができ、被写体の移動に関する情報を算出するための撮影と、移動する被写体の状態を再生により確認可能とするための撮影とを同時に実現することが可能となる。

撮影画像処理装置として適用したデジタルカメラの基本的な構成要素を示したブロック図。 （１）〜（３）は、カメラの前を通過する移動被写体（マラソンランナー）をパンニング撮影した動画の中から任意に選択した複数のフレーム画像を例示した図。 （１）、（２）は、パラメータ設定画面への選択操作によって設定される計算式を示した図。 パンニング撮影された動画データから被写体の移動に関するパラメータを求めて保存するパラメータ算出処理を説明するためのフローチャート。 ユーザ操作により動画再生が指示された際に実行開始される動画再生処理（本実施形態の特徴部分）を示したフローチャート。 被写体が等速直線運動しているものと仮定した場合に、その被写体の移動に関する情報（未知パラメータ）として画像上の被写体（物体）サイズを求める計算式を説明するための図。 マラソン大会時にパンニング撮影した動画と、マラソン練習時にパンニング撮影した動画とが再生画面に並列して表示されている状態を示した図。 （１）、（２）は、第１実施形態の変形例として、曲がり角や円弧のトラック上で等速運動している場合を説明するための図。 第２実施形態の特徴的な動作として移動経路（マラソンコース）の入力処理を示したフローチャート。 第２実施形態で使用する経路テーブルを説明するための図。 第２実施形態においてカメラ位置と、パンニング撮影の範囲内での移動経路上の各地点との実際の位置関係を示した図。 （１）〜（３）は、第２実施形態において未知パラメータの推定が誤っている場合を例示した図。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。
（第１実施形態）
先ず、図１〜図７を参照して本発明の第１実施形態を説明する。
本実施形態は、撮影画像処理装置として、撮像装置（デジタルカメラ）に適用した場合を示し、図１は、このデジタルカメラの基本的な構成要素を示したブロック図である。
デジタルカメラは、静止画像のほかに動画像の撮影も可能なデジタルコンパクトカメラ（デジタルスチルカメラ／ビデオカメラ）であり、画像を撮影する撮像機能、現在日時やタイマ時間を計時する計時機能、記録保存している撮影済み画像を任意に読み出して再生する画像再生機能、複数枚の静止画像を連続して高速撮影する連写機能などを備えている。

制御部１は、電源部（二次電池）２からの電力供給によって動作し、記憶部３内の各種のプログラムに応じてこのデジタルカメラの全体動作を制御するもので、この制御部１には図示しないＣＰＵ（中央演算処理装置）やメモリなどが設けられている。記憶部３は、例えば、ＲＯＭ、フラッシュメモリなどを有する構成で、後述する図４及び図５に示した動作手順に応じて本実施形態を実現するためのプログラムや各種のアプリケーションなどが格納されているプログラムメモリ３ａと、撮影済み画像を記録保存する画像メモリ３ｂなどを有している。なお、記憶部３は、例えば、ＳＤカード、ＩＣカードなど、着脱自在な可搬型メモリ（記録メディア）を含む構成であってもよく、図示しないが、通信機能を介してネットワークに接続されている状態においては所定のサーバ装置側における記憶領域を含むものであってもよい。

操作部４は、図示省略したが、押しボタン式の各種のボタンとして、撮影可能な状態とする撮影モードと撮影画像を再生する再生モードを任意に切り替えるモード変更ボタンと、撮影開始を指示するシャッタボタン（レリーズボタン）と、撮影パラメータを設定する設定ボタンなどを備えている。制御部１は、この操作部４から操作ボタンに対応して出力される入力操作信号に応じて、例えば、モード変更処理、撮影処理、撮影条件の設定処理などを行う。撮像部５は、光学レンズからの被写体画像が撮像素子（ＣＣＤやＣＭＯＳなど）に結像されることにより被写体を高精細に静止画撮影することが可能なもので、撮影レンズ、撮像素子、ストロボ、各種のセンサ、アナログ処理部、デジタル処理部を有している。この撮像部５によって撮影された画像は、その画像のサイズを縮小することによって圧縮（可逆圧縮）してファイル化する画像圧縮処理が施された後に、記憶部３に記録保存される。

タッチスクリーン６は、表示部６ａにタッチパネル６ｂを備え、カメラ筐体の背面側（撮影レンズの反対側）に、その全域に亘って配置されたもので、この表示パネル６ａの上にタッチパネル６ｂを積層配設した構成となっている。そして、タッチスクリーン６は、各種のソフトウェアキー（タッチキー）を割り当て配置してその機能名を表示したり、指などによるタッチ操作を感知してそのタッチ操作に応じた操作信号を入力したりする。なお、表示パネル６ａは、例えば、液晶パネルであり、ライブビュー画像を表示するモニタ画面（ファインダ画面）となったり、撮影画像を再生する再生画面となったりする。タッチパネル６ｂは、例えば、静電容量方式あるいは抵抗皮膜方式を採用しているが、その他の方式であってもよい。

図２は、カメラの前を通過する移動被写体（マラソンランナー）をパンニング撮影した動画の中から任意に選択した複数のフレーム画像を例示した図である。
本実施形態において制御部１は、被写体（マラソンランナー）を固定位置（固定したカメラ位置）からその被写体の移動に合わせて撮影方向を変化させながらの複数回の撮影により得られた一連の撮影画像として、例えば、三脚利用又は手持ちによる固定位置（カメラ位置）からその移動被写体をパンニング撮影された動画を取得し、この被写体（マラソンランナー）の状態を再生して確認可能とするために、パンニング撮影された動画データに基づいてその被写体の移動に関する情報（未知パラメータ）を算出するようにしている。

そして、制御部１は、算出した被写体の移動に関する情報（未知パラメータ）を、パンニング撮影された動画を再生する際にその再生動作を制御する再生制御情報として、その動画データに対応付けて保存するようにしている。この場合、制御部１は、パンニング撮影された動画の中から被写体の撮影サイズ（画像上の被写体サイズ）の時間的変化を特定し、この撮影サイズの時間的変化の関数として、各種の被写体の移動に関する情報（未知パラメータ）をそれぞれ算出するようにしている。

図２（１）〜（３）は、パンニング撮影された動画の中から被写体の撮影サイズ（画像上の被写体サイズ）の時間的変化を特定するために、パンニング撮影された動画の中から複数のフレーム（図示の例では３フレーム）をユーザ操作によって任意に選択した場合で、ユーザは被写体が同じ姿勢となるタイミングのフレームを選択するようにしている。この場合、被写体の移動に関する情報（未知パラメータ）の算出を精度良く行うために、選択するフレーム数が未知パラメータの個数よりも多くなるようにしている。例えば、未知パラメータの個数が“２”であれば、フレームを“３”以上選択するようにしている。また、図示の例は、同じ姿勢のフレームとして、被写体が右足接地したタイミングの姿勢（右足接地）のフレームを選択した場合を示しているが、例えば、左足接地の姿勢など、同じ姿勢であれば、どのような姿勢を選択するようにしてもよい。

図２（１）は、被写体がカメラに向かってくる（接近してくる）タイミングで撮影したフレーム画像を示し、図２（２）は、被写体がカメラの前を通過するときのタイミングで撮影したフレーム画像を示し、図２（３）は、被写体がカメラの前を通り過ぎたときのタイミングで撮影したフレーム画像を示している。このように任意のフレーム画像を選択する操作が行われると、その選択フレーム対応の撮影時刻ｔ_１、ｔ_２、ｔ_３が得られる。この撮影時刻ｔ_１、ｔ_２、ｔ_３は、内臓時計による標準時刻であってもよいが、動画撮影の場合は撮影開始からの経過時間（例えば、マラソンのスタートと同時に撮影を開始した場合であれば、マラソンのスタート時刻からの経過時間）を用いる。一般的な動画データの場合には、特に個々のフレームに対して撮影時刻（撮影時間）の情報は付加されていないが、動画撮影時のフレームレートが固定であれば、フレーム間隔（例えば１／３０秒）に対してフレーム識別用の番号（一連番号：フレーム番号）を乗算することにより撮影開始からの経過時間を得ることができる。

そして、各フレーム画像上において被写体の高さ（略身長）を指定するために所定のマーク（矢印マーク）をタッチ操作（例えば、スライド操作）によって描画する。なお、図示の例では、画像の外に矢印マークを示したが、画像内の被写体上に矢印マークを重ね合せるように描画する。矢印マークは、両端に矢印を付加したもので、一端の矢印を被写体（ランナー）の頭頂部に合わせ、他端の矢印を被写体のつま先に合わせることによって画像上の被写体サイズを指定すると、矢印マークの長さが画像上の被写体サイズｈ_１、ｈ_２、ｈ_３となる。

上述の例では、画像上の被写体サイズとして被写体の略身長を指定するようにしたが、その被写体サイズの指定は、これに限らず、例えば、矢印マークの一端をゼッケンの高さなどに合わせるようにしてもよい。ここで、カメラの前を通過するランナーをパンニング撮影した場合であるから、光学倍率が同じズーム倍率であれば、画像上の被写体サイズｈ_１、ｈ_２、ｈ_３のうち、図２（２）のタイミングで撮影した被写体サイズｈ_２が一番大きい値となる。このようにして選択したフレームの撮影時刻ｔ_１、ｔ_２、ｔ_３とそのフレーム内の被写体サイズｈ_１、ｈ_２、ｈ_３、つまり、測定値（ｔ_ｉ，ｈ_ｉ）に基づいて、制御部１は、被写体の撮影サイズ（画像上の被写体サイズ）の時間的変化を特定する。なお、ｉ＝１，２，…，ｎを示し、選択フレーム数でｔ_ｉが確定し、また、選択フレーム毎のマーキングに応じてその画像上の被写体サイズｈ_ｉが確定することになる。

図３は、パラメータ設定画面への選択操作によって設定される計算式を示した図である。
図３（１）は、パラメータ設定画面を示している。このパラメータ設定画面は、画像上の被写体の時間的変化に影響を与える所定のパラメータのうち、既知のパラメータ（確定値：測定値）と未知のパラメータ（推定値：概算値）を選択するための画面で、“物体長（Ｈ）”、“最短距離（Ｙ）”のパラメータに対応してそのチェック欄が設けられており、少なくともそのいずれかのパラメータにチェックを入れるか否かに応じて既知パラメータ又は未知パラメータとして選択するようにしている。“物体長（Ｈ）”は、被写体（ランナー）の実サイズ（身長）を示し、“最短距離（Ｙ）”は、カメラと被写体（ランナー）とが最も接近したときの距離（カメラの前をランナーが通過するときの距離）を示している。図示の例は、“物体長（Ｈ）”のパラメータのみにチェックを入れた場合を示し、“物体長（Ｈ）”が既知パラメータ（確定値）、“最短距離（Ｙ）”が未知パラメータとして選択されて設定した場合である。

図３（２）は、パラメータ設定画面上の選択に応じて指定される計算式の設定を示した図で、その設定に応じて未知パラメータ（ベクトル）ｐの次元と内容が変化することを示している。すなわち、“物体長（Ｈ）”、“最短距離（Ｙ）”の両方のパラメータにチェックが入れられた場合、未知パラメータは、ｐ＝（ｖ，ｔ_０）となり、既知パラメータ（確定値）の“物体長（Ｈ）”及び“最短距離（Ｙ）”が計算式の定数となる。また、“最短距離（Ｙ）”のパラメータのみにチェックが入れられた場合、未知パラメータは、ｐ＝（Ｈ，ｖ，ｔ_０）となり、既知パラメータの“最短距離（Ｙ）”が定数となる。また、“物体長（Ｈ）”のパラメータのみにチェックが入れられた場合、未知パラメータは、ｐ＝（Ｙ，ｖ，ｔ_０）となり、既知パラメータの“物体長（Ｈ）”が定数となる。なお、“物体長（Ｈ）”、“最短距離（Ｙ）”の両方のパラメータにチェックが入れられなかった場合、つまり、“物体長（Ｈ）”、“最短距離（Ｙ）”の両方が未知パラメータの場合には、設定不可（計算不能）となる。

次に、第１実施形態におけるデジタルカメラの動作概念を図４及び図５に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。また、ネットワークなどの伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。このことは後述する他の実施形態においても同様であり、記録媒体のほかに、伝送媒体を介して外部供給されたプログラム／データを利用して本実施形態特有の動作を実行することもできる。
なお、図４、図５は、デジタルカメラの全体動作のうち、本実施形態の特徴部分の動作概要を示したフローチャートであり、この図４、図５のフローから抜けた際には、全体動作のメインフロー（図示省略）に戻る。

図４は、パンニング撮影された動画データから被写体の移動に関するパラメータを求めて保存するパラメータ算出処理を説明するためのフローチャートである。
先ず、制御部１は、撮影済み画像が記録保存されている画像メモリ３ｂからユーザ操作に応じて選択された画像データ（パンニング撮影された動画データ）を取得し（ステップＡ１）、その画像の再生を開始する（ステップＡ２）。この画像再生中にユーザ操作によって任意のフレームが選択されると、その選択フレームの撮影時刻を取得する（ステップＡ３）。そして、その選択フレーム内の被写体位置に所定のマークを描画すべきことを示すメッセージを表示させ、それに応じて矢印マークが被写体上に描画されると、その矢印マークの大きさを被写体の身長（画像上の被写体サイズ）として取得するマーキング処理を行う（ステップＡ４）。

そして、フレーム選択の終了を指示するユーザ操作（例えば、タッチ操作）が行われたかを調べ（ステップＡ５）、その終了操作が行われるまで上述のフレーム選択処理（ステップＡ３）及びマーキング処理（ステップＡ４）を繰り返す。いま、フレーム選択の終了が指示されたときには（ステップＡ５でＹＥＳ）、そのフレーム選択数を多数回（ｎ）として計数して一時記憶しておく（ステップＡ６）。そして、選択した各フレームの撮影時刻とそのフレーム内の被写体サイズに基づいて制御部１は、画像上の被写体サイズの時間的変化を特定する（ステップＡ７）。この場合、ｎ個のフレームの撮影時刻（フレーム番号）ｔ_ｉと、その時点における画像上の被写体サイズｈ_ｉの対がｎ組となる観測サンプル（ｔ_ｉ，ｈ_ｉ）_，ｉ＝１，２，…，ｎが与えられる。なお、多数回（ｎ）が“３”であれば、各フレームの撮影時刻はｔ_１、ｔ_２、ｔ_３となり、画像上の被写体サイズは、ｈ_１、ｈ_２、ｈ_３となる。

次に、パラメータ設定画面（図３（１）参照）を表示させ、“物体長（Ｈ）”、“最短距離（Ｙ）”対応のチェック欄にチェックが入れられたか否かに応じて既知パラメータ、未知パラメータを選択特定して一時記憶する処理に移る（ステップＡ８）。ここで、チェックが入れられると、それに対応するパラメータを既知パラメータとして特定し、チェックが入れられなければ、それに対応するパラメータを未知パラメータとして特定する。この場合、例えば、“最短距離（Ｙ）”が不明であれば、“物体長（Ｈ）”にチェックを入れて予め測定しておいた物体長（実サイズ）をその測定値（確定値）として入力し、また、“物体長（Ｈ）”が不明であれば、“最短距離（Ｙ）”にチェックを入れて予め測定しておいた“最短距離（Ｙ）”をその測定値（確定値）として入力すればよい。なお、“物体長（Ｈ）”、“最短距離（Ｙ）”の両方にチェックが入れてそれらの測定値（確定値）が入力された場合には、フレーム選択数を多数回（ｎ）の値が小さくとも良い結果（未知パラメータの算出結果）を得ることが可能となる。

そして、上述のパラメータ設定画面の内容に基づいて未知パラメータ（ベクトル）ｐの次元（パラメータ数）を確定する（ステップＡ９）。いま、パラメータ設定画面において、図３（１）に示すように“物体長（Ｈ）”のみにチェックが入れられた場合には、図３（２）に示すように、未知パラメータはｐ＝（Ｙ，ｖ，ｔ_０）となり、未知パラメータ数は３個となる。ここで、未知パラメータｐは、フレーム選択数の多数回（ｎ）がｐの個数と等しければ、以下のｈ（ｔ）を含む連立方程式ｈ（ｔ_ｉ）_，ｈ_ｉ，ｉ＝１，２，…，ｎを解くことにより得られる。なお、ｈ（ｔ）は、以下で詳述する図６に示すように、既知および未知の各種パラメータを用いて時刻ｔで撮影されたフレーム画像上の論理的な物体（被写体）サイズを示している。このように連立方程式を解くことにより未知パラメータｐを得る方法では精度が十分に得られないので、ｎをｐの個数よりも多くして、誤差評価関数（コスト関数）を設定し、それを最小化することにより未知パラメータｐを算出するために、誤差評価関数（コスト関数）Ｊの計算式を確定する処理を行うようにしている（ステップＡ１０）。

例えば、被写体の撮影サイズの時間的変化に関する最小二乗誤差を直接的に評価する誤差評価関数（コスト関数）に基づいてその誤差が最小となる最確値を未知パラメータとして算出するようにしている。この誤差評価関数（コスト関数）は、以下のようになり、偏差を生じることなく、精度の良い画像上の被写体サイズｈ_ｉが得られる。この場合、未知パラメータは、ｐ＝（ｖ，ｔ_０）、ｐ＝（Ｈ，ｖ，ｔ_０）、ｐ＝（Ｙ，ｖ，ｔ_０）のいずれかとなる。

図６は、被写体（ランナー）が等速直線運動（厳密ではなく近似的に一定速度及び一定方向に移動）しているものと仮定した場合に、その被写体の移動に関する情報（未知パラメータ）として画像上の被写体（物体）サイズを求める場合の計算式を説明するための図である。
Ｈ：物体（被写体）の実サイズ
ｆ：カメラ焦点距離
ｖ：物体（被写体）速度
Ｙ：カメラ位置から物体（被写体）までの最短距離
ｔ_０：最短距離Ｙでの撮影時刻
ｔ：撮影時刻（変数）
（ｘ（ｔ），ｙ（ｔ））：水平座標（ｘ座標軸を物体の移動経路と並行にとった座標系）
ｄ（ｔ）：時刻ｔにおける物体（被写体）とカメラとの距離
ｈ（ｔ）：時刻ｔで撮影されたフレーム画像上の物体（被写体）サイズ

ここで、図６のフローチャートは、誤差評価関数（コスト関数）Ｊの最小化計算に反復法を用いて、その最小値を特定する場合を例示したもので、その際、最小値に近づくほど、注目点の勾配（目的関数の微分）が小さくなる（“収束する”）という、勾配降下法を用いてその最小値を特定するようにしている。なお、この勾配降下法は、一般的であるため、その詳細は省略するが、先ず、未知パラメータｐにその初期値を設定（推定）する（ステップＡ１１）。この場合、初期値として物体（被写体）速度ｖ及び撮影時刻ｔ_０が設定され、例えば、未知パラメータｐが物体（被写体）速度ｖであれば、一般的なランニング速度の典型値（例えば、平均値）がその初期値として設定され、最短距離Ｙでの撮影時刻ｔ_０であれば、パンニング撮影期間の中点時刻又は画像上の被写体サイズが最大となる時刻がその初期値として設定される。

そして、次のステップＡ１２では、未知パラメータｐを勾配の逆方向に動かすために「Δｐ←−ｋ∇Ｊ（ｐ）」の処理を行う。∇Ｊ（ｐ）は、コスト関数Ｊのｐにおける勾配ベクトルであり、各成分は数式の導関数又は数値微分により求める。ｋは、スカラー実数のステップ調整定数である。そして、未知パラメータｐの動きが収束したかを調べる（ステップＡ１３）。この場合、収束判定条件としては、Ｊが十分に小さい、｜Δｐ｜が十分に小さい、あるいはＪ（ｐ）＜Ｊ（ｐ＋Δｐ）などを用いる。いま、最初は収束していないので（ステップＡ１３でＮＯ）、未知パラメータｐを更新するために「ｐ＝ｐ＋Δｐ」の処理（ステップＡ１４）を行った後、上述のステップＡ１３に戻り、以下、上述の動作を反復する。これによって収束判定条件の成立を検出したときには（ステップＡ１３でＹＥＳ）、反復計算を終了してそのときの未知パラメータｐを特定し、その動画データを再生する際にその再生動作を制御する再生制御情報として、動画データに対応付けて記録保存する処理を行う（ステップＡ１５）。

このように画像上の被写体サイズの時間的変化ｈ（ｔ）の関数として、被写体の移動に関する情報（未知パラメータ）ｐを算出すると、この未知パラメータｐを用いて他の各種の未知パラメータを算出する（ステップＡ１６）。例えば、撮影角度（ｘ座標軸と撮影方向との角度：図６参照）θは、次式に基づいて算出する。これによって算出された撮影角度θは、その動画データを再生する際にその再生動作を制御する再生制御情報として、動画データに対応付けて記録保存される（ステップＡ１７）。その後、図４のフローから抜ける。

図５は、ユーザ操作により動画再生が指示された際に実行開始される動画再生処理（本実施形態の特徴部分）を示したフローチャートである。
先ず、制御部１は、動画一覧を表示させている状態において、その一覧画面の中から同時再生の対象となる複数の動画データがユーザ操作により選択されると（ステップＢ１）、画像メモリ３ｂから選択された各動画データを読み出すと共にそれに対応付けられている再生制御情報（撮影角度θを含む）を読み出す（ステップＢ２）。図７は、マラソン大会時にパンニング撮影された動画と、マラソン練習時にパンニング撮影された動画とをユーザが見比べながらランニングフォームなどを比較するために、それらの動画が再生対象として選択された場合であり、複数の動画データが選択されると、制御部１は、各動画データの再生を同時に開始する（ステップＢ３）。これによって図７に示すように複数の動画が再生画面に並列表示される。

このようにして同時再生を開始させると、各動画において同じ撮影角度θのフレーム同士が同時に再生されるように各動画の再生速度を調整すると共に（ステップＢ４）、その撮影角度θを示す角度ガイドマーク（矢印マーク）を対応するフレーム画像内の所定位置（図示の例では右上隅部）に表示させる（ステップＢ５）。図示の例では、撮影角度θを示す角度ガイドマークの矢印方向によって右４５°方向、中央方向、左４５°方向を明示している場合である。次に、各動画において同じ撮影角度θのフレーム同士で同じ被写体が同一のサイズとなるように被写体サイズを調整する（ステップＢ６）。そして、ユーザ操作により撮影角度を指定する操作が行われたかを調べる（ステップＢ７）。この場合、この再生画面において、上述の角度ガイドマーク（矢印マーク）を任意の方に回してその矢印方向を変更することにより新たな撮影角度θが指定されると、つまり、角度指定操作が行われると（ステップＢ７でＮＯ）、ステップＢ１１に移り、再生終了を指示する操作が行われたかを調べ、再生終了が指示されるまで上述のステップＢ５に戻る。

いま、角度指定操作が行われたときには（ステップＢ７でＹＥＳ）、各動画の再生を一時停止すると共に（ステップＢ８）、各動画データの中から指定された撮影角度θに対応付けられているフレームを検索し（ステップＢ９）、各動画から該当するフレームを読み出して再生を再開させる（ステップＢ１０）。これによってユーザは、希望する撮影角度の画像を見比べることができる。そして、ステップＢ１１に移り、再生終了を指示する操作が行われたかを調べ、再生終了が指示されるまで上述のステップＢ５に戻る。

以上のように、第１実施形態において制御部１は、被写体を固定位置からその被写体の移動に合わせて撮影方向を変化させながらの複数回の撮影により得られた一連の撮影画像を取得し、この一連の撮影画像から該被写体の撮影サイズの時間的変化を特定すると共に、この撮影サイズの時間的変化の関数として、被写体の移動に関するパラメータを算出し、このパラメータを一連の撮影画像を再生する際の再生制御情報として、該一連の撮影画像に対応付けて画像メモリ３ｂに保存するようにしたので、移動する被写体の状態を再生して確認可能とするために撮影された画像から被写体の移動に関する情報を算出し、その情報を画像再生の制御情報として利用することができ、被写体の移動に関する情報を算出するための撮影と、移動する被写体の状態を再生により確認可能とするための撮影とを同時に実現することが可能となる。

パラメータ設定画面において“物体長（Ｈ）”、“最短距離（Ｙ）”対応のチェック欄にチェックが入れられたか否かに応じて既知パラメータ、未知パラメータが任意に選択された場合に、制御部１は、画像上の被写体サイズの時間的変化と、選択した既知のパラメータに基づいて被写体の移動に関するパラメータ（未知パラメータ）を算出するようにしたので、既知パラメータ、未知パラメータを固定化せずに自由に選択することができ、柔軟な対応が可能となる。

制御部１は、一連の画像の中からユーザ操作により任意の画像が複数選択されると共に、その選択画像内の被写体の大きさが任意に指定されると、その指定に応じて被写体サイズの時間的変化を特定するようにしたので、ユーザにあっては所望する姿勢の被写体とそのサイズを自由に指定することが可能となる。

制御部１は、被写体の撮影サイズの時間的変化に関する最小二乗誤差を評価する誤差評価関数に基づいてその誤差が最小となる最確値を未知パラメータとして算出するようにしたので、偏差を生じることなく、精度の良い画像上の被写体サイズを容易に得ることが可能となる。

制御部１は、パンニング撮影された一連の撮影画像を再生する際に、その一連の撮影画像に対応付けて保存されている再生制御情報に基づいてその再生動作を制御するようにしたので、画像の再生時に移動する被写体の状態に応じた再生が可能となり、ユーザにあっては被写体の状態を的確に確認することができる。

制御部１は、撮影画像の再生時にその画像に対応付けられている撮影角度を読み出して順次表示する処理を制御するようにしたので、ユーザにあってはどの角度からのパンニング撮影であるかを視覚的に確認することができる。

制御部１は、パンニング撮影された複数の一連の撮影画像（例えば、マラソン大会時に撮影されたか画像とマラソン練習時に撮影された画像）を同時に再生する際に再生対象として指定された各一連の撮影画像において同じ撮影角度のフレーム画像同士が同時に再生されるように各一連の撮影画像の再生速度を制御するようにしたので、マラソンフォームを比較する際に、例えば、関節の曲がり具合なども容易に見比べることができる。

制御部１は、一連の撮影画像の再生時に任意の撮影角度が指定された際に、その一連の撮影画像の中から指定された撮影角度に対応付けられている画像を検索してそのフレーム画像の再生を行うようにしたので、マラソンフォームを比較する際に、ユーザの所望する撮影角度でのフォームを比較することが可能となり、相違点の発見が容易なものとなる。

制御部１は、パンニング撮影された複数の一連の撮影画像（例えば、マラソン大会時に撮影されたか画像とマラソン練習時に撮影された画像）を同時に再生する際に再生対象として指定された各一連の撮影画像において同じ被写体のサイズが同じとなるように被写体サイズを調整する処理を制御するようにしたので、マラソンフォームを比較する際に、同一サイズでの比較が可能となり、相違点の発見が容易なものとなる。

なお、上述した第１実施形態においては、被写体が等速直線運動している場合を想定した場合であるが、曲がり角や円弧のトラック上で等速運動している場合には、図８（１）、（２）に示すようにカメラ位置が円弧の中心位置であれば、その円弧を走行する被写体をパンニング撮影した場合に、撮影時刻ｔ_Ｂからｔ_Ａまでの区間では画像上の被写体サイズには変化は起こらないためにその区間を無視するようにすれば、等速直線運動と変わらないようになる。この場合、前処理によってｔ_Ｂからｔ_Ａまでの区間をユーザ操作により取り除くようにすれば、その前後は直線となるために等速直線運動と等価となる。なお、図中、矢印方向が被写体の移動方向を示している。

上述した第１実施形態においては、パンニング撮影された動画の中から複数のフレームをユーザ操作によって任意に選択した場合に、その選択したフレーム数を未知パラメータの個数ｎとしたが、ユーザ操作によりフレームを選択する場合に限らず、例えば、時間的に等間隔となるように複数（ｎ個）のフレームを自動的に選択するようにしてもよい。
また、個々の画像の撮影時刻（相対的な撮影時間の差）がわかる撮影であれば、動画撮影でなくとも静止画撮影であってもよく、この場合、静止画の撮影指示操作によって上記のフレーム選択操作を兼用するようにしてもよく、静止画の撮影指示回数をフレーム選択回数ｎとしてもよい。

上述した第１実施形態においては、パラメータ算出処理により算出された被写体の移動に関するパラメータを動画データに対応付けて保存しておき、この保存した被写体の移動に関するパラメータを動画データの再生時に、再生動作を制御する情報として利用したが、再生動作以外に利用してもよい。例えば、このパラメータ（例えば、移動速度を含む）が対応付けられた複数の動画データの中から最もランナーの移動速度が速い動画データを選択する場合などに、被写体の移動に関するパラメータを利用するようにしてもよい。

また、上述した第１実施形態においては、算出したパラメータをいったん保存してからそのパラメータを利用したが、パラメータを算出した直後に利用することによりパラメータを保存しないようにしてもよい。例えば、算出したランナーの移動速度が所定速度よりも遅い動画データを自動削除する場合などにパラメータを利用するようにしすれば、そのパラメータの保存が不要となる。

上述した第１実施形態においては、選択フレームの画像上において被写体の高さ（略身長）を指定するために所定のマーク（矢印マーク）をタッチ操作（例えば、スライド操作）によって描画すると、その矢印マークの長さが画像上の被写体サイズとして設定するようにしたが、ユーザ操作によらず、撮影画像を解析することによって画像上の被写体サイズを自動的に算出するようにしてもよい。例えば、背景差分（背景位置合せによるフレーム間差分）を行い、動体部分を被写体として特定すれば、その画像上の被写体サイズを算出することが可能となる。

上述した第１実施形態においては、ｐ＝（ｖ，ｔ_０）、ｐ＝（Ｈ，ｖ，ｔ_０）、ｐ＝（Ｙ，ｖ，ｔ_０）としたが、ｔ_０を明示的に与えるようにすれば、未知パラメータは、ｖとなり、より正確な解が得られる。

例えば、画像上の被写体サイズに関する最小二乗誤差を直接的に評価するための誤差評価関数（コスト関数）を採用する場合を示したが、ユーザ操作により指定された画像上の被写体サイズｈ_ｉから被写体までの距離ｄ_ｉ＝Ｈｆ／ｈ_ｉを求め、この距離ｄ_ｉとＹからｘ座標ｘ_ｉを求め、更に、ｔ_１とｘ_ｉ、ｔ_２とｘ_２の関係から移動速度ｖを求めるようにしてもよい。

（第２実施形態）
以下、この発明の第２実施形態について図９〜図１２を参照して説明する。
なお、上述した第１実施形態においては、移動する被写体が等速直線運動すると仮定した場合を例示したが、この第２実施形態においては、移動経路（マラソンコース）に沿って被写体が等速運動する場合を例示したものである。ここで、両実施形態において基本的あるいは名称的に同一のものは、同一符号を付して示し、その説明を省略すると共に、以下、第２実施形態の特徴部分を中心に説明するものとする。

図９は、第２実施形態において移動経路（マラソンコース）の入力処理を示したフローチャートである。
先ず、制御部１は、インターネットなどから受信取得した地図データを表示させると共に（ステップＣ１）、タッチ操作で地図のスクロールによりユーザの所望する移動経路（マラソンコース）が表示された状態において（ステップＣ２）、その移動経路上のスタート地点へのタッチ操作（指示操作）が行われると（ステップＣ３でＹＥＳ）、そのスタート地点の位置を特定する（ステップＣ４）。なお、スタート地点の位置を平面座標系の原点（０，０）としている。

このようにスタート地点を指示した後にその移動経路（マラソンコース）に沿ってタッチ操作（指示操作）が行われると（ステップＣ５でＹＥＳ）、スタート地点を基準とした各位置（スタート地点からの距離）を算出特定して（ステップＣ６）、後述する経路テーブル（図１０参照）を作成し、スタート地点と共に各位置を経路テーブルに書き込む処理を行う（ステップＣ７）。以下、コール地点を指示する操作が行われるまで（ステップＣ８）、上述のステップＣ５に戻る。ここで、コール地点が指示されると（ステップＣ８でＹＥＳ）、経路テーブルを保存する（ステップＣ９）。図１０は、経路テーブルを説明するための図で、経路テーブルは、「スタート地点からの距離（位置）」、「Ｘ座標」、「Ｙ座標」の項目を有し、スタート地点からの各位置は、１ｍ間隔で、スタート地点は（０，０）、Ｋ１地点は（ｘ１，Ｙ１）、…、となっている。

図１１は、カメラ位置と、パンニング撮影の範囲内での移動経路上の各地点との実際の位置関係を示した図である。
図中、（ｔ０，ｘ０，ｙ０）、（ｔ１，ｘ１，ｙ１）、…、（ｔ５，ｘ５，ｙ５）は、パンニング撮影の範囲内においてスタート地点から移動経路上の各地点まで時刻と位置（ｘ座標，ｙ座標）を示している。また、未知パラメータｄ０、ｄ１、…、ｄ５は、パンニング撮影の範囲内においてカメラの実際の位置（実位置）から移動経路上の各地点（ｔ０，ｘ０，ｙ０）、（ｔ１，ｘ１，ｙ１）、…、（ｔ５，ｘ５，ｙ５）までの距離を示している。また、Ｌ０、Ｌ１、…、Ｌ４は、各地点の間隔を示している。この場合、Ｌ０＝ｖ（ｔ１−ｔ０）、Ｌ１＝ｖ（ｔ２−ｔ１）、…、Ｌ４＝ｖ（ｔ５−ｔ４）となる。また、ｄ０＝Ｈｆ／ｈ０、ｄ１＝Ｈｆ／ｈ１、…、ｄ５＝Ｈｆ／ｈ５となる。

第２実施形態においては、上述の第１実施形態に加えて移動経路（マラソンコース）を次のようにして反映させるようにしている。なお、第２実施形態において移動経路の反映以外は、上述の第１実施形態と同様であるので、その説明は省略するものとする。
ｓ：スタート位置から移動経路に沿った走行距離
ｘ（ｓ）＝スタート位置から移動経路に沿って距離ｓだけ走行した地点のｘ座標
ｙ（ｓ）＝スタート位置から移動経路に沿って距離ｓだけ走行した地点のｙ座標
なお、ｘ（０）はスタート位置のｘ座標、ｙ（０）はスタート位置のｙ座標
ｔ０：スタート時刻
ｓ（ｔ）＝ｖ（ｔ-ｔ０）：時刻ｔにおけるスタート位置から移動経路に沿った走行距離
ｘ（ｔ）＝ｘ（ｓ（ｔ））＝ｘ（ｖ（ｔ-ｔ０））
ｙ（ｔ）＝ｙ（ｓ（ｔ））＝ｙ（ｖ（ｔ-ｔ０））

図１２（１）〜（３）は、未知パラメータの推定が誤っている場合を例示したもので、図１２（１）は、ｔ０時の実際の位置（ｔ０，ｘ０，ｙ０）に対してそのｔ０時のランナー位置推定（ｔ００，ｘ００，ｙ００）が誤っている場合を示し、未知パラメータｄ０、ｄ１、…、ｄ５には、誤差ｅ０〜誤差ｅ５が生じる（ここでは図示しやすくするために距離の誤差で説明しているが、実際には被写体サイズの誤差として計算する）。このように推定が誤っている場合には、誤差ｅ０〜誤差ｅ５の二乗の平均を最小化すればよい。同様に、図１２（２）は、ランナーの移動速度の推定が誤っている場合を示し、Ｌ０は、実際の地点間隔を示し、Ｌ００は、ランナーの移動速度の推定が誤っている場合の地点間隔を示している。図１２（３）は、カメラ位置の推定が誤っている場合を示している。

以上のように、第２実施形態においては、被写体の移動経路が入力された場合に、この移動経路を既知のパラメータとして含むようにしたので、被写体が直線運動する場合に限らず、移動経路に沿って円弧などを描くようして移動する場合でも同様に適用可能となる。また、未知パラメータとしては、画像上の物体（被写体）サイズｈ（ｔ）のほかに、被写体の移動経路に対するカメラ位置から被写体までの距離ｄ（ｔ）を求めることができる。

なお、上述した各実施形態においては、動画によるパンニング撮影を例示したが、高速連写によるパンニング撮影であっても同様に適用可能である。

また、上述した各実施形態においては、マラソンのランナーを被写体とした場合を例示したが、移動する被写体は、自転車などであってもよい。

また、上述した各実施形態においては、デジタルカメラが撮影画像に基づいて被写体の移動に関するパラメータを算出して保存する処理を行ったり、その画像を再生する処理を行ったりするようにしたが、画像再生処理は、デジタルカメラに限らず、他の再生装置で行うようにしてもよい。

また、上述した各実施形態においては、撮影画像処理装置としてデジタルカメラに適用した場合を例示したが、これに限らず、パーソナルコンピュータ、ＰＤＡ（個人向け携帯型情報通信機器）、タブレット端末装置、スマートフォン以外の携帯電話機、電子ゲーム、音楽プレイヤーなどであってもよい。

また、上述した各実施形態において示した“装置”や“部”とは、機能別に複数の筐体に分離されていてもよく、単一の筐体に限らない。また、上述したフローチャートに記述した各ステップは、時系列的な処理に限らず、複数のステップを並列的に処理したり、別個独立して処理したりするようにしてもよい。

以上、この発明の実施形態について説明したが、この発明は、これに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下、本願出願の特許請求の範囲に記載された発明を付記する。
（付記）
（請求項１）
請求項１に記載の発明は、
移動する被写体を撮影した画像を処理する撮影画像処理装置であって、
前記被写体を固定位置からその被写体の移動に合わせて撮影方向を変化させながらの複数回の撮影により得られた一連の撮影画像を取得する画像取得手段と、
前記画像取得手段により取得された一連の撮影画像から該被写体の撮影サイズの時間的変化を特定する特定手段と、
前記特定手段によって特定された撮影サイズの時間的変化の関数を用いて、前記被写体の移動に関するパラメータを算出する算出手段と、
前記算出手段によって算出された被写体の移動に関するパラメータを用いて、前記一連の撮影画像、
を備えたことを特徴とする撮影画像処理装置である。
（請求項２）
請求項２に記載の発明は、請求項１に記載の撮影画像処理装置において、
前記被写体の撮影サイズの時間的変化に影響を与える所定のパラメータの中から既知のパラメータと未知のパラメータを選択して特定する選択手段を更に備え、
前記算出手段は、前記特定手段によって特定された撮影サイズの時間的変化と前記選択手段によって選択された既知のパラメータに基づいて前記被写体の移動に関するパラメータを算出する、
ことを特徴とする撮影画像処理装置である。
（請求項３）
請求項３に記載の発明は、請求項２に記載の撮影画像処理装置において、
前記選択手段は、パラメータ設定画面上においてカメラとの最短距離、被写体の実サイズの各々を、前記既知のパラメータ又は前記未知のパラメータとして任意に選択する、
ことを特徴とする撮影画像処理装置である。
（請求項４）
請求項４に記載の発明は、請求項１〜請求項３のいずれか１項に記載の撮影画像処理装置において、
前記一連の画像の中からユーザ操作により任意の画像を複数選択すると共に、その選択画像内の被写体の大きさを任意に指定する指定手段を更に備え、
前記特定手段は、前記指定手段によって指定された複数の画像及び被写体の撮影サイズに応じて被写体の撮影サイズの時間的変化を特定する、
ことを特徴とする撮影画像処理装置である。
（請求項５）
請求項５に記載の発明は、請求項１〜請求項４のいずれか１項に記載の撮影画像処理装置において、
前記算出手段は、前記特定手段によって特定された被写体の撮影サイズの時間的変化に関する最小二乗誤差を評価する誤差評価関数に基づいてその誤差が最小となる最確値を未知パラメータとして算出する、
ことを特徴とする撮影画像処理装置である。
（請求項６）
請求項６に記載の発明は、請求項１〜請求項５のいずれか１項に記載の撮影画像処理装置において、
前記制御手段は、前記算出手段によって算出された被写体の移動に関するパラメータを利用して前記一連の撮影画像の再生を制御する、
ことを特徴とする撮影画像処理装置。
（請求項７）
請求項７に記載の発明は、請求項１〜請求項５のいずれか１項に記載の撮影画像処理装置において、
前記制御手段は、前記算出手段によって算出された被写体の移動に関するパラメータを、前記一連の撮影画像を再生する際にその再生動作を制御する再生制御情報として当該一連の撮影画像に対応付けて保存する、
ことを特徴とする撮影画像処理装置。
（請求項８）
請求項８に記載の発明は、請求項７に記載の撮影画像処理装置において、
前記一連の撮影画像を再生する際に、その一連の撮影画像に対応付けて前記記憶手段に保存されている再生制御情報に基づいてその再生動作を制御する再生制御手段を更に備える、
ことを特徴とする撮影画像処理装置である。
（請求項９）
請求項９に記載の発明は、請求項８に記載の撮影画像処理装置において、
前記被写体の移動に関するパラメータとして保存されている再生制御情報は、カメラと被写体との撮影角度を含み、
前記再生制御手段は、撮影画像の再生時にその画像に対応付けられている前記撮影角度を読み出して順次表示する処理を制御する、
ことを特徴とする撮影画像処理装置である。
（請求項１０）
請求項１０に記載の発明は、請求項８又は請求項９に記載の撮影画像処理装置において、
前記被写体の移動に関するパラメータとして保存されている再生制御情報は、カメラと被写体との撮影角度を含み、
前記再生制御手段は、前記複数の一連の撮影画像を同時に再生する際に再生対象として指定された各一連の撮影画像において同じ撮影角度の画像同士が同時に再生されるように各一連の撮影画像の再生速度を制御する、
ことを特徴とする撮影画像処理装置である。
（請求項１１）
請求項１１に記載の発明は、請求項８〜請求項１０のいずれか１項に記載の撮影画像処理装置において、
前記一連の撮影画像の再生時に、カメラと被写体との撮影角度を指定する指定手段を更に備え、
前記被写体の移動に関するパラメータとして保存されている再生制御情報は、カメラと被写体との撮影角度を含み、
前記再生制御手段は、前記一連の撮影画像の再生時に前記指定手段によって撮影角度が指定された際に、当該一連の撮影画像の中から前記撮影角度に対応付けられている画像を検索してその検索画像の再生を制御する、
ことを特徴とする撮影画像処理装置である。
（請求項１２）
請求項１２に記載の発明は、請求項８〜請求項１１のいずれか１項に記載の撮影画像処理装置において、
前記被写体の移動に関するパラメータとして保存されている再生制御情報は、画像上の被写体サイズを含み、
前記再生制御手段は、前記複数の一連の撮影画像を同時に再生する際に再生対象として指定された各一連の撮影画像において同じ被写体のサイズが同じとなるように被写体サイズを調整する処理を制御する、
ことを特徴とする撮影画像処理装置である。
（請求項１３）
請求項１３に記載の発明は、請求項２〜請求項１２のいずれか１項に記載の撮影画像処理装置において、
被写体の移動経路を入力する入力手段を更に備え、
前記既知のパラメータは、前記被写体の移動経路を含み、
前記未知のパラメータは、前記被写体の移動経路に対するカメラ位置から被写体までの距離を含む、
ことを特徴とする撮影画像処理装置である。
（請求項１４）
請求項１４に記載の発明は、
移動する被写体を固定位置からその被写体の移動に合わせて撮影方向を変化させながらの複数回の撮影により得られた一連の撮影画像を取得するステップと、
前記取得された一連の撮影画像から該被写体の撮影サイズの時間的変化を特定するステップと、
前記特定手段によって特定された撮影サイズの時間的変化を用いて、前記被写体の移動に関するパラメータを算出するステップと、
前記算出された被写体の移動に関するパラメータを用いて、前記一連の撮影画像に関する所定処理を実行するステップと、
を備えたことを特徴とする撮影画像処理方法である。
（請求項１５）
請求項１５に記載の発明は、
移動する被写体を撮影した画像を処理する撮影画像処理装置のコンピュータを制御するためのプログラムであって、
前記コンピュータを、
移動する被写体を撮影した画像を処理する撮影画像処理装置であって、
前記被写体を固定位置からその被写体の移動に合わせて撮影方向を変化させながらの複数回の撮影により得られた一連の撮影画像を取得する画像取得手段、
前記画像取得手段により取得された一連の撮影画像から該被写体の撮影サイズの時間的変化を特定する特定手段、
前記特定手段によって特定された撮影サイズの時間的変化の関数を用いて、前記被写体の移動に関するパラメータを算出する算出手段、
前記算出手段によって算出された被写体の移動に関するパラメータを用いて、前記一連の撮影画像に関する所定処理を実行する制御手段、
として機能させるようにしたコンピュータ読み取り可能なプログラムである。

１ 制御部
３ 記憶部
３ａ プログラムメモリ
３ｂ 画像メモリ
４ 操作部
５ 撮像部
６ タッチスクリーン

Claims (15)

1. 移動する被写体を撮影した画像を処理する撮影画像処理装置であって、
   前記被写体を固定位置からその被写体の移動に合わせて撮影方向を変化させながらの複数回の撮影により得られた一連の撮影画像を取得する画像取得手段と、
   前記画像取得手段により取得された一連の撮影画像から該被写体の撮影サイズの時間的変化を特定する特定手段と、
   前記特定手段によって特定された撮影サイズの時間的変化の関数を用いて、前記被写体の移動に関するパラメータを算出する算出手段と、
   前記算出手段によって算出された被写体の移動に関するパラメータを用いて、前記一連の撮影画像に関する所定処理を実行する制御手段と、
   を備えたことを特徴とする撮影画像処理装置。
2. 前記被写体の撮影サイズの時間的変化に影響を与える所定のパラメータの中から既知のパラメータと未知のパラメータを選択して特定する選択手段を更に備え、
   前記算出手段は、前記特定手段によって特定された撮影サイズの時間的変化と前記選択手段によって選択された既知のパラメータに基づいて前記被写体の移動に関する未知のパラメータを算出する、
   ことを特徴とする請求項１に記載の撮影画像処理装置。
3. 前記選択手段は、パラメータ設定画面上においてカメラとの最短距離、被写体の実サイズの各々を、前記既知のパラメータ又は前記未知のパラメータとして任意に選択する、
   ことを特徴とする請求項２に記載の撮影画像処理装置。
4. 前記一連の画像の中からユーザ操作により任意の画像を複数選択すると共に、その選択画像内の被写体の大きさを任意に指定する指定手段を更に備え、
   前記特定手段は、前記指定手段によって指定された複数の画像及び被写体の撮影サイズに応じて被写体の撮影サイズの時間的変化を特定する、
   ことを特徴とする請求項１〜請求項３のいずれか１項に記載の撮影画像処理装置。
5. 前記算出手段は、前記特定手段によって特定された被写体の撮影サイズの時間的変化に関する最小二乗誤差を評価する誤差評価関数に基づいてその誤差が最小となる最確値を未知パラメータとして算出する、
   ことを特徴とする請求項１〜請求項４のいずれか１項に記載の撮影画像処理装置。
6. 前記制御手段は、前記算出手段によって算出された被写体の移動に関するパラメータを利用して前記一連の撮影画像の再生を制御する、
   ことを特徴とする請求項１〜請求項５のいずれか１項に記載の撮影画像処理装置。
7. 前記制御手段は、前記算出手段によって算出された被写体の移動に関するパラメータを、前記一連の撮影画像を再生する際にその再生動作を制御する再生制御情報として当該一連の撮影画像に対応付けて保存する、
   ことを特徴とする請求項１〜請求項５のいずれか１項に記載の撮影画像処理装置。
8. 前記一連の撮影画像を再生する際に、その一連の撮影画像に対応付けて前記保存されている再生制御情報に基づいてその再生動作を制御する再生制御手段を更に備える、
   ことを特徴とする請求項７に記載の撮影画像処理装置。
9. 前記被写体の移動に関するパラメータとして保存されている再生制御情報は、カメラと被写体との撮影角度を含み、
   前記再生制御手段は、撮影画像の再生時にその画像に対応付けられている前記撮影角度を読み出して順次表示する処理を制御する、
   ことを特徴とする請求項８に記載の撮影画像処理装置。
10. 前記被写体の移動に関するパラメータとして保存されている再生制御情報は、カメラと被写体との撮影角度を含み、
    前記再生制御手段は、前記複数の一連の撮影画像を同時に再生する際に再生対象として指定された各一連の撮影画像において同じ撮影角度の画像同士が同時に再生されるように各一連の撮影画像の再生速度を制御する、
    ことを特徴とする請求項８又は請求項９に記載の撮影画像処理装置。
11. 前記一連の撮影画像の再生時に、カメラと被写体との撮影角度を指定する指定手段を更に備え、
    前記被写体の移動に関するパラメータとして保存されている再生制御情報は、カメラと被写体との撮影角度を含み、
    前記再生制御手段は、前記一連の撮影画像の再生時に前記指定手段によって撮影角度が指定された際に、当該一連の撮影画像の中から前記撮影角度に対応付けられている画像を検索してその検索画像の再生を制御する、
    ことを特徴とする請求項８〜請求項１０のいずれか１項に記載の撮影画像処理装置。
12. 前記被写体の移動に関するパラメータとして保存されている再生制御情報は、画像上の被写体サイズを含み、
    前記再生制御手段は、前記複数の一連の撮影画像を同時に再生する際に再生対象として指定された各一連の撮影画像において同じ被写体のサイズが同じとなるように被写体サイズを調整する処理を制御する、
    ことを特徴とする請求項８〜請求項１１のいずれか１項に記載の撮影画像処理装置。
13. 被写体の移動経路を入力する入力手段を更に備え、
    前記既知のパラメータは、前記被写体の移動経路を含み、
    前記未知のパラメータは、前記被写体の移動経路に対するカメラ位置から被写体までの距離を含む、
    ことを特徴とする請求項２〜請求項１２のいずれか１項に記載の撮影画像処理装置。
14. 移動する被写体を固定位置からその被写体の移動に合わせて撮影方向を変化させながらの複数回の撮影により得られた一連の撮影画像を取得するステップと、
    前記取得された一連の撮影画像から該被写体の撮影サイズの時間的変化を特定するステップと、
    前記特定手段によって特定された撮影サイズの時間的変化の関数を用いて、前記被写体の移動に関するパラメータを算出するステップと、
    前記算出された被写体の移動に関するパラメータを用いて、前記一連の撮影画像に関する所定処理を実行するステップと、
    を備えたことを特徴とする撮影画像処理方法。
15. 移動する被写体を撮影した画像を処理する撮影画像処理装置のコンピュータを制御するためのプログラムであって、
    前記コンピュータを、
    移動する被写体を撮影した画像を処理する撮影画像処理装置であって、
    前記被写体を固定位置からその被写体の移動に合わせて撮影方向を変化させながらの複数回の撮影により得られた一連の撮影画像を取得する画像取得手段、
    前記画像取得手段により取得された一連の撮影画像から該被写体の撮影サイズの時間的変化を特定する特定手段、
    前記特定手段によって特定された撮影サイズの時間的変化の関数を用いて、前記被写体の移動に関するパラメータを算出する算出手段、
    前記算出手段によって算出された被写体の移動に関するパラメータを用いて、前記一連の撮影画像に関する所定処理を実行する制御手段、
    として機能させるようにしたコンピュータ読み取り可能なプログラム。

Images