JP2011010276A - 画像再生装置及び撮像装置 - Google Patents

Abstract

【課題】重要なシーンを自動的にスロー再生する。
【解決手段】動画像を再生する際、視聴者は、タッチパネル機能等を利用して動画像上の複数の注目物体を指定する。画像再生装置は、指定された各注目物体を追尾対象として設定し、動画像上において各追尾対象の位置を追尾する。動画像の再生中、追尾対象間の距離を評価距離として逐次算出し、評価距離が比較的小さくなっている映像区間をスロー再生する。また、ユーザによって指定された追尾対象の位置と動画像上の固定位置との距離を評価距離とすることも可能である。
【選択図】図６

Description

本発明は、画像を再生するための画像再生装置、及び、デジタルカメラ等の撮像装置に関する。

サッカーの試合やトラック競技の様子を録画した動画像の再生時において、サッカー選手がボールを取り合うシーンやトラック競技のゴールシーンなど、重要なシーンを見る際、スロー再生が希望されることが多い。また、サッカーの試合やトラック競技に限らず、様々な動画像において、重要なシーンを見る際、スロー再生が希望されることが多い。しかしながら、動画像再生において、ユーザ自身が重要なシーンに最適な再生速度を逐一設定するのは面倒である。

フレーム間差分等を利用して画像上の物体の動きのある／なしを判別し、物体の動きのある映像区間を自動的にスローで再生する、といった方法も考えられる。しかしながら、この方法では、動きのある全ての物体に反応して過剰にスロー再生区間が設定されてしまうため、かえって映像が見にくくなる。

尚、下記特許文献１及び２には、フレーム間差分を利用してスロー再生区間を検出する方法が開示されている。但し、これらの文献の方法は、既にスロー再生区間が挿入された映像データ（例えば、番組制作者によって既にスロー再生区間が挿入された、放送による映像データ）から再生装置側でスロー再生区間を検出及び抽出する方法であり、上述のような課題の解決に寄与するものではない。

特開２００７−３３６０８８号公報 特開２００６−３３１２５号公報

そこで本発明は、重要なシーンに対する再生速度の適切化に寄与する画像再生装置を提供することを目的とする。また本発明は、重要なシーンに対する記録フレームレートの適切化に寄与する撮像装置を提供することを目的とする。

本発明に係る画像再生装置は、動画像を再生する画像再生装置において、前記動画像上における複数の特定物体間の距離又は前記動画像上における固定位置と注目物体間の距離である評価距離に応じて、前記動画像の再生速度を制御する再生速度制御部を備えたことを特徴とする。

ユーザ（視聴者）が着目している複数の物体（人物を含む）を上記複数の特定物体として設定するようにすれば、例えば、特定物体としてのサッカー選手同士が近づいた時に再生速度を遅くするといったことが可能となる。また、ユーザが着目している物体（人物を含む）を上記注目物体として設定するようにすれば、例えば、注目物体としてのサッカー選手が固定位置に配置されたゴールに近づいた時に再生速度を遅くするといったことが可能となる。このように、上記の画像再生装置によれば、ユーザにとって重要なシーンの再生速度の適切化が期待される。

具体的には例えば、前記再生速度制御部は、前記動画像の画像データに基づいて前記動画像上における各特定物体の位置を追尾することにより、前記評価距離としての、前記複数の特定物体間の距離を導出する、或いは、前記動画像の画像データに基づいて前記動画像上における前記注目物体の位置を追尾することにより、前記評価距離としての、前記固定位置と前記注目物体間の距離を導出する。

また具体的には例えば、前記再生速度制御部は、前記評価距離に応じて、前記動画像の再生中に前記再生速度を３段階以上で変化させる。

本発明に係る他の画像再生装置は、動画像を再生する画像再生装置において、前記動画像上における人物の顔の向き及び傾きの内の少なくとも一方に応じて、前記動画像の再生速度を制御する再生速度制御部を備えたことを特徴とする。

この画像再生装置によれば、例えば、顔が正面を向いた時に再生速度を遅くするといったことが可能となる。顔が正面を向いている映像区間は、ユーザにとって重要な映像区間であると推定される。従って、この画像再生装置によれば、ユーザにとって重要なシーンの再生速度の適切化が期待される。

本発明に係る更に他の画像再生装置は、動画像を再生する画像再生装置において、前記動画像に関連付けられた音響信号の大きさに応じて、前記動画像の再生速度を制御する再生速度制御部を備えたことを特徴とする。

この画像再生装置によれば、例えば、音響信号の大きさが大きい時に再生速度を遅くするといったことが可能となる。音響信号の大きさが大きい区間は、場面が盛り上がっている映像区間であると推定され、そのような区間はユーザにとって重要な映像区間である可能が高い。従って、この画像再生装置によれば、ユーザにとって重要なシーンの再生速度の適切化が期待される。

また、上述の何れかの画像再生装置を設けた撮像装置を形成すると良い。当該撮像装置は、前記画像再生装置にて再生されるべき前記動画像を撮影によって取得する。

また、本発明に係る撮像装置は、動画像の撮影及び記録を行う撮像装置において、前記動画像上における複数の特定物体間の距離又は前記動画像上における固定位置と注目物体間の距離である評価距離に応じて、記録される動画像のフレームレートを制御するフレームレート制御部を備えたことを特徴とする。

ユーザ（撮影者）が着目している複数の物体（人物を含む）を上記複数の特定物体として設定するようにすれば、例えば、特定物体としてのサッカー選手同士が近づいた時に記録フレームレートを増大させるといったことが可能となる。また、ユーザが着目している物体（人物を含む）を上記注目物体として設定するようにすれば、例えば、注目物体としてのサッカー選手が固定位置に配置されたゴールに近づいた時に記録フレームレートを増大させるといったことが可能となる。ユーザにとって重要な映像区間と推定される、記録フレームレートが増大せしめられた映像区間を通常再生すれば、その映像区間がスローにて再生されることになる。このように、上記の撮像装置によれば、ユーザにとって重要なシーンの記録フレームレートの適切化が期待される。

具体的には例えば、前記再生速度制御部は、前記動画像の画像データに基づいて前記動画像上における各特定物体の位置を追尾することにより、前記評価距離としての、前記複数の特定物体間の距離を導出する、或いは、前記動画像の画像データに基づいて前記動画像上における前記注目物体の位置を追尾することにより、前記評価距離としての、前記固定位置と前記注目物体間の距離を導出する。

また具体的には例えば、前記フレームレート制御部は、前記評価距離に応じて、前記記録される動画像のフレームレートを３段階以上で変化させる。

また、本発明に係る他の撮像装置は、動画像の撮影及び記録を行う撮像装置において、前記動画像上における人物の顔の向き及び傾きの内の少なくとも一方に応じて、記録される動画像のフレームレートを制御するフレームレート制御部を備えたことを特徴とする。

この撮像装置によれば、例えば、顔が正面を向いた時に記録フレームレートを増大させるといったことが可能となる。顔が正面を向いている映像区間は、ユーザにとって重要な映像区間であると推定される。ユーザにとって重要な映像区間と推定される、記録フレームレートが増大せしめられた映像区間を通常再生すれば、その映像区間がスローにて再生されることになる。このように、上記の撮像装置によれば、ユーザにとって重要なシーンの記録フレームレートの適切化が期待される。

また、本発明に係る更に他の撮像装置は、動画像の撮影及び記録を行う撮像装置において、前記動画像の撮影の際に収音される音響信号の大きさに応じて、記録される動画像のフレームレートを制御するフレームレート制御部を備えたことを特徴とする。

この撮像装置によれば、例えば、音響信号の大きさが大きい時に記録フレームレートを増大させるといったことが可能となる。音響信号の大きさが大きい区間は、場面が盛り上がっている映像区間であると推定され、そのような区間はユーザにとって重要な映像区間である可能が高い。ユーザにとって重要な映像区間と推定される、記録フレームレートが増大せしめられた映像区間を通常再生すれば、その映像区間がスローにて再生されることになる。このように、上記の撮像装置によれば、ユーザにとって重要なシーンの記録フレームレートの適切化が期待される。

そして例えば、上述の何れかの撮像装置において、前記記録された動画像を一定のフレームレートにて表示部に出力すると良い。

これにより、例えば、ユーザにとって重要な映像区間と推定される、記録フレームレートが増大せしめられた映像区間が、スローにて再生されることになる。

本発明によれば、重要なシーンに対する再生速度の適切化に寄与する画像再生装置及び重要なシーンに対する記録フレームレートの適切化に寄与する撮像装置を提供することが可能となる。

本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。

本発明の第１実施形態に係る撮像装置の全体ブロック図である。 本発明の第１実施形態に係り、自動スロー再生モードにおける動作に特に関与する、撮像装置の一部ブロック図である。 入力動画像を形成する入力フレーム画像列を示す図である。 本発明の第１実施形態に係り、１枚の入力フレーム画像と該入力フレーム画像上の２つの追尾対象を示す図である。 本発明の第１実施形態に係り、評価距離と再生速度調整率との第１関係を示す図である。 ２つの追尾対象間の距離が小さい状態における入力フレーム画像（ａ）及び２つの追尾対象間の距離が大きい状態における入力フレーム画像（ｂ）を示す図である。 本発明の第１実施形態に係り、評価距離と再生速度調整率との第２関係を示す図である。 本発明の第１実施形態に係り、入力フレーム画像列と出力フレーム画像列との関係を示す図である。 本発明の第１実施形態に係り、入力フレーム画像列と出力フレーム画像列との関係を示す図である。 本発明の第１実施形態に係り、自動スロー再生モードにおける撮像装置の動作フローチャートである。 本発明の第２実施形態に係り、１枚の入力フレーム画像と該入力フレーム画像上の追尾対象及び固定位置を示す図である。 本発明の第４実施形態に係り、自動スロー記録モードにおける動作に特に関与する、撮像装置の一部ブロック図である。 本発明の第４実施形態に係り、評価距離と撮影レート（撮影時におけるフレームレート）との関係を示す図である。 本発明の第４実施形態に係り、自動スロー記録モードにおける撮像装置の動作フローチャートである。 本発明の第６実施形態に係り、自動スロー再生モードの動作に特に関与する、撮像装置の一部ブロック図である。 本発明の第６実施形態に係り、正面顔を示す図（ａ）と、斜め顔を示す図（ｂ）（ｄ）と、横顔を示す図（ｃ）（ｅ）です。 本発明の第６実施形態に係り、顔の傾き角度を説明するための図である。 本発明の第６実施形態に係り、入力フレーム画像上において着目領域が走査される様子を示した図である。 本発明の第６実施形態に係り、４５種類の基準顔画像を示す図である。 本発明の第６実施形態に係り、評価角度と再生速度調整率との関係例を示す図である。 本発明の第６実施形態に係り、自動スロー再生モードにおける撮像装置の動作フローチャートである。 本発明の第７実施形態に係り、自動スロー記録モードにおける動作に特に関与する、撮像装置の一部ブロック図である。 本発明の第７実施形態に係り、評価角度と撮影レート（撮影時におけるフレームレート）との関係を示す図である。 本発明の第７実施形態に係り、自動スロー記録モードにおける撮像装置の動作フローチャートである。 本発明の第８実施形態に係り、自動スロー再生モードの動作に特に関与する、撮像装置の一部ブロック図である。 本発明の第８実施形態に係り、入力動画像の撮影区間の全体が複数の単位区間に分割される様子を示す図である。 本発明の第８実施形態に係り、評価音量と再生速度調整率との関係例を示す図である。 本発明の第８実施形態に係り、自動スロー再生モードにおける撮像装置の動作フローチャートである。 本発明の第９実施形態に係り、自動スロー記録モードにおける動作に特に関与する、撮像装置の一部ブロック図である。 本発明の第９実施形態に係り、評価音量と撮影レート（撮影時におけるフレームレート）との関係を示す図である。 本発明の第９実施形態に係り、自動スロー記録モードにおける撮像装置の動作フローチャートである。 本発明の第１０実施形態に係り、自動スロー記録モードにおける動作に特に関与する、撮像装置の一部ブロック図である。 本発明に係る第１〜第１０実施形態の概要を示す図である。

以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。図３３は、以下に示される第１〜第１０実施形態の概要を示す図である。

＜＜第１実施形態＞＞
本発明の第１実施形態を説明する。図１は、本発明の第１実施形態に係る撮像装置１の全体ブロック図である。撮像装置１は、符号１１〜２８によって参照される各部位を有する。撮像装置１は、デジタルビデオカメラであり、動画像及び静止画像を撮影可能となっていると共に動画像撮影中に静止画像を同時に撮影することも可能となっている。撮像装置１内の各部位は、バス２４又は２５を介して、各部位間の信号（データ）のやり取りを行う。尚、表示部２７及び／又はスピーカ２８は、撮像装置１の外部装置（不図示）に設けられたものであってもよい。

撮像部１１は、撮像素子（イメージセンサ）３３の他、図示されない光学系、絞り及びドライバを備える。撮像素子３３は、水平及び垂直方向に複数の受光画素が配列されることによって形成される。撮像素子３３は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等からなる固体撮像素子である。撮像素子３３の各受光画素は、光学系及び絞りを介して入射した被写体の光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２（Analog Front End）に出力する。光学系を構成する各レンズは、被写体の光学像を撮像素子３３上に結像させる。

ＡＦＥ１２は、撮像素子３３（各受光画素）から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換してから映像信号処理部１３に出力する。ＡＦＥ１２における信号増幅の増幅度はＣＰＵ（Central Processing Unit）２３によって制御される。映像信号処理部１３は、ＡＦＥ１２の出力信号によって表される画像に対して必要な画像処理を施し、画像処理後の画像についての映像信号を生成する。マイク１４は、撮像装置１の周辺音をアナログの音声信号に変換し、音声信号処理部１５は、このアナログの音声信号をデジタルの音声信号に変換する。

圧縮処理部１６は、映像信号処理部１３からの映像信号及び音声信号処理部１５からの音声信号を、所定の圧縮方式を用いて圧縮する。内部メモリ１７は、ＤＲＡＭ（Dynamic Random Access Memory）などから成り、各種のデータを一時的に保存する。記録媒体としての外部メモリ１８は、半導体メモリや磁気ディスクなどの不揮発性メモリであり、圧縮処理部１６による圧縮後の映像信号及び音声信号を互いに関連付けた状態で記録する。

伸張処理部１９は、外部メモリ１８から読み出された圧縮された映像信号及び音声信号を伸張する。伸張処理部１９による伸張後の映像信号又は映像信号処理部１３からの映像信号は、表示処理部２０を介して、液晶ディスプレイ等から成る表示部２７に送られて画像として表示される。また、伸張処理部１９による伸張後の音声信号は、音声出力回路２１を介してスピーカ２８に送られて音として出力される。

ＴＧ（タイミングジェネレータ）２２は、撮像装置１全体における各動作のタイミングを制御するためのタイミング制御信号を生成し、生成したタイミング制御信号を撮像装置１内の各部に与える。タイミング制御信号は、垂直同期信号Ｖｓｙｎｃと水平同期信号Ｈｓｙｎｃを含む。ＣＰＵ２３は、撮像装置１内の各部位の動作を統括的に制御する。操作部２６は、動画像の撮影及び記録の開始／終了を指示するための録画ボタン２６ａ、静止画像の撮影及び記録を指示するためのシャッタボタン２６ｂ及び操作キー２６ｃ等を有し、ユーザによる各種操作を受け付ける。操作部２６に対する操作内容はＣＰＵ２３に伝達される。

撮像装置１の動作モードには、画像（静止画像又は動画像）の撮影及び記録が可能な撮影モードと、外部メモリ１８に記録された画像（静止画像又は動画像）を表示部２７に再生表示する再生モードと、が含まれる。操作キー２６ｃに対する操作に応じて、各モード間の遷移は実施される。再生モードにて動作する時の撮像装置１は、画像再生装置として機能する。

撮影モードでは、所定のフレーム周期にて周期的に被写体の撮影が行われ、被写体の撮影画像が順次取得される。画像を表すデジタルの映像信号を画像データとも呼ぶ。１つのフレーム周期分の画像データによって１枚分の画像が表現される。１つのフレーム周期分の画像データによって表現される１枚分の画像を、フレーム画像とも呼ぶ。

尚、画像データの圧縮及び伸張は、本発明の本質とは関係ないため、以下の説明では、画像データの圧縮及び伸張の存在を無視する（即ち例えば、圧縮された画像データを記録することを、単に、画像データを記録すると表現する）。また、本明細書では、或る画像の画像データのことを単に画像と言うこともある。

撮像装置１は、再生モードにおいて動画像を再生する際、動画像上の被写体間距離に応じて、再生レートとも言うべき再生速度を自動的に可変させる機能（以下、再生速度可変機能という）を有する。ユーザは、再生速度可変機能を有効にするか或いは無効にするかを自由に設定することができる。再生速度可変機能が有効になっている時にのみ、再生速度可変機能が働く。再生速度可変機能が有効になっている状態における再生モードを、特に自動スロー再生モードと呼ぶ。

図２に、自動スロー再生モードにおける動作に特に関与する、撮像装置１の一部ブロック図を示す。図２の追尾処理部５１及び速度調整部５２は、撮像装置１内に設けられる。例えば、追尾処理部５１及び速度調整部５２を、図１の映像信号処理部１３内又は表示処理部２０内に設けることができる。

入力動画像の画像データが追尾処理部５１及び速度調整部５２に与えられる。第１実施形態において、入力動画像の画像データは外部メモリ１８に記録された動画像の画像データであり、その画像データは、撮影モードにおける撮像装置１の撮影動作によって得られる。但し、入力動画像の画像データは、撮像装置１以外の装置から与えられるものであっても良い。

入力動画像は、フレーム画像列から成る。フレーム画像列に代表される画像列とは、時系列に並ぶ静止画像の集まりを指す。従って、フレーム画像列は、時系列に並ぶ複数のフレーム画像から成る。各フレーム画像は静止画像であり、入力動画像を形成する各フレーム画像を、特に入力フレーム画像とも呼ぶ。

図３に示す如く、入力フレーム画像を表す記号として、ＦＩ₁、ＦＩ₂、ＦＩ₃、・・・、ＦＩ_nー1、ＦＩ_n、・・・を導入する。ｎは２以上の整数である。入力フレーム画像ＦＩ_i+1は入力フレーム画像ＦＩ_iの次に撮影されたフレーム画像である（ｉは任意の自然数）。今、入力動画像の全体にわたって、入力動画像のフレームレートは６０ｆｐｓ（frame per second）であるとする。この場合、入力フレーム画像ＦＩ_iと入力フレーム画像ＦＩ_i+1の間の時間的な差、即ち入力フレーム画像ＦＩ_i及びＦＩ_i+1間の撮影時間差は、任意の自然数ｉに対して、１／６０秒である。尚、本明細書では、記述の簡略化上、記号（符号）を参照することによって該記号に対応する名称を省略又は略記することがある。例えば、入力フレーム画像ＦＩ_nと画像ＦＩ_nは同じものを指す。

追尾処理部５１は、入力動画像の画像データに基づいて入力動画像上における注目物体を入力動画像上で追尾する追尾処理を実行する。入力動画像が撮像装置１の撮影によって取得されたものである場合、注目物体は、入力動画像の撮影時における撮像装置１の注目被写体である。追尾処理によって追尾されるべき注目物体を、以下、追尾対象という。

ユーザは、追尾対象を指定することができる。例えば、表示部２７に所謂タッチパネル機能を設けておく。そして、入力動画像を表示部２７の表示画面上で表示している時において、注目物体が表示されている、表示画面上の表示領域を、ユーザが指で触れることにより、該注目物体が追尾対象として設定される。或いは例えば、ユーザは、操作部２６に対する所定操作によって追尾対象を指定することもできる。更に或いは、顔認識処理を利用して撮像装置１が自動的に追尾対象を設定するようにしても良い。つまり、入力フレーム画像の画像データに基づき入力フレーム画像から人物の顔を含む領域である顔領域を抽出した後、顔認識処理によって当該顔領域に含まれる顔が予め登録された人物の顔と一致しているか否かを照合し、一致が確認された場合に、その顔領域に含まれる顔を有する人物を追尾対象として設定するようにしても良い。

追尾対象の設定後、追尾処理では、入力フレーム画像列の画像データに基づき、各入力フレーム画像における追尾対象の位置及び大きさが逐次検出される。実際には、追尾対象を表す画像データの存在する画像領域が追尾対象領域として各入力フレーム画像内に設定され、追尾対象領域の中心位置（又は重心位置）及び大きさが追尾対象の位置及び大きさとして検出される。追尾処理部５１は、各入力フレーム画像における追尾対象の位置及び大きさを表す情報を含む追尾結果情報を出力する。

第１及び第２のフレーム画像間における追尾処理を次のように実行することができる。ここにおける第１のフレーム画像とは、既に追尾対象の位置及び大きさが検出されているフレーム画像を指し、第２のフレーム画像とは、これから追尾対象の位置及び大きさが検出されるべきフレーム画像を指す。第２のフレーム画像は、通常、第１のフレーム画像の次に撮影されるフレーム画像である。

例えば、追尾処理部５１は、追尾対象が有する画像特徴に基づいて追尾処理を行うことができる。画像特徴は、輝度情報及び色情報を含む。より具体的には例えば、第２のフレーム画像内に、追尾対象領域の大きさと同程度の大きさを有すると推定される追尾枠を設定して、第２のフレーム画像における追尾枠内の画像の画像特徴と、第１のフレーム画像における追尾対象領域内の画像の画像特徴との類似性評価を追尾枠の位置を探索領域内で順次変更しながら実行し、最大の類似性が得られた追尾枠の中心位置に、第２のフレーム画像における追尾対象領域の中心位置が存在すると判断する。第２のフレーム画像に対する探索領域は、第１のフレーム画像における追尾対象の位置を基準にして設定される。例えば、その探索領域は、第１のフレーム画像における追尾対象の位置を中心とする矩形領域とされ、探索領域の大きさ（画像サイズ）は、フレーム画像の全画像領域の大きさよりも小さい。

尚、フレーム画像上の追尾対象の位置及び大きさを検出する方法として、上述した方法と異なる他の任意の方法（例えば、特開２００４−９４６８０号公報に記載された方法や特開２００９−３８７７７号公報に記載された方法）を採用することも可能である。

再生速度制御部又は再生速度調整部とも言うべき速度調整部５２は、自動スロー再生モードにおいて、追尾結果情報に基づき入力動画像から出力動画像を生成する。出力動画像を形成する各フレーム画像を、出力フレーム画像とも呼ぶ。再生速度可変機能が有効になっている時において、即ち自動スロー再生モードにおいて、出力動画像は、表示部２７の表示画面上で再生表示される。尚、再生速度可変機能が無効になっている時においては、入力動画像が、そのまま、６０ｆｐｓの再生速度にて表示部２７の表示画面上で再生表示される。

速度調整部５２は、追尾結果情報に基づき入力動画像の再生速度を調整する。この調整後に得られる動画像が出力動画像である。追尾結果情報に基づく再生速度の決定方法を説明する。第１実施形態では、複数の追尾対象が設定された場合を想定する。この場合、追尾処理部５１は、各追尾対象に対して追尾処理を行い、各追尾対象の位置及び大きさを表す情報を追尾結果情報に含める。

図４に示される画像２００は、１枚の入力フレーム画像を表している。入力フレーム画像２００中には、複数の人物が存在している（換言すれば、入力フレーム画像２００の画像データには、複数の人物を表す画像データが含まれている）。入力フレーム画像２００を含む入力動画像は、サッカーの試合の様子を撮影したものであり、符号２０３が付された物体は、サッカー場に設置されたゴールである。今、ユーザがタッチパネル機能等を利用して、上記複数の人物の内の、２人の人物を追尾対象２０１及び２０２として指定した場合を想定する。サッカーの試合において、その２人の人物がボールを取り合う様子を詳細に鑑賞したい場合に、ユーザは、その２人の人物を追尾対象に指定すれば良い。

図４において、点２１１及び２１２は、夫々、追尾処理部５１によって検出された追尾対象２０１の位置（即ち、追尾対象２０１の画像データが存在する追尾対象領域の中心位置又は重心位置）及び追尾対象２０２の位置（即ち、追尾対象２０１の画像データが存在する追尾対象領域の中心位置又は重心位置）を表している。

速度調整部５２は、入力フレーム画像ごとに入力フレーム画像上における位置２１１及び２１２間の距離を評価距離として導出し、入力動画像の再生速度を評価距離に基づいて動的に変更する。

図５に、再生速度の調整量を規定する再生速度調整率ｋ_Rと評価距離との関係例を示す。評価距離を記号ＤＩＳによって表す。このような関係を表すルックアップテーブル又は数式を、予め速度調整部５２に与えておくことができる。入力動画像の基準再生速度ＲＥＦ_SPは、入力動画像のフレームレート６０ｆｐｓと一致する。再生速度調整率ｋ_Rは、その基準再生速度ＲＥＦ_SPを基準とした、再生速度の調整率を表す。入力動画像の再生速度はＲＥＦ_SP×ｋ_Rとされる。従って、ｋ_Rの値が小さいほど、再生速度は小さくなり、ｋ_Rの値が大きいほど、再生速度は大きくなる。

再生速度調整率ｋ_Rが１である区間においては、入力動画像の再生速度は基準再生速度ＲＥＦ_SPと同じである。即ち、仮に入力フレーム画像ＦＩ_n-1〜ＦＩ_n+1から成る区間に対する再生速度調整率ｋ_Rが１である場合、入力フレーム画像ＦＩ_n-1〜ＦＩ_n+1が、（（３×１／６０）÷ｋ_R）＝（（３×１／６０）÷１）＝１／２０［秒］をかけて、出力動画像の一部として表示部２７の表示画面上に表示される。

入力フレーム画像ＦＩ_n-1〜ＦＩ_n+1から成る区間に対する再生速度調整率ｋ_Rが一定値ｋ_ROである場合、入力フレーム画像ＦＩ_n-1〜ＦＩ_n+1が、（（３×１／６０）÷ｋ_RO）［秒］をかけて、出力動画像の一部として表示部２７の表示画面上に表示される。従って例えば、仮に入力フレーム画像ＦＩ_n-1〜ＦＩ_n+1から成る区間に対する再生速度調整率ｋ_Rが１／２である場合、入力フレーム画像ＦＩ_n-1〜ＦＩ_n+1が、（（３×１／６０）÷ｋ_R）＝（（３×１／６０）÷１／２）＝１／１０［秒］をかけて、出力動画像の一部として表示部２７の表示画面上に表示される。

図５に示す如く、基本的に、評価距離ＤＩＳが大きいほど再生速度調整率ｋ_Rに大きな値が設定される。従って、図６（ａ）の入力フレーム画像２００ａを含む、評価距離ＤＩＳの比較的小さな入力フレーム画像列が再生される区間においては、再生速度調整率ｋ_Rに比較的小さな値が設定されて入力動画像の再生速度が比較的遅くなる。逆に、図６（ｂ）の入力フレーム画像２００ｂを含む、評価距離ＤＩＳの比較的大きな入力フレーム画像列が再生される区間においては、再生速度調整率ｋ_Rに比較的大きな値が設定されて入力動画像の再生速度が比較的速くなる。

図５に示す例では、不等式「ＤＩＳ＜ＴＨ₁」の成立時には「ｋ_R＝１／８」とされ、不等式「ＴＨ₁≦ＤＩＳ＜ＴＨ₃」の成立時には評価距離ＤＩＳが基準距離ＴＨ₁から基準距離ＴＨ₃に向かって増大するにつれて再生速度調整率ｋ_Rが１／８から１に向かって線形的に増大せしめられ、不等式「ＴＨ₃≦ＤＩＳ＜ＴＨ₄」の成立時には「ｋ_R＝１」とされ、不等式「ＴＨ₄≦ＤＩＳ＜ＴＨ₅」の成立時には評価距離ＤＩＳが基準距離ＴＨ₄から基準距離ＴＨ₅に向かって増大するにつれて再生速度調整率ｋ_Rが１から２に向かって線形的に増大せしめられ、不等式「ＴＨ₅≦ＤＩＳ」の成立時には「ｋ_R＝２」とされる。

尚、図５に示す例では、不等式「ＴＨ₁≦ＤＩＳ＜ＴＨ₃」又は「ＴＨ₄≦ＤＩＳ＜ＴＨ₅」の成立時において、評価距離ＤＩＳの変化に対して再生速度調整率ｋ_Rを連続的に変化させているが、図７に示す如く、不等式「ＴＨ₁≦ＤＩＳ＜ＴＨ₃」又は「ＴＨ₄≦ＤＩＳ＜ＴＨ₅」の成立時において、ｋ_Rを段階的に変化させるようにしても良い。図７に示すＤＩＳとｋ_Rの関係を用いる場合、例えば、不等式「ＤＩＳ＜ＴＨ₁」の成立時において「ｋ_R＝１／８」とされ、不等式「ＴＨ₁≦ＤＩＳ＜ＴＨ₂−Δ」の成立時において「ｋ_R＝１／４」とされ、不等式「ＴＨ₂−Δ≦ＤＩＳ＜ＴＨ₂＋Δ」の成立時において「ｋ_R＝１／２」とされ、不等式「ＴＨ₂＋Δ≦ＤＩＳ＜ＴＨ₄」の成立時において「ｋ_R＝１」とされ、不等式「ＴＨ₄≦ＤＩＳ」の成立時において「ｋ_R＝２」とされる（但し、Δ＞０）。

ＴＨ₁〜ＴＨ₅は、不等式「０＜ＴＨ₁＜ＴＨ₂＜ＴＨ₃＜ＴＨ₄＜ＴＨ₅」を満たす基準距離であり、それらは、矩形画像である入力フレーム画像の対角線の長さを元に予め設定される。その対角線の長さを１００とした場合、ＴＨ₅≦１００であると共に、例えば、ＴＨ₁＝１０、ＴＨ₂＝２５、ＴＨ₃＝３０且つＴＨ₄＝８０である。

入力動画像と出力動画像との関係を、具体例を挙げて説明する。入力フレーム画像ＦＩ_n-1が表示部２７の表示画面に表示されるまでに追尾対象２０１及び２０２が設定された場合を想定する。追尾処理部５１は、入力フレーム画像ＦＩ_n-1よりも後の各入力フレーム画像に対して追尾結果情報を作成し、その追尾結果情報に基づき、速度調整部５２は、入力フレーム画像ＦＩ_n-1よりも後の各入力フレーム画像に対して評価距離ＤＩＳを導出する。

そして、入力フレーム画像ＦＩ_n〜ＦＩ_n+2に対して求められた評価距離ＤＩＳについて不等式「ＴＨ₃≦ＤＩＳ＜ＴＨ₄」が成立しており、図８に示す如く、入力フレーム画像ＦＩ_n〜ＦＩ_n+2に対する再生速度調整率ｋ_Rに１が設定されたことを想定する。この場合、速度調整部５２は、３枚の入力フレーム画像ＦＩ_n〜ＦＩ_n+2に基づく３枚の出力フレーム画像ＦＯ_n〜ＦＯ_n+2を出力する。出力フレーム画像ＦＯ_n〜ＦＯ_n+2は、（（３×１／６０）÷ｋ_R）＝（（３×１／６０）÷１）＝１／２０［秒］をかけて、出力動画像の一部として表示部２７の表示画面上に表示される。出力フレーム画像ＦＯ_n〜ＦＯ_n+2は、夫々、入力フレーム画像ＦＩ_n〜ＦＩ_n+2と同じ画像である。

また、入力フレーム画像ＦＩ_n+3〜ＦＩ_n+5に対して求められた評価距離ＤＩＳが基準距離ＴＨ₂と同じ又は略同じであることを想定する。そうすると、図８に示す如く、速度調整部５２は、入力フレーム画像ＦＩ_n+3〜ＦＩ_n+5に対する再生速度調整率ｋ_Rに１／２を設定し、３枚の入力フレーム画像ＦＩ_n+3〜ＦＩ_n+5に基づく６枚の出力フレーム画像ＦＯ_n+3〜ＦＯ_n+5及びＦＯ_n+3’〜ＦＯ_n+5’を出力する。出力フレーム画像ＦＯ_n+3〜ＦＯ_n+5は、夫々、入力フレーム画像ＦＩ_n+3〜ＦＩ_n+5と同じ画像である。出力フレーム画像ＦＯ_n+3’は出力フレーム画像ＦＯ_n+3及びＦＯ_n+4間に挿入され、出力フレーム画像ＦＯ_n+4’は出力フレーム画像ＦＯ_n+4及びＦＯ_n+5間に挿入される。出力フレーム画像ＦＯ_n+5’は、出力フレーム画像ＦＯ_n+5と、入力フレーム画像ＦＩ_n+6と同じ画像である出力フレーム画像ＦＯ_n+6との間に挿入される。

入力フレーム画像ＦＩ_n+3と同じ画像を出力フレーム画像ＦＯ_n+3’として生成することもできるし、入力フレーム画像ＦＩ_n+3及びＦＩ_n+4から補間によって出力フレーム画像ＦＯ_n+3’を生成するようにしても良い（出力フレーム画像ＦＯ_n+4’及びＦＯ_n+5’についても同様）。

速度調整部５２から出力される出力フレーム画像列は、出力動画像として一定のフレームレート６０ｆｐｓにて表示部２７に表示される。つまり、９枚の出力フレーム画像ＦＯ_n、ＦＯ_n+1、ＦＯ_n+2、ＦＯ_n+3、ＦＯ_n+3’、ＦＯ_n+4、ＦＯ_n+4’、ＦＯ_n+5及びＦＯ_n+5’は、（９×１／６０）［秒］をかけて、出力動画像の一部として表示部２７の表示画面上に表示される。結果、ｋ_Rに１／２が設定された入力フレーム画像列ＦＩ_n+3〜ＦＩ_n+5は、基準再生速度ＲＥＦ_SPの１／２倍の再生速度にてスロー再生されることになる。

動画像の再生時には、動画像に関連付けられた音声信号（動画像の映像信号に関連付けられた音声信号）もスピーカ２８にて再生される。ｋ_R＝１が設定された入力フレーム画像ＦＩ_n〜ＦＩ_n+2の再生時には、それに関連付けられた音声信号も通常の速度にて再生されるが、ｋ_R＝１／２が設定された入力フレーム画像ＦＩ_n+3〜ＦＩ_n+5の再生時においては、それに関連付けられた音声信号も、通常の速度の１／２の速度にて再生される。即ち、画像ＦＩ_n+3に関連付けられた音声信号が、画像ＦＯ_n+3及びＦＯ_n+3’の表示が終了するまで伸ばして再生される（画像ＦＩ_n+4及びＦＩ_n+5に関連付けられた音声信号も同様）。或いは、画像ＦＩ_n+3に関連付けられた音声信号を画像ＦＯ_n+3の表示時において通常の速度にて再生し、画像ＦＯ_n+3’の表示時において、同じ音声信号（即ち、画像ＦＩ_n+3に関連付けられた音声信号）を通常の速度にて再度再生するようにしても良い（画像ＦＩ_n+4及びＦＩ_n+5に関連付けられた音声信号も同様）。

入力フレーム画像列ＦＩ_n+3〜ＦＩ_n+5に対してｋ_R＝１／２が設定された場合におけるスロー再生動作を説明したが、ｋ_R≠１／２の場合におけるスロー再生動作も同様である。例えば、入力フレーム画像列ＦＩ_n+3〜ＦＩ_n+5に対してｋ_R＝１／４が設定されたならば、画像ＦＯ_n+3及びＦＯ_n+4間、画像ＦＯ_n+4及びＦＯ_n+5間、画像ＦＯ_n+5及びＦＯ_n+6間に、夫々、画像ＦＯ_n+3’、ＦＯ_n+4’、ＦＯ_n+5’が３枚ずつ挿入される。換言すれば、画像ＦＩ_n+3及びＦＩ_n+4間、画像ＦＩ_n+4及びＦＩ_n+5間、画像ＦＩ_n+5及びＦＩ_n+6間に、夫々、画像ＦＯ_n+3’、ＦＯ_n+4’、ＦＯ_n+5’が３枚ずつ挿入される。結果、ｋ_Rに１／４が設定された入力フレーム画像列ＦＩ_n+3〜ＦＩ_n+5は、基準再生速度ＲＥＦ_SPの１／４倍の再生速度にてスロー再生されることになる。

また、入力フレーム画像ＦＩ_n+6〜ＦＩ_n+11に対して求められた評価距離ＤＩＳが十分に大きく、図９に示す如く、入力フレーム画像ＦＩ_n+6〜ＦＩ_n+11に対する再生速度調整率ｋ_Rに２が設定された場合を考える。この場合、速度調整部５２は、６枚の入力フレーム画像ＦＩ_n+6〜ＦＩ_n+11の一部を間引くことにより３枚の出力フレーム画像ＦＯ_n+6、ＦＯ_n+8及びＦＯ_n+10を生成する。出力フレーム画像ＦＯ_n+6、ＦＯ_n+8及びＦＯ_n+10は、夫々、入力フレーム画像ＦＩ_n+6、ＦＩ_n+8及びＦＩ_n+10と同じ画像である。３枚の出力フレーム画像ＦＯ_n+6、ＦＯ_n+8及びＦＯ_n+10は、（３×１／６０）［秒］をかけて、出力動画像の一部として表示部２７の表示画面上に表示される。つまり、ｋ_Rに２が設定された入力フレーム画像列ＦＩ_n+6〜ＦＩ_n+11は、基準再生速度ＲＥＦ_SPの２倍の再生速度にて早送り再生されることになる。

本実施形態によれば、ユーザ（視聴者）が注目している複数の追尾対象が近づいた時に（例えば、サッカーの試合において複数の注目人物がボールを取り合っている時に）自動的にスロー再生が成される。つまり、ユーザの希望に符合するスロー再生が自動的に成される。フレーム間差分等を利用して画像上の物体の動きのある／なしを判別し、物体の動きのある映像区間を自動的にスローで再生するといった方法では、ユーザの非注目物体の動きにも反応してスロー再生が成されてしまうが、本実施形態の方法によれば、そのような望ましくないスロー再生が回避される。

また、評価距離ＤＩＳが大きくなっている映像区間は、重要なシーンについての映像区間ではないと推測される。これを考慮し、上述の例では、評価距離ＤＩＳが相応に大きい時に早送り再生を行う。これにより、動画像の視聴に要する時間を短縮することができる。また、スロー再生時における再生速度が常に同じであると、スロー再生時における映像が単調になりやすくなるが、本実施形態では、スロー再生時における再生速度を２段階以上で変化させる（基準再生速度ＲＥＦ_SPをも含めて考えると、再生速度を３段階以上で変化させる）。このため、臨場感のあるスロー再生が可能となる。

尚、上述したような早送り再生が行われないようにすることも可能である。即ち例えば、不等式「ＴＨ₃≦ＤＩＳ」の成立時には、評価距離ＤＩＳが幾ら大きくなっても、常にｋ_Rを１としても良い。

また、追尾対象２０１及び２０２（図４参照）の内、少なくとも一方の追尾対象の画像データが入力フレーム画像に含まれなくなった時（追尾対象がフレームアウトした時）、或いは、追尾処理が失敗して追尾対象の位置が検出不能になった時には、評価距離ＤＩＳの算出ができなくなる。入力動画像の再生中に、評価距離ＤＩＳの算出が不可能になった場合には、以後、入力動画像の再生速度を基準再生速度ＲＥＦ_SPにすれば良い。但し、その後に、評価距離ＤＩＳの算出が再度可能になったならば、評価距離ＤＩＳに基づく再生速度の調整を再開することができる。

次に、図１０を参照して、自動スロー再生モードにおける撮像装置１の動作の流れを説明する。図１０は、この動作の流れを表すフローチャートである。自動スロー再生モードにて入力動画像としての動画像の再生が指示されると、入力動画像を形成する入力フレーム画像が時系列上で早いものから順に外部メモリ１８より読み出され（ステップＳ１１）、追尾対象の設定が成されるまで、基準再生速度ＲＥＦ_SPにて入力動画像が再生される（ステップＳ１２及びＳ１３）。ユーザの指定等によって追尾対象の設定が成されると（ステップＳ１３のＹ）、ステップＳ１４〜Ｓ１６において、現時点の入力フレーム画像が外部メモリ１８より読み出されて（ステップＳ１４）、その現時点の入力フレーム画像に対して追尾結果情報に基づく評価距離ＤＩＳが算出されると共に（ステップＳ１５）該評価距離ＤＩＳに基づく再生速度にて現時点の入力フレーム画像が再生される（ステップＳ１６）。ステップＳ１４〜Ｓ１６の処理は、入力動画像の再生が終了するまで繰り返し実行される（ステップＳ１７）。

＜＜第２実施形態＞＞
本発明の第２実施形態を説明する。第２実施形態は、第１実施形態の一部を変形した実施形態であり、第２実施形態において特に述べない事項に関しては、矛盾なき限り、第１実施形態にて述べた事項が第２実施形態にも適用される。

第１実施形態では、複数の追尾対象間の距離を評価距離ＤＩＳとして導出していたが、第２実施形態では、追尾対象の位置と固定位置との距離を評価距離ＤＩＳとして導出する。

図１１に示される画像２００は、図４に示すそれと同じ入力フレーム画像である。入力フレーム画像２００中には、複数の人物が存在している。タッチパネル機能等を利用して、上記複数の人物の内の、１人の人物を追尾対象２０１としてユーザが指定した場合を想定する。更に、ユーザがタッチパネル機能等を利用して、入力フレーム画像２００中の一点を指定した場合を想定する。図１１において、符号２１３が付された点が指定された一点であり、その指定された一点の、入力フレーム画像２００上における位置を固定位置２１３と呼ぶ。図１１に示す例において、固定位置２１３は、サッカーのゴールが表示されている位置である。サッカーの試合において、ユーザの注目人物（追尾対象２０１）がゴールに接近した時の様子を詳細に鑑賞したい場合に、ユーザは、タッチパネル機能等を利用して該注目人物とゴールを指定すれば良い。

速度調整部５２は、入力フレーム画像ごとに入力フレーム画像上における位置２１１及び２１３間の距離を評価距離ＤＩＳとして導出し、入力動画像の再生速度を評価距離ＤＩＳに基づいて動的に変更する。入力フレーム画像が異なれば位置２１１は変化しうるが、固定位置２１３は不変である。入力動画像の再生速度を評価距離ＤＩＳに基づいて動的に変更する方法は、第１実施形態で述べたものと同様であり、評価距離ＤＩＳに基づいて入力動画像から出力動画像が生成される動作も第１実施形態で述べたものと同様である。更に、図１０を参照して説明した自動スロー再生モードにおける撮像装置１の動作の流れも、第１実施形態で述べたものと同様である。但し、第２実施形態では、入力動画像の再生開始後、ユーザの指定等によって追尾対象と固定位置の設定が成された後に、ステップＳ１４〜Ｓ１６の各処理が実行される。

本実施形態によっても、第１実施形態と同様の効果が得られる。

＜＜第３実施形態＞＞
本発明の第３実施形態を説明する。外部メモリ１８の記録データに基づく上述の各処理を、撮像装置と異なる電子機器（例えば、画像再生装置；不図示）にて実現することも可能である（撮像装置も電子機器の一種である）。

例えば、撮像装置１において、動画像の撮影を行って該動画像の画像データを外部メモリ１８に記憶しておく。そして、上記電子機器に、図２の追尾処理部５１及び速度調整部５２を設けておくと共に図１の表示部２７及びスピーカ２８と同等の表示部及びスピーカを設けておき、外部メモリ１８に記録された動画像の画像データを入力動画像の画像データとして、電子機器内の追尾処理部５１及び速度調整部５２に与えれば良い。電子機器において、表示部は一定のフレームレート６０ｆｐｓにて速度調整部５２からの出力動画像を再生表示する。これにより、電子機器の表示部上で再生速度調整の成された入力動画像の再生がなされると共に該入力動画像に関連付けられた音声信号も電子機器のスピーカにて再生される。

＜＜第４実施形態＞＞
本発明の第４実施形態を説明する。第１又は第２実施形態にて述べた事項は、矛盾なき限り、第４実施形態にも適用される。第４実施形態では、撮影モードにおける撮像装置１の特徴的動作を説明する。

撮像装置１は、撮影モードにおいて動画像を記録する際、動画像上の被写体間距離に応じて、記録される動画像のフレームレートを自動的に可変させる機能（以下、記録レート可変機能という）を有する。ユーザは、記録レート可変機能を有効にするか或いは無効にするかを自由に設定することができる。記録レート可変機能が有効になっている時にのみ、記録レート可変機能が働く。記録レート可変機能が有効になっている状態における撮影モードを、特に自動スロー記録モードと呼ぶ。第４実施形態における以下の説明は、特に記述無き限り、自動スロー記録モードにおける撮像装置１の動作説明である。

図１２に、自動スロー記録モードにおける動作に特に関与する、撮像装置１の一部ブロック図を示す。図１２の追尾処理部５１及び撮影レート調整部（フレームレート制御部）７２は、撮像装置１内に設けられる。図１２の追尾処理部５１は、図２のそれと同じものである。撮影レート調整部７２は、例えば、図１のＣＰＵ２３及び／又はＴＧ２２によって実現される。

撮像部１１の撮影によって得られた各フレーム画像の画像データは、入力フレーム画像の画像データとして、順次、追尾処理部５１に送られる。本実施形態及び後述の第５実施形態における入力フレーム画像の画像データとは、第１〜第３実施形態と異なり、自動スロー記録モードにおいてＡＦＥ１２から出力されるフレーム画像の画像データを指す。第１〜第３実施形態における入力フレーム画像列のフレームレートは６０ｆｐｓにて固定されているが、本実施形態では、入力フレーム画像列のフレームレートが適宜変更される（詳細は後述）。

追尾処理部５１は、与えられた入力フレーム画像列に対して、第１実施形態で述べた追尾処理を実行する。即ち、与えられた入力フレーム画像列の画像データに基づいて入力フレーム画像列上における追尾対象を入力フレーム画像列上で追尾し、各入力フレーム画像における追尾対象の位置及び大きさを逐次検出して、各入力フレーム画像における追尾対象の位置及び大きさを表す情報を含む追尾結果情報を出力する。

追尾対象の設定方法は、第１実施形態で述べた通りである。撮影モードにおいては、撮影によって順次得られる入力フレーム画像列が動画像として表示部２７に表示される。ユーザは、タッチパネル機能を利用し、注目被写体とも言うべき注目物体が表示されている表示領域を指で触れることで、該注目物体を追尾対象として設定することができる。

撮像装置１における撮像素子３３は、撮影におけるフレームレート（以下、撮影レートという）をシームレスに変更することができる。図１２の撮影レート調整部７２は、自動スロー記録モードにおいて、追尾結果情報に基づき撮影レートを動的に変更させる。撮影レートの変更は、撮像素子３３の駆動モード及びＴＧ２２から撮像素子３３に与えられる駆動パルスの周期を変更することで実現される。尚、記録レート可変機能が無効になっている時における撮影レートは常に６０ｆｐｓであるとする。

図４に示す入力フレーム画像２００が表示されている時に、ユーザがタッチパネル機能等を利用して２つの追尾対象を指定し且つ該２つの追尾対象が追尾対象２０１及び２０２であったことを想定して、撮影レート調整部７２による撮影レートの変更方法を説明する。

撮影レート調整部７２は、入力フレーム画像ごとに入力フレーム画像上における位置２１１及び２１２間の距離を評価距離ＤＩＳとして導出し、撮影レートを評価距離ＤＩＳに基づいて動的に変更する。

図１３に、撮影レートと評価距離ＤＩＳとの関係例を示す。このような関係を表すルックアップテーブル又は数式を、予め撮影レート調整部７２に与えておくことができる。図１３に示す如く、基本的に、評価距離ＤＩＳが大きいほど撮影レートが小さくされる。

図１３に示す例では、不等式「ＤＩＳ＜ＴＨ₁」の成立時において撮影レートは３００ｆｐｓとされ、不等式「ＴＨ₁≦ＤＩＳ＜ＴＨ₃」の成立時には評価距離ＤＩＳが基準距離ＴＨ₁から基準距離ＴＨ₃に向かって増大するにつれて撮影レートが３００ｆｐｓから６０ｆｐｓに向かって線形的に減少せしめられ、不等式「ＴＨ₃≦ＤＩＳ＜ＴＨ₄」の成立時には撮影レートは６０ｆｐｓとされ、不等式「ＴＨ₄≦ＤＩＳ＜ＴＨ₅」の成立時には評価距離ＤＩＳが基準距離ＴＨ₄から基準距離ＴＨ₅に向かって増大するにつれて撮影レートが６０ｆｐｓから１５ｆｐｓに向かって線形的に減少せしめられ、不等式「ＴＨ₅≦ＤＩＳ」の成立時には撮影レートは１５ｆｐｓとされる。また、評価距離ＤＩＳが基準距離ＴＨ₂と同じ又は略同じである時、撮影レートは１２０ｆｐｓとされる。

撮影レートの連続的な変化が可能であるならば上述のような撮影レートの調整が可能であるが、通常、撮影レートは段階的にしか変化させられないことが多い。従って、図５の関係を図７の関係へと変形したように、不等式「ＴＨ₁≦ＤＩＳ＜ＴＨ₃」又は「ＴＨ₄≦ＤＩＳ＜ＴＨ₅」の成立時において、撮影レートを連続的に変化させるのではなく段階的に変化させるようにしても良い。

より具体的な動作例を説明する。入力フレーム画像Ｆ_nの撮影前までに追尾対象２０１及び２０２が設定されたことを想定する。例えば、入力フレーム画像ＦＩ_n〜ＦＩ_n+2に対して求められた評価距離ＤＩＳについて不等式「ＴＨ₃≦ＤＩＳ＜ＴＨ₄」が成立しているとしたならば入力フレーム画像ＦＩ_n〜ＦＩ_n+2の撮影区間に対する撮影レートは６０ｆｐｓとされ、入力フレーム画像ＦＩ_n〜ＦＩ_n+2に対して求められた評価距離ＤＩＳが基準距離ＴＨ₂と同じ又は略同じであったならば入力フレーム画像ＦＩ_n〜ＦＩ_n+2の撮影区間に対する撮影レートは１２０ｆｐｓとされ、入力フレーム画像ＦＩ_n〜ＦＩ_n+2に対して求められた評価距離ＤＩＳが基準距離ＴＨ₁と同じ又は略同じであったならば入力フレーム画像ＦＩ_n〜ＦＩ_n+2の撮影区間に対する撮影レートは３００ｆｐｓとされ、入力フレーム画像ＦＩ_n〜ＦＩ_n+2に対して求められた評価距離ＤＩＳが基準距離ＴＨ₅と同じ又は略同じであったならば入力フレーム画像ＦＩ_n〜ＦＩ_n+2の撮影区間に対する撮影レートは１５ｆｐｓとされる。

撮影レートの変更は、可能な限りにおいて速やかに実行される。即ち例えば、入力フレーム画像ＦＩ_n〜ＦＩ_n+2に対して求められた評価距離ＤＩＳについて不等式「ＴＨ₃≦ＤＩＳ＜ＴＨ₄」が成立しており、且つ、入力フレーム画像ＦＩ_n+3〜ＦＩ_n+6に対して求められた評価距離ＤＩＳが基準距離ＴＨ₂と同じ又は略同じである場合、可能であるならば撮影レートが瞬時に変更されて、入力フレーム画像ＦＩ_n+3〜ＦＩ_n+6の撮影区間に対する撮影レートが１２０ｆｐｓとされる。但し、追尾処理の処理時間等によっては、画像ＦＩ_n+3及びＦＩ_n+4間の撮影間隔や画像ＦＩ_n+4及びＦＩ_n+5間の撮影間隔は、１／１２０秒よりも大きくなることもある。

上述のようにして得た入力フレーム画像列の画像データは、入力動画像の画像データとして外部メモリ１８に記録される。再生モードにおいて、撮像装置１は、表示部２７を用いて、外部メモリ１８から読み出した入力動画像を一定のフレームレート６０ｆｐｓにて再生する。或いは、外部メモリ１８に記録された入力動画像を、撮像装置１と異なる電子機器（例えば、画像再生装置；不図示）に与え、その電子機器上で該入力動画像を一定のフレームレート６０ｆｐｓにて再生させることもできる。

評価距離ＤＩＳが小さいことに起因して撮影レートが高い状態で記録された部分は、単位時間当たりの記録フレーム数が多いため、スローで再生される。逆に、評価距離ＤＩＳが大きいことに起因して撮影レートが低い状態で記録された部分は、単位時間当たりの記録フレーム数が少ないため、早送りで再生される。結果、第１実施形態と同様の効果が得られる。また、評価距離ＤＩＳが小さい時に高い撮影レート（例えば１２０ｆｐｓ）にて実際に撮影を行って画像記録を行うため、第１〜第３実施形態と比べて、高画質のスロー再生を行うことができる。反面、記録データ量が多くなると共に、高い撮影レート（例えば１２０ｆｐｓ）にて撮影された部分を通常再生する場合には間引き処理が必要となる。

尚、評価距離ＤＩＳが大きい時に、撮影レートの低速化を行わないようにしても良い。即ち例えば、不等式「ＴＨ₃≦ＤＩＳ」の成立時には、評価距離ＤＩＳが幾ら大きくなっても、常に撮影レートを６０ｆｐｓに設定するようにしても良い。また、入力動画像の撮影及び記録中に、評価距離ＤＩＳの算出が不可能になった場合には、以後、入力動画像の撮影レートを６０ｆｐｓにすれば良い。但し、その後に、評価距離ＤＩＳの算出が再度可能になったならば、評価距離ＤＩＳに基づく撮影レートの調整を再開することができる。

また、第１実施形態を第２実施形態へと変形できるように、本実施形態において、追尾対象の位置と固定位置との距離を評価距離ＤＩＳとして導出するようにしても良い。即ち例えば、入力動画像の撮影中において入力動画像を形成する入力フレーム画像２００が表示されている時（図１１参照）、ユーザは、タッチパネル機能等を利用して追尾対象２０１と固定位置２０３を指定することができる。この場合、撮影レート調整部７２は、入力フレーム画像２００以降に得られる各入力フレーム画像に対して入力フレーム画像上における位置２１１及び２１３間の距離を評価距離ＤＩＳとして導出し、入力フレーム画像２００以降に得られる入力フレーム画像列の撮影レートを評価距離ＤＩＳに基づいて動的に変更する。入力フレーム画像が異なれば位置２１１は変化しうるが、固定位置２１３は不変である。撮影レートを評価距離ＤＩＳに基づいて動的に変更する方法は、上述したものと同様である。

図１４を参照して、自動スロー記録モードにおける撮像装置１の動作の流れを説明する。図１４は、この動作の流れを表すフローチャートである。自動スロー記録モードでは、まず６０ｆｐｓの撮影レートにて入力動画像の撮影が開始され（ステップＳ２１）、複数の追尾対象の設定が成されるまで或いは追尾対象と固定位置の設定が成されるまで撮影レートは６０ｆｐｓに維持される（ステップＳ２２）。１回目の録画ボタン２６ａの押下操作があった時点から入力フレーム画像の画像データが外部メモリ１８に順次記録される。ユーザの指定等によって複数の追尾対象の設定又は追尾対象と固定位置の設定が成されると（ステップＳ２２のＹ）、ステップＳ２３及びＳ２４において、最新の入力フレーム画像から評価距離ＤＩＳが算出されて最新の評価距離ＤＩＳに応じて撮影レートが設定されると共に、最新の入力フレーム画像の画像データが順次外部メモリ１８に記録される。ステップＳ２３及びＳ２４の処理は、入力動画像の撮影が終了するまで（例えば、２回目の録画ボタン２６ａの押下操作があるまで）、繰り返し実行される（ステップＳ２５）。

＜＜第５実施形態＞＞
本発明の第５実施形態を説明する。第５実施形態は、第４実施形態の一部を変形した実施形態であり、第５実施形態において特に述べない事項に関しては、矛盾なき限り、第４実施形態にて述べた事項が第５実施形態にも適用される。また、第１〜第３実施形態にて述べた事項も、矛盾なき限り第５実施形態に適用される。

第５実施形態では、自動スロー記録モードにおいて、撮影レートを６０ｆｐｓに固定して入力動画像の画像データを取得し、その入力動画像の画像データを図２の追尾処理部５１及び速度調整部５２に与え、これによって速度調整部５２から得られる出力動画像の画像データを外部メモリ１８に記録する。入力動画像から出力動画像を生成する方法は、第１又は第２実施形態で述べた通りである。そして、再生モードにおいて、撮像装置１は、表示部２７を用いて、外部メモリ１８から読み出した出力動画像を一定のフレームレート６０ｆｐｓにて再生する。或いは、外部メモリ１８に記録された出力動画像を、撮像装置１と異なる電子機器（例えば、画像再生装置；不図示）に与え、その電子機器上で該出力動画像を一定のフレームレート６０ｆｐｓにて再生させる。

第５実施形態によっても、第４実施形態と同様、評価距離ＤＩＳに応じて、記録されるフレーム画像の単位時間当たりの枚数が調整される。即ち、記録フレームレート制御部又はフレームレート制御部とも言うべき図２の速度調整部５２により、記録される動画像のフレームレートが評価距離ＤＩＳに応じて調整される。このため、第５実施形態によっても、第４実施形態と同様の効果が得られる。

＜＜第６実施形態＞＞
本発明の第６実施形態を説明する。第１及び第２実施形態において、入力動画像の再生速度を評価距離ＤＩＳに基づき動的に制御する再生速度可変機能を説明した。第１実施形態で述べたように、再生速度可変機能が有効になっている状態における再生モードは、特に自動スロー再生モードと呼ばれる。第６実施形態では、図１の撮像装置１による再生速度可変機能の他の実現方法を説明する。上述の各実施形態にて記載した事項が、矛盾無き限り、第６実施形態にも適用される。

図１５は、第６実施形態に係る自動スロー再生モードの動作に特に関与する、撮像装置１の一部ブロック図である。図１５の顔検出部１０１及び速度調整部５２ａを、例えば、図１の映像信号処理部１３又は表示処理部２０内に設けることができる。

入力動画像の画像データが顔検出部１０１及び速度調整部５２ａに与えられる。第６実施形態において、入力動画像の画像データは外部メモリ１８に記録された動画像の画像データであり、その画像データは、撮影モードにおける撮像装置１の撮影動作によって得られる。但し、入力動画像の画像データは、撮像装置１以外の装置から与えられるものであっても良い。第６実施形態及び後述の他の実施形態においても、第１実施形態と同様、入力動画像を形成する入力フレーム画像を表す記号として、ＦＩ₁、ＦＩ₂、ＦＩ₃、・・・、ＦＩ_nー1、ＦＩ_n、・・・を導入する（図３参照）。また、第６実施形態では、第１実施形態と同様、入力動画像の全体にわたって、入力動画像のフレームレートは６０ｆｐｓ（frame per second）であるとする。第６実施形態における以下の説明は、特に記述無き限り、自動スロー再生モードにおける撮像装置１の動作説明である。

顔検出部１０１は、入力フレーム画像に基づき当該入力フレーム画像に対する顔検出処理を実行し、その顔検出処理の結果を表す顔検出情報を生成する。顔検出部１０１は、顔検出処理を、入力フレーム画像ごとに行うことができる。顔検出処理では、入力フレーム画像の画像データに基づいて入力フレーム画像中から人物の顔を検出し、検出された顔を含む顔領域を抽出する。画像中に含まれる顔を検出する手法として様々な手法が知られており、顔検出部１０１は何れの手法をも採用可能である。例えば、予め登録された基準顔画像との類似度が高い画像部分を入力フレーム画像から顔領域として抽出することで、入力フレーム画像上の顔を検出することができる。

また、顔検出部１０１は、顔検出処理において、入力フレーム画像における顔の向きをも検出する。即ち例えば、顔検出部１０１は、入力フレーム画像から検出された顔が、図１６（ａ）に示すような正面顔（正面から見た顔）であるのか、或いは、図１６（ｂ）及び（ｄ）に示すような斜め顔（斜め方向から見た顔）であるのか、或るいは、図１６（ｃ）及び（ｅ）に示すような横顔（横から見た顔）であるのかを、複数段階に区別して検出可能である。顔の向きを検出する手法として様々な手法が提案されており、顔検出部１０１は何れの手法をも採用可能である。例えば、特開平１０−３０７９２３号公報に記載の手法のように、入力フレーム画像の中から、目、鼻、口等の顔部品を順番に見つけていって入力フレーム画像上の顔の位置を検出し、顔部品の投影データに基づいて顔の向きを検出するようにしても良い。或いは例えば、特開２００６−７２７７０号公報に記載の手法を用いてもよい。

顔の向きを表す角度を記号θにて表現し、その角度を向き角度と呼ぶ。正面顔の向き角度θは０°であり、横顔の向き角度θは９０°又は（−９０°）である。斜め顔の向き角度θは、“０°＜θ＜９０°”又は“−９０°＜θ＜０°”を満たす。撮像装置１に真っ直ぐ正対した顔が入力フレーム画像上に現れている場合、その顔の向き角度θは０°である。顔が撮像装置１に真っ直ぐ正対している状態を起点として、その顔が首を回転軸として左及び右方向のどちらかに徐々に回転してゆくと、その回転の過程において、その顔の向き角度θの絶対値は９０°に向かって徐々に増大していく。今、入力フレーム画像上における顔が入力フレーム画像上の右方向を向いているとき（図１６（ｂ）及び（ｃ）参照）、その顔の向き角度θは負であるとし、入力フレーム画像上における顔が入力フレーム画像上の左方向を向いているとき（図１６（ｄ）及び（ｅ）参照）、その顔の向き角度θは正であるとする。

更に、顔検出部１０１は、顔検出処理において、入力フレーム画像内における顔の傾きをも検出する。ここにおける顔の傾きとは、図１７に示す如く、入力フレーム画像３１０の垂直方向に対する顔３１３の傾きを意味し、例えば、入力フレーム画像３１０の垂直方向に平行な直線３１１に対する顔３１３の口中央と眉間を結ぶ直線３１２の傾きである。例えば、入力フレーム画像を回転させ、回転後の画像に対して上記の類似度の評価を行うことにより、傾いた顔を検出可能であると共に顔の傾きを検出することができる。

顔の傾きを表す角度を記号φにて表現し、その角度を傾き角度と呼ぶ。図１７の入力フレーム画像３１０において、傾き角度φは直線３１１と直線３１２が成す角度である。図１７に示す如く、入力フレーム画像３１０上において直線３１１を反時計周り方向に９０度未満だけ回転させた直線が直線３１２である場合には傾き角度φは負であり、図１７に示す状況とは異なるが、入力フレーム画像３１０上において直線３１１を時計周り方向に９０度未満だけ回転させた直線が直線３１２である場合には傾き角度φは正であるとする。

図１８及び図１９を参照して、顔検出部１０１にて実行可能な顔検出処理の一例を説明する。尚、便宜上、顔の向き角度θの検出を向き検出と呼び、顔の傾き角度φの検出を傾き検出と呼ぶ。図１８において、符号３２０は、任意の１枚の入力フレーム画像を表している。図１９に示された複数の顔は、顔検出部１０１に予め登録された複数の基準顔画像ＲＦ［θ_O，φ_O］を表している。θ_Oは基準顔画像ＲＦ［θ_O，φ_O］の向き角度を表し、φ_Oは基準顔画像ＲＦ［θ_O，φ_O］の傾き角度を表している。向き角度θが−９０°、−６０°、−３０°、−１５°、０°、１５°、３０°、６０°及び９０°である時の基準顔画像ＲＦ［θ_O，φ_O］が夫々に設定されており、且つ、傾き角度φが−３０°、−１５°、０°、１５°及び３０°である時の基準顔画像ＲＦ［θ_O，φ_O］が夫々に設定されている。従って、基準顔画像ＲＦ［θ_O，φ_O］の種類の総数は４５（＝９×５）である。図１９には、図示の簡略化上、５つの基準顔画像のみに対して対応する符号（ＲＦ［９０°，−３０°］、ＲＦ［−９０°，−３０°］、ＲＦ［９０°，３０°］、ＲＦ［−９０°，３０°］及びＲＦ［９０°，０°］）が付されている。

顔検出部１０１は、入力フレーム画像３２０内に所定の画像サイズを有する着目領域３２１を設定する。そして、まず、４５種類の基準顔画像ＲＦ［θ_O，φ_O］の１つである基準顔画像ＲＦ［９０°，０°］に注目し、着目領域３２１内の画像と基準顔画像ＲＦ［９０°，０°］との類似度を判定することで、着目領域３２１に、向き角度θが９０°であって且つ傾き角度φが０°の顔が含まれているか否かを検出する。類似判定は、顔であるか否かを識別するのに有効な特徴量を抽出することによって行う。特徴量は、水平エッジ、垂直エッジ、右斜めエッジ、左斜めエッジ等である。

入力フレーム画像３２０において着目領域３２１は一画素ずつ左右方向又は上下方向にずらされる。そして、ずらされた後の着目領域３２１の画像と基準顔画像ＲＦ［９０°，０°］とが対比されて、再度、両画像の類似度が判定され、同様の検出が行われる。このように、着目領域３２１は、例えば入力フレーム画像３２０の左上から右下方向に向けて１画素ずつずらされながら、更新設定される。図１８における矢印は、着目領域３２１がずらされていく過程を示している。また、入力フレーム画像３２０を一定割合で縮小し、縮小後の画像に対して、上述と同様の向き検出及び傾き検出を行う。このような処理を繰り返すことにより、入力フレーム画像３２０から、任意の大きさを有する、向き角度θが９０°であって且つ傾き角度φが０°の顔を検出することができる。

基準顔画像ＲＦ［９０°，０°］に注目して行った処理を、基準顔画像ＲＦ［６０°，０°］に対しても同様に行う。これにより、入力フレーム画像３２０中から、任意の大きさを有する、向き角度θが６０°であって且つ傾き角度φが０°の顔を検出することができる。更に、基準顔画像ＲＦ［９０°，０°］及びＲＦ［６０°，０°］に注目して行った処理を、残りの４３種類の基準顔画像ＲＦ［θ_O，φ_O］の夫々に対しても同様に行う。そうすると、最終的に、様々な向き角度θ及び傾き角度φを持った顔を入力フレーム画像３２０から検出することができる。

図１９に示す例では、顔の向き角度θが９段階で検出され且つ顔の傾き角度φが５段階で検出されているが、顔の向き角度θは９段階と異なる段階数にて検出されても良く、顔の傾き角度φは５段階と異なる段階数にて検出されても良い。基準顔画像ＲＦ［９０°，０°］と着目領域３２１内の画像との類似度と、基準顔画像ＲＦ［６０°，０°］と着目領域３２１内の画像との類似度とに基づき、着目領域３２１内の顔の向き角度θを、「６０°＜θ＜９０°」を満たす範囲内において高分解能で検出するようにしても良い（例えば、前者の類似度と後者の類似度が同程度の場合、θが７５°であると検出するようにしても良い）。他の基準顔画像（例えば、ＲＦ［６０°，０°］及びＲＦ［３０°，０°］）についての類似度に基づく向き角度θの検出においても同様であり、傾き角度φの検出においても同様である。

顔検出部１０１にて生成される顔検出情報には、顔の存否を表す情報の他、向き角度θ及び傾き角度φを表す情報が含められる（図１５参照）。例えば、図１８の入力フレーム画像３２０中から、向き角度θが９０°であって且つ傾き角度φが０°の顔が検出された場合、その検出された顔の向き角度θ及び傾き角度φが夫々９０°及び０°であることを示す情報が顔検出情報に含められる。顔検出情報に、入力フレーム画像上における顔の位置及び大きさを表す情報を更に含めておくようにしても良い。顔検出情報は速度調整部５２ａに与えられる（図１５参照）。

速度調整部５２ａは、顔検出情報に基づき入力動画像の再生速度を調整することで出力動画像を生成する。第１実施形態における速度調整部５２（図２及び図５参照）では、評価距離ＤＩＳに基づいて決定した再生速度調整率ｋ_Rを用いて入力動画像の再生速度を調整していたが、速度調整部５２ａでは、顔検出情報に基づいて決定した再生速度調整率ｋ_Rを用いて入力動画像の再生速度を調整する。

速度調整部５２ａは、向き角度θ及び／又は傾き角度φに基づく評価角度ＡＮＧに基づき、再生速度調整率ｋ_Rを決定する。評価角度ＡＮＧは、向き角度θの絶対値である角度｜θ｜、又は、傾き角度φの絶対値である角度｜φ｜である。或いは、向き角度θ及び傾き角度φに基づく角度を評価角度ＡＮＧに代入しても良い。即ち例えば、ＡＮＧ＝ｋ₁・｜θ｜＋ｋ₂・｜φ｜であってもよい。ｋ₁及びｋ₂は、正の値を有する所定の重み付け係数である。評価角度ＡＮＧが角度｜θ｜である場合には、顔検出処理から顔の傾き検出を割愛することもできるし、評価角度ＡＮＧが角度｜φ｜である場合には、顔検出処理から顔の向き検出を割愛することもできる。

図２０に、再生速度調整率ｋ_Rと評価角度ＡＮＧとの関係例を示す。このような関係を表すルックアップテーブル又は数式を、予め速度調整部５２ａに与えておくことができる。上述したように、再生速度調整率ｋ_Rは、入力動画像のフレームレート６０ｆｐｓと一致する基準再生速度ＲＥＦ_SPを基準とした、再生速度の調整率を表し、入力動画像の再生速度はＲＥＦ_SP×ｋ_Rとされる。従って、ｋ_Rの値が小さいほど再生速度は小さくなり、ｋ_Rの値が大きいほど再生速度は大きくなる。

図２０に示す例では、不等式「０°≦ＡＮＧ＜ＴＨ_A1」の成立時には「ｋ_R＝１／８」とされ、不等式「ＴＨ_A1≦ＡＮＧ＜ＴＨ_A2」の成立時には評価角度ＡＮＧが基準角度ＴＨ_A1から基準角度ＴＨ_A2に向かって増大するにつれて再生速度調整率ｋ_Rが１／８から１に向かって線形的に増大せしめられ、不等式「ＴＨ_A2≦ＡＮＧ＜ＴＨ_A3」の成立時には「ｋ_R＝１」とされ、不等式「ＴＨ_A3≦ＡＮＧ＜ＴＨ_A4」の成立時には評価角度ＡＮＧが基準角度ＴＨ_A3から基準角度ＴＨ_A4に向かって増大するにつれて再生速度調整率ｋ_Rが１から２に向かって線形的に増大せしめられ、不等式「ＴＨ_A4≦ＡＮＧ」の成立時には「ｋ_R＝２」とされる。

尚、図２０に示す例では、不等式「ＴＨ_A1≦ＡＮＧ＜ＴＨ_A2」又は「ＴＨ_A3≦ＡＮＧ＜ＴＨ_A4」の成立時において、評価角度ＡＮＧの変化に対して再生速度調整率ｋ_Rを連続的に変化させているが、図５に示されるＤＩＳ及びｋ_R間の関係を図７のそれへと変更できるように、不等式「ＴＨ_A1≦ＡＮＧ＜ＴＨ_A2」又は「ＴＨ_A3≦ＡＮＧ＜ＴＨ_A4」の成立時において、ｋ_Rを段階的に変化させるようにしても良い。

ＴＨ_A1〜ＴＨ_A4は、不等式「０°＜ＴＨ_A1＜ＴＨ_A2＜ＴＨ_A3＜ＴＨ_A4≦９０°」を満たす基準角度であり、それらを予め設定しておくことができる。但し、ＴＨ_A1＝ＴＨ_A2とすることもできるし、或いは、ＴＨ_A2＝ＴＨ_A3とすることもできるし、或いは、ＴＨ_A3＝ＴＨ_A4とすることもできる。ＡＮＧ＝｜θ｜である場合、例えば、ＴＨ_A1、ＴＨ_A2、ＴＨ_A3及びＴＨ_A4に、夫々、１５°、３０°、４５°及び９０°が代入される。ＡＮＧ＝｜φ｜である場合、例えば、ＴＨ_A1、ＴＨ_A2、ＴＨ_A3及びＴＨ_A4に、夫々、５°、１０°、２０°及び３０°が代入される。

再生速度調整率ｋ_Rの決定方法が異なる点を除き、速度調整部５２ａによる出力動画像の生成方法は、速度調整部５２によるそれ（図８及び図９参照）と同じである。速度調整部５２ａから出力される出力動画像は、一定のフレームレート６０ｆｐｓにて表示部２７に表示される。入力動画像に関連付けられた音声信号の再生方法は、第１実施形態で述べたものと同様である。

人の顔が撮影された動画像上において、人の顔が正面又は概ね正面を向いている映像区間や人の顔の傾きが０°又は０°近辺となっている映像区間は、ユーザ（視聴者）にとっての注目区間であり、比較的長い時間をかけて再生されることが希望される。これを考慮し、本実施形態では、入力動画像上における人の顔が正面又は概ね正面を向いている場合において、或いは、入力動画像上における人の顔の傾きが０°又は０°近辺である場合おいて、自動的に再生速度を低下させる。これにより、ユーザ（視聴者）の希望に符合するスロー再生が成される。

また、人の顔が横を向いている映像区間や人の顔の傾きが比較的大きくなっている映像区間は、重要なシーンについての映像区間ではないと推測される。これを考慮し、上述の例では、評価角度ＡＮＧが相応に大きい時に早送り再生を行う。これにより、動画像の視聴に要する時間を短縮することができる。また、スロー再生時における再生速度が常に同じであると、スロー再生時における映像が単調になりやすくなるおそれがある。これを考慮し、評価角度ＡＮＧに基づきスロー再生時における再生速度を２段階以上で変化させると良い（基準再生速度ＲＥＦ_SPをも含めて考えると、再生速度を３段階以上で変化させると良い）。これにより、臨場感のあるスロー再生が可能となる。

尚、上述したような早送り再生が行われないようにすることも可能である。即ち例えば、不等式「ＴＨ_A2≦ＡＮＧ」の成立時には、評価角度ＡＮＧが幾ら大きくなっても、常にｋ_Rを１としても良い。また、入力フレーム画像から顔が検出されない区間など、評価角度ＡＮＧを求めることができない区間においては、入力動画像の再生速度が基準再生速度ＲＥＦ_SPに設定される。

次に、図２１を参照して、第６実施形態の自動スロー再生モードにおける撮像装置１の動作の流れを説明する。図２１は、この動作の流れを表すフローチャートである。自動スロー再生モードにて入力動画像としての動画像の再生が指示されると、入力動画像を形成する入力フレーム画像が時系列上で早いものから順に外部メモリ１８より読み出され、次々と評価角度ＡＮＧが導出されて再生速度が調整される。即ち、現時点の入力フレーム画像が外部メモリ１８より読み出されて（ステップＳ３１）、その現時点の入力フレーム画像に対して顔検出情報に基づく評価角度ＡＮＧが算出されると共に（ステップＳ３２）該評価角度ＡＮＧに基づく再生速度にて現時点の入力フレーム画像が再生される（ステップＳ３３）。ステップＳ３１〜Ｓ３３の処理は、入力動画像の再生が終了するまで繰り返し実行される（ステップＳ３４）。

尚、外部メモリ１８の記録データに基づく上述の各処理を、撮像装置と異なる電子機器（例えば、画像再生装置；不図示）にて実現することも可能である（撮像装置も電子機器の一種である）。例えば、撮像装置１において、動画像の撮影を行って該動画像の画像データを外部メモリ１８に記憶しておく。そして、上記電子機器に、図１５の顔検出部１０１及び速度調整部５２ａを設けておくと共に図１の表示部２７及びスピーカ２８と同等の表示部及びスピーカを設けておき、外部メモリ１８に記録された動画像の画像データを入力動画像の画像データとして、電子機器内の顔検出部１０１及び速度調整部５２ａに与えれば良い。電子機器において、表示部は一定のフレームレート６０ｆｐｓにて速度調整部５２ａからの出力動画像を再生表示する。これにより、電子機器の表示部上で再生速度調整の成された入力動画像の再生がなされると共に該入力動画像に関連付けられた音声信号も電子機器のスピーカにて再生される。

＜＜第７実施形態＞＞
本発明の第７実施形態を説明する。上述の第４実施形態において、記録される動画像のフレームレートを評価距離ＤＩＳに基づき動的に制御する記録レート可変機能を説明した。第４実施形態で述べたように、記録レート可変機能が有効になっている状態における撮影モードは、特に自動スロー記録モードと呼ばれる。第７実施形態では、図１の撮像装置１による記録レート可変機能の他の実現方法を説明する。上述の各実施形態にて述べた事項は、矛盾なき限り、第７実施形態にも適用される。

図２２は、第７実施形態に係る自動スロー記録モードの動作に特に関与する、撮像装置１の一部ブロック図である。図２２の顔検出部１０１は、図１５のそれと同じものである。撮影レート調整部７２ａは、例えば、図１のＣＰＵ２３及び／又はＴＧ２２によって実現される。第７実施形態における入力フレーム画像の画像データは、上述の第４及び第５実施形態と同様、自動スロー記録モードにおいてＡＦＥ１２から出力されるフレーム画像の画像データを指す。第７実施形態における以下の説明は、特に記述無き限り、自動スロー記録モードにおける撮像装置１の動作説明である。

自動スロー記録モードにおいて、順次得られる入力フレーム画像の画像データは顔検出部１０１に与えられる。顔検出部１０１は、入力フレーム画像の画像データに基づき、当該入力フレーム画像に対して顔検出処理を実行し、その顔検出処理の結果を表す顔検出情報を生成する。顔検出処理及び顔検出情報の内容は、第６実施形態で述べたものと同様である。

撮影レート調整部７２ａは、自動スロー記録モードにおいて、顔検出情報に基づき撮影レートを動的に変更する。より具体的には、顔検出情報から評価角度ＡＮＧを算出し、評価角度ＡＮＧに応じて撮影レートを動的に変更する。評価角度ＡＮＧを入力フレーム画像ごとに算出することができる。評価角度ＡＮＧの算出方法は、第６実施形態で述べたものと同様である。

図２３に、撮影レートと評価角度ＡＮＧとの関係例を示す。このような関係を表すルックアップテーブル又は数式を、予め撮影レート調整部７２ａに与えておくことができる。図２３に示す如く、基本的に、評価角度ＡＮＧが大きいほど撮影レートが小さくされる。

図２３に示す例では、不等式「ＡＮＧ＜ＴＨ_A1」の成立時において撮影レートは３００ｆｐｓとされ、不等式「ＴＨ_A1≦ＡＮＧ＜ＴＨ_A2」の成立時には評価角度ＡＮＧが基準角度ＴＨ_A1から基準角度ＴＨ_A2に向かって増大するにつれて撮影レートが３００ｆｐｓから６０ｆｐｓに向かって線形的に減少せしめられ、不等式「ＴＨ_A2≦ＡＮＧ＜ＴＨ_A3」の成立時には撮影レートは６０ｆｐｓとされ、不等式「ＴＨ_A3≦ＡＮＧ＜ＴＨ_A4」の成立時には評価角度ＡＮＧが基準角度ＴＨ_A3から基準角度ＴＨ_A4に向かって増大するにつれて撮影レートが６０ｆｐｓから１５ｆｐｓに向かって線形的に減少せしめられ、不等式「ＴＨ_A4≦ＡＮＧ」の成立時には撮影レートは１５ｆｐｓとされる。

撮影レートの連続的な変化が可能であるならば上述のような撮影レートの調整が可能であるが、通常、撮影レートは段階的にしか変化させられないことが多い。従って、図５の関係を図７の関係へと変形したように、不等式「ＴＨ_A1≦ＡＮＧ＜ＴＨ_A2」又は「ＴＨ_A3≦ＡＮＧ＜ＴＨ_A4」の成立時において、撮影レートを連続的に変化させるのではなく段階的に変化させるようにしても良い。

上述の第４実施形態では状態量としての評価距離ＤＩＳに基づき撮影レートが設定されていたのに対し、第６実施形態では他の状態量としての評価角度ＡＮＧに基づき撮影レートが設定される。撮影レートの設定の元となる状態量が異なる点を除き、撮影レート調整部７２ａの機能は第４実施形態に係る撮影レート調整部７２（図１２参照）のそれと同様である。従って例えば、入力フレーム画像ＦＩ_n〜ＦＩ_n+2の撮影区間に対する撮影レートは、入力フレーム画像ＦＩ_n〜ＦＩ_n+2に対して求められた評価角度ＡＮＧについて不等式「ＡＮＧ＜ＴＨ_A1」が成立しているとしたならば３００ｆｐｓとされ、不等式「ＴＨ_A2≦ＡＮＧ＜ＴＨ_A3」が成立しているとしたならば６０ｆｐｓとされ、不等式「ＴＨ_A4≦ＡＮＧ」が成立しているとしたならば１５ｆｐｓとされる。第４実施形態で述べたように、撮影レートの変更は、可能な限りにおいて速やかに実行される。

上述のようにして得た入力動画像の画像データは外部メモリ１８に記録される。再生モードにおいて、撮像装置１は、表示部２７を用いて、外部メモリ１８から読み出した入力動画像を一定のフレームレート６０ｆｐｓにて再生する。或いは、外部メモリ１８に記録された入力動画像を、撮像装置１と異なる電子機器（例えば、画像再生装置；不図示）に与え、その電子機器上で該入力動画像を一定のフレームレート６０ｆｐｓにて再生させることもできる。入力動画像の再生時において、外部メモリ１８に記録された入力音声信号もスピーカ２８にて再生される。

評価角度ＡＮＧが小さいことに起因して撮影レートが高い状態で記録された部分は、単位時間当たりの記録フレーム数が多いため、スローで再生される。逆に、評価角度ＡＮＧが大きいことに起因して撮影レートが低い状態で記録された部分は、単位時間当たりの記録フレーム数が少ないため、早送りで再生される。結果、第６実施形態と同様の効果が得られる。また、評価角度ＡＮＧが小さい時に高い撮影レート（例えば３００ｆｐｓ）にて実際に撮影を行って画像記録を行うため、第６実施形態と比べて、高画質のスロー再生を行うことができる。反面、記録データ量が多くなると共に、高い撮影レート（例えば３００ｆｐｓ）にて撮影された部分を通常再生する場合には間引き処理が必要となる。

尚、評価角度ＡＮＧが大きい時に、撮影レートの低速化を行わないようにしても良い。即ち例えば、不等式「ＴＨ_A2≦ＡＮＧ」の成立時には、評価角度ＡＮＧが幾ら大きくなっても、常に撮影レートを６０ｆｐｓに設定するようにしても良い。また、入力動画像の撮影及び記録中に、評価角度ＡＮＧの算出が不可能になった場合には、以後、入力動画像の撮影レートを６０ｆｐｓにすれば良い。但し、その後に、評価角度ＡＮＧの算出が再度可能になったならば、評価角度ＡＮＧに基づく撮影レートの調整を再開することができる。

図２４を参照して、第７実施形態の自動スロー記録モードにおける撮像装置１の動作の流れを説明する。図２４は、この動作の流れを表すフローチャートである。自動スロー記録モードでは、１回目の録画ボタン２６ａの押下操作があった時点から入力フレーム画像の画像データが外部メモリ１８に順次記録される。この際、最新の入力フレーム画像から評価角度ＡＮＧが算出されて最新の評価角度ＡＮＧに応じて撮影レートが設定されると共に（ステップＳ４１）、最新の入力フレーム画像の画像データが順次外部メモリ１８に記録される（ステップＳ４２）。ステップＳ４１及びＳ４２の処理は、入力動画像の撮影が終了するまで（例えば、２回目の録画ボタン２６ａの押下操作があるまで）、繰り返し実行される（ステップＳ４３）。

尚、第４実施形態を第５実施形態へと変形できるように、第７実施形態における上述の方法を以下のように変形することもできる。
即ち、自動スロー記録モードにおいて、撮影レートを６０ｆｐｓに固定して入力動画像の画像データを取得し、その入力動画像の画像データを図１５の顔検出部１０１及び速度調整部５２ａに与え、これによって速度調整部５２ａから得られる出力動画像の画像データを外部メモリ１８に記録する。入力動画像から出力動画像を生成する方法は、第６実施形態で述べた通りである。そして、再生モードにおいて、撮像装置１は、表示部２７を用いて、外部メモリ１８から読み出した出力動画像を一定のフレームレート６０ｆｐｓにて再生する。或いは、外部メモリ１８に記録された出力動画像を、撮像装置１と異なる電子機器（例えば、画像再生装置；不図示）に与え、その電子機器上で該出力動画像を一定のフレームレート６０ｆｐｓにて再生させる。これによっても、評価角度ＡＮＧに応じて、記録されるフレーム画像の単位時間当たりの枚数が調整される。即ち、記録フレームレート制御部又はフレームレート制御部とも言うべき図１５の速度調整部５２ａにより、記録される動画像のフレームレートが評価角度ＡＮＧに応じて調整され、図２２の撮影レート調整部７２ａを用いて撮影レートを調整した場合と同様の効果が得られる。

＜＜第８実施形態＞＞
本発明の第８実施形態を説明する。第８実施形態では、図１の撮像装置１による再生速度可変機能の更に他の実現方法を説明する。上述の各実施形態にて記載した事項が、矛盾無き限り、第８実施形態にも適用される。

図２５は、第８実施形態に係る自動スロー再生モードの動作に特に関与する、撮像装置１の一部ブロック図である。図２５の音量検出部１１１を、例えば図１の音声信号処理部１５内に設けることができ、図２５の速度調整部５２ｂを、例えば図１の映像信号処理部１３又は表示処理部２０内に設けることができる。

入力動画像の画像データが速度調整部５２ｂに与えられる。第８実施形態において、入力動画像の画像データは外部メモリ１８に記録された動画像の画像データであり、その画像データは、撮影モードにおける撮像装置１の撮影動作によって得られる。但し、入力動画像の画像データは、撮像装置１以外の装置から与えられるものであっても良い。また、第８実施形態では、第１実施形態と同様、入力動画像の全体にわたって、入力動画像のフレームレートは６０ｆｐｓ（frame per second）であるとする。第８実施形態における以下の説明は、特に記述無き限り、自動スロー再生モードにおける撮像装置１の動作説明である。

入力動画像の画像データに関連付けられた音声信号が入力音声信号として音量検出部１１１に与えられる。入力音声信号は、入力動画像の撮影区間において図１のマイク１４により収音された音の音声信号であって、撮影モードにおいて入力動画像の画像データと共に外部メモリ１８に記録されている。第８実施形態では、図２６に示す如く、入力動画像の撮影区間の全体が複数の単位区間Ｐ［１］、Ｐ［２］、Ｐ［３］、・・・に分割される。夫々の単位区間の時間長さはフレーム周期（本実施形態において１／６０秒）のＬ倍である。ここで、Ｌは自然数である。尚、本明細書において、音声信号という用語を音響信号と読み替えることもできる。

音量検出部１１１は、単位区間ごとに、単位区間中の入力音声信号に基づいて当該単位区間中の入力音声信号の大きさを検出し、検出した大きさを表す情報である評価音量を出力する。評価音量を記号ＳＶにて表し、単位区間Ｐ［ｉ］に対する評価音量ＳＶを特に、記号ＳＶ［ｉ］にて表す（ｉは整数）。入力音声信号の大きさは、入力音声信号の信号レベルであってもよいし、入力音声信号のパワーであっても良い。入力音声信号の信号レベル又はパワーが増大すれば当該入力音声信号の音量及び評価音量ＳＶは増大し、入力音声信号の信号レベル又はパワーが減少すれば当該入力音声信号の音量及び評価音量ＳＶは減少する。尚、評価音量ＳＶ［ｉ］の下限値はゼロであるとする。即ち、単位区間Ｐ［ｉ］中の入力音声信号の信号レベル又はパワーがゼロであるとき、評価音量ＳＶ［ｉ］はゼロになるものとする。

音量検出部１１１にて検出される入力音声信号の大きさは、当該単位区間中の平均的な入力音声信号の大きさである。従って例えば、音量検出部１１１は、単位区間Ｐ［１］中の入力音声信号に基づいて単位区間Ｐ［１］中の入力音声信号の信号レベル又はパワーの平均値を算出し、その平均値を単位区間Ｐ［１］に対する評価音量ＳＶ［１］として出力する。他の単位区間についても同様である。

速度調整部５２ｂは、評価音量ＳＶに基づき入力動画像の再生速度を調整することで出力動画像を生成する。第１実施形態又は第６実施形態（図５又は図２０参照）では、評価距離ＤＩＳ又は評価角度ＡＮＧに基づいて決定した再生速度調整率ｋ_Rを用いて入力動画像の再生速度を調整していたが、速度調整部５２ｂでは、評価音量ＳＶに基づいて決定した再生速度調整率ｋ_Rを用いて入力動画像の再生速度を調整する。

図２７に、再生速度調整率ｋ_Rと評価音量ＳＶとの関係例を示す。このような関係を表すルックアップテーブル又は数式を、予め速度調整部５２ｂに与えておくことができる。

図２７に示す例では、不等式「０≦ＳＶ＜ＴＨ_B1」の成立時には「ｋ_R＝２」とされ、不等式「ＴＨ_B1≦ＳＶ＜ＴＨ_B2」の成立時には評価音量ＳＶが基準音量ＴＨ_B1から基準音量ＴＨ_B2に向かって増大するにつれて再生速度調整率ｋ_Rが２から１に向かって線形的に減少せしめられ、不等式「ＴＨ_B2≦ＳＶ＜ＴＨ_B3」の成立時には「ｋ_R＝１」とされ、不等式「ＴＨ_B3≦ＳＶ＜ＴＨ_B4」の成立時には評価音量ＳＶが基準音量ＴＨ_B3から基準音量ＴＨ_B4に向かって増大するにつれて再生速度調整率ｋ_Rが１から１／８に向かって線形的に減少せしめられ、不等式「ＴＨ_B4≦ＳＶ」の成立時には「ｋ_R＝１／８」とされる。

尚、図２７に示す例では、不等式「ＴＨ_B1≦ＳＶ＜ＴＨ_B2」又は「ＴＨ_B3≦ＳＶ＜ＴＨ_B4」の成立時において、評価音量ＳＶの変化に対して再生速度調整率ｋ_Rを連続的に変化させているが、図５に示されるＤＩＳ及びｋ_R間の関係を図７のそれへと変更できるように、不等式「ＴＨ_B1≦ＳＶ＜ＴＨ_B2」又は「ＴＨ_B3≦ＳＶ＜ＴＨ_B4」の成立時において、ｋ_Rを段階的に変化させるようにしても良い。

ＴＨ_B1〜ＴＨ_B4は、不等式「０＜ＴＨ_B1＜ＴＨ_B2＜ＴＨ_B3＜ＴＨ_B4」を満たす基準音量であり、それらを予め設定しておくことができる。但し、ＴＨ_B1＝ＴＨ_B2とすることもできるし、或いは、ＴＨ_B2＝ＴＨ_B3とすることもできるし、或いは、ＴＨ_B3＝ＴＨ_B4とすることもできる。

再生速度調整率ｋ_Rの決定方法が異なる点を除き、速度調整部５２ｂによる出力動画像の生成方法は、速度調整部５２によるそれ（図８及び図９参照）と同様である。但し、第８実施形態では、単位区間Ｐ［ｉ］の入力音声信号に基づく評価音量ＳＶ［ｉ］に基づき、単位区間Ｐ［ｉ］に属する入力フレーム画像の再生速度が制御される。即ち、評価音量ＳＶ［ｉ］に基づいて単位区間Ｐ［ｉ］に対する再生速度調整率ｋ_Rが決定され、単位区間Ｐ［ｉ］に対する再生速度調整率ｋ_Rに基づき、単位区間Ｐ［ｉ］に属する入力フレーム画像から単位区間Ｐ［ｉ］に属する出力フレーム画像が生成される。

従って例えば、各単位区間に属する入力フレーム画像の枚数（即ちＬの値）が４である場合、
不等式「０≦ＳＶ［ｉ］＜ＴＨ_B1」の成立時には、単位区間Ｐ［ｉ］に属する４枚の入力フレーム画像から単位区間Ｐ［ｉ］に属する２枚の出力フレーム画像が生成され、
不等式「ＴＨ_B2≦ＳＶ［ｉ］＜ＴＨ_B3」の成立時には、単位区間Ｐ［ｉ］に属する４枚の入力フレーム画像そのものが単位区間Ｐ［ｉ］に属する４枚の出力フレーム画像として生成され、
不等式「ＴＨ_B4≦ＳＶ［ｉ］」の成立時には、単位区間Ｐ［ｉ］に属する４枚の入力フレーム画像から単位区間Ｐ［ｉ］に属する３２枚の出力フレーム画像が生成される。

速度調整部５２ｂから出力される出力動画像は、一定のフレームレート６０ｆｐｓにて表示部２７に表示される。入力動画像に関連付けられた音声信号の再生方法は、第１実施形態で述べたものと同様である。

例えば、サッカーの試合の様子が撮影された動画像を再生する際、音声信号の大きさが大きくなっている映像区間は、試合上の場面が盛り上がっている区間に相当すると考えられる。従って、そのような映像区間は、ユーザ（視聴者）にとっての注目区間である可能性が高く、比較的長い時間をかけて再生されることが希望される。これを考慮し、本実施形態では、音声信号の大きさが大きく場面が盛り上がっていると推測される場合に、自動的に再生速度を低下させる。これにより、ユーザ（視聴者）の希望に符合するスロー再生が成される。

また、音声信号の大きさが比較的小さくなっている映像区間は、重要なシーンについての映像区間ではないと推測される。これを考慮し、上述の例では、評価音量ＳＶが相応に小さい時に早送り再生を行う。これにより、動画像の視聴に要する時間を短縮することができる。また、スロー再生時における再生速度が常に同じであると、スロー再生時における映像が単調になりやすくなるおそれがある。これを考慮し、評価音量ＳＶに基づきスロー再生時における再生速度を２段階以上で変化させると良い（基準再生速度ＲＥＦ_SPをも含めて考えると、再生速度を３段階以上で変化させると良い）。これにより、臨場感のあるスロー再生が可能となる。

尚、上述したような早送り再生が行われないようにすることも可能である。即ち例えば、不等式「ＳＶ＜ＴＨ_B3」の成立時には、評価音量ＳＶが幾ら小さくなっても、常にｋ_Rを１としても良い。

次に、図２８を参照して、第８実施形態の自動スロー再生モードにおける撮像装置１の動作の流れを説明する。図２８は、この動作の流れを表すフローチャートである。自動スロー再生モードにて入力動画像としての動画像の再生が指示されると、入力動画像を形成する入力フレーム画像及び入力音声信号が時系列上で早いものから順に外部メモリ１８より読み出され、次々と評価音量ＳＶが導出されて再生速度が調整される。

具体的には、ステップＳ５０において変数ｉに１が代入された後、ステップＳ５１において単位区間Ｐ［ｉ］の入力フレーム画像及び入力音声信号が外部メモリ１８より読み出され、続くステップＳ５２において単位区間Ｐ［ｉ］の入力音声信号から評価音量ＳＶ［ｉ］が算出される。そして、続くステップＳ５３において評価音量ＳＶ［ｉ］に基づく再生速度にて単位区間Ｐ［ｉ］の入力フレーム画像が再生される。ステップＳ５１〜Ｓ５３の処理は、入力動画像の再生が終了するまで繰り返し実行され（ステップＳ５４）、ステップＳ５１〜Ｓ５３の処理を１回行うごとに、変数ｉに１が加算される（ステップＳ５５）。

尚、外部メモリ１８の記録データに基づく上述の各処理を、撮像装置と異なる電子機器（例えば、画像再生装置；不図示）にて実現することも可能である（撮像装置も電子機器の一種である）。例えば、撮像装置１において、動画像の撮影を行って該動画像の画像データ及びそれに関連付けられるべき音声信号を外部メモリ１８に記憶しておく。そして、上記電子機器に、図２５の音量検出部１１１及び速度調整部５２ｂを設けておくと共に図１の表示部２７及びスピーカ２８と同等の表示部及びスピーカを設けておき、外部メモリ１８に記録された動画像の画像データ及びそれに関連付けられた音声信号を入力動画像の画像データ及び入力音声信号として、電子機器内の速度調整部５２ｂ及び音量検出部１１１に与えれば良い。電子機器において、表示部は一定のフレームレート６０ｆｐｓにて速度調整部５２ｂからの出力動画像を再生表示する。これにより、電子機器の表示部上で再生速度調整の成された入力動画像の再生がなされると共に該入力動画像に関連付けられた音声信号も電子機器のスピーカにて再生される。

＜＜第９実施形態＞＞
本発明の第９実施形態を説明する。第９実施形態では、図１の撮像装置１による記録レート可変機能の更に他の実現方法を説明する。上述の各実施形態にて述べた事項は、矛盾なき限り、第９実施形態にも適用される。

図２９は、第９実施形態に係る自動スロー記録モードの動作に特に関与する、撮像装置１の一部ブロック図である。図２９の音量検出部１１１は、図２５のそれと同じものである。撮影レート調整部７２ｂは、例えば、図１のＣＰＵ２３及び／又はＴＧ２２によって実現される。第９実施形態における入力フレーム画像の画像データは、上述の第４及び第５実施形態と同様、自動スロー記録モードにおいてＡＦＥ１２から出力されるフレーム画像の画像データを指す。第９実施形態における以下の説明は、特に記述無き限り、自動スロー記録モードにおける撮像装置１の動作説明である。

第９実施形態における入力音声信号とは、入力動画像を撮影する区間において図１のマイク１４により収音された音の音声信号を指す。入力音声信号と入力動画像の画像データは互いに関連付けられて外部メモリ１８に記録される。第８実施形態と同様、図２６に示す如く、入力動画像の撮影区間の全体が複数の単位区間Ｐ［１］、Ｐ［２］、Ｐ［３］、・・・に分割されるものとする。

音量検出部１１１は、単位区間ごとに単位区間についての評価音量ＳＶを算出し、得られた評価音量ＳＶを撮影レート調整部７２ｂに出力する。評価音量ＳＶの意義及び評価音量ＳＶの算出方法は、第８実施形態で述べた通りである。

撮影レート調整部７２ｂは、自動スロー記録モードにおいて、評価音量ＳＶに基づき撮影レートを動的に変更する。図３０に、撮影レートと評価音量ＳＶとの関係例を示す。このような関係を表すルックアップテーブル又は数式を、予め撮影レート調整部７２ｂに与えておくことができる。図３０に示す如く、基本的に、評価音量ＳＶが大きいほど撮影レートが大きくされる。

図３０に示す例では、不等式「ＳＶ＜ＴＨ_B1」の成立時において撮影レートは１５ｆｐｓとされ、不等式「ＴＨ_B1≦ＳＶ＜ＴＨ_B2」の成立時には評価音量ＳＶが基準音量ＴＨ_B1から基準音量ＴＨ_B2に向かって増大するにつれて撮影レートが１５ｆｐｓから６０ｆｐｓに向かって線形的に増大せしめられ、不等式「ＴＨ_B2≦ＳＶ＜ＴＨ_B3」の成立時には撮影レートは６０ｆｐｓとされ、不等式「ＴＨ_B3≦ＳＶ＜ＴＨ_B4」の成立時には評価音量ＳＶが基準音量ＴＨ_B3から基準音量ＴＨ_B4に向かって増大するにつれて撮影レートが６０ｆｐｓから３００ｆｐｓに向かって線形的に増大せしめられ、不等式「ＴＨ_B4≦ＳＶ」の成立時には撮影レートは３００ｆｐｓとされる。

撮影レートの連続的な変化が可能であるならば上述のような撮影レートの調整が可能であるが、通常、撮影レートは段階的にしか変化させられないことが多い。従って、図５の関係を図７の関係へと変形したように、不等式「ＴＨ_B1≦ＳＶ＜ＴＨ_B2」又は「ＴＨ_B3≦ＳＶ＜ＴＨ_B4」の成立時において、撮影レートを連続的に変化させるのではなく段階的に変化させるようにしても良い。

第４又は第７実施形態では状態量としての評価距離ＤＩＳ又は評価角度ＡＮＧに基づき撮影レートが設定されていたのに対し、第９実施形態では他の状態量としての評価音量ＳＶに基づき撮影レートが設定される。撮影レートの設定の元となる状態量が異なる点を除き、撮影レート調整部７２ｂの機能は第４又は第７実施形態に係る撮影レート調整部７２又は７２ａ（図１２又は図２２参照）のそれと同様である。

但し、第９実施形態では、入力動画像の撮影時に得られる入力音声信号からリアルタイムに撮影レートを調整する必要があるため、単位区間Ｐ［ｉ］における音量検出部１１１の検出結果（即ち評価音量ＳＶ［ｉ］）を単位区間Ｐ［ｉ］の撮影レートに反映させることは困難である。従って、撮影レート調整部７２ｂは、評価音量ＳＶ［ｉ］に基づき単位区間Ｐ［ｉ］よりも後の単位区間の撮影レートを調整する。具体的には例えば、評価音量ＳＶ［ｉ］に基づき単位区間［ｉ＋１］の撮影レートを調整する。この場合例えば、単位区間Ｐ［ｉ＋１］に対する撮影レートは、不等式「ＳＶ［ｉ］＜ＴＨ_B1」が成立しているとしたならば１５ｆｐｓとされ、不等式「ＴＨ_B2≦ＳＶ［ｉ］＜ＴＨ_B3」が成立しているとしたならば６０ｆｐｓとされ、不等式「ＴＨ_B4≦ＳＶ［ｉ］」が成立しているとしたならば３００ｆｐｓとされる。

上述のようにして得た入力動画像の画像データは入力音声信号と共に外部メモリ１８に記録される。再生モードにおいて、撮像装置１は、表示部２７を用いて、外部メモリ１８から読み出した入力動画像を一定のフレームレート６０ｆｐｓにて再生する。或いは、外部メモリ１８に記録された入力動画像を、撮像装置１と異なる電子機器（例えば、画像再生装置；不図示）に与え、その電子機器上で該入力動画像を一定のフレームレート６０ｆｐｓにて再生させることもできる。

評価音量ＳＶが大きいことに起因して撮影レートが高い状態で記録された部分は、単位時間当たりの記録フレーム数が多いため、スローで再生される。逆に、評価音量ＳＶが小さいことに起因して撮影レートが低い状態で記録された部分は、単位時間当たりの記録フレーム数が少ないため、早送りで再生される。結果、第８実施形態と同様の効果が得られる。また、評価音量ＳＶが大きい時に高い撮影レート（例えば３００ｆｐｓ）にて実際に撮影を行って画像記録を行うため、第８実施形態と比べて、高画質のスロー再生を行うことができる。反面、記録データ量が多くなると共に、高い撮影レート（例えば３００ｆｐｓ）にて撮影された部分を通常再生する場合には間引き処理が必要となる。

尚、評価音量ＳＶが小さい時に、撮影レートの低速化を行わないようにしても良い。即ち例えば、不等式「ＳＶ＜ＴＨ_B3」の成立時には、評価音量ＳＶが幾ら小さくなっても、常に撮影レートを６０ｆｐｓに設定するようにしても良い。

図３１を参照して、第９実施形態の自動スロー記録モードにおける撮像装置１の動作の流れを説明する。図３１は、この動作の流れを表すフローチャートである。自動スロー記録モードでは、１回目の録画ボタン２６ａの押下操作によって入力動画像の撮影指示が成されると、変数ｉに１が代入されると共に入力動画像の撮影及び記録が開始される（ステップＳ６０及びＳ６１）。上述したように、入力動画像の撮影区間における入力音声信号も、入力フレーム画像の画像データに関連付けられた上で外部メモリ１８に記録されてゆく。ステップＳ６２において、単位区間Ｐ［ｉ］における入力音声信号から評価音量ＳＶ［ｉ］が算出され、続くステップＳ６３にて、評価音量ＳＶ［ｉ］に応じて単位区間Ｐ［ｉ＋１］の撮影レートが設定される。入力動画像の撮影が終了するまで（例えば、２回目の録画ボタン２６ａの押下操作があるまで）、順次得られる入力フレーム画像の画像データの記録は継続され、且つ、ステップＳ６２及びＳ６３の処理は繰り返し実行される（ステップＳ６４）。ステップＳ６２及びＳ６３の処理を１回行うごとに、変数ｉに１が加算される（ステップＳ６５）。また、単位区間Ｐ［１］における撮影レートは、６０ｆｐｓに固定される。或いは、単位区間Ｐ［１］の直前の区間である単位区間Ｐ［０］の音声信号から評価音量ＳＶ［０］を算出し、評価音量ＳＶ［０］に基づいて単位区間Ｐ［１］における撮影レートを設定するようにしても良い。

尚、第４実施形態を第５実施形態へと変形できるように、第８実施形態における上述の方法を以下のように変形することもできる。
即ち、自動スロー記録モードにおいて、撮影レートを６０ｆｐｓに固定して入力動画像の画像データを取得し、その入力動画像の画像データ及びそれに関連付けられるべき入力音声信号を図２５の速度調整部５２ｂ及び音量検出部１１１に与え、これによって速度調整部５２ｂから得られる出力動画像の画像データを外部メモリ１８に記録する。入力動画像から出力動画像を生成する方法は、第８実施形態で述べた通りである。そして、再生モードにおいて、撮像装置１は、表示部２７を用いて、外部メモリ１８から読み出した出力動画像を一定のフレームレート６０ｆｐｓにて再生する。或いは、外部メモリ１８に記録された出力動画像を、撮像装置１と異なる電子機器（例えば、画像再生装置；不図示）に与え、その電子機器上で該出力動画像を一定のフレームレート６０ｆｐｓにて再生させる。これによっても、評価音量ＳＶに応じて、記録されるフレーム画像の単位時間当たりの枚数が調整される。即ち、記録フレームレート制御部又はフレームレート制御部とも言うべき図２５の速度調整部５２ｂにより、記録される動画像のフレームレートが評価音量ＳＶに応じて調整され、図２９の撮影レート調整部７２ｂを用いて撮影レートを調整した場合と同様の効果が得られる。

＜＜第１０実施形態＞＞
本発明の第１０実施形態を説明する。第１０実施形態では、図１の撮像装置１による記録レート可変機能の更に他の実現方法を説明する。上述の各実施形態にて述べた事項は、矛盾なき限り、第１０実施形態にも適用される。

図３２は、第１０実施形態に係る自動スロー記録モードの動作に特に関与する、撮像装置１の一部ブロック図である。記録レート調整部（記録フレームレート制御部）８２は、例えば、図１のＣＰＵ２３によって実現される。第１０実施形態における以下の説明は、特に記述無き限り、自動スロー記録モードにおける撮像装置１の動作説明である。

第１０実施形態の自動スロー記録モードでは、撮影レートが３００ｆｐｓに固定された上で入力動画像の画像データが取得される。他方、上述の何れかの実施形態で述べた方法に従い、評価距離ＤＩＳ、評価角度ＡＮＧ又は評価音量ＳＶが導出されて記録レート調整部８２に与えられる。記録レート調整部８２に与えられる評価距離ＤＩＳ、評価角度ＡＮＧ又は評価音量ＳＶを評価状態量と呼ぶ。尚、評価距離ＤＩＳ、評価角度ＡＮＧ及び評価音量ＳＶの２つ又は３つを組み合わせたものが、評価状態量であっても良い。

記録レート調整部８２は、評価状態量に基づき入力動画像から記録用動画像を生成する。生成された記録用動画像の画像データは、入力音声信号と共に外部メモリ１８に記録される。

評価状態量が評価距離ＤＩＳである場合には、記録用動画像が第４実施形態で得られるべき入力動画像と同等の動画像となるように（図１２及び図１３参照）、且つ、
評価状態量が評価角度ＡＮＧである場合には、記録用動画像が第７実施形態で得られるべき入力動画像と同等の動画像となるように（図２２及び図２３参照）、且つ、
評価状態量が評価音量ＳＶである場合には、記録用動画像が第９実施形態で得られるべき入力動画像と同等の動画像となるように（図２９及び図３０参照）、
必要に応じて入力フレーム画像列の一部を間引くことで記録用動画像を生成する。

説明の具体化のため、評価状態量が評価音量ＳＶである場合の動作について説明する。また、各単位区間に属する入力フレーム画像の枚数（即ちＬの値）が２０である場合を想定し（即ち、各単位区間の時間長さが２０×１／３００＝１／１５［秒］である場合を想定し）、単位区間Ｐ［ｉ］におけるｊ番目の入力フレーム画像を、夫々、ＦＩ［ｉ，ｊ］にて表す（ｉ及びｊは整数）。この場合、単位区間Ｐ［ｉ］における記録用動画像は、入力フレーム画像ＦＩ［ｉ，１］〜ＦＩ［ｉ，２０］の全部又は一部から形成され、基本的に評価音量ＳＶ［ｉ］が大きいほど、単位区間Ｐ［ｉ］の記録用動画像を形成する入力フレーム画像の枚数は増大せしめられる。

具体的には例えば（図３０参照）、
単位区間Ｐ［ｉ］の記録用動画像を形成する入力フレーム画像は、
不等式「ＳＶ［ｉ］＜ＴＨ_B1」の成立時において、ＦＩ［ｉ，１］のみとされ、
不等式「ＴＨ_B1≦ＳＶ［ｉ］＜ＴＨ_B2」の成立時において、ＦＩ［ｉ，１］及びＦＩ［ｉ，１１］のみとされ、
不等式「ＴＨ_B2≦ＳＶ＜ＴＨ_B3」の成立時において、ＦＩ［ｉ，１］、ＦＩ［ｉ，６］、ＦＩ［ｉ，１１］及びＦＩ［ｉ，１６］のみとされ、
不等式「ＴＨ_B3≦ＳＶ＜ＴＨ_B4」の成立時において、ＦＩ［ｉ，１］、ＦＩ［ｉ，３］、ＦＩ［ｉ，５］、ＦＩ［ｉ，７］、ＦＩ［ｉ，９］、ＦＩ［ｉ，１１］、ＦＩ［ｉ，１３］、ＦＩ［ｉ，１５］、ＦＩ［ｉ，１７］及びＦＩ［ｉ，１９］のみとされ、
不等式「ＴＨ_B4≦ＳＶ」の成立時においては、ＦＩ［ｉ，１］〜ＦＩ［ｉ，２０］の全てとされる。

再生モードにおいて、撮像装置１は、表示部２７を用いて、外部メモリ１８から読み出した記録用動画像を一定のフレームレート６０ｆｐｓにて再生する。或いは、外部メモリ１８に記録された記録用動画像を、撮像装置１と異なる電子機器（例えば、画像再生装置；不図示）に与え、その電子機器上で該記録用動画像を一定のフレームレート６０ｆｐｓにて再生させることもできる。これにより、評価状態量に応じて撮影レートを制御する第４、第７又は第９実施形態と同様の効果を得ることができる。

＜＜変形等＞＞
上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。

図１の撮像装置１を、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって構成することができる。ソフトウェアを用いて撮像装置１を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。ソフトウェアを用いて実現される機能をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能を実現するようにしてもよい。

１ 撮像装置
１１ 撮像部
２７ 表示部
３３ 撮像素子
５１ 追尾処理部
５２、５２ａ、５２ｂ 速度調整部（再生速度調整部）
７２、７２ａ、７２ｂ 撮影レート調整部
８２ 記録レート調整部
１０１ 顔検出部
１１１ 音量検出部

Claims (10)

1. 動画像を再生する画像再生装置において、
   前記動画像上における複数の特定物体間の距離又は前記動画像上における固定位置と注目物体間の距離である評価距離に応じて、前記動画像の再生速度を制御する再生速度制御部を備えた
   ことを特徴とする画像再生装置。
2. 前記再生速度制御部は、
   前記動画像の画像データに基づいて前記動画像上における各特定物体の位置を追尾することにより、前記評価距離としての、前記複数の特定物体間の距離を導出する、或いは、
   前記動画像の画像データに基づいて前記動画像上における前記注目物体の位置を追尾することにより、前記評価距離としての、前記固定位置と前記注目物体間の距離を導出する
   ことを特徴とする請求項１に記載の画像再生装置。
3. 動画像を再生する画像再生装置において、
   前記動画像上における人物の顔の向き及び傾きの内の少なくとも一方に応じて、前記動画像の再生速度を制御する再生速度制御部を備えた
   ことを特徴とする画像再生装置。
4. 動画像を再生する画像再生装置において、
   前記動画像に関連付けられた音響信号の大きさに応じて、前記動画像の再生速度を制御する再生速度制御部を備えた
   ことを特徴とする画像再生装置。
5. 請求項１〜請求項４の何れかに記載の画像再生装置を備え、
   前記画像再生装置にて再生されるべき前記動画像を撮影によって取得する
   ことを特徴とする撮像装置。
6. 動画像の撮影及び記録を行う撮像装置において、
   前記動画像上における複数の特定物体間の距離又は前記動画像上における固定位置と注目物体間の距離である評価距離に応じて、記録される動画像のフレームレートを制御するフレームレート制御部を備えた
   ことを特徴とする撮像装置。
7. 前記再生速度制御部は、
   前記動画像の画像データに基づいて前記動画像上における各特定物体の位置を追尾することにより、前記評価距離としての、前記複数の特定物体間の距離を導出する、或いは、
   前記動画像の画像データに基づいて前記動画像上における前記注目物体の位置を追尾することにより、前記評価距離としての、前記固定位置と前記注目物体間の距離を導出する
   ことを特徴とする請求項６に記載の撮像装置。
8. 動画像の撮影及び記録を行う撮像装置において、
   前記動画像上における人物の顔の向き及び傾きの内の少なくとも一方に応じて、記録される動画像のフレームレートを制御するフレームレート制御部を備えた
   ことを特徴とする撮像装置。
9. 動画像の撮影及び記録を行う撮像装置において、
   前記動画像の撮影の際に収音される音響信号の大きさに応じて、記録される動画像のフレームレートを制御するフレームレート制御部を備えた
   ことを特徴とする撮像装置。
10. 前記記録された動画像を一定のフレームレートにて表示部に出力する
    ことを特徴とする請求項６〜請求項９の何れかに記載の撮像装置。