しかしながら、特許文献1で提案される撮像装置では、撮像フレームレートを高速撮像用に切り替える(高くする)指示を、撮像時にユーザ自身が入力する必要がある。そのため、撮像フレームレートを高速撮像用に切り替えるべきタイミングを逃しやすくなり、問題となる。また、再生時も同様であり、ユーザの指示によって通常速度再生(再生されるフレームの時間間隔が現実(撮像時)の時間間隔と略等しくなる再生、以下同じ)及びスロー再生(再生されるフレームの時間間隔が現実(撮像時)の時間間隔よりも大きくなる再生、以下同じ)を切り替える構成であると、通常速度再生からスロー再生に切り替えるべきタイミングを逃しやすくなり、問題となる。
この問題について、図16を参照して説明する。図16は、撮像フレームレートを高速撮像用に切り替えるタイミング、または、通常速度再生からスロー再生に切り替えるタイミングの従来例について説明する図である。図16は、ボールをバットで打つシーンを通常の撮像フレームレートで撮像する場合または通常速度再生する場合を例示したものであり、5つのフレーム1〜5を代表させ撮像または再生の時間軸に沿って示したものである。なお、フレームに付した番号は撮像順または再生順を示し、番号が小さいフレームほど時間的に前に撮像されたまたは再生されるフレームとする。即ち、図16に示すフレーム1〜5の中では、フレーム1が最も時間的に前に撮像された、または再生されるフレームとなる。
本例のような画像を撮像、または再生するユーザは、バットにボールが当たる瞬間(図中のフレーム3)及びその前後のシーン(図中のフレーム2〜4のシーン)を、高速撮像用の撮像フレームレートで撮像、またはスロー再生したいと考えることが多い。しかしながら、それを実現するようなタイミングでユーザが切り替え指示を入力することは、困難である。特に、ユーザが被写体、または画像を確認しながら切り替え指示を入力する場合、指示を入力するタイミングが適切なタイミング(フレーム3の直前、例えばフレーム2)から遅れることが多くなる。
なお、頻繁に(または常時)高速撮像用の撮像フレームレートで撮像すれば、撮像フレームレートを高速撮像用に切り替えるタイミングを逃すことは抑制され得る。しかしこの場合、膨大な数のフレームを記録する必要が生じ、記録可能時間が短くなったり、大容量の記録装置を備える必要が生じたりするため、問題となる。さらに、ユーザが撮像フレームレートを切り替える指示を頻繁に入力する場合、操作が煩雑となるため、問題となる。
同様に、頻繁に(または常時)スロー再生すれば、スロー再生に切り替えるべきタイミングを逃すことは抑制され得る。しかしこの場合、所望のシーンを再生するまでに無用に時間がかかる場合があるため、問題となる。さらに、ユーザが通常速度再生とスロー再生とを切り替える指示を頻繁に入力する場合、操作が煩雑となるため、問題となる。
そこで本発明は、所望のタイミングでフレームレートを切り替えて記録することができる撮像装置や、所望のタイミングで通常速度再生とスロー再生とを切り替え可能な再生装置を提供することを目的とする。
上記目的を達成するために、本発明における撮像装置は、撮像により画像信号を構成するフレームを順次得る撮像部と、前記撮像部による撮像に合わせた集音により、画像信号に対応した音響信号を得る集音部と、画像信号及び音響信号の少なくとも一方に基づいて、特定のシーンであるか否かを判定する解析部と、画像信号及び音響信号を記録する記録部と、前記記録部に記録する画像信号のフレームレートを制御するフレームレート制御部と、を備え、前記フレームレート制御部が、前記解析部が特定のシーンであると判定する画像信号のフレームレートを、前記解析部が特定のシーンではないと判定する画像信号のフレームレートよりも高くすることを特徴とする。
以下の実施の形態では、解析部の一例として、画像信号解析部及び音響信号解析部を挙げて説明している。また、フレームレート制御部の一例として、記録フレームレート制御部、画像信号バッファ及び記録画像信号調整部を挙げて説明している。なお、フレームレート制御部には、CPUや撮像部なども含まれ得る。
また、上記構成の撮像装置において、前記フレームレート制御部が、撮像により得られた画像信号を一時的に保持する画像信号バッファと、当該画像信号バッファに保持された画像信号のフレームレートを調整する記録画像信号調整部と、を備え、前記記録画像信号調整部が、前記解析部が特定のシーンではないと判定する画像信号のフレームレートを、前記解析部が特定のシーンであると判定する画像信号のフレームレートよりも低くすることとしても構わない。
このように構成すると、解析部が特定のシーンであると判定する時点のフレームだけでなく、それ以前のフレームをも含めて特定のシーンであると判定することができる。そのため、特定のシーンの画像信号のフレームレートをもれなく高くして記録することが可能となる。
また、上記構成の撮像装置において、前記解析部が、主要被写体の画角内の位置及び大きさ、並びに、特定パターンの音の有無の少なくとも一方に基づいて、特定のシーンであるか否かを判定することとしても構わない。
このように構成すると、ユーザがスロー再生したいと考え得る重要なシーンを、効果的に特定のシーンであると判定することが可能となる。
また、上記構成の撮像装置において、前記解析部が、主要被写体が画角内を移動し、かつ、当該主要被写体の大きさが所定の大きさ以上となることを確認する場合に、特定のシーンであると判定しても構わない。
このように構成すると、主要被写体が大きくかつ動きがあるシーンを、特定のシーンであると判定することが可能となる。
また、上記構成の撮像装置において、前記解析部が、単位時間当たりの信号レベルの変化量が所定の大きさ以上であり、かつ、信号レベルが所定の大きさ以上である音を確認する場合に、特定のシーンであると判定しても構わない。また、上記構成の撮像装置において、前記解析部が、人の感情を示す音声パターンを確認する場合に、特定のシーンであると判定しても構わない。
このように構成すると、インパルス音が生じるシーンや、人の感情が表現されたシーンを、特定のシーンであると判定することが可能となる。
また、上記構成の撮像装置において、前記記録部に記録する音響信号を調整する音響信号調整部をさらに備え、前記音響信号調整部が、前記フレームレート制御部によって制御される画像信号のフレームレートに応じて、音響信号を時間方向に伸長することとしても構わない。
このように構成すると、特定のシーンの画像信号をスロー再生する際に、再生される画像信号に対応するように時間方向に伸張された音を再生することが可能となる。なお、音響信号調整部が、(特定のシーンであると判定される画像信号のフレームレート)/(特定のシーンではないと判定される画像信号のフレームレート)倍となるように、音響信号を時間方向に伸張しても構わない。
また、上記構成の撮像装置において、ユーザの指示が入力される操作部をさらに備え、前記操作部を介してユーザの指示が入力されたときに、前記解析部が、画像信号及び音響信号の少なくとも一方に基づいて、特定のシーンであるか否かを判定することとしても構わない。
このように構成すると、無用な判定が抑制されるため、より精度良くユーザの意図(特定のシーンであるか否か)を反映させたフレームレートの制御を行うことが可能となる。
さらに、上記構成の撮像装置において、前記解析部が、前記操作部を介してユーザの指示が入力された時点の前後の所定時間内に得られる画像信号及び音響信号の少なくとも一方基づいて、特定のシーンであるか否かを判定することとしても構わない。
このように構成すると、解析部が特定のシーンをもれなく判定することが可能となる。そのため、特定のシーンの画像信号のフレームレートをもれなく高くして記録部に記録することが可能となる。
また、本発明の再生装置は、フレームを順次表示することで画像信号を再生する画像表示部と、前記画像表示部による画像信号の再生に合わせて、画像信号に対応した音響信号を再生する音響再生部と、画像信号及び音響信号の少なくとも一方に基づいて、特定のシーンであるか否かを判定する解析部と、前記画像表示部で再生される画像信号の再生速度を制御する再生速度制御部と、を備え、前記再生速度制御部が、前記解析部が特定のシーンであると判定する画像信号の再生速度を、前記解析部が特定のシーンではないと判定する画像信号の再生速度よりも遅くすることを特徴とする。
以下の実施の形態では、解析部の一例として、画像信号解析部及び音響信号解析部を挙げて説明している。また、再生速度制御部の一例として、再生速度設定部、画像信号バッファ及び記録画像信号調整部や、再生画像信号選択部を挙げて説明している。なお、再生速度とは、例えば、再生される画像信号を構成するそれぞれのフレームの時間間隔を、当該フレームの撮像時(現実)の時間間隔と比較して表現されるものである。
また、上記構成の再生装置において、前記再生速度制御部が、再生する画像信号を一時的に保持する画像信号バッファと、当該画像信号バッファに保持された画像信号の再生速度を調整する再生画像信号調整部と、を備え、前記再生画像信号調整部が、前記解析部が特定のシーンであると判定する画像信号の再生速度を、前記解析部が特定のシーンではないと判定する画像信号の再生速度よりも遅くすることとしても構わない。
このように構成すると、解析部が特定のシーンであると判定する時点のフレームだけでなく、それ以前のフレームをも含めて特定のシーンであると判定することができる。そのため、特定のシーンの画像信号の再生速度をもれなく遅くして再生することが可能となる。
さらに、上記構成の再生装置において、前記再生速度制御部が、再生する画像信号を一時的に保持する画像信号バッファと、当該画像信号バッファに保持された画像信号のフレームレートを調整する再生画像信号調整部と、を備え、前記再生画像信号調整部が、前記解析部が特定のシーンではないと判定する画像信号のフレームレートを、前記解析部が特定のシーンであると判定する画像信号のフレームレートよりも低くなるように調整し、前記画像表示部が、前記再生画像信号調整部で調整された画像信号を所定の再生フレームレートで再生することとしても構わない。
このように構成すると、画像信号を一定の再生フレームレートで再生するのみで、通常速度再生とスロー再生とを実現することが可能となる。したがって、通常速度再生及びスロー再生のそれぞれを容易に行うことが可能となる。
また、上記構成の撮像装置において、前記解析部が、主要被写体の画角内の位置及び大きさ、並びに、特定パターンの音の有無の少なくとも一方に基づいて、特定のシーンであるか否かを判定することとしても構わない。
このように構成すると、ユーザがスロー再生したいと考え得る重要なシーンを、効果的に特定のシーンであると判定することが可能となる。
また、上記構成の再生装置において、前記解析部が、主要被写体が画角内を移動し、かつ、当該主要被写体の大きさが所定の大きさ以上となることを確認する場合に、特定のシーンであると判定しても構わない。
このように構成すると、主要被写体が大きくかつ動きがあるシーンを、特定のシーンであると判定することが可能となる。
また、上記構成の再生装置において、前記解析部が、単位時間当たりの信号レベルの変化量が所定の大きさ以上であり、かつ、信号レベルが所定の大きさ以上である音を確認する場合に、特定のシーンであると判定しても構わない。また、上記構成の再生装置において、前記解析部が、人の感情を示す音声パターンを確認する場合に、特定のシーンであると判定しても構わない。
このように構成すると、インパルス音が生じるシーンや、人の感情が表現されたシーンを、特定のシーンであると判定することが可能となる。
また、上記構成の再生装置において、前記音響再生部で再生する音響信号を調整する音響信号調整部をさらに備え、前記音響信号調整部が、前記画像表示部で再生される画像信号の再生速度に応じて、音響信号を時間方向に伸長することとしても構わない。
このように構成すると、特定のシーンの画像信号をスロー再生する際に、再生される画像信号に対応するように時間方向に伸張された音を再生することが可能となる。なお、音響信号調整部が、上述したように示される再生速度と略等しい倍率となるように、音響信号を時間方向に伸張しても構わない。
また、上記構成の再生装置において、ユーザの指示が入力される操作部をさらに備え、前記操作部を介してユーザの指示が入力されたときに、前記解析部が、画像信号及び音響信号の少なくとも一方に基づいて、特定のシーンであるか否かを判定することとしても構わない。
このように構成すると、無用な判定が抑制されるため、より精度良くユーザの意図(特定のシーンであるか否か)を反映させた再生速度の制御を行うことが可能となる。
さらに、上記構成の再生装置において、前記解析部が、前記操作部を介してユーザの指示が入力された時点の前後の所定時間内に得られる画像信号及び音響信号の少なくとも一方基づいて、特定のシーンであるか否かを判定することとしても構わない。
このように構成すると、解析部が特定のシーンをもれなく判定することが可能となる。そのため、特定のシーンの画像信号の再生速度をもれなく遅くすることが可能となる。
また、上記構成の再生装置において、前記再生速度制御部が、再生速度が異なる複数の画像信号のいずれかを選択し、前記画像表示部が、前記再生速度制御部で選択された画像信号を再生することとしても構わない。また、上記構成の再生装置において、前記再生速度制御部が、時間方向の伸長度合いが異なる複数の音響信号のいずれかを選択し、前記音響再生部が、前記再生速度制御部で選択された音響信号を再生することとしても構わない。
このように構成すると、再生時に再生速度の制御や音響信号の伸長をする必要が無くなる。そのため、迅速に画像信号の再生速度を制御するとともに、画像信号に対応した音響信号を再生することが可能となる。
また、本発明の画像処理装置は、複数のフレームによって構成される画像信号と、画像信号に対応した音響信号と、の少なくとも一方に基づいて、特定のシーンであるか否かを判定する解析部と、入力される画像信号のフレームレートを制御して出力するフレームレート制御部と、を備え、前記フレームレート制御部が、前記解析部が特定のシーンであると判定する画像信号のフレームレートを、前記解析部が特定のシーンではないと判定する画像信号のフレームレートよりも高くして出力することを特徴とする。
本発明の構成とすると、特定のシーンであると判定される画像信号のフレームレートを、特定のシーンではないと判定される画像信号のフレームレートよりも高くして記録することになる。そのため、この記録した画像信号を所定の再生フレームレートで再生することで、特定のシーンを、それ以外のシーンと同程度の滑らかさで当該シーンよりも遅く再生(スロー再生)することが可能となる。
さらに、本発明の構成では、画像信号の特徴や音響信号の特徴に基づいて、特定のシーンであるか否かを判定し、記録する画像信号のフレームレートを制御する。そのため、シーンに応じて画像信号のフレームレートを迅速に調整することが可能となる。したがって、重要ではないシーンの画像信号のフレームを無用に多く記録することで記録部の容量を圧迫したり、重要なシーンの一部で記録するフレームの数を多くすることができないことで当該部分の滑らかなスロー再生が不可能になったりすることを、抑制することが可能となる。
また、本発明の構成とすると、特定のシーンであると判定される画像信号の再生速度を、特定のシーンではないと判定される画像信号の再生速度よりも遅くして再生することが可能となる。
さらに、本発明の構成は、画像信号の特徴や音響信号の特徴に基づいて、特定のシーンであるか否かを判定し、画像信号の再生速度を制御する。そのため、シーンに応じて再生速度を迅速に調整することが可能となる。したがって、重要なシーン以外もスロー再生することで所望のシーンを迅速に再生することができなかったり、重要なシーンの一部がスロー再生されなかったりすることを、抑制することが可能となる。
本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の実施の形態の一つであって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。
本発明の実施の形態について、以下図面を参照して説明する。最初に、本発明の実施の一形態である撮像装置について説明する。なお、以下に説明する撮像装置は、デジタルビデオカメラなどの動画像の記録が可能なものである。
<<撮像装置>>
まず、本発明の実施の一形態である撮像装置の全体構成例について、図1を参照して説明する。図1は、本発明の実施の一形態である撮像装置の全体構成例を示すブロック図である。
図1に示すように、撮像装置1は、入射される光学像を電気信号に変換するCCD(Charge Coupled Device)またはCMOS(Complimentary Metal Oxide Semiconductor)センサなどの固体撮像素子から成るイメージセンサ2と、対象物の光学像をイメージセンサ2に結像させるとともに光量などの調整を行うレンズ部3と、を備える。レンズ部3とイメージセンサ2とで撮像部Sが構成され、この撮像部Sによって画像信号が生成される。なお、レンズ部3は、ズームレンズやフォーカスレンズなどの各種レンズ(不図示)や、イメージセンサ2に入力される光量を調整する絞り(不図示)などを備える。
さらに、撮像装置1は、イメージセンサ2から出力されるアナログ信号である画像信号をデジタル信号に変換するとともにゲインの調整を行うAFE(Analog Front End)4と、AFE4から出力されるデジタルの画像信号に対して階調補正処理などの各種画像処理を施す画像処理部5と、入力される音を電気信号に変換する集音部6と、集音部6から出力されるアナログ信号である音響信号をデジタル信号に変換するADC(Analog to Digital Converter)7と、ADC7から出力される音響信号に対してノイズ除去などの各種音響処理を施して出力する音響処理部8と、画像処理部5から出力される画像信号と音響処理部8から出力される音響信号のそれぞれを調整して記録用の画像信号及び音響信号を生成する記録調整部9と、記録調整部9から出力される記録用の画像信号及び音響信号に対してMPEG(Moving Picture Experts Group)圧縮方式などの圧縮符号化処理を施す圧縮処理部10と、圧縮処理部10で圧縮符号化された圧縮符号化信号を記録する外部メモリ11と、圧縮符号化信号を外部メモリ11に記録したり読み出したりするドライバ部12と、ドライバ部12において外部メモリ11から読み出した圧縮符号化信号を伸長して復号する伸長処理部13と、を備える。
また、撮像装置1は、伸長処理部13で復号されて得られる画像信号をモニタなどの画像表示部30で表示可能な信号に変換する画像信号出力回路部14と、伸長処理部13で復号されて得られる音響信号をスピーカなどの音響再生部31で再生可能な信号に変換する音響信号出力回路部15と、を備える。
また、撮像装置1は、撮像装置1内全体の動作を制御するCPU(Central Processing Unit)16と、各処理を行うための各プログラムを記憶するとともにプログラム実行時のデータの一時保管を行うメモリ17と、撮像を開始するボタンや撮像条件などを調整するボタン等ユーザからの指示が入力される操作部18と、各部の動作タイミングを一致させるためのタイミング制御信号を出力するタイミングジェネレータ(TG)部19と、CPU16と各ブロックとの間でデータのやりとりを行うためのバス20と、メモリ17と各ブロックとの間でデータのやりとりを行うためのバス21と、を備える。なお、以下では説明の簡略化のため、各ブロックのやりとりにおいてバス20,21を省略する。
なお、画像表示部30や音響再生部31は、撮像装置1と一体となっているものであっても構わないし、別体となっており撮像装置1に備えられる端子とケーブル等を用いて接続されるようなものであっても構わない。また、外部メモリ11は画像信号や音響信号を記録することができればどのようなものでも構わない。例えば、SD(Secure Digital)カードのような半導体メモリ、DVDなどの光ディスク、ハードディスクなどの磁気ディスクなどをこの外部メモリ11として使用することができる。また、外部メモリ11を撮像装置1から着脱自在としても構わない。
次に、撮像装置1の全体動作について図1を用いて説明する。まず、撮像装置1は、レンズ部3より入射される光をイメージセンサ2において光電変換することによって、電気信号である画像信号を取得する。そして、イメージセンサ2は、TG部18から入力されるタイミング制御信号に同期して、所定のタイミングでAFE4に画像信号を出力する。この撮像のタイミング(撮像フレームレート)は可変である。例えば、CPU16が撮像部SやAFE4、TG部19などを制御することで、撮像フレームレートを変更する。
そして、AFE4によってアナログ信号からデジタル信号へと変換された画像信号は、画像処理部5に入力される。画像処理部5では、入力されるR(赤)G(緑)B(青)の成分を備える画像信号を、輝度信号(Y)と色差信号(U,V)の成分を備える画像信号に変換するとともに、階調補正や輪郭強調等の各種画像処理を施す。また、メモリ17はフレームメモリとして動作し、画像処理部5が処理を行なう際に画像信号を一時的に保持する。
また、このとき画像処理部5に入力される画像信号に基づき、レンズ部3において、各種レンズの位置が調整されてフォーカスの調整が行われたり、絞りの開度が調整されて露出の調整が行われたりする。このフォーカスや露出の調整は、それぞれ最適な状態となるように所定のプログラムに基づいて自動的に行われたり、ユーザの指示に基づいて手動で行われたりする。
画像信号の生成と同時に、集音部6は集音を行う。集音部6で集音されてアナログの電気信号に変換される音響信号は、ADC7に入力される。ADC7は、入力される音響信号をデジタル信号に変換し、音響処理部8に入力する。音響処理部8は、入力されるデジタルの音響信号にノイズ除去や強度制御などの各種音響処理を施す。
画像処理部5から出力される画像信号と、音響処理部8から出力される音響信号と、はともに記録調整部9に入力され、記録用の画像信号及び音声信号へと調整される。なお、記録調整部9の構成や動作の詳細については、後述する。
記録調整部9から出力される記録用の画像信号及び音声信号は圧縮処理部10に入力され、圧縮処理部10において所定の圧縮方式で圧縮される。このとき、画像信号と音響信号とが時間的に関連付けられ、再生時に画像と音とがずれないように構成される。そして、圧縮処理部10から出力される圧縮符号化信号は、ドライバ部12を介して外部メモリ11に記録される。
外部メモリ11に記録された圧縮符号化信号は、ユーザの指示に基づいて伸長処理部13に読み出される。伸長処理部13は、圧縮符号化信号を伸長及び復号することで画像信号及び音響信号を生成し、出力する。そして、画像信号出力回路部14が、伸長処理部13から出力される画像信号を画像表示部30で表示可能な形式に変換して出力し、音響信号処理回路部14が、伸長処理部13から出力される音響信号を音響再生部31で再生可能な形式に変換して出力する。
なお、画像信号の記録を行わずに画像表示部30などに表示される画像をユーザが確認する、いわゆるプレビューモードである場合に、画像処理部5から出力される画像信号を圧縮せずに画像信号出力回路部14に出力することとしても構わない。同様に、画像信号を記録する際に、圧縮処理部10で圧縮して外部メモリ11に記録する動作と並行して、画像信号出力回路部14を介して画像表示部30などに画像信号を出力することとしても構わない。
また、記録調整部9が、画像処理部5及び音響処理部8の後段かつ圧縮処理部10の前段に備えられ、画像信号及び音響信号の記録時に調整を行う構成について例示したが、記録調整部9が備えられる場所や調整を行うタイミングは、上述の限りではない。例えば、記録調整部9を伸長処理部13の後段かつ画像信号出力回路部14及び音響信号出力回路部15の前段に備えても構わない。そして、再生時(外部メモリ11から伸長処理部13に読み出されて伸長された後、画像信号出力回路部14及び音響信号出力回路部15に入力される前)や、編集時(外部メモリ11から伸長処理部13に読み出されて伸長された後、外部メモリ11に再度記録するために圧縮処理部10に入力される前)に、画像信号及び音響信号を調整しても構わない。なお、再生時に調整を行う構成及び動作の具体例の詳細については、後述する。
また、調整の内容を設定するタイミング(例えば、記録時や編集時)と、調整を行うタイミング(例えば、編集時や再生時)とは、ずれても構わない。ただし、調整の内容を設定するタイミングの方が早いものとし、設定した調整の内容を画像信号や音響信号を含むファイルのヘッダ領域に記録したり、外部メモリ11に別のファイルとして記録したりすることとする。
さらに、図1では撮像機能、再生機能、編集機能を備える撮像装置1を例示して説明したが、いずれかの機能を備えない装置(例えば、撮像装置、再生装置、編集装置など)であっても構わない。
<記録調整部>
次に、上述した記録調整部9の構成の詳細について、図面を参照して説明する。なお、以下では、記録調整部9が調整を行う画像信号及び音響信号を、それぞれ「入力画像信号」及び「入力音響信号」とする。また、記録調整部9によって調整されて出力される画像信号及び音響信号を、それぞれ「出力画像信号」及び「出力音響信号」とする。
まず、記録調整部9の構成について、図面を参照して説明する。図2は、記録調整部の構成の一例を示すブロック図である。図2に示すように、記録調整部9は、入力画像信号を解析して画像信号解析情報として出力する画像信号解析部91と、入力音響信号を解析して音響信号解析情報として出力する音響信号解析部92と、画像信号解析情報及び音響信号解析情報の少なくとも一方に基づいて出力画像信号のフレームレート(記録フレームレート)を設定し記録フレームレート情報として出力する記録フレームレート設定部93と、入力画像信号を一時的に保持する画像信号バッファと94と、入力音響信号を一時的に保持する音響信号バッファと95と、記録フレームレート情報に基づいて画像信号バッファ94に保持された入力画像信号を調整し出力画像信号として出力する記録画像信号調整部96と、記録フレームレート情報に基づいて音響信号バッファ95に保持された入力音響信号を調整し出力音響信号として出力する記録音響信号調整部97と、を備える。
記録フレームレートとは、出力画像信号を構成するそれぞれのフレームの時間間隔が撮像時(現実)のものである場合(即ち、通常速度再生する場合)に、所定時間(例えば、1秒間)に含まれるフレーム数を示すものである。また、記録画像信号調整部96でフレームレートが調整されずに出力される出力画像信号の記録フレームレートは、入力画像信号のフレームレート(即ち、撮像フレームレート)と略等しくなる。
入力画像信号の撮像フレームレートは、例えば、操作部18を介してユーザによって設定される所定の撮像モードの時に、高速撮像用(例えば、600fps)に成り得る。このとき、常時高速撮像用の撮像フレームレートで撮像しても構わないし、通常のフレームレート(例えば、60fps)での撮像中に、必要に応じて高速撮像用の撮像フレームレートに切り替わるものとしても構わない。後者の場合、例えばCPU16が記録フレームレート情報を参照して、撮像部SやAFE4、TG部19などを制御することで、撮像フレームレートを変更する構成としても構わない。
入力音響信号のサンプリングレートは、入力画像信号の撮像フレームレートにかかわらず、所定の高さ(例えば、48kHzなど)となる。また、記録音響信号調整部97で調整されて出力される出力音響信号のサンプリングレートも、入力音響信号と略等しいものとなる。なお、記録音響信号調整部97が、サンプリングレートの変更を伴う調整を行うことで、入力音響信号のサンプリングレートと異なるサンプリングレートの出力音響信号を出力しても構わない。
次に、図2に示す記録調整部9の動作の詳細について、図面を参照して説明する。なお、以下では記録調整部9に備えられる各部の動作について、それぞれ説明する。
[画像信号解析部]
画像信号解析部91は、入力画像信号を解析して特定の画像状態であるか否かを判定することで、スロー再生したいとユーザが考え得る重要なシーンを撮像しているか否かを判定する。入力画像信号に基づいて判定され得る重要なシーンの具体例について、図面を参照して説明する。図3は、入力画像信号に基づいて判定され得る重要なシーンの一例を示す図である。
図3は、画角の左方から右方かつ撮像者(撮像装置1)の遠方から手前に向かって、人が走ってくるシーンを、通常の撮像フレームレートで撮像する場合を例示したものであり、5つのフレーム1〜5を代表させ撮像の時間軸に沿って示したものである。なお、フレームに付した番号は撮像順を示し、番号が小さいフレームほど時間的に前に撮像されたフレームとする。即ち、図3に示すフレーム1〜5の中では、フレーム1が最も時間的に前に撮像されたフレームとなる。
以下、ある主要被写体(移動物体)が画角内を移動し、当該主要被写体が画角内を占める割合が所定の大きさ(例えば、画角の半分)以上となるシーンを、重要なシーンと判定する例について、図3を参照して説明する。
図3では、フレーム1〜5にわたって主要被写体(人)が画角内を一方(図中の左方)から他方(図中の右方)へと移動している。また、フレーム1及びフレーム2では、主要被写体の大きさが所定の大きさよりも小さくなっており、フレーム3及びフレーム4では、主要被写体の大きさが所定の大きさよりも大きくなっている。さらに、フレーム3では主要被写体が画角の略中央に位置している。また、フレーム5では、主要被写体がフレームアウトしており、主要被写体の一部が含まれているのみとなっている。
この場合、画像信号解析部91が、例えばフレーム3を解析することで、重要なシーンを撮像していると判定する。また、例えばフレーム1及び2を解析することで、その後に重要なシーンを撮像するだろうと予測する。さらに、例えばフレーム5を解析することで、重要なシーンの撮像が終了したと判定する。この判定結果は、画像信号解析情報として記録フレームレート設定部93に入力される。
画像信号解析部91は、例えば、顔検出処理や追尾処理を適用することで上記の判定を行う。特に、上記の判定の対象である主要被写体が人である場合や、ユーザが指定する特定の物体である場合にこれらの処理を行うと、精度良く主要被写体の状態を検出することができるため、好適である。
具体的に例えば、顔検出処理を行う場合、入力画像信号を構成して順次入力されるフレームから順次顔を検出して、検出した顔の下方(眉間から口の方向)であり顔と隣接する部分を主要被写体の胴体とみなし、胴体(または顔及び胴体)を含む領域を主要被写体の領域としてその位置及び大きさを上記判定に利用する。なお、顔領域のみを主要被写体の領域としても構わないし、顔領域の位置及び大きさに応じた胴体領域を設定しても構わない。
また具体的に例えば、追尾処理を行う場合、入力画像信号を構成して順次入力されるフレームから順次検出される追尾対象(主要被写体)の領域の位置及び大きさを、上記判定に利用する。なお、追尾対象となる主要被写体を設定する際や、その候補をユーザに提示して選択させる際に、顔検出処理によって検出された主要被写体を利用しても構わない。
顔検出処理の方法として、公知の顔検出方法を適用することができる。例えば、Adaboost(Yoav Freund, Robert E. Schapire,"A decision-theoretic generalization of on-line learning and an application to boosting", European Conference on Computational Learning Theory, September 20, 1995.)を利用して大量の教師サンプル(顔及び非顔のサンプル画像)から作成した重みテーブル(データベース)と、主要被写体を検出するための画像と、を比較することで顔検出を行っても構わない。また、特定の人の顔を検出(顔認識)したり、特定の向きの顔(横顔など)や特定の表情の顔(笑顔や泣き顔など)を検出したりしても構わない。
また、追尾処理の方法として、公知の追尾方法を適用することができる。例えば、設定及び記憶した追尾対象の輝度情報(例えば、輝度信号Yの信号値)や色情報(例えば、色差信号UVやRGB信号、H(Hue)S(Saturation)B(Brightness)のHの信号など、色を示す信号値。特に、胴体部分)を有する領域(即ち、主要被写体の領域)を、順次入力されるフレームからそれぞれ検出することで、追尾処理を行っても構わない。さらにこのとき、時間的に前に撮像されたフレームから検出される主要被写体領域の位置を、時間的に後に撮像されたフレームから主要被写体を検出する際に利用しても構わない。例えば、後のフレームにおいて主要被写体を検出する範囲を、前のフレームで検出された主要被写体領域及びその周辺領域に相当する範囲としても構わない。
なお、画像信号解析部91が、入力画像信号を構成する一部のフレームを解析することとしても構わない。例えば、高速撮像用の撮像フレームレートで撮像されている入力画像信号を、数フレーム毎に解析することとしても構わない。このように構成すると、入力画像信号の解析にかかる負荷を軽減することが可能となる。
また、上述の例では、主要被写体が画角内の一方から他方へ移動し、かつ、所定の大きさ以上になるシーンを重要なシーンとして判定するとしたが、判定方法はこの例の限りではない。例えば、主要被写体(例えば、図16のボール)がフレームインして(または、画角中央に所定の割合以上近づいて)から、フレームアウトする(または、画角中央から所定の割合以上遠ざかる)までを、重要なシーンとして判定しても構わない。
また、主要被写体となる物体を特定せずに、画角内の被写体(略全ての物体)の動きを検出して、重要なシーンを撮像しているか否かの判定を行うこととしても構わない。例えば、入力画像信号を構成して順次入力されるフレームを比較して画角内の被写体の動きを検出することで、重要なシーンを撮像しているか否かを判定しても構わない。この場合、例えば、代表点マッチングやブロックマッチングなどの種々のマッチング方法に代表される、公知の動き検出方法を適用することができる。
[音響信号解析部]
音響信号解析部92は、入力音響信号を解析して特定の音響状態であるか否かを判定することで、スロー再生したいとユーザが考え得る重要なシーンを撮像しているか否かを判定する。入力音響信号に基づいて判定され得る重要なシーンの具体例について、図面を参照して説明する。図4は、入力音響信号に基づいて判定され得る重要なシーンの一例を示す図である。
図4は、ボールをバットで打つシーンを通常の撮像フレームレートで撮像する場合を例示したものであり、5つのフレーム1〜5を代表させ撮像の時間軸に沿って示したものである。なお、フレームに付した番号は撮像順を示し、番号が小さいフレームほど時間的に前に撮像されたフレームとする。即ち、図4に示すフレーム1〜5の中では、フレーム1が最も時間的に前に撮像されたフレームとなる。
以下、時間的に急峻に信号レベルが変化し、かつ、信号レベルが所定の大きさ以上となる音(インパルス特性を有する音、以下、インパルス音とする)が集音されるシーンを、重要なシーンと判定する例について、図4を参照して説明する。
図4では、フレーム3の撮像時に集音されて得られる入力音響信号に、インパルス音(バットとボールとが衝突する音)が含まれている。また、その他のフレーム1〜2,4〜5の撮像時に集音されて得られる入力音響信号には、インパルス音は含まれていない。
この場合、音響信号解析部92が、例えばフレーム3の撮像時に集音されて得られる入力音響信号を解析することで、重要なシーンを撮像していると判定する。さらに、例えばインパルス音が入力されることなく所定の時間が経過することで、重要なシーンの撮像が終了したと判定する。この判定結果は、音響信号解析情報として記録フレームレート設定部93に入力される。
音響信号解析部92は、例えば、音響信号の信号レベルを監視することで、インパルス音の有無を判定する。具体的に例えば、音響信号の単位時間当たりの信号レベルの変化量が所定の大きさ以上であり、かつ信号レベルが所定の大きさ以上であることを検出する場合に、インパルス音が入力されたと判定する。
なお、上述の例では、インパルス音が集音されるシーンを重要なシーンとして判定するとしたが、重要なシーンか否かの判定方法は、この例の限りではない。例えば、特定種類の音(笑い声や泣き声などの人の感情を示す音声、動物の鳴き声やユーザが事前に指定した所定の音など)が集音されたときに、重要なシーンとして判定しても構わない。入力音響信号から特定の種類の音の有無を検出するために、事前に当該種類の音の種々のパターンを記録して作成したデータベースを用意すると、好ましい。そして、例えば当該データベースと入力音響信号とを照合(パターンマッチング)することで、特定の音声の有無を判定することができる。
さらに、特定の音声の有無の検出精度を高めるべく、画像解析を行っても構わない。例えば、画像信号解析部91が、特定の表情の顔(笑顔や泣き顔など)や動物などのデータベースを備え、入力音響信号が集音された際に撮像されたフレームからこれらを検出し、その有無を示す情報を画像信号解析情報に含ませて出力しても構わない。この場合、記録フレームレート設定部93が画像信号解析情報と音響信号解析情報とを総合的に評価することで、重要なシーンであるか否かを判定することができる。
[記録フレームレート設定部]
記録フレームレート設定部93は、画像信号解析情報及び音響信号解析情報の少なくとも一方に基づいて、出力画像信号の記録フレームレートを設定する。特に、上述のように入力画像信号が重要なシーンであると判定される場合の出力画像信号の記録フレームレートを、通常のシーン(重要なシーン以外のシーン、以下同じ)であると判定される場合の記録フレームレートよりも、高くする。そして、記録フレームレート設定部93は、設定した記録フレームレートを示す情報である、記録フレームレート情報を出力する。
[画像信号バッファ及び記録画像信号調整部]
記録画像信号調整部96は、記録フレームレート情報に基づき、必要に応じて入力画像信号の撮像フレームレートを調整する。この調整方法について、図面を参照して説明する。図5は、通常のシーンの記録時における記録画像信号調整部による入力画像信号の調整方法の一例について示す図である。また、図6は、重要なシーンの記録時における記録画像信号調整部による入力画像信号の調整方法の一例について示す図である。なお、図5及び図6に示す例では、重要なシーンであるか否かに関わらず、入力画像信号が高速撮像用の撮像フレームレートで撮像されているものとする。
図5に示すように、記録画像信号調整部96は、通常のシーンであると判定された入力画像信号の一部のフレームを抽出し、出力画像信号として出力する。図5に示す例では、白塗りのフレームを抽出して出力画像信号に含め、これ以外のハッチングを付したフレームは抽出せずに出力画像信号に含めない(間引く)こととしている。
一方、図6に示すように、記録画像信号調整部96は、重要なシーンであると判定された入力画像信号の全てのフレームを抽出し、出力画像信号として出力する。これにより、重要なシーンの出力画像信号の記録フレームレートが、通常のシーンの画像信号の記録フレームレートよりも高いものとなる。
以上のように構成することで、重要なシーンであると判定される出力画像信号の記録フレームレートを、通常のシーンであると判定される場合の記録フレームレートよりも高くして記録することが可能となる。そのため、この出力画像信号を所定の再生フレームレート(例えば、通常のシーンが通常速度再生される高さ)で再生することにより、重要なシーンを、通常のシーンと同程度の滑らかさで通常のシーンよりも遅く再生(スロー再生)することが可能となる。
さらにこのとき、入力画像信号の特徴や入力音響信号の特徴に基づいて重要なシーンであるか否かが判定され、記録フレームレートが調整される。そのため、シーンに応じて記録フレームレートを迅速に調整することが可能となる。したがって、通常のシーンで無用に多くのフレームを記録することで記録装置(外部メモリ11)の容量を圧迫したり、重要なシーンの一部で記録するフレームの数を多くすることができないことで当該部分の滑らかなスロー再生が不可能になったりすることを、抑制することが可能となる。
また、以上のように調整を行う場合、画像信号バッファ94に入力画像信号を保持する。そのため、画像信号解析部91や音響信号解析部92が、重要なシーンであると判定する根拠となるフレーム(例えば、図4のフレーム3)やそれ以前に撮像されたフレーム(例えば、図4のフレーム2)を含めて重要なシーンとして判定する場合でも、当該シーンの出力画像信号の記録フレームレートをもれなく高くすることが可能となる。
なお、図6では、重要なシーンであると判定された入力画像信号の全てのフレームを出力画像信号とする場合について例示しているが、入力画像信号の一部のフレームを抽出して出力画像信号を生成しても構わない。ただし、重要なシーンであると判定される場合の出力画像信号の記録フレームレートが、通常のシーンであると判定される場合の出力画像信号の記録フレームレートよりも高くなるものとする。
また、上述の入力画像信号の調整に加えて(または、代えて)、入力画像信号の撮像フレームレートを直接的に調整しても構わない。この調整方法の一例について、図面を参照して説明する。図7は、入力画像信号の調整方法の一例について示す図である。図7に示す例は、重要なシーンを撮像していると判定される場合の撮像フレームレートを、通常のシーンを撮像していると判定される場合の撮像フレームレートよりも高くするものである。この場合、例えば、ユーザによる撮像モードの切り替えや、画像信号解析情報及び(または)音響信号解析情報に基づいて重要なシーンを撮像するだろうと予測されるか否かに応じて、撮像フレームレートを調整しても構わない。
また、上述のように、編集時や再生時に記録フレームレートや再生フレームレートを調整することとしても構わない。この場合、記録画像信号調整部96が、記録(または再生)フレームレートを調整すべきフレームを示す情報を、入力画像信号に付加することで出力画像信号を生成しても構わない。また、出力画像信号に加えて、入力画像信号の一部(特に、調整した部分)や全部を記録しても構わない。
[音響信号バッファ及び記録音響信号調整部]
記録音響信号調整部97は、記録フレームレート情報に基づき、必要に応じて入力音響信号を調整する。特に、出力画像信号の記録フレームレートの高さに応じて、入力音響信号を時間方向に伸長する処理を行う。具体的に例えば、通常のシーンの記録フレームレートのときは伸長せずに、重要なシーンの記録フレームレートのときに、時間方向に対して(重要なシーンの記録フレームレート)/(通常のシーンの記録フレームレート)倍となるように伸張する。
このような調整を行うことにより、重要なシーンの出力画像信号をスロー再生する際に、再生される出力画像信号に対応するように時間方向に伸張された音を再生することが可能となる。以下、この調整方法の各具体例について、図面を参照して説明する。
―ピッチ維持伸長処理―
最初に、ピッチ維持伸張処理について図面を参照して説明する。図8は、ピッチ位置伸張処理の一例について説明する図である。図8において、ピッチ維持伸張処理が施されるある時間区間の入力音響信号をA1、当該入力音響信号A1にピッチ維持伸張処理を施して得られる出力音響信号をB1とする。また、以下では説明の具体化のため、出力音響信号B1の時間区間を、入力音響信号A1の時間区間の10倍とする(即ち、10倍に伸張する)。
ピッチ維持伸張処理では、入力音響信号A1及び出力音響信号B1の間でピッチが変化しないように、伸張処理が施される。この伸張方法として、公知の話速変換方法を適用することができる。例えば、図8に示すように、入力音響信号A1のピッチに応じたブロック長にて入力音響信号A1の時間区間を第1〜第Nのブロックに分割し(Nは2以上の整数、図8ではN=3)、入力音響信号A1の第1のブロックを10回繰り返した信号と、第2のブロックを10回繰り返した信号と、・・・、第(N−1)のブロックを10回繰り返した信号と、第Nのブロックを10回繰り返した信号とを、この順番で接続することで出力音響信号B1を生成する。
なお、第1〜第Nのブロックのそれぞれを10倍して接続する例について示したが、例えば、第1〜第Nのブロックのそれぞれを6倍した信号に、入力音響信号A1の時間区間の4倍分の無音信号(信号レベルが0の信号)を付加することで、入力音響信号A1を10倍に伸張した出力音響信号を生成しても構わない。このとき、出力音響信号の後部に無音信号をまとめて付加しても構わないし、無音信号が後部に偏ることを防ぐために、第1〜第Nのブロックのそれぞれを6倍した信号のそれぞれの後部に、それぞれのブロックの時間区間の4倍分の無音信号を付加しても構わない。
―エコー処理―
次に、エコー処理について図面を参照して説明する。図9は、エコー処理の一例について説明する図である。図9において、エコー処理が施されるある時間区間の入力音響信号をA2、当該入力音響信号A2にエコー処理を施して得られる出力音響信号をB2とする。また、以下では説明の具体化のため、出力音響信号B2の時間区間を、入力音響信号A1の時間区間の10倍とする(即ち、10倍に伸張する)。
エコー処理では、入力音響信号A2と同じ信号を、信号レベルを徐々に低減させながら複数回繰り返す。図9に示す出力音響信号B2は、エコー信号A2[1]、A2[2]、A2[3]、A2[4]、A2[5]、A2[6]、A2[7]、A2[8]、A2[9]及びA2[10]を、この順番で接続した信号である。ここで、エコー信号A2[i]は、その信号波形が入力音響信号A2の信号波形と相似であり、その信号レベルがエコー信号A2[i+1]の信号レベルよりも小さいものとなる(iは整数)。したがって、出力音響信号B2を再生すると、音量が徐々に小さくなりつつ入力音響信号A2が繰り返し再生されることになる。たとえば、入力音響信号A2がバッティングの打撃音である「カキーン」という音であるならば、エコー処理した再生により、「カキーン」という音が徐々に音量が小さくされつつ10回繰り返し再生されることとなる。
なお、10個のエコー信号A2[1]〜A2[10]を接続する例について示したが、例えば、6個のエコー信号A2[1]〜A2[6]を接続した信号に、入力音響信号A2の時間区間の4倍分の無音信号を付加することで、入力音響信号A2を10倍に伸張した出力音響信号を生成しても構わない。また、記録フレームレート(即ち、伸張する倍率)に応じてエコーの回数(即ち、エコー信号A2[i]を繰り返す回数)、エコーをかける時間(即ち、エコー信号A2[i]を繰り返す時間)、及び(または)、エコーの減衰率(即ち、エコー信号A2[i+1]の信号レベルの、エコー信号A2[i]の信号レベルに対する減衰率)を変更するようにしても構わない。
―その他の処理―
入力音響信号を時間方向に対して伸張する種々の方法の具体例について示したが、上述した伸張方法以外の伸張方法を採用することも可能である。例えば、入力音響信号の信号波形を時間方向に沿って単純に伸張する伸張方法を採用しても構わないし、単純に伸張した信号に無音信号を付加する伸張方法を採用しても構わない。ただし、これらの伸張方法ではピッチが変わるため、音程が変質する。
また例えば、入力音響信号を単純に複数回繰り返す伸張方法を採用しても構わない。信号を繰り返す点では上述のエコー処理と同様であるが、本伸張方法は、信号レベルも含めて等しい信号波形の信号を繰り返すものである。
また、入力画像信号や入力音響信号の状態に基づいて、適宜伸張方法を選択して伸張処理を行っても構わない。
例えば、入力音響信号に人の声が含まれている場合、声のピッチ(基本周波数)を変動させない伸張方法であるピッチ維持伸張処理を採用すると、好ましい。入力音響信号に人の声が含まれているか否かは、例えば、入力音響信号の自己相関値(例えば、ある基準区間のそれぞれの信号値と、基準区間から時間的にずらした評価区間のそれぞれの信号値との積を合算した値)を、特定の時間区間について順次求める(特定の時間区間内で評価区間を時間方向に順次ずらして自己相関値を算出する)ことで、判定することができる。この場合、特定の時間区間における自己相関値が、人の声帯振動のピッチ(概ね80〜270Hz)を含む50〜300Hz内で周期的に大きくなる(閾値を超える)場合、当該特定の時間区間に人の声が含まれていると判定することができる。さらに、人の声に特有のスペクトル包絡(エンベロープ)が入力音響信号中にあるか否かを判定し、音楽と人の声とを区別して判定しても構わない。
また例えば、入力音響信号に図4に示すようなインパルス音が含まれている場合、インパルス音を繰り返す伸張方法を採用すると、シーンに適合するため好ましい。入力音響信号にインパルス音が含まれているか否かは、例えば、上述のように単位時間当たりの信号レベルの変化量が所定の大きさ以上となるか否か、信号レベルが所定の大きさ以上となるか否かに基づいて、判定することができる。
また、出力音響信号に加えて、入力音響信号の一部(特に、調整した部分)や全部を記録しても構わない。
<<再生装置>>
次に、本発明の実施の一形態である再生装置の全体構成例について、図10を参照して説明する。図10は、本発明の実施の一形態である再生装置の全体構成例を示すブロック図である。なお、図10は、撮像装置の全体構成例について示した図1に相当するものであり、図1と同様の動作をする部分については同じ符号を付し、その詳細な説明については省略する。
図10に示すように、再生装置100は、外部メモリ11と、ドライバ部12と、伸長処理部13と、伸長処理部13で復号されて得られる画像信号及び音響信号を調整して出力する再生調整部90と、再生調整部90から出力される画像信号をモニタなどの画像表示部30で表示可能な信号に変換する画像信号出力回路部14と、再生調整部90で復号されて得られる音響信号をスピーカなどの音響再生部31で再生可能な信号に変換する音響信号出力回路部15と、CPU16と、メモリ17と、操作部18と、TG部19と、バス20,21と、画像表示部30と、音響再生部31と、を備える。なお、再生装置100の各部の構成及び動作は、再生調整部90を除いて上述の撮像装置1において述べたものと同様である。そのため、以下では再生調整部90の構成及び動作の詳細について、主に説明する。
<再生調整部>
まず、再生調整部90の構成について、図面を参照して説明する。図11は、再生調整部の構成の一例を示すブロック図である。なお、図11は、記録調整部について示した図2に相当するものであり、図2と同様の動作をする部分については同じ符号を付し、その詳細な説明については省略する。
図11に示すように、再生調整部90は、画像信号解析部91と、音響信号解析部92と、画像信号解析情報及び音響信号解析情報の少なくとも一方に基づいて出力画像信号の再生速度を設定し再生速度情報として出力する再生速度設定部903と、画像信号バッファと94と、音響信号バッファと95と、再生速度情報に基づいて画像信号バッファ94に保持された入力画像信号を調整し出力画像信号として出力する再生画像信号調整部906と、再生速度情報に基づいて音響信号バッファ95に保持された入力音響信号を調整し出力音響信号として出力する再生音響信号調整部907と、を備える。
再生速度とは、例えば、出力画像信号を構成するそれぞれのフレームの時間間隔を、当該フレームの撮像時(現実)の時間間隔と比較して示されるものである。具体的に例えば、出力画像信号のフレームの時間間隔が、撮像時(現実)の時間間隔と同じであれば再生速度は1倍(通常速度再生)となる。一方、出力画像信号のフレームの時間間隔が、撮像時(現実)の時間間隔の10倍であれば再生速度は1/10倍となる。
画像信号解析部91及び音響信号解析部92は、上述の記録調整部9に備えられるものと同様の判定方法によって、重要なシーンを再生しようとしているか否かを判定する。また、画像信号バッファ94及び音響信号バッファ95は、図2に示す記録調整部9に備えられるものと同様に、入力画像信号及び入力音響信号を一時的に保持する。
以下、再生速度設定部903と、再生画像信号調整部906と、再生音響信号調整部907と、の各動作について、図面を参照して説明する。
[再生速度設定部]
再生速度設定部903は、画像信号解析情報及び音響信号解析情報の少なくとも一方に基づいて、出力画像信号の再生速度を設定する。特に、上述のように入力画像信号が重要なシーンであると判定される場合の出力画像信号の再生速度が、通常のシーンであると判定される場合の再生速度よりも遅くなるように、出力画像信号の再生速度を調整する。そして、再生速度設定部903は、設定した再生速度を示す情報である、再生速度情報を出力する。
[再生画像信号調整部]
再生画像信号調整部906は、再生速度情報に基づき、必要に応じて入力画像信号の再生速度を調整する。この調整方法について、図面を参照して説明する。図12は、通常のシーンの再生時における再生画像信号調整部による入力画像信号の調整方法の一例について示す図である。また、図13は、重要なシーンの再生時における再生画像信号調整部による入力画像信号の調整方法の一例について示す図である。なお、図12及び図13に示す例では、重要なシーンであるか否かに関わらず、入力画像信号が高速撮像用の撮像フレームレートで撮像され、これと略等しい記録フレームレートで記録されているものとする。
図12に示すように、再生画像信号調整部906は、通常のシーンであると判定された入力画像信号の一部のフレームを抽出し、出力画像信号として出力する。図12に示す例では、白塗りのフレームを抽出して出力画像信号に含め、これ以外のハッチングを付したフレームは抽出せずに出力画像信号に含めない(間引く)こととしている。なお、図12では、抽出されるフレームの、入力画像信号のフレームの時間間隔と、出力画像信号のフレームの時間間隔と、が略等しくなる(フレームの時間間隔が伸長されない、即ち、再生速度が当該調整によって変化せずに1倍のまま維持される)場合を例示している。
一方、図13に示すように、再生画像信号調整部906は、重要なシーンであると判定された入力画像信号の全てのフレームを抽出し、出力画像信号として出力する。このとき、出力画像信号に含まれるそれぞれのフレームの時間間隔を、入力画像信号のものより伸長する。例えば、通常のシーンと略等しい再生フレームレートとなるように、それぞれのフレームの時間間隔を伸長する。これにより、重要なシーンの出力画像信号の再生速度が、通常のシーンの再生速度よりも遅いものとなる。ただし、それぞれのシーンの再生フレームレートは、略等しいものとなる。
以上のように構成することで、重要なシーンであると判定される入力画像信号の再生速度を、通常のシーンであると判定される場合よりも遅くすることが可能となる。また、上記例のように、通常のシーンであると判定される場合の出力画像信号の再生フレームレートと、重要なシーンであると判定される場合の出力画像信号の再生フレームレートと、を略等しくすることにより、重要なシーンを、通常のシーンと同程度の滑らかさで通常のシーンよりも遅く再生(スロー再生)することが可能となる。
さらにこのとき、入力画像信号の特徴や入力音響信号の特徴に基づいて重要なシーンであるか否かが判定され、入力画像信号の再生速度が調整される。そのため、シーンに応じて再生速度を迅速に調整することが可能となる。したがって、重要なシーン以外もスロー再生されることで所望のシーンを迅速に再生することができなかったり、重要なシーンの一部がスロー再生されなかったりすることを、抑制することが可能となる。
また、以上のように調整を行う場合、画像信号バッファ94に入力画像信号を保持する。そのため、画像信号解析部91や音響信号解析部92が、重要なシーンであると判定する根拠となるフレーム(例えば、図4のフレーム3)やそれ以前に撮像されたフレーム(例えば、図4のフレーム2)を含めて重要なシーンとして判定する場合でも、当該シーンをもれなくスロー再生することが可能となる。
また、図12及び図13に示すように、通常のシーンであると判断される場合の入力画像信号のフレームを抽出する(間引く)調整を行うこととすると、通常のシーン及び重要なシーンのそれぞれであると判定される場合の出力画像信号を、一定の再生フレームレートで再生するのみで、通常速度再生とスロー再生とを実現することが可能となる。したがって、通常速度再生及びスロー再生のそれぞれを容易に行うことが可能となる。
なお、図12及び図13では、入力画像信号の記録フレームレートが、高速撮像用の撮像フレームレート(例えば、600fps)と略等しいものとしたが、通常の撮像フレームレート(例えば、60fps)であっても構わない。この場合、重要なシーンであると判定されて時間間隔が伸長される出力画像信号の再生フレームレートが、通常の再生フレームレート(例えば、60fps)よりもさらに低い(小さいとも表現し得る)再生フレームレート(例えば、15fps)になるように、再生速度を調整しても構わない。
また、通常のシーンであると判定される場合の調整方法を、図12に示す調整方法とは異なるものとしても構わない。この調整方法について、図面を参照して説明する。図14は、通常のシーンの再生時における再生画像信号調整部による入力画像信号の調整方法の別例について示す図である。図14に示すように、本例の調整方法は、通常のシーンであると判定された入力画像信号の略全てのフレームを抽出する(間引くフレームを略0にする)。なお、本例の調整方法も、図12に例示した調整方法と同様に、入力画像信号のフレームの時間間隔と、出力画像信号のフレームの時間間隔と、が略等しくなる(即ち、再生速度が当該調整によって変化せずに1倍のまま維持される)。ただし、本例の調整方法では、重要なシーンと判定された場合の出力画像信号の再生フレームレート(例えば、60fps)よりも、通常のシーンと判定された場合の出力画像信号の再生フレームレートを高くする(例えば、600fps)。
また、図12及び図14では、入力画像信号のフレームの時間間隔と、出力画像信号のフレームの時間間隔を略等しいものとしたが、伸長または圧縮などの調整を行っても構わない。また、図13では、重要なシーンであると判定された入力画像信号の全てのフレームを出力画像信号とする場合について例示しているが、入力画像信号の一部のフレームを抽出して時間間隔を伸長することで出力画像信号を生成しても構わない。ただし、重要なシーンであると判定される場合の出力画像信号が、通常のシーンであると判定される場合の出力画像信号よりも、再生速度が遅くなるものとする。
[再生音響信号調整部]
再生音響信号調整部907は、再生速度情報に基づき、必要に応じて入力音響信号を調整する。特に、再生速度の大きさに応じて入力音響信号を時間方向に伸長する処理を行う。具体的に例えば、通常のシーンのときは入力音響信号を伸長せずに、重要なシーンのときに再生速度と略等しい倍率となるように入力音響信号を時間方向に伸張する。
このような調整を行うことにより、重要なシーンの出力画像信号をスロー再生する際に、再生される出力画像信号に対応するように時間方向に伸張された音を再生することが可能となる。なお、具体的な伸長方法として、例えば、上述の記録音響信号調整部97に適用され得る種々の伸長方法を適用することが可能である。また、記録音響信号調整部97と同様に、入力画像信号や入力音響信号の状態に基づいて、適宜伸張方法を選択して伸張処理を行っても構わない。
<再生調整部の別例>
また、再生調整部90を、図15に示す再生調整部90aのような構成としても構わない。図15は、再生調整部の構成の別例を示すブロック図である。なお、図15は、再生調整部の一例について示した図11に相当するものであり、図11と同様の動作をする部分については同じ符号を付し、その詳細な説明については省略する。
図11に示すように、再生調整部90は、画像信号解析部91と、音響信号解析部92と、再生速度設定部903と、再生速度情報に基づいて記録フレームレートが高い入力画像信号(高速撮像)と記録フレームレートが低い入力画像信号(通常撮像)とからいずれかを選択し出力画像信号として出力する再生画像信号選択部910と、再生速度情報に基づいて時間方向に伸長された入力音響信号(伸長)と時間方向に伸長されていない入力音響信号(通常)とからいずれかを選択し出力音響信号として出力する再生音響信号選択部911と、を備える。
本例の構成では、高速撮像用の撮像フレームレートで撮像された入力画像信号(高速撮像)と、例えば当該入力画像信号のフレームの一部を抽出する(間引く)などして生成された入力画像信号(通常撮像)と、が記録されていることを前提とする。また、集音されて得られたままの入力音響信号(通常)と、例えば当該入力音響信号を時間方向に伸長するなどして生成された入力音響信号(伸長)と、が記録されていることを前提とする。
画像信号解析部91は、入力画像信号(通常撮像)に基づいて重要なシーンであるか否かの判定を行う。同様に、音響信号解析部92は、入力音響信号(通常)に基づいて重要なシーンであるか否かの判定を行う。また、再生画像信号選択部910は、再生情報に基づいて入力画像信号(高速撮像)及び入力画像信号(通常撮像)のいずれかを選択し、選択した入力画像信号を出力画像信号として出力する。同様に、再生音響信号選択部911も、再生速度情報に基づいて入力音響信号(伸長)及び入力音響信号(通常)のいずれかを選択し、選択した入力音響信号を出力音響信号として出力する。
本例のように構成すると、再生時に入力画像信号及び入力音響信号の調整処理を行う必要が無くなる。そのため、迅速に出力画像信号の再生速度を切り替えるとともに、出力画像信号に対応した出力音響信号を出力することが可能となる。
また、画像信号解析部91が、記録フレームレートの低い入力画像信号(通常撮像)に基づいて判定を行うため、判定にかかる負担を軽減することが可能となる。また、音響信号解析部92が、調整されていない入力音響信号(通常)に基づいて判定を行うため、精度よく判定を行うことが可能となる。
なお、図11に示したような画像信号バッファ94や音響信号バッファ95を、再生画像信号選択部910及び再生音響信号選択部911の前段であり、それぞれの入力画像信号及び入力音響信号毎に備える構成としても構わない。また、再生画像信号選択部910及び再生音響信号選択部911のいずれか一方を、図11に示した再生画像信号調整部906及び再生音響信号調整部907に置き換えても構わない。
<<変形例>>
なお、記録調整部9を備える撮像装置1と、再生調整部90,90aを備える再生装置100と、のそれぞれを実施の一形態として示したが、撮像装置1が、記録調整部9及び再生調整部90,90aの両方を備える構成であっても構わない。また、撮像装置1が、再生調整部90,90aのみを備える構成であっても構わない。
また、画像信号解析部91や音響信号解析部92は、入力画像信号や入力音響信号を常時判定しても構わないが、例えば、操作部18を介してユーザが指示するタイミングで判定を行うこととしても構わない。このように構成すると、無用な判定が抑制されるため、より精度良くユーザの意図(重要なシーンであるか否か)を反映させた記録フレームレートの切り替えや、スロー再生を行うことが可能となる。
この場合、画像信号解析部91や音響信号解析部92が、ユーザの指示が入力された時点の前後の所定時間内に得られる入力画像信号や入力音響信号について判定を行うこととすると、重要なシーンの記録フレームレートをもれなく高くする、または、重要なシーンをもれなくスロー再生することが可能となるため、好ましい。また、本例の構成とする場合、必要に応じて画像信号解析部91や音響信号解析部92の前段に、入力画像信号や入力音響信号を一時的に保持するバッファを備えても構わない。
本発明の実施の形態における撮像装置1及び再生装置100について、記録調整部9や再生調整部90,90aなどのそれぞれの動作を、マイコンなどの制御装置が行うこととしても構わない。さらに、このような制御装置によって実現される機能の全部または一部をプログラムとして記述し、該プログラムをプログラム実行装置(例えばコンピュータ)上で実行することによって、その機能の全部または一部を実現するようにしても構わない。
また、上述した場合に限らず、図1に示す撮像装置1や図10に示す再生装置100、図2に示す記録調整部9、図11及び図15に示す再生調整部90,90aは、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。また、ソフトウェアを用いて撮像装置1や再生装置100、記録調整部9、再生調整部90,90aの一部を構成する場合、ソフトウェアによって実現される部位についてのブロックは、その部位の機能ブロックを表すこととする。
以上、本発明における実施形態について説明したが、本発明の範囲はこれに限定されるものではなく、発明の主旨を逸脱しない範囲で種々の変更を加えて実行することができる。