JP2012023634A - ビデオカメラ、撮像方法 - Google Patents
ビデオカメラ、撮像方法 Download PDFInfo
- Publication number
- JP2012023634A JP2012023634A JP2010160963A JP2010160963A JP2012023634A JP 2012023634 A JP2012023634 A JP 2012023634A JP 2010160963 A JP2010160963 A JP 2010160963A JP 2010160963 A JP2010160963 A JP 2010160963A JP 2012023634 A JP2012023634 A JP 2012023634A
- Authority
- JP
- Japan
- Prior art keywords
- frame rate
- imaging
- motion
- reference value
- search range
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
【課題】被写体を撮像した複数の撮像画像間の差分を用いて画像データのデータ量を圧縮する際に、精度の良い動き検出を行うことと、ビデオカメラにおける処理量を低減することの両者を解決し、動き検出を適切に行うことが課題となっていた。
【解決手段】複数の撮像画像間の動きが第１の基準値より大きいと判別された場合は、撮像手段を第１の撮像フレームレートで撮像させると共に、動き検出手段を第１の探索範囲で探索させ、前記複数の撮像画像間の動きが第１の基準値より小さい第２の基準値より大きくないと判別された場合は、撮像手段を、前記第１の撮像フレームレートよりも低いフレームレートである第２の撮像フレームレートで撮像させると共に、動き検出手段を第１の探索範囲よりも広い第２の探索範囲で探索させる制御手段を備える。
【選択図】 図２
【解決手段】複数の撮像画像間の動きが第１の基準値より大きいと判別された場合は、撮像手段を第１の撮像フレームレートで撮像させると共に、動き検出手段を第１の探索範囲で探索させ、前記複数の撮像画像間の動きが第１の基準値より小さい第２の基準値より大きくないと判別された場合は、撮像手段を、前記第１の撮像フレームレートよりも低いフレームレートである第２の撮像フレームレートで撮像させると共に、動き検出手段を第１の探索範囲よりも広い第２の探索範囲で探索させる制御手段を備える。
【選択図】 図２
Description
本発明の実施形態は、被写体を撮像するビデオカメラに関する。
現在、ユーザが被写体を撮像し、撮像された画像をＨＤＤ装置等の記録媒体に記録するビデオカメラが普及している。
ビデオカメラにおいては、一般に、被写体を撮像した撮像画像（撮像画像データ）を記録媒体に記録する際に、そのデータ量を低減するためにデータ圧縮処理が行われる。
ビデオカメラにおいては、一般に、被写体を撮像した撮像画像（撮像画像データ）を記録媒体に記録する際に、そのデータ量を低減するためにデータ圧縮処理が行われる。
また、画像データのデータ量を圧縮する技術として、撮像画像の動きを検出し、この検出された動きを利用する技術が提案されている。この技術は、例えば、被写体を撮像した複数の撮像画像を比較し、複数の撮像画像間の変化した部分（差分）を動きとして検出し（動き検出）、この差分に係るデータを前の画像に付加して出力し、全体としてデータ量を圧縮するものである。
しかし、この技術においては、動き検出の精度が、データ量の削減や撮像画像の画質に大きく関係することが知られている。そこで、精度良く、動き検出を行う技術が待ち望まれていた。
しかし、動き検出をより精度良く行おうとすると、ビデオカメラにおける処理量が増加し、ビデオカメラの処理能力が低下してしまうという、課題があった。
したがって、被写体を撮像した複数の撮像画像間の差分を用いて画像データのデータ量を圧縮する際に、動き検出を精度良く行うことと、ビデオカメラにおける処理量を低減することの両者を解決し、動き検出を適切に行うことができる技術が待ち望まれていた。
したがって、被写体を撮像した複数の撮像画像間の差分を用いて画像データのデータ量を圧縮する際に、動き検出を精度良く行うことと、ビデオカメラにおける処理量を低減することの両者を解決し、動き検出を適切に行うことができる技術が待ち望まれていた。
被写体を撮像した複数の撮像画像間の差分を用いて画像データのデータ量を圧縮する際に、精度の良い動き検出を行うことと、ビデオカメラにおける処理量を低減することの両者を解決し、動き検出を適切に行うことが課題となっていた。
所定の撮像フレームレートで撮像を行う撮像手段を備える。
また、撮像された複数の撮像画像間の動きを撮像画像の複数の部分においてそれぞれ所定の探索範囲で探索し、前記複数の撮像画像間の差分を取ることにより、撮像画像の動きを検出する動き検出手段を備える。
また、撮像された複数の撮像画像間の動きを撮像画像の複数の部分においてそれぞれ所定の探索範囲で探索し、前記複数の撮像画像間の差分を取ることにより、撮像画像の動きを検出する動き検出手段を備える。
また、前記撮像された複数の撮像画像間の動きが所定の基準値より大きいかを判別する判別手段を備える。
また、前記複数の撮像画像間の動きが第１の基準値より大きいと判別された場合は、前記撮像手段を第１の撮像フレームレートで撮像させると共に、前記動き検出手段を第１の探索範囲で探索させ、前記複数の撮像画像間の動きが第１の基準値より小さい第２の基準値より大きくないと判別された場合は、前記撮像手段を、前記第１の撮像フレームレートよりも低いフレームレートである第２の撮像フレームレートで撮像させると共に、前記動き検出手段を第１の探索範囲よりも広い第２の探索範囲で探索させる制御手段を備える。
また、前記複数の撮像画像間の動きが第１の基準値より大きいと判別された場合は、前記撮像手段を第１の撮像フレームレートで撮像させると共に、前記動き検出手段を第１の探索範囲で探索させ、前記複数の撮像画像間の動きが第１の基準値より小さい第２の基準値より大きくないと判別された場合は、前記撮像手段を、前記第１の撮像フレームレートよりも低いフレームレートである第２の撮像フレームレートで撮像させると共に、前記動き検出手段を第１の探索範囲よりも広い第２の探索範囲で探索させる制御手段を備える。
以下、図面を参照し、実施の形態を説明する。
この実施の形態においては、ＡＶＣＨＤ方式のエンコーダを搭載するビデオカメラ装置を用いて説明する。
ＡＶＣＨＤ方式は、ハイビジョン映像をビデオカメラで記録するための規格であり、Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｅｃ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ方式の略である。
この実施の形態においては、ＡＶＣＨＤ方式のエンコーダを搭載するビデオカメラ装置を用いて説明する。
ＡＶＣＨＤ方式は、ハイビジョン映像をビデオカメラで記録するための規格であり、Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｅｃ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ方式の略である。
図１は、実施形態に係わるビデオカメラを示すブロック図である。
符号９はビデオカメラである。ビデオカメラ９は、ユーザ操作によって被写体を撮像し、動画や静止画の撮像画像（画像データ）を出力する。
符号１０はマイク、符号１１は撮像部、符号１１ａはレンズ、符号１１ｂはＣＣＤ、符号１２は撮像部制御部（ＡＦ装置およびズーム装置）、符号１３はＡＣＶＨＤエンコーダ、符号１４はＡＣＶＨＤデコーダ、符号１５はＲＯＭ、符号１６はＲＡＭ、符号１７は制御ＣＰＵ、符号１８は操作ＳＷ、符号１９は電源制御マイコン、符号２０はスピーカ、符号２１は表示装置（ＬＣＤ）、符号２２はＨＤＤ、符号２３はバッテリである。
符号９はビデオカメラである。ビデオカメラ９は、ユーザ操作によって被写体を撮像し、動画や静止画の撮像画像（画像データ）を出力する。
符号１０はマイク、符号１１は撮像部、符号１１ａはレンズ、符号１１ｂはＣＣＤ、符号１２は撮像部制御部（ＡＦ装置およびズーム装置）、符号１３はＡＣＶＨＤエンコーダ、符号１４はＡＣＶＨＤデコーダ、符号１５はＲＯＭ、符号１６はＲＡＭ、符号１７は制御ＣＰＵ、符号１８は操作ＳＷ、符号１９は電源制御マイコン、符号２０はスピーカ、符号２１は表示装置（ＬＣＤ）、符号２２はＨＤＤ、符号２３はバッテリである。
ユーザは、ビデオカメラ９に設けられた操作ＳＷ１８を操作する。操作ＳＷ１８は、制御ＣＰＵ１７に接続されており、制御ＣＰＵ１７に、ユーザの操作情報（指示）が通知される。
制御ＣＰＵ１７は、マイク１０、撮像部１１（レンズ１１ａ、ＣＣＤ１１ｂ）、撮像部制御部（ＡＦ装置およびズーム装置）１２、ＡＣＶＨＤエンコーダ１３、ＡＣＶＨＤデコーダ１４、ＲＯＭ１５、ＲＡＭ１６、電源制御マイコン１９、スピーカ２０、表示装置（ＬＣＤ）２１、ＨＤＤ２２、バッテリ２３と接続されている。
制御ＣＰＵ１７は、ユーザからの指示を受信すると、ユーザからの指示に応じ、例えば、ＲＯＭ１５に保存されているプログラムを起動する。この際、例えばＲＡＭ１６を用いて起動されたプログラムを展開する。また、ＲＡＭ１６は、制御CPU１７のプログラム実行だけでなく、ＡＣＶＨＤエンコーダ１３、ＡＣＶＨＤデコーダ１４の作業用バッファとしても用いられる。
制御ＣＰＵ１７は、マイク１０、撮像部１１（レンズ１１ａ、ＣＣＤ１１ｂ）、撮像部制御部（ＡＦ装置およびズーム装置）１２、ＡＣＶＨＤエンコーダ１３、ＡＣＶＨＤデコーダ１４、操作ＳＷ１８、電源制御マイコン１９、スピーカ２０、表示装置（ＬＣＤ）２１、ＨＤＤ２２、バッテリ２３を制御する。
撮像部１１は、レンズ１１ａおよびＣＣＤ１１ｂを備える。撮像部制御部（ＡＦ装置およびズーム装置）１２は、制御ＣＰＵ１７に指示され、撮像部１１のレンズ１１ａおよびＣＣＤ１１ｂを制御する。
また、撮像部１１は、ユーザ操作、すなわち制御ＣＰＵ１７の指示で撮像を行い、動画や静止画の画像データを出力する。動画は所定の撮像フレームレート（例えば通常の３０ｆｐｓ（ｆｒａｍｅｓ ｐｅｒ ｓｅｃｏｎｄ）や高い６０ｆｐｓ）で撮像される。
撮像部１１から出力された撮像画像（撮像画像データ）は、表示や記録を行うことが可能である。
表示を行う場合は、例えば、画像データを表示装置（ＬＣＤ）２１に向けて出力する。表示装置２１は、例えばＬＣＤ等で構成される。表示装置（ＬＣＤ）２１は、撮像部１１から出力された撮像画像データを受信し、表示する。ユーザは、表示装置（ＬＣＤ）２１に表示された画像を見ることで、撮像画像を確認することが可能である。
表示を行う場合は、例えば、画像データを表示装置（ＬＣＤ）２１に向けて出力する。表示装置２１は、例えばＬＣＤ等で構成される。表示装置（ＬＣＤ）２１は、撮像部１１から出力された撮像画像データを受信し、表示する。ユーザは、表示装置（ＬＣＤ）２１に表示された画像を見ることで、撮像画像を確認することが可能である。
撮像画像データの記録を行う場合は、撮像部１１から出力された撮像画像データが、ＡＣＶＨＤエンコーダ１３に入力される。ＡＣＶＨＤエンコーダ１３は撮像部１１から出力された撮像画像データを受信し、ＡＣＶＨＤ方式のエンコード処理を行う。そして、ＡＣＶＨＤ方式のエンコード処理によってデータ量を圧縮し、ＨＤＤ２２に向けて出力する。
ＨＤＤ２２は、ＡＣＶＨＤ方式のエンコード処理（データ圧縮処理）がされた撮像画像データを受信し、受信した撮像画像データを記録する。
マイク１０は、制御ＣＰＵ１７に指示され、音声を取得する。そして、例えば、アナログ信号で取得された音声をデジタル信号に変換し、デジタル方式の音声データを出力する。
マイク１０は、制御ＣＰＵ１７に指示され、音声を取得する。そして、例えば、アナログ信号で取得された音声をデジタル信号に変換し、デジタル方式の音声データを出力する。
マイク１０から出力された音声データは、音声出力や記録を行うことが可能である。
音声出力を行う場合は、マイク１０から出力された音声データをスピーカ２０に向けて出力する。スピーカ２０はマイク１０から出力された音声データを受信し、音声に変換して出力する。
音声出力を行う場合は、マイク１０から出力された音声データをスピーカ２０に向けて出力する。スピーカ２０はマイク１０から出力された音声データを受信し、音声に変換して出力する。
音声の記録を行う場合は、マイク１０で取得され、デジタルデータに変換された音声データをＨＤＤ２２に向けて出力する。詳述しないが、この音声データも画像データと同様に、圧縮処理することが可能である。
ＨＤＤ２２は、デジタルデータに変換された音声データを受信し、記録する。
尚、ここでは、撮像画像データや音声データをＨＤＤ２２に記録する説明をおこなったが、記録装置はＨＤＤ２２に限定されることはなく、ＨＤＤ２２の他には、例えば半導体メモリや磁気テープ、ＤＶＤ等を利用することも可能である。
尚、ここでは、撮像画像データや音声データをＨＤＤ２２に記録する説明をおこなったが、記録装置はＨＤＤ２２に限定されることはなく、ＨＤＤ２２の他には、例えば半導体メモリや磁気テープ、ＤＶＤ等を利用することも可能である。
また、この実施の形態においては、ＨＤＤ２２に記録された撮像画像データを表示装置（ＬＣＤ）２１に表示する際は、ＨＤＤ２２に、ＡＣＶＨＤ方式でエンコードされ、記録された撮像画像データが、ＨＤＤ２２からＡＣＶＨＤデコーダ１４に向けて出力される。
ＡＣＶＨＤデコーダ１４は、ＡＣＶＨＤ方式でエンコードされた画像データを受信し、ＡＣＶＨＤ方式でデコード処理を行い、表示装置２１に向けて出力する。
上記と同様に、表示装置（ＬＣＤ）２１は、ＡＣＶＨＤデコーダ１４から出力された撮像画像データを受信し、画像を表示する。
バッテリ２３は、ビデオカメラ９に設けられる電源すなわちバッテリである。ビデオカメラ９で使用される電力は、このバッテリ２３から供給されるようにすることが可能である。あるいは、ビデオカメラ９は、図示しない外部電源と接続し、この外部電源から電力の供給を受けるようにすることも可能である。あるいは、バッテリ２３と外部電源の両者から電力の供給を受けるようにすることも可能である。
上記と同様に、表示装置（ＬＣＤ）２１は、ＡＣＶＨＤデコーダ１４から出力された撮像画像データを受信し、画像を表示する。
バッテリ２３は、ビデオカメラ９に設けられる電源すなわちバッテリである。ビデオカメラ９で使用される電力は、このバッテリ２３から供給されるようにすることが可能である。あるいは、ビデオカメラ９は、図示しない外部電源と接続し、この外部電源から電力の供給を受けるようにすることも可能である。あるいは、バッテリ２３と外部電源の両者から電力の供給を受けるようにすることも可能である。
電源制御マイコン１９は、このバッテリ２３や外部電源から供給される電力を制御するマイコンである。
そして、ユーザ操作によって、制御ＣＰＵ１７の指示を受けた撮像部制御部１１は、撮像部１１のレンズ１１ａおよびＣＣＤ１１ｂのＡＦ（オートフォーカス）動作やズーム動作を制御する。例えば、動画の場合は、所定の撮像フレームレートで被写体（図示せず）を撮像し、複数の連続する画像を出力する。
そして、ユーザ操作によって、制御ＣＰＵ１７の指示を受けた撮像部制御部１１は、撮像部１１のレンズ１１ａおよびＣＣＤ１１ｂのＡＦ（オートフォーカス）動作やズーム動作を制御する。例えば、動画の場合は、所定の撮像フレームレートで被写体（図示せず）を撮像し、複数の連続する画像を出力する。
図２は、実施形態に係わるビデオカメラにおける動き検出において、例えば、同じ検出精度を得る際の、撮像フレームレートと探索範囲の関係を模式的に説明する図である。
この実施の形態においては、例えば記録時に、画像データ（ビデオ画像データ）のデータ量を低減するために、ＡＣＶＨＤ方式のエンコード処理を行う。
この際に、所定の撮像フレームレートで撮像された複数の撮像画像どうしを比較し、画像間の差分を探索し、撮像画像の動きとして検出する。この撮像画像の動き検出は、例えば後述するように、撮像画像の任意のマクロブロックを中心として複数の部分に設定され、それぞれ所定の探索範囲（検出範囲）において行われる。
この際に、所定の撮像フレームレートで撮像された複数の撮像画像どうしを比較し、画像間の差分を探索し、撮像画像の動きとして検出する。この撮像画像の動き検出は、例えば後述するように、撮像画像の任意のマクロブロックを中心として複数の部分に設定され、それぞれ所定の探索範囲（検出範囲）において行われる。
個々の探索範囲は、画像全体に対しては小さい範囲であるが、この実施の形態においては、この撮像画像の複数の部分において所定の探索範囲を用いる動き検出は、例えば、画像全体に対して走査的に行われる。
例えば、時間的に前後関係のある撮像画像（映像）においては、前の撮像画像（映像）と後の撮像画像（映像）の間で変化した（すなわち動いた）と判断できる部分を動き（差分）として検出する。
この動き（差分）として検出された部分については、前の撮像画像（映像）に対する差分を補完する移動ベクトルを用いて表現する。これにより、例えば、画像データのデータ量を低減する。
ここでは、撮像部１１において撮像される動画像（ビデオ映像）の撮像フレームレートと、動き（差分）を探索（検出）する範囲である探索範囲の関係を模式的に説明する。
図２（ａ）は、通常の撮像フレームレートである３０ｆｐｓで、撮像を行い、通常の探索範囲（ここでは面積Ｓ）で動き検出を行う例を示している。
符号３は、動き（差分）検出を行う複数の撮像画像である。また、符号１はマクロブロック、符号２は動きベクトルの探索範囲である。この例では、動きベクトルの探索範囲は、マクロブロック１を中心とした面積Ｓである。すなわち、動きベクトルの探索範囲は、逐次、マクロブロック１の周囲に設けられる。
符号３は、動き（差分）検出を行う複数の撮像画像である。また、符号１はマクロブロック、符号２は動きベクトルの探索範囲である。この例では、動きベクトルの探索範囲は、マクロブロック１を中心とした面積Ｓである。すなわち、動きベクトルの探索範囲は、逐次、マクロブロック１の周囲に設けられる。
ここで、マクロブロックの説明をする。マクロブロックは、フレームを複数の小領域に分割し、小領域毎に動き補償を行うための矩形ブロックである。マクロブロックは複数の画素単位で構成されるが、例えば、８×８画素単位や１６×１６画素単位の矩形ブロック(マクロブロック、Ｍａｃｒｏｂｌｏｃｋ)である。
そして、ここでは、３０ｆｐｓの撮像フレームレートで撮像された複数の撮像画像を、動き（差分）検出を行う複数の撮像画像３について、マクロブロック１を中心として、動きベクトルの探索範囲２の探索範囲について、動きベクトルの検出を行う。
この動きベクトルの検出は、図に示すように、動き検出を行う画像３の全ての領域のマクロブロック１について、走査的に行われる。
このとき、所定の撮像フレームレートで撮像された複数の撮像画像間の動き（例えば動きベクトル）を所定の探索範囲で探索し、複数の撮像画像間の差分を取ることにより、撮像画像の動きを検出する。
このとき、所定の撮像フレームレートで撮像された複数の撮像画像間の動き（例えば動きベクトル）を所定の探索範囲で探索し、複数の撮像画像間の差分を取ることにより、撮像画像の動きを検出する。
この差分は、画像間の相対的な変化として計測されるため、大きさに絶対的な意味はないが、例えば、ある動きベクトルの探索範囲で検出された動きの大きさをＬ１とすると、Ｌ１に方向を考慮したベクトル量で表される。また、他の動きベクトルの探索範囲で検出された動きの大きさをＬ２とすると、Ｌ２に方向を考慮したベクトル量で表される。そして、ベクトル量Ｌ１とベクトル量Ｌ２を比較することで、相対的に動きを比較することが可能である。
ここでは、上記３０ｆｐｓの撮像フレームレートで撮像された複数の撮像画像を、動き（差分）検出を行う複数の撮像画像３について、全てのマクロブロックについて、動きベクトルの探索範囲２の探索範囲について、動きベクトルの検出を行う。
一般的な動画像では、前のフレームと現在のフレームとは同じではなく、フレーム中の物体が動いたり、カメラがパンをしたりすることにより、フレーム間で動きがある。また、カメラがパンした場合を除き、フレーム全体が同一方向に動く場合は少ないことが予想される。
すなわち、フレーム内では物体により動きが異なることが予想される。このため、この実施の形態においては、上記のように、フレームを複数の領域に分割し、小領域毎に動き検出を行う。そして、マクロブロック１を中心とした動きベクトルの検出を走査的に行い、これらの動きを検出する（動き検出）。
すなわち、この実施の形態においては、撮像された複数の撮像画像間の動きを、図に示すように、撮像画像の複数の部分においてそれぞれ所定の探索範囲（ここでは面積Ｓ）で探索する。
そして、複数の撮像画像間の差分を取ることにより、撮像画像の動きを検出する。
そして、撮像された複数の撮像画像間の動きが所定の基準値より大きいかを判別する。ここでは、所定の基準値を基準値１とする。基準値１は、撮像画像の動きの大きさを判別するための値であり、予め実験等で求められ、例えばＣＰＵ１７に構成される記憶媒体に記憶される。
そして、撮像された複数の撮像画像間の動きが所定の基準値より大きいかを判別する。ここでは、所定の基準値を基準値１とする。基準値１は、撮像画像の動きの大きさを判別するための値であり、予め実験等で求められ、例えばＣＰＵ１７に構成される記憶媒体に記憶される。
一般に、ビデオカメラ装置において、特に、高精度に動き検出を行う場合は、一般には、被写体が移動しているかどうか、各マクロブロック単位に細かく、しかもマクロブロックを中心とした広い探索範囲を探索することが望ましい。
しかし、これは、処理に多大な負荷がかかることが予想される。
また、移動ベクトル量が増加すれば、圧縮率が低下するということも予想される。
特に、リアルタイムにビデオ映像をエンコードする機器においては、処理量の関係から、動きベクトルの探索範囲をなるべく小さくし、処理にかかる多大な負荷を低減したいという要求がある。
また、移動ベクトル量が増加すれば、圧縮率が低下するということも予想される。
特に、リアルタイムにビデオ映像をエンコードする機器においては、処理量の関係から、動きベクトルの探索範囲をなるべく小さくし、処理にかかる多大な負荷を低減したいという要求がある。
図２（ｂ）は、撮像フレームレートを通常の撮像フレームレートの３０ｆｐｓより高い、２倍の６０ｆｐｓで撮像を行い、動き検出を行う例を示している。この例では、上記図２（ａ）と同等の検出精度とするために、動きベクトルの探索範囲を面積１／４×Ｓと、１／４に小さくしている。
ここでは、６０ｆｐｓの撮像フレームレートで撮像された複数の撮像画像を、動き（差分）検出を行う複数の撮像画像３について、全てのマクロブロックについて、動きベクトルの探索範囲２の探索範囲について、動きベクトルの検出を行う。
このマクロブロック１を用いた動きベクトルの検出は、上記と同様に、動き（差分）検出を行う複数の撮像画像３について、全てのマクロブロックについて、動きベクトルの探索範囲２の探索範囲について、全ての領域について行う。
このとき、複数の撮像画像間の動きベクトルの探索範囲２における、複数の撮像画像間の差分を、撮像画像の動きとして検出する。
ここで、動きベクトルの探索範囲を面積１／４×Ｓとする理由を説明する。
すなわち、この例においては、撮像時のフレームレート（撮像フレームレート）を、通常の撮像フレームレートの３０ｆｐｓより高い、２倍の６０ｆｐｓで撮像を行う。
ここで、動きベクトルの探索範囲を面積１／４×Ｓとする理由を説明する。
すなわち、この例においては、撮像時のフレームレート（撮像フレームレート）を、通常の撮像フレームレートの３０ｆｐｓより高い、２倍の６０ｆｐｓで撮像を行う。
これにより、見かけ上、いわゆるシャッタースピードが２倍になる。言い換えれば、通常の撮像フレームレートの３０ｆｐｓに対して、１／２の時間間隔で撮像画像の動きを検出することが可能である。
そして、検出時間が１／２であれば、この間に動く量（大きさ）も１／２となる。
したがって、撮像フレームレートが２倍になると、撮像画像の動きは１／２になる。
また、検出を行う範囲は見かけ上、２次元であることから、同等の検出精度とするには、探索範囲を１／４とすることが適当である。
したがって、撮像フレームレートを２倍とした場合は、動きベクトルの探索範囲は、図２（ａ）の例に対して、面積１／４×Ｓが適当である。
言い換えれば、この例において、動きベクトルの探索範囲をあまり小さくしないように構成すれば、検出精度を向上させることが可能である。
この実施の形態においては、上記と同様に、撮像された複数の撮像画像間の動きを、図に示すように、撮像画像の複数の部分においてそれぞれ所定の探索範囲（ここでは面積Ｓ／４）で探索する。
したがって、撮像フレームレートが２倍になると、撮像画像の動きは１／２になる。
また、検出を行う範囲は見かけ上、２次元であることから、同等の検出精度とするには、探索範囲を１／４とすることが適当である。
したがって、撮像フレームレートを２倍とした場合は、動きベクトルの探索範囲は、図２（ａ）の例に対して、面積１／４×Ｓが適当である。
言い換えれば、この例において、動きベクトルの探索範囲をあまり小さくしないように構成すれば、検出精度を向上させることが可能である。
この実施の形態においては、上記と同様に、撮像された複数の撮像画像間の動きを、図に示すように、撮像画像の複数の部分においてそれぞれ所定の探索範囲（ここでは面積Ｓ／４）で探索する。
そして、複数の撮像画像間の差分を取ることにより、撮像画像の動きを検出する。
そして、撮像された複数の撮像画像間の動きが所定の基準値より大きいかを判別する。ここでは、所定の基準値を基準値２とする。基準値２は、撮像画像の動きの大きさを判別するための値である。
そして、撮像された複数の撮像画像間の動きが所定の基準値より大きいかを判別する。ここでは、所定の基準値を基準値２とする。基準値２は、撮像画像の動きの大きさを判別するための値である。
この実施の形態においては、上記のように２倍の撮像フレームレートで撮像を行うことにより、１／２の時間間隔で撮像画像の動きを検出することから、基準値２は上記基準値１の１／２程度の大きさにすることが望ましい。基準値２も予め実験等で求められ、例えばＣＰＵ１７に構成される記憶媒体に記憶される。
尚、上記関係は、第１の撮像フレームレートが第２の撮像フレームレートのＮ倍の場合に、第１の基準値は第２の基準値の１／Ｎ倍に略比例することになる。
また、第１の撮像フレームレートが第２の撮像フレームレートのＮ倍の場合に、第１の探索範囲は第２の探索範囲の１／（Ｎの２乗）に略比例することになる。
図２（ｃ）は、撮像フレームレートを通常の撮像フレームレートの３０ｆｐｓより低い、１／２倍の１５ｆｐｓで撮像を行い、動き検出を行う例を示している。この例では、上記図２（ａ）と同等の検出精度とするために、動きベクトルの探索範囲を面積４×Ｓと、４倍に大きくしている。
また、第１の撮像フレームレートが第２の撮像フレームレートのＮ倍の場合に、第１の探索範囲は第２の探索範囲の１／（Ｎの２乗）に略比例することになる。
図２（ｃ）は、撮像フレームレートを通常の撮像フレームレートの３０ｆｐｓより低い、１／２倍の１５ｆｐｓで撮像を行い、動き検出を行う例を示している。この例では、上記図２（ａ）と同等の検出精度とするために、動きベクトルの探索範囲を面積４×Ｓと、４倍に大きくしている。
ここでは、１５ｆｐｓの撮像フレームレートで撮像された複数の撮像画像を、動き（差分）検出を行う複数の撮像画像３について、全てのマクロブロックについて、動きベクトルの探索範囲２の探索範囲について、動きベクトルの検出を行う。
このマクロブロック１を用いた動きベクトルの検出は、上記と同様に、動き（差分）検出を行う複数の撮像画像３について、全ての領域について行う。
このとき、複数の撮像画像間の動きベクトルの探索範囲２における、複数の撮像画像間の差分を、撮像画像の動きとして検出する。
ここで、動きベクトルの探索範囲を面積４倍の４×Ｓとする理由を説明する。
この例においては、撮像時のフレームレート（撮像フレームレート）を、通常の撮像フレームレートの３０ｆｐｓより低い、１／２倍の１５ｆｐｓで撮像を行う。
これにより、見かけ上、いわゆるシャッタースピードが１／２倍になる。言い換えれば、通常の撮像フレームレートの３０ｆｐｓに対して、２倍の時間間隔で撮像画像の動きを検出する。
このとき、複数の撮像画像間の動きベクトルの探索範囲２における、複数の撮像画像間の差分を、撮像画像の動きとして検出する。
ここで、動きベクトルの探索範囲を面積４倍の４×Ｓとする理由を説明する。
この例においては、撮像時のフレームレート（撮像フレームレート）を、通常の撮像フレームレートの３０ｆｐｓより低い、１／２倍の１５ｆｐｓで撮像を行う。
これにより、見かけ上、いわゆるシャッタースピードが１／２倍になる。言い換えれば、通常の撮像フレームレートの３０ｆｐｓに対して、２倍の時間間隔で撮像画像の動きを検出する。
このとき、時間間隔が２倍となると、撮像画像のマクロブロックの移動距離が２倍になる。
検出を行う範囲は見かけ上、２次元であることから、同等の検出精度とするには、探索範囲を４倍とすることが適当である。
したがって、撮像フレームレートを１／２倍とした場合は、動きベクトルの探索範囲は、図２（ａ）の例に対して、面積４×Ｓが適当である。
この実施の形態においては、上記と同様に、撮像された複数の撮像画像間の動きを、図に示すように、撮像画像の複数の部分においてそれぞれ所定の探索範囲（ここでは面積４Ｓ）で探索する。
検出を行う範囲は見かけ上、２次元であることから、同等の検出精度とするには、探索範囲を４倍とすることが適当である。
したがって、撮像フレームレートを１／２倍とした場合は、動きベクトルの探索範囲は、図２（ａ）の例に対して、面積４×Ｓが適当である。
この実施の形態においては、上記と同様に、撮像された複数の撮像画像間の動きを、図に示すように、撮像画像の複数の部分においてそれぞれ所定の探索範囲（ここでは面積４Ｓ）で探索する。
そして、複数の撮像画像間の差分を取ることにより、撮像画像の動きを検出する。
そして、撮像された複数の撮像画像間の動きが所定の基準値より大きいかを判別する。ここでは、所定の基準値を基準値３とする。基準値３は、撮像画像の動きの大きさを判別するための値である。
そして、撮像された複数の撮像画像間の動きが所定の基準値より大きいかを判別する。ここでは、所定の基準値を基準値３とする。基準値３は、撮像画像の動きの大きさを判別するための値である。
この実施の形態においては、上記のように通常の１／２倍の撮像フレームレートで撮像を行うことにより、２倍の時間間隔で撮像画像の動きを検出することから、基準値３は上記基準値１の２倍程度の大きさにすることが望ましい。基準値３も予め実験等で求められ、例えばＣＰＵ１７に構成される記憶媒体に記憶される。
図３は、実施形態に係わるビデオカメラにおける動き検出において、同じ検出精度を得る際の、撮像フレームレートと探索範囲の対応関係を示す図である。
すなわち、通常（３０ｆｐｓ）の撮像フレームレートで撮像を行う場合の動きベクトルの探索範囲を通常（ここでは面積Ｓ）とすると（図２（ａ））、これと同等の検出精度とするには、通常より高い（６０ｆｐｓ）の撮像フレームレートで撮像を行う場合の動きベクトルの探索範囲を小（ここでは面積１／４×Ｓ）とすると適当である（図２（ｂ））。また、通常より低い（１５ｆｐｓ）の撮像フレームレートで撮像を行う場合の動きベクトルの探索範囲を大（ここでは面積４×Ｓ）とすると適当である（図２（ｃ））。
すなわち、通常（３０ｆｐｓ）の撮像フレームレートで撮像を行う場合の動きベクトルの探索範囲を通常（ここでは面積Ｓ）とすると（図２（ａ））、これと同等の検出精度とするには、通常より高い（６０ｆｐｓ）の撮像フレームレートで撮像を行う場合の動きベクトルの探索範囲を小（ここでは面積１／４×Ｓ）とすると適当である（図２（ｂ））。また、通常より低い（１５ｆｐｓ）の撮像フレームレートで撮像を行う場合の動きベクトルの探索範囲を大（ここでは面積４×Ｓ）とすると適当である（図２（ｃ））。
図７は、実施形態に係わるビデオカメラにおいて、マクロブロックを用いて動き検出を行うようすを説明する図である。
図７（ａ）は、一例として、撮像画面全体についてマクロブロックを用いた動き検出を行うようすを示す図である。
ここでは、図に示すそれぞれのブロックがマクロブロック１である。
上記のように、各マクロブロック１で、動きベクトルの検出が行われる。図の各マクロブロック１に示される矢印は、各マクロブロック１で検出された動きベクトルである。これらは、ベクトル量で表され、その長さは動きの大きさを示している。また、その矢印は動きベクトルの方向を示している。
図７（ａ）は、一例として、撮像画面全体についてマクロブロックを用いた動き検出を行うようすを示す図である。
ここでは、図に示すそれぞれのブロックがマクロブロック１である。
上記のように、各マクロブロック１で、動きベクトルの検出が行われる。図の各マクロブロック１に示される矢印は、各マクロブロック１で検出された動きベクトルである。これらは、ベクトル量で表され、その長さは動きの大きさを示している。また、その矢印は動きベクトルの方向を示している。
図７（ｂ）は、他の例として、中央を含む画面の一部についてマクロブロックを用いた動き検出を行うようすを示す図である。
図に示すそれぞれのブロックがマクロブロック１である。
上記と同様に、各マクロブロック１で、動きベクトルの検出が行われる。
図８は、実施形態に係わるビデオカメラにおいて、検出された撮像画像の動きの大きさを、第１の基準値と比較するようすを説明する図である。
ここでは、上記のように、例えば、全てのマクロブロックで検出された動きが、ベクトル量（矢印）で示されている。
尚、ここでは、全てのマクロブロックで動きを検出する例を用いて説明を行うが、上記のように、一部のマクロブロックで動きを検出することも可能である。
図８（ａ）は、各マクロブロックで検出された動きベクトルの大きさ（絶対値）をマクロブロック単位で上記基準値と比較し、この基準値を超えたマクロブロックの割合に応じて撮像フレームレートを切替える例である。
図に示すそれぞれのブロックがマクロブロック１である。
上記と同様に、各マクロブロック１で、動きベクトルの検出が行われる。
図８は、実施形態に係わるビデオカメラにおいて、検出された撮像画像の動きの大きさを、第１の基準値と比較するようすを説明する図である。
ここでは、上記のように、例えば、全てのマクロブロックで検出された動きが、ベクトル量（矢印）で示されている。
尚、ここでは、全てのマクロブロックで動きを検出する例を用いて説明を行うが、上記のように、一部のマクロブロックで動きを検出することも可能である。
図８（ａ）は、各マクロブロックで検出された動きベクトルの大きさ（絶対値）をマクロブロック単位で上記基準値と比較し、この基準値を超えたマクロブロックの割合に応じて撮像フレームレートを切替える例である。
そして、基準値を超えたマクロブロックの割合が大きい（例えば５０％以上）場合は、高い撮像フレームレート（６０ｆｐｓ）に切替える。
すなわち、この実施の形態においては、まず、マクロブロック毎に、検出された動きベクトルを用いてその絶対値を求める。
次に、マクロブロック毎に求められた動きベクトルの絶対値を、マクロブロック毎に、予め設けられた基準値と比較する。この基準値はどのマクロブロックにおける比較においても同じ値である。
すなわち、この実施の形態においては、まず、マクロブロック毎に、検出された動きベクトルを用いてその絶対値を求める。
次に、マクロブロック毎に求められた動きベクトルの絶対値を、マクロブロック毎に、予め設けられた基準値と比較する。この基準値はどのマクロブロックにおける比較においても同じ値である。
この実施の形態においては、動きベクトルの絶対値が、基準値を超えたマクロブロックをカウントする。
そして、動きベクトルの絶対値が基準値を超えたマクロブロックの、例えば、全体に対する割合が５０％以上を占める場合には、高い撮像フレームレート（６０ｆｐｓ）で撮像する。言い換えれば、例えば、基準値を超えた動きが検出されたマクロブロックの割合が５０％以上であれば、高い撮像フレームレートで撮像する。
そして、動きベクトルの絶対値が基準値を超えたマクロブロックの、例えば、全体に対する割合が５０％以上を占める場合には、高い撮像フレームレート（６０ｆｐｓ）で撮像する。言い換えれば、例えば、基準値を超えた動きが検出されたマクロブロックの割合が５０％以上であれば、高い撮像フレームレートで撮像する。
符号１ａは、検出された動きの大きさが基準値を超えたマクロブロックを示している。ここでは、それぞれ、太線で囲まれている。また、符号１１ａは、動きが基準値を超えないマクロブロックを示している。
そして、図に示すように、検出された動きの大きさが基準値を超えたマクロブロック１ａの数は、動きが基準値を超えないマクロブロック１１ａの数より多く、検出された動きの大きさが基準値を超えたマクロブロック１ａの割合は５０％以上である。
この場合は、例えば、動きが基準値を超えないマクロブロック１１ａについても動きの大きさが基準値を超えたと見なし、撮像画像の動きの大きさが基準値よりも大きいと判断する。
そして、高いフレームレートで撮像を行う。
すなわち、この実施の形態においては、第１の撮像フレームレート（３０ｆｐｓ）で撮像された複数の撮像画像間の動きを、例えば、図２に示すように、撮像画像の複数の部分においてそれぞれ第１の探索範囲で探索し、前記複数の撮像画像間の差分を取ることにより、撮像画像の動きを検出する。
すなわち、この実施の形態においては、第１の撮像フレームレート（３０ｆｐｓ）で撮像された複数の撮像画像間の動きを、例えば、図２に示すように、撮像画像の複数の部分においてそれぞれ第１の探索範囲で探索し、前記複数の撮像画像間の差分を取ることにより、撮像画像の動きを検出する。
また、撮像画像の複数の部分において検出された撮像画像の動きの大きさを、予め設けられた第１の基準値と比較し、撮像画像の動きが大きい部分が多いかを判別する。
この実施の形態においては、撮像画像の複数の部分において検出された撮像画像の動きの大きさを、それぞれ、予め設けられた第１の基準値と比較する。
そして、この実施の形態においては、それぞれの部分において、検出された撮像画像の動きの大きさが第１の基準値を超える撮像画像の部分をカウントする。
そして、検出された撮像画像の動きの大きさが第１の基準値を超える撮像画像の部分が、例えば、全体の５０％を超える場合は、撮像画像の動きが大きい部分が多いと判別する。
そして、この実施の形態においては、それぞれの部分において、検出された撮像画像の動きの大きさが第１の基準値を超える撮像画像の部分をカウントする。
そして、検出された撮像画像の動きの大きさが第１の基準値を超える撮像画像の部分が、例えば、全体の５０％を超える場合は、撮像画像の動きが大きい部分が多いと判別する。
そして、撮像画像の複数の部分において、撮像画像の動きが大きい部分が多いと判別された場合は、前記第１の撮像フレームレートよりも高いフレームレートである第２の撮像フレームレートで撮像を行う。
また、第２の撮像フレームレートで撮像された複数の撮像画像間の動きを、撮像画像の複数の部分においてそれぞれ第１の検出範囲より小さい第２の検出範囲で探索し、複数の撮像画像間の差分を取ることにより、撮像画像の動きを検出する。
図８（ｂ）は、各マクロブロックで検出された動きベクトルの大きさ（絶対値）の総和をとり、この総和と基準値と比較する例である。
そして、動きベクトルの大きさ（絶対値）の総和が基準値を超えた場合は、高いフレームレート（６０ｆｐｓ）で撮像する。
この実施の形態においては、まず、マクロブロック毎に、検出された動きベクトルの絶対値を求める。
次に、マクロブロック毎に求められた動きベクトルの絶対値を全てのマクロブロックについて合算し、動きベクトルの絶対値の総和を求める。
次に、全てのマクロブロックについて求められた動きベクトルの絶対値の総和を、予め設けられた基準値と比較する。
そして、動きベクトルの絶対値の総和が基準値を超えた場合は、高い撮像フレームレート（６０ｆｐｓ）で撮像する。
符号１ｂは、マクロブロック毎に検出された動きベクトル（絶対値）の総和をとることを示している。ここでは、動きベクトルの絶対値の総和を太線で示している。
すなわち、この実施の形態においては、第１の撮像フレームレート（３０ｆｐｓ）で撮像された複数の撮像画像間の動きを、例えば、図２に示すように、撮像画像の複数の部分においてそれぞれ第１の探索範囲で探索し、前記複数の撮像画像間の差分を取ることにより、撮像画像の動きを検出する。
そして、動きベクトルの大きさ（絶対値）の総和が基準値を超えた場合は、高いフレームレート（６０ｆｐｓ）で撮像する。
この実施の形態においては、まず、マクロブロック毎に、検出された動きベクトルの絶対値を求める。
次に、マクロブロック毎に求められた動きベクトルの絶対値を全てのマクロブロックについて合算し、動きベクトルの絶対値の総和を求める。
次に、全てのマクロブロックについて求められた動きベクトルの絶対値の総和を、予め設けられた基準値と比較する。
そして、動きベクトルの絶対値の総和が基準値を超えた場合は、高い撮像フレームレート（６０ｆｐｓ）で撮像する。
符号１ｂは、マクロブロック毎に検出された動きベクトル（絶対値）の総和をとることを示している。ここでは、動きベクトルの絶対値の総和を太線で示している。
すなわち、この実施の形態においては、第１の撮像フレームレート（３０ｆｐｓ）で撮像された複数の撮像画像間の動きを、例えば、図２に示すように、撮像画像の複数の部分においてそれぞれ第１の探索範囲で探索し、前記複数の撮像画像間の差分を取ることにより、撮像画像の動きを検出する。
また、撮像画像の複数の部分において検出された撮像画像の動きの大きさを、例えば、前記撮像画像の全ての複数の部分について足し合わせ、総和をとる。
そして、この撮像画像の動きの大きさの総和を、予め設けられた第１の基準値と比較する。
そして、この実施の形態においては、撮像画像の動きの大きさの総和が、予め設けられた第１の基準値よりも大きい場合は、撮像画像の動きが大きい部分が多いと判別する。
そして、この撮像画像の動きの大きさの総和を、予め設けられた第１の基準値と比較する。
そして、この実施の形態においては、撮像画像の動きの大きさの総和が、予め設けられた第１の基準値よりも大きい場合は、撮像画像の動きが大きい部分が多いと判別する。
そして、撮像画像の動きが大きい部分が多いと判別された場合は、第１の撮像フレームレートよりも高いフレームレートである第２の撮像フレームレートで撮像を行う。
また、第２の撮像フレームレートで撮像された複数の撮像画像間の動きを、撮像画像の複数の部分においてそれぞれ第１の検出範囲より小さい第２の検出範囲で探索し、複数の撮像画像間の差分を取ることにより、撮像画像の動きを検出する。
図４は、実施形態に係わるビデオカメラにおける動き検出動作を説明するフローチャートである。
符号S１００は、ここでの開始ステップである。続いて符合Ｓ１０１を付したステップへ進む。
符号S１０１は、撮像フレームレートと動きベクトルの探索範囲をデフォルト値に設定するステップである。ここでは、撮像フレームレートを通常と同じ３０ｆｐｓ、動きベクトルの探索範囲を面積Ｓとする。このフレームレート（３０ｆｐｓ）は、画像データを出力する際のフレームレートと同じである。続いて符合Ｓ１０１を付したステップへ進む。
符号S１００は、ここでの開始ステップである。続いて符合Ｓ１０１を付したステップへ進む。
符号S１０１は、撮像フレームレートと動きベクトルの探索範囲をデフォルト値に設定するステップである。ここでは、撮像フレームレートを通常と同じ３０ｆｐｓ、動きベクトルの探索範囲を面積Ｓとする。このフレームレート（３０ｆｐｓ）は、画像データを出力する際のフレームレートと同じである。続いて符合Ｓ１０１を付したステップへ進む。
符号Ｓ１０２は、設定されたフレームレートで被写体を撮像し、撮像画像を出力するステップである。続いて符合Ｓ１０３を付したステップへ進む。
符号Ｓ１０３は、動き（差分）検出を行う複数の撮像画像３について、設定された探索範囲の動きの差分を検出するステップである。
ここでは、複数の撮像映像について、動きベクトル検出を全てのフレームの全部または一部のマクロブロックに対して実施し、フレーム間の前後の動きを検出する。
すなわち、実際は、フレーム毎で総和を見ながら、移動量が多いかを判断している。ここでは、動き（差分）検出を行う複数の撮像画像３について、全てのマクロブロックについて、動きベクトルの探索範囲２の探索範囲について、動きベクトルを検出する。
符号Ｓ１０３は、動き（差分）検出を行う複数の撮像画像３について、設定された探索範囲の動きの差分を検出するステップである。
ここでは、複数の撮像映像について、動きベクトル検出を全てのフレームの全部または一部のマクロブロックに対して実施し、フレーム間の前後の動きを検出する。
すなわち、実際は、フレーム毎で総和を見ながら、移動量が多いかを判断している。ここでは、動き（差分）検出を行う複数の撮像画像３について、全てのマクロブロックについて、動きベクトルの探索範囲２の探索範囲について、動きベクトルを検出する。
また、マクロブロックを中心とした動きベクトルの検出は、各フレームに対して、全てのマクロブロックに対して行うことが望ましい。続いて符合Ｓ１０４を付したステップへ進む。
符号Ｓ１０４は、検出された動きベクトルの大きさを求めるステップである。上記のように、設定された探索範囲の動きの差分は、マクロブロック毎に、大きさと方向を備えた動きベクトルとして検出される。
例えば、上記図７（ａ）および図７（ｂ）に示すように、マクロブロック毎に動きベクトルが検出される。そして、ここでは、それぞれ検出された動きベクトルの大きさを求める。
ここでは、このマクロブロック毎に検出された動きベクトルの大きさ（絶対値）を求め、そのマクロブロック毎に検出された動きベクトルの大きさを求める。続いて符合Ｓ１０５を付したステップへ進む。
符号Ｓ１０５は、得られた動きベクトルの大きさと、予めＣＰＵ１７に記憶されている基準値を比較するステップである。この基準値は、上記動きベクトルの大きさと比較される値であり、撮像画像間の相対的な変化を判断するために用いられる値である。この値は、例えば、予め行う実験によって求められる。ここでは、基準値は上限値（第１の基準値）と下限値（第１の基準値より小さい第２の基準値）を備えている。続いて符合Ｓ１０６を付したステップへ進む。
符号Ｓ１０６は、上記動きベクトルの大きさと、ＣＰＵ１７に記憶されている基準値を比較し、動きベクトルの大きさは上限の基準値より大きいかを判別するステップである。動きベクトルの大きさは上限の基準値より大きいと判別される場合は、符号Ｓ１０７を付したステップへ進む（Ｙｅｓ）。動きベクトルの大きさは上限の基準値より大きいと判別されない場合は、符号Ｓ１０８を付したステップへ進む（Ｎｏ）。
符号Ｓ１０７は、撮像フレームレートと動きベクトルの探索範囲の設定を変更するステップである。ここでは、撮像画像の動きが大きい（動きが大きい被写体である）と判断されることから、撮像フレームレートを高くする。すなわち、撮像フレームレートを高い（６０ｆｐｓ）に、動きベクトルの探索範囲を小（面積1/4×Ｓ）に設定変更する。続いて符合Ｓ１０２へ進み、上記処理を繰り返す。
符号Ｓ１０８は、動きベクトルは下限値より小さいかを判別するステップである。ここで、下限値は上限値より小さい値の基準値である。続いて符合Ｓ１０９を付したステップへ進む。
符号Ｓ１０９は、撮像フレームレートと動きベクトルの探索範囲を設定変更するステップである。ここでは、撮像画像の動きが小さいと判断されることから、通常の処理で充分であると判断し、通常の処理に戻るように、撮像フレームレートを普通（３０ｆｐｓ）、動きベクトルの探索範囲を普通（面積Ｓ）に設定変更する。続いて符合Ｓ１０２へ進み、上記処理を繰り返す。
すなわち、この実施の形態においては、通常（３０ｆｐｓ）の撮像フレームレートで撮像された複数の撮像画像間の普通の探索範囲（面積Ｓ）における差分を撮像画像の動きとして検出する。そして、この検出された差分を上限の基準値と比較する。
この差分が上限の基準値よりも大きい場合は、通常（３０ｆｐｓ）の撮像フレームレートよりも高いフレームレート（６０ｆｐｓ）で撮像画像の撮像を行う。
そして、高いフレームレート（６０ｆｐｓ）で撮像された複数の撮像画像間の、小さい探索範囲（面積１／４）における差分を撮像画像の動きとして検出する。
また、高いフレームレート（６０ｆｐｓ）で撮像された複数の撮像画像間の、小さい探索範囲（面積１／４）における差分を、下限の基準値と比較し、差分が下限の基準値よりも小さい場合は、通常（３０ｆｐｓ）の撮像フレームレートで、撮像を行う。
そして、高いフレームレート（６０ｆｐｓ）で撮像された複数の撮像画像間の、小さい探索範囲（面積１／４）における差分を撮像画像の動きとして検出する。
また、高いフレームレート（６０ｆｐｓ）で撮像された複数の撮像画像間の、小さい探索範囲（面積１／４）における差分を、下限の基準値と比較し、差分が下限の基準値よりも小さい場合は、通常（３０ｆｐｓ）の撮像フレームレートで、撮像を行う。
すなわち、この実施の形態においては、例えば６０ｆｐｓの第１の撮像フレームレートで撮像された複数の撮像画像間の動きを、例えば面積Ｓの第１の探索範囲で探索し、前記複数の撮像画像間の動きの差分を取ることにより、撮像画像の動きを検出する。
この撮像画像の動きの検出は、例えば、マクロブロック毎に動きベクトルを検出することで検出される。
そして、検出された撮像画像の動きの大きさを、予め設けられた第１の基準値と比較する。検出された撮像画像の動きの大きさは、例えば、マクロブロック毎に検出された動きベクトルの絶対値を求めることで求められる。
そして、検出された撮像画像の動きの大きさを、予め設けられた第１の基準値と比較する。検出された撮像画像の動きの大きさは、例えば、マクロブロック毎に検出された動きベクトルの絶対値を求めることで求められる。
そして、前記撮像画像の動きの大きさが前記第１の基準値よりも大きい場合は、前記第１の撮像フレームレートよりも高いフレームレートである第２の撮像フレームレートで撮像を行う。
この撮像画像の動きの大きさの第１の基準値との比較は、例えば、上記のように、マクロブロック毎に動きベクトルの大きさを基準値と比較する処理を全体のマクロブロックについて行い、多数を占める結果を全体の結果とすることも可能である。
また、全体のマクロブロックについて、動きベクトルの大きさの総和をとり、この動きベクトルの大きさの総和を基準値と比較して全体の結果とすることも可能である。
また、第２の撮像フレームレートで撮像された複数の撮像画像間の動きの検出も同様に行うことが可能である。 図５は、実施形態に係わるビデオカメラにおいて、通常より高いフレームレートで撮像を行った場合に、通常の撮像フレームレートと同等のフレームレートに変換して画像を出力する変換処理の一例を示す図である。
上記のように、撮像フレームレートを２倍（６０ｆｐｓ）にした場合は、映像フレーム（画像データ）も２倍に増加する。しかし、２倍に増加した映像フレーム（画像データ）を、そのまま記録や表示に用いてしまうと２倍のデータを処理する必要がある。
このため、この実施の形態においては、以下のように構成し、記録や表示に用いる画像データのデータ量を低減する。
符号３３は、高いフレームレート（６０ｆｐｓで撮像した複数の画像（フレーム）を指している。ここでは、フレームＸ、フレームＹ、フレームＺ、フレームＸ１、フレームＹ１を指している。
符号３３は、高いフレームレート（６０ｆｐｓで撮像した複数の画像（フレーム）を指している。ここでは、フレームＸ、フレームＹ、フレームＺ、フレームＸ１、フレームＹ１を指している。
符号３２は、普通のフレームレート（３０ｆｐｓ）で撮像した複数の画像（フレーム）を指している。ここでは、フレームＸ、フレームＺ、フレームＹ１を指している。
符号３１は、普通のフレームレート（３０ｆｐｓ）に対して、増加したフレームレートで撮像した複数の画像（フレーム）を指している。ここでは、フレームＹ、フレームＸ１を指している。
ここで、高いフレームレート（６０ｆｐｓ）で撮像した複数の画像（フレーム）に注目する。
例えば、フレームＸ、フレームＹ、フレームＺで撮像画像の動きが検出された場合を想定する。
図５（ａ）はフレームXからフレームYにおいて検出された動きである動きＡを示している。図５（ｂ）はフレームＹからフレームＺにおいて検出された動きである動きＢを示している。また、図５（ｃ）はフレームXからフレームＺにおいて検出された動きである動きＣを示している。
例えば、フレームＸ、フレームＹ、フレームＺで撮像画像の動きが検出された場合を想定する。
図５（ａ）はフレームXからフレームYにおいて検出された動きである動きＡを示している。図５（ｂ）はフレームＹからフレームＺにおいて検出された動きである動きＢを示している。また、図５（ｃ）はフレームXからフレームＺにおいて検出された動きである動きＣを示している。
この実施の形態においては、図５（ａ）に示すフレームXからフレームYにおいて検出された動きＡと、図５（ｂ）に示すフレームＹからフレームＺにおいて検出された動きＢの２つの移動ベクトルを合成する。
すなわち、上記動きＡと動きＢを出力することに代えて、図５（ｃ）に示すフレームXからフレームＺにおいて検出された動きＣを出力する。上記動作は、例えば、制御ＣＰＵ１７によって制御される。
このようにして、出力画像データのデータ量を低減し、このデータを記録や表示に用いることが可能である。
このような処理を適宜繰り返すことで、さらに出力画像データのデータ量を低減することが可能である。
図６は、実施形態に係わるビデオカメラにおいて、通常の撮像フレームレートより高いフレームレート（６０ｆｐｓ）で撮像を行った場合における、出力画像の、低いフレームレートへの変換処理のようすを説明するフローチャートである。
このような処理を適宜繰り返すことで、さらに出力画像データのデータ量を低減することが可能である。
図６は、実施形態に係わるビデオカメラにおいて、通常の撮像フレームレートより高いフレームレート（６０ｆｐｓ）で撮像を行った場合における、出力画像の、低いフレームレートへの変換処理のようすを説明するフローチャートである。
符号Ｓ２００は、ここでの開始ステップである。続いて符合Ｓ２０１を付したステップへ進む。
符号Ｓ２０１は、上記のように撮像フレームレートの設定を変更し、通常の３０ｆｐｓより高い撮像フレームレート（６０ｆｐｓ）で、被写体を撮像したかを判別するステップである。通常より高い撮像フレームレートで、被写体を撮像したと判別される場合は符号Ｓ２０２を付したステップへ進む（Ｙｅｓ）。通常より高い撮像フレームレートで、被写体を撮像したと判別されない場合は符号Ｓ２０４を付したステップへ進む（Ｎｏ）。
符号Ｓ２０１は、上記のように撮像フレームレートの設定を変更し、通常の３０ｆｐｓより高い撮像フレームレート（６０ｆｐｓ）で、被写体を撮像したかを判別するステップである。通常より高い撮像フレームレートで、被写体を撮像したと判別される場合は符号Ｓ２０２を付したステップへ進む（Ｙｅｓ）。通常より高い撮像フレームレートで、被写体を撮像したと判別されない場合は符号Ｓ２０４を付したステップへ進む（Ｎｏ）。
符号Ｓ２０２は、出力ビデオデータのフレームレートの調整を指示するステップである。この場合は、高い撮像フレームレートで撮像が行われたので、ビデオデータを通常のフレームレートで出力できるようにフレームレートの調整を指示する。続いて符合Ｓ２０３を付したステップへ進む。
符号Ｓ２０３は、フレームレートの調整指示を受けて、フレーム間引きを行うステップである。例えば、図５を用いて説明したように、複数のフレーム間の動きベクトルを合成し、フレーム間引きを行う。
ここでは、高い撮像フレームレート（６０ｆｐｓ）で出力された撮像画像（ビデオデータ）がフレーム間引きされ、普通の撮像フレームレート（３０ｆｐｓ）に変換されて出力される。続いて符合Ｓ２０４を付したステップへ進む。
符号Ｓ２０４は、上記普通のフレームレート（３０ｆｐｓ）に変換された撮像画像（ビデオデータ）を出力するステップである。続いて符合Ｓ２０５を付したステップへ進む。
符号Ｓ２０５は、終了ステップであり、ここでの処理は終了する。
すなわち、この実施の形態においては、第１の撮像フレームレート（例えば３０ｆｐｓ）で撮像された複数の撮像画像間の、第１の探索範囲（例えば面積Ｓ）における差分を撮像画像の動きとして検出する。そして、この検出された差分を第１の基準値（上限値）と比較する。
すなわち、この実施の形態においては、第１の撮像フレームレート（例えば３０ｆｐｓ）で撮像された複数の撮像画像間の、第１の探索範囲（例えば面積Ｓ）における差分を撮像画像の動きとして検出する。そして、この検出された差分を第１の基準値（上限値）と比較する。
また、前記比較された差分が前記第１の基準値（上限値）よりも大きい場合は、前記第１の撮像フレームレート（例えば３０ｆｐｓ）よりも高いフレームレートである第２の撮像フレームレート（例えば６０ｆｐｓ）で撮像を行う。
そして、前記第２の撮像フレームレート（例えば６０ｆｐｓ）で撮像された複数の撮像画像間の、前記第１の探索範囲（例えば面積Ｓ）より小さい第２の探索範囲（例えば面積１／４×Ｓ）における差分を撮像画像の動きとして検出する。
これにより、動きベクトルの探索範囲を小さくすることが可能になるので、ビデオカメラにおける動きベクトルの検出処理にかかる負荷を軽減することが可能になる。
また、前記第２の撮像フレームレート（例えば６０ｆｐｓ）で撮像された複数の撮像画像間の第２の探索範囲（例えば面積１／４×Ｓ）における差分を、前記第１の基準値（上限値）よりも小さい第２の基準値（下限値）と比較し、前記差分が第２の基準値（下限値）よりも小さい場合は、前記第１の撮像フレームレート（例えば３０ｆｐｓ）で、撮像を行う。
これにより、撮像画像の動きが少ない場合は、高い撮像フレームレート（例えば６０ｆｐｓ）での撮像から通常の撮像フレームレート（例えば３０ｆｐｓ）で、撮像を行うことが可能となる。
また、通常より高いフレームレートである第２の撮像フレームレート（例えば６０ｆｐｓ）で撮像が行われた場合は、出力画像データを、前記第２の撮像フレームレート（例えば６０ｆｐｓ）より低いフレームレート（例えば３０ｆｐｓ）に変換して出力する。
これにより、画像データを通常のフレームレート（例えば３０ｆｐｓ）に変換して出力することが可能となる。
上記のように構成することによって、この発明の実施の形態においては、被写体を撮像した複数の撮像画像間の差分を用いて画像データのデータ量を圧縮する際に、精度の良い動き検出を行うことと、ビデオカメラにおける処理量の増加を低減することの両者を解決し、動き検出を適切に行うことが可能となる。
上記のように構成することによって、この発明の実施の形態においては、被写体を撮像した複数の撮像画像間の差分を用いて画像データのデータ量を圧縮する際に、精度の良い動き検出を行うことと、ビデオカメラにおける処理量の増加を低減することの両者を解決し、動き検出を適切に行うことが可能となる。
また、この発明の実施の形態においては、ビデオカメラにおける動き検出に係る負荷を低減させることが可能になる。
なお、上記実施形態は、記述そのものに限定されるものではなく、実施段階では、その趣旨を逸脱しない範囲で、構成要素を種々変形して具体化することが可能である。
なお、上記実施形態は、記述そのものに限定されるものではなく、実施段階では、その趣旨を逸脱しない範囲で、構成要素を種々変形して具体化することが可能である。
１…マクロブロック、２…動きベクトル探索範囲、９…ビデオカメラ、１０…マイク、１１…撮像部、１１ａ…レンズ、１１ｂ…ＣＣＤ、１２…撮像部制御部（ＡＦ装置およびズーム装置）、１３…ＡＣＶＨＤエンコーダ、１４…ＡＣＶＨＤデコーダ、１５…ＲＯＭ、１６…ＲＡＭ、１７…制御ＣＰＵ、１８…操作ＳＷ、１９…電源制御マイコン、２０…スピーカ、２１…表示装置（ＬＣＤ）、２２…ＨＤＤ、２３…バッテリ。
Claims (6)
- 所定の撮像フレームレートで撮像を行う撮像手段と、
撮像された複数の撮像画像間の動きを撮像画像の複数の部分においてそれぞれ所定の探索範囲で探索し、前記複数の撮像画像間の差分を取ることにより、撮像画像の動きを検出する動き検出手段と、
前記撮像された複数の撮像画像間の動きが所定の基準値より大きいかを判別する判別手段と、
前記複数の撮像画像間の動きが第１の基準値より大きいと判別された場合は、前記撮像手段を第１の撮像フレームレートで撮像させると共に、前記動き検出手段を第１の探索範囲で探索させ、前記複数の撮像画像間の動きが第１の基準値より小さい第２の基準値より大きくないと判別された場合は、前記撮像手段を、前記第１の撮像フレームレートよりも低いフレームレートである第２の撮像フレームレートで撮像させると共に、前記動き検出手段を第１の探索範囲よりも広い第２の探索範囲で探索させる制御手段を備えるビデオカメラ。 - 前記第１の基準値および前記第２の基準値が予め記憶されている記憶媒体をさらに備える請求項１に記載のビデオカメラ。
- 前記第１の撮像フレームレートが前記第２の撮像フレームレートのＮ倍の場合に、前記第１の基準値は前記第２の基準値の１／Ｎ倍に略比例する請求項１に記載のビデオカメラ。
- 前記第１の撮像フレームレートが前記第２の撮像フレームレートのＮ倍の場合に、前記第１の探索範囲は前記第２の探索範囲の１／（Ｎの２乗）に略比例する請求項１に記載のビデオカメラ。
- 前記第１の撮像フレームレートで撮像が行われた場合は、出力画像データを、前記第１の撮像フレームレートに同等のフレームレートに変換する変換手段をさらに備える請求項１乃至４のいずれか１つに記載のビデオカメラ。
- 所定の撮像フレームレートで撮像を行い、撮像された複数の撮像画像間の動きを撮像画像の複数の部分においてそれぞれ所定の探索範囲で探索し、前記複数の撮像画像間の差分を取ることにより、撮像画像の動きを検出する撮像方法において、
前記撮像された複数の撮像画像間の動きが所定の基準値より大きいかを判別するステップと、
前記複数の撮像画像間の動きが第１の基準値より大きいと判別された場合は、第１の撮像フレームレートで撮像させると共に、第１の探索範囲で探索させ、前記複数の撮像画像間の動きが第１の基準値より小さい第２の基準値より大きくないと判別された場合は、前記第１の撮像フレームレートよりも低いフレームレートである第２の撮像フレームレートで撮像させると共に、第１の探索範囲よりも広い第２の探索範囲で探索させるステップを備える撮像方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010160963A JP2012023634A (ja) | 2010-07-15 | 2010-07-15 | ビデオカメラ、撮像方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010160963A JP2012023634A (ja) | 2010-07-15 | 2010-07-15 | ビデオカメラ、撮像方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2012023634A true JP2012023634A (ja) | 2012-02-02 |
Family
ID=45777496
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010160963A Pending JP2012023634A (ja) | 2010-07-15 | 2010-07-15 | ビデオカメラ、撮像方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2012023634A (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016197795A (ja) * | 2015-04-03 | 2016-11-24 | 日立オートモティブシステムズ株式会社 | 撮像装置 |
| JP2019193272A (ja) * | 2019-05-23 | 2019-10-31 | 日立オートモティブシステムズ株式会社 | 撮像装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007060694A (ja) * | 2002-04-10 | 2007-03-08 | Toshiba Corp | 動画像符号化、復号化方法及び装置 |
| JP2007281961A (ja) * | 2006-04-07 | 2007-10-25 | Canon Inc | 撮像装置、撮像装置制御方法及び撮像制御方法 |
-
2010
- 2010-07-15 JP JP2010160963A patent/JP2012023634A/ja active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007060694A (ja) * | 2002-04-10 | 2007-03-08 | Toshiba Corp | 動画像符号化、復号化方法及び装置 |
| JP2007281961A (ja) * | 2006-04-07 | 2007-10-25 | Canon Inc | 撮像装置、撮像装置制御方法及び撮像制御方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016197795A (ja) * | 2015-04-03 | 2016-11-24 | 日立オートモティブシステムズ株式会社 | 撮像装置 |
| JP2019193272A (ja) * | 2019-05-23 | 2019-10-31 | 日立オートモティブシステムズ株式会社 | 撮像装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8089527B2 (en) | Image capturing apparatus, image capturing method and storage medium | |
| US8744218B2 (en) | Device, method and program for generation and compression of super resolution video | |
| JP4525561B2 (ja) | 撮像装置、画像処理方法、並びにプログラム | |
| US8804832B2 (en) | Image processing apparatus, image processing method, and program | |
| US8368771B2 (en) | Generating a synthesized image from a plurality of images | |
| US10082723B2 (en) | Image capturing apparatus for generating a high dynamic range video frame from multiple image frames with different characteristics | |
| JP5084696B2 (ja) | 画像処理装置、画像処理方法及び電子機器 | |
| US10587892B2 (en) | Image processing apparatus, image processing method, and program for generating motion compensated image data | |
| JPWO2012164896A1 (ja) | 画像処理装置及び画像処理方法並びにデジタルカメラ | |
| JP2009100373A (ja) | ノイズ低減処理装置、ノイズ低減処理方法、及び電子機器 | |
| JP2008109336A (ja) | 画像処理装置および撮像装置 | |
| JP2008193458A (ja) | カメラ画像圧縮処理装置及び圧縮処理方法 | |
| US20120063759A1 (en) | Automatic focusing apparatus | |
| US20110176027A1 (en) | Method and device for compressing moving image | |
| US8681235B2 (en) | Apparatus for processing digital image signal that obtains still image at desired point in time and method of controlling the apparatus | |
| JP2013165488A (ja) | 画像処理装置、撮像装置、およびプログラム | |
| US20160301853A1 (en) | Focus detection apparatus and control method thereof | |
| JP2012023634A (ja) | ビデオカメラ、撮像方法 | |
| US20100182460A1 (en) | Image processing apparatus | |
| WO2016158017A1 (ja) | 符号化装置および符号化方法 | |
| JP4157003B2 (ja) | 画像処理装置 | |
| JP2011155582A (ja) | 撮像装置 | |
| JP4235209B2 (ja) | 動きベクトル検出装置および動きベクトル検出方法 | |
| JP2017201749A (ja) | 画像処理装置およびその制御方法 | |
| JP6632385B2 (ja) | 画像処理装置、撮像装置、画像処理方法及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20111125 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20111205 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130425 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20130425 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140127 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140204 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20140729 |