JP2008301286A - 撮像装置及びその制御方法 - Google Patents

Abstract

【課題】 品質の高い動画及び静止画の撮像が可能な撮像装置を提供する。
【解決手段】 光電変換素子を用いた撮像装置において、まず、静止画撮像用のシャッター速度を設定する。そして、静止画撮像用のシャッター速度に基づいて、撮像フレームレートを設定する。そして、設定した撮像フレームレートで撮像画像を出力するよう、光電変換素子の動作を制御する。
【選択図】 図３

Description

本発明は撮像装置及びその制御方法に関し、特には動画及び静止画を撮像可能な撮像装置及びその制御方法に関する。

ＣＣＤイメージセンサやＣＭＯＳイメージセンサなどの光電変換素子を撮像素子として用いた撮像装置の中には、静止画と動画を選択的に撮像可能なものが多く、ユーザの意図に応じた撮像が可能である。

特開平１１−５５６１７号公報

しかしながら、このような撮像装置において、一般には事前に静止画を撮像するモード（静止画モード）か動画を撮像するモード（動画モード）の一方を設定する必要があった。

また、一部の撮像装置には、動画撮像中に静止画撮像ボタンを押下すると、静止画モードに切り替わって静止画を撮像するものがある。しかし、撮像モードを動画モードから静止画モードへ切り替える間の動画像が暗転して記録されるため、不連続な動画が撮像され、再生時に不自然であるという問題点を有していた。

静止画モードへの切替えを高速に行うことで、静止画モードへの切替え時における動画の暗転を極力回避する撮像装置も提案されている。しかし、切替えを高速で行うことにより、静止画撮像のシャッタータイミングが適切でない場合が起こりうる。この場合、撮像された動画から静止画を生成するリカバー処理が行うことになるが、静止画に比べて動画の構成画素数が少ないため、動画から生成した静止画は画質の点で満足できるものではないという課題があった。

また、この場合、入射光量を調節する絞り機構の動作速度が高速なモード切り替え動作に対応できないため、実質的にシャッター速度を変更できず、静止画撮像時も動画撮像時の露光時間と同一になる。このため、動きのある被写体を撮像した場合、被写体ぶれを起こしやすいという課題を有していた。

本発明はこのような従来技術の課題を１つ以上改善し、品質の高い動画及び静止画を撮像可能な撮像装置及びその制御方法を提供することを目的とする。

上述の目的は、光電変換素子を用い、フレーム単位で撮像画像を出力する撮像装置であって、静止画撮像用のシャッター速度を設定する手段と、シャッター速度に基づいて、撮像フレームレートを設定する手段と、撮像フレームレートで撮像画像を出力するよう、光電変換素子の動作を制御する手段とを有することを特徴とする撮像装置によって達成される。

また、上述の目的は、光電変換素子を用い、フレーム単位で撮像画像を出力する撮像装置の制御方法であって、静止画撮像用のシャッター速度を設定するステップと、シャッター速度に基づいて、撮像フレームレートを設定するステップと、撮像フレームレートで撮像画像を出力するよう、光電変換素子の動作を制御するステップとを有することを特徴とする撮像装置の制御方法によっても達成される。

このような構成により、本発明によれば、品質の高い動画及び静止画を撮像することが可能となる。

以下、図面を参照して、本発明をその実施形態に基づき詳細に説明する。
■第１の実施形態
図１は、本発明の第１の実施形態に係る撮像装置の一例としてのデジタルビデオカメラの構成例を示す図である。

システム制御部１１１は、ＣＰＵと、ＣＰＵが実行する制御プログラムを格納するＲＯＭ（いずれも図示せず）を含み、デジタルビデオカメラ全体の処理を制御する。

操作部１１２は、ユーザがデジタルビデオカメラに対して指示を与えるために用いるキーやボタンなどの入力デバイスと、メニュー画面や各種情報等を表示するためのＬＣＤ等の表示装置を含む。操作部１１２の操作は、システム制御部１１１によって検出され、操作に応じた動作が実行される。

撮像対象からの光（被写体光）は、撮像光学系１００により、光電変換素子であるイメージセンサ１０１上に結像する。
この撮像光学系１００は、焦点調節用及びズーム倍率調整用の光学系と、絞りやＮＤフィルタ等の光量調節用の光学系を有している。この他にも、手ブレ補正用にシフト光学系や可変頂角プリズム等を有する場合もある。
撮像光学系１００の制御は、光学・ＡＥ制御部１１０がシステム制御部１１１からの情報に基づき実行している。

光電変換素子であるイメージセンサ１０１は、画素毎に特定の色成分のみを透過させる色モザイクフィルタ１０１Ａを有する。色モザイクフィルタ１０１Ａを透過した光は、光電変換部１０１Ｂにより画素毎に光電変換され、電荷として出力される。この電荷は電荷蓄積部１０１Ｃへ転送され、一時的に蓄積される。電荷読み出し部１０１Ｄは、電荷蓄積部１０１に蓄積された電荷を所定のタイミングでアナログ信号として読み出す。この読み出されたアナログ信号をＡ／Ｄ変換器１０２にてデジタル信号へ変換する。このＡＤ変換動作は、クロック発生部１０８からのクロック信号に応じて実行される。

また、クロック発生部１０８はイメージセンサ１０１を制御するタイミング制御部１０７へもクロック信号を供給している。タイミング制御部１０７は、このクロック信号に応じてイメージセンサ１０１の制御用タイミング信号を生成し、イメージセンサ１０１の動作を制御する。

画素補修処理部１０３は、補修値テーブル１０９からの情報に基づいて、Ａ／Ｄ変換器１０２が出力する画素信号に対し、画素毎のノイズや欠陥を補修する為の画像処理を行う。補修値テーブル１０９内の補修値は、工場出荷時の調整工程等において記録される。

画素補修処理部１０３が行う代表的な画像処理には、信頼性が低い画素の値を、周辺画素値を用いて補間する処理や、所定のノイズ値の減算処理などがある。画素補修処理部１０３の出力する画像データを、いわゆるＲＡＷデータと称している。すなわち、図１において、『Ａ点』からの出力が、ＲＡＷデータに相当する。

加算処理部２１３は、システム制御部１１１の制御に基づき、画素補修処理部１０３の出力するＲＡＷデータを、複数フレーム加算するの画面加算処理を行なう。
レベル調整部２１４は、加算処理部２１３による加算結果を加算フレーム数で除算して画素値を平均化する。加算処理が行なわれない場合には、平均化処理も行なわない。

色デコード処理部２１５は、各画素について色補間処理を行ない、ＲＧＢ信号を生成する。その後、ＡＷＢ（自動白バランス調整）処理部２１６にて色バランスを整える。さらに、非線形処理部２１７により、諧調表現改善のためにレベル方向の非線形処理（通称ガンマ補正処理）を行なう。この後、必要に応じて、出力信号の形式をＹ、Ｃｒ、Ｃｂなどの周知の信号形態に変換する処理等を適用し、撮像画像データを出力する。

■動作の概要
次に、図３に示すフローチャートを用いて、本実施形態のデジタルビデオカメラの動作の概要について説明する。
Ｓ２で、システム制御部１１１はユーザーが操作部１１２から設定した撮像モードを検出する。

本実施形態のデジタルビデオカメラは、設定可能な撮像モードとして、静止画モード（Ｓｔｉｌｌ）、動画モード（Ｍｏｖｉｅ）に加え、動画静止画混合（Ｍｉｘ）モードを備えている。

Ｓ３で、システム制御部１１１は、検出された撮像モードに応じ、処理を分岐させる。
具体的には、動画モードの場合はＳ１０において動画制御モードへ、静止画モードの場合はＳ１１において静止画制御モードへ移行する。その後は、Ｓ８へ移行し、従来と同様の動画又は静止画撮像処理を行なう。

一方、動画静止画混合モードの場合、システム制御部１１１は、Ｓ４において、制御モードが自動（Ａｕｔｏ）か手動（Ｍａｎｕａｌ）かを確認する。制御モードは予めユーザにより設定されているものとする。

制御モードが手動の場合、システム制御部１１１は、ユーザが設定した露光時間を設定する（Ｓ５）。あるいは、この時点でユーザに露光時間を設定させるよう、メニュー画面等を操作部１１２に表示させても良い。

一方、制御モードが自動の場合、システム制御部１１１は、ＡＥ（自動露出制御）のプログラム線図に基づき最適な露光時間を設定する（Ｓ１２）。
このようにして、自動露出制御によるものであるか、ユーザ設定によるものであるかを問わず、静止画撮像に対する露光時間が設定される。

Ｓ６で、システム制御部１１１は設定された露光時間と、予め定めた露光時間の範囲との関係を確認する。
本実施形態のデジタルビデオカメラは、設定された露光時間（シャッター速度）に応じて、撮像フレームレート（単位時間当たりの撮像画面数）を設定するが、フレームレートには幾つかの制限があるので、この制限を予め確認する。

静止画撮像の場合、一般的なシャッター速度は、数分の一秒から数千分の一秒の範囲で設定されることがある。一方、動画撮像におけるフレームレートは２４フレーム毎秒から１０００フレーム毎秒程度となる。

本実施形態では、設定された静止画撮像用のシャッター速度（露光時間）に応じて、動画撮像時のフレームレートを設定する。具体的には、動画撮像時のフレームレートの設定可能範囲を設定し、静止画撮像用の露光時間の逆数がフレームレートの設定可能範囲内であれば、露光時間の逆数を動画撮像時のフレームレートに設定する。また、静止画撮像用の露光時間の逆数がフレームレートの設定可能範囲を外れる場合、設定可能範囲の上限値又は下限値をフレームレートに設定する。

具体的には、例えば動画撮像の設定可能なフレームレートが２４フレーム／秒〜１０００フレーム／秒の範囲であるとする。この場合、静止画撮像用の露光時間の設定値が１／８秒であれば、逆数の８フレーム／秒は設定可能範囲の下限値未満であるため、システム制御部１１１は、下限値の２４フレーム／秒をフレームレートに設定する（Ｓ１３）。

また、静止画撮像用の露光時間の設定値が１／８０００秒であれば、逆数の８０００フレーム／秒は設定可能範囲の上限値を超えるため、システム制御部１１１は上限値の１０００フレーム／秒をフレームレートに設定する（Ｓ１４）。

静止画撮像用の露光時間の設定値が１／２４秒〜１／１０００であれば、逆数に相当する２４フレーム／秒〜１０００フレーム／秒はフレームレートの設定可能範囲内である。従って、システム制御部１１１は、露光時間の設定値の逆数をフレームレートに設定する（Ｓ７）。つまり、静止画の露光時間の設定値が１／５００秒であれば、システム制御部１１１は、動画撮像のフレームレートを５００フレーム／秒（５００ｆｐｓ）に設定する。なお、本実施形態において、動画静止画混合モードにおける撮像解像度は、各フレームが静止画としての鑑賞に堪えうる解像度（数百万画素以上）であり、例えば静止画撮像モードと同等の解像度である。

Ｓ８で、システム制御部１１１は、操作部１１２を介してユーザから入力される撮像開始指示に応じて、モード毎の撮像動作を実行する。
Ｓ９で、システム制御部１１１は、操作部１１２を介してユーザから撮像終了指示が入力されたかどうか確認し、撮像終了指示が無ければＳ８の撮像動作を継続する。撮像終了指示の入力が検出されると、システム制御部１１１は撮像動作を終了し、処理をＳ２へ戻す。

■画面加算処理
次に、上述した加算処理部２１３とレベル調整部２１４の動作についてさらに説明する。
加算処理部２１３とレベル調整部２１４は、動画静止画混合モードで撮像されたＲＡＷデータのフレームレートを、動画再生に適したフレームレートに調整するために設けられている。

動画静止画混合モードでは、上述のように、静止画撮像用の露光時間に応じたフレームレートで撮像処理が行なわれる。従って、上述の例において静止画撮像用に設定された露光時間（シャッター速度）が１／２４０秒である場合、２４０フレーム（画面または駒）／秒（以下２４０ｆｐｓと記載）で撮像される。従って、画像補修処理部１０３からは、ＲＡＷデータが１秒間に２４０フレーム分出力される。

一般的な動画再生フレームレートは３０ｆｐｓであるため、そのまま再生すると、１／８倍速で再生されることになり、不都合である。そのため、加算処理部２１３とレベル調整部２１４とを用いて、３０ｆｐｓでの出力を実現する。

従って、この例であれば、システム制御部１１１は、２４０ｆｐｓの撮像結果から３０ｆｐｓの動画像を出力するよう、加算処理部２１３に、連続する８フレームのＲＡＷデータを加算させる。そして、レベル調整部２１４では、加算結果を加算フレーム数（８）で除算させ、画素値を平均化させる。これにより、レベル調整部２１４からは、３０ｆｐｓの動画が出力される。

ここで、撮像フレームレートが動画再生フレームレートの倍数でない場合、システム制御部１１１は加算処理部２１３で加算するフレームを一部重複させる等により、動画再生フレームレートの動画を出力させることができる。

なお、動画に必要な解像度が動画静止画混合モードでの撮像解像度よりも低い場合には、適当なタイミングで解像度を低減させる処理を適用することが可能である。例えば、加算処理を行う前のタイミングで解像度を低減させることにより、加算処理移行の処理負荷を軽減することが可能である。

本実施形態のデジタルビデオカメラの全体的な動作について、図４を用いてさらに説明する。
被写体像を撮像光学系１００でＣＭＯＳイメージセンサ等のイメージセンサ１０１上に結像し、Ａ／Ｄ変換器１０２，画素補修処理部１０３で処理してＲＡＷデータと称するデジタルデータとして出力する。

ここで、動画静止画混合モードが設定された場合、基準となる動画再生フレームレートを映画の２４フレーム／秒あるいは、６０フレーム／秒と仮定して、撮像フレームレートが、基準レートの２倍（Ｎ＝２）の場合と、５倍（Ｎ＝５）の場合を考えてみる。

ＲＡＷデータが、１２０フレーム／秒で撮像されている場合、隣接する２フレームを加算してレベル調整すれば、６０フレーム／秒の動画として再生することができる。あるいは、隣接する５フレームを加算、レベル調整すれば、２４フレーム／秒の動画として再生することができる。

あるいは、３００フレーム／秒で撮像したＲＡＷデータに対し、隣接５フレームの加算処理とレベル調整を行なえば、６０フレーム／秒の動画として再生することができる。また、隣接６フレームの加算処理とレベル調整を行なうと、５０フレーム／秒の動画として再生することができ、ほぼＰＡＬ規格に近い情報を生成することも可能となる。

一方、静止画再生に関しては、ＲＡＷデータから任意の１フレームを抽出して、前述の色デコード処理部２１５から非線形処理部２１７による処理を施す。これにより、先の動画の例に順ずると１／１２０秒または、１／３００秒のシャッター速度で撮像した静止画像を得ることができる。

以上説明したように、本実施形態によれば、静止画の作画意図を反映した撮像パラメータ設定を行なうだけで、自動的に動画撮像のパラメータが設定されるため、操作性を向上させることができる。また、動画モードと静止画モードを予め設定しておく必要がない。

また、動画と静止画で実質的に異なる露光時間を設定できるので、動画の再生フレームレートに影響されること無く、静止画の撮像に適した露光時間での静止画撮像を実現することができる。従って、動きのある被写体を撮像しても、被写体ブレが発生しにくくなる。

さらに、モード切替えが発生しないため、静止画撮像により動画に暗転が生じることもない。加えて、高解像度での撮像を行うため、低解像度の動画から静止画を生成する必要が無く、高解像度な静止画を得ることが可能である。

■第２の実施形態
次に、図２を用いて、本発明の第２の実施形態について説明する。
本実施形態に係る撮像装置の一例としてのデジタルビデオカメラは、図１の点Ａの位置に、記録処理と再生処理を行う構成を追加したこと以外は第１の実施形態のデジタルビデオカメラと共通の構成を有する。従って、同一の機能ブロックには同一の参照数字を付し、説明を省略する。

本実施形態のデジタルビデオカメラは、記録及び再生に関する構成を有することで、ＲＡＷデータの状態で記録し、再生時に画面加算処理等を行うことで、任意のフレームレートでの再生を行うことができる。また、任意のフレームを静止画として選択することもできる。

図１と異なる構成を主体に、以下、本実施形態のデジタルビデオカメラの動作について説明する。
インターフェース（Ｉ／Ｆ）２０３は、パラレルシリアルインタフェースである。Ｉ／Ｆ２０３は、Ａ／Ｄ変換器１０２の出力するパラレル信号をシリアル信号に変換し、出力する。Ｉ／Ｆ２０４は、Ｉ／Ｆ２０３の出力を受信し、画像補修処理部１０３へ供給する。なお、Ｉ／Ｆ２０３は、イメージセンサ１０１に近接して配置されるが、受信側のＩ／Ｆ２０４はイメージセンサ１０１から離れた場所に配置しても構わない。

画像補修処理部１０３は、受信した画像データに対し、補修値テーブル１０９の値に基づく補修処理を適用する。なお、画像補修処理部１０３は、Ｉ／Ｆ２０３よりも前段に配置しても構わない。画像補修処理部１０３をＩ／Ｆ２０３よりも前段に配置した場合、センサ関係の回路を集中して実装することができるというメリットもある。

システム制御部１１１は、操作部１１２をユーザーが操作して設定した各種撮像モードのパラメータ値に従い、光学・ＡＥ（自動露光）制御部１１０を制御する。そして、光学・ＡＥ制御部１１０は、撮像光学系１００を制御する。システム制御部１１１及び光学・ＡＥ制御部１１０は、クロック発生部１０８からのクロックパルスを受けてタイミング制御部１０７が生成したタイミングパルスに基づいて動作する。
ここまでの処理を説明の便宜上、撮像処理と称する。

多重化部２２０は、画素補修された画像データ、いわゆるＲＡＷデータに、システム制御部１１１からの撮像パラメータ値（露光時間／フレームレート／ＡＥ制御のプログラム線図モード等）を多重化する。そして、可逆圧縮部２０８は、多重化部２２０の出力を、算術符号化などにより、可逆圧縮（ロスレス圧縮）する。

記録処理部２０９は、可逆圧縮部２０８の出力に対し、記録媒体に適したいわゆるチャネルコーディング処理を行う。誤り訂正符号化もここで行う。また、記録処理部２０９は、このようにして生成したデータ列を、記録媒体２１０へ記録する。この記録媒体２１０は、ＨＤＤ、光ディスク、半導体メモリなど任意の記録媒体で良く、着脱可能であってもなくても良い。
多重化部２２０から記録処理部２０９までの処理を、記録処理と称する。

このように、記録媒体２１０にはＲＡＷデータを記録するため、再生時に任意のフレームを静止画として取り出すことができる。
なお、記録の開始及び終了は、操作部１１２を通じてユーザーから与えられる指示に基づく。記録開始及び終了指示は、撮像の開始及び終了指示と共通であって良い。これら指示に応じて、システム制御部１１１は記録処理や撮像処理の実行、停止を制御する。

上述のようにして記録媒体に記録されたデータ群を再生処理部２１１にて再生し、伸張処理部２１２で可逆圧縮を解凍し、元のデータと同等の状態に復元する。
復元されたデータ列は、分離部２２１にて、画像データと、撮像パラメータ値（露光時間／フレームレート／ＡＥ制御のプログラム線図モード等）とに分離される。

そして、分離したデータは、加算処理部２１３とレベル調整部２１４へ演算係数設定の為に供給する。
記録処理以降、ここまでの処理を便宜上再生処理と称する。

加算処理部２１３以降の構成及び動作は、基本的に第１の実施形態と同様であるため、詳細な説明は省略する。ただし、第１の実施形態ではシステム制御部１１１が加算処理とレベル調整処理の制御を行ったが、ここでは、分離部２２１から受け取った撮像パラメータ値に基づき、加算処理部２１３及びレベル調整部２１４が同様の制御を実施する。

すなわち、加算処理部２１３は、撮像パラメータ値に含まれる動画のフレームレートと、予め定められた再生時の基準レートとに基づき、加算すべきフレーム数を決定し、加算処理を行なう。そして、加算したフレーム数をレベル調整部２１４へ通知する。レベル調整部２１４は、通知されたフレーム数で加算結果を除算する。
その後の処理は、第１の実施形態と同等であるため、説明を省略する。

本実施形態によれば、第１の実施形態における効果に加え、以下のような効果が達成できる。まず、記録処理を実施する構成を有することにより、撮像時には、動画と静止画の区別をせずに記録を行うことができる。そして、再生処理を行なう構成を有することにより、再生時に任意のフレームを静止画として取り出すことが可能となる。従って、例えばシャッターボタンを押下した時点の静止画のみが得られる構成と異なり、撮像後に所望のタイミングで撮像された静止画を得ることが可能となる。

また、再生時に画像加算及びレベル調整処理を行うことで、動画のフレームレートを再生時に変更することが可能である。

また、ＲＡＷ状態で記録するので、再生時に加算処理を行っても画質劣化のないシステムが実現できるという効果が得られる。特に、記録時の圧縮処理に可逆圧縮を採用することで、情報欠落のない再生処理が可能である。

■第３の実施形態
次に、本発明の第３の実施形態について説明する。
（記録処理）
図５は、本発明の第３の実施形態に係る撮像装置の一例としてのデジタルビデオカメラの、主に記録処理に関する構成例を示す図である。以下、記録処理動作と共に、各機能ブロックについて説明する。

撮像光学系６００は、イメージセンサ６０３上に被写体像を結像する。
結像された被写体像の、イメージセンサの各画素に対応する領域の光の強度に応じた電圧が画素毎に光電変換部６０３Ａから出力される。そして、通称カラムＡＤと称される、垂直方向の各列毎に設けられた複数のＡ／Ｄ変換器群（６０３Ｂ−１〜６０３Ｂ−４０９６）にて並列に変換処理が実行され、デジタル画像信号が高速に出力される。

この例では、通称４Ｋデジタルシネマと言われる画素構成の画面情報を読み出すことを想定して、Ａ／Ｄ変換器を４０９６個設けている。しかし、より詳細に説明するならば、有効画素以外に不図示のＯＢ（オプティカルブラック）と呼ばれる遮光画素部についてもＡ／Ｄ変換器が設けられ、取得した値を黒レベルの決定に使用する。

本実施形態のデジタルビデオカメラのイメージセンサ６０３は、第１及び第２の実施形態のイメージセンサ１０１と同様、不図示の色モザイクフィルタを備えている。
また、クロック発生部６０４は、イメージセンサ６０３、システム制御部６０２及びタイムコード生成部６０５へ適切なクロック信号を供給する。

光電変換部６０３Ａから画素列毎に並列に同時読み出しされたアナログ電圧を、各列毎に設けたＡ／Ｄ変換器６０３Ｂ−１〜６０３Ｂ−４０９６によりデジタルデータに変換して読み出す。そして、Ｐ／Ｓ変換器６０３Ｃによりシリアルデータ列（画素データ列）に変換してイメージセンサ６０３から出力する。

画素補修処理部６０７は、イメージセンサ６０３から出力された画素データ列に対し、補修データテーブル６０６より読み出された、光電変換部６０３Ａ固有の補修データに基づく画素補修処理を行い、ＲＡＷデータとして出力する。ＲＡＷデータは、可逆圧縮部６０８と現像処理部６０９へ供給される。

可逆圧縮部６０８では、ＲＡＷデータに対し、算術符号化等の可逆圧縮処理を適用する。現像処理部６０９では、イメージセンサ６０３が有する色モザイクフィルタの色配置を考慮して、各画素のデータに不足している色成分を補間する色補間処理を行なう。

現像処理された画像データは、画素間引き部６２０、システム制御部６０２及び検索用画像生成部６１０に供給される。
画素間引き部６２０は、前記現像された画像データのフレームレートを表示部６２１の表示フレームレートに合わせる為に、フレーム間引き等のフレーム数低減処理を施す。その後で、画像データの解像度（画素数）を、表示部６２１で表示する画素数に合わせる処理を行なう。通常は画像データの解像度の方が高いため、解像度を低下させる処理、例えば画素の間引きを行う。処理後の画像データは、ＬＣＤ等の表示部６２１に表示する。

また、システム制御部６０２は、現像処理部６０９からの画像データを解析し、輝度情報など撮像光学系の制御に必要な画像情報を求めて光学系制御部６０１へ供給する。光学系制御部６０１は、システム制御部６０２から得た画像情報等に基づき、撮像光学系６００の各制御パラメータを各々最適に制御すべく、駆動信号生成部６００Ａ１〜６００Ａ５へ制御信号を供給する。後述する光学系６００Ｂ〜６００Ｆは駆動信号生成部６００Ａ１〜６００Ａ５により各々駆動信号を受けて動作する。

撮像光学系６００は、ズーム倍率調整用の光学系６００Ｂと、手ブレ補正用のシフト光学系６００Ｃと、焦点調節用の光学系６００Ｄを有する。また、撮像光学系６００は、入射光量を調節するための光学系として、大きさを調節可能な絞り機構６００Ｅと、光路に選択的に挿入可能なＮＤフィルタ６００Ｆとを有している。

検索用画像生成部６１０は、現像処理部６０９からの画像データについて、画像圧縮部６１１によって圧縮率の高い圧縮処理（一般には不可逆圧縮処理）を行ない、検索用画像を生成する。本実施形態では、画像データにＪＰＥＧ圧縮処理を行なって静止画の検索用画像を生成し、画像データにＭＰＥＧ圧縮処理を行なって動画用の検索用画像（動画）を生成するものとする。ＭＰＥＧ圧縮処理を行なう場合、画像データが再生基準フレームレートのＮ倍のフレームレートで撮像されていれば、Ｎ枚毎のフレームをフレーム内圧縮符号化し、他のフレームはフレーム間圧縮符号化を適用する。あるいは、ＮＴＳＣ規格やＨＤＴＶ規格等の既存のフレーム周波数での視聴との互換性を考慮して、Ｎ分の１にフレームレートを低減した後に周知のＭＰＥＧ（1/2/4/ＡＶＣ等）エンコーダーにて不可逆圧縮処理を行う。ＭＰＥＧエンコードされたデータであれば、デコード処理には大きな負荷をかけずに視聴可能とできる。

多重化部６１２は、
・可逆圧縮部６０８で可逆圧縮処理されたＲＡＷデータ、
・画像圧縮部６１１が生成した検索用の静止画及び動画、
・システム制御部６０２から受け取った付加データ（撮像光学系６００の各種動作パラメータ値及びイメージセンサの撮像動作に関する情報）、
・音声情報、
を多重化する。

ここで、付加情報のうち、撮像光学系６００の各種動作パラメータとしては、入射光量、絞り値、焦点距離、焦点情報、倍率、ＮＤフィルタの使用有無、振動状況、防振補正状況などを例示できる。また、イメージセンサの撮像動作に関する情報としては、イメージセンサの駆動フレームレート、蓄積時間値（電子シャッター速度）、読み出し画素レート、画素加算状況、読み出し画素構成等を例示できる。

音声情報は、被写体方向からの音声情報をマイク群６１４にて検出し、Ａ／Ｄ変換器群６１５によってデジタル化された後、音声多重化部６１６で多重化され、音声情報データとして多重化部６１２へ与えられる。本実施形態において、音声情報は、例えばサラウンド音声にも対応可能なマルチチャネルの音声情報データである。

多重化部６１２が出力する多重化データはデータ誤り対策部６１８により、ＥＣＣ（誤り訂正符号）の付加等、データ誤りの対策を施す。この後、記録用データ処理部６１９により、記録媒体２１０への記録を行うためのデータ処理（いわゆるチャネル・コーディング）を行い、半導体メモリ等から成る記録媒体２１０へデータ記録を行なう。

（再生処理）
図６は、本発明の第３の実施形態に係る撮像装置の一例としてのデジタルビデオカメラの、主に再生処理に関する構成例を示す図である。以下、再生処理動作と共に、各機能ブロックについて説明する。

記録媒体２１０に記録されたデータは、データ読み出し部７０２により読み出され、ＥＣＣ訂正部７０３によりデータ誤りが訂正される。分離部７０４は、記録時に多重化された４種類のデータを分離する。分離された各データは、デコード部（デコーダ）７０５により復号される。即ち、ＲＡＷデータはデコーダ７０５Ａ、検索用動画／静止画は、ＭＰＥＧ／ＪＰＥＧデコーダ７０５Ｂ、音声データはＡｕｄｉｏデコーダ７０５Ｃ、各種パラメータを含む付加データは付加データデコーダ７０５Ｄでそれぞれ復号される。

（ＲＡＷデータの処理）
復号されたＲＡＷデータは、加算処理部７０６に供給される。加算処理部７０６の内部には、それぞれが１フレーム分のバッファであるフレーム遅延部７０６Ａ−１〜７０６Ａ−４が直列に接続されている。そして、遅延されないＲＡＷデータ、１〜４フレーム遅延されたＲＡＷデータの５フレーム分のＲＡＷデータが、それぞれ係数乗算器７０６Ｂ−１〜７０６Ｂ−５で重み付け係数ｋ１〜ｋ５によって重み付けされた後、加算器（Σ）７０６Ｃで加算される。重み付け係数ｋ１〜ｋ５は、システム制御部６０２からの指示により係数設定部７１６が各係数乗算器７０６Ａ−１〜７０６Ａ−５に設定する。例えば、加算するフレームが４フレームでよい場合、係数ｋ５に０を設定することができる。また、フレームに応じて重み付けを変えるようにしてもよい。

加算器７０６Ｃによって得られる加算ＲＡＷデータの各画素は、連続する複数フレームにおける同画素の値を重み付けした値の合計値を有している。そのため、レベル調整部７０７において各画素の値を加算フレーム数で除算することにより、適正レベルの画像（平均化画像）を得ることができる。

レベル調整終了後は、色補間処理などを色デコード処理部７０８で行い、ＡＷＢ処理部７０９で色バランスを調整し、γ非線形処理部７１０で非線形画像処理を実行し諧調方向の再現性を改善することにより、最終的な画像データを生成する。生成した画像データは、γ非線形処理部７１０から信号選択部７１２へ供給する。

（検索用画像の処理）
一方、デコーダ部７０５のＭＰＥＧ／ＪＰＥＧデコーダ７０５Ｂで復号された検索用動画／静止画データは、ＭＰＥＧ／ＪＰＥＧデータとして信号選択部７１２へ供給される。

信号選択部７１２へは、先に説明した通り、ＲＡＷデータから生成した画像データも供給されている。システム制御部６０２は、操作部６１７から入力されるユーザ指示に応じて、信号選択部７１２へ制御信号が供給し、信号選択部７１２の出力を、検索用動画／静止画データと、ＲＡＷデータから生成した画像データのいずれかに切り替える。

例えば、通常、信号選択部７１２は検索用画像を出力しており、デコーダ機能を有するディスプレイ装置７１３で、静止画検索用画像（ＪＰＥＧ画像）を順次再生する。ユーザは、表示されている静止画に関連する動画像の再生を希望する場合に、操作部６１７から動画再生指示を入力する。システム制御部６０２は、この指示に応答して、ユーザ指示に対応する検索用静止画の撮像時刻と最も近い撮像時刻を有する付加データに対応する動画データを検索し、再生（ＲＡＷデータからの画像データ生成）を開始させる。また、システム制御部６０２は、信号選択部７１２の出力データを、検索画像データから、ＲＡＷデータから生成した画像データへ切り替えるための制御信号を信号選択部７１２へ供給する。

あるいは、別の例としては、ＭＰＥＧ等の検索用動画を早送り再生し、操作部６１７から動画再生指示があったタイミングに対応する検索用動画フレームの撮像時刻と最も撮像時刻の近い付加データを有する動画データを検索し、再生を開始させてもよい。そして、再生の開始と共に、信号選択部７１２の出力データを切り替える。

なお、ユーザ指示に応答して表示すべき画像データを、記録媒体２１０のどのアドレスから読出せばよいかは、アドレス制御部７０１により制御している。

（音声情報の処理）
分離部７０４で分離された音声情報は、Ａｕｄｉｏデコーダ７０５Ｃで復号され、アンプ回路７１４で増幅後、スピーカ７１５から再生される。アンプ回路７１４の構成やスピーカ７１５の数等に応じて、ダウンミックス処理等の処理を行なっても良い。

（付加情報の処理）
分離部７０４で分離された付加データは、付加データデコーダ７０５Ｄで復号し、システム制御部６０２へ供給する。

（詳細な動作説明）
以下、本実施形態のデジタルビデオカメラの動作について、より詳細に説明する。
本実施形態においても、動画静止画混在モードにおいては、第１の実施形態と同様、図３のフローチャートを用いて説明したようにして、静止画撮像に設定したシャッター速度（露光時間）に応じたフレームレートでの撮像を行う。

上述の通り、静止画撮像用に設定された露光時間の逆数が、設定可能なフレームレートの範囲を超える場合、設定可能なフレームレートの上限値を設定する（Ｓ１４）。この処理について、図７、図８を用いてより詳細に説明する。

例えば、動画の基準再生レートが６０ｆｐｓである場合に、静止画撮像用の露光時間として１／３００秒が設定されたものとする。この場合の露光制御方法について、従来の方法と本実施形態の方法とを比較して説明する。

図７の上段は従来の露光制御方法を、下段は本実施形態の露光制御方法を共通の時間軸を用いて表したタイミングチャートである。
最上段は、６０ｆｐｓに対応するタイミングパルスであり、その下には、６０ｆｐｓでの撮像時に１／３００秒の露光時間を電子シャッターで実現するための動作を模式的に示している。従来の方法では、１フレームの撮像期間（１／６０秒）のうち、始めの４／５の期間（４／３００秒）に発生した電荷を廃棄し、終わりの１／５の期間（１／３００秒）に発生した電荷を有効電荷として読み出し、１／３００秒相当の露光を実現している。このように、従来の方法では、動画記録のために１／６０ｆｐｓの撮像を行っていたので、静止画も１／６０秒の期間内に１枚撮像することしか出来なかった。

これに対し、本実施形態では、フレームレートを静止画撮像用に設定した露光時間に応じて決定するため、露光時間が１／３００秒であれば、３００ｆｐｓで撮像する。従って、図７の下段上部に示すように、１／６０秒の期間に１／３００秒ずつ等分割露光した５枚の静止画を得ることができる。

ここで、イメージセンサ６０３の設定可能なフレームレートの上限が３００ｆｐｓとすると、１／３００秒よりも短い露光時間が設定された場合には、イメージセンサ６０３の読出し速度が追い付かなくなる。

例えば、露光時間が１／６００秒に設定された場合、その逆数の６００ｆｐｓは設定可能なフレームレートの上限値を超える。このような場合、上限値のフレームレートで撮像を行い、従来方法の電子シャッター制御を適用する。

すなわち、図７の一番下の段に示すように、１／３００秒の期間の半分（ここでは前半とする）に発生した電荷を廃棄し、後半に発生した電荷を有効電荷として読み出す。これにより、１／６００秒のシャッター速度で撮像した静止画を３００ｆｐｓで取得することが可能になる。
なお、露光時間の逆数が設定可能なフレームレートの下限未満の場合には、下限のフレームレートを設定することは上述したとおりである。

以上説明したような、露光時間とフレームレートとの関係の例を、図８に示す。ここでは、設定可能なフレームレートが３０〜３００ｆｐｓの場合について示している。縦軸が設定された露光時間（秒）、横軸が露光時間に対応して設定される撮像フレームレート（ｆｐｓ）である。上限値と下限値の間は、露光時間の逆数がフレームレートとして設定される。

なお、フレームレートの下限値は、標準再生速度に相当するフレームレートとしているので、フレームなら３０ｆｐｓ、フィールドなら６０ｆｐｓ、ＰＡＬ圏ならば５０ｆｐｓ、シネマモードならば２４ｆｐｓとするのが実用的であろう。

またイメージセンサ６０３の構造により、上述のような不要電荷の廃棄動作ができない場合も有り得る。この場合は、廃棄の為の読出し動作を行う事になり、ここで処理時間が消費されてしまうので、ロスが大きくなり、フレームレートの上限値が低下してしまう。そのため、廃棄動作が出来ないイメージセンサを用いている場合には、静止画撮像用に設定可能な露光時間の上限値を、設定可能なフレームレートの逆数とするといったように、露光時間に上限を設けることが好ましい。

次に、図９を参照して、本実施形態のデジタルビデオカメラにおける、撮像、記録、再生時におけるフレームの時間関係について説明する。

図９において、横軸は時間軸である。図の上から順に説明する。
（１）最上段は、基本フレームレートの画像期間のタイミングチャートである。
ここでは、第１フレームから第６フレームまでが時間順に記載されている。
（２）２段目は、基本フレームレートの５倍（Ｎ＝５）のフレームレートで等分割撮像をした場合のタイミングチャートである。本実施形態における撮像系の画像出力タイミングに相当する。
基本フレームレートの第１フレームに対し、Ｎ＝５のフレームレートでは、１−１、１−２、、、、、１−５という５フレームが対応している。
同様に、基本フレームレートの第２フレームには、２−１、２−２、、、、、２−５という５フレームが対応している。
以下同様に、基本レートのＮ倍のレートで画像が生成される。

（３）３段目は、撮像系の出力ＲＡＷデータの記録タイミングを示している。ここでは、記録のためのデータ処理（可逆圧縮処理）に、約１フレーム分に相当する時間を要するものとして記載している。これは撮像ＲＡＷデータなので、Ｎ＝５のレートのまま、全フレームのデータが記録される。

（４）４段目は、検索用動画像として記録されるフレームを示している。再生時の画像処理負荷軽減と互換性の点から、検索用動画像は通常の再生フレームレートで再生されることが好ましい。従って、基本レートに相当する画像だけを用いて、動画像エンコード処理を行う。図９の例では、１／６０秒の間に撮像される５フレームのうち、先頭のフレーム（１−１、２−１、３−１、・・・）だけを用いて検索用動画像を生成する。動画像のエンコードはＭＰＥＧ等の非可逆圧縮符号化方式により行う。
検索用動画像は、ＲＡＷデータと共に、タイミング同期を取れるような状態で同一記録媒体に記録される。このように、本実施形態では、ＲＡＷデータと検索用データの２種類を記録する。

（５）５段目は、検索用の画像を復号し、基本フレームレートの検索用動画像を再生していることを示している。検索用動画像の視覚（通常音声も伴う）情報に基づき、対応するＲＡＷ画像の再生アドレスをアドレス制御部７０１で決定する。

（６）６段目はＲＡＷデータから基本フレームレートの動画を生成する際に処理されるフレームを示している。ここでは、３００ｆｐｓで撮像したＲＡＷデータから６０ｆｐｓの動画を生成するため、５フレームのＲＡＷデータを加算、レベル調整する。この例では、動画の第１フレームを生成するため、１−１、１−２、１−３、１−４、１−５の５フレーム分のＲＡＷデータが処理されている。次の動画フレームは、２−１，２−２，２−３，２−４，２−５のＲＡＷデータから生成される。
これ以降の動画フレームの生成についても同様の処理を行い、順次基本レートの動画像として出力する。

次に、図１０を用いて、音声と画像の同期タイミングについて説明する。
動画の再生フレームレートが３０フレーム／秒（６０フィールド／秒）であり、５倍の撮像フレームレート（Ｎ＝５，３００ｆｐｓ）である場合を例にとり説明する。

映像が毎秒３００回（３００Ｈｚ）のサンプリングであるのに対し、音声は毎秒４８０００回（４８ｋＨｚ）のサンプリングを行うとすると、１フレームあたり１６０回の音声サンプリングがなされることになる。

音声情報は、モノラル（１ｃｈ）、ステレオ（２ｃｈ）、サラウンド（５．１〜２２．１ｃｈ）等、様々な録音モードがあり得るので、その選択により、データの構成やデータ量は異なる。そのため、画像１サンプル（１フレーム）と、音声１６０サンプルの各データの対応付けを規定する必要がある。本実施形態では、サンプリングタイミングを用いて画像と音声の対応を規定する点を特徴とする。

音声と画像の時間関係がずれる可能性があるのは撮像画像データの出力段や、再生時に行うフレームレート変換に関わる画像処理工程である。その画像処理の際の画像の最小単位は撮像時の１フレームである。そこで最大でもこの期間毎に音声のタイムコードを更新するように構成する。

具体的には、各画像の撮像１フレーム期間に対応する時間で音声のサンプルデータをひとまとめにしてヘッダー等に該画像フレームと同一のタイムコードを付したデータ列を生成する（詳細は図１４を用いて後述する）。

従来のＭＰＥＧ等の方式によれば、デコードタイミングを指定するタイムスタンプ方式が主流であったが、本発明のように、再生時に任意数の画面を加算して動画像フレームを生成する方式の場合、再生タイミングで規定するのは困難である。そこで、サンプリング時に対応付けを規定しておき、再生時にはこの対応（同期）情報を用いることで、様々なフレームレートでの再生を実現しながら、画像と音声の同期も維持できるようにした。
なお、音声情報についてもＲＡＷデータと同様に可逆圧縮すると、装置構成上の制約を少なくすることとができる。

次に、図１１を用いて、露光時間の設定と撮像フレーム数、及び基準フレームレートでの再生のための画像加算合成処理の関係を説明する。
図１１は、露光時間（シャッター速度）と、露光時間に対応して設定されたフレームレートで撮像されるフレーム数と、動画再生時に用いるフレーム数との関係を模式的に示した図である。

ここでは、動画再生の基準フレームレートを６０ｆｐｓとしているので、露光時間１／６０秒の場合は、撮像された全フレームをそのまま６０ｆｐｓで再生すればよい。
この組み合わせは、通常の撮像装置、再生装置の関係とほぼ同じである。正確にはＮＴＳＣ方式では６０ｆｐｓではなく、５９．９４ｆｐｓ（Ｈｚ）と表記されることが多いが、本件では説明の便宜上、６０ｆｐｓとして説明する。同様に、２９．９７ｆｐｓを３０ｆｐｓで代替する。
１／６０を基点に露光時間を半減させてゆく。
１／６０秒の場合、６０ｆｐｓ（１倍速撮像）
１／１２０秒の場合、１２０ｆｐｓ（２倍速撮像）
１／２５０秒の場合、２５０ｆｐｓ（約４倍速撮像）
１／５００秒の場合、５００ｆｐｓ（約８倍速撮像）
１／１０００秒の場合、１０００ｆｐｓ（約１６倍速撮像）
１／２０００秒の場合、２０００ｆｐｓ（約３２倍速撮像）となる。
（これ以上の高速シャッター速度の場合も同様。）

シャッター速度は１／２０００秒まで設定・駆動可能であるが、イメージセンサ６０３の連続読み出し能力が例えば５００ｆｐｓまでであった時には、５００ｆｐｓでの撮像が行われる。この場合、１／２０００秒で露光処理した画像を５００ｆｐｓで読み出すので、２０００ｆｐｓ読み出しを行った場合と比較すると、フレーム数が１／４に（コマ落とし）されたことになる。

今度は、露光時間が基準の１／６０秒よりも長く設定された場合を想定すると、カメラシステムとしての動画ビューワー（モニター）機能を維持する意味から、撮像フレームレートは６０ｆｐｓを維持する。これは、１／３０秒、１／１５秒、１／８秒等の場合である。これよりも長時間のシャッター速度の場合も同様である。
以上のような関係で、撮像時に設定されたシャッター速度（露光時間）に応じて、撮像フレームレートが設定され、撮像動作が実行される。

次に、再生時の画面加算処理の加算枚数であるが、基本的には基準フレームレートに対する倍数に相当する枚数だけ加算し、基準フレームレートに変換する。
具体的には、１／１２０秒の場合２倍速なので、２画面加算（及びレベル調整）して、１／６０秒毎に１画面を出力する。１／２５０秒の場合、約４倍速なので、４画面加算（及びレベル調整）して、１／６０秒毎に１画面を出力する。
同様に１／５００秒の場合、約８倍速なので、８画面加算（及びレベル調整）して、１／６０秒毎に１画面を出力する。

上限である１／２０００秒の場合は、１／２０００秒の露光時間で撮像した、５００ｆｐｓでの撮像フレームを８枚加算（及びレベル調整）して、１／６０秒毎に１画面を出力することになる。

低速側は、撮像時に指定した露光時間になるように再生時に画面加算する。
１／３０秒ならば、１／６０秒露光で撮像した画像を２枚加算処理して出力する。ただし、加算処理は基準フレームレートに対応して、１／６０秒毎に順次加算画像を１画面ずつシフトさせて行き、同一画像が連続して出力されないようにする。

つまり、１／３０秒の場合、１／６０露光画像のｎ番目の画像とｎ＋１番目の画像を加算処理して出力した後は、ｎ＋１番目とｎ＋２番目の画像を加算処理して出力する。同様に、撮像露光時間が１／１５秒の設定の場合には、ｎ、ｎ＋１、ｎ＋２、ｎ＋３の４画面を加算処理して出力した１／６０秒後には、入力画面を１画面シフトして、ｎ＋１、ｎ＋２、ｎ＋３、ｎ＋４の４画面を加算処理して出力する。
以下同様に、１／８秒の設定の場合には、８画面を同様の加算ルールに従って処理する。

ＣＭＯＳイメージセンサの構造例を示す図１２を用いて、イメージセンサ６０３の詳細な動作説明を行なう。
光電変換領域６０３Ａは、水平４０９６画素と垂直２１６０画素から成る有効画面領域と、有効画面領域周辺に設けられた若干量の、オプティカルブラック（ＯＢ）領域と称する遮光領域（不図示）を有する。

有効画素領域は撮像画面を構成し、ＯＢ領域は光電変換レベルの基準値（黒レベル）を設定・補正するのに用いられる。これらの領域に含まれる光電変換画素群は、イメージセンサドライバー１４０１からの駆動パルスにより、被写体像の光束を画素単位で電荷に変換、蓄積し、アナログ量（電圧）として出力する。

このアナログ量は、高速読み出しのために各光電変換領域の列毎に設けられた、次段のカラムＡ／Ｄ（６０３Ｂ）と称するＡ／Ｄ変換器群６０３Ｂ−１〜６０３Ｂ−４０９６にて順次デジタル値に変換される。そして、水平画素数に相当する数のデータ群（＋ＯＢデータ）が並列出力される。この並列出力された４０９６個のデータ（＋ＯＢデータ）は次段のデータ多重器（パラレル／シリアル変換器）にて、シリアル（直列）データ列に変換され、多重データとして出力される。上述の動作を行うタイミング信号は、クロック発生部６０４からのタイミングパルスに基づき実行される。

図１３は、イメージセンサから出力される多重データの構成例を示す図である。
上段はフレーム単位のブロックを示し、左から右へ順次Ｆ−１、Ｆ−２、Ｆ−３、Ｆ−４、・・・、Ｆ−ｎとなっている。各ブロックの中には、１画面分のデータ（４０９６ｘ２１６０画素＋ＯＢ画素）が格納されている。この１ブロック中のデータを展開すると、図中の上から二段目のブロックとなる。これは、先頭のヘッダーブロックと２１６０個（＋ＯＢ画素ライン）のラインブロックから成る。

ヘッダー（Ｈｅａｄｅｒ）は管理ブロックの役割を持ち、
Ｔｉｍｅｃｏｄｅ（撮像年月日時分秒）、
ＦｒａｍｅＮｏ．（フレーム番号／１秒中）、
Ｆｒａｍｅ−Ｒａｔｅ（単位時間あたりの撮像画面数：通常１秒あたりのフレーム数）、
露光時間（Ｅｘｐ．Ｄａｔａ）等の撮像カメラパラメータ等の情報を格納する。

ヘッダー情報に続くのは、各垂直方向に整列するライン毎に１ブロックを構成するＬ−１、Ｌ−２、Ｌ−３、・・・・・、Ｌ−２１６０である。各ライン毎には同期（Ｓｙｎｃ．）情報と、ライン番号（Ｌｉｎｅ Ｎｏ．）、画素データ値（Ｈ０００１〜Ｈ４０９６）、ラインＯＢ（Ｌｉｎｅ−ＯＢ）値、等々を格納している。

前述の、イメージセンサ情報がデータ多重器６０３Ｃにて処理されたシリアル出力データは、まず画素データ値（Ｈ０００１〜Ｈ４０９６）がライン毎にパッキングされて垂直ラインブロックを形成する。そして、ラインブロックがまとめられてフレームブロックが形成され、さらにフレームブロックが順次時系列で並べられることで、図１３の最上段に示すデータ列が形成される。

画像と音声のタイムコードのデータ多重例を、図１４を用いて説明する。
図１４に示すように、１フレーム毎に、画像データには画像タイミングコード（Ｖ−ｔｉｍｅｃｏｄｅ）を付与する。そして、そのフレームの撮像期間内にサンプリングされた音声データ（先の例では１６０サンプル）をグルーピングし、音声タイミングコード（Ａ−ｔｉｍｅｃｏｄｅ）を付与する。一組のタイムコード付きの画像と音声のデータ群に対し、先頭にヘッダー情報（Ｈｅａｄｅｒ）を付ける。このヘッダー情報には、画像フレームレート（Ｖ−ｒａｔｅ（ｆｐｓ））、音声のサンプリング周波数（Ａ−ｓａｍｐ−ｆｒｅｑｕｅｎｃｙ）、音声チャンネル数（Ａ−ｃｈ）等の情報が格納されている。一部の情報は、先に説明したイメージセンサからのシリアル出力データ列の中の情報と重複しているが、画像の属性を短時間で判別する為に、複数の階層に同様の情報を格納しておくのは効果的な場合がある。

本実施形態によれば、第１の実施形態における効果に加え、以下のような効果が達成できる。まず、記録処理を実施する構成を有することにより、撮像時には、動画と静止画の区別をせずに記録を行うことができる。そして、再生処理を行なう構成を有することにより、再生時に任意のフレームを静止画として取り出すことが可能となる。従って、例えばシャッターボタンを押下した時点の静止画のみが得られる構成と異なり、撮像後に所望のタイミングで撮像された静止画を得ることが可能となる。

また、動画/静止画用の検索用の画像データを生成し、ＲＡＷデータに付加して記録（伝送）するので、再生（受信）時に、ＲＡＷデータの現像処理に比べて、復号画像処理の負荷を軽くできる。また従来再生機器との互換性を高くできる効果もある。
さらに、撮像時の露光時間の設定に際し、撮像フレームレートの上限の逆数よりも短い露光時間に相当するシャッター速度を使用できるので、より速い被写体の撮影や被写界深度の浅い撮影を可能にする効果を有する。
また、再生時に画像加算及びレベル調整処理を行うことで、動画のフレームレートを再生時に変更することが可能である。

また、ＲＡＷ状態で記録するので、再生時に加算処理を行っても画質劣化のないシステムが実現できるという効果が得られる。特に、記録時の圧縮処理に可逆圧縮を採用することで、情報欠落のない再生処理が可能である。

本発明の第１の実施形態に係る撮像装置の一例としてのデジタルビデオカメラの構成例を示す図である。 本発明の第２の実施形態に係る撮像装置の一例としてのデジタルビデオカメラの構成例を示す図である。 本発明の第１の実施形態のデジタルビデオカメラの動作の概要について説明するフローチャートである。 本発明の第１の実施形態のデジタルビデオカメラの全体的な動作を説明する図である。 本発明の第３の実施形態に係る撮像装置の一例としてのデジタルビデオカメラの、主に記録処理に関する構成例を示す図である。 本発明の第３の実施形態に係る撮像装置の一例としてのデジタルビデオカメラの、主に再生処理に関する構成例を示す図である。 従来の露光制御方法と本発明の第３の実施形態のデジタルビデオカメラにおける露光制御方法とを共通の時間軸を用いて表したタイミングチャートである。 本発明の第３の実施形態のデジタルビデオカメラにおける露光時間とフレームレートとの関係の例を示す図である。 本発明の第３の実施形態のデジタルビデオカメラにおける、撮像、記録、再生時におけるフレームの時間関係について説明する。 本発明の第３の実施形態のデジタルビデオカメラにおける、音声と画像の同期タイミングについて説明する図である。 本発明の第３の実施形態のデジタルビデオカメラにおける、露光時間の設定と撮像フレーム数、及び基準フレームレートでの再生のための画像加算合成処理の関係を説明する図である。 本発明の第３の実施形態のデジタルビデオカメラにおける、イメージセンサの構造例を示す図である。 本発明の第３の実施形態のデジタルビデオカメラにおいて、イメージセンサから出力される多重データの構成例を示す図である。 本発明の第３の実施形態のデジタルビデオカメラにおける、画像と音声のタイムコードのデータ多重例を説明する図である。

Claims (7)

1. 光電変換素子を用い、フレーム単位で撮像画像を出力する撮像装置であって、
   静止画撮像用のシャッター速度を設定する手段と、
   前記シャッター速度に基づいて、撮像フレームレートを設定する手段と、
   前記撮像フレームレートで前記撮像画像を出力するよう、前記光電変換素子の動作を制御する手段とを有することを特徴とする撮像装置。
2. 前記撮像フレームレートを設定する手段が、前記撮像フレームレートとして前記シャッター速度の逆数を設定することを特徴とする請求項１記載の撮像装置。
3. 前記シャッター速度の逆数が、前記光電変換素子から読み出し可能なフレームレートを超える場合、前記撮像フレームレートを設定する手段が、前記撮像フレームレートとして前記光電変換素子から読み出し可能な上限のフレームレートを設定することを特徴とする請求項２記載の撮像装置。
4. 前記撮像画像を用いて動画再生を行う手段であって、前記撮像フレームレートが動画再生フレームレートよりも高い場合、前記撮像画像の複数フレームから前記動画再生に用いる１フレームを生成し、前記動画再生フレームレートで再生を行う手段をさらに有することを特徴とする請求項１乃至請求項３のいずれか１項に記載の撮像装置。
5. 前記シャッター速度を設定する手段が、自動露出制御又はユーザ設定によって前記シャッター速度を設定することを特徴とする請求項１乃至請求項４の撮像装置。
6. 前記撮像画像を、ＲＡＷデータの状態で記録媒体に記録する手段をさらに有することを特徴とする請求項１乃至請求項５のいずれか１項に記載の撮像装置。
7. 光電変換素子を用い、フレーム単位で撮像画像を出力する撮像装置の制御方法であって、
   静止画撮像用のシャッター速度を設定するステップと、
   前記シャッター速度に基づいて、撮像フレームレートを設定するステップと、
   前記撮像フレームレートで前記撮像画像を出力するよう、前記光電変換素子の動作を制御するステップとを有することを特徴とする撮像装置の制御方法。

Images