JP2007067708A - 撮像装置およびその画像生成方法 - Google Patents

Abstract

【課題】動画も静止画も良好な画像を得ることができる撮像装置およびその画像生成方法を提供する。
【解決手段】一動画像データを取り込み中に、高画素のデータをイントラフレーム圧縮した第１の圧縮画像と、第１の圧縮画像を生成する期間の前後の期間で、間引きによる低画素のデータをインターフレーム圧縮した第２の圧縮画像とを一連のストリームとして生成し、第１の圧縮画像の画像レベルと第２の圧縮画像の画像レベルとを略等しいレベルに補正する画像処理部１４と、第１の圧縮画像および第２の圧縮画像の一連のストリームデータが記憶されるメモリ１５と、撮影記録動作中にイントラフレームに相当する高画素の静止画を読み出す際には、イントラフレームに相当するフレームの露光時だけ、フォーカスレンズの駆動を停止する制御系１６，１７を有する。
【選択図】図１

Description

本発明は、デジタルカメラ等の撮像装置および撮像方法に係り、より詳しくは、動画主体として取り出す画像（比較的低画素数）と静止側として取り扱える画像（比較的高画素数）を同一ストリーム上で取り扱う撮像装置およびその画像生成方法に関するものである。

従来より、撮像素子を用いて撮像した撮像信号に基づくデジタルビデオ信号を離散コサイン変換（ＤＣＴ）やウエーブレット変換と可変長符号により圧縮し、磁気テープや磁気ディスクや光ディスク等の記録媒体に記録するデジタルカメラが提案されている。
このデジタルカメラは、動画記録モードおよび静止画記録モードを有し、動画記録モードにおいては動画用の圧縮記録を行って記録媒体に記録し、静止画記録モードにおいては静止画用の圧縮を行って記録媒体に記録する。

また、従来より、動画撮影中に、高解像の静止画を撮影可能な撮像装置が、以下に第１〜第１１の撮像装置として示すように、種々提案されている。

第１の撮像装置は、動画像のフレーム周期の整数倍の周期毎に自動的に１フレームの高解像度静止画を撮影するものであって、動画像撮影時は間引き読み出し、静止画撮影時は全画素信号を２フィールドに分けて読み出す（特許文献１参照）。

第２の撮像装置は、動画撮影中に所定周期で静止画を撮影するものである（特許文献２参照）。

第３の撮像装置は、通常解像度の動画撮影中に操作者の操作により、または、自動的に一定間隔で高解像度の静止画を撮影するものであって、静止画は静止画デ一タとして記録し、動画は動画デ一タとして記録するものであり、動画再生中に静止画データありを表示し、操作者の操作でその静止画表示に切り替わる（特許文献３参照）。

第４の撮像装置は、所定期間の動画を撮影しつつ操作者のシャッタボタン操作により静止画を撮影する画像記録装置であって、撮影した静止画をその前後の動画を用いて修正するものである。

第５の撮像装置は、動画撮影時にシャッタボタンを操作すると高精細の静止画を撮影するカムコーダなどの動画記録装置であって、シャッタボタン操作時の高精細の静止画を強制的にイントラ符号化画像（Ｉピクチャ）として符号化するものである（特許文献４参照）。

第６の撮像装置は、動画撮影中に静止画撮影が可能なものであって、希望する静止画がない場合には、所望する動画像に対応する高解像度画像を、所望する動画像とそれと関連する静止画像とで合成するものである（特許文献５参照）。

第７の撮像装置は、シャッタボタンの半押で動画記録開始し、シャッタボタンの押込みで動作記録中に静止画の撮影を行うデジタルカメラであって、動画撮影中に撮影した静止画データを動画データと関連付けて記憶するものである（特許文献６参照）。

第８の撮像装置は、動画撮影中に操作者のシャッタボタン操作により静止画を撮影する画像記録装置であって、撮影した静止画をその前後の動画を用いて修正するものである（特許文献７参照）。

第９の撮像装置は、動画と静止画のデータを一連のファイルとして記録するもの、動画は、ＭＰ＠ＭＬ（Ｍａｉｎ Ｐｒｏｆｉｌｅ ａｔ Ｍａｉｎ Ｌｅｖｅｌ）で記録し、静止画はＭＰ＠ＨＬ（Ｍａｉｎ Ｐｒｏｆｉｌｅ ａｔ Ｈｉｇｈ Ｌｅｖｅｌ）で記録するものである（特許文献８参照）。

第１０の撮像装置は、一連の連写画像を一時記憶し、操作者が選択した画像のみをメモリカードに記憶するものである（特許文献９参照）。

第１１の撮像装置は、記録されている画像を減色、切り出し、あるいは解像度を落とす等の処理を行って記録し直すものである（特許文献１０参照）。
特開平２００２−４４５３１号公報 特開平７−２４５７２２号公報 特開平９−５１４９８号公報 特開平７−２８４０５８号公報 特開２００２−５１２５２号公報 特開２００２−８４４４２号公報 特開平７−１４３４３９号公報 特開平１１−２３４６２３号公報 特開２００１−７８１３６号公報 特開２００２−１０２０９号公報

ところで、上述した各撮像装置においては、通常、動画程度の画像を取り込む場合は、ローリングシャッタを繰り返し露光−データ転送を順次行う。また、静止画の連続撮影を行う場合は、同様にローリングシャッタを連続させるか、メカニカルシャッタを用いる。 ここで、ローリングシャッタのみの画像取り込みでは、画像の上下で画像の歪みが発生することとなる。但し、あくまで動画像なので許容できる。
しかしながら、それが静止画像の取り込みとなると、この画像歪みを許容できなくなる。そのために、メカニカルシャッタが必要となるが、限りなく、高速で連続画像取り込みを行うには、メカニカルシャッタ駆動にも限界がある。

また、デジタルカメラ等においては、高解像度で所望する画像を得るために、操作者が撮影対象を観察し、ここと思うタイミングでレリーズボタンを操作する必要がある。
しかしながら、ここと思うタイミングで操作したとしても、必ずしも所望する画像は得られないことが多く、これを解消する連写機能が実用化されている。
しかし、高解像度で、たとえば１０秒間も秒数コマで撮影したとすると、その記録した画像データは膨大となり、現在のメモリカード等の容量を考えると実用性に乏しい。
また、このような連写機能を有するものは、数百万画素の高解像度の静止画連写の場合、連写速度の上限がＣＣＤ等の読み出し処理能力に大きく依存するため、秒数コマ程度が上限となり、所望する画像が動きの早い被写体であると、たとえば連写を用いたとしても所望する画像を得ることはむずかしいものとなる。

また、解像度の異なる動画と静止画が一つのストリームとして記録される第１のモードと、動画だけの撮影を行う第２のモードとを有するデジタルカメラにおいて、第１のモードでの撮影データは解像度の高い静止画が一定間隔ごとにあることで、単なる動画のみで撮影した場合より保存されるファイルのサイズが大きくなってしまう。その結果、記録メモリの容量が大きくなり、実用的な記録容量を確保することが困難であるという不利益がある。

また、上記した解像度の異なる動画と静止画を一つのストリームで扱う撮像装置について、撮影中に常時フォーカスレンズを駆動していれば、高解像の静止画の露光中にもフォーカスレンズが動いているため、良好な合焦状態とは言えず、鮮明な高解像の画像データを得ることができないという不利益ある。
低解像の動画と高解像の静止画を一つのストリームで扱うのは、再生時に任意のタイミングで一時停止しても、高解像の画像を生成表示するためであり、その際に重要な高解像の画像が鮮明さに欠けてしまうのは、その特徴を十分に活かしきれなくなってしまう。

そこで、連写等の速度を気にせずに、かつ記録容量も実用的に抑えた上で、操作者がシャッタタイミングを気にせずに所望の高解像度静止画を得ることが可能な撮像装置を新規に開発した。

本発明はかかる開発にて生じた全く新規なものであり、特に、上記した高解像度生成画を得る等の課題を背景とするものではなく、従来にない全く新規な撮像方式を有する撮像装置およびその画像生成方法を提供することを目的とする。
そして、本発明は、ストリーム再生時に任意のタイミングで一時停止しても、高解像の画像を生成表示するために、低解像の動画と高解像の静止画を記録する撮像装置において、動画も静止画も良好な画像を得ることを目的としている。

本発明の第１の観点は、被写体の光学像を撮像素子に結像させ当該撮像素子から高解像度の高画素データまたは低解像度の低画素データを読み出し、これら画像データに対して所定の画像処理を行う撮像装置であって、上記被写体の光学像を上記撮像素子に結像するフォーカスレンズと、上記フォーカスレンズの駆動制御を行う駆動制御部と、一動画像データを取り込み中に、上記高画素データを圧縮した第１の圧縮画像と、上記第１の圧縮画像を生成する期間の前後の期間で、間引きによる低画素データを圧縮した第２の圧縮画像とを一連のストリームとして生成する画像処理部と、を有し、上記駆動制御部は、動画撮影中に合焦動作を行う際に、高解像度の高画像データを得る露光期間中には合焦動作を停止する

好適には、シャッタ機能がローリングシャッタ機能の場合、上記駆動制御部は、上記高解像度の高画素データを読み出し時には、最初のラインの露光開始時から、最終ラインの露光終了までの間、フォーカスレンズ駆動を停止する。

好適には、シャッタ機能がグローバルシャッタ機能の場合、上記駆動制御部は、一斉露光の開始から終了までの間、フォーカスレンズ駆動を停止する。

好適には、上記画像処理部は、一動画像データを取り込み中に、上記高画素データをイントラフレーム圧縮した第１の圧縮画像と、上記第１の圧縮画像を生成する期間の前後の期間で、間引きによる低画素データをインターフレーム圧縮した第２の圧縮画像とを一連のストリームとして生成し、上記第１の圧縮画像の画像レベルと上記第２の圧縮画像の画像レベルとを略等しいレベルに補正する。

好適には、上記画像処理部は、上記第２の圧縮画像の一画面を指定すると、当該第２の圧縮画像の画面を前後の上記第１の圧縮画像を含めた他の画像により伸長復号した高精細静止画を生成する。

好適には、上記第１の圧縮画像および上記第２の圧縮画像の一連のストリームデータが記憶される記憶手段を有する。

好適には、上記画像処理部は、一ストリームデータ上の上記第１の圧縮画像を一画面指定すると、当該第１の圧縮画像の解像度を上記第２の圧縮画像と同程度に低減し、上記一ストリームデータの当該第１の圧縮画像を上記解像度を低減した第１の圧縮画像に置き換えて上記記憶手段に記録し直す。

好適には、一ストリームデータの複数の上記第１の圧縮画像の解像度全てを、上記第２の圧縮画像と同程度に低減し、上記一ストリームデータの第１の圧縮画像を上記解像度を低減した第１の圧縮画像に置き換えて上記記憶手段に記録し直す。

好適には、上記高画素データは、上記撮像素子から間引かずに読み出したデータまたは任意の間引き量で間引いて読み出したデータであり、上記低画素データは、上記撮像素子から当該高画素データより低い解像度となるような任意の間引き量で間引いて読み出したデータである。

好適には、シャッタ機能としてグローバルシャッタ機能とローリングシャッタ機能とを含み、上記画像処理部は、上記グローバルシャッタで取り込んだ画素データより第１の圧縮画像を生成し、上記ローリングシャッタで取り込んだ画素データより第２の圧縮画像を生成する。

好適には、上記画像処理部は、上記第２の圧縮画像の一画面を指定すると、当該第２の圧縮画像の画面を前後の上記第１の圧縮画像を含めた他の画像により伸長復号して当該指定した一画面を示す高解像度の静止画像データを生成する。

好適には、高解像度の第１の圧縮画像と、低解像度の第２の圧縮画像とにより低解像度の連続したビデオストリームを出力するストリーム出力手段と、圧縮画像が高解像度か低解像度かを判別する判別手段と、上記判別手段により上記圧縮画像が高解像度か低解像度かを示す信号を出力する判別信号出力手段と、を有する。

本発明の第２の観点は、被写体の光学像を撮像素子に結像させ当該撮像素子から高解像度の高画素データまたは低解像度の低画素データを読み出し、これら画像データに対して所定の画像処理を行う撮像装置の画像生成方法であって、上記被写体の光学像をフォーカスレンズを通して上記撮像素子に結像するステップと、一動画像データを取り込み中に、上記高画素データを圧縮した第１の圧縮画像を生成するステップと、上記第１の圧縮画像を生成する期間の前後の期間で、間引きによる低画素データを圧縮した第２の圧縮画像とを一連のストリームとして生成するステップと、を有し、動画撮影中に合焦動作を行う際に、高解像度の高画像データを得る露光期間中には合焦動作を停止する。

本発明によれば、ストリーム再生時に任意のタイミングで一時停止しても、高解像の画像を生成表示するために、低解像の動画と高解像の静止画を記録する撮像装置において、動画も静止画も良好な画像を得ることができる。

以下、本発明に係る撮像装置の実施形態について、添付図面に関連付けて説明する。

図１は、本実施形態における撮像装置１の全体構成を例示する図である。本撮像装置１は、大別して光学系、信号処理系、記録系、表示系、および制御系から構成される。

本実施形態に係る撮像装置１は、動画撮影中に合焦動作を行う際に、高解像度の高画像データを得る露光期間中には合焦動作を停止するようにフォーカスレンズを駆動制御する。
本実施形態に係る撮像装置１は、動画撮影中、信号処理系において高画素の画像データ（高画素データ）イントラフレーム圧縮して第１の圧縮画像を生成し、第１の圧縮画像を生成する期間の前後の期間で、低画素の画像データ（低画素データ）をインターフレーム圧縮して第２の圧縮画像を生成し、第２の圧縮画像の一画面を指定すると、第２の圧縮画像とその前後の第１の圧縮画像を含めた他の圧縮画像により伸長復号して指定した一画面を示す高解像度の静止画像データを生成する。
そして、本実施形態に係る撮像装置１は、一動画像データ取り込み中に、ローリングシャッタ機能とグローバルシャッタ機能とを併用する。
また、本実施形態に係る撮像装置１は、高解像度の第１の圧縮画像の画像レベルと低解像度の第２の圧縮画像の画像レベルとを略等しいレベルに補正し、第１の圧縮画像と第２の圧縮画像の出力レベルを一定するにするように制御する。
また、本実施形態に係る撮像装置１は、再生モードと、静止画再現モードと、ストリームデータ変更モードの３モードを備えている。
以下、各部の構成および機能について説明する。

光学系は、レンズ光学系１０およびＣＭＯＳセンサ等のイメージセンサ１１から構成される。
レンズ光学系１０は、被写体に対向する光学レンズ１０１、合焦状態となるように被写体の像を結像させるフォーカスレンズ１０２、および図示しない光学ローパスフィルタ等を備えている。レンズ光学系１０においては、光学レンズ１０１およびフォーカスレンズ１０２により被写体の光学像を集光して、イメージセンサ１１上に被写体の像を結像する。

撮像素子としてのイメージセンサ１１は、たとえば、カラーフィルタが設けられたＣＭＯＳイメージセンサから構成され、レンズ光学系１０により結像された被写体の像を光電変換する。
また、グローバルシャッタ機能とローリングシャッタ機能とを含むシャッタ機能を有する。
シャッタ機能は、制御系の制御に従ってグローバルシャッタ機能またはローリングシャッタ機能を選択的に用いられ、ローリングシャッタで画素を取り込ませている間に、グローバルシャッタで画像を取り込ませることが可能なように制御される。すなわち、一動画像データ取り込み中に、ローリングシャッタ機能とグローバルシャッタ機能とが併用される。

信号処理系は、イメージセンサ１１から出力される電気信号をサンプリングすることによってノイズを低減させるための相関２重サンプリング回路（ＣＤＳ：Correlated Double Sampling）であるＣＤＳ１２と、ＣＤＳ１２が出力するアナログ信号をデジタル信号に変換するＡ／Ｄ変換器１３と、Ａ／Ｄ変換器１３が出力するデジタル信号に対して、後述する所定の画像処理を行う画像処理部１４とから構成される。

本実施形態に係る画像処理部１４は、基本的には、グローバルシャッタで取り込んだ画素のデータをイントラフレーム圧縮して第１の圧縮画像を生成し、第１の圧縮画像を生成する期間の前後の期間で、ローリングシャッタで取り込んだ画素のデータをインターフレーム圧縮して第２の圧縮画像を生成する。
後で詳述するように、画像処理部１４は、第１の圧縮画像をイメージセンサから画像データを間引かずに読み出して生成し、第２の圧縮画像をイメージセンサから画像データを間引いて読み出して生成する。
画像処理部１４は、第１の圧縮画像の生成時は高画素の画像データをイントラフレーム圧縮し、第２の圧縮画像の生成時は、低画素の画像データをインターフレーム圧縮する。 また、画像処理部１４は、第２の圧縮画像をイメージセンサからのデータを間引いて読み出して生成する場合、同色の近傍の画素の積分処理を行って間引き読み出しを行う。
画像処理部１４は、第１の圧縮画像の画像レベルと第２の圧縮画像の画像レベルとを略等しいレベルに補正する機能を有している。

画像処理部１４は、後で詳述するように、第２の圧縮画像の積分処理読み出しを行ったＲレベルに基づき第１の圧縮画像の画像レベルを補正することにより、第１の圧縮画像の画像レベルと上記第２の圧縮画像の画像レベルとを略等しいレベルに補正する機能を有している。
また、画像処理部１４は、第１の圧縮画像の画像レベルを維持し、第２の圧縮画像の画像レベルは、積分処理の積分量で除して補正することにより、第１の圧縮画像の画像レベルと第２の圧縮画像の画像レベルとを略等しいレベルに補正する機能を有している。
そして、画像処理部１４は、第２の圧縮画像の一画面を指定すると、第２の圧縮画像とその前後の第１の圧縮画像を含めた他の圧縮画像により伸長復号して当該指定した一画面を示す高解像度の静止画像データを生成する機能を有する。

画像処理部１４は、一ストリームデータ上の上記第１の圧縮画像を一画面指定すると、第１の圧縮画像の解像度を第２の圧縮画像と同程度に低減し、一ストリームデータの当該第１の圧縮画像を解像度を低減した第１の圧縮画像に置き換えてメモリ１５に記録し直す。
画像処理部１４は、一ストリームデータの複数の第１の圧縮画像の解像度を、一括で第２の圧縮画像と同程度に低減し、一ストリームデータの第１の圧縮画像を解像度を低減した第１の圧縮画像に置き換えてメモリ１５に記録し直す。

以上の機能を有する画像処理部１４は、上述した３モード、すなわち、再生モードと、静止画再現モードと、ストリームデータ変更モードにおいて、以下の処理を行う。

画像処理部１４は、再生モード時においては、高解像度の第１の圧縮画像と、低解像度の第２の圧縮画像とにより低解像度の連続したビデオストリームを生成し、表示する。

静止画再現モードにおいては、高解像度の第１の圧縮画像と、低解像度の第２の圧縮画像とにより低解像度の連続したビデオストリームを再生中に、操作者により特定画像の指定を行う。
画像処理部１４は、静止画再現モード時においては、操作者が指定した画像が第１の圧縮画像の場合は、その第１の圧縮画像の高精度静止画を出力し、表示する。
また、指定した画像が第２の圧縮画像の場合は、その画像および前後の第１の圧縮画像および第２の圧縮画像の少なくとも１以上の画面から指定した画像に対応する高解像度の画像を生成して出力し、表示する。
または、静止画再現モードにおいては、高解像度の第１の圧縮画像と、低解像度の第２の圧縮画像とにより低解像度の連続したサムネイルのような連続画像を表示し、操作者のキー操作等に画像指定を行い、画像処理部１４は、同様の処理を行う。

画像処理部１４は、ストリームデータ変更モードにおいては、操作者のキー操作等により、指定した一ストリームデータ中の高解像度の第１の圧縮画像を全て低解像度の第１の圧縮画像に自動的に置き換える処理を行う。
このストリームデータ変更モードの処理によりファイルサイズを小さくできる。この処理についてさらに詳述する。

単なる動画ファイルを再生中にある一画像で静止させても、動画の解像度が低いため、これを静止がとして保存したり、プリントアウトしても画質の粗いものになる。
これを解決するため、撮像装置１においては、図２に示すように、１秒間に複数フレーム（たとえば３０フレーム）の画像（たとえばＶＧＡサイズ）を撮影し、動画としてファイルを形成し、動画ファイルのうち１秒間に数フレーム（たとえば５フレーム）は動画よりも解像度の高い静止画（たとえばＳＸＧＡサイズ）で撮影し、一つのストリームとして記録する機能を有する。
これは、単なる動画ファイルの中に数枚の高解像度の静止画を差し込むことで、このストリームのどこで止めても、ＶＧＡサイズの画像と等間隔に撮影した高解像度の静止画を補完することで、高画質な静止画としての保存やプリントを可能とするものである。
しかし、このままでは、動画ファイル中に高解像度の静止画が存在することでファイルサイズが大きくなり、容量に制限のある記録メモリ１５の残り容量を占有してしまうおそれがある。
そこで、本実施形態に係る撮像装置１の画像処理部１４においては、操作者が静止画動画混在モードで撮影したものをプリントアウト等の必要がないと判断した場合、図２に示すように、データファイルから高解像度の静止画（ＳＸＧＡサイズ）を解像度の低い画像（ＶＧＡサイズ）に変換し、単なる動画のファイルを形成することでファイルサイズを小さくすることができるようにしている。
これは、操作者自身がキー操作等で実行することができ、メモリ１５の残り容量に余裕を持たせることができる。しかも、静止画の高解像度情報だけをカットするため、動画として再生する分には画質が劣化するなどの問題はない。

また、画像処理部１４は、ビデオストリームを出力するストリーム出力機能に加えて、上記３モードにおいて、データを高解像度の第１の圧縮画像と、低解像度の第２の圧縮画像とにより低解像度の連続したビデオストリームを出力する際、同時の出力中の第１の圧縮画像が高解像か低解像かを判別し、第１の圧縮画像が高解像か低解像かを示す信号を出力する機能を有する。
具体的には、Ｎ分割のマルチ表示画面上に第１の圧縮画像が存在する場合には、その第１の圧縮画像の画面近傍に高解像度または低解像度を判別可能なマークを表示する。また、動画的表示態様においては、高解像度を示すマークを重畳的に画面に表示する。
また、さらなる態様として、他の機器やメモリカード等の記録媒体に転送中に、各第１の圧縮画像に対して高か低かを示すフラグ信号を付加して転送する。
また、ビデオストリーム群を示すファイル一覧表示画面において、一ストリームデータ中に高解像度の第１の圧縮画像が存在するか否か、存在する場合には何画面存在するか、存在するストリームデータ上の位置データ（時間情報）を一緒に転送する。

記録系は、制御部１６により実行される制御用プログラムと、画像処理部１４により生成された画像データの圧縮データと、を格納するメモリ１５を含んで構成される。
記憶手段としてのメモリ１５には、画像処理部１４により第１の圧縮画像および第２の圧縮画像の一連のストリームデータが記憶される。

表示系は、画像処理部１４が処理し、内蔵する画像メモリに格納する画像データをアナログ化するＤ／Ａ変換器１８と、入力される画像を表示することによりファインダとして機能するＬＣＤ(Liquid Crystal Display)等よりなる表示部１９を含んで構成される。

制御系は、イメージセンサ１１乃至Ａ／Ｄ変換器１３の動作タイミングやフォーカスレンズの駆動タイミングを制御するタイミングジェネレータ１７と、ユーザによるシャッタ操作やその他のコマンドを入力するための操作入力部２０と、画像処理部１４と、メモリ１５に記憶されている制御用プログラムを読み出し、読み出した制御用プログラムと、操作入力部２０から入力されるユーザからのコマンド等に基づいて、撮像装置１の全体を制御するＣＰＵ(Central Processing Unit) などよりなる制御部１６とを含んで構成される。

制御部１６は、一つのストリーム上で異なった画素数の画像データを取り込む際、動画の場合にはローリングシャッタ機能を用い、静止画の際にはグローバルシャッタを用いるように制御する。

ここでは、一つのストリーム上で異なった画素数の画像データを取り込む際、動画はローリングシャッタ、静止画はローリングシャッタ若しくはグローバルシャッタを用いる、用いないときのカメラ状態において判断する。

すなわち、本実施形態に係る撮像装置１は、制御部１６が一連の動作の中で、違う画素数を撮像素子から取り出すシステムにおいて、動画主体として取り出す画像（比較的低画素数）と静止画として取り扱える画像（比較的高画素数）を同一ストリーム上で取り扱う場合、低画素取り込みの場合、グローバルシャッタは用いず、高画素取り込みの場合のみグローバルシャッタ（若しくはメカニカルシャッタ）を用いる若しくは用いない判断を行う。

通常、動画程度の画像を取り込む場合は、ローリングシャッタを繰り返し露光−データ転送を順次行う。また、静止画の連続撮影を行う場合は、同様にローリングシャッタを連続させるか、メカニカルシャッタを用いるか、グローバルシャッタを用いて制御する。
ここで、ローリングシャッタのみの画像取り込みでは、画像の上下で画像の歪みが発生することとなる。但し、あくまで動画像なので許容できる。
しかしながら、それが静止画像の取り込みとなると、この画像歪みを許容できなくなる。そのために、メカニカルシャッタおよびグローバルシャッタが必要となる。限りなく、高速で連続画像取り込みを行うには、メカニカルシャッタ駆動にも限界があり、グローバルシャッタが不可欠となってくる。
ここでは、一つのストリーム上で異なった画素数の画像データを取り込む際、動画はローリングシャッタ機能を用い、静止画はローリングシャッタ若しくはグローバルシャッタを用いる、用いないときのカメラ状態において判断する。

また、制御部１６は、高解像の静止画（イントラフレーム）を取得するときはフォーカスレンズ駆動を停止することで、重要度の高いイントラフレームにおいて鮮明な画像を得られるように駆動制御を行う。
撮影記録動作中は、常時ＡＦ動作を行っており、合焦制御手段によりフォーカスレンズ駆動を行い、鮮明な画像を取得し続けている。記録画像を動画として見ているときには気にはならないが、高解像の静止画として生成された画像を見ているときには、レンズ駆動によるピンぼけ画像になってしまうことが考えられる。
したがって、高解像の静止画（イントラフレーム）を取得するときはフォーカスレンズ駆動を停止することで、重要度の高いイントラフレームにおいて鮮明な画像を得られるようにする。

図３は、ローリングシャッタ使用時の撮像素子（イメージセンサ）の一例を示す図である。
図３のように、Ａ〜Ｆまでのラインが素子に存在すると仮定すると、その画像の制御は図４に示すようになる。
通常、このローリングシャッタを使用する場合はＡ〜Ｆライン間で露光時間のズレを生じるために画像歪みを生じさせる

図５は、グローバルシャッタ使用時の図２のように、Ａ〜Ｆまでのラインが素子に存在すると仮定したときの画像の制御波形例を示す図である。

この場合、グローバルシャッタ使用時は露光時間にズレを生じさせないため、画像に歪みを生じさせない。但し、露出終了が同時に起こるため、露光開始を全画素同時に行う必要がある。また、ローリングシャッタに比べ、画像転送時間が一斉に発生するため、長い時間要する。
したがって、ローリングシャッタの長所としては、その取り込みのスピードがグローバルシャッタやメカニカルシャッタに比べ高速なことである。短所としては、ライン間の画像歪みを生じさせることである。
それに比べ、グローバルシャッタ（またはメカニカルシャッタ）の長所は、画像の歪みを生じさせないデータを得ることができる一方、取り込みのスピードは、ローリングシャッタに比べ遅くなる。
これらの長所、短所をカメラシステムとして、予め予測しておけば、カメラの状況に応じ（たとえば、ユーザ設定）、画像歪みは許容できるがスピード優先は絶対必要な場合はどのような、画素数の画像であろうと全てローリングシャッタで取り込みを行い、画質優先の場合は、その必要な画像データに関してはグローバルシャッタを用いる。
なお、一連の動作の中で、違う画素数を撮像素子から取り出すシステムに限らず、同一の画素数を取り扱う場合も同様なことが言える。

上述した図３および図４はイメージセンサの露光読出し制御が、ローリングシャッタ方式の場合の、露光、読み出しの一例を示したものである。
ローリングシャッタの場合、各ラインごとに露光時間が異なるため、ライン間の画像歪みが生じてしまう。この場合、イントラフレームに相当するフレームの読み出し時には、最初のラインの露光開始時から、最終ラインの露光終了までの間、フォーカスレンズ駆動を停止する。

また、上述した図５はイメージセンサの露光読出し制御が、グローバルシャッタ方式の場合の、露光、読み出しの一例を示したものである。
グローバルシャッタ方式の場合、全画素の露光と読み出しが同じタイミングであるため、ラインずれは生じない。この場合は、一斉露光の開始から終了までの間、フォーカスレンズ駆動を停止する。
ストリーム再生時には、任意のタイミングで一時停止した際、前後のイントラフレームから高解像の画像を生成するため、良質な高解像画像を得ることは重要である。

このように、本実施形態においては、撮影記録動作中にイントラフレームに相当する高画素の静止画を読み出す際には、イントラフレームに相当するフレームの露光時だけ、フォーカスレンズの駆動を停止することで、ピンぼけのない鮮明な画像の取得が可能となる。

撮像装置１においては、被写体の光学像は、レンズ光学系１０を介してイメージセンサ１１に入射され、イメージセンサ１１により光電変換されて電気信号となる。得られた電気信号は、ＣＤＳ１２によりノイズ成分が除去され、Ａ／Ｄ変換器１３によってデジタル化された後、画像処理部１４が内蔵する画像メモリに一時格納される。
通常の状態では、タイミングジェネレータ１７による信号処理系に対する制御により、画像処理部１４が内蔵する画像メモリには、一定のフレームレートで絶えず画像信号が上書きされるようになされている。画像処理部１４が内蔵する画像メモリの画像信号は、Ｄ／Ａ変換器１８によってアナログ信号に変換され、対応する画像が表示部１９に表示される。

表示部１９は、撮像装置１のファインダの役割も担っている。ユーザが操作入力部２０に含まれるシャッタボタンを押下（操作）した後、制御部１６は、タイミングジェネレータ１７に対し、シャッタボタンが押下された直後の画像信号を保持するように、すなわち、画像処理部１４の画像メモリに画像信号が上書きされないように、信号処理系を制御する。そして、画像処理部１４の画像メモリに保持された画像データは、所定の方式により圧縮されてメモリ１５に記録される。

次に、画像処理部１４において実行される特徴的な処理について説明する。

画素数の違う画像の取り込みにおけるゲイン変倍若しくは平均制御
一連の動作の中で、違う画素数を撮像素子から取り出すシステムにおいて、動画主体として取り出す画像（比較的低画素数）と静止画として取り扱える画像（比較的高画素数）を同一ストリーム上で取り扱う場合、低画素取り込みの場合、出力される画素は最低でもその同一色画素の１画素以上の積分された画素データからなる。高画素取り込みの場合は、その低画素取り込み時の積分画素数に比べるとそれ以下の画素数となる。
その出力された画素の１画素の出力は、元の積分された画素数の差によりおのずと異なる。その異なった１画素１画素の出力を同一なものと判断すると、画像処理において、特にその画像の輝度が異なった画像を連続して生成してしまうため、おかしな画像となってしまう。
それを解消するため、画像処理部１４は、画素が出力される部分で、その画素数に応じたデジタルゲインの回路（若しくはアナログゲインの回路）、もしくは画素数分平均化する回路を設け、１画素、１画素の画像出力に差異が発生することを補正する回路を設ける。

図６は、イメージセンサの概念図である。なお、図６においてＲＧＢは色の３原色の赤、青、緑を示している。

図６のようなセンサ図において、静止画（高画素）を取り込む際は、ほぼ全画素に相当する画素を取り込む。それに対し、動画（低画素）の場合は画素数的にも少なくて済むために、全画素の取り込みは必要なく必要最小限の画素の取り込みを行う。
通常は不必要な画素は単純な間引きにより排除されるが、動画等のクオリティを求める場合、図６の（Ｒ）のように周辺のＲを積分して取り出す。
その際出力された画素データが静止画（高画素）の場合と動画（低画素）の場合では異なり、出力のレベルの差がでる。
これを補正するため、高画素と低画素時では、その積分された画素の比に応じた係数を出力データに掛け補正するか若しくは積分された画素データをその積分された画素数に応じた係数で平均化することにより、静止画と動画時の出力レベルを補正する。
図７に、本実施形態に係る補正処理の概念図を示す。

高画素時のＳ／Ｎ情報制御
一連の動作の中で、違う画素数を撮像素子から取り出すシステムにおいて、動画主体として取り出す画像（比較的低画素数）と静止画として取り扱える画像（比較的高画素数）を同一ストリーム上で取り扱う場合、低画素キャプチャーの場合、出力される画素は最低でもその同一色画素の１画素以上の積分された画素データからなり、高画素キャプチャーの場合は、その低画素キャプチヤー時の積分画素数に比べるとそれ以下の画素数となる。 低画素取り込みの場合その１画素データは複数画素の積分から生成されており、短画素取り込み時のそれと比較すると、出力は積分数だけ大きくなり、Ｓ／Ｎとしても一般的に短画素のＳ／Ｎと、比較するとＳ／Ｎ的に優れた情報である。
本実施形態においては、その積分されたデータ（動画時の情報のＳ／Ｎ情報を利用し、比較的ノイズの多いとされる短画素データ（静止画の情報）の画質向上を達成させる。

その出力された画素の１画素の出力は、元の積分された画素数の差によりおのずと異なる。その異なった１画素１画素の出力を同一なものと判断すると、画像処理において、特にその画像の輝度が異なった画像を連続して生成してしまうため、おかしな画像となってしまう。
それを解消するため、画素が出力される部分で、上述したように、画素数に応じたデジタルゲインの回路（あるいはアナログゲインの回路）、若しくは画素数分平均化する回路を設け、１画素、１画素の画像出力に差異が発生することを補正する回路を設ける。

図６を参照すると、図６は、４画素を積分している図を示している。
これは、すなわち単画素に比べると、そこから出力される（Ｒ）は約４倍の出力を持った画像出力となる。これはＩＳＯの感度で言えば約２段分有利に働く。この（Ｒ）情報を常時利用しているのが低画素出力時である。
それに比べ高画素出力時には、単画素出力情報ｒｌ〜ｒ４の情報を利用している。
イメージセンサ１１から出力されるレベル調整のため、同一ストリーム上では、この単画素ｒｌ〜ｒ４はアナログ若しくはデジタルによるゲインアップにより補正される。このゲインアップがＳ／Ｎに対し重大な劣化を招く。
元を正せば（Ｒ）情報はｒｌ〜ｒ４の積分情報であるので、ノイズの少ない（Ｒ）情報から類推することができる。
一方、単画素ｒｎは、最終的にはゲインアップされたＲｎとなる。

すなわち、単画素が各々ゲインアップされたデータの和（Ｒ１＋Ｒ２＋Ｒ３＋Ｒ４）は論理的には大元の（ｒ１＋ｒ２＋ｒ３＋ｒ４）の和である（Ｒ）と等しくなければならない。ところが、ゲインアップ等のノイズ増大により、一般的に次の関係が成立する。
ｒ１＋ｒ２＋ｒ３＋ｒ４＞＞（Ｒ）

したがって、動画情報（Ｒ）と単画素のアドレスから一致する（Ｒ１＋Ｒ２＋Ｒ３＋Ｒ４）の成分が存在する場合は、各々に掛けられたゲインが逆算し、その大元の成分である（ｒ１＋ｒ２＋ｒ３＋ｒ４）に戻した内容とその積分で構成されているはずの（Ｒ）と比較し、
ｒ１＋ｒ２＋ｒ３＋ｒ４＞＞（Ｒ）
に関係が成立した場合は、そのオーバ分はノイズと判断し、各々のＲｎに
（ｒ１−ｎ１）＋（ｒ２−ｎ２）＋（ｒ３−ｎ３）＋（ｒ４−ｎ４）・・（１）
のｎ１〜ｎ４に相当するＮ１〜Ｎ４を減じる補正を施す。

この際、ｎ１〜ｎ４は一定値である可能性も、ｒｌ〜ｒ４の出力比である可能性も、その混合の可能性もある。それはそのカメラシステムにおけるノイズ成分がどのようなノイズが支配的かによる。
また計算上（量子化誤差等）の誤差もあるため（１）式の右辺は（Ｒ）固定ではなく、（Ｒ）±ｘである。
このときのｘは、計算上の丸め込み等の誤差で生じる誤差補正数である。

動画タイミング時の再生でも静止画画質を生成する方法
一連の動作の中で、違う画素数を撮像素子から取り出すシステムにおいて、動画主体として取り出す画像（比較的低画素数）と静止画として取り扱える画像（比較的高画素数）を同一ストリーム上で取り扱い制御する方式で、その再生時に動画の画質（低画素数）しかないタイミングであっても、周囲の静止画の情報から予測された情報により動画画質を静止画として復元させる。

動画（低画素）と静止画（高画素）混在のストリーム上では、図８のようになる。
ここで高画素（静止画）画像データＩｎと低画素（動画）画像データｂｎとの違いは、出力される１画素相当画像情報の中、Ｉｎは相当する１画素の情報、ｂｎは積分する画素情報、の違いがある。
また、Ｉｎはデジタル的には、積分は可能なため、実質的にはＩｎ時の情報は、静止画情報および動画情報をもつことになる。
ここで、Ｉから予測される情報も含んだ動画情報ｂｎからは、積分された情報を一塊とする、物体移動情報が算出される。
また、Ｉｎからは、その積分される各々の単画素の含有比率情報が得られる。
したがって、動画画素数の情報しか持たない、たとえばｂ５の静止画生成には、Ｉ情報の変動から予想される各々の積分される単画素の構成比率を乗ずれば、ここの画素成分に復元できる。その個々の単画素情報から画像を生成することにより、静止画画質の画像を作り出せる。また、上述の理由によりｂとｂの間の画像もｂｎの物体移動情報及びＩｎの含有比率情報から作り出すことが可能である。

以上説明したように、本実施形態における撮像装置１によれば、信号処理系において動画撮影中、高画素の画像データをイントラフレーム圧縮して第１の圧縮画像を生成し、第１の圧縮画像を生成する期間の前後の期間で、低画素の画像データをインターフレーム圧縮して第２の圧縮画像を生成し、第２の圧縮画像の一画面を指定すると、第２の圧縮画像とその前後の第１の圧縮画像を含めた他の圧縮画像により伸長復号して指定した一画面を示す高解像度の静止画像データを生成する。
そして、本実施形態における撮像装置１は、撮影記録動作中にイントラフレームに相当する高画素の静止画を読み出す際には、イントラフレームに相当するフレームの露光時だけ、フォーカスレンズの駆動を停止する制御系１６，１７を有することから、ピンぼけのない鮮明な画像の取得が可能となる。

そして、本実施形態に係る撮像装置１は、一動画像データ取り込み中に、ローリングシャッタ機能とグローバルシャッタ機能とを併用することから、画像の歪みの発生を抑止しつつ、高速で連続画像取り込みを行うことが可能となる利点がある。
また、本実施形態に係る撮像装置１は、第１の圧縮画像の画像レベルと第２の圧縮画像の画像レベルとを略等しいレベルの補正することができ、画像の輝度が異なった画像を連続して生成してしまうためことを防止できる利点がある。
また、本実施形態に係る撮像装置１は、操作者が静止画動画混在モードで撮影したものをプリントアウト等の必要がないと判断した場合、データファイルから高解像度の静止画を解像度の低い画像に変換し、単なる動画のファイルを形成することでファイルサイズを小さくすることができ、操作者自身がキー操作等で実行することができ、メモリ１５の残り容量に余裕を持たせることができる。しかも、静止画の高解像度情報だけをカットするため、動画として再生する分には画質が劣化するなどの問題はないという利点がある。

本実施形態に係る撮像装置の一実施形態を示すブロック図である。 本実施形態におけるストリームデータ変更モード時の動作を説明するための図である。 ローリングシャッタ使用時の撮像素子（イメージセンサ）の一例を示す図である。 図３のように、Ａ〜Ｆまでのラインが素子に存在すると仮定したときの画像の制御波形例を示す図である。 グローバルシャッタ使用時の図３のように、Ａ〜Ｆまでのラインが素子に存在すると仮定したときの画像の制御波形例を示す図である。 イメージセンサの概念図である。 本実施形態に係る補正処理の概念図を示す図である。 動画（低画素）と静止画（高画素）混在のストリーム上の概念図である。

符号の説明

１…撮像装置
１０…レンズ光学系
１１…イメージセンサ
１２…ＣＤＳ
１３…Ａ／Ｄ変換器
１４…画像処理部
１５…メモリ
１６…制御部
１７…タイミングジェネレータ
１８…Ｄ／Ａ変換器
１９…表示部
２０…操作入力部

Claims (13)

1. 被写体の光学像を撮像素子に結像させ当該撮像素子から高解像度の高画素データまたは低解像度の低画素データを読み出し、これら画像データに対して所定の画像処理を行う撮像装置であって、
   上記被写体の光学像を上記撮像素子に結像するフォーカスレンズと、
   上記フォーカスレンズの駆動制御を行う駆動制御部と、
   一動画像データを取り込み中に、上記高画素データを圧縮した第１の圧縮画像と、上記第１の圧縮画像を生成する期間の前後の期間で、間引きによる低画素データを圧縮した第２の圧縮画像とを一連のストリームとして生成する画像処理部と、を有し、
   上記駆動制御部は、
   動画撮影中に上記フォーカスレンズによる合焦動作を行う際に、高解像度の高画像データを得る露光期間中には合焦動作を停止する
   撮像装置。
2. シャッタ機能がローリングシャッタ機能の場合、上記駆動制御部は、上記高解像度の高画素データを読み出し時には、最初のラインの露光開始時から、最終ラインの露光終了までの間、フォーカスレンズ駆動を停止する
   請求項１に記載の撮像装置。
3. シャッタ機能がグローバルシャッタ機能の場合、上記駆動制御部は、一斉露光の開始から終了までの間、フォーカスレンズ駆動を停止する
   請求項１に記載の撮像装置。
4. 上記画像処理部は、一動画像データを取り込み中に、上記高画素データをイントラフレーム圧縮した第１の圧縮画像と、上記第１の圧縮画像を生成する期間の前後の期間で、間引きによる低画素データをインターフレーム圧縮した第２の圧縮画像とを一連のストリームとして生成し、上記第１の圧縮画像の画像レベルと上記第２の圧縮画像の画像レベルとを略等しいレベルに補正する
   請求項１から３のいずれか一に記載の撮像装置。
5. 上記画像処理部は、上記第２の圧縮画像の一画面を指定すると、当該第２の圧縮画像の画面を前後の上記第１の圧縮画像を含めた他の画像により伸長復号した高精細静止画を生成する
   請求項１から４のいずれか一に記載の撮像装置。
6. 上記第１の圧縮画像および上記第２の圧縮画像の一連のストリームデータが記憶される記憶手段を有する
   請求項１から５のいずれか一に記載の撮像装置。
7. 上記画像処理部は、一ストリームデータ上の上記第１の圧縮画像を一画面指定すると、当該第１の圧縮画像の解像度を上記第２の圧縮画像と同程度に低減し、上記一ストリームデータの当該第１の圧縮画像を上記解像度を低減した第１の圧縮画像に置き換えて上記記憶手段に記録し直す
   請求項６に記載の撮像装置。
8. 一ストリームデータの複数の上記第１の圧縮画像の解像度全てを、上記第２の圧縮画像と同程度に低減し、上記一ストリームデータの第１の圧縮画像を上記解像度を低減した第１の圧縮画像に置き換えて上記記憶手段に記録し直す
   請求項６に記載の撮像装置。
9. 上記高画素データは、上記撮像素子から間引かずに読み出したデータまたは任意の間引き量で間引いて読み出したデータであり、上記低画像データは、上記撮像素子から当該高画素データより低い解像度となるような任意の間引き量で間引いて読み出したデータである
   請求項１から８のいずれか一に記載の撮像装置。
10. シャッタ機能としてグローバルシャッタ機能とローリングシャッタ機能とを含み、
    上記画像処理部は、上記グローバルシャッタで取り込んだ画素データより第１の圧縮画像を生成し、上記ローリングシャッタで取り込んだ画素データより第２の圧縮画像を生成する
    請求項１から９のいずれか一に記載の撮像装置。
11. 上記画像処理部は、上記第２の圧縮画像の一画面を指定すると、当該第２の圧縮画像の画面を前後の上記第１の圧縮画像を含めた他の画像により伸長復号して当該指定した一画面を示す高解像度の静止画像データを生成する
    請求項１から１０のいずれか一に記載の撮像装置。
12. 高解像度の第１の圧縮画像と、低解像度の第２の圧縮画像とにより低解像度の連続したビデオストリームを出力するストリーム出力手段と、
    圧縮画像が高解像度か低解像度かを判別する判別手段と、
    上記判別手段により上記圧縮画像が高解像度か低解像度かを示す信号を出力する判別信号出力手段と、を有する
    請求項１から１１のいずれか一に記載の撮像装置。
13. 被写体の光学像を撮像素子に結像させ当該撮像素子から高解像度の高画素データまたは低解像度の低画素データを読み出し、これら画像データに対して所定の画像処理を行う撮像装置の画像生成方法であって、
    上記被写体の光学像をフォーカスレンズを通して上記撮像素子に結像するステップと、
    一動画像データを取り込み中に、上記高画素データを圧縮した第１の圧縮画像を生成するステップと、
    上記第１の圧縮画像を生成する期間の前後の期間で、間引きによる低画素データを圧縮した第２の圧縮画像とを一連のストリームとして生成するステップと、を有し、
    動画撮影中に合焦動作を行う際に、高解像度の高画像データを得る露光期間中には合焦動作を停止する
    撮像装置の画像生成方法。
    
    

Images