JP2008245009A - 撮像装置および画像処理方法 - Google Patents

Abstract

【課題】撮影画像データに対する画像処理を速やかに開始できる撮像装置の技術を提供する。
【解決手段】カメラシステム１Ａにおけるフロントエンジン４では、撮像部１５から出力される撮影画像データをＤＲＡＭ４ｂに記憶させる記憶処理と並行して行うハードウェア処理として、撮像部１５から出力される撮影画像を縮小し縮小画像を生成する処理を画像縮小部４１０で実行する。そして、フロントエンジン４からバックエンジン５にＤＲＡＭ４ｂ内の画像データを転送する前に、画像縮小部４１０で生成された縮小画像をバックエンジン５に転送する。これにより、縮小画像に基づく補正パラメータをパラメータ演算部５７で早期に決定できるため、この補正パラメータに基づく撮影画像データへの補正処理(画像処理)を補正部５８０で速やかに開始できる。
【選択図】図４

Description

本発明は、被写体に係る画像データを出力する撮像手段を有する撮像装置の技術に関する。

デジタルカメラ(撮像装置)においては、撮像センサ(イメージセンサ)で生成された撮影画像データに対してガンマ補正やホワイトバランス補正などの補正処理が施されることにより、適切な撮影画像を得ることができる。(例えば特許文献１)

上記の補正処理においては、例えば撮像センサから出力された撮影画像に対して解像度を低下させた縮小画像をＣＰＵを用いて生成し、この縮小画像に基づき補正処理で用いる最適な補正パラメータが決定されるようになっている。

特開２００２−９４９３４号公報

しかしながら、上記の縮小画像はＣＰＵを用いたソフトウェア処理によって生成されるため、撮像センサからの撮影画像の出力が完了しても暫くの間は縮小画像が得られない。これでは、縮小画像に基づく補正パラメータの決定が遅れてしまい、撮影画像データに対して補正パラメータを用いた補正処理(画像処理)を速やかに開始できないこととなる。

本発明は、上記課題に鑑みてなされたものであり、撮影画像データに対する画像処理を速やかに開始できる撮像装置の技術を提供することを目的とする。

本発明の第１の側面は、撮像装置であって、(a)被写体に係る画像データを出力する撮像手段と、(b)前記撮像手段から出力される画像データを所定の記憶手段に記憶させる記憶処理を実行する第１処理部と、(c)前記所定の記憶手段から読み出された画像データに対して画像処理を実行する第２処理部とを備え、前記第１処理部は、(b-1)前記記憶処理と並行して行うハードウェア処理として、前記撮像手段から出力される画像データを加工し加工データを生成する処理を実行する処理回路を有するとともに、前記第２処理部は、(c-1)前記処理回路で生成された前記加工データに基づき、前記画像データに対する画像処理を実行する画像処理手段を有することを特徴とする。

本発明の第２の側面は、画像処理方法であって、(a)被写体に係る画像データを撮像手段で生成する撮像工程と、(b)前記撮像手段から出力される画像データを所定の記憶手段に記憶させる記憶処理を実行する記憶処理工程と、(c)前記記憶処理と並行して行うハードウェア処理として、前記撮像手段から出力される画像データを加工し加工データを生成する処理を実行するハードウェア処理工程と、(d)前記ハードウェア処理工程で生成された前記加工データに基づき、前記所定の記憶手段から読み出された画像データに対して画像処理を実行する画像処理工程とを備えることを特徴とする。

本発明によれば、撮像手段から出力される画像データを所定の記憶手段に記憶させる記憶処理と並行して行うハードウェア処理として、撮像手段から出力される画像データを加工し加工データを生成する処理を実行する。そして、所定の記憶手段から読み出された画像データに対して加工データに基づく画像処理を実行する。その結果、撮影画像データに対する画像処理を速やかに開始できる。

＜第１実施形態＞
＜カメラシステムの外観構成＞
図１および図２は、本発明の第１実施形態に係るカメラシステム１Ａの外観構成を示す図である。ここで、図１および図２は、それぞれ正面図および背面図を示している。

カメラシステム１Ａは、例えば一眼レフレックスタイプのデジタルスチルカメラとして構成される撮像装置として機能し、カメラボディ１０と、カメラボディ１０に着脱自在な交換レンズ２とを備えている。

図１において、カメラボディ１０の正面側には、正面略中央に交換レンズ２が装着されるマウント部３０１と、マウント部３０１の右横に配置されたレンズ交換ボタン３０２と、正面左端部（Ｘ方向左側）において突設され、ユーザが片手（又は両手）により確実に把持可能とするためのグリップ部３０３と、正面左上部（Ｙ方向左上側）に配置されたモード設定ダイアル３０５と、正面右上部に配置された制御値設定ダイアル３０６と、グリップ部３０３の上面に配置されたシャッターボタン３０７とが設けられている。

また、図２において、カメラボディ１０の背面側には、ＬＣＤ（Liquid Crystal Display）３１１と、ＬＣＤ３１１の左方に配置された設定ボタン群３１２と、ＬＣＤ３１１の右方に配置された十字キー３１４と、十字キー３１４の中央に配置されたプッシュボタン３１５と、十字キー３１４の右下に配置された手振れ補正スイッチ３１３とが備えられている。また、カメラボディ１０の背面側には、ＬＣＤ３１１の上方に配設された光学ファインダ３１６と、光学ファインダ３１６の右方に配設された露出補正ボタン３２３およびＡＥロックボタン３２４と、光学ファインダ３１６の上方に配設されたフラッシュ部３１８および接続端子部３１９とが備えられている。

マウント部３０１には、装着された交換レンズ２との電気的接続を行うための複数個の電気的接点や、機械的接続を行うためのカプラ等が設けられている。

レンズ交換ボタン３０２は、マウント部３０１に装着された交換レンズ２を取り外す際に押下されるボタンである。

グリップ部３０３は、ユーザが撮影時にカメラシステム１Ａを把持する部分であり、フィッティング性を高めるために指形状に合わせた表面凹凸が設けられている。なお、グリップ部３０３の内部には電池収納室およびカード収納室(不図示)が設けられている。電池収納室にはカメラの電源として電池１０７(図３)が収納されており、カード収納室には撮影画像の画像データを記録するための記録媒体９（例えばメモリステック９１(図３)やコンパクトフラッシュ（登録商標）(図３)などのメモリカード）が着脱可能に収納されるようになっている。なお、グリップ部３０３には、当該グリップ部３０３をユーザが把持したか否かを検出するためのグリップセンサを設けるようにしても良い。

モード設定ダイアル３０５及び制御値設定ダイアル３０６は、カメラボディ１０の上面と略平行な面内で回転可能な略円盤状の部材からなる。モード設定ダイアル３０５は、自動露出（ＡＥ）制御モードや自動焦点（ＡＦ；オートフォーカス）制御モード、或いは１枚の静止画を撮影する静止画撮影モードや連続撮影を行う連写撮影モード等の各種撮影モード、記録済みの画像を再生する再生モード等、カメラシステム１Ａに搭載されたモードや機能を択一的に選択するためのものである。一方、制御値設定ダイアル３０６は、カメラシステム１Ａに搭載された各種の機能に対する制御値を設定するためのものである。

シャッターボタン３０７は、途中まで押し込んだ「半押し状態」の操作と、さらに押し込んだ「全押し状態」の操作とが可能とされた押下スイッチである。静止画撮影モードにおいてシャッターボタン３０７が半押し（Ｓ１）されると、被写体の静止画を撮影するための準備動作（露出制御値の設定や焦点調節等の準備動作）が実行され、シャッターボタン３０７が全押し（Ｓ２）されると、撮影動作（撮像センサを露光し、その露光によって得られた画像信号に所定の画像処理を施してメモリカード等に記録する一連の動作）が実行される。

ＬＣＤ３１１は、画像表示が可能なカラー液晶パネルを備えており、撮像センサ(撮像素子)１５１(図３)により撮像された画像の表示や記録済みの画像の再生表示等を行うとともに、カメラシステム１Ａに搭載される機能やモードの設定画面を表示するものである。なお、ＬＣＤ３１１に代えて、有機ＥＬやプラズマ表示装置を用いるようにしても良い。

設定ボタン群３１２は、カメラシステム１Ａに搭載された各種の機能に対する操作を行うボタンである。この設定ボタン群３１２には、例えばＬＣＤ３１１に表示されるメニュー画面で選択された内容を確定するための選択確定スイッチ、選択取り消しスイッチ、メニュー画面の内容を切り替えるメニュー表示スイッチ、表示オン／オフスイッチ、表示拡大スイッチなどが含まれる。

手振れ補正スイッチ３１３は、手振れ補正動作を実行させるための操作信号を与えるためのボタンである。この手振れ補正スイッチ３１３は、手持ち撮影、望遠撮影、暗部での撮影、或いは長時間露光が必要な撮影時等、手振れ等の「振れ」の影響が撮影画像に表出する恐れがある場合にユーザにより操作され、当該カメラボディ１０の手振れ補正動作が行える状態に設定するものである。

十字キー３１４は、円周方向に一定間隔で配置された複数の押圧部（図中の三角印の部分）を備える環状の部材を有し、各押圧部に対応して備えられた図示省略の接点（スイッチ）により押圧部の押圧操作が検出されるように構成されている。また、プッシュボタン３１５は、十字キー３１４の中央に配置されている。十字キー３１４及びプッシュボタン３１５は、撮影倍率の変更（ズームレンズのワイド方向やテレ方向への移動）、ＬＣＤ３１１等に再生する記録画像のコマ送り、及び撮影条件（絞り値、シャッタースピード、フラッシュ発光の有無等）の設定等の指示を入力するためのものである。

光学ファインダ３１６は、被写体が撮影される範囲を光学的に表示するものである。すなわち、光学ファインダ３１６には、交換レンズ２からの被写体像が導かれており、ユーザは、この光学ファインダ３１６を覗くことにより、実際に撮像部１５の撮像センサ１５１にて撮影される被写体を視認することができる。

メインスイッチ３１７は、左右にスライドする２接点のスライドスイッチからなり、左にセットするとカメラシステム１Ａの電源がオン(投入)され、右にセットすると電源がオフ(切断)される。

フラッシュ部３１８は、ポップアップ式の内蔵フラッシュとして構成されている。一方、外部フラッシュ等をカメラボディ１０に取り付ける場合には、接続端子部３１９を使用して接続する。

アイカップ３２１は、遮光性を有してＥＶＦ３１６への外光の侵入を抑制する「コ」字状の遮光部材である。

露出補正ボタン３２３は、露出値（絞り値やシャッタースピード）を手動で調整するためのボタンであり、ＡＥロックボタン３２４は、露出を固定するためのボタンである。

交換レンズ２は、被写体からの光（光像）を取り込むレンズ窓として機能するとともに、当該被写体光をカメラボディ１０の内部に配置されている撮像センサに導くための撮影光学系として機能するものである。この交換レンズ２は、上述のレンズ交換ボタン３０２を押下操作することで、カメラボディ１０から取り外すことが可能となっている。

交換レンズ２は、その光軸に沿って直列的に配置された複数のレンズからなるレンズ群を備えている。このレンズ群には、焦点の調節を行うためのフォーカスレンズと、変倍を行うためのズームレンズとが含まれており、それぞれ光軸方向に駆動されることで、変倍や焦点調節が行われる。また、交換レンズ２には、その鏡胴の外周適所に該鏡胴の外周面に沿って回転可能な操作環が備えられており、上記のズームレンズは、マニュアル操作或いはオート操作により、上記操作環の回転方向及び回転量に応じて光軸方向に移動し、その移動先の位置に応じたズーム倍率(撮影倍率)に設定されるようになっている。

＜カメラシステム１Ａの電気的構成＞
図３は、カメラシステム１Ａの電気的な構成を示すブロック図である。ここで、図１〜図２と同一の部材等については、同一の符号を付している。

カメラシステム１Ａは、カメラシステム１Ａに関するカメラ機構の制御(カメラ制御)を担当するカメラ制御部１００と、撮像部１５で生成された被写体の画像信号に対して補正等の処理を行うフロントエンジン４と、フロントエンジン４で処理された画像データに画像処理を施す画像処理エンジンとしてのバックエンドエンジン(以下では「バックエンジン」と略称する)５とを備えている。

カメラ制御部１００は、ＣＰＵ(Central Processing Unit)１００ａを有して、カメラシステム１Ａにおいて撮影動作時の制御等を行う部位である。このカメラ制御部１００では、Ｉ／Ｏ部１０２を介して交換レンズ２内の各部位の制御(例えばフォーカスレンズの駆動制御)が可能であり、位相差ＡＦモジュール１０３から出力される出力信号に基づき交換レンズ２内のフォーカスレンズを駆動してオートフォーカス(ＡＦ)が実施される。また、カメラ制御部１００は、測光センサ１０４からの出力信号に基づき露光制御(ＡＥ制御)を行う。

また、カメラ制御部１００は、シャッター１０５の駆動制御、フラッシュ３１８の発光制御や、ミラー駆動部１０８を介してカメラボディ１０内のミラーを駆動する制御を行うとともに、電源制御部１０６を用いてグリップ部３０３の内部の電池収納室に収納される電池１０７からカメラシステム１Ａの各部位に電力を供給する電源制御を行う。

手振れ制御部１１０は、ＣＰＵ１１０ａを有し、手振れ補正動作の制御を行う部位である。この手振れ制御部１１０では、手振れ補正用のジャイロセンサ１１１からの出力信号に基づき手振れ量を演算し、この演算された手振れ量に基づいて撮像センサ１５１を交換レンズ２の光軸に対して垂直方向に移動させるアクチュエータ１１２を駆動させる。

撮像部１５は、撮像センサ１５１と、この撮像センサ１５１から出力されるアナログ信号をデジタル信号に変換するＡ／Ｄ変換部１５２とを備えている。この撮像部１５では、連続的な一連の撮影、例えば連写撮影により各撮影画像に係るＲＡＷ形式の画像データ（以下では、「ＲＡＷ画像データ」ともいう）を順次に出力することが可能である。

撮像センサ１５１は、カメラボディ１０に交換レンズ２が装着された場合の当該交換レンズ２が備えているレンズ群の光軸上において、その光軸に対して垂直となる方向に配置されている。この撮像センサとしては、例えばフォトダイオードを有して構成される複数の画素がマトリクス状に２次元配置され、各画素の受光面に、それぞれ分光特性の異なる例えばＲ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタが１：２：１の比率で配設されてなるベイヤー配列のＣＭＯＳカラーエリアセンサ（ＣＭＯＳ型のイメージセンサ）が用いられる。このような撮像センサ１５１では、交換レンズ２を通って結像された被写体光像に関するＲ（赤）、Ｇ（緑）、Ｂ（青）各色成分のアナログの電気信号（画像信号）を生成し、Ｒ、Ｇ、Ｂ各色の画像信号が出力される。すなわち、撮像センサ１５１からは、上記ベイヤー配列で配置されたＲＧＢ各色の画素信号からなるＲＡＷ形式の画像信号(以下では、単に「ＲＡＷ画像信号」ともいう)が出力される。

フロントエンジン(第１処理部)４は、マイクロコンピュータとして機能するＣＰＵ４ａ、ＤＲＡＭ４ｂおよびフラッシュＲＯＭ４ｃを有しており、ＤＲＡＭ４ｂにはＲＡＷ画像データ等が記憶されるとともに、フラッシュＲＯＭ４ｃには例えば制御用等のプログラムが格納される。そして、フロントエンジン４では、撮像センサ１５１の駆動をセンサ制御部４０１によって制御するとともに、撮像部１５から出力されたＲＡＷ画像データに対して画像の周辺減光補正(シェーディング補正)や各画素の信号レベルに関するばらつき等の補正を行う。なお、フロントエンジン４は、ＤＲＡＭ４ｂおよびフラッシュＲＯＭ４ｃを除く部分(破線内)が各種の処理を行うための処理ユニット４ｄとして構成されている。

センサ制御部４０１は、撮像部１５から出力されるＲＡＷ画像データの解析データとして、ＲＡＷ画像データの解像度を低減させた縮小画像データを生成する画像縮小部４１０を有している。この画像縮小部４１０は、撮像部１５から出力されるＲＡＷ画像データに対してベイヤー配列を維持したままで画像の縮小処理を行う専用の処理回路として構成されており、ＲＡＷ画像データに対してデータ量を低減させた例えば２０×１５画素の縮小画像データが作成される。このように画像縮小部４１０は縮小画像の生成に特化した専用のハードウェアとして構成されているため、ソフトウェア的な処理で画像の縮小処理を行う従来技術に比べてリアルタイム性が向上し迅速に縮小画像を生成できることとなる。これにより、この縮小画像に基づく補正パラメータの決定を早期に行うことが可能となる。

フロントエンジン４は、タイミングジェネレータ(ＴＧ)４０２と、電力制御部４０３と、フロントエンジン４の外部との入出力を行うためのインターフェース部４０４とを備えている。

タイミングジェネレータ４０２は、撮像センサ１５１に関する露光動作の開始（及び終了）等のタイミングを計る部位である。

電力制御部４０３は、バックエンジン５に関する電源の投入・切断(オン・オフ)を制御する。そして、この電力制御部４０３により、バックエンジン５に対して画像処理(後述のＹＣＣ変換およびＪＰＥＧ変換処理)を開始する際に電源を投入させるとともに、この画像処理を終了する際に電源を切断させるようにする。これにより、消費電力の低減が図れることとなる。

インターフェース(Ｉ／Ｆ)部４０４は、フロントエンジン４内で補正処理されたＲＡＷ画像データをバックエンジン５に出力するためのＲＡＷＩ／Ｆ４０５と、バックエンジン５でＪＰＥＧ圧縮等の画像処理が施された画像データを入力するためのＪＰＧＩ／Ｆ４０６とを備えている。

また、インターフェース部４０４は、カメラボディ１０に設けられたＵＳＢ端子９０から外部に画像データ等を出力するためのＵＳＢＩ／Ｆ４０７と、グリップ部３０３の内部のカード収納室に収納されたメモリスティック(ＭＳ)９１やコンパクトフラッシュ（登録商標）(ＣＦ)９２との間で画像データ等の入出力を行うためのＭＳＩ／Ｆ４０８およびＣＦＩ／Ｆ４０９とを有している。

バックエンジン(第２処理部)５は、マイクロコンピュータとして機能するＣＰＵ５０、ＤＲＡＭ５１およびフラッシュＲＯＭ５２を備えてフロントエンジン４のＤＲＡＭ４ｂから読み出されたＲＡＷ画像データに対して画像処理を実行する画像処理回路として構成されており、ＤＲＡＭ５１には画像データ等が記憶されるとともに、フラッシュＲＯＭ５２には例えば制御用のプログラム等が格納される。このようにＣＰＵ５０を備えたバックエンジン５では、画像処理専用の単なるハードウェアエンジンに比べて機能向上が図れることとなる(後で詳述)。なお、バックエンジン５は、ＤＲＡＭ５１およびフラッシュＲＯＭ５２を除く部分(破線内)が画像処理等の各種の処理を行う処理ユニット５６として構成されている。

バックエンジン５は、フロントエンジン４のＲＡＷＩ／Ｆ４０５から出力される処理済みのＲＡＷ画像データを入力するためのＲＡＷＩ／Ｆ５３と、この処理済みのＲＡＷ画像データに対して現像処理およびＪＰＥＧ圧縮処理を施し生成された圧縮画像データをフロントエンジン５のＪＰＧＩ／Ｆ４０６に出力するためのＪＰＧＩ／Ｆ５４とを有している。なお、これらの処理済みのＲＡＷ画像データおよび圧縮画像データの伝送は、フロントエンジン４とバックエンジン５との間に設けられる専用バスを通じて行われる。

バックエンジン５は、ＬＣＤ３１１を駆動するためのＬＣＤドライバ５５を有しており、このＬＣＤドライバ５５を介しＣＰＵ５０を用いてＬＣＤ３１１に撮影画像の画像出力を行わせることが可能となっている。このようにＬＣＤ３１１への画像表示機能を有するバックエンジン５では、現像処理された画像データを、画像表示機能を有する他の部位(例えばフロントエンジン４)に転送して画像表示させる必要がないため、迅速なアフタービュー表示等の画像表示を行えることとなる。これにより、カメラシステム１Ａにおいては、画像処理専用の単なるハードウェアエンジンを備えたシステムより高速な画像表示が可能となる。

以上の構成を有するカメラシステム１Ａでの撮影時の処理について、以下で説明する。

＜撮影時の処理について＞
図４は、カメラシステム１Ａにおける撮影時の処理を説明するための図である。なお、図４では、データの流れを太線の矢印で示している。以下では、図４を参照し、撮影時における各処理をデータの流れ（フロー）に沿って順に説明する。

(１)フローＦ１〜Ｆ２
まず、カメラ制御部１００から絞り値やシャッタースピード、撮影日時などの撮影情報がフロントエンジン４のＤＲＡＭ４ｂに転送される。同様に、手振れ制御部１１０から手振れ補正に関する手振れデータがＤＲＡＭ４ｂに転送される。なお、ＤＲＡＭ４ｂに格納される撮影情報および手振れデータを、以降では撮影関連情報とも称する。

(２)フローＦ３〜Ｆ５
撮像部１５から出力されるＲＡＷ画像データが、センサ制御部４０１を経由してフロントエンジン４のＤＲＡＭ４ｂに転送される。すなわち、フロントエンジン４によって撮像部１５から出力されるＲＡＷ画像データをＤＲＡＭ４ｂに記憶させる記憶処理が実行される。

また、フロントエンジン４は、センサ制御部４０１へのＲＡＷ画像データの入力開始から、画像縮小部４１０においてＲＡＷ画像の縮小処理を開始する。そして、ＤＲＡＭ４ｂへのＲＡＷ画像データの転送が完了した直後には画像縮小部４１０での縮小処理を完了させるようにして、生成された縮小画像をＲＡＷ画像の解析データとしてＤＲＡＭ４ｂに保存する。

このように撮像部１５からのＲＡＷ画像データをＤＲＡＭ４ｂに記憶させる記憶処理と並行して行うハードウェア処理として、撮像部１５から出力される撮影画像を縮小(加工)し縮小画像データ(加工データ)を生成する処理を画像縮小部４１で実行するため、ＣＰＵを用いてソフトウェア処理を行っていた従来技術と比べて縮小画像を迅速に作成できることとなる。

(３)フローＦ６
フロントエンジン４のＤＲＡＭ４ｂに格納されている縮小画像および撮影関連情報が、フロントエンジン４のＲＡＷＩ／Ｆ４０５およびバックエンジン５のＲＡＷＩ／Ｆ５３を介してバックエンジン５のＤＲＡＭ５１に転送される。

(４)フローＦ７〜Ｆ８
バックエンジン５のＤＲＡＭ５１に格納されている縮小画像データをパラメータ演算部５７に伝送し、この縮小画像データ(加工データ)に基づきＹＣ変換／解像度変換部５８の補正部５８０における補正処理(画像処理)で用いる補正パラメータ(画像処理パラメータ)を演算により決定する。そして、パラメータ演算部５７で演算された補正パラメータをＹＣ変換／解像度変換部５８の補正部５８０に伝送して補正パラメータの設定を行う。

上記のパラメータ演算部５７では、例えばＣＰＵ５０を用いたソフトウェア処理によって、縮小画像および撮影関連情報に基づき例えば次のような各種の補正パラメータ（画像処理パラメータ）が決定される。換言すれば、ＲＡＷ画像データと比べてデータ量が削減されハンドリング性が向上した縮小画像は、ソフトウェア処理での負荷を軽減させ、次の各補正パラメータの演算において共通して利用できる中間的なデータとしての役割を担っている。

ｉ）γカーブ
シャッタースピードや絞りによる撮影時のＡＥ制御に対して撮影後には画像処理による露出補正が行われるが、この露出補正では、縮小画像等の情報に基づき撮影シーンやカメラの設定に合わせた適切なγカーブが決定される。

ii）ホワイトバランス(ＷＢ)ゲイン
縮小画像等の情報に基づき被写体に関する光源の判別を行って、ＲＧＢ各色に対して適切なＷＢゲインが決定される。

iii)色マトリクス
良好な色再現を実現するために、縮小画像等の情報に基づき、撮影シーンやカメラの設定に合わせた適切な色マトリクスが決定される。

iv）黒レベル
縮小画像等の情報に基づき、撮像センサから出力される画像信号のうち黒色に対応する信号レベル(黒レベル)が決定される。

ｖ）シャープネス
良好なシャープネス処理を施すために、縮小画像等の情報に基づき、撮影シーンやカメラの設定に合わせた適切なエッジ強調レベルが決定される。

以上のような補正パラメータがパラメータ演算部５７で決定され、ＹＣ変換／解像度変換部５８の補正部５８０に伝達されることにより、撮影画像データに対する適切な補正処理が補正部５８０で行えることとなる。

(５)フローＦ９
フロントエンジン４のＤＲＡＭ４ｂに格納されているＲＡＷ画像データが、フロントエンジン４のＲＡＷＩ／Ｆ４０５およびバックエンジン５のＲＡＷＩ／Ｆ５３を介してバックエンジン５のＤＲＡＭ５１に転送される。この際には、フロントエンジン４により、ＤＲＡＭ４ｂ内のＲＡＷ画像データに対して後述のＹＣＣ変換処理に関する前処理、具体的にはシェーディング補正や欠陥画素補正が行われ、これらの補正が施されたＲＡＷ画像データ（以下では「処理済みのＲＡＷ画像データ」ともいう）がフロントエンジン４から出力されるとともに、この処理済みのＲＡＷ画像データがＲＡＷＩ／Ｆ５３を介してバックエンジン５に入力される。

以上のフローＦ７〜Ｆ９においては、フロントエンジン４からＤＲＡＭ４ｂ内のＲＡＷ画像データを読み出してバックエンジン５に出力する前に、画像縮小部４１０で生成された縮小画像をバックエンジン５に出力するため、縮小画像に基づくパラメータ演算部５７での補正パラメータの算出を迅速に行えることとなる。

(６)フローＦ１０
バックエンジン５のＤＲＡＭ５１に格納される処理済みのＲＡＷ画像データに対し処理ユニット５６内のＹＣ変換／解像度変換部５８で、デジタルのＲＧＢ信号をデジタルの輝度信号および色差信号に変換する輝度・色差変換処理としてのＹＣｒＣｂ(ＹＣＣ)変換を行って主画像のＹＣＣデータ(以下では「メインＹＣ画像」ともいう)を生成し、このメインＹＣ画像をＤＲＡＭ５１に保存させる。

このＹＣ変換／解像度変換部５８では、上記のＹＣＣ変換処理とともに、パラメータ演算部５７で決定された補正パラメータに基づき上述した露出補正等の補正処理(画像処理)が補正部５８０で実行される。この補正部５８０においては、パラメータ演算部５７で演算された補正パラメータが既にセットされているため、この補正パラメータに基づく補正処理を速やかに実施できることとなる。

(７)フローＦ１１
バックエンジン５のＤＲＡＭ５１に格納されるメインＹＣ画像に対し処理ユニット５６内のＹＣ変換／解像度変換部５８で解像度変換を行ってＪＰＥＧファイルのＥｘｉｆデータ部で用いるサムネイル画像のＹＣＣデータ(以下では「サムネイルＹＣ画像」とも称する)を生成し、このサムネイルＹＣ画像をＤＲＡＭ５１に保存させる。

(８)フローＦ１２
バックエンジン５のＤＲＡＭ５１に格納されるメインＹＣ画像に対し処理ユニット５６内のＪＰＥＧ変換部５９でＪＰＥＧデータに変換する処理を行ってデータ圧縮された主画像(メイン画像)を生成し、このデータ圧縮されたメイン画像をＤＲＡＭ５１に保存させる。

(９)フローＦ１３
バックエンジン５のＤＲＡＭ５１に格納されるサムネイルＹＣ画像に対し処理ユニット５６内のＪＰＥＧ変換部５９でＪＰＥＧデータに変換する処理を行ってデータ圧縮されたサムネイル画像を生成し、このデータ圧縮されたサムネイル画像をＤＲＡＭ５１に保存させる。

(１０)フローＦ１４
バックエンジン５のＤＲＡＭ５１に格納される撮影関連情報に基づき、処理ユニット５６においてＪＰＥＧファイルのＥｘｉｆタグのデータを作成する。ここでは、バックエンジン５のＣＰＵ５０(図３)を用いてＥｘｉｆタグ情報、つまりＪＰＥＧ形式の圧縮画像データに付されるヘッダ情報が生成されるため、画像処理専用の単なるハードウェアエンジンでは困難であったヘッダ情報の作成がバックエンジン５において適切に行えることとなる。

以上の処理により、バックエンジン５のＤＲＡＭ５１にはＪＰＥＧ圧縮処理されたメイン画像およびサムネイル画像とＥｘｉｆタグ情報とが保存されることとなり、ＪＰＥＧファイルイメージを構成するのに必要なデータ(情報)が揃うこととなる。

(１１)フローＦ１５
バックエンジン５のＤＲＡＭ５１に格納されるＪＰＥＧファイルイメージ（ＪＰＥＧ変換済みのメイン画像およびサムネイル画像とＥｘｉｆタグ情報）が、バックエンジン５のＪＰＧＩ／Ｆ５４およびフロントエンジン４のＪＰＧＩ／Ｆ４０６を介してフロントエンジン４のＤＲＡＭ４ｂに転送される。

すなわち、バックエンジン５では、ＹＣ変換／解像度変換部５８によるＹＣＣ変換処理、つまり輝度・色差変換処理と、ＪＰＥＧ変換部５９によるデータ圧縮処理とを含む画像処理が行われ、ＪＰＥＧ形式の圧縮画像データがフロントエンジン４に出力されることとなる。

(１２)フローＦ１６
フロントエンジン４のＤＲＡＭ４ｂに格納されるＪＰＥＧファイルイメージが、処理ユニット４ｄ内の記録制御部４１１によって記録媒体９に記録される。すなわち、バックエンジン５から出力されたＪＰＥＧ形式の圧縮画像データが記録制御部４１１によって記録媒体９に記録される。

以上のカメラシステム１Ａにおいては、撮像部１５から出力される撮影画像に関する縮小画像をフロントエンジン４の画像縮小部４１０でハードウェア処理により高速に生成し、この縮小画像を撮影画像データより先にバックエンジン(画像処理エンジン)５に転送することにより、撮影画像データの転送完了を待たずにパラメータ演算部５７で縮小画像に基づく補正パラメータを決定できる。その結果、バックエンジン５に転送されてくる撮影画像データに対して即座に補正パラメータに基づく補正処理を行えるため、撮影画像データに対する補正処理(画像処理)を速やかに開始できることとなる。

＜第２実施形態＞
＜カメラシステムの構成＞
本発明の第２実施形態に係るカメラシステム１Ｂについては、図１〜２に示す第１実施形態のカメラシステム１Ａと同様の外観構成を有している。

図５は、カメラシステム１Ｂの電気的な構成を示すブロック図である。なお、図５は、図３に示す第１実施形態のブロック図に対応しており、図３と同一の部位等については同一の符号を付している。

カメラシステム１Ｂは、第１実施形態のカメラシステム１Ａと類似の電気的な構成を有しているが、連写撮影時の画像処理を高速化するためにバックエンジン５(５ａ、５ｂ)を２つ備えている点が主に相違している。

また、２つのバックエンジン５ａ、５ｂが設けられることに伴い、フロントエンジン４には、各バックエンジン５ａ、５ｂに対する２つのＲＡＷＩ／Ｆ４０５ａ、４０５ｂおよび２つのＪＰＧＩ／Ｆ４０６ａ、４０６ｂが設けられている。さらに、カメラシステム１Ｂには、フロントエンジン４と各バックエンジン５ａ、５ｂとに対して通信可能な通信部１２と、例えばＲＡＭとして構成され通信部１２を介して各バックエンジン５ａ、５ｂから伝達される共有データ(後述する補正パラメータの情報など)を保存する共有メモリ１３とが付加されている。

以上の構成を有するカメラシステム１Ｂでの連写撮影時の処理について、以下で説明する。

＜連写撮影時の処理について＞
図６および図７は、カメラシステム１Ｂにおける連写撮影時の処理を説明するための図である。ここで、図６は、連写撮影時における１枚目(奇数枚目)の撮影画像を処理する様子を示しており、図７は、２枚目(偶数枚目)の撮影画像を処理する様子を示している。なお、図６〜７では、データの流れを太線の矢印で示している。

まず、図６を参照し、連写撮影での１枚目の撮影時における各処理を、データの流れ（フロー）に沿って順に説明する。

連写撮影における１枚目の撮影では、図４に示す第１実施形態と類似の処理が行われる。具体的には、図４に示す各フローＦ１〜Ｆ１６と同様の処理が行われる一方、フローＦ１７が図４に対して追加されている。このフローＦ１７に関する処理について以下で説明する。

・フローＦ１７について
パラメータ演算部５７で縮小画像に基づき決定された補正パラメータを、通信部１２を介して共有メモリ１３に記憶させる。これにより、共有メモリ１３を介して補正パラメータの情報をバックエンジン５ａから他のバックエンジン５ｂに伝達できる。

次に、図７を参照し、連写撮影での２枚目(偶数枚目)の撮影時における各処理を説明する。

連写撮影における２枚目の撮影では、１枚目の撮影と類似の処理が行われる。具体的には、各フローＧ１〜Ｇ１７において図６に示す各フローＦ１〜Ｆ１７と同様の処理が行われる一方、フローＧ１８が図６に対して追加されている。このフローＧ１８に関する処理について以下で説明する。

・フローＧ１８について
バックエンジン５ｂにおける処理ユニット５６内のパラメータ演算部５７で補正パラメータを演算する際には、ＤＲＡＭ５１に格納される縮小画像および撮影関連情報に加えて、共有メモリ１３に記憶されている１枚前の補正パラメータにも基づいて補正パラメータが演算される。このように１枚前の撮影画像から得られた補正パラメータを考慮するのは、連写撮影における露出補正等の補正処理では補正対象の画像が１枚前の画像に対して輝度等において極端に相違するとユーザに違和感等を与えてしまうことから、１枚前の画像から得られた補正パラメータと整合する適切な補正パラメータをパラメータ演算部５７で決定する必要があるためである。ここで、カメラシステム１Ｂでは、１枚前の画像に関する補正パラメータは別のバックエンジン５で算出されるため、双方のバックエンジン５ａ、５ｂから参照可能な共有メモリ１３に１枚前の画像に係る補正パラメータを記憶させるようにしている。

以上のカメラシステム１Ｂにおいても、第１実施形態と同様に撮影画像に関する縮小画像をフロントエンジン４の画像縮小部４１０でハードウェア処理により高速に生成し、この縮小画像を撮影画像データより先にバックエンジン５に転送することにより、パラメータ演算部５７で縮小画像に基づく補正パラメータを迅速に決定できる。その結果、バックエンジン５に転送されてくる撮影画像データに対して即座に補正パラメータに基づく補正処理を行えるため、撮影画像データに対する補正処理(画像処理)を速やかに開始できることとなる。

さらに、カメラシステム１Ｂでは、連写撮影における１枚目(奇数枚目)の撮影と２枚目(偶数枚目)の撮影との各画像処理を交互に別個のバックエンジン５ａ、５ｂで行うことにより、連写速度の向上を図ることが可能である。すなわち、フロントエンジン４のＤＲＡＭ４ｂから連写撮影で得られた各撮影画像に係る画像データを読み出して２つのバックエンジン５ａ、５ｂに選択的に出力し、各撮影画像に関する画像処理を各バックエンジン５ａ、５ｂで分担させるため、連続的な撮影(連写撮影)で得られる一連の撮影画像に対して迅速な画像処理を行えることとなる。

＜変形例＞
・上記の第２実施形態においては、２つのバックエンジン(画像処理回路)を備えるのは必須でなく、３以上のバックエンジンを備えても良い。ここで、バックエンジンの個数が増えれば、連写速度をより向上できることとなる。

・上記の第２実施形態においては、バックエンジン５ａで奇数枚目の撮影画像に対する画像処理を行い、バックエンジン５ｂで偶数枚目の撮影画像に対する画像処理を行うのは必須ではなく、バックエンジン５ａで偶数枚目を処理しバックエンジン５ｂで奇数枚目を処理するようにしても良い。

また、奇数枚目と偶数枚目とによる分配をせず、先に画像処理が完了したバックエンジンに補正済みのＲＡＷ画像データを優先的に転送するようにしても良い。すなわち、２つのバックエンジン５ａ、５ｂのうち画像処理に関する処理中でないバックエンジンをフロントエンジン４で検出し、この検出された空き状態のバックエンジンに、処理済みの画像データを出力するようにする。なお、画像処理中でないバックエンジンの検出については、例えばバックエンジン５から画像処理中に発信されるビジー(busy)信号をフロントエンジン４で監視し、このビジー信号が発信されないバックエンジンを検知するようにすれば良い。以上により、奇数枚目と偶数枚目とで固定的に各バックエンジン５に画像処理を分配する場合より、バックエンジンの効率的な利用が図れることとなる。

本発明の第１実施形態に係るカメラシステム１Ａの外観構成を示す図である。 カメラシステム１Ａの外観構成を示す図である。 カメラシステム１Ａの電気的な構成を示すブロック図である。 カメラシステム１Ａにおける撮影時の処理を説明するための図である。 本発明の第２実施形態に係るカメラシステム１Ｂの電気的な構成を示すブロック図である。 カメラシステム１Ｂにおける連写撮影時の処理を説明するための図である。 カメラシステム１Ｂにおける連写撮影時の処理を説明するための図である。

符号の説明

１Ａ、１Ｂ カメラシステム
４ フロントエンジン
４ａ、５０ ＣＰＵ
４ｂ、５１ ＤＲＡＭ
５、５ａ、５ｂ バックエンジン
１０ カメラボディ
１５ 撮像部
５７ パラメータ演算部
５８ ＹＣ変換／解像度変換部
１５１ 撮像センサ
４０１ センサ制御部
４１０ 画像縮小部
５８０ 補正部

Claims (5)

1. 撮像装置であって、
   (a)被写体に係る画像データを出力する撮像手段と、
   (b)前記撮像手段から出力される画像データを所定の記憶手段に記憶させる記憶処理を実行する第１処理部と、
   (c)前記所定の記憶手段から読み出された画像データに対して画像処理を実行する第２処理部と、
   を備え、
   前記第１処理部は、
   (b-1)前記記憶処理と並行して行うハードウェア処理として、前記撮像手段から出力される画像データを加工し加工データを生成する処理を実行する処理回路、
   を有するとともに、
   前記第２処理部は、
   (c-1)前記処理回路で生成された前記加工データに基づき、前記画像データに対する画像処理を実行する画像処理手段、
   を有することを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記画像処理手段は、
   前記加工データに基づき、前記画像処理で用いる画像処理パラメータを決定する決定手段と、
   前記決定手段で決定された画像処理パラメータに基づき前記画像処理を実行する手段と、
   を有することを特徴とする撮像装置。
3. 請求項１に記載の撮像装置において、
   前記第１処理部は、
   (b-2)前記所定の記憶手段から前記画像データを読み出して前記第２処理部に出力する第１出力手段と、
   (b-3)前記第１出力手段による前記画像データの出力前に、前記処理回路で生成された前記加工データを前記第２処理部に出力する第２出力手段と、
   を有することを特徴とする撮像装置。
4. 請求項１に記載の撮像装置において、
   前記画像処理手段は、前記画像処理を実行する複数の画像処理回路を備えており、
   前記撮像手段は、
   (a-1)連続的な一連の撮影により各撮影画像に係る画像データを順次に出力する手段、
   を有するとともに、
   前記第１処理部は、
   (b-4)前記所定の記憶手段から前記各撮影画像に係る画像データを読み出して前記複数の画像処理回路に選択的に出力し、前記各撮影画像に関する画像処理を前記複数の画像処理回路で分担させる選択出力手段、
   を有することを特徴とする撮像装置。
5. 画像処理方法であって、
   (a)被写体に係る画像データを撮像手段で生成する撮像工程と、
   (b)前記撮像手段から出力される画像データを所定の記憶手段に記憶させる記憶処理を実行する記憶処理工程と、
   (c)前記記憶処理と並行して行うハードウェア処理として、前記撮像手段から出力される画像データを加工し加工データを生成する処理を実行するハードウェア処理工程と、
   (d)前記ハードウェア処理工程で生成された前記加工データに基づき、前記所定の記憶手段から読み出された画像データに対して画像処理を実行する画像処理工程と、
   を備えることを特徴とする画像処理方法。

Images