JP2008219321A - 撮像装置および画像処理方法 - Google Patents
撮像装置および画像処理方法 Download PDFInfo
- Publication number
- JP2008219321A JP2008219321A JP2007052287A JP2007052287A JP2008219321A JP 2008219321 A JP2008219321 A JP 2008219321A JP 2007052287 A JP2007052287 A JP 2007052287A JP 2007052287 A JP2007052287 A JP 2007052287A JP 2008219321 A JP2008219321 A JP 2008219321A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image data
- processing
- raw
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
【課題】連続的な撮影で得られる一連の撮影画像に対して迅速な画像処理を行え、画像処理された画像データとRAW形式の画像データとを迅速に画像記録できる撮像装置の技術を提供する。
【解決手段】連写により一連の撮像画像を得るカメラシステム1では、撮像部15から順次に出力されるRAW画像をフロントエンジン4のDRAM4bに記憶させるとともに補正処理を施し、補正処理済みのRAW画像を各バックエンジン5a、5bに交互に出力する。各バックエンジン5a、5bでは、補正処理済みのRAW画像に対してJPEG変換等を施し、圧縮画像データを生成する。この圧縮画像データは、フロントエンジン4に転送され、DRAM4b内のRAW画像とともに記録媒体9に記録される。その結果、一連の撮影画像に対して迅速な画像処理を行え、画像処理された画像データとRAW画像データとを迅速に画像記録できる。
【選択図】図4
【解決手段】連写により一連の撮像画像を得るカメラシステム1では、撮像部15から順次に出力されるRAW画像をフロントエンジン4のDRAM4bに記憶させるとともに補正処理を施し、補正処理済みのRAW画像を各バックエンジン5a、5bに交互に出力する。各バックエンジン5a、5bでは、補正処理済みのRAW画像に対してJPEG変換等を施し、圧縮画像データを生成する。この圧縮画像データは、フロントエンジン4に転送され、DRAM4b内のRAW画像とともに記録媒体9に記録される。その結果、一連の撮影画像に対して迅速な画像処理を行え、画像処理された画像データとRAW画像データとを迅速に画像記録できる。
【選択図】図4
Description
本発明は、連続的な一連の撮影が可能な撮像装置の技術に関する。
デジタルカメラ(撮像装置)においては、撮像センサ(イメージセンサ)の高画素化に伴って、JPEG圧縮等を行う画像処理回路での処理能力が不足する傾向にある。ここで、画像処理回路での処理能力が不足すると、高速な連写性能が要求される一眼レフレックスタイプ(以下では「一眼レフタイプ」とも略称する)等のデジタルカメラでは、十分な連写速度の実現が困難となる。
一方、上記の画像処理回路での処理能力を改善する技術としては、例えば特許文献1に開示されるものがある。この技術によれば、カメラ制御等の処理で用いる制御系バスと、JPEG圧縮回路(画像処理回路)での処理に用いる画像処理系バスとを分離して各処理を並列的に行わせることにより、画像処理回路での処理効率の向上を図っている。
しかしながら、上記特許文献1の技術では、画像処理系バスには1つの画像処理回路だけが接続されるため、この画像処理回路での処理が終了しないと次の画像に対する処理を開始できない。これでは、連写撮影(連続的な撮影)において画像処理回路での処理時間より短い連写速度を設定できず、連写で得られる一連の撮影画像に対して迅速な画像処理を行えないため、上述した高速な連写性能を実現するのは難しい。
一方、高速な連写性能を実現するには、迅速な画像処理だけでなく、メモリカード等への迅速な画像記録も重要である。特に、撮影画像に係る2種類の画像データ(画像処理された画像データと撮像素子から出力されたRAW形式の画像データ)を記録する際には、これらの画像データに関する画像記録を効率よく迅速に行う必要がある。
本発明は、上記課題に鑑みてなされたものであり、連続的な撮影で得られる一連の撮影画像に対して迅速な画像処理を行え、画像処理された画像データとRAW形式の画像データとを迅速に画像記録できる撮像装置の技術を提供することを目的とする。
本発明の第1の側面は、撮像装置であって、(a)連続的な一連の撮影により各撮影画像に係るRAW形式の画像データを順次に出力する撮像手段と、(b)前記RAW形式の画像データに対して所定の処理を行い、処理済みの画像データを出力する信号処理回路と、(c)前記処理済みの画像データに対して、輝度・色差変換処理とデータ圧縮処理とを含む画像処理を行い、圧縮画像データを前記信号処理回路に出力する複数の画像処理回路とを備え、前記信号処理回路は、(b-1)前記各撮影画像に係る前記処理済みの画像データを前記複数の画像処理回路に選択的に出力し、前記各撮影画像に関する前記画像処理を前記複数の画像処理回路で分担させる選択出力手段と、(b-2)前記RAW形式の画像データを記憶する記憶手段と、(b-3)前記複数の画像処理回路それぞれから出力された撮影画像に係る圧縮画像データを、前記記憶手段に記憶されている当該撮影画像に係るRAW形式の画像データとともに所定の記録手段に記録させる記録制御手段とを有することを特徴とする。
本発明の第2の側面は、画像処理方法であって、(a)連続的な一連の撮影により各撮影画像に係るRAW形式の画像データを順次に生成し、信号処理回路に出力する撮像工程と、(b)前記RAW形式の画像データを、前記信号処理回路に設けられた記憶手段に記憶させる記憶工程と、(c)前記信号処理回路において、前記RAW形式の画像データに対して所定の処理を行い、前記各撮像画像に係る処理済みの画像データを生成する信号処理工程と、(d)前記各撮影画像に係る処理済みの画像データを複数の画像処理回路に選択的に入力し、前記各撮影画像に関する画像処理を前記複数の画像処理回路で分担させる選択入力工程と、(e)前記処理済みの画像データが入力された画像処理回路において、当該処理済みの画像データに対して輝度・色差変換処理とデータ圧縮処理とを含む前記画像処理を行い、圧縮画像データを前記信号処理回路に出力する画像処理工程とを備え、前記画像処理工程で前記信号処理回路に出力された撮影画像に係る圧縮画像データは、前記記憶手段に記憶されている当該撮影画像に係るRAW形式の画像データとともに所定の記録手段に記録されることを特徴とする。
本発明によれば、連続的な一連の撮影により撮像手段から順次に出力されるRAW形式の画像データに対して信号処理回路で所定の処理を行い生成された、各撮影画像に係る処理済みの画像データを複数の画像処理回路に選択的に出力し、各撮影画像に関する輝度・色差変換処理とデータ圧縮処理とを含む画像処理を複数の画像処理回路で分担させる。ここでは、信号処理回路の記憶手段にRAW形式の画像データを記憶しておき、複数の画像処理回路それぞれから信号処理回路に出力された撮影画像に係る圧縮画像データを、記憶手段に記憶されている当該撮影画像に係るRAW形式の画像データとともに所定の記録手段に記録させる。その結果、連続的な撮影で得られる一連の撮影画像に対して迅速な画像処理を行え、画像処理された画像データとRAW形式の画像データとを迅速に画像記録できる。
<カメラシステムの外観構成>
図1および図2は、本発明の実施形態に係るカメラシステム1の外観構成を示す図である。ここで、図1および図2は、それぞれ正面図および背面図を示している。
図1および図2は、本発明の実施形態に係るカメラシステム1の外観構成を示す図である。ここで、図1および図2は、それぞれ正面図および背面図を示している。
カメラシステム1は、例えば一眼レフレックスタイプのデジタルスチルカメラとして構成される撮像装置として機能し、カメラボディ10と、カメラボディ10に着脱自在な交換レンズ2とを備えている。
図1において、カメラボディ10の正面側には、正面略中央に交換レンズ2が装着されるマウント部301と、マウント部301の右横に配置されたレンズ交換ボタン302と、正面左端部(X方向左側)において突設され、ユーザが片手(又は両手)により確実に把持可能とするためのグリップ部303と、正面左上部(Y方向左上側)に配置されたモード設定ダイアル305と、正面右上部に配置された制御値設定ダイアル306と、グリップ部303の上面に配置されたシャッターボタン307とが設けられている。
また、図2において、カメラボディ10の背面側には、LCD(Liquid Crystal Display)311と、LCD311の左方に配置された設定ボタン群312と、LCD311の右方に配置された十字キー314と、十字キー314の中央に配置されたプッシュボタン315と、十字キー314の右下に配置された手振れ補正スイッチ313とが備えられている。また、カメラボディ10の背面側には、LCD311の上方に配設された光学ファインダ316と、光学ファインダ316の右方に配設された露出補正ボタン323およびAEロックボタン324と、光学ファインダ316の上方に配設されたフラッシュ部318および接続端子部319とが備えられている。
マウント部301には、装着された交換レンズ2との電気的接続を行うための複数個の電気的接点や、機械的接続を行うためのカプラ等が設けられている。
レンズ交換ボタン302は、マウント部301に装着された交換レンズ2を取り外す際に押下されるボタンである。
グリップ部303は、ユーザが撮影時にカメラシステム1を把持する部分であり、フィッティング性を高めるために指形状に合わせた表面凹凸が設けられている。なお、グリップ部303の内部には電池収納室およびカード収納室(不図示)が設けられている。電池収納室にはカメラの電源として電池107(図3)が収納されており、カード収納室には撮影画像の画像データを記録するための記録媒体9(例えばメモリステック91(図3)やコンパクトフラッシュ(登録商標)(図3)などのメモリカード)が着脱可能に収納されるようになっている。なお、グリップ部303には、当該グリップ部303をユーザが把持したか否かを検出するためのグリップセンサを設けるようにしても良い。
モード設定ダイアル305及び制御値設定ダイアル306は、カメラボディ10の上面と略平行な面内で回転可能な略円盤状の部材からなる。モード設定ダイアル305は、自動露出(AE)制御モードや自動焦点(AF;オートフォーカス)制御モード、或いは1枚の静止画を撮影する静止画撮影モードや連続撮影を行う連写撮影モード等の各種撮影モード、記録済みの画像を再生する再生モード等、カメラシステム1に搭載されたモードや機能を択一的に選択するためのものである。一方、制御値設定ダイアル306は、カメラシステム1に搭載された各種の機能に対する制御値を設定するためのものである。
シャッターボタン307は、途中まで押し込んだ「半押し状態」の操作と、さらに押し込んだ「全押し状態」の操作とが可能とされた押下スイッチである。静止画撮影モードにおいてシャッターボタン307が半押し(S1)されると、被写体の静止画を撮影するための準備動作(露出制御値の設定や焦点調節等の準備動作)が実行され、シャッターボタン307が全押し(S2)されると、撮影動作(撮像センサを露光し、その露光によって得られた画像信号に所定の画像処理を施してメモリカード等に記録する一連の動作)が実行される。
LCD311は、画像表示が可能なカラー液晶パネルを備えており、撮像センサ(撮像素子)151(図3)により撮像された画像の表示や記録済みの画像の再生表示等を行うとともに、カメラシステム1に搭載される機能やモードの設定画面を表示するものである。なお、LCD311に代えて、有機ELやプラズマ表示装置を用いるようにしても良い。
設定ボタン群312は、カメラシステム1に搭載された各種の機能に対する操作を行うボタンである。この設定ボタン群312には、例えばLCD311に表示されるメニュー画面で選択された内容を確定するための選択確定スイッチ、選択取り消しスイッチ、メニュー画面の内容を切り替えるメニュー表示スイッチ、表示オン/オフスイッチ、表示拡大スイッチなどが含まれる。
手振れ補正スイッチ313は、手振れ補正動作を実行させるための操作信号を与えるためのボタンである。この手振れ補正スイッチ313は、手持ち撮影、望遠撮影、暗部での撮影、或いは長時間露光が必要な撮影時等、手振れ等の「振れ」の影響が撮影画像に表出する恐れがある場合にユーザにより操作され、当該カメラボディ10の手振れ補正動作が行える状態に設定するものである。
十字キー314は、円周方向に一定間隔で配置された複数の押圧部(図中の三角印の部分)を備える環状の部材を有し、各押圧部に対応して備えられた図示省略の接点(スイッチ)により押圧部の押圧操作が検出されるように構成されている。また、プッシュボタン315は、十字キー314の中央に配置されている。十字キー314及びプッシュボタン315は、撮影倍率の変更(ズームレンズのワイド方向やテレ方向への移動)、LCD311等に再生する記録画像のコマ送り、及び撮影条件(絞り値、シャッタースピード、フラッシュ発光の有無等)の設定等の指示を入力するためのものである。
光学ファインダ316は、被写体が撮影される範囲を光学的に表示するものである。すなわち、光学ファインダ316には、交換レンズ2からの被写体像が導かれており、ユーザは、この光学ファインダ316を覗くことにより、実際に撮像部15の撮像センサ151にて撮影される被写体を視認することができる。
メインスイッチ317は、左右にスライドする2接点のスライドスイッチからなり、左にセットするとカメラシステム1の電源がオン(投入)され、右にセットすると電源がオフ(切断)される。
フラッシュ部318は、ポップアップ式の内蔵フラッシュとして構成されている。一方、外部フラッシュ等をカメラボディ10に取り付ける場合には、接続端子部319を使用して接続する。
アイカップ321は、遮光性を有してEVF316への外光の侵入を抑制する「コ」字状の遮光部材である。
露出補正ボタン323は、露出値(絞り値やシャッタースピード)を手動で調整するためのボタンであり、AEロックボタン324は、露出を固定するためのボタンである。
交換レンズ2は、被写体からの光(光像)を取り込むレンズ窓として機能するとともに、当該被写体光をカメラボディ10の内部に配置されている撮像センサに導くための撮影光学系として機能するものである。この交換レンズ2は、上述のレンズ交換ボタン302を押下操作することで、カメラボディ10から取り外すことが可能となっている。
交換レンズ2は、その光軸に沿って直列的に配置された複数のレンズからなるレンズ群を備えている。このレンズ群には、焦点の調節を行うためのフォーカスレンズと、変倍を行うためのズームレンズとが含まれており、それぞれ光軸方向に駆動されることで、変倍や焦点調節が行われる。また、交換レンズ2には、その鏡胴の外周適所に該鏡胴の外周面に沿って回転可能な操作環が備えられており、上記のズームレンズは、マニュアル操作或いはオート操作により、上記操作環の回転方向及び回転量に応じて光軸方向に移動し、その移動先の位置に応じたズーム倍率(撮影倍率)に設定されるようになっている。
<カメラシステム1の電気的構成>
図3は、カメラシステム1の電気的な構成を示すブロック図である。ここで、図1〜図2と同一の部材等については、同一の符号を付している。
図3は、カメラシステム1の電気的な構成を示すブロック図である。ここで、図1〜図2と同一の部材等については、同一の符号を付している。
カメラシステム1は、カメラシステム1に関するカメラ機構の制御(カメラ制御)を担当するカメラ制御部100と、撮像部15で生成された画像信号に対して補正等の処理を行うフロントエンジン4と、フロントエンジン4で処理された画像データに画像処理を施す画像処理エンジンとしての2つのバックエンドエンジン(以下では「バックエンジン」と略称する)5(5a、5b)とを備えている。また、カメラシステム1は、フロントエンジン4と各バックエンジン5a、5bとに対して通信可能な通信部12と、例えばRAMとして構成され通信部12を介して各バックエンジン5a、5bから伝達される共有データ(後述する補正パラメータの情報など)を保存する共有メモリ13とを有している。
カメラ制御部100は、CPU(Central Processing Unit)100aを有して、カメラシステム1において撮影動作時の制御等を行う部位である。このカメラ制御部100では、I/O部102を介して交換レンズ2内の各部位の制御(例えばフォーカスレンズの駆動制御)が可能であり、位相差AFモジュール103から出力される出力信号に基づき交換レンズ2内のフォーカスレンズを駆動してオートフォーカス(AF)が実施される。また、カメラ制御部100は、測光センサ104からの出力信号に基づき露光制御(AE制御)を行う。
また、カメラ制御部100は、シャッター105の駆動制御、フラッシュ318の発光制御や、ミラー駆動部108を介してカメラボディ10内のミラーを駆動する制御を行うとともに、電源制御部106を用いてグリップ部303の内部の電池収納室に収納される電池107からカメラシステム1の各部位に電力を供給する電源制御を行う。
手振れ制御部110は、CPU110aを有し、手振れ補正動作の制御を行う部位である。この手振れ制御部110では、手振れ補正用のジャイロセンサ111からの出力信号に基づき手振れ量を演算し、この演算された手振れ量に基づいて撮像センサ151を交換レンズ2の光軸に対して垂直方向に移動させるアクチュエータ112を駆動制御する。
撮像部15は、撮像センサ151と、この撮像センサ151から出力されるアナログ信号をデジタル信号に変換するA/D変換部152とを備えている。この撮像部15では、連続的な一連の撮影、例えば連写撮影により各撮影画像に係るRAW形式の画像データ(以下では、「RAW画像データ」ともいう)を順次に出力することが可能である。
撮像センサ151は、カメラボディ10に交換レンズ2が装着された場合の当該交換レンズ2が備えているレンズ群の光軸上において、その光軸に対して垂直となる方向に配置されている。この撮像センサとしては、例えばフォトダイオードを有して構成される複数の画素がマトリクス状に2次元配置され、各画素の受光面に、それぞれ分光特性の異なる例えばR(赤)、G(緑)、B(青)のカラーフィルタが1:2:1の比率で配設されてなるベイヤー配列のCMOSカラーエリアセンサ(CMOS型のイメージセンサ)が用いられる。このような撮像センサ151では、交換レンズ2を通って結像された被写体光像に関するR(赤)、G(緑)、B(青)各色成分のアナログの電気信号(画像信号)を生成し、R、G、B各色の画像信号が出力される。すなわち、撮像センサ151からは、上記ベイヤー配列で配置されたRGB各色の画素信号からなるRAW形式の画像信号(以下では、単に「RAW画像信号」ともいう)が出力される。
フロントエンジン4は、マイクロコンピュータとして機能するCPU4a、DRAM4bおよびフラッシュROM4cを備えた信号処理回路として構成されており、DRAM4bにはRAW画像データ等が記憶されるとともに、フラッシュROM4cには例えば制御用等のプログラムが格納される。そして、フロントエンジン4では、センサ制御部401により撮像センサ151の駆動を制御するとともに、撮像部15から出力されたRAW画像データに対して画像の周辺減光補正(シェーディング補正)や各画素の信号レベルに関するばらつき等の補正を行う。このセンサ制御部401においては、露出やホワイトバランスの補正パラメータを演算するために撮像部15からのRAW画像データの解像度を低減させた縮小画像が生成される。なお、フロントエンジン4は、DRAM4bおよびフラッシュROM4cを除く部分(破線内)が各種の処理を行うための処理ユニット4dとして構成されている。
フロントエンジン4は、タイミングジェネレータ(TG)402と、電力制御部403と、フロントエンジン4の外部との入出力を行うためのインターフェース部404とを備えている。
タイミングジェネレータ402は、撮像センサ151に関する露光動作の開始(及び終了)等のタイミングを計る部位である。
電力制御部403は、各バックエンジン5に関する電源の投入・切断(オン・オフ)を制御する。そして、この電力制御部403により、2つのバックエンジン5a、5bそれぞれに対して、バックエンジン5での画像処理(後述のYCC変換およびJPEG変換処理)を開始する際に電源を投入させるとともに、この画像処理を終了する際に電源を切断させるようにする。これにより、消費電力の低減が図れることとなる。
インターフェース(I/F)部404は、フロントエンジン4内で補正処理されたRAW画像データを各バックエンジン5a、5bに出力するための2つのRAWI/F405a、405bと、各バックエンジン5a、5bでJPEG圧縮等の画像処理が施された画像データを入力するためのJPGI/F406a、406bとを備えている。
また、インターフェース部404は、カメラボディ10に設けられたUSB端子90から外部に画像データ等を出力するためのUSBI/F407と、グリップ部303の内部のカード収納室に収納されたメモリスティック(MS)91やコンパクトフラッシュ(登録商標)(CF)92との間で画像データ等の入出力を行うためのMSI/F408およびCFI/F409とを有している。
バックエンジン5(5a、5b)は、マイクロコンピュータとして機能するCPU50、DRAM51およびフラッシュROM52を備えた画像処理回路として構成されており、DRAM51には画像データ等が記憶されるとともに、フラッシュROM52には例えば制御用のプログラム等が格納される。このようにCPU50を備えたバックエンジン5では、画像処理専用の単なるハードウェアエンジンに比べて機能向上が図れることとなる(後で詳述)。なお、バックエンジン5は、DRAM51およびフラッシュROM52を除く部分(破線内)が画像処理等の各種の処理を行う処理ユニット56として構成されている。
バックエンジン5は、フロントエンジン4のRAWI/F405a、405bから出力される補正処理済みのRAW画像データを入力するためのRAWI/F53と、この補正処理済みのRAW画像データに対して現像処理およびJPEG圧縮処理を施し生成された画像データをフロントエンジン5のJPGI/F406a、406bに出力するためのJPGI/F54とを有している。
バックエンジン5aは、LCD311を駆動するためのLCDドライバ55を有しており、このLCDドライバ55を介しCPU50を用いてLCD311に撮影画像の画像出力を行わせることが可能となっている。このようにLCD311への画像表示機能を有するバックエンジン5aでは、現像処理された画像データを、画像表示機能を有する他の部位(例えばフロントエンジン4)に転送して画像表示させる必要がないため、迅速なアフタービュー表示等の画像表示を行えることとなる。これにより、カメラシステム1においては、画像処理専用の単なるハードウェアエンジンを備えたシステムより高速な画像表示が可能となる。
以上の構成を有するカメラシステム1での連写撮影時の処理について、以下で説明する。
<連写撮影時の処理について>
図4および図5は、カメラシステム1における連写撮影時の処理を説明するための図である。ここで、図4は、連写撮影時における1枚目(奇数枚目)の撮影画像を処理する様子を示しており、図5は、2枚目(偶数枚目)の撮影画像を処理する様子を示している。なお、図4〜5では、データの流れを太線の矢印で示している。
図4および図5は、カメラシステム1における連写撮影時の処理を説明するための図である。ここで、図4は、連写撮影時における1枚目(奇数枚目)の撮影画像を処理する様子を示しており、図5は、2枚目(偶数枚目)の撮影画像を処理する様子を示している。なお、図4〜5では、データの流れを太線の矢印で示している。
まず、図4を参照し、連写撮影での1枚目の撮影時における各処理を、データの流れ(フロー)に沿って順に説明する。
(1)フローF1〜F2
まず、カメラ制御部100から絞り値やシャッタースピード、撮影日時などの撮影情報がフロントエンジン4のDRAM4bに転送される。同様に、手振れ制御部110から手振れ補正に関する手振れデータがDRAM4bに転送される。なお、DRAM4bに格納される撮影情報および手振れデータを、以降では撮影関連情報とも称する。
まず、カメラ制御部100から絞り値やシャッタースピード、撮影日時などの撮影情報がフロントエンジン4のDRAM4bに転送される。同様に、手振れ制御部110から手振れ補正に関する手振れデータがDRAM4bに転送される。なお、DRAM4bに格納される撮影情報および手振れデータを、以降では撮影関連情報とも称する。
(2)フローF3〜F5
撮像部15から出力された1枚目のRAW画像データが、センサ制御部401を経由してフロントエンジン4のDRAM4bに送られ記憶される。この際には、撮像部15から入力されるRAW画像に対して解像度を低減させた縮小画像も撮像部制御部401で生成されてDRAM4bに保存される。
撮像部15から出力された1枚目のRAW画像データが、センサ制御部401を経由してフロントエンジン4のDRAM4bに送られ記憶される。この際には、撮像部15から入力されるRAW画像に対して解像度を低減させた縮小画像も撮像部制御部401で生成されてDRAM4bに保存される。
(3)フローF6
フロントエンジン4のDRAM4bに格納されているRAW画像データが、DRAM4bに保持されたまま、フロントエンジン4のRAWI/F405aおよびバックエンジン5aのRAWI/F53を介してバックエンジン5aのDRAM51に転送(コピー)される。この際には、フロントエンジン4の補正部410により、RAW画像データに対して後述のYCC変換処理に関する前処理、具体的にはシェーディング補正や欠陥画素補正が行われ、これらの補正が施されたRAW画像データ(以下では「補正処理済みのRAW画像データ」ともいう)がフロントエンジン4から出力されるとともに、この補正処理済みのRAW画像データがRAWI/F53を介してバックエンジン5aに入力される。なお、補正部410においては、撮像センサ151に関する各チャンネル間での輝度補正を行っても良い。
フロントエンジン4のDRAM4bに格納されているRAW画像データが、DRAM4bに保持されたまま、フロントエンジン4のRAWI/F405aおよびバックエンジン5aのRAWI/F53を介してバックエンジン5aのDRAM51に転送(コピー)される。この際には、フロントエンジン4の補正部410により、RAW画像データに対して後述のYCC変換処理に関する前処理、具体的にはシェーディング補正や欠陥画素補正が行われ、これらの補正が施されたRAW画像データ(以下では「補正処理済みのRAW画像データ」ともいう)がフロントエンジン4から出力されるとともに、この補正処理済みのRAW画像データがRAWI/F53を介してバックエンジン5aに入力される。なお、補正部410においては、撮像センサ151に関する各チャンネル間での輝度補正を行っても良い。
(4)フローF7
フロントエンジン4のDRAM4bに格納されている縮小画像および撮影関連情報が、フロントエンジン4のRAWI/F405aおよびバックエンジン5aのRAWI/F53を介してバックエンジン5aのDRAM51に転送される。
フロントエンジン4のDRAM4bに格納されている縮小画像および撮影関連情報が、フロントエンジン4のRAWI/F405aおよびバックエンジン5aのRAWI/F53を介してバックエンジン5aのDRAM51に転送される。
(5)フローF8〜F10
バックエンジン5aのDRAM51に格納されている縮小画像および撮影関連情報をAE演算部57に伝送し、これらの縮小画像および撮影関連情報に基づき処理ユニット56内のAE演算部57において例えばγカーブを用いた露出補正(AE補正)やホワイトバランス(WB)補正で用いる補正パラメータ(例えばγカーブの設定情報やWBゲイン等)を演算する。すなわち、フロントエンジン4から出力されRAWI/F53に入力された1枚の撮影画像に関する縮小画像(画像情報)に基づき、AE演算部57で補正パラメータの情報が取得される。そして、AE演算部57で算出された補正パラメータをYC変換/解像度変換部58に伝送するととともに、通信部12を介して共有メモリ13にも記憶させる。これにより、共有メモリ13を介して補正パラメータの情報をバックエンジン5aから他のバックエンジン5bに伝達できることとなる。
バックエンジン5aのDRAM51に格納されている縮小画像および撮影関連情報をAE演算部57に伝送し、これらの縮小画像および撮影関連情報に基づき処理ユニット56内のAE演算部57において例えばγカーブを用いた露出補正(AE補正)やホワイトバランス(WB)補正で用いる補正パラメータ(例えばγカーブの設定情報やWBゲイン等)を演算する。すなわち、フロントエンジン4から出力されRAWI/F53に入力された1枚の撮影画像に関する縮小画像(画像情報)に基づき、AE演算部57で補正パラメータの情報が取得される。そして、AE演算部57で算出された補正パラメータをYC変換/解像度変換部58に伝送するととともに、通信部12を介して共有メモリ13にも記憶させる。これにより、共有メモリ13を介して補正パラメータの情報をバックエンジン5aから他のバックエンジン5bに伝達できることとなる。
(6)フローF11
バックエンジン5aのDRAM51に格納される補正処理済みのRAW画像データに対し処理ユニット56内のYC変換/解像度変換部58で、デジタルのRGB信号をデジタルの輝度信号および色差信号に変換する輝度・色差変換処理としてのYCrCb(YCC)変換を行って主画像のYCCデータ(以下では「メインYC画像」ともいう)を生成し、このメインYC画像をDRAM51に保存させる。このYC変換/解像度変換部58では、YCC変換処理(画像処理)とともに、AE演算部57で算出された補正パラメータの情報に基づき露出補正およびホワイトバランス補正を行う補正処理(画像処理)が行われる。
バックエンジン5aのDRAM51に格納される補正処理済みのRAW画像データに対し処理ユニット56内のYC変換/解像度変換部58で、デジタルのRGB信号をデジタルの輝度信号および色差信号に変換する輝度・色差変換処理としてのYCrCb(YCC)変換を行って主画像のYCCデータ(以下では「メインYC画像」ともいう)を生成し、このメインYC画像をDRAM51に保存させる。このYC変換/解像度変換部58では、YCC変換処理(画像処理)とともに、AE演算部57で算出された補正パラメータの情報に基づき露出補正およびホワイトバランス補正を行う補正処理(画像処理)が行われる。
(7)フローF12
バックエンジン5aのDRAM51に格納されるメインYC画像に対し処理ユニット56内のYC変換/解像度変換部58で解像度変換を行ってJPEGファイルのExifデータ部で用いるサムネイル画像のYCCデータ(以下では「サムネイルYC画像」とも称する)を生成し、このサムネイルYC画像をDRAM51に保存させる。
バックエンジン5aのDRAM51に格納されるメインYC画像に対し処理ユニット56内のYC変換/解像度変換部58で解像度変換を行ってJPEGファイルのExifデータ部で用いるサムネイル画像のYCCデータ(以下では「サムネイルYC画像」とも称する)を生成し、このサムネイルYC画像をDRAM51に保存させる。
(8)フローF13
バックエンジン5aのDRAM51に格納されるメインYC画像に対し処理ユニット56内のJPEG変換部59でJPEGデータに変換する処理を行ってデータ圧縮された主画像(メイン画像)を生成し、このデータ圧縮されたメイン画像をDRAM51に保存させる。
バックエンジン5aのDRAM51に格納されるメインYC画像に対し処理ユニット56内のJPEG変換部59でJPEGデータに変換する処理を行ってデータ圧縮された主画像(メイン画像)を生成し、このデータ圧縮されたメイン画像をDRAM51に保存させる。
(9)フローF14
バックエンジン5aのDRAM51に格納されるサムネイルYC画像に対し処理ユニット56内のJPEG変換部59でJPEGデータに変換する処理を行ってデータ圧縮されたサムネイル画像を生成し、このデータ圧縮されたサムネイル画像をDRAM51に保存させる。
バックエンジン5aのDRAM51に格納されるサムネイルYC画像に対し処理ユニット56内のJPEG変換部59でJPEGデータに変換する処理を行ってデータ圧縮されたサムネイル画像を生成し、このデータ圧縮されたサムネイル画像をDRAM51に保存させる。
(10)フローF15
バックエンジン5aのDRAM51に格納される撮影関連情報に基づき、処理ユニット56においてJPEGファイルのExifタグのデータを作成する。ここでは、バックエンジン5aのCPU50(図3)を用いてExifタグ情報、つまりJPEG形式の圧縮画像データに付されるヘッダ情報が生成されるため、画像処理専用の単なるハードウェアエンジンでは困難であったヘッダ情報の作成がバックエンジン5において適切に行えることとなる。
バックエンジン5aのDRAM51に格納される撮影関連情報に基づき、処理ユニット56においてJPEGファイルのExifタグのデータを作成する。ここでは、バックエンジン5aのCPU50(図3)を用いてExifタグ情報、つまりJPEG形式の圧縮画像データに付されるヘッダ情報が生成されるため、画像処理専用の単なるハードウェアエンジンでは困難であったヘッダ情報の作成がバックエンジン5において適切に行えることとなる。
以上の処理により、バックエンジン5aのDRAM51にはJPEG圧縮処理されたメイン画像およびサムネイル画像とExifタグ情報とが保存されることとなり、JPEGファイルイメージを構成するのに必要なデータ(情報)が揃うこととなる。
また、バックエンジン5aのDRAM51に格納される撮影関連情報に基づき、CPU50(図3)を用い、処理ユニット56においてRAW画像データに付されるタグ情報としてのヘッダ情報(以下では「RAWヘッダ」ともいう)を生成する。このRAWヘッダには、上記のExifタグ情報と同様の情報が書き込まれるとともに、RAW画像データに関する現像処理の情報やAE演算部57で算出された補正パラメータの情報も書き込まれる。
(11)フローF16
バックエンジン5aのDRAM51に格納されるJPEGファイルイメージ(JPEG変換済みのメイン画像およびサムネイル画像とExifタグ情報)が、バックエンジン5aのJPGI/F54およびフロントエンジン4のJPGI/F406aを介してフロントエンジン4のDRAM4bに転送される。
バックエンジン5aのDRAM51に格納されるJPEGファイルイメージ(JPEG変換済みのメイン画像およびサムネイル画像とExifタグ情報)が、バックエンジン5aのJPGI/F54およびフロントエンジン4のJPGI/F406aを介してフロントエンジン4のDRAM4bに転送される。
すなわち、バックエンジン5では、YC変換/解像度変換部58によるYCC変換処理、つまり輝度・色差変換処理と、JPEG変換部59によるデータ圧縮処理とを含む画像処理が行われ、JPEG形式の圧縮画像データがフロントエンジン4に出力されることとなる。
(12)フローF17
バックエンジン5aのDRAM51に格納されるRAWヘッダが、バックエンジン5aのJPGI/F54およびフロントエンジン4のJPGI/F406aを介してフロントエンジン4のDRAM4bに転送される。
バックエンジン5aのDRAM51に格納されるRAWヘッダが、バックエンジン5aのJPGI/F54およびフロントエンジン4のJPGI/F406aを介してフロントエンジン4のDRAM4bに転送される。
(13)フローF18〜F21
フロントエンジン4のDRAM4bに格納されるJPEGファイルイメージが、処理ユニット4d内の記録制御部411によって記録媒体9に記録される。
フロントエンジン4のDRAM4bに格納されるJPEGファイルイメージが、処理ユニット4d内の記録制御部411によって記録媒体9に記録される。
また、フロントエンジン4のDARM4bに記憶されているRAW画像データが、DRAM4bに格納されるRAWヘッダとともに、処理ユニット4d内の記録制御部411によって記録媒体9に記録される。
このように記録制御部411によって、2つのバックエンジン5a、5bそれぞれから出力された撮影画像に係るJPEG形式の圧縮画像データおよびRAWヘッダ(ヘッダ情報)が、DRAM4bに記憶されている当該撮影画像に係るRAW画像データとともに記録媒体9に記録されることとなる。
次に、図5を参照し、連写撮影での2枚目(偶数枚目)の撮影時における各処理を説明する。
連写撮影における2枚目の撮影では、1枚目の撮影と類似の処理が行われる。具体的には、各フローG1〜G21において図4に示す各フローF1〜F21と同様の処理が行われる一方、フローG22が図4に対して追加されている。このフローG22に関する処理について以下で説明する。
・フローG22について
バックエンジン5bにおける処理ユニット56内のAE演算部57で上述した補正パラメータを演算する際には、DRAM51に格納される縮小画像および撮影関連情報に加えて、共有メモリ13に記憶されている1枚前の補正パラメータにも基づいて補正パラメータが算出される。すなわち、他のバックエンジン5aから共有メモリ13を介して伝達される補正パラメータの情報であって、フロントエンジン4から出力されバックエンジン5bに入力された1枚の撮影画像(連写撮影におけるN枚目の撮影画像)の撮影より前の撮影で得られた1回前の撮影画像((N−1)枚目の撮影画像)に基づく補正パラメータの情報と、このN枚目の撮影画像に関する縮小画像(画像情報)とに基づき、補正パラメータの情報が取得される。このように1枚前の撮影画像から得られた補正パラメータを考慮するのは、連写撮影における露出補正やホワイトバランス補正では補正対象の画像が1枚前の画像に対して輝度等が極端に相違するとユーザに違和感等を与えてしまうことから、1枚前の画像から得られた補正パラメータと整合する適切な補正パラメータをAE演算部57で算出する必要があるためである。ここで、カメラシステム1では、1枚前の画像に関する補正パラメータは別のバックエンジン5で算出されるため、双方のバックエンジン5a、5bから参照可能な共有メモリ13に1枚前の画像に係る補正パラメータを記憶させるようにしている。
バックエンジン5bにおける処理ユニット56内のAE演算部57で上述した補正パラメータを演算する際には、DRAM51に格納される縮小画像および撮影関連情報に加えて、共有メモリ13に記憶されている1枚前の補正パラメータにも基づいて補正パラメータが算出される。すなわち、他のバックエンジン5aから共有メモリ13を介して伝達される補正パラメータの情報であって、フロントエンジン4から出力されバックエンジン5bに入力された1枚の撮影画像(連写撮影におけるN枚目の撮影画像)の撮影より前の撮影で得られた1回前の撮影画像((N−1)枚目の撮影画像)に基づく補正パラメータの情報と、このN枚目の撮影画像に関する縮小画像(画像情報)とに基づき、補正パラメータの情報が取得される。このように1枚前の撮影画像から得られた補正パラメータを考慮するのは、連写撮影における露出補正やホワイトバランス補正では補正対象の画像が1枚前の画像に対して輝度等が極端に相違するとユーザに違和感等を与えてしまうことから、1枚前の画像から得られた補正パラメータと整合する適切な補正パラメータをAE演算部57で算出する必要があるためである。ここで、カメラシステム1では、1枚前の画像に関する補正パラメータは別のバックエンジン5で算出されるため、双方のバックエンジン5a、5bから参照可能な共有メモリ13に1枚前の画像に係る補正パラメータを記憶させるようにしている。
以上で説明したように、カメラシステム1においては、連写撮影における1枚目(奇数枚目)の撮影画像と2枚目(偶数枚目)の撮影画像との各画像処理を交互に別個のバックエンジン5a、5bで行うことにより、連写速度の向上を図ることが可能である。このようなカメラシステム1における連写撮影時の具体的な動作について、以下で説明する。
<カメラシステム1の動作>
図6は、カメラシステム1における連写撮影時の基本的な動作を説明するための図である。この図6では、毎秒3コマの連写撮影においてシャッターボタン307が一定時間押圧されることで5枚の撮影画像が取得される場合の動作を示している。
図6は、カメラシステム1における連写撮影時の基本的な動作を説明するための図である。この図6では、毎秒3コマの連写撮影においてシャッターボタン307が一定時間押圧されることで5枚の撮影画像が取得される場合の動作を示している。
以下では、図6を参照し、1〜5枚目の撮影におけるカメラシステム1の動作を順に説明する。
(i)1枚目の撮影
シャッターボタン307が押圧されると、まずフロントエンジン4は電力制御部403によりバックエンドエンジン5aの電源を投入する。そして、フロントエンジン4は、カメラ制御部100に対して1枚目の撮影開始の交信Pを行う。
シャッターボタン307が押圧されると、まずフロントエンジン4は電力制御部403によりバックエンドエンジン5aの電源を投入する。そして、フロントエンジン4は、カメラ制御部100に対して1枚目の撮影開始の交信Pを行う。
次に、カメラ制御部100は、ミラー駆動部108によりカメラボディ10内のミラーを駆動するとともに、交換レンズ2内の絞りを駆動する。そして、絞りやシャッタースピードなどの撮影情報が、撮影情報の交信Qによりカメラ制御部100からフロントエンジン4に送信される。
次に、フロントエンジン4は、カメラ制御部100に対して露光開始の交信Rを行うことでシャッター105を駆動して撮像センサ151の露光を開始させる。そして、露光終了の交信Sを行うことにより撮像センサ151の露光を終了させる。
1枚目の撮影において露光終了の交信Sにより露光が終了すると、フロントエンジン4は撮像センサ151からRAW画像信号を読出す。この画像読出しが完了すると、読み出されたRAW画像データがバックエンジン5aに転送される。
次に、バックエンジン5aは、RAW画像データの半分を受信した時点でYC変換/解像度変換部58によるYCC変換を開始するとともに、JPEG変換部59によるJPEG変換と、このJPEG変換によってデータ圧縮された圧縮画像データのフロントエンジン4への転送とが順次に行われる。
(ii)2枚目の撮影
フロントエンジン4は、まず電力制御部403によりバックエンジン5bの電源を投入する。そして、フロントエンジン4は、カメラ制御部100に対して2枚目の撮影開始の交信Pを行う。
フロントエンジン4は、まず電力制御部403によりバックエンジン5bの電源を投入する。そして、フロントエンジン4は、カメラ制御部100に対して2枚目の撮影開始の交信Pを行う。
次に、フロントエンジン4は、1枚目の撮影と同様の交信Q〜Sにより、カメラ制御部100においてミラーや絞りを駆動させるとともに、シャッター105を駆動させることで撮像センサ151の露光を行う。
2枚目の撮影において露光が終了すると、フロントエンジン4は撮像センサ151からRAW画像信号を読出す。この画像読出しが完了すると、読み出されたRAW画像データがバックエンジン5bに転送される。
次に、バックエンジン5bは、RAW画像データの半分を受信した時点でYC変換/解像度変換部58によるYCC変換を開始するとともに、JPEG変換部59によるJPEG変換と、このJPEG変換によってデータ圧縮された圧縮画像データのフロントエンジン4への転送とが順次に行われる。
(iii)3〜5枚目の撮影
奇数枚目である3枚目および5枚目の撮影では、上述した1枚目の撮影と同様の動作が行われるとともに、偶数枚目である4枚目の撮影では、上述した2枚目の撮影と同様の動作が行われる。なお、最後の撮影となる5枚目の撮影では、フロントエンジン4は、カメラ制御部100に対して撮影終了の交信Tを行うことにより、カメラ制御部100による撮影動作の動作が終了する。
奇数枚目である3枚目および5枚目の撮影では、上述した1枚目の撮影と同様の動作が行われるとともに、偶数枚目である4枚目の撮影では、上述した2枚目の撮影と同様の動作が行われる。なお、最後の撮影となる5枚目の撮影では、フロントエンジン4は、カメラ制御部100に対して撮影終了の交信Tを行うことにより、カメラ制御部100による撮影動作の動作が終了する。
以上のような動作により、YCC変換やJPEG変換の処理時間が600ms程度必要となる場合でも、この処理時間より短い連写速度333ms(毎秒3コマ)を実現できることとなる。この連写速度の高速化について、図7を参照しつつ簡単に説明する。
図7は、毎秒3コマの連写撮影時におけるカメラシステム1の動作を説明するための図である。
カメラシステム1において毎秒3コマの連写撮影を行う場合には、撮像部15からRAW画像データが約333msの時間間隔で順次にフロントエンジン4に入力される。そして、フロントエンジン4では、撮像部15から入力されたRAW画像データに対してシェーディング補正等を施し、補正処理済みのRAW画像データを奇数枚目と偶数枚目とに分けて交互に各バックエンジン5a、5bに転送する。この補正処理済みのRAW画像データが転送された各バックエンジン5a、5bにおいては、YCC変換およびJPEG変換を行うとともに、JPEG変換によりデータ圧縮された画像データ(圧縮画像データ)を再びフロントエンジン4に戻す。この圧縮画像データを受取ったフロントエンジン4では、記録媒体9に約333msの時間間隔で順次に画像記録する処理が行われる。
このようにフロントエンジン4では、各撮影画像に係る補正処理済みの画像データを2つのバックエンジン5a、5bに選択的に出力し、各撮影画像に関する画像処理(YCC変換およびJPEG変換処理)を2つのバックエンジン5a、5bで分担させている。これにより、各バックエンジン5a、5bでは、連写速度333msの2倍となる処理時間666msをかけてYCC変換およびJPEG変換が行えることとなる。すなわち、原理的にはバックエンジン5の数に応じた連写速度の高速化が図れる。
以上のカメラシステム1においては、各バックエンジン5で画像処理され生成された圧縮画像データが記録媒体9に順次に記録されることとなるが、この画像記録の順番は、撮影の順番と一致させる必要がある。ここで、カメラシステム1では、2つのバックエンジン5で各画像の処理を分担させているため、各画像の間でバックエンジン5の処理時間が異なる場合(例えば画像の質などの相違によりJPEG変換時間の長短が生じる場合)には、先に撮影した画像が後に撮影した画像より後でフロントエンジン4に転送される可能性がある。このような場合、フロントエンジン4に転送された順に圧縮画像データを記録媒体9に記録させると、圧縮画像データが撮影順に記録されないこととなる。
そこで、このような不都合を改善するために、カメラシステム1では、連写撮影で得られた各撮影画像に撮影順番の情報を付与するようにしている。これに関して、詳しく説明する。
図8は、各撮影画像に付与された撮影順番の情報に基づき記録媒体9に記録する処理を説明する図である。なお、図8では、39枚の画像を連写撮影により取得した状態を示している。
まず、例えばカメラ制御部100で得られた撮影順を表す連番の数値情報(図8では番号1〜39)を、補正処理済みのRAW画像データに添付してフロントエンジン4から各バックエンジン5に転送する。すなわち、各撮影画像に関する撮影順を識別するための番号(識別情報)1〜39を各撮影画像に関連付け、各撮影画像に係る補正処理済みの画像データとともに2つのバックエンジン5a、5bに選択的に出力する。
次に、各バックエンジン5a、5bでは、各撮影画像に付与された撮影順番の情報を参照することにより、撮影順にJEPG形式の圧縮画像データをフロントエンジン4に転送する。例えば、図8のようにバックエンジン5bにおける37枚目の撮影画像データの処理完了が、バックエンジン5aにおける36枚目の撮影画像データの処理完了より早い場合には、例えばフロントエンジン4の記録制御部411からの指示により、バックエンジン5aでの36枚目の撮影画像データの処理およびフロントエンジン4への転送が完了するまで、バックエンジン5bから37枚目の撮影画像データをフロントエンジン4に転送させないようにする。
このように各撮影画像に関連付けられた撮影順番の情報に基づき、バックエンジン5a、5bで画像処理され生成された各撮影画像に係る圧縮画像データを撮影順に記録させれば、複数のバックエンジン5により並列的に画像処理を行う場合でも、正しい順番(撮影順)で圧縮画像データを記録媒体9に記録できることとなる。
以上で説明したカメラシステム1の動作により、撮像部15からのRAW画像データに対してフロントエンジン4の補正部410で補正処理(前処理)を施し、補正処理済みのRAW画像データについて奇数枚目の撮影画像と偶数枚目の撮影画像とに分けて別々のバックエンジン5a、5bに選択的に出力し各バックエンジン5a、5bで画像処理を分担させるため、連続的な撮影(連写撮影)で得られる一連の撮影画像に対して迅速な画像処理が行え、連写速度の向上を図れることとなる。
さらに、カメラシステム1では、撮像部15から出力されたRAW画像データをフロントエンジン4のDRAM4bに記憶しておき、各バックエンジン5a、5bからJPEG変換等の画像処理が施された圧縮画像データがフロントエンジン4に戻ってきた際に、この圧縮画像データとともにDRAM4bに記憶されているRAW画像データを記録媒体9に記録させるため、各バックエンジン5a、5bで画像処理された画像データとそのRAW画像データとを迅速に画像記録できる。すなわち、比較的データサイズの大きなRAW画像データを各バックエンジン5a、5bに転送し、このRAW画像データを圧縮画像データとともにフロントエンジン4に戻して画像記録したのでは、各バックエンジン5a、5bからフロントエンジン4にRAW画像データを転送する転送時間が必要となり迅速な画像記録に支障を来すこととなる。そこで、本実施形態では、フロントエンジン4のDRAM4bにRAW画像データを記憶し、JPEG形式の圧縮画像データが各バックエンジン5a、5bから転送される際に一緒に画像記録させることで、撮影画像に係る2種類の画像データ(圧縮画像データとRAW画像データ)に関する画像記録の効率化および高速化を図っている。
また、カメラシステム1においては、フロントエンジン4から補正処理済みのRAW画像データを撮影順番情報とともに各バックエンジン5a、5bに選択的に出力するとともに、各バックエンジン5a、5bで生成されたJPEG形式の圧縮画像データをフロントエンジン4に転送する際には、上記の撮影順番情報に基づきフロントエンジン4に転送され記録媒体9に撮影順に記録される。その結果、複数のバックエンジン5a、5bで各撮影画像に対する並列的な画像処理を行う場合でも、撮影順に正しく画像記録できることとなる。
また、カメラシステム1においては、図4のようにシェーディング補正等を行う補正部410と、JPEG形式の圧縮画像データを記録媒体9に記録させる記録制御部411とが、1つのフロントエンジン(処理回路)4に設けられているため、補正部410による補正処理の際に用いるメモリと記録制御部411による画像記録の際に用いるメモリとを共用化した1つのメモリ(具体的にはDRAM4b)を設ければ良く、コストの低減を図れる。
また、カメラシステム1においては、図3のようにバックエンジン5aがCPU50を有しており、このCPU50を用いLCDドライバ55を介して直接LCD311に撮影画像の画像出力を行えるため、例えばアフタービュー表示などの画像表示を迅速に行える。ここで、LCD311への画像表示機能を有するバックエンジン5aでは奇数枚目の画像処理が行われるが、連写撮影で偶数枚の撮影画像が取得される場合には、偶数枚目となる最後の撮影画像の処理を、例外的にバックエンジン5aで行わせるようにする。これにより、偶数枚の撮影画像が取得される場合でも迅速なアフタービュー表示を行えることとなる。なお、バックエンジン5bにおいてもLCDドライバ55を設けてLCD311に画像表示できるようにすれば、偶数枚の撮影画像を取得する場合でも、最後の撮影画像の処理をバックエンジン5bに行わせることが可能となる。
<変形例>
・上記の実施形態においては、2つのバックエンジン(画像処理回路)を備えるのは必須でなく、3以上のバックエンジンを備えても良い。ここで、バックエンジンの個数が増えれば、上述したように連写速度をより向上できることとなる。
・上記の実施形態においては、2つのバックエンジン(画像処理回路)を備えるのは必須でなく、3以上のバックエンジンを備えても良い。ここで、バックエンジンの個数が増えれば、上述したように連写速度をより向上できることとなる。
・上記の各実施形態においては、バックエンジン5aで奇数枚目の撮影画像に対する画像処理を行い、バックエンジン5bで偶数枚目の撮影画像に対する画像処理を行うのは必須ではなく、バックエンジン5aで偶数枚目を処理しバックエンジン5bで奇数枚目を処理するようにしても良い。
また、奇数枚目と偶数枚目とによる分配をせず、先に画像処理が完了したバックエンジンに補正済みのRAW画像データを優先的に転送するようにしても良い。すなわち、2つのバックエンジン5a、5bのうち画像処理に関する処理中でないバックエンジンをフロントエンジン4で検出し、この検出された空き状態のバックエンジンに、補正部410(図4)による補正処理済みの画像データを出力するようにする。なお、画像処理中でないバックエンジンの検出については、例えばバックエンジン5から画像処理中に発信されるビジー(busy)信号をフロントエンジン4で監視し、このビジー信号が発信されないバックエンジンを検知するようにすれば良い。以上により、奇数枚目と偶数枚目とで固定的に各バックエンジン5に画像処理を分配する場合より、バックエンジンの効率的な利用が図れることとなる。
・上記の実施形態においては、バックエンジン5aからLCDドライバ55を介してLCD311に画像表示させるのは必須でなく、バックエンジン5aから画像出力端子(例えばVideo OUTコネクタ)を介してテレビ等に画像表示させるようにしても良い。
・上記の各実施形態においては、複数のバックエンジンを効率よく利用するために、処理終了時間が最も遅くなるバックエンジンから順に使用するようにしても良い。これにより、特に3以上のバックエンジンを使用する場合において高速な画像処理が可能となる。
・上記の実施形態においては、各撮影画像に関する撮影順を識別するための識別情報として図8に示すような数値情報1〜39を採用するのは必須でなく、各撮影画像に関しての撮影時点を表す時間情報(時刻の情報)を採用するようにしても良い。このような数値情報や時間情報を上記の識別情報として採用すれば、連写撮影による一連の撮影画像について撮影順の画像記録を簡易に行えることとなる。
・上記の実施形態においては、RAW画像信号に対して補正処理(例えばシェーディング補正)を行う補正部410(図4、5)をフロントエンジン4に設けるのは必須でなく、撮像部15に設けるようにしても良い。これにより、撮像部(撮像手段)15から出力されるRAW形式の画像データは補正部410による補正処理が施されたものとなるが、このように補正処理されたRAW形式の画像データをフロントエンジン4のDRAM4bに記憶し、各バックエンジン5a、5bからのJPEG形式の圧縮画像データとともに記録媒体に記録させても良い。
・本発明については、毎秒数コマ程度の連写撮影への適用に限らず、例えば毎秒十数コマの連写撮影や動画撮影(例えばMotionJPEGによる動画撮影)などの連続的な一連の撮影に適用しても良い。さらには、時間間隔(インターバル)の短い複数回の単写撮影のような連続的な一連の撮影に適用するようにしても良い。
1 カメラシステム
2 交換レンズ
4 フロントエンジン
4a、50 CPU
4b、51 DRAM
5、5a、5b バックエンジン
9 記録媒体
10 カメラボディ
12 通信部
13 共有メモリ
15 撮像部
55 LCDドライバ
57 AE演算部
58 YC変換/解像度変換部
59 JPEG変換部
100 カメラ制御部
110 手振れ制御部
151 撮像センサ
311 LCD
401 センサ制御部
403 電力制御部
410 補正部
411 記録制御部
2 交換レンズ
4 フロントエンジン
4a、50 CPU
4b、51 DRAM
5、5a、5b バックエンジン
9 記録媒体
10 カメラボディ
12 通信部
13 共有メモリ
15 撮像部
55 LCDドライバ
57 AE演算部
58 YC変換/解像度変換部
59 JPEG変換部
100 カメラ制御部
110 手振れ制御部
151 撮像センサ
311 LCD
401 センサ制御部
403 電力制御部
410 補正部
411 記録制御部
Claims (3)
- 撮像装置であって、
(a)連続的な一連の撮影により各撮影画像に係るRAW形式の画像データを順次に出力する撮像手段と、
(b)前記RAW形式の画像データに対して所定の処理を行い、処理済みの画像データを出力する信号処理回路と、
(c)前記処理済みの画像データに対して、輝度・色差変換処理とデータ圧縮処理とを含む画像処理を行い、圧縮画像データを前記信号処理回路に出力する複数の画像処理回路と、
を備え、
前記信号処理回路は、
(b-1)前記各撮影画像に係る前記処理済みの画像データを前記複数の画像処理回路に選択的に出力し、前記各撮影画像に関する前記画像処理を前記複数の画像処理回路で分担させる選択出力手段と、
(b-2)前記RAW形式の画像データを記憶する記憶手段と、
(b-3)前記複数の画像処理回路それぞれから出力された撮影画像に係る圧縮画像データを、前記記憶手段に記憶されている当該撮影画像に係るRAW形式の画像データとともに所定の記録手段に記録させる記録制御手段と、
を有することを特徴とする撮像装置。 - 請求項1に記載の撮像装置において、
前記複数の画像処理回路それぞれは、CPUを有しており、前記CPUを用いて前記RAW形式の画像データに付されるヘッダ情報を生成するとともに、
前記記録制御手段は、
前記複数の画像処理回路それぞれから出力された前記圧縮画像データおよび前記ヘッダ情報を、前記RAW形式の画像データとともに前記所定の記録手段に記録させる手段、
を有することを特徴とする撮像装置。 - 画像処理方法であって、
(a)連続的な一連の撮影により各撮影画像に係るRAW形式の画像データを順次に生成し、信号処理回路に出力する撮像工程と、
(b)前記RAW形式の画像データを、前記信号処理回路に設けられた記憶手段に記憶させる記憶工程と、
(c)前記信号処理回路において、前記RAW形式の画像データに対して所定の処理を行い、前記各撮像画像に係る処理済みの画像データを生成する信号処理工程と、
(d)前記各撮影画像に係る処理済みの画像データを複数の画像処理回路に選択的に入力し、前記各撮影画像に関する画像処理を前記複数の画像処理回路で分担させる選択入力工程と、
(e)前記処理済みの画像データが入力された画像処理回路において、当該処理済みの画像データに対して輝度・色差変換処理とデータ圧縮処理とを含む前記画像処理を行い、圧縮画像データを前記信号処理回路に出力する画像処理工程と、
を備え、
前記画像処理工程で前記信号処理回路に出力された撮影画像に係る圧縮画像データは、前記記憶手段に記憶されている当該撮影画像に係るRAW形式の画像データとともに所定の記録手段に記録されることを特徴とする画像処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007052287A JP2008219321A (ja) | 2007-03-02 | 2007-03-02 | 撮像装置および画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007052287A JP2008219321A (ja) | 2007-03-02 | 2007-03-02 | 撮像装置および画像処理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008219321A true JP2008219321A (ja) | 2008-09-18 |
Family
ID=39838855
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007052287A Pending JP2008219321A (ja) | 2007-03-02 | 2007-03-02 | 撮像装置および画像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008219321A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011041144A (ja) * | 2009-08-17 | 2011-02-24 | Nikon Corp | 画像処理装置、画像処理プログラム |
JP2013197608A (ja) * | 2012-03-15 | 2013-09-30 | Nikon Corp | 電子カメラ |
-
2007
- 2007-03-02 JP JP2007052287A patent/JP2008219321A/ja active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011041144A (ja) * | 2009-08-17 | 2011-02-24 | Nikon Corp | 画像処理装置、画像処理プログラム |
JP2013197608A (ja) * | 2012-03-15 | 2013-09-30 | Nikon Corp | 電子カメラ |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4301308B2 (ja) | 撮像装置および画像処理方法 | |
JP4478599B2 (ja) | 撮像装置 | |
JP5169144B2 (ja) | 撮像装置 | |
JP2009139795A (ja) | 撮像装置 | |
US8908068B2 (en) | Image pickup device and image pickup unit to form composite image | |
JP2009081808A (ja) | 撮影制御装置、撮影制御方法、撮影制御プログラム、および撮影装置 | |
JP2002290828A (ja) | カメラボディ、デジタルカメラおよび露出制御方法 | |
JP5216711B2 (ja) | 複眼撮像装置、撮像方法及びプログラム | |
JP4865648B2 (ja) | 撮影装置 | |
JP2007257465A (ja) | 画像表示装置および方法並びにプログラム | |
JP2008245009A (ja) | 撮像装置および画像処理方法 | |
JP2008219320A (ja) | 撮像装置および画像処理方法 | |
JP2009109623A (ja) | 撮像装置 | |
JP2008219321A (ja) | 撮像装置および画像処理方法 | |
JP2009267593A (ja) | 撮像装置、欠陥画素検出方法および欠陥画素検出プログラム | |
JP3918985B2 (ja) | デジタルカメラ | |
JP2002023049A (ja) | デジタルカメラおよび記録媒体 | |
JP2001272710A (ja) | デジタルカメラ | |
JP2005167465A (ja) | デジタルカメラ及びデジタルカメラの撮像方法 | |
JP2008227839A (ja) | 撮像装置 | |
JP2005221973A (ja) | 撮像装置 | |
JP4809196B2 (ja) | デジタルカメラ | |
JP2010107900A (ja) | 撮像装置、複眼撮像装置、撮像方法及びプログラム | |
JP2009253623A (ja) | 固体撮像素子及び撮影装置 | |
JP2007306064A (ja) | 撮像装置 |