JP2004222148A

JP2004222148A - デジタルカメラと撮像画像データ記録方法

Info

Publication number: JP2004222148A
Application number: JP2003009659A
Authority: JP
Inventors: Katsuya Makioka; 克弥牧岡
Original assignee: Fuji Photo Film Co Ltd
Current assignee: Fujifilm Holdings Corp
Priority date: 2003-01-17
Filing date: 2003-01-17
Publication date: 2004-08-05
Anticipated expiration: 2023-01-17
Also published as: JP4105556B2

Abstract

【課題】記録媒体に記録されている高感度画像データと低感度画像データのＲＡＷデータをユーザが読み出して画像合成するときに容易且つ迅速に画質の良好な合成画像が得られる様にする。
【解決手段】高感度画素と低感度画素を有する固体撮像素子１１と、固体撮像素子１の前段に置かれた光学系及び該光学系の駆動機構と、高感度画素から得られた高感度画像データと低感度画素から得られた低感度画像データとをＲＡＷデータで記録媒体２９に記録すると共に、撮影時の光学系及び該光学系の駆動状態に応じた画像補正用パラメータのデータを記録媒体２９に記録する記録手段３０とを設ける。ユーザが画像合成を行うときは、カメラが最適と自動判定した画像補正用パラメータの値を参照することができ、希望する画質の合成画像を生成するまでの試行錯誤の回数を減らすことができる。
【選択図】図３

Description

【０００１】
【発明の属する技術分野】
本発明は低感度画像と高感度画像の両方を撮像するデジタルカメラとその撮像画像データ記録方法に係り、特に、撮像画像データをＲＡＷデータ（固体撮像素子から出力された撮像画像データで未加工のままの生データ）でメモリに記録するデジタルカメラ及び撮像画像データ記録方法に関する。
【０００２】
【従来の技術】
デジタルスチルカメラやデジタルビデオカメラ等のデジタルカメラでは、固体撮像素子の各画素を構成するフォトダイオードに蓄積される電荷の飽和量が高画素化すなわちフォトダイオードの微細化に伴って小さくなり、撮像画像のダイナミックレンジが狭くなってしまうという欠点を有している。
【０００３】
この欠点を克服するため、例えば特開２００１―８１０４号公報記載の従来技術では、固体撮像素子に、高感度画素と低感度画素の２種類の画素を設け、高感度画素から得られた撮像画像データと、低感度画素から得られた撮像画像データとを合成することで、撮像画像のダイナミックレンジを広げるようにしている。
【０００４】
また、その一方で、近年の様に固体撮像素子の高画素化が進展してくると、銀塩カメラと同等の画像が撮像されるようになり、このため、固体撮像素子から出力される撮像画像データを、ホワイトバランス補正やガンマ補正，ＪＰＥＧ圧縮などせずに未加工のままＲＡＷデータでメモリに保存し、パーソナルコンピュータ等でこの画像データを読み取り、ホワイトバランス補正やガンマ補正，色調補正などを自分の好みに応じて行いたいというユーザの要望が高くなってきている。このため、デジタルカメラには、特開平１１―２６１９３３号公報（特許文献２）や特開２００１―２２３９７９号公報（特許文献３）に記載されている様に、ＲＡＷデータで画像データを記録するものが増えてきている。
【０００５】
【特許文献１】
特開２００１―８１０４号公報
【特許文献２】
特開平１１―２６１９３３号公報
【特許文献３】
特開２００１―２２３９７９号公報
【０００６】
【発明が解決しようとする課題】
上述したように低感度画像と高感度画像の両方を撮像するデジタルカメラでは、撮像画像データをＲＡＷデータでメモリに記録する場合、低感度画像の撮像画像データと高感度画像の撮像画像データの両方を記録することになる。しかし、ユーザがメモリから低感度画像データと高感度画像データのＲＡＷデータを読み出してパソコン上のアプリケーションソフトウェアにて画像合成しても、なかなか合成処理がうまく行かず、希望する画質の合成画像が得られないという問題がある。
【０００７】
本発明の目的は、低感度画像データと高感度画像データのＲＡＷデータをカメラ外で画像合成するときでも容易に且つ迅速に希望する画質の合成画像を得ることができるデジタルカメラとその撮像画像データ記録方法を提供することにある。
【０００８】
【課題を解決するための手段】
上記目的を達成する本発明のデジタルカメラは、高感度画素と低感度画素を有する固体撮像素子と、該固体撮像素子の前段に置かれた光学系及び該光学系の駆動機構と、前記高感度画素から得られた高感度画像データと前記低感度画素から得られた低感度画像データとをＲＡＷデータで記録媒体に記録すると共に撮影時の前記光学系及び該光学系の駆動状態に応じた画像補正用パラメータのデータを前記記録媒体に記録する記録手段とを備えることを特徴とする。
【０００９】
この構成により、記録媒体から高感度画像データと低感度画像データのＲＡＷデータを読み出してユーザが画像合成処理を行う場合、カメラ自体が画像合成に最適と自動判定した画像補正用パラメータの値を参照することができ、容易且つ迅速に良好な画質の合成画像を生成することが可能となる。
【００１０】
本発明のデジタルカメラの前記光学系及び該光学系の駆動状態は、撮影に使用されたレンズ及び該レンズのズーム位置，フォーカス位置，絞り位置であり、前記画像補正用パラメータは、前記高感度画素と前記低感度画素の感度比に対応したパラメータであることを特徴とする。
【００１１】
この構成により、低感度画素と高感度画素とが非対象に設けられた固体撮像素子でレンズをズームしたりフォーカス位置や絞りを変えて光の各画素への入射角を変えて撮像した画像であっても、ＲＡＷデータから高画質の合成画像を容易且つ迅速に生成することが可能となる。
【００１２】
本発明のデジタルカメラは、カメラ自体が前記高感度画像データと前記低感度画像データとを合成処理するときに最適画質の合成画像が得られると自動判定した前記画像補正用パラメータの値を前記記録媒体に記録することを特徴とする。
【００１３】
この構成により、記録された画像補正用パラメータの値を用いることで、カメラが自動合成したときと同じ合成画像を得ることができる。
【００１４】
本発明のデジタルカメラの撮像画像データ記録方法は、高感度画素と低感度画素を有する固体撮像素子と、該固体撮像素子の前段に置かれた光学系及び該光学系の駆動機構とを備えるデジタルカメラの撮像画像データ記録方法において、前記高感度画素から得られた高感度画像データと前記低感度画素から得られた低感度画像データとをＲＡＷデータで記録媒体に記録すると共に撮影時の前記光学系及び該光学系の駆動状態に応じた画像補正用パラメータのデータを前記記録媒体に記録することを特徴とする。
【００１５】
この構成により、記録媒体から高感度画像データと低感度画像データのＲＡＷデータを読み出してユーザが画像合成処理を行う場合、カメラ自体が画像合成に最適と自動判定した画像補正用パラメータの値を参照することができ、容易且つ迅速に良好な画質の合成画像を生成することが可能となる。
【００１６】
【発明の実施の形態】
以下、本発明の一実施形態を図面を参照して説明する。
【００１７】
図１は、本発明の一実施形態に係るデジタルスチルカメラの構成図である。この実施形態ではデジタルスチルカメラを例に説明するが、デジタルビデオカメラや携帯電話機等の小型電子機器に搭載されたカメラ等の他の種類の撮像装置にも本発明を適用可能である。また、本実施形態の画像合成処理は、後述するデジタル信号処理部２６がソフトウェアにて実行処理するが、これをハードウェア回路にて実現することも可能である。
【００１８】
図１に示すデジタルスチルカメラは、撮影レンズ１０と、固体撮像素子１１と、この両者の間に設けられた絞り１２と、赤外線カットフィルタ１３と、光学ローパスフィルタ１４とを備える。デジタルスチルカメラの全体を制御するＣＰＵ１５は、フラッシュ用の発光部１６及び受光部１７を制御し、また、レンズ駆動部１８を制御して撮影レンズ１０の位置をフォーカス位置に調整し、絞り駆動部１９を介し絞り１２の開口量を制御して露光量が適正露光量となるように調整する。
【００１９】
また、ＣＰＵ１５は、撮像素子駆動部２０を介して固体撮像素子１１を駆動し、撮影レンズ１０を通して撮像した被写体画像を色信号として出力させる。また、ＣＰＵ１５には、操作部２１を通してユーザの指示信号が入力され、ＣＰＵ１５はこの指示に従って各種制御を行う。
【００２０】
デジタルスチルカメラの電気制御系は、固体撮像素子１１の出力に接続されたアナログ信号処理部２２と、このアナログ信号処理部２２から出力されたＲＧＢの色信号をデジタル信号に変換するＡ／Ｄ変換回路２３とを備え、これらはＣＰＵ１５によって制御される。
【００２１】
更に、このデジタルスチルカメラの電気制御系は、メインメモリ２４に接続されたメモリ制御部２５と、詳細は後述するデジタル信号処理部２６と、撮像画像をＪＰＥＧ画像に圧縮したり圧縮画像を伸張したりする圧縮伸張処理部２７と、測光データを積算してホワイトバランスのゲインを調整させる積算部２８と、着脱自在の記録媒体２９が接続される外部メモリ制御部３０と、カメラ背面等に搭載された液晶表示部３１が接続される表示制御部３２とを備え、これらは、制御バス３３及びデータバス３４によって相互に接続され、ＣＰＵ１５からの指令によって制御される。
【００２２】
図１に示すデジタル信号処理部２６や、アナログ信号処理部２２，Ａ／Ｄ変換回路２３等は、これを夫々別回路としてデジタルスチルカメラに搭載することもできるが、これらを固体撮像素子１１と同一半導体基板上にＬＳＩ製造技術を用いて製造し、１つの固体撮像装置とするのがよい。
【００２３】
図２は、本実施形態で使用する固体撮像素子１１の画素配置図である。広ダイナミックレンジの画像を撮像するＣＣＤ部分の画素１は、例えば特開平１０―１３６３９１号公報に記載されている画素配置をとり、偶数行の各画素に対して奇数行の各画素が水平方向に１／２ピッチずらして配置され、各画素から読み出された信号電荷を垂直方向に転送する垂直転送路（図示せず）が、垂直方向の各画素を避けるように蛇行配置される構成をとっている。
【００２４】
そして、本実施形態に係る各画素１は、図示する例では、画素１の面積の約１／５を占める低感度画素（副画素）２と、残りの約４／５を占める高感度画素（主画素）３とに分割して設けられ、各低感度画素２の信号電荷と、各高感度画素３の信号電荷とを区別して上記垂直転送路に読み出し転送することができるようになっている。尚、画素１をどのような割合、どの様な位置で分割するかは設計的に決められるものであり、図２は単なる例示に過ぎない。
【００２５】
本実施形態の撮像装置では、１回の撮像で、低感度画像（低感度画素２で得られた画像）と高感度画像（高感度画素３で得られた画像）を同時に取得し、各画像を各画素２，３から順次読み出し、詳細は後述する様に合成し、あるいはそのままＲＡＷデータとして記録媒体２９に記録する様になっている。
【００２６】
尚、固体撮像素子１１は、図２に示す様なハニカム画素配置のＣＣＤを例に説明したが、ベイヤー方式のＣＣＤやＣＭＯＳセンサでも良い。
【００２７】
図３は、上述したデジタルスチルカメラの動作説明図である。固体撮像素子１１の高感度画素３から出力されるアナログの高感度画像信号Ｈは、Ａ／Ｄ変換器２３によって例えば１０ビットのデジタルデータに変換され、固体撮像素子１１の低感度画素２から出力されるアナログの低感度画像信号Ｌは、Ａ／Ｄ変換器２３によって例えば８ビットのデジタルデータに変換される。
【００２８】
ユーザが操作部２１で完成画像記録モードを設定しておくと、Ａ／Ｄ変換器２３から出力される１０ビットの高感度画像データと８ビットの低感度画像データをデジタル信号処理部２６が取り込んで合成処理その他の画像処理を行い、外部メモリ制御部（記録回路）３０は、デジタル信号処理部２６から図１の圧縮伸張処理部２７（図３では図示省略）を介して渡された例えばＪＰＥＧ圧縮された完成画像データを記録媒体２９に記録する。
【００２９】
ユーザが操作部２１でＲＡＷデータ記録モードを設定しておくと、Ａ／Ｄ変換器２３から出力される１０ビットの高感度画像データと８ビットの低感度画像データを、外部メモリ制御部３０がそのまま記録媒体２９に記録する。このとき、外部メモリ制御部３０は、ＲＡＷデータの他に、後述する画像補正用パラメータの値も一緒に記録する。
【００３０】
図４は、完成画像記録モードのときに動作するデジタル信号処理部２６の処理構成図である。このデジタル信号処理部２６は、高感度画像信号と低感度画像信号とを夫々ガンマ補正した後に加算処理する対数加算方式を採用しており、Ａ／Ｄ変換回路２３から出力される高感度画像のデジタル信号でなるＲＧＢ色信号を取り込んでオフセット処理を行うオフセット補正回路４１ａと、オフセット補正回路４１ａの出力信号のホワイトバランスをとるゲイン補正回路４２ａと、ゲイン補正後の色信号に対してガンマ補正を行うガンマ補正回路４３ａと、図１に示すＡ／Ｄ変換回路２３から出力される低感度画像のデジタル信号でなるＲＧＢ色信号を取り込んでオフセット処理を行うオフセット補正回路４１ｂと、オフセット補正回路４１ｂの出力信号のホワイトバランスをとるゲイン補正回路４２ｂと、ゲイン補正後の色信号に対してガンマ補正を行うガンマ補正回路４３ｂとを備える。オフセット補正後の信号に対してリニアマトリクス処理などを行う場合には、ゲイン補正回路４２ａ，４２ｂとガンマ補正回路４３ａ，４３ｂとの間で行う。
【００３１】
デジタル信号処理部２６は、更に、各ガンマ補正回路４３ａ，４３ｂの両出力信号を取り込んで画像合成処理を行う画像合成処理回路４４と、画像合成後のＲＧＢ色信号を補間演算して各画素位置におけるＲＧＢ３色の信号を求めるＲＧＢ補間演算部４５と、ＲＧＢ信号から輝度信号Ｙと色差信号Ｃｒ，Ｃｂとを求めるＲＧＢ／ＹＣ変換回路４６と、輝度信号Ｙや色差信号Ｃｒ，Ｃｂからノイズを低減するノイズフィルタ４７と、ノイズ低減後の輝度信号Ｙに対して輪郭補正を行う輪郭補正回路４８と、色差信号Ｃｒ，Ｃｂに対して色差マトリクスを乗算して色調補正を行う色差マトリクス回路４９とを備える。
【００３２】
デジタル信号処理部２６で高感度画像データと低感度画像データとを画素単位に画像合成する場合、高感度画素３と低感度画素２の感度比に基づいて行う。しかし、本実施形態で使用する固体撮像素子１１は、図２から分かる通り、高感度画素（主画素）３と低感度画素（副画素）２とが非対象に配置されているため、レンズ１０のズーム位置，フォーカス位置，絞り位置によって光の各画素２，３への入射角が変わり、高感度画素３と低感度画素２の感度比が変化してしまう。また、多群構成のレンズ１０も個体差があり、カメラ毎に特性が異なり、上記の感度比の変化に影響を与える。
【００３３】
感度比の変化を吸収するには、画素単位に行われる信号処理で高感度画素３と低感度画素２の各検出信号に適当なゲインを掛ければ良い。しかし、そのゲインは、撮影時のズーム位置，フォーカス位置，絞り位置に依存する。従って、ＣＰＵ１５は、撮影時のズーム位置，フォーカス位置，絞り位置の情報を読み取り、予めＲ，Ｇ，Ｂの色毎に設定されているゲイン値のテーブルデータ（メインメモリ２４やその他の図示しないメモリに予め用意しておく。）を参照し、ズーム位置，ゲイン位置，絞り位置に対応したＲ，Ｇ，Ｂのゲイン値を読み出し、デジタル信号処理部２６に渡す。
【００３４】
これにより、デジタル信号処理部２６は、これらのゲイン値を高感度画素（主画素）３，低感度画素（副画素）２のＲ，Ｇ，Ｂ毎の検出信号に掛け合わせてから画像合成を行い、画質の良好な合成画像を作成することができる。
【００３５】
完成画像記録モードでは、以上述べた様に、カメラ自体がデジタル信号処理部２６で最適な画質の合成画像を生成するが、ＲＡＷデータ記録モードでは、Ａ／Ｄ変換器２３から出力される高感度画像データと低感度画像データがそのまま記録媒体２９に記録されることになり、ユーザがパーソナルコンピュータにＲＡＷデータを読み出し、様々な画像合成パラメータを調整して所望の画質の合成画像が得られる様に試行錯誤を繰り返すことになる。
【００３６】
ユーザが画像合成する場合、記録媒体２９に記録されているデータが高感度画像データと低感度画像データのＲＡＷデータのみであれば、上述した感度比が不明なため、画像合成の試行錯誤を何回も繰り返さないと、良好な画質の画像を作成することができないことになる。
【００３７】
そこで、本実施形態では、デジタルスチルカメラが完成画像を生成するときに使用する高感度画素３，低感度画素２の感度比の上述したＲ，Ｇ，Ｂ毎のゲイン値を記録媒体２９に書き込み、ユーザが画像合成作業を行うときに参考にできる様にする。
【００３８】
図５は、ＲＡＷデータを記録媒体２９に記録するときの画像ファイルのフォーマット図である。画像ファイルは、ヘッダ部と画像データ部とから成り、ヘッダ部は、ファイル番号等のファイル情報５１と、撮影に使用したデジタルスチルカメラや使用レンズの機種情報５２と、画像補正用パラメータ５３と、撮像したときの露光量やシャッタ速度等の撮影付属情報５４とを含む。画像データ部は、高感度画像のＲＡＷデータ５５と、低感度画像のＲＡＷデータ５６とから成る。
【００３９】
図６は、画像補正用パラメータ５３の詳細構成図である。この例では、画像補正用パラメータは、撮影時に使用したレンズのズーム位置，フォーカス位置，絞り位置に応じた高感度画素（図６では「主画素」と記す。）３のＲゲイン値６１と、同様の主画素３のＧゲイン値６２と、同様の主画素３のＢゲイン値６３と、同様の低感度画素（図６では「副画素」と記す。）２のＲゲイン値６４と、同様の副画素２のＧゲイン値６５と、同様の副画素２のＢゲイン値６６で構成される。
【００４０】
ユーザがＲＡＷデータ５５，５６を読み出して画像合成を行う場合、これらのゲイン値６１〜６６を参照することで、画像合成作業の試行錯誤回数を減らし、良好な画質の画像を作成することが可能となる。
【００４１】
尚、本実施の形態では、図６に示す様に、副画素２のＲ，Ｇ，Ｂのゲイン値６４，６５，６６を画像補正用パラメータとしたが、これらのゲイン値６４，６５，６６の代わりに、図７に示す様に、主画素と副画素のＲ，Ｇ，Ｂのゲイン値の比率６４’，６５’，６６’を画像補正用パラメータとしてもよい。
【００４２】
尚、上述した実施形態では、ＲＡＷデータ記録モードと完成画像記録モードの２つのモードを持つデジタルスチルカメラについて述べたが、完成画像記録モードを搭載していないデジタルカメラであっても、本発明を適用可能である。
【００４３】
【発明の効果】
本発明によれば、高感度画像データと低感度画像データを出力する固体撮像素子を搭載したデジタルスチルカメラの撮像画像データをＲＡＷデータで記録媒体に記録するときカメラが自動判定した画像補正用パラメータも一緒に記録するため、ユーザが画像合成作業を行うときに画像補正用パラメータの値を参考にして合成処理を行うことができ、良好な画質の合成画像を容易に且つ迅速に得ることが可能となる。
【図面の簡単な説明】
【図１】本発明の第１実施形態に係るデジタルスチルカメラのブロック構成図である。
【図２】図１に示す固体撮像素子の表面模式図である。
【図３】図１に示すデジタルスチルカメラの動作説明図である。
【図４】図３に示すデジタル信号処理部の処理構成図である。
【図５】図１に示すデジタルスチルカメラで撮像画像データをＲＡＷデータで記録媒体に記録するときの画像ファイルのフォーマット図である。
【図６】図５に示す画像補正用パラメータの詳細図である。
【図７】図６に代わる画像補正用パラメータの詳細図である。
【符号の説明】
１画素
２低感度画素（副画素）
３高感度画素（主画素）
１０レンズ
１１固体撮像素子
１２絞り
１８レンズ駆動部
１９絞り駆動部
２３Ａ／Ｄ変換器
２６デジタル信号処理部
２９記録媒体
３０外部メモリ制御部
４４画像合成処理回路
５３画像補正用パラメータ

Claims

高感度画素と低感度画素を有する固体撮像素子と、該固体撮像素子の前段に置かれた光学系及び該光学系の駆動機構と、前記高感度画素から得られた高感度画像データと前記低感度画素から得られた低感度画像データとをＲＡＷデータで記録媒体に記録すると共に撮影時の前記光学系及び該光学系の駆動状態に応じた画像補正用パラメータのデータを前記記録媒体に記録する記録手段とを備えることを特徴とするデジタルカメラ。
前記光学系及び該光学系の駆動状態は、撮影に使用されたレンズ及び該レンズのズーム位置，フォーカス位置，絞り位置であり、前記画像補正用パラメータは、前記高感度画素と前記低感度画素の感度比に対応したパラメータであることを特徴とする請求項１に記載のデジタルカメラ。
カメラ自体が前記高感度画像データと前記低感度画像データとを合成処理するときに最適画質の合成画像が得られると自動判定した前記画像補正用パラメータの値を前記記録媒体に記録することを特徴とする請求項１または請求項２に記載のデジタルカメラ。
高感度画素と低感度画素を有する固体撮像素子と、該固体撮像素子の前段に置かれた光学系及び該光学系の駆動機構とを備えるデジタルカメラの撮像画像データ記録方法において、前記高感度画素から得られた高感度画像データと前記低感度画素から得られた低感度画像データとをＲＡＷデータで記録媒体に記録すると共に撮影時の前記光学系及び該光学系の駆動状態に応じた画像補正用パラメータのデータを前記記録媒体に記録することを特徴とするデジタルカメラの撮像画像データ記録方法。