JP2004166110A

JP2004166110A - Imaging device, and image data processing method for imaging device

Info

Publication number: JP2004166110A
Application number: JP2002331764A
Authority: JP
Inventors: Masahiko Sugimoto; 雅彦杉本
Original assignee: Fuji Photo Film Co Ltd
Current assignee: Fujifilm Holdings Corp
Priority date: 2002-11-15
Filing date: 2002-11-15
Publication date: 2004-06-10

Abstract

<P>PROBLEM TO BE SOLVED: To provide an imaging device capable of increasing the processing speed of the image data obtained with an image pickup element, and to provide an image data processing method of the imaging device. <P>SOLUTION: The imaging device is provided with a CCD 18 which outputs high sensitivity analog image signals High showing an object image by imaging an object with first sensitivity and outputs low sensitivity analog image signals Low indicating the object image by imaging the object with second sensitivity lower than the first one and an A/D converter 22 which converts the analog image signals High and Low into digital data and outputs high sensitivity data and low sensitivity data corresponding to each of the analog image signals, displays the object image by using the high sensitivity data when through display or preview display of the object image is performed on an LCD (liquid crystal display) 82 and displays the object image by using composite data of the high sensitivity data and the low sensitivity data in other cases. <P>COPYRIGHT: (C)2004,JPO

Description

【０００１】
【発明の属する技術分野】
本発明は、撮像装置及び撮像装置の画像データ処理方法に係り、特に、感度の異なる画像信号を出力することができる撮像素子を備えた撮像装置と、当該撮像装置の画像データ処理方法に関する。
【０００２】
【従来の技術】
近年、ＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ、電荷結合素子）、ＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）イメージ・センサ等の撮像素子の高解像度化に伴い、デジタルカメラの需要が急増している。
【０００３】
ところで、現在広く普及しているデジタルカメラ等の撮像装置における撮像素子のダイナミックレンジは、写真フィルムに比べると一般的に狭い。このため、高輝度の被写体を撮影する場合には、受光量がダイナミックレンジを超え、撮像素子の出力信号が飽和してしまい、被写体の情報が欠落してしまう。
【０００４】
このような問題を解決するため、従来、撮影により得られた高感度の画像信号と低感度の画像信号とを合成することにより、ダイナミックレンジの拡大を図る技術がある（例えば、特許文献１参照。）。
【０００５】
この技術では、マスクを用いて、１つの画像中で部分毎に高感度の画像を低感度の画像に置き換えて合成画像を生成している。
【０００６】
【特許文献１】
特開２０００−３０７９６３号公報
【０００７】
【発明が解決しようとする課題】
しかしながら、この技術では、高感度の画像信号と低感度の画像信号とを合成して用いることが前提とされているため、当該合成に時間がかかり、高感度の画像信号と低感度の画像信号とを用いた処理の処理速度が必ずしも速いとは言えない、という問題点があった。
【０００８】
本発明は上記問題点を解決するためになされたものであり、撮像素子によって得られた画像データを用いた処理の処理速度を高速化することのできる撮像装置及び撮像装置の画像データ処理方法を得ることを目的とする。
【０００９】
【課題を解決するための手段】
上記目的を達成するために、請求項１記載の撮像装置は、被写体を第１の感度で撮像して被写体像を示すアナログ信号である第１画像信号を出力すると共に、前記被写体を第１の感度より低い第２の感度で撮像して前記被写体像を示すアナログ信号である第２画像信号を出力する撮像素子と、前記第１画像信号及び前記第２画像信号をデジタルデータに変換して各々に対応する第１画像データ及び第２画像データを出力する変換手段と、前記被写体像をスルー表示又はプレビュー表示する場合に前記第１画像データを用いて前記被写体像を表示すると共に、他の場合には前記第１画像データ及び前記第２画像データの合成データを用いて前記被写体像を表示する表示手段と、が備えられている。
【００１０】
請求項１に記載の撮像装置によれば、撮像素子により、被写体が第１の感度で撮像されて被写体像を示すアナログ信号である第１画像信号が出力されると共に、上記被写体が第１の感度より低い第２の感度で撮像されて上記被写体像を示すアナログ信号である第２画像信号が出力され、変換手段により、上記第１画像信号及び上記第２画像信号がデジタルデータに変換されて各々に対応する第１画像データ及び第２画像データが出力される。なお、上記撮像素子には、ＣＣＤ、ＣＭＯＳイメージ・センサ等の固体撮像素子を含めることができる。
【００１１】
ここで、本発明では、表示手段により、被写体像がスルー表示又はプレビュー表示される場合に上記第１画像データが用いられて当該被写体像が表示されると共に、他の場合には上記第１画像データ及び上記第２画像データの合成データが用いられて当該被写体像が表示される。
【００１２】
なお、上記スルー表示は、撮像素子による撮像によって得られた被写体像をリアルタイムで表示手段により表示するものであり、表示手段をファインダとして用いるときに行われる表示である。また、上記プレビュー表示は、撮像素子による撮像によって得られた画像データを記録する際に当該画像データにより示される被写体像を表示手段により表示するものであり、当該被写体像の状態を確認するために行われる表示である。
【００１３】
すなわち、本発明では、一般に、撮像された被写体像をスルー表示又はプレビュー表示する場合には表示画像の画質よりも表示速度が重視されることに着目し、これらの表示を行う場合には高感度側の画像データである第１画像データのみを用いて被写体像を表示するようにしており、これによってスルー表示又はプレビュー表示する場合における、撮像素子によって得られた画像データを用いた処理（この場合は表示処理）の処理速度を高速化できるようにしている。
【００１４】
なお、上記表示手段としては、液晶ディスプレイ、プラズマ・ディスプレイ、有機ＥＬディスプレイ、ＣＲＴディスプレイ等のあらゆるディスプレイを適用することができる。
【００１５】
このように、請求項１に記載の撮像装置によれば、被写体を第１の感度で撮像して被写体像を示すアナログ信号である第１画像信号を出力すると共に、上記被写体を第１の感度より低い第２の感度で撮像して上記被写体像を示すアナログ信号である第２画像信号を出力する撮像素子と、上記第１画像信号及び上記第２画像信号をデジタルデータに変換して各々に対応する第１画像データ及び第２画像データを出力する変換手段と、を備えた撮像装置において、表示手段により上記被写体像をスルー表示又はプレビュー表示する場合に上記第１画像データを用いて被写体像を表示すると共に、他の場合には上記第１画像データ及び上記第２画像データの合成データを用いて被写体像を表示しているので、被写体像をスルー表示又はプレビュー表示する場合における撮像素子によって得られた画像データを用いた処理（表示処理）の処理速度を高速化することができる。
【００１６】
また、請求項２記載の撮像装置は、請求項１に記載の発明において、記録メディアを装着するための装着手段と、前記表示手段により前記被写体像をスルー表示又はプレビュー表示する場合に前記第１画像データ及び前記第２画像データを面順次に配列させると共に、前記装着手段によって装着された前記記録メディアに前記第１画像データ及び前記第２画像データを個別に記録する場合には前記第１画像データ及び前記第２画像データを点順次に配列させる配列手段と、を更に備えたものである。
【００１７】
請求項２に記載の撮像装置によれば、装着手段によって記録メディアが装着される。なお、上記記録メディアには、スマート・メディア（ＳｍａｒｔＭｅｄｉａ（Ｒ））、コンパクト・フラッシュ（ＣｏｍｐａｃｔＦｌａｓｈ）、ＡＴＡ（ＡＴＡｔｔａｃｈｍｅｎｔ）カード、フロッピィディスク、ＣＤ−Ｒ（ＣｏｍｐａｃｔＤｉｓｃ−Ｒｅｃｏｒｄａｂｌｅ）、ＣＤ−ＲＷ（ＣｏｍｐａｃｔＤｉｓｃ−ＲｅＷｒｉｔａｂｌｅ）、光磁気ディスク等の可搬記録媒体を含めることができる。
【００１８】
ここで、本発明では、配列手段により、表示手段によって被写体像がスルー表示又はプレビュー表示される場合には第１画像データ及び第２画像データが面順次に配列されると共に、装着手段によって装着された記録メディアに第１画像データ及び第２画像データが個別に記録される場合には第１画像データ及び第２画像データが点順次に配列される。
【００１９】
なお、上記面順次の配列とは、一例として図７（Ａ）に示されるように、高感度側の第１画像データ（同図では、‘Ｈ’と表記。）と低感度側の第２画像データ（同図では、‘Ｌ’と表記。）とを各画像データ毎に個別に配列するものであり、上記点順次の配列とは、一例として図７（Ｂ）に示されるように、第１画像データと第２画像データとの同一画素のデータ（同図では、‘ＨＬ’と表記。）を隣接するように配列するものである。
【００２０】
すなわち、本発明では、表示手段により被写体像をスルー表示又はプレビュー表示する場合には第１画像データのみを用いるようにしているので、第１画像データ及び第２画像データを点順次に配列するより、面順次に配列するほうが高速に第１画像データを取得することができ、この結果として被写体像をスルー表示又はプレビュー表示するための処理速度を高速化することができる。
【００２１】
一方、装着可能に構成された記録メディアに対して第１画像データ及び第２画像データを個別に記録する場合、当該記録メディアに記録された第１画像データ及び第２画像データを後から合成して用いることが考えられる。この場合、合成処理を行う際には、第１画像データと第２画像データとの同一画素のデータを抽出する必用があるため、第１画像データ及び第２画像データを面順次に配列するより、点順次に配列するほうが高速に同一画素のデータを取得することができ、この結果として合成処理の処理速度を高速化することができる。
【００２２】
このように、請求項２に記載の撮像装置によれば、表示手段により被写体像をスルー表示又はプレビュー表示する場合に第１画像データ及び第２画像データを面順次に配列させると共に、装着された記録メディアに第１画像データ及び第２画像データを個別に記録する場合には第１画像データ及び第２画像データを点順次に配列させているので、撮像素子によって得られた画像データを用いた処理の処理速度を高速化することができる。
【００２３】
一方、上記目的を達成するために、請求項３記載の画像データ処理方法は、被写体を第１の感度で撮像して被写体像を示すアナログ信号である第１画像信号を出力すると共に、前記被写体を第１の感度より低い第２の感度で撮像して前記被写体像を示すアナログ信号である第２画像信号を出力する撮像素子と、前記第１画像信号及び前記第２画像信号をデジタルデータに変換して各々に対応する第１画像データ及び第２画像データを出力する変換手段と、前記被写体像を表示するための表示手段と、を備えると共に、記録メディアが装着可能に構成された撮像装置の画像データ処理方法であって、前記表示手段により前記被写体像をスルー表示又はプレビュー表示する場合に前記第１画像データを用いて前記被写体像を表示すると共に、他の場合には前記第１画像データ及び前記第２画像データの合成データを用いて前記被写体像を表示するものである。
【００２４】
従って、請求項３に記載の画像データ処理方法によれば、請求項１記載の発明と同様に作用するので、請求項１記載の発明と同様に、被写体像をスルー表示又はプレビュー表示する場合における撮像素子によって得られた画像データを用いた処理（表示処理）の処理速度を高速化することができる。
【００２５】
また、請求項４記載の画像データ処理方法は、請求項３に記載の発明において、前記表示手段により前記被写体像をスルー表示又はプレビュー表示する場合に前記第１画像データ及び前記第２画像データを面順次に配列させると共に、装着された前記記録メディアに前記第１画像データ及び前記第２画像データを個別に記録する場合には前記第１画像データ及び前記第２画像データを点順次に配列させるものである。
【００２６】
従って、請求項４に記載の画像データ処理方法によれば、請求項２記載の発明と同様に作用するので、請求項２記載の発明と同様に、撮像素子によって得られた画像データを用いた処理の処理速度を高速化することができる。
【００２７】
【発明の実施の形態】
以下、図面を参照して、本発明の実施の形態について詳細に説明する。なお、以下では、本発明をデジタルカメラに適用した場合について説明する。
【００２８】
まず、図１を参照して、本実施の形態に係るデジタルカメラ１０の構成を説明する。同図に示されるように、このデジタルカメラ１０には、光学レンズ１２と、光学レンズ１２を通過する光量を調整する絞り１４と、光の通過時間を調整するシャッタ１６と、光学レンズ１２、絞り１４及びシャッタ１６を通過した被写体像を示す入射光に基づき、被写体を高感度及び低感度のそれぞれの受光素子により撮像して被写体像を示すＲ（赤）、Ｇ（緑）、Ｂ（青）３色のカラーアナログ画像信号を出力する撮像素子としてのＣＣＤ１８と、が設けられている。
【００２９】
ＣＣＤ１８には、ＣＣＤ１８により入力された高感度及び低感度の信号に対して所定のアナログ信号処理を施すアナログ信号処理部２０と、アナログ信号処理部２０から入力された高感度及び低感度のアナログ信号をそれぞれデジタルデータに変換する変換手段としてのアナログ／デジタル変換器（以下、「Ａ／Ｄ変換器」という。）２２と、が順に接続されている。ここで、Ａ／Ｄ変換器２２から出力された高感度のデジタルデータ（以下、「高感度データ」という。）が本発明の第１画像データに、低感度のデジタルデータ（以下、「低感度データ」という。）が本発明の第２画像データに、各々相当する。
【００３０】
また、光学レンズ１２を駆動するための駆動部２４と、絞り１４を駆動するための駆動部２６と、シャッタ１６を駆動するための駆動部２８と、ＣＣＤ１８に対する撮影時のタイミング制御を行うＣＣＤ制御部３０と、シャッタスイッチ等の各種操作スイッチにより構成されたカメラ操作部７２と、が設けられている。
【００３１】
Ａ／Ｄ変換器２２から出力された高感度データ及び低感度データ（Ｒ、Ｇ、Ｂ信号のデジタルデータ）は、制御回路６０（詳細は後述）に入力されると共に、デジタル信号処理回路３４に入力される。デジタル信号処理回路３４は、前処理回路３６と、配列手段としてのマッピング処理回路３８と、合成処理回路４０と、Ｋｎｅｅ処理回路４２と、ホワイトバランス（ＷＢ）調整処理回路４４と、ガンマ処理回路４６と、メモリ４８と、記録制御部５０と、表示制御部５２と、を含んで構成されている。
【００３２】
前処理回路３６は、Ａ／Ｄ変換器２２から入力されたＲ、Ｇ、Ｂの高感度データ及び低感度データに対して欠陥画素補正及び黒レベルのオフセット補正を施す。また、マッピング処理回路３８は、前処理回路３６による補正後の高感度データ及び低感度データを、後述する制御回路６０からの指示に応じて面順次又は点順次に選択的に配列する。
【００３３】
合成処理回路４０は、制御回路６０から合成指示を受けた場合に、マッピング処理回路３８から入力された高感度データ及び低感度データを後述するように合成して合成データとして出力する。また、合成処理回路４０は、制御回路６０から高感度データのみの通過指示を受けた場合には、合成を行うことなく、マッピング処理回路３８から入力された高感度データのみを出力する。
【００３４】
Ｋｎｅｅ処理回路４２は、入力されたＲ、Ｇ、Ｂのデジタルデータにおける高輝度側の入出力特性を必要に応じて変更する。ＷＢ調整処理回路４４は、入力されたＲ、Ｇ、Ｂのデジタルデータの各々にゲインを乗算して増減するための３つの乗算器（図示省略）を含んで構成されており、Ｒ、Ｇ、Ｂのデジタルデータは、各乗算器にそれぞれ入力される。更に、乗算器には、ホワイトバランスを制御するためのゲイン値Ｒｇ、Ｇｇ、Ｂｇが制御回路６０より入力され、乗算器の各々はこれら２入力を乗算する。この乗算によりホワイトバランスが調整されたＲ’、Ｇ’、Ｂ’のデジタルデータはガンマ処理回路４６に入力される。
【００３５】
ガンマ処理回路４６は、ホワイトバランスが調整されたＲ’、Ｇ’、Ｂ’のデジタルデータが所定のガンマ特性となるように入出力特性を変更し、また、１０ビットの信号が８ビットの信号となるように変更し、メモリ４８に格納する。
【００３６】
また、記録制御部５０はスマートメディアとして構成された記録メディア８０をデジタルカメラ１０に装着するための役割を有するものであり、マッピング処理回路３８から出力された高感度データ及び低感度データを合成することなく個別に記録メディア８０に記録する処理（以下、「ＲＡＷデータ記録処理」という。）と、合成処理回路４０により合成されてメモリ４８に記憶された合成データを当該メモリ４８から読み出して記録メディア８０に記録する処理（以下、「合成データ記録処理」という。）と、の２種類の処理を選択的に行うことができる。なお、記録制御部５０では、このときの処理の選択を制御回路６０からの指示に応じて行う。
【００３７】
更に、表示制御部５２は、メモリ４８に記憶された合成データ、又は高感度のデジタルデータを読み出し、読み出したデジタルデータを用いた液晶ディスプレイ（以下、「ＬＣＤ」という。）８２への画像表示のための処理を行う。
【００３８】
上記構成に加え、デジタルカメラ１０は、ＣＰＵ（中央演算処理装置）６２と、ＲＯＭ６４と、ＲＡＭ６６と、を備えたマイクロ・コンピュータで構成された制御回路６０を備えている。
【００３９】
制御回路６０は、デジタルカメラ１０全体の動作を制御する。また、ＲＯＭ６４には、ＣＰＵ６２で実行される後述する画像表示処理ルーチン、画像記録処理ルーチン等の各種処理ルーチンのプログラムが記憶されている。
【００４０】
更に、デジタルカメラ１０は、被写体までの距離を検出する測距センサ３２を備えている。測距センサ３２で検出された被写体までの距離を示す信号は、制御回路６０に入力される。シャッタスイッチが半押しされると、制御回路６０により、測距センサ３２で得られた被写体までの距離に基づいてＡＦ（ＡｕｔｏＦｏｃｕｓ、自動合焦）機能が働いて合焦制御される。
【００４１】
ここで、本実施の形態に係るＣＣＤ１８の構造について説明する。ＣＣＤ１８には、図２に示すようなハニカムＣＣＤを採用することができる。
【００４２】
このＣＣＤ１８の撮像部は、図２に示すように、１画素の１色について１つずつ割り当てられると共に、所定の配列ピッチ（水平配列ピッチ＝Ｐｈ（μｍ）、垂直配列ピッチ＝Ｐｖ（μｍ））で、かつ隣接する受光素子ＰＤ１が垂直方向及び水平方向にずらされて２次元配置された複数の受光素子ＰＤ１と、この受光素子ＰＤ１の前面に形成された開口部ＡＰを迂回するように配置され、かつ受光素子ＰＤ１からの信号（電荷）を取り出して垂直方向に転送する垂直転送電極ＶＥＬと、垂直方向最下に位置する垂直転送電極ＶＥＬの垂直方向下側に配置され、垂直転送電極ＶＥＬから転送されてきた信号を外部へ転送する水平転送電極ＨＥＬと、を備えている。なお、同図に示す例では、開口部ＡＰを八角形のハニカム形状に形成している。
【００４３】
ここで、水平方向に直線状に並んで配置された複数の垂直転送電極ＶＥＬにより構成される垂直転送電極群には、各々垂直転送駆動信号Ｖ１、Ｖ２、・・・、Ｖ８の何れか１つを同時に印加することができるように構成されている。なお、同図に示す例では、１段目の垂直転送電極群に対して垂直転送駆動信号Ｖ３が、２段目の垂直転送電極群に対して垂直転送駆動信号Ｖ４が、３段目の垂直転送電極群に対して垂直転送駆動信号Ｖ５が、４段目の垂直転送電極群に対して垂直転送駆動信号Ｖ６が、５段目の垂直転送電極群に対して垂直転送駆動信号Ｖ７が、６段目の垂直転送電極群に対して垂直転送駆動信号Ｖ８が、７段目の垂直転送電極群に対して垂直転送駆動信号Ｖ１が、８段目の垂直転送電極群に対して垂直転送駆動信号Ｖ２が、各々印加できるように構成されている。
【００４４】
一方、各受光素子ＰＤ１は隣接する１つの垂直転送電極ＶＥＬに対し転送ゲートＴＧを介して電気的に接続されるように構成されている。同図に示す例では、各受光素子ＰＤ１が右下に隣接する垂直転送電極ＶＥＬに転送ゲートＴＧを介して接続されるように構成されている。
【００４５】
なお、同図において‘Ｒ’が記入された受光素子ＰＤ１の前面に形成された開口部ＡＰは赤色の光を透過する色分離フィルタ（カラーフィルタ）で覆われており、‘Ｇ’が記入された受光素子ＰＤ１の前面に形成された開口部ＡＰは緑色の光を透過する色分離フィルタで覆われており、‘Ｂ’が記入された受光素子ＰＤ１の前面に形成された開口部ＡＰは青色の光を透過する色分離フィルタで覆われている。すなわち、‘Ｒ’が記入された受光素子ＰＤ１は赤色光を、‘Ｇ’が記入された受光素子ＰＤ１は緑色光を、‘Ｂ’が記入された受光素子ＰＤ１は青色光を、各々受光し、受光した光量に応じたアナログ信号を各々出力する。
【００４６】
ＣＣＤ１８は、更に、上述の受光素子ＰＤ１に比較して低感度な受光素子ＰＤ２を備えている。受光素子ＰＤ２は図２に示される如く、複数の受光素子ＰＤ１間に設けられている。この受光素子ＰＤ２も受光素子ＰＤ１と同様に、その前面に受光素子ＰＤ１の開口部より面積が小さい開口部ＡＰが形成され、隣接する１つの垂直転送電極ＶＥＬに対して転送ゲートＴＧにより電気的に接続されている。また、この受光素子ＰＤ２には、その前面に形成された開口部ＡＰに、受光素子ＰＤ１と同様にＲ、Ｇ、Ｂ何れかのカラーフィルタが装着されている。このように、受光素子ＰＤ２の受光面積を受光素子ＰＤ１の受光面積より小さくしているので、受光素子ＰＤ１に比較して低感度なＲ、Ｇ、Ｂ信号が得られる。
【００４７】
なお、受光素子ＰＤ２の転送ゲートＴＧが接続される電極は、隣接する受光素子ＰＤ１の転送ゲートＴＧが接続される電極とは異なるように設けられている。また、本実施の形態においては、先に受光素子ＰＤ１の電荷を読み出してから受光素子ＰＤ２の電荷を読み出すようにしている。
【００４８】
以下、このような構成のデジタルカメラ１０の撮影時における作用を、このとき制御回路６０のＣＰＵ６２により実行される画像表示処理ルーチンの処理の流れを示す図３のフローチャートを参照しつつ詳細に説明する。なお、ここでは、ＬＣＤ８２によりスルー表示又はプレビュー表示を行う場合には、当該表示を指示する旨の指示入力がユーザによりカメラ操作部７２を介して行われている場合について説明する。
【００４９】
まず、光学レンズ１２、絞り１４、及びシャッタ１６を通過した被写体像を示す入射光は、ＣＣＤ１８の感度の異なる受光素子ＰＤ１及びＰＤ２の双方により受光され、被写体像を示すアナログ画像信号としてアナログ信号処理部２０に出力される。また、ユーザがデジタルカメラ１０にて被写体を撮影するためにカメラ操作部７２のシャッタスイッチを半押しすると、このとき測距センサ３２から入力された信号に基づいて被写体までの距離Ｔが導出され、駆動部２４の制御の下にＡＦ機能が働いて合焦制御される。
【００５０】
アナログ信号処理部２０は、ＣＣＤ１８から入力された高感度及び低感度の双方のアナログ画像信号に対して所定のアナログ信号処理を施す。これらのアナログ画像信号は、Ａ／Ｄ変換器２２により各々高感度データ及び低感度データに変換される。Ａ／Ｄ変換器２２から出力された高感度データ及び低感度データは、デジタル信号処理回路３４及び制御回路６０に入力される。
【００５１】
一方、図３のステップ１００では、ユーザによりスルー表示又はプレビュー表示を指示する指示入力が行われているか否かが判定され、肯定判定の場合はステップ１０２に移行して、マッピング処理回路３８に対し、前処理回路３６から入力された高感度データ及び低感度データを面順次に配列させることを指示する指示信号が出力される。これにより、マッピング処理回路３８では、一例として図７（Ａ）に示されるように、入力された各デジタルデータを面順次に配列して合成処理回路４０及び記録制御部５０へ出力する。なお、図７（Ａ）における第１画像データが本実施の形態における高感度データに、第２画像データが本実施の形態における低感度データに、各々相当する。
【００５２】
次のステップ１０４では、合成処理回路４０に対し、高感度データのみの通過指示を示す指示信号が出力され、その後に画像表示処理ルーチンが終了される。上記ステップ１０４の処理により、合成処理回路４０では、マッピング処理回路３８から入力された各デジタルデータの合成を行うことなく、高感度データのみをＫｎｅｅ処理回路４２に出力する。
【００５３】
この高感度データは、Ｋｎｅｅ処理回路４２での処理後、ＷＢ調整処理回路４４及びガンマ処理回路４６で所定の処理が行われた後、メモリ４８の所定領域に記憶される。
【００５４】
そして、表示制御部５２は、メモリ４８に記憶された各種処理後の高感度データを用いたＬＣＤ８２への画像表示のための処理を実行する。
【００５５】
ここで、表示制御部５２は、ユーザによりスルー表示が指示されている場合にはメモリ４８に記憶されている高感度データを所定のフレームレート（ここでは、３０フレーム／秒）で読み出し、これを用いてＬＣＤ８２に被写体像を動画表示する。
【００５６】
また、ユーザによりプレビュー表示が指示されている場合は、カメラ操作部７２のシャッタスイッチが全押しされたタイミングに同期して、メモリ４８から高感度データを読み出し、これを用いてＬＣＤ８２に被写体像を静止画表示する。ＬＣＤ８２に当該静止画が表示されると、ユーザは、当該静止画の状態を確認し、記録メディア８０に記録したいものである場合には、その旨を示す指示入力をカメラ操作部７２を介して行う。これに応じて制御回路６０では、後述する画像記録処理ルーチンを実行し、当該静止画に対応するデジタルデータを記録メディア８０に記録する。
【００５７】
一方、上記ステップ１００において否定判定された場合には、ＬＣＤ８２に対してスルー表示及びプレビュー表示以外の表示を行うものであると見なしてステップ１０６に移行し、マッピング処理回路３８に対して前処理回路３６から入力された高感度データ及び低感度データを点順次に配列させることを指示する指示信号が出力される。これにより、マッピング処理回路３８では、一例として図７（Ｂ）に示されるように、入力された各デジタルデータを点順次に配列して合成処理回路４０及び記録制御部５０へ出力する。なお、図７（Ｂ）における第１画像データが本実施の形態における高感度データに、第２画像データが本実施の形態における低感度データに、各々相当することは言うまでもない。
【００５８】
次のステップ１０８では、合成処理回路４０に対し、高感度データ及び低感度データの合成指示を示す指示信号が出力され、その後に画像表示処理ルーチンが終了される。
【００５９】
上記ステップ１０８の処理により、合成処理回路４０では、マッピング処理回路３８から入力された高感度データ及び低感度データを、真数加算方式を用いて次の（１）式に示すように合成する。
【００６０】
【数１】

【００６１】
ここで、Ｓは、高感度信号と低感度信号の比（感度比）を示すものであり、その値は１以上となる。ｔｈは、画像形成において合成データｄａｔａの合成開始レベルを示す閾値である。また、ｈｉｇｈは、高感度データの値であり、ｗ_ｈは、高感度データの重みを示す値である。ｌｏｗは、低感度データの値であり、ｗ_ｌは、低感度データの重みを示す値である。なお、上記（１）式を簡略化するために、本実施の形態では、重みｗ_ｈと重みｗ_ｌの合計値を１とするものとされている。
【００６２】
なお、上記閾値ｔｈは、高感度データにより示される階調値が当該値未満であれば当該高感度データにより示される被写体像に白とびが発生しないと見なすことのできる値として、実際のＣＣＤ１８を用いた実験や、ＣＣＤ１８の設計仕様に基づくコンピュータ・シミュレーション等によって予め得られた値等を適用する。
【００６３】
図４は、このとき、合成処理回路４０によって、被写体からの光を受光して得られた高感度データと、その高感度データに低感度データを上述のように合成して得られた合成データとの関係を示した図である。図中の細線が合成前の高感度データであり、太線が合成処理により得られた合成データである。また、被写体輝度において、Ｘ_１は合成処理を行わない場合に表現可能な被写体輝度の最大値を示しており、Ｘ_２は合成後に表現可能となった被写体輝度の最大値を示している。この場合の撮影対象である被写体の輝度Ｘ_２はＸ_１のレベルより高い。なお、本図は、Ｒ、Ｇ、Ｂ何れか１色についてのデータを示している。
【００６４】
図から明らかなように、上述した合成処理により表現可能な被写体輝度のレベルはＸ_１からＸ_２まで拡大されている。このため、被写体がＸ_１のレベルより高い輝度を有する場合には、合成処理を施すことにより好適にダイナミックレンジが拡大され、表現可能な領域を拡大することができる。
【００６５】
合成処理回路４０により得られた合成データはＫｎｅｅ処理回路４２に出力され、Ｋｎｅｅ処理回路４２での処理後、ＷＢ調整処理回路４４及びガンマ処理回路４６で所定の処理が行われた後、メモリ４８の所定領域に記憶される。
【００６６】
そして、表示制御部５２は、メモリ４８に記憶された各種処理後の合成データを用いたＬＣＤ８２への画像表示のための処理を実行する。
【００６７】
次に、デジタルカメラ１０の画像データ記録時における作用を、このとき制御回路６０のＣＰＵ６２により実行される画像記録処理ルーチンの処理の流れを示す図５のフローチャートを参照しつつ詳細に説明する。なお、ここでは、前述のＲＡＷデータ記録処理及び合成データ記録処理の何れの記録処理を行うのかを指示する旨の指示入力がユーザによりカメラ操作部７２を介して行われている場合について説明する。
【００６８】
図５のステップ２００では、ユーザによりＲＡＷデータ記録処理を行う指示入力が行われているか否かが判定され、肯定判定の場合はステップ２０２に移行し、マッピング処理回路３８に対して前処理回路３６から入力された高感度データ及び低感度データを点順次に配列させることを指示する指示信号が出力される。これにより、マッピング処理回路３８では、入力された各デジタルデータを点順次に配列して合成処理回路４０及び記録制御部５０へ出力する。
【００６９】
次のステップ２０４では、記録制御部５０に対してマッピング処理回路３８から入力された点順次配列とされた高感度データ及び低感度データの記録メディア８０への記録を指示する指示信号が出力され、その後に画像記録処理ルーチンが終了される。
【００７０】
上記ステップ２０４の処理により、記録制御部５０は、マッピング処理回路３８から入力された点順次配列とされた高感度データ及び低感度データの記録メディア８０への記録を行う。
【００７１】
このようにして記録メディア８０に記録された高感度データ及び低感度データは、パーソナル・コンピュータ等の情報処理装置によって読み出され、必要に応じて合成されてダイナミックレンジの拡大が図られることになるが、これらのデジタルデータは点順次の配列とされているので、高感度データと低感度データとの同一画素のデータを高速に取得することができ、この結果として合成処理の処理速度を高速化することができる。
【００７２】
一方、上記ステップ２００において否定判定された場合は、ユーザにより合成データ記録処理を行う指示入力が行われているものと見なしてステップ２０６に移行し、マッピング処理回路３８に対して前処理回路３６から入力された高感度データ及び低感度データを点順次に配列させることを指示する指示信号が出力される。これにより、マッピング処理回路３８では、入力された各デジタルデータを点順次に配列して合成処理回路４０及び記録制御部５０へ出力する。
【００７３】
次のステップ２０８では、合成処理回路４０に対し、高感度データ及び低感度データの合成指示を示す指示信号が出力される。これに応じて合成処理回路４０では、マッピング処理回路３８から入力された高感度データ及び低感度データを、前述したように、真数加算方式を用いて上記（１）式に示すように合成する。
【００７４】
合成処理回路４０により得られた合成データはＫｎｅｅ処理回路４２に出力され、Ｋｎｅｅ処理回路４２での処理後、ＷＢ調整処理回路４４及びガンマ処理回路４６で所定の処理が行われた後、メモリ４８の所定領域に記憶される。
【００７５】
そこで、次のステップ２１０では、記録制御部５０に対してメモリ４８に記憶された合成データの記録メディア８０への記録を指示する指示信号が出力され、その後に画像記録処理ルーチンが終了される。
【００７６】
上記ステップ２１０の処理により、記録制御部５０は、メモリ４８に記憶された合成データの記録メディア８０への記録を行う。
【００７７】
以上詳細に説明したように、本実施の形態に係るデジタルカメラ１０は、被写体を第１の感度で撮像して被写体像を示す高感度のアナログ画像信号を出力すると共に、上記被写体を第１の感度より低い第２の感度で撮像して上記被写体像を示す低感度のアナログ画像信号を出力するＣＣＤ１８と、上記高感度のアナログ画像信号及び低感度のアナログ画像信号をデジタルデータに変換して各々に対応する高感度データ及び低感度データを出力するＡ／Ｄ変換器２２と、を備え、ＬＣＤ８２により上記被写体像をスルー表示又はプレビュー表示する場合に高感度データを用いて被写体像を表示すると共に、他の場合には高感度データ及び低感度データの合成データを用いて被写体像を表示しているので、被写体像をスルー表示又はプレビュー表示する場合におけるＣＣＤ１８によって得られた画像データを用いた処理（表示処理）の処理速度を高速化することができる。
【００７８】
また、本実施の形態に係るデジタルカメラ１０は、ＬＣＤ８２により被写体像をスルー表示又はプレビュー表示する場合に高感度データ及び低感度データを面順次に配列させると共に、装着された記録メディア８０に高感度データ及び低感度データを個別に記録する場合には高感度データ及び低感度データを点順次に配列させているので、ＣＣＤ１８によって得られた画像データを用いた処理の処理速度を高速化することができる。
【００７９】
なお、本実施の形態では、高感度の受光素子ＰＤ１と低感度の受光素子ＰＤ２の各々を設け、高感度信号及び低感度信号を得る例について説明したが、図６に示されるように、１つの受光素子ＰＤの受光領域をチャネルストッパ９４により高感度の受光を行う受光面積が広い高感度受光領域９２と低感度の受光を行う受光面積が狭い低感度受光領域９０とに分割し、それぞれの領域により高感度信号及び低感度信号が得られるような構成としてもよい。なお、受光素子ＰＤにはチャネルストッパ９４が設けられているため、高感度で受光された信号と低感度で受光された信号とが混合されずに、双方の信号を別々に受光することができる。
【００８０】
また、本実施の形態で説明した画像表示処理ルーチン及び画像記録処理ルーチン（図３及び図５参照）の処理の流れは一例であり、本発明の主旨を逸脱しない範囲内において適宜変更可能であることは言うまでもない。
【００８１】
また、本実施の形態に係るデジタルカメラ１０の構成（図１参照）も一例であり、本発明の主旨を逸脱しない範囲内において適宜変更可能であることは言うまでもない。
【００８２】
更に、本発明は上記デジタルカメラに限られるものではなく、様々な撮像装置に適用可能である。
【００８３】
【発明の効果】
以上説明した如く本発明によれば、被写体を第１の感度で撮像して被写体像を示すアナログ信号である第１画像信号を出力すると共に、上記被写体を第１の感度より低い第２の感度で撮像して上記被写体像を示すアナログ信号である第２画像信号を出力する撮像素子と、上記第１画像信号及び上記第２画像信号をデジタルデータに変換して各々に対応する第１画像データ及び第２画像データを出力する変換手段と、を備えた撮像装置において、表示手段により上記被写体像をスルー表示又はプレビュー表示する場合に上記第１画像データを用いて被写体像を表示すると共に、他の場合には上記第１画像データ及び上記第２画像データの合成データを用いて被写体像を表示しているので、被写体像をスルー表示又はプレビュー表示する場合における撮像素子によって得られた画像データを用いた処理（表示処理）の処理速度を高速化することができる、という効果が得られる。
【図面の簡単な説明】
【図１】実施の形態に係るデジタルカメラの構成を示すブロック図である。
【図２】実施の形態に係るデジタルカメラで適用されているＣＣＤの構成を示す概略図である。
【図３】実施の形態に係る画像表示処理ルーチンの流れを示すフローチャートである。
【図４】合成前の高感度データと、合成処理されて得られた合成データとの関係を示すグラフである。
【図５】実施の形態に係る画像記録処理ルーチンの流れを示すフローチャートである。
【図６】高感度と低感度の信号の双方を受光することができる受光素子が設けられたＣＣＤの構成を示す概略図である。
【図７】本発明における面順次及び点順次の各配列の説明に供する模式図である。
【符号の説明】
１０デジタルカメラ（撮像装置）
１４絞り
１６シャッタ
１８ＣＣＤ（撮像素子）
２２Ａ／Ｄ変換器（変換手段）
３８マッピング処理回路（配列手段）
５０記録制御部（装着手段）
８０記録メディア
８２液晶ディスプレイ（表示手段）[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an imaging device and an image data processing method of the imaging device, and more particularly to an imaging device including an imaging element that can output image signals having different sensitivities and an image data processing method of the imaging device.
[0002]
[Prior art]
2. Description of the Related Art In recent years, demand for digital cameras has increased rapidly with the increase in resolution of imaging devices such as CCD (Charge Coupled Device) and CMOS (Complementary Metal Oxide Semiconductor) image sensors.
[0003]
By the way, the dynamic range of an image pickup element in an image pickup apparatus such as a digital camera that is widely spread at present is generally narrower than that of a photographic film. For this reason, when photographing a high-luminance subject, the amount of received light exceeds the dynamic range, the output signal of the image sensor is saturated, and information on the subject is lost.
[0004]
In order to solve such a problem, conventionally, there is a technique for expanding a dynamic range by synthesizing a high-sensitivity image signal obtained by photographing and a low-sensitivity image signal (see, for example, Patent Document 1). .)
[0005]
In this technique, a high-sensitivity image is replaced with a low-sensitivity image for each part in one image using a mask to generate a composite image.
[0006]
[Patent Document 1]
JP 2000-307963 A
[0007]
[Problems to be solved by the invention]
However, in this technique, since it is assumed that a high-sensitivity image signal and a low-sensitivity image signal are combined and used, it takes time to combine the high-sensitivity image signal and the low-sensitivity image signal. There has been a problem that the processing speed of the process using and cannot always be said to be high.
[0008]
The present invention has been made to solve the above problems, and provides an image pickup apparatus and an image data processing method for the image pickup apparatus that can increase the processing speed of processing using image data obtained by an image pickup device. The purpose is to obtain.
[0009]
[Means for Solving the Problems]
In order to achieve the above object, an imaging apparatus according to claim 1, images a subject with a first sensitivity, outputs a first image signal that is an analog signal indicating a subject image, and outputs the subject to the first. An image sensor that captures an image with a second sensitivity lower than the sensitivity and outputs a second image signal that is an analog signal indicating the subject image; and converts the first image signal and the second image signal into digital data, respectively. Converting means for outputting the first image data and the second image data corresponding to the above, and displaying the subject image using the first image data when the subject image is displayed through or previewed, and in other cases Comprises display means for displaying the subject image using composite data of the first image data and the second image data.
[0010]
According to the imaging device of the first aspect, the first image signal, which is an analog signal indicating the subject image, is output by the imaging element with the first sensitivity and the subject is the first image signal. A second image signal, which is an analog signal indicating the subject image, is output with a second sensitivity lower than the sensitivity, and the first image signal and the second image signal are converted into digital data by the conversion unit. First image data and second image data corresponding to each are output. Note that the image pickup device can include a solid-state image pickup device such as a CCD or a CMOS image sensor.
[0011]
Here, in the present invention, when the subject image is displayed through or previewed by the display means, the first image data is used to display the subject image, and in other cases, the first image is displayed. The subject image is displayed using the combined data of the data and the second image data.
[0012]
The through display is a display that is performed when the subject image obtained by imaging with the imaging device is displayed in real time by the display means, and is used when the display means is used as a viewfinder. The preview display is for displaying the subject image indicated by the image data by the display means when recording the image data obtained by imaging by the image sensor, and for checking the state of the subject image. This is the display that will be made.
[0013]
That is, in the present invention, in general, when displaying a captured subject image as a through display or a preview display, attention is paid to the fact that the display speed is more important than the image quality of the display image. The subject image is displayed using only the first image data that is the image data on the side, and processing using the image data obtained by the image sensor in the case of through display or preview display (in this case) Can increase the processing speed of display processing.
[0014]
As the display means, any display such as a liquid crystal display, a plasma display, an organic EL display, or a CRT display can be applied.
[0015]
As described above, according to the imaging apparatus of the first aspect, the subject is imaged with the first sensitivity, the first image signal that is an analog signal indicating the subject image is output, and the subject is detected with the first sensitivity. An image sensor that captures an image with a lower second sensitivity and outputs a second image signal that is an analog signal indicating the subject image, and converts the first image signal and the second image signal into digital data, respectively. When the subject image is displayed as a through or preview display by the display means in an imaging device including the corresponding first image data and second image data, the subject image using the first image data In other cases, the subject image is displayed using the composite data of the first image data and the second image data. The processing speed of the processing (display processing) using the image data obtained by the imaging device in the case of can be increased.
[0016]
According to a second aspect of the present invention, there is provided the imaging apparatus according to the first aspect of the present invention, wherein the first means is used when the recording means is mounted and the subject image is displayed through or previewed by the display means. In the case where the image data and the second image data are arranged in a frame sequential manner, and the first image data and the second image data are individually recorded on the recording medium mounted by the mounting means, the first image And arranging means for arranging the data and the second image data dot-sequentially.
[0017]
According to the imaging apparatus of the second aspect, the recording medium is mounted by the mounting unit. The recording media include smart media (SmartMedia (R)), compact flash (CompactFlash), ATA (AT Attachment) card, floppy disk, CD-R (Compact Disc-Recordable), CD-RW (Compact). (Disc-ReWriteable), a magneto-optical disk and other portable recording media can be included.
[0018]
Here, in the present invention, the first image data and the second image data are arranged in the frame sequential order when the subject image is displayed through or previewed by the display means by the arranging means and is attached by the attaching means. When the first image data and the second image data are individually recorded on the recording medium, the first image data and the second image data are arranged dot-sequentially.
[0019]
Note that the above-described plane sequential arrangement is, for example, as shown in FIG. 7A, the first image data on the high sensitivity side (indicated as “H” in the figure) and the second image on the low sensitivity side. Image data (denoted as 'L' in the figure) is individually arranged for each image data, and the dot-sequential arrangement is, for example, as shown in FIG. Data of the same pixel (denoted as “HL” in the figure) of the first image data and the second image data are arranged so as to be adjacent to each other.
[0020]
That is, in the present invention, only the first image data is used when the subject image is through-displayed or preview-displayed by the display means, so that the first image data and the second image data are arranged in a dot-sequential manner. The first image data can be acquired at a higher speed when arranged in the frame sequence, and as a result, the processing speed for displaying the subject image in a through display or a preview display can be increased.
[0021]
On the other hand, when the first image data and the second image data are individually recorded on the recording medium configured to be mountable, the first image data and the second image data recorded on the recording medium are synthesized later. Can be used. In this case, since it is necessary to extract the same pixel data of the first image data and the second image data when performing the synthesis process, the first image data and the second image data are arranged in the order of frames. The data of the same pixel can be acquired at higher speed when arranged in dot-sequential manner, and as a result, the processing speed of the synthesis process can be increased.
[0022]
As described above, according to the imaging device of the second aspect, the first image data and the second image data are arranged in the surface sequential order when the subject image is displayed through or previewed by the display unit, and is mounted. When the first image data and the second image data are individually recorded on the recording medium, since the first image data and the second image data are arranged in a dot-sequential manner, the image data obtained by the image sensor is used. The processing speed of processing can be increased.
[0023]
On the other hand, in order to achieve the above object, the image data processing method according to claim 3, the subject is imaged with a first sensitivity and a first image signal which is an analog signal indicating a subject image is output, and the subject An image sensor that outputs a second image signal, which is an analog signal indicating the subject image, with a second sensitivity lower than the first sensitivity, and converts the first image signal and the second image signal into digital data An imaging device comprising conversion means for converting and outputting first image data and second image data corresponding to each, and display means for displaying the subject image, wherein a recording medium can be attached In the image data processing method, the subject image is displayed using the first image data when the subject image is displayed through or previewed by the display means. The case is for displaying the subject image using the combined data of the first image data and the second image data.
[0024]
Therefore, since the image data processing method according to the third aspect operates in the same manner as the invention according to the first aspect, similarly to the first aspect, when the subject image is displayed as a through display or a preview display. The processing speed of processing (display processing) using image data obtained by the image sensor can be increased.
[0025]
According to a fourth aspect of the present invention, there is provided the image data processing method according to the third aspect, wherein the first image data and the second image data are displayed when the subject image is displayed through or previewed by the display means. When the first image data and the second image data are individually recorded on the mounted recording medium, the first image data and the second image data are arranged dot-sequentially. Is.
[0026]
Therefore, according to the image data processing method described in claim 4, since it operates in the same manner as in the invention described in claim 2, the image data obtained by the image sensor is used as in the invention described in claim 2. The processing speed of processing can be increased.
[0027]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. Hereinafter, a case where the present invention is applied to a digital camera will be described.
[0028]
First, the configuration of the digital camera 10 according to the present embodiment will be described with reference to FIG. As shown in the figure, the digital camera 10 includes an optical lens 12, a diaphragm 14 for adjusting the amount of light passing through the optical lens 12, a shutter 16 for adjusting the passage time of light, the optical lens 12, and a diaphragm. 14 and R (red), G (green), and B (blue) indicating the subject image obtained by imaging the subject with respective high-sensitivity and low-sensitivity light receiving elements based on incident light indicating the subject image that has passed through the shutter 16. A CCD 18 is provided as an imaging device that outputs three color analog image signals.
[0029]
The CCD 18 includes an analog signal processing unit 20 that performs predetermined analog signal processing on high-sensitivity and low-sensitivity signals input from the CCD 18, and high-sensitivity and low-sensitivity analog signals input from the analog signal processing unit 20. Are sequentially connected to an analog / digital converter (hereinafter referred to as “A / D converter”) 22 as conversion means for converting each of the signals into digital data. Here, high-sensitivity digital data (hereinafter referred to as “high-sensitivity data”) output from the A / D converter 22 is converted into low-sensitivity digital data (hereinafter referred to as “low-sensitivity data”) as the first image data of the present invention. Data ”) corresponds to the second image data of the present invention.
[0030]
Further, a drive unit 24 for driving the optical lens 12, a drive unit 26 for driving the diaphragm 14, a drive unit 28 for driving the shutter 16, and a CCD control for performing timing control at the time of photographing with respect to the CCD 18. A unit 30 and a camera operation unit 72 configured by various operation switches such as a shutter switch are provided.
[0031]
The high sensitivity data and low sensitivity data (digital data of R, G, B signals) output from the A / D converter 22 are input to the control circuit 60 (details will be described later) and also to the digital signal processing circuit 34. Entered. The digital signal processing circuit 34 includes a preprocessing circuit 36, a mapping processing circuit 38 as an arrangement unit, a synthesis processing circuit 40, a knee processing circuit 42, a white balance (WB) adjustment processing circuit 44, and a gamma processing circuit 46. A memory 48, a recording control unit 50, and a display control unit 52.
[0032]
The pre-processing circuit 36 performs defective pixel correction and black level offset correction on the high sensitivity data and low sensitivity data of R, G, and B input from the A / D converter 22. In addition, the mapping processing circuit 38 selectively arranges the high sensitivity data and the low sensitivity data corrected by the preprocessing circuit 36 in a frame sequence or a dot sequence in accordance with an instruction from the control circuit 60 described later.
[0033]
When the synthesis processing circuit 40 receives a synthesis instruction from the control circuit 60, the synthesis processing circuit 40 synthesizes the high sensitivity data and the low sensitivity data input from the mapping processing circuit 38 as described later, and outputs the synthesized data. In addition, when the composition processing circuit 40 receives an instruction to pass only high sensitivity data from the control circuit 60, the composition processing circuit 40 outputs only the high sensitivity data input from the mapping processing circuit 38 without performing composition.
[0034]
The knee processing circuit 42 changes the input / output characteristics on the high luminance side in the input R, G, B digital data as necessary. The WB adjustment processing circuit 44 is configured to include three multipliers (not shown) for multiplying each of the input R, G, B digital data by a gain and increasing / decreasing them. The digital data B is input to each multiplier. Further, gain values Rg, Gg, and Bg for controlling white balance are input to the multiplier from the control circuit 60, and each of the multipliers multiplies these two inputs. The digital data of R ′, G ′, B ′ whose white balance has been adjusted by this multiplication is input to the gamma processing circuit 46.
[0035]
The gamma processing circuit 46 changes the input / output characteristics so that the digital data of R ′, G ′, B ′ whose white balance has been adjusted has a predetermined gamma characteristic, and the 10-bit signal is an 8-bit signal. And store in the memory 48.
[0036]
The recording control unit 50 has a role for mounting the recording medium 80 configured as a smart medium on the digital camera 10 and synthesizes the high sensitivity data and the low sensitivity data output from the mapping processing circuit 38. Without being recorded individually on the recording medium 80 (hereinafter referred to as “RAW data recording process”), and the synthesized data synthesized by the synthesis processing circuit 40 and stored in the memory 48 is read from the memory 48 and recorded. Two types of processing, that is, processing to be recorded in 80 (hereinafter referred to as “composite data recording processing”) can be selectively performed. Note that the recording control unit 50 selects the process at this time in accordance with an instruction from the control circuit 60.
[0037]
Further, the display control unit 52 reads the composite data stored in the memory 48 or high-sensitivity digital data, and displays an image on a liquid crystal display (hereinafter referred to as “LCD”) 82 using the read digital data. Process.
[0038]
In addition to the above configuration, the digital camera 10 includes a control circuit 60 configured by a microcomputer including a CPU (Central Processing Unit) 62, a ROM 64, and a RAM 66.
[0039]
The control circuit 60 controls the operation of the entire digital camera 10. The ROM 64 stores programs for various processing routines such as an image display processing routine and an image recording processing routine which will be described later and executed by the CPU 62.
[0040]
Furthermore, the digital camera 10 includes a distance measuring sensor 32 that detects the distance to the subject. A signal indicating the distance to the subject detected by the distance measuring sensor 32 is input to the control circuit 60. When the shutter switch is half-pressed, the control circuit 60 performs an AF (Auto Focus) function based on the distance to the subject obtained by the distance measuring sensor 32 and performs focus control.
[0041]
Here, the structure of the CCD 18 according to the present embodiment will be described. As the CCD 18, a honeycomb CCD as shown in FIG.
[0042]
As shown in FIG. 2, the image pickup unit of the CCD 18 is assigned one by one for one color of one pixel and has a predetermined arrangement pitch (horizontal arrangement pitch = Ph (μm), vertical arrangement pitch = Pv (μm)). And adjacent light receiving elements PD1 are arranged so as to bypass a plurality of light receiving elements PD1 that are two-dimensionally shifted in the vertical direction and the horizontal direction, and an opening AP formed in the front surface of the light receiving element PD1. In addition, a vertical transfer electrode VEL that takes out a signal (charge) from the light receiving element PD1 and transfers it in the vertical direction and a vertical transfer electrode VEL that is positioned at the lowest in the vertical direction are arranged on the lower side in the vertical direction, A horizontal transfer electrode HEL for transferring the transferred signal to the outside. In the example shown in the figure, the opening AP is formed in an octagonal honeycomb shape.
[0043]
Here, each of the vertical transfer electrode groups constituted by a plurality of vertical transfer electrodes VEL arranged in a straight line in the horizontal direction has one of the vertical transfer drive signals V1, V2,. Can be applied simultaneously. In the example shown in the figure, the vertical transfer drive signal V3 is applied to the first-stage vertical transfer electrode group, and the vertical transfer drive signal V4 is applied to the second-stage vertical transfer electrode group. The vertical transfer drive signal V5 for the transfer electrode group, the vertical transfer drive signal V6 for the fourth vertical transfer electrode group, and the vertical transfer drive signal V7 for the fifth vertical transfer electrode group are 6 The vertical transfer drive signal V8 for the vertical transfer electrode group at the stage, the vertical transfer drive signal V1 for the vertical transfer electrode group at the seventh stage, and the vertical transfer drive signal for the vertical transfer electrode group at the eighth stage. V2 can be applied to each.
[0044]
On the other hand, each light receiving element PD1 is configured to be electrically connected to one adjacent vertical transfer electrode VEL via a transfer gate TG. In the example shown in the figure, each light receiving element PD1 is configured to be connected to a vertical transfer electrode VEL adjacent to the lower right via a transfer gate TG.
[0045]
In the figure, the opening AP formed on the front surface of the light receiving element PD1 in which “R” is entered is covered with a color separation filter (color filter) that transmits red light, and “G” is entered. The opening AP formed on the front surface of the light receiving element PD1 is covered with a color separation filter that transmits green light, and the opening AP formed on the front surface of the light receiving element PD1 on which “B” is written is blue. It is covered with a color separation filter that transmits light. That is, the light receiving element PD1 in which “R” is written receives red light, the light receiving element PD1 in which “G” is written receives green light, and the light receiving element PD1 in which “B” is written receives blue light. Each analog signal corresponding to the amount of received light is output.
[0046]
The CCD 18 further includes a light receiving element PD2 that is less sensitive than the light receiving element PD1 described above. As shown in FIG. 2, the light receiving element PD2 is provided between the plurality of light receiving elements PD1. Similarly to the light receiving element PD1, the light receiving element PD2 is formed with an opening AP having a smaller area than the opening of the light receiving element PD1, and is electrically connected to one adjacent vertical transfer electrode VEL by the transfer gate TG. It is connected. In addition, in the light receiving element PD2, an R, G, or B color filter is mounted in an opening AP formed on the front surface thereof, similarly to the light receiving element PD1. Thus, since the light receiving area of the light receiving element PD2 is smaller than the light receiving area of the light receiving element PD1, R, G, and B signals having lower sensitivity than the light receiving element PD1 can be obtained.
[0047]
The electrode to which the transfer gate TG of the light receiving element PD2 is connected is provided to be different from the electrode to which the transfer gate TG of the adjacent light receiving element PD1 is connected. In the present embodiment, the charge of the light receiving element PD1 is read out first, and then the charge of the light receiving element PD2 is read out.
[0048]
Hereinafter, the operation of the digital camera 10 having such a configuration at the time of shooting will be described in detail with reference to the flowchart of FIG. 3 showing the flow of the image display processing routine executed by the CPU 62 of the control circuit 60 at this time. . Here, in the case where through display or preview display is performed on the LCD 82, a case where an instruction input for instructing the display is performed by the user via the camera operation unit 72 will be described.
[0049]
First, incident light indicating a subject image that has passed through the optical lens 12, the diaphragm 14, and the shutter 16 is received by both the light receiving elements PD1 and PD2 having different sensitivity of the CCD 18, and analog signal processing is performed as an analog image signal indicating the subject image. Is output to the unit 20. Further, when the user half-presses the shutter switch of the camera operation unit 72 to photograph the subject with the digital camera 10, the distance T to the subject is derived based on the signal input from the distance measuring sensor 32 at this time. Under the control of the drive unit 24, the AF function works to control the focus.
[0050]
The analog signal processing unit 20 performs predetermined analog signal processing on both high-sensitivity and low-sensitivity analog image signals input from the CCD 18. These analog image signals are respectively converted into high sensitivity data and low sensitivity data by the A / D converter 22. The high sensitivity data and the low sensitivity data output from the A / D converter 22 are input to the digital signal processing circuit 34 and the control circuit 60.
[0051]
On the other hand, in step 100 of FIG. 3, it is determined whether or not an instruction input for instructing the through display or the preview display is performed by the user. If the determination is affirmative, the process proceeds to step 102 to the mapping processing circuit 38. An instruction signal for instructing that the high sensitivity data and the low sensitivity data input from the preprocessing circuit 36 are arranged in the frame order is output. Thereby, in the mapping processing circuit 38, as shown in FIG. 7A as an example, the input digital data are arranged in the frame order and output to the synthesis processing circuit 40 and the recording control unit 50. Note that the first image data in FIG. 7A corresponds to the high sensitivity data in this embodiment, and the second image data corresponds to the low sensitivity data in this embodiment.
[0052]
In the next step 104, an instruction signal indicating an instruction to pass only high-sensitivity data is output to the synthesis processing circuit 40, and then the image display processing routine is ended. Through the processing in step 104, the synthesis processing circuit 40 outputs only high sensitivity data to the knee processing circuit 42 without synthesizing the digital data input from the mapping processing circuit 38.
[0053]
The high-sensitivity data is stored in a predetermined area of the memory 48 after being processed by the Knee processing circuit 42 and after being subjected to predetermined processing by the WB adjustment processing circuit 44 and the gamma processing circuit 46.
[0054]
Then, the display control unit 52 executes a process for displaying an image on the LCD 82 using the high sensitivity data after various processes stored in the memory 48.
[0055]
Here, the display control unit 52 reads out the high-sensitivity data stored in the memory 48 at a predetermined frame rate (here, 30 frames / second) when through display is instructed by the user. The subject image is displayed as a moving image on the LCD 82.
[0056]
In addition, when a preview display is instructed by the user, high-sensitivity data is read from the memory 48 in synchronization with the timing when the shutter switch of the camera operation unit 72 is fully pressed, and an object image is displayed on the LCD 82 using this. Display a still image. When the still image is displayed on the LCD 82, the user confirms the state of the still image, and if the user wants to record on the recording medium 80, the user inputs an instruction input indicating that via the camera operation unit 72. Do. In response to this, the control circuit 60 executes an image recording processing routine, which will be described later, and records digital data corresponding to the still image on the recording medium 80.
[0057]
On the other hand, if a negative determination is made in step 100, it is assumed that display other than the through display and the preview display is performed on the LCD 82, and the process proceeds to step 106, where the preprocessing circuit is transferred to the mapping processing circuit 38. An instruction signal instructing to arrange the high sensitivity data and the low sensitivity data input from 36 in a dot-sequential manner is output. Thereby, in the mapping processing circuit 38, as shown in FIG. 7B as an example, the input digital data are arranged in a dot sequence and output to the synthesis processing circuit 40 and the recording control unit 50. Needless to say, the first image data in FIG. 7B corresponds to the high sensitivity data in the present embodiment, and the second image data corresponds to the low sensitivity data in the present embodiment.
[0058]
In the next step 108, an instruction signal indicating an instruction for combining high-sensitivity data and low-sensitivity data is output to the combining processing circuit 40, and then the image display processing routine is ended.
[0059]
By the processing in step 108, the synthesis processing circuit 40 synthesizes the high sensitivity data and the low sensitivity data input from the mapping processing circuit 38 as shown in the following equation (1) using the true number addition method.
[0060]
[Expression 1]

[0061]
Here, S indicates the ratio (sensitivity ratio) between the high sensitivity signal and the low sensitivity signal, and the value thereof is 1 or more. “th” is a threshold value indicating a synthesis start level of the synthesis data “data” in image formation. Further, high is a value of high sensitivity data, and w _h Is a value indicating the weight of the high sensitivity data. low is the value of low sensitivity data, w _l Is a value indicating the weight of the low sensitivity data. In order to simplify the above equation (1), in this embodiment, the weight w _h And weight w _l It is supposed that the total value of 1 is 1.
[0062]
Note that the threshold th is a value that can be regarded as no over-exposure in the subject image indicated by the high sensitivity data if the gradation value indicated by the high sensitivity data is less than the value. Values obtained in advance by experiments used, computer simulations based on the design specifications of the CCD 18, and the like are applied.
[0063]
FIG. 4 shows the high sensitivity data obtained by receiving light from the subject by the synthesis processing circuit 40 and the synthesized data obtained by synthesizing the low sensitivity data with the high sensitivity data as described above. It is the figure which showed the relationship. The thin line in the figure is the high sensitivity data before synthesis, and the thick line is the synthesized data obtained by the synthesis process. In the subject brightness, X ₁ Indicates the maximum value of the subject brightness that can be expressed when the composition processing is not performed. ₂ Indicates the maximum value of the subject brightness that can be expressed after synthesis. In this case, the luminance X of the subject to be photographed ₂ Is X ₁ Higher than the level. This figure shows data for one of R, G, and B colors.
[0064]
As is apparent from the figure, the level of subject brightness that can be expressed by the above-described combining process is X ₁ To X ₂ Has been expanded to. Therefore, the subject is X ₁ When the luminance is higher than this level, the dynamic range is suitably expanded by performing the synthesis process, and the area that can be expressed can be expanded.
[0065]
The synthesized data obtained by the synthesis processing circuit 40 is output to the Knee processing circuit 42. After processing by the Knee processing circuit 42, predetermined processing is performed by the WB adjustment processing circuit 44 and the gamma processing circuit 46, and then the memory 48 Is stored in a predetermined area.
[0066]
Then, the display control unit 52 executes a process for displaying an image on the LCD 82 using the combined data after various processes stored in the memory 48.
[0067]
Next, the operation of the digital camera 10 when recording image data will be described in detail with reference to the flowchart of FIG. 5 showing the flow of the image recording processing routine executed by the CPU 62 of the control circuit 60 at this time. Here, a case will be described in which an instruction input for instructing which recording process of the RAW data recording process and the composite data recording process is performed is performed by the user via the camera operation unit 72.
[0068]
In step 200 in FIG. 5, it is determined whether or not an instruction input for performing RAW data recording processing is performed by the user. If the determination is affirmative, the process proceeds to step 202, and the preprocessing circuit 36 is sent to the mapping processing circuit 38. An instruction signal for instructing to arrange the high sensitivity data and the low sensitivity data input in a dot-sequential manner is output. As a result, the mapping processing circuit 38 arranges each input digital data in a dot-sequential manner and outputs it to the synthesis processing circuit 40 and the recording control unit 50.
[0069]
In the next step 204, an instruction signal for instructing the recording control unit 50 to record the high-sensitivity data and the low-sensitivity data input from the mapping processing circuit 38 into the recording medium 80 is output. Thereafter, the image recording processing routine is ended.
[0070]
Through the processing in step 204, the recording control unit 50 records the high sensitivity data and the low sensitivity data input from the mapping processing circuit 38 in the dot sequential arrangement onto the recording medium 80.
[0071]
The high sensitivity data and the low sensitivity data recorded on the recording medium 80 in this way are read out by an information processing apparatus such as a personal computer, and are combined as necessary to expand the dynamic range. However, since these digital data are arranged in a dot-sequential arrangement, high-sensitivity data and low-sensitivity data of the same pixel can be acquired at high speed, resulting in a faster processing speed of the synthesis process. can do.
[0072]
On the other hand, if a negative determination is made in step 200, it is assumed that an instruction input for performing the composite data recording process has been performed by the user, the process proceeds to step 206, and the mapping process circuit 38 is informed from the pre-processing circuit 36. An instruction signal is output to instruct the input high sensitivity data and low sensitivity data to be arranged dot-sequentially. As a result, the mapping processing circuit 38 arranges each input digital data in a dot-sequential manner and outputs it to the synthesis processing circuit 40 and the recording control unit 50.
[0073]
In the next step 208, an instruction signal indicating an instruction to synthesize high sensitivity data and low sensitivity data is output to the synthesis processing circuit 40. In response to this, the synthesis processing circuit 40 synthesizes the high sensitivity data and the low sensitivity data input from the mapping processing circuit 38 as shown in the above equation (1) using the true number addition method as described above. .
[0074]
The synthesized data obtained by the synthesis processing circuit 40 is output to the Knee processing circuit 42. After processing by the Knee processing circuit 42, predetermined processing is performed by the WB adjustment processing circuit 44 and the gamma processing circuit 46, and then the memory 48 Is stored in a predetermined area.
[0075]
Therefore, in the next step 210, an instruction signal for instructing the recording control unit 50 to record the composite data stored in the memory 48 on the recording medium 80 is output, and then the image recording processing routine is ended.
[0076]
Through the processing of step 210, the recording control unit 50 records the composite data stored in the memory 48 onto the recording medium 80.
[0077]
As described above in detail, the digital camera 10 according to the present embodiment captures the subject with the first sensitivity and outputs a high-sensitivity analog image signal indicating the subject image, and also applies the subject to the first. A CCD 18 that captures a second sensitivity lower than the sensitivity and outputs a low-sensitivity analog image signal indicating the subject image, and converts the high-sensitivity analog image signal and the low-sensitivity analog image signal into digital data, respectively. A / D converter 22 that outputs high sensitivity data and low sensitivity data corresponding to the above, and when the subject image is displayed through or previewed on the LCD 82, the subject image is displayed using the high sensitivity data. In other cases, the subject image is displayed using the combined data of the high sensitivity data and the low sensitivity data. The processing speed of the processing (display processing) using the image data obtained by the CCD18 in the case of can be increased.
[0078]
The digital camera 10 according to the present embodiment arranges the high sensitivity data and the low sensitivity data in the frame sequential order when the subject image is displayed through or previewed on the LCD 82, and the mounted recording medium 80 has a high sensitivity. When data and low-sensitivity data are individually recorded, the high-sensitivity data and low-sensitivity data are arranged dot-sequentially, so that the processing speed of processing using image data obtained by the CCD 18 can be increased. it can.
[0079]
In the present embodiment, an example in which each of the high sensitivity light receiving element PD1 and the low sensitivity light receiving element PD2 is provided to obtain a high sensitivity signal and a low sensitivity signal has been described. However, as illustrated in FIG. The light receiving regions of one light receiving element PD are divided into a high sensitivity light receiving region 92 having a large light receiving area for receiving high sensitivity light by a channel stopper 94 and a low sensitivity light receiving region 90 having a small light receiving area for receiving low sensitivity light. A configuration may be employed in which a high-sensitivity signal and a low-sensitivity signal are obtained depending on the region. Since the light receiving element PD is provided with the channel stopper 94, the signal received with high sensitivity and the signal received with low sensitivity are not mixed, and both signals can be received separately. .
[0080]
Further, the flow of processing of the image display processing routine and the image recording processing routine (see FIGS. 3 and 5) described in the present embodiment is an example, and can be appropriately changed without departing from the gist of the present invention. Needless to say.
[0081]
Further, the configuration of the digital camera 10 according to the present embodiment (see FIG. 1) is also an example, and it is needless to say that the configuration can be appropriately changed without departing from the gist of the present invention.
[0082]
Furthermore, the present invention is not limited to the above digital camera, and can be applied to various imaging devices.
[0083]
【The invention's effect】
As described above, according to the present invention, the subject is imaged with the first sensitivity, the first image signal which is an analog signal indicating the subject image is output, and the second sensitivity of the subject is lower than the first sensitivity. An image pickup device that picks up an image and outputs a second image signal that is an analog signal indicating the subject image, and converts the first image signal and the second image signal into digital data, and corresponding first image data. And a conversion means for outputting the second image data, the display means displays the subject image using the first image data when the subject image is displayed through or previewed by the display means. In this case, since the subject image is displayed using the combined data of the first image data and the second image data, the subject image is displayed in a through display or a preview display. Processing using the image data obtained by the imaging device and the processing speed of (display process) can be faster that the effect is obtained that.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration of a digital camera according to an embodiment.
FIG. 2 is a schematic diagram showing a configuration of a CCD applied in the digital camera according to the embodiment.
FIG. 3 is a flowchart showing a flow of an image display processing routine according to the embodiment.
FIG. 4 is a graph showing the relationship between high-sensitivity data before synthesis and synthesized data obtained by synthesis processing.
FIG. 5 is a flowchart showing a flow of an image recording processing routine according to the embodiment.
FIG. 6 is a schematic diagram showing a configuration of a CCD provided with a light receiving element capable of receiving both high sensitivity and low sensitivity signals.
FIG. 7 is a schematic diagram for explaining each of the surface-sequential and dot-sequential arrangements in the present invention.
[Explanation of symbols]
10 Digital camera (imaging device)
14 Aperture
16 Shutter
18 CCD (imaging device)
22 A / D converter (conversion means)
38 Mapping processing circuit (array means)
50 Recording control unit (mounting means)
80 recording media
82 Liquid crystal display (display means)

Claims

The subject is imaged with a first sensitivity to output a first image signal which is an analog signal indicating the subject image, and the subject is imaged with a second sensitivity lower than the first sensitivity to indicate the subject image. An image sensor that outputs a second image signal as a signal;
Conversion means for converting the first image signal and the second image signal into digital data and outputting corresponding first image data and second image data;
When the subject image is displayed through or previewed, the subject image is displayed using the first image data, and in other cases, the synthesized data of the first image data and the second image data is used. Display means for displaying the subject image;
An imaging apparatus comprising:

Mounting means for mounting a recording medium;
When the subject image is displayed through or previewed by the display means, the first image data and the second image data are arranged in a frame sequential manner, and the first image is placed on the recording medium attached by the attachment means. Arrangement means for arranging the first image data and the second image data dot-sequentially when recording data and the second image data separately;
The imaging apparatus according to claim 1, further comprising:

The subject is imaged with a first sensitivity to output a first image signal which is an analog signal indicating the subject image, and the subject is imaged with a second sensitivity lower than the first sensitivity to indicate the subject image. An image pickup device that outputs a second image signal that is a signal, and a conversion unit that converts the first image signal and the second image signal into digital data and outputs corresponding first image data and second image data. And a display means for displaying the subject image, and an image data processing method of an imaging device configured to be capable of mounting a recording medium,
When the subject image is displayed through or previewed by the display means, the subject image is displayed using the first image data, and in other cases, the first image data and the second image data are combined. An image data processing method for displaying the subject image using data.

When the subject image is displayed through or previewed by the display means, the first image data and the second image data are arranged in a frame sequential manner, and the first image data and the second image data are arranged on the recording medium loaded. 4. The image data processing method according to claim 3, wherein when the two image data are individually recorded, the first image data and the second image data are arranged in a dot-sequential manner.