JP2004173044A

JP2004173044A - Image pickup device

Info

Publication number: JP2004173044A
Application number: JP2002337734A
Authority: JP
Inventors: Masahiko Sugimoto; 雅彦杉本
Original assignee: Fuji Photo Film Co Ltd
Current assignee: Fujifilm Holdings Corp
Priority date: 2002-11-21
Filing date: 2002-11-21
Publication date: 2004-06-17

Abstract

<P>PROBLEM TO BE SOLVED: To obtain an image pickup device capable of easily preventing the occurrence of bright-area-gradation deterioration. <P>SOLUTION: The image pickup device is provided with a CCD 18 provided with a plurality of light receiving elements for receiving light from a subject with first sensitivity and outputting high-sensitivity signals corresponding to received light quantities and the plurality of light receiving elements for receiving light from the subject with second sensitivity lower than the first sensitivity and outputting low-sensitivity signals corresponding to received light quantities. When a comprehensive synthetic signal is generated in a synthesizing circuit 36 by synthesizing high-sensitivity signals and low-sensitivity signals weighted by preliminarily set weight w<SB>1</SB>so as to make a dynamic range wider in accordance with an increase in the weight w<SB>1</SB>, a control circuit 50 sets the weight w1 so that it is made heavier as a distance to the subject, which is obtained by a range-finding sensor 32, is shorter at the time of using a strobe 60 for image pickup by the CCD 18. <P>COPYRIGHT: (C)2004,JPO

Description

【０００１】
【発明の属する技術分野】
本発明は、撮像装置に係り、特に、感度の異なる画像信号を合成することでダイナミックレンジを拡大する撮像装置に関するものである。
【０００２】
【従来の技術】
現在広く普及しているデジタルカメラ等の撮像装置におけるＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）等の撮像素子のダイナミックレンジは、写真フィルムに比べると一般的に狭い。このため、高輝度の被写体を撮影する場合には、受光量がダイナミックレンジを超え、撮像素子の出力信号が飽和してしまい、被写体の情報が欠落してしまう。
【０００３】
このような問題を解決するため、従来、撮影により得られた高感度の画像信号と低感度の画像信号とを合成することにより、ダイナミックレンジの拡大を図る技術がある（例えば、特許文献１参照。）。
【０００４】
この技術では、マスクを用いて、１つの画像中で部分毎に高感度の画像を低感度の画像に置き換えて合成画像を生成している。
【０００５】
ところで、通常、暗いところで撮影を行う場合にはストロボを使用する。しかしながら、ストロボを使用したときの撮影によって得られた画像はコントラストの高い画像となる。従って、人物等を近距離で撮影した場合や、マクロ撮影を行う場合等では、ストロボの調光が十分になされていても、ハイライト側の階調表現がフラットとなる、所謂白とびが発生しやすい。
【０００６】
例えば、模式的に図１０に示すように、デジタルカメラ９５によりストロボ９６を発光させた状態で人物である被写体９７を近距離にて撮影した場合、これによって得られた撮影画像９８における被写体像９９の顔の部分が白とび気味の画像になってしまう。
【０００７】
このような問題点を解決するために適用できる技術として、従来、ラインごとに交互に感度の異なる画像信号が出力される撮像素子を備え、高感度の画像信号と、当該画像信号と同一のレンジにするためのゲインがかけられた低感度の画像信号と、をライン毎に切替えて合成することにより１画像分の画像信号を生成する技術がある（例えば、特許文献２参照。）。
【０００８】
この技術では、高感度側の画像信号が飽和したか否かを判断することにより当該画像信号において白とびが発生したか否かを判断し、白とびが発生した場合には当該画像信号を隣接する上下のラインに対応する低感度側の画像信号によって補間することにより、当該高感度側の画像信号における白とびを補正していた。
【０００９】
【特許文献１】
特開２０００−３０７９６３号公報
【特許文献２】
特開平７−７９３７２号公報
【００１０】
【発明が解決しようとする課題】
しかしながら、上記特許文献２に記載の技術では、高感度側の画像信号が飽和したか否かに基づいて当該画像信号における白とびの発生の有無を判断すると共に、白とびの発生した画像信号を低感度側の画像信号を用いた補間処理によって補正しているので、処理が複雑である、という問題点があった。
【００１１】
本発明は上記問題点を解決するためになされたものであり、簡易に白とびの発生を防止することのできる撮像装置を得ることを目的とする。
【００１２】
【課題を解決するための手段】
上記目的を達成するために、請求項１記載の撮像装置は、被写体からの光を第１の感度で受光し、受光した光量に応じた第１画像信号を出力する複数の第１受光素子と、被写体からの光を前記第１の感度より低い第２の感度で受光し、受光した光量に応じた第２画像信号を出力する複数の第２受光素子とを備えた撮像素子と、前記撮像素子による撮像時の周囲の光量不足を補うためのストロボと、前記第１画像信号と予め設定された重みが加味された前記第２画像信号とを前記重みが大きくなるほどダイナミックレンジが拡大されるように合成して全体的な画像信号を生成する合成手段と、前記被写体までの距離を検出する検出手段と、前記撮像素子による撮像時において前記ストロボが使用されるときに前記距離が短くなるほど大きくなるように前記重みを設定する設定手段と、が備えられている。
【００１３】
請求項１記載の発明の撮像装置には、被写体からの光を第１の感度で受光し、受光した光量に応じた第１画像信号を出力する複数の第１受光素子と、被写体からの光を前記第１の感度より低い第２の感度で受光し、受光した光量に応じた第２画像信号を出力する複数の第２受光素子とが備えられた撮像素子が設けられると共に、当該撮像素子による撮像時の周囲の光量不足を補うためのストロボが設けられている。ここで、上記撮像素子の第２受光素子は、第１受光素子間に位置するよう設けられていてもよいし、チャネルストッパ等の受光量の混合を防止する手段を備えた第１受光素子上に設けられていてもよく、特に限定されない。
【００１４】
また、本発明では、合成手段により、第１画像信号と、予め設定された重みが加味された第２画像信号と、が上記重みが大きくなるほどダイナミックレンジが拡大されるように合成されて全体的な画像信号が生成される。これによって、撮像素子のダイナミックレンジを拡大することができる。
【００１５】
ここで、本発明の撮像装置では、設定手段により、撮像素子による撮像時において当該ストロボが使用されるときに検出手段によって検出された被写体までの距離が短くなるほど大きくなるように上記重みが設定される。
【００１６】
すなわち、ストロボを使用したときの撮影によって得られた画像はコントラストの高い画像となるため、ストロボを使用した状態で被写体を近距離にて撮影した場合や、マクロ撮影を行う場合には、白とびが発生しやすくなるのは前述の通りであり、この傾向は被写体までの距離が短くなるほど顕著となる。
【００１７】
この性質を利用して、本発明では、大きくなるほど合成後の画像信号によるダイナミックレンジを拡大することのできる重みを、被写体までの距離が短くなるほど大きくなるように設定するようにしており、これによってストロボ使用時における白とびの発生を未然に防止するようにしている。
【００１８】
また、本発明では、上記の性質を利用することにより、白とびの発生の有無を直接判断することなく白とびの発生を未然に防止するようにしており、画像信号が飽和したか否かに基づいて当該画像信号における白とびの発生の有無を判断して白とびの発生した画像信号を補正する従来の技術に比較して、簡易に白とびの発生を防止することができる。
【００１９】
更に、本発明では、低感度側の画像信号に加味する重みの調整のみによって白とびの発生を防止しているので、白とびの発生した画像信号を低感度側の画像信号を用いた補間処理によって補正する従来の技術に比較して、簡易に白とびの発生を防止することができる。
【００２０】
このように、請求項１に記載の撮像装置によれば、被写体からの光を第１の感度で受光し、受光した光量に応じた第１画像信号を出力する複数の第１受光素子と、被写体からの光を前記第１の感度より低い第２の感度で受光し、受光した光量に応じた第２画像信号を出力する複数の第２受光素子とを備えた撮像素子を備えると共に、第１画像信号と予め設定された重みが加味された第２画像信号とを上記重みが大きくなるほどダイナミックレンジが拡大されるように合成して全体的な画像信号を生成するに当たり、撮像素子による撮像時においてストロボが使用されるときに被写体までの距離が短くなるほど大きくなるように上記重みを設定しているので、簡易に白とびの発生を防止することができる。
【００２１】
なお、本発明の検出手段には、赤外線測距センサ、超音波測距センサ等の測距センサを含めることができる。近年の撮像装置では、測距センサの搭載されたものが多数存在するため、これを本発明の検出手段として利用することにより、本発明を低コストで実現することができる。
【００２２】
なお、本発明の前記合成手段は、請求項２記載の発明のように、前記第１画像信号の信号レベルが合成開始レベルを示す所定レベル未満であるときは当該第１画像信号を前記全体的な画像信号とし、前記第１画像信号の信号レベルが前記所定レベル以上であるときは前記第１画像信号の信号レベルと、前記所定レベルだけ嵩上げした状態の前記第２画像信号の信号レベルとの加重平均をとることにより前記全体的な画像信号を生成することが好ましい。
【００２３】
これによって、上記所定レベルを白とびの発生が開始される以前のレベルとすることにより、第１画像信号の信号レベルが上記所定レベル未満である場合には高感度の信号である第１画像信号のみが適用された高感度な画像信号を得ることができ、第１画像信号の信号レベルが上記所定レベル以上である場合には当該第１画像信号と低感度の信号である第２画像信号とが合成されることにより白とびの発生が防止された画像信号を得ることができる。
【００２４】
一方、本発明の設定手段は、必ずしも被写体までの距離に応じて連続的に重みを設定する必要はなく、請求項３に記載の発明のように、前記重みを複数段階で設定するものとすることもできる。
【００２５】
更に、請求項３に記載の発明は、請求項４記載の発明のように、前記被写体に接近した状態で撮像するモードであるマクロ撮影モードを設定するためのマクロ設定手段を更に備え、前記検出手段は、前記マクロ設定手段により前記マクロ撮影モードが設定されたか否かに基づいて前記被写体までの距離を検出するものとすることもできる。
【００２６】
本発明によれば、検出手段により、マクロ撮影モードが設定されたか否かに基づいて被写体までの距離が検出される。
【００２７】
すなわち、マクロ撮影モードが設定されたか否かのみでは被写体までの正確な距離は判らないものの、被写体に接近した状態とされているか否かは判る。従って、マクロ撮影モードが設定された場合の被写体までの距離を、設定されていない場合より短いものと見なすことにより、本発明の重みを２段階で設定することができる。
【００２８】
近年の撮像装置では、マクロ撮影モードが設定できるものが多数存在するため、これを本発明のマクロ設定手段として利用することにより、本発明を低コストで実現することができる。
【００２９】
【発明の実施の形態】
以下、図面を参照して、本発明の実施の形態について詳細に説明する。なお、以下では、本発明をデジタルカメラに適用した場合について説明する。
【００３０】
〔第１実施形態〕
まず、図１を参照して、本第１実施形態に係るデジタルカメラ１０の構成を説明する。同図に示されるように、第１実施形態に係るデジタルカメラ１０には、光学レンズ１２と、光学レンズ１２を通過する光量を調整する絞り１４と、光の通過時間を調整するシャッタ１６と、光学レンズ１２、絞り１４及びシャッタ１６を通過した被写体像を示す入射光に基づき、被写体を高感度及び低感度のそれぞれの受光素子により撮像して被写体像を示すＲ（赤）、Ｇ（緑）、Ｂ（青）３色のカラーアナログ画像信号を出力する撮像素子としてのＣＣＤ１８と、が設けられている。
【００３１】
ＣＣＤ１８には、ＣＣＤ１８により入力された高感度及び低感度の信号に対して所定のアナログ信号処理を施すアナログ信号処理部２０と、アナログ信号処理部２０から入力された高感度及び低感度のアナログ信号をそれぞれデジタル信号に変換するアナログ／デジタル変換器（以下、「Ａ／Ｄ変換器」という。）２２と、が順に接続されている。
【００３２】
また、光学レンズ１２を駆動するための駆動部２４と、絞り１４を駆動するための駆動部２６と、シャッタ１６を駆動するための駆動部２８と、ＣＣＤ１８に対する撮影時のタイミング制御を行うＣＣＤ制御部３０と、ストロボ６０の発光の制御を行うストロボ制御部５８と、シャッタスイッチ等のカメラ操作部６２と、が設けられている。
【００３３】
Ａ／Ｄ変換器２２から出力された高感度及び低感度のデジタル信号（Ｒ、Ｇ、Ｂ信号のデジタル値）は、設定手段としての制御回路５０（詳細は後述）に入力されると共に、デジタル信号処理回路３４に入力される。デジタル信号処理回路３４は、合成手段としての合成処理回路３６と、Ｋｎｅｅ処理回路３８と、ホワイトバランス（ＷＢ）調整処理回路４０と、ガンマ処理回路４２と、メモリ４４と、を含んで構成されている。
【００３４】
合成処理回路３６は、制御回路５０から低感度のデジタル信号の重みを示す信号（詳細は後述）が入力され、Ａ／Ｄ変換器２２から入力された高感度及び低感度の信号を後述するように合成する。Ｋｎｅｅ処理回路３８は、必要に応じて高輝度側の入出力特性を変更する。ＷＢ調整処理回路４０は、Ｒ、Ｇ、Ｂ信号のデジタル値の各々にゲインを乗算して増減するための３つの乗算器（図示省略）を含んで構成されており、Ｒ、Ｇ、Ｂ信号は、各乗算器にそれぞれ入力される。更に、乗算器には、ホワイトバランスを制御するためのゲイン値Ｒｇ、Ｇｇ、Ｂｇが制御回路５０より入力され、乗算器の各々はこれら２入力を乗算する。この乗算によりホワイトバランスが調整されたＲ’、Ｇ’、Ｂ’信号はガンマ処理回路４２に入力される。
【００３５】
ガンマ処理回路４２は、ホワイトバランスが調整されたＲ’、Ｇ’、Ｂ’信号が所定のガンマ特性となるように入出力特性を変更し、また、１０ビットの信号が８ビットの信号となるように変更し、メモリ４４に格納する。
【００３６】
デジタル信号処理回路３４のメモリ４４から出力されたＲＧＢ信号はスマートメディアやメモリスティック等の図示しない取り外し可能な記録メディアに記録されると共に、図示しない液晶ディスプレイに画像（被写体像）として表示される。
【００３７】
上記構成に加え、デジタルカメラ１０は、ＣＰＵ（中央演算処理装置）５２と、ＲＯＭ５４と、ＲＡＭ５６と、を備えたマイクロ・コンピュータで構成された制御回路５０を備えている。
【００３８】
制御回路５０は、デジタルカメラ１０全体の動作を制御する。ＲＯＭ５４には、被写体までの距離が短くなるほど大きくなるように低感度のデジタル信号の重みを決定して当該重みを示す信号をデジタル信号処理回路３４の合成処理回路３６に出力する重み設定処理を実行する処理ルーチンのプログラムが記憶されている。
【００３９】
更に、デジタルカメラ１０は、被写体までの距離を検出する検出手段としての測距センサ３２を備えている。測距センサ３２で検出された被写体までの距離を示す信号は、制御回路５０に入力される。シャッタスイッチが半押しされると、制御回路５０により、測距センサ３２で得られた被写体までの距離に基づいてＡＦ（ＡｕｔｏＦｏｃｕｓ、自動合焦）機能が働いて合焦制御される。
【００４０】
ここで、本実施の形態に係るＣＣＤ１８の構造について説明する。ＣＣＤ１８には、図２に示すようなハニカムＣＣＤを採用することができる。
【００４１】
このＣＣＤ１８の撮像部は、図２に示すように、１画素の１色について１つずつ割り当てられると共に、所定の配列ピッチ（水平配列ピッチ＝Ｐｈ（μｍ）、垂直配列ピッチ＝Ｐｖ（μｍ））で、かつ隣接する受光素子ＰＤ１が垂直方向及び水平方向にずらされて２次元配置された複数の受光素子ＰＤ１と、この受光素子ＰＤ１の前面に形成された開口部ＡＰを迂回するように配置され、かつ受光素子ＰＤ１からの信号（電荷）を取り出して垂直方向に転送する垂直転送電極ＶＥＬと、垂直方向最下に位置する垂直転送電極ＶＥＬの垂直方向下側に配置され、垂直転送電極ＶＥＬから転送されてきた信号を外部へ転送する水平転送電極ＨＥＬと、を備えている。なお、同図に示す例では、開口部ＡＰを八角形のハニカム形状に形成している。
【００４２】
ここで、水平方向に直線状に並んで配置された複数の垂直転送電極ＶＥＬにより構成される垂直転送電極群には、各々垂直転送駆動信号Ｖ１、Ｖ２、・・・、Ｖ８の何れか１つを同時に印加することができるように構成されている。なお、同図に示す例では、１段目の垂直転送電極群に対して垂直転送駆動信号Ｖ３が、２段目の垂直転送電極群に対して垂直転送駆動信号Ｖ４が、３段目の垂直転送電極群に対して垂直転送駆動信号Ｖ５が、４段目の垂直転送電極群に対して垂直転送駆動信号Ｖ６が、５段目の垂直転送電極群に対して垂直転送駆動信号Ｖ７が、６段目の垂直転送電極群に対して垂直転送駆動信号Ｖ８が、７段目の垂直転送電極群に対して垂直転送駆動信号Ｖ１が、８段目の垂直転送電極群に対して垂直転送駆動信号Ｖ２が、各々印加できるように構成されている。
【００４３】
一方、各受光素子ＰＤ１は隣接する１つの垂直転送電極ＶＥＬに対し転送ゲートＴＧを介して電気的に接続されるように構成されている。同図に示す例では、各受光素子ＰＤ１が右下に隣接する垂直転送電極ＶＥＬに転送ゲートＴＧを介して接続されるように構成されている。
【００４４】
なお、同図において‘Ｒ’が記入された受光素子ＰＤ１の前面に形成された開口部ＡＰは赤色の光を透過する色分離フィルタ（カラーフィルタ）で覆われており、‘Ｇ’が記入された受光素子ＰＤ１の前面に形成された開口部ＡＰは緑色の光を透過する色分離フィルタで覆われており、‘Ｂ’が記入された受光素子ＰＤ１の前面に形成された開口部ＡＰは青色の光を透過する色分離フィルタで覆われている。すなわち、‘Ｒ’が記入された受光素子ＰＤ１は赤色光を、‘Ｇ’が記入された受光素子ＰＤ１は緑色光を、‘Ｂ’が記入された受光素子ＰＤ１は青色光を、各々受光し、受光した光量に応じたアナログ信号を各々出力する。
【００４５】
ＣＣＤ１８は、更に、上述の受光素子ＰＤ１に比較して低感度な受光素子ＰＤ２を備えている。受光素子ＰＤ２は図２に示される如く、複数の受光素子ＰＤ１間に設けられている。この受光素子ＰＤ２も受光素子ＰＤ１と同様に、その前面に受光素子ＰＤ１の開口部より面積が小さい開口部ＡＰが形成され、隣接する１つの垂直転送電極ＶＥＬに対して転送ゲートＴＧにより電気的に接続されている。また、この受光素子ＰＤ２には、その前面に形成された開口部ＡＰに、受光素子ＰＤ１と同様にＲ、Ｇ、Ｂ何れかのカラーフィルタが装着されている。このように、受光素子ＰＤ２の受光面積を受光素子ＰＤ１の受光面積より小さくしているので、受光素子ＰＤ１に比較して低感度なＲ、Ｇ、Ｂ信号が得られる。
【００４６】
なお、受光素子ＰＤ２の転送ゲートＴＧが接続される電極は、隣接する受光素子ＰＤ１の転送ゲートＴＧが接続される電極とは異なるように設けられている。
また、本実施の形態においては、先に受光素子ＰＤ１の電荷を読み出してから受光素子ＰＤ２の電荷を読み出すようにしている。
【００４７】
本実施の形態の受光素子ＰＤ１が本発明における第１受光素子に、受光素子ＰＤ２が本発明における第２受光素子に、各々対応する。
【００４８】
以下、以上のような構成のデジタルカメラ１０の制御回路５０により実行される重み設定処理ルーチンについて、図３のフローチャートを用いて詳細に説明する。
【００４９】
まず、光学レンズ１２、絞り１４、及びシャッタ１６を通過した被写体像を示す入射光は、ＣＣＤ１８の感度の異なる受光素子ＰＤ１及びＰＤ２の双方により受光され、被写体像を示すアナログ画像信号としてアナログ信号処理部２０に出力される。また、操作者がデジタルカメラ１０にて被写体を撮影するためにシャッタスイッチを半押しすると、図３のステップ１００において、このシャッタスイッチ半押し時に測距センサ３２から入力された信号に基づいて被写体までの距離Ｔが導出され、駆動部２４の制御の下にＡＦ機能が働いて合焦制御される。
【００５０】
アナログ信号処理部２０は、ＣＣＤ１８から入力された高感度及び低感度の双方の信号に対して所定のアナログ信号処理を施す。このアナログ信号は、Ａ／Ｄ変換器２２により各々デジタル信号に変換される。Ａ／Ｄ変換器２２から出力されたデジタル信号は、デジタル信号処理回路３４及び制御回路５０に入力される。
【００５１】
次のステップ１０２では、このとき、ストロボ６０が使用される条件となっているか否かが判定され、肯定判定の場合はステップ１０４に移行する。なお、ストロボ６０が使用される条件としては、図示しない受光素子から出力された信号により示される撮影環境の明るさがストロボ６０を発光させるべき明るさである、という条件や、ストロボ６０を強制的に発光させるモードがユーザによって指定されている、という条件等が例示できる。
【００５２】
ステップ１０４では、ステップ１００で導出された距離Ｔが短くなるほど大きくなるように後述する低感度信号の重みｗ_ｌが演算される。なお、本実施の形態では、一例として、重みｗ_ｌの取り得る値が０．０から１．０までの範囲内とされており、距離Ｔが１．８ｍであるときに中央値である０．５となり、距離Ｔが１．８ｍより短くなるに従って０．５より大きくなっていき、距離Ｔが１．８ｍより長くなるに従って０．５より小さくなっていくように演算する。より具体的には、例えば、距離Ｔが１．８ｍから０．１ｍずつ短くなる毎に０．５から０．１ずつ大きくなり、距離Ｔが１．８ｍから０．１ｍずつ長くなる毎に０．５から０．１ずつ小さくなるように演算する。
【００５３】
そして、次のステップ１０６では、上記ステップ１０４の処理によって得られた重みｗ_ｌを示す重み信号と合成の実行を指示する合成指示信号が合成処理回路３６に出力され、本重み設定処理ルーチンを終了する。
【００５４】
重み信号及び合成指示信号が入力されると、合成処理回路３６は、Ａ／Ｄ変換器２２から入力された高感度信号と低感度信号を、真数加算方式を用いて次の（１）式に示すように合成する。
【００５５】
【数１】

【００５６】
ここで、Ｓは、高感度信号と低感度信号の比（感度比）を示すものであり、その値は１以上となる。ｔｈは、画像形成において合成信号ｄａｔａ（本発明の「全体的な画像信号」に相当。）の合成開始レベルを示す閾値である。また、ｈｉｇｈは、高感度信号の値であり、ｗ_ｈは、高感度信号の重みを示す値である。ｌｏｗは、低感度信号の値であり、ｗ_ｌは、制御回路５０から入力された重み信号により示される低感度信号の重みを示す値である。
【００５７】
なお、本実施の形態では、重みｗ_ｈと重みｗ_ｌの合計値を１．０とするものとされている。従って、重みｗ_ｈの値は、制御回路５０から合成処理回路３６に入力された重み信号により示される重みｗ_ｌの値に応じて一意に決定される。例えば、重みｗ_ｌの値が０．５であれば重みｗ_ｈの値も０．５となり、重みｗ_ｌの値が０．７であれば重みｗ_ｈの値は０．３となる。
【００５８】
（１）式で示されるように、本実施の形態に係る合成処理回路３６では、高感度信号の信号レベルが合成開始レベルを示す閾値ｔｈ未満であるときは当該高感度信号を合成信号ｄａｔａとし、高感度信号の信号レベルが閾値ｔｈ以上であるときは高感度信号の信号レベルと、閾値ｔｈだけ嵩上げした状態の低感度信号の信号レベルとの加重平均をとることにより合成信号ｄａｔａを生成するものとされている。
【００５９】
なお、上記閾値ｔｈは、高感度信号により示される階調値が当該値未満であれば当該高感度信号により示される被写体像に白とびが発生しないと見なすことのできる値として、実際のＣＣＤ１８を用いた実験や、ＣＣＤ１８の設計仕様に基づくコンピュータ・シミュレーション等によって予め得られた値等を適用する。
【００６０】
図４は、このとき、合成処理回路３６によって、被写体からの光を受光して得られた高感度信号と、その高感度信号に低感度信号を上述のように合成して得られた合成信号との関係を示した図である。図中の細線が合成前の高感度信号であり、太線が合成処理により得られた合成信号である。また、被写体輝度において、Ｘ_１は合成処理を行わない場合に表現可能な被写体輝度の最大値を示しており、Ｘ_２は合成後に表現可能となった被写体輝度の最大値を示している。この場合の撮影対象である被写体の輝度Ｘ_２はＸ_１のレベルより高い。なお、本図は、Ｒ、Ｇ、Ｂ何れか１色についてのデータを示している。
【００６１】
図から明らかなように、上述した合成処理により表現可能な被写体輝度のレベルはＸ_１からＸ_２まで拡大されている。このため、被写体がＸ_１のレベルより高い輝度を有する場合には、合成処理を施すことにより好適にダイナミックレンジが拡大され、表現可能な領域を拡大することができる。
【００６２】
そして、図５に示すように、低輝度信号の重みｗ_ｌの値が大きくなるほどダイナミックレンジは拡大されることになる。
【００６３】
合成処理後は、高感度信号及び図中の太実線で示された合成信号の双方を用いて被写体の画像が形成され、Ｋｎｅｅ処理回路３８に出力される。
【００６４】
一方、ステップ１０２において否定判定であった場合、すなわち、ストロボ６０が使用される条件となっていない場合には、合成信号により示される被写体像に白とびが発生することはないものと見なしてステップ１０８に移行し、低感度信号の重みｗ_ｌの値が通常値（本実施の形態では、‘０．５’）とされて当該重みｗ_ｌを示す重み信号と合成の実行を指示する合成指示信号が合成処理回路３６に出力され、本重み設定処理ルーチンを終了する。
【００６５】
Ｋｎｅｅ処理回路３８での処理後、ＷＢ調整処理回路４０及びγ処理回路４２で所定の処理が行われ、スルー画像等として液晶ディスプレイに表示される。また、シャッタスイッチが全押しされて撮影が行われた場合には、メモリ４４に格納されると共に、スマートメディアやメモリスティック等の取り外し可能な記録媒体に記録される。
【００６６】
以上詳細に説明したように、本実施の形態に係るデジタルカメラ１０は、被写体からの光を第１の感度で受光し、受光した光量に応じた高感度信号を出力する複数の受光素子ＰＤ１と、被写体からの光を前記第１の感度より低い第２の感度で受光し、受光した光量に応じた低感度信号を出力する複数の受光素子ＰＤ２とを備えたＣＣＤ１８を備えると共に、高感度信号と予め設定された重みｗ_ｌが加味された低感度信号とを上記重みｗ_ｌが大きくなるほどダイナミックレンジが拡大されるものとして合成して全体的な合成信号を生成するに当たり、ＣＣＤ１８による撮像時においてストロボ６０が使用されるときに被写体までの距離が短くなるほど大きくなるように上記重みｗ_ｌを設定しているので、簡易に白とびの発生を防止することができる。
【００６７】
また、本実施の形態に係るデジタルカメラ１０は、高感度信号の信号レベルが合成開始レベルを示す閾値ｔｈ未満であるときは当該高感度信号を合成信号ｄａｔａとし、高感度信号の信号レベルが閾値ｔｈ以上であるときは高感度信号の信号レベルと、閾値ｔｈだけ嵩上げした状態の低感度信号の信号レベルとの加重平均をとることにより合成信号ｄａｔａを生成するものとされているので、閾値ｔｈを白とびの発生が開始される以前のレベルとすることにより、高感度信号の信号レベルが閾値ｔｈ未満である場合には高感度信号のみが適用された高感度な合成信号を得ることができ、高感度信号の信号レベルが閾値ｔｈ以上である場合には当該高感度信号と低感度信号とが合成されることにより白とびの発生が防止された合成信号を得ることができる。
【００６８】
〔第２実施形態〕
本第２実施形態では、撮像装置としてのデジタルカメラにマクロ撮影モードが搭載されており、当該マクロ撮影モードが設定されたか否かに応じてＣＣＤ１８から出力された低感度信号の重みｗ_ｌを設定する場合の形態について説明する。
なお、本第２実施形態に係るデジタルカメラの構成は上記第１実施形態に係るデジタルカメラ１０と同様であるので、ここでの説明は省略する。
【００６９】
ところで、本第２実施形態に係るデジタルカメラ１０には、被写体に接近した状態で撮像するモードであるマクロ撮影モードが搭載されているが、このマクロ撮影モードに設定するには、図６に示すようなプルダウン・メニューをデジタルカメラ１０に設けられている表示部４６（本発明の「マクロ設定手段」に相当。
）に表示させ、当該メニューにおける「マクロ」を「ＯＮ」とすることにより行われる。
【００７０】
以下、本実施の形態に係るデジタルカメラ１０の制御回路５０により実行される重み設定処理ルーチンについて、図７のフローチャートを用いて詳細に説明する。なお、図７における図３と同一の処理を行うステップには図３と同一のステップ番号を付して、その説明を省略する。
【００７１】
同図のステップ１０２において肯定判定された場合、すなわち、ストロボ６０が使用される条件となっている場合はステップ１０３に移行してユーザによりマクロ撮影モードに設定されているか否かを判定し、肯定判定の場合はステップ１０５Ａに移行して低感度信号の重みｗ_ｌを所定値Ｔ１に設定した後にステップ１０６に移行する。
【００７２】
一方、上記ステップ１０３において否定判定された場合にはステップ１０５Ｂに移行して低感度信号の重みｗ_ｌを所定値Ｔ２に設定した後にステップ１０６に移行する。
【００７３】
ここで、所定値Ｔ１は所定値Ｔ２より大きく、かつ所定値Ｔ２はステップ１０８で設定される通常時の値（本実施の形態では、‘０．５’）以上の値（本実施の形態では、所定値Ｔ１＝０．７、所定値Ｔ２＝０．６）とされている。
【００７４】
すなわち、本実施の形態に係るデジタルカメラ１０では、マクロ撮影モードが設定された場合の被写体までの距離を、設定されていない場合より短いものと見なして、このときの低感度信号の重みｗ_ｌをマクロ撮影モードが設定されていない場合より大きな値としており、これによってマクロ撮影モード設定時における白とびの発生を防止するようにしている。
【００７５】
近年の撮像装置では、マクロ撮影モードが設定できるものが多数存在するため、これを利用することによって本発明を低コストで実現することができる。
【００７６】
なお、上述した第１、第２実施形態では、合成処理回路３６によって、Ａ／Ｄ変換器２２から入力された高感度信号及び低感度信号を、ホワイトバランス調整やγ補正を行う前に合成する例について説明したが、以下では、合成前にホワイトバランス調整及びガンマ補正を高感度信号及び低感度信号のそれぞれに対して行い、その後に対数加算方式により合成処理する形態について説明する。
【００７７】
図８は、この形態に係るデジタル信号処理回路７０の構成を示している。デジタル信号処理回路７０は、高感度信号側のホワイトバランスを調整する高感度側ＷＢ（ホワイトバランス）調整処理回路７２と、低感度信号側のホワイトバランスを調整する低感度側ＷＢ調整処理回路７４と、高感度側ＷＢ調整処理回路７２に接続された高感度信号側のγ補正を行う高感度側γ処理回路７６と、低感度側ＷＢ調整処理回路７４に接続された低感度信号側のγ補正を行う低感度側γ処理回路７８と、合成手段としての合成処理回路８０と、メモリ８２と、を含んで構成されている。
【００７８】
図８の構成によれば、合成処理回路８０による合成処理の前に、高感度信号及び低感度信号は、高感度側ＷＢ調整処理回路７２及び低感度側ＷＢ調整処理回路７４によりそれぞれの特性に応じたホワイトバランス調整が行われ、更に高感度側γ処理回路７６及び低感度側γ処理回路７８によりそれぞれγ補正が行われて合成処理回路８０に入力される。合成処理回路８０は、上述した各実施の形態と同様、制御回路５０からの重みｗ_ｌを示す信号を伴った合成指示を受けたときに、入力された高感度及び低感度の信号を合成する。
【００７９】
なお、上述した各実施の形態では、高感度の受光素子ＰＤ１と低感度の受光素子ＰＤ２の各々を設け、高感度信号及び低感度信号を得る例について説明したが、図９に示されるように、１つの受光素子ＰＤの受光領域をチャネルストッパ９４により高感度の受光を行う受光面積が広い高感度受光領域９２と低感度の受光を行う受光面積が狭い低感度受光領域９０とに分割し、それぞれの領域により高感度信号及び低感度信号が得られるような構成としてもよい。なお、受光素子ＰＤにはチャネルストッパ９４が設けられているため、高感度で受光された信号と低感度で受光された信号とが混合されずに、双方の信号を別々に受光することができる。
【００８０】
また、上記第２実施形態では、ストロボ使用時において、マクロ撮影モードの設定状態に応じて低感度信号の重みｗ_ｌを設定する場合について説明したが、本発明はこれに限定されるものではなく、この形態に上記第１実施形態を組み合わせた形態、すなわち、ストロボ使用時において、マクロ撮影モードと被写体までの距離Ｔとに応じて重みｗ_ｌを設定する形態とすることもできる。
【００８１】
この場合の形態としては、ストロボが使用され、かつマクロ撮影モードに設定されている場合に、被写体までの距離Ｔに応じて図３のステップ１０４で演算された重みｗ_ｌをα倍（αは１超の実数。）させる形態等を例示できる。この場合も、上記各実施形態と同様の効果を奏することができる。
【００８２】
また、本発明は上記デジタルカメラに限られるものではなく、様々な撮像装置に適用可能である。
【００８３】
【発明の効果】
以上説明した如く本発明によれば、被写体からの光を第１の感度で受光し、受光した光量に応じた第１画像信号を出力する複数の第１受光素子と、被写体からの光を前記第１の感度より低い第２の感度で受光し、受光した光量に応じた第２画像信号を出力する複数の第２受光素子とを備えた撮像素子を備えると共に、第１画像信号と予め設定された重みが加味された第２画像信号とを上記重みが大きくなるほどダイナミックレンジが拡大されるように合成して全体的な画像信号を生成するに当たり、撮像素子による撮像時においてストロボが使用されるときに被写体までの距離が短くなるほど大きくなるように上記重みを設定しているので、簡易に白とびの発生を防止することができる、という効果が得られる。
【図面の簡単な説明】
【図１】実施の形態に係るデジタルカメラの構成を示したブロック図である。
【図２】実施の形態に係るＣＣＤの構成の概略を示した図である。
【図３】第１実施形態に係る重み設定処理ルーチンの流れを示したフローチャートである。
【図４】合成前の高感度信号と、合成処理されて得られた合成信号との関係を示すグラフである。
【図５】合成信号と低感度信号の重みｗ_ｌとの関係を示すグラフである。
【図６】実施の形態に係るデジタルカメラのマクロ撮影モードの設定手順の説明に供する概略図である。
【図７】第２実施形態に係る重み設定処理ルーチンの流れを示したフローチャートである。
【図８】他のデジタル信号処理回路の構成を示したブロック図である。
【図９】高感度と低感度の信号の双方を受光することができる受光素子が設けられたＣＣＤの構成の概略を示した図である。
【図１０】従来の技術の問題点の説明に供する模式図である。
【符号の説明】
１０デジタルカメラ（撮像装置）
１４絞り
１６シャッタ
１８ＣＣＤ（撮像素子）
３２測距センサ（検出手段）
３４デジタル信号処理回路
３６合成処理回路（合成手段）
４６表示部（マクロ設定手段）
５０制御回路（設定手段）
５２ＣＰＵ
５４ＲＯＭ
６０ストロボ
８０合成処理回路（合成手段）
ＰＤ１受光素子（第１受光素子）
ＰＤ２受光素子（第２受光素子）[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an imaging apparatus, and more particularly, to an imaging apparatus that expands a dynamic range by synthesizing image signals having different sensitivities.
[0002]
[Prior art]
The dynamic range of an image pickup device such as a CCD (Charge Coupled Device) in an image pickup apparatus such as a digital camera that is currently widely used is generally narrower than that of a photographic film. For this reason, when photographing a high-luminance subject, the amount of received light exceeds the dynamic range, the output signal of the image sensor is saturated, and information on the subject is lost.
[0003]
In order to solve such a problem, conventionally, there is a technique for expanding a dynamic range by synthesizing a high-sensitivity image signal obtained by photographing and a low-sensitivity image signal (see, for example, Patent Document 1). .)
[0004]
In this technique, a high-sensitivity image is replaced with a low-sensitivity image for each part in one image using a mask to generate a composite image.
[0005]
By the way, normally, when shooting in a dark place, a strobe is used. However, an image obtained by photographing when using a strobe is a high-contrast image. Therefore, when a person or the like is photographed at a short distance, or when macro photography is performed, so-called white-out occurs in which the gradation expression on the highlight side is flat even if the flash is sufficiently dimmed. It's easy to do.
[0006]
For example, as schematically shown in FIG. 10, when a subject 97, which is a person, is photographed at a short distance in a state in which a strobe 96 is emitted by a digital camera 95, a subject image 99 in a photographed image 98 obtained thereby. The face part of the image becomes overexposed.
[0007]
As a technique that can be applied to solve such problems, conventionally, an image sensor that outputs image signals having different sensitivities alternately for each line is provided, and a high-sensitivity image signal and the same range as the image signal are provided. There is a technique for generating an image signal for one image by switching and synthesizing a low-sensitivity image signal to which a gain is applied for each line (see, for example, Patent Document 2).
[0008]
In this technique, it is determined whether or not a whiteout occurs in the image signal by determining whether or not the image signal on the high sensitivity side is saturated. The whiteout in the high-sensitivity image signal is corrected by interpolating with the low-sensitivity image signal corresponding to the upper and lower lines.
[0009]
[Patent Document 1]
JP 2000-307963 A
[Patent Document 2]
JP 7-79372 A
[0010]
[Problems to be solved by the invention]
However, in the technique described in Patent Document 2, the presence or absence of overexposure in the image signal is determined based on whether or not the image signal on the high sensitivity side is saturated, and the image signal in which overexposure occurs is determined. Since correction is performed by interpolation processing using an image signal on the low sensitivity side, there is a problem that the processing is complicated.
[0011]
The present invention has been made to solve the above-described problems, and an object of the present invention is to obtain an imaging apparatus that can easily prevent overexposure.
[0012]
[Means for Solving the Problems]
In order to achieve the above object, an image pickup apparatus according to claim 1 includes a plurality of first light receiving elements that receive light from a subject with a first sensitivity and output a first image signal corresponding to the received light amount. An imaging device comprising: a plurality of second light receiving elements that receive light from a subject at a second sensitivity lower than the first sensitivity and output a second image signal corresponding to the received light quantity; The dynamic range is expanded as the weight increases between the strobe for compensating for the shortage of ambient light during imaging by the element, and the second image signal in which the first image signal and a preset weight are added. And a detecting means for detecting the distance to the subject, and a larger distance as the distance becomes shorter when the strobe is used during imaging by the imaging device. Setting means for setting the urchin the weight, is provided.
[0013]
The image pickup apparatus according to the first aspect of the present invention includes a plurality of first light receiving elements that receive light from a subject with a first sensitivity and output a first image signal corresponding to the received light amount, and light from the subject. Is provided with a plurality of second light receiving elements that receive a second image signal in accordance with the received light quantity and receive a second sensitivity lower than the first sensitivity. A strobe is provided to compensate for a shortage of ambient light during imaging. Here, the second light receiving element of the imaging element may be provided between the first light receiving elements, or may be provided on the first light receiving element including means for preventing mixing of the received light amounts such as a channel stopper. There is no particular limitation.
[0014]
In the present invention, the first image signal and the second image signal to which a preset weight is added are combined by the combining means so that the dynamic range is expanded as the weight increases, and the entire image signal is combined. An image signal is generated. As a result, the dynamic range of the image sensor can be expanded.
[0015]
Here, in the imaging apparatus of the present invention, the weight is set by the setting means so that the distance to the subject detected by the detection means when the strobe is used during imaging by the imaging device increases as the distance to the subject decreases. The
[0016]
In other words, an image obtained by shooting with a strobe is a high-contrast image. Therefore, when a subject is shot at a short distance with a strobe, or when macro shooting is performed, overexposure occurs. As described above, this tendency is more likely to occur, and this tendency becomes more prominent as the distance to the subject becomes shorter.
[0017]
By utilizing this property, in the present invention, the weight that can expand the dynamic range of the combined image signal as the value increases is set so as to increase as the distance to the subject decreases. It prevents the occurrence of overexposure when using a strobe.
[0018]
Further, in the present invention, by using the above-described properties, the occurrence of overexposure is prevented without directly determining the occurrence of overexposure, and whether or not the image signal is saturated. Based on this, it is possible to easily prevent the occurrence of overexposure, as compared with the conventional technique in which the presence or absence of occurrence of overexposure in the image signal is determined and the image signal in which overexposure occurs is corrected.
[0019]
Furthermore, in the present invention, the occurrence of overexposure is prevented only by adjusting the weight added to the image signal on the low sensitivity side. Therefore, the interpolation processing using the image signal on the low sensitivity side is performed for the overexposed image signal. As compared with the conventional technique of correcting by the above, it is possible to easily prevent overexposure.
[0020]
Thus, according to the imaging device of claim 1, the plurality of first light receiving elements that receive the light from the subject with the first sensitivity and output the first image signal according to the received light amount; An image sensor including a plurality of second light receiving elements that receive light from a subject with a second sensitivity lower than the first sensitivity and output a second image signal according to the received light quantity; In generating an overall image signal by synthesizing one image signal and a second image signal to which a preset weight is added so that the dynamic range is expanded as the weight increases, an image sensor is used for imaging. Since the weight is set so as to increase as the distance to the subject becomes shorter when the strobe is used, the occurrence of overexposure can be easily prevented.
[0021]
The detection means of the present invention can include a distance measuring sensor such as an infrared distance measuring sensor or an ultrasonic distance measuring sensor. In recent years, there are a large number of imaging devices equipped with distance measuring sensors, and the present invention can be realized at low cost by using these as detection means of the present invention.
[0022]
The synthesizing means of the present invention, as in the second aspect of the present invention, when the signal level of the first image signal is less than a predetermined level indicating a synthesis start level, When the signal level of the first image signal is equal to or higher than the predetermined level, the signal level of the first image signal and the signal level of the second image signal raised by the predetermined level The overall image signal is preferably generated by taking a weighted average.
[0023]
Thus, by setting the predetermined level to a level before the occurrence of overexposure is started, when the signal level of the first image signal is less than the predetermined level, the first image signal which is a highly sensitive signal Can be obtained. When the signal level of the first image signal is equal to or higher than the predetermined level, the first image signal and the second image signal that is a low-sensitivity signal can be obtained. Is combined to obtain an image signal in which occurrence of overexposure is prevented.
[0024]
On the other hand, the setting means of the present invention does not necessarily need to set the weight continuously according to the distance to the subject, and sets the weight in a plurality of stages as in the invention according to claim 3. You can also.
[0025]
Further, according to a third aspect of the present invention, as in the fourth aspect of the present invention, the detection apparatus further includes a macro setting unit for setting a macro shooting mode that is a mode for capturing an image in a state of approaching the subject. The means may detect the distance to the subject based on whether or not the macro shooting mode is set by the macro setting means.
[0026]
According to the present invention, the distance to the subject is detected by the detecting means based on whether or not the macro shooting mode is set.
[0027]
In other words, although the exact distance to the subject cannot be determined only by whether or not the macro shooting mode is set, it can be determined whether or not the subject is close to the subject. Therefore, the weight of the present invention can be set in two stages by regarding the distance to the subject when the macro shooting mode is set as being shorter than when the macro shooting mode is not set.
[0028]
There are many recent imaging apparatuses that can set the macro shooting mode. By using these as macro setting means of the present invention, the present invention can be realized at low cost.
[0029]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. Hereinafter, a case where the present invention is applied to a digital camera will be described.
[0030]
[First Embodiment]
First, the configuration of the digital camera 10 according to the first embodiment will be described with reference to FIG. As shown in the figure, the digital camera 10 according to the first embodiment includes an optical lens 12, a diaphragm 14 for adjusting the amount of light passing through the optical lens 12, a shutter 16 for adjusting the passage time of light, R (red) and G (green) indicating the subject image obtained by imaging the subject with the respective high-sensitivity and low-sensitivity light receiving elements based on the incident light indicating the subject image that has passed through the optical lens 12, the diaphragm 14, and the shutter 16. , B (blue), and a CCD 18 as an image sensor for outputting color analog image signals of three colors.
[0031]
The CCD 18 includes an analog signal processing unit 20 that performs predetermined analog signal processing on high-sensitivity and low-sensitivity signals input from the CCD 18, and high-sensitivity and low-sensitivity analog signals input from the analog signal processing unit 20. Are sequentially connected to an analog / digital converter (hereinafter referred to as an “A / D converter”) 22 for converting the signals into digital signals.
[0032]
Further, a drive unit 24 for driving the optical lens 12, a drive unit 26 for driving the diaphragm 14, a drive unit 28 for driving the shutter 16, and a CCD control for performing timing control at the time of photographing with respect to the CCD 18. The unit 30, a strobe control unit 58 that controls the light emission of the strobe 60, and a camera operation unit 62 such as a shutter switch are provided.
[0033]
The high-sensitivity and low-sensitivity digital signals (digital values of R, G, and B signals) output from the A / D converter 22 are input to a control circuit 50 (details will be described later) as setting means, and digital The signal is input to the signal processing circuit 34. The digital signal processing circuit 34 includes a synthesis processing circuit 36 as a synthesis means, a Knee processing circuit 38, a white balance (WB) adjustment processing circuit 40, a gamma processing circuit 42, and a memory 44. Yes.
[0034]
The synthesis processing circuit 36 receives a signal (details will be described later) indicating the weight of the low-sensitivity digital signal from the control circuit 50, and the high-sensitivity and low-sensitivity signals input from the A / D converter 22 will be described later. To synthesize. The knee processing circuit 38 changes the input / output characteristics on the high luminance side as necessary. The WB adjustment processing circuit 40 is configured to include three multipliers (not shown) for multiplying each of the digital values of the R, G, and B signals by a gain and increasing / decreasing the R, G, and B signals. Is input to each multiplier. Furthermore, gain values Rg, Gg, and Bg for controlling white balance are input from the control circuit 50 to the multiplier, and each of the multipliers multiplies these two inputs. The R ′, G ′, B ′ signals whose white balance has been adjusted by this multiplication are input to the gamma processing circuit 42.
[0035]
The gamma processing circuit 42 changes the input / output characteristics so that the R ′, G ′, B ′ signals whose white balance has been adjusted have predetermined gamma characteristics, and the 10-bit signal becomes an 8-bit signal. So that the data is stored in the memory 44.
[0036]
The RGB signals output from the memory 44 of the digital signal processing circuit 34 are recorded on a removable recording medium (not shown) such as a smart medium or a memory stick, and are displayed as an image (subject image) on a liquid crystal display (not shown).
[0037]
In addition to the above configuration, the digital camera 10 includes a control circuit 50 configured by a microcomputer including a CPU (Central Processing Unit) 52, a ROM 54, and a RAM 56.
[0038]
The control circuit 50 controls the operation of the entire digital camera 10. The ROM 54 executes a weight setting process for determining the weight of the low-sensitivity digital signal so that it increases as the distance to the subject decreases, and outputs a signal indicating the weight to the synthesis processing circuit 36 of the digital signal processing circuit 34. A processing routine program is stored.
[0039]
Furthermore, the digital camera 10 includes a distance measuring sensor 32 as detection means for detecting the distance to the subject. A signal indicating the distance to the subject detected by the distance measuring sensor 32 is input to the control circuit 50. When the shutter switch is half-pressed, the control circuit 50 controls the focus by operating an AF (Auto Focus) function based on the distance to the subject obtained by the distance measuring sensor 32.
[0040]
Here, the structure of the CCD 18 according to the present embodiment will be described. As the CCD 18, a honeycomb CCD as shown in FIG.
[0041]
As shown in FIG. 2, the image pickup unit of the CCD 18 is assigned one by one for one color of one pixel and has a predetermined arrangement pitch (horizontal arrangement pitch = Ph (μm), vertical arrangement pitch = Pv (μm)). And adjacent light receiving elements PD1 are arranged so as to bypass a plurality of light receiving elements PD1 that are two-dimensionally shifted in the vertical direction and the horizontal direction, and an opening AP formed in the front surface of the light receiving element PD1. In addition, a vertical transfer electrode VEL that takes out a signal (charge) from the light receiving element PD1 and transfers it in the vertical direction and a vertical transfer electrode VEL that is positioned at the lowest in the vertical direction are arranged on the lower side in the vertical direction, A horizontal transfer electrode HEL for transferring the transferred signal to the outside. In the example shown in the figure, the opening AP is formed in an octagonal honeycomb shape.
[0042]
Here, each of the vertical transfer electrode groups constituted by a plurality of vertical transfer electrodes VEL arranged in a straight line in the horizontal direction has one of the vertical transfer drive signals V1, V2,. Can be applied simultaneously. In the example shown in the figure, the vertical transfer drive signal V3 is applied to the first-stage vertical transfer electrode group, and the vertical transfer drive signal V4 is applied to the second-stage vertical transfer electrode group. The vertical transfer drive signal V5 for the transfer electrode group, the vertical transfer drive signal V6 for the fourth vertical transfer electrode group, and the vertical transfer drive signal V7 for the fifth vertical transfer electrode group are 6 The vertical transfer drive signal V8 for the vertical transfer electrode group at the stage, the vertical transfer drive signal V1 for the vertical transfer electrode group at the seventh stage, and the vertical transfer drive signal for the vertical transfer electrode group at the eighth stage. V2 can be applied to each.
[0043]
On the other hand, each light receiving element PD1 is configured to be electrically connected to one adjacent vertical transfer electrode VEL via a transfer gate TG. In the example shown in the figure, each light receiving element PD1 is configured to be connected to a vertical transfer electrode VEL adjacent to the lower right via a transfer gate TG.
[0044]
In the figure, the opening AP formed on the front surface of the light receiving element PD1 in which “R” is entered is covered with a color separation filter (color filter) that transmits red light, and “G” is entered. The opening AP formed on the front surface of the light receiving element PD1 is covered with a color separation filter that transmits green light, and the opening AP formed on the front surface of the light receiving element PD1 on which “B” is written is blue. It is covered with a color separation filter that transmits light. That is, the light receiving element PD1 in which “R” is written receives red light, the light receiving element PD1 in which “G” is written receives green light, and the light receiving element PD1 in which “B” is written receives blue light. Each analog signal corresponding to the amount of received light is output.
[0045]
The CCD 18 further includes a light receiving element PD2 that is less sensitive than the light receiving element PD1 described above. As shown in FIG. 2, the light receiving element PD2 is provided between the plurality of light receiving elements PD1. Similarly to the light receiving element PD1, the light receiving element PD2 is formed with an opening AP having a smaller area than the opening of the light receiving element PD1, and is electrically connected to one adjacent vertical transfer electrode VEL by the transfer gate TG. It is connected. In addition, in the light receiving element PD2, an R, G, or B color filter is mounted in an opening AP formed on the front surface thereof, similarly to the light receiving element PD1. Thus, since the light receiving area of the light receiving element PD2 is smaller than the light receiving area of the light receiving element PD1, R, G, and B signals having lower sensitivity than the light receiving element PD1 can be obtained.
[0046]
The electrode to which the transfer gate TG of the light receiving element PD2 is connected is provided to be different from the electrode to which the transfer gate TG of the adjacent light receiving element PD1 is connected.
In the present embodiment, the charge of the light receiving element PD1 is read out first, and then the charge of the light receiving element PD2 is read out.
[0047]
The light receiving element PD1 of the present embodiment corresponds to the first light receiving element in the present invention, and the light receiving element PD2 corresponds to the second light receiving element in the present invention.
[0048]
Hereinafter, the weight setting processing routine executed by the control circuit 50 of the digital camera 10 having the above configuration will be described in detail with reference to the flowchart of FIG.
[0049]
First, incident light indicating a subject image that has passed through the optical lens 12, the diaphragm 14, and the shutter 16 is received by both the light receiving elements PD1 and PD2 having different sensitivity of the CCD 18, and analog signal processing is performed as an analog image signal indicating the subject image. Is output to the unit 20. Further, when the operator half-presses the shutter switch to photograph the subject with the digital camera 10, in step 100 of FIG. 3, the subject is detected based on the signal input from the distance measuring sensor 32 when the shutter switch is half-pressed. The distance T is derived, and under the control of the drive unit 24, the AF function works to control the focus.
[0050]
The analog signal processing unit 20 performs predetermined analog signal processing on both high sensitivity and low sensitivity signals input from the CCD 18. Each analog signal is converted into a digital signal by the A / D converter 22. The digital signal output from the A / D converter 22 is input to the digital signal processing circuit 34 and the control circuit 50.
[0051]
In the next step 102, it is determined whether or not the strobe 60 is used at this time. If the determination is affirmative, the process proceeds to step 104. Note that the strobe 60 is used under the condition that the brightness of the shooting environment indicated by the signal output from the light receiving element (not shown) is the brightness at which the strobe 60 should emit light, or the strobe 60 is forced. For example, a condition that a user designates a mode for emitting light can be exemplified.
[0052]
In step 104, the weight w of the low-sensitivity signal described later is set so as to increase as the distance T derived in step 100 decreases. _l Is calculated. In this embodiment, as an example, the weight w _l Can be taken within the range of 0.0 to 1.0, and when the distance T is 1.8 m, the median value becomes 0.5, and as the distance T becomes shorter than 1.8 m, The calculation is performed so that the distance T becomes larger than 0.5 and becomes smaller than 0.5 as the distance T becomes longer than 1.8 m. More specifically, for example, every time the distance T decreases from 1.8 m to 0.1 m, the distance T increases by 0.5 to 0.1, and every time the distance T increases from 1.8 m to 0.1 m, 0. Calculation is performed so that .5 is reduced by 0.1.
[0053]
Then, in the next step 106, the weight w obtained by the process of step 104 above. _l And a synthesis instruction signal for instructing execution of the synthesis are output to the synthesis processing circuit 36, and this weight setting processing routine is terminated.
[0054]
When the weight signal and the synthesis instruction signal are input, the synthesis processing circuit 36 uses the true number addition method to convert the high sensitivity signal and the low sensitivity signal input from the A / D converter 22 into the following equation (1). Synthesize as shown in
[0055]
[Expression 1]

[0056]
Here, S indicates the ratio (sensitivity ratio) between the high sensitivity signal and the low sensitivity signal, and the value thereof is 1 or more. “th” is a threshold value indicating a synthesis start level of the synthesized signal “data” (corresponding to “an overall image signal” in the present invention) in image formation. Further, high is the value of the high sensitivity signal, and w _h Is a value indicating the weight of the high sensitivity signal. low is the value of the low sensitivity signal, w _l Is a value indicating the weight of the low sensitivity signal indicated by the weight signal input from the control circuit 50.
[0057]
In this embodiment, the weight w _h And weight w _l Is set to 1.0. Therefore, weight w _h Is the weight w indicated by the weight signal input from the control circuit 50 to the synthesis processing circuit 36. _l It is uniquely determined according to the value of. For example, weight w _l If the value of 0.5 is weight w _h The value of is also 0.5 and the weight w _l If the value of is 0.7, the weight w _h The value of is 0.3.
[0058]
As shown by the equation (1), in the synthesis processing circuit 36 according to the present embodiment, when the signal level of the high sensitivity signal is less than the threshold th indicating the synthesis start level, the high sensitivity signal is used as the synthesis signal data. When the signal level of the high-sensitivity signal is equal to or higher than the threshold value th, the synthesized signal data is generated by taking a weighted average of the signal level of the high-sensitivity signal and the signal level of the low-sensitivity signal raised by the threshold value th. It is supposed to be.
[0059]
Note that the threshold th is a value that can be regarded as no over-exposure in the subject image indicated by the high sensitivity signal if the gradation value indicated by the high sensitivity signal is less than the value. Values obtained in advance by experiments used, computer simulations based on the design specifications of the CCD 18, and the like are applied.
[0060]
FIG. 4 shows a high-sensitivity signal obtained by receiving light from the subject by the synthesis processing circuit 36 and a synthesized signal obtained by synthesizing the low-sensitivity signal with the high-sensitivity signal as described above. It is the figure which showed the relationship. The thin line in the figure is a high-sensitivity signal before synthesis, and the thick line is a synthesized signal obtained by the synthesis process. In the subject brightness, X ₁ Indicates the maximum value of the subject brightness that can be expressed when the composition processing is not performed. ₂ Indicates the maximum value of the subject brightness that can be expressed after synthesis. In this case, the luminance X of the subject to be photographed ₂ Is X ₁ Higher than the level. This figure shows data for one of R, G, and B colors.
[0061]
As is apparent from the figure, the level of subject brightness that can be expressed by the above-described combining process is X ₁ To X ₂ Has been expanded to. Therefore, the subject is X ₁ When the luminance is higher than this level, the dynamic range is suitably expanded by performing the synthesis process, and the area that can be expressed can be expanded.
[0062]
Then, as shown in FIG. 5, the weight w of the low luminance signal _l As the value of increases, the dynamic range is expanded.
[0063]
After the synthesis process, an image of the subject is formed using both the high-sensitivity signal and the synthesized signal indicated by the thick solid line in the drawing, and is output to the knee processing circuit 38.
[0064]
On the other hand, if the determination in step 102 is negative, that is, if the condition for using the strobe 60 is not satisfied, it is assumed that the subject image indicated by the composite signal will not be overexposed. 108, and the weight w of the low sensitivity signal _l Is a normal value ('0.5' in this embodiment) and the weight w _l And a synthesis instruction signal for instructing execution of the synthesis are output to the synthesis processing circuit 36, and this weight setting processing routine is terminated.
[0065]
After the processing by the knee processing circuit 38, predetermined processing is performed by the WB adjustment processing circuit 40 and the γ processing circuit 42, which are displayed on the liquid crystal display as a through image or the like. Further, when shooting is performed with the shutter switch fully pressed, the image is stored in the memory 44 and recorded on a removable recording medium such as a smart media or a memory stick.
[0066]
As described above in detail, the digital camera 10 according to the present embodiment receives the light from the subject with the first sensitivity and outputs a plurality of light receiving elements PD1 that output high sensitivity signals according to the received light amount. And a CCD 18 including a plurality of light receiving elements PD2 that receive light from the subject with a second sensitivity lower than the first sensitivity and output a low sensitivity signal corresponding to the received light amount, and a high sensitivity signal. And preset weight w _l And the above-mentioned weight w _l In order to generate an overall composite signal by synthesizing the dynamic range so that the dynamic range is increased, the weight is set so as to increase as the distance to the subject decreases when the strobe 60 is used during imaging by the CCD 18. w _l Therefore, the occurrence of overexposure can be easily prevented.
[0067]
Also, in the digital camera 10 according to the present embodiment, when the signal level of the high sensitivity signal is less than the threshold th indicating the synthesis start level, the high sensitivity signal is used as the synthesis signal data, and the signal level of the high sensitivity signal is the threshold value. When it is equal to or greater than th, the composite signal data is generated by taking a weighted average of the signal level of the high sensitivity signal and the signal level of the low sensitivity signal raised by the threshold th. Is set to a level before the occurrence of overexposure starts, and when the signal level of the high-sensitivity signal is less than the threshold th, a high-sensitivity composite signal to which only the high-sensitivity signal is applied can be obtained. When the signal level of the high-sensitivity signal is equal to or higher than the threshold th, the high-sensitivity signal and the low-sensitivity signal are combined to obtain a combined signal in which overexposure is prevented. Can.
[0068]
[Second Embodiment]
In the second embodiment, a macro shooting mode is mounted on a digital camera as an imaging device, and the weight w of the low-sensitivity signal output from the CCD 18 according to whether or not the macro shooting mode is set. _l A form in the case of setting will be described.
The configuration of the digital camera according to the second embodiment is the same as that of the digital camera 10 according to the first embodiment, and a description thereof is omitted here.
[0069]
By the way, the digital camera 10 according to the second embodiment is equipped with a macro shooting mode which is a mode in which an image is taken in the state of approaching the subject. Such a pull-down menu is provided on the display unit 46 (corresponding to “macro setting means” of the present invention) provided in the digital camera 10.
) And the “macro” in the menu is set to “ON”.
[0070]
Hereinafter, the weight setting processing routine executed by the control circuit 50 of the digital camera 10 according to the present embodiment will be described in detail with reference to the flowchart of FIG. Steps in FIG. 7 that perform the same processing as in FIG. 3 are assigned the same step numbers as in FIG. 3, and descriptions thereof are omitted.
[0071]
If an affirmative determination is made in step 102 in FIG. 10, that is, if the condition is that the strobe 60 is to be used, the process proceeds to step 103 to determine whether or not the macro shooting mode is set by the user. In the case of determination, the process moves to step 105A and the weight w of the low sensitivity signal _l Is set to a predetermined value T1, and then the routine proceeds to step 106.
[0072]
On the other hand, if a negative determination is made in step 103, the process shifts to step 105B and the weight w of the low sensitivity signal. _l Is set to a predetermined value T2, and then the routine proceeds to step 106.
[0073]
Here, the predetermined value T1 is larger than the predetermined value T2, and the predetermined value T2 is a value (in this embodiment, '0.5' in the present embodiment) equal to or greater than the normal value set in step 108 (in this embodiment). , Predetermined value T1 = 0.7, predetermined value T2 = 0.6).
[0074]
That is, in the digital camera 10 according to the present embodiment, the distance to the subject when the macro shooting mode is set is considered to be shorter than when the macro shooting mode is not set, and the weight w of the low-sensitivity signal at this time _l Is set to a larger value than when the macro shooting mode is not set, thereby preventing overexposure when the macro shooting mode is set.
[0075]
In recent years, there are a large number of imaging apparatuses that can set the macro shooting mode. By using these, the present invention can be realized at a low cost.
[0076]
In the first and second embodiments described above, the high-sensitivity signal and the low-sensitivity signal input from the A / D converter 22 are combined by the combining processing circuit 36 before white balance adjustment or γ correction. Although an example has been described, in the following, a mode in which white balance adjustment and gamma correction are performed on each of the high-sensitivity signal and the low-sensitivity signal before synthesis, and then synthesis processing is performed using a logarithmic addition method will be described.
[0077]
FIG. 8 shows a configuration of the digital signal processing circuit 70 according to this embodiment. The digital signal processing circuit 70 includes a high sensitivity side WB (white balance) adjustment processing circuit 72 for adjusting white balance on the high sensitivity signal side, and a low sensitivity side WB adjustment processing circuit 74 for adjusting white balance on the low sensitivity signal side. The high sensitivity side γ processing circuit 76 that performs γ correction on the high sensitivity signal side connected to the high sensitivity side WB adjustment processing circuit 72 and the γ correction on the low sensitivity signal side that is connected to the low sensitivity side WB adjustment processing circuit 74. The low-sensitivity side γ processing circuit 78 for performing the above, a synthesis processing circuit 80 as a synthesis means, and a memory 82 are included.
[0078]
According to the configuration of FIG. 8, before the synthesis processing by the synthesis processing circuit 80, the high sensitivity signal and the low sensitivity signal are changed to their respective characteristics by the high sensitivity side WB adjustment processing circuit 72 and the low sensitivity side WB adjustment processing circuit 74. The white balance is adjusted accordingly, and γ correction is performed by the high sensitivity side γ processing circuit 76 and the low sensitivity side γ processing circuit 78, respectively, and the result is input to the synthesis processing circuit 80. Similar to each of the above-described embodiments, the synthesis processing circuit 80 uses the weight w from the control circuit 50. _l When a synthesis instruction accompanied by a signal indicating the above is received, the input high sensitivity and low sensitivity signals are synthesized.
[0079]
In each of the embodiments described above, an example in which each of the high sensitivity light receiving element PD1 and the low sensitivity light receiving element PD2 is provided to obtain a high sensitivity signal and a low sensitivity signal has been described, but as shown in FIG. The light receiving area of one light receiving element PD is divided into a high sensitivity light receiving area 92 having a large light receiving area for receiving high sensitivity light by a channel stopper 94 and a low sensitivity light receiving area 90 having a small light receiving area for receiving low sensitivity light. A configuration may be employed in which a high sensitivity signal and a low sensitivity signal are obtained in each region. Since the light receiving element PD is provided with the channel stopper 94, the signal received with high sensitivity and the signal received with low sensitivity are not mixed, and both signals can be received separately. .
[0080]
In the second embodiment, the weight w of the low-sensitivity signal is set in accordance with the setting state of the macro shooting mode when the strobe is used. _l However, the present invention is not limited to this, and the present embodiment is not limited to this. That is, when the strobe is used, the macro shooting mode and the distance T to the subject are used. Depending on the weight w _l Can also be set.
[0081]
As a form in this case, when a strobe is used and the macro shooting mode is set, the weight w calculated in step 104 in FIG. 3 according to the distance T to the subject is used. _l Can be exemplified by a form in which α is multiplied by α (α is a real number exceeding 1). Also in this case, the same effects as those of the above embodiments can be obtained.
[0082]
Further, the present invention is not limited to the above digital camera, and can be applied to various image pickup apparatuses.
[0083]
【The invention's effect】
As described above, according to the present invention, a plurality of first light receiving elements that receive light from a subject with a first sensitivity and output a first image signal corresponding to the received light amount, and light from the subject The image pickup device includes a plurality of second light receiving elements that receive light with a second sensitivity lower than the first sensitivity and output a second image signal corresponding to the received light amount, and are set in advance with the first image signal. A strobe is used at the time of image pickup by the image pickup device to generate an overall image signal by combining the second image signal to which the weight is added so as to increase the dynamic range as the weight increases. In some cases, the weight is set so as to increase as the distance to the subject decreases, so that the effect of easily preventing overexposure can be obtained.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration of a digital camera according to an embodiment.
FIG. 2 is a diagram schematically illustrating the configuration of a CCD according to an embodiment.
FIG. 3 is a flowchart showing a flow of a weight setting processing routine according to the first embodiment.
FIG. 4 is a graph showing a relationship between a high-sensitivity signal before synthesis and a synthesized signal obtained by synthesis processing.
FIG. 5: Weight w of synthesized signal and low sensitivity signal _l It is a graph which shows the relationship.
FIG. 6 is a schematic diagram for explaining a procedure for setting a macro shooting mode of the digital camera according to the embodiment.
FIG. 7 is a flowchart showing a flow of a weight setting processing routine according to the second embodiment.
FIG. 8 is a block diagram showing the configuration of another digital signal processing circuit.
FIG. 9 is a diagram showing an outline of a configuration of a CCD provided with a light receiving element capable of receiving both high sensitivity and low sensitivity signals.
FIG. 10 is a schematic diagram for explaining a problem of a conventional technique.
[Explanation of symbols]
10 Digital camera (imaging device)
14 Aperture
16 Shutter
18 CCD (imaging device)
32 Ranging sensor (detection means)
34 Digital signal processing circuit
36 Synthesis processing circuit (synthesizing means)
46 Display (macro setting means)
50 Control circuit (setting means)
52 CPU
54 ROM
60 Strobe
80 Composition processing circuit (composition means)
PD1 light receiving element (first light receiving element)
PD2 light receiving element (second light receiving element)

Claims

A plurality of first light receiving elements that receive light from the subject with a first sensitivity and output a first image signal corresponding to the received light amount, and a second sensitivity that lowers the light from the subject to be lower than the first sensitivity. An imaging device comprising a plurality of second light receiving elements that receive the light and output a second image signal according to the received light amount;
A strobe for making up for a shortage of ambient light during imaging by the imaging device;
A synthesizing unit configured to synthesize the first image signal and the second image signal in which a preset weight is added so that a dynamic range is expanded as the weight is increased;
Detecting means for detecting a distance to the subject;
Setting means for setting the weight so as to increase as the distance becomes shorter when the strobe is used during imaging by the imaging device;
An imaging apparatus comprising:

When the signal level of the first image signal is less than a predetermined level indicating a synthesis start level, the synthesizing unit sets the first image signal as the overall image signal, and the signal level of the first image signal is When the level is equal to or higher than a predetermined level, the overall image signal is generated by taking a weighted average of the signal level of the first image signal and the signal level of the second image signal raised by the predetermined level. The imaging device according to claim 1.

The imaging apparatus according to claim 1, wherein the setting unit sets the weight in a plurality of stages.

Macro setting means for setting a macro shooting mode that is a mode for imaging in a state of approaching the subject,
The imaging apparatus according to claim 3, wherein the detection unit detects a distance to the subject based on whether or not the macro shooting mode is set by the macro setting unit.