JP2004222154A - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP2004222154A JP2004222154A JP2003009693A JP2003009693A JP2004222154A JP 2004222154 A JP2004222154 A JP 2004222154A JP 2003009693 A JP2003009693 A JP 2003009693A JP 2003009693 A JP2003009693 A JP 2003009693A JP 2004222154 A JP2004222154 A JP 2004222154A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- photosensitive pixel
- black level
- signal
- level correction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012937 correction Methods 0.000 claims abstract description 122
- 238000003384 imaging method Methods 0.000 claims description 98
- 238000012545 processing Methods 0.000 abstract description 81
- 230000035945 sensitivity Effects 0.000 abstract description 25
- 230000009467 reduction Effects 0.000 abstract description 4
- 238000012546 transfer Methods 0.000 description 38
- 238000000034 method Methods 0.000 description 21
- 239000010410 layer Substances 0.000 description 13
- 230000008569 process Effects 0.000 description 12
- 230000000875 corresponding effect Effects 0.000 description 10
- 239000004973 liquid crystal related substance Substances 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 10
- 238000006243 chemical reaction Methods 0.000 description 9
- 230000004044 response Effects 0.000 description 6
- 230000007547 defect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000005375 photometry Methods 0.000 description 5
- 238000003705 background correction Methods 0.000 description 4
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 239000011229 interlayer Substances 0.000 description 4
- 229910021420 polycrystalline silicon Inorganic materials 0.000 description 4
- 229920005591 polysilicon Polymers 0.000 description 4
- 239000002131 composite material Substances 0.000 description 3
- 230000002950 deficient Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 229920006395 saturated elastomer Polymers 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 2
- 230000006837 decompression Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 229910052814 silicon oxide Inorganic materials 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 108010076504 Protein Sorting Signals Proteins 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000005360 phosphosilicate glass Substances 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- WFKWXMTUELFFGS-UHFFFAOYSA-N tungsten Chemical compound [W] WFKWXMTUELFFGS-UHFFFAOYSA-N 0.000 description 1
- 229910052721 tungsten Inorganic materials 0.000 description 1
- 239000010937 tungsten Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
- H04N25/58—Control of the dynamic range involving two or more exposures
- H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
- H04N25/585—Control of the dynamic range involving two or more exposures acquired simultaneously with pixels having different sensitivities within the sensor, e.g. fast or slow pixels or pixels having different sizes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
- H04N25/633—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current by using optical black pixels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N3/00—Scanning details of television systems; Combination thereof with generation of supply voltages
- H04N3/10—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical
- H04N3/14—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices
- H04N3/15—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices for picture signal generation
- H04N3/155—Control of the image-sensor operation, e.g. image processing within the image-sensor
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Solid State Image Pick-Up Elements (AREA)
Abstract
【解決手段】従感光画素の黒レベル補正値は主感光画素の黒レベル補正値に主感光画素のセル面積と従感光画素のセル面積との面積比を乗じて算出する。従感光画素の黒レベル補正値を決めるために、OB部に属する従感光画素から撮像信号の取り込み制御を行う必要がない。さらに、OB部において従感光画素から撮像信号の取り込み制御を行わないのであれば、当該期間は処理系を停止させてもよい。当該期間処理系を停止させればデジタルカメラ全体の処理低減化や省電力化に寄与することができる。
【選択図】 図12
Description
【発明の属する技術分野】
本発明は撮像装置に係り、特に主感光画素から得られる情報をもとに従感光画素の補正量を決定する内部処理の負担軽減技術に関する。
【0002】
【従来の技術】
デジタルカメラ等の撮影装置に使用される固体撮像素子として、CCD固体撮像素子やMOS型固体撮像素子等がよく知られている。また、固体撮像素子の感光素子としては主にフォトダイオードが用いられ、受光領域内に多数の画素が行列状に配置される。
【0003】
近年、高画質化を実現するために、固体撮像素子には高解像度、広ダイナミックレンジの要求が高くなり、画素数を増やしたり1つの画素を小型化し高集積化したりして高解像度要求に対応している。
【0004】
また、1つのフォトダイオードを分割して高解像度の画像を得る方法や、大きさが異なる2つの感光部の感度差を利用して広ダイナミックレンジ化を実現する方法などが提案されている。
【0005】
特許文献1に開示された固体撮像装置は、各受光部を感度が異なる2つの受光領域に分割し、各受光部から読み出された信号電荷のうち、高感度側の信号には飽和領域に達する前に画素内でリミッタを掛け、その後、低感度側の信号と加算してビデオ出力信号とする。本来は出力飽和領域である入射光に対しても出力が変化する特性が得られる。このようにして出力ダイナミックレンジの拡大を行っている。
【0006】
【特許文献1】
特開平9−205589号公報
【0007】
【発明が解決しようとする課題】
しかしながら、2つの感光部の感度差を利用して広ダイナミックレンジ化を実現している場合は、それぞれの感光部から画像信号を取得し、それぞれの画像信号に対して信号処理や補正を施してから、2つの画像信号を合成して1つの画像を生成しており、特に低感度側の感光素子の補正方法などは特に考慮されていないために、処理時間等に影響があった。
【0008】
特許文献1に開示された固体撮像装置では、撮像信号の処理負担軽減について述べられておらず、2つの感光素子から独立に撮像信号を取り出し、それぞれの感光素子から得られた撮像信号をもとにそれぞれの補正値を決定していれば、内部処理の負担軽減は難しい。
【0009】
本発明はこのような事情を鑑みてなされたもので、感度が異なる2つの感光素子の感度差を利用して広ダイナミックレンジを実現する際に、高感度部の情報から低感度部の補正量を決定して内部処理の負担軽減を図る撮像装置を提供することを目的とする。
【0010】
【課題を解決するための手段】
前記目的を達成するために本発明に係る撮像装置は、相対的に広い面積を有する主感光画素と、相対的に狭い面積を有する従感光画素との複合からなる画素セルが所定の配列形態に従って多数配置され、前記主感光画素で光電変換された信号電荷に基づく信号と前記従感光画素で光電変換された信号電荷に基づく信号とを選択的に取り出すことができる構造を備えた固体撮像素子と、前記固体撮像素子から撮像信号を取り出す制御を行う撮像信号取得制御手段と、前記主感光画素から得られた信号に基づいて主感光画素の黒レベル補正値を決定する主黒レベル補正値決定手段と、前記主黒レベル補正値決定手段により求められた主感光画素の黒レベル補正値から演算によって従感光画素の黒レベル補正値を求める従黒レベル補正値決定手段と、前記主黒レベル補正値決定手段により求められた主感光画素の黒レベル補正値をもとに前記主感光画素から取り出された撮像信号の黒レベル補正を行い、且つ、前記従黒レベル補正値決定手段のより求められた従感光画素の黒レベル補正値をもとに前記従感光画素から取得された撮像信号の黒レベル補正を行う黒レベル補正手段と、を備えたことを特徴としている。
【0011】
本発明によれば、主感光画素で光電変換された信号電荷に基づく信号から従感光画素の黒レベル補正値を決定するようにしたので、従感光画素の黒レベル補正値を求めるための信号を従感光画素から検出せずに従感光画素の黒レベル補正値を決めることができる。
【0012】
主感光画素と従感光画素は1つの感光素子を異なる面積になるように分割してもよいし、セル面積の異なる2つの感光素子を用いてもよい。
【0013】
固体撮像素子にはCCDイメージセンサやMOSイメージセンサが用いられることが多く、またCCD型とMOS型の複合型もある。
【0014】
また、感光素子には主にフォトダイオードが用いられ、感光素子の配列には行方向および列方向にそれぞれ一定ピッチで正方行列的に配置される場合や行方向および列方向に1つおきに位置をずらして配列されるハニカム配列等がある。
【0015】
感光素子は光を遮断した状態でも時間の経過とともに電荷が蓄積される。このように光に関係なく蓄積される電荷を暗電流と呼ぶ。この暗電流が画像に与える影響を抑制するために黒レベル補正が行われる。
【0016】
黒レベル補正には、遮光状態において複数の感光素子から信号を取得し、取得した信号の平均値(積算平均値)を算出してこれを黒レベル補正値とし、受光状態において各感光素子から読み出した信号から前述した黒レベル補正値を差し引いて黒レベル補正を行う形態がある。
【0017】
本発明の一態様に係る撮像装置は、前記固体撮像素子は、有効画素領域である感光画素部と、前記有効画素領域以外の所定の位置に設けられ前記画素セルの受光面が遮光された遮光画素部とを備え、前記主黒レベル補正値決定手段は、前記遮光画素部に属する主感光画素から取り出された信号に基づいて前記感光画素部に属する主感光画素の黒レベル補正値を算出することを特徴としている。
【0018】
感光画素部からは画像を生成するための撮像信号を取得し、遮光画素部では黒レベル補正値を求めるための暗電流を検出する。
【0019】
暗電流は画素毎に異なることがあるので、複数の画素から暗電流を検出し、それらの平均値や積算値を黒レベル補正値とするとよい。
【0020】
また、本発明の他の態様に係る撮像装置は、前記撮像信号取得制御手段は、前記遮光画素部における従感光画素から撮像信号を取り込む制御を行わないことを特徴としている。
【0021】
かかる態様によれば、従感光画素の黒レベル補正値を主感光画素の黒レベル補正値から算出するようにしたので、従感光画素の黒レベル補正値を決めるために、前記遮光画素部に属する従感光画素から撮像信号の取り込みを行わなくてよい。
【0022】
さらに、遮光画素部において従感光画素から撮像信号の取り込みを行わないのであれば、当該期間は処理系を停止させてもよい。当該期間処理系が停止すれば本撮像装置全体の処理低減化や省電力化に寄与することができる。さらに処理系が停止している期間を割り込み処理等の他の処理系に割り当ててもよい。
【0023】
処理系の停止には、当該処理のクロックを停止させることを含んでいる。
【0024】
さらに本発明の他の態様に係る撮像装置は、前記従感光画素の黒レベル補正値は、前記主感光画素の黒レベル補正値に前記主感光画素のセル面積と前記従感光画素のセル面積との面積比を乗じて算出することを特徴としている。
【0025】
黒レベルの変動は暗電流の変動に依存し、温度変化や露出時間の違いによって起こる。常に同一条件で撮影を行うときには、従感光画素の黒レベル補正値は主感光画素の黒レベル補正値に主感光画素のセル面積と従感光画素のセル面積との面積比を乗じて算出することができる。
【0026】
【発明の実施の形態】
以下、添付図面に従って本発明に係る撮像装置の好ましい実施の形態について説明する。
【0027】
図1は、本発明の実施形態に係るデジタルカメラのブロック図である。
【0028】
デジタルカメラ10は、CCD固体撮像素子(以下CCDと記載)12を介して撮像した被写体の光学像をデジタル画像データに変換して記録メディア14に記録するデジタルカメラである。
【0029】
カメラ10全体の動作は、カメラ内蔵の中央処理装置(以下CPUと記載)16によって統括制御される。CPU16は、所定のプログラムに従って本カメラシステムを制御する制御手段として機能するとともに、自動露出(AE)演算、自動焦点調節(AF)演算、およびオートホワイトバランス(AWB)制御など各種演算を実施する演算手段として機能する。
【0030】
CPU16はバスを介してROM20およびメモリ(RAM)22と接続されている。ROM20にはCPU16が実行するプログラムおよび制御に必要な各種データなどが格納されている。メモリ22はプログラムの展開領域およびCPU16の演算作業用領域として利用されるとともに、画像データの一時記憶領域として利用される。画像データの一時記録領域には主メモリ22Aと副メモリ22Bを備えている。
【0031】
また、CPU16にはEEPROM24が接続されている。EEPROM24はAE、AFおよびAWB等の制御に必要なデータ或いはユーザが設定したカスタマイズ情報などが格納される不揮発性の記憶手段であり、必要に応じてデータの書き換えが可能であるとともに、電源オフ時においても情報内容が保持される。CPU16は必要に応じてEEPROM24のデータを参照して演算等を行う。
【0032】
カメラ10にはユーザが各種の指令を入力するための操作部30が設けられている。操作部30は、シャッターボタン、ズームスイッチ、モード切換スイッチなど各種操作部を含む。シャッターボタンは、撮影開始の指示を入力する操作手段であり、半押し時にオンするS1スイッチと、全押し時にオンするS2スイッチとを有する二段ストローク式のスイッチで構成されている。S1オンにより、AEおよびAF処理が行われ、S2オンによって記録用の露光が行われる。ズームスイッチは、撮影倍率や再生倍率を変更するための操作手段である。モード切換スイッチは、撮影モードと再生モードとを切り換えるための操作手段である。
【0033】
また、操作部30には、上記の他、撮影目的に応じて最適な動作モード(連写モード、オート撮影モード、マニュアル撮影モード、人物モード、風景モード、夜景モードなど)を設定する撮影モード設定手段、液晶モニタ(表示装置)32にメニュー画面を表示させるメニューボタン、メニュー画面から所望の項目を選択する十字ボタン(カーソル移動操作手段)、選択項目の確定や処理の実行を指令するOKボタン、選択項目など所望の対象の消去や指示内容の取消し、或いは1つ前の操作状態に戻らせる指令を入力するキャンセルボタンなどの操作手段も含まれる。
【0034】
なお、操作部30の中には、プッシュ式のスイッチ部材、ダイヤル部材、レバースイッチなどの構成によるものに限らず、メニュー画面から所望の項目を選択するようなユーザインターフェースによって実現されるものも含まれている。
【0035】
操作部30からの信号はCPU16に入力される。CPU16は操作部30からの入力信号に基づいてカメラ10の各回路を制御し、例えば、レンズ駆動制御、撮影動作制御、画像処理制御、画像データの記録/再生制御、液晶モニタ(表示装置)32の表示制御などを行う。
【0036】
液晶モニタ32は、撮影時に画角確認用の電子ファインダーとして使用できるとともに、記録済み画像を再生表示する手段として利用される。また、液晶モニタ32は、ユーザインターフェース用表示画面としても利用され、必要に応じてメニュー情報や選択項目、設定内容などの情報が表示される。なお、本実施形態では表示装置には液晶ディスプレイを用いたが、有機ELなど他の方式の表示装置(表示手段)を用いることも可能である。
【0037】
次に、カメラ10の撮影機能について説明する。
【0038】
カメラ10は撮影レンズ34と絞り兼用メカシャッター機構36とを含む光学系と、CCD12とを備えている。なお、CCD12に代えて、MOS型固体撮像素子など他の方式の撮像素子を用いることも可能である。撮影レンズ34は電動式のズームレンズで構成されており、主として倍率変更(焦点距離可変)作用をもたらす変倍レンズ群38および補正レンズ群40と、フォーカス調整に寄与するフォーカスレンズ42とを含む。
【0039】
撮影者によって操作部30のズームスイッチが操作されると、そのスイッチ操作に応じてCPU16からレンズドライバー44に対して光学系制御信号が出力される。レンズドライバー44は、CPU16からの制御信号に基づいてレンズ駆動用の信号を生成し、ズームモータ(不図示)に与える。こうして、レンズドライバー44から出力されるモータ駆動電圧によってズームモータが作動し、撮影レンズ内の変倍レンズ群38および補正レンズ群40が光軸に沿って前後移動することにより、撮影レンズ34の焦点距離(光学ズーム倍率)が変更される。
【0040】
また、CPU16は絞りドライバー45を介して絞り兼用メカシャッター機構36の制御を行っている。
【0041】
光学系を通過した光は、CCD12の受光面に入射する。CCD12の受光面には多数のフォトセンサ(受光素子)が平面的に配列され、各フォトセンサに対応して赤(R)、緑(G)、青(B)の原色カラーフィルタが所定の配列構造で配置されている。
【0042】
CCD12の受光面に結像された被写体像は、各フォトセンサによって入射光量に応じた量の信号電荷に変換される。CCD12は、シャッターゲートパルスのタイミングによって各フォトセンサの電荷蓄積時間(シャッタースピード)を制御する電子シャッター機能を有している。
【0043】
CCD12の各フォトセンサに蓄積された信号電荷は、CCDドライバー46から与えられるパルスに基づいて信号電荷に応じた電圧信号(撮像信号)として順次読み出され、CCD12から出力された画像信号はアナログ処理部(CDS/GCA)48に送られる。アナログ処理部48は、CDS(相関二重サンプリング)回路およびGCA回路(ゲイン調整回路)を含む処理部であり、このアナログ処理部48において、サンプリング処理並びにR,G,Bの各色信号に色分離処理され、各色信号の信号レベルの調整が行われる。
【0044】
アナログ処理部48から出力された画像信号はA/D変換器50によってデジタル信号に変換された後、デジタル信号処理部52を介してメモリ22に格納される。タイミングジェネレータ(TG)54は、CPU16の指令に従ってCCDドライバー46、アナログ処理部48およびA/D変換器50に対してタイミング信号を与えており、このタイミング信号によって各回路の同期がとられている。
【0045】
デジタル信号処理部52は、メモリ22の読み書きを制御するメモリコントローラを兼ねたデジタル信号処理ブロックである。デジタル信号処理部52は、オフセット処理部、シェーディング補正部、欠陥画素(キズ)補正部、AE/AF/AWB処理を行うオート演算部、ホワイトバランス回路、ガンマ変換回路、同時化回路(単板CCDのカラーフィルタ配列に伴う色信号の空間的なズレを補間して各点の色を計算する処理回路)、輝度・色差信号輝度・色差信号生成回路、輪郭補正回路、コントラスト補正回路等を含む画像処理手段であり、CPU16からのコマンドに従ってメモリ22を活用しながら画像信号を処理する。
【0046】
メモリ22に格納されたデータ(CCDRAWデータ)は、バスを介してデジタル信号処理部52に送られる。デジタル信号処理部52に入力された画像データは、ホワイトバランス調整処理、ガンマ変換処理、輝度信号(Y信号)および色差信号(Cr,Cb 信号)への変換処理(YC処理)など、所定の信号処理が施された後、メモリ22に格納される。
【0047】
撮影画像をモニタ出力する場合、メモリ22から画像データが読み出され、表示回路56に送られる。表示回路56に送られた画像データは表示用の所定方式の信号(例えば、NTSC方式のカラー複合映像信号)に変換された後、液晶モニタ32に出力される。CCD12から出力される画像信号によってメモリ22内の画像データが定期的に書き換えられ、その画像データから生成される映像信号が液晶モニタ32に供給されることにより、撮像中の映像(スルー画)がリアルタイムに液晶モニタ32に表示される。撮影者は液晶モニタ32に表示される映像(いわゆるスルームービー)によって画角(構図)を確認できる。
【0048】
撮影者が画角を決めてシャッターボタンを押下すると、CPU16はこれを検知し、シャッターボタンの半押し(S1オン)に応動してAE処理、AF処理およびAWB処理を行い、シャッターボタンの全押し(S2オン)に応動して記録用の画像を取り込むためのCCD露光および読み出し制御を開始する。
【0049】
すなわち、CPU16は、S1オンに応動して取り込まれた画像データから焦点評価演算やAE演算などの各種演算を行い、その演算結果に基づいてレンズドライバー44に制御信号を送り、不図示のAFモータを制御してフォーカスレンズ42を合焦位置に移動させる。
【0050】
また、AE演算部は撮影画像の1画面を複数のエリア(例えば、16×16)に分割し、分割エリアごとにRGB信号を積算する回路を含み、その積算値をCPU16に提供する。RGBの各色信号について積算値を求めてもよいし、これらのうちの一色(例えば、G信号)のみについて積算値を求めてもよい。
【0051】
CPU16は、AE演算部から得た積算値に基づいて重み付け加算を行い、被写体の明るさ(被写体輝度)を検出し、撮影に適した露出値(撮影EV値)を算出する。
【0052】
カメラ10のAEは、広いダイナミックレンジを精度よく測光するために、複数回の測光を行い、被写体の輝度を正しく認識する。例えば、5〜17EVの範囲を測光するのに、1回の測光で3EVの範囲を測定できるものとすると、露出条件を変えながら最大で4回の測光が行われる。
【0053】
ある露出条件で測光を行い、各分割エリアの積算値を監視する。画像内に飽和しているエリアが存在していれば露出条件を変えて測光を行う。その一方、画像内に飽和しているエリアがなければ、その露出条件で正しく測光できるため、更なる露出条件の変更は行わない。
【0054】
こうして、複数回に分けて測光を実行することで広いレンジ(5〜17EV)を測光し、最適な露出条件を決定する。なお、1回の測光で測定できる範囲や、測光すべき範囲については、カメラ機種ごとに適宜設計可能である。
【0055】
CPU16は、上述のAE演算結果に基づいて絞りとシャッタースピードを制御し、シャッターボタンの全押し(S2オン)に応動して記録用の画像を取得する。
【0056】
S2オンに応動して取り込まれた画像データは、図1に示したデジタル信号処理部52においてYC処理その他の所定の信号処理を経た後、圧縮伸張回路58において所定の圧縮フォーマット(例えば、JPEG方式) に従って圧縮される。圧縮された画像データは、メディアインターフェース部(不図示)を介して記録メディア14に記録される。圧縮形式はJPEGに限定されず、MPEGその他の方式を採用してもよい。
【0057】
画像データを保存する手段は、スマートメディア(商標)、コンパクトフラッシュ(商標)などに代表される半導体メモリカード、磁気ディスク、光ディスク、光磁気ディスクなど、種々の媒体を用いることができる。また、リムーバブルメディアに限らず、カメラ10に内蔵された記録媒体(内部メモリ)であってもよい。
【0058】
操作部30のモード選択スイッチによって再生モードが選択されると、記録メディア14に記録されている最終の画像ファイル(最後に記録したファイル)が読み出される。記録メディア14から読み出された画像ファイルのデータは、圧縮伸張回路58によって伸張処理され、表示回路50を介して液晶モニタ32に出力される。
【0059】
再生モードの一コマ再生時に十字ボタンを操作することにより、順方向又は逆方向にコマ送りすることができ、コマ送りされた次のファイルが記録メディア14から読み出され、表示画像が更新される。
【0060】
図2は、CCD12の受光面の構造を示す平面図である。図2では2つの受光セル(画素PIX)が横に並んでいる様子を示したが、実際には多数の画素PIXが水平方向(行方向)および垂直方向(列方向)に一定の配列周期で配列されている。
【0061】
各画素PIXは、感度の異なる2つのフォトダイオード領域61、62を含んでいる。第1のフォトダイオード領域61は、相対的に広い面積を有し、主たる感光部(以下、主感光画素と記載)を構成する。第2のフォトダイオード領域62は、相対的に狭い面積を有し、従たる感光部(以下、従感光画素と記載)を構成する。画素PIXの右側には垂直転送路(VCCD)63が形成されている。
【0062】
図2に示した構成はハニカム構造の画素配列であり、図示した2つの画素PIX上側および下側の画素は横方向に半ピッチずれた位置に配置される。図2上に示した各画素PIXの左側に示されている垂直転送路63は、これら画像PIXの上側および下側に配置される不図示の画素からの電荷を読み出し、転送するためのものである。
【0063】
図2中破線で示すように、四相駆動(φ1,φ2,φ3,φ4)に必要な転送電極64、65、66、67(まとめてELで示す。)が垂直転送路63の上方に配置される。例えば、2層ポリシリコンで転送電極を形成する場合、φ1 のパルス電圧が印加される第1の転送電極64と、φ3 のパルス電圧が印加される第3の転送電極66とは第1層ポリシリコン層で形成され、φ2 のパルス電圧が印加される第2の転送電極65と、φ4 のパルス電圧が印加される第4の転送電極67とは第2層ポリシリコン層で形成される。なお、転送電極64は従感光画素62から垂直転送路63への電荷読み出しも制御する。転送電極65は主感光画素61から垂直転送路63への電荷読み出しも制御する。
【0064】
図3は図2の3−3線に沿う断面図であり、図4は図2の4−4線に沿う断面図である。図3に示したように、n型半導体基板70の1表面にp型ウエル71が形成されている。p型ウエル71の表面領域に2つのn型領域73、74が形成され、フォトダイオードを構成している。符号73で示したn型領域のフォトダイオードが主感光画素61に相当し、符号74で示したn型領域のフォトダイオードが従感光画素62に相当している。p+ 型領域76は、画素PIX、垂直転送路63等の電気的な分離を行うチャネルストップ領域である。
【0065】
図4に示すように、フォトダイオードを構成するn型領域73の近傍に垂直転送路63を構成するn型領域77が配置されている。n型領域74、77の間のp型ウエル71が読み出しトランジスタを構成する。
【0066】
半導体基板表面上には酸化シリコン膜等の絶縁層が形成され、その上にポリシリコンで形成された転送電極ELが形成される。転送電極ELは、垂直転送路63の上方を覆うように配置されている。転送電極ELの上に、更に酸化シリコン等の絶縁層が形成され、その上に垂直転送路63等の構成要素を覆い、フォトダイオード上方に開口を有する遮光膜78がタングステン等により形成されている。
【0067】
遮光膜78を覆うようにホスホシリケートガラス等で形成された層間絶縁膜79が形成され、その表面が平坦化されている。層間絶縁膜79の上にカラーフィルタ層80が形成されている。カラーフィルタ層80は、例えば赤色領域、緑色領域、および青色領域等の3色以上の色領域を含み、各画素PIXについて一色の色領域が割り当てられている。
【0068】
カラーフィルタ層80の上に各画素PIXに対応してマイクロレンズ81がレジスト材料等により形成されている。マイクロレンズ81は、各画素PIXの上に1つ形成されており、上方より入射する光を遮光膜78が画定する開口内に集光させる機能を有する。
【0069】
マイクロレンズ81を介して入射した光は、カラーフィルタ層80によって色分解され、主感光画素61および従感光画素62の各フォトダイオード領域にそれぞれ入射する。各フォトダイオード領域に入射した光は、その光量に応じた信号電荷に変換され、それぞれ別々に垂直転送路63に読み出される。
【0070】
こうして、1つの画素PIXから感度の異なる2種類の画像信号(高感度画像信号と低感度画像信号)と別々に取り出すことが可能であり、光学的に同位相の画像信号を得る。
【0071】
図5は、CCD12の受光領域PS内の画素PIXおよび垂直転送路63の配置を示す。画素PIXは、セルの幾何学的な形状の中心点を行方向および列方向に1つおきに画素ピッチの半分(1/2ピッチ)ずらして配列させたハニカム構造となっている。すなわち、互いに隣接する画素PIXの行どうし(又は列どうし)において、一方の行(又は列)のセル配列が、他方の行(又は列)のセル配列に対して行方向(又は列方向)の配列間隔の略1/2だけ相対的にずれて配置された構造となっている。
【0072】
図5において画素PIXが配列された受光領域PSの右側には、転送電極ELにパルス電圧を印加するVCCD駆動回路84が配置される。各画素PIXは上述のように主感光部(主画素)と従感光部(副画素)とを含む。垂直転送路63は各列に近接して蛇行して配置されている。
【0073】
また、受光領域PSの下側(垂直転送路63の下端側)には、垂直転送路30から移された信号電荷を水平方向に転送する水平転送路(HCCD)85が設けられている。
【0074】
水平転送路85は、2相駆動の転送CCDで構成されており、水平転送路85の最終段(図5上で最左段)は出力部86に接続されている。出力部86は出力アンプを含み、入力された信号電荷の電荷検出を行い、信号電圧として出力端子に出力する。こうして、各画素PIXで光電変換した信号が点順次の信号列として出力される。
【0075】
本実施形態における主感光画素61と従感光画素62の特性は図6に示すとおりである。
【0076】
感度は主感光画素の開口面積と従感光画素の開口面積との面積比であり、主感光画素1に対して従感光画素1/16である。
【0077】
飽和は主感光画素のセル面積と従感光画素のセル面積の面積比であり、主感光画素1に対して従感光画素1/4である。
【0078】
また、ダイナミックレンジは主感光画素1に対して従感光画素4となっている。
【0079】
図7は、主感光画素61と従感光画素62の光電変換特性を示すグラフである。横軸は入射光量、縦軸はA/D変換後の画像データ値(QL値)を示す。本例では12ビットデータを例示するが、ビット数はこれに限定されない。
【0080】
図7に示すように、主感光画素61と従感光画素62の感度比は1:1/aとなっている(ただし、a>1、本実施形態ではa=16)。主感光画素61の出力100は、入射光量に比例して次第に増加し、入射光量が「c」のときに出力が飽和値(QL値=4095)に達する。以後、入射光量が増加しても主感光画素61の出力は一定となる。この「c」を主感光画素61の飽和光量と呼ぶことにする。
【0081】
一方、従感光画素62の感度は、主感光画素61の感度の1/aであり、従感光画素の出力102は入射光量がα×cのときにQL値=4095bで飽和する(ただし、b>1,α=a/b、本実施形態ではb=4,α=4)。このときの「α×c」を従感光画素62の飽和光量とよぶ。
【0082】
このように、異なる感度を持つ主感光画素と従感光画素とを組み合わせることにより、主感光画素のみの構成よりもCCD12のダイナミックレンジをα倍に拡大(本実施形態では約4倍に拡大)できる。
【0083】
図7に示した主感光画素61と従感光画素62の光電変換特性の測定は画面中央部で行われる。また、測定条件は検査工程で定められた基準条件(所定の射出瞳位置と所定の絞り値および所定のシャッタースピード)である。
【0084】
シャッターボタンのS1オンに伴うAE処理およびAF処理は主感光画素61から得られる信号に基づいて行われる。そして、広ダイナミックレンジ撮像を行う撮影モードが選択されている場合、または、AEの結果(ISO感度や測光値)またはホワイトバランスゲイン値などに基づき自動的に広ダイナミックレンジ撮像モードが選択された場合には、シャッターボタンのS2オンに応動してCCD12の露光を行い、露光後にメカシャッターを閉じて光の進入を遮断した状態で垂直駆動信号(ΦV)に同期して、まず、主感光画素61の電荷を読み出し、図1に示す主メモリ22Aに記憶する。その後、従感光画素62の電荷の読み出しを行い、図1に示す副メモリ22Bに記憶する。
【0085】
以下、CCD12の出力信号の処理について説明する。
【0086】
図8は、図1に示したデジタル信号処理部52の詳細構成を示すブロック図である。
【0087】
信号処理部52はオフセット処理部202、シェーディング補正部204、キズ補正部206、ホワイトバランス(WB)ゲイン部208、ガンマ補正部210、加算部212、YC変換部214、各種補正部216およびオフセット処理部202が参照する補正値を記憶する第2メモリ218を備えている。第2メモリ218はCPU16の内蔵メモリを使用してもよい。
【0088】
オフセット処理部202は、CCD出力の暗電流成分を補正する処理部であり、CCD12上の遮光画素から得られるオプティカルブラック(OB)信号の値を画素値から減算する演算を行う。OB信号はデジタル信号に変換され第2メモリ218に記憶されている。
【0089】
シェーディング補正部204は、光学系に起因する光量分布のばらつきに伴うCCD出力の不均一性を補正する処理部であり、画素PIXの位置に応じて予め用意されている補正係数を画素値に乗算して出力レベルを均一化する。
【0090】
なお、主感光画素61と従感光画素62とでは輝度シェーディングの発生現象が異なるため、主感光画素61の画素値および従感光画素62の画素値についてそれぞれ異なるシェーディング補正が行われる。主感光画素61のシェーディングでは、画面中心部に対して周囲が暗くなる傾向があり、従感光画素62のシェーディングでは、マイクロレンズ81の位置や画素PIX内における従感光画素62の形成位置などの関係で特有のシェーディング(例えば、画面中心部に対して周囲の光量が増加する現象)が発生する。主感光画素61および従感光画素62のそれぞれのシェーディングパターンに応じてこれを解消するような信号補正処理が行われる。
【0091】
キズ補正部206は、CCD12の欠陥画素の信号値を補正する処理部である。画素PIXの欠陥には、・主感光画素61のみがキズである場合、・従感光画素62のみがキズである場合、・主感光画素61と従感光画素62の両方がキズである場合、という3態様がある。上記の3態様に対応するキズ補正方法としては、欠陥画素の周囲の画素PIXの画素値を利用して補正する従来型(ローパスフィルタ型)の方法と、同一画素PIX内の正常な従感光画素の画素値又は主感光画素の画素値を利用して補正する方法とがあり、状況に応じて補正方法が切り換えられる。
【0092】
キズ補正部206によってキズ補正処理されて得られた画像データはCCDRAWデータとしてメモリ22に格納される。メモリ22に格納されたCCDRAWデータはWBゲイン部208に送られる。
【0093】
WBゲイン部208は、R,G,Bの色信号のレベルを増減するためのゲイン可変アンプを含み、CPU16からの指令に基づいて各色信号のゲイン調整を行う。WBゲイン部208においてゲイン処理された信号は、ガンマ補正部210に送られる。
【0094】
ガンマ補正部210は、CPU16の指令に従い、所望のガンマ特性となるように入出力特性を変換する。ガンマ補正された画像信号は加算部212に送られる。加算部212は、主感光画素から得られた画像信号と従感光画素から得られた画像信号を加算(合成)する処理部であり、次式〔数1〕に従って出力信号を生成する。
【0095】
【数1】
出力信号=g×(主感光画素の信号)+(1−g)×(従感光画素の信号)
ただし、加算割合を示す係数gは0≦g≦1の範囲で適宜設定可能である。
CPU16は状況に応じて係数gを可変設定する。
【0096】
加算部212からの出力信号はYC処理部214に送られる。YC処理部214は単板CCD12のカラーフィルタ配列構造に伴う色信号の空間的なズレを補間して各点の色(RGB)を計算する同時化処理部と、RGB信号から輝度・色差信号を生成するYC変換処理部とを含む。
【0097】
YC処理部214で生成された輝度・色差信号(YCr Cb )は、各種補正部216に送られる。各種補正部216には、例えば、輪郭強調(アパーチャ補正)部や色差マトリックスによる色補正部などが含まれる。
【0098】
図9は図1に示したCCD12の受光領域300における画素の配置および領域の配置を示している。受光領域300は撮像信号が出力される感光画素部(以下エリア部と記載)302とOB信号が得られる遮光画素部(オプティカルブラック部、以下OB部と記載)304とから構成されている。
【0099】
図9では、エリア部302の右側にOB部304を配置したが、OB部304はエリア部302の左側でもよい。また、OB部304はエリア部302の周囲を囲むように配置してもよい。
【0100】
また、受光領域300には図2乃至4に示した画素PIXがハニカム構造の画素配列で配列されている。図2に示したように2つの画素PIX上側および下側の画素は横方向に半ピッチずれた位置に配置されている。
【0101】
受光領域300の画素PIXからの撮像信号の取り込み処理は以下のように行われる。
【0102】
図5で説明したとおり、CCD12から撮像信号の読み出しを行うときには、まず、蓄積電荷を一斉に垂直転送路(VCCD)83に読み出し、これらを 1ラインずつシフトさせて水平転送路(HCCD)85に読み出しを行っている。
【0103】
水平転送路85を出力方向に順次シフトさせて1水平ライン分の信号が出力される。このようにして得られた出力信号(撮像信号)は図1に示したA/D変換器50以降の信号処理系に送られ、所定の信号処理を施される。
【0104】
CDD12から出力された撮像信号の取り込みは以下に示すとおりに行われる。
【0105】
図9に示した画素PIXは図9の左右方向にn個の画素によって画素列(ライン)を形成し、前述したラインは図9の上から順に第1ライン、第2ライン・・・、一番下のラインを第mラインとする。ただし、mは受光面300の縦方向の画素数を表している。1つのラインの画素数nと前記縦方向の画素数mを乗じるとCCD12の総画素数になる。
【0106】
撮像信号の取り込みは、始めに受光領域300にある全ての主感光画素から撮像信号を取り込み、続いて受光領域300にある全ての従感光画素から撮像信号の取り込みを行う。
【0107】
まず、第1ライン左端の画素310の主感光画素から撮像信号の取り込みを開始する。続いて画素312の主感光画素、画素314の主感光画素、画素316の順に第1ラインを図9の左端から右に向かって(図9中破線で示した方向に)第1ラインの主感光画素から撮像信号の取り込みを行う。なお、画素312と画素314間および画素314と画素316間の画素の符号は省略する。
【0108】
第1ラインの主感光画素から撮像信号の読み出しが終わると、続いて第2ラインの主感光画素から撮像信号の取り込みを行う。
【0109】
第1ラインの主感光画素からの撮像信号の読み出しと同様に第2ラインを図7の左端から右に向かって、まず、画素318の主感光画素から撮像信号の読み出しを開始する。続いて画素320の主感光画素、画素322の主感光画素、・・・画素324の主感光画素まで順に撮像信号の取り込みを行う。
【0110】
第2ラインの主感光画素から撮像信号の取り込みが終了すると、第3ラインの主感光画素からの撮像信号の取り込みを開始する。このようにして、第nラインまで主感光画素からの撮像信号の取り込みを行う。
【0111】
第nラインまで主感光画素からの撮像信号の取り込みが終わると、第1ラインの従感光画素の撮像信号の取り込みを開始する。従感光画素からの撮像信号の取り込みは主感光画素からの撮像信号の取り込みと同様に、第1ライン、第2ライン、・・・、第mラインまで従感光画素からの撮像信号の取り込みを行う。第mラインの右端の画素326の従感光画素からの撮像信号の取り込みが終わると、当該画面の撮像信号の取り込み処理を終了する。
【0112】
なお、画素322と画素324の間の画素および画素324と画素326の間の画素の符号は省略してある。
【0113】
本実施形態ではCCD12から得られる撮像信号の取り込み処理を上述のように例示したが、CCD12から得られる撮像信号の取り込み処理はこれに限定されず、取り込んだ信号を処理する信号処理系の制御やCCD12の構造に合わせて任意に設定するとよい。特に図9における上下左右は、説明の便宜上任意に定めたものである。
【0114】
また図9には図5に示した垂直転送路83および水平転送路85が説明の便宜上示されていない。図5の水平転送路83は図9ではOB部304の右に配置され、図5の垂直転送路85は図9ではエリア部302およびOB部304の上側に配置されている。
【0115】
図10はOB部の画素PIXの断面図である。図10は図2に示した4−4線に沿う断面図である。なお、図10中図4と同一または類似する部分には同一の符号を付し、その説明は省略する。
【0116】
図9に示したOB部304において、各画素のn型領域73および図2の従感光画素62に相当するn型領域(図8では不図示、図3の74に相当)は上部を遮光膜78で覆われている。ただし、これ以外の構造は図3および図4に示したとおりであり、遮光膜78を覆うように層間絶縁膜79が形成され、層間絶縁膜の上にはカラーフィルタ層80が形成されている。さらにカラーフィルタ層80の上には各画素PIXに対応してマイクロレンズ81が形成されている。マイクロレンズ81は、各画素PIXの上に1つ形成されている。
【0117】
図9に示したOB部304では画素PIXが遮光膜で覆われており、フォトダイオードには入射光が入射されないが、OB部304の画素PIXからは微少な電圧をもったOB信号が出力される。
【0118】
一般に、フォトダイオードは光を遮断した状態でも時間の経過とともに電荷が蓄積され、この電荷を暗電流と呼ぶ。暗電流の要因はpn接合の空乏層内で熱的に励起される電子と正孔による発生再結合電流がほとんどである。
【0119】
前記OB信号は上述した暗電流が原因となって発生し、前記OB信号は画像に固定パターンノイズを発生させることがある。好ましい画像を得るためには、OB信号から求められる黒レベル補正値により撮像信号に補正を加えることが必要になる。
【0120】
次に、前述した信号処理による黒レベル補正について詳述する。
【0121】
図11はCCD12の入射光量とCCD12から出力される信号強度の関係を示したグラフである。
【0122】
符号400はCCD12の入射光量と出力信号強度の理想的な特性であり、入射光量がゼロのときには信号強度もゼロであり、入射光量が大きくなる(明るい光が入射する)に比例して信号強度が大きくなる。
【0123】
一方、符号402はCCD12の入射光量と出力信号強度の実際の特性であり、入射光量がゼロのときにも出力信号が発生している。入射光量がゼロのときの出力値がOB信号値である。
【0124】
前記OB信号値を実際に出力される信号の出力値(符号402)から減じると、入射光量と出力信号強度の理想的な特性(符号400)になり、このようにして黒レベル補正が可能になる。
【0125】
しかしながら、フォトダイオードから発生する暗電流は温度とともに変化し、温度が10℃上昇すると暗電流は約2倍に増加する。また、フォトダイオードの個体差による暗電流の違いを考慮する必要がある。したがって、図9に示したOB部304の複数の画素から得られるOB信号の平均値を求め、このOB信号の平均値から黒レベル補正値を求めることが考えられる。
【0126】
図9に示したとおり、CCD12の主感光画素からの撮像信号の取り込みは、第1ラインのエリア部、第1ラインのOB部、第2ラインのエリア部、第2ラインのOB部、・・・、第nラインのエリア部、第nラインのOB部の順に行われる。各ラインのエリア部からの撮像信号を取り込み、続いて各ラインのOB部からOB信号の取り込みを行い、ライン毎にOB信号の平均値を求め、この値を黒レベル補正値とする。ライン毎に求められた黒レベル補正値は図8に示した第2メモリ218に記憶される。
【0127】
図8に示したオフセット処理部202において各ラインのエリア部から得られた撮像信号から第2メモリ218に記憶されている各ラインの黒レベル補正値を減じて黒レベル補正を行うことが可能になる。
【0128】
本実施形態ではライン毎に黒レベル補正値を求め、同じラインの撮像信号に補正を施したが、1ライン前の黒レベル補正値を用いて黒レベル補正を施す形態やライン毎に求められた黒レベル補正値を順次積算して平均値を求める形態も可能である。さらに、撮影開始前にプリ露光を行い、プリ露光時に得られた撮像信号から黒レベル補正値を求めるてもよい。このときには、OB部全エリアから信号を取り出して、これらの平均値を求めることが可能である。
【0129】
また、図9に示したエリア部302の撮像信号を取り込んだ後に、OB部304の撮像信号を取り込むこととしたが、OB部304の撮像信号を取り込んだ後にエリア部302の撮像信号を取り込んでもよい。
【0130】
上述した黒レベル補正は主感光画素、従感光画素ともに適用可能である。しかしながら、主感光画素と従感光画素とには、図6および図7に示した関係があるので、この関係を用いて従感光画素の黒レベル補正値を求めることができる。
【0131】
次に、主感光画素から得られた補正値に演算を施して従感光画素の補正値を求める形態について説明する。
【0132】
図6に示すとおり、同じ画素における主感光画素と従感光画素の飽和比は1:1/4であり、これは主感光画素と従感光画素とのセル面積比と等しくなる。この特性を利用して主感光画素の黒レベル補正値にセル面積比(感度比)1/4を係数として乗じ、従感光画素の黒レベル補正値とする。
【0133】
また、黒レベル補正値以外の補正値についても主感光画素から求めた補正値にセル面積比を乗じて従感光画素の補正値を求めることが可能である。また、係数はセル面積比だけでなく感度比も利用することができる。ただし、求める補正値によって係数はセル面積比がよいか、或いは感度比がよいかを考慮する必要がある。
【0134】
図12はCCD12の撮像信号取り込み処理のタイミングチャートである。タイミングパルス410は図1に示したTG54からCCDドライバー46に与えられる読み出しタイミング信号の一部を抜粋したものである。
【0135】
図12において、出力電圧412は図1に示したCCD12の出力電圧波形を示し、符号414は図9に示した第1ラインの主感光画素から撮像信号の取り込みを行っている期間を示している。
【0136】
同様に、符号416は第nラインの主感光画素から撮像信号を取り込んでいる期間を示し、符号418は第1ラインの従感光画素から撮像信号を取り込んでいる期間を示し、符号420は第nラインの従感光画素から撮像信号を取り込んでいる期間を示している。
【0137】
図12では、第2ラインから第n−1ラインまでの撮像信号取り込み期間は省略されている。
【0138】
エリア部と記載された期間はエリア部の画素からの撮像信号を取り込む期間を示し、OB部と記載された期間はOB部の画素からの撮像信号を取り込む期間を示している。
【0139】
タイミングパルス410のリーディングエッジ(図12では立ち下がりエッジ)に同期してCCD12は入射光量に応じた電荷信号(電圧)を出力し、OB部の画素では出力電圧はエリア部の画素の出力信号に比べ極めて小さくなる。タイミングパルス410のリーディングエッジは立ち上がりエッジとしてもよい。
【0140】
主感光画素からの撮像信号を取り込むときには、第1ラインから第nラインまで、エリア部およびOB部とも撮像信号を取り込むが、従感光画素から撮像信号を取り込むときには第1ラインから第nラインまでエリア部からは撮像信号を取り込むが、従感光画素の黒レベル補正値は主感光画素の黒レベル補正値にセル面積比を乗じて求め、記憶してあるので、従感光画素から撮像信号を取り込むときにはOB部からは撮像信号を取り込まなくてよい。
【0141】
上記の如く構成されたデジタルカメラ10では、主感光画素の黒レベル補正値に主感光画素と従感光画素のセル面積比を係数として乗じて従感光画素の黒レベル補正値は求めるようにしたので、OB部の従感光画素から撮像信号を取り込まなくてよい。したがって、OB部の従感光画素から撮像信号を取り込む処理の分だけCPU16の処理負担を軽減することが可能である。
【0142】
次に、本実施形態の変形例を説明する。
【0143】
上述した実施形態では、遮光された画素から撮像信号得るために、図9に示すとおりOB部304を設け、OB部304から得られる撮像信号をもとに黒レベル補正値を算出した。
【0144】
OB部304から撮像信号を得る代わりに、エリア部302を完全遮光した状態の撮像信号を取得する。このように得られた撮像信号はOB部304から得られる撮像信号と同じであるので、エリア部302を完全遮光した状態の撮像信号から黒レベル補正値を求めることができる。
【0145】
まず、完全遮光した状態で主感光画素からの撮像信号を取り込み、1ライン毎に撮像信号の平均値を求めてこれを黒レベル補正値として、図8に示した第2メモリ218に記憶させておく。撮像信号の平均値は1ライン毎に求めるだけでなく、複数ライン分の平均値を求めてもよいし、1画面分の平均値を求めてもよい。
【0146】
このときに主感光画素の黒レベル補正値から従感光画素の黒レベル補正値を求めて主感光画素の黒レベル補正値と同様に、図8に示した第2メモリ218に記憶させておく。
【0147】
次に、露光した状態で主感光画素および従感光画素からの撮像信号を取り込み、図8に示したオフセット処理部202で主感光画素、従感光画素とも黒レベル補正を行うことができる。
【0148】
上記の如く構成されたデジタルカメラ10では、エリア部302を完全遮光した状態の撮像信号から黒レベル補正値を求めるようにしたので、従感光画素だけでなく主感光画素についてもOB部の撮像信号を取り込まなくてもよい。
【0149】
本実施形態ではデジタルカメラを例示したが、本発明の適用範囲はデジタルカメラに限定されない。カメラ付き携帯電話やPDAおよびノートパソコンなど撮像系とデジタル信号処理系を有する電子機器(撮像装置)に適用可能である。
【0150】
【発明の効果】
本発明によれば、従感光画素の黒レベル補正値を主感光画素の黒レベル補正値から算出するようにしたので、従感光画素の黒レベル補正値を決めるために、前記遮光画素部に属する従感光画素から撮像信号の取り込み制御を行わなくてよい。
【0151】
また、従感光画素の黒レベル補正値は主感光画素の黒レベル補正値に主感光画素のセル面積と従感光画素のセル面積との面積比を係数として乗じて算出することができる。
【0152】
さらに、遮光画素部において従感光画素から撮像信号の取り込み制御を行わないのであれば、当該期間は処理系を停止させてもよい。当該期間処理系を停止させれば本撮像装置全体の処理低減化や省電力化に寄与することができる。
【図面の簡単な説明】
【図1】本発明の実施形態に係るデジタルカメラのブロック図
【図2】図1に示すCCDの受光面の構造を示す平面図
【図3】図2の3−3線に沿う断面図
【図4】図2の4−4線に沿う断面図
【図5】図1に示すCCDの全体構成を示す平面模式図
【図6】主感光画素と従感光画素の特性を示す表
【図7】主感光画素と従感光画素の光電変換特性を示すグラフ
【図8】図1に示した信号処理部の詳細構成を示すブロック図
【図9】図1に示すCCDの受光領域の画素配置と領域配置を示す図
【図10】OB部のCCDの図2の4−4線に沿う断面図
【図11】図1に示すCCDの入射光量と出力信号強度の関係を示すグラフ
【図12】図1に示すCCDの信号読み出し処理を示したタイミングチャート
【符号の説明】
10…デジタルカメラ、12…CCD、16…CPU、52…デジタル信号処理部、61…主感光画素、62…従感光画素、202…オフセット処理部、302…エリア部、304…OB部
Claims (4)
- 相対的に広い面積を有する主感光画素と、相対的に狭い面積を有する従感光画素との複合からなる画素セルが所定の配列形態に従って多数配置され、前記主感光画素で光電変換された信号電荷に基づく信号と前記従感光画素で光電変換された信号電荷に基づく信号とを選択的に取り出すことができる構造を備えた固体撮像素子と、
前記固体撮像素子から撮像信号を取り出す制御を行う撮像信号取得制御手段と、
前記主感光画素から得られた信号に基づいて主感光画素の黒レベル補正値を決定する主黒レベル補正値決定手段と、
前記主黒レベル補正値決定手段により求められた主感光画素の黒レベル補正値から演算によって従感光画素の黒レベル補正値を求める従黒レベル補正値決定手段と、
前記主黒レベル補正値決定手段により求められた主感光画素の黒レベル補正値をもとに前記主感光画素から取り出された撮像信号の黒レベル補正を行い、且つ、前記従黒レベル補正値決定手段のより求められた従感光画素の黒レベル補正値をもとに前記従感光画素から取得された撮像信号の黒レベル補正を行う黒レベル補正手段と、を備えたことを特徴とする撮像装置。 - 前記固体撮像素子は、有効画素領域である感光画素部と、
前記有効画素領域以外の所定の位置に設けられ前記画素セルの受光面が遮光された遮光画素部とを備え、
前記主黒レベル補正値決定手段は、前記遮光画素部に属する主感光画素から取り出された信号に基づいて前記感光画素部に属する主感光画素の黒レベル補正値を算出することを特徴とする請求項1記載の撮像装置。 - 前記撮像信号取得制御手段は、前記遮光画素部における従感光画素から撮像信号を取り込む制御を行わないことを特徴とする請求項2記載の撮像装置。
- 前記従感光画素の黒レベル補正値は、前記主感光画素の黒レベル補正値に前記主感光画素のセル面積と前記従感光画素のセル面積との面積比を乗じて算出することを特徴とする請求項1乃至3の何れか1項に記載の撮像装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003009693A JP4051674B2 (ja) | 2003-01-17 | 2003-01-17 | 撮像装置 |
US10/757,531 US7245322B2 (en) | 2003-01-17 | 2004-01-15 | Imaging apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003009693A JP4051674B2 (ja) | 2003-01-17 | 2003-01-17 | 撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004222154A true JP2004222154A (ja) | 2004-08-05 |
JP4051674B2 JP4051674B2 (ja) | 2008-02-27 |
Family
ID=32732758
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003009693A Expired - Fee Related JP4051674B2 (ja) | 2003-01-17 | 2003-01-17 | 撮像装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US7245322B2 (ja) |
JP (1) | JP4051674B2 (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007194911A (ja) * | 2006-01-19 | 2007-08-02 | Fujifilm Corp | 撮像素子および撮像システム |
JP2011091492A (ja) * | 2009-10-20 | 2011-05-06 | Canon Inc | 撮像装置 |
JP4689620B2 (ja) * | 2004-11-02 | 2011-05-25 | パナソニック株式会社 | イメージセンサ |
JP2016213594A (ja) * | 2015-05-01 | 2016-12-15 | 株式会社シグマ | 撮像装置 |
JP2017098931A (ja) * | 2015-11-12 | 2017-06-01 | キヤノン株式会社 | 撮像装置及び撮像方法 |
US10136086B2 (en) | 2015-11-12 | 2018-11-20 | Canon Kabushiki Kaisha | Image pickup apparatus and image pickup method |
US10498925B2 (en) | 2016-06-15 | 2019-12-03 | Sony Corporation | Image processing to control synthesizing results of shading correction when generating wider dynamic range image |
KR20190133663A (ko) | 2017-03-28 | 2019-12-03 | 소니 세미컨덕터 솔루션즈 가부시키가이샤 | 화상 처리 장치, 화상 처리 방법, 및 전자 기기 |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100493900B1 (ko) * | 2003-08-21 | 2005-06-10 | 삼성전자주식회사 | 사용자간 콘텐츠에 대한 권한정보의 공유방법 |
US20050243193A1 (en) * | 2004-04-30 | 2005-11-03 | Bob Gove | Suppression of row-wise noise in an imager |
US20060170816A1 (en) * | 2005-01-28 | 2006-08-03 | Silverstein D A | Method and system for automatically adjusting exposure parameters of an imaging device |
US7701493B2 (en) * | 2005-02-28 | 2010-04-20 | Micron Technology, Inc. | Imager row-wise noise correction |
JP4759444B2 (ja) * | 2006-06-05 | 2011-08-31 | 富士フイルム株式会社 | Ccd型固体撮像素子の駆動方法、固体撮像装置 |
US20080054320A1 (en) * | 2006-08-31 | 2008-03-06 | Micron Technology, Inc. | Method, apparatus and system providing suppression of noise in a digital imager |
US20080198235A1 (en) * | 2007-02-16 | 2008-08-21 | Shou-Lung Chen | High dynamic range image recorder |
JP5262823B2 (ja) | 2009-02-23 | 2013-08-14 | ソニー株式会社 | 固体撮像装置および電子機器 |
JP5040960B2 (ja) * | 2009-06-04 | 2012-10-03 | 株式会社ニコン | 電子カメラ |
US20110074997A1 (en) * | 2009-09-30 | 2011-03-31 | Border John N | Methods for capturing and reading out images from an image sensor |
US8194164B2 (en) * | 2009-09-30 | 2012-06-05 | Truesense Imaging, Inc. | Methods for capturing and reading out images from an image sensor |
US8194166B2 (en) | 2009-09-30 | 2012-06-05 | Truesense Imaging, Inc. | Methods for capturing and reading out images from an image sensor |
US8314873B2 (en) * | 2009-09-30 | 2012-11-20 | Truesense Imaging, Inc. | Methods for capturing and reading out images from an image sensor |
US8279316B2 (en) * | 2009-09-30 | 2012-10-02 | Truesense Imaging, Inc. | Methods for capturing and reading out images from an image sensor |
US8149303B2 (en) * | 2009-09-30 | 2012-04-03 | Truesense Imaging, Inc. | Methods for capturing and reading out images from an image sensor |
US8279317B2 (en) * | 2009-09-30 | 2012-10-02 | Truesense Imaging, Inc. | Methods for capturing and reading out images from an image sensor |
US8294803B2 (en) * | 2009-09-30 | 2012-10-23 | Truesense Imaging, Inc. | Methods for capturing and reading out images from an image sensor |
US8194165B2 (en) * | 2009-09-30 | 2012-06-05 | Truesense Imaging, Inc. | Methods for capturing and reading out images from an image sensor |
KR20110043833A (ko) * | 2009-10-22 | 2011-04-28 | 삼성전자주식회사 | 퍼지룰을 이용한 디지털 카메라의 다이나믹 레인지 확장모드 결정 방법 및 장치 |
JP2013055499A (ja) * | 2011-09-02 | 2013-03-21 | Sony Corp | 固体撮像素子およびカメラシステム |
JP2013055500A (ja) * | 2011-09-02 | 2013-03-21 | Sony Corp | 固体撮像素子およびカメラシステム |
US10136079B2 (en) | 2013-10-31 | 2018-11-20 | Ricoh Imaging Company, Ltd. | Method and apparatus for imaging an object |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5801773A (en) * | 1993-10-29 | 1998-09-01 | Canon Kabushiki Kaisha | Image data processing apparatus for processing combined image signals in order to extend dynamic range |
EP0729270B1 (en) * | 1995-02-24 | 2002-12-18 | Eastman Kodak Company | Black pattern correction for a charge transfer sensor |
JPH09205589A (ja) | 1996-01-26 | 1997-08-05 | Sony Corp | 固体撮像装置 |
US7064785B2 (en) * | 2002-02-07 | 2006-06-20 | Eastman Kodak Company | Apparatus and method of correcting for dark current in a solid state image sensor |
US7102672B1 (en) * | 2002-02-08 | 2006-09-05 | Electro Optical Sciences Inc | Integrated CMOS imaging array dark current monitor |
US7443431B2 (en) * | 2002-09-13 | 2008-10-28 | Eastman Kodak Company | Fixed pattern noise removal in CMOS imagers across various operational conditions |
US7489352B2 (en) * | 2002-11-15 | 2009-02-10 | Micron Technology, Inc. | Wide dynamic range pinned photodiode active pixel sensor (APS) |
JP4025207B2 (ja) * | 2003-01-17 | 2007-12-19 | 富士フイルム株式会社 | 固体撮像素子及びデジタルカメラ |
-
2003
- 2003-01-17 JP JP2003009693A patent/JP4051674B2/ja not_active Expired - Fee Related
-
2004
- 2004-01-15 US US10/757,531 patent/US7245322B2/en not_active Expired - Fee Related
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4689620B2 (ja) * | 2004-11-02 | 2011-05-25 | パナソニック株式会社 | イメージセンサ |
US7956925B2 (en) | 2004-11-02 | 2011-06-07 | Panasonic Corporation | Method for reading out signal charges from an image sensor having different exposure times |
JP2007194911A (ja) * | 2006-01-19 | 2007-08-02 | Fujifilm Corp | 撮像素子および撮像システム |
JP4607773B2 (ja) * | 2006-01-19 | 2011-01-05 | 富士フイルム株式会社 | 撮像素子および撮像システム |
JP2011091492A (ja) * | 2009-10-20 | 2011-05-06 | Canon Inc | 撮像装置 |
JP2016213594A (ja) * | 2015-05-01 | 2016-12-15 | 株式会社シグマ | 撮像装置 |
JP2017098931A (ja) * | 2015-11-12 | 2017-06-01 | キヤノン株式会社 | 撮像装置及び撮像方法 |
US10136086B2 (en) | 2015-11-12 | 2018-11-20 | Canon Kabushiki Kaisha | Image pickup apparatus and image pickup method |
US10498925B2 (en) | 2016-06-15 | 2019-12-03 | Sony Corporation | Image processing to control synthesizing results of shading correction when generating wider dynamic range image |
KR20190133663A (ko) | 2017-03-28 | 2019-12-03 | 소니 세미컨덕터 솔루션즈 가부시키가이샤 | 화상 처리 장치, 화상 처리 방법, 및 전자 기기 |
US10951841B2 (en) | 2017-03-28 | 2021-03-16 | Sony Semiconductor Solutions Corporation | Image processing apparatus, image processing method, and electronic apparatus |
US11553143B2 (en) | 2017-03-28 | 2023-01-10 | Sony Semiconductor Solutions Corporation | Image processing apparatus, image processing method, and electronic apparatus |
US11750932B2 (en) | 2017-03-28 | 2023-09-05 | Sony Semiconductor Solutions Corporation | Image processing apparatus, image processing method, and electronic apparatus |
Also Published As
Publication number | Publication date |
---|---|
JP4051674B2 (ja) | 2008-02-27 |
US7245322B2 (en) | 2007-07-17 |
US20040145665A1 (en) | 2004-07-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4051674B2 (ja) | 撮像装置 | |
KR100609737B1 (ko) | 고체촬상센서의 결함 화소의 보정방법 및 촬상장치, 및화소 정보의 작성방법 | |
US20090051781A1 (en) | Image processing apparatus, method, and program | |
JP4738907B2 (ja) | 固体撮像素子および固体撮像装置 | |
TW201545556A (zh) | 在產生數位影像中曝光像素群組 | |
KR20090023186A (ko) | 촬상 장치 및 고체 촬상 소자의 구동 방법 | |
JP4544319B2 (ja) | 画像処理装置、方法及びプログラム | |
JP2004048445A (ja) | 画像合成方法及び装置 | |
JP4306306B2 (ja) | ホワイトバランス制御方法及び撮像装置 | |
JP4051701B2 (ja) | 固体撮像素子の欠陥画素補正方法及び撮影装置 | |
JP2004320119A (ja) | 画像記録装置 | |
JP4544318B2 (ja) | 画像処理装置、方法及びプログラム | |
JP4239218B2 (ja) | ホワイトバランス調整方法及び電子カメラ | |
JP2004222134A (ja) | 撮像装置 | |
JP4178548B2 (ja) | 撮像装置 | |
WO2021241014A1 (ja) | 撮像装置、撮像方法 | |
JP4200485B2 (ja) | 撮像装置 | |
JP2009049524A (ja) | 撮像装置及び信号処理方法 | |
JP2007228152A (ja) | 固体撮像装置および撮像方法 | |
JP2005006047A (ja) | 電子カメラの露出制御装置 | |
JP2004336264A (ja) | 画像記録装置 | |
US7456869B2 (en) | Imaging device and imaging device adjusting method | |
JP4692887B2 (ja) | 撮像装置および撮像方法 | |
JP2006148591A (ja) | 固体撮像装置および固体撮像素子駆動方法 | |
JP2005003933A (ja) | 電子カメラの自動焦点調節装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050329 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061211 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071106 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071109 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071122 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101214 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101214 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111214 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111214 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121214 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121214 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131214 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |