JP2003230158A - 画像処理装置および方法、プログラム、並びに記録媒体 - Google Patents
画像処理装置および方法、プログラム、並びに記録媒体Info
- Publication number
- JP2003230158A JP2003230158A JP2002025318A JP2002025318A JP2003230158A JP 2003230158 A JP2003230158 A JP 2003230158A JP 2002025318 A JP2002025318 A JP 2002025318A JP 2002025318 A JP2002025318 A JP 2002025318A JP 2003230158 A JP2003230158 A JP 2003230158A
- Authority
- JP
- Japan
- Prior art keywords
- color
- sensitivity
- image
- pixel
- sensitivity mosaic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims description 76
- 238000000034 method Methods 0.000 title claims description 63
- 230000035945 sensitivity Effects 0.000 claims abstract description 470
- 230000002194 synthesizing effect Effects 0.000 claims description 36
- 238000012937 correction Methods 0.000 claims description 23
- 230000008569 process Effects 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000003672 processing method Methods 0.000 claims description 6
- 230000001419 dependent effect Effects 0.000 claims 1
- 230000008929 regeneration Effects 0.000 abstract 1
- 238000011069 regeneration method Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 39
- 230000000875 corresponding effect Effects 0.000 description 25
- 238000007796 conventional method Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 14
- 230000003287 optical effect Effects 0.000 description 14
- 238000012546 transfer Methods 0.000 description 12
- 239000003086 colorant Substances 0.000 description 10
- 239000002131 composite material Substances 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 5
- 239000000203 mixture Substances 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000002596 correlated effect Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 238000002834 transmittance Methods 0.000 description 4
- 230000004888 barrier function Effects 0.000 description 3
- 238000010408 sweeping Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 229910021420 polycrystalline silicon Inorganic materials 0.000 description 2
- 229920005591 polysilicon Polymers 0.000 description 2
- 101000795655 Canis lupus familiaris Thymic stromal cotransporter homolog Proteins 0.000 description 1
- 102100033040 Carbonic anhydrase 12 Human genes 0.000 description 1
- 101000867855 Homo sapiens Carbonic anhydrase 12 Proteins 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Landscapes
- Color Image Communication Systems (AREA)
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
(57)【要約】
【課題】 色・感度モザイク画像を元にして、各画素の
感度特性が均一化されており、かつ、各画素が色バラン
スの調整された全ての色成分を有し、かつ、ノイズが抑
制された復元画像を生成する。 【解決手段】 ステップＳ１において、色バランス補正
部は、供給された色・モザイク画像の色バランスを補正
する。ステップＳ２において、感度別色画像生成部は、
色バランス補正部から供給された色バランス補正済みの
色・感度モザイク画像に基づいて感度別色画像を生成す
る。ステップＳ３において、画像合成部は、感度別色画
像生成部によって生成された、感度特性が異なり、同一
の色成分を有する２枚の感度別色画像の対応する画素対
を合成して広ダイナミックレンジの色画像を生成する。
感度特性が均一化されており、かつ、各画素が色バラン
スの調整された全ての色成分を有し、かつ、ノイズが抑
制された復元画像を生成する。 【解決手段】 ステップＳ１において、色バランス補正
部は、供給された色・モザイク画像の色バランスを補正
する。ステップＳ２において、感度別色画像生成部は、
色バランス補正部から供給された色バランス補正済みの
色・感度モザイク画像に基づいて感度別色画像を生成す
る。ステップＳ３において、画像合成部は、感度別色画
像生成部によって生成された、感度特性が異なり、同一
の色成分を有する２枚の感度別色画像の対応する画素対
を合成して広ダイナミックレンジの色画像を生成する。
Description
【０００１】
【発明の属する技術分野】本発明は、画像処理装置およ
び方法、プログラム、並びに記録媒体に関し、例えば、
単板式CCDイメージセンサ等を用いて取得した画像信号
から、広ダイナミックレンジのカラー画像信号を生成す
る場合に用いて好適な画像処理装置および方法、プログ
ラム、並びに記録媒体に関する。
び方法、プログラム、並びに記録媒体に関し、例えば、
単板式CCDイメージセンサ等を用いて取得した画像信号
から、広ダイナミックレンジのカラー画像信号を生成す
る場合に用いて好適な画像処理装置および方法、プログ
ラム、並びに記録媒体に関する。
【０００２】
【従来の技術】CCD(Charge Coupled Device)やCMOS(Com
plementary Mental-Oxide Semiconductor)等のような固
体撮像素子が、ビデオカメラやディジタルスチルカメラ
等の撮像装置、ＦＡ(Factory Automation)の分野におけ
る部品検査装置、およびＭＥ(Medical Electronics)の
分野における電子内視鏡等の光計測装置に幅広く利用さ
れている。
plementary Mental-Oxide Semiconductor)等のような固
体撮像素子が、ビデオカメラやディジタルスチルカメラ
等の撮像装置、ＦＡ(Factory Automation)の分野におけ
る部品検査装置、およびＭＥ(Medical Electronics)の
分野における電子内視鏡等の光計測装置に幅広く利用さ
れている。
【０００３】従来、固体撮像素子を用いた撮像装置およ
び光計測機器のダイナミックレンジを向上させるため
に、画素毎に異なる感度で計測した光強度信号を合成す
る方法が知られている。以下、そのような第１乃至第４
の従来方法について説明する。
び光計測機器のダイナミックレンジを向上させるため
に、画素毎に異なる感度で計測した光強度信号を合成す
る方法が知られている。以下、そのような第１乃至第４
の従来方法について説明する。
【０００４】第１の従来方法としては、光学的に複数の
透過率の異なる光軸に分岐させた入射光をそれぞれの光
軸上に配置させた固体撮像素子で計測する方法を挙げる
ことができる。この方法は、特開平８−２２３４９１号
公報等に開示されている。しかしながら、第１の方法で
は、複数の固体撮像素子および光を分岐させる複雑な光
学系が必要となるので、省コスト化や省スペース化の面
で不利である問題があった。
透過率の異なる光軸に分岐させた入射光をそれぞれの光
軸上に配置させた固体撮像素子で計測する方法を挙げる
ことができる。この方法は、特開平８−２２３４９１号
公報等に開示されている。しかしながら、第１の方法で
は、複数の固体撮像素子および光を分岐させる複雑な光
学系が必要となるので、省コスト化や省スペース化の面
で不利である問題があった。
【０００５】第２の従来方法としては、１つの固体撮像
素子を用い、その露光時間を複数に分割して複数枚の画
像を撮像した後、それらを合成する方法を挙げることが
できる。この方法は、特開平８−３３１４６１号公報等
に開示されている。しかしながら、第２の方法では、異
なる感度で計測された情報は異なる時刻に撮像されたも
のであり、かつ、異なる時間幅で撮像されているので、
光強度が時々刻々と変化するような動的なシーンを正し
く撮像できないという問題があった。
素子を用い、その露光時間を複数に分割して複数枚の画
像を撮像した後、それらを合成する方法を挙げることが
できる。この方法は、特開平８−３３１４６１号公報等
に開示されている。しかしながら、第２の方法では、異
なる感度で計測された情報は異なる時刻に撮像されたも
のであり、かつ、異なる時間幅で撮像されているので、
光強度が時々刻々と変化するような動的なシーンを正し
く撮像できないという問題があった。
【０００６】第３の従来方法としては、１つの固体撮像
素子を用い、固体撮像素子の撮像面で互いに隣接する複
数の受光素子を１組として、受光素子の１組を出力画像
の１画素に対応させるようにし、１組を構成する複数の
受光素子の感度をそれぞれ異なるように設定して撮像す
る方法を挙げることができる。この方法は、米国特許第
５７８９７３７号公報等に開示されている。固体撮像素
子を構成する受光素子のそれぞれの感度を変化させる方
法としては、各受光素子を透過率の異なるフィルタで覆
う方法がある。また、特開２０００−６９４９１号公報
には、第３の従来方法をカラー画像に適応する技術が開
示されている。
素子を用い、固体撮像素子の撮像面で互いに隣接する複
数の受光素子を１組として、受光素子の１組を出力画像
の１画素に対応させるようにし、１組を構成する複数の
受光素子の感度をそれぞれ異なるように設定して撮像す
る方法を挙げることができる。この方法は、米国特許第
５７８９７３７号公報等に開示されている。固体撮像素
子を構成する受光素子のそれぞれの感度を変化させる方
法としては、各受光素子を透過率の異なるフィルタで覆
う方法がある。また、特開２０００−６９４９１号公報
には、第３の従来方法をカラー画像に適応する技術が開
示されている。
【０００７】第３の従来方法によれば、第１の従来方法
において問題であった省コスト化や省スペース化の面で
有利となる。また、第２の従来方法において問題であっ
た動的シーンを正しく撮像できないことを解決すること
ができる。しかしながら、第３の従来方法では、隣接す
る複数の受光素子を１組として出力画像の１画素に対応
させるので、出力画素の解像度を確保するためには、出
力画像の画素数の数倍の受光素子から成る撮像素子が必
要であり、ユニットセルサイズが大きくなる課題があっ
た。
において問題であった省コスト化や省スペース化の面で
有利となる。また、第２の従来方法において問題であっ
た動的シーンを正しく撮像できないことを解決すること
ができる。しかしながら、第３の従来方法では、隣接す
る複数の受光素子を１組として出力画像の１画素に対応
させるので、出力画素の解像度を確保するためには、出
力画像の画素数の数倍の受光素子から成る撮像素子が必
要であり、ユニットセルサイズが大きくなる課題があっ
た。
【０００８】第４の従来方法としては、通常のダイナミ
ックレンジを有する撮像素子に、出力画像の１画素に対
応する１つの受光素子毎、その露出が異なるような仕組
みを施して撮像し、得られた画像信号に所定の画像処理
を施して広ダイナミックレンジの画像信号を生成する方
法を挙げることができる。受光素子毎の露出が異なるよ
うな仕組みは、受光素子毎に光の透過率や開口率を変え
たりすることによって、空間的な感度のパターンをつく
ることにより実現する。この方法は、文献「S.K.Nayar
and T.Mitsunaga,"High Dynamic Range Imaging:Spatia
lly Varying Pixel Exposures",Proc. of Computer Vis
ion and Pattern Recognition 2000,Vol.1,pp.472-479,
June,2000」に開示されている。
ックレンジを有する撮像素子に、出力画像の１画素に対
応する１つの受光素子毎、その露出が異なるような仕組
みを施して撮像し、得られた画像信号に所定の画像処理
を施して広ダイナミックレンジの画像信号を生成する方
法を挙げることができる。受光素子毎の露出が異なるよ
うな仕組みは、受光素子毎に光の透過率や開口率を変え
たりすることによって、空間的な感度のパターンをつく
ることにより実現する。この方法は、文献「S.K.Nayar
and T.Mitsunaga,"High Dynamic Range Imaging:Spatia
lly Varying Pixel Exposures",Proc. of Computer Vis
ion and Pattern Recognition 2000,Vol.1,pp.472-479,
June,2000」に開示されている。
【０００９】第４の従来方法では、各受光素子は１種類
の感度だけを有する。よって、撮像された画像の各画素
は本来の撮像素子が有するダイナミックレンジの情報だ
けしか取得することができないが、得られた画像信号に
所定の画像処理を施し、全ての画素の感度が均一になる
ようにすることによって、結果的にダイナミックレンジ
が広い画像を生成することができる。また、全ての受光
素子が同時に露光するので、動きのある被写体を正しく
撮像することができる。さらに、１つの受光素子が出力
画像の１画素に対応しているので、ユニットセルサイズ
が大きくなる問題も生じない。
の感度だけを有する。よって、撮像された画像の各画素
は本来の撮像素子が有するダイナミックレンジの情報だ
けしか取得することができないが、得られた画像信号に
所定の画像処理を施し、全ての画素の感度が均一になる
ようにすることによって、結果的にダイナミックレンジ
が広い画像を生成することができる。また、全ての受光
素子が同時に露光するので、動きのある被写体を正しく
撮像することができる。さらに、１つの受光素子が出力
画像の１画素に対応しているので、ユニットセルサイズ
が大きくなる問題も生じない。
【００１０】
【発明が解決しようとする課題】上述したように、第４
の従来方法は、第１乃至第３の従来方法の問題を解決す
ることが可能である。しかしながら、第４の従来方法
は、ダイナミックレンジが広いモノクロ画像を生成する
ことを前提としたものであり、ダイナミックレンジが広
いカラー画像を生成することについては、その技術が確
立されていない課題があった。具体的には、画素毎に色
や感度が異なる画像を元に、全ての画素が全ての色成分
を有し、かつ、感度を均一化する技術は確立されていな
い課題があった。
の従来方法は、第１乃至第３の従来方法の問題を解決す
ることが可能である。しかしながら、第４の従来方法
は、ダイナミックレンジが広いモノクロ画像を生成する
ことを前提としたものであり、ダイナミックレンジが広
いカラー画像を生成することについては、その技術が確
立されていない課題があった。具体的には、画素毎に色
や感度が異なる画像を元に、全ての画素が全ての色成分
を有し、かつ、感度を均一化する技術は確立されていな
い課題があった。
【００１１】したがって、第４の従来技術をカラー画像
に適用する場合における色バランスの補正方法について
も確立されていない課題があった。
に適用する場合における色バランスの補正方法について
も確立されていない課題があった。
【００１２】また、第４の従来技術の応用として、撮像
する画像の各画素の対応する撮像素子の感度の違いを、
撮像素子の読み出しタイミングを変えることで実現する
場合において、動きのある被写体を撮像した場合、低感
度の画素と高感度の画素とに露出時間が異なることに起
因する情報差が発生してしまい、それを局所的に処理す
ると動きのある被写体のブレ部分にノイズが残ってしま
う課題があった。
する画像の各画素の対応する撮像素子の感度の違いを、
撮像素子の読み出しタイミングを変えることで実現する
場合において、動きのある被写体を撮像した場合、低感
度の画素と高感度の画素とに露出時間が異なることに起
因する情報差が発生してしまい、それを局所的に処理す
ると動きのある被写体のブレ部分にノイズが残ってしま
う課題があった。
【００１３】本発明はこのような状況に鑑みてなされた
ものであり、画素毎に色や感度が異なる色・感度モザイ
ク画像を元にして、各画素の感度特性が均一化されてお
り、かつ、各画素が色バランスの調整された全ての色成
分を有し、かつ、ノイズが抑制された復元画像を生成で
きるようにすることを目的とする。
ものであり、画素毎に色や感度が異なる色・感度モザイ
ク画像を元にして、各画素の感度特性が均一化されてお
り、かつ、各画素が色バランスの調整された全ての色成
分を有し、かつ、ノイズが抑制された復元画像を生成で
きるようにすることを目的とする。
【００１４】
【課題を解決するための手段】本発明の第１の画像処理
装置は、色・感度モザイク画像の色成分と感度特性の配
列を示す色・感度モザイクパターン情報に基づき、色・
感度モザイク画像を元にして、各画素の感度特性が均一
であって、かつ、各画素の単一の色成分を有する感度別
色画像を生成する感度別色画像生成手段と、感度別色画
像生成手段によって生成された、同一の色成分を有し、
感度特性が異なる複数の感度別色画像を合成して広ダイ
ナミックレンジの色画像を生成する合成手段とを含むこ
とを特徴とする。
装置は、色・感度モザイク画像の色成分と感度特性の配
列を示す色・感度モザイクパターン情報に基づき、色・
感度モザイク画像を元にして、各画素の感度特性が均一
であって、かつ、各画素の単一の色成分を有する感度別
色画像を生成する感度別色画像生成手段と、感度別色画
像生成手段によって生成された、同一の色成分を有し、
感度特性が異なる複数の感度別色画像を合成して広ダイ
ナミックレンジの色画像を生成する合成手段とを含むこ
とを特徴とする。
【００１５】前記感度別色画像生成手段は、色・感度モ
ザイク画像を構成する全ての画素のうち、同一の感度特
性を有し、かつ、同一の色成分を有する画素を用いた補
間処理によって感度別色画像を生成するようにすること
ができる。
ザイク画像を構成する全ての画素のうち、同一の感度特
性を有し、かつ、同一の色成分を有する画素を用いた補
間処理によって感度別色画像を生成するようにすること
ができる。
【００１６】前記合成手段は、複数の感度別色画像の対
応する画素同士を加算して加算画像を生成する加算手段
と、加算画像を構成する画素の感度特性を補償する感度
特性補償手段とを含むようにすることができる。
応する画素同士を加算して加算画像を生成する加算手段
と、加算画像を構成する画素の感度特性を補償する感度
特性補償手段とを含むようにすることができる。
【００１７】本発明の第１の画像処理方法は、色・感度
モザイク画像の色成分と感度特性の配列を示す色・感度
モザイクパターン情報に基づき、色・感度モザイク画像
を元にして、各画素の感度特性が均一であって、かつ、
各画素の単一の色成分を有する感度別色画像を生成する
感度別色画像生成ステップと、感度別色画像生成ステッ
プの処理で生成された、同一の色成分を有し、感度特性
が異なる複数の感度別色画像を合成して広ダイナミック
レンジの色画像を生成する合成ステップとを含むことを
特徴とする。
モザイク画像の色成分と感度特性の配列を示す色・感度
モザイクパターン情報に基づき、色・感度モザイク画像
を元にして、各画素の感度特性が均一であって、かつ、
各画素の単一の色成分を有する感度別色画像を生成する
感度別色画像生成ステップと、感度別色画像生成ステッ
プの処理で生成された、同一の色成分を有し、感度特性
が異なる複数の感度別色画像を合成して広ダイナミック
レンジの色画像を生成する合成ステップとを含むことを
特徴とする。
【００１８】本発明の第１の記録媒体のプログラムは、
色・感度モザイク画像の色成分と感度特性の配列を示す
色・感度モザイクパターン情報に基づき、色・感度モザ
イク画像を元にして、各画素の感度特性が均一であっ
て、かつ、各画素の単一の色成分を有する感度別色画像
を生成する感度別色画像生成ステップと、感度別色画像
生成ステップの処理で生成された、同一の色成分を有
し、感度特性が異なる複数の感度別色画像を合成して広
ダイナミックレンジの色画像を生成する合成ステップと
を含むことを特徴とする。
色・感度モザイク画像の色成分と感度特性の配列を示す
色・感度モザイクパターン情報に基づき、色・感度モザ
イク画像を元にして、各画素の感度特性が均一であっ
て、かつ、各画素の単一の色成分を有する感度別色画像
を生成する感度別色画像生成ステップと、感度別色画像
生成ステップの処理で生成された、同一の色成分を有
し、感度特性が異なる複数の感度別色画像を合成して広
ダイナミックレンジの色画像を生成する合成ステップと
を含むことを特徴とする。
【００１９】本発明の第１のプログラムは、色・感度モ
ザイク画像の色成分と感度特性の配列を示す色・感度モ
ザイクパターン情報に基づき、色・感度モザイク画像を
元にして、各画素の感度特性が均一であって、かつ、各
画素の単一の色成分を有する感度別色画像を生成する感
度別色画像生成ステップと、感度別色画像生成ステップ
の処理で生成された、同一の色成分を有し、感度特性が
異なる複数の感度別色画像を合成して広ダイナミックレ
ンジの色画像を生成する合成ステップとをコンピュータ
に実行させることを特徴とする。
ザイク画像の色成分と感度特性の配列を示す色・感度モ
ザイクパターン情報に基づき、色・感度モザイク画像を
元にして、各画素の感度特性が均一であって、かつ、各
画素の単一の色成分を有する感度別色画像を生成する感
度別色画像生成ステップと、感度別色画像生成ステップ
の処理で生成された、同一の色成分を有し、感度特性が
異なる複数の感度別色画像を合成して広ダイナミックレ
ンジの色画像を生成する合成ステップとをコンピュータ
に実行させることを特徴とする。
【００２０】本発明の第２の画像処理装置は、色・感度
モザイク画像に対応する色バランス情報を算出する色バ
ランス情報算出手段と、色バランス情報に基づき、色・
感度モザイク画像の色バランスを補正する補正手段とを
含むことを特徴とする。
モザイク画像に対応する色バランス情報を算出する色バ
ランス情報算出手段と、色バランス情報に基づき、色・
感度モザイク画像の色バランスを補正する補正手段とを
含むことを特徴とする。
【００２１】前記色バランス情報算出手段は、色・感度
モザイク画像を構成する画素の感度特性に拘わらず色成
分に注目して、色・感度モザイク画像に対応する色バラ
ンス情報を算出するようにすることができる。
モザイク画像を構成する画素の感度特性に拘わらず色成
分に注目して、色・感度モザイク画像に対応する色バラ
ンス情報を算出するようにすることができる。
【００２２】前記色バランス情報算出手段は、色・感度
モザイク画像を構成する画素の感度特性毎に色成分に注
目して感度別色バランス情報を算出し、算出した複数の
感度別色バランス情報を合成して、色・感度モザイク画
像に対応する色バランス情報を算出するようにすること
ができる。
モザイク画像を構成する画素の感度特性毎に色成分に注
目して感度別色バランス情報を算出し、算出した複数の
感度別色バランス情報を合成して、色・感度モザイク画
像に対応する色バランス情報を算出するようにすること
ができる。
【００２３】本発明の第２の画像処理装置は、色・感度
モザイク画像の色成分と感度特性の配列を示す色・感度
モザイクパターン情報に基づき、補正手段によって色バ
ランスが補正された色・感度モザイク画像を元にして、
各画素の感度特性が均一であって、かつ、各画素の単一
の色成分を有する感度別色画像を生成する感度別色画像
生成手段と、感度別色画像生成手段によって生成され
た、同一の色成分を有し、感度特性が異なる複数の感度
別色画像を合成して広ダイナミックレンジの色画像を生
成する合成手段とをさらに含むことができる。
モザイク画像の色成分と感度特性の配列を示す色・感度
モザイクパターン情報に基づき、補正手段によって色バ
ランスが補正された色・感度モザイク画像を元にして、
各画素の感度特性が均一であって、かつ、各画素の単一
の色成分を有する感度別色画像を生成する感度別色画像
生成手段と、感度別色画像生成手段によって生成され
た、同一の色成分を有し、感度特性が異なる複数の感度
別色画像を合成して広ダイナミックレンジの色画像を生
成する合成手段とをさらに含むことができる。
【００２４】前記感度別色画像生成手段は、補正手段に
よって色バランスが補正された色・感度モザイク画像を
構成する全ての画素のうち、同一の感度特性を有し、か
つ、同一の色成分を有する画素を用いた補間処理によっ
て感度別色画像を生成するようにすることができる。
よって色バランスが補正された色・感度モザイク画像を
構成する全ての画素のうち、同一の感度特性を有し、か
つ、同一の色成分を有する画素を用いた補間処理によっ
て感度別色画像を生成するようにすることができる。
【００２５】前記合成手段は、複数の感度別色画像の対
応する画素同士を加算して加算画像を生成する加算手段
と、加算画像を構成する画素の感度特性を補償する感度
特性補償手段とを含むようにすることができる。
応する画素同士を加算して加算画像を生成する加算手段
と、加算画像を構成する画素の感度特性を補償する感度
特性補償手段とを含むようにすることができる。
【００２６】本発明の第２の画像処理方法は、色・感度
モザイク画像に対応する色バランス情報を算出する色バ
ランス情報算出ステップと、色バランス情報に基づき、
色・感度モザイク画像の色バランスを補正する補正ステ
ップとを含むことを特徴とする。
モザイク画像に対応する色バランス情報を算出する色バ
ランス情報算出ステップと、色バランス情報に基づき、
色・感度モザイク画像の色バランスを補正する補正ステ
ップとを含むことを特徴とする。
【００２７】本発明の第２の記録媒体のプログラムは、
色・感度モザイク画像に対応する色バランス情報を算出
する色バランス情報算出ステップと、色バランス情報に
基づき、色・感度モザイク画像の色バランスを補正する
補正ステップとを含むことを特徴とする。
色・感度モザイク画像に対応する色バランス情報を算出
する色バランス情報算出ステップと、色バランス情報に
基づき、色・感度モザイク画像の色バランスを補正する
補正ステップとを含むことを特徴とする。
【００２８】本発明の第２のプログラムは、色・感度モ
ザイク画像に対応する色バランス情報を算出する色バラ
ンス情報算出ステップと、色バランス情報に基づき、色
・感度モザイク画像の色バランスを補正する補正ステッ
プとをコンピュータに実行させることを特徴とする。
ザイク画像に対応する色バランス情報を算出する色バラ
ンス情報算出ステップと、色バランス情報に基づき、色
・感度モザイク画像の色バランスを補正する補正ステッ
プとをコンピュータに実行させることを特徴とする。
【００２９】本発明の第１の画像処理装置および方法、
並びにプログラムにおいては、色・感度モザイク画像の
色成分と感度特性の配列を示す色・感度モザイクパター
ン情報に基づき、色・感度モザイク画像を元にして、各
画素の感度特性が均一であって、かつ、各画素の単一の
色成分を有する感度別色画像が生成され、生成された同
一の色成分を有し、感度特性が異なる複数の感度別色画
像を合成して広ダイナミックレンジの色画像が生成され
る。
並びにプログラムにおいては、色・感度モザイク画像の
色成分と感度特性の配列を示す色・感度モザイクパター
ン情報に基づき、色・感度モザイク画像を元にして、各
画素の感度特性が均一であって、かつ、各画素の単一の
色成分を有する感度別色画像が生成され、生成された同
一の色成分を有し、感度特性が異なる複数の感度別色画
像を合成して広ダイナミックレンジの色画像が生成され
る。
【００３０】本発明の第２の画像処理装置および方法、
並びにプログラムにおいては、色・感度モザイク画像に
対応する色バランス情報が算出され、算出された色バラ
ンス情報に基づき、色・感度モザイク画像の色バランス
が補正される。
並びにプログラムにおいては、色・感度モザイク画像に
対応する色バランス情報が算出され、算出された色バラ
ンス情報に基づき、色・感度モザイク画像の色バランス
が補正される。
【００３１】
【発明の実施の形態】図１は、本発明の一実施の形態で
あるディジタルスチルカメラの構成例を示している。当
該ディジタルスチルカメラは、大別して光学系、信号処
理系、記録系、表示系、および制御系から構成される。
あるディジタルスチルカメラの構成例を示している。当
該ディジタルスチルカメラは、大別して光学系、信号処
理系、記録系、表示系、および制御系から構成される。
【００３２】光学系は、被写体の光画像を集光するレン
ズ１、光画像の光量を調整する絞り２、および、集光さ
れた光画像を光電変換して電気信号に変換するCCDイメ
ージセンサ４から構成される。
ズ１、光画像の光量を調整する絞り２、および、集光さ
れた光画像を光電変換して電気信号に変換するCCDイメ
ージセンサ４から構成される。
【００３３】信号処理系は、CCDイメージセンサ４から
の電気信号をサンプリングすることによってノイズを低
減させる相関２重サンプリング回路(CDS:Correlated Do
ubleSampling)５、相関２重サンプリング回路５が出力
するアナログ信号をディジタル信号に変換するＡ／Ｄコ
ンバータ６、Ａ／Ｄコンバータ６から入力されるディジ
タル信号に所定の画像処理を施す画像処理部７から構成
される。なお、画像処理部７が実行する処理の詳細につ
いては後述する。
の電気信号をサンプリングすることによってノイズを低
減させる相関２重サンプリング回路(CDS:Correlated Do
ubleSampling)５、相関２重サンプリング回路５が出力
するアナログ信号をディジタル信号に変換するＡ／Ｄコ
ンバータ６、Ａ／Ｄコンバータ６から入力されるディジ
タル信号に所定の画像処理を施す画像処理部７から構成
される。なお、画像処理部７が実行する処理の詳細につ
いては後述する。
【００３４】記録系は、画像処理部７が処理した画像信
号を符号化してメモリ９に記録し、また、読み出して復
号し、画像処理部７に供給するCODEC(Compression/Deco
mpression)８、および、画像信号を記憶するメモリ９か
ら構成される。
号を符号化してメモリ９に記録し、また、読み出して復
号し、画像処理部７に供給するCODEC(Compression/Deco
mpression)８、および、画像信号を記憶するメモリ９か
ら構成される。
【００３５】表示系は、画像処理部７が処理した画像信
号をアナログ化するＤ／Ａコンバータ１０、アナログ化
された画像信号を後段のディスプレイ１２に適合する形
式のビデオ信号にエンコードするビデオエンコーダ１
１、および、入力されるビデオ信号に対応する画像を表
示することによってファインダとして機能するLCD(Liqu
id Crystal Display)等よりなるディスプレイ１２から
構成される。
号をアナログ化するＤ／Ａコンバータ１０、アナログ化
された画像信号を後段のディスプレイ１２に適合する形
式のビデオ信号にエンコードするビデオエンコーダ１
１、および、入力されるビデオ信号に対応する画像を表
示することによってファインダとして機能するLCD(Liqu
id Crystal Display)等よりなるディスプレイ１２から
構成される。
【００３６】制御系は、CCDイメージセンサ４乃至画像
処理部７の動作タイミングを制御するタイミングジェネ
レータ（ＴＧ）３、ユーザによるシャッタ操作やその他
のコマンドを入力するための操作入力部１３、および、
ドライブ１５を制御して磁気ディスク１６、光ディスク
１７、光磁気ディスク１８、または半導体メモリ１９に
記憶されている制御用プログラムを読み出し、読み出し
た制御用プログラム、操作入力部１３から入力されるユ
ーザからのコマンド等に基づいてディジタルスチルカメ
ラの全体を制御するCPU(Central Processing Unit)など
よりなる制御部１４から構成される。
処理部７の動作タイミングを制御するタイミングジェネ
レータ（ＴＧ）３、ユーザによるシャッタ操作やその他
のコマンドを入力するための操作入力部１３、および、
ドライブ１５を制御して磁気ディスク１６、光ディスク
１７、光磁気ディスク１８、または半導体メモリ１９に
記憶されている制御用プログラムを読み出し、読み出し
た制御用プログラム、操作入力部１３から入力されるユ
ーザからのコマンド等に基づいてディジタルスチルカメ
ラの全体を制御するCPU(Central Processing Unit)など
よりなる制御部１４から構成される。
【００３７】当該ディジタルスチルカメラにおいて、被
写体の光学画像（入射光）は、レンズ１および絞り２を
介してCCDイメージセンサ４に入射され、CCDイメージセ
ンサ４によって光電変換されて電気信号となる。得られ
た電気信号は、相関２重サンプリング回路５によってノ
イズ成分が除去され、Ａ／Ｄコンバータ６によってディ
ジタル化された後、画像処理部７が内蔵する画像メモリ
に一時格納される。
写体の光学画像（入射光）は、レンズ１および絞り２を
介してCCDイメージセンサ４に入射され、CCDイメージセ
ンサ４によって光電変換されて電気信号となる。得られ
た電気信号は、相関２重サンプリング回路５によってノ
イズ成分が除去され、Ａ／Ｄコンバータ６によってディ
ジタル化された後、画像処理部７が内蔵する画像メモリ
に一時格納される。
【００３８】なお、通常の状態では、タイミングジェネ
レータ３による信号処理系に対する制御により、画像処
理部７が内蔵する画像メモリには、一定のフレームレー
トで絶えず画像信号が上書きされるようになされてい
る。画像処理部７が内蔵する画像メモリの画像信号は、
Ｄ／Ａコンバータ１０によってアナログ信号に変換さ
れ、ビデオエンコーダ１１によってビデオ信号に変換さ
れて対応する画像がディスプレイ１２に表示される。
レータ３による信号処理系に対する制御により、画像処
理部７が内蔵する画像メモリには、一定のフレームレー
トで絶えず画像信号が上書きされるようになされてい
る。画像処理部７が内蔵する画像メモリの画像信号は、
Ｄ／Ａコンバータ１０によってアナログ信号に変換さ
れ、ビデオエンコーダ１１によってビデオ信号に変換さ
れて対応する画像がディスプレイ１２に表示される。
【００３９】ディスプレイ１２は、当該ディジタルスチ
ルカメラのファインダの役割も担っている。ユーザが操
作入力部１３に含まれるシャッタボタンを押下した場
合、制御部１４は、タイミングジェネレータ３に対し、
シャッタボタンが押下された直後の画像信号を保持する
ように、すなわち、画像処理部７の画像メモリに画像信
号が上書きされないように信号処理系を制御する。画像
処理部７の画像メモリに保持された画像データは、CODE
C８によって符号化されてメモリ９に記録される。以上
のようなディジタルスチルカメラの動作によって、１枚
の画像データの取り込みが完了する。
ルカメラのファインダの役割も担っている。ユーザが操
作入力部１３に含まれるシャッタボタンを押下した場
合、制御部１４は、タイミングジェネレータ３に対し、
シャッタボタンが押下された直後の画像信号を保持する
ように、すなわち、画像処理部７の画像メモリに画像信
号が上書きされないように信号処理系を制御する。画像
処理部７の画像メモリに保持された画像データは、CODE
C８によって符号化されてメモリ９に記録される。以上
のようなディジタルスチルカメラの動作によって、１枚
の画像データの取り込みが完了する。
【００４０】次に、当該ディジタルスチルカメラの動作
の概要について、図２を参照して説明する。当該ディジ
タルスチルカメラは、CCDイメージセンサ４を中心とす
る光学系の撮像処理によって、被写体を画素毎に異なる
色と感度で撮像し、色と感度がモザイク状になった画像
（以下、色・感度モザイク画像と記述し、その詳細は後
述する）を得る。その後、画像処理部７を中心とする信
号処理系により、撮像処理によって得られた色・感度モ
ザイク画像を元に、各画素が全ての色成分を有し、か
つ、均一の感度を有する広ダイナミックレンジ画像を生
成される。以下、色・感度モザイク画像を元にして、各
画素が全ての色成分を有し、かつ、均一の感度を有する
広ダイナミックレンジ画像を生成する信号処理系の処理
を、デモザイク処理とも記述する。
の概要について、図２を参照して説明する。当該ディジ
タルスチルカメラは、CCDイメージセンサ４を中心とす
る光学系の撮像処理によって、被写体を画素毎に異なる
色と感度で撮像し、色と感度がモザイク状になった画像
（以下、色・感度モザイク画像と記述し、その詳細は後
述する）を得る。その後、画像処理部７を中心とする信
号処理系により、撮像処理によって得られた色・感度モ
ザイク画像を元に、各画素が全ての色成分を有し、か
つ、均一の感度を有する広ダイナミックレンジ画像を生
成される。以下、色・感度モザイク画像を元にして、各
画素が全ての色成分を有し、かつ、均一の感度を有する
広ダイナミックレンジ画像を生成する信号処理系の処理
を、デモザイク処理とも記述する。
【００４１】例えば、当該ディジタルスチルカメラによ
って図３に示すような被写体を撮影した場合、撮像処理
により、図４に示すような色・感度モザイク画像が得ら
れ、画像処理により、各画素が全ての色成分と均一の感
度を有する広ダイナミックレンジ画像に変換される。す
なわち、図４に示す色・感度モザイク画像を元にして図
３に示す被写体の本来の色を広ダイナミックレンジで復
元する。
って図３に示すような被写体を撮影した場合、撮像処理
により、図４に示すような色・感度モザイク画像が得ら
れ、画像処理により、各画素が全ての色成分と均一の感
度を有する広ダイナミックレンジ画像に変換される。す
なわち、図４に示す色・感度モザイク画像を元にして図
３に示す被写体の本来の色を広ダイナミックレンジで復
元する。
【００４２】次に、光学系の撮像処理によって得る色・
感度モザイク画像の、画素の色成分および感度の配列パ
ターン（以下、色・感度モザイクパターンと記述する）
Ｐ１乃至Ｐ１４を図５乃至図１８に示す。
感度モザイク画像の、画素の色成分および感度の配列パ
ターン（以下、色・感度モザイクパターンと記述する）
Ｐ１乃至Ｐ１４を図５乃至図１８に示す。
【００４３】色・感度モザイクパターンを構成する色の
組み合わせとしては、Ｒ（赤）、Ｇ（緑）、およびＢ
（青）からなる３色の組合せの他、Ｙ（黄）、Ｍ（マゼ
ンタ）、Ｃ（シアン）、およびＧ（緑）からなる４色の
組合せ等が考えられる。感度の段階としては、Ｓ０およ
びＳ１から成る２段階の他、感度Ｓ２を追加した３段
階、さらに、感度Ｓ３を追加した４段階等とすることが
できる。なお、色の種類や組み合わせおよび感度の段階
は任意であり、上述した例に限定されるものではない。
組み合わせとしては、Ｒ（赤）、Ｇ（緑）、およびＢ
（青）からなる３色の組合せの他、Ｙ（黄）、Ｍ（マゼ
ンタ）、Ｃ（シアン）、およびＧ（緑）からなる４色の
組合せ等が考えられる。感度の段階としては、Ｓ０およ
びＳ１から成る２段階の他、感度Ｓ２を追加した３段
階、さらに、感度Ｓ３を追加した４段階等とすることが
できる。なお、色の種類や組み合わせおよび感度の段階
は任意であり、上述した例に限定されるものではない。
【００４４】図５乃至図１８においては、１マス目が１
画素に対応しており、英文字がその色を示し、英文字の
添え字として数字がその感度を示している。例えば、Ｇ
0と表示された画素は、色がＧ（緑）であって、感度が
Ｓ０であることを示している。また、感度については、
数字が大きいほどより高感度である、すなわち、Ｓ０よ
りもＳ１の方が高感度である。
画素に対応しており、英文字がその色を示し、英文字の
添え字として数字がその感度を示している。例えば、Ｇ
0と表示された画素は、色がＧ（緑）であって、感度が
Ｓ０であることを示している。また、感度については、
数字が大きいほどより高感度である、すなわち、Ｓ０よ
りもＳ１の方が高感度である。
【００４５】色・感度モザイクパターンＰ１乃至Ｐ１４
は、以下に示す第１乃至第４の特徴によって分類するこ
とができる。
は、以下に示す第１乃至第４の特徴によって分類するこ
とができる。
【００４６】第１の特徴は、同一の色および感度を有す
る画素に注目した場合、それらが格子状に配列されてお
り、かつ、感度に拘わらず同一の色を有する画素に注目
した場合、それらが格子状に配列されていることであ
る。第１の特徴について、図５に示す色・感度モザイク
パターンＰ１を参照して説明する。
る画素に注目した場合、それらが格子状に配列されてお
り、かつ、感度に拘わらず同一の色を有する画素に注目
した場合、それらが格子状に配列されていることであ
る。第１の特徴について、図５に示す色・感度モザイク
パターンＰ１を参照して説明する。
【００４７】図５の色・感度モザイクパターンＰ１にお
いて、感度に拘わらず色がＲである画素に注目した場
合、図面を右回りに４５度だけ回転させた状態で見れば
明らかなように、それらは、水平方向には２1/2の間隔
で、垂直方向には２3/2の間隔で格子状の配置されてい
る。また、感度に拘わらず色がＢである画素に注目した
場合、それらも同様に配置されている。感度に拘わらず
色がＧである画素に注目した場合、それらは、水平方向
および垂直方向に２1/2の間隔で格子状の配置されてい
る。
いて、感度に拘わらず色がＲである画素に注目した場
合、図面を右回りに４５度だけ回転させた状態で見れば
明らかなように、それらは、水平方向には２1/2の間隔
で、垂直方向には２3/2の間隔で格子状の配置されてい
る。また、感度に拘わらず色がＢである画素に注目した
場合、それらも同様に配置されている。感度に拘わらず
色がＧである画素に注目した場合、それらは、水平方向
および垂直方向に２1/2の間隔で格子状の配置されてい
る。
【００４８】なお、第１の特徴は、図５に示す色・感度
モザイクパターンＰ１の他、色・感度モザイクパターン
Ｐ２，Ｐ４，Ｐ６，Ｐ８，Ｐ９，Ｐ１０，Ｐ１１，Ｐ１
３にも共通である。
モザイクパターンＰ１の他、色・感度モザイクパターン
Ｐ２，Ｐ４，Ｐ６，Ｐ８，Ｐ９，Ｐ１０，Ｐ１１，Ｐ１
３にも共通である。
【００４９】第２の特徴は、同一の色および感度を有す
る画素に注目した場合、それらが格子状に配列されてお
り、かつ、色に拘わらず同一の感度を有する画素に注目
した場合、それらが格子状に配列されており、かつ、任
意の画素に注目した場合、その画素とその上下左右に位
置する４画素の合計５画素が有する色の中に、当該色・
感度モザイクパターンに含まれる全ての色が含まれるこ
とである。
る画素に注目した場合、それらが格子状に配列されてお
り、かつ、色に拘わらず同一の感度を有する画素に注目
した場合、それらが格子状に配列されており、かつ、任
意の画素に注目した場合、その画素とその上下左右に位
置する４画素の合計５画素が有する色の中に、当該色・
感度モザイクパターンに含まれる全ての色が含まれるこ
とである。
【００５０】なお、第２の特徴は、図７に示す色・感度
モザイクパターンＰ３の他、色・感度モザイクパターン
Ｐ５，Ｐ７，Ｐ８，Ｐ９，Ｐ１２，Ｐ１４にも共通であ
る。
モザイクパターンＰ３の他、色・感度モザイクパターン
Ｐ５，Ｐ７，Ｐ８，Ｐ９，Ｐ１２，Ｐ１４にも共通であ
る。
【００５１】第３の特徴は、第１の特徴を有しており、
さらに、３種類の色が用いられていて、それらがベイヤ
(Bayer)配列をなしていることである。第３の特徴につ
いて、図６に示す色・感度モザイクパターンＰ２を参照
して説明する。
さらに、３種類の色が用いられていて、それらがベイヤ
(Bayer)配列をなしていることである。第３の特徴につ
いて、図６に示す色・感度モザイクパターンＰ２を参照
して説明する。
【００５２】図６の色・感度モザイクパターンＰ２にお
いて、感度に拘わらず色がＧである画素に注目した場
合、それらは１画素だけ間隔を空けて市松状に配置され
ている。感度に拘わらず色がＲである画素に注目した場
合、それらは１ラインだけ間隔を空けて配置されてい
る。また、感度に拘わらず色がＢである画素に注目した
場合も同様に、１ラインだけ間隔を空けて配置されてい
る。したがって、このパターンＰ２は、画素の色だけに
注目すれば、ベイヤ配列をなしている。
いて、感度に拘わらず色がＧである画素に注目した場
合、それらは１画素だけ間隔を空けて市松状に配置され
ている。感度に拘わらず色がＲである画素に注目した場
合、それらは１ラインだけ間隔を空けて配置されてい
る。また、感度に拘わらず色がＢである画素に注目した
場合も同様に、１ラインだけ間隔を空けて配置されてい
る。したがって、このパターンＰ２は、画素の色だけに
注目すれば、ベイヤ配列をなしている。
【００５３】なお、第３の特徴は、図６の色・感度モザ
イクパターンＰ２の他、色・感度モザイクパターンＰ１
０，Ｐ１１にも共通である。
イクパターンＰ２の他、色・感度モザイクパターンＰ１
０，Ｐ１１にも共通である。
【００５４】第４の特徴は、第２の特徴を有しており、
さらに、同一の感度を有する画素に注目した場合、それ
らの配列がベイヤ配列をなしていることである。第４の
特徴について、図７に示す色・感度モザイクパターンＰ
３を参照して説明する。
さらに、同一の感度を有する画素に注目した場合、それ
らの配列がベイヤ配列をなしていることである。第４の
特徴について、図７に示す色・感度モザイクパターンＰ
３を参照して説明する。
【００５５】図７の色・感度モザイクパターンＰ３にお
いて、感度Ｓ０の画素だけに注目した場合、図面を斜め
４５度だけ回転させて見れば明らかなように、それらは
２1/ 2の間隔を空けてベイヤ配列をなしている。また、
感度Ｓ１の画素だけに注目した場合も同様に、それらは
ベイヤ配列をなしている。
いて、感度Ｓ０の画素だけに注目した場合、図面を斜め
４５度だけ回転させて見れば明らかなように、それらは
２1/ 2の間隔を空けてベイヤ配列をなしている。また、
感度Ｓ１の画素だけに注目した場合も同様に、それらは
ベイヤ配列をなしている。
【００５６】なお、第４の特徴は、図７の色・感度モザ
イクパターンＰ３の他、色・感度モザイクパターンＰ
５，Ｐ１２にも共通である。
イクパターンＰ３の他、色・感度モザイクパターンＰ
５，Ｐ１２にも共通である。
【００５７】ところで、以下、図５乃至図１８に示した
色・感度モザイクパターンＰ１乃至Ｐ１４に関連し、画
素の感度に拘わらず色の配列だけに注目して「色のモザ
イク配列」と記述する。また、色に拘わらず感度の配列
だけに注目して「感度のモザイク配列」と記述する。
色・感度モザイクパターンＰ１乃至Ｐ１４に関連し、画
素の感度に拘わらず色の配列だけに注目して「色のモザ
イク配列」と記述する。また、色に拘わらず感度の配列
だけに注目して「感度のモザイク配列」と記述する。
【００５８】次に、CCDイメージセンサ４において上述
した色・感度モザイクパターンを実現する方法について
説明する。
した色・感度モザイクパターンを実現する方法について
説明する。
【００５９】色・感度モザイクパターンのうち、色のモ
ザイク配列については、CCDイメージセンサ４の受光素
子の上面に、画素毎に異なる色の光だけを透過させるオ
ンチップカラーフィルタ２２（図１９）を配置すること
によって実現する。
ザイク配列については、CCDイメージセンサ４の受光素
子の上面に、画素毎に異なる色の光だけを透過させるオ
ンチップカラーフィルタ２２（図１９）を配置すること
によって実現する。
【００６０】また、色・感度モザイクパターンのうち、
感度のモザイク配列については、光学的な方法、または
電子的な方法によって実現する。
感度のモザイク配列については、光学的な方法、または
電子的な方法によって実現する。
【００６１】感度のモザイク配列を光学的に実現する方
法について説明する。図１９は、CCDイメージセンサ４
の受光素子の断面を示している。受光素子の上部表面に
は、オンチップレンズ２１が配置されている。オンチッ
プレンズ２１は、図面上方から入射される光がフォトダ
イオード（ＰＤ）２３に集光されるようになされてい
る。オンチップカラーフィルタ２２は、入射光の色を制
限する（特定の波長帯域だけを透過させる）。受光素子
の下部には、ウェハ中にフォトダイオード２３が形成さ
れている。フォトダイオード２３は、入力された光量に
対応して電荷を生じる。フォトダイオード２１の両脇に
は、垂直レジスタ２６が形成されている。垂直レジスタ
２６の上部には、垂直レジスタ２１を駆動する垂直レジ
スタ駆動電極２５が配線されている。
法について説明する。図１９は、CCDイメージセンサ４
の受光素子の断面を示している。受光素子の上部表面に
は、オンチップレンズ２１が配置されている。オンチッ
プレンズ２１は、図面上方から入射される光がフォトダ
イオード（ＰＤ）２３に集光されるようになされてい
る。オンチップカラーフィルタ２２は、入射光の色を制
限する（特定の波長帯域だけを透過させる）。受光素子
の下部には、ウェハ中にフォトダイオード２３が形成さ
れている。フォトダイオード２３は、入力された光量に
対応して電荷を生じる。フォトダイオード２１の両脇に
は、垂直レジスタ２６が形成されている。垂直レジスタ
２６の上部には、垂直レジスタ２１を駆動する垂直レジ
スタ駆動電極２５が配線されている。
【００６２】垂直レジスタ２６は、フォトダイオード２
３で生じた電荷を転送する領域である。垂直レジスタ２
６と垂直レジスタ駆動電極２５は、そこで電荷が生じな
いように、シールド２４によって遮光されている。シー
ルド２４は、フォトダイオード２３の上部だけが開口し
ており、その開口部分を入射光が通過してフォトダイオ
ード２３に到達するようになされている。
３で生じた電荷を転送する領域である。垂直レジスタ２
６と垂直レジスタ駆動電極２５は、そこで電荷が生じな
いように、シールド２４によって遮光されている。シー
ルド２４は、フォトダイオード２３の上部だけが開口し
ており、その開口部分を入射光が通過してフォトダイオ
ード２３に到達するようになされている。
【００６３】以上説明したように構成されるCCDイメー
ジセンサ４は、下記の方法によって各受光素子の感度を
変えることができる（フォトダイオード２３に対する入
射光量を変化させることができる）。
ジセンサ４は、下記の方法によって各受光素子の感度を
変えることができる（フォトダイオード２３に対する入
射光量を変化させることができる）。
【００６４】例えば、図２０に示すように、隣接する受
光素子の一方にはオンチップレンズ２１を設け、他方に
はオンチップレンズ２１を設けないことにより、隣接す
る受光素子でそれぞれ集光される光量を変化させること
ができる。また、例えば図２１に示すように、オンチッ
プカラーフィルタ２２の上方（または下方）にオンチッ
プニュートラルデンシティ（ＮＤ）フィルタ３１を設置
することにより、光の透過率を変えることができる。ま
た、例えば図２２に示すように、隣接する受光素子のシ
ールド２４の開口部分の面積を、一方を広く、他方を狭
くすることにより、フォトダイオード２３に対する入射
光量を変化させることができる。
光素子の一方にはオンチップレンズ２１を設け、他方に
はオンチップレンズ２１を設けないことにより、隣接す
る受光素子でそれぞれ集光される光量を変化させること
ができる。また、例えば図２１に示すように、オンチッ
プカラーフィルタ２２の上方（または下方）にオンチッ
プニュートラルデンシティ（ＮＤ）フィルタ３１を設置
することにより、光の透過率を変えることができる。ま
た、例えば図２２に示すように、隣接する受光素子のシ
ールド２４の開口部分の面積を、一方を広く、他方を狭
くすることにより、フォトダイオード２３に対する入射
光量を変化させることができる。
【００６５】次に、感度のモザイク配列を電子的に実現
する２種類の方法について説明する。
する２種類の方法について説明する。
【００６６】第１の方法は、例えば、隣接する２つの受
光素子（第1および第2の受光素子）に対し、制御のタイ
ミングを違えることによって２つの受光素子を異なる感
度に設定する方法である。第１の方法について、図２３
を参照して説明する。
光素子（第1および第2の受光素子）に対し、制御のタイ
ミングを違えることによって２つの受光素子を異なる感
度に設定する方法である。第１の方法について、図２３
を参照して説明する。
【００６７】図２３Ａは、CCDイメージセンサ４の露光
期間を示している。図２３Ｂは、電荷掃き出しを指令す
るパルス電圧のタイミングを示している。図２３Ｃは、
電荷転送を指令する制御電圧が与えられるタイミングを
示している。図２３Ｄは、第１の受光素子に対し、電荷
読み出しを指令するパルス電圧のタイミングを示してい
る。図２３Ｅは、電荷掃き出しパルス電圧および電荷読
み出しパルス電圧が与えられることに対応して第１の受
光素子に蓄積される電荷量の変化を示している。図２３
Ｆは、第２の受光素子に対し、電荷読み出しを指令する
パルス電圧のタイミングを示している。図２３Ｇは、電
荷掃き出しパルス電圧および電荷読み出しパルス電圧が
与えられることに対応して第２の受光素子に蓄積される
電荷量の変化を示している。
期間を示している。図２３Ｂは、電荷掃き出しを指令す
るパルス電圧のタイミングを示している。図２３Ｃは、
電荷転送を指令する制御電圧が与えられるタイミングを
示している。図２３Ｄは、第１の受光素子に対し、電荷
読み出しを指令するパルス電圧のタイミングを示してい
る。図２３Ｅは、電荷掃き出しパルス電圧および電荷読
み出しパルス電圧が与えられることに対応して第１の受
光素子に蓄積される電荷量の変化を示している。図２３
Ｆは、第２の受光素子に対し、電荷読み出しを指令する
パルス電圧のタイミングを示している。図２３Ｇは、電
荷掃き出しパルス電圧および電荷読み出しパルス電圧が
与えられることに対応して第２の受光素子に蓄積される
電荷量の変化を示している。
【００６８】感度のモザイク配列を電子的に実現する第
１の方法において、電荷掃き出しパルス電圧は、第１お
よび第２の受光素子に対し共通して、露光期間以外にお
いては、フォトダイオード２３から電荷を掃き出しさせ
る（リセットさせる）ように供給され、露光期間中にお
いては、所定のタイミングで１回だけ電荷をリセットす
るために供給される。
１の方法において、電荷掃き出しパルス電圧は、第１お
よび第２の受光素子に対し共通して、露光期間以外にお
いては、フォトダイオード２３から電荷を掃き出しさせ
る（リセットさせる）ように供給され、露光期間中にお
いては、所定のタイミングで１回だけ電荷をリセットす
るために供給される。
【００６９】電荷転送電圧は、露光期間以外において
は、第１および第２の受光素子に対し共通して垂直レジ
スタ２６に電荷を転送させるための波形電圧が供給さ
れ、露光期間中においては、垂直レジスタ２６からの電
荷の転送が停止されるように電荷転送電圧は供給されな
い。
は、第１および第２の受光素子に対し共通して垂直レジ
スタ２６に電荷を転送させるための波形電圧が供給さ
れ、露光期間中においては、垂直レジスタ２６からの電
荷の転送が停止されるように電荷転送電圧は供給されな
い。
【００７０】電荷読み出しパルス電圧は、各受光素子に
対して異なるタイミングで供給される。第１の受光素子
に対しては、露光期間中の電荷掃き出しパルス電圧の供
給タイミング（図２３Ｂ）の直前に、１回目の電荷読み
出しパルス電圧が供給され、露光期間中の終了の直前に
２回目の電荷読み出しパルス電圧が供給される。
対して異なるタイミングで供給される。第１の受光素子
に対しては、露光期間中の電荷掃き出しパルス電圧の供
給タイミング（図２３Ｂ）の直前に、１回目の電荷読み
出しパルス電圧が供給され、露光期間中の終了の直前に
２回目の電荷読み出しパルス電圧が供給される。
【００７１】その結果、第１の受光素子からは、１回目
および２回目の電荷読み出しパルス電圧の供給タイミン
グのそれぞれにおける第１の受光素子の蓄積電荷量が垂
直レジスタ２６に読み出される。なお、露光期間中は垂
直レジスタ２６の電荷の転送は停止されているので、そ
れら２回の読み出し電荷量が垂直レジスタ２６の中で加
算され、露光期間終了後に同じフレームのデータとして
垂直レジスタ２６から転送されるようになされている。
および２回目の電荷読み出しパルス電圧の供給タイミン
グのそれぞれにおける第１の受光素子の蓄積電荷量が垂
直レジスタ２６に読み出される。なお、露光期間中は垂
直レジスタ２６の電荷の転送は停止されているので、そ
れら２回の読み出し電荷量が垂直レジスタ２６の中で加
算され、露光期間終了後に同じフレームのデータとして
垂直レジスタ２６から転送されるようになされている。
【００７２】一方、第２の受光素子に対しては、露光期
間中の電荷掃き出しパルス電圧の供給タイミングの直前
に１回だけ電荷読み出しパルス電圧が供給される。その
結果、第２の受光素子からは、１回だけの電荷読み出し
パルス電圧の供給タイミングにおける第２の受光素子の
蓄積電荷量が垂直レジスタ２６に読み出される。なお、
露光期間中は垂直レジスタ２３の電荷の転送は停止され
ているので、第２の受光素子から読み出された蓄積電荷
は、露光期間終了後に、第１の受光素子から読み出され
た蓄積電荷と同じフレームのデータとして垂直レジスタ
２６から転送されるようになされている。
間中の電荷掃き出しパルス電圧の供給タイミングの直前
に１回だけ電荷読み出しパルス電圧が供給される。その
結果、第２の受光素子からは、１回だけの電荷読み出し
パルス電圧の供給タイミングにおける第２の受光素子の
蓄積電荷量が垂直レジスタ２６に読み出される。なお、
露光期間中は垂直レジスタ２３の電荷の転送は停止され
ているので、第２の受光素子から読み出された蓄積電荷
は、露光期間終了後に、第１の受光素子から読み出され
た蓄積電荷と同じフレームのデータとして垂直レジスタ
２６から転送されるようになされている。
【００７３】以上のように、第１の受光素子に対する制
御タイミングと、第２の受光素子とに対する制御タイミ
ングとが異なるようすることにより、同じ露光期間中に
第１の受光素子殻読み出される蓄積電荷量と、第２の受
光素子から読み出される蓄積電荷量、すなわち感度が異
なるように設定することができる。
御タイミングと、第２の受光素子とに対する制御タイミ
ングとが異なるようすることにより、同じ露光期間中に
第１の受光素子殻読み出される蓄積電荷量と、第２の受
光素子から読み出される蓄積電荷量、すなわち感度が異
なるように設定することができる。
【００７４】しかしながら、感度のモザイク配列を電子
的に実現する第１の方法では、受光素子によっては露光
期間中の全域にわたる被写体の情報を計測できないこと
が短所である。
的に実現する第１の方法では、受光素子によっては露光
期間中の全域にわたる被写体の情報を計測できないこと
が短所である。
【００７５】次に、感度のモザイク配列を電子的に実現
する第２の方法について、図２４を参照して説明する。
図２４Ａ乃至図２４Ｇはそれぞれ、図２３Ａ乃至図２３
Ｇと同様に、CCDイメージセンサ４の露光期間、電荷掃
き出しを指令するパルス電圧のタイミング、電荷転送を
指令する制御電圧が与えられるタイミング、第１の受光
素子に対して電荷読み出しを指令するパルス電圧のタイ
ミング、電荷掃き出しパルス電圧および電荷読み出しパ
ルス電圧が与えられることに対応して第１の受光素子に
蓄積される電荷量の変化、第２の受光素子に対する電荷
読み出しを指令するパルス電圧のタイミング、電荷掃き
出しパルス電圧および電荷読み出しパルス電圧が与えら
れることに対応して第２の受光素子に蓄積される電荷量
の変化を示している。
する第２の方法について、図２４を参照して説明する。
図２４Ａ乃至図２４Ｇはそれぞれ、図２３Ａ乃至図２３
Ｇと同様に、CCDイメージセンサ４の露光期間、電荷掃
き出しを指令するパルス電圧のタイミング、電荷転送を
指令する制御電圧が与えられるタイミング、第１の受光
素子に対して電荷読み出しを指令するパルス電圧のタイ
ミング、電荷掃き出しパルス電圧および電荷読み出しパ
ルス電圧が与えられることに対応して第１の受光素子に
蓄積される電荷量の変化、第２の受光素子に対する電荷
読み出しを指令するパルス電圧のタイミング、電荷掃き
出しパルス電圧および電荷読み出しパルス電圧が与えら
れることに対応して第２の受光素子に蓄積される電荷量
の変化を示している。
【００７６】感度のモザイク配列を電子的に実現する第
２の方法においては、露光期間中において、電荷掃き出
しパルス電圧および電荷読み出しパルス電圧が複数回繰
り返して供給される。
２の方法においては、露光期間中において、電荷掃き出
しパルス電圧および電荷読み出しパルス電圧が複数回繰
り返して供給される。
【００７７】すなわち、電荷掃き出しパルス電圧につい
ては、第１および第２の受光素子の双方に対し、露光期
間中において、１回目の電荷掃き出しパルス電圧と２回
目の電荷掃き出しパルス電圧の組が複数回供給される。
電荷読み出しパルス電圧については、第１の受光素子に
対しては、１回目および２回目の電荷掃き出しパルス電
圧の組毎に、１回目の電荷掃き出しパルス電圧の直前に
１回目の電荷読み出しパルス電圧が供給され、２回目の
電荷掃き出しパルス電圧の直前に２回目の電荷読み出し
パルス電圧が供給される。一方、第２の受光素子に対し
ては、電荷掃き出しパルス電圧の組毎に、１回目の電荷
掃き出しパルス電圧の直前に１回だけ電荷読み出しパル
ス電圧が供給される。
ては、第１および第２の受光素子の双方に対し、露光期
間中において、１回目の電荷掃き出しパルス電圧と２回
目の電荷掃き出しパルス電圧の組が複数回供給される。
電荷読み出しパルス電圧については、第１の受光素子に
対しては、１回目および２回目の電荷掃き出しパルス電
圧の組毎に、１回目の電荷掃き出しパルス電圧の直前に
１回目の電荷読み出しパルス電圧が供給され、２回目の
電荷掃き出しパルス電圧の直前に２回目の電荷読み出し
パルス電圧が供給される。一方、第２の受光素子に対し
ては、電荷掃き出しパルス電圧の組毎に、１回目の電荷
掃き出しパルス電圧の直前に１回だけ電荷読み出しパル
ス電圧が供給される。
【００７８】その結果、第１の受光素子からは、１回目
および２回目の電荷掃き出しパルス電圧の組毎に、１回
目の電荷読み出しパルス電圧の供給タイミングにおける
第１の受光素子の蓄積電荷量と、２回目の電荷読み出し
パルス電圧の供給タイミングにおける第１の受光素子の
蓄積電荷量が読み出される。なお、露光期間中は、垂直
レジスタ２６の電荷の転送が停止されているので、これ
ら組毎に２回ずつ読み出された電荷量は、垂直レジスタ
２６で加算される。第２の受光素子からは、１回目およ
び２回目の電荷掃き出しパルス電圧の組毎に１回だけ供
給される電荷読み出しパルス電圧の供給タイミングにお
ける第２の受光素子の蓄積電荷量が読み出される。これ
ら組ごとに１回ずつ読み出された電荷量は、垂直レジス
タ２６の中で加算される。
および２回目の電荷掃き出しパルス電圧の組毎に、１回
目の電荷読み出しパルス電圧の供給タイミングにおける
第１の受光素子の蓄積電荷量と、２回目の電荷読み出し
パルス電圧の供給タイミングにおける第１の受光素子の
蓄積電荷量が読み出される。なお、露光期間中は、垂直
レジスタ２６の電荷の転送が停止されているので、これ
ら組毎に２回ずつ読み出された電荷量は、垂直レジスタ
２６で加算される。第２の受光素子からは、１回目およ
び２回目の電荷掃き出しパルス電圧の組毎に１回だけ供
給される電荷読み出しパルス電圧の供給タイミングにお
ける第２の受光素子の蓄積電荷量が読み出される。これ
ら組ごとに１回ずつ読み出された電荷量は、垂直レジス
タ２６の中で加算される。
【００７９】以上のように、感度のモザイク配列を電子
的に実現する第２の方法では、露光期間において電荷の
読み出しを複数に亘って繰り返すことになるので、露光
期間中の全域にわたる被写体の情報を計測することが可
能となる。すなわち、第２の方法は、上述した第１の方
法の短所を解決することが可能である。
的に実現する第２の方法では、露光期間において電荷の
読み出しを複数に亘って繰り返すことになるので、露光
期間中の全域にわたる被写体の情報を計測することが可
能となる。すなわち、第２の方法は、上述した第１の方
法の短所を解決することが可能である。
【００８０】なお、上述した感度のモザイク配列を電子
的に実現する第１および第２の方法に関連し、一般的
に、CCDイメージセンサ４の読み出し制御は、水平ライ
ン毎に配線される垂直レジスタ駆動電極２５に印加され
る。例えば、図５に示した色・感度モザイクパターンＰ
１のように、水平ライン毎に感度が変わるような感度の
モザイク配列を実現するためには、その電極構造を利用
すればよいので、ラインごとに異なる読み出しパルス電
圧が印加されるように若干の改良をおこなえばよい。さ
らに、３相駆動の垂直レジスタを持つプログレッシブス
キャンのCCDイメージセンサにおいては、その電極構造
を工夫することによって、２段階感度による任意のモザ
イク配列を電子的に実現できる。
的に実現する第１および第２の方法に関連し、一般的
に、CCDイメージセンサ４の読み出し制御は、水平ライ
ン毎に配線される垂直レジスタ駆動電極２５に印加され
る。例えば、図５に示した色・感度モザイクパターンＰ
１のように、水平ライン毎に感度が変わるような感度の
モザイク配列を実現するためには、その電極構造を利用
すればよいので、ラインごとに異なる読み出しパルス電
圧が印加されるように若干の改良をおこなえばよい。さ
らに、３相駆動の垂直レジスタを持つプログレッシブス
キャンのCCDイメージセンサにおいては、その電極構造
を工夫することによって、２段階感度による任意のモザ
イク配列を電子的に実現できる。
【００８１】図２５は、２段階の感度のモザイク配列を
実現するために用いる電極配線による垂直転送用ポリシ
リコン電極の第１の電極構造を示している。図２６は、
図２５の図中の線分ａａ’におけるCCDイメージセンサ
の断面図を示している。第１相垂直レジスタ駆動電極４
２および第２相垂直レジスタ駆動電極４３は、同じ水平
ライン上で隣接する画素の電極と連結しているので、同
一水平ライン上の電極は同期して駆動される。一方、第
３相垂直レジスタ駆動電極４４は、同じ垂直ライン上で
隣接する画素の電極と連結しているので、同一垂直ライ
ン上の電極は同期して駆動される。また、第２相垂直レ
ジスタ駆動電極４３および第３相垂直レジスタ駆動電極
４４は、対応するフォトダイオ−ド２３に隣接する読み
出しゲ−ト４１上にもかかるようになされている。
実現するために用いる電極配線による垂直転送用ポリシ
リコン電極の第１の電極構造を示している。図２６は、
図２５の図中の線分ａａ’におけるCCDイメージセンサ
の断面図を示している。第１相垂直レジスタ駆動電極４
２および第２相垂直レジスタ駆動電極４３は、同じ水平
ライン上で隣接する画素の電極と連結しているので、同
一水平ライン上の電極は同期して駆動される。一方、第
３相垂直レジスタ駆動電極４４は、同じ垂直ライン上で
隣接する画素の電極と連結しているので、同一垂直ライ
ン上の電極は同期して駆動される。また、第２相垂直レ
ジスタ駆動電極４３および第３相垂直レジスタ駆動電極
４４は、対応するフォトダイオ−ド２３に隣接する読み
出しゲ−ト４１上にもかかるようになされている。
【００８２】したがって、第２相垂直レジスタ駆動電極
４３、または第３相垂直レジスタ駆動電極４４に読み出
しパルスを印加した場合、読み出しゲ−ト４１のバリア
を一時的に取り除き、対応するフォトダイオ−ド２３に
蓄積されている電荷を垂直レジスタ２６に転送すること
が可能である。以下、図２５および図２６に示した電極
構造をＯＲ型の電極構造と記述する。
４３、または第３相垂直レジスタ駆動電極４４に読み出
しパルスを印加した場合、読み出しゲ−ト４１のバリア
を一時的に取り除き、対応するフォトダイオ−ド２３に
蓄積されている電荷を垂直レジスタ２６に転送すること
が可能である。以下、図２５および図２６に示した電極
構造をＯＲ型の電極構造と記述する。
【００８３】図２７は、２段階の感度を有する感度のモ
ザイク配列を実現するために用いる電極配線による垂直
転送用ポリシリコン電極の第２の電極構造を示してい
る。図２７の図中の線分ａａ’におけるCCDイメージセ
ンサの断面も、図２６に示した断面図と同様である。す
なわち、第２の電極構造においても、第１の電極構造と
同様に、第１相垂直レジスタ駆動電極４２および第２相
垂直レジスタ駆動電極４３は、同じ水平ライン上で隣接
する画素の電極と連結しているので、同一水平ライン上
の電極は同期して駆動される。第３相垂直レジスタ駆動
電極４４は、第１の電極構造と同様に、同じ垂直ライン
上で隣接する画素の電極と連結しているので、同一垂直
ライン上の電極は同期して駆動される。
ザイク配列を実現するために用いる電極配線による垂直
転送用ポリシリコン電極の第２の電極構造を示してい
る。図２７の図中の線分ａａ’におけるCCDイメージセ
ンサの断面も、図２６に示した断面図と同様である。す
なわち、第２の電極構造においても、第１の電極構造と
同様に、第１相垂直レジスタ駆動電極４２および第２相
垂直レジスタ駆動電極４３は、同じ水平ライン上で隣接
する画素の電極と連結しているので、同一水平ライン上
の電極は同期して駆動される。第３相垂直レジスタ駆動
電極４４は、第１の電極構造と同様に、同じ垂直ライン
上で隣接する画素の電極と連結しているので、同一垂直
ライン上の電極は同期して駆動される。
【００８４】しかしながら、第３相垂直レジスタ駆動電
極４４が対応するフォトダイオ−ド２３に隣接する読み
出しゲート４１上において、当該フォトダイオ−ド２３
の辺縁部分に沿って配置され、次いでそれに隣接するよ
うに第２相垂直レジスタ駆動電極４３の細長く加工され
た部分が読み出しゲート４１にかかるようになされてい
る点が第１の電極構造と異なる。
極４４が対応するフォトダイオ−ド２３に隣接する読み
出しゲート４１上において、当該フォトダイオ−ド２３
の辺縁部分に沿って配置され、次いでそれに隣接するよ
うに第２相垂直レジスタ駆動電極４３の細長く加工され
た部分が読み出しゲート４１にかかるようになされてい
る点が第１の電極構造と異なる。
【００８５】したがって、第２相垂直レジスタ駆動電極
４３および第３相垂直レジスタ駆動電極４４のうち、一
方だけに読み出しパルスを印加した場合、読み出しゲ−
ト４１のバリアを取り除くことができない。読み出しゲ
−ト４１のバリアを取り除き、フォトダイオ−ド２３に
蓄積されている電荷を垂直レジスタ２６に転送するため
には、第２相垂直レジスタ駆動電極４３と第３相垂直レ
ジスタ駆動電極４４に同時に読み出しパルスを印加する
必要がある。以下、図２７に示した電極構造をAND型の
電極構造と記述する。
４３および第３相垂直レジスタ駆動電極４４のうち、一
方だけに読み出しパルスを印加した場合、読み出しゲ−
ト４１のバリアを取り除くことができない。読み出しゲ
−ト４１のバリアを取り除き、フォトダイオ−ド２３に
蓄積されている電荷を垂直レジスタ２６に転送するため
には、第２相垂直レジスタ駆動電極４３と第３相垂直レ
ジスタ駆動電極４４に同時に読み出しパルスを印加する
必要がある。以下、図２７に示した電極構造をAND型の
電極構造と記述する。
【００８６】以上説明したＯＲ型の電極構造とAND型の
電極構造を１つのCCDイメージセンサ内で組み合わせて
用いることにより、２段階感度による任意のモザイク配
列を実現することができる。例えば、図５に示した色・
感度モザイクパターンＰ１のうち、感度のモザイク配列
を実現するためには、図２８に示すようにＯＲ型の電極
構造とAND型の電極構造を組み合わせればよい。
電極構造を１つのCCDイメージセンサ内で組み合わせて
用いることにより、２段階感度による任意のモザイク配
列を実現することができる。例えば、図５に示した色・
感度モザイクパターンＰ１のうち、感度のモザイク配列
を実現するためには、図２８に示すようにＯＲ型の電極
構造とAND型の電極構造を組み合わせればよい。
【００８７】図５と図２８を比較すれば明らかなよう
に、２段階の感度Ｓ０，Ｓ１のうち、低感度Ｓ０の画素
にはAND型の電極構造を採用し、高感度Ｓ１の画素には
ＯＲ型の電極構造を採用するようにする。このように、
ＯＲ型とAND型の電極構造を組み合わせて構成したCCDイ
メージセンサ４に対し、その第２相垂直レジスタ駆動電
極４３に読み出しパルス電圧を印加すれば、ＯＲ型の画
素だけで電荷読み出しがおこなわれ、第２相垂直レジス
タ駆動電極４３および第３相垂直レジスタ駆動電極４４
に同時に読みだしパルス電圧を印加すれば、ＯＲ型とAN
D型の両方、すなわち全ての画素で電荷読み出しがおこ
なわれることになる。
に、２段階の感度Ｓ０，Ｓ１のうち、低感度Ｓ０の画素
にはAND型の電極構造を採用し、高感度Ｓ１の画素には
ＯＲ型の電極構造を採用するようにする。このように、
ＯＲ型とAND型の電極構造を組み合わせて構成したCCDイ
メージセンサ４に対し、その第２相垂直レジスタ駆動電
極４３に読み出しパルス電圧を印加すれば、ＯＲ型の画
素だけで電荷読み出しがおこなわれ、第２相垂直レジス
タ駆動電極４３および第３相垂直レジスタ駆動電極４４
に同時に読みだしパルス電圧を印加すれば、ＯＲ型とAN
D型の両方、すなわち全ての画素で電荷読み出しがおこ
なわれることになる。
【００８８】なお、第２相垂直レジスタ駆動電極４３、
および第３相垂直レジスタ駆動電極４４に対するパルス
電圧の供給タイミングは、図２４（図２３でもよい）に
示した制御タイミングのうち、同図Ｄの１回目の電荷読
み出しパルス電圧の供給タイミングと、同図Ｆの電荷読
み出しパルス電圧の供給タイミングにおいて、第２相垂
直レジスタ駆動電極４３および第３相垂直レジスタ駆動
電極４４の両方を駆動し、同図Ｄの２回目の電荷読み出
しパルス電圧の供給タイミングにおいて第２相垂直レジ
スタ駆動電極４３だけを駆動するようにすれば、ＯＲ型
の電極構造の画素は高感度Ｓ１となり、AND型の電極構
造の画素は低感度Ｓ０となる。
および第３相垂直レジスタ駆動電極４４に対するパルス
電圧の供給タイミングは、図２４（図２３でもよい）に
示した制御タイミングのうち、同図Ｄの１回目の電荷読
み出しパルス電圧の供給タイミングと、同図Ｆの電荷読
み出しパルス電圧の供給タイミングにおいて、第２相垂
直レジスタ駆動電極４３および第３相垂直レジスタ駆動
電極４４の両方を駆動し、同図Ｄの２回目の電荷読み出
しパルス電圧の供給タイミングにおいて第２相垂直レジ
スタ駆動電極４３だけを駆動するようにすれば、ＯＲ型
の電極構造の画素は高感度Ｓ１となり、AND型の電極構
造の画素は低感度Ｓ０となる。
【００８９】同様に、２段階の感度を有するその他の感
度のモザイク配列も、ＯＲ型の電極構造とAND型の電極
構造を組み合わせることによって実現することができ
る。
度のモザイク配列も、ＯＲ型の電極構造とAND型の電極
構造を組み合わせることによって実現することができ
る。
【００９０】例えば、図６に示した色・感度モザイクパ
ターンＰ２のうち、感度のモザイクパターンを実現する
ためには、ＯＲ型とAND型を図２９に示すように組み合
わせればよい。図７に示した色・感度モザイクパターン
Ｐ３のうち、感度のモザイクパターンを実現するために
は、ＯＲ型とAND型を図３０に示すように組み合わせれ
ばよい。図８に示した色・感度モザイクパターンＰ４の
うち、感度のモザイクパターンを実現するためには、Ｏ
Ｒ型とAND型を図３１に示すように組み合わせればよ
い。図９に示した色・感度モザイクパターンＰ５のう
ち、感度のモザイクパターンを実現するためには、ＯＲ
型とAND型を図３２に示すように組み合わせればよい。
ターンＰ２のうち、感度のモザイクパターンを実現する
ためには、ＯＲ型とAND型を図２９に示すように組み合
わせればよい。図７に示した色・感度モザイクパターン
Ｐ３のうち、感度のモザイクパターンを実現するために
は、ＯＲ型とAND型を図３０に示すように組み合わせれ
ばよい。図８に示した色・感度モザイクパターンＰ４の
うち、感度のモザイクパターンを実現するためには、Ｏ
Ｒ型とAND型を図３１に示すように組み合わせればよ
い。図９に示した色・感度モザイクパターンＰ５のう
ち、感度のモザイクパターンを実現するためには、ＯＲ
型とAND型を図３２に示すように組み合わせればよい。
【００９１】次に、図３３は、入力される色・感度モザ
イク画像を元にして、各画素が全ての色成分を有し、か
つ、感度が均一である広ダイナミックレンジ画像を生成
するデモザイク処理を実行する画像処理部７の構成例を
示している。
イク画像を元にして、各画素が全ての色成分を有し、か
つ、感度が均一である広ダイナミックレンジ画像を生成
するデモザイク処理を実行する画像処理部７の構成例を
示している。
【００９２】なお、図３３においては、色・感度モザイ
クパターンＰ１の色・感度モザイク画像が入力されるよ
うに図示されているが、入力する色・感度モザイク画像
の色・感度モザイクパターンは任意である。
クパターンＰ１の色・感度モザイク画像が入力されるよ
うに図示されているが、入力する色・感度モザイク画像
の色・感度モザイクパターンは任意である。
【００９３】また、画像処理部７を構成する各部には、
入力される色・感度モザイク画像の色・感度モザイクパ
ターンを示す情報が供給されているものとする。
入力される色・感度モザイク画像の色・感度モザイクパ
ターンを示す情報が供給されているものとする。
【００９４】また、図３３においては、出力結果として
の各画素が全ての色成分を有し、かつ、感度が均一であ
る広ダイナミックレンジ画像を、各画素の感度が均一で
ある広ダイナミックレンジの３種類の色画像として示し
ている。
の各画素が全ての色成分を有し、かつ、感度が均一であ
る広ダイナミックレンジ画像を、各画素の感度が均一で
ある広ダイナミックレンジの３種類の色画像として示し
ている。
【００９５】色バランス補正部６１は、入力される色・
モザイク画像の色バランスを補正して、補正済みの色・
モザイク画像を感度別色画像生成部６２に出力する。こ
こで、色バランスを補正する処理とは、一般にホワイト
バランス処理と呼ばれている処理であり、各色の平均を
算出して用いてもよいし、既存の統計情報を用いてもよ
い。
モザイク画像の色バランスを補正して、補正済みの色・
モザイク画像を感度別色画像生成部６２に出力する。こ
こで、色バランスを補正する処理とは、一般にホワイト
バランス処理と呼ばれている処理であり、各色の平均を
算出して用いてもよいし、既存の統計情報を用いてもよ
い。
【００９６】図３４は、色バランス補正部６１の第１の
構成例を示している。色バランス算出部７１は、入力さ
れる色・感度モザイク画像の全体から１つの色バランス
情報を算出する。その方法は、各色の平均を算出して用
いてもよいし、既存の統計情報を用いてもよい。色バラ
ンス調整部７２は、色バランス算出部７１によって算出
される色バランス情報に基づき、入力される色・感度モ
ザイク画像の色バランスを補正する。色バランス補正済
みの色・感度モザイク画像は、感度別色画像生成部６２
に供給される。
構成例を示している。色バランス算出部７１は、入力さ
れる色・感度モザイク画像の全体から１つの色バランス
情報を算出する。その方法は、各色の平均を算出して用
いてもよいし、既存の統計情報を用いてもよい。色バラ
ンス調整部７２は、色バランス算出部７１によって算出
される色バランス情報に基づき、入力される色・感度モ
ザイク画像の色バランスを補正する。色バランス補正済
みの色・感度モザイク画像は、感度別色画像生成部６２
に供給される。
【００９７】図３５は、色バランス補正部６１の第２の
構成例を示している。感度別色バランス算出部８１は、
入力される色・感度モザイク画像の感度毎の色バランス
情報を算出する。その方法は、各感度について、各色の
平均を算出して用いてもよいし、既存の統計情報を用い
てもよい。図３５の場合、感度Ｓ０の色バランス情報
と、感度Ｓ１の色バランス情報が算出される。
構成例を示している。感度別色バランス算出部８１は、
入力される色・感度モザイク画像の感度毎の色バランス
情報を算出する。その方法は、各感度について、各色の
平均を算出して用いてもよいし、既存の統計情報を用い
てもよい。図３５の場合、感度Ｓ０の色バランス情報
と、感度Ｓ１の色バランス情報が算出される。
【００９８】感度別色バランス情報合成部８２は、感度
別色バランス算出部８１によって算出される感度別の色
バランス情報を合成して１つの色バランス情報を生成す
る。色バランス調整部８３は、感度別色バランス情報合
成部８２によって生成される色バランス情報に基づき、
入力される色・感度モザイク画像の色バランスを補正す
る。色バランス補正済みの色・感度モザイク画像は、感
度別色画像生成部６２に供給される。
別色バランス算出部８１によって算出される感度別の色
バランス情報を合成して１つの色バランス情報を生成す
る。色バランス調整部８３は、感度別色バランス情報合
成部８２によって生成される色バランス情報に基づき、
入力される色・感度モザイク画像の色バランスを補正す
る。色バランス補正済みの色・感度モザイク画像は、感
度別色画像生成部６２に供給される。
【００９９】図３３に戻る。感度別色画像生成部６２
は、入力される色バランス補正済みの色・感度モザイク
画像のうち、同一の感度および色成分を有する画素を用
いた補間によって感度別色画像を生成する。いまの場
合、例えば、色バランス補正済みの色・感度モザイク画
像のうちの感度Ｓ０でＲ成分の画素だけに注目して、補
間により、感度Ｓ０でＲ成分の画素だけで構成される感
度別色画像Ｒ０を生成する。同様に、感度Ｓ１でＲ成分
の画素だけで構成される感度別色画像Ｒ１、感度Ｓ０で
Ｇ成分の画素だけで構成される感度別色画像Ｇ０、感度
Ｓ１でＧ成分の画素だけで構成される感度別色画像Ｇ
１、感度Ｓ０でＢ成分の画素だけで構成される感度別色
画像Ｂ０、および、感度Ｓ１でＢ成分の画素だけで構成
される感度別色画像Ｂ１を生成する。なお、補間以外の
方法によって、感度別色画像を生成するようにしてもよ
い。
は、入力される色バランス補正済みの色・感度モザイク
画像のうち、同一の感度および色成分を有する画素を用
いた補間によって感度別色画像を生成する。いまの場
合、例えば、色バランス補正済みの色・感度モザイク画
像のうちの感度Ｓ０でＲ成分の画素だけに注目して、補
間により、感度Ｓ０でＲ成分の画素だけで構成される感
度別色画像Ｒ０を生成する。同様に、感度Ｓ１でＲ成分
の画素だけで構成される感度別色画像Ｒ１、感度Ｓ０で
Ｇ成分の画素だけで構成される感度別色画像Ｇ０、感度
Ｓ１でＧ成分の画素だけで構成される感度別色画像Ｇ
１、感度Ｓ０でＢ成分の画素だけで構成される感度別色
画像Ｂ０、および、感度Ｓ１でＢ成分の画素だけで構成
される感度別色画像Ｂ１を生成する。なお、補間以外の
方法によって、感度別色画像を生成するようにしてもよ
い。
【０１００】画像合成部６３Ｒは、感度別色画像生成部
６２によって生成される感度別色画像Ｒ０，Ｒ１の対応
する画素対を合成して広ダイナミックレンジの色画像Ｒ
を生成する。
６２によって生成される感度別色画像Ｒ０，Ｒ１の対応
する画素対を合成して広ダイナミックレンジの色画像Ｒ
を生成する。
【０１０１】図３６は、画像合成部６３Ｒの構成例を示
している。加算部９１は、感度別色画像生成部６２によ
って生成される感度別色画像Ｒ０，Ｒ１の同一座標の画
素対を加算することによって加算画像を生成し、合成感
度補償部９２に出力する。合成感度補償部９２は、合成
感度補償関数を導出し、加算画像の画素（Ｒ0＋Ｒ1）に
対して、導出する合成感度補償関数を用いて感度補償を
施して広ダイナミックレンジの色画像Ｒを生成する。
している。加算部９１は、感度別色画像生成部６２によ
って生成される感度別色画像Ｒ０，Ｒ１の同一座標の画
素対を加算することによって加算画像を生成し、合成感
度補償部９２に出力する。合成感度補償部９２は、合成
感度補償関数を導出し、加算画像の画素（Ｒ0＋Ｒ1）に
対して、導出する合成感度補償関数を用いて感度補償を
施して広ダイナミックレンジの色画像Ｒを生成する。
【０１０２】ここで、合成感度補償部推定部９２が導出
する合成感度補償関数について、図３７乃至図３９を参
照して説明する。図３７において、横軸は入射光の強
度、縦軸は画素値を示しており、線ａ，ｂは、それぞ
れ、感度Ｓ０，Ｓ１の画素の感度特性を示している。同
図において、高い方の感度Ｓ１（線ｂ）は、低い方の感
度Ｓ０（線ａ）に対して４倍の感度を有している。
する合成感度補償関数について、図３７乃至図３９を参
照して説明する。図３７において、横軸は入射光の強
度、縦軸は画素値を示しており、線ａ，ｂは、それぞ
れ、感度Ｓ０，Ｓ１の画素の感度特性を示している。同
図において、高い方の感度Ｓ１（線ｂ）は、低い方の感
度Ｓ０（線ａ）に対して４倍の感度を有している。
【０１０３】合成感度補償部９２の前段である加算部９
１においては、図３７の特性曲線ａに示すような感度特
性で取得された画素Ｒ0と、同図の特性曲線ｂに示すよ
うな感度特性で取得された感度Ｓ１の画素Ｒ1が加算さ
れている。従って、それらの加算値Ｒ0＋Ｒ1は、特性曲
線ａと特性曲線ｂを合成した、図３８の特性曲線ｃが示
す感度特性を有することになる。
１においては、図３７の特性曲線ａに示すような感度特
性で取得された画素Ｒ0と、同図の特性曲線ｂに示すよ
うな感度特性で取得された感度Ｓ１の画素Ｒ1が加算さ
れている。従って、それらの加算値Ｒ0＋Ｒ1は、特性曲
線ａと特性曲線ｂを合成した、図３８の特性曲線ｃが示
す感度特性を有することになる。
【０１０４】したがって、加算画像の画素（Ｒ0＋Ｒ1）
は、広ダイナミックレンジではあるが、その感度特性
は、図３８の特性曲線ｃのように非線形（折れ線）とな
っている。そこで、非線形である加算画像の画素（Ｒ0
＋Ｒ1）の感度特性が線形となるように補償するため
に、加算画像の画素（Ｒ0＋Ｒ1）に、特性曲線ｃの逆特
性曲線ｄ（図３９）を合成感度補償関数として導出す
る。
は、広ダイナミックレンジではあるが、その感度特性
は、図３８の特性曲線ｃのように非線形（折れ線）とな
っている。そこで、非線形である加算画像の画素（Ｒ0
＋Ｒ1）の感度特性が線形となるように補償するため
に、加算画像の画素（Ｒ0＋Ｒ1）に、特性曲線ｃの逆特
性曲線ｄ（図３９）を合成感度補償関数として導出す
る。
【０１０５】なお、合成感度補償部９２が処理毎に合成
感度補償関数を導出するのではなく、合成感度補償関数
を合成感度補償部９２に予め供給するようにしてもよ
い。また、合成感度補償関数の代わりに、ルックアップ
テーブルを用いるようにしてもよい。
感度補償関数を導出するのではなく、合成感度補償関数
を合成感度補償部９２に予め供給するようにしてもよ
い。また、合成感度補償関数の代わりに、ルックアップ
テーブルを用いるようにしてもよい。
【０１０６】図３３に戻る。画像合成部６３Ｇは、感度
別色画像生成部６２によって生成される感度別色画像Ｇ
０，Ｇ１の対応する画素対を合成して広ダイナミックレ
ンジの色画像Ｇを生成する。画像合成部６３Ｂは、感度
別色画像生成部６２によって生成される感度別色画像Ｂ
０，Ｂ１の対応する画素対を合成して広ダイナミックレ
ンジの色画像Ｂを生成する。なお、画像合成部６３Ｇ，
６３Ｒの構成例は、図３６に示した画像合成部６３Ｒの
構成例と同様であるので、その説明は省略する。
別色画像生成部６２によって生成される感度別色画像Ｇ
０，Ｇ１の対応する画素対を合成して広ダイナミックレ
ンジの色画像Ｇを生成する。画像合成部６３Ｂは、感度
別色画像生成部６２によって生成される感度別色画像Ｂ
０，Ｂ１の対応する画素対を合成して広ダイナミックレ
ンジの色画像Ｂを生成する。なお、画像合成部６３Ｇ，
６３Ｒの構成例は、図３６に示した画像合成部６３Ｒの
構成例と同様であるので、その説明は省略する。
【０１０７】次に、画像処理部７によるデモザイク処理
について、図４０のフローチャートを参照して説明す
る。
について、図４０のフローチャートを参照して説明す
る。
【０１０８】なお、既に画像処理部７には、色・感度モ
ザイク画像と、色・感度モザイク画像の色・感度モザイ
クパターンを示す情報が供給されているものとする。
ザイク画像と、色・感度モザイク画像の色・感度モザイ
クパターンを示す情報が供給されているものとする。
【０１０９】ステップＳ１において、色バランス補正部
６１は、供給された色・モザイク画像の色バランスを補
正する。具体的には、図４１または図４２のフローチャ
ートに示す動作により、供給された色・モザイク画像の
色バランスを補正する。その後、色バランス補正部６１
は、色バランス補正済みの色・感度モザイク画像を、感
度別色画像生成部６２に供給する。
６１は、供給された色・モザイク画像の色バランスを補
正する。具体的には、図４１または図４２のフローチャ
ートに示す動作により、供給された色・モザイク画像の
色バランスを補正する。その後、色バランス補正部６１
は、色バランス補正済みの色・感度モザイク画像を、感
度別色画像生成部６２に供給する。
【０１１０】図４１のフローチャートは、色バランス補
正部６１の第１の構成例に対応する動作を示している。
ステップＳ１１において、色バランス算出部７１は、入
力された色・感度モザイク画像の全体から１つの色バラ
ンス情報を算出する。ステップＳ１２において、色バラ
ンス調整部７２は、色バランス算出部７１によって算出
された色バランス情報に基づき、入力された色・感度モ
ザイク画像の色バランスを調整する。
正部６１の第１の構成例に対応する動作を示している。
ステップＳ１１において、色バランス算出部７１は、入
力された色・感度モザイク画像の全体から１つの色バラ
ンス情報を算出する。ステップＳ１２において、色バラ
ンス調整部７２は、色バランス算出部７１によって算出
された色バランス情報に基づき、入力された色・感度モ
ザイク画像の色バランスを調整する。
【０１１１】図４２のフローチャートは、色バランス補
正部６１の第２の構成例に対応する動作を示している。
ステップＳ２１において、感度別色バランス算出部８１
は、入力された色・感度モザイク画像のうち、感度Ｓ０
の画素に基づいて感度Ｓ０の色バランス情報を生成し、
感度Ｓ１の画素に基づいて感度Ｓ１の色バランス情報を
生成する。ステップＳ２２において、感度別色バランス
情報合成部８２は、感度別色バランス算出部８１によっ
て算出された、感度Ｓ０の色バランス情報、および感度
Ｓ１の色バランス情報を合成して１つの色バランス情報
を生成する。ステップＳ２３において、色バランス調整
部８３は、感度別色バランス情報合成部８２によって生
成された色バランス情報に基づき、入力された色・感度
モザイク画像の色バランスを補正する。
正部６１の第２の構成例に対応する動作を示している。
ステップＳ２１において、感度別色バランス算出部８１
は、入力された色・感度モザイク画像のうち、感度Ｓ０
の画素に基づいて感度Ｓ０の色バランス情報を生成し、
感度Ｓ１の画素に基づいて感度Ｓ１の色バランス情報を
生成する。ステップＳ２２において、感度別色バランス
情報合成部８２は、感度別色バランス算出部８１によっ
て算出された、感度Ｓ０の色バランス情報、および感度
Ｓ１の色バランス情報を合成して１つの色バランス情報
を生成する。ステップＳ２３において、色バランス調整
部８３は、感度別色バランス情報合成部８２によって生
成された色バランス情報に基づき、入力された色・感度
モザイク画像の色バランスを補正する。
【０１１２】図４０に戻る。ステップＳ２において、感
度別色画像生成部６２は、色バランス補正部６１から供
給された色バランス補正済みの色・感度モザイク画像に
基づいて感度別色画像を生成する。
度別色画像生成部６２は、色バランス補正部６１から供
給された色バランス補正済みの色・感度モザイク画像に
基づいて感度別色画像を生成する。
【０１１３】ステップＳ３において、画像合成部６３Ｒ
は、感度別色画像生成部６２によって生成された感度別
色画像Ｒ０，Ｒ１の対応する画素対を合成して広ダイナ
ミックレンジの色画像Ｒを生成する。画像合成部６３Ｇ
は、感度別色画像生成部６２によって生成された感度別
色画像Ｇ０，Ｇ１の対応する画素対を合成して広ダイナ
ミックレンジの色画像Ｇを生成する。画像合成部６３Ｂ
は、感度別色画像生成部６２によって生成された感度別
色画像Ｂ０，Ｂ１の対応する画素対を合成して広ダイナ
ミックレンジの色画像Ｂを生成する。
は、感度別色画像生成部６２によって生成された感度別
色画像Ｒ０，Ｒ１の対応する画素対を合成して広ダイナ
ミックレンジの色画像Ｒを生成する。画像合成部６３Ｇ
は、感度別色画像生成部６２によって生成された感度別
色画像Ｇ０，Ｇ１の対応する画素対を合成して広ダイナ
ミックレンジの色画像Ｇを生成する。画像合成部６３Ｂ
は、感度別色画像生成部６２によって生成された感度別
色画像Ｂ０，Ｂ１の対応する画素対を合成して広ダイナ
ミックレンジの色画像Ｂを生成する。
【０１１４】ステップＳ３の画像合成部６３Ｒによる、
広ダイナミックレンジの色画像Ｒを生成する処理につい
て、図４３を参照して説明する。ステップＳ３１におい
て、加算部９１は、感度別色画像生成部６２によって生
成された感度別色画像Ｒ０，Ｒ１の同一座標の画素対を
加算して加算画像を生成し、合成感度補償部９２に出力
する。ステップＳ３２において、合成感度補償部９２
は、合成感度補償関数を導出する。なお、加算部９１に
よるステップＳ３１の処理と、合成感度補償部９２によ
るステップＳ３２の処理は、平行して同時に実行するよ
うにしてもよい。
広ダイナミックレンジの色画像Ｒを生成する処理につい
て、図４３を参照して説明する。ステップＳ３１におい
て、加算部９１は、感度別色画像生成部６２によって生
成された感度別色画像Ｒ０，Ｒ１の同一座標の画素対を
加算して加算画像を生成し、合成感度補償部９２に出力
する。ステップＳ３２において、合成感度補償部９２
は、合成感度補償関数を導出する。なお、加算部９１に
よるステップＳ３１の処理と、合成感度補償部９２によ
るステップＳ３２の処理は、平行して同時に実行するよ
うにしてもよい。
【０１１５】ステップＳ３３において、合成感度補償部
９２は、加算画像の画素（Ｒ0＋Ｒ1）に対し、導出した
合成感度補償関数を用いて感度補償を施すことによっ
て、広ダイナミックレンジの色画像Ｒを生成する。
９２は、加算画像の画素（Ｒ0＋Ｒ1）に対し、導出した
合成感度補償関数を用いて感度補償を施すことによっ
て、広ダイナミックレンジの色画像Ｒを生成する。
【０１１６】なお、画像合成部６３Ｇ，６３Ｂのそれぞ
れによる、広ダイナミックレンジの色画像Ｇ，Ｂを生成
する処理も同様である。
れによる、広ダイナミックレンジの色画像Ｇ，Ｂを生成
する処理も同様である。
【０１１７】図４０に戻る。以上、画像処理部７による
デモザイク処理の説明を終了する。
デモザイク処理の説明を終了する。
【０１１８】以上のように、画像処理部７によれば、色
・感度モザイク画像を元にして、全ての画素に対し、全
色を均一な感度で復元することが可能となる。これによ
り、広ダイナミックレンジ画像を生成することが可能と
なる。
・感度モザイク画像を元にして、全ての画素に対し、全
色を均一な感度で復元することが可能となる。これによ
り、広ダイナミックレンジ画像を生成することが可能と
なる。
【０１１９】また、特に、感度別色画像を生成した後に
色別画像を生成することにより、撮像素子が露出時間を
変更することで感度を変える方式の場合に発生する動き
のある被写体のブレ部分のノイズを緩和することがで
き、動被写体のブレ部分の再現性を向上させることが可
能となる。
色別画像を生成することにより、撮像素子が露出時間を
変更することで感度を変える方式の場合に発生する動き
のある被写体のブレ部分のノイズを緩和することがで
き、動被写体のブレ部分の再現性を向上させることが可
能となる。
【０１２０】さらに、色・感度モザイク画像の全ての画
素に対して、１つの色バランス情報を用いて補正を行う
ことにより、適正な色バランス補正を施すことが可能と
なる。
素に対して、１つの色バランス情報を用いて補正を行う
ことにより、適正な色バランス補正を施すことが可能と
なる。
【０１２１】なお、上述したように、画像処理部７によ
るデモザイク処理は任意の色・感度モザイクパターンを
有する色・感度モザイク画像に対して施すことが可能で
あるが、特に、色・感度モザイクパターンＰ１の色・感
度モザイク画像を処理対象とする場合において上述した
効果を奏することができる。
るデモザイク処理は任意の色・感度モザイクパターンを
有する色・感度モザイク画像に対して施すことが可能で
あるが、特に、色・感度モザイクパターンＰ１の色・感
度モザイク画像を処理対象とする場合において上述した
効果を奏することができる。
【０１２２】また、本発明は、本実施の形態のようなデ
ィジタルスチルカメラの他、画像処理を実施するあらゆ
る機器に適用することが可能である。
ィジタルスチルカメラの他、画像処理を実施するあらゆ
る機器に適用することが可能である。
【０１２３】ところで、上述した一連の処理は、ハード
ウェアにより実行させることもできるが、ソフトウェア
により実行させることもできる。一連の処理をソフトウ
ェアにより実行させる場合には、そのソフトウェアを構
成するプログラムが、専用のハードウェアに組み込まれ
ているコンピュータ、または、各種のプログラムをイン
ストールすることで、各種の機能を実行することが可能
な、例えば汎用のパーソナルコンピュータなどに、記録
媒体からインストールされる。
ウェアにより実行させることもできるが、ソフトウェア
により実行させることもできる。一連の処理をソフトウ
ェアにより実行させる場合には、そのソフトウェアを構
成するプログラムが、専用のハードウェアに組み込まれ
ているコンピュータ、または、各種のプログラムをイン
ストールすることで、各種の機能を実行することが可能
な、例えば汎用のパーソナルコンピュータなどに、記録
媒体からインストールされる。
【０１２４】この記録媒体は、図１に示すように、コン
ピュータとは別に、ユーザにプログラムを提供するため
に配布される、プログラムが記録されている磁気ディス
ク１６（フロッピディスクを含む）、光ディスク１７
（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digit
al Versatile Disc)を含む）、光磁気ディスク１８（Ｍ
Ｄ(Mini Disc)を含む）、もしくは半導体メモリ１９な
どよりなるパッケージメディアにより構成されるだけで
なく、コンピュータに予め組み込まれた状態でユーザに
提供される、プログラムが記録されているROMやハード
ディスクなどで構成される。
ピュータとは別に、ユーザにプログラムを提供するため
に配布される、プログラムが記録されている磁気ディス
ク１６（フロッピディスクを含む）、光ディスク１７
（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digit
al Versatile Disc)を含む）、光磁気ディスク１８（Ｍ
Ｄ(Mini Disc)を含む）、もしくは半導体メモリ１９な
どよりなるパッケージメディアにより構成されるだけで
なく、コンピュータに予め組み込まれた状態でユーザに
提供される、プログラムが記録されているROMやハード
ディスクなどで構成される。
【０１２５】なお、本明細書において、記録媒体に記録
されるプログラムを記述するステップは、記載された順
序に従って時系列的に行われる処理はもちろん、必ずし
も時系列的に処理されなくとも、並列的あるいは個別に
実行される処理をも含むものである。
されるプログラムを記述するステップは、記載された順
序に従って時系列的に行われる処理はもちろん、必ずし
も時系列的に処理されなくとも、並列的あるいは個別に
実行される処理をも含むものである。
【０１２６】
【発明の効果】以上のように、本発明によれば、画素毎
に色や感度が異なる色・感度モザイク画像を元にして、
各画素の感度特性が均一化されており、かつ、各画素が
色バランスの調整された全ての色成分を有し、かつ、ノ
イズが抑制された復元画像を生成することが可能とな
る。
に色や感度が異なる色・感度モザイク画像を元にして、
各画素の感度特性が均一化されており、かつ、各画素が
色バランスの調整された全ての色成分を有し、かつ、ノ
イズが抑制された復元画像を生成することが可能とな
る。
【図１】本発明を適用したディジタルスチルカメラの構
成例を示すブロック図である。
成例を示すブロック図である。
【図２】ディジタルスチルカメラの動作の概要を説明す
る図である。
る図である。
【図３】被写体の一例を示す図である。
【図４】図３に対応する色・感度モザイク画像の一例を
示す図である。
示す図である。
【図５】色・感度モザイクパターンＰ１を示す図であ
る。
る。
【図６】色・感度モザイクパターンＰ２を示す図であ
る。
る。
【図７】色・感度モザイクパターンＰ３を示す図であ
る。
る。
【図８】色・感度モザイクパターンＰ４を示す図であ
る。
る。
【図９】色・感度モザイクパターンＰ５を示す図であ
る。
る。
【図１０】色・感度モザイクパターンＰ６を示す図であ
る。
る。
【図１１】色・感度モザイクパターンＰ７を示す図であ
る。
る。
【図１２】色・感度モザイクパターンＰ８を示す図であ
る。
る。
【図１３】色・感度モザイクパターンＰ９を示す図であ
る。
る。
【図１４】色・感度モザイクパターンＰ１０を示す図で
ある。
ある。
【図１５】色・感度モザイクパターンＰ１１を示す図で
ある。
ある。
【図１６】色・感度モザイクパターンＰ１２を示す図で
ある。
ある。
【図１７】色・感度モザイクパターンＰ１３を示す図で
ある。
ある。
【図１８】色・感度モザイクパターンＰ１４を示す図で
ある。
ある。
【図１９】CCDイメージセンサ４の受光素子の断面を示
す図である。
す図である。
【図２０】感度のモザイク配列をオンチップレンズ２１
の有無に実現する方法を説明するための図である。
の有無に実現する方法を説明するための図である。
【図２１】感度のモザイク配列をオンチップＮＤフィル
タ３１の有無によって実現する方法を説明するための図
である。
タ３１の有無によって実現する方法を説明するための図
である。
【図２２】感度のモザイク配列をシールド２４の開口部
分の面積の広狭によって実現する方法を説明するための
図である。
分の面積の広狭によって実現する方法を説明するための
図である。
【図２３】感度のモザイク配列を電子的に実現する第１
の方法を説明するための図である。
の方法を説明するための図である。
【図２４】感度のモザイク配列を電子的に実現する第２
の方法を説明するための図である。
の方法を説明するための図である。
【図２５】ＯＲ型の電極構造を示す図である。
【図２６】ＯＲ型の電極構造の断面を示す図である。
【図２７】AND型の電極構造を示す図である。
【図２８】色・感度モザイクパターンＰ１を実現するた
めのＯＲ型の電極構造とAND型の電極構造の組み合わせ
を示す図である。
めのＯＲ型の電極構造とAND型の電極構造の組み合わせ
を示す図である。
【図２９】色・感度モザイクパターンＰ２を実現するた
めのＯＲ型の電極構造とAND型の電極構造の組み合わせ
を示す図である。
めのＯＲ型の電極構造とAND型の電極構造の組み合わせ
を示す図である。
【図３０】色・感度モザイクパターンＰ３を実現するた
めのＯＲ型の電極構造とAND型の電極構造の組み合わせ
を示す図である。
めのＯＲ型の電極構造とAND型の電極構造の組み合わせ
を示す図である。
【図３１】色・感度モザイクパターンＰ４を実現するた
めのＯＲ型の電極構造とAND型の電極構造の組み合わせ
を示す図である。
めのＯＲ型の電極構造とAND型の電極構造の組み合わせ
を示す図である。
【図３２】色・感度モザイクパターンＰ５を実現するた
めのＯＲ型の電極構造とAND型の電極構造の組み合わせ
を示す図である。
めのＯＲ型の電極構造とAND型の電極構造の組み合わせ
を示す図である。
【図３３】画像処理部７の構成例を示すブロック図であ
る。
る。
【図３４】図３３の色バランス補正部６１の第１の構成
例を示すブロック図である。
例を示すブロック図である。
【図３５】図３３の色バランス補正部６１の第２の構成
例を示すブロック図である。
例を示すブロック図である。
【図３６】図３３の画像合成部６３Ｒの構成例を示すブ
ロック図である。
ロック図である。
【図３７】合成感度補償部９２によって導出される合成
感度補償関数について説明するための図である。
感度補償関数について説明するための図である。
【図３８】合成感度補償部９２によって導出される合成
感度補償関数について説明するための図である。
感度補償関数について説明するための図である。
【図３９】合成感度補償部９２によって導出される合成
感度補償関数を示す図である。
感度補償関数を示す図である。
【図４０】画像処理部７によるデモザイク処理を説明す
るフローチャートである。
るフローチャートである。
【図４１】図３４に示した色バランス補正部６１の第１
の構成例による動作を説明するフローチャートである。
の構成例による動作を説明するフローチャートである。
【図４２】図３５に示した色バランス補正部６１の第１
の構成例による動作を説明するフローチャートである。
の構成例による動作を説明するフローチャートである。
【図４３】画像合成部６３Ｒによる色画像合成処理を説
明するフローチャートである。
明するフローチャートである。
７ 画像処理部， １４ 制御部， １６ 磁気ディス
ク， １７ 光ディスク， １８ 光磁気ディスク，
１９ 半導体メモリ， ６１ 色バランス補正部， ６
２ 感度別色画像生成部， ６３Ｒ，６３Ｇ，６３Ｂ
画像合成部，７１ 色バランス算出部， ７２ 色バラ
ンス調整部， ８１ 感度別色バランス算出部， ８２
感度別色バランス情報合成部， ８３ 色バランス調
整部，９１ 加算部， ９２ 合成感度補償部
ク， １７ 光ディスク， １８ 光磁気ディスク，
１９ 半導体メモリ， ６１ 色バランス補正部， ６
２ 感度別色画像生成部， ６３Ｒ，６３Ｇ，６３Ｂ
画像合成部，７１ 色バランス算出部， ７２ 色バラ
ンス調整部， ８１ 感度別色バランス算出部， ８２
感度別色バランス情報合成部， ８３ 色バランス調
整部，９１ 加算部， ９２ 合成感度補償部
フロントページの続き
(51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考）
Ｈ０４Ｎ 1/60 Ｈ０４Ｎ 1/46 Ａ
(72)発明者 小林 誠司
東京都品川区東五反田１丁目14番10号 株
式会社ソニー木原研究所内
Ｆターム(参考） 5B057 CA01 CA08 CA12 CB01 CB08
CB12 CE11 CE16
5C065 CC01 CC09 DD02 DD17 EE10
EE11 EE17
5C077 MM03 MP08 PP23 PP32 PP33
PQ12 PQ22 RR01 RR19 TT09
5C079 HB01 HB02 JA23 LA23 LA40
MA01 MA11
Claims (15)
- 【請求項１】 各画素が複数の色成分のうちのいずれか
の色成分を有し、かつ、光強度に対する複数の感度特性
のうちのいずれかの感度特性を有する色・感度モザイク
画像を元にして、各画素の感度特性が均一化されてお
り、かつ、各画素が前記複数の色成分を有する復元画像
を生成する画像処理装置において、 前記色・感度モザイク画像の色成分と感度特性の配列を
示す色・感度モザイクパターン情報に基づき、前記色・
感度モザイク画像を元にして、各画素の感度特性が均一
であって、かつ、各画素の単一の色成分を有する感度別
色画像を生成する感度別色画像生成手段と、 前記感度別色画像生成手段によって生成された、同一の
色成分を有し、感度特性が異なる複数の前記感度別色画
像を合成して広ダイナミックレンジの色画像を生成する
合成手段とを含むことを特徴とする画像処理装置。 - 【請求項２】 前記感度別色画像生成手段は、前記色・
感度モザイク画像を構成する全ての画素のうち、同一の
感度特性を有し、かつ、同一の色成分を有する画素を用
いた補間処理によって前記感度別色画像を生成すること
を特徴とする請求項１に記載の画像処理装置。 - 【請求項３】 前記合成手段は、 前記複数の前記感度別色画像の対応する画素同士を加算
して加算画像を生成する加算手段と、 前記加算画像を構成する画素の感度特性を補償する感度
特性補償手段とを含むことを特徴とする請求項１に記載
の画像処理装置。 - 【請求項４】 各画素が複数の色成分のうちのいずれか
の色成分を有し、かつ、光強度に対する複数の感度特性
のうちのいずれかの感度特性を有する色・感度モザイク
画像を元にして、各画素の感度特性が均一化されてお
り、かつ、各画素が前記複数の色成分を有する復元画像
を生成する画像処理装置の画像処理方法において、 前記色・感度モザイク画像の色成分と感度特性の配列を
示す色・感度モザイクパターン情報に基づき、前記色・
感度モザイク画像を元にして、各画素の感度特性が均一
であって、かつ、各画素の単一の色成分を有する感度別
色画像を生成する感度別色画像生成ステップと、 前記感度別色画像生成ステップの処理で生成された、同
一の色成分を有し、感度特性が異なる複数の前記感度別
色画像を合成して広ダイナミックレンジの色画像を生成
する合成ステップとを含むことを特徴とする画像処理方
法。 - 【請求項５】 各画素が複数の色成分のうちのいずれか
の色成分を有し、かつ、光強度に対する複数の感度特性
のうちのいずれかの感度特性を有する色・感度モザイク
画像を元にして、各画素の感度特性が均一化されてお
り、かつ、各画素が前記複数の色成分を有する復元画像
を生成するためのプログラムであって、 前記色・感度モザイク画像の色成分と感度特性の配列を
示す色・感度モザイクパターン情報に基づき、前記色・
感度モザイク画像を元にして、各画素の感度特性が均一
であって、かつ、各画素の単一の色成分を有する感度別
色画像を生成する感度別色画像生成ステップと、 前記感度別色画像生成ステップの処理で生成された、同
一の色成分を有し、感度特性が異なる複数の前記感度別
色画像を合成して広ダイナミックレンジの色画像を生成
する合成ステップとを含むことを特徴とするコンピュー
タが読み取り可能なプログラムが記録されている記録媒
体。 - 【請求項６】 各画素が複数の色成分のうちのいずれか
の色成分を有し、かつ、光強度に対する複数の感度特性
のうちのいずれかの感度特性を有する色・感度モザイク
画像を元にして、各画素の感度特性が均一化されてお
り、かつ、各画素が前記複数の色成分を有する復元画像
を生成するコンピュータに、 前記色・感度モザイク画像の色成分と感度特性の配列を
示す色・感度モザイクパターン情報に基づき、前記色・
感度モザイク画像を元にして、各画素の感度特性が均一
であって、かつ、各画素の単一の色成分を有する感度別
色画像を生成する感度別色画像生成ステップと、 前記感度別色画像生成ステップの処理で生成された、同
一の色成分を有し、感度特性が異なる複数の前記感度別
色画像を合成して広ダイナミックレンジの色画像を生成
する合成ステップとを実行させるプログラム。 - 【請求項７】 各画素が複数の色成分のうちのいずれか
の色成分を有し、かつ、光強度に対する複数の感度特性
のうちのいずれかの感度特性を有する色・感度モザイク
画像を元にして、各画素の感度特性が均一化されてお
り、かつ、各画素が前記複数の色成分を有する復元画像
を生成する画像処理装置において、 前記色・感度モザイク画像に対応する色バランス情報を
算出する色バランス情報算出手段と、 前記色バランス情報に基づき、前記色・感度モザイク画
像の色バランスを補正する補正手段とを含むことを特徴
とする画像処理装置。 - 【請求項８】 前記色バランス情報算出手段は、前記色
・感度モザイク画像を構成する画素の感度特性に拘わら
ず色成分に注目して、前記色・感度モザイク画像に対応
する前記色バランス情報を算出することを特徴とする請
求項７に記載の画像処理装置。 - 【請求項９】 前記色バランス情報算出手段は、前記色
・感度モザイク画像を構成する画素の感度特性毎に色成
分に注目して感度別色バランス情報を算出し、算出した
複数の前記感度別色バランス情報を合成して、前記色・
感度モザイク画像に対応する前記色バランス情報を算出
することを特徴とする請求項７に記載の画像処理装置。 - 【請求項１０】 前記色・感度モザイク画像の色成分と
感度特性の配列を示す色・感度モザイクパターン情報に
基づき、前記補正手段によって色バランスが補正された
前記色・感度モザイク画像を元にして、各画素の感度特
性が均一であって、かつ、各画素の単一の色成分を有す
る感度別色画像を生成する感度別色画像生成手段と、 前記感度別色画像生成手段によって生成された、同一の
色成分を有し、感度特性が異なる複数の前記感度別色画
像を合成して広ダイナミックレンジの色画像を生成する
合成手段とをさらに含むことを特徴とする請求項７に記
載の画像処理装置。 - 【請求項１１】 前記感度別色画像生成手段は、前記補
正手段によって色バランスが補正された前記色・感度モ
ザイク画像を構成する全ての画素のうち、同一の感度特
性を有し、かつ、同一の色成分を有する画素を用いた補
間処理によって前記感度別色画像を生成することを特徴
とする請求項１０に記載の画像処理装置。 - 【請求項１２】 前記合成手段は、 前記複数の前記感度別色画像の対応する画素同士を加算
して加算画像を生成する加算手段と、 前記加算画像を構成する画素の感度特性を補償する感度
特性補償手段とを含むことを特徴とする請求項１０に記
載の画像処理装置。 - 【請求項１３】 各画素が複数の色成分のうちのいずれ
かの色成分を有し、かつ、光強度に対する複数の感度特
性のうちのいずれかの感度特性を有する色・感度モザイ
ク画像を元にして、各画素の感度特性が均一化されてお
り、かつ、各画素が前記複数の色成分を有する復元画像
を生成する画像処理装置の画像処理方法において、 前記色・感度モザイク画像に対応する色バランス情報を
算出する色バランス情報算出ステップと、 前記色バランス情報に基づき、前記色・感度モザイク画
像の色バランスを補正する補正ステップとを含むことを
特徴とする画像処理方法。 - 【請求項１４】 各画素が複数の色成分のうちのいずれ
かの色成分を有し、かつ、光強度に対する複数の感度特
性のうちのいずれかの感度特性を有する色・感度モザイ
ク画像を元にして、各画素の感度特性が均一化されてお
り、かつ、各画素が前記複数の色成分を有する復元画像
を生成するためのプログラムであって、 前記色・感度モザイク画像に対応する色バランス情報を
算出する色バランス情報算出ステップと、 前記色バランス情報に基づき、前記色・感度モザイク画
像の色バランスを補正する補正ステップとを含むことを
特徴とするコンピュータが読み取り可能なプログラムが
記録されている記録媒体。 - 【請求項１５】 各画素が複数の色成分のうちのいずれ
かの色成分を有し、かつ、光強度に対する複数の感度特
性のうちのいずれかの感度特性を有する色・感度モザイ
ク画像を元にして、各画素の感度特性が均一化されてお
り、かつ、各画素が前記複数の色成分を有する復元画像
を生成するコンピュータに、 前記色・感度モザイク画像に対応する色バランス情報を
算出する色バランス情報算出ステップと、 前記色バランス情報に基づき、前記色・感度モザイク画
像の色バランスを補正する補正ステップとを実行させる
プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002025318A JP3965555B2 (ja) | 2002-02-01 | 2002-02-01 | 画像処理装置および方法、プログラム、並びに記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002025318A JP3965555B2 (ja) | 2002-02-01 | 2002-02-01 | 画像処理装置および方法、プログラム、並びに記録媒体 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007061368A Division JP4645607B2 (ja) | 2007-03-12 | 2007-03-12 | 画像処理装置および方法、プログラム、並びに記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003230158A true JP2003230158A (ja) | 2003-08-15 |
| JP3965555B2 JP3965555B2 (ja) | 2007-08-29 |
Family
ID=27747505
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002025318A Expired - Fee Related JP3965555B2 (ja) | 2002-02-01 | 2002-02-01 | 画像処理装置および方法、プログラム、並びに記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3965555B2 (ja) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005110104A (ja) * | 2003-10-01 | 2005-04-21 | Sony Corp | 固体撮像装置 |
| JP2005151549A (ja) * | 2003-10-23 | 2005-06-09 | Sony Corp | 画像処理装置および画像処理方法、並びに、プログラム |
| WO2005069376A1 (ja) * | 2004-01-15 | 2005-07-28 | Matsushita Electric Industrial Co.,Ltd. | 固体撮像装置、固体撮像装置の製造方法及びこれを用いたカメラ |
| WO2005112470A1 (ja) * | 2004-05-13 | 2005-11-24 | Olympus Corporation | 画像処理装置および画像処理プログラム |
| WO2010089830A1 (ja) * | 2009-02-03 | 2010-08-12 | パナソニック株式会社 | 撮像装置 |
| JP2010539745A (ja) * | 2007-10-03 | 2010-12-16 | ノキア コーポレイション | 画像のダイナミック・レンジを改善するためのマルチ露光パターン |
| WO2011089869A1 (ja) * | 2010-01-20 | 2011-07-28 | キヤノン株式会社 | 撮像装置、撮像装置の制御方法 |
| JP2012169705A (ja) * | 2011-02-09 | 2012-09-06 | Canon Inc | 撮像装置 |
| US9092880B2 (en) | 2012-11-20 | 2015-07-28 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
| JP2020039130A (ja) * | 2015-09-30 | 2020-03-12 | 株式会社ニコン | 撮像装置 |
-
2002
- 2002-02-01 JP JP2002025318A patent/JP3965555B2/ja not_active Expired - Fee Related
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7932943B2 (en) | 2003-10-01 | 2011-04-26 | Sony Corporation | Solid state imaging device |
| JP2005110104A (ja) * | 2003-10-01 | 2005-04-21 | Sony Corp | 固体撮像装置 |
| US7714916B2 (en) | 2003-10-01 | 2010-05-11 | Sony Corporation | Solid-state imaging device |
| JP2005151549A (ja) * | 2003-10-23 | 2005-06-09 | Sony Corp | 画像処理装置および画像処理方法、並びに、プログラム |
| JP4501070B2 (ja) * | 2003-10-23 | 2010-07-14 | ソニー株式会社 | 画像処理装置および画像処理方法、並びに、プログラム |
| WO2005069376A1 (ja) * | 2004-01-15 | 2005-07-28 | Matsushita Electric Industrial Co.,Ltd. | 固体撮像装置、固体撮像装置の製造方法及びこれを用いたカメラ |
| US7759679B2 (en) | 2004-01-15 | 2010-07-20 | Panasonic Corporation | Solid-state imaging device, manufacturing method of solid-state imaging device, and camera employing same |
| US8259202B2 (en) | 2004-05-13 | 2012-09-04 | Olympus Corporation | Image processing device and image processing program for acquiring specific color component based on sensitivity difference between pixels of an imaging device |
| WO2005112470A1 (ja) * | 2004-05-13 | 2005-11-24 | Olympus Corporation | 画像処理装置および画像処理プログラム |
| JP2010539745A (ja) * | 2007-10-03 | 2010-12-16 | ノキア コーポレイション | 画像のダイナミック・レンジを改善するためのマルチ露光パターン |
| EP2193656B1 (en) * | 2007-10-03 | 2016-04-13 | Nokia Technologies Oy | Multi-exposure pattern for enhancing dynamic range of images |
| WO2010089830A1 (ja) * | 2009-02-03 | 2010-08-12 | パナソニック株式会社 | 撮像装置 |
| WO2011089869A1 (ja) * | 2010-01-20 | 2011-07-28 | キヤノン株式会社 | 撮像装置、撮像装置の制御方法 |
| JP2011172211A (ja) * | 2010-01-20 | 2011-09-01 | Canon Inc | 撮像装置、撮像装置の制御方法 |
| US8466993B2 (en) | 2010-01-20 | 2013-06-18 | Canon Kabushiki Kaisha | Image sensing using solid-state image sensing elements |
| JP2012169705A (ja) * | 2011-02-09 | 2012-09-06 | Canon Inc | 撮像装置 |
| US9092880B2 (en) | 2012-11-20 | 2015-07-28 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
| JP2020039130A (ja) * | 2015-09-30 | 2020-03-12 | 株式会社ニコン | 撮像装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3965555B2 (ja) | 2007-08-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4019417B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
| JP5007767B2 (ja) | 画像処理装置および方法 | |
| JP4228699B2 (ja) | 撮像装置、および撮像素子 | |
| US5543837A (en) | Dual-type imaging device having multiple light sensitive elements | |
| EP3618430B1 (en) | Solid-state image capturing device and electronic instrument | |
| JP3704238B2 (ja) | 撮像装置 | |
| JP2002209223A (ja) | 画像処理装置および方法、並びに記録媒体 | |
| TW200904204A (en) | Methods, systems and apparatuses for high-quality green imbalance compensation in images | |
| JP2001285885A (ja) | 固体撮像装置および信号処理方法 | |
| JP2004056422A (ja) | 固体撮像装置およびその測光方法 | |
| JP3965555B2 (ja) | 画像処理装置および方法、プログラム、並びに記録媒体 | |
| JPH09238355A (ja) | 撮像デバイスのラインノイズ除去方法及びそれを用いたラインノイズ除去装置 | |
| JP4317117B2 (ja) | 固体撮像装置および撮像方法 | |
| JP5607265B2 (ja) | 撮像装置、撮像装置の制御方法、及び制御プログラム | |
| JP2009021985A (ja) | 撮像装置及び撮像装置の駆動方法 | |
| JP4645607B2 (ja) | 画像処理装置および方法、プログラム、並びに記録媒体 | |
| JP4279562B2 (ja) | 固体撮像装置の制御方法 | |
| JP2004172859A (ja) | 撮像装置および撮像方法 | |
| JP2004172858A (ja) | 撮像装置および撮像方法 | |
| JP2001078208A (ja) | 固体撮像装置および信号読出し方法 | |
| JP3490748B2 (ja) | 測光装置 | |
| JP4482781B2 (ja) | 撮像装置および方法 | |
| JP2013090106A (ja) | 撮像装置及び撮像装置の制御方法 | |
| JPH06225204A (ja) | スチルビデオカメラ | |
| JP2010245858A (ja) | 画像処理装置、画像処理方法および画像処理プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041201 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061226 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070109 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070312 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070502 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070515 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100608 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100608 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110608 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110608 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120608 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120608 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130608 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |