JP2020078044A - 信号処理装置及び信号処理方法 - Google Patents

信号処理装置及び信号処理方法 Download PDF

Info

Publication number
JP2020078044A
JP2020078044A JP2019136724A JP2019136724A JP2020078044A JP 2020078044 A JP2020078044 A JP 2020078044A JP 2019136724 A JP2019136724 A JP 2019136724A JP 2019136724 A JP2019136724 A JP 2019136724A JP 2020078044 A JP2020078044 A JP 2020078044A
Authority
JP
Japan
Prior art keywords
light
signal
photoelectric conversion
conversion layer
absorption correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019136724A
Other languages
English (en)
Other versions
JP7442990B2 (ja
Inventor
田岡　峰樹
Mineki Taoka
峰樹 田岡
敬 岡崎
Takashi Okazaki
敬 岡崎
ヨンワン ジン
Yongwan Jing
ヨンワン ジン
キョンベ パク
Kyungbae Park
キョンベ パク
ゲファン イ
Gaehuang Lee
ゲファン イ
チョルジュン ホ
Cheoljung Ho
チョルジュン ホ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority to US16/675,698 priority Critical patent/US11317068B2/en
Priority to KR1020190141577A priority patent/KR102649298B1/ko
Publication of JP2020078044A publication Critical patent/JP2020078044A/ja
Application granted granted Critical
Publication of JP7442990B2 publication Critical patent/JP7442990B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

【課題】色再現性、色解像度に優れた信号処理装置及び信号処理方法を提供する。【解決手段】青色の光及び赤色の光を光電変換する第１の光電変換層Ｌ１と、第１の光電変換層Ｌ１よりも入射光が入射する側に設けられ、緑色の光を光電変換する第２の光電変換層Ｌ２と、を備える光電変換部材によって生成される信号を処理する信号処理装置であって、第１の光電変換層Ｌ１による光電変換によって得られる青色の光の信号及び赤色の光の信号の少なくとも一方を、第２の光電変換層Ｌ２による光電変換によって得られる緑色の光の信号を用いて補間する補間部と、補間部によって補間された青色の光の信号及び赤色の光の信号の少なくとも一方を用いて、緑色の光の信号の吸収補正を行う吸収補正部と、を備える。【選択図】図３

Description

本発明は、信号処理装置及び信号処理方法に関する。
デジタルカメラ等で用いられる光電変換部材は、シリコン（Silicon）を単一材料として用いて発展してきた。しかしながら、シリコンを単一材料として用いると、バンドギャップ（Band Gap）が固定となり、かつ、表面にしか色フィルタ（Filter）を構成することができない。そのため、シリコンを単一材料として用いる光電変換部材では、赤色の画素、緑色の画素、及び、青色の画素を面方向に配列する以外に、単板でカラー撮像を行うことができない。以下、赤色を「Ｒ」又は「Ｒｅｄ」、緑色を「Ｇ」又は「Ｇｒｅｅｎ」、青色を「Ｂ」又は「Ｂｌｕｅ」と称する場合がある。
また、上記のような光電変換部材を用いて、より高解像度の被写体を撮像する場合、輝度モアレ（Moire）や色モアレが発生してしまう場合がある。そのため、当該輝度モアレや色モアレを抑制するために、撮像装置に光学ローパスフィルタ（Low Pass Filter）を搭載する必要が生じる。しかしながら、撮像装置に光学ローパスフィルタを搭載すると、解像度が低下してしまう。
そこで、特許文献１では、Ｂｌｕｅの画素及びＲｅｄの画素を配列したシリコン膜の入射光の入射する側にＧｒｅｅｎの画素を配列したシリコン膜が積層された光電変換部材が開示されている。特許文献１に記載された光電変換部材では、当該光電変換部材の全面にＧｒｅｅｎの波長を吸収する画素が存在するため、理論的に輝度モアレが発生せず、色モアレも大幅に抑制することができる。
しかしながら、特許文献１に記載された光電変換部材では、上層側に位置するＧｒｅｅｎの波長を吸収する画素によって、Ｂｌｕｅの波長及びＲｅｄの波長も一部吸収されてしまうという場合がある。そのため、色再現性が悪化し、Ｂｌｕｅ領域のノイズ耐性が悪化し、色解像度も悪化してしまう。そこで、特許文献２には、Ｇｒｅｅｎの画素の信号をＢｌｕｅの画素の信号及びＲｅｄの画素の信号の少なくとも一方を用いて補正（吸収補正）することが記載されている。
特許第４７００９４７号公報 米国特許出願公開第２０１４／１１８５７９号明細書
しかしながら、特許文献１に記載された光電変換部材では、Ｂｌｕｅの画素及びＲｅｄの画素が市松模様のように配列されているため、Ｇｒｅｅｎの画素に対してＢｌｕｅ及びＲｅｄの画素は半分程度しか存在しない。そのため、Ｇｒｅｅｎの吸収補正が市松模様状になってしまう。そのため、色再現性、色解像度が劣化してしまう。
本発明は、上記問題に鑑みてなされたものであり、本発明の目的は、色再現性、色解像度に優れた信号処理装置及び信号処理方法を提供することである。
本発明の第１の態様に係る信号処理装置は、第１の光及び前記第１の光と異なる波長の第２の光を光電変換する第１の光電変換層と、前記第１の光電変換層よりも入射光が入射する側に設けられ、前記第１の光及び前記第２の光とは異なる波長の第３の光を光電変換する第２の光電変換層と、を備える光電変換部材によって生成される信号を処理する信号処理装置であって、前記第１の光電変換層による光電変換によって得られる前記第１の光の信号及び前記第２の光の信号の少なくとも一方を、前記第２の光電変換層による光電変換によって得られる前記第３の光の信号を用いて補間する補間部と、前記補間部によって補間された前記第１の光の信号及び前記第２の光の信号の少なくとも一方を用いて、前記第３の光の信号の吸収補正を行う吸収補正部と、を備える。
本発明の第１の態様に係る信号処理装置によれば、第３の光の信号の吸収補正を行う前に、第１の光の信号及び第２の光の信号の少なくとも一方が、第３の光の信号を用いて補間される。そのため、補間された第１の光の信号及び第２の光の信号の少なくとも一方を用いて第３の光の信号を吸収補正することができる。すなわち、第３の光の信号の吸収補正が市松模様状になってしまうことを防ぐことができる。よって、本発明の第１の態様に係る信号処理装置は、色再現性、色解像度に優れた信号処理を行うことができる。
また、前記補間部は、前記第２の光電変換層による光電変換によって得られた前記第３の光の信号の強度勾配情報を用いて、前記第１の光電変換層による光電変換によって得られる前記第１の光の信号及び前記第２の光の信号の少なくとも一方を補間することが好ましい。
第２の光電変換層が第１の光及び第２の光の少なくとも一方を一部吸収するため、第２の光電変換層による光電変換によって得られた第３の光の信号には、第１の光の信号の成分の一部及び第２の光の信号の成分の一部の少なくとも一方が含まれている。そのため、第２の光電変換層による光電変換によって得られた第３の光の信号の強度勾配情報を用いて、第１の光電変換層による光電変換によって得られる第１の光の信号及び第２の光の信号の少なくとも一方を補間することによって、より高い精度で補間を行うことができる。
また、前記吸収補正部は、前記第２の光電変換層によって吸収された前記第１の光の成分及び前記第２の光の成分の少なくとも一方を考慮して決定された補正値αを用いて、前記第１の光の信号値にα／（１−α）を乗じて得られる値を前記第３の光の信号から減算することにより、前記第３の光の信号の吸収補正を行うことが好ましい。
第２の光電変換層によって一部吸収された第１の光の成分及び第２の光の成分の少なくとも一方を考慮して決定された補正値αを用いて第３の光の信号の吸収補正を行うことにより、より高い精度で吸収補正を行うことができる。
本発明の第２の態様に係る信号処理装置は、第１の光及び前記第１の光と異なる波長の第２の光を光電変換する第１の光電変換層と、前記第１の光電変換層よりも入射光が入射する側に設けられ、前記第１の光及び前記第２の光とは異なる波長の第３の光を光電変換する第２の光電変換層と、を備える光電変換部材によって生成される信号を処理する信号処理装置であって、前記第１の光電変換層による光電変換によって得られる前記第１の光の信号を、前記第２の光電変換層による光電変換によって得られる前記第３の光の信号を用いて補間する第１の補間部と、前記第１の補間部によって補間された前記第１の光の信号を用いて、前記第３の光の信号の吸収補正を行う第１の吸収補正部と、前記第１の吸収補正部によって吸収補正された第３の光の信号を用いて前記第１の光電変換層による光電変換によって得られる前記第２の光の信号を補間する第２の補間部と、を備える。
本発明の第２の態様に係る信号処理装置によれば、第３の光の信号の吸収補正を行う前に、第１の光の信号が第３の光の信号を用いて補間される。そのため、補間された第１の光の信号を用いて第３の光の信号を吸収補正することができる。すなわち、第３の光の信号の吸収補正が市松模様状になってしまうことを防ぐことができる。よって、本発明の第２の態様に係る信号処理装置は、色再現性、色解像度に優れた信号処理を行うことができる。また、第２の光電変換層が第１の光を一部吸収するため、第２の光電変換層による光電変換によって得られた第３の光の信号には、第１の光の信号の成分が一部含まれている。しかし、吸収補正された第３の光の信号を用いて第２の光の信号が補間されるため、第３の光の信号に含まれていた第１の光の信号の成分を除いた状態で、第２の光の信号を補間することができる。これにより、さらに高い精度で第２の光の信号の補間を行うことができる。
また、第１の補間部は、前記第２の光電変換層による光電変換によって得られた前記第３の光の信号の強度勾配情報を用いて、前記第１の光電変換層による光電変換によって得られる前記第１の光の信号を補間することが好ましい。
第２の光電変換層が第１の光を一部吸収するため、第２の光電変換層による光電変換によって得られた第３の光の信号には、第１の光の信号の成分が一部含まれている。そのため、第２の光電変換層による光電変換によって得られた第３の光の信号の強度勾配情報を用いて、第１の光電変換層による光電変換によって得られる第１の光の信号を補間することによって、より高い精度で第１の光の信号の補間を行うことができる。
また、前記第２の補間部は、前記第１の吸収補正部によって吸収補正された第３の光の信号の強度勾配情報を用いて、前記第１の光電変換層による光電変換によって得られる前記第２の光の信号を補間することが好ましい。
第２の光電変換層が第２の光を一部吸収するため、第２の光電変換層による光電変換によって得られた第３の光の信号には、第２の光の信号の成分が一部含まれている。そのため、第２の光電変換層による光電変換によって得られた第３の光の信号の強度勾配情報を用いて、第１の光電変換層による光電変換によって得られる第２の光の信号を補間することによって、より高い精度で第２の光の信号の補間を行うことができる。
また、第２の光電変換層が第１の光を一部吸収するため、第２の光電変換層による光電変換によって得られた第３の光の信号には、第１の光の信号の成分が一部含まれている。しかし、第１の吸収補正部によって吸収補正された第３の光の信号の強度勾配情報を用いて第２の光の信号が補間されるため、第３の光の信号に含まれていた第１の光の信号の成分を除いた状態で、第２の光の信号を補間することができる。これにより、さらに高い精度で第２の光の信号の補間を行うことができる。
また、前記第１の吸収補正部は、前記第２の光電変換層によって吸収された前記第１の光の成分を考慮して決定された補正値αを用いて、前記第１の光の信号値にα／（１−α）を乗じて得られる値を前記第３の光の信号から減算することにより、前記第３の光の信号の吸収補正を行うことが好ましい。
第２の光電変換層によって一部吸収された第１の光の成分を考慮して決定された補正値αを用いて第３の光の信号の吸収補正を行うことにより、より高い精度で吸収補正を行うことができる。
また、前記第２の補間部によって補間された前記第２の光の信号を用いて、前記第１の吸収補正部によって吸収補正された前記第３の光の信号の吸収補正を行う第２の吸収補正部をさらに備えることが好ましい。
補間処理された第１の光の信号を用いて、第３の光の信号に対して吸収補正処理を行うだけでなく、補間処理された第２の光の信号を用いてさらに吸収補正処理を行う。これにより、さらに色再現性の高い第３の光の信号を生成することができる。
また、本発明の第１の態様及び第２の態様に係る信号処理装置において、前記第１の光電変換層は、前記第１の光として青色の光、及び、前記第２の光として赤色の光を光電変換し、前記第２の光電変換層は、前記第３の光として緑色の光を光電変換することが更に好ましい。
これにより、緑色の光を吸収する第２の光電変換層によって、より吸収されやすい青色の光を用いて緑色の光の信号の吸収補正を行うことができる。そのため、色再現性、色解像度に更に優れた信号処理を行うことができる。
本発明の第３の態様に係る信号処理方法は、第１の光及び前記第１の光と異なる波長の第２の光を光電変換する第１の光電変換層と、前記第１の光電変換層よりも入射光が入射する側に設けられ、前記第１の光及び前記第２の光とは異なる波長の第３の光を光電変換する第２の光電変換層と、を備える光電変換部材によって生成される信号を処理する信号処理方法であって、前記第１の光電変換層による光電変換によって得られる前記第１の光の信号及び前記第２の光の信号の少なくとも一方を、前記第２の光電変換層による光電変換によって得られる前記第３の光の信号を用いて補間する補間ステップと、前記補間部によって補間された前記第１の光の信号及び前記第２の光の信号の少なくとも一方を用いて、前記第３の光の信号の吸収補正を行う吸収補正ステップと、を備える。
本発明の第３の態様に係る信号処理方法では、第３の光の信号の吸収補正を行う前に、第１の光の信号及び第２の光の信号の少なくとも一方が、第３の光の信号を用いて補間される。そのため、補間された第１の光の信号及び第２の光の信号の少なくとも一方を用いて第３の光の信号を吸収補正することができる。すなわち、第３の光の信号の吸収補正が市松模様状になってしまうことを防ぐことができる。よって、本発明の第３の態様に係る信号処理方法によれば、色再現性、色解像度に優れた信号処理を行うことができる。
また、前記補間ステップにおいて、前記第２の光電変換層による光電変換によって得られた前記第３の光の信号の強度勾配情報を用いて、前記第１の光電変換層による光電変換によって得られる前記第１の光の信号及び前記第２の光の信号の少なくとも一方を補間することが好ましい。
第２の光電変換層が第１の光及び第２の光の少なくとも一方を一部吸収するため、第２の光電変換層による光電変換によって得られた第３の光の信号には、第１の光の信号の成分の一部及び第２の光の信号の成分の一部の少なくとも一方が含まれている。そのため、第２の光電変換層による光電変換によって得られた第３の光の信号の強度勾配情報を用いて、第１の光電変換層による光電変換によって得られる第１の光の信号及び第２の光の信号の少なくとも一方を補間することによって、より高い精度で補間を行うことができる。
前記吸収補正ステップにおいて、前記第２の光電変換層によって吸収された前記第１の光の成分及び前記第２の光の成分の少なくとも一方を考慮して決定された補正値αを用いて、前記第１の光の信号値にα／（１−α）を乗じて得られる値を前記第３の光の信号から減算することにより、前記第３の光の信号の吸収補正を行うことが好ましい。
第２の光電変換層によって一部吸収された第１の光の成分及び第２の光の成分の少なくとも一方を考慮して決定された補正値αを用いて第３の光の信号の吸収補正を行うことにより、より高い精度で吸収補正を行うことができる。
本発明の第４の態様に係る信号処理方法は、第１の光及び前記第１の光と異なる波長の第２の光を光電変換する第１の光電変換層と、前記第１の光電変換層よりも入射光が入射する側に設けられ、前記第１の光及び前記第２の光とは異なる波長の第３の光を光電変換する第２の光電変換層と、を備える光電変換部材によって生成される信号を処理する信号処理方法であって、前記第１の光電変換層による光電変換によって得られる前記第１の光の信号を、前記第２の光電変換層による光電変換によって得られる前記第３の光の信号を用いて補間する第１の補間ステップと、前記第１の補間ステップにおいて補間された前記第１の光の信号を用いて、前記第３の光の信号の吸収補正を行う第１の吸収補正ステップと、前記第１の吸収補正ステップにおいて吸収補正された第３の光の信号を用いて前記第１の光電変換層による光電変換によって得られる前記第２の光の信号を補間する第２の補間ステップと、を備える。
本発明の第４の態様に係る信号処理方法では、第３の光の信号の吸収補正を行う前に、第１の光の信号が第３の光の信号を用いて補間される。そのため、補間された第１の光の信号を用いて第３の光の信号を吸収補正することができる。すなわち、第３の光の信号の吸収補正が市松模様状になってしまうことを防ぐことができる。よって、本発明の第４の態様に係る信号処理方法によれば、色再現性、色解像度に優れた信号処理を行うことができる。また、第２の光電変換層が第１の光を一部吸収するため、第２の光電変換層による光電変換によって得られた第３の光の信号には、第１の光の信号の成分が一部含まれている。しかし、吸収補正された第３の光の信号を用いて第２の光の信号が補間されるため、第３の光の信号に含まれていた第１の光の信号の成分を除いた状態で、第２の光の信号を補間することができる。これにより、さらに高い精度で第２の光の信号の補間を行うことができる。
前記第１の補間ステップにおいて、前記第２の光電変換層による光電変換によって得られた前記第３の光の信号の強度勾配情報を用いて、前記第１の光電変換層による光電変換によって得られる前記第１の光の信号を補間することが好ましい。
第２の光電変換層が第１の光を一部吸収するため、第２の光電変換層による光電変換によって得られた第３の光の信号には、第１の光の信号の成分が一部含まれている。そのため、第２の光電変換層による光電変換によって得られた第３の光の信号の強度勾配情報を用いて、第１の光電変換層による光電変換によって得られる第１の光の信号を補間することによって、より高い精度で第１の光の信号の補間を行うことができる。
前記第２の補間ステップにおいて、前記第１の吸収補正ステップにおいて吸収補正された第３の光の信号の強度勾配情報を用いて、前記第１の光電変換層による光電変換によって得られる前記第２の光の信号を補間することが好ましい。
第２の光電変換層が第２の光を一部吸収するため、第２の光電変換層による光電変換によって得られた第３の光の信号には、第２の光の信号の成分が一部含まれている。そのため、第２の光電変換層による光電変換によって得られた第３の光の信号の強度勾配情報を用いて、第１の光電変換層による光電変換によって得られる第２の光の信号を補間することによって、より高い精度で第２の光の信号の補間を行うことができる。
また、第２の光電変換層が第１の光を一部吸収するため、第２の光電変換層による光電変換によって得られた第３の光の信号には、第１の光の信号の成分が一部含まれている。しかし、第１の吸収補正ステップにおいて吸収補正された第３の光の信号の強度勾配情報を用いて第２の光の信号が補間されるため、第３の光の信号に含まれていた第１の光の信号の成分を除いた状態で、第２の光の信号を補間することができる。これにより、さらに高い精度で第２の光の信号の補間を行うことができる。
前記第１の吸収補正ステップにおいて、前記第２の光電変換層によって吸収された前記第１の光の成分を考慮して決定された補正値αを用いて、前記第１の光の信号値にα／（１−α）を乗じて得られる値を前記第３の光の信号から減算することにより、前記第３の光の信号の吸収補正を行うことが好ましい。
第２の光電変換層によって一部吸収された第１の光の成分を考慮して決定された補正値αを用いて第３の光の信号の吸収補正を行うことにより、より高い精度で吸収補正を行うことができる。
また、前記第２の補間ステップにおいて補間された前記第２の光の信号を用いて、前記第１の吸収補正ステップにおいて吸収補正された前記第３の光の信号の吸収補正を行う第２の吸収補正ステップをさらに備えることが好ましい。
補間処理された第１の光の信号を用いて、第３の光の信号に対して吸収補正処理を行うだけでなく、補間処理された第２の光の信号を用いてさらに吸収補正処理を行う。これにより、さらに色再現性の高い第３の光の信号を生成することができる。
また、本発明の第３の態様及び第４の態様に係る信号処理方法において、前記第１の光電変換層は、前記第１の光として青色の光、及び、前記第２の光として赤色の光を光電変換し、前記第２の光電変換層は、前記第３の光として緑色の光を光電変換することが更に好ましい。
これにより、緑色の光を吸収する第２の光電変換層によって、より吸収されやすい青色の光を用いて緑色の光の信号の吸収補正を行うことができる。そのため、色再現性、色解像度に更に優れた信号処理を行うことができる。
本発明により、色再現性、色解像度に優れた信号処理装置及び信号処理方法を提供することができる。
実施の形態１に係る光電変換部材の一例を示す模式図である。 実施の形態１に係る信号処理装置の一例を示す図である。 実施の形態１に係る信号処理方法の一例を示す図である。 実施の形態１に係る信号処理装置における補間処理の一例を示す図である。 実施の形態１に係る信号処理装置における補間回路の一例を示す図である。 実施の形態１に係る信号処理装置における吸収補正の結果の一例を示す図である。 実施の形態２に係る信号処理装置の一例を示す図である。 実施の形態２に係る信号処理方法の一例を示す図である。 図８のＣに示す補間処理、図８のＤに示す吸収補正処理、図８のＥに示す補間処理を概念的に示す図である。 従来の信号処理方法の一例を示す図である。 実施例１の信号処理方法によって出力される画像及び比較例１の信号処理方法によって出力される画像を示す図である。 実施例１の信号処理方法によって出力される画像及び比較例１の信号処理方法によって出力される画像を示す図である。 実施例１の信号処理方法によって出力される画像及び実施例２の信号処理方法によって出力される画像を示す図である。 実施の形態３に係る信号処理装置の一例を示す図である。 実施の形態３に係る信号処理方法の一例を示す図である。 図１５のＣに示す補間処理、図１５のＤに示す吸収補正処理、図１５のＥに示す補間処理、図１５のＦに示す吸収補正処理を概念的に示す図である。 実施の形態３に係る信号処理装置におけるＲｅｄ吸収補正の結果の一例を示す図である。
以下、図面を参照して本発明の実施の形態について説明する。図１は、本発明の実施の形態に係る光電変換部材の一例を示す模式図である。
信号処理装置は、デジタルカメラ等の撮像装置において撮像により生成される信号、すなわち、撮像画像を示す信号を処理する装置である。また、信号処理装置は、撮像装置の撮像部を備えていてもよい。撮像部は、図１に示す光電変換部材としてのイメージセンサ（Image Sensor）を備えていてもよい。また、撮像部は、光学系のレンズを含んでいてもよい。当該光学系レンズは当該光電変換部材の受光面に被写体から出射された光を結像し、当該光電変換部材は、受光した光を光電変換し、撮像画像を示す信号を生成する。すなわち、信号処理装置は、光電変換部材、光学レンズ等を備える撮像部を備える撮像装置であってもよい。
撮像装置において撮像により生成される信号としては、例えば、赤色の光の信号、緑色の光の信号、及び、青色の光の信号が、挙げられる。また、撮像装置において撮像により生成される信号には、例えば、ＮＩＲ（Near-infrared）の波長の光が光電変換された結果得られる信号、すなわち、いわゆる赤外線画像を示す信号が、含まれていてもよい。
図１に示すように、光電変換部材は、例えば、第１の光電変換層Ｌ１と第２の光電変換層Ｌ２とを備え、光電変換により、第１の光としての青色の光の信号、第２の光としての赤色の光の信号、及び、第３の光としての緑色の光の信号を生成する。
第１の光電変換層Ｌ１は、青色の光（第１の光）及び赤色の光（第２の光）を光電変換する光電変換層である。また、第２の光電変換層Ｌ２は、緑色の光（第３の光）を光電変換する光電変換層である。また、第２の光電変換層Ｌ２は、第１の光電変換層Ｌ１よりも入射光が入射する側に設けられる。入射光が入射する方向を「上方向」と定義した場合、第２の光電変換層Ｌ２は上層に該当し、第１の光電変換層Ｌ１は、下層に該当する。つまり、光電変換部材は、複数の光電変換層が積層された積層型の撮像装置である。
第１の光電変換層Ｌ１と第２の光電変換層Ｌ２との間には、例えばＩＴＯ（Indium Tin Oxide）等で形成される透明電極が設けられる。第１の光電変換層Ｌ１としては、例えば、シリコンで形成され、光電変換素子が設けられる基板が挙げられる。透明電極は、基板に形成される回路に電気的に接続される。また、第２の光電変換層Ｌ２としては、例えば有機膜が挙げられる。
図１に示す例では、基板上に、Ｒの画素とＢの画素とが、シリコンによる従来の半導体工程により形成されることにより、第１の光電変換層Ｌ１が形成されている。また、Ｒの画素とＢの画素とは、例えば市松模様状に配列されている。なお、Ｒの画素とＢの画素との配列は、市松模様状に限られない。
また、図１に示す例では、Ｂの画素とＲの画素とが形成された基板の上層に、Ｇの波長の光を吸収する有機光電膜が形成されることにより、第２の光電変換層Ｌ２が形成されている。
図１に示す構成では、Ｇの画素が光電変換部材の全画素分存在するので、理論的に輝度モアレが発生せず、色モアレも大幅に抑制される。
しかしながら、図１に示す光電変換部材において、第２の光電変換層Ｌ２としてＧの外部量子効率の高い材料を用いた場合には、第２の光電変換層Ｌ２において、Ｇの波長の光だけでなく、Ｂの波長の光あるいはＲの波長の光も一部吸収されて、光電変換が行われてしまう。そのため、第１の光電変換層Ｌ１及び第２の光電変換層Ｌ２それぞれで光電変換された信号をそのまま用いて色補正処理などを行って出力すると、色再現性の悪化、Ｂ領域あるいはＲ領域のノイズ耐性の悪化、解像の悪化等の問題が、発生する。
なお、第１の光電変換層Ｌ１と第２の光電変換層Ｌ２との例は、図１に示す例に限られない。
例えば、第１の光電変換層Ｌ１は、基板上に、Ｒの画素、Ｇの画素、及び、Ｂの画素がシリコンによる従来の半導体工程により形成されてもよい。この場合、Ｒの画素、Ｇの画素、及び、Ｂの画素は、例えばベイヤ（Bayer）配列で並べられる。
また、第２の光電変換層Ｌ２は、ＮＩＲの波長の光を吸収して光電変換を行うＮＩＲ層であってもよい。
第１の光電変換層Ｌ１と第２の光電変換層Ｌ２とが、上記に示す他の構成を有する場合であっても、図１に示す構成と同様の問題が生じうる。
そこで、本発明の実施の形態に係る信号処理装置は、撮像装置において撮像により生成される信号に対して、吸収補正処理を行う。吸収補正処理は、信号処理装置が備える吸収補正部において行われる。具体的には、信号処理装置は、第２の光電変換層Ｌ２において吸収されてしまう、第１の光電変換層Ｌ１において光電変換されるべき青色の光及び赤色の光の少なくとも一方の成分について、第２の光電変換層Ｌ２による光電変換によって得られる緑色の光の信号を補正する。より具体的には、信号処理装置は、第１の光電変換層Ｌ１による光電変換によって得られる青色の光の信号及び赤色の光の信号の少なくとも一方を用いて、第２の光電変換層Ｌ２による光電変換によって得られる緑色の光の信号の吸収補正を行う。これにより、上層で吸収されてしまう、下層で光電変換される波長の光成分の影響を軽減することができる。吸収補正処理の一例については、後述する。
また、図１に示すように、第２の光電変換層Ｌ２において、Ｇの画素は、光電変換部材の全画素に亘って存在するのに対し、第１の光電変換層Ｌ１において、Ｒの画素及びＢの画素は、光電変換部材の全画素に亘って存在しない。そのため、第１の光電変換層Ｌ１による光電変換によって得られる青色の光の信号及び赤色の光の信号の少なくとも一方を用いて、第２の光電変換層Ｌ２による光電変換によって得られる緑色の光の信号が吸収補正されると、当該緑の光の信号は、Ｒの画素又はＢの画素の配列パターン状に吸収補正されてしまう。そのため、色再現性、色解像度が劣化してしまう。
そこで、本実施の形態に係る信号処理装置は、第２の光電変換層Ｌ２による光電変換によって得られる緑色の光の信号の吸収補正処理を行う前に、第１の光電変換層Ｌ１による光電変換によって得られる青色の光の信号及び赤色の光の信号の少なくとも一方を補間する。補間処理は、例えば、信号処理装置が備える補間部、第１の補間部、及び第２の補間部において行われる。具体的には、信号処理装置は、第２の光電変換層Ｌ２による光電変換によって得られる緑色の光の信号を用いて、第１の光電変換層Ｌ１による光電変換によって得られる青色の光の信号及び赤色の光の信号の少なくとも一方を補間する。これにより、補間された青色の光の信号及び赤色の光の信号の少なくとも一方を用いて、緑色の光の信号を吸収補正することができ、緑の光の信号が、Ｒの画素又はＢの画素の配列パターン状に吸収補正されることを防ぐことができる。補間処理の一例については、後述する。
また、本実施の形態に係る信号処理装置は、撮像装置において撮像により生成される信号に対して吸収補正処理を行った上で、色補正処理を行う。そのため、信号処理装置は、複数の光電変換層が積層された光電変換部材を用いる場合に生じうる、色再現性の悪化、Ｂ領域あるいはＲ領域のノイズ耐性の悪化、解像の悪化等による影響を低減することができる。したがって、信号処理装置は、撮像画像の高画質化を図ることができる。色補正処理としては、例えば、カラー補正マトリクス（Color Correction Matrix）を用いた行列演算により色の微調整を行う処理が、挙げられる。色補正処理は、信号処理装置の色補正部において行われる。色補正処理の一例については、後述する。なお、本実施の形態に係る信号処理装置において、更に、ホワイトバランス（White Balance）処理が行われてもよい。
信号処理装置は、図示しないＣＰＵ（Central Processing Unit）及び図示しない記憶部等を備える。そして、ＣＰＵが記憶部に格納されたプログラムを実行することにより、信号処理装置における全ての処理が実現する。例えば、ＣＰＵが記憶部に格納されたプログラムを実行することにより、上記補間処理、上記吸収補正処理、上記色補正処理等が実現する。すなわち、ＣＰＵは、記憶部に格納されたプログラムを実行することにより、本発明の補間部、吸収補正部、第１の補間部、第２の補間部、色補正部として機能する。
また、信号処理装置における、補間処理、吸収補正処理、色補正処理は、信号処理装置が備える画像処理回路等によって実現されてもよい。
実施の形態１
以下、本発明の実施形態１に係る信号処理装置１００及び信号処理方法について、より具体的に説明する。図２は、実施の形態１に係る信号処理装置１００の一例を示す図である。また、図３は、実施の形態１に係る信号処理方法の一例を示す図である。
以下では、第１の光電変換層Ｌ１と第２の光電変換層Ｌ２とが、図１に示す構成である場合を例に挙げる。また、以下では、信号処理装置１００が、緑色の光の信号及び青色の光の信号に基づいて、緑色の光の信号及び青色の光の信号それぞれに対して、又は、緑色の光の信号に対して、吸収補正処理を行う場合を例に挙げる。なお、信号処理装置１００が、緑色の光の信号及び赤色の光の信号に基づいて、緑色の光の信号及び赤色の光の信号それぞれに対して、又は、緑色の光の信号に対して、吸収補正処理を行ってもよい。また、信号処理装置１００は、緑色の光の信号、赤色の光の信号、及び、青色の光の信号に基づいて、緑色の光の信号、赤色の光の信号、及び、青色の光の信号それぞれに対して吸収補正処理を行ってもよい。
本実施の形態１に係る信号処理装置１００は、図２に示すように、Ｂｌｕｅ／Ｒｅｄ保持ラインメモリ（LM;Line Memory）１５２、Ｇｒｅｅｎ保持ラインメモリ（LM;Line Memory）１５４、ライトカウンタ（Write Counter）１５６、リードカウンタ（Read Counter）１５８、補間部としてのＢｌｕｅ／Ｒｅｄ補間回路１６０、吸収補正部としての副吸収補正回路１６４、図示しないカラー補正マトリクス（Color Correction Matrix）回路等を備える。
Ｂｌｕｅ／Ｒｅｄ保持ラインメモリ１５２は、光電変換部材から入力される青色の光の信号Ｂｉｎ及び赤色の光の信号Ｒｉｎをそれぞれ保持するラインメモリである。また、Ｇｒｅｅｎ保持ラインメモリ１５４は、光電変換部材から入力される緑色の光の信号Ｇｉｎを保持するラインメモリである。
Ｂｌｕｅ／Ｒｅｄ保持ラインメモリ１５２及びＧｒｅｅｎ保持ラインメモリ１５４それぞれへの書き込みは、ライトカウンタ１５６により制御される。また、Ｂｌｕｅ／Ｒｅｄ保持ラインメモリ１５２及びＧｒｅｅｎ保持ラインメモリ１５４それぞれからの読み出しは、リードカウンタ１５８により制御される。
ライトカウンタ１５６及びリードカウンタ１５８は、例えば、実施の形態１に係る信号処理装置１００を構成するＣＰＵ（不図示）等から伝達される同期信号の信号レベルの変化に基づいてカウントを行う。そして、ライトカウンタ１５６及びリードカウンタ１５８のそれぞれは、カウント値に応じて、Ｂｌｕｅ／Ｒｅｄ保持ラインメモリ１５２及びＧｒｅｅｎ保持ラインメモリ１５４のそれぞれを制御する。なお、ライトカウンタ１５６及びリードカウンタ１５８のそれぞれにおける制御の仕方は、図３に示す処理を実現することができれば、特に限定されない。
Ｂｌｕｅ／Ｒｅｄ補間回路１６０は、Ｂｌｕｅ／Ｒｅｄ保持ラインメモリ１５２から読み出された青色の光の信号Ｂｉｎ及び赤色の光の信号Ｒｉｎに対して補間を行う。具体的には、Ｂｌｕｅ／Ｒｅｄ補間回路１６０は、Ｇｒｅｅｎ保持ラインメモリ１５４から読み出された緑色の光の信号Ｇｉｎが示す緑色の画素の画素値の勾配（強度勾配情報）を参照しながら、青色の光の信号Ｂｉｎ及び赤色の光の信号Ｒｉｎに対する補間を行う。
副吸収補正回路１６４は、Ｇｒｅｅｎ保持ラインメモリ１５４から読み出された緑色の光の信号Ｇｉｎ及び補間された青色の光の信号Ｂｏに基づいて、緑色の光の信号Ｇｉｎに対して吸収補正処理を行う。なお、副吸収補正回路１６４は、補間された青色の光の信号Ｂｏに対しても吸収補正処理を行ってもよい。
そして、Ｂｌｕｅ／Ｒｅｄ補間回路１６０において補間処理された青色の光の信号Ｂｏ及び赤色の光の信号Ｒｏがカラー補正マトリクス回路（不図示）に入力されるとともに、副吸収補正回路１６４から吸収補正処理された緑色の光の信号Ｇｏがカラー補正マトリクス回路（不図示）に入力される。そして、当該カラー補正マトリクス回路は、青色の光の信号Ｂｏ、赤色の光の信号Ｒｏ、及び、緑色の光の信号Ｇｏに対して、色補正処理を行う。
図３に示すように、実施の形態１に係る信号処理方法は、図３のＣに示す補間ステップとしてのＢｌｕｅ／Ｒｅｄ補間処理、図３のＤに示す吸収補正ステップとしてのＢｌｕｅ吸収補正処理、図３のＥに示す色補正ステップとしてのカラー補正マトリクス処理を備える。
図３のＢに示す光電変換部材から、図３のＡに示す青色の光の信号Ｂｉｎ、緑色の光の信号Ｇｉｎ、赤色の光の信号Ｒｉｎが、信号処理装置１００に入力される。そして、信号処理装置１００のＢｌｕｅ／Ｒｅｄ補間回路１６０は、当該青色の光の信号Ｂｉｎ及び赤色の光の信号Ｒｉｎに対して、図３のＣに示すＢｌｕｅ／Ｒｅｄ補間処理を行う。
次に、信号処理装置１００の副吸収補正回路１６４は、Ｂｌｕｅ／Ｒｅｄ補間処理された青色の光の信号Ｂｏを用いて、緑色の光の信号Ｇｉｎに対して、図３のＤに示すＢｌｕｅ吸収補正を行う。なお、図３のＤに示すＢｌｕｅ吸収補正処理において、補間された青色の光の信号Ｂｏに対しても吸収補正処理が行われてもよい。
次に、信号処理装置１００のカラー補正マトリクス回路は、青色の光の信号Ｂｏ、赤色の光の信号Ｒｏ、及び、緑色の光の信号Ｇｏに対して、図３のＥに示すカラー補正マトリクス処理を行う。
次に、図４及び図５を参照しながら、本実施の形態１に係る補間処理の一例について説明する。図４は、信号処理装置１００におけるＢｌｕｅ／Ｒｅｄ補間処理の一例を示す図である。図４の上側には、第１の光電変換層Ｌ１における３画素×３画素のブロックを示し、図４の下側には、当該３画素×３画素のブロックに対応する、第２の光電変換層Ｌ２における３画素×３画素のブロックを示す。図５は、信号処理装置１００におけるＢｌｕｅ／Ｒｅｄ補間回路１６０の一例を示す図である。図５に示すように、Ｂｌｕｅ／Ｒｅｄ補間回路１６０は、Ｇｒｅｅｎ画素間相関情報抽出部１６０Ａ、補間比率算出部１６０Ｂ等を備える。
図４に示すように、第１の光電変換層Ｌ１において、Ｒの画素とＢの画素とは市松模様状に配列されている。図４の上側に示す３画素×３画素のブロックにおいて、中心画素（対象画素）はＲの画素であり、当該中心画素において、青色の光の信号Ｂｉｎは、空間解像度情報を持っていない。以下、当該３画素×３画素のブロックにおいて、中心画素（対象画素）を周囲の画素Ｂ１、Ｂ２、Ｂ３、Ｂ４を用いて補間する場合を例に挙げて説明する。補間される中心画素（対象画素）をＢ０とする。なお、Ｂｌｕｅ／Ｒｅｄ補間回路１６０は、下記に示す方法と同様の方法で、赤色の光の信号Ｒｉｎに対しても、補間処理を行う。
Ｇｒｅｅｎ画素間相関情報抽出部１６０Ａは、緑色の光の信号Ｇｉｎの画素間における相関情報を抽出する。Ｇｒｅｅｎ画素間相関情報抽出部１６０Ａは、例えば、図４に示す３画素×３画素のブロックにおける中心画素Ｂ０、画素Ｂ１、Ｂ２、Ｂ３、Ｂ４に対応する、Ｇ０、Ｇ１、Ｇ２、Ｇ３、Ｇ４間の画素値の勾配情報（強度勾配情報）を抽出する。具体的には、Ｇｒｅｅｎ画素間相関情報抽出部１６０Ａは、以下の式（１）〜式（４）に従って、画素Ｇ０と画素Ｇ１、Ｇ２、Ｇ３、Ｇ４との間の画素値の勾配情報Ｇ１ｓ、Ｇ２ｓ、Ｇ３ｓ、Ｇ４ｓを算出する。
Ｇ１ｓ＝ａｂｓ（Ｇ１−Ｇ０） ・・・・（１）
Ｇ２ｓ＝ａｂｓ（Ｇ２−Ｇ０） ・・・・（２）
Ｇ３ｓ＝ａｂｓ（Ｇ３−Ｇ０） ・・・・（３）
Ｇ４ｓ＝ａｂｓ（Ｇ４−Ｇ０） ・・・・（４）
補間比率算出部１６０Ｂは、Ｇｒｅｅｎ画素間相関情報抽出部１６０Ａが算出した画素Ｇ０と画素Ｇ１、Ｇ２、Ｇ３、Ｇ４との間の画素値の勾配情報Ｇ１ｓ、Ｇ２ｓ、Ｇ３ｓ、Ｇ４ｓを比較し、最も小さい画素値の勾配を補間比率として算出する。そして、補間比率算出部１６０Ｂは、当該最も小さい画素値の勾配（補間比率）を用いて、図４の上側に示すブロックの中心画素Ｂ０を補間する。具体的には、補間比率算出部１６０Ｂは、以下の式（５）〜式（８）に従って、補間比率を算出し、図４の上側に示すブロックの中心画素を補間する。
ｉｆ（Ｇ１ｓ＝＝ｍｉｎ（Ｇ１ｓ、Ｇ２ｓ、Ｇ３ｓ、Ｇ４ｓ））
Ｂ０＝（Ｂ１×Ｇ１）／Ｇ０ ・・・・（５）
ｉｆ（Ｇ２ｓ＝＝ｍｉｎ（Ｇ１ｓ、Ｇ２ｓ、Ｇ３ｓ、Ｇ４ｓ））
Ｂ０＝（Ｂ２×Ｇ２）／Ｇ０ ・・・・（６）
ｉｆ（Ｇ３ｓ＝＝ｍｉｎ（Ｇ１ｓ、Ｇ２ｓ、Ｇ３ｓ、Ｇ４ｓ））
Ｂ０＝（Ｂ３×Ｇ３）／Ｇ０ ・・・・（７）
ｉｆ（Ｇ４ｓ＝＝ｍｉｎ（Ｇ１ｓ、Ｇ２ｓ、Ｇ３ｓ、Ｇ４ｓ））
Ｂ０＝（Ｂ４×Ｇ４）／Ｇ０ ・・・・（８）
次に、本実施の形態１に係る吸収補正処理の一例について説明する。
副吸収補正回路１６４は、Ｂｌｕｅ／Ｒｅｄ補間処理された青色の光の信号Ｂｏを用いて、緑色の光の信号Ｇｉｎに対してＢｌｕｅ吸収補正を行う。具体的には、副吸収補正回路１６４は、第２の光電変換層Ｌ２によって吸収された青色の光の成分を考慮して補正値αを決定する。次に、副吸収補正回路１６４は、青色の光の信号Ｂｉｎの値（信号値）にα／（１−α）を乗じて得られる値を緑色の光の信号Ｇｉｎから減算することにより、緑色の光の信号Ｇｉｎに対してＢｌｕｅ吸収補正を行う。
図６に、本実施の形態１に係る信号処理装置１００における吸収補正の結果の一例を示す。図６の左側には、光電変換部材から信号処理装置１００に入力される、赤色の光の信号Ｒｉｎ、緑色の光の信号Ｇｉｎ、青色の光の信号Ｂｉｎの強度分布を示している。また、図６の右側には、補間処理された赤色の光の信号Ｒｏ、吸収補正処理された緑色の光の信号Ｇｏ、補間処理されて吸収補正処理された青色の光の信号Ｂｏの強度分布を示している。
また、補正値αとしては、例えば、下記に示す例が挙げられる。なお、補正値αは下記に示す例に限定されるものではない。
例１：第２の光電変換層Ｌ２によって生成される緑色の光の信号Ｇｉｎの青領域における値の最小値Ｇｂｏｔｔｏｍ
例２：第１の光電変換層Ｌ１によって生成される青色の光の信号Ｂｉｎのピーク値の波長における、第２の光電変換層Ｌ２によって吸収される緑色の光の吸収率Ｇａｂｓ
補正値αが上記例１に示すＧｂｏｔｔｏｍである場合、副吸収補正回路１６４は、以下の式（９）に従って、補正値αとしてＧｂｏｔｔｏｍを算出する。
Ｇｏ＝Ｇｉｎ−Ｇｂｏｔｔｏｍ ・・・・（９）
補正値αが上記例２に示すＧａｂｓである場合、副吸収補正回路１６４は、以下の式（１０）に従って、補正値αとしてＧａｂｓを算出する。
Ｇｏ＝Ｇｉｎ−Ｇａｂｓ ・・・・（１０）
また、副吸収補正回路１６４は、以下の式（１１）又は式（１２）に従って、補間処理された青色の光の信号Ｂｏに対してＢｌｕｅ吸収補正を行ってもよい。
Ｂｏ’＝Ｂｏ＋Ｇｂｏｔｔｏｍ ・・・・（１１）
Ｂｏ’＝Ｂｏ＋Ｇａｂｓ ・・・・（１２）
なお、上述と同様に、副吸収補正回路１６４は、Ｂｌｕｅ／Ｒｅｄ補間処理された赤色の光の信号Ｒｏを用いて、緑色の光の信号Ｇｉｎに対してＲｅｄ吸収補正を行ってもよい。具体的には、副吸収補正回路１６４は、第２の光電変換層Ｌ２によって吸収された赤色の光の成分を考慮して補正値α’を決定する。次に、副吸収補正回路１６４は、赤色の光の信号Ｒｉｎの値にα’／（１−α’）を乗じて得られる値を緑色の光の信号Ｇｉｎから減算することにより、緑色の光の信号Ｇｉｎに対してＲｅｄ吸収補正を行う。
また、補正値α’としては、例えば、下記に示す例が挙げられる。なお、補正値α’は下記に示す例に限定されるものではない。
例１：第２の光電変換層Ｌ２によって生成される緑色の光の信号Ｇｉｎの赤領域における値の最小値Ｇｂｏｔｔｏｍ’
例２：第１の光電変換層Ｌ１によって生成される赤色の光の信号Ｒｉｎのピーク値の波長における、第２の光電変換層Ｌ２によって吸収される緑色の光の吸収率Ｇａｂｓ’
補正値α’が上記例１に示すＧｂｏｔｔｏｍ’である場合、副吸収補正回路１６４は、以下の式（１３）に従って、補正値α’としてＧｂｏｔｔｏｍ’を算出する。
Ｇｏ＝Ｇｉｎ−Ｇｂｏｔｔｏｍ’ ・・・・（１３）
補正値α’が上記例２に示すＧａｂｓ’である場合、副吸収補正回路１６４は、以下の式（１４）に従って、補正値α’としてＧａｂｓ’を算出する。
Ｇｏ＝Ｇｉｎ−Ｇａｂｓ’ ・・・・（１４）
また、副吸収補正回路１６４は、以下の式（１５）又は式（１６）に従って、補間処理された赤色の光の信号Ｒｏに対してＲｅｄ吸収補正を行ってもよい。
Ｒｏ’＝Ｒｏ＋Ｇｂｏｔｔｏｍ’ ・・・・（１５）
Ｒｏ’＝Ｒｏ＋Ｇａｂｓ’ ・・・・（１６）
次に、本実施の形態１に係る色補正処理の一例について説明する。
信号処理装置１００のカラー補正マトリクス回路（不図示）は、補間処理された青色の光の信号Ｂｏ、補間処理された赤色の光の信号Ｒｏ、及び、吸収補正された緑色の光の信号Ｇｏに対して、色補正処理を行う。なお、カラー補正マトリクス回路は、補間処理された青色の光の信号Ｂｏの代わりに、補間処理されて吸収補正された青色の光の信号Ｂｏ’に対して色補正処理を行ってもよい。また、カラー補正マトリクス回路は、補間処理された赤色の光の信号Ｒｏの代わりに、補間処理されて吸収補正された赤色の光の信号Ｒｏ’に対して色補正処理を行ってもよい。
具体的には、カラー補正マトリクス回路は、以下の式（１７）に従って、色補正処理を行う。すなわち、カラー補正マトリクス回路は、以下の式（１７）に示される、３×３の行列であるカラー補正マトリクスを用いた行列演算を行うことにより、色補正処理を行う。なお、以下の式（１７）において、Ｒｉｎは、補間処理された赤色の光の信号Ｒｏ、又は、補間処理されて吸収補正された赤色の光の信号Ｒｏ’であり、Ｇｉｎは、吸収補正された緑色の光の信号Ｇｏであり、Ｂｉｎは、補間処理された青色の光の信号Ｂｏ、又は、補間処理されて吸収補正された青色の光の信号Ｂｏ’である。なお、本実施の形態１における色補正処理は、カラー補正マトリクスを用いた行列演算に限定されるものではない。
以上に説明した、本実施の形態１に係る信号処理装置１００及び信号処理方法では、第３の光の信号の吸収補正を行う前に、青色の光の信号Ｂｉｎ及び赤色の光の信号Ｒｉｎの少なくとも一方が、緑色の光の信号Ｇｉｎを用いて補間される。そのため、補間された青色の光の信号Ｂｏ及び赤色の光の信号Ｒｏの少なくとも一方を用いて緑色の光の信号Ｇｉｎを吸収補正することができる。すなわち、緑色の光の信号Ｇｉｎの吸収補正が市松模様状になってしまうことを防ぐことができる。よって、本発明の第１の態様に係る信号処理装置１００及び信号処理方法は、色再現性、色解像度に優れた信号処理を行うことができる。
また、第２の光電変換層Ｌ２が青色の光及び赤色の光を一部吸収するため、第２の光電変換層Ｌ２による光電変換によって得られた緑色の光の信号Ｇｉｎには、青色の光の信号の成分及び赤色の光の信号の成分が一部含まれている。そのため、第２の光電変換層Ｌ２による光電変換によって得られた緑色の光の信号Ｇｉｎの画素値の勾配情報（強度勾配情報）を用いて、第１の光電変換層Ｌ１による光電変換によって得られる青色の光の信号Ｂｉｎ及び赤色の光の信号Ｒｉｎを補間することによって、より高い精度で補間を行うことができる。
また、第２の光電変換層Ｌ２によって一部吸収された青色の光の成分を考慮して決定された補正値α、又は、第２の光電変換層Ｌ２によって一部吸収された赤色の光の成分を考慮して決定された補正値α’を用いて緑色の光の信号Ｇｉｎの吸収補正を行うことにより、より高い精度で吸収補正を行うことができる。
また、第２の光電変換層Ｌ２によって一部吸収された青色の光の成分を考慮して決定された補正値αを用いて、補間処理された青色の光の信号Ｂｏの吸収補正を行うことにより、更に高い精度で吸収補正を行うことができる。また、第２の光電変換層Ｌ２によって一部吸収された赤色の光の成分を考慮して決定された補正値α’を用いて、補間処理された赤色の光の信号Ｒｏの吸収補正を行うことにより、更に高い精度で吸収補正を行うことができる。
実施の形態２
次に、図７乃至図９を参照しながら、本発明の実施の形態２について説明する。図７は、実施の形態２に係る信号処理装置２００の一例を示す図である。図８は、実施の形態２に係る信号処理方法の一例を示す図である。図９は、図８のＣに示す補間処理、図８のＤに示す吸収補正処理、図８のＥに示す補間処理を概念的に示す図である。
実施の形態２に係る信号処理装置２００は、図７に示すように、Ｂｌｕｅ／Ｒｅｄ補間回路１６０、Ｂｌｕｅ／Ｒｅｄ遅延ラインメモリ（LM;Line Memory）１６２、副吸収補正回路１６４を備えず、第１の補間部としてのＢｌｕｅ補間回路１６６、Ｂｌｕｅ遅延ラインメモリ（LM;Line Memory）１６８、第１の吸収補正部としてのＢｌｕｅ副吸収補正回路１７０、Ｇｒｅｅｎ遅延ラインメモリ（LM;Line Memory）１７２、第２の補間部としてのＲｅｄ補間回路１７４を備える点が、実施の形態１に係る信号処理装置１００と異なる。以下、実施の形態２に係る信号処理装置２００において、実施の形態１に係る信号処理装置１００と同様の構成については、同一の符号を付すとともに、その説明を省略する。
Ｂｌｕｅ補間回路１６６は、Ｂｌｕｅ／Ｒｅｄ保持ラインメモリ１５２から読み出された青色の光の信号Ｂｉｎに対して補間を行う。Ｂｌｕｅ補間回路１６６は、Ｇｒｅｅｎ保持ラインメモリ１５４から読み出された緑色の光の信号Ｇｉｎが示す緑色の画素の画素値の勾配（強度勾配情報）を参照しながら、青色の光の信号Ｂｉｎに対する補間を行う。
Ｂｌｕｅ遅延ラインメモリ１６８は、Ｂｌｕｅ補間回路１６６における処理の結果得られる、補間された青色の光の信号Ｂｏを保持するラインメモリである。Ｂｌｕｅ遅延ラインメモリ１６８は、例えば、緑色の光の信号の出力又は赤色の光の信号の出力と同期する時間分、補間された青色の光の信号Ｂｏの出力を遅延させる遅延素子として機能する。
Ｂｌｕｅ副吸収補正回路１７０は、Ｇｒｅｅｎ保持ラインメモリ１５４から読み出された緑色の光の信号Ｇｉｎ及び補間された青色の光の信号Ｂｏに基づいて、緑色の光の信号Ｇｉｎに対して吸収補正処理を行う。なお、Ｂｌｕｅ副吸収補正回路１７０によって、補間された青色の光の信号Ｂｏに対して吸収補正処理が行われてもよい。
Ｇｒｅｅｎ遅延ラインメモリ１７２は、Ｂｌｕｅ副吸収補正回路１７０における処理の結果得られる緑色の光の信号Ｇｏを保持するラインメモリである。Ｇｒｅｅｎ遅延ラインメモリ１７２は、青色の光の信号Ｂｏの出力と同期する時間分、緑色の光の信号Ｇｏの出力を遅延させる遅延素子として機能する。
Ｒｅｄ補間回路１７４は、Ｂｌｕｅ／Ｒｅｄ保持ラインメモリ１５２から読み出された赤色の光の信号Ｒｉｎに対して補間を行う。Ｒｅｄ補間回路１７４は、Ｇｒｅｅｎ遅延ラインメモリ１７２から読み出された緑色の光の信号Ｇｏが示す緑色の画素の画素値の勾配（強度勾配情報）を参照しながら、赤色の光の信号Ｒｉｎに対する補間を行う。
そして、Ｂｌｕｅ補間回路１６６において補間処理された青色の光の信号ＢｏがＢｌｕｅ遅延ラインメモリ１６８を経てカラー補正マトリクス回路（不図示）に入力され、Ｂｌｕｅ副吸収補正回路１７０から吸収補正処理された緑色の光の信号Ｇｏがカラー補正マトリクス回路（不図示）に入力され、Ｒｅｄ補間回路１７４において補間処理された赤色の光の信号Ｒｏがカラー補正マトリクス回路（不図示）に入力される。そして、当該カラー補正マトリクス回路は、青色の光の信号Ｂｏ、赤色の光の信号Ｒｏ、及び、緑色の光の信号Ｇｏに対して、色補正処理を行う。
図８に示すように、実施の形態２に係る信号処理方法は、図８のＣに示す第１の補間ステップとしてのＢｌｕｅ補間処理、図８のＤに示す第１の吸収補正ステップとしてのＢｌｕｅ吸収補正処理、図８のＥに示す第２の補間ステップとしてのＲｅｄ補間処理、図８のＦに示す色補正ステップとしてのカラー補正マトリクス処理を備える。
図８のＢに示す光電変換部材から、図８のＡに示す青色の光の信号Ｂｉｎ、緑色の光の信号Ｇｉｎ、赤色の光の信号Ｒｉｎが、信号処理装置２００に入力される。そして、信号処理装置２００のＢｌｕｅ補間回路１６６は、当該青色の光の信号Ｂｉｎに対して、図８のＣに示すＢｌｕｅ補間処理を行う。
次に、信号処理装置２００のＢｌｕｅ副吸収補正回路１７０は、Ｂｌｕｅ補間処理された青色の光の信号Ｂｏを用いて、緑色の光の信号Ｇｉｎに対して、図８のＤに示すＢｌｕｅ吸収補正を行う。なお、図８のＤに示すＢｌｕｅ吸収補正処理において、補間された青色の光の信号Ｂｏに対しても吸収補正処理が行われてもよい。
次に、信号処理装置２００のＲｅｄ補間回路１７４は、赤色の光の信号Ｒｉｎに対して、図８のＥに示すＲｅｄ補間処理を行う。
次に、信号処理装置２００のカラー補正マトリクス回路は、青色の光の信号Ｂｏ、赤色の光の信号Ｒｏ、及び、緑色の光の信号Ｇｏに対して、図８のＦに示すカラー補正マトリクス処理（色補正処理）を行う。信号処理装置２００における具体的な色補正処理は、上記実施の形態１に係る信号処理装置１００における色補正処理と同様であるため、その説明を省略する。
次に、図９を参照しながら、図８のＣに示す補間処理、図８のＤに示す吸収補正処理、図８のＥに示す補間処理を概念的に説明する。
図９のＡに示すように、実施の形態２に係る信号処理装置２００は、まず青色の光の信号Ｂｉｎに対して補間を行う。第１の光電変換層Ｌ１において赤色の画素と青色の画素とが市松模様状に配列される場合には、画素値が存在しない赤色の画素および青色の画素が存在する。そのため、信号処理装置２００は、まず青色の光の信号Ｂｉｎに対して補間を行う。なお、信号処理装置２００は、まず赤色の光の信号Ｒｉｎに対して補間を行ってもよい。
信号処理装置２００は、例えば、緑色の光の信号Ｇｉｎが示す緑色の画素の画素値の勾配（強度勾配情報）を参照しながら、青色の光の信号Ｂｉｎに対する補間を行う。緑色の画素の画素値の勾配を参照して補間を行う理由は、例えば、緑色の全画素に画素値が存在し、各色の画像は相関があり、かつ緑色が最も輝度に対する寄与度が高いためである。また、緑色の光の信号Ｇｉｎには、第２光電変換層Ｌ２で吸収された青色の光成分が含まれているので、緑色の画素の画素値の勾配を参照して補間を行うことにより、より高い精度で補間を行うことができる。信号処理装置２００における具体的な補間処理は、上記実施の形態１に係る信号処理装置１００における補間処理と同様であるため、その説明を省略する。
青色の光の信号Ｂｉｎに対する補間が行われると、信号処理装置２００は、図９のＢに示すように、緑色の光の信号Ｇｉｎおよび補間された青色の光の信号Ｂｏに基づいて、緑色の光の信号Ｇｉｎに対して吸収補正処理を行う。信号処理装置２００における具体的な吸収補正処理は、上記実施の形態１に係る信号処理装置１００における吸収補正処理と同様であるため、その説明を省略する。緑色の光の信号Ｇｉｎに対する吸収補正処理が行われることによって、色再現性の高い緑色の光の信号が生成される。
緑色の光の信号Ｇｉｎに対する吸収補正処理が行われると、信号処理装置２００は、図９のＣに示すように、赤色の光の信号Ｒｉｎに対して補間を行う。
信号処理装置２００は、例えば、吸収補正処理が行われた後の緑色の光の信号Ｇｏが示す緑色の画素の画素値の勾配（強度勾配情報）を参照しながら、赤色の光の信号Ｒｉｎに対する補間を行う。吸収補正処理が行われた後の緑色の画素の画素値では、第２光電変換層Ｌ２で吸収された青色の光成分の影響が除かれている。したがって、吸収補正処理が行われた後の緑色の画素の画素値の勾配を参照して補間を行うことによって、青色の画素の画素値の勾配が赤色の光の信号Ｒｉｎの補間に及ぼす悪影響を、低減することができる。信号処理装置２００における具体的な補間処理は、上記実施の形態１に係る信号処理装置１００における補間処理と同様であるため、その説明を省略する。
以上に説明した、本実施の形態２に係る信号処理装置２００及び信号処理方法では、実施の形態１に係る信号処理装置１００及び信号処理方法と同様の効果が得られるのは勿論のこと、吸収補正された緑色の光の信号Ｇｏを用いて赤色の光の信号Ｒｉｎが補間されるため、緑の光の信号Ｇｉｎに含まれていた青色の光の信号Ｂｉｎの成分を除いた状態で、赤色の光の信号Ｒｉｎを補間することができる。これにより、さらに高い精度で赤色の光の信号Ｒｉｎの補間を行うことができる。
実施例１、２及び比較例１
次に、本発明の実施例１、実施例２、比較例１について、説明する。
本発明の実施例１に係る信号処理装置は、実施の形態１に係る信号処理装置１００である。また、本発明の実施例２に係る信号処理装置は、実施の形態２に係る信号処理装置２００である。
図１０を参照しながら、比較例１に係る信号処理装置における信号処理方法について説明する。
まず、図１０のＡに示す撮像部から光電変換部材によって生成された赤色の光の信号Ｒｉｎ、緑色の光の信号Ｇｉｎ、青色の光の信号Ｂｉｎが比較例１に係る信号処理装置に入力される。なお、比較例１の撮像部に備えられる撮像部及び光電変換部材は、実施例１及び実施例２と同じである。すなわち、光電変換部材の第１の光電変換層Ｌ１において、青色の画素と赤色の画素とが、例えば、市松模様状に配列されており、第２の光電変換層Ｌ２の全画素に亘って緑色の画素が配列されている。
次に、図１０のＢに示すように、比較例１に係る信号処理装置は、撮像部から入力された青色の光の信号Ｂｉｎを用いて、緑色の光の信号Ｇｉｎに対してＢｌｕｅ吸収補正を行う。ここで、緑色の光の信号Ｇｉｎに対するＢｌｕｅ吸収補正処理において用いられる青色の光の信号Ｂｉｎは補間されていない。すなわち、比較例１に係る信号処理装置では、緑色の光の信号Ｇｉｎに対してＢｌｕｅ吸収補正が市松模様状に行われる。
次に、図１０のＣに示すように、比較例１に係る信号処理装置は、撮像部から入力された青色の光の信号Ｂｉｎ及び赤色の光の信号Ｒｉｎに対して補間処理を行う。
次に、図１０のＤに示すように、比較例１に係る信号処理装置は、Ｂｌｕｅ吸収補正された緑色の光の信号Ｇｏ、補間処理された青色の光の信号Ｂｏ、及び、補間処理された赤色の光の信号Ｒｏに対して、カラー補正マトリクス処理（色補正処理）を行う。
図１１に、実施例１に係る信号処理装置と比較例１に係る信号処理装置に、画素値（Ｒ，Ｇ，Ｂ）＝（０％，２５％，１００％）の領域と、画素値（Ｒ，Ｇ，Ｂ）＝（０％，０％，０％）の領域とが交互に配列されたチャートを入力した場合に、出力される画像を示している。なお、当該チャートにおいて、青色の画素と赤色の画素とは、市松模様状のパターンで配列されている。図１１の右側に実施例１に係る信号処理装置から出力された画像を示し、図１１の左側に比較例１に係る信号処理装置から出力された画像を示している。なお、図１１に示す画像は、入力画像（上記チャート）に対してカラー補正マトリクス処理（色補正処理）は行っていない。すなわち、図１１の右側に示す画像は、入力画像（上記チャート）の緑色の光の信号Ｇｉｎの強度勾配情報を用いて青色の光の信号Ｂｉｎに対して補間処理を行った後、補間処理された青色の光の信号Ｂｏを用いて緑色の光の信号Ｇｉｎに対して吸収補正を行って得られた画像である。また、図１１の左側に示す画像は、入力画像（上記チャート）の青色の光の信号Ｂｉｎを用いて緑色の光の信号Ｇｉｎに対して吸収補正を行った後、吸収補正された緑色の光の信号Ｇｏを用いて青色の光の信号Ｂｉｎに対して補間処理を行って得られた画像である。
図１１に示すように、実施例１では、比較例１に比べて、色再現性、色解像度に優れていることが分かる。
図１２に、実施例１に係る信号処理装置と比較例１に係る信号処理装置に、画素値（Ｒ，Ｇ，Ｂ）＝（１００％，２５％，１００％）の領域と、画素値（Ｒ，Ｇ，Ｂ）＝（０％，０％，０％）の領域とが交互に配列されたチャートを入力した場合に、出力される画像を示している。なお、当該チャートにおいて、青色の画素と赤色の画素とは、市松模様状のパターンで配列されている。図１２の右側に実施例１に係る信号処理装置から出力された画像を示し、図１２の左側に比較例１に係る信号処理装置から出力された画像を示している。なお、図１２に示す画像は、入力画像（上記チャート）に対してカラー補正マトリクス処理（色補正処理）は行っていない。すなわち、図１２の右側に示す画像は、入力画像（上記チャート）の緑色の光の信号Ｇｉｎの強度勾配情報を用いて青色の光の信号Ｂｉｎ及び赤色の光の信号Ｒｉｎに対して補間処理を行った後、補間処理された青色の光の信号Ｂｏを用いて緑色の光の信号Ｇｉｎに対して吸収補正を行って得られた画像である。また、図１２の左側に示す画像は、入力画像（上記チャート）の青色の光の信号Ｂｉｎを用いて緑色の光の信号Ｇｉｎに対して吸収補正を行った後、吸収補正された緑色の光の信号Ｇｏを用いて青色の光の信号Ｂｉｎ及び赤色の光の信号Ｒｉｎに対して補間処理を行って得られた画像である。
図１２に示すように、実施例１では、比較例１に比べて、色再現性、色解像度に優れていることが分かる。
図１３に、実施例１に係る信号処理装置と実施例２に係る信号処理装置に、画素値（Ｒ，Ｇ，Ｂ）＝（１００％，０％，０％）の領域と、画素値（Ｒ，Ｇ，Ｂ）＝（０％，０％，１００％）の領域とが交互に配列されたチャートを入力した場合に、出力される画像を示している。なお、当該チャートにおいて、青色の画素と赤色の画素とは、市松模様状のパターンで配列されている。図１３の右側に実施例２に係る信号処理装置から出力された画像を示し、図１３の左側に実施例１に係る信号処理装置から出力された画像を示している。なお、図１３に示す画像は、入力画像（上記チャート）に対してカラー補正マトリクス処理（色補正処理）は行っていない。すなわち、図１３の右側に示す画像は、入力画像（上記チャート）の緑色の光の信号Ｇｉｎの強度勾配情報を用いて青色の光の信号Ｂｉｎに対して補間処理を行った後、補間処理された青色の光の信号Ｂｏを用いて緑色の光の信号Ｇｉｎに対して吸収補正を行って、次いで、吸収補正された緑色の光の信号Ｇｏを用いて赤色の光の信号Ｒｉｎに対して補間処理を行って得られた画像である。また、図１３の左側に示す画像は、入力画像（上記チャート）の緑色の光の信号Ｇｉｎの強度勾配情報を用いて青色の光の信号Ｂｉｎ及び赤色の光の信号Ｒｉｎに対して補間処理を行った後、補間処理された青色の光の信号Ｂｏを用いて緑色の光の信号Ｇｉｎに対して吸収補正を行って得られた画像である。
図１３に示すように、当該チャートのように、青色の領域と赤色の領域とが交互に配列される画像が入力された場合には、実施例２では、実施例１に比べて、色再現性、色解像度に優れていることが分かる。
実施の形態３
次に、図１４乃至図１７を参照しながら、本発明の実施の形態３について説明する。図１４は、実施の形態３に係る信号処理装置３００の一例を示す図である。図１５は、実施の形態３に係る信号処理方法の一例を示す図である。図１６は、図１５のＣに示す補間処理、図１５のＤに示す吸収補正処理、図１５のＥに示す補間処理、図１５のＦに示す吸収補正処理を概念的に示す図である。また、図１７は、実施の形態３に係る信号処理装置におけるＲｅｄ吸収補正の結果の一例を示す。
実施の形態３に係る信号処理装置３００は、図１４に示すように、第２の吸収補正部としてのＲｅｄ副吸収補正回路１７６を備える点が、実施の形態２に係る信号処理装置２００と異なる。以下、実施の形態３に係る信号処理装置３００において、実施の形態２に係る信号処理装置２００と同様の構成については、同一の符号を付すとともに、その説明を省略する。
Ｒｅｄ副吸収補正回路１７６は、Ｇｒｅｅｎ保持ラインメモリ１７２から読み出された緑色の光の信号Ｇｏ及び補間された赤色の光の信号Ｒｏに基づいて、緑色の光の信号Ｇｏに対して吸収補正処理を行う。なお、Ｒｅｄ副吸収補正回路１７６によって、補間された赤色の光の信号Ｒｏに対して吸収補正処理が行われてもよい。
そして、Ｂｌｕｅ補間回路１６６において補間処理された青色の光の信号ＢｏがＢｌｕｅ遅延ラインメモリ１６８を経てカラー補正マトリクス回路（不図示）に入力され、Ｒｅｄ副吸収補正回路１７６から吸収補正処理された緑色の光の信号Ｇｏがカラー補正マトリクス回路（不図示）に入力され、Ｒｅｄ補間回路１７４において補間処理された赤色の光の信号Ｒｏがカラー補正マトリクス回路（不図示）に入力される。そして、当該カラー補正マトリクス回路は、青色の光の信号Ｂｏ、赤色の光の信号Ｒｏ、及び、緑色の光の信号Ｇｏに対して、色補正処理を行う。
図１５に示すように、実施の形態３に係る信号処理方法は、図１５のＥに示すＲｅｄ補間処理の後に、図１５のＦに示すＲｅｄ吸収補正を行う点が、実施の形態２に係る信号処理方法と異なる。なお、実施の形態３においてＲｅｄ補間処理までの処理は、実施の形態２における処理と同様である。そのため、実施の形態３に係る信号処理方法において、実施の形態２に係る信号処理方法と同様の処理については、その説明を省略する。
実施の形態３に係る信号処理方法は、図１５のＣに示す第１の補間ステップとしてのＢｌｕｅ補間処理、図１５のＤに示す第１の吸収補正ステップとしてのＢｌｕｅ吸収補正処理、図１５のＥに示す第２の補間ステップとしてのＲｅｄ補間処理、図１５のＦに示す第２の吸収補正ステップとしてのＲｅｄ吸収補正処理、図１５のＧに示す色補正ステップとしてのカラー補正マトリクス処理を備える。なお、Ｂｌｕｅ補間処理、Ｂｌｕｅ吸収補正処理、Ｒｅｄ補間処理は、図８に示すＢｌｕｅ補間処理、Ｂｌｕｅ吸収補正処理、Ｒｅｄ補間処理と同じであるため、その説明を省略する。
次に、信号処理装置３００のＲｅｄ副吸収補正回路１７６は、Ｒｅｄ補間処理された赤色の光の信号Ｒｏを用いて、Ｂｌｕｅ吸収補正が行われた緑色の光の信号Ｇｏに対して、図１５のＦに示すＲｅｄ吸収補正を行う。ここで、Ｒｅｄ吸収補正は、Ｂｌｕｅ吸収補正と同様に、緑色の光の信号Ｇｏから、赤色の信号Ｒｉｎの値にα’／（１−α’）を乗じて得られる値を減算することにより行われる。しかし、Ｂｌｕｅ吸収補正と異なり、補正値α’は、式（１３）におけるＧｂｏｔｔｏｍ’や式（１４）におけるＧａｂｓ’ではなく、ＹＳＮＲ１０及び色差ΔＥ＊ａｂの値を算出して決定される。具体的には、補正値α’は、色差ΔＥ＊ａｂの値が悪化しない範囲内であって、ＹＳＮＲ１０が最も低くなる値である。ここで、ＹＳＮＲ１０は、カラー補正マトリックス処理を経た後の緑色信号と、イメージセンサ（光電変換部材）において信号を測定するときに発生するノイズとの比率が１０になる照度（単位：ｌｕｘ）を意味する。また、ＹＳＮＲ１０値が小さいほど、低い照度でイメージ特性が良好であることを意味する。
なお、図１５のＦに示すＲｅｄ吸収補正処理において、補間された赤色の光の信号Ｒｏに対しても吸収補正処理が行われてもよい。
次に、信号処理装置３００のカラー補正マトリクス回路は、青色の光の信号Ｂｏ、赤色の光の信号Ｒｏ、及び、Ｒｅｄ吸収補正が行われた緑色の光の信号Ｇｏに対して、図１５のＧに示すカラー補正マトリクス処理（色補正処理）を行う。なお、実施の形態３に係る信号処理装置３００における具体的な色補正処理は、上記実施の形態１、２に係る信号処理装置１００、２００における色補正処理と異なり、色差ΔＥ＊ａｂの値が悪化しない範囲内で、ＹＳＮＲ１０が最も低くなるように実施される。
次に、図１６を参照しながら、図１５のＦに示す吸収補正処理を概念的に説明する。なお、図１５のＣに示す補間処理、図１５のＤに示す吸収補正処理、図１５のＥに示す補間処理は、図８のＣに示す補間処理、図８のＤに示す吸収補正処理、図８のＥに示す補間処理と同様であるため、その説明を省略する。
赤色の光の信号Ｒｉｎに対する補間が行われると、信号処理装置３００は、図１６のＤに示すように、Ｂｌｕｅ吸収補正が行われた緑色の光の信号Ｇｏおよび補間された赤色の光の信号Ｒｏに基づいて、緑色の光の信号Ｇｏに対して吸収補正処理を行う。緑色の光の信号Ｇｏに対する吸収補正処理が行われることによって、色再現性の高い緑色の光の信号が生成される。
図１７に、実施の形態３に係る信号処理装置３００において、Ｒｅｄ吸収補正が行われた結果を示す。図１７の左側には、信号処理装置３００において、Ｂｌｕｅ補間処理、Ｂｌｕｅ吸収補正処理、Ｒｅｄ補間処理が行われた、赤色の光の信号Ｒｏ、緑色の光の信号Ｇｏ、青色の光の信号Ｂｏの強度分布を示している。また、図１７の右側には、信号処理装置３００において、赤色の光の信号Ｒｏ、さらにＲｅｄ吸収補正処理された緑色の信号Ｇｏ、青色の光の信号Ｂｏの強度分布を示している。図１７に示すように、Ｂｌｕｅ吸収補正処理された緑色の信号ＧｏをさらにＲｅｄ吸収補正処理することにより、赤色の光の信号Ｒｏの色純度が向上するとともに、緑色の光の信号Ｇｏの暗部での再現性（ＹＳＮＲ１０値）が良化している。より具体的には、図１７の左側のグラフにおいて、緑色の光の信号Ｇｏの値から赤色の光の信号Ｒｏを減算した結果が、図１７の右側のグラフに示されている。図１７の右側のグラフに示すように、緑色の光の信号Ｇｏの値から赤色の光の信号Ｒｏを減算することによって、緑色の光の信号Ｇｏの強度は、波長６５０ｎｍ付近において、ゼロ以下になっていることがわかる。すなわち、本実施の形態３に係る信号処理方法において、緑色の光の信号Ｇｏの値から赤色の光の信号Ｒｏを減算すると、波長６５０ｎｍよりも長波長側において、緑色の光の信号Ｇｏの強度はゼロ以下、すなわち、緑色の光の信号Ｇｏの感度がマイナスになってしまう。通常の吸収補正では、緑色の光の信号Ｇｏがマイナスとなるような補正を行わないが、本実施の形態３に係る信号処理方法では、波長６５０ｎｍよりも長波長側において、緑色の光の信号Ｇｏの感度がマイナスとなるように吸収補正を行うことにより、色再現性の高い緑色の光の信号が生成できる。
表１に、２つのイメージセンサ（光電変換部材）によって測定された赤色の光の信号Ｒｉｎ、緑色の光の信号Ｇｉｎ、青色の光の信号Ｂｉｎに対して、吸収補正を行わない場合、実施の形態１に係る信号処理装置１００によってＢｌｕｅ補間処理及びＢｌｕｅ吸収補正処理を行った場合、実施の形態１に係る信号処理装置１００によってＲｅｄ補間処理及びＲｅｄ吸収補正処理を行った場合、実施の形態３に係る信号処理装置によってＢｌｕｅ補間処理、Ｂｌｕｅ吸収補正処理、Ｒｅｄ補間処理、及びＲｅｄ吸収補正処理を行った場合のＴＳＮＲ１０及び色差ΔＥ＊ａｂの値を示す。
表１に示すように、実施の形態３に係る信号処理装置及び信号処理方法では、色差ΔＥ＊ａｂの値が悪化しない範囲内において、ＴＳＮＲ１０を十分に低減することができている。すなわち、実施の形態３に係る信号処理装置及び信号処理方法では、赤色の光の信号Ｒｏの色純度を向上するとともに、緑色の光の信号Ｇｏの暗部での再現性を向上することができる。
以上に説明した、本実施の形態３に係る信号処理装置及び信号処理方法では、実施の形態２に係る信号処理装置２００及び信号処理方法と同様の効果が得られるのは勿論のこと、補間処理された青色の光の信号Ｂｏを用いて、緑色の光の信号Ｇｉｎに対して吸収補正処理を行うだけでなく、補間処理された赤色の光の信号Ｒｏを用いてさらに吸収補正処理を行う。これにより、さらに色再現性の高い緑色の光の信号を生成することができる。
なお、本発明の実施形態に係る信号処理装置は、例えば、“ＰＣ（Personal Computer）やサーバ（Server）などのコンピュータ（Computer）”や“タブレット（Tablet）型の装置”などの、“複数の光電変換層を有するイメージセンサにおける撮像により得られた画像信号を処理することが可能な、任意の機器”に適用することができる。また、本発明の実施形態に係る信号処理装置は、例えば、上記のような機器に組み込むことが可能なＩＣ（Integrated Circuit）に適用することもできる。
また、上述したように、本発明の実施形態に係る信号処理装置は、第１光電変換層及び第２光電変換層（複数の光電変換層の一例）を有するイメージセンサで構成される撮像部を備え、撮像装置として機能してもよい。この場合、本発明の実施形態に係る撮像装置は、例えば、“デジタルスチルカメラ（Digital Still Camera）”や、“デジタルビデオカメラ（Digital Video Camera）”、“スマートフォン（Smartphone）や携帯電話などの撮像機能を有する任意の機器”に適用することができる。
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
１００、２００ 信号処理装置
１５２ Ｂｌｕｅ／Ｒｅｄ保持ラインメモリ
１５４ Ｇｒｅｅｎ保持ラインメモリ
１５６ ライトカウンタ
１５８ リードカウンタ
１６０ Ｂｌｕｅ／Ｒｅｄ補間回路（補間部）
１６０Ａ Ｇｒｅｅｎ画素間相関情報抽出部
１６０Ｂ 補間比率算出部
１６４ 副吸収補正回路（吸収補正部）
１６６ Ｂｌｕｅ補間回路（第１の補間部）
１６８ Ｂｌｕｅ遅延ラインメモリ
１７０ Ｂｌｕｅ副吸収補正回路（第１の吸収補正部）
１７２ Ｇｒｅｅｎ遅延ラインメモリ
１７４ Ｒｅｄ補間回路（第２の補間部）
１７６ Ｒｅｄ副吸収補正回路（第２の吸収補正部）
Ｌ１ 第１の光電変換層
Ｌ２ 第２の光電変換層

Claims (18)

  1. 第１の光及び前記第１の光と異なる波長の第２の光を光電変換する第１の光電変換層と、
    前記第１の光電変換層よりも入射光が入射する側に設けられ、前記第１の光及び前記第２の光とは異なる波長の第３の光を光電変換する第２の光電変換層と、
    を備える光電変換部材によって生成される信号を処理する信号処理装置であって、
    前記第１の光電変換層による光電変換によって得られる前記第１の光の信号及び前記第２の光の信号の少なくとも一方を、前記第２の光電変換層による光電変換によって得られる前記第３の光の信号を用いて補間する補間部と、
    前記補間部によって補間された前記第１の光の信号及び前記第２の光の信号の少なくとも一方を用いて、前記第３の光の信号の吸収補正を行う吸収補正部と、
    を備える、信号処理装置。
  2. 前記補間部は、前記第２の光電変換層による光電変換によって得られた前記第３の光の信号の強度勾配情報を用いて、前記第１の光電変換層による光電変換によって得られる前記第１の光の信号及び前記第２の光の信号の少なくとも一方を補間する、請求項１に記載の信号処理装置。
  3. 前記吸収補正部は、前記第２の光電変換層によって吸収された前記第１の光の成分及び前記第２の光の成分の少なくとも一方を考慮して決定された補正値αを用いて、前記第１の光の信号値にα／（１−α）を乗じて得られる値を前記第３の光の信号から減算することにより、前記第３の光の信号の吸収補正を行う、請求項１又は２に記載の信号処理装置。
  4. 第１の光及び前記第１の光と異なる波長の第２の光を光電変換する第１の光電変換層と、
    前記第１の光電変換層よりも入射光が入射する側に設けられ、前記第１の光及び前記第２の光とは異なる波長の第３の光を光電変換する第２の光電変換層と、
    を備える光電変換部材によって生成される信号を処理する信号処理装置であって、
    前記第１の光電変換層による光電変換によって得られる前記第１の光の信号を、前記第２の光電変換層による光電変換によって得られる前記第３の光の信号を用いて補間する第１の補間部と、
    前記第１の補間部によって補間された前記第１の光の信号を用いて、前記第３の光の信号の吸収補正を行う第１の吸収補正部と、
    前記第１の吸収補正部によって吸収補正された前記第３の光の信号を用いて前記第１の光電変換層による光電変換によって得られる前記第２の光の信号を補間する第２の補間部と、
    を備える、信号処理装置。
  5. 前記第１の補間部は、前記第２の光電変換層による光電変換によって得られた前記第３の光の信号の強度勾配情報を用いて、前記第１の光電変換層による光電変換によって得られる前記第１の光の信号を補間する、請求項４に記載の信号処理装置。
  6. 前記第２の補間部は、前記第１の吸収補正部によって吸収補正された前記第３の光の信号の強度勾配情報を用いて、前記第１の光電変換層による光電変換によって得られる前記第２の光の信号を補間する、請求項４又は５に記載の信号処理装置。
  7. 前記第１の吸収補正部は、前記第２の光電変換層によって吸収された前記第１の光の成分を考慮して決定された補正値αを用いて、前記第１の光の信号値にα／（１−α）を乗じて得られる値を前記第３の光の信号から減算することにより、前記第３の光の信号の吸収補正を行う、請求項４乃至６の何れか一項に記載の信号処理装置。
  8. 前記第２の補間部によって補間された前記第２の光の信号を用いて、前記第１の吸収補正部によって吸収補正された前記第３の光の信号の吸収補正を行う第２の吸収補正部をさらに備える、請求項４乃至７の何れか一項に記載の信号処理装置。
  9. 前記第１の光電変換層は、前記第１の光として青色の光、及び、前記第２の光として赤色の光を光電変換し、
    前記第２の光電変換層は、前記第３の光として緑色の光を光電変換する、
    請求項１乃至８の何れか一項に記載の信号処理装置。
  10. 第１の光及び前記第１の光と異なる波長の第２の光を光電変換する第１の光電変換層と、
    前記第１の光電変換層よりも入射光が入射する側に設けられ、前記第１の光及び前記第２の光とは異なる波長の第３の光を光電変換する第２の光電変換層と、
    を備える光電変換部材によって生成される信号を処理する信号処理方法であって、
    前記第１の光電変換層による光電変換によって得られる前記第１の光の信号及び前記第２の光の信号の少なくとも一方を、前記第２の光電変換層による光電変換によって得られる前記第３の光の信号を用いて補間する補間ステップと、
    前記補間ステップにおいて補間された前記第１の光の信号及び前記第２の光の信号の少なくとも一方を用いて、前記第３の光の信号の吸収補正を行う吸収補正ステップと、
    を備える、信号処理方法。
  11. 前記補間ステップにおいて、前記第２の光電変換層による光電変換によって得られた前記第３の光の信号の強度勾配情報を用いて、前記第１の光電変換層による光電変換によって得られる前記第１の光の信号及び前記第２の光の信号の少なくとも一方を補間する、請求項１０に記載の信号処理方法。
  12. 前記吸収補正ステップにおいて、前記第２の光電変換層によって吸収された前記第１の光の成分及び前記第２の光の成分の少なくとも一方を考慮して決定された補正値αを用いて、前記第１の光の信号値にα／（１−α）を乗じて得られる値を前記第３の光の信号から減算することにより、前記第３の光の信号の吸収補正を行う、請求項１０又は１１に記載の信号処理方法。
  13. 第１の光及び前記第１の光と異なる波長の第２の光を光電変換する第１の光電変換層と、
    前記第１の光電変換層よりも入射光が入射する側に設けられ、前記第１の光及び前記第２の光とは異なる波長の第３の光を光電変換する第２の光電変換層と、
    を備える光電変換部材によって生成される信号を処理する信号処理方法であって、
    前記第１の光電変換層による光電変換によって得られる前記第１の光の信号を、前記第２の光電変換層による光電変換によって得られる前記第３の光の信号を用いて補間する第１の補間ステップと、
    前記第１の補間ステップにおいて補間された前記第１の光の信号を用いて、前記第３の光の信号の吸収補正を行う第１の吸収補正ステップと、
    前記第１の吸収補正ステップにおいて吸収補正された前記第３の光の信号を用いて前記第１の光電変換層による光電変換によって得られる前記第２の光の信号を補間する第２の補間ステップと、
    を備える、信号処理方法。
  14. 前記第１の補間ステップにおいて、前記第２の光電変換層による光電変換によって得られた前記第３の光の信号の強度勾配情報を用いて、前記第１の光電変換層による光電変換によって得られる前記第１の光の信号を補間する、請求項１３に記載の信号処理方法。
  15. 前記第２の補間ステップにおいて、前記第１の吸収補正ステップにおいて吸収補正された前記第３の光の信号の強度勾配情報を用いて、前記第１の光電変換層による光電変換によって得られる前記第２の光の信号を補間する、請求項１３又は１４に記載の信号処理方法。
  16. 前記第１の吸収補正ステップにおいて、前記第２の光電変換層によって吸収された前記第１の光の成分を考慮して決定された補正値αを用いて、前記第１の光の信号値にα／（１−α）を乗じて得られる値を前記第３の光の信号から減算することにより、前記第３の光の信号の吸収補正を行う、請求項１３乃至１５の何れか一項に記載の信号処理方法。
  17. 前記第２の補間ステップにおいて補間された前記第２の光の信号を用いて、前記第１の吸収補正ステップにおいて吸収補正された前記第３の光の信号の吸収補正を行う第２の吸収補正ステップをさらに備える、請求項１３乃至１６の何れか一項に記載の信号処理方法。
  18. 前記第１の光電変換層は、前記第１の光として青色の光、及び、前記第２の光として赤色の光を光電変換し、
    前記第２の光電変換層は、前記第３の光として緑色の光を光電変換する、
    請求項１０乃至１６の何れか一項に記載の信号処理方法。
JP2019136724A 2018-11-07 2019-07-25 信号処理装置及び信号処理方法 Active JP7442990B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/675,698 US11317068B2 (en) 2018-11-07 2019-11-06 Signal processing apparatuses and signal processing methods
KR1020190141577A KR102649298B1 (ko) 2018-11-07 2019-11-07 신호 처리 장치 및 신호 처리 방법

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018209811 2018-11-07
JP2018209811 2018-11-07

Publications (2)

Publication Number Publication Date
JP2020078044A true JP2020078044A (ja) 2020-05-21
JP7442990B2 JP7442990B2 (ja) 2024-03-05

Family

ID=70724539

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019136724A Active JP7442990B2 (ja) 2018-11-07 2019-07-25 信号処理装置及び信号処理方法

Country Status (1)

Country Link
JP (1) JP7442990B2 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006210497A (ja) * 2005-01-26 2006-08-10 Fuji Photo Film Co Ltd 光電変換層積層型固体撮像素子及びその信号補正方法
WO2013031081A1 (ja) * 2011-08-30 2013-03-07 シャープ株式会社 信号処理装置及び信号処理方法、固体撮像装置、電子情報機器、信号処理プログラム、並びにコンピュータ読み取り可能な記憶媒体
US20140118579A1 (en) * 2012-10-31 2014-05-01 Tae-Chan Kim Image processing apparatus and image processing method
JP2016102117A (ja) * 2014-11-25 2016-06-02 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 有機光電素子用化合物及びこれを含む有機光電素子、並びにイメージセンサー及び電子装置
US20170048500A1 (en) * 2015-08-10 2017-02-16 Lilong SHI Rgb-rwb dual images by multi-layer sensors towards better image quality
WO2017064760A1 (ja) * 2015-10-13 2017-04-20 オリンパス株式会社 積層型撮像素子、画像処理装置、画像処理方法およびプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4621484B2 (ja) 2004-11-19 2011-01-26 富士フイルム株式会社 固体撮像素子
KR102105284B1 (ko) 2013-06-21 2020-04-28 삼성전자 주식회사 이미지 센서, 이의 제조 방법, 및 상기 이미지 센서를 포함하는 이미지 처리 장치
JP6136669B2 (ja) 2013-07-08 2017-05-31 株式会社ニコン 撮像装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006210497A (ja) * 2005-01-26 2006-08-10 Fuji Photo Film Co Ltd 光電変換層積層型固体撮像素子及びその信号補正方法
WO2013031081A1 (ja) * 2011-08-30 2013-03-07 シャープ株式会社 信号処理装置及び信号処理方法、固体撮像装置、電子情報機器、信号処理プログラム、並びにコンピュータ読み取り可能な記憶媒体
US20140118579A1 (en) * 2012-10-31 2014-05-01 Tae-Chan Kim Image processing apparatus and image processing method
JP2016102117A (ja) * 2014-11-25 2016-06-02 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 有機光電素子用化合物及びこれを含む有機光電素子、並びにイメージセンサー及び電子装置
US20170048500A1 (en) * 2015-08-10 2017-02-16 Lilong SHI Rgb-rwb dual images by multi-layer sensors towards better image quality
WO2017064760A1 (ja) * 2015-10-13 2017-04-20 オリンパス株式会社 積層型撮像素子、画像処理装置、画像処理方法およびプログラム

Also Published As

Publication number Publication date
JP7442990B2 (ja) 2024-03-05

Similar Documents

Publication Publication Date Title
JP6725613B2 (ja) 撮像装置および撮像処理方法
US8125543B2 (en) Solid-state imaging device and imaging apparatus with color correction based on light sensitivity detection
KR101012537B1 (ko) 고체 이미지 센서
TWI428025B (zh) Image processing apparatus and image processing method, image capturing apparatus and computer program product
US9287316B2 (en) Systems and methods for mitigating image sensor pixel value clipping
US8068153B2 (en) Producing full-color image using CFA image
JP2019220957A (ja) 異なる種類の撮像装置を有するモノリシックカメラアレイを用いた画像の撮像および処理
US9543351B2 (en) Image sensor, imaging apparatus, and imaging method
US7876363B2 (en) Methods, systems and apparatuses for high-quality green imbalance compensation in images
US8368968B2 (en) Imaging apparatus and image correction method
JP7099446B2 (ja) 固体撮像装置および電子機器
US20180338096A1 (en) Image processing appartatus
JP2004222184A (ja) デジタルカメラ
JP2018093257A (ja) 撮像装置
US9813687B1 (en) Image-capturing device, image-processing device, image-processing method, and image-processing program
JP2006157600A (ja) デジタルカメラ
US10834339B2 (en) Imaging apparatus, control method for imaging apparatus, and recording medium
US8848073B2 (en) Solid-state imaging device and electronic apparatus
JP2008252397A (ja) 撮像データの処理方法及び撮像装置
WO2019188396A1 (ja) 撮像装置および方法、画像処理装置および方法、並びに、撮像素子
JP7442990B2 (ja) 信号処理装置及び信号処理方法
WO2022073364A1 (zh) 图像获取方法及装置、终端和计算机可读存储介质
KR102649298B1 (ko) 신호 처리 장치 및 신호 처리 방법
JP6758326B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP2019092003A (ja) 信号処理装置、および撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220719

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230727

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230808

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231025

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240130

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240221

R150 Certificate of patent or registration of utility model

Ref document number: 7442990

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150