JP2022553726A - Ｐｄａｆ画素の出力信号を生成する方法 - Google Patents

Ｐｄａｆ画素の出力信号を生成する方法 Download PDF

Info

Publication number
JP2022553726A
JP2022553726A JP2022523962A JP2022523962A JP2022553726A JP 2022553726 A JP2022553726 A JP 2022553726A JP 2022523962 A JP2022523962 A JP 2022523962A JP 2022523962 A JP2022523962 A JP 2022523962A JP 2022553726 A JP2022553726 A JP 2022553726A
Authority
JP
Japan
Prior art keywords
pixel
pdaf
pixels
signal
environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022523962A
Other languages
English (en)
Inventor
ベンヤミン ホップ，
Original Assignee
ライカ カメラ アクチエンゲゼルシャフト
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ライカ カメラ アクチエンゲゼルシャフト filed Critical ライカ カメラ アクチエンゲゼルシャフト
Publication of JP2022553726A publication Critical patent/JP2022553726A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H01L27/14605—Structural or functional details relating to the position of the pixel elements, e.g. smaller pixel elements in the center of the imager compared to pixel elements at the periphery
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14645—Colour imagers
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14683—Processes or apparatus peculiar to the manufacture or treatment of these devices or parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

【課題】ＰＤＡＦ画素の出力信号を生成する方法の提供。【解決手段】光電子イメージセンサのＰＤＡＦ画素の出力信号を、上記ＰＤＡＦ画素の環境に配置されたさらなる画素からの画素信号を用いて生成する方法が開示される。上記環境内で、上記イメージセンサは、上記ＰＤＡＦ画素および少なくとも１つのさらなるＰＤＡＦ画素を、第１方向に沿って延びる画素列に有する。上記方法は、上記環境内に配置された上記イメージセンサの上記画素の画素信号を検出する工程、上記環境内に配置された上記画素のうち少なくとも一部の画素の画素信号から、上記イメージセンサ上に写像された画像構造の構造方向を決定する工程、および、上記ＰＤＡＦ画素の上記出力信号を生成する工程を含む。この点に関して、上記出力信号は、ある場合には上記環境内に配置されたさらなる画素の画素信号から補間信号として生成され、別の場合には、上記ＰＤＡＦ画素の画素信号を増幅係数で補正することで増幅信号として生成され、上記構造方向と上記第１方向との差が所定の角度未満である場合、上記ＰＤＡＦ画素の上記出力信号は上記増幅信号として生成される。【選択図】図４

Description

本発明は、光電子イメージセンサのＰＤＡＦ画素の出力信号を生成する方法および光電子イメージセンサを含むセンサ装置に関する。
ＰＤＡＦ（位相差検出オートフォーカス）画素を含む光電子イメージセンサが、とりわけ、写真およびビデオカメラ等のデジタルカメラにおいて、位相比較オートフォーカス機能を提供するために使用されている。一体型のＰＤＡＦ画素を含む光電子イメージセンサでは、位相比較に使用されるＰＤＡＦ画素がイメージセンサに直接一体化されており、別個のオートフォーカスセンサが必要ない。そのため、このようなセンサを含むカメラは、例えばミラーレスシステムカメラとして、特にコンパクトな設計とすることができる。
ＰＤＡＦ画素は通常、各々のＰＤＡＦ画素の感光領域を部分的に被覆するマスクを有するため、各々のＰＤＡＦ画素は、フォーカスする光学系からの放射を所定の方向からのみ受けることができる。ＰＤＡＦ画素は通常２つの群に分けられ、この２つの群のＰＤＡＦ画素は、異なる方向からの放射を受ける。そして、イメージセンサ上で異なる方向から受けた画像の空間的な位相ずれに基づいて光学系の焦点位置を決定でき、光学系をフォーカスすることができる。
しかしながら、ＰＤＡＦ画素に使用されるマスクには、ＰＤＡＦ画素に入射する放射の一部が遮光されるという欠点があり、したがって、ＰＤＡＦ画素は、マスクの無い通常の画素と同じ画像情報を伝達しない。そのため、ＰＤＡＦ画素の画素信号を用いてイメージセンサにより記録された画像を生成すると、通常、ＰＤＡＦ画素の周辺領域の画像に画像誤差が生じる。
本発明は、イメージセンサにより記録された画像を生成する際の画像誤差を回避するような、光電子イメージセンサのＰＤＡＦ画素の出力信号を生成する方法および光電子イメージセンサを含むセンサ装置を提供することを目的とする。
この目的は、独立請求項に係る方法およびセンサ装置によって達成される。さらなる展開が従属請求項にそれぞれ記載されている。
光電子イメージセンサのＰＤＡＦ画素の出力信号を、上記ＰＤＡＦ画素の環境に配置されたさらなる画素からの画素信号を用いて生成する方法が開示される。上記出力信号の生成に使用される上記環境内で、上記イメージセンサは、上記ＰＤＡＦ画素および少なくとも１つのさらなるＰＤＡＦ画素を、第１方向に沿って延びる画素列に有し、上記方法は、
・上記環境内に配置された上記イメージセンサの上記画素の画素信号を検出する工程、
・上記環境内に配置された上記画素のうち少なくとも一部の画素の画素信号から、上記イメージセンサ上に写像された画像構造の構造方向を決定する工程、および
・上記ＰＤＡＦ画素の上記出力信号を生成する工程を含む。
この点に関して、上記ＰＤＡＦ画素の上記出力信号は、ある場合には、上記環境内に配置されたさらなる画素の画素信号から補間信号として生成され、別の場合には、上記ＰＤＡＦ画素の画素信号を増幅係数で補正することで増幅信号として生成され、上記構造方向と上記第１方向との差が所定の角度未満である場合、上記ＰＤＡＦ画素の上記出力信号は上記増幅信号として生成される。
ＰＤＡＦ画素の出力信号は、個々の場合に応じて補間信号または増幅信号として生成されるため、写像された画像構造の構造方向に関わらず、ＰＤＡＦ画素の実際の画像信号を特に正確に再構成することができ、画像信号から生成された画像には、画像誤差が実質的に存在しない。ＰＤＡＦ画素の出力信号は、特に、決定された構造方向に応じて、補間信号または増幅信号として生成することができる。
この点に関して、構造方向は、写像された画像構造のコントラストが最も小さく、結果としてイメージセンサの画素が露光される強度が実質的に同じである方向として決定される。したがって、ＰＤＡＦ画素の画像信号を補間によって決定する際には、補間が構造方向に沿って行われ、かつ構造方向に沿ってＰＤＡＦ画素の周囲に配置された環境のさらなる画素からＰＤＡＦ画素の出力信号が生成されると、最良の結果が得られる。
しかしながら、構造方向が第１方向と実質的に平行に延び、ＰＤＡＦ画素も互いに隣り合って配置されている場合、さらなるＰＤＡＦ画素はＰＤＡＦ画素と同様にマスクで遮光されているため、少なくともさらなるＰＤＡＦ画素からは、入射する放射に関する完全な情報が得られない。したがって、さらなるＰＤＡＦ画素の画像信号も補間に使用する場合、出力信号から生成される画像に画像誤差が生じる可能性がある。構造方向と第１方向との差が所定の角度未満である場合、すなわち、構造方向が第１方向と実質的に平行に並ぶ場合は、ＰＤＡＦ画素の出力信号は補間信号ではなく増幅信号として生成されるため、第１方向に沿った補間の際に起こり得るような画像誤差が回避される。
イメージセンサの設計によっては、上述した場合に加えて、ＰＤＡＦ画素の出力信号が、上記補間信号としてでも上記増幅信号としてでもなく、例えば、上述した２つの信号の組み合わせによって生成される場合もあり得る。しかしながら、ＰＤＡＦ画素の出力信号は、上述した２つの方法でのみ、言い換えれば、補間信号または増幅信号のいずれかとして生成されてもよい。
ＰＤＡＦ画素およびさらなるＰＤＡＦ画素を含む画素列はＰＤＡＦ画素列ともいう。ＰＤＡＦ画素列では、ＰＤＡＦ画素に加えて、補間信号の生成に使用されるさらなる画素のうち１つ以上の画素を同様にＰＤＡＦ画素として形成することができる。環境内のＰＤＡＦ画素を全てＰＤＡＦ画素列にのみ配置し、環境の他の画素列に配置しなくともよい。イメージセンサの場合、特に、ＰＤＡＦ画素列に配置されかつ補間信号の生成に使用され得る環境内の全ての画素をＰＤＡＦ画素として形成することで、ＰＤＡＦ画素の出力信号をＰＤＡＦ画素列に沿った補間によって再構成することを基本的に不可能とすることができる。
イメージセンサは、特に、色選択性画素を含むカラーセンサとして構成できる。例えば、色選択性画素は、緑色、青色、または赤色カラーフィルタを含む緑色、青色、および赤色画素として形成できる。色選択性画素は、所定のカラー配列に従って分布するイメージセンサ上の画素位置に配置することができる。画素は、特に、ベイヤー配列に従って配置できる。ベイヤー配列の個々の行は、緑色および赤色画素位置または緑色および青色画素位置を交互に含む。この点に関して、緑色および赤色画素位置または緑色および青色画素位置は、同様に、個々の行に沿って互いに隣り合って交互に配置される。また、緑色／赤色行の緑色画素位置は、緑色／青色行の緑色画素位置からいずれの場合も１列ずれているため、ベイヤー配列は、緑色および赤色画素位置を交互に含む列と、緑色および青色画素位置を交互に含む列とを交互に有する。
しかしながら、イメージセンサは、色選択性画素を用いずに設計され、かつ各画素が同じスペクトル域で感光するモノクロセンサとして構成することもできる。
出力信号の生成に使用される環境は、ＰＤＡＦ画素の周囲に対称に配置できる。例えば、上記環境は、第１方向および第１方向に対して垂直に配向した法線方向において同じ範囲、例えば５画素の範囲を有していてもよい。
補間信号の生成に使用される上記画素は、例えば、環境内で、ＰＤＡＦ画素のそばに補間に使用される方向に配置され、かつＰＤＡＦ画素の画素位置と同じ色が割り当てられているイメージセンサのカラー配列の画素位置に配置された全ての画素であってよい。例えば、ＰＤＡＦ画素および補間信号の生成に使用される画素はそれぞれ、緑色画素位置、赤色画素位置、または特に青色画素位置に位置していてもよい。
例えば、補間は所定の補間方向に沿って、例えば、第１方向に対して垂直に配向した第２方向に沿って、または第１および第２方向に対して４５°傾斜した対角方向に沿って行ってもよい。特に、補間は第１方向を除外して行ってもよく、その場合、第１方向に沿った補間に代わって、増幅係数によるＰＤＡＦ画素の画素信号の補正を行ってもよい。上記方法は、補間に使用される補間方向を決定する工程を含んでもよい。補間に使用される各々の補間方向は、例えば、補間に使用されるさらなる画素の画像信号差分が最小となる方向であってもよい。
出力信号の生成に使用される環境内で、ＰＤＡＦ画素およびさらなるＰＤＡＦ画素は、同色の画素位置に配置できる。イメージセンサの場合、特に、ＰＤＡＦ画素列に同色の画素位置に配置された全ての画素、例えば、青色、赤色、または緑色画素位置の全ての画素を、出力信号の生成に使用される環境内でＰＤＡＦ画素として形成できる。この点に関して、特にベイヤー配列を含むイメージセンサの場合、ＰＤＡＦ画素列の画素を特に１つおきに環境内でＰＤＡＦ画素として形成できる。さらに、環境内でＰＤＡＦ画素列に配置された全ての同色の画素だけでなく、環境外でＰＤＡＦ画素列に配置された全ての同色の画素、例えばＰＤＡＦ画素列の全ての青色および／または１つおきの画素も、ＰＤＡＦ画素として形成できる。
構造方向は、環境内の画素のうち、ＰＤＡＦ画素としてではなく全域にわたって露光される画素として形成された画素のみを考慮しつつ決定できる。構造方向は、１色のみの画素位置、例えばＰＤＡＦ画素の画素位置の色を有する画素位置の画素を用いて決定できる。しかしながら、構造方向は、特に、異なる色の画素位置に配置された画素を用いて、例えば、全色の画素位置の画素を用いて決定することもできる。
増幅信号は、ＰＤＡＦ画素の全ての検出された画素信号またはＰＤＡＦ画素の画素信号の一部のみを増幅係数で乗じることで生成できる。この点に関して、増幅係数は、マスクで暗化されたＰＤＡＦ画素の領域の面積に対するＰＤＡＦ画素の全面積の比、すなわち、片側が被覆されたＰＤＡＦ画素の場合は係数２に相当するものであってもよい。
あるいは、増幅係数ｇは、ＰＤＡＦ画素として形成された遮光画素の画素信号に対する、全域にわたって露光される画素の画素信号の信号比から決定することもできる。例えば、増幅係数ｇは、
Figure 2022553726000002
 として決定できる。ここで、ｙｉは、ｉ番目の全域にわたって露光される画素の画素信号を表し、ｙＰＤＡＦ，ｉはｉ番目の遮光ＰＤＡＦ画素の画素信号を表す。この点に関して、個々の分子および分母の合計を、同数の画素についてそれぞれ得る。あるいは、信号比は、遮光ＰＤＡＦ画素の画素信号の平均値（例えば、算術平均値または幾何平均値）に対する全域画素の画素信号の平均値（例えば、算術平均値または幾何平均値）からも決定できる。
イメージセンサがカラーフィルタを有する場合、信号比の決定に使用される全域にわたって露光される画素はそれぞれ、出力信号が生成されるＰＤＡＦ画素の画素位置の色に対応する色の画素位置に配置される。この点に関して、ＰＤＡＦ画素自体は、その画素位置の色に対応する色のカラーフィルタを有していてもよく、その画素位置の色と異なる色のカラーフィルタを有していてもよい。
信号比の決定に使用される画素は、所定の環境で、出力信号が生成されるＰＤＡＦ画素の周囲に配置できる。所定の環境は、例えば、ＰＤＡＦ画素の局所環境であってもよく、例えば、２個以下、４個以下、８個以下、または１６個以下のさらなるＰＤＡＦ画素を含んでいてもよい。所定の環境はまた、各々のＰＤＡＦ画素が配置されたＰＤＡＦ画素列全体であってもよい。あるいは、所定の環境は、イメージセンサの全画素領域であってもよい。
上記方法のさらなる展開において、ＰＤＡＦ画素の所定の暗信号を超えるＰＤＡＦ画素の画素信号の信号部分のみが増幅係数によりスケーリングされることで、ＰＤＡＦ画素の画素信号が補正されて増幅信号を生成する。
暗信号は、ＰＤＡＦ画素が非露光状態で出力する画像信号である。暗信号の値はＰＤＡＦ画素の露光に依存しないため、ＰＤＡＦ画素の画像信号の、露光に依存しかつ暗信号を超える部分のみを増幅係数でスケーリングする場合には、増幅信号は、ＰＤＡＦ画素の全域露光時に生成される信号を特に正確に再現する。
増幅信号ｙＰＤＡＦ，Ｇは、特に、
Figure 2022553726000003
 として、ＰＤＡＦ画素の検出画素信号ｙＰＤＡＦ、増幅係数ｇ、および暗信号部分ｙ０を用いて決定できる。
上記方法のさらなる展開において、所定の角度は、０°以上、１０°以上、１３°以上、もしくは１６°以上かつ／または４５°以下、３５°以下、２３°以下、もしくは２０°以下であり、例えば、１４°、１８°、または２２．５°である。所定の角度の選択が小さすぎると、構造方向と第１方向とが僅かしかずれていない際にも補間により出力信号が生成されてしまい、特に第１方向に沿った補間を除外する場合に補間誤差が生じる可能性がある。一方、所定の角度の選択が大きすぎると、対角方向等に沿った誤差の無い補間が実際に可能であろう場合であっても、ＰＤＡＦ画素の画像信号を増幅係数で補正することで出力信号が生成され、補間した場合に比べて、ＰＤＡＦ画素の真の画像信号を再現する正確性が低くなる可能性がある。
上記方法のさらなる展開において、構造方向は、写像された画像構造の第１コントラスト値および第２コントラスト値から決定され、第１コントラスト値は、第１方向に沿った画像構造のコントラストを指し、第２コントラスト値は、第１方向とは異なる第２方向、特に、第１方向と直交する第２方向に沿った画像構造のコントラストを指す。このようにして、構造方向を簡便かつ迅速に決定することができる。
構造方向は、一般に、構造方向と第１方向との間の角度を決定することで決定できる。構造方向は、特に、構造方向と第１方向との間の角度を示す指標である第１コントラスト値と第２コントラスト値の比から決定することができる。第１方向と第２方向とが垂直に配置されている場合、第１コントラスト値に対する第２コントラスト値の比は、特に、構造方向と第１方向との間の角度のコタンジェントに相当する。そして、第１コントラスト値に対する第２コントラスト値の比が所定の角度から導出される閾値を超える場合、構造方向と第１方向との差は所定の角度未満である。導出される閾値は、例えば、所定の角度のコタンジェントに等しくてもよく、例えば、６または３または２．４または２であってもよい。
上記方法のさらなる展開において、第１コントラスト値は、環境内で、第１方向に沿って延びるイメージセンサの第１画素列に配置されたさらなる画素のうち２画素をそれぞれが含む複数の第１画素対を考慮して生成される。あるいはまたは加えて、第２コントラスト値は、環境内で、第２方向に沿って延びるイメージセンサの第２画素列に配置されたさらなる画素のうち２画素をそれぞれが含む複数の第２画素対を考慮して生成される。
いずれの場合も、複数の第１画素対または複数の第２画素対がコントラスト値の決定に使用されるため、写像された画像構造の小規模なばらつきがコントラスト値から決定される構造方向に対して不相応に強く影響することなく、特にロバストな方法でコントラスト値を決定することができる。第１コントラスト値および／または第２コントラスト値は、例えば、個々の第１または第２画素対の各々の画素の画素信号の差分量の合計として決定することができる。
個々の第１画素対の各々の画素は、第１方向に対して垂直に延びかつＰＤＡＦ画素を含む垂直画素列に対して対称に配置できる。垂直画素列は、特に、ＰＤＡＦ画素を含むイメージセンサの画素列で形成できる。個々のさらなる第１画素対の各々の画素を、垂直画素列に対して非対称に配置することもできる。例えば、各々の第１画素対の一方の画素を垂直画素列に配置することができ、各々の第１画素対の他方の画素を、ＰＤＡＦ画素の出力信号の生成に使用される環境の、垂直画素列によって境界される半分に配置することができる。また、複数の第１画素対は、ＰＤＡＦ画素を含む垂直画素列に対して各々の画素が対称に配置されている第１画素対と、ＰＤＡＦ画素を含む垂直画素列に対して各々の画素が非対称に配置されている第１画素対とを両方含んでいてもよい。
同様に、個々の第２画素対の各々の画素は、第１方向に沿って延びかつＰＤＡＦ画素を含むＰＤＡＦ画素列に対して対称に配置できる。個々のさらなる第２画素対の各々の画素を、ＰＤＡＦ画素列に対して非対称に配置することもできる。例えば、各々の第２画素対の一方の画素をＰＤＡＦ画素列に配置することができ、各々の第２画素対の他方の画素を、ＰＤＡＦ画素の出力信号の生成に使用される環境の、ＰＤＡＦ画素列によって境界される半分に配置することができる。また、複数の第２画素対は、ＰＤＡＦ画素列に対して各々の画素が対称に配置されている第２画素対と、ＰＤＡＦ画素列に対して各々の画素が非対称に配置されている第２画素対とを両方含んでいてもよい。
上記方法のさらなる展開において、各第１画素対は、それぞれ同色である２つのさらなる画素で構成され、かつ／または、各第２画素対は、それぞれ同色である２つのさらなる画素で構成される。個々の画素対がそれぞれ同色の画素を含むため、コントラスト値を、色別の個々のコントラストの合計として決定でき、色別の個々のコントラストはそれぞれ、個々の画素対の同色画素の信号差分により決定される。
上記方法のさらなる展開において、第１コントラスト値は、個々の第１画素対のさらなる画素の画素信号の差分量の合計を含み、かつ／または、第２コントラスト値は、個々の第２画素対のさらなる画素の画素信号の差分量の合計を含む。この点に関して、差分量は、個々の画素対の画素の差分量により得られる。
上記方法のさらなる展開において、第２画素対の配置は、ＰＤＡＦ画素の周りを第１方向から第２方向に回転させた第１画素対の配置に相当する。特に、複数の第１画素対と複数の第２画素対は、同数の画素対を含む。さらに、第２画素対は、ＰＤＡＦ画素の環境における画素の配置を第２方向から第１方向へと回転させた際にさらなるＰＤＡＦ画素等のＰＤＡＦ画素に写像される画素を含まない。これにより、第１コントラスト値を決定するための個々の第１画素対の信号差分と、第２コントラスト値を決定するための個々の第２画素対の信号差分とが等しく重み付けされ、構造方向を決定する際に、第１および第２画素対の数や分布が一様でないことによる優先方向が生じないようにすることができる。
上記方法のさらなる展開において、構造方向は、異なる色の画素の画素信号から決定される。構造方向は、特に、全色の画素の画素信号から決定できる。このようにして、コントラスト方向を特に信頼性よく決定できる。特に、複数の第１画素対および／または複数の第２画素対が異なる色の画素対を含むことで、構造方向を異なる色の画素の画素信号から決定できる。
上記方法のさらなる展開において、構造方向は、ＰＤＡＦ画素およびさらなるＰＤＡＦ画素の画素信号を除外して決定される。特に、環境に含まれる全てのＰＤＡＦ画素を除外して構造方向を決定することで、例えば、第１および第２コントラスト値を介した構造方向の決定の際に、ＰＤＡＦ画素および少なくとも１つのさらなるＰＤＡＦ画素が、第１および／または第２画素対のいずれにも含まれないようにすることができる。ＰＤＡＦ画素は部分的に遮光されるため、第１および第２コントラスト値等を介した構造方向の決定には適さない。第１および第２コントラスト値の決定に使用される各々の画素対は、特に、ＰＤＡＦ画素およびさらなるＰＤＡＦ画素を除外して互いに隣接して配置された同色の画素から形成できる。
上記方法のさらなる展開において、少なくとも、構造方向が第１方向に対して垂直に配向している場合、好ましくは、構造方向と第１方向との差が所定の角度を超える全ての場合、ＰＤＡＦ画素の出力信号は補間信号として生成される。特に、ＰＤＡＦ画素の出力信号は、一般に、構造方向と第１方向との差が所定の角度以下である場合を除き、常に補間信号として生成されてもよい。
さらなる展開において、上記方法は、少なくとも２つの信号差分値を決定する工程を含み、個々の信号差分値は、ＰＤＡＦ画素の周囲の環境内で、ＰＤＡＦ画素を通って延びかつ個々の信号差分値についてそれぞれの場合で異なるさらなる方向においてＰＤＡＦ画素の両側に配置されたさらなる画素のうち各々２画素の画素信号から決定される。また、補間信号は、信号差分値が最小であるさらなる画素の画素信号から生成される。
異なるさらなる方向に沿って決定される信号差分値はそれぞれ、各々のさらなる方向に沿った写像された画像構造のコントラストを示す指標である。そして、さらなる画素の信号差分値が最小となるさらなる方向は、コントラストが最小となる方向に相当する。したがって、写像された画像構造は、各々の方向に沿って配向しており、ＰＤＡＦ画素の露光は、各々の方向に沿った信号差分値の決定に使用される２つのさらなる画素と実質的に同じ強度で行われると想定される。補間信号は、信号差分値が最小であるさらなる画素の画素信号から生成されるため、補間信号は、ＰＤＡＦ画素にマスクが無く、全域にわたって露光される場合にＰＤＡＦ画素から得られ得る画像信号に特に正確に相当する。
個々の信号差分値を決定するさらなる画素は、各々のさらなる方向に沿ってＰＤＡＦ画素に対して対称または非対称に配置できる。さらなる方向は、特に、第１方向に対して垂直に配向した法線方向および／または第１方向に対して４５°傾斜した対角方向を含んでいてもよい。
上記方法のさらなる展開において、さらなる方向はそれぞれ第１方向と異なる。したがって、特に、第１方向に配向したＰＤＡＦ画素列に沿った補間は行われない。ＰＤＡＦ画素列に、特にＰＤＡＦ画素の画素位置と同色の画素位置に、さらなるＰＤＡＦ画素が配置され得るため、ＰＤＡＦ画素を用いた補間では、ＰＤＡＦ画素の出力信号が不正確に生成されるおそれがある。第１方向に沿った補間に代わって、ＰＤＡＦ画素の出力信号は、記載した方法で増幅信号として生成される。
上記方法のさらなる展開において、補間信号は、信号差分値が最小であるさらなる画素の画素信号の平均値として、例えば、算術平均値または加重平均値として生成される。このような平均値は、計算が特に容易であると同時に、ＰＤＡＦ画素の全域露光時に生成される信号を特に正確に再現する。加重平均値は、例えば、平均値を得るのに使用される個々の画素がＰＤＡＦ画素から離れている距離で重み付けできる。
上記方法のさらなる展開において、信号差分値は、ＰＤＡＦ画素の周囲の環境内で、ＰＤＡＦ画素を通って延びる対角方向においてＰＤＡＦ画素の両側に配置された２つのさらなる画素の画素信号から決定される対角信号差分値を含む。補間信号を決定する際に、第１方向に対して垂直に配向したさらなる方向だけでなく対角方向も考慮されるため、補間信号は、ＰＤＡＦ画素の全域露光時に生成される画像信号を特に正確に再現することができる。
上記方法のさらなる展開において、対角信号差分は、対角方向においてＰＤＡＦ画素から等距離にある２つのさらなる画素がいずれも機能している場合は、上記等距離にある２つのさらなる画素の画素信号から決定され、対角信号差分は、上記対角方向において等距離にあるさらなる画素のうち一方に欠陥がある場合は、対角方向においてＰＤＡＦ画素からの距離が異なる２つのさらなる画素の画素信号から決定される。
信号差分の決定に使用されるさらなる画素は、いずれの場合も、所定の色の画素であってもよい。所定の色は、特に、ＰＤＡＦ画素が配置された画素位置の色であってもよい。ＰＤＡＦ画素から等距離にある画素はそれぞれ、特に、対角方向においてＰＤＡＦ画素に最も近接して設けられた所定の色の画素であってもよい。
所定の色の最近接画素の画素信号は典型的には、ＰＤＡＦ画素の全域露光時に生成される画像信号との差が最も小さいため、一般的に、最近接画素の画素信号を使用すると、補間に対して最も正確な結果を得ることができる。しかしながら、等距離にある２つの画素のうち一方に欠陥がある場合にも補間を可能とするために、等距離にある欠陥画素の代わりに、対応する補間方向においてより離れて設けられた画素、例えば、所定の色の２番目に近接した画素が補間に使用される。
上記方法のさらなる展開において、信号差分値は、ＰＤＡＦ画素の周囲の環境内で、ＰＤＡＦ画素を通って延びかつ対角方向に対して垂直に配向したさらなる対角方向においてＰＤＡＦ画素の両側に配置されたさらなる画素のうち２画素の画素信号から決定されるさらなる対角信号差分値を含む。補間で両対角方向が考慮される場合、補間信号は、ＰＤＡＦ画素の全域露光時に生成される画像信号と特に正確に近似する。
上記方法のさらなる展開において、信号差分値は、ＰＤＡＦ画素の周囲の環境内で、ＰＤＡＦ画素を通って延びかつ第１方向に対して垂直に配向した法線方向においてＰＤＡＦ画素の両側に配置されたさらなる画素のうち２画素の画素信号から決定される垂直信号差分値を含む。
上記方法のさらなる展開において、個々の信号差分値の決定に使用されるさらなる画素は、ＰＤＡＦ画素の画素位置の色に対応する色のイメージセンサのカラーフィルタの画素位置に配置される。これにより、補間に使用されるさらなる方向を選択する際に、ＰＤＡＦ画素の画素位置と同色の画像構造のみが考慮されることで、補間時の色誤差が回避される。
上記方法のさらなる展開において、信号差分値は、個々の信号差分値の決定に使用される各々の画素信号の平方根から決定される。画素信号の平方根から信号差分値が決定される場合、画素信号自体から信号差分値が決定される場合に対して、個々の画素信号の信号依存ノイズ寄与が信号差分値に影響しにくいという利点がある。個々の画素信号のノイズは通常、露光とともに増加するため、そうでない場合、個々の画素信号のノイズは、同じ露光差分でも、露光の少ない画素の方が露光の多い画素よりも信号差分値が小さくなるという結果になる。その結果、画素の露光が他のさらなる方向よりも少ない方向が補間時に優先されることになり得る。
上記方法のさらなる展開において、ＰＤＡＦ画素および少なくとも１つのさらなるＰＤＡＦ画素はそれぞれ、各々のＰＤＡＦ画素を、第１方向に対して垂直に配向したマスク端に沿って非被覆部と被覆部とに分割するマスクを有する。したがって、構造方向と第１方向との差が所定の角度未満であり、ＰＤＡＦ画素の出力信号が増幅信号として生成される場合、構造方向は、ＰＤＡＦ画素を非被覆部と被覆部とに分割するマスク端に対して垂直に延びる。
したがって、ＰＤＡＦ画素の非被覆部およびＰＤＡＦ画素の被覆部はそれぞれ同じ強度で露光され、部分被覆ＰＤＡＦ画素によって検出された画像信号を所定の増幅係数で補正すると、結果として、ＰＤＡＦ画素の完全露光時に生成される信号が再現されると想定される。これは、例えば、マスク端と第１方向とが平行に配向している場合には当てはまらないであろう。なぜなら、その場合には、例えば、ＰＤＡＦ画素の被覆部上に写像された画像構造の構造端がＰＤＡＦ画素のマスク端に沿って延びることで、ＰＤＡＦ画素の非被覆部に入射する放射が間隔に依存しないからである。イメージセンサにおいて、出力信号の生成に使用される環境内の全てのＰＤＡＦ画素を、特に、ＰＤＡＦ画素列に対して垂直に延びるマスク端に沿って非被覆部と被覆部とに分割することができる。
ＰＤＡＦ画素列の個々の、複数の、または全てのＰＤＡＦ画素のマスク端が、ＰＤＡＦ画素列と平行に延びる第１方向に対して垂直に配向していることは、本発明の独立した態様であり、特に、構造方向と第１方向との差が所定の角度を超える場合にＰＤＡＦ画素の出力信号が生成される方法とは独立している。したがって、特に、本発明は概して、イメージセンサが、互いに平行に配置された個々のＰＤＡＦ画素列に配置されかつマスク端が個々のＰＤＡＦ画素列に対して垂直に配向したＰＤＡＦ画素を含み、写像された画像構造の構造方向と第１方向との差が所定の角度未満である場合に、ＰＤＡＦ画素の出力信号が増幅信号として生成される方法またはイメージセンサにも関する。
上記方法のさらなる展開において、環境内で、ＰＤＡＦ画素およびさらなるＰＤＡＦ画素は、第１方向において互いに最も近接して設けられた同色の画素位置に配置される。個々のＰＤＡＦ画素が互いに特に近接して配置されている場合、異なる方向からイメージセンサに当たる入射電磁放射部分間の位相差、ひいてはフォーカスする光学系の焦点位置を特に正確に決定することができる。さらに、ＰＤＡＦ画素を同色の画素位置に配置すると、ＰＤＡＦ画素列の環境で１色の画素のみが変更されるため、残りの全色の画素信号を正しく検出することができるという効果がある。
上記方法のさらなる展開において、イメージセンサは、第１方向に沿って延びかつＰＤＡＦ画素を含むＰＤＡＦ画素列に配置された画素が全て同じフィルタ色であるカラーフィルタ配列を含む。特に、ＰＤＡＦ画素および全域にわたって露光されるさらなる画素は、ＰＤＡＦ画素列において同じフィルタ色のカラーフィルタを有する。この点に関して、ＰＤＡＦ画素は、いずれの場合も、ＰＤＡＦ画素のカラーフィルタのフィルタ色とは異なる色が割り当てられたカラーフィルタ配列の画素位置に配置できる。また、全域わたって形成されるＰＤＡＦ画素列のさらなる画素はそれぞれ、ＰＤＡＦ画素列に配置された画素のフィルタ色に対応する色の画素位置に配置することができる。
例えば、ベイヤーカラーフィルタ配列において、全てのＰＤＡＦ画素は、ＰＤＡＦ画素列において青色または赤色画素位置に配置でき、青色または赤色カラーフィルタではなくむしろ異なる色のカラーフィルタを含んでもよく、一方で、全てのさらなる画素は、ＰＤＡＦ画素列内で緑色画素位置に配置され、緑色カラーフィルタを含む。しかしながら、全てのＰＤＡＦ画素はまた、ＰＤＡＦ画素列において緑色画素位置に配置でき、緑色カラーフィルタではなくむしろ異なる色のカラーフィルタを含んでもよく、一方で、全てのさらなる画素は、ＰＤＡＦ画素列内で青色または赤色画素位置に配置され、青色または赤色カラーフィルタを含む。
光電子イメージセンサと、上記光電子イメージセンサのＰＤＡＦ画素の出力信号を生成するための評価装置とを含むセンサ装置をさらに示す。上記評価装置は、上記ＰＤＡＦ画素の環境に配置された上記イメージセンサのさらなる画素からの画素信号を用いて上記ＰＤＡＦ画素の上記出力信号を生成するよう構成される。上記出力信号の生成に使用される上記環境内で、上記イメージセンサは、上記ＰＤＡＦ画素および少なくとも１つのさらなるＰＤＡＦ画素を、第１方向に沿って延びる画素列に有する。上記評価装置は、上記環境内に配置された上記イメージセンサの上記画素の画素信号を検出するよう、かつ上記環境内に配置された上記画素のうち少なくとも一部の画素の画素信号から、上記イメージセンサ上に写像された画像構造の構造方向を決定するよう構成される。さらに、上記評価装置は、上記ＰＤＡＦ画素の上記出力信号を、ある場合には、上記環境内に配置されたさらなる画素の画素信号から補間信号として生成し、別の場合には、上記ＰＤＡＦ画素の画素信号を増幅係数で補正することで増幅信号として生成するよう構成され、上記評価装置は、上記構造方向と上記第１方向との差が所定の角度未満である場合、上記ＰＤＡＦ画素の上記出力信号を上記増幅信号として生成するよう構成される。
上記センサ装置の評価装置は、特に、上述した方法を実行するよう構成される。この点に関して、上述の方法に関連して説明した全ての利点およびさらなる展開は、上記センサ装置または評価装置にも関する。
本発明はさらに、上述したセンサ装置を含むカメラに関する。上記カメラは、特に、ミラーレスシステムカメラ等のミラーレスカメラとして構成できる。
以下、図面を参照しながら本発明を説明する。
光電子イメージセンサおよび評価装置を含むセンサ装置を示す模式図である。 ＰＤＡＦ画素列を有する上記光電子イメージセンサの断面を示す模式図である。 ＰＤＡＦ画素の出力信号の生成に使用されるＰＤＡＦ画素の環境を有するＰＤＡＦ画素を示す模式図である。 構造方向に沿って延びる画像構造の構造端を有する環境を示す模式図である。 第１コントラスト値の決定に使用される第１画素対を有する環境を示す模式図である。 第２コントラスト値の決定に使用される第２画素対を有する環境を示す模式図である。 補間信号の決定に使用される補間方向を有する環境を示す模式図である。 対角方向においてＰＤＡＦ画素からの距離が異なるさらなる画素と、さらなる対角方向においてＰＤＡＦ画素に最も近接して設けられたさらなる画素とを有するさらなるイメージセンサのＰＤＡＦ画素のさらなる環境を示す模式図である。 ＰＤＡＦ画素の出力信号を生成する方法を示す模式図である。 ＰＤＡＦ画素の出力信号を生成するさらなる方法を示す模式図である。
光電子イメージセンサ１００および評価装置１０を含むセンサ装置１を図１に示す。被写体３０が画像構造３２として光電子イメージセンサ１００上に写像される。光電子イメージセンサ１００には、個々の画素が規則的に配置されており、個々の画素はそれぞれ、画像構造３２によってあらかじめ定められた、個々の画素に入射する電磁放射の強度に応じた画素信号１０６を生成する。評価装置１０は光電子イメージセンサ１００に接続されて、画素信号１０６を検出し処理することで出力信号１１とする。評価装置１０は、イメージセンサ１００の個々の画素に実際に入射する強度を出力信号１１ができるだけ正確に表すように出力信号１１を生成するよう構成される。評価装置１１は、特に、光電式イメージセンサ１００の部分的に暗化されたＰＤＡＦ画素に対して補正された出力信号１１を生成するよう構成される。センサ装置１は、図１に示されていないデジタルカメラに配置される。
図２には、光電子イメージセンサ１００の断面が示され、光電子イメージセンサ１００はＰＤＡＦ画素列１２０を含み、ＰＤＡＦ画素列１２０に沿ってＰＤＡＦ画素１１２が配置されている。ＰＤＡＦ画素列１２０は、第１方向１０１に沿って配向した光電子イメージセンサ１００の画素列で形成されている。第１方向１０１に対して垂直に配向しかつ法線方向を形成する第２方向１０２において、イメージセンサ１００は、例えば、互いに規則的な間隔で配置されたさらなるＰＤＡＦ画素列１２０（図示せず）を含む。ＰＤＡＦ画素１１２はそれぞれ、片側がマスク１１５で被覆されているため、入射放射は、マスク１１５と隣り合ったＰＤＡＦ画素１１２の非被覆部にのみ当たる。
図２から分かるように、光電子イメージセンサ１００は、緑色画素位置Ｇ、青色画素位置Ｂ、および赤色画素位置Ｒを含むベイヤー配列として形成されたカラーフィルタ配列を有する。個々の画素位置Ｇ、Ｂ、Ｒに配置されたイメージセンサ１００の画素はそれぞれ、ＰＤＡＦ画素列１２０に配置されていない限り、対応する画素位置Ｇ、Ｂ、Ｒの色に対応する色のカラーフィルタを含む。
ＰＤＡＦ画素列１２０内で、ＰＤＡＦ画素１１２は、いずれの場合も、青色画素位置に配置されている。しかしながら、ＰＤＡＦ画素１１２は、青色カラーフィルタではなく異なる色のカラーフィルタを有する。個々のＰＤＡＦ画素１１２間には、それぞれ全域にわたって露光されるさらなる画素が、ＰＤＡＦ画素列１２０に、緑色カラーフィルタを有するカラーフィルタ配列の緑色画素位置Ｇ全てに配置されている。
２種類のＰＤＡＦ画素１１２がＰＤＡＦ画素列１２０に配置され、それぞれ第１方向において反対側が被覆されている。すなわち、左側が被覆された種類のＰＤＡＦ画素１１２と右側が被覆された種類のＰＤＡＦ画素１１２とが配置されている。この点に関して、画素列１２０は、同色の画素位置に互いに隣り合って配置された左側が被覆された３つのＰＤＡＦ画素１１２と、同色の画素位置に互いに隣り合って配置された右側が被覆された３つのＰＤＡＦ画素１１２とをいずれの場合も交互に含む。
図３に、ＰＤＡＦ画素１１２のうち１画素の出力信号１１を生成するのに使用される各々のＰＤＡＦ画素１１２の環境１１０を示す。その出力信号１１が環境１１０に基づいて決定されるＰＤＡＦ画素１１２は、環境１１０内の中央に配置され、環境１１０は、第１方向１０１および第２方向１０２に沿って、いずれの場合も５画素分の幅を有する。ＰＤＡＦ画素列１２０では１つおきの画素がＰＤＡＦ画素であるため、環境１１０内のＰＤＡＦ画素列１２０においてＰＤＡＦ画素１１２の両側には、２つのさらなるＰＤＡＦ画素１１４が配置されている。
同じく図３に示すように、ＰＤＡＦ画素１１２、１１４のマスク１１５は、第２方向１０２と平行に延びる各々のマスク端１１６に沿って個々のＰＤＡＦ画素１１２、１１４を非被覆部、すなわち露光部１１９と、被覆部、すなわち非露光部１１８とに分割する。環境１１０内の残りの全ての画素は、全域にわたって露光されるさらなる画素１１７として形成される。
ＰＤＡＦ画素１１２、１１４はそれぞれマスク１１５で遮光されているため、それらの画素信号１０６を出力信号１１として直接使用することはできない。したがって、評価装置１０は、ＰＤＡＦ画素１１２、１１４の出力信号１１を、いずれの場合も、各々のＰＤＡＦ画素１１２、１１４の周囲の環境内に設けられた画素の画素信号１０６を用いて補間信号または増幅信号として生成するよう構成される。図３に示す環境１１０は、特に、環境１１０の中心に設けられた図３に示すＰＤＡＦ画素１１２の出力信号１１を生成するのに使用される。図３に示すさらなるＰＤＡＦ画素１１４の出力信号１１を生成するためには、それぞれさらなる画素１１４を中心とする環境が同様に使用される。
ＰＤＡＦ画素１１２の出力信号１１が補間信号として生成されるか増幅信号として生成されるかは、イメージセンサ１００上に写像された画像構造３２がＰＤＡＦ画素１１２の周囲の環境１１０の領域においてどのように配向しているかに依存する。出力信号１１が生成される方法は、特に、画像構造３２の明領域と暗領域との境界線が延びる画像構造３２の構造方向に依存する。図１に示す画像構造３２は、例えば、明領域と暗領域とに構造化され、明領域と暗領域との境界線が構造端３３を形成し、画像構造３２の構造方向を規定する。
図４に示すように、環境１１０内の画像構造３２の構造方向は、構造方向に沿って延びる構造端３３と第１方向１０１との間の角度２２によって規定される。角度２２が所定の角度（例えば１８°または２２．５°）以下に相当する全ての場合、すなわち構造方向が実質的に第１方向１０１に沿って延びる場合、出力信号１１はＰＤＡＦ画素１１２の画素信号１０６から増幅信号として決定される。その他の全ての場合において、出力信号１１は、環境１１０内のＰＤＡＦ画素１１２の周囲に配置されたさらなる画素１１７の画像信号１０６から補間信号として生成される。
構造方向を決定するために、評価装置１０は、第１方向１０１に沿った画像構造３２のコントラストを示す第１コントラスト値と、第２方向１０２に沿った画像構造３２のコントラストを示す第２コントラスト値とを決定する。図５に示すように、第１コントラスト値は、複数の第１画素対１３０に基づいて決定され、個々の第１画素対１３０はそれぞれ、第１方向１０１に沿って延びる共通の第１画素列１３４にそれぞれ配置された２つの同色の画素を含む。第１画素列１３４は、特に、イメージセンサ１００の画素行で形成される。
同様に、図６に示すように、第２コントラスト値は、複数の第２画素対１４０に基づいて決定される。個々の第２画素対１４０はそれぞれ、第２方向１０２に沿って延びる共通の第２画素列１４４にそれぞれ配置された２つの同色の画素を含む。第２画素列１４４は、特に、イメージセンサ１００の画素列で形成される。この点に関して、第２画素対１４０の配置は、第１画素対１３０を第１方向１０１から第２方向１０２に回転させた配置、すなわち９０°回転させた配置に相当する。
第１コントラスト値（水平コントラスト値ともいう）は、個々の第１画素対１３０の画素の画素信号１０６の差分量の合計として、ｉ番目の第１画素対１３０の個々の画素信号ｙ１，ｉ、ｙ２，ｉの差分量｜ｃｈ，ｉ｜＝｜ｙ２，ｉ－ｙ１，ｉ｜を用いて下記の通り得られる。
Figure 2022553726000004
同様に、第２コントラスト値（垂直コントラスト値ともいう）は、第２画素対１４０の画素の画素信号１０６の差分量の合計として、ｉ番目の第２画素対１４０の個々の画素信号ｙ１，ｉ、ｙ２，ｉの差分量｜ｃv，ｉ｜＝｜ｙ２，ｉ－ｙ１，ｉ｜を用いて下記の通り得られる。
Figure 2022553726000005
 画素信号ｙ１，ｉ、ｙ２，ｉの生成に使用される第１または第２画素対１３０、１４０の画素はそれぞれ同色であるため、差分量｜ｃｈ，ｉ｜、｜ｃv，ｉ｜はそれぞれ色別の個々のコントラストとなり、それぞれを合計して全水平コントラストまたは全垂直コントラストを得る。
図５に示す複数の水平配向第１画素対１３０は、第２方向１０２に沿って配向しかつＰＤＡＦ画素１１２を含む中央画素列１２２に対して画素が対称に配置された第１画素対１３０と、中央画素列１２２に対して画素が非対称に配置された第１画素対１３０との両方を含む。例えば、青色および緑色第１画素対１３０の画素は、第２方向１０２において環境１１０の外縁に配置された最も外側にある第１画素列１３４において、中央画素列１２２に対して対称に配置されている。同様に、ＰＤＡＦ画素列１２０に配置された緑色第１画素対１３０の画素、および、ＰＤＡＦ画素列１２０と第２方向１０２において最も外側にある２つの第１画素列１３４との間に設けられた第１画素列１３４における赤色第１画素対１３０の画素は、中央画素列１２２に対して対称に配置されている。これに対して、ＰＤＡＦ画素列１２０と第２方向１０２において最も外側にある第１画素列１３４との間に設けられた第１画素列１３４に配置された緑色第１画素対１３０の画素は、中央画素列１２２に対して非対称に配置されている。
同様に、図６に示す複数の垂直配向第２画素対１４０も、ＰＤＡＦ画素列１２０で形成されたさらなる中央画素列に対して画素が対称に配置された第２画素対１４０と、さらなる中央画素列に対して画素が非対称に配置された第２画素対１４０との両方を含む。例えば、第１方向１０１において最も外側にある環境１１０の第２画素列１４４に配置された第２画素対１４０の画素は、ＰＤＡＦ画素列１２０で形成されたさらなる中央画素列に対して対称に配置されているが、中央画素列１２２と第１方向１０１において最も外側にある２つの第２画素列１４４との間に設けられた第２画素列１４４に配置された緑色第２画素対１４０の画素は、さらなる中央画素列に対して非対称に配置されている。
第２コントラスト値および第１コントラスト値から得られるコントラスト比
Figure 2022553726000006
 は、構造方向の第１方向１０１からのずれを示す指標であり、角度２２のコタンジェントに相当する。コントラスト比が所定の限界値、例えば、１８°または２２．５°である角度２２に相当する３または２．４の限界値を超える場合、ＰＤＡＦ画素１１２の出力信号１１は増幅信号として生成され、そうでない場合には、出力信号１１は補間信号として生成される。あるいは、所定の限界値は、約１４°である角度２２に相当する４であってもよい。この場合、限界値が約数２で割り切れると、いわゆる「ビットシフト」演算を特に迅速に実行することができるため、特に高速なデータ処理が可能となる。
図７に示すように、補間は第１方向１０１と異なる補間方向に沿って、特に、対角方向１０３、さらなる対角方向１０４、または第２方向１０２に相当する法線方向１０５のいずれかに沿って行われる。補間信号は、使用する補間方向に沿ってＰＤＡＦ画素１１２に最も近接して設けられ、かつＰＤＡＦ画素１１２の画素位置と同色の画素位置、すなわち、図７に示すイメージセンサ１００の場合には青色画素位置に配置されたさらなる画素１５０の画素信号から生成される。
第１対角方向１０３に沿った補間の際は、環境１１０の右上隅および左下隅に配置された青色画素の画素信号からＰＤＡＦ画素１１２の出力信号１１が生成される。さらなる対角方向１０４に沿った補間の際は、環境１１０の左上隅および右下隅に配置された画素の画素信号からＰＤＡＦ画素１１２の出力信号１１が生成される。法線方向１０５に沿った補間の際は、ＰＤＡＦ画素１１２と同じ列において環境１１０の上縁および下縁に配置された青色画素の画素信号からＰＤＡＦ画素１１２の出力信号１１が生成される。
方向１０２、１０３、１０５のうちの１つが、補間に使用される最近接画素１５０の画素信号間の信号差分値が最小となる補間方向として選択される。この点に関して、ｊ番目のさらなる方向１０２、１０３、１０５の個々の信号差分値ｄｊは、個々の画素信号ｙ１ｊ、ｙ２ｊの平方根の差分として、下記の通り決定される。
Figure 2022553726000007
 信号差分値ｄｊが最小となる補間方向１０３、１０４、１０５に沿って補間が行われる。
補間信号ｙＰＤＡＦ，Ｉは、選択された補間方向に沿ってＰＤＡＦ画素１１２の両側に最も近接して設けられた２つの青色画素１５０の画素信号の平均値に相当する。例えば、補間信号ｙＰＤＡＦ，Ｉは、上記画素信号の算術平均値に相当してもよく、下記の通り計算できる。
Figure 2022553726000008
図８に、ＰＤＡＦ画素１１２、１１４を別の配置としたイメージセンサ１００を示す。この点に関して、ＰＤＡＦ画素１１２、１１４は、ＰＤＡＦ画素列１２０内の青色の画素位置ではなく、緑色の画素位置に位置している。ベイヤーカラー配列では、緑色画素位置Ｇを通って延びる対角方向１０３、１０４に沿って緑色画素位置Ｇのみが配置されているため、補正されるＰＤＡＦ画素１１２の周囲に配置された環境１１０は、対角方向１０３、１０４に沿ってＰＤＡＦ画素１１２の両側に、緑色カラーフィルタを有する各々２つの画素を含む。
図８に示すＰＤＡＦ画素１１２、１１４の別の配置では、この点に関して、対角方向１０３、１０４に沿った補間の際、補間信号は、ＰＤＡＦ画素１１２に最も近接して設けられた同色の画素１５０だけでなく、ＰＤＡＦ画素１１２に２番目に近接した同色の画素１５１、すなわち環境１１０の隅の緑色画素からも生成することができる。この点に関して、図８でさらなる対角方向１０４について示される通り、等距離にある同色の最近接画素１５０が両方とも各々の対角方向１０３、１０４で機能している場合は、個々の対角方向１０３、１０４において、等距離にある同色の最近接画素１５０から信号差分値および補間信号を決定することができる。
しかしながら、同色の最近接画素１５０のうち１つに欠陥がある場合は、図８で対角方向１０３について示される通り、欠陥のある最近接画素１５０の画素信号の代わりに、対応する対角方向１０３、１０４における２番目に近接した同色の画素１５１の画素信号を使用して信号差分値および補間信号を決定することができる。この場合、信号差分値および補間信号は、特に、対応する対角方向１０３、１０４に沿ってＰＤＡＦ画素１１２からの距離が異なる同色の画素から生成することができる。
ＰＤＡＦ画素１１２の出力信号１１を生成する方法２００を図９に示す。方法２００は、第１工程として、イメージセンサ１００の画素の画素信号１０６を評価装置１０により検出（２０１）する工程を含む。方法２００は、その後、環境１１０内に配置されたさらなる画素１１７の画素信号１０６からＰＤＡＦ画素１１２の画素信号を補間（２０５）する工程を含む。この目的のために、まず信号差分値ｄｊが決定（２１０）され、次に、信号差分値が最小となる補間方向１０３、１０４、１０５に沿って、同色の最近接画素の画素信号の平均値が決定（２１５）される。最後に、このようにして生成された補間信号が、まず出力信号として規定（２２０）される。
方法２００は、続いて、構造端３３によって与えられる画像構造３２の構造方向を決定（２２５）する工程を含む。構造方向と第１方向１０１との差が所定の角度以下である場合、方法２００は、ＰＤＡＦ画素１１２の画素信号１０６を所定の増幅係数ｇで補正（２３０）して、増幅信号
Figure 2022553726000009
 を決定する工程を含む。式中、ｙＰＤＡＦは、ＰＤＡＦ画素１１２の検出された画素信号を表し、ｙ０は、ＰＤＡＦ画素１１２の暗信号部分を表す。続いて、ＰＤＡＦ画素１１２の出力信号１１を、増幅係数で補正した増幅信号として規定（２３５）する工程が、例えば、既に生成された補間信号が評価装置１１の記憶装置にて上書きされることで、行われる。最後に、方法２００は、ＰＤＡＦ画素１１２の規定された出力信号１１を評価装置１０により生成（２４０）し出力する工程を含む。
図９に示す方法２００において、補間信号の決定２０５は常に行われ、構造方向と第１方向１０１との差が所定の角度以下である場合にのみ補間信号が増幅信号に置き換えられる。所定の角度が４５°未満、特に１８°または２２．５°である場合、構造方向と第１方向１０１との差は、平均して、所定の角度未満ではなく所定の角度を超えることが多いため、ＰＤＡＦ画素１１２の出力信号１１は、方法２００で実行される補間信号の決定２０５および増幅信号の決定２３０のシーケンスによって特に迅速に生成できる。
図１０に、画素信号の検出２０１の後にまず構造方向が決定（２２５）される方法２００の別の実施形態を示す。構造方向と第１方向１０１との差が所定の角度以下である場合、増幅係数による補正２３０が行われ、増幅信号が出力信号として規定２３５される。構造方向と第１方向１０１との差が所定の角度を超える場合、図１０に示す方法において、図９に関連して既に説明したように、環境１１０内に配置されたさらなる画素１１７の画素信号１０６からＰＤＡＦ画素１１２の画素信号の補間２０５が行われる。最後に、増幅信号または補間信号として出力信号が生成（２４０）される。
１ センサ装置
１０ 評価装置
１１ 出力信号
２２ 角度
３０ 被写体
３２ 画像構造
３３ 構造端
１００ イメージセンサ
１０１ 第１方向
１０２ 第２方向
１０３ 対角方向
１０４ さらなる対角方向
１０５ 法線方向
１０６ 画素信号
１１０ 環境
１１２ ＰＤＡＦ画素
１１４ さらなるＰＤＡＦ画素
１１５ マスク
１１６ マスク端
１１７ さらなる画素
１１８ 被覆部
１１９ 非被覆部
１２０ ＰＤＡＦ画素列
１２２ 中央画素列
１３０ 第１画素対
１３４ 第１画素列
１４０ 第２画素対
１４４ 第２画素列
１５０ 最近接画素
１５１ ２番目に近接した画素
２００ 出力信号を生成する方法
２０１ 画素信号の検出
２０５ 補間
２１０ 信号差分値の決定
２１５ 平均値の決定
２２０ 補間信号を出力信号として規定
２２５ 構造方向の決定
２３０ 増幅係数による補正
２３５ 増幅信号を出力信号として規定
２４０ 出力信号の生成

Claims (25)

  1. 光電子イメージセンサ（１００）のＰＤＡＦ画素（１１２）の出力信号（１１）を、上記ＰＤＡＦ画素（１１２）の環境（１１０）に配置されたさらなる画素（１１７）からの画素信号（１０６）を用いて生成する方法（２００）であって、
    上記出力信号（１１）の生成に使用される上記環境（１１０）内で、上記イメージセンサ（１００）は、上記ＰＤＡＦ画素（１１２）および少なくとも１つのさらなるＰＤＡＦ画素（１１４）を、第１方向（１０１）に沿って延びる画素列に有し、
    上記方法（２００）は、
    上記環境（１１０）内に配置された上記イメージセンサ（１００）の上記画素（１１２、１１４、１１７）の画素信号（１０６）を検出（２０１）する工程、
    上記環境（１１０）内に配置された上記画素（１１７）のうち少なくとも一部の画素の画素信号（１０６）から、上記イメージセンサ（１００）上に写像された画像構造（３２）の構造方向を決定（２２５）する工程、および
    上記ＰＤＡＦ画素（１１２）の上記出力信号（１１）を生成（２４０）する工程を含み、
    上記ＰＤＡＦ画素（１１２）の上記出力信号（１１）は、ある場合には、上記環境（１１０）内に配置されたさらなる画素（１１７）の画素信号（１０６）から補間信号として生成され、別の場合には、上記ＰＤＡＦ画素（１１２）の画素信号（１０６）を増幅係数で補正（２３０）することで増幅信号として生成され、
    上記構造方向と上記第１方向（１０１）との差が所定の角度未満である場合、上記ＰＤＡＦ画素（１１２）の上記出力信号（１１）は上記増幅信号として生成される、方法（２００）。
  2. 上記ＰＤＡＦ画素（１１２）の所定の暗信号を超える上記ＰＤＡＦ画素（１１２）の画素信号（１０６）の信号部分のみが上記増幅係数によりスケーリングされることで、上記ＰＤＡＦ画素（１１２）の画素信号（１０６）が補正されて上記増幅信号を生成する、請求項１に記載の方法（２００）。
  3. 上記所定の角度は、０°以上、１０°以上、もしくは１３°以上かつ／または４５°以下、３５°以下、もしくは２３°以下であり、例えば、１４°、１８°、または２２．５°である、請求項１または２に記載の方法（２００）。
  4. 上記構造方向は、上記写像された画像構造（３２）の第１コントラスト値および第２コントラスト値から決定され、
    上記第１コントラスト値は、上記第１方向（１０１）に沿った上記画像構造（３２）のコントラストを指し、上記第２コントラスト値は、上記第１方向（１０１）とは異なる第２方向（１０２）、特に上記第１方向（１０１）と直交する第２方向に沿った上記画像構造（３２）のコントラストを指す、請求項１～３のいずれか１項に記載の方法（２００）。
  5. 上記第１コントラスト値は、上記環境（１１０）内で、上記第１方向（１０１）に沿って延びる上記イメージセンサ（１００）の第１画素列（１３４）に配置された上記さらなる画素（１１７）のうち２画素をそれぞれが含む複数の第１画素対（１３０）を考慮して生成され、かつ／または、
    上記第２コントラスト値は、上記環境（１１０）内で、上記第２方向（１０２）に沿って延びる上記イメージセンサ（１００）の第２画素列（１４４）に配置された上記さらなる画素（１１７）のうち２画素をそれぞれが含む複数の第２画素対（１４０）を考慮して生成される、請求項４に記載の方法（２００）。
  6. 各第１画素対（１３０）は、それぞれ同色である２つのさらなる画素（１１７）で構成され、かつ／または、各第２画素対（１４０）は、それぞれ同色である２つのさらなる画素（１１７）で構成される、請求項５に記載の方法（２００）。
  7. 上記第１コントラスト値は、個々の第１画素対（１３０）の上記さらなる画素（１１７）の画素信号（１０６）の差分量の合計を含み、かつ／または、
    上記第２コントラスト値は、個々の第２画素対（１４０）の上記さらなる画素（１１７）の画素信号（１０６）の差分量の合計を含む、請求項５または６に記載の方法（２００）。
  8. 上記第２画素対（１４０）の配置は、上記ＰＤＡＦ画素（１１２）の周りを上記第１方向（１０１）から上記第２方向（１０２）に回転させた上記第１画素対（１３０）の配置に相当する、請求項５～７のいずれか１項に記載の方法（２００）。
  9. 上記構造方向は、異なる色の画素（１１７）の画素信号（１０６）から決定される、請求項１～８のいずれか１項に記載の方法（２００）。
  10. 上記構造方向は、上記ＰＤＡＦ画素（１１２）および上記さらなるＰＤＡＦ画素（１１４）の画素信号（１０６）を除外して決定される、請求項の１～９のいずれか１項に記載の方法（２００）。
  11. 上記構造方向が上記第１方向（１０１）に対して垂直に配向している場合、好ましくは、上記構造方向と上記第１方向（１０１）との差が上記所定の角度を超える全ての場合、上記ＰＤＡＦ画素（１１２）の上記出力信号（１１）は上記補間信号として生成される、請求項１～１０のいずれか１項に記載の方法（２００）。
  12. 上記方法（２００）は、少なくとも２つの信号差分値を決定（２１０）する工程を含み、
    個々の信号差分値は、上記ＰＤＡＦ画素（１１２）の周囲の上記環境（１１０）内で、上記ＰＤＡＦ画素（１１２）を通って延びかつ個々の信号差分値についてそれぞれの場合で異なるさらなる方向（１０２、１０３、１０４、１０５）において上記ＰＤＡＦ画素（１１２）の両側に配置された上記さらなる画素（１１７）のうち各々２画素の画素信号（１０６）から決定され、
    上記補間信号は、信号差分値が最小である上記さらなる画素（１１７）の画素信号（１０６）から生成される、請求項１～１１のいずれか１項に記載の方法（２００）。
  13. 上記さらなる方向（１０２、１０３、１０４、１０５）はそれぞれ上記第１方向（１０１）と異なる、請求項１２に記載の方法（２００）。
  14. 上記補間信号は、信号差分値が最小である上記さらなる画素（１１７）の画素信号（１０６）の平均値として、例えば、算術平均値または加重平均値として生成される、請求項１２または１３に記載の方法（２００）。
  15. 上記信号差分値は、上記ＰＤＡＦ画素（１１２）の周囲の上記環境（１１０）内で、上記ＰＤＡＦ画素（１１２）を通って延びる対角方向（１０３）において上記ＰＤＡＦ画素（１１２）の両側に配置された２つのさらなる画素（１１７）の画素信号（１０６）から決定される対角信号差分値を含む、請求項１２～１４のいずれか１項に記載の方法（２００）。
  16. 上記対角信号差分は、上記対角方向（１０３）において上記ＰＤＡＦ画素（１１２）から等距離にある２つのさらなる画素（１１７）がいずれも機能している場合は、上記等距離にある２つのさらなる画素（１１７）の画素信号（１０６）から決定され、
    上記対角信号差分は、上記対角方向（１０３）において上記等距離にあるさらなる画素（１１７）のうち１方に欠陥がある場合は、上記対角方向（１０３）において上記ＰＤＡＦ画素（１１２）からの距離が異なる２つのさらなる画素（１１７）の画素信号（１０６）から決定される、請求項１５に記載の方法（２００）。
  17. 上記信号差分値は、上記ＰＤＡＦ画素（１１２）の周囲の上記環境（１１０）内で、上記ＰＤＡＦ画素（１１２）を通って延びかつ上記対角方向（１０３）に対して垂直に配向したさらなる対角方向（１０４）において上記ＰＤＡＦ画素（１１２）の両側に配置された上記さらなる画素（１１７）のうち２画素の画素信号（１０６）から決定されるさらなる対角信号差分値を含む、請求項１５または１６に記載の方法（２００）。
  18. 上記信号差分値は、上記ＰＤＡＦ画素（１１２）の周囲の上記環境（１１０）内で、上記ＰＤＡＦ画素（１１２）を通って延びかつ上記第１方向（１０１）に対して垂直に配向した法線方向（１０２、１０５）において上記ＰＤＡＦ画素（１１２）の両側に配置された上記さらなる画素（１１７）のうち２画素の画素信号（１０６）から決定される垂直信号差分値を含む、請求項１２～１７のいずれか１項に記載の方法（２００）。
  19. 個々の信号差分値の決定に使用される上記さらなる画素（１１７）は、上記ＰＤＡＦ画素（１１２）の画素位置の色に対応する色の上記イメージセンサ（１００）のカラーフィルタの画素位置に配置されている、請求項１２～１８のいずれか１項に記載の方法（２００）。
  20. 上記信号差分値は、個々の信号差分値の決定に使用される各々の画素信号（１０６）の平方根から決定される、請求項１２～１９のいずれか１項に記載の方法（２００）。
  21. 上記ＰＤＡＦ画素（１１２）および上記少なくとも１つのさらなるＰＤＡＦ画素（１１４）はそれぞれ、各々のＰＤＡＦ画素（１１２、１１４）を、上記第１方向（１０１）に対して垂直に配向したマスク端（１１６）に沿って非被覆部（１１９）と被覆部（１１８）とに分割するマスク（１１５）を有する、請求項１～２０のいずれか１項に記載の方法（２００）。
  22. 上記環境（１１０）内で、上記ＰＤＡＦ画素（１１２）および上記さらなるＰＤＡＦ画素（１１４）は、上記第１方向（１０１）において互いに最も近接して設けられた同色の画素位置に配置されている、請求項１～２１のいずれか１項に記載の方法（２００）。
  23. 上記イメージセンサ（１００）は、上記第１方向（１０１）に沿って延びかつ上記ＰＤＡＦ画素（１１２、１１４）を含むＰＤＡＦ画素列（１２０）に配置された画素（１１２、１１４、１１７）が全て同じフィルタ色であるカラーフィルタ配列を含む、請求項１～２２のいずれか１項に記載の方法（２００）。
  24. 光電子イメージセンサ（１００）と、上記光電子イメージセンサ（１００）のＰＤＡＦ画素（１１２）の出力信号（１１）を生成するための評価装置（１０）とを含むセンサ装置（１）であって、
    上記評価装置（１０）は、上記ＰＤＡＦ画素（１１２）の環境（１１０）に配置された上記イメージセンサ（１００）のさらなる画素（１１７）からの画素信号（１０６）を用いて上記ＰＤＡＦ画素（１１２）の上記出力信号（１１）を生成するよう構成され、
    上記出力信号（１１）の生成に使用される上記環境（１１０）内で、上記イメージセンサ（１００）は、上記ＰＤＡＦ画素（１１２）および少なくとも１つのさらなるＰＤＡＦ画素（１１４）を、第１方向（１０１）に沿って延びる画素列に有し、
    上記評価装置（１０）は、
    上記環境（１１０）内に配置された上記イメージセンサ（１００）の上記画素（１１７）の画素信号（１０６）を検出するよう、かつ上記環境（１１０）内に配置された上記画素（１１２、１１４、１１７）のうち少なくとも一部の画素の画素信号（１０６）から、上記イメージセンサ（１００）上に写像された画像構造（３２）の構造方向を決定するよう構成され、
    上記評価装置（１０）は、上記ＰＤＡＦ画素（１１２）の上記出力信号（１１）を、ある場合には、上記環境（１１０）内に配置されたさらなる画素（１１７）の画素信号（１０６）から補間信号として生成し、別の場合には、上記ＰＤＡＦ画素（１１２）の画素信号（１０６）を増幅係数で補正することで増幅信号として生成するよう構成され、
    上記評価装置（１０）は、上記構造方向と上記第１方向（１０１）との差が所定の角度未満である場合、上記ＰＤＡＦ画素（１１２）の上記出力信号（１１）を上記増幅信号として生成するよう構成される、センサ装置（１）。
  25. 請求項２４に記載のセンサ装置（１）を含むカメラ。

JP2022523962A 2019-10-24 2020-09-28 Ｐｄａｆ画素の出力信号を生成する方法 Pending JP2022553726A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102019128781.2A DE102019128781A1 (de) 2019-10-24 2019-10-24 Verfahren zur Erzeugung eines Ausgabesignals eines PDAF-Bildpunkts
DE102019128781.2 2019-10-24
PCT/EP2020/077140 WO2021078473A1 (de) 2019-10-24 2020-09-28 Verfahren zur erzeugung eines ausgabesignals eines pdaf-bildpunkts

Publications (1)

Publication Number Publication Date
JP2022553726A true JP2022553726A (ja) 2022-12-26

Family

ID=72665271

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022523962A Pending JP2022553726A (ja) 2019-10-24 2020-09-28 Ｐｄａｆ画素の出力信号を生成する方法

Country Status (7)

Country Link
US (1) US20220384504A1 (ja)
EP (1) EP4049445B1 (ja)
JP (1) JP2022553726A (ja)
KR (1) KR20220080197A (ja)
CN (1) CN114762312A (ja)
DE (1) DE102019128781A1 (ja)
WO (1) WO2021078473A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9571731B2 (en) * 2013-08-01 2017-02-14 Corephotonics Ltd. Thin multi-aperture imaging system with auto-focus and methods for using same
WO2023104298A1 (en) * 2021-12-08 2023-06-15 Dream Chip Technologies Gmbh Method for processing image data of an image sensor and image processor unit and computer program

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS53126668A (en) * 1977-04-12 1978-11-06 Taiyo Sangyo Kk Magic hand
JP3592147B2 (ja) * 1998-08-20 2004-11-24 キヤノン株式会社 固体撮像装置
JP5371331B2 (ja) * 2008-09-01 2013-12-18 キヤノン株式会社 撮像装置、撮像装置の制御方法及びプログラム
JP5476810B2 (ja) * 2009-06-23 2014-04-23 株式会社ニコン 撮像装置
JP5563283B2 (ja) * 2009-12-09 2014-07-30 キヤノン株式会社 画像処理装置
WO2012127702A1 (ja) * 2011-03-24 2012-09-27 富士フイルム株式会社 カラー撮像素子、撮像装置、及び撮像プログラム
WO2012127700A1 (ja) * 2011-03-24 2012-09-27 富士フイルム株式会社 カラー撮像素子、撮像装置、及び撮像プログラム
DE112013006265B4 (de) * 2012-12-28 2020-08-13 Fujifilm Corporation Pixelkorrekturverfahren und Bildaufnahmegerät
JP2014179939A (ja) * 2013-03-15 2014-09-25 Sony Corp 信号処理装置および信号処理方法
JP6427720B2 (ja) * 2016-06-01 2018-11-21 富士フイルム株式会社 撮像素子及び撮像装置
US10616511B2 (en) * 2017-06-08 2020-04-07 Intel Corporation Method and system of camera control and image processing with a multi-frame-based window for image data statistics
US10440301B2 (en) * 2017-09-08 2019-10-08 Apple Inc. Image capture device, pixel, and method providing improved phase detection auto-focus performance
CN107370959B (zh) * 2017-09-19 2019-11-29 德淮半导体有限公司 图像传感器、成像装置及对焦方法

Also Published As

Publication number Publication date
WO2021078473A1 (de) 2021-04-29
KR20220080197A (ko) 2022-06-14
EP4049445A1 (de) 2022-08-31
CN114762312A (zh) 2022-07-15
DE102019128781A1 (de) 2021-04-29
EP4049445B1 (de) 2023-11-08
US20220384504A1 (en) 2022-12-01

Similar Documents

Publication Publication Date Title
TWI605297B (zh) 具有對稱之多像素相位差檢測器之影像感測器、成像系統及相關檢測方法
US8400505B2 (en) Calibration method, calibration device, and calibration system including the device
US9420276B2 (en) Calibration of light-field camera geometry via robust fitting
US10582180B2 (en) Depth imaging correction apparatus, imaging apparatus, and depth image correction method
US6933971B2 (en) Reconstruction of color components in digital image processing
JP6509914B2 (ja) 深度推定のための画像センサ
US10762655B1 (en) Disparity estimation using sparsely-distributed phase detection pixels
US8259213B2 (en) Digital camera and digital camera system
EP1255410A2 (en) System and method for capturing color images that extends the dynamic range of an image sensor
JP5840008B2 (ja) 画像処理装置、画像処理方法およびプログラム
CN103444183B (zh) 彩色摄像元件及摄像装置
JP2009065671A (ja) 色の補間方法、色補間装置およびコンピュータプログラム
CN103369265B (zh) 像素信息管理装置及使用该管理装置的图像拍摄装置
CN102484721A (zh) 四通道滤色片阵列图案
KR20110082530A (ko) 불량 색 및 전정색 ｃｆａ 이미지의 개선
JP2022553726A (ja) Ｐｄａｆ画素の出力信号を生成する方法
CN102741724A (zh) 摄像设备
US9485442B1 (en) Image sensors for robust on chip phase detection, and associated system and methods
JP6214271B2 (ja) 距離検出装置、撮像装置、距離検出方法、プログラム及び記録媒体
JP2002525722A (ja) 画像処理方法とシステム
JP4866147B2 (ja) 画像シフト検出方法および装置および画像入力装置
JP6353233B2 (ja) 画像処理装置、撮像装置、及び画像処理方法
CN105580354B (zh) 摄像装置和图像处理方法
WO2016038766A1 (ja) 撮像素子
US20060078229A1 (en) Interpolation method for generating pixel color

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230414

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240508

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240514