JP2018009960A - センサモジュール、電磁放射の明度および/または色を判定する方法、およびセンサモジュールを製造する方法 - Google Patents

センサモジュール、電磁放射の明度および/または色を判定する方法、およびセンサモジュールを製造する方法 Download PDF

Info

Publication number
JP2018009960A
JP2018009960A JP2017041616A JP2017041616A JP2018009960A JP 2018009960 A JP2018009960 A JP 2018009960A JP 2017041616 A JP2017041616 A JP 2017041616A JP 2017041616 A JP2017041616 A JP 2017041616A JP 2018009960 A JP2018009960 A JP 2018009960A
Authority
JP
Japan
Prior art keywords
sensor
color
lightness
sensor element
brightness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017041616A
Other languages
English (en)
Inventor
ウルリヒ,ゼーガー
Seger Ulrich
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of JP2018009960A publication Critical patent/JP2018009960A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/58Control of the dynamic range involving two or more exposures
    • H04N25/581Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/585Control of the dynamic range involving two or more exposures acquired simultaneously with pixels having different sensitivities within the sensor, e.g. fast or slow pixels or pixels having different sizes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/77Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14603Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H01L27/14605Structural or functional details relating to the position of the pixel elements, e.g. smaller pixel elements in the center of the imager compared to pixel elements at the periphery
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46Measurement of colour; Colour measuring devices, e.g. colorimeters
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/1462Coatings
    • H01L27/14621Colour filter arrangements
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14683Processes or apparatus peculiar to the manufacture or treatment of these devices or parts thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/20Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming only infrared radiation into image signals
    • H04N25/21Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming only infrared radiation into image signals for transforming thermal infrared radiation into image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/703SSIS architectures incorporating pixels for producing signals other than image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/33Transforming infrared radiation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Power Engineering (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computer Hardware Design (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)
  • Spectrometry And Color Measurement (AREA)
  • Studio Devices (AREA)

Abstract

【課題】高度に解像された強度画像またはグレー値画像を、同じく高度に解像された色測定と両立させることを可能にするセンサモジュールを提供する。【解決手段】広帯域の電磁放射の明度を検出するための少なくとも1つの明度センサ素子102と、電磁放射の色を検出するための少なくとも1つの色センサ素子106を有する少なくとも1つの色センサフィールド104とを有するセンサモジュール100において、明度センサ素子は、色センサフィールドよりも広いセンサ面を有している。【選択図】図1

Description

本発明は、独立請求項の前提部に記載の装置または方法に関する。コンピュータプログラムも本発明の対象物である。
現代の画像センサは、たとえば個別センサセルからなる直交するグリッドを有することができる。個別センサセルは、用途に応じてカラーフィルタを有するか、または有さないように具体化されていてよい。
以上を背景としたうえで、ここで提案される取組みにより、センサモジュール、センサモジュールを利用して電磁放射の明度および/または色を判定する方法、センサモジュールを製造する方法、ならびに当該方法を適用する装置がそれぞれ主請求項に基づいて提案される。従属請求項に記載されている方策により、独立請求項に記載されている装置の好ましい発展形と改良が可能である。
次の各構成要件を有するセンサモジュールが提案される:
広帯域の電磁放射の明度を検出するための少なくとも1つの明度センサ素子;および、
電磁放射の色を検出するための少なくとも1つの色センサ素子を有する少なくとも1つの色センサフィールド。明度センサ素子は色センサフィールドよりも広いセンサ面を有している。
センサモジュールは、たとえば車両カメラ用の画像センサであってよい。明度センサ素子とは、電磁放射の強度を検出するための感光性のピクセルであると理解することができる。たとえば明度センサ素子は、広帯域のモノクロームセンサ素子であってよい。色センサフィールドとは、少なくとも1つの色センサ素子からなる面状の構造であると理解することができる。たとえば色センサフィールドは、色センサ素子としての少なくとも2つのピクセルからなるクラスタまたはアレイであってよい。色センサ素子はたとえばベイヤーマトリクスを形成することができ、直交するグリッドに配置されていてよい。このとき色センサフィールドは、電磁放射のスペクトルから特定の色をフィルタリングするためのカラーフィルタで覆われていてよい。電磁放射は、特に可視光または近赤外領域の光であってよい。センサ面とは、明度センサ素子または色センサフィールドの感光性の面であると理解することができる。たとえば明度センサ素子は、色センサフィールドより少なくとも2倍広いセンサ面を有することができる。
明度センサ素子は、たとえば四角形または多角形として成形されていてよい。特に、明度センサ素子は十字形の不規則な12角形として構成されていてよい。
色センサフィールドは、少なくとも四角形、特に長方形または正方形に成形されていてよい。同様に色センサ素子も、少なくとも四角形、特に長方形または正方形に成形されていてよい。
ここで提案される取組みは、明度検知と色検知について、1つのセンサモジュールにそれぞれ異なる大きさのセンサセルを適切に配置することで、高い感光性を同時に高い空間解像度で実現できるという知見に依拠している。特に、それによって相応の色センサ素子およびモノクロームセンサ素子の近似的にエイリアシングのない走査を、輝度チャネルおよび色チャネルについての同じ光学的な位置解像度で実現することができる。このような種類のセンサアレイ構造は、たとえばマシンビジョンのために好適であり、感光性、空間解像度、色忠実性、および製造コストの間の優れた妥協という利点をもたらす。
1つの実施形態では、明度センサ素子は色センサフィールドより少なくとも2倍広いセンサ面を有することができる。それにより、センサモジュールの特別に高い感光性を保証することができる。
別の実施形態では、センサモジュールは明度センサ素子よりも多い数の色センサフィールドおよび/または色センサ素子を有することができる。たとえばセンサモジュールは、明度センサ素子より少なくとも4倍多い色センサ素子を有することができる。それにより、センサモジュールの全体センサ面を拡大することなく、センサモジュールの空間解像度を高めることができる。
色センサフィールドは電磁放射の追加の色を検出するための少なくとも1つの追加の色センサ素子を有していると好ましい。それにより、さまざまに異なる色を色センサフィールドにより検出することができる。
さらに、明度センサ素子は少なくとも1つの陥入部を有することができる。色センサフィールドは、少なくとも部分的に陥入部に配置されていてよい。陥入部は、たとえば明度センサ素子の縁部領域にある長方形または正方形の切欠きであってよい。特に陥入部は、明度センサ素子の角領域に構成されていてよい。色センサフィールドは、陥入部が色センサ素子によって少なくとも大部分充填されるように、陥入部に配置されていてよい。たとえば明度センサ素子は、実質的に十字として成形されていてよい。このとき色センサ素子は、少なくとも部分的に、十字の2本の棒によって区切られる陥入部に配置されていてよい。十字は、たとえば点対称に配置された4つの陥入部を有することができる。このような実施形態は、特別にコンパクトなセンサモジュールの設計形態を可能にする。
別の実施形態では、明度センサ素子は固体半導体技術、有機半導体、またはハイブリッド製造技術の方法で製造されていてよい。その追加または代替として、色センサフィールドも半導体技術の方法で製造されていてよい。それにより、センサモジュールを効率的かつ低コストに大量の個数で製造することができる。
さらにセンサモジュールは、電磁放射の明度を検出するための少なくとも1つの別の明度センサ素子を有していると好ましく、その追加または代替として、電磁放射の色を検出するための少なくとも1つの別の色センサ素子を有する少なくとも1つの別の色センサフィールドを含んでいると好ましい。このとき別の明度センサ素子は、色センサフィールドまたは別の色センサフィールドよりも広いセンサ面を有することができる。たとえばセンサモジュールは、複数の明度センサ素子と、複数の色センサフィールドとを有するように具体化されていてよい。このような実施形態により、センサモジュールの感光性と空間解像度を明らかに向上させることができる。
このとき色センサフィールドと別の色センサフィールドは、明度センサ素子に対して相対的に実質的に互いに点対称に配置されていてよい。それにより、色センサフィールドと明度センサ素子との間で、省スペースで対称のアライメントが可能になる。
別の実施形態では、色センサフィールドは、またはその追加もしくは代替として別の色センサフィールドは、少なくとも部分的に、明度センサ素子の中心点を中心とする外接円の内部に配置されていてよい。このとき外接円の直径は最大で、明度センサ素子の中心点と別の明度センサ素子の中心点との間の間隔の2倍に相当することができる。それにより、著しく相違する照明を受けるシーンにおいても、グレー値ベースの物体認識のための高い感度を保証することができる。
明度センサ素子と別の明度センサ素子が実質的に等しい大きさであるのも好ましい。その追加または代替として、色センサフィールドと別の色センサフィールドも実質的に等しい大きさであってよい。それにより、センサモジュールの製造を簡素化することができる。さらに、それにより明度センサ素子と色センサフィールドの均等な配置が可能となる。
ここで説明している取組みは、さらに、上記の実施形態のうちいずれか1つに基づくセンサモジュールを利用して電磁放射の明度および/または色を判定する方法を提供するものであり、この方法は次の各ステップを含んでいる:
明度センサ素子により検出された明度を表す明度値および/または色センサ素子により検出された色を表す色値が読み込まれ、
電磁放射の明度および/または色を判定するために明度値および/または色値が処理される。
さらに、ここで説明している取組みはセンサモジュールを製造する方法を提供し、この方法は次の各ステップを含んでいる:
電磁放射の明度を検出するための少なくとも1つの明度センサ素子、および電磁放射の色を検出するための少なくとも1つの色センサ素子を有する少なくとも1つの色センサフィールドを形成するために基板が加工され、このとき基板は明度センサ素子が色センサフィールドより広いセンサ面を有するように加工される。
基板はたとえば半導体材料、特にシリコン含有の材料であってよい。たとえばセンサモジュールは加工のステップにおいて、半導体技術の方法で製造することができる。
センサを製造するために、標準的なCMOSセンサ製造法を適用することができ、ピクセル相互の配置および輝度セルの形状はここで説明している取組みに基づいて選択される。
本発明の実施例が図面に示されており、以下の記述において詳しく説明する。図面は次のものを示す:
1つの実施例に基づくセンサアレイを示す模式図である。 3チャネル色フィルタを備える実施例に基づく色センサフィールドを示す模式図である。 4チャネル色フィルタを備える実施例に基づく色センサフィールドを示す模式図である。 1つの実施例に基づく装置を示す模式図である。 1つの実施例に基づくセンサモジュールを利用して電磁放射の明度および/または色を判定する方法のフローチャートである。 1つの実施例に基づくセンサモジュールを製造する方法のフローチャートである。
本発明の好都合な実施例についての以下の説明では、異なる図面に示されていて類似の作用をする部材には同一または類似の符号が使われており、そのような部材を繰返し説明することはしない。
図1は、1つの実施例に基づくセンサアレイの形態のセンサモジュール100の模式図を示している。センサモジュール100は、電磁放射の明度を検出するための明度センサ素子102と、色センサ素子106を有する色センサフィールド104とを含んでいる。色センサ素子106は、それぞれ異なる色フィルタを有するアドレシング可能な4つの個々のセルで構成されるとともに、電磁放射の色を検出するために構成されている。明度センサ素子102は、色センサフィールド104より明らかに広いセンサ面を有するように具体化されている。実施例に応じて、明度センサ素子102のセンサ面は色センサフィールド104のセンサ面より少なくとも2倍広い。
本実施例では、色センサフィールド104は色センサ素子106のほか、一例として第1の追加の色センサ素子108と、第2の追加の色センサ素子110と、第3の追加の色センサ素子112とを含んでいる。4つの色センサ素子106,108,110,112はそれぞれ電磁放射の異なる波長領域について感度がある。たとえば色センサ素子106は青の色、第1の追加の色センサ素子108は緑の色、第2の追加の色センサ素子110は赤の色、第3の追加の色センサ素子112は近赤外について感度がある。4つの色センサ素子はそれぞれ実質的に正方形に成形されるとともに、色センサフィールド104も実質的に正方形の形状を有するように相互に配置されている。4つの色センサ素子106,108,110,112は実質的に等しい大きさであってよい。各々の色センサ素子106,108,110,112、ならびに明度センサ素子102が、センサモジュール100の光センサ素子をなしている。
明度センサ素子102は4つの陥入部114を備えた十字の形状を有しており、4つの陥入部114の各々が十字の2本の棒によって区切られる。陥入部114のうちの1つに、色センサフィールド104の1つの区域が配置される。色センサフィールド104は、色センサ素子106が陥入部114を完全に充填するように陥入部114に配置されており、すなわち、陥入部114の大きさは色センサ素子106の大きさに実質的に相当する。
図1に示す実施例では、センサモジュール100は色センサフィールド104に追加して、色センサフィールド104に準じてそれぞれ実質的に等しい大きさの4つの別の色センサ素子118を有する、複数の別の色センサフィールド116を有するように具体化されている。各々の別の色センサフィールド116の4つの別の色センサ素子118は、たとえば同じく電磁放射のそれぞれ異なる波長領域について感度があり、たとえば赤、緑、青、近赤外のそれぞれの色について感度がある。ここでは明度センサ素子102の3つの他の陥入部114の各々に、それぞれ1つの別の色センサフィールド116が配置されて、他の3つの陥入部114も同じくそれぞれ1つの別の色センサ素子118によって完全に充填されるようになっている。陥入部114に配置された別の色センサ素子118は、たとえば電磁放射のそれぞれ異なる波長領域について感度があり、図1では一例として緑、赤、近赤外のそれぞれの色について感度がある。
色センサフィールド104と別の色センサフィールド116は、実質的に等しい大きさを有することができる。
明度センサ素子102に追加して、センサモジュール100は任意選択として、明度センサ素子102と実質的に等しい大きさと同じ形状を有する複数の別の明度センサ素子120を有するように具体化される。別の明度センサ素子120の各々も、4つの陥入部114を有するように具体化される。図1に見られるとおり、色センサフィールド104の3つの追加の色センサ素子108,110,112は、明度センサ素子102に隣接して配置された別の明度センサ素子120の陥入部114にそれぞれ配置される。
1つの実施例では、色センサフィールド104は明度センサ素子102の中心点を中心とする外接円122の内部に部分的に配置される。この外接円122は、2つの明度センサ素子の間の間隔rの最大2倍に相当する直径dを有している。たとえば間隔rは、2つの隣接する明度センサ素子のそれぞれの中心点の間の間隔を表す。図1では、直径dは一例として間隔rの1.5倍に相当している。
1.5rに相当する錯乱円を有する光学系が使用される場合、点光源の色をまだ一義的に認識することができ、それは、たとえばLセンサ素子102とこれに接するR,G,B−NIRセンサ素子114(NIR=近赤外)が適当なアルゴリズムにより、輝度値とクロミナンス座標とを有するピクセルとして計算されることによる。
適当な別のアルゴリズムを用いて、それぞれ4つの色センサ素子から、たとえばセンサ素子106,108,110,112から、輝度値とクロミナンス座標とを有するピクセルを同じく計算することができる。
それによりLセンサセルごとに、たとえばセンサセル102ごとに、輝度値とクロミナンス座標をそれぞれ利用できるとともに、色クラスタごとに、たとえば色クラスタ104ごとに、輝度値とクロミナンス値を再処理のために利用でき、それにより、なお有意義に表現可能な位置周波数は色についても輝度についても1LP/dとなる。それと同時に、比較的大きいLセンサ素子について、特別に光の強い輝度信号を半分の解像度で利用することができる。
センサの設計にあたって大事なのは、感光性、空間解像度、色忠実性、およびコストの間で良好な妥協を見出すことにある。高い感光性は、所与のプロセスでたとえば比較的大きいLセンサセルによって実現することができる。空間解像度は拡大されたアレイによって、すなわちいっそう多い数のセンサセルによって高めることができる。色忠実性は、人間の知覚に合わせて良好に調節された、できる限り細かいスペクトル分解によって、および色の再構成によって改善することができる。その際に、コストは主としてセンサの総面積によって影響を受ける。
以上を背景としたうえで、以下、自動車分野でのマシンビジョンのシステムのための経済的で効率的な解決法となる、センサモジュール100のさまざまな実施例を記述する。
基準センサとしての役目を果たすのは、たとえばRGGBパターンを有するHDRセンサ(High Dynamic Range−Sensor)である。HDRセンサは次のような指標を有することができる:
−アレイサイズ:2メガピクセル(1920×1180)センサセル
−3μmのピクセル間隔のグリッド上で直交する配置
−輝度エイリアシングなしに理論上で解像可能な最小の位置周波数:約80lp/mm;ラインペアごとに4ピクセルまたはラインごとに2ピクセル
−色エイリアシングなしに理論上で解像可能な最小の位置周波数:約55lp/mm;ラインペアごとに6ピクセルまたはラインごとに3ピクセル
−3ルックスでの輝度チャネルにおける信号対雑音比1
センサモジュール100は、基準センサに比べて多い数の個別センサを有しているが(5倍だけ多い)、基準センサと等しい面積を覆う。コントラストと色についての位置周波数解像度は、センサモジュール100ではたとえば約80lp/mmである。信号対雑音比は、3Luxよりも明らかに低いときの輝度チャネルでたとえば1である。
以下に述べるセンサモジュールは、高度に解像された強度画像またはグレー値画像を、同じく高度に解像された色測定と両立させることを可能にする。
専用の光学的な解像度と、光学系の設計から生じる錯乱円とでこのことを実現するために、上において明度センサ素子とも呼んだグレー値画像を生成するセンサセルは、上において色センサ素子とも呼んだ色を検出するためのセルよりも明らかに大きいのがよい。
そのためにセンサセルは、2つの明度センサ素子の間の間隔rの最大2倍の外接円の中に、色位置決定のために適した十分に多くの色センサ素子が位置するように配置されるのがよい。たとえば色センサ素子は、明度センサ素子に対して対称に配置されていてよい。明度センサ素子は、たとえば広帯域の輝度セルであってよい。
たとえば自動車分野で該当するような著しく相違する照明を受けるシーンで物体を検出するための光学システムについては、グレー値ベースの物体認識のために必要な高い感度は、たとえばカラーマスクのない広帯域に感度のある光センサのような、明度センサ素子の稠密なグリッドによって実現することができる。明度センサ素子は、照明が弱いときでも良好なコントラスト分離を可能にするのがよい。たとえば明度センサ素子は、対数センサまたは準対数センサとして構成される。色センサ素子は線形の特性曲線を有することができるが、それは、色信号再構成を規格に即して、したがって低コストに、線形信号で行うことができるからである。色再構成は、中程度の明度から初めて利用可能になるのがよい。なぜなら分類されるべき物体は多くの場合、たとえば自動車ヘッドライト、テールランプのように自己発光であったり、自己発光をする交通標識であったり、たとえば道路標識やマーキングのように、日中やヘッドライト光で良好に照明されるからである。
このような種類のセンサモジュールは一連の利点をもたらす。
たとえば輝度チャネルまたはグレー値チャネルを通じての明度信号の検知を、色測定に関わりなく、照明が弱いときでも良好な信号対雑音比を可能にする広帯域で高感度のセンサによって行うことができる。強度信号は、分散して測定された、状況によってはノイズで制約をうける信号から再構成されるのでなく、直接的に測定されるのがよい。信号対雑音比により定義される信号品質は、再構成される信号をたとえば30パーセントだけ上回ることができる。
色の検知は、強度信号と対称に測定することができる。色位置は、たとえば紫外成分として中央の強度値に割り当てることができる。
受信された放射の赤外割合の分離を可能にする第4の色チャネルが、センサモジュールの輝度解像度を低下させることがなく、むしろ、650nmを超える近赤外領域にまで開いた広帯域の光学系の使用を可能にする。なぜならメタメリズムを生じさせるNIR信号割合を別個に検出して重みづけし、RGBチャネルから取り出して、外乱の影響を色計算から取り除くことができるからである。
明度センサ素子の形態の強度ピクセルと対称に、4つのカラーサンプルが強度ピクセルの各々の角で測定されて、たとえば中央の強度ピクセルについての色値の妥当性検査や修正のために利用される。光学系の解像限界が強度ピクセルラスタの1.5倍であれば、カラーエイリアシングを効果的に抑圧することができる。
強度測定チャネルと色測定チャネルの分離は、たとえば強度チャネルについてはコントラスト維持をするように対数的にし、色チャネルでは簡単な色再構成のために線形にするなど、そのつど最善に適合化されたさまざまなセンサ読出構造と伝達特性曲線の利用を可能にする。
センサモジュール100は、たとえば次のように特徴づけることができる。
一方では、センサモジュール100は広帯域の強度検知と色検知について別々のセンサ素子を有している。強度検知はたとえば輝度センサによって行われる。色検知はたとえばRGBNIRセンサによって行われる。
このとき色センサ素子は、明度センサ素子よりも明らかに小さい。明度センサ素子は、たとえば色センサ素子の10倍の大きさである。このとき色センサ素子はクラスタとして、特にRGBNIRクラスタとして、それぞれの明度センサ素子の間に配置されていてよい。
センサモジュール100は、明度センサ素子よりも数的に明らかに多い色センサ素子を有しており、色センサ素子は面積的には明度センサ素子よりも小さい。それにもかかわらず、明度センサ素子はセンサモジュール100のセンサ面の大部分を覆い、たとえばセンサ面の約75パーセントを覆う。
明度センサ素子は、放射が強いときに飽和へと向かわず、放射が弱いときに十分に多い光子を検知できるようにするために、対数特性または区域的に線形の特性を有するハイダイナミックなセンサセルである。それにより、ノイズの少ない信号を生起することができる。
色センサ素子は、明度センサ素子に対して対称にアライメントされる。
1つの実施例では、センサモジュール100は多数の個別センサ素子を含む画像センサアレイとして具体化され、個別センサ素子はそのサイズに関して互いに著しく相違しており、たとえば少なくとも係数3だけ相違している。
たとえばセンサモジュール100は、大きなセンサ素子の少なくとも4倍多い小さいセンサ素子を有している。
このとき小さいセンサ素子はクラスタとして、たとえば2×2クラスタとして、それぞれの大きなセンサ素子の間に埋設されていてよい。
大きなセンサ素子は全体としてセンサアレイ面の少なくとも3分の2を占めることができ、小さいセンサ素子は全体としてセンサアレイ面の多くとも3分の1を占めることができる。
大きいセンサ素子は明度センサ素子として、たとえば広帯域のスペクトルフィルタを有する、または有さない強度センサとして構成される。小さいセンサ素子は、色フィルタ層で覆われていてよい色センサ素子である。
色センサ素子は、明度センサ素子に対して点対称に配置されていてよい。
明度センサ素子と色センサ素子は、ピクセル伝達特性に関して互いに相違することができる。たとえば明度センサ素子は対数特性または準対数特性を有するのに対し、色センサ素子は線形の特性を有することができる。
センサモジュール100は、たとえばシリコン面の上に具体化されていてよい。
図2は、1つの実施例に基づく3チャネル色フィルタを有する色センサフィールド104の模式図を示している。この色センサフィールド104は、図1を参照して説明した色センサフィールドに実質的に相当しているが、相違点は、第3の追加の色センサ素子112が、第1の追加の色センサ素子108と同様に、緑色について感度を有することにある。色センサフィールド104の色パターンは、たとえば典型的なRGGBベイヤーパターンに相当する。
図3は、1つの実施例に基づく4チャネル色フィルタを有する色センサフィールド104の模式図を示している。この色センサフィールド104は、図1を参照して説明した色センサフィールドに実質的に相当しているが、相違点は、第1の追加の色センサ素子108が、図3ではアルファベットCが付された、広帯域側で開いたフィルタにより覆われることにある。さらに、図3の色センサ素子106は緑色に対して感度を有する。色センサフィールド104は、本実施例では、高透過性のパターンを有するように具体化される。このとき第3の追加の色センサ素子112は、650nm以降の波長について透過性を有するNIRパスフィルタとして機能する。
図4は、1つの実施例に基づく装置400の模式図を示している。装置400は、たとえば図1から3を参照して上に説明したようなセンサモジュールを利用して電磁放射の明度または色を判定する役目を果たす。そのために装置400は、センサモジュールとのインターフェースを介して、明度センサ素子により検出された明度を表す明度値415を読み込むために構成された読込みユニット410を含んでいる。その追加または代替として読込みユニット410は、インターフェースを介して、色センサフィールドの色センサ素子により検出された色を表す色値417を読み込むために構成されている。実施例に応じて、読込みユニット410は明度値415または色値417またはこの両方の値を処理ユニット420へ転送し、この処理ユニットは、両方の値415,417のうち少なくとも一方を利用して電磁放射の明度または色を判定し、判定された明度または色を表す結果値427を出力するために構成されている。
図5は、1つの実施例に基づくセンサモジュールを利用して電磁放射の明度および/または色を判定する方法500のフローチャートを示している。方法500は、たとえば図4を参照して上に説明した装置との関連で実施することができる。ここではステップ510で明度値が読み込まれる。その追加または代替として、ステップ510で色値が読み込まれる。ステップ520で、明度値ないし色値が処理されて、電磁放射の明度ないし色を判定する。
図6は、1つの実施例に基づくセンサモジュールを製造する方法600のフローチャートを示している。方法600は、たとえば図1から5を参照して上に説明したようなセンサモジュールを製造するために実施することができる。方法600は、たとえばシリコン支持体のような基板が準備される任意選択のステップ610を含んでいる。ステップ620で、基板がたとえば半導体技術の適当な方法で加工されて、電磁放射の明度を検出するための少なくとも1つの明度センサ素子、および、電磁放射の色を検出するための少なくとも1つの色センサ素子を有する少なくとも1つの色センサフィールドを形成する。基板の加工は、明度センサ素子のセンサ面が、色センサフィールドのセンサ面より明らかに広くなるように行われる。
ある実施例が、第1の構成要件と第2の構成要件との間に「および/または」の結合を含んでいる場合、このことは、当該実施例が1つの実施形態では第1の構成要件および第2の構成要件を両方とも有し、別の実施形態では第1の構成要件または第2の構成要件のいずれかのみを有していると読まれるべきである。
100 センサモジュール
102 明度センサ素子
104 色センサフィールド
106 色センサ素子
108,110,112 追加の色センサ素子
114 陥入部
116 別の色センサフィールド
118 別の色センサ素子
120 別の明度センサ素子
122 外接円
415 明度値
417 色値
500 方法
510 読込み
520 処理
600 方法
610 加工

Claims (11)

  1. センサモジュール(100)において、次の各構成要件すなわち、
    広帯域の電磁放射の明度を検出するための少なくとも1つの明度センサ素子(102)と、
    電磁放射の色を検出するための少なくとも1つの色センサ素子(106)を有する少なくとも1つの色センサフィールド(104)とを有しており、前記明度センサ素子(102)は前記色センサフィールド(104)よりも広いセンサ面を有しているセンサモジュール(100)。
  2. 前記明度センサ素子(102)は前記色センサフィールド(104)より少なくとも2倍広いセンサ面を有している、請求項1に記載のセンサモジュール(100)。
  3. 前記センサモジュール(100)は前記明度センサ素子(102)よりも多い数の色センサフィールド(104)および/または色センサ素子(106)を有している、先行請求項のうちいずれか1項に記載のセンサモジュール(100)。
  4. 前記色センサフィールド(104)は電磁放射の追加の色を検出するための少なくとも1つの追加の色センサ素子(108,110,112)を有している、先行請求項のうちいずれか1項に記載のセンサモジュール(100)。
  5. 前記明度センサ素子(102)は少なくとも1つの陥入部(114)を有しており、前記色センサフィールド(104)は少なくとも部分的に前記陥入部(114)に配置されている、先行請求項のうちいずれか1項に記載のセンサモジュール(100)。
  6. 電磁放射の明度を検出するための少なくとも1つの別の明度センサ素子(120)、および/または電磁放射の色を検出するための少なくとも1つの別の色センサ素子(118)を有する少なくとも1つの別の色センサフィールド(116)を含んでおり、前記別の明度センサ素子(120)は前記色センサフィールド(104)および/または前記別の色センサフィールド(116)よりも広いセンサ面を有している、先行請求項のうちいずれか1項に記載のセンサモジュール(100)。
  7. 前記色センサフィールド(104)と前記別の色センサフィールド(116)は前記明度センサ素子(102)に対して相対的に実質的に互いに点対称に配置されている、請求項6に記載のセンサモジュール(100)。
  8. 前記色センサフィールド(104)および/または前記別の色センサフィールド(116)は前記明度センサ素子(102)の中心点を中心とする外接円(122)の内部に少なくとも部分的に配置されており、前記外接円(122)の直径(d)は前記明度センサ素子(102)の中心点と前記別の明度センサ素子(120)の中心点との間の間隔(r)の最大2倍に相当している、請求項6または7に記載のセンサモジュール(100)。
  9. 前記明度センサ素子(102)と前記別の明度センサ素子(120)は実質的に等しい大きさであり、および/または前記色センサフィールド(104)と前記別の色センサフィールド(116)は実質的に等しい大きさである、請求項6から8のいずれか1項に記載のセンサモジュール(100)。
  10. 先行請求項のうちいずれか1項に記載のセンサモジュール(100)を利用して電磁放射の明度および/または色を判定する方法(500)において、前記方法(500)は次の各ステップを含んでおり、すなわち、
    明度センサ素子(102)により検出された明度を表す明度値(415)および/または色センサ素子(106)により検出された色を表す色値(417)が読み込まれ(510)、
    電磁放射の明度および/または色を判定するために明度値(415)および/または色値(417)が処理される(520)方法。
  11. センサモジュール(100)を製造する方法(600)において、前記方法(600)は次の各ステップを含んでおり、すなわち、
    電磁放射の明度を検出するための少なくとも1つの明度センサ素子(102)と、電磁放射の色を検出するための少なくとも1つの色センサ素子(106)を有する少なくとも1つの色センサフィールド(104)とを形成するために基板が加工され(610)、このとき前記基板は前記明度センサ素子(102)が前記色センサフィールド(104)より広いセンサ面を有するように加工される方法(600)。
JP2017041616A 2016-05-17 2017-03-06 センサモジュール、電磁放射の明度および/または色を判定する方法、およびセンサモジュールを製造する方法 Pending JP2018009960A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102016208409.7 2016-05-17
DE102016208409.7A DE102016208409A1 (de) 2016-05-17 2016-05-17 Sensormodul, Verfahren zum Ermitteln einer Helligkeit und/oder einer Farbe einer elektromagnetischen Strahlung und Verfahren zum Herstellen eines Sensormoduls

Publications (1)

Publication Number Publication Date
JP2018009960A true JP2018009960A (ja) 2018-01-18

Family

ID=59201533

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017041616A Pending JP2018009960A (ja) 2016-05-17 2017-03-06 センサモジュール、電磁放射の明度および/または色を判定する方法、およびセンサモジュールを製造する方法

Country Status (5)

Country Link
US (1) US10091481B2 (ja)
JP (1) JP2018009960A (ja)
CN (1) CN107389193B (ja)
DE (1) DE102016208409A1 (ja)
GB (1) GB2551899A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220008620A (ko) * 2020-07-14 2022-01-21 에스케이하이닉스 주식회사 이미지 센싱 장치

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040178467A1 (en) * 2002-03-20 2004-09-16 Foveon, Inc. Vertical color filter sensor group array that emulates a pattern of single-layer sensors with efficient use of each sensor group's sensors
JP2005502869A (ja) * 2001-09-11 2005-01-27 ルミレッズ ライティング ユーエス リミテッドライアビリティ カンパニー カラーフォトセンサ
JP2006165975A (ja) * 2004-12-07 2006-06-22 Konica Minolta Photo Imaging Inc 撮像素子、撮像装置、画像処理方法
WO2006064564A1 (ja) * 2004-12-16 2006-06-22 Fujitsu Limited 撮像装置、撮像素子および画像処理方法
JP2008533590A (ja) * 2005-03-11 2008-08-21 ハンド ヘルド プロダクツ インコーポレーティッド 単色およびカラーのハイブリッドイメージセンサアレイを持つデジタル画像取得光学式リーダー
DE102007040114A1 (de) * 2007-08-24 2009-02-26 Robert Bosch Gmbh Farbmaske für einen Bildsensor einer Fahrzeugkamera
JP2014175992A (ja) * 2013-03-12 2014-09-22 Nikon Corp 固体撮像素子及びこれを用いた撮像装置
CN105430361A (zh) * 2015-12-18 2016-03-23 广东欧珀移动通信有限公司 成像方法、图像传感器、成像装置及电子装置
US9467632B1 (en) * 2015-07-13 2016-10-11 Himax Imaging Limited Dual exposure control circuit and associated method

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3824639C2 (de) 1988-07-20 1993-11-18 Geutebrueck Videotechnik Gmbh Optische Überwachungseinrichtung
GB0314156D0 (en) * 2003-06-18 2003-07-23 Dsine Technology Ltd Proximity sensing system
EP1594321A3 (en) 2004-05-07 2006-01-25 Dialog Semiconductor GmbH Extended dynamic range in color imagers
US7315241B1 (en) * 2004-12-01 2008-01-01 Hrl Laboratories, Llc Enhanced perception lighting
EP1679907A1 (en) 2005-01-05 2006-07-12 Dialog Semiconductor GmbH Hexagonal color pixel structure with white pixels
US7568628B2 (en) * 2005-03-11 2009-08-04 Hand Held Products, Inc. Bar code reading device with global electronic shutter control
US7821553B2 (en) 2005-12-30 2010-10-26 International Business Machines Corporation Pixel array, imaging sensor including the pixel array and digital camera including the imaging sensor
US7768569B2 (en) 2006-08-17 2010-08-03 Altasens, Inc. High sensitivity color filter array
JP2012253624A (ja) * 2011-06-03 2012-12-20 Sony Corp 固体撮像装置およびカメラシステム
CA2828822A1 (en) * 2013-01-16 2014-07-16 Nordion (Canada) Inc. Apparatus for detecting radiation fields
US20150054997A1 (en) 2013-08-23 2015-02-26 Aptina Imaging Corporation Image sensors having pixel arrays with non-uniform pixel sizes
US9686485B2 (en) * 2014-05-30 2017-06-20 Apple Inc. Pixel binning in an image sensor

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005502869A (ja) * 2001-09-11 2005-01-27 ルミレッズ ライティング ユーエス リミテッドライアビリティ カンパニー カラーフォトセンサ
US20040178467A1 (en) * 2002-03-20 2004-09-16 Foveon, Inc. Vertical color filter sensor group array that emulates a pattern of single-layer sensors with efficient use of each sensor group's sensors
JP2006165975A (ja) * 2004-12-07 2006-06-22 Konica Minolta Photo Imaging Inc 撮像素子、撮像装置、画像処理方法
WO2006064564A1 (ja) * 2004-12-16 2006-06-22 Fujitsu Limited 撮像装置、撮像素子および画像処理方法
JP2008533590A (ja) * 2005-03-11 2008-08-21 ハンド ヘルド プロダクツ インコーポレーティッド 単色およびカラーのハイブリッドイメージセンサアレイを持つデジタル画像取得光学式リーダー
DE102007040114A1 (de) * 2007-08-24 2009-02-26 Robert Bosch Gmbh Farbmaske für einen Bildsensor einer Fahrzeugkamera
JP2014175992A (ja) * 2013-03-12 2014-09-22 Nikon Corp 固体撮像素子及びこれを用いた撮像装置
US9467632B1 (en) * 2015-07-13 2016-10-11 Himax Imaging Limited Dual exposure control circuit and associated method
CN105430361A (zh) * 2015-12-18 2016-03-23 广东欧珀移动通信有限公司 成像方法、图像传感器、成像装置及电子装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
西村望: "固体撮像素子", 東芝技術公開集, vol. VOL.15-3, JPN6020047226, 13 January 1997 (1997-01-13), pages 131, ISSN: 0004404803 *

Also Published As

Publication number Publication date
DE102016208409A1 (de) 2017-11-23
CN107389193A (zh) 2017-11-24
US20170339387A1 (en) 2017-11-23
US10091481B2 (en) 2018-10-02
GB2551899A (en) 2018-01-03
GB201707870D0 (en) 2017-06-28
CN107389193B (zh) 2022-06-24

Similar Documents

Publication Publication Date Title
US10462433B2 (en) Image sensor with big and small pixels and method of manufacture
US7215361B2 (en) Method for automated testing of the modulation transfer function in image sensors
CN102449765B (zh) 用于亚衍射极限传感器的梯度滤色器
US20080211945A1 (en) Image sensor with extended dynamic range
US7745779B2 (en) Color pixel arrays having common color filters for multiple adjacent pixels for use in CMOS imagers
CN106161890B (zh) 成像装置、成像系统以及信号处理方法
JP4546237B2 (ja) 単一チップ低光レベルカラーカメラ
US8633996B2 (en) Image sensor having nonlinear response
US8405748B2 (en) CMOS image sensor with improved photodiode area allocation
CN102460700B (zh) 用于子衍射极限传感器的滤色器
KR101639382B1 (ko) 높은 동적 범위를 가지는 영상을 생성하는 장치 및 방법
US9635325B2 (en) Systems and methods for detecting ultraviolet light using image sensors
US8237121B2 (en) Alternating row infrared filter for an image sensor
US20110032397A1 (en) Method and apparatus providing color interpolation in color filter arrays using edge detection and correction terms
US20110317048A1 (en) Image sensor with dual layer photodiode structure
CN107547807B (zh) 用于减少空间闪烁伪影的装置和成像系统
US20080218597A1 (en) Solid-state imaging device and imaging apparatus
US9883149B2 (en) Imaging sensor and method for color night vision
JP2009529291A (ja) 組み合わせられたマルチアレイ・カラー画像センサ
KR20080084996A (ko) 이미저에 대해 에지를 유지하면서 노이즈 감소를 제공하는방법 및 장치
CN107026994A (zh) 光学探测器
US7027091B1 (en) Detection of color filter array alignment in image sensors
CN207251823U (zh) 成像设备和成像系统
JP2018009960A (ja) センサモジュール、電磁放射の明度および/または色を判定する方法、およびセンサモジュールを製造する方法
US20240222404A1 (en) Image capture apparatus and methods using color co-site sampling

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170907

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200217

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20200615

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201209

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210303

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210426

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210729