CN107623825A - 用于对光传感器进行采样的方法和设备 - Google Patents

用于对光传感器进行采样的方法和设备 Download PDF

Info

Publication number
CN107623825A
CN107623825A CN201710569841.8A CN201710569841A CN107623825A CN 107623825 A CN107623825 A CN 107623825A CN 201710569841 A CN201710569841 A CN 201710569841A CN 107623825 A CN107623825 A CN 107623825A
Authority
CN
China
Prior art keywords
sensor
sensor unit
measurement channel
adjacent
optical sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710569841.8A
Other languages
English (en)
Inventor
M·格泽
U·塞格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of CN107623825A publication Critical patent/CN107623825A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14603Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/1462Coatings
    • H01L27/14621Colour filter arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本发明涉及一种用于对光传感器(1300)进行采样的方法。所述光传感器(1300)包括由多个六边形传感器单元(1302,1304,1306)构成的点阵结构,所述六边形传感器单元如此布置,使得每三个相邻的传感器单元(1302,1304,1306)的各个中点可通过假想的连接线连接成基本上等边的三角形。在所述方法中,首先通过对所述传感器单元(1302,1304,1306)的逐行的采样来读取所述光学传感器(1300)。缓存在对至少四个相邻的行的采样中所读取的传感器信号(1322)。在另一步骤中,通过对至少一个传感器信号(1322)进行内插,产生多个分别分配给传感器单元(1302,1304,1306)的图像元素(1324)。

Description

用于对光传感器进行采样的方法和设备
技术领域
本发明涉及用于对光传感器进行采样的一种设备或一种方法。本发明的主题也是一种计算机程序。
背景技术
图像传感器可以对于其各个光传感器例如具有矩形的、六边形的或斜角的(schiefwinkelig)点阵结构。(见二维Bravais点阵)。
发明内容
在这种背景下,以在此所提出的方案提出了一种用于根据图像传感器中的光传感器对光信号进行采样的方法、一种使用所述方法的设备,以及最后提出了一种相应的计算机程序。通过列出的措施,可以实现所说明的设备的有利的构型和改善方案。
根据一种实施方式,提出了一种用于对光信号进行采样的方法,其中,图像传感器由多个布置在六边形点阵(hexagonales Gitter)上的六边形传感器单元构成。
在此,传感器单元如此布置,使得每三个相邻的传感器单元的相应的中点可通过假想(gedacht)的连接线连接成基本上等边的三角形。
各个光传感器可以借助不同的光谱滤波器构型,采用所述不同的光谱滤波器用于颜色重构。每个光传感器视滤波器类型而定地产生分配给光谱滤波器的光特性的传感器信号(测量值(Messung))。
如此将光传感器分成不同的传感器类型。在此,所述方法具有以下步骤:
通过逐排或逐列地读取光传感器测量值或光传感器信号来读取图像传感器;
缓存在对至少四个相邻的排或列进行采样时读取的传感器信号;
通过对至少另一传感器类型的传感器信号进行内插来产生多个分别分配给传感器单元的光特性。
图像传感器可以理解为由多个不同的光传感器构成的装置。
光传感器可以理解为将光通量(Lichtstrom)的光子根据其特性转换成可测量的信号的物理设备。
在此,光通量的特性是光子的能量和波长、每个单位时间的光子的数量(光通量强度/光强度)以及光通量的光子的偏振方向。
根据一种实施例,提出了一种用于对光传感器进行采样的方法,其中,光传感器具有由多个六边形传感器单元构成的点阵结构,其中,传感器单元如此布置,使得每三个相邻的传感器单元的相应的中点可通过假想的连接线连接成基本上等边的三角形,其中,所述方法包括以下步骤:
通过对所述传感器单元逐排地采样来读取所述光传感器;
缓存在对至少四个相邻的排进行采样时读取的传感器信号;
通过对传感器信号(例如在缓存的步骤中所缓存的传感器信号中的至少两个)进行内插,产生多个分别分配给传感器单元的图像元素。在此,可以使用第一传感器类型的传感器单元的用于内插的传感器信号,并且对于其产生图像元素的传感器单元表现为与第一传感器类型不同的第二传感器类型的传感器单元。根据一种实施方式,也可以执行所使用的传感器信号的至少一个图像信息的内插。
对光传感器(也称为图像传感器)的采样可以理解为,对由传感器单元所提供的传感器信号进行采样。因此,可以如此实施对传感器信号的读取,使得执行由传感器单元所提供的传感器信号的逐排的采样。在产生的步骤中,可以产生光特性作为图像元素。必要时在内插时所使用的图像信息可以相应于至少一个传感器信号或可以通过至少一个传感器信号代表。
例如可以在产生的步骤中,通过对第一传感器类型的传感器单元的至少两个传感器信号进行内插来产生用于第二传感器类型的传感器单元的光特性,所述第二传感器类型例如具有另一光谱滤波器的传感器单元。在此,所使用的传感器信号可以涉及在缓存的步骤中所缓存的传感器信号。
逐排的采样可以理解为逐行或逐列的采样。传感器单元(也称为光传感器)可以理解为光传感器的分配给用于测量确定的光特性的确定的测量通道的光敏构件。光传感器例如可以具有用于测量至少三个不同的光特性(例如红色、绿色和蓝色)的至少三个测量通道。传感器单元(Sensorelement)例如可以彼此相邻地布置或关于分别分配给其的测量通道交替地在点阵结构中布置。传感器单元也可以称为光素,光素尤其包含仅通过传感器类型的光特性的一维测量值。图像元素可以理解为借助光传感器待生成的图像的像素,所述像素尤其可以带有多维信息,例如属于光信号的颜色的数字编码。图像元素例如可以在产生的步骤中在使用六边形输出栅格或矩形输出栅格的情况下产生图像元素。图像信息例如可以理解为基于内插所求取的颜色信息或亮度信息。
在此所提出的方案基于以下认知:可以借助由多个六边形传感器单元构成的点阵结构通过逐排地、尤其逐排地空间上相移地采样传感器单元来符合奈奎斯特定理地并且没有过采样地读取光传感器。
在此,尤其在所述装置中可能地如此设计低通滤波器的特性空间频率,使得与可比的矩形点阵不同地还使更高的空间频率通过。
根据一种实施方式,在缓存的步骤中,在环形存储器中缓存传感器信号。由此可以尽可能高效地进行缓存。
根据另一实施方式,在产生的步骤中,可以在使用六边形输出栅格的情况下产生图像元素。附加地或替代地,可以在使用矩形输出栅格的情况下产生图像元素。由此可以产生高分辨率的、写实的图像,该图像尤其可以在典型的图像输出设备上在没有其他转换的情况下示出。
光传感器的实施是光传感器以如下方式和方法的划分:可以在两个或更多个时间上无关的部分步骤中进行读取。即时间上相移地对光传感器进行采样。光传感器的划分也可以成为子像素并且包含传感器单元的空间上的部分区段。通过所述实施可以通过时间上重叠的积分实现对光信号的理想的时间上的采样。
另外,光传感器可以具有至少一个用于测量第一光特性的第一测量通道、用于测量第二光特性的第二测量通道和用于测量第三光特性的第三测量通道。传感器单元可以分别分配给三个测量通道中的一个并且如此布置,使得每个中心传感器单元由六个相邻的传感器单元包围。在此,中心传感器单元可以分配给与六个相邻的传感器单元不同的测量通道。在读取的步骤中,例如可以通过传感器单元的逐排采样来读取三个测量通道。在产生的步骤中,可以在使用六个相邻的传感器单元中的至少三个的传感器信号的情况下通过对分配给中心传感器单元的中心图像信息进行内插来产生图像元素。由此可以尽可能高效地执行所述内插。根据一种实施方式,中心传感器单元可以分配给第一测量通道,其中,六个相邻的传感器单元中的三个可以分别分配给第二测量通道并且所述六个相邻的传感器单元的另外三个可以分别分配给第三测量通道。相应地,可以在产生的步骤中,通过对三个分别分配给第二测量通道的相邻的传感器单元的传感器信号求平均或附加地或替代地通过对三个分配给每个第三测量通道的相邻的传感器单元的传感器信号进行加权地求平均来对中心图像信息进行内插。由此可以进一步提高所述内插的效率。
根据一种实施方式,中心传感器单元可以分配给第一测量通道,其中,六个相邻的传感器单元中的三个可以分别分配给第二测量通道并且所述六个相邻的传感器单元中的另外三个可以分别分配给第三测量通道。如果传感器单元位于六边形点阵上,则光传感器可以构成等腰三角形。
相应地,在产生的步骤中,通过对三个分别分配给第二测量通道的相邻的传感器单元的传感器信号进行相同加权的求平均或附加地或替代地通过对三个分别分配给第三测量通道的相邻的传感器单元的传感器信号进行相同加权的加权的求平均来对中心图像信息进行内插。由此可以进一步提高内插的效率。
在产生的步骤中,可以对代表第一光特性的作为中心图像信息的图像信息进行内插。由此,可以通过由代表第二或第三光特性的传感器信号的内插来求取第一光特性。
在产生的步骤中,也由光特性产生图像信息,所述图像信息可以仅通过由光特性的复杂的重构来求取(例如偏振、LED闪烁行为(LED Flicker Verhalten))。
所述方法例如可以在软件或硬件或软件与硬件的混合形式中、例如在控制设备中实现。
在此所提出的方案还设立一种设备,该设备构造用于在相应的装置中执行、操控或实施在此所提出的方法的变型方案的步骤。也可以通过本发明的设备形式的实施变形方案来快速并且高效地解决本发明所基于的任务。
为此,所述设备可以具有至少一个用于处理信号或数据的计算单元、至少一个用于存储信号或数据的存储单元、至少一个至传感器或执行器的用于从传感器读取传感器信号或用于将数据信号或控制信号输出给执行器的接口和/或至少一个用于读取或输出嵌入到通信协议中的数据的通信接口。计算单元例如可以是信号处理器、微控制器等,其中,存储单元可以是闪存、EPROM或磁存储单元。通信接口可以构造用于无线地和/或有线的读取或输出数据,其中,可以读取或输出有线数据的通信接口可以电地或光学地从相应的数据传输线路中读取数据或将数据输出到相应的数据传输线路中。
设备可以在此理解为电设备,所述电设备处理传感器信号并且取决于此输出控制信号和/或数据信号。设备可以具有接口,所述接口可以硬件方式和/或软件方式构造。在硬件方式构造中,接口例如可以是所谓的系统ASIC的一部分,该部分包含设备的最不同的功能。但是也可以实现的是,接口是独立集成电路或至少部分地由离散构件构成。在软件构造中,接口可以是软件模块,所述软件模块例如和其他软件模块一起存在与微控制器上。
在一种有利的构型中,通过所述设备进行车辆的控制。为此,该设备例如可以动用传感器信号、例如加速度传感器信号、压力传感器信号、转向角传感器信号或环境传感器信号。操控通过执行器、例如车辆的制动执行器或转向执行器或马达控制设备来实现。
有利的是一种计算机程序产品或计算机程序,其具有如下程序代码:所述程序代码可以存储在机器可读的载体或存储介质上、例如半导体存储器、硬盘存储器或光学存储器,并且尤其当在计算机或设备上实施所述程序产品或程序时可以使用所述代码用于执行、实现和/或操控根据前面所描述的实施方式中任一项所述的方法的步骤。
附图说明
本发明的实施例在附图中示出并且在以下说明中进一步阐述。附图示出:
图1:图像传感器上的拜耳彩色滤波阵列的示意性图示;
图2:图1中的拜耳彩色滤波阵列的示意性图示;
图3:矩形传感器装置的采样点的示意性图示;
图4:六边形传感器装置的采样点的示意性图示;
图5:RGB彩色滤波阵列中的寻址方案的示意性图示;
图6:图5中的RGB彩色滤波阵列中的寻址方案的示意性图示;
图7:图5中的RGB彩色滤波阵列的示意性图示;
图8:图5中的RGB彩色滤波阵列的示意性图示;
图9:图5中的RGB彩色滤波阵列的示意性图示;
图10:图5中的RGB彩色滤波阵列的示意性图示;
图11:矩形像素作为敏感区域的形式的另一可能的实施方案的示意性图示;
图12:矩形像素作为敏感区域的形式的另一可能的实施方案的示意性图示;
图13:根据一种实施例的光传感器的示意性图示;
图14:图13中的光传感器的示意性图示;
图15:借助根据一种实施例的光传感器的内插的示意性图示;
图16:期望采样的低通特性的示意性图示以及用于具有时间上重叠的理想地在时间上进行采样的曝光方案的示意性图示;
图17:根据一种实施例的光传感器的示意性图示;
图18:根据一种实施例的光传感器的示意性图示;
图19:根据一种实施例的光传感器的示意性图示;
图20:根据一种实施例的光传感器的示意性图示;
图21:根据一种实施例的设备的示意性图示;
图22:根据一种实施例的方法的流程图。
在本发明的有利的实施例的以下说明中,对于在不同附图中示出的并且类似作用的元素使用相同的或类似的参考标记,其中,不再对这些元素作重复的说明。
具体实施方式
图1示出图像传感器上的拜耳彩色滤波阵列100的示意性图示。示出用于探测分别一个颜色(在此,红色(R)、蓝色(B)或绿色(G))的各个光素102。每四个这种光素102构成一个彩色滤波阵列单元104。
图2示出图1中的拜耳彩色滤波阵列100的示意性图示。
图3示出矩形传感器装置的采样点300的示意性图示。
图4示出六边形传感器装置的采样点300的示意性图示。
图5以蛇形总线502(也称为snake-like bus)示出RGB彩色滤波阵列500中的寻址方案的示意性图示。
图6示出图5中的RGB彩色滤波阵列500中的寻址方案的示意性图示,所述寻址方案在此以直线形总线600实现。
图7示出图5中的RGB彩色滤波阵列500的示意性图示。空间低通滤波器的特征参量通过三个圆700表示。三个圆700中的每个包含RGB彩色滤波阵列500的所有三个通道。
图8示出图5中的RGB彩色滤波阵列500的示意性图示。示出用于一个通道(在此R通道)的非正交采样点阵800。
图9示出图5中的RGB彩色滤波阵列500的示意性图示。示出RGB彩色滤波阵列500的采样点900(也称为sample points)之间的距离r以及采样点阵的行之间的距离d。采样点阵是等距的。例如是
图10示出图5中的RGB彩色滤波阵列500的示意性图示。RGB彩色滤波阵列500具有理想的、六边形的二极管区域1000。
图11示出矩形像素1100作为敏感区域的形式的另一可能的实施方案的示意性图示。像素1100的读取通过行相位推移(Zeilenphasenschub)来实现。
图12示出矩形像素1100作为敏感区域的形式的另一可能的实施方案的示意性图示。与图11不同的是,像素1100的读取在此通过列相位推移(Spaltensenschub)来实现。
图13示出根据一种实施例的光传感器1300的示意性图示。根据该实施例,光传感器1300具有由多个用于测量第一光特性的第一传感器单元1302、多个用于测量第二光特性的第二传感器单元1304以及多个用于测量第三光特性的第三传感器单元1306构成的点阵结构。传感器单元1302、1304、1306分别形成六边形并且如此彼此相邻地布置,使得每三个相邻的传感器单元的相应的中点通过假想的连接线连接成基本上等边的三角形。根据该实施方式,光传感器1300构造为用于探测作为第一光特性的红色、作为第二光特性的蓝色、作为第三光特性的绿色的RGB传感器。在此,红色代表光传感器1300的第一测量通道,蓝色代表光传感器1300的第二测量通道并且绿色代表光传感器1300的第三测量通道。
传感器单元1302、1304、1306逐行和逐列交替地在点阵结构中布置。
如在图13中看到的那样,传感器单元1302、1304、1306如此布置,使得传感器单元中的每个由六个相邻的传感器单元包围。被分别包围的传感器单元也可以称为中心传感器单元。在图13中,例如通过大的六边形标记5个这种邻近关系(Nachbarschaft)。示出三个以绿色为中心的邻近关系1308,其分别具有第三传感器单元1306作为中心传感器单元以及三个第一传感器单元1302和三个第二传感器单元1304作为相邻传感器单元,还示出以红色为中心的邻近关系1310,其具有第一传感器单元1302作为中心传感器单元以及三个第二传感器单元1304和三个第三传感器单元1306作为相邻传感器单元,以及示出以蓝色为中心的邻近关系1312,其具有第二传感器单元1304作为中心传感器单元以及三个第一传感器单元1302和三个第三传感器单元1306作为相邻传感器单元。
光传感器1300与设备1320连接,所述设备构造用于通过对传感器单元1302、1304、1306进行逐排(reihenweise)采样来读取光传感器1300。在此,设备1320将所读取的传感器信号1322存储在具有至少四个相邻排的容量的缓存器(例如环形存储器)中。设备1320还构造用于在使用所缓存的传感器信号1322的情况下通过对至少一个图像信息的内插来产生多个分别分配给传感器单元的图像元素1324。根据在图13中所示出的内插方案,在具有等边三角形的六边形点阵结构中,例如在三个以红色为中心的邻近关系1308的情况下,通过在等边三角形中从红色到绿色求平均或通过从蓝色到绿色求平均来实现所述内插。
图14示出图13中的光传感器1300的示意性图示。在光传感器1300(在此用于逐行读取的光传感器阵列)下面示出用于存储由各个传感器单元1302、1304、1306所产生的传感器信号1322的存储器1400。存储器1400构造为四行环形存储器并且因此能够实现所有可能的邻近关系单元的高效的内插。存储器1400例如作为前面根据图13所描述的设备的部件实现。
图15示出借助根据一种实施例的光传感器1300(例如前面根据图13和14所描述的光传感器)的内插的示意性图示。示出从传感器单元1302、1304、1306的测量值到不同输出栅格1500、1502(也称为Grids:格栅)上的图像元素1324的内插。在此,第一输出栅格1500代表在六边形点阵中的具有多维内容、例如{r,g,b}或{L,u,v}的像素阵列,并且第二输出栅格1502代表矩形点阵中的具有多维内容、例如{r,g,b}或{L,u,v}的像素阵列。
存储器1400用于光传感器1300的逐行读取并且包括由两个相位(Phase)中的四行构成的环形存储器。
还示出设备1320的产生单元1504,所述产生单元根据该实施例构造用于在使用所缓存的传感器信号1322的情况下,视存储器1400的状态而定地、尤其视存储器1400的相位而定地并且视通过传感器单元构成的邻近关系的居中(Zentrierung)而定地执行复杂的像素(重新)构建或颜色(重新)构建。
图16示出期望采样的低通特性1600的以及用于具有时间上重叠的理想的时间采样的曝光方案的示意性图示。
图17示出根据一种实施例的光传感器1300(例如前面根据图13至15所描述的光传感器)的示意性图示。根据该实施例,传感器单元1302、1304、1306各分成两个子像素1、2。在此,所述设备构造用于通过子像素1、2的时间移动的、时间上重叠的采样在两个相位中读取光传感器1300。
图18示出根据一种实施例的光传感器1300的示意性图示。与图17不同的是,传感器单元1302、1304、1306分别分成三个子像素1、2、3。所述设备相应地构造用于通过子像素1、2、3的时间移动的、时间上重叠的采样在三个相位中读取光传感器1300。
图19示出根据一种实施例的光传感器1300的示意性图示。光传感器1300基本上相应于前面根据图14所描述的光传感器并且示出存储器1400的用于具有两个时间相位的读取方案的存储器扩展方案。通过时间移动地读取光传感器1300可以无颤动地读取光传感器1300。
图20示出根据一种实施例的光传感器1300的示意性图示。与图19不同的是,图20示出存储器1400的用于具有三个时间相位的读取方案的存储器扩展方案。
图21示出根据一种实施例的设备1320(例如前面根据图13至20所描述的那样的设备)的示意性图示。设备1320包括用于通过传感器单元的逐排采样读取光传感器的读取单元2100。存储器1400构造用于缓存在对光传感器的至少四个相邻排进行采样时读取的传感器信号1322。存储器1400与产生单元1504连接,所述产生单元构造用于通过在使用所缓存的传感器信号1322的情况下对至少一个传感器信号进行内插(例如通过对图像信息进行内插)来产生图像元素1324(也称为光特性)。
图22示出根据一种实施例的方法2200的流程图。例如可以在与前面根据图21所描述的设备结合地执行用于对光传感器进行采样的方法2200。在此,在步骤2210中,通过对传感器单元的逐排采样来读取光传感器。在另一步骤2220中,缓存在对至少四个相邻的排进行采样时读取的传感器信号。最后,在步骤2230中,在使用所缓存的传感器信号的情况下通过对相应的图像信息进行内插来产生分别分配给传感器单元的图像元素。
以下根据图1至22再次以其他表达方式描述在此提出的方案的各个实施例。
借助在此所描述的方案,例如如此匹配彩色图像传感器的像素设计,使得可以以相同的空间频率来对三个光谱通道(例如红色、绿色和蓝色)进行采样。为此,每两列或行的像素移动半个点阵常数(Gitterkonstante)。因此,最终,能够以通常所需的光传感器的66%实现对彩色光信号的符合奈奎斯特定理的(Nyquist-konform)采样。
现代图像传感器通常根据以下原理工作。光学器件在平面传感器(也称为图像传感器或成像仪:Imager)上产生光图像。图像传感器在空间上和时间上对所述图像进行采样。为了也能够获得光谱信息,例如为了重构颜色,在各个光传感器前面安装有规律的模范(Muster)。在此,光学器件作用为空间上的低通滤波器。
如今,光传感器通常由几百万的单个的传感器单元构成,其中,每个传感器单元表现为一个采样点。所述有规律的彩色滤波器模范也称为彩色滤波阵列或Color FilterArray(CFA)。为了能够重构颜色,将可见的光谱范围分成三个区段。在此,应该将每个光谱通道处理为独立的、空间移动的经采样的信号。光学器件的低通滤波器真正应该取决于传感器单元的最低的频率。为了避免混淆,以下将光传感器的传感器单元称为“光素”(Lixel),代表光传感器单元,借鉴称为像素(Pixel)的图像元素。
图像传感器通常布置在常规的矩形上,如在图1和2中示出的那样。在此,彩色滤波阵列100通常由RGGB拜耳滤波阵列构成。
RGGB彩色滤波阵列对于各个光谱通道设置不同的空间采样频率。因此以每个CFA单元两个光素来对G通道进行采样,而仅以每个CFA单元一个光素来对R通道和B通道进行采样。因此,必须为了正确的采样,而将光学器件的低通滤波器调节到R通道和B通道的与此相比更低的频率。因此,这在G通道中产生过采样这以一定方式表现出采样时的两难境地并且在几年前也在文献中已知。以不同的方式和方法尝试充分利用或避开G通道、R通道和B通道之间的空间边界频率。
在消费电子的领域中,大多不制造光学器件与成像仪之间的符合奈奎斯特定理的协调性并且通过后处理(post processing)来虚拟地改善图像质量。
根据在此所提出的方案,现在如此匹配采样点,例如使得可以对三通道CFA进行符合奈奎斯特定理的采样。为此,将采样点的相位每两行或每两列移动半个采样周期,如在图3和4中所示出的那样。相位错位也可以在列中实现,这允许使用直线型的总线,如在图6中所示出的那样。另外,可以通过如今可使用的BSI技术在光敏感层下面安装读取总线和寻址总线。
现在,如在图7和8中所示出的那样,CFA的三个通道可以以均匀的距离分布。所标出的圆700表明了低通滤波器的特征参量(charakteristische ),需要所述低通滤波器以便能够正确地重构信号。
每个通道的采样点阵现在相应于扭转的、压缩的(gestaucht)四边形。重要的是,单独地自己重构CFA的每个通道。这种非正交的采样例如在的数字图像处理(Digitale Bildverarbeitung)中简短地根据固体物理中的已知的数学原理描述。图8示出单个通道的采样的非正交的点阵。
有利的是,所有采样点尤其与单色传感器结合地彼此具有相同的距离。这简化了经加权的邻近关系处理的计算,例如需要经加权的邻近关系处理用于重构颜色信号并且用于所有种类的图像处理算法。为此,如在图9中所示出的那样,如此匹配行的距离,使得:
在此,d代表行距并且r代表光素距离。
但是,所述限制不是必需需要的,但是简化在后面的图像处理并且产生理想的六边形点阵,在所述理想的六边形点阵上,每个传感器单元或光素与其六个相邻的传感器单元具有相同的距离。理想地,这种光传感器的光敏面的形状接近六边形,如在图5中所示出的那样。但是,也可以通过使用矩形滤波器(例如在图11和12中所示出的那样)实现足够好的信号质量。
六边形点阵例如如此选择,使得可以通过等边三角形示出点阵点。由此得出用于光传感器的各个通道的特别简单的重构方案。在此确定,7个传感器单元组成的邻近关系总是由六个传感器单元的边缘构成。例如,平凡地(trivial)通过传感器测量值对这种邻近关系的中心传感器单元的位置处的光传感器的通道进行内插。
剩余的两个通道的内插是二维内插。为此,需要至少三个支撑点(Stützpunkt)。其他支撑点的最小组现在直接位于邻近关系的边缘上。如果如此选择所述点阵,使得以等边三角形为基础,则到中心传感器单元上的内插是下一个通道的三个传感器单元的经相同加权的解读。所述内插是对于光传感器的两个分别缺少的通道中的每个的每个邻近关系能够实现的。相应的方案在图13中示出。
物理上看来,内插涉及光传感器的通道的连续信号的重构,随后涉及重新采样。重新采样和重构应该与所应用的低通滤波器相协调。
另外,完整的邻近关系应该对于这种内插是可触及的。在观察光传感器阵列时,可以明显地看到,存在邻近关系的两种不同的布置并且所述邻近关系重叠。为了能够在没有重新的读取开销的情况下动用所述邻近关系,存储器1400构造用于准备好至少四个经采样的行。因此可以实现,在没有两次读取的情况下重构所有邻近关系。存储器1400尤其实现为行环形缓冲器(Zeilen-Ring-Buffer)并且可以逐行地以传感器单元的各个测量值填充,如在图14总所示出的那样。
在已知行存储器1400的当前状态、更准确的说当前相位的情况下,现在实施像素重构。在此,关于邻近关系的中心存在上面所提及的三种可能性。
内插现在允许,对于每个传感器单元产生一个图像元素(也称为像素),所述图像元素要么包含光传感器1300的所有三个通道要么已经从三个通道中制造另一进一步的特征计算,例如至CIELUV色彩空间或Lab色彩空间中的色彩空间转换、所谓的色调映射或伽马校正。
另外,内插能够实现将输出像素要么转换为六边形栅格1500要么转换为矩形栅格1502。因此,借助所述内插,可以实现过采样或欠采样(Unterabtastung)。图15示意性地示出所述过程。
根据另一实施例,光传感器1300可在时间上相位错位地读取。如今,光的时间上的调制不再可以被忽视并且在通常的曝光时间和比特率的情况下产生时间上的混叠假象(Aliasing-Artefakte)。为了避免这种情况,应该时间上重叠地读取同一光信号并且必要时不同加权地读取同一光信号。这能够实现所谓的无颤动的(flackerfrei)传感器设计并且防止时间上的混叠效应。这例如能够通过传感器单元分成子像素和在不同的时间相位读取传感器单元实现。图16在时域中示出相应的方案。
因为时间上的低通滤波器仅通过曝光时间实现,所以根据一种实施例通过空间上的相位分布(Phaseneinteilung)来实现时间上的错位。在此,还通过空间上的低通滤波器进一步在空间上正确地重构信号。
典型的读取方案例如在于,使分配给相位的像素在时间上分别重叠一半。在此,可以不进行加权,因为这在技术上难以实现。积分时间充当频域中的所谓的矩形滤波器或盒滤波器(Boxfilter)。
图17和18视所选择的相位数量而定示出六边形像素结构的分布的可行方案。类似的分布也可以对于圆形或矩形的像素形式来实现。
在应用前面的时间上的相位方案的情况下,应该处理每个相位,例如自身光传感器。所以应该相应地扩展存储器单元。这在图19和20中示出。
在这些情况下,还以时间上的内插扩展像素生成。例如,在这些位置上,使用三个相位的像素的经优化加权的混合,以便分别对于一个邻近关系重构确定的时刻。为了将帧速率和曝光时间变成如今通常的数值,例如相应地使经加权平均级联(kaskadieren)。
所提及的用于实现光传感器1300的实施例仅示出很多可能性中的一些。原理上,可以至少以以下用于可见范围内的光的彩色滤波器来实现光传感器1300:青色、品红、黄色、红色、绿色、蓝色、无色(Clear)。
对于仅以可见光工作的系统,三个不同的彩色滤波器的所有组合都是有意义的,例如R-C-G、R-C-B或黄色-无色-品红。在不可见范围内,可以视实施例而定,通过红外带通滤波器、偏振滤波器或紫外线滤波器扩展光谱滤波器。也在此尤其与所提及的滤波器结合来实现其他组合。
如果实施例包括第一特征与第二特征之间的“和/或”联系,则可以如此解读,即该实施例根据一种实施方式既包括第一特征也包括第二特征并且根据另一实施方式要么仅包括第一特征要么仅包括第二特征。

Claims (12)

1.一种用于对光传感器(1300)进行采样的方法(2200),其中,所述光传感器(1300)具有由多个六边形传感器单元(1302,1304,1306)构成的点阵结构,其中,所述传感器单元(1302,1304,1306)如此布置,使得每三个相邻的传感器单元(1302,1304,1306)的相应的中点能够通过假想的连接线连接成基本上等边的三角形,其中,所述方法(2200)包括以下步骤:
通过对所述传感器单元(1302,1304,1306)的逐排的采样来读取(2210)所述光传感器(1300);
缓存(2220)在对至少四个相邻的排进行采样时读取的传感器信号(1322);
通过对传感器信号(1322)进行内插,产生(2230)多个分别分配给传感器单元(1302,1304,1306)的图像元素(1324)。
2.根据权利要求1所述的方法(2200),其中,在所述缓存的步骤(2220)中,在环形存储器(1400)中缓存所述传感器信号(1322)。
3.根据上述权利要求中任一项所述的方法(2200),其中,在所述产生的步骤(2230)中,在使用六边形输出栅格(1500)和/或矩形输出栅格(1502)的情况下产生所述图像元素(1324)。
4.根据上述权利要求中任一项所述的方法(2200),其中,在所述读取的步骤(2210)中,对所述传感器单元(1302,1304,1306)的各至少两个子像素(1,2)相移地进行采样。
5.根据上述权利要求中任一项所述的方法(2200),其中,在所述读取的步骤(2210)中,在两个或多个时间上无关的部分步骤中进行所述读取(2210)。
6.根据上述权利要求中任一项所述的方法(2200),其中,所述光传感器(1300)具有至少一个用于测量第一光特性的第一测量通道、用于测量第二光特性的第二测量通道和用于测量第三光特性的第三测量通道,其中,所述传感器单元(1302,1304,1306)分别分配给所述三个测量通道中的一个并且如此布置,使得每个中心传感器单元(1302,1304,1306)由六个相邻的传感器单元(1302,1304,1306)包围,其中,所述中心传感器单元(1302,1304,1306)分配给与所述六个相邻的传感器单元(1302,1304,1306)不同的测量通道,其中,在所述产生的步骤(2230)中,在使用所述六个相邻的传感器单元(1302,1304,1306)中的至少三个的情况下,通过对至少一个分配给所述中心传感器单元(1302,1304,1306)的中心图像信息进行内插来产生所述图像元素(1324)。
7.根据权利要求6所述的方法(2200),其中,所述中心传感器单元(1302,1304,1306)分配给所述第一测量通道,所述六个相邻的传感器单元(1302,1304,1306)中的三个分别分配给所述第二测量通道,并且所述六个相邻的传感器单元(1302,1304,1306)中的另外三个分别分配给所述第三测量通道,其中,在所述产生的步骤(2230)中,通过对三个分别分配给所述第二测量通道的相邻的传感器单元(1302,1304,1306)的传感器信号(1322)求平均和/或通过对三个分别分配给所述第三测量通道的相邻的传感器单元(1302,1304,1306)的传感器信号(1322)求平均来对所述中心图像信息进行内插。
8.根据权利要求7所述的方法(2200),其中,所述中心传感器单元(1302,1304,1306)分配给所述第一测量通道,其中,所述六个相邻的传感器单元(1302,1304,1306)中的三个分别分配给所述第二测量通道,并且所述六个相邻的传感器单元(1302,1304,1306)中的另外三个分别分配给所述第三测量通道。
9.根据权利要求7或8所述的方法(2200),其中,在所述产生的步骤(2230)中,对代表所述第一光特性的作为所述中心图像信息的图像信息进行内插。
10.一种具有单元(1400;1504;2100)的设备(1320),所述单元构造用于实施和/或操控根据上述权利要求中任一项所述的方法(2200)。
11.一种计算机程序,所述计算机程序构造用于实施和/或操控根据权利要求1至9中任一项所述的方法(2200)。
12.一种机器可读的存储介质,在其上存储有根据权利要求11所述的计算机程序。
CN201710569841.8A 2016-07-13 2017-07-13 用于对光传感器进行采样的方法和设备 Pending CN107623825A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102016212771.3A DE102016212771A1 (de) 2016-07-13 2016-07-13 Verfahren und Vorrichtung zum Abtasten eines Lichtsensors
DE102016212771.3 2016-07-13

Publications (1)

Publication Number Publication Date
CN107623825A true CN107623825A (zh) 2018-01-23

Family

ID=59676687

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710569841.8A Pending CN107623825A (zh) 2016-07-13 2017-07-13 用于对光传感器进行采样的方法和设备

Country Status (4)

Country Link
JP (1) JP2018023096A (zh)
CN (1) CN107623825A (zh)
DE (1) DE102016212771A1 (zh)
GB (1) GB2553210A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113475058A (zh) * 2018-12-25 2021-10-01 罗伯特·博世有限公司 用于处理图像传感器的测量数据的方法和处理装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112087559B (zh) * 2019-06-13 2021-11-30 华为技术有限公司 图像传感器、图像拍摄装置和方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001352554A (ja) * 2000-06-07 2001-12-21 Fuji Film Microdevices Co Ltd カラー撮像装置
US20080018765A1 (en) * 2006-07-19 2008-01-24 Samsung Electronics Company, Ltd. CMOS image sensor and image sensing method using the same
CN101123061A (zh) * 2001-05-09 2008-02-13 克雷沃耶提实验室有限公司 一种子像素格式数据到另一种子像素数据格式的转换
US20090230287A1 (en) * 2008-03-17 2009-09-17 Anderson Todd J Stacked image sensor with shared diffusion regions in respective dropped pixel positions of a pixel array
US20100171854A1 (en) * 2009-01-08 2010-07-08 Sony Corporation Solid-state imaging device
EP2742863A1 (en) * 2011-08-14 2014-06-18 Fujifilm Corporation Radiograph imaging device and radiograph imaging method
EP2742864A1 (en) * 2011-08-14 2014-06-18 Fujifilm Corporation Radiograph imaging device and radiograph imaging method

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003319408A (ja) * 2002-04-26 2003-11-07 Seiko Epson Corp カラーエリアセンサ及び撮像回路
CN101868979B (zh) * 2007-12-07 2013-03-27 松下电器产业株式会社 拍摄装置
JP5108802B2 (ja) * 2009-02-03 2012-12-26 富士フイルム株式会社 撮像装置及びそのスルー画像表示方法
JP6123274B2 (ja) * 2012-03-08 2017-05-10 株式会社リコー 撮像装置
JP6016423B2 (ja) * 2012-04-10 2016-10-26 キヤノン株式会社 信号処理装置、撮像装置及び信号処理方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001352554A (ja) * 2000-06-07 2001-12-21 Fuji Film Microdevices Co Ltd カラー撮像装置
CN101123061A (zh) * 2001-05-09 2008-02-13 克雷沃耶提实验室有限公司 一种子像素格式数据到另一种子像素数据格式的转换
US20080018765A1 (en) * 2006-07-19 2008-01-24 Samsung Electronics Company, Ltd. CMOS image sensor and image sensing method using the same
US20090230287A1 (en) * 2008-03-17 2009-09-17 Anderson Todd J Stacked image sensor with shared diffusion regions in respective dropped pixel positions of a pixel array
US20100171854A1 (en) * 2009-01-08 2010-07-08 Sony Corporation Solid-state imaging device
EP2742863A1 (en) * 2011-08-14 2014-06-18 Fujifilm Corporation Radiograph imaging device and radiograph imaging method
EP2742864A1 (en) * 2011-08-14 2014-06-18 Fujifilm Corporation Radiograph imaging device and radiograph imaging method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113475058A (zh) * 2018-12-25 2021-10-01 罗伯特·博世有限公司 用于处理图像传感器的测量数据的方法和处理装置

Also Published As

Publication number Publication date
DE102016212771A1 (de) 2018-01-18
JP2018023096A (ja) 2018-02-08
GB201711078D0 (en) 2017-08-23
GB2553210A (en) 2018-02-28

Similar Documents

Publication Publication Date Title
JP4385282B2 (ja) 画像処理装置および画像処理方法
CN103597821B (zh) 图像拾取设备和信号值校正方法
JP5053654B2 (ja) 画像処理装置およびその方法と電子カメラ
CN101547370B (zh) 图像处理装置和图像处理方法
JPH11285012A (ja) デジタル・カメラ用画像センサ
CN103270756B (zh) 图像传感设备、控制其操作的方法和图像感测系统
US20100231765A1 (en) Method and arrangement for generating a color video signal
US20150109495A1 (en) Color imaging element and imaging device
CN104412581B (zh) 彩色摄像元件及摄像装置
CN105247568A (zh) 用带有色滤器的传感器生成改进的彩色图像的方法和装置
KR100769548B1 (ko) 컬러 필터 어레이 및 영상 보간 방법
US9036061B2 (en) Color imaging apparatus
JP2003042735A (ja) 3次元計測方法および装置並びにコンピュータプログラム
CN107623844A (zh) 中间位置处的像素的颜色值的确定
CN101282486A (zh) 图像处理设备
CN111818314A (zh) 一种滤波器阵列及图像传感器
JP6473350B2 (ja) カラー撮像素子
CN104079900A (zh) 图像处理装置、图像处理方法和程序
CN107623825A (zh) 用于对光传感器进行采样的方法和设备
JP5621055B2 (ja) カラー撮像素子
CN103270757B (zh) 图像传感装置和控制其操作的方法
KR101332689B1 (ko) 이미지 센서 및 이미지 센서의 출력 패턴 변환 방법
JP4027441B2 (ja) カラー画像撮像装置
JP6291189B2 (ja) ハイパースペクトル画像の分解能を制御する方法
CN110675792B (zh) 显示装置及其显示方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180123