CN114762312A - 产生pdaf像素的输出信号的方法 - Google Patents

产生pdaf像素的输出信号的方法 Download PDF

Info

Publication number
CN114762312A
CN114762312A CN202080083821.XA CN202080083821A CN114762312A CN 114762312 A CN114762312 A CN 114762312A CN 202080083821 A CN202080083821 A CN 202080083821A CN 114762312 A CN114762312 A CN 114762312A
Authority
CN
China
Prior art keywords
pixel
pdaf
pixels
signal
signals
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080083821.XA
Other languages
English (en)
Inventor
本杰明·霍普
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leica Camera AG
Original Assignee
Leica Camera AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leica Camera AG filed Critical Leica Camera AG
Publication of CN114762312A publication Critical patent/CN114762312A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H01L27/14605—Structural or functional details relating to the position of the pixel elements, e.g. smaller pixel elements in the center of the imager compared to pixel elements at the periphery
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14645—Colour imagers
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14683—Processes or apparatus peculiar to the manufacture or treatment of these devices or parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本申请涉及用于使用来自在PDAF像素的环境内布置的另外的像素的像素信号产生光电图像传感器的PDAF像素的输出信号的方法。图像传感器包括在环境内沿第一方向延伸的像素行中的PDAF像素和至少一个另外的PDAF像素，并且该方法包括：检测图像传感器的布置在所述环境内的像素的像素信号；根据布置在所述环境内的像素中的至少一部分像素的像素信号确定形成到图像传感器上的图像结构的结构方向；以及产生PDAF像素的输出信号。在一种情况下，将输出信号产生为根据布置在环境内的另外的像素的像素信号的插值信号，在另一种情况下将输出信号产生为通过用放大因子校正PDAF像素的像素信号而获得的放大信号，其中，如果结构方向从第一方向偏离小于预定角度，则将PDAF像素的输出信号产生为放大信号。

Description

产生PDAF像素的输出信号的方法
技术领域
本申请涉及一种产生光电图像传感器的PDAF像素的输出信号的方法，以及一种包括光电图像传感器的传感器装置。
背景技术
包含PDAF(phase detection autofocus，相位检测自动对焦)像素的光电图像传感器尤其用于数码相机，例如照相机和摄像机，以提供相位比较自动对焦功能。在包含集成的PDAF像素的光电图像传感器中，用于相位比较的PDAF像素直接集成在图像传感器上，并且不需要单独的自动对焦传感器。因此，包括这种传感器的相机可以具有特别紧凑的设计，例如，无反系统相机。
PDAF像素通常具有掩模，该掩模覆盖相应的PDAF像素的光敏区域的一部分，并因此确保相应的PDAF像素接收仅来自预定方向的从待对焦的光学器件发出的辐射。PDAF像素通常分为两组，两组的PDAF像素接受来自不同方向的辐射。基于从不同方向接收的图像在图像传感器上的空间相移，从而可以确定光学器件的对焦位置，并且可以对光学器件进行对焦。
然而，在PDAF像素中使用的掩模具有以下缺点：入射到PDAF像素上的辐射的一部分被覆盖，因此PDAF像素不能携带与没有掩模的普通像素的图像信息相同的图像信息。因此，当使用PDAF像素的像素信号来创建借助于图像传感器记录的图像时，PDAF像素周围区域中的图像通常具有图像误差。
发明内容
本发明的目的是提供一种产生光电图像传感器的PDAF像素的输出信号的方法，以及一种包括光电图像传感器的传感器装置，使得在创建由图像传感器记录的图像期间避免图像误差。
该目的通过根据独立权利要求的方法和传感器设备来满足。进一步的发展情况分别在从属权利要求中进行阐述。
公开了一种产生光电图像传感器的PDAF像素的输出信号的方法，该方法使用来自布置在PDAF像素的环境中的另外的像素的像素信号来产生光电图像传感器的PDAF像素的输出信号。在用于产生输出信号的环境内，图像传感器在沿着第一方向延伸的像素行中具有PDAF像素和至少一个另外的PDAF像素，其中，所述方法包括：
-检测图像传感器的布置在环境内的像素的像素信号；
-根据布置在环境内的像素中的至少一些像素的像素信号确定成像到图像传感器上的图像结构的结构方向；以及
-产生PDAF像素的输出信号。
为此，在一种情况下将PDAF像素的输出信号产生为根据布置在环境内的另外的像素的像素信号的插值信号，在另一种情况下将PDAF像素的输出信号产生为通过用放大因子校正PDAF像素的像素信号而获得的放大信号，其中，在结构方向从第一方向偏离小于预定角度的情况下，将PDAF像素的输出信号产生为放大信号。
由于基于具体情况将PDAF像素的输出信号产生为插值信号或放大信号产生，所以无论成像图像结构的结构方向如何，都可以特别精确地重构PDAF像素的实际图像信号，并且根据图像信号产生的图像基本上没有图像误差。特别的，可以根据所确定的结构方向将PDAF像素的输出信号产生为插值信号或放大信号。
为此，结构方向被确定为如下方向，在该方向上成像的图像结构具有最低对比度并且沿着该方向图像传感器的像素以基本上相同的强度曝光。对于通过插值确定PDAF像素的图像信号，当沿着结构方向进行插值并且根据布置在PDAF像素周围的环境的沿着结构方向的另外的像素产生PDAF像素的输出信号时，会获得最佳结果。
然而，当结构方向基本上平行于第一方向延伸时，不提供关于入射辐射的完整信息，在所述第一方向上，PDAF像素也是一个挨一个的布置，像PDAF像素一样的至少另外的PDAF像素被掩膜覆盖。因此，当另外的PDAF像素的图像信号也用于插值时，则在根据输出信号产生的图像中可能出现图像误差。由于将PDAF像素的输出信号产生为放大信号而不是插值信号，所以当结构方向从第一方向偏离小于预定角度时，即基本上与第一方向平行对齐时，避免了诸如沿第一方向插值时可能出现的图像误差。
根据图像传感器的设计，除了所提到的情况之外，还可能存在其他情况，在其他情况中将PDAF像素的输出信号既不产生为所述插值信号也不产生为所述放大信号，例如，通过提到的两个信号的组合。然而，PDAF像素的输出信号也只能以上述的两种方式产生，即产生为插值信号或产生为放大信号。
可以将包括PDAF像素和另外的PDAF像素的像素行指定为PDAF像素行。在PDAF像素行中，除了PDAF像素之外，用于产生插值信号的另外的像素中的一个或多个也可以同样地形成作为PDAF像素。环境内的所有PDAF像素只能布置在PDAF像素行中，而不能布置在环境的其他像素行中。在图像传感器的情况下，尤其在环境内的布置在PDAF像素行中并且将在产生插值信号时使用的那些所有像素可以形成作为PDAF像素，从而基本上不可能通过沿PDAF像素行进行插值来重建PDAF像素的输出信号。
图像传感器尤其可以被配置为包括颜色选择性像素的颜色传感器。例如，颜色选择性像素可以形成为包括绿色、蓝色或红色滤色器的绿色、蓝色和红色像素。颜色选择性像素可以布置在图像传感器上的像素位置上，该像素位置根据预定颜色矩阵进行分布。该像素尤其可以根据Bayer矩阵进行布置。Bayer矩阵的各个行交替地包括绿色和红色像素位置或绿色和蓝色像素位置。为此，绿色和红色像素位置或绿色和蓝色像素位置同样地沿着各个行交替地一个挨一个的布置。此外，在每种情况下，绿/红行的绿色像素位置相对于绿/蓝行的绿色像素位置偏移一列，使得Bayer矩阵交替地具有包括交替的绿色像素位置和红色像素位置的列以及包括交替的绿色像素位置和蓝色像素位置的列。
然而，图像传感器也可以被配置为单色传感器，该单色传感器被设计为不具有颜色选择性像素，并且在该单色传感器中每个像素在相同的光谱范围内是光敏的。
用于产生输出信号的环境可以围绕PDAF像素对称地布置。例如，所述环境可以在第一方向和垂直于第一方向定向的法线方向上具有相同的范围，例如，五个像素的范围。
用于产生插值信号的上述像素，例如，可以是在环境内布置在PDAF像素旁边的用于插值的方向上并且在图像传感器的颜色矩阵的分配了与PDAF像素的像素位置的颜色相同的颜色的像素位置处的所有像素。例如，PDAF像素和用于产生插值信号的像素均可以位于绿色像素位置、红色像素位置，或者特别的位于蓝色像素位置。
例如，插值可以沿着预定的插值方向发生，例如可以沿着垂直于第一方向的第二方向或沿着相对于第一方向和第二方向倾斜45°的对角线方向发生。特别的，可以在排除第一方向的同时进行插值，然后可以用放大因子校正PDAF像素的像素信号，而不是沿着第一方向进行插值。该方法可以包括确定将用于插值的插值方向。用于插值的相应的插值方向可以是例如如下方向，沿着该方向用于插值的另外的像素具有最小的图像信号差。
在用于产生输出信号的环境内，PDAF像素和另外的PDAF像素可以布置在相同颜色的像素位置处。在图像传感器的情况下，特别的，布置在PDAF像素行中在相同颜色的像素位置处的所有像素，例如，在蓝色、红色或绿色像素位置处的所有像素，可以形成为用于产生输出信号的环境内的PDAF像素。为此，特别在包括Bayer矩阵的图像传感器的情况下，PDAF像素行的特别的每隔一个像素可以形成为环境内的PDAF像素。此外，不仅在环境内布置在PDAF像素行中的相同颜色的所有像素可以形成作为PDAF像素，而且在环境外在PDAF像素行中布置的相同颜色的所有像素，例如，PDAF像素行的每一个蓝色和/或每隔一个像素也可以形成为PDAF像素。
在仅考虑环境内形成为在整个区域上暴露的像素而是PDAF像素的那些像素时，可以确定结构方向。可以使用仅一种颜色的像素位置处，例如，在具有PDAF像素的像素位置的颜色的像素位置处，的像素来确定结构方向。然而，特别的，也可以使用在不同颜色的像素位置处布置的像素，例如，使用在所有颜色的像素位置处的像素，来确定结构方向。
放大信号可以通过将PDAF像素的全部检测到的像素信号或PDAF像素的像素信号的仅一部分乘以放大因子来产生。为此，放大因子可以与PDAF像素的总面积和PDAF像素的被掩膜变暗的区域的面积的比值对应，即，对于在一侧覆盖的PDAF像素，放大因子为2。
可选地，放大因子g也可以根据在整个区域上曝光的像素的像素信号与形成作为PDAF像素的遮蔽像素的像素信号的信号比来确定。例如，放大因子g可以确定为：
Figure BDA0003674615200000051
其中，yi表示在整个区域上曝光的第i个像素的像素信号，yPDAF,表示第i个遮蔽PDAF像素的像素信号。为此，分子和分母的各自的和分别在相同数量的像素上形成。可选地，信号比也可以根据全区域像素的像素信号的平均值例如算术平均值或几何平均值比遮蔽PDAF像素的像素信号的平均值例如算术平均值或几何平均值来确定。
如果图像传感器具有滤色器，则用于确定信号比的在整个区域上曝光的像素均布置在其颜色与产生输出信号的PDAF像素的像素位置的颜色对应的像素位置上。为此，PDAF像素本身可以具有颜色与PDAF像素的像素位置的颜色对应的滤色器，或者PDAF像素可以具有颜色不同于PDAF像素的像素位置的颜色的滤色器。
用于确定信号比的像素可以在围绕产生输出信号的PDAF像素布置的预定环境内。该预定环境可以是，例如PDAF像素的局部环境，并且可以，例如包括至多2个另外的、至多4个另外的、至多8个另外的或至多16个另外的PDAF像素。该预定环境还可以是完整的PDAF像素行，在该PDAF像素行中布置了相应的PDAF像素。可选地，该预定环境也可以是图像传感器的总像素区域。
在该方法的进一步发展中，校正PDAF像素的像素信号以便产生放大信号，其中，只有PDAF像素的像素信号的超过PDAF像素的预定暗信号的信号部分被放大因子缩放。
暗信号是PDAF像素在未曝光状态下输出的图像信号。由于暗信号的值与PDAF像素的曝光无关，所以在仅用放大因子对PDAF像素的图像信号的取决于曝光并超过暗信号的部分进行缩放的情况下，放大信号特别精确地再现在PDAF像素的全区域曝光时产生的信号。
特别的，经放大的信号ypDAF,G可以利用检测到的PDAF像素的像素信号yPDAF、放大因子g和暗信号部分y0确定为：
pPDAF,G＝(yPDAF-y0)·g+y0
在该方法的进一步发展中，预定角度为至少0°、至少10°、至少13°或至少16°，和/或至多45°、至多35°、至多23°或至多20°，例如14°、18°或22.5°。当预定角度选择得太小时，在结构方向相对于第一方向仅轻微偏差的情况下也将通过插值产生输出信号，这可能导致插值误差，尤其是当沿第一方向的插值被排除时。另一方面，在预定角度选择过大的情况下，即使在例如实际上可能沿着对角线方向的无误差插值的情况下，输出信号也是通过用放大因子校正PDAF像素的图像信号而产生的，这可能导致与插值相比，PDAF像素的真实图像信号的再现不太精确。
在该方法的进一步发展中，结构方向根据所成像的图像结构的第一对比度值和第二对比度值确定，其中第一对比度值指定图像结构沿第一方向的对比度，而第二对比度值指定图像结构沿不同于第一方向的第二方向的对比度，特别是沿与第一方向正交的第二方向的对比度。通过这种方式可以简单快速地确定结构方向。
结构方向通常可以通过确定结构方向与第一方向之间的夹角来确定。结构方向尤其可以根据第一对比度值和第二对比度值的比值来确定，该比值是结构方向和第一方向之间的角度的度量。在第一方向和第二方向的垂直对齐时，第二对比度值与第一对比度值的比值尤其与结构方向和第一方向之间的夹角的余切对应。然后，如果第二对比度值与第一对比度值的比值超过从预定角度导出的阈值，则结构方向从第一方向偏离小于预定角度。导出的阈值可以等于，例如预定角度的余切，例如，等于6或3或2.4或2。
在该方法的进一步发展中，第一对比度值是在考虑多个第一像素对的情况下产生的，每个第一像素对包括另外的像素中的两个像素，所述两个像素在环境内布置在图像传感器的沿第一方向延伸的第一像素行中。可选地或附加地，第二对比度值是在考虑到多个第二像素的情况下产生的，每个第二像素对包括另外的像素中的两个像素，所述两个像素在环境内布置在图像传感器的沿第二方向延伸的第二像素行中。
由于在每种情况下都使用多个第一像素对或多个第二像素对来确定对比度值，因此可以以特别稳健的方式确定对比度值，而不使用所成像的图像结构的小的缩放变量，该小的缩放变量对根据对比度值确定的结构方向具有不成比例的强烈影响。例如，第一对比度值和/或第二对比度值可以确定为各个第一像素对或第二像素对的相应像素的像素信号的差量之和。
各个第一像素对的相应的像素可以围绕垂直像素行对称地布置，该垂直像素行垂直于第一方向进行延伸并包括PDAF像素。特别的，该垂直像素行可以由图像传感器的包括PDAF像素的像素列形成。各个另外的第一像素对的相应的像素也可以相对于该垂直像素行非对称地布置。例如，第一像素对的像素中的相应的一个像素可以布置在垂直像素行中，并且相应的第一像素对的像素中的另一个像素可以布置在用于产生PDAF像素的输出信号的环境的、由垂直像素行限定的一半中。多个第一像素对还可以包括：其各自的像素相对于包括PDAF像素的垂直像素行对称布置的第一像素对以及其各自的像素相对于包括PDAF像素的垂直像素行不对称地布置的第一像素对两者。
因此，各个第二像素对的相应的像素可以围绕PDAF像素行对称地布置，该PDAF像素行沿着第一方向延伸并包括PDAF像素。各个另外的第二像素对的相应的像素也可以相对于PDAF像素行非对称地布置。例如，第二像素对的像素中的相应的一个像素可以布置在PDAF像素行中，并且相应的第二像素对的像素中的另一个像素可以布置在用于产生PDAF像素的输出信号的、由垂直像素行限定的环境的一半中。多个第二像素对还可以包括：其相应的像素围绕PDAF像素行对称布置的第二像素对以及其相应的像素围绕PDAF像素行不对称布置的第二像素对两者。
在该方法的进一步发展中，每个第一像素对由具有相同颜色的两个另外的像素组成，和/或每个第二像素对由具有相同颜色的两个另外的像素组成。由于各个像素对均包括颜色相同的像素，所以可以将对比度值确定为颜色特定的各个对比度的总和，其中，颜色特定的各个对比度均由各个像素对的相同颜色的像素的信号差确定。
在该方法的进一步发展中，第一对比度值包括各个第一像素对的另外的像素的像素信号的差量之和，和/或第二对比度值包括各个第二像素对的另外的像素的像素信号的差量之和。为此，差量由各个像素对的像素的差量形成。
在该方法的进一步发展中，第二像素对的布置与第一像素对从第一方向围绕PDAF像素旋转的延第二方向的布置对应。多个第一像素对和多个第二像素对特别的包括相同数量的像素对。此外，第二像素对不包括在PDAF像素的环境内的像素的布置从第二方向旋转到第一方向时成像到PDAF像素例如另外的PDAF像素上的像素。由此确保用于确定第一对比度值的各个第一像素对的信号差和用于确定第二对比度值的各个第二像素对的信号差被相等地加权，并且由于第一像素对和第二像素对的数量或分布不均匀，在确定结构方向时没有给出优选方向。
在该方法的进一步发展中，根据不同颜色的像素的像素信号确定结构方向。特别的，结构方向可以根据所有颜色的像素的像素信号确定。可以以这种方式特别可靠地确定对比度方向。特别的，可以根据不同颜色的像素的像素信号确定结构方向，其中，多个第一像素对和/或多个第二像素对包括不同颜色的像素对。
在该方法的进一步发展中，在排除PDAF像素的像素信号和另外的PDAF像素的像素信号的同时确定结构方向。特别的，可以在排除环境内包括的所有PDAF像素的同时确定结构方向，使得例如，在通过第一对比度值和第二对比度值确定结构方向时，PDAF像素和至少一个另外的PDAF像素不包括在第一像素对和/或第二像素对中的任意一个中。由于PDAF像素的部分遮蔽，它们不适合通过，例如第一对比度值和第二对比度值来确定结构方向。特别的，用于确定第一比度值和第二对比度值的相应的像素对可以在排除PDAF像素和另外的PDAF像素的情况下由一个挨着一个布置的相同颜色的像素形成。
在该方法的进一步发展中，至少在结构方向被定向为垂直于第一方向的情况下，优选在结构方向从第一方向偏离超过预定角度的所有情况下，将PDAF像素的输出信号产生为插值信号。除结构方向从第一方向偏离最多预定角度的情况外，PDAF像素的输出信号特别的可以通常总是产生为插值信号。
在进一步发展中，上述方法包括确定至少两个信号差值，其中各个信号差值是根据另外的像素中的相应的两个像素的像素信号确定的，另外的像素中的相应的两个像素在PDAF像素周围的环境内，布置在PDAF像素的延多个另外的方向的两侧，多个另外的方向延伸穿过PDAF像素并且在每种情况下对于各个信号差值是不同的。此外，插值信号是根据具有最小信号差值的那些另外的像素的像素信号产生的。
沿不同的另外的方向确定的信号差值均是沿相应的另外的方向的所成像的图像结构的对比度的度量。然后，沿着其另外的像素具有最小信号差值的另外的方向与具有最小对比度的方向对应。因此，可以假设所成像的图像结构沿着相应的方向定向，并且对于用于沿着相应的方向确定信号差值的两个另外的像素来说，PDAF像素的曝光基本上发生在相同强度下。由于插值信号是根据具有最小信号差值的那些另外的像素的像素信号产生的，所以插值信号尤其精确地与在PDAF像素没有掩膜并且在整个区域曝光的情况下PDAF像素将提供的图像信号对应。
确定各个信号差值的另外的像素，可以沿相应的另外的方向围绕PDAF像素对称或不对称地布置。该另外的方向特别的可以包括垂直于第一方向的法线方向和/或相对于第一方向倾斜45°的对角线方向。
在该方法的进一步发展中，多个另外的方向均与第一个方向不同。特别地，沿着在第一方向上定向的PDAF像素行因此不发生插值。由于另外的PDAF像素可以布置在PDAF像素行中，特别在具有与PDAF像素的像素位置的颜色相同颜色的像素位置处，因此可能在使用PDAF像素进行插值时错误地产生PDAF像素的输出信号。替代沿第一方向进行插值，在上述方法中将PDAF像素的输出信号产生为放大信号。
在该方法的进一步发展中，插值信号被产生为具有最小信号差值的那些另外的像素的像素信号的平均值，例如，算术平均值或加权平均值。这样的平均值尤其易于计算，并且同时特别精确地再现在PDAF像素的全区域曝光时产生的信号。例如，可以在远离PDAF像素布置的用于形成平均值的各个像素的间隔处对加权平均值进行加权。
在该方法的进一步发展中，信号差值包括对角线信号差值，该对角线信号差值根据两个另外的像素的像素信号确定，这两个另外的像素在PDAF像素周围的环境内，布置在PDAF像素的延伸穿过PDAF像素的对角线方向上的两侧。由于在确定插值信号时不仅考虑了垂直于第一方向的另外的方向，而且还考虑了对角线方向，因此插值信号能够特别精确地再现在PDAF像素的全区域曝光时产生的图像信号。
在该方法的进一步发展中，当在对角线方向上距离PDAF像素一样远的两个另外的像素都起作用时，根据这两个另外的像素的像素信号确定对角线信号差；而当在对角线方向上一样远的另外的像素之一有缺陷时，对角线信号差是根据在对角线方向上与PDAF像素不一样远的两个另外的像素的像素信号来确定的。
用于确定信号差的另外的像素在每种情况下都可以是预定颜色的像素。预定颜色特别的可以是布置有PDAF像素的像素位置的颜色。特别的，距离PDAF一样远的像素均可以是在对角线方向上最接近PDAF像素的设置的预定颜色的像素。
预定颜色的最接近的像素的像素信号通常与在PDAF像素的全区域曝光时产生的图像信号的差异最小，使得当使用最接近的像素的像素信号时，通常可以在插值上获得最精确的结果。然而，为了在两个一样远的像素中的一个有缺陷时也能够执行插值，在相应插值方向上更远的设置像素，例如，预定颜色的第二最接近的像素被用于插值，而不是缺陷的一样远的像素。
在该方法的进一步发展中，信号差值包括另外的对角线信号差值，该另外的对角线信号差值根据另外的像素中的两个像素的像素信号确定，所述另外的像素中的两个像素在PDAF像素周围的环境内布置在PDAF像素的在另外的对角线方向上的两侧，该另外的对角线方向延伸穿过PDAF像素并垂直于对角线方向定向。如果在插值中考虑了两个对角线方向，则插值信号特别精确地近似于在PDAF像素的全区域曝光时产生的图像信号。
在该方法的进一步发展中，信号差值包括垂直信号差值，该垂直信号差值根据另外的像素中的两个像素的像素信号确定，另外的像素中的两个像素在PDAF像素周围的环境内布置在PDAF像素的在法线方向上的两侧，该法线方向延伸穿过PDAF像素并垂直于第一方向定向。
在该方法的进一步发展中，用于确定各个信号差值的另外的像素布置在图像传感器的滤色器的像素位置处，该图像传感器的滤色器的颜色与PDAF像素的像素位置的颜色对应。因此，在选择用于插值的另外的方向时，仅考虑具有与PDAF像素的像素位置的颜色相同的颜色的那些图像结构，使得在插值期间避免了颜色误差。
在该方法的进一步发展中，信号差值是根据用于确定各个信号差值的相应的像素信号的平方根确定的。根据像素信号的平方根确定信号差值相对于根据像素信号本身确定信号差值的优点是，各个像素信号的与信号相关的噪声的贡献对信号差值的影响较小。由于各个像素信号的噪声通常随着曝光而增加，则各个像素信号的噪声将具有如下结果，在相同曝光差的情况下，对于曝光较少的像素，信号差值比对于曝光较多的像素低。这将反过来产生这样的结果，即在插值期间优选在如下方向，在该方向上，像素曝光比在其他另外的方向上的像素曝光更少。
在该方法的进一步发展中，PDAF像素和至少一个另外的PDAF像素各自具有掩膜，该掩膜沿着垂直于第一方向定向的掩膜边缘将相应的PDAF像素划分为未覆盖部分和覆盖部分。因此，如果结构方向从第一方向偏离小于预定角度，并且将PDAF像素的输出信号产生为放大信号，则结构方向垂直于掩膜边缘延伸，该掩膜边缘将PDAF像素划分为未覆盖部分和覆盖部分。
因此，可以假定PDAF像素的未覆盖部分和PDAF像素的覆盖部分各自用相同的强度曝光，并且用预定放大因子校正借助于部分覆盖的PDAF像素检测到的图像信号因此再现在PDAF像素的完全曝光时产生的信号。例如，在第一方向和掩膜边缘平行取向时不是这种情况，因为入射到PDAF像素的未覆盖部分上的辐射例如与间距无关，成像到PDAF像素的覆盖部分上的图像结构的结构边缘沿着PDAF像素的掩膜边缘延伸。在图像传感器中，环境内的用于产生输出信号的所有PDAF像素特别的可以沿着垂直于PDAF像素行延伸的掩膜边缘被划分为未覆盖部分和覆盖部分。
PDAF像素行的单个、多个或所有PDAF像素的掩膜边缘的相对于与PDAF像素行平行延伸的第一方向的垂直方向，表示本发明的独立方面，其特别独立于当结构方向从第一方向偏离超过预定角度时产生PDAF像素的输出信号的方式。因此，本发明尤其也通常地涉及方法或图像传感器，其中图像传感器包括PDAF像素，这些PDAF像素布置在彼此平行布置的各个PDAF像素行中，并且这些PDAF像素的掩膜边缘垂直于各个PDAF像素行定向，并且其中当所成像的图像结构的结构方向从第一方向偏离小于预定角度时，将PDAF像素的输出信号产生为放大信号。
在该方法的进一步发展中，在环境内，PDAF像素和另外的PDAF像素布置在沿第一方向彼此最接近地设置的相同颜色的像素位置处。如果各个PDAF像素布置的彼此特别接近，则可以特别精确地确定来自不同方向的、影响图像传感器的入射电磁辐射的部分之间的相位差，因此也可以尤其精确地确定待对焦的光学器件的对焦位置。此外，在相同颜色的像素位置上的PDAF像素的布置具有这样的效果：在PDAF像素行的环境内仅一种颜色的像素被修改。因此可以正确地检测所有其余颜色的像素信号。
在该方法的进一步发展中，图像传感器包括滤色器矩阵，在滤色器矩阵中布置在PDAF像素行中的所有像素具有相同的滤色器颜色，该PDAF像素行沿第一方向延伸并且包括PDAF像素。特别的，PDAF像素和在整个区域上曝光的另外的像素具有滤色器，该滤色器在PDAF像素行中具有相同滤波器颜色。为此，在每种情况下，PDAF像素可以布置在滤色器矩阵的像素位置处，该滤色器矩阵的像素位置被分配与PDAF像素的滤色器的滤色颜色不同的颜色。此外，PDAF像素行的在整个区域上形成的另外的像素均可以布置在其颜色与在PDAF像素行中布置的像素的滤色颜色对应的像素位置处。
例如，在Bayer滤色器矩阵中，所有PDAF像素可以布置在PDAF像素行中的蓝色或红色像素位置处，而不能包括蓝色或红色滤色器，而是不同颜色的滤色器，而所有另外的像素布置在PDAF像素行中的绿色像素位置并包括绿色滤色器。然而，所有PDAF像素也可以布置在PDAF像素行中的绿色像素位置处，并且不能包括绿色滤色器，而是包括不同颜色的滤色器，而所有另外的像素布置在PDAF像素行中的蓝色或红色像素位置处，并且包括蓝色或红色滤色器。
还还示出了一种传感器装置，该传感器装置包括光电图像传感器和用于产生光电图像传感器的PDAF像素的输出信号的评价装置，其中评价装置被配置为使用来自图像传感器的布置在PDAF像素的环境内的另外的像素的像素信号来产生PDAF像素的输出信号。在用于产生输出信号的环境内，图像传感器在沿着第一方向延伸的像素行中具有PDAF像素和至少一个另外的PDAF像素。评价装置被配置为检测图像传感器的布置在环境内的像素的像素信号，以及根据布置在环境内的像素中的至少一些像素的像素信号确定成像到图像传感器上的图像结构的结构方向。此外，评价装置被配置为在一种情况下将PDAF像素的输出信号产生为根据布置在环境内的另外的像素的像素信号的插值信号，并且在另一种情况下将PDAF像素的输出信号产生为通过用放大因子校正PDAF像素的像素信号而获得的放大信号，其中，评价装置被配置为在结构方向从第一方向偏离小于预定角度的情况下将PDAF像素的输出信号产生为放大信号。
特别的，传感器装置的评价装置被配置为执行上述方法。为此，结合上述方法描述的所有优点和进一步发展也涉及传感器装置或评价装置。
本发明进一步涉及一种包括上述传感器装置的相机。该相机特别的可以被配置为无反相机，例如无反系统相机。
附图说明
下面将参照附图对本发明进行说明。在每种情况下都有一个示意图：
图1是包括光电图像传感器和评价装置的传感器装置；
图2是具有PDAF像素行的光电图像传感器的一部分；
图3是具有用于产生PDAF像素的输出信号的PDAF像素环境的PDAF像素；
图4是具有沿结构方向延伸的图像结构的结构边缘的环境；
图5是具有用于确定第一对比度值的第一像素对的环境；
图6是具有用于确定第二对比度值的第二像素对的环境；
图7是具有用于确定插值信号的插值方向的环境；
图8是另一种图像传感器的PDAF像素的另一种环境，具有在对角线方向上与PDAF像素距离不等的像素，并且另外的具有位于最接近在另外的对角线方向上的PDAF像素的像素；
图9是一种产生PDAF像素的输出信号的方法；以及
图10是另一种产生PDAF像素的输出信号的方法。
具体实施方式
图1示出了包括光电图像传感器100和评价装置10的传感器装置1。对象30被成像到光电图像传感器100上作为图像结构32。光电图像传感器100包括各个像素的规则布置，每个像素产生像素信号106，像素信号106取决于入射到各个像素上的电磁辐射的、由图像结构32预定的强度。评价装置10连接到光电图像传感器100，以检测像素信号106并将其处理成输出信号11。评价装置10被配置为产生输出信号11，使得输出信号11尽可能精确地表示实际入射到图像传感器100的各个像素上的强度。特别的，评价装置11被配置为产生光电图像传感器100的部分变暗的PDAF像素的经校正输出信号11。传感器装置1布置在图1中未示出的数码相机中。
在图2中，示出了光电图像传感器100的一部分，其包括PDAF像素行120，该PDAF像素行具有沿着PDAF像素行120布置的PDAF像素112。PDAF像素行120由光电图像传感器100的沿第一方向101定向的像素行形成。在垂直于第一方向101定向并形成法线方向的第二方向102上，图像传感器100包括的PDAF像素行120(未示出)，例如，另外的PDAF像素行120规则地彼此间隔开。PDAF像素112各自在一侧被掩膜115覆盖，使得入射辐射仅影响PDAF像素112的靠近掩膜115的未覆盖的一部分。
从图2中可以看出，光电图像传感器100具有形成为拜尔(Bayer)矩阵的滤色器矩阵，该滤色器矩阵包括绿色像素位置G、蓝色像素位置B和红色像素位置R。图像传感器100的布置在各个像素位置G、B、R处的像素在该像素未被布置在PDAF像素行120中时均包括滤色器，该滤色器的颜色与对应的像素位置G、B、R的颜色对应。
在PDAF像素行120内，PDAF像素112在每种情况下布置在蓝色像素位置。然而，PDAF像素112不具有蓝色滤色器，而是具有不同颜色的滤色器。在各个PDAF像素112之间，在滤色器矩阵的具有绿色滤色器的所有绿色像素位置G处，均在整个区域上曝光的另外的像素布置在PDAF像素行120中。
两种不同类型的PDAF像素112布置在PDAF像素行120中，并且各自在第一方向上的相对侧上被覆盖，即一种类型的PDAF像素112在左侧被覆盖，另一种类型的PDAF像素112在右侧被覆盖。为此，像素行120在每种情况下都以交替的方式包括：在左侧被覆盖的三个PDAF像素112，这三个PDAF像素112在相同颜色像素位置上一个挨着一个布置；以及在右侧被覆盖的三个PDAF像素112，这三个PDAF像素112在相同颜色像素位置上一个挨着一个布置。
图3示出了用于产生多个PDAF像素112中的一个PDAF像素的输出信号11的、相应PDAF像素112的环境110。基于环境110确定其输出信号11的PDAF像素112布置在环境110内的中心，其中，环境110在每种情况下都具有沿第一方向101的五个像素的和沿第二方向102的五个像素的宽度。由于PDAF像素行120中每隔一个像素是PDAF像素，所以在环境110内在PDAF像素行120中的两个另外的PDAF像素114布置在PDAF像素112的两侧。
同样如图3所示，PDAF像素112、114的掩模115沿着平行于第二方向102延伸的相应掩膜边缘116将各个PDAF像素112、114划分为未覆盖因而暴露的部分119以及被覆盖因而未暴露的部分118。环境110内的所有其余像素形成为在整个区域上暴露的另外的像素117。
由于PDAF像素112、114均被掩膜115覆盖，因此它们的像素信号106不能直接用作输出信号11。因此，评价设备10被配置为在每种情况下使用设置在各个PDAF像素112、114周围的环境内的像素的像素信号106将PDAF像素112、114的输出信号11产生为插值信号或放大信号。特别的，在图3中示出的环境110用于产生在图3中示出并设置在环境110的中心处的PDAF像素112的输出信号11。为了产生图3中示出的另外的PDAF像素114的输出信号11，以类似的方式使用以另外的像素114为中心的环境。
将PDAF像素112的输出信号11产生为插值信号还是放大信号，取决于成像到图像传感器100上的图像结构32如何在PDAF像素112周围的环境110的区域中定向。输出信号11的产生方式尤其取决于图像结构32的结构方向，图像结构32的明暗区域之间的边界线沿着图像结构32的结构方向延伸。图1中示出的图像结构32，例如，被构造成明区和暗区，其中，明区和暗区之间的边界线形成结构边缘33，并且限定图像结构32的结构方向。
如图4所示，环境110内的图像结构32的结构方向由沿着结构方向延伸的结构边缘33与第一方向101之间的角度22限定。在角度22最多地与例如18°或22.5°的预定角度对应，即结构方向基本上沿着第一方向101延伸的所有情况下，将输出信号11确定为根据PDAF像素112的像素信号106的放大信号。在所有其他情况下，将输出信号11产生为根据环境110内围绕PDAF像素112布置的另外的像素117的图像信号106的插值信号。
为了确定结构方向，评价设备10确定第一对比度值和第二对比度值，第一对比度值指示图像结构32沿第一方向101的对比度，第二对比度值指示图像结构32沿第二方向102的对比度。如图5所示，基于多个第一像素对130确定第一对比度值，其中，各个第一像素对130均包括相同颜色的两个像素，每个像素均布置在沿着第一方向101延伸的公共第一像素行134中。特别的，第一像素行134由图像传感器100的像素行形成。
类似地，如图6所示，基于多个第二像素对140来确定第二对比度值。各个第二像素对140均包括相同颜色的两个像素，每个像素布置在沿着第二方向102延伸的公共第二像素行144中。特别的，第二像素行144由图像传感器100的像素列形成。为此，第二像素对140的布置与第一像素对130的从第一方向101旋转到第二方向102即旋转90°的布置对应。
也可以被指定为水平对比度值的第一对比度值被形成为各个第一像素对130的像素的像素信号106的差量之和：
Figure BDA0003674615200000171
其中，第i个第一像素对130的各个像素信号y1,i、y2,i的差量|ch,i|＝|y2,i-y1,i|。
类似地，也可以被指定为垂直对比度值的第二对比度值被形成为第二像素对140的像素的像素信号106的差量之和：
Figure BDA0003674615200000172
其中，第i个第二像素对140的各个像素信号y1,i、y2,i的差量|cb,i|＝|y2,i-y1,i|。由于用于产生像素信号y1,i、y2,i的第一像素对130或第二像素对140的像素均具有相同的颜色，因此，差量|ch,i|、|cv,i|分别形成颜色特定的各个对比度，每个对比度相加以形成总水平对比度或总垂直对比度。
图5中示出的多个水平定向的第一像素对130包括：其像素相对于沿着第二方向102定向并包括PDAF像素112的中心像素行122对称布置的第一像素对130；以及其像素相对于中心像素行122非对称布置的第一像素对130。例如，蓝色和绿色第一像素对130的像素相对于中心像素行122对称地布置在最外边的第一像素行134中，最外边的第一像素行布置在环境110的在第二方向102上的外边缘处。同样地，在PDAF像素行120中布置的绿色第一像素对130的像素和第一像素行134中的红色第一像素对130的像素相对于中心像素行122对称布置，该第一像素行134设置在PDAF像素行120与在第二方向102上最外侧的两个第一像素行134之间。相反，绿色第一像素对130的像素相对于中心像素行122不对称地布置，该绿色第一像素对130在第一像素行134中布置，该第一像素行134设置在PDAF像素行120与在第二方向102上最外侧的第一像素行134之间。
类似地，图6中示出的多个垂直定向的第二像素对140还包括：其像素相对于由PDAF像素行120形成的另外的中心像素行对称布置的第二像素对140，以及其像素相对于另外的中心像素行不对称布置的第二像素对140。例如，在环境110的第一方向101最外面的第二像素行144中布置的第二像素对140的像素相对于由PDAF像素行120形成的另外的中心像素行对称地布置；而那些绿色第二像素对140的像素相对于另外的中心像素行不对称地布置，该绿色第二像素对140布置在第二像素行144中，该第二像素行144设置在中心像素行122和在第一方向101最外面的两个第二像素行144之间。
对比率
Figure BDA0003674615200000181
根据第二对比度值和第一对比度值形成的对比率，是结构方向相对于第一方向101的偏差的度量，并且与角度22的余切对应。如果对比率超过预定的限值时，例如与18°或22.5°的角度22对应的限值为3或2.4，则将PDAF像素112的输出信号11产生为放大信号，否则将输出信号11产生为插值信号。或者，预定的限值也可以等于与大约14°的角度22对应的4。在这种情况下，由于所谓的“移位”(bit shift)运算可以通过对限值除以因子2特别快速地执行，因此使得特别快速的数据处理成为可能。
如图7所示，插值沿着与第一方向101不同的插值方向进行，尤其是沿着对角线方向103、沿着另外的对角线方向104或者沿着与第二方向102对应的法线方向105进行。插值信号根据另外的像素150的像素信号产生，所述另外的像素150沿着所使用的插值方向设置为最接近PDAF像素112并且布置在具有与PDAF像素112的像素位置的颜色相同的颜色的像素位置处，即在图7示出的图像传感器100的情况下是在蓝色像素位置处。
在沿第一对角线方向103进行插值时，根据在环境110的右上角和左下角布置的蓝色像素的像素信号产生PDAF像素112的输出信号11；在沿另外的对角线方向104进行插值时，根据从环境110的左上角和右下角布置的像素的像素信号产生PDAF像素112的输出信号11；以及在沿法线方向105进行插值时，根据在环境110的上边缘和下边缘处布置的蓝色像素的像素信号产生PDAF像素112的输出信号11，该蓝色像素与PDAF像素112在同一列中。
选择方向102、103、105中的一个方向作为插值方向，沿着该方向用于插值的最接近的像素150的像素信号之间的信号差值最小。为此，第j个另外的方向102、103、105的各个信号差值dj被确定为各个像素信号y1j、y2j的平方根的差，
Figure BDA0003674615200000191
并且沿着信号差值dj最小的插值方向103、104、105执行插值。
插值信号yPDAF,I与两个蓝色像素150的像素信号的平均值对应，这两个蓝色像素150沿着选择的插值方向在PDAF像素112的两侧最接近地设置；例如，插值信号yPDAF,I可以与所述像素信号的算术平均值对应，并可以计算为：
Figure BDA0003674615200000192
在图8中，示出了具有PDAF像素112、114的可选布置的图像传感器100。为此，PDAF像素112、114不位于PDAF像素行120内蓝色的像素位置处，而是位于绿色的像素位置处。由于在Bayer颜色矩阵中，只有绿色像素位置G沿延伸穿过绿色像素位置G的对角线方向103、104布置，所以布置在待校正的PDAF像素112周围的环境110包括沿对角线方向103、104在PDAF像素112的两侧的具有绿色滤色器的相应的两个像素。
在图8示出的PDAF像素112、114的可选布置中，在沿对角线方向103、104进行插值时，为此，插值信号不仅可以根据设置为最接近PDAF像素112的相同颜色像素150产生，而且可以根据第二最接近PDAF像素112的相同颜色的像素151中产生，即从环境110的角中的绿色像素中产生。为此，如果相同颜色的最接近的且一样远的像素150都在相应的对角方向103、104上起作用，则可以根据相同颜色的最接近且一样远的像素150在各个对角方向103、104上确定信号差值和插值信号，如图8中对于另外的对角方向104所示。
然而，当相同颜色的最接近像素150中的一个有缺陷时，则可以使用在对应对角线方向103、104上的相同颜色的第二最接近像素151的像素信号代替有缺陷的最接近像素150的像素信号，以确定信号差值和插值信号，如图8中对对角线方向103所示。在这种情况下，信号差值和插值信号可以特别的根据沿着对应的对角线方向103、104距离PDAF像素112不一样远的相同颜色的像素产生。
图9中示出了一种产生PDAF像素112的输出信号11的方法200。作为第一步，方法200包括：借助于评价单元10检测201图像传感器100的像素的像素信号106。之后，方法200包括：根据环境110内布置的另外的像素117的像素信号106对PDAF像素112的像素信号进行插值205。为此，首先确定201信号差值dj，然后沿着信号差值最小的插值方向103、104、105确定215相同颜色的最接近像素的像素信号的平均值。最后，以这种方式产生的插值信号首先被定义220作为输出信号。
方法200随后包括确定225由结构边缘33给出的图像结构32的结构方向。当结构方向从第一方向101偏离最多预定角度时，方法200包括用预定的放大因子g校正230该PDAF像素112的像素信号106，以确定放大信号：
yPDAF,G＝(yPDAF-y0)·g+y0
其中，yPDAF表示PDAF像素112检测到的像素信号，y0表示PDAF像素112的暗信号部分。随后，将PDAF像素112的输出信号11限定235为用放大因子校正过的放大信号例如，发生在先前产生的插值信号在评价装置11的存储器单元中被重写的情况下。最后，方法200包括：产生240并借助于评价设备10输出PDAF像素112的限定的输出信号11。
在图9所示的方法200中，插值信号的确定205总是发生，并且插值信号仅在结构方向从第一方向101偏离最多预定角度的情况下被放大信号替代。由于在小于45°，尤其是18°或22.5°的预定角度下，结构方向平均而言经常与第一方向101相差大于预定角度而不是小于预定角度，所以PDAF像素112的输出信号11可以通过方法200中实现的插值信号的确定205和放大信号的确定230的序列特别快地产生。
图10示出了方法200的可选实施例，其中，在像素信号的检测201之后首先确定225结构方向。当结构方向从第一方向101最多偏离预定角度时，则进行用放大因子的校正230，并进行将放大信号限定235为输出信号。在结构方向从第一方向101偏离超过预定角度的情况下，在图10示出的方法中，根据在环境110内布置的另外的像素117的像素信号106进行对PDAF像素112的像素信号的插值205，如结合图9的描述。最后，将输出信号产生为放大信号或插值信号240。
附图标记列表
1 传感器装置
10 评价装置
11 输出信号
22 角度
30 物体
32 图像结构
33 结构边缘
100 图像传感器
101 第一方向
102 第二方向
103 对角线方向
104 另外的对角线方向
105 法线方向
106 像素信号
110 环境
112 PDAF像素
114 另外的PDAF像素
115 掩膜
116 掩膜边缘
117 另外的像素
118 覆盖部分
119 未覆盖部分
120 PDAF像素行
122 中心像素行
130 第一像素对
134 第一像素行
140 第二像素对
144 第二像素行
150 最接近的像素
151 第二最接近的像素
200 产生输出信号的方法
201 像素信号的检测
205 插值
210 确定信号差值
215 确定平均值
220 将插值信号限定为输出信号
225 确定结构方向
230 用放大因子校正
235 将输出信号限定为插值信号
240 产生输出信号

Claims (25)

1.一种产生光电图像传感器(100)的PDAF像素(112)的输出信号(11)的方法(200)，所述方法使用来自布置在所述PDAF像素(112)的环境(110)内的另外的像素(117)的像素信号(106)来产生所述光电图像传感器(100)的所述PDAF像素(112)的所述输出信号(11)，
其中，在用于产生所述输出信号(11)的所述环境(110)内，所述图像传感器(100)在沿着第一方向(101)延伸的像素行中具有所述PDAF像素(112)和至少一个另外的PDAF像素(114)，
其中，所述方法(200)包括：
-检测(201)所述图像传感器(100)的布置在所述环境(110)内的所述像素(112、114、117)的像素信号(106)；
-根据布置在所述环境(110)内的所述像素(117)中的至少一些像素的所述像素信号(106)确定(225)成像到所述图像传感器(100)上的图像结构(32)的结构方向；以及
-产生(240)所述PDAF像素(112)的所述输出信号(11)，
其中，在一种情况下将所述PDAF像素(112)的所述输出信号(11)产生为根据布置在所述环境(110)内的所述另外的像素(117)的所述像素信号(106)的插值信号，在另一种情况下将所述PDAF像素(112)的所述输出信号(11)产生为通过用放大因子校正(230)所述PDAF像素(112)的所述像素信号(106)而获得的放大信号，
其中，在所述结构方向从所述第一方向(101)偏离小于预定角度的情况下，将所述PDAF像素(112)的所述输出信号(11)产生为所述放大信号。
2.根据权利要求1所述的方法(200)，
其中，校正所述PDAF像素(112)的所述像素信号(106)以便产生所述放大信号，其中，只有所述PDAF像素(112)的所述像素信号(106)的超过所述PDAF像素(112)的预定暗信号的信号部分被所述放大因子缩放。
3.根据前述权利要求中任一项所述的方法(200)，
其中，所述预定角度为至少0°、至少10°或至少13°，和/或至多45°、至多35°或至多23°，例如14°、18°或22.5°。
4.根据前述权利要求中任一项所述的方法(200)，
其中，所述结构方向根据所成像的图像结构(32)的第一对比度值和第二对比度值确定，
其中，所述第一对比度值指定所述图像结构(32)的沿所述第一方向(101)的对比度，所述第二对比度值指定所述图像结构(32)的沿不同于所述第一方向(101)的第二方向(102)的对比度，特别是沿与所述第一方向(101)正交的第二方向的对比度。
5.根据权利要求4所述的方法(200)，
其中，所述第一对比度值是在考虑多个第一像素对(130)的情况下产生的，每个第一像素对包括所述另外的像素(117)中的两个像素，所述两个像素在所述环境(110)内布置在所述图像传感器(100)的沿所述第一方向(101)延伸的第一像素行(134)中，
和/或
其中，所述第二对比度值是在考虑多个第二像素对(140)的情况下产生的，每个第二像素对包括所述另外的像素(117)中的两个像素，所述两个像素在所述环境(110)内布置在所述图像传感器(100)的沿所述第二方向(102)延伸的第二像素行(144)中。
6.根据权利要求5所述的方法(200)，
其中，每个第一像素对(130)由具有相同的颜色的两个另外的像素(117)组成，和/或每个第二像素对(140)由具有相同的颜色的两个另外的像素(117)组成。
7.根据权利要求5或6所述的方法(200)，
其中，所述第一对比度值包括各个第一像素对(130)的所述另外的像素(117)的所述像素信号(106)的差量之和，和/或
其中，所述第二对比度值包括各个第二像素对(140)的所述另外的像素(117)的所述像素信号(106)的差量之和。
8.根据权利要求5至7中任一项所述的方法(200)，
其中，所述第二像素对(140)的布置与所述第一像素对(130)从所述第一方向(101)围绕所述PDAF像素(112)旋转的延所述第二方向(102)的布置对应。
9.根据前述权利要求中任一项所述的方法(200)，
其中，所述结构方向根据不同颜色的像素(117)的所述像素信号(106)确定。
10.根据前述权利要求中任一项所述的方法(200)，
其中，在排除所述PDAF像素(112)的所述像素信号(106)和所述另外的PDAF像素(114)的所述像素信号的同时确定所述结构方向。
11.根据前述权利要求中任一项所述的方法(200)，
其中，在所述结构方向被定向为垂直于所述第一方向(101)的情况下，优选在所述结构方向从所述第一方向(101)偏离超过所述预定角度的所有情况下将所述PDAF像素(112)的所述输出信号(11)产生为所述插值信号。
12.根据前述权利要求中任一项所述的方法(200)，
其中，所述方法(200)包括确定(210)至少两个信号差值，
其中，各个信号差值根据所述另外的像素(117)中的相应的两个像素的像素信号(106)确定，所述另外的像素(117)中的相应的两个像素在所述PDAF像素(112)周围的所述环境(110)内，布置在所述PDAF像素(112)的延多个另外的方向(102、103、104、105)的两侧，所述多个另外的方向延伸穿过所述PDAF像素(112)并且在每种情况下对于所述各个信号差值是不同的，以及
其中，所述插值信号根据具有最小信号差值的另外的像素(117)的像素信号(106)产生。
13.根据权利要求12所述的方法(200)，
其中，所述多个另外的方向(102、103、104、105)均与所述第一方向(101)不同。
14.根据权利要求12或13所述的方法(200)，
其中，所述插值信号被产生为具有所述最小信号差值的所述另外的像素(117)的所述像素信号(106)的平均值，例如算术平均值或加权平均值。
15.根据权利要求12至14中任一项所述的方法(200)，
其中，所述信号差值包括对角线信号差值，所述对角线信号差值是根据两个另外的像素(117)的像素信号(106)确定的，所述两个另外的像素(117)在所述PDAF像素(112)周围的所述环境(110)内，布置在所述PDAF像素(112)的在延伸穿过所述PDAF像素(112)的对角线方向(103)上的两侧。
16.根据权利要求15所述的方法(200)，
其中，在所述对角线方向(103)上距离所述PDAF像素(112)一样远的两个另外的像素(117)都起作用时，所述对角线信号差是根据所述两个另外的像素(117)的所述像素信号(106)确定的，
其中，当在所述对角线方向(103)上一样远的所述另外的像素(117)之一有缺陷时，所述对角线信号差是根据在所述对角线方向(103)上距离所述PDAF像素(112)不一样远的两个另外的像素(117)的像素信号(106)来确定的。
17.根据权利要求15或16所述的方法(200)，
其中，所述信号差值包括另外的对角线信号差值，所述另外的对角线信号差值是根据所述另外的像素(117)中的两个像素的像素信号(106)来确定的，所述两个像素在所述PDAF像素(112)周围的所述环境(110)内，布置在所述PDAF像素(112)的在另外的对角线方向(104)上的两侧，所述另外的对角线方向延伸穿过所述PDAF像素(112)并垂直于所述对角线方向(103)定向。
18.根据权利要求12至17中任一项所述的方法(200)，
其中，所述信号差值包括垂直信号差值，所述垂直信号差值是根据所述另外的像素(117)中的两个像素的像素信号(106)来确定的，所述两个像素在所述PDAF像素(112)周围的所述环境(110)内，布置在所述PDAF像素(112)的法线方向(102，105)上的两侧，所述法线方向延伸穿过所述PDAF像素(112)并垂直于所述第一方向(101)定向。
19.根据权利要求12至18中任一项所述的方法(200)，
其中，用于确定所述各个信号差值的所述另外的像素(117)布置在所述图像传感器(100)的滤色器的像素位置处，所述滤色器的颜色与所述PDAF像素(112)的所述像素位置的颜色对应。
20.根据权利要求12至19中任一项所述的方法(200)，
其中，所述信号差值是根据用于确定所述各个信号差值的所述相应的像素信号(106)的平方根来确定的。
21.根据前述权利要求中任一项所述的方法(200)，
其中，所述PDAF像素(112)和所述至少一个另外的PDAF像素(114)各自具有掩膜(115)，所述掩膜沿着垂直于所述第一方向(101)定向的掩膜边缘(116)将所述相应的PDAF像素(112、114)划分为未覆盖部分(119)和覆盖部分(118)。
22.根据前述权利要求中任一项所述的方法(200)，
其中，在所述环境(110)内，所述PDAF像素(112)和所述另外的PDAF像素(114)在所述第一方向(101)上布置在彼此最接近地设置的相同颜色的像素位置处。
23.根据前述权利要求中任一项所述的方法(200)，
其中，所述图像传感器(100)包括滤色器矩阵，在所述滤色器矩阵中，布置在PDAF像素行(120)中的所有所述像素(112、114、117)具有相同的滤色器颜色，所述PDAF像素行(120)沿所述第一方向(101)延伸并包括所述PDAF像素(112、114)。
24.一种传感器装置(1)，所述传感器装置(1)包括光电图像传感器(100)和评价装置(10)，所述评价装置用于产生所述光电图像传感器(100)的PDAF像素(112)的输出信号(11)，
其中，所述评价装置(10)被配置为使用来自所述图像传感器(100)的布置在所述PDAF像素(112)的环境(110)中的另外的像素(117)的像素信号(106)来产生所述PDAF像素(112)的所述输出信号(11),
其中，在用于产生所述输出信号(11)的所述环境(110)内，所述图像传感器(100)在沿第一方向(101)延伸的像素行中具有所述PDAF像素(112)和至少一个另外的PDAF像素(114)，
其中，所述评价单元(10)被配置为：检测所述图像传感器(100)的布置在所述环境(110)内的所述像素(117)的像素信号(106)，并根据布置在所述环境(110)内的所述像素(112、114、117)中的至少一些像素的所述像素信号(106)确定成像到所述图像传感器(100)上的图像结构(32)的结构方向，
其中，所述评价装置(10)被配置为，在一种情况下将所述PDAF像素(112)的所述输出信号(11)产生为根据布置在所述环境(110)内的另外的像素(117)的所述像素信号(106)的插值信号，在另一种情况下将所述PDAF像素(112)的所述输出信号(11)产生为通过用放大因子校正所述PDAF像素(112)的所述像素信号(106)而获得的放大信号，以及
其中，所述评价装置(10)被配置为在所述结构方向从所述第一方向(101)偏离小于预定角度的情况下，将所述PDAF像素(112)的所述输出信号(11)产生为所述放大信号。
25.一种相机，所述相机包括根据权利要求24所述的传感器装置(1)。
CN202080083821.XA 2019-10-24 2020-09-28 产生pdaf像素的输出信号的方法 Pending CN114762312A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102019128781.2 2019-10-24
DE102019128781.2A DE102019128781A1 (de) 2019-10-24 2019-10-24 Verfahren zur Erzeugung eines Ausgabesignals eines PDAF-Bildpunkts
PCT/EP2020/077140 WO2021078473A1 (de) 2019-10-24 2020-09-28 Verfahren zur erzeugung eines ausgabesignals eines pdaf-bildpunkts

Publications (1)

Publication Number Publication Date
CN114762312A true CN114762312A (zh) 2022-07-15

Family

ID=72665271

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080083821.XA Pending CN114762312A (zh) 2019-10-24 2020-09-28 产生pdaf像素的输出信号的方法

Country Status (7)

Country Link
US (1) US20220384504A1 (zh)
EP (1) EP4049445B1 (zh)
JP (1) JP2022553726A (zh)
KR (1) KR20220080197A (zh)
CN (1) CN114762312A (zh)
DE (1) DE102019128781A1 (zh)
WO (1) WO2021078473A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108718376B (zh) * 2013-08-01 2020-08-14 核心光电有限公司 具有自动聚焦的纤薄多孔径成像系统及其使用方法
CN116584104A (zh) * 2021-12-08 2023-08-11 梦芯片技术股份有限公司 用于处理图像传感器的图像数据的方法及处理单元和程序

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107370959A (zh) * 2017-09-19 2017-11-21 德淮半导体有限公司 图像传感器、成像装置及对焦方法
US20180359410A1 (en) * 2017-06-08 2018-12-13 Intel Corporation Method and system of camera control and image processing with a multi-frame-based window for image data statistics
CN109474771A (zh) * 2017-09-08 2019-03-15 苹果公司 图像捕获设备、像素和改善相位检测自动聚焦性能的方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS53126668A (en) * 1977-04-12 1978-11-06 Taiyo Sangyo Kk Magic hand
JP3592147B2 (ja) * 1998-08-20 2004-11-24 キヤノン株式会社 固体撮像装置
JP5371331B2 (ja) * 2008-09-01 2013-12-18 キヤノン株式会社 撮像装置、撮像装置の制御方法及びプログラム
JP5476810B2 (ja) * 2009-06-23 2014-04-23 株式会社ニコン 撮像装置
JP5563283B2 (ja) * 2009-12-09 2014-07-30 キヤノン株式会社 画像処理装置
JP5539585B2 (ja) * 2011-03-24 2014-07-02 富士フイルム株式会社 カラー撮像素子、撮像装置、及び撮像プログラム
EP2696585A4 (en) * 2011-03-24 2014-10-08 Fujifilm Corp COLOR IMAGE CAPTURE ELEMENT, IMAGE CAPTURE DEVICE, AND IMAGE CAPTURE PROGRAM
CN104885446B (zh) * 2012-12-28 2018-02-13 富士胶片株式会社 像素校正方法及摄像装置
JP2014179939A (ja) * 2013-03-15 2014-09-25 Sony Corp 信号処理装置および信号処理方法
JP6427720B2 (ja) * 2016-06-01 2018-11-21 富士フイルム株式会社 撮像素子及び撮像装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180359410A1 (en) * 2017-06-08 2018-12-13 Intel Corporation Method and system of camera control and image processing with a multi-frame-based window for image data statistics
CN109474771A (zh) * 2017-09-08 2019-03-15 苹果公司 图像捕获设备、像素和改善相位检测自动聚焦性能的方法
CN107370959A (zh) * 2017-09-19 2017-11-21 德淮半导体有限公司 图像传感器、成像装置及对焦方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
蔡赞赞;: "PDAF对焦技术原理解析及生产应用", 电子技术与软件工程, no. 09 *

Also Published As

Publication number Publication date
EP4049445A1 (de) 2022-08-31
JP2022553726A (ja) 2022-12-26
WO2021078473A1 (de) 2021-04-29
DE102019128781A1 (de) 2021-04-29
US20220384504A1 (en) 2022-12-01
KR20220080197A (ko) 2022-06-14
EP4049445B1 (de) 2023-11-08

Similar Documents

Publication Publication Date Title
US11082605B2 (en) Method of photography processing for camera module, terminal, using same and storage medium implementing same
US8400505B2 (en) Calibration method, calibration device, and calibration system including the device
KR101442313B1 (ko) 카메라 센서 교정
US7835573B2 (en) Method and apparatus for edge adaptive color interpolation
JP4709084B2 (ja) 画像処理装置及び画像処理方法
EP1255410A2 (en) System and method for capturing color images that extends the dynamic range of an image sensor
US20150104076A1 (en) Image processing apparatus, imaging apparatus, and image processing method
JP2016057638A (ja) 複数のエッジ幅からフォーカス信号を生成する方法
JP2006304231A (ja) 画素欠陥補正装置
US9094602B2 (en) Imaging device and focus detection method
JP5141245B2 (ja) 画像処理装置、補正情報生成方法、および撮像装置
US8588521B2 (en) Image processing apparatus and control method therefor
US20130229550A1 (en) Defective pixel correction apparatus, method for controlling the apparatus, and program for causing computer to perform the method
JP2009065671A (ja) 色の補間方法、色補間装置およびコンピュータプログラム
CN114762312A (zh) 产生pdaf像素的输出信号的方法
CN104641276B (zh) 摄像装置及信号处理方法
JP2006180099A (ja) 画素欠陥補正装置
CN111669523B (zh) 像素校正
JP2002525722A (ja) 画像処理方法とシステム
JP6353233B2 (ja) 画像処理装置、撮像装置、及び画像処理方法
TWI282519B (en) Color interpolation method with directed weights
JP2007312314A (ja) 画像シフト検出方法および装置および画像入力装置
JP5223912B2 (ja) 撮像装置、および焦点判定プログラム
CN103460702A (zh) 彩色摄像元件、摄像装置及摄像程序
CN116506746A (zh) 一种图像坏点处理方法、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination