CN111406402B - 光敏成像系统和设备 - Google Patents

光敏成像系统和设备 Download PDF

Info

Publication number
CN111406402B
CN111406402B CN201780097096.XA CN201780097096A CN111406402B CN 111406402 B CN111406402 B CN 111406402B CN 201780097096 A CN201780097096 A CN 201780097096A CN 111406402 B CN111406402 B CN 111406402B
Authority
CN
China
Prior art keywords
pixel
pixels
value
array
crosstalk
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780097096.XA
Other languages
English (en)
Other versions
CN111406402A (zh
Inventor
米科·穆基
萨穆·科斯基宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN111406402A publication Critical patent/CN111406402A/zh
Application granted granted Critical
Publication of CN111406402B publication Critical patent/CN111406402B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • H04N25/633—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current by using optical black pixels
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14623—Optical shielding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

一种用于光敏成像系统，用于确定设置在像素阵列中的黑光(optically black，OB)像素的串扰值，所述系统包括：至少一个图像传感器，其中所述图像传感器包括至少一个像素阵列；以及处理装置。所述像素阵列包括多个彩色通道像素(CP1、……、CPn)和至少一个OB像素(OB1、……、OBn)。所述处理装置用于检测OB像素(OB1)的彩色通道的第一强度值(IVOB1)，检测相邻彩色通道像素(CP1)的第二强度值(IV1)，并根据第一强度值(IVOB1)和第二强度值(IV1)计算OB像素(OB1)的串扰值(CV1)。

Description

光敏成像系统和设备
技术领域
本公开涉及光敏成像系统和光敏成像设备。
背景技术
为了获得高质量的数字图像，需要估计图像像素阵列的正确黑光等级。错误的黑光等级通常表现为错误的彩色或太暗的图像。可以使用黑光(optically black，OB)像素估计黑光等级，OB像素不接收任何光，例如因为被金属层覆盖。
现有技术中，OB像素通常沿像素阵列的一条或多条边缘设置为一帧。使用这种帧OB像素，很难准确估计例如图像中心处的正确黑光等级。然而，OB像素也可以散布在像素阵列的网格内，即所谓的阵列内OB像素。例如，如US2014/0014818中所示，帧OB像素用于生成全局暗电流，阵列内OB像素用于生成局部暗电流，随后对局部暗电流进行补偿。
然而，暗电流并不是影响黑光等级的唯一因素，固定模式噪声、随机噪声和像素串扰等因素也需要考虑。例如，像素串扰是光落在一个像素上时溢出到八个最近的相邻像素的现象。
发明内容
目的在于提供一种改进的光敏成像系统，用于确定设置在像素阵列中的OB像素的串扰值，以及提供一种改进的光敏成像设备，用于对此类串扰进行补偿。
通过独立权利要求的特征来实现上述和其他目标。进一步的实施形式在从属权利要求、具体说明和附图中显而易见。
根据第一方面，提供了一种光敏成像系统，用于确定设置在像素阵列中的OB像素的串扰值，所述系统包括：至少一个图像传感器，其中所述图像传感器包括至少一个像素阵列，所述像素阵列包括多个彩色通道像素和至少一个OB像素；以及处理装置，用于检测OB像素的彩色通道的强度值，检测相邻彩色通道像素的强度值，并根据所述强度值计算所述OB像素的串扰值。
这种成像系统使得可以针对任何OB像素估计正确的局部串扰值，无论OB像素在像素阵列中的位置如何。这些正确的局部串扰值用于对像素阵列的黑光等级进行更准确的估计，进而提供更高质量的图像，特别是在暗光条件下。
在第一方面的一种可能的实施形式中，所述处理装置还用于检测所述OB像素的彩色通道的至少一个其他强度值，检测至少一个其他相邻彩色通道像素的至少一个其他强度值，并根据所述其他强度值计算所述OB像素的至少一个其他串扰值，便于估计不同彩色通道的同一个局部串扰值或同一个彩色通道的多个局部串扰值。
在第一方面的另一种可能的实施形式中，所述处理装置还用于在计算所述串扰值之前对所述相邻彩色通道像素的所述强度值进行滤波，使得多个检测到的值可以用于进一步计算，从而提高了计算的可靠性。
在第一方面的另一种可能的实施形式中，所述处理装置还用于根据所述串扰值中的至少两个计算所述OB像素的总串扰值，使得多个检测到的值可以用于进一步计算，从而提高了计算的可靠性。
在第一方面的另一种可能的实施形式中，所述处理装置还用于在计算所述总串扰值之前对所述串扰值中的至少两个串扰值进行滤波，使得多个检测到的值可以用于进一步计算，从而提高了计算的可靠性。
在第一方面的另一种可能的实施形式中，所述处理装置还用于针对至少一个其他OB像素重复上述步骤，以得到每个其他OB像素的串扰值/总串扰值，从而提高所述成像系统的可靠性。
在第一方面的另一种可能的实施形式中，所述处理装置还用于对所述OB像素计算得的串扰值/总串扰值进行滤波，使得多个检测到的值可以用于进一步计算，从而提高了计算的可靠性。
在第一方面的另一种可能的实施形式中，所述串扰值、所述总串扰值、滤波后串扰值和/或滤波后总串扰值存储在光敏成像系统中，便于使用和重用大量不同的值，从而提高了计算的可靠性。
根据第二方面，提供了一种光敏成像设备，用于对设置在像素阵列中的阵列内OB像素中的串扰进行补偿，所述设备包括：至少一个图像传感器，其中所述图像传感器包括至少一个像素阵列，所述像素阵列包括多个彩色通道像素和至少一个阵列内OB像素；以及处理装置，用于选择阵列内OB像素，检测相邻彩色通道像素的强度值，并根据所述强度值和存储的阵列内OB像素的串扰值计算所述阵列内OB像素的当前串扰值。
这种成像设备使得可以针对任何OB像素进行正确的局部串扰补偿，无论OB像素在像素阵列中的位置如何。这些补偿后得到的值用于对像素阵列的黑光等级进行更准确的估计，进而提供更高质量的图像，特别是在暗光条件下。
在第二方面的一种可能的实施形式中，所述处理装置还用于检测至少一个其他相邻彩色通道像素的至少一个其他强度值，并根据所述其他强度值和存储的串扰值计算阵列内OB像素的至少一个其他当前串扰值，便于估计不同彩色通道的同一个局部串扰值或同一个彩色通道的多个局部串扰值。
在第二方面的另一种可能的实施形式中，所述处理装置还用于在计算所述当前串扰值之前对所述强度值进行滤波，使得多个检测到的值可以用于进一步计算，从而提高了计算的可靠性。
在第二方面的另一种可能的实施形式中，所述处理装置还用于根据所述当前串扰值中的至少两个计算所述阵列内OB像素的总当前串扰值，使得多个检测到的值可以用于进一步计算，从而提高了计算的可靠性。
在第二方面的另一种可能的实施形式中，所述处理装置还用于在计算所述总当前串扰值之前对所述当前串扰值中的至少两个进行滤波，使得多个检测到的值可以用于进一步计算，从而提高了计算的可靠性。
在第二方面的另一种可能的实施形式中，所述处理装置还用于：检测所述OB像素的强度值；将所述阵列内OB像素的当前串扰值/总当前串扰值与预定限制值X相比较，其中，如果所述当前串扰值/总当前串扰值大于X，则选择不同的阵列内OB像素并重复上述步骤，如果所述当前串扰值/总当前串扰值小于等于X，则计算所述阵列内OB像素的校正后强度值；将所述校正后强度值指定给所述阵列内OB像素，使得所述成像设备可以发现并校正任意错误的OB像素。
在第二方面的另一种可能的实施形式中，所述处理装置用于通过从所述强度值或滤波后强度值中减去所述当前串扰值来计算所述校正后强度值，从而提供了一种简单直接的方法以提高计算的可靠性。
在第二方面的另一种可能的实施形式中，所述处理装置还用于针对至少一个其他阵列内OB像素重复上述步骤，对至少两个阵列内OB像素的强度值进行滤波，并将滤波后强度值指定为所述至少两个阵列内OB像素的强度值，从而提高了所述成像器件的可靠性。
在第二方面的另一种可能的实施形式中，所述像素阵列还包括至少一个帧OB像素，所述至少一个帧OB像素设置在所述像素阵列的外边缘，提供了更多的值用于计算，从而提高了计算的可靠性。
在第二方面的另一种可能的实施形式中，所述处理装置用于：针对与帧OB像素相邻的至少一个阵列内OB像素，检测与所述阵列内OB像素相邻的至少一个帧OB像素的彩色通道的强度值，其中，如果仅检测到一个帧OB像素的帧OB像素强度值，则将所述帧OB像素的强度值指定为所述帧OB像素的强度值(FIV)，如果检测到至少两个帧OB像素的帧OB像素强度值，则针对所述帧OB像素强度值求平均，并将平均强度值指定为所述帧OB像素的帧OB像素强度值；将所述阵列内OB像素的校正后强度值与所述帧OB像素的彩色通道的强度值相比较，其中，如果所述校正后强度值等于所述帧OB像素强度值，则将所述校正后强度值指定为所述阵列内OB像素的强度值，如果所述校正后的强度值与所述帧OB像素强度值不同，则将所述校正后强度值与所述帧OB像素强度值进行匹配，并将匹配的强度值指定为所述校正后的强度值，从而改善了相邻OB像素的强度值不同时的计算。
在第二方面的另一种可能的实施形式中，所述处理装置用于通过以下方式将所述校正后强度值与所述帧OB像素强度值进行匹配：通过将所述帧OB像素强度值与所述校正后强度值相除来计算像素分数值；将所述帧OB像素强度值指定为所述阵列内OB像素的强度值；将所述分数值与每个阵列内OB像素的强度值，其中每个阵列内OB像素与所述帧OB像素以及所述阵列内OB像素对齐；将强度值乘积指定为每个阵列内OB像素的强度值，便于通过一种简单可靠的方式在计算中考虑相邻OB像素的不同强度值。
根据第三方面，提供了一种确定设置在像素阵列中的OB像素的串扰值的方法，所述像素阵列包括多个彩色通道像素和至少一个OB像素，所述方法包括以下步骤：检测OB像素的彩色通道的强度值；检测相邻彩色通道像素的强度值；根据所述强度值计算所述OB像素的串扰值。所述方法使得可以针对任何OB像素估计正确的局部串扰值，无论OB像素在像素阵列中的位置如何。
根据第四方面，提供了一种对设置在像素阵列中的阵列内OB像素中的串扰进行补偿的方法，所述像素阵列包括多个彩色通道像素和至少一个阵列内OB像素，所述方法包括以下步骤：选择阵列内OB像素；检测相邻彩色通道像素的强度值；根据所述强度值和存储的串扰值计算所述阵列内OB像素的当前串扰值。所述方法使得可以针对任何OB像素估计正确的局部串扰值，无论OB像素在像素阵列中的位置如何。
从下文描述的实施例中，这些和其他方面将是显而易见的。
附图说明
在本公开的以下详细部分中，将结合附图中示出的示例性实施例更详细地解释各方面、各实施例以及各实现方式，其中：
图1a示出了包括彩色通道像素和两个黑光像素的像素阵列的一个实施例。
图1b示出了包括彩色通道像素和两个黑光像素的像素阵列的一个实施例，其中所述彩色通道像素是红色、绿色和蓝色中的一种。
图1c示出了包括彩色通道像素和两个黑光像素的像素阵列的一个实施例，其中所述彩色通道像素是红色、绿色、蓝色和红外中的一种。
图2a示出了阵列内OB像素阵列的强度值的示意性示例。
图2b示出了图2a中的强度值与一行帧OB像素相匹配。
图3示出了流程图的一个实施例，该流程图揭示了光敏成像系统的一个实施例中采取的步骤，所述光敏成像系统用于确定设置在像素阵列(根据图1a-1c中任一)中的黑光像素的串扰值。
图4a-4b示出了流程图的一个实施例，该流程图揭示了光敏成像设备的一个实施例中采取的步骤，所述光敏成像设备用于对图3中确定的串扰进行补偿。
图5示出了图3的流程图的另一个实施例。
图6a-6b示出了图4a-4b的流程图的另一个实施例。
图7示出了光敏成像系统的示意性实施例，所述光敏成像系统包括光敏成像设备的实施例。
具体实施方式
现有技术中，OB像素可以沿像素阵列的一条或多条边缘设置为帧，或者散布在像素阵列的网格内，即所谓的阵列内OB像素。图1a-1c示出了沿像素阵列的所有四个边缘设置的多个帧OB像素FOB、多个彩色通道像素以及散布在彩色通道像素之间的两个阵列内OB像素。
图1a示出了包括多个彩色通道像素CP1-CP79和两个黑光像素OB1、OB2的像素阵列的一个实施例。图1b示出了像素阵列的另一个实施例，所述像素阵列包括红色R、绿色G和蓝色B彩色通道像素，即所谓的拜耳设置。图1c示出了像素阵列的又一个实施例，所述像素阵列包括红色R、绿色G、蓝色B和红外IR彩色通道像素。
图7示出了光敏成像系统1的一个实施例，光敏成像系统1用于应用确定设置在像素阵列中的至少一个OB像素的串扰值的方法。此外，图7示出了一种光敏成像设备4，光敏成像设备4用于应用对设置在像素阵列中的阵列内OB像素中的串扰进行补偿的方法。图3示出了通过成像系统确定设置在像素阵列中的至少一个OB像素的串扰值的方法，图4a-4b示出了通过成像设备对串扰进行补偿的方法。
成像系统1包括至少一个图像传感器2，图像传感器2又包括至少一个这样的像素阵列。在优选实施例中，图像传感器2内置于成像设备4。像素阵列包括多个彩色通道像素CP1-CPn和至少一个OB像素OB1-OBn，如图1a-1c所示。
成像系统1还包括处理装置3a、3b，用于检测OB像素OB1的彩色通道的强度值IVOB1。本申请实施例中，OB像素的彩色通道的强度值记为第一强度值。随后，或同时，处理装置3a、3b检测相邻彩色通道像素CP1的强度值IV1，相邻彩色通道像素CP1是与OB像素OB1直接或间接相邻的彩色通道像素。本申请实施例中，相邻彩色通道像素的强度值记为第二强度值。优选地，间接邻居设置在与OB像素相距2或3个像素处。
检测到上述强度值IVOB1和IV1之后，处理装置3a、3b根据这些强度值IVOB1、IV1计算OB像素OB1的串扰值CV1。计算串扰值CV1的步骤可以包括将OB像素OB1的强度值IVOB1与相邻彩色信道像素CP1的强度值IV1相除。
在一个实施例中，成像系统1用于制造或研发机构中，以确定特定类型的图像传感器2的串扰值。因此，处理装置3b可内置于设置有图像传感器2的成像设备4中，如图7所示，但优选地，成像系统1包括内部处理装置3b和外部处理装置3a，例如CPU，仍然如图7所示。
此外，成像系统1可以包括存储器装置5a、5b，用于存储例如计算得出的串扰值CV1。对于处理装置3b，存储器装置5b可内置于设置有图像传感器2的成像设备4中，例如非易失性存储器5b，也可以是外部存储器装置5a，例如云存储器。
在一个实施例中，处理装置3，外部处理装置3b或内部处理装置3a，用于检测OB像素OB1的至少一个其他强度值IVOB2-IVOBn。所述其他强度值IVOB2-IVOBn可以与初始强度值IV1属于同一彩色通道，例如红/红，也可以属于不同彩色通道，例如红/绿。例如，当两个强度值属于同一彩色通道时，针对同一相邻彩色通道像素CP1或两个不同的相邻彩色通道像素CP1、CP2，检测步骤可能执行了两次。当强度值针对不同彩色通道时，针对相邻两个不同彩色通道像素CP1、CP2执行所述检测步骤。
随后，或同时，处理装置3a、3b检测至少一个其他相邻彩色通道像素CP2-CPn的至少一个其他相邻强度值IV2-IVn。
检测到上述强度值IVOB2-IVOBn和IV2-IVn之后，根据这些其他强度值IVOB2-IVOBn、IV2-IVn，处理装置3a、3b针对OB像素OB1计算至少一个其他串扰值CV2-CVn。计算其他串扰值CV2-CVn的步骤可以包括将OB像素OB1的强度值IVOB2-IVOBn与相邻彩色信道像素CP2-CPn的强度值IV2-IVn相除。在一个实施例中，针对一个OB像素OB1计算两个串扰值CV1、CV2，即通过将IVOB1与IV1相除得到CV1，将IVOB2与IV2相除得到CV2。
在一个实施例中，处理装置3a、3b用于在计算串扰值CV1-CVn之前，对检测到的相邻彩色信道像素CP1-CPn的强度值IV1-IVn进行滤波。本段落和以下各段落所提及的任何滤波可以通过不同方法来执行，例如高斯滤波器、非局部装置、小波、bm3d、甚至多帧平均，其中多个图像由图像传感器获得，输出图像是这些图像的平均值。
然而，在一个优选实施例中，如图5所示，所述滤波步骤包括针对检测到的属于同一彩色通道的至少两个相邻彩色通道像素CP1-CPn的强度值IV1-IVn求平均，并将平均强度值IVA指定为所述至少两个相邻彩色通道像素的强度值。
在一个实施例中，处理装置3a、3b用于根据串扰值CV1-CVn中的至少两个计算OB像素OB1的总串扰值TCV1。处理装置3a、3b还可以用于在计算总串扰值TCV1之前对至少两个串扰值CV1-CVn进行滤波。如前所述，所述滤波可以通过许多不同方法来执行。在一个实施例中，如图5所示，所述滤波步骤包括针对所有相邻彩色通道像素CP1-CPn计算得到的串扰值CV1-CVn求平均，例如，针对像素CP1-CP8的CV1-CV8求平均，并将求平均串扰值指定为OB像素OB1的总串扰值TCV1。
计算OB像素OB1的总串扰值TCV1的步骤可以包括将每个相邻彩色通道计算得到的串扰值CV1-CVn相加以得到一个总和。
此外，处理装置3a、3b可以用于针对至少一个其他OB像素OB2-OBn重复上述步骤，以得到针对每个其他OB像素OB2-OBn的一个串扰值CV1-CVn或总串扰值TCV1-TCVn。在该实施例中，处理装置3a、3b优选地用于对多个OB像素OB1-OBn计算得到的串扰值CV1-CVn或总串扰值TCV1-TCVn进行滤波。如前所述，所述滤波可以通过许多不同方法来执行。
在一个实施例中，如图5所示，所述滤波步骤包括针对OB像素OB1-OBn计算得到的多个串扰值CV1-CVn或总串扰值TCV1-TCVn求平均，并将新的平均串扰值CVA指定为OB像素OB1-OBn的串扰值。
前述的串扰值CV1-CVn、总串扰值TCV1-TCVn、滤波后串扰值和/或滤波后总串扰值可以存储在光敏成像系统中，优选地存储在上述存储器装置中。
如上所述，图7所示的系统可以包括光敏成像设备4，光敏成像设备4用于应用对设置在像素阵列中的阵列内OB像素中的串扰进行补偿的方法。成像设备4，例如手机或平板电脑，包括至少一个图像传感器2，图像传感器2又包括至少一个这样的像素阵列。像素阵列包括多个彩色通道像素CP1-CPn和至少一个阵列内OB像素OB1-OBn，如图1a-1c所示。
成像设备4还包括处理装置3b，处理装置3b用于选择阵列内OB像素OB1，并且随后检测相邻彩色通道像素CP1的强度值IV1。如前所述，相邻彩色通道像素CP1是与OB像素OB1直接或间接相邻的彩色通道像素。优选地，间接邻居设置在与OB像素相距2-3个像素处。
检测到上述强度值IV1之后，处理装置3b根据强度值IV1和先前存储的阵列内OB像素OB1的串扰值CV1计算阵列内OB像素OB1的当前串扰值CCV1。计算当前串扰值CCV1的步骤可以包括将存储的串扰值CV1与强度值IV1相乘。
成像设备4由最终用户使用，因此，除了可以在云存储器5a中完成的存储之外，所有串扰补偿步骤都在成像设备4中执行。因此，处理装置3b内置于所述设备中。
在一个实施例中，处理装置3b用于检测至少一个其他相邻彩色通道像素CP2-CPn的至少一个其他强度值IV2-IVn。所述其他强度值IVOB2-IVOBn可以与初始强度值IV1属于同一彩色通道，例如红/红，也可以属于不同彩色通道，例如红/绿。例如，当两个强度值属于同一彩色通道时，针对同一相邻彩色通道像素CP1或两个不同的相邻彩色通道像素CP1、CP2，检测步骤可能执行了两次。当强度值针对不同彩色通道时，针对相邻两个不同彩色通道像素CP1、CP2执行所述检测步骤。
检测到上述强度值IV2-IVn之后，根据这些其他强度值IV2-IVn和先前存储的串扰值CV1，处理装置针对阵列内OB像素OB1计算至少一个其他当前串扰值CCV2-CCVn。计算当前串扰CCV2-CCVn的步骤可以包括将存储的串扰值CV1与强度值IV2-IVn相乘。在一个实施例中，针对阵列内OB像素OB1计算两个当前串扰值CCV1、CCV2，即通过将CV1与IV1相乘得到CCV1，将CV2与IV2相乘得到CCV2。
在一个实施例中，处理装置3b用于在计算当前串扰值CCV1之前对强度值IV1-IVn进行滤波。如前所述，所述滤波可以通过许多不同方法来执行。在一个实施例中，如图6a-6b所示，所述滤波步骤包括针对检测到的属于同一彩色通道的至少两个相邻彩色通道像素的强度值IV1-IVn求平均，并将平均强度值IVA指定为所述至少两个相邻彩色通道像素的强度值。
在一个实施例中，处理装置3b用于根据当前串扰值CCV1-CCVn中的至少两个计算阵列内OB像素OB1的总当前串扰值TCCV1。处理装置3b还可以用于在计算总当前串扰值TCCV1之前对至少两个当前串扰值CCV1-CCVn进行滤波。如前所述，所述滤波可以通过许多不同方法来执行。在一个实施例中，如图6a-6b所示，所述滤波步骤包括针对当前串扰值CCV1-CCVn求平均，并将平均当前串扰值CCVA指定为阵列内OB像素OB1的当前串扰值。
计算OB像素OB1的总当前串扰值TCCV1的步骤可以包括将每个相邻彩色通道计算得到的当前串扰值CCV1-CCVn相加以得到一个总和。
在一个实施例中，处理装置3b用于检测OB像素OB1的强度值IVOB1。检测到强度值IVOB1之后，处理装置3b将阵列内OB像素OB1的当前串扰值CCV1-CCVn或总当前串扰值TCCV1与预定限制值X相比较。限制值X例如可以是2％，但是，需要针对任何给定的图像传感器类型单独确定合适的值。
如果当前串扰值CCV1-CCVn或总当前串扰值TCCV1大于X，则处理装置选择新的不同阵列内OB像素OB2-OBn并重复上述步骤。如果当前串扰值CCV1-CCVn或总当前串扰值TCCV1小于等于X，则处理装置计算阵列内OB像素OB1的校正后强度值CIV1，并将校正后强度值CIV1指定给阵列内OB像素OB1。
在一个实施例中，处理装置3b用于通过从强度值IV1-IVn或上述检测到的OB像素OB1的滤波后强度值中减去当前串扰值CCV1或总当前串扰值TCCV1来计算校正后强度值CIV1。
此外，处理装置3b可以用于针对至少一个其他阵列内OB像素OB2-OBn重复上述步骤，对至少两个阵列内OB像素OB1-OBn的强度值IV1-IVn进行滤波，并将滤波后强度值指定为至少两个阵列内OB像素OB1-OBn的强度值IV。在一个实施例中，如图6a-6b所示，所述滤波步骤包括针对多个强度值IV1-IVn求平均。
此外，处理装置3b可以用于针对属于不同彩色通道的至少一个其他相邻彩色通道像素CP2-CPn重复上述步骤。
在一个实施例中，像素阵列包括至少一个帧OB像素FOB1-FOBn，设置在所述像素阵列的外边缘。处理装置3b随后可以用于：针对与此类帧OB像素FOB1-FOBn相邻的至少一个阵列内OB像素OB1-OBn，检测与阵列内OB像素OB1-OBn相邻的至少一个帧OB像素FOB1-FOBn的彩色通道的强度值FIV1-FIVn。如果仅检测到一个帧OB像素FOB1的帧OB像素强度值FIV1，则将帧OB像素FOB1的强度值FIV1指定为帧OB像素FOB1的强度值FIV。如果检测到至少两个帧OB像素FOB1-FOBn的帧OB像素强度值FIV1-FIVn，则针对帧OB像素强度值FIV1-FIVn求平均，并将平均强度值指定为帧OB像素FOB1-FOBn的帧OB像素强度值FIV。
处理装置3b随后将阵列中OB像素OB1的校正后强度值CIV1与帧OB像素FOB1-FOBn的强度值FIV相比较。如果校正后强度值CIV1等于帧OB像素强度值FIV，则将校正后强度值CIV1指定为阵列内OB像素OB1的强度值IV1。如果校正后强度值CIV1与帧OB像素强度值FIV不同，则将校正后强度值CIV1与帧OB像素强度值FIV进行匹配，并将匹配的强度值指定为校正后强度值CIV1。
在一个实施例中，处理装置3b用于通过以下步骤将校正后强度值CIV1与帧OB像素强度值FIV进行匹配：通过将帧OB像素强度值FIV与校正后强度值CIV1相除来计算像素分数值F；将帧OB像素强度值FIV指定为阵列内OB像素OB1的强度值；将分数值F与每个阵列内OB像素OB2-OBn的强度值IV1-IVn相乘，其中每个阵列内OB像素OB2-OBn与帧OB像素FOB1以及阵列内OB像素OB1对齐，并将强度值乘积指定为每个阵列内OB像素OB2-OBn的强度值。
图2a-2b示出了包括11×11个OB像素的像素阵列的截面。顶上第一行包括帧OB像素FOB1-FOB11，并示出了它们的强度值FIV1-FIV11。其余行2-11包括阵列内像素OB1-OB11。图2a示出了它们的校正后强度值，而图2b示出了列1-7中的校正后强度值以及列8-11中的匹配的强度值。
此外，在另一个实施例中，图2a-2b示出了包括帧OB像素的强度值以及阵列内OB像素的校正后和滤波后强度值的截面。顶上第一行包括帧OB像素FOB1-FOB11，并示出它们的过滤后强度值FIV1-FIV11。其余行2-11包括阵列内像素OB1-OB110的校正后和滤波后强度值。图2a示出了它们的校正后和滤波后强度值，而图2b示出了列1-7中的校正后强度值以及列8-11中的匹配的强度值。
上述确定像素串扰值的方法使得可以针对每个以及所有单独的像素确定像素串扰量，从而可以正确确定串扰对图像像素阵列的黑光等级的影响。此外，上述的串扰补偿使得可以针对串扰对黑光等级的影响进行补偿，从而比现有技术更准确地估计黑光等级，进而得到质量更好的图像。
本文结合各种实施例对各方面和各实现方式进行了描述。但本领域技术人员通过实践本主题，研究附图、本发明以及所附的权利要求，能够理解并获得公开实施例的其他变体。在权利要求书中，词语“包括”不排除其他元素或步骤，不定冠词“a”或者“an”不排除多个。在仅凭某些措施被记载在相互不同的从属权利要求书中这个单纯的事实并不意味着这些措施的结合不能被有效地使用。
权利要求中使用的参考标识不应解释为对范围的限制。

Claims (25)

1.一种光敏成像系统(1)，其特征在于，用于确定设置在像素阵列中的黑光(opticallyblack，OB)像素的串扰值，所述系统包括：
至少一个图像传感器(2)，其中所述图像传感器(2)包括至少一个像素阵列，所述像素阵列包括多个彩色通道像素(CP1、……、CPn)和至少一个OB像素(OB1、……、OBn)；
处理装置(3a、3b)，用于：
检测OB像素(OB1)的彩色通道的第一强度值(IVOB1)；
检测相邻彩色通道像素(CP1)的第二强度值(IV1)；
根据所述第一强度值(IVOB1)和所述第二强度值(IV1)计算所述OB像素(OB1)的串扰值(CV1)。
2.根据权利要求1所述的光敏成像系统(1)，其特征在于，所述处理装置(3a、3b)还用于：
检测OB像素(OB1)的彩色通道的至少一个其他第一强度值(IVOB2、……、IVOBn)；
检测至少一个其他相邻彩色通道像素(CP2、……、CPn)的至少一个其他第二强度值(IV2、……、IVn)；
根据所述其他第一强度值(IVOB2、……、IVOBn)和所述其他第二强度值(IV2、……、IVn)计算所述OB像素(OB1)的至少一个其他串扰值(CV2、……、CVn)。
3.根据权利要求2所述的光敏成像系统(1)，其特征在于，所述处理装置(3a、3b)还用于在计算串扰值(CV1、……、CVn)之前，对相邻彩色通道像素(CP1、……、CPn)的第二强度值(IV1、……、IVn)进行滤波。
4.根据权利要求2或3所述的光敏成像系统(1)，其特征在于，所述处理装置(3a、3b)还用于根据串扰值(CV1、……、CVn)中的至少两个计算所述OB像素(OB1)的总串扰值(TCV1)。
5.根据权利要求4所述的光敏成像系统(1)，其特征在于，所述处理装置(3a、3b)还用于在计算所述总串扰值(TCV1)之前，对串扰值(CV1、……、CVn)中的至少两个进行滤波。
6.根据权利要求1至3中任一项所述的光敏成像系统(1)，其特征在于，所述处理装置(3a、3b)还用于针对至少一个其他OB像素(OB2、……、OBn)重复权利要求1至3中任一项所述的步骤，以得到每个其他OB像素(OB2、……、OBn)的串扰值(CV1、……、CVn)。
7.根据权利要求4或5所述的光敏成像系统(1)，其特征在于，所述处理装置(3a、3b)还用于针对至少一个其他OB像素(OB2、……、OBn)重复权利要求4或5所述的步骤，以得到每个其他OB像素(OB2、……、OBn)的总串扰值(TCV1、……、TCVn)。
8.根据权利要求6所述的光敏成像系统(1)，其特征在于，所述处理装置(3a、3b)还用于对OB像素(OB1、……、OBn)计算得到的串扰值(CV1、……、CVn)进行滤波。
9.根据权利要求7所述的光敏成像系统(1)，其特征在于，所述处理装置(3a、3b)还用于对OB像素(OB1、……、OBn)计算得到的总串扰值(TCV1、……、TCVn)进行滤波。
10.根据权利要求8或9所述的光敏成像系统(1)，其特征在于，串扰值(CV1、……、CVn)、总串扰值(TCV1、……、TCVn)、滤波后串扰值和/或滤波后总串扰值存储在所述光敏成像系统(1)中。
11.一种光敏成像设备(4)，用于对设置在像素阵列中的阵列内OB像素中的串扰进行补偿，其特征在于，所述设备包括：
至少一个图像传感器(2)，其中所述图像传感器(2)包括至少一个像素阵列，所述像素阵列包括多个彩色通道像素(CP1、……、CPn)和至少一个阵列内OB像素(OB1、……、OBn)；
处理装置(3b)，用于：
选择阵列内OB像素(OB1)；
检测相邻彩色通道像素(CP1)的第二强度值(IV1)；
根据所述相邻彩色通道像素(CP1)的第二强度值(IV1)和存储的串扰值(CV1)计算所述阵列内OB像素(OB1)的当前串扰值(CCV1)。
12.根据权利要求11所述的光敏成像设备(4)，其特征在于，所述处理装置(3b)还用于：
检测至少一个其他相邻彩色通道像素(CP2、……、CPn)的至少一个其他第二强度值(IV2、……、IVn)；
根据所述其他第二强度值(IV2、……、IVn)和存储的串扰值(CV1)计算所述阵列内OB像素(OB1)的至少一个其他当前串扰值(CCV2、……、CCVn)。
13.根据权利要求12所述的光敏成像设备，其特征在于，所述处理装置(3b)还用于在计算当前串扰值(CCV1)之前对第二强度值(IV1、……、IVn)进行滤波。
14.根据权利要求12或13所述的光敏成像设备(4)，其特征在于，所述处理装置(3b)还用于根据当前串扰值(CCV1、……、CCVn)中的至少两个计算所述阵列内OB像素(OB1)的总当前串扰值(TCCV1)。
15.根据权利要求14所述的光敏成像设备(4)，其特征在于，所述处理装置(3b)还用于在计算所述总当前串扰值(TCCV1)之前，对当前串扰值(CCV1、……、CCVn)中的至少两个进行滤波。
16.根据权利要求11至13中任一项所述的光敏成像设备(4)，其特征在于，所述处理装置(3b)还用于：
检测所述OB像素(OB1)的第一强度值(IVOB1)；
将所述阵列内OB像素(OB1)的当前串扰值(CCV1、……、CCVn)与预定限制值X相比较，其中，
如果所述当前串扰值(CCV1)大于X，则选择不同的阵列内OB像素(OB2、……、OBn)并重复权利要求11至13中任一项所述的步骤；
如果所述当前串扰值(CCV1)小于等于X，则计算所述阵列内OB像素(OB1)的校正后强度值(CIV1)；并且
将所述校正后强度值(CIV1)指定给所述阵列内OB像素(OB1)。
17.根据权利要求14或15所述的光敏成像设备(4)，其特征在于，所述处理装置(3b)还用于：
检测所述OB像素(OB1)的第一强度值(IVOB1)；
将所述阵列内OB像素(OB1)的总当前串扰值(TCCV1)与预定限制值X相比较，其中，
如果所述总当前串扰值(TCCV1)大于X，则选择不同的阵列内OB像素(OB2、……、OBn)并重复权利要求14或15所述的步骤；
如果所述总当前串扰值(TCCV1)小于等于X，则计算所述阵列内OB像素(OB1)的校正后强度值(CIV1)；并且
将所述校正后强度值(CIV1)指定给所述阵列内OB像素(OB1)。
18.根据权利要求16所述的光敏成像设备(4)，其特征在于，所述处理装置(3b)用于通过从第二强度值(IV1、……、IVn)或滤波后第二强度值中减去当前串扰值(CCV1)来计算所述校正后强度值(CIV1)。
19.根据权利要求17所述的光敏成像设备(4)，其特征在于，所述处理装置(3b)用于通过从第二强度值(IV1、……、IVn)或滤波后第二强度值中减去总当前串扰值(TCCV1)来计算所述校正后强度值(CIV1)。
20.根据权利要求11至13、15、18、19中任一项所述的光敏成像设备(4)，其特征在于，所述处理装置(3b)还用于：
针对至少一个其他阵列内OB像素(OB2、……、OBn)重复权利要求11至13、15、18、19中任一项所述的步骤；
对至少两个阵列内OB像素(OB1、……、OBn)的第二强度值(IV1、……、IVn)进行滤波；
将滤波后第二强度值指定为所述至少两个阵列内OB像素(OB1、……、OBn)的第二强度值(IV)。
21.根据权利要求11至13、15、18、19中任一项所述的光敏成像设备(4)，其特征在于，所述像素阵列还包括至少一个帧OB像素(FOB1、……、FOBn)，所述至少一个帧OB像素设置在所述像素阵列的外边缘。
22.根据权利要求21所述的光敏成像设备(4)，其特征在于，所述处理装置(3b)用于：针对与帧OB像素(FOB1、……、FOBn)相邻的至少一个阵列内OB像素(OB1、……、OBn)，
检测与所述阵列内OB像素(OB1、……、OBn)相邻的至少一个帧OB像素(FOB1、……、FOBn)的彩色通道的帧OB像素强度值(FIV1、……、FIVn)，其中
如果仅检测到一个帧OB像素(FOB1)的帧OB像素强度值(FIV1)，则将所述帧OB像素(FOB1)的帧OB像素强度值(FIV1)指定为所述帧OB像素(FOB1)的帧OB像素强度值(FIV)；
如果检测到至少两个帧OB像素(FOB1、……、FOBn)的帧OB像素强度值(FIV1、……、FIVn)，则针对所述至少两个帧OB像素强度值(FIV1、……、FIVn)求平均，并将平均帧OB像素强度值指定为所述至少两个帧OB像素(FOB1、……、FOBn)的帧OB像素强度值(FIV)；
将所述阵列内OB像素(OB1)的校正后强度值(CIV1)与所述帧OB像素(FOB1、……、FOBn)的彩色通道的帧OB像素强度值(FIV)相比较，其中，
如果所述校正后强度值(CIV1)等于所述帧OB像素强度值(FIV)，则将所述校正后强度值(CIV1)指定为所述阵列内OB像素(OB1)的第二强度值(IV1)；
如果所述校正后的强度值(CIV1)与所述帧OB像素强度值(FIV)不同，则将所述校正后强度值(CIV1)与所述帧OB像素强度值(FIV)进行匹配，并将匹配的强度值指定为所述校正后的强度值(CIV1)。
23.根据权利要求22所述的光敏成像设备(4)，其特征在于，所述处理装置(3b)用于通过以下方式将所述校正后强度值(CIV1)与所述帧OB像素强度值(FIV)进行匹配：
通过将所述帧OB像素强度值(FIV)与所述校正后强度值(CIV1)相除来计算像素分数值(F)；
将所述帧OB像素强度值(FIV)指定为所述阵列内OB像素(OB1)的第二强度值；
将所述分数值(F)与每个阵列内其他OB像素(OB2、……、OBn)的第二强度值(IV1、……、IVn)相乘，其中每个阵列内其他OB像素(OB2、……、OBn)与所述帧OB像素(FOB1)以及所述阵列内OB像素(OB1)对齐；
将强度值乘积指定为每个阵列内其他OB像素(OB2、……、OBn)的第二强度值。
24.一种确定设置在像素阵列中的OB像素的串扰值的方法，其特征在于，所述像素阵列包括多个彩色通道像素(CP1、……、CPn)和至少一个OB像素(OB1、……、OBn)，所述方法包括以下步骤：
检测OB像素(OB1)的彩色通道的第一强度值(IVOB1)；
检测相邻彩色通道像素(CP1)的第二强度值(IV1)；
根据所述第一强度值(IVOB1)和所述第二强度值(IV1)计算所述OB像素(OB1)的串扰值(CV1)。
25.一种对设置在像素阵列中的阵列内OB像素中的串扰进行补偿的方法，其特征在于，所述像素阵列包括多个彩色通道像素(CP1、……、CPn)和至少一个OB像素(OB1、……、OBn)，所述方法包括以下步骤：
选择阵列内OB像素(OB1)；
检测相邻彩色通道像素(CP1)的强度值(IV1)；
根据所述强度值(IV1)和存储的串扰值(CV1)计算所述阵列内OB像素(OB1)的当前串扰值(CCV1)。
CN201780097096.XA 2017-11-24 2017-11-24 光敏成像系统和设备 Active CN111406402B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2017/080409 WO2019101337A1 (en) 2017-11-24 2017-11-24 Light sensitive imaging system and device with crosstalk compensation for in-array optical black pixels

Publications (2)

Publication Number Publication Date
CN111406402A CN111406402A (zh) 2020-07-10
CN111406402B true CN111406402B (zh) 2021-11-30

Family

ID=60452660

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780097096.XA Active CN111406402B (zh) 2017-11-24 2017-11-24 光敏成像系统和设备

Country Status (4)

Country Link
JP (1) JP7052040B2 (zh)
KR (1) KR102341016B1 (zh)
CN (1) CN111406402B (zh)
WO (1) WO2019101337A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110519537A (zh) * 2019-07-30 2019-11-29 北京安酷智芯科技有限公司 一种图像传感器阵列及其温漂补偿方法
US11343435B2 (en) 2019-12-26 2022-05-24 Waymo Llc Microlensing for real-time sensing of stray light
CN112073712B (zh) * 2020-08-26 2023-03-21 中国科学院国家天文台 图像传感器的串扰测试方法、装置、电子设备与存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101257560A (zh) * 2007-03-01 2008-09-03 佳能株式会社 摄像装置及摄像系统

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6822679B1 (en) * 2000-10-31 2004-11-23 Texas Instruments Incorporated Offset correction to the output of a charge coupled device
JP2005101829A (ja) * 2003-09-24 2005-04-14 Sanyo Electric Co Ltd 信号処理装置
CN101057493B (zh) 2004-11-02 2011-05-25 松下电器产业株式会社 图像传感器
JP4926467B2 (ja) * 2005-12-06 2012-05-09 キヤノン株式会社 撮像装置及び撮像装置の制御方法
JP2007318239A (ja) 2006-05-23 2007-12-06 Auto Network Gijutsu Kenkyusho:Kk 撮像装置及び車両周辺視認装置
JP4462299B2 (ja) * 2007-07-17 2010-05-12 ソニー株式会社 撮像装置、および画像処理方法、並びにコンピュータ・プログラム
JP5152114B2 (ja) * 2009-06-30 2013-02-27 ソニー株式会社 画像処理装置及び画像処理方法、撮像装置、並びにコンピューター・プログラム
US8872953B2 (en) * 2009-10-30 2014-10-28 Sony Corporation Solid-state imaging device, manufacturing method thereof, camera, and electronic device
JP5817301B2 (ja) * 2011-08-02 2015-11-18 ソニー株式会社 撮像素子、並びに、撮像装置および方法
KR20140010553A (ko) 2012-07-13 2014-01-27 삼성전자주식회사 픽셀 어레이, 이를 포함하는 이미지 센서, 및 상기 이미지 센서의 로컬 다크 전류 보상 방법
JP6053447B2 (ja) * 2012-10-23 2016-12-27 オリンパス株式会社 撮像装置
US9450005B2 (en) * 2013-03-29 2016-09-20 Sony Corporation Image pickup device and image pickup apparatus
US9224782B2 (en) * 2013-04-19 2015-12-29 Semiconductor Components Industries, Llc Imaging systems with reference pixels for image flare mitigation
JP2015228641A (ja) * 2014-05-07 2015-12-17 株式会社リコー 撮像装置、露光調整方法およびプログラム
JP6463190B2 (ja) * 2015-03-27 2019-01-30 キヤノン株式会社 撮像装置及びその制御方法並びにプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101257560A (zh) * 2007-03-01 2008-09-03 佳能株式会社 摄像装置及摄像系统

Also Published As

Publication number Publication date
KR102341016B1 (ko) 2021-12-17
JP2021505016A (ja) 2021-02-15
JP7052040B2 (ja) 2022-04-11
CN111406402A (zh) 2020-07-10
WO2019101337A1 (en) 2019-05-31
KR20200069356A (ko) 2020-06-16

Similar Documents

Publication Publication Date Title
CN110930352B (zh) 物体色差缺陷检测方法、装置、计算机设备及存储介质
CN111406402B (zh) 光敏成像系统和设备
EP2278788B1 (en) Method and apparatus for correcting lens shading
EP2779147B1 (en) Re-interpolation with edge detection for extracting an aging pattern for AMOLED displays
KR101663871B1 (ko) 이미지의 컬러 결점을 보정하기 위한 방법 및 연관된 장치
CN106097379B (zh) 一种使用自适应阈值的图像篡改检测与定位方法
US20030179418A1 (en) Producing a defective pixel map from defective cluster pixels in an area array image sensor
US20140133774A1 (en) Image processor and image dead pixel detection method thereof
US8711268B2 (en) Methods and apparatuses for anti-shading correction with extended color correlated temperature dependency
CN104067611A (zh) 图像处理设备、图像处理方法及程序
JP2004112802A (ja) 欠陥ピクセルの検出可能なディジタル・イメージ・センサおよび方法
US20130229550A1 (en) Defective pixel correction apparatus, method for controlling the apparatus, and program for causing computer to perform the method
US7916790B2 (en) Pixel compensation method for an image sensor
CN104823437A (zh) 一种图片处理方法、装置
US8823841B2 (en) Method and apparatus for correcting for vignetting in an imaging system
US20150139554A1 (en) Consecutive thin edge detection system and method for enhancing a color filter array image
Tanbakuchi et al. Adaptive pixel defect correction
TWI492621B (zh) 適應性影像處理方法及其相關裝置
KR20200106854A (ko) 픽셀 교정
US20040258297A1 (en) 3D color information acquisition method and 3D color information acquisition device
US8054348B2 (en) Noise reduction device and digital camera
TWI552603B (zh) 影像校正系統以及方法
CN115700724A (zh) 图像处理方法和系统
US11317069B2 (en) Image processing method based on sensor characteristics
US8400534B2 (en) Noise reduction methods and systems for imaging devices

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant