CN111050097A - 红外线串扰补偿方法及其装置 - Google Patents

红外线串扰补偿方法及其装置 Download PDF

Info

Publication number
CN111050097A
CN111050097A CN201811197232.5A CN201811197232A CN111050097A CN 111050097 A CN111050097 A CN 111050097A CN 201811197232 A CN201811197232 A CN 201811197232A CN 111050097 A CN111050097 A CN 111050097A
Authority
CN
China
Prior art keywords
compensation
value
pixel
axis
obtaining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811197232.5A
Other languages
English (en)
Other versions
CN111050097B (zh
Inventor
邱仲毅
黄文聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Realtek Semiconductor Corp
Original Assignee
Realtek Semiconductor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Realtek Semiconductor Corp filed Critical Realtek Semiconductor Corp
Priority to CN201811197232.5A priority Critical patent/CN111050097B/zh
Publication of CN111050097A publication Critical patent/CN111050097A/zh
Application granted granted Critical
Publication of CN111050097B publication Critical patent/CN111050097B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/62—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

一种红外线串扰补偿方法包括对一景象撷取一原始影像，原始影像包括多个原始像素，该些原始像素依据一第一轴向及一第二轴向呈二维阵列排列，各该原始像素具有一红色子像素值、一绿色子像素值、一蓝色子像素值及一红外线子像素值；前述方法另包括依据该原始影像、一补偿轴向、对应该补偿轴向的多个补偿系数、及一补偿方程式，获得各该红色、绿色、蓝色、红外线子像素值的一补偿后值；及依据该些红色、绿色、蓝色、红外线子像素的补偿后值获得一补偿后影像。

Description

红外线串扰补偿方法及其装置
技术领域
本案是关于红外线串扰领域，特别是一种影像感测的红外线串扰补偿方法及其装置。
背景技术
影像感测器(Image Sensor)为将光讯号转换成电讯号的装置，影像感测器又称为感光元件，影像感测器早期仅使用在照相设备，但现今已是行动装置的标准配备。影像感测器由感光耦合元件(CCD，Charge Coupled Device)或互补性金属氧化半导体(CMOS，Complementary Metal-Oxide Semiconductor)所构成。如再细部探究影像感测器的构造功能，其具有彩色滤光片及感光像素，其中彩色滤光片用以区分接收红色光、绿色光、蓝色光的区域，在接收红色光的区域彩色滤光片仅让红色光通过，在接收绿色光的区域彩色滤光片仅让绿色光通过，在接收蓝色光的区域彩色滤光片仅让蓝色光通过，而感光像素用以感测前述通过彩色滤光片的红、绿、蓝色光。由于现今影像感测器仍着重于接收可见光，因此影像感测器的构造上还有一层红外线滤镜(IR Cut Filter)，红外线滤镜用以过滤红外线，避免感光像素所感测的可见光被红外线串扰的影响而失真。
但是近年行动装置的照相功能日趋多元化，使用者对于夜间拍摄及红外线影像摄影的需求也逐渐被重视。因此影像感测器必须移除红外线滤镜，以具备接收红外线的功能并满足前述的需求。但影像感测器在移除红外线滤镜之后，其所感测的红、绿、蓝色光势必将混杂红外线串扰，而造成色彩偏移(Color Washout)的现象。而目前影像感测器的制造技术仍无法解决前述红外线串扰的问题。
发明内容
鉴于上述，本案提出一种红外线串扰补偿方法及其装置。
依据一些实施例，一种红外线串扰补偿装置包括一影像撷取电路及一控制电路。其中，影像撷取电路用以对一景象撷取一原始影像，该原始影像包括多个原始像素，该些原始像素依据一第一轴向及一第二轴向呈二维阵列排列，各该原始像素具有一R子像素值、一G子像素值、一B子像素值及一IR子像素值。控制电路依据该原始影像、一补偿轴向、对应该补偿轴向的多个补偿系数、及一补偿方程式，获得各该R、G、B、IR子像素的一补偿后值，并依据该些R、G、B、IR子像素的该补偿后值，输出一补偿后影像。
前述补偿方程式为：
RO＝Ri-Kf(v)*IRi
Go＝Gi-Kf(v)*IRi
Bo＝Bi-Kf(v)*IRi
IRo＝IRi
其中，v为各该原始像素在该补偿轴向的坐标值，Ri、Gi、Bi、IRi为在该补偿轴向的坐标值为i的该原始像素的R、G、B、IR子像素值，Ro、Go、Bo、IRo为在该补偿轴向的坐标值为v的该原始像素的R、G、B、IR子像素的该补偿后值，Kf(v)为该原始像素在该补偿轴向的坐标值为v时的一补偿系数。
依据一些实施例，一种红外线串扰补偿装置更包括一影像显示设备，用以显示前述的补偿后影像。
依据一些实施例，一种红外线串扰补偿装置更包括一储存装置，用以储存前述的补偿后影像。
依据一些实施例，前述控制电路依据一补偿系数获得程序，获得该些补偿系数，其中该补偿系数获得程序包括：对一黑色参考物体，撷取一参考影像，该参考影像包括多个参考像素，该些参考像素依据该第一轴向及该第二轴向呈二维阵列排列，各该参考像素具有一R参考值、一G参考值、一B参考值及一IR参考值；依据一方向判断程序，获得该补偿轴向、多个分区、及多个区补偿值，各该区补偿值对应各该分区；及依据一补偿系数方程式及该些区补偿值，获得对应该补偿轴向的该些补偿系数。
前述补偿系数方程式为：
Figure BDA0001829096400000031
其中，v为各该参考像素在该补偿轴向的坐标值，K1、K2、...Kn为各该区补偿值，v1、v2、...vn为各该分区在该补偿轴向的坐标值，Kf(v)为该原始像素在该补偿轴向的坐标值为v时的该补偿系数。
依据一些实施例，该方向判断程序包括：依据一区决定程序，获得一初始区块及一终区块，该区决定程序包括：依据一校正方程式及各该参考像素，级距式调整一运算变数，获得对应各该级距的一暗区块；依据该初始区块及该终区块，获得该补偿轴向；及依据该补偿轴向，获得该些分区及该些区补偿值。
前述校正方程式为：
Ro＝Ri-c*IRi
Go＝Gi-c*IRi
Bo＝Bi-c*IRi
其中，c为该运算变数，Ri为该R参考值，Gi为该G参考值，Bi为该B参考值，IRi为该IR参考值，Ro为一R补偿后参考值，Go为一G补偿后参考值，Bo为一B补偿后参考值。
依据一些实施例，一种红外线串扰补偿方法包括：对一景象撷取一原始影像，该原始影像包括多个原始像素，该些原始像素依据一第一轴向及一第二轴向呈二维阵列排列，各该原始像素具有一R子像素值、一G子像素值、一B子像素值及一IR子像素值；依据该原始影像、一补偿轴向、对应该补偿轴向的多个补偿系数、及一补偿方程式，获得各该R、G、B、IR子像素值的一补偿后值；及依据该些R、G、B、IR子像素的该补偿后值，获得一补偿后影像。
依据一些实施例，一种红外线串扰补偿方法，更包括一获得红外线串扰补偿系数方法。
依据一些实施例，一种获得红外线串扰补偿系数方法包括：对一黑色参考物体，撷取一参考影像，该参考影像包括多个参考像素，该些参考像素依据该第一轴向及该第二轴向呈二维阵列排列，各该参考像素具有一R参考值、一G参考值、一B参考值及一IR参考值；依据一方向判断程序，获得该补偿轴向、多个分区、及多个区补偿值，各该区补偿值对应各该分区；及依据一补偿系数方程式及该些区补偿值，获得对应该补偿轴向的该些补偿系数。
综上所述，根据本案的红外线串扰补偿方法及其装置，适于补偿具有红外线串扰的原始影像，并依据对应补偿轴向的补偿系数及IR子像素值补偿原始像素，以有效降低原始影像中的红外线串扰。在一些实施例中，依据分区及区补偿值调整对应补偿轴向的补偿系数，更进一步达到补偿红外线串扰的目的。
附图说明
图1绘示依据本案一些实施例的红外线串扰补偿装置的示意图。
图2A至图2E绘示依据本案一些实施例的感测电路的示意图。
图3绘示依据本案一些实施例的红外线串扰补偿方法的流程图。
图4绘示依据本案一些实施例的获得红外线串扰补偿系数方法的流程图。
图5绘示依据本案一些实施例的参考影像及分区的示意图。
图6绘示依据本案一些实施例的方向判断程序的流程图。
图7绘示依据本案一些实施例的区决定程序的流程图。
图8A绘示依据本案一些实施例的亮度方向的示意图。
图8B绘示依据本案一些实施例的判断补偿轴向的示意图。
10 红外线串扰补偿装置 12 影像撷取电路
14 控制电路 16 影像显示装置
18 储存装置 20 感测电路
22 红色光感测器/R感测器 24 绿色光感测器/G感测器
26 蓝色光感测器/B感测器 28 红外线感测器/IR感测器
30 参考影像 32 参考像素
34 分区 36 交界
42 初始区块 43 初始几何中心
44 终区块 45 终几何中心
D1 第一轴向 D2 第二轴向
D3 补偿轴向 D4 亮度方向
D11 第一轴向的正方向 D13 第一轴向的负方向
D21 第二轴向的正方向 D23 第二轴向的负方向
θ1-θ4 内夹角
S100-S140、S220-S280、S252-S256 步骤
具体实施方式
本案是关于红外线串扰补偿。尽管在说明书中描述了数个被认为是实施本案的较佳模式，但应理解本案仍可以诸多方式来实现，且不应限定于下述的特定实施例或实现下述特征的特定方式。在其他情况下，公知细节将不再赘述或讨论以避免模糊本案重点。
图1绘示依据本案一些实施例的红外线串扰补偿装置的示意图。在一些实施例，红外线串扰补偿装置10配置于一终端设备中，该终端设备例如但不限于手机、平板电脑、笔记型电脑、桌上型电脑、摄影设备或智慧型穿戴设备。
请参阅图1，在一些实施例，红外线串扰补偿装置10包括一影像撷取电路12及一控制电路14。影像撷取电路12用以对一景象撷取一原始影像。该控制电路14依据一补偿轴向D3、对应该补偿轴向D3的多个补偿系数、及一补偿方程式，输出一补偿后影像。
请参阅图1，依据一些实施例，红外线串扰补偿装置10更包括一影像显示装置16，用以显示该补偿后影像。该影像显示装置16例如但不限于液晶显示器、发光二极管显示器、有机发光二极管显示器。
请续参阅图1，依据一些实施例，红外线串扰补偿装置10更包括一储存装置18，用以储存该补偿后影像。该储存装置18例如但不限于挥发性记忆体、唯读记忆体、快闪记忆体、磁碟。
在一些实施例中，原始影像包括多个原始像素，该些原始像素依据一第一轴向D1及一第二轴向D2呈二维阵列排列，各该原始像素具有一R子像素值(意即红色子像素值)、一G子像素值(意即绿色子像素值)、一B子像素值(意即蓝色子像素值)及一IR子像素值(意即红外线子像素值)。
承上，前述控制电路14获得各该R、G、B、IR子像素的一补偿后值，再依据该些R、G、B、IR子像素的该补偿后值输出前述补偿后影像。
前述补偿方程式为：
Ro＝Ri-Kf(v)*IRi
Go＝Gi-Kf(v)*IRi
Bo＝Bi-Kf(v)*IRi
IRo＝IRi
其中，v为各该原始像素在该补偿轴向D3的坐标值。Ri、Gi、Bi、IRi为在该补偿轴向D3的坐标值为v的该原始像素的R、G、B、IR子像素值。Ro、Go、Bo、IRo为在该补偿轴向D3的坐标值为v的该原始像素的R、G、B、IR子像素的该补偿后值。Kf(v)为在该补偿轴向D3的坐标值为v的该原始像素对应的一补偿系数。Kf(v)*IRi为原始像素在该补偿轴向D3的坐标值为v时的一补偿值。
具体而言，在一些实施例，该些R、G、B子像素值，除了包括本身色彩的亮度的灰阶值之外，尚具有一红外线串扰值，因此该些R、G、B子像素值受红外线串扰影响而失真，并无法代表本身色彩的亮度。各该R、G、B子像素值需减去对应的该补偿值(实务上，该补偿值近似该红外线串扰值)之后，所产生的各该R、G、B、IR子像素值的该补偿后值，才能有效代表本身色彩的亮度。而该些IR子像素值的该补偿后值等于原本的该些IR子像素值，因为该些IR子像素值代表本身红外线的亮度，不易受其他串扰值影响。其中，该补偿系数依据该原始像素在该补偿轴向D3的坐标值而调整，因此可进一步藉由红外线串扰的分布来调整对应位置的补偿值，以达到有效补偿红外线串扰。
图2A至图2E绘示依据本案一些实施例的感测电路的示意图。请参阅图2A，在一些实施例中，影像撷取电路12具有多个感测电路20，该些感测电路20依据该第一轴向D1及该第二轴向D2呈二维阵列排列。各该感测电路20具有一红色光感测器22(简称，R感测器22)、一绿色光感测器24(简称，G感测器24)、一蓝色光感测器26(简称，B感测器26)、及一红外线感测器28(简称，IR感测器28)，其中该R感测器22位于各该感测电路20的左上侧，用以感测红色光讯号并转换为对应的电讯号。该G感测器24位于各该感测电路20的右上侧，用以感测绿色光讯号并转换为对应的电讯号。该B感测器26位于各该感测电路20的左下侧，用以感测蓝色光讯号并转换为对应的电讯号。该IR感测器28位于各该感测电路20的右下侧，用以感测红外线光讯号并转换为对应的电讯号。前述R、G、B、IR感测器也是以该第一轴向D1及该第二轴向D2呈二维阵列排列于各该感测电路20中，并且二维阵列的行数及列数相等。
承上，在一些实施例中，该些R、G、B、IR感测器个别对应的区域皆为一个前述原始像素。当前述原始像素对应到该R感测器22，则前述的R子像素值为该R感测器22的电讯号读值，而前述的G子像素值为邻近的该些G感测器24的电讯号读值的平均值，前述的B子像素值为邻近的该些B感测器26的电讯号读值的平均值，前述的IR子像素值为邻近的该些IR感测器28的电讯号读值的平均值。当前述原始像素如对应到该G感测器24、该B感测器26、或该IR感测器28时，同理得到前述的R、G、B、IR子像素。
请参阅图2B至图2E，在一些实施例中，前述影像撷取电路12撷取的原始影像以拜尔样式(Bayer pattern)呈现，因此感测电路20以拜尔样式排列其中的R感测器22、G感测器24、B感测器26及IR感测器28。该些R、G、B、IR感测器的排列方式如图中所示，依据该第一轴向D1及该第二轴向D2呈二维阵列排列。原始像素缺少的R、G、B、IR子像素可经由习知的内差算法藉由该原始像素位在的感测电路20中的其他R、G、B、IR子像素内差运算得出。因此各个原始像素皆具有R、G、B、IR子像素。
图3绘示依据本案一些实施例的红外线串扰补偿方法的流程图。请参阅图3，在一些实施例中，一种红外线串扰补偿方法包括以下步骤：
步骤S100：对一景象撷取一原始影像，该原始影像包括多个原始像素，各该原始像素具有一R子像素值、一G子像素值、一B子像素值及一IR子像素值；
步骤S120：依据该原始影像、一补偿轴向、对应该补偿轴向的多个补偿系数、及一补偿方程式，获得各该R、G、B、IR子像素值的一补偿后值；及
步骤S140：依据该些R、G、B、IR子像素的该补偿后值，获得一补偿后影像。
图4绘示依据本案一些实施例的获得红外线串扰补偿系数方法的流程图。请参阅图4，在一些实施例中，一种红外线串扰补偿方法，更包括一获得红外线串扰补偿系数方法，以获得该些补偿系数，其中该获得红外线串扰补偿系数方法包括以下步骤：
步骤S220：对一黑色参考物体，撷取一参考影像，该参考影像包括多个参考像素，各该参考像素具有一R参考值、一G参考值、一B参考值及一IR参考值；
步骤S240：依据一方向判断程序，获得该补偿轴向、多个分区、及多个区补偿值，各该区补偿值对应各该分区；及
步骤S280：依据一补偿系数方程式及该些区补偿值，获得对应该补偿轴向的该些补偿系数。
请续参阅图4，在一些实施例，前述控制电路14依据一补偿系数获得程序，获得该些补偿系数，其中该补偿系数获得程序包括的步骤与该获得红外线串扰补偿系数方法的步骤相同。
依据一些实施例中，前述参考影像30只撷取自前述黑色参考物体的景象，不撷取到其他非黑色参考物体的景象。并且，前述黑色参考物体例如但不限于黑幕、黑纸、或具有黑色平坦表面的物体。其黑色用于避免反射背景可见光，使前述参考影像30视为只接收到红外线，而没有接收到可见光，因此可进一步用于判读红外线串扰。在一些实施例中，前述参考影像30可以是除了前述黑色参考物体外，还包括前述黑色参考物体的背景，若该背景比例占整个前述参考影像30的比例相对低时，亦能获得前述补偿系数。
图5绘示依据本案一些实施例的参考影像及分区的示意图。请参阅图5，在一些实施例中，前述参考影像30包括多个参考像素32，该些参考像素32依据该第一轴向D1及该第二轴向D2呈二维阵列排列，各该参考像素32具有一R参考值(意即红色参考值)、一G参考值(意即绿色参考值)、一B参考值(意即蓝色参考值)及一IR参考值(意即红外线参考值)。
承上，在一些实施例中，前述R、G、B、IR感测器对应于该些参考像素32的关系类似前述R、G、B、IR感测器对应于该些原始像素的关系，故同理可得到该些R、G、B、IR参考值，在此不赘述。
请续参阅图5，在一些实施例中，该第一轴向及该第二轴向位于习知的xy坐标系，其中该第一轴向D1为x轴，该第二轴向D2为y轴，该参考影像30具有a个行及b个列(a、b皆为一常数)。而该些分区34依据该第一轴向D1及该第二轴向D2呈二维阵列排列，彼此不重叠。当该补偿轴向D3为该第一轴向D1，该些分区34皆为b个列的二维阵列，而该些分区34的行的个数总和为a；反之，当该补偿轴向D3为该第二轴向D2，该些分区34皆为a个行的二维阵列，而该些分区34的列的个数总和为b。并且，该些分区34依据该补偿轴向D3的方向排列。若分为n+1个分区34(n为一整数)，则该些分区34依序分别为一第一、一第二、...一第n、一第n+1分区。该些分区34个别具有在该补偿轴向D3的一补偿坐标值，其值如下所述：该第一分区在该补偿轴向D3的补偿坐标值，为该第一分区跟该第二分区的交界36在该补偿轴向D3的坐标值v1；该第二分区在该补偿轴向D3的补偿坐标值，为该第二分区跟该第三分区的交界36在该补偿轴向D3的坐标值v2，同理推演该第三、...该第n分区在该补偿轴向D3的补偿坐标值分别为v3、...vn；及该第n+1分区在该补偿轴向D3没有补偿坐标值。其中，0≤v1≤v2≤…≤vn。
在一些实施例，该些分区34在该补偿轴向D3等量划分该参考影像30，即该些分区34在该补偿轴向D3的长度皆相等，并具有相同总数的该些参考像素32，具体而言，若分为n+1个分区34：当该补偿轴向D3为该第一轴向D1，该些分区34皆为a/(n+1)个行及b个列的二维阵列；反之，当该补偿轴向D3为该第二轴向D2，该些分区34皆为a个行及b/(n+1)个列的二维阵列。
在一些实施例，该些分区34在该补偿轴向D3非等量划分该参考影像30，即该些分区34在该补偿轴向D3的长度可不相等，通常取决于相邻的该些参考像素32的红外线串扰的差异：在红外线串扰的差异较大的区域会用较密集的分区34来处理，以避免红外线串扰补偿不完全；及在红外线串扰的差异较小的区域会用较粗略的分区34来处理，以避免不必要的多余运算。
前述补偿系数方程式为
Figure BDA0001829096400000101
其中，v为各该参考像素32在该补偿轴向D3的坐标值，K1、K2、...Kn为各该区补偿值，且皆为常数(依序分别为一第一、一第二、…一第n分区补偿值)。v1、v2、…vn为各该分区34在该补偿轴向D3的补偿坐标值。Kf(v)为该原始像素在该补偿轴向D3的坐标值为v时的该补偿系数。
承前述的补偿系数方程式，其中：当该参考像素32在该补偿轴向D3的坐标值小于该第一分区在该补偿轴向D3的补偿坐标值时，该补偿系数为该第一分区补偿值；当该参考像素32在该补偿轴向D3的坐标值介于该第一分区与该第二分区在该补偿轴向D3的补偿坐标值之间时，依据该参考像素32在该补偿轴向D3的坐标值、该第一分区与该第二分区在该补偿轴向D3的补偿坐标值，对该第一分区补偿值及该第二分区补偿值做内差得出该补偿系数，并以此类推当该参考像素32在该补偿轴向D3的坐标值介于该第二分区与该第n分区在该补偿轴向D3的补偿坐标值之间时的该补偿系数；及当参考像素32在该补偿轴向D3的坐标值大于该第n分区在该补偿轴向D3的补偿坐标值时，该补偿系数为该第n分区补偿值。
图6绘示依据本案一些实施例的方向判断程序的流程图。请参阅图6，在一些实施例中，一种方向判断程序包括以下步骤：
步骤S250：依据一区决定程序，获得一初始区块及一终区块；
步骤S260：依据该初始区块及该终区块，获得该补偿轴向；及
步骤S270：依据该补偿轴向，获得该些分区及该些区补偿值。
图7绘示依据本案一些实施例的区决定程序的流程图。请参阅图7，在一些实施例中，一种区决定程序包括以下步骤：
步骤S252：依据一校正方程式及各该参考像素，级距式调整一运算变数，获得对应各该级距的一暗区块；
步骤S254：以该运算变数最小时对应的该暗区块为该初始区块；及
步骤S256：以该运算变数最大时对应的该暗区块为该终区块。
请参阅图8A，依据一些实施例，其中该初始区块42及该终区块44皆为部分的该参考影像30。其中，该运算变数以级距式调整，该初始区块42为该运算变数最小时对应的该暗区块，而该终区块为该运算变数最大时对应的该暗区块。而该初始区块42具有一初始几何中心43，该终区块44具有一终几何中心45，该初始几何中心43指向该终几何中心45的方向为一亮度方向D4，该亮度方向D4为一向量。以该亮度方向D4判断该参考影像30受红外线串扰的影响分布。
请参阅图8B，在一些实施例中，该补偿轴向D3以该第一轴向D1与该亮度方向D4的内夹角的大小，及该第二轴向D2与该亮度方向D4的内夹角的大小而定，其中包括四种情况：第一情况，当该第一轴向的正方向D11与该亮度方向D4的内夹角θ1不大于45度时，以该第一轴向D1为该补偿轴向D3；第二情况，当该第一轴向的负方向D13与该亮度方向D4的内夹角θ2不大于45度时，以该第一轴向D1为该补偿轴向D3；第三情况，当该第二轴向的正方向D21与该亮度方向D4的内夹角θ3小于45度时，以该第二轴向D2为该补偿轴向D3；及第四情况，当该第二轴向的负方向D23与该亮度方向D4的内夹角θ4小于45度时，以该第二轴向D2为该补偿轴向D3。
在一些实施例，依据前述补偿轴向D3，进一步获得该些分区34及该些区补偿值，其中该些分区34依据前述补偿轴向D3的正方向排列。于第一情况及第三情况时，该些区补偿值的关系为K1≤K2≤…≤Kn。反之，于第二情况及第四情况时，该些区补偿值的关系为K1≥K2≥…≥Kn。
前述校正方程式为
Ro＝Ri-c*IRi
Go＝Gi-c*IRi
Bo＝Bi-c*IRi
其中，c为该运算变数。Ri为该R参考值，Gi为该G参考值，Bi为该B参考值，IRi为该IR参考值。Ro为一R补偿后参考值，Go为一G补偿后参考值，Bo为一B补偿后参考值。
具体而言，依据该校正方程式及该运算变数，该参考像素32得到对应的该R、G、B补偿后参考值，而该些暗区块为该R、G、B补偿后参考值皆为零的该参考像素32的集合(简称，该R、G、B补偿后参考值皆为零的该参考像素32为一暗像素)。因此当由小至大的级距式调整该运算变数，可分别获得由小至大的该暗区块，并以此判断该参考影像30受红外线串扰的影响分布。如果该参考像素32需要越大的该运算变数才会变成该暗像素，代表该参考像素32受红外线串扰的影响越严重；反之，如果该参考像素32仅需很小的该运算变数或该运算变数为0时，即变成该暗像素，代表该参考像素32受红外线串扰的影响较轻微。
在一些实施例中，当该运算变数最小时，该暗像素的个数(简称，该暗像素的个数为一暗像素总数)除以该参考影像30的该参考像素32的总数(简称，该参考影像30的该参考像素32的总数为一参考像素总数)的商值的百分比为10％；而下一级的运算变数，该暗像素总数与该参考像素总数的商值的百分比为20％，并以每一级增加10％类推；及当该运算变数最大时，该暗像素总数与该参考像素总数的商值的百分比为90％。
在一些实施例中，该些暗像素区补偿值依序为前述的级距式调整的该运算变数。具体而言，若分为n+1个分区34：当该运算变数为该第一分区补偿值时，依据前述校正方程式获得对应的一个暗区块，该暗区块的该暗像素总数除以该参考像素总数的商值为1/(n+1)；及当运算变数为该第二、…、或第n分区补偿值时，依据前述校正方程式获得对应的多个暗区块，各该暗区块的该暗像素总数除以该参考像素总数的商值分别为2/(n+1)、…n/(n+1)。
在一些实施例中，当该R、G、B参考值皆为0的该参考像素32存在，则前述的级距式调整该运算变数可改为依据该暗像素增加的百分比做调整(当该暗像素增加的百分比为100％，即所有的该些参考像素32都为该暗像素)。因此，当该运算变数最小时，该暗像素增加的百分比为10％；而下一级的运算变数，该暗像素增加的百分比为20％，并以每一级增加10％类推；及当该运算变数最大时，暗像素增加的百分比为90％。
在一些实施例中，该些R、G、B、IR参考值、该些R、G、B、IR子像素值、该些R、G、B补偿后参考值分别为一介于0～255的整数，个别对应其代表色彩的亮度的灰阶值。当该些R、G、B、IR参考值、该些R、G、B、IR子像素、该些R、G、B补偿后参考值经运算之后小于0，则为0，反之，经运算之后大于255，则为255。
综上所述，根据本案的红外线串扰补偿方法及其装置，适于补偿具有红外线串扰的原始影像，并依据对应补偿轴向的补偿系数及IR子像素值补偿原始像素，以有效降低原始影像中的红外线串扰。在一些实施例中，依据分区及区补偿值调整对应补偿轴向的补偿系数，更进一步达到补偿红外线串扰的目的。

Claims (10)

1.一种红外线串扰补偿方法，包括：
对一景象撷取一原始影像，该原始影像包括多个原始像素，该些原始像素依据一第一轴向及一第二轴向呈二维阵列排列，各该原始像素具有一R子像素值、一G子像素值、一B子像素值及一IR子像素值；
依据该原始影像、一补偿轴向、对应该补偿轴向的多个补偿系数、及一补偿方程式，获得各该R、G、B、IR子像素值的一补偿后值，该补偿方程式为：
Ro＝Ri-Kf(v)*IRi
Go＝Gi-Kf(v)*IRi
Bo＝Bi-Kf(v)*IRi
IRo＝IRi
其中，v为各该原始像素在该补偿轴向的坐标值，Ri、Gi、Bi、IRi为在该补偿轴向的坐标值为v的该原始像素的R、G、B、IR子像素值，Ro、Go、Bo、IRo为在该补偿轴向的坐标值为v的该原始像素的R、G、B、IR子像素的该补偿后值，Kf(v)为在该补偿轴向的坐标值为v的该原始像素对应的一补偿系数；及
依据该些R、G、B、IR子像素的该补偿后值，获得一补偿后影像。
2.根据权利要求1所述的红外线串扰补偿方法，更包括一获得红外线串扰补偿系数方法，以获得该些补偿系数，其中该获得红外线串扰补偿系数方法包括：
对一黑色参考物体，撷取一参考影像，该参考影像包括多个参考像素，该些参考像素依据该第一轴向及该第二轴向呈二维阵列排列，各该参考像素具有一R参考值、一G参考值、一B参考值及一IR参考值；
依据一方向判断程序，获得该补偿轴向、多个分区、及多个区补偿值，各该区补偿值对应各该分区；及
依据一补偿系数方程式及该些区补偿值，获得对应该补偿轴向的该些补偿系数，该补偿系数方程式为
Figure FDA0001829096390000021
其中，v为各该参考像素在该补偿轴向的坐标值，K1、K2、…Kn为各该区补偿值，v1、v2、…vn为各该分区在该补偿轴向的坐标值，Kf(v)为在该补偿轴向的坐标值为v时的该原始像素对应的该补偿系数。
3.根据权利要求2所述的红外线串扰补偿方法，其中该方向判断程序包括：
依据一区决定程序，获得一初始区块及一终区块，该区决定程序包括：
依据一校正方程式及各该参考像素，级距式调整一运算变数，获得对应各该级距的一暗区块，该校正方程式为：
Ro＝Ri-c*IRi
Go＝Gi-c*IRi
Bo＝Bi-c*IRi
其中，c为该运算变数，Ri为该R参考值，Gi为该G参考值，Bi为该B参考值，IRi为该IR参考值，Ro为一R补偿后参考值，Go为一G补偿后参考值，Bo为一B补偿后参考值；
以该运算变数最小时对应的该暗区块为该初始区块；及
以该运算变数最大时对应的该暗区块为该终区块；
依据该初始区块及该终区块，获得该补偿轴向；及
依据该补偿轴向，获得该些分区及该些区补偿值。
4.一种获得红外线串扰补偿系数的方法，包括：
对一黑色参考物体，撷取一参考影像，该参考影像包括多个参考像素，该些参考像素依据一第一轴向及一第二轴向呈二维阵列排列，各该参考像素具有一R参考值、一G参考值、一B参考值及一IR参考值；
依据一方向判断程序，获得一补偿轴向、多个分区、及多个区补偿值，各该区补偿值对应各该分区；及
依据一补偿系数方程式及该些区补偿值，获得对应该补偿轴向的该些补偿系数，该补偿系数方程式为
Figure FDA0001829096390000031
其中，v为各该参考像素在该补偿轴向的坐标值，K1、K2、…Kn为各该区补偿值，v1、v2、…vn为各该分区在该补偿轴向的坐标值，Kf(v)为在该补偿轴向的坐标值为v时的该原始像素对应的该补偿系数。
5.根据权利要求4所述的获得红外线串扰补偿系数的方法，其中该方向判断程序包括：
依据一区决定程序，获得一初始区块及一终区块，该区决定程序包括：
依据一校正方程式及各该参考像素，级距式调整一运算变数，获得对应各该级距的一暗区块，该校正方程式为：
Ro＝Ri-c*IRi
Go＝Gi-c*IRi
Bo＝Bi-c*IRi
其中，c为该运算变数，Ri为该R参考值，Gi为该G参考值，Bi为该B参考值，IRi为该IR参考值，Ro为一R补偿后参考值，Go为一G补偿后参考值，Bo为一B补偿后参考值；
以该运算变数最小时对应的该暗区块为该初始区块；及
以该运算变数最大时对应的该暗区块为该终区块；
依据该初始区块及该终区块，获得该补偿轴向；及
依据该补偿轴向，获得该些分区及该些区补偿值。
6.一种红外线串扰补偿装置，包括：
一影像撷取电路，用以对一景象撷取一原始影像，该原始影像包括多个原始像素，该些原始像素依据一第一轴向及一第二轴向呈二维阵列排列，各该原始像素具有一R子像素值、一G子像素值、一B子像素值及一IR子像素值；及
一控制电路，依据该原始影像、一补偿轴向、对应该补偿轴向的多个补偿系数、及一补偿方程式，获得各该R、G、B、IR子像素的一补偿后值，并依据该些R、G、B、IR子像素的该补偿后值，输出一补偿后影像，其中，该补偿方程式为：
Ro＝Ri-Kf(v)*IRi
Go＝Gi-Kf(v)*IRi
Bo＝Bi-Kf(v)*IRi
IRo＝IRi
其中，v为各该原始像素在该补偿轴向的坐标值，Ri、Gi、Bi、IRi为在该补偿轴向的坐标值为i的该原始像素的R、G、B、IR子像素值，Ro、Go、Bo、IRo为在该补偿轴向的坐标值为v的该原始像素的R、G、B、IR子像素的该补偿后值，Kf(v)为该原始像素在该补偿轴向的坐标值为v时的一补偿系数。
7.根据权利要求6所述的红外线串扰补偿装置，更包括一影像显示设备，用以显示该补偿后影像。
8.根据权利要求6所述的红外线串扰补偿装置，更包括一储存装置，用以储存该补偿后影像。
9.根据权利要求6所述的红外线串扰补偿装置，该控制电路依据一补偿系数获得程序，获得该些补偿系数，其中该补偿系数获得程序包括：
对一黑色参考物体，撷取一参考影像，该参考影像包括多个参考像素，该些参考像素依据该第一轴向及该第二轴向呈二维阵列排列，各该参考像素具有一R参考值、一G参考值、一B参考值及一IR参考值；
依据一方向判断程序，获得该补偿轴向、多个分区、及多个区补偿值，各该区补偿值对应各该分区；及
依据一补偿系数方程式及该些区补偿值，获得对应该补偿轴向的该些补偿系数，该补偿系数方程式为
Figure FDA0001829096390000051
其中，v为各该参考像素在该补偿轴向的坐标值，K1、K2、…Kn为各该区补偿值，v1、v2、…vn为各该分区在该补偿轴向的坐标值，Kf(v)为该原始像素在该补偿轴向的坐标值为v时的该补偿系数。
10.根据权利要求9所述的红外线串扰补偿装置，其中该方向判断程序包括：
依据一区决定程序，获得一初始区块及一终区块，该区决定程序包括：
依据一校正方程式及各该参考像素，级距式调整一运算变数，获得对应各该级距的一暗区块，该校正方程式为：
Ro＝Ri-c*IRi
Go＝Gi-c*IRi
Bo＝Bi-c*IRi
其中，c为该运算变数，Ri为该R参考值，Gi为该G参考值，Bi为该B参考值，IRi为该IR参考值，Ro为一R补偿后参考值，Go为一G补偿后参考值，Bo为一B补偿后参考值；
以该运算变数最小时对应的该暗区块为该初始区块；及
以该运算变数最大时对应的该暗区块为该终区块；
依据该初始区块及该终区块，获得该补偿轴向；及
依据该补偿轴向，获得该些分区及该些区补偿值。
CN201811197232.5A 2018-10-15 2018-10-15 红外线串扰补偿方法及其装置 Active CN111050097B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811197232.5A CN111050097B (zh) 2018-10-15 2018-10-15 红外线串扰补偿方法及其装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811197232.5A CN111050097B (zh) 2018-10-15 2018-10-15 红外线串扰补偿方法及其装置

Publications (2)

Publication Number Publication Date
CN111050097A true CN111050097A (zh) 2020-04-21
CN111050097B CN111050097B (zh) 2022-03-15

Family

ID=70230380

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811197232.5A Active CN111050097B (zh) 2018-10-15 2018-10-15 红外线串扰补偿方法及其装置

Country Status (1)

Country Link
CN (1) CN111050097B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115798372A (zh) * 2022-11-02 2023-03-14 上海傲显科技有限公司 图像处理方法、系统、终端及计算机存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1310915A (zh) * 1998-07-30 2001-08-29 英特尔公司 具有红外校正功能的彩色成像系统
CN1819663A (zh) * 2005-02-07 2006-08-16 三洋电机株式会社 色信号处理方法
JP2009253447A (ja) * 2008-04-02 2009-10-29 Panasonic Corp 近赤外光／可視光共用の固体撮像素子及び固体撮像装置
CN102665083A (zh) * 2005-07-21 2012-09-12 索尼株式会社 物理信息获取方法、物理信息获取装置和半导体器件
US20120257030A1 (en) * 2011-04-08 2012-10-11 Samsung Electronics Co., Ltd. Endoscope apparatus and image acquisition method of the endoscope apparatus
CN102957917A (zh) * 2011-08-30 2013-03-06 比亚迪股份有限公司 一种像素阵列、摄像头及基于该阵列的色彩处理方法
CN104639923A (zh) * 2015-02-04 2015-05-20 华为技术有限公司 一种对图像数据进行处理的方法、装置和终端
CN106664394A (zh) * 2014-06-24 2017-05-10 日立麦克赛尔株式会社 摄像处理装置以及摄像处理方法
CN107786857A (zh) * 2016-08-25 2018-03-09 杭州海康威视数字技术股份有限公司 一种图像还原方法及装置
US20180152604A1 (en) * 2011-11-07 2018-05-31 Magna Electronics Inc. Vehicle vision system with color correction
CN108632595A (zh) * 2017-03-24 2018-10-09 瑞昱半导体股份有限公司 影像处理装置及方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1310915A (zh) * 1998-07-30 2001-08-29 英特尔公司 具有红外校正功能的彩色成像系统
CN1819663A (zh) * 2005-02-07 2006-08-16 三洋电机株式会社 色信号处理方法
CN102665083A (zh) * 2005-07-21 2012-09-12 索尼株式会社 物理信息获取方法、物理信息获取装置和半导体器件
JP2009253447A (ja) * 2008-04-02 2009-10-29 Panasonic Corp 近赤外光／可視光共用の固体撮像素子及び固体撮像装置
US20120257030A1 (en) * 2011-04-08 2012-10-11 Samsung Electronics Co., Ltd. Endoscope apparatus and image acquisition method of the endoscope apparatus
CN102957917A (zh) * 2011-08-30 2013-03-06 比亚迪股份有限公司 一种像素阵列、摄像头及基于该阵列的色彩处理方法
US20180152604A1 (en) * 2011-11-07 2018-05-31 Magna Electronics Inc. Vehicle vision system with color correction
CN106664394A (zh) * 2014-06-24 2017-05-10 日立麦克赛尔株式会社 摄像处理装置以及摄像处理方法
CN104639923A (zh) * 2015-02-04 2015-05-20 华为技术有限公司 一种对图像数据进行处理的方法、装置和终端
CN107786857A (zh) * 2016-08-25 2018-03-09 杭州海康威视数字技术股份有限公司 一种图像还原方法及装置
CN108632595A (zh) * 2017-03-24 2018-10-09 瑞昱半导体股份有限公司 影像处理装置及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115798372A (zh) * 2022-11-02 2023-03-14 上海傲显科技有限公司 图像处理方法、系统、终端及计算机存储介质
CN115798372B (zh) * 2022-11-02 2023-11-17 上海傲显科技有限公司 图像处理方法、系统、终端及计算机存储介质

Also Published As

Publication number Publication date
CN111050097B (zh) 2022-03-15

Similar Documents

Publication Publication Date Title
US8203633B2 (en) Four-channel color filter array pattern
US9414052B2 (en) Method of calibrating an image signal processor to overcome lens effects
US8237831B2 (en) Four-channel color filter array interpolation
US8253832B2 (en) Interpolation for four-channel color filter array
US8125546B2 (en) Color filter array pattern having four-channels
CN101755463B (zh) 图像传感器的多分量读出
US8295631B2 (en) Iteratively denoising color filter array images
US8345130B2 (en) Denoising CFA images using weighted pixel differences
US20150103200A1 (en) Heterogeneous mix of sensors and calibration thereof
CN106604001B (zh) 图像处理方法、图像处理装置、成像装置及电子装置
KR102624107B1 (ko) 복수의 서브 픽셀들을 덮는 마이크로 렌즈를 통해 발생된 광의 경로 차에 의해 깊이 데이터를 생성하는 이미지 센서 및 그 이미지 센서를 포함하는 전자 장치
CN113168669B (zh) 图像处理方法、装置、电子设备及可读存储介质
CN113170061B (zh) 图像传感器、成像装置、电子设备、图像处理系统及信号处理方法
CN105306913B (zh) 图像获取装置及其图像补偿方法
US9392180B2 (en) Partial lens shading compensation method
CN111050097B (zh) 红外线串扰补偿方法及其装置
US11317063B2 (en) Calibration module of image sensor, image sensor and method of calibrating crosstalk in image sensor
CN102905077B (zh) 一种图像暗角亮度调节方法及装置
US9743007B2 (en) Lens module array, image sensing device and fusing method for digital zoomed images
TWI694721B (zh) 紅外線串擾補償方法及其裝置
CN113141488B (zh) 一种小尺寸像元图像传感器的色彩还原方法
CN101292542A (zh) 用于白平衡统计的改进的色度滤波器
CN115471571A (zh) 标定方法、图像处理方法、装置、存储介质与电子设备
CN114007055A (zh) 图像传感器镜头阴影校正方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant