CN113676629B - 图像传感器、图像采集装置、图像处理方法及图像处理器 - Google Patents
图像传感器、图像采集装置、图像处理方法及图像处理器 Download PDFInfo
- Publication number
- CN113676629B CN113676629B CN202110907046.1A CN202110907046A CN113676629B CN 113676629 B CN113676629 B CN 113676629B CN 202110907046 A CN202110907046 A CN 202110907046A CN 113676629 B CN113676629 B CN 113676629B
- Authority
- CN
- China
- Prior art keywords
- filter
- image
- color space
- color
- units
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 22
- 238000012545 processing Methods 0.000 claims abstract description 87
- 238000000034 method Methods 0.000 claims abstract description 47
- 108010001267 Protein Subunits Proteins 0.000 claims abstract description 5
- 230000008569 process Effects 0.000 claims description 26
- 238000007781 pre-processing Methods 0.000 claims description 23
- 238000012937 correction Methods 0.000 claims description 20
- 230000003287 optical effect Effects 0.000 claims description 15
- 239000003086 colorant Substances 0.000 claims description 14
- 238000001228 spectrum Methods 0.000 abstract description 17
- 238000010586 diagram Methods 0.000 description 12
- 238000004458 analytical method Methods 0.000 description 11
- 239000011159 matrix material Substances 0.000 description 11
- 238000001514 detection method Methods 0.000 description 10
- 238000001914 filtration Methods 0.000 description 8
- 230000009466 transformation Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003707 image sharpening Methods 0.000 description 1
- 238000003706 image smoothing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000000049 pigment Substances 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
Abstract
本申请公开了一种图像传感器、摄像头模组、图像采集装置、图像处理方法及图像处理器。该图像传感器包括：像素单元阵列和滤光片单元阵列。像素单元阵列包括多个像素单元，每个像素单元包括多个感光像素。滤光片单元阵列包括多个滤光片子单元，每个滤光片子单元包括一种第一颜色空间对应的第一滤光片，至少部分滤光片单元的至少部分滤光片子单元还包括一种第二颜色空间对应的第二滤光片，滤光片单元的每个滤光片覆盖对应像素单元的一个感光像素。图像传感器用于采集光线信号以生成第一颜色空间图像和第二颜色空间图像，第二颜色空间图像用于对第一颜色空间图像进行白平衡处理。本申请增加了光谱通道数，使得自动白平衡参考信息增加，实现更为精准的白平衡判断。
Description
技术领域
本申请涉及图像处理技术领域，特别涉及一种图像传感器、摄像头模组、图像采集装置、图像处理方法及图像处理器。
背景技术
近年来随着移动终端的迅速普及和手机影像技术的不断发展，智能手机越来越成为大众最常用的拍摄设备。手机的接触式图像传感器(Contact image sensor，CIS)利用其表面覆盖的彩色滤光片阵列(CFA)对颜色进行筛选，将捕捉到的光分为红、绿、蓝三种颜色的强度信息通过一系列计算转换为三原色分量并最终合成为一种颜色。其中，白平衡作为整个手机图像信号处理(Image Signal Processing，ISP)中与色彩表现强相关的第一个流程，对拍摄的整体色调起至关重要的作用。
目前手机的白平衡算法主要依赖的硬件有两个：一是原始的CIS，通过RGB通道的强度关系来大致估计图片中的灰区位置，通过该位置计算R_gain，B_gain并分别乘在整个图片中的R通道和B通道上。二是通过一个附加的色温传感器估算整个光源场景的色温值，并输入给ISP做出相应的白平衡调整。目前的色温传感器仅通过红绿蓝三个通道是很难准确还原色温的，进而很难实现精准的白平衡判断。
发明内容
有鉴于此，本发明旨在至少在一定程度上解决相关技术中的问题之一。为此，本申请的目的在于提供一种图像传感器、摄像头模组、图像采集装置、图像处理方法及图像处理器。
本申请实施方式的图像传感器包括像素单元阵列和滤光片单元阵列。所述像素单元阵列包括多个像素单元，每个所述像素单元包括多个感光像素。所述滤光片单元阵列包括多个滤光片单元，每个所述滤光片单元包括多个滤光片子单元，每个所述滤光片子单元包括第一颜色空间中一种颜色对应的第一滤光片，至少部分所述滤光片单元的至少部分所述滤光片子单元还包括第二颜色空间中一种颜色对应的第二滤光片，所述滤光片单元的每个所述第一滤光片和所述第二滤光片均覆盖对应所述像素单元的一个所述感光像素，每个所述滤光片单元包括第一颜色空间中多种颜色对应的所述第一滤光片，所述滤光片单元阵列包括第二颜色空间中多种颜色对应的所述第二滤光片。
本申请实施方式的摄像头模组包括镜头和所述图像传感器。
本申请实施方式的图像采集装置包括图像处理器和所述图像传感器。
本申请实施方式的图像处理方法包括获取图像传感器采集的光线信号以对所述光线信号进行处理生成第一颜色空间图像和第二颜色空间图像；根据所述第一颜色空间图像和所述第二颜色空间图像对所述第一颜色空间图像进行白平衡处理得到白平衡处理图像。
本申请的图像处理器包括获取模块和白平衡处理模块。所述获取模块用于获取图像传感器采集的光线信号以对所述光线信号进行处理生成第一颜色空间图像和第二颜色空间图像；所述白平衡处理模块用于根据所述第一颜色空间图像和所述第二颜色空间图像对所述第一颜色空间图像进行白平衡处理得到白平衡处理图像。
本申请的图像传感器增加了第二颜色空间使得光谱通道数翻倍，光谱通道数翻倍意味着自动白平衡参考信息翻倍，可以大幅提升灰点检测和光源分析的准确度，实现更为精准的白平衡判断。
本申请的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1是本申请某些实施方式的图像传感器的结构示意图；
图2是图像传感器中四像素合一阵列的滤光片单元阵列的结构示意图
图3是本申请某些实施方式的图像传感器中滤光片单元阵列的结构示意图；
图4是本申请某些实施方式的图像传感器中滤光片单元阵列的结构示意图；
图5是本申请某些实施方式的图像传感器对应的人眼响应曲线的匹配度示意图；
图6是本申请某些实施方式的图像处理方法的流程示意图；
图7是本申请某些实施方式的图像采集装置的结构示意图；
图8是本申请某些实施方式的图像处理器的结构示意图；
图9是本申请某些实施方式的图像处理方法的流程示意图；
图10是本申请某些实施方式的图像处理器中白平衡处理模块的结构示意图；
图11是本申请某些实施方式的RGBCMY成像的数据逻辑流程示意图；
图12是本申请某些实施方式的关于CCM矩阵的空间转换示意图；
图13是本申请某些实施方式的图像处理方法的流程示意图；
图14是本申请某些实施方式的图像处理器中获取模块的结构示意图；
图15是本申请某些实施方式的图像传感器中中滤光片单元阵列的结构示意图；
图16是本申请某些实施方式的图像处理方法的流程示意图；
图17是本申请某些实施方式的图像处理器的结构示意图；
图18是本申请某些实施方式的摄像头模组的结构示意图。
具体实施方式
下面详细描述本申请的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。
在本申请的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体地限定。
在本申请的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接或可以相互通信；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。
下文的公开提供了许多不同的实施方式或例子用来实现本申请的不同结构。为了简化本申请的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本申请。此外，本申请可以在不同例子中重复参考数字和/或参考字母，这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施方式和/或设置之间的关系。
下面详细描述本申请的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。
目前的色温传感器仅通过红绿蓝三个通道是很难准确还原色温的，进而很难实现精准的白平衡判断。
有鉴于此，本申请实施方式提供一种图像传感器、图像采集装置及图像处理方法。
请参阅图1，本申请实施方式提供了一种图像传感器100。该图像传感器100包括：像素单元阵列110和滤光片单元阵列120。
像素单元阵列110包括多个像素单元111，每个像素单元111包括多个感光像素1111。滤光片单元阵列120包括多个滤光片单元121。每个滤光片单元121包括多个滤光片子单元1211，每个滤光片子单元1211包括一种第一颜色空间中一种颜色对应的第一滤光片12111，至少部分滤光片单元121的至少部分滤光片子单元1211还包括一种第二颜色空间中一种颜色对应的第二滤光片12112。滤光片单元121的每个第一滤光片12111和第二滤光片12112均覆盖对应像素单元111的一个感光像素。每个滤光片单元121包括第一颜色空间中多种颜色对应的第一滤光片12111，滤光片单元阵列120包括第二颜色空间中多种颜色对应的第二滤光片12112。
具体地，第一颜色空间包括红色(R)、绿色(G)和蓝色(B)，第二颜色空间包括青色(C)、品红色(M)和黄色(Y)，即本申请以第一颜色空间为RGB颜色空间，第二颜色空间为CMY颜色空间为例进行说明，当然，第一颜色空间与第二颜色空间也可以是其他颜色空间，在此不一一说明。
至少部分滤光片单元121的至少部分滤光片子单元1211还包括一种第二颜色空间中一种颜色对应的第二滤光片12112，可以理解为包括两种情况。第一种情况可以为如图3所示的所有的滤光片单元121的所有滤光片子单元1211均包括第二滤光片12112。第二种情况为如图12所示的仅有部分滤光片单元121的部分滤光片子单元1211包括第二滤光片12112，相对应地，此时部分滤光片单元121的部分滤光片子单元1211也可以不包括第二滤光片12112。即，每个滤光片子单元1211包括一种第一颜色空间对应的第一滤光片12111，至少部分滤光片单元121的至少部分滤光片子单元1211还包括一种第二颜色空间对应的第二滤光片12112，指的是，本申请的图像传感器100中的部分滤光片子单元1211可以同时包括第一滤光片12111和第二滤光片12112(如图3所示)，部分滤光片子单元1211可以仅包括第一滤光片12111(如图12所示)。
可以理解地，同时包括第一滤光片12111和第二滤光片12112的数量越多，则所对应增加的光谱通道数越多，可以使得后续白平衡处理过程中的白平衡参考信息增加越多，从而大幅提升灰点检测和光源分析的准确度，实现图像传感器100更为精准的白平衡判断。
另外，本申请的图像传感器具有RGBCMY六种滤光材料，是目前为止最为成熟，也是该技术路线所能达到的最多的色彩通道数。这种吸收式滤波带来稳定的滤波特性，可以有效解决滤波特性随光线入射角度和环境温度变化导致滤波特性不稳定的问题。
请参阅图1，图像传感器100的每个像素单元111包括2*2个感光像素1111。每个滤光片子单元1211覆盖对应像素单元111中的2*2个感光像素1111，滤光片子单元1211的每个滤光片(12111或12112)覆盖一个感光像素1111。其中，每个滤光片子单元1211包括一种第一颜色空间对应的第一滤光片12111，至少部分滤光片子单元1211还包括一种第二颜色空间对应的第二滤光片12112，滤光片单元121的每个滤光片覆盖对应像素单元111的一个感光像素。多个滤光片单元121构成滤光片单元阵列120。
本申请的图像传感器100通过在滤光片阵列1200中的部分滤光片子单元1211中，将原先全部是第一滤光片12111替换为部分是第二滤光片12112，可以增加光谱通道数，使得白平衡的参考信息增加，从而大幅提升灰点检测和光源分析的准确度，以实现图像传感器100更为精准的白平衡判断。
滤光片单元阵列120中部分结构具有不同第一颜色空间对应滤光片的多个滤光片单元121呈四像素合一拜耳阵列(quad-bayer)排布(如图2所示)，quad-bayer可以将四个像素的正方形组合成一种颜色。本申请可以以quad-bayer阵列排布为基础，将每组2x2的R、G、B中的一半(对角方向)对应替换为M、Y、C(如图3所示)。
请参阅图2或图3，本申请的多个滤光单元121呈矩形阵列排布，且滤光片单元121中的多个滤光片子单元1211呈矩形阵列排布。
另外，图像传感器100中的2*2个感光像素1111的排布方式能够适配一些目前已经广泛应用于手机图像传感器上的新技术，包括合成像素(binning mode)、2x2大型微透镜(2x2OCL)、全像素双核对焦(dual PD)和QDOL等技术，提升图像传感器100的白平衡判断精准度的同时，可以提升该图像传感器100对于新技术的适配性。
本申请的图像传感器100在原本具有第一空间颜色空间的基础上增加了第二颜色空间使得光谱通道数翻倍，光谱通道数翻倍意味着白平衡参考信息翻倍，可以大幅提升灰点检测和光源分析的准确度，实现更为精准的白平衡判断。
请参阅图1或图3，在某些实施例中，每个滤光片子单元1211均包括一种颜色对应的至少一个第一滤光片12111和一种颜色对应的至少一个第二滤光片12112。
也即是，滤光片子单元1211内部的RGB颜色和CMY颜色的分布方式可以包括多种分布方式，例如包括规则(如图3所示的呈对角分布)的方式，还可以为其他不规则的分布方式，只需要满足每个滤光片子单元1211具有包括一种颜色对应的至少一个第一滤光片12111和一种颜色对应的至少一个第二滤光片12112即可，在此不作限制。
另外，每个滤光片子单元1211内的第二滤光片12112的数量也可以相较于第一滤光片12111更多，例如在3*3感光像素的排布方式的情况下，第一滤光片12111和第二滤光片12112的数量可以不相等，相应第一滤光片12111和第二滤光片12112的分布情况也可以有多种情况。
请一并参阅图1和图3，在某些实施例中，第一滤光片12111沿滤光片子单元1211的第一对角分布，第二滤光片12112沿滤光片子单元1211的第二对角分布。或者，请参阅图4，第一滤光片12111和第二滤光片12112沿同一方向并排设置。上述排布方式均可以实现图像传感器中的滤光片单元中的第一颜色空间对应的光谱通道与第二颜色空间对应的光谱通道呈均匀分布，有利于滤光片阵列120的规则排布。在本申请的其他实施例中，滤光片阵列120中滤光片的排布方式也可以不规则排布，在此不作限制。
更具体地，请再次参阅图3，在本申请的某些实施例中，每个滤光片单元121包括2*2个滤光片子单元1211，一个具有红色滤光片(R)的滤光片子单元1211和一个具有蓝色滤光片(B)的滤光片子单元1211沿滤光片单元1211的第一对角分布，两个具有绿色滤光片(G)的滤光片子单元1211沿滤光片单元1211的第二对角分布。
需要说明的是，第一对角分布和第二对角分布仅用于说明第一滤光片12111和第二滤光片12112的对角分布方向不一致，并不是指的固定的对角方向。
相较于原先的全部是第一颜色空间对应的光谱通道，本申请将部分滤光片单元中的一半替换为第二颜色空间增加了第二颜色空间对应的光谱通道，可以使得光谱通道数翻倍，光谱通道数翻倍意味着白平衡参考信息翻倍，将大幅提升灰点检测和光源分析的准确度，实现更为精准的白平衡判断。
更具体地，请参阅图3，一个的滤光片子单元1211可以仅包括绿色滤光片(G)和黄色滤光片(Y)，或一个滤光片子单元1211还可以仅包括红色滤光片(R)和品红色滤光片(M)，或一个滤光片子单元1211还可以仅包括蓝色滤光片(B)和青色滤光片(C)。
此时，图像传感器100具有6个色彩通道(RGBCMY)，相较于之前的RGB三色，可以大大提高拟合人眼响应曲线的匹配度(如图5所示)，这也意味着色彩还原的表现更准确、更贴近人眼实际观感。
请参阅图15，在本申请的某些实施例中，第一颜色空间包括红色(R)、绿色(G)和蓝色(B)。在滤光片单元121仅包括红色(R)、绿色(G)和蓝色(B)对应的第一滤光片12111时，滤光片单元121呈四合一拜耳阵列排布。在滤光片单元121包括多个第一滤光片12111和一个或多个第二滤光片12112时，第一滤光片子单元1211a与第二滤光片子单元1211b呈第一对角分布，两个第三滤光片子单元1211c呈第二对角分布。
其中，第一滤光片子单元1211a可以仅包括红色滤光片(R)，或第一滤光片子单元1211a包括红色滤光片(R)和第二颜色空间中一种颜色对应的第二滤光片12112，第二滤光片子单元1211b可以仅包括蓝色滤光片(B)，或第二滤光片子单元1211b也可以包括蓝色滤光片(B)和第二颜色空间中一种颜色对应的第二滤光片12112。第三滤光片子单元1211c仅包括绿色滤光片(G)，和/或，第三滤光片子单元1211c包括绿色滤光片(G)和第二颜色空间中一种颜色对应的第二滤光片12112。可以理解地，这段描述可以包括以下几种情况：
第一种，第一滤光片子单元1211a仅包括红色滤光片(R)，第二滤光片子单元1211b可以仅包括蓝色滤光片(B)，第三滤光片子单元1211c仅包括绿色滤光片(G)的情况。此时，该滤光片单元121呈四合一拜耳阵列分布。
第二种，第一滤光片子单元1211a仅包括红色滤光片(R)，第二滤光片子单元1211b包括蓝色滤光片(B)和第二颜色空间中一种颜色对应的第二滤光片12112，第三滤光片子单元1211c仅包括绿色滤光片(G)(如图15所示)。
第三种，第一滤光片子单元1211a包括红色滤光片(R)和第二颜色空间中一种颜色对应的第二滤光片12112，第二滤光片子单元1211b仅包括蓝色滤光片(B)，第三滤光片子单元1211c仅包括绿色滤光片(G)。
第四种，第一滤光片子单元1211a包括红色滤光片(R)和第二颜色空间中一种颜色对应的第二滤光片12112，第二滤光片子单元1211b包括蓝色滤光片(B)和第二颜色空间中一种颜色对应的第二滤光片12112，第三滤光片子单元1211c仅包括绿色滤光片(G)。
第五种，第一滤光片子单元1211a仅包括红色滤光片(R)，第二滤光片子单元1211b可以仅包括蓝色滤光片(B)，第三滤光片子单元1211c包括绿色滤光片(G)和第二颜色空间中一种颜色对应的第二滤光片12112。
第六种，第一滤光片子单元1211a仅包括红色滤光片(R)，第二滤光片子单元1211b包括蓝色滤光片(B)和第二颜色空间中一种颜色对应的第二滤光片12112，第三滤光片子单元1211c包括绿色滤光片(G)和第二颜色空间中一种颜色对应的第二滤光片12112。
第七种，第一滤光片子单元1211a包括红色滤光片(R)和第二颜色空间中一种颜色对应的第二滤光片12112，第二滤光片子单元1211b仅包括蓝色滤光片(B)，第三滤光片子单元1211c包括绿色滤光片(G)和第二颜色空间中一种颜色对应的第二滤光片12112。
第八种，第一滤光片子单元1211a包括红色滤光片(R)和第二颜色空间中一种颜色对应的第二滤光片12112，第二滤光片子单元1211b包括蓝色滤光片(B)和第二颜色空间中一种颜色对应的第二滤光片12112，第三滤光片子单元1211c包括绿色滤光片(G)和第二颜色空间中一种颜色对应的第二滤光片12112。
可以理解地，第二颜色空间可以包括青色(C)、品红色(M)和黄色(Y)。不同的颜色排布情况可以得到不同的光谱通道信息，从而可以得到不同性质的光谱通信信息，增强白平衡参考信息的多样性，提供多种多样的方式提升灰点检测和光源分析的准确度，更多选择，实现更为精准的白平衡判断。
需要说明的是，图15中仅仅示出了滤光片单元121包括多个第一滤光片12111和一个第二滤光片12112的情况。第一滤光片子单元1211a与第二滤光片子单元1211b的位置可以互换，在此不做限制。
请参阅图6，本申请还提供一种图像处理方法。图像处理方法包括：
01：获取图像传感器采集的光线信号以对光线信号进行处理生成第一颜色空间图像和第二颜色空间图像；
03：根据第一颜色空间图像和第二颜色空间图像对第一颜色空间图像进行白平衡处理得到白平衡处理图像。
请参阅图7，本申请还提供一种图像采集装置1000。该图像采集装置1000包括图像处理器10和图像传感器100，图像处理器10与图像传感器100之间可以电性连接。本申请图像采集装置100中的图像传感器100增加了第二颜色空间使得光谱通道数翻倍，光谱通道数翻倍意味着白平衡参考信息翻倍，将大幅提升灰点检测和光源分析的准确度，实现更为精准的白平衡判断。在某些实施例中，图像采集装置100可以为照相机、手机、电脑等采集图像的设备。
请结合图8，图像处理器10包括获取模块11和白平衡处理模块13。
步骤01可以由获取模块11实现，步骤03可以由白平衡处理模块13实现。也即是，获取模块11用于获取图像传感器采集的光线信号以对光线信号进行处理生成第一颜色空间图像和第二颜色空间图像；白平衡处理模块13用于根据第一颜色空间图像和第二颜色空间图像对第一颜色空间图像进行白平衡处理得到白平衡处理图像。
具体地，由于图像传感器100具有第一颜色空间对应的第一滤光片12111和第二颜色空间对应的第二滤光片12112，因此，获取模块11获取采集到的光线后，光线信号经过第一滤光片12111可以产生第一颜色空间图像，光线信号经过第二滤光片12112可以产生第二颜色空间图像。
其中，请参阅图9，步骤03包括：
031：对第一颜色空间图像进行预处理得到第一预处理图像，以及通过虚拟通道对第二颜色空间图像进行处理得到第二预处理图像；
032：将第二预处理图像汇总到第一预处理图像以对第一预处理图像进行白平衡处理得到白平衡处理图像。
请结合图10，白平衡处理模块13包括预处理单元131和白平衡处理单元132。
步骤031可以由预处理单元131实现，步骤132可以由白平衡处理单元132实现。也即是说，预处理单元131用于对第一颜色空间图像进行预处理得到第一预处理图像，以及通过虚拟通道对第二颜色空间图像进行处理得到第二预处理图像；白平衡处理单元132用于将第二预处理图像汇总到第一预处理图像以对第一预处理图像进行白平衡处理得到白平衡处理图像。
也即是，预处理单元131可以对第一颜色空间图像进行预处理得到第一预处理图像，其中，预处理方式包括黑电平补偿处理、镜头矫正处理和/或坏点补偿处理，即预处理方式可以是其中一种、两种或两种以上。在本申请的其他实施例中，预处理方式还可以包括去噪、高动态、镜头矫正等处理过程，可以根据用户需求添加所需要的预处理方式，在此不一一说明。
图像预处理的主要目的是消除图像中无关的信息，恢复有用的真实信息，增强有关信息的可检测性、最大限度地简化数据，从而改进特征提取、图像分割、匹配和识别的可靠性。
预处理流程可以包括灰度化、几何变换和图像增强三个过程。
具体地，灰度化：例如在RGB模型中，如果R＝G＝B时，则彩色表示一种灰度颜色，其中R＝G＝B的值叫灰度值，因此，灰度图像每个像素只需一个字节存放灰度值(又称强度值、亮度值)，灰度范围为0-255。一般有分量法最大值法平均值法加权平均法四种方法对彩色图像进行灰度化。对彩色图像进行处理时，我们往往需要对三个通道依次进行处理。
几何变换：图像几何变换又称为图像空间变换，通过平移、转置、镜像、旋转、缩放等几何变换对采集的图像进行处理，用于改正图像采集系统的系统误差和仪器位置(成像角度、透视关系乃至镜头自身原因)的随机误差。此外，还需要使用灰度插值算法，因为按照这种变换关系进行计算，输出图像的像素可能被映射到输入图像的非整数坐标上。通常采用的方法有最近邻插值、双线性插值和双三次插值。
图像增强：增强图像中的有用信息，它可以是一个失真的过程，其目的是要改善图像的视觉效果，针对给定图像的应用场合，有目的地强调图像的整体或局部特性，将原来不清晰的图像变得清晰或强调某些感兴趣的特征，扩大图像中不同物体特征之间的差别，抑制不感兴趣的特征，使之改善图像质量、丰富信息量，加强图像判读和识别效果，满足某些特殊分析的需要。图像增强算法可分成两大类：空间域法和频率域法。空间域法是一种直接图像增强算法，分为点运算算法和邻域去噪算法。点运算算法即灰度级校正、灰度变换(又叫对比度拉伸)和直方图修正等。邻域增强算法分为图像平滑和锐化两种。平滑常用算法有均值滤波、中值滤波、空域滤波。锐化常用算法有梯度算子法、二阶导数算子法、高通滤波、掩模匹配法等。频率域法是一种间接图像增强算法，常用的频域增强方法有低通滤波器和高通滤波器。低频滤波器有理想低通滤波器、巴特沃斯低通滤波器、高斯低通滤波器、指数滤波器等。高通滤波器有理想高通滤波器、巴特沃斯高通滤波器、高斯高通滤波器、指数滤波器。
预处理单元131可以通过RGB通路对第一颜色空间图像(RGB颜色空间图像)进行上述预处理，即对第一颜色空间图像进行图像信号处理(ISP)过程的常规处理，可以得到处理后的第一预处理图像(RGB预处理图像)。
另外，预处理单元131还可以通过虚拟通道对第二颜色空间图像(CMY颜色空间图像)进行处理得到第二预处理图像(CMY预处理图像)。其中，虚拟通道可以如图11所示。
第二颜色空间图像的预处理方式和第一颜色空间图像的预处理方式一致，同样可以包括黑电平补偿、镜头矫正、坏点矫正其中一种、两种或两种以上等处理过程，可以保证两种预处理图像的处理效果相同，使得汇总后的预处理图像进行白平衡处理时，两种颜色空间图像所得到的白平衡参考信息可以直接汇总。
具体地，虚拟通道(Virtual channel)可以使得CMY颜色空间图像与RGB颜色空间图像同时平行处理或分时处理，并在白平衡处理节点汇总到RGB通路，即白平衡处理模块13将第二预处理图像汇总到第一预处理图像以对第一预处理图像进行白平衡处理得到白平衡处理图像。
可以理解地，同时平行处理CMY颜色空间图像与RGB颜色空间图像可以加快图像信号处理过程，提升图像信号处理过程效率更高。分时处理CMY颜色空间图像与RGB颜色空间图像可以使得CMY颜色空间图像的处理过程与RGB颜色空间图像的处理过程交叉进行，不容易混淆颜色空间图像的处理信息，保证两种颜色空间图像信息(RGB信息和CMY信息)处理的准确性。
在白平衡处理节点进行汇总预处理后的两种预处理图像所能起到的作用包括：
a.CMY信息与RGB信息汇总形成6通道信息，能够大幅提升光环境判断的准确性，其中环境判断的方式包括灰点检测和光源分析等方式，从而可以提升灰点检测或光源分析等数据的准确度；
b.6通道信息可以参与白平衡处理过程的颜色还原(如图11所示)过程，将原有的用于颜色校正(如图11所示)过程的颜色校正矩阵(Color Correction Matrix，CCM)从3x3拓展为6x3，可以更好的贴近人眼响应曲线(如图5所示)，进而大幅度提升白平衡处理中颜色还原的准确度。
其中，CCM是一个由至少俩矩阵合在一起的矩阵。如图8所示一般的图像信号处理(ISP)流程，在去马赛克(Demosaic)过后进行了CCM处理。以RGB信息为例，CCM可以完成将sensor_RGB空间到XYZ空间的转换，再到线性sRGB空间的转换。CCM处理之后再对图像进行Gamma校正，Gamma之后图像信号处理中的空间就变成了非线性sRGB空间了。
请结合图12的空间转换示意图，CCM矩阵M算法过程具体为：由sensor_RGB空间分别经过矩阵M2和矩阵M1以及γ校正完成。其中，sensorRGB空间我们称之为“源色彩空间"，非线性sRGB空间称之为“目标颜色空间”，目前，我们能够得到源色彩空间(sensorRGB空间)的“不饱和图”对应的24色色块，也有非线性sRGB空间的“饱和图”对应的24色色块，而矩阵M1和γ的数值是已知的，那么，只需要将非线性sRGB空间的图片经过反γ校正然后再转换到XYZ空间，那时就可以和sensorRGB数值联立从而求得矩阵M2，继而求得颜色校正矩阵M(M＝M2*M1)。
请参阅图13，在某些实施例中，步骤01包括：
013：根据图像传感器的像素排列确定第一颜色空间图像和第二颜色空间图像的相关性；
015：根据相关性和插值算法对光线信号进行处理得到第一颜色空间图像和第二颜色空间图像。
请结合图14，获取模块11包括确定单元113和处理单元115。
步骤013可以由确定单元113实现，步骤015可以由处理单元115实现。也即是，确定单元111用于根据图像传感器的像素排列确定第一颜色空间图像和第二颜色空间图像的相关性；处理单元112用于根据相关性和插值算法对光线信号进行处理得到第一颜色空间图像和第二颜色空间图像。
可以理解地，青(C)、品红(M)和黄色(Y)是作为红、绿、蓝的互补色而存在，也可以作为颜料的三原色，称为CMY色度模型。C、M、Y与R、G、B之间具有相关性，根据图像传感器100的像素排列情况可以确定第一颜色空间图像(RGB颜色空间图像)和第二颜色空间图像(CMY颜色空间图像)之间的相关性。例如，图像传感器100的像素单元阵列110的像素排布的方式可以为如图3所示的排布方式，也可以为如图15所示的排布方式(部分替换图2中的RGB像素点可得图15中的排布方式)，或其他排布方式。当像素排布方式为图3所示的排布方式时，以图3中第三行第一列的红色感光像素点周围分别为黄色感光像素点、青色感光像素点和青色感光像素点。图3中第一行第三列的品红色感光像素点周围分别为黄色感光像素点、蓝色感光像素点和蓝色感光像素点。因此，图3中第一行第三列的品红色感光像素点对应的颜色空间图像通过其周围的感光像素点(黄色感光像素点、蓝色感光像素点和蓝色感光像素点)可以确定与第一颜色空间相关的第二颜色空间图像。
然后，根据相关法和插值算法对光线信号进行处理得到第一颜色空间图像和第二颜色空间图像。实现图像处理的插值算法有很多，包括最近邻域插值、双线性插值、双三次插值等方法，其中，通过速度与质量权衡后，最好的是线性插值补偿算法。
本申请利用RGB与CMY的相关性处理得到第一颜色空间图像和第二颜色空间图像，相较于传统RGB图像处理模式，可以保证不引入较多人为影响，保证处理后的图像的准确度。
请参阅图16，在某些实施例中，图像处理方法还包括：
05：对白平衡处理图像进行颜色插值处理和颜色矫正处理得到输出图像。
请结合图17，图像处理器10还包括颜色处理模块15。
颜色处理模块15用于对白平衡处理图像进行颜色插值处理和颜色矫正处理得到输出图像。
具体地，例如以Bayer CFA 型颜色滤波阵列(如图2所示)为例，在这个图像阵列中，每个像素只有一个颜色的色调值，另外两个颜色的色调必须利用相邻像素之间的相关性通过计算获得，这种计算方法被称为颜色插值算法。
颜色插值处理过程可以采用双线性插值算法来实现RGB彩色图像和Bayer型的颜色滤波阵列图之间的转换，以及CMY彩色图像与相应的颜色滤波阵列图之间的转换。
颜色矫正处理，俗称校色(Color calibration)，它可以确保图像的色彩能够被较为精确地再现出拍摄现场人眼看到的情况，使得白平衡处理图像更贴近人眼实际观感。
请参阅图18，本申请还提供一种摄像头模组200。摄像头模组200包括镜头210和图像传感器100。本申请的摄像头模组200中的图像传感器100增加了第二颜色空间使得光谱通道数翻倍，光谱通道数翻倍意味着白平衡参考信息翻倍，将大幅提升灰点检测和光源分析的准确度，可以实现更为精准的白平衡判断。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (16)
1.一种图像传感器，其特征在于，包括：
像素单元阵列，所述像素单元阵列包括多个像素单元，每个所述像素单元包括多个感光像素；和
滤光片单元阵列，所述滤光片单元阵列包括多个滤光片单元，每个所述滤光片单元包括多个滤光片子单元，每个所述滤光片子单元包括第一颜色空间中一种颜色对应的第一滤光片，至少部分所述滤光片单元的至少部分所述滤光片子单元还包括第二颜色空间中一种颜色对应的第二滤光片，所述滤光片单元的每个所述第一滤光片和所述第二滤光片均覆盖对应所述像素单元的一个所述感光像素，每个所述滤光片单元包括第一颜色空间中多种颜色对应的所述第一滤光片，所述滤光片单元阵列包括第二颜色空间中多种颜色对应的所述第二滤光片。
2.根据权利要求1所述的图像传感器，其特征在于，多个所述滤光片单元呈矩形阵列排布，所述滤光片单元中的多个所述滤光片子单元呈矩形阵列排布。
3.根据权利要求1所述的图像传感器，其特征在于，每个所述滤光片子单元均包括一种颜色对应的至少一个所述第一滤光片和一种颜色对应的至少一个所述第二滤光片。
4.根据权利要求3所述的图像传感器，其特征在于，每个所述滤光片子单元覆盖对应所述像素单元中的2*2个所述感光像素，所述第一滤光片沿所述滤光片子单元的第一对角分布，所述第二滤光片沿所述滤光片子单元的第二对角分布，或所述第一滤光片和所述第二滤光片沿同一方向并排设置。
5.根据权利要求1-4任一项所述的图像传感器，其特征在于，所述第一颜色空间包括红色、绿色和蓝色，所述第二颜色空间包括青色、品红色和黄色。
6.根据权利要求5所述的图像传感器，其特征在于，每个滤光片单元包括2*2个所述滤光片子单元，一个具有红色滤光片的所述滤光片子单元和一个具有蓝色滤光片的所述滤光片子单元沿所述滤光片单元的第一对角分布，两个具有绿色滤光片的所述滤光片子单元沿所述滤光片单元的第二对角分布。
7.根据权利要求3所述的图像传感器，其特征在于，所述第一颜色空间包括红色、绿色和蓝色，所述第二颜色空间包括青色、品红色和黄色，一个所述滤光片子单元包括绿色滤光片和黄色滤光片，或一个所述滤光片子单元包括红色滤光片和品红色滤光片，或一个所述滤光片子单元包括蓝色滤光片和青色滤光片。
8.根据权利要求1所述的图像传感器，其特征在于，所述第一颜色空间包括红色、绿色和蓝色，
在所述滤光片单元仅包括所述红色、所述绿色和所述蓝色对应的所述第一滤光片时，所述滤光片单元呈四合一拜耳阵列排布；或
在所述滤光片单元包括多个所述第一滤光片和一个或多个所述第二滤光片时，第一滤光片子单元与第二滤光片子单元呈第一对角分布，两个第三滤光片子单元呈第二对角分布；
其中，所述第一滤光片子单元仅包括红色滤光片，或所述第一滤光片子单元包括所述红色滤光片和所述第二颜色空间中一种颜色对应的所述第二滤光片；
所述第二滤光片子单元仅包括蓝色滤光片，或所述第二滤光片子单元包括蓝色滤光片和所述第二颜色空间中一种颜色对应的所述第二滤光片；
第三滤光片子单元仅包括绿色滤光片，和/或，所述第三滤光片子单元包括绿色滤光片和所述第二颜色空间中一种颜色对应的所述第二滤光片。
9.一种摄像头模组，其特征在于，包括镜头和权利要求1-8任一项所述的图像传感器。
10.一种图像采集装置，其特征在于，包括图像处理器和权利要求1-8任一项所述的图像传感器。
11.一种利用权利要求1-8任一项所述的图像传感器的图像处理方法，其特征在于，所述图像处理方法包括：
获取图像传感器采集的光线信号以对所述光线信号进行处理生成第一颜色空间图像和第二颜色空间图像；
根据所述第一颜色空间图像和所述第二颜色空间图像对所述第一颜色空间图像进行白平衡处理得到白平衡处理图像。
12.根据权利要求11所述的图像处理方法，其特征在于，所述获取所述图像传感器采集的光线信号以对所述光线信号进行处理生成第一颜色空间图像和第二颜色空间图像，包括：
根据所述图像传感器的像素排列确定所述第一颜色空间图像和所述第二颜色空间图像的相关性；
根据所述相关性和插值算法对所述光线信号进行处理得到所述第一颜色空间图像和所述第二颜色空间图像。
13.根据权利要求11所述的图像处理方法，其特征在于，所述根据所述第一颜色空间图像和所述第二颜色空间图像对所述第一颜色空间图像进行白平衡处理得到白平衡处理图像，包括：
对所述第一颜色空间图像进行预处理得到第一预处理图像，以及通过虚拟通道对所述第二颜色空间图像进行处理得到第二预处理图像；
将所述第二预处理图像汇总到所述第一预处理图像以对所述第一预处理图像进行白平衡处理得到白平衡处理图像。
14.根据权利要求13所述的图像处理方法，其特征在于，所述预处理包括黑电平补偿处理、镜头矫正处理和/或坏点补偿处理。
15.根据权利要求11所述的图像处理方法，其特征在于，所述图像处理方法还包括：
对所述白平衡处理图像进行颜色插值处理和颜色矫正处理得到输出图像。
16.一种利用权利要求1-8任一项所述的图像传感器的图像处理器，其特征在于，所述图像处理器包括：
获取模块，所述获取模块用于获取图像传感器采集的光线信号以对所述光线信号进行处理生成第一颜色空间图像和第二颜色空间图像；
白平衡处理模块，所述白平衡处理模块用于根据所述第一颜色空间图像和所述第二颜色空间图像对所述第一颜色空间图像进行白平衡处理得到白平衡处理图像。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110907046.1A CN113676629B (zh) | 2021-08-09 | 2021-08-09 | 图像传感器、图像采集装置、图像处理方法及图像处理器 |
| PCT/CN2022/103957 WO2023016146A1 (zh) | 2021-08-09 | 2022-07-05 | 图像传感器、图像采集装置、图像处理方法及图像处理器 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110907046.1A CN113676629B (zh) | 2021-08-09 | 2021-08-09 | 图像传感器、图像采集装置、图像处理方法及图像处理器 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113676629A CN113676629A (zh) | 2021-11-19 |
| CN113676629B true CN113676629B (zh) | 2024-01-09 |
Family
ID=78541801
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110907046.1A Active CN113676629B (zh) | 2021-08-09 | 2021-08-09 | 图像传感器、图像采集装置、图像处理方法及图像处理器 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN113676629B (zh) |
| WO (1) | WO2023016146A1 (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021171797A1 (ja) * | 2020-02-26 | 2021-09-02 | ソニーセミコンダクタソリューションズ株式会社 | 固体撮像装置及び電子機器 |
| CN113676629B (zh) * | 2021-08-09 | 2024-01-09 | Oppo广东移动通信有限公司 | 图像传感器、图像采集装置、图像处理方法及图像处理器 |
| CN114268716A (zh) * | 2021-11-30 | 2022-04-01 | 维沃移动通信有限公司 | 图像传感器、摄像模组和电子设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7259788B1 (en) * | 2002-01-28 | 2007-08-21 | Pixim, Inc. | Image sensor and method for implementing optical summing using selectively transmissive filters |
| CN101124462A (zh) * | 2004-10-25 | 2008-02-13 | Rp风险技术有限公司 | 多光谱和超光谱成像系统 |
| CN111131798A (zh) * | 2019-10-18 | 2020-05-08 | 华为技术有限公司 | 图像处理方法、图像处理装置以及摄像装置 |
| CN111818314A (zh) * | 2020-06-23 | 2020-10-23 | 北京迈格威科技有限公司 | 一种滤波器阵列及图像传感器 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5917556A (en) * | 1997-03-19 | 1999-06-29 | Eastman Kodak Company | Split white balance processing of a color image |
| JP4334668B2 (ja) * | 1999-04-30 | 2009-09-30 | オリンパス株式会社 | 撮像装置 |
| KR101411548B1 (ko) * | 2007-11-05 | 2014-07-07 | 삼성전자주식회사 | 이미지 센서, 컬러 필터 어레이, 및 촬상 장치 |
| KR102412278B1 (ko) * | 2017-11-06 | 2022-06-24 | 삼성전자 주식회사 | 보색관계의 필터 어레이를 포함하는 카메라 모듈 및 그를 포함하는 전자 장치 |
| CN112995632B (zh) * | 2021-04-21 | 2021-08-31 | 贝壳找房(北京)科技有限公司 | 图像的白平衡处理方法、装置、电子设备和存储介质 |
| CN113676629B (zh) * | 2021-08-09 | 2024-01-09 | Oppo广东移动通信有限公司 | 图像传感器、图像采集装置、图像处理方法及图像处理器 |
-
2021
- 2021-08-09 CN CN202110907046.1A patent/CN113676629B/zh active Active
-
2022
- 2022-07-05 WO PCT/CN2022/103957 patent/WO2023016146A1/zh unknown
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7259788B1 (en) * | 2002-01-28 | 2007-08-21 | Pixim, Inc. | Image sensor and method for implementing optical summing using selectively transmissive filters |
| CN101124462A (zh) * | 2004-10-25 | 2008-02-13 | Rp风险技术有限公司 | 多光谱和超光谱成像系统 |
| CN111131798A (zh) * | 2019-10-18 | 2020-05-08 | 华为技术有限公司 | 图像处理方法、图像处理装置以及摄像装置 |
| CN111818314A (zh) * | 2020-06-23 | 2020-10-23 | 北京迈格威科技有限公司 | 一种滤波器阵列及图像传感器 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113676629A (zh) | 2021-11-19 |
| WO2023016146A1 (zh) | 2023-02-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113676629B (zh) | 图像传感器、图像采集装置、图像处理方法及图像处理器 | |
| US10547772B2 (en) | Systems and methods for reducing motion blur in images or video in ultra low light with array cameras | |
| JP4054184B2 (ja) | 欠陥画素補正装置 | |
| US8723995B2 (en) | Extended dynamic range in color imagers | |
| JP5574615B2 (ja) | 画像処理装置、その制御方法、及びプログラム | |
| US8494260B2 (en) | Image processing device, image processing method, program, and imaging device | |
| US20070159542A1 (en) | Color filter array with neutral elements and color image formation | |
| WO2017152402A1 (zh) | 终端的图像处理方法、装置和终端 | |
| US20120287286A1 (en) | Image processing device, image processing method, and program | |
| CN113676628B (zh) | 成像装置和图像处理方法 | |
| CN111510691B (zh) | 颜色插值方法及装置、设备、存储介质 | |
| CN109146982A (zh) | 原始图像处理系统及方法 | |
| CN110430403B (zh) | 一种图像处理方法和装置 | |
| US5821999A (en) | Method and system for fractally interpolating intensity values for a single color component array obtained from a single color sensor | |
| US20130278801A1 (en) | Image Processing Device, Image Processing Method, Program, and Imaging Device | |
| US8237829B2 (en) | Image processing device, image processing method, and imaging apparatus | |
| JP2002112276A (ja) | カラー固体撮像装置 | |
| JP4441809B2 (ja) | カラー固体撮像装置 | |
| JPH06153087A (ja) | 画素欠陥補正方法 | |
| JP2007049301A (ja) | 画像処理装置及び画像処理方法 | |
| CN110324541A (zh) | 一种滤波联合去噪插值方法及装置 | |
| JP4122082B2 (ja) | 信号処理装置およびその処理方法 | |
| JP3585710B2 (ja) | カラー撮像装置及び記録媒体 | |
| Gong et al. | Optimal noise-aware imaging with switchable prefilters | |
| EP4216534A1 (en) | Image obtaining method and apparatus, terminal, and computer readable storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |