CN111294588A - 一种cmos图像传感器中白色像素分布的分析装置及方法 - Google Patents

Abstract

本发明公开了一种CMOS图像传感器中白色像素分布的分析方法，包括如下步骤：S01：CMOS图像传感器的测量数据经过数据输入模块传输至预处理模块；S02：预处理模块根据白色像素阈值将测量数据转换为二值图；S03：筛选模块去除白色像素分布均匀的二值图；S04：特征提取模块在二值图中提取出白色像素分布特征；S05：分类模块对所述白色像素分布特征进行聚类分组，并定义每个类的白色像素分布模式；S06：分析模块得出关于白色像素分布模式与相关工艺原因之间关系的知识库。本发明提供的一种CMOS图像传感器中白色像素分布的分析装置及方法，可以及时反馈工艺制造信息并调整制造工艺条件，提升CMOS图像传感器像素的制造良率，减小不必要的损失。

Description

一种CMOS图像传感器中白色像素分布的分析装置及方法

技术领域

本发明涉及CMOS图像传感器中人工智能分析领域，具体涉及一种CMOS图像传感器中白色像素分布的分析装置及方法。

背景技术

白色像素分布是衡量CIS(CMOS图像传感器)的关键指标之一，CMOS图像传感器中白色像素分布情况直接关系到其产生的图像质量，尤其是在低光或高温下产生图像的均匀性。产生白色像素的根本原因是CMOS图像传感器所在硅片表面具有缺陷或硅片表面被金属玷污，缺陷和金属玷污物可能来源于物料、机台和工艺等；其中，不同工艺原因会造成CMOS图像传感器中白色像素特定的分布模式，而且造成白色像素的工艺原因和白色像素的分布模式之间具有比较明确的一一对应关系。因此，根据CMOS图像传感器输出图像的测量数据可以寻找出白色像素分布模式，进而快速准确地分析造成白色像素分布模式的原因，从而找到产生白色像素分布模式的工艺问题，并反馈给工艺制造。通过对测量数据的分析，可以尽快调整对应的工艺步骤，这对于CIS的质量和制造效率提升有着积极的推动作用。

现有技术中针对CIS中白色像素分布的分析，还没有高速有效的智能分析方法。现有技术中针对CIS输出的图像通常进行人工分析，以经验值或者肉眼观察的方式确定白色像素，并采用肉眼观察的方式总结出白色像素分布情况，再根据制造经验确定造成白色像素分布的原因。现有技术中的分析方法一方面分析效率很低，无法实现及时的信息反馈和及时的制作工艺调整，通常在一组制造任务完成之后才能进行分析，一旦工艺条件有问题，则会造成极大的浪费。另一方面，现有技术中人工分析方法过于依赖操作者的经验信息，且人工分析效率低，只能对CMOS图像传感器的测量数据进行简单扼要的分析，无法对其进行充分完整的分析，进而无法准确确定白色像素的分布模式。

人工智能分析领域在集成电路中的应用越来越多，且人工智能分析方法可以快速准确地分析图像传感器的制备工艺以及性能指标，为图像传感器的进一步改善研发提供了便利，若能将人工智能分析应用在白色像素分布模式分析上，必然会进一步提升CMOS图像传感器的制造良率。

发明内容

本发明的目的是提供一种CMOS图像传感器中白色像素分布的分析装置及方法，可以及时反馈工艺制造信息并调整制造工艺条件，提升CMOS图像传感器像素的制造良率，减小不必要的损失。

为了实现上述目的，本发明采用如下技术方案：一种CMOS图像传感器中白色像素分布的分析方法，包括如下步骤：

S01：CMOS图像传感器的测量数据经过数据输入模块传输至预处理模块；所述CMOS图像传感器的测量数据基于该CMOS图像传感器输出图像的像素值获得；

S02：所述预处理模块根据白色像素阈值将测量数据转换为二值图，并传输至筛选模块；

S03：所述筛选模块去除白色像素分布均匀的二值图，并将剩余的二值图传输至特征提取模块；

S04：所述特征提取模块在二值图中提取出白色像素分布特征，并将白色像素分布特征传输至分类模块；

S05：所述分类模块对所述白色像素分布特征进行聚类分组，并定义每个类的白色像素分布模式，再将聚类分组结果及其对应的白色像素分布模式传输至分析模块；

S06：所述分析模块根据白色像素分布模式规律以及CMOS图像传感器的制作工艺之间的关系，得出关于白色像素分布模式与相关工艺原因之间关系的知识库。

进一步地，所述步骤S02中预处理模块确定至少一个白色像素阈值，所述预处理模块根据白色像素阈值将CMOS图像传感器的测量数据转换为至少一个二值图。

进一步地，所述步骤S02中预处理模块确定9个白色像素阈值的具体方法为：当CMOS图像传感器的测量数据累积百分比分别达到、10％、20％、30％、40％、50％、60％、70％、80％、90％时，其对应的测量数据即为白色像素阈值，其中，

进一步地，所述步骤S03具体为：将二值图进行方形内核扫描，统计每个方形内核中白色像素的数量，若该二值图中各个方形内核中白色像素的数量均匀分布，则去除该二值图；否则保留二值图并将其传输至特征提取模块。

进一步地，所述步骤S03具体为：将二值图进行扇形内核扫描，统计每个扇形内核中白色像素的数量，若该二值图中各个扇形内核中白色像素的数量均匀分布，则去除该二值图；否则保留二值图并将其传输至特征提取模块。

进一步地，所述步骤S03具体包括：

S031：将二值图进行方形内核扫描，统计每个方形内核中白色像素的数量；

S032：将二值图进行扇形内核扫描，统计每个扇形内核中白色像素的数量，分析方形内核和扇形内核中白色像素的分布规律，若二值图中扇形内核和方形内核中白色像素均匀分布，则去除该二值图；否则保留二值图并将其传输至特征提取模块。

进一步地，所述步骤S04中特征提取模块采用无监督学习方法在二值图中提取出白色像素分布特征。

进一步地，所述步骤S04中特征提取模块采用自编码器在二值图中提取出分布特征，所述自编码器包括三层的编码器和三层的解码器。

进一步地，还包括：

S07：对于待分析的CMOS图像传感器，重复步骤S01-S04，得出待分析的CMOS图像传感器对应的白色像素分布特征；

S08：所述分类模块将白色像素分布特征与聚类分组中每一类的聚类中心进行相似性计算，若与各类均不相似，则建立一个新类；否则将该分类特征归入最相似的类；

S09：所述分析模块根据该类的白色像素分布模式在知识库中找出造成该类白色像素分布模式的工艺原因，并反馈给工艺控制系统。

一种CMOS图像传感器中白色像素分布的分析装置，包括数据输入模块、预处理模块、筛选模块、特征提取模块、分类模块和分析模块，CMOS图像传感器的测量数据经过所述数据输入模块传输至所述预处理模块，所述预处理模块根据白色像素阈值将测量数据转换为二值图，并传输至筛选模块；所述筛选模块去除白色像素分布均匀的二值图，并将剩余的二值图传输至特征提取模块，所述特征提取模块在二值图中提取出白色像素分布特征，并将白色像素分布特征传输至分类模块；

对于用于形成知识库的CMOS图像传感器，所述分类模块对所述白色像素分布特征进行聚类分组，并定义每个类的白色像素分布模式，再将聚类分组结果及其对应的白色像素分布模式传输至分析模块；所述分析模块根据白色像素分布模式规律以及CMOS图像传感器的制作工艺之间的关系，得出关于白色像素分布模式与相关工艺原因之间关系的知识库；

对于待分析的CMOS图像传感器，所述分类模块将其对应的白色像素分布特征与聚类分组中每一类的聚类中心进行相似性计算，若与各类均不相似，则建立一个新类；否则将该分类特征归入最相似的类；所述分析模块根据该类的白色像素分布模式在知识库中找出造成该类白色像素分布模式的工艺原因，并反馈给工艺控制系统。。

本发明具有如下优势：本发明通过对多个CMOS图像传感器中白色像素分布特征的聚类分组、白色像素分布模式规律分析，并结合制作工艺信息，可以找出造成各种白色像素分布的工艺原因，并以此形成知识库；再对新的CMOS图像传感器进行分析时，可以在获得其对应的白色像素分布模式之后，直接利用知识库中信息，迅速找出对应的工艺原因，及时反馈信息并调整制造工艺条件，提升CIS图像传感器像素的制造良率，减小不必要的损失；本发明采用人工智能分析方法实现白色像素分布特征的提取和聚类，使得整个提取分析过程快速准确，进一步提高了CMOS图像传感器中针对白色像素的分析效率。

附图说明

图1为本发明一种CMOS图像传感器中白色像素分布的分析方法流程图；

图2为实施例中白色像素二值图示例；

图3为实施例中白色像素二值图分布采用方形内核扫描示意图；

图4为实施例中白色像素二值图分布采用扇形内核扫描示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明的具体实施方式做进一步的详细说明。

如附图1所示，本发明提供的一种CMOS图像传感器中白色像素分布的分析方法，包括如下步骤：

S01：CMOS图像传感器的测量数据经过数据输入模块传输至预处理模块。CMOS图像传感器的测量数据基于该CMOS图像传感器输出图像的像素值获得；在实际应用中，CMOS图像传感器的测量数据可以为基于该CMOS图像传感器输出图像的像素值得到的统计值。

S02：预处理模块根据白色像素阈值将测量数据转换为二值图，并传输至筛选模块。

对于设计者关注的CIS的某个设计指标，只要其测量数据超过某个设定的阈值，即可认为其是一个白色像素。在传统的人工分析中，由于资源和时间的限制，只能对测量数据进行分析后，确定白色像素阈值，进而来定位白色像素在硅片上的分布，并对其分布模式进行分析。但实际上，即使测量数据正常的图像，其测量数据也可能表现出某种分布，反映出某种工艺条件下的风险。因此，本发明基于计算机的高效性，以数学意义上的阈值作为确定白色像素的标准，优选的，预处理模块先确定至少一个白色像素阈值，之后预处理模块根据白色像素阈值将CMOS图像传感器的测量数据转换为至少一个二值图。

具体的，作为一种优选的实施例，预处理模块确定白色像素阈值的方法为：当测量数据的累积百分比，达到某个设定的值时，将对应的测量数据作为确定白色像素的阈值。例如当累积百分比达到10％时，其对应的测量数据作为白色像素阈值，并记为p10。为了充分分析白色像素分布的模式，并考虑到实际需要，本发明中设定的白色像素阈值分别为p10、p20、p30、p40、p50、p60、p70、p80、p90共9个值。其中，

本发明也可以根据实际需求设置不同个数的白色像素阈值。

以一个CMOS图像传感器所在的硅片为例，其测量数据大于白色像素阈值的测量数据对应的数据点即为白色像素，其他的测量数据对应的数据点则为正常像素，硅片上的像素分布图转化为描述白色像素分布的0-1二值图。基于上述的9个白色像素阈值，一片硅片会生成9张白色像素二值分布图。图2中所示即为实施例中二值化后白色像素分布图示例。

S03：筛选模块去除白色像素分布均匀的二值图，并将剩余的二值图传输至特征提取模块。

优选的，本发明中可以采用如下三种实施例对白色像素二值图进行筛选，实施例一：将二值图进行方形内核(kernel)扫描，统计每个方形内核中白色像素的数量，若该二值图中各个方形内核中白色像素的数量均匀分布，则去除该二值图；否则保留二值图并将其传输至特征提取模块。具体的实施例中，如附图3所示，可以对白色像素二值图进行5x5的方形内核扫描，步长为2，统计每个方形内核中的白色像素的数量，如果其分布均匀，则这些图片具有一定分布模式的概率较低，将不参与后续的特征提取和分类，予以去除。

实施例二：将二值图进行扇形内核扫描，统计每个扇形内核中白色像素的数量，若该二值图中各个扇形内核中白色像素的数量均匀分布，则去除该二值图；否则保留二值图并将其传输至特征提取模块。具体的实施例中，如附图4所示，对白色像素二值图进行扇形扫描，扇形的角度为20度，步长为5度，本实施例可以得到72个扇形的扫描结果，然后统计每个扇形中白像素的数目，如果其分布均匀，则这些图片具有一定分布模式的概率较低，将不参与后续的特征提取和分类，予以去除。

实施例三：先将二值图进行方形内核扫描，统计每个方形内核中白色像素的数量；再将二值图进行扇形内核扫描，统计每个扇形内核中白色像素的数量，综合分析方形内核和扇形内核中白色像素的分布规律，若二值图中扇形内核和方形内核中白色像素均匀分布，则去除该二值图；否则保留二值图并将其传输至特征提取模块。

除了上述优先的三种实施例之外，现有技术中任意形状的内核扫描均可以用来对二值图进行扫描，只需确保二值图被内核完全扫描即可，除了上述的方形内核、扇形内核以外，三角形内核、梯形内核以及同心圆内核均可以用来实现上述二值图的扫描，之后再采用如上述实施例中方法对每个内核中白色像素的个数进行分析。

需要说明的是，本发明中提及的白色像素均匀分布指的是在每个扫描区间内，白色像素的个数相差较小，根据大量测量数据的统计，可以给出一个判定是否分布均匀的阈值，并以此判断白色像素是否均匀分布。

S04：特征提取模块在二值图中提取出白色像素分布特征，并将白色像素分布特征传输至分类模块；

将筛选之后剩余的白色像素二值图构建为数据集，用于进行白色像素分布模式分类的学习和验证。本发明优选的使用人工智能分析方法实现白色像素特征的提取。具体的，本发明使用无监督学习方法对二值图进行白色像素分布特征提取。在本专利的实施例中，应用一个由三层的编码器和三层的解码器组成的自编码器对白色像素二值图进行训练，提取出白色像素分布特征。

S05：分类模块对白色像素分布特征进行聚类分组，并定义每个类的白色像素分布模式，再将聚类分组结果及其对应的白色像素分布模式传输至分析模块。

在提取出白色像素分布特征后，应用聚类算法对白色像素分布特征进行聚类，尽可能的提高类内的相似性，将极相似的白色像素分布特征聚为一类，以提高分类的准确性。由此，聚类后所得的分类数量较多，本专利的实施例中聚类后被分成了180类。然后，基于各类中白像素的分布模式，对其打上相应的标签，聚类所得的各类可以具有相同的标签，这样实现了聚类结果到实际白色像素分布模式的映射。

S06：分析模块根据白色像素分布模式规律以及CMOS图像传感器的制作工艺之间的关系，得出关于白色像素分布模式与相关工艺原因之间关系的知识库。

本步骤中基于上述所得的分布模式，可以进一步的分析多个CMOS图像传感器所在的硅片，比如一个制造批次中各硅片上白色像素分布模式的规律，如依据硅片编号的分布模式的奇偶性规律。依据各硅片上白色像素的分布模式，以及多个硅片上白色像素分布模式的规律，与其制造流程的工艺信息结合分析，可以找出造成相关白色像素分布的工艺原因。将这些信息建成知识库，则可以根据白色像素分布模式分析结果迅速找出其相关工艺原因，及时反馈信息并调整制造工艺条件，提升CMOS图像传感器像素的制造良率，减小不必要的损失。

S07：对于待分析的CMOS图像传感器，重复步骤S01-S04，得出待分析的CMOS图像传感器对应的白色像素分布特征；

S08：分类模块将白色像素分布特征与聚类分组中每一类的聚类中心进行相似性计算，若与各类均不相似，则待工程师对其确认后，建立一个新类，并给予分类标签；否则将该分类特征归入最相似的类。

S09：获得上述白色像素分类信息之后，分析模块根据该类的白色像素分布模式在知识库中找出造成该类白色像素分布模式的工艺原因，并反馈给工艺控制系统。

本发明提供的一种CMOS图像传感器中白色像素分布的分析装置，包括数据输入模块、预处理模块、筛选模块、特征提取模块、分类模块和分析模块，CMOS图像传感器的测量数据经过数据输入模块传输至预处理模块，预处理模块根据白色像素阈值将测量数据转换为二值图，并传输至筛选模块；筛选模块去除白色像素分布均匀的二值图，并将剩余的二值图传输至特征提取模块，特征提取模块在二值图中提取出白色像素分布特征，并将白色像素分布特征传输至分类模块；

对于用于形成知识库的CMOS图像传感器，分类模块对白色像素分布特征进行聚类分组，并定义每个类的白色像素分布模式，再将聚类分组结果及其对应的白色像素分布模式传输至分析模块；分析模块根据白色像素分布模式规律以及CMOS图像传感器的制作工艺之间的关系，得出关于白色像素分布模式与相关工艺原因之间关系的知识库；

对于待分析的CMOS图像传感器，所述分类模块将其对应的白色像素分布特征与聚类分组中每一类的聚类中心进行相似性计算，若与各类均不相似，则建立一个新类；否则将该分类特征归入最相似的类；所述分析模块根据该类的白色像素分布模式在知识库中找出造成该类白色像素分布模式的工艺原因，并反馈给工艺控制系统。

本发明通过对多个CMOS图像传感器中白色像素分布特征的聚类分组、白色像素分布模式规律分析，并结合制作工艺信息，可以找出造成各种白色像素分布的工艺原因，并以此形成知识库；再对新的CMOS图像传感器进行分析时，可以在获得其对应的白色像素分布模式之后，直接利用知识库中信息，迅速找出对应的工艺原因，及时反馈信息并调整制造工艺条件，提升CIS图像传感器像素的制造良率，减小不必要的损失；本发明采用人工智能分析方法实现白色像素分布特征的提取和聚类，使得整个提取分析过程快速准确，进一步提高了CMOS图像传感器中针对白色像素的分析效率。

以上所述仅为本发明的优选实施例，所述实施例并非用于限制本发明的专利保护范围，因此凡是运用本发明的说明书及附图内容所作的等同结构变化，同理均应包含在本发明所附权利要求的保护范围内。

Claims (10)

1.一种CMOS图像传感器中白色像素分布的分析方法，其特征在于，包括如下步骤：

S01：CMOS图像传感器的测量数据经过数据输入模块传输至预处理模块；所述CMOS图像传感器的测量数据基于该CMOS图像传感器输出图像的像素值获得；

S02：所述预处理模块根据白色像素阈值将测量数据转换为二值图，并传输至筛选模块；

S03：所述筛选模块去除白色像素分布均匀的二值图，并将剩余的二值图传输至特征提取模块；

S04：所述特征提取模块在二值图中提取出白色像素分布特征，并将白色像素分布特征传输至分类模块；

S05：所述分类模块对所述白色像素分布特征进行聚类分组，并定义每个类的白色像素分布模式，再将聚类分组结果及其对应的白色像素分布模式传输至分析模块；

S06：所述分析模块根据白色像素分布模式规律以及CMOS图像传感器的制作工艺之间的关系，得出关于白色像素分布模式与相关工艺原因之间关系的知识库。

2.根据权利要求1所述的一种CMOS图像传感器中白色像素分布的分析方法，其特征在于，所述步骤S02中预处理模块确定至少一个白色像素阈值，所述预处理模块根据白色像素阈值将CMOS图像传感器的测量数据转换为至少一个二值图。

3.根据权利要求2所述的一种CMOS图像传感器中白色像素分布的分析方法，其特征在于，所述步骤S02中预处理模块确定9个白色像素阈值的具体方法为：当CMOS图像传感器的测量数据累积百分比分别达到10％、20％、30％、40％、50％、60％、70％、80％、90％时，其对应的测量数据即为白色像素阈值，其中，

4.根据权利要求1所述的一种CMOS图像传感器中白色像素分布的分析方法，其特征在于，所述步骤S03具体为：将二值图进行方形内核扫描，统计每个方形内核中白色像素的数量，若该二值图中各个方形内核中白色像素的数量均匀分布，则去除该二值图；否则保留二值图并将其传输至特征提取模块。

5.根据权利要求1所述的一种CMOS图像传感器中白色像素分布的分析方法，其特征在于，所述步骤S03具体为：将二值图进行扇形内核扫描，统计每个扇形内核中白色像素的数量，若该二值图中各个扇形内核中白色像素的数量均匀分布，则去除该二值图；否则保留二值图并将其传输至特征提取模块。

6.根据权利要求1所述的一种CMOS图像传感器中白色像素分布的分析方法，其特征在于，所述步骤S03具体包括：

S031：将二值图进行方形内核扫描，统计每个方形内核中白色像素的数量；

S032：将二值图进行扇形内核扫描，统计每个扇形内核中白色像素的数量，分析方形内核和扇形内核中白色像素的分布规律，若二值图中扇形内核和方形内核中白色像素均匀分布，则去除该二值图；否则保留二值图并将其传输至特征提取模块。

7.根据权利要求1所述的一种CMOS图像传感器中白色像素分布的分析方法，其特征在于，所述步骤S04中特征提取模块采用无监督学习方法在二值图中提取出白色像素分布特征。

8.根据权利要求7所述的一种CMOS图像传感器中白色像素分布的分析方法，其特征在于，所述步骤S04中特征提取模块采用自编码器在二值图中提取出分布特征，所述自编码器包括三层的编码器和三层的解码器。

9.根据权利要求1所述的一种CMOS图像传感器中白色像素分布的分析方法，其特征在于，还包括：

S07：对于待分析的CMOS图像传感器，重复步骤S01-S04，得出待分析的CMOS图像传感器对应的白色像素分布特征；

S08：所述分类模块将白色像素分布特征与聚类分组中每一类的聚类中心进行相似性计算，若与各类均不相似，则建立一个新类；否则将该分类特征归入最相似的类；

S09：所述分析模块根据该类的白色像素分布模式在知识库中找出造成该类白色像素分布模式的工艺原因，并反馈给工艺控制系统。

10.一种CMOS图像传感器中白色像素分布的分析装置，其特征在于，包括数据输入模块、预处理模块、筛选模块、特征提取模块、分类模块和分析模块，CMOS图像传感器的测量数据经过所述数据输入模块传输至所述预处理模块，所述预处理模块根据白色像素阈值将测量数据转换为二值图，并传输至筛选模块；所述筛选模块去除白色像素分布均匀的二值图，并将剩余的二值图传输至特征提取模块，所述特征提取模块在二值图中提取出白色像素分布特征，并将白色像素分布特征传输至分类模块；

对于用于形成知识库的CMOS图像传感器，所述分类模块对所述白色像素分布特征进行聚类分组，并定义每个类的白色像素分布模式，再将聚类分组结果及其对应的白色像素分布模式传输至分析模块；所述分析模块根据白色像素分布模式规律以及CMOS图像传感器的制作工艺之间的关系，得出关于白色像素分布模式与相关工艺原因之间关系的知识库；

对于待分析的CMOS图像传感器，所述分类模块将其对应的白色像素分布特征与聚类分组中每一类的聚类中心进行相似性计算，若与各类均不相似，则建立一个新类；否则将该分类特征归入最相似的类；所述分析模块根据该类的白色像素分布模式在知识库中找出造成该类白色像素分布模式的工艺原因，并反馈给工艺控制系统。

Images