CN114334696A - 质量检测方法及装置、电子设备和计算机可读存储介质 - Google Patents
质量检测方法及装置、电子设备和计算机可读存储介质 Download PDFInfo
- Publication number
- CN114334696A CN114334696A CN202111653099.1A CN202111653099A CN114334696A CN 114334696 A CN114334696 A CN 114334696A CN 202111653099 A CN202111653099 A CN 202111653099A CN 114334696 A CN114334696 A CN 114334696A
- Authority
- CN
- China
- Prior art keywords
- feature information
- target
- information set
- value
- quality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 37
- 238000003860 storage Methods 0.000 title claims abstract description 11
- 238000000034 method Methods 0.000 claims abstract description 29
- 238000007689 inspection Methods 0.000 claims abstract description 26
- 238000010276 construction Methods 0.000 claims abstract description 18
- 238000007781 pre-processing Methods 0.000 claims abstract description 18
- 230000002159 abnormal effect Effects 0.000 claims description 29
- 238000012545 processing Methods 0.000 claims description 11
- 238000012163 sequencing technique Methods 0.000 claims description 10
- 238000012549 training Methods 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 claims description 6
- 238000004949 mass spectrometry Methods 0.000 claims 1
- 238000004519 manufacturing process Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 239000004065 semiconductor Substances 0.000 description 6
- 238000009826 distribution Methods 0.000 description 5
- 230000007547 defect Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 238000003062 neural network model Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 241000699670 Mus sp. Species 0.000 description 1
- 208000025174 PANDAS Diseases 0.000 description 1
- 208000021155 Paediatric autoimmune neuropsychiatric disorders associated with streptococcal infection Diseases 0.000 description 1
- 240000000220 Panda oleosa Species 0.000 description 1
- 235000016496 Panda oleosa Nutrition 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本申请提出了一种质量检测方法及装置、电子设备和计算机可读存储介质,其中,该方法包括:获取目标产品的第一特征信息集合;按照预定的信息预处理方式对所述第一特征信息集合进行预处理,生成第二特征信息集合;根据预定的特征构建规则和所述第二特征信息集合,生成第三特征信息集合;基于所述第三特征信息集合、catboost模型和LightGBM模型,确定所述目标产品是否为质量合格产品。通过本申请的技术方案,扩大了产品质量检验的覆盖范围,增加了产品指令检验的准确性。
Description
【技术领域】
本申请涉及工业制造技术领域,尤其涉及一种质量检测方法及装置、电子设备和计算机可读存储介质。
【背景技术】
半导体工业在现代工业制造领域占据着举足轻重的地位,半导体产品的质量检测也就成为重中之重。一般地,由于半导体产品的生产过程复杂,所涉及工序往往上百,且最终成品数量巨大,为降低检验成本,往往通过抽检的方式抽取少量半导体产品进行人工检验。
然而,首先,由于抽检方式自身的片面性,很容易导致漏检情况发生,使不合格产品流出。再者,对成品进行抽检时,若检测出质量不合格的产品,由于产品已生产完成,一旦发现产品质量不合格是由于生产过程中的某一工序所导致,那么就说明当前获得的成品中有大量成品具有相同缺陷。换言之,这种事后抽检的方式,无法及时识别质量不合格的情况,往往因错过对后续生产行为的修正时机而产生大量质量不合格产品。
因此,如何提供一种及时、快捷、全面的产品质量检验方法,成为目前亟待解决的技术问题。
【发明内容】
本申请实施例提供了一种质量检测方法及装置、电子设备和计算机可读存储介质,旨在解决相关技术中采用抽检方式检验产品质量时缺乏全面性和及时性的技术问题。
第一方面,本申请实施例提供了一种质量检测方法,包括:获取目标产品的第一特征信息集合;按照预定的信息预处理方式对所述第一特征信息集合进行预处理,生成第二特征信息集合;根据预定的特征构建规则和所述第二特征信息集合,生成第三特征信息集合;基于所述第三特征信息集合、catboost模型和LightGBM模型,确定所述目标产品是否为质量合格产品,其中,所述catboost模型和所述LightGBM模型均由样本产品的第三特征信息集合和质量预测值训练得到。
在本申请上述实施例中,可选地,所述按照预定的信息预处理方式对所述第一特征信息集合进行预处理,生成第二特征信息集合的步骤,包括:对于所述第一特征信息集合中连续型的特征信息,若所述特征信息包括异常值,则删除所述异常值或以填充值替换所述异常值,若所述特征信息包括缺失值,则将所述填充值设置为所述缺失值;在完成对所述异常值和/或所述缺失值的处理后,对所述连续型的特征信息进行归一化处理;以及基于one-hot编码方式,对所述第一特征信息集合中离散型的特征信息进行编码。
在本申请上述实施例中,可选地,设置所述填充值的方式包括:对于所述第一特征信息集合中的每项特征信息,基于所述特征信息中所述缺失值的占比,在多种预设填充方式中选择与所述占比相匹配的目标填充方式,并基于所述目标填充方式生成所述填充值。
在本申请上述实施例中,可选地,所述根据预定的特征构建规则和所述第二特征信息集合,生成第三特征信息集合的步骤,包括:基于所述第二特征信息集合中每种特征信息与所述目标产品的质量相关度,在所述第二特征信息集合中确定多种与所述目标产品的质量相关联的第一目标特征信息;按照每种所述第一目标特征信息的信息量由高至低的顺序,选择前指定数量的所述第一目标特征信息作为第二目标特征信息;基于预定的特征构建规则,对所述第二目标特征信息中的任一项或多项特征信息进行处理,得到新增目标特征信息,并将所述新增目标特征信息和所述第二目标特征信息设置为第三目标特征信息;对所述第三目标特征信息中的每项特征信息按照重要度的高低进行排序,得到所述第三特征信息集合。
在本申请上述实施例中,可选地,所述对所述第三目标特征信息中的每项特征信息按照重要度的高低进行排序,得到所述第三特征信息集合的步骤,包括:对于所述第三目标特征信息中的每项特征信息,基于catboost模型、LightGBM模型和残差分析,分别确定所述特征信息的第一权重、第二权重和第三权重;基于所述特征信息的第一权重、第二权重和第三权重,确定所述特征信息的重要度;按照所述重要度由高至低的顺序对所述第三目标特征信息中的每项特征信息进行排序,得到所述第三特征信息集合。
在本申请上述实施例中,可选地,所述基于所述第三特征信息集合、catboost模型和LightGBM模型,确定所述目标产品是否为质量合格产品的步骤,包括:基于所述第三特征信息集合和所述catboost模型,确定所述目标产品的第一质量预测值,以及基于所述第三特征信息集合和所述LightGBM模型,确定所述目标产品的第二质量预测值;若所述第一质量预测值大于或等于第一阈值,且所述第二质量预测值大于第二阈值,或者,若所述第一质量预测值小于所述第一阈值,且所述第二质量预测值大于或等于第三阈值,确定所述目标产品为质量合格产品,否则,确定所述目标产品为质量不合格产品,其中,所述第二阈值小于所述第一阈值和所述第三阈值,所述第三阈值大于所述第一阈值。
第二方面,本申请实施例提供了一种质量检测装置,包括:第一特征信息获取单元,用于获取目标产品的第一特征信息集合;第二特征信息获取单元,用于按照预定的信息预处理方式对所述第一特征信息集合进行预处理,生成第二特征信息集合;第三特征信息获取单元,用于根据预定的特征构建规则和所述第二特征信息集合,生成第三特征信息集合;质量检测单元,用于基于所述第三特征信息集合、catboost模型和LightGBM模型,确定所述目标产品是否为质量合格产品,其中,所述catboost模型和所述LightGBM模型均由样本产品的第三特征信息集合和质量预测值训练得到。
在本申请上述实施例中,可选地,所述第二特征信息获取单元用于:对于所述第一特征信息集合中连续型的特征信息,若所述特征信息包括异常值,则删除所述异常值或以填充值替换所述异常值,若所述特征信息包括缺失值,则将所述填充值设置为所述缺失值;在完成对所述异常值和/或所述缺失值的处理后,对所述连续型的特征信息进行归一化处理;以及基于one-hot编码方式,对所述第一特征信息集合中离散型的特征信息进行编码。
在本申请上述实施例中,可选地,还包括:填充值设置单元,用于对于所述第一特征信息集合中的每项特征信息,基于所述特征信息中所述缺失值的占比,在多种预设填充方式中选择与所述占比相匹配的目标填充方式,并基于所述目标填充方式生成所述填充值。
在本申请上述实施例中,可选地,所述第三特征信息获取单元用于:基于所述第二特征信息集合中每种特征信息与所述目标产品的质量相关度,在所述第二特征信息集合中确定多种与所述目标产品的质量相关联的第一目标特征信息;按照每种所述第一目标特征信息的信息量由高至低的顺序,选择前指定数量的所述第一目标特征信息作为第二目标特征信息;基于预定的特征构建规则,对所述第二目标特征信息中的任一项或多项特征信息进行处理,得到新增目标特征信息,并将所述新增目标特征信息和所述第二目标特征信息设置为第三目标特征信息;对所述第三目标特征信息中的每项特征信息按照重要度的高低进行排序,得到所述第三特征信息集合。
在本申请上述实施例中,可选地,所述第三特征信息获取单元用于:对于所述第三目标特征信息中的每项特征信息,基于catboost模型、LightGBM模型和残差分析,分别确定所述特征信息的第一权重、第二权重和第三权重;基于所述特征信息的第一权重、第二权重和第三权重,确定所述特征信息的重要度;按照所述重要度由高至低的顺序对所述第三目标特征信息中的每项特征信息进行排序,得到所述第三特征信息集合。
在本申请上述实施例中,可选地,所述质量检测单元用于:基于所述第三特征信息集合和所述catboost模型,确定所述目标产品的第一质量预测值,以及基于所述第三特征信息集合和所述LightGBM模型,确定所述目标产品的第二质量预测值;若所述第一质量预测值大于或等于第一阈值,且所述第二质量预测值大于第二阈值,或者,若所述第一质量预测值小于所述第一阈值,且所述第二质量预测值大于或等于第三阈值,确定所述目标产品为质量合格产品,否则,确定所述目标产品为质量不合格产品,其中,所述第二阈值小于所述第一阈值和所述第三阈值,所述第三阈值大于所述第一阈值。
第三方面,本申请实施例提供了一种电子设备,包括:至少一个处理器;以及,与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被设置为用于执行上述第一方面中任一项所述的方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,存储有计算机可执行指令,所述计算机可执行指令用于执行上述第一方面中任一项所述的方法流程。
以上技术方案,针对相关技术中采用抽检方式检验产品质量时缺乏全面性和及时性的技术问题,可通过神经网络模型的方式高效准确地判断每个目标产品合格与否,扩大了产品质量检验的覆盖范围,增加了产品指令检验的准确性,且针对每个产品进行检测的方式可以在产品生产过程中及时获悉产品的质量缺陷,从而便于及时对生产线止损和改进,在整体上提升产品质量。
【附图说明】
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1示出了根据本申请的一个实施例的质量检测方法的流程图;
图2示出了根据本申请的一个实施例的特征信息分布图;
图3示出了根据本申请的另一个实施例的特征信息分布图;
图4示出了根据本申请的一个实施例的质量检测装置的框图;
图5示出了根据本申请的一个实施例的电子设备的框图。
【具体实施方式】
为了更好的理解本申请的技术方案,下面结合附图对本申请实施例进行详细描述。
应当明确,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
在本申请实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。
图1示出了根据本申请的一个实施例的质量检测方法的流程图。
如图1所示,根据本申请的一个实施例的质量检测方法包括:
步骤102,获取目标产品的第一特征信息集合。
其中,目标产品包括但不限于半导体产品,目标产品是基于多种工序生产的,且自身因生产过程的差异性具有不同的特性,则第一特征信息集合包括多种工序的时间信息、操作内容信息以及目标产品本身的外观信息,目标产品本身的外观信息包括但不限于长度、宽度、高度等各种边长、体积、形状、重量、密度等各式各样的参数信息。当然,目标产品的类型以及目标产品的第一特征信息集合均可基于实际的产品质量检验需求进行设置,而不限于上述列举的内容。
具体地,可通过python的第三方包matplotlib、numpy、pandas等应用对目标产品生产过程中所产生的原始数据集内各个特征信息的分布进行可视化,基于可视化的结果,将分布范围广、分布密集的特征信息作为对目标产品具有足够影响的因素,加入第一特征信息集合中。由此,可准确有效地获取对目标产品具有足够影响的特征信息,用以后续的质量检验步骤,这一对特征信息的初步筛选,有助于提升基于产品的特征信息进行质量检测的准确性。
步骤104,按照预定的信息预处理方式对所述第一特征信息集合进行预处理,生成第二特征信息集合。
此时,需基于预定的信息预处理方式对所述第一特征信息集合进行二次筛选,以进一步提升特征信息的有效性,从而间接提升后续步骤中质量检测的准确性。
具体地,第一特征信息集合包括连续型的特征信息,也包括离散型的特征信息。对于所述第一特征信息集合中连续型的特征信息,可进行替换、填充等操作,以提升其准确性。
具体地,可将特征信息中的连续型数值与预定的异常值范围进行匹配,若该连续型数值处于预定的异常值范围内,说明该连续型数值为异常值,或者说该特征信息包括异常值。
在一种可能的设计中,对于异常值,可直接采取删除操作,以消除异常值对该特征信息的整体影响。
在另一种可能的设计中,还能够以填充值替换所述异常值。填充值为与异常值相对的、处于正常值范围内的数值,以填充值替换所述异常值,可以在消除异常值对该特征信息的整体影响,避免因删除产生的信息缺失对特征信息带来的负面影响。
另外,还可检测将特征信息是否具有空位,或者说,检测特征信息是否包括缺失值,若特征信息包括缺失值,可将所述填充值设置为所述缺失值,以避免因缺失值造成特征信息不完整所带来的特征信息不准确问题,且以填充值这种处于正常值范围内的数值作为缺失值,可尽量减少该特征信息与同等条件下未产生缺失值的特征信息的差异,提升了特征信息的可靠性,有助于提升基于产品的特征信息进行质量检测的准确性。
需要知晓,不同类型的特征信息,具有自身类型对应的指定的填充值。且每种类型的特征信息的填充值不同。
其中,设置所述填充值的方式包括:对于所述第一特征信息集合中的每项特征信息,基于所述特征信息中所述缺失值的占比,在多种预设填充方式中选择与所述占比相匹配的目标填充方式,并基于所述目标填充方式生成所述填充值。
多种预设填充方式包括Nuclear、MICE、最近邻填充三种,其中,为每种预设填充方式设置对应的预定缺失值占比范围,若特征信息中实际的缺失值的占比处于任一预设填充方式对应的预定缺失值占比范围内,则将该预设填充方式设置为目标填充方式,用以生成填充值。
最终,在完成对所述异常值和/或所述缺失值的处理后,对所述连续型的特征信息进行归一化处理,使不同类型的连续型特征信息处于相同量级下,避免因信息量纲不同导致收敛困难。
而对于所述第一特征信息集合中离散型的特征信息,可基于one-hot编码方式,对所述第一特征信息集合中离散型的特征信息进行编码,为其赋予对应的编码内容,使其能够与连续型的特征信息一同作为有效数据,为产品质量检测提供便利。
当然,在对所述异常值和/或所述缺失值进行处理之前,以及在进行one-hot编码之前,还可以对第一特征信息集合中的特征信息进行去重处理,在此处不再赘述。
步骤106,根据预定的特征构建规则和所述第二特征信息集合,生成第三特征信息集合。
预定的特征构建规则用于对步骤104所得的第二特征信息集合进行再次整合,其可在第二特征信息集合中进一步筛选有效的特征信息加入第三特征信息集合,也可将第二特征信息集合中有效的特征信息通过各种不同的计算方式组合成新的有效特征信息,并将其加入第三特征信息集合。
具体地,首先,基于所述第二特征信息集合中每种特征信息与所述目标产品的质量相关度,在所述第二特征信息集合中确定多种与所述目标产品的质量相关联的第一目标特征信息。其中,可使用第三方库seaborn和matplotlib画出第二特征信息集合中各个特信息与所述目标产品的热度关联图像,基于该热度关联图像,在第二特征信息集合中确定与所述目标产品的质量相关度足够高的第一目标特征信息。
换言之,即对于第二特征信息集合中每种特征信息,若其与目标产品的质量相关度达到指定相关度阈值,说明其在一定程度上对目标产品的质量产生影响,可将其筛选为第一目标特征信息。
其次,按照每种所述第一目标特征信息的信息量由高至低的顺序,选择前指定数量的所述第一目标特征信息作为第二目标特征信息。
由于目标产品可能经由几百道工序生产所得,每道工序的操作内容、时间消耗等信息均作为一种特征信息,这就造成目标产品的特征信息数量巨大。对此,为减少系统资源的浪费,提升质量检测的效率,可仅在一定程度上对目标产品的质量产生影响的大量第一目标特征信息中选取对产品质量的影响力最大的部分特征信息,作为第二目标特征信息。
具体地,可选取特征信息的信息量(Information Value,IV)来表示特征信息对产品质量的影响力,即按照每种所述第一目标特征信息的信息量由高至低的顺序,选择前指定数量的所述第一目标特征信息作为第二目标特征信息。可选地,指定数量为100。当然,指定数量还可以为符合实际质量检测需求和系统资源能力的任何其他数值。
第三,基于预定的特征构建规则,对所述第二目标特征信息中的任一项或多项特征信息进行处理,得到新增目标特征信息,并将所述新增目标特征信息和所述第二目标特征信息设置为第三目标特征信息。
预定的特征构建规则包括但不限于加、减、乘、除等运算,通过预定的特征构建规则将第二目标特征信息中多项特征信息进行整合,或通过预定的特征构建规则将第二目标特征信息中单项特征信息与自身进行整合,可以得到新增目标特征信息。由于新增目标特征信息是基于第二目标特征信息中对产品质量的影响力足够大的特征信息整合而来,那么新增目标特征信息也对产品质量具有足够高的影响力。故可将将所述新增目标特征信息和所述第二目标特征信息设置为第三目标特征信息。
第四,对第三目标特征信息进行进一步的调整,以最大限度地提升其在质量检测过程中的有效性。具体地,对所述第三目标特征信息中的每项特征信息按照重要度的高低进行排序,得到所述第三特征信息集合,特征信息的重要度代表了特征信息在质量检测过程中的影响力水平,对第三目标特征信息进行重新排序后,在质量检测过程中的影响力越大的特征信息,在最终的第三特征信息集合中排名越靠前。
具体来说,对于所述第三目标特征信息中的每项特征信息,基于catboost模型、LightGBM模型和残差分析,分别确定所述特征信息的第一权重、第二权重和第三权重;基于所述特征信息的第一权重、第二权重和第三权重,确定所述特征信息的重要度;按照所述重要度由高至低的顺序对所述第三目标特征信息中的每项特征信息进行排序,得到所述第三特征信息集合。
其中,所述catboost模型和所述LightGBM模型均由样本产品的第三特征信息集合和质量预测值训练得到。基于所述第三目标特征信息中的每项特征信息和catboost模型可得到只考虑该单项特征信息对产品质量的影响且只使用catboost模型时该单项特征信息对应的质量预测值,此时,可将该单项特征信息对应的质量预测值作为该单项特征信息对应的第一权重。
同理,基于所述第三目标特征信息中的每项特征信息和LightGBM模型可得到只考虑该单项特征信息对产品质量的影响且只使用LightGBM模型时该单项特征信息对应的质量预测值,此时,可将该单项特征信息对应的质量预测值作为该单项特征信息对应的第二权重。
再者,通过残差分析的方式确定特征信息的第三权重。至此,从三个不同的角度获得了该单项特征信息对产品质量的影响,故可根据第一权重、第二权重和第三权重,以包括但不限于加权平均的方式,确定该单项特征信息的重要度。
最终,按照所述重要度由高至低的顺序,对所述第三目标特征信息中的每项特征信息进行排序,得到所述第三特征信息集合。这样,第三特征信息集合的每种特征信息均为对产品质量产生重大影响的有效特征信息,且其排序先后代表了对产品质量产生影响的高低。
在执行步骤104之前,第一特征信息集合中各特征信息的分布如图2所示,其中,横坐标代表特征信息的数量,纵坐标代表特征信息对目标产品影响水平的高低。而在执行步骤106之后,对特征信息进行层层筛选和整合后,所得的第三特征信息集合中各特征信息的分布如图3所示。图3中,每个柱状图表示一项特征信息,柱状图的高度则表示特征信息的信息量。对比图2和图3可知,在经过步骤104至步骤106的整合和筛选后,大量去除了对产品质量影响较低的特征信息,使得最终参与产品质量检测的特征信息少而精,即数量少且对产品质量影响力大,有助于提升后续的产品质量判断的准确性和有效性。
步骤108,基于所述第三特征信息集合、catboost模型和LightGBM模型,确定所述目标产品是否为质量合格产品。
其中,所述catboost模型和所述LightGBM模型均由样本产品的第三特征信息集合和质量预测值训练得到。
也就是说,以第三特征信息集合中的多种特征信息为输入,通过catboost模型确定目标产品的第一质量预测值,再以第三特征信息集合中的多种特征信息为输入,通过LightGBM模型确定目标产品的第二质量预测值,综合第一质量预测值和第二质量预测值来最终判断目标产品是否为质量合格产品。
在一种可能的设计中,由于catboost模型在小样本学习中表现更为优良,为适应本申请中第三特征信息集合中的多种特征信息数量有限的情况,可采用catboost模型作为主模型,同时,以LightGBM模型作为辅助模型。
具体地,基于所述第三特征信息集合和所述catboost模型,确定所述目标产品的第一质量预测值,以及基于所述第三特征信息集合和所述LightGBM模型,确定所述目标产品的第二质量预测值;若所述第一质量预测值大于或等于第一阈值,且所述第二质量预测值大于第二阈值,或者,若所述第一质量预测值小于所述第一阈值,且所述第二质量预测值大于或等于第三阈值,确定所述目标产品为质量合格产品,否则,确定所述目标产品为质量不合格产品,其中,所述第二阈值小于所述第一阈值和所述第三阈值,所述第三阈值大于所述第一阈值。
第一阈值表示在catboost模型的检验下目标产品可能成为质量合格产品时所需的最低质量水平,第二阈值表示在LightGBM模型的检验下目标产品为质量不合格产品时的最高质量水平,因此,若所述第一质量预测值大于或等于第一阈值,且所述第二质量预测值大于第二阈值,说明在catboost模型的检验下目标产品具有足够的合格可能性,且在LightGBM模型的检验下目标产品合格,这样,即可判断目标产品为质量合格产品。
或者,第三阈值表示在LightGBM模型的检验下目标产品为质量合格产品时的最低质量水平,因此,若所述第一质量预测值小于所述第一阈值,且所述第二质量预测值大于或等于第三阈值,说明在catboost模型的检验下目标产品合格可能性不足,但却在LightGBM模型的检验下具有较高质量,这样,即可判断综合目标产品为质量合格产品。
由此可知,最终的质量检验结果是将catboost模型的输出结果和LightGBM模型的输出结果综合考量后得到的。
在一种可能的设计中,第一阈值可选为0.5,第二阈值可选为0.25,第三阈值可选为0.75,即若所述第一质量预测值大于或等于0.5,且所述第二质量预测值大于0.25,确定所述目标产品为质量合格产品,或者,若所述第一质量预测值小于0.5,但所述第二质量预测值小于或等于0.25,确定所述目标产品为质量合格产品。否则,确定所述目标产品为质量不合格产品。
当然,第一阈值、第二阈值、第三阈值可基于实际质量检测标准进行设置,而不限于上述实例。
以上技术方案,针对相关技术中采用抽检方式检验产品质量时缺乏全面性和及时性的技术问题,可通过神经网络模型的方式高效准确地判断每个目标产品合格与否,扩大了产品质量检验的覆盖范围,增加了产品指令检验的准确性,且针对每个产品进行检测的方式可以在产品生产过程中及时获悉产品的质量缺陷,从而便于及时对生产线止损和改进,在整体上提升产品质量。
需要补充的是,对于catboost模型的输出结果和LightGBM模型的输出结果,可采用均方方差MSE进行评价,其中,
其中n为样本产品的个数,SSE为和方差,其中,SSE的计算公式为:
其中yi是样本产品的实际质量结果,yi是模型的输出结果,wi>0,SSE越接近0,说明模型的效果越好,模型的输出结果越准确。
在相关技术的开源数据集中,各神经网络模型的MSE数值如下表1所示。
模型 | MSE |
LR | 0.0778 |
GBDT | 0.05090 |
Xboost | 0.0459 |
LightGBM | 0.0462 |
catboost | 0.0455 |
Catboost+LightGBM | 0.0453 |
表1
由此可知,以catboost模型和LightGBM模型级联的方式进行盒质量检测可获得最小的MSE数值,换言之,以catboost模型和LightGBM模型级联的方式可获得更高的产品质量检测准确性。
另外,在选择使用catboost模型和LightGBM模型后,训练过程中,可通过缩小catboost模型的参数选择范围,经手工和/或网格搜索调参方法(GridSearchCV)对catboost模型进行参数调优,直到在测试集上达到模型检测的输出结果与测试集的实际质量水平一致。
图4示出了根据本申请的一个实施例的质量检测装置的框图。
如图4所示,根据本申请的一个实施例的质量检测装置400包括:第一特征信息获取单元402,用于获取目标产品的第一特征信息集合;第二特征信息获取单元404,用于按照预定的信息预处理方式对所述第一特征信息集合进行预处理,生成第二特征信息集合;第三特征信息获取单元406,用于根据预定的特征构建规则和所述第二特征信息集合,生成第三特征信息集合;质量检测单元408,用于基于所述第三特征信息集合、catboost模型和LightGBM模型,确定所述目标产品是否为质量合格产品,其中,所述catboost模型和所述LightGBM模型均由样本产品的第三特征信息集合和质量预测值训练得到。
在本申请上述实施例中,可选地,所述第二特征信息获取单元404用于:对于所述第一特征信息集合中连续型的特征信息,若所述特征信息包括异常值,则删除所述异常值或以填充值替换所述异常值,若所述特征信息包括缺失值,则将所述填充值设置为所述缺失值;在完成对所述异常值和/或所述缺失值的处理后,对所述连续型的特征信息进行归一化处理;以及基于one-hot编码方式,对所述第一特征信息集合中离散型的特征信息进行编码。
在本申请上述实施例中,可选地,还包括:填充值设置单元,用于对于所述第一特征信息集合中的每项特征信息,基于所述特征信息中所述缺失值的占比,在多种预设填充方式中选择与所述占比相匹配的目标填充方式,并基于所述目标填充方式生成所述填充值。
在本申请上述实施例中,可选地,所述第三特征信息获取单元406用于:基于所述第二特征信息集合中每种特征信息与所述目标产品的质量相关度,在所述第二特征信息集合中确定多种与所述目标产品的质量相关联的第一目标特征信息;按照每种所述第一目标特征信息的信息量由高至低的顺序,选择前指定数量的所述第一目标特征信息作为第二目标特征信息;基于预定的特征构建规则,对所述第二目标特征信息中的任一项或多项特征信息进行处理,得到新增目标特征信息,并将所述新增目标特征信息和所述第二目标特征信息设置为第三目标特征信息;对所述第三目标特征信息中的每项特征信息按照重要度的高低进行排序,得到所述第三特征信息集合。
在本申请上述实施例中,可选地,所述第三特征信息获取单元406用于:对于所述第三目标特征信息中的每项特征信息,基于catboost模型、LightGBM模型和残差分析,分别确定所述特征信息的第一权重、第二权重和第三权重;基于所述特征信息的第一权重、第二权重和第三权重,确定所述特征信息的重要度;按照所述重要度由高至低的顺序对所述第三目标特征信息中的每项特征信息进行排序,得到所述第三特征信息集合。
在本申请上述实施例中,可选地,所述质量检测单元408用于:基于所述第三特征信息集合和所述catboost模型,确定所述目标产品的第一质量预测值,以及基于所述第三特征信息集合和所述LightGBM模型,确定所述目标产品的第二质量预测值;若所述第一质量预测值大于或等于第一阈值,且所述第二质量预测值大于第二阈值,或者,若所述第一质量预测值小于所述第一阈值,且所述第二质量预测值大于或等于第三阈值,确定所述目标产品为质量合格产品,否则,确定所述目标产品为质量不合格产品,其中,所述第二阈值小于所述第一阈值和所述第三阈值,所述第三阈值大于所述第一阈值。
该质量检测装置400使用上述实施例中任一项所述的方案,因此,具有上述所有技术效果,在此不再赘述。
图5示出了本申请的一个实施例的电子设备的框图。
如图5所示,本申请的一个实施例的电子设备500,包括至少一个存储器502;以及,与所述至少一个存储器502通信连接的处理器504;其中,所述存储器存储有可被所述至少一个处理器504执行的指令,所述指令被设置为用于执行上述任一实施例中所述的方案。因此,该电子设备500具有和上述任一实施例中相同的技术效果,在此不再赘述。
本申请实施例的电子设备以多种形式存在,包括但不限于:
(1)移动通信设备:这类设备的特点是具备移动通信功能,并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如iPhone)、多媒体手机、功能性手机,以及低端手机等。
(2)超移动个人计算机设备:这类设备属于个人计算机的范畴,有计算和处理功能,一般也具备移动上网特性。这类终端包括:PDA、MID和UMPC设备等,例如iPad。
(3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器(例如iPod),掌上游戏机,电子书,以及智能玩具和便携式车载导航设备。
(4)服务器:提供计算服务的设备,服务器的构成包括处理器、硬盘、内存、系统总线等,服务器和通用的计算机架构类似,但是由于需要提供高可靠的服务,因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。
(5)其他具有数据交互功能的电子装置。
另外,本申请实施例提供了一种计算机可读存储介质,存储有计算机可执行指令,所述计算机可执行指令用于执行上述任一实施例中所述的方法流程。
以上结合附图详细说明了本申请的技术方案,通过本申请的技术方案,可通过神经网络模型的方式高效准确地判断每个目标产品合格与否,扩大了产品质量检验的覆盖范围,增加了产品指令检验的准确性,且针对每个产品进行检测的方式可以在产品生产过程中及时获悉产品的质量缺陷,从而便于及时对生产线止损和改进,在整体上提升产品质量。
应当理解,本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
应当理解,尽管在本申请实施例中可能采用术语第一、第二等来描述特征信息集合,但这些特征信息集合不应限于这些术语。这些术语仅用来将特征信息集合彼此区分开。例如,在不脱离本申请实施例范围的情况下,第一特征信息集合也可以被称为第二特征信息集合,类似地,第二特征信息集合也可以被称为第一特征信息集合。
取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地,取决于语境,短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中,包括若干指令用以使得一台计算机装置(可以是个人计算机,服务器,或者网络装置等)或处理器(Processor)执行本申请各个实施例所述方法的部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的较佳实施例而已,并不用以限制本申请,凡在本申请的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本申请保护的范围之内。
Claims (10)
1.一种质量检测方法,其特征在于,包括:
获取目标产品的第一特征信息集合;
按照预定的信息预处理方式对所述第一特征信息集合进行预处理,生成第二特征信息集合;
根据预定的特征构建规则和所述第二特征信息集合,生成第三特征信息集合;
基于所述第三特征信息集合、catboost模型和LightGBM模型,确定所述目标产品是否为质量合格产品,其中,所述catboost模型和所述LightGBM模型均由样本产品的第三特征信息集合和质量预测值训练得到。
2.根据权利要求1所述的质量检测方法,其特征在于,所述按照预定的信息预处理方式对所述第一特征信息集合进行预处理,生成第二特征信息集合的步骤,包括:
对于所述第一特征信息集合中连续型的特征信息,若所述特征信息包括异常值,则删除所述异常值或以填充值替换所述异常值,
若所述特征信息包括缺失值,则将所述填充值设置为所述缺失值;
在完成对所述异常值和/或所述缺失值的处理后,对所述连续型的特征信息进行归一化处理;以及
基于one-hot编码方式,对所述第一特征信息集合中离散型的特征信息进行编码。
3.根据权利要求2所述的质量检测方法,其特征在于,设置所述填充值的方式包括:
对于所述第一特征信息集合中的每项特征信息,基于所述特征信息中所述缺失值的占比,在多种预设填充方式中选择与所述占比相匹配的目标填充方式,并基于所述目标填充方式生成所述填充值。
4.根据权利要求1至3中任一项所述的质量检测方法,其特征在于,所述根据预定的特征构建规则和所述第二特征信息集合,生成第三特征信息集合的步骤,包括:
基于所述第二特征信息集合中每种特征信息与所述目标产品的质量相关度,在所述第二特征信息集合中确定多种与所述目标产品的质量相关联的第一目标特征信息;
按照每种所述第一目标特征信息的信息量由高至低的顺序,选择前指定数量的所述第一目标特征信息作为第二目标特征信息;
基于预定的特征构建规则,对所述第二目标特征信息中的任一项或多项特征信息进行处理,得到新增目标特征信息,并将所述新增目标特征信息和所述第二目标特征信息设置为第三目标特征信息;
对所述第三目标特征信息中的每项特征信息按照重要度的高低进行排序,得到所述第三特征信息集合。
5.根据权利要求4所述的质量检测方法,其特征在于,所述对所述第三目标特征信息中的每项特征信息按照重要度的高低进行排序,得到所述第三特征信息集合的步骤,包括:
对于所述第三目标特征信息中的每项特征信息,基于catboost模型、LightGBM模型和残差分析,分别确定所述特征信息的第一权重、第二权重和第三权重;
基于所述特征信息的第一权重、第二权重和第三权重,确定所述特征信息的重要度;
按照所述重要度由高至低的顺序对所述第三目标特征信息中的每项特征信息进行排序,得到所述第三特征信息集合。
6.根据权利要求1至3任一项所述的质量检测方法,其特征在于,所述基于所述第三特征信息集合、catboost模型和LightGBM模型,确定所述目标产品是否为质量合格产品的步骤,包括:
基于所述第三特征信息集合和所述catboost模型,确定所述目标产品的第一质量预测值,以及基于所述第三特征信息集合和所述LightGBM模型,确定所述目标产品的第二质量预测值;
若所述第一质量预测值大于或等于第一阈值,且所述第二质量预测值大于第二阈值,或者,若所述第一质量预测值小于所述第一阈值,且所述第二质量预测值大于或等于第三阈值,确定所述目标产品为质量合格产品,
否则,确定所述目标产品为质量不合格产品,其中,
所述第二阈值小于所述第一阈值和所述第三阈值,所述第三阈值大于所述第一阈值。
7.一种质量检测装置,其特征在于,包括:
第一特征信息获取单元,用于获取目标产品的第一特征信息集合;
第二特征信息获取单元,用于按照预定的信息预处理方式对所述第一特征信息集合进行预处理,生成第二特征信息集合;
第三特征信息获取单元,用于根据预定的特征构建规则和所述第二特征信息集合,生成第三特征信息集合;
质量检测单元,用于基于所述第三特征信息集合、catboost模型和LightGBM模型,确定所述目标产品是否为质量合格产品,其中,所述catboost模型和所述LightGBM模型均由样本产品的第三特征信息集合和质量预测值训练得到。
8.根据权利要求7所述的质量检测装置,其特征在于,所述第二特征信息获取单元用于:
对于所述第一特征信息集合中连续型的特征信息,若所述特征信息包括异常值,则删除所述异常值或以填充值替换所述异常值,若所述特征信息包括缺失值,则将所述填充值设置为所述缺失值;在完成对所述异常值和/或所述缺失值的处理后,对所述连续型的特征信息进行归一化处理;以及基于one-hot编码方式,对所述第一特征信息集合中离散型的特征信息进行编码。
9.一种电子设备,其特征在于,包括:至少一个处理器;以及,与所述至少一个处理器通信连接的存储器;
其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被设置为用于执行上述权利要求1至6中任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,存储有计算机可执行指令,所述计算机可执行指令用于执行如权利要求1至6中任一项所述的方法流程。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111653099.1A CN114334696B (zh) | 2021-12-30 | 2021-12-30 | 质量检测方法及装置、电子设备和计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111653099.1A CN114334696B (zh) | 2021-12-30 | 2021-12-30 | 质量检测方法及装置、电子设备和计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114334696A true CN114334696A (zh) | 2022-04-12 |
CN114334696B CN114334696B (zh) | 2024-03-05 |
Family
ID=81019101
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111653099.1A Active CN114334696B (zh) | 2021-12-30 | 2021-12-30 | 质量检测方法及装置、电子设备和计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114334696B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115142187A (zh) * | 2022-07-06 | 2022-10-04 | 圣东尼(上海)针织机器有限公司 | 针织大圆机织造质量优化控制系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019218482A1 (zh) * | 2018-05-14 | 2019-11-21 | 平安科技(深圳)有限公司 | 基于大数据的人群筛选方法、装置、终端设备及可读存储介质 |
CN111931809A (zh) * | 2020-06-29 | 2020-11-13 | 北京大米科技有限公司 | 数据的处理方法、装置、存储介质及电子设备 |
WO2021022933A1 (zh) * | 2019-08-06 | 2021-02-11 | 平安科技(深圳)有限公司 | 多任务预测方法、装置、电子设备及存储介质 |
CN113254918A (zh) * | 2021-07-14 | 2021-08-13 | 杭州云信智策科技有限公司 | 信息处理方法、电子设备和计算机可读存储介质 |
CN113254919A (zh) * | 2021-07-14 | 2021-08-13 | 杭州云信智策科技有限公司 | 异常设备识别方法、电子设备和计算机可读存储介质 |
-
2021
- 2021-12-30 CN CN202111653099.1A patent/CN114334696B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019218482A1 (zh) * | 2018-05-14 | 2019-11-21 | 平安科技(深圳)有限公司 | 基于大数据的人群筛选方法、装置、终端设备及可读存储介质 |
WO2021022933A1 (zh) * | 2019-08-06 | 2021-02-11 | 平安科技(深圳)有限公司 | 多任务预测方法、装置、电子设备及存储介质 |
CN111931809A (zh) * | 2020-06-29 | 2020-11-13 | 北京大米科技有限公司 | 数据的处理方法、装置、存储介质及电子设备 |
CN113254918A (zh) * | 2021-07-14 | 2021-08-13 | 杭州云信智策科技有限公司 | 信息处理方法、电子设备和计算机可读存储介质 |
CN113254919A (zh) * | 2021-07-14 | 2021-08-13 | 杭州云信智策科技有限公司 | 异常设备识别方法、电子设备和计算机可读存储介质 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115142187A (zh) * | 2022-07-06 | 2022-10-04 | 圣东尼(上海)针织机器有限公司 | 针织大圆机织造质量优化控制系统 |
Also Published As
Publication number | Publication date |
---|---|
CN114334696B (zh) | 2024-03-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107168995B (zh) | 一种数据处理方法及服务器 | |
CN108304328B (zh) | 一种众包测试报告的文本描述生成方法、系统及装置 | |
CN112685324B (zh) | 一种生成测试方案的方法及系统 | |
CN111861488A (zh) | 机器学习模型对比方法及装置 | |
CN113448955A (zh) | 数据集质量评估方法、装置、计算机设备及存储介质 | |
CN117151070A (zh) | 试卷组题方法、装置、设备及计算机可读存储介质 | |
CN114330090B (zh) | 一种缺陷检测方法、装置、计算机设备和存储介质 | |
CN114334696A (zh) | 质量检测方法及装置、电子设备和计算机可读存储介质 | |
CN111858245A (zh) | 一种异常数据的分析方法、装置、电子设备及存储介质 | |
CN113254918B (zh) | 信息处理方法、电子设备和计算机可读存储介质 | |
CN117372424B (zh) | 一种缺陷检测方法、装置、设备及存储介质 | |
CN116340831B (zh) | 一种信息分类方法、装置、电子设备及存储介质 | |
CN116187754A (zh) | 生产线故障定位方法、设备及可读存储介质 | |
CN114510405B (zh) | 指标数据评估方法、装置、设备、存储介质及程序产品 | |
CN113254919B (zh) | 异常设备识别方法、电子设备和计算机可读存储介质 | |
CN112035364B (zh) | 功能测试结果评估方法及装置 | |
CN114155412A (zh) | 深度学习模型迭代方法、装置、设备及存储介质 | |
CN114185785A (zh) | 面向深度神经网络的自然语言处理模型测试用例约简方法 | |
US9665795B2 (en) | Method and apparatus for identifying root cause of defect using composite defect map | |
CN112541345A (zh) | 裁判文书的审查方法、装置、存储介质及设备 | |
CN113592040B (zh) | 对危化品事故进行分类的方法及装置 | |
CN115495503A (zh) | 数据处理方法、装置和电子设备 | |
CN116245355A (zh) | 生产线故障定位方法、设备及可读存储介质 | |
CN115640335A (zh) | 基于企业画像的企业分析方法、系统及云平台 | |
CN117973510A (zh) | 数据分析方法、装置、设备、可读存储介质及程序产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |