CN114494168A - 模型确定、图像识别与工业质检方法、设备及存储介质 - Google Patents
模型确定、图像识别与工业质检方法、设备及存储介质 Download PDFInfo
- Publication number
- CN114494168A CN114494168A CN202210051256.XA CN202210051256A CN114494168A CN 114494168 A CN114494168 A CN 114494168A CN 202210051256 A CN202210051256 A CN 202210051256A CN 114494168 A CN114494168 A CN 114494168A
- Authority
- CN
- China
- Prior art keywords
- image recognition
- model
- models
- categories
- recognition model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 85
- 238000007689 inspection Methods 0.000 title claims abstract description 25
- 238000003860 storage Methods 0.000 title claims abstract description 9
- 238000012549 training Methods 0.000 claims abstract description 122
- 230000007547 defect Effects 0.000 claims description 57
- 238000002372 labelling Methods 0.000 claims description 40
- 238000004422 calculation algorithm Methods 0.000 claims description 17
- 238000013140 knowledge distillation Methods 0.000 claims description 14
- 230000006835 compression Effects 0.000 claims description 6
- 238000007906 compression Methods 0.000 claims description 6
- 238000005520 cutting process Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 238000010845 search algorithm Methods 0.000 claims description 4
- 210000002569 neuron Anatomy 0.000 description 37
- 238000004821 distillation Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 17
- 238000013136 deep learning model Methods 0.000 description 16
- 238000004519 manufacturing process Methods 0.000 description 6
- 230000002950 deficient Effects 0.000 description 5
- 238000009776 industrial production Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 230000008676 import Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0008—Industrial image inspection checking presence/absence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2431—Multiple classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06395—Quality analysis or management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/04—Manufacturing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- Marketing (AREA)
- Entrepreneurship & Innovation (AREA)
- General Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- Development Economics (AREA)
- Educational Administration (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Game Theory and Decision Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Operations Research (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Manufacturing & Machinery (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例提供一种模型确定、图像识别与工业质检方法、设备及存储介质。其中,方法包括如下的步骤:确定训练过的第一图像识别模型;第一图像识别模型可识别多个预设前景类别;根据第一图像识别模型,确定多个不同的目标图像识别模型;多个不同的目标图像识别模型可识别的预设前景类别不同;多个预设前景类别中包括多个不同的目标图像识别模型可识别的预设前景类别;根据训练样本,分别对多个不同的目标图像识别模型进行训练;其中,多个不同的目标图像识别模型用于对待识别图像进行识别。本申请实施例提供的技术方案能够提高模型整体识别性能,尤其在工业质检领域,可提高瑕疵产品的瑕疵类别的识别准确率。
Description
技术领域
本申请涉及视觉技术领域,尤其涉及一种模型确定、图像识别与工业质检方法、设备及存储介质。
背景技术
目前,工业智能化是未来的发展趋势。工业质检是工业生产中最重要的环节之一,也是工业转型升级的重要突破口。传统工业质检依靠人力,不仅效率低、出错率高,而且人力成本高,人员易流失。
现有技术中存在一些机器视觉质检方案,来代替人工质检,实现了产品缺陷或瑕疵的识别及分类。但是,使用现有的机器视觉质检方案进行质检,存在识别准确率较低的问题。
发明内容
鉴于上述问题,提出了本申请以提供一种解决上述问题或至少部分地解决上述问题的模型确定、图像识别与工业质检、设备及存储介质。
于是,在本申请的一个实施例中,提供了一种模型确定方法。该方法包括:
确定训练过的第一图像识别模型;所述第一图像识别模型可识别多个预设前景类别;
根据所述第一图像识别模型,确定多个不同的目标图像识别模型;所述多个不同的目标图像识别模型可识别的预设前景类别不同;所述多个预设前景类别中包括所述多个不同的目标图像识别模型可识别的预设前景类别;
根据训练样本,分别对所述多个不同的目标图像识别模型进行训练;
其中,所述多个不同的目标图像识别模型用于对待识别图像进行识别。
在本申请的又一实施例中,提供了一种图像识别方法。该方法,包括:
获取待识别图像;
将所述待识别图像分别输入至训练过的多个不同的目标图像识别模型,以得到多个识别结果;所述多个不同的目标图像识别模型可识别的预设前景类别不同;
根据所述多个识别结果,确定所述待识别图像的目标识别结果;
其中,所述多个不同的目标图像识别模型的确定过程包括:
确定训练过的第一图像识别模型;所述第一图像识别模型可识别多个预设前景类别;所述多个预设前景类别中包括所述多个不同的目标图像识别模型可识别的预设前景类别;
根据所述第一图像识别模型,确定所述多个不同的目标图像识别模型;
根据训练样本,分别对所述多个不同的目标图像识别模型进行训练。
在本申请的又一实施例中,提供了一种工业质检方法。该工业质检方法,包括:
获取待识别产品图像;
将所述待识别产品图像分别输入至训练过的多个不同的目标瑕疵识别模型,以得到多个识别结果;所述多个不同的目标瑕疵识别模型可识别的预设瑕疵类别不同;
根据所述多个识别结果,确定所述待识别产品图像的目标识别结果;
其中,所述多个不同的目标瑕疵识别模型的确定过程包括:
确定训练过的第一瑕疵识别模型;所述第一瑕疵识别模型可识别多个预设瑕疵类别;所述多个预设瑕疵类别中包括所述多个不同的目标瑕疵识别模型可识别的预设瑕疵类别;
根据所述第一瑕疵识别模型,确定多个不同的目标瑕疵识别模型;
根据训练样本,分别对所述多个不同的目标瑕疵识别模型进行训练。
在本申请的又一实施例中,提供了一种工业质检方法。该工业质检方法,包括:
响应于用户的图像输入操作,获取待识别产品图像;
当所述用户针对所述待识别产品图像从多个备选瑕疵识别方案中选择第一备选瑕疵识别方案时,将所述待识别产品图像分别输入至训练过的多个不同的目标瑕疵识别模型,以得到多个识别结果;所述多个不同的目标瑕疵识别模型可识别的预设瑕疵类别不同;
根据所述多个识别结果,确定所述待识别产品图像的目标识别结果;
显示所述目标识别结果;
其中,所述多个不同的目标瑕疵识别模型的确定过程包括:
确定训练过的第一瑕疵识别模型;所述第一瑕疵识别模型可识别多个预设瑕疵类别;所述多个预设瑕疵类别中包括所述多个不同的目标瑕疵识别模型可识别的预设瑕疵类别;
根据所述第一瑕疵识别模型,确定多个不同的目标瑕疵识别模型;
根据训练样本,分别对所述多个不同的目标瑕疵识别模型进行训练。
在本申请的又一实施例中,提供了一种电子设备。该电子设备,包括:存储器和处理器,其中,
所述存储器,用于存储程序;
所述处理器,与所述存储器耦合,用于执行所述存储器中存储的所述程序,以实现上述任一项所述的方法。
在本申请的又一实施例中,提供了一种存储有计算机程序的计算机可读存储介质,所述计算机程序被计算机执行时能够实现上述任一项所述的方法。
本申请实施例提供的技术方案中,使用多个不同的目标图像识别模型来负责不同的预设前景类别的识别。其中,每个目标图像识别模型都是根据训练过的且可识别多个预设前景类别的第一图像识别模型得到的,具有较好的模型识别基础。此外,每一个目标图像识别模型只需要负责部分预设前景类别的识别,无需负责全部预设前景类别的识别,因此,通过单独训练可提高每个目标图像识别模型的识别性能,从而提高多个不同的目标图像识别模型的整体识别性能。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中可要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请一实施例提供的模型确定方法的流程示意图;
图2为本申请一实施例提供的图像识别方法的流程示意图;
图3为本申请一实施例提供的图像识别方法的流程示意图;
图4为本申请一实施例提供的工业质检方法的流程示意图;
图5为本申请一实施例提供的工业质检方法的流程示意图;
图6a为本申请一实施例提供的模型确定方法的示例图;
图6b为本申请一实施例提供的工业质检方法的示例图;
图7为本申请一实施例提供的电子设备的结构框图。
具体实施方式
在工业质检领域,基于深度学习的人工智能解决方案通常需要采集或收集工业产线上瑕疵(或缺陷)产品的图片,然后对包含瑕疵产品的图片进行不同瑕疵种类的标注。在项目初期,可以收集到的包含瑕疵产品的图片的数量非常少,需要对收集到的所有图片进行全部瑕疵类别的标注。在数据标注工作之后,采用标注过的数据对单个深度学习模型进行训练,训练过的深度学习模型用于检测或识别所有类别的瑕疵。如图1所示,将待质检图片输入至训练过的深度学习模型,由该深度学习模型进行全部瑕疵类别的识别,全部瑕疵类别包括:瑕疵类别1、瑕疵类别2、类别3、……、类别n。
随着工业质检项目开发过程的持续推进以及模型在工业产线的不断迭代,可以收集到包含瑕疵产品的图片越来越多。在这样的情况下,如果仍然采用对于所有图片都进行全量瑕疵标注以及采用单个深度学习模型处理所有瑕疵的方案,会存在以下缺点:
1、标注成本无法降低。
收集的所有图片均需要进行全类别瑕疵的标注。
2、算法类型单一。
由于收集的瑕疵图片越来越多,整体的复杂性越来越高,单一的深度学习模型可能无法很好地处理所有的瑕疵类别。
3、训练优化过程中容易出现性能偏移。
模型训练对数据收集过程中不同类别瑕疵样本的数量均衡性要求比较高。在工业瑕疵数据收集的过程中,如果收集的不同类别瑕疵图片的数量不均衡,例如,某一类别瑕疵的图片数量特别多或特别少,深度学习模型在训练优化过程中就会出现性能偏移,例如,对于图片较多的瑕疵类别的识别性能比较好,而图片较少的瑕疵类别的识别性能很差。
4、工业产线迭代灵活度低。
当产线提出针对某一误报漏报的瑕疵类别进行模型优化的需求或产线提出对一种新增的瑕疵类别的识别需求时,不仅需要收集到相应的瑕疵图片以及完成全类别瑕疵标注,还需要根据之前所有的图片以及新收集到的瑕疵图片重新训练模型,训练耗时比较长,无法满足产线的迅速响应需求;并且,由于只采用单一深度学习模型处理所有瑕疵,加入新增的瑕疵类别的数据对模型进行训练,是无法保证模型在其他瑕疵类别上面的性能不受影响。
为了解决或部分解决上述技术问题,本申请实施例提出一种类别解耦方案。相比于采用单一深度学习模型处理所有类别瑕疵的方案,类别解耦方案是针对不同的瑕疵类别训练不同的深度学习模型,从而得到多个不同的深度学习模型。也就是说,多个不同的深度学习模型中每一个深度学习模型专门处理某部分瑕疵类别,可提高识别准确率。此外,当需要针对某一瑕疵类别或新增的瑕疵类别进行模型优化时,只需要在收集到的瑕疵图片中标注出相应类别瑕疵即可,无需标注其他类别瑕疵,可降低标注成本;并且,只需根据收集到的瑕疵图片针对相应瑕疵类别对应的深度学习模型进行优化即可,不仅不会影响其他深度学习模型在其他瑕疵类别上的识别性能,也不会耗费太长的训练时间,使得产线模型更新能够满足产线的迅速响应需求。
为了使本技术领域的人员更好地理解本申请方案,下面将根据本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
此外,在本申请的说明书、权利要求书及上述附图中描述的一些流程中,包含了按照特定顺序出现的多个操作,这些操作可以不按照其在本文中出现的顺序来执行或并行执行。操作的序号如101、102等,仅仅是用于区分各个不同的操作,序号本身不代表任何的执行顺序。另外,这些流程可以包括更多或更少的操作,并且这些操作可以按顺序执行或并行执行。需要说明的是,本文中的“第一”、“第二”等描述,是用于区分不同的消息、设备、模块等,不代表先后顺序,也不限定“第一”和“第二”是不同的类型。
图2示出了本申请一实施例提供的模型确定方法的流程示意图。该方法的执行主体可以为客户端,也可以为服务端。其中,所述客户端可以是集成在终端上的一个具有嵌入式程序的硬件,也可以是安装在终端中的一个应用软件,还可以是嵌入在终端操作系统中的工具软件等,本申请实施例对此不作限定。该终端可以为包括手机、平板电脑、车载终端设备等任意终端设备。其中,服务端可以是常用服务器、云端或虚拟服务器等,本申请实施例对此不作具体限定。如图2所示,该方法包括:
201、确定训练过的第一图像识别模型。
其中,所述第一图像识别模型可识别多个预设前景类别。
202、根据所述第一图像识别模型,确定多个不同的目标图像识别模型。
其中,所述多个不同的目标图像识别模型可识别的预设前景类别不同;所述多个预设前景类别中包括所述多个不同的目标图像识别模型可识别的预设前景类别。
203、根据训练样本,分别对所述多个不同的目标图像识别模型进行训练。
其中,所述多个不同的目标图像识别模型用于对待识别图像进行识别。
上述201中,不同的应用领域中,预设前景类别不同。例如:在工业质检领域,预设前景类别具体可包括预设瑕疵类别。
第一图像识别模型可识别多个预设前景类别,也即第一图像识别模型的输出层中包括与多个预设前景类别一一对应的多个神经元,其中,每个神经元用于预测输入图像中的对象属于对应预设前景类别的概率。
实际应用时,模型除了需要识别预设前景类别,还需要识别背景类别。因此,第一图像识别模型可识别多个预设前景类别和一个背景类别。
第一图像识别模型具体可以为基于神经网络的深度学习模型,其内部结构可根据实际需要来设计,本申请实施例对此不做具体限定。
在一种可实现的方案中,可根据训练样本,对第一图像识别模型进行训练,从而得到训练过的第一图像识别模型。
上述202中,在一实例中,可通过对第一图像识别模型的输出层的神经元进行不同的处理,从而得到多个不同的目标图像识别模型。
举例来说:
假设第一图像识别模型可识别多个预设前景类别包括:第一预设前景类别、第二预设前景类别、第三预设前景类别。那么,第一图像识别模型的输出层包括对应于第一预设前景类别的第一神经元,对应于第二预设前景类别的第二神经元以及对应于第三预设前景类别的第三神经元。第一神经元用于输出输入图像的图像内容属于第一预设前景类别的概率,第二神经元用于输出输入图像的图像内容属于第二预设前景类别的概率,第三神经元用于输出输入图像的图像内容属于第三预设前景类别的概率。
删除第一图像识别模型的输出层中的第二神经元和第三神经元,得到第一目标图像识别模型,这样,第一目标图像识别模型的输出层还剩下第一神经元,因此,可识别第一预设前景类别,但无法识别第二预设前景类别和第三预设前景类别;删除第一图像识别模型的输出层中的第一神经元和第三神经元,得到第二目标图像识别模型,这样第二目标图像识别模型的输出层还剩下第二神经元,因此,可识别第二预设前景类别,但无法识别第一预设前景类别和第三预设前景类别;删除第一图像识别模型的输出层中的第一神经元和第二神经元,得到第三目标图像识别模型,这样,第三目标图像识别模型的输出层还剩下第三神经元,可识别第三预设前景类别,无法识别第一预设前景类别和第二预设前景类别。多个不同的目标图像识别模型包括第一目标图像识别模型、第二目标图像识别模型以及第三目标图像识别模型。
实际应用中,每个目标图像识别模型需负责识别的预设前景类别的数量可根据实际需要来设定,可以为一个或多个,本实施例对此不做具体限定。
上述203中,基于训练过的第一图像识别模型得到的多个不同的目标图像识别模型可认为是预训练过的模型。因此,在实际应用中,可根据训练样本,分别对多个不同的目标图像识别模型进行微调训练,而无需对多个不同的目标图像识别模型的参数进行初始化,然后从头训练,可有效减少模型训练时长。
本申请实施例提供的技术方案中,使用多个不同的目标图像识别模型来负责不同的预设前景类别的识别。其中,每个目标图像识别模型都是根据训练过的且可识别多个预设前景类别的第一图像识别模型得到的,具有较好的模型识别基础。此外,每一个目标图像识别模型只需要负责部分预设前景类别的识别,无需负责全部预设前景类别的识别,因此,通过单独训练可提高每个目标图像识别模型的识别性能,从而提高多个不同的目标图像识别模型的整体识别性能。
由于第一图像识别模型需要处理所有瑕疵类别,为了具有较好的识别性能,其模型结构通常比较复杂,模型参数比较多。若采用上述实施例中提供的仅修改输出层神经元的方案得到多个不同的目标图像识别模型,多个不同的目标图像识别模型针对不同的瑕疵类别进行训练后投入应用时,消耗的硬件资源会急剧增加,并且,推理速度慢,无法满足实际应用需求。因此,在另一实例中,上述102中“根据所述第一图像识别模型,确定多个不同的目标图像识别模型”,可采用如下步骤来实现:
1021、对所述第一图像识别模型进行模型压缩,得到第二图像识别模型。
1022、根据所述第二图像识别模型,确定多个不同的目标图像识别模型。
上述1021中,模型压缩是一种缩小训练过的模型的技术,压缩过的模型结构简单、参数少,推理过程中所需要的硬件资源少、推理速度快,且识别性能与原始模型可相比拟。
目前,用于深度学习模型的模型压缩的主流算法有如下三个:
模型裁剪算法:模型裁剪算法涉及清除对模型性能的贡献较小的神经元或某些神经元之间的连接。
网络结构搜索算法:可以自动地从庞大的搜索空间中搜索出比人工设计的结构效果更优的模型。
知识蒸馏算法:知识蒸馏指的是深度学习中两个模型之间的参数的迁移,或者大模型学习到的信息迁移到小模型的过程。这里的大模型和小模型是一个相对概念,知识蒸馏中的两个模型,参数量大的那一个可以被理解为是大模型,参数量小的那个则为小模型。或者,知识蒸馏中的两个模型,模型量级大(如层级多、模型内参数多、输入参数多)的那个为大模型,模型量级小(如层级少、模型内参数少、输入参数少)的那个为小模型。知识蒸馏是通过构建一个轻量化的小模型,利用性能更好的大模型的监督信息来训练这个小模型,以期达到更好的性能和精度。这个大模型称之为教师(teacher)模型,小模型称之为学生(student)模型。
知识蒸馏过程可包括如下几种蒸馏方式:离线蒸馏、半监督蒸馏、自监督蒸馏等。其中,离线蒸馏过程是:提前训练好一个teacher模型,然后在对student模型进行训练的时候,利用所获取的teacher模型进行监督训练来达到蒸馏的目的,而且这个teacher的训练精度要比student模型精度要高,差值越大,蒸馏效果也就越明显。一般来讲,teacher模型参数在蒸馏训练的过程中保持不变,达到训练student模型的目的。蒸馏的损失函数distillation loss计算teacher模型和student模型之间输出预测值的差别,再和student的损失(loss)加在一起作为整个训练的损失,来进行梯度更新,最终得到一个更高性能和精度的student模型。半监督蒸馏过程是:利用teacher模型的预测信息作为标签,来对student模型进行监督学习。在对student模型训练之前,先输入部分的未标记的数据,利用teacher网络输出标签作为监督信息,再输入到student模型中来完成蒸馏过程,这样就可以使用更少标注量的数据集,达到提升模型精度的目的。自监督蒸馏过程是:不需要提前训练一个teacher模型,而是student模型本身的训练完成一个蒸馏过程。自监督蒸馏方式有很多种,这里例举一种,比如先训练student模型,在整个训练过程的最后几个epoch(1个epoch表示过了1遍训练集中的所有样本)的时候,利用前面训练的student作为监督模型。在剩下的epoch中,对模型进行蒸馏。这样做的好处是不需要提前训练好teacher模型,就可以边训练边蒸馏,节省整个蒸馏过程的训练时间。
因此,实际应用时,可采用模型裁剪算法、网络结构搜索算法以及知识蒸馏算法中的一个或多个对第一图像识别模型进行模型压缩,得到第二图像识别模型。
在一种可实现的方案中,上述1021中“对所述第一图像识别模型进行模型压缩,得到第二图像识别模型”,可采用如下步骤来实现:
S11、简化所述第一图像识别模型的模型结构,得到第三图像识别模型。
S12、通过知识蒸馏算法,利用所述第一图像识别模型对所述第三图像识别模型进行训练,得到第二图像识别模型。
上述S11中,所述第一图像识别模型的模型结构的简化方式包括如下方式中的至少一种:
方式一:采用模型裁剪算法简化所述第一图像识别模型的模型结构。
上述模型裁剪算法的具体实现可参加现有技术,在此不再详述。
方式二:采用网络结构搜索算法简化所述第一图像识别模型的模型结构。
上述网络结构搜索算法的具体实现可参加现有技术,在此不再详述。
方式三:根据用户针对所述第一图像识别模型的裁剪操作,简化所述第一图像识别模型的模型结构。
用户可根据经验,针对第一图像识别模型执行剪裁操作。实际应用时,客户端可给用户提供一个裁剪界面,在裁剪界面显示模型结构或参数以供用户根据需要进行裁剪。
上述S12中,通过知识蒸馏算法,利用所述第一图像识别模型对所述第三图像识别模型进行训练,得到第二图像识别模型。
实际应用中,可根据第一图像识别模型和第三图像识别模型的网络结构以及任务类型,确定目标知识蒸馏算法。其中,任务类型可包括但不限于:目标检测任务、语义分割任务、实例分割任务、图像分类任务。具体确定方式可根据实际需要来设置,本申请实施例对此不做具体限定。
示例性的,在目标检测任务中,第一图像识别模型的主干网络使用Resnet 50,第三图像识别模型的主干网络使用Resnet 18,其中,Resnet 18的参数量远小于Resnet 50,因此,确定出的目标知识蒸馏算法中,对Resnet 50输出的特征图和Resnet 18输出的特征图进行每一个点的L1/L2 Loss的计算,目的是希望同一样本图像分别输入到Resnet50和Resnet 18所提取出来的特征图要一致,这样,可使得Resnet 18所具备的特征提取能力和Resnet50尽可能接近。
上述1022中,可通过对第二图像识别模型的输出层的神经元进行不同的处理,从而得到多个不同的目标图像识别模型。
举例来说:
假设第二图像识别模型可识别多个预设前景类别包括:第一预设前景类别、第二预设前景类别、第三预设前景类别。那么,第二图像识别模型的输出层包括对应于第一预设前景类别的第一神经元,对应于第二预设前景类别的第二神经元以及对应于第三预设前景类别的第三神经元。第一神经元用于输出输入图像的图像内容属于第一预设前景类别的概率,第二神经元用于输出输入图像的图像内容属于第二预设前景类别的概率,第三神经元用于输出输出图像的图像内容属于第三预设前景类别的概率。
删除第二图像识别模型的输出层中的第二神经元和第三神经元,得到第一目标图像识别模型,这样,第一目标图像识别模型的输出层还剩下第一神经元,因此,可识别第一预设前景类别,但无法识别第二预设前景类别和第三预设前景类别;删除第二图像识别模型的输出层中的第一神经元和第三神经元,得到第二目标图像识别模型,这样第二目标图像识别模型的输出层还剩下第二神经元,因此,可识别第二预设前景类别,但无法识别第一预设前景类别和第三预设前景类别;删除第二图像识别模型的输出层中的第一神经元和第二神经元,得到第三目标图像识别模型,这样,第三目标图像识别模型的输出层还剩下第三神经元,可识别第三预设前景类别,无法识别第一预设前景类别和第二预设前景类别。多个不同的目标图像识别模型包括第一目标图像识别模型、第二目标图像识别模型以及第三目标图像识别模型。
实际应用中,每个目标图像识别模型需负责识别的预设前景类别的数量可根据实际需要来设定,可以为一个或多个,本实施例对此不做具体限定。
在一实例中,上述1022中“根据所述第二图像识别模型,确定多个不同的目标图像识别模型”,具体可采用如下步骤来实现:
S21、根据所述多个预设前景类别的类别数量,确定模型数量。
S22、根据所述第二图像识别模型,确定所述模型数量个不同的目标图像识别模型。
上述S21中,为了确保各个目标图像识别模型的识别准确率,每个目标图像识别模型可识别的预设前景类别数不能太多。因此,可根据多个预设前景类别的类别数量,确定模型数量。多个预设前景类别的类别数量越多,模型数量越多。
在一实例中,可将所述多个预设前景类别的类别数量作为所述模型数量。也就是说,一个目标图像识别模型只负责多个预设前景类别中的一个预设前景类别。
实际应用时,可利用用于对第一图像识别模型、第三图像识别模型进行训练的训练库中的训练样本来对多个不同的目标图像识别模型进行训练,这样就无需单独为多个不同的目标图像识别模型准备相应的训练样本了,只需对训练样本进行简单修改即可,可降低训练成本。
示例性的,针对多个预设前景类别中的任一预设前景类别,首先,可从训练库中选择包含该预设前景类别的对象影像的图像,对于这些图像中包含的其他预设前景类别的对象影像可以选择忽略或者在训练的过程统一作为另外一种类别(例如其他类别)参与训练;对于训练库中其他完全不包含该预设前景类别的对象影像的图像,可以选择忽略或者作为背景图片参加训练。
具体的,所述多个不同的目标图像识别模型中包括第一目标图像识别模型;所述训练样本包括样本图像及其标注信息。上述103中“根据训练样本,对所述第一目标图像识别模型进行训练”,可采用如下步骤来实现:
1031、根据所述第一目标图像识别模型可识别的预设前景类别,对所述训练样本的标注信息进行修改,得到修改后训练样本。
1032、根据修改后训练样本,对所述第一目标图像识别模型进行训练。
在一种可实现的方案中,上述1031中“根据所述第一目标图像识别模型可识别的预设前景类别,对所述训练样本的标注信息进行修改,得到修改后训练样本”,可采用如下步骤来实现:
S31、判断所述训练样本的标注信息中是否包括有关所述第一目标图像识别模型可识别的预设前景类别的标注信息。
S32、若所述训练样本的标注信息中包括有关所述第一目标图像识别模型可识别的预设前景类别的标注信息,则判断所述训练样本的标注信息中是否包括有关其他预设前景类别的标注信息。
其中,所述其他预设前景类别指的是所述多个预设前景类别中除所述第一目标图像识别模型可识别的预设前景类别以外的预设前景类别;
S33、若所述训练样本的标注信息中包括有关所述其他预设前景类别的标注信息,在所述训练样本的标注信息中删除有关所述其他预设前景类别的标注信息或者将所述训练样本的标注信息中有关所述其他预设前景类别的标注信息进行统一,得到修改后训练样本。
具体地,将所述训练样本的标注信息中有关所述其他预设前景类别的标注信息中的预设前景类别统一为第一类别,得到修改后训练样本。第一类别区别于上述多个预设前景类别以及背景类别。
可选的,若所述训练样本的标注信息中不包括有关所述第一目标图像识别模型可识别的预设前景类别的标注信息,则忽略所述训练样本或者将所述训练样本作为背景图像以对所述第一目标图像识别模型进行训练。
可选的,若所述训练样本的标注信息中不包括有关所述其他预设前景类别的标注信息,则直接根据所述训练样本对所述第一目标图像识别模型进行训练。
实际应用时,上述第一图像识别模型、第三图像识别模型或第二图像识别模型、多个目标图像识别模型训练时所使用的训练样本可来自于同一训练库。该训练库可以是基于产线运行一段时间后产生的所有图像构建。
图3示出了本申请又一实施例提供的图像识别方法的流程示意图。该方法的执行主体可以为客户端,也可以为服务端。其中,所述客户端可以是集成在终端上的一个具有嵌入式程序的硬件,也可以是安装在终端中的一个应用软件,还可以是嵌入在终端操作系统中的工具软件等,本申请实施例对此不作限定。该终端可以为包括手机、平板电脑、车载终端设备等任意终端设备。其中,服务端可以是常用服务器、云端或虚拟服务器等,本申请实施例对此不作具体限定。如图3所示,该方法包括:
301、获取待识别图像。
302、将所述待识别图像分别输入至训练过的多个不同的目标图像识别模型,以得到多个识别结果。
其中,所述多个不同的目标图像识别模型可识别的预设前景类别不同。
303、根据所述多个识别结果,确定所述待识别图像的目标识别结果。
其中,所述多个不同的目标图像识别模型的确定过程如图2所示,包括:
201、确定训练过的第一图像识别模型;
其中,所述第一图像识别模型可识别多个预设前景类别;所述多个预设前景类别中包括所述多个不同的目标图像识别模型可识别的预设前景类别。
202、根据所述第一图像识别模型,确定所述多个不同的目标图像识别模型。
203、根据训练样本,分别对所述多个不同的目标图像识别模型进行训练。
上述301中,在工业质检领域,上述待识别图像具体可包括:待识别产品图像。
上述302中,将所述待识别图像分别输入至训练过的多个不同的目标图像识别模型后,每个目标图像识别模型会输出一个识别结果。
上述303中,多个识别结果中包括第一目标图像识别模型输出的识别结果。第一目标图像识别模型为多个不同的目标图像识别模型中的任一个。第一目标图像识别模型输出的识别结果显示待识别图像的图像内容是否属于第一目标图像识别模型可识别的预设前景类别。
若第一目标图像识别模型输出的识别结果显示待识别图像的图像内容属于第一目标图像识别模型可识别的预设前景类别,则确定待识别图像的图像内容属于第一目标图像识别模型可识别的预设前景类别。
以图像分类任务为例,上述图像内容指的是整个待识别图像;以目标检测为例,上述图像内容指的是待识别图像中的相应候选区域;以图像分割任务为例,上述图像内容指的是待识别图像中的相应像素点。
本申请实施例提供的技术方案中,使用多个不同的目标图像识别模型来负责不同的预设前景类别的识别。其中,每个目标图像识别模型都是根据训练过的且可识别多个预设前景类别的第一图像识别模型得到的,具有较好的模型识别基础。此外,每一个目标图像识别模型只需要负责部分预设前景类别的识别,无需负责全部预设前景类别的识别,因此,通过单独训练可提高每个目标图像识别模型的识别性能,从而提高多个不同的目标图像识别模型的整体识别性能。
这里需要说明的是:本申请实施例提供的所述方法中各步骤未尽详述的内容可参见上述实施例中的相应内容,此处不再赘述。此外,本申请实施例提供的所述方法中除了上述各步骤以外,还可包括上述各实施例中其他部分或全部步骤,具体可参见上述各实施例相应内容,在此不再赘述。
在工业质检领域,上述待识别图像具体可包括待识别产品图像,上述第一图像识别模型具体可包括第一瑕疵识别模型;第二图像识别模型可包括第二瑕疵识别模型;第三图像识别模型可包括第三瑕疵识别模型;目标图像识别模型可包括目标瑕疵识别模型。图4示出了本申请又一实施例提供的图像识别方法的流程示意图。该方法的执行主体可以为客户端,也可以为服务端。其中,所述客户端可以是集成在终端上的一个具有嵌入式程序的硬件,也可以是安装在终端中的一个应用软件,还可以是嵌入在终端操作系统中的工具软件等,本申请实施例对此不作限定。该终端可以为包括手机、平板电脑、车载终端设备等任意终端设备。其中,服务端可以是常用服务器、云端或虚拟服务器等,本申请实施例对此不作具体限定。如图4所示,该方法包括:
401、获取待识别产品图像。
402、将所述待识别产品图像分别输入至训练过的多个不同的目标瑕疵识别模型,以得到多个识别结果。
其中,所述多个不同的目标瑕疵识别模型可识别的预设瑕疵类别不同。
多个不同的目标瑕疵识别模型相互独立,可并行执行待识别产品图像的识别,从而缩短推理时长,提高推理速度。
403、根据所述多个识别结果,确定所述待识别产品图像的目标识别结果。
其中,所述多个不同的目标瑕疵识别模型的确定过程如图2所示,包括:
201、确定训练过的第一瑕疵识别模型;所述第一瑕疵识别模型可识别多个预设瑕疵类别。
所述多个预设瑕疵类别中包括所述多个不同的目标瑕疵识别模型可识别的预设瑕疵类别。
202、根据所述第一瑕疵识别模型,确定多个不同的目标瑕疵识别模型。
203、根据训练样本,分别对所述多个不同的目标瑕疵识别模型进行训练。
上述步骤401、402以及403的具体实现可参加上述各实施例中相应内容,在此不再详述。上述步骤201、202以及203的具体实现可参加上述各实施例中相应内容,在此不再详述。
本申请实施例提供的技术方案中,使用多个不同的目标图像识别模型来负责不同的预设前景类别的识别。其中,每个目标图像识别模型都是根据训练过的且可识别多个预设前景类别的第一图像识别模型得到的,具有较好的模型识别基础。此外,每一个目标图像识别模型只需要负责部分预设前景类别的识别,无需负责全部预设前景类别的识别,因此,通过单独训练可提高每个目标图像识别模型的识别性能,从而提高多个不同的目标图像识别模型的整体识别性能。
这里需要说明的是:本申请实施例提供的所述方法中各步骤未尽详述的内容可参见上述实施例中的相应内容,此处不再赘述。此外,本申请实施例提供的所述方法中除了上述各步骤以外,还可包括上述各实施例中其他部分或全部步骤,具体可参见上述各实施例相应内容,在此不再赘述。
图5示出了本申请又一实施例提供的工业质检方法的流程示意图。该方法的执行主体可以为客户端。其中,所述客户端可以是集成在终端上的一个具有嵌入式程序的硬件,也可以是安装在终端中的一个应用软件,还可以是嵌入在终端操作系统中的工具软件等,本申请实施例对此不作限定。该终端可以为包括手机、平板电脑、车载终端设备等任意终端设备。如图5所示,该方法包括:
501、响应于用户的图像输入操作,获取待识别产品图像。
502、当所述用户针对所述待识别产品图像从多个备选瑕疵识别方案中选择第一备选瑕疵识别方案时,将所述待识别产品图像分别输入至训练过的多个不同的目标瑕疵识别模型,以得到多个识别结果。
其中,所述多个不同的目标瑕疵识别模型可识别的预设瑕疵类别不同;
503、根据所述多个识别结果,确定所述待识别产品图像的目标识别结果。
504、显示所述目标识别结果。
其中,所述多个不同的目标瑕疵识别模型的确定过程包括:
201、确定训练过的第一瑕疵识别模型;所述第一瑕疵识别模型可识别多个预设瑕疵类别。
其中,所述多个预设瑕疵类别中包括所述多个不同的目标瑕疵识别模型可识别的预设瑕疵类别。
202、根据所述第一瑕疵识别模型,确定多个不同的目标瑕疵识别模型。
203、根据训练样本,分别对所述多个不同的目标瑕疵识别模型进行训练。
上述501中,客户端向用户展示图像输入界面;用户可在图像输入界面输入(也即导入)待识别产品图像。实际应用中,为了提高效率,用户可一次性在图像输入界面导入多个待识别产品图像,后续可依次对每个待识别产品图像进行识别。
上述502中,用户导入待识别产品图像之后,可在图像输入界面或跳转后选择界面展示多个备选瑕疵识别方案以供用户选择;或者可在图像输入界面或跳转后选择界面展示一识别方案切换控件,响应于用户针对切换控件的触发操作,确定用户所选中的备选瑕疵识别方案。例如:多个备选瑕疵方案包括:第一备选瑕疵识别方案和第二备选瑕疵识别方案。其中,第一备选瑕疵识别方案为上述各实施例提供的类别解耦识别方案;第二备选瑕疵识别方案为现有技术中的全类别识别方案。第二备选瑕疵识别方案为默认方案,用户可触发一次切换控件,将从第二备选瑕疵识别方案切换到第一备选瑕疵识别方案;如果用户继续触发一次切换控件,将从第一备选瑕疵识别方案切换到第二备选瑕疵方案。
上述步骤501、502、503以及504的具体实现可参加上述各实施例中相应内容,在此不再详述。上述步骤201、202以及203的具体实现可参加上述各实施例中相应内容,在此不再详述。
本申请实施例提供的技术方案中,使用多个不同的目标图像识别模型来负责不同的预设前景类别的识别。其中,每个目标图像识别模型都是根据训练过的且可识别多个预设前景类别的第一图像识别模型得到的,具有较好的模型识别基础。此外,每一个目标图像识别模型只需要负责部分预设前景类别的识别,无需负责全部预设前景类别的识别,因此,通过单独训练可提高每个目标图像识别模型的识别性能,从而提高多个不同的目标图像识别模型的整体识别性能。
这里需要说明的是:本申请实施例提供的所述方法中各步骤未尽详述的内容可参见上述实施例中的相应内容,此处不再赘述。此外,本申请实施例提供的所述方法中除了上述各步骤以外,还可包括上述各实施例中其他部分或全部步骤,具体可参见上述各实施例相应内容,在此不再赘述。
下面将结合图6a、6b对本申请实施例提供的类别解耦方案进行举例介绍:
如图6a所示,类别解耦方案主要分为三个步骤:
601、模型简化:
先利用训练库(可称为基底数据库)对第一图像识别模型进行训练,得到训练过的第一图像识别模型;
对第一图像识别模型进行模型简化,得到第三图像识别模型。
其目的是将复杂的模型结构以及庞大模型参数进行压缩,来降低单个模型在推理过程中所需要的硬件资源以及时间消耗,以满足在工业产线侧对类别解耦方案中N个识别模型推理性能的要求。
602、知识蒸馏:
通过知识蒸馏算法,利用第一图像识别模型以及上述训练库对第三图像识别模型进行训练,得到第二图像识别模型。
第二图像识别模型可理解为是一个预训练模型。
其目的是得到一个性能比较好且结构简单的预训练模型,用于在603中进行模型微调。
需要补充的是,在基底数据库达到一定规模之后,产生的上述预训练模型可以作为该行业通用预训练模型,可以广泛地复制。
603、模型微调
根据第二图像识别模型得到多个瑕疵类别各自对应的识别模型;
针对每个瑕疵类别对应的识别模型,从训练库中选取相应瑕疵类别的样本图像对其进行模型微调,得到该瑕疵类别识别模型(也即上文中模型微调后的目标图像识别模型)。
举例来说:采用瑕疵类别1样本图像对瑕疵类别1对应的识别模型进行模型微调,得到模型微调后的瑕疵类别1识别模型;采用瑕疵类别2样本图像对瑕疵类别2对应的识别模型进行模型微调,得到模型微调后的瑕疵类别2识别模型,以此类推。
由于第二图像识别模型是预训练模型,那么基于该第二图像识别模型得到的多个瑕疵类别各自对应的识别模型也为预训练模型,通过模型微调即可得到最终的各瑕疵类别识别模型,可以加快单个瑕疵类别识别模型收敛速度以及进一步提升该瑕疵类别模型的最终识别性能。
如图6b所示,将待质检图片分别输入至多个瑕疵类别识别模型中,每个瑕疵类别识别模型用于识别待质检图片中是否包含有相应瑕疵类别。例如:瑕疵类别1识别模型用于识别是否有瑕疵类别1,瑕疵类别2识别模型用于识别是否有瑕疵类别2,以此类推。最后综合多个瑕疵类别识别模型的识别结果确定最终结果。
图7示出了本申请一实施例提供的电子设备的结构示意图。如图7所示,所述电子设备包括存储器1101以及处理器1102。存储器1101可被配置为存储其它各种数据以支持在电子设备上的操作。这些数据的示例包括用于在电子设备上操作的任何应用程序或方法的指令。存储器1101可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
所述存储器1101,用于存储程序;
所述处理器1102,与所述存储器1101耦合,用于执行所述存储器1101中存储的所述程序,以实现上述各方法实施例提供的方法。
进一步,如图7所示,电子设备还包括:通信组件1103、显示器1104、电源组件1105、音频组件1106等其它组件。图7中仅示意性给出部分组件,并不意味着电子设备只包括图7所示组件。
相应地,本申请实施例还提供一种存储有计算机程序的计算机可读存储介质,所述计算机程序被计算机执行时能够实现上述各方法实施例提供的方法的步骤或功能。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (13)
1.一种模型确定方法,其中,包括:
确定训练过的第一图像识别模型;所述第一图像识别模型可识别多个预设前景类别;
根据所述第一图像识别模型,确定多个不同的目标图像识别模型;所述多个不同的目标图像识别模型可识别的预设前景类别不同;所述多个预设前景类别中包括所述多个不同的目标图像识别模型可识别的预设前景类别;
根据训练样本,分别对所述多个不同的目标图像识别模型进行训练;
其中,所述多个不同的目标图像识别模型用于对待识别图像进行识别。
2.根据权利要求1所述的方法,其中,根据所述第一图像识别模型,确定多个不同的目标图像识别模型,包括:
对所述第一图像识别模型进行模型压缩,得到第二图像识别模型;
根据所述第二图像识别模型,确定多个不同的目标图像识别模型。
3.根据权利要求2所述的方法,其中,根据所述第二图像识别模型,确定多个不同的目标图像识别模型,包括:
根据所述多个预设前景类别的类别数量,确定模型数量;
根据所述第二图像识别模型,确定所述模型数量个不同的目标图像识别模型。
4.根据权利要求2或3所述的方法,其中,对所述第一图像识别模型进行模型压缩,得到第二图像识别模型,包括:
简化所述第一图像识别模型的模型结构,得到第三图像识别模型;
通过知识蒸馏算法,利用所述第一图像识别模型对所述第三图像识别模型进行训练,得到第二图像识别模型。
5.根据权利要求4所述的方法,其中,所述第一图像识别模型的模型结构的简化方式包括如下方式中的至少一种:
采用模型裁剪算法简化所述第一图像识别模型的模型结构;
采用网络结构搜索算法简化所述第一图像识别模型的模型结构;
根据用户针对所述第一图像识别模型的裁剪操作,简化所述第一图像识别模型的模型结构。
6.根据权利要求1至3中任一项所述的方法,其中,所述多个不同的目标图像识别模型中包括第一目标图像识别模型;所述训练样本包括样本图像及其标注信息;
根据训练样本,对所述第一目标图像识别模型进行训练,包括:
根据所述第一目标图像识别模型可识别的预设前景类别,对所述训练样本的标注信息进行修改,得到修改后训练样本;
根据修改后训练样本,对所述第一目标图像识别模型进行训练。
7.根据权利要求6所述的方法,其中,根据所述第一目标图像识别模型可识别的预设前景类别,对所述训练样本中的标注信息进行修改,得到修改后训练样本,包括:
判断所述训练样本的标注信息中是否包括有关所述第一目标图像识别模型可识别的预设前景类别的标注信息;
若所述训练样本的标注信息中包括有关所述第一目标图像识别模型可识别的预设前景类别的标注信息,则判断所述训练样本的标注信息中是否包括有关其他预设前景类别的标注信息;所述其他预设前景类别指的是所述多个预设前景类别中除所述第一目标图像识别模型可识别的预设前景类别以外的预设前景类别;
若所述训练样本的标注信息中包括有关所述其他预设前景类别的标注信息,则在所述训练样本的标注信息中删除有关所述其他预设前景类别的标注信息或者将所述训练样本的标注信息中有关所述其他预设前景类别的标注信息进行统一,得到修改后训练样本。
8.根据权利要求6所述的方法,其中,还包括:
若所述训练样本的标注信息中不包括有关所述第一目标图像识别模型可识别的预设前景类别的标注信息,则忽略所述训练样本或者将所述训练样本作为背景图像以对所述第一目标图像识别模型进行训练。
9.一种图像识别方法,其中,包括:
获取待识别图像;
将所述待识别图像分别输入至训练过的多个不同的目标图像识别模型,以得到多个识别结果;所述多个不同的目标图像识别模型可识别的预设前景类别不同;
根据所述多个识别结果,确定所述待识别图像的目标识别结果;
其中,所述多个不同的目标图像识别模型的确定过程包括:
确定训练过的第一图像识别模型;所述第一图像识别模型可识别多个预设前景类别;所述多个预设前景类别中包括所述多个不同的目标图像识别模型可识别的预设前景类别;
根据所述第一图像识别模型,确定所述多个不同的目标图像识别模型;
根据训练样本,分别对所述多个不同的目标图像识别模型进行训练。
10.一种工业质检方法,其中,包括:
获取待识别产品图像;
将所述待识别产品图像分别输入至训练过的多个不同的目标瑕疵识别模型,以得到多个识别结果;所述多个不同的目标瑕疵识别模型可识别的预设瑕疵类别不同;
根据所述多个识别结果,确定所述待识别产品图像的目标识别结果;
其中,所述多个不同的目标瑕疵识别模型的确定过程包括:
确定训练过的第一瑕疵识别模型;所述第一瑕疵识别模型可识别多个预设瑕疵类别;所述多个预设瑕疵类别中包括所述多个不同的目标瑕疵识别模型可识别的预设瑕疵类别;
根据所述第一瑕疵识别模型,确定多个不同的目标瑕疵识别模型;
根据训练样本,分别对所述多个不同的目标瑕疵识别模型进行训练。
11.一种工业质检方法,其中,包括:
响应于用户的图像输入操作,获取待识别产品图像;
当所述用户针对所述待识别产品图像从多个备选瑕疵识别方案中选择第一备选瑕疵识别方案时,将所述待识别产品图像分别输入至训练过的多个不同的目标瑕疵识别模型,以得到多个识别结果;所述多个不同的目标瑕疵识别模型可识别的预设瑕疵类别不同;
根据所述多个识别结果,确定所述待识别产品图像的目标识别结果;
显示所述目标识别结果;
其中,所述多个不同的目标瑕疵识别模型的确定过程包括:
确定训练过的第一瑕疵识别模型;所述第一瑕疵识别模型可识别多个预设瑕疵类别;所述多个预设瑕疵类别中包括所述多个不同的目标瑕疵识别模型可识别的预设瑕疵类别;
根据所述第一瑕疵识别模型,确定多个不同的目标瑕疵识别模型;
根据训练样本,分别对所述多个不同的目标瑕疵识别模型进行训练。
12.一种电子设备,其中,包括:存储器和处理器,其中,
所述存储器,用于存储程序;
所述处理器,与所述存储器耦合,用于执行所述存储器中存储的所述程序,以实现权利要求1至11中任一项所述的方法。
13.一种存储有计算机程序的计算机可读存储介质,其中,所述计算机程序被计算机执行时能够实现权利要求1至11中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210051256.XA CN114494168A (zh) | 2022-01-17 | 2022-01-17 | 模型确定、图像识别与工业质检方法、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210051256.XA CN114494168A (zh) | 2022-01-17 | 2022-01-17 | 模型确定、图像识别与工业质检方法、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114494168A true CN114494168A (zh) | 2022-05-13 |
Family
ID=81512765
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210051256.XA Pending CN114494168A (zh) | 2022-01-17 | 2022-01-17 | 模型确定、图像识别与工业质检方法、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114494168A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115082800A (zh) * | 2022-07-21 | 2022-09-20 | 阿里巴巴达摩院(杭州)科技有限公司 | 图像分割方法 |
CN116309245A (zh) * | 2022-09-07 | 2023-06-23 | 南京江源测绘有限公司 | 基于深度学习的地下排水管道缺陷智能检测方法与系统 |
CN117830859A (zh) * | 2024-03-05 | 2024-04-05 | 农业农村部南京农业机械化研究所 | 基于图像处理的果树靶标自动识别方法及系统 |
-
2022
- 2022-01-17 CN CN202210051256.XA patent/CN114494168A/zh active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115082800A (zh) * | 2022-07-21 | 2022-09-20 | 阿里巴巴达摩院(杭州)科技有限公司 | 图像分割方法 |
CN115082800B (zh) * | 2022-07-21 | 2022-11-15 | 阿里巴巴达摩院(杭州)科技有限公司 | 图像分割方法 |
CN116309245A (zh) * | 2022-09-07 | 2023-06-23 | 南京江源测绘有限公司 | 基于深度学习的地下排水管道缺陷智能检测方法与系统 |
CN116309245B (zh) * | 2022-09-07 | 2024-01-19 | 南京唐壹信息科技有限公司 | 基于深度学习的地下排水管道缺陷智能检测方法与系统 |
CN117830859A (zh) * | 2024-03-05 | 2024-04-05 | 农业农村部南京农业机械化研究所 | 基于图像处理的果树靶标自动识别方法及系统 |
CN117830859B (zh) * | 2024-03-05 | 2024-05-03 | 农业农村部南京农业机械化研究所 | 基于图像处理的果树靶标自动识别方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114494168A (zh) | 模型确定、图像识别与工业质检方法、设备及存储介质 | |
CN105095866B (zh) | 一种快速行为识别方法和系统 | |
CN109993102B (zh) | 相似人脸检索方法、装置及存储介质 | |
CN112632385A (zh) | 课程推荐方法、装置、计算机设备及介质 | |
CN111160569A (zh) | 基于机器学习模型的应用开发方法、装置及电子设备 | |
CN108182175B (zh) | 一种文本质量指标获取方法及装置 | |
CN110968695A (zh) | 基于弱监督技术主动学习的智能标注方法、装置及平台 | |
CN111401418A (zh) | 一种基于改进Faster r-cnn的员工着装规范检测方法 | |
CN113361578B (zh) | 图像处理模型的训练方法、装置、电子设备及存储介质 | |
CN111680753A (zh) | 一种数据标注方法、装置、电子设备及存储介质 | |
CN113486833A (zh) | 多模态特征提取模型训练方法、装置、电子设备 | |
CN111815432A (zh) | 金融服务风险预测方法及装置 | |
CN112749081A (zh) | 用户界面测试方法及相关装置 | |
CN111931809A (zh) | 数据的处理方法、装置、存储介质及电子设备 | |
CN115830399B (zh) | 分类模型训练方法、装置、设备、存储介质和程序产品 | |
CN112734803A (zh) | 基于文字描述的单目标跟踪方法、装置、设备及存储介质 | |
CN110969015B (zh) | 一种基于运维脚本的标签自动化识别方法和设备 | |
CN110968664A (zh) | 一种文书检索方法、装置、设备及介质 | |
CN113435182A (zh) | 自然语言处理中分类标注的冲突检测方法、装置和设备 | |
CN111062216B (zh) | 命名实体识别方法、装置、终端及可读介质 | |
CN113239975A (zh) | 一种基于神经网络的目标检测方法和装置 | |
CN112635060A (zh) | 一种生存力评估方法、装置、评估设备及存储介质 | |
CN111385659B (zh) | 一种视频推荐方法、装置、设备及存储介质 | |
CN111985226A (zh) | 标注数据生成方法及装置 | |
CN110852103A (zh) | 一种命名实体识别方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |