CN111340137A - 图像识别方法、装置及存储介质 - Google Patents
图像识别方法、装置及存储介质 Download PDFInfo
- Publication number
- CN111340137A CN111340137A CN202010222326.4A CN202010222326A CN111340137A CN 111340137 A CN111340137 A CN 111340137A CN 202010222326 A CN202010222326 A CN 202010222326A CN 111340137 A CN111340137 A CN 111340137A
- Authority
- CN
- China
- Prior art keywords
- image
- sample
- processed
- recognition model
- recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 238000012549 training Methods 0.000 claims description 53
- 238000012545 processing Methods 0.000 claims description 24
- 241000533950 Leucojum Species 0.000 description 18
- 238000010586 diagram Methods 0.000 description 8
- 238000013527 convolutional neural network Methods 0.000 description 4
- 230000002708 enhancing effect Effects 0.000 description 4
- 230000003313 weakening effect Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供了一种图像识别方法、装置及存储介质,该方法在对待处理图像进行识别之前,通过第一识别模型对该待处理图像进行处理,以获取该待处理图像的特征图像。由于该特征图像可以使待处理图像的特征更加突出,因此,在该特征图像进行图像识别时,可以避免出现将待处理图像的背景误认为是待处理图像的特征,而导致识别错误的情况,提高了图像识别的准确性。当该方法用于图像分类时,可以提高图像分类的准确性。
Description
技术领域
本发明实施例涉及图像处理技术领域,尤其涉及一种图像识别方法、装置及存储介质。
背景技术
图像识别,是指利用计算机对图像进行处理、分析和理解,以识别各种不同模式的目标和对象的技术,是应用深度学习算法的一种实践应用。图像识别的目标是能够准确识别图像的特征,图像的特征是图像处理中期望获取或处理的价值信息,但是,图像中的背景会对图像的特征提取造成一定干扰。图像识别具有广泛的应用,例如图像分类。
现有技术在使用图像识别模型对图像进行分类时,主要是采用卷积神经网络(Convolutional Neural Networks,CNN)模型。代表性的网络模型例如残差网络(ResidualNetwork,ResNet)模型,该网络模型主要通过残差连接来消除网络深度带来的梯度衰减的问题,使得网络可以往更深的方向发展。再例如轻量级网络(MobileNet)模型,该网络模型则在每一层特征提取的过程,改善卷积运算的结构,来减少网络模型的参数和运算量。
然而,在一些情况下,由于图像的特征在图像中的面积占比较小,和/或图像的特征和背景颜色、形状比较相似等原因,使得图像的特征不突出。例如一帧图像中包括白色地砖和一朵雪花,其中雪花为特征,白色地砖为背景。由于雪花在图像中的面积占比较小,且颜色和白色地砖比较相似,雪花这一特征在该图像中并不突出。目前,图像识别模型在识别特征不突出的图像时,容易将这类图像的背景作为图像的特征,从而导致图像识别的准确性不高。
发明内容
本发明实施例提供一种图像识别方法、装置及存储介质,用以提高图像识别的准确性。
第一方面,本发明提供一种图像识别方法,所述方法包括:
获取待处理图像;
将所述待处理图像输入到第一识别模型,得到所述待处理图像的特征图像;在所述特征图像中,所述待处理图像的特征增强,和/或,所述待处理图像的背景弱化;
根据所述特征图像,获取所述待处理图像的识别结果。
可选地,所述根据所述特征图像,获取所述待处理图像的识别结果,包括:
将所述特征图像输入第二识别模型,得到所述待处理图像的识别结果;所述第二识别模型是使用样本特征图像集作为模型输入,进行训练得到的,所述样本特征图像集包括:通过将样本图像集中的M帧样本图像输入到所述第一识别模型所得到的M帧样本特征图像,所述M为大于或等于2的整数。
可选地,所述将所述待处理图像输入到第一识别模型,得到所述待处理图像的特征图像之前,还包括:
将N组样本图像作为模型输入,训练所述第一识别模型;所述N组样本图像为从所述样本图像集中提取的图像,所述N为大于或等于2的整数,所述N组样本图像中同一组样本图像具有相同的特征。
可选地,所述N组样本图像中同一组样本图像中的第一样本图像为该组样本图像的目标图像;所述目标图像用于获取所述第一识别模型的第一参数,所述第一参数用于表征所述第一识别模型的准确程度。
可选地,所述将所述N组样本图像作为模型输入,训练得到所述第一识别模型之前,还包括:
将所述N组样本图像的每个样本图像的大小调整为预设尺寸。
可选地,所述将所述待处理图像输入到第一识别模型之前,还包括:
若所述待处理图像非所述预设尺寸的图像,则将所述待处理图像的大小调整为所述预设尺寸。
可选地,所述将所述特征图像输入第二识别模型,得到所述待处理图像的识别结果之前,还包括:
将所述样本图像集输入到所述第一识别模型,得到所述样本特征图像集;
将所述样本特征图像集作为第二识别模型的输入,训练所述第二识别模型。
可选地,所述将所述样本特征图像集作为第二识别模型的输入,训练所述第二识别模型之前,还包括:
获取所述样本特征图像集中至少一个类别的样本特征图像的像素均值;
将所述样本特征图像集中的每个样本特征图像的像素值,减去该样本特征图像所属类别的样本特征图像的像素均值,得到更新后的样本特征图像集;
所述将所述样本特征图像集作为第二识别模型的输入,训练得到所述第二识别模型,具体包括:
将所述更新后的样本特征图像集作为第二识别模型的输入,训练所述第二识别模型。
第二方面,本发明提供一种图像识别装置,所述装置包括:
获取模块,用于获取待处理图像;
处理模块,用于将所述待处理图像输入到第一识别模型,得到所述待处理图像的特征图像;根据所述特征图像,获取所述待处理图像的识别结果;在所述特征图像中,所述待处理图像的特征增强,和/或,所述待处理图像的背景弱化。
可选地,所述处理模块,具体用于将所述特征图像输入第二识别模型,得到所述待处理图像的识别结果;所述第二识别模型是使用样本特征图像集作为模型输入,进行训练得到的,所述样本特征图像集包括:通过将样本图像集中的M帧样本图像输入到所述第一识别模型所得到的M帧样本特征图像,所述M为大于或等于2的整数。
可选地,所述处理模块,还用于在将所述待处理图像输入到第一识别模型,得到所述待处理图像的特征图像之前,将N组样本图像作为模型输入,训练所述第一识别模型;所述N组样本图像为从所述样本图像集中提取的图像,所述N为大于或等于2的整数,所述N组样本图像中同一组样本图像具有相同的特征。
可选地,所述N组样本图像中同一组样本图像中的第一样本图像为该组样本图像的目标图像;所述目标图像用于获取所述第一识别模型的第一参数,所述第一参数用于表征所述第一识别模型的准确程度。
可选地,所述处理模块,还用于在将所述N组样本图像作为模型输入,训练得到所述第一识别模型之前,将所述N组样本图像的每个样本图像的大小调整为预设尺寸。
可选地,所述处理模块,还用于在将所述待处理图像输入到第一识别模型之前,当所述待处理图像非所述预设尺寸的图像时,将所述待处理图像的大小调整为所述预设尺寸。
可选地,所述处理模块,还用于在将所述特征图像输入第二识别模型,得到所述待处理图像的识别结果之前,将所述样本图像集输入到所述第一识别模型,得到所述样本特征图像集;将所述样本特征图像集作为第二识别模型的输入,训练所述第二识别模型。
可选地,所述处理模块,还用于在将所述样本特征图像集作为第二识别模型的输入,训练所述第二识别模型之前,获取所述样本特征图像集中至少一个类别的样本特征图像的像素均值;将所述样本特征图像集中的每个样本特征图像的像素值,减去该样本特征图像所属类别的样本特征图像的像素均值,得到更新后的样本特征图像集;将所述更新后的样本特征图像集作为第二识别模型的输入,训练所述第二识别模型。
第三方面,本发明提供一种图像识别装置,包括:至少一个处理器和存储器;
所述存储器存储计算机执行指令;
所述至少一个处理器执行所述存储器存储的计算机执行指令,使得所述装置执行第一方面任一项所述的方法。
第四方面,本发明提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机执行指令,当所述计算机执行指令被处理器执行时,实现第一方面任一项所述的方法。
本发明实施例提供的图像识别方法、装置及存储介质,该方法在对待处理图像进行识别之前,通过第一识别模型对该待处理图像进行处理,以获取该待处理图像的特征图像。由于该特征图像可以使待处理图像的特征更加突出,因此,在该特征图像进行图像识别时,可以避免出现将待处理图像的背景误认为是待处理图像的特征,而导致识别错误的情况,提高了图像识别的准确性。当该方法用于图像分类时,可以提高图像分类的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种图像识别装置的结构示意图;
图2是本发明实施例提供的一种图像识别装置的应用示意图;
图3是本发明实施例提供的一种图像识别方法的流程示意图;
图4是将待处理图像输入第一识别模型前后的对比图;
图5是本发明实施例提供的另一种图像识别方法的流程示意图;
图6是本发明实施例提供的再一种图像识别方法的流程示意图;
图7是本发明实施例提供的一种识别模型训练流程示意图;
图8是本发明实施例提供的另一种图像识别装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
现有技术在使用图像识别模型对图像进行分类时,主要是采用卷积神经网络(Convolutional Neural Networks,CNN)模型。代表性的网络模型例如残差网络(ResidualNetwork,ResNet)模型,该网络模型主要通过残差连接来消除网络深度带来的梯度衰减的问题,使得网络可以往更深的方向发展。再例如轻量级网络(MobileNet)模型,该网络模型则在每一层特征提取的过程,改善卷积运算的结构,来减少网络模型的参数和运算量。
例如,在一些情况下,由于图像的特征在图像中的面积占比较小,和/或图像的特征和背景颜色、形状比较相似等原因,使得图像的特征不突出。例如一帧图像中包括白色地砖和一朵雪花,其中雪花为特征,白色地砖为背景。由于雪花在图像中的面积占比较小,且颜色和白色地砖比较相似,雪花这一特征在该图像中并不突出。目前,图像识别模型在识别特征不突出的图像时,容易将这类图像的背景作为图像的特征,从而导致图像识别的准确性不高。
本发明提供一种图像识别方法,通过对图像进行处理,以突出图像的特征,从而可以使对图像识别的模型可以准确的获取图像的特征,进而可以基于该图像特征准确地识别出该图像,避免出现将图像的背景信息误认为图像的特征,从而导致图像识别结果错误的情况。当该方法应用于图像分类时,可以提高图像分类的准确性。
应理解,本发明实施例提供的图像识别方法、装置及存储介质,可以适用于任一对图像识别的领域。例如,人脸识别、图像分类等。示例性的,在遥感图像识别领域,可以基于遥感卫星拍摄的图像识别是否有火灾;或者,在机器视觉领域,可以基于图像对人脸进行识别等。
本发明实施例的执行主体为图像识别装置,作为一种可能的实现方式,该图像识别装置可以是电子设备或者可以是可配置于电子设备的部件(例如芯片或者电路等)。此处所说的电子设备例如可以是终端、服务器等。图1是本发明实施例提供的一种图像识别装置的结构示意图。如图1所示,该装置可以包括:存储器91和至少一个处理器92。
存储器91,用于存储程序指令。
处理器92,用于在程序指令被执行时实现本发明实施例中的图像识别方法。
该图像识别装置还可以包括及输入/输出接口93。
输入/输出接口93可以包括独立的输出接口和输入接口,也可以为集成输入和输出的集成接口。其中,输出接口用于输出数据,输入接口用于获取输入的数据,上述输出的数据为本发明方法实施例中输出的统称,输入的数据为本发明方法实施例中输入的统称。
作为另一种可能的实现方式,该图像识别装置可以部署在云环境中,以通过云服务提供本申请实施例的功能。例如,终端设备可以通过网络访问云环境,以通过云环境中的图像识别装置对待处理图像进行识别。图2是本发明实施例提供的一种图像识别装置的应用示意图,如图2所示,云环境是云计算模式下利用基础资源向用户提供云服务的实体。云环境包括云服务提供商拥有的大量基础资源(包括计算资源、存储资源和网络资源),此处所说的计算资源可以是大量的计算设备(例如服务器)。例如,以云环境包括的计算资源是运行有虚拟机的服务器为例,图像识别装置可以独立地部署在云环境中的服务器或虚拟机上,图像识别装置也可以分布式地部署在环境中的多台服务器上、或者分布式地部署在云环境中的多台虚拟机上、再或者分布式地部署在云环境中的服务器和虚拟机上。该图像识别装置可以接收终端设备发送的待处理图像,还可以将识别后的结果发送给终端设备。
下面结合几个具体的实施例,对本发明提供的图像识别方法的技术方案进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或者相似的概念或者过程可能在某些实施例不再赘述。
图3是本发明实施例提供的一种图像识别方法的流程示意图。如图3所示,本发明该方法可以包括:
S101、获取待处理图像。
待处理图像包括图像的特征和图像的背景。
可选的,图像识别装置可以接收用户输入的待处理图像,或者从存储介质中读取待处理图像,或者是采集设备(例如摄像头传感器)采集的图像。此处,待处理图像可以为一帧,也可以为多帧。
S102、将待处理图像输入到第一识别模型,得到待处理图像的特征图像。
例如,第一识别模型可以为人工智能(Artificial Intelligence,AI)模型,图像识别装置可以通过第一识别模型,将待处理图像的特征增强,得到待处理图像的特征图像;或者,将待处理图像的背景弱化,得到待处理图像的特征图像;或者,将待处理图像的特征增强,同时将待处理图像的背景弱化,得到待处理图像的特征图像。通过该方式,可以使待处理图像的特征更加突出,从而可以与背景更加明显的区分开。
应理解,上述将待处理图像的特征增强例如可以是增强待处理图像的特征的灰度值,上述将待处理图像的背景弱化例如可以是降低待处理图像的背景的灰度值。当然,也可以采用其他增强或弱化的方式,以突出待处理图像的特征,图4是将待处理图像输入第一识别模型前后的对比图,如图4所示,左图为待处理图像,右图为待处理图像的特征图像。
本实施例不限定上述第一识别模型的实现方式,例如该第一识别模型可以是超分辨残差网络(SRResNet),也可以是其他网络模型,例如残差网络(ResNet)、轻量级网络(mobileNet)等。
S103、根据待处理图像的特征图像,获取待处理图像的识别结果。
例如,图像识别装置可以将待处理图像的特征图像输入到现有的图像识别模型中,获取待处理图像的识别结果。现有的图像识别模型例如残差网络(Residual Network,ResNet)模型、轻量级网络(MobileNet)模型等。
本实施例提供的图像识别方法,在对待处理图像进行识别之前,通过第一识别模型对该待处理图像进行处理,以获取该待处理图像的特征图像。由于该特征图像可以使待处理图像的特征更加突出,因此,在该特征图像进行图像识别时,可以准确的识别出待处理图像的特征,从而基于该特征对图像进行识别,避免出现将待处理图像的背景误认为是待处理图像的特征,而导致识别错误的情况,提高了图像识别的准确性。当该方法用于图像分类时,可以提高图像分类的准确性。
在步骤S103中,另一种可能的实现方式,图像识别装置可以将特征图像输入第二识别模型,得到待处理图像的识别结果。
第二识别模型也可以为人工智能(Artificial Intelligence,AI)模型。第二识别模型是使用样本特征图像集作为模型输入进行训练得到的,样本特征图像集可以包括:通过将样本图像集中的M帧样本图像输入到所述第一识别模型所得到的M帧样本特征图像,所述M为大于或等于2的整数。
由于第二识别模型是使用样本特征图像集训练得到的,样本特征图像集中的样本图像经过第一识别模型处理后,或者增强样本图像的特征,或者弱化样本图像的背景,或者既增强样本图像的特征,又弱化样本图像的背景。即,样本特征图像集中的样本特征图像均突出了样本图像的特征。因此,使用该样本特征图像集对第二识别模型进行训练,可以使第二识别模型更准确地学习到样本特征图像的特征,进而在使用第二识别模型识别待处理图像的特征图像时,可以进一步提高图像识别的准确性。关于第二识别模型的训练过程将在下面的实施例中详述。
图5是本发明实施例提供的另一种图像识别方法的流程示意图,本实施例着重介绍如何训练第一识别模型。在步骤S102之前,如图5所示,还可以包括如下步骤:
S201、将N组样本图像作为模型输入,训练第一识别模型。
其中,N组样本图像为从样本图像集中提取的图像,N为大于或等于2的整数,N组样本图像中同一组样本图像具有相同的特征。其中,样本图像预先标记有图像特征的种类。即,本实施例中,训练第一识别模型与训练第二识别模型采用的是相同的样本图像集生成训练数据。应理解,具体实现时,训练第一识别模型与训练第二识别模型也可以通过不同的样本图像集生成训练数据。
图像识别装置可以一次输入一组样本图像到第一识别模型中,也可以将多组样本图像作为一个批次同时输入到第一识别模型中,以提高训练的效率。同批次的多组样本图像的种类可以相同,也可以不同。
其中,N组样本图像中同一组样本图像中的第一样本图像为该组样本图像的目标图像,目标图像用于获取第一识别模型的第一参数,第一参数用于表征第一识别模型的准确程度。同一组样本图像中的第二样本图像为该组目标图像的参照图像。在训练第一识别模型时,由于第一样本图像和第二样本图像包括相同的特征,因此,第一识别模型在提取第一样本图像的特征时,可以结合第二样本图像,将特征准确地提取出来。这样,当将待处理图像输入到训练好的第一识别模型时,第一识别模型可以准确的从待处理图像中识别出训练过程学习到的特征,进而对该特征进行增强,和/或对待处理图像的背景进行弱化,可以避免出现将待处理图像的背景误认为是待处理图像的特征,而导致识别错误的情况,提高了图像识别的准确性。
第一识别模型的训练过程例如可以采用如下方式:
假设第i组样本图像为(X_i,Y_i),第一样本图像X_i为目标图像,Y_i为第i组样本图像的参考图像,用于辅助确认X_i的特征,将第i组样本图像为(X_i,Y_i)作为模型输入,输出与第一样本图像X_i相对应的图像为X_i_out。
以第一识别模型为SRResNet模型为例,第一参数可以为目标图像X_i与其对应的输出图像X_i_out之间的均方误差(mean-square error,MSE),和/或目标图像X_i与其对应的输出图像X_i_out之间的峰值信噪比(Peak Signal to Noise Ratio,PSNR)。
使用上述N组样本图像和第一参数训练该第一识别模型,直至该第一参数的取值小于第一预设阈值。该第一预设阈值可以根据实际情况设置的。关于如何使用构建好的训练集和第一参数训练识别模型可以参见现有技术,对此不再赘述。
为了更好地理解训练第一识别模型,示例如下:
假设样本图像集共包括W帧样本图像(第j帧样本图像记为S_j),这些样本图像的种类可以分为3种,分别为雪花、小狗、旗子。假设雪花的样本图像有k帧,小狗的样本图像有n帧、旗子的样本图像有p帧。样本图像是从样本图像集中按照种类提取出来的,例如从雪花的k帧样本中抽取了多组样本图像,从小狗的n帧样本中抽取了多组样本图像,再从旗子的p帧样本图像中抽取了多组样本图像,抽取的多组样本图像的组数为N。每组样本图像中可以包括两帧具有相同特征的样本图像,同一种类的不同组的样本图像可以部分相同。示例性的,第i组样本可以记为(X_i,Y_i),X_i为第i组样本图像的第一样本图像,Y_i为第i组样本图像的第二样本图像。例如小狗的第一组样本图像包括X_1和Y_1,小狗的第二组样本图像包括X_2和Y_2,其中,当Y_1和Y_2不同时,X1与的X2可以是同一帧图像,也可以是不同帧图像。
在训练第一识别模型的N组样本图像中,首先,任一组的样本图像(X_i,Y_i)具有相同的特征。假设X_i和Y_i包括相同的特征雪花,第一识别模型在提取X_i的特征时,可以结合Y_i,将特征雪花准确地提取出来。通过N组样本图像的训练,第一识别模型就学习到了雪花、小狗、旗子这三个特征。当将待处理图像输入到第一识别模型,第一识别模型可以识别出待处理图像中的雪花、或者小狗、或者旗子的特征,进而对该特征进行增强(例如可以增强特征的灰度,和/或,减弱背景的灰度等等),得到待处理图像的特征图像。
一种可能的实现方式,在步骤S201之前,还可以包括如下步骤:
S202、将N组样本图像的每个样本图像调整到预设尺寸。
示例性的,预设尺寸为460*460像素。通过该步骤,将N组样本图像输入到第一识别模型时,第一识别模型可以不需要再执行亚像素卷积操作来调整待处理图像的尺寸,该步骤可以提高第一识别模型的运算效率。
若在步骤S201之前执行了步骤S202,可选地,在步骤S102之前,即将待处理图像输入至第一识别模型之前,判断所述待处理图像是否为预设尺寸的图像,若否,则将所述待处理图像的大小也调整为上述预设尺寸后,再输入第一识别模型。若是,则直接将待处理图像输入第一识别模型进行处理。
本实施例在训练第一识别模型时,由于第一样本图像和第二样本图像包括相同的特征,因此,第一识别模型在提取第一样本图像的特征时,可以结合第二样本图像,将特征准确地提取出来。这样,当将待处理图像输入到训练好的第一识别模型时,第一识别模型可以准确的从待处理图像中识别出训练过程学习到的特征,进而对该特征进行增强,和/或对待处理图像的背景进行弱化,可以避免出现将待处理图像的背景误认为是待处理图像的特征,而导致识别错误的情况,提高了图像识别的准确性。当该方法用于图像分类时,也可以提高图像分类的准确性。
图6是本发明实施例提供的再一种图像识别方法的流程示意图,本实施例着重介绍如何训练第二识别模型。如图6所示,该方法可以包括:
S301、将样本图像集输入到第一识别模型,得到样本特征图像集。
S302、将样本特征图像集作为第二识别模型的输入,训练第二识别模型。
第二识别模型可以为残差网络-52(resnet-52),也可以是其他网络模型,例如轻量级网络(mobileNet)、超分辨残差网络(SRResNet)等。本实施例以第二识别模型为resnet-52为例进行说明,resnet-52使用交叉熵(Cross Entropy)来评估模型的准确度。
第二识别模型是使用样本特征图像集作为模型输入,进行训练得到的,样本特征图像集包括:通过将样本图像集输入到第一识别模型所得到的样本特征图像。其中,训练第二识别模型可以用与训练第一识别模型的相同的样本图像集,也可以使用不同的样本图像集,下述示例以使用相同的样本图像集为例进行说明。
示例性的,假设样本图像集共包括M(M=W)个样本图像(第j个样本图像记为S_j),将M个样本图像输入到上述训练好的第一识别模型中,得到与M个样本图像对应的样本特征图像,M个样本特征图像即组成样本特征图像集,与第j个样本图像对应的第j个样本特征图像记为K_j。样本特征图像K_j的种类记为K_j_type,示例性的,K_j_type为雪花、小狗、旗子中的一个。
例如在采用resnet-52模型时,将包括M个样本特征图像的样本特征图像集作为第二识别模型的输入,输出的第j个样本特征图像K_j的输出种类为K_j_type_out,计算第j个样本特征图像的种类K_j_type和第j个样本特征图像的输出种类K_j_type_out的交叉熵(Cross Entropy),当交叉熵的损失函数值小于第二预设阈值时,第二识别模型训练完成。
将待处理图像的特征图像输入第二识别模型,得到待处理图像的识别结果。示例性的,识别出待处理图像的结果为雪花,或者小狗、或者旗子。
由于第二识别模型是使用样本特征图像集训练得到的,样本特征图像集中的样本图像经过第一识别模型处理后,或者增强样本图像的特征,或者弱化样本图像的背景,或者既增强样本图像的特征,又弱化样本图像的背景。因此,第二识别模型可以更准确地学习到样本特征图像的特征,进而在使用第二识别模型识别待处理图像的特征图像时,可以进一步提高图像识别的准确性。
在一种可能的实现方式中,在步骤S302之前,图像识别装置还可以获取样本特征图像集中至少一个类别的样本特征图像的像素均值。然后将样本特征图像集中的每个样本特征图像的像素值,减去该样本特征图像所属类别的样本特征图像的像素均值,得到更新后的样本特征图像集,该过程可以称为锐化处理。
示例性的,计算雪花的k个样本特征图像的像素均值,然后将这k个样本特征图像的像素值分别减去k个样本特征图像的像素均值,得到更新后的k个样本特征图像。同理,计算小狗的n个样本特征图像的像素均值,然后将这n个样本特征图像的像素值分别减去n个样本特征图像的像素均值,得到更新后的n个样本特征图像。计算旗子的p个样本特征图像的像素均值,然后将这p个样本特征图像的像素值分别减去p个样本特征图像的像素均值,得到更新后的p个样本特征图像。更新后的k个样本特征图像,加上更新后的n个样本特征图像,再加上更新后的p个样本特征图像,组成更新后的样本特征图像集。
在此基础上,步骤S302具体可以将更新后的样本特征图像集作为第二识别模型的输入,训练第二识别模型。
通过该方法,可以再一步增强样本特征图像集中每一个样本特征图像的特征,使用更新后的样本特征图像集作为第二识别模型的输入训练第二识别模型时,可以再一步提高第二识别模型获取待处理图像的分类结果的准确性。
本实施例将样本图像集输入到第一识别模型,得到样本特征图像集,然后将样本特征图像集作为第二识别模型的输入,训练第二识别模型。由于第二识别模型是使用样本特征图像集训练得到的,样本特征图像集中的样本图像经过第一识别模型处理后,或者增强样本图像的特征,或者弱化样本图像的背景,或者既增强样本图像的特征,又弱化样本图像的背景。因此,第二识别模型可以更准确地学习到样本特征图像的特征,进而在使用第二识别模型识别待处理图像的特征图像时,可以进一步提高图像识别的准确性。当采用上述锐化处理时,可以再一步增强样本特征图像的特征,可以再一步提高第二识别模型获取待处理图像的分类结果的准确性。当该方法用于图像分类时,也可以提高图像分类的准确性。
为了更好地理解本发明的技术方案,示例性的,下述实施例将着重介绍第一识别模型和第二识别模型的训练过程。图7是本发明实施例提供的一种识别模型训练流程示意图,如图7所示,可以包括:
①从包含W个样本图像的样本图像集中提取出N组样本图像。其中,N组样本图像中同一组样本图像具有相同的特征。
②对N组样本图像进行尺寸调整,将N组样本图像中的每一个样本图像调整到预设尺寸。
③将调整后的相同尺寸的N组样本图像作为输入,训练第一识别模型。
④将均方误差(MSE)和/或峰值信噪比(PSNR)作为第一参数,当第一参数收敛时,训练完成得到第一识别模型。
⑤将包含W个样本图像的样本图像集输入到第一识别模型中。
⑥第一识别模型生成与W个样本图像对应的W个样本特征图像,组成样本特征图像集。
⑦对包含W个样本特征图像的样本特征图像集进行锐化处理,即获取样本特征图像集中至少一个类别的样本特征图像的像素均值。然后将样本特征图像集中的每个样本特征图像的像素值,减去该样本特征图像所属类别的样本特征图像的像素均值,得到更新后的样本特征图像集。
⑧将锐化处理后的样本特征图像集作为模型输入,训练第二识别模型。
⑨当交叉熵的损失函数值小于第二预设阈值时,模型收敛,训练完成得到第二识别模型。
本实施例提供的图像识别方法,在对待处理图像进行识别之前,通过第一识别模型对该待处理图像进行处理,以获取该待处理图像的特征图像。由于该特征图像可以使待处理图像的特征更加突出,因此,在该特征图像进行图像识别时,可以避免出现将待处理图像的背景误认为是待处理图像的特征,而导致识别错误的情况,提高了图像识别的准确性。
进一步地,当采用第二识别模型进行图像识别时,由于第二识别模型是使用样本特征图像集训练得到的,样本特征图像集中的样本图像经过第一识别模型处理后,或者增强样本图像的特征,或者弱化样本图像的背景,或者既增强样本图像的特征,又弱化样本图像的背景。因此,第二识别模型可以更准确地学习到样本特征图像的特征,进而在使用第二识别模型识别待处理图像的特征图像时,可以进一步提高图像识别的准确性。
再进一步,当采用上述锐化处理时,可以再一步增强样本特征图像的特征,可以再一步提高第二识别模型获取待处理图像的分类结果的准确性。
当该方法用于图像分类时,也可以提高图像分类的准确性。
本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
图8是本发明实施例提供的另一种图像识别装置的结构示意图。如图8所示,该装置包括:获取模块11和处理模块12。其中,
获取模块11,用于获取待处理图像;
处理模块12,用于将待处理图像输入到第一识别模型,得到待处理图像的特征图像;根据特征图像,获取待处理图像的识别结果;在特征图像中,待处理图像的特征增强,和/或,待处理图像的背景弱化。
可选地,处理模块12,具体用于将特征图像输入第二识别模型,得到待处理图像的识别结果;第二识别模型是使用样本特征图像集作为模型输入,进行训练得到的,样本特征图像集包括:通过将样本图像集中的M帧样本图像输入到第一识别模型所得到的M帧样本特征图像,M为大于或等于2的整数。
可选地,处理模块12,还用于在将待处理图像输入到第一识别模型,得到待处理图像的特征图像之前,将N组样本图像作为模型输入,训练第一识别模型;N组样本图像为从样本图像集中提取的图像,N为大于或等于2的整数,N组样本图像中同一组样本图像具有相同的特征。
可选地,N组样本图像中同一组样本图像中的第一样本图像为该组样本图像的目标图像;目标图像用于获取第一识别模型的第一参数,第一参数用于表征第一识别模型的准确程度。
可选地,处理模块12,还用于在将N组样本图像作为模型输入,训练得到第一识别模型之前,将N组样本图像的每个样本图像的大小调整为预设尺寸。
可选地,处理模块12,还用于在将待处理图像输入到第一识别模型之前,当待处理图像非预设尺寸的图像时,将待处理图像的大小调整为预设尺寸。
可选地,处理模块12,还用于在将特征图像输入第二识别模型,得到待处理图像的识别结果之前,将样本图像集输入到第一识别模型,得到样本特征图像集;将样本特征图像集作为第二识别模型的输入,训练第二识别模型。
可选地,处理模块12,还用于在将样本特征图像集作为第二识别模型的输入,训练第二识别模型之前,获取样本特征图像集中至少一个类别的样本特征图像的像素均值;将样本特征图像集中的每个样本特征图像的像素值,减去该样本特征图像所属类别的样本特征图像的像素均值,得到更新后的样本特征图像集;将更新后的样本特征图像集作为第二识别模型的输入,训练第二识别模型。
本发明实施例还提供一种如图1所示的图像识别装置,该图像识别装置中的处理器92读取存储器91存储的程序以执行前述图像识别方法。
本申请还提供一种可读存储介质,可读存储介质中存储有执行指令,当图像识别装置的至少一个处理器执行该执行指令时,当计算机执行指令被处理器执行时,实现上述实施例中的图像识别方法。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种图像识别方法,其特征在于,所述方法包括:
获取待处理图像;
将所述待处理图像输入到第一识别模型,得到所述待处理图像的特征图像;在所述特征图像中,所述待处理图像的特征增强,和/或,所述待处理图像的背景弱化;
根据所述特征图像,获取所述待处理图像的识别结果。
2.根据权利要求1所述的方法,其特征在于,所述根据所述特征图像,获取所述待处理图像的识别结果,包括:
将所述特征图像输入第二识别模型,得到所述待处理图像的识别结果;所述第二识别模型是使用样本特征图像集作为模型输入,进行训练得到的,所述样本特征图像集包括:通过将样本图像集中的M帧样本图像输入到所述第一识别模型所得到的M帧样本特征图像,所述M为大于或等于2的整数。
3.根据权利要求2所述的方法,其特征在于,所述将所述待处理图像输入到第一识别模型,得到所述待处理图像的特征图像之前,还包括:
将N组样本图像作为模型输入,训练所述第一识别模型;所述N组样本图像为从所述样本图像集中提取的图像,所述N为大于或等于2的整数,所述N组样本图像中同一组样本图像具有相同的特征。
4.根据权利要求3所述的方法,其特征在于,所述N组样本图像中同一组样本图像中的第一样本图像为该组样本图像的目标图像;所述目标图像用于获取所述第一识别模型的第一参数,所述第一参数用于表征所述第一识别模型的准确程度。
5.根据权利要求3所述的方法,其特征在于,所述将所述N组样本图像作为模型输入,训练得到所述第一识别模型之前,还包括:
将所述N组样本图像的每个样本图像的大小调整为预设尺寸。
6.根据权利要求2-5任一项所述的方法,其特征在于,所述将所述特征图像输入第二识别模型,得到所述待处理图像的识别结果之前,还包括:
将所述样本图像集输入到所述第一识别模型,得到所述样本特征图像集;
将所述样本特征图像集作为第二识别模型的输入,训练所述第二识别模型。
7.根据权利要求6所述的方法,其特征在于,所述将所述样本特征图像集作为第二识别模型的输入,训练所述第二识别模型之前,还包括:
获取所述样本特征图像集中至少一个类别的样本特征图像的像素均值;
将所述样本特征图像集中的每个样本特征图像的像素值,减去该样本特征图像所属类别的样本特征图像的像素均值,得到更新后的样本特征图像集;
所述将所述样本特征图像集作为第二识别模型的输入,训练得到所述第二识别模型,具体包括:
将所述更新后的样本特征图像集作为第二识别模型的输入,训练所述第二识别模型。
8.一种图像识别装置,其特征在于,所述装置包括:
获取模块,用于获取待处理图像;
处理模块,用于将所述待处理图像输入到第一识别模型,得到所述待处理图像的特征图像;根据所述特征图像,获取所述待处理图像的识别结果;在所述特征图像中,所述待处理图像的特征增强,和/或,所述待处理图像的背景弱化。
9.一种图像识别装置,其特征在于,包括:至少一个处理器和存储器;
所述存储器存储计算机执行指令;
所述至少一个处理器执行所述存储器存储的计算机执行指令,使得所述装置执行权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机执行指令,当所述计算机执行指令被处理器执行时,实现权利要求1-7任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010222326.4A CN111340137A (zh) | 2020-03-26 | 2020-03-26 | 图像识别方法、装置及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010222326.4A CN111340137A (zh) | 2020-03-26 | 2020-03-26 | 图像识别方法、装置及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111340137A true CN111340137A (zh) | 2020-06-26 |
Family
ID=71186253
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010222326.4A Pending CN111340137A (zh) | 2020-03-26 | 2020-03-26 | 图像识别方法、装置及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111340137A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112434631A (zh) * | 2020-12-01 | 2021-03-02 | 天冕信息技术(深圳)有限公司 | 目标物识别方法、装置、电子设备及可读存储介质 |
CN112434631B (zh) * | 2020-12-01 | 2024-07-02 | 天冕信息技术(深圳)有限公司 | 目标物识别方法、装置、电子设备及可读存储介质 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108647648A (zh) * | 2018-05-14 | 2018-10-12 | 电子科技大学 | 一种基于卷积神经网络的可见光条件下的舰船识别系统及方法 |
CN109583364A (zh) * | 2018-11-27 | 2019-04-05 | 上海鹰瞳医疗科技有限公司 | 图像识别方法及设备 |
CN109614907A (zh) * | 2018-11-28 | 2019-04-12 | 安徽大学 | 基于特征强化引导卷积神经网络的行人再识别方法及装置 |
CN109711342A (zh) * | 2018-12-27 | 2019-05-03 | 河北工程大学 | 人脸识别方法及装置 |
WO2019085793A1 (zh) * | 2017-11-01 | 2019-05-09 | 腾讯科技(深圳)有限公司 | 图像分类方法、计算机设备及计算机可读存储介质 |
CN109919160A (zh) * | 2019-03-04 | 2019-06-21 | 深圳先进技术研究院 | 验证码识别方法、装置、终端及存储介质 |
CN110378854A (zh) * | 2019-07-17 | 2019-10-25 | 上海商汤智能科技有限公司 | 机器人图像增强方法及装置 |
WO2019218835A1 (zh) * | 2018-05-16 | 2019-11-21 | 腾讯科技(深圳)有限公司 | 图像识别方法、存储介质及计算机设备 |
WO2019232831A1 (zh) * | 2018-06-06 | 2019-12-12 | 平安科技(深圳)有限公司 | 机场异物识别方法、装置、计算机设备及存储介质 |
WO2019237846A1 (zh) * | 2018-06-11 | 2019-12-19 | 腾讯科技(深圳)有限公司 | 图像处理方法、人脸识别方法、装置和计算机设备 |
-
2020
- 2020-03-26 CN CN202010222326.4A patent/CN111340137A/zh active Pending
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019085793A1 (zh) * | 2017-11-01 | 2019-05-09 | 腾讯科技(深圳)有限公司 | 图像分类方法、计算机设备及计算机可读存储介质 |
CN108647648A (zh) * | 2018-05-14 | 2018-10-12 | 电子科技大学 | 一种基于卷积神经网络的可见光条件下的舰船识别系统及方法 |
WO2019218835A1 (zh) * | 2018-05-16 | 2019-11-21 | 腾讯科技(深圳)有限公司 | 图像识别方法、存储介质及计算机设备 |
WO2019232831A1 (zh) * | 2018-06-06 | 2019-12-12 | 平安科技(深圳)有限公司 | 机场异物识别方法、装置、计算机设备及存储介质 |
WO2019237846A1 (zh) * | 2018-06-11 | 2019-12-19 | 腾讯科技(深圳)有限公司 | 图像处理方法、人脸识别方法、装置和计算机设备 |
CN109583364A (zh) * | 2018-11-27 | 2019-04-05 | 上海鹰瞳医疗科技有限公司 | 图像识别方法及设备 |
CN109614907A (zh) * | 2018-11-28 | 2019-04-12 | 安徽大学 | 基于特征强化引导卷积神经网络的行人再识别方法及装置 |
CN109711342A (zh) * | 2018-12-27 | 2019-05-03 | 河北工程大学 | 人脸识别方法及装置 |
CN109919160A (zh) * | 2019-03-04 | 2019-06-21 | 深圳先进技术研究院 | 验证码识别方法、装置、终端及存储介质 |
CN110378854A (zh) * | 2019-07-17 | 2019-10-25 | 上海商汤智能科技有限公司 | 机器人图像增强方法及装置 |
Non-Patent Citations (2)
Title |
---|
AFFIX MARETA ET AL.: "Herbal leaf classification using images in natural background" * |
赵文清 等: "注意力机制和Faster RCNN相结合的绝缘子识别" * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112434631A (zh) * | 2020-12-01 | 2021-03-02 | 天冕信息技术(深圳)有限公司 | 目标物识别方法、装置、电子设备及可读存储介质 |
CN112434631B (zh) * | 2020-12-01 | 2024-07-02 | 天冕信息技术(深圳)有限公司 | 目标物识别方法、装置、电子设备及可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108986050B (zh) | 一种基于多分支卷积神经网络的图像和视频增强方法 | |
CN109272509B (zh) | 一种连续图像的目标检测方法、装置、设备及存储介质 | |
CN111950453A (zh) | 一种基于选择性注意力机制的任意形状文本识别方法 | |
CN112949767B (zh) | 样本图像增量、图像检测模型训练及图像检测方法 | |
CN113344826B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN114841972A (zh) | 基于显著性图和语义嵌入特征金字塔的输电线路缺陷识别方法 | |
CN113869449A (zh) | 一种模型训练、图像处理方法、装置、设备及存储介质 | |
CN116110036B (zh) | 基于机器视觉的电力铭牌信息缺陷等级判断方法及装置 | |
CN109740553B (zh) | 一种基于识别的图像语义分割数据筛选方法及系统 | |
CN112884758B (zh) | 一种基于风格迁移方法的缺陷绝缘子样本生成方法及系统 | |
CN113705361A (zh) | 活体检测模型的方法、装置及电子设备 | |
CN114419570A (zh) | 一种点云数据识别方法、装置、电子设备及存储介质 | |
CN113505854A (zh) | 一种人脸图像质量评价模型构建方法、装置、设备及介质 | |
CN116895030B (zh) | 基于目标检测算法和注意力机制的绝缘子检测方法 | |
CN113515655A (zh) | 一种基于图像分类的故障识别方法及装置 | |
CN111027564A (zh) | 基于深度学习一体化的低照度成像车牌识别方法及装置 | |
CN114581789A (zh) | 一种高光谱图像分类方法及系统 | |
CN114049483A (zh) | 基于事件相机的目标检测网络自监督训练方法及装置 | |
CN116612355A (zh) | 人脸伪造识别模型训练方法和装置、人脸识别方法和装置 | |
CN114724144B (zh) | 文本识别方法、模型的训练方法、装置、设备及介质 | |
CN113822373B (zh) | 一种基于集成与知识蒸馏的图像分类模型训练方法 | |
CN111340137A (zh) | 图像识别方法、装置及存储介质 | |
CN115019057A (zh) | 图像特征提取模型确定方法及装置、图像识别方法及装置 | |
CN115331081A (zh) | 图像目标检测方法与装置 | |
CN115083006A (zh) | 虹膜识别模型训练方法、虹膜识别方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
AD01 | Patent right deemed abandoned |
Effective date of abandoning: 20240607 |