CN116959077A - 图像识别方法、装置、电子设备及可读存储介质 - Google Patents
图像识别方法、装置、电子设备及可读存储介质 Download PDFInfo
- Publication number
- CN116959077A CN116959077A CN202311168475.7A CN202311168475A CN116959077A CN 116959077 A CN116959077 A CN 116959077A CN 202311168475 A CN202311168475 A CN 202311168475A CN 116959077 A CN116959077 A CN 116959077A
- Authority
- CN
- China
- Prior art keywords
- image
- representing
- loss function
- triplet
- resolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 230000006870 function Effects 0.000 claims description 162
- 238000012549 training Methods 0.000 claims description 46
- 238000004590 computer program Methods 0.000 claims description 17
- 230000000694 effects Effects 0.000 abstract description 7
- 239000000523 sample Substances 0.000 description 24
- 239000004973 liquid crystal related substance Substances 0.000 description 16
- 239000013074 reference sample Substances 0.000 description 13
- 230000008569 process Effects 0.000 description 11
- 230000014509 gene expression Effects 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006116 polymerization reaction Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及计算机视觉技术领域，提供了一种图像识别方法、装置、电子设备及可读存储介质。该方法包括：获取目标对象的待识别图像，待识别图像包括高分辨率图像或低分辨率图像；将待识别图像输入至预先训练完成的图像识别模型，得到图像识别结果，图像识别结果用于指示目标对象所对应的类别结果；其中，图像识别模型的目标损失值基于三元组损失函数和分类损失函数得到，三元组损失函数包括高分辨率图像对应的第一三元组损失函数、低分辨率图像对应的第二三元组损失函数、高分辨率图像和低分辨率图像对应的第三三元组损失函数。本申请实施例解决了现有技术中低分辨率场景和跨分辨率场景的情况下图像识别效果不佳的问题。
Description
技术领域
本申请涉及计算机视觉技术领域，尤其涉及一种图像识别方法、装置、电子设备及可读存储介质。
背景技术
计算机视觉是人工智能的一个领域，是指让计算机和系统能够从图像、视频和其他视觉输入中获取有意义的信息，并根据该信息采取行动或提供建议。图像识别是计算机视觉中的一个重要领域，随着图像识别技术的发展，现有算法在公开数据集上的精度越来越高，但在低分辨率场景和跨分辨率场景的情况下识别效果不佳，容易出现误识别的现象。
所以，现有技术存在低分辨率场景和跨分辨率场景的情况下图像识别效果不佳的问题。
发明内容
有鉴于此，本申请实施例提供了一种图像识别方法、装置、电子设备及可读存储介质，以解决现有技术中现有技术存在的低分辨率场景和跨分辨率场景的情况下图像识别效果不佳的问题。
本申请实施例的第一方面，提供了一种图像识别方法，包括：
获取目标对象的待识别图像，所述待识别图像包括高分辨率图像或低分辨率图像；
将所述待识别图像输入至预先训练完成的图像识别模型，得到图像识别结果，所述图像识别结果用于指示所述目标对象所对应的类别结果；
其中，所述图像识别模型的目标损失值基于三元组损失函数和分类损失函数得到，所述三元组损失函数包括高分辨率图像对应的第一三元组损失函数、低分辨率图像对应的第二三元组损失函数、高分辨率图像和低分辨率图像对应的第三三元组损失函数。
本申请实施例的第二方面，提供了一种图像识别装置，包括：
获取模块，用于获取目标对象的待识别图像，所述待识别图像包括高分辨率图像或低分辨率图像；
识别模块，用于将所述待识别图像输入至预先训练完成的图像识别模型，得到图像识别结果，所述图像识别结果用于指示所述目标对象所对应的类别结果；其中，所述图像识别模型的目标损失值基于三元组损失函数和分类损失函数得到，所述三元组损失函数包括高分辨率图像对应的第一三元组损失函数、低分辨率图像对应的第二三元组损失函数、高分辨率图像和低分辨率图像对应的第三三元组损失函数。
本申请实施例的第三方面，提供了一种电子设备，包括存储器、处理器以及存储在存储器中并且可在处理器上运行的计算机程序，该处理器执行计算机程序时实现上述方法的步骤。
本申请实施例的第四方面，提供了一种可读存储介质，该可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。
本申请实施例与现有技术相比存在的有益效果是：
通过获取目标对象的待识别图像，待识别图像可以为高分辨率图像也可以为低分辨率图像，将待识别图像输入预先训练完成的图像识别模型，得到指示目标对象所对应的类别结果的图像识别结果。该图像识别模型在训练过程中利用三元组损失函数和分类损失函数，三元组损失函数包括高分辨率图像对应的第一三元组损失函数、低分辨率图像对应的第二三元组损失函数以及高分辨率图像和低分辨率图像对应的第三三元组损失函数，从而得到一个能够在低分辨率场景和跨分辨率场景的情况下进行图像识别的模型，解决了现有技术中存在的低分辨率场景和跨分辨率场景的情况下图像识别效果不佳的问题，提高了对于低分辨率图像的识别准确度。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本申请实施例提供的一种图像识别方法的流程示意图；
图2是本申请实施例提供的一种图像识别装置的结构示意图；
图3是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
此外，需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
下面将结合附图详细说明根据本申请实施例的一种图像识别方法和装置。
图1是本申请实施例提供的一种图像识别的方法的流程示意图。如图1所示，该图像识别的方法包括：
步骤101，获取目标对象的待识别图像，待识别图像包括高分辨率图像或低分辨率图像；
具体地，待识别图像为需要进行后续判定图像中目标对象身份的图像。
图像识别在本申请中可以被看作是人脸识别，所以在获取目标对象的待识别的图像后，后续是对该图像进行人脸识别以判断图像中对象的身份。
待识别图像可以为高分辨率图像也可以是低分辨率图像，本申请并不对待识别图像的图像分辨率进行限制。
步骤102，将待识别图像输入至预先训练完成的图像识别模型，得到图像识别结果，图像识别结果用于指示目标对象所对应的类别结果；
其中，图像识别模型的目标损失值基于三元组损失函数和分类损失函数得到，三元组损失函数包括高分辨率图像对应的第一三元组损失函数、低分辨率图像对应的第二三元组损失函数、高分辨率图像和低分辨率图像对应的第三三元组损失函数。
具体地，在训练过程中，为了收敛模型，得到准确率更高的图像识别模型，可以利用三元组损失函数和分类损失函数计算目标损失值。
图像识别模型是预先训练完成的，能够对输入的待识别图像进行识别，得到图像中目标对象的类别识别结果，确定图像中对象的身份，一个对象对应一个类别结果。例如，假设待识别图像对应的目标对象为张三，则图像识别结果指示目标对象为张三；假如待识别图像对应的目标对象为李四，但在图像识别模型中未录入李四的图像特征信息，则图像识别结果可以指示目标对象的类别为陌生人。
在人工智能领域，损失函数一般是定义模型的预测值与目标值的差距，选择合适的损失函数并应用于模型的训练，让模型的预测值也就是模型的输出结果无限接近于真实值，有效地提高模型的鲁棒性和泛化性。三元组损失是指在一个特征空间内，设定有三个样本：基准样本、正样本和负样本，基准样本和正样本为同类的不同样本，基准样本和负样本为异类用样本，在特征空间内，相同类别的基准样本和正样本之间的距离比不同类别的基准样本和负样本之间的距离更近，且基准样本和负样本之间的距离要远远大于基准样本和正样本之间的距离。基于三元组损失的图像识别模型在细节上可以更好的进行区分，特别是在图像分类中，当输入两张十分相似的图像，三元组损失对这两个差异性较小的向量可以学习到更好的表示，使得图像识别模型表现更为出色。为了防止过拟合的出现，所以将三元组损失与分类损失结合在一起使用，保证模型训练后的准确率。
在本实施例中，首先获取一张目标对象的待识别图像，将待识别图像输入预先训练完成的图像识别模型，得到指示目标对象所对应类别结果的图像识别结果。该图像识别模型的目标损失值基于三元组损失函数和分类损失函数得到，且三元组损失函数包括高分辨率图像对应的第一三元组损失函数、低分辨率图像对应的第二三元组损失函数、高分辨率图像和低分辨率图像对应的第三三元组损失函数，从而得到一个可以在低分辨率场景和跨分辨率场景的情况下进行图像识别的模型，从而使得当图像识别模型应用于人脸识别时，可以提高图像识别模型识别低分辨率图像和跨分辨率图像的准确率；再结合分类损失函数，提高模型分辨不同类样本的能力，从而保证了识别的准确率，解决了现有技术中存在的在低分辨率场景和跨分辨率场景的情况下图像识别效果不佳的问题，提高了对于低分辨率图像的识别准确度。
在一些实施例中，图像识别模型包括三元组损失函数和分类损失函数；将待识别图像输入至预先训练完成的图像识别模型之前，还包括：
获取训练集，训练集包括多张图像和图像对应的标签，其中多张图像包括多个不同对象对应的多张高分辨率图像和多张低分辨率图像，标签用于指示图像所属的对象；
基于训练集，利用三元组损失函数和分类损失函数对待训练的图像识别模型进行训练，得到目标损失值；
在目标损失值小于或等于预设值的情况下，得到训练完成的图像识别模型。
具体地，图像识别模型包括三元组损失函数和分类损失函数，在使用图像识别模型对图像进行图像识别之前，需要用训练集对待训练的图像识别模型进行训练，在训练过程中利用通过三元组损失函数和分类损失函数得到的目标损失值，对模型的识别结果的准确性进行评估，直到得到的目标损失值小于或等于预设值，也就是模型收敛，得到符合要求的图像识别模型。
图像识别模型通过训练集训练得到，图像训练集中包括多张图像以及图像对应的标签，标签用于指示对应图像所属的对象，多张图像包括多个不同对象对应的多张高分辨率图像和多张低分辨率图像。例如，对象A的图像有三十张，三十张图像的分辨率各不相同，其中有多张为高分辨率图像，剩下的多张图像为低分辨率图像，但这三十张图像的标签均为“对象A”。通过在训练集中包括多个不同对象对应的多张高分辨率图像和多张低分辨率图像，使得能够构建高分辨率对应的三元组、低分辨率对应的三元组、高分辨率和低分辨率之间跨分辨率对应的三元组。
预设值的具体大小在此不做限制，在现实应用中，若对图像识别模型的准确性要求高，则相应的预设值需要设定相对较小。
利用三元组损失函数进行训练有利于得到一个更加注意细节区分的模型，三元组损失函数能够学习到样本之间更加细微的差异。当图像识别模型应用于人脸识别时，可以提高图像识别模型识别低分辨率图像和跨分辨率图像的准确率；再结合分类损失函数，提高模型分辨不同类样本的能力，从而保证了识别的准确率。
在一些实施例中，基于训练集，利用三元组损失函数和分类损失函数对待训练的图像识别模型进行训练，得到目标损失值，包括：
获取多个对象中第一对象对应的第一图像和第二图像，并获取多个对象中第二对象对应的第三图像，其中第二对象与第一对象不同；
基于第一图像、第二图像和第三图像，得到三元组损失函数对应的第一损失值；
基于训练集中任意图像对应的图像识别结果和图像对应的标签，得到分类函数对应的第二损失值；
基于第一损失值和第二损失值，确定目标损失值。
具体地，在深度学习领域，通常将模型分为三个部分：backbone、neck 和 head。backbone是模型的主要组成部分，在这个部分，它主要负责提取图像的特征，以便进行后续的处理和分析，backbone通常具有许多层且有很多参数；neck是连接 backbone 和 head的中间层，主要作用是对来自backbone的特征向量进行降维或调整，从而适应任务要求方便后续的计算；head 是模型的最后一部分，通常是一个分类器或回归器；经过 neck 处理过的特征在通过head后会产生最终的输出，head 的结构根据任务的不同而不同，例如，对于图像分类任务，可以使用 softmax 分类器。
利用三元组损失函数对待训练的图像识别模型进行训练，最重要的一部分便是选取合适的基准样本、正样本和负样本。在本实施例中，获取多个对象中第一对象对应的第一图像和第二图像，并获取多个对象中第二对象对应的第三图像，其中第二对象与第一对象不同，基于第一图像、第二图像和第三图像，得到三元组损失函数对应的第一损失值，其中可以将第一图像设置为基准样本，第二图像设置为正样本，第三图像设置为负样本。
分类损失值是计算预测值与真实值的差异，基于训练集中任意图像对应的图像识别结果和图像对应的标签，进行分类损失计算，得到分类函数对应的第二损失值。
利用基于第一损失值和第二损失值得到的目标损失值，对模型进行优化训练，直至目标损失值小于或等于预设值，得到最终训练完成的图像识别模型。
为了提高类内聚合性和类间分离性，在训练过程中设置每个类别的类别中心，计算每个样本与类别中心之间的距离。在训练过程中最小化每个样本与类别中心的距离，经过网络映射后在特征空间与类中心的距离约束，从而兼顾了类内聚合与类间分离，最终实现分类任务的学习。
通过选取合适的三元组样本进行三元组损失计算，得到第一损失值；通过head层输出的图像识别结果和图像所对应的标签，进行分类损失计算，得到第二损失值；基于第一损失值和第二损失值得到的目标损失值，对训练未完成图像识别模型进行训练，直至目标损失值小于预设值，从而得到训练完成的图像识别模型。
在一些实施例中，基于第一图像、第二图像和第三图像，得到三元组损失函数对应的第一损失值，包括：
在第一图像、第二图像和第三图像均为高分辨率图像的情况下，基于第一图像、第二图像和第三图像，计算得到第一三元组损失函数对应的第一三元组损失；
在第一图像、第二图像和第三图像均为低分辨率图像的情况下，基于述第一图像、第二图像和第三图像，计算得到第二三元组损失函数对应的第二三元组损失；
在第一图像为高分辨率图像、第二图像和第三图像为低分辨率图像的情况下，基于第一图像、第二图像和第三图像，计算得到第三三元组损失函数中第一部分损失函数对应的第三三元组损失；
在第一图像为低分辨率图像、第二图像和第三图像为高分辨率图像的情况下，基于第一图像、第二图像和第三图像，计算得到第三三元组损失函数中第二部分损失函数对应的第四三元组损失；
将第一三元组损失，第二三元组损失、第三三元组损失和第四三元组损失的和值，确定为第一损失值。
具体地，为了在保持高分辨率下人脸识别算法精度，同时提高低分辨率和跨分辨率场景下的人脸识别精度，构建了三种三元组损失函数，分别是第一三元组损失函数、第二三元组损失函数和第三三元组损失函数。第一三元组损失函数是计算高分辨率图像间的三元组损失，第二三元组损失函数是计算低分辨率图像间的三元组损失，第三三元组损失函数是计算跨分辨率图像间的三元组损失。
在第一图像、第二图像以及第三图像均为高分辨率图像的情况下，以第一图像为基准样本、第二图像为正样本、第三图像为负样本，计算得到第一三元组损失函数对应的第一三元组损失。
在第一图像、第二图像以及第三图像均为低分辨率图像的情况下，以第一图像为基准样本、第二图像为正样本、第三图像为负样本，计算得到第二三元组损失函数对应的第二三元组损失。
跨分辨率图像间的三元组损失分为两部分，第一部分跨分辨率图像间的三元组损失为在第一图像为高分辨率图像、第二图像和第三图像为低分辨率图像的情况下，以第一图像为基准样本、第二图像为正样本、第三图像为负样本，计算得到第三三元组损失函数中第一部分损失函数对应的第三三元组损失；第二部分跨分辨率图像间的三元组损失为在第一图像为低分辨率图像、第二图像和第三图像为高分辨率图像的情况下，以第一图像为基准样本、第二图像为正样本、第三图像为负样本，计算得到第三三元组损失函数中第二部分损失函数对应的第四三元组损失。
上述第一图像和第二图像的标签一致，第三图像的标签与第一图像、第二图像的标签不相同。
在获取高分辨率图像间的第一三元组损失、低分辨率图像间的第二三元组损失和跨分辨率图像间的第三三元组损失和第四三元组损失后，将这四种三元组损失相加，计算得到第一损失值。
通过构建高分辨率图像间的三元组损失、低分辨率图像间的三元组损失以及跨分辨率图像间的三元组损失，通过上述三元组损失的和值也就是第一损失值对模型进行训练直到模型收敛，既保持高分辨率下人脸识别算法精度，同时提高了低分辨率和跨分辨率场景下的人脸识别精度。
在一些实施例中，基于第一图像、第二图像和第三图像，计算得到第一三元组损失函数对应的第一三元组损失，包括：
通过下述第一三元组损失函数公式，计算得到第一三元组损失：
；
其中，表示第一三元组损失，/>表示第一图像，/>表示第二图像，/>表示第三图像，/>表示第一图像对应的图像特征，/>表示第二图像对应的图像特征，/>表示第三图像对应的图像特征，dist函数表示欧式距离的平方，/>表示预设的间隔值。
具体地，通过图像识别模型得到第一图像特征、第二图像特征/>和第三图像特征/>，通过不断的学习，让/>和/>特征表达之间的距离尽可能的小，而/>和/>特征表达之间的距离尽可能地大，并且让/>和/>之间有一个预设的间隔值/>，当【/>】的值小于0时，这时损失为零。当【】的值大于0时，就会产生损失。
通过公式便可以计算得到高分辨率图像间的三元组损失，在通过梯度反向传播对模型进行训练，提高图像识别模型在高分辨率下人脸识别算法精度。
在一些实施例中，基于第一图像、第二图像和第三图像，计算得到第二三元组损失函数对应的第二三元组损失，包括：
通过下述第二三元组损失函数公式，计算得到第二三元组损失：
；
其中，表示第二三元组损失，/>表示第一图像，/>表示第二图像，/>表示第三图像，/>表示第一图像对应的图像特征，/>表示第二图像对应的图像特征，/>表示第三图像对应的图像特征，dist函数表示欧式距离的平方，/>表述预设的间隔值。
具体地，通过图像识别模型得到第一图像特征、第二图像特征/>和第三图像特征/>，通过不断的学习，让/>和/>特征表达之间的距离尽可能的小，而/>和/>特征表达之间的距离尽可能地大，并且让/>和/>之间有一个预设的间隔值/>，当【/>】的值小于0时，这时损失为零。当【】的值大于0时，就会产生损失。
通过公式便可以计算得到低分辨率图像间的三元组损失，再通过梯度反向传播对模型进行训练，提高图像识别模型在低分辨率下人脸识别算法精度。
在一些实施例中，基于第一图像、第二图像和第三图像，计算得到第三三元组损失函数中第一部分损失函数对应的第三三元组损失，包括：
通过下述第三三元组损失函数中第一部分损失函数公式，计算得到第三三元组损失：
=/>；
其中，表示第三三元组损失，/>表示第一图像，/>表示第二图像，/>表示第三图像，/>表示第一图像对应的图像特征，/>表示第二图像对应的图像特征，/>表示第三图像对应的图像特征，dist函数表示欧式距离的平方，/>表示预设的间隔值。
具体地，通过图像识别模型得到第一图像特征、第二图像特征/>和第三图像特征/>，通过不断的学习，让/>和/>特征表达之间的距离尽可能的小，而/>和/>特征表达之间的距离尽可能地大，并且让/>和/>之间有一个预设的间隔值/>，当【/>】的值小于0时，这时损失为零。当【】的值大于0时，就会产生损失。
基于第一图像、第二图像和第三图像，计算得到第三三元组损失函数中第二部分损失函数对应的第四三元组损失，包括：
通过下述第三三元组损失函数中第二部分损失函数公式，计算得到第四三元组损失：
=/>；
其中，表示第四三元组损失，/>表示第一图像，/>表示第二图像，/>表示第三图像，/>表示第一图像对应的图像特征，/>表示第二图像对应的图像特征，/>表示第三图像对应的图像特征，dist函数表示欧式距离的平方，/>表示预设的间隔值。
具体地，通过第一图像特征、第二图像特征/>和第三图像特征/>，并通过不断的学习，让/>和/>特征表达之间的距离尽可能的小，而/>和/>特征表达之间的距离尽可能地大，并且让/>和/>之间有一个间隔值/>，当【】的值小于0时，这时损失为零。当【】的值大于0时，就会产生损失。
通过公式=/>；
便可以计算得到第三三元组损失，通过公式=便可以计算得到第四三元组损失，从而得到跨分辨率图像间的三元组损失，损失再通过梯度反向传播对模型进行训练，提高图像识别模型在跨分辨率下人脸识别算法精度。
上述所有可选技术方案，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。
下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
图2是本申请实施例提供的一种图像识别装置的示意图。如图2所示，该图像识别装置包括：
获取模块201，用于获取目标对象的待识别图像，待识别图像包括高分辨率图像或低分辨率图像；
识别模块202，用于将待识别图像输入至预先训练完成的图像识别模型，得到图像识别结果，图像识别结果用于指示目标对象所对应的类别结果；其中，图像识别模型的目标损失值基于三元组损失函数和分类损失函数得到，三元组损失函数包括高分辨率图像对应的第一三元组损失函数、低分辨率图像对应的第二三元组损失函数、高分辨率图像和低分辨率图像对应的第三三元组损失函数。
根据本申请实施例提供的技术方案，通过获取模块获取一张目标对象的待识别的图像，通过识别模块将图像输入预先训练完成的图像识别模型，得到指示输入图像中目标对象所对应的类别结果的图像识别结果。该图像识别模型的训练样本中包含了高分辨率图像和低分辨率图像以及它们对应的标签，在训练过程中利用三元组损失函数和分类损失函数，从而得到一个可以在低分辨率场景和跨分辨率场景的情况下进行图像识别的模型，解决了现有技术中存在在低分辨率场景和跨分辨率场景的情况下图像识别效果不佳的问题，提高了对于低分辨率图像的识别准确度。
在一些实施例中，图像识别模型包括三元组损失函数和分类损失函数，所述装置还包括训练模块，具体用于获取训练集，训练集包括多张图像和图像对应的标签，其中多张图像包括多个不同对象对应的多张高分辨率图像和多张低分辨率图像，标签用于指示图像所属的对象；基于训练集，利用三元组损失函数和分类损失函数对待训练的图像识别模型进行训练，得到目标损失值；在目标损失值小于或等于预设值的情况下，得到训练完成的图像识别模型。
在一些实施例中，所述训练模块具体用于获取多个对象中第一对象对应的第一图像和第二图像，并获取多个对象中第二对象对应的第三图像，其中第二对象与第一对象不同；基于第一图像、第二图像和第三图像，得到三元组损失函数对应的第一损失值；基于训练集中任意图像对应的图像识别结果和图像对应的标签，得到分类函数对应的第二损失值；基于第一损失值和第二损失值，确定目标损失值。
在一些实施例中，所述训练模块具体用于在第一图像、第二图像和第三图像均为高分辨率图像的情况下，基于第一图像、第二图像和第三图像，计算得到第一三元组损失函数对应的第一三元组损失；在第一图像、第二图像和第三图像均为低分辨率图像的情况下，基于第一图像、第二图像和第三图像，计算得到第二三元组损失函数对应的第二三元组损失；在第一图像为高分辨率图像、第二图像和第三图像为低分辨率图像的情况下，基于第一图像、第二图像和第三图像，计算得到第三三元组损失函数中第一部分损失函数对应的第三三元组损失；在第一图像为低分辨率图像、第二图像和第三图像为高分辨率图像的情况下，基于第一图像、第二图像和第三图像，计算得到第三三元组损失函数中第二部分损失函数对应的第四三元组损失；将第一三元组损失，第二三元组损失、第三三元组损失和第四三元组损失的和值，确定为第一损失值。
在一些实施例中，所述训练模块具体用于，通过下述第一三元组损失函数公式，计算得到第一三元组损失：
；
其中，表示第一三元组损失，/>表示第一图像，/>表示第二图像，/>表示第三图像，/>表示第一图像对应的图像特征，/>表示第二图像对应的图像特征，/>表示第三图像对应的图像特征，dist函数表示欧式距离的平方，/>表示预设的间隔值。
在一些实施例中，所述训练模块具体用于，通过下述第二三元组损失函数公式，计算得到第二三元组损失：
；
其中，表示第二三元组损失，/>表示第一图像，/>表示第二图像，/>表示第三图像，/>表示第一图像对应的图像特征，/>表示第二图像对应的图像特征，/>表示第三图像对应的图像特征，dist函数表示欧式距离的平方，/>表述预设的间隔值。
在一些实施例中，所述训练模块具体用于，通过下述第三三元组损失函数中第一部分损失函数公式，计算得到第三三元组损失，通过下述第三三元组损失函数中第二部分损失函数公式，计算得到第四三元组损失：
=/>；
其中，表示第三三元组损失，/>表示第一图像，/>表示第二图像，/>表示第三图像，/>表示第一图像对应的图像特征，/>表示第二图像对应的图像特征，/>表示第三图像对应的图像特征，dist函数表示欧式距离的平方，/>表示预设的间隔值；
=/>；
其中，表示第四三元组损失，/>表示第一图像，/>表示第二图像，/>表示第三图像，/>表示第一图像对应的图像特征，/>表示第二图像对应的图像特征，/>表示第三图像对应的图像特征，dist函数表示欧式距离的平方，/>表示预设的间隔值。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
图3是本申请实施例提供的电子设备3的示意图。如图3所示，该实施例的电子设备3包括：处理器301、存储器302以及存储在该存储器302中并且可在处理器301上运行的计算机程序303。处理器301执行计算机程序303时实现上述各个方法实施例中的步骤。或者，处理器301执行计算机程序303时实现上述各装置实施例中各模块/单元的功能。
电子设备3可以是桌上型计算机、笔记本、掌上电脑及云端服务器等电子设备。电子设备3可以包括但不仅限于处理器301和存储器302。本领域技术人员可以理解，图3仅仅是电子设备3的示例，并不构成对电子设备3的限定，可以包括比图示更多或更少的部件，或者不同的部件。
处理器301可以是中央处理单元（Central Processing Unit，CPU），也可以是其它通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application SpecificIntegrated Circuit，ASIC）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
存储器302可以是电子设备3的内部存储单元，例如，电子设备3的硬盘或内存。存储器302也可以是电子设备3的外部存储设备，例如，电子设备3上配备的插接式硬盘，智能存储卡（Smart Media Card，SMC），安全数字（Secure Digital，SD）卡，闪存卡（Flash Card）等。存储器302还可以既包括电子设备3的内部存储单元也包括外部存储设备。存储器302用于存储计算机程序以及电子设备所需的其它程序和数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可以存储在计算机可读存储介质中，该计算机程序在被处理器执行时，可以实现上述各个方法实施例的步骤。计算机程序可以包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如，在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。
Claims (10)
1.一种图像识别方法，其特征在于，包括：
获取目标对象的待识别图像，所述待识别图像包括高分辨率图像或低分辨率图像；
将所述待识别图像输入至预先训练完成的图像识别模型，得到图像识别结果，所述图像识别结果用于指示所述目标对象所对应的类别结果；
其中，所述图像识别模型的目标损失值基于三元组损失函数和分类损失函数得到，所述三元组损失函数包括高分辨率图像对应的第一三元组损失函数、低分辨率图像对应的第二三元组损失函数、高分辨率图像和低分辨率图像对应的第三三元组损失函数。
2.根据权利要求1所述的方法，其特征在于，所述图像识别模型包括所述三元组损失函数和分类损失函数；所述将所述待识别图像输入至预先训练完成的图像识别模型之前，还包括：
获取训练集，所述训练集包括多张图像和所述图像对应的标签，其中所述多张图像包括多个不同对象对应的多张高分辨率图像和多张低分辨率图像，所述标签用于指示所述图像所属的对象；
基于所述训练集，利用所述三元组损失函数和分类损失函数对待训练的图像识别模型进行训练，得到所述目标损失值；
在所述目标损失值小于或等于预设值的情况下，得到训练完成的图像识别模型。
3.根据权利要求2所述的方法，其特征在于，所述基于所述训练集，利用所述三元组损失函数和分类损失函数对待训练的图像识别模型进行训练，得到所述目标损失值，包括：
获取多个对象中第一对象对应的第一图像和第二图像，并获取所述多个对象中第二对象对应的第三图像，其中所述第二对象与第一对象不同；
基于所述第一图像、第二图像和第三图像，得到所述三元组损失函数对应的第一损失值；
基于所述训练集中任意图像对应的图像识别结果和所述图像对应的标签，得到所述分类函数对应的第二损失值；
基于所述第一损失值和所述第二损失值，确定所述目标损失值。
4.根据权利要求3所述的方法，其特征在于，所述基于所述第一图像、第二图像和第三图像，得到所述三元组损失函数对应的第一损失值，包括：
在所述第一图像、所述第二图像和所述第三图像均为高分辨率图像的情况下，基于所述第一图像、第二图像和第三图像，计算得到所述第一三元组损失函数对应的第一三元组损失；
在所述第一图像、所述第二图像和所述第三图像均为低分辨率图像的情况下，基于所述第一图像、第二图像和第三图像，计算得到所述第二三元组损失函数对应的第二三元组损失；
在所述第一图像为高分辨率图像、所述第二图像和所述第三图像为低分辨率图像的情况下，基于所述第一图像、第二图像和第三图像，计算得到所述第三三元组损失函数中第一部分损失函数对应的第三三元组损失；
在所述第一图像为低分辨率图像、所述第二图像和所述第三图像为高分辨率图像的情况下，基于所述第一图像、第二图像和第三图像，计算得到所述第三三元组损失函数中第二部分损失函数对应的第四三元组损失；
将所述第一三元组损失，所述第二三元组损失、所述第三三元组损失和所述第四三元组损失的和值，确定为所述第一损失值。
5.根据权利要求4所述的方法，其特征在于，所述基于所述第一图像、第二图像和第三图像，计算得到所述第一三元组损失函数对应的第一三元组损失，包括：
通过下述第一三元组损失函数公式，计算得到所述第一三元组损失：
；
其中，所述表示所述第一三元组损失，所述/>表示所述第一图像，所述/>表示所述第二图像，所述/>表示所述第三图像，所述/>表示所述第一图像对应的图像特征，所述/>表示所述第二图像对应的图像特征，所述/>表示所述第三图像对应的图像特征，dist函数表示欧式距离的平方，所述/>表示预设的间隔值。
6.根据权利要求4所述的方法，其特征在于，所述基于所述第一图像、第二图像和第三图像，计算得到所述第二三元组损失函数对应的第二三元组损失，包括：
通过下述第二三元组损失函数公式，计算得到所述第二三元组损失：
；
其中，所述表示所述第二三元组损失，所述/>表示所述第一图像，所述/>表示所述第二图像，所述/>表示所述第三图像，所述/>表示所述第一图像对应的图像特征，所述表示所述第二图像对应的图像特征，所述/>表示所述第三图像对应的图像特征，所述dist函数表示欧式距离的平方，所述/>表述预设的间隔值。
7.根据权利要求4所述的方法，其特征在于，所述基于所述第一图像、第二图像和第三图像，计算得到所述第三三元组损失函数中第一部分损失函数对应的第三三元组损失，包括：
通过下述第三三元组损失函数中第一部分损失函数公式，计算得到所述第三三元组损失：
=/>；
其中，所述表示所述第三三元组损失，所述/>表示所述第一图像，所述/>表示所述第二图像，所述/>表示所述第三图像，所述/>表示所述第一图像对应的图像特征，所述/>表示所述第二图像对应的图像特征，所述/>表示所述第三图像对应的图像特征，所述dist函数表示欧式距离的平方，所述/>表示预设的间隔值；
所述基于所述第一图像、第二图像和第三图像，计算得到所述第三三元组损失函数中第二部分损失函数对应的第四三元组损失，包括：
通过下述第三三元组损失函数中第二部分损失函数公式，计算得到所述第四三元组损失：
=/>；
其中，所述表示所述第四三元组损失，所述/>表示所述第一图像，所述/>表示所述第二图像，所述/>表示所述第三图像，所述/>表示所述第一图像对应的图像特征，所述/>表示所述第二图像对应的图像特征，所述/>表示所述第三图像对应的图像特征，所述dist函数表示欧式距离的平方，所述/>表示预设的间隔值。
8.一种图像识别装置，其特征在于，包括：
获取模块，用于获取目标对象的待识别图像，所述待识别图像包括高分辨率图像或低分辨率图像；
识别模块，用于将所述待识别图像输入至预先训练完成的图像识别模型，得到图像识别结果，所述图像识别结果用于指示所述目标对象所对应的类别结果；其中，所述图像识别模型的目标损失值基于三元组损失函数和分类损失函数得到，所述三元组损失函数包括高分辨率图像对应的第一三元组损失函数、低分辨率图像对应的第二三元组损失函数、高分辨率图像和低分辨率图像对应的第三三元组损失函数。
9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并且可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述方法的步骤。
10.一种可读存储介质，所述可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311168475.7A CN116959077A (zh) | 2023-09-12 | 2023-09-12 | 图像识别方法、装置、电子设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311168475.7A CN116959077A (zh) | 2023-09-12 | 2023-09-12 | 图像识别方法、装置、电子设备及可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116959077A true CN116959077A (zh) | 2023-10-27 |
Family
ID=88442722
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311168475.7A Pending CN116959077A (zh) | 2023-09-12 | 2023-09-12 | 图像识别方法、装置、电子设备及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116959077A (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116259087A (zh) * | 2022-12-26 | 2023-06-13 | 福建捷宇电脑科技有限公司 | 一种低分辨率人脸识别方法 |
| CN116311368A (zh) * | 2023-03-21 | 2023-06-23 | 南京邮电大学 | 行人重识别方法 |
-
2023
- 2023-09-12 CN CN202311168475.7A patent/CN116959077A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116259087A (zh) * | 2022-12-26 | 2023-06-13 | 福建捷宇电脑科技有限公司 | 一种低分辨率人脸识别方法 |
| CN116311368A (zh) * | 2023-03-21 | 2023-06-23 | 南京邮电大学 | 行人重识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| MARTIN KNOCHE等: "OCTUPLET LOSS: MAKE FACE RECOGNITION ROBUST TO IMAGE RESOLUTION", 《2023 IEEE 17TH INTERNATIONAL CONFERENCE ON AUTOMATIC FACE AND GESTURE RECOGNITION (FG)》, pages 1 - 14 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107944020B (zh) | 人脸图像查找方法及装置、计算机装置和存储介质 | |
| EP4085369A1 (en) | Forgery detection of face image | |
| CN110598019B (zh) | 重复图像识别方法及装置 | |
| CN108509994B (zh) | 人物图像聚类方法和装置 | |
| CN114283350B (zh) | 视觉模型训练和视频处理方法、装置、设备及存储介质 | |
| WO2022161302A1 (zh) | 动作识别方法、装置、设备、存储介质及计算机程序产品 | |
| CN114330565A (zh) | 一种人脸识别方法及装置 | |
| TWI803243B (zh) | 圖像擴增方法、電腦設備及儲存介質 | |
| Zhi et al. | Micro-expression recognition with supervised contrastive learning | |
| JP2012048624A (ja) | 学習装置、方法及びプログラム | |
| EP4220555A1 (en) | Training method and apparatus for image segmentation model, image segmentation method and apparatus, and device | |
| CN116912924B (zh) | 一种目标图像识别方法和装置 | |
| Yang et al. | HeadPose-Softmax: Head pose adaptive curriculum learning loss for deep face recognition | |
| CN116612500B (zh) | 行人重识别模型训练方法及装置 | |
| CN116959077A (zh) | 图像识别方法、装置、电子设备及可读存储介质 | |
| CN113763313A (zh) | 文本图像的质量检测方法、装置、介质及电子设备 | |
| CN112613341A (zh) | 训练方法及装置、指纹识别方法及装置、电子设备 | |
| CN116912920B (zh) | 表情识别方法及装置 | |
| CN116912518B (zh) | 图像的多尺度特征处理方法及装置 | |
| CN116912921B (zh) | 表情识别方法、装置、电子设备及可读存储介质 | |
| CN117392731B (zh) | 表情识别模型的训练方法和装置 | |
| CN116912633B (zh) | 目标追踪模型的训练方法及装置 | |
| CN114663965B (zh) | 一种基于双阶段交替学习的人证比对方法和装置 | |
| CN117423047A (zh) | 基于特征图像的计数方法、装置、电子设备及存储介质 | |
| CN118212486A (zh) | 密度图预测模型的训练方法、装置及目标对象计数方法、装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |