CN115797990A - 图像分类、图像处理方法、装置和存储介质 - Google Patents
图像分类、图像处理方法、装置和存储介质 Download PDFInfo
- Publication number
- CN115797990A CN115797990A CN202111056540.8A CN202111056540A CN115797990A CN 115797990 A CN115797990 A CN 115797990A CN 202111056540 A CN202111056540 A CN 202111056540A CN 115797990 A CN115797990 A CN 115797990A
- Authority
- CN
- China
- Prior art keywords
- trained
- image
- evaluated
- feature extraction
- extraction model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本申请涉及一种图像分类方法、装置、计算机设备和存储介质。所述方法包括:将当前训练图像集中各个训练图像分别输入到已训练的特征提取模型和待训练的初始特征提取模型中进行特征提取,得到各个已训练特征和各个待训练特征;计算各个已训练特征之间的相似程度,得到已训练相似程度集,并计算各个待训练特征之间的相似程度,得到待训练相似程度集;计算待训练相似程度集与已训练相似程度集的误差信息,基于误差信息更新待训练的初始特征提取模型,并进行迭代执行,直到训练完成时,将训练完成的初始特征提取模型作为第一目标特征提取模型,该第一目标特征提取模型用于提取输入图像对应的特征并进行图像内容分类。采用本方法能够提高模型更新效率。
Description
技术领域
本申请涉及计算机技术领域,特别是涉及一种图像分类、图像处理方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
随着人工智能技术的发展,出现了图像处理技术,在进行图像处理时,通常需要使用人工智能模型对图像进行特征提取,得到特征向量,然后进行后续的任务处理,比如,使用特征进行图像分类,图像识别等等。目前,人工智能模型在业务的驱动下会不断进行迭代更新。即使用具有标签的新图像对旧的人工智能模型进行更新,从而得到新的人工智能模型。然而,目前通过独立图像样本和标签对人工智能模型进行更新,导致人工智能模型更新的效率低下。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高模型更新效率,进而提高图像处理效率的图像分类、图像处理方法、装置、计算机设备、存储介质和和计算机程序产品。
一种图像分类方法,所述方法包括:
获取当前训练图像集,当前训练图像集是从预设训练图像集中确定的;
将当前训练图像集中各个训练图像分别输入到已训练的特征提取模型和待训练的初始特征提取模型中进行特征提取,得到各个训练图像对应的已训练特征和各个训练图像对应的待训练特征,其中,初始特征提取模型是将已训练的特征提取模型的参数初始化得到的;
计算各个训练图像对应的已训练特征之间的相似程度,得到已训练相似程度集,并计算各个训练图像对应的待训练特征之间的相似程度,得到待训练相似程度集;
计算待训练相似程度集与已训练相似程度集之间的误差信息,并基于误差信息更新待训练的初始特征提取模型,并返回获取当前训练图像集的步骤迭代执行,直到达到训练完成条件时,将训练完成的初始特征提取模型作为第一目标特征提取模型,第一目标特征提取模型用于提取输入图像对应的特征,基于输入图像对应的特征进行图像内容分类。
一种图像分类装置,装置包括:
图像获取模块,用于获取当前训练图像集,当前训练图像集是从预设训练图像集中确定的;
特征提取模块,用于将当前训练图像集中各个训练图像分别输入到已训练的特征提取模型和待训练的初始特征提取模型中进行特征提取,得到各个训练图像对应的已训练特征和各个训练图像对应的待训练特征,其中,初始特征提取模型是将已训练的特征提取模型的参数初始化得到的;
相似计算模块,用于计算各个训练图像对应的已训练特征之间的相似程度,得到已训练相似程度集,并计算各个训练图像对应的待训练特征之间的相似程度,得到待训练相似程度集;
迭代更新模块,用于计算待训练相似程度集与已训练相似程度集之间的误差信息,并基于误差信息更新待训练的初始特征提取模型,并返回获取当前训练图像集的步骤迭代执行,直到达到训练完成条件时,将训练完成的初始特征提取模型作为第一目标特征提取模型,第一目标特征提取模型用于提取输入图像对应的特征,基于输入图像对应的特征进行图像内容分类。
一种计算机设备,包括存储器和处理器,存储器存储有计算机程序,处理器执行计算机程序时实现以下步骤:
获取当前训练图像集,当前训练图像集是从预设训练图像集中确定的;
将当前训练图像集中各个训练图像分别输入到已训练的特征提取模型和待训练的初始特征提取模型中进行特征提取,得到各个训练图像对应的已训练特征和各个训练图像对应的待训练特征,其中,初始特征提取模型是将已训练的特征提取模型的参数初始化得到的;
计算各个训练图像对应的已训练特征之间的相似程度,得到已训练相似程度集,并计算各个训练图像对应的待训练特征之间的相似程度,得到待训练相似程度集;
计算待训练相似程度集与已训练相似程度集之间的误差信息,并基于误差信息更新待训练的初始特征提取模型,并返回获取当前训练图像集的步骤迭代执行,直到达到训练完成条件时,将训练完成的初始特征提取模型作为第一目标特征提取模型,第一目标特征提取模型用于提取输入图像对应的特征,基于输入图像对应的特征进行图像内容分类。
一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
获取当前训练图像集,当前训练图像集是从预设训练图像集中确定的;
将当前训练图像集中各个训练图像分别输入到已训练的特征提取模型和待训练的初始特征提取模型中进行特征提取,得到各个训练图像对应的已训练特征和各个训练图像对应的待训练特征,其中,初始特征提取模型是将已训练的特征提取模型的参数初始化得到的;
计算各个训练图像对应的已训练特征之间的相似程度,得到已训练相似程度集,并计算各个训练图像对应的待训练特征之间的相似程度,得到待训练相似程度集;
计算待训练相似程度集与已训练相似程度集之间的误差信息,并基于误差信息更新待训练的初始特征提取模型,并返回获取当前训练图像集的步骤迭代执行,直到达到训练完成条件时,将训练完成的初始特征提取模型作为第一目标特征提取模型,第一目标特征提取模型用于提取输入图像对应的特征,基于输入图像对应的特征进行图像内容分类。
一种计算机程序产品,包括计算机程序,其特征在于,计算机程序被处理器执行时实现以下步骤:
获取当前训练图像集,当前训练图像集是从预设训练图像集中确定的;
将当前训练图像集中各个训练图像分别输入到已训练的特征提取模型和待训练的初始特征提取模型中进行特征提取,得到各个训练图像对应的已训练特征和各个训练图像对应的待训练特征,其中,初始特征提取模型是将已训练的特征提取模型的参数初始化得到的;
计算各个训练图像对应的已训练特征之间的相似程度,得到已训练相似程度集,并计算各个训练图像对应的待训练特征之间的相似程度,得到待训练相似程度集;
计算待训练相似程度集与已训练相似程度集之间的误差信息,并基于误差信息更新待训练的初始特征提取模型,并返回获取当前训练图像集的步骤迭代执行,直到达到训练完成条件时,将训练完成的初始特征提取模型作为第一目标特征提取模型,第一目标特征提取模型用于提取输入图像对应的特征,基于输入图像对应的特征进行图像内容分类。
上述图像分类方法、装置、计算机设备、存储介质和计算机程序产品,通过将当前训练图像集中各个训练图像分别输入到已训练的特征提取模型和待训练的初始特征提取模型中进行特征提取,得到各个训练图像对应的已训练特征和各个训练图像对应的待训练特征。然后计算各个训练图像对应的已训练特征之间的相似程度,得到已训练相似程度集,并计算各个训练图像对应的待训练特征之间的相似程度,得到待训练相似程度集,最后通过计算待训练相似程度集与已训练相似程度集之间的误差信息,并基于误差信息更新待训练的初始特征提取模型,并返回获取当前训练图像集的步骤迭代执行,直到达到训练完成条件时,将训练完成的初始特征提取模型作为第一目标特征提取模型,即通过挖掘已训练的特征提取模型对应的图像特征空间,将挖掘的图像特征空间迁移到初始特征提取模型,进而得到训练完成的第一目标特征提取模型,从而不需要获取独立图像样本和标签对模型进行更新,提高了模型更新效率。
一种图像处理方法,方法包括:
获取待评估图像和已评估图像集;
将待评估图像和已评估图像集输入到已训练的特征提取模型中进行特征提取,得到待评估图像对应的待评估特征和已评估图像集对应的已评估特征集,并计算待评估特征和已评估特征集的相似程度,得到第一相似程度集;
将待评估图像和已评估图像集输入到目标特征提取模型中进行特征提取,得到待评估图像对应的待评估目标特征和已评估图像集对应的已评估目标特征集,并计算待评估目标特征与已评估目标特征集的相似程度,得到第二相似程度集,目标特征提取模型是通过已训练的特征提取模型进行知识蒸馏训练得到的;
基于第一相似程度集和第二相似程度集进行评估计算,得到待评估图像对应的评估信息,基于待评估图像对应的评估信息确定待评估图像对应的相似评估结果。
一种图像处理装置,装置包括:
评估图像获取模块,用于获取待评估图像和已评估图像集;
将待评估图像和已评估图像集输入到已训练的特征提取模型中进行特征提取,得到待评估图像对应的待评估特征和已评估图像集对应的已评估特征集,并计算待评估特征和已评估特征集的相似程度,得到第一相似程度集;
将待评估图像和已评估图像集输入到目标特征提取模型中进行特征提取,得到待评估图像对应的待评估目标特征和已评估图像集对应的已评估目标特征集,并计算待评估目标特征与已评估目标特征集的相似程度,得到第二相似程度集,目标特征提取模型是通过已训练的特征提取模型进行知识蒸馏训练得到的;
基于第一相似程度集和第二相似程度集进行评估计算,得到待评估图像对应的评估信息,基于待评估图像对应的评估信息确定待评估图像对应的相似评估结果。
一种计算机设备,包括存储器和处理器,存储器存储有计算机程序,处理器执行计算机程序时实现以下步骤:
获取待评估图像和已评估图像集;
将待评估图像和已评估图像集输入到已训练的特征提取模型中进行特征提取,得到待评估图像对应的待评估特征和已评估图像集对应的已评估特征集,并计算待评估特征和已评估特征集的相似程度,得到第一相似程度集;
将待评估图像和已评估图像集输入到目标特征提取模型中进行特征提取,得到待评估图像对应的待评估目标特征和已评估图像集对应的已评估目标特征集,并计算待评估目标特征与已评估目标特征集的相似程度,得到第二相似程度集,目标特征提取模型是通过已训练的特征提取模型进行知识蒸馏训练得到的;
基于第一相似程度集和第二相似程度集进行评估计算,得到待评估图像对应的评估信息,基于待评估图像对应的评估信息确定待评估图像对应的相似评估结果。
一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
获取待评估图像和已评估图像集;
将待评估图像和已评估图像集输入到已训练的特征提取模型中进行特征提取,得到待评估图像对应的待评估特征和已评估图像集对应的已评估特征集,并计算待评估特征和已评估特征集的相似程度,得到第一相似程度集;
将待评估图像和已评估图像集输入到目标特征提取模型中进行特征提取,得到待评估图像对应的待评估目标特征和已评估图像集对应的已评估目标特征集,并计算待评估目标特征与已评估目标特征集的相似程度,得到第二相似程度集,目标特征提取模型是通过已训练的特征提取模型进行知识蒸馏训练得到的;
基于第一相似程度集和第二相似程度集进行评估计算,得到待评估图像对应的评估信息,基于待评估图像对应的评估信息确定待评估图像对应的相似评估结果。
一种计算机程序产品,包括计算机程序,其特征在于,计算机程序被处理器执行时实现以下步骤:
获取待评估图像和已评估图像集;
将待评估图像和已评估图像集输入到已训练的特征提取模型中进行特征提取,得到待评估图像对应的待评估特征和已评估图像集对应的已评估特征集,并计算待评估特征和已评估特征集的相似程度,得到第一相似程度集;
将待评估图像和已评估图像集输入到目标特征提取模型中进行特征提取,得到待评估图像对应的待评估目标特征和已评估图像集对应的已评估目标特征集,并计算待评估目标特征与已评估目标特征集的相似程度,得到第二相似程度集,目标特征提取模型是通过已训练的特征提取模型进行知识蒸馏训练得到的;
基于第一相似程度集和第二相似程度集进行评估计算,得到待评估图像对应的评估信息,基于待评估图像对应的评估信息确定待评估图像对应的相似评估结果。
上述图像处理方法、装置、计算机设备、存储介质和计算机程序产品,通过获取待评估图像和已评估图像集,然后待评估图像和已评估图像集输入到已训练的特征提取模型和目标特征提取模型进行评估处理,由于该目标特征提取模型使用通过已训练的特征提取模型进行知识蒸馏训练得到的,从而能够提高对待评估图像进行处理的效率。并且,通过使用目标特征提取模型和已训练的特征提取模型对待评估图像和已评估图像集进行特征提取,进而确定第一相似程度集和第二相似程度集,然后使用第一相似程度集和第二相似程度集进行评估计算确定待评估图像对应的相似评估结果,提高了相似评估结果的准确性。
附图说明
图1为一个实施例中图像分类方法的应用环境图;
图2为一个实施例中图像分类方法的流程示意图;
图3为一个实施例中计算相似程度的流程示意图;
图4为一个实施例中更新模型参数的流程示意图;
图5为一个实施例中得到误差信息的流程示意图;
图6为一个实施例中得到第二目标特征提取模型的流程示意图;
图7为一个实施例中得到第四目标特征提取模型的流程示意图;
图8为一个实施例中得到审核结果的流程示意图;
图9为一个实施例中特征提取模型训练的框架示意图;
图10为一个实施例中图像处理方法的流程示意图;
图11为一个实施例中得到相似评估通过结果的流程示意图;
图12为一个实施例中图像处理方法的框架示意图;
图13为一个具体实施例中图像分类方法的流程示意图;
图14为一个具体实施例中应用场景的框架示意图;
图15为一个实施例中图像分类装置的结构框图;
图16为一个实施例中图像处理装置的结构框图;
图17为一个实施例中计算机设备的内部结构图;
图18为另一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建、自动驾驶、智慧交通等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
本申请实施例提供的方案涉及人工智能的图像处理等技术,具体通过如下实施例进行说明:
本申请提供的图像分类方法,可以应用于如图1所示的应用环境中。其中,终端102通过网络与服务器104进行通信。服务器104获取终端102发送的训练指令,根据该训练指令从数据库106获取当前训练图像集,当前训练图像集是从预设训练图像集中确定的。服务器104将当前训练图像集中各个训练图像分别输入到已训练的特征提取模型和待训练的初始特征提取模型中进行特征提取,得到各个训练图像对应的已训练特征和各个训练图像对应的待训练特征,其中,初始特征提取模型是将已训练的特征提取模型的参数初始化得到的。服务器104计算各个训练图像对应的已训练特征之间的相似程度,得到已训练相似程度集,并计算各个训练图像对应的待训练特征之间的相似程度,得到待训练相似程度集。服务器104计算待训练相似程度集与已训练相似程度集之间的误差信息,并基于误差信息更新待训练的初始特征提取模型,并返回获取当前训练图像集的步骤迭代执行,直到达到训练完成条件时,将训练完成的初始特征提取模型作为第一目标特征提取模型,第一目标特征提取模型用于提取输入图像对应的特征,基于输入图像对应的特征进行图像内容分类。其中,服务器104可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云计算服务的云服务器。终端102可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表、车载终端、智能电视等,但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。
在一个实施例中,如图2所示,提供了一种图像分类方法,以该方法应用于图1中的服务器为例进行说明,可以理解的是,该方法也可以应用在终端中,还可以应用于包括终端和服务器的系统,并通过终端和服务器的交互实现。包括以下步骤:
步骤202,获取当前训练图像集,当前训练图像集是从预设训练图像集中确定的。
其中,当前训练图像集中包括至少两个当前训练图像,当前训练图像是指在当前训练时使用的图像。预设训练图像集是指预先设置好的训练时使用的训练图像的集合。当前训练图像集是预设训练图像集的子集。该预设训练图像集中的训练图像可以是在已训练的特征提取模型训练完成之后获取到的图像。
具体地,服务器可以直接从数据库中获取到当前训练图像集,该当前训练图像集是从预设训练图像集中确定的。即当前训练图像集是预先训练图像集中的部分训练图像。在一个实施例中,服务器可以获取到预设训练图像集,将预设训练图像集中的训练图像按照预先设置好的批次进行划分,得到每批次训练的训练图像,得到当前训练图像集。其中,服务器可以是从互联网采集到预设训练图像集,也可以是从业务服务器中获取到预设训练图像集,还可以是从数据库中获取到预设训练图像集。
步骤204,将当前训练图像集中各个训练图像分别输入到已训练的特征提取模型和待训练的初始特征提取模型中进行特征提取,得到各个训练图像对应的已训练特征和各个训练图像对应的待训练特征,其中,初始特征提取模型是将已训练的特征提取模型的参数初始化得到的。
其中,已训练的特征提取模型是使用历史训练图像基于神经网络进行训练完成后得到的对图像特征进行提取模型。此时是需要对已训练的特征提取模型进行模型更新。待训练的初始特征提取模型是指需要进行训练的模型参数初始化的特征提取模型,也可以直接将已训练的特征提取模型的参数初始化得到的。该参数初始化可以是参数随机初始化、高斯分布初始化和为零初始化等等。待训练的初始特征提取模型可以是使用神经网络建立的模型。在一个实施例中,可以使用已训练的特征提取模型的模型参数来初始化待训练的初始特征提取模型的参数,即将已训练的特征提取模型的模型参数作为待训练的初始特征提取模型的初始化参数。已训练特征是指使用已训练的特征提取模型提取得到的训练图像对应的特征。待训练特征是指使用带训练的初始特征提取模型进行特征提取得到的训练图像对应的特征。
具体地,服务器将当前训练图像集中各个训练图像输入到已训练的特征提取模型中进行特征提取,得到当前训练图像集中每个训练图像对应的已训练特征。同时将当前训练图像集中各个训练图像输入到待训练的初始特征提取模型中进行特征提取,得到当前训练图像集中每个训练图像对应的待训练特征。在一个实施例中,已训练的特征提取模型是教师网络模型,待训练的初始特征提取模型是学生网络模型。
步骤206,计算各个训练图像对应的已训练特征之间的相似程度,得到已训练相似程度集,并计算各个训练图像对应的待训练特征之间的相似程度,得到待训练相似程度集。
具体地,已训练相似程度集中包括各个已训练相似程度,已训练相似程度用于表征两个不同训练图像对应的已训练特征之间的相似度。计算当前训练图像集中两两训练图像对应的已训练特征之间的相似程度。待训练相似程度集中包括各个待训练相似程度,待训练相似程度用于表征两个不同训练图像对应的待训练特征之间的相似度。遍历当前训练图像集中每个训练图像,计算当前训练图像与当前训练图像集中每个训练图像之间的相似度。其中,使用已训练特征计算得到已训练相似程度,从而得到已训练相似程度集,该已训练相似程度集用于表征已训练的特征提取模型进行特征提取得到的当前训练图像集对应的特征空间。使用待训练特征计算得到待训练相似程度,从而得到待训练相似程度集,该待训练相似程度集用于表征待训练的初始特征提取模型进行特征提取得到的当前训练图像集对应的特征空间。在一个实施例中,已训练相似程度集以矩阵的形式表征,待训练相似程度集也可以以矩阵的形式表征,即使用已训练特征计算得到已训练相似程度矩阵,使用待训练特征计算得到待训练相似程度矩阵。
步骤208,计算待训练相似程度集与已训练相似程度集之间的误差信息,并基于误差信息更新待训练的初始特征提取模型,并返回获取当前训练图像集的步骤迭代执行,直到达到训练完成条件时,将训练完成的初始特征提取模型作为第一目标特征提取模型,第一目标特征提取模型用于提取输入图像对应的特征,基于输入图像对应的特征进行图像内容分类。
其中,误差信息用于表征待训练相似程度集与已训练相似程度集之间的差距。
具体地,服务器可以计算待训练相似程度集中每个待训练相似程度与已训练相似程度集中对应的已训练相似程度之间的误差,然后再计算所有误差的总和,得到误差信息。然后使用误差信息基于梯度下降算法反向更新待训练的初始特征提取模型中的模型参数,得到更新后的待训练特征提取模型。然后将更新后的待训练特征提取模型作为待训练的初始特征提取模型,并获取到下一批次的当前训练图像集的步骤迭代执行,直到达到训练完成条件时,将训练完成的初始特征提取模型作为第一目标特征提取模型。其中,遍历完预设训练图像集中所有的训练图像为一个轮次。训练完成条件是指训练完待训练的初始特征提取模型的条件,可以包括训练达到最大次数上限、训练达到最大轮次上限、训练得到的误差信息小于预先设置好的误差阈值以及模型的参数不再发生变化等等。第一目标特征提取模型是指将待训练的初始特征提取模型训练完成后得到的。第一目标特征提取模型用于提取输入图像对应的特征,基于输入图像对应的特征进行图像内容分类。比如,可以是跨物种语义级别的图像分类,例如,对猫狗分类等等。也可以是子类细粒度图像分类,例如,对不同的鸟进行分类。
在一个实施例中,第一目标特征提取模型基于输入图像对应的特征可以进行图像内容识别。在一个实施例中,第一目标特征提取基于输入图像对应的特征也可以进行图像内容分割等等。
上述图像分类方法,通过将当前训练图像集中各个训练图像分别输入到已训练的特征提取模型和待训练的初始特征提取模型中进行特征提取,得到各个训练图像对应的已训练特征和各个训练图像对应的待训练特征。然后计算各个训练图像对应的已训练特征之间的相似程度,得到已训练相似程度集,并计算各个训练图像对应的待训练特征之间的相似程度,得到待训练相似程度集,最后通过计算待训练相似程度集与已训练相似程度集之间的误差信息,并基于误差信息更新待训练的初始特征提取模型,并返回获取当前训练图像集的步骤迭代执行,直到达到训练完成条件时,将训练完成的初始特征提取模型作为第一目标特征提取模型,然后通过第一目标特征提取模型进行图像内容分类,即通过挖掘已训练的特征提取模型对应的图像特征空间,将挖掘的图像特征空间迁移到初始特征提取模型,进而得到训练完成的第一目标特征提取模型,从而不需要获取独立图像样本和标签对模型进行更新,提高了模型更新效率。
在一个实施例中,如图3所示,步骤206,即计算各个训练图像对应的已训练特征之间的相似程度,得到已训练相似程度集,包括:
步骤302,基于各个训练图像对应的已训练特征得到已训练特征矩阵,并将已训练特征矩阵进行归一化处理,得到已训练归一化矩阵。
其中,已训练特征矩阵中行表征各个已训练特征对应的特征向量。
具体地,服务器根据各个训练图像对应的已训练特征建立已训练特征矩阵,然后将已训练特征矩阵进行归一化处理,其中,可以使用归一化算法进行归一化,比如,可以使用L2范数归一化算法进行归一化,L2范数归一化就是向量中每个元素除以向量的L2范数,从而得到已训练归一化矩阵。在一个具体的实施例中,可以使用如下所示的公式进行归一化。
其中,x表示特征向量,d表示特征向量的维度。Norm(x)表示特征向量x的L2范数。表示归一化后的已训练特征,表示已训练归一化矩阵,N是指已训练特征的数量。通过使用上述公式(1)、公式(2)和公式(3)计算得到已训练归一化矩阵。
步骤304,计算已训练归一化矩阵对应的转置矩阵,得到已训练转置矩阵,计算已训练转置矩阵与已训练归一化矩阵的乘积,得到已训练相似程度集。
其中,已训练转置矩阵是指转置后得到的矩阵。
具体地,服务器将已训练归一化矩阵进行转置计算,得到已训练转置矩阵,然后计算已训练装置矩阵与已训练归一化矩阵的乘积,即进行矩阵乘积的运算,说明将已训练特征与其他的每个已训练特征进行乘积运算,得到已训练特征与其他每个已训练特征的相似程度,遍历每个已训练特征,得到已训练相似程度集。
在一个具体的实施例中,可以使用如下所示的公式(4)计算得到已训练相似程度集。
在一个实施例中,服务器可以使用相似度算法计算已训练转置矩阵与已训练归一化矩阵对应的已训练相似程度集。即可以计算已训练转置矩阵与已训练归一化矩阵对应的余弦相似度,也可以计算距离相似度等,从而得到已训练相似程度集。
在一个实施例中,如图3所示,步骤206,即计算各个训练图像对应的待训练特征之间的相似程度,得到待训练相似程度集,包括:
步骤306,基于各个训练图像对应的待训练特征得到待训练特征矩阵,并将待训练特征矩阵进行归一化处理,得到待训练归一化矩阵。
其中,待训练特征矩阵中行表征各个待训练特征对应的特征向量。
具体地,服务器根据各个训练图像对应的待训练特征建立待训练特征矩阵,然后将待训练特征矩阵进行归一化处理,其中,可以使用归一化算法进行归一化,其中,归一化算法可以使用0-1标准化算法、最小最大化算法、零-均值算法、L2归一化算法等等。比如,可以使用L2范数归一化算法进行归一化,L2范数归一化就是向量中每个元素除以向量的L2范数,从而得到待训练归一化矩阵。在一个具体的实施例中,服务器也可以上述公式(1),公式(2)和公式(3)进行归一化,得到待训练归一化矩阵。
步骤308,计算待训练归一化矩阵对应的转置矩阵,得到待训练转置矩阵,计算待训练转置矩阵与待训练归一化矩阵的乘积,得到待训练相似程度集。
具体地,服务器将待训练归一化矩阵进行转置计算,得到待训练转置矩阵,然后计算待训练装置矩阵与待训练归一化矩阵的乘积,即进行矩阵乘积的运算,说明将待训练特征与其他的每个待训练特征进行乘积运算,得到待训练特征与其他每个待训练特征的相似程度,遍历每个待训练特征,得到待训练相似程度集。在一个具体的实施例中,服务器也可以使用公式(4)计算得到待训练相似程度集。
在上述实施例中,通过进行转置计算,得到转置矩阵,然后计算归一化矩阵进而转置矩阵的乘积,得到相似程度,从而提高了得到相似程度的效率。
在一个实施例中,如图4所示,步骤208,即计算待训练相似程度集与已训练相似程度集之间的误差信息,并基于误差信息更新待训练的初始特征提取模型,并返回获取当前训练图像集的步骤迭代执行,包括:
步骤402,计算待训练相似程度集与已训练相似程度集的均方差,得到初始损失信息,将初始损失信息作为误差信息。
具体地,服务器使用均分误差算法来计算待训练相似程度集与已训练相似程度集之间的损失,得到初始损失信息,该初始损失信息用于表征已训练相似程度集与待训练相似程度集之间的误差。
步骤404,基于误差信息反向更新初始特征提取模型中的模型参数,得到更新后的特征提取模型。
具体地,服务器使用误差信息进行梯度计算,并反传梯度到初始特征提取模型中,对初始特征提取模型中的模型参数进行更新,得到更新后的特征提取模型。
步骤406,将更新后的特征提取模型作为初始特征提取模型,并返回获取当前训练图像集的步骤迭代执行。
具体地,服务器将更新后的特征提取模型作为初始特征提取模型,并返回获取当前训练图像集的步骤迭代执行,直到达到训练完成条件时,得到训练完成的特征提取模型。
在一个实施例中,如图5所示,步骤402,即计算待训练相似程度集与已训练相似程度集的均方差,得到误差信息,包括:
步骤502,计算待训练相似程度集与已训练相似程度集的均方差,得到初始损失信息。
具体地,服务器计算待训练相似程度集中待训练相似程度与已训练相似程度集中已训练相似程度的欧式距离,得到初始损失信息
步骤504,获取当前训练图像集对应的训练图像数量,计算初始损失信息与训练图像数量的比值,得到平均损失信息。
具体地,服务器可以直接获取到当前训练图像集中所有训练图像的数量,即得到训练图像数量,服务器也可以统计得到训练图像数量。然后计算初始损失信息与训练图像数量的比值,得到平均损失信息。
步骤506,获取预设平衡参数,基于预设平衡参数对平均损失信息进行平衡计算,得到平衡损失信息。
其中,预设平衡参数是指预先设置好的用于权衡蒸馏损失和分类损失权重的超参数。
具体地,服务器使用预设平衡参数对平均损失信息进行加权计算,得到平衡损失信息,即得到加权后的损失信息。
步骤508,获取待训练的初始特征提取模型对应的分类损失信息,并计算分类损失信息和平衡损失信息的信息和,得到误差信息。
其中,分类损失信息是指待训练的初始特征提取模型在进行特征提取后进行后续图像内容分类任务处理时的损失。在一个实施例中,待训练的初始特征提取模型在进行图像内容识别任务处理时,可以是识别损失。在进行图像内容分割任务处理时,可以是分割损失等等。
具体地,服务器获取到待训练的初始特征提取模型对应的分类损失信息,其中,服务器可以获取图像分类标签和待训练初始特征提取模型根据训练图像对应的待训练特征进行图像内容分类,得到初始分类结果,然后计算初始分类结果与图像分类标签之间的分类损失,得到分类损失信息。该分类损失可以是交叉熵损失函数计算得到。然后计算分类损失信息和平衡损失信息的信息和,得到误差信息。
在一个具体的实施例中,可以使用如下所示的公式(5)计算得到误差信息。
其中,L表示误差信息,Lo表示分类损失信息,α为预设平衡参数,用于平衡分类损失和蒸馏损失。为平均损失信息,||ST-SS||2表示均方差,ST表示已训练相似程度集,SS待训练相似程度集,N表示训练图像数量。
在上述实施例中,通过计算均方差,得到初始损失信息。然后使用预审平衡参数进行平衡后,再与分类损失信息计算信息和,从而得到误差信息,使得到的误差信息更加准确。
在一个实施例中,如图6所示,步骤208,即计算待训练相似程度集与已训练相似程度集之间的误差信息,并基于误差信息更新待训练的初始特征提取模型,并返回获取当前训练图像集的步骤迭代执行,直到达到训练完成条件时,将训练完成的初始特征提取模型作为第一目标特征提取模型,包括:
步骤602,将待训练相似程度集输入到初始映射网络中进行特征映射,得到目标映射特征集。
其中,初始映射网络是指网络参数初始化的映射网络,该映射网络用于将待训练相似程度集进行变换,从而缩小语义鸿沟。该映射网络是使用神经网络建立的。目标映射特征集是指映射后得到的特征的集合。
具体地,服务器将待训练相似程度集中每个待训练相似度都分别输入待初始映射网络中进行特征映射,得到该初始映射网络出书的目标映射特征集。
步骤604,计算目标映射特征集与已训练相似程度集之间的均方差,得到目标误差信息,基于目标误差信息反向更新初始映射网络和初始特征提取模型,得到更新后的映射网络和更新后的特征提取模型。
步骤606,将更新后的映射网络作为初始映射网络,并将更新后的特征提取模型作为初始特征提取模型,并返回获取当前训练图像集的步骤迭代执行,直到达到训练完成条件时,基于训练完成的初始特征提取模型和训练完成的初始映射网络得到第二目标特征提取模型。
具体地,服务器使用目标映射特征集与已训练相似程度计算均分差信息,得到目标误差信息。然后再使用目标误差信息来反向更新初始映射网络的网络参数以及初始特征提取模型中的模型参数,得到更新后的映射网络和更新后的特征提取模型,然后将更新后的映射网络作为初始映射网络,将更新后的特征提取模型作为初始特征提取模型,并返回获取当前训练图像集的步骤迭代执行,直到达到训练完成条件时,基于训练完成的初始特征提取模型和训练完成的初始映射网络得到第二目标特征提取模型。即第二目标特征提取模型中包括训练完成的初始特征提取模型和训练完成的映射网络。
在上述实施例中,通过在初始特征提取模型之后增加初始映射网络,对初始特征提取模型和初始映射网络共同进行训练,从而得到第二目标特征提取模型,使用该第二目标特征提取模型能够提高特征提取的准确性。
在一个实施例中,初始特征提取模型为初始生成模型;步骤208,即计算待训练相似程度集与已训练相似程度集之间的误差信息,并基于误差信息更新待训练的初始特征提取模型,并返回获取当前训练图像集的步骤迭代执行,直到达到训练完成条件时,将训练完成的初始特征提取模型作为第一目标特征提取模型,包括步骤:
将待训练相似程度集和已训练相似程度集输入到初始判别网络中进行判别,得到相似程度判别结果;基于相似程度判别结果更新初始判别网络和初始特征提取模型,并返回获取当前训练图像集的步骤迭代执行,直到达到训练完成条件时,将训练完成的初始特征提取模型作为第三目标特征提取模型。
其中,在训练初始特征提取模型时,可以进行对抗学习来训练得到特征提取模型。初始特征提取模型为初始生成模型用于生成训练图像对应的特征。初始判别网络用于判别输入的特征是已训练特征提取模型提取的特征还是初始特征提取模型提取的特征。即将已训练特征提取模型提取的特征作为正类,将待训练的初始特征提取模型提取的特征作为负类,训练初始特征提取模型让已训练特征提取模型提取的特征和初始特征提取模型提取的特征更相似,以欺骗判别网络,同时训练判别网络将两类特征进行区别,即进行对抗学习,相互提取。当训练完成时,训练得到的初始特征提取模型提取得到的特征空间更加趋近语已训练特征提取模型提取得到的特征空间,并且判别网络能更好地进行区分。
具体地,服务器将待训练相似程度集和已训练相似程度集输入到初始判别网络中进行判别,得到相似程度判别结果,相似程度判别结果是指初始判别网络判别得到的输入的相似程度是属于正类的特征对应的相似程度还是负类的特征对应的相似程度。然后根据真实结果,即输入的相似程度实际对应的特征与相似程度判别结果进行误差计算,根据误差使用梯度下降算法反向更新初始判别网络和初始特征提取模型,并返回获取当前训练图像集的步骤迭代执行,直到达到训练完成条件时,将训练完成的初始特征提取模型作为第三目标特征提取模型。
在上述实施例中,通过新增初始判别网络进行对抗学习,然后将训练完成的初始特征提取模型作为第三目标特征提取模型,能够使训练得到的第二目标特征提取模型提高准确性。
在一个实施例中,当前训练图像集中包括各个图像三元组,图像三元组中包括正负图像对;如图7所示,图像分类方法还包括步骤:
步骤702,将各个图像三元组输入分别输入到已训练的特征提取模型和待训练的初始特征提取模型中进行特征提取,得到各个图像三元组对应的已训练三元组特征和各个图像三元组对应的待训练三元组特征。
其中,当前训练图像集中包括各个图像三元组,图像三元组中包括正负图像对,即图像三元组中两个训练图像为同类图像,第三个训练图像与两个同类型图像为不同类型的图像,即同类图像为正图像对,同类型图像中任意一个图像与不同类型图像组成负图像对。三元组特征是指图像三元组中每个训练图像进行特征提取后得到每个特征组成的三元组特征。即将每个训练图像的对应的特征进行拼接得到三元组特征。已训练三元组特征是指已训练的特征提取模型对图像三元组进行特征提取得到的特征。待训练三元组特征是指待训练的初始特征提取模型对图像三元组进行特征提取得到的特征。
具体地,服务器将每个图像三元组输入到已训练的特征提取模型和待训练的初始特征提取模型中进行特征提取,得到各个图像三元组对应的已训练三元组特征。同时将每个图像三元组输入到待训练的初始特征提取模型中进行特征提取,得到各个图像三元组对应的待训练三元组特征。
步骤704,基于已训练三元组特征和待训练三元组特征进行三元组损失计算,得到初始三元组损失信息,基于初始三元组损失信息反向更新初始特征提取模型,并返回获取当前训练图像集的步骤迭代执行,直到达到训练完成条件时,将训练完成的初始特征提取模型作为第四目标特征提取模型。
其中,初始三元组损失信息用于表征已训练三元组特征和待训练三元组特征对应的误差。
具体地,服务器使用已训练三元组特征进行三元组损失计算,得到已训练三元组损失,并使用待训练三元组进行三元组损失计算,得到待训练三元组损失,然后计算已训练三元组损失与待训练三元组损失之间的误差,得到初始三元组损失信息。然后基于初始三元组损失信息使用梯度下降算法反向更新初始特征提取模型,并返回获取当前训练图像集的步骤迭代执行,直到达到训练完成条件时,将训练完成的初始特征提取模型作为第四目标特征提取模型。
在上述实施例中,通过将各个图像三元组输入分别输入到已训练的特征提取模型和待训练的初始特征提取模型中进行特征提取,得到各个图像三元组对应的已训练三元组特征和各个图像三元组对应的待训练三元组特征,基于已训练三元组特征和待训练三元组特征进行三元组损失计算,得到初始三元组损失信息,基于初始三元组损失信息反向更新初始特征提取模型,并返回获取当前训练图像集的步骤迭代执行,直到达到训练完成条件时,将训练完成的初始特征提取模型作为第四目标特征提取模型,提高了得到的特征提取模型的准确性。
在一个实施例中,如图8所示,在步骤208之后,即在计算待训练相似程度集与已训练相似程度集之间的误差信息,并基于误差信息更新待训练的初始特征提取模型,并返回获取当前训练图像集的步骤迭代执行,直到达到训练完成条件时,将训练完成的初始特征提取模型作为第一目标特征提取模型之后,还包括:
步骤802,获取待审核图像,将待审核图像输入到第一目标特征提取模型中进行特征提取,得到待审核特征。
其中,待审核图像是指需要进行审核的图像,该审核是指对图像的内容进行违规、违法、异常、敏感等等进行审核。待审核特征是指待审核图像对应的图像特征。
具体地,服务器获取到待审核图像,该待审核图像可以是用户终端上传到服务器中的。也可以是从业务服务器中获取到的,还可以是从互联网中获取到的。然后将待审核图像输入到第一目标特征提取模型中进行特征提取,得到待审核特征。即服务器将训练得到的第一目标特征提取模型进行部署并使用。在使用时,直接调用该到第一目标特征提取模型进行特征提取,从而得到待审核特征。
步骤804,获取已审核图像库对应的已审核特征,计算待审核特征与已审核特征的相似程度;
步骤806,基于相似程度确定待审核图像对应的审核结果。
其中,已审核图像库中保存有各个已审核图像和对应的已审核特征。已审核图像是指图像内容存在违规、违法、异常、敏感等内容的图像。已审核特征是指已审核图像对应的图像特征。
具体地,服务器预先建立已审核图像库,该已审核图像库中保存有已审核图像对应的已审核特征。服务器获取到已审核图像库中的已审核特征,计算待审核特征与已审核特征的相似程度。当该相似程度超过预设相似程度阈值时,说明该待审核图像中存在违规或者敏感内容,此时该待审核图像对应的审核结果为审核未通过。当待审核特征与已审核图像库中每个已审核特征的相似程度均未超过预设相似程度阈值时,说明该待审核图像中未存在违规或者敏感内容,此时该待审核图像对应的审核结果为审核通过,此时可以进行后续的业务处理,比如,对待审核图像进行分类、识别、分割业务处理等等。
在上述实施例中,通过使用第一目标特征提取模型对待审核图像进行特征提取,得到待审核特征,然后将待审核特征与已审核图像库中的每个已审核图像进行相似程度计算,基于相似程度确定待审核图像对应的审核结果,提高了得到审核结果的效率。
在一个具体的实施例中,如图9所示,提供一种特征提取模型的训练框架示意图,具体来说:服务器进行蒸馏学习,即将训练图像集输入到教师网络和学生网络中,该教师网络和学生网络都为特征提取网络。此时,教师网络输出每个训练图像对应的特征向量,得到各个教师特征向量,然后两两计算得到教师特征向量之间的相似程度,得到教师相似度矩阵,学生网络输出每个训练图像对应的特征向量,得到各个学生特征向量,然后两两计算得到学生特征向量之间的相似程度,得到学生相似度矩阵,然后使用损失函数计算教师相似度矩阵和学生相似度矩阵的损失,使用该损失进行梯度反转,更新学生网络,并不断进行迭代更新,从而在训练完成时,将训练完成的学生网络作为最终得到的特征提取模型。
在一个实施例中,如图10所示,提供了一种图像处理方法,以该方法应用于图1中的服务器为例进行说明,可以理解的是,该方法也可以应用在终端中,还可以应用于包括终端和服务器的系统,并通过终端和服务器的交互实现。包括以下步骤:
步骤1002,获取待评估图像和已评估图像集。
其中,已评估图像集是指包括各个已评估图像,该已评估图像是使用已训练的特征提取模型进行评估的。待评估图像是指需要进行评估的图像,可以是已评估图像集中的图像。在对已训练的特征提取模型进行迭代更新后需要重新对已评估的图像进行评估。待评估图像也可以是从未进行评估的图像。
具体地,服务器可以从数据库中获取到待评估图像和已评估图像集。其中,待评估图像可以是从已评估图像集中依次选取的,也可以是从业务服务器获取到的,也可以是从互联网获取到的等等。
步骤1002,将待评估图像和已评估图像集输入到已训练的特征提取模型中进行特征提取,得到待评估图像对应的待评估特征和已评估图像集对应的已评估特征集,并计算待评估特征和已评估特征集的相似程度,得到第一相似程度集。
其中,已训练的特征提取模型是指使用历史训练图像基于神经网络算法训练得到的特征提取模型。第一相似程度集中包括各个第一相似程度,第一相似程度用于表征待评估特征与已评估特征集中已评估特征的相似程度。待评估特征是指待评估图像对应的图像特征。已评估特征集中包括各个已评估图像对应的图像特征。
具体地,服务器调用已训练的特征提取模型,分别将待评估图像和已评估图像集输入到已训练的特征提取模型中进行特征提取,得到待评估图像对应的待评估特征和已评估图像集对应的已评估特征集。然后可以使用相似度算法计算待评估特征与已评估特征集中各个已评估特征的相似程度,得到第一相似程度集。
步骤1002,将待评估图像和已评估图像集输入到目标特征提取模型中进行特征提取,得到待评估图像对应的待评估目标特征和已评估图像集对应的已评估目标特征集,并计算待评估目标特征与已评估目标特征集的相似程度,得到第二相似程度集,目标特征提取模型是通过已训练的特征提取模型进行知识蒸馏训练得到的。
其中,目标特征提取模型是通过已训练的特征提取模型进行知识蒸馏训练得到的,目标特征提取模型也可以是使用上述图像分类方法中任意一实施例得到的。待评估目标特征是指通过目标特征提取模型提取得到的待评估图像对应的图像特征。已评估目标特征集中包括各个已评估图像通过目标特征提取模型提取得到的图像特征。第二相似程度集中包括各个第二相似程度,第二相似程度用于表征待评估目标特征与已评估目标特征集中已评估目标特征的相似程度。
具体地,服务器调用目标特征提取模型,分别将待评估图像和已评估图像集输入到目标特征提取模型中进行特征提取,得到待评估图像对应的待评估目标特征和已评估图像集对应的已评估目标特征集。然后可以使用相似度算法计算待评估目标特征与已评估目标特征集中各个已评估目标特征的相似程度,得到第二相似程度集。
步骤1002,基于第一相似程度集和第二相似程度集进行评估计算,得到待评估图像对应的评估信息,基于待评估图像对应的评估信息确定待评估图像对应的相似评估结果。
其中,评估信息用于表征待评估图像与已评估图像集的相似程度,可以是评估分值。相似评估结果用于表征待评估图像对应的评估结果,该评估结果包括相似结果和未相似结果。
具体地,服务器使用第一相似程度集和第二相似程度集进行误差计算,根据误差得到评估图像对应的评估分值,当该评估分值超过预设相似阈值时,得到待评估图像的评估结果为相似结果,此时服务器可以使用待评估图像对应的待评估目标特征替换已评估图像集中相同图像对应的已评估特征。当该评估分值未超过预设相似阈值时,得到待评估图像的评估结果为未相似结果,此时,可以进一步将待评估图像发送到人工评估终端进行人工评估。
上述图像处理方法、装置、计算机设备、存储介质和计算机程序产品,通过获取待评估图像和已评估图像集,然后待评估图像和已评估图像集输入到已训练的特征提取模型和目标特征提取模型进行评估处理,由于该目标特征提取模型使用通过已训练的特征提取模型进行知识蒸馏训练得到的,从而能够提高对待评估图像进行处理的效率。并且,通过使用目标特征提取模型和已训练的特征提取模型对待评估图像和已评估图像集进行特征提取,进而确定第一相似程度集和第二相似程度集,然后使用第一相似程度集和第二相似程度集进行评估计算确定待评估图像对应的相似评估结果,提高了相似评估结果的准确性。
在一个实施例中,步骤1004,即计算待评估特征和已评估特征集的相似程度,得到第一相似程度集,包括步骤:
将待评估特征进行归一化,得到归一化待评估特征,并将已评估特征集进行归一化,得到归一化已评估特征集;将归一化已评估特征集进行转置计算,得到已评估转置矩阵,计算归一化已评估特征集与已评估转置矩阵的乘积,得到第一相似程度集。
其中,归一化待评估特征是指归一化后的待评估特征。归一化已评估特征集是指归一化后的已评估特征集。已评估转置矩阵是指将归一化已评估特征集进行转置后得到的转置矩阵。
具体地,服务器使用归一化算法对待评估特征进行归一化,得到归一化待评估特征,并将已评估特征集进行归一化,得到归一化已评估特征集,其中,可以使用L2范数归一化算法进行归一化。即可以使用公式(1)、公式(2)和公式(3)进行归一化。然后服务器将归一化已评估特征集进行转置计算,得到已评估转置矩阵,再使用相似度算法计算归一化已评估特征集与已评估转置矩阵之间的相似度,得到第一相似程度集,比如,可以计算归一化已评估特征集与已评估转置矩阵的乘积,得到第一相似程度集,也可以计算归一化已评估特征集与已评估转置矩阵的距离相似度,得到第一相似程度集等等。
在一个实施例中,步骤1006,即计算待评估目标特征与已评估目标特征集的相似程度,得到第二相似程度集,包括:
将待评估目标特征进行归一化,得到归一化待评估目标特征,并将已评估目标特征集进行归一化,得到归一化已评估目标特征集;将归一化已评估目标特征集进行转置计算,得到已评估目标转置矩阵,计算归一化已评估目标特征集与已评估目标转置矩阵的乘积,得到第二相似程度集。
其中,归一化待评估目标特征是指归一化后的待评估目标特征。归一化已评估目标特征集是指归一化后的已评估目标特征集。已评估转目标置矩阵是指将归一化已评估目标特征集进行转置后得到的转置矩阵。
具体地,服务器使用归一化算法对待评估目标特征进行归一化,得到归一化待评估目标特征,并将已评估目标特征集进行归一化,得到归一化已评估目标特征集,其中,可以使用L2范数归一化算法进行归一化。即可以使用公式(1)、公式(2)和公式(3)进行归一化。然后服务器将归一化已评估目标特征集进行转置计算,得到已评估目标转置矩阵,再使用相似度算法计算归一化已评估目标特征集与已评估目标转置矩阵之间的相似度,得到第二相似程度集,比如,可以计算归一化已评估目标特征集与已评估目标转置矩阵的乘积,得到第二相似程度集,也可以计算归一化已评估目标特征集与已评估目标转置矩阵的距离相似度,得到第二相似程度集等等。
在一个实施例中,如图11所示,步骤1008,即基于第一相似程度集和第二相似程度集进行评估计算,得到待评估图像对应的评估信息,基于待评估图像对应的评估信息确定待评估图像对应的相似评估结果,包括:
步骤1002,计算第一相似程度集和第二相似程度集之间的均方差,得到目标损失信息;
步骤1104,统计待评估图像和已评估图像集对应的图像总数,计算目标损失信息与图像总数的比值,基于比值确定待评估图像对应的评估信息。
具体地,服务器使用均方差损失函数计算第一相似程度集和第二相似程度集之间的误差,得到目标损失信息。该目标损失信息用于表征第一相似程度集与第二相似程度集之间的相似度误差。然后统计待评估图像和已评估图像集对应的图像总数,即统计已评估图像集中已评估图像的总数再加待评估图像的数量得到图像总数。然后将目标损失信息与图像总数进行相比,得到比值。然后根据该比值确定待评估图像对应的评估信息。该评估信息用于表征待评估图像在已训练的特征提取模型特征空间中相对于目标特征提取模型特征空间的相对位置变化量。
在一个具体的实施例中,可以使用如下所示的公式(6)计算得到待评估图像对应的评估信息。
其中,S表示待评估图像对应的评估信息,即为评分。N为待评估图像和已评估图像集对应的图像总数。||sT-sS||2表示均方差,即得到目标损失信息。sT表示第一相似程度集,sS表示第二相似程度集。
步骤1106,当评估信息超过预设评价阈值时,得到待评估图像对应的相似评估通过结果。
其中,预设评价阈值是指预先设置好的相似评估通过的阈值。相似评估通过结果是指待评估图像的图像特征可以替换已评估图像集中相同图像的评估结果。
具体地,服务器判断当评估信息超过预设评价阈值时,得到待评估图像对应的相似评估通过结果。当评估信息未超过预设评价阈值时得到待评估图像对应的相似评估未通过结果,此时,可以将待评估图像发送人工评估终端进行人工评估。
在一个具体的实施例中,如图12所示,提供一种图像处理的框架示意图,具体来说:
服务器获取到待评估图像和锚定图像集,该锚定图像集作为待评估图像进行评估时的参考。该待评估图像是使用特征提取教师网络进行评估过的图像,在训练得到特征提取学生网络时需要对该图像重新进行评估。此时,服务器将待评估图像和锚定图像集输入到特征提取教师网络进行特征提取,得到待评估图像对应的特征向量和锚定图像集对应的特征向量矩阵,然后计算特征向量与特征向量矩阵的相似程度,得到教师相似度向量。然后将待评估图像和锚定图像集输入到特征提取学生网络进行特征提取,得到待评估图像对应的特征向量和锚定图像集对应的特征向量矩阵,然后计算特征向量与特征向量矩阵的相似程度,得到学生相似度向量。然后使用公式(6)基于教师相似度向量和学生相似度向量计算得到待评估图像对应的评估分数,该评估分数用于表征待评估图像在学生网络特征空间中相对于教师网络特征空间的相对位置变化量。当评估分数超过预设评估分数时,待评估图像评估通过,然后可以使用待评估图像更新已评估图像数据库。
在一个具体的实施例中,如图13所示,一种图像分类方法,具体包括以下步骤:
步骤1302,获取当前训练图像集,当前训练图像集是从预设训练图像集中确定的;
步骤1304,将当前训练图像集中各个训练图像分别输入到已训练的特征提取模型和待训练的初始特征提取模型中进行特征提取,得到各个训练图像对应的已训练特征和各个训练图像对应的待训练特征;
步骤1306,基于各个训练图像对应的已训练特征得到已训练特征矩阵,并将已训练特征矩阵进行归一化处理,得到已训练归一化矩阵;计算已训练归一化矩阵对应的转置矩阵,得到已训练转置矩阵;计算已训练转置矩阵与已训练归一化矩阵的乘积,得到已训练相似程度集。
步骤1308,基于各个训练图像对应的待训练特征得到待训练特征矩阵,并将待训练特征矩阵进行归一化处理,得到待训练归一化矩阵;计算待训练归一化矩阵对应的转置矩阵,得到待训练转置矩阵;计算待训练转置矩阵与待训练归一化矩阵的乘积,得到待训练相似程度集。
步骤1310,计算待训练相似程度集与已训练相似程度集的均方差,得到初始损失信息;获取当前训练图像集对应的训练图像数量,计算初始损失信息与训练图像数量的比值,得到平均损失信息。
步骤1312,获取预设平衡参数,基于预设平衡参数对平均损失信息进行平衡计算,得到平衡损失信息;获取待训练的初始特征提取模型对应的分类损失信息,并计算分类损失信息和平衡损失信息的信息和,得到误差信息。
步骤1314,基于误差信息反向更新初始特征提取模型中的模型参数,得到更新后的特征提取模型;将更新后的特征提取模型作为初始特征提取模型,并返回获取当前训练图像集的步骤迭代执行,直到达到训练完成条件时,将训练完成的初始特征提取模型作为目标特征提取模型,目标特征提取模型用于提取输入图像对应的特征,基于所述输入图像对应的特征进行图像内容分类。
本申请还提供一种应用场景,该应用场景应用上述的特征提模型训练方法和图像处理方法,如图14所示,为应用场景的框架示意图。具体来说:在图像检索的内容审核应用场景中,需要建立敏感内容图像数据库,通过入库具有代表性且无严重误杀的图像种子到数据库中,来和待审核图像进行匹配,从而过滤敏感内容。当特征提取教师网络模型使用一段时间后,需要进行更新,此时,可以建立初始特征提取学生网络模型,基于特征提取教师网络模型和特征提取学生网络模型进行蒸馏学习,即获取当前训练图像集,当前训练图像集是从预设训练图像集中确定的,将当前训练图像集中各个训练图像分别输入到特征提取教师网络模型和初始特征提取学生网络模型中进行特征提取,得到各个训练图像对应的已训练特征和各个训练图像对应的待训练特征。然后计算各个训练图像对应的已训练特征之间的相似程度,得到已训练相似程度集,并计算各个训练图像对应的待训练特征之间的相似程度,得到待训练相似程度集;计算待训练相似程度集与已训练相似程度集之间的误差信息,并基于误差信息更新初始特征提取学生网络模型,并返回获取当前训练图像集的步骤迭代执行,直到达到训练完成条件时,将训练完成的初始特征提取学生网络模型作为目标特征提取学生网络模型。然后使用目标特征提取学生网络模型对敏感内容图像数据库中的图像种子进行清洗,即进行重新评估。将评估分数超过预设阈值的图像保存到更新的敏感图像数据库中。将评估分数未超过预设阈值的图像进行人工评估,将人工评估通过的图像也保存到更新的敏感图像数据库中,从而得到更新的敏感图像数据库。
在一个具体的实施例中,本申请还提供一种应用场景,该应用场景应用上述的特征提模型训练方法,在人脸识别的应用场景中,服务器获取到要识别的人脸图像,将要识别的人脸图像输入到第一目标特征提取模型中进行特征提取,得到待识别人脸图像特征。其中,第一目标特征提取模型是通过获取当前训练图像集,当前训练图像集是从预设训练图像集中确定的,将当前训练图像集中各个训练图像分别输入到已训练的特征提取模型和待训练的初始特征提取模型中进行特征提取,得到各个训练图像对应的已训练特征和各个训练图像对应的待训练特征,其中,初始特征提取模型是将已训练的特征提取模型的参数初始化得到的,计算各个训练图像对应的已训练特征之间的相似程度,得到已训练相似程度集,并计算各个训练图像对应的待训练特征之间的相似程度,得到待训练相似程度集,计算待训练相似程度集与已训练相似程度集之间的误差信息,并基于误差信息更新待训练的初始特征提取模型,并返回获取当前训练图像集的步骤迭代执行,直到达到训练完成条件时,将训练完成的初始特征提取模型作为第一目标特征提取模型,然后基于待识别人脸图像特征与人脸数据库中的已有人脸图像特征进行相似度计算,当查找到相似度超过预设人脸相似阈值的已有人脸图像特征时,获取到已有人脸图像特征对应的人脸身份信息,从而得到待识别人脸图像的人脸身份信息。
应该理解的是,虽然图2至图13中的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2至图13中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图15所示,提供了一种图像分类装置1500,该装置可以采用软件模块或硬件模块,或者是二者的结合成为计算机设备的一部分,该装置具体包括:图像获取模块1502、特征提取模块1504、相似计算模块1506和迭代更新模块1508,其中:
图像获取模块1502,用于获取当前训练图像集,当前训练图像集是从预设训练图像集中确定的;
特征提取模块1504,用于将当前训练图像集中各个训练图像分别输入到已训练的特征提取模型和待训练的初始特征提取模型中进行特征提取,得到各个训练图像对应的已训练特征和各个训练图像对应的待训练特征,其中,初始特征提取模型是将已训练的特征提取模型的参数初始化得到的;
相似计算模块1506,用于计算各个训练图像对应的已训练特征之间的相似程度,得到已训练相似程度集,并计算各个训练图像对应的待训练特征之间的相似程度,得到待训练相似程度集;
迭代更新模块1508,用于计算待训练相似程度集与已训练相似程度集之间的误差信息,并基于误差信息更新待训练的初始特征提取模型,并返回获取当前训练图像集的步骤迭代执行,直到达到训练完成条件时,将训练完成的初始特征提取模型作为第一目标特征提取模型,第一目标特征提取模型用于提取输入图像对应的特征。
在一个实施例中,相似计算模块1506还用于基于各个训练图像对应的已训练特征得到已训练特征矩阵,并将已训练特征矩阵进行归一化处理,得到已训练归一化矩阵;计算已训练归一化矩阵对应的转置矩阵,得到已训练转置矩阵;计算已训练转置矩阵与已训练归一化矩阵的乘积,得到已训练相似程度集。
在一个实施例中,相似计算模块1506还用于基于各个训练图像对应的待训练特征得到待训练特征矩阵,并将待训练特征矩阵进行归一化处理,得到待训练归一化矩阵;计算待训练归一化矩阵对应的转置矩阵,得到待训练转置矩阵;计算待训练转置矩阵与待训练归一化矩阵的乘积,得到待训练相似程度集。
在一个实施例中,迭代更新模块1508还用于计算待训练相似程度集与已训练相似程度集的均方差,得到初始损失信息,将初始损失信息作为误差信息;基于误差信息反向更新初始特征提取模型中的模型参数,得到更新后的特征提取模型;将更新后的特征提取模型作为初始特征提取模型,并返回获取当前训练图像集的步骤迭代执行。
在一个实施例中,迭代更新模块1508还用于计算待训练相似程度集与已训练相似程度集的均方差,得到初始损失信息;获取当前训练图像集对应的训练图像数量,计算初始损失信息与训练图像数量的比值,得到平均损失信息;获取预设平衡参数,基于预设平衡参数对平均损失信息进行平衡计算,得到平衡损失信息;获取待训练的初始特征提取模型对应的分类损失信息,并计算分类损失信息和平衡损失信息的信息和,得到误差信息。
在一个实施例中,迭代更新模块1508还用于将待训练相似程度集输入到初始映射网络中进行特征映射,得到目标映射特征集;计算目标映射特征集与已训练相似程度集之间的均方差,得到目标误差信息,基于目标误差信息反向更新初始映射网络和初始特征提取模型,得到更新后的映射网络和更新后的特征提取模型;将更新后的映射网络作为初始映射网络,并将更新后的特征提取模型作为初始特征提取模型,并返回获取当前训练图像集的步骤迭代执行,直到达到训练完成条件时,基于训练完成的初始特征提取模型和训练完成的初始映射网络得到第二目标特征提取模型。
在一个实施例中,初始特征提取模型为初始生成模型;迭代更新模块1508还用于将待训练相似程度集和已训练相似程度集输入到初始判别网络中进行判别,得到相似程度判别结果;基于相似程度判别结果更新初始判别网络和初始特征提取模型,并返回获取当前训练图像集的步骤迭代执行,直到达到训练完成条件时,将训练完成的初始特征提取模型作为第三目标特征提取模型。
在一个实施例中,当前训练图像集中包括各个图像三元组,图像三元组中包括正负图像对;图像分类装置1500还包括:
对比学习模块,用于将各个图像三元组输入分别输入到已训练的特征提取模型和待训练的初始特征提取模型中进行特征提取,得到各个图像三元组对应的已训练三元组特征和各个图像三元组对应的待训练三元组特征;基于已训练三元组特征和待训练三元组特征进行三元组损失计算,得到初始三元组损失信息,基于初始三元组损失信息反向更新初始特征提取模型,并返回获取当前训练图像集的步骤迭代执行,直到达到训练完成条件时,将训练完成的初始特征提取模型作为第四目标特征提取模型。
在一个实施例中,图像分类装置1500,还包括:
模型使用模块,用于获取待审核图像,将待审核图像输入到第一目标特征提取模型中进行特征提取,得到待审核特征;获取已审核图像库对应的已审核特征,计算待审核特征与已审核特征的相似程度;基于相似程度确定待审核图像对应的审核结果。
在一个实施例中,如图16所示,提供了一种图像处理装置1600,该装置可以采用软件模块或硬件模块,或者是二者的结合成为计算机设备的一部分,该装置具体包括:评估图像获取模块1602、第一提取模块1604、第二提取模块1606和评估模块1608,其中:
评估图像获取模块1602,用于获取待评估图像和已评估图像集;
第一提取模块1604,用于将待评估图像和已评估图像集输入到已训练的特征提取模型中进行特征提取,得到待评估图像对应的待评估特征和已评估图像集对应的已评估特征集,并计算待评估特征和已评估特征集的相似程度,得到第一相似程度集;
第二提取模块1606,用于将待评估图像和已评估图像集输入到目标特征提取模型中进行特征提取,得到待评估图像对应的待评估目标特征和已评估图像集对应的已评估目标特征集,并计算待评估目标特征与已评估目标特征集的相似程度,得到第二相似程度集,目标特征提取模型是通过已训练的特征提取模型进行知识蒸馏训练得到的;
评估模块1608,用于基于第一相似程度集和第二相似程度集进行评估计算,得到待评估图像对应的评估信息,基于待评估图像对应的评估信息确定待评估图像对应的相似评估结果。
在一个实施例中,第一提取模块1604还用于将待评估特征进行归一化,得到归一化待评估特征,并将已评估特征集进行归一化,得到归一化已评估特征集;将归一化已评估特征集进行转置计算,得到已评估转置矩阵,计算归一化已评估特征集与已评估转置矩阵的乘积,得到第一相似程度集。
在一个实施例中,第二提取模块1604还用于将待评估目标特征进行归一化,得到归一化待评估目标特征,并将已评估目标特征集进行归一化,得到归一化已评估目标特征集;将归一化已评估目标特征集进行转置计算,得到已评估目标转置矩阵,计算归一化已评估目标特征集与已评估目标转置矩阵的乘积,得到第二相似程度集。
在一个实施例中,评估模块1608还用于计算第一相似程度集和第二相似程度集之间的均方差,得到目标损失信息;统计待评估图像和已评估图像集对应的图像总数,计算目标损失信息与图像总数的比值,基于比值确定待评估图像对应的评估信息;当评估信息超过预设评价阈值时,得到待评估图像对应的相似评估通过结果。
关于特征提模型训练装置和图像处理装置的具体限定可以参见上文中对于特征提模型训练方法和图像处理方法的限定,在此不再赘述。上述特征提模型训练装置和图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图17所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储训练图像数据或者已评估图像数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种特征提模型训练方法或者图像处理方法。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图18所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种特征提模型训练方法或者图像处理方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图17和图18中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,还提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (18)
1.一种图像分类方法,其特征在于,所述方法包括:
获取当前训练图像集,所述当前训练图像集是从预设训练图像集中确定的;
将所述当前训练图像集中各个训练图像分别输入到已训练的特征提取模型和待训练的初始特征提取模型中进行特征提取,得到所述各个训练图像对应的已训练特征和所述各个训练图像对应的待训练特征,其中,所述初始特征提取模型是将所述已训练的特征提取模型的参数初始化得到的;
计算所述各个训练图像对应的已训练特征之间的相似程度,得到已训练相似程度集,并计算所述各个训练图像对应的待训练特征之间的相似程度,得到待训练相似程度集;
计算所述待训练相似程度集与所述已训练相似程度集之间的误差信息,并基于所述误差信息更新所述待训练的初始特征提取模型,并返回获取当前训练图像集的步骤迭代执行,直到达到训练完成条件时,将训练完成的初始特征提取模型作为第一目标特征提取模型,所述第一目标特征提取模型用于提取输入图像对应的特征,基于所述输入图像对应的特征进行图像内容分类。
2.根据权利要求1所述的方法,其特征在于,所述计算所述各个训练图像对应的已训练特征之间的相似程度,得到已训练相似程度集,包括:
基于所述各个训练图像对应的已训练特征得到已训练特征矩阵,并将所述已训练特征矩阵进行归一化处理,得到已训练归一化矩阵;
计算所述已训练归一化矩阵对应的转置矩阵,得到已训练转置矩阵;
计算所述已训练转置矩阵与所述已训练归一化矩阵的乘积,得到所述已训练相似程度集。
3.根据权利要求1所述的方法,其特征在于,所述计算所述各个训练图像对应的待训练特征之间的相似程度,得到待训练相似程度集,包括:
基于所述各个训练图像对应的待训练特征得到待训练特征矩阵,并将所述待训练特征矩阵进行归一化处理,得到待训练归一化矩阵;
计算所述待训练归一化矩阵对应的转置矩阵,得到待训练转置矩阵;
计算所述待训练转置矩阵与所述待训练归一化矩阵的乘积,得到所述待训练相似程度集。
4.根据权利要求1所述的方法,其特征在于,所述计算所述待训练相似程度集与所述已训练相似程度集之间的误差信息,并基于所述误差信息更新所述待训练的初始特征提取模型,并返回获取当前训练图像集的步骤迭代执行,包括:
计算所述待训练相似程度集与所述已训练相似程度集的均方差,得到初始损失信息,将所述初始损失信息作为所述误差信息;
基于所述误差信息反向更新所述初始特征提取模型中的模型参数,得到更新后的特征提取模型;
将更新后的特征提取模型作为初始特征提取模型,并返回获取当前训练图像集的步骤迭代执行。
5.根据权利要求4所述的方法,其特征在于,所述计算所述待训练相似程度集与所述已训练相似程度集的均方差,得到所述误差信息,包括:
计算所述待训练相似程度集与所述已训练相似程度集的均方差,得到初始损失信息;
获取当前训练图像集对应的训练图像数量,计算所述初始损失信息与所述训练图像数量的比值,得到平均损失信息;
获取预设平衡参数,基于所述预设平衡参数对所述平均损失信息进行平衡计算,得到平衡损失信息;
获取所述待训练的初始特征提取模型对应的分类损失信息,并计算所述分类损失信息和所述平衡损失信息的信息和,得到所述误差信息。
6.根据权利要求1所述的方法,其特征在于,所述计算所述待训练相似程度集与所述已训练相似程度集之间的误差信息,并基于所述误差信息更新所述待训练的初始特征提取模型,并返回获取当前训练图像集的步骤迭代执行,直到达到训练完成条件时,将训练完成的初始特征提取模型作为第一目标特征提取模型,包括:
将所述待训练相似程度集输入到初始映射网络中进行特征映射,得到目标映射特征集;
计算所述目标映射特征集与所述已训练相似程度集之间的均方差,得到目标误差信息,基于所述目标误差信息反向更新所述初始映射网络和所述初始特征提取模型,得到更新后的映射网络和更新后的特征提取模型;
将所述更新后的映射网络作为初始映射网络,并将更新后的特征提取模型作为初始特征提取模型,并返回获取当前训练图像集的步骤迭代执行,直到达到训练完成条件时,基于训练完成的初始特征提取模型和训练完成的初始映射网络得到第二目标特征提取模型。
7.根据权利要求1所述的方法,其特征在于,所述初始特征提取模型为初始生成模型;
所述计算所述待训练相似程度集与所述已训练相似程度集之间的误差信息,并基于所述误差信息更新所述待训练的初始特征提取模型,并返回获取当前训练图像集的步骤迭代执行,直到达到训练完成条件时,将训练完成的初始特征提取模型作为第一目标特征提取模型,包括:
将所述待训练相似程度集和所述已训练相似程度集输入到初始判别网络中进行判别,得到相似程度判别结果;
基于所述相似程度判别结果更新所述初始判别网络和所述初始特征提取模型,并返回获取当前训练图像集的步骤迭代执行,直到达到训练完成条件时,将训练完成的初始特征提取模型作为第三目标特征提取模型。
8.根据权利要求1所述的方法,其特征在于,所述当前训练图像集中包括各个图像三元组,所述图像三元组中包括正负图像对;所述方法还包括:
将所述各个图像三元组输入分别输入到已训练的特征提取模型和待训练的初始特征提取模型中进行特征提取,得到所述各个图像三元组对应的已训练三元组特征和所述各个图像三元组对应的待训练三元组特征;
基于所述已训练三元组特征和所述待训练三元组特征进行三元组损失计算,得到初始三元组损失信息,基于所述初始三元组损失信息反向更新所述初始特征提取模型,并返回获取当前训练图像集的步骤迭代执行,直到达到训练完成条件时,将训练完成的初始特征提取模型作为第四目标特征提取模型。
9.根据权利要求1所述的方法,其特征在于,在所述计算所述待训练相似程度集与所述已训练相似程度集之间的误差信息,并基于所述误差信息更新所述待训练的初始特征提取模型,并返回获取当前训练图像集的步骤迭代执行,直到达到训练完成条件时,将训练完成的初始特征提取模型作为第一目标特征提取模型之后,还包括:
获取待审核图像,将所述待审核图像输入到所述第一目标特征提取模型中进行特征提取,得到待审核特征;
获取已审核图像库对应的已审核特征,计算所述待审核特征与所述已审核特征的相似程度;
基于所述相似程度确定所述待审核图像对应的审核结果。
10.一种图像处理方法,其特征在于,所述方法包括:
获取待评估图像和已评估图像集;
将所述待评估图像和所述已评估图像集输入到已训练的特征提取模型中进行特征提取,得到所述待评估图像对应的待评估特征和所述已评估图像集对应的已评估特征集,并计算所述待评估特征和所述已评估特征集的相似程度,得到第一相似程度集;
将所述待评估图像和所述已评估图像集输入到目标特征提取模型中进行特征提取,得到所述待评估图像对应的待评估目标特征和所述已评估图像集对应的已评估目标特征集,并计算所述待评估目标特征与所述已评估目标特征集的相似程度,得到第二相似程度集,所述目标特征提取模型是通过已训练的特征提取模型进行知识蒸馏训练得到的;
基于所述第一相似程度集和所述第二相似程度集进行评估计算,得到所述待评估图像对应的评估信息,基于所述待评估图像对应的评估信息确定所述待评估图像对应的相似评估结果。
11.根据权利要求10所述的方法,其特征在于,所述计算所述待评估特征和所述已评估特征集的相似程度,得到第一相似程度集,包括:
将所述待评估特征进行归一化,得到归一化待评估特征,并将所述已评估特征集进行归一化,得到归一化已评估特征集;
将所述归一化已评估特征集进行转置计算,得到已评估转置矩阵,计算所述归一化已评估特征集与所述已评估转置矩阵的乘积,得到所述第一相似程度集。
12.根据权利要求10所述的方法,其特征在于,所述计算所述待评估目标特征与所述已评估目标特征集的相似程度,得到第二相似程度集,包括:
将所述待评估目标特征进行归一化,得到归一化待评估目标特征,并将所述已评估目标特征集进行归一化,得到归一化已评估目标特征集;
将所述归一化已评估目标特征集进行转置计算,得到已评估目标转置矩阵,计算所述归一化已评估目标特征集与所述已评估目标转置矩阵的乘积,得到所述第二相似程度集。
13.根据权利要求10所述的方法,其特征在于,所述基于所述第一相似程度集和所述第二相似程度集进行评估计算,得到所述待评估图像对应的评估信息,基于所述待评估图像对应的评估信息确定所述待评估图像对应的相似评估结果,包括:
计算所述第一相似程度集和所述第二相似程度集之间的均方差,得到目标损失信息;
统计所述待评估图像和所述已评估图像集对应的图像总数,计算所述目标损失信息与所述图像总数的比值,基于所述比值确定所述待评估图像对应的评估信息;
当所述评估信息超过预设评价阈值时,得到所述待评估图像对应的相似评估通过结果。
14.一种图像分类装置,其特征在于,所述装置包括:
图像获取模块,用于获取当前训练图像集,所述当前训练图像集是从预设训练图像集中确定的;
特征提取模块,用于将所述当前训练图像集中各个训练图像分别输入到已训练的特征提取模型和待训练的初始特征提取模型中进行特征提取,得到所述各个训练图像对应的已训练特征和所述各个训练图像对应的待训练特征,其中,所述初始特征提取模型是将所述已训练的特征提取模型的参数初始化得到的;
相似计算模块,用于计算所述各个训练图像对应的已训练特征之间的相似程度,得到已训练相似程度集,并计算所述各个训练图像对应的待训练特征之间的相似程度,得到待训练相似程度集;
迭代更新模块,用于计算所述待训练相似程度集与所述已训练相似程度集之间的误差信息,并基于所述误差信息更新所述待训练的初始特征提取模型,并返回获取当前训练图像集的步骤迭代执行,直到达到训练完成条件时,将训练完成的初始特征提取模型作为第一目标特征提取模型,所述第一目标特征提取模型用于提取输入图像对应的特征,基于所述输入图像对应的特征进行图像内容分类。
15.一种图像处理装置,其特征在于,所述装置包括:
评估图像获取模块,用于获取待评估图像和已评估图像集;
第一提取模块,用于将所述待评估图像和所述已评估图像集输入到已训练的特征提取模型中进行特征提取,得到所述待评估图像对应的待评估特征和所述已评估图像集对应的已评估特征集,并计算所述待评估特征和所述已评估特征集的相似程度,得到第一相似程度集;
第二提取模块,用于将所述待评估图像和所述已评估图像集输入到目标特征提取模型中进行特征提取,得到所述待评估图像对应的待评估目标特征和所述已评估图像集对应的已评估目标特征集,并计算所述待评估目标特征与所述已评估目标特征集的相似程度,得到第二相似程度集,所述目标特征提取模型是通过已训练的特征提取模型进行知识蒸馏训练得到的;
评估模块,用于基于所述第一相似程度集和所述第二相似程度集进行评估计算,得到所述待评估图像对应的评估信息,基于所述待评估图像对应的评估信息确定所述待评估图像对应的相似评估结果。
16.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至13中任一项所述的方法的步骤。
17.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至13中任一项所述的方法的步骤。
18.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至13任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111056540.8A CN115797990A (zh) | 2021-09-09 | 2021-09-09 | 图像分类、图像处理方法、装置和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111056540.8A CN115797990A (zh) | 2021-09-09 | 2021-09-09 | 图像分类、图像处理方法、装置和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115797990A true CN115797990A (zh) | 2023-03-14 |
Family
ID=85473208
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111056540.8A Pending CN115797990A (zh) | 2021-09-09 | 2021-09-09 | 图像分类、图像处理方法、装置和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115797990A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116503614A (zh) * | 2023-04-27 | 2023-07-28 | 杭州食方科技有限公司 | 餐盘形状特征提取网络训练方法和餐盘形状信息生成方法 |
-
2021
- 2021-09-09 CN CN202111056540.8A patent/CN115797990A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116503614A (zh) * | 2023-04-27 | 2023-07-28 | 杭州食方科技有限公司 | 餐盘形状特征提取网络训练方法和餐盘形状信息生成方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111709409B (zh) | 人脸活体检测方法、装置、设备及介质 | |
CN111310731B (zh) | 基于人工智能的视频推荐方法、装置、设备及存储介质 | |
CN113139628B (zh) | 样本图像的识别方法、装置、设备及可读存储介质 | |
CN111241989A (zh) | 图像识别方法及装置、电子设备 | |
US20230033052A1 (en) | Method, apparatus, device, and storage medium for training image processing model | |
CN111476806B (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
CN112001932B (zh) | 人脸识别方法、装置、计算机设备和存储介质 | |
CN111368672A (zh) | 一种用于遗传病面部识别模型的构建方法及装置 | |
CN115050064A (zh) | 人脸活体检测方法、装置、设备及介质 | |
CN110765882A (zh) | 一种视频标签确定方法、装置、服务器及存储介质 | |
US20230053911A1 (en) | Detecting an object in an image using multiband and multidirectional filtering | |
CN111444957B (zh) | 图像数据处理方法、装置、计算机设备和存储介质 | |
CN113011387A (zh) | 网络训练及人脸活体检测方法、装置、设备及存储介质 | |
CN113569081A (zh) | 图像识别方法、装置、设备及存储介质 | |
CN111626212A (zh) | 图片中对象的识别方法和装置、存储介质及电子装置 | |
CN116188956A (zh) | 一种深度伪造人脸图像检测的方法及相关设备 | |
KR102540290B1 (ko) | 이종 센서 카메라 기반 사람 재식별 장치 및 방법 | |
CN114519729A (zh) | 图像配准质量评估模型训练方法、装置和计算机设备 | |
CN115797990A (zh) | 图像分类、图像处理方法、装置和存储介质 | |
CN111582404B (zh) | 内容分类方法、装置及可读存储介质 | |
Chen et al. | Probabilistic urban structural damage classification using bitemporal satellite images | |
CN113762249A (zh) | 图像攻击检测、图像攻击检测模型训练方法和装置 | |
CN113762237A (zh) | 文本图像处理方法、装置、设备及存储介质 | |
CN111079704A (zh) | 一种基于量子计算的人脸识别方法及装置 | |
Khurana et al. | Effectiveness of morphological reconstruction operators in change detection for remote sensing images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |