CN114792398B - 图像分类的方法、存储介质、处理器及系统 - Google Patents

图像分类的方法、存储介质、处理器及系统 Download PDF

Info

Publication number
CN114792398B
CN114792398B CN202210714472.8A CN202210714472A CN114792398B CN 114792398 B CN114792398 B CN 114792398B CN 202210714472 A CN202210714472 A CN 202210714472A CN 114792398 B CN114792398 B CN 114792398B
Authority
CN
China
Prior art keywords
target
classification
neural network
training
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210714472.8A
Other languages
English (en)
Other versions
CN114792398A (zh
Inventor
袁建龙
王志斌
李�昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba China Co Ltd
Original Assignee
Alibaba China Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba China Co Ltd filed Critical Alibaba China Co Ltd
Priority to CN202210714472.8A priority Critical patent/CN114792398B/zh
Publication of CN114792398A publication Critical patent/CN114792398A/zh
Application granted granted Critical
Publication of CN114792398B publication Critical patent/CN114792398B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明公开了一种图像分类的方法和目标数据分类模型的构建方法。其中，该方法包括：获取待分类的目标图像数据；采用目标数据分类模型对所述目标图像数据进行分类处理，得到所述目标图像数据的分类结果，其中，所述目标数据分类模型是由度量学习函数对神经网络模型进行训练得到，所述度量学习函数是通过目标特征集来确定，所述目标特征集是通过对训练样本的初始特征集进行语义增强后得到的。本发明解决了相关技术中已有的领域泛化的神经网络模型，由于在进行领域泛化时很难考虑到类间方差，导致在对数据分类时的准确度比较低的技术问题。

Description

图像分类的方法、存储介质、处理器及系统
技术领域
本发明涉及数据处理技术领域，具体而言，涉及一种图像分类的方法、存储介质、处理器及系统。
背景技术
随着深度神经网络的快速发展，神经网络在许多基本任务的处理性能得到了显着提高。然而，领域转移问题，即训练数据集（源域）和测试（目标域）数据集遵循不同的分布，仍然具有挑战性。领域泛化（DG）旨在利用一个或多个不同但相关的源域来获得可推广到未知的目标域的神经网络模型。现有的DG方法一般都是采用交叉熵(CE)函数进行优化，但是交叉熵函数很难捕捉到类间方差，会导致神经网络模型的辨别能力比较差的。
针对上述的相关技术中已有的域泛化的神经网络模型，由于在进行域泛化时很难考虑到类间方差，导致在对数据分类时的准确度比较低的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种图像分类的方法、存储介质、处理器及系统，以至少解决相关技术中已有的领域泛化的神经网络模型，由于在进行领域泛化时很难考虑到类间方差，导致在对数据分类时的准确度比较低的技术问题。
根据本发明实施例的一个方面，提供了一种图像分类的方法，包括：获取待分类的目标图像数据；采用目标数据分类模型对所述目标图像数据进行分类处理，得到所述目标图像数据的分类结果，其中，所述目标数据分类模型是由度量学习函数对神经网络模型进行训练得到，所述度量学习函数是通过目标特征集来确定，所述目标特征集是通过对训练样本的初始特征集进行语义增强后得到的。
进一步地，采用目标数据分类模型对所述目标图像数据进行分类处理，得到所述目标图像数据的分类结果包括：通过所述目标数据分类模型对所述目标图像数据进行特征提取，得到目标特征向量；依据所述目标特征向量，计算得到所述目标图像数据属于每个类别标签的概率值；依据所述概率值，得到所述目标图像数据的分类结果。
进一步地，所述目标图像数据的分类结果中包括：多个对象，以及每个对象所属的类别，在采用目标数据分类模型对所述目标图像数据进行分类处理，得到所述目标图像数据的分类结果之后，所述方法还包括：将所述分类结果发送至客户端；接收所述客户端返回的对所述分类结果的调整信息，其中，所述调整信息用于将所述多个对象中的目标对象的所属类别调整为目标类别；依据所述分类结果的调整信息优化所述目标数据分类模型。
根据本发明实施例的一个方面，提供了一种图像分类的方法，包括：获取待分类的遥感图像数据；采用目标数据分类模型对所述遥感图像数据进行分类处理，得到所述遥感图像数据的分类结果，其中，所述目标数据分类模型是由度量学习函数对神经网络模型进行训练得到，所述度量学习函数是通过目标特征集来确定，所述目标特征集是通过对训练样本的初始特征集进行语义增强后得到的。
进一步地，在采用目标数据分类模型对所述遥感图像数据进行分类处理，得到所述遥感图像数据的分类结果之后，所述方法还包括：在目标界面展示所述遥感图像数据的分类结果，其中，所述分类结果用于表示所述遥感图像数据中是否包括水利区域；若所述分类结果指示所述遥感图像数据中不包括水利区域，且接收到调整指令，则对所述分类结果进行调整，以使所述分类结果表示所述遥感图像数据中包括水利区域；依据调整后的分类结果优化所述目标数据分类模型。
根据本发明实施例的一个方面，提供了一种图像分类的方法，包括：获取待分类的建筑物图像；采用目标数据分类模型对所述建筑物图像进行分类处理，得到所述建筑物图像的分类结果，其中，所述目标数据分类模型是由度量学习函数对神经网络模型进行训练得到，所述度量学习函数是通过目标特征集来确定，所述目标特征集是通过对训练样本的初始特征集进行语义增强后得到的。
进一步地，在采用目标数据分类模型对所述建筑物图像进行分类处理，得到所述建筑物图像的分类结果之后，所述方法还包括：获取预设时间段之前的建筑物图像的分类结果，得到初始分类结果；将所述建筑物图像的分类结果与所述初始分类结果进行比对，确定建筑物的变化信息。
根据本发明实施例的一个方面，提供了一种目标数据分类模型的构建方法，所述目标数据分类模型应用于上述的任意一项所述的图像分类的方法中，包括：获取多个训练样本，其中，所述多个训练样本至少包括：训练样本数据和所述多个训练样本数据对应的类别标签；对所述多个训练样本进行处理，得到所述度量学习函数，并将所述度量学习函数作为神经网络模型的损失函数；依据所述度量学习函数和所述多个训练样本对所述神经网络模型进行训练，得到所述目标数据分类模型。
进一步地，对所述多个训练样本进行处理，得到所述度量学习函数包括：对所述多个训练样本进行预处理，得到所述多个训练样本对应的目标特征集；依据所述目标特征集、所述神经网络模型的权重和所述神经网络模型的偏差进行计算，得到交叉熵函数的向量集；将所述向量集作为所述度量学习函数的输入特征，得到所述度量学习函数。
进一步地，对所述多个训练样本进行预处理，得到所述多个训练样本对应的目标特征集包括：对所述多个训练样本进行特征提取，得到初始特征集；对所述初始特征集中的每个特征向量进行语义增强，得到所述目标特征集。
进一步地，依据所述目标特征集、神经网络模型的权重和所述神经网络模型的偏差进行计算，得到交叉熵函数的向量集包括：依据所述目标特征集、所述神经网络模型的权重、所述神经网络模型的偏差和每个训练样本数据对应的类别标签，得到所述交叉熵函数；依据所述交叉熵函数，得到所述交叉熵函数的向量集。
根据本发明实施例的另一方面，提供了一种图像分类的装置，包括：第一获取单元，用于获取待分类的目标图像数据；第一处理单元，用于采用目标数据分类模型对所述目标图像数据进行分类处理，得到所述目标图像数据的分类结果，其中，所述目标数据分类模型是由度量学习函数对神经网络模型进行训练得到，所述度量学习函数是通过目标特征集来确定，所述目标特征集是通过对训练样本的初始特征集进行语义增强后得到的。
进一步地，所述第一处理单元包括：提取模块，用于通过所述目标数据分类模型对所述目标图像数据进行特征提取，得到目标特征向量；计算模块，用于依据所述目标特征向量，计算得到所述目标图像数据属于每个类别标签的概率值；确定模块，用于依据所述概率值，得到所述目标图像数据的分类结果。
进一步地，所述目标图像数据的分类结果中包括：多个对象，以及每个对象所属的类别，所述装置还包括：发送单元，用于在采用目标数据分类模型对所述目标图像数据进行分类处理，得到所述目标图像数据的分类结果之后，将所述分类结果发送至客户端；第一接收单元，用于接收所述客户端返回的对所述分类结果的调整信息，其中，所述调整信息用于将所述多个对象中的目标对象的所属类别调整为目标类别；第一优化单元，用于依据所述分类结果的调整信息优化所述目标数据分类模型。
根据本发明实施例的另一方面，提供了一种图像分类的装置，包括：第二获取单元，用于获取待分类的遥感图像数据；第二处理单元，用于采用目标数据分类模型对所述遥感图像数据进行分类处理，得到所述遥感图像数据的分类结果，其中，所述目标数据分类模型是由度量学习函数对神经网络模型进行训练得到，所述度量学习函数是通过目标特征集来确定，所述目标特征集是通过对训练样本的初始特征集进行语义增强后得到的。
进一步地，所述装置还包括：展示单元，用于在采用目标数据分类模型对所述遥感图像数据进行分类处理，得到所述遥感图像数据的分类结果之后，在目标界面展示所述遥感图像数据的分类结果，其中，所述分类结果用于表示所述遥感图像数据中是否包括水利区域；第二接收单元，用于若所述分类结果指示所述遥感图像数据中不包括水利区域，且接收到调整指令，则对所述分类结果进行调整，以使所述分类结果表示所述遥感图像数据中包括水利区域；第二优化单元，用于依据调整后的分类结果优化所述目标数据分类模型。
根据本发明实施例的另一方面，提供了一种图像分类的装置，包括：第三获取单元，用于获取待分类的建筑物图像；第三处理单元，用于采用目标数据分类模型对所述建筑物图像进行分类处理，得到所述建筑物图像的分类结果，其中，所述目标数据分类模型是由度量学习函数对神经网络模型进行训练得到，所述度量学习函数是通过目标特征集来确定，所述目标特征集是通过对训练样本的初始特征集进行语义增强后得到的。
进一步地，所述装置还包括：第四获取单元，用于在采用目标数据分类模型对所述建筑物图像进行分类处理，得到所述建筑物图像的分类结果之后，获取预设时间段之前的建筑物图像的分类结果，得到初始分类结果；对比单元，用于将所述建筑物图像的分类结果与所述初始分类结果进行比对，确定建筑物的变化信息。
根据本发明实施例的另一方面，提供了一种目标数据分类模型的构建装置，包括：第五获取单元，用于获取多个训练样本，其中，所述多个训练样本至少包括：训练样本数据和所述多个训练样本数据对应的类别标签；第四处理单元，用于对所述多个训练样本进行处理，得到所述度量学习函数，并将所述度量学习函数作为神经网络模型的损失函数；训练单元，用于依据所述度量学习函数和所述多个训练样本对所述神经网络模型进行训练，得到所述目标数据分类模型。
进一步地，所述第四处理单元包括：预处理模块，用于对所述多个训练样本进行预处理，得到所述多个训练样本对应的目标特征集；计算模块，用于依据所述目标特征集、所述神经网络模型的权重和所述神经网络模型的偏差进行计算，得到交叉熵函数的向量集；确定模块，用于将所述向量集作为所述度量学习函数的输入特征，得到所述度量学习函数。
进一步地，所述预处理模块包括：提取子模块，用于对所述多个训练样本进行特征提取，得到初始特征集；处理模块，用于对所述初始特征集中的每个特征向量进行语义增强，得到所述目标特征集。
进一步地，所述计算模块包括：计算子模块，用于依据所述目标特征集、所述神经网络模型的权重、所述神经网络模型的偏差和每个训练样本数据对应的类别标签，得到所述交叉熵函数；确定子模块，用于依据所述交叉熵函数，得到所述交叉熵函数的向量集。
根据本发明实施例的另一方面，还提供了一种计算机可读存储介质，所述存储介质存储程序，其中，在所述程序运行时控制所述存储介质所在设备执行上述任意一项所述的图像分类的方法。
根据本发明实施例的另一方面，还提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述任意一项所述的图像分类的方法。
根据本发明实施例的另一方面，还提供了一种图像分类的系统，包括：处理器；以及存储器，与所述处理器连接，用于为所述处理器提供处理以下处理步骤的指令：获取待分类的目标图像数据；采用目标数据分类模型对所述目标图像数据进行分类处理，得到所述目标图像数据的分类结果，其中，所述目标数据分类模型是由度量学习函数对神经网络模型进行训练得到，所述度量学习函数是通过目标特征集来确定，所述目标特征集是通过对训练样本的初始特征集进行语义增强后得到的。
在本发明实施例中，采用获取待分类的目标图像数据；采用目标数据分类模型对所述目标图像数据进行分类处理，得到所述目标图像数据的分类结果，其中，所述目标数据分类模型是由度量学习函数对神经网络模型进行训练得到，所述度量学习函数是通过目标特征集来确定，所述目标特征集是通过对训练样本的初始特征集进行语义增强后得到的，解决了相关技术中已有的领域泛化的神经网络模型，由于在进行领域泛化时很难考虑到类间方差，导致在对数据分类时的准确度比较低的技术问题。通过对训练样本的初始特征集进行语义增强后得到目标特征集，根据目标特征集确定度量学习函数，依据度量学习函数训练得到的目标数据分类模型，通过度量学习函数充分考虑了类内方差，所以能够对数据进行准确的分类，进而提升了目标数据分类模型的领域泛化性能，达到了提高数据分类时的准确性的效果。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例一提供的计算机终端的示意图；
图2是根据本发明实施例一提供的图像分类的方法的流程图；
图3是根据本发明实施例二提供的图像分类的方法的流程图；
图4是根据本发明实施例三提供的图像分类的方法的流程图；
图5是根据本发明实施例四提供的目标数据分类模型的构建方法的流程图；
图6是根据本发明实施例四提供的数据分布对比图；
图7是根据本发明实施例四提供的获取logits向量集的示意图；
图8是根据本发明实施例四提供的进行语义增强后的图像对比图；
图9是根据本发明实施例五提供的图像分类的装置的示意图；
图10是根据本发明实施例六提供的数据分类的装置的示意图；
图11是根据本发明实施例七提供的数据分类的装置的示意图；
图12是根据本发明实施例八提供的目标数据分类模型的构建装置的示意图；
图13是根据本申请实施例九提供的图像分类的系统的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
根据本发明实施例，还提供了一种图像分类的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本申请实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。图1示出了一种用于实现图像分类的方法的计算机终端（或移动设备）的硬件结构框图。如图1所示，计算机终端10（或移动设备10）可以包括处理器集合102（处理器集合102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置、以及处理器集合102可以包括一个或多个处理器，图1中采用102a，102b，……，102n来示出）、用于存储数据的存储器104、以及用于通信功能的传输装置。除此以外，还可以包括：显示器、输入/输出接口（I/O接口）、通用串行总线（USB）端口（可以作为BUS总线的端口中的一个端口被包括）、网络接口、电源和/或相机。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算机终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
应当注意到的是上述处理器集合102和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到计算机终端10（或移动设备）中的其他元件中的任意一个内。如本申请实施例中所涉及到的，该数据处理电路作为一种处理器控制（例如与接口连接的可变电阻终端路径的选择）。
存储器104可用于存储应用软件的软件程序以及模块，如本发明实施例中的图像分类的方法对应的程序指令/数据存储装置，处理器集合102通过运行存储在存储器104内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的应用程序的漏洞检测方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器集合102远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中，传输装置包括一个网络适配器（Network Interface Controller，NIC），其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置可以为射频（Radio Frequency，RF）模块，其用于通过无线方式与互联网进行通讯。
显示器可以例如触摸屏式的液晶显示器（LCD），该液晶显示器可使得用户能够与计算机终端10（或移动设备）的用户界面进行交互。
在上述运行环境下，本申请提供了如图2所示的图像分类的方法。图2是根据本发明实施例一的图像分类的方法的流程图。
步骤S201，获取待分类的目标图像数据。
步骤S202，采用目标数据分类模型对目标图像数据进行分类处理，得到目标图像数据的分类结果，其中，目标数据分类模型是由度量学习函数对神经网络模型进行训练得到，度量学习函数是通过目标特征集来确定，目标特征集是通过对训练样本的初始特征集进行语义增强后得到的。
具体地，通过目标数据分类模型实现对目标图像数据的准确分类。例如，三个基准数据集（Digits-DG，PACS和Office-Home）就可以作为上述的目标图像数据。Digits-DG数据集包括SVHN数据集和SYN数据集，上述数据集中的每张图片中包含一组0-9的阿拉伯数字，一共包含73257个数字。PACS数据集主要包括各类事物的图像，一共包括9991张图片。Office-Home数据集包含65种物体，包含有艺术图像（Artistic images），剪切画（ClipArt），产品图像和真实世界图像（Product images and Real-World images）等。
对于领域泛化是期望经过训练学习后的神经网络模型能够借助训练数据的知识准确识别未知的数据的内容。通俗的来说，假设正在训练一个神经网络模型，希望利用该神经网络模型识别出图像中是否有狗存在，现有一些狗的图片，每只狗属于不同的品种，并且这些图片中总共有10个品种。通过8个品种的狗的所有图像对神经网络模型进行训练，而剩下的2个品种的其余图像将用于测试神经网络模型是否能够准确识别。如果神经网络模型对8个品种的狗进行训练，并且拒绝将其他2个品种的狗归为狗，那么该神经网络模型就过度适合了训练数据，也就是它的领域泛化能力比较差。对神经网络模型进行领域泛化就是为解决上述的问题。
在一个可选的实施例中，对于Digits-DG数据集，选取多个图像数据集训练得到目标数据分类模型后，将未用于训练的图像输入目标数据分类模型中，目标数据分类模型能够准确识别出未用于训练的图像中包含的数字是什么。
在另一个可选的实施例中，对于PACS数据集，将未用训练的事物图像输入目标数据分类模型中，目标数据分类模型能够准确识别出未用于训练的图像中包含的事物是什么。
综上，通过度量学习函数训练得到的目标训练模型，具有更加优异的领域泛化能力，有效的提供了数据分类的准确性。
为得到目标数据的分类结果，采用目标数据分类模型对目标数据进行如下处理：通过目标数据分类模型对目标图像数据进行特征提取，得到目标特征向量；依据目标特征向量，计算得到目标图像数据属于每个类别标签的概率值；依据概率值，得到目标图像数据的分类结果。
具体地，首先对目标图像数据进行特征提取得到对应的目标特征向量，根据目标特征向量得到目标数据属于每个类别标签的概率值，然后概率最高的类别标签作为上述目标数据的分类结果。
目标数据分类模型是通过度量学习函数训练得到的，所以通过目标数据分类模型能够更加准确的对目标图像数据进行分类。
为了提高目标数据分类模型的准确性，在采用目标数据分类模型对目标图像数据进行分类处理，得到目标图像数据的分类结果之后，在得到目标图像数据的分类结果后，会依据分类结果对模型进行优化，具体步骤如下： 将分类结果发送至客户端；接收客户端返回的对分类结果的调整信息，其中，调整信息用于将多个对象中的目标对象的所属类别调整为目标类别；依据分类结果的调整信息优化目标数据分类模型。
在一可选的实施例中，通过目标数据分类模型对包含门牌号的图像进行分类（例如，图片中的门牌号为718），目标数据分类模型对包含门牌号的图像进行特征提取，得到门牌号对应的特征向量，根据门牌号对应的特征向量得到门牌号属于每个类别标签的概率值，然后概率最高的类别标签作为包含门牌号的图像的分类结果。例如，目标数据分类模型输出的分类结果为118，首先将分类结果发送给客户端，在客户端与准确的门牌号为718进行对比，发现第一位数据识别错误，那么在客户端将分类结果调整为718。然后根据调整的结果对目标数据分类模型进行优化，进一步地提高目标数据分类模型的准确性和领域泛化的性能。
综上，本发明实施例一提供的图像分类的方法中，通过获取待分类的目标图像数据；采用目标数据分类模型对目标图像数据进行分类处理，得到目标图像数据的分类结果，其中，目标数据分类模型是由度量学习函数对神经网络模型进行训练得到，度量学习函数是通过目标特征集来确定，目标特征集是通过对训练样本的初始特征集进行语义增强后得到的，解决了相关技术中已有的领域泛化的神经网络模型，由于在进行领域泛化时很难考虑到类间方差，导致在对数据分类时的准确度比较低的技术问题。通过对训练样本的初始特征集进行语义增强后得到目标特征集，根据目标特征集确定度量学习函数，依据度量学习函数训练得到的目标数据分类模型，通过度量学习函数充分考虑了类内方差，所以能够对数据进行准确的分类，进而提升了目标数据分类模型的领域泛化性能，达到了提高数据分类时的准确性的效果。
实施例2
根据本发明实施例，还提供了一种图像分类的方法的实施例。在该实施例中，通过目标数据分类模型对遥感图像数据进行分类，如图3所示，根据本发明实施例二的图像分类的方法的流程图。
步骤S301，获取待分类的遥感图像数据。
步骤S302，采用目标数据分类模型对遥感图像数据进行分类处理，得到遥感图像数据的分类结果，其中，目标数据分类模型是由度量学习函数对神经网络模型进行训练得到，度量学习函数是通过目标特征集来确定，目标特征集是通过对训练样本的初始特征集进行语义增强后得到的。
遥感能迅速及时地获取大量客观的地理信息，客观实时地反映出地表景观的实况。遥感已成为地理研究的重要信息来源，所以对遥感图像进行准确分类是至关重要的。
在一可选的实施例中，获取遥感图像数据，并将遥感图像数据输入到目标数据分类模型中，通过目标数据分类模型得到上述遥感图像数据的分类结果，例如，确定遥感图像数据中是否包含水利区域、是否包含发电站等。
通过目标数据分类模型能够准确得到遥感图像数据包含的数据信息对应的类别信息。
在采用目标数据分类模型对遥感图像数据进行分类处理，得到遥感图像数据的分类结果之后，采用以下步骤通过目标数据分类模型输出的分类结果和上述的遥感图像数据对应的标准结果对目标数据分类模型进行优化：在目标界面展示遥感图像数据的分类结果，其中，分类结果用于表示遥感图像数据中是否包括水利区域；若分类结果指示遥感图像数据中不包括水利区域，且接收到调整指令，则对分类结果进行调整，以使分类结果表示遥感图像数据中包括水利区域；依据调整后的分类结果优化目标数据分类模型。
在一可选的实施例中，通过目标数据分类模型确定遥感图像数据中是否包含水利区域，如果在遥感图像数据中是包含水利区域的，而目标数据分类模型输出的分类结果指示不包括水利区域，那么对分类结果进行修改，并通过修改后的分类结果对目标数据分类模型进行优化。如果在遥感图像数据中是不包含水利区域的，而目标数据分类模型输出的分类结果指示包含水利区域，那么对分类结果进行修改，并通过修改后的分类结果对目标数据分类模型进行优化，提高目标数据分类模型的性能。
需要说明的是，在本发明实施例二提供的图像分类的方法中，在对遥感图像数据进行分类识别时不限定只能通过目标数据分类模型确定是否存在水利区域，还可以通过目标数据分类模型确定遥感图像数据中其他对象的类别，例如，具体的各种气象信息、自然资源和生态环境信息以及农林业等等相关数据信息的类别，在本申请中不作限定。
综上，本发明实施例二提供的图像分类的方法中，通过获取待分类的遥感图像数据；采用目标数据分类模型对遥感图像数据进行分类处理，得到遥感图像数据的分类结果，其中，目标数据分类模型是由度量学习函数对神经网络模型进行训练得到，度量学习函数是通过目标特征集来确定，目标特征集是通过对训练样本的初始特征集进行语义增强后得到的，解决了相关技术中已有的领域泛化的神经网络模型，由于在进行领域泛化时很难考虑到类间方差，导致在对数据分类时的准确度比较低的技术问题。通过目标数据分类模型能够对遥感图像数据进行准确的分类，进而提升了目标数据分类模型的领域泛化性能，达到了提高数据分类时的准确性的效果。
实施例3
根据本发明实施例，还提供了一种图像分类的方法的实施例。在该实施例中，通过目标数据分类模型建筑物图像数据进行分类，如图4所示，根据本发明实施例三的图像分类的方法的流程图。
步骤S401，获取待分类的建筑物图像。
步骤S402，采用目标数据分类模型对建筑物图像进行分类处理，得到建筑物图像的分类结果，其中，目标数据分类模型是由度量学习函数对神经网络模型进行训练得到，度量学习函数是通过目标特征集来确定，目标特征集是通过对训练样本的初始特征集进行语义增强后得到的。
通过对建筑物图像进行分类，能够及时了解某一区域中的建筑物的变化情况或者某一区域现有的建筑物情况，通过这些情况可以对城市或者区域进行合理规划。
具体地，获取建筑物图像，并将建筑物图像输入到目标数据分类模型中，通过目标数据分类模型得到上述建筑物图像的分类结果，例如，确定建筑物图像中包含建筑物的数量等。
在采用目标数据分类模型对建筑物图像进行分类处理，得到建筑物图像的分类结果之后，该方法还包括：获取预设时间段之前的建筑物图像的分类结果，得到初始分类结果；将建筑物图像的分类结果与初始分类结果进行比对，确定建筑物的变化信息。
具体地，根据预设时段之前（例如，六个月前）的建筑物图像的分类结果与当前的分类结果进行对比，以确定建筑物的变化信息，通过变化信息有助于更合理的对建筑物进行规划。
综上，本发明实施例三提供的图像分类的方法中，通过获取待分类的建筑物图像；采用目标数据分类模型对建筑物图像进行分类处理，得到建筑物图像的分类结果，其中，目标数据分类模型是由度量学习函数对神经网络模型进行训练得到，度量学习函数是通过目标特征集来确定，目标特征集是通过对训练样本的初始特征集进行语义增强后得到的，解决了相关技术中已有的领域泛化的神经网络模型，由于在进行领域泛化时很难考虑到类间方差，导致在对数据分类时的准确度比较低的技术问题。通过目标数据分类模型能够对建筑物图形进行准确的分类，进而提升了目标数据分类模型的领域泛化性能，达到了提高数据分类时的准确性的效果。
实施例4
根据本发明实施例，还提供了目标数据分类模型的构建方法，目标数据分类模型应用于上述的图像分类的方法中。如图5所示，根据本发明实施例四的目标数据分类模型的构建方法的流程图。
步骤S501，获取多个训练样本，其中，多个训练样本至少包括：训练样本数据和多个训练样本数据对应的类别标签。
步骤S502，对多个训练样本进行处理，得到度量学习函数，并将度量学习函数作为神经网络模型的损失函数。
步骤S503，依据度量学习函数和多个训练样本对神经网络模型进行训练，得到目标数据分类模型。
具体地，获取多个训练样本，训练样本包括训练样本数据和训练样本数据对应的类别标签。例如，有K个源域
Figure DEST_PATH_IMAGE001
用做训练样本，每个数据集
Figure 413540DEST_PATH_IMAGE002
包含一组图像
Figure DEST_PATH_IMAGE003
类别标签集
Figure 799522DEST_PATH_IMAGE004
。通过上述的训练样本得到度量学习函数，利用度量学习函数对神经网络模型进行训练学习得到目标数据分类模型。
在一个可选的实施例中，可以在现有的已进行领域泛化的神经网络模型上加上述的度量学习函数进行训练得到目标数据分类模型。例如，现有的已进行领域泛化的神经网络模型的损失函数可以表示为：
Figure DEST_PATH_IMAGE005
，其中，
Figure 907155DEST_PATH_IMAGE006
为神经网络模型的参数。然后加上度量学习（DML）函数，那么相应的损失函数转换为以下形式：
Figure DEST_PATH_IMAGE007
，其中，α为预设数值，为大于0的数值。
通过多个训练样本进行处理，得到度量学习函数，然后通过度量学习函数对神经网路模型进行训练和学习，得到目标数据分类模型。
通过上述度量学习函数能够捕捉到类间方差，而类间方差更有助于对目标数据进行准确分类。
采用下述方式对训练样本进行处理，来得到度量学习函数：对多个训练样本进行处理，得到度量学习函数包括：对多个训练样本进行预处理，得到多个训练样本对应的目标特征集；依据目标特征集、神经网络模型的权重和神经网络模型的偏差进行计算，得到交叉熵函数的向量集；将向量集作为度量学习函数的输入特征，得到度量学习函数。
具体地，对训练样本进行预处理以得到目标特征集，然后利用上述的目标特征集以及神经网络模型的权重和神经网络模型的偏差进行计算，得到交叉熵函数的向量集，这里的向量集可以是logits向量集。然后将logits向量集作为度量学习函数的输入特征，从而得到度量学习函数。
度量（Metric）的定义：在数学中，一个度量（或距离函数）是一个定义集合中元素之间距离的函数。一个具有度量的集合被称为度量空间。度量学习也就是常说的相似度学习。距离测度学习的目的即为了衡量样本（或特征向量）之间的相近程度，而这也正是模式识别的核心问题之一。而具有深度特征的样本对之间的距离可以很好地近似为交叉熵函数的logits。所以将logits向量作为度量学习函数的输入特征，提高度量学习函数捕捉到类间方差的能力，进而提高对数据分类的准确性以及领域泛化的能力。
在一个可选的实施例中，交叉熵函数可以为以下形式：
Figure 36785DEST_PATH_IMAGE008
，
Figure DEST_PATH_IMAGE009
为神经网络模型的权重，
Figure 929786DEST_PATH_IMAGE010
为神经网络模型的偏差，C为训练样本的类别标签的个数，
Figure DEST_PATH_IMAGE011
为第
Figure 221090DEST_PATH_IMAGE012
个训练样本的特征向量；该交叉熵函数对应的logits可以表示为：
Figure DEST_PATH_IMAGE013
。Logits表征了不同类之间的相似度。
在一个可选的实施例中，通过以下公式证明logits向量集可以更加准确的界定样本对之间的距离，也就是说可以将logits向量集作为度量学习函数的输入特征：用
Figure 81599DEST_PATH_IMAGE011
和
Figure 546078DEST_PATH_IMAGE014
分别作为
Figure 418219DEST_PATH_IMAGE013
中的深度特征和由深度特征生成相似度向量，假设特征范围为
Figure 100002_DEST_PATH_IMAGE015
，c为预设数值，那么对应得到的公式为：
Figure 758721DEST_PATH_IMAGE016
，其中，𝑈∈𝑅d×𝑘表示特征向量矩阵的奇异值分解。为了简洁和方便，先省略了偏差项，然后给出了奇异值分解的定义：
Figure DEST_PATH_IMAGE017
，通过下述的柯西-施瓦兹不等式可以得到期望的结果：
Figure 981891DEST_PATH_IMAGE018
和
Figure DEST_PATH_IMAGE019
，需要注意的是，W表示神经网络模型的FC层以及代理所有不同类别。一个理想的神经网络模型具有正交类代理，例如，当wj具有标准单位时，𝑘=c和
Figure 984483DEST_PATH_IMAGE020
，因此，通过上述公式能够证明logits向量集可以更加准确的界定样本对之间的距离。
现有技术中度量学习函数可以表示为：
Figure DEST_PATH_IMAGE021
，其中，
Figure 101343DEST_PATH_IMAGE022
为度量学习函数的输入特征向量，
Figure DEST_PATH_IMAGE023
为预设不同类别标签之间的边距值，将
Figure 29DEST_PATH_IMAGE022
替换为logits向量集，得到如下所示的度量学习函数：
Figure 320283DEST_PATH_IMAGE024
。由于logits可以更加准确的界定样本对之间的距离，所以将logits作为度量学习函数的输入特征，能够有效提高目标数据分类模型的判别能力。
在现有技术中为了提高神经网络模型的领域泛化能力，会采用增强源域（即上述的多个训练样本）的多样性来实现。在本发明提供的训练神经网络模型时，同样会增强训练样本的多样性，采用以下方式实现增强训练样本的多样性：对多个训练样本进行预处理，得到多个训练样本对应的目标特征集包括：对多个训练样本进行特征提取，得到初始特征集；对初始特征集中的每个特征向量进行语义增强，得到目标特征集。
具体地，采用增强训练样本的多样性方式与现有技术不同，主要是通过在训练样本对应的特征层面进行无限次数的语义增强，得到增强后的目标特征集。对特征集中的每一特征向量进行语义增强，得到目标特征集。通过对特征集的语义增强，相当于对DML的进行隐式增强，可以使得训练后得到的目标数据分类模型能够更加便捷和快速的捕捉到类间方差。
例如，如图6所示，（a）表示采用交叉熵函数的数据分布，（b）表示采用度量学习函数的数据分布，虚线代表增强样本。通过图6可以明显看出，本发明实施例提供的目标数据分类模型可以更好的区分不同类别标签的特征信息。
在对训练样本的特征向量进行语义增强之后，对于logits向量集同样是语义增强后的logits向量集，采用以下方式得到logits向量集：依据目标特征集、神经网络模型的权重、神经网络模型的偏差和每个训练样本数据对应的类别标签，得到交叉熵函数；依据交叉熵函数，得到交叉熵函数的logits向量集。
具体地，首先根据语义增强后的目标特征值、神经网络模型的权重、神经网络模型的偏差以及每个训练样本数据对应的类别标签得到对应的交叉熵函数，然后通过分析交叉熵函数的结构得到对应的语义增强后的logits向量集。
在一个可选的实施例中，对初始特征集的每一个特征向量进行M次（M趋近于正无穷）的语义增强，得到目标特征值，通过多重增广，得到的交叉熵函数的形式为：
Figure DEST_PATH_IMAGE025
，
Figure 860986DEST_PATH_IMAGE026
为预设参数，
Figure DEST_PATH_IMAGE027
，那么对应的logits表示为
Figure 973298DEST_PATH_IMAGE028
，进而度量学习函数的形式为：
Figure 636361DEST_PATH_IMAGE024
。
通过将该logits作为DML的输入特征，进一步提高目标数据分类模型的判别能力。
在一可选的实施例中，如图7所示，为一可选的得到logits的整体框图，对目标源域的数据集进行特征提取，得到初始特征集，然后对初始特征集中的特征向量进行语义增强，得到目标特征集，然后利用目标特征集得到logits向量集，进而将logits向量集作为度量学习函数的输入特征。通过使用语义增强的logits来替换度量学习函数中的输入特征能够更好的提高神经网络模型的量化能力。
在一可选的实施例，针对Digits-DG数据集，将神经网络模型FACT作为基线，将本发明提出的目标数据分类模型和FACT结合，进行实验测试对Digits-DG数据集的辨别能力，实验结果如表1所示，在最难分辨的SVHN数据集和SYN数据集，目标数据分类模型分别以1.9%和2.2%领先于FACT。
表1. Digits-DG数据集的实验测试结果
Figure DEST_PATH_IMAGE029
在一可选的实施例，针对PACS数据集，将神经网络模型FACT作为基线，将本发明提出的目标数据分类模型和FACT结合，进行实验，测试对PACS数据集的辨别能力，实验结果如表2所示，可以看出在 ResNet-18 和 ResNet-50 上分别目标数据分类模型的辨别能力分别提升了 4.06% 和 3.83%。同时，在Photo数据集中的分辨能力也优于其它神经网络模型。以上的比较过程均展示了本发明提供的训练方法的有效性，进一步证明了目标数据分类模型不仅可以减低泛化误差，并且还简单和高效。
表2.PACS数据集的实验测试结果
Figure 834124DEST_PATH_IMAGE030
在一可选的实施例，将DG_via_ER，JiGe和EISNet神经网络模型作为基线（baseline）来进行对PACS数据集的测试，实验结果如表3所示，本发明提出的度量学习函数非常容易加入到其他的神经网络模型中，并能够提高相应的辨别能力。
表3.以不同神经网络为基线的实验测试结果
Figure DEST_PATH_IMAGE031
在一可选的实施例，为了证明通过本发明提供的方法能够得到有意义的语义增强样本，将语义增强后的特征向量再映射回图像中，得到语义变化的图像，如图8所示。第一列代表原始图像，其它列代表语义增强后的图像，可以明显看出通过本发明提供的方法能够改变图像的语义，例如，背景，视角，狗的动作和皮肤颜色等，这对于现有技术中的数据增强技术是完全不可能的。通过对增强训练样本的多样性，能够有效提高神经网络模型的领域泛化能力。
综上，通过对训练样本的初始特征集进行语义增强后得到目标特征集，根据目标特征集确定度量学习函数，依据度量学习函数训练得到的目标数据分类模型，通过度量学习函数充分考虑了类内方差，所以能够对数据进行准确的分类，进而提升了目标数据分类模型的领域泛化性能，达到了提高数据分类时的准确性的效果。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的图像分类的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如ROM/RAM、磁碟、光盘）中，包括若干指令用以使得一台终端设备（可以是手机，计算机，服务器，或者网络设备等）执行本发明各个实施例的方法。
实施例5
根据本发明实施例，还提供了一种用于实施例一的图像分类的方法的装置，如图9所示，该装置包括：
第一获取单元901，用于获取待分类的目标图像数据。
第一处理单元902，用于采用目标数据分类模型对目标图像数据进行分类处理，得到目标图像数据的分类结果，其中，目标数据分类模型是由度量学习函数对神经网络模型进行训练得到，度量学习函数是通过目标特征集来确定，目标特征集是通过对训练样本的初始特征集进行语义增强后得到的。
本发明实施例五提供的图像分类的装置中，通过第一获取单元901获取待分类的目标图像数据；第一处理单元902采用目标数据分类模型对目标图像数据进行分类处理，得到目标图像数据的分类结果，其中，目标数据分类模型是由度量学习函数对神经网络模型进行训练得到，度量学习函数是通过目标特征集来确定，目标特征集是通过对训练样本的初始特征集进行语义增强后得到的，解决了相关技术中已有的领域泛化的神经网络模型，由于在进行领域泛化时很难考虑到类间方差，导致在对数据分类时的准确度比较低的技术问题。通过度量学习函数训练得到的目标神经网络模型充分考虑到类内方差，所以能够对数据进行准确的分类，进一步提升了目标神经网络的领域泛化性能，达到了提高数据分类时的准确性。
可选地，在本发明实施例五提供的图像分类的装置中，第一处理单元902包括：提取模块，用于通过目标数据分类模型对目标图像数据进行特征提取，得到目标特征向量；计算模块，用于依据目标特征向量，计算得到目标图像数据属于每个类别标签的概率值；确定模块，用于依据概率值，得到目标图像数据的分类结果。
可选地，在本发明实施例五提供的图像分类的装置中，目标图像数据的分类结果中包括：多个对象，以及每个对象所属的类别，该装置还包括：发送单元，用于在采用目标数据分类模型对目标图像数据进行分类处理，得到目标图像数据的分类结果之后，将分类结果发送至客户端；第一接收单元，用于接收客户端返回的对分类结果的调整信息，其中，调整信息用于将多个对象中的目标对象的所属类别调整为目标类别；第一优化单元，用于依据分类结果的调整信息优化目标数据分类模型。
此处需要说明的是，上述第一获取单元901和第一处理单元902对应于实施例1中的步骤S201至步骤S201，两个单元与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述单元作为装置的一部分可以运行在实施例一提供的计算机终端10中。
实施例6
根据本发明实施例，还提供了一种用于实施例二的图像分类的方法的装置，如图10所示，该装置包括：第二获取单元1001和第二处理单元1002。
第二获取单元1001，用于获取待分类的遥感图像数据。
第二处理单元1002，用于采用目标数据分类模型对遥感图像数据进行分类处理，得到遥感图像数据的分类结果，其中，目标数据分类模型是由度量学习函数对神经网络模型进行训练得到，度量学习函数是通过目标特征集来确定，目标特征集是通过对训练样本的初始特征集进行语义增强后得到的。
可选地，在本发明实施例六提供的图像分类的装置中，该装置还包括：展示单元，用于在采用目标数据分类模型对遥感图像数据进行分类处理，得到遥感图像数据的分类结果之后，在目标界面展示遥感图像数据的分类结果，其中，分类结果用于表示遥感图像数据中是否包括水利区域；第二接收单元，用于若分类结果指示遥感图像数据中不包括水利区域，且接收到调整指令，则对分类结果进行调整，以使分类结果表示遥感图像数据中包括水利区域；第二优化单元，用于依据调整后的分类结果优化目标数据分类模型。
此处需要说明的是，上述第二获取单元1001和第二处理单元1002对应于实施例2中的步骤S301至步骤S302，两个单元与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例二所公开的内容。
实施例7
根据本发明实施例，还提供了一种用于实施例三的图像分类的方法的装置，如图11所示，该装置包括：第三获取单元1101和第三处理单元1102。
第三获取单元1101，用于获取待分类的建筑物图像。
第三处理单元1102，用于采用目标数据分类模型对建筑物图像进行分类处理，得到建筑物图像的分类结果，其中，目标数据分类模型是由度量学习函数对神经网络模型进行训练得到，度量学习函数是通过目标特征集来确定，目标特征集是通过对训练样本的初始特征集进行语义增强后得到的。
可选地，在本发明实施例七提供的图像分类的装置中，该装置还包括：第四获取单元，用于在采用目标数据分类模型对建筑物图像进行分类处理，得到建筑物图像的分类结果之后，获取预设时间段之前的建筑物图像的分类结果，得到初始分类结果；对比单元，用于将建筑物图像的分类结果与初始分类结果进行比对，确定建筑物的变化信息。
此处需要说明的是，上述第三获取单元1101和第三处理单元1102对应于实施例3中的步骤S401至步骤S402，两个单元与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例三所公开的内容。
实施例8
根据本发明实施例，还提供了一种用于实施例四的目标数据分类模型的构建方法的装置，如图12所示，该装置包括：第五获取单元1201、第四处理单元1202和训练单元1203。
第五获取单元1201，用于获取多个训练样本，其中，多个训练样本至少包括：训练样本数据和多个训练样本数据对应的类别标签。
第四处理单元1202，用于对多个训练样本进行处理，得到度量学习函数，并将度量学习函数作为神经网络模型的损失函数。
训练单元1203，用于依据度量学习函数和多个训练样本对神经网络模型进行训练，得到目标数据分类模型。
可选地，在本发明实施例八提供的目标数据分类模型的构建装置中，第四处理单元1202包括：预处理模块，用于对多个训练样本进行预处理，得到多个训练样本对应的目标特征集；计算模块，用于依据目标特征集、神经网络模型的权重和神经网络模型的偏差进行计算，得到交叉熵函数的向量集；确定模块，用于将向量集作为度量学习函数的输入特征，得到度量学习函数。
可选地，在本发明实施例八提供的目标数据分类模型的构建装置中，预处理模块包括：提取子模块，用于对多个训练样本进行特征提取，得到初始特征集；处理模块，用于对初始特征集中的每个特征向量进行语义增强，得到目标特征集。
可选地，在本发明实施例八提供的目标数据分类模型的构建装置中，计算模块包括：计算子模块，用于依据目标特征集、神经网络模型的权重、神经网络模型的偏差和每个训练样本数据对应的类别标签，得到交叉熵函数；确定子模块，用于依据交叉熵函数，得到交叉熵函数的向量集。
此处需要说明的是，上述第五获取单元1201、第四处理单元1202和训练单元1203对应于实施例4中的步骤S501至步骤S503，三个单元与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例四所公开的内容。
实施例9
本发明的实施例可以提供一种图像分类的系统，该系统包括：处理器；以及存储器，与处理器连接，用于为处理器提供处理以下处理步骤的指令：获取待分类的目标图像数据；采用目标数据分类模型对目标图像数据进行分类处理，得到目标图像数据的分类结果，其中，目标数据分类模型是由度量学习函数对神经网络模型进行训练得到，度量学习函数是通过目标特征集来确定，目标特征集是通过对训练样本的初始特征集进行语义增强后得到的。可选地，在本实施例中，上述图像分类的系统也可以替换为移动终端等终端设备。
上述的图像分类的系统还可以用来执行图像分类的方法中的以下步骤：通过目标数据分类模型对目标图像数据进行特征提取，得到目标特征向量；依据目标特征向量，计算得到目标图像数据属于每个类别标签的概率值；依据概率值，得到目标图像数据的分类结果。
上述的图像分类的系统还可以用来执行图像分类的方法中的以下步骤：目标图像数据的分类结果中包括：多个对象，以及每个对象所属的类别，在采用目标数据分类模型对目标图像数据进行分类处理，得到目标图像数据的分类结果之后，方法还包括：将分类结果发送至客户端；接收客户端返回的对分类结果的调整信息，其中，调整信息用于将多个对象中的目标对象的所属类别调整为目标类别；依据分类结果的调整信息优化目标数据分类模型。
上述的图像分类的系统还可以用来执行图像分类的方法中的以下步骤：获取待分类的遥感图像数据；采用目标数据分类模型对遥感图像数据进行分类处理，得到遥感图像数据的分类结果，其中，目标数据分类模型是由度量学习函数对神经网络模型进行训练得到，度量学习函数是通过目标特征集来确定，目标特征集是通过对训练样本的初始特征集进行语义增强后得到的。
上述的图像分类的系统还可以用来执行图像分类的方法中的以下步骤：在采用目标数据分类模型对遥感图像数据进行分类处理，得到遥感图像数据的分类结果之后，方法还包括：在目标界面展示遥感图像数据的分类结果，其中，分类结果用于表示遥感图像数据中是否包括水利区域；若分类结果指示遥感图像数据中不包括水利区域，且接收到调整指令，则对分类结果进行调整，以使分类结果表示遥感图像数据中包括水利区域；依据调整后的分类结果优化目标数据分类模型。
上述的图像分类的系统还可以用来执行图像分类的方法中的以下步骤：获取待分类的建筑物图像；采用目标数据分类模型对建筑物图像进行分类处理，得到建筑物图像的分类结果，其中，目标数据分类模型是由度量学习函数对神经网络模型进行训练得到，度量学习函数是通过目标特征集来确定，目标特征集是通过对训练样本的初始特征集进行语义增强后得到的。
上述的图像分类的系统还可以用来执行图像分类的方法中的以下步骤：在采用目标数据分类模型对建筑物图像进行分类处理，得到建筑物图像的分类结果之后，方法还包括：获取预设时间段之前的建筑物图像的分类结果，得到初始分类结果；将建筑物图像的分类结果与初始分类结果进行比对，确定建筑物的变化信息。
可选地，图13是根据本发明实施例的一种图像分类的系统的结构框图。如图13所示，该图像分类的系统可以包括：一个或多个（图13中仅示出一个）处理器、存储器。
其中，存储器可用于存储软件程序以及模块，如本发明实施例中的图像分类的方法和装置对应的程序指令/模块，处理器通过运行存储在存储器内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的图像分类的方法。存储器可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至图像分类的系统。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：获取待分类的目标图像数据；采用目标数据分类模型对目标图像数据进行分类处理，得到目标图像数据的分类结果，其中，目标数据分类模型是由度量学习函数对神经网络模型进行训练得到，度量学习函数是通过目标特征集来确定，目标特征集是通过对训练样本的初始特征集进行语义增强后得到的。
可选的，上述处理器还可以执行如下步骤的程序代码：采用目标数据分类模型对目标图像数据进行分类处理，得到目标图像数据的分类结果包括：通过目标数据分类模型对目标图像数据进行特征提取，得到目标特征向量；依据目标特征向量，计算得到目标图像数据属于每个类别标签的概率值；依据概率值，得到目标图像数据的分类结果。
可选的，上述处理器还可以执行如下步骤的程序代码：目标图像数据的分类结果中包括：多个对象，以及每个对象所属的类别，在采用目标数据分类模型对目标图像数据进行分类处理，得到目标图像数据的分类结果之后，方法还包括：将分类结果发送至客户端；接收客户端返回的对分类结果的调整信息，其中，调整信息用于将多个对象中的目标对象的所属类别调整为目标类别；依据分类结果的调整信息优化目标数据分类模型。
可选的，上述处理器还可以执行如下步骤的程序代码：获取待分类的遥感图像数据；采用目标数据分类模型对遥感图像数据进行分类处理，得到遥感图像数据的分类结果，其中，目标数据分类模型是由度量学习函数对神经网络模型进行训练得到，度量学习函数是通过目标特征集来确定，目标特征集是通过对训练样本的初始特征集进行语义增强后得到的。
可选的，上述处理器还可以执行如下步骤的程序代码：在采用目标数据分类模型对遥感图像数据进行分类处理，得到遥感图像数据的分类结果之后，方法还包括：在目标界面展示遥感图像数据的分类结果，其中，分类结果用于表示遥感图像数据中是否包括水利区域；若分类结果指示遥感图像数据中不包括水利区域，且接收到调整指令，则对分类结果进行调整，以使分类结果表示遥感图像数据中包括水利区域；依据调整后的分类结果优化目标数据分类模型。
可选的，上述处理器还可以执行如下步骤的程序代码：获取待分类的建筑物图像；采用目标数据分类模型对建筑物图像进行分类处理，得到建筑物图像的分类结果，其中，目标数据分类模型是由度量学习函数对神经网络模型进行训练得到，度量学习函数是通过目标特征集来确定，目标特征集是通过对训练样本的初始特征集进行语义增强后得到的。
可选的，上述处理器还可以执行如下步骤的程序代码：在采用目标数据分类模型对建筑物图像进行分类处理，得到建筑物图像的分类结果之后，方法还包括：获取预设时间段之前的建筑物图像的分类结果，得到初始分类结果；将建筑物图像的分类结果与初始分类结果进行比对，确定建筑物的变化信息。
采用本发明实施例，提供了一种图像分类的方法。通过目标神经网络模型对目标数据进行分类，从而达到了提高数据分类的准确性的目的，进而解决了相关技术中已有的领域泛化的神经网络模型，由于在进行领域泛化时很难考虑到类间方差，导致在对数据分类时的准确度比较低的技术问题。
本领域普通技术人员可以理解，图13所示的结构仅为示意，图像分类的系统也可以是智能手机（如Android手机、iOS手机等）、平板电脑、掌声电脑以及移动互联网设备（Mobile Internet Devices，MID）、PAD等终端设备。图13其并不对上述电子装置的结构造成限定。例如，图像分类的系统还可包括比图13中所示更多或者更少的组件（如网络接口、显示装置等），或者具有与图13所示不同的配置。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器（Read-Only Memory，ROM）、随机存取器（RandomAccess Memory，RAM）、磁盘或光盘等。
本发明的实施例还提供了一种计算机可读存储介质。可选地，在本实施例中，上述存储介质可以用于保存上述实施例一所提供的图像分类的方法所执行的程序代码。
可选地，在本实施例中，上述存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中，或者位于移动终端群中的任意一个移动终端中。
可选地，在本实施例中，上述存储介质被设置为存储用于执行以下步骤的程序代码：获取待分类的目标图像数据；采用目标数据分类模型对目标图像数据进行分类处理，得到目标图像数据的分类结果，其中，目标数据分类模型是由度量学习函数对神经网络模型进行训练得到，度量学习函数是通过目标特征集来确定，目标特征集是通过对训练样本的初始特征集进行语义增强后得到的。
上述存储介质还被设置为存储用于执行以下步骤的程序代码：采用目标数据分类模型对目标图像数据进行分类处理，得到目标图像数据的分类结果包括：通过目标数据分类模型对目标图像数据进行特征提取，得到目标特征向量；依据目标特征向量，计算得到目标图像数据属于每个类别标签的概率值；依据概率值，得到目标图像数据的分类结果。
上述存储介质还被设置为存储用于执行以下步骤的程序代码：目标图像数据的分类结果中包括：多个对象，以及每个对象所属的类别，在采用目标数据分类模型对目标图像数据进行分类处理，得到目标图像数据的分类结果之后，方法还包括：将分类结果发送至客户端；接收客户端返回的对分类结果的调整信息，其中，调整信息用于将多个对象中的目标对象的所属类别调整为目标类别；依据分类结果的调整信息优化目标数据分类模型。
上述存储介质还被设置为存储用于执行以下步骤的程序代码：获取待分类的遥感图像数据；采用目标数据分类模型对遥感图像数据进行分类处理，得到遥感图像数据的分类结果，其中，目标数据分类模型是由度量学习函数对神经网络模型进行训练得到，度量学习函数是通过目标特征集来确定，目标特征集是通过对训练样本的初始特征集进行语义增强后得到的。
上述存储介质还被设置为存储用于执行以下步骤的程序代码：在采用目标数据分类模型对遥感图像数据进行分类处理，得到遥感图像数据的分类结果之后，方法还包括：在目标界面展示遥感图像数据的分类结果，其中，分类结果用于表示遥感图像数据中是否包括水利区域；若分类结果指示遥感图像数据中不包括水利区域，且接收到调整指令，则对分类结果进行调整，以使分类结果表示遥感图像数据中包括水利区域；依据调整后的分类结果优化目标数据分类模型。
上述存储介质还被设置为存储用于执行以下步骤的程序代码：获取待分类的建筑物图像；采用目标数据分类模型对建筑物图像进行分类处理，得到建筑物图像的分类结果，其中，目标数据分类模型是由度量学习函数对神经网络模型进行训练得到，度量学习函数是通过目标特征集来确定，目标特征集是通过对训练样本的初始特征集进行语义增强后得到的。
上述存储介质还被设置为存储用于执行以下步骤的程序代码：在采用目标数据分类模型对建筑物图像进行分类处理，得到建筑物图像的分类结果之后，方法还包括：获取预设时间段之前的建筑物图像的分类结果，得到初始分类结果；将建筑物图像的分类结果与初始分类结果进行比对，确定建筑物的变化信息。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可为个人计算机、服务器或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1.一种图像分类的方法，其特征在于，包括：
获取待分类的建筑物图像；
采用目标数据分类模型对所述建筑物图像进行分类处理，得到所述建筑物图像的分类结果，其中，所述目标数据分类模型是由度量学习函数对神经网络模型进行训练得到，所述度量学习函数是通过目标特征集来确定，所述目标特征集是通过对训练样本的初始特征集进行语义增强后得到的；
其中，采用目标数据分类模型对所述建筑物图像进行分类处理，得到所述建筑物图像的分类结果，所述方法还包括：
获取预设时间段之前的建筑物图像的分类结果，得到初始分类结果；
将所述建筑物图像的分类结果与所述初始分类结果进行比对，确定建筑物的变化信息；
所述目标数据分类模型通过下述步骤训练得到：
获取多个训练样本，其中，所述多个训练样本至少包括：训练样本数据和多个训练样本数据对应的类别标签；
对所述多个训练样本进行处理，得到所述度量学习函数，并将所述度量学习函数作为神经网络模型的损失函数；
依据所述度量学习函数和所述多个训练样本对所述神经网络模型进行训练，得到所述目标数据分类模型；
所述度量学习函数的形式为：
Figure 901565DEST_PATH_IMAGE001
其中，
Figure 733123DEST_PATH_IMAGE002
为所述度量学习函数，
Figure 923933DEST_PATH_IMAGE003
，
Figure 351503DEST_PATH_IMAGE004
和
Figure 678580DEST_PATH_IMAGE005
是利用所述目标特征集得到的logits向 量集，
Figure 166193DEST_PATH_IMAGE006
为预设不同类别标签之间的边距值；
其中，所述logits向量集的形式为：
Figure 844299DEST_PATH_IMAGE007
，
Figure 75560DEST_PATH_IMAGE008
为所述神经网络模型的权重，
Figure 522722DEST_PATH_IMAGE009
为 所述神经网络模型的偏差，
Figure 666389DEST_PATH_IMAGE010
为第i个训练样本的特征向量，C为所述训练样本的类别标签的 个数，
Figure 831791DEST_PATH_IMAGE011
为预设参数，
Figure 601164DEST_PATH_IMAGE012
。
2.根据权利要求1所述的方法，其特征在于，对所述多个训练样本进行处理，得到所述度量学习函数包括：
对所述多个训练样本进行预处理，得到所述多个训练样本对应的目标特征集；
依据所述目标特征集、所述神经网络模型的权重和所述神经网络模型的偏差进行计算，得到交叉熵函数的向量集；
将所述向量集作为所述度量学习函数的输入特征，得到所述度量学习函数。
3.根据权利要求2所述的方法，其特征在于，对所述多个训练样本进行预处理，得到所述多个训练样本对应的目标特征集包括：
对所述多个训练样本进行特征提取，得到初始特征集；
对所述初始特征集中的每个特征向量进行语义增强，得到所述目标特征集。
4.根据权利要求2所述的方法，其特征在于，依据所述目标特征集、神经网络模型的权重和所述神经网络模型的偏差进行计算，得到交叉熵函数的向量集包括：
依据所述目标特征集、所述神经网络模型的权重、所述神经网络模型的偏差和每个训练样本数据对应的类别标签，得到所述交叉熵函数；
依据所述交叉熵函数，得到所述交叉熵函数的向量集；
其中，所述交叉熵函数的形式为：
Figure 168412DEST_PATH_IMAGE013
，
Figure 528986DEST_PATH_IMAGE014
为所述神经 网络模型的权重，
Figure 119367DEST_PATH_IMAGE009
为所述神经网络模型的偏差，
Figure 754748DEST_PATH_IMAGE010
为第i个训练样本的特征向量，C为所述 训练样本的类别标签的个数，
Figure 848606DEST_PATH_IMAGE011
为预设参数，
Figure 911240DEST_PATH_IMAGE012
，所述交叉熵函数的向量集为 logits向量集，所述logits向量集的形式为：
Figure 972606DEST_PATH_IMAGE007
。
5.一种计算机可读存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求1至4中的任意一项所述的图像分类的方法。
6.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至4中的任意一项所述的图像分类的方法。
7.一种图像分类的系统，其特征在于，包括：
处理器；以及
存储器，与所述处理器连接，用于为所述处理器提供处理以下处理步骤的指令：
获取待分类的建筑物图像；
采用目标数据分类模型对所述建筑物图像进行分类处理，得到所述建筑物图像的分类结果，其中，所述目标数据分类模型是由度量学习函数对神经网络模型进行训练得到，所述度量学习函数是通过目标特征集来确定，所述目标特征集是通过对训练样本的初始特征集进行语义增强后得到的；
其中，获取预设时间段之前的建筑物图像的分类结果，得到初始分类结果；
将所述建筑物图像的分类结果与所述初始分类结果进行比对，确定建筑物的变化信息；
所述目标数据分类模型通过下述步骤训练得到：
获取多个训练样本，其中，所述多个训练样本至少包括：训练样本数据和所述多个训练样本数据对应的类别标签；
对所述多个训练样本进行处理，得到所述度量学习函数，并将所述度量学习函数作为神经网络模型的损失函数；
依据所述度量学习函数和所述多个训练样本对所述神经网络模型进行训练，得到所述目标数据分类模型；
所述度量学习函数的形式为：
Figure 411677DEST_PATH_IMAGE001
其中，
Figure 625621DEST_PATH_IMAGE002
为所述度量学习函数，
Figure DEST_PATH_IMAGE015
，
Figure 327998DEST_PATH_IMAGE016
和
Figure 627392DEST_PATH_IMAGE005
所述训练样本对应的logits向量集，
Figure 338996DEST_PATH_IMAGE006
为 预设不同类别标签之间的边距值；
其中，所述logits向量集的形式为：
Figure 469763DEST_PATH_IMAGE007
，
Figure 562615DEST_PATH_IMAGE008
为所述神经网络模型的权重，
Figure 411623DEST_PATH_IMAGE009
为 所述神经网络模型的偏差，
Figure 864601DEST_PATH_IMAGE010
为第i个训练样本的特征向量，C为所述训练样本的类别标签的 个数，
Figure 115453DEST_PATH_IMAGE011
为预设参数，
Figure 628474DEST_PATH_IMAGE012
。
CN202210714472.8A 2022-06-23 2022-06-23 图像分类的方法、存储介质、处理器及系统 Active CN114792398B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210714472.8A CN114792398B (zh) 2022-06-23 2022-06-23 图像分类的方法、存储介质、处理器及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210714472.8A CN114792398B (zh) 2022-06-23 2022-06-23 图像分类的方法、存储介质、处理器及系统

Publications (2)

Publication Number Publication Date
CN114792398A CN114792398A (zh) 2022-07-26
CN114792398B true CN114792398B (zh) 2022-09-27

Family

ID=82463115

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210714472.8A Active CN114792398B (zh) 2022-06-23 2022-06-23 图像分类的方法、存储介质、处理器及系统

Country Status (1)

Country Link
CN (1) CN114792398B (zh)

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109784424B (zh) * 2019-03-26 2021-02-09 腾讯科技（深圳）有限公司 一种图像分类模型训练的方法、图像处理的方法及装置
CN110472483B (zh) * 2019-07-02 2022-11-15 五邑大学 一种面向sar图像的小样本语义特征增强的方法及装置
CN110472665A (zh) * 2019-07-17 2019-11-19 新华三大数据技术有限公司 模型训练方法、文本分类方法及相关装置
WO2021098585A1 (en) * 2019-11-22 2021-05-27 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image search based on combined local and global information
CN111323768B (zh) * 2020-02-26 2023-12-12 北京佳格天地科技有限公司 建筑物变化的识别方法、装置、终端及存储介质
CN111553399A (zh) * 2020-04-21 2020-08-18 佳都新太科技股份有限公司 特征模型训练方法、装置、设备及存储介质
CN111582409B (zh) * 2020-06-29 2023-12-26 腾讯科技（深圳）有限公司 图像标签分类网络的训练方法、图像标签分类方法及设备
EP3944138A1 (en) * 2020-07-24 2022-01-26 Sony Semiconductor Solutions Corporation Method and apparatus for image recognition
CN112347888B (zh) * 2020-10-29 2023-08-08 河海大学 基于双向特征迭代融合的遥感图像场景分类方法
CN113537322B (zh) * 2021-07-02 2023-04-18 电子科技大学 一种跨模态语义增强生成对抗网络的零样本视觉分类方法
CN113889228A (zh) * 2021-09-22 2022-01-04 武汉理工大学 基于混合注意的语义增强哈希医学图像检索方法
CN114332538A (zh) * 2021-12-30 2022-04-12 中国农业银行股份有限公司 图像分类模型训练方法、图像分类方法、设备及存储介质

Also Published As

Publication number Publication date
CN114792398A (zh) 2022-07-26

Similar Documents

Publication Publication Date Title
KR102260553B1 (ko) 메타 데이터 기반의 관련 문제 추천 방법
WO2019100724A1 (zh) 训练多标签分类模型的方法和装置
WO2019100723A1 (zh) 训练多标签分类模型的方法和装置
CN110210513B (zh) 数据分类方法、装置及终端设备
US20230119593A1 (en) Method and apparatus for training facial feature extraction model, method and apparatus for extracting facial features, device, and storage medium
CN110765882B (zh) 一种视频标签确定方法、装置、服务器及存储介质
CN113255915B (zh) 基于结构化实例图的知识蒸馏方法、装置、设备和介质
CN112200062A (zh) 一种基于神经网络的目标检测方法、装置、机器可读介质及设备
Lizarazo SVM‐based segmentation and classification of remotely sensed data
CN110414581B (zh) 图片检测方法和装置、存储介质及电子装置
CN113157863A (zh) 问答数据处理方法、装置、计算机设备及存储介质
CN110866469A (zh) 一种人脸五官识别方法、装置、设备及介质
Cattelan et al. Empirical and simulated adjustments of composite likelihood ratio statistics
Sun et al. Soft urban water cover extraction using mixed training samples and support vector machines
CN113191478A (zh) 神经网络模型的训练方法、装置和系统
CN113657087B (zh) 信息的匹配方法及装置
Zheng et al. Stripe segmentation of oceanic internal waves in SAR images based on SegNet
CN114792398B (zh) 图像分类的方法、存储介质、处理器及系统
CN116168274A (zh) 对象检测方法以及对象检测模型训练方法
Zhang et al. Wild plant data collection system based on distributed location
CN113239879B (zh) 联邦模型训练、证件检测方法、装置、设备及介质
CN111966851B (zh) 基于少量样本的图像识别方法和系统
CN112580739B (zh) 一种训练样本集的确定方法和装置
CN110705572B (zh) 一种图像识别方法
CN113569081A (zh) 图像识别方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant