CN112906730B - 一种信息处理方法、装置及计算机可读存储介质 - Google Patents
一种信息处理方法、装置及计算机可读存储介质 Download PDFInfo
- Publication number
- CN112906730B CN112906730B CN202010879728.1A CN202010879728A CN112906730B CN 112906730 B CN112906730 B CN 112906730B CN 202010879728 A CN202010879728 A CN 202010879728A CN 112906730 B CN112906730 B CN 112906730B
- Authority
- CN
- China
- Prior art keywords
- neural network
- network model
- image
- training
- trained
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 65
- 238000003672 processing method Methods 0.000 title claims abstract description 36
- 238000003062 neural network model Methods 0.000 claims abstract description 295
- 238000012549 training Methods 0.000 claims abstract description 136
- 230000006870 function Effects 0.000 claims description 55
- 238000012545 processing Methods 0.000 claims description 34
- 238000011176 pooling Methods 0.000 claims description 26
- 238000001514 detection method Methods 0.000 claims description 19
- 238000000605 extraction Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 238000003064 k means clustering Methods 0.000 claims description 5
- 238000000034 method Methods 0.000 description 26
- 238000005516 engineering process Methods 0.000 description 19
- 238000013473 artificial intelligence Methods 0.000 description 10
- 239000000284 extract Substances 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000010606 normalization Methods 0.000 description 3
- 238000012015 optical character recognition Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 235000013305 food Nutrition 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
Abstract
本申请实施例公开了一种信息处理方法、装置及计算机可读存储介质，通过将训练图像、携带的对象标签以及概括标签分别输入第一神经网络模型和第二神经网络模型中进行训练；获取第一神经网络模型和第二神经网络模型的预测信息之间的相对熵；根据相对熵对第一神经网络模型和第二神经网络模型的网络参数进行调节，得到训练后的第一神经网络模型和第二神经网络模型；接收待识别图像，通过训练后的第一神经网络模型提取待识别图像的特征信息进行图像匹配。以此，通过对象标签和图像特征相似的图像之间的概括标签结合训练图像对双模型进行多标签训练，根据相对熵对双模型的网络参数进行互相学习调节，提升训练后的模型识别准确度，提升信息处理的准确率。
Description
技术领域
本申请涉及通信技术领域，具体涉及一种信息处理方法、装置及计算机可读存储介质。
背景技术
随着计算机视觉技术的发展，图像处理技术可以应用在更广阔的范围。例如，用户需要查找图像中的某个物品时，可以拍摄并上传包含该物品的图像，后台可以对该图像进行分类，以确定该物品所属类目，然后展示该类目下的相似物品。
现有技术中，常见的图像分类方式是采用机器学习的方式对输入图像进行特征提取，然后通过分类器获取预测结果，确定输入图像对应的对象类型，也即学习到识别出输入图像包括的对象所述的对象类型的能力。
在对现有技术的研究和实践过程中，本申请的发明人发现，现有技术中，由于用户拍摄质量的不稳定性，往往会导致预测结果的准确性较低。
发明内容
本申请实施例提供一种信息处理方法、装置及计算机可读存储介质，可以信息处理的准确率。
为解决上述技术问题，本申请实施例提供以下技术方案：
一种信息处理方法，包括：
将训练图像、携带的对象标签以及概括标签分别输入第一神经网络模型和第二神经网络模型中进行训练，所述概括标签用于标定图像特征相似度大于预设阈值的训练图像；
获取所述第一神经网络模型和第二神经网络模型的预测信息之间的相对熵；
根据所述相对熵对所述第一神经网络模型和第二神经网络模型的网络参数进行调节，得到训练后的第一神经网络模型和第二神经网络模型；
接收待识别图像，通过训练后的第一神经网络模型提取所述待识别图像的特征信息进行图像匹配。
一种信息处理装置，包括：
训练单元，用于将训练图像、携带的对象标签以及概括标签分别输入第一神经网络模型和第二神经网络模型中进行训练，所述概括标签用于标定图像特征相似度大于预设阈值的训练图像；
获取单元，用于获取所述第一神经网络模型和第二神经网络模型的预测信息之间的相对熵；
调节单元，用于根据所述相对熵对所述第一神经网络模型和第二神经网络模型的网络参数进行调节，得到训练后的第一神经网络模型和第二神经网络模型；
匹配单元，用于接收待识别图像，通过训练后的第一神经网络模型提取所述待识别图像的特征信息进行图像匹配。
在一些实施例中，所述调节单元，用于：
将所述KL散度损失函数结合第一神经网络模型的初始损失函数进行联合训练，得到训练后的第一神经网络模型；
将所述KL散度损失函数结合第二神经网络模型的初始损失函数进行联合训练，得到训练后的第二神经网络模型。
在一些实施例中，所述匹配单元，包括：
识别子单元，用于接收预测图像，通过目标检测网络识别出所述预测图像中的待识别物体；
生成子单元，用于截取所述待识别物体，生成待识别图像；
匹配子单元，用于将所述待识别图像输入训练后的第一神经网络模型，提取全局池化之后的特征信息进行图像匹配。
在一些实施例中，所述匹配子单元，用于：
提取全局池化之后的预设维度的特征信息；
确定所述特征信息所属的多个类目；
获取与所述特征信息的相似度由高至低排序的每一类目下预设数量的目标图像；
将每一类目下预设数量的目标图像分别输入训练后的第一神经网络模型，提取每一类目下预设数量的目标图像全局池化之后预设维度的特征信息；
计算同一类目下每一目标图像的特征信息与待识别图像的特征信息之间的距离信息的求和值；
将求和值最小的类目确定为目标类目，获取所述目标类目下距离信息最小的目标图像作为图像匹配结果。
一种计算机设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现本申请实施例提供的任一种信息处理方法中的步骤。
一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本申请实施例提供的任一种信息处理方法中的步骤。
一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行本申请实施例提供的任一种信息处理方法中的步骤。
本申请实施例通过将训练图像、携带的对象标签以及概括标签分别输入第一神经网络模型和第二神经网络模型中进行训练；获取第一神经网络模型和第二神经网络模型的预测信息之间的相对熵；根据相对熵对第一神经网络模型和第二神经网络模型的网络参数进行调节，得到训练后的第一神经网络模型和第二神经网络模型；接收待识别图像，通过训练后的第一神经网络模型提取待识别图像的特征信息进行图像匹配。以此，通过对象标签和图像特征相似的图像之间的概括标签结合训练图像对双模型进行多标签训练，根据相对熵对双模型的网络参数进行互相学习调节，提升训练后的模型识别准确度，提升信息处理的准确率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的信息处理系统的场景示意图；
图2是本申请实施例提供的信息处理方法的流程示意图；
图3是本申请实施例提供的信息处理方法的另一流程示意图；
图4为本申请实施例提供的目标检测网络的结构示意图；
图5为本申请实施例提供的信息处理方法的场景示意图；
图6是本申请实施例提供的信息处理装置的结构示意图；
图7是本申请实施例提供的服务器的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例提供一种信息处理方法、装置、及计算机可读存储介质。
请参阅图1，图1为本申请实施例所提供的信息处理系统的场景示意图，包括：终端A、和服务器(该信息处理系统还可以包括除终端A之外的其他终端，终端具体个数在此处不作限定)，终端A与服务器之间可以通过通信网络连接，该通信网络，可以包括无线网络以及有线网络，其中无线网络包括无线广域网、无线局域网、无线城域网、以及无线个人网中的一种或多种的组合。网络中包括路由器、网关等等网络实体，图中并未示意出。终端A可以通过通信网络与服务器进行信息交互，比如终端A可以将需要进行图像匹配的待识别图像发送至服务器中。
该信息处理系统可以包括信息处理装置，该信息处理装置具体可以集成在服务器中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。如图1所示，该服务器将训练图像、携带的对象标签以及概括标签分别输入第一神经网络模型和第二神经网络模型中进行训练，该概括标签用于标定图像特征相似度大于预设阈值的训练图像；获取该第一神经网络模型和第二神经网络模型的预测信息之间的相对熵；根据该相对熵对该第一神经网络模型和第二神经网络模型的网络参数进行调节，得到训练后的第一神经网络模型和第二神经网络模型；接收终端A发送的待识别图像，通过训练后的第一神经网络模型提取该待识别图像的特征信息进行图像匹配。
该信息处理系统中终端A可以安装各种用户需要的应用，比如即时通讯应用、媒体应用以及浏览器应用等，终端A可以基于即使通讯应用将待识别图像发送至服务器中进行图像匹配，在后台中检索出同款的图像或者最相似的图像，生成图像匹配结果返回至终端A。
需要说明的是，图1所示的信息处理系统的场景示意图仅仅是一个示例，本申请实施例描述的信息处理系统以及场景是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着信息处理系统的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。
以下分别进行详细说明。需说明的是，以下实施例的序号不作为对实施例优选顺序的限定。
在本实施例中，将从信息处理装置的角度进行描述，该信息处理装置具体可以集成在具备储存单元并安装有微处理器而具有运算能力的计算机设备中，计算机设备可以是服务器或者终端，在本实施例中以计算机设备是服务器为例进行说明。
请参阅图2，图2是本申请实施例提供的信息处理方法的流程示意图。该信息处理方法包括：
在步骤101中，将训练图像、携带的对象标签以及概括标签分别输入第一神经网络模型和第二神经网络模型中进行训练。
人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术(Computer Vision，CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟进和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括信息处理、图像识别、图像语义理解、图像检索、光学字符识别(Optical Character Recognition，OCR)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
本申请实施例提供的方案涉及人工智能的计算机视觉技术等技术，具体通过如下实施例进行说明：
其中，该训练图像可以为大量的图像组成，该图像的格式可以为多文种平面(BitMaP，BMP)格式或者图像互换格式(Graphics Interchange Forma，GIF)等等。
需要说明的是，现有技术中，以图搜图的技术一般为通过训练卷积神经网络，对每个图像都提取可以代表此图像的图像特征，例如，1024维的向量信息，通过比对需要进行搜索的图像的图像特征和后台库的样本图的图像特征，返回余弦距离最近的样本图，可以实现以图搜图的功能。
本申请实施例中，该对象标签为训练图像的描述信息，例如该对象标签可以为训练图像的商品货号(sku)，由于在现有技术中，只使用单对象标签对于卷积神经网络进行训练，会导致训练后的卷积神经网络模型只能进行简单的对比，无法考量同一类目下的相似度加成，在实际使用过程中，后台库存储的样本图可以根据使用功能分为多个类目，例如可以分为11个类目(鞋子/箱包/美妆/服装/家电/玩具/图书/食品/珠宝/家具/其他)，每一类目均包括对应的样本图，相同类目下的图像之间的相似度明显要高于不同类目下图像之间的相似度。以此，本申请实施例引入概括标签，该概括标签用于标定同一类目下图像相似度大于预设阈值的训练图像，例如，在鞋子类目下，可以将男运动鞋的图像和女运动鞋的图像同时标定为运动鞋。
本申请实施例应用了多标签分类技术，即训练图像可以携带一个或者两个标签，该第一神经网络模型可以为网络层数较深且网络通道较窄的神经网络，例如ResNe152网络，可以实现对图像细节更准确的识别，该第二神经网络面模型可以为网络层数较浅且网络通道较宽的神经网络，例如Inception v4网络，可以实现更强的特征提取能力，模型的抽象能力更强。
进一步的，将训练图像、携带的对象标签以及概括标签分别输入第一神经网络模型和第二神经网络模型中进行训练，由于在对象标签的基础上还引入了概括标签，可以使得学习后的第一神经网络模型和第二神经网络模型不仅可以学习到如何识别训练图像的对象类型的能力，还可以加强同一类目下的相似图像之间的特征关联性。
在一些实施方式中，该将训练图像、携带的对象标签以及概括标签分别输入第一神经网络模型和第二神经网络模型中进行训练的步骤，可以包括：
(1)对该训练图像进行饱和度、对比度、亮度和/或旋转调节处理；
(2)将调节处理后的训练图像、携带的对象标签以及概括标签分别输入第一神经网络模型和第二神经网络模型中进行训练。
其中，可以对训练图像进行随机程度的饱和度、对比度、亮度、旋转和/或镜像调节处理，增强训练集的多样性，将该调节处理后的训练图像、携带的对象标签以及概括标签分别输入第一神经网络模型和第二神经网络模型中进行训练，可以增强神经网络模型的鲁棒性。
在步骤102中，获取第一神经网络模型和第二神经网络模型的预测信息之间的相对熵。
其中，该相对熵(relative entropy)，又被称为Kullback-Leibler散度，用于比较两个概率分布的接近程度，由于该第一神经网络模型和第二神经网络模型的网络结构不一致，对于特征提取的优点各不相同，本申请实施例可以汲取第一神经网络模型和第二神经网络的优势，即获取第一神经网络模型和第二神经网络模型对于同一训练图像的预测信息之间形成的相对熵，该相对熵越低，说明第一神经网络模型和第二神经网络模型的预测信息越接近，该相对熵越高，后续可以通过该相对熵对第一神经网络模型和第二神经网络模型的网络参数进行调优。
在一些实施方式中，该获取第一神经网络模型和第二神经网络模型的预测信息之间的相对熵的步骤，可以包括：通过相对熵计算公式计算该第一神经网络模型和第二神经网络模型的预测信息之间的相对熵，并构建该相对熵对应的KL散度损失函数。
其中，可以通过KL散度计算公式计算第一神经网络模型输出的预测信息和第二神经网络模型输出的预测信息之间的相对熵。进而可以构造相对熵对应的KL散度损失函数，该KL散度损失函数可以实现后续不断调整网络模型参数，不断降低相对熵的大小，直至相对熵收敛。
在步骤103中，根据相对熵对第一神经网络模型和第二神经网络模型的网络参数进行调节，得到训练后的第一神经网络模型和第二神经网络模型。
其中，为了使得第一神经网络模型和第二神经网络模型的学习对方模型对于特征提取的优点，可以根据相对熵反向传导对第一神经网络模型和第二神经网络模型的网络参数进行调节，实现将第一神经网络模型对于特征提取的优点传导至第二神经网络模型，同理，将第二神经网络模型对于特征提取的优点传导至第一神经网络模型。
进一步的，可以继续获取网络参数调节后的第一神经网络模型和第二神经网络模型对于同一训练图像的预测信息之间形成的相对熵，由于之前进行网络参数调节，第一神经网络模型和第二神经网络模型之间互相进行特征提取学习，该相对熵会变小，以此，通过不断的互相学习，该相对熵会越来越小，直至收敛，即实现第一神经网络模型和第二神经网络模型的互相学习，得到训练后的第一神经网络模型和第二神经网络模型，使得训练后的第一神经网络模型不仅对图像细节处理更准确，而且由于学习了第二神经网络模型的优点，还具有更好的特征提取能力，模型的抽象能力也得到一定的提升没，并且因为通过双标签训练，该第一神经网络模型在可以识别图像的对象基础上，还可以更好的确定同一类目下的相似图像之间特征关联性。
在一些实施方式中，该根据相对熵对第一神经网络模型和第二神经网络模型的网络参数进行调节，得到训练后的第一神经网络模型和第二神经网络模型的步骤，可以包括：
(1)将该KL散度损失函数结合第一神经网络模型的初始损失函数进行联合训练，得到训练后的第一神经网络模型；
(2)将该KL散度损失函数结合第二神经网络模型的初始损失函数进行联合训练，得到训练后的第二神经网络模型。
其中，将该KL散度损失函数结合在第一神经网络模型的初始损失函数进行联合训练，使得第一神经网络模型的初始损失函数可以结合KL散度损失函数进行联合训练，即该第一神经网络模型在正常训练状态下还能不断学习第二神经网络的优点，直至该初始损失函数和KL散度损失函数同时收敛，得到训练后的第一神经网络。
进一步的，将该KL散度损失函数结合在第二神经网络模型的初始损失函数进行联合训练，使得第二神经网络模型的初始损失函数可以结合KL散度损失函数进行联合训练，即该第二神经网络模型在正常训练状态下还能不断学习第一神经网络的优点，直至该初始损失函数和KL散度损失函数同时收敛，得到训练后的第二神经网络。
在步骤104中，接收待识别图像，通过训练后的第一神经网络模型提取待识别图像的特征信息进行图像匹配。
其中，在第一神经网络模型和第二神经网络模型训练完毕之后，可以接收用户上传的预测图像，该预测图像可以包含待识别物体，可以截取该待识别物体生成待识别图像。
在现有技术中，以图搜图只是展示这些类目中最相似的类目，如果展示的样本图的类目与用户拍摄的待识别图像的类目不同，那么检索出来的图像肯定不准确，影响用户的体验。
为了解决上述技术问题，本申请实施例通过双标签训练后的第一神经网络模型可以提取该待识别图像的特征信息，该特征信息与现有技术不同的是，由于引入概括标签的训练，可以更好区分同一类目下的目标图像，避免出现类目选择错误导致图像匹配失败的情况。
以此，本申请实施例可以确定通过双标签训练后的第一神经网络模型提取的待识别图像的特征信息可能所属的多个类目，并在所属的每一类目下获取最相似的前20个目标图像，并同样通过双标签训练后的第一神经网络模型提取每一目标图像的特征信息，依次计算待识别图像的特征信息与每一目标图像的特征信息的距离信息，该距离信息可以为欧式距离或者余弦距离，由于引入概括标签进行训练，训练后的第一神经网络模型提取的特征信息对于同一类目下的相似图像之间的相似度会更大，所以可以将每一类目下获取最相似的前20个目标图像与待识别图像之间的欧式距离进行求和，得到每一类目对应欧式距离的求和值，该求和值越小，说明待识别图像与该类目中的20个目标图像的相似度越接近。该求和值越大，说明待识别图像与该类目中的20个目标图像的相似度越不接近，将求和值最小的类目确定为目标类目，并将该目标类目下距离信息最小的目标图像作为待识别图像对应的图像匹配结果，以此，提升了待识别图像识别对应的目标类目识别的准确性，进而提升了图像匹配结果的准确性。
在一些实施方式中，该接收待识别图像，通过训练后的第一神经网络模型提取待识别图像的特征信息进行图像匹配的步骤，可以包括：
(1)接收预测图像，通过目标检测网络识别出该预测图像中的待识别物体；
(2)截取该待识别物体，生成待识别图像；
(3)将该待识别图像输入训练后的第一神经网络模型，提取全局池化之后的特征信息进行图像匹配。
其中，接收预测图像，该预测图像可以为用户上传的包含待识别物体的图像，通过目标检测网络识别出该预测图像中的待识别物体，对该待识别物体进行抠图操作，截取待识别物体部分，生成待识别图像。
进一步的，将该待识别图像输入训练后的第一神经网络模型，提取全局池化之后的特征信息，根据该特征信息从后台库中的每一类目下最相似的前多个图像，通过训练后的第一神经网络模型计算每一类目中前多个图像的特征信息，计算每一类目中前多个图像的特征信息与待识别图像的特征信息之间的欧式距离求和值，将欧式距离求和值最低的类目确定为匹配的类目，并将该匹配类目中欧式距离最小的图像确定为匹配图像进行显示。
在一些实施方式中，该提取全局池化之后的特征信息进行图像匹配的步骤，可以包括：
(1.1)提取全局池化之后的预设维度的特征信息；
(1.2)确定该特征信息所属的多个类目；
(1.3)获取与该特征信息的相似度由高至低排序的每一类目下预设数量的目标图像；
(1.4)将每一类目下预设数量的目标图像分别输入训练后的第一神经网络模型，提取每一类目下预设数量的目标图像全局池化之后预设维度的特征信息；
(1.5)计算同一类目下每一目标图像的特征信息与待识别图像的特征信息之间的距离信息的求和值；
(1.6)将求和值最小的类目确定为目标类目，获取该目标类目下距离信息最小的目标图像作为图像匹配结果。
其中，通过训练后的第一神经网络模型提取全局池化(global pooling)之后预设维度的特征信息，该预设维度可以为1024，确定与该特征信息相关的多个类目，即确定该特征信息最可能属于的多个类目。
进一步的，在每一类目中由特征信息匹配出相似度由高至低的排序的预设数量的目标图像，该预设数量可以为20个，将每一类目下预设数量的目标图像分别输入训练后的第一神经网络模型，提取每一类目下预设数量的目标图像全局池化之后预设维度的特征信息。以此，计算同一类目下每一目标图像的特征信息与待识别图像的特征信息之间的距离信息的求和值，该求和值可以反映出待识别图像与每一类目之间的关联性，将求和值最小的类目确定为关联度最大的目标类目，并获取该目标类目下距离信息最小的目标图像作为图像匹配结果，以此，在进行图像匹配时，对多个类目的接近程度进行排序对比，相对于现有技术，可以更准确的匹配到目标类目，进而找到最佳的匹配图像。
由上述可知，本申请实施例通过将训练图像、携带的对象标签以及概括标签分别输入第一神经网络模型和第二神经网络模型中进行训练；获取第一神经网络模型和第二神经网络模型的预测信息之间的相对熵；根据相对熵对第一神经网络模型和第二神经网络模型的网络参数进行调节，得到训练后的第一神经网络模型和第二神经网络模型；接收待识别图像，通过训练后的第一神经网络模型提取待识别图像的特征信息进行图像匹配。以此，通过对象标签和图像特征相似的图像之间的概括标签结合训练图像对双模型进行多标签训练，根据相对熵对双模型的网络参数进行互相学习调节，提升训练后的模型识别准确度，提升信息处理的准确率。
结合上述实施例所描述的方法，以下将举例作进一步详细说明。
在本实施例中，将以该信息处理装置具体集成在服务器中为例进行说明。
请一并参阅图3、图4和图5，图3为本申请实施例提供的信息处理方法的另一流程示意图，图4为本申请实施例提供的目标检测网络的结构示意图，图5为本申请实施例提供的信息处理方法的场景示意图。该方法流程可以包括：
在步骤201中，服务器获取训练图像，确定每一对象标签类别对应的预设图像。
其中，服务器可以获取大量的训练图像，该训练图像携带对象标签，该对象标签可以为每一图像对应的商品号，该对象标签可以包括7万多个类别。
进一步的，该7万多个类别可以根据使用功能分为多个类目，例如可以分为11个类目(鞋子/箱包/美妆/服装/家电/玩具/图书/食品/珠宝/家具/其他)，在该类目中，相同类目下的图像之间的相似度明显要高于不同类目下图像之间的相似度，以此，本申请实施例可以确定每一对象标签类别对应的预设图像，例如，可以在每一类目下，采样每一对象标签类别下的10张预设图像。
在步骤202中，服务器提取每一对象标签类别对应的预设图像的图像特征，通过K-means聚类算法对每一对象标签类别对应的预设图像的图像特征进行聚类处理，将图像特征相似度大于预设阈值的预设图像进行聚类，生成聚类后的预设图像的概括标签。
其中，服务器使用已经训练好的卷积神经网络模型提取每一对象标签类别对应的10张预设图像的图像特征，该K-means(k-means clustering algorithm，k均值聚类算法)，该K-means可以将数据按照不同预设图像的特向特征相似度进行分组，将图像特征相似度大于预设阈值的预设图像归为一组进行聚类，生成多个聚类后的预设图像的概括标签，例如将鞋子类目下，男运动鞋和女运动鞋分为一组，并标定概括标签为运动鞋。
在步骤203中，服务器对训练图像进行饱和度、对比度、亮度和/或旋转调节处理，将调节处理后的训练图像、携带的对象标签以及概括标签分别输入第一神经网络模型和第二神经网络模型中进行训练。
其中，该第一神经网络模型可以为ResNet-152网络，该第二神经网络模型可以为Inception v4网络，ResNe152网络层数更多更深，而Inception v4网络通道更宽。服务器可以采用随机饱和度、对比度、亮度、旋转和/或镜像等数据增强方式增强训练图像的多样性，将调解处理后的训练图像、携带的对象标签以及概括标签分别输入第一神经网络模型和第二神经网络模型中进行多标签训练，以此，可以使得学习后的第一神经网络模型和第二神经网络模型不仅可以学习到如何识别训练图像的对象类型的能力，还可以加强同一类目下的相似图像之间的特征关联性。
在步骤204中，服务器通过相对熵计算公式计算第一神经网络模型和第二神经网络模型的预测信息之间的相对熵，并构建相对熵对应的KL散度损失函数。
其中，服务器可以通过KL散度计算公式计算第一神经网络模型输出的预测信息和第二神经网络模型输出的预测信息之间的相对熵。进而可以构造相对熵对应的KL散度损失函数，该KL散度损失函数可以实现后续不断调整网络模型参数，不断降低相对熵的大小，直至相对熵收敛。
在步骤205中，服务器将KL散度损失函数结合第一神经网络模型的初始损失函数进行联合训练，得到训练后的第一神经网络模型，将KL散度损失函数结合第二神经网络模型的初始损失函数进行联合训练，得到训练后的第二神经网络模型。
其中，服务器通过该对象标签和概括标签作为监督第一神经网络模型的损失，再结合KL散度损失函数进行联合训练，得到训练后的第一神经网络模型。通过该对象标签和概括标签作为监督第二神经网络模型的损失，再结合KL散度损失函数进行联合训练，得到训练后的第二神经网络模型，在训练的过程中，第一神经网络模型和第二神经网络模型可以通过不断的互相学习，使得训练后的第一神经网络模型不仅对图像细节处理更准确，而且学习了第二神经网络模型更好的特征提取能力的优点。并且因为通过双标签训练，该第一神经网络模型在可以识别图像的对象基础上，还可以更好的确定同一类目下的相似图像之间特征关联性。
在步骤206中，服务器接收预测图像，通过目标检测网络识别出预测图像中的待识别物体，截取待识别物体，生成待识别图像。
其中，服务器可以接收终端发送的预测图像，该预测图像中包括待识别物体，例如某款运动鞋，该目标该目标检测模型可以实现目标检测(object detection)，完成对包含目标物体的标识检测区域进行框选，为了更好的描述本实施例，请结合图4一并进行参考，该图4为本申请实施例提供的目标检测模型的结构示意图。该目标检测模型10可以主要分为4个部分：
基本卷积网络12(Conv layers)部分，该部分为一种卷积神经网络，如13个卷积(conv)层+13个线性整流函数(relu)层+4个池化层(pooling)层构成，主要用于提取待处理图像11中的特征地图信息13(feature maps)。
区域生成网络14(Region Proposal Networks，RPN)，该区域生成网络14用于生成标识候选区域(region proposals)，具体为通过归一化函数(softmax)分类特征地图信息13中的锚(anchors)获取积极分类(positive)信息和消极分类(negative)信息，将积极分类信息确定为标识候选区域，并计算锚的边框回归(bounding box regression)偏移量，根据该边框回归偏移量对该标识候选区域进行调整，得到最后的目标标识候选区域15(proposal)，同时剔除太小和超过边界的目标标识候选区域15，实现了预设标识的定位框选。在一实施方式中，可以将该目标标识候选区域15直接确定为目标物体标识框。
兴趣池化层16(ROI pooling)，该层负责收集目标标识候选区域15和特征地图信息13，并计算出大小符合条件区域特征地图信息(proposal feature maps)送入后续层进行处理。
分类器17(Classifier)，该层可以包括全连接层(full connection)和归一化处理层，该分类器17通过全连接层和归一化处理层将区域特征地图信息进行组合，计算出该区域特征地图相应的标识分类结果，同时可以根据该标识分类结果对该目标标识候选区域15进行微调，将微调后的目标标识候选区域15确定为标识检测区域(待识别物体)。
进一步的，截取目标检测网络识别出预测图像中的待识别物体，生成待识别图像，该待识别图像可以为某款运动鞋。
在步骤207中，服务器将待识别图像输入训练后的第一神经网络模型，提取全局池化之后的预设维度的特征信息，确定特征信息所属的多个类目。
其中，服务器将截取的待识别图像输入训练后的第一神经网络模型，提取将该待识别图像全局池化之后的1024维的特征信息，并根据该特征信息最相似的多个类目，请一并参阅图5所示，通过待识别图像可以确定所属的7个类目。
在步骤208中，服务器获取与特征信息的相似度由高至低排序的每一类目下预设数量的目标图像，将每一类目下预设数量的目标图像分别输入训练后的第一神经网络模型，提取每一类目下预设数量的目标图像全局池化之后预设维度的特征信息。
其中，服务器分别在每一类目下按照与特征信息的相似度由高至低的顺序获取预设数量的目标图像，该预设数量可以为20个，将每一类目下20个目标图像分别输入训练后的第一神经网络模型，提取每一类目下20个目标图像全局池化之后1024维度的特征信息。
在步骤209中，服务器计算同一类目下每一目标图像的特征信息与待识别图像的特征信息之间的距离信息，按照距离信息由低至高的顺序对同一类目下每一目标图像进行排序，根据排序顺序对同一类目下每一目标图像的距离信息进行加权处理，计算加权处理后同一类目下每一目标图像的距离信息的求和值。
其中，服务器计算同一类目下每一目标图像的特征信息与待识别图像的特征信息之间的距离信息，该距离信息可以为欧式距离或者余弦距离，该距离信息越小，说明两者越接近，该距离信息越大，说明两者差异越大，可以按照距离信息由低至高的顺序对同一类目下每一目标图像进行排序。
进一步的，可以根据排序顺序对每一类目下每一目标图像的距离信息进行加权处理，由于该训练后的第一神经网络模型具有对同一类目下相似图像进行区分的能力，因此，该待识别图像在最匹配类目下与相似图像的距离值会很明显的小于与其他类目下的图像的距离值，为了扩大不同类目的距离值的区分度，可以通过根据排名顺序依次对同一类目下每一目标图像的距离信息进行加权处理，例如，同一类目下排序第一的目标图像加权为3，排序第二的目标图像加权为1.9，以此类推，排序越后，加权值越低，并计算加权处理后同一类目下每一目标图像的距离信息的求和值。
在一实施方式中，可以通过DBSCAN算法对不同类目的分数值做聚类，分为多个区间，假设最相似的类目的数量大于两个，无法明显进行区分，可以将每一类目下预设数量由20个减少为10个，返回执行步骤208，以此类推，直至最相似的类目与其他类目区分开。
在步骤210中，服务器计算加权处理后同一类目下每一目标图像的距离信息的求和值，将求和值最小的类目确定为目标类目，获取目标类目下距离信息最小的目标图像作为图像匹配结果。
其中，服务器计算加权处理后的同一类目下每一目标图像的距离信息的求和值，该求和值反映出待识别图像与每一类目的匹配程度，将求和值最小的类目确定为最匹配的目标类目，请参阅图5，服务器可以将求和值最小的鞋子类目10确定为目标类目，获取该目标类目下距离信息最小的目标图像作为图像匹配结果。以此通过上述双标签训练方式和类目匹配方式，可以准确的确定出待识别图像属于的目标类目，进而生成准确率高的图像匹配结果。
由上述可知，本申请实施例通过将训练图像、携带的对象标签以及概括标签分别输入第一神经网络模型和第二神经网络模型中进行训练；获取第一神经网络模型和第二神经网络模型的预测信息之间的相对熵；根据相对熵对第一神经网络模型和第二神经网络模型的网络参数进行调节，得到训练后的第一神经网络模型和第二神经网络模型；接收待识别图像，通过训练后的第一神经网络模型提取待识别图像的特征信息进行图像匹配。以此，通过对象标签和图像特征相似的图像之间的概括标签结合训练图像对双模型进行多标签训练，根据相对熵对双模型的网络参数进行互相学习调节，提升训练后的模型识别准确度，提升信息处理的准确率。
为便于更好的实施本申请实施例提供的信息处理方法，本申请实施例还提供一种基于上述信息处理方法的装置。其中名词的含义与上述信息处理方法中相同，具体实现细节可以参考方法实施例中的说明。
请参阅图6，图6为本申请实施例提供的信息处理装置的结构示意图，其中该信息处理装置可以包括训练单元301、获取单元302、调节单元303及匹配单元304等。
训练单元301，用于将训练图像、携带的对象标签以及概括标签分别输入第一神经网络模型和第二神经网络模型中进行训练，该概括标签用于标定图像特征相似度大于预设阈值的训练图像。
在一些实施方式中，该训练单元301，用于：
对该训练图像进行饱和度、对比度、亮度和/或旋转调节处理；
将调节处理后的训练图像、携带的对象标签以及概括标签分别输入第一神经网络模型和第二神经网络模型中进行训练。
获取单元302，用于获取该第一神经网络模型和第二神经网络模型的预测信息之间的相对熵。
在一些实施方式中，该获取单元302，用于：通过相对熵计算公式计算该第一神经网络模型和第二神经网络模型的预测信息之间的相对熵，并构建该相对熵对应的KL散度损失函数。
调节单元303，用于根据该相对熵对该第一神经网络模型和第二神经网络模型的网络参数进行调节，得到训练后的第一神经网络模型和第二神经网络模型。
在一些实施方式中，该调节单元303，用于：将该KL散度损失函数结合第一神经网络模型的初始损失函数进行联合训练，得到训练后的第一神经网络模型；将该KL散度损失函数结合第二神经网络模型的初始损失函数进行联合训练，得到训练后的第二神经网络模型。
匹配单元304，用于接收待识别图像，通过训练后的第一神经网络模型提取该待识别图像的特征信息进行图像匹配。
在一些实施方式中，该匹配单元304，包括：
识别子单元，用于接收预测图像，通过目标检测网络识别出该预测图像中的待识别物体；
生成子单元，用于截取该待识别物体，生成待识别图像；
匹配子单元，用于将该待识别图像输入训练后的第一神经网络模型，提取全局池化之后的特征信息进行图像匹配。
在一些实施例中，该匹配子单元，用于：
提取全局池化之后的预设维度的特征信息；
确定该特征信息所属的多个类目；
获取与该特征信息的相似度由高至低排序的每一类目下预设数量的目标图像；
将每一类目下预设数量的目标图像分别输入训练后的第一神经网络模型，提取每一类目下预设数量的目标图像全局池化之后预设维度的特征信息；
计算同一类目下每一目标图像的特征信息与待识别图像的特征信息之间的距离信息的求和值；
将求和值最小的类目确定为目标类目，获取该目标类目下距离信息最小的目标图像作为图像匹配结果。
在一些实施例中，该信息处理装置，还包括生成单元，用于：获取训练图像，该训练图像携带对象标签；确定每一对象标签类别对应的预设图像；对不同的对象标签类别之间对应的预设图像进行聚类处理，将图像特征相似度大于预设阈值的预设图像进行聚类；生成聚类后的预设图像的概括标签。
在一些实施例中，该生成单元，还用于：获取训练图像，该训练图像携带对象标签；确定每一对象标签类别对应的预设图像；提取每一对象标签类别对应的预设图像的图像特征；通过K-means聚类算法对每一对象标签类别对应的预设图像的图像特征进行聚类处理；将图像特征相似度大于预设阈值的预设图像进行聚类；生成聚类后的预设图像的概括标签。
以上各个单元的具体实施可参见前面的实施例，在此不再赘述。
由上述可知，本申请实施例通过训练单元301将训练图像、携带的对象标签以及概括标签分别输入第一神经网络模型和第二神经网络模型中进行训练；获取单元302获取第一神经网络模型和第二神经网络模型的预测信息之间的相对熵；调节单元303根据相对熵对第一神经网络模型和第二神经网络模型的网络参数进行调节，得到训练后的第一神经网络模型和第二神经网络模型；匹配单元304接收待识别图像，通过训练后的第一神经网络模型提取待识别图像的特征信息进行图像匹配。以此，通过对象标签和图像特征相似的图像之间的概括标签结合训练图像对双模型进行多标签训练，根据相对熵对双模型的网络参数进行互相学习调节，提升训练后的模型识别准确度，提升信息处理的准确率。
本申请实施例还提供一种计算机设备，如图7所示，其示出了本申请实施例所涉及的服务器的结构示意图，具体来讲：
该计算机设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解，图7中示出的计算机设备结构并不构成对计算机设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
处理器401是该计算机设备的控制中心，利用各种接口和线路连接整个计算机设备的各个部分，通过运行或执行存储在存储器402内的软件程序和/或模块，以及调用存储在存储器402内的数据，执行计算机设备的各种功能和处理数据，从而对计算机设备进行整体检测。可选的，处理器401可包括一个或多个处理核心；可选的，处理器401可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器401中。
存储器402可用于存储软件程序以及模块，处理器401通过运行存储在存储器402的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据服务器的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器402还可以包括存储器控制器，以提供处理器401对存储器402的访问。
计算机设备还包括给各个部件供电的电源403，可选的，电源403可以通过电源管理系统与处理器401逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
计算机设备还可包括输入单元404，该输入单元404可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出，计算机设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，计算机设备中的处理器401会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中，并由处理器401来运行存储在存储器402中的应用程序，从而实现前述实施例提供的各种方法步骤，如下：
将训练图像、携带的对象标签以及概括标签分别输入第一神经网络模型和第二神经网络模型中进行训练，该概括标签用于标定图像特征相似度大于预设阈值的训练图像；获取该第一神经网络模型和第二神经网络模型的预测信息之间的相对熵；根据该相对熵对该第一神经网络模型和第二神经网络模型的网络参数进行调节，得到训练后的第一神经网络模型和第二神经网络模型；接收待识别图像，通过训练后的第一神经网络模型提取该待识别图像的特征信息进行图像匹配。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见上文针对信息处理方法的详细描述，此处不再赘述。
由上述可知，本申请实施例的计算机设备可以通过将训练图像、携带的对象标签以及概括标签分别输入第一神经网络模型和第二神经网络模型中进行训练；获取第一神经网络模型和第二神经网络模型的预测信息之间的相对熵；根据相对熵对第一神经网络模型和第二神经网络模型的网络参数进行调节，得到训练后的第一神经网络模型和第二神经网络模型；接收待识别图像，通过训练后的第一神经网络模型提取待识别图像的特征信息进行图像匹配。以此，通过对象标签和图像特征相似的图像之间的概括标签结合训练图像对双模型进行多标签训练，根据相对熵对双模型的网络参数进行互相学习调节，提升训练后的模型识别准确度，提升信息处理的准确率。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本申请实施例提供一种计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本申请实施例所提供的任一种信息处理方法中的步骤。例如，该指令可以执行如下步骤：
将训练图像、携带的对象标签以及概括标签分别输入第一神经网络模型和第二神经网络模型中进行训练，该概括标签用于标定图像特征相似度大于预设阈值的训练图像；获取该第一神经网络模型和第二神经网络模型的预测信息之间的相对熵；根据该相对熵对该第一神经网络模型和第二神经网络模型的网络参数进行调节，得到训练后的第一神经网络模型和第二神经网络模型；接收待识别图像，通过训练后的第一神经网络模型提取该待识别图像的特征信息进行图像匹配。
根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例提供的各种可选实现方式中提供的方法。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
其中，该计算机可读存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。
由于该计算机可读存储介质中所存储的指令，可以执行本申请实施例所提供的任一种信息处理方法中的步骤，因此，可以实现本申请实施例所提供的任一种信息处理方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
以上对本申请实施例所提供的一种信息处理方法、装置、计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (16)
1.一种信息处理方法，其特征在于，包括：
将训练图像、携带的对象标签以及概括标签分别输入第一神经网络模型和第二神经网络模型中进行训练，所述概括标签用于标定图像特征相似度大于预设阈值的训练图像；
获取所述第一神经网络模型和第二神经网络模型的预测信息之间的相对熵；
根据所述相对熵对所述第一神经网络模型和第二神经网络模型的网络参数进行调节，得到训练后的第一神经网络模型和第二神经网络模型；其中，所述第二神经网络模型用于将第二神经网络模型对于特征提取的优点传导至第一神经网络模型，以实现第一神经网络模型和第二神经网络模型的互相特征提取学习，得到训练后的第一神经网络模型和第二神经网络模型，使得训练后的第一神经网络模型具有所述第二神经网络模型的特征提取的优点；
接收待识别图像，通过训练后的第一神经网络模型提取所述待识别图像的特征信息进行图像匹配。
2.根据权利要求1所述的信息处理方法，其特征在于，所述信息处理方法，还包括：
获取训练图像，所述训练图像携带对象标签；
确定每一对象标签类别对应的预设图像；
对不同的对象标签类别之间对应的预设图像进行聚类处理，将图像特征相似度大于预设阈值的预设图像进行聚类；
生成聚类后的预设图像的概括标签。
3.根据权利要求2所述的信息处理方法，其特征在于，所述对不同的对象标签类别之间对应的预设图像进行聚类处理，将图像特征相似度大于预设阈值的预设图像进行聚类的步骤，包括：
提取每一对象标签类别对应的预设图像的图像特征；
通过K-means聚类算法对每一对象标签类别对应的预设图像的图像特征进行聚类处理；
将图像特征相似度大于预设阈值的预设图像进行聚类。
4.根据权利要求1所述的信息处理方法，其特征在于，所述将训练图像、携带的对象标签以及概括标签分别输入第一神经网络模型和第二神经网络模型中进行训练的步骤，包括：
对所述训练图像进行饱和度、对比度、亮度和/或旋转调节处理；
将调节处理后的训练图像、携带的对象标签以及概括标签分别输入第一神经网络模型和第二神经网络模型中进行训练。
5.根据权利要求1至4任一项所述的信息处理方法，其特征在于，所述获取所述第一神经网络模型和第二神经网络模型的预测信息之间的相对熵的步骤，包括：
通过相对熵计算公式计算所述第一神经网络模型和第二神经网络模型的预测信息之间的相对熵，并构建所述相对熵对应的KL散度损失函数。
6.根据权利要求5所述的信息处理方法，其特征在于，所述根据所述相对熵对所述第一神经网络模型和第二神经网络模型的网络参数进行调节，得到训练后的第一神经网络模型和第二神经网络模型的步骤，包括：
将所述KL散度损失函数结合第一神经网络模型的初始损失函数进行联合训练，得到训练后的第一神经网络模型；
将所述KL散度损失函数结合第二神经网络模型的初始损失函数进行联合训练，得到训练后的第二神经网络模型。
7.根据权利要求1至4任一项所述的信息处理方法，其特征在于，所述接收待识别图像，通过训练后的第一神经网络模型提取所述待识别图像的特征信息进行图像匹配的步骤，包括：
接收预测图像，通过目标检测网络识别出所述预测图像中的待识别物体；
截取所述待识别物体，生成待识别图像；
将所述待识别图像输入训练后的第一神经网络模型，提取全局池化之后的特征信息进行图像匹配。
8.根据权利要求7所述的信息处理方法，其特征在于，所述提取全局池化之后的特征信息进行图像匹配的步骤，包括：
提取全局池化之后的预设维度的特征信息；
确定所述特征信息所属的多个类目；
获取与所述特征信息的相似度由高至低排序的每一类目下预设数量的目标图像；
将每一类目下预设数量的目标图像分别输入训练后的第一神经网络模型，提取每一类目下预设数量的目标图像全局池化之后预设维度的特征信息；
计算同一类目下每一目标图像的特征信息与待识别图像的特征信息之间的距离信息的求和值；
将求和值最小的类目确定为目标类目，获取所述目标类目下距离信息最小的目标图像作为图像匹配结果。
9.根据权利要求8所述的信息处理方法，其特征在于，所述计算同一类目下每一目标图像的特征信息与待识别图像的特征信息之间的距离信息的求和值的步骤，包括：
计算同一类目下每一目标图像的特征信息与待识别图像的特征信息之间的距离信息；
按照距离信息由低至高的顺序对同一类目下每一目标图像进行排序；
根据排序顺序对同一类目下每一目标图像的距离信息进行加权处理；
计算加权处理后同一类目下每一目标图像的距离信息的求和值。
10.一种信息处理装置，其特征在于，包括：
训练单元，用于将训练图像、携带的对象标签以及概括标签分别输入第一神经网络模型和第二神经网络模型中进行训练，所述概括标签用于标定图像特征相似度大于预设阈值的训练图像；
获取单元，用于获取所述第一神经网络模型和第二神经网络模型的预测信息之间的相对熵；
调节单元，用于根据所述相对熵对所述第一神经网络模型和第二神经网络模型的网络参数进行调节，得到训练后的第一神经网络模型和第二神经网络模型；其中，所述第二神经网络模型用于将第二神经网络模型对于特征提取的优点传导至第一神经网络模型，以实现第一神经网络模型和第二神经网络模型的互相特征提取学习，得到训练后的第一神经网络模型和第二神经网络模型，使得训练后的第一神经网络模型具有所述第二神经网络模型的特征提取的优点；
匹配单元，用于接收待识别图像，通过训练后的第一神经网络模型提取所述待识别图像的特征信息进行图像匹配。
11.根据权利要求10所述的处理装置，其特征在于，所述处理装置，还包括生成单元，用于：
获取训练图像，所述训练图像携带对象标签；
确定每一对象标签类别对应的预设图像；
对不同的对象标签类别之间对应的预设图像进行聚类处理，将图像特征相似度大于预设阈值的预设图像进行聚类；
生成聚类后的预设图像的概括标签。
12.根据权利要求11所述的处理装置，其特征在于，所述生成单元，还用于：
获取训练图像，所述训练图像携带对象标签；
确定每一对象标签类别对应的预设图像；
提取每一对象标签类别对应的预设图像的图像特征；
通过K-means聚类算法对每一对象标签类别对应的预设图像的图像特征进行聚类处理；
将图像特征相似度大于预设阈值的预设图像进行聚类；
生成聚类后的预设图像的概括标签。
13.根据权利要求10所述的处理装置，其特征在于，所述训练单元，用于：
对所述训练图像进行饱和度、对比度、亮度和/或旋转调节处理；
将调节处理后的训练图像、携带的对象标签以及概括标签分别输入第一神经网络模型和第二神经网络模型中进行训练。
14.根据权利要求10至13任一项所述的处理装置，其特征在于，所述获取单元，用于：
通过相对熵计算公式计算所述第一神经网络模型和第二神经网络模型的预测信息之间的相对熵，并构建所述相对熵对应的KL散度损失函数。
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至9任一项所述的信息处理方法中的步骤。
16.一种计算机设备，其特征在于，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如权利要求1至9任一项所述的信息处理方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010879728.1A CN112906730B (zh) | 2020-08-27 | 2020-08-27 | 一种信息处理方法、装置及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010879728.1A CN112906730B (zh) | 2020-08-27 | 2020-08-27 | 一种信息处理方法、装置及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112906730A CN112906730A (zh) | 2021-06-04 |
| CN112906730B true CN112906730B (zh) | 2023-11-28 |
Family
ID=76111284
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010879728.1A Active CN112906730B (zh) | 2020-08-27 | 2020-08-27 | 一种信息处理方法、装置及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112906730B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112990429A (zh) * | 2021-02-01 | 2021-06-18 | 深圳市华尊科技股份有限公司 | 机器学习方法、电子设备及相关产品 |
| CN113284142B (zh) * | 2021-07-16 | 2021-10-29 | 腾讯科技（深圳）有限公司 | 图像检测方法、装置、计算机可读存储介质及计算机设备 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109447258A (zh) * | 2018-09-19 | 2019-03-08 | 北京市商汤科技开发有限公司 | 神经网络模型的优化方法及装置、电子设备和存储介质 |
| CN109784182A (zh) * | 2018-12-17 | 2019-05-21 | 北京飞搜科技有限公司 | 行人重识别方法和装置 |
| CN110022397A (zh) * | 2018-01-10 | 2019-07-16 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN110782123A (zh) * | 2019-09-18 | 2020-02-11 | 中国平安财产保险股份有限公司 | 决策方案的匹配方法、装置、计算机设备及存储介质 |
| CN110889428A (zh) * | 2019-10-21 | 2020-03-17 | 浙江大搜车软件技术有限公司 | 图像识别方法、装置、计算机设备与存储介质 |
| CN111368645A (zh) * | 2020-02-14 | 2020-07-03 | 北京澎思科技有限公司 | 用于识别多标签车牌的方法、装置、电子设备和可读介质 |
| CN111461155A (zh) * | 2019-01-18 | 2020-07-28 | 富士通株式会社 | 训练分类模型的装置和方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11030486B2 (en) * | 2018-04-20 | 2021-06-08 | XNOR.ai, Inc. | Image classification through label progression |
| US20190354850A1 (en) * | 2018-05-17 | 2019-11-21 | International Business Machines Corporation | Identifying transfer models for machine learning tasks |
| CN109711481B (zh) * | 2019-01-02 | 2021-09-10 | 京东方艺云科技有限公司 | 用于画作多标签识别的神经网络、相关方法、介质和设备 |
-
2020
- 2020-08-27 CN CN202010879728.1A patent/CN112906730B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110022397A (zh) * | 2018-01-10 | 2019-07-16 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN109447258A (zh) * | 2018-09-19 | 2019-03-08 | 北京市商汤科技开发有限公司 | 神经网络模型的优化方法及装置、电子设备和存储介质 |
| CN109784182A (zh) * | 2018-12-17 | 2019-05-21 | 北京飞搜科技有限公司 | 行人重识别方法和装置 |
| CN111461155A (zh) * | 2019-01-18 | 2020-07-28 | 富士通株式会社 | 训练分类模型的装置和方法 |
| CN110782123A (zh) * | 2019-09-18 | 2020-02-11 | 中国平安财产保险股份有限公司 | 决策方案的匹配方法、装置、计算机设备及存储介质 |
| CN110889428A (zh) * | 2019-10-21 | 2020-03-17 | 浙江大搜车软件技术有限公司 | 图像识别方法、装置、计算机设备与存储介质 |
| CN111368645A (zh) * | 2020-02-14 | 2020-07-03 | 北京澎思科技有限公司 | 用于识别多标签车牌的方法、装置、电子设备和可读介质 |
Non-Patent Citations (2)
| Title |
|---|
| Read J等.Multi-label classification using ensembles of pruned sets.《Proceeding of the IEEE International Conference on Data Mining》.2011,全文. * |
| 徐有正 ; 黄刚 ; .多标签图像的识别分类处理算法.计算机时代.2017,(10),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112906730A (zh) | 2021-06-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhang et al. | Detection of co-salient objects by looking deep and wide | |
| CN111626218B (zh) | 基于人工智能的图像生成方法、装置、设备及存储介质 | |
| CN112131978B (zh) | 一种视频分类方法、装置、电子设备和存储介质 | |
| US20200320769A1 (en) | Method and system for predicting garment attributes using deep learning | |
| US8750602B2 (en) | Method and system for personalized advertisement push based on user interest learning | |
| Wang et al. | Probabilistic diffusion for interactive image segmentation | |
| Deng et al. | Saliency detection via a multiple self-weighted graph-based manifold ranking | |
| CN111709497B (zh) | 一种信息处理方法、装置及计算机可读存储介质 | |
| Zhou et al. | Semi-supervised salient object detection using a linear feedback control system model | |
| CN111339343A (zh) | 图像检索方法、装置、存储介质及设备 | |
| CN111242019B (zh) | 视频内容的检测方法、装置、电子设备以及存储介质 | |
| CN112906730B (zh) | 一种信息处理方法、装置及计算机可读存储介质 | |
| CN112365423A (zh) | 一种图像数据增强方法、装置、介质及设备 | |
| Zhang et al. | Discovering the best feature extraction and selection algorithms for spontaneous facial expression recognition | |
| CN114445633A (zh) | 图像处理方法、装置和计算机可读存储介质 | |
| Xu et al. | Speed-invariant gait recognition using single-support gait energy image | |
| CN112418302A (zh) | 一种任务预测方法及装置 | |
| CN113570497A (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| CN113033507B (zh) | 场景识别方法、装置、计算机设备和存储介质 | |
| Zhou et al. | Kernel-based semantic hashing for gait retrieval | |
| CN113128526A (zh) | 图像识别方法、装置、电子设备和计算机可读存储介质 | |
| CN113705310A (zh) | 特征学习的方法、目标物体的识别方法和对应装置 | |
| Yang et al. | Salient object detection via double random walks with dual restarts | |
| CN112633425B (zh) | 图像分类方法和装置 | |
| Cai et al. | Robust facial expression recognition using RGB-D images and multichannel features |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40046492 Country of ref document: HK |
|
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |