CN108229522A - 神经网络的训练方法、属性检测方法、装置及电子设备 - Google Patents

神经网络的训练方法、属性检测方法、装置及电子设备 Download PDF

Info

Publication number
CN108229522A
CN108229522A CN201710131137.4A CN201710131137A CN108229522A CN 108229522 A CN108229522 A CN 108229522A CN 201710131137 A CN201710131137 A CN 201710131137A CN 108229522 A CN108229522 A CN 108229522A
Authority
CN
China
Prior art keywords
attribute
network
detection
feature vector
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710131137.4A
Other languages
English (en)
Other versions
CN108229522B (zh
Inventor
武伟
李博
闫俊杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN201710131137.4A priority Critical patent/CN108229522B/zh
Publication of CN108229522A publication Critical patent/CN108229522A/zh
Application granted granted Critical
Publication of CN108229522B publication Critical patent/CN108229522B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供一种神经网络的训练方法、属性检测方法、装置及电子设备。一种深度神经网络的训练方法，包括：通过第一神经网络获取多个第一样本图像的图像特征向量，所述第一样本图像含有目标物体的多个属性的标注信息；根据所述图像特征向量，通过具有记忆能力的第二神经网络获取所述目标物体的多个属性的检测信息；根据所述多个属性的检测信息和所述多个属性的标注信息获取检测误差值；根据所述检测误差值调整所述第一神经网络的网络参数和第二神经网络的网络参数。由此训练得到的深度神经网络可自适应地检测出物体的多个相互关联的属性，具有通用性，可用于检测任一种物体的相互具有关联/依赖关系的众多属性/子属性的信息。

Description

神经网络的训练方法、属性检测方法、装置及电子设备
技术领域
本发明实施例涉及图像处理技术，尤其涉及一种深度神经网络的训练方法、物体属性检测方法、装置及电子设备。
背景技术
在对图像执行智能识别的应用场景中，首先需要从拍摄的如视频图像中检测目标物体(如人脸、人体、车辆等)，再根据检测到目标物体的图像特征进一步进行分析来提取图像中目标物体的属性信息以及/或者对目标物体的关键点进行定位。
此后，可基于提取的属性信息以及/或者定位的关键点进行例如记录、检索、监控、跟踪或显示等业务处理。
发明内容
本发明实施例的目的在于，提出一种深度神经网络的训练方法和检测物体属性的方法，以较准确地检测通用物体的多个属性。
根据本发明实施例的一方面，提供一种深度神经网络的训练方法，包括：通过第一神经网络获取多个第一样本图像的图像特征向量，所述第一样本图像含有目标物体的多个属性的标注信息；根据所述图像特征向量，通过具有记忆能力的第二神经网络获取所述目标物体的多个属性的检测信息；根据所述多个属性的检测信息和所述多个属性的标注信息获取检测误差值；根据所述检测误差值调整所述第一神经网络的网络参数和第二神经网络的网络参数。
可选地，所述根据所述图像特征向量，通过第二神经网络获取所述目标物体的多个属性的检测信息包括：根据所述图像特征向量，通过第二神经网络在时序上迭代地获取所述目标物体的多个属性的检测信息，直到所述迭代满足迭代终止条件为止。
可选地，所述获取所述多个属性的检测信息的每次迭代处理包括：根据前次迭代获取到的第一属性的检测信息获取所述第一属性的第一属性特征向量；根据所述图像特征向量和所述第一属性特征向量，通过所述第二神经网络获取第二属性特征向量；根据所述第二属性特征向量获取第二属性的检测信息。
可选地，所述根据前次迭代获取到的属性的检测信息获取所述属性的第一属性特征向量包括：根据语义分析方法将前次迭代获取到的属性的信息转换为规范属性的信息，将所述规范属性的信息编码为所述编码标签特征向量。
可选地，在通过第一神经网络获取多个第一样本图像的图像特征向量之前，所述方法还包括：分别从所述第一样本图像去除不属于所述目标物体的图像部分。
可选地，所述根据所述多个属性的检测信息和所述多个属性的标注信息获取检测误差值包括：根据所述多个属性的检测信息和所述多个属性的标注信息分别计算各个属性的属性检测误差值；将各个所述属性检测误差值的均值作为所述检测误差值。
可选地，所述第一神经网络为卷积神经网络，和/或，所述第二神经网络为时间递归神经网络。
可选地，所述第二神经网络末端设有分类器层；所述根据所述第二属性特征向量获取第二属性的检测信息包括：通过所述分类器层从所述第二属性特征向量获取第二属性的检测信息。
可选地，在通过第一神经网络获取多个第一样本图像的图像特征向量之前，所述方法还包括：使用多个第二样本图像训练第三神经网络，所述多个第二样本图像标注有多个物体的分类信息；使用所述第三神经网络训练后的特征层的网络参数初始化所述第一神经网络的网络参数。
根据本发明实施例的另一方面，提供一种物体属性检测方法，包括：通过第一神经网络获取待检图像的图像特征向量；根据所述图像特征向量，通过具有记忆能力的第二神经网络获取所述目标物体的多个属性的检测信息。
可选地，所述根据所述图像特征向量，通过第二神经网络获取所述目标物体的多个属性的检测信息包括：根据所述图像特征向量，通过第二神经网络在时序上迭代地获取所述目标物体的多个属性的检测信息，直到所述迭代满足迭代终止条件为止。
可选地，所述获取所述多个属性的检测信息的每次迭代处理包括：根据前次迭代获取到的第一属性的检测信息获取所述第一属性的第一属性特征向量；根据所述图像特征向量和所述第一属性特征向量，通过所述第二神经网络获取第二属性特征向量；根据所述第二属性特征向量获取第二属性的检测信息。
可选地，所述第一神经网络和第二神经网络通过前述任一深度神经网络的训练方法训练获得。
根据本发明实施例的另一方面，提供一种深度神经网络的训练装置，包括：样本图像特征获取模块，用于通过第一神经网络获取多个第一样本图像的图像特征向量，所述第一样本图像含有目标物体的多个属性的标注信息；样本属性检测模块，用于根据所述样本图像特征获取模块获取到的图像特征向量，通过具有记忆能力的第二神经网络获取所述目标物体的多个属性的检测信息；误差获取模块，用于根据所述样本属性检测模块获取到的多个属性的检测信息和所述多个属性的标注信息获取检测误差值；训练模块，用于根据所述误差获取模块获取到的检测误差值调整所述第一神经网络的网络参数和第二神经网络的网络参数。
可选地，所述样本属性检测模块用于根据所述图像特征向量，通过第二神经网络在时序上迭代地获取所述目标物体的多个属性的检测信息，直到所述迭代满足迭代终止条件为止。
可选地，所述样本属性检测模块在获取所述多个属性的检测信息的每次迭代处理包括：根据前次迭代获取到的第一属性的检测信息获取所述第一属性的第一属性特征向量；根据所述图像特征向量和所述第一属性特征向量，通过所述第二神经网络获取第二属性特征向量；根据所述第二属性特征向量获取第二属性的检测信息。
可选地，所述样本属性检测模块在根据前次迭代获取到的属性的检测信息获取所述属性的第一属性特征向量的处理中，根据语义分析方法将前次迭代获取到的属性的信息转换为规范属性的信息，将所述规范属性的信息编码为所述编码标签特征向量。
可选地，所述装置还包括：样本预处理模块，用于在通过第一神经网络获取多个第一样本图像的图像特征向量之前，分别从所述第一样本图像去除不属于所述目标物体的图像部分。
可选地，所述误差获取模块用于根据所述多个属性的检测信息和所述多个属性的标注信息分别计算各个属性的属性检测误差值，并且将各个所述属性检测误差值的均值作为所述检测误差值。
可选地，所述第一神经网络为卷积神经网络，和/或，所述第二神经网络为时间递归神经网络。
可选地，所述第二神经网络末端设有分类器层；所述样本属性检测模块在根据所述第二属性特征向量获取第二属性的检测信息的处理中，通过所述分类器层从所述第二属性特征向量获取第二属性的检测信息。
可选地，所述装置还包括：预训练模块，用于在通过第一神经网络获取多个第一样本图像的图像特征向量之前，使用多个第二样本图像训练第三神经网络，所述多个第二样本图像标注有多个物体的分类信息，并且使用所述第三神经网络训练后的特征层的网络参数初始化所述第一神经网络的网络参数。
根据本发明实施例的另一方面，提供一种物体属性检测装置，包括：待检图像特征获取模块，用于通过第一神经网络获取待检图像的图像特征向量；待检图像属性检测模块，用于根据所述待检图像特征获取模块获取到的图像特征向量，通过具有记忆能力的第二神经网络获取所述目标物体的多个属性的检测信息。
可选地，所述待检图像属性检测模块用于根据所述图像特征向量，通过第二神经网络在时序上迭代地获取所述目标物体的多个属性的检测信息，直到所述迭代满足迭代终止条件为止。
可选地，所述待检图像属性检测模块在获取所述多个属性的检测信息的每次迭代处理包括：根据前次迭代获取到的第一属性的检测信息获取所述第一属性的第一属性特征向量；根据所述图像特征向量和所述第一属性特征向量，通过所述第二神经网络获取第二属性特征向量；根据所述第二属性特征向量获取第二属性的检测信息。
可选地，所述第一神经网络和第二神经网络通过前述任一深度神经网络的训练方法训练获得。
根据本发明的另一方面，还提供一种电子设备，包括：第一处理器、第一存储器、第一通信元件和第一通信总线，所述第一处理器、所述第一存储器和所述第一通信元件通过所述第一通信总线完成相互间的通信。所述第一存储器用于存放至少一可执行指令，所述可执行指令使所述第一处理器执行如前所述任一深度神经网络的训练方法对应的操作。
根据本发明的另一方面，还提供一种电子设备，包括：第二处理器、第二存储器、第二通信元件和第二通信总线，所述第二处理器、所述第二存储器和所述第二通信元件通过所述第二通信总线完成相互间的通信；所述第二存储器用于存放至少一可执行指令，所述可执行指令使所述第二处理器执行如前所述的物体属性检测方法对应的操作。
根据本发明实施例的又一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有：用于通过第一神经网络获取多个第一样本图像的图像特征向量的可执行指令，所述第一样本图像含有目标物体的多个属性的标注信息；用于根据所述图像特征向量，通过具有记忆能力的第二神经网络获取所述目标物体的多个属性的检测信息的可执行指令；用于根据所述多个属性的检测信息和所述多个属性的标注信息获取检测误差值的可执行指令；用于根据所述检测误差值调整所述第一神经网络的网络参数和第二神经网络的网络参数的可执行指令。
根据本发明实施例的又一方面，还提供了另一种计算机可读存储介质，所述计算机可读存储介质存储有：用于通过第一神经网络获取待检图像的图像特征向量的可执行指令；用于根据所述图像特征向量，通过具有记忆能力的第二神经网络获取所述目标物体的多个属性的检测信息的可执行指令。
根据本发明实施例提供的深度神经网络的训练方案，利用物体属性之间的关联/依赖关系，使用具有记忆能力的神经网络和样本图像的图像特征数据，可根据从时序上已检测到的属性以及图像特征数据来检测得到更多的属性特征，从而获取目标物体的多个属性的检测信息。此后，再使用所述多个属性的检测信息和所述多个属性的标注信息计算得到的检测误差值调整用于提取图像特征的第一神经网络的网络参数和用于检测物体属性的第二神经网络的网络参数。由此训练得到的深度神经网络可自适应地检测出物体的多个相互关联的属性，与现有的属性识别技术相比，无需特殊对物体的某个属性检测进行设置和标注，因此本发明实施例的深度神经网络的训练方法训练得到的深度神经网络具有通用性，可用于检测任一种物体的相互具有关联/依赖关系的众多属性/子属性的信息。
根据本发明实施例提供的的物体属性检测方案，通过前述训练得到的深度神经网络，可根据物体属性之间的关联、依赖关系，自适应地检测出物体的诸多属性，并具有通用性。
附图说明
图1是示出根据本发明实施例一的深度神经网络的训练方法的流程图；
图2是示出根据本发明实施例二的深度神经网络的训练方法的流程图；
图3是示出图2中的步骤S220的示例性处理的示意图；
图4是示出根据本发明实施例三的物体属性检测方法的流程图；
图5是示出根据本发明实施例四的物体属性检测方法的流程图；
图6是示出根据本发明实施例五的深度神经网络的训练装置的逻辑框图；
图7是示出根据本发明实施例六的深度神经网络的训练装置的逻辑框图；
图8是示出根据本发明实施例七的物体属性检测装置的逻辑框图；
图9是示出根据本发明实施例八的第一电子设备的结构示意图；
图10是示出根据本发明实施例九的第二电子设备的结构示意图。
具体实施方式
下面结合附图详细描述本发明实施例的示例性实施例。
实施例一
图1是示出根据本发明实施例一的深度神经网络的训练方法的流程图。
根据本发明实施例的深度神经网络至少包括用于从图像获取特征数据的第一神经网络和具有记忆能力、用于检测物体属性的第二神经网络。
参照图1，在步骤S110，通过第一神经网络获取多个第一样本图像的图像特征向量，所述第一样本图像含有目标物体的多个属性的标注信息。
这里，图像特征向量表征样本图像的图像特征；第一样本图像是拍摄有目标物体的图像，并含有目标物体的多个属性的标注信息。
目标物体可以是人脸、行人、车辆、动物等，目标物体的属性可以包括例如，车辆的类别(如大型客车、卡车、面包车、SUV、小汽车等)、品牌、车型(如奔驰C系、丰田卡罗拉等)、颜色以及车辆的上市年份等，或者例如行人的性别、年龄、服饰等。
目标物体的多个物体属性的标注信息可以是例如，但不限于，目标物体的属性标识的信息、属性标签的标注信息或属性标签的标定属性值。对于物体的多个属性来说，通常以属性标识或属性标签等来唯一地标识任一属性，而通过属性标签(如“车型”)的属性值(如“凯美瑞”)可以对应到相应的属性标签。因此，可通过属性的这些信息来标注第一样本图像的属性。
第一神经网络可以是可用于图像识别的任何非线性神经网络，例如，但不限于，卷积神经网络等。
通过该步骤的处理，从含有多个属性的标注信息的多个第一样本图像获取这些第一样本图像的图像特征数据。
在步骤S120，根据所述图像特征向量，通过第二神经网络获取所述目标物体的多个属性的检测信息。
在例如语音识别、翻译模型等人工智能技术中，当执行例如“the clouds are inthe***”中最后一个词“***”的预测时，根据之前出现的“clouds”即可明确地预测到最后一个词是“sky”。通过具有记忆能力的神经网络，可学习使用之前的信息，并且根据学习到的信息执行预测。
进一步地，当根据“I grew up in France…I speak fluent***”预测最后一个词“***”时，最近的词“fluent”指示下一个词可能是一门语言的名字。但是，如果要缩小选择范围，需要包含“France(法国)”的那段上下文才能够从前面的信息推断出要预测的词。对于这种预测依赖的信息与预测位置的间隔较大的情形，可通过长短期记忆(LSTM)网络来学习长期依赖的信息，从而进行信息预测。
同理，物体的多个属性之间存在语义上的关联和依赖关系。例如，车辆的类别属性和车型属性存在关联，只有在确定类别为“小汽车”的情况下，才有可能出现品牌为“丰田”，进而出现车型为“凯美瑞”。因此，车型属性依赖于品牌属性、类别属性。
根据本发明的总体构思，利用物体多个属性之间的关联/依赖关系，通过具有记忆能力的第二神经网络以及图像特征数据，可根据从时序上已检测到的属性以及图像特征数据来检测得到更多的属性特征，进而获取目标物体的多个属性的检测信息。与前述类似，获取的属性的检测信息至少包括关于检测得到的属性的信息，例如属性标识、属性标签或属性值等。
这里，第二神经网络可以是递归神经网络(RNN，Recursive Neural Network)，例如长短期记忆网络(LSTM，Long and Short Term Memory)。稍后将具体描述步骤S120的一种示例性处理。使用LSTM的好处是可以具有长时间的属性记忆，这样就可以检测出在关联关系链较远的多个属性，例如，从车辆类型(“小汽车”)检测到厢型(“三厢”)，再检测到品牌(“丰田”)，进而检测到属性-型号(“凯美瑞”)等。
在步骤S130，根据所述多个属性的检测信息和所述多个属性的标注信息获取检测误差值。
例如，可根据属性的标注信息中出现的属性的先后顺序，逐个与属性的检测信息中检测到的属性进行比对，并计算多个属性的属性检测误差值。
再例如，可从属性的检测信息中查找标注信息中出现的属性，并且根据查找结果计算多个属性的属性检测误差值。
可通过例如距离函数、损失函数等来计算多个属性的属性检测误差值。
可将计算得到的多个属性检测误差值之和或均值作为该检测误差值。
在步骤S140，根据所述检测误差值调整所述第一神经网络的网络参数和第二神经网络的网络参数。
可例如，将检测误差值分别或先后反向传输给第一神经网络和第二神经网络，来调整第一神经网络的网络参数和第二神经网络的网络参数。
物体的属性识别/提取具有诸多挑战。以车辆的属性识别为例。首先，车辆的子车型的数目十分巨大，达到上万的量级，这提高了准确识车型别的难度和准确性。其次，现有的车辆属性识别方法识别的属性较为有限，通常不能够识别具体子车型的信息或者识别出的车型种类过少。此外，现有的属性识别方法可扩展性较差，当添加需要识别的属性时，通常需要修改调整识别的实现流程，开发周期较长。
根据本发明实施例一的深度神经网络的训练方法，利用物体属性之间的关联/依赖关系，使用具有记忆能力的神经网络和样本图像的图像特征数据，可根据从时序上已检测到的属性以及图像特征数据来检测得到更多的属性特征，从而获取目标物体的多个属性的检测信息。此后，再使用所述多个属性的检测信息和所述多个属性的标注信息计算得到的检测误差值调整用于提取图像特征的第一神经网络的网络参数和用于检测物体属性的第二神经网络的网络参数。由此训练得到的深度神经网络可自适应地检测出物体的多个相互关联的属性，与现有的属性识别技术相比，无需特殊对物体的某个属性检测进行设置和标注，因此本发明实施例的深度神经网络的训练方法训练得到的深度神经网络具有通用性，可用于检测任一种物体的相互具有关联/依赖关系的众多属性/子属性的信息。
实施例二
图2是示出根据本发明实施例二的深度神经网络的训练方法的流程图。
参照图2，在步骤S205，分别从多个第一样本图像去除不属于目标物体的图像部分，该多个第一样本图像含有目标物体的多个属性的标注信息。
也就是说，从每个第一样本图像抠除不属于目标物体的图像部分，而将仅包含目标物体的图像区域作为该深度神经网络的训练样本。通过该步骤的处理，可去除
在步骤S210，通过第一神经网络获取多个第一样本图像的图像特征向量，所述第一样本图像已被去除过不属于目标物体的图像部分。
在步骤S220，根据在步骤S110获取到的多个第一样本图像的图像特征向量，通过第二神经网络在时序上迭代地获取所述目标物体的多个属性的检测信息，直到所述迭代满足迭代终止条件为止。
也就是说，在获取目标物体的多个属性的检测信息的处理中，根据第一样本图像的图像特征数据迭代地通过第二神经网络来执行多个属性的检测，直到迭代满足迭代终止条件为止。
根据本发明实施例二的一种可实施方式，在步骤S220中，通过每次迭代处理检测得到属性。单次迭代处理可包括步骤S221、S223、S225和S227。
在步骤S221，根据前次迭代获取到的第一属性的检测信息获取所述第一属性的第一属性特征向量。
前次迭代获取到的第一属性的检测信息至少包括第一属性的信息(如属性标识、属性标签或属性值等)。在此，将第一属性的信息编码为第一属性特征向量。可通过第一属性特征向量表征在要检测的全部属性标识、属性标签及属性值当中，检测到的第一属性的信息。
例如，假设要检测的全部属性标识、属性标签及属性值的总数为1000个，则设置与该总数相等维数(如1000维)的定长特征向量。其中，将与检测到的第一属性的信息对应的向量值设置为1。
以上描述了一种可选的第一属性特征向量的设置方式，但不限于此方式，还可使用其他设置方式来表征第一属性的信息。
如果该次迭代是步骤S220的首次迭代，则第一属性为空，第一属性特征向量的各个向量值可为零。
在步骤S223，根据所述图像特征向量和所述第一属性特征向量，通过所述第二神经网络获取第二属性特征向量。
图像特征向量表征样本图像的图像特征，第一属性特征向量表征已检测到的前一个属性(第一属性)的数据，在该步骤，将图像特征向量和所述第一属性特征向量输入具有记忆能力的第二神经网络，根据属性之间的关联/依赖关系来预测/检测下一个属性(第二属性)，获取表征第二属性的第二属性特征向量。
第二属性特征向量可具有与前述第一属性特征向量类似的数据结构设置或表达，也可根据涉及需要，采用不同的数据结构设置或表达。
在第二属性特征向量中的每个向量值可表征与该向量相应的属性的预测准确概率(如置信度)。
在步骤S225，根据所述第二属性特征向量获取第二属性的检测信息。
根据本发明的一种可选实施方式，将第二属性特征向量中预测准确概率最高的向量值对应的属性确定为第二属性。
根据本发明的另一种可选实施方式，可在第二神经网络末端设置分类器层(如Softmax层)；在步骤S225，通过所述分类器层从所述第二属性特征向量获取第二属性的检测信息。
需要指出，在此为方便描述，将前次预测得到的属性称为第一属性，将本次迭代预测得到的属性称为第二属性，第一属性和第二属性均为目标物体的属性。
此外，对于当次迭代来说，第一属性特征向量仅与当前或当前时刻的属性相关，而第二属性特征向量则与当前时刻以及之前全部预测过的属性均相关，即通过时间递归神经网络(如LSTM)学习到的长期依赖信息结合作为语境的图像特征向量预测到的第二属性特征向量。由此，提高属性预测的准确性。
在步骤S227，确定所述迭代是否满足迭代终止条件。
可根据网络训练的要求确定迭代终止条件，例如，迭代的次数、目标物体的全部属性的个数、前述最高预测准确概率的最低值等。
如果在步骤S227，确定前述迭代不满足迭代终止条件，则返回步骤S221，执行下一迭代处理。
如果在步骤S227，确定前述迭代满足迭代终止条件，则结束步骤S220的处理，并可继续执行步骤S230。
图3示例性地示出根据本发明的可选实施例步骤S220的处理。
在步骤S230，根据所述多个第二属性的检测信息和所述多个属性的标注信息分别计算各个属性的属性检测误差值，将各个所述属性检测误差值的均值作为所述检测误差值，由此防止个别错误的标注信息损害训练中的第一神经网络和第二神经网络的收敛。
可选地，在执行步骤S205之前，可根据目标物体的属性之间的关联性/依赖性有序地设置该多个属性的标注信息。在该步骤，使用损失函数分别计算多个第二属性的检测信息和多个属性的标注信息的损失值作为属性检测误差值。或者，将多个第二属性的检测信息和多个属性的标注信息逐个进行比对，来确定各个属性的属性检测误差值。
在步骤S240，根据所述检测误差值调整所述第一神经网络的网络参数和第二神经网络的网络参数。
步骤S240的处理与步骤S140的处理类似，在此不予赘述。
在前述步骤S221的处理中，可采用词袋模型等语义分析方法对前次迭代获取到的第一属性的检测信息进行语义规范处理。例如，根据语义分析方法将前次迭代获取到的属性的信息(如属性标签或属性值)转换为规范属性的信息(如规范的属性标签或属性值)，再将所述规范属性的信息编码为所述编码标签特征向量。通过将属性的信息进行语义规范处理，提高整个深度神经网络的收敛能力，控制第二神经网络的网络参数的个数。
此外，可通过以下处理来预训练第一神经网络：使用多个第二样本图像训练第三神经网络，所述多个第二样本图像标注有多个物体的分类信息；使用所述第三神经网络的特征层初始化所述第一神经网络。
例如，可使用训练样本集预训练作为第三神经网络的googlenet分类网络，使用该第三神经网络的卷积层作为第一神经网络的特征层，从而可从图像获得数千维的图像特征向量。
根据本发明的实施例二的深度神经网络的训练方法，利用物体的属性之间的关联/依赖关系，使用具有长短期记忆能力的神经网络、样本图像的图像特征以及先前获得的属性的检测信息，迭代地检测与先前预测到的属性之间具有关联/依赖关系的更多的属性，根据所述多个属性的检测信息和所述多个属性的标注信息获取检测误差值，再使用预测误差值更新深度神经网络的网络参数。由此训练得到的深度神经网络可根据物体属性之间的关联、依赖关系，自适应地检测出物体的诸多属性。由于该训练方法利用学习到的长短期依赖信息以及图像的图像特征来预测物体属性，因此其训练得到的深度神经网络适用于各种物体的属性检测，具有通用性，并且可准确地检测出物体的大量属性。
实施例三
图4是示出根据本发明实施例三的物体属性检测方法的流程图。
参照图4，在步骤S410，通过用于提取图像特征的第一神经网络获取待检图像的图像特征向量。该步骤的处理与前述步骤S110获取样本图像的图像特征向量的处理类似，在此不予赘述。
在步骤S420，根据所述图像特征向量，通过具有记忆能力的第二神经网络获取所述目标物体的多个属性的检测信息。该步骤的处理与前述步骤S120获取样本图像的图像特征向量的处理类似，在此不予赘述。
可使用根据前述实施例一或实施例二的训练方法训练得到的深度神经网络执行实施例三的方法。当然，需要指出，也可使用任何可用于提取图像特征的第一神经网络和具有记忆能力的第二神经网络来实现本发明提出的物体属性检测方法，而不限于使用根据实施例一或实施例二的训练方法训练得到的深度神经网络。
根据本发明实施例三的物体属性检测方法，通过前述训练得到的深度神经网络，可根据物体属性之间的关联、依赖关系，自适应地检测出物体的诸多属性，并具有通用性。
实施例四
图5是示出根据本发明实施例四的物体属性检测方法的流程图。
参照图5，在步骤S510，通过如前所述训练得到的第一神经网络获取待检图像的图像特征向量。该步骤的处理与前述步骤S110获取样本图像的图像特征向量的处理类似，在此不予赘述。
在步骤S520，根据所述图像特征向量，通过第二神经网络在时序上迭代地获取所述目标物体的多个属性的检测信息，直到所述迭代满足迭代终止条件为止，从而根据已检测到的属性检测获得多个属性。
具体地，步骤S520的获取所述多个属性的检测信息的每次迭代处理包括：根据前次迭代获取到的第一属性的检测信息获取所述第一属性的第一属性特征向量；根据所述图像特征向量和所述第一属性特征向量，通过所述第二神经网络获取第二属性特征向量；根据所述第二属性特征向量获取第二属性的检测信息。
可根据属性检测的要求确定迭代终止条件，例如，迭代的次数、预期要检测的属性的个数、最高预测准确概率的最低值等。
类似地，可使用根据前述实施例一或实施例二的训练方法训练得到的深度神经网络执行实施例三的方法。当然，需要指出，也可使用任何可用于提取图像特征的第一神经网络和具有记忆能力的第二神经网络来实现本发明提出的物体属性检测方法，而不限于使用根据实施例一或实施例二的训练方法训练得到的深度神经网络。
根据本发明实施例四的物体属性检测方法，通过前述训练得到的深度神经网络，可根据物体属性之间的关联、依赖关系，迭代地检测出目标物体的多个属性，能够自适应地检测出物体的诸多属性，并具有通用性。
实施例五
图6是示出根据本发明实施例五的深度神经网络的训练装置的逻辑框图。
参照图6，根据本发明实施例五的深度神经网络的训练装置包括样本图像特征获取模块610、样本属性检测模块620、误差获取模块630和训练模块640。
样本图像特征获取模块610用于通过第一神经网络获取多个第一样本图像的图像特征向量，所述第一样本图像含有目标物体的多个属性的标注信息。
样本属性检测模块620用于根据样本图像特征获取模块610获取到的图像特征向量，通过具有记忆能力的第二神经网络获取所述目标物体的多个属性的检测信息。
误差获取模块630用于根据样本属性检测模块620获取到的多个属性的检测信息和所述多个属性的标注信息获取检测误差值。
训练模块640用于根据误差获取模块630获取到的检测误差值调整所述第一神经网络的网络参数和第二神经网络的网络参数。
本实施例的深度神经网络的训练装置用于实现前述方法实施例中相应的深度神经网络的训练方法，且具有相应方法实施例的有益效果，在此不再赘述。
实施例六
图7是示出根据本发明实施例六的深度神经网络的训练装置的逻辑框图。
在根据本发明实施例六的深度神经网络的训练装置中，样本属性检测模块620具体地用于根据所述图像特征向量，通过第二神经网络在时序上迭代地获取所述目标物体的多个属性的检测信息，直到所述迭代满足迭代终止条件为止。
可选地，样本属性检测模块620在获取所述多个属性的检测信息的每次迭代处理包括：根据前次迭代获取到的第一属性的检测信息获取所述第一属性的第一属性特征向量；根据所述图像特征向量和所述第一属性特征向量，通过所述第二神经网络获取第二属性特征向量；根据所述第二属性特征向量获取第二属性的检测信息。
可选地，样本属性检测模块620在根据前次迭代获取到的属性的检测信息获取所述属性的第一属性特征向量的处理中，根据语义分析方法将前次迭代获取到的属性的信息转换为规范属性的信息，将所述规范属性的信息编码为所述编码标签特征向量。
可选地，参照图7，该训练装置除了包括样本图像特征获取模块610、样本属性检测模块620、误差获取模块630和训练模块640以外，还包括：样本预处理模块650，用于在通过第一神经网络获取多个第一样本图像的图像特征向量之前，分别从所述第一样本图像去除不属于所述目标物体的图像部分。
可选地，误差获取模块630用于根据所述多个属性的检测信息和所述多个属性的标注信息分别计算各个属性的属性检测误差值，并且将各个所述属性检测误差值的均值作为所述检测误差值。
可选地，所述第一神经网络为卷积神经网络，和/或，所述第二神经网络为时间递归神经网络。
可选地，所述第二神经网络末端设有分类器层；相应地，样本属性检测模块620在根据所述第二属性特征向量获取第二属性的检测信息的处理中，通过所述分类器层从所述第二属性特征向量获取第二属性的检测信息。
可选地，该训练装置还包括：预训练模块660，用于在通过第一神经网络获取多个第一样本图像的图像特征向量之前，使用多个第二样本图像训练第三神经网络，所述多个第二样本图像标注有多个物体的分类信息，并且使用所述第三神经网络训练后的特征层的网络参数初始化所述第一神经网络的网络参数。
本实施例的深度神经网络的训练装置用于实现前述方法实施例中相应的深度神经网络的训练方法，且具有相应方法实施例的有益效果，在此不再赘述。
实施例七
图8是示出根据本发明实施例七的物体属性检测装置的逻辑框图。
参照图8，根据本发明实施例七的物体属性检测装置包括待检图像特征获取模块810和待检图像属性检测模块820。
待检图像特征获取模块810用于通过第一神经网络获取待检图像的图像特征向量；
待检图像属性检测模块820用于根据待检图像特征获取模块810获取到的图像特征向量，通过具有记忆能力的第二神经网络获取所述目标物体的多个属性的检测信息。
可选地，待检图像属性检测模块820用于根据所述图像特征向量，通过第二神经网络在时序上迭代地获取所述目标物体的多个属性的检测信息，直到所述迭代满足迭代终止条件为止。
可选地，待检图像属性检测模块820在获取所述多个属性的检测信息的每次迭代处理包括：根据前次迭代获取到的第一属性的检测信息获取所述第一属性的第一属性特征向量；根据所述图像特征向量和所述第一属性特征向量，通过所述第二神经网络获取第二属性特征向量；根据所述第二属性特征向量获取第二属性的检测信息。
可选地，所述第一神经网络和第二神经网络通过如前述实施例一或实施例二所述的任一方法训练获得。
本实施例的物体属性检测装置用于实现前述方法实施例中相应的物体属性检测方法，且具有相应方法实施例的有益效果，在此不再赘述。
实施例八
图9是示出根据本发明实施例八的第一电子设备的结构示意图。
本发明实施例还提供了一种电子设备，例如可以是移动终端、个人计算机(PC)、平板电脑、服务器等。下面参考图9，其示出了适于用来实现本发明实施例的终端设备或服务器的第一电子设备900的结构示意图。
如图9所示，第一电子设备900包括一个或多个第一处理器、第一通信元件等，所述一个或多个第一处理器例如：一个或多个第一中央处理单元(CPU)901，和/或一个或多个第一图像处理器(GPU)913等，第一处理器可以根据存储在第一只读存储器(ROM)902中的可执行指令或者从第一存储部分908加载到第一随机访问存储器(RAM)903中的可执行指令而执行各种适当的动作和处理。第一通信元件包括第一通信组件912和第一通信接口909。其中，第一通信组件912可包括但不限于网卡，所述网卡可包括但不限于IB(Infiniband)网卡，第一通信接口909包括诸如LAN卡、调制解调器等的网络接口卡的通信接口，第一通信接口909经由诸如因特网的网络执行通信处理。
第一处理器可与第一只读存储器902和/或第一随机访问存储器930中通信以执行可执行指令，通过第一总线904与第一通信组件912相连、并经第一通信组件912与其他目标设备通信，从而完成本发明实施例提供的任一项方法对应的操作，例如，通过第一神经网络获取多个第一样本图像的图像特征向量，所述第一样本图像含有目标物体的多个属性的标注信息；根据所述图像特征向量，通过具有记忆能力的第二神经网络获取所述目标物体的多个属性的检测信息；根据所述多个属性的检测信息和所述多个属性的标注信息获取检测误差值；根据所述检测误差值调整所述第一神经网络的网络参数和第二神经网络的网络参数。
此外，在第一RAM 903中，还可存储有装置操作所需的各种程序和数据。第一CPU901、第一ROM 902以及第一RAM 903通过第一总线904彼此相连。在有第一RAM 903的情况下，第一ROM 902为可选模块。第一RAM 903存储可执行指令，或在运行时向第一ROM 902中写入可执行指令，可执行指令使第一处理器901执行上述通信方法对应的操作。第一输入/输出(I/O)接口905也连接至第一总线904。第一通信组件912可以集成设置，也可以设置为具有多个子模块(例如多个IB网卡)，并在总线链接上。
以下部件连接至第一I/O接口905：包括键盘、鼠标等的第一输入部分906；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的第一输出部分907；包括硬盘等的第一存储部分908；以及包括诸如LAN卡、调制解调器等的网络接口卡的第一通信接口909。第一驱动器910也根据需要连接至第一I/O接口905。第一可拆卸介质911，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在第一驱动器910上，以便于从其上读出的计算机程序根据需要被安装入第一存储部分908。
需要说明的是，如图9所示的架构仅为一种可选实现方式，在具体实践过程中，可根据实际需要对上述图9的部件数量和类型进行选择、删减、增加或替换；在不同功能部件设置上，也可采用分离设置或集成设置等实现方式，例如GPU和CPU可分离设置或者可将GPU集成在CPU上，第一通信组件912可分离设置，也可集成设置在CPU或GPU上，等等。这些可替换的实施方式均落入本发明的保护范围。
特别地，根据本发明实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行流程图所示的方法的程序代码，程序代码可包括对应执行本发明实施例提供的方法步骤对应的指令，例如，用于通过第一神经网络获取多个第一样本图像的图像特征向量，所述第一样本图像含有目标物体的多个属性的标注信息的可执行指令；用于根据所述图像特征向量，通过具有记忆能力的第二神经网络获取所述目标物体的多个属性的检测信息的可执行指令；用于根据所述多个属性的检测信息和所述多个属性的标注信息获取检测误差值的可执行指令；用于根据所述检测误差值调整所述第一神经网络的网络参数和第二神经网络的网络参数的可执行指令。在这样的实施例中，该计算机程序可以通过通信元件从网络上被下载和安装，和/或从第一可拆卸介质911被安装。在该计算机程序被第一中央处理单元(CPU)901执行时，执行本发明实施例的方法中限定的上述功能。
本发明实施例六提供的电子设备，利用物体属性之间的关联/依赖关系，使用具有记忆能力的神经网络和样本图像的图像特征数据，可根据从时序上已检测到的属性以及图像特征数据来检测得到更多的属性特征，从而获取目标物体的多个属性的检测信息。此后，再使用所述多个属性的检测信息和所述多个属性的标注信息计算得到的检测误差值调整用于提取图像特征的第一神经网络的网络参数和用于检测物体属性的第二神经网络的网络参数。由此训练得到的深度神经网络可自适应地检测出物体的多个相互关联的属性，与现有的属性识别技术相比，无需特殊对物体的某个属性检测进行设置和标注，因此本发明实施例的深度神经网络的训练方法训练得到的深度神经网络具有通用性，可用于检测任一种物体的相互具有关联/依赖关系的众多属性/子属性的信息。
实施例九
图10是示出根据本发明实施例九的第二电子设备的结构示意图。
本发明实施例还提供了一种电子设备，例如可以是移动终端、个人计算机(PC)、平板电脑、服务器等。下面参考图10，其示出了适于用来实现本发明实施例的终端设备或服务器的第二电子设备1000的结构示意图。
如图10所示，第二电子设备1000包括一个或多个第二处理器、第二通信元件等，所述一个或多个第二处理器例如：一个或多个第二中央处理单元(CPU)1001，和/或一个或多个第二图像处理器(GPU)1013等，第二处理器可以根据存储在第二只读存储器(ROM)1002中的可执行指令或者从第二存储部分1008加载到第二随机访问存储器(RAM)1003中的可执行指令而执行各种适当的动作和处理。第二通信元件包括第二通信组件1012和第二通信接口1009。其中，第二通信组件1012可包括但不限于网卡，所述网卡可包括但不限于IB(Infiniband)网卡，第二通信接口1009包括诸如LAN卡、调制解调器等的网络接口卡的通信接口，第二通信接口1009经由诸如因特网的网络执行通信处理。
第二处理器可与第二只读存储器1002和/或第二随机访问存储器1030中通信以执行可执行指令，通过第二总线1004与第二通信组件1012相连、并经第二通信组件1012与其他目标设备通信，从而完成本发明实施例提供的任一项方法对应的操作，例如，通过第一神经网络获取待检图像的图像特征向量；根据所述图像特征向量，通过具有记忆能力的第二神经网络获取所述目标物体的多个属性的检测信息。
此外，在第二RAM 1003中，还可存储有装置操作所需的各种程序和数据。第二CPU1001、第二ROM 1002以及第二RAM 1003通过第二总线1004彼此相连。在有第二RAM 1003的情况下，第二ROM 1002为可选模块。第二RAM 1003存储可执行指令，或在运行时向第二ROM1002中写入可执行指令，可执行指令使第二处理器1001执行上述通信方法对应的操作。第二输入/输出(I/O)接口1005也连接至第二总线1004。第二通信组件1012可以集成设置，也可以设置为具有多个子模块(例如多个IB网卡)，并在总线链接上。
以下部件连接至第二I/O接口1005：包括键盘、鼠标等的第二输入部分1006；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的第二输出部分1007；包括硬盘等的第二存储部分1008；以及包括诸如LAN卡、调制解调器等的网络接口卡的第二通信接口1009。第二驱动器1010也根据需要连接至第二I/O接口1005。第二可拆卸介质1011，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在第二驱动器1010上，以便于从其上读出的计算机程序根据需要被安装入第二存储部分1008。
需要说明的是，如图10所示的架构仅为一种可选实现方式，在具体实践过程中，可根据实际需要对上述图10的部件数量和类型进行选择、删减、增加或替换；在不同功能部件设置上，也可采用分离设置或集成设置等实现方式，例如GPU和CPU可分离设置或者可将GPU集成在CPU上，第二通信组件1012可分离设置，也可集成设置在CPU或GPU上，等等。这些可替换的实施方式均落入本发明的保护范围。
特别地，根据本发明实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行流程图所示的方法的程序代码，程序代码可包括对应执行本发明实施例提供的方法步骤对应的指令，例如，用于通过第一神经网络获取待检图像的图像特征向量的可执行代码；用于根据所述图像特征向量，通过具有记忆能力的第二神经网络获取所述目标物体的多个属性的检测信息的可执行代码。在这样的实施例中，该计算机程序可以通过通信元件从网络上被下载和安装，和/或从第二可拆卸介质1011被安装。在该计算机程序被第二中央处理单元(CPU)1001执行时，执行本发明实施例的方法中限定的上述功能。
由于通过前述训练得到的深度神经网络，可根据物体属性之间的关联、依赖关系，自适应地检测出物体的诸多属性，并具有通用性。
可能以许多方式来实现本发明的方法和装置、设备。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明实施例的方法和装置、设备。用于方法的步骤的上述顺序仅是为了进行说明，本发明实施例的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本发明实施为记录在记录介质中的程序，这些程序包括用于实现根据本发明实施例的方法的机器可读指令。因而，本发明还覆盖存储用于执行根据本发明的方法的程序的记录介质。
需要指出，根据实施的需要，可将本申请中描述的各个部件/步骤拆分为更多部件/步骤，也可将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤，以实现本发明实施例的目的。
上述根据本发明实施例的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如CD ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如ASIC或FPGA)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，RAM、ROM、闪存等)，当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的处理方法。此外，当通用计算机访问用于实现在此示出的处理的代码时，代码的执行将通用计算机转换为用于执行在此示出的处理的专用计算机。
以上所述，仅为本发明实施例的具体实施方式，但本发明实施例的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明实施例揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明实施例的保护范围之内。因此，本发明实施例的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种深度神经网络的训练方法，包括：
通过第一神经网络获取多个第一样本图像的图像特征向量，所述第一样本图像含有目标物体的多个属性的标注信息；
根据所述图像特征向量，通过具有记忆能力的第二神经网络获取所述目标物体的多个属性的检测信息；
根据所述多个属性的检测信息和所述多个属性的标注信息获取检测误差值；
根据所述检测误差值调整所述第一神经网络的网络参数和第二神经网络的网络参数。
2.根据权利要求1所述的方法，其中，所述根据所述图像特征向量，通过第二神经网络获取所述目标物体的多个属性的检测信息包括：
根据所述图像特征向量，通过第二神经网络在时序上迭代地获取所述目标物体的多个属性的检测信息，直到所述迭代满足迭代终止条件为止。
3.根据权利要求2所述的方法，其中，所述获取所述多个属性的检测信息的每次迭代处理包括：
根据前次迭代获取到的第一属性的检测信息获取所述第一属性的第一属性特征向量；
根据所述图像特征向量和所述第一属性特征向量，通过所述第二神经网络获取第二属性特征向量；
根据所述第二属性特征向量获取第二属性的检测信息。
4.一种物体属性检测方法，包括：
通过第一神经网络获取待检图像的图像特征向量；
根据所述图像特征向量，通过具有记忆能力的第二神经网络获取所述目标物体的多个属性的检测信息。
5.根据权利要求4所述的方法，其中，所述根据所述图像特征向量，通过第二神经网络获取所述目标物体的多个属性的检测信息包括：
根据所述图像特征向量，通过第二神经网络在时序上迭代地获取所述目标物体的多个属性的检测信息，直到所述迭代满足迭代终止条件为止。
6.一种深度神经网络的训练装置，包括：
样本图像特征获取模块，用于通过第一神经网络获取多个第一样本图像的图像特征向量，所述第一样本图像含有目标物体的多个属性的标注信息；
样本属性检测模块，用于根据所述样本图像特征获取模块获取到的图像特征向量，通过具有记忆能力的第二神经网络获取所述目标物体的多个属性的检测信息；
误差获取模块，用于根据所述样本属性检测模块获取到的多个属性的检测信息和所述多个属性的标注信息获取检测误差值；
训练模块，用于根据所述误差获取模块获取到的检测误差值调整所述第一神经网络的网络参数和第二神经网络的网络参数。
7.根据权利要求6所述的装置，其中，所述样本属性检测模块用于根据所述图像特征向量，通过第二神经网络在时序上迭代地获取所述目标物体的多个属性的检测信息，直到所述迭代满足迭代终止条件为止。
8.一种物体属性检测装置，包括：
待检图像特征获取模块，用于通过第一神经网络获取待检图像的图像特征向量；
待检图像属性检测模块，用于根据所述待检图像特征获取模块获取到的图像特征向量，通过具有记忆能力的第二神经网络获取所述目标物体的多个属性的检测信息。
9.一种电子设备，包括：第一处理器、第一存储器、第一通信元件和第一通信总线，所述第一处理器、所述第一存储器和所述第一通信元件通过所述第一通信总线完成相互间的通信；
所述第一存储器用于存放至少一可执行指令，所述可执行指令使所述第一处理器执行如权利要求1～3中任一项所述的深度神经网络的训练方法对应的操作。
10.一种电子设备，包括：第二处理器、第二存储器、第二通信元件和第二通信总线，所述第二处理器、所述第二存储器和所述第二通信元件通过所述第二通信总线完成相互间的通信；
所述第二存储器用于存放至少一可执行指令，所述可执行指令使所述第二处理器执行如权利要求4～5任一项所述的物体属性检测方法对应的操作。
CN201710131137.4A 2017-03-07 2017-03-07 神经网络的训练方法、属性检测方法、装置及电子设备 Active CN108229522B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710131137.4A CN108229522B (zh) 2017-03-07 2017-03-07 神经网络的训练方法、属性检测方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710131137.4A CN108229522B (zh) 2017-03-07 2017-03-07 神经网络的训练方法、属性检测方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN108229522A true CN108229522A (zh) 2018-06-29
CN108229522B CN108229522B (zh) 2020-07-17

Family

ID=62656509

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710131137.4A Active CN108229522B (zh) 2017-03-07 2017-03-07 神经网络的训练方法、属性检测方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN108229522B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108898188A (zh) * 2018-07-06 2018-11-27 四川奇迹云科技有限公司 一种图像数据集辅助标记系统及方法
CN111091125A (zh) * 2019-09-24 2020-05-01 上海联影智能医疗科技有限公司 基于相似性提供用于调整对象的引导的方法和系统
CN111398968A (zh) * 2018-12-28 2020-07-10 浙江舜宇智能光学技术有限公司 Tof精度检测系统及其精度检测方法
CN111414902A (zh) * 2019-01-08 2020-07-14 北京京东尚科信息技术有限公司 图像标注的方法和装置
CN112149738A (zh) * 2020-09-24 2020-12-29 北京建筑大学 一种用于改善图像识别模型领域变换现象的方法
CN112199978A (zh) * 2019-07-08 2021-01-08 北京地平线机器人技术研发有限公司 视频物体检测方法和装置、存储介质和电子设备
CN112529039A (zh) * 2020-11-11 2021-03-19 联想(北京)有限公司 一种主板物料信息的检验方法、装置及存储介质
CN112989909A (zh) * 2019-12-17 2021-06-18 通用汽车环球科技运作有限责任公司 用于地图增强的道路属性检测和分类
WO2021142904A1 (zh) * 2020-01-17 2021-07-22 北京市商汤科技开发有限公司 视频分析方法及其相关的模型训练方法、设备、装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105404877A (zh) * 2015-12-08 2016-03-16 商汤集团有限公司 基于深度学习和多任务学习的人脸属性预测方法及装置
US20160099010A1 (en) * 2014-10-03 2016-04-07 Google Inc. Convolutional, long short-term memory, fully connected deep neural networks
CN105631468A (zh) * 2015-12-18 2016-06-01 华南理工大学 一种基于rnn的图片描述自动生成方法
CN105844239A (zh) * 2016-03-23 2016-08-10 北京邮电大学 一种基于cnn和lstm的暴恐视频检测方法
CN106250707A (zh) * 2016-08-12 2016-12-21 王双坤 一种基于深度学习算法处理头部结构像数据的方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160099010A1 (en) * 2014-10-03 2016-04-07 Google Inc. Convolutional, long short-term memory, fully connected deep neural networks
CN105404877A (zh) * 2015-12-08 2016-03-16 商汤集团有限公司 基于深度学习和多任务学习的人脸属性预测方法及装置
CN105631468A (zh) * 2015-12-18 2016-06-01 华南理工大学 一种基于rnn的图片描述自动生成方法
CN105844239A (zh) * 2016-03-23 2016-08-10 北京邮电大学 一种基于cnn和lstm的暴恐视频检测方法
CN106250707A (zh) * 2016-08-12 2016-12-21 王双坤 一种基于深度学习算法处理头部结构像数据的方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ZHENQI XU ; SHAN LI ; WEIHONG DENG: "Learning temporal features using LSTM-CNN architecture for face anti-spoofing", 《2015 3RD IAPR ASIAN CONFERENCE ON PATTERN RECOGNITION (ACPR)》 *
段建；翟慧敏: "深度卷积神经网络在Caltech-101图像分类中的相关研究", 《计算机应用与软件》 *
董慧颖: "《典型目标识别与图像除雾技术》", 31 October 2016, 国防工业出版社 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108898188A (zh) * 2018-07-06 2018-11-27 四川奇迹云科技有限公司 一种图像数据集辅助标记系统及方法
CN111398968A (zh) * 2018-12-28 2020-07-10 浙江舜宇智能光学技术有限公司 Tof精度检测系统及其精度检测方法
CN111398968B (zh) * 2018-12-28 2022-10-18 浙江舜宇智能光学技术有限公司 Tof精度检测系统及其精度检测方法
CN111414902A (zh) * 2019-01-08 2020-07-14 北京京东尚科信息技术有限公司 图像标注的方法和装置
CN112199978A (zh) * 2019-07-08 2021-01-08 北京地平线机器人技术研发有限公司 视频物体检测方法和装置、存储介质和电子设备
CN111091125A (zh) * 2019-09-24 2020-05-01 上海联影智能医疗科技有限公司 基于相似性提供用于调整对象的引导的方法和系统
CN111091125B (zh) * 2019-09-24 2024-03-22 上海联影智能医疗科技有限公司 基于相似性提供用于调整对象的引导的方法和系统
CN112989909A (zh) * 2019-12-17 2021-06-18 通用汽车环球科技运作有限责任公司 用于地图增强的道路属性检测和分类
JP7096431B2 (ja) 2020-01-17 2022-07-05 ベイジン・センスタイム・テクノロジー・デベロップメント・カンパニー・リミテッド ビデオ分析方法及びそれに関連するモデル訓練方法、機器、装置
WO2021142904A1 (zh) * 2020-01-17 2021-07-22 北京市商汤科技开发有限公司 视频分析方法及其相关的模型训练方法、设备、装置
JP2022520511A (ja) * 2020-01-17 2022-03-31 ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド ビデオ分析方法及びそれに関連するモデル訓練方法、機器、装置
TWI761813B (zh) * 2020-01-17 2022-04-21 大陸商北京市商湯科技開發有限公司 視頻分析方法及其相關的模型訓練方法、電子設備、儲存介質
CN112149738B (zh) * 2020-09-24 2021-04-27 北京建筑大学 一种用于改善图像识别模型领域变换现象的方法
CN112149738A (zh) * 2020-09-24 2020-12-29 北京建筑大学 一种用于改善图像识别模型领域变换现象的方法
CN112529039A (zh) * 2020-11-11 2021-03-19 联想(北京)有限公司 一种主板物料信息的检验方法、装置及存储介质
CN112529039B (zh) * 2020-11-11 2023-11-24 联想(北京)有限公司 一种主板物料信息的检验方法、装置及存储介质

Also Published As

Publication number Publication date
CN108229522B (zh) 2020-07-17

Similar Documents

Publication Publication Date Title
CN108229522A (zh) 神经网络的训练方法、属性检测方法、装置及电子设备
CN108229489B (zh) 关键点预测、网络训练、图像处理方法、装置及电子设备
Lapuschkin et al. Analyzing classifiers: Fisher vectors and deep neural networks
CN109086811B (zh) 多标签图像分类方法、装置及电子设备
JP5984153B2 (ja) 情報処理装置、プログラム、及び情報処理方法
CN113486981B (zh) 基于多尺度特征注意力融合网络的rgb图像分类方法
US20170169314A1 (en) Methods for object localization and image classification
CN110033026B (zh) 一种连续小样本图像的目标检测方法、装置及设备
CN111127364B (zh) 图像数据增强策略选择方法及人脸识别图像数据增强方法
CN108537168B (zh) 基于迁移学习技术的面部表情识别方法
CN108229673A (zh) 卷积神经网络的处理方法、装置和电子设备
US20220092407A1 (en) Transfer learning with machine learning systems
CN103745233B (zh) 基于空间信息迁移的高光谱图像分类方法
CN112132014B (zh) 基于非督导金字塔相似性学习的目标重识别方法及系统
CN110175657B (zh) 一种图像多标签标记方法、装置、设备及可读存储介质
CN113569852A (zh) 语义分割模型的训练方法、装置、电子设备及存储介质
CN114144770A (zh) 用于生成用于模型重新训练的数据集的系统和方法
CN117036843A (zh) 目标检测模型训练方法、目标检测方法和装置
CN111159241A (zh) 一种点击转化预估方法及装置
CN116910571A (zh) 一种基于原型对比学习的开集域适应方法及系统
CN117173154A (zh) 玻璃瓶的在线图像检测系统及其方法
JP2020181255A (ja) 画像解析装置、画像解析方法及び画像解析プログラム
CN111461152A (zh) 货物检测方法及装置、电子设备和计算机可读介质
CN115170908A (zh) 数据标注模型训练方法、装置及电子设备
CN113111879B (zh) 一种细胞检测的方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant