CN110378381A - 物体检测方法、装置和计算机存储介质 - Google Patents

物体检测方法、装置和计算机存储介质 Download PDF

Info

Publication number
CN110378381A
CN110378381A CN201910523157.5A CN201910523157A CN110378381A CN 110378381 A CN110378381 A CN 110378381A CN 201910523157 A CN201910523157 A CN 201910523157A CN 110378381 A CN110378381 A CN 110378381A
Authority
CN
China
Prior art keywords
image
examined object
classification
training
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910523157.5A
Other languages
English (en)
Other versions
CN110378381B (zh
Inventor
徐航
李震国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201910523157.5A priority Critical patent/CN110378381B/zh
Publication of CN110378381A publication Critical patent/CN110378381A/zh
Priority to PCT/CN2020/089438 priority patent/WO2020253416A1/zh
Priority to US17/553,236 priority patent/US20220108546A1/en
Application granted granted Critical
Publication of CN110378381B publication Critical patent/CN110378381B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了物体检测方法和装置。涉及人工智能领域，具体涉及计算机视觉领域。该方法包括：先获取待检测图像；然后对该检测图像进行卷积处理，以得到待检测图像中的待检测物体的初始图像特征；再根据知识图谱信息确定待检测物体的增强图像特征，最后再综合待检测物体的初始图像特征和增强图像特征来确定待检测物体的候选框和分类。由于上述增强图像特征指示了待检测物体相关联的其他物体对应的不同物体类别的语义信息，因此，本申请能够提高物体检测方法的效果。

Description

物体检测方法、装置和计算机存储介质
技术领域
本申请涉及计算机视觉领域，并且更具体地，涉及一种物体检测方法、装置和计算机存储介质。
背景技术
计算机视觉是各个应用领域，如制造业、检验、文档分析、医疗诊断，和军事等领域中各种智能/自主系统中不可分割的一部分，它是一门关于如何运用照相机/摄像机和计算机来获取我们所需的，被拍摄对象的数据与信息的学问。形象地说，计算机视觉就是给计算机安装上眼睛(照相机/摄像机)和大脑(算法)用来代替人眼对目标进行识别、跟踪和测量等，从而使计算机能够感知环境。因为感知可以看作是从感官信号中提取信息，所以计算机视觉也可以看作是研究如何使人工系统从图像或多维数据中“感知”的科学。总的来说，计算机视觉就是用各种成像系统代替视觉器官获取输入信息，再由计算机来代替大脑对这些输入信息完成处理和解释。计算机视觉的最终研究目标就是使计算机能像人那样通过视觉观察和理解世界，具有自主适应环境的能力。
物体检测是计算机视觉领域中的具体应用。物体检测是指在一张图片或者一段视频中标出物体的位置以及物体的类别过程。传统方案一般对待检测图片中的不同物体分别进行检测，以确定待检测图片中的每个物体的位置和分类。但是，在很多场景(例如，待检测图片中的物体比较多，物体之间的遮挡也比较严重)下，传统方案的检测效果一般。
发明内容
本申请提供一种物体检测方法、装置和计算机存储介质，以提高物体检测的效果。
第一方面，提供了一种物体检测方法，该方法包括：获取待检测图像；对待检测图像进行卷积处理，得到待检测物体的初始图像特征；根据知识图谱信息确定待检测物体的增强图像特征；根据待检测物体的初始图像特征和待检测物体的增强图像特征，确定待检测物体的候选框和分类。
其中，上述知识图谱信息包括待检测图像中的不同物体对应的不同物体类别之间的关联关系，上述待检测物体的增强图像特征指示了与待检测物体相关联的其它物体对应的物体类别的语义信息。
上述确定的待检测物体的候选框可以是待检测物体的最终候选框，上述确定的待检测物体的分类可以是待检测物体的最终分类(结果)。
上述物体检测方法可以应用在不同的应用场景中，例如，上述物体检测方法可以应用在识别万物的场景中，也可以应用在街景识别的场景中。
当上述方法应用在利用移动终端来识别万物的场景时，上述待检测图像可以是移动终端通过摄像头拍摄的图像，也可以是移动终端相册中已经存储的图像。
当上述方法应用在街景识别的场景时，上述待检测图像可以是路边的摄像头拍摄的街景图像。
上述初始图像特征和增强图像特征具体可以是卷积特征图。
上述物体检测方法可以由神经网络来执行，具体地，上述物体检测方法可以由卷积神经网络CNN或者深度神经网络DNN来执行。
可选地，上述对待检测图像进行卷积处理，包括：采用卷积神经网络CNN或者深度神经网络DNN对待检测图像进行卷积处理。
可选地，上述方法还包括：根据待检测物体的初始图像特征确定待检测物体的初始候选框和初始分类。
在确定待检测物体的初始候选框和初始分类的过程中，一般是先对待检测图像的整个图像进行卷积处理，得到待检测图像的整个图像的卷积特征，然后再根据固定的尺寸要求，将待检测图像划分成不同的方框，对每个方框内的图像对应的特征进行打分，将打分较高的方框筛选出来作为初始候选框，并以该初始候选框对应的图像特征确定初始候选框对应的图像的初始分类。
例如，待检测图像为第一图像，为了获得第一图像中的待检测物体的初始候选框和初始分类，可以先对第一图像的整个图像进行卷积处理，得到第一图像的整个图像的卷积特征，然后将第一图像划分成3×3个方框，对每个方框的图像对应的特征进行打分。最后可以将打分较高的方框A和方框B筛选出来作为初始候选框，然后再以方框A内的图像对应的特征确定方框A内的图像的初始分类，以方框B内的图像对应的特征确定方框B内的图像的初始分类。
本申请中，在对待检测图像进行物体检测时，通过待检测物体的初始图像特征和增强图像特征来综合确定待检测物体的检测结果，与仅考虑待检测物体的初始图像特征获取检测结果的方式相比，能够得到更好的检测结果。
具体地，本申请在确定待检测物体的检测结果时，不仅考虑到了反映待检测物体本身特性的初始图像特征，还考虑到了待检测图像中与待检测物体相关联的其他物体的语义信息。本申请通过综合待检测物体本身特征以及相关联的其他物体的特征来综合确定待检测物体的检测结果，能够在一定程度上提高待检测物体的检测结果的准确性。
例如，待检测图像中存在待检测的第一物体，待检测图像中与该第一物体相关联的物体包括道路和人，那么，在确定第一物体的检测结果时，可以综合考虑从第一物体提取到的初始图像特征，以及人和道路的语义信息来确定第一物体的检测结果。假设，第一物体的初始分类结果是自行车，那么，由于人和道路与自行车同时出现的可能性很大，因此，能够通过借助人和道路的语义信息能够提高第一物体属于自行车的置信度，从而最终提高第一物体的检测结果的准确性。
可选地，上述对待检测图像进行卷积处理，得到待检测物体的初始图像特征，包括：对待检测图像的整个图像进行卷积处理，得到待检测图像的完整图像特征；将该待检测图像的完整图像特征中与待检测物体对应的图像特征确定为待检测物体的初始图像特征。
本申请中，先对待检测图像的整个图像进行卷积处理得到待检测图像的完整图像特征，然后再从待检测图像的完整图像特征中获取与待检测物体对应的图像特征，这种获取待检测物体的图像特征的方式与每次都单独获取各个待检测物体对应的图像特征的方式相比，能够减少获取待检测物体的图像特征的复杂度。
可选地，上述根据知识图谱信息确定待检测物体的增强图像特征，包括：根据知识图谱信息和记忆池信息确定图结构信息；根据该图结构信息确定待检测物体的增强图像特征。
上述根据知识图谱信息和记忆池信息确定图结构信息，也可以称为根据知识图谱信息和记忆池信息生成图结构。
上述图结构信息(或者也可以称为图结构)可以包括多个节点，其中，每个节点对应一个物体类别，相互连接的节点之间对应的物体类别(或者也可以称为物体分类)有一定的关联关系，每个节点包含对应的物体类别的语义信息。上述图结构一般可以包括多个节点，该多个节点对应的物体类别可以包含待检测物体的物体类别，以及与待检测物体的物体类别相关联的其它物体类别。
在根据图结构信息确定待检测物体的增强图像特征时，具体可以是根据图结构信息确定出待检测物体的物体类别在图结构中对应的节点，然后将该节点的周围节点的语义信息提取出来，这样就得到了待检测物体的增强图像特征。
另外，在根据知识图谱信息和记忆池信息确定图结构信息时，具体可以是根据记忆池信息中包含的物体类别的种类以及知识图谱信息中包含的不同物体类别之间的关联关系来生成图结构信息。
例如，上述知识图谱信息包括1000个物体类别之间的关联关系，上述记忆池包含100个物体类别的分类层参数，那么，可以从知识图谱信息中获取记忆池信息中记录的100个物体类别之间的关联关系，接下来，就可以根据该100个物体类别之间的关联关系来构的图结构(该图结构包含100个节点，该100个节点对应上述100个物体类别)了。
可选地，上述根据待检测物体的初始图像特征和待检测物体的增强图像特征，确定待检测物体的候选框和分类，包括：对待检测物体的初始图像特征和待检测物体的增强图像特征进行组合，得到待检测物体的最终图像特征；根据待检测物体的最终图像特征确定待检测物体的候选框和分类。
具体地，待检测物体的初始图像特征和待检测物体的增强图像特征可以对应不同维数的张量，而待检测物体的最终图像特征对应的张量可以是待检测物体的初始图像特征对应的张量和待检测物体的增强图像特征对应的张量合并得到的。
例如，待检测物体的初始图像特征为一个大小为M1×N1×C1的卷积特征图，待检测物体的增强图像特征是一个大小为M1×N1×C2的卷积特征图，那么，通过对这两个卷积特征图的组合，可以得到待检测物体的最终图像特征，该最终图像特征是一个大小为M1×N1×(C1+C2)卷积特征图。
结合第一方面，在第一方面的某些实现方式中，上述知识图谱信息是预先设定的。
具体地，上述知识图谱信息可以是根据经验预先设定好的。例如，可以根据人工标注的不同类别的物体之间的关联关系来设置或者生成知识图谱信息。
例如，可以通过人为统计不同类别的物体之间的相似程度以及不同类别的物体之间同时出现的概率来确定知识图谱信息。
结合第一方面，在第一方面的某些实现方式中，待检测图像中的不同物体对应的不同物体类别之间的关联关系包括以下信息中的至少一种：不同物体类别的属性关联关系；不同物体类别之间的位置关系；不同物体类别的词向量之间的相似程度；不同物体类别同时出现的概率。
上述不同类别的物体的属性关联关系具体可以是指不同类别的物体之间是否具有相同的属性。例如，苹果的颜色是红色，草莓的颜色也是红色，那么，苹果和草莓在颜色上具有相同的属性(或者，也可以说苹果和草莓在颜色属性上比较接近)。
结合第一方面，在第一方面的某些实现方式中，上述知识图谱信息是根据训练数据对神经网络模型进行训练得到的，该训练数据包括训练图像以及训练图像中不同物体所属的物体类别。
其中，上述训练图像中一般可以包含多个待检测物体，上述训练图像中不同物体所属的物体类别也可以称为训练图像的标记数据，该标记数据可以是(人工)预先标注好的数据。
在上述训练过程中，可以先预设一个初始知识图谱信息(该初始的知识图谱信息可以是)，然后在利用训练数据对神经网络模型进行训练的过程中不断调整该初始知识图谱信息，当到训练图像的检测结果与训练图像的标记结果比较接近时(也可以是在训练次数达到一定程度时)，就可以把当前的知识图谱信息作为最终训练得到的知识图谱信息了。
上述初始知识图谱信息可以包括待检测图像中的不同物体对应的不同物体类别之间的关联关系，该初始知识图谱信息中包含的待检测图像中的不同物体对应的不同物体类别之间的关联关系可以是随机设置的。
结合第一方面，在第一方面的某些实现方式中，上述根据知识图谱信息确定待检测物体的增强图像特征，包括：采用基于注意力机制的图卷积方式或者基于空间信息的图稀疏卷积方式对待检测物体相关联的其它物体对应的物体类别的语义信息进行卷积处理，得到待检测物体的增强图像特征。
本申请中，当采用基于注意力机制的图卷积方式进行卷积处理时，能够从每个从待检测物体最关注的其它物体中提取增强图像特征，使得增强图像特征反映的信息更有针对性，便于最终提高待检测物体的检测效果。
本申请中，当基于空间信息的图稀疏卷积方式进行卷积处理时，能够从与待检测物体的空间距离在一定范围内的其它物体中提取增强图像特征，使得增强图像特征反映的信息更有针对性，便于最终提高待检测物体的检测效果。
结合第一方面，在第一方面的某些实现方式中，上述方法还包括：显示待检测物体的检测结果，待检测物体的检测结果包括待检测物体的候选框和分类。
通过显示待检测物体的候选框和分类，便于用户查看最终的检测结果，提高用户体验。
可选地，上述显示待检测物体的检测结果，包括：在显示屏上显示待检测物体的检测结果。
上述第一方面的方法可以由神经网络(模型)来执行。具体地，在获取到待检测图像之后，可以通过神经网络对待检测图像进行卷积处理，得到待检测物体的初始图像特征，根据神经网络以及知识图谱信息确定待检测物体的增强图像特征，然后利用神经网络再根据待检测物体的初始图像特征和待检测物体的增强图像特征，确定待检测物体的候选框和分类。
第二方面，提供了一种神经网络的训练方法，该方法包括：获取训练数据，该训练数据包括训练图像以及训练图像中待检测物体的物体检测标注结果；根据神经网络提取该训练图像中的待检测物体的初始图像特征；根据该神经网络以及知识图谱信息提取该训练图像中的待检测物体的增强图像特征；根据该神经网络对待检测物体的初始图像特征和增强图像特征进行处理，得到该待检测物体的物体检测结果；根据该训练图像的中的待检测物体的物体检测结果与该训练图像中的待检测物体的物体检测标注结果，确定该神经网络的模型参数。
其中，上述知识图谱信息包括训练图像中的不同物体对应的物体类别之间的关联关系，上述训练图像中的待检测物体的增强图像特征指示了与该待检测物体相关联的其它物体对应的物体类别的语义信息。
上述训练图像中的待检测物体的物体检测标注结果包括该训练图像中的待检测物体的标注候选框和标注分类结果。
上述标注候选框和标注分类结果可以是预先(具体可以是通过人工进行标注)标注好的。
另外，在上述训练的过程中，采用的训练图像一般是多个。
在对上述神经网络进行训练的过程中，可以为神经网络设置一套初始的模型参数，然后根据训练图像中的待检测物体的物体检测结果与训练图像中的待检测物体的物体检测标注结果的差异来逐渐调整神经网络的模型参数，直到训练图像中的待检测物体的物体检测结构与训练图像中的待检测物体的物体检测标注结果之间的差异在一定的预设范围内，或者，当训练的次数达到预设次数时，将此时的神经网络的模型参数确定为该神经网络模型的最终的参数，这样就完成了对神经网络的训练了。
应理解，通过第二方面训练得到的神经网络能够用于执行本申请第一方面中的方法。
本申请中，在训练神经网络时，不仅提取了训练图像中的待检测物体的初始图像特征，还提取了训练图像中的待检测物体的增强图像特征，并综合根据待检测物体的初始图像特征和增强图像特征来确定待检测物体的物体检测结果。也就是说，本申请的训练方法在训练过程中提取了更多的特征来进行物体检测，可以训练得到性能更好的神经网络，使得利用该神经网络进行物体检测能够取得更好的物体检测效果。
结合第二方面，在第二方面的某些实现方式中，上述知识图谱信息是预先设定的。
结合第二方面，在第二方面的某些实现方式中，上述知识图谱信息是根据训练数据对其它神经网络模型进行训练得到的，训练数据包括训练图像以及所述训练图像中不同物体所属的物体类别。
这里的其它神经网络模型可以是不同于第二方面的训练方法中进行训练的神经网络模型。
结合第二方面，在第二方面的某些实现方式中，上述训练图像中的不同物体对应的不同物体类别之间的关联关系包括以下至少一种：不同物体类别的属性关联关系；不同物体类别之间的位置关系；不同物体类别的词向量之间的相似程度；不同物体类别同时出现的概率。
第三方面，提供了一种物体检测装置，该物体检测装置包括用于执行上述第一方面中的方法中的各个模块。
第四方面，提供了一种神经网络的训练装置，该装置包括用于执行上述第二方面中的方法中的各个模块。
第五方面，提供了一种物体检测装置，该装置包括：存储器，用于存储程序；处理器，用于执行所述存储器存储的程序，当所述存储器存储的程序被执行时，所述处理器用于执行上述第一方面中的方法。
第六方面，提供了一种神经网络的训练装置，该装置包括：存储器，用于存储程序；处理器，用于执行所述存储器存储的程序，当所述存储器存储的程序被执行时，所述处理器用于执行上述第二方面中的方法。
第七方面，提供了一种电子设备，该电子设备包括上述第三方面或者第五方面中的物体检测装置。
第八方面，提供了一种电子设备，该电子设备包括上述第四方面或者第六方面中的物体检测装置。
上述电子设备具体可以是移动终端(例如，智能手机)，平板电脑，笔记本电脑，增强现实/虚拟现实设备以及车载终端设备等等。
第九方面，提供一种计算机存储介质，该计算机存储介质存储有程序代码，该程序代码包括用于执行第一方面或者第二方面中的方法中的步骤的指令。
第十方面，提供一种包含指令的计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述第一方面或者第二方面中的方法。
第十一方面，提供一种芯片，所述芯片包括处理器与数据接口，所述处理器通过所述数据接口读取存储器上存储的指令，执行上述第一方面或者第二方面中的方法。
可选地，作为一种实现方式，所述芯片还可以包括存储器，所述存储器中存储有指令，所述处理器用于执行所述存储器上存储的指令，当所述指令被执行时，所述处理器用于执行第一方面中的方法。
上述芯片具体可以是现场可编程门阵列FPGA或者专用集成电路ASIC。
应理解，上述第一方面的方法具体可以是指第一方面以及第一方面中各种实现方式中的任意一种实现方式中的方法。上述第二方面的方法具体可以是指第二方面以及第二方面中各种实现方式中的任意一种实现方式中的方法。
附图说明
图1是本申请实施例提供的系统架构的结构示意图；
图2是利用本申请实施例提供的卷积神经网络模型进行物体检测的示意图；
图3是本申请实施例提供的一种芯片硬件结构示意图；
图4是本申请实施例的物体检测方法的示意性流程图；
图5是本申请实施例的图结构的示意图；
图6是本申请实施例的物体检测方法的流程图；
图7是本申请实施例的物体检测方法的流程图；
图8是本申请实施例的神经网络的训练方法的示意性流程图；
图9是本申请实施例的物体检测装置的示意性框图；
图10是本申请实施例的物体检测装置的示意性框图；
图11是本申请实施例的神经网络训练装置的示意性框图。
具体实施方式
下面将结合附图，对本申请中的技术方案进行描述。
本申请实施例本能够应用于大规模物体检测的场景中。例如，人脸识别，识别万物，无人车感知系统物体识别，社交网站照片物体识别，智能机器人物体识别等。
具体地，本申请实施例的物体检测方法可以应用在手机识别万物以及街景识别等场景中，下面分别对这两种场景进行简单的介绍。
手机识别万物：
利用手机上的摄像头，可以拍摄包含各种事物的图片。在获取图片之后，接下来通过对该图片进行物体检测，能够确定图片中的每个物体的位置和类别。
利用本申请实施例的物体检测方法能够对手机拍摄到的图片进行物体检测，由于本申请实施例的物体检测方法在对物体进行检测时结合了知识图谱，因此，采用本申请实施例的物体检测方法对手机拍摄到的图片进行物体检测时的效果更好(例如，物体的位置以及物体的分类更加准确)。
街景识别：
通过部署在街边的摄像头可以对往来的车辆和人群进行拍照，在获取到图片之后，可以将图片上传到控制中心设备，由控制中心设备对图片进行物体检测，得到物体检测结果，当出现异常的物体时，控制中心可以发出报警。
下面从模型训练侧和模型应用侧对本申请提供的方法进行描述：
本申请实施例提供的神经网络的训练方法，涉及计算机视觉的处理，具体可以应用于数据训练、机器学习、深度学习等数据处理方法，对训练数据(如本申请中的训练图片以及训练图片的标注结果)进行符号化和形式化的智能信息建模、抽取、预处理、训练等，最终得到训练好的神经网络。
本申请实施例提供的物体检测方法可以运用上述训练好的神经网络，将输入数据(如本申请中的图片)输入到所述训练好的神经网络中，得到输出数据(如本申请中的图片的检测结果)。需要说明的是，本申请实施例提供的神经网络的训练方法和本申请实施例的物体检测方法是基于同一个构思产生的发明，也可以理解为一个系统中的两个部分，或一个整体流程的两个阶段：如模型训练阶段和模型应用阶段。
由于本申请实施例涉及到了大量神经网络的应用，为了便于理解，下面先对本申请实施例涉及的相关术语及神经网络等相关概念进行介绍。
由于本申请实施例涉及大量神经网络的应用，为了便于理解，下面先对本申请实施例可能涉及的神经网络的相关术语和概念进行介绍。
(1)神经网络
神经网络可以是由神经单元组成的，神经单元可以是指以xs和截距1为输入的运算单元，该运算单元的输出可以如公式(1)所示：
其中，s＝1、2、……n，n为大于1的自然数，Ws为xs的权重，b为神经单元的偏置。f为神经单元的激活函数(activation functions)，用于将非线性特性引入神经网络中，来将神经单元中的输入信号转换为输出信号。该激活函数的输出信号可以作为下一层卷积层的输入，激活函数可以是sigmoid函数。神经网络是将多个上述单一的神经单元联结在一起形成的网络，即一个神经单元的输出可以是另一个神经单元的输入。每个神经单元的输入可以与前一层的局部接受域相连，来提取局部接受域的特征，局部接受域可以是由若干个神经单元组成的区域。
(2)深度神经网络
深度神经网络(deep neural network，DNN)，也称多层神经网络，可以理解为具有多层隐含层的神经网络。按照不同层的位置对DNN进行划分，DNN内部的神经网络可以分为三类：输入层，隐含层，输出层。一般来说第一层是输入层，最后一层是输出层，中间的层数都是隐含层。层与层之间是全连接的，也就是说，第i层的任意一个神经元一定与第i+1层的任意一个神经元相连。
虽然DNN看起来很复杂，但是就每一层的工作来说，其实并不复杂，简单来说就是如下线性关系表达式：其中，是输入向量，是输出向量，是偏移向量，W是权重矩阵(也称系数)，α()是激活函数。每一层仅仅是对输入向量经过如此简单的操作得到输出向量由于DNN层数多，系数W和偏移向量的数量也比较多。这些参数在DNN中的定义如下所述：以系数W为例：假设在一个三层的DNN中，第二层的第4个神经元到第三层的第2个神经元的线性系数定义为上标3代表系数W所在的层数，而下标对应的是输出的第三层索引2和输入的第二层索引4。
综上，第L-1层的第k个神经元到第L层的第j个神经元的系数定义为
需要注意的是，输入层是没有W参数的。在深度神经网络中，更多的隐含层让网络更能够刻画现实世界中的复杂情形。理论上而言，参数越多的模型复杂度越高，“容量”也就越大，也就意味着它能完成更复杂的学习任务。训练深度神经网络的也就是学习权重矩阵的过程，其最终目的是得到训练好的深度神经网络的所有层的权重矩阵(由很多层的向量W形成的权重矩阵)。
(3)卷积神经网络
卷积神经网络(convolutional neuron network，CNN)是一种带有卷积结构的深度神经网络。卷积神经网络包含了一个由卷积层和子采样层构成的特征抽取器，该特征抽取器可以看作是滤波器。卷积层是指卷积神经网络中对输入信号进行卷积处理的神经元层。在卷积神经网络的卷积层中，一个神经元可以只与部分邻层神经元连接。一个卷积层中，通常包含若干个特征平面，每个特征平面可以由一些矩形排列的神经单元组成。同一特征平面的神经单元共享权重，这里共享的权重就是卷积核。共享权重可以理解为提取图像信息的方式与位置无关。卷积核可以以随机大小的矩阵的形式初始化，在卷积神经网络的训练过程中卷积核可以通过学习得到合理的权重。另外，共享权重带来的直接好处是减少卷积神经网络各层之间的连接，同时又降低了过拟合的风险。
(4)残差网络
残差网络是在2015年提出的一种深度卷积网络，相比于传统的卷积神经网络，残差网络更容易优化，并且能够通过增加相当的深度来提高准确率。残差网络的核心是解决了增加深度带来的副作用(退化问题)，这样能够通过单纯地增加网络深度，来提高网络性能。残差网络一般会包含很多结构相同的子模块，通常会采用ResNet连接一个数字表示子模块重复的次数，比如ResNet50表示残差网络中有50个子模块。
(6)分类器
很多神经网络结构最后都有一个分类器，用于对图像中的物体进行分类。分类器一般由全连接层(fully connected layer)和softmax函数组成，能够根据输入而输出不同类别的概率。
(7)损失函数
在训练深度神经网络的过程中，因为希望深度神经网络的输出尽可能的接近真正想要预测的值，所以可以通过比较当前网络的预测值和真正想要的目标值，再根据两者之间的差异情况来更新每一层神经网络的权重向量(当然，在第一次更新之前通常会有初始化的过程，即为深度神经网络中的各层预先配置参数)，比如，如果网络的预测值高了，就调整权重向量让它预测低一些，不断地调整，直到深度神经网络能够预测出真正想要的目标值或与真正想要的目标值非常接近的值。因此，就需要预先定义“如何比较预测值和目标值之间的差异”，这便是损失函数(loss function)或目标函数(objective function)，它们是用于衡量预测值和目标值的差异的重要方程。其中，以损失函数举例，损失函数的输出值(loss)越高表示差异越大，那么深度神经网络的训练就变成了尽可能缩小这个loss的过程。
(8)反向传播算法
神经网络可以采用误差反向传播(back propagation，BP)算法在训练过程中修正初始的神经网络模型中参数的大小，使得神经网络模型的重建误差损失越来越小。具体地，前向传递输入信号直至输出会产生误差损失，通过反向传播误差损失信息来更新初始的神经网络模型中参数，从而使误差损失收敛。反向传播算法是以误差损失为主导的反向传播运动，旨在得到最优的神经网络模型的参数，例如权重矩阵。
以上对神经网络的一些基本内容做了简单介绍，下面针对图像数据处理时可能用到的一些特定神经网络进行介绍。
(9)图卷积神经网络
图(graph)是一种数据格式，它可以用于表示社交网络、通信网络、蛋白分子网络等，图中的节点表示网络中的个体，连线表示个体之间的连接关系。许多机器学习任务例如社团发现、链路预测等都需要用到图结构数据，因此图卷积神经网络(graphconvolutional network，GCN)的出现为这些问题的解决提供了新的思路。利用GCN能够对图数据进行深度学习。
GCN是对卷积神经网络在图域(graph domain)上的自然推广。它能同时对节点特征信息与结构信息进行端对端学习，是目前对图数据学习任务的最佳选择。GCN的适用性极广，适用于任意拓扑结构的节点与图。
下面结合图1对本申请实施例的系统架构进行详细的介绍。
图1是本申请实施例的系统架构的示意图。如图1所示，系统架构100包括执行设备110、训练设备120、数据库130、客户设备140、数据存储系统150、以及数据采集系统160。
另外，执行设备110包括计算模块111、I/O接口112、预处理模块113和预处理模块114。其中，计算模块111中可以包括目标模型/规则101，预处理模块113和预处理模块114是可选的。
数据采集设备160用于采集训练数据。针对本申请实施例的物体检测方法来说，训练数据可以包括训练图像以及训练图像对应的标注结果，其中，训练图像的标注结果可以是(人工)预先标注的训练图像中的各个待检测物体的分类结果。在采集到训练数据之后，数据采集设备160将这些训练数据存入数据库130，训练设备120基于数据库130中维护的训练数据训练得到目标模型/规则101。
下面对训练设备120基于训练数据得到目标模型/规则101进行描述，训练设备120对输入的训练图像进行物体检测，将输出的检测结果与物体预先标注的检测结果进行对比，直到训练设备120输出的物体的检测结果与预先标注的检测结果的差异小于一定的阈值，从而完成目标模型/规则101的训练。
上述目标模型/规则101能够用于实现本申请实施例的物体检测方法，即，将待检测图像(通过相关预处理后)输入该目标模型/规则101，即可得到待检测图像的检测结果。本申请实施例中的目标模型/规则101具体可以为神经网络。需要说明的是，在实际的应用中，所述数据库130中维护的训练数据不一定都来自于数据采集设备160的采集，也有可能是从其他设备接收得到的。另外需要说明的是，训练设备120也不一定完全基于数据库130维护的训练数据进行目标模型/规则101的训练，也有可能从云端或其他地方获取训练数据进行模型训练，上述描述不应该作为对本申请实施例的限定。
根据训练设备120训练得到的目标模型/规则101可以应用于不同的系统或设备中，如应用于图1所示的执行设备110，所述执行设备110可以是终端，如手机终端，平板电脑，笔记本电脑，增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)，车载终端等，还可以是服务器或者云端等。在图1中，执行设备110配置输入/输出(input/output，I/O)接口112，用于与外部设备进行数据交互，用户可以通过客户设备140向I/O接口112输入数据，所述输入数据在本申请实施例中可以包括：客户设备输入的待处理图像。这里的客户设备140具体可以是终端设备。
预处理模块113和预处理模块114用于根据I/O接口112接收到的输入数据(如待处理图像)进行预处理，在本申请实施例中，也可以没有预处理模块113和预处理模块114(也可以只有其中的一个预处理模块)，而直接采用计算模块111对输入数据进行处理。
在执行设备110对输入数据进行预处理，或者在执行设备110的计算模块111执行计算等相关的处理过程中，执行设备110可以调用数据存储系统150中的数据、代码等以用于相应的处理，也可以将相应处理得到的数据、指令等存入数据存储系统150中。
最后，I/O接口112将处理结果，如上述得到的物体的检测结果呈现给客户设备140，从而提供给用户。
值得说明的是，训练设备120可以针对不同的目标或称不同的任务，基于不同的训练数据生成相应的目标模型/规则101，该相应的目标模型/规则101即可以用于实现上述目标或完成上述任务，从而为用户提供所需的结果。
在图1中所示情况下，用户可以手动给定输入数据，该手动给定可以通过I/O接口112提供的界面进行操作。另一种情况下，客户设备140可以自动地向I/O接口112发送输入数据，如果要求客户设备140自动发送输入数据需要获得用户的授权，则用户可以在客户设备140中设置相应权限。用户可以在客户设备140查看执行设备110输出的结果，具体的呈现形式可以是显示、声音、动作等具体方式。客户设备140也可以作为数据采集端，采集如图所示输入I/O接口112的输入数据及输出I/O接口112的输出结果作为新的样本数据，并存入数据库130。当然，也可以不经过客户设备140进行采集，而是由I/O接口112直接将如图所示输入I/O接口112的输入数据及输出I/O接口112的输出结果，作为新的样本数据存入数据库130。
值得注意的是，图1仅是本申请实施例提供的一种系统架构的示意图，图中所示设备、器件、模块等之间的位置关系不构成任何限制，例如，在图1中，数据存储系统150相对执行设备110是外部存储器，在其它情况下，也可以将数据存储系统150置于执行设备110中。
如图1所示，根据训练设备120训练得到目标模型/规则101，在本申请实施例中可以是本申请中的神经网络，具体的，本申请实施例提供的神经网络可以CNN以及深度卷积神经网络(deep convolutional neural networks,DCNN)等等。
由于CNN是一种非常常见的神经网络，下面结合图2重点对CNN的结构进行详细的介绍。如上文的基础概念介绍所述，卷积神经网络是一种带有卷积结构的深度神经网络，是一种深度学习(deep learning)架构，深度学习架构是指通过机器学习的算法，在不同的抽象层级上进行多个层次的学习。作为一种深度学习架构，CNN是一种前馈(feed-forward)人工神经网络，该前馈人工神经网络中的各个神经元可以对输入其中的图像作出响应。
如图2所示，卷积神经网络(CNN)200可以包括输入层210，卷积层/池化层220(其中池化层为可选的)，以及神经网络层230。下面对这些层的相关内容做详细介绍。
卷积层/池化层220：
卷积层：
如图2所示卷积层/池化层220可以包括如示例221-226层，举例来说：在一种实现中，221层为卷积层，222层为池化层，223层为卷积层，224层为池化层，225为卷积层，226为池化层；在另一种实现方式中，221、222为卷积层，223为池化层，224、225为卷积层，226为池化层。即卷积层的输出可以作为随后的池化层的输入，也可以作为另一个卷积层的输入以继续进行卷积操作。
下面将以卷积层221为例，介绍一层卷积层的内部工作原理。
卷积层221可以包括很多个卷积算子，卷积算子也称为核，其在图像处理中的作用相当于一个从输入图像矩阵中提取特定信息的过滤器，卷积算子本质上可以是一个权重矩阵，这个权重矩阵通常被预先定义，在对图像进行卷积操作的过程中，权重矩阵通常在输入图像上沿着水平方向一个像素接着一个像素(或两个像素接着两个像素……这取决于步长stride的取值)的进行处理，从而完成从图像中提取特定特征的工作。该权重矩阵的大小应该与图像的大小相关，需要注意的是，权重矩阵的纵深维度(depth dimension)和输入图像的纵深维度是相同的，在进行卷积运算的过程中，权重矩阵会延伸到输入图像的整个深度。因此，和一个单一的权重矩阵进行卷积会产生一个单一纵深维度的卷积化输出，但是大多数情况下不使用单一权重矩阵，而是应用多个尺寸(行×列)相同的权重矩阵，即多个同型矩阵。每个权重矩阵的输出被堆叠起来形成卷积图像的纵深维度，这里的维度可以理解为由上面所述的“多个”来决定。不同的权重矩阵可以用来提取图像中不同的特征，例如一个权重矩阵用来提取图像边缘信息，另一个权重矩阵用来提取图像的特定颜色，又一个权重矩阵用来对图像中不需要的噪点进行模糊化等。该多个权重矩阵尺寸(行×列)相同，经过该多个尺寸相同的权重矩阵提取后的卷积特征图的尺寸也相同，再将提取到的多个尺寸相同的卷积特征图合并形成卷积运算的输出。
这些权重矩阵中的权重值在实际应用中需要经过大量的训练得到，通过训练得到的权重值形成的各个权重矩阵可以用来从输入图像中提取信息，从而使得卷积神经网络200进行正确的预测。
当卷积神经网络200有多个卷积层的时候，初始的卷积层(例如221)往往提取较多的一般特征，该一般特征也可以称之为低级别的特征；随着卷积神经网络200深度的加深，越往后的卷积层(例如226)提取到的特征越来越复杂，比如高级别的语义之类的特征，语义越高的特征越适用于待解决的问题。
池化层：
由于常常需要减少训练参数的数量，因此卷积层之后常常需要周期性的引入池化层，在如图2中220所示例的221-226各层，可以是一层卷积层后面跟一层池化层，也可以是多层卷积层后面接一层或多层池化层。在图像处理过程中，池化层的唯一目的就是减少图像的空间大小。池化层可以包括平均池化算子和/或最大池化算子，以用于对输入图像进行采样得到较小尺寸的图像。平均池化算子可以在特定范围内对图像中的像素值进行计算产生平均值作为平均池化的结果。最大池化算子可以在特定范围内取该范围内值最大的像素作为最大池化的结果。另外，就像卷积层中用权重矩阵的大小应该与图像尺寸相关一样，池化层中的运算符也应该与图像的大小相关。通过池化层处理后输出的图像尺寸可以小于输入池化层的图像的尺寸，池化层输出的图像中每个像素点表示输入池化层的图像的对应子区域的平均值或最大值。
神经网络层230：
在经过卷积层/池化层220的处理后，卷积神经网络200还不足以输出所需要的输出信息。因为如前所述，卷积层/池化层220只会提取特征，并减少输入图像带来的参数。然而为了生成最终的输出信息(所需要的类信息或其他相关信息)，卷积神经网络200需要利用神经网络层230来生成一个或者一组所需要的类的数量的输出。因此，在神经网络层230中可以包括多层隐含层(如图2所示的231、232至23n)以及输出层240，该多层隐含层中所包含的参数可以根据具体的任务类型的相关训练数据进行预先训练得到，例如该任务类型可以包括图像识别，图像分类，图像超分辨率重建等等。
在神经网络层230中的多层隐含层之后，也就是整个卷积神经网络200的最后层为输出层240，该输出层240具有类似分类交叉熵的损失函数，具体用于计算预测误差，一旦整个卷积神经网络200的前向传播(如图2由210至240方向的传播为前向传播)完成，反向传播(如图2由240至210方向的传播为反向传播)就会开始更新前面提到的各层的权重值以及偏差，以减少卷积神经网络200的损失，及卷积神经网络200通过输出层输出的结果和理想结果之间的误差。
需要说明的是，如图2所示的卷积神经网络200仅作为一种卷积神经网络的示例，在具体的应用中，卷积神经网络还可以以其他网络模型的形式存在。
应理解，可以采用图2所示的卷积神经网络(CNN)200执行本申请实施例的物体检测方法，如图2所示，待处理图像经过输入层210、卷积层/池化层220和神经网络层230的处理之后可以得到图像的检测结果。
图3为本申请实施例提供的一种芯片硬件结构，该芯片包括神经网络处理器50。该芯片可以被设置在如图1所示的执行设备110中，用以完成计算模块111的计算工作。该芯片也可以被设置在如图1所示的训练设备120中，用以完成训练设备120的训练工作并输出目标模型/规则101。如图2所示的卷积神经网络中各层的算法均可在如图3所示的芯片中得以实现。
神经网络处理器NPU 50NPU作为协处理器挂载到主中央处理器(centralprocessing unit，CPU)(host CPU)上，由主CPU分配任务。NPU的核心部分为运算电路503，控制器504控制运算电路503提取存储器(权重存储器或输入存储器)中的数据并进行运算。
在一些实现中，运算电路503内部包括多个处理单元(process engine,PE)。在一些实现中，运算电路503是二维脉动阵列。运算电路503还可以是一维脉动阵列或者能够执行例如乘法和加法这样的数学运算的其它电子线路。在一些实现中，运算电路503是通用的矩阵处理器。
举例来说，假设有输入矩阵A，权重矩阵B，输出矩阵C。运算电路503从权重存储器502中取矩阵B相应的数据，并缓存在运算电路503中每一个PE上。运算电路503从输入存储器501中取矩阵A数据与矩阵B进行矩阵运算，得到的矩阵的部分结果或最终结果，保存在累加器(accumulator)508中。
向量计算单元507可以对运算电路503的输出做进一步处理，如向量乘，向量加，指数运算，对数运算，大小比较等等。例如，向量计算单元507可以用于神经网络中非卷积/非FC层的网络计算，如池化(pooling)，批归一化(batch normalization)，局部响应归一化(local response normalization)等。
在一些实现种，向量计算单元能507将经处理的输出的向量存储到统一缓存器506。例如，向量计算单元507可以将非线性函数应用到运算电路503的输出，例如累加值的向量，用以生成激活值。在一些实现中，向量计算单元507生成归一化的值、合并值，或二者均有。在一些实现中，处理过的输出的向量能够用作到运算电路503的激活输入，例如用于在神经网络中的后续层中的使用。
统一存储器506用于存放输入数据以及输出数据。
权重数据直接通过存储单元访问控制器505(direct memory accesscontroller，DMAC)将外部存储器中的输入数据搬运到输入存储器501和/或统一存储器506、将外部存储器中的权重数据存入权重存储器502，以及将统一存储器506中的数据存入外部存储器。
总线接口单元(bus interface unit，BIU)510，用于通过总线实现主CPU、DMAC和取指存储器509之间进行交互。
与控制器504连接的取指存储器(instruction fetch buffer)509，用于存储控制器504使用的指令；
控制器504，用于调用指存储器509中缓存的指令，实现控制该运算加速器的工作过程。
入口：可以根据实际发明说明这里的数据是说明数据，比如探测到车辆速度？障碍物距离等
一般地，统一存储器506，输入存储器501，权重存储器502以及取指存储器509均为片上(On-Chip)存储器，外部存储器为该NPU外部的存储器，该外部存储器可以为双倍数据率同步动态随机存储器(double data rate synchronous dynamic random accessmemory，简称DDR SDRAM)、高带宽存储器(high bandwidth memory，HBM)或其他可读可写的存储器。
其中，图2所示的卷积神经网络中各层的运算可以由运算电路
或向量计算单元307执行。
上文中介绍的图1中的执行设备110能够执行本申请实施例的物体检测方法的各个步骤，图2所示的CNN模型和图3所示的芯片也可以用于执行本申请实施例的物体检测方法的各个步骤。下面结合附图对本申请实施例的物体检测方法进行详细的介绍。
下面结合图4对本申请实施例的物体检测方法进行详细的介绍。
图4所示的方法可以由物体检测装置执行，该物体检测装置可以是具有物体检测功能的电子设备。该电子设备具体可以是移动终端(例如，智能手机)，电脑，个人数字助理，可穿戴设备，增强现实/虚拟现实设备，车载设备，物联网设备或者其他能够进行物体检测的设备。
图4所示的方法包括步骤1001至1004，下面分别对这些步骤进行详细的描述。
1001、获取待检测图像。
图4所示的方法可以应用在不同的场景下，具体地，图4所示方法可以应用在识别万物以及街景识别等场景中。
当图4所示的方法应用在移动终端识别万物的场景时，步骤1001中的待检测图像可以是移动终端通过摄像头拍摄的图像，也可以是移动终端相册中已经存储的图像。
当图4所示的方法应用在街景识别的场景时，步骤1001中的待检测图像可以是路边的摄像头拍摄的街景图像。
图4所示的方法可以由神经网络(模型)来执行，具体地，图4所示的方法可以由CNN或者DNN来执行。
1002、对待检测图像进行卷积处理，得到待检测物体的初始图像特征。
在步骤1002中，可以先对待检测图像的整个图像进行卷积处理，以得到整个图像的图像特征，然后再从该整个图像的图像特征中获取待检测物体对应的初始图像特征。
可选地，上述对待检测图像进行卷积处理，得到待检测物体的初始图像特征，包括：对待检测图像的整个图像进行卷积处理，得到待检测图像的完整图像特征；将该待检测图像的完整图像特征中与待检测物体对应的图像特征确定为待检测物体的初始图像特征。
本申请中，先对待检测图像的整个图像进行卷积处理得到待检测图像的完整图像特征，然后再从待检测图像的完整图像特征中获取与待检测物体对应的图像特征，这种获取待检测物体的图像特征的方式与每次都单独获取各个待检测物体对应的图像特征的方式相比，能够减少获取待检测物体的图像特征的复杂度。
1003、根据知识图谱信息确定待检测物体的增强图像特征。
其中，上述知识图谱信息包括待检测图像中的不同物体对应的不同物体类别之间的关联关系，上述待检测物体的增强图像特征指示了与待检测物体相关联的其它物体对应的物体类别的语义信息。
上述语义信息可以是指能够辅助进行图像检测的高级别的信息。例如，上述语义信息具体可以是物体是什么，物体的周围有什么(语义信息一般不同于低级别的信息，如图像的边，像素点和亮度等等)。
例如，待检测物体为自行车，待检测图像中与该自行车相关联的其他物体包括人和道路，那么，上述待检测物体的增强图像特征指示的可以是人和道路的语义信息。
上述知识图谱信息就可以是预先设定的，也可以是根据训练数据对神经网络模型进行训练得到的。
具体地，上述知识图谱信息可以是根据经验预先设定好的。例如，可以根据人工标注的不同类别的物体之间的关联关系来设置或者生成知识图谱信息。
例如，可以通过人为统计不同类别的物体之间的相似程度以及不同类别的物体之间同时出现的概率来确定知识图谱信息。
另外，当上述知识图谱信息时根据训练数据对神经网络模型进行训练得到时，该训练数据包括训练图像以及训练图像中不同物体所属的物体类别。
其中，上述训练图像中一般可以包含多个待检测物体，上述训练图像中不同物体所属的物体类别也可以称为训练图像的标记数据，该标记数据可以是(人工)预先标注好的数据。
在上述训练过程中，可以先预设一个初始知识图谱信息(该初始的知识图谱信息可以是)，然后在利用训练数据对神经网络模型进行训练的过程中不断调整该初始知识图谱信息，当到训练图像的检测结果与训练图像的标记结果比较接近时(也可以是在训练次数达到一定程度时)，就可以把当前的知识图谱信息作为最终训练得到的知识图谱信息了。
上述初始知识图谱信息可以包括待检测图像中的不同物体对应的不同物体类别之间的关联关系，该初始知识图谱信息中包含的待检测图像中的不同物体对应的不同物体类别之间的关联关系可以是随机设置的。
对于上述知识图谱信息来说，该知识图谱信息可以包含待检测图像中的不同物体对应的不同物体类别之间的关联关系，该待检测图像中的不同物体对应的不同物体类别之间的关联关系可以包括以下至少一种：不同物体类别的属性关联关系；不同物体类别之间的位置关系；不同物体类别的词向量之间的相似程度；不同物体类别同时出现的概率。
具体地，上述不同物体类别的属性关联关系可以是指不同类别的物体之间是否具有相同的属性。
例如，苹果的颜色是红色，草莓的颜色也是红色，那么，苹果和草莓在颜色上具有相同的属性(或者，也可以说苹果和草莓在颜色属性上比较接近)。
上述知识图谱信息可以用表格来表示，例如，上述知识图谱信息可以如表1所示的形式。
表1
刀 勺子 碗 香蕉 苹果
刀 1 0.016 0.094 0.094 0
勺子 0.016 1 0 0 0.21
碗 0.094 0 1 0 0
香蕉 0.094 0 0 1 0
苹果 0 0.21 0 0 1
表1示出了刀(knife)、勺子(spoon)、碗(bowl)、香蕉(banana)和苹果(apple)之间的相近程度，表格中的数值为不同物体之间的相似值，该相似值越大，表明对应的两个物体的相似程度越高。例如，勺子和刀之间的相似值为0.016，而碗和勺子之间的相似值为0.094，这说明，碗与刀之间的相似度更高。
另外，当物体之间的该相似值为1时，表明这两个物体完全相同，此时可以将这两个物体视为相同的物体。例如，刀和刀之间的相似值为1，勺子和勺子之间的相似值也是1。
应理解，表1只是对知识图谱信息的一种可能的表现形式进行的举例说明，知识图谱信息该可以直接包含相关联物体之间的关联关系信息，本申请对此不做限制。
当然表1中的不同类别的物体类别还可以根据实际需要做进一步的划分。例如，上述表1中的勺子可以进一步划分为长勺、短勺、汤勺等等。
可选地，上述步骤1003中根据知识图谱信息确定待检测物体的增强图像特征，包括：根据知识图谱信息和记忆池信息确定图结构信息；根据该图结构信息确定待检测物体的增强图像特征。
上述图结构信息可以包括多个节点，其中，每个节点对应一个物体，每个物体对应的节点与该物体有关联的其它物体对应的节点是连接关系，上述多个节点中包含待检测物体，以及与待检测物体相关联的其它物体，每个节点包含对应的物体的语义信息。
在根据图结构信息确定待检测物体的增强图像特征时，具体可以是根据图结构信息确定出待检测物体，然后将待检测物体周围连接的节点(也就是与该待检测物体相关联的其它物体)的语义信息提取出来，得到增强图像特征。
另外，根据知识图谱信息和记忆池信息确定图结构信息时，具体可以是根据记忆池信息中包含的物体的类别的种类以及知识图谱信息中包含的各个种类的物体之间的关联关系来生成图结构信息。
例如，上述知识图谱信息包括1000个类别物体之间的关联关系，上述记忆池包含100个分类的分类层参数，那么，可以从知识图谱信息中获取记忆池信息中记录的100个类别物体之间的关联关系，然后根据该100个类别物体之间的关联关系来构建包括100个类别的图结构。
例如，图5示出了一个图结构的示意图，在图5中，每个节点对应不同的物体，其中，节点L对应于待检测物体，节点M、节点N和节点O对应的物体为待检测图像中与待检测物体相关联的物体，而节点R和节点S则是图结构中与待检测物体无关的物体。因此，在获取待检测物体的增强图像特征时，可以通过提取节点M、节点N和节点O的语义信息可以得到待检测物体的增强图像特征。
1004、根据待检测物体的初始图像特征和待检测物体的增强图像特征，确定待检测物体的候选框和分类。
步骤1004确定得到的待检测物体的候选框和分类可以分别是待检测物体的最终候选框和最终分类(结果)。
在步骤1004中，可以先将待检测物体的初始图像特征和待检测物体的增强图像特征组合起来得到待检测物体的最终图像特征，然后再根据待检测物体的最终图像特征确定待检测物体的候选框和分类。
例如，待检测物体的初始图像特征为一个大小为M1×N1×C1(M1、N1和C1可以分别表示宽、高以及通道数)的卷积特征图，待检测物体的增强图像特征是一个大小为M1×N1×C2(M1、N1和C2分别表示宽、高以及通道数)的卷积特征图，那么，通过对这两个卷积特征图的组合，可以得到待检测物体的最终图像特征，该最终图像特征是一个大小为M1×N1×(C1+C2)卷积特征图。
应理解，这里是以初始图像特征的卷积特征图与增强图像特征的卷积特征图的尺寸相同(宽和高相同)，但是通道数不同为例进行了说明。事实上，当初始图像特征的卷积特征图与增强图像特征的卷积特征图的尺寸不同时，也可以对初始图像特征和增强图像特征进行组合，此时，可以先将初始图像特征的卷积特征图与增强图像特征的卷积特征图的尺寸统一(将宽和高统一)，然后再将初始图像特征的卷积特征图与增强图像特征的卷积特征图进行组合，得到最终图像特征的卷积特征图。
本申请中，在对待检测图像进行物体检测时，通过待检测物体的初始图像特征和增强图像特征来综合确定待检测物体的检测结果，与仅考虑待检测物体的初始图像特征获取检测结果的方式相比，能够得到更好的检测结果。
具体地，本申请在确定待检测物体的检测结果时，不仅考虑到了反映待检测物体本身特性的初始图像特征，还考虑到了待检测图像中与待检测物体相关联的其他物体的语义信息。本申请通过综合待检测物体本身特征以及相关联的其他物体的特征来综合确定待检测物体的检测结果，能够在一定程度上提高待检测物体的检测结果的准确性。
例如，待检测图像中存在待检测的第一物体，待检测图像中与该第一物体相关联的物体包括道路和人，那么，在确定第一物体的检测结果时，可以综合考虑从第一物体提取到的初始图像特征，以及人和道路的语义信息来确定第一物体的检测结果。假设，第一物体的初始分类结果是自行车，那么，由于人和道路与自行车同时出现的可能性很大，因此，能够通过借助人和道路的语义信息能够提高第一物体属于自行车的置信度，从而最终提高第一物体的检测结果的准确性。
在上述步骤1003中，根据知识图谱信息确定待检测物体的增强图像特征，具体包括：采用基于注意力机制的图卷积方式对待检测物体相关联的其它物体对应的物体类别的语义信息进行卷积处理，得到待检测物体的增强图像特征。
本申请中，当采用基于注意力机制的图卷积方式进行卷积处理时，能够从每个从待检测物体最关注的其它物体中提取增强图像特征，使得增强图像特征反映的信息更有针对性，便于最终提高待检测物体的检测效果。
除了采用基于注意力机制的图卷积方式进行卷积处理外，还可以采用基于空间信息的图稀疏卷积方式进行卷积处理。
在上述步骤1003中，根据知识图谱信息确定待检测物体的增强图像特征，具体包括：基于空间信息的图稀疏卷积方式对其它物体对应的物体类别的语义信息进行卷积处理，得到待检测物体的增强图像特征。
可选地，在上述步骤1004之前，图4所示的方法还包括：根据待检测物体的初始图像特征确定待检测物体的初始候选框和初始分类。
在确定待检测物体的初始候选框和初始分类的过程中，一般是先对待检测图像的整个图像进行卷积处理，得到待检测图像的整个图像的卷积特征，然后再根据固定的尺寸要求，将待检测图像划分成不同的方框，对每个方框内的图像对应的特征进行打分，将打分较高的方框筛选出来作为初始候选框，并以该初始候选框对应的图像特征确定初始候选框对应的图像的初始分类。
例如，待检测图像为第一图像，为了获得第一图像中的待检测物体的初始候选框和初始分类，可以先对第一图像的整个图像进行卷积处理，得到第一图像的整个图像的卷积特征，然后将第一图像划分成3×3个方框，对每个方框的图像对应的特征进行打分。最后可以将打分较高的方框A和方框B筛选出来作为初始候选框，然后再以方框A内的图像对应的特征确定方框A内的图像的初始分类，以方框B内的图像对应的特征确定方框B内的图像的初始分类。
在上述步骤1004中根据待检测物体的初始图像特征和待检测物体的增强图像特征，确定待检测物体的候选框和分类的过程中，可以是先对初始图像特征和增强图像特征进行组合，得到最终图像特征，然后再根据该最终图像特征对初始候选框进行调整得到候选框，根据该最终图像特征对初始分类结果进行修正，得到分类结果。具体地，上述根据最终图像特征对初始候选框进行调整可以是根据该最终图像特征对初始候选框的四周的坐标进行调整，直到得到候选框，上述根据最终图像特征对初始分类结果进行调整可以是建立一个分类器进行重新分类，进而得到分类结果。
为了更好地理解本申请实施例的物体检测方法的完整流程，下面结合图5对本申请实施例的物体检测方法进行说明。
图6是本申请实施例的物体检测方法的示意性流程图。
图6所示的方法可以由物体检测装置执行，该物体检测装置可以是具有物体检测功能的电子设备。该电子设备具体包含的装置的形态可以如上文介绍图4所示的方法中的相关描述。
图6所示的方法包括步骤2001至2003，步骤3001至3005以及步骤4001和4002，下面对这些步骤进行详细的介绍。
其中，步骤2001至2003可以是步骤1002的细化实施方式(或者称为具体实施方式)，步骤3001至3005可以是步骤1003的细化实施方式，步骤4001和4002可以是步骤1004的细化实施方式。
步骤2001至2003主要是选定待检测图像的初始候选区域，得到初始候选区域的初始图像特征。步骤3001至3005主要是为了提取初始候选区域的增强图像特征，步骤4001和4002主要是综合初始候选区域的初始图像特征和增强图像特征来确定待处理图像的最终候选区域和分类结果。
2001、获取待检测图像。
这里的待检测图像可以是需要进行物体检测的图片。待检测图像既可以通过摄像头拍摄获得，也可以从存储器中能获取。
步骤2001中获取待检测图像的方式与上述步骤1001中获取待检测图片的方式类似，这里不再详细描述。
2002、选定初始候选区域。
在步骤2002中，可以将待检测图像输入到一个传统的物体检测器中进行处理(如Faster-RCNN)，得到一个初始的候选区域和一个初始分类。
具体地，在步骤2002中，可以先对待检测图像进行卷积处理，得到待检测图像的全图的卷积特征，然后再根据一定的尺寸要求，将待检测图像划分成不同的方框，然后对每个方框内的图像对应的特征进行打分，将打分较高的方框筛选出来作为初始候选框，并以该初始候选框对应的图像特征确定初始候选框对应的图像的初始分类。
2003、提取初始候选区域的初始图像特征。
在步骤2003中可以通过CNN来提取初始候选区域的图像特征。
例如，第一图像为待检测图像，那么，为了得到第一图像中的待检测物体的初始候选框和初始分类，可以先对该第一图像进行卷积处理，得到该第一图像的卷积特征，然后将该第一图像划分成4×4个方框(也可以划分成其它数量的方框)，对每个方框的图像对应的特征进行打分，将打分较高的方框A和方框B筛选出来作为初始候选框。
进一步的，在获取了初始候选框之后，还可以待检测图像的整个图像的图像特征(可以通过对待检测图像的整个图像进行卷积处理来得到待检测图像的整个图像的图像特征)对应到方框A和方框B中，以获取方框A对应的初始图像特征和方框B对应的初始图像特征。
3001、提取分类层参数。
在步骤3001中，可以采用物体检测器(如Faster-RCNN)中的分类器提取分类层参数，构建一个记忆池以记录每个类别的高级视觉特征(例如，每个类别物体的颜色、形状和纹理)。
在步骤3001中，提取的分类层参数可以是对待检测物体进行物体检测的物体检测器中的分类器中的所有分类的分类层参数。
3002、构建更新记忆池。
该记忆池可以在训练过程中随着分类器的优化而不断更新。
在训练过程中，分类器中的不同分类对应的分类层参数可能会不断的发生变化，在这种情况下，可以对记忆池中分类对应的分类层参数进行更新。
3003、根据知识图谱构建图结构。
在步骤3003中可以根据手动设计的知识图谱，或者通过候选区的特征相似度构建一个图结构。得到的图结构内会记录不同节点之间的关联关系，例如，不同类别的属性关系图，共同出现的概率，属性相似度图等等。
3004、图卷积网络推理推断。
在步骤3004中可以通过构建的图结构，利用图卷积网络传播节点上记忆池的信息，使每个节点得到经过推理推断后得到的全局信息。
3005、确定初始候选区域的增强图像特征。
在步骤3005中，可以根据知识图谱信息来得到与初始候选区域的物体相关联的其他物体对应的物体类别的语义信息，然后可以将与初始候选区域的物体相关联的其他物体对应的物体类别的语义信息作为该初始候选区域的增强图像特征，或者，也可以将对与初始候选区域的物体相关联的其他物体对应的物体类别的语义信息的卷积处理结果作为该初始候选区域的增强图像特征。
4001、确定初始候选区域的最终图像特征。
在步骤4001中，可以对初始候选区域的初始图像特征和增强图像特征进行组合，得到初始候选区域的最终图像特征。具体的组合过程可以参见步骤1004下方关于初始图像特征和增强图像特征组合的相关描述。
4002、根据初始候选区域的最终图像特征确定最终候选区域和最终分类结果。
具体地，在步骤4002中，可以根据该最终图像特征对初始候选框进行调整得到最终候选区域(或者称为最终候选框)，根据该最终图像特征对初始分类结果进行修正，得到最终分类结果。
应理解，上述步骤4002中得到的最终候选区域相当于步骤1004得到的候选框，步骤4002中得到的最终分类结果相当于步骤1004中得到的分类。
上文结合流程图对本申请实施例的物体检测方法进行了详细的说明，为了更好地理解本申请实施例的物体检测方法，下面结合更具体的流程图对本申请实施例的物体检测方法进行详细的描述。
图7是本申请实施例的物体检测方法的示意性流程图。
图7所示的方法可以由物体检测装置执行，该物体检测装置可以是具有物体检测功能的电子设备。电子设备具体包含的装置的形态可以如上文介绍图4所示的方法中的相关描述。
图7所示的方法包括步骤1至步骤5，下面对这些步骤分别进行详细的介绍。
步骤1：根据全局记忆池和知识图谱构建图结构。
上述知识图谱既可以是人工构建的，也可以是通过神经网络训练得到的，该全局记忆池可以包含对待检测物体进行物体检测时的各个物体种类的分类层参数。
步骤2：对检测图像进行卷积处理，得到待检测图像的初始卷积图像特征。
在步骤2中，可以对待检测图像的整个图像进行卷积处理，得到的整个图像的卷积特征就是待检测图像的初始卷积图像特征。
步骤3：确定待检测物体的初始候选框，以及待检测物体对应的初始图像特征。
确定初始候选框的具体过程可以参见上文中的相关描述。
在确定了初始候选框之后，可以根据初始候选框在待检测图像中对应的图像区域从待检测图像的初始卷积图像特征中获取待检测物体对应的初始图像特征，也就是图7中所示的初始候选框的图像特征。
步骤4：采用基于注意力机制的图卷积方式对图结构进行卷积处理，得到待检测物体的增强图像特征。
在步骤4中，采用基于注意力机制的图卷积方式对图结构进行卷积处理，实质上就是对于待检测物体密切相关的其它物体进行卷积处理，得到检测物体的增强图像特征。
另外，在步骤4中还可以采用基于空间信息的图稀疏卷积方式对与待检测物体的空间上存在关联的物体(例如，与待检测物体相邻的物体，或者与待检测物体的距离在一定范围内的物体)的语义信息进行卷积处理，得到待检测物体的增强图像特征。
步骤5：根据待检测物体的初始图像特征和待检测物体的增强图像特征确定待检测物体的检测结果。
上述步骤5中确定检测结果的具体过程可以参见上文图4所示的方法中的相关描述，这里不再详细描述。
上文结合附图对本申请实施例的物体检测方法进行了详细的介绍，为了更好地说明本申请实施例的物体检测方法的有益效果，下面结合表2至表4以具体的实例对本申请实施例的物体检测方法相对于传统方案的效果进行详细的说明。
下面结合具体的实验数据，以表2为例，对四种传统方法与本申请方法进行物体检测的效果进行比较。表2中所示的四种传统方法分别为传统方法1(light-head RCNN)、传统方法2(Faster-RCNN w FPN)、传统方法3(Cascade RCNN)和传统方法4(Faster-RCNN)，其中，传统方法3也可以称为级联RCNN方法。
表2中所示的本申请的方法是指在卷积处理时采用了基于注意力机制的图卷积方式，并且知识图谱是人工设计的。测试用的数据集包括1.4版本的视觉基因组(VisualGenome(v1.4))数据集和ADE数据集，其中，Visual Genome(v1.4)共有1000类以及3000类的大规模通用物体检测数据集，9.2万张图片的训练数据集以及数量为5000的测试集。而ADE数据集拥有445类的大规模通用物体检测数据集，2万的张图片的训练数据集以及1千张的测试集。
在对物体检测效果进行评价时，主要采用了平均精确度(average precision，AP)和平均召回率(average recall，AR)进行评价，在对比时考虑了不同阈值下的精确度，与不同大小的物体的平均精确度和平均召回率。
如表2所示，在不同的数据集下进行测试时，本申请方法的AP和AR都要分别大于四种传统方法的AP和AR，而AP和AR的数值越大说明进行物体检测的效果越好。表2标出了本申请公共相对于传统方法4的指标提升值，由表2可知，本申请方法相对于传统方法4有比较明显的效果提升。
另外，本申请方法与传统方法相比，参数量的大小也没有明显的增加，因此，本申请方法与传统方法1至传统方法4相比，能够在保证参数量基本不变的情况下提升物体检测效果。
表2
另外，还可以在传统方案的现有架构的基础上应用本申请实施例的物体检测方法，具体效果可以如表3所示。表3相对于表2新增了上下文信息通用物体检测数据集(Common Objects in Context,COCO)数据集，该数据集拥有80个通用物体的检测标注，含有约1.1万训练数据集以及5千张测试集。表3中的评价指标包括平均AP(mean averageprecision，mAP)，参数量(单位为M)，处理时间(单位为ms)
由表3可知，本申请方法能够显著提升已有检测器的识别准确率以及召回率，并且，本申请方法并没有显著的增加模型参数以及降低推理速度。
表3
在本申请实施例中，知识图谱信息除了可以通过人工预设的方式确定之外，还可以通过学习的方式获取，下面结合表4对本申请实施例中的知识图谱信息是通过学习方式得到的情况下与传统方法的效果进行对比，得到的效果如表4所示。
如表4所示，一共有5种传统方法，这5种传统方法分别是传统方法A(light-headRCNN)、传统方法B(Cascade RCNN)、传统方法C(HKRM)、传统方法D(Faster-RCNN)和传统方法E(FPN)，基于不同的实现架构，本申请的方法可以分为为本申请方法X(Faster-RCNN wSGRN)和本申请方法Y(FPN w SGRN)。由表4可知，无论是本申请方法X和本申请方法Y，AP指标和AR指标均相对于传统方案有所提高。因此，本申请实施例的物体检测方法能够显著的提高已有物体检测器的识别准确率以及召回率。
表4
上文结合附图对本申请实施例的物体检测方法进行了详细的介绍，本申请实施例的物体检测方法可以利用神经网络(模型)来实现物体检测。而这里采用的神经网络(模型)可以是按照一定的训练方法训练得到的，下面结合附图8对本申请实施例的神经网络的训练方法进行介绍。
图8是本申请实施例的神经网络的训练方法的示意性流程图。图8所示的方法可以由计算机设备、服务器设备或者运算设备等运算能力较强的设备来执行。图8所示的方法包括步骤5001至5005，下面分别对这几个步骤进行详细的介绍。
5001、获取训练数据。
步骤5001中的训练数据包括训练图像以及训练图像中待检测物体的物体检测标注结果。
5002、根据神经网络提取该训练图像中的待检测物体的初始图像特征。
5003、根据该神经网络以及知识图谱信息提取该训练图像中的待检测物体的增强图像特征。
步骤5003中的知识图谱信息包括训练图像中的不同物体对应的物体类别之间的关联关系，上述训练图像中的待检测物体的增强图像特征指示了与该待检测物体相关联的其它物体对应的物体类别的语义信息。
5004、根据该神经网络对待检测物体的初始图像特征和增强图像特征进行处理，得到该待检测物体的物体检测结果。
5005、根据该训练图像的中的待检测物体的物体检测结果与该训练图像中的待检测物体的物体检测标注结果，确定该神经网络的模型参数。
可选地，上述训练图像中的待检测物体的物体检测标注结果包括该训练图像中的待检测物体的标注候选框和标注分类结果。
上述标注候选框和标注分类结果可以是预先(具体可以是通过人工进行标注)标注好的。
另外，在上述训练的过程中，采用的训练图像一般是多个。
在对上述神经网络进行训练的过程中，可以为神经网络设置一套初始的模型参数，然后根据训练图像中的待检测物体的物体检测结果与训练图像中的待检测物体的物体检测标注结果的差异来逐渐调整神经网络的模型参数，直到训练图像中的待检测物体的物体检测结构与训练图像中的待检测物体的物体检测标注结果之间的差异在一定的预设范围内，或者，当训练的次数达到预设次数时，将此时的神经网络的模型参数确定为该神经网络模型的最终的参数，这样就完成了对神经网络的训练了。
应理解，通过图8所示的方法训练得到的神经网络能够用于执行本申请实施例的物体检测方法。
本申请中，在训练神经网络时，不仅提取了训练图像中的待检测物体的初始图像特征，还提取了训练图像中的待检测物体的增强图像特征，并综合根据待检测物体的初始图像特征和增强图像特征来确定待检测物体的物体检测结果。也就是说，本申请的训练方法在训练过程中提取了更多的特征来进行物体检测，可以训练得到性能更好的神经网络，使得利用该神经网络进行物体检测能够取得更好的物体检测效果。
可选地，上述知识图谱信息是预先设定的。
可选地，上述知识图谱信息是根据训练数据对其它神经网络模型进行训练得到的，训练数据包括训练图像以及所述训练图像中不同物体所属的物体类别。
这里的其它神经网络模型可以是不同于图8所示的训练方法中进行训练的神经网络模型。
可选地，上述训练图像中的不同物体对应的物体类别之间的关联关系包括以下至少一种：不同物体类别的属性关联关系；不同物体类别之间的位置关系；不同物体类别的词向量之间的相似程度；不同物体类别同时出现的概率。
上文结合附图对本申请实施例的物体检测方法和神经网络训练方法进行了详细的描述，下面结合图9至图11对本申请实施例的相关装置进行详细的介绍。应理解，图9和图10所示的物体检测装置能够执行本申请实施例的物体检测方法的各个步骤，图11所示的神经网络训练装置能够执行本申请实施例的神经网络训练方法的各个步骤，下面在介绍图9至图11所示的装置时适当省略重复的描述。
图9是本申请实施例的物体检测装置的示意性框图。图9所示的物体检测装置7000包括：
图像获取单元7001，用于获取待检测图像；
特征提取单元7002，用于对待检测图像进行卷积处理，以得到待检测图像中的待检测物体的初始图像特征；
上述特征提取单元7002还用于根据知识图谱信息确定待检测物体的增强图像特征；
检测单元7003，用于根据待检测物体的初始图像特征和待检测物体的增强图像特征，确定待检测物体的候选框和分类。
其中，上述知识图谱信息包括待检测图像中的不同物体对应的不同物体类别之间的关联关系，上述待检测物体的增强图像特征指示了与待检测物体相关联的其它物体对应的物体类别的语义信息。
本申请中，在对待检测图像进行物体检测时，通过待检测物体的初始图像特征和增强图像特征来综合确定待检测物体的检测结果，与仅考虑待检测物体的初始图像特征获取检测结果的方式相比，能够得到更好的检测结果。
当本申请实施例的物体检测方法由图1中的执行设备110执行时，上述物体检测装置7000中的图像获取单元7001可以相当于执行设备110中的I/O接口112，而物体检测装置7000中的特征提取单元7002和检测单元7003相当于执行设备110中的计算模块111。
当本申请实施例的物体检测方法由图3中的神经网络处理器50执行时，上述物体检测装置7000中的图像获取单元7001可以相当于神经网络处理器50中的总线接口单元510，而物体检测装置7000中的特征提取单元7002和检测单元7003相当于执行设备110中的运算电路503，或者，物体检测装置7000中的特征提取单元7002和检测单元7003还可以相当于执行设备110中的运算电路503+向量计算单元507+累加器508。
图10是本申请实施例的物体检测装置的示意性框图。图10所示的物体检测装置8000包括存储器8001、处理器8002、通信接口8003以及总线8004。其中，存储器8001、处理器8002、通信接口8003通过总线8004实现彼此之间的通信连接。
上述通信接口8003相当于物体检测装置7000中的图像获取单元7001，上述处理器8002相当于物体检测装置7000中的特征提取单元7002和检测单元7003。下面对物体检测装置8000中的各个模块和单元进行详细的介绍。
存储器8001可以是只读存储器(read only memory，ROM)，静态存储设备，动态存储设备或者随机存取存储器(random access memory，RAM)。存储器8001可以存储程序，当存储器8001中存储的程序被处理器8002执行时，处理器8002和通信接口8003用于执行本申请实施例的物体检测方法的各个步骤。具体地，通信接口8003可以从存储器或者其他设备中获取待检测图像，然后由处理器8002对该待检测图像进行物体检测。
处理器8002可以采用通用的中央处理器(central processing unit，CPU)，微处理器，应用专用集成电路(application specific integrated circuit，ASIC)，图形处理器(graphics processing unit，GPU)或者一个或多个集成电路，用于执行相关程序，以实现本申请实施例的物体检测装置中的单元所需执行的功能(例如，处理器8002可以实现上述物体检测装置7000中的特征提取单元7002和检测单元7003所需执行的功能)，或者执行本申请实施例的物体检测方法。
处理器8002还可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，本申请实施例的物体检测方法的各个步骤可以通过处理器8002中的硬件的集成逻辑电路或者软件形式的指令完成。
上述处理器8002还可以是通用处理器、数字信号处理器(digital signalprocessing，DSP)、ASIC、现成可编程门阵列(field programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。上述通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器8001，处理器8002读取存储器8001中的信息，结合其硬件完成本申请实施例的物体检测装置中包括的单元所需执行的功能，或者执行本申请方法实施例的物体检测方法。
通信接口8003使用例如但不限于收发器一类的收发装置，来实现装置8000与其他设备或通信网络之间的通信。例如，可以通过通信接口8003获取待处理图像。
总线8004可包括在装置8000各个部件(例如，存储器8001、处理器8002、通信接口8003)之间传送信息的通路。
图11是本申请实施例的神经网络训练装置的硬件结构示意图。与上述装置8000类似，图11所示的神经网络训练装置9000包括存储器9001、处理器9002、通信接口9003以及总线9004。其中，存储器9001、处理器9002、通信接口9003通过总线9004实现彼此之间的通信连接。
存储器9001可以存储程序，当存储器9001中存储的程序被处理器9002执行时，处理器9002用于执行本申请实施例的神经网络的训练方法的各个步骤。
处理器9002可以采用通用的CPU，微处理器，ASIC，GPU或者一个或多个集成电路，用于执行相关程序，以实现本申请实施例的神经网络的训练方法。
处理器9002还可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，本申请实施例的神经网络的训练方法(如图8所示的方法)的各个步骤可以通过处理器9002中的硬件的集成逻辑电路或者软件形式的指令完成。
应理解，通过图11所示的神经网络训练装置9000对神经网络进行训练，训练得到的神经网络就可以用于执行本申请实施例的物体检测方法(如图8所示的方法)。
具体地，图11所示的装置可以通过通信接口9003从外界获取训练数据以及待训练的神经网络，然后由处理器根据训练数据对待训练的神经网络进行训练。
应注意，尽管上述装置8000和装置9000仅仅示出了存储器、处理器、通信接口，但是在具体实现过程中，本领域的技术人员应当理解，装置8000和装置9000还可以包括实现正常运行所必须的其他器件。同时，根据具体需要，本领域的技术人员应当理解，装置8000和装置9000还可包括实现其他附加功能的硬件器件。此外，本领域的技术人员应当理解，装置8000和装置9000也可仅仅包括实现本申请实施例所必须的器件，而不必包括图10和图11中所示的全部器件。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (14)

1.一种物体检测方法，其特征在于，包括：
获取待检测图像；
对所述待检测图像进行卷积处理，得到所述待检测图像中的待检测物体的初始图像特征；
根据知识图谱信息确定所述待检测物体的增强图像特征，所述知识图谱信息包括所述待检测图像中的不同物体对应的不同物体类别之间的关联关系，所述待检测物体的增强图像特征指示与所述待检测物体相关联的其它物体对应的物体类别的语义信息；
根据所述待检测物体的初始图像特征和所述待检测物体的增强图像特征，确定所述待检测物体的候选框和分类。
2.如权利要求1所述的方法，其特征在于，所述知识图谱信息是预先设定的。
3.如权利要求1所述的方法，其特征在于，所述知识图谱信息是根据训练数据对神经网络模型进行训练得到的，所述训练数据包括训练图像以及所述训练图像中不同物体所属的物体类别。
4.如权利要求1-3中任一项所述的方法，其特征在于，所述待检测图像中的不同物体对应的不同物体类别之间的关联关系包括以下信息中的至少一种：
不同物体类别的属性关联关系；
不同物体类别之间的位置关系；
不同物体类别的词向量之间的相似程度；
不同物体类别同时出现的概率。
5.如权利要求1-4中任一项所述的方法，其特征在于，所述根据知识图谱信息确定所述待检测物体的增强图像特征，包括：
采用基于注意力机制的图卷积方式或者基于空间信息的图稀疏卷积方式对所述待检测物体相关联的其它物体对应的物体类别的语义信息进行卷积处理，得到所述待检测物体的增强图像特征。
6.如权利要求1-5中任一项所述的方法，其特征在于，所述方法还包括：
显示所述待检测物体的检测结果，所述待检测物体的检测结果包括所述待检测物体的候选框和分类。
7.一种物体检测装置，其特征在于，包括：
图像获取单元，用于获取待检测图像；
特征提取单元，用于对所述待检测图像进行卷积处理，得到所述待检测图像中的待检测物体的初始图像特征；
所述特征提取单元还用于根据知识图谱信息确定所述待检测物体的增强图像特征，所述知识图谱信息包括所述待检测图像中的不同物体对应的不同物体类别之间的关联关系，所述待检测物体的增强图像特征指示了与所述待检测物体相关联的其它物体对应的物体类别的语义信息；
检测单元，用于根据所述待检测物体的初始图像特征和所述待检测物体的增强图像特征，确定所述待检测物体的候选框和分类。
8.如权利要求7所述的装置，其特征在于，所述知识图谱信息是预先设定的。
9.如权利要求8所述的装置，其特征在于，所述知识图谱信息是根据训练数据对所述神经网络模型进行训练得到的，所述训练数据包括训练图像以及所述训练图像中不同物体所属的物体类别。
10.如权利要求7-9中任一项所述的装置，其特征在于，所述待检测图像中的不同物体对应的不同物体类别之间的关联关系包括以下信息中的至少一种：
不同物体类别的属性关联关系；
不同物体类别之间的位置关系；
不同物体类别的词向量之间的相似程度；
不同物体类别同时出现的概率。
11.如权利要求7-10中任一项所述的装置，其特征在于，所述特征提取单元用于：
采用基于注意力机制的图卷积方式或者基于空间信息的图稀疏卷积方式对所述待检测物体相关联的其它物体对应的物体类别的语义信息进行卷积处理，得到所述待检测物体的增强图像特征。
12.如权利要求7-11中任一项所述的装置，其特征在于，所述装置还包括：
显示模块，用于显示所述待检测物体的检测结果，所述待检测物体的检测结果包括所述待检测物体的候选框和分类。
13.一种物体检测装置，其特征在于，包括：
存储器，用于存储程序；
处理器，用于执行所述存储器存储的程序，当所述存储器存储的程序被执行时，所述处理器用于执行如权利要求1-6中任一项所述的方法。
14.一种计算机存储介质，其特征在于，所述计算机存储介质存储有程序代码，所述程序代码包括用于执行如权利要求1-6中任一项所述的方法中的步骤的指令。
CN201910523157.5A 2019-06-17 2019-06-17 物体检测方法、装置和计算机存储介质 Active CN110378381B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910523157.5A CN110378381B (zh) 2019-06-17 2019-06-17 物体检测方法、装置和计算机存储介质
PCT/CN2020/089438 WO2020253416A1 (zh) 2019-06-17 2020-05-09 物体检测方法、装置和计算机存储介质
US17/553,236 US20220108546A1 (en) 2019-06-17 2021-12-16 Object detection method and apparatus, and computer storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910523157.5A CN110378381B (zh) 2019-06-17 2019-06-17 物体检测方法、装置和计算机存储介质

Publications (2)

Publication Number Publication Date
CN110378381A true CN110378381A (zh) 2019-10-25
CN110378381B CN110378381B (zh) 2024-01-19

Family

ID=68250384

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910523157.5A Active CN110378381B (zh) 2019-06-17 2019-06-17 物体检测方法、装置和计算机存储介质

Country Status (3)

Country Link
US (1) US20220108546A1 (zh)
CN (1) CN110378381B (zh)
WO (1) WO2020253416A1 (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111161260A (zh) * 2020-01-02 2020-05-15 中冶赛迪重庆信息技术有限公司 一种基于深度学习的热轧带钢表面缺陷检测方法及装置
CN111191704A (zh) * 2019-12-24 2020-05-22 天津师范大学 一种基于任务图卷积网络的地基云分类方法
CN111191689A (zh) * 2019-12-16 2020-05-22 恩亿科(北京)数据科技有限公司 样本数据的处理方法和装置
CN111310604A (zh) * 2020-01-21 2020-06-19 华为技术有限公司 一种物体检测方法、装置以及存储介质
CN111460928A (zh) * 2020-03-17 2020-07-28 中国科学院计算技术研究所 一种人体动作识别系统及方法
CN111612051A (zh) * 2020-04-30 2020-09-01 杭州电子科技大学 一种基于图卷积神经网络的弱监督目标检测方法
CN111626291A (zh) * 2020-04-07 2020-09-04 上海交通大学 一种图像视觉关系检测方法、系统及终端
CN111967396A (zh) * 2020-08-18 2020-11-20 上海眼控科技股份有限公司 障碍物检测的处理方法、装置、设备及存储介质
WO2020253416A1 (zh) * 2019-06-17 2020-12-24 华为技术有限公司 物体检测方法、装置和计算机存储介质
CN113241124A (zh) * 2021-04-18 2021-08-10 南京理工大学 基于纳米颗粒的生物大分子检测方法及装置
WO2021155792A1 (zh) * 2020-02-03 2021-08-12 华为技术有限公司 一种处理装置、方法及存储介质
CN113361529A (zh) * 2020-03-03 2021-09-07 北京四维图新科技股份有限公司 图像语义分割方法、装置、电子设备及存储介质
CN113392781A (zh) * 2021-06-18 2021-09-14 山东浪潮科学研究院有限公司 一种基于图神经网络的视频情感语义分析方法
CN113743459A (zh) * 2021-07-29 2021-12-03 深圳云天励飞技术股份有限公司 目标检测方法、装置、电子设备及存储介质
CN116229377A (zh) * 2023-05-06 2023-06-06 成都三合力通科技有限公司 一种人员管控报警系统及方法

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110163076B (zh) * 2019-03-05 2024-05-24 腾讯科技（深圳）有限公司 一种图像数据处理方法和相关装置
CN112926438B (zh) * 2021-02-22 2024-04-05 深圳中科飞测科技股份有限公司 检测方法及装置、检测设备和存储介质
CN113609951B (zh) * 2021-07-30 2023-11-24 北京百度网讯科技有限公司 目标检测模型的训练和目标检测方法、装置、设备及介质
EP4137997B1 (en) * 2021-08-06 2024-06-12 Tata Consultancy Services Limited Methods and system for goal-conditioned exploration for object goal navigation
CN115082739B (zh) * 2022-07-01 2023-09-01 苏州慧维智能医疗科技有限公司 基于卷积神经网络的内窥镜评估方法及评估系统
CN115249254B (zh) * 2022-09-21 2022-12-30 江西财经大学 一种基于ar技术的目标跟踪方法及系统
CN116385814B (zh) * 2023-03-07 2023-12-05 广州市妇女儿童医疗中心 一种检测目标的超声筛查方法、系统、装置及介质
CN115953666B (zh) * 2023-03-15 2023-06-06 国网湖北省电力有限公司经济技术研究院 一种基于改进Mask-RCNN的变电站现场进度识别方法
CN116310406B (zh) * 2023-05-22 2023-08-11 浙江之科云创数字科技有限公司 一种图像检测的方法、装置、存储介质及电子设备
CN116580027B (zh) * 2023-07-12 2023-11-28 中国科学技术大学 一种结直肠内窥镜视频的实时息肉检测系统及方法
CN116758111B (zh) * 2023-08-21 2023-11-17 中通信息服务有限公司 基于ai算法的施工现场目标物追踪方法及装置
CN116978011B (zh) * 2023-08-23 2024-03-15 广州新华学院 一种用于智能目标识别的图像语义通信方法及系统
CN117422855B (zh) * 2023-12-19 2024-05-03 浙江省北大信息技术高等研究院 面向机器视觉的图像预处理方法、装置、设备及存储介质
CN117423138B (zh) * 2023-12-19 2024-03-15 四川泓宝润业工程技术有限公司 基于多分支结构的人体跌倒检测方法、装置及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108388879A (zh) * 2018-03-15 2018-08-10 斑马网络技术有限公司 目标的检测方法、装置和存储介质
CN108846826A (zh) * 2018-04-24 2018-11-20 深圳大学 物体检测方法、装置、图像处理设备及存储介质
US20190087686A1 (en) * 2017-09-21 2019-03-21 Baidu Online Network Technology (Beijing) Co., Ltd. Method and apparatus for detecting human face
US20190102605A1 (en) * 2017-09-29 2019-04-04 Baidu Online Network Technology (Beijing) Co.,Ltd. Method and apparatus for generating information
CN109583517A (zh) * 2018-12-26 2019-04-05 华东交通大学 一种适用于小目标检测的增强的全卷积实例语义分割算法
CN109711434A (zh) * 2018-11-30 2019-05-03 北京百度网讯科技有限公司 获取和评估vqa系统的训练数据的方法、装置、设备和介质
CN109740478A (zh) * 2018-12-26 2019-05-10 山东创科自动化科技有限公司 车辆检测及识别方法、装置、计算机设备及可读存储介质
CN109872362A (zh) * 2019-01-18 2019-06-11 腾讯科技（深圳）有限公司 一种目标检测方法及装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10002313B2 (en) * 2015-12-15 2018-06-19 Sighthound, Inc. Deeply learned convolutional neural networks (CNNS) for object localization and classification
US9996772B2 (en) * 2016-04-28 2018-06-12 International Business Machines Corporation Detection of objects in images using region-based convolutional neural networks
US10902615B2 (en) * 2017-11-13 2021-01-26 Qualcomm Incorporated Hybrid and self-aware long-term object tracking
CN108268651A (zh) * 2018-01-28 2018-07-10 海南大学 基于数据、信息和知识三层图谱架构的图像信息目标识别方法
CN109389055B (zh) * 2018-09-21 2021-07-20 西安电子科技大学 基于混合卷积和注意力机制的视频分类方法
CN110309856A (zh) * 2019-05-30 2019-10-08 华为技术有限公司 图像分类方法、神经网络的训练方法及装置
CN110378381B (zh) * 2019-06-17 2024-01-19 华为技术有限公司 物体检测方法、装置和计算机存储介质
CN111310604A (zh) * 2020-01-21 2020-06-19 华为技术有限公司 一种物体检测方法、装置以及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190087686A1 (en) * 2017-09-21 2019-03-21 Baidu Online Network Technology (Beijing) Co., Ltd. Method and apparatus for detecting human face
US20190102605A1 (en) * 2017-09-29 2019-04-04 Baidu Online Network Technology (Beijing) Co.,Ltd. Method and apparatus for generating information
CN108388879A (zh) * 2018-03-15 2018-08-10 斑马网络技术有限公司 目标的检测方法、装置和存储介质
CN108846826A (zh) * 2018-04-24 2018-11-20 深圳大学 物体检测方法、装置、图像处理设备及存储介质
CN109711434A (zh) * 2018-11-30 2019-05-03 北京百度网讯科技有限公司 获取和评估vqa系统的训练数据的方法、装置、设备和介质
CN109583517A (zh) * 2018-12-26 2019-04-05 华东交通大学 一种适用于小目标检测的增强的全卷积实例语义分割算法
CN109740478A (zh) * 2018-12-26 2019-05-10 山东创科自动化科技有限公司 车辆检测及识别方法、装置、计算机设备及可读存储介质
CN109872362A (zh) * 2019-01-18 2019-06-11 腾讯科技（深圳）有限公司 一种目标检测方法及装置

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020253416A1 (zh) * 2019-06-17 2020-12-24 华为技术有限公司 物体检测方法、装置和计算机存储介质
CN111191689A (zh) * 2019-12-16 2020-05-22 恩亿科(北京)数据科技有限公司 样本数据的处理方法和装置
CN111191689B (zh) * 2019-12-16 2023-09-12 恩亿科(北京)数据科技有限公司 样本数据的处理方法和装置
CN111191704A (zh) * 2019-12-24 2020-05-22 天津师范大学 一种基于任务图卷积网络的地基云分类方法
CN111191704B (zh) * 2019-12-24 2023-05-02 天津师范大学 一种基于任务图卷积网络的地基云分类方法
CN111161260A (zh) * 2020-01-02 2020-05-15 中冶赛迪重庆信息技术有限公司 一种基于深度学习的热轧带钢表面缺陷检测方法及装置
CN111310604A (zh) * 2020-01-21 2020-06-19 华为技术有限公司 一种物体检测方法、装置以及存储介质
WO2021147325A1 (zh) * 2020-01-21 2021-07-29 华为技术有限公司 一种物体检测方法、装置以及存储介质
WO2021155792A1 (zh) * 2020-02-03 2021-08-12 华为技术有限公司 一种处理装置、方法及存储介质
CN113361529B (zh) * 2020-03-03 2024-05-10 北京四维图新科技股份有限公司 图像语义分割方法、装置、电子设备及存储介质
CN113361529A (zh) * 2020-03-03 2021-09-07 北京四维图新科技股份有限公司 图像语义分割方法、装置、电子设备及存储介质
CN111460928A (zh) * 2020-03-17 2020-07-28 中国科学院计算技术研究所 一种人体动作识别系统及方法
CN111460928B (zh) * 2020-03-17 2023-07-21 中国科学院计算技术研究所 一种人体动作识别系统及方法
CN111626291A (zh) * 2020-04-07 2020-09-04 上海交通大学 一种图像视觉关系检测方法、系统及终端
CN111626291B (zh) * 2020-04-07 2023-04-25 上海交通大学 一种图像视觉关系检测方法、系统及终端
CN111612051B (zh) * 2020-04-30 2023-06-20 杭州电子科技大学 一种基于图卷积神经网络的弱监督目标检测方法
CN111612051A (zh) * 2020-04-30 2020-09-01 杭州电子科技大学 一种基于图卷积神经网络的弱监督目标检测方法
CN111967396A (zh) * 2020-08-18 2020-11-20 上海眼控科技股份有限公司 障碍物检测的处理方法、装置、设备及存储介质
CN113241124B (zh) * 2021-04-18 2022-09-06 南京理工大学 基于纳米颗粒的生物大分子检测方法及装置
CN113241124A (zh) * 2021-04-18 2021-08-10 南京理工大学 基于纳米颗粒的生物大分子检测方法及装置
CN113392781A (zh) * 2021-06-18 2021-09-14 山东浪潮科学研究院有限公司 一种基于图神经网络的视频情感语义分析方法
CN113743459A (zh) * 2021-07-29 2021-12-03 深圳云天励飞技术股份有限公司 目标检测方法、装置、电子设备及存储介质
CN113743459B (zh) * 2021-07-29 2024-04-02 深圳云天励飞技术股份有限公司 目标检测方法、装置、电子设备及存储介质
CN116229377A (zh) * 2023-05-06 2023-06-06 成都三合力通科技有限公司 一种人员管控报警系统及方法
CN116229377B (zh) * 2023-05-06 2023-08-04 成都三合力通科技有限公司 一种人员管控报警系统及方法

Also Published As

Publication number Publication date
US20220108546A1 (en) 2022-04-07
WO2020253416A1 (zh) 2020-12-24
CN110378381B (zh) 2024-01-19

Similar Documents

Publication Publication Date Title
CN110378381A (zh) 物体检测方法、装置和计算机存储介质
JP7289918B2 (ja) 物体認識方法及び装置
WO2022083536A1 (zh) 一种神经网络构建方法以及装置
CN110309856A (zh) 图像分类方法、神经网络的训练方法及装置
CN109685819B (zh) 一种基于特征增强的三维医学图像分割方法
CN112446270B (zh) 行人再识别网络的训练方法、行人再识别方法和装置
CN110188795A (zh) 图像分类方法、数据处理方法和装置
WO2022042713A1 (zh) 一种用于计算设备的深度学习训练方法和装置
CN111291809B (zh) 一种处理装置、方法及存储介质
US20210398252A1 (en) Image denoising method and apparatus
CN110532871A (zh) 图像处理的方法和装置
CN110070107A (zh) 物体识别方法及装置
CN110222717A (zh) 图像处理方法和装置
WO2022001805A1 (zh) 一种神经网络蒸馏方法及装置
CN108491849A (zh) 基于三维稠密连接卷积神经网络的高光谱图像分类方法
CN112561027A (zh) 神经网络架构搜索方法、图像处理方法、装置和存储介质
CN110222718B (zh) 图像处理的方法及装置
CN107239733A (zh) 连续手写字识别方法及系统
CN111914997B (zh) 训练神经网络的方法、图像处理方法及装置
CN111401517B (zh) 一种感知网络结构搜索方法及其装置
CN111832592B (zh) Rgbd显著性检测方法以及相关装置
CN111310604A (zh) 一种物体检测方法、装置以及存储介质
CN114255361A (zh) 神经网络模型的训练方法、图像处理方法及装置
WO2022228425A1 (zh) 一种模型训练方法及装置
CN113570029A (zh) 获取神经网络模型的方法、图像处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant