CN109598301B - 检测区域去除方法、装置、终端和存储介质 - Google Patents

检测区域去除方法、装置、终端和存储介质 Download PDF

Info

Publication number
CN109598301B
CN109598301B CN201811459246.XA CN201811459246A CN109598301B CN 109598301 B CN109598301 B CN 109598301B CN 201811459246 A CN201811459246 A CN 201811459246A CN 109598301 B CN109598301 B CN 109598301B
Authority
CN
China
Prior art keywords
target detection
features
level
feature
detection area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811459246.XA
Other languages
English (en)
Other versions
CN109598301A (zh
Inventor
亓鲁
刘枢
賈佳亞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201811459246.XA priority Critical patent/CN109598301B/zh
Publication of CN109598301A publication Critical patent/CN109598301A/zh
Application granted granted Critical
Publication of CN109598301B publication Critical patent/CN109598301B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种检测区域去除方法、装置、终端和存储介质；本发明实施例采用目标检测网络模型对图像进行目标检测，得到目标检测区域的区域信息；基于目标检测区域的区域信息构建目标检测区域的原始特征；从原始特征中提取目标检测区域的低级特征、中级特征和高级特征；对中级特征和高级特征进行融合，得到目标检测区域的全局特征；根据低级特征和高级特征对全局特征进行调整，得到目标检测区域的调整后全局特征；根据调整后全局特征对目标检测区域进行去除。该方案可以提升检测区域的过滤效果。

Description

检测区域去除方法、装置、终端和存储介质
技术领域
本发明涉及计算机技术领域，具体涉及一种检测区域去除方法、装置、终端和存储介质。
背景技术
目标检测广泛地应用在无人驾驶，无人零售，安防监控等各个领域。目标检测主要包括两个过程，一个过程是生成大量的目标检测区域如目标检测框，另一个过程是对目标检测区域如目标检测框进行过滤，如去重处理等。理想的目标检测区域如目标检测框的过滤是针对每一个物体只保留一个相对应的检测区域(如检测框)。
目前的目标检测区域过滤方式主要采用非极大值抑制；非极大值抑制常常作为冗余区域去重的主流算法。比如，以过滤检测框为例，针对某个图像已经产生大量的候选检测框，每一个检测框具有相对应的检测分数；选择检测分数最大的检测框，过滤掉与该检测框重叠率高于一定阈值的候选检测框。重复前述过程直至无法过滤。
然而，采用目前检测区域过滤方式过滤后仍会存在一些冗余或错误目标检测区域(如检测框)，因此，过滤效果较差。
发明内容
本发明实施例提供一种检测区域去除方法、装置、终端和存储介质，可以提升区域过滤效果。
本发明实施例提供一种检测区域去除方法，包括：
采用目标检测网络模型对图像进行目标检测，得到目标检测区域的区域信息；
基于所述目标检测区域的区域信息构建所述目标检测区域的原始特征；
从所述原始特征中提取目标检测区域的低级特征、中级特征和高级特征；
对所述中级特征和高级特征进行融合，得到所述目标检测区域的全局特征；
根据所述低级特征和所述高级特征对所述全局特征进行调整，得到所述目标检测区域的调整后全局特征；
根据所述调整后全局特征对目标检测区域进行去除。
本发明实施例还提供一种检测区域去除装置，包括：
目标检测单元，用于采用目标检测网络模型对图像进行目标检测，得到目标检测区域的区域信息；
第一特征获取单元，用于基于所述目标检测区域的区域信息构建所述目标检测区域的原始特征；
第二特征获取单元，用于从所述原始特征中提取目标检测区域的低级特征、中级特征和高级特征；
第三特征获取单元，用于对所述中级特征和高级特征进行融合，得到所述目标检测区域的全局特征；
特征调整单元，用于根据所述低级特征和所述高级特征对所述全局特征进行调整，得到所述目标检测区域的调整后全局特征；
去除单元，用于根据所述调整后全局特征对目标检测区域进行去除。
本发明实施例还提供一种存储介质，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本发明实施例所提供的任一种检测区域去除方法中的步骤。
此外，本发明实施例还提供一种终端，包括存储器存储有多条指令；所述处理器从所述存储器中加载指令，以执行本发明实施例所提供的任一种检测区域去除方法中的步骤。
本发明实施例采用目标检测网络模型对图像进行目标检测，得到目标检测区域的区域信息；基于目标检测区域的区域信息构建目标检测区域的原始特征；从原始特征中提取目标检测区域的低级特征、中级特征和高级特征；对中级特征和高级特征进行融合，得到目标检测区域的全局特征；根据低级特征和高级特征对全局特征进行调整，得到目标检测区域的调整后全局特征；根据调整后全局特征对目标检测区域进行去除。由于该方案可以捕捉图像的全局信息，并基于图像的全局信息进行有效的区域去除，可以对区域进行准确过滤，大大提升了目标检测区域的过滤效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1a是本发明实施例提供的检测区域去除方法的场景示意图；
图1b是本发明实施例提供的检测区域去除方法的流程示意图；
图1c是本发明实施例提供的检测框过滤结果示意图；
图2a是本发明实施例提供的检测框去除的流程示意图；
图2b是本发明实施例提供的检测框去除网络的结构示意图；
图2c是本发明实施例提供的另一检测框过滤结果示意图；
图2d是本发明实施例提供的检测区域去除方法应用在无人驾驶场景中的示意图；
图3a是本发明实施例提供的检测区域去除装置的第一种结构示意图；
图3b是本发明实施例提供的检测区域去除装置的第二种结构示意图；
图3c是本发明实施例提供的检测区域去除装置的第三种结构示意图；
图3d是本发明实施例提供的检测区域去除装置的第四种结构示意图；
图4是本发明实施例提供的网络设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供一种检测区域去除方法、装置、终端和存储介质。
其中，该检测区域去除装置具体可以集成在终端，该终端可以为手机、平板电脑、微型盒子、无人机等设备例如，参考图1a，终端可以采用目标检测网络模型对图像进行目标检测，得到目标检测区域(如目标检测框)的区域信息，比如，终端可以采集图像，并采用目标检测网络模型对采集到的图像进行目标检测等等；基于目标检测区域(如目标检测框)的区域信息构建目标检测区域(如目标检测框)的原始特征；从原始特征中提取目标检测区域(如目标检测框)的低级特征、中级特征和高级特征；对中级特征和高级特征进行融合，得到目标检测区域(如目标检测框)的全局特征；根据低级特征和高级特征对全局特征进行调整，得到目标检测区域(如目标检测框)的调整后全局特征；根据调整后全局特征对目标检测区域(如目标检测框)进行去除。
以下分别进行详细说明。需说明的是，以下实施例的序号不作为对实施例优选顺序的限定。
在本发明实施例中，将检测区域去除装置的角度进行描述，该检测区域去除装置具体可以终端，该终端可以为手机、平板电脑、微型盒子、无人机等设备。
在一实施例中，提供了一种检测区域去除方法，该方法可以由终端的处理器执行，如图1b所示，该检测区域去除方法的具体流程可以如下：
101、采用目标检测网络模型对图像进行目标检测，得到目标检测区域的区域信息。
其中，目标检测(也称为目标提取)是从图像中识别或检测目标如物体、人物等等的位置信息等区域信息。
该目标检测网络模型用于对图像进行目标检测，输出图像中目标所在或出现的位置信息(如区域位置信息)等信息。
该目标检测网络模型可以为基于深度学习的目标检测网络模型，比如，为RCNN(Regions with CNN)网络模型。目标检测网络模型可以输出图像中目标所在或出现的区域信息(如位置信息等)
其中，目标检测区域为检测到的目标所在的区域即目标区域，例如，图像中某个人物所在区域等等，由于一般在实际应用中，目标区域都会用框等方式标识，因此，目标检测区域也可以称为目标检测框，检测框代表的就是检测到的目标区域。应当理解的是本文中的检测框指的就是检测区域。
在一实施例中，可以将待识别图像输入至目标检测网络模型，该目标检测网络模型会识别出待识别图像中目标所在区域(即目标区域)，并输出目标区域信息，如目标区域的位置信息、目标区域的得分信息、目标区域的标识信息例如目标区域的标识框，即目标检测框。
其中，目标检测区域的区域信息可以包括：目标检测区域的位置信息、目标检测区域的得分信息、目标检测区域的标识信息等信息中的至少一种。
目标检测区域的位置信息为区域的位置信息，在一实施例中，可以在区域中选择若干定位点的位置信息作为区域的位置信息，比如，可以选择区域顶点的位置信息表示区域的位置信息，例如，在区域为矩形区域时，可以选择区域的左上角顶点、右上角顶点的位置信息如坐标作为区域的位置信息，此时，左上角顶点、右上角顶点的位置信息即为区域的位置信息。
其中，得分信息包括目标检测区域的分数，该分数用于衡量该区域去除的可能性，为在后续区域去除阶段提供参考，以便决定是否去除该区域。
本发明实施例，可以通过目标检测网络模型对图像进行目标检测，得到多个目标检测区域的区域信息。
102、基于目标检测区域的区域信息构建目标检测区域的原始特征。
其中，目标检测区域的原始特征可以为基于目标检测网络模型输出的目标检测区域的区域信息构建的初始特征；比如，可以基于区域位置信息构建几何特征等等。
其中，原始特征可以包括：目标检测区域的几何特征(fG)、得分特征(fS)、区域图像特征(fA)、排序特征(fR)等特征中的至少两种特征。本发明实施例中特征可以为特征向量，该特征向量为多维的行向量或者列向量，此时，向量的维度即为特征的维度，比如，原始特征可以包括几何特征向量、得分特征向量、区域图像特征向量、排序特征向量。
该几何特征为区域的几何特征如区域的尺寸特征等；该得分特征为区域的分数特征(也即衡量区域是否去除的分数)；该排序特征为基于分数对目标检测区域进行排序后得到的排序特征，比如，可以包括：根据分数和/目标类别对目标检测区域排名，得到目标检测区域的排名信息。
该区域图像特征为目标检测网络模型中目标检测区域分支的最后一个全连接层输出的区域图像特征；比如，可以为目标检测网络中检测框分支的最后一个完全连接层输出的区域图像特征。
譬如，目标检测网络模型可以包括：若干目标检测区域分支，每个目标检测区域分支对应一个或者多个目标区域；目标检测分支可以包括依次连接的特征提取层如卷积层、全连接层(FC)和分类器，其中，特征提取层用于提取目标区域的区域特征，并将区域特征输入至全连接层，全连接层对区域特征进行映射(如将高维区域特征映射为低维特征)，将映射后特征输入至分类器进行分类，便可以得到区域信息如位置信息和得分信息。
本发明实施例，为了防止原始图像特征信息的丢失，提升区域的去除准确性，在构建原始特征时，选择目标检测区域分支的最后一个全连接层输出的区域图像特征作为原始特征。
具体地，当区域信息包括位置信息、得分信息时，步骤“根据目标检测区域的区域信息获取目标检测区域的原始特征”，可以包括：
根据目标检测区域的位置信息构建目标检测区域的几何特征；
根据目标区域的得分信息构建目标检测区域的得分特征；
根据目标检测区域的得分信息对目标检测区域进行排序，得到目标检测区域的排序特征；
从目标检测网络模型中获取目标检测区域分支的最后一个全连接层输出的区域图像特征。
其中，基于位置信息构建几何特征的方式可以有多种，比如，可以将区域的位置信息作为目标检测区域的集合特征；例如，当区域的位置信息包括左上角顶点、右下角顶点坐标时，可以将左上角顶点、右下角顶点坐标作为区域的几何特征(fG)。为了便于计算，实际应用中还需要将几何特征非线性转换为统一维度，如转换为dl维的几何特征。
又比如，在一实施例中，为了保证每个检测区域的比例不变形，可以根据区域的尺寸和位置信息构建区域的几何特征，比如，当区域的位置信息包括左上角顶点、右下角顶点坐标时，可以将区域的几何特征fG表示为：
Figure BDA0001888332780000071
其中(x1,y1,x2,y2)是检测区域如检测框的左上角顶点和右下角顶点坐标，w,h是图像的宽度和高度。
其中，得分特征fS即为区域的分数，具体地，可以根据区域的分数构建多维的得分特征，为了便于计算，还可以将得分特征转换为统一维度，其中，得分特征与几何特征、区域图像特征、排序特征的维度可以相同如均为dl或者dR维；如对区域的分数进行平铺操作，构建多维得分特征，如得到多维(dl维)的得分特征向量。
其中，对于位于紧密位置的两个候选目标检测区域，他们具有相似的分数和外观特征。为了使更好地从检测网络捕获有效信息，可以根据区域的分数按降序对目标检测区域如检测框进行排名。这样每个目标检测区域如检测框都相应地具有排名(1-N)。然后使用位置编码将标量等级嵌入到更高维度的特征fR中，得到排序特征fR。具体地，可以计算具有不同波长的余弦和正弦函数以保证每个等级的正交性。其中，嵌入后的fR尺寸dr通常为32。在一实施例中，还可以将排序特征fR非线性转换到统一维度。
为提升平衡各个特征的重要性，本发明实施例还可以将几何特征(fG)、得分特征(fS)、区域图像特征(fA)、排序特征(fR)的维度统一，比如，将几何特征(fG)、得分特征(fS)、区域图像特征(fA)平铺到dr维。
通过上述方式，本发明实施例可以得到每个目标检测区域的原始特征，如几何特征(fG)、得分特征(fS)、区域图像特征(fA)、排序特征(fR)。
实际应用中，可以用一个二维矩阵表示所有目标检测区域的原始特征，假设有1000个目标检测区域，原始特征的维度为128，那么此时，可以通过上述方式得到1000*128的二维特征矩阵，其中，矩阵行数为特征维度，每一行向量表示一个区域的原始特征如几何特征(fG)，矩阵的列数为区域的数量。
103、根据原始特征获取目标检测区域的低级特征、中级特征和高级特征。
其中，低级特征为目标检测区域图像的低层次特征，比如，颜色特征等等；高级特征可以为目标检测区域图像的高层次特征，比如，可以包括语义特征等等，中级特征是目标检测区域图像中介于低层次、高层次之间层次的图像特征。
本发明实施例可以将原始特征转换成低级特征，然后，从低级特征中提取中高级特征；也即，步骤“根据原始特征获取目标检测区域的低级特征、中级特征和高级特征”，可以包括：
将原始特征转换成低级特征；
从低级特征中提取目标检测区域的中级特征和高级特征。
其中，低级特征转换方式有多种，比如，对原始特征进行融合，得到融合后特征；对融合后特征进行平滑操作，得到目标检测区域的低级特征。
其中，特征融合方式可以包括多种，比如，可以对原始特征进行特征嵌入或者特征连接等等。
例如，原始特征可以包括：目标检测区域的几何特征(fG)、得分特征(fS)、区域图像特征(fA)、排序特征(fR)；可以对目标检测区域的几何特征(fG)、得分特征(fS)、区域图像特征(fA)、排序特征(fR)进行特征连接。
比如，可以将区域图像特征fR、几何特征fG和得分特征fS都平铺到dr维，即转换成与排序特征fA相同维度。然后将fA，fG，fS和fR连接起来，然后转换为更平滑的低级特征fL。
fL＝Max{0,WL×Concat[Max(0,WAfA),fS,fR,fG]}
其中，CONCAT代表级联操作，用于将特征连接或融合，平滑操作可以包括特征维度转换，比如，将高维度特征转换为低维度特征，譬如，可以将fA，fG，fS和fR连接后的特征转换成统一维度的低级特征fL。
本发明实施例中，在得到低级特征fL，可以从低级特征fL中提取中级特征fM和高级特征fH。在一实施例中，为能够得到目标检测区域的全局上下文信息，即全局信息，可以采用循环神经网络从低级特征中提取目标检测区域的中级特征和高级特征；也即，步骤“从低级特征中提取目标检测区域的中级特征和高级特征”，可以包括：
利用循环神经网络从低级特征中提取目标检测区域的中级特征和高级特征。
其中，循环神经网络(Recurrent Neural Network,RNN),可以包括双向循环神经网络等等，比如，可以为GRU(Gated Recurrent Unit)；GRU是LSTM(Long-Short TermMemory，长短期记忆网络)的简化版本，是常用的RNN算法之一。
本发明实施例可以采用两个循环神经网络分别从低级特征中提取目标检测区域的中级特征和高级特征；具体地，采用第一循环神经网络和当前隐藏状态从低级特征提取目标检测区域的中级特征；采用第二循环神经网络和第一循环神经网络的当前隐藏状态，从低级特征提取目标检测区域的高级特征。
比如，可以采用两个GRU循环神经网络来提取中高级特征，第一个GRU可以根据当前时刻的隐藏状态从低级特征中提取中级特征，从而获得在网络的最终隐藏状态下中所有目标检测区域如检测框的全局上下文信息(这里上下文为上下区域)；第二个GRU可以继承第一个GRU的隐藏状态重新扫描区域的低级特征，以生成高级特征。
在实际应用中，第一循环神经网络如第一个GRU可以集成在编码器中，第二循环神经网络如第二个GRU可以集成在解码器中。
通过上述，可以得到所有目标检测区域的中高级特征，用矩阵表示，便可以得到一个中级特征矩阵和高级特征矩阵，该中级特征矩阵的行或列向量为相应目标检测区域的中级特征向量。该高级特征矩阵的行或列向量为相应目标检测区域的高级特征向量。
104、对中级特征和高级特征进行融合，得到目标检测区域的全局特征。
其中，全局特征包括目标检测区域如检测框所在的整个图像的整体特征信息。
其中，全局特征可以对中级特征和高级特征融合得到，具体地，可以寻找目标检测区域之间的关系，然后，基于目标检测区域之间的关系对中级特征进行调整如增强减弱等，然后，融合高级特征来得到全局特征。比如，步骤“对中级特征和高级特征进行融合，得到目标检测区域的全局特征”，可以包括：
根据中级特征和高级特征获取目标检测区域之间的关系；
基于目标检测区域之间的关系对中级特征进行调整，得到调整后中级特征；
对所述高级特征和所述调整后中级特征进行融合，得到所述目标检测区域的全局特征。
其中，目标检测区域如检测框之间的关系获取，可以通过中高级特征的非线性融合得到，比如，步骤“根据中级特征和高级特征获取目标检测区域之间的关系”，可以包括：
分别对中级特征和高级特征进行平铺操作；
对平铺后中级特征和平铺后高级特征进行非线性融合操作，得到目标检测区域之间的关联性特征；
基于目标检测区域之间的关系对中级特征进行调整，得到调整后中级特征，包括：根据目标检测区域之间的关联性特征对中级特征进行调整，得到调整后中级特征。
其中，平铺操作(TILE)为将特征沿着某个方向重复放置，比如，以特征矩阵(如1000*128的特征矩阵)表示所有目标检测区域的中级特征向量(如矩阵的行向量)为例，可以将中级特征矩阵进行1000次平铺，那么会得到一个三维中级特征矩阵1000*1000*128；同样对高级特征平铺，也可以得到一个三维高级特征矩阵(1000*1000*128)。
在平铺后，可以对平铺后的中高级特征进行非线性操作(TANH)，比如，可以对平铺后的中高级特征进行非线性操作相加操作(ADD TANH)，得到非线性操作后特征；此时，可以根据非线性操作后特征得到区域之间的关联性特征。
在一实施例中，对平铺后中级特征和平铺后高级特征进行非线性融合操作，得到融合操作后特征，可以对融合操作特征进行平滑操作(例如采用全连接层W进行平滑操作)，然后，对平滑操作后特征进行归一化处理，得到区域之间的关联性特征。
譬如，在对中高级矩阵分别进行平铺操作，得到三维中级特征矩阵(1000*1000*128)、三维高级特征矩阵(1000*1000*128)之后，可以将两个三维特征矩阵中元素进行相加操作，得到相加操作后三维特征矩阵(1000*1000*128)；然后，对相加操作后三维特征矩阵进行平滑操作，如将矩阵中相加操作后特征的维度映射到相应维度如一维，也即将特征矩阵中特征向量映射为相应维度的特征。譬如，可以相加操作后三维特征矩阵(1000*1000*128)中特征维度映射到一维，得到关联性特征矩阵(1000*1000*1)，即二维关联性特征矩阵。然后，采用SIGMOID函数对关联性特征矩阵进行归一化处理，将特征值映射到0到1之间，得到最终的关联性特征矩阵，该关联性特征矩阵中特征值表示目标检测区域与其他检测区域之间的关系如关联度。
在一实施例中，为了平衡特征的重要性，在对中高级特征平铺操作之前，还可以分别对中高级特征进行平滑操作，比如，分别将中高级特征映射为相应或者统一维度的中高级特征(例如采用全连接层W进行平滑操作)。
在得到目标检测区域之间的关联性特征之后，便可以根据关联性特征对中级特征进行调整如加强或减弱等；步骤“基于目标检测区域之间的关系对中级特征进行调整，得到调整后中级特征”，可以包括：根据目标检测区域之间的关联性特征对中级特征进行调整，得到调整后中级特征。
比如，在一实施例中，可以将关联性特征与中级特征进行特征融合，如将关联性特征与中级特征进行相乘，实现对中级特征进行增强或减弱。
例如，在得到关联性特征矩阵(1000*1000*1)之后，可以将关联性特征矩阵与中级特征矩阵(1000*128)进行矩阵相乘操作(BMM)，得到调整后的中级特征矩阵，也即得到每个检测区域如检测框对应的调整后中级特征向量。
本发明实施例，根据上述方式得到调整后中级特征后，可以将调整后中级特征与高级特征进行融合，得到目标检测区域的全局特征。具体地，可以对调整后中级特征与高级特征进行级联操作(CONCAT)，也即将调整后中级特征与高级特征进行连接，得到目标检测区域的全局特征fK。
在一实施例中，为了便于后续计算和平衡特征重要性，在将调整后中级特征与高级特征进行融合之后，对中高级融合特征进行平滑操作，如将中高级融合特征映射为相应或者统一维度的特征(例如采用全连接层W进行平滑操作)，得到全局特征。
例如，在得到关联性特征矩阵(1000*1000*1)之后，可以将关联性特征矩阵与中级特征矩阵(1000*128)进行矩阵相乘操作(BMM)，得到调整后的中级特征矩阵，也即得到每个检测区域如检测框对应的调整后中级特征向量；然后，将调整后的中级特征矩阵与高级特征矩阵进行特征级联操作，得到级联操作后特征矩阵，最后，对级联操作后特征矩阵进行平滑操作，如将中高级融合特征映射为相应或者统一维度的特征(例如采用全连接层W进行平滑操作)，得到全局特征。
经过上述处理后，可以得到所有目标检测区域的全局特征，用矩阵表示，便可以得到一个全局特征矩阵，该矩阵的行或列向量为相应目标检测区域的全局特征向量。
105、根据低级特征和高级特征对全局特征进行调整，得到目标检测区域的调整后全局特征。
本发明实施例中，为了避免缺少原始特征信息的情况，提升区域去除的准确性，还可以根据低高级特征对全局特征进行调整如选择性增强等；比如，步骤“根据低级特征和高级特征对全局特征进行调整，得到目标检测区域的调整后全局特征”，可以包括：
对低级特征、高级特征和全局特征进行融合，得到目标检测区域的第一融合后特征；
对第一融合后特征和全局特征进行融合，得到目标检测区域的第二融合后特征；
根据第一融合后特征、第二融合后特征对全局特征进行调整，得到目标检测区域的调整后全局特征。
例如，在得到目标检测区域的全局特征之后可以低级特征fL、高级特征fH、全局特征fK进行融合，比如，对低级特征fL、高级特征fH、全局特征fK进行级联操作(CONCAT)，得到第一融合后特征fT。并且，对第一融合后特征fT、全局特征fK进行融合，得到第二融合后特征fZ。然后，然后，根据第一融合后特征fT、第二融合后特征fZ对全局特征fK进行调整，得到调整后全局特征fC。
在一实施例中，为了平衡特征的重要性，在得到第一融合后特征fT之后，还可以对第一融合后特征fT进行平滑操作，比如，分别将第一融合后特征fT映射为相应或者统一维度的第一融合后特征fT。
其中，还可以在得到第二融合后特征fZ之后，还可以对第二融合后特征fZ进行平滑操作，比如，分别将第二融合后特征fZ映射为相应或者统一维度的第二融合后特征fZ。
其中，第二融合后特征fZ可以作为特征调整参数，比如，特征调整系数等，因此，为了便于计算，还可以对第二融合后特征fZ进行归一化处理，比如，在对第二融合后特征fZ进行平滑操作后，采用SIGMOID函数对平滑操作后融合后特征fZ进行归一化处理，得到最终第二融合后特征fZ。
本发明实施例中，根据第一融合后特征、第二融合后特征对全局特征进行调整的方式可以多种，可以根据实际需求设定，比如，可以将第一融合特征与第二融合特征进行相乘，然后，将全局特征与相乘后特征进行相加。
例如，在得到第一融合后特征fT、第二融合后特征fZ，可以采用如下方式对全局特征fK进行选择性增强：
fC＝fV+fZ。fT
其中，“。”表示特征相乘；fV为平滑操作后的全局特征fK，fC为增强后的全局特征。
经过上述的方式，本发明实施例可以得到每个目标检测区域如检测框的调整后全局特征，如果用矩阵表示的，可以得到调整后全局特征矩阵，该矩阵中行向量或列向量表示某个目标检测区域的调整后全局特征向量。
106、根据调整后全局特征对目标检测区域进行去除。
比如，根据目标检测区域的调整后全局特征确定目标检测区域是否去除，若是，则去除该目标检测区域，若否，则不去除。
在一实施例中，可以根据全局特征得到每个目标检测区域的全局得分，然后，基于全局得分对区域如检测框进行去除。
比如，步骤“根据调整后全局特征对目标检测区域进行去除”，可以包括：
将调整后全局特征映射为一维全局特征；
对目标检测区域的一维全局特征进行归一化处理，得到目标检测区域的全局得分；
根据全局得分对目标检测区域进行去除。
例如，在得到调整后全局特征fC之后，假设全局特征fC的维度为n，n大于1的正整数，此时，可以对调整后全局特征fC进行平滑操作，将全局特征fC映射为一维全局特征fC'；然后，对一维全局特征fC'归一化处理，得到目标检测区域的全局得分S1；最后，根据全局得分S1对目标检测框进行去除。例如，根据全局得分S1确定该区域是否需要去除，若是，则去除。
在一实施例中，为了提升区域去除的准确性，还可以结合目标检测网络输出的区域的原始得分来对区域进行去除；比如，区域信息包括目标检测区域的原始得分；步骤“根据全局得分对目标检测区域进行去除”，可以包括：
对目标检测区域的原始得分和全局得分进行融合，得到目标检测区域的最终得分；
根据目标检测区域的最终得分对目标检测区域进行去除。
例如，可以获取目标检测网络模型输出的目标检测区域的原始得分S0，然后，将目标检测区域的原始得分S0与全局得分S1进行乘法运算，得到最终得分S。然后，基于区域如检测框的最终得分确定该区域是否去除，若是则去除，若否，则不去除。
检测框去重的关键挑战是备选检测框和实际物体数量的极端不平衡。例如，一张图片拥有10或20个实际物体，然而检测网络往往为每个类生成1,000多个备选检测框，这使得网络难以捕获整个图像的全局信息。为了平衡正负样本(需要去除的检测框为负样本，需要保留的检测框为正样本)分布，本发明实施例可以采用级联的两个阶段以逐步去除重复检测框。这是因为在任何单一图像中，绝大多数备选检测框都是负样本。因此，级联结构试图在早期阶段拒绝尽可能多的负样本。具体地，在第一阶段采用上述介绍的方法去除检测框，减少负样本，然后，在第二阶段同样采用上述介绍的方式来去除剩余检测框。
也即，本发明实施例在对区域去除后，还可以包括：
获取剩余目标检测区域的原始特征；
从所述原始特征中提取剩余目标检测区域的低级特征、中级特征和高级特征；
对所述中级特征和高级特征进行融合，得到所述剩余目标检测区域的全局特征；
根据所述低级特征和所述高级特征对所述全局特征进行调整，得到所述剩余目标检测区域的调整后全局特征；
根据剩余目标检测区域的调整后全局特征对剩余目标检测区域进行去除。
对剩余目标检测区域的去除方式与上述介绍的去除方式相同，可以参考上述介绍的具体过程。
其中，第一阶段可以抑制简单的大量负样本，而第二阶段更专注于消除那些相对较难的负样本。
例如，参考图1c，可以通过检测网络检测出大量的目标检测框，然后，在第一阶段通过上述方式去除一些目标检测框，最后在第二阶段同样通过上述方式对剩余检测框进行去除，得到最终的检测框去除效果。
本发明实施例提供的区域去除方案可以应用在各种目标检测场景中，比如，无人驾驶，无人零售，安防监控等场景中。以无人驾驶为例，在目标检测的结果基础上对每一个有效框进行语义分割，以得到更为准确的物体位置。采用本发明实施例提供的方案能够更为准确的选择有效框，大大减少了可进行语义分割的有效框数量。进一步减少了语义分割的有效框数量，从而无人驾驶系统能够做出更为准确的判断。
由上可知，本发明实施例采用目标检测网络模型对图像进行目标检测，得到目标检测区域的区域信息；基于目标检测区域的区域信息构建目标检测区域的原始特征；从原始特征中提取目标检测区域的低级特征、中级特征和高级特征；对中级特征和高级特征进行融合，得到目标检测区域的全局特征；根据低级特征和高级特征对全局特征进行调整，得到目标检测区域的调整后全局特征；根据调整后全局特征对目标检测区域进行去除。由于该方案可以捕捉图像的全局信息(如全局特征)，并基于图像的全局信息进行有效的区域去除，可以对区域进行准确过滤，提升目标检测区域的过滤效果和效率。
根据上述实施例所描述的方法，以下将作进一步详细说明。
在本实施例中，将以该目标检测框以框的形式表示为例，对本发明实施例的方法进行详细说明。
如图2a所示，一种检测框去除方法具体流程如下：
201、采集待检测图像。
例如，终端可以通过摄像头采集待检测图像，或者从其他设备获取待检测图像。
202、采用目标检测网络模型对图像进行目标检测，得到目标检测框的区域信息。
该目标检测网络模型可以为基于深度学习的目标检测网络模型，目标检测网络模型可以输出图像中目标检测框、以及检测框的区域信息(如位置信息、得分信息等)
具体模型介绍可以参考上述实施例。
203、根据目标检测框的区域信息构建目标检测框的原始特征。
其中，目标检测框的区域信息可以包括：目标检测框的位置信息、目标检测框的得分信息、目标检测框的标识信息等信息。
其中，原始特征可以包括：目标检测框的几何特征(fG)、得分特征(fS)、区域图像特征(fA)、排序特征(fR)等特征中的至少两种特征。
具体地，原始特征构建方式可以参考上述的描述。
204、对原始特征进行融合，并对融合后特征进行平滑操作，得到目标检测框的低级特征。
在实际应用中，可以提供一个检测框去除网络来实现步骤204至步骤208的所有过程。比如，参考图2b，为该检测框去除网络的结构。可以包括：特征嵌入(FeatureEmbedding)单元，编解码(Encoder-Decoder)单元，全局关注(Global Attention)单元，上下文门控(Context Gate)单元和最终决策(Final Decision)单元。
其中，特征嵌入(Feature Embedding)单元，可以用于对原始特征进行融合，并对融合后特征进行平滑操作，得到目标检测框的低级特征。
参考图2b，特征嵌入单元可以包括平滑操作单元WA、WL以及级联操作(CONCAT)单元，如下：
在得到目标检测框的几何特征(fG)、得分特征(fS)、区域图像特征(fA)、排序特征(fR)之后，可以先通过WA对区域图像特征(fA)进行平滑操作，如将区域图像特征(fA)映射到相应维度，如与其他类型特征相同的维度。
级联操作(CONCAT)单元，可以对几何特征(fG)、得分特征(fS)、区域图像特征(fA)、排序特征(fR)进行特征级联操作，如将这些特征连接；
平滑操作单元WL，可以对级联操作后特征进行平滑操作，得到目标检测框的低级特征fL，比如，将级联操作后特征(fA)映射到相应维度，如与其他类型特征相同的维度。
205、利用循环神经网络从低级特征中提取目标检测框的中级特征和高级特征。
本发明实施例可以采用两个循环神经网络分别从低级特征中提取目标检测框的中级特征和高级特征。两个循环神经网络可以集成编解码单元中，比如，参考图2b，编解码单元包括编码器和解码器；编码器和解码器分别集成有一个GRU模块，编码器用于从基于当前隐藏状态从低级特征提取目标检测框的中级特征，获得存储在编码器的最终隐藏状态中的所有检测框的全局上下文信息；解码器继承解码器的隐藏状态并重新扫描备选框的低级特征以生成高级特征。
206、对中级特征和高级特征进行融合，得到目标检测框的全局特征。
比如，参考图2b，全局关注(Global Attention)单元包括：
平滑操作单元WM，对中级特征fM进行平滑操作，比如，中级特征fM转换到相应维度；
平滑操作单元WH，对高级特征fH进行平滑操作，比如，高级特征fH转换到相应维度；
分别采用两个平铺操作(TILE)单元对平滑操作后的中级特征fM、高级特征fH进行平铺操作；
非线性相加(ADD TANH)单元，对平铺操作后的中级特征fM、高级特征fH进行非线性相加操作，得到非线性操作后特征；
平滑操作单元WS，对非线性操作后特征进行平滑操作；
SOFTMAX单元，对平滑操作后特征进行softmax归一化处理，得到归一化后特征，表示该归一化特征即为目标检测框之间的关联性特征，表示，目标检测框与其他检测框的关联度等信息。
相乘操作(BMM)单元，将SOFTMAX单元输出的特征和中级特征fM进行相乘；
级联操作(CONCAT)单元，可以相乘操作(BMM)单元输出的特征、高级特征fH进行特征连接；
平滑操作单元WG，对级联操作(CONCAT)单元输出的特征进行平滑处理，得到目标检测框的全局特征fK。
207、根据低级特征和高级特征对全局特征进行调整，得到目标检测框的调整后全局特征。
比如，参考图2b，采用上下文门来选择性地增强全局特征。具体地，上下文门控(Context Gate)单元可以包括：
第一个级联操作(CONCAT)单元，对目标检测框的全局特征fK、高级特征fH、低级特征fL进行特征级联操作，
平滑操作单元WC 1，对级联操作后的全局特征fK进行平滑操作，得到第一融合后特征fT；
第二级联操作(CONCAT)单元，将第一个级联操作(CONCAT)单元输出的特征与全局特征fK进行级联操作；
平滑操作单元WC 2，对第二级联操作输出的特征进行平滑操作；
SIGMOID单元，用于对平滑操作单元WS 2输出的特征进行归一化处理，得到第二融合后特征fZ；
平滑操作单元WC 3对全局特征fK进行平滑操作，得到平滑操作后的特征fV；
最后，上下文门控(Context Gate)单元，采用如下方式对全局特征fK进行选择性增强：
fC＝fV+fZ。fT
其中，“。”表示特征相乘；fV为平滑操作后的全局特征fK，fC为增强后的全局特征。
208、根据调整后全局特征对目标检测框进行去除。
参考图2b，最终决策(Final Decision)单元，包括：
平滑操作单元WD，对增强后的全局特征fK进行平滑操作；
SIGMOID单元，用于对平滑操作单元WD输出的平滑操作后特征进行归一化处理，得到目标检测框的全局得分S1；
元素相乘(ELEM-MUL)单元，用于将目标检测框的原始得分S0与全局得分S1进行乘法运算，得到最终得分S；
训练(TRAIN)单元，用于根据全局得分S1对模型进行训练；
决断(INFERENCE)单元，用于根据元素相乘(ELEM-MUL)单元输出的最终得分S确定目标检测框是否需要去除。
最后本发明实施例在根据每个目标检测框的确定结果进行去除过滤。
此外，本发明实施例检测框去除的过程可以包括两个阶段，第一个阶段可以采用上述步骤204-208对检测框进行第一次过滤，比如，在第二阶段可以参考图2b所示网络结构进行检测框去除。例如，参考图2c，图2c中第一幅图为标签图像，第二幅图为采用非极大性抑制方式过滤后的结果，第三幅图为经过上述第一个阶段过滤后的结果。
在第一个阶段过滤完成后，还需要对于剩余的检测框进行第二阶段过滤，具体采用上述步骤204-208方式对检测框进行第二次过滤，比如，可以采用图2b所示网络结构再次对剩余检测框进行过滤。如图2c中第四幅图为经过上述第第二个阶段过滤后的结果。
本发明实施例提供的检测区域去除方法可以应用于各种目标检测场景，比如，可以应用在无人驾驶，无人零售，安防监控等场景中。以无人驾驶为例，可以首先应用本发明实施例提供的检测区域去除方法可以有效地对目标检测框进行去除，然后，在对有效检测区域进行语义分割，以得到更为准确的物体位置，参考图2d，图2d为应用本发明实施例提供的方案在部分路段测试的场景图。应用本发明实施例提供的方法能够更为准确的选择有效检测框，大大减少了可进行语义分割的有效框数量。从图2d中可以看出，利用本发明实施例提出的检测框去重技术，可以进一步减少了语义分割的有效框数量，从而无人驾驶系统能够做出更为准确的判断。
通过本发明实施例提供的方法可以对目标检测框进行有效的过滤，比如，本发明实施例可以将神经网络所产生的备选框抽象为有序序列，利用双向循环神经网络提取序列的完整信息，更为全面的整体信息能够更好地指导网络进行有效地目标检测框去重。该方案可以利用循环神经网络进行检测框的去重，在保证检测准确率的同时大大降低了冗余检测框的数量，大大提升过滤效果、准确性和效率。
为了更好地实施以上方法，本发明实施例还提供一种检测区域去除装置，该检测区域去除装置具体可以集成终端，如手机、平板电脑、微型处理盒子、无人机等等设备中。
例如，如图3a所示，该检测区域去除装置可以包括目标检测单元301、第一特征获取单元302、第二特征获取单元303、第三特征获取单元304、特征调整单元305以及去除单元305，如下：
目标检测单元301，用于采用目标检测网络模型对图像进行目标检测，得到目标检测区域的区域信息；
第一特征获取单元302，用于基于所述目标检测区域的区域信息构建所述目标检测区域的原始特征；
第二特征获取单元303，用于从所述原始特征中提取目标检测区域的低级特征、中级特征和高级特征；
第三特征获取单元304，用于对所述中级特征和高级特征进行融合，得到所述目标检测区域的全局特征；
特征调整单元305，用于根据所述低级特征和所述高级特征对所述全局特征进行调整，得到所述目标检测区域的调整后全局特征；
去除单元306，用于根据所述调整后全局特征对目标检测区域进行去除。
在一实施例中，参考图3b，第二特征获取单元303，可以包括：
低级特征获取子单元3031，用于将所述原始特征转换成低级特征；
中高级特征获取子单元3032，用于从所述低级特征中提取目标检测区域的中级特征和高级特征。
在一实施例中，所述低级特征获取子单元3031，可以具体用于：
对所述原始特征进行融合，得到融合后特征；
对融合后特征进行平滑操作，得到目标检测区域的低级特征。
在一实施例中，所述区域信息包括位置信息、得分信息；第一特征获取单元302，可以具体用于：
根据所述目标检测区域的位置信息构建所述目标检测区域的几何特征；
根据所述目标区域的得分信息构建所述目标检测区域的得分特征；
根据所述目标检测区域的得分信息对所述目标检测区域进行排序，得到所述目标检测区域的排序特征；
从所述目标检测网络模型中获取目标检测区域分支的最后一个全连接层输出的区域图像特征。
在一实施例中，中高级特征获取子单元3032，可以具体用于：
利用循环神经网络从低级特征中提取目标检测区域的中级特征和高级特征。
在一实施例中，中高级特征获取子单元3032，可以具体用于：
采用第一循环神经网络和当前隐藏状态从低级特征提取目标检测区域的中级特征；
采用第二循环神经网络和所述第一循环神经网络的当前隐藏状态，从低级特征提取目标检测区域的高级特征。
在一实施例中，参考图3c，第三特征获取单元304，可以包括：
关系获取子单元3041，用于根据所述中级特征和高级特征获取所述目标检测区域之间的关系；
调整子单元3042，用于基于所述目标检测区域之间的关系对所述中级特征进行调整，得到调整后中级特征；
特征获取子单元3043，用于根据所述高级特征和所述调整后中级特征获取所述目标检测区域的全局特征。
在一实施例中，关系获取子单元3041，用于分别对中级特征和高级特征进行平铺操作；
对平铺后中级特征和平铺后高级特征进行非线性融合操作，得到目标检测区域之间的关联性特征；
所述调整子单元3042，可以用于根据所述目标检测区域之间的关联性特征对所述中级特征进行调整，得到调整后中级特征。
在一实施例中，特征调整单元305，可以具体用于：
对所述低级特征、所述高级特征和所述全局特征进行融合，得到目标检测区域的第一融合后特征；
对所述第一融合后特征和所述全局特征进行融合，得到目标检测区域的第二融合后特征；
根据所述第一融合后特征、所述第二融合后特征对所述全局特征进行调整，得到所述目标检测区域的调整后全局特征。
在一实施例中，去除单元306，可以用于：
将所述调整后全局特征映射为一维全局特征；
对所述目标检测区域的一维全局特征进行归一化处理，得到目标检测区域的全局得分；
根据所述全局得分对目标检测区域进行去除。
在一实施例中，所述区域信息包括目标检测区域的原始得分；去除单元306，可以具体用于：
对目标检测区域的原始得分和全局得分进行融合，得到目标检测区域的最终得分；
根据目标检测区域的最终得分对目标检测区域进行去除。
在一实施例中，参考图3d，检测区域去除装置还可以包括：区域去除单元307；
所述区域去除单元307，可以具体用于：
获取剩余目标检测区域的原始特征；
根据所述原始特征获取剩余目标检测区域的低级特征、中级特征和高级特征；
根据所述中级特征和高级特征获取所述剩余目标检测区域的全局特征；
根据所述低级特征和所述高级特征对所述全局特征进行选择性增强，得到所述剩余目标检测区域的调整后全局特征；
根据所述剩余目标检测区域的调整后全局特征对剩余目标检测区域进行去除。
具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。
由上可知，本实施例的检测区域去除装置通过目标检测单元301，用于采用目标检测网络模型对图像进行目标检测，得到目标检测区域的区域信息；由第一特征获取单元302基于所述目标检测区域的区域信息构建所述目标检测区域的原始特征；由第二特征获取单元303从所述原始特征中提取目标检测区域的低级特征、中级特征和高级特征；由第三特征获取单元304对所述中级特征和高级特征进行融合，得到所述目标检测区域的全局特征；由特征调整单元305根据所述低级特征和所述高级特征对所述全局特征进行调整，得到所述目标检测区域的调整后全局特征；由去除单元306根据所述调整后全局特征对目标检测区域进行去除。。于该方案可以捕捉图像的全局信息，并基于图像的全局信息进行有效的区域去除，可以对区域进行准确过滤，大大提升了目标检测区域的过滤效果。
本发明实施例还提供一种终端，该终端可以手机、平板电脑、微型处理盒子、无人机、或者图像采集设备等等。如图4所示，其示出了本发明实施例所涉及的终端的结构示意图，具体来讲：
该终端可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解，图4中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
处理器401是该终端的控制中心，利用各种接口和线路连接整个终端的各个部分，通过运行或执行存储在存储器402内的软件程序和/或模块，以及调用存储在存储器402内的数据，执行终端的各种功能和处理数据，从而对终端进行整体监控。可选的，处理器401可包括一个或多个处理核心；优选的，处理器401可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器401中。
存储器402可用于存储软件程序以及模块，处理器401通过运行存储在存储器402的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器402还可以包括存储器控制器，以提供处理器401对存储器402的访问。
终端还包括给各个部件供电的电源403，优选的，电源403可以通过电源管理系统与处理器401逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该终端还可包括输入单元404，该输入单元404可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出，终端还可以包括显示单元等，在此不再赘述。具体在本实施例中，终端中的处理器401会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中，并由处理器401来运行存储在存储器402中的应用程序，从而实现各种功能，如下：
采用目标检测网络模型对图像进行目标检测，得到目标检测区域的区域信息；基于目标检测区域的区域信息构建目标检测区域的原始特征；从原始特征中提取目标检测区域的低级特征、中级特征和高级特征；对中级特征和高级特征进行融合，得到目标检测区域的全局特征；根据所述低级特征和所述高级特征对所述全局特征进行调整，得到所述目标检测区域的调整后全局特征；根据所述调整后全局特征对目标检测区域进行去除。
例如，将所述原始特征转换成低级特征；从所述低级特征中提取目标检测区域的中级特征和高级特征。
例如，利用循环神经网络从低级特征中提取目标检测区域的中级特征和高级特征。
又例如，根据所述中级特征和高级特征获取所述目标检测区域之间的关系；基于所述目标检测区域之间的关系对所述中级特征进行调整，得到调整后中级特征；根据所述高级特征和所述调整后中级特征获取所述目标检测区域的全局特征。
又例如，对所述低级特征、所述高级特征和所述全局特征进行融合，得到目标检测区域的第一融合后特征；对所述第一融合后特征和所述全局特征进行融合，得到目标检测区域的第二融合后特征；根据所述第一融合后特征、所述第二融合后特征对所述全局特征进行调整，得到所述目标检测区域的调整后全局特征。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
由上可知，本实施例的网络设备可以采用目标检测网络模型对图像进行目标检测，得到目标检测区域的区域信息；基于目标检测区域的区域信息构建目标检测区域的原始特征；从原始特征中提取目标检测区域的低级特征、中级特征和高级特征；对中级特征和高级特征进行融合，得到目标检测区域的全局特征；根据所述低级特征和所述高级特征对所述全局特征进行调整，得到所述目标检测区域的调整后全局特征；根据所述调整后全局特征对目标检测区域进行去除。该方案可以对目标检测区域进行有效过滤，大大提升目标检测区域的过滤效果。。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本发明实施例提供一种存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本发明实施例所提供的任一种检测区域去除方法中的步骤。例如，该指令可以执行如下步骤：
采用目标检测网络模型对图像进行目标检测，得到目标检测区域的区域信息；基于目标检测区域的区域信息构建目标检测区域的原始特征；从原始特征中提取目标检测区域的低级特征、中级特征和高级特征；对中级特征和高级特征进行融合，得到目标检测区域的全局特征；根据所述低级特征和所述高级特征对所述全局特征进行调整，得到所述目标检测区域的调整后全局特征；根据所述调整后全局特征对目标检测区域进行去除。
其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的指令，可以执行本发明实施例所提供的任一种检测区域去除方法中的步骤，因此，可以实现本发明实施例所提供的任一种检测区域去除方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
以上对本发明实施例所提供的一种检测区域去除方法、装置、终端和存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (15)

1.一种检测区域去除方法，其特征在于，包括：
采用目标检测网络模型对图像进行目标检测，得到目标检测区域的区域信息；
基于所述目标检测区域的区域信息构建所述目标检测区域的原始特征；
从所述原始特征中提取目标检测区域的低级特征、中级特征和高级特征，所述低级特征为目标检测区域图像的低层次特征，包括颜色特征，所述高级特征为目标检测区域图像的高层次特征，包括语义特征，所述中级特征是所述目标检测区域图像中介于低层次、高层次之间层次的图像特征；
对所述中级特征和高级特征进行融合，得到所述目标检测区域的全局特征；
根据所述低级特征和所述高级特征对所述全局特征进行调整，得到所述目标检测区域的调整后全局特征；
根据所述调整后全局特征对目标检测区域进行去除。
2.如权利要求1所述的检测区域去除方法，其特征在于，从所述原始特征中提取目标检测区域的低级特征、中级特征和高级特征，包括：
将所述原始特征转换成低级特征；
从所述低级特征中提取目标检测区域的中级特征和高级特征。
3.如权利要求2所述的检测区域去除方法，其特征在于，将所述原始特征转换成低级特征，包括：
对所述原始特征进行融合，得到融合后特征；
对融合后特征进行平滑操作，得到目标检测区域的低级特征。
4.如权利要求1所述的检测区域去除方法，其特征在于，所述区域信息包括位置信息、得分信息；基于所述目标检测区域的区域信息构建所述目标检测区域的原始特征，包括：
根据所述目标检测区域的位置信息构建所述目标检测区域的几何特征；
根据所述目标检测区域的得分信息构建所述目标检测区域的得分特征；
根据所述目标检测区域的得分信息对所述目标检测区域进行排序，得到所述目标检测区域的排序特征；
从所述目标检测网络模型中获取目标检测区域分支的最后一个全连接层输出的区域图像特征。
5.如权利要求2所述的检测区域去除方法，其特征在于，从所述低级特征中提取目标检测区域的中级特征和高级特征，包括：
利用循环神经网络从低级特征中提取目标检测区域的中级特征和高级特征。
6.如权利要求5所述的检测区域去除方法，其特征在于，所述利用循环神经网络从低级特征中提取目标检测区域的中级特征和高级特征，包括：
采用第一循环神经网络和当前隐藏状态从低级特征提取目标检测区域的中级特征；
采用第二循环神经网络和所述第一循环神经网络的当前隐藏状态，从低级特征提取目标检测区域的高级特征。
7.如权利要求1所述的检测区域去除方法，其特征在于，对所述中级特征和高级特征进行融合，得到所述目标检测区域的全局特征，包括：
根据所述中级特征和高级特征获取所述目标检测区域之间的关系；
基于所述目标检测区域之间的关系对所述中级特征进行调整，得到调整后中级特征；
对所述高级特征和所述调整后中级特征进行融合，得到所述目标检测区域的全局特征。
8.如权利要求7所述的检测区域去除方法，其特征在于，根据所述中级特征和高级特征获取所述目标检测区域之间的关系，包括：
分别对中级特征和高级特征进行平铺操作；
对平铺后中级特征和平铺后高级特征进行非线性融合操作，得到目标检测区域之间的关联性特征；
基于所述目标检测区域之间的关系对所述中级特征进行调整，得到调整后中级特征，包括：根据所述目标检测区域之间的关联性特征对所述中级特征进行调整，得到调整后中级特征。
9.如权利要求1所述的检测区域去除方法，其特征在于，根据所述低级特征和所述高级特征对所述全局特征进行调整，得到所述目标检测区域的调整后全局特征，包括：
对所述低级特征、所述高级特征和所述全局特征进行融合，得到目标检测区域的第一融合后特征；
对所述第一融合后特征和所述全局特征进行融合，得到目标检测区域的第二融合后特征；
根据所述第一融合后特征、所述第二融合后特征对所述全局特征进行调整，得到所述目标检测区域的调整后全局特征。
10.如权利要求1所述的检测区域去除方法，其特征在于，根据所述调整后全局特征对目标检测区域进行去除，包括：
将所述调整后全局特征映射为一维全局特征；
对所述目标检测区域的一维全局特征进行归一化处理，得到目标检测区域的全局得分；
根据所述全局得分对目标检测区域进行去除。
11.如权利要求10所述的检测区域去除方法，其特征在于，所述区域信息包括目标检测区域的原始得分；根据所述全局得分对目标检测区域进行去除，包括：
对目标检测区域的原始得分和全局得分进行融合，得到目标检测区域的最终得分；
根据目标检测区域的最终得分对目标检测区域进行去除。
12.如权利要求1-11任一项所述的检测 区域去除方法，其特征在于，还包括：
获取剩余目标检测区域的原始特征；
从所述原始特征中提取剩余目标检测区域的低级特征、中级特征和高级特征；
对所述中级特征和高级特征进行融合，得到所述剩余目标检测区域的全局特征；
根据所述低级特征和所述高级特征对所述全局特征进行调整，得到所述剩余目标检测区域的调整后全局特征；
根据所述剩余目标检测区域的调整后全局特征对剩余目标检测区域进行去除。
13.一种检测区域去除装置，其特征在于，包括：
目标检测单元，用于采用目标检测网络模型对图像进行目标检测，得到目标检测区域的区域信息；
第一特征获取单元，用于基于所述目标检测区域的区域信息构建所述目标检测区域的原始特征；
第二特征获取单元，用于从所述原始特征中提取目标检测区域的低级特征、中级特征和高级特征，所述低级特征为目标检测区域图像的低层次特征，包括颜色特征，所述高级特征为目标检测区域图像的高层次特征，包括语义特征，所述中级特征是所述目标检测区域图像中介于低层次、高层次之间层次的图像特征；
第三特征获取单元，用于对所述中级特征和高级特征进行融合，得到所述目标检测区域的全局特征；
特征调整单元，用于根据所述低级特征和所述高级特征对所述全局特征进行调整，得到所述目标检测区域的调整后全局特征；
去除单元，用于根据所述调整后全局特征对目标检测区域进行去除。
14.一种存储介质，其特征在于，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至12任一项所述的检测区域去除方法中的步骤。
15.一种终端，其特征在于，包括处理器和存储器，所述存储器存储有多条指令；所述处理器从所述存储器中加载指令，以执行如权利要求1-12任一项所述的检测区域去除方法中的步骤。
CN201811459246.XA 2018-11-30 2018-11-30 检测区域去除方法、装置、终端和存储介质 Active CN109598301B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811459246.XA CN109598301B (zh) 2018-11-30 2018-11-30 检测区域去除方法、装置、终端和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811459246.XA CN109598301B (zh) 2018-11-30 2018-11-30 检测区域去除方法、装置、终端和存储介质

Publications (2)

Publication Number Publication Date
CN109598301A CN109598301A (zh) 2019-04-09
CN109598301B true CN109598301B (zh) 2020-12-01

Family

ID=65959075

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811459246.XA Active CN109598301B (zh) 2018-11-30 2018-11-30 检测区域去除方法、装置、终端和存储介质

Country Status (1)

Country Link
CN (1) CN109598301B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110175519B (zh) * 2019-04-22 2021-07-20 南方电网科学研究院有限责任公司 一种变电站的分合标识仪表识别方法、装置与存储介质
CN110956094B (zh) * 2019-11-09 2023-12-01 北京工业大学 一种基于非对称双流网络的rgb-d多模态融合人员检测方法
CN111259755B (zh) * 2020-01-10 2023-07-28 北京百度网讯科技有限公司 数据关联方法、装置、设备及存储介质
CN113792795A (zh) * 2021-09-15 2021-12-14 南方电网数字电网研究院有限公司 基于网关设备的变电站设备识别方法、装置和网关设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8160382B2 (en) * 2007-10-15 2012-04-17 Lockheed Martin Corporation Method of object recognition in image data using combined edge magnitude and edge direction analysis techniques
CN102682304A (zh) * 2012-03-26 2012-09-19 北京博康智能信息技术有限公司 一种融合多特征的行人检测方法及装置
CN107563387A (zh) * 2017-09-14 2018-01-09 成都掌中全景信息技术有限公司 一种基于循环神经网络的图像目标检测选框方法

Also Published As

Publication number Publication date
CN109598301A (zh) 2019-04-09

Similar Documents

Publication Publication Date Title
CN109598301B (zh) 检测区域去除方法、装置、终端和存储介质
CN107506740B (zh) 一种基于三维卷积神经网络和迁移学习模型的人体行为识别方法
Arietta et al. City forensics: Using visual elements to predict non-visual city attributes
CN105808610B (zh) 一种互联网图片过滤方法及装置
WO2019163985A1 (ja) 特徴表現装置、特徴表現方法、およびプログラム
Esmaeili et al. Fast-at: Fast automatic thumbnail generation using deep neural networks
CN108492294B (zh) 一种图像色彩和谐程度的评估方法及装置
CN105574550A (zh) 一种车辆识别方法及装置
CN109766873B (zh) 一种混合可变形卷积的行人再识别方法
Zeng et al. LEARD-Net: Semantic segmentation for large-scale point cloud scene
CN110598019B (zh) 重复图像识别方法及装置
CN109815823B (zh) 数据处理方法及相关产品
CN104915673A (zh) 一种基于视觉词袋模型的目标分类方法和系统
CN110222718A (zh) 图像处理的方法及装置
CN111242019A (zh) 视频内容的检测方法、装置、电子设备以及存储介质
CN111738074B (zh) 基于弱监督学习的行人属性识别方法、系统及装置
CN112801063A (zh) 神经网络系统和基于神经网络系统的图像人群计数方法
CN113297956A (zh) 一种基于视觉的手势识别方法及系统
CN111178367A (zh) 适应多物件尺寸的特征决定装置及方法
CN105354228A (zh) 相似图搜索方法及装置
CN114612659A (zh) 一种基于融合模态对比学习的电力设备分割方法及系统
WO2010138988A1 (en) Detection of objects represented in images
EP3748460A1 (en) Search system, search method, and program
CN114821188A (zh) 图像处理方法、场景图生成模型的训练方法以及电子设备
CN113705307A (zh) 图像处理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant