CN113673576A - 图像检测方法、终端及其计算机可读存储介质 - Google Patents

图像检测方法、终端及其计算机可读存储介质 Download PDF

Info

Publication number
CN113673576A
CN113673576A CN202110846661.6A CN202110846661A CN113673576A CN 113673576 A CN113673576 A CN 113673576A CN 202110846661 A CN202110846661 A CN 202110846661A CN 113673576 A CN113673576 A CN 113673576A
Authority
CN
China
Prior art keywords
target
image
detection
network model
category
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110846661.6A
Other languages
English (en)
Inventor
陈丙玲
王赛捷
柳传炜
熊剑平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202110846661.6A priority Critical patent/CN113673576A/zh
Publication of CN113673576A publication Critical patent/CN113673576A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种图像检测方法、终端及其计算机可读存储介质，本申请中的图像检测方法包括：对待检测图像中包含的目标对象进行基础识别，确定目标对象的基础类别；从待检测图像中提取包含目标对象的局部图像，局部图像为待检测图像的子图像；对局部图像中的目标对象进行进一步识别，确定目标对象的目标类别；其中，目标类别为基础类别的子类别。本申请通过对待检测图像中的目标对象进行基础识别得到目标对象的基础类别，之后对提取的包含目标对象的局部图像进行进一步识别得到目标对象的目标类别，进而提升对目标对象的识别精确度。

Description

图像检测方法、终端及其计算机可读存储介质
技术领域
本发明涉及图像识别技术领域，特别是涉及一种图像检测方法、终端及其计算机可读存储介质。
背景技术
随着社会的进步，大型商场、机场、旅游景点等场地聚集的人数越来越多，人员分布也越来越密集，这让我们不得不更加注重公共场所的安全问题。同时可以看到安检机应用的场地越来越多，而安检机中一个重要的应用就是人们随身携带包裹中物品的检测与识别。而复杂的生活场景中，物品摆放的角度不一、尺寸变化大以及遮挡重叠等问题，对于包裹中各种物品精确的定位和准确的识别是一个很大的难点。目前对包裹中物品进行检测的方法是包裹经过安检机，采集到的对应的X光图像，安检员肉眼判断包裹中的物品，进而需要人为辅助进行才能实现物品的检测。
发明内容
本发明主要解决的技术问题是提供一种图像检测方法、终端及其计算机可读存储介质，解决现有技术中对物品检测、识别精度不佳的问题。
为解决上述技术问题，本发明采用的第一个技术方案是：提供一种图像检测方法，该图像检测方法包括：对待检测图像中包含的目标对象进行基础识别，确定目标对象的基础类别；从待检测图像中提取包含目标对象的局部图像，局部图像为待检测图像的子图像；对局部图像中的目标对象进行进一步识别，确定目标对象的目标类别；其中，目标类别为基础类别的子类别。
其中，待检测图像包括基于X光成像技术采集的X光图像，对待检测图像中包含的目标对象进行基础识别，确定目标对象的基础类别的步骤之前，还包括：采用目标检测网络模型对采集的X光图像进行检测，确定待检测图像中包含的至少一个目标对象以及目标对象的位置和角度；从待检测图像中提取包含目标对象的局部图像的步骤包括：根据每个目标对象的位置，从待检测图像中分别提取包含一个目标对象的子图像；根据目标对象的角度，将包含目标对象的子图像旋转至预设角度，得到一个目标对象的局部图像。
其中，对局部图像中的目标对象进行进一步识别，确定目标对象的目标类别的步骤包括：通过目标检索网络模型对包含目标对象的局部图像进行特征提取得到特征图；将特征图与预设特征图进行比对；将与特征图匹配的预设特征图对应的预设目标类别作为目标对象的目标类别。
其中，采用目标检测网络模型对采集的X光图像进行检测的步骤之前包括：对包含一个目标对象的局部图像进行拉伸补边处理。
其中，采用目标检测网络模型对采集的X光图像进行检测的步骤之前还包括：对初始目标检测网络模型进行训练得到目标检测网络模型；其中，初始目标检测网络模型基于注意力模块和检测神经网络模型构建；对初始目标检索网络模型进行训练得到目标检索网络模型。
其中，对初始目标检测网络模型进行训练得到目标检测网络模型的步骤包括：获取第一训练样本集，第一训练样本集包括多个第一图像样本，第一图像样本为标记有检测目标的第一真实位姿信息和第一真实类别的图像；将第一图像样本输入到初始目标检测网络模型得到第一特征图；对第一特征图进行检测得到检测目标的第一预测位姿和第一预测类别；通过第一预测位姿信息与第一真实位姿信息、第一预测类别和第一真实类别构建第一损失函数；利用第一损失函数对初始目标检测网络模型进行迭代训练得到目标检测网络模型。
其中，注意力模型包括依次连接的第一全连接层、激活层、第二全连接层；所述第一特证图为三维图；对第一特征图进行检测得到检测目标的第一预测位姿和第一预测类别的步骤包括：将第一特征图进行空间特征融合得到第二特征图；第二特征图为一维图；第一特征图依次经过第一全连接层、激活层、第二全连接层，对不同位置的特征进行加权得到第三特征图；第三特征图为一维图；将第三特征图进行转换，并对第三特征图进行重新加权、响应第一特征图的空间特征以得到第四特征图；第四特征图为三维图；对第四特征图进行检测得到检测目标的第一预测位姿和第一预测类别。
其中，对初始目标检索网络模型进行训练得到目标检索网络模型的步骤包括：获取第二训练样本集，第二训练样本集包括多个第二图像样本，第二图像样本为标记有第二真实类别的检测目标；其中，第二真实类别归属于第一真实类别；将第二图像样本输入到初始目标检索网络模型得到第五特征图；对第五特征图进行检测得到检测目标的第二预测类别；通过第二预测类别和第二真实类别构建第二损失函数；利用第二损失函数对初始目标检索网络模型进行迭代训练得到目标检索网络模型。
其中，将第一图像样本输入到初始目标检索网络模型得到第五特征图的步骤之前还包括：对第二图像样本进行拉伸补边处理。
其中，将第一图像样本输入到初始目标检索网络模型得到第五特征图的步骤之前还包括：对第二图像样本进行奇异值分解降质增强处理。
其中，采集待检测图像的步骤之前还包括：将目标检测网络模型连接目标检索网络模型；对目标检测网络模型和目标检索网络模型进行训练，以校正目标检测网络模型和目标检索网络模型中的参数。
其中，对目标检测网络模型和目标检索网络模型进行训练，以校正目标检测网络模型和目标检索网络模型的参数的步骤具体包括：获取第三训练样本集，第三训练样本集包括多个第三图像样本，第三图像样本为标记有检测目标的第二真实位姿信息、第三真实类别和第四真实类别的图像；其中，第四真实类别归属于第三真实类别；将第三图像样本输入到目标检测网络模型得到第一检测特征图；对第一检测特征图进行检测得到检测目标的第一检测位姿和第一检测类别；根据第一检测位姿确定检测目标的位置并提取包含检测目标的局部图像；根据第一检测位姿信息旋转包含检测目标的局部图像至预设角度；将旋转处理的包含检测目标的局部图像输入至目标检索网络模型得到第二检测特征图；对第二检测特征图进行检索得到检测目标的第二检测类别；根据第一检测位姿信息与第二真实位姿信息、第一检测类别与第三真实类别、第二检测类别与第四真实类别构建第三损失函数；利用第三损失函数对目标检测网络模型和目标检索网络模型进行迭代训练，以对目标检测网络模型和目标检索网络模型中的参数进行校正。
为解决上述技术问题，本发明采用的第二个技术方案是：提供一种终端，该终端包括存储器、处理器以及存储于存储器中并在处理器上运行的计算机程序，处理器用于实现上述图像检测方法中的步骤。
为解决上述技术问题，本发明采用的第三个技术方案是：提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述图像检测方法中的步骤。
本发明的有益效果是：区别于现有技术的情况，提供的一种图像检测方法、终端及其计算机可读存储介质，本申请中的图像检测方法包括：对待检测图像中包含的目标对象进行基础识别，确定目标对象的基础类别；从待检测图像中提取包含目标对象的局部图像，局部图像为待检测图像的子图像；对局部图像中的目标对象进行进一步识别，确定目标对象的目标类别；其中，目标类别为基础类别的子类别。本申请通过对待检测图像中的目标对象进行基础识别得到目标对象的基础类别，之后对提取的包含目标对象的局部图像进行进一步识别得到目标对象的目标类别，进而提升对目标对象的识别精确度。
附图说明
图1是本发明提供的图像检测方法的流程示意图；
图2是本发明提供的图像检测方法一具体实施例的流程示意图；
图3是图2提供的图像检测方法中步骤S201一具体实施例的流程示意图；
图4是图2提供的图像检测方法中步骤S202一具体实施例的流程示意图；
图5是本发明提供的终端一实施方式的示意框图；
图6是本发明提供的计算机可读存储介质一实施方式的示意框图。
具体实施方式
下面结合说明书附图，对本申请实施例的方案进行详细说明。
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。
为使本领域的技术人员更好地理解本发明的技术方案，下面结合附图和具体实施方式对本发明所提供的一种图像检测方法做进一步详细描述。
请参阅图1，图1是本发明提供的图像检测方法的流程示意图。本实施例中提供一种图像检测方法，该图像检测方法包括如下步骤。
S11：对获取的待检测图像进行检测，确定待检测图像包含的目标对象。
具体地，通过图像采集装置获取待检测图像。在本实施例中，待检测图像包括基于X光成像技术采集的X光图像。例如，可以通过X光检测机对包裹中的物品进行扫描，得到包裹中物体的X光图像。该X光图像作为待检测图像。待检测图像包含至少一个目标对象。也就是说，待检测图像包括待检测X光图像。其中，目标对象可以包括美工刀、手枪等危险物品。采用目标检测网络模型对待检测X光图像进行检测，确定至少一个目标对象以及目标对象的位置和角度。
S12：对待检测图像中包含的目标对象进行基础识别，确定所述目标对象的基础类别。
具体地，对目标对象进行基础识别得到目标对象的基础类别。在一具体实施例中，当检测得到的目标对象为美工刀时，识别得到目标对象的基础类别为刀具；当检测得到的目标对象为手枪时，识别得到的基础对象的类别为枪支。
S13：从待检测图像中提取包含目标对象的局部图像。
具体地，根据目标对象的位置提取包含目标对象的局部图像。其中，局部图像为待检测图像的子图像。在一可选实施例中，为了方便对包含目标对象的局部图像进行精确识别，根据目标对象的角度将局部图像旋转至预设角度。
S14：对局部图像中的目标对象进行进一步识别，确定目标对象的目标类别。
具体地，通过目标检测网络模型对包含目标对象的局部图像进行特征提取得到特征图；将特征图与预设特征图进行比对；将与特征图匹配的预设特征图对应的预设类别作为目标对象的目标类别；其中，目标类别为基础类别的子类别。也就是说，当目标检测网络模型检测确定目标对象的基础类别后，目标检索网络模型检测识别确定目标对象具体属于上述基础类别中所属的哪一个目标类别。在一具体实施例中，目标检测网络模型检测目标对象，识别目标对象属于刀具中的哪一种。例如，识别得到目标对象的目标类别为美工刀。在另一具体实施例中，目标检测网络模型检测目标对象，识别目标对象属于枪支中的哪一种。例如，识别得到的目标对象的目标类别为左轮手枪。
本实施例中提供一种图像检测方法，通过对待检测图像中包含的目标对象进行基础识别，确定目标对象的基础类别；从待检测图像中提取包含目标对象的局部图像，局部图像为待检测图像的子图像；对局部图像中的目标对象进行进一步识别，确定目标对象的目标类别；其中，目标类别为基础类别的子类别。本申请通过对待检测图像中的目标对象进行基础识别得到目标对象的基础类别，之后对提取的包含目标对象的局部图像进行进一步识别得到目标对象的目标类别，进而提升对目标对象的识别精确度。
请参阅图2，图2是本发明提供的图像检测方法一具体实施例的流程示意图。本实施例中提供一种图像检测方法，该图像检测方法包括如下步骤。目标检测网络模型
S201：对初始目标检测网络模型进行训练得到目标检测网络模型。
具体地，初始目标检测网络模型是基于注意力模块和检测神经网络模型构建。其中，检测神经网络模型可以SCRDet(Towards More Robust Detection for Small,Cluttered and Rotated Objects)模型，也可以为其它公开模型。注意力模型可以为非局部空间注意力模型嵌入到检测神经网络模型中每一层中，进而提升神经网络模型的检测效果。其中，注意力模型包括依次连接的第一全连接层、激活层、第二全连接层。通过对初始目标检测网络模型进行训练能够提高目标检测网络模型的检测效果，使得旋转矩形框能够更准确的框选检测目标并识别检测目标的类别。请参阅图3，图3是图2提供的图像检测方法中步骤S201一具体实施例的流程示意图。具体对初始目标检测网络模型进行训练包括如下步骤。
S2011：获取第一训练样本集，第一训练样本集包括多个第一图像样本。
具体地，获取多个第一图像样本，第一图像样本为X光检测机采集的包含危险物品的包裹图像，该包裹图像为X光图像。例如，危险物品可以为刀具类物品、枪支类物品等。第一图像样本为标记有危险物品的第一真实位姿信息和第一真实类别的图像。其中，第一真实位姿信息包括危险物品的中心位置(x，y)、危险物品的宽高(w，h)、所处角度(θ)。其中，危险物品的所处角度为与水平轴之间的角度，取值在[0，90)。
在另一可选实施例中，对第一图像样本进行预处理。具体地，对第一图像样本进行减均值、除方差，以实现对第一图像样本的标准化处理，进而凸显第一图像样本中各物品之间的差异性，便于后续的检测识别。
S2012：将第一图像样本输入到初始目标检测网络模型得到第一特征图。
具体地，通过初始目标检测网络模型对第一图像样本进行特征提取得到第一特征图。其中，第一特征图为三维图。
S2013：对第一特征图进行检测得到检测目标的第一预测位姿和第一预测类别。
具体地，将第一特征图进行空间特征融合得到第二特征图；第二特征图为一维图；第一特征图依次经过第一全连接层、激活层、第二全连接层，并通过激活函数对不同位置的特征进行加权得到第三特征图；第三特征图为一维图；将第三特征图进行转换，并对第三特征图进行重新加权、响应第一特征图的空间特征以得到第四特征图；第四特征图为三维图；对第四特征图进行检测得到检测目标的第一预测位姿和第一预测类别，通过检测目标的第一预测位姿可以得到检测目标的第一检测框，其中第一检测框可以为矩形框，第一检测框用于框选检测目标。
S2014：通过第一预测位姿信息与第一真实位姿信息、第一预测类别和第一真实类别构建第一损失函数。
具体地，采用交叉熵损失函数对第一预测位姿信息与第一真实位姿信息、第一预测类别和第一真实类别之间的误差值进行计算。在一具体实施例中，第一损失函数为交叉熵损失Cross-entropy Loss。
S2015：利用第一损失函数对初始目标检测网络模型进行迭代训练得到目标检测网络模型。
具体地，通过第一预测位姿信息与第一真实位姿信息、第一预测类别和第一真实类别之间的误差值对初始目标检测网络模型进行迭代训练得到目标检测网络模型。
在一可选实施例中，初始目标检测网络模型的结果反向传播，根据第一损失函数反馈的损失值对初始目标检测网络模型的权重进行修正。在一可选实施例中，也可以对初始目标检测网络模型中的参数进行修正，实现对初始目标检测网络模型的训练。
将包含危险物品的第一图像样本输入到初始目标检测网络模型中，初始目标检测网络模型对危险物品的位姿和类别进行预测。当第一预测位姿信息与第一真实位姿信息、第一预测类别和第一真实类别之间的误差值小于预设阈值，预设阈值可以自行设置，例如1％、5％等，则停止对初始目标检测网络模型的训练并获得目标检测网络模型。
在本实施例中，将训练过程中检测识别的危险物品以及危险物品的第一真实类别存储于数据库中，以便于后续检测危险物品，节约检测识别危险物品的类别的时间。
S202：对初始目标检索网络模型进行训练得到目标检索网络模型。
具体地，请参阅图4，图4是图2提供的图像检测方法中步骤S202一具体实施例的流程示意图。对于初始目标检索网络模型进行训练的步骤如下。
S2021：获取第二训练样本集，第二训练样本集包括多个第二图像样本。
具体地，第二图像样本为上述第一图像样本中包含检测目标的局部图像，即第一图像样本中第一检测框框选的包含检测目标的图像。第二图像样本为标记有第二真实类别的检测目标。其中，第二真实类别归属于第一真实类别。在其它可选实施例中，第二图像样本为包含有危险物品的图像，第二图形样本中标记有危险物品的第二真实类别。
在一可选实施例中，对第二图像样本进行旋转处理，以使第二图像样本中检测目标的图像处于预设角度。具体地，该预设角度为0度，即第二图像样本与水平轴之间的角度为0度，以使包含检测目标的图像旋转为正常矩形。在一实施例中，对第二图像样本进行拉伸补边处理，以保证检测目标的长宽比一致，进而提高检测目标的识别精确度。在一可选实施例中，对第二图像样本进行奇异值分解降质增强处理，进而保留了危险物品的关键信息，舍弃了次要信息，使得图像变得模糊，但仍然可以看出原图的轮廓，可以增强目标检索网络模型的鲁棒性。
S2022：将第二图像样本输入到初始目标检索网络模型得到第五特征图。
具体地，将上述的第二图像样本输入到初始目标检索网络模型中，目标检索网络模型对其进行检测识别得到第五特征图。
S2023：对第五特征图进行检测得到检测目标的第二预测类别。
具体地，通过提取的第五特征图进行检测识别得到检测目标的第二预测类别。
S2024：通过第二预测类别和第二真实类别构建第二损失函数。
具体地，采用交叉熵损失函数对第二预测类别和第二真实类别之间的误差值进行计算。在一具体实施例中，第二损失函数为交叉熵损失Cross-entropy Loss。
S2025：利用第二损失函数对初始目标检索网络模型进行迭代训练得到目标检索网络模型。
具体地，通过第二预测类别和第二真实类别之间的误差值对初始目标检索网络模型进行迭代训练得到目标检索网络模型。
在一可选实施例中，初始目标检索网络模型的结果反向传播，根据第二损失函数反馈的损失值对初始目标检索网络模型的权重进行修正。在一可选实施例中，也可以对初始目标检索网络模型中的参数进行修正，实现对初始目标检索网络模型的训练。
将包含危险物品的第二图像样本输入到初始目标检索网络模型中，初始目标检索网络模型对危险物品目标类别进行预测。当第二预测类别和第二真实类别之间的误差值小于预设阈值，预设阈值可以自行设置，例如1％、5％等，则停止对初始目标检索网络模型的训练并获得目标检索网络模型。
在本实施例中，将训练过程中检测识别的危险物品以及危险物品的第二真实类别存储于数据库中，以便于后续检测危险物品，节约检测识别危险物品的类别的时间。
S203：将目标检测网络模型连接目标检索网络模型。
S204：对目标检测网络模型和目标检索网络模型进行训练。
具体地，获取第三训练样本集，第三训练样本集包括多个第三图像样本，第三图像样本为标记有检测目标的第二真实位姿信息、第三真实类别和第四真实类别的图像；其中，第四真实类别归属于第三真实类别；将第三图像样本输入到目标检测网络模型得到第一检测特征图；对第一检测特征图进行检测得到检测目标的第一检测位姿和第一检测类别；根据第一检测位姿确定检测目标的位置并提取包含检测目标的局部图像；根据第一检测位姿信息旋转包含检测目标的局部图像至预设角度。可选的，对第二图像样本进行拉伸补边处理。在一可选实施例中，对第二图像样本进行奇异值分解降质增强处理。将旋转处理的包含检测目标的局部图像输入至目标检索网络模型得到第二检测特征图；对第二检测特征图进行检索得到检测目标的第二检测类别；根据第一检测位姿信息与第二真实位姿信息、第一检测类别与第三真实类别、第二检测类别与第四真实类别构建第三损失函数；利用第三损失函数对目标检测网络模型和目标检索网络模型进行迭代训练，以对目标检测网络模型和目标检索网络模型中的参数进行校正。
在本实施例中，将第一训练集、第二训练集和第三训练集中各个类别的第一图像样本、第二图像样本和第三图像样本进行旋转、翻转等操作后输入目标检索网络模型中，以扩大数据范围，获取目标检索网络模型输出的特征向量，将危险物品的特征与图像的类别进行关联，保存到数据库中，进而形成检索数据库。以便于后续检测危险物品的目标类别时，节约检测识别危险物品的目标类别的时间。
S205：获取待检测图像。
具体地，获取通过X光检测机扫描得到的待检测包裹的图像。在本实施例中，通过X光检测机对包裹中的物体进行扫描，得到包裹中物体的X光图像。该X光图像作为待检测图像。待检测图像包含至少一个目标对象。也就是说，待检测图像包括待检测X光图像。其中，目标对象可以包括美工刀、手枪等危险物品。
S206：采用目标检测网络模型对待检测X光图像进行检测，确定目标对象以及目标对象的位置和角度。
具体地，将待检测X光图像输入到目标检测网络模型中，目标检测网络模型对待检测X光图像中的物品进行检测，进而确定目标对象，将目标对象通过候选框进行框定。同时识别确定目标对象的位置信息和目标对象的角度。其中，目标对象的位置信息包括危险物品的中心位置(x，y)、危险物品的宽高(w，h)。目标对象的角度为目标对象在X光图像中所处角度(θ)。
S207：对目标对象进行基础识别得到目标对象的基础类别。
具体地，通过目标检测网络模型对X光图像中检测得到的目标对象进行基础识别，得到目标对象所属的基础类别。在一具体实施例中，当检测得到的目标对象为美工刀时，识别得到目标对象的基础类别为刀具；当检测得到的目标对象为手枪时，识别得到的目标对象的基础类别为枪支。
S208：根据每个目标对象的位置，从待检测图像中分别提取包含一个目标对象的子图像。
具体地，检测到目标对象的基础类别后，将候选框框定的包含目标对象的部分进行提取，得到包含一个目标对象的局部图像。当候选框为矩形时，则提取的目标对象的局部图像也为矩形。
S209：根据目标对象的角度，将包含目标对象的子图像旋转至预设角度。
具体地，获取包含目标对象的局部图像时，根据检测得到的目标的角度，对局部图像进行旋转，以使局部图像处于转正状态。也就是说，局部图像中目标对象与水平轴之间的角度为0度。具体地，围绕局部图像的中心旋转，具体旋转公式(1)和(2)如下。
X＝x*cosθ+y*sinθ (1)
Y＝x*sinθ-y*cosθ (2)
式中：x，y分别是原图像的坐标减去原图像中心点之差，X,Y分别是旋转后图像的坐标减去旋转后图像中心点之差。
通过对局部图像进行旋转处理，使得包含目标对象的图像角度实现基本的归一化，进而可以提升对目标对象的识别精确度。
S210：对包含目标对象的局部图像进行拉伸补边处理。
具体地，根据识别的目标对象的类别确定目标对象常规设置的长宽比，根据目标对象的常规设置的长宽比对包含目标对象的局部图像的长宽进行拉伸和补边，以凸显目标图像的特征，提高对目标对象识别的精确度。
S211：通过目标检索网络模型对包含目标对象的局部图像进行特征提取得到特征图。
具体地，将上述预处理的包含目标对象的局部图像输入到目标检索网络模型中进行特征提取得到目标对象的特征图。
S212：将特征图与预设特征图进行比对。
具体地，将上述得到的特征图与预先存储的数据库中的预设特征图进行一一比对。判断提取的目标对象的特征图是否与数据库中的预设特征图相同。
S213：将与特征图匹配的预设特征图对应的预设类别作为目标对象的目标类别。
具体地，通过比对得到提取的目标对象的特征图与数据库中的一个预设特征图相同，则将与特征图匹配的预设特征图相关联的预设类别作为目标对象的目标类别。也就是说，当目标检测网络模型检测确定目标对象的类别后，目标检索网络模型检测识别确定目标对象具体属于上述类别中所属的哪一个目标类别。在一具体实施例中，目标检测网络模型检测目标对象，识别目标对象属于刀具中的哪一种。例如，识别得到目标对象的目标类别为美工刀。在另一具体实施例中，目标检测网络模型检测目标对象，识别目标对象属于枪支中的哪一种。例如，识别得到的目标对象的目标类别为左轮手枪。
在其它可选实施例中，当类别中新增了目标类别时，不需要对检测类别的目标检测网络模型进行更新，只需要获取包含新增目标类别的图像样本对目标检索网络模型进行训练即可，同时将新增目标类别的目标对象更新存储于数据库中，进而提升目标检测网络模型和目标检索网络模型的通用性。
本实施例中提供一种图像检测方法，通过对待检测图像中包含的目标对象进行基础识别，确定目标对象的基础类别；从待检测图像中提取包含目标对象的局部图像，局部图像为待检测图像的子图像；对局部图像中的目标对象进行进一步识别，确定目标对象的目标类别；其中，目标类别为基础类别的子类别。本申请通过对待检测图像中的目标对象进行基础识别得到目标对象的基础类别，之后对提取的包含目标对象的局部图像进行进一步识别得到目标对象的目标类别，进而提升对目标对象的识别精确度。
参阅图5，图5是本发明提供的终端一实施方式的示意框图。如图5所示，该实施方式中的终端70包括：处理器71、存储器72以及存储在存储器72中并可在处理器71上运行的计算机程序该计算机程序被处理器71执行时实现上述轨迹跟踪控制方法中，为避免重复，此处不一一赘述。
参阅图6，图6是本发明提供的计算机可读存储介质一实施方式的示意框图。
本申请的实施方式中还提供一种计算机可读存储介质90，计算机可读存储介质90存储有计算机程序901，计算机程序901中包括程序指令，处理器执行程序指令，实现本申请实施方式提供的任一项目标跟踪方法。
其中，计算机可读存储介质90可以是前述实施方式的计算机设备的内部存储单元，例如计算机设备的硬盘或内存。计算机可读存储介质90也可以是计算机设备的外部存储设备，例如计算机设备上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。
以上仅为本发明的实施方式，并非因此限制本发明的专利保护范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (14)

1.一种图像检测方法，其特征在于，所述图像检测方法包括：
对待检测图像中包含的目标对象进行基础识别，确定所述目标对象的基础类别；
从所述待检测图像中提取包含所述目标对象的局部图像，所述局部图像为所述待检测图像的子图像；
对所述局部图像中的所述目标对象进行进一步识别，确定所述目标对象的目标类别；其中，所述目标类别为所述基础类别的子类别。
2.根据权利要求1所述的图像检测方法，其特征在于，所述待检测图像包括基于X光成像技术采集的X光图像，
所述对待检测图像中包含的目标对象进行基础识别，确定所述目标对象的基础类别的步骤之前，还包括：
采用目标检测网络模型对采集的所述X光图像进行检测，确定所述待检测图像中包含的至少一个所述目标对象以及所述目标对象的位置和角度；
所述从所述待检测图像中提取包含所述目标对象的局部图像的步骤包括：
根据每个所述目标对象的位置，从所述待检测图像中分别提取包含一个所述目标对象的子图像；
根据所述目标对象的角度，将包含所述目标对象的子图像旋转至预设角度，得到所述一个目标对象的局部图像。
3.根据权利要求2所述的图像检测方法，其特征在于，
所述对所述局部图像中的所述目标对象进行进一步识别，确定所述目标对象的目标类别的步骤包括：
通过目标检索网络模型对包含所述目标对象的局部图像进行特征提取得到特征图；
将所述特征图与预设特征图进行比对；
将与所述特征图匹配的所述预设特征图对应的预设目标类别作为所述目标对象的所述目标类别。
4.根据权利要求3所述的图像检测方法，其特征在于，
所述采用目标检测网络模型对采集的所述X光图像进行检测的步骤之前包括：
对包含一个所述目标对象的局部图像进行拉伸补边处理。
5.根据权利要求3所述的图像检测方法，其特征在于，
所述采用目标检测网络模型对采集的所述X光图像进行检测的步骤之前还包括：
对初始目标检测网络模型进行训练得到所述目标检测网络模型；其中，所述初始目标检测网络模型基于注意力模块和检测神经网络模型构建；
对初始目标检索网络模型进行训练得到所述目标检索网络模型。
6.根据权利要求5所述的图像检测方法，其特征在于，
所述对初始目标检测网络模型进行训练得到所述目标检测网络模型的步骤包括：
获取第一训练样本集，所述第一训练样本集包括多个第一图像样本，所述第一图像样本为标记有检测目标的第一真实位姿信息和第一真实类别的图像；
将所述第一图像样本输入到所述初始目标检测网络模型得到第一特征图；
对所述第一特征图进行检测得到所述检测目标的第一预测位姿和第一预测类别；
通过所述第一预测位姿信息与所述第一真实位姿信息、所述第一预测类别和所述第一真实类别构建第一损失函数；
利用所述第一损失函数对所述初始目标检测网络模型进行迭代训练得到所述目标检测网络模型。
7.根据权利要求6所述的图像检测方法，其特征在于，所述注意力模型包括依次连接的第一全连接层、激活层、第二全连接层；所述第一特证图为三维图；
所述对所述第一特征图进行检测得到所述检测目标的第一预测位姿和第一预测类别的步骤包括：
将所述第一特征图进行空间特征融合得到第二特征图；所述第二特征图为一维图；
所述第一特征图依次经过所述第一全连接层、所述激活层和所述第二全连接层，对不同位置的特征进行加权得到第三特征图；所述第三特征图为一维图；
将所述第三特征图进行转换，并对所述第三特征图进行重新加权、响应所述第一特征图的空间特征以得到第四特征图；所述第四特征图为三维图；
对所述第四特征图进行检测得到所述检测目标的第一预测位姿和第一预测类别。
8.根据权利要求6所述的图像检测方法，其特征在于，
所述对初始目标检索网络模型进行训练得到所述目标检索网络模型的步骤包括：
获取第二训练样本集，所述第二训练样本集包括多个第二图像样本，所述第二图像样本为标记有第二真实类别的检测目标的图像；其中，所述第二真实类别归属于所述第一真实类别；
将所述第二图像样本输入到所述初始目标检索网络模型得到第五特征图；
对所述第五特征图进行检测得到所述检测目标的第二预测类别；
通过所述第二预测类别和所述第二真实类别构建第二损失函数；
利用所述第二损失函数对所述初始目标检索网络模型进行迭代训练得到所述目标检索网络模型。
9.根据权利要求8所述的图像检测方法，其特征在于，
所述将所述第一图像样本输入到所述初始目标检索网络模型得到第五特征图的步骤之前还包括：
对所述第二图像样本进行拉伸补边处理。
10.根据权利要求8或9所述的图像检测方法，其特征在于，
所述将所述第一图像样本输入到所述初始目标检索网络模型得到第五特征图的步骤之前还包括：
对所述第二图像样本进行奇异值分解降质增强处理。
11.根据权利要求5所述的图像检测方法，其特征在于，
所述采集待检测图像的步骤之前还包括：
将所述目标检测网络模型连接所述目标检索网络模型；
对所述目标检测网络模型和所述目标检索网络模型进行训练，以校正所述目标检测网络模型和所述目标检索网络模型中的参数。
12.根据权利要求11所述的图像检测方法，其特征在于，
所述对所述目标检测网络模型和所述目标检索网络模型进行训练，以校正所述目标检测网络模型和所述目标检索网络模型的参数的步骤具体包括：
获取第三训练样本集，所述第三训练样本集包括多个第三图像样本，所述第三图像样本为标记有检测目标的第二真实位姿信息、第三真实类别和第四真实类别的图像；其中，所述第四真实类别归属于所述第三真实类别；
将所述第三图像样本输入到所述目标检测网络模型得到第一检测特征图；
对所述第一检测特征图进行检测得到所述检测目标的第一检测位姿和第一检测类别；
根据所述第一检测位姿确定所述检测目标的位置并提取包含所述检测目标的局部图像；
根据所述第一检测位姿信息旋转包含所述检测目标的局部图像至预设角度；
将旋转处理的包含所述检测目标的局部图像输入至所述目标检索网络模型得到第二检测特征图；
对所述第二检测特征图进行检索得到所述检测目标的第二检测类别；
根据所述第一检测位姿信息与所述第二真实位姿信息、第一检测类别与所述第三真实类别、所述第二检测类别与所述第四真实类别构建第三损失函数；
利用所述第三损失函数对所述目标检测网络模型和所述目标检索网络模型进行迭代训练，以对所述目标检测网络模型和所述目标检索网络模型中的参数进行校正。
13.一种终端，其特征在于，所述终端所述终端包括存储器、处理器以及存储于所述存储器中并在所述处理器上运行的计算机程序，所述处理器用于执行所述程序数据以实现如权利要求1～12任一项所述图像检测方法中的步骤。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1～12任一项所述图像检测方法中的步骤。
CN202110846661.6A 2021-07-26 2021-07-26 图像检测方法、终端及其计算机可读存储介质 Pending CN113673576A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110846661.6A CN113673576A (zh) 2021-07-26 2021-07-26 图像检测方法、终端及其计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110846661.6A CN113673576A (zh) 2021-07-26 2021-07-26 图像检测方法、终端及其计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN113673576A true CN113673576A (zh) 2021-11-19

Family

ID=78540218

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110846661.6A Pending CN113673576A (zh) 2021-07-26 2021-07-26 图像检测方法、终端及其计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN113673576A (zh)

Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101853389A (zh) * 2009-04-01 2010-10-06 索尼株式会社 多类目标的检测装置及检测方法
CN105069477A (zh) * 2015-08-13 2015-11-18 天津津航技术物理研究所 AdaBoost级联分类器检测图像目标的方法
CN106250874A (zh) * 2016-08-16 2016-12-21 东方网力科技股份有限公司 一种服饰及随身物品的识别方法和装置
CN108596187A (zh) * 2018-03-30 2018-09-28 青岛海尔智能技术研发有限公司 商品纯净度检测方法及展示柜
CN108960266A (zh) * 2017-05-22 2018-12-07 阿里巴巴集团控股有限公司 图像目标检测方法及装置
CN108960102A (zh) * 2018-06-22 2018-12-07 天和防务技术（北京）有限公司 太赫兹危险品的自动检测舱及检测方法
CN109117827A (zh) * 2018-09-05 2019-01-01 武汉市蓝领英才科技有限公司 基于视频的工服工帽穿戴状态自动识别方法与报警系统
CN110414344A (zh) * 2019-06-25 2019-11-05 深圳大学 一种基于视频的人物分类方法、智能终端及存储介质
CN110633716A (zh) * 2018-06-21 2019-12-31 北京京东尚科信息技术有限公司 一种目标对象的检测方法和装置
CN111310761A (zh) * 2020-03-06 2020-06-19 西南交通大学 基于重构和分类卷积自编码网络的接触网绝缘子检测方法
CN111368893A (zh) * 2020-02-27 2020-07-03 Oppo广东移动通信有限公司 图像识别方法、装置、电子设备及存储介质
CN111507403A (zh) * 2020-04-17 2020-08-07 腾讯科技（深圳）有限公司 图像分类方法、装置、计算机设备和存储介质
CN111680753A (zh) * 2020-06-10 2020-09-18 创新奇智(上海)科技有限公司 一种数据标注方法、装置、电子设备及存储介质
CN111797697A (zh) * 2020-06-10 2020-10-20 河海大学 基于改进CenterNet的有角度高分遥感图像目标检测方法
CN111832641A (zh) * 2020-07-06 2020-10-27 广东海洋大学 一种基于级联下采样卷积神经网络的图像识别方法
CN111832590A (zh) * 2019-04-23 2020-10-27 北京京东尚科信息技术有限公司 物品识别方法和系统
CN111931764A (zh) * 2020-06-30 2020-11-13 华为技术有限公司 一种目标检测方法、目标检测框架及相关设备
CN112036455A (zh) * 2020-08-19 2020-12-04 浙江大华技术股份有限公司 一种图像识别方法、智能终端和存储介质
CN112508848A (zh) * 2020-11-06 2021-03-16 上海亨临光电科技有限公司 一种基于深度学习多任务端到端的遥感图像船舶旋转目标检测方法
CN112560675A (zh) * 2020-12-15 2021-03-26 三峡大学 Yolo与旋转-融合策略相结合的鸟类视觉目标检测方法
CN112686220A (zh) * 2021-03-10 2021-04-20 浙江口碑网络技术有限公司 商品识别方法及装置、计算设备、计算机存储介质

Patent Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101853389A (zh) * 2009-04-01 2010-10-06 索尼株式会社 多类目标的检测装置及检测方法
CN105069477A (zh) * 2015-08-13 2015-11-18 天津津航技术物理研究所 AdaBoost级联分类器检测图像目标的方法
CN106250874A (zh) * 2016-08-16 2016-12-21 东方网力科技股份有限公司 一种服饰及随身物品的识别方法和装置
CN108960266A (zh) * 2017-05-22 2018-12-07 阿里巴巴集团控股有限公司 图像目标检测方法及装置
CN108596187A (zh) * 2018-03-30 2018-09-28 青岛海尔智能技术研发有限公司 商品纯净度检测方法及展示柜
CN110633716A (zh) * 2018-06-21 2019-12-31 北京京东尚科信息技术有限公司 一种目标对象的检测方法和装置
CN108960102A (zh) * 2018-06-22 2018-12-07 天和防务技术（北京）有限公司 太赫兹危险品的自动检测舱及检测方法
CN109117827A (zh) * 2018-09-05 2019-01-01 武汉市蓝领英才科技有限公司 基于视频的工服工帽穿戴状态自动识别方法与报警系统
CN111832590A (zh) * 2019-04-23 2020-10-27 北京京东尚科信息技术有限公司 物品识别方法和系统
CN110414344A (zh) * 2019-06-25 2019-11-05 深圳大学 一种基于视频的人物分类方法、智能终端及存储介质
CN111368893A (zh) * 2020-02-27 2020-07-03 Oppo广东移动通信有限公司 图像识别方法、装置、电子设备及存储介质
CN111310761A (zh) * 2020-03-06 2020-06-19 西南交通大学 基于重构和分类卷积自编码网络的接触网绝缘子检测方法
CN111507403A (zh) * 2020-04-17 2020-08-07 腾讯科技（深圳）有限公司 图像分类方法、装置、计算机设备和存储介质
CN111680753A (zh) * 2020-06-10 2020-09-18 创新奇智(上海)科技有限公司 一种数据标注方法、装置、电子设备及存储介质
CN111797697A (zh) * 2020-06-10 2020-10-20 河海大学 基于改进CenterNet的有角度高分遥感图像目标检测方法
CN111931764A (zh) * 2020-06-30 2020-11-13 华为技术有限公司 一种目标检测方法、目标检测框架及相关设备
CN111832641A (zh) * 2020-07-06 2020-10-27 广东海洋大学 一种基于级联下采样卷积神经网络的图像识别方法
CN112036455A (zh) * 2020-08-19 2020-12-04 浙江大华技术股份有限公司 一种图像识别方法、智能终端和存储介质
CN112508848A (zh) * 2020-11-06 2021-03-16 上海亨临光电科技有限公司 一种基于深度学习多任务端到端的遥感图像船舶旋转目标检测方法
CN112560675A (zh) * 2020-12-15 2021-03-26 三峡大学 Yolo与旋转-融合策略相结合的鸟类视觉目标检测方法
CN112686220A (zh) * 2021-03-10 2021-04-20 浙江口碑网络技术有限公司 商品识别方法及装置、计算设备、计算机存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
罗玉林等: "旋转矩形框与CBAM改进RetinaNet的SAR图像近岸舰船检测", 《测绘科学技术学报》, vol. 37, no. 06, 15 December 2020 (2020-12-15), pages 1 - 1 *

Similar Documents

Publication Publication Date Title
Jain An evaluation of deep learning based object detection strategies for threat object detection in baggage security imagery
CN105512683B (zh) 基于卷积神经网络的目标定位方法及装置
Šegvić et al. A computer vision assisted geoinformation inventory for traffic infrastructure
CN109829467A (zh) 图像标注方法、电子装置及非暂态电脑可读取储存媒体
CN107992819B (zh) 一种车辆属性结构化特征的确定方法与装置
CN105574550A (zh) 一种车辆识别方法及装置
CN108021890B (zh) 一种基于plsa和bow的高分遥感影像港口检测方法
CN109784171A (zh) 车辆定损图像筛选方法、装置、可读存储介质及服务器
CN111310751A (zh) 车牌识别方法、装置、电子设备和存储介质
Farajzadeh et al. Vehicle logo recognition using image matching and textural features
KR102158967B1 (ko) 영상 분석 장치, 영상 분석 방법 및 기록 매체
Kovacs et al. Orientation based building outline extraction in aerial images
CN109934147B (zh) 基于深度神经网络的目标检测方法、系统及装置
CN111444816A (zh) 一种基于Faster RCNN的多尺度密集行人检测方法
CN116758419A (zh) 针对遥感图像的多尺度目标检测方法、装置和设备
CN114022684B (zh) 人体姿态估计方法及装置
CN113887652B (zh) 基于形态和多示例学习的遥感图像弱小目标检测方法
CN113673576A (zh) 图像检测方法、终端及其计算机可读存储介质
Amin et al. An automatic number plate recognition of Bangladeshi vehicles
Srikanth et al. Automatic vehicle number plate detection and recognition systems: Survey and implementation
CN107679528A (zh) 一种基于AdaBoost‑SVM集成学习算法的行人检测方法
CN114529852A (zh) 一种基于视频数据的遗留物检测分析方法
Tian et al. A novel approach for change detection in remote sensing image based on saliency map
CN113792569A (zh) 对象识别方法、装置、电子设备及可读介质
Singh et al. Text Region Extraction: A Morphological Based Image Analysis Using Genetic Algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination