CN110428007A - X光图像目标检测方法、装置及设备 - Google Patents

X光图像目标检测方法、装置及设备 Download PDF

Info

Publication number
CN110428007A
CN110428007A CN201910708214.7A CN201910708214A CN110428007A CN 110428007 A CN110428007 A CN 110428007A CN 201910708214 A CN201910708214 A CN 201910708214A CN 110428007 A CN110428007 A CN 110428007A
Authority
CN
China
Prior art keywords
ray image
frame
confidence level
category
label
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910708214.7A
Other languages
English (en)
Other versions
CN110428007B (zh
Inventor
鲁盈悦
吴子扬
支洪平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hkust Technology (suzhou) Technology Co Ltd
Original Assignee
Hkust Technology (suzhou) Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hkust Technology (suzhou) Technology Co Ltd filed Critical Hkust Technology (suzhou) Technology Co Ltd
Priority to CN201910708214.7A priority Critical patent/CN110428007B/zh
Publication of CN110428007A publication Critical patent/CN110428007A/zh
Application granted granted Critical
Publication of CN110428007B publication Critical patent/CN110428007B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/243Classification techniques relating to the number of classes
    • G06F18/2431Multiple classes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/05Recognition of patterns representing particular kinds of hidden objects, e.g. weapons, explosives, drugs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Abstract

本发明公开了一种X光图像目标检测方法、装置及设备,主要基于多分类多标签结构,通过获取X光图像中的待定框的多个候选标签,为待定框赋予多个标签,并基于该多个候选标签确定出所述待定框内目标的类别,也即意味着最终确定的待定框内目标的类别不限于一种或多种。本发明能够加强目标检测工具正则化,有效提升目标检测工具增益,进而提升目标识别率,经验证在具体实施时本发明能够改善目标检测工具的泛化能力,便于快速、准确地分类违禁品,辅助安检员工作的同时大大提高违禁品检出率,而且本发明的关注点聚焦于分类任务,与回归任务无关,对整个系统牵连影响较小,具备改进独立性,便于本领域技术人员实施、实现本发明创造。

Description

X光图像目标检测方法、装置及设备
技术领域
本发明涉及机器视觉技术领域,尤其涉及一种X光图像目标检测方法、装置及设备。
背景技术
X光安检机在安防系统中的作用至关重要,尤其是在地铁站、火车站、机场等人流密集的交通节点中,安检机是确保旅客人身财产安全乃至国家、社会稳定的重要安全保障工具。传统的安检机检测方式是由安检员通过肉眼观察安检机中行李箱包的X光成像,辨别其中是否有违禁品。但众所周知,X光图像与物品外貌无关,而是与物品自身的成分、密度以及成像时的角度、位置等有关,这与物品的自然图像相差较大,并且X光图像存在更多的透视现象,上述这些因素会导致以肉眼方式观察违禁品难度较大。而且,即便是经过培训上岗的熟练安检员,工作时间过长后也会产生视觉疲劳,同样会导致违禁品的检出率降低。
目前,现有技术是将用于自然图像处理的目标检测算法模型施用于X光图像目标检测场景,该技术以卷积神经网络为代表利用深度学习算法进行区域定性处理,可以在一定程度上解决人工视检的弊端。但值得注意的是,自然图像的目标检测算法迁移到X光图像时存在客观的技术障碍,其主要原因是X光图像和自然图像存在颜色、形状等差异,尤其X光图像相较自然图像来说,目标之间存在重叠透视现象,遮挡效应不明显,多个物品叠放后较难检出。例如安检机对行李进行检查时,X光图像中多目标之间经常存在重叠透视现象,实际情况往往是一个待定框(也可称为感兴趣区域RoI——Region of Interest或proposal)可能与不止一个被预先确定类别标签的真实框(Grond-Truth Box,具有一个明确的标签)出现交叠现象,也即是无法直接判别待定框内的物品类别,这里所称标签及类别是指物品的内容名目,例如折叠刀、饮料瓶、打火机等。而自然图像目标检测技术虽然能够较好地对前景目标识别出一个类别(为一个明确的候选区域设定一个标签),但这显然无法解决X光图像目标检测应用中所面对的实际问题。
因此,适用于自然图像处理的目标检测工具直接运用到X光图像训练时,不一定能取得等价效果,事实上,在真实场景中利用现有技术训练出的用于X光图像目标检测的模型工具其性能表现欠佳、缺陷较为明显。
发明内容
针对上述问题,本发明的目的是提供一种X光图像目标检测方法、装置及设备,以改进现有的目标检测工具,提升目标类别识别率。
本发明采用的技术方案如下:
一种X光图像目标检测方法,包括:
获取X光图像中的待定框的多个候选标签;
从多个所述候选标签中确定所述待定框内目标的类别。
可选地,所述获取X光图像中的待定框的多个候选标签包括:
根据当前待定框与X光图像中其他的真实框的交并比,得到多个可用标签;
将所述可用标签作为所述待定框的所述候选标签。
可选地,所述根据当前待定框与X光图像中其他的真实框的交并比,得到多个可用标签包括:
分别计算当前待定框与各个所述真实框的交并比,得到交并比集合;
基于预设的交并比阈值,从所述交并比集合中过滤出有效交并比;
将所述有效交并比对应的所述真实框的标签进行去重处理,得到多个所述可用标签。
可选地,所述从多个所述候选标签中确定所述待定框内目标的类别包括:
根据多个所述候选标签以及预先训练的目标分类模型,预测当前所述待定框内目标的多个类别结果及相应的置信度。
可选地,在所述目标分类模型的训练阶段,利用预设的交并比阈值过滤得到一个待定框的多个候选标签;
根据多个候选标签所对应的交并比,得到针对每个候选标签的权重;
基于多个候选标签的权重,对所述目标分类模型的能量函数的正向传播和反向传播的计算方式进行修正。
可选地,所述方法还包括:
利用预先构建的类别关联表,调整所述目标分类模型输出的类别结果的置信度;
根据调整后的置信度确定所述待定框内目标的最终类别。
可选地,所述利用预先构建的类别关联表,调整所述目标分类模型输出的类别结果的置信度包括:
对所述类别结果的置信度进行由大至小排序;
基于排序后的首位类别结果,查询所述类别关联表,检测后续各类别结果是否与所述首位类别结果具有关联;
若是,则按预定幅度上调与所述首位类别结果相关的后续类别结果的置信度;
若否,则保持或按预定幅度下调后续各类别结果的置信度;
以此类推,按序逐个检测所述类别结果,得到所述类别结果的新置信度;
所述根据调整后的置信度确定所述待定框内目标的最终类别包括:
根据所述新置信度以及预先设定的置信度阈值,确定所述待定框内目标的最终类别。
一种X光图像目标检测装置,包括:
候选标签获取模块,用于获取X光图像中的待定框的多个候选标签;
目标类别确定模块,用于从多个所述候选标签中确定所述待定框内目标的类别。
可选地,所述候选标签获取模块具体包括:
可用标签获取子模块,用于根据当前待定框与X光图像中其他的真实框的交并比,得到多个可用标签;
候选标签确定子模块,用于将所述可用标签作为所述待定框的所述候选标签。
可选地,所述可用标签获取子模块具体包括:
交并比计算单元,用于分别计算当前待定框与各个所述真实框的交并比,得到交并比集合;
交并比过滤单元,用于基于预设的交并比阈值,从所述交并比集合中过滤出有效交并比;
标签去重单元,用于将所述有效交并比对应的所述真实框的标签进行去重处理,得到多个所述可用标签。
可选地,所述目标类别确定模块具体用于根据多个所述候选标签以及预先训练的目标分类模型,预测当前所述待定框内目标的多个类别结果及相应的置信度。
可选地,所述装置还包括模型训练模块;
所述模型训练模块具体包括:
候选标签获取单元,用于在所述目标分类模型的训练阶段,利用预设的交并比阈值过滤得到一个待定框的多个候选标签;
标签权重确定单元,用于根据多个候选标签所对应的交并比,得到针对每个候选标签的权重;
能量函数调整单元,用于基于多个候选标签的权重,对所述目标分类模型的能量函数的正向传播和反向传播的计算方式进行修正。
可选地,所述装置还包括:
置信度调整模块,用于利用预先构建的类别关联表,调整所述目标分类模型输出的类别结果的置信度;
最终类别确定模块,用于根据调整后的置信度确定所述待定框内目标的最终类别。
可选地,所述置信度调整模块具体包括:
排序单元,用于对所述类别结果的置信度进行由大至小排序;
查表单元,用于基于排序后的首位类别结果,查询所述类别关联表,检测后续各类别结果是否与所述首位类别结果具有关联;
调整单元,用于若所述查表单元输出为是,则按预定幅度上调与所述首位类别结果相关的后续类别结果的置信度;若所述查表单元输出为否,则保持或按预定幅度下调后续各类别结果的置信度;
新置信度获取单元,用于按序逐个检测所述类别结果,得到所述类别结果的新置信度;
所述最终类别确定模块具体用于根据所述新置信度以及预先设定的置信度阈值,确定所述待定框内目标的最终类别。
一种X光图像目标检测设备,包括:
存储器,用于存储计算机程序;
处理器,用于当执行所述计算机程序时,实现如上所述的X光图像目标检测方法。
本发明主要基于多分类多标签结构,通过获取X光图像中的待定框的多个候选标签,为待定框赋予多个标签,并基于该多个候选标签确定出所述待定框内目标的类别,也即意味着最终确定的待定框内目标的类别不限于一种或多种。本发明能够加强目标检测工具正则化,有效提升目标检测工具增益,进而提升目标识别率,经验证在具体实施时本发明能够改善目标检测工具的泛化能力,便于快速、准确地分类违禁品,辅助安检员工作的同时大大提高违禁品检出率,而且本发明的关注点聚焦于分类任务,与回归任务无关,对整个系统牵连影响较小,具备改进独立性,便于本领域技术人员实施、实现本发明创造。
附图说明
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步描述,其中:
图1为本发明提供的X光图像目标检测方法的实施例的流程图;
图2为本发明提供的可用标签获得方法的实施例的流程图;
图3为本发明提供的X光图像的示意图;
图4为本发明提供的能量函数调整方法的实施例的流程图;
图5为本发明提供的能量函数调整方法的实施例的流程图;
图6为为本发明提供的X光图像目标检测装置的实施例的方框示意图;
图7为为本发明提供的X光图像目标检测装置的较佳实施例的方框示意图。
附图标记说明:
1候选标签获取模块 2目标类别确定模块 3模型训练模块 4置信度调整模块 5最终类别确定模块
具体实施方式
下面详细描述本发明的实施例,实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能解释为对本发明的限制。
需先说明,当前针对自然图像的目标检测技术通常采用多种深度学习类算法,例如以Faster RCNN为代表的two stage的目标检测框架或以SSD、YOLO为代表的one stage的目标检测框架。以Faster RCNN为例,训练过程中需要将Proposal层得到的若干待定框(Region of Interest/RoI或proposal)指定为正样本或负样本,将得到的正负样本送入后续head网络训练多分类单标签分类器和位置回归器。
上述通用的目标检测框架的head网络位于整个框架的最末端,通常包括分类器和回归器,网络输入是待定框池化后的特征图。虽然各种现有框架的实现方法各不相同,但存在一个共有的特性,即仅从待定框中选择正负样本,并以唯一的正样本作为输出(将某一个待定框指定为正样本等价于给定该待定框一个标签),即分类器为待定框输出多分类单标签,回归器输出坐标偏移量。多分类单标签的意思是,虽然具备多个类别的分辨能力,但是对每个待定框只输出一个类别结果。
由此,本发明提出了一种X光图像目标检测方法的实施例,如图1所示,主要包括如下步骤:
步骤S1、获取X光图像中的待定框的多个候选标签;
步骤S2、从多个候选标签中确定待定框内目标的类别。
本发明的初衷是摒弃上述现有技术的局限,基于多分类多标签的结构进行设计。多分类多标签的意思是,目标检测工具既具备多个类别的分辨能力,又可以对每个待定框输出一个或多个类别结果。
正如背景技术提及的,本发明所面对的技术问题是基于X光图像的特点——具有透视效果且会出现多物体堆叠放置,因此现有技术获取单一标签的方式无法适应该特殊情况,据此,本实施例提出首先要获取的是待定框的多个候选标签,换言之,在本发明构思中需要为每个待定框赋予多个可能的标签,而在具体实施过程中,这些候选标签可以来自于与X光图像中其他的真实框的标签,例如通过计算当前待定框与该X光图像中其他真实框的交并比,这里需指出,优选参与计算的对象是与当前待定框发生堆叠的真实框,但不排除利用图像中所有真实框计算交并比,得到多个可用标签,这里所称可用标签可以采用判定待定框为正负样本的思路,后文将作介绍。之后,再将所述可用标签作为所述待定框的多个所述候选标签。
具体关于根据当前待定框与X光图像中其他的真实框的交并比,得到多个可用标签的具体方式,结合图2实施例,可参考如下步骤:
步骤S11、分别计算当前待定框与各个真实框的交并比,得到交并比集合;
步骤S12、基于预设的交并比阈值,从交并比集合中过滤出有效交并比;
步骤S13、将有效交并比对应的真实框的标签进行去重处理,得到多个可用标签。
为了便于理解,对于上述获取待定框多个候选标签的方式结合图3所示,进行具体介绍:
图3给出X光图像的标注示例,其中虚线框为待定框,在实际操作中可以是采用Faster-RCNN等目标检测算法框架生成的框,以R开头示出;实线框为真实框,可以是预先由专家人工标定标注的框,以G开头示出;当然,本领域技术人员可以理解的是,通常真实框的标签附带框内物品的名称(标签是对类别数值化后的结果),即表明该真实框内目标所属的类别,但在图3中并未示出这些名称文字。同时需指出,图3仅为示例,在实际操作中待定框和真实框所框定的范围以及框的数量均可能发生变化。
接续上文,假设在某X光图片中,真实框为G1,G2,…,Gn,某一个待定框为R。计算R和G1,G2,…,Gn的交并比,并记为IoU1,IoU2,…,IoUn的具体过程可以是:
(1)计算R和G1相交部分的面积,记为I(R,G1);
(2)计算R和G1相并部分的面积,记为U(R,G1);
(3)计算R和G1的交并比,计算公式为IoU1=I(R,G1)/U(R,G1)
同理得到所述交并比集合IoU2,…,IoUn
(4)将IoU1,IoU2,…,IoUn按照某一设定的交并比阈值(如Faster-RCNN算法中可以取0.5)进行过滤。若过滤后无IoU留下,则该待定框为负样本(负样本是指,任何一个真实框的标签都不能与该待定框匹配)。若过滤后有IoU留下,则该候选框为正样本,即留下是所述有效交并比,记为IoUr1,IoUr2,…,IoUrm,m<=n。这些有效交并比对应的真实框的标签(已确知的类别),即Gr1,Gr2,…,Grm的类别可记为C1,C2,…,Cm
(5)对C1,C2,…,Cm去重,得到C1,C2,…,Cp,p<=m且p>=1。
(6)本发明关注的是p大于1的情况,即通过上述方式为待定框确定出多个所述可用标签(即所称候选标签)。
对于获得多个候选标签的方式,上述仅为实施参考,本发明不排除采用其他手段得到待定框的多个候选标签,但需要说明的是,无论采用何种获取候选标签的方式,如果仅为待定框确定出一个候选标签,则不在本发明探讨范围,可以使用前文提及的现有技术进行目标检测处理。
关于前述从多个所述候选标签中确定所述待定框内目标的类别的方式,可以采用目标分类模型(分类器),将当前待定框内的目标用分类器预测出基于多个候选标签所表征的多个类别结果的置信度。分类模型的选型可以基于现有技术和主要成熟框架,但需要说明的是,由于本发明采用多分类多标签的结构,因此在所述目标分类模型的训练阶段,可以对分类模型的能量函数进行适应性调整,具体方式可参考图4所示:
步骤S21、利用预设的交并比阈值过滤得到一个待定框的多个候选标签;
步骤S22、根据多个候选标签所对应的交并比,得到针对每个候选标签的权重;
步骤S23、基于多个候选标签的权重,对目标分类模型的能量函数的正向传播和反向传播的计算方式进行修正。
需说明,由于需要保证当前待定框的多个候选标签的权重和为1(其中标签权重越大,代表待定框检测到更有可能是对应待定框内的物品),因此可结合获取有效交并比的方式,利用预设的交并比阈值筛选出有效多个候选标签,但因为已经经由阈值过滤因此参与确定权重的某个标签即便权重很小,仍具有考量意义。
具体在操作中确定候选标签权重的方式可以参考如下:
(1)针对前述C1,C2,…,Cp,读取对应的交并比IoUrc1,IoUrc2,…,IoUrcp
(2)将IoUrc1,IoUrc2,…,IoUrcp数值归一化作为权重,即得到W1,W2,…,Wp,其中:
W1=IoUrc1/(IoUrc1+IoUrc2+…+IoUrcp)
W2=IoUrc2/(IoUrc1+IoUrc2+…+IoUrcp)
以此类推,且需满足W1+W2+…+Wp为1。
接着,为了在目标检测框架中运用多标签信息,具体在操作中根据权重修改能量函数的方式可以参考如下:
(1)正向传播:计算每个候选标签的损失L1,L2,…,Lp乘以对应的权重后求和作为新的损失,即新的能量函数Lnew=L1×W1+…+Lp×Wp
(2)反向传播:回传每个候选标签对应的新梯度后求和,作为新的梯度。
以上能量函数的修改策略具有轻量化、便于操作的特点,可用于多种深度学习框架,从而实现多标签分类器的梯度更新,具体视底层框架作出相应的代码修改即可。
综上可见,本发明主要基于多分类多标签结构,通过获取X光图像中的待定框的多个候选标签,为待定框赋予多个标签,并基于该多个候选标签确定出所述待定框内目标的类别,也即意味着最终确定的待定框内目标的类别不限于一种或多种。本发明能够加强目标检测工具正则化,有效提升目标检测工具增益,进而提升目标识别率,经验证在具体实施时本发明能够改善目标检测工具的泛化能力,便于快速、准确地分类违禁品,辅助安检员工作的同时大大提高违禁品检出率,而且本发明的关注点聚焦于分类任务,与回归任务无关,对整个系统牵连影响较小,具备改进独立性,便于本领域技术人员实施、实现本发明创造。
为了更好地消除冗余,本发明在另一个较佳实施例中,还考虑对目标分类模型的输出结果进行“精筛”的步骤,即再对分类结果进行深层滤除操作。当然,本领域技术人员可以理解的是“精筛”方式有多种实现方式,对此本发明给出一种优选方案,例如利用预先构建的类别关联表,调整所述目标分类模型输出的类别结果的置信度,然后再根据调整后的置信度确定所述待定框内目标的最终类别,从而可以进一步优化和提炼结果,提高鲁棒性。
所称类别关联表可以是在训练阶段对每个待定框的多标签进行针对性的构建,也可以基于外部的专家经验设置,并且在具体构建时可依据数据挖掘算法进行类别关联性的拓展,总之目的是确定一种关联规则用于表征“出现某类物体后有可能出现的另一类物体”的情形,即两种类别具有强关联性,其物理意义是:对于待定框而言,若类别C1出现,则类别C2同时出现的概率较高。例如在X光检测的实际应用场景,如老虎钳和扳手两类物品往往同时出现在工具箱里且互相交叠,再如书本和笔常同时出现在文件袋里,而某些违禁品则常常藏匿于其他日常物品中,例如刀具常藏匿于笔记本电脑中等。
在具体实施本发明提供的精筛方案时,可以优选参考图5示出的示例:
步骤S31、对类别结果的置信度进行由大至小排序;
步骤S32、基于排序后的首位类别结果,查询类别关联表,检测后续各类别结果是否与首位类别结果具有关联;
若是,则执行步骤S33、按预定幅度上调与首位类别结果相关的后续类别结果的置信度;
若否,则执行步骤S34、保持或按预定幅度下调后续各类别结果的置信度;
以此类推,按序逐个检测所述类别结果,进入步骤S35、得到类别结果的新置信度;那么,前述根据调整后的置信度确定所述待定框内目标的最终类别则可以是执行:
步骤S36、根据新置信度以及预先设定的置信度阈值,确定待定框内目标的最终类别。
具体以举例说明,例如前述目标分类模型的输出结果排序后是:老虎钳80%,扳手70%,枪50%,刀具30%。
首先老虎钳的置信度最高为80%,因此以老虎钳作为首位类别结果,查表检测后续较低置信度的类别是否和老虎钳强关联。假设类别关联表内包含上述老虎钳、扳手、枪的类别关联规则为:相关条目一{老虎钳,扳手,锤子,螺丝刀};相关条目二{枪,枪管,子弹}。由此发现扳手出现在相关条目一{老虎钳,扳手,锤子,螺丝刀}的规则内,枪和刀具没有出现与老虎钳相关的条目里。那么可以将扳手的置信度上调例如10%,其余类别置信度下调例如5%(或保持)——更新后的分类结果为老虎钳80%,扳手80%,枪45%(或50%),刀具25%(或30%)。
接着以此类推,以扳手作为首位类别结果进行如上操作,往复执行直至最后一个类别检测完成,至此附带新置信度的类别:老虎钳80%,扳手80%,枪40%,刀具30%。
最后,假设预设的置信度窗口阈值为65%,那么剔除枪和刀具,精筛后留下老虎钳和扳手作为所述待定框内目标的最终类别。
这里需要说明的是,在另一个方案中,可以在调整置信度之前先利用预设的阈值窗口滤除掉低于阈值的置信度所对应的类别,之后再做置信度调整。
相应于前述各实施例及其优选方案,本发明还提供了一种X光图像目标检测装置的实施参考,如图6所示,该装置可以包括:
候选标签获取模块1,用于获取X光图像中的待定框的多个候选标签;
目标类别确定模块2,用于从多个所述候选标签中确定所述待定框内目标的类别。
可选地,所述候选标签获取模块具体包括:
可用标签获取子模块,用于根据当前待定框与X光图像中其他的真实框的交并比,得到多个可用标签;
候选标签确定子模块,用于将所述可用标签作为所述待定框的所述候选标签。
可选地,所述可用标签获取子模块具体包括:
交并比计算单元,用于分别计算当前待定框与各个所述真实框的交并比,得到交并比集合;
交并比过滤单元,用于基于预设的交并比阈值,从所述交并比集合中过滤出有效交并比;
标签去重单元,用于将所述有效交并比对应的所述真实框的标签进行去重处理,得到多个所述可用标签。
可选地,所述目标类别确定模块具体用于根据多个所述候选标签以及预先训练的目标分类模型,预测当前所述待定框内目标的多个类别结果及相应的置信度。
结合图7所示,可选地,所述装置还包括模型训练模块3(图7中模型训练模块的箭头表征为目标类别确定模块提供训练好的目标分类模型,其他箭头表征数据处理流);
所述模型训练模块具体包括:
候选标签获取单元,用于在所述目标分类模型的训练阶段,利用预设的交并比阈值过滤得到一个待定框的多个候选标签;
标签权重确定单元,用于根据多个候选标签所对应的交并比,得到针对每个候选标签的权重;
能量函数调整单元,用于基于多个候选标签的权重,对所述目标分类模型的能量函数的正向传播和反向传播的计算方式进行修正。
可选地,所述装置还包括:
置信度调整模块4,用于利用预先构建的类别关联表,调整所述目标分类模型输出的类别结果的置信度;
最终类别确定模块5,用于根据调整后的置信度确定所述待定框内目标的最终类别。
可选地,所述置信度调整模块具体包括:
排序单元,用于对所述类别结果的置信度进行由大至小排序;
查表单元,用于基于排序后的首位类别结果,查询所述类别关联表,检测后续各类别结果是否与所述首位类别结果具有关联;
调整单元,用于若所述查表单元输出为是,则按预定幅度上调与所述首位类别结果相关的后续类别结果的置信度;若所述查表单元输出为否,则保持或按预定幅度下调后续各类别结果的置信度;
新置信度获取单元,用于按序逐个检测所述类别结果,得到所述类别结果的新置信度;
所述最终类别确定模块具体用于根据所述新置信度以及预先设定的置信度阈值,确定所述待定框内目标的最终类别。
综合上述各实施例及其优选方案,本领域技术人员可以理解的是,在实际操作中,本发明适用于基于硬件载体的各种实施方案,本发明以下述硬件载体作为示意性说明:
(1)一种X光图像目标检测方法设备,其可以包括:
存储器,用于存储计算机程序或上述装置;
处理器,用于当执行所述计算机程序或上述装置时,实现上述X光图像目标检测方法。
(2)一种可读存储介质,在所述可读存储介质上存储有计算机程序或上述装置,当所述计算机程序或上述装置被执行时,实现上述X光图像目标检测方法。
(3)一种计算机程序产品(该产品可以包括上述装置),所述计算机程序产品在终端设备上运行时,使所述终端设备执行上述X光图像目标检测方法。
通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到上述实施方法中的全部或部分步骤可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,上述计算机程序产品可以包括但不限于是指APP;上述可读存储介质可以是ROM/RAM、磁碟或光盘等;上述设备可以是一台计算机设备(例如手机、PC终端、云平台、服务器、服务器集群或者诸如媒体网关等网络通信设备等等)。并且,该设备的硬件结构还可以具体包括:至少一个处理器,至少一个通信接口,至少一个存储器和至少一个通信总线;处理器、通信接口、存储器均可以通过通信总线完成相互间的通信。其中,处理器可能是一个中央处理器CPU,或者是特定集成电路ASIC(Application Specific Integrated Circuit),或者是被配置成实施本发明实施例的一个或多个集成电路等;存储器也可以是高速RAM存储器或非易失性存储器(non-volatile memory)等,例如至少一个磁盘存储器。
最后需说明,虽然上述装置实施例及优选方案的工作方式以及技术原理皆记载于前文,但仍需强调的是,该装置中各个部件实施例仍可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。可以把装置实施例中的模块或单元或组件等组合成一个模块或单元或组件,也可以把它们分成多个子模块或子单元或子组件予以实施。
以及,本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的系统实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上依据图式所示的实施例详细说明了本发明的构造、特征及作用效果,但以上仅为本发明的较佳实施例,需要言明的是,上述实施例及其优选方式所涉及的技术特征,本领域技术人员可以在不脱离、不改变本发明的设计思路以及技术效果的前提下,合理地组合搭配成多种等效方案;因此,本发明不以图面所示限定实施范围,凡是依照本发明的构想所作的改变,或修改为等同变化的等效实施例,仍未超出说明书与图示所涵盖的精神时,均应在本发明的保护范围内。

Claims (15)

1.一种X光图像目标检测方法,其特征在于,包括:
获取X光图像中的待定框的多个候选标签;
从多个所述候选标签中确定所述待定框内目标的类别。
2.根据权利要求1所述的X光图像目标检测方法,其特征在于,所述获取X光图像中的待定框的多个候选标签包括:
根据当前待定框与X光图像中其他的真实框的交并比,得到多个可用标签;
将所述可用标签作为所述待定框的所述候选标签。
3.根据权利要求2所述的X光图像目标检测方法,其特征在于,所述根据当前待定框与X光图像中其他的真实框的交并比,得到多个可用标签包括:
分别计算当前待定框与各个所述真实框的交并比,得到交并比集合;
基于预设的交并比阈值,从所述交并比集合中过滤出有效交并比;
将所述有效交并比对应的所述真实框的标签进行去重处理,得到多个所述可用标签。
4.根据权利要求1所述的X光图像目标检测方法,其特征在于,所述从多个所述候选标签中确定所述待定框内目标的类别包括:
根据多个所述候选标签以及预先训练的目标分类模型,预测当前所述待定框内目标的多个类别结果及相应的置信度。
5.根据权利要求4所述的X光图像目标检测方法,其特征在于,在所述目标分类模型的训练阶段,利用预设的交并比阈值过滤得到一个待定框的多个候选标签;
根据多个候选标签所对应的交并比,得到针对每个候选标签的权重;
基于多个候选标签的权重,对所述目标分类模型的能量函数的正向传播和反向传播的计算方式进行修正。
6.根据权利要求4所述的X光图像目标检测方法,其特征在于,所述方法还包括:
利用预先构建的类别关联表,调整所述目标分类模型输出的类别结果的置信度;
根据调整后的置信度确定所述待定框内目标的最终类别。
7.根据权利要求6所述的X光图像目标检测方法,其特征在于,所述利用预先构建的类别关联表,调整所述目标分类模型输出的类别结果的置信度包括:
对所述类别结果的置信度进行由大至小排序;
基于排序后的首位类别结果,查询所述类别关联表,检测后续各类别结果是否与所述首位类别结果具有关联;
若是,则按预定幅度上调与所述首位类别结果相关的后续类别结果的置信度;
若否,则保持或按预定幅度下调后续各类别结果的置信度;
以此类推,按序逐个检测所述类别结果,得到所述类别结果的新置信度;
所述根据调整后的置信度确定所述待定框内目标的最终类别包括:
根据所述新置信度以及预先设定的置信度阈值,确定所述待定框内目标的最终类别。
8.一种X光图像目标检测装置,其特征在于,包括:
候选标签获取模块,用于获取X光图像中的待定框的多个候选标签;
目标类别确定模块,用于从多个所述候选标签中确定所述待定框内目标的类别。
9.根据权利要求8所述的X光图像目标检测装置,其特征在于,所述候选标签获取模块具体包括:
可用标签获取子模块,用于根据当前待定框与X光图像中其他的真实框的交并比,得到多个可用标签;
候选标签确定子模块,用于将所述可用标签作为所述待定框的所述候选标签。
10.根据权利要求9所述的X光图像目标检测装置,其特征在于,所述可用标签获取子模块具体包括:
交并比计算单元,用于分别计算当前待定框与各个所述真实框的交并比,得到交并比集合;
交并比过滤单元,用于基于预设的交并比阈值,从所述交并比集合中过滤出有效交并比;
标签去重单元,用于将所述有效交并比对应的所述真实框的标签进行去重处理,得到多个所述可用标签。
11.根据权利要求8所述的X光图像目标检测装置,其特征在于,所述目标类别确定模块具体用于根据多个所述候选标签以及预先训练的目标分类模型,预测当前所述待定框内目标的多个类别结果及相应的置信度。
12.根据权利要求11所述的X光图像目标检测装置,其特征在于,所述装置还包括模型训练模块;
所述模型训练模块具体包括:
候选标签获取单元,用于在所述目标分类模型的训练阶段,利用预设的交并比阈值过滤得到一个待定框的多个候选标签;
标签权重确定单元,用于根据多个候选标签所对应的交并比,得到针对每个候选标签的权重;
能量函数调整单元,用于基于多个候选标签的权重,对所述目标分类模型的能量函数的正向传播和反向传播的计算方式进行修正。
13.根据权利要求11所述的X光图像目标检测装置,其特征在于,所述装置还包括:
置信度调整模块,用于利用预先构建的类别关联表,调整所述目标分类模型输出的类别结果的置信度;
最终类别确定模块,用于根据调整后的置信度确定所述待定框内目标的最终类别。
14.根据权利要求13所述的X光图像目标检测装置,其特征在于,所述置信度调整模块具体包括:
排序单元,用于对所述类别结果的置信度进行由大至小排序;
查表单元,用于基于排序后的首位类别结果,查询所述类别关联表,检测后续各类别结果是否与所述首位类别结果具有关联;
调整单元,用于若所述查表单元输出为是,则按预定幅度上调与所述首位类别结果相关的后续类别结果的置信度;若所述查表单元输出为否,则保持或按预定幅度下调后续各类别结果的置信度;
新置信度获取单元,用于按序逐个检测所述类别结果,得到所述类别结果的新置信度;
所述最终类别确定模块具体用于根据所述新置信度以及预先设定的置信度阈值,确定所述待定框内目标的最终类别。
15.一种X光图像目标检测设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于当执行所述计算机程序时,实现如权利要求1~7任一项所述的X光图像目标检测方法。
CN201910708214.7A 2019-08-01 2019-08-01 X光图像目标检测方法、装置及设备 Active CN110428007B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910708214.7A CN110428007B (zh) 2019-08-01 2019-08-01 X光图像目标检测方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910708214.7A CN110428007B (zh) 2019-08-01 2019-08-01 X光图像目标检测方法、装置及设备

Publications (2)

Publication Number Publication Date
CN110428007A true CN110428007A (zh) 2019-11-08
CN110428007B CN110428007B (zh) 2020-11-24

Family

ID=68413746

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910708214.7A Active CN110428007B (zh) 2019-08-01 2019-08-01 X光图像目标检测方法、装置及设备

Country Status (1)

Country Link
CN (1) CN110428007B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111126447A (zh) * 2019-11-29 2020-05-08 中国船舶重工集团公司第七一三研究所 一种智能旅客安检行李图像自动识别方法
CN111223099A (zh) * 2020-04-17 2020-06-02 浙江啄云智能科技有限公司 违禁品检测方法、一种计算设备及存储介质
CN111860510A (zh) * 2020-07-29 2020-10-30 浙江大华技术股份有限公司 一种x光图像目标检测方法及装置
CN112418278A (zh) * 2020-11-05 2021-02-26 中保车服科技服务股份有限公司 一种多类物体检测方法、终端设备及存储介质
CN112418283A (zh) * 2020-11-13 2021-02-26 三六零智慧科技(天津)有限公司 用于目标检测的标签平滑方法、装置、设备及存储介质
CN113420682A (zh) * 2021-06-28 2021-09-21 阿波罗智联(北京)科技有限公司 车路协同中目标检测方法、装置和路侧设备
WO2022021224A1 (zh) * 2020-07-30 2022-02-03 深圳迈瑞生物医疗电子股份有限公司 样本分类方法、装置和存储介质

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006047253A1 (en) * 2004-10-22 2006-05-04 Carnegie Mellon University Object recognizer and detector for two-dimensional images using bayesian network based classifier
US20110064303A1 (en) * 2006-09-21 2011-03-17 Microsoft Corporation Object Recognition Using Textons and Shape Filters
CN105608468A (zh) * 2015-12-18 2016-05-25 电子科技大学 一种基于流型矩阵补全的多标签分类方法
CN106557778A (zh) * 2016-06-17 2017-04-05 北京市商汤科技开发有限公司 通用物体检测方法和装置、数据处理装置和终端设备
CN108288279A (zh) * 2018-01-25 2018-07-17 盛视科技股份有限公司 一种基于x光图像前景目标提取的物品甄别方法
CN108629354A (zh) * 2017-03-17 2018-10-09 杭州海康威视数字技术股份有限公司 目标检测方法及装置
CN108830282A (zh) * 2018-05-29 2018-11-16 电子科技大学 一种乳腺x光图像的乳腺肿块信息提取及分类方法
CN109188550A (zh) * 2018-08-30 2019-01-11 山西精英科技股份有限公司 一种皮带输送机异物检测系统
CN109559300A (zh) * 2018-11-19 2019-04-02 上海商汤智能科技有限公司 图像处理方法、电子设备及计算机可读存储介质
CN109800764A (zh) * 2019-01-21 2019-05-24 中国民航大学 一种基于注意力机制的机场x光违禁品图像检测方法
CN109815886A (zh) * 2019-01-21 2019-05-28 南京邮电大学 一种基于改进YOLOv3的行人和车辆检测方法及系统
CN109858569A (zh) * 2019-03-07 2019-06-07 中国科学院自动化研究所 基于目标检测网络的多标签物体检测方法、系统、装置
CN109902643A (zh) * 2019-03-07 2019-06-18 浙江啄云智能科技有限公司 基于深度学习的智能安检方法、装置、系统及其电子设备
CN109977797A (zh) * 2019-03-06 2019-07-05 上海交通大学 基于排序损失函数的一阶目标检测器的优化方法

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006047253A1 (en) * 2004-10-22 2006-05-04 Carnegie Mellon University Object recognizer and detector for two-dimensional images using bayesian network based classifier
US7848566B2 (en) * 2004-10-22 2010-12-07 Carnegie Mellon University Object recognizer and detector for two-dimensional images using bayesian network based classifier
US20110064303A1 (en) * 2006-09-21 2011-03-17 Microsoft Corporation Object Recognition Using Textons and Shape Filters
CN105608468A (zh) * 2015-12-18 2016-05-25 电子科技大学 一种基于流型矩阵补全的多标签分类方法
CN106557778A (zh) * 2016-06-17 2017-04-05 北京市商汤科技开发有限公司 通用物体检测方法和装置、数据处理装置和终端设备
CN108629354A (zh) * 2017-03-17 2018-10-09 杭州海康威视数字技术股份有限公司 目标检测方法及装置
CN108288279A (zh) * 2018-01-25 2018-07-17 盛视科技股份有限公司 一种基于x光图像前景目标提取的物品甄别方法
CN108830282A (zh) * 2018-05-29 2018-11-16 电子科技大学 一种乳腺x光图像的乳腺肿块信息提取及分类方法
CN109188550A (zh) * 2018-08-30 2019-01-11 山西精英科技股份有限公司 一种皮带输送机异物检测系统
CN109559300A (zh) * 2018-11-19 2019-04-02 上海商汤智能科技有限公司 图像处理方法、电子设备及计算机可读存储介质
CN109800764A (zh) * 2019-01-21 2019-05-24 中国民航大学 一种基于注意力机制的机场x光违禁品图像检测方法
CN109815886A (zh) * 2019-01-21 2019-05-28 南京邮电大学 一种基于改进YOLOv3的行人和车辆检测方法及系统
CN109977797A (zh) * 2019-03-06 2019-07-05 上海交通大学 基于排序损失函数的一阶目标检测器的优化方法
CN109858569A (zh) * 2019-03-07 2019-06-07 中国科学院自动化研究所 基于目标检测网络的多标签物体检测方法、系统、装置
CN109902643A (zh) * 2019-03-07 2019-06-18 浙江啄云智能科技有限公司 基于深度学习的智能安检方法、装置、系统及其电子设备

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
CHENYU XU ET AL: "A Dangerous Goods Detection Approach Based on YOLOv3", 《PROCEEDINGS OF THE 2018 2ND INTERNATIONAL CONFERENCE ON COMPUTER SCIENCE AND ARTIFICIAL INTELLIGENCE》 *
JOSEPH REDMON ET AL: "YOLOv3:An Incremental Improvement", 《ARXIV:1804.02767V1》 *
SHAOQING REN ET AL: "Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 *
苏日娜: "X-光特定物体图像识别算法的研究与实现", 《中国优秀硕士学位论文全文数据库基础科学辑》 *
谭俊: "一个改进的YOLOv3目标识别算法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111126447A (zh) * 2019-11-29 2020-05-08 中国船舶重工集团公司第七一三研究所 一种智能旅客安检行李图像自动识别方法
CN111223099A (zh) * 2020-04-17 2020-06-02 浙江啄云智能科技有限公司 违禁品检测方法、一种计算设备及存储介质
CN111223099B (zh) * 2020-04-17 2020-07-28 浙江啄云智能科技有限公司 违禁品检测方法、一种计算设备及存储介质
CN111860510A (zh) * 2020-07-29 2020-10-30 浙江大华技术股份有限公司 一种x光图像目标检测方法及装置
WO2022021224A1 (zh) * 2020-07-30 2022-02-03 深圳迈瑞生物医疗电子股份有限公司 样本分类方法、装置和存储介质
CN112418278A (zh) * 2020-11-05 2021-02-26 中保车服科技服务股份有限公司 一种多类物体检测方法、终端设备及存储介质
CN112418283A (zh) * 2020-11-13 2021-02-26 三六零智慧科技(天津)有限公司 用于目标检测的标签平滑方法、装置、设备及存储介质
CN113420682A (zh) * 2021-06-28 2021-09-21 阿波罗智联(北京)科技有限公司 车路协同中目标检测方法、装置和路侧设备
CN113420682B (zh) * 2021-06-28 2023-08-15 阿波罗智联(北京)科技有限公司 车路协同中目标检测方法、装置和路侧设备

Also Published As

Publication number Publication date
CN110428007B (zh) 2020-11-24

Similar Documents

Publication Publication Date Title
CN110428007A (zh) X光图像目标检测方法、装置及设备
CN102081734B (zh) 对象检测装置及其学习装置
CN108269250A (zh) 基于卷积神经网络评估人脸图像质量的方法和装置
CN109255344A (zh) 一种基于机器视觉的数显式仪表定位与读数识别方法
CN107657249A (zh) 多尺度特征行人重识别的方法、装置、存储介质及处理器
CN107609512A (zh) 一种基于神经网络的视频人脸捕捉方法
CN108090406B (zh) 人脸识别方法及系统
CN108664874A (zh) 基于图像识别的井下煤流量检测方法
CN109859181A (zh) 一种pcb焊点缺陷检测方法
WO2018141429A1 (en) A method and apparatus for detecting objects of interest in images
CN107871101A (zh) 一种人脸检测方法及装置
CN112232399B (zh) 基于多特征融合机器学习的汽车座椅缺陷检测方法
CN108229580A (zh) 一种基于注意力机制及特征融合的眼底图中糖网特征分级装置
CN103927534A (zh) 一种基于卷积神经网络的喷码字符在线视觉检测方法
CN105809123A (zh) 人脸检测方法及装置
CN109889436B (zh) 一种社交网络中垃圾邮件发送者的发现方法
CN111079674A (zh) 一种基于全局和局部信息融合的目标检测方法
CN106934408A (zh) 基于卷积神经网络的身份证照片分类方法
CN107392241A (zh) 一种基于加权列抽样XGBoost的图像目标分类方法
CN111582033A (zh) 垃圾分类的识别方法、系统及计算机可读存储介质
CN106228106B (zh) 一种改进的实时车辆检测过滤方法及系统
CN113362299B (zh) 一种基于改进YOLOv4的X光安检图像检测方法
CN108108703A (zh) 减速带缺失检测方法、装置及电子设备
CN110135514A (zh) 一种工件分类方法、装置、设备及介质
CN109389105A (zh) 一种基于多任务的虹膜检测和视角分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant