CN104636707A - 自动检测香烟的方法 - Google Patents

自动检测香烟的方法 Download PDF

Info

Publication number
CN104636707A
CN104636707A CN201310546289.2A CN201310546289A CN104636707A CN 104636707 A CN104636707 A CN 104636707A CN 201310546289 A CN201310546289 A CN 201310546289A CN 104636707 A CN104636707 A CN 104636707A
Authority
CN
China
Prior art keywords
cigarette
image
interest
area
fluoroscopy images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310546289.2A
Other languages
English (en)
Other versions
CN104636707B (zh
Inventor
张丽
陈志强
李强
张健
顾建平
崔锦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nuctech Co Ltd
Original Assignee
Nuctech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to CN201310546289.2A priority Critical patent/CN104636707B/zh
Application filed by Nuctech Co Ltd filed Critical Nuctech Co Ltd
Priority to JP2016528054A priority patent/JP6246355B2/ja
Priority to KR1020187008606A priority patent/KR20180035930A/ko
Priority to PCT/CN2014/090563 priority patent/WO2015067208A1/zh
Priority to KR1020167015104A priority patent/KR20160083099A/ko
Priority to EP14860336.8A priority patent/EP3067823A4/en
Priority to US15/034,021 priority patent/US10013615B2/en
Publication of CN104636707A publication Critical patent/CN104636707A/zh
Priority to CL2016000960A priority patent/CL2016000960A1/es
Application granted granted Critical
Publication of CN104636707B publication Critical patent/CN104636707B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/05—Recognition of patterns representing particular kinds of hidden objects, e.g. weapons, explosives, drugs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)

Abstract

本发明公开了一种自动检测香烟的方法和设备。所述方法包括以下步骤：获取透视图像；获取所述透视图像的感兴趣区域；以及利用香烟模型进行自动检测，包括：对所述感兴趣区域进行特征提取、对所述透视图像的感兴趣区域是否属于香烟进行判决、以及对嫌疑区域标记。本发明对货物特别是集装箱扫描图像进行香烟检测，可以避免传统方式的检测漏洞与人工判图效果较差的问题，对于打击香烟走私有重要意义。

Description

自动检测香烟的方法
技术领域
本发明涉及辐射图像中的嫌疑物自动检测，具体而言涉及大型集装箱扫描系统中，自动检测香烟的方法以及相应的安全检测设备。
背景技术
打击香烟走私有着重要的意义。香烟走私被认为是世界上仅次于毒品的第二大走私活动。十几年来，虽然各国都积极参与打击香烟走私，但走私香烟的数量还是呈增长趋势。1996年，走私的香烟占香烟总销量的6.5%。而2009年，这一数字增长到了11.6%，达到6750亿支，给各国政府造成4千亿美元的损失。另外，香烟走私的危害不仅体现在威胁人体健康、造成政府税收损失，而且还成为犯罪组织、恐怖组织的资金来源，甚至给毒品走私提供经费。欧盟甚至宣称：“所有的国际犯罪组织都涉嫌参与香烟走私”。
香烟走私危害日益加剧，反映了相关检测手段不到位，给犯罪分子可乘之机。
目前国际上缺乏检测香烟走私的有效手段。虽然各种类型的条码、水印已经在香烟上大量使用，但这种手段难于在香烟过境时得到有效查验，因此收效甚微。据研究，香烟走私主要是通过集装箱大量运送。辐射成像通过对货物、行李等透视成像，达到无侵犯性检查的目的，目前已经在机场、海关、车站、大型集会等场所广泛应用，是违禁品安检领域最为重要的手段。在集装箱检查的过程中，虽然已经得到了集装箱货物图像，但由于货物种类千差万别，判图员的经验参差不齐，走私品出现概率又比较低，使得人工判断效果差强人意。
近年来，随着模式识别、图像处理等相关学科的快速发展，违禁品的自动检测成为业界和学界关注焦点。但目前来看，大型集装箱数字射线成像(DR-Digital Radiography)图像中的自动检测相关文献仍然很少。限于成像手段、应用领域、数据来源等多方面因素影响，研究多见于小型行李安检设备，比如双能DR、计算机断层扫描(CT-Computed Tomography)中。其中特别是爆炸物与枪支的自动检测，由于直接关系到航空安全，受到了更多研究者的关注。对于走私香烟这个特定领域，目前还没有针对性的公开文献。
物体检测(Object Detection)是当前计算机视觉、模式识别领域的热点问题，随着图像检索的发展出现许多可借鉴的研究成果。特别是方向梯度直方图(HOG-Histogram of Oriented Gradients)特征、基于可变部件模型(DPM-Deformable Part-based Model)算法、深度学习（Deep Learning）方法的出现，使得物体检测效果大幅提升。本发明借鉴相关研究，对辐射图像中的香烟模型展开针对性研究，并得到较好效果。
发明内容
针对上述问题，基于市场需求，本发明在使用集装箱DR图像的基础上，借鉴自动物体检测相关研究，提出一种新的香烟走私自动检测方法。其目的在于：在集装箱查私过程中，使用射线扫描成像手段，通过算法自动检测图像中是否有香烟。如果存在香烟，则给出香烟在图像中的位置，以此辅助人工判断是否存在走私案情。
为达到辅助人工的目的，算法的性能也是必须考虑的任务。检测算法必须有较低的误报率和漏报率，另外必须满足实时检测的要求。本发明通过对香烟模式的针对性研究，得到了较好的效果。算法误报率小于0.5%，漏报率小于10%，且在1秒内完成计算，满足上述应用需求。
另外，为使得算法能够满足特定场合的应用，算法还可以优选地具备自学习功能。算法对确认为香烟但又检测不出的图像可以自学习，满足香烟包装变化时香烟模式变化的检测需求。其中，确认机制包括人工输入香烟图像和通过报关单等自动获取香烟图像等。
根据本发明的实施例，提供了一种集装箱安检透视图像中自动检测香烟的方法，所述方法包括以下步骤：获取透视图像；获取所述透视图像的感兴趣区域；以及利用香烟模型进行自动检测，包括：对所述感兴趣区域进行特征提取、对所述透视图像的感兴趣区域是否属于香烟进行判决、以及对嫌疑区域标记。
由于集装箱箱体较大，为了在实时条件下实现检测，图像分辨率无需太高。以5mm/像素的图像为例，大量香烟在图像中呈条纹状纹理，这个特性反映的其实是香烟的包装而不是香烟本身。产生这个特点的根源在于：为降低吸烟的危害，防止个性化包装对青少年产生吸引力，世界各国的香烟包装趋于同一化，这恰恰为有效的检测提供了条件。本发明正是利用了上述特点，并通过图像获取、感兴趣区域获取、香烟模型建立以及自动检测等步骤，以准确、迅速地识别集装箱安检透视图像中的香烟。
优选地，在所述利用香烟模型进行自动检测的步骤之前，还包括建立香烟模型的步骤；所述建立香烟模型的步骤包括香烟图像库获取、获取所述香烟图像库中图像的感兴趣区域、对所述香烟图像库中图像的感兴趣区域进行特征提取、分类器训练、以及香烟模型生成。
优选地，在所述建立香烟模型的步骤中，香烟图像库获取包括：扫描在集装箱中各个摆放形式、不同数量下的香烟图像，获取香烟图像库{                                               }；以及采集类似物体和随机物体，形成负样本库，中每幅图像均不包含香烟。
优选地，在所述建立香烟模型的步骤中，香烟的各种规则堆叠的扫描图像被划分为宽度不同的三种模式，由所述三种模式生成所述香烟模型的正样本库。
优选地，所述建立香烟模型的步骤中，对所述香烟图像库中图像的感兴趣区域进行特征提取包括：正样本特征提取：以箱为单位，人工标注香烟位置，形成三种模式下的正样本库；以及随机负样本特征提取：在中随机抽取足够的样本，进行特征提取，形成负样本特征集。
优选地，在所述建立香烟模型的步骤中，分类器训练包括：在给定正、负样本集的条件下，训练分类器；用分类器对正、负样本分类；根据结果置信度，将易分的负样本去掉，重新加入足够的随机负样本；重复上述训练，直到分类器变化足够小，或达到足够迭代次数为止。
优选地，所述方法还包括自学习步骤：对于算法未检测到的香烟图像，通过人工标注或报关单自动分析，得到新的香烟图像并更新香烟模型。
在实际检测中，在不同的检测环境（例如但不限于：扫描方式、集装箱状况等）、扫描设备和摆放模式下，香烟图像可能相对于已建立的模型而呈现出较大的差异。为使本发明的方法适用于更加具体的检测环境、扫描设备和摆放模式，根据本发明的实施例，所述方法还包括自学习功能。通过不断更新香烟模型，使得所述方法能够适应不同的检测环境、扫描设备和更多包装形式的香烟。
优选地，在所述获取透视图像的步骤中，将图像尺寸缩放到均一的分辨率下，并进行灰度拉伸，使图像值域充满整个可能的取值范围，完成归一化操作。
可选地，在所述获取所述透视图像的感兴趣区域的步骤中，把所述透视图像中空气部分排除掉，以避免空气噪声产生检测结果。
优选地，在所述获取所述透视图像的感兴趣区域的步骤中，采用空气亮度阈值的方法，用空气值对所述透视图像进行二值化，只对阈值之下的图像部分进行香烟检测。
优选地，在所述利用香烟模型进行自动检测的步骤中，给定要检测的图像，经过归一化和获取感兴趣区域，生成感兴趣区域的HOG特征；用滑动窗口遍历，求它在三种模式下，每个窗口中的最大置信度；置信度大于特定阈值处即为香烟位置。
优选地，在多个尺度上检测香烟。
本发明还提供了一种自动检测香烟的设备，所述设备由数字放射摄影装置和图像处理装置构成，所述图像处理装置能够执行根据本发明实施例所述的自动检测香烟的方法。
优选地，所述设备用于自动检测香烟走私。
本发明对货物特别是集装箱扫描图像进行香烟检测，可以避免传统方式的检测漏洞与人工判图效果较差的问题，对于打击香烟走私有重要意义。本发明在本领域中首次提出通过检测算法自动判断香烟走私的技术方案，且已经过实际验证，具有优良的性能，具有很强的实用性。
附图说明
通过参考以下描述的实施例，本发明的这些和其他方面将是清楚的并得到阐述。在附图中
图1示出了根据本发明的实施例的自动检测香烟方法的流程图；
图2示出了根据本发明的实施例的建立香烟模型的流程图；
图3示出了香烟的六种摆放形式；
图4示出了对集装箱中的香烟进行扫描的示意图；
图5示出了香烟图像的三种模式；
图6示出了根据本发明的实施例的自动检测的流程图；
图7示出了根据本发明的实施例的香烟检测结果的示意图；以及
图8示出了根据本发明的实施例的自学习过程的流程图。
具体实施方式
为使本发明的目的、结构和优点更加清楚，下面结合附图对本发明进一步地进行详细描述。其中，为简化起见，在附图和说明书中仅示出了多种可能的设置之一。本领域技术人员能够理解，在不脱离本发明精神的情况下，能够对本发明的以下实施例作出各种改变和替换。
图1示出了根据本发明的实施例的一种集装箱安检透视图像中自动检测香烟的方法。所述方法包括以下步骤：获取透视图像；获取感兴趣区域；建立香烟模型，其中，如图2所示，所述建立香烟模型的步骤包括香烟图像库获取、特征提取、训练、以及香烟模型生成；以及自动检测，所述自动检测的步骤包括待测图像特征提取、判决、以及对嫌疑区域标记。
以下将详细地描述上述方法中各个步骤的实现方式。本领域技术人员能够理解，以下的实现方式仅是示例性的，而非限制性的。
图像获取
不同的扫描设备由于射线源的能量/剂量不同，探测器尺寸不同，所以得到的图像不尽相同。优选地，首先可以对图像归一化处理以减少这个差异。
集装箱箱体较大，为在实时条件下实现检测，图像分辨率无需太高。以5mm/像素的图像为例，大量香烟在图像中呈条纹状纹理，这个特性反映的其实是香烟的包装而不是香烟本身。产生这个特点的根源在于：为降低吸烟的危害，防止个性化包装对青少年产生吸引力，世界各国的香烟包装趋于同一化，这恰恰为有效的检测提供了条件。因此，不失一般性，可以将图像尺寸缩放到例如约5mm/像素的均一的分辨率下，并进行灰度拉伸，使图像值域充满整个可能的取值范围，完成归一化操作。
以上例举的图像像素分辨率为5mm/像素，然而本领域技术人员能够理解，上述分辨率并不是唯一的选择，针对香烟包装的实际尺寸，可以适当地修改上述分辨率。
感兴趣区域提取
在检测之前，优选地，把图像中空气部分排除掉，以避免空气噪声产生检测结果。可选地，采用空气亮度阈值的方法，用空气值对图像进行二值化。例如，可以预设空气的亮度阈值，认为亮度超过所述亮度阈值的区域为空气区域。因此，只对阈值之下的图像部分进行香烟检测。
模型建立
物体检测主要包括基于滑动窗口(Sliding Window)和基于局部区域(Sub Region)的两大类方法。前者采用遍历方式，以固定大小窗口在图像的各个尺度上滑动，计算每个像素在每个尺度上是否是目标物体；后者采用图像分割等方法，对图像中非固定形状的局部区域进行特征提取与目标检测。
根据发明人的对比研究，滑动窗口法虽然计算量远大于局部区域法，但精度却要高很多。因此在本发明的实施例中，优选地以使用滑动窗口法。
如图2所示，所述建立香烟模型的步骤包括香烟图像库获取、特征提取、训练、以及香烟模型生成。其中，香烟模型是把香烟的图像模式模型化，因此图像模式的提取是算法的重点内容。不失一般性，香烟的包装形式、摆放方法、数量不同会造成香烟图像的差异。其中，包装形式的趋同性使得这个问题简单化，少量的模式就可以概况绝大部分情况；数量的不同会造成图像灰度、条纹强度变化，这一点需要在特征提取算法中克服；摆放形式带来的影响非常大，发明人将其归结为三种模式。不失一般性，香烟摆放形式可能是图3中六种摆放形式的任意一种。而由于集装箱扫描基本都采用扇形射线束(如图4所示)，因此横向的边缘在射线方向上立体叠加，使得香烟呈现宽度不同的竖条纹。根据发明人的研究，香烟的竖条纹状纹理可归纳为如图5所示的以下三种模式，即：图3(a)(d)产生图5(a)中的宽条纹，图3(b)(e)产生图5(b)中稍窄的条纹，而图3(c)(f)产生图5(c)中的窄条纹。在上述分析的基础上，发明人提出不同摆放形式下的三种香烟模式，并使用算法建立模型。本发明巧妙地利用了上述三种模式的特点，使得在建立模型后，能够自动地训练和/或学习而不依赖于初始人工标注，因此大大节约了人工成本并提高了检测效率和准确度。
模型中包括特征提取算法与分类器。根据以上分析，模型的建立过程为：
A)建立香烟检测数据库。采集相当数量的香烟图像，使得其中六种摆放形式均匀分布；数量以最少一箱，最多占满集装箱宽度的条件下均匀分布。在扫描得到的二维图像上，以箱为单位，人工标注矩形的香烟区域。所有标注矩形框中的图像形成正类样本库。此外，随机扫描其它各类货物，形成负类样本库；
B)对A中所有香烟区域中的图像提取特征，形成三种模式下的三个特征集；
C)在负样本中随机抽取三个样本量足够大的负样本集，并提取特征；
D)对B、C中得到的正、负样本训练分类器；
E)可采用机器学习、模式识别领域的现有算法优化分类器。比如借鉴Boosting思想，不断丢弃易分样本，加入新的随机样本，重复C、D步骤直到错误率足够低或算法收敛，得到分类器。
F)可采用现有算法调整正样本位置，降低人工标注误差带来的影响。比如借鉴DPM中隐变量模型的思想，假设人工标注位置不完全准确，在D中得到分类器后，对A中正样本位置进行一定的偏移，得到分类器意义下正样本的位置，重复B到E步骤得到优化分类器。
在本发明的上下文中，建立香烟模型可以独立于自动检测香烟而进行，即，可以在建立了香烟模型之后，使用已建立的香烟模型对透视图像进行自动香烟检测。
自动检测过程
自动检测过程实际上是模型建立过程的一个子集：如图6所示，对于待测图像，遍历每个感兴趣区域内的像素点，提取该点周围邻域图像并经过特征提取、分类判断，即可得到该点是否为香烟区域，以及这个结论的置信度。
在得到每个像素是否为香烟嫌疑区域的结果后，通过连通区提取，即可得到香烟区域。图7示出了以矩形框形式标注出香烟的检测示意图。
自学习过程
优选地，算法具备自学习功能，使得它能够适应不同的检测环境、扫描设备和更多包装形式的香烟。自学习使用的算法和模型建立时基本一致，不同之处在于它在检测过程中仅获取正样本(如图8所示)。
在检测过程中，如果人工发现算法未检测到香烟并进行了标注，则算法把标注区域加入正样本，重新进行训练或进行增量学习，得到更新的模型。但如果得到的模型仍无法检测到刚加入的样本，则放弃这次更新。
另外，通过自动报关单分析(如电子报关单中的关键字段或通过字符识别)，获知某次扫描图像中包含香烟，则算法从检测过程中得到的置信度图中，选取分数最大的区域，默认为香烟并进行重新训练。但如果得到的模型仍无法检测到这次扫描中的香烟，则放弃这次更新。
实例
在以上的描述中给出了所述方法的一般形式，在具体实施算法层面上，可以选用多种已有的算法实现。例如，上文提到的HOG、DPM、Deep Learning均可以直接应用于本发明，通过对正负样本特征提取、分类即可实现检测功能。具体来说，在图像特征提取方面，可以使用各种基于梯度的描述子、纹理描述子等，如HOG、局部二值模式(LBP-Local Binary Pattern)、最大响应集(Maximum Response Sets，或称MR8)，另外可以使用词袋法(BOW-Bag of Words)、纹理表示(Texton)、稀疏表示(Sparse Representation)等进行结构化特征处理；在分类器方面，可以使用各类线性、非线性、集成分类器、神经网络，如Fisher分类器、支持向量机、自助法(Boosting)、随机森林、多层感知机等。
不失一般性，这里给出一个使用具体算法的实施例。然而能够理解，根据本发明的教导，本领域技术人员可以在不偏离本发明思想的情况下对于实施例中的具体算法进行改变或替换。
一、图像获取
本发明的算法普遍适用于各类大型货物/集装箱扫描设备。为保证算法有效性，需要在获取图像时对图像进行归一化。设原始二维图像信号为X，按照扫描设备物理参数，将X分辨率缩放到5mm/像素，并进行灰度拉伸，即可得到归一化图像。
二、感兴趣区域(ROI，Region Of Interest)提取
检测中的空气部分，并将其排除在检测过程之外。将空气部分排除不仅能够提高运算速度，而且还能避免在空气中出现误报。
统计的直方图，在直方图中计算最亮峰值，并拟合以其为中心的空气正态分布(,)，则设定阈值为。中大于阈值的像素被认为是空气，不进行检测计算。
三、模型建立
A)建立香烟检测数据库
扫描在集装箱中各个摆放形式、不同数量下的香烟图像，获取香烟图像库{}。图像数量在100幅左右即可满足实用要求。采集类似物体和随机物体，形成负样本库，该负样本库中的每幅图像均不包含香烟。
B) 正样本特征提取
以箱为单位，人工标注香烟位置，形成三种模式下的正样本库。其中，表示模式下得到的正样本库，并且其中每幅图像都是{}中图像的局部，在正样本库中的每幅图像仅包含香烟，M、N、K分别为三种模式各自的样本量，且m、n、k分别是范围为[1,M],[1,N],[1,K]的变量。优选地，对于上述三种香烟模式进行独立训练，因此不要求样本量、、相等。但为达到相当的性能，三种模式样本量应保持基本一致。
提取的特征。不失一般性，实施例采用HOG特征。然而本领域技术人员能够理解，根据本发明的教导，同样可以采用其他已有的方法来提取特征。特征提取后，二维图像转化为高维矢量。样本库转化为特征库。
由于三种模式可以是独立训练的，所以下面仅以训练一个模式为例。
C) 随机负样本特征提取
在中随机抽取足够的样本，进行特征提取，形成负样本特征集。注意HOG算法中，特征维数由图像大小决定，因此三种模式维数不同。负样本抽取在不同模式下区域大小不同。
D) 在给定正、负样本集的条件下，训练分类器。训练方法可采用模式识别中各类已有算法。不失一般性，在本实施例中采用开源工具LIBSVM训练分类器。
E) 挑选难分类样本优化分类器
用分类器对正、负样本分类。根据结果置信度，将易分的负样本去掉，重新加入足够的随机负样本。然后，重复D)和E)步骤，直到分类器变化足够小，或达到足够迭代次数为止。
F) 调整正样本，优化分类器
在步骤B)中的人工标注带来较大的误差，使得香烟条纹相对位置不明确。为减小这一因素的影响，用分类器对B)中图像周围进行检测，找到的最佳位置，将更新为，然后迭代进行C)至F)步骤，直到分类器变化足够小，或达到足够迭代次数为止。
四、检测
给定要检测的图像，经过归一化和ROI提取，生成ROI区域的HOG特征。用滑动窗口遍历，求它在三种模式下，每个窗口中的最大置信度。置信度大于特定阈值处即为香烟位置。
为提高检出率，可以在多个尺度（即，不同的缩放比例）上进行香烟检测。比如在[0.9,1.0,1.1]三个尺度上对所述透视图像进行检测，可以较好地解决香烟摆放时存在一定偏转的问题。
为降低误报率，可以对检测结果进行后处理去除噪声。比如对上述置信度图进行中值滤波，或对上述置信度图进行二值化后连通区面积滤波等。
此外，为实现实时检测，可以通过均匀/随机采样的方法，仅对图像上一部分点进行检测。实际上，大多特征提取算法如HOG也都采用不重叠的窗口，以窗口代替邻域像素，达到以点代面，局部逼近遍历的效果。
五、自学习过程
自学习过程涉及模型更新策略。自学习使用的算法和模型建立时基本一致，不同之处在于它在检测过程中仅获取正样本(如图8所示)。
在检测过程中，如果人工发现算法未检测到香烟并进行了标注，则算法把标注区域加入正样本，重新进行训练或进行增量学习，得到更新的模型。但如果得到的模型仍无法检测到刚加入的样本，则放弃这次更新。
另外，通过自动报关单分析(如电子报关单中的关键字段或通过字符识别)，获知某次扫描图像中包含香烟，则算法从检测过程中得到的置信度图中，选取分数最大的区域，默认为香烟并进行重新训练。但如果得到的模型仍无法检测到这次扫描中的香烟，则放弃这次更新。
尽管已在附图以及前述描述中详细说明及描述了本发明，但该说明及描述将被视为说明性或例示性的而非限制性的；本发明并不限于所公开的实施例。本领域技术人员在实践所主张的本发明时可从对附图、公开内容及附加的权利要求的研究来理解并实现所公开的实施例的其他变化。
在权利要求中，词语“包含”不排除其他元素或步骤，且“一”不排除复数个。单个元素或其他单元可实现权利要求中所叙述的若干项的功能。在相互不同的从属权利要求中叙述某些措施的仅有事实并不指示不可有利地使用这些措施的组合。不应将权利要求中的任何附图标记解释为限制范围。

Claims (14)

1. 一种自动检测香烟的方法，所述方法包括以下步骤：
获取透视图像；
获取所述透视图像的感兴趣区域；以及
利用香烟模型进行自动检测，包括：对所述感兴趣区域进行特征提取、对所述透视图像的感兴趣区域是否属于香烟进行判决、以及对嫌疑区域标记。
2. 根据权利要求1所述的方法，其特征在于：在所述利用香烟模型进行自动检测的步骤之前，还包括建立香烟模型的步骤；所述建立香烟模型的步骤包括香烟图像库获取、获取所述香烟图像库中图像的感兴趣区域、对所述香烟图像库中图像的感兴趣区域进行特征提取、分类器训练、以及香烟模型生成。
3. 根据权利要求2所述的方法，其特征在于：在所述建立香烟模型的步骤中，香烟图像库获取包括：扫描在集装箱中各个摆放形式、不同数量下的香烟图像，获取香烟图像库{                                               }；以及采集类似物体和随机物体，形成负样本库，中每幅图像均不包含香烟。
4. 根据权利要求2或3所述的方法，其特征在于：在所述建立香烟模型的步骤中，香烟的各种规则堆叠的扫描图像被划分为宽度不同的三种模式，由所述三种模式生成所述香烟模型的正样本库。
5. 根据权利要求4所述的方法，其特征在于：所述建立香烟模型的步骤中，对所述香烟图像库中图像的感兴趣区域进行特征提取包括：
正样本特征提取：以箱为单位，人工标注香烟位置，形成三种模式下的正样本库；以及
随机负样本特征提取：在中随机抽取足够的样本，进行特征提取，形成负样本特征集。
6. 根据权利要求2所述的方法，其特征在于：在所述建立香烟模型的步骤中，分类器训练包括：在给定正、负样本集的条件下，训练分类器；用分类器对正、负样本分类；根据结果置信度，将易分的负样本去掉，重新加入足够的随机负样本；重复上述训练，直到分类器变化足够小，或达到足够迭代次数为止。
7. 根据权利要求1或2所述的方法，其特征在于：所述方法还包括自学习步骤：对于算法未检测到的香烟图像，通过人工标注或报关单自动分析，得到新的香烟图像并更新香烟模型。
8. 根据权利要求1或2所述的方法，其特征在于：在所述获取透视图像的步骤中，将图像尺寸缩放到均一的分辨率下，并进行灰度拉伸，使图像值域充满整个可能的取值范围，完成归一化操作。
9. 根据权利要求1或2所述的方法，其特征在于：在所述获取所述透视图像的感兴趣区域的步骤中，把所述透视图像中空气部分排除掉，以避免空气噪声产生检测结果。
10. 根据权利要求9所述的方法，其特征在于：在所述获取所述透视图像的感兴趣区域的步骤中，采用空气亮度阈值的方法，用空气值对所述透视图像进行二值化，只对阈值之下的图像部分进行香烟检测。
11. 根据权利要求1或2所述的方法，其特征在于：在所述利用香烟模型进行自动检测的步骤中，给定要检测的图像，经过归一化和获取感兴趣区域，生成感兴趣区域的HOG特征；用滑动窗口遍历，求它在三种模式下，每个窗口中的最大置信度；置信度大于特定阈值处即为香烟位置。
12. 根据权利要求1或2所述的方法，其特征在于：在多个尺度上检测香烟。
13. 一种自动检测香烟的设备，所述设备由数字放射摄影装置和图像处理装置构成，所述图像处理装置能够执行如权利要求1-12任一项所述的自动检测香烟的方法。
14. 根据权利要求13所述的设备，其用于自动检测香烟走私。
CN201310546289.2A 2013-11-07 2013-11-07 自动检测香烟的方法 Active CN104636707B (zh)

Priority Applications (8)

Application Number Priority Date Filing Date Title
CN201310546289.2A CN104636707B (zh) 2013-11-07 2013-11-07 自动检测香烟的方法
KR1020187008606A KR20180035930A (ko) 2013-11-07 2014-11-07 검출 방법 및 그 설비
PCT/CN2014/090563 WO2015067208A1 (zh) 2013-11-07 2014-11-07 检查方法和设备
KR1020167015104A KR20160083099A (ko) 2013-11-07 2014-11-07 검출 방법 및 그 설비
JP2016528054A JP6246355B2 (ja) 2013-11-07 2014-11-07 検出方法及びその機器
EP14860336.8A EP3067823A4 (en) 2013-11-07 2014-11-07 Detection method and device
US15/034,021 US10013615B2 (en) 2013-11-07 2014-11-07 Inspection methods and devices
CL2016000960A CL2016000960A1 (es) 2013-11-07 2016-04-21 Método y dispositivo de inspección para detección de cigarrillos.

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310546289.2A CN104636707B (zh) 2013-11-07 2013-11-07 自动检测香烟的方法

Publications (2)

Publication Number Publication Date
CN104636707A true CN104636707A (zh) 2015-05-20
CN104636707B CN104636707B (zh) 2018-03-23

Family

ID=53040922

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310546289.2A Active CN104636707B (zh) 2013-11-07 2013-11-07 自动检测香烟的方法

Country Status (7)

Country Link
US (1) US10013615B2 (zh)
EP (1) EP3067823A4 (zh)
JP (1) JP6246355B2 (zh)
KR (2) KR20160083099A (zh)
CN (1) CN104636707B (zh)
CL (1) CL2016000960A1 (zh)
WO (1) WO2015067208A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107392931A (zh) * 2017-08-08 2017-11-24 南京敏光视觉智能科技有限公司 条烟品牌分类装置及方法
CN108108744A (zh) * 2016-11-25 2018-06-01 同方威视技术股份有限公司 用于辐射图像辅助分析的方法及其系统
CN108303435A (zh) * 2017-01-12 2018-07-20 同方威视技术股份有限公司 检查设备和对集装箱进行检查的方法
CN109829466A (zh) * 2019-01-23 2019-05-31 中国建筑第八工程局有限公司 一种基于机器视觉的吸烟行为人工智能检测方法
CN110837856A (zh) * 2019-10-31 2020-02-25 深圳市商汤科技有限公司 神经网络训练及目标检测方法、装置、设备和存储介质

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10282623B1 (en) * 2015-09-25 2019-05-07 Apple Inc. Depth perception sensor data processing
US10268924B2 (en) 2016-12-05 2019-04-23 Sap Se Systems and methods for integrated cargo inspection
CN108303747B (zh) * 2017-01-12 2023-03-07 清华大学 检查设备和检测枪支的方法
US11058143B2 (en) * 2017-10-19 2021-07-13 R.J. Reynolds Tobacco Company Smoking-related article inspection systems and associated methods
PL3476228T3 (pl) 2017-10-25 2020-11-16 International Tobacco Machinery Poland Sp. Z O.O. Sposób i urządzenie do napełniania pojemników transportowych artykułami prętopodobnymi przemysłu tytoniowego
KR101930062B1 (ko) * 2017-12-27 2019-03-14 클리어라인 주식회사 인공지능기술을 이용한 단계별 자동 교정 시스템
JP6863326B2 (ja) * 2018-03-29 2021-04-21 日本電気株式会社 選別支援装置、選別支援システム、選別支援方法及びプログラム
CN108596820B (zh) * 2018-04-11 2022-04-05 重庆第二师范学院 一种基于信息安全的图像处理系统
CN109410190B (zh) * 2018-10-15 2022-04-29 广东电网有限责任公司 基于高分辨率遥感卫星影像的杆塔倒断检测模型训练方法
CN109446961B (zh) * 2018-10-19 2020-10-30 北京达佳互联信息技术有限公司 姿势检测方法、装置、设备及存储介质
CN112633274A (zh) * 2020-12-21 2021-04-09 中国航天空气动力技术研究院 一种声呐图像目标检测方法、装置、电子设备
CN112819001B (zh) * 2021-03-05 2024-02-23 浙江中烟工业有限责任公司 基于深度学习的复杂场景卷烟烟包识别方法和装置
US20230012871A1 (en) * 2021-07-07 2023-01-19 Nanyang Technological University Methods and Systems for Watermarking Neural Networks
IT202100023954A1 (it) * 2021-09-17 2023-03-17 Gd Spa Apparato assemblatore e metodo di assemblaggio per produrre articoli da fumo multicomponente.
IT202100023942A1 (it) * 2021-09-17 2023-03-17 Gd Spa Metodo e sistema per ispezionare articoli da fumo
IL290416A (en) * 2022-02-07 2023-09-01 Seetrue Screening Ltd Identifying prohibited material hidden in an item using image processing
CN114792369B (zh) * 2022-06-29 2022-09-23 上海启迪睿视智能科技有限公司 基于光投影的烟条盒填充状态检测方法及系统
CN115205432B (zh) * 2022-09-03 2022-11-29 深圳爱莫科技有限公司 一种香烟终端陈列样本图像自动生成的仿真方法与模型
CN115601631B (zh) * 2022-12-15 2023-04-07 深圳爱莫科技有限公司 一种卷烟陈列图像识别方法、系统、设备及储存介质
CN116052062B (zh) * 2023-03-07 2023-06-16 深圳爱莫科技有限公司 一种鲁棒的烟草陈列图像处理方法和装置
CN117830303B (zh) * 2024-03-04 2024-05-28 山东山大鸥玛软件股份有限公司 一种网评图像检测方法、系统、电子设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101606084A (zh) * 2007-02-05 2009-12-16 通用电气公司 检查系统和方法
US20100172561A1 (en) * 2009-01-08 2010-07-08 Omron Corporation Examination method, examination apparatus and examination program
CN101853393A (zh) * 2010-04-22 2010-10-06 深圳市鼎为科技有限公司 机器视觉系统检测算法的自动产生和自动学习方法
US20110110500A1 (en) * 2009-11-10 2011-05-12 Akinori Fujita Radiographic apparatus
CN102483803A (zh) * 2009-05-26 2012-05-30 拉皮斯坎系统股份有限公司 识别特定目标物品的x 射线断层摄影检查系统
CN102608672A (zh) * 2012-02-29 2012-07-25 北京无线电计量测试研究所 人体安检系统可疑物品图像显示装置
CN102608673A (zh) * 2012-02-29 2012-07-25 北京无线电计量测试研究所 人体安检系统可疑物品图像显示方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU5187799A (en) * 1998-08-20 2000-03-14 Csir Inspection of containers
US6195444B1 (en) 1999-01-12 2001-02-27 Analogic Corporation Apparatus and method for detecting concealed objects in computed tomography data
CN1301960A (zh) * 1999-12-29 2001-07-04 李广寅 集装箱中卷烟探测成像装置
GB0128659D0 (en) * 2001-11-30 2002-01-23 Qinetiq Ltd Imaging system and method
US8223919B2 (en) * 2003-04-25 2012-07-17 Rapiscan Systems, Inc. X-ray tomographic inspection systems for the identification of specific target items
US7596247B2 (en) * 2003-11-14 2009-09-29 Fujifilm Corporation Method and apparatus for object recognition using probability models
KR100695136B1 (ko) 2005-01-04 2007-03-14 삼성전자주식회사 영상의 얼굴검출장치 및 방법
WO2006119603A1 (en) * 2005-05-11 2006-11-16 Optosecurity Inc. Method and system for screening luggage items, cargo containers or persons
US7706502B2 (en) * 2007-05-31 2010-04-27 Morpho Detection, Inc. Cargo container inspection system and apparatus
JP4818997B2 (ja) * 2007-06-29 2011-11-16 オリンパス株式会社 顔検出装置及び顔検出プログラム
CN101403711B (zh) * 2007-10-05 2013-06-19 清华大学 液态物品检查方法和设备
JP5707570B2 (ja) * 2010-03-16 2015-04-30 パナソニックＩｐマネジメント株式会社 物体識別装置、物体識別方法、及び、物体識別装置の学習方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101606084A (zh) * 2007-02-05 2009-12-16 通用电气公司 检查系统和方法
US20100172561A1 (en) * 2009-01-08 2010-07-08 Omron Corporation Examination method, examination apparatus and examination program
CN102483803A (zh) * 2009-05-26 2012-05-30 拉皮斯坎系统股份有限公司 识别特定目标物品的x 射线断层摄影检查系统
US20110110500A1 (en) * 2009-11-10 2011-05-12 Akinori Fujita Radiographic apparatus
CN101853393A (zh) * 2010-04-22 2010-10-06 深圳市鼎为科技有限公司 机器视觉系统检测算法的自动产生和自动学习方法
CN102608672A (zh) * 2012-02-29 2012-07-25 北京无线电计量测试研究所 人体安检系统可疑物品图像显示装置
CN102608673A (zh) * 2012-02-29 2012-07-25 北京无线电计量测试研究所 人体安检系统可疑物品图像显示方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108108744A (zh) * 2016-11-25 2018-06-01 同方威视技术股份有限公司 用于辐射图像辅助分析的方法及其系统
CN108108744B (zh) * 2016-11-25 2021-03-02 同方威视技术股份有限公司 用于辐射图像辅助分析的方法及其系统
CN108303435A (zh) * 2017-01-12 2018-07-20 同方威视技术股份有限公司 检查设备和对集装箱进行检查的方法
CN108303435B (zh) * 2017-01-12 2020-09-11 同方威视技术股份有限公司 检查设备和对集装箱进行检查的方法
CN107392931A (zh) * 2017-08-08 2017-11-24 南京敏光视觉智能科技有限公司 条烟品牌分类装置及方法
CN109829466A (zh) * 2019-01-23 2019-05-31 中国建筑第八工程局有限公司 一种基于机器视觉的吸烟行为人工智能检测方法
CN110837856A (zh) * 2019-10-31 2020-02-25 深圳市商汤科技有限公司 神经网络训练及目标检测方法、装置、设备和存储介质

Also Published As

Publication number Publication date
JP2016535888A (ja) 2016-11-17
JP6246355B2 (ja) 2017-12-13
EP3067823A1 (en) 2016-09-14
KR20160083099A (ko) 2016-07-11
WO2015067208A1 (zh) 2015-05-14
KR20180035930A (ko) 2018-04-06
EP3067823A4 (en) 2017-06-14
US10013615B2 (en) 2018-07-03
CL2016000960A1 (es) 2016-10-28
US20160335503A1 (en) 2016-11-17
CN104636707B (zh) 2018-03-23

Similar Documents

Publication Publication Date Title
CN104636707A (zh) 自动检测香烟的方法
Li et al. Automatic pavement crack detection by multi-scale image fusion
CN109522913B (zh) 检查方法和检查设备以及计算机可读介质
Cord et al. Automatic road defect detection by textural pattern recognition based on AdaBoost
CN108303747A (zh) 检查设备和检测枪支的方法
US10042079B2 (en) Image-based object detection and feature extraction from a reconstructed charged particle image of a volume of interest
Jung Detecting building changes from multitemporal aerial stereopairs
CN109409190A (zh) 基于梯度直方图和Canny边缘检测器的行人检测方法
CN108303748A (zh) 检查设备和检测行李物品中的枪支的方法
CN108956526A (zh) 一种被动式太赫兹危险品检测装置、检测方法及其应用
Sun et al. Pavement crack characteristic detection based on sparse representation
Vijayan et al. Crater detection, classification and contextual information extraction in lunar images using a novel algorithm
CN108875805A (zh) 基于深度学习的利用检测识别一体化提高检测精度的方法
Megherbi et al. A classifier based approach for the detection of potential threats in CT based baggage screening
CN109800755A (zh) 一种基于多尺度特征的遥感影像小目标检测方法
CN113111817A (zh) 语义分割的人脸完整度度量方法、系统、设备及存储介质
CN106296708B (zh) 车辆追踪方法和装置
CN105205807B (zh) 基于稀疏自动编码机的遥感图像变化检测方法
CN105654042B (zh) 玻璃温度计的检定温度字符识别方法
WO2017101514A1 (zh) 检查货物的方法、系统和装置
CN109961028A (zh) 基于三维块匹配和全连接条件随机场的sar检测方法
CN106022217A (zh) 无监督多级分类的民用机场跑道区域检测方法
EP3796049A1 (en) Substance identification device and method for extracting statistical feature based on cluster analysis
Varadarajan et al. Weakly Supervised Object Localization on grocery shelves using simple FCN and Synthetic Dataset
CN108303435A (zh) 检查设备和对集装箱进行检查的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant