CN106706677A - 检查货物的方法和系统 - Google Patents

检查货物的方法和系统 Download PDF

Info

Publication number
CN106706677A
CN106706677A CN201510795436.9A CN201510795436A CN106706677A CN 106706677 A CN106706677 A CN 106706677A CN 201510795436 A CN201510795436 A CN 201510795436A CN 106706677 A CN106706677 A CN 106706677A
Authority
CN
China
Prior art keywords
model
hscode
goods
template
characteristic vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510795436.9A
Other languages
English (en)
Other versions
CN106706677B (zh
Inventor
陈志强
张丽
赵自然
刘耀红
程村
李强
顾建平
张健
付罡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nuctech Co Ltd
Original Assignee
Nuctech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nuctech Co Ltd filed Critical Nuctech Co Ltd
Priority to CN201510795436.9A priority Critical patent/CN106706677B/zh
Priority to PCT/CN2016/097575 priority patent/WO2017084408A1/zh
Priority to SG10201607955PA priority patent/SG10201607955PA/en
Priority to EP16191107.8A priority patent/EP3171332B1/en
Priority to PL16191107T priority patent/PL3171332T3/pl
Priority to US15/279,664 priority patent/US10262410B2/en
Priority to JP2016190849A priority patent/JP6632953B2/ja
Priority to BR102016022619A priority patent/BR102016022619A2/pt
Priority to KR1020160126366A priority patent/KR101917000B1/ko
Publication of CN106706677A publication Critical patent/CN106706677A/zh
Application granted granted Critical
Publication of CN106706677B publication Critical patent/CN106706677B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/0008Industrial image inspection checking presence/absence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/018Certifying business or products
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/05Recognition of patterns representing particular kinds of hidden objects, e.g. weapons, explosives, drugs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/22Character recognition characterised by the type of writing
    • G06V30/224Character recognition characterised by the type of writing of printed characters having additional code marks or containing code marks

Abstract

公开了一种检查货物的方法和系统。该方法包括步骤:获得被检查货物的透射图像和HSCODE;对所述透射图像进行处理,得到感兴趣区域;利用所述被检查货物的HSCODE从模型库中检索基于HSCODE所创建的模型;以及基于所述模型判断所述感兴趣区域是否包含有未在报关单中注明的货物。利用上述方案,能够对集装箱货物进行有效的查验,发现其中是否夹带有报关单上未注明的货物。

Description

检查货物的方法和系统
技术领域
本公开涉及辐射成像安全检查领域,特别地,涉及对集装箱的自动检查,以确定是否涉及伪报/瞒报。
背景技术
智能查验是安检领域发展的热点领域。在当前互联网技术深入人心,云计算逐步进入各个行业的条件下,智能安检愈发成为各国海关的焦点问题。安检智能化既可以为客户提供更快速便捷的服务,提高安检效率,也在提高查获率的同时给海关查验人员更有价值的信息,是当前业界厂商提升产品价值的重要途径之一。使用报关单/舱单数据(以下简称为报关单),并通过图像处理、语义理解的方法实现图单对比,并实现伪报、瞒报查验是智能化方案中的一种手段。
但该技术目前仍在发展初期,手段并不成熟,算法或软件系统还难于充分满足用户需求。例如利用报关单信息,采用图像匹配的方式实现报关单对比。但是该技术过于理想化,事实上效果较差,难于适用于透视图像中严重的非刚性形变、透视叠加等情况,也难于应用于大规模类别的实时处理。此外,在大数据推理条件下,使用图像分类算法,可以实现报关单分析比对,它的局限在于对在大规模分类目情况下效果受限。
因此,现有的报关单对比算法效果受到多种因素的制约,例如大规模类目、类目区域差异性、新类目自学习、类内差异大、设备间性能差异、一箱多货与透视重叠下的图像区域区分等。现有技术的方法对此不做分析,难于在实际中满足用户需求。
发明内容
鉴于现有技术中的一个或多个技术问题,本公开提出了一种检查货物的方法和系统。
在本公开的一个方面,提出了一种检查货物的方法,包括步骤:获得被检查货物的透射图像和HSCODE;对所述透射图像进行处理,得到感兴趣区域;利用所述被检查货物的HSCODE从模型库中检索基于HSCODE所创建的模型;以及基于所述模型判断所述感兴趣区域是否包含有未在报关单中注明的货物。
优选地,对所述透射图像进行处理得到感兴趣区域的步骤包括步骤:以所述被检查货物的HSCODE所代表的货物种类作为监督值,对所述透射图像进行有监督的图像分割,得到至少一个分割区,作为感兴趣区域。
优选地,基于所述模型判断所述感兴趣区域是否包含有未在所述报关单中注明的货物的步骤包括:对各个分割区进行特征提取,得到各个分割区的纹理描述,形成特征向量;判断所述模型中包括的各个模板与各个分割区的特征向量之间的相似度是否大于阈值;在至少一个分割区域的特征向量与所述模型的各个模板之间的相似度不大于阈值的情况下确定所述被检查货物中包含了报关单未注明的货物。
优选地,利用所述被检查货物的HSCODE从模型库中检索基于HSCODE所创建的模型的步骤包括:从本地模型库和/或云端模型库中检索所有与所述HSCODE的前预定位相对应的模型。
优选地,对所检索到的模型进行排序,按照所排的顺序判断所述感兴趣区域是否包含有未在报关单中注明的货物,如果有至少一个分割区的特征向量与至少一个模型的模板之间的相似度不大于所述阈值,则确定所述被检查货物中包含了报关单未注明的货物。
优选地,所述的方法还包括步骤:更新本地模型库和/或云端模型库中所有与所述HSCODE的前预定位相对应的模型。
优选地,在图像中的边缘处进行局部区域采样,然后提取采样点的多尺度频域特征,根据所述多尺度频域特征得到特征向量。
优选地,在所述报关单不包括HSCODE的情况下,根据所述报关单记载的货物名称来确定所述货物的HSCODE。
优选地,每个模型中的模板包括特征向量,模板的数量被设为模板数,当模型中模板不够该数量时,新样本的特征向量直接作为模板记录;当模型中模板已达到该数量时,与模型匹配样本的特征向量不作为模板,只增加与其相似度最高的模板的权值,而新样本的特征向量与模型中的模板不匹配时,权重最小的模板被替换为新样本的特征向量。
优选地,所述模型至少包括如下的信息:设备标识、HSCODE标识、模板最大数量、各个模板、各个模板权值、各个模板在历史图像库中的唯一标识、相似度阈值。
在本公开的另一方面,提出了一种检查货物的系统,包括:扫描设备,获得被检查货物的透射图像和HSCODE;数据处理设备,对所述透射图像进行处理,得到感兴趣区域,利用所述被检查货物的HSCODE从模型库中检索基于HSCODE所创建的模型,以及基于所述模型判断所述感兴趣区域是否包含有未在报关单中注明的货物。
利用上述方案,能够发现集装箱货物图像中,与物品申报的报关单数据不一致的区域,从而认为这个区域可能是伪报或瞒报。
附图说明
为了更好的理解本公开,将根据以下附图对本公开的实施例进行描述:
图1A和图1B示出了根据本公开实施例的货物检查系统的结构示意图;
图2是描述根据本公开实施例的货物检查方法的示意性流程图;
图3是描述根据本公开实施例的方案中创建和训练HSCODE模型的方法的示意性流程图;
图4是描述根据本公开实施例的方案中使用创建的模型进行检查的方法的示意性流程图;
图5是描述根据本公开实施例的方案中在线更新所创建的模型的示意性流程图。
附图没有对实施例的所有电路或结构进行显示。贯穿所有附图相同的附图标记表示相同或相似的部件或特征。
具体实施方式
下面将详细描述本公开的具体实施例,应当注意,这里描述的实施例只用于举例说明,并不用于限制本公开。在以下描述中,为了提供对本公开的透彻理解,阐述了大量特定细节。然而,对于本领域普通技术人员显而易见的是:不必采用这些特定细节来实行本公开。在其他实例中,为了避免混淆本公开,未具体描述公知的电路、材料或方法。
在整个说明书中,对“一个实施例”、“实施例”、“一个示例”或“示例”的提及意味着:结合该实施例或示例描述的特定特征、结构或特性被包含在本公开至少一个实施例中。因此,在整个说明书的各个地方出现的短语“在一个实施例中”、“在实施例中”、“一个示例”或“示例”不一定都指同一实施例或示例。此外,可以以任何适当的组合和/或子组合将特定的特征、结构或特性组合在一个或多个实施例或示例中。此外,本领域普通技术人员应当理解,在此提供的附图都是为了说明的目的,并且附图不一定是按比例绘制的。这里使用的术语“和/或”包括一个或多个相关列出的项目的任何和所有组合。
图1A和图1B是根据本公开一个实施方式的检查系统的结构示意图。图1A示出了检查系统的俯视示意图,图1B示出了检查系统的正视示意图。如图1A和图1B所示,射线源110产生X射线,经过准直器120准直后,对移动的集装箱卡车140进行安全检查,由探测器150接收穿透卡车的射线,在诸如计算机之类的数据处理装置160得到透射图像。
根据本公开的实施例,在通过扫描得到集装箱卡车140的透射图像后,在数据处理装置160对透射图像进行处理,得到感兴趣区域,利用被检查货物的HSCODE从模型库中检索基于HSCODE所创建的模型,以及基于所述模型判断所述感兴趣区域是否包含有未在报关单中注明的货物。这样,能够自动检查集装箱货物中是否存在伪报/瞒报问题。
本公开提出使用国际海关理事会制定的HSCODE(TheHarmonization System中Code)作为货物的唯一标识进行比对,即对每个HSCODE建立模型,模型中包含可描述该HSCODE对应的货物图像特征的特征空间。在一些实施例中,针对类目为多级层次性结构问题,采用各级分别建模,比对时逐级匹配的策略。比如世界通用的HSCODE为6位编码,后面的位数由各个国家自己定义。2013年中国海关进出口货物常见的HSCODE中,二级(8位)编码6341种,三级(10位)编码6735种,总共13076个编码。为满足通用性,模型分三层即6位/8位/10位建立。假设物品为10位编码“0123456789”,则匹配策略可以是:分别与6位模型“012345”、8为模型“012345678”、10位模型“0123456789”求匹配,以克服大规模类目、类目区域差异性、类内差异大的问题。
图2是描述根据本公开实施例的货物检查方法的示意性流程图。如图2所示,在步骤S21,获得被检查货物的透射图像和HSCODE。例如利用如图1A和图1B所示的扫描设备获得被检查集装箱的透射图像,并且从报关单取得获取的HSCODE。在报关单中没有包含HSCODE的情况下,利用货物的名称确定相应的HSCODE。
在步骤S22,对所述透射图像进行处理,得到感兴趣区域。例如,为提取货物区域,并尽量减少设备物理特性不一致对图像造成的影响。首先,通过去除本底与空气带来的衰减、去除行/列条纹等图像处理操作,实现归一化。其次,通过二值化、边缘提取、集装箱边缘检测等操作,得到货物区域。
在步骤S23,利用所述被检查货物的HSCODE从模型库中检索基于HSCODE所创建的模型。在步骤S24,基于所述模型判断所述感兴趣区域是否包含有未在报关单中注明的货物。
本公开提出建立设备端模型(本地模型)与云端模型克服设备间的差异问题。云端模型来源于计算中心,在线更新并保持最完备的HSCODE类目,但它将设备差别进行归一化,准确率较本地模型差。本地模型在设备端积累足够量的历史图像后,在设备端产生,更符合该设备情况,但HSCODE类目少于云端。对于一个新设备,本身不具备本地模型,只能使用云端模型。在积累足够图像并训练产生设备模型后,自动选择本地模型而不是云端模型进行比对。注意,云端模型并不必须在线使用。它可以是离线或者采用定时同步的模式。
此外,对于待分析的图像,在得到用户指示后,将其特征更新到本地模型及云端模型,从而实现自学习功能。这个更新可能是新生成相应的HSCODE模型,也可能是对当前模型的修改。
一箱多货的问题是当前技术条件下难以完全解决的难题,只能在一定程度上得到比较可行的结果。准确的说,它是受到设备不一致性影响的,在报关单数据监督下的多义性复杂分割问题。比如,不同的设备下,报关单的数据形式给出了多个监督值(比如货物有多少种,每种类型与单位重量等),图像上的每个像素可能属于多个货物等。复杂性还体现在,上述因素出现的形式可能不一致,且并不准确。针对上述问题,可以采用有监督的纹理图像分割算法来解决。
针对现有技术中的问题,本公开的技术方案提出以HSCODE为基准实现报关单对比,HSCODE模型具有层次结构,并可以采用本地/云端双模型策略。此外,可以采用有监督的纹理图像分割和区域纹理描述实现特征提取,以特征之间的距离作为相似度度量。也可以以最大差异化原则更新HSCODE模型,实现系统自学习功能。
以HSCODE为基准实现报关单对比。对于每个HSCODE建立各自的模型,从HSCODE的角度说,模型分为6位/8位/10位层次结构,从设备角度说,模型分为本地模型和云端模型。需要注意的是HSCODE对于报关单对比来说并非必要。比如报关单可能只有货物名称而没有编号,那么一般的方法可以是名称解析、文本检索得到相应的历史图像,在历史图像中实现比对。优选的,对于不具备编码的报关单,通过货物名称与HSCODE的映射得到HSCODE,从而找到对应的模型。为减小设备不一致性带来的影响,训练设备相关的本地模型。在不具备本地模型的情况下,使用设备无关的云端模型。云端模型持续更新,保持最多模型量。本地模型与云端模型无关,可以完全相同,也可以采用不同算法。
使用HSCODE货物种类作为监督值,进行有监督的图像分割,并在每个分割区域获取区域纹理描述,即特征向量。HSCODE模型中保存多个历史图像的特征向量。特征向量之间的距离即为相似度。优选的,未知样本特征与模型中多个向量(即模板)中最大相似度即为样本与该HSCODE的相似度。注意,货物图像区域区分方式、特征提取方式有多种方法可以选择,比如采用图像列聚类的方式划分区域,采用图像特征patch及其统计量形成特征等。
上述模型可以具备自学习功能,包括在线的建立与更新。本公开采用最大差异化原则更新HSCODE模型。为了使得模型可控且减小样本量不一致带来的影响,每个模型中的特征被称为“模板”,模板的数量被设为统一的“模板数”。当模型中模板不够该数量时,新样本的特征直接作为模板记录;当模型中模板已达到该数量时,与模型匹配样本不作为模板,只增加与其相似度最高的模板的权值,而新样本与模型不匹配时,权重最小的模板将被替换为新样本特征。由此,HSCODE中的模板将形成差异最大的一组模板,支撑该模型特征空间。注意,最大差异化原则可以采用多种在线学习方法实现。
该技术方案在具体实现时,涉及到训练、使用、在线更新三个环节。训练环节分为3个步骤:图像归一化与有效货物区域获取;有效区域特征提取;建立HSCODE模型。使用分5个步骤:图像归一化与有效货物区域获取;有监督的图像分割;模型载入;区域特征提取;特征与模型匹配。在线更新是在确认样本符合报关单的情况下,创建新模型或更新已有模型。
图3是描述根据本公开实施例的方案中创建和训练HSCODE模型的方法的示意性流程图。如图3所示,在步骤S31,获得样本图像,然后在步骤S32进行图像归一化与有效货物区域获取。为了提取货物区域并减少设备物理特性不一致对图像造成的影响,可以首先,通过去除本底与空气带来的衰减、去除行/列条纹等图像处理操作,实现归一化,其次,通过二值化、边缘提取、集装箱边缘检测等操作,得到货物区域。
在步骤S33,进行有效区域特征提取。优选的,可以选择纹理统计特征,特别是基于边缘采样的纹理统计特征来描述一个区域。例如:i)为突出边缘信息,在图像中的边缘处进行局部区域采样;ii)为突出纹理特性,本公开采用texton提取采样点的多尺度频域特征;iii)为有效描述这些纹理特征的统计特性,采用fisher vector得到最终的特征向量。本领域的技术人员易于想到该算法的多种替代形式,比如使用各类角点检测方法如HARRIS等代替边缘采样,或使用SIFT、HOG等描述子代替texton,或使用bag of words的其它形式比如SCSPM(Sparse Coding Spatial Pyramid Matching),或者采用DeepLearning方式如R-CNN(Regions with CNN features)得到特征向量。
需要注意的是,训练环节中的特征提取与其他环节不同,首先提取图像库中图像的所有texton特征,再根据所有texton训练FisherVector所需要的概率字典模型。在得到概率字典模型后,再将各个图像的texton转化为Fisher Vector。对于使用和更新环节,概率字典模型已知,输入图像或区域可以直接得到Fisher Vector特征。由于FisherVector为公知算法,此处不再赘述。
另外,训练一般模式为大量数据批处理。为保证模型准确性,这些数据中,仅有被认为是“无嫌疑”且只含一种货物,即HSCODE只有一个的货物图像进入训练环节。否则,需要人工标注属于各个HSCODE的区域位置才能确保训练样本的正确性。
在步骤S34,取得与输入的图像相对应的报关单。在步骤S35,建立HSCODE模型。HSCODE模型分为本地模型和云端模型。云端模型根据大量历史图像训练,并提供用户使用。以本地文件形式,内置于不含历史图像的新产品中。本地模型在用户积累较大量图像(例如大于2万幅)后离线训练。云端模型采用实时和离线两种更新方式,保持最大量的模型集合。本地模型更新时,同时更新云端模型。在本地模型与云端模型同时存在时,优先匹配本地模型。也可以配置为本地模型存在/模板足够时,仅使用于本地模型。
HSCODE模型分为6位/8位/10位层次结构。优先匹配位数多的模型,即优先级10位>8位>6位。上述“优先匹配”意为:如一个区域匹配到10位模型A和8位模型B,则认为区域属于模型A。
HSCODE模型的形式与特征提取算法有关。在本公开的实施例中,HSCODE模型由7个要素组成,即{设备号,HSCODE标识,模板最大数量,各个模板,各个模板权值,各个模板在历史图像库中的唯一标识,相似度阈值}。各个元素的含义见下文。
设备号:表明此模型属于哪个设备。如果是云端模型,则标识为“CLOUD”。
HSCODE标识:HSCODE编码,可以是6/8/10位。
模板最大数量:这个值是所有模型一致的,但不同的设备可以配置本地模型的模板最大数量。这个值越大,货物的不一致性描述越好,但也会降低查准率。在实际应用中,10~20的取值即可得到较好效果。
各个模板:即与HSCODE对应的货物区域纹理统计特征,本实施例中即为Fisher Vector。其数量最大为“模板最大数量”,维数由FisherVector概率字典模型确定。
各个模板权值:每个模板都有一个权值,这些权值的和为1。权值越大,则该模板越能代表HSCODE。权值越小,越可能被新样本特征代替。
各个模板在历史图像库中的唯一标识:各个模板都来源于真实的图像,在将其特征记录在模型中时,同时记录其唯一标识比如流水号,舱单号等。应用软件可以凭此标识找到对应的历史图像。
相似度阈值:特征与模板的距离大于等于此阈值,则说明匹配,否则为不匹配。这个值可以有3个来源:默认值,用户设定值,自适应阈值。自适应阈值是在初始化之后,随着模型的更新调整的,实施例见下文。
在步骤S33得到各个已知HSCODE的Fisher Vector特征后,如果特征数量少于既定的模板最大数量,则特征赋予同样的权值,与其他必要信息同时记录在HSCODE模型中。如果特征数量大于既定模板最大数量,可采用多种方式形成样本空间。
图4是描述根据本公开实施例的方案中使用创建的模型进行检查的方法的示意性流程图。
如图4所示,在步骤S41,输入被检查货物的图像。例如利用扫描设备获得被检查货物的透射图像,然后在步骤S42,进行图像归一化与有效货物区域提取。例如,为提取货物区域,并减少设备物理特性不一致对图像造成的影响。首先,通过去除本底与空气带来的衰减、去除行/列条纹等图像处理操作,实现归一化。其次,通过二值化、边缘提取、集装箱边缘检测等操作,得到货物区域。
在步骤S43,取得图像相对应的报关单,然后在步骤S44进行有监督的图像分割。与一般图像分割的区别在于,报关单给定了货物种类数,即理想图像中的类别编号应该不超过货物种类。由此,可采用有监督的图像分割算法得到不同货物的区域。在一些实施例中,采用纹理分割方法实现货物图像分割。
在步骤S45,进行有效区域特征提取。该步骤与上述图3中的步骤S33类似,因此这里不再重复描述。在步骤S46,进行模型载入。例如,根据HSCODE载入相应模型。由于HSCODE存在不同设备下的层级结构,可以有多种方式选择载入的模型。比如可以是“最大载入模式”,即载入本地模型、云端模型中所有匹配该号码前6、8、10位的模型,也可以是“最小载入模式”,仅载入本地模型中HSCODE号码完全匹配的模型。在一些实施例中,将同一HSCODE下载入的模型按照优先级排列。
在步骤S47,进行特征与模型匹配。例如,在求得未知区域的Fisher Vector特征后,使用余弦距离度量特征和模板之间的距离,余弦距离值越大则相似度越大。本实施采用模型中各个模板与待匹配特征间最大相似度作为模板与模型间的相似度。
由于在步骤S46中模型按照优先级排列,在此步骤中遇到匹配模型及停止计算。注意,此步骤中,可获得“相似度矩阵”,即以未知区域数为行、以HSCODE数为列的数值矩阵。一方面,一个区域可能匹配到多个HSCODE;另一方面,一个HSCODE也可能匹配到多个区域。这是透视图像本身的多义性决定的,同时与分割、相似度度量等算法的性能有关。
若一个区域无法与任何一个已载入的模型匹配,则它为伪报或者瞒报。
另外,本实施例中HSCODE模型记录了“模板在历史图像库中的唯一标识”,作为匹配结果传递给应用程序。通过此标识,可以找到图像区域与历史图像中最相近的图像。
图5是描述根据本公开实施例的方案中在线更新所创建的模型的示意性流程图。更新环节实质上是模型的在线学习过程,可采用多种在线聚类算法实现,如在线K均值算法等。
如图5所示,在步骤S501,获得区域HSCODE。例如,在线更新的输入为HSCODE和图像区域。在步骤S502,进行模型载入。更新也可以有多种策略,比如可以是“最大更新模式”,即更新本地模型、云端模型中所有匹配该号码前6、8、10位的模型,也可以是“最小更新模式”,仅更新本地模型中HSCODE号码完全匹配的模型。
在步骤S501和S502,获得图像区域的HSCODE并进行模型载入。在步骤S505和S506,获得有效货物区域并对该区域进行特征提取。在步骤S503,如果模型中的模板数不够既定值,则在步骤S504直接将特征添加为模板。如果模板数已达最大值,则在步骤S507进行匹配步骤。若匹配,在步骤S508增大被匹配的模板权值;若不匹配,则在步骤S509用该特征替换掉最小权值模板。之后在步骤S510归一化权值,在步骤S511保存各个模型。
需要注意的是,模型不存在的情况是更新中的特例,此时产生新模型,其中仅包含1个特征,其权值为1。
另外,更新环节还会涉及到阈值的自适应调节。更新时若经过匹配步骤,则其中所有匹配值将以直方图形式记录。这个直方图内容为所有正确匹配的分数分布。假设默认的风险布控指数为5%货物需要人工查验,则阈值自适应的调整到分数分布累积量达5%的位置,从而实现风险布控指导下的阈值自适应调整。
以上的详细描述通过使用示意图、流程图和/或示例,已经阐述了检查方法和系统的众多实施例。在这种示意图、流程图和/或示例包含一个或多个功能和/或操作的情况下,本领域技术人员应理解,这种示意图、流程图或示例中的每一功能和/或操作可以通过各种结构、硬件、软件、固件或实质上它们的任意组合来单独和/或共同实现。在一个实施例中,本公开的实施例所述主题的若干部分可以通过专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、或其他集成格式来实现。然而,本领域技术人员应认识到,这里所公开的实施例的一些方面在整体上或部分地可以等同地实现在集成电路中,实现为在一台或多台计算机上运行的一个或多个计算机程序(例如,实现为在一台或多台计算机系统上运行的一个或多个程序),实现为在一个或多个处理器上运行的一个或多个程序(例如,实现为在一个或多个微处理器上运行的一个或多个程序),实现为固件,或者实质上实现为上述方式的任意组合,并且本领域技术人员根据本公开,将具备设计电路和/或写入软件和/或固件代码的能力。此外,本领域技术人员将认识到,本公开所述主题的机制能够作为多种形式的程序产品进行分发,并且无论实际用来执行分发的信号承载介质的具体类型如何,本公开所述主题的示例性实施例均适用。信号承载介质的示例包括但不限于:可记录型介质,如软盘、硬盘驱动器、紧致盘(CD)、数字通用盘(DVD)、数字磁带、计算机存储器等;以及传输型介质,如数字和/或模拟通信介质(例如,光纤光缆、波导、有线通信链路、无线通信链路等)。
虽然已参照几个典型实施例描述了本公开,但应当理解,所用的术语是说明和示例性、而非限制性的术语。由于本公开能够以多种形式具体实施而不脱离公开的精神或实质,所以应当理解,上述实施例不限于任何前述的细节,而应在随附权利要求所限定的精神和范围内广泛地解释,因此落入权利要求或其等效范围内的全部变化和改型都应为随附权利要求所涵盖。

Claims (11)

1.一种检查货物的方法,包括步骤:
获得被检查货物的透射图像和HSCODE;
对所述透射图像进行处理,得到感兴趣区域;
利用所述被检查货物的HSCODE从模型库中检索基于HSCODE所创建的模型;以及
基于所述模型判断所述感兴趣区域是否包含有未在报关单中注明的货物。
2.如权利要求1所述的方法,对所述透射图像进行处理,得到感兴趣区域的步骤包括步骤:
以所述被检查货物的HSCODE所代表的货物种类作为监督值,对所述透射图像进行有监督的图像分割,得到至少一个分割区,作为感兴趣区域。
3.如权利要求2所述的方法,其中基于所述模型判断所述感兴趣区域是否包含有未在所述报关单中注明的货物的步骤包括:
对各个分割区进行特征提取,得到各个分割区的纹理描述,形成特征向量;
判断所述模型中包括的各个模板与各个分割区的特征向量之间的相似度是否大于阈值;
在至少一个分割区域的特征向量与所述模型的各个模板之间的相似度不大于阈值的情况下确定所述被检查货物中包含了报关单未注明的货物。
4.如权利要求3所述的方法,其中利用所述被检查货物的HSCODE从模型库中检索基于HSCODE所创建的模型的步骤包括:
从本地模型库和/或云端模型库中检索所有与所述HSCODE的前预定位相对应的模型。
5.如权利要求4所述的方法,其中对所检索到的模型进行排序,按照所排的顺序判断所述感兴趣区域是否包含有未在报关单中注明的货物,如果有至少一个分割区的特征向量与至少一个模型的模板之间的相似度不大于所述阈值,则确定所述被检查货物中包含了报关单未注明的货物。
6.如权利要求3所述的方法,还包括步骤:
更新本地模型库和/或云端模型库中所有与所述HSCODE的前预定位相对应的模型。
7.如权利要求3所述的方法,其中,在图像中的边缘处进行局部区域采样,然后提取采样点的多尺度频域特征,根据所述多尺度频域特征得到特征向量。
8.如权利要求1所述的方法,其中,在所述报关单不包括HSCODE的情况下,根据所述报关单记载的货物名称来确定所述货物的HSCODE。
9.如权利要求1所述的方法,其中每个模型中的模板包括特征向量,模板的数量被设为模板数,当模型中模板不够该数量时,新样本的特征向量直接作为模板记录;当模型中模板已达到该数量时,与模型匹配样本的特征向量不作为模板,只增加与其相似度最高的模板的权值,而新样本的特征向量与模型中的模板不匹配时,权重最小的模板被替换为新样本的特征向量。
10.如权利要求1所述的方法,其中,所述模型至少包括如下的信息:设备标识、HSCODE标识、模板最大数量、各个模板、各个模板权值、各个模板在历史图像库中的唯一标识、相似度阈值。
11.一种检查货物的系统,包括:
扫描设备,获得被检查货物的透射图像和HSCODE;
数据处理设备,对所述透射图像进行处理,得到感兴趣区域,利用所述被检查货物的HSCODE从模型库中检索基于HSCODE所创建的模型,以及基于所述模型判断所述感兴趣区域是否包含有未在报关单中注明的货物。
CN201510795436.9A 2015-11-18 2015-11-18 检查货物的方法和系统 Active CN106706677B (zh)

Priority Applications (9)

Application Number Priority Date Filing Date Title
CN201510795436.9A CN106706677B (zh) 2015-11-18 2015-11-18 检查货物的方法和系统
PCT/CN2016/097575 WO2017084408A1 (zh) 2015-11-18 2016-08-31 检查货物的方法和系统
SG10201607955PA SG10201607955PA (en) 2015-11-18 2016-09-23 Methods and systems for inspecting goods
PL16191107T PL3171332T3 (pl) 2015-11-18 2016-09-28 Sposoby i systemy do kontroli towarów
EP16191107.8A EP3171332B1 (en) 2015-11-18 2016-09-28 Methods and systems for inspecting goods
US15/279,664 US10262410B2 (en) 2015-11-18 2016-09-29 Methods and systems for inspecting goods
JP2016190849A JP6632953B2 (ja) 2015-11-18 2016-09-29 貨物の検査方法及びそのシステム
BR102016022619A BR102016022619A2 (pt) 2015-11-18 2016-09-29 métodos e sistemas para inspecionar mercadorias
KR1020160126366A KR101917000B1 (ko) 2015-11-18 2016-09-30 화물을 검사하는 방법 및 그 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510795436.9A CN106706677B (zh) 2015-11-18 2015-11-18 检查货物的方法和系统

Publications (2)

Publication Number Publication Date
CN106706677A true CN106706677A (zh) 2017-05-24
CN106706677B CN106706677B (zh) 2019-09-03

Family

ID=57280942

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510795436.9A Active CN106706677B (zh) 2015-11-18 2015-11-18 检查货物的方法和系统

Country Status (9)

Country Link
US (1) US10262410B2 (zh)
EP (1) EP3171332B1 (zh)
JP (1) JP6632953B2 (zh)
KR (1) KR101917000B1 (zh)
CN (1) CN106706677B (zh)
BR (1) BR102016022619A2 (zh)
PL (1) PL3171332T3 (zh)
SG (1) SG10201607955PA (zh)
WO (1) WO2017084408A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019052561A1 (zh) * 2017-09-18 2019-03-21 同方威视技术股份有限公司 检查方法和检查设备以及计算机可读介质
CN111461152A (zh) * 2019-01-21 2020-07-28 同方威视技术股份有限公司 货物检测方法及装置、电子设备和计算机可读介质

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10402697B2 (en) * 2016-08-01 2019-09-03 Nvidia Corporation Fusing multilayer and multimodal deep neural networks for video classification
CN108108744B (zh) * 2016-11-25 2021-03-02 同方威视技术股份有限公司 用于辐射图像辅助分析的方法及其系统
US10417602B2 (en) * 2017-04-18 2019-09-17 International Bridge, Inc. Item shipping screening and validation
WO2018217635A1 (en) 2017-05-20 2018-11-29 Google Llc Application development platform and software development kits that provide comprehensive machine learning services
KR101969022B1 (ko) * 2017-12-29 2019-04-15 (주)제이엘케이인스펙션 영상 분석 장치 및 방법
JP6863326B2 (ja) * 2018-03-29 2021-04-21 日本電気株式会社 選別支援装置、選別支援システム、選別支援方法及びプログラム
EP3752962A1 (en) * 2018-05-07 2020-12-23 Google LLC Application development platform and software development kits that provide comprehensive machine learning services
CN109002841B (zh) * 2018-06-27 2021-11-12 淮阴工学院 一种基于Faster-RCNN模型的建筑构件提取方法
WO2020075307A1 (ja) * 2018-10-12 2020-04-16 日本電気株式会社 ゲート装置、ゲート装置の制御方法及び記録媒体
KR102032796B1 (ko) * 2018-12-07 2019-11-08 (주)제이엘케이인스펙션 영상 분석 장치 및 방법
CN111382635B (zh) * 2018-12-29 2023-10-13 杭州海康威视数字技术股份有限公司 一种商品类别识别方法、装置及电子设备
CN110706263B (zh) * 2019-09-30 2023-06-06 武汉工程大学 一种图像处理方法、装置、设备和计算机可读存储介质
US10854055B1 (en) 2019-10-17 2020-12-01 The Travelers Indemnity Company Systems and methods for artificial intelligence (AI) theft prevention and recovery
KR102300796B1 (ko) 2020-02-03 2021-09-13 한국과학기술연구원 이미지 변환 모델을 사용한 x-ray 이미지 판독 지원 방법 및 이를 수행하는 시스템
CN113407753A (zh) * 2020-03-16 2021-09-17 清华大学 基于语义的透视图像检索方法及其装置
KR102473165B1 (ko) 2020-07-30 2022-12-01 한국과학기술연구원 3d 환경 모델을 이용하여 피사체의 실제 크기를 측정 가능한 cctv 관제 시스템
KR102378742B1 (ko) 2020-07-30 2022-03-28 한국과학기술연구원 사용자의 x-ray 영상 판독을 지원하는 시스템 및 방법
USD980454S1 (en) * 2020-09-23 2023-03-07 Mighty Buildings, Inc. Studio building
CN112288371A (zh) * 2020-11-03 2021-01-29 深圳壹账通智能科技有限公司 通关检验方法、装置、电子设备及计算机可读存储介质
KR102426750B1 (ko) * 2020-12-02 2022-07-28 소프트온넷(주) X-ray 영상 다중 판독 시스템 및 그 방법
US11892418B1 (en) * 2021-06-30 2024-02-06 Amazon Technologies, Inc. Container image inspection and optimization
CN117495861A (zh) * 2024-01-02 2024-02-02 同方威视科技江苏有限公司 安检图像查验方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1650306A (zh) * 2002-04-30 2005-08-03 本田技研工业株式会社 支持关税代码选择的系统和方法
CN103917862A (zh) * 2011-09-07 2014-07-09 拉皮斯坎系统股份有限公司 整合舱单数据和成像/检测处理的x射线检查系统
CN104751163A (zh) * 2013-12-27 2015-07-01 同方威视技术股份有限公司 对货物进行自动分类识别的透视检查系统和方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6463419B1 (en) * 2000-03-07 2002-10-08 Chartering Solutions Internet system for exchanging and organizing vessel transport information
JP3725838B2 (ja) 2002-04-30 2005-12-14 本田技研工業株式会社 関税コードの選択支援システム
CN100422769C (zh) * 2003-11-24 2008-10-01 护照系统公司 利用核共振荧光成像的自适应材料扫描
CA2611985C (en) * 2005-06-17 2016-08-16 The University Of North Carolina At Chapel Hill Nanoparticle fabrication methods, systems, and materials
CN101473439B (zh) * 2006-04-17 2013-03-27 全视技术有限公司 阵列成像系统及相关方法
US20080231454A1 (en) * 2007-03-23 2008-09-25 Diamond Arrow Communications L.L.C. Cargo Container Monitoring Device
CN101435783B (zh) * 2007-11-15 2011-01-26 同方威视技术股份有限公司 物质识别方法和设备
MX2010005223A (es) * 2007-11-19 2010-06-03 American Science & Eng Inc Recoleccion y sintesis de imagenes multiples para reconocimiento de personal.
EP2459990A4 (en) * 2009-07-31 2017-08-09 Optosecurity Inc. Method and system for identifying a liquid product in luggage or other receptacle
WO2011038441A1 (de) * 2009-10-02 2011-04-07 Tgw Logistics Group Gmbh Fördereinrichtung und verfahren zum betrieb einer fördereinrichtung
KR101180471B1 (ko) 2011-09-27 2012-09-07 (주)올라웍스 한정된 메모리 환경 하에서 얼굴 인식 성능 향상을 위한 참조 얼굴 데이터베이스 관리 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
CN105784732B (zh) * 2014-12-26 2019-02-22 同方威视技术股份有限公司 检查方法和检查系统
CN105808555B (zh) * 2014-12-30 2019-07-26 清华大学 检查货物的方法和系统
GB2564038B (en) * 2016-02-22 2021-11-10 Rapiscan Systems Inc Systems and methods for detecting threats and contraband in cargo
US10115211B2 (en) * 2016-03-25 2018-10-30 L3 Security & Detection Systems, Inc. Systems and methods for reconstructing projection images from computed tomography volumes
CN108108744B (zh) * 2016-11-25 2021-03-02 同方威视技术股份有限公司 用于辐射图像辅助分析的方法及其系统
US10268924B2 (en) * 2016-12-05 2019-04-23 Sap Se Systems and methods for integrated cargo inspection

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1650306A (zh) * 2002-04-30 2005-08-03 本田技研工业株式会社 支持关税代码选择的系统和方法
CN103917862A (zh) * 2011-09-07 2014-07-09 拉皮斯坎系统股份有限公司 整合舱单数据和成像/检测处理的x射线检查系统
CN104751163A (zh) * 2013-12-27 2015-07-01 同方威视技术股份有限公司 对货物进行自动分类识别的透视检查系统和方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JAROSLAW TUSZYNSKI ET AL: "A method for automatic manifest verification of container cargo using radiography images", 《J TRANSP SECUR》 *
JIAN ZHANG ET AL: "Joint Shape and Texture Based X-Ray Cargo Image Classification", 《CVF》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019052561A1 (zh) * 2017-09-18 2019-03-21 同方威视技术股份有限公司 检查方法和检查设备以及计算机可读介质
KR20200003011A (ko) * 2017-09-18 2020-01-08 눅테크 컴퍼니 리미티드 검사 방법과 검사 장비 및 컴퓨터 판독 가능한 매체
KR102240058B1 (ko) 2017-09-18 2021-04-15 눅테크 컴퍼니 리미티드 검사 방법과 검사 장비 및 컴퓨터 판독 가능한 매체
CN111461152A (zh) * 2019-01-21 2020-07-28 同方威视技术股份有限公司 货物检测方法及装置、电子设备和计算机可读介质
CN111461152B (zh) * 2019-01-21 2024-04-05 同方威视技术股份有限公司 货物检测方法及装置、电子设备和计算机可读介质

Also Published As

Publication number Publication date
EP3171332B1 (en) 2019-01-30
KR101917000B1 (ko) 2018-11-08
US10262410B2 (en) 2019-04-16
JP2017097853A (ja) 2017-06-01
US20170140526A1 (en) 2017-05-18
EP3171332A1 (en) 2017-05-24
WO2017084408A1 (zh) 2017-05-26
PL3171332T3 (pl) 2019-07-31
SG10201607955PA (en) 2017-06-29
BR102016022619A2 (pt) 2017-05-23
JP6632953B2 (ja) 2020-01-22
CN106706677B (zh) 2019-09-03
KR20170058263A (ko) 2017-05-26

Similar Documents

Publication Publication Date Title
CN106706677A (zh) 检查货物的方法和系统
Zhang et al. Unified approach to pavement crack and sealed crack detection using preclassification based on transfer learning
Li et al. Automatic pixel‐level multiple damage detection of concrete structure using fully convolutional network
CN109615014A (zh) 一种基于kl散度优化的数据分类系统与方法
CN106462746A (zh) 分析数字全息显微术数据以用于血液学应用
CN108399431A (zh) 分类模型训练方法以及分类方法
CN104992223A (zh) 基于深度学习的密集人数估计方法
Zhang et al. A GANs-based deep learning framework for automatic subsurface object recognition from ground penetrating radar data
Gwo et al. Plant identification through images: Using feature extraction of key points on leaf contours1
CN104517120B (zh) 基于多路分层正交匹配的遥感图像场景分类方法
CN112132014B (zh) 基于非督导金字塔相似性学习的目标重识别方法及系统
Nair et al. Shadow detection and removal from images using machine learning and morphological operations
Zhu et al. Identifying carrot appearance quality by an improved dense CapNet
Tan et al. Surface defect identification of Citrus based on KF-2D-Renyi and ABC-SVM
Yu et al. Exemplar-based recursive instance segmentation with application to plant image analysis
Sivaranjani et al. Real-time identification of medicinal plants using machine learning techniques
Iqbal et al. Mitochondrial organelle movement classification (fission and fusion) via convolutional neural network approach
Moate et al. Vehicle detection in infrared imagery using neural networks with synthetic training data
KR20200101521A (ko) 시멘틱 매칭 장치 및 방법
JP2009281742A (ja) 判別方法、判別装置及びプログラム
CN115187127B (zh) 基于空间分析的详细规划分级管理智能检测方法
Huang et al. Fast location and segmentation of high‐throughput damaged soybean seeds with invertible neural networks
CN113256304B (zh) 一种校园卡异常使用行为在线预警方法及系统
CN115187884A (zh) 一种高空抛物识别方法、装置、电子设备及存储介质
Tong et al. Optimal gabor filtering for the inspection of striped fabric

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant