CN111461152B - 货物检测方法及装置、电子设备和计算机可读介质 - Google Patents
货物检测方法及装置、电子设备和计算机可读介质 Download PDFInfo
- Publication number
- CN111461152B CN111461152B CN201910053206.3A CN201910053206A CN111461152B CN 111461152 B CN111461152 B CN 111461152B CN 201910053206 A CN201910053206 A CN 201910053206A CN 111461152 B CN111461152 B CN 111461152B
- Authority
- CN
- China
- Prior art keywords
- cargo
- image
- image block
- blocks
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 37
- 230000005855 radiation Effects 0.000 claims abstract description 41
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 31
- 238000003384 imaging method Methods 0.000 claims abstract description 16
- 238000005516 engineering process Methods 0.000 claims abstract description 5
- 238000000034 method Methods 0.000 claims description 73
- 238000012549 training Methods 0.000 claims description 29
- 238000003064 k means clustering Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 6
- 206010011971 Decreased interest Diseases 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 abstract description 3
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 19
- 238000007689 inspection Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 14
- 230000008569 process Effects 0.000 description 12
- 238000013135 deep learning Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 241000220225 Malus Species 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 235000021016 apples Nutrition 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000003252 repetitive effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000002601 radiography Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Evolutionary Biology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本公开涉及人工智能神经网络领域，提供了一种货物检测方法、装置以及电子设备和计算机可读介质，该货物检测方法包括：通过辐射成像技术获取集装箱车厢图像，基于所述集装箱车厢图像确定货物图像块；将所述货物图像块输入基于卷积神经网络训练的特征提取器以提取所述货物图像块的图像特征；将所述货物图像块的图像特征与所述特征提取器提取的对比货物的特征库作比较以确定所述集装箱车厢图像中的货物类别与所述对比货物类别的一致性。采用本公开提供的货物检测方法，可以快速、有效的确认集装箱车厢中货物类别与对比货物类别是否一致。
Description
技术领域
本公开涉及人工智能神经网络领域，尤其涉及一种货物检测方法及装置、电子设备和计算机可读介质。
背景技术
在海关检查中，通常需要检测集装箱中是否夹藏着危险品、违禁品以及检查集装箱中所装货物与申报不符的情况。在日吞吐量极大地海关检查中，为了检测集装箱中货物的情况与申报情况是否相符，通常需要对集装箱中的货物类别进行自动检测。目前市场上主要使用基于Fisher vector特征的传统方法提取集装箱中货物的图像特征来进行类别判断或者使用基于深度学习方法对集装箱货物直接分类实现对集装箱中的货物的类别检测。
然而，基于Fisher vector特征的传统方法不能有效地对不同种类的图像进行分类，导致使用该方法进行的智能查验识别率低。另外，基于深度学习方法训练分类模型时会因为训练数据分布不均衡导致训练出来的模型效果极差，而且基于深度学习方法训练需要大量货物图像，导致每次训练时间过长。此外在货物检查中，经常或有新增货物类别，一旦新增货物类别就需要重新基于深度学习方法训练分类模型，这不仅会耗费大量时间还会增大训练难度。
基于以上情况，找到一种快速、便捷地检测集装箱中货物类别的方法变得极为重要。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
有鉴于此，本公开提供一种货物检测方法及装置、电子设备和计算机可读介质，可以有效的实现对大型集装箱车厢图片中的货物类别进行对比识别。
本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
根据本公开实施例一个方面，提出一种货物检测方法，该方法包括：通过辐射成像技术获取集装箱车厢图像，基于所述集装箱车厢图像确定货物图像块；将所述货物图像块输入基于卷积神经网络训练的特征提取器以提取所述货物图像块的图像特征；将所述货物图像块的图像特征与所述特征提取器提取的对比货物的特征库作比较以确定所述集装箱车厢图像中的货物类别与所述对比货物类别的一致性。
在本公开的一种示例性实施例中所述基于所述集装箱车厢图像确定货物图像块包括；使用固定大小的滑窗，按照固定步长在所述集装箱车厢图像中提取图像块；判断所述图像块的最大灰度值和最小灰度值的差值是否大于差值阈值，如果是，则将所述图像块平均分为多个灰度小块；判断所述图像块的灰度小块中空小块的个数是否小于个数阈值，如果是，则判断所述图像块为货物图像块。
在本公开的一种示例性实施例中，所述判断所述图像块的灰度小块中空小块的个数是否小于个数阈值包括：获取所述灰度小块中灰度值大于灰度阈值的点的个数比例；如果所述个数比例大于个数比例阈值，则判断所述灰度小块为空小块。
在本公开的一种示例性实施例中，货物检测方法还包括：获取对比货物的辐射图像，基于所述对比货物的辐射图像确定对比货物图像块；将所述对比货物图像块输入所述基于卷积神经网络训练的特征提取器以提取所述对比货物图像块的图像特征；多次使用多层次k-means聚类方法对所述对比货物图像块的图像特征聚类，以获得多个所述对比货物图像块的图像特征的聚类集合；选择聚类类别最少的聚类集合作为所述对比货物的特征库。
在本公开的一种示例性实施例中，所述使用多层次k-means聚类方法对所述对比货物图像块的图像特征聚类包括：使用聚类中心个数为K的k-means聚类方法对所述对比货物图像块的图像特征聚类以获得所述对比货物图像块的图像特征的聚类集合，K为正整数；获取所述对比货物图像块的图像特征与自身所在聚类类别的聚类中心的特征距离；将距离自身所在聚类类别的聚类中心的特征距离大于特征距离阈值的图像特征划入待分类集合；判断所述待分类集合是否为空集，并判断所述聚类集合中的聚类类别是否超过类别阈值；如果判断所述待分类集合不为空集并且所述聚类集合中的聚类类别不超过所述类别阈值，则使用聚类中心个数为K的k-means聚类方法对所述待分类集合中的图像特征继续聚类。
在本公开的一种示例性实施例中，采用以下公式计算所述特征距离阈值：kmth＝wM1*M1+wM2*M2；其中，kmth代表所述特征距离阈值，M1表示同类别货物图像块的特征距离参数、M2表示不同类别货物图像块的特征距离参数，wM1、wM2别为设置的关于参数M1、M2的权重参数。
在本公开的一种示例性实施例中，货物检测方法还包括：获取训练所述特征提取器的图像样本，根据所述图像样本确定样本图像块；基于所述样本图像块，训练卷积神经网络以生成特征提取器。
在本公开的一种示例性实施例中，采用以下公式作为所述卷积神经网络的损失函数：
loss0＝max(0，M0+disp-disn)，
loss1＝max(0，M1-disp)，
loss2＝max(0，disn-M2)，
loss＝wloss0*loss0+wloss1*loss1+wloss2*loss2，
其中，loss代表所述损失函数，M0、M1、M2为设定的特征距离参数，M1表示同类别货物图像块的特征距离参数、M2表示不同类别货物图像块的特征距离参数，wloss0、wloss1、wloss2为设置的关于损失loss0、loss1、loss2的权重参数，disp表示同类别货物图像块的特征距离，disn表示不同类别货物图像块的特征距离。
在本公开的一种示例性实施例中，所述将所述货物图像块的图像特征与所述特征提取器提取的对比货物的特征库作比较以确定所述集装箱车厢图像中的货物类别与所述对比货物类别的一致性包括：确定所述货物图像块的图像特征与所述特征提取器提取的对比货物的特征库的最小特征距离；根据所述最小特征距离确定符合条件的图像块，并根据符合条件的图像块确定所述集装箱车厢图像中的货物类别与所述对比货物类别的一致性。
在本公开的一种示例性实施例中，所述根据所述最小特征距离确定符合条件的图像块，包括：判断所述货物图像块的图像特征与基于所述特征提取器提取的对比货物特征库的最小特征距离是否小于距离阈值，如果是，则判定所述货物图像块为符合条件的图像块。
在本公开的一种示例性实施例中，采用以下公式计算距离阈值：
sdth＝wsM1*M1+wsM2*M2；其中，sdth代表所述距离阈值，M1表示同类别货物图像块的特征距离参数、M2表示不同类别货物图像块的特征距离参数，wsM1、wsM2分别为设定的系数。
在本公开的一种示例性实施例中，所述根据符合条件的图像块确定所述集装箱车厢图像中的货物类别与所述对比货物类别的一致性包括：根据所述货物图像块确定所述集装箱车厢图像中的货物区域；根据所述符合条件的图像块确定所述货物区域中符合条件区域，并根据符所述符合条件区域确定所述货物区域中不符合条件区域；获取所述不符合条件区域的面积，以及所述不符合条件区域与所述货物区域的面积比值；如果判断所述不符合条件区域的面积大于面积阈值或者所述面积比值大于面积比值阈值，则判定所述集装箱车厢图像中的货物类别与所述对比货物类别不一致。
根据本公开实施例第二个方面，提出一种货物检测装置，该装置包括：货物图像块获取模块，配置为通过辐射成像技术获取集装箱车厢图像，基于所述集装箱车厢图像确定货物图像块；货物特征提取模块，配置为将所述货物图像块输入基于卷积神经网络训练的特征提取器以提取所述货物图像块的图像特征；货物类别确定模块，配置为将所述货物图像块的图像特征与所述特征提取器提取的对比货物的特征库作比较以确定所述集装箱车厢图像中的货物类别与所述对比货物类别的一致性。
根据本公开实施例的第三方面，提出一种电子设备，该电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述任一项所述的货物检测方法。
根据本公开实施例的第四方面，提出一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如上述任一项所述的货物检测方法。
根据本公开某些实施例提供的货物检测方法、装置及电子设备和计算机可读介质，通过使用特征提取器对集装箱车厢图像的图像块实现图像特征提取并将提取的图像块的图像特征与对比货物特征库做比较，有效的实现对无标注信息的大型集装箱车厢图像中的货物类别的对比识别。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。下面描述的附图仅仅是本公开的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了可以应用本发明实施例的货物检测方法或货物检测装置的示例性系统架构的示意图。
图2是根据一示例性实施例示出的一种货物检测方法的流程图。
图3是根据一示例性实施例示出的一种获取货物图像块的方法的流程图。
图4是根据一示例性实施例示出的一种特征提取器生成方法的流程图。
图5是根据一示例性实施例示出的一种对比货物特征库生成方法的流程图。
图6是根据一示例性实施例示出的一种多层次聚类方法的流程图。
图7是根据一示例性实施例示出的一种货物检测装置的框图。
图8是根据另一示例性实施例示出的一种货物检测装置的框图。
图9是根据另一示例性实施例示出的一种货物检测装置的框图。
图10是根据另一示例性实施例示出的一种货物检测装置的框图。
图11是根据另一示例性实施例示出的一种货物检测装置的框图。
图12是根据另一示例性实施例示出的一种货物检测装置的框图。
图13是根据另一示例性实施例示出的一种货物检测装置的框图。
图14是根据另一示例性实施例示出的一种货物检测装置的框图。
图15是根据一示例性实施例示出的一种应用于货物检测装置的计算机系统的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施例。然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的实施例；相反，提供这些实施例使得本发明将全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。
所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本发明的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本发明的技术方案而省略特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本发明的各方面。
附图仅为本发明的示意性图解，图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和步骤，也不是必须按所描述的顺序执行。例如，有的步骤还可以分解，而有的步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
本说明书中，用语“一个”、“一”、“该”、“所述”和“至少一个”用以表示存在一个或多个要素/组成部分/等；用语“包含”、“包括”和“具有”用以表示开放式的包括在内的意思并且是指除了列出的要素/组成部分/等之外还可存在另外的要素/组成部分/等；用语“第一”、“第二”和“第三”等仅作为标记使用，不是对其对象的数量限制。
下面结合附图对本发明示例实施方式进行详细说明。
图1示出了可以应用本发明实施例的货车载货体积处理方法或货车载货体积处理装置的示例性系统架构的示意图。
如图1所示，系统架构100可以包括辐射图像获取装置101、终端设备102、终端设备103、网络104和服务器105。辐射图像获取装置101可以用以获取集装箱辐射图像，终端设备102、103可以用以浏览集装箱图片、对图像进行操作、显示服务器输出结果，网络104可以用以辐射图像获取装置101、终端设备102、终端设备103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用辐射图像获取装置101、终端设备102、终端设备103通过网络104与服务器105交互，用以浏览、接收或发送消息等。其中，辐射图像获取装置101可以获取集装箱辐射图像，包括但不限于H986集装箱检查系统。终端设备102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器，例如对用户利用图像或视频获取装置101、终端设备102、终端设备103所进行操作的装置提供支持的后台管理服务器。后台管理服务器可以对接收到的请求等数据进行分析等处理，并将处理结果反馈给终端设备。
服务器105可例如通过辐射成像技术获取集装箱车厢图像，基于所述集装箱车厢图像确定货物图像块；服务器105可例如将所述货物图像块输入基于卷积神经网络训练的特征提取器以提取所述货物图像块的图像特征；服务器105可例如将所述货物图像块的图像特征与所述特征提取器提取的对比货物的特征库作比较以确定所述集装箱车厢图像中的货物类别是否与所述对比货物类别一致。
应该理解，图1中的辐射图像获取装置101、终端设备、网络和服务器的数目仅仅是示意性的，服务器105可以是一个实体的服务器，还可以为多个服务器组成，根据实现需要，可以具有任意数目的终端设备、网络和服务器。需要说明的是，本申请实施例所提供的货物检测方法一般由服务器105执行，相应地，货物检测装置一般设置于服务器105中。
图2是根据一示例性实施例示出的一种货物检测方法的流程图。
参照图2，货物检测方法可以包括以下步骤。
步骤S201，通过辐射成像技术获取集装箱车厢图像，基于所述集装箱车厢图像确定货物图像块。
步骤S202，将所述货物图像块输入基于卷积神经网络训练的特征提取器以提取所述货物图像块的图像特征。
步骤S203，将所述货物图像块的图像特征与所述特征提取器提取的对比货物的特征库作比较以确定所述集装箱车厢图像中的货物类别与所述对比货物类别的一致性。
在步骤S201中，通过辐射成像技术获取集装箱车厢图像，基于所述集装箱车厢图像确定货物图像块。
辐射成像是一种利用射线观察物体内部的技术，这种技术可以在不破坏物体的情况下获得物体内部的结构和密度等信息，目前已经广泛应用于医疗卫生、国民经济、科学研究、海关检查等领域。医院的胸透和车站、机场的安检、海关货物检查是日常生活中最常见的例子。
利用辐射成像技术可以获取集装箱车厢的灰度图像。例如，在海关检查时为了快速核对集装箱中货物是否与报关单提供的商品一致，通常会使用辐射成像技术获取集装箱车厢的图像。
在一些实施例中，通过辐射成像技术获取的集装箱车厢的图像通常既包括货物的灰度图像也包括车厢自身的灰度图像。为了更好的分析集装箱车厢图像中货物的图像，需要在集装箱车厢图像中提取出货物图像部分。
在一些实施例中，货物图像部分的提取一般通过以下过程实现：使用固定大小的滑窗，按照固定步长在所述集装箱车厢图像中提取图像块；判断所述图像块的最大灰度值和最小灰度值的差值是否大于差值阈值，如果是，则将所述图像块平均分为多个灰度小块；判断所述图像块的灰度小块中空小块的个数是否小于个数阈值，如果是，则判断所述图像块为货物图像块。
其中，空小块指的是灰度小块中包含货物信息较少的灰度小块。在示例性实施例中，空小块的判断可以通过以下步骤实现：获取所述灰度小块中灰度值大于灰度阈值的点的个数比例；如果所述个数比例大于个数比例阈值，则判断所述灰度小块为空小块。
具体的货物图像块的获取可以通过如图3所示步骤实现。
步骤S301，截取集装箱图像中车厢部分。通过辐射成像装置获取的集装箱图像一般会包括整个车辆的信息，为了使货物图像检测更为精确，通常在图像处理之前需要先将集装箱车厢部分截取出来。
步骤S302，对集装箱车厢图像按照固定高度进行缩放。例如，将集装箱车厢图像的高度缩放至672个像素，宽度同比进行缩放。
步骤S303，使用滑窗在集装箱车厢图像中提取图像块。例如，使用大小为224像素*224像素的滑窗，长度为74像素的步长，在集装箱车厢图像中提取图像块。
步骤S304，计算各个图像块最大灰度值和最小灰度值的差值。
步骤S305，判断图像块中最大灰度值和最小灰度值的差值是小于差值阈值。例如，判断图像块中最大灰度值和最小灰度值的差值是否小于10。
如果判断图像块中最大灰度值和最小灰度值的差值小于差值阈值，则执行步骤S311，即判定该图像不是货物图像块。
如果判断图像块中最大灰度值和最小灰度值的差值大于差值阈值，则执行步骤S306。
步骤S306，把图像块平均分为多个灰度小块。例如，把图像块平均分为100个灰度小块。
步骤S307，计算每个灰度小块中灰度值大于灰度阈值的点的个数比例。例如，计算每个灰度小块的灰度值大于阈值230的点的个数比例。
步骤S308，令个数比例大于比例阈值的灰度小块为空小块。例如，当灰度小块中灰度值大于230的比例大于0.8时，判断该灰度小块为空小块。
步骤S309，判断图像块中空小块的个数是否小于个数阈值。例如，判断图像块中空小块的个数是否小于11。
如果是图像块中空小块的个数小于个数阈值，则执行步骤S310，判定该图像块是货物图像块。
如果是图像块中空小块的个数不小于个数阈值，则执行步骤S311，判定该图像块不是货物图像块。
通过上述步骤就可以从集装箱车厢图片中获取货物的图像块。
在步骤S202中，将所述货物图像块输入基于卷积神经网络训练的特征提取器以提取所述货物图像块的图像特征。
其中卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一。
在一些实施例中，主要通过卷积神经网络为基础的深度学习网络训练特征提取器，在训练过程中使用度量距离作为损失函数。
在一些实施例中，特征提取器的训练可以包括以下过程：获取训练所述特征提取器的图像样本，根据所述图像样本确定样本图像块；基于所述样本图像块，训练卷积神经网络以生成特征提取器。
特征提取器的训练过程可具体地表现为如图4所示的步骤。
步骤S401，获取训练所述特征提取器的图像样本，根据所述图像样本确定样本图像块。
在深度学习训练中，对基础数据库有着非常大的需求和依赖，使用卷积神经网络训练特征提取器时，一般需要大量的图像块作为待训练集。所以在训练卷积神经网络生成特征提取器时需要大量的图像样本。例如，在海关检查货物过程中使用的货物特征提取器时就需要不同类别的货物的辐射图像作为图像样本，并且每类货物的辐射图像都有许多个，其中不同类别的货物的辐射图像指的是在海关检查中已经获取的并且已知货物类别的货物图像。
步骤S402，基于所述样本图像块，训练卷积神经网络以生成特征提取器。
在一些实施例中，采用以下度量距离公式作为所述卷积神经网络的损失函数：
loss0＝max(0，M0+disp-disn) (1)
loss1＝max(0，M1-disp) (2)
loss2＝max(0，disn-M2) (3)
loss＝wloss0*loss0+wloss1*loss1+wloss2*loss2 (4)
其中，loss代表损失函数，M0、M1、M2为设定的特征距离参数，M1表示同类别货物图像块的特征距离参数、M2表示不同类别货物图像块的特征距离参数，wloss0、wloss1、wloss2为设置的关于损失loss0、loss1、loss2的权重参数，disp表示同类别货物图像块的特征距离，disn表示不同类别货物图像块的特征距离。例如，M0、M1、M2可分别取值0.5、1、1，wloss0、wloss1、wloss2可分别取值1、1、1。
在上式中M0为类间特征距离参数，M1为同类特征距离参数，M2为异类特征距离参数。在训练卷积神经网络过程中，采用以上度量距离公式作为损失函数可以使得最后的训练模型中，同类别的特征的之间的特征距离尽可能的要小于特征距离参数M1，不同类特征之间的特征距离尽可能的大于特征距离参数M2。
在一些实施例中，当训练达到设定的训练次数时，即可完成对卷积神经网络的训练，训练所得的基础网络就是特征提取器。
在一些实施例中，货物的图像特征主要有图像的颜色特征、纹理特征、形状特征和空间关系特征。讲所述货物图像块输入基于卷积神经网络训练的特征提取器中，可以提取处所述货物图像块的图像特征。
在步骤S203中，将所述货物图像块的图像特征与所述特征提取器提取的对比货物的特征库作比较以确定所述集装箱车厢图像中的货物类别与所述对比货物类别的一致性。
其中，对比货物指的是与集装箱车厢中货物作类别对比的货物。例如，在海关检查中，报关单中表明该集装箱车厢中装载着苹果，在货物检测中需要将在海关检查中获取的并且已知货物类别是苹果的货物辐射图像与该集装箱车厢货物图像作对比。
在一些实施例中，生成对比货物的特征库包括以下过程：获取对比货物的辐射图像，基于所述对比货物的辐射图像确定对比货物图像块；将所述对比货物图像块输入所述基于卷积神经网络训练的特征提取器以提取所述对比货物图像块的图像特征；多次使用多层次k-means聚类方法对所述对比货物图像块的图像特征聚类，以获得多个所述对比货物图像块的图像特征的聚类集合；选择聚类类别最少的聚类集合作为所述对比货物的特征库。
在一些实施例中，对比货物特征库的生成步骤如图5所示。
步骤S501，获取对比货物的辐射图像。
在一些实施例中，为了生成对比货物图像的特征库，一般需要获取大量的对比货物的辐射图像。例如，在海关检查中，如果对比货物是苹果，那么就需要获取大量的在海关检查中已经确定货物种类为苹果的货物辐射图像。
步骤S502，使用固定大小的滑窗，按照固定步长在对比货物的辐射图像中提取对比货物的图像块。
步骤S503，将所述对比货物图像块输入所述基于卷积神经网络训练的特征提取器以提取所述对比货物图像块的图像特征。
在一些实施例中，基于所述样本图像块，训练卷积神经网络以生成特征提取器，然后使用该特征提取器提取上述对比货物的图像块中的图像特征。
步骤S504，多次使用多层次k-means聚类方法对所述对比货物图像块的图像特征聚类以获得多个所述对比货物图像块的图像特征的聚类集合。
在一些实施例中，多次使用多层次k-means聚类方法对所述对比货物图像块的图像特征聚类以获得多个所述对比货物图像块的图像特征的聚类集合，每次多层次聚类方法采用的聚类中心个数K各不相同。例如，分别采用10、20、30作为聚类中心个数对所述对比货物图像块的图像特征的进行多层次聚类，然后可以获得3个聚类集合。在上述3个聚类集合中，每个聚类集合分别就是一次多层次聚类的聚类结果。
步骤S505，选择聚类类别最少的聚类集合作为所述对比货物的特征库。
在一些实施例中，多次使用多层次聚类方法对对比货物图像块的图像特征聚类可以获得多个聚类集合，每个聚类集合中的聚类类别个数会各不相同，选择聚类类别个数最少的聚类集合作为对比货物的特征库。
例如，采用10、20、30作为多层次k-means聚类的聚类中心个数对对比货物图像块的图像特征聚类，可以获得聚类类别分别为30、25、40的聚类集合，采用聚类类别为25的聚类集合作为对比货物的特征库。
通过上述方法生成的对比货物的特征库的聚类类别足够少，分类结果较集中。并且，在后续使用货物图像块的图像特征与对比货物特征库对比时，也会因为对比货物特征库具有较少的聚类中心个数而提高运算效率。
在一些实施例中，多层次k-means聚类方法包括以下过程：使用聚类中心个数为K的k-means聚类方法对所述对比货物图像块的图像特征聚类以获得所述对比货物图像块的图像特征的聚类集合，K为正整数；获取所述对比货物图像块的图像特征与自身所在聚类类别的聚类中心的特征距离；将距离自身所在聚类类别的聚类中心的特征距离大于特征距离阈值的图像特征划入待分类集合；判断所述待分类集合是否为空集，并判断所述聚类集合中的聚类类别是否超过类别阈值；如果判断所述待分类集合不为空集并且所述聚类集合中的聚类类别不超过所述类别阈值，则使用聚类中心个数为K的k-means聚类方法对所述待分类集合中的图像特征继续聚类。
具体的，上述多层次聚类方法可以通过如图6所示步骤实现。
步骤S601，使用k-means方法对对比货物图像块的图像特征进行聚类，聚类中心个数设定为K。
在一些实施例中，通过k-means聚类方法，可以将对比货物图像块的图像特征分为若干个聚类类别，每个聚类类别包含一个聚类中心和多个对比货物的图像特征。
步骤S602，获取聚类结果中所述对比货物图像块的图像特征与自身所在聚类类别的聚类中心的特征距离。
在一些实施例中，特征距离指的是L2归一化之后的欧式距离。
步骤S603，将距离自身所在聚类类别的聚类中心的特征距离大于特征距离阈值的对比货物图像块的图像特征从当前聚类类别中取出并划入待分类集合。
在一些实施例中，距离阈值可以用公式：kmth＝wM1*M1+wM2*M2计算。其中M1、M2和公式(2)和公式(3)中M1、M2相同，wM1、wM2分别为设置的关于参数M1、M2的权重参数。例如，M1、M2可分别取值为1、1，而wM1、wM2分别取值0.2375、0.2375。
步骤S604，判断待分类集合是否为空集。
判断待分类集合是否为空集，如果判断待分类集合是空集，则执行步骤S607；如果判断待分类集合不是空集，则执行步骤S605。
步骤S605，判断对比货物图像特征的聚类集合中的聚类类别个数是否超过类别阈值。
如果判断对比货物图像特征的聚类集合中的聚类类别个数是否超过类别阈值，则执行步骤S607。例如，如果判断对比货物图像特征的聚类集合中的聚类类别个数没有超过类别阈值500，则执行步骤S607如果判断对比货物图像特征的聚类集合中的聚类类别个数没有超过类别阈值，则执行步骤S606。
步骤S606，继续使用k-means方法对待分类集合中的图像特征进行聚类，聚类中心个数设置为K。
对步骤S606生成的聚类结果重新执行步骤S602-S607，直至判断待分类集合中的图像特征个数为零，或者判断聚类对比货物图像特征的聚类集合中的聚类类别个数超过类别阈值，此次多层次聚类完成。
在一些实施例中，将所述货物图像块的图像特征与所述特征提取器提取的对比货物的特征库作比较以确定所述集装箱车厢图像中的货物类别与所述对比货物类别的一致性包括：确定所述货物图像块的图像特征与所述特征提取器提取的对比货物的特征库的最小特征距离；根据所述最小特征距离确定符合条件的图像块，并根据所述符合条件的图像块确定所述集装箱车厢图像中的货物类别与所述对比货物类别的一致性。
在一些实施例中，所述根据所述最小特征距离确定符合条件的图像块，包括：判断所述货物图像块的图像特征与基于所述特征提取器提取的对比货物特征库的最小特征距离是否小于距离阈值，如果是，则判定所述货物图像块为符合条件的图像块。
在一些实施例中，确定所述货物图像块的图像特征与所述特征提取器提取的对比货物的特征库的最小特征距离，首先要确定所述货物图像块的图像特征与对比货物的特征库中各个聚类类别的特征距离，然后找到各个特征距离中的最小值就是最小特征距离。
在一些实施例中，当判断所述货物图像块的图像特征与基于所述特征提取器提取的对比货物特征库的最小特征距离小于距离阈值时，则判定所述货物图像块为符合条件图像块。
在一些实施例中，距离阈值可通过公式sdth＝wsM1*M1+wsM2*M2计算，其中，sdth代表所述距离阈值，M1表示同类别货物图像块的特征距离参数、M2表示不同类别货物图像块的特征距离参数，wsM1、wsM2分别为设定的系数。其中M1、M2和公式(2)和公式(3)中M1、M2相同例如。例如，M1和M2都取值为1，wsM1、wsM2都取值为0.25，根据公式sdth＝wsM1*M1+wsM2*M2计算后可得sdth等于0.5，当判断所述货物图像块的图像特征与基于所述特征提取器提取的对比货物特征库的最小特征距离小于距离阈值0.5时，则判定所述货物图像块为符合条件图像块。
在一些实施例中，根据符合条件的图像块确定所述集装箱车厢图像中的货物类别与所述对比货物类别的一致性包括：根据所述货物图像块确定所述集装箱车厢图像中的货物区域；根据所述符合条件的图像块确定所述货物区域中符合条件区域，并根据符所述符合条件区域确定所述货物区域中不符合条件区域；获取所述不符合条件区域的面积，以及所述不符合条件区域与所述货物区域的面积比值；如果判断所述不符合条件区域的面积大于面积阈值或者所述面积比值大于面积比值阈值，则判定所述集装箱车厢图像中的货物类别与所述对比货物类别不一致。例如，如果判断所述不符合条件区域的面积大于面积阈值224*122*3.5＝95648像素或者所述面积比值大于面积比值阈值0.5，则判定所述集装箱车厢图像中的货物类别与所述对比货物类别不一致。
在一些实施例中，将货物图像块向集装箱车厢图像中做投影就可以确定集装箱图像中的货物区域，将符合条件图像块向集装箱图像中做投影就可以得到集装箱图像中符合条件的区域。由于符合条件图像块原本就是货物图像块的一部分，所以符合条件区域必然包含于货物区域。
在一些实施例中，由于滑窗的步长小于滑窗的长度或者宽度，导致获得的符合条件图像块与不符合条件图像块会有重叠。当符合条件图像块与不符合条件图像块重叠时，可以认为二者之间的重叠区域属于符合条件图像块。所以在一些实施例中，首先通过符合条件图像块确定货物区域中符合条件区域，进而才根据符合条件区域确定货物区域中不符合条件区域。
在一些实施例中，在获取货物图像块时，由于滑窗的步长小于滑窗的长度或者宽度，导致最终获得的符合条件图像块之间会有重叠。所以，当图像块向集装箱车厢图像上做投影时，在集装箱图像上必然会存在一片区域对应多个符合条件图像块的现象。所以在获取货物区域面积或符合条件面积时，只计算一次重叠区域的面积。通过步骤S201-S203给出的方法，可以快速有效的根据集装箱车厢的辐射图像确定车辆中的货物类别是否与对比货物的类别一致，该方法可以节省大量的人力物力和时间。另外，当需要对新增加类别的货物进行检测时不需要重新训练特征提取器，只需要更新或者修改对比货物的特征库即可，该方法具有一定的普适性。
图7是根据一示例性实施例示出的一种货物检测装置的框图。参照图7，该装置700包括：货物图像块获取模块701、货物特征提取模块702、货物类别确定模块703。
货物图像块获取模块701可以配置为通过辐射成像技术获取集装箱车厢图像，基于所述集装箱车厢图像确定货物图像块。
货物特征提取模块702可以配置为通过辐射成像技术获取集装箱车厢图像，基于所述集装箱车厢图像确定货物图像块。
货物类别确定模块703可以配置为将所述货物图像块的图像特征与所述特征提取器提取的对比货物的特征库作比较以确定所述集装箱车厢图像中的货物类别与所述对比货物类别的一致性。
在示例性实施例中，如图8所示，货物图像块获取模块701包括：图像块获取单元7011、灰度小块获取单元7012，货物图像块确定单元7013。
图像块获取单元7011可以配置为使用固定大小的滑窗，按照固定步长在所述集装箱车厢图像中提取图像块。
灰度小块获取单元7012可以配置为判断所述图像块的最大灰度值和最小灰度值的差值是否大于差值阈值，如果是，则将所述图像块平均分为多个灰度小块。
货物图像块确定单元7013可以配置为判断所述图像块的灰度小块中空小块的个数是否小于个数阈值，如果是，则判断所述图像块为货物图像块。
在示例性实施例中，如图9所示，货物图像块确定单元7013包括：个数比例确定子单元70131和空小块确定子单元70132。
个数比例确定子单元70131可以配置为获取所述灰度小块中灰度值大于灰度阈值的点的个数比例。
空小块确定子单元70132可以配置为如果所述个数比例大于个数比例阈值，则判断所述灰度小块为空小块。
在示例性实施例中，如图10所示，货物特征提取模块702包括：对比货物图像块获取单元7021、对比货物图像特征获取单元7022、多个聚类集合生成单元7023、特征库生成单元7024。
对比货物图像块获取单元7021可以配置为获取对比货物的辐射图像，基于所述对比货物的辐射图像确定对比货物图像块。
对比货物图像特征获取单元7022可配置为将所述对比货物图像块输入所述基于卷积神经网络训练的特征提取器以提取所述对比货物图像块的图像特征。
多个聚类集合生成单元7023可以配置为多次使用多层次k-means聚类方法对所述对比货物图像块的图像特征聚类，以获得多个所述对比货物图像块的图像特征的聚类集合。
特征库生成单元7024可以配置为选择聚类类别最少的聚类集合作为所述对比货物的特征库。
在示例性实施例中，如图11所示，多个聚类集合生成单元7023包括：首次聚类子单元70231、特征距离获取子单元70232、待分类集合生成单元70233、聚类判断子单元70234、继续聚类子单元70235。
首次聚类子单元70231可以配置为使用聚类中心个数为K的k-means聚类方法对所述对比货物图像块的图像特征聚类以获得所述对比货物图像块的图像特征的聚类集合，K为正整数。
特征距离获取子单元70232可以配置为获取所述对比货物图像块的图像特征与自身所在聚类类别的聚类中心的特征距离。
待分类集合生成子单元70233可以配置为将距离自身所在聚类类别的聚类中心的特征距离大于特征距离阈值的图像特征划入待分类集合。
聚类判断子单元70234可以配置为判断所述待分类集合是否为空集，并判断所述聚类集合中的聚类类别是否超过类别阈值。
继续聚类子单元70235可以配置为如果判断所述待分类集合不为空集并且所述聚类集合中的聚类类别不超过所述类别阈值，则使用聚类中心个数为K的k-means聚类方法对所述待分类集合中的图像特征继续聚类。
在示例性实施例中，采用以下公式计算所述特征距离阈值：
kmth＝wM1*M1+wM2*M2；其中，kmth代表特征距离阈值，M1表示同类别货物图像块的特征距离参数、M2表示不同类别货物图像块的特征距离参数，wM1、wM2别为设置的关于参数M1、M2的权重参数。
在示例性实施例中，如图12所示，对比货物图像特征获取单元7022包括：样本图像块获取子单元70221、生成特征提取器子单元70222。
样本图像块获取子单元70221可以配置为获取训练所述特征提取器的图像样本，根据所述图像样本确定样本图像块。
生成特征提取器子单元70222可以配置为基于所述样本图像块，训练卷积神经网络以生成特征提取器。
在示例性实施例中，采用以下公式作为所述卷积神经网络的损失函数：
loss0＝max(0，M0+disp-disn)，
loss1＝max(0，M1-disp)，
loss2＝max(0，disn-M2)，
loss＝wloss0*loss0+wloss1*loss1+wloss2*loss2，
其中，loss代表损失函数，M0、M1、M2为设定的特征距离参数，M1表示同类别货物图像块的特征距离参数、M2表示不同类别货物图像块的特征距离参数，wloss0、wloss1、wloss2为设置的关于损失loss0、loss1、loss2的权重参数，disp表示同类别货物图像块的特征距离，disn表示不同类别货物图像块的特征距离。
在示例性实施例中，如图13所示，货物类别确定模块703包括：最小特征距离确定单元7031、确定货物类别单元7032。
最小特征距离确定单元7031可以配置为确定所述货物图像块的图像特征与所述特征提取器提取的对比货物的特征库的最小特征距离。
确定货物类别单元7032可以配置为根据所述最小特征距离确定符合条件的图像块，并根据符合条件的图像块确定所述集装箱车厢图像中的货物类别与所述对比货物类别的一致性。
在示例性实施例中，所述根据所述最小特征距离确定符合条件的图像块，包括：判断所述货物图像块的图像特征与基于所述特征提取器提取的对比货物特征库的最小特征距离是否小于距离阈值，如果是，则判定所述货物图像块为符合条件的图像块。
在示例性实施例中，采用以下公式计算距离阈值：
sdth＝wsM1*M1+wsM2*M2；其中，sdth代表所述距离阈值，M1表示同类别货物图像块的特征距离参数、M2表示不同类别货物图像块的特征距离参数，wsM1、wsM2分别为设定的系数。
在示例性实施例中，如图14所示，确定货物类别单元7032包括：货物区域确定子单元70321、不符合条件区域确定子单元70322、不符合条件区域面积获取子单元70323、类别判定子单元70324。
货物区域确定子单元70321可以配置为根据所述货物图像块确定所述集装箱车厢图像中的货物区域；
不符合条件区域确定子单元70322可以配置为根据所述符合条件的图像块确定所述货物区域中符合条件区域，并根据符所述符合条件区域确定所述货物区域中不符合条件区域；
不符合条件区域面积获取子单元70323可以配置为获取所述不符合条件区域的面积，以及所述不符合条件区域与所述货物区域的面积比值；
类别判定子单元70324可以配置为如果判断所述不符合条件区域的面积大于面积阈值或者所述面积比值大于面积比值阈值，则判定所述集装箱车厢图像中的货物类别与所述对比货物类别不一致。
由于本发明的示例实施例的测试数据生成装置700的各个功能模块与上述测试数据生成方法的示例实施例的步骤对应，因此在此不再赘述。
下面参考图15，其示出了适于用来实现本申请实施例的终端设备的计算机系统1500的结构示意图。图15示出的终端设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图15所示，计算机系统1500包括中央处理单元(CPU)1501，其可以根据存储在只读存储器(ROM)1502中的程序或者从存储部分1508加载到随机访问存储器(RAM)1503中的程序而执行各种适当的动作和处理。在RAM1503中，还存储有系统1500操作所需的各种程序和数据。CPU 1501、ROM 1502以及RAM 1503通过总线1504彼此相连。输入/输出(I/O)接口1505也连接至总线1504。
以下部件连接至I/O接口1505：包括键盘、鼠标等的输入部分1506；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1507；包括硬盘等的存储部分1508；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1509。通信部分1509经由诸如因特网的网络执行通信处理。驱动器1510也根据需要连接至I/O接口1505。可拆卸介质1511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1510上，以便于从其上读出的计算机程序根据需要被安装入存储部分1508。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1509从网络上被下载和安装，和/或从可拆卸介质1511被安装。在该计算机程序被中央处理单元(CPU)1501执行时，执行本申请的系统中限定的上述功能。
需要说明的是，本申请所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括发送单元、获取单元、确定单元和第一处理单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备可实现功能包括：通过辐射成像技术获取集装箱车厢图像，基于所述集装箱车厢图像确定货物图像块；将所述货物图像块输入基于卷积神经网络训练的特征提取器以提取所述货物图像块的图像特征；将所述货物图像块的图像特征与所述特征提取器提取的对比货物的特征库作比较以确定所述集装箱车厢图像中的货物类别与所述对比货物类别的一致性。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，本发明实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者智能设备等)执行根据本发明实施例的方法，例如图2的一个或多个所示的步骤。
此外，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本公开旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未申请的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由权利要求指出。
应当理解的是，本发明并不限于这里已经示出的详细结构、附图方式或实现方法，相反，本发明意图涵盖包含在所附权利要求的精神和范围内的各种修改和等效设置。
Claims (13)
1.一种货物检测方法，其特征在于，包括：
通过辐射成像技术获取集装箱车厢图像，其中所述集装箱车厢图像中包括货物的灰度图像和集装箱车厢自身的灰度图像；
基于所述集装箱车厢图像确定货物图像块；其中，基于所述集装箱车厢图像确定货物图像块，包括：使用固定大小的滑窗，按照固定步长在所述集装箱车厢图像中提取图像块；判断所述图像块的最大灰度值和最小灰度值的差值是否大于差值阈值，如果是，则将所述图像块平均分为多个灰度小块；判断所述图像块的灰度小块中空小块的个数是否小于个数阈值，如果是，则判断所述图像块为货物图像块；
将所述货物图像块输入基于卷积神经网络训练的特征提取器以提取所述货物图像块的图像特征；
将所述货物图像块的图像特征与所述特征提取器提取的对比货物的特征库作比较，以确定所述集装箱车厢图像中的货物类别与所述对比货物类别的一致性；
所述判断所述图像块的灰度小块中空小块的个数是否小于个数阈值包括：
获取所述灰度小块中灰度值大于灰度阈值的点的个数比例；
如果所述个数比例大于个数比例阈值，则判断所述灰度小块为空小块。
2.根据权利要求1所述方法，其特征在于，还包括：
获取对比货物的辐射图像，基于所述对比货物的辐射图像确定对比货物图像块；
将所述对比货物图像块输入所述基于卷积神经网络训练的特征提取器以提取所述对比货物图像块的图像特征；
多次使用多层次k-means聚类方法对所述对比货物图像块的图像特征聚类，以获得多个所述对比货物图像块的图像特征的聚类集合；
选择聚类类别最少的聚类集合作为所述对比货物的特征库。
3.根据权利要求2所述方法，其特征在于，所述使用多层次k-means聚类方法对所述对比货物图像块的图像特征聚类包括：
使用聚类中心个数为K的k-means聚类方法对所述对比货物图像块的图像特征聚类以获得所述对比货物图像块的图像特征的聚类集合，K为正整数；
获取所述对比货物图像块的图像特征与自身所在聚类类别的聚类中心的特征距离；
将距离自身所在聚类类别的聚类中心的特征距离大于特征距离阈值的图像特征划入待分类集合；
判断所述待分类集合是否为空集，并判断所述聚类集合中的聚类类别是否超过类别阈值；
如果判断所述待分类集合不为空集并且所述聚类集合中的聚类类别不超过所述类别阈值，则使用聚类中心个数为K的k-means聚类方法对所述待分类集合中的图像特征继续聚类。
4.根据权利要求3所述方法，其特征在于，采用以下公式计算所述特征距离阈值：
kmth＝wM1*M1+wM2*M2；
其中，kmth代表所述特征距离阈值，M1表示同类别货物图像块的特征距离参数、M2表示不同类别货物图像块的特征距离参数，wM1、wM2别为设置的关于参数M1、M2的权重参数。
5.根据权利要求1所述方法，其特征在于，还包括：
获取训练所述特征提取器的图像样本，根据所述图像样本确定样本图像块；
基于所述样本图像块，训练卷积神经网络以生成特征提取器。
6.根据权利要求5所述方法，其特征在于，采用以下公式作为所述卷积神经网络的损失函数：
loss0＝max(0,M0+disp-disn)，
loss1＝max(0,M1-disp)，
loss2＝max(0,disn-M2)，
loss＝wloss0*loss0+wloss1*loss1+wloss2*loss2，
其中，loss代表所述损失函数，M0、M1、M2为设定的特征距离参数，M1表示同类别货物图像块的特征距离参数、M2表示不同类别货物图像块的特征距离参数，wloss0、wloss1、wloss2为设置的关于损失loss0、loss1、loss2的权重参数，disp表示同类别货物图像块的特征距离，disn表示不同类别货物图像块的特征距离。
7.根据权利要求1所述方法，其特征在于，所述将所述货物图像块的图像特征与所述特征提取器提取的对比货物的特征库作比较以确定所述集装箱车厢图像中的货物类别与所述对比货物类别的一致性包括：
确定所述货物图像块的图像特征与所述特征提取器提取的对比货物的特征库的最小特征距离；
根据所述最小特征距离确定符合条件的图像块，并根据符合条件的图像块确定所述集装箱车厢图像中的货物类别与所述对比货物类别的一致性。
8.根据权利要求7所述方法，其特征在于，所述根据所述最小特征距离确定符合条件的图像块，包括：
判断所述货物图像块的图像特征与基于所述特征提取器提取的对比货物特征库的最小特征距离是否小于距离阈值，如果是，则判定所述货物图像块为符合条件的图像块。
9.根据权利要求8所述方法，其特征在于，采用以下公式计算距离阈值：
sdth＝wsM1*M1+wsM2*M2；
其中，sdth代表所述距离阈值，M1表示同类别货物图像块的特征距离参数、M2表示不同类别货物图像块的特征距离参数，wsM1、wsM2分别为设置的关于参数M1、M2的权重参数。
10.根据权利要求7所述方法，其特征在于，所述根据符合条件的图像块确定所述集装箱车厢图像中的货物类别与所述对比货物类别的一致性包括：
根据所述货物图像块确定所述集装箱车厢图像中的货物区域；
根据所述符合条件的图像块确定所述货物区域中符合条件区域，并根据符所述符合条件区域确定所述货物区域中不符合条件区域；
获取所述不符合条件区域的面积，以及所述不符合条件区域与所述货物区域的面积比值；
如果判断所述不符合条件区域的面积大于面积阈值或者所述面积比值大于面积比值阈值，则判定所述集装箱车厢图像中的货物类别与所述对比货物类别不一致。
11.一种货物检测装置，其特征在于，包括：
货物图像块获取模块，配置为通过辐射成像技术获取集装箱车厢图像，基于所述集装箱车厢图像确定货物图像块；其中，基于所述集装箱车厢图像确定货物图像块，包括：使用固定大小的滑窗，按照固定步长在所述集装箱车厢图像中提取图像块；判断所述图像块的最大灰度值和最小灰度值的差值是否大于差值阈值，如果是，则将所述图像块平均分为多个灰度小块；判断所述图像块的灰度小块中空小块的个数是否小于个数阈值，如果是，则判断所述图像块为货物图像块；
货物特征提取模块，配置为将所述货物图像块输入基于卷积神经网络训练的特征提取器以提取所述货物图像块的图像特征；
货物类别确定模块，配置为将所述货物图像块的图像特征与所述特征提取器提取的对比货物的特征库作比较以确定所述集装箱车厢图像中的货物类别与所述对比货物类别的一致性；
其中，所述判断所述图像块的灰度小块中空小块的个数是否小于个数阈值包括：
获取所述灰度小块中灰度值大于灰度阈值的点的个数比例；
如果所述个数比例大于个数比例阈值，则判断所述灰度小块为空小块。
12.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-10中任一项所述的方法。
13.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-10中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910053206.3A CN111461152B (zh) | 2019-01-21 | 2019-01-21 | 货物检测方法及装置、电子设备和计算机可读介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910053206.3A CN111461152B (zh) | 2019-01-21 | 2019-01-21 | 货物检测方法及装置、电子设备和计算机可读介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111461152A CN111461152A (zh) | 2020-07-28 |
| CN111461152B true CN111461152B (zh) | 2024-04-05 |
Family
ID=71679770
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910053206.3A Active CN111461152B (zh) | 2019-01-21 | 2019-01-21 | 货物检测方法及装置、电子设备和计算机可读介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111461152B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113642961B (zh) * | 2021-08-13 | 2024-04-16 | 京东科技信息技术有限公司 | 货物搬运过程中的监控方法及装置 |
| CN114004721A (zh) * | 2021-11-01 | 2022-02-01 | 同方威视科技江苏有限公司 | 机检查验方法、装置与电子设备 |
| CN113821042B (zh) * | 2021-11-23 | 2022-02-22 | 南京冈尔信息技术有限公司 | 一种基于机器视觉的货物运送障碍识别系统及方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103345645A (zh) * | 2013-06-27 | 2013-10-09 | 复旦大学 | 面向网购平台的商品图像类别预测方法 |
| CN104751163A (zh) * | 2013-12-27 | 2015-07-01 | 同方威视技术股份有限公司 | 对货物进行自动分类识别的透视检查系统和方法 |
| CN106096561A (zh) * | 2016-06-16 | 2016-11-09 | 重庆邮电大学 | 基于图像块深度学习特征的红外行人检测方法 |
| CN106706677A (zh) * | 2015-11-18 | 2017-05-24 | 同方威视技术股份有限公司 | 检查货物的方法和系统 |
| CN108009528A (zh) * | 2017-12-26 | 2018-05-08 | 广州广电运通金融电子股份有限公司 | 基于Triplet Loss的人脸认证方法、装置、计算机设备和存储介质 |
| US10025950B1 (en) * | 2017-09-17 | 2018-07-17 | Everalbum, Inc | Systems and methods for image recognition |
| CN108734183A (zh) * | 2017-04-14 | 2018-11-02 | 清华大学 | 检查方法和检查设备 |
| CN108960412A (zh) * | 2018-06-29 | 2018-12-07 | 北京京东尚科信息技术有限公司 | 图像识别方法、装置及计算机可读存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9111331B2 (en) * | 2011-09-07 | 2015-08-18 | Rapiscan Systems, Inc. | X-ray inspection system that integrates manifest data with imaging/detection processing |
-
2019
- 2019-01-21 CN CN201910053206.3A patent/CN111461152B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103345645A (zh) * | 2013-06-27 | 2013-10-09 | 复旦大学 | 面向网购平台的商品图像类别预测方法 |
| CN104751163A (zh) * | 2013-12-27 | 2015-07-01 | 同方威视技术股份有限公司 | 对货物进行自动分类识别的透视检查系统和方法 |
| CN106706677A (zh) * | 2015-11-18 | 2017-05-24 | 同方威视技术股份有限公司 | 检查货物的方法和系统 |
| CN106096561A (zh) * | 2016-06-16 | 2016-11-09 | 重庆邮电大学 | 基于图像块深度学习特征的红外行人检测方法 |
| CN108734183A (zh) * | 2017-04-14 | 2018-11-02 | 清华大学 | 检查方法和检查设备 |
| US10025950B1 (en) * | 2017-09-17 | 2018-07-17 | Everalbum, Inc | Systems and methods for image recognition |
| CN108009528A (zh) * | 2017-12-26 | 2018-05-08 | 广州广电运通金融电子股份有限公司 | 基于Triplet Loss的人脸认证方法、装置、计算机设备和存储介质 |
| CN108960412A (zh) * | 2018-06-29 | 2018-12-07 | 北京京东尚科信息技术有限公司 | 图像识别方法、装置及计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111461152A (zh) | 2020-07-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109948507B (zh) | 用于检测表格的方法和装置 | |
| CN108898086B (zh) | 视频图像处理方法及装置、计算机可读介质和电子设备 | |
| CN108038880B (zh) | 用于处理图像的方法和装置 | |
| WO2019129032A1 (zh) | 遥感图像识别方法、装置、存储介质以及电子设备 | |
| US9076197B2 (en) | Probability density function estimation | |
| CN111461152B (zh) | 货物检测方法及装置、电子设备和计算机可读介质 | |
| CN108229355A (zh) | 行为识别方法和装置、电子设备、计算机存储介质、程序 | |
| CN109711508B (zh) | 图像处理方法和装置 | |
| US9025889B2 (en) | Method, apparatus and computer program product for providing pattern detection with unknown noise levels | |
| CN109344762B (zh) | 图像处理方法和装置 | |
| Chen et al. | Seeking multi-thresholds directly from support vectors for image segmentation | |
| CN112215244A (zh) | 货物图像检测方法、装置、设备及存储介质 | |
| CN108229494B (zh) | 网络训练方法、处理方法、装置、存储介质和电子设备 | |
| CN112464803A (zh) | 图像比较方法和装置 | |
| CN108154153B (zh) | 场景分析方法和系统、电子设备 | |
| CN111275660A (zh) | 一种平板显示器缺陷检测方法及装置 | |
| US20150356350A1 (en) | unsupervised non-parametric multi-component image segmentation method | |
| CN109960959B (zh) | 用于处理图像的方法和装置 | |
| CN111291715B (zh) | 基于多尺度卷积神经网络的车型识别方法、电子设备及存储介质 | |
| CN108229680B (zh) | 神经网络系统、遥感图像识别方法、装置、设备及介质 | |
| CN108921792B (zh) | 用于处理图片的方法和装置 | |
| CN108230332B (zh) | 文字图像的处理方法和装置、电子设备、计算机存储介质 | |
| CN110263779A (zh) | 文本区域检测方法及装置、文本检测方法、计算机可读介质 | |
| CN117234357A (zh) | 一种触摸屏多点触摸识别方法、装置及电子设备 | |
| CN116109907A (zh) | 目标检测方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |