CN111860361A - 一种绿色通道货物扫描图像夹带自动识别器及识别方法 - Google Patents

一种绿色通道货物扫描图像夹带自动识别器及识别方法 Download PDF

Info

Publication number
CN111860361A
CN111860361A CN202010720216.0A CN202010720216A CN111860361A CN 111860361 A CN111860361 A CN 111860361A CN 202010720216 A CN202010720216 A CN 202010720216A CN 111860361 A CN111860361 A CN 111860361A
Authority
CN
China
Prior art keywords
unit
image
data
green channel
interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010720216.0A
Other languages
English (en)
Other versions
CN111860361B (zh
Inventor
张�浩
巩云飞
李誌
赵天横
赵恩爽
赵恒毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN202010720216.0A priority Critical patent/CN111860361B/zh
Publication of CN111860361A publication Critical patent/CN111860361A/zh
Application granted granted Critical
Publication of CN111860361B publication Critical patent/CN111860361B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明公开一种绿色通道货物扫描图像夹带自动识别器，包括上位机和自动识别器两个部分。其中，上位机包括：输入单元；第一接口单元；显示单元；自动识别器包括：第二接口单元；存储单元(包括内存储单元、缓存单元和外存储单元)；微处理器；处理单元。本发明构建自主研发的GCIDNet、GCIENet和GCIRNet三种深度学习算法，分别封装在图像去噪单元、图像增强单元和图像识别单元中，用于识别未知绿色通道图片数据，并预测未知图片数据对应的货物种类以及夹带情况。

Description

一种绿色通道货物扫描图像夹带自动识别器及识别方法
技术领域
本发明涉及图像识别技术领域。更具体地说，本发明涉及一种绿色通道货物扫描图像夹带自动识别器及识别方法。
背景技术
为建立顺畅、便捷的鲜活农产品流通网络，建设了高速公路绿色通道，对于满足绿色通道要求的车辆将享受免收通行费。然而部分车辆却利用混装、伪装等手段，逃缴高速公路通行费，扰乱了社会正常的运输市场和运输环境，造成了极坏的社会影响，破坏了运输市场的公平性，不利于运输市场的正常良性发展。
图像数据处理技术与高速公路“绿色通道”车辆检测系统息息相关，将图像数据处理技术与“绿色通道”检测系统结合不仅能够使检测效率大大提高，并且对整个高速公路运输市场的发展有着良好的推动作用。图像数据处理的研究目的就是用计算机代替人脑实现对采集图像进行处理工作，并对获得的图像进行分析。图像数据处理的相关技术的探索经过多年的发展发生了明显的进步，对获取到的图像中的检测目标进行识别、分析是近年来计算机图像数据处理领域中的研究热点，在人工智能、自动化工业生产、安全监控等领域具有良好的应用远景。在“绿色通道”检测系统中，以图像为分析对象，通过对特定扫描设备获得的不间断图像数据流进行指定区域的数据提取，获得特定区域的图像数据流信息，进行处理后获得所需的直观、涵盖范围广、准确特点的绿通检测图像信息，同时可消除大部分噪声，利用图像处理技术中的去噪技术消除许多自然及人为噪声，该数据流图像信息可以无缝传输到各个控制子系统中，从而在“绿色通道”检测系统中，打造一个完全封闭、安全的数据环，保障信息安全和可靠。
如今，深度学习在各大领域的预测问题上均有非常有效的结果。深度学习的方法可以在大规模数据中，通过构建深层网络来提取出有效的、隐含的特征，并利用这些特征构建出有效的预测模型。目前，深度学习的方法在图像识别有了较大的突破。因此，将深度学习方法应用到自动识别绿色通道图像领域成为一个新的研究领域。
目前识别绿色通道图像的方法存在以下问题：
(1)当前绿色通道货车扫描图像处理与识别算法精度不高，存在图像模糊、不具备自动识别功能，需要人为干预才能识别货物夹带。
(2)识别模块依靠外接计算机实现，稳定性差，容易受到外界环境及人为干预，从而影响识别效果。
发明内容
基于上述技术问题，本发明的第一个目的是设计开发一种绿色通道货物扫描图像夹带自动识别器，设置有处理单元(包括图像去噪单元、图像增强单元、图像分割单元和图像识别单元)，无需外接额外计算机系统，能够准确识别未知绿色通道图片数据，并预测未知图片数据对应的货物种类以及夹带情况。
本发明的第二个目的是设计开发绿色通道货物扫描图像夹带自动识别方法，依赖深度学习强大的学习能力，能够识别未知绿色通道图片数据，并预测未知图片数据对应的货物种类以及夹带情况，进一步提高识别精度。
本发明提供的技术方案为：
一种绿色通道货物扫描图像夹带识别器，包括：
第一接口单元；
输入单元，其与所述第一接口单元连接，用于绿色通道图像数据和货物信息的输入；
自动识别器，其与所述输入单元连接，用于接收所述绿色通道图像数据和货物信息并识别；
显示单元，其与所述第一接口单元连接，用于输出显示识别结果；
其中，所述自动识别器包括：
微处理器；
第二接口单元，其与所述微处理器和所述第一接口单元连接；
存储单元，其同时与所述第二接口单元和所述微处理器连接，用于存储数据；
处理单元，其同时与所述存储单元和所述微处理器连接，用于处理数据并输出识别结果。
优选的是，
所述第一接口单元包括第一USB接口、第一JTAG调试接口，第一以太网接口和第一RS-232接口；
所述第二接口单元包括第二USB接口、第二JTAG调试接口，第二以太网接口和第二RS-232接口；
其中，所述第一JTAG调试接口通过转换设备与所述第二JTAG调试接口连接，所述第一以太网接口与所述第二以太网接口连接，所述第一RS-232接口与所述第二RS-232接口连接。
优选的是，所述存储单元包括：
内存储单元；
缓存单元，其与所述内存储单元链接，用于存储中间数据；
外存储单元，其同时与所述第二RS-232接口和所述内存储单元连接，用于存储识别结果并传输至所述显示单元。
优选的是，所述处理单元包括：
图像去噪单元，其与所述缓存单元连接，用于对绿色通道图像数据进行去噪；
图像增强单元，其与所述图像去噪单元连接，用于增强去噪后的图像数据；
图像分割单元，其与所述图像增强单元连接，用于分割增强后的图像数据；
图像识别单元，其同时与所述缓存单元、所述图像分割单元和所述外存储单元连接，用于获取缓存单元的货物信息数据和图像分割单元的输出数据，并输出识别结果至所述外存储单元。
优选的是，所述内存储单元的数据输入口Vin引脚与所述微处理器的数据输出Vout引脚连接，数据输出口Vout引脚与所述缓存单元的数据输入口Vin引脚连接，GND与所述微处理器的GND引脚连接；所述缓存单元的数据输出口Vout引脚与所述图像去噪单元的数据输入口Vin引脚、图像增强单元的数据输入口Vin引脚以及所述微处理器的数据输入Vin引脚连接，GND引脚与所述微处理器的GND引脚连接；所述外存储单元的数据输入口Vin引脚与所述图像识别单元的数据输出口Vout引脚连接，数据输出口Vout引脚与所述微处理器的数据输入Vin引脚连接，GND引脚与所述微处理器的GND引脚连接。
优选的是，所述图像去噪单元的数据输出口Vout引脚分别与所述微处理器的数据输入Vin引脚及图像增强单元的数据输入口Vin引脚连接，GND引脚与所述微处理器的GND引脚连接；所述图像增强单元的数据输出口Vout引脚与图像分割单元的数据输入口Vin引脚连接，GND引脚与所述微处理器的GND引脚连接；所述图像分割单元的数据输出口Vout引脚与图像识别单元数据的输入口Vin引脚连接，GND引脚与所述微处理器的GND引脚连接；所述图像识别单元的GND引脚与所述微处理器的GND连接。
一种绿色通道货物扫描图像夹带识别方法，包括如下步骤：
步骤1、通过输入单元输入未知绿色通道图像数据，传输至内存储单元，并存储至缓存单元内；
步骤2、获取所述缓存单元内的所有的未知绿色通道图像数据，依次传输至图像去噪单元和图像增强单元进行去噪和增强处理，得到清晰图像数据；
步骤3、将所述清晰图像传输至图像分割单元进行图像分割，并将分割后的图像传输至图像识别单元，得到识别结果并传输至显示单元。
优选的是，在所述步骤2中，通过最小化第一损失函数获得最优参数进而在所述图像去噪单元进行去噪；
所述第一损失函数为
Figure BDA0002599688950000041
式中，N表示待处理图像块的总数量，θ表示该模型的参数，yi表示第i个待处理图像块，xi表示与yi对应的处理后的第i个图像块，f表示噪声映射。
优选的是，在所述步骤2中，在所述图像增强单元进行增强处理过程包括：
步骤2.1、通过特征提取函数进行特征提取；所述特征提取函数为F1(P)＝ReLU(0,W1*P+B1)；式中，P表示大小为n*n的输入图像块，W1和B1表示滤波器的权值和偏差，ReLU表示整流线性单元；
步骤2.2、通过特征增强函数进行特征增强；所述特征增强函数为F2(P)＝ReLU(0,W2*F1(P)+B2)；式中，W2是n2个大小为f2*f2*n1的滤波器，B2是一个n2维向量；
步骤2.3、通过非线性映射函数进行特征非线性映射；所述非线性映射函数为F3(P)＝ReLU(0,W3*F2(P)+B3)；式中，W3包含大小为f3*f3*n2的n3滤波器，B3是一个n3维向量；
步骤2.4、通过重构函数进行特征重构进而得到增强图像；所述重构函数为F4(P)＝W4*F3(P)+B4；式中，W4包含大小为f4*f4*n3的n4滤波器，B4为n4维向量；
步骤2.5、通过最小化第二损失函数获得最优参数进而得到增强后的图像：所述第二损失函数为
Figure BDA0002599688950000051
式中，N表示待处理的图像块的总数，Pi为第i个输入图像块，Yi为与Pi对应的增强图像块，F为学习映射函数。
优选的是，在所述步骤3中，通过最小化交叉熵损失函数获得最优参数进而在所述图像识别单元得到识别结果；
所述交叉熵损失函数为
Figure BDA0002599688950000052
式中，x表示样本，y表示实际的标签，
Figure BDA0002599688950000053
表示预测的输出，N1表示样本总数量。
本发明的有益效果：
1、本发明设计开发的绿色通道货物扫描图像夹带自动识别器，处理单元包括图像去噪单元、图像增强单元、图像分割单元和图像识别单元，同时具备图像处理与识别两个方面的功能，识别速度快，可以大幅提高货车的通过率，减轻货车拥堵现象；
2、本发明设计开发的基于深度学习的绿色通道货物扫描图像夹带识别方法，处理单元内部封装了GCIDNet、GCIENet、U-Net和GCIRNet四种深度学习方法，改变了以往在该领域存在图像模糊、不具备自动识别功能，需要人为干预才能识别货物夹带等缺陷。能够自动识别未知绿色通道图片数据，并预测未知图片数据对应的货物种类以及夹带情况。
3、本发明设计开发的基于深度学习的绿色通道货物扫描图像夹带识别方法，为深度学习在绿色通道领域的应用开辟了新的渠道，同时具有科学研究和实际应用两个方面的好处。
附图说明
图1本发明绿色通道货物扫描图像夹带自动识别器的结构示意图。
图2本发明绿色通道货物扫描图像夹带自动识别器的模型原理图。
图3本发明绿色通道货物扫描图像夹带自动识别器的电路原理图。
图4本发明绿色通道货物扫描图像夹带识别方法的流程图。
图5本发明绿色通道图像去噪网络架构图(GCIDNet)。
图6本发明绿色通道图像增强网络架构图(GCIENet)。
图7本发明绿色通道图像分割网络架构图(U-Net)。
图8本发明绿色通道图像识别网络架构图(GCIRNet)。
图9本发明绿色通道图像夹带识别算法流程图。
具体实施方式：
下面结合附图对本发明做进一步的详细说明，令本领域技术人员参照说明书文字能够据以实施。
如图1所示，本发明绿色通道货物扫描图像夹带自动识别器的结构示意图。上位机01由输入单元0111，第一接口部分012的USB接口0121、JTAG调试接口0122、以太网接口0123、RS-232串口0124，显示单元0131共同构成来完成与ARM9微处理器023的协调工作。其中，输入单元0111与接口部分0120连接，负责完成绿色通道图片数据和货物信息的输入；第一接口部分012负责与ARM9微处理器023进行连接通信；显示单元0131与第一接口部分012连接，负责完成自动识别绿色通道图像判定结果的输出显示。
识别器由ARM9微处理器023、第二接口部分021、存储单元022以及处理单元024构成；其中，第二接口部分021包括USB接口0211、JTAG调试接口0212、以太网接口0213及RS-232串口0214；USB接口0211可与U盘连接，实现将自动识别绿色通道图像得到的结果数据的转存，以此实现存储单元的扩增；JTAG调试接口0212通过JTAG仿真(编程器)转换设备与上位机JTAG接口0122相连，用来实现程序的在线调试；以太网接口0213通过此接口与上位机01的以太网接口0123进行连接，从而实现ARM9微处理器023与上位机01的互通信；RS-232串口0214通过此接口与上位机01的RS-232串口0124进行连接，从而实现ARM9微处理器023与上位机01的互通信。
存储单元022包括内存储单元0221、缓存单元0222及外存储单元0223；其中，内存储单元0221与缓存单元0222进行连接，负责完成绿色通道数据的存储；缓存单元0222与内存储单元0221、图像去噪单元0241、图像增强单元0242同时进行连接，负责完成自动识别绿色通道图像的中间数据的存储；外存储单元0223与图像识别单元0244及RS-232串口0214同时进行连接，负责完成自动识别绿色通道图像预测的结果数据的存储及通过RS-232串口传回到上位机的显示单元上进行输出显示。
处理单元024包括图像去噪单元0241、图像增强单元0242、图像分割单元0243及图像识别单元0244；其中，处理单元中分别封装了GCIDNet，GCIENet，U-Net和GCIRNet四种深度学习算法，能够自动识别未知绿色通道图片数据，并预测未知图片数据对应的货物种类以及夹带情况。
实施例
通过一台通用的PC计算机作为上位机01，该上位机可通过RS-232串口和基于三星公司生产的32位的ARM920T核的微处理器的绿色通道货物扫描图像夹带自动识别器的生成装置进行连接，共同作用以完成自动识别绿色通道图像的任务。
上位机01的输入单元0111及显示单元0131均采用PC计算机的输入及输出设备来实现其功能。
通过上位机01的以太网接口0123及ARM9微处理器023的以太网接口0213实现上位机01与ARM9微处理器023的互通信，以太网接口采用DM9000完全综合的、成本较低的单一快速以太网控制器芯片。
同时，增加了上位机01的JTAG调试接口0122及ARM9微处理器023的JTAG调试接口0212，将此类接口通过JTAG仿真(编程器)转换设备进行连接，可以实现上位机01实时地对ARM9微处理器023上程序的分析和执行的监控。
USB接口采用的是USB3.0接口，为了实现存储单元的扩增，可以将自动识别绿色通道图像的预测结果数据通过上位机01的USB接口0121或ARM9微处理器023的USB接口0211转存到U盘。
ARM9微处理器023系统程序存储单元022选用的是32M Hynix公司的HY57V561620CT SDRAM作为内存储单元0221，64M SAMSUNG公司的K9F1208UOM Nand Flash作为缓存单元0222，及100G的硬盘作为扩展外存储单元0223。
ARM9微处理器023的处理单元024中所包含的各单元均是封装在ARM9微处理器上的自动识别绿色通道图像的深度学习算法，并且在运算时使用32位运算部件。
如图2所示，自动识别绿色通道图像装置模型原理图，其连接关系如下：USB接口0211、JTAG调试接口0212、以太网接口0213及RS-232串口0214的数据输入口Vin分别与ARM9微处理器023的数据输出引脚Vout1[0..7]相连，其GND分别与ARM9微处理器023的GND相连。
内存储单元0221的数据输入口Vin与ARM9微处理器023的数据输出引脚Vout1[0..7]相连，其数据输出口Vout与缓存单元0222的数据输入口Vin相连，其GND与ARM9微处理器023的GND相连。缓存单元0222的数据输入口Vin与内存储单元0221的数据输出口Vout相连，其数据输出口Vout与图像去噪单元的数据输入口、图像增强单元的数据输入口Vin以及ARM9微处理器023的数据输入引脚Vin1[0..7]相连，其GND与ARM9微处理器023的GND相连。外存储单元0223的数据输入口Vin与图像识别单元0244的数据输出口Vout相连，数据输出口Vout与ARM9微处理器023的数据输入引脚Vin1[0..7]相连，GND与ARM9微处理器023的GND相连。
图像去噪单元0241的数据输入口Vin与缓存单元0223的数据输出口Vout相连，数据输出口Vout与分别与ARM9微处理器023Vin1[0..7]及图像增强单元0242的数据输入口Vin相连，GND与ARM9微处理器023的GND相连。图像增强单元0242的数据输入口Vin与图像去噪单元0241的数据输出口Vout和缓存单元的数据输出口Vout相连，数据输出口Vout与图像分割单元0243的数据输入口Vin相连，GND与ARM9微处理器023的GND相连。图像分割单元0243的数据输入口Vin与图像增强单元0242的数据输出口Vout相连，数据输出口Vout与图像识别单元数据的输入口Vin相连，GND与ARM9微处理器023的GND相连。图像识别单元0244的数据输入口Vin图像分割单元0243的输出口Vout相连，数据输出口Vout与外存储单元0223的数据输入口Vin相连，GND与ARM9微处理器023的GND相连。
电路原理如图3所示，其连接关系如下：
1)F线为地址总线，分别连接ARM9微处理器、外存储单元、缓存单元和内存单元的A0～A17引脚，负责传递地址信息；
2)A线为数据总线，分别连接ARM9微处理器、图像识别单元、图像分割单元、图像增强单元、图像去噪单元、内存储单元、缓存单元和外存储单元的D0～D15引脚，负责传输各种数据信息；
3)B线为控制总线，分别连接ARM9微处理器、外存储单元、缓存单元、内存储单元、图像去噪单元、图像增强单元、图像分割单元和图像识别单元的OE、WR、CS3、CS1、HBE和LBE引脚，负责传输控制信号和时序信号；
4)C线为电源正极线，分别连接ARM9微处理器、外存储单元、缓存单元、内存储单元、图像去噪单元、图像增强单元、图像分割单元、图像识别单元、USB接口、JTAG接口、TRS232接口和DS以太网接口的电源正极；
5)D线为电源负极线，分别连接ARM9微处理器、外存储单元、缓存单元、内存储单元、图像去噪单元、图像增强单元、图像分割单元、图像识别单元、USB接口、JTAG接口、TRS232接口和DS以太网接口的电源负极；
6)E线为通用I/O线，分别连接ARM9微处理器、USB接口、JTAG接口和TRS232接口，负责输入输出设备的数据传输；
7)G线为网络接口线，分别连接ARM9微处理器和DS以太网接口，负责网络传输。
如图4所示，本实施例中提供的绿色通道货物扫描图像夹带识别方法的包括如下步骤：
步骤1、通过上位机的输入单元0111输入大规模绿色通道图片数据和对应货物数据，并通过RS-232、串口0105传至绿色通道货物扫描图像夹带自动识别器的内存储单元0221，并进一步将数据读到缓存单元0222中；
步骤2、图像去噪单元0241从缓存单元0222中读取绿色通道图片数据，进行图像去噪，并将结果输出到图像增强单元0242；
步骤3、图像增强单元0242从图像去噪单元0241中读出去噪后的图片，处理后得到清晰图片；
步骤4、再次从缓存单元中读取绿色通道图片，重复进行上述2)3)操作直至所有的绿色通道图片均处理完成；
步骤5、在图像分割单元中将清晰图像作为模型的输入，输出为分割后的图像，然后把分割后的图像传输给图像识别单元；
步骤6、图像识别单元接收到分割后的图像，对分割图像进行边缘特征识别和图片灰度值特征识别，最终得出准确的识别结果；
步骤7、通过上位机的输入单元输入未知的绿色通道图像数据，并通过RS-232串口传至自动识别绿色通道图像生成器的内存储单元，并进一步将数据读到缓存单元中，然后对这条数据进行步骤2、步骤3操作，其中步骤3中不需要对图片设定标签；
步骤8、在图像分割单元，将依次序读取所有的未带标签的绿色通道图像数据，图像分割单元将其作为网络的输入，将所有输出的分割图片传输到图像识别单元中；所有的数据处理完会得到判定结果，该结果是图片的货物种类以及有无夹带情况，并将判定结果存储到外存储单元，通过RS-232串口到达显示单元进行输出显示。
如图5所示，在步骤2中图像去噪单元0241与缓存单元连接，用于获取绿色通道图像数据并去噪；图像去噪单元采用GCIDNet：(1)提出了一种自主研发的深度CNN图像去噪方法，与现有的CNN去噪方法不同，GCIDNet通过增加网络的宽度而不是深度来提高去噪网络的学习能力；(2)GCIDNet分为上下两个网络，我们将两个网络结合在一起来增加网络的宽度，从而获得更多的特征；(3)上层网络：由编码器与解码器组成，编码器是特征提取部分，解码器是上采样部分；(4)下层网络：包括批量重整(BRN)、空洞卷积(Dilated Conv)、卷积层(Conv)，其中，BRN来解决小批量问题，使用Dilated Conv来捕获更多的特征，降低计算成本；(5)GCIDNet整体采用残差学习，便于网络训练。我们把训练好的GCIDNet封装到ARM机中的图像去噪单元。
图像去噪模型GCIDNet选用均方误差(MSE)来获取网络的最优参数。具体而言，可以通过Adam优化器来最小化损失函数从而获得最优参数，损失函数如下：
Figure BDA0002599688950000111
公式(1)是图像去噪模型GCIDNet的损失函数；其中，N表示待处理图像块总数量(与使用整个噪声图像相比，使用噪声图像块可以显著地节省内存并降低计算成本)，θ表示该模型的参数；yi表示第i个待处理图像块，xi表示与yi对应的处理后的第i个图像块，f表示噪声映射。
如图6所示，在步骤3中，图像增强单元0242与图像去噪单元连接，用于增强去噪后的绿色通道图像数据并；图像增强单元采用GCIENet：(1)提出了一种自主研发的深度CNN图像增强方法GCIENet；(2)GCIENet由四部分组成：特征提取层，特征增强层，非线性映射层和重构层；(3)特征提取层由四个卷积层组成，可以有效进行特征提取，其中还应用了残差学习，这样既不易丢失底层信息，又加快了网络训练速度；(4)特征增强层将有噪声的特征映射到一个相对干净的特征空间；(5)非线性映射是将每个高维向量映射到另一个高维向量上；(6)重构是最后设计的卷积层，对分段表示进行聚合，生成最后的增强图像；在本实施例中，把训练好的GCIENet封装到ARM机中的图像增强单元。
在特征的提取部分，为了有效提取输入图像的每个图像块的特征，GCIENet采用四层卷积网络(每层包含n1个滤波器)以及跳跃连接(以防止底层信息的丢失)，用高维向量表示每个图像块，如下所示：
F1(P)＝ReLU(0,W1*P+B1) (2)
在公式(2)中，P为大小为n*n的输入图像块，W1和B1为滤波器的权值和偏差，ReLU是整流线性单元；
在特征的增强部分，GCIENet使用了一个特征增强层来将输入图像的特征映射到一个相对干净的特征空间，它可以表示为：
F2(P)＝ReLU(0,W2*F1(P)+B2) (3)
在公式(3)中，W2是n2个大小为f2*f2*n1的滤波器，B2是一个n2维向量；
在特征的非线性映射部分，将每个高维向量映射到另一个高维向量上，即将F2(P)转换为F3(P)：
F3(P)＝ReLU(0,W3*F2(P)+B3) (4)
在公式(4)中，W3包含大小为f3*f3*n2的n3滤波器，B3是一个n3维向量；
在特征的重构部分，对分段表示进行合成，生成学习后的增强图像。将F3(P)转化为F4(P)，可以表示为：
F4(P)＝W4*F3(P)+B4 (5)
在公式(5)中，W4包含大小为f4*f4*n3的n4滤波器，B4为n4维向量。
在本实施例中，图像增强模型GCIENet选用均方误差(MSE)来优化模型参数；MSE损失函数表示为：
Figure BDA0002599688950000121
公式(6)是图像增强模型GCIENet的损失函数，其中N表示待处理的图像块的总数，Pi为第i个输入图像块，Yi为与Pi对应的增强图像块，F为学习映射函数。
如图7所示，步骤5中，图像分割单元0243与图像增强单元连接，用于绿色通道图像数据分割；图像分割单元采用U-Net深度学习算法：(1)U-Net由左右两部分构成，左侧是具备捕捉上下文信息的收缩路径，右侧是精确定位的对称扩展路径；(2)U-Net采用Overlap-tile策略，这种方法用于补全输入图像的上下信息，防止特征丢失从而实现更加精准的图像分割；本实施例中，把训练好的U-Net封装到ARM机中的图像分割单元。
U-Net采用交叉熵作为损失函数：
Figure BDA0002599688950000131
在公式(7)中ak(x)是第k个feature channel激活函数作用后的值，然后再做一个softmax函数计算pk(x)，也就是属于第k类的概率。
交叉熵作为损失函数如下所示(x是像素点)：
Figure BDA0002599688950000132
权重计算公式：
Figure BDA0002599688950000133
在公式(9)中，wc(x)是样本进行常规加权的方法，用于平衡不同类别的样本不平衡性(样本多的权重小，样本小的权重大)；d1(x)和d2(x)表示边界到两种不同货物的距离。
如图8所示，在步骤6中，图像识别单元0244与缓存单元、图像分割单元和外存储单元连接，用于获取缓存单元的货物信息数据和图像分割单元的输出数据，并输出识别结果至外存储单元；图像识别单元采用自主研发的GCIRNet：(1)提出了一种深度CNN图像识别方法GCIRNet；(2)GCIRNet由两部分组成，分别是编码器与解码器；(3)GCIRNet接收来自图像分割单元分割后的图像，并且用分割后的无夹带图像提前训练好，这样当GCIRNet接收到有夹带图像后会非常敏感，并立即识别出来；在本实施例中，把训练好的GCIRNet封装到ARM机中的图像识别单元。
在本实施例中，图像识别模型GCIRNet由于是一个典型的二分类问题，因此选用交叉熵作为损失函数，通过最小化交叉熵损失函数从而获得GCIRNet模型的最优参数，交叉熵损失函数的标准形式如下：
Figure BDA0002599688950000134
公式(8)是图像识别模型GCIRNet的损失函数，其中N1表示样本总数，x表示样本，y表示实际的标签，y表示预测的输出。
图9是本发明绿色通道图像夹带识别算法流程图，具体如下：首先从内存中取出原始图像数据，输入到GCIDNet进行去噪处理，得到去噪图像；然后再把去噪图像输入到GCIENet进行增强处理，得到增强图像；再把增强图像和从内存中取出的货物数据一起输入到U-Net进行图像分割，得到分割图像；最后把分割图像和货物数据一起输入到GCIRNet进行识别，把得到的识别结果输送到显示器和后台数据库，进行识别结果的显示和存储。
本发明设计开发的绿色通道货物扫描图像夹带识别方法，能够识别未知绿色通道图片数据，并预测未知图片数据对应的货物种类以及夹带情况，提高识别精度。
尽管本发明的实施方案已公开如上，但不仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图例。

Claims (10)

1.一种绿色通道货物扫描图像夹带识别器，其特征在于，包括：
第一接口单元；
输入单元，其与所述第一接口单元连接，用于绿色通道图像数据和货物信息的输入；
自动识别器，其与所述输入单元连接，用于接收所述绿色通道图像数据和货物信息并识别；
显示单元，其与所述第一接口单元连接，用于输出显示识别结果；
其中，所述自动识别器包括：
微处理器；
第二接口单元，其与所述微处理器和所述第一接口单元连接；
存储单元，其同时与所述第二接口单元和所述微处理器连接，用于存储数据；
处理单元，其同时与所述存储单元和所述微处理器连接，用于处理数据并输出识别结果。
2.如权利要求1所述的绿色通道货物扫描图像夹带识别器，其特征在于，
所述第一接口单元包括第一USB接口、第一JTAG调试接口，第一以太网接口和第一RS-232接口；
所述第二接口单元包括第二USB接口、第二JTAG调试接口，第二以太网接口和第二RS-232接口；
其中，所述第一JTAG调试接口通过转换设备与所述第二JTAG调试接口连接，所述第一以太网接口与所述第二以太网接口连接，所述第一RS-232接口与所述第二RS-232接口连接。
3.如权利要求2所述的绿色通道货物扫描图像夹带识别器，其特征在于，所述存储单元包括：
内存储单元；
缓存单元，其与所述内存储单元链接，用于存储中间数据；
外存储单元，其同时与所述第二RS-232接口和所述内存储单元连接，用于存储识别结果并传输至所述显示单元。
4.如权利要求3所述的绿色通道货物扫描图像夹带识别器，其特征在于，所述处理单元包括：
图像去噪单元，其与所述缓存单元连接，用于对绿色通道图像数据进行去噪；
图像增强单元，其与所述图像去噪单元连接，用于增强去噪后的图像数据；
图像分割单元，其与所述图像增强单元连接，用于分割增强后的图像数据；
图像识别单元，其同时与所述缓存单元、所述图像分割单元和所述外存储单元连接，用于获取缓存单元的货物信息数据和图像分割单元的输出数据，并输出识别结果至所述外存储单元。
5.如权利要求4所述的绿色通道货物扫描图像夹带识别器，其特征在于，所述内存储单元的数据输入口Vin引脚与所述微处理器的数据输出Vout引脚连接，数据输出口Vout引脚与所述缓存单元的数据输入口Vin引脚连接，GND与所述微处理器的GND引脚连接；所述缓存单元的数据输出口Vout引脚与所述图像去噪单元的数据输入口Vin引脚、图像增强单元的数据输入口Vin引脚以及所述微处理器的数据输入Vin引脚连接，GND引脚与所述微处理器的GND引脚连接；所述外存储单元的数据输入口Vin引脚与所述图像识别单元的数据输出口Vout引脚连接，数据输出口Vout引脚与所述微处理器的数据输入Vin引脚连接，GND引脚与所述微处理器的GND引脚连接。
6.如权利要求4所述的绿色通道货物扫描图像夹带识别器，其特征在于，所述图像去噪单元的数据输出口Vout引脚分别与所述微处理器的数据输入Vin引脚及图像增强单元的数据输入口Vin引脚连接，GND引脚与所述微处理器的GND引脚连接；所述图像增强单元的数据输出口Vout引脚与图像分割单元的数据输入口Vin引脚连接，GND引脚与所述微处理器的GND引脚连接；所述图像分割单元的数据输出口Vout引脚与图像识别单元数据的输入口Vin引脚连接，GND引脚与所述微处理器的GND引脚连接；所述图像识别单元的GND引脚与所述微处理器的GND连接。
7.一种绿色通道货物扫描图像夹带识别方法，其特征在于，包括如下步骤：
步骤1、通过输入单元输入未知绿色通道图像数据，传输至内存储单元，并存储至缓存单元内；
步骤2、获取所述缓存单元内的所有的未知绿色通道图像数据，依次传输至图像去噪单元和图像增强单元进行去噪和增强处理，得到清晰图像数据；
步骤3、将所述清晰图像传输至图像分割单元进行图像分割，并将分割后的图像传输至图像识别单元，得到识别结果并传输至显示单元。
8.如权利要求7所述的绿色通道货物扫描图像夹带识别方法，其特征在于，在所述步骤2中，通过最小化第一损失函数获得最优参数进而在所述图像去噪单元进行去噪；
所述第一损失函数为
Figure FDA0002599688940000031
式中，N表示待处理图像块的总数量，θ表示该模型的参数，yi表示第i个待处理图像块，xi表示与yi对应的处理后的第i个图像块，f表示噪声映射。
9.如权利要求7所述的绿色通道货物扫描图像夹带识别方法，其特征在于，在所述步骤2中，在所述图像增强单元进行增强处理过程包括：
步骤2.1、通过特征提取函数进行特征提取；所述特征提取函数为F1(P)＝ReLU(0,W1*P+B1)；式中，P表示大小为n*n的输入图像块，W1和B1表示滤波器的权值和偏差，ReLU表示整流线性单元；
步骤2.2、通过特征增强函数进行特征增强；所述特征增强函数为F2(P)＝ReLU(0,W2*F1(P)+B2)；式中，W2是n2个大小为f2*f2*n1的滤波器，B2是一个n2维向量；
步骤2.3、通过非线性映射函数进行特征非线性映射；所述非线性映射函数为F3(P)＝ReLU(0,W3*F2(P)+B3)；式中，W3包含大小为f3*f3*n2的n3滤波器，B3是一个n3维向量；
步骤2.4、通过重构函数进行特征重构进而得到增强图像；所述重构函数为F4(P)＝W4*F3(P)+B4；式中，W4包含大小为f4*f4*n3的n4滤波器，B4为n4维向量；
步骤2.5、通过最小化第二损失函数获得最优参数进而得到增强后的图像：所述第二损失函数为
Figure FDA0002599688940000041
式中，N表示待处理的图像块的总数，Pi为第i个输入图像块，Yi为与Pi对应的增强图像块，F为学习映射函数。
10.如权利要求7所述的绿色通道货物扫描图像夹带识别方法，其特征在于，在所述步骤3中，通过最小化交叉熵损失函数获得最优参数进而在所述图像识别单元得到识别结果；
所述交叉熵损失函数为
Figure FDA0002599688940000042
式中，N1表示样本总数，x表示样本，y表示实际的标签，
Figure FDA0002599688940000043
表示预测的输出。
CN202010720216.0A 2020-07-24 2020-07-24 一种绿色通道货物扫描图像夹带自动识别器及识别方法 Active CN111860361B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010720216.0A CN111860361B (zh) 2020-07-24 2020-07-24 一种绿色通道货物扫描图像夹带自动识别器及识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010720216.0A CN111860361B (zh) 2020-07-24 2020-07-24 一种绿色通道货物扫描图像夹带自动识别器及识别方法

Publications (2)

Publication Number Publication Date
CN111860361A true CN111860361A (zh) 2020-10-30
CN111860361B CN111860361B (zh) 2023-07-25

Family

ID=72950026

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010720216.0A Active CN111860361B (zh) 2020-07-24 2020-07-24 一种绿色通道货物扫描图像夹带自动识别器及识别方法

Country Status (1)

Country Link
CN (1) CN111860361B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112926928A (zh) * 2021-04-07 2021-06-08 深圳市优服信息技术有限公司 一种仓储库存管理软件
CN113256582A (zh) * 2021-05-21 2021-08-13 兰州兰石检测技术有限公司 一种基于U-net网络马氏体金相中原奥氏体晶界识别方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150189239A1 (en) * 2013-12-27 2015-07-02 Nuctech Company Limited Fluoroscopic inspection method, device and storage medium for automatic classification and recognition of cargoes
CN107301387A (zh) * 2017-06-16 2017-10-27 华南理工大学 一种基于深度学习的图像高密度人群计数方法
CN108154168A (zh) * 2016-12-05 2018-06-12 Sap欧洲公司 综合货物检验系统及方法
US20180260959A1 (en) * 2017-03-08 2018-09-13 Tsinghua University Inspection apparatuses and methods for segmenting an image of a vehicle
JP2018165948A (ja) * 2017-03-28 2018-10-25 国立大学法人神戸大学 画像認識装置、画像認識方法、コンピュータプログラム、及び製品監視システム
DE102017119414A1 (de) * 2017-08-24 2019-02-28 Wirelane Gmbh Ladevorrichtung und Verfahren zum Betreiben einer Ladevorrichtung sowie Vorrichtung zur Datenverarbeitung und Computerprogrammprodukt
CN109800709A (zh) * 2019-01-18 2019-05-24 张琪培 一种基于深度学习的自动回转柜自动识别系统及方法
CN109978778A (zh) * 2019-03-06 2019-07-05 浙江工业大学 基于残差学习的卷积神经网络医学ct图像去噪方法
CN110021340A (zh) * 2018-07-30 2019-07-16 吉林大学 一种基于卷积神经网络和规划动态算法的rna二级结构生成器及其预测方法
CN110390341A (zh) * 2019-07-26 2019-10-29 长安大学 基于卷积神经网络的绿通车运载货物放射源图像识别方法
CN110533023A (zh) * 2019-07-08 2019-12-03 天津商业大学 一种用于检测识别铁路货车异物的方法及装置
CN110954546A (zh) * 2019-12-20 2020-04-03 上海撬动网络科技有限公司 一种非固定场景的集装箱图像采集和验视系统

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150189239A1 (en) * 2013-12-27 2015-07-02 Nuctech Company Limited Fluoroscopic inspection method, device and storage medium for automatic classification and recognition of cargoes
CN108154168A (zh) * 2016-12-05 2018-06-12 Sap欧洲公司 综合货物检验系统及方法
US20180260959A1 (en) * 2017-03-08 2018-09-13 Tsinghua University Inspection apparatuses and methods for segmenting an image of a vehicle
JP2018165948A (ja) * 2017-03-28 2018-10-25 国立大学法人神戸大学 画像認識装置、画像認識方法、コンピュータプログラム、及び製品監視システム
CN107301387A (zh) * 2017-06-16 2017-10-27 华南理工大学 一种基于深度学习的图像高密度人群计数方法
DE102017119414A1 (de) * 2017-08-24 2019-02-28 Wirelane Gmbh Ladevorrichtung und Verfahren zum Betreiben einer Ladevorrichtung sowie Vorrichtung zur Datenverarbeitung und Computerprogrammprodukt
CN110021340A (zh) * 2018-07-30 2019-07-16 吉林大学 一种基于卷积神经网络和规划动态算法的rna二级结构生成器及其预测方法
CN109800709A (zh) * 2019-01-18 2019-05-24 张琪培 一种基于深度学习的自动回转柜自动识别系统及方法
CN109978778A (zh) * 2019-03-06 2019-07-05 浙江工业大学 基于残差学习的卷积神经网络医学ct图像去噪方法
CN110533023A (zh) * 2019-07-08 2019-12-03 天津商业大学 一种用于检测识别铁路货车异物的方法及装置
CN110390341A (zh) * 2019-07-26 2019-10-29 长安大学 基于卷积神经网络的绿通车运载货物放射源图像识别方法
CN110954546A (zh) * 2019-12-20 2020-04-03 上海撬动网络科技有限公司 一种非固定场景的集装箱图像采集和验视系统

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
QING LIU,等: "A Review of Image Recognition with Deep Convolutional Neural Network", 《ICIC 2017: INTELLIGENT COMPUTING THEORIES AND APPLICATION》, vol. 10361, pages 69 *
YUNZE MAN等: "Deep Q Learning Driven CT Pancreas Segmentation With Geometry-Aware U-Net", 《IEEE TRANSACTIONS ON MEDICAL IMAGING》, vol. 38, pages 1971 - 1980, XP011736968, DOI: 10.1109/TMI.2019.2911588 *
叶平等: ""智能机检":人工智能在海关监管领域的应用研究", 《海关与经贸研究》, vol. 39, no. 2, pages 34 - 43 *
白汝庆: "绿色通道车辆快速验货系统在高速公路上的应用", 《北方交通》, no. 03, pages 104 - 106 *
陈玉婷等: "基于交叉熵的CNN交通标志识别方法研究", 《软件导刊》 *
陈玉婷等: "基于交叉熵的CNN交通标志识别方法研究", 《软件导刊》, vol. 17, no. 12, 15 December 2018 (2018-12-15), pages 24 - 28 *
马玉琪: "基于图像处理的"绿色通道"检测系统研究与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
马玉琪: "基于图像处理的"绿色通道"检测系统研究与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 1, 15 January 2019 (2019-01-15), pages 138 - 4531 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112926928A (zh) * 2021-04-07 2021-06-08 深圳市优服信息技术有限公司 一种仓储库存管理软件
CN113256582A (zh) * 2021-05-21 2021-08-13 兰州兰石检测技术有限公司 一种基于U-net网络马氏体金相中原奥氏体晶界识别方法

Also Published As

Publication number Publication date
CN111860361B (zh) 2023-07-25

Similar Documents

Publication Publication Date Title
CN106875381B (zh) 一种基于深度学习的手机外壳缺陷检测方法
Wang et al. RENet: Rectangular convolution pyramid and edge enhancement network for salient object detection of pavement cracks
CN111080693A (zh) 一种基于YOLOv3的机器人自主分类抓取方法
CN111444917A (zh) 车牌字符识别方法、装置、电子设备和存储介质
Zheng et al. HLU 2-Net: a residual U-structure embedded U-Net with hybrid loss for tire defect inspection
CN103424409A (zh) 一种基于dsp的视觉检测系统
CN111738344A (zh) 一种基于多尺度融合的快速目标检测方法
CN107545263A (zh) 一种物体检测方法及装置
CN111860361B (zh) 一种绿色通道货物扫描图像夹带自动识别器及识别方法
CN111680739A (zh) 一种目标检测和语义分割的多任务并行方法及系统
CN109948637A (zh) 对象检测装置、对象检测方法及计算机可读介质
CN113052295B (zh) 一种神经网络的训练方法、物体检测方法、装置及设备
CN115861619A (zh) 一种递归残差双注意力核点卷积网络的机载LiDAR城市点云语义分割方法与系统
CN115294033A (zh) 一种基于语义分割网络的轮胎带束层差级和错边缺陷检测方法
Cao et al. Real-time gesture recognition based on feature recalibration network with multi-scale information
CN115937552A (zh) 一种基于融合手工特征与深度特征的图像匹配方法
CN112967271B (zh) 一种基于改进DeepLabv3+网络模型的铸件表面缺陷识别方法
Yanmin et al. Research on ear recognition based on SSD_MobileNet_v1 network
CN117237715A (zh) 一种基于多分支混合量子经典神经网络的图像多分类方法
CN114937153B (zh) 弱纹理环境下基于神经网络的视觉特征处理系统及方法
CN117011260A (zh) 一种芯片外观缺陷自动检测方法、电子设备及存储介质
CN116309398A (zh) 一种多通道特征融合学习的印制电路板小目标缺陷检测方法
CN111291820B (zh) 一种结合定位信息和分类信息的目标检测方法
CN115861229A (zh) 一种基于YOLOv5s元器件封装缺陷X射线检测方法
CN115937736A (zh) 基于注意力和上下文感知的小目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant