CN114926643A - 厢式货车的车厢门状态识别方法、装置、设备和存储介质 - Google Patents

厢式货车的车厢门状态识别方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN114926643A
CN114926643A CN202210600802.0A CN202210600802A CN114926643A CN 114926643 A CN114926643 A CN 114926643A CN 202210600802 A CN202210600802 A CN 202210600802A CN 114926643 A CN114926643 A CN 114926643A
Authority
CN
China
Prior art keywords
module
van
image
door
carriage door
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210600802.0A
Other languages
English (en)
Inventor
徐梦佳
李斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dongpu Software Co Ltd
Original Assignee
Dongpu Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dongpu Software Co Ltd filed Critical Dongpu Software Co Ltd
Priority to CN202210600802.0A priority Critical patent/CN114926643A/zh
Publication of CN114926643A publication Critical patent/CN114926643A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/225—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/24—Reminder alarms, e.g. anti-loss alarms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种厢式货车的车厢门状态识别方法、装置、设备和存储介质，针对物流货车在装货或卸货时由于车厢门没有固定而存在安全隐患的问题，通过采集生成图像数据集；构建基于RegNet的图像识别模型，对图像识别模型进行训练和优化，直至图像识别模型的识别准确率达到预设阈值；基于训练好的图像识别模型，对待测厢式货车的图像进行识别，输出识别结果。可有效识别物流货车在装货或卸货时的车厢门状态，对车厢门未规范固定的车辆进行报警提醒，减少可能出现的安全隐患。与传统的依靠特定的安检员实时检查相比，减少人力成本，并且采用计算机视觉技术降低漏检率，提高准确率。

Description

厢式货车的车厢门状态识别方法、装置、设备和存储介质
技术领域
本发明属于物流管理的技术领域，尤其涉及一种厢式货车的车厢门状态识别方法、装置、设备和存储介质。
背景技术
随着社会发展，物流运输给我们的生活带来了便利。考虑到运力和时效等因素，越来越多的厢式货车被应用在物流运输中。当厢式货车卸货时，经常需要停靠在路边，然后将车厢门打开转动至货车两侧进行卸货，由于车厢门通常是转动设置在车厢架上，车厢门打开后可能因为振动等行为，使得车厢门容易沿着车厢架自动转动，这是十分危险的。工作人员在卸货时，如果没有注意到车厢门发生转动，此时货车旁路过的行人或汽车来不及刹车，容易撞到车厢门发生安全事故。
因此，在货车卸货和装货的过程中，厢式货车严格要求车厢门打开后固定在指定挂钩处。但是依然存在不遵守规则或者遗忘的现象，这存在着极大的安全隐患。
发明内容
本发明的目的是提供一种厢式货车的车厢门状态识别方法、装置、设备和存储介质，可有效识别物流货车在装货或卸货时的车厢门状态，对车厢门未规范固定的车辆进行报警提醒，减少可能出现的安全隐患。
为解决上述问题，本发明的技术方案为：
一种厢式货车的车厢门状态识别方法，包括：
服务端对物流货车装货或卸货时的厢式货车进行图像采集，生成样品图像；
对样品图像进行二值化处理，并对车厢门区域进行标记，生成图像数据集；对图像数据集按车厢门规范固定、车厢门不规范固定、车厢门未固定，进行分类；
构建基于RegNet的图像识别模型，将图像数据集随机划分为测试集和训练集，对图像识别模型进行训练和优化，直至图像识别模型的识别准确率达到预设阈值；
基于训练好的图像识别模型，对待测厢式货车的图像进行识别，输出识别结果；判断识别结果是否为车厢门规范固定，若否，则发出预警。
根据本发明一实施例，所述判断识别结果是否为车厢门规范固定，若否，则发出预警，进一步包括：
当识别结果为车厢门不规范固定或车厢门未固定时，提取待测厢式货车的图像；
基于OCR算法，获取厢式货车的车牌号码；
基于预存的车辆信息表，获取相应的司机信息，将车厢门不规范固定或车厢门未固定的告警信息反馈至司机。
根据本发明一实施例，所述构建基于RegNet的图像识别模型，进一步包括：
构建由输入模块、核心模块和输出模块构成的RegNet图像识别模型；
其中，输入模块依次包括一个卷积层、一个池化层和批归一化层；
核心模块以RegNet网络架构为基础，由a个第一模块，b个第二模块、c个第三模块，叠加构成；其中，第一模块包含一维卷积层、一维批量归一化层；第二模块包含一维卷积层、一维批量归一化层、激活函数层；第三模块包括一维卷积层、一维批量归一化层、激活函数层、瓶颈层；
输出模块包括自适应池化层和全连接层。
根据本发明一实施例，所述服务端对物流货车装货或卸货时的厢式货车进行图像采集，进一步包括：
构建基于计算机视觉的目标检测网络，用于检测物流视频流中是否存在厢式货车，截取装货或卸货时的厢式货车的图像。
根据本发明一实施例，所述构建基于计算机视觉的目标检测网络，进一步包括：
构建由依次顺连的Focus层、第一CBL模块、第一CSP_A模块、第二CBL模块、第二CSP_A模块、第一AC-Block模块、第三CBL模块、第三CSP_A模块、第二AC-B1ock模块、第四CBL模块、SPP模块、第一CSP_B模块、第五CBL模块、第一Concat模块、第二CSP_B模块、第六CBL模块、第二Concat模块、CSP_C模块和CONV模块组成的目标检测网络。
根据本发明一实施例，所述目标检测网络还包括第一FA模块、第二FA模块；
所述第一FA模块的输入端与第一AC-Block模块的输出端相连，其输出端连接第二Concat模块；
所述第二FA模块的输入端与第二AC-Block模块的输出端相连，其输出端连接第一Concat模块。
一种厢式货车的车厢门状态识别装置，包括：
图像采集模块，用于服务端对物流货车装货或卸货时的厢式货车进行图像采集，生成样品图像；
图像处理模块，用于对样品图像进行二值化处理，并对车厢门区域进行标记，生成图像数据集；对图像数据集按车厢门规范固定、车厢门不规范固定、车厢门未固定，进行分类；
模型构建与训练模块，构建基于RegNet的图像识别模型，将图像数据集随机划分为测试集和训练集，对图像识别模型进行训练和优化，直至图像识别模型的识别准确率达到预设阈值；
识别模块，用于基于训练好的图像识别模型，对待测厢式货车的图像进行识别，输出识别结果；判断识别结果是否为车厢门规范固定，若否，则发出预警。
根据本发明一实施例，所述识别模块进一步用于当识别结果为车厢门不规范固定或车厢门未固定时，提取待测厢式货车的图像；基于OCR算法，获取厢式货车的车牌号码；并基于预存的车辆信息表，获取相应的司机信息，将车厢门不规范固定或车厢门未固定的告警信息反馈至司机。
一种厢式货车的车厢门状态识别设备，包括：存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行本发明一实施例中的厢式货车的车厢门状态识别方法中的步骤。
一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行本发明一实施例中的厢式货车的车厢门状态识别方法中的步骤。
本发明由于采用以上技术方案，使其与现有技术相比具有以下的优点和积极效果：
本发明一实施例中的厢式货车的车厢门状态识别方法，针对物流货车在装货或卸货时由于车厢门没有固定而存在安全隐患的问题，通过采集相关图像，生成样品图像；对样品图像进行二值化处理，并对车厢门区域进行标记，生成图像数据集；对图像数据集按车厢门规范固定、车厢门不规范固定、车厢门未固定，进行分类；构建基于RegNet的图像识别模型，将图像数据集随机划分为测试集和训练集，对图像识别模型进行训练和优化，直至图像识别模型的识别准确率达到预设阈值；基于训练好的图像识别模型，对待测厢式货车的图像进行识别，输出识别结果；判断识别结果是否为车厢门规范固定，若否，则发出预警。可有效识别物流货车在装货或卸货时的车厢门状态，对车厢门未规范固定的车辆进行报警提醒，减少可能出现的安全隐患。与传统的依靠特定的安检员实时检查相比，减少人力成本，并且采用计算机视觉技术降低漏检率，提高准确率。
附图说明
图1为本发明一实施例中的厢式货车的车厢门状态识别方法流图；
图2为本发明一实施例中的目标检测网络的示意图；
图3为本发明一实施例中的RegNet网络架构示意图；
图4为本发明一实施例中的厢式货车的车厢门状态识别装置框图；
图5为本发明一实施例中的厢式货车的车厢门状态识别设备示意图。
具体实施方式
以下结合附图和具体实施例对本发明提出的一种厢式货车的车厢门状态识别方法、装置、设备和存储介质作进一步详细说明。根据下面说明和权利要求书，本发明的优点和特征将更清楚。
实施例一
本实施例针对物流货车在装货或卸货时由于车厢门没有固定而存在安全隐患的问题，提供了一种厢式货车的车厢门状态识别方法，基于计算机视觉技术，搭建RegNet模型，对车厢门状态进行识别，当识别结果为“固定不规范”或“未固定”时，进一步根据OCR方法提取车牌号信息，做到车辆与司机匹配，结合检测的车牌号和车厢门识别状态得到最终结果，并将最终结果通过手机APP等反馈给对应司机，对不规范的车厢门状态及时告警和控制，预防事故的发生。
请参看图1，该厢式货车的车厢门状态识别方法，包括以下步骤：
S1：服务端对物流货车装货或卸货时的厢式货车进行图像采集，生成样品图像；
S2：对样品图像进行二值化处理，并对车厢门区域进行标记，生成图像数据集；对图像数据集按车厢门规范固定、车厢门不规范固定、车厢门未固定，进行分类；
S3：构建基于RegNet的图像识别模型，将图像数据集随机划分为测试集和训练集，对图像识别模型进行训练和优化，直至图像识别模型的识别准确率达到预设阈值；
S4：基于训练好的图像识别模型，对待测厢式货车的图像进行识别，输出识别结果；判断识别结果是否为车厢门规范固定，若否，则发出预警。
在步骤S1中，服务端对物流货车装货或卸货时的厢式货车进行图像采集，生成样品图像。本实施例采用构建基于计算机视觉的目标检测网络，来检测物流视频流中是否存在厢式货车，截取装货或卸货时的厢式货车的图像，生成样品图像。
在构建基于计算机视觉的目标检测网络时，请参看图2，该目标检测网络包括：
依次顺连的Focus层、第一CBL模块、第一CSP_A模块、第二CBL模块、第二CSP_A模块、第一AC-Block模块、第三CBL模块、第三CSP_A模块、第二AC-B1ock模块、第四CBL模块、SPP模块、第一CSP_B模块、第五CBL模块、第一Concat模块、第二CSP_B模块、第六CBL模块、第二Concat模块、CSP_C模块和CONV模块。
其中，Focus层的作用是将其复制四份，然后通过切片操作将四个图片切成四个切片。
CSP_A模块先是经过1×1的卷积结构(Conv+Batch_norm+Leaky relu，CBL)，然后通过残差结构与初始输入相加，最后再通过残差结构与初始输入拼接。
CSP_B模块则是经过3×3的卷积结构，直接通过残差结构与初始输入拼接。
CSP_A模块应用于Backbone主干网络，CSP_B模块则应用于Neck中。Neck采用了FPN+PAN结构，FPN层自顶向下传达强语义特征，将高层的特征信息通过上采样的方式进行传递融合，输出76*76、38*38和19*19的特征图；后接一个PAN结构，自底向上传达强定位特征，采用下采样的方式，输出76*76、38*38和19*19的特征图，并与FPN结构的输出图进行concate操作，从不同的主干层对不同的检测层进行参数聚合。
进一步地，为了克服因提取特征的能力较差而表现出的检测准确率不高的缺陷，本实施例中的目标检测网络还包括两个FA模块，即第一FA模块、第二FA模块。其中，
第一FA模块的输入端与第一AC-Block模块的输出端相连，其输出端连接第二Concat模块；第二FA模块的输入端与第二AC-Block模块的输出端相连，其输出端连接第一Concat模块。
上述FA模块分为通道特征注意力CFA以及像素特征注意力PFA，通道特征注意力CFA负责给不同通道的特征图分配不同的权重；像素特征注意力PFA负责对图像不同区域给予不同权重的关注。
本实施例通过上述目标检测网络检测物流视频中的厢式货车，自动截取装货或卸货时的厢式货车的图像，生成样品图像。需要注意的是，样品图像可被识别出车厢门状态和车牌号码。
在步骤S2中，对样品图像进行二值化处理，并对车厢门区域进行标记，生成图像数据集；对图像数据集按车厢门规范固定、车厢门不规范固定、车厢门未固定，进行分类。
得到样品图像后，对样品图像进行预处理：将样品图像的原始彩色图像转化为灰度图像，并对灰度图像进行滤波处理，滤波之后突出厢式货车的车厢门区域，弱化其他区域，实现二值化处理。然后对图像进行随机水平/垂直翻转、旋转、裁剪操作，增加训练集样本容量，增加模型的泛化能力和鲁棒性。
对处理后的样本图像进行标记，按车厢门规范固定、车厢门不规范固定、车厢门未固定，进行分类，生成图像数据集，用于对模型的训练和优化。
对样本图像进行标注时，可使用目标检测标注工具labelimg对每张图像的车厢门区域进行标注，再对标注区域进行分类。如车厢门规范固定记为“0”，车厢门不规范固定记为“1”，车厢门未固定记为“2”。其中，车厢门规范固定的判断标准为：车厢门打开后固定在指定挂钩处或其他固定装置上。车厢门不规范固定的判断标准为：车厢门打开后未按要求固定在指定挂钩处或其他固定装置上，但车厢门暂时不会晃动。
在步骤S3中，构建基于RegNet的图像识别模型，将图像数据集随机划分为测试集和训练集，对图像识别模型进行训练和优化，直至图像识别模型的识别准确率达到预设阈值。
构建由输入模块、核心模块和输出模块构成的RegNet图像识别模型。其中，输入模块依次包括一个卷积层Conv1d、一个池化层Pool1d和批归一化层BatchNorm1d。
核心模块是以RegNet网络架构为基础，并由a个第一模块block1、b个第二模块block2、c个第三模块block3叠加构成。其中，第一模块block1包含一维卷积层Conv1d、一维批量归一化层BatchNorm1d；第二模块block2包含一维卷积层Conv1d、一维批量归一化层BatchNorm1d、激活函数层ReLU；第三模块block3包括Conv1d、BatchNorm1d、ReLU、瓶颈层Bottleneck。本实施例中，a＝4，b＝33，c＝16；
输出模块包括自适应池化层AdaptiveAvgPool1d和全连接层。本实例中输入数据经核心架构处理后送入自适应池化层和全连接层后得到的结果作为输出。
上述RegNet网络架构，请参看图3。在RegNet设计空间中，网络的基本设计非常简单。给定一个输入图像，一个网络的组成包括一个简单的stem，然后是执行大部分计算的网络主体(body)，以及预测输出类别的最终网络头(head)组成，见图3a。在实际应用中，可保持stem和head固定，并且是尽可能的简单，重点关注的body的结构，这是决定网络计算和准确性的核心。
网络body由4个阶段组成，以逐渐降低的分辨率运行，见图3b。每个阶段由一系列相同的块组成，见图3c。总的来说，对于每个阶段i，自由度包括块数di、块宽度wi和任何其他块参数。
本实施例采用d、w0、wa、wm、b、g这六个自由变量来控制网络结构的空间。其中，d为网络深度，w0为网络初始宽度，wa为坡度，wm为用于控制量化的参数，b为网络的瓶颈比，g为组宽度。
对于网络结构的每个阶段i，其块宽度wi可按以下公式线性参数化：
uj＝w0+wa·j for 0≤j＜d
此线性参数化包括3个参数：深度d，初始宽度w0＞0和坡度wa＞0，并为每个块j＜d生成不同的块宽度uj。为了量化uj，引入参数wm＞0，如下所示：
Figure BDA0003669171030000081
将sj四舍五入取整，表示为
Figure BDA0003669171030000082
得到计算量化的每块宽度wj：
Figure BDA0003669171030000083
如此，便得到网络body每个阶段的每块宽度wj，实现为简单的计数宽度恒定的块的数量。即，每个阶段i有块数
Figure BDA0003669171030000084
块宽度
Figure BDA0003669171030000085
构建好基于RegNet的图像识别模型之后，需要对图像识别模型进行训练，将图像训练集按一定比例划分为测试集、训练集和验证集。本实施例通过以下方法对模型进行训练：
设置模型训练相关参数：初始化学习率为lr、当前迭代次数为epoch、最优决定系数为R2max、学习率调整迭代值t＝0，设置调整周期阈值为tmax。本实施例中，设置初始学习率lr＝0.01，epoch＝1，R2max＝0，tmax＝2，即当累计两次R2的值没有提高时，就降低学习率进行调整，同时t重新置0；
在第epoch次迭代中将训练集按照每批次的大小为bs输入到基于RegNet的图像识别模型中进行训练。本实施例中，设置bs＝32，对数据进行归一化处理后输入模型进行训练。
在第epoch次迭代训练后在验证集上按照每批次大小为bs对第epoch次
训练的模型进行验证，计算当前第epoch次训练的模型的决定系数
Figure BDA0003669171030000091
作为评估指标，若
Figure BDA0003669171030000092
则将
Figure BDA0003669171030000093
的值赋值给R2max，并保存当前第epoch次训练的模型的参数；若
Figure BDA0003669171030000094
则将t+1赋值给t后，判断t＝tmax是否成立，若成立，则将学习率lr调整为0.5lr；否则，保持学习率lr。本实施例中，决定系数R2反应了模型输出数据的波动有多少百分比能被模型输入数据的波动所描述，对模型进行线性回归后，以之来评价回归模型系数拟合优度。
将epoch+1赋值给epoch后，返回上述步骤，直到决定系数R2不再提高时，停止训练并将最后一次训练的模型作为最优的图像识别模型。
在步骤S4中，基于训练好的图像识别模型，对待测厢式货车的图像进行识别，输出识别结果；判断识别结果是否为车厢门规范固定，若否，则发出预警。
基于训练好的图像识别模型，对待测厢式货车的图像进行识别，输出识别结果，该识别结果车厢门规范固定、车厢门不规范固定、车厢门未固定中的一种。当识别结果为车厢门不规范固定或车厢门未固定时，提取待测厢式货车的图像；基于OCR(Optical CharacterRecognition，文本识别)算法，获取厢式货车的车牌号码；基于预存的车辆信息表，获取相应的司机信息，将车厢门不规范固定或车厢门未固定的告警信息反馈至司机。该车辆信息表中记录了司机信息。
其中，对车牌号码的获取，可以采用现有的OCR文字识别工具实现，其涉及的OCR算法在此不做介绍。
综上，本实施例中的厢式货车的车厢门状态识别方法，针对物流货车在装货或卸货时由于车厢门没有固定而存在安全隐患的问题，通过采集相关图像，生成样品图像；对样品图像进行二值化处理，并对车厢门区域进行标记，生成图像数据集；对图像数据集按车厢门规范固定、车厢门不规范固定、车厢门未固定，进行分类；构建基于RegNet的图像识别模型，将图像数据集随机划分为测试集和训练集，对图像识别模型进行训练和优化，直至图像识别模型的识别准确率达到预设阈值；基于训练好的图像识别模型，对待测厢式货车的图像进行识别，输出识别结果；判断识别结果是否为车厢门规范固定，若否，则发出预警。可有效识别物流货车在装货或卸货时的车厢门状态，对车厢门未规范固定的车辆进行报警提醒，减少可能出现的安全隐患。与传统的依靠特定的安检员实时检查相比，减少人力成本，并且采用计算机视觉技术降低漏检率，提高准确率。
实施例二
本实施例提供了一种厢式货车的车厢门状态识别装置，请参看图4，该车厢门状态识别装置包括：
图像采集模块1，用于服务端对物流货车装货或卸货时的厢式货车进行图像采集，生成样品图像；
图像处理模块2，用于对样品图像进行二值化处理，并对车厢门区域进行标记，生成图像数据集；对图像数据集按车厢门规范固定、车厢门不规范固定、车厢门未固定，进行分类；
模型构建与训练模块3，构建基于RegNet的图像识别模型，将图像数据集随机划分为测试集和训练集，对图像识别模型进行训练和优化，直至图像识别模型的识别准确率达到预设阈值；
识别模块4，用于基于训练好的图像识别模型，对待测厢式货车的图像进行识别，输出识别结果；判断识别结果是否为车厢门规范固定，若否，则发出预警。
其中，识别模块4还用于当识别结果为车厢门不规范固定或车厢门未固定时，提取待测厢式货车的图像；基于OCR算法，获取厢式货车的车牌号码；并基于预存的车辆信息表，获取相应的司机信息，将车厢门不规范固定或车厢门未固定的告警信息反馈至司机。
上述图像采集模块1、图像处理模块2、模型构建与训练模块3及识别模块4的功能及实现方式均如上述实施例一中所述，在此不再赘述。
实施例三
本实施例提供了一种厢式货车的车厢门状态识别设备。请参看图5，该厢式货车的车厢门状态识别设备500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)510(例如，一个或一个以上处理器)和存储器520，一个或一个以上存储应用程序533或数据532的存储介质530(例如一个或一个以上海量存储设备)。其中，存储器520和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对厢式货车的车厢门状态识别设备500中的一系列指令操作。
进一步，处理器510可以设置为与存储介质530通信，在厢式货车的车厢门状态识别设备500上执行存储介质530中的一系列指令操作。
厢式货车的车厢门状态识别设备500还可以包括一个或一个以上电源540，一个或一个以上有线或无线的网络接口550，一个或一个以上输入输出接口560，和/或，一个或一个以上操作系统531，例如Windows Serve、Vista等等。
本领域技术人员可以理解，图5示出的厢式货车的车厢门状态识别设备结构并不构成对厢式货车的车厢门状态识别设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本发明的另一实施例还提供了一种计算机可读存储介质。
该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质。该计算机可读存储介质中存储有指令，当该指令在计算机上运行时，使得计算机执行实施例一中的厢式货车的车厢门状态识别方法的步骤。
厢式货车的车厢门状态识别方法如果以程序指令的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件的形式体现出来，该计算机软件存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-onlymemory，ROM)、随机存取存储器(Random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
所属领域的技术人员可以清楚地了解到，为描述得方便和简洁，上述描述的系统及设备的具体执行的识别内容，可以参考前述方法实施例中的对应过程。
上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式。即使对本发明作出各种变化，倘若这些变化属于本发明权利要求及其等同技术的范围之内，则仍落入在本发明的保护范围之中。

Claims (10)

1.一种厢式货车的车厢门状态识别方法，其特征在于，包括：
服务端对物流货车装货或卸货时的厢式货车进行图像采集，生成样品图像；
对样品图像进行二值化处理，并对车厢门区域进行标记，生成图像数据集；对图像数据集按车厢门规范固定、车厢门不规范固定、车厢门未固定，进行分类；
构建基于RegNet的图像识别模型，将图像数据集随机划分为测试集和训练集，对图像识别模型进行训练和优化，直至图像识别模型的识别准确率达到预设阈值；
基于训练好的图像识别模型，对待测厢式货车的图像进行识别，输出识别结果；判断识别结果是否为车厢门规范固定，若否，则发出预警。
2.如权利要求1所述的厢式货车的车厢门状态识别方法，其特征在于，所述判断识别结果是否为车厢门规范固定，若否，则发出预警，进一步包括：
当识别结果为车厢门不规范固定或车厢门未固定时，提取待测厢式货车的图像；
基于OCR算法，获取厢式货车的车牌号码；
基于预存的车辆信息表，获取相应的司机信息，将车厢门不规范固定或车厢门未固定的告警信息反馈至司机。
3.如权利要求1所述的厢式货车的车厢门状态识别方法，其特征在于，所述构建基于RegNet的图像识别模型，进一步包括：
构建由输入模块、核心模块和输出模块构成的RegNet图像识别模型；
其中，输入模块依次包括一个卷积层、一个池化层和批归一化层；
核心模块以RegNet网络架构为基础，由a个第一模块，b个第二模块、c个第三模块，叠加构成；其中，第一模块包含一维卷积层、一维批量归一化层；第二模块包含一维卷积层、一维批量归一化层、激活函数层；第三模块包括一维卷积层、一维批量归一化层、激活函数层、瓶颈层；
输出模块包括自适应池化层和全连接层。
4.如权利要求1所述的厢式货车的车厢门状态识别方法，其特征在于，所述服务端对物流货车装货或卸货时的厢式货车进行图像采集，进一步包括：
构建基于计算机视觉的目标检测网络，用于检测物流视频流中是否存在厢式货车，截取装货或卸货时的厢式货车的图像。
5.如权利要求4所述的厢式货车的车厢门状态识别方法，其特征在于，所述构建基于计算机视觉的目标检测网络，进一步包括：
构建由依次顺连的Focus层、第一CBL模块、第一CSP_A模块、第二CBL模块、第二CSP_A模块、第一AC-Block模块、第三CBL模块、第三CSP_A模块、第二AC-B1ock模块、第四CBL模块、SPP模块、第一CSP_B模块、第五CBL模块、第一Concat模块、第二CSP_B模块、第六CBL模块、第二Concat模块、CSP_C模块和CONV模块组成的目标检测网络。
6.如权利要求5所述的厢式货车的车厢门状态识别方法，其特征在于，所述目标检测网络还包括第一FA模块、第二FA模块；
所述第一FA模块的输入端与第一AC-Block模块的输出端相连，其输出端连接第二Concat模块；
所述第二FA模块的输入端与第二AC-Block模块的输出端相连，其输出端连接第一Concat模块。
7.一种厢式货车的车厢门状态识别装置，其特征在于，包括：
图像采集模块，用于服务端对物流货车装货或卸货时的厢式货车进行图像采集，生成样品图像；
图像处理模块，用于对样品图像进行二值化处理，并对车厢门区域进行标记，生成图像数据集；对图像数据集按车厢门规范固定、车厢门不规范固定、车厢门未固定，进行分类；
模型构建与训练模块，构建基于RegNet的图像识别模型，将图像数据集随机划分为测试集和训练集，对图像识别模型进行训练和优化，直至图像识别模型的识别准确率达到预设阈值；
识别模块，用于基于训练好的图像识别模型，对待测厢式货车的图像进行识别，输出识别结果；判断识别结果是否为车厢门规范固定，若否，则发出预警。
8.如权利要求7所述的厢式货车的车厢门状态识别装置，其特征在于，所述识别模块进一步用于当识别结果为车厢门不规范固定或车厢门未固定时，提取待测厢式货车的图像；基于OCR算法，获取厢式货车的车牌号码；并基于预存的车辆信息表，获取相应的司机信息，将车厢门不规范固定或车厢门未固定的告警信息反馈至司机。
9.一种厢式货车的车厢门状态识别设备，其特征在于，包括：存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如权利要求1至6中任意一项所述的厢式货车的车厢门状态识别方法中的步骤。
10.一种存储有计算机可读指令的存储介质，其特征在于，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如权利要求1至6中任意一项所述的厢式货车的车厢门状态识别方法中的步骤。
CN202210600802.0A 2022-05-30 2022-05-30 厢式货车的车厢门状态识别方法、装置、设备和存储介质 Pending CN114926643A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210600802.0A CN114926643A (zh) 2022-05-30 2022-05-30 厢式货车的车厢门状态识别方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210600802.0A CN114926643A (zh) 2022-05-30 2022-05-30 厢式货车的车厢门状态识别方法、装置、设备和存储介质

Publications (1)

Publication Number Publication Date
CN114926643A true CN114926643A (zh) 2022-08-19

Family

ID=82811791

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210600802.0A Pending CN114926643A (zh) 2022-05-30 2022-05-30 厢式货车的车厢门状态识别方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN114926643A (zh)

Similar Documents

Publication Publication Date Title
US11823365B2 (en) Automatic image based object damage assessment
US11854181B2 (en) Systems and methods for utilizing machine-assisted vehicle inspection to identify insurance buildup or fraud
JP5127392B2 (ja) 分類境界確定方法及び分類境界確定装置
US11508057B2 (en) Inspection system and method for vehicle underbody
CN109165541B (zh) 用于智能识别轨道交通车辆图像中车辆零部件的编码方法
EP3899508A1 (en) Automated inspection system and associated method for assessing the condition of shipping containers
US11410287B2 (en) System and method for artificial intelligence based determination of damage to physical structures
EP3722998A1 (en) Data analytics on pre-processed signals
CN111382762A (zh) 空箱识别方法及系统
CN111191604A (zh) 检测车牌完整性的方法、设备和存储介质
CN115953373B (zh) 玻璃缺陷检测方法、装置、电子设备及存储介质
Salma et al. Development of ANPR framework for Pakistani vehicle number plates using object detection and OCR
CN112258038A (zh) 站台使用状态及车辆装卸货状态的识别方法、装置和设备
CN112861567B (zh) 一种车型分类方法及装置
CN112794274B (zh) 一种油罐车底部装油口安全监控方法及系统
KR101240617B1 (ko) 인식 알고리즘이 이중화된 차량번호 인식 시스템 및 방법
CN117523449A (zh) 一种煤矿井下辅助运输机器人车路协同定位系统及方法
CN114926643A (zh) 厢式货车的车厢门状态识别方法、装置、设备和存储介质
Gajda et al. Automatic vehicle classification in systems with single inductive loop detector
CN113723258B (zh) 危险品车辆图像识别方法及其相关设备
CN114494227A (zh) 货运业务中的货物安检方法、装置、计算机设备和介质
CN113177431B (zh) 一种基于机器视觉和深度学习的集卡防吊起方法、系统
CN115393743A (zh) 基于双分支编解码网络的车辆检测方法、无人机、介质
CN114399671A (zh) 目标识别方法及装置
CN113850774A (zh) 一种隧道火灾预警方法、系统、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination