CN111723705A - 基于树莓派的厢式货车运输管理控制方法 - Google Patents

Abstract

本发明公开了基于树莓派的厢式货车运输管理控制方法，基于传感单元的触发对车辆进行多角度且特定距离的图像采集，通过扫描识别获取车载任务信息，处理模块将所提取的信息与预生成信息进行比对并据此控制道闸。基于树莓派算力和深度学习网络的特性，建立yolo‑v3‑tiny改进后的网络模型，基于所采集图像，采用该网络进行车型识别，在该网络的训练样本中还包括标注了车牌框、驾驶员人脸以及货车厢门的图像，多个识别任务共享同一网络，降低了模型的复杂度，提高了识别能力与管理效率。同时，基于主体图像颜色特征，通过将货车主体图片，及驾驶室图片、运输信息和任务标识等信息融合为一张存档图片，大大简化了物流运输信息的存档与交互，提高了信息表示效能。

Description

基于树莓派的厢式货车运输管理控制方法

技术领域

本发明专利属于物流运输领域，具体涉及基于树莓派的厢式货车运输管理控制方法。

背景技术

随着经济与贸易的发展，物流运输行业的规模快速增长。目前，物流成本占我国GDP的比重超过20％；其中，第三方物流的市场潜力很大。中国仓储协会的市场调查表明，有相当一部分生产企业和商业企业在寻找物流代理商，企业对第三方物流的满意度也在逐渐提高。企业物流运输流程中，市内配送服务需求越来越迫切，同时，物流过程管理、物流决策、资料获取等信息服务也越来越受到企业的重视。

物流服务具有高周转、高可靠的运输要求，对货运车辆运输的时效性要求较高。在货运车辆进出货场或物流园区有时间花费尽量短的述求，而货车进出场区的频次又有一定波动性和持续性，因此，在出入口常有拥堵发生。当前，物流运输流程中的过程管理手段还比较落后，管理方式比较粗放，无法满足企业的需求。具体地，在整个物流链中，货物分段运输过程中的信息流通与管理不顺畅，如在货车进出货场时，往往还依赖手工记录、纸质传送信息等手段。这种方式，严重影响了物流运输的效率，制约了物流服务质量的提高。为此，需要开发一种在货场出入口对货车进行出入自动管理与信息自动采集的控制方法。

同时，在物流园区或者货场的管理中，还有一个重要的工作，那就是对停车位、及货车停放的检查与管理。由于到这项工作与出入口管理有很多相似的功能需求，因此，如果将货车运输管理控制装置设计为能部署在可移动嵌入式平台上，则可减少重复开发，大大增加设备的适用性与性价比。

树莓派作为一款单板计算机已经推出多年了，虽然一开始是针对教育领域推出的，但由于它的开源硬件特性，得到了开源社区的大量支持，其相关的软件资源很丰富，开发新应用的速度可以更快。目前应用较广的树莓派3B是在18年3月推出的，采用了1.2GHz四核64 位ARMv8处理器，有1GB的内存，其CSI相机端口与多个USB端口都可用于连接摄像头。只有信用卡大小的树莓派，具有较强的处理能力和丰富的接口，已被广泛用于各种移动式或嵌入式解决方案中。如申请号为201810047714.6的中国专利申请，基于树莓派采集家庭成员的人脸图像和手势图像并传入服务器中进行模式识别与匹配，又根据匹配结果进行门禁控制和报警处理。

运输领域内在车辆车型等的模式识别处理中有一类被广泛采用的方法，就是深度学习，在深度学习的神经网络迭代处理中，需要大量的计算资源。为此，申请号为201810523617.X 的中国专利申请，提出一种用于卷积神经网络硬件加速的数据处理方法；而申请号为 201810523619.9的中国专利申请，提出一种基于FPGA的硬件加速方法及系统；他们都被用来提高Tiny-yolo卷积神经网络的检测速度。在科研领域，还有专为机器学习设计的硬件平台，如NVIDIA的嵌入平台Jetson TX1，其GPU部分是256个CUDA核心的Maxwell，运算性能每秒1兆次浮点，堪比小型超算，但这个平台的价格是树莓派的几十倍。因此，对于物流运输领域的嵌入式设备与系统，需要适用于算力较小的通用平台如树莓派等之上的车辆识别、管理控制的方法和装置。

发明内容

针对以上需求，本发明的目的是提供一种基于树莓派的厢式货车运输管理控制方法，在货场出入口等场合对货车进行出入自动管理与信息自动采集。

本发明所提供的控制方法，能用来进行物流园区或货场的出入口管理。基于对第三方物流服务企业对停车场及出入口管理的需求分析，应用本发明的装置，以嵌入式处理器树莓派为控制单元，在车道入口及道闸前设置多个相机，对货车进行分时图像采集，采集触发基于距离传感单元的差分检测；基于树莓派的算力特点，选择经优化改进的yolo-v3-tiny网络作为车型识别深度学习模型，离线收集各类厢式货车的多角度图像并用来对所述改进网络进行离线训练，将训练后的网络部署在控制单元上，用来在车道入口处对货车进行车型等的在线识别。

之后，基于道闸前位置上货车状态的图像采集，控制单元分别采集含驾驶员头像的驾驶室图像、采集车牌图像并提取货车车牌号，并可选地获取车载射频卡信息，将所提取的各种运输任务信息如车牌、车型等与运单数据库中预生成的运单信息进行比对，并根据比对判定结果输出给道闸控制器；同时，可选地从称重器获取车辆载重；最后，以道闸前获取的车体图像为背景，综合驾驶室图像、运单信息、运单码、车牌、载重、驾驶员信息等，根据对所述背景图片的分析选用特定的颜色及亮度来将以上综合的信息按分区复合的方法融合到一张图片中进行存储，并在空闲时，通过通信接口将其上传到云服务器的数据库中。

另外，还对厢式货车的后部车门状态进行图像采集，基于图像处理方法对其厢门的开度进行检测判别，在发现厢门没有关严时通过输出单元告警。

本发明的技术解决方案是，提供一种基于树莓派的厢式货车运输管理控制方法，其包括以下步骤：

S1、建立图像识别模块：所述图像识别模块采用基于yolo-v3-tiny改进后的网络模型，在原第8层前依次增加3×3卷积层、2×2下采样层及1×1卷积层共三层，且所述两个卷积层的滤波器个数分别为256、128个，将网络特征图中的13*13类型替换为7*7类型特征并相应修改网络各层参数；

S2、获取训练样本：在出入通道的预设位置对车辆进行分时多角度图像采集，以位于车辆侧前方的主相机及位于车辆侧向的侧视相机分别采集的两幅图片以列排列的方式融合为一幅样本图片，对所述样本图片标注后形成训练数据集；

S3、离线训练神经网络：对网络进行参数配置，以获取的所述数据集对所述网络模型进行离线训练，获得车型识别模型；

S4、在线出入口控制：

通过扫描货车上的ID卡获取车载任务信息，

经图像预处理将主相机、侧视相机所采集车辆图片以列排列方式融合成待测图片后输入到图像识别模块，经所述车型识别模型处理后获得车辆的车型信息，

将车型及所述车载任务信息中的运输任务编号、车牌等与数据库中预生成的运单信息进行比对，并根据比对判定结果输出信号给道闸控制器进行道闸起放控制，

并且，在道闸动作前，以主相机采集的车体图像为背景，将驾驶室图像、运单信息、运单码、车牌、载重、驾驶员等综合信息等融合到一张出入存档图片中，所述融合处理根据对所述背景图像的分析选用特定颜色及亮度来将所述综合信息按分区复合的方法融合到所述车体图像中，之后将所述出入存档图片进行暂存，并在空闲时通过通信接口将其上传到服务器的数据库中。

可选地，所述步骤S4之前还包括以下处理过程：

以俯视相机采集车辆顶部俯视图片，建立一个基于SVM的车型识别器，所述车型识别器以俯视图片中车辆的HOG特征、长宽比等作为特征向量，

采集训练样本，对所述SVM车型识别器进行离线训练；

在所述步骤S4中，先进行如下处理：

基于当前采集的俯视图片，以经离线训练的所述SVM车型识别器对车辆进行车型识别，且仅当所述识别结果属于货车类车型时，才采用所述车型识别模型进一步进行货车车型的细分类型识别。

可选地，所述出入存档图片包括货车主体图片区，及驾驶室图片区、标识区、运输信息区三个图文区，所述标识区包括车牌号、运单码、射频卡ID、驾驶员ID等，所述运输信息区包括运单信息、车型、车辆颜色、载重等信息，

步骤S4中的所述融合处理包括：

T1、根据预设的区块位置，从用驾驶室相机获取的货车驾驶室图片中截取驾驶员人脸区图像块融合到道闸前获取的车体图像中，获得第一融合图像；

T2、基于后续图像编码所用的颜色空间的各分量，对所述第一融合图像分别进行频数直方图统计，获得各分量中频数最大的两个分量值作为各分量选定值，

T3、将所述标识区、运输信息区内容以双色表示，且其背景色与前景色的各颜色空间分量分别采用所述分量选定值。

可选地，其还包括以下处理过程：

在将所生成的所述出入存档图片进行读取显示时，可以将标识区、运输信息区的内容用其他两种颜色来替换并输出到显示器上，如可将背景色与前景色进行替换为通用的白底黑字/ 图；

且，在所述步骤S4中的融合处理包括：

在图像融合前可以用黑白两色来生成标识区、运输信息区的初始内容。

可选地，所述步骤S2中还包括如下处理：

以位于道闸前的车牌相机采集车牌区域图像，在所述训练数据集中加入标注了车牌框的所述车牌图像样本；

所述步骤S4中还包括如下处理：

基于经离线训练的所述网络模型对所采集的车牌图像进行识别，获得车牌区域锚框，

对车牌区域图像进行预处理，根据车牌区域锚框获取含有目标字符的ROI区域，

根据ROI区域内可能出现的字符分析构建字符的二值化特征模板库，

针对所获取的ROI区域，检测分离出单个字符，对每个字符进行特征提取后进行模板匹配，识别出单个字符，

将所有单字符按顺序组合成车牌号。

可选地，所述步骤S2中还包括如下处理：

以位于道闸前的驾驶室相机采集货车驾驶室图像，在所述训练数据集中加入标注了人脸框的所述驾驶室图像样本；

所述步骤S4中还包括如下处理：

基于经离线训练的所述网络模型对所采集的驾驶室图像进行识别，检测所述图像中是否存在人脸对象，并在检测不到人脸时，通过声光信号进行告警，并重复进行采样和检测。

可选地，其还包括如下处理过程：

基于对环境的照度传感检测，控制照明单元进行补光；

在异常时通过声音和/或灯光对货车驾驶员、操作者进行信息提示，通过操作面板来键入参数、发起操作，并通过显示屏进行信息交互。

可选地，所述图像采集基于图像采集单元中分别部署于车辆行驶通道不同路段的多个相机，且触发于距离传感单元对车辆的检测；

所述距离传感单元包括沿车辆前进方向依次布置于道路侧方的第一检测模块和第二检测模块，以及在第二检测模块前方的位于道路中央的第三检测模块；

所述图像采集单元中的侧视相机触发于第一检测模块和第二检测模块均检测到车辆之时，主相机触发于车辆刚离开第三检测模块之时，俯视相机触发于第三检测模块检测到车辆且车辆刚离开第二检测模块之时。

可选地，所述图像采集单元中有一个厢门相机，用来获取货车厢门图像，所述厢门相机触发于车辆离开所述第三检测模块之后，

所述步骤S2中还包括如下处理：

在所述训练数据集中加入标注了厢门位置与开关状态的所述厢门图像样本；

所述步骤S4中还包括如下处理：

基于经离线训练的所述网络模型对所采集的厢门图像进行识别，检测所述图像中的厢门状态，并在检测到厢门打开时，通过声光单元及用户接口单元进行告警。

可选地，所述图像采集触发于用户接口单元的按键等操作；

所述步骤S2中还包括如下处理：

以车牌相机采集车牌区域图像，在所述训练数据集中加入标注了车牌框的所述车牌图像样本；

所述步骤S4中还包括如下处理：

通过扫描停车位ID卡获取停车位信息；

基于经离线训练的所述网络模型对所采集的车牌图像进行识别，获得车牌区域锚框；根据所述锚框区域内可能出现的字符分析构建字符的二值化特征模板库，针对所述锚框区域，检测分离出单个字符，对每个字符进行特征提取后进行模板匹配，再对词组进行辨识，获取车牌号；

基于图像识别模块的车型、车牌和停车位的识别结果，对货场各停车场区域中各型号厢式货车进行数量统计、登记并更新数据库。

采用本发明方案，与现有技术相比，具有以下优点：本发明基于对第三方物流园区的货车出入管理需求进行深入分析，设计了基于树莓派的厢式货车运输管理控制方法，基于树莓派的接口扩展性，部署了多个相机对货车进行多角度、多位置的图像分时采集，采集的触发基于运输通道上预设位置上的检测模块，根据树莓派的算力特点和所采集图像的特征，对 yolo-v3-tiny网络进行优化改进，在其第8层前增加两个卷积层和一个下采样层使改进后的网络能用深层特征进行检测，并在网络的离线训练中用车辆的侧前方主视图像及侧视图像的融合图像、车牌图像、驾驶室图像等共同组成的训练样本进行监督训练，从而节省了分类器的个数、提高了网络的识别能力与效率，还通过对货场后厢门的检测与识别来对提高货场运输的安全性；同时，通过将货车主体图片，及驾驶室图片、运输信息及任务标识等信息融合到一张图片中，大大简化了物流运输信息的存档与交互，而用经直方图运算所提取特征分量来描述的双色图文信息表示，则进一步节省了有限的存储空间和传输带宽，使得本基于可移动嵌入式树莓派平台的方法能有效处理第三方物流园区的货场管理。

附图说明

图1为基于树莓派的厢式货车运输管理控制系统的组成结构图；

图2为控制单元的组成框图；

图3为道闸区域模块部署示意图；

图4为运输通道局部示意图；

图5为图像融合后的出入存档图片分区示意图；

图6为图像识别模块深度学习网络结构图；

图7为车型识别测试数据集检测结果；

图8为车牌区域图像车牌锚框示意图；

图9为车牌检测模块的字符图像分割流程图；

图10为车牌检测模块的模板匹配流程图；

图11为车牌检测模块的特征提取示意图。

其中：

10000 厢式货车运输管理控制系统，

1000 厢式货车运输管理控制装置，2000 服务器，3000 称重器，4000 道闸控制器， 5000 导引器，

100 控制单元，200 用户接口单元，300 声光单元，400 照度传感单元，500 照明单元，600 距离传感单元，700 图像采集单元，800 通信接口，900 扫描识别单元，

710 切换阵列，720 相机，721 主相机，722 驾驶室相机，723 车牌相机，724 侧视相机，725 俯视相机，726 厢门相机，

601 第一检测模块，602 第二检测模块，603 第三检测模块，

110 输入模块，120 主处理模块，130 图像预处理模块，140 图像识别模块，150车牌检测模块，160 图像融合模块，170 存储模块，180 输出模块，

10 厢式货车，21 立柱，22 起放转轴，23 闸杆，

31 货车主体图片区，32 运输信息区，33 标识区，34 驾驶室图片区，35 车牌区域锚框。

具体实施方式

以下结合附图对本发明的优选实施例进行详细描述，但本发明并不仅仅限于这些实施例。本发明涵盖任何在本发明的精神和范围上做的替代、修改、等效方法以及方案。

为了使公众对本发明有彻底的了解，在以下本发明优选实施例中详细说明了具体的细节，而对本领域技术人员来说没有这些细节的描述也可以完全理解本发明。

在下列段落中参照附图以举例方式更具体地描述本发明。需说明的是，附图均采用较为简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。本发明的“前”、“后”均相对而言，按照车辆前进的方向。

实施例1

目前，包括第三方物流的物流服务发展很快，很多物流企业都建立有全程的信息管理系统，并且物流链的信息收发接口有些还遵循国家交通运输物流公共信息平台标准，以便与其他上下游关联企业的业务系统顺利对接；但是，在运输过程中，目前对运输用货车在出入口的管理，方式还比较落后，往往依赖于人工登记与核查。特别是现有第三方物流企业的物流园区或者货场出入口的管理，还停留在依靠纸质信息登记与审核。

第三方物流，是指生产经营企业为集中精力搞好主业，把原来属于自己处理的物流活动，以合同方式委托给专业物流服务企业，同时通过信息系统与物流服务企业保持密切联系，以达到对物流全程的管理和控制的一种物流运作与管理方式。第三方物流又叫合同制物流，提供第三方物流服务的企业，在委托方物流需求的推动下，从简单的存储、运输等单项活动转为提供全面的物流服务，其中包括物流活动的组织、协调、物流链全程的信息搜集、管理等。

第三方物流服务企业，通过其市场部门接收并解析、审核订单，根据数据计算生成运单数据；之后，调度部门根据运单中的托运需求，进行车辆调度，制定运输计划，同时生成派车单，调度车辆，通知驾驶员准备上门装载；根据委托客户提供的订单内容，到装货地提货并装车；驾驶员将货物运输至目的地，客户核对检查货物后，对运单进行签收确认。在接货、送货的过程中，需要对货车进行全程自动化信息采集与管理，而目前在货场出入管理上还存在缺陷。现在常用的方法是，驾驶员出示运单，值班室人员对照运单进行车辆核对后放行。这种人工核对方法不但效率低，而且容易出错，往往是形式主义，盖个章出门而已。

目前这种传统的管理方式不能适应现代物流服务的高时效性要求，且这种手工数据处理方法还存在容易遗漏、审核不规范的缺点。在管理装置和系统的实现中，车辆识别等依赖于深度学习模型等进行数据处理，普通科研应用中的强算力平台不适合广泛用于生产领域，因此，有必要开发一种基于可移动嵌入式平台上的货车运输管理控制装置及系统。

针对出入口和内部停车场的管理，目前物流园区或者货场多采用系统集成的解决方法，视频采集、车牌识别和道闸分别采用独立的单元或设备，并通过主机进行统一管理。在一般的出入口管理系统中，往往只有车牌识别、计费管理等通用功能，缺乏专门针对第三方物流服务企业需求的信息采集与运输流程自动管理的装置及系统。

为此，需要开发一种适合第三方物流服务企业的货车运输管理控制装置与管理系统。

结合物流运输服务的需求与树莓派处理平台的特点，本发明提供了一种基于树莓派的厢式货车运输管理控制方法，用来进行物流园区或货场的出入口管理。

由于第三方物流服务中，厢式货车需要被派出去接货，中间可能在停车场停车过夜或返回进行货物的拼装，因此，厢式货车在进入、离开货场时，可能是空厢状态、也可能是装满货的重厢状态，其对应的运输任务、来去地也变化不断而难以枚举。因此，多数第三方物流企业往往是简单的在出入登记单上写个时间、车牌号或者盖个印戳，没有形成电子文档并加以管理。

如图1所示，基于对第三方物流服务企业对停车场及出入口管理的需求分析，本发明方法采用基于树莓派的厢式货车运输管理控制装置1000，以嵌入式处理器树莓派为主控处理平台，其包括控制单元100、用户接口单元200、声光单元300、距离传感单元600、图像采集单元700、扫描识别单元900和通信接口800。

其中，用户接口单元200包括操作面板和显示屏，用户通过操作面板键入参数、发起操作，通过显示屏可进行人机信息交互。声光单元300通过声音和/或灯光对货车驾驶员、操作者进行信息提示，如以不同颜色灯光及闪烁来表示确认和异常，以语音信息来进行状态提示。

在第三方物流运输中，由于货车运输任务的多样性和出入的频繁性，需要对出入货车进行自动识别，这一方面可以通过对车牌识别来进行，另一方面也可以通过射频卡等来进行货车及其该次运输任务的标识，特别是在射频卡ID对应于物流企业ERP等内部信息系统中的其他处理流程时更显得有必要。而且，由于射频卡可以便携、移动，能在企业其他部门进行读写操作。为此，在厢式货车运输管理控制装置中设置扫描识别单元来对射频卡等识别卡进行该便携式卡片的ID识别。

作为优选，还可对该卡片进行写操作，如记录其进出时间、地点等信息，为厢式货车物流链上的活动记录与溯源提供依据。

图像采集单元700又包括切换阵列710和多个相机720，控制单元通过切换阵列710来实现从多个相机中的一个或多个中获取车辆的图像信息。结合图3、图4所示，相机720包括位于通道侧前方对车辆进行图像采集的主相机721、对车辆驾驶室进行图像采集的驾驶室相机722、倾斜向下对车牌进行拍照的车牌相机723、对车辆侧面进行图像采集的侧视相机 724、对车辆车顶进行图像采集的俯视相机725、以及对车辆后厢门进行图像采集的厢门相机 726。通过在车道入口及道闸前设置的这些相机，对货车进行分时、多角度的图像采集，图像的分时采集通过距离传感单元600的差分检测来进行触发，即在捕捉到车辆移动到预设位置时才获取特定方位的图像。

在第三方物流链中，货物往往是分段运输的，整个运输过程中的信息流通与管理还不够顺畅，货物的物流状态，主要依靠装车/卸车场时对货物标识的扫描才能更新，而不能随着货车出入货场进行实时自动识别更新。根据第三方物流企业的需求，分析出其关键问题在于，在货车进出货场时，往往还依赖人工扫描和登记，对货车出入管理还基本停留在人工处理方式阶段，往往是简单地在出入登记单上写个时间、车牌号或者盖个印戳，然后为了信息化而分批次将信息录入到信息系统中。这种方式，严重影响了信息更新的时效性和处理的有效性。为此，本发明方案在货场出入口对货车进行出入信息自动采集与控制。

结合图1和图2所示，在控制单元100中设有输入模块110、主处理模块120、图像预处理模块130、图像识别模块140、车牌检测模块150、图像融合模块160、存储模块170和输出模块180。其中，输入模块110通过用户接口单元200、距离传感单元600、扫描识别单元 900，分别获取设置参数与用户操作指令、车辆位置信号、车载射频卡ID信息。存储模块170 用于保存各模块信息处理过程中的中间数据及存档文件等；输出模块180将控制单元的控制信息通过外部的通信接口800传送给道闸控制器4000、导引器5000等单元，输入、输出模块还共同通过通信接口与外部的及服务器2000进行信息交互。

为了获取运输货车的形象状态、以及比对运输信息，结合图1和图3所示，本发明以主相机721采集车体图像，以道闸前立柱上车牌相机723获取车牌区域图像，经控制单元中的图像识别模块和车牌检测模块处理后提取车辆的车型、车牌号。

在第三方物流中，运输车辆的组成比较复杂，除了自营车辆，还有一些是社会上的合作车辆，包括个体运输及合作运输企业的车辆。为此，在第三方物流企业的ERP系统中，要对车辆信息进行更新维护，将车辆信息录入到车辆管理子系统中，包括车辆车型、额定载重量、车牌号、颜色、空车重量、所有人、驾驶员、联系人、电话等。其中，车型信息之所以重要，一是因为车型一般可直接对应于载重量，比较直观；二是在出入口管理中可安排不同车型走不同通道，例如冷藏车型才允许走冷链专用通道等；还有，物流企业对自营车辆过路费及规费等的预算与核算都需要基于车型来进行溯源和追查。

为了实现自动管理和无人值守，本发明控制单元的主处理模块，将所获取的车载射频卡信息，以及各种运输任务信息包括车牌号、车型、颜色等与ERP系统运输数据库中预生成的运单信息进行比对，并根据比对判定结果输出给道闸控制器。

为提高运输效益，经常有多个货单进行运载的拼装。可选地，扫描识别单元还对车载货单码进行识别，并将获取的一个或多个货单号与预生成的运单信息进行比对。

作为优选，控制单元还从称重器3000获取车辆载重，从而判断货车的空厢/重厢状态，在与预生成的运单信息进行比对时还包括对所有货单物重及空车重量两者之和的比较，以及车厢状态如空厢、重厢等的比判。基于通信接口从ERP系统服务器获取/更新物流链实时信息, 通过比对计量数据与预期重量,判断货车所载货物或物资是否满足要求,从而作为整个物流链上所在出入口环节对物资进行跟踪监测的一项依据。同时，称重还可辅助监测车辆离开时是否有物资夹带现象。

作为优选，根据所预生成的运单即当前运输任务的各种信息，控制单元对通过各种传感单元实时生成的信息进行验证，并将验证信息发送给道闸控制器。

如图3所示，道闸控制器通过向起放转轴22来实现安装在立柱21上闸杆23的起放控制。在各种信息验证通过后，控制闸杆起竖，货车可以出入，并在检测到货车离开后落杆；当验证不通过时，通过声光单元和用户接口单元中的显示模块进行信息提示与告警。

在允许车辆进行出入的同时，还要及时、准确地记录其出入信息。目前，第三方物流往往还是采用人工核查后手工登记再转录入到系统中的方法。这种方法不但时效差，所记载的信息也不完整。为了充分且简要地记录当前的货车出入信息，结合第三方物流运输的需求，本发明以道闸前获取的车体图像为主体，将其他运输任务信息以图文形式融合到同一张图片中进行存储，从而简化信息登记并实现运输任务信息的整体自动记录。

具体地，结合图1、图3和图5所示，在图像融合后生成的出入存档图片中，以主相机721采集的车体图像作为货车主体图片区，以道闸前立柱上的驾驶室相机722获取的驾驶室图像进行截取、变换后移放到驾驶室图片区。在图片顶部的两个区域分别是运输信息区和标识区，其中，标识区包括车牌号、运单码、射频卡ID、驾驶员ID，运输信息区包括运单信息、车型、车辆颜色、载重等信息。

作为优选，运单码以文字表示，也可选用条码、二维码等，以利于物流其他环节上对打印信息的自动识别。

作为优选，标识区还包括一个或多个车载货物的货单码。

作为优选，运单信息中包括当前运输任务的出发地点、时间，目的地点、预计到达时间及载货信息、所载运货物贸易类型如外贸/内贸等。

控制单元所采用的树莓派，具有较强的处理能力和丰富的接口，但是受限于体积，其存储采用容量有限的TF卡。因此，有必要对出入存档图片进行字节数精简，但这种精简不能以损失信息为代价。

相机所采集图像以RGB或YUV作为颜色空间，受信息熵原理启发，本发明图像融合模块160采用如下步骤进行出入存档图片的字节数精简：

根据预设的区块位置，首先从货车驾驶室图片中截取驾驶员人脸区图像块融合到主相机采集的车体图像中，获得第一融合图像；然后，基于后续图像编码所用的颜色空间的RGB分量，对所述第一融合图像分别进行各分量的频数直方图统计，获得各分量中频数最大的两个分量值作为各分量选定值；最后，将所述标识区、运输信息区内容以双色表示，且其背景色与前景色的各颜色空间分量分别采用所述两个分量选定值。

作为优选，所述第一融合图像中，去除所述标识区、运输信息区所占区块。

作为优选，以各分量中频数最大且相距一预设距离的两个分量值作为各分量选定值。

由于人眼对亮度比对色彩敏感，因此可以对色调和饱和度做粗略处理。作为优选，所述第一融合图像采用YUV或YCbCr格式表示，然后，再进行图像直方图统计和标识区、运输信息区内容的双色表示。

出入存档图片生成以后，装置在空闲时段，周期性地通过通信接口将其批量上传到ERP 系统云服务器的数据库中。

通过图像融合处理，将多幅图片、运输信息组合到一张图片中，大大提高了信息显示的效用，仅用一张图片就使得该次货车出入信息一目了然；而且，由于后续的Huffman编码基于图像内容的信息熵进行编码选择，因此，通过对图文区采用基于第一融合图像区的颜色分量表示，减少了整幅融合后图片的字节数，信息融合处理节省了装置中有限的存储空间和传输带宽。

作为优选，在将所生成的出入存档图片进行读取显示时，可以将标识区、运输信息区的内容用其他两种颜色来替换并输出到显示器上，如可将背景色与前景色进行替换为通用的白底黑字/图。同样，在图像融合前可以用黑白两色来生成标识区、运输信息区的初始内容。

在上述运输信息中，车型信息的自动获取比较困难。本发明基于特定角度拍摄的车辆图像，采用深度学习网络来进行车型的识别。

传统车辆检测的方法有背景差法和基于目标车辆特征的检测方法等。背景差法将图像分为前景和背景，首先通过对背景进行建模，然后把当前帧图像与背景模型进行逐像素的比较，与背景模型不一致的区域被认定为运动区域。基于目标特征的检测方法就是通过对车辆目标的基本特征比如Haar特征、HOG特征和LBP特征等特征的训练学习，利用模式识别达到检测目标的目的，常用的机器学习算法有AdaBoost算法、SVM支持向量机和K-means算法等。

近年来，目标检测算法取得了很大的突破，随着人工智能、深度学习技术的发展，利用卷积神经网络进行图像理解类任务逐渐替换人工提取特征制作分类器的方法。比较流行的算法可以分为两类，一类是基于候选区域的R-CNN系算法，它们是分两阶段的，需要先使用启发式方法或者CNN网络产生候选区域，然后再在候选区域上做分类与回归。而另一类是Yolo (You only look once的缩写)、SSD这类一阶段就完成的算法，其仅仅使用一个CNN网络就能同时直接预测不同目标的类别、及其位置。由于第二类算法具有速度快的特点，相比于前一种，更有潜力用于嵌入式处理平台上。

很多具体的深度学习算法实现仅能在GPU上同时满足检测精度与检测速度。但GPU由于价格昂贵，发热量高，难以装载在便携式平台上，而低成本的嵌入式平台由于缺乏大容量 GPU使得这些算法无法达到实时检测的效果。Yolo模型由于其端到端的设计，使得实现过程简单，并且仅对图片提取一次特征，速度很快，成为经典的目标检测模型之一。

基于树莓派的算力特点，本发明选择yolo-v3-tiny网络作为车型识别深度学习的原型模型。yolo-v3-tiny网络是yolo网络最新优化版本的轻量模型，具有泛化能力强，计算复杂度相对较低，识别处理效率高的特点。

yolo-v3-tiny网络中，每个网格单元特征图预测3个候选框，而每个候选框需要有四个坐标、一个置信度共五个基本参数，因此其输出层卷积核的数量＝B×(M+5)，其中B为候选框的数量，M为类别数。相比于yolo-v3，yolo-v3-tiny网络的预测输出分支数由3个减小到2个，即其特征图采用的是13*13，26*26两种类型，减小了计算量。

在经过深入的测试与分析后，发现在第三方物流货场的管理中，可以通过特定区域、特定角度的拍摄来对车辆进行图像采集，从而能有针对性的对深度学习网络进行结构优化。具体地，结合图1、图3及图4所示，将图像采集单元中的多个相机分别部署于车辆行驶通道的不同路段，距离传感单元600包括沿车辆前进方向依次布置于道路侧方的第一检测模块601 和第二检测模块602，以及在第二检测模块602前方的位于道路中央上方的第三检测模块603；其中，第三检测模块603与两个相机一起固定在支撑于立柱21的倒L杆上，另两个检测模块可分别用一根立柱支撑或用同一根横杆支撑。

车辆从图4所示的道路继续前行将到达图3所示的区域，以位于立柱上与第一、第二检测模块相向部署的侧视相机724获取厢式货车等车辆的侧面图像，侧视相机724的图像采集触发于第一检测模块和第二检测模块均检测到车辆之时。以车辆侧前方的主相机721采集车体主图像，主相机721触发于车辆刚离开第三检测模块603之时。

将主相机、侧视相机分别采集的车体主图像及侧面图像两幅图片以列排列的方式融合为一幅样本图片，对所述样本图片标注后形成yolo-v3-tiny网络的训练数据集。作为优选，可以调整主相机、侧视相机的拍摄角度，使得目标厢式货车被拍摄时车体占据图片空间的 40％～70％。

作为优选，侧视相机采集图像时使得目标车辆在视野的下半部分，然后截取图片的下半部，类似地对主视相机进行设置，然后将截取后的主视相机图片、侧视相机图片分别置于样本图片上方和下方；并将所获图片的大小归一化为416×416。

通过上述图像采集的方式获取到的训练样本，目标车辆具有较显著的几何尺寸特征。因此，本发明对yolo-v3-tiny网络的特征图进行修改优化，通过增加网络深度来提高特征的表达效果，将其中的13*13类型替换为7*7的特征并修改网络各层参数，相应地，参见图6所示，对网络进行修改：

在原第8层即新第11层前依次增加3×3卷积层、2×2下采样层及1×1卷积层共三层，且所述两个卷积层的滤波器个数分别为256、128个。

优化后的网络，能结合深层和浅层特征的表达，提高识别能力。其中，作为优选，为在第23层进行两种特征的拼接，在网络的第22层中，采用3×3/2卷积即卷积核大小为3×3、步长为2且padding为1的反卷积来实现上采样。

由于yolo输出层卷积核的数量＝B×(M+5)，在测试中取M＝9种，所以卷积核数量为42，如图6所示，yolo输出层分别输出26×26×42和52×52×42的候选框及其判识出的类别。

作为优选，在对网络进行训练前的参数配置中，对两类尺寸目标的各三个先验框anchor，先用K-means算法进行聚类计算，获得anchor的典型位置，以加快离线训练的收敛速度，提高识别效果。

通过对各类车辆通过出入口运输通道过程中的图像采集，基于主相机、侧视相机所采集图像融合成样本图片并对图片中的车辆进行框选和类型标注，采集各种自然条件如不同光照、气象条件下的样本，使样本足够丰富，然后对修改后的网络进行离线训练。为简化图像采集，可对道路通行进行视频拍摄，然后通过视频处理系统实现视频图像到一帧一帧图片的转换，对转换出的图片进行筛选后经融合处理和标注成为训练样本。

以训练集对网络模型进行离线训练，获得图像识别模块中的车型识别模型。在线运行时，控制单元中的图像预处理模块将主相机、侧视相机所采集车辆图片以上述相同的上下排列方式融合成待测图片后输入到图像识别模块，图像识别模块以经训练的车型识别模型对待测图片进行处理后输出车辆的车型信息。

以一个第三方物流公司采集的运输通道上车辆图像作为数据集，并将其分为训练集和测试集，其中，对各种厢式货车进行按类型标注，样本中非厢式货车则标注为其他。如图7所示为测试集车型检测识别结果，其中，样本中的厢式货车车型包括3T、5T、8T、10T、25T、30T共六种普通干厢货车及3T、10T共两种冷藏厢货车，表中给出了用普通yolo-v3-tiny网络及本发明改进型网络的检测结果，可以看出改进型网络在各种车型上的识别性能都有提高，对该八种厢式货车，正确率分别提高了0.67％、0.50％、1.36％、9.50％、6.56％、5.71％、1.82％及6.92％。同时，实验中还发现光照强度对货车车型的识别效果有较大影响，且夜间小型货车识别效果相对较好。在线运行时，处理一幅图片获取车型的耗时小于300ms。

作为优选，当待测图片的上或下部分中在框出的目标超过一个时，以尺寸大的目标车型作为识别结果。

作为优选，控制单元在检测到车辆为非目标车辆时，按预设流程控制或输出信号给道闸控制器不打开道闸，也可以通过声光单元向值班人员发出告警，引入外部干预或用户操作。

如图4所示，作为优选，图像采集单元中有俯视相机725，其用来对车辆车顶图像进行采集，且俯视相机725触发于第三检测模块检测到车辆且车辆刚离开第二检测模块之时。在图像识别模块中还设有一个以俯视相机所采集图片作为输入的SVM车型识别器，该车型识别器以车辆的HOG特征、长宽比等作为SVM的特征向量。作为优选，还可以将侧视相机724所获取的车辆侧面图像中提取的长高比作为其特征向量。

在线运行时，图像识别模块以经离线训练的该SVM车型识别器对车辆进行车型识别，且仅当所述识别的结果属于预设的货车类车型时，才采用上述车型识别模型进一步进行货车车型的具体类型识别。

作为优选，图像采集的所述所有触发都是在刚满足所设定条件时进行，即所述触发发生在逻辑量的跳变沿。

为了提取货车车牌号，往往需要分两个阶段来进行，即先定位车牌区域然后对该区域进行字符提取。出于提高处理效率的要求和本发明中模块的结构特点，本发明将车牌区域提取合并到车型识别一起进行处理。

结合图3、图8所示，以道闸前立柱上车牌相机723获取车牌区域图像，在图像识别模块的yolo-v3-tiny网络中除了车型识别之外还融合车牌框区域提取的功能。在网络的训练数据集中加入标注了车牌框的车牌图像样本并相应修改网络yolo层前卷积层的滤波器个数，在线运行时，经离线训练的网络模型对所采集的车牌图像进行识别，获得车牌区域的anchor box 即锚框。

然后，车牌检测模块150首先根据该锚框区域内可能出现的字符分析构建字符的二值化特征模板库，其中，包括0～9十个阿拉伯数字、二十六个大写英文字母A～Z，以及各省、直辖市、自治区的车牌用汉字；然后，针对所述锚框区域，检测分离出单个字符，对每个字符进行特征提取后进行模板匹配，再对词组进行辨识，获取车牌号。

具体地，结合图9～11所示，车牌检测模块采用的处理步骤如下：

p1)对车牌区域图像进行预处理，根据车牌区域锚框获取含有目标字符的ROI区域；

p2)根据ROI区域内可能出现的字符分析构建字符的二值化特征模板库；

p3)针对所获取的ROI区域，检测分离出单个字符，对每个字符进行特征提取后进行模板匹配，识别出单个字符；

p4)将所有单字符按顺序组合成车牌号。

为了获得单个字符，如图9所示，当字符轮廓间发生粘连时，由于每个字符宽度是一样的，因此首先对字符连通域进行边缘检测定位出字符初始位置，在每个字符宽度范围内确定出单个粘连字符图像的上下高度，依次循环搜索分割出单个字符图像。

如图10所示，在分割出单个字符图像后对其进行二值化等处理，将相应字符大小归一化，使之与事先建立的匹配模板中的字符大小相同。基于逐像素特征法提取字符特征向量，如图 11所示，将字符图像分成3*3＝9的小块，统计范围内的非0像素点个数，再计算水平和垂直方向3等分线交点上的特征，共有13个特征值，将此记录在数组中。结合图10、11所示，对归一化后的单字符图像，统计单个字符中非0像素点，储存到定义的矩阵中；然后，提取其相应的特征向量，将其与字符模板的各个区域的特征值进行比较，按最大相似度匹配识别出待测字符。

结合图3和图5所示，在图像融合后生成的出入存档图片中，包括以道闸前立柱上的驾驶室相机722获取的驾驶室图像。通过在运输任务中对驾驶室驾驶员头像的存档，可以为第三方物流企业的驾驶员KPI考核提供溯源依据，将该信息与行车档案、驾驶员出勤记录等关联起来。因此，需要识别所采集的驾驶室图像中是否有人脸图像。

由于深度学习网络具有很强的泛化性和知识自学习性，本发明基于单一的同一个yolo-v3-tiny网络，在其训练数据集中加入标注了人脸框的驾驶室图像样本并相应修改网络 yolo层前卷积层的滤波器个数。在线运行时，经离线训练的网络模型对所采集的驾驶室图像进行识别，检测该图像中是否存在人脸对象，并在检测不到人脸时，通过声光单元进行告警，并重复进行采样和检测，直至获取到清晰人脸图像，从而确保了信息的完整、准确。

从驾驶室图片中截取驾驶员人脸区图像块时，以网络模型输出的锚框为基础，在四周扩大一定范围后，按驾驶室图片区的宽度和高度再扩大裁剪范围。如图3所示，作为优选，固定驾驶室相机722的立柱上还设置一个车头高度检测器，驾驶室相机上还设有一个俯仰云台，根据检测到的车头高度调节云台角度。

作为优选，在固定驾驶室相机722的立柱旁边设置人工操作室，其中可部署有用户接口单元。

作为优选，本发明还在相机旁边还设置照度传感单元与照明单元，基于照度传感单元对环境的检测，控制单元控制照明单元进行补光。

货车装车经常是夜间进行的，在以往运输中，由于厢门没有关严或者锁牢而对运送的货物造成损失或交通事故的情况时有发生。为此，本发明还对厢式货车的厢门状态进行自动检测。出于yolo-v3-tiny网络的特征自动提取特性，本发明基仍然基于同一个网络，在其训练数据集中加入标注了厢门位置与开、关状态的厢门图像样本并相应修改网络yolo层前卷积层的滤波器个数。在线运行时，经离线训练的网络模型对所采集的厢门图像进行识别，检测图像中的厢门状态，并在检测到厢门打开时，通过声光单元及用户接口单元进行告警。

参考图5所示，用来获取货车厢门图像的厢门相机726与俯视相机725均固定在支撑于立柱的倒L杆上，厢门相机726的图像采集触发于车辆离开第三检测模块之后一预设时间长度，如离开后3秒进行厢门状态采集。

实施例2

本实施例发明方法应用于一种被部署在移动平台上的基于树莓派的厢式货车运输管理控制装置，对货车停车位、及货车停车状态进行识别与管理。如图1所示，基于树莓派的厢式货车运输管理控制装置1000，包括控制单元100、用户接口单元200、图像采集单元700、扫描识别单元900和通信接口800。

结合图1和图2所示，在控制单元100中设有输入模块110、主处理模块120、图像预处理模块130、图像识别模块140、车牌检测模块150、图像融合模块160、存储模块170和输出模块180。其中，输入模块110通过用户接口单元200、扫描识别单元900，分别获取设置参数与用户操作指令、停车位ID及车载射频卡ID信息。存储模块170用于保存各模块信息处理过程中的中间数据及存档文件等；输出模块180将控制单元的控制信息通过外部的通信接口800传送给导引器5000等单元，输入、输出模块还共同通过通信接口与外部的及服务器2000进行信息交互。

配合用户接口单元200的按键等操作，图像采集单元700被触发后对车辆和停车场进行分时多角度图像采集，在控制单元100中基于图像识别模块的车型、车牌和停车位的识别结果，对货场各停车场区域中各型号厢式货车进行数量统计。其中，在各停车区域或停车位设置有射频卡等标识模块，对不同场地或车位上的车辆进行车牌识别，从而获取货车车辆的实时分布。

图像识别模块采用基于yolo-v3-tiny改进后的网络模型，所述网络模型在原网络第8层前依次增加3×3卷积层、2×2下采样层及1×1卷积层共三层，且所述两个卷积层的滤波器个数分别为256、128个，在车辆侧前方和正前方分别采集的两幅图片以列排列的方式融合为一幅样本图片，对所述样本图片标注后形成训练数据集。以所述数据集对所述网络模型进行离线训练，获得车型识别模型。

在线运行时，所述图像预处理模块将车辆侧前方、正前方所采集车辆图片以列排列方式融合成待测图片后输入到图像识别模块，由其将识别出车辆的车型信息。

在图像识别模块的yolo-v3-tiny网络中除了车型识别之外还融合车牌框区域提取的功能。在网络的训练数据集中加入标注了车牌框的车牌图像样本并相应修改网络yolo层前卷积层的滤波器个数，在线运行时，经离线训练的网络模型对车辆正前方所采集的车牌图像进行识别，获得车牌区域的anchor box即锚框。然后，车牌检测模块150首先根据该锚框区域内可能出现的字符分析构建字符的二值化特征模板库，其中，包括0～9十个阿拉伯数字、二十六个大写英文字母A～Z，以及各省、直辖市、自治区的车牌用汉字；然后，针对所述锚框区域，检测分离出单个字符，对每个字符进行特征提取后进行模板匹配，再对词组进行辨识，获取车牌号。

部署在移动平台如巡逻车上的本发明方法，在获取停车场各停车位、及货车停车状态后，通过通信接口将信息上传到服务器中，以实时更新货车停车信息。

作为优选，在布局规整的停车场，对于出入口到每个车位的最短路径信息，可以使用最短路径算法预先求取。从而，作为优选，可在控制单元中设置调度导引模块，该模块在车辆进入货场后，可根据不同车型停车区域即目标停车区域和车位，经对预先设置的路径表进行检索排序后，通过路边设置的导引器5000对货车进行入场导引。

作为优选，对地面车位线、车道线进行框选，并标注压线的图像样本，通过在训练样本中增加所述样本，在线运行时可识别是否有车辆压线或占道，并将信息存入数据库。

作为优选，对车辆停车位置与其预设停车区域进行比对，将比对结果存入数据库，作为驾驶员KPI考核依据。

实施例3

本实施例发明方法应用于基于树莓派的厢式货车运输管理控制系统。如图1所示，基于树莓派的厢式货车运输管理控制系统10000，其包括控制单元100、用户接口单元200、声光单元300、距离传感单元600、图像采集单元700、扫描识别单元900和通信接口800，通信接口800还连接有道闸控制器4000和服务器2000。

其中，声光单元300通过声音和/或灯光对货车驾驶员、操作者进行信息提示；用户接口单元200包括操作面板和显示屏，用来键入参数、发起操作和进行信息交互；根据距离传感单元600对车辆的检测，图像采集单元700被触发后对车辆进行分时多角度图像采集，扫描识别单元900通过扫描货车中的ID卡来获取车载任务信息。

结合图2所示，在控制单元100中设有输入模块110、主处理模块120、图像预处理模块 130、图像识别模块140、车牌检测模块150、图像融合模块160、存储模块170和输出模块180。控制单元100被配置为：

图像识别模块140、车牌检测模块150分别基于经图像预处理模块130处理后的所述图像采集单元所采集图像进行车型识别、车牌识别，

主处理模块120将所提取的所述车载任务信息中的运输任务编号、车牌、车型等与数据库中预生成的运单信息进行比对，并根据比对判定结果输出信号给道闸控制器4000，

在道闸动作前，图像融合模块160以道闸前获取的车体图像为背景，将驾驶室图像、运单信息、运单码、车牌、载重、驾驶员等综合信息等融合到一张出入存档图片中，所述融合处理根据对所述背景图像的分析选用特定的颜色及亮度来将所述综合信息按分区复合的方法融合到所述车体图像中，之后将所述出入存档图片进行暂存，并在空闲时通过通信接口将其上传到服务器的数据库中。

作为优选，本系统还包括一个与通信接口相连的导引器，所述导引器部署于通道旁并基于控制单元的指令以图文和/或语音方式向车辆提供出入导引信息。

作为优选，所述服务器2000中设有ERP系统中的物流运输信息数据库。

以上，说明了本发明的几个实施方式，但这些实施方式是作为例子而提示的方式，并没有限定发明的范围。这些实施方式可以通过其他的各种方式实施，在不脱离发明的主旨的范围内，能够进行各种省略、置换、组合、变更。这些实施方式或其变形包含于发明的范围或主旨，并同样地包含于权利要求书记载的发明及其等同的范围内。

Claims (10)

1.基于树莓派的厢式货车运输管理控制方法，其包括以下步骤：

S1、建立图像识别模块：所述图像识别模块采用基于yolo-v3-tiny改进后的网络模型，在原第8层前依次增加3×3卷积层、2×2下采样层及1×1卷积层共三层，且所述两个卷积层的滤波器个数分别为256、128个，将网络特征图中的13*13类型替换为7*7类型特征并相应修改网络各层参数；

S2、获取训练样本：在出入通道的预设位置对车辆进行分时多角度图像采集，以位于车辆侧前方的主相机及位于车辆侧向的侧视相机分别采集的两幅图片以列排列的方式融合为一幅样本图片，对所述样本图片标注后形成训练数据集；

S3、离线训练神经网络：对网络进行参数配置，以获取的所述数据集对所述网络模型进行离线训练，获得车型识别模型；

S4、在线出入口控制：

通过扫描货车上的ID卡获取车载任务信息，

经图像预处理将主相机、侧视相机所采集车辆图片以列排列方式融合成待测图片后输入到图像识别模块，经所述车型识别模型处理后获得车辆的车型信息，

将车型及所述车载任务信息中的运输任务编号、车牌等与数据库中预生成的运单信息进行比对，并根据比对判定结果输出信号给道闸控制器进行道闸起放控制，

并且，在道闸动作前，以主相机采集的车体图像为背景，将驾驶室图像、运单信息、运单码、车牌、载重、驾驶员等综合信息等融合到一张出入存档图片中，所述融合处理根据对所述背景图像的分析选用特定颜色及亮度来将所述综合信息按分区复合的方法融合到所述车体图像中，之后将所述出入存档图片进行暂存，并在空闲时通过通信接口将其上传到服务器的数据库中。

2.根据权利要求1所述的基于树莓派的厢式货车运输管理控制方法，其特征在于，所述步骤S4之前还包括以下处理过程：

以俯视相机采集车辆顶部俯视图片，建立一个基于SVM的车型识别器，所述车型识别器以俯视图片中车辆的HOG特征、长宽比等作为特征向量，

采集训练样本，对所述SVM车型识别器进行离线训练；

在所述步骤S4中，先进行如下处理：

基于当前采集的俯视图片，以经离线训练的所述SVM车型识别器对车辆进行车型识别，且仅当所述识别结果属于货车类车型时，才采用所述车型识别模型进一步进行货车车型的细分类型识别。

3.根据权利要求1所述的基于树莓派的厢式货车运输管理控制方法，其特征在于，所述出入存档图片包括货车主体图片区，及驾驶室图片区、标识区、运输信息区三个图文区，所述标识区包括车牌号、运单码、射频卡ID、驾驶员ID等，所述运输信息区包括运单信息、车型、车辆颜色、载重等信息，

步骤S4中的所述融合处理包括：

T1、根据预设的区块位置，从用驾驶室相机获取的货车驾驶室图片中截取驾驶员人脸区图像块融合到道闸前获取的车体图像中，获得第一融合图像；

T2、基于后续图像编码所用的颜色空间的各分量，对所述第一融合图像分别进行频数直方图统计，获得各分量中频数最大的两个分量值作为各分量选定值，

T3、将所述标识区、运输信息区内容以双色表示，且其背景色与前景色的各颜色空间分量分别采用所述分量选定值。

4.根据权利要求3所述的基于树莓派的厢式货车运输管理控制方法，其特征在于，还包括以下处理过程：

在将所生成的所述出入存档图片进行读取显示时，可以将标识区、运输信息区的内容用其他两种颜色来替换并输出到显示器上，如可将背景色与前景色进行替换为通用的白底黑字/图；

且，在所述步骤S4中的融合处理包括：

在图像融合前可以用黑白两色来生成标识区、运输信息区的初始内容。

5.根据权利要求1所述的基于树莓派的厢式货车运输管理控制方法，其特征在于，所述步骤S2中还包括如下处理：

以位于道闸前的车牌相机采集车牌区域图像，在所述训练数据集中加入标注了车牌框的所述车牌图像样本；

所述步骤S4中还包括如下处理：

基于经离线训练的所述网络模型对所采集的车牌图像进行识别，获得车牌区域锚框，

对车牌区域图像进行预处理，根据车牌区域锚框获取含有目标字符的ROI区域，

根据ROI区域内可能出现的字符分析构建字符的二值化特征模板库，

针对所获取的ROI区域，检测分离出单个字符，对每个字符进行特征提取后进行模板匹配，识别出单个字符，

将所有单字符按顺序组合成车牌号。

6.根据权利要求1所述的基于树莓派的厢式货车运输管理控制方法，其特征在于，所述步骤S2中还包括如下处理：

以位于道闸前的驾驶室相机采集货车驾驶室图像，在所述训练数据集中加入标注了人脸框的所述驾驶室图像样本；

所述步骤S4中还包括如下处理：

基于经离线训练的所述网络模型对所采集的驾驶室图像进行识别，检测所述图像中是否存在人脸对象，并在检测不到人脸时，通过声光信号进行告警，并重复进行采样和检测。

7.根据权利要求1所述的基于树莓派的厢式货车运输管理控制方法，其特征在于，还包括如下处理过程：

基于对环境的照度传感检测，控制照明单元进行补光；

在异常时通过声音和/或灯光对货车驾驶员、操作者进行信息提示，通过操作面板来键入参数、发起操作，并通过显示屏进行信息交互。

8.根据权利要求1所述的基于树莓派的厢式货车运输管理控制方法，其特征在于，

所述图像采集基于图像采集单元中分别部署于车辆行驶通道不同路段的多个相机，且触发于距离传感单元对车辆的检测；

所述距离传感单元包括沿车辆前进方向依次布置于道路侧方的第一检测模块和第二检测模块，以及在第二检测模块前方的位于道路中央的第三检测模块；

所述图像采集单元中的侧视相机触发于第一检测模块和第二检测模块均检测到车辆之时，主相机触发于车辆刚离开第三检测模块之时，俯视相机触发于第三检测模块检测到车辆且车辆刚离开第二检测模块之时。

9.根据权利要求8所述的基于树莓派的厢式货车运输管理控制方法，其特征在于，所述图像采集单元中有一个厢门相机，用来获取货车厢门图像，所述厢门相机触发于车辆离开所述第三检测模块之后，

所述步骤S2中还包括如下处理：

在所述训练数据集中加入标注了厢门位置与开关状态的所述厢门图像样本；

所述步骤S4中还包括如下处理：

基于经离线训练的所述网络模型对所采集的厢门图像进行识别，检测所述图像中的厢门状态，并在检测到厢门打开时，通过声光单元及用户接口单元进行告警。

10.根据权利要求1所述的基于树莓派的厢式货车运输管理控制方法，其特征在于，所述图像采集触发于用户接口单元的按键等操作；

所述步骤S2中还包括如下处理：

以车牌相机采集车牌区域图像，在所述训练数据集中加入标注了车牌框的所述车牌图像样本；

所述步骤S4中还包括如下处理：

通过扫描停车位ID卡获取停车位信息；

基于经离线训练的所述网络模型对所采集的车牌图像进行识别，获得车牌区域锚框；根据所述锚框区域内可能出现的字符分析构建字符的二值化特征模板库，针对所述锚框区域，检测分离出单个字符，对每个字符进行特征提取后进行模板匹配，再对词组进行辨识，获取车牌号；

基于图像识别模块的车型、车牌和停车位的识别结果，对货场各停车场区域中各型号厢式货车进行数量统计、登记并更新数据库。

Images