CN112396264A - 物流装载率测量建模方法、装置、设备、及存储介质 - Google Patents

物流装载率测量建模方法、装置、设备、及存储介质 Download PDF

Info

Publication number
CN112396264A
CN112396264A CN201910747972.XA CN201910747972A CN112396264A CN 112396264 A CN112396264 A CN 112396264A CN 201910747972 A CN201910747972 A CN 201910747972A CN 112396264 A CN112396264 A CN 112396264A
Authority
CN
China
Prior art keywords
image
neural network
network model
images
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910747972.XA
Other languages
English (en)
Inventor
张宽
郭明坚
宋翔
张恒瑞
张劲松
孟小敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SF Technology Co Ltd
SF Tech Co Ltd
Original Assignee
SF Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SF Technology Co Ltd filed Critical SF Technology Co Ltd
Priority to CN201910747972.XA priority Critical patent/CN112396264A/zh
Publication of CN112396264A publication Critical patent/CN112396264A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/083—Shipping

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • General Physics & Mathematics (AREA)
  • Economics (AREA)
  • Software Systems (AREA)
  • Development Economics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Strategic Management (AREA)
  • Health & Medical Sciences (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Administration (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种物流装载率测量建模方法、装置、设备及存储介质，本申请实施例通过获取多帧厢体图像，每帧厢体图像标注载物率及载物等级；根据所述多帧厢体图像的载物等级训练第一神经网络模型；以及根据所述第一神经网络模型及所述多帧厢体图像的载物率训练第二神经网络模型。从而提高了物流装载率的测量效果。

Description

物流装载率测量建模方法、装置、设备、及存储介质
技术领域
本申请涉及数据处理技术领域，具体涉及一种物流装载率测量建模方法、装置、设备及存储介质。
背景技术
货运的装载率可以反映物流过程中转场的工作情况，通常指的是货物体积除以车厢最大可载货体积，例如瞬时装载率指的是到港或离港时的车厢装载率，过程装载率则可以实时监控当前车辆的装卸情况。
在物流运营领域，装载率的估算方法主要有三种，一是通过货物重量与货车额定载重的比值进行估算；二是依靠人工进行评估；三是通过激光测试设备进行测试。但是，第一种方法因为货物体积与重量无特定比例关系，容易出现误差且需额外使用称重设备。第二种方法需依赖人员经验进行估算，除了带来额外的人力成本，且估算结果容易受到人为主观意识影响。第三种方法搭建激光测试平台需要较多成本，安装场地要求高，而且反应速度慢。
发明内容
本申请实施例提供一种物流装载率测量建模方法、装置、设备及存储介质，可以实现提高物流装载率的测量效果。
在一方面，本申请实施例提供了一种物流装载率测量建模方法，包括：
获取多帧厢体图像，每帧厢体图像标注载物率及载物等级；
根据所述多帧厢体图像的载物等级训练第一神经网络模型；
根据所述第一神经网络模型及所述多帧厢体图像的载物率训练第二神经网络模型。
在一些实施方式中，所述物流装载率测量建模方法，还包括：根据所述第二神经网络模型测试待测图像的物流装载率。
在一些实施方式中，所述根据所述多帧厢体图像的载物等级训练第一神经网络模型，包括：
从所述多帧厢体图像中分别选取当前图像作为第一图像、与所述当前图像的载物等级相同的厢体图像作为第二图像及与所述当前图像的载物等级不同的厢体图像作为第三图像；
将所述第一图像、所述第二图像及所述第三图像作为第一神经网络模型的输入，进行前向传播；
将所述第一图像、第二图像及第三图像经过第一神经网络模型的提取结果作为三元损失函数的输入参数，计算第一损失；
根据所述第一损失进行反向传播，优化所述第一神经网络模型的提取结果。
在一些实施方式中，所述根据所述多帧厢体图像的载物等级训练第一神经网络模型，还包括：
选定多个卷积神经网络构成所述第一神经网络模型，将所述多帧被选取的厢体图像输入所述第一神经网络模型中的所述多个卷积神经网络，进行前向传播。
在一些实施方式中，所述根据所述第一神经网络模型及所述多帧厢体图像的载物率训练第二神经网络模型，包括：
将所述第一神经网络模型中最后一层的所有神经元替换为单个神经元，并将所述第一神经网络模型的提取结果用于所述第二神经网络模型；
将所述第一图像、所述第二图像及所述第三图像作为所述第二神经网络模型的输入，进行前向传播；
将所述多帧厢体图像的载物率当作Huber损失函数的输入参数，计算第二损失；
根据所述第二损失进行反向传播，优化所述第二神经网络模型的提取结果。
在一些实施方式中，所述根据所述多帧厢体图像的载物等级训练第二神经网络模型，还包括：
选定多个卷积神经网络构成所述第二神经网络模型，将所述多帧被选取的厢体图像输入所述第二神经网络模型中的所述多个卷积神经网络，进行前向传播。
在一些实施方式中，所述获取多帧厢体图像，包括：
从所述多帧厢体图像选取当前图像及在先图像；
计算所述当前图像与所述在先图像的差值图像；
将所述当前图像的三通道图像、所述在先图像的三通道图像及所述差值图像的三通道图像叠加成九通道图像，作为训练所述第一神经网络模型及所述第二神经网络模型的输入。
在一些实施方式中，所述获取多帧厢体图像，包括：
选取多帧原始厢体图像；
将所述多帧原始厢体图像进行加工，产生多帧加工图像；
将所述多帧原始厢体图像进行转向，产生多帧转向图像；
将所述多帧原始厢体图像、所述多帧加工图像及所述多帧转向图像合并为所述多帧厢体图像。
另一方面，本申请实施例还提供了一种物流装载率测量建模装置，包括：
获取单元，用于获取多帧厢体图像，每帧厢体图像标注载物率及载物等级；
第一训练单元，用于根据所述多帧厢体图像的载物等级训练第一神经网络模型；
第二训练单元，用于根据所述第一神经网络模型及所述多帧厢体图像的载物率训练第二神经网络模型。
在一些实施方式中，所述物流装载率测量建模装置，还包括：测试单元，用于根据所述第二神经网络模型测试待测图像的物流装载率。
在一些实施方式中，所述第一训练单元，包括：
映对子单元，用于从所述多帧厢体图像中分别选取当前图像作为第一图像、与所述当前图像的载物等级相同的厢体图像作为第二图像及与所述当前图像的载物等级不同的厢体图像作为第三图像；
第一训练子单元，用于将所述第一图像、所述第二图像及所述第三图像作为第一神经网络模型的输入，进行前向传播；
第一估损子单元，用于将所述第一图像、第二图像及第三图像经过第一神经网络模型的提取结果作为三元损失函数的输入参数，计算第一损失；
第一优化子单元，用于根据所述第一损失进行反向传播，优化所述第一神经网络模型的提取结果。
在一些实施方式中，所述第一训练单元，还包括：
第一卷积子单元，用于选定多个卷积神经网络构成所述第一神经网络模型，将所述多帧被选取的厢体图像输入所述第一神经网络模型中的所述多个卷积神经网络，进行前向传播。
在一些实施方式中，所述第二训练单元，包括：
第二替用子单元，用于将所述第一神经网络模型中最后一层的所有神经元替换为单个神经元，并将所述第一神经网络模型的提取结果用于所述第二神经网络模型；
第二训练子单元，用于将所述第一图像、所述第二图像及所述第三图像作为所述第二神经网络模型的输入，进行前向传播；
第二估损子单元，用于将所述多帧厢体图像的载物率当作Huber损失函数的输入参数，计算第二损失；
第二优化子单元，用于根据所述第二损失进行反向传播，优化所述第二神经网络模型的提取结果。
在一些实施方式中，所述第二训练单元，还包括：
第二卷积子单元，用于选定多个卷积神经网络构成所述第二神经网络模型，将所述多帧被选取的厢体图像输入所述第二神经网络模型中的所述多个卷积神经网络，进行前向传播。
在一些实施方式中，所述获取单元，包括：
选像子单元，用于从所述多帧厢体图像选取当前图像及在先图像；
计算子单元，用于计算所述当前图像与所述在先图像的差值图像；
叠加子单元，用于将所述当前图像的三通道图像、所述在先图像的三通道图像及所述差值图像的三通道图像叠加成九通道图像，作为训练所述第一神经网络模型及所述第二神经网络模型的输入。
在一些实施方式中，所述获取单元，还包括：
选取子单元，用于选取多帧原始厢体图像；
加工子单元，用于将所述多帧原始厢体图像进行加工，产生多帧加工图像；
转向子单元，用于将所述多帧原始厢体图像进行转向，产生多帧转向图像；
合并子单元，用于将所述多帧原始厢体图像、所述多帧加工图像及所述多帧转向图像合并为所述多帧厢体图像。
又一方面，本申请实施例还提供了一种设备，包括处理器和存储器，所述存储器中存储有程序代码，所述处理器调用所述存储器中的程序代码时执行如上所述的物流装载率测量建模方法。
再一方面，本申请实施例还提供了一种存储介质，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本申请实施例提供的物流装载率测量建模方法。
本申请实施例通过获取多帧厢体图像，每帧厢体图像标注载物率及载物等级；根据所述多帧厢体图像的载物等级训练第一神经网络模型；根据所述第一神经网络模型及所述多帧厢体图像的载物率训练第二神经网络模型。本申请实施例通过厢体图像的载物率及载物等级训练模型，使得所述模型可以用于自动且快速地测量物流装载率，以利改善现有人为测量的问题。还可根据所述第二神经网络模型测试待测图像的物流装载率，相对于人工测量，可以提高对所述待测图像进行物流装载率测量的精度和效率，相较于现有测试平台，可让使用过程更为便捷。本方案通过终端中拍摄模块连续拍摄得到的多帧厢体图像标注载物率及载物等级，根据所述多帧厢体图像的载物等级训练第一神经网络模型，根据所述第一神经网络模型及所述多帧厢体图像的载物率训练第二神经网络模型，还可以根据所述第二神经网络模型方便且精确测量至少一帧待测图像的物流装载率；从而提高了物流装载率的测量效果。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的物流装载率测量建模方法的流程示意图；
图2是本申请实施例提供的物流装载率测量建模方法的另一流程示意图；
图3是本申请实施例提供的物流装载率测量建模装置的结构示意图；
图4是本申请实施例提供的设备的结构示意图；
图5是本申请实施例的当前图像、在先图像及差值图像的样本示意图；
图6是本申请实施例的当前图像、所述在先图像与其所述差值图像视为同一组合图像的不同部分的样本示意图；
图7是本申请实施例的神经网络模型进行训练的过程示意图；
图8是本申请实施例的神经网络模型进行物流装载率测试的动态曲线示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参阅图1，图1是本申请一实施例提供的物流装载率测量建模方法的流程示意图。所述物流装载率测量建模方法的执行主体可以是本申请实施例提供的物流装载率测量建模装置，或者集成了所述物流装载率测量建模装置的设备，比如终端或服务器等，例如：所述物流装载率测量建模方法可以采用硬件或者软件的方式实现，所述设备可以是安装有摄像头的电子运算装置，所述电子运算装置可以是智能手机、平板电脑、掌上电脑、笔记本电脑、固定电脑，或者服务器等等，所述运算装置还可以包括其它功能性元件，例如：惯性测试模块(inertial measurement unit，IMU)等等。以下举例说明所述物流装载率测量建模方法的实施过程，但不以此为限。
如图1所示，所述物流装载率测量建模方法可以包括步骤S101、S102及S103，除此之外，还可以包括步骤S104，分别说明如下。
如图1所示，步骤S101，获取多帧厢体图像，每帧厢体图像标注载物率及载物等级。
举例来说，本实施例可应用于对物流用的厢体(比如货柜等车厢)内装载的物体(如货物)的体积占比(即物流装载率)进行计算过程。在用于对物流装载率进行计算时，可通过终端中的拍摄模块获取包括厢体的多帧厢体图像作为样本集，样本集还可按照预定比例(如8:2或其他比例)分为训练集和测试集，分别用于训练模型和测试模型。进一步地，为了提高后续计算物流装载率的精确度，所述多帧厢体图像，可通过终端中的拍摄模块拍摄包括厢体全局特征的视频，比如所述多帧厢体图像中的车厢完整度大于门槛值，比如95％或其他比例，然后，进行解析得到多帧厢体图像，以排除厢体信息不足的图像，进而提高后续训练结果的准确度。
具体地，每帧厢体图像可以在预先标注载物率以及所述载物率归属的载物等级后被获取，比如对获取到的多帧厢体图像中的每帧中包含的厢体进行载物率提取，得到每帧厢体图像对应的载物率及所述载物率归属的载物等级。具体可通过人工作业取得每帧厢体图像的载物率以及所述载物率归属的载物等级，另由计算机自动进行标注，但不以此为限；还可通过训练好的网络或算法，对每帧厢体图像进行载物率提取，比如利用目标检测网络提取所述厢体内装载的物体数量以及物体所占的像素数量的关系，获取所述载物率，以及获取所述载物率与多个载物等级中的一个的相应关系，比如所述载物率可以是0至100％之间的数值，所述载物等级可以是载物率等于0(如载物等级0)、载物率大于0且不大于10(如载物等级1)、载物率大于10且不大于20(如载物等级2)、载物率大于20且不大于30(如载物等级3)、载物率大于30且不大于40(如载物等级4)、载物率大于40且不大于50(如载物等级5)、载物率大于50且不大于60(如载物等级6)、载物率大于60且不大于70(如载物等级7)、载物率大于70且不大于80(如载物等级8)、载物率大于80且不大于90(如载物等级9)、载物率大于90且不大于100(如载物等级10)。例如：可以利用上述内容，使所述载物率(如0.1％)相应于大于0且不大于10的载物等级(如载物等级1)，但不以此为限。从而，可利用所述载物等级进行粗略地预先训练，所述载物等级的数量不宜过多或过少，以提高训练过程的效率；另外，可再利用载物率提高训练参数的精确性。
在一实施例中，步骤S101包括：
选取多帧原始厢体图像；
将所述多帧原始厢体图像进行加工，产生多帧加工图像；
将所述多帧原始厢体图像进行转向，产生多帧转向图像；
将所述多帧原始厢体图像、所述多帧加工图像及所述多帧转向图像合并为所述多帧厢体图像。
举例来说，从所述拍摄模块拍摄的视频中选取多帧原始厢体图像，例如：可收集100000帧或其他帧数的图像，每帧图像为包括一个车厢的清晰、完整的彩色图像，为了避免图像的分辨率过低会对训练结果产生不良影响，图像的分辨率可为预设分辨率，比如1920*1080或其他尺寸等，图像大小可为预设尺寸，比如200万以上或其他数量像素；进一步地，还可从包含车厢的图像中识别及裁剪出车厢区域，例如：将所述车厢区域的大小缩放到一固定大小(如224*224像素或其他尺寸等)并保存，以构建初始样本集。
此外，由于所述拍摄模块拍摄到的视频是真实包括厢体全局特征的多帧原始厢体图像，为了提高样品集中的图像的多样性，还可增加一些与所述原始厢体图像相似的图像，例如：可将所述多帧原始厢体图像进行加工，加工方式可以是在所述原始厢体图像加入随机噪声、涂色、亮化、暗化、锐化及/或糊化等效果，以产生多帧加工图像；替代地或附加地，还可将所述多帧原始厢体图像进行转向，例如：以所述原始厢体图像中心为轴心进行随机旋转一角度、将图像进行侧向翻转及/或将图像纵向翻转等，以产生多帧转向图像；将所述多帧原始厢体图像、所述多帧加工图像及所述多帧转向图像合并为所述多帧厢体图像，例如：合并方式可以是依序按类并接及/或依序随机插入图像等，以便扩充样品集中图像的多样性，从而可以提高后续训练结果的鲁棒性(robustness)。
进一步地，步骤S101还可以包括：
从所述多帧厢体图像选取当前图像及在先图像；
计算所述当前图像与所述在先图像的差值图像；
将所述当前图像的三通道图像、所述在先图像的三通道图像及所述差值图像的三通道图像叠加成九通道图像，作为训练所述第一神经网络模型及所述第二神经网络模型的输入。
举例来说，由于所述包括厢体的视频中的多帧厢体图像具有时间序列性，为了提高对于图像变化关联性的提取效率，可以采用时间上的前、后图像进行比较，例如：可以从所述多帧厢体图像(例如彩色图像)选取所述当前图像(彩色图像)及所述在先图像(彩色图像)计算所述差值图像(彩色图像)，为了便于说明，后续仅示出从真实车厢中获取的彩色图像转换成的相应灰阶图像进行举例，但不以此为限，如果需要的话，所述彩色图像与灰阶图像可以被相互转换，这是本领域技术人员可以理解的。如图5所示，如要计算所述差值图像，可从所述多帧厢体图像中选取一帧作为所述当前图像(如图5所示的A)，另从所述多帧厢体图像中选取在所述当前图像之前出现的一帧作为所述在先图像(如图5所示的B)，比如到港状态(即车辆刚到港时的车厢状态)或者前一状态(前一时间节点的车厢状态，比如是5分钟、10分钟前的车厢状态)的图像，所述在先图像与所述当前图像之间具有一些内容上的差异，例如：厢体内的物体内容不同，比如物体外观颜色不同或物体占据图像中的像素数量不同等，用于计算所述当前图像与所述在先图像的差值图像(如图5所示的C)，例如：可以将所述当前图像与所述在先图像的像素数值相减，以产生所述差值图像，用于表示所述当前图像与所述在先图像之间的差异性及关联性，应被理解的是，所述差值图像呈现出的是所述当前图像与所述在先图像之间的差异，因此，所述差值图像的内容看似与一般取自车厢的真实图像不同也是可能存在的情况。此外，如图6所示，所述当前图像(如图6所示的A’)、所述在先图像(如图6所示的B’)与其所述差值图像(如图6所示的C’)可被视为同一组合图像(如图6所示的G)的不同部分，例如：将所述当前图像的三通道图像(如红、绿、蓝三色通道的图像)、所述在先图像的三通道图像及所述差值图像的三通道图像叠加成九通道图像，作为后续训练所述第一神经网络模型及所述第二神经网络模型的输入。
应被注意的是，本发明上述实施例的有益效果至少在于：所述差值图像可用于有效呈现所述当前图像与所述在先图像的关联性，进一步将所述当前图像的三通道图像、所述在先图像的三通道图像及所述差值图像的三通道图像叠加成九通道图像，可以使得训练所述第一神经网络模型及所述第二神经网络模型的输入具备厢体图像与其关联性信息，有利于使得厢体图像被提取出的特征参数(如权重)隐含所述厢体图像的前后时间变化关系，以利后续测试或测量所述厢体图像时呈现物流装载变化趋势。
如图1所示，步骤S102，根据所述多帧厢体图像的载物等级训练第一神经网络模型；
具体可根据所述多帧厢体图像的载物等级，对所述多帧厢体图像进行预训练过程，以训练所述第一神经网络模型的参数，如权重等。举例来说，可将原始图像(如厢体图像)经由深度神经网络进行特征提取、分类器分类等过程，以取得分类结果。应被理解的是，一个深度神经网络通常由多个顺序连接的层(layer)组成，第一层通常以图像作为输入，通过特定的运算从图像中提取特征，如权重等；接下来，每一层用前一层提取出的特征作为输入，进行特定形式的变换，以得到更复杂一些的特征，这些层次化的特征提取过程可以累加，赋予神经网络强大的特征提取能力，经过很多层的变换后，神经网络可以将原始图像变换为更高层次的抽象特征。所述分类器需要经过训练，例如反复进行前向传播，再利用反向传播调整各层参数的过程，直到符合特定条件，例如满足特定损失函数的条件，作为后续采用的依据。
应被注意的是，本发明上述实施例的有益效果至少在于：采用所述多帧厢体图像及其载物等级对所述第一神经网络模型进行训练，由于所述载物等级是一种经过初步分类后的数据，因而可以快速达成概括性训练结果，避免所有训练过程采用原始数据造成训练时间冗长，进而可以在保持一定准确度情况下，有效提高整体训练速度，可缩短训练过程的时间成本。
即具体地，步骤S102可包括：
从所述多帧厢体图像中分别选取当前图像作为第一图像、与所述当前图像的载物等级相同的厢体图像作为第二图像及与所述当前图像的载物等级不同的厢体图像作为第三图像；
将所述第一图像、所述第二图像及所述第三图像作为第一神经网络模型的输入，进行前向传播；
将所述第一图像、第二图像及第三图像经过第一神经网络模型的提取结果作为三元损失函数的输入参数，计算第一损失；
根据所述第一损失进行反向传播，优化所述第一神经网络模型的提取结果。
举例来说，先从所述多帧厢体图像中分别选取当前图像(如载物等级为2的九通道图像)作为第一图像、选取与所述当前图像的载物等级相同的厢体图像(如载物等级为2的九通道图像)作为第二图像，及选取与所述当前图像的载物等级不同的厢体图像(如载物等级为4的九通道图像)作为第三图像，接下来，可将所述第一图像、所述第二图像及所述第三图像作为第一神经网络模型的输入，所述第一神经网络模型可为深度神经网络模型，例如以卷积层为主体的深度神经网络，进行前向传播的过程，以提取不同层次的特征图；接下来，可利用图像间的关联性进行训练损失估算。
应被注意的是，本发明上述实施例的有益效果至少在于：选择与所述当前图像(即第一图像)的载物等级相同的厢体图像(即第二图像)，以及与所述当前图像(即第一图像)的载物等级不同的厢体图像(即第三图像)，可输入所述第一神经网络模型进行前向传播，可以有效提取关于所述载物等级相同的厢体图像间的特征，同时可以有效提取关于所述载物等级不同的厢体图像间的特征。
再者，本发明上述实施例将所述第一图像、第二图像及第三图像作为所述三元损失函数的输入参数，可以利用所述第一损失优化所述第一神经网络模型的提取结果，使得所述第一神经网络模型的提取结果有效增加类间间距及减少类内间距。通过类内间距减少机制，可以使得所述提取结果可以将载物等级相同的厢体图像特征视为同类特征，并且，通过类间间距增加机制，可以将所述载物等级不同的厢体图像视为异类特征，进而可以有效区别不同载物等级的厢体图像，可提高后续图像测试过程的正确率。
在一实施例中，可选定多个卷积神经网络(Convolutional Neural Network,CNN)构成所述第一神经网络模型，将所述多帧被选取的厢体图像输入所述第一神经网络模型中的所述多个卷积神经网络，进行前向传播；应被理解的是，所述卷积神经网络还可被替换成其它神经网络，在此仅以卷积神经网络进行说明，但不以此为限。举例来说，以卷积神经网络为例，网络通常可包括卷积层(convolutional layer)、激活层(如ReLU非线性激活层)、池化层(如max pooling层)、全连接层(full-connected layer)、归一化指数层(softmaxlayer)等。举例来说，如图7所示，可选择三个卷积神经网络(如CNN1、CNN2、CNN3)构成所述第一神经网络模型N，三个卷积神经网络的结构相同、参数共享。
应被注意的是，本发明上述实施例的有益效果至少在于：通过多个卷积神经网络提供局部感受野(local receptive fields)、权重共享(Shared weights and biases)和池化(pooling，即降采样)等特性，可以有效降低网络模型的复杂度，同时保持对于图像平移、旋转、尺度缩放等特征的包容性。
为了方便说明，三个卷积神经网络的输入，即所述第一图像D、第二图像E及第三图像F，可分别被命名为锚输入图像(Anchor)、正输入图像(Positive)、负输入图像(Negative)，以提取不同层次的特征图。接下来，如图7所示，可将所述第一图像D、第二图像E及第三图像F经过第一神经网络模型N的提取结果作为三元损失函数的输入参数，计算第一损失，用于根据所述第一损失进行反向传播，优化所述第一神经网络模型的提取结果，应被理解的是，所述优化的过程可能会依实际需求重复进行许多次。
在一实施例中，所述三元损失函数表达式如下所示，
Figure BDA0002166216540000121
所述三元损失函数约束了同一载物等级之间的欧式距离(差异性)小于不同载物等级之间的欧式距离(差异性)。其中
Figure BDA0002166216540000122
分别为锚输入图像(Anchor)、正输入图像(Positive)、负输入图像(Negative)经过CNN1，CNN2和CNN3之后得到的结果，
Figure BDA0002166216540000123
和
Figure BDA0002166216540000124
表示欧氏距离，α(margin)值为两个欧式距离直接的最小间隔，[*]+表示[]内的值大于零的时候，取[]内的值为损失值，[]内的值小于零时，以零为损失值。其中，α值由样本(即图像)之间的载物等级的距离动态计算得到，例如：α值由Anchor和Negative所在的载物等级的差值归一化后得到。从而，利用所述三元损失函数可以有效增加所述载物等级不同的图像之间的类间间距，减少所述载物等级相同的图像之间的类内间距，整个优化过程使用梯度下降(gradient descent)算法使得损失函数值不断下降，即类内距离不断下降，类间距离不断提升。
应被注意的是，本发明上述实施例的有益效果至少在于：采用三元损失函数可以提供网络模型的优化过程，让所述锚输入图像和所述正输入图像(即载物等级相同的厢体图像)的特征表达之间的距离尽可能小，而所述锚输入图像和所述负输入图像(即载物等级不同的厢体图像)的特征表达之间的距离尽可能大，使得所述第一神经网络模型的提取结果有效增加类间间距及减少类内间距。进而，本发明上述实施例配合在所述卷积神经网络中实现三元损失函数进行优化，如果所述卷积神经网络能够在前向传播中存储着两个中间结果，则反向传播的时候就能避免重复计算，可以有效降低计算量。
如图1所示，步骤S103，根据所述第一神经网络模型及所述多帧厢体图像的载物率训练第二神经网络模型。
在根据所述多帧厢体图像的载物等级训练第一神经网络模型之后，可根据所述第一神经网络模型及所述多帧厢体图像的载物率训练第二神经网络模型，具体可通过与第一神经网络模型相同的卷积神经网络结构作为所述第二神经网络模型进行训练，得到进一步训练结果，作为物流装载率的预测依据。
应被注意的是，本发明上述实施例的有益效果至少在于：采用所述第一神经网络模型的优化结果及所述多帧厢体图像的载物率对所述第二神经网络模型进行训练，由于所述载物率是一种判别度更为精确的数据，可用于对所述第一神经网络模型进行再次训练，使得所述第二神经网络模型可以进一步准确提升训练结果，有效提高整体训练准确率。
即具体地，步骤S103可包括：
将所述第一神经网络模型中最后一层的所有神经元替换为单个神经元，并将所述第一神经网络模型的提取结果用于所述第二神经网络模型；
将所述第一图像、所述第二图像及所述第三图像作为所述第二神经网络模型的输入，进行前向传播；
将所述多帧厢体图像的载物率当作Huber损失函数的输入参数，计算第二损失；
根据所述第二损失进行反向传播，优化所述第二神经网络模型的提取结果。
举例来说，可将所述第一图像、所述第二图像及所述第三图像作为第二神经网络模型的输入，所述第二神经网络模型可为深度神经网络模型，例如以卷积层为主体的深度神经网络，进行前向传播的过程，以提取不同层次的特征图；接下来，可利用图像间的关联性再次进行训练损失估算，例如：将所述第一图像、第二图像及第三图像经过第二神经网络模型的提取结果作为Huber损失函数的输入参数，计算第二损失；根据所述第二损失进行反向传播，优化所述第二神经网络模型的提取结果。
应被注意的是，本发明上述实施例的有益效果至少在于：将所述第一神经网络模型中最后一层的所有神经元替换为单个神经元，并将所述第一神经网络模型的提取结果用于所述第二神经网络模型，可利用所述第二神经网络模型进行再次提取特征过程，以利作为后续进行图像测量的有效依据。
再者，本发明上述实施例采用多帧厢体图像的载物率当作Huber损失函数的输入参数，可以提供网络模型的再次优化过程，增强平方误差损失函数对离群点(例如载物率差异过大的厢体图像特征)的鲁棒性，进而可以有效判别不同载物率的厢体图像，可提高后续图像测试过程的准确率。
在一实施例中，可选定多个卷积神经网络构成所述第二神经网络模型，将所述多帧被选取的厢体图像输入所述第二神经网络模型中的所述多个卷积神经网络，进行前向传播。举例来说，以卷积神经网络为例，可选择三个卷积神经网络(如CNN1、CNN2、CNN3)构成所述第二神经网络模型，三个卷积神经网络的结构相同、参数共享，以提取不同层次的特征图。
在一实施例中，所述Huber损失函数表达式如下所示，
Figure BDA0002166216540000141
应被理解的是，在所述Huber损失函数中，L1损失是线性误差，L2损失是平方误差，L1损失能够对异常值更具鲁棒性，L2损失在接近目标值的时候，曲线更平滑，能够更快速地收敛，而Huber损失函数是L1损失和L2损失的结合，当预测偏差小于δ(delta)时，所述Huber损失函数采用平方误差，当预测偏差大于δ(delta)时，它采用线性误差。从而，利用所述Huber损失函数可以用于回归问题的带参损失函数，可以增强平方误差损失函数对离群点的鲁棒性。
应被注意的是，本发明上述实施例的有益效果至少在于：相较于其他损失函数，例如：使用MAE损失函数训练神经网络最大的一个问题就是不变的大梯度，这可能导致在使用梯度下降快要结束时，错过了最小点；而使用MSE损失函数，梯度会随着损失的减小而减小，使结果更加精确。在这种情况下，使用Huber损失函数就非常有用，它会由于梯度的减小而落在最小值附近，比起MSE损失函数，使用的Huber损失函数对异常点更具鲁棒性。因此，本发明使用Huber损失函数，将可结合MSE损失函数和MAE损失函数的优点，同时消除MSE损失函数和MAE损失函数的缺点，可以产生对异常厢体图像更具鲁棒性的效果。
如图1所示，步骤S104，根据所述第二神经网络模型测试待测图像的物流装载率。
具体地，在所述第二神经网络模型训练及优化完成后，即可根据所述第二神经网络模型测试待测图像的物流装载率，例如：所述待测图像可取自测试集中的厢体图像，利用回归算法测试产生所述待测图像的物流装载率。如图8所示，此例是多帧厢体图像(如组合图像G)(左)经过上述神经网络模型(如CNN)(中)测试后产生物流装载率曲线(右)的情况。从图8中的物流装载率曲线可知，随着时间单位增加，物流装载率(以百分比表示)递减。所以，根据测试结果，可以即时得知所述多帧厢体图像是在卸货过程中的车厢随时间被拍摄的图像样本集。从而，上述测试过程除了可以测量多帧厢体图像的物流装载率的变化，也可测量特定的单帧厢体图像的物流装载率，可应用测量不同场域的物流装载率，以便作为物流管控或运营的依据。
本实施例通过获取多帧厢体图像，每帧厢体图像标注载物率及载物等级；根据所述多帧厢体图像的载物等级训练第一神经网络模型；根据所述第一神经网络模型及所述多帧厢体图像的载物率训练第二神经网络模型。还可根据所述第二神经网络模型测试待测图像的物流装载率。本实施例的实施方案通过终端中拍摄模块连续拍摄得到的多帧厢体图像标注载物率及载物等级，根据所述多帧厢体图像的载物等级训练第一神经网络模型，根据所述第一神经网络模型及所述多帧厢体图像的载物率训练第二神经网络模型，还可以根据所述第二神经网络模型方便且精确测量至少一帧待测图像的物流装载率；从而提高了物流装载率的测量效果。
根据上述实施例所描述的物流装载率测量建模方法，以下将作进一步详细说明。本实施例以测试平台为手机，厢体为车厢(也可为货柜)举例进行描述上述实施例的物流装载率测量建模方法，但不以此为限。
请参阅图2，图2为本申请实施例提供的物流装载率测量建模方法的又一流程图。
如图2所示，步骤S201，获取手机中的相机拍摄得到的厢体视频。
在本发明实施例中，为了提高计算多帧厢体图像中的物流装载率的效率，在拍摄厢体时，可在手机中设置拍摄条件。比如，在手机以预设角度开始拍摄厢体或者场景后，在拍摄过程中拍摄角度的变化较小，拍摄方式为水平推拉的方式，后续计算图像的物流装载率的准确性越高，因此可设置手机拍摄视频的角度以及在拍摄视频时以水平推拉的方式进行拍摄。在拍摄过程中，若检测到拍摄角度与设置的拍摄角度不符时，或检测到拍摄方式不是水平推拉的方式时，可向用户发送提示信息，提示用户进行调整。进一步地，手机获取到的图像通常并不是1：1的图像；而且为了方便将厢体的整个整体放入图像中，可设置手机拍摄视频时画面的大小，比如设置为1920*1080或其他尺寸等，用户在进行拍摄时，直接进行拍摄即可，不需要进行调整。
如图2所示，步骤S202，将厢体视频中的模拟信号转化为处于压缩状态的图像信号。
如图2所示，步骤S203，对处于压缩状态的图像信号进行解压缩，获得视频的多帧厢体图像。
由于需要对连续的多帧图像进行分析，因此，在视频拍摄时，采用模拟视频信号进行拍摄。在获取得到手机中拍摄模块拍摄得到的视频之后，将视频中的模拟信号由电信号转化为处于压缩状态的图像信号，在本发明实施例的方案中，可以根据实际情况灵活选取实现视频的模拟信号到图像信号的转换的方法，对于具体的转换方法和算法不做限制。通过所述步骤的转换工作，可以获得视频的图像信号，但所述图像信号是处于压缩状态的，需要进一步对所述压缩状态的图像信号进行解压缩，即可获得视频的多帧厢体图像，可以根据实际情况灵活选取实现对所述压缩状态的图像信号进行解压缩方法，对于具体的解压缩方法和算法不做限制。
如图2所示，步骤S204，获取预设的厢体图像尺寸与用于标注厢体图像的载物率及载物等级。
如图2所示，步骤S205，将所述多帧厢体图像按照所述预设的图像尺寸进行缩放，获得缩放后的多帧厢体图像。
获取预设的图像尺寸，将处理后的多帧厢体图像的尺寸与预设的图像尺寸相比，若处理后的多帧厢体图像的尺寸大于预设的图像尺寸，则将处理后的多帧厢体图像的图像等比例缩小至预设的图像尺寸。若处理后的多帧厢体图像的尺寸小于预设的图像尺寸，则将处理后的多帧厢体图像的图像等比例放大至预设的图像尺寸。应被理解的是，所述每帧厢体图像在进行缩放前、中、后，可被标注载物率及载物等级，用于进行后续过程。
如图2所示，步骤S206，从所述多帧厢体图像中分别选取当前图像作为第一图像、与所述当前图像的载物等级相同的厢体图像作为第二图像及与所述当前图像的载物等级不同的厢体图像作为第三图像；
如图2所示，步骤S207，将所述第一图像、所述第二图像及所述第三图像作为第一神经网络模型的输入，进行前向传播；
如图2所示，步骤S208，将所述第一图像、第二图像及第三图像经过第一神经网络模型的提取结果作为三元损失函数的输入参数，计算第一损失；
如图2所示，步骤S209，根据所述第一损失进行反向传播，优化所述第一神经网络模型的提取结果。
举例来说，可将所述第一图像、所述第二图像及所述第三图像作为第一神经网络模型的输入，所述第一神经网络模型可为深度神经网络模型，例如以卷积层为主体的深度神经网络，所述深度神经网络可利用软件或硬件设置在手机中，用于进行前向传播的过程，以提取不同层次的特征图；另外，可利用图像间的关联性进行训练损失估算，例如：将所述第一图像、第二图像及第三图像经过第一神经网络模型的提取结果作为三元损失函数的输入参数，计算第一损失，所述第一神经网络模型及三元损失函数算法可以利用软件或硬件设置在手机中，附加地或替代地，也可以被设置在云技术平台的服务器，所述服务器与手机可以相互通信，用于根据所述第一损失进行反向传播，优化所述第一神经网络模型的提取结果。
如图2所示，步骤S210，将所述第一神经网络模型中最后一层的所有神经元替换为单个神经元，并将所述第一神经网络模型的提取结果用于第二神经网络模型；
如图2所示，步骤S211，将所述第一图像、所述第二图像及所述第三图像作为所述第二神经网络模型的输入，进行前向传播；
如图2所示，步骤S212，将所述多帧厢体图像的载物率当作Huber损失函数的输入参数，计算第二损失；
如图2所示，步骤S213，根据所述第二损失进行反向传播，优化所述第二神经网络模型的提取结果。
举例来说，可将所述第一图像、所述第二图像及所述第三图像作为第二神经网络模型的输入，所述第二神经网络模型可为深度神经网络模型，例如以卷积层为主体的深度神经网络，所述深度神经网络可利用软件或硬件设置在手机中，用于进行前向传播的过程，以提取不同层次的特征图；另外，可利用图像间的关联性再次进行训练损失估算，例如：将所述第一图像、第二图像及第三图像经过第一神经网络模型的提取结果作为Huber损失函数的输入参数，计算第二损失，所述第二神经网络模型及Huber损失函数算法可利用软件或硬件设置在手机中，附加地或替代地，也可以被设置在云技术平台的服务器，所述服务器与手机可以相互通信，用于根据所述第二损失进行反向传播，优化所述第二神经网络模型的提取结果。
如图2所示，步骤S214，根据所述第二神经网络模型测试待测图像的物流装载率。
本方案通过手机中拍摄模块连续拍摄得到的多帧厢体图像标注载物率及所述载物率归属的载物等级，根据所述多帧厢体图像的载物等级训练第一神经网络模型，根据所述第一神经网络模型及所述多帧厢体图像的载物率训练第二神经网络模型，还可以根据所述第二神经网络模型方便且精确测量至少一帧待测图像的物流装载率；从而提高了物流装载率的测量效果。
为便于更好的实施本申请实施例提供的物流装载率测量建模方法，本申请实施例还提供一种基于上述物流装载率测量建模装置。其中名词的含义与上述物流装载率测量建模方法中相同，具体实现细节可以参考上述方法实施例中的说明。
请参阅图3，图3为本申请实施例提供的物流装载率测量建模装置的结构示意图，其中所述物流装载率测量建模装置可以包括获取单元301、第一训练单元302以及第二训练单元303，还可以包括其余功能性单元，比如测试单元304等。
具体地，
所述获取单元301用于获取多帧厢体图像，每帧厢体图像标注载物率及载物等级；
第一训练单元302，用于根据所述多帧厢体图像的载物等级训练第一神经网络模型；
第二训练单元303，用于根据所述第一神经网络模型及所述多帧厢体图像的载物率训练第二神经网络模型；
测试单元304，用于根据所述第二神经网络模型测试待测图像的物流装载率。
在一些实施方式中，所述获取单元301包括：
选像子单元，用于从所述多帧厢体图像选取当前图像及在先图像；
计算子单元，用于计算所述当前图像与所述在先图像的差值图像；
叠加子单元，用于将所述当前图像的三通道图像、所述在先图像的三通道图像及所述差值图像的三通道图像叠加成九通道图像，作为训练所述第一神经网络模型及所述第二神经网络模型的输入。
在一些实施方式中，所述获取单元301还包括：
选取子单元，用于选取多帧原始厢体图像；
加工子单元，用于将所述多帧原始厢体图像进行加工，产生多帧加工图像；
转向子单元，用于将所述多帧原始厢体图像进行转向，产生多帧转向图像；
合并子单元，用于将所述多帧原始厢体图像、所述多帧加工图像及所述多帧转向图像合并为所述多帧厢体图像。
在一些实施方式中，所述第一训练单元302包括：
映对子单元，用于从所述多帧厢体图像中分别选取当前图像作为第一图像、与所述当前图像的载物等级相同的厢体图像作为第二图像及与所述当前图像的载物等级不同的厢体图像作为第三图像；
第一训练子单元，用于将所述第一图像、所述第二图像及所述第三图像作为第一神经网络模型的输入，进行前向传播；
第一估损子单元，用于将所述第一图像、第二图像及第三图像经过第一神经网络模型的提取结果作为三元损失函数的输入参数，计算第一损失；
第一优化子单元，用于根据所述第一损失进行反向传播，优化所述第一神经网络模型的提取结果。
在一些实施方式中，所述第一训练单元302还包括：
第一卷积子单元，用于选定多个卷积神经网络构成所述第一神经网络模型，将所述多帧被选取的厢体图像输入所述第一神经网络模型中的所述多个卷积神经网络，进行前向传播。
在一些实施方式中，所述第二训练单元303包括：
第二替用子单元，用于将所述第一神经网络模型中最后一层的所有神经元替换为单个神经元，并将所述第一神经网络模型的提取结果用于所述第二神经网络模型；
第二训练子单元，用于将所述第一图像、所述第二图像及所述第三图像作为所述第二神经网络模型的输入，进行前向传播；
第二估损子单元，用于将所述多帧厢体图像的载物率当作Huber损失函数的输入参数，计算第二损失；
第二优化子单元，用于根据所述第二损失进行反向传播，优化所述第二神经网络模型的提取结果。
在一些实施方式中，所述第二训练单元303还包括：
第二卷积子单元，用于选定多个卷积神经网络构成所述第二神经网络模型，将所述多帧被选取的厢体图像输入所述第二神经网络模型中的所述多个卷积神经网络，进行前向传播。
其中，以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
图4示出了本发明实施例提供的设备400的具体结构框图，所述设备400可以用于实施上述实施例中提供的物流装载率测量建模方法。所述设备400可以为智能手机或平板电脑等。
如图4所示，设备400可以包括RF(Radio Frequency，射频)电路410、包括有一个或一个以上(图中仅示出一个)计算机可读存储介质的存储器420、输入单元430、显示单元440、传输模块450、包括有一个或者一个以上(图中仅示出一个)处理核心的处理器460以及电源470等部件。本领域技术人员可以理解，图4中示出的设备400结构并不构成对设备400的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
RF电路410用于接收以及发送电磁波，实现电磁波与电信号的相互转换，从而与通信网络或者其他设备进行通信。RF电路410可包括各种现有的用于执行这些功能的电路元件，例如，天线、射频收发器、数字信号处理器、加密/解密芯片、用户身份模块(SIM)卡、存储器等等。RF电路410可与各种网络如互联网、企业内部网、无线网络进行通信或者通过无线网络与其他设备进行通信。上述的无线网络可包括蜂窝式电话网、无线局域网或者城域网。上述的无线网络可以使用各种通信标准、协议及技术，包括但并不限于全球移动通信系统(Global System for Mobile Communication，GSM)、增强型移动通信技术(Enhanced DataGSM Environment，EDGE)，宽带码分多址技术(Wideband Code Division MultipleAccess，WCDMA)，码分多址技术(Code Division Access，CDMA)、时分多址技术(TimeDivision Multiple Access，TDMA)，无线保真技术(Wireless Fidelity，Wi-Fi)(如美国电气和电子工程师协会标准IEEE 802.11a、IEEE 802.11b、IEEE802.11g和/或IEEE802.11n)、网络电话(Voice over Internet Protocol，VoIP)、全球微波互联接入(Worldwide Interoperability for Microwave Access，Wi-Max)、其他用于邮件、即时通信及短消息的协议，以及任何其他合适的通信协议，甚至可包括那些当前仍未被开发出来的协议。
存储器420可用于存储软件程序以及模块，如上述实施例中物流装载率测量建模方法的程序指令/模块，处理器460通过运行存储在存储器420内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现物流装载率测量建模的功能。存储器420可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器420可进一步包括相对于处理器460远程设置的存储器，这些远程存储器可以通过网络连接至设备400。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入单元430可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地，输入单元430可包括触敏表面以及其他输入设备。触敏表面，也称为触摸显示屏或者触控板，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面上或在触敏表面附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触敏表面可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器460，并能接收处理器460发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面。除了触敏表面，输入单元430还可以包括其他输入设备。具体地，其他输入设备可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元440可用于显示由用户输入的信息或提供给用户的信息以及设备400的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元440可包括显示面板441，可选的，可以采用LCD(Liquid Crystal Display，液晶显示器)、OLED(Organic Light-Emitting Diode，有机发光二极管)等形式来配置显示面板441。进一步的，触敏表面可覆盖显示面板441，当触敏表面检测到在其上或附近的触摸操作后，传送给处理器460以确定触摸事件的类型，随后处理器460根据触摸事件的类型在显示面板441上提供相应的视觉输出。虽然在图4中，触敏表面与显示面板441是作为两个独立的部件来实现输入和输出功能，但是在某些实施例中，可以将触敏表面与显示面板441集成而实现输入和输出功能。
设备400通过传输模块450(例如Wi-Fi模块)可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图4示出了传输模块450，但是可以理解的是，其并不属于设备400的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。
处理器460是设备400的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器420内的软件程序和/或模块，以及调用存储在存储器420内的数据，执行设备400的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器460可包括一个或多个处理核心；在一些实施例中，处理器460可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器460中。
设备400还包括给各个部件供电的电源470(比如电池)，在一些实施例中，电源可以通过电源管理系统与处理器460逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源470还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
具体在本实施例中，设备400的显示单元440是触摸屏显示器，设备400还包括有存储器420，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器420中，且经配置以由一个或者一个以上处理器460执行一个或者一个以上程序包含用于进行以下操作的指令：
获取多帧厢体图像，每帧厢体图像标注载物率及载物等级；
根据所述多帧厢体图像的载物等级训练第一神经网络模型；
根据所述第一神经网络模型及所述多帧厢体图像的载物率训练第二神经网络模型；及/或
根据所述第二神经网络模型测试待测图像的物流装载率。
在上述实施例中，对各个实施例的描述仅是举例说明，某个实施例中没有详述的部分，可以参见上文针对物流装载率测量建模方法的详细描述，此处不再赘述。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，所述指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本申请实施例提供一种存储介质，其中存储有计算机程序的多条指令，所述指令能够被处理器进行加载，以执行本申请实施例所提供的任一种物流装载率测量建模方法中的步骤。例如，所述指令可以执行如下步骤及/或与其有关的步骤：
获取多帧厢体图像，每帧厢体图像标注载物率及载物等级；
根据所述多帧厢体图像的载物等级训练第一神经网络模型；
根据所述第一神经网络模型及所述多帧厢体图像的载物率训练第二神经网络模型；及/或
根据所述第二神经网络模型测试待测图像的物流装载率。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
其中，所述存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁盘或光盘等。
由于所述存储介质中所存储的指令，可以执行本申请实施例所提供的任一种物流装载率测量建模方法中的步骤，因此，可以实现本申请实施例所提供的任一种物流装载率测量建模方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
以上对本申请实施例所提供的一种物流装载率测量建模方法、装置、设备及存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种物流装载率测量建模方法，其特征在于，包括：
获取多帧厢体图像，每帧厢体图像标注载物率及载物等级；
根据所述多帧厢体图像的载物等级训练第一神经网络模型；以及
根据所述第一神经网络模型及所述多帧厢体图像的载物率训练第二神经网络模型。
2.根据权利要求1所述的物流装载率测量建模方法，其特征在于，还包括根据所述第二神经网络模型测试待测图像的物流装载率。
3.根据权利要求1所述的物流装载率测量建模方法，其特征在于，所述根据所述多帧厢体图像的载物等级训练第一神经网络模型，包括：
从所述多帧厢体图像中分别选取当前图像作为第一图像、与所述当前图像的载物等级相同的厢体图像作为第二图像及与所述当前图像的载物等级不同的厢体图像作为第三图像；
将所述第一图像、所述第二图像及所述第三图像作为第一神经网络模型的输入，进行前向传播；
将所述第一图像、第二图像及第三图像经过第一神经网络模型的提取结果作为三元损失函数的输入参数，计算第一损失；
根据所述第一损失进行反向传播，优化所述第一神经网络模型的提取结果。
4.根据权利要求3所述的物流装载率测量建模方法，其特征在于，所述根据所述多帧厢体图像的载物等级训练第一神经网络模型，还包括：
选定多个卷积神经网络构成所述第一神经网络模型。
5.根据权利要求3所述的物流装载率测量建模方法，其特征在于，所述根据所述第一神经网络模型及所述多帧厢体图像的载物率训练第二神经网络模型，包括：
将所述第一神经网络模型中最后一层的所有神经元替换为单个神经元，并将所述第一神经网络模型的提取结果用于所述第二神经网络模型；
将所述第一图像、所述第二图像及所述第三图像作为所述第二神经网络模型的输入，进行前向传播；
将所述多帧厢体图像的载物率当作Huber损失函数的输入参数，计算第二损失；
根据所述第二损失进行反向传播，优化所述第二神经网络模型的提取结果。
6.根据权利要求5所述的物流装载率测量建模方法，其特征在于，所述根据所述多帧厢体图像的载物等级训练第二神经网络模型，还包括：
选定多个卷积神经网络构成所述第二神经网络模型。
7.根据权利要求1所述的物流装载率测量建模方法，其特征在于，所述获取多帧厢体图像，包括：
从所述多帧厢体图像选取当前图像及在先图像；
计算所述当前图像与所述在先图像的差值图像；
将所述当前图像的三通道图像、所述在先图像的三通道图像及所述差值图像的三通道图像叠加成九通道图像，作为训练所述第一神经网络模型及所述第二神经网络模型的输入。
8.一种物流装载率测量建模装置，其特征在于，包括：
获取单元，用于获取多帧厢体图像，每帧厢体图像标注载物率及载物等级；
第一训练单元，用于根据所述多帧厢体图像的载物等级训练第一神经网络模型；以及
第二训练单元，用于根据所述第一神经网络模型及所述多帧厢体图像的载物率训练第二神经网络模型。
9.一种设备，其特征在于，包括处理器和存储器，所述存储器中存储有程序代码，所述处理器调用所述存储器中的程序代码时执行如权利要求1至7任一项所述的物流装载率测量建模方法。
10.一种存储介质，其特征在于，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行如权利要求1至7任一项所述的物流装载率测量建模方法。
CN201910747972.XA 2019-08-14 2019-08-14 物流装载率测量建模方法、装置、设备、及存储介质 Pending CN112396264A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910747972.XA CN112396264A (zh) 2019-08-14 2019-08-14 物流装载率测量建模方法、装置、设备、及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910747972.XA CN112396264A (zh) 2019-08-14 2019-08-14 物流装载率测量建模方法、装置、设备、及存储介质

Publications (1)

Publication Number Publication Date
CN112396264A true CN112396264A (zh) 2021-02-23

Family

ID=74601311

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910747972.XA Pending CN112396264A (zh) 2019-08-14 2019-08-14 物流装载率测量建模方法、装置、设备、及存储介质

Country Status (1)

Country Link
CN (1) CN112396264A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114355908A (zh) * 2021-12-22 2022-04-15 无锡江南智造科技股份有限公司 一种基于特征识别的导航优化方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101839978A (zh) * 2010-03-05 2010-09-22 清华大学 一种高速公路绿色通道敞篷车装载率获取方法
KR20150024963A (ko) * 2013-08-27 2015-03-10 한양대학교 에리카산학협력단 공간 점유를 이용한 서비스 제공 방법 및 그 시스템
JP2016071595A (ja) * 2014-09-30 2016-05-09 三菱電機株式会社 集荷管理装置、集荷管理プログラムおよび集荷システム
CN107886042A (zh) * 2017-03-23 2018-04-06 比亚迪股份有限公司 列车车厢的拥挤度判定方法和装置
CN108898044A (zh) * 2018-04-13 2018-11-27 顺丰科技有限公司 装载率获取方法、装置、系统及存储介质
CN109145956A (zh) * 2018-07-26 2019-01-04 上海慧子视听科技有限公司 评分方法、装置、计算机设备及存储介质
CN109740681A (zh) * 2019-01-08 2019-05-10 南方科技大学 一种水果分拣方法、装置、系统、终端及存储介质
CN109993785A (zh) * 2019-03-27 2019-07-09 青岛小鸟看看科技有限公司 一种货箱体积测量方法和深度相机模组

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101839978A (zh) * 2010-03-05 2010-09-22 清华大学 一种高速公路绿色通道敞篷车装载率获取方法
KR20150024963A (ko) * 2013-08-27 2015-03-10 한양대학교 에리카산학협력단 공간 점유를 이용한 서비스 제공 방법 및 그 시스템
JP2016071595A (ja) * 2014-09-30 2016-05-09 三菱電機株式会社 集荷管理装置、集荷管理プログラムおよび集荷システム
CN107886042A (zh) * 2017-03-23 2018-04-06 比亚迪股份有限公司 列车车厢的拥挤度判定方法和装置
CN108898044A (zh) * 2018-04-13 2018-11-27 顺丰科技有限公司 装载率获取方法、装置、系统及存储介质
CN109145956A (zh) * 2018-07-26 2019-01-04 上海慧子视听科技有限公司 评分方法、装置、计算机设备及存储介质
CN109740681A (zh) * 2019-01-08 2019-05-10 南方科技大学 一种水果分拣方法、装置、系统、终端及存储介质
CN109993785A (zh) * 2019-03-27 2019-07-09 青岛小鸟看看科技有限公司 一种货箱体积测量方法和深度相机模组

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114355908A (zh) * 2021-12-22 2022-04-15 无锡江南智造科技股份有限公司 一种基于特征识别的导航优化方法

Similar Documents

Publication Publication Date Title
CN113344901B (zh) 涂胶缺陷检测方法、装置、存储介质及电子设备
CN108875451B (zh) 一种定位图像的方法、装置、存储介质和程序产品
US11042978B2 (en) Method and apparatus for performing damage segmentation on vehicle damage image
WO2018113512A1 (zh) 图像处理方法以及相关装置
CN109325518B (zh) 图像的分类方法、装置、电子设备和计算机可读存储介质
CN113436100B (zh) 用于修复视频的方法、装置、设备、介质和产品
CN110378276B (zh) 车辆状态获取方法、装置、设备、及存储介质
CN112703530B (zh) 图像处理方法、装置、计算机设备和存储介质
US11989637B2 (en) System and method for invertible wavelet layer for neural networks
CN114511041A (zh) 模型训练方法、图像处理方法、装置、设备和存储介质
CN112541489A (zh) 图像检测方法、装置、移动终端及存储介质
CN112396264A (zh) 物流装载率测量建模方法、装置、设备、及存储介质
CN109726726B (zh) 视频中的事件检测方法及装置
CN112489082A (zh) 位置检测方法、装置、电子设备以及可读存储介质
CN111652152A (zh) 人群密度检测方法、装置、计算机设备和存储介质
CN112766529A (zh) 物流日度件量预测优化方法、装置、设备、及存储介质
CN113449559B (zh) 一种表格识别方法、装置、计算机设备和存储介质
CN114140655A (zh) 图像分类方法、装置、存储介质及电子设备
CN111372001B (zh) 图像融合方法、装置、存储介质及移动终端
CN112146578B (zh) 尺度比计算方法、装置、设备、及存储介质
CN108829600B (zh) 算法库的测试方法、装置、存储介质和电子设备
CN113705309A (zh) 一种景别类型判断方法、装置、电子设备和存储介质
KR20220036768A (ko) 이미지 복원에 기반한 상품 검색 방법 및 시스템
CN112001369A (zh) 船舶烟囱的检测方法、装置、电子设备及可读存储介质
CN113936134A (zh) 一种目标检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination