CN112446402A - 装载率识别方法、装置、计算机设备和存储介质 - Google Patents

装载率识别方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN112446402A
CN112446402A CN201910827891.0A CN201910827891A CN112446402A CN 112446402 A CN112446402 A CN 112446402A CN 201910827891 A CN201910827891 A CN 201910827891A CN 112446402 A CN112446402 A CN 112446402A
Authority
CN
China
Prior art keywords
neural network
image
compartment
car
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910827891.0A
Other languages
English (en)
Other versions
CN112446402B (zh
Inventor
张宽
郭明坚
张恒瑞
张劲松
孟小敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SF Technology Co Ltd
Shenzhen SF Taisen Holding Group Co Ltd
Original Assignee
SF Technology Co Ltd
Shenzhen SF Taisen Holding Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SF Technology Co Ltd, Shenzhen SF Taisen Holding Group Co Ltd filed Critical SF Technology Co Ltd
Priority to CN201910827891.0A priority Critical patent/CN112446402B/zh
Publication of CN112446402A publication Critical patent/CN112446402A/zh
Application granted granted Critical
Publication of CN112446402B publication Critical patent/CN112446402B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/083—Shipping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Business, Economics & Management (AREA)
  • Computational Linguistics (AREA)
  • Economics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Development Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种装载率识别方法、装置、计算机设备和存储介质。包括：获取载物厢体的厢内图像；将厢内图像输入训练好的第一神经网络，通过第一神经网络的卷积层，提取得到厢内图像的车门特征；将厢内图像输入训练好的第二神经网络，通过第二神经网络的卷积层，提取得到厢内图像的货物特征；将厢内图像输入训练好的第三神经网络，通过第三神经网络的中间层，提取得到厢内图像的装载率分类特征；其中，第三神经网络的中间层与第一神经网络、第二神经网络的卷积层的大小相同；融合车门特征、货物特征和装载率分类特征，得到厢内图像的融合特征；将融合特征输入训练好的第四神经网络，得到厢内图像的装载率分类结果。采用本方法能够提高识别精度。

Description

装载率识别方法、装置、计算机设备和存储介质
技术领域
本申请涉及计算机领域，特别是涉及一种装载率识别方法、装置、计算机设备和存储介质。
背景技术
在物流领域，装载率一般指实际所载货物体积除以车厢最大可载货体积。装载率可分为瞬时装载率和过程装载率，瞬时装载率是指车厢到港或者离港时给出的车厢装载率值，过程装载率指的是货物装卸过程中车厢的实时装载率。装载率是一种评估营运效率的方法，可以用于反映物流中转场的工作情况。从而可以根据装载率来合理调度车辆，以便充分利用车辆资源，降低物流成本且提高运行效率。
装载率传统上依靠测量设备或者人工进行测量。然而，测量设备的使用不仅需要专门搭建专用的测量平台，并且对场地有一定的要求。而且无论是依靠测量设备还是人工都需要较大的人力成本，导致成本高且测量速度慢。为了节省人力成本和提高测量的速度，以及随着人工智能的发展，利用神经网络识别装载率成为了一种新方法。但是，现有神经网络通常依靠单张图像的信息进行装载率的识别，导致识别的精度低。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高识别精度的装载率识别方法、装置、计算机设备和存储介质。
一种装载率识别方法，所述方法包括：
获取载物厢体的厢内图像；
将所述厢内图像输入训练好的第一神经网络，通过所述第一神经网络的卷积层，提取得到所述厢内图像的车门特征；
将所述厢内图像输入训练好的第二神经网络，通过所述第二神经网络的卷积层，提取得到所述厢内图像的货物特征；
将所述厢内图像输入训练好的第三神经网络，通过所述第三神经网络的中间层，提取得到所述厢内图像的装载率分类特征；其中，所述第三神经网络的中间层与所述第一神经网络、第二神经网络的卷积层的大小相同；
融合所述车门特征、所述货物特征和所述装载率分类特征，得到所述厢内图像的融合特征；
将所述融合特征输入训练好的第四神经网络，得到所述厢内图像的装载率分类结果。
在其中一个实施例中，所述方法还包括：
获取载物厢体的样本集合，所述样本集合包括厢内图像样本、以及标注的所述厢内图像样本的车门掩模图像和货物掩模图像；
将所述厢内图像样本输入第一神经网络，通过所述第一神经网络的卷积层提取所述厢内图像样本的特征图，通过所述第一神经网络的反卷积层将所述特征图采样到原图大小，输出从所述厢内图像样本分割的车门掩模图像；
根据输出的所述车门掩模图像和标注的所述车门掩模图像调整第一神经网络的参数；
当达到训练的结束条件时，停止迭代，得到训练好的第一神经网络；
将所述厢内图像样本输入第二神经网络，通过所述第二神经网络的卷积层提取所述厢内图像样本的特征图，通过所述第二神经网络的反卷积层将所述特征图采样到原图大小，输出从所述厢内图像样本分割的货物掩模图像；
根据输出的所述货物掩模图像和标注的所述货物掩模图像调整第二神经网络的参数；
当达到训练的结束条件时，停止迭代，得到训练好的第二神经网络。
在其中一个实施例中，所述样本集合还包括标注的所述厢内图像样本的装载率分类结果；所述方法还包括：
将所述厢内图像样本输入第三神经网络，输出得到所述厢内图像样本的装载率分类结果；
根据输出的所述厢内图像样本的装载率分类结果和标注的装载率分类结果，调整第三神经网络的参数；
当达到训练的结束条件时，停止迭代，得到训练好的第三神经网络。
在其中一个实施例中，所述方法还包括：
将所述厢内图像样本输入训练好的第一神经网络，通过训练好的所述第一神经网络的卷积层，提取得到所述厢内图像样本的车门特征；
将所述厢内图像样本输入训练好的第二神经网络，通过训练好的所述第二神经网络的卷积层，提取得到所述厢内图像样本的货物特征；
将所述厢内图像样本输入训练好的第三神经网络，通过训练好的所述第三神经网络的中间层，提取得到所述厢内图像样本的装载率分类特征；
融合所述厢内图像样本的车门特征、货物特征和装载率分类特征，得到所述厢内图像样本的融合特征；
将所述厢内图像样本的融合特征输入第四神经网络，输出所述厢内图像样本的装载率分类结果；
根据输出的所述厢内图像样本的装载率分类结果和标注的所述厢内图像样本的装载率分类结果调整第四神经网络的参数；
当达到训练的结束条件时，停止迭代，得到训练好的第四神经网络。
在其中一个实施例中，获取载物厢体的厢内图像，包括：
接收载物厢体在厢门打开状态时拍摄的厢体图像；
对所述厢体图像进行识别，根据所述载物厢体的车门裁剪所述载物厢体的厢内图像区域；
将所述厢内图像区域进行缩放，得到厢内图像。
在其中一个实施例中，对所述厢体图像进行识别，根据所述载物厢体的车门裁剪所述载物厢体的厢内图像区域，包括：
将所述厢体图像输入第五神经网络，通过第五神经网络对所述厢体图像进行识别，得到所述载物厢体的车门的坐标值；
根据所述载物厢体的车门的坐标值，从所述厢体图像中裁剪得到所述载物厢体的厢内图像区域。
在其中一个实施例中，融合所述车门特征、所述货物特征和所述装载率分类特征，得到厢内图像的融合特征，包括：
将所述车门特征、所述货物特征和所述装载率分类特征进行特征相加，得到厢内图像的融合特征；
或
将所述车门特征、所述货物特征和所述装载率分类特征进行特征合并，得到厢内图像的融合特征。
一种装载率识别装置，所述装置包括：
获取模块，用于获取载物厢体的厢内图像；
提取模块，用于将所述厢内图像输入训练好的第一神经网络，通过所述第一神经网络的卷积层，提取得到所述厢内图像的车门特征；
所述提取模块还用于将所述厢内图像输入训练好的第二神经网络，通过所述第二神经网络的卷积层，提取得到所述厢内图像的货物特征；
所述提取模块还用于将所述厢内图像输入训练好的第三神经网络，通过所述第三神经网络的中间层，提取得到所述厢内图像的装载率分类特征；其中，所述第三神经网络的中间层与所述第一神经网络、第二神经网络的卷积层的大小相同；
融合模块，用于融合所述车门特征、所述货物特征和所述装载率分类特征，得到厢内图像的融合特征；
识别模块，用于将所述融合特征输入第四神经网络，得到所述厢内图像的装载率分类结果。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述的装载率识别方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的装载率识别方法的步骤。
上述装载率识别方法、装置、计算机设备和存储介质，通过三个神经网络分别对获取到的载物厢体的厢内图像进行特征提取，得到厢内图像的车门特征、货物特征以及装载率分类特征，进而融合这些特征得到的厢内图像的融合特征并输入神经网络，得到厢内图像的装载率分类结果。装载率分类特征是厢内图像的全局特征，车门特征和货物特征分别代表车厢情况和货物情况，能够表示车厢和货物的相对位置和相对大小，是厢内图像中计算车裁率的重点特征。该方法相比传统单纯使用图像作为网络输入的传统方法来说，由于融合特征具有厢内图像的多个维度的特征，从而增强了输入神经网络的特征的表达能力，能够提高装载率识别精度。
附图说明
图1为一个实施例中装载率识别方法的应用环境图；
图2为一个实施例中装载率识别方法的流程示意图；
图3为一个实施例中厢内图像的示意图；
图4为一个实施例中车门掩模图像的示意图；
图5为一个实施例中货物掩模图像的示意图；
图6为一个实施例中对厢体图像进行识别，根据载物厢体的车门裁剪载物厢体的厢内图像区域步骤的流程示意图；
图7为一个实施例中神经网络的结构示意图；
图8为一个实施例中装载率识别装置的结构框图；
图9为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的装载率识别方法，可以应用于如图1所示的应用环境中。该应用环境涉及终端102、服务器104以及摄像装置106，终端102与服务器104通过网络进行通信、终端102、服务器104与摄像装置106通过网络进行通信。其中，摄像装置106是指携带有摄像功能的设备，可以由工作人员手持摄像装置对厢门打开的载物厢体进行拍摄，也可以设置在固定地点，例如载物厢体的停靠点，用于定时采集厢门打开的载物厢体的厢内图像。当摄像装置106采集到载物厢体在厢门打开状态时的厢体图像之后，摄像装置106将厢体图像发送给终端102，可以通过终端102从图像序列中获取载物厢体的厢内图像，然后由终端102根据厢内图像单独实现装载率识别方法。也可以由终端102将从摄像装置106接收的厢体图像发送给服务器104。或，摄像装置106直接将拍摄的载物厢体在厢门打开状态时的厢体图像发送给服务器104，通过服务器104实现装载率识别方法。具体地，服务器104从厢体图像中获取载物厢体的厢内图像。服务器104将厢内图像输入训练好的第一神经网络，通过第一神经网络的卷积层，提取得到厢内图像的车门特征。服务器104将厢内图像输入训练好的第二神经网络，通过第二神经网络的卷积层，提取得到厢内图像的货物特征。服务器104将厢内图像输入训练好的第三神经网络，通过第三神经网络的中间层，提取得到厢内图像的装载率分类特征；其中，第三神经网络的中间层与第一神经网络、第二神经网络的卷积层的大小相同。服务器104融合车门特征、货物特征和装载率分类特征，得到厢内图像的融合特征。服务器104将融合特征输入训练好的第四神经网络，得到厢内图像的装载率分类结果。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。摄像装置106是指携带有摄像功能的设备，可以但不限于是照相机、摄像机和智能手机等。
在一个实施例中，如图2所示，提供了一种装载率识别方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：
步骤S202，获取载物厢体的厢内图像。
其中，载物厢体是指具有一定容积，可以用于装载物品的物体。比如用于运载货物车辆的车厢、集装箱等。厢内图像则是指载物厢体对应厢内空间的图像，厢内图像中应当体现出载物厢体完整的容积。可以理解为，厢内图像的中的对象除了载物厢体完整的容积之外，不包括其他的对象。如图3所示，提供一种厢内图像示意图，参考图3，图3所示的厢内图像为正对着载物厢体的厢门，以及厢门为打开状态时所拍摄的图像，能够体现出载物厢体完整的容积。而且图3所示的厢内图像除了载物厢体的厢内图像之外，不包括其他任何的对象。
具体地，获取到载物厢体的厢内图像后，利用训练好的神经网络对该厢内图像进行识别，得到厢内图像的装载率分类结果。该厢内图像的装载率分类结果即为对应载物厢体当前的装载率。例如，在实际应用中，将具备摄像功能的摄像装置安装于能够拍摄到完整厢内图像的位置，比如在载物厢体停靠点的位置安装，或者直接将摄像装置安装于载物厢体的厢门边沿处等。控制摄像装置拍摄对应的厢内图像，应当理解，若摄像装置安装在载物厢体之外，则控制摄像装置拍摄厢内图像时，厢门应当处于打开状态。摄像装置将拍摄得到的厢内图像传送给终端，终端将摄像装置的拍摄的厢内图像发送给服务器进行装载率识别。若摄像装置为携带有摄像功能的终端设备，摄像装置可以直接将拍摄的厢内图像发送给服务器。服务器接收到厢内图像后，触发装载率识别任务进行装载率识别。
步骤S204，将厢内图像输入训练好的第一神经网络，通过第一神经网络的卷积层，提取得到厢内图像的车门特征。
神经网络是智能控制技术的主要分支之一，又称为人工神经网络(artificialneural networks，ANNs)或连接模型(connection model)，它是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。神经网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。
其中，第一神经网络为预先通过图像训练好，用于进行图像语义分割的分割模型。图像语义分割是机器自动从图像中分割出对象区域并且能够识别其中的内容。语义分割在处理图像时具体到像素级别，也就是说，语义分割会将图像中每个像素分配到某个对象类别，从而实现图像中各区域的分割。第一神经网络包括但不限于是卷积神经网络(CNN)、全卷积网络(FCN)以及U型卷积神经网络(U-net)等网络结构训练得到的分割模型。卷积层则是神经网络中用于进行卷积运算的网络层，卷积层根据不同的网络结构，由不同数量的卷积单元组成，通过卷积运算能够提取输入的不同特征。车门特征则是第一神经网络从厢内图像中提取的能够表征车门位置以及车厢大小的图像特征。可以理解为，通过车门特征可以在厢内图像中确定车厢的情况，例如车厢的体积等。
具体地，由于第一神经网络为预先训练好用于对车门进行分割的分割模型，即使用第一神经网络进行图像分割时，第一神经网络特征的提取方向是提取车门的特征。则当服务器获取到载物厢体的厢内图像后，调用训练好的第一神经网络。将厢内图像输入至第一神经网络，通过第一神经网络的卷积层对厢内图像进行车门特征的提取，得到对应的车门特征。比如，以U-net为例，U-net是卷积神经网络的一种变形，由于其主要网络结构形似字母U，因而得名U-net。U-net主要由收缩路径和扩展路径两部分组成，即由卷积部分和反卷积部分组成。当服务器获取到载物厢体的厢内图像后，将厢内图像输入U-net中，获取U-net卷积部分提取得到的车门特征。
步骤S206，将厢内图像输入训练好的第二神经网络，通过第二神经网络的卷积层，提取得到厢内图像的货物特征。
其中，第二神经网络同样为预先通过图像训练好，用于进行图像语义分割的分割模型，第二神经网络包括但不限于是卷积神经网络(CNN)、全卷积网络(FCN)以及U型卷积神经网络(U-net)等网络结构训练得到的分割模型。与第一神经网络不同的是，第二神经网络为预先训练好用于对货物进行分割的分割模型，即第二神经网络特征的提取方向是提取货物的特征。可以理解为，第一神经网络和第二神经网络虽然能够采用同样的网络结构，但是由于训练时引导的特征提取方向不同，第一神经网络提取车门的特征，而引导第二神经网络提取货物的特征。即在训练之后，第一神经网络和第二神经网络结构依旧可以相同，但是由于二者的特征提取方向不同，所以最终输出的结果不会相同。货物特征则是第二神经网络从厢内图像中提取的能够表征货物位置以及大小的图像特征。可以理解为，通过货物特征可以在厢内图像中确定货物所在区域以及货物所在区域的大小。由此能够确定货物的情况，比如货物的体积等。即，根据第一神经网络提取的车门特征和第二神经网络提取的货物特征能够得到车门与货物的相对位置和大小，有利于装载率的识别。
具体地，第二神经网络为预先训练好用于对货物进行分割的分割模型，即使用第二神经网络进行图像分割时，第二神经网络特征的提取方向是提取货物的特征。则当服务器获取到载物厢体的厢内图像后，调用训练好的第二神经网络。将厢内图像输入至第二神经网络，通过第二神经网络的卷积层对厢内图像进行货物特征的提取，得到对应的货物特征。
步骤S208，将厢内图像输入训练好的第三神经网络，通过第三神经网络的中间层，提取得到厢内图像的装载率分类特征；其中，第三神经网络的中间层与第一神经网络、第二神经网络的卷积层的大小相同。
其中，第三神经网络为预先通过图像训练好，用于进行图像分类的分类模型。图像分类是指根据各自在图像信息所反映的不同特征，把不同类别的目标区分开来的图像处理方法。它利用计算机对图像进行定量分析，把图像或图像中的每个像元素或区域划归为若干个各类别中的某一种。在本实施例中，分类是指按照装载率的类别对厢内图像进行分类。由于第三神经网络是输入厢内图像而直接得到装载率分类结果，因此由第三神经网络提取的装载率分类特征是从全局图像中提取的特征，能够表征厢内图像的全局特征。第三神经网络包括但不限于是Inception系列网络、VGG(Visual Geometry Group Network，视觉几何组网络)、Resnet(Residual Network，残差网络)等通用分类网络结构训练得到的分类模型。中间层是指第三神经网络中任意一层的卷积层，但是，为了方便后续的特征融合，该卷积层需要与第一神经网络卷积层、第二神经网络卷积层的大小相同。可以理解为，第一神经网络的卷积层、第二神经网络的卷积层以及第三神经网络的中间层的大小应当相同，即三者分别提取到的车门特征、货物特征以及装载率分类特征的大小应当相同。
具体地，获取到载物厢体的厢内图像之后，调用第三神经网络，将厢内图像输入第三神经网络。通过第三神经网络中的各层卷积层对厢内图像进行特征提取。第三神经网络中各层卷积层都会输出对应的特征，在本实施例中，只需要获取与第一神经网络卷积层、第二神经网络卷积层的大小相同的那一层卷积层输出的特征，即为装载率分类特征。
步骤S210，融合车门特征、货物特征和装载率分类特征，得到厢内图像的融合特征。
其中，融合特征是指将两个或两个以上不同的特征进行融合得到的特征，通过融合不同的特征能够得到包括更多细节信息的特征。即，将第一神经网络提取的能够表征车厢情况的车门特征、第二神经网络提取的能够表征货物情况的货物特征，以及第三神经网络提取的能够表征全局特征的装载率分类特征进行融合，从而将车门和货物等重点特征与全局特征进行融合，得到多个维度的特征，从而多方面体现出特征的细节信息，提升特征的表达能力。
具体地，当分别通过第一神经网络、第二神经网络以及第三神经网络对厢内图像进行特征提取，得到车门特征、货物特征和装载率分类特征后，将车门特征、货物特征和装载率分类特征进行特征的融合，得到对应的融合特征。
在一个实施例中，特征的融合包括特征合并和特征相加。由于在计算机中，特征为矩阵形式，特征相加即为将各矩阵中对应的元素进行相加，得到的新的矩阵为融合特征。特征合并即是将各矩阵进行任意维度的合并，例如两个2*2的矩阵，合并之后可为2*4的矩阵，或者为4*2的矩阵，合并后得到的矩阵即为融合特征。具体地，融合车门特征、货物特征和装载率分类特征，得到厢内图像的融合特征包括：将车门特征、货物特征和装载率分类特征进行特征相加，得到厢内图像的融合特征。或者，将车门特征、货物特征和装载率分类特征进行特征合并，得到厢内图像对应的融合特征。
步骤S212，将融合特征输入训练好的第四神经网络，得到厢内图像的装载率分类结果。
其中，第四神经网络是预先训练好用于进行装载率分类的分类模型。第四神经网络与传统通过图像训练的神经网络不一样，第四神经网络是预先通过融合特征训练好的神经网络。相比传统利用图像训练的神经网络来说，第四神经网络能够增强特征的表达能力，从而提高分类的精度。第四神经网络包括但不限于是Inception系列网络、VGG(VisualGeometry Group Network，视觉几何组网络)、Resnet(Residual Network，残差网络)等通用分类网络结构训练得到的分类模型。
具体地，当得到车门特征、货物特征和装载率分类特征后，对车门特征、货物特征和装载率分类特征进行特征相加或特征合并，得到厢内图像的融合特征。调用第四神经网络，将融合特征输入第四神经网络。通过第四神经网络对融合特征进一步进行卷积等操作，从而得到装载率的分类结果。在本实施例中，由于神经网络训练时，装载率一共划分为11个类别。因此，神经网络识别得到的装载率结果同样包括11个类别，分别为[0,0-10,10-20,20-30,30-40，-40-50,50-60,60-70,70-80,80-90,90-100]。应当理解，本实施装载率的分类为网络训练时，人工根据实际装载率应用场景所划分得到的，即可以理解为装载率的类别划分可根据实际情况进行设置。
上述装载率识别方法，通过三个神经网络分别对获取到的载物厢体的厢内图像进行特征提取，得到厢内图像的车门特征、货物特征以及装载率分类特征，进而融合这些特征得到厢内图像的融合特征并输入神经网络，得到厢内图像的装载率分类结果。装载率分类特征是厢内图像的全局特征，车门特征和货物特征分别代表车厢内情况和货物情况，能够表示车厢和货物的相对位置和相对大小，是厢内图像中计算车裁率的重点特征。该方法相比传统单纯使用图像作为网络输入的传统方法来说，由于融合特征具有厢内图像的多个维度的特征，从而增强了输入神经网络的特征的表达能力，能够提高装载率的识别精度。
在一个实施例中，第一神经网络和第二神经网络的训练过程包括：获取载物厢体的样本集合，样本集合包括厢内图像样本、以及标注的厢内图像样本的车门掩模图像和货物掩模图像。将厢内图像样本输入第一神经网络，通过第一神经网络的卷积层提取厢内图像样本的特征图，通过第一神经网络的反卷积层将特征图采样到原图大小，输出从厢内图像样本分割的车门掩模图像。根据输出的车门掩模图像和标注的车门掩模图像调整第一神经网络的参数。当达到训练的结束条件时，停止迭代，得到训练好的第一神经网络。
将厢内图像样本输入第二神经网络，通过第二神经网络的卷积层提取厢内图像样本的特征图，通过第二神经网络的反卷积层将所述特征图采样到原图大小，输出从厢内图像样本分割的货物掩模图像；根据输出的货物掩模图像和标注的货物掩模图像调整第二神经网络的参数；当达到训练的结束条件时，停止迭代，得到训练好的第二神经网络。
其中，样本集合是包括用于训练神经网络所需图像的集合，包括厢内图像样本，以及标注的厢内图像样本的车门掩模图像和货物掩模图像。厢内图像样本即是用于训练神经网络所用到的厢内图像。车门掩模(mask)图像和货物掩模(mask)图像是指预先已经对厢内图像样本中的车门和货物进行逐像素标注后，得到的图像。如图4-5所示，参考图4，提供一种车门掩模图像的示意图。参考图5，提供一种货物掩模图像的示意图。其中，图4-5是图3所示的厢内图像对应的车门掩模图像和货物掩模图像。另外，车门和货物的逐像素标注可使用开源工具进行，包括但不限于labelme工具、via工具等。
具体地，接收摄像装置采集的原始图像，为了防止分辨率过低的原始图像造成干扰，原始图像的分辨率应当不低于1920*1080，大小至少为200万像素。通过对原始图像进行识别，确定原始图像中厢内图像区域，并裁剪该厢内图像区域，得到厢内图像样本。并且，由于神经网络的输入图像一般有固定尺寸，为了与神经网络所接受的图像尺寸保持一致，不满足该尺寸的厢内图像样本应当进行缩放，缩放后得到的图像即为最终能够输入神经网络的厢内图像样本。在本实施例中，厢内图像样本优先缩放到224*224像素。当获取到厢内图像样本后，即可调用开源工具对厢内图像样本进行逐像素标注，得到标注后的车门掩模图像和货物掩模图像。利用获取到的厢内图像样本、车门掩模图像和货物掩模图像对第一神经网络和第二神经网络进行训练。其中，缩放可通过图像插值方法进行缩放，例如最近邻插值、双线性插值等。
以第一神经网络为U-net网络为例说明第一神经网络的训练过程，首先随机初始化U-net网络的参数，即权重、并且设定好第一神经网络训练所用到的学习率、损失函数等。将厢内图像样本输入至初始化后的U-net网络中，通过U-net网络的卷积部分对厢内图像样本进行卷积运算以及下采样等操作，提取得到厢内图像样本的特征图。当卷积部分完成特征提取后，将卷积部分提取得到的特征图输入U-net网络的反卷积部分对特征图进行反卷积运算以及上采样等操作，将特征图还原到原图大小，并输出厢内图像样本对应的车门掩模图像。其中，还原到原图大小是指还原到与输入图像，即厢内图像样本相同的大小。当得到输出的车门掩模图像之后，将输出的车门掩模图像与标注的车门掩模图像进行比对，根据比对的结果对U-net网络的参数进行调整。即，通过比对输出的车门掩模图像与标注的车门掩模图像，确定第一神经网络预测值与实际值的误差，根据误差去调整第一神经网络的参数。预测值与实际值的误差可通过设定的损失函数计算得知，当预测值与实际值相差越大，损失函数计算得到的值也会很大。当根据误差对参数进行调整后，可将厢内图像样本再次输入至第一神经网络中进行训练，即对第一神经网络再一次进行训练，此过程可称为迭代。当达到训练的结束条件后，即可停止迭代，得到训练好的第一神经网络。达到训练的结束条件可以理解为，输出的车门掩模图像与标注的车门掩模图像之间没有误差，或者根据实际情况来看，存在的误差是可接受的范围。若从损失函数的角度来看，即损失函数计算得到的损失值处于稳定不再下降，即损失函数处于已经收敛状态，则表示达到了训练的结束条件。由此可知，样本集合中的厢内图像样本在训练时是作为第一神经网络的输入，而标注的厢内图像样本的车门掩模图像是作为第一神经网络训练时的目标。
由于第二神经网络与第一神经网络的卷积部分的大小要保持一致，且都是用于进行图像语义分割的分割模型。即第二神经网络的训练过程与第一神经网络的训练过程大致相同，区别在于第二神经网络训练的目标是标注的货物掩模图像，而第一神经网络的目标是标注的车门掩模图像。也就是说，第二神经网络训练时同样是将厢内图像样本输入第二神经网络，但是输出的却是货物掩模图像。并且，根据输出的货物掩模图像与标注的货物掩模图像的误差调整第二神经网络的参数。其他训练过程相同，在此不进行赘述。
在本实施例中，通过训练引导第一神经网络和第二神经网络提取车门和货物的特征，从而使得第一神经网络和第二神经网络能够捕获图像中的重点信息，即车门与货物的相对位置和相对大小，从而提高特征表达能力和识别分类精度。
在一个实施例中，样本集合还包括标注的厢内图像样本的装载率分类结果。第三神经网络的训练过程包括：将厢内图像样本输入第三神经网络，输出得到厢内图像样本的装载率分类结果。根据输出的厢内图像样本的装载率分类结果和标注的装载率分类结果，调整第三神经网络的参数。当达到训练的结束条件时，停止迭代，得到训练好的第三神经网络。
其中，标注的装载率分类结果是指对厢内图像样本进行装载率的标注，标注的装载率根据厢内图像样本中的厢内容积以及厢内货物容积计算得到。也就是，获取到厢内图像样本之后，确定厢内图像样本中的厢内容积以及厢内货物容积，厢内货物容积可以理解为货物在厢内所占的容积。计算厢内容积与厢内货物容积之比，得到的比值即为对应厢内图像样本的装载率分类结果。然后，根据预设的11个类别确定得到的装载率分类结果的类别，该类别即为厢内图像样本要标注的装载率分类结果。其中，装载率分类结果包括11个类别，分别为[0、0-10、10-20、20-30、30-40、40-50、50-60、60-70、70-80、80-90、90-100]。例如，当计算得到的厢内图像样本的装载率分类结果为55％，则对应的类别为50-60，也就是厢内图像样本要标注的装载率分类结果为50-60。在本实施例中，厢内图像样本作为第三神经网络的输入，标注的装载率分类结果作为第三神经网络训练时的目标。
具体地，随机初始化第三神经网络的参数，即权重、并且设定好第三神经网络训练所用到的学习率、损失函数等。将厢内图像样本输入至初始化后的第三神经网络中，通过第三神经网络对厢内图像样本进行卷积运算等操作，输出厢内图像样本的装载率分类结果。将输出的装载率分类结果与标注的装载率分类结果进行比对，根据比对的结果对第三神经网络的参数进行调整。即，通过比对输出的装载率分类结果与标注的装载率分类结果确定第三神经网络预测值与实际值的误差，根据误差去调整第三神经网络的参数。误差同样可通过第三神经网络设定的损失函数进行计算，当根据误差对第三神经网络的参数进行调整后，可将厢内图像样本再次输入至网络中进行训练，即对第三神经网络进行迭代，直至达到了训练的结束条件，停止训练，得到训练好的第三神经网络。也就是说，直至输出的装载率分类结果与标注的装载率分类结果没有误差或误差可接受时，也就是第三神经网络的损失函数处于收敛状态为止。
在一个实施例中，第四神经网络训练过程包括：将厢内图像样本输入训练好的第一神经网络，通过训练好的第一神经网络的卷积层，提取得到厢内图像样本的车门特征；将厢内图像样本输入训练好的第二神经网络，通过训练好的第二神经网络的卷积层，提取得到厢内图像样本的货物特征；将厢内图像样本输入训练好的第三神经网络，通过训练好的第三神经网络的中间层，提取得到厢内图像样本的装载率分类特征；融合厢内图像样本的车门特征、货物特征和装载率分类特征，得到厢内图像样本的融合特征；将厢内图像样本的融合特征输入第四神经网络，输出厢内图像样本的装载率分类结果；根据输出的厢内图像样本的装载率分类结果和标注的厢内图像样本的装载率分类结果调整第四神经网络的参数；当达到训练的结束条件时，停止迭代，得到训练好的第四神经网络。
其中，第四神经网络与第一神经网络、第二神经网络以及第三神经网络的不同在于，第四神经网络训练所用到的输入不是图像，而是特征。并且是训练好的第一神经网络、第二神经网络以及第三神经网络对厢内图像样本进行特征提取后所得到的三个特征的融合特征。
具体地，当第一神经网络、第二神经网络以及第三神经网络训练完成之后，取第一神经网络和第二神经网络的卷积层，将第一神经网络和第二神经网络的卷积层的参数固定。由于本实施例主要是训练第四神经网络，且只需要第一神经网络和第二神经网络提取得到对应的车门特征和货物特征。因此，为防止第一神经网络和第二神经网络的参数随第四神经网络的训练而变动，直接将第一神经网络和第二神经网络的参数固定。然后，将厢内图像样本分别输入参数固定的第一神经网络和第二神经网络的卷积层进行特征提取，得到厢内图像样本对应的车门特征和货物特征。以及将厢内图像样本输入第三神经网络中进行特征提取，取一层与第一神经网络和第二神经网络的卷积层大小相同的卷积层所输出的装载率分类特征。融合厢内图像样本的车门特征、货物特征以及装载率分类特征，得到厢内图像样本的融合特征。随机初始化第四神经网络的参数，即权重、并且设定好第四神经网络训练所用到的学习率、损失函数等。将厢内图像样本的融合特征输入至初始化后的第四神经网络中，利用厢内图像样本的融合特征对第四神经网络进行训练。根据第四神经网络训练输出的厢内图像样本的装载率分类结果与标注的装载率分类结果对第四神经网络的参数进行调整。当根据误差对第四神经网络的参数进行调整后，可将厢内图像样本的融合特征再次输入至第四神经网络中进行训练，即对第四神经网络进行迭代，直至达到了训练的结束条件，停止训练，得到训练好的第四神经网络。
在本实施例中，通过融合第一神经网络、第二神经网络以及第三神经网络提取的特征，即将图像全局信息和重点信息进行结合后训练第四神经网络，增强了特征的表达能力，从而提高了第四神经网络的识别精度。
在一个实施例中，获取载物厢体的厢内图像，具体包括：接收载物厢体在厢门打开状态时拍摄的厢体图像。对厢体图像进行识别，根据载物厢体的车门裁剪载物厢体的厢内图像区域。将厢内图像区域进行缩放，得到厢内图像。
具体地，当接收到的图像为载物厢体厢门处于打开状态时的厢体图像后，表示该图像中有包括除了厢内图像以外的对象，即需要从厢体图像中获取对应的厢内图像。通过对厢体图像进行识别，从厢体图像中确定载物厢体的车门。根据载物厢体的车门对厢体图像进行裁剪，得到厢体图像中载物厢体的厢内图像区域。并且，为了便于后续神经网络的处理，将厢体图像区域缩放到神经网络能够接受的尺寸，即缩放到224*224像素，缩放后得到图像即为厢内图像。其中，缩放可通过图像插值方法进行缩放，例如最近邻插值、双线性插值等。
在本实施例中，通过对接收到的图像进行裁剪和缩放等处理，保证输入到神经网络的厢内图像中没有其他干扰信息，从而提升网络的专注能力，提高识别的准确性。
在一个实施例中，如图6所示，对厢体图像进行识别，根据载物厢体的车门裁剪载物厢体的厢内图像区域，包括以下步骤：
步骤S602，将厢体图像输入第五神经网络，通过第五神经网络对厢体图像进行识别，得到载物厢体的车门的坐标值。
步骤S604，根据载物厢体的车门的坐标值，从厢体图像中裁剪得到载物厢体的厢内图像区域。
其中，第五神经网络为预先训练好用于进行车门检测的检测网络，检测网络包括但不限于Faster R-CNN(Faster Region Convolutional Neural Networks，快速区域检测网络)、SSD网络(Single Shot MultiBox Detector，单点多目标检测网络)目标检测算法网络、Yolo网络(You Only Look Once，单个神经网络的目标检测网络)等。
具体地，当对厢体图像进行识别时，调用预先训练好的第五神经网络，将厢体图像输入第五神经网络。通过第五神经网络对厢体图像进行检测，得到厢体图像中载物厢体的车门的坐标值。得到载物厢体的车门的坐标值后，即可根据得到载物厢体的车门的坐标值在厢体图像中定位并裁剪到对应的厢内图像区域。在本实施例中，通过检测网络得到车门的坐标值，从而快速且准确裁剪得到厢内图像区域。
在一个实施例中，如图7所示，提供一种神经网络结构，根据该神经网络结构对装载率识别方法进行解释说明。参考图7，该神经网络结构包括第一神经网络的卷积部分，第二神经网络的卷积部分以及第三神经网络和第四神经网络。具体地，获取到载物厢体的厢内图像后，将该厢内图像分别输入第一神经网络的卷积部分、第二神经网络的卷积部分、以及第三神经网络进行特征提取。第一神经网络卷积部分得到车门特征，第二神经网络卷积部分得到货物特征。然后，从第三神经网络中选择一层卷积层输出的装载率分类特征，该装载率分类特征应当与车门特征和货物特征大小相同。将得到的车门特征、货物特征以及装载率分类特征进行特征融合后输入到第四神经网络，第四神经网络根据融合特征得到最终预测的厢内图像的装载率分类结果。
应该理解的是，虽然图2、6的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、6中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图8所示，提供了一种装载率识别装置，包括：获取模块802、提取模块804、融合模块806和识别模块808，其中：
获取模块802，用于获取载物厢体的厢内图像。
提取模块804，用于将厢内图像输入训练好的第一神经网络，通过第一神经网络的卷积层，提取得到厢内图像的车门特征。
提取模块804还用于将厢内图像输入训练好的第二神经网络，通过第二神经网络的卷积层，提取得到厢内图像的货物特征。
提取模块804还用于将厢内图像输入训练好的第三神经网络，通过第三神经网络的中间层，提取得到厢内图像的装载率分类特征；其中，第三神经网络的中间层与第一神经网络、第二神经网络的卷积层的大小相同。
融合模块806，用于融合车门特征、货物特征和装载率分类特征，得到厢内图像的融合特征。
识别模块808，用于将融合特征输入训练好的第四神经网络，得到厢内图像的装载率分类结果。
在一个实施例中，装载率识别装置还包括训练模块，用于获取载物厢体的样本集合，样本集合包括厢内图像样本、以及标注的厢内图像样本的车门掩模图像和货物掩模图像。将厢内图像样本输入第一神经网络，通过第一神经网络的卷积层提取厢内图像样本的特征图，通过第一神经网络的反卷积层将特征图采样到原图大小，输出从厢内图像样本分割的车门掩模图像。根据输出的车门掩模图像和标注的车门掩模图像调整第一神经网络的参数。当达到训练的结束条件时，停止迭代，得到训练好的第一神经网络；将厢内图像样本输入第二神经网络，通过第二神经网络的卷积层提取厢内图像样本的特征图，通过第二神经网络的反卷积层将所述特征图采样到原图大小，输出从厢内图像样本分割的货物掩模图像；根据输出的货物掩模图像和标注的货物掩模图像调整第二神经网络的参数；当达到训练的结束条件时，停止迭代，得到训练好的第二神经网络。
在一个实施例中，样本集合还包括标注的厢内图像样本的装载率分类结果；训练模块还用于将厢内图像样本输入第三神经网络，输出得到厢内图像样本的装载率分类结果。根据输出的厢内图像样本的装载率分类结果和标注的装载率分类结果，调整第三神经网络的参数。当达到训练的结束条件时，停止迭代，得到训练好的第三神经网络。
在一个实施例中，训练模块还用于将厢内图像样本输入训练好的第一神经网络，通过训练好的第一神经网络的卷积层，提取得到厢内图像样本的车门特征；将厢内图像样本输入训练好的第二神经网络，通过训练好的第二神经网络的卷积层，提取得到厢内图像样本的货物特征；将厢内图像样本输入训练好的第三神经网络，通过训练好的第三神经网络的中间层，提取得到厢内图像样本的装载率分类特征；融合厢内图像样本的车门特征、货物特征和装载率分类特征，得到厢内图像样本的融合特征；将厢内图像样本的融合特征输入第四神经网络，输出厢内图像样本的装载率分类结果；根据输出的厢内图像样本的装载率分类结果和标注的厢内图像样本的装载率分类结果调整第四神经网络的参数；当达到训练的结束条件时，停止迭代，得到训练好的第四神经网络。
在一个实施例中，获取模块802还用于接收载物厢体在厢门打开状态时拍摄的厢体图像。对厢体图像进行识别，根据载物厢体的车门裁剪载物厢体的厢内图像区域。将厢内图像区域进行缩放，得到厢内图像。
在一个实施例中，获取模块802还用于将厢体图像输入第五神经网络，通过第五神经网络对厢体图像进行识别，得到载物厢体的车门的坐标值；根据载物厢体的车门的坐标值，从厢体图像中裁剪得到载物厢体的厢内图像区域。
在一个实施例中，融合模块806还用于将车门特征、货物特征和装载率分类特征进行特征相加，得到厢内图像的融合特征；或将车门特征、货物特征和装载率分类特征进行特征合并，得到厢内图像对应的融合特征。
关于装载率识别装置的具体限定可以参见上文中对于装载率识别方法的限定，在此不再赘述。上述装载率识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储各神经网络的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种装载率识别方法。
本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取载物厢体的厢内图像；
将厢内图像输入训练好的第一神经网络，通过第一神经网络的卷积层，提取得到厢内图像的车门特征；
将厢内图像输入训练好的第二神经网络，通过第二神经网络的卷积层，提取得到厢内图像的货物特征；
将厢内图像输入训练好的第三神经网络，通过第三神经网络的中间层，提取得到厢内图像的装载率分类特征；其中，第三神经网络的中间层与第一神经网络、第二神经网络的卷积层的大小相同；
融合车门特征、货物特征和装载率分类特征，得到厢内图像的融合特征；
将融合特征输入训练好的第四神经网络，得到厢内图像的装载率分类结果。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取载物厢体的样本集合，样本集合包括厢内图像样本、以及标注的厢内图像样本的车门掩模图像和货物掩模图像。将厢内图像样本输入第一神经网络，通过第一神经网络的卷积层提取厢内图像样本的特征图，通过第一神经网络的反卷积层将特征图采样到原图大小，输出从厢内图像样本分割的车门掩模图像。根据输出的车门掩模图像和标注的车门掩模图像调整第一神经网络的参数。当达到训练的结束条件时，停止迭代，得到训练好的第一神经网络；将厢内图像样本输入第二神经网络，通过第二神经网络的卷积层提取厢内图像样本的特征图，通过第二神经网络的反卷积层将所述特征图采样到原图大小，输出从厢内图像样本分割的货物掩模图像；根据输出的货物掩模图像和标注的货物掩模图像调整第二神经网络的参数；当达到训练的结束条件时，停止迭代，得到训练好的第二神经网络。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：将厢内图像样本输入第三神经网络，输出得到厢内图像样本的装载率分类结果。根据输出的厢内图像样本的装载率分类结果和标注的装载率分类结果，调整第三神经网络的参数。当达到训练的结束条件时，停止迭代，得到训练好的第三神经网络。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：将厢内图像样本输入训练好的第一神经网络，通过训练好的第一神经网络的卷积层，提取得到厢内图像样本的车门特征；将厢内图像样本输入训练好的第二神经网络，通过训练好的第二神经网络的卷积层，提取得到厢内图像样本的货物特征；将厢内图像样本输入训练好的第三神经网络，通过训练好的第三神经网络的中间层，提取得到厢内图像样本的装载率分类特征；融合厢内图像样本的车门特征、货物特征和装载率分类特征，得到厢内图像样本的融合特征；将厢内图像样本的融合特征输入第四神经网络，输出厢内图像样本的装载率分类结果；根据输出的厢内图像样本的装载率分类结果和标注的厢内图像样本的装载率分类结果调整第四神经网络的参数；当达到训练的结束条件时，停止迭代，得到训练好的第四神经网络。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：接收载物厢体在厢门打开状态时拍摄的厢体图像。对厢体图像进行识别，根据载物厢体的车门裁剪载物厢体的厢内图像区域。将厢内图像区域进行缩放，得到厢内图像。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：将厢体图像输入第五神经网络，通过第五神经网络对厢体图像进行识别，得到载物厢体的车门的坐标值；根据载物厢体的车门的坐标值，从厢体图像中裁剪得到载物厢体的厢内图像区域。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：将车门特征、货物特征和装载率分类特征进行特征相加，得到厢内图像的融合特征；或将车门特征、货物特征和装载率分类特征进行特征合并，得到厢内图像对应的融合特征。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取载物厢体的厢内图像；
将厢内图像输入训练好的第一神经网络，通过第一神经网络的卷积层，提取得到厢内图像的车门特征；
将厢内图像输入训练好的第二神经网络，通过第二神经网络的卷积层，提取得到厢内图像的货物特征；
将厢内图像输入训练好的第三神经网络，通过第三神经网络的中间层，提取得到厢内图像的装载率分类特征；其中，第三神经网络的中间层与第一神经网络、第二神经网络的卷积层的大小相同；
融合车门特征、货物特征和装载率分类特征，得到厢内图像的融合特征；
将融合特征输入训练好的第四神经网络，得到厢内图像的装载率分类结果。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取载物厢体的样本集合，样本集合包括厢内图像样本、以及标注的厢内图像样本的车门掩模图像和货物掩模图像。将厢内图像样本输入第一神经网络，通过第一神经网络的卷积层提取厢内图像样本的特征图，通过第一神经网络的反卷积层将特征图采样到原图大小，输出从厢内图像样本分割的车门掩模图像。根据输出的车门掩模图像和标注的车门掩模图像调整第一神经网络的参数。当达到训练的结束条件时，停止迭代，得到训练好的第一神经网络；将厢内图像样本输入第二神经网络，通过第二神经网络的卷积层提取厢内图像样本的特征图，通过第二神经网络的反卷积层将所述特征图采样到原图大小，输出从厢内图像样本分割的货物掩模图像；根据输出的货物掩模图像和标注的货物掩模图像调整第二神经网络的参数；当达到训练的结束条件时，停止迭代，得到训练好的第二神经网络。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：将厢内图像样本输入第三神经网络，输出得到厢内图像样本的装载率分类结果。根据输出的厢内图像样本的装载率分类结果和标注的装载率分类结果，调整第三神经网络的参数。当达到训练的结束条件时，停止迭代，得到训练好的第三神经网络。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：将厢内图像样本输入训练好的第一神经网络，通过训练好的第一神经网络的卷积层，提取得到厢内图像样本的车门特征；将厢内图像样本输入训练好的第二神经网络，通过训练好的第二神经网络的卷积层，提取得到厢内图像样本的货物特征；将厢内图像样本输入训练好的第三神经网络，通过训练好的第三神经网络的中间层，提取得到厢内图像样本的装载率分类特征；融合厢内图像样本的车门特征、货物特征和装载率分类特征，得到厢内图像样本的融合特征；将厢内图像样本的融合特征输入第四神经网络，输出厢内图像样本的装载率分类结果；根据输出的厢内图像样本的装载率分类结果和标注的厢内图像样本的装载率分类结果调整第四神经网络的参数；当达到训练的结束条件时，停止迭代，得到训练好的第四神经网络。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：接收载物厢体在厢门打开状态时拍摄的厢体图像。对厢体图像进行识别，根据载物厢体的车门裁剪载物厢体的厢内图像区域。将厢内图像区域进行缩放，得到厢内图像。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：将厢体图像输入第五神经网络，通过第五神经网络对厢体图像进行识别，得到载物厢体的车门的坐标值；根据载物厢体的车门的坐标值，从厢体图像中裁剪得到载物厢体的厢内图像区域。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：将车门特征、货物特征和装载率分类特征进行特征相加，得到厢内图像的融合特征；或将车门特征、货物特征和装载率分类特征进行特征合并，得到厢内图像对应的融合特征。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种装载率识别方法，所述方法包括：
获取载物厢体的厢内图像；
将所述厢内图像输入训练好的第一神经网络，通过所述第一神经网络的卷积层，提取得到所述厢内图像的车门特征；
将所述厢内图像输入训练好的第二神经网络，通过所述第二神经网络的卷积层，提取得到所述厢内图像的货物特征；
将所述厢内图像输入训练好的第三神经网络，通过所述第三神经网络的中间层，提取得到所述厢内图像的装载率分类特征；其中，所述第三神经网络的中间层与所述第一神经网络、第二神经网络的卷积层的大小相同；
融合所述车门特征、所述货物特征和所述装载率分类特征，得到所述厢内图像的融合特征；
将所述融合特征输入训练好的第四神经网络，得到所述厢内图像的装载率分类结果。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取载物厢体的样本集合，所述样本集合包括厢内图像样本、以及标注的所述厢内图像样本的车门掩模图像和货物掩模图像；
将所述厢内图像样本输入第一神经网络，通过所述第一神经网络的卷积层提取所述厢内图像样本的特征图，通过所述第一神经网络的反卷积层将所述特征图采样到原图大小，输出从所述厢内图像样本分割的车门掩模图像；
根据输出的所述车门掩模图像和标注的所述车门掩模图像调整第一神经网络的参数；
当达到训练的结束条件时，停止迭代，得到训练好的第一神经网络；
将所述厢内图像样本输入第二神经网络，通过所述第二神经网络的卷积层提取所述厢内图像样本的特征图，通过所述第二神经网络的反卷积层将所述特征图采样到原图大小，输出从所述厢内图像样本分割的货物掩模图像；
根据输出的所述货物掩模图像和标注的所述货物掩模图像调整第二神经网络的参数；
当达到训练的结束条件时，停止迭代，得到训练好的第二神经网络。
3.根据权利要求2所述的方法，其特征在于，所述样本集合还包括标注的所述厢内图像样本的装载率分类结果；所述方法还包括：
将所述厢内图像样本输入第三神经网络，输出得到所述厢内图像样本的装载率分类结果；
根据输出的所述厢内图像样本的装载率分类结果和标注的装载率分类结果，调整第三神经网络的参数；
当达到训练的结束条件时，停止迭代，得到训练好的第三神经网络。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
将所述厢内图像样本输入训练好的第一神经网络，通过训练好的所述第一神经网络的卷积层，提取得到所述厢内图像样本的车门特征；
将所述厢内图像样本输入训练好的第二神经网络，通过训练好的所述第二神经网络的卷积层，提取得到所述厢内图像样本的货物特征；
将所述厢内图像样本输入训练好的第三神经网络，通过训练好的所述第三神经网络的中间层，提取得到所述厢内图像样本的装载率分类特征；
融合所述厢内图像样本的车门特征、货物特征和装载率分类特征，得到所述厢内图像样本的融合特征；
将所述厢内图像样本的融合特征输入第四神经网络，输出所述厢内图像样本的装载率分类结果；
根据输出的所述厢内图像样本的装载率分类结果和标注的所述厢内图像样本的装载率分类结果调整第四神经网络的参数；
当达到训练的结束条件时，停止迭代，得到训练好的第四神经网络。
5.根据权利要求1所述的方法，其特征在于，获取载物厢体的厢内图像，包括：
接收载物厢体在厢门打开状态时拍摄的厢体图像；
对所述厢体图像进行识别，根据所述载物厢体的车门裁剪所述载物厢体的厢内图像区域；
将所述厢内图像区域进行缩放，得到厢内图像。
6.根据权利要求5所述的方法，其特征在于，对所述厢体图像进行识别，根据所述载物厢体的车门裁剪所述载物厢体的厢内图像区域，包括：
将所述厢体图像输入第五神经网络，通过第五神经网络对所述厢体图像进行识别，得到所述载物厢体的车门的坐标值；
根据所述载物厢体的车门的坐标值，从所述厢体图像中裁剪得到所述载物厢体的厢内图像区域。
7.根据权利要求1所述的方法，其特征在于，融合所述车门特征、所述货物特征和所述装载率分类特征，得到厢内图像的融合特征，包括：
将所述车门特征、所述货物特征和所述装载率分类特征进行特征相加，得到厢内图像的融合特征；
或
将所述车门特征、所述货物特征和所述装载率分类特征进行特征合并，得到厢内图像的融合特征。
8.一种装载率识别装置，其特征在于，所述装置包括：
获取模块，用于获取载物厢体的厢内图像；
提取模块，用于将所述厢内图像输入训练好的第一神经网络，通过所述第一神经网络的卷积层，提取得到所述厢内图像的车门特征；
所述提取模块还用于将所述厢内图像输入训练好的第二神经网络，通过所述第二神经网络的卷积层，提取得到所述厢内图像的货物特征；
所述提取模块还用于将所述厢内图像输入训练好的第三神经网络，通过所述第三神经网络的中间层，提取得到所述厢内图像的装载率分类特征；其中，所述第三神经网络的中间层与所述第一神经网络、第二神经网络的卷积层的大小相同；
融合模块，用于融合所述车门特征、所述货物特征和所述装载率分类特征，得到厢内图像的融合特征；
识别模块，用于将所述融合特征输入第四神经网络，得到所述厢内图像的装载率分类结果。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN201910827891.0A 2019-09-03 2019-09-03 装载率识别方法、装置、计算机设备和存储介质 Active CN112446402B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910827891.0A CN112446402B (zh) 2019-09-03 2019-09-03 装载率识别方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910827891.0A CN112446402B (zh) 2019-09-03 2019-09-03 装载率识别方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN112446402A true CN112446402A (zh) 2021-03-05
CN112446402B CN112446402B (zh) 2024-03-26

Family

ID=74734348

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910827891.0A Active CN112446402B (zh) 2019-09-03 2019-09-03 装载率识别方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN112446402B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114550102A (zh) * 2022-03-01 2022-05-27 上海中通吉网络技术有限公司 货物堆积检测方法、装置、设备和系统
CN117893891A (zh) * 2024-03-11 2024-04-16 深圳安行致远技术有限公司 一种基于机器学习的空间利用率测算方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108898044A (zh) * 2018-04-13 2018-11-27 顺丰科技有限公司 装载率获取方法、装置、系统及存储介质
DE102018006825A1 (de) * 2018-08-28 2019-02-14 Daimler Ag Verfahren und Svstem zur Zuweisung wenigstens eines Ladungsstücks
CN109359696A (zh) * 2018-10-29 2019-02-19 重庆中科云丛科技有限公司 一种车款识别方法、系统及存储介质
CN109902857A (zh) * 2019-01-22 2019-06-18 江苏徐工工程机械研究院有限公司 一种运输车辆装载点自动规划方法及系统
CN110084558A (zh) * 2019-04-30 2019-08-02 吉旗（成都）科技有限公司 一种计算车厢空间装载率的方法及装置
CN110148230A (zh) * 2019-05-20 2019-08-20 兴民智通(武汉)汽车技术有限公司 一种基于lstm神经网络的整车载重预测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108898044A (zh) * 2018-04-13 2018-11-27 顺丰科技有限公司 装载率获取方法、装置、系统及存储介质
DE102018006825A1 (de) * 2018-08-28 2019-02-14 Daimler Ag Verfahren und Svstem zur Zuweisung wenigstens eines Ladungsstücks
CN109359696A (zh) * 2018-10-29 2019-02-19 重庆中科云丛科技有限公司 一种车款识别方法、系统及存储介质
CN109902857A (zh) * 2019-01-22 2019-06-18 江苏徐工工程机械研究院有限公司 一种运输车辆装载点自动规划方法及系统
CN110084558A (zh) * 2019-04-30 2019-08-02 吉旗（成都）科技有限公司 一种计算车厢空间装载率的方法及装置
CN110148230A (zh) * 2019-05-20 2019-08-20 兴民智通(武汉)汽车技术有限公司 一种基于lstm神经网络的整车载重预测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
靳志宏;于波;侯丽晓;: "厢式货车配载与配送的联合优化", 交通运输工程学报, no. 03 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114550102A (zh) * 2022-03-01 2022-05-27 上海中通吉网络技术有限公司 货物堆积检测方法、装置、设备和系统
CN117893891A (zh) * 2024-03-11 2024-04-16 深圳安行致远技术有限公司 一种基于机器学习的空间利用率测算方法及系统
CN117893891B (zh) * 2024-03-11 2024-05-17 深圳安行致远技术有限公司 一种基于机器学习的空间利用率测算方法及系统

Also Published As

Publication number Publication date
CN112446402B (zh) 2024-03-26

Similar Documents

Publication Publication Date Title
CN110941986B (zh) 活体检测模型的训练方法、装置、计算机设备和存储介质
CN110751134B (zh) 目标检测方法、装置、存储介质及计算机设备
CN109543627B (zh) 一种判断驾驶行为类别的方法、装置、及计算机设备
CN110889428A (zh) 图像识别方法、装置、计算机设备与存储介质
CN110569341B (zh) 配置聊天机器人的方法、装置、计算机设备和存储介质
CN110516541B (zh) 文本定位方法、装置、计算机可读存储介质和计算机设备
CN108961315B (zh) 目标跟踪方法、装置、计算机设备和存储介质
CN110706261A (zh) 车辆违章检测方法、装置、计算机设备和存储介质
CN111680746A (zh) 车损检测模型训练、车损检测方法、装置、设备及介质
CN111666932B (zh) 单据审核方法、装置、计算机设备及存储介质
CN110046577B (zh) 行人属性预测方法、装置、计算机设备和存储介质
CN112446402B (zh) 装载率识别方法、装置、计算机设备和存储介质
CN113239975B (zh) 一种基于神经网络的目标检测方法和装置
CN111539317A (zh) 车辆违规行驶检测方法、装置、计算机设备和存储介质
CN113449586A (zh) 目标检测方法、装置、计算机设备和存储介质
CN111047088A (zh) 预测图像获取方法、装置、计算机设备和存储介质
CN112241646A (zh) 车道线识别方法、装置、计算机设备和存储介质
CN112052702A (zh) 一种识别二维码的方法和装置
CN111291716B (zh) 精子细胞识别方法、装置、计算机设备和存储介质
CN112241705A (zh) 基于分类回归的目标检测模型训练方法和目标检测方法
CN110163183B (zh) 目标检测算法的评估方法、装置、计算机设备和存储介质
US20220156534A1 (en) Target object detection model
CN112699809B (zh) 痘痘类别识别方法、装置、计算机设备及存储介质
CN111191062B (zh) 图片处理方法、装置、计算机设备和存储介质
CN112446403A (zh) 装载率识别方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant