CN112446403A - 装载率识别方法、装置、计算机设备和存储介质 - Google Patents

装载率识别方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN112446403A
CN112446403A CN201910827892.5A CN201910827892A CN112446403A CN 112446403 A CN112446403 A CN 112446403A CN 201910827892 A CN201910827892 A CN 201910827892A CN 112446403 A CN112446403 A CN 112446403A
Authority
CN
China
Prior art keywords
image sequence
neural network
compartment
image
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910827892.5A
Other languages
English (en)
Other versions
CN112446403B (zh
Inventor
张宽
郭明坚
张恒瑞
张劲松
孟小敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SF Technology Co Ltd
Shenzhen SF Taisen Holding Group Co Ltd
Original Assignee
SF Technology Co Ltd
Shenzhen SF Taisen Holding Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SF Technology Co Ltd, Shenzhen SF Taisen Holding Group Co Ltd filed Critical SF Technology Co Ltd
Priority to CN201910827892.5A priority Critical patent/CN112446403B/zh
Publication of CN112446403A publication Critical patent/CN112446403A/zh
Application granted granted Critical
Publication of CN112446403B publication Critical patent/CN112446403B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/083—Shipping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Business, Economics & Management (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Economics (AREA)
  • Evolutionary Biology (AREA)
  • Development Economics (AREA)
  • Multimedia (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种装载率识别方法、装置、计算机设备和存储介质。所述方法包括：获取载物厢体的厢体图像序列，以及与厢体图像序列对应的厢内图像序列；将厢体图像序列输入训练好的第一神经网络，通过第一神经网络的中间层，提取厢体图像序列的时序特征；将厢内图像序列输入训练好的第二神经网络，通过第二神经网络的中间层，提取厢内图像序列的装载率分类特征；其中，第一神经网络的中间层与第二神经网络的中间层的大小相同；融合时序特征和所述装载率分类特征，得到融合特征；将融合特征输入训练好的第三神经网络，得到厢内图像序列的装载率分类结果。采用本方法能够提高识别的精度。

Description

装载率识别方法、装置、计算机设备和存储介质
技术领域
本申请涉及计算机技术领域，特别是涉及一种装载率识别方法、装置、计算机设备和存储介质。
背景技术
在物流领域，装载率一般指实际所载货物体积除以车厢最大可载货体积。装载率可分为瞬时装载率和过程装载率，瞬时装载率是指车厢到港或者离港时给出的车厢装载率值，过程装载率指的是货物装卸过程中车厢的实时装载率。装载率是一种评估营运效率的方法，可以用于反映物流中转场的工作情况。从而可以根据装载率来合理调度车辆，以便充分利用车辆资源，降低物流成本且提高运行效率。
装载率传统上依靠测量设备或者人工进行测量，测量设备的使用不仅需要专门搭建专用的测量平台，并且对场地有一定的要求。而且无论是依靠测量设备还是人工测量都需要较大的人力成本，不仅成本高且测量速度慢。然而，随着人工智能的发展，以及为了节省人力成本和提高测量的速度，利用神经网络识别装载率成为了一种新方法。但是，现有神经网络通常都是提取单张图像的信息进行装载率的识别，导致识别的精度低。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高识别精度的装载率识别方法、装置、计算机设备和存储介质。
一种装载率识别方法，所述方法包括：
获取载物厢体的厢体图像序列，以及与所述厢体图像序列对应的厢内图像序列；
将所述厢体图像序列输入训练好的第一神经网络，通过所述第一神经网络的中间层，提取所述厢体图像序列的时序特征；
将所述厢内图像序列输入训练好的第二神经网络，通过所述第二神经网络的中间层，提取所述厢内图像序列的装载率分类特征；其中，所述第一神经网络的中间层与所述第二神经网络的中间层的大小相同；
融合所述时序特征和所述装载率分类特征，得到融合特征；
将所述融合特征输入训练好的第三神经网络，得到所述厢内图像序列的装载率分类结果。
一种装载率识别装置，所述装置包括：
获取模块，用于获取载物厢体的厢体图像序列，以及与所述厢体图像序列对应的厢内图像序列；
提取模块，用于将所述厢体图像序列输入训练好的第一神经网络，通过所述第一神经网络的中间层，提取所述厢体图像序列的时序特征；
所述提取模块还用于将所述厢内图像序列输入训练好的第二神经网络，通过所述第二神经网络的中间层，提取所述厢内图像序列的装载率分类特征；其中，所述第一神经网络的中间层与所述第二神经网络的中间层的大小相同；
融合模块，用于融合所述时序特征和所述装载率分类特征，得到融合特征；
识别模块，用于将所述融合特征输入训练好的第三神经网络，得到所述厢内图像序列的装载率分类结果。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任意一项所述装载率识别方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现任意一项所述装载率识别方法的步骤。
上述装载率识别方法、装置、计算机设备和存储介质，通过两个神经网络分别对厢体图像序列、厢内图像序列进行特征提取，得到厢内图像序列的时序特征以及厢内图像序列的装载率分类特征，进而融合时序特征和装载率分类特征并输入神经网络，得到装载率分类结果。装载率分类特征是厢内图像序列中各图像的全局特征，时序特征则是厢体图像序列中各图像之间的时序关系，能够体现出各图像之间上下文信息。该方法使用图像序列作为输入，相比传统使用单张图像作为网络输入的传统方法来说，能够获取更多的图像信息。并且，由于融合特征具有多个维度的特征，从而增强了输入神经网络的特征的表达能力，能够提高装载率的识别精度。
附图说明
图1为一个实施例中装载率识别方法的应用环境图；
图2为一个实施例中装载率识别方法的流程示意图；
图3为一个实施例中厢体图像序列的示意图；
图4为一个实施例中厢内图像序列的示意图；
图5为一个实施例中去除图像序列中不包括载物厢体或重叠度不满足要求的图像，得到新图像序列步骤的流程示意图；
图6为一个实施例中神经网络的结构示意图；
图7为一个实施例中装载率识别装置的结构框图；
图8为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的装载率识别方法，可以应用于如图1所示的应用环境中。该应用环境涉及终端102、服务器104以及摄像装置106，终端102与服务器104通过网络进行通信、终端102、服务器104与摄像装置106通过网络进行通信。其中，摄像装置106是指携带有摄像功能的设备，可以由工作人员手持摄像装置对厢门打开的载物厢体进行拍摄，也可以设置在固定地点，例如载物厢体的停靠点，用于定时采集厢门打开的载物厢体的图像序列。当摄像装置106采集到载物厢体在厢门打开状态时的图像序列之后，摄像装置106将图像序列发送给终端102，可以通过终端102从图像序列中获取载物厢体的厢体图像序列，以及与厢体图像序列对应的厢内图像序列，然后由终端102根据获取的厢体图像序列以及对应的厢内图像序列单独实现装载率识别方法。也可以由终端102将从摄像装置106接收的图像序列发送给服务器104。或者，摄像装置106直接将拍摄的载物厢体在厢门打开状态时的图像序列发送给服务器104，通过服务器104实现装载率识别方法。具体地，服务器104从图像序列中获取载物厢体的厢体图像序列，以及与厢体图像序列对应的厢内图像序列。服务器104将厢体图像序列输入训练好的第一神经网络，通过第一神经网络的中间层，提取厢体图像序列的时序特征；服务器104将厢内图像序列输入训练好的第二神经网络，通过第二神经网络的中间层，提取厢内图像序列的装载率分类特征；其中，第一神经网络的中间层与第二神经网络的中间层的大小相同；服务器104融合时序特征和装载率分类特征，得到融合特征；服务器104将融合特征输入训练好的第三神经网络，得到厢内图像序列的装载率分类结果。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。摄像装置106是指携带有摄像功能的设备，可以但不限于是照相机、摄像机和智能手机等。
在一个实施例中，如图2所示，提供了一种装载率识别方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：
步骤S202，获取载物厢体的厢体图像序列，以及与厢体图像序列对应的厢内图像序列。
其中，载物厢体是指具有一定容积，可以用于装载物品的物品。比如用于运载货物车辆的车厢、集装箱等。图像序列是指在不同时间、不同方位对目标物依序连续获取的系列图像。厢体图像序列则是包括多张连续厢体图像的集合，厢体图像是指包括载物厢体的图像。而厢内图像序列则是指包括多张连续厢内图像的集合，厢内图像是指载物厢体对应厢内空间的图像。厢内图像应当体现出载物厢体完整的容积。并且，厢体图像应当与厢内图像一样体现出载物厢体完整的容积。只是厢内图像中的对象除了载物厢体完整的容积之外，不包括其他的对象。而厢体图像中除了载物厢体完整的容积之外，还包括其他的对象。由此可以理解为，厢内图像是从厢体图像中裁剪下来的图像。如图3-4所示，参考图3，提供一种厢体图像序列的示意图。参考图4，提供一种厢内图像序列的示意图。图3和图4所示的图像序列均为正对着载物厢体的厢门，以及厢门为打开状态时所拍摄的图像，能够体现出载物厢体完整的容积。而图3所示厢体图像序列中的厢体图像，不仅包括载物厢体，还包括载物厢体周边的景象。图4所示的厢内图像序列中的厢内图像除了载物厢体之外，不包括其他的对象。
具体地，获取到载物厢体的厢体图像序列，以及厢体图像序列对应的厢内图像序列后，利用训练好的神经网络对该厢体图像序列和厢内图像序列进行识别，得到厢内图像的装载率分类结果。该厢内图像的装载率分类结果即为对应载物厢体当前的装载率。例如，在实际应用中，将具备摄像功能的摄像装置安装于能够拍摄到载物厢体的位置，比如在装于载物厢体停靠点的位置。假设载物厢体为运载货物的车辆，则在摄像装置安装好之后，在车辆到港或者离港过程中连续采集对应的图像，得到图像序列。以到港为例，即从车辆开始到港到到港完成这个过程中持续对车辆进行图像采集。可以理解为，从车辆开始倒车到车辆在卡口停稳为止这个过程控制摄像装置持续采集图像。应当理解，控制摄像装置拍摄图像时，载物厢体的厢门应当处于打开状态。然后，摄像装置将拍摄得到的厢体图像序列传送给终端，终端将摄像装置拍摄的厢体图像序列发送给服务器，服务器从厢体图像序列中裁剪得到对应的厢内图像序列。然后根据厢体图像序列和厢内图像序列进行装载率识别。若摄像装置为携带有摄像功能的终端设备，摄像装置可以直接将拍摄的厢体图像序列发送给服务器。
步骤S204，将厢体图像序列输入训练好的第一神经网络，通过第一神经网络的中间层，提取厢体图像序列的时序特征。
神经网络是智能控制技术的主要分支之一，又称为人工神经网络(artificialneural networks，ANNs)或连接模型(connection model)，它是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。神经网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。中间层即是指第一神经网络中任意一层的卷积层。时序特征即为第一神经网络从厢体图像序列中各图像中提取的能够表征图像之间关系的图像特征。可以理解为，通过厢体图像序列中各图像之间的时序特征能够得知图像之间的上下文关系，通过结合图像之间上下文关系对图像进行分类，提高分类的精度。
其中，第一神经网络为预先通过图像序列训练好，用于对视频图像进行分类的视频理解网络。可以理解为是一种通过对视频片段，即连续图像进行分析识别的动作分类网络。第一神经网络包括但不限于是ECO-lite网络(Efficient convolutional Network Foronline video understanding，在线视频理解的高校卷积网络)、SlowFast网络等。
具体地，当服务器获取到载物厢体的厢体图像序列后，调用训练好的第一神经网络。将厢体图像序列输入至第一神经网络，通过第一神经网络的卷积层提取厢体图像序列中的各厢体图像之间的时序信息，得到对应的时序特征。比如，以ECO-lite网络为例，ECO-lite网络的网络结构主要包括2D卷积网络和3D卷积网络，其中2D卷积网络和3D卷积网络中包括多层卷积层。主要通过2D卷积网络获取输入图像的2D特征，根据时间将2D特征堆叠后送入3D卷积网络得到最后的分类结果。即当服务器获取到载物厢体的厢体图像序列后，将厢体图像序列输入ECO-lite网络中，获取ECO-lite网络中任意一层卷积层提取得到的特征，即为时序特征。可以理解为，获取的时序特征可以是2D卷积网络或3D卷积网络中任意一层卷积层输出的特征。
步骤S206，将厢内图像序列输入训练好的第二神经网络，通过第二神经网络的中间层，提取厢内图像序列的装载率分类特征；其中，第一神经网络的中间层与第二神经网络的中间层的大小相同。
其中，第二神经网络为预先通过图像训练好，用于进行图像分类的分类模型。图像分类是指根据各自在图像信息所反映的不同特征，把不同类别的目标区分开来的图像处理方法。它利用计算机对图像进行定量分析，把图像或图像中的每个像元素或区域划归为若干个各类别中的某一种。在本实施例中，分类是指按照装载率的类别对厢内图像进行分类。由于第二神经网络是输入厢内图像序列而直接得到装载率分类结果，因此由第二神经网络提取的装载率分类特征是从全局图像中提取的特征，能够表征厢内图像序列中各图像的全局特征。第二神经网络包括但不限于是Inception系列网络、VGG(Visual Geometry GroupNetwork，视觉几何组网络)、Resnet(Residual Network，残差网络)等通用分类网络结构训练得到的分类模型。中间层是指第二神经网络中任意一层的卷积层，但是，为了方便后续的特征融合，该卷积层需要与第一神经网络的卷积层的大小相同。可以理解为，第一神经网络的中间层和第二神经网络的中间层的大小应当相同，即二者分别提取到的时序特征和装载率分类特征的大小应当相同。
具体地，获取到载物厢体的厢体图像对应的厢内图像序列之后，调用第二神经网络，将厢内图像序列输入第二神经网络。通过第二神经网络中的各层卷积层对厢内图像序列中的厢内图像进行特征提取。第二神经网络中各层卷积层都会输出对应的特征，在本实施例中，只需要获取与第一神经网络中间层大小相同的卷积层输出的特征，即为装载率分类特征。
步骤S208，融合时序特征和载率分类特征，得到融合特征。
其中，融合特征是指将两个或两个以上不同的特征进行融合得到的特征，通过融合不同的特征能够得到包括更多细节信息的特征。即，将第一神经网络提取的能够表征图像时序关系的时序特征、第二神经网络提取的能够表征全局特征的装载率分类特征进行融合，从而将时序特征与全局特征进行融合，得到多个维度的特征，从而多方面体现出特征的细节信息，提升特征的表达能力。
具体地，当第一神经网络提取得到厢体图像序列的时序特征、以及第二神经网络提取得到厢内图像序列的装载率分类特征后，将时序特征和装载率分类特征进行特征的融合，得到对应的融合特征。
在一个实施例中，特征的融合包括特征合并和特征相加。由于在计算机中，特征为矩阵形式，特征相加即为将各矩阵中对应的元素进行相加，得到的新的矩阵为融合特征。特征合并即是将各矩阵进行任意维度的合并，例如两个2*2的矩阵，合并之后可为2*4的矩阵，或者为4*2的矩阵，合并后得到的矩阵即为融合特征。具体地，融合时序特征和装载率分类特征，得到的融合特征包括：将时序特征和装载率分类特征进行特征相加，得到融合特征。或者，将车时序特征和装载率分类特征进行特征合并，得到厢内图像对应的融合特征。
步骤S210，将融合特征输入训练好的第三神经网络，得到厢内图像序列的装载率分类结果。
其中，第三神经网络是预先训练好用于进行装载率分类的分类模型。第三神经网络与传统通过图像训练的神经网络不一样，第三神经网络是预先通过融合特征，且是通过融合特征序列训练好的神经网络。相比传统利用图像训练的神经网络来说，第三神经网络能够增强特征的表达能力，从而提高分类的精度。第三神经网络包括但不限于是Inception系列网络、VGG(Visual Geometry Group Network，视觉几何组网络)、Resnet(ResidualNetwork，残差网络)等通用分类网络结构训练得到的分类模型。
具体地，当得到时序特征和装载率分类特征后，对时序特征和装载率分类特征进行特征相加或特征合并，得到融合特征。调用第三神经网络，将融合特征输入第三神经网络。通过第三神经网络对融合特征进一步进行卷积等操作，从而得到装载率的分类结果。在本实施例中，由于神经网络训练时，装载率一共划分为11个类别。因此，第三神经网络识别得到的装载率结果同样包括11个类别，分别为[0、0-10、10-20、20-30、30-40、40-50、50-60、60-70、70-80、80-90、90-100]。应当理解，本实施装载率的分类为网络训练时，人工根据实际装载率应用场景所划分得到的，即可以理解为装载率的类别划分可根据实际情况进行设置。
上述装载率识别方法、装置、计算机设备和存储介质，通过两个神经网络分别对厢体图像序列、厢内图像序列进行特征提取，得到厢内图像序列的时序特征以及厢内图像序列的装载率分类特征，进而融合时序特征和装载率分类特征并输入神经网络，得到装载率分类结果。装载率分类特征是厢内图像序列中各图像的全局特征，时序特征则是厢体图像序列中各图像的时序关系，能够体现出各图像之间上下文信息。该方法使用图像序列作为输入，相比传统使用单张图像作为网络输入的传统方法来说，能够获取更多的图像信息。并且，由于融合特征具有多个维度的特征，从而增强了输入神经网络的特征的表达能力，能够提高装载率的识别精度。
在一个实施例中，第一神经网络训练过程包括：获取载物厢体的样本集合，样本集合包括厢体图像序列样本、以及标注的厢体图像序列样本的装载率分类结果；将厢体图像序列样本输入至第一神经网络，通过第一神经网络的2D卷积网络提取厢体图像序列样本中各图像的特征图，通过第一神经网络的3D卷积网络融合特征图，输出得到厢体图像序列样本的装载率分类结果；根据输出的厢体图像序列样本的装载率分类结果和标注的厢体图像序列样本的装载率分类结果，调整第一神经网络的参数；当达到训练的结束条件时，停止迭代，得到训练好的第一神经网络。
其中，样本集合是包括用于训练神经网络所需图像的集合，包括厢体图像序列样本，以及标注的厢体图像序列样本的装载率分类结果。厢体图像序列样本即是用于训练第一神经网络所用到的厢体图像。标注的厢体图像序列样本的装载率分类结果是指对厢体图像序列样本中各厢体图像样本进行装载率的标注，标注的装载率根据厢体图像样本中的厢内容积以及厢内货物容积计算得到，装载率一共有11个类别。
具体地，接收摄像装置采集的原始图像序列样本，为了防止分辨率过低的图像造成干扰，图像序列样本中的原始图像的分辨率应当不低于1920*1080，大小至少为200万像素。通过对原始图像进行检测，确定原始图像中是否为载物厢体的图像，并计算相邻之间原始图像的重叠度，去除冗余的原始图像。对剩余的原始图像进行综合筛选，选取一定数量的原始图像组成厢体图像序列样本。在本实施例中，优选6张得分最高的原始图像组成厢体图像序列样本，图像的得分为图像对应的重叠度和置信度的乘积。并且，根据图像的采集时间将图像进行排序，得到排序后的厢体图像序列样本，从而保证厢体图像序列样本中各图像处于连续的顺序。然后，由于神经网络的输入图像一般有固定尺寸，为了与神经网络所接受的图像尺寸保持一致，不满足该尺寸的图像应当进行缩放，缩放后得到的图像即为最终能够输入神经网络的厢体图像序列样本。例如，以ECO-lite网络为例，厢体图像序列样本中的各图像优先缩放到256*256像素。当获取到厢体图像序列样本后，即可根据厢体图像序列样本中各图像实际的装载率为各图像标注的装载率分类结果，得到厢体图像序列样本的装载率分类结果。也就是，获取到厢体图像序列样本之后，从厢体图像序列样本中获取所有的厢体图像样本。确定各厢体图像样本中厢内容积以及厢内货物容积，厢内货物容积可以理解为货物在厢内所占的容积。计算厢内容积与厢内货物容积之比，得到的比值即为对应厢体图像样本的装载率分类结果，根据预设的11个类别确定得到的装载率分类结果的类别，该类别即为要标注的装载率分类结果。其中，装载率分类结果包括11个类别，分别为[0、0-10、10-20、20-30、30-40、40-50、50-60、60-70、70-80、80-90、90-100]。例如，当计算得到的厢体图像样本的装载率分类结果为55％，则对应的类别为50-60，也就是厢体图像样本要标注的装载率分类结果为50-60。最后，利用获取到的厢体图像序列样本以及标注的装载率分类结果对第一神经网络进行训练。将厢体图像序列样本以及标注的装载率分类结果划分为训练集A和测试集A。训练集A中的厢体图像序列样本以及标注的装载率分类结果用于对第一神经网络进行训练，测试集A中的厢体图像序列样本以及标注的装载率分类结果用于在第一神经网络训练完成后，对第一神经网络进行模型评估，确定第一神经网络训练后的性能。其中，缩放可通过图像插值方法进行缩放，例如最近邻插值、双线性插值等。
以第一神经网络为ECO-lite网络为例说明第一神经网络的训练过程，首先随机初始化ECO-lite网络的参数，即权重、并且设定好第一神经网络训练所用到的学习率、损失函数等。然后，获取训练集A中的厢体图像序列样本，将训练集A中的厢体图像序列样本输入至初始化后的ECO-lite网络中，通过ECO-lite网络的2D卷积部分对厢体图像序列样本中各图像进行卷积运算以，提取得到厢体图像序列样本中各图像的特征图。当2D卷积部分完成特征提取后，将2D卷积部分提取得到的特征图输入ECO-lite网络的3D卷积部分对特征图进行卷积运算，输出厢体图像序列样本的装载率分类结果。当得到输出的装载率分类结果之后，将输出的装载率分类结果与训练集A中该厢体图像序列样本对应的标注的装载率分类结果进行比对，根据比对的结果对ECO-lite网络的参数进行调整。即，通过比对输出的装载率分类结果与标注的装载率分类结果，确定第一神经网络预测值与实际值的误差，根据误差去调整第一神经网络的参数。预测值与实际值的误差可通过设定的损失函数计算得知，当预测值与实际值相差越大，损失函数计算得到的值也会很大。当根据误差对参数进行调整后，可将厢体图像序列样本再次输入至第一神经网络中进行训练，即对第一神经网络再一次进行训练，此过程可称为迭代。当达到训练的结束条件后，即可停止迭代，得到训练好的第一神经网络。达到训练的结束条件可以理解为，输出的装载率分类结果与标注的装载率分类结果之间没有误差，或者根据实际情况来看，存在的误差是可接受的范围。若从损失函数的角度来看，即损失函数计算得到的损失值处于稳定不再下降，即损失函数处于已经收敛状态，则表示达到了训练的结束条件。由此可知，样本集合中的厢体图像样本序列在训练时是作为第一神经网络的输入，而标注的厢内图像样本的装载率分类结果是作为第一神经网络训练时的目标。另外，应当理解，当通过训练集A对第一神经网络训练完成之后，利用测试集A对训练后的第一神经网络进行评估，确定训练完成后的第一神经网络的性能。即通过将训练集A中的厢体图像序列样本输入到第一神经网络中得到输出的装载率分类结果，将输出的装载率分类结果与训练集A中的对应的标注的装载率分类结果进行比对确定第一神经网络训练后的性能。
在本实施例中，通过训练引导第一神经网络提取图像之间的时序关系，从而使得第一神经网络能够获取图像之间时序信息，从而提高特征表达能力。
在一个实施例中，样本集合还包括与厢体图像序列样本对应的厢内图像序列样本、以及标注的厢内图像序列样本的装载率分类结果。第二神经网络训练过程包括：将厢内图像序列样本输入第二神经网络，输出得到厢内图像序列样本的装载率分类结果；根据输出的厢内图像序列样本的装载率分类结果和标注的厢内图像序列样本的装载率分类结果，调整第二神经网络的参数；当达到训练的结束条件时，停止迭代，得到训练好的第二神经网络。
其中，厢内图像序列样本是用于训练第二神经网络的厢内图像序列，可以从厢体图像序列样本中裁剪得到。也就是说，厢体图像序列样本序列与厢内图像序列样本一一对应。比如，若将厢体图像序列样本序列作为样本A，厢内图像序列样本作为样本B，即可以理解为，样本A与样本B中的图像一一对应，分别用于训练第一神经网络和第二神经网络。当得到厢内图像序列样本后，即可根据厢内图像序列样本中各图像的装载率情况对各图像标注对应的装载率，得到厢内图像序列样本的装载率分类结果。厢内图像序列样本中各图像要标注的装载率分类结果的计算方式与厢体图像序列样本一样，在此不再赘述。同样的，将厢内图像序列样本以及标注的装载率分类结果进行划分为训练集B和测试集B。训练集B中的厢内图像序列样本以及标注的装载率分类结果用于对第二神经网络进行训练，测试集B中的厢内图像序列样本以及标注的装载率分类结果用于在第二神经网络训练完成后，对第二神经网络进行模型评价，确定第一神经网络的性能。由此可得，训练集A与训练集B分别用于训练第一神经网络和第二神经网络，测试集A与测试集B分别用于评估第一神经网络和第二神经网络的训练后的性能。即，厢内图像序列样本为第二神经网络的训练输入，标注的厢内图像序列样本的装载率分类结果为第二神经网络训练的目标。应当理解，在本实施例中，厢内图像序列样本不限定于从厢体图像序列样本中裁剪得到，也可以从其他包括厢体的图像序列中裁剪得到。
具体地，随机初始化第二神经网络的参数，即权重、并且设定好第二神经网络训练所用到的学习率、损失函数等。然后，获取训练集B中的厢内图像序列样本，将厢内图像序列样本输入至初始化后的第二神经网络中，通过第二神经网络对厢内图像序列样本进行卷积运算等操作，输出厢内图像序列样本的装载率分类结果。将输出的装载率分类结果与训练集B中标注的该厢内图像序列样本的装载率分类结果进行比对，根据比对的结果对第二神经网络的参数进行调整。即，通过比对输出的装载率分类结果与标注的装载率分类结果确定第二神经网络预测值与实际值的误差，根据误差去调整第二神经网络的参数。误差同样可通过第二神经网络设定的损失函数进行计算，当根据误差对第二神经网络的参数进行调整后，可将厢内图像序列样本再次输入至网络中进行训练，即对第二神经网络进行迭代，直至达到了训练的结束条件，停止训练，得到训练好的第二神经网络。也就是说，直至输出的装载率分类结果与标注的装载率分类结果没有误差或误差可接受时，也就是第二神经网络的损失函数处于收敛状态为止。同样，当通过训练集B对第二神经网络训练完成之后，利用测试集B对训练后的第一神经网络进行评估，即可确定训练完成后的第二神经网络的性能。
在一个实施例中，第三神经网络训练过程包括：将厢体图像序列样本输入训练好的第一神经网络，通过训练好的第一神经网络的中间层，提取得到厢体图像序列样本的时序特征；将厢内图像序列样本输入训练好的第二神经网络，通过训练好的第二神经网络的中间层，提取得到厢内图像序列样本的装载率分类特征；融合厢体图像序列样本的时序特征和厢内图像序列样本的装载率分类特征，得到融合特征；将融合特征输入第三神经网络，输出厢内图像序列样本的装载率分类结果；根据输出的厢内图像序列样本的装载率分类结果和标注的装载率分类结果，调整第三神经网络的参数；当达到训练的结束条件时，停止迭代，得到训练好的第三神经网络。
其中，第三神经网络与第一神经网络和第二神经网络的不同在于，第三神经网络训练所用到的输入不是图像，而是特征。并且是训练好的第一神经网络对厢体图像序列样本进行特征提取后所得到的时序特征与第二神经网络第对厢内图像序列样本进行特征提取后所得到的装载率分类特征的融合特征。
具体地，当第一神经网络、第二神经网络训练完成之后，将第一神经网络和第二神经网络的卷积层的参数固定。然后，将厢体图像序列样本输入参数固定的第一神经网络的卷积层进行特征提取，得到厢体图像序列样本对应的时序特征。以及将厢内图像序列样本输入参数固定的第二神经网络的卷积层进行特征提取，得到厢内图像序列样本对应的装载率分类特征。其中，时序特征与装载率分类特征大小相同。融合时序特征与装载率分类特征，得到融合特征。随机初始化第三神经网络的参数，即权重、并且设定好第三神经网络训练所用到的学习率、损失函数等。将融合特征输入至初始化后的第三神经网络中，利用融合特征对第三神经网络进行训练。根据第三神经网络训练输出的装载率分类结果与标注的装载率分类结果对第三神经网络的参数进行调整。当根据误差对第三神经网络的参数进行调整后，可将融合特征再次输入至第三神经网络中进行训练，即对第三神经网络进行迭代，直至达到了训练的结束条件，停止训练，得到训练好的第三神经网络。
在本实施例中，通过融合第一神经网络、第二神经网络提取的特征，即将图像全局信息和时序信息进行结合后训练第三神经网络，增强了特征的表达能力，从而提高了第三神经网络的识别精度。
在一个实施例中，获取载物厢体的厢体图像序列，以及厢体图像序列对应的厢内图像序列，具体包括：接收载物厢体在厢门打开状态时拍摄的图像序列，去除图像序列中不包括载物厢体或重叠度不满足要求的图像，得到新图像序列；将新图像序列中各图像缩放到第一预设尺寸，得到厢体图像序列；对新图像序列中各图像进行识别，确定各图像中载物厢体的车门；根据载物厢体的车门裁剪载物厢体的厢内图像区域，得到厢内图像区域序列；将厢内图像区域序列中各厢内图像区域缩放到第二预设尺寸，得到厢内图像序列。
其中，新图像序列为去除不包括载物箱体，以及重叠度过高的图像之后的图像序列。具体地，当接收到图像序列之后，通过预先训练得到的检测网络对图像序列中的各图像进行载物厢体的检测，去除不包括载物厢体的图像。并且，通过计算各图像的重叠度，根据重叠度去除图像序列中冗余的图像，最终得到新图像序列。第一预设尺寸为根据第一神经网络设定的图像尺寸，可以理解为，第一神经网络接受的输入图像的尺寸。比如，若第一神经网络为ECO-lite网络，则第一预设尺寸优先设为256*256。而第二预设尺寸则是根据第二神经网络所设定的图像尺寸，在本实施例中，预设第二尺寸优选224*224。厢内图像区域序列是指包括连续厢内图像区域图的集合，厢内图像序列即为包括连续厢内图像的集合。
具体地，在得到新图像序列之后，将新图像序列中不满足第一预设尺寸的图像的尺寸缩放到第一预设尺寸。也就是说，大于第一预设尺寸的图像缩小到第一预设尺寸，而小于第一预设尺寸的图像放大到第一预设尺寸。而由于利用预先训练得到的检测网络对图像序列中的各图像进行载物厢体的检测时，能够得到各图像中载物厢体的车门的坐标值。因此，通过车门的坐标值在图像中定位到车门所在的区域。在得到车门的坐标值之后，根据车门的坐标值在图像中定位并裁剪车门所在的区域，得到厢内图像区域序列。然后，由于厢内图像区域序列中的图像是输入第二神经网络的图像，因此根据第二预设尺寸将厢内图像区域序列中的各图像进行缩放，缩放后的图像为厢内图像。即，大于第二预设尺寸的图像缩小到第二预设尺寸，而小于第二预设尺寸的图像放大到第二预设尺寸。
另外，图像缩放可以利用图像插值方法进行缩放，例如最近邻插值、双线性插值等。在本实施例中，通过去除图像序列中不满足要求的图像，以及根据神经网络对各图像进行裁剪缩放处理，从而减轻神经网络的负担，加快识别速度。
在一个实施例中，如图5所示，去除图像序列中不包括载物厢体或重叠度不满足要求的图像，得到新图像序列，包括以下步骤：
步骤S502，将图像序列中各图像输入第四神经网络，得到图像序列中各图像的置信度。
其中，第四神经网络即为预先训练好的用于检测载物厢体的检测网络，检测网络包括但不限于Faster R-CNN(Faster Region Convolutional Neural Networks，快速区域检测网络)、SSD网络(Single Shot MultiBox Detector，单点多目标检测网络)目标检测算法网络、Yolo网络(You Only Look Once，单个神经网络的目标检测网络)等。置信度是一个概率值，根据概率值表示神经网络预测得到的结果的可信程度。
具体地，当对图像序列进行检测时，调用预先训练好的第四神经网络。将图像序列中的各图像输入第四神经网络。通过第四神经网络对图像序列中各图像进行检测，得到各图像中载物厢体的车门的坐标值以及对应的置信度。得到载物厢体的车门的坐标值后，即可根据得到载物厢体的车门的坐标值在厢体图像中定位并裁剪到对应的厢内图像区域。并且，根据置信度即可确定该坐标值对应区域中的对象为车门的概率。
步骤S504，根据置信度去除图像序列中不包括载物厢体的图像，得到第一剩余图像序列。
具体地，获取置信度阈值，置信度阈值用于筛选不可信的预测结果，可根据实际情况进行设定。本实施例中置信度阈值优选95％。将各图像对应的置信度与置信度阈值进行比较，小于置信度阈值的图像视为不包括载物厢体的图像，并且去除不包括载物厢体的图像。而大于等于置信度阈值的图像视为包括载物厢体的图像，予以保留。由此，得到第一剩余图像序列，即，第一剩余图像序列是去除不包括载物厢体图像后的图像序列。
步骤S506，计算第一剩余图像序列中相邻图像的重叠度，并从第一剩余图像序列中去除重叠度不满足要求的图像，得到第二剩余图像序列。
其中，重叠度是用于表示当前图像与上一帧相邻图像的重复度，重叠度越高，表征当前图像与上一帧相邻图像越相似。
具体地，通过计算第一剩余图像序列中各图像与上一帧相邻图像的重叠度，将重叠度与重叠度阈值进行比较，大于重叠度阈值的图像视为冗余图像，去除冗余的图像。而小于等于重叠阈值的图像予以保留，从而得到第二剩余图像序列，第二剩余图像序列即为去除冗余图像后的图像序列。
步骤S508，根据图像采集时间，将第二剩余图像序列中的各图像进行排序，得到新图像序列。
具体地，当得到第二剩余图像序列后，为防止图像处理过程中打乱各图像的前后关系。根据第二剩余图像序列中各图像的图像采集时间，对各图像进行排序。即，按照采集顺序对图像进行排序，先采集的图像排在前面，后采集的图像排在后面，从而保证各图像之间正确的时序关系。
另外，若需选择固定数量的图像组成图像序列，可进一步对第二剩余图像序列中的图像进行综合筛选。通过对图像进行评估，根据评估得到的得分筛选合适的图像。然后根据图像采集时间对选择的数量进行排序。其中，评估的得分可根据重叠度和置信度进行计算。即，将各图像所对应的重叠度与置信度相乘，相乘得到的值即为该图像的得分。以得分排名，根据需求选择图像。比如，若每组图像序列控制包括6张图像，则根据得分选择得分最高的6张图像组成一组图像序列。然后，根据这6张图像的采集时间对这6张图像进行排序。
在一个实施例中，计算第一剩余图像序列中相邻图像的重叠度，并从第一剩余图像序列中去除重叠度不满足要求的图像，得到第二剩余图像序列包括：将第一剩余图像序列中的图像依次作为当前图像，并获取当前图像的上一帧图像；确定当前图像和上一帧图像的交集面积和并集面积；根据交集面积和并集面积的比值，得到当前图像的重叠度；将第一剩余图像序列中重叠度不满足要求的图像去除，得到第二剩余图像序列。
其中，交集面积是指相邻两幅图像之间的重复面积，并集面积则是指相邻两幅图像的总面积。重叠度(intersection over union，IoU)即为相邻两幅图像的交集面积和并集面积的比值。
具体地，首先确定相邻两幅图像的交集面积，通过获取相邻两幅图像各自的起点坐标和终点坐标，起点坐标即为图像左上角第一个像素的坐标，终点坐标即为右下角最后一个像素的坐标。通过起点坐标和终点坐标可以计算出图像的长和宽，然后即可计算得到两幅图像交集面积。例如，若图像1的起点坐标为(x11、y11)，终点坐标为(x12、y12)，则图像1的高H1＝y12-y11，宽k1＝x12-x11。而图像2起点坐标为(x21、y21)，终点坐标为(x22、y22)，图像2的高H2＝y22-y21，宽k2＝x22-x21。图像1和图像2的交集面积为H*k，其中，H＝H1+H2-(y22-y21)＝y12-y21，k＝k1+k2-(x22-x21)＝x12-x21。其次，获取相邻两幅图像的并集面积，即为图像1的面积与图像2的面积相加之后减去一个交集面积，即为并集面积。当得到交集面积和并集面积之后，二者的比值即为重叠度IoU，计算公式如下：
Figure BDA0002189707430000171
其中，A表示图像1，C表示图像2。即，当A为当前图像，C为图像A的上一帧相邻图像是，若计算得到的IoU值大于重叠度阈值，则去除图像A。反之，若IoU值小于等于重叠度阈值时，则保留图像A。
另外，也可以通过调用图像处理工具直接计算两幅图像的重叠度，例如OpenCV、MATLAB等。
在一个实施例中，如图6所示，提供一种神经网络结构，根据该神经网络结构对装载率识别方法进行解释说明。参考图6，该神经网络结构包括第一神经网络和、第二神经网络以及第三神经网络。具体地，获取到载物厢体的厢体图像序列、以及对应的厢内图像序列后，将厢体图像序列输入第一神经网络，获取第一神经网络中任意一层卷积层输出的时序特征。以及，将厢内图像序列输入第二神经网络，获取第二神经网络中任意一层卷积层输出的装载率分类特征。其中，获取的时序特征和装载率分类特征大小相同。然后，将得到的时序特征和装载率分类特征进行特征融合后输入到第三神经网络，第三神经网络根据融合特征得到最终预测得到的装载率分类结果。
应该理解的是，虽然图2、5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、4中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图7所示，提供了一种装载率识别装置，包括：获取模块702、提取模块704、融合模块706和识别模块708，其中：
获取模块702，用于获取载物厢体的厢体图像序列，以及与厢体图像序列对应的厢内图像序列。
提取模块704，用于将厢体图像序列输入训练好的第一神经网络，通过第一神经网络的中间层，提取厢体图像序列的时序特征。
提取模块704还用于将厢内图像序列输入训练好的第二神经网络，通过第二神经网络的中间层，提取厢内图像序列的装载率分类特征；其中，第一神经网络的中间层与第二神经网络的中间层的大小相同。
融合模块706，用于融合时序特征和所述装载率分类特征，得到融合特征。
识别模块708，用于将融合特征输入训练好的第三神经网络，得到厢内图像序列的装载率分类结果。
在一个实施例中，提取模块704还用于：获取载物厢体的样本集合，样本集合包括厢体图像序列样本、以及标注的厢体图像序列样本的装载率分类结果；将厢体图像序列样本输入至第一神经网络，通过第一神经网络的2D卷积网络提取厢体图像序列样本中各图像的特征图，通过第一神经网络的3D卷积网络融合特征图，输出得到厢体图像序列样本的装载率分类结果；根据输出的厢体图像序列样本的装载率分类结果和标注的厢体图像序列样本的装载率分类结果，调整第一神经网络的参数；当达到训练的结束条件时，停止迭代，得到训练好的第一神经网络。
在一个实施例中，样本集合还包括与厢体图像序列样本对应的厢内图像序列样本、以及标注的厢内图像序列样本的装载率分类结果。提取模块704还用于将厢内图像序列样本输入第二神经网络，输出得到厢内图像序列样本的装载率分类结果；根据输出的厢内图像序列样本的装载率分类结果和标注的厢内图像序列样本的装载率分类结果，调整第二神经网络的参数；当达到训练的结束条件时，停止迭代，得到训练好的第二神经网络。
在一个实施例中，提取模块704还用于将厢体图像序列样本输入训练好的第一神经网络，通过训练好的第一神经网络的中间层，提取得到厢体图像序列样本的时序特征；将厢内图像序列样本输入训练好的第二神经网络，通过训练好的第二神经网络的中间层，提取得到厢内图像序列样本的装载率分类特征；融合厢体图像序列样本的时序特征和厢内图像序列样本的装载率分类特征，得到融合特征；将融合特征输入第三神经网络，输出厢内图像序列样本的装载率分类结果；根据输出的厢内图像序列样本的装载率分类结果和标注的装载率分类结果，调整第三神经网络的参数；当达到训练的结束条件时，停止迭代，得到训练好的第三神经网络。
在一个实施例中，获取模块702还用于接收载物厢体在厢门打开状态时拍摄的图像序列，去除图像序列中不包括载物厢体或重叠度不满足要求的图像，得到新图像序列；将新图像序列中各图像缩放到第一预设尺寸，得到厢体图像序列；对新图像序列中各图像进行识别，确定各图像中载物厢体的车门；根据载物厢体的车门裁剪载物厢体的厢内图像区域，得到厢内图像区域序列；将厢内图像区域序列中各厢内图像区域缩放到第二预设尺寸，得到厢内图像序列。
在一个实施例中，获取模块702还用于将图像序列中各图像输入第四神经网络，得到图像序列中各图像的置信度；根据置信度去除图像序列中不包括载物厢体的图像，得到第一剩余图像序列；计算第一剩余图像序列中相邻图像的重叠度，并从第一剩余图像序列中去除重叠度不满足要求的图像，得到第二剩余图像序列；根据图像采集时间，将第二剩余图像序列中的各图像进行排序，得到新图像序列。
在一个实施例中，获取模块702还用于将第一剩余图像序列中的图像依次作为当前图像，并获取当前图像的上一帧图像；确定当前图像和上一帧图像的交集面积和并集面积；根据交集面积和并集面积的比值，得到当前图像的重叠度；将第一剩余图像序列中重叠度不满足要求的图像去除，得到第二剩余图像序列。
关于装载率识别装置的具体限定可以参见上文中对于装载率识别方法的限定，在此不再赘述。上述装载率识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种装载率识别方法。
本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取载物厢体的厢体图像序列，以及与厢体图像序列对应的厢内图像序列；
将厢体图像序列输入训练好的第一神经网络，通过第一神经网络的中间层，提取厢体图像序列的时序特征；
将厢内图像序列输入训练好的第二神经网络，通过第二神经网络的中间层，提取厢内图像序列的装载率分类特征；其中，第一神经网络的中间层与第二神经网络的中间层的大小相同；
融合时序特征和所述装载率分类特征，得到融合特征；
将融合特征输入训练好的第三神经网络，得到厢内图像序列的装载率分类结果。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取载物厢体的样本集合，样本集合包括厢体图像序列样本、以及标注的厢体图像序列样本的装载率分类结果；将厢体图像序列样本输入至第一神经网络，通过第一神经网络的2D卷积网络提取厢体图像序列样本中各图像的特征图，通过第一神经网络的3D卷积网络融合特征图，输出得到厢体图像序列样本的装载率分类结果；根据输出的厢体图像序列样本的装载率分类结果和标注的厢体图像序列样本的装载率分类结果，调整第一神经网络的参数；当达到训练的结束条件时，停止迭代，得到训练好的第一神经网络。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取载物厢体的样本集合，样本集合包括厢体图像序列样本、以及标注的厢体图像序列样本的装载率分类结果；将厢体图像序列样本输入至第一神经网络，通过第一神经网络的2D卷积网络提取厢体图像序列样本中各图像的特征图，通过第一神经网络的3D卷积网络融合特征图，输出得到厢体图像序列样本的装载率分类结果；根据输出的厢体图像序列样本的装载率分类结果和标注的厢体图像序列样本的装载率分类结果，调整第一神经网络的参数；当达到训练的结束条件时，停止迭代，得到训练好的第一神经网络。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：将厢体图像序列样本输入训练好的第一神经网络，通过训练好的第一神经网络的中间层，提取得到厢体图像序列样本的时序特征；将厢内图像序列样本输入训练好的第二神经网络，通过训练好的第二神经网络的中间层，提取得到厢内图像序列样本的装载率分类特征；融合厢体图像序列样本的时序特征和厢内图像序列样本的装载率分类特征，得到融合特征；将融合特征输入第三神经网络，输出厢内图像序列样本的装载率分类结果；根据输出的厢内图像序列样本的装载率分类结果和标注的装载率分类结果，调整第三神经网络的参数；当达到训练的结束条件时，停止迭代，得到训练好的第三神经网络。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：接收载物厢体在厢门打开状态时拍摄的图像序列，去除图像序列中不包括载物厢体或重叠度不满足要求的图像，得到新图像序列；将新图像序列中各图像缩放到第一预设尺寸，得到厢体图像序列；对新图像序列中各图像进行识别，确定各图像中载物厢体的车门；根据载物厢体的车门裁剪载物厢体的厢内图像区域，得到厢内图像区域序列；将厢内图像区域序列中各厢内图像区域缩放到第二预设尺寸，得到厢内图像序列。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：将图像序列中各图像输入第四神经网络，得到图像序列中各图像的置信度；根据置信度去除图像序列中不包括载物厢体的图像，得到第一剩余图像序列；计算第一剩余图像序列中相邻图像的重叠度，并从第一剩余图像序列中去除重叠度不满足要求的图像，得到第二剩余图像序列；根据图像采集时间，将第二剩余图像序列中的各图像进行排序，得到新图像序列。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：将第一剩余图像序列中的图像依次作为当前图像，并获取当前图像的上一帧图像；确定当前图像和上一帧图像的交集面积和并集面积；根据交集面积和并集面积的比值，得到当前图像的重叠度；将第一剩余图像序列中重叠度不满足要求的图像去除，得到第二剩余图像序列。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取载物厢体的厢体图像序列，以及与厢体图像序列对应的厢内图像序列；
将厢体图像序列输入训练好的第一神经网络，通过第一神经网络的中间层，提取厢体图像序列的时序特征；
将厢内图像序列输入训练好的第二神经网络，通过第二神经网络的中间层，提取厢内图像序列的装载率分类特征；其中，第一神经网络的中间层与第二神经网络的中间层的大小相同；
融合时序特征和所述装载率分类特征，得到融合特征；
将融合特征输入训练好的第三神经网络，得到厢内图像序列的装载率分类结果。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取载物厢体的样本集合，样本集合包括厢体图像序列样本、以及标注的厢体图像序列样本的装载率分类结果；将厢体图像序列样本输入至第一神经网络，通过第一神经网络的2D卷积网络提取厢体图像序列样本中各图像的特征图，通过第一神经网络的3D卷积网络融合特征图，输出得到厢体图像序列样本的装载率分类结果；根据输出的厢体图像序列样本的装载率分类结果和标注的厢体图像序列样本的装载率分类结果，调整第一神经网络的参数；当达到训练的结束条件时，停止迭代，得到训练好的第一神经网络。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取载物厢体的样本集合，样本集合包括厢体图像序列样本、以及标注的厢体图像序列样本的装载率分类结果；将厢体图像序列样本输入至第一神经网络，通过第一神经网络的2D卷积网络提取厢体图像序列样本中各图像的特征图，通过第一神经网络的3D卷积网络融合特征图，输出得到厢体图像序列样本的装载率分类结果；根据输出的厢体图像序列样本的装载率分类结果和标注的厢体图像序列样本的装载率分类结果，调整第一神经网络的参数；当达到训练的结束条件时，停止迭代，得到训练好的第一神经网络。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：将厢体图像序列样本输入训练好的第一神经网络，通过训练好的第一神经网络的中间层，提取得到厢体图像序列样本的时序特征；将厢内图像序列样本输入训练好的第二神经网络，通过训练好的第二神经网络的中间层，提取得到厢内图像序列样本的装载率分类特征；融合厢体图像序列样本的时序特征和厢内图像序列样本的装载率分类特征，得到融合特征；将融合特征输入第三神经网络，输出厢内图像序列样本的装载率分类结果；根据输出的厢内图像序列样本的装载率分类结果和标注的装载率分类结果，调整第三神经网络的参数；当达到训练的结束条件时，停止迭代，得到训练好的第三神经网络。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：接收载物厢体在厢门打开状态时拍摄的图像序列，去除图像序列中不包括载物厢体或重叠度不满足要求的图像，得到新图像序列；将新图像序列中各图像缩放到第一预设尺寸，得到厢体图像序列；对新图像序列中各图像进行识别，确定各图像中载物厢体的车门；根据载物厢体的车门裁剪载物厢体的厢内图像区域，得到厢内图像区域序列；将厢内图像区域序列中各厢内图像区域缩放到第二预设尺寸，得到厢内图像序列。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：将图像序列中各图像输入第四神经网络，得到图像序列中各图像的置信度；根据置信度去除图像序列中不包括载物厢体的图像，得到第一剩余图像序列；计算第一剩余图像序列中相邻图像的重叠度，并从第一剩余图像序列中去除重叠度不满足要求的图像，得到第二剩余图像序列；根据图像采集时间，将第二剩余图像序列中的各图像进行排序，得到新图像序列。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：将第一剩余图像序列中的图像依次作为当前图像，并获取当前图像的上一帧图像；确定当前图像和上一帧图像的交集面积和并集面积；根据交集面积和并集面积的比值，得到当前图像的重叠度；将第一剩余图像序列中重叠度不满足要求的图像去除，得到第二剩余图像序列。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种装载率识别方法，所述方法包括：
获取载物厢体的厢体图像序列，以及与所述厢体图像序列对应的厢内图像序列；
将所述厢体图像序列输入训练好的第一神经网络，通过所述第一神经网络的中间层，提取所述厢体图像序列的时序特征；
将所述厢内图像序列输入训练好的第二神经网络，通过所述第二神经网络的中间层，提取所述厢内图像序列的装载率分类特征；其中，所述第一神经网络的中间层与所述第二神经网络的中间层的大小相同；
融合所述时序特征和所述装载率分类特征，得到融合特征；
将所述融合特征输入训练好的第三神经网络，得到所述厢内图像序列的装载率分类结果。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取载物厢体的样本集合，所述样本集合包括厢体图像序列样本、以及标注的所述厢体图像序列样本的装载率分类结果；
将所述厢体图像序列样本输入至第一神经网络，通过所述第一神经网络的2D卷积网络提取厢体图像序列样本中各图像的特征图，通过所述第一神经网络的3D卷积网络融合所述特征图，输出得到所述厢体图像序列样本的装载率分类结果；
根据输出的所述厢体图像序列样本的装载率分类结果和标注的所述厢体图像序列样本的装载率分类结果，调整第一神经网络的参数；
当达到训练的结束条件时，停止迭代，得到训练好的第一神经网络。
3.根据权利要求2所述的方法，其特征在于，所述样本集合还包括与所述厢体图像序列样本对应的厢内图像序列样本、以及标注的所述厢内图像序列样本的装载率分类结果；所述方法还包括：
将所述厢内图像序列样本输入第二神经网络，输出得到所述厢内图像序列样本的装载率分类结果；
根据输出的所述厢内图像序列样本的装载率分类结果和标注的所述厢内图像序列样本的装载率分类结果，调整第二神经网络的参数；
当达到训练的结束条件时，停止迭代，得到训练好的第二神经网络。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
将所述厢体图像序列样本输入训练好的第一神经网络，通过训练好的第一神经网络的中间层，提取得到所述厢体图像序列样本的时序特征；
将所述厢内图像序列样本输入训练好的第二神经网络，通过训练好的第二神经网络的中间层，提取得到所述厢内图像序列样本的装载率分类特征；
融合所述厢体图像序列样本的时序特征和所述厢内图像序列样本的装载率分类特征，得到融合特征；
将所述融合特征输入第三神经网络，输出所述厢内图像序列样本的装载率分类结果；
根据输出的所述厢内图像序列样本的装载率分类结果和标注的装载率分类结果，调整第三神经网络的参数；
当达到训练的结束条件时，停止迭代，得到训练好的第三神经网络。
5.根据权利要求1所述的方法，其特征在于，获取载物厢体的厢体图像序列，以及与所述厢体图像序列对应的厢内图像序列，包括：
接收载物厢体在厢门打开状态时拍摄的图像序列，去除所述图像序列中不包括载物厢体或重叠度不满足要求的图像，得到新图像序列；
将所述新图像序列中各图像缩放到第一预设尺寸，得到厢体图像序列；
对所述新图像序列中各图像进行识别，确定各图像中所述载物厢体的车门；
根据所述载物厢体的车门裁剪所述载物厢体的厢内图像区域，得到厢内图像区域序列；
将所述厢内图像区域序列的各图像缩放到第二预设尺寸，得到厢内图像序列。
6.根据权利要求5所述的方法，其特征在于，去除所述图像序列中不包括载物厢体或重叠度不满足要求的图像，得到新图像序列，包括：
将所述图像序列中各图像输入第四神经网络，得到所述图像序列中各图像的置信度；
根据所述置信度去除所述图像序列中不包括载物厢体的图像，得到第一剩余图像序列；
计算所述第一剩余图像序列中相邻图像的重叠度，并从所述第一剩余图像序列中去除重叠度不满足要求的图像，得到第二剩余图像序列；
根据图像采集时间，将所述第二剩余图像序列中的各图像进行排序，得到新图像序列。
7.根据权利要求6所述的方法，其特征在于，计算所述第一剩余图像序列中相邻图像的重叠度，并从所述第一剩余图像序列中去除重叠度不满足要求的图像，得到第二剩余图像序列，包括：
将所述第一剩余图像序列中的图像依次作为当前图像，并获取所述当前图像的上一帧图像；
确定所述当前图像和所述上一帧图像的交集面积和并集面积；
根据所述交集面积和所述并集面积的比值，得到所述当前图像的重叠度；
将第一剩余图像序列中重叠度不满足要求的图像去除，得到第二剩余图像序列。
8.一种装载率识别装置，其特征在于，所述装置包括：
获取模块，用于获取载物厢体的厢体图像序列，以及与所述厢体图像序列对应的厢内图像序列；
提取模块，用于将所述厢体图像序列输入训练好的第一神经网络，通过所述第一神经网络的中间层，提取所述厢体图像序列的时序特征；
所述提取模块还用于将所述厢内图像序列输入训练好的第二神经网络，通过所述第二神经网络的中间层，提取所述厢内图像序列的装载率分类特征；其中，所述第一神经网络的中间层与所述第二神经网络的中间层的大小相同；
融合模块，用于融合所述时序特征和所述装载率分类特征，得到融合特征；
识别模块，用于将所述融合特征输入训练好的第三神经网络，得到所述厢内图像序列的装载率分类结果。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN201910827892.5A 2019-09-03 2019-09-03 装载率识别方法、装置、计算机设备和存储介质 Active CN112446403B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910827892.5A CN112446403B (zh) 2019-09-03 2019-09-03 装载率识别方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910827892.5A CN112446403B (zh) 2019-09-03 2019-09-03 装载率识别方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN112446403A true CN112446403A (zh) 2021-03-05
CN112446403B CN112446403B (zh) 2024-10-08

Family

ID=74735459

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910827892.5A Active CN112446403B (zh) 2019-09-03 2019-09-03 装载率识别方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN112446403B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017096758A1 (zh) * 2015-12-11 2017-06-15 腾讯科技（深圳）有限公司 图像分类方法、电子设备和存储介质
CN108898044A (zh) * 2018-04-13 2018-11-27 顺丰科技有限公司 装载率获取方法、装置、系统及存储介质
CN109033107A (zh) * 2017-06-09 2018-12-18 腾讯科技（深圳）有限公司 图像检索方法和装置、计算机设备和存储介质
CN109117788A (zh) * 2018-08-10 2019-01-01 重庆大学 一种融合ResNet和LSTM的公交车厢拥挤度检测方法
CN109344701A (zh) * 2018-08-23 2019-02-15 武汉嫦娥医学抗衰机器人股份有限公司 一种基于Kinect的动态手势识别方法
CN109800689A (zh) * 2019-01-04 2019-05-24 西南交通大学 一种基于时空特征融合学习的目标跟踪方法
CN110188653A (zh) * 2019-05-27 2019-08-30 东南大学 基于局部特征聚合编码和长短期记忆网络的行为识别方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017096758A1 (zh) * 2015-12-11 2017-06-15 腾讯科技（深圳）有限公司 图像分类方法、电子设备和存储介质
CN109033107A (zh) * 2017-06-09 2018-12-18 腾讯科技（深圳）有限公司 图像检索方法和装置、计算机设备和存储介质
CN108898044A (zh) * 2018-04-13 2018-11-27 顺丰科技有限公司 装载率获取方法、装置、系统及存储介质
CN109117788A (zh) * 2018-08-10 2019-01-01 重庆大学 一种融合ResNet和LSTM的公交车厢拥挤度检测方法
CN109344701A (zh) * 2018-08-23 2019-02-15 武汉嫦娥医学抗衰机器人股份有限公司 一种基于Kinect的动态手势识别方法
CN109800689A (zh) * 2019-01-04 2019-05-24 西南交通大学 一种基于时空特征融合学习的目标跟踪方法
CN110188653A (zh) * 2019-05-27 2019-08-30 东南大学 基于局部特征聚合编码和长短期记忆网络的行为识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张金刚;方圆;袁豪;王书振;: "一种识别表情序列的卷积神经网络", 西安电子科技大学学报, no. 01 *

Also Published As

Publication number Publication date
CN112446403B (zh) 2024-10-08

Similar Documents

Publication Publication Date Title
CN110941986B (zh) 活体检测模型的训练方法、装置、计算机设备和存储介质
US11403876B2 (en) Image processing method and apparatus, facial recognition method and apparatus, and computer device
CN109543627B (zh) 一种判断驾驶行为类别的方法、装置、及计算机设备
CN109034078B (zh) 年龄识别模型的训练方法、年龄识别方法及相关设备
CN110033481A (zh) 用于进行图像处理的方法和设备
CN110516541B (zh) 文本定位方法、装置、计算机可读存储介质和计算机设备
CN109871821B (zh) 自适应网络的行人重识别方法、装置、设备及存储介质
CN109766766A (zh) 员工工作状况监控方法、装置、计算机设备和存储介质
CN112464807A (zh) 视频动作识别方法、装置、电子设备和存储介质
CN110706261A (zh) 车辆违章检测方法、装置、计算机设备和存储介质
CN110807491A (zh) 车牌图像清晰度模型训练方法、清晰度检测方法及装置
CN112418278A (zh) 一种多类物体检测方法、终端设备及存储介质
CN110263847B (zh) 轨迹获取方法、装置、计算机设备及存储介质
CN109886330A (zh) 文本检测方法、装置、计算机可读存储介质和计算机设备
CN112183295A (zh) 行人重识别方法、装置、计算机设备及存储介质
CN110837786B (zh) 基于空间通道的密度图产生方法、装置、电子终端及介质
CN110046577B (zh) 行人属性预测方法、装置、计算机设备和存储介质
CN111047088A (zh) 预测图像获取方法、装置、计算机设备和存储介质
CN113537020B (zh) 基于改进神经网络的复数sar图像目标识别方法
CN113449586A (zh) 目标检测方法、装置、计算机设备和存储介质
CN112633074B (zh) 行人信息的检测方法和装置、存储介质及电子设备
CN112967388A (zh) 三维时序图像神经网络模型的训练方法和装置
CN113570003A (zh) 基于注意力机制的特征融合缺陷检测方法及装置
CN112446402B (zh) 装载率识别方法、装置、计算机设备和存储介质
CN110705513A (zh) 视频特征提取方法、装置、可读存储介质和计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant