CN114187502A - 车辆装载率识别方法、装置、电子设备及存储介质 - Google Patents

车辆装载率识别方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114187502A
CN114187502A CN202010963331.0A CN202010963331A CN114187502A CN 114187502 A CN114187502 A CN 114187502A CN 202010963331 A CN202010963331 A CN 202010963331A CN 114187502 A CN114187502 A CN 114187502A
Authority
CN
China
Prior art keywords
loading rate
image
vehicle
feature information
identified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010963331.0A
Other languages
English (en)
Inventor
张宽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SF Technology Co Ltd
Original Assignee
SF Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SF Technology Co Ltd filed Critical SF Technology Co Ltd
Priority to CN202010963331.0A priority Critical patent/CN114187502A/zh
Publication of CN114187502A publication Critical patent/CN114187502A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/083—Shipping

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Economics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Development Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种车辆装载率识别方法、装置、电子设备及计算机可读存储介质。该车辆装载率识别方法包括：获取包含待识别车辆的车厢区域的第一图像，并获取包含所述待识别车辆的外观的第二图像；根据所述第一图像和所述第二图像进行特征提取处理，得到所述待识别车辆的目标特征信息；根据所述目标特征信息进行装载率预测处理，得到所述待识别车辆的第一装载率。本申请中可以提高车辆装载率的识别精度。

Description

车辆装载率识别方法、装置、电子设备及存储介质
技术领域
本申请涉及计算机视觉技术领域，具体涉及一种车辆装载率识别方法、装置、电子设备及计算机可读存储介质。
背景技术
在物流运输中，物流运输的效率很大程度上影响了货物的时效。
装载率是一种评估营运效率的方法，在汽车货运中，装载率一般指实际所载货物体积除以车厢最大可载货体积。在物流运输中，车辆的装载率可以直接影响了整个物流运输的效率，可见，精准的装载率对于物流运输的效率具有重大的指导意义。
目前，现有技术中出现了通过车厢图像对车辆的装载率进行检测的方法。但是，本申请的发明人在实际应用中发现，由于不同车辆的装载量不同，而现有基于车厢图像对车辆装载率进行检测方法，所基于的图像特征信息单一，因此导致了车辆装载率的检测精度较低。
发明内容
本申请提供一种车辆装载率识别方法、装置、电子设备及计算机可读存储介质，旨在解决由于现有车辆装载率的检测方法所基于的图像特征信息单一，而导致车辆装载率的检测精度较低的问题。
第一方面，本申请提供一种车辆装载率识别方法，所述方法包括：
获取包含待识别车辆的车厢区域的第一图像，并获取包含所述待识别车辆的外观的第二图像；
根据所述第一图像和所述第二图像进行特征提取处理，得到所述待识别车辆的目标特征信息；
根据所述目标特征信息进行装载率预测处理，得到所述待识别车辆的第一装载率。
在本申请一种可能的实现方式中，所述根据所述第一图像和所述第二图像进行特征提取处理，得到所述待识别车辆的目标特征信息，包括：
调用训练后装载率预测网络中的第一特征提取层，根据所述第一图像进行特征提取处理，得到所述第一图像的第一特征信息；
调用训练后装载率预测网络中的第二特征提取层，根据所述第二图像进行特征提取处理，得到所述第二图像的第二特征信息；
调用训练后装载率预测网络中的特征融合层，根据所述第一特征信息和所述第二特征信息进行融合处理，得到所述目标特征信息。
在本申请一种可能的实现方式中，还包括第三图像，所述调用训练后装载率预测网络中的特征融合层，根据所述第一特征信息和所述第二特征信息进行融合处理，得到所述目标特征信息，包括：
获取包含所述待识别车辆内的装载货物的第三图像；
调用训练后装载率预测网络中的第三特征提取层，根据所述第三图像进行特征提取处理，得到所述第三图像的第三特征信息；
调用训练后装载率预测网络中的特征融合层，根据所述第一特征信息、所述第二特征信息和所述第三特征信息进行融合处理，得到所述目标特征信息。
在本申请一种可能的实现方式中，所述根据所述目标特征信息进行装载率预测处理，得到所述待识别车辆的第一装载率，包括：
调用训练后装载率预测网络中的预测层，根据所述目标特征信息进行预测处理，得到预设的装载率类别的第一置信度；
从所述装载率类别中，获取所述第一置信度最大的目标装载率类别；
根据所述目标装载率类别确定所述待识别车辆的第一装载率。
在本申请一种可能的实现方式中，所述根据所述目标装载率类别确定所述待识别车辆的第一装载率，包括：
根据所述目标装载率类别和预设的装载率间距，确定所述待识别车辆的第一装载率，其中，所述装载率类别有N个，所述装载率间距为
Figure BDA0002681355970000021
所述装载率类别采用数值M表示；
所述根据所述目标装载率类别和预设的装载率间距，确定所述待识别车辆的第一装载率，包括：
根据以下公式确定所述第一装载率，其中公式为：
Figure BDA0002681355970000031
其中，Y表示所述第一装载率，N表示所述装载率类别的数量，M0表示目标装载率类别的表示数值。
在本申请一种可能的实现方式中，所述方法还包括：
获取样本图像，其中，所述样本图像包括样本车辆的车厢区域图像、样本车辆的外观图像；
调用预设的装载率预测网络中的第一特征提取层，根据所述车厢区域图像进行特征提取处理，得到所述车厢区域图像的第四特征信息；
调用预设的装载率预测网络中的第二特征提取层，根据所述外观图像进行特征提取处理，得到所述外观图像的第五特征信息；
调用预设的装载率预测网络中的特征融合层，根据所述第四特征信息和所述第五特征信息进行融合处理，得到所述样本图像的图像特征信息；
调用预设的装载率预测网络中的预测层，根据所述图像特征信息进行预测处理，得到所述样本图像对应的车型信息和第二装载率；
根据所述车型信息和所述第二装载率，对所述预设的装载率预测网络进行训练，得到所述训练后装载率预测网络。
在本申请一种可能的实现方式中，所述根据所述图像特征信息进行预测处理，得到所述待训练图像对应的车型信息和第二装载率，包括：
根据所述图像特征信息进行车型预测处理，得到预设的车型类别的第二置信度；根据所述图像特征信息进行装载率预测处理，得到预设的装载率类别的第三置信度；
获取所述第二置信度最高的车型类别，以作为所述车型信息；获取所述第三置信度最高的装载率类别，以作为所述第二装载率。
第二方面，本申请提供一种车辆装载率识别装置，所述车辆装载率识别装置包括：
获取单元，用于获取包含待识别车辆的车厢区域的第一图像，并获取包含所述待识别车辆的外观的第二图像；
特征提取单元，用于根据所述第一图像和所述第二图像进行特征提取处理，得到所述待识别车辆的目标特征信息；
预测单元，用于根据所述目标特征信息进行装载率预测处理，得到所述待识别车辆的第一装载率。
在本申请一种可能的实现方式中，所述特征提取单元具体还用于：
调用训练后装载率预测网络中的第一特征提取层，根据所述第一图像进行特征提取处理，得到所述第一图像的第一特征信息；
调用训练后装载率预测网络中的第二特征提取层，根据所述第二图像进行特征提取处理，得到所述第二图像的第二特征信息；
调用训练后装载率预测网络中的特征融合层，根据所述第一特征信息和所述第二特征信息进行融合处理，得到所述目标特征信息。
在本申请一种可能的实现方式中，还包括第三图像，所述特征提取单元具体还用于：
获取包含所述待识别车辆内的装载货物的第三图像；
调用训练后装载率预测网络中的第三特征提取层，根据所述第三图像进行特征提取处理，得到所述第三图像的第三特征信息；
调用训练后装载率预测网络中的特征融合层，根据所述第一特征信息、所述第二特征信息和所述第三特征信息进行融合处理，得到所述目标特征信息。
在本申请一种可能的实现方式中，所述预测单元具体还用于：
调用训练后装载率预测网络中的预测层，根据所述目标特征信息进行预测处理，得到预设的装载率类别的第一置信度；
从所述装载率类别中，获取所述第一置信度最大的目标装载率类别；
根据所述目标装载率类别确定所述待识别车辆的第一装载率。
在本申请一种可能的实现方式中，所述预测单元具体还用于：
根据所述目标装载率类别和预设的装载率间距，确定所述待识别车辆的第一装载率，其中，所述装载率类别有N个，所述装载率间距为
Figure BDA0002681355970000051
所述装载率类别采用数值M表示；
所述根据所述目标装载率类别和预设的装载率间距，确定所述待识别车辆的第一装载率，包括：
根据以下公式确定所述第一装载率，其中公式为：
Figure BDA0002681355970000052
其中，Y表示所述第一装载率，N表示所述装载率类别的数量，M0表示目标装载率类别的表示数值。
在本申请一种可能的实现方式中，车辆装载率识别装置还包括训练单元，所述训练单元具体用于：
获取样本图像，其中，所述样本图像包括样本车辆的车厢区域图像、样本车辆的外观图像；
调用预设的装载率预测网络中的第一特征提取层，根据所述车厢区域图像进行特征提取处理，得到所述车厢区域图像的第四特征信息；
调用预设的装载率预测网络中的第二特征提取层，根据所述外观图像进行特征提取处理，得到所述外观图像的第五特征信息；
调用预设的装载率预测网络中的特征融合层，根据所述第四特征信息和所述第五特征信息进行融合处理，得到所述样本图像的图像特征信息；
调用预设的装载率预测网络中的预测层，根据所述图像特征信息进行预测处理，得到所述样本图像对应的车型信息和第二装载率；
根据所述车型信息和所述第二装载率，对所述预设的装载率预测网络进行训练，得到所述训练后装载率预测网络。
在本申请一种可能的实现方式中，所述训练单元具体还用于：
根据所述图像特征信息进行车型预测处理，得到预设的车型类别的第二置信度；根据所述图像特征信息进行装载率预测处理，得到预设的装载率类别的第三置信度；
获取所述第二置信度最高的车型类别，以作为所述车型信息；获取所述第三置信度最高的装载率类别，以作为所述第二装载率。
第三方面，本申请还提供一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时执行本申请提供的任一种车辆装载率识别方法中的步骤。
第四方面，本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器进行加载，以执行所述的车辆装载率识别方法中的步骤。
本申请通过获取包含待识别车辆的车厢区域的第一图像，并获取包含待识别车辆的外观的第二图像；根据第一图像和第二图像进行特征提取处理，得到待识别车辆的目标特征信息；根据目标特征信息进行装载率预测处理，得到待识别车辆的第一装载率。一方面，不同车型的车辆的装载量存在较大差异，由于通过车辆的外观图像(即第二图像)可以识别出不同车型下的装载率信息，车型作为辅助信息可以帮助区分不同车型下的装载率差异，通过结合待识别车辆的车厢区域与外观的特征进行装载率预测，提升了车辆装载率的预测精度。另一方面，由于通过第一图像和第二图像的整体结合，增强了对装载率识别场景的特征表达能力，从而又在一定程度上提升了车辆装载率的识别精度。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例所提供的车辆装载率识别系统的场景示意图；
图2是本申请实施例中提供的车辆装载率识别方法的一种流程示意图；
图3是本申请实施例提供的车辆的车厢区域的一种场景示意图；
图4是本申请实施例提供的车辆的外观的一种场景示意图；
图5是本申请实施例中提供的步骤S20的一个实施例流程示意图；
图6是本申请实施例提供单图像预测装载率与多图像预测装载率的对比示意图；
图7是本申请实施例中提供的车辆装载率识别装置的一个实施例结构示意图；
图8是本申请实施例中提供的电子设备的一个实施例结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请实施例的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本申请实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
为了使本领域任何技术人员能够实现和使用本申请，给出了以下描述。在以下描述中，为了解释的目的而列出了细节。应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本申请。在其它实例中，不会对公知的过程进行详细阐述，以避免不必要的细节使本申请实施例的描述变得晦涩。因此，本申请并非旨在限于所示的实施例，而是与符合本申请实施例所公开的原理和特征的最广范围相一致。
本申请实施例提供一种车辆装载率识别方法、装置、电子设备和计算机可读存储介质。其中，该车辆装载率识别装置可以集成在电子设备中，该电子设备可以是服务器，也可以是终端等设备。
首先，在介绍本申请实施例之前，先介绍下本申请实施例关于应用背景的相关内容。
车辆的装载率可分为瞬时装载率和过程装载率，瞬时装载率指在车厢到港或者离港时给出的车厢装载率值，而过程装载率指的是货物装卸过程中车厢的实时装载率。
在物流领域中，装载率可以反映物流中转场的工作情况，其中，车厢瞬时装载率可以通过监测车辆到离港时车厢装载率，来合理调度车辆，降低物流成本，充分利用车辆资源，提升运营效率。而过程装载率可以实时监控当前车辆的装卸情况，分析装卸能效，优化人力调度，节约人工成本。
目前在物流领域，装载率的估算方法主要有三种：一是通过计算货车所装货物的重量与货车额定载重的比值来估算车厢装载率；二是依靠人工进行评估；三是依靠辅助测量设备进行测量。第一种方法因为货物体积与重量并没有相对固定的比值关系，遇到体积大重量小或者体积小重量大等情况容易出现较大的误差，而且需要额外增加称重设备。第二种方法依赖工人的经验进行估算，带来了额外的人力成本，并且估算结果容易受到工人主观意识的影响。第三种方法通过搭建专用的激光测量平台来进行测量车厢内货物体积，该方法需要较大的成本，对安装场地有一定的要求，而且扫描测量速度较慢。
基于现有的相关技术存在的上述缺陷，本申请实施例提供了车辆装载率识别方本申请实施例车辆装载率识别方法的执行主体可以为本申请实施例提供的车辆装载率识别装置，或者集成了该车辆装载率识别装置的服务器设备、物理主机或者用户设备(UserEquipment，UE)等不同类型的电子设备，其中，车辆装载率识别装置可以采用硬件或者软件的方式实现，UE具体可以为智能手机、平板电脑、笔记本电脑、掌上电脑、台式电脑或者个人数字助理(Personal Digital Assistant，PDA)等终端设备。
该电子设备可以采用单独运行的工作方式，或者也可以采用设备集群的工作方式，通过应用本申请实施例提供的车辆装载率识别方法，可以提高车辆装载率的识别精度。具体应用至物流领域时，可以提高调度车辆的合理性，降低物流成本，充分利用车辆资源，提升运营效率。
参见图1，图1是本申请实施例所提供的车辆装载率识别系统的场景示意图。其中，该车辆装载率识别系统可以包括电子设备100，电子设备100中集成有车辆装载率识别装置。例如，该电子设备可以获取包含待识别车辆的车厢区域的第一图像，并获取包含待识别车辆的外观的第二图像；根据第一图像和第二图像进行特征提取处理，得到待识别车辆的目标特征信息；根据目标特征信息进行预测处理，得到待识别车辆的第一装载率。
另外，如图1所示，该车辆装载率识别系统还可以包括存储器200，用于存储数据，如存储图像数据、视频数据。
需要说明的是，图1所示的车辆装载率识别系统的场景示意图仅仅是一个示例，本申请实施例描述的车辆装载率识别系统以及场景是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着车辆装载率识别系统的演变和新业务场景的出现，本发明实施例提供的技术方案对于类似的技术问题，同样适用。
下面，开始介绍本申请实施例提供的车辆装载率识别方法，本申请实施例中以电子设备作为执行主体，为了简化与便于描述，后续方法实施例中将省略该执行主体。
参照图2，图2是本申请实施例提供的车辆装载率识别方法的一种流程示意图。需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。该车辆装载率识别方法包括步骤S10～S30，其中：
S10、获取包含待识别车辆的车厢区域的第一图像，并获取包含所述待识别车辆的外观的第二图像。
其中，第一图像是指待识别车辆的车厢区域的图像。请参照图3，图3是本申请实施例提供的车辆的车厢区域的一种场景示意图。图3中虚线框内表示车辆的车厢区域。
第二图像是指待识别车辆的外观的图像。请参照图4，图4是本申请实施例提供的车辆的外观的一种场景示意图。图4中示出了3种不同车型的车辆外观图。
具体地，在实际应用中，应用本申请实施例提供的车辆装载率识别方法的电子设备，在硬件上可直接包括摄像头(该摄像头可用于采集车辆的车厢区域图像、外观图像、车辆内部所装载货物的图像等)，并在本地存储该摄像头拍摄得到的图像，可在电子设备内部直接读取；或者，电子设备也可与该摄像头建立网络连接，并根据该网络连接从该摄像头在线获取该摄像头得到的图像；或者，电子设备也可从存储有该摄像头拍摄得到的图像的相关存储介质，读取出该摄像头拍摄得到的图像，具体获取方式在此不做限定。
其中，摄像头可根据预设的拍摄方式拍摄图像，例如可设置拍摄高度、拍摄方向或者拍摄距离，其具体拍摄方式可根据摄像头本身进行调节，具体在此不做限定。摄像头拍摄得到的多帧图像，可通过时间线组成视频。
S20、根据所述第一图像和所述第二图像进行特征提取处理，得到所述待识别车辆的目标特征信息。
其中，目标特征信息是指根据第一图像和第二图像进行特征提取后，所得到的待识别车辆的图像特征。
具体地，在一些实施例中，可以采用经过深度学习后的装载率预测网络来预测待识别车辆的第一装载率；其中，装载率预测网络(若没有特别指明，本文中所简称的装载率预测网络是指训练后的装载率预测网络。)可以通过以下步骤A1～A6训练得到。
装载率预测网络可以包括特征提取层、特征融合层、预测层。其中，特征提取层又可以进一步包括第一特征提取层、第二特征提取层。
第一特征提取层，用于根据第一图像(即车厢区域的图像)输出第一图像的第一特征信息(即车厢区域的图像特征)。第一特征提取层以第一图像(即车厢区域的图像)作为输入，对第一图像进行包括但不限于卷积、池化等操作中的一种或多种，以实现对第一图像进行特征提取得到第一图像的第一特征信息(即车厢区域的图像特征)。其中，第一特征提取层可以是卷积神经网络(Convolutional Neural Networks,CNN)，比如可以直接采用分类网络ResNet50去掉全连接层(记为FC)后得到的CNN网络(记为CNN1)作为第一特征提取层。
第二特征提取层，用于根据第二图像(即车外观的图像)输出第二图像的第二特征信息(即车外观的图像特征)。第二特征提取层以第二图像(即车外观的图像)作为输入，对第二图像进行包括但不限于卷积、池化等操作中的一种或多种，以实现对第二图像进行特征提取得到第二图像的第二特征信息(即车外观的图像特征)。其中，第二特征提取层也可以是卷积神经网络网络，比如可以直接采用分类网络ResNet50去掉全连接层(记为FC)后得到的CNN网络(记为CNN2)作为第二特征提取层。
特征融合层，用于根据根据第一特征信息和第二特征信息输出待识别车辆的目标特征信息(即车辆的图像特征)。特征融合层以第一特征信息和第二特征信息(即车外观的图像特征、车厢区域的图像特征)作为输入，对第一特征信息和第二特征信息进行串联融合，以实现对第一特征信息和第二特征信息进行融合得到待识别车辆的目标特征信息(即车辆的图像特征)。
预测层，用于根据目标特征信息输出待识别车辆的第一装载率。预测层以目标特征信息作为输入，根据目标特征信息进行回归分类预测处理，确定待识别车辆的第一装载率。
在一些实施例中，装载率预测网络可以包括特征提取层、预测层。其中，特征提取层又可以进一步包括第一特征提取层、第二特征提取层。特征提取层、预测层的功能实现可参照前述说明，在此不再赘述。不同的是，此时无需对第一特征信息和第二特征信息进行融合，目标特征信息直接包括第一特征提取层输出的第一特征信息、第二特征提取层输出第二特征信息，预测层直接根据第一特征信息和第二特征信息进行回归分类预测处理，确定待识别车辆的第一装载率。
请参照图5，图5是本申请实施例中提供的步骤S20的一个实施例流程示意图。此时，步骤S20可以由装载率预测网络中的特征提取层来实现，即步骤S20具体可以包括以下步骤S21～S23，其中：
S21、调用训练后装载率预测网络中的第一特征提取层，根据所述第一图像进行特征提取处理，得到所述第一图像的第一特征信息。
第一特征信息是指对待识别车辆的车厢区域的图像(即第一图像)进行特征提取处理，如卷积、池化等操作后，所得到图像特征。
请参照图6，图6是本申请实施例提供单图像预测装载率与多图像预测装载率的对比示意图。其中，图6(a)中表示基于车辆的车厢区域图像预测车辆的装载率。图6(b)中表示基于车辆的车厢区域图像、以及外观图像预测车辆的装载率。
由图6(a)可以看出，若只基于车辆的车厢区域图像预测车辆的装载率，则可以只需要针对车辆的车厢区域图像进行特征提取得到车厢区域图像的图像特征；再基于车厢区域图像的图像特征，直接进行回归预测处理，即可输出车辆的装载率。
从图6(b)中可以看出，基于车辆的车厢区域图像、以及外观图像预测车辆的装载率时，为了保证可以结合车厢区域与车外观的特征进行装载率预测，除了需要分别针对车厢区域图像、以及外观图像进行特征提取处理外，还需要进一步对所提取的特征进行融合处理得到融合后的图像特征；再基于融合后的图像特征进行回归预测处理，最终输出车辆的装载率。本申请实施例中步骤S21～S22的目的正是在于提取并融合车辆的车厢区域与外观的特征，步骤S23的目的在于结合车辆的车厢区域与外观的融合特征进行车辆的装载率预测。
例如，将大货车A车厢区域的图像(即第一图像)输入至训练后装载率预测网络中，以调用装载率预测网络中的第一特征提取层，对大货车A车厢区域的图像进行卷积、池化等操作中的一种或多种，以实现对大货车A车厢区域的图像进行特征提取得到大货车A车厢区域的图像特征(即第一特征信息)。
S22、调用训练后装载率预测网络中的第二特征提取层，根据所述第二图像进行特征提取处理，得到所述第二图像的第二特征信息。
第二特征信息是指对待识别车辆的外观的图像(即第二图像)进行特征提取处理，如卷积、池化等操作后，所得到图像特征。
例如，将大货车A外观的图像(即第二图像)输入至训练后装载率预测网络中，以调用装载率预测网络中的第二特征提取层，对大货车A外观的图像进行卷积、池化等操作中的一种或多种，以实现对大货车A外观的图像进行特征提取得到大货车A外观的图像特征(即第二特征信息)。
S23、调用训练后装载率预测网络中的特征融合层，根据所述第一特征信息和所述第二特征信息进行融合处理，得到所述目标特征信息。
例如，首先，输入尺寸大小为224*224的RGB图像到特征提取层(具体地，将第一图像输入到第一特征提取层如CNN1、将第二图像输入到第二特征提取层如CNN2)进行卷积计算，经过4层卷积处理之后得到大小为[1,2048,7,7]的特征，再经过池化处理后得到大小为[1,2048]的特征，此时所得到的第一图像、第二图像对应的第一特征信息、第二特征信息分别记为feature1、feature2。
然后，将feature1、feature2输入至训练后装载率预测网络中的特征融合层，以调用特征融合层将feature1和feature2串联融合成大小[1,4096]的特征，即得到目标特征信息。
最后，将目标特征信息送入预测层，以输出最终结果。将目标特征信息送入预测层后的处理过程在后文中将有详细介绍，在此不再赘述。
其中，步骤S21和步骤S22可以同时执行，也可以先执行步骤S21、再执行步骤S22，或者先执行步骤S22、再执行步骤S21。为了提高车辆装载率识别，可以考虑同时执行步骤S21和步骤S22。
由以上内容可以看出，通过分别对第一图像、第二图像进行特征提取得到第一图像的第一特征信息、第二图像的第二特征信息后，对第一特征信息和第二特征信息进行融合处理得到待识别车辆的目标特征信息；第一方面，使得后续在基于目标特征信息进行车辆装载率回归预测时，可以实现同时结合待识别车辆的车厢区域与外观的特征。第二方面，由于通过车辆的外观图像，可以让装载率预测网络识别出不同车型下的装载率信息，车型作为辅助信息可以帮助区分不同车型下的装载率差异，提升了车辆装载率的预测精度。第三方面，通过第一图像和第二图像的整体结合，增强了对装载率识别场景的特征表达能力，从而又在一定程度上提升了车辆装载率的识别精度。
S30、根据所述目标特征信息进行装载率预测处理，得到所述待识别车辆的第一装载率。
其中，第一装载率是指根据目标特征信息进行装载率预测处理后，所得到的待识别车辆的装载率。
对应地，步骤S30具体可以由装载率预测网络中的预测层来实现，即步骤S30具体可以包括以下步骤S31～S33，其中：
S31、调用训练后装载率预测网络中的预测层，根据所述目标特征信息进行预测处理，得到预设的装载率类别的第一置信度；
其中，第一置信度是指通过根据目标特征信息进行预测处理后，所得到的预设的装载率类别的置信度。
在一些实施方式，装载率预测网络中的预测层的输出节点数量设置为N，其中，N1个输出节点对应输出预设的车型类别(如小、中、大型三种车型)的置信度，N2个输出节点对应输出预设的装载率类别(如间距为5％的0％、5％、10％、...、100％共21种装载率)的置信度，N、N1、N2均为正整数，N＝N1+N2。
预测层根据目标特征信息进行预测处理，确定每种预设的车型类别的置信度、以及每种预设的装载率类别的第一置信度，并输出至对应的输出节点。
例如，预测层前3个输出节点分别代表车型类别为：小、中、大型3种车型，后21个节点分别代表装载率类别：0％、5％、10％、...、100％共21种装载率。第1～3个节点依次输出车型为小、中、大型的置信度：0.5、0.4、0.9，第4～23个节点依次输出装载率为0％、5％、10％、...、100％的第一置信度：0.2、0.4、0.9、...、0.1。
S32、从所述装载率类别中，获取所述第一置信度最大的目标装载率类别。
为了方便理解，接以上步骤S31的例子继续说明。例如，预测层所输出的第一置信度：0.2、0.4、0.9、...、0.1中，第一置信度的最大值为0.9，第一置信度为0.9所对应的预设的装载率为10％，则获取10％作为目标装载率类别。
S33、根据所述目标装载率类别确定所述待识别车辆的第一装载率。
在一些实施方式中，目标装载率类别采用对应的车辆装载率表示(如以上步骤S31和S32中的举例)，此时，可以将目标装载率类别直接作为待识别车辆的第一装载率。例如，步骤S32的举例中，目标装载率类别为10％，则可以直接将20％作为待识别车辆的第一装载率。
由以上内容可以看出，由于装载率预测网络是经过深度学习训练得到，因此训练后的装载率预测网络，可以充分学习待识别车辆的车厢区域与外观两个图像的图像特征、与待识别车辆的第一装载率之间的特征关系。通过训练后装载率预测网络中的预测层根据目标特征信息进行预测处理，得到预设的装载率类别的第一置信度；再从预设的装载率类别中，获取第一置信度最大的目标装载率类别以得到待识别车辆的第一装载率，保证了第一装载率的预测精度。
在一些实施方式中，目标装载率类别采用采用数值M(数值M不是直接对应车辆装载率)表示。此时，对应地，步骤S33具体可以包括：根据所述目标装载率类别和预设的装载率间距，确定所述待识别车辆的第一装载率。
其中，预设的装载率类别有N个，预设的装载率间距为
Figure BDA0002681355970000151
每个预设的装载率类别采用数值M表示；
具体地，可以根据以下公式确定第一装载率，其中公式为：
Figure BDA0002681355970000152
其中，Y表示所述第一装载率，N表示所述装载率类别的数量，M0表示目标装载率类别的表示数值。
例如，装载率预测网络中的预测层最终的输出节点共21个(也即预设的装载率类别的数量N＝21)，每个输出节点对应输出一个预设的装载率类别的第一置信度，即每个输出节点输出一个预设的装载率的置信度(如，装载率按照5％的颗粒度进行划分为：0％、5％、10％、...、100％，按照顺序记为：0、1、2、3、...、19、20，即预设的装载率类别分别为：0、1、2、3、...、19、20)。其中，第一置信度最大的类别即为目标装载率类别，乘以5％即为待识别车辆的第一装载率。如，第一置信度最大的装载率类别为“3”，则乘以装载率的划分颗粒度5％(即预设的装载率间距)，可以确定待识别车辆的第一装载率为：3×5％＝15％。
由以上内容可以看出，通过设置预设的装载率类别为N个，预设的装载率间距为
Figure BDA0002681355970000153
每个预设的装载率类别采用数值M表示，在确定第一置信度最大的目标装载率类别后，可以通过简单的公式
Figure BDA0002681355970000154
计算快速地确定待识别车辆的第一装载率。并且，由于在模型训练时无需输入复杂的装载率数值作为用于识别装载率的装载率类别，从而降低了人工操作的复杂度。
由以上内容可以看出，通过获取包含待识别车辆的车厢区域的第一图像，并获取包含待识别车辆的外观的第二图像；根据第一图像和第二图像进行特征提取处理，得到待识别车辆的目标特征信息；根据目标特征信息进行装载率预测处理，得到待识别车辆的第一装载率。一方面，不同车型的车辆的装载量存在较大差异，由于通过车辆的外观图像(即第二图像)可以识别出不同车型下的装载率信息，车型作为辅助信息可以帮助区分不同车型下的装载率差异，通过结合待识别车辆的车厢区域与外观的特征进行装载率预测，提升了车辆装载率的预测精度。另一方面，由于通过第一图像和第二图像的整体结合，增强了对装载率识别场景的特征表达能力，从而又在一定程度上提升了车辆装载率的识别精度。
并且由于通过车辆的外观图像，可以让装载率预测网络识别出不同车型下的装载率信息，车型作为辅助信息可以帮助区分不同车型下的装载率差异，通过目标特征结合待识别车辆的车厢区域与外观的特征进行装载率预测，提升了车辆装载率的预测精度。
考虑到不同货物的体积会有差异，为了进一步提高车辆装载率的识别精度。在本申请的一些实施例中，结合待识别车辆的车厢区域的第一图像、待识别车辆的外观的第二图像、待识别车辆内的装载货物的第三图像，进行待识别车辆的装载率预测。
具体地，在本申请地一些实施例中，步骤S23具体还可以包括：获取包含所述待识别车辆内的装载货物的第三图像；调用训练后装载率预测网络中的第三特征提取层，根据所述第三图像进行特征提取处理，得到所述第三图像的第三特征信息；调用训练后装载率预测网络中的特征融合层，根据所述第一特征信息、所述第二特征信息和所述第三特征信息进行融合处理，得到所述目标特征信息。
例如，步骤S20中所提及的装载率预测网络的特征提取层，还可以进一步包括第三特征提取层。
第三特征提取层，用于根据第三图像(即待识别车辆内的装载货物的图像)输出第三图像的第三特征信息(即装载货物的图像特征)。第三特征提取层以第三图像(即待识别车辆内的装载货物的图像)作为输入，对第三图像进行包括但不限于卷积、池化等操作中的一种或多种，以实现对第三图像进行特征提取得到第三图像的第三特征信息(即装载货物的图像特征)。其中，第三特征提取层也可以是卷积神经网络，比如可以直接采用分类网络ResNet50去掉全连接层(记为FC)后得到的CNN网络(记为CNN3)作为第三特征提取层。
其中，第三图像是指待识别车辆内的装载货物的图像)。
第三特征信息是指对待识别车辆内的装载货物的图像(即第三图像)进行特征提取处理，如卷积、池化等操作后，所得到图像特征。
例如，将3个分类ResNet50网络分别都去掉最后的全连接层，得到CNN1、CNN2、CNN3。
首先，CNN1输入待识别车辆的车厢区域(即第一图像)，以输出车厢区域的卷积特征Feature1(即第一特征信息)；CNN2输入待识别车辆的外观的图像(即第二图像)，以输出车辆外观的卷积特征Feature2；CNN3输入待识别车辆内的装载货物的图像(即第三图像)，以输出装载货物的卷积特征Feature3。
然后，将Feature1、Feature2和Feature3输入至训练后装载率预测网络中的特征融合层，以调用特征融合层将Feature1、Feature2和Feature3进行串联融合处理，得到目标特征信息。具体的融合处理可以参照以上步骤S23中的介绍及举例，在此不再赘述。
由以上内容可以看出，一方面，由于通过待识别车辆内的装载货物图像，可以让装载率预测网络识别出不同货物类型下的装载率信息，车型作为辅助信息可以帮助区分不同货物类型下的装载率差异，通过进一步结合待识别车辆内的装载货物图像(即第三图像)进行装载率预测，提升了车辆装载率的识别精度。另一方面，通过第一图像、第二图像和第三图像的整体结合，增强了对装载率识别场景的特征表达能力，从而又在一定程度上提升了车辆装载率的识别精度。
在本申请的一些实施例中，装载率预测网络通过以下步骤A1～A5训练得到，其中：
A1、获取样本图像。
其中，样本图像包括样本车辆的车厢区域图像、样本车辆的外观图像。
样本图像中已经对应标注了样本车辆的实际装载率、实际车型信息。样本图像的具体获取方式可以参照以上步骤S10中的介绍，在此不再赘述。
A2、调用预设的装载率预测网络中的第一特征提取层，根据所述车厢区域图像进行特征提取处理，得到所述车厢区域图像的第四特征信息。
其中，第四特征信息是指在模型训练阶段，对样本车辆的车厢区域图像进行特征提取处理，如卷积、池化等操作后，所得到图像特征。
与训练后装载率预测网络对应，在本申请的一些实施例中，预设的装载率预测网络包括特征提取层、预测层。特征提取层又可以进一步包括第一特征提取层、第二特征提取层。其中，第一特征提取层、第二特征提取层、预测层的作用，以及网络的输入、输出可以参照以上步骤S20中的阐述，在此不再赘述。
例如，将小货车B的车厢区域图像输入至预设的装载率预测网络中，以调用预设的装载率预测网络中的第一特征提取层，对小货车B的车厢区域图像进行卷积、池化等操作中的一种或多种，以实现对小货车B的车厢区域图像进行特征提取得到小货车B的车厢区域图像的图像特征(即第四特征信息)。
A3、调用预设的装载率预测网络中的第二特征提取层，根据所述外观图像进行特征提取处理，得到所述外观图像的第五特征信息。
其中，第五特征信息是指在模型训练阶段，对样本车辆的外观图像进行特征提取处理，如卷积、池化等操作后，所得到图像特征。
例如，将小货车B的外观图像输入至预设的装载率预测网络中，以调用预设的装载率预测网络中的第二特征提取层，对小货车B的外观图像进行卷积、池化等操作中的一种或多种，以实现对小货车B的外观图像进行特征提取得到小货车B的外观图像的图像特征(即第五特征信息)。
A4、调用预设的装载率预测网络中的特征融合层，根据所述第四特征信息和所述第五特征信息进行融合处理，得到所述样本图像的图像特征信息。
其中，图像特征信息是指对第四特征信息和第五特征信息进行融合处理后，所得到的图像特征。
为了方便理解，接以上步骤A2和A3的例子进行说明。例如，将小货车B的车厢区域图像的图像特征(记为feature1，大小为[1,2048])、小货车B的外观图像的图像特征(记为feature2，大小为[1,2048])输入至预设的装载率预测网络中的特征融合层中，以调用预设的装载率预测网络中的特征融合层，将小货车B的车厢区域图像的图像特征(feature1)、小货车B的外观图像的图像特征(feature2)进行串联融合成大小[1,4096]的特征，即得到样本图像的图像特征信息。
进一步地，为了提高装载率预测网络对车辆装载率的预测精度，在一些实施例中，样本图像还包括样本车辆内的货物图像。对应的，预设的装载率预测网络的特征提取层，还可以进一步包括第三特征提取层。第三特征提取层用于对货物图像进行特征提取处理得到第六特征信息(第六是指在模型训练阶段，对样本车辆内的货物图像进行特征提取处理，如卷积、池化等操作后，所得到图像特征。)。此时，调用预设的装载率预测网络中的特征融合层，对第四特征信息、第五特征信息和第六特征进行融合处理，得到样本图像的图像特征信息。其中，“第三特征提取层对货物图像进行特征提取处理得到第六特征信息”的执行可以参照前述“根据所述第三图像进行特征提取处理，得到所述第三图像的第三特征信息”步骤的说明及举例，在此不再赘述。
A5、调用预设的装载率预测网络中的预测层，根据所述图像特征信息进行预测处理，得到所述样本图像对应的车型信息和第二装载率。
其中，第二装载率是指根据图像特征信息进行装载率预测处理后，所得到的样本车辆的装载率。
在一些实施例中，步骤A5具体可以包括：根据所述图像特征信息进行车型预测处理，得到预设的车型类别的第二置信度；根据所述图像特征信息进行装载率预测处理，得到预设的装载率类别的第三置信度；获取所述第二置信度最高的车型类别，以作为所述车型信息；获取所述第三置信度最高的装载率类别，以作为所述第二装载率。
其中，第二置信度是指通过根据图像特征信息进行车型预测处理后，所得到的预设的车型类别的置信度。
第三置信度是指通过根据图像特征信息进行装载率预测处理后，所得到的预设的装载率类别的置信度。
与训练后装载率预测网络对应，在一些实施方式，预设的装载率预测网络中的预测层的输出节点数量设置为N，其中，N1个输出节点对应输出预设的车型类别(如小、中、大型三种车型)的置信度，N2个输出节点对应输出预设的装载率类别(如间距为5％的0％、5％、10％、...、100％共21种装载率)的置信度，N、N1、N2均为正整数，N＝N1+N2。
预设的装载率预测网络中预测层根据目标特征信息分别进行车型预测处理、装载率预测处理，确定每种预设的车型类别的第二置信度、以及每种预设的装载率类别的第三置信度，并输出至对应的输出节点。
例如，预测层前3个输出节点分别代表车型类别为：小、中、大型3种车型，后21个节点分别代表装载率类别：0％、5％、10％、...、100％共21种装载率。第1～3个节点依次输出车型为小、中、大型的置信度：0.6、0.8、0.2，第4～23个节点依次输出装载率为0％、5％、10％、...、100％的第一置信度：0.2、0.9、0.5、...、0.1。
从而，可以获取第二置信度最高(0.8)的车型类别“中型”，即得到样本图像预测的车型信息。可以获取第三置信度(0.9)最高的装载率类别“5％”，即得到样本图像预测的第二装载率。
由以上内容可以看出，通过获取第二置信度最高的车型类别作为预设的装载率预测网络的车型预测结果，可以提高装载率预测网络对车型信息的预测精度，进而提升对车型信息的特征表达能力。通过获取第三置信度最高的装载率类别作为预设的装载率预测网络的装载率预测结果，可以提高装载率预测网络对装载率的预测精度。
A6、根据所述车型信息和所述第二装载率，对所述预设的装载率预测网络进行训练，得到所述训练后装载率预测网络。
具体地，首先，根据样本图像的预测的车型信息和实际装车型信息，确定预设的装载率预测网络的车型损失值；根据样本图像的预测的第二装载率和实际装载率，确定预设的装载率预测网络的装载率损失值；并根据车型损失值和装载率损失值确定预设的装载率预测网络的总损失值。然后，根据总损失值，更新预设的装载率预测网络的模型参数，直至预设的装载率预测网络收敛，得到训练后的装载率预测网络。此时，装载率预测网络可以根据车辆的车厢区域图像、车辆的外观图像预测出车辆的装载率。
由以上内容可以看出，将样本图像(包括样本车辆的车厢区域图像、样本车辆的外观图像)作为输入特征，将相应的样本车辆的车型信息、装载率作为期望的输出特征迭代的进行模型训练，直至迭代停止，得到训练后的装载率预测网络。由于结合了车辆的车厢区域图像、车辆的外观图像进行训练，使得装载率预测网络可以充分学习车辆的车厢区域与外观两个图像的图像特征、与车辆的装载率之间的特征关系，从而增强了装载率预测网络对装载率识别场景的特征表达能力，进而提高了装载率预测网络对车辆装载率的预测精度。
此外，为了验证本申请实施例提供的车辆装载率识别方法带来的效果，还对本申请实施例提供的方案进行了实验测试，具体如下：
实验选取某中转场7天共计7782条数据进行测试，7782条数据包含7782辆车次，基础方案预测准确的车辆有6630辆，预测错误的车辆有1152辆；新方案(基于)预测准确的车辆有7291辆，预测错误的车辆有491辆。
其中，基础方案为：采用一个ResNet50网络，输入为单一的车厢RGB图片，输出节点共21个(装载率按照5％的颗粒度进行划分[0％、5％、10％、...、100％]，按照顺序记为[0、1、2、3、...、19、20])，其中置信度最大的类别即为车厢装载率类别，乘以5％即为车厢装载率。
新方案为：采用两个ResNet50网络CNN1和CNN2，两个ResNet50网络都去掉最后的全连接层(FC层)，CNN1输入车厢图片，输出车厢卷积特征Feature1；CNN2输入车辆外观图片，输出车辆外观卷积特征Feature2，将Feature1和Feature2串联融合，输入到预测层进行预测得到最终结果，预测层输出节点共24个(前3个节点为车型信息分别代表小、中、大型三种车型、后21个节点为按照5％的颗粒度进行划分的[0％、5％、10％、...、100％]装载率，按照顺序记为[0、1、2、3、...、19、20])，解析输出结果可以得到车型信息和装载率信息。
可见，本申请实施例提供的车辆装载率识别方法在一定程度上提高了识别精度。
为了更好实施本申请实施例中车辆装载率识别方法，在车辆装载率识别方法基础之上，本申请实施例中还提供一种车辆装载率识别装置，如图7所示，为本申请实施例中车辆装载率识别装置的一个实施例结构示意图，该车辆装载率识别装置700包括：
获取单元701，用于获取包含待识别车辆的车厢区域的第一图像，并获取包含所述待识别车辆的外观的第二图像；
特征提取单元702，用于根据所述第一图像和所述第二图像进行特征提取处理，得到所述待识别车辆的目标特征信息；
预测单元703，用于根据所述目标特征信息进行装载率预测处理，得到所述待识别车辆的第一装载率。
在本申请的一些实施例中，所述特征提取单元702具体还用于：
调用训练后装载率预测网络中的第一特征提取层，根据所述第一图像进行特征提取处理，得到所述第一图像的第一特征信息；
调用训练后装载率预测网络中的第二特征提取层，根据所述第二图像进行特征提取处理，得到所述第二图像的第二特征信息；
调用训练后装载率预测网络中的特征融合层，根据所述第一特征信息和所述第二特征信息进行融合处理，得到所述目标特征信息。
在本申请的一些实施例中，还包括第三图像，所述特征提取单元702具体还用于：
获取包含所述待识别车辆内的装载货物的第三图像；
调用训练后装载率预测网络中的第三特征提取层，根据所述第三图像进行特征提取处理，得到所述第三图像的第三特征信息；
调用训练后装载率预测网络中的特征融合层，根据所述第一特征信息、所述第二特征信息和所述第三特征信息进行融合处理，得到所述目标特征信息。
在本申请的一些实施例中，所述预测单元703具体还用于：
调用训练后装载率预测网络中的预测层，根据所述目标特征信息进行预测处理，得到预设的装载率类别的第一置信度；
从所述装载率类别中，获取所述第一置信度最大的目标装载率类别；
根据所述目标装载率类别确定所述待识别车辆的第一装载率。
在本申请的一些实施例中，所述预测单元703具体还用于：
根据所述目标装载率类别和预设的装载率间距，确定所述待识别车辆的第一装载率，其中，所述装载率类别有N个，所述装载率间距为
Figure BDA0002681355970000231
所述装载率类别采用数值M表示；
所述根据所述目标装载率类别和预设的装载率间距，确定所述待识别车辆的第一装载率，包括：
根据以下公式确定所述第一装载率，其中公式为：
Figure BDA0002681355970000232
其中，Y表示所述第一装载率，N表示所述装载率类别的数量，M0表示目标装载率类别的表示数值。
在本申请的一些实施例中，车辆装载率识别装置700还包括训练单元(图中未示出)，所述训练单元具体用于：
获取样本图像，其中，所述样本图像包括样本车辆的车厢区域图像、样本车辆的外观图像；
调用预设的装载率预测网络中的第一特征提取层，根据所述车厢区域图像进行特征提取处理，得到所述车厢区域图像的第四特征信息；
调用预设的装载率预测网络中的第二特征提取层，根据所述外观图像进行特征提取处理，得到所述外观图像的第五特征信息；
调用预设的装载率预测网络中的特征融合层，根据所述第四特征信息和所述第五特征信息进行融合处理，得到所述样本图像的图像特征信息；
调用预设的装载率预测网络中的预测层，根据所述图像特征信息进行预测处理，得到所述样本图像对应的车型信息和第二装载率；
根据所述车型信息和所述第二装载率，对所述预设的装载率预测网络进行训练，得到所述训练后装载率预测网络。
在本申请的一些实施例中，所述训练单元具体还用于：
根据所述图像特征信息进行车型预测处理，得到预设的车型类别的第二置信度；根据所述图像特征信息进行装载率预测处理，得到预设的装载率类别的第三置信度；
获取所述第二置信度最高的车型类别，以作为所述车型信息；获取所述第三置信度最高的装载率类别，以作为所述第二装载率
具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。
由于该车辆装载率识别装置可以执行本申请如图1至图6对应任意实施例中车辆装载率识别方法中的步骤，因此，可以实现本申请如图1至图6对应任意实施例中车辆装载率识别方法所能实现的有益效果，详见前面的说明，在此不再赘述。
此外，为了更好实施本申请实施例中车辆装载率识别方法，在车辆装载率识别方法基础之上，本申请实施例还提供一种电子设备，参阅图8，图8示出了本申请实施例电子设备的一种结构示意图，具体的，本申请实施例提供的电子设备包括处理器801，处理器801用于执行存储器802中存储的计算机程序时实现如图1至图6对应任意实施例中车辆装载率识别方法的各步骤；或者，处理器801用于执行存储器802中存储的计算机程序时实现如图7对应实施例中各单元的功能。
示例性的，计算机程序可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器802中，并由处理器801执行，以完成本申请实施例。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在计算机装置中的执行过程。
电子设备可包括，但不仅限于处理器801、存储器802。本领域技术人员可以理解，示意仅仅是电子设备的示例，并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如电子备还可以包括输入输出设备、网络接入设备、总线等，处理器801、存储器802、输入输出设备以及网络接入设备等通过总线相连。
处理器801可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，处理器是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分。
存储器802可用于存储计算机程序和/或模块，处理器801通过运行或执行存储在存储器802内的计算机程序和/或模块，以及调用存储在存储器802内的数据，实现计算机装置的各种功能。存储器802可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备的使用所创建的数据(比如音频数据、视频数据等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的车辆装载率识别装置、电子设备及其相应单元的具体工作过程，可以参考如图1至图6对应任意实施例中车辆装载率识别方法的说明，具体在此不再赘述。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本申请实施例提供一种计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本申请如图1至图6对应任意实施例中车辆装载率识别方法中的步骤，具体操作可参考如图1至图6对应任意实施例中车辆装载率识别方法的说明，在此不再赘述。
其中，该计算机可读存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁盘或光盘等。
由于该计算机可读存储介质中所存储的指令，可以执行本申请如图1至图6对应任意实施例中车辆装载率识别方法中的步骤，因此，可以实现本申请如图1至图6对应任意实施例中车辆装载率识别方法所能实现的有益效果，详见前面的说明，在此不再赘述。
以上对本申请实施例所提供的一种车辆装载率识别方法、装置、电子设备及计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种车辆装载率识别方法，其特征在于，所述方法包括：
获取包含待识别车辆的车厢区域的第一图像，并获取包含所述待识别车辆的外观的第二图像；
根据所述第一图像和所述第二图像进行特征提取处理，得到所述待识别车辆的目标特征信息；
根据所述目标特征信息进行装载率预测处理，得到所述待识别车辆的第一装载率。
2.根据权利要求1所述的车辆装载率识别方法，其特征在于，所述根据所述第一图像和所述第二图像进行特征提取处理，得到所述待识别车辆的目标特征信息，包括：
调用训练后装载率预测网络中的第一特征提取层，根据所述第一图像进行特征提取处理，得到所述第一图像的第一特征信息；
调用训练后装载率预测网络中的第二特征提取层，根据所述第二图像进行特征提取处理，得到所述第二图像的第二特征信息；
调用训练后装载率预测网络中的特征融合层，根据所述第一特征信息和所述第二特征信息进行融合处理，得到所述目标特征信息。
3.根据权利要求2所述的车辆装载率识别方法，其特征在于，还包括第三图像，所述调用训练后装载率预测网络中的特征融合层，根据所述第一特征信息和所述第二特征信息进行融合处理，得到所述目标特征信息，包括：
获取包含所述待识别车辆内的装载货物的第三图像；
调用训练后装载率预测网络中的第三特征提取层，根据所述第三图像进行特征提取处理，得到所述第三图像的第三特征信息；
调用训练后装载率预测网络中的特征融合层，根据所述第一特征信息、所述第二特征信息和所述第三特征信息进行融合处理，得到所述目标特征信息。
4.根据权利要求2或3所述的车辆装载率识别方法，其特征在于，所述根据所述目标特征信息进行装载率预测处理，得到所述待识别车辆的第一装载率，包括：
调用训练后装载率预测网络中的预测层，根据所述目标特征信息进行预测处理，得到预设的装载率类别的第一置信度；
从所述装载率类别中，获取所述第一置信度最大的目标装载率类别；
根据所述目标装载率类别确定所述待识别车辆的第一装载率。
5.根据权利要求4所述的车辆装载率识别方法，其特征在于，所述根据所述目标装载率类别确定所述待识别车辆的第一装载率，包括：
根据所述目标装载率类别和预设的装载率间距，确定所述待识别车辆的第一装载率，其中，所述装载率类别有N个，所述装载率间距为
Figure FDA0002681355960000021
所述装载率类别采用数值M表示；
所述根据所述目标装载率类别和预设的装载率间距，确定所述待识别车辆的第一装载率，包括：
根据以下公式确定所述第一装载率，其中公式为：
Figure FDA0002681355960000022
其中，Y表示所述第一装载率，N表示所述装载率类别的数量，M0表示目标装载率类别的表示数值。
6.根据权利要求2所述的车辆装载率识别方法，其特征在于，所述方法还包括：
获取样本图像，其中，所述样本图像包括样本车辆的车厢区域图像、样本车辆的外观图像；
调用预设的装载率预测网络中的第一特征提取层，根据所述车厢区域图像进行特征提取处理，得到所述车厢区域图像的第四特征信息；
调用预设的装载率预测网络中的第二特征提取层，根据所述外观图像进行特征提取处理，得到所述外观图像的第五特征信息；
调用预设的装载率预测网络中的特征融合层，根据所述第四特征信息和所述第五特征信息进行融合处理，得到所述样本图像的图像特征信息；
调用预设的装载率预测网络中的预测层，根据所述图像特征信息进行预测处理，得到所述样本图像对应的车型信息和第二装载率；
根据所述车型信息和所述第二装载率，对所述预设的装载率预测网络进行训练，得到所述训练后装载率预测网络。
7.根据权利要求6所述的车辆装载率识别方法，其特征在于，所述根据所述图像特征信息进行预测处理，得到所述待训练图像对应的车型信息和第二装载率，包括：
根据所述图像特征信息进行车型预测处理，得到预设的车型类别的第二置信度；根据所述图像特征信息进行装载率预测处理，得到预设的装载率类别的第三置信度；
获取所述第二置信度最高的车型类别，以作为所述车型信息；获取所述第三置信度最高的装载率类别，以作为所述第二装载率。
8.一种车辆装载率识别装置，其特征在于，所述车辆装载率识别装置包括：
获取单元，用于获取包含待识别车辆的车厢区域的第一图像，并获取包含所述待识别车辆的外观的第二图像；
特征提取单元，用于根据所述第一图像和所述第二图像进行特征提取处理，得到所述待识别车辆的目标特征信息；
预测单元，用于根据所述目标特征信息进行装载率预测处理，得到所述待识别车辆的第一装载率。
9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时执行如权利要求1至7任一项所述的车辆装载率识别方法。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器进行加载，以执行权利要求1至7任一项所述的车辆装载率识别方法中的步骤。
CN202010963331.0A 2020-09-14 2020-09-14 车辆装载率识别方法、装置、电子设备及存储介质 Pending CN114187502A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010963331.0A CN114187502A (zh) 2020-09-14 2020-09-14 车辆装载率识别方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010963331.0A CN114187502A (zh) 2020-09-14 2020-09-14 车辆装载率识别方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN114187502A true CN114187502A (zh) 2022-03-15

Family

ID=80539306

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010963331.0A Pending CN114187502A (zh) 2020-09-14 2020-09-14 车辆装载率识别方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114187502A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115907600A (zh) * 2022-12-29 2023-04-04 广州捷世通物流股份有限公司 一种基于物联网的逆向物流运输方法及系统
WO2024169208A1 (zh) * 2023-02-13 2024-08-22 北京京东乾石科技有限公司 车辆装载信息生成方法、装置、设备、介质和程序产品

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115907600A (zh) * 2022-12-29 2023-04-04 广州捷世通物流股份有限公司 一种基于物联网的逆向物流运输方法及系统
CN115907600B (zh) * 2022-12-29 2023-08-25 广州捷世通物流股份有限公司 一种基于物联网的逆向物流运输方法及系统
WO2024169208A1 (zh) * 2023-02-13 2024-08-22 北京京东乾石科技有限公司 车辆装载信息生成方法、装置、设备、介质和程序产品

Similar Documents

Publication Publication Date Title
CN109241895B (zh) 密集人群计数方法及装置
EP4123513A1 (en) Fixed-point method and apparatus for neural network
WO2019051941A1 (zh) 车型识别方法、装置、设备及计算机可读存储介质
CN110598763A (zh) 一种图像识别方法、装置及终端设备
CN112016349A (zh) 停车位的检测方法、装置与电子设备
CN114187502A (zh) 车辆装载率识别方法、装置、电子设备及存储介质
CN113378969B (zh) 一种目标检测结果的融合方法、装置、设备及介质
CN112597995B (zh) 车牌检测模型训练方法、装置、设备及介质
CN113222970A (zh) 一种车辆装载率检测方法、装置、计算机设备和存储介质
CN113901941A (zh) 载货车辆的查验方法及装置、电子设备和存储介质
EP4343616A1 (en) Image classification method, model training method, device, storage medium, and computer program
CN112434717B (zh) 一种模型训练方法及装置
CN110060264B (zh) 神经网络训练方法、视频帧处理方法、装置及系统
CN112001258B (zh) 物流货车准时到站识别方法、装置、设备和存储介质
CN114708247A (zh) 基于深度学习的烟盒包装缺陷识别方法和装置
CN112654999B (zh) 标注信息的确定方法及装置
CN116307985B (zh) 建筑材料节能运输方法、计算机设备与介质
CN115298705A (zh) 车牌识别方法、装置、电子设备及存储介质
CN116311152A (zh) 车位检测效果的评价方法、装置及相关设备
CN115841590A (zh) 神经网络推理优化方法、装置、设备及可读存储介质
CN112528970A (zh) 路牌检测方法、装置、设备和计算机可读介质
CN114596239A (zh) 装卸货事件检测方法、装置、计算机设备和存储介质
CN112488173B (zh) 基于图像増广的模型训练方法、系统和存储介质
CN113780966B (zh) 用于生成装卸作业剩余时间信息的方法和装置
CN117710450A (zh) 关键点定位方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination