CN111476123A

CN111476123A - 车辆状态识别方法、装置、电子设备及存储介质

Info

Publication number: CN111476123A
Application number: CN202010224976.2A
Authority: CN
Inventors: 胡仁伟; 顾鹏笠; 金丽娟
Original assignee: Hangzhou Hopechart Iot Technology Co ltd
Current assignee: Hangzhou Hopechart Iot Technology Co ltd
Priority date: 2020-03-26
Filing date: 2020-03-26
Publication date: 2020-07-31

Abstract

本发明实施例公开了一种车辆状态识别方法、装置、电子设备及存储介质，该车辆状态识别方法包括：获取车载摄像头监控到的车辆视频数据；根据所述车辆视频数据和预先构建的车辆状态深度学习模型，识别车辆状态，得到识别结果；输出所述识别结果和/或所述识别结果的提示信息。因此，本发明实施例实现了基于深度学习自动识别不同车辆状态，提高了车辆状态识别的准确性，还提高了车辆运输管理的效率，降低了车辆维护成本。

Description

车辆状态识别方法、装置、电子设备及存储介质

技术领域

本发明涉及物联网技术领域，具体涉及一种车辆状态识别方法、装置、电子设备及存储介质。

背景技术

随着现代化建设的实施，各式各样的建筑拔地而起，各种写字楼、公寓及酒店等的建设如火如荼得进行。而运输车作为原材料和废料的搬运工发挥着尤为重要的作用。尤其是，运输过程中或者运输前防护措施失效或未采用防护措施等都会造成安全隐患。

现有的技术中，一般是司机或装载货物的装载工人或管理人员在装载过程中利用人肉眼去观测车辆装载的货物，司机或管理人员在运输过程中利用人肉眼去观测车辆防护顶盖的开闭状态。

但是，采用人工观测车辆装载的货物或车辆防护顶盖的开闭状态，其具有很强的主观性及环境干扰性，某环节的疏忽大意或特殊的环境都可能影响人的判断，从而降低了车辆状态识别的准确性。

发明内容

由于现有方法存在上述问题，本发明实施例提出一种车辆状态识别方法、装置、电子设备及存储介质。

第一方面，本发明实施例提出一种车辆状态识别方法，包括：

获取车载摄像头监控到的车辆视频数据；

根据所述车辆视频数据和预先构建的车辆状态深度学习模型，识别车辆状态，得到识别结果；

输出所述识别结果和/或所述识别结果的提示信息。

可选地，所述车辆状态包括以下一项或多项：

车盖是否开启；

车厢内是否装载货物；

车箱装载货物类别。

可选地，还包括：

获取用于模型训练的训练数据集，所述训练数据集中包括不同车辆状态的图片；

将所述不同车辆状态的图片作为训练使用的输入数据，采用深度学习方式进行训练，得到用于识别车辆状态的车辆状态深度学习模型；

其中，所述采用深度学习方式进行训练包括：采用指定语言和指定框架，对所述不同车辆状态的图片进行分类训练，得到对应的权重。

可选地，所述根据所述车辆视频数据和预先构建的车辆状态深度学习模型，识别车辆状态，得到识别结果，包括：

将所述车辆视频数据转换为待识别图片；

将所述待识别图片输入到所述车辆状态深度学习模型中，并根据输出的车辆状态确定所述识别结果。

可选地，还包括：

对所述车辆状态深度学习模型进行缩小和加密，得到对应的网络文件和权重文件，所述网络文件和权重文件用于识别车辆状态。

通过可执行程序和动态链接库，将所述车辆视频数据转换为待识别图片；

调用所述网络文件和所述权重文件，得到所述待识别图片对应的图片类别、图片类别的置信度和图片判断的时间；

根据所述待识别图片对应的图片类别、图片类别的置信度和图片判断的时间，确定所述待识别图片对应的车辆状态，以及根据所述待识别图片对应的车辆状态确定所述识别结果。

可选地，所述输出所述识别结果和/或所述识别结果的提示信息，包括：

通过智能终端的显示屏显示所述识别结果和/或所述识别结果的提示信息；和/或

将所述识别结果和/或所述识别结果的提示信息上传至服务器。

第二方面，本发明实施例提出一种车辆状态识别装置，包括：

第一获取模块，用于获取车载摄像头监控到的车辆视频数据；

识别模块，用于根据所述车辆视频数据和预先构建的车辆状态深度学习模型，识别车辆状态，得到识别结果；

输出模块，用于输出所述识别结果和/或所述识别结果的提示信息。

第三方面，本发明实施例提出一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所述车辆状态识别方法的步骤。

第四方面，本发明实施例提出一种车辆状态识别系统，包括一个或多个摄像头、智能终端和服务器；其中，所述智能终端包括车辆状态识别装置；所述车辆状态识别装置用于实现如第一方面所述车辆状态识别方法的步骤。

由上述技术方案可知，本发明实施例通过获取车载摄像头监控到的车辆视频数据，并根据车辆视频数据和预先构建的车辆状态深度学习模型，识别车辆状态，得到识别结果，以及输出识别结果和/或该识别结果的提示信息，从而实现了基于深度学习自动识别不同车辆状态，提高了车辆状态识别的准确性，还提高了车辆运输管理的效率，降低了车辆维护成本。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些图获得其他的附图。

图1为本发明实施例提供的一种车辆状态识别方法的流程示意图；

图2为本发明实施例提供的一种车辆状态识别方法的应用场景示意图；

图3为本发明实施例提供的一种车辆状态识别装置的结构示意图；

图4为本发明实施例提供的一种电子设备的实体结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了便于清楚描述本发明实施例的技术方案，在本发明的各实施例中，若采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分，本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定。

图1为本发明实施例提供的一种车辆状态识别方法的流程示意图；该方法可以用于实现车辆状态识别功能的电子设备上，比如：智能终端；如图1所示，该车辆状态识别方法可以包括：

S110、获取车载摄像头监控到的车辆视频数据。

具体地，摄像头实时监控车辆状态，用于实现车辆状态识别功能的电子设备可以通过摄像头获取当前车辆视频。

S120、根据车辆视频数据和预先构建的车辆状态深度学习模型，识别车辆状态，得到识别结果。

具体地，车辆状态可以包括：车厢顶盖处于开启状态、车厢顶盖处于关闭状态、车厢内已装载货物、车厢内没有装载货物、车厢内已装载普通渣土、车厢内已装载建筑垃圾、车厢内已装载砂石、车厢内已装载石料等。

S130、输出识别结果和/或该识别结果的提示信息。

具体地，识别结果可以包括：无法识别，车盖关闭，车厢为空，车厢为满(如果装一半的也按满处理)，图片模糊，普通渣土，建筑垃圾，砂石，石料等。

在一示例性场景中，如图2所示，1代表车载智能终端，2代表车载摄像头，3代表车厢。车载智能终端可以获取一个或多个车载摄像头监控到的车辆视频数据，并根据车辆视频数据和预先构建的车辆状态深度学习模型，识别车辆状态，得到识别结果，并输出识别结果和/或该识别结果的提示信息。

由上述实施例可见，通过获取车载摄像头监控到的车辆视频数据，并根据车辆视频数据和预先构建的车辆状态深度学习模型，识别车辆状态，得到识别结果，以及输出识别结果和/或该识别结果的提示信息，从而实现了基于深度学习自动识别不同车辆状态，提高了车辆状态识别的准确性，还提高了车辆运输管理的效率，降低了车辆维护成本。

进一步地，建立在上述方法的基础上，上述S120中的车辆状态可以包括但不限于以下一项或多项：

车盖是否开启；

车厢内是否装载货物；

车箱装载货物类别。

其中，车厢顶盖可以包括车箱顶盖或后车箱的翻板型顶盖等。

由上述实施例可见，根据所述车辆视频数据和预先构建的车辆状态深度学习模型，可以车盖是否开启、车厢内是否装载货物、车箱装载货物类别等车辆状态，从而有效填补了车盖识别及车箱装载货物识别的空白，便于监督人员的有效监督，提高了车辆运输管理的效率。而摄像头与货物和车箱距离相对较远，不会因频繁装载货物和开关顶盖而造成的损坏，极大地缩小了维护的费用，进而为企业节省了维护成本。

进一步地，建立在上述方法的基础上，在执行S110中获取车载摄像头监控到的车辆视频数据时，可以包括：

(1-1-1)确定获取所述车辆视频数据的指定时间间隔。

具体地，指定时间间隔可以是预先设置的一个值。比如，每隔600秒获取一次视频数据。

(1-1-2)按照所述指定时间间隔，获取指定时间长度的车辆视频数据。

具体地，指定时间长度可以是预先设置的一个值。比如，100秒。

由上述实施例可见，通过确定获取所述车辆视频数据的指定时间间隔，按照所述指定时间间隔，获取指定时间长度的车辆视频数据，从而保证了基于深度学习识别不同车辆状态的同时，还节省了识别资源。

进一步地，建立在上述方法的基础上，还包括：

(1-2-1)获取用于模型训练的训练数据集，所述训练数据集中包括不同车辆状态的图片。

具体地，可以选取9类不同车辆状态的图片，分别为无法识别，车盖关闭，车厢为空，车厢为满(如果装一半的也按满处理)，图片模糊，普通渣土，建筑垃圾，砂石，石料。因为识别的种类较多，故数据集10万张。

(1-2-2)将所述不同车辆状态的图片作为训练使用的输入数据，采用深度学习方式进行训练，得到用于识别车辆状态的车辆状态深度学习模型。其中，所述采用深度学习方式进行训练包括：采用指定语言和指定框架，对所述不同车辆状态的图片进行分类训练，得到对应的权重。

具体地，运用深度学习模型，对主流的模型进行优化再创造，在嵌入式平台上保证精度的情况下尽量减小模型大小，使用Python语言，运用PyTorch框架对选取的不同车辆状态的图片进行分类训练，得出权重，并持续添加训练数据集，增加模型的健壮性。

其中，Python是一种跨平台的计算机程序设计语言，其是一种面向对象的动态类型语言。PyTorch是一个开源的Python机器学习库，其用于自然语言处理等应用程序。

由上述实施例可见，通过获取用于模型训练的训练数据集，所述训练数据集中包括不同车辆状态的图片，将所述不同车辆状态的图片作为训练使用的输入数据，采用深度学习方式进行训练，得到用于识别车辆状态的车辆状态深度学习模型，从而提高了模型训练的可靠性，进而保证了车辆状态识别的可靠性。

进一步地，建立在上述方法的基础上，在执行S120中根据车辆视频数据和预先构建的车辆状态深度学习模型，识别车辆状态，得到识别结果时，可以包括：

(1-3-1)将所述车辆视频数据转换为待识别图片；

具体地，可以按照指定切割间隔，将车辆视频数据切割成一张或多张待识别图片。比如：指定切割间隔为10秒。

(1-3-2)将所述待识别图片输入到所述车辆状态深度学习模型中，并根据输出的车辆状态确定所述识别结果。

具体地，若输出结果中包括一定数量的车厢顶盖处于开启状态的图片，则可以确定车厢顶盖处于开启状态；若输出结果中包括一定数量的车厢内已装载货物的图片，则可以确定车厢内已装载货物。

由上述实施例可见，通过将所述车辆视频数据转换为待识别图片，将所述待识别图片输入到所述车辆状态深度学习模型中，并根据输出的车辆状态确定所述识别结果，从而提高了车辆状态识别的效率。

进一步地，建立在上述方法的基础上，该车辆状态识别方法还可以包括：

(1-4-1)对所述车辆状态深度学习模型进行缩小和加密，得到对应的网络文件和权重文件，所述网络文件和权重文件用于识别车辆状态。

具体地，将深度学习过程保存下来的车辆状态深度学习模型，通过第三方框架处理，对模型进行缩小和加密，得到对应的网络文件(即.net文件)和权重文件(.net)。其中，网络文件(即.net文件)和权重文件(.net)这两个均是二进制自定义文件，主流平台无法打开，是本模型解决问题的专有格式。并且，网络文件(即.net文件)是训练用的网络保存的文件，权重文件(.net)是使用训练网络训练得出的权重文件。

由上述实施例可见，通过对所述车辆状态深度学习模型进行缩小和加密，得到对应的网络文件和权重文件，所述网络文件和权重文件用于识别车辆状态，从而降低了针对车辆状态识别的硬件需求，还扩展了针对车辆状态识别的应用平台。

进一步地，建立在上述方法的基础上，在执行S120中根据所述车辆视频数据和预先构建的车辆状态深度学习模型，识别车辆状态，得到识别结果时，可以包括：

(1-5-1)通过可执行程序和动态链接库，将所述车辆视频数据转换为待识别图片。

具体地，将模型的推理过程，运用编译或交叉编译，转成linux平台，centos平台，android平台，windows平台，RK1808芯片(重点在芯片和服务器平台)可用的可执行程序和动态链接库，并通过各平台的可执行程序和动态链接库，将传入的摄像头实时视频转成待识别图片。

(1-5-2)调用所述网络文件和所述权重文件，得到所述待识别图片对应的图片类别、图片类别的置信度和图片判断的时间。

具体地，通过调用网络文件(即.net文件)和权重文件(.net)，可以得到待检测图片对应的图片类别、图片类别的置信度、图片判断的时间。通过图片的判断时间，对编译的一些优化选项做出微调，开关某些优化选项；通过图片的类别和实际图片的类别作对比，将某些场景下识别错误的图片挑选一部分增加入训练集相应类别中去；通过图片类别的置信度，对相应的图像类别的数据集做一些调整(比如增加数据集，数据增强等操作)。

另外，可以将交叉编译的可执行程序、动态链接库及保存下来的网络文件(即.net文件)和权重文件(.net)，上传至对应服务器及各终端，后续如不需要增加类别(例如在模糊遮挡基础上增加过度曝光)或者删除类别，那么可执行程序和动态链接库不需要更新，每次更新及上传最新训练的.net和.weight文件即可。通过开通服务器的某个端口，服务器将实时接收各终端上传的图片。

其中，模型维护一般添加训练容易出错的场景数据，删除一些重复场景过多的图片，增加类别，对训练数据的增加等。

(1-5-3)根据所述待识别图片对应的图片类别、图片类别的置信度和图片判断的时间，确定所述待识别图片对应的车辆状态，以及根据所述待识别图片对应的车辆状态确定所述识别结果。

由上述实施例可见，通过可执行程序和动态链接库，将所述车辆视频数据转换为待识别图片，调用所述网络文件和所述权重文件，得到所述待识别图片对应的图片类别、图片类别的置信度和图片判断的时间，根据所述待识别图片对应的图片类别、图片类别的置信度和图片判断的时间，确定所述待识别图片对应的车辆状态，以及根据所述待识别图片对应的车辆状态确定所述识别结果，从而提高了车辆状态识别的准确性和效率。

进一步地，建立在上述方法的基础上，在执行S130中输出所述识别结果和/或所述识别结果的提示信息时，可以包括：

具体地，若车辆状态识别系统中只包括摄像头和智能终端，此时可以通过智能终端的显示屏显示所述识别结果和/或所述识别结果的提示信息；若车辆状态识别系统中除了包括摄像头和智能终端之外，还包括服务器，此时可以通过智能终端的显示屏显所述识别结果和/或所述识别结果的提示信息之外，还可以将所述识别结果和/或所述识别结果的提示信息上传至服务器。

由上述实施例可见，可以通过智能终端的显示屏显示所述识别结果和/或所述识别结果的提示信息；和/或将所述识别结果和/或所述识别结果的提示信息上传至服务器，从而有效填补了车盖识别及车箱装载货物识别的空白，便于监督人员的有效监督，提高了车辆运输管理的效率。

图3为本发明实施例提供的一种车辆状态识别装置的流程示意图，该车辆状态识别装置可以用于实现车辆状态识别功能的电子设备上，比如：智能终端；如图3所示，该车辆状态识别装置可以包括：

第一获取模块31，用获取车载摄像头监控到的车辆视频数据；

识别模块32，用于根据所述车辆视频数据和预先构建的车辆状态深度学习模型，识别车辆状态，得到识别结果；

输出模块33，用于输出所述识别结果和/或所述识别结果的提示信息。

进一步地，建立在上述所示装置的基础上，所述车辆状态包括以下一项或多项：

车盖是否开启；

车厢内是否装载货物；

车箱装载货物类别。

进一步地，建立在上述所示装置的基础上，还包括：

第二获取模块，用于获取用于模型训练的训练数据集，所述训练数据集中包括不同车辆状态的图片；

训练模块，用于将所述不同车辆状态的图片作为训练使用的输入数据，采用深度学习方式进行训练，得到用于识别车辆状态的车辆状态深度学习模型；

进一步地，建立在上述所示装置的基础上，所述识别模块32可以包括：

第一转换子模块，用于将所述车辆视频数据转换为待识别图片；

第一检测子模块，用于将所述待识别图片输入到所述车辆状态深度学习模型中，并根据输出的车辆状态确定所述识别结果。

进一步地，建立在上述所示装置的基础上，还包括：

模型处理模块，用于对所述车辆状态深度学习模型进行缩小和加密，得到对应的网络文件和权重文件，所述网络文件和权重文件用于识别车辆状态。

第二转换子模块，用于通过可执行程序和动态链接库，将所述车辆视频数据转换为待识别图片；

调用子模块，用于调用所述网络文件和所述权重文件，得到所述待识别图片对应的图片类别、图片类别的置信度和图片判断的时间；

第二检测子模块，用于根据所述待识别图片对应的图片类别、图片类别的置信度和图片判断的时间，确定所述待识别图片对应的车辆状态，以及根据所述待识别图片对应的车辆状态确定所述识别结果。

进一步地，建立在上述所示装置的基础上，所述输出模块33可以包括：

显示子模块，用于通过智能终端的显示屏显示所述识别结果和/或所述识别结果的提示信息；和/或

上传子模块，用于将所述识别结果和/或所述识别结果的提示信息上传至服务器。

本发明实施例所述的车辆状态识别装置可以用于执行上述方法实施例，其原理和技术效果类似，此处不再赘述。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

图4为本发明实施例提供的一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)401、通信接口(Communications Interface)402、存储器(memory)403和通信总线404，其中，处理器401，通信接口402，存储器403通过通信总线404完成相互间的通信。处理器401可以调用存储器403中的逻辑指令，以执行如下方法：

获取车载摄像头监控到的车辆视频数据；

输出所述识别结果和/或所述识别结果的提示信息。

此外，上述的存储器403中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

进一步地，本发明实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：

获取车载摄像头监控到的车辆视频数据；

输出所述识别结果和/或所述识别结果的提示信息。

另一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的方法，例如包括：

获取车载摄像头监控到的车辆视频数据；

输出所述识别结果和/或所述识别结果的提示信息。

进一步地，本发明实施例公开一种车辆状态识别系统，包括一个或多个摄像头、智能终端和服务器；其中，所述智能终端包括车辆状态识别装置；所述车辆状态识别装置用于实现上述车辆状态识别方法的步骤。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims

1.一种车辆状态识别方法，其特征在于，包括：

获取车载摄像头监控到的车辆视频数据；

输出所述识别结果和/或所述识别结果的提示信息。

2.根据权利要求1所述的车辆状态识别方法，其特征在于，所述车辆状态包括以下一项或多项：

车盖是否开启；

车厢内是否装载货物；

车箱装载货物类别。

3.根据权利要求1所述的车辆状态识别方法，其特征在于，还包括：

4.根据权利要求1或3所述的车辆状态识别方法，其特征在于，所述根据所述车辆视频数据和预先构建的车辆状态深度学习模型，识别车辆状态，得到识别结果，包括：

将所述车辆视频数据转换为待识别图片；

5.根据权利要求3所述的车辆状态识别方法，其特征在于，还包括：

6.根据权利要求5所述的车辆状态识别方法，其特征在于，所述根据所述车辆视频数据和预先构建的车辆状态深度学习模型，识别车辆状态，得到识别结果，包括：

7.根据权利要求1所述的车辆状态识别方法，其特征在于，所述输出所述识别结果和/或所述识别结果的提示信息，包括：

8.一种车辆状态识别装置，其特征在于，包括：

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述车辆状态识别方法的步骤。

10.一种车辆状态识别系统，其特征在于，包括一个或多个摄像头、智能终端和服务器；其中，所述智能终端包括车辆状态识别装置；

所述车辆状态识别装置用于实现如权利要求1至7任一项所述车辆状态识别方法的步骤。