CN113705334A - 监管工程渣土车的方法、装置、车载终端和车辆 - Google Patents

Abstract

本申请提出一种监管工程渣土车的方法、装置、车载终端和车辆，包括获取渣土车厢盖板开始关闭信号；获取渣土车厢装载图像；利用预先训练的组合分类器网络模型和所述渣土车厢装载图像识别车厢装载状态和装载的渣土种类；将所述车厢装载状态和所述渣土种类上报到监控中心。根据本申请的一些实施例，弥补了渣土类型识别算法开发初期收集数据困难，数据覆盖场景不充分的问题，提高了渣土类型算法的准确率和适应性，降低了渣土类型识别算法的升级和维护难度。

Description

监管工程渣土车的方法、装置、车载终端和车辆

技术领域

本申请涉及商用车技术领域，具体而言，涉及一种监管工程渣土车的方法、装置、车载终端和车辆。

背景技术

工程渣土车多存在超载、空载跑轨迹、不按规定消纳工程渣土、装载不符合安全资质的渣土类型、不在规定地点倾倒特定类型的渣土等安全漏洞，为了监管工程渣土车，可以在工程渣土车上安装智能车厢监控系统，利用在驾驶室后面车厢上方的高清摄像头识别渣土车厢装载状态和装载的渣土类型，结合车厢盖板打开关闭状态、车辆GPS轨迹等信息，综合判断渣土车的实时运行状态，通过技术手段弥补工程渣土车监管难的问题。

传统的基于渣土特征描述和检测方法识别渣土类型的方法泛化能力差，算法准确率低，通过增加新的样本集训练也不能显著提高识别准确率。基于数据驱动的深度学习方法，通过训练大量样本数据集获得算法模型，显著提高了传统方法的识别准确率和算法适应性。但通常存在收集数据困难、渣土类型识别算法开发前期数据较少、数据覆盖场景不充分等问题，导致最终部署到车载终端设备的识别算法在实际使用过程中出现误报警率高，复杂场景适应性低等问题。

发明内容

本申请提供了一种监管工程渣土车的方法、装置、车载终端和车辆，避免了花费大量时间精力收集数据，且算法模型部署后，能够实现自动更新升级，解决了识别算法准确率低及适应性差等问题。

根据本申请的一方面，提出一种监管工程渣土车的方法，包括获取渣土车厢盖板开始关闭信号；获取渣土车厢装载图像；利用预先训练的组合分类器网络模型和所述渣土车厢装载图像识别车厢装载状态和装载的渣土种类；将所述车厢装载状态和所述渣土种类上报到监控中心。

根据一些实施例，获取渣土车厢装载图像，包括获取渣土车刚装载完成时刻的一定时长的渣土车厢装载图像视频片段；从所述渣土车厢图像视频片段的前n帧中选取m帧作为渣土车厢装载图像。

根据一些实施例，利用预先训练的组合分类器网络模型和所述渣土车厢装载图像识别车厢装载状态和装载的渣土种类，包括利用第一分类器和所述渣土车厢装载图像判断车厢装载状态是否为非空车厢；保存车厢装载状态；若为非空车厢，利用第二分类器和所述渣土车厢装载图像识别装载的渣土种类。

根据一些实施例，在利用第一分类器和所述渣土车厢图像判断车厢装载状态是否为非空车厢之前，还包括预处理所述渣土车厢图像。

根据一些实施例，在利用第二分类器和所述渣土车厢装载图像识别装载的渣土种类之前，还包括裁剪所述渣土车厢装载图像中被渣土覆盖的部分。

根据一些实施例，前述方法还包括检查所述组合分类器网络模型是否需要更新；若需要更新，下载组合分类器网络模型文件；校验下载的所述组合分类器网络模型文件；若校验通过，将本地的所述组合分类器网络模型文件替换为下载的所述组合分类器网络模型文件。

根据一些实施例，获取渣土车刚装载完成时刻的一定时长的渣土车厢装载图像视频片段之后，还包括将所述渣土车厢图像装载视频片段上传到服务器。

根据本申请的一方面，提出一种用于监管工程渣土车的方法，包括获取训练用视频图像样本集和测试用视频图像样本集；利用所述训练用视频图像样本和所述测试用视频图像样本周期性分别训练和验证第一分类器；若验证通过，获取第二分类器的训练用图像样本；利用所述第二分类器的训练用图像样本和验证所述第一分类器的所述测试用视频样本分别周期性训练和验证第二分类器；若验证通过，利用所述第一分类器的所述训练用视频图像样本和所述测试用视频图像样本周期性联合训练和验证所述第一分类器和所述第二分类器；若验证通过，将所述第一分类器和所述第二分类器封装到组合分类器网络模型文件，并将所述组合分类器网络模型文件存储升级服务器。

根据一些实施例，获取训练用视频图像样本和测试用视频图像样本，包括获取分类的渣土车厢视频片段，所述渣土车厢视频片段配置有分类标签；

将所述分类的渣土车厢视频片段随机分组为测试用渣土车厢视频片段和训练用渣土车厢视频片段；从所述训练用渣土车厢视频片段中抽取训练用视频图像样本，所述训练用视频图像样本配置有和所述训练用视频图像样本相同的分类标签；从所述测试用渣土车厢视频片段中抽取测试用视频图像样本，所述测试用视频图像样本配置有和所述测试用视频图像样本相同的分类标签。

根据一些实施例，获取训练用视频图像样本和测试用视频图像样本，还包括：预处理所述训练用视频图像样本和所述测试用视频图像样本。

根据一些实施例，获取第二分类器的训练用图像样本，包括从所述第一分类器的所述训练用视频图像样本中选取非空车厢训练用视频图像样本；裁剪所述非空车厢训练用视频图像样本中被渣土覆盖的部分作为所述第二分类器的训练用图像样本。

根据一些实施例，所述第一分类器包括二分类器；所述第二分类器包括单标签多分类器。

根据一些实施例，前述方法还包括获取渣土车厢装载图像；识别车厢装载状态和装载的渣土种类；将所述车厢装载状态和装载的渣土种类上报到监控中心。

根据一些实施例，前述方法还包括检查并更新组合分类器网络模型。

根据本申请的一方面，提出一种监管工程渣土车的装置，包括渣土车厢盖板监控模块，用于获取渣土车厢盖板开始关闭信号；渣土车厢装载图像获取模块，用于获取渣土车厢装载图像；渣土识别模块，用于利用预先训练的组合分类器网络模型和所述渣土车厢装载图像识别车厢装载状态和装载的渣土种类；上报模块，用于将所述车厢装载状态和所述渣土种类上报到监控中心。

根据本申请的一方面，提出一种车载终端，包括一个或多个处理器；存储装置，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得一个或多个处理器实现如前所述中任一所述的方法。

根据本申请的一方面，提出一种车辆，所述车辆包括如前所述的车载终端。

根据本申请的一些实施例，通过在识别的时候，同时将采集的识别用渣土车厢图像装载视频片段添加到识别算法样本集中，弥补了渣土类型识别算法开发初期收集数据困难，数据覆盖场景不充分非问题。渣土类型识别算法采用增量学习方法不断提高渣土类型算法的准确率和适应性。在线升级更新渣土类型识别算法，降低了渣土类型识别算法的升级和维护难度。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。

图1示出根据本申请示例实施例的一种监管工程渣土车的方法流程图。

图2示出根据本申请示例实施例的一种监管工程渣土车的方法升级流程图。

图3示出根据本申请示例实施例的一种监管工程渣土车的方法模型训练流程图。

图4示出根据本申请示例实施例的一种监管工程渣土车的装置框图。

图5a示出根据本申请示例实施例的另一种监管工程渣土车的方法流程图。

图5b示出带有一空车厢的工程渣土车。

图5c示出车厢关闭状态的工程渣土车。

图5d示出装载有基坑弃土的工程渣土车。

图6示出根据本申请示例实施例的一种监管工程渣土车的网络拓扑图。

图7示出根据本申请示例性实施例的一种车载终端的框图。

具体实施方式

现在将参考附图更全面地描述示例实施例。然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的实施例；相反，提供这些实施例使得本申请将全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。

所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而没有这些特定细节中的一个或更多，或者可以采用其它的方式、组元、材料、装置或操作等。在这些情况下，将不详细示出或描述公知结构、方法、装置、实现、材料或者操作。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

工程渣土车常存在超载、空载跑轨迹、不按规定消纳工程渣土、装载不符合安全资质的渣土类型、不在规定地点倾倒特定类型的渣土等安全监管问题。

传统的基于渣土特征描述和检测方法识别渣土类型的方法泛化能力差，算法准确率低，通过增加新的样本集训练也不能显著提高识别准确率。基于数据驱动的深度学习方法，通过训练大量样本数据集获得算法模型，显著提高了传统方法的识别准确率和算法适应性。但当前的深度学习方法通常存在收集数据困难、渣土类型识别算法开发前期数据较少以及数据覆盖场景不充分等问题，最终导致部署到车载终端设备的识别算法在实际使用过程中出现误报警率高，复杂场景适应性低等问题。

为此，本申请提出一种监管工程渣土车的方法，通过安装在驾驶室后面车厢上方的高清摄像头识别渣土车厢装载状态和装载的渣土类型，利用车厢盖板打开关闭状态、车辆GPS轨迹等信息，结合视频采集技术、视频流传输和存储技术、渣土类型识别算法增量学习技术和OTA通讯技术，实现一个渣土类型识别算法持续样本数据集采集、算法模型迭代优化、优化模型在线升级更新的闭环方法。综合判断渣土车的实时运行状态，通过技术手段弥补工程渣土车监管难的问题。下面将参照附图，对根据本申请的具体实施例进行详细说明。

图1示出根据本申请示例实施例的一种监管工程渣土车的方法流程图。下面参照图1，对根据本申请示例实施例的一种监管工程渣土车的方法进行详细说明。

参见图1，在S101，获取渣土车厢盖板开始关闭信号。

渣土车装载渣土车装载渣土时通常需要打开车厢盖板，完成装载后需要盖上车厢盖板后才能上路行驶，通过获取车厢盖板开始关闭信号，就能获取装载渣土刚完成时刻的车厢图像视频。

在S103，获取渣土车厢装载图像。

通过采集装载渣土刚完成时刻的车厢图像视频，就可以查看渣土车车厢上路前的装载状态和装载的渣土种类。根据本申请的一些实施例，采集装载渣土刚完成时刻短视频片段，如5s。通过保留装载渣土刚完成时刻的关键视频，去除了装载完成前和盖板闭合后的不重要视频，可以降低算法图像处理数据量。根据一些实施例，从采集的5s视频片段的前5帧中随机选择1帧作为视频样本图像。渣土刚完成时刻前5s视频片段的前5帧图像处于车厢盖板还未完全抬起的时刻，车厢内装载的渣土图像没有被车厢盖板遮住，使用此时刻的视频帧样本图像，能够获得完整的敞开的车厢图像以及清晰的没有被遮挡的渣土图像。

根据一些实施例，获取到要分析的视频样本图像后，需要依据组合分类器网络的输入格式要求，对视频样本图像进行必要的编解码、颜色变换、缩放等预处理操作。

根据一些实施例，获取到车厢图像视频后，将车厢图像视频上传到服务器，服务器会将该车厢图像视频添加组合分类器网络模型训练样本集中。

在S105，利用预先训练的组合分类器网络模型和渣土车厢装载图像识别车厢装载状态和装载的渣土种类。

根据本申请的一些示例实施例，组合分类器网络模型包括第一分类器和第二分类器。第一分类器用于判断渣土车是否为空车厢，第二分类器用于识别渣土种类。关于组合分类器网络模型训练方法参见图3。

车厢盖板关闭时，通过识别车厢的装载状态，可以判断渣土车是否处于有效工作状态。根据一些实施例，组合分类器的第一分类器为一个二分类器，第一分类器将车厢分类为没有装载渣土的空车厢和装载着渣土的非空车厢两种类别。如何车厢为空车厢，则停止组合分类器识别。如果车厢为非空车厢，则利用第二分类器对渣土类型进行识别。

由于渣土车的车厢大小，渣土装载量等差异，造成完整车厢的渣土图像形状大小差异很大。在安装高清摄像头时，可以对渣土车厢的渣土区域进行标定，标定的位置即表示当渣土车厢装载着渣土时一定会被渣土覆盖的位置。根据一些实施例，从完整的车厢渣土图像中裁剪出标定好的被渣土覆盖的ROI(ROI，Region Of Interest)渣土区域图像样本，丢弃车厢渣土图像的其余部分，将ROI渣土区域图像样本输入组合分类器网络的第二分类器。

根据一些实施例，第二分类器为单标签多分类器。第二分类器将渣土细分归类为基坑弃土、混凝土碎块、废混凝土、废砂浆、沥青混凝土碎块、废砖、废砂石等种类。

在S107，将车厢装载状态和渣土种类上报到监控中心。

根据本申请的一些示例实施例，将车厢装载状态和渣土种类封装成网络数据包并上报到监控中心。

以上参照图1描述的技术方案，通过在车厢盖板开始关闭实时即利用渣土类型识方法识别车厢装载状态和装载渣土种类，避免在车辆在路上行驶过程中产生大量报警上报。另外，在渣土类型识方法识别的同时，通过采集有效时刻的视频片段样本，持续增加渣土类型识别算法的训练样本集，弥补了渣土类型识别算法开发初期收集数据难、数据覆盖场景不充分的问题。

图2示出根据本申请示例实施例的一种监管工程渣土车的方法升级流程图。下面参照图2，对根据本申请示例实施例的一种监管工程渣土车的方法升级流程图进行详细说明。

根据本申请的一些示例实施例，在工程渣土安装的车辆终端设备中装载有图1所示的组合分类器网络模型。根据一些实施例，车辆启动后，渣土车终端设备上电，执行初始化后进入工作状态。车辆终端设备客户端连接平台服务器，连接成功后切换到上线状态。

参见图2，在S201，检查组合分类器网络模型文件是否需要更新。

根据本申请的一些示例实施例，组合分类器网络模型文件升级程序检查OTA(OTA，Over-the-Air)升级服务器中算法模型文件的更新状态，读取更新状态标志、组合分类器网络模型文件版本号等状态信息。通过比较终端设备中的组合分类器网络模型文件版本号与OTA升级服务器中的组合分类器网络模型文件版本号，判断终端设备中的算法模型文件是否为最新版本。

在S203，若需要更新，下载组合分类器网络模型文件。

根据本申请的一些示例实施例，如果车载终端设备中的组合分类器网络模型文件不是最新版本，通过OTA升级方式下载OTA升级服务器中的最新版本算法模型文件，将下载的组合分类器网络模型文件缓存到终端设备的存储硬盘中。

在S205，校验下载的组合分类器网络模型文件。

在S207，若校验通过，将本地的所述组合分类器网络模型文件替换为下载的所述组合分类器网络模型文件。

根据本申请的一些示例实施例，组合分类器网络模型文件在下载完成后执行校验操作。如果下载的组合分类器网络模型文件校验正确，暂停视频图像实现渣土类型的算法识别流程中的组合分类器网络，使用下载的组合分类器网络模型文件替换组合分类器网络的组合分类器网络模型文件。根据一些实施例，在组合分类器网络模型文件替换完成后，还需要热重启渣土类型识别算法，重新初始化组合分类器网络，使用组合分类器网络加载新的组合分类器网络模型文件，使得新的组合分类器网络模型文件进入工作状态。

以上参照图2描述的技术方案，通过利用OTA在线升级方式更新实现渣土类型识别算法软升级，升级时无需停机、拆卸甚至返厂，在升级前后都不影响车载终端设备的正常使用，降低了渣土类型识别算法的升级和维护难度。

图3示出根据本申请示例实施例的一种监管工程渣土车的方法模型训练流程图。

在S301，获取训练用视频图像样本集和测试用视频图像样本集。

视频片段样本集合是在执行步骤S103时，在不同时间，由不同渣土车终端设备上传上来的。根据一些实施例，需要人工根据视频片段样本中的渣土车车厢装载状态给视频片段样本分配标签0或者1，0标签表示车厢为空，1标签表示车厢为非空。对于标签为1的视频片段样本，根据渣土种类为视频片段样本分配对应渣土种类的种类标签。将分配好标签的视频片段样本按标签种类移动到对应标签的文件夹保存。

根据本申请一些示例实施例，从视频片段样本集合中随机选取85％增加到组合分类器的训练样本集中，将剩余的15％视频片段样本集合增加到组合分类器的测试样本集中。在选取样本数据时，尽可能使训练样本集和测试样本集中没有同一时刻由同一台渣土车终端设备上传上来的训练样本和测试样本。

根据一些实施例，从训练样本集和测试样本集中的每个视频片段样本中随机抽取2～3个视频帧图像分别作为训练样本视频图像和测试用样本视频图像，同时为训练样本视频图像和测试用样本视频图像分配与其原视频片段样本相同的标签。

根据一些实施例，在利用样本视频图像进行算法训练和测试前，还需要对样本视频图像进行尺寸缩放、颜色空间变换、随机平移、随机翻转等预处理操作。

在S303，利用训练用视频图像样本和测试用视频图像样本周期性分别训练和验证第一分类器。

根据一些实施例，第一分类器有一个二分类器，用于将车厢分类为没有装载渣土的空车厢和装载着渣土的非空车厢两种类别。

根据一些实施例，训练时根据车厢装载状态标签对训练用视频图像样本进行类别数量控制。若某类标签的样本视频图像数量更多时，则跳过一部分数量的样本。保证参加第一分类器权重训练的空车厢和非空车厢样本视频图像数量基本一致。

根据一些实施例，在每一次训练完成后，利用测试用视频图像样本验证第一分类器，如果验证通过，则执行S305，如果验证不通过，需要调整第一分类器的参数，重新执行步骤S303。

在S305，利用第二分类器的训练用图像样本和验证第一分类器的测试用视频样本分别周期性训练和验证第二分类器。

根据一些实施例，在训练第二分类器时，仅使用非空车厢样本视频图像训练第二分类器，跳过没有装载渣土的空车厢样本视频图像。对于每一个非空车厢训练样本视频图像，根据一些实施例，需要对第二分类器的训练用图像样本在标定的ROI渣土区域截取。根据一些实施例，可利用一个配置文件，文件配置有图像名称、装载状态标签、渣土类型标签及需要裁定ROI渣土区域的位置坐标。截取算法每次读取配置文件，对训练用图像样本进行剪裁。

根据一些实施例，第二分类器设计为一个单标签多分类器，将渣土车厢装载的渣土细分归类为基坑弃土、混凝土碎块、废混凝土、废砂浆、沥青混凝土碎块、废砖、废砂石等种类。使用渣土车车厢渣土种类样本标签训练第二分类器。根据一些实施例，在此时训练第二分类器时，不训练第一分类器的权重。根据一些实施例，第二分类器采用ShuffleNet卷积神经网络识别装载渣土种类。ShuffleNet的核心就是用pointwise group convolution，channel shuffle和depthwise separable convolution代替ResNet block的相应层构成了ShuffleNet uint，达到了减少计算量和提高准确率的目的，是可以在移动设备上运行的深度网络。

根据一些实施例，在每一次训练完成后，利用用于测试第一分类器的测试用视频图像样本验证第二分类器，如果验证通过，则执行S307，如果验证不通过，需要调整第二分类器的参数，重新执行步骤S305。

在S307，若验证通过，利用第一分类器的训练用视频图像样本和测试用视频图像样本周期性联合训练和验证第一分类器和第二分类器。

根据一些实施例，使用训练集中的所有样本视频图像联合训练两个阶段的组合分类器，利用第一分类器的训练用视频图像样本和测试用视频图像样本训练第一分类器。对于第一分类器的训练用视频图像样本中装载着渣土的非空车厢样本视频图像，用于训练第2分类器，训练过程中将两个分类器的训练损失叠加起来作为联合分类器的训练损失。如果训练损失满足训练目标，结束训练过程，否则，需要调整第一分类器和第二分类器的参数，重新执行步骤S307。

在S309，若验证通过，将所述第一分类器和所述第二分类器封装到组合分类器网络模型文件，并将所述组合分类器网络模型文件存储升级服务器。根据一些示例实施例，当第一分类器和第二分类器联合训练通过后，将第一分类器和第二分类器封装到组合分类器网络模型文件，并将组合分类器网络模型文件存储升级服务器。

根据一些实施例，S303～S307，在验证时，以误差小于0.5％作为验证标准。如果训练时，误差小于0.5％，则认为验证通过，并执行下一步操作。

根据一些实施例，车载终端设备的渣土车辆装载状态和渣土种类的识别在服务器后台实现，服务器配置如图3所示的组合分类器模型。根据一些实施例，在识别过程中，服务器首先获取渣土车厢装载图像，然后利用如图3所示的组合分类器模型对渣土车辆装载状态和渣土种类进行识别，并将结果识别上报到监控中心。根据一些实施例，识别服务器通过检查组合分类器网络模型版本信息，能够自动实现组合分类器模型的自更新，即图2所示的更新功能。

以上参照图3描述的技术方案，通过将识别的视频图像增加到识别样本集中，利用增量学习算法，不断提高渣土类型识别算法的准确率和适应性，实现了算法模型的迭代优化。此种方案符合车载终端市场前期小范围试用，后期大规模推广的销售特点。尤其在中后期能够显著改善识别效果，方便了算法的推广和规模使用。

图4示出根据本申请示例实施例的一种监管工程渣土车的装置框图。

参见图4，一种监管工程渣土车的装置包括渣土车厢盖板监控模块401，用于获取渣土车厢盖板开始关闭信号。渣土车厢装载图像获取模块403，用于获取渣土车厢装载图像。渣土识别模块405，用于利用预先训练的组合分类器网络模型和渣土车厢装载图像识别车厢装载状态和装载的渣土种类。上报模块407，用于将车厢装载状态和渣土种类上报到监控中心。

图5a示出根据本申请示例实施例的另一种监管工程渣土车的方法流程图。图5b示出带有一空车厢的工程渣土车。图5c示出车厢关闭状态的工程渣土车。图5d示出装载有基坑弃土的工程渣土车。

下面结合图5，对根据本申请一种监管工程渣土车的方法具体实施方式进行详细说明。

在S501，在收到车厢盖板的开始关闭信号后，利用工程渣土车装载的摄像头获取装载渣土刚完成时刻的车厢图像视频。图5c示出了车厢关闭状态的工程渣土车。

在S503，采集5秒车厢图像视频片段。

在S505，将采集的5秒车厢图像视频片段保存到服务器，供训练监管工程渣土车的方法时作为训练样本。

在S507，从S303采集的5秒视频片段中取前5帧的随机1帧作为视频样本图像。

在S509，对视频样本图像后进行必要的编解码、颜色变换、缩放等预处理操作。

在S511，将预处理后的视频样本图像输入组合分类器网络。

在S513，利用第一分类器识别车厢的装载状态。

在S515，保存车厢的装载状态。

在S517，判断车厢是否为非空车厢。若车厢为图5b所示的空车厢，方法中止。

在S519，若车厢为如图5d所示的非空车厢，从第一分类器的输入视频样本图像中裁剪出标定好的被渣土覆盖的ROI渣土区域图像样本，丢弃车厢渣土图像的其余部分。

在S521，将S519得到的ROI渣土区域图像样本输入组合分类器网络的第二分类器，第二分类器识别图5d的装载的渣土类型为基坑弃土。

在S523，将S515保存的车厢状态和S521识别的渣土类型封装成网络包并上报到监控中心。

图6示出根据本申请示例实施例的一种监管工程渣土车的网络拓扑图。

如图6所示，根据本申请的示例实施例，车载终端通过摄像头获取视频图像并上传到组合分类器模型服务器中作为训练样本，组合分类器模型服务器将训练好的模型文件存储到升级服务器，车载终端从升级服务器下载最新版本的组合分类器网络模型，对采集的视频图像进行识别，判断渣土车的装载状态和装载的渣土种类。

以上参照图6描述的监管工程渣土车的技术方案，通过结合视频采集技术、视频流传输和存储技术、渣土类型识别算法增量学习技术和OTA通讯技术，实现一个渣土类型识别算法持续样本数据集采集、算法模型迭代优化、优化模型在线升级更新的闭环方法。

根据本申请示例实施例，一种车辆装载有图7所示的车载终端，能够实现如图1所示的算法，实现渣土类型识别。

下面参照图7来描述根据本申请的这种实施方式的车载终端200。图7显示的车载终端200仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图7所示，车载终端200以通用计算设备的形式表现。车载终端200的组件可以包括但不限于：至少一个处理单元210、至少一个存储单元220、连接不同系统组件(包括存储单元220和处理单元210)的总线230、显示单元240等。

其中，存储单元存储有程序代码，程序代码可以被处理单元210执行，使得处理单元210执行本说明书描述的根据本申请各种示例性实施方式的方法。例如，处理单元210可以执行如图1中所示的方法。

存储单元220可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)2201和/或高速缓存存储单元2202，还可以进一步包括只读存储单元(ROM)2203。

存储单元220还可以包括具有一组(至少一个)程序模块2205的程序/实用工具2204，这样的程序模块2205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线230可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

车载终端200也可以与一个或多个外部设备300(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该车载终端200交互的设备通信，和/或与使得该车载终端200能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口250进行。并且，车载终端200还可以通过网络适配器260与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器260可以通过总线230与车载终端200的其它模块通信。应当明白，尽管图中未示出，可以结合车载终端200使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。根据本申请实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、或者网络设备等)执行根据本申请实施方式的上述方法。

软件产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该计算机可读介质实现前述功能。

本领域技术人员可以理解上述各模块可以按照实施例的描述分布于装置中，也可以进行相应变化唯一不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

根据本申请的一些实施例，结合视频采集技术、视频流传输和存储技术、渣土类型识别算法增量学习技术和OTA通讯技术，实现了一个渣土类型识别算法持续样本数据采集、算法模型迭代优化、优化模型在线升级更新的闭环方法。解决了渣土类型识别算法采集样本的困难，且通过不断迭代和逐渐丰富的场景样本，使得算法具有准确率更高、适应性更好的特点。

以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明仅用于帮助理解本申请的方法及其核心思想。同时，本领域技术人员依据本申请的思想，基于本申请的具体实施方式及应用范围上做出的改变或变形之处，都属于本申请保护的范围。综上所述，本说明书内容不应理解为对本申请的限制。

Claims (17)

1.一种监管工程渣土车的方法，其特征在于，包括：

获取渣土车厢盖板开始关闭信号；

获取渣土车厢装载图像；

利用预先训练的组合分类器网络模型和所述渣土车厢装载图像识别车厢装载状态和装载的渣土种类；

将所述车厢装载状态和所述渣土种类上报到监控中心。

2.根据权利要求1所述的方法，其特征在于，获取渣土车厢装载图像，包括：

获取渣土车刚装载完成时刻的一定时长的渣土车厢装载图像视频片段；

从所述渣土车厢图像视频片段的前n帧中选取m帧作为渣土车厢装载图像。

3.根据权利要求1所述的方法，其特征在于，利用预先训练的组合分类器网络模型和所述渣土车厢装载图像识别车厢装载状态和装载的渣土种类，包括：

利用第一分类器和所述渣土车厢装载图像判断车厢装载状态是否为非空车厢；

保存车厢装载状态；

若为非空车厢，利用第二分类器和所述渣土车厢装载图像识别装载的渣土种类。

4.根据权利要求3所述的方法，其特征在于，在利用第一分类器和所述渣土车厢图像判断车厢装载状态是否为非空车厢之前，还包括：

预处理所述渣土车厢图像。

5.根据权利要求3所述的方法，其特征在于，在利用第二分类器和所述渣土车厢装载图像识别装载的渣土种类之前，还包括：

裁剪所述渣土车厢装载图像中被渣土覆盖的部分。

6.根据权利要求1所述的方法，其特征在于，还包括：

检查所述组合分类器网络模型是否需要更新；

若需要更新，下载组合分类器网络模型文件；

校验下载的所述组合分类器网络模型文件；

若校验通过，将本地的所述组合分类器网络模型文件替换为下载的所述组合分类器网络模型文件。

7.根据权利要求2所述的方法，其特征在于，获取渣土车刚装载完成时刻的一定时长的渣土车厢装载图像视频片段之后，还包括：

将所述渣土车厢图像装载视频片段上传到服务器。

8.一种用于监管工程渣土车的方法，其特征在于，包括：

获取训练用视频图像样本集和测试用视频图像样本集；

利用所述训练用视频图像样本和所述测试用视频图像样本周期性分别训练和验证第一分类器；

若验证通过，获取第二分类器的训练用图像样本；

利用所述第二分类器的训练用图像样本和验证所述第一分类器的所述测试用视频样本分别周期性训练和验证第二分类器；

若验证通过，利用所述第一分类器的所述训练用视频图像样本和所述测试用视频图像样本周期性联合训练和验证所述第一分类器和所述第二分类器；

若验证通过，将所述第一分类器和所述第二分类器封装到组合分类器网络模型文件，并将所述组合分类器网络模型文件存储升级服务器。

9.根据权利要求8所述的方法，其特征在于，获取训练用视频图像样本和测试用视频图像样本，包括：

获取分类的渣土车厢视频片段，所述渣土车厢视频片段配置有分类标签；

将所述分类的渣土车厢视频片段随机分组为测试用渣土车厢视频片段和训练用渣土车厢视频片段；

从所述训练用渣土车厢视频片段中抽取训练用视频图像样本，所述训练用视频图像样本配置有和所述训练用视频图像样本相同的分类标签；

从所述测试用渣土车厢视频片段中抽取测试用视频图像样本，所述测试用视频图像样本配置有和所述测试用视频图像样本相同的分类标签。

10.根据权利要求9所述的方法，其特征在于，获取训练用视频图像样本和测试用视频图像样本，还包括：

预处理所述训练用视频图像样本和所述测试用视频图像样本。

11.根据权利要求8所述的方法，其特征在于，获取第二分类器的训练用图像样本，包括：

从所述第一分类器的所述训练用视频图像样本中选取非空车厢训练用视频图像样本；

裁剪所述非空车厢训练用视频图像样本中被渣土覆盖的部分作为所述第二分类器的训练用图像样本。

12.根据权利要求8所述的方法，其特征在于：

所述第一分类器包括二分类器；

所述第二分类器包括单标签多分类器。

13.根据权利要求8所述的方法，其特征在于，还包括：

获取渣土车厢装载图像；

识别车厢装载状态和装载的渣土种类；

将所述车厢装载状态和装载的渣土种类上报到监控中心。

14.根据权利要求8所述的方法，其特征在于，还包括：

检查并更新组合分类器网络模型。

15.一种监管工程渣土车的装置，其特征在于，包括：

渣土车厢盖板监控模块，用于获取渣土车厢盖板开始关闭信号；

渣土车厢装载图像获取模块，用于获取渣土车厢装载图像；

渣土识别模块，用于利用预先训练的组合分类器网络模型和所述渣土车厢装载图像识别车厢装载状态和装载的渣土种类；

上报模块，用于将所述车厢装载状态和所述渣土种类上报到监控中心。

16.一种车载终端，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得一个或多个处理器实现如权利要求1-14中任一所述的方法。

17.一种车辆，其特征在于：

所述车辆包括如权利要求16所述的车载终端。

Images