CN115880616A

CN115880616A - 大型工程车辆清洗过程规范判定方法、装置及其应用

Info

Publication number: CN115880616A
Application number: CN202310216573.7A
Authority: CN
Inventors: 方剑锋; 韩致远; 王国梁; 来佳飞; 黄乾玮
Original assignee: CCI China Co Ltd
Current assignee: CCI China Co Ltd
Priority date: 2023-03-08
Filing date: 2023-03-08
Publication date: 2023-03-31
Anticipated expiration: 2043-03-08
Also published as: CN115880616B

Abstract

本申请提出了大型工程车辆清洗过程规范判定方法、装置及其应用，包括以下步骤：获取清洗工作人员绕车身冲洗一周的视频，并取该视频的第一帧的图像作为当前帧进行分析；对车身各部位、水柱及人体手部的位置进行目标分割；根据目标分割结果中的水柱分布情况，判断当前帧正在冲洗的车身部位，同步更新已冲洗车身部位比例并加入区域冲洗累计时间；在视频中再向后选取第n帧的图像，将其与第一帧的图像进行特征点配准，以识别出第n帧的图像中已经清洗的车身部分；重复步骤，直至视频结束；统计所有分析结果，将无未冲洗部位且满足车身各部位的清洗预设时长的情况认定为符合标准规范的冲洗过程。本申请可对清洗过程的有效性进行判定。

Description

大型工程车辆清洗过程规范判定方法、装置及其应用

技术领域

本申请涉及城市管理技术领域，特别是涉及大型工程车辆清洗过程规范判定方法、装置及其应用。

背景技术

随着城市建设进程的推进，大型工程车辆在城市建设过程中有着较高使用率，如渣土车，城市道路上随处可见渣土车的身影，但也随即也引入了诸多问题。由于渣土车工作环境的原因，导致车身非常容易沾染泥土等污渍，在行驶过程中随时会出现由于车身不洁导致泥土抖落到马路上的现象。该现象不仅影响了城市美观，也增加了道路安全隐患。

为了解决这个问题，城管部门也规定工程渣土车必须在指定清洗场所进行定期清洗，以保证车身上路时的清洁。目前主要清洗方式分为人工清洗和自动清洗机器清洗，其中自动清洗设备因为无法对某区域进行着重清洗，经常出现清洗效果不佳的情况，使用并不广泛。目前各个清洗场所主要还是以人工使用高压水枪进行手动清洗为主，但是人工清洗存在消极怠工，清洗区域遗漏等问题。

因此，亟待一种合理的清洗规范化判定方法，以对清洗过程的有效性进行判定。

发明内容

本申请实施例提供了大型工程车辆清洗过程规范判定方法、装置及其应用，针对目前技术人工清洗容易不规范，清洗区域遗漏的问题。

本发明核心技术主要是通过清洗人员头戴或肩戴式摄像头视频分析，对车辆和对场景高压水枪喷出的水柱同时进行目标分割，同时通过分割的结果，判定当前正在冲洗车身的部位。并提出使用图像配准算法，在人员环绕车辆冲洗过程中采集到的图像区域进行拼接处理，以保证车辆的各个部位都被清洗覆盖。最终通过对所有采集图片的分析，判定已经完成车身一圈环绕清洗过程。并且由于能够获取冲洗区域位置信息，可以对车身不同区域设置冲洗的不同的时间标准，未满足规定冲洗时间，则认为操作不符合规范，进一步保证了整个冲洗过程的有效性。

第一方面，本申请提供了大型工程车辆清洗过程规范判定方法，所述方法包括以下步骤：

S00、获取清洗工作人员绕车身冲洗一周的视频，并取该视频的第一帧的图像作为当前帧进行分析；

S10、对车身各部位、水柱及人体手部的位置进行目标分割；

S20、根据目标分割结果中的水柱分布情况，判断当前帧正在冲洗的车身部位，同步更新已冲洗车身部位比例并加入区域冲洗累计时间；

S30、在视频中再向后选取第n帧的图像，将其与第一帧的图像进行特征点配准，以识别出第n帧的图像中已经清洗的车身部分；

S40、重复S10~S30步骤，直至视频结束；

S50、统计所有分析结果，将无未冲洗部位且满足车身各部位的清洗预设时长的情况认定为符合标准规范的冲洗过程。

进一步地，S10步骤中，对车身进行目标检测，以面积最大的车辆作为检测得到的目标，通过对该目标进行目标分割得到车辆的各部位，包括车头、车门、车身、车尾、车头及车底设备。

进一步地，S10步骤中，水柱目标分割的具体步骤为：

对单条水柱的像素点分布进行分析，获取该水柱像素点分布在x轴方向的最大值和最小值以及在y轴方向的最大值和最小值，以得到该水柱像素点分布的中心点；

根据该中心点计算得到距离该中心点最远的两个极端像素点，分别作为水柱喷射出口和水柱冲洗在车身上的位置。

进一步地，S20步骤中，以图像中距离人体手部最近的极端像素点作为水柱喷射出口，并以另一个极端像素点为水柱冲洗在车身上的位置，在水柱冲洗在车身上的位置的中心向周围散射a个像素点的区域，形成axa的矩阵区域，该矩阵区域为当前清洗的有效区域。

进一步地，S20步骤中，根据当前清洗有效区域与分割到的车身各部位计算重合范围后，判断当前正在冲洗的车身位置信息以及冲洗覆盖面。

进一步地，水柱为高压水枪喷射出的柱状水柱。

进一步地，S30步骤中，通过图像配准算法ASIFT进行特征点配准。

第二方面，本申请提供了一种大型工程车辆清洗过程规范判定装置，包括：

视频提取模块，用于获取清洗工作人员绕车身冲洗一周的视频，并取该视频的第一帧的图像作为当前帧进行分析；

目标分割模块，用于对车身各部位、水柱及人体手部的位置进行目标分割；

分析模块，用于根据目标分割结果中的水柱分布情况，判断当前帧正在冲洗的车身部位，同步更新已冲洗车身部位比例并加入区域冲洗累计时间；在视频中再向后选取第n帧的图像，将其与第一帧的图像进行特征点配准，以识别出第n帧的图像中已经清洗的车身部分；重复分析操作，直至视频结束；

输出模块，用于统计所有分析结果，将无未冲洗部位且满足车身各部位的清洗预设时长的情况认定为符合标准规范的冲洗过程并输出。

第三方面，本申请提供了一种电子装置，包括存储器和处理器，存储器中存储有计算机程序，处理器被设置为运行计算机程序以执行上述的大型工程车辆清洗过程规范判定方法。

第四方面，本申请提供了一种可读存储介质，可读存储介质中存储有计算机程序，计算机程序包括用于控制过程以执行过程的程序代码，过程包括根据上述的大型工程车辆清洗过程规范判定方法。

本发明的主要贡献和创新点如下：1、与现有技术相比，本申请针对手持式高压水枪清洗车辆的场景，提出了按照车辆不同区域进行清洗的分析办法，使用本申请提出的方法，可以针对车辆易脏部位，难清洗部位进行识别和判定特定部位的冲洗时间，使得整体清洗规则更为严谨；

2、与现有技术相比，本申请还提出了基于整个清洗过程的视频，如何将不同角度的图像分析结果整合起来，最后作为全车清洗的依据。在清洗过程中，如果仅仅通过单张图像分析判定每个部分是否冲洗，会造成较多的误判：比如一个角度中，车辆已全部清洗，而在另一个角度分析单张分析过程中，已清洗的部位会给出未清洗的错误判定，因此需要将整个视频统一分析，才能得到全车是否完全清洗的结论。

3、综上，本申请过多项视频分析技术解决了现有渣土车冲洗过程不规范，操作质量较难把控的问题，对城市治理，提高市容市貌有着重要意义。

本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例的大型工程车辆清洗过程规范判定方法的流程图；

图2是根据本申请实施例的车身各部位的提取示意图；

图3是根据本申请实施例的清洗过程中水柱分割效果图；

图4是根据本申请实施例的不同角度下公共特征点(部分)匹配示意图；

图5是根据本申请实施例的清洗状态判断示意图一；

图6是根据本申请实施例的清洗状态判断示意图二；

图7是根据本申请实施例的电子装置的硬件结构示意图。

具体实施方式

这里将详细的对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书一个或多个实施例相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书一个或多个实施例的一些方面相一致的装置和方法的例子。

需要说明的是：在其他实施例中并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤。在一些其他实施例中，其方法所包括的步骤可以比本说明书所描述的更多或更少。此外，本说明书中所描述的单个步骤，在其他实施例中可能被分解为多个步骤进行描述；而本说明书中所描述的多个步骤，在其他实施例中也可能被合并为单个步骤进行描述。

目前各个清洗场所主要还是以人工使用高压水枪进行手动清洗为主，但是人工清洗存在消极怠工，清洗区域遗漏等问题，需要一套合理的清洗规范化判定方法，以对清洗过程的有效性进行判定。

基于此，本发明基于图像识别技术来解决该问题。本申请的大型工程车辆不仅限于渣土车，甚至是小轿车也能够采用。

实施例一

本申请旨在提出一种大型工程车辆清洗过程规范判定方法，具体地，参考图1，所述方法包括以下步骤：

在本实施例中，通过清洗人员头戴或肩戴式摄像头拍摄的视频。

S10、对车身各部位、水柱及人体手部的位置进行目标分割；

优选地，本步骤中车身各部位目标分割主要目的是用于对场景中车辆位置进行分割标定，以准确提取车辆在画面中的有效位置信息，主要有两个目的：1、排除画面中背景区域，减少后续不同角度车身图像拼接操作需要分析的特征点数量，增加准确率以及减少计算量。2、用于作为后续分析水柱喷射区域是否覆盖全车的蒙板依据，只有当水柱喷射区域面积覆盖车辆分割面积时，才认为车辆清洗操作达标。因此，本申请首先使用Darknet-53为骨干网络的目标检测模型对图像中的工程车辆进行检测，并取其中面积最大的车辆作为主要分析目标。其次使用MaskRcnn模型(应用现有技术)对检测到的车辆进行目标分割，实现车辆不同部位：车头、车门、车身、车尾、车轮和车底设备的检测分割操作，如图2所示。

优选地，本步骤中水柱目标分割负责对图像中人体手部位置进行检测，并对水柱位置进行分割提取。其中检测模型和分割模型与第一方面所提出的结构相同。并且分割模型在检测车头、车门、车身、车尾、车轮和车底设备的同时，增加对喷射水柱的分割，如图3所示。这里需要注意的是，使用的清洗设备需要指定使用高压水枪进行柱状水柱的喷射，水清洗过程中高压水枪喷射虽会有部分水珠水雾，但是不会出现整体形态较大变动，由附图3中也可观察到，水柱形态在空中基本上是保持柱状的。而使用花洒式喷水设备会导致水柱形态不明显从而影响水柱识别效果以及后续的喷射位置分析准确率。

在本实施例中，完成分割之后，根据高压水柱形态判断正在冲洗的车身区域，分为以下几个步骤：

1．首先对单条水柱像素点分布进行分析，判断水柱像素点分布在x轴方向的最小和最大值x_min,x_max以及y轴方向的最小和最大值y_min,y_max，取其中心点(x_max+x_min) / 2，(y_max+y_min) / 2作为水柱的中心点C。

2．从水柱像素分布点中计算得到距离水柱中心点C距离最远的两个分布的水柱像素点（极端像素点）P1，P2。常识性的，这两个最远点分别代表水柱喷射的出口和水柱冲洗在车身的位置。

3．根据P1和P2位置，计算距离点最接近的人体手部位置，由于其中一个点是落于车身上的，另一个点的位置是高压水枪，由人手握，很容易通过两点与图像中手部的距离判断出冲洗车辆的区域位置。

4．因为高压水枪在接触到车身会散开，因此本发明认为以水柱接触车身的点位为中心，向周围散射10个像素点的区域，形成10x10的矩阵范围，该范围是当前清洗的有效区域。

5.根据当前清洗有效区域与分割到的车身各个部位计算重合范围后，即能判断当前正在冲洗的车身位置信息以及冲洗覆盖面，经过视频流多帧分析过程能够进一步获取车身各个部位是否全部经过清洗以及某个部位的清洗时长等详细信。

其中，进行了手部、车身以及水柱的检测后，首先通过对水柱像素点分布进行分析，较容易能够得到水柱的两个端点坐标，只需要将两端点的坐标分别与手部坐标和车身坐标进行比较，距离手部较近的端点代表为喷枪喷出的部分，距离车辆较近的部位则为车辆接触部分。

在本实施例中，由于整个车身清洗过程中，清洗人员会手持高压水枪绕车一周进行清洗，因此能够获取到整个过程中完整的视频流。对于每一时刻的图像帧，都可以对其进行S20步骤的局部分析。那么，本步骤提出来的方法解决的问题是，如何通过对视频前后帧的关联处理，来判断两帧之间所冲洗的是同一区域，从而通过对帧间隔的计算，得到全部车身各个区域所对应的冲洗时长。因为在实际使用中，不同区域需要冲洗的时间是不同的，车轮、车身、车尾这些较易残留污垢的区域，往往比车头和车底设备更长的清洗时长。

因此，利用图像配准算法ASIFT(现有成熟的算法)实现同一车辆在不同拍摄角度下，公共特征点的匹配操作，以附图4为例，通过ASIFT能够将两辆车相同部位的特征点对应起来。

值得一提的是，图4所展示的图像拍摄角度差距较大，在实际操作过程中，从视频流中截取的两张图像之间的帧序列距离，不会超过15帧。在这种情况下，拍摄角度突变更为缓和，匹配到的特征点更加准确，数量更多。

以图4左侧部分为例，图5为其经过水柱目标分割后得到的清洗状态，从图中可以看到经过清洗的部位都能够以10x10像素块级别的密度进行标记，而通过特征点匹配方法，同样能在图4右侧部分所对应角度的图像中，标记出已清洗和未清洗的车辆部位，如图6所示。

S40、重复S10~S30步骤，直至视频结束；

在本实施例中，如此按照上述思路，当车身上所有部位都被标记成已清洗，并且不同部位冲洗时间均符合要求后，则可认为此次冲洗过程是符合规范的，冲洗规范判定逻辑结束。

实施例二

基于相同的构思，本申请还提出了一种大型工程车辆清洗过程规范判定装置，包括：

实施例三

本实施例还提供了一种电子装置，参考图7，包括存储器404和处理器402，该存储器404中存储有计算机程序，该处理器402被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

具体地，上述处理器402可以包括中央处理器（CPU），或者特定集成电路（ApplicationSpecificIntegratedCircuit，简称为ASIC），或者可以被配置成实施本申请实施例的一个或多个集成电路。

其中，存储器404可以包括用于数据或指令的大容量存储器404。举例来说而非限制，存储器404可包括硬盘驱动器（HardDiskDrive，简称为HDD）、软盘驱动器、固态驱动器（SolidStateDrive，简称为SSD）、闪存、光盘、磁光盘、磁带或通用串行总线（UniversalSerialBus，简称为USB）驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器404可包括可移除或不可移除（或固定）的介质。在合适的情况下，存储器404可在数据处理装置的内部或外部。在特定实施例中，存储器404是非易失性（Non-Volatile）存储器。在特定实施例中，存储器404包括只读存储器（Read-OnlyMemory，简称为ROM）和随机存取存储器（RandomAccessMemory，简称为RAM）。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM（ProgrammableRead-OnlyMemory，简称为PROM）、可擦除PROM（ErasableProgrammableRead-OnlyMemory，简称为EPROM）、电可擦除PROM（ElectricallyErasableProgrammableRead-OnlyMemory，简称为EEPROM）、电可改写ROM（ElectricallyAlterableRead-OnlyMemory，简称为EAROM）或闪存（FLASH）或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器（StaticRandom-AccessMemory，简称为SRAM）或动态随机存取存储器（DynamicRandomAccessMemory，简称为DRAM），其中，DRAM可以是快速页模式动态随机存取存储器404（FastPageModeDynamicRandomAccessMemory，简称为FPMDRAM）、扩展数据输出动态随机存取存储器（ExtendedDateOutDynamicRandomAccessMemory，简称为EDODRAM）、同步动态随机存取内存（SynchronousDynamicRandom-AccessMemory，简称SDRAM）等。

存储器404可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器402所执行的可能的计算机程序指令。

处理器402通过读取并执行存储器404中存储的计算机程序指令，以实现上述实施例中的任意大型工程车辆清洗过程规范判定方法。

可选地，上述电子装置还可以包括传输设备406以及输入输出设备408，其中，该传输设备406和上述处理器402连接，该输入输出设备408和上述处理器402连接。

传输设备406可以用来经由一个网络接收或者发送数据。上述的网络具体实例可包括电子装置的通信供应商提供的有线或无线网络。在一个实例中，传输设备包括一个网络适配器（Network Interface Controller，简称为NIC），其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备406可以为射频（Radio Frequency，简称为RF）模块，其用于通过无线方式与互联网进行通讯。

输入输出设备408用于输入或输出信息。在本实施例中，输入的信息可以是一段完整的车身清洗过程视频等，输出的信息可以是是否符合规范等。

实施例四

本实施例还提供了一种可读存储介质，可读存储介质中存储有计算机程序，计算机程序包括用于控制过程以执行过程的程序代码，过程包括根据实施例一的大型工程车辆清洗过程规范判定方法。

需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

通常，各种实施例可以以硬件或专用电路、软件、逻辑或其任何组合来实现。本发明的一些方面可以以硬件来实现，而其他方面可以以可以由控制器、微处理器或其他计算设备执行的固件或软件来实现，但是本发明不限于此。尽管本发明的各个方面可以被示出和描述为框图、流程图或使用一些其他图形表示，但是应当理解，作为非限制性示例，本文中描述的这些框、装置、系统、技术或方法可以以硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或其他计算设备或其某种组合来实现。

本发明的实施例可以由计算机软件来实现，该计算机软件由移动设备的数据处理器诸如在处理器实体中可执行，或者由硬件来实现，或者由软件和硬件的组合来实现。包括软件例程、小程序和/或宏的计算机软件或程序(也称为程序产品)可以存储在任何装置可读数据存储介质中，并且它们包括用于执行特定任务的程序指令。计算机程序产品可以包括当程序运行时被配置为执行实施例的一个或多个计算机可执行组件。一个或多个计算机可执行组件可以是至少一个软件代码或其一部分。另外，在这一点上，应当注意，如图中的逻辑流程的任何框可以表示程序步骤、或者互连的逻辑电路、框和功能、或者程序步骤和逻辑电路、框和功能的组合。软件可以存储在诸如存储器芯片或在处理器内实现的存储块等物理介质、诸如硬盘或软盘等磁性介质、以及诸如例如DVD及其数据变体、CD等光学介质上。物理介质是非瞬态介质。

本领域的技术人员应该明白，以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以作出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims

1.大型工程车辆清洗过程规范判定方法，其特征在于，包括以下步骤：

S10、对车身各部位、水柱及人体手部的位置进行目标分割；

S40、重复S10~S30步骤，直至视频结束；

2.如权利要求1所述的大型工程车辆清洗过程规范判定方法，其特征在于，S10步骤中，对车身进行目标检测，以面积最大的车辆作为检测得到的目标，通过对该目标进行目标分割得到车辆的各部位，包括车头、车门、车身、车尾、车头及车底设备。

3.如权利要求1所述的大型工程车辆清洗过程规范判定方法，其特征在于，S10步骤中，水柱目标分割的具体步骤为：

4.如权利要求3所述的大型工程车辆清洗过程规范判定方法，其特征在于，S20步骤中，以图像中距离人体手部最近的极端像素点作为水柱喷射出口，并以另一个极端像素点为水柱冲洗在车身上的位置，在水柱冲洗在车身上的位置的中心向周围散射a个像素点的区域，形成axa的矩阵区域，该矩阵区域为当前清洗的有效区域。

5.如权利要求4所述的大型工程车辆清洗过程规范判定方法，其特征在于，S20步骤中，根据当前清洗有效区域与分割到的车身各部位计算重合范围后，判断当前正在冲洗的车身位置信息以及冲洗覆盖面。

6.如权利要求1-5任一项所述的大型工程车辆清洗过程规范判定方法，其特征在于，所述水柱为高压水枪喷射出的柱状水柱。

7.如权利要求1-5任一项所述的大型工程车辆清洗过程规范判定方法，其特征在于，S30步骤中，通过图像配准算法ASIFT进行特征点配准。

8.一种大型工程车辆清洗过程规范判定装置，其特征在于，包括：

9.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至7任一项所述的大型工程车辆清洗过程规范判定方法。

10.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序，所述计算机程序包括用于控制过程以执行过程的程序代码，所述过程包括根据权利要求1至7任一项所述的大型工程车辆清洗过程规范判定方法。