CN112633168B - 一种垃圾车翻桶动作识别方法、装置及垃圾车 - Google Patents

一种垃圾车翻桶动作识别方法、装置及垃圾车 Download PDF

Info

Publication number
CN112633168B
CN112633168B CN202011536760.6A CN202011536760A CN112633168B CN 112633168 B CN112633168 B CN 112633168B CN 202011536760 A CN202011536760 A CN 202011536760A CN 112633168 B CN112633168 B CN 112633168B
Authority
CN
China
Prior art keywords
frame
image
dustbin
turning
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011536760.6A
Other languages
English (en)
Other versions
CN112633168A (zh
Inventor
张轩瑜
罗辉辉
尹峥晖
艾宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fengyun Wulian Technology Co ltd
Changsha Zoomlion Environmental Industry Co Ltd
Original Assignee
Fengyun Wulian Technology Co ltd
Changsha Zoomlion Environmental Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fengyun Wulian Technology Co ltd, Changsha Zoomlion Environmental Industry Co Ltd filed Critical Fengyun Wulian Technology Co ltd
Priority to CN202011536760.6A priority Critical patent/CN112633168B/zh
Publication of CN112633168A publication Critical patent/CN112633168A/zh
Application granted granted Critical
Publication of CN112633168B publication Critical patent/CN112633168B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65F—GATHERING OR REMOVAL OF DOMESTIC OR LIKE REFUSE
    • B65F3/00—Vehicles particularly adapted for collecting refuse
    • B65F3/02—Vehicles particularly adapted for collecting refuse with means for discharging refuse receptacles thereinto
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02W—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO WASTEWATER TREATMENT OR WASTE MANAGEMENT
    • Y02W30/00—Technologies for solid waste management
    • Y02W30/10—Waste collection, transportation, transfer or storage, e.g. segregated refuse collecting, electric or hybrid propulsion

Abstract

本发明公开了一种垃圾车翻桶动作识别方法、装置及垃圾车，所述方法包括步骤：提取一次完整翻桶过程中，根据设定的帧速率所采集的每一帧图像；在每一帧图像中针对垃圾箱进行目标检测，得到每一帧图像中的垃圾箱初步检测结果，所述初步检测结果包括颜色、数量和目标框在图像中的位置信息；将所检测到的每一帧图像中的垃圾箱初步检测结果进行汇总统计，得到当前翻桶过程中垃圾箱的目标参数规格，所述目标参数规格包括颜色、数量和容量。本发明在车载边缘计算单元的计算能力受限时，通过对整个翻桶过程中的每一帧图像的目标检测结果的统计分析，对垃圾箱的颜色、容量和数量信息做出判断，大幅度提升对翻桶过程及相应垃圾桶的信息识别准确率。

Description

一种垃圾车翻桶动作识别方法、装置及垃圾车
技术领域
本发明涉及计算机视觉领域，特别地，涉及一种垃圾车翻桶动作识别方法、装置及垃圾车。
背景技术
随着环境污染和垃圾处理问题的日渐显现，社会对垃圾分类回收的重视程度越来越高。对于收集垃圾箱的翻桶式垃圾车而言，如何监督车辆操作人员的操作规范以及统计他们的工作量是一项重要议题。对垃圾车的翻桶数据进行采集和统计是一个很好的思路。通过收集和统计翻桶过程中垃圾箱颜色、规格、数量、容量可以用来判断该垃圾车所收的垃圾箱是否符合其规定收集的垃圾分类标准，也可以对环卫工作人员的工作量进行统计，作为垃圾车路线调度和工人绩效计算的重要基础。
近几年来，基于深度学习的目标检测算法取得了很大的突破。然而，考虑到成本和能耗，可以在垃圾车的这项工作中使用的边缘计算单元的计算能力远远小于一般动作识别所需要的计算能力，计算能力的局限性使得一些复杂的目标检测算法无法部署。此外，效果良好的动作识别算法大多是基于视频样本实现的，清楚地标明了动作的开始和结束。由于在车载边缘计算单元的计算能力有限，因此不能使用视频数据集，同时，正是因为车载边缘计算单元的计算能力有限，其搭载的对象检测模型(例如YOLOv3-tiny)的准确性通常也较低，物体检测的边界框尺寸在连续帧中不稳定，因此也不能直接由像素区域尺寸来确定。另外，因不同规格的垃圾箱外观相同，只是大小不同，无法通过2D图像的目标检测直接区分它们。以上问题，最终都会导致基于深度学习进行采集和统计翻桶数据难以达到所需的精度，识别结果错误会导致数据统计不准，从而降低了垃圾车翻桶数据的准确性和可靠性。
发明内容
本发明一方面提供了一种垃圾车翻桶动作识别方法，以解决现有的垃圾车因车载边缘计算单元的计算能力有限导致的垃圾车翻桶数据的准确性和可靠性较低的问题。
本发明采用的技术方案如下：
一种垃圾车翻桶动作识别方法，包括步骤：
提取一次完整翻桶过程中，根据设定的帧速率所采集的每一帧图像；
在每一帧图像中针对垃圾箱进行目标检测，得到每一帧图像中的垃圾箱初步检测结果，所述初步检测结果包括颜色、数量和目标框在图像中的位置信息；
将所检测到的每一帧图像中的垃圾箱初步检测结果进行汇总统计，得到当前翻桶过程中垃圾箱的目标参数规格，所述目标参数规格包括颜色、数量和容量。
进一步地，提取一次完整翻桶过程中，根据设定的帧速率所采集的每一帧图像，包括步骤：
根据每一帧图像中最大目标像素区域大小MaxAeraSize与图像的总像素区域大小ImageShape中的占比，确定每一帧图像在翻桶过程中的状态，所述状态包括起始帧、结束帧、正在翻桶和未在翻桶；
提取翻桶过程中状态为起始帧、结束帧、正在翻桶的每一帧图像。
进一步地，所述根据每一帧图像中最大目标像素区域大小MaxAeraSize与图像的总像素区域大小ImageShape中的占比，确定每一帧图像在翻桶过程中的状态，包括步骤：
获取每一帧图像中的最大目标像素区域大小MaxAeraSize和图像的总像素区域大小ImageShape；
若MaxAeraSize>＝ImageShape×Ts，判断设定指示参数是否为真，若为真则将当前帧图像的状态记为起始帧，若为假则将当前帧图像的状态记为正在翻桶；
若MaxAeraSize<ImageShape×Ts，判断设定指示参数是否为假，若为假，则将当前帧图像的状态记为结束帧，若为真，则将当前帧图像的状态记为未在翻桶。
进一步地，所述将当前帧图像的状态记为起始帧，具体包括步骤：
计算当前帧图像与上一次垃圾箱翻桶过程结束帧的时间差TimeGap1；
若TimeGap1>Tt1，则将当前帧图像的状态记为起始帧，Tt1为设定阈值；
所述将当前帧图像的状态记为结束帧，具体包括步骤：
计算从MaxAeraSize>＝ImageShape×Ts到MaxAeraSize<ImageShape×Ts的时间差TimeGap2；
若TimeGap2>Tt2，将当前帧图像的状态记为结束帧，Tt2为设定阈值。
进一步地，若TimeGap2>Tt2，将当前帧图像的状态记为结束帧，具体包括步骤：
若TimeGap2>Tt2，统计在TimeGap2期间识别的帧数S；
若S>Tn时，将当前帧图像的状态记为结束帧，Tn为设定阈值。
进一步地，提取一次完整翻桶过程中，根据设定的帧速率所采集的每一帧图像之前，还包括步骤：
采集各种作业环境下的垃圾车翻桶图像数据，对垃圾车翻桶图像数据进行标注后作为训练样本训练并得到目标检测模型，所述目标检测模型包括YOLOv3-tiny、Faster-RCNN。
进一步地，在每一帧图像中针对垃圾箱进行目标检测，得到每一帧图像中的垃圾箱初步检测结果，包括步骤：
依次对每一帧图像中垃圾箱进行目标检测，获得每一帧图像中垃圾箱所在的仓位、颜色、垃圾箱数量、目标框与图像设定位置的垂直距离；
将每一帧图像中所获得的颜色编码后，采用累加的方式存入相应四元数组Tshi的指定元素中；将每一帧图像中所获得的垃圾箱数量编码后，采用累加的方式存入相应二元数组Quai的指定元素中。
进一步地，将所检测到的每一帧图像中的垃圾箱初步检测结果进行汇总统计，得到当前翻桶过程中垃圾箱的目标参数规格，包括步骤：
根据翻桶过程中每一帧图像对应的四元数组Tshi的值求得垃圾箱的颜色：
其中，C代表垃圾箱的颜色，Index()代表获取数组下标的函数，Max()代表获取数组最大值的函数，n代表垃圾箱翻桶期间的总帧数，表示对垃圾箱翻桶期间的四元数组Tshi累加求和；
根据翻桶过程中每一帧图像对应的二元数组Quai的值求得垃圾箱的数量：
其中，N表示垃圾箱数量，表示对垃圾箱翻桶期间二元数组
Quai累加求和；
计算翻桶过程中所有帧图像中目标框与图像左上角的垂直距离的平均值根据所述平均值V确定相应垃圾箱的容量规格。
本发明的另一方面还提供了一种垃圾车翻桶动作识别装置，包括：
帧图像提取模块，用于提取一次完整翻桶过程中，根据设定的帧速率所采集的每一帧图像；
目标检测模块，用于在每一帧图像中针对垃圾箱进行目标检测，得到每一帧图像中的垃圾箱初步检测结果，所述初步检测结果包括颜色、数量和目标框在图像中的位置信息；
汇总统计模块，用于将所检测到的每一帧图像中的垃圾箱初步检测结果进行汇总统计，得到当前翻桶过程中垃圾箱的目标参数规格。
本发明的另一方面还提供了一种垃圾车，包括有对垃圾箱进行翻转的翻桶装置，还包括：
摄像头，安装在所述垃圾车上，用于根据设定的帧速率采集垃圾箱翻桶过程中的帧图像；
车载边缘计算单元，与所述摄像头信号连接，用于实现所述垃圾车翻桶动作识别方法。
本发明具有以下有益效果：
本发明的垃圾车翻桶动作识别方法在提取一次完整翻桶过程中，根据设定的帧速率所采集的每一帧图像的基础上，将在每一帧图像中针对垃圾箱进行目标检测所得的垃圾箱初步检测结果进行汇总统计，得到当前翻桶过程中垃圾箱的目标参数规格。受限于车载边缘计算单元的计算能力，本发明没有基于视频样本实现目标检测，而是通过对整个翻桶过程中按设定帧速率提取的每一帧图像的目标检测结果的统计数据，对翻桶过程中涉及垃圾箱的颜色、容量和数量信息做出判断，克服了因车载边缘计算单元及其搭载的检查模型算力有限的问题，提高信息采集效率和鲁棒性；另外，由于本发明是对帧图像进行目标识别的方法可以看作是一种基于静态图像的动作识别，由于车载移动边缘计算单元的计算能力有限，仅将单个帧图像用于判断，则错误的可能性是不可接受的，因此本发明没有直接使用单个帧来确定垃圾箱的信息，而是根据每一帧图像中进行目标检测所得的垃圾箱初步检测结果进行汇总统计来得到检测结果，克服了单个帧图像检测时的错误率，大幅度提升对翻桶过程以及其中涉及垃圾箱信息的识别准确率。
本发明结合计算机视觉和基于深度学习的目标检测模型，自动识别垃圾箱的翻桶状态和参数规格，起到监督车辆操作人员的操作规范以及统计工作量、以及判断该垃圾车所收的垃圾箱是否符合其规定收集的垃圾分类标准的目的，既克服了车载边缘计算单元及其搭载的检查模型算力有限的问题，同时还确保了垃圾箱信息的识别准确率。
除了上面所描述的目的、特征和优点之外，本发明还有其它的目的、特征和优点。下面将参照附图，对本发明作进一步详细的说明。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明优选实施例的垃圾车翻桶动作识别方法流程图。
图2是本发明优选实施例的步骤S2的子步骤流程图。
图3是本发明优选实施例的步骤S21的子步骤流程图。
图4是垃圾箱翻桶过程中MaxAeraSize的变化规律示意图。
图5是本发明优选实施例的步骤S212的子步骤流程图。
图6是本发明优选实施例的步骤S213的子步骤流程图。
图7是本发明优选实施例的步骤S2132的子步骤流程图。
图8是本发明另一优选实施例中垃圾车翻桶动作识别方法流程图。
图9是本发明优选实施例的步骤S3的子步骤流程图。
图10是本发明优选实施例的步骤S4的子步骤流程图。
图11是垃圾箱翻转过程的120L垃圾箱和240L垃圾箱的y值变化曲线示意图。
图12是本发明优选实施例的垃圾车翻桶动作识别装置模块示意图。
图13为本发明优选实施例的电子设备实体示意框图。
图14是本发明优选实施例的垃圾车结构示意图。
图中：1、摄像头；2、车载通讯设备；3、车载边缘计算单元；4、垃圾箱。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
如图1所述，本发明的优选实施例提供了一种垃圾车翻桶动作识别方法，包括步骤：
S2、提取一次完整翻桶过程中，根据设定的帧速率所采集的每一帧图像；
S3、在每一帧图像中针对垃圾箱进行目标检测，得到每一帧图像中的垃圾箱初步检测结果，所述初步检测结果包括颜色、数量和目标框在图像中的位置信息；
S4、将所检测到的每一帧图像中的垃圾箱初步检测结果进行汇总统计，得到当前翻桶过程中垃圾箱的目标参数规格，所述目标参数规格包括颜色、数量和容量。
近几年来，基于深度学习的目标检测算法取得了很大的突破。目标检测，即从一幅场景(图片)中找出目标，包括定位(找到目标对象在哪)和识别(判断目标对象是什么)两个过程。垃圾车在翻桶过程中，垃圾箱与摄像头间的距离会经历一个由远及近再由近到远的过程，在图像中将表现为垃圾箱所占的像素面积先由小到大再由大到小的动态过程，因此，本实施例的数据采集方法利用对垃圾箱进行目标跟踪时帧图像中垃圾箱的最大目标像素面积是否满足设定条件来判断垃圾车是否处于正在翻桶的过程中。
本实施例的垃圾车翻桶动作识别方法在提取一次完整翻桶过程中，根据设定的帧速率所采集的每一帧图像的基础上，将在每一帧图像中针对垃圾箱进行目标检测所得的垃圾箱初步检测结果进行汇总统计，得到当前翻桶过程中垃圾箱的目标参数规格。受限于车载边缘计算单元的计算能力，本实施例没有基于视频样本实现目标检测，而是通过对整个翻桶过程中按设定帧速率提取的每一帧图像的目标检测结果的统计数据，对翻桶过程中涉及垃圾箱的颜色、容量和数量信息做出判断，克服了因车载边缘计算单元及其搭载的检查模型算力有限的问题，提高信息采集效率和鲁棒性；另外，由于本实施例是对帧图像进行目标识别的方法可以看作是一种基于静态图像的动作识别，由于车载移动边缘计算单元的计算能力有限，仅将单个帧图像用于判断，则错误的可能性是不可接受的，因此本实施例没有直接使用单个帧来确定垃圾箱的信息，而是根据每一帧图像中进行目标检测所得的垃圾箱初步检测结果进行汇总统计来得到检测结果，由于本实施例是基于垃圾车翻桶过程中所有帧的目标检测结果的统计数据进行判断的，这样可以有效地减少由于模型精度不足引起的误差，克服了单个帧图像检测时的错误率，大幅度提升对翻桶过程以及其中涉及垃圾箱信息的识别准确率。
如图2所示，在本发明的优选实施例中，提取一次完整翻桶过程中，根据设定的帧速率所采集的每一帧图像，包括步骤：
S21、根据每一帧图像中最大目标像素区域大小MaxAeraSize与图像的总像素区域大小ImageShape中的占比，确定每一帧图像在翻桶过程中的状态，所述状态包括起始帧、结束帧、正在翻桶和未在翻桶；
S22、提取翻桶过程中状态为起始帧、结束帧、正在翻桶的每一帧图像。
具体地，如图3所示，所述根据每一帧图像中最大目标像素区域大小MaxAeraSize与图像的总像素区域大小ImageShape中的占比，确定每一帧图像在翻桶过程中的状态，包括步骤：
S211、获取每一帧图像中的最大目标像素区域大小MaxAeraSize和图像的总像素区域大小ImageShape；
S212、若MaxAeraSize>＝ImageShape×Ts，判断设定指示参数是否为真，若为真则将当前帧图像的状态记为起始帧并将设定指示参数的值反转，若为假则将当前帧图像的状态记为正在翻桶；
S213、若MaxAeraSize<ImageShape×Ts，判断设定指示参数是否为假，若为假，则将当前帧图像的状态记为结束帧并将设定指示参数的值反转，若为真，则将当前帧图像的状态记为未在翻桶。
由于垃圾车翻桶动作识别方法是基于垃圾车翻桶过程中所有帧的目标检测结果的统计数据进行判断的，这样可以有效地减少由于模型精度不足引起的误差。因此，本实施例必须能够准确确定每个垃圾箱翻桶过程的开始和结束，在确定了垃圾箱翻桶过程的开始和结束后，才能以此为约束，采集到垃圾车翻桶过程中所有帧图像，以免因多采或漏采帧图像，导致对翻桶过程以及其中涉及垃圾箱信息的识别准确率下降。
本实施例使用目标检测结果中目标大小的变化规律确定整个垃圾箱翻桶过程的开始和结束。本实施例使用两个参数来指示垃圾箱倾卸状态的转变：第一个变量是对象像素区域大小，尽管在垃圾箱倾倒过程中可能会出现一个或两个垃圾箱，但本实施例仅考虑最大目标的像素区域大小，该大小记录为MaxAeraSize，在垃圾箱翻桶过程中，MaxAeraSize的变化规律如图4所示。
从图4可以看出，MaxAeraSize值具有先上升然后下降的过程。此规则使帧中的MaxAeraSize值可用于指示此帧图像是否属于垃圾箱翻桶过程的图像数据。因此，本实施例设置阈值Ts来区分MaxAeraSize值大于ImageShape×Ts的帧图像和MaxAeraSize值小于ImageShape×Ts的帧图像。ImageShape是图像的总像素区域大小，这使得Ts可以适应不同分辨率的相机。
但是，仅MaxAeraSize不能代表垃圾箱翻桶过程中的所有状态。垃圾箱翻桶过程的开始帧和结束帧需要特殊处理，因为开始帧需要初始化统计变量，结束帧需要将数据发送到车载计算机，并且垃圾箱翻桶过程中的所有帧图像都需要用于数据统计。因此，本实施例使用布尔类型的设定指示参数outProcess来辅助指示状态转换，outProcess的初始化值是1。通过MaxAeraSize和outProcess这两个参数，可以完全表示所有四个状态，并且对应关系如表1所示。
表1
由于本实施例的动作识别方法不是基于视频样本实现的，没有清楚地标明了动作的开始和结束，而单纯的目标检测又无法确定垃圾箱翻桶过程的开始和结束，因此，本实施例使用目标检测结果中目标大小的变化规律确定整个垃圾箱翻桶过程的开始和结束，从而能够准确确定每个垃圾箱翻桶过程的开始和结束，进而采集到垃圾车翻桶过程中所有帧图像，同时，确定过程还能适应不同分辨率的相机。
如图5所示，在本发明的优选实施例中，所述将当前帧图像的状态记为起始帧，具体包括步骤：
S2121、计算当前帧图像与上一次垃圾箱翻桶过程结束帧的时间差TimeGap1；
S2122、若TimeGap1>Tt1，则将当前帧图像的状态记为起始帧，Tt1为设定阈值；
如图6所示，所述将当前帧图像的状态记为结束帧，具体包括步骤：
S2131、计算从MaxAeraSize>＝ImageShape×Ts到MaxAeraSize<ImageShape×Ts的时间差TimeGap2；
S2132、若TimeGap2>Tt2，将当前帧图像的状态记为结束帧，Tt2为设定阈值。
尽管基于目标识别结果的统计数据判断垃圾箱的信息已经具有了一定的容错性，但仍然存在一些误识别情况，会严重影响识别过程。为了确保本实施例的健壮性，必须有效解决这些情况。
如出现在垃圾箱翻桶过程中的某个帧中没有标识垃圾箱。在这种情况下，MaxAeraSize的值为0。如果仅基于MaxAeraSize和outProcess进行判断，则将判断翻桶过程结束。当在下一帧图像中识别出垃圾箱时，将确定此帧图像是新垃圾箱翻桶过程的开始，这显然是错误的。为了解决这个问题，时间的规律性被认为是确定的必要条件之一。将当前垃圾箱翻桶过程的开始时间设置为上一次垃圾箱翻桶过程的结束时间，作为TimeGap1。在垃圾箱翻桶过程中，从MaxAeraSize>＝ImageShape×Ts到MaxAeraSize<ImageShape×Ts的时间差为TimeGap2。由于当前垃圾箱翻桶过程的开始时间和上一次垃圾箱翻桶过程的结束时间之间必须具有合理的时间间隔，因此，仅当TimeGap1>Tt1时，才会确定此帧图像是垃圾箱翻桶过程的开始帧。同样，由于一次完整的垃圾箱翻桶过程必须具有合理的时间间隔，因此，只有当TimeGap2>Tt2时，才会确定该帧图像是垃圾箱翻桶过程的结束帧。其中，Tt1和Tt2的值应根据多个环卫工人的操作习惯和车辆参数的统计确定。本实施例中Tt1和Tt2的值分别为3.5s和10s。
本实施例通过引入时间间隔来区分正常翻桶和非正常翻桶，解决了因识别不稳定造成的误采集问题，从而避免错误判断翻桶过程中开始和结束，大大提高了数据采集的鲁棒性和纠错能力，保证数据采集的可靠性和稳定性。
如图7所示，在本发明的优选实施例中，若TimeGap2>Tt2，将当前帧图像的状态记为结束帧，具体包括步骤：
S21321、若TimeGap2>Tt2，统计在TimeGap2期间识别的帧数S；
S21322、若S>Tn时，将当前帧图像的状态记为结束帧，Tn为设定阈值。
由于车辆驾驶期间处于连续运行中，并且道路场景复杂，因此可能存在类似于垃圾箱的其他物品，从而导致错误的目标检测结果，一旦所标识对象的像素区域大小大于阈值，就会产生错误数据，因此，本实施例在上述实施例的基础上，增加了对相似目标的误认处理机制：本实施例用帧数来过滤这种情况，由于误识别现象一般是不连续的，属于偶发性事件，一般仅在1～2帧内发生，因此，本实施例通过统计在TimeGap2期间识别的帧数S来判断是否出现误检，当在TimeGap2期间识别的帧数S>Tn时，才将当前帧图像的状态记为结束帧，反之，则将当前帧图像判断为错误识别，并且数据也将被丢弃。Tn的值应根据预设帧速率确定，在25FPS的工作条件下，本实施例推荐的Tn值为6～8。
如图8所示，在本发明的优选实施例中，在每一帧图像中针对垃圾箱进行目标检测，得到每一帧图像中的垃圾箱初步检测结果之前，还包括步骤：
S1、采集各种作业环境下的垃圾车翻桶图像数据，对垃圾车翻桶图像数据进行标注后作为训练样本训练并得到目标检测模型，所述目标检测模型采用YOLOv3-tiny、Faster-RCNN或其他基于卷积神经网络结构的目标检测模型。本实施例采用YOLOv3-tiny，YOLOv3-tiny作为一款优秀的目标检测模型，具有简洁速度快、误检率低、精度高、通用性鲁棒性强等诸多优势被广泛应用于机器视觉领域。
如图9所示，在本发明的优选实施例中，在每一帧图像中针对垃圾箱进行目标检测，得到每一帧图像中的垃圾箱初步检测结果，包括步骤：
S31、依次对每一帧图像中垃圾箱进行目标检测，获得每一帧图像中垃圾箱所在的仓位、颜色、垃圾箱数量、目标框与图像设定位置的垂直距离；
S32、将每一帧图像中所获得的颜色编码后，采用累加的方式存入相应四元数组Tshi的指定元素中；将每一帧图像中所获得的垃圾箱数量编码后，采用累加的方式存入相应二元数组Quai的指定元素中。
本实施例在对每一帧图像中针对垃圾箱进行目标检测后，将获得每一帧图像中垃圾箱所在的仓位、颜色、垃圾箱数量、目标框与图像设定位置的垂直距离，其中，垃圾箱所在的仓位将会使用目标对象中心点的x值可以轻松地区分垃圾箱所在的仓位是左仓位还是右仓位。而所得的颜色、垃圾箱数量在进行编码后分别累加存入到对应的四元数组Tshi和二元数组Quai的指定元素中，为后续进行分析统计提供基础数据；而目标框与图像设定位置的垂直距离则用于后续进行垃圾箱容量的判断。
如图10所示，在本发明的优选实施例中，将所检测到的每一帧图像中的垃圾箱初步检测结果进行汇总统计，得到当前翻桶过程中垃圾箱的目标参数规格，包括步骤：
S41、根据翻桶过程中每一帧图像对应的四元数组Tshi的值求得垃圾箱的颜色：
其中，C代表垃圾箱的颜色，Index()代表获取数组下标的函数，Max()代表获取数组最大值的函数，n代表垃圾箱翻桶期间的总帧数，表示对垃圾箱翻桶期间的四元数组Tshi累加求和；
S42、根据翻桶过程中每一帧图像对应的二元数组Quai的值求得垃圾箱的数量：
其中，N表示垃圾箱数量，表示对垃圾箱翻桶期间二元数组
Quai累加求和；
S43、计算翻桶过程中所有帧图像中目标框与图像左上角的垂直距离的平均值根据所述平均值V确定相应垃圾箱的容量规格。
本实施例主要描述如何通过垃圾箱翻桶过程中的垃圾箱初步检测结果的统计数据来确认垃圾箱的颜色、容量和数量信息。
垃圾箱的颜色统计确认过程为：
由于训练模型时会按照颜色对垃圾箱进行分类，因此可以在垃圾箱翻箱过程中的每一帧图像中识别垃圾箱的颜色。本实施例使用四元素数组Tshi表示第i帧图像中垃圾箱的分类结果，如果有两个存储桶，则使用两个四元素数组TshRi和TshLi表示垃圾箱中垃圾箱的颜色。使用目标对象中心点的x值可以轻松地区分左仓位和右仓位。当识别结果为绿色，红色，蓝色、黑色时，对应的将Tshi的值分别设为[1,0,0,0]、
[0,1,0,0]、[0,0,1,0]、[0,0,0,1]，最后通过所有四元数组Tshi的值求得垃圾箱的颜色：
例如，如果一个垃圾箱翻桶过程中有7个帧图像和两个绿色垃圾箱，则在针对每个帧图像进行垃圾箱颜色识别后，两个四元数数组TshRi和TshLi的值的更改过程如表2所示。
表2
根据表2的统计结果，尽管在此过程中发生了一些误识别，但仍然可以获得正确的识别结果，即识别垃圾箱的颜色为绿色，从而消除部分帧图像识别错误的影响，保证颜色识别的正确性。
垃圾箱的数量统计确认过程为：
本实施例使用两元素数组Quai表示第i帧中出现的垃圾箱数量，其中，Quai＝[1,0]表示将垃圾箱数量标识为1，Quai＝[0,1]表示将垃圾箱数量标识为2。最后，根据翻桶过程中每一帧图像对应的二元数组Quai的值即可求得垃圾箱的数量N：
与颜色统计相类似，尽管在此过程中会发生一些误识别，但仍然可以获得正确的识别结果，即识别垃圾箱的正确数量，从而消除部分帧图像识别错误的影响，保证数量识别的正确性。
垃圾箱的容量统计确认过程为：
由于对象像素区域大小不断变化并且YOLOv3-tiny的边界框不稳定，因此无法直观地使用对象像素区域大小对垃圾箱的容量做出有效判断。本实施例用垃圾箱的目标框位置来判断垃圾箱的容量，其原理是：
首先以图像的左上角为原点O，垂直方向为y轴，记录每帧图像中所检测的垃圾箱的目标框与所述原点O之间沿y轴的距离得到该帧图像中的y值。图11显示了垃圾箱翻转过程中120L垃圾箱和240L垃圾箱的y值变化曲线。通过观察图11，我们可以发现垃圾箱的容量可以通过y值的平均值V来判断，不同的平均值V即可获得对应不同容量的垃圾箱
如图12所示，本发明的另一实施例还提供了一种垃圾车翻桶动作识别装置，包括：
帧图像提取模块，用于提取一次完整翻桶过程中，根据设定的帧速率所采集的每一帧图像；
目标检测模块，用于在每一帧图像中针对垃圾箱进行目标检测，得到每一帧图像中的垃圾箱初步检测结果，所述初步检测结果包括颜色、数量和目标框在图像中的位置信息；
汇总统计模块，用于将所检测到的每一帧图像中的垃圾箱初步检测结果进行汇总统计，得到当前翻桶过程中垃圾箱的目标参数规格。
本发明的另一实施例还提供了一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在的设备执行所述垃圾车翻桶动作识别方法。
如图13所示，本发明的另一实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现所述垃圾车翻桶动作识别方法。
如图14所示，本发明的另一实施例还提供了一种垃圾车，包括有对垃圾箱进行翻转的翻桶装置，还包括：
摄像头1，安装在所述垃圾车上，用于根据设定的帧速率采集垃圾箱翻桶过程中的帧图像；
车载边缘计算单元3，与所述摄像头1信号连接，用于实现所述垃圾车翻桶动作识别方法。
所述摄像头1部署在垃圾箱4翻桶位置上方，通过数据线(包括但不限于USB数据线)与部署在车头的车载边缘计算单元3信号连接，该车载边缘计算单元3具有NPU或其他具有相应计算能力的芯片，且可与远程服务器进行数据互传。当然，所述车载边缘计算单元3也可以通过串口(包括但不限于RS232)与同样部署在车头的车载通讯设备2进行连接，所述车载通讯设备2通过移动网络接入互联网，实现与远程服务器进行数据互传。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本实施例方法所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个或者多个计算设备可读取存储介质中。基于这样的理解，本发明实施例对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一台计算设备(可以是个人计算机，服务器，移动计算设备或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)，磁碟或者光盘等各种可以存储程序代码的介质。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种垃圾车翻桶动作识别方法，其特征在于，包括步骤：
提取一次完整翻桶过程中，根据设定的帧速率所采集的每一帧图像；
在每一帧图像中针对垃圾箱进行目标检测，得到每一帧图像中的垃圾箱初步检测结果，所述初步检测结果包括颜色、数量和目标框在图像中的位置信息；
将所检测到的每一帧图像中的垃圾箱初步检测结果进行汇总统计，得到当前翻桶过程中垃圾箱的目标参数规格，所述目标参数规格包括颜色、数量和容量；
提取一次完整翻桶过程中，根据设定的帧速率所采集的每一帧图像之前，还包括步骤：
采集各种作业环境下的垃圾车翻桶图像数据，对垃圾车翻桶图像数据进行标注后作为训练样本训练并得到目标检测模型，所述目标检测模型包括YOLOv3-tiny、Faster-RCNN；
在每一帧图像中针对垃圾箱进行目标检测，得到每一帧图像中的垃圾箱初步检测结果，包括步骤：
依次对每一帧图像中垃圾箱进行目标检测，获得每一帧图像中垃圾箱所在的仓位、颜色、垃圾箱数量、目标框与图像设定位置的垂直距离；
将每一帧图像中所获得的颜色编码后，采用累加的方式存入相应四元数组Tshi的指定元素中；将每一帧图像中所获得的垃圾箱数量编码后，采用累加的方式存入相应二元数组Quai的指定元素中；
将所检测到的每一帧图像中的垃圾箱初步检测结果进行汇总统计，得到当前翻桶过程中垃圾箱的目标参数规格，包括步骤：
根据翻桶过程中每一帧图像对应的四元数组Tshi的值求得垃圾箱的颜色：
其中，C代表垃圾箱的颜色，Index()代表获取数组下标的函数，Max()代表获取数组最大值的函数，n代表垃圾箱翻桶期间的总帧数，表示对垃圾箱翻桶期间的四元数组Tshi累加求和；
根据翻桶过程中每一帧图像对应的二元数组Quai的值求得垃圾箱的数量：
其中，N表示垃圾箱数量，表示对垃圾箱翻桶期间二元数组
Quai累加求和；
计算翻桶过程中所有帧图像中目标框与图像左上角的垂直距离的平均值根据所述平均值V确定相应垃圾箱的容量规格。
2.根据权利要求1所述的垃圾车翻桶动作识别方法，其特征在于，提取一次完整翻桶过程中，根据设定的帧速率所采集的每一帧图像，包括步骤：
根据每一帧图像中最大目标像素区域大小MaxAeraSize与图像的总像素区域大小ImageShape中的占比，确定每一帧图像在翻桶过程中的状态，所述状态包括起始帧、结束帧、正在翻桶和未在翻桶；
提取翻桶过程中状态为起始帧、结束帧、正在翻桶的每一帧图像。
3.根据权利要求2所述的垃圾车翻桶动作识别方法，其特征在于，所述根据每一帧图像中最大目标像素区域大小MaxAeraSize与图像的总像素区域大小ImageShape中的占比，确定每一帧图像在翻桶过程中的状态，包括步骤：
获取每一帧图像中的最大目标像素区域大小MaxAeraSize和图像的总像素区域大小ImageShape；
若MaxAeraSize>＝ImageShape×Ts，判断设定指示参数是否为真，若为真则将当前帧图像的状态记为起始帧，若为假则将当前帧图像的状态记为正在翻桶；
若MaxAeraSize<ImageShape×Ts，判断设定指示参数是否为假，若为假，则将当前帧图像的状态记为结束帧，若为真，则将当前帧图像的状态记为未在翻桶。
4.根据权利要求3所述的垃圾车翻桶动作识别方法，其特征在于，
所述将当前帧图像的状态记为起始帧，具体包括步骤：
计算当前帧图像与上一次垃圾箱翻桶过程结束帧的时间差TimeGap1；
若TimeGap1>Tt1，则将当前帧图像的状态记为起始帧，Tt1为设定阈值；
所述将当前帧图像的状态记为结束帧，具体包括步骤：
计算从MaxAeraSize>＝ImageShape×Ts到MaxAeraSize<ImageShape×Ts的时间差TimeGap2；
若TimeGap2>Tt2，将当前帧图像的状态记为结束帧，Tt2为设定阈值。
5.根据权利要求4所述的垃圾车翻桶动作识别方法，其特征在于，
若TimeGap2>Tt2，将当前帧图像的状态记为结束帧，具体包括步骤：
若TimeGap2>Tt2，统计在TimeGap2期间识别的帧数S；
若S>Tn时，将当前帧图像的状态记为结束帧，Tn为设定阈值。
6.一种垃圾车翻桶动作识别装置，其特征在于，包括：
帧图像提取模块，用于提取一次完整翻桶过程中，根据设定的帧速率所采集的每一帧图像，提取一次完整翻桶过程中，根据设定的帧速率所采集的每一帧图像之前，还包括步骤：
采集各种作业环境下的垃圾车翻桶图像数据，对垃圾车翻桶图像数据进行标注后作为训练样本训练并得到目标检测模型，所述目标检测模型包括YOLOv3-tiny、Faster-RCNN；
目标检测模块，用于在每一帧图像中针对垃圾箱进行目标检测，得到每一帧图像中的垃圾箱初步检测结果，所述初步检测结果包括颜色、数量和目标框在图像中的位置信息，包括步骤：
依次对每一帧图像中垃圾箱进行目标检测，获得每一帧图像中垃圾箱所在的仓位、颜色、垃圾箱数量、目标框与图像设定位置的垂直距离；
将每一帧图像中所获得的颜色编码后，采用累加的方式存入相应四元数组Tshi的指定元素中；将每一帧图像中所获得的垃圾箱数量编码后，采用累加的方式存入相应二元数组Quai的指定元素中；
汇总统计模块，用于将所检测到的每一帧图像中的垃圾箱初步检测结果进行汇总统计，得到当前翻桶过程中垃圾箱的目标参数规格，包括步骤：
根据翻桶过程中每一帧图像对应的四元数组Tshi的值求得垃圾箱的颜色：
其中，C代表垃圾箱的颜色，Index()代表获取数组下标的函数，Max()代表获取数组最大值的函数，n代表垃圾箱翻桶期间的总帧数，表示对垃圾箱翻桶期间的四元数组Tshi累加求和；
根据翻桶过程中每一帧图像对应的二元数组Quai的值求得垃圾箱的数量：
其中，N表示垃圾箱数量，表示对垃圾箱翻桶期间二元数组Quai累加求和；
计算翻桶过程中所有帧图像中目标框与图像左上角的垂直距离的平均值根据所述平均值V确定相应垃圾箱的容量规格。
7.一种垃圾车，包括有对垃圾箱(4)进行翻转的翻桶装置，其特征在于，还包括：
摄像头(1)，安装在所述垃圾车上，用于根据设定的帧速率采集垃圾箱(4)翻桶过程中的帧图像；
车载边缘计算单元(3)，与所述摄像头(1)信号连接，用于实现如所述权利要求1至5中任一项所述的垃圾车翻桶动作识别方法。
CN202011536760.6A 2020-12-23 2020-12-23 一种垃圾车翻桶动作识别方法、装置及垃圾车 Active CN112633168B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011536760.6A CN112633168B (zh) 2020-12-23 2020-12-23 一种垃圾车翻桶动作识别方法、装置及垃圾车

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011536760.6A CN112633168B (zh) 2020-12-23 2020-12-23 一种垃圾车翻桶动作识别方法、装置及垃圾车

Publications (2)

Publication Number Publication Date
CN112633168A CN112633168A (zh) 2021-04-09
CN112633168B true CN112633168B (zh) 2023-10-31

Family

ID=75321470

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011536760.6A Active CN112633168B (zh) 2020-12-23 2020-12-23 一种垃圾车翻桶动作识别方法、装置及垃圾车

Country Status (1)

Country Link
CN (1) CN112633168B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115494783B (zh) * 2022-11-09 2023-03-31 苏州乐创环保科技有限公司 一种用于地埋式垃圾箱的机械手控制方法及其对接系统

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102831618A (zh) * 2012-07-20 2012-12-19 西安电子科技大学 基于霍夫森林的视频目标跟踪方法
CN105814891A (zh) * 2013-12-10 2016-07-27 佳能株式会社 用于在调色板编码模式中对调色板进行编码或解码的方法和设备
CN106650655A (zh) * 2016-12-16 2017-05-10 北京工业大学 一种基于卷积神经网络的动作检测模型
CN106875415A (zh) * 2016-12-29 2017-06-20 北京理工雷科电子信息技术有限公司 一种动态背景中弱小动目标的连续稳定跟踪方法
CN107211122A (zh) * 2015-01-29 2017-09-26 佳能株式会社 对自包含式编码结构进行编码或解码时的调色板预测结果初始化程序
CN110659622A (zh) * 2019-09-27 2020-01-07 北京文安智能技术股份有限公司 一种倾倒垃圾检测方法、装置及系统
CN110738668A (zh) * 2019-09-29 2020-01-31 南京佑驾科技有限公司 一种智能控制远光灯的方法、系统及交通工具
CN210192475U (zh) * 2019-07-25 2020-03-27 程潇雅 一种垃圾分类式垃圾车
CN110956104A (zh) * 2019-11-20 2020-04-03 河南华衍智能科技有限公司 一种检测垃圾桶溢出的方法、装置及系统
CN111126529A (zh) * 2019-12-27 2020-05-08 长沙中联重科环境产业有限公司 一种翻桶数据采集方法、装置、电子设备和垃圾车
CN111169871A (zh) * 2020-01-13 2020-05-19 佛山科学技术学院 一种垃圾车智能机械手抓取垃圾桶方法及机械手
CN111414997A (zh) * 2020-03-27 2020-07-14 中国人民解放军空军工程大学 一种基于人工智能的用于战场目标识别的方法
CN111414908A (zh) * 2020-03-16 2020-07-14 湖南快乐阳光互动娱乐传媒有限公司 一种视频中字幕字符的识别方法及装置
CN111738164A (zh) * 2020-06-24 2020-10-02 广西计算中心有限责任公司 一种基于深度学习的行人检测方法
CN111931571A (zh) * 2020-07-07 2020-11-13 华中科技大学 基于在线增强检测的视频文字目标追踪方法与电子设备
CN111985316A (zh) * 2020-07-10 2020-11-24 上海富洁科技有限公司 一种用于道路智能清扫的路面垃圾感知方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10152737B2 (en) * 2014-04-25 2018-12-11 Vivint, Inc. Automated waste management

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102831618A (zh) * 2012-07-20 2012-12-19 西安电子科技大学 基于霍夫森林的视频目标跟踪方法
CN105814891A (zh) * 2013-12-10 2016-07-27 佳能株式会社 用于在调色板编码模式中对调色板进行编码或解码的方法和设备
CN107211122A (zh) * 2015-01-29 2017-09-26 佳能株式会社 对自包含式编码结构进行编码或解码时的调色板预测结果初始化程序
CN106650655A (zh) * 2016-12-16 2017-05-10 北京工业大学 一种基于卷积神经网络的动作检测模型
CN106875415A (zh) * 2016-12-29 2017-06-20 北京理工雷科电子信息技术有限公司 一种动态背景中弱小动目标的连续稳定跟踪方法
CN210192475U (zh) * 2019-07-25 2020-03-27 程潇雅 一种垃圾分类式垃圾车
CN110659622A (zh) * 2019-09-27 2020-01-07 北京文安智能技术股份有限公司 一种倾倒垃圾检测方法、装置及系统
CN110738668A (zh) * 2019-09-29 2020-01-31 南京佑驾科技有限公司 一种智能控制远光灯的方法、系统及交通工具
CN110956104A (zh) * 2019-11-20 2020-04-03 河南华衍智能科技有限公司 一种检测垃圾桶溢出的方法、装置及系统
CN111126529A (zh) * 2019-12-27 2020-05-08 长沙中联重科环境产业有限公司 一种翻桶数据采集方法、装置、电子设备和垃圾车
CN111169871A (zh) * 2020-01-13 2020-05-19 佛山科学技术学院 一种垃圾车智能机械手抓取垃圾桶方法及机械手
CN111414908A (zh) * 2020-03-16 2020-07-14 湖南快乐阳光互动娱乐传媒有限公司 一种视频中字幕字符的识别方法及装置
CN111414997A (zh) * 2020-03-27 2020-07-14 中国人民解放军空军工程大学 一种基于人工智能的用于战场目标识别的方法
CN111738164A (zh) * 2020-06-24 2020-10-02 广西计算中心有限责任公司 一种基于深度学习的行人检测方法
CN111931571A (zh) * 2020-07-07 2020-11-13 华中科技大学 基于在线增强检测的视频文字目标追踪方法与电子设备
CN111985316A (zh) * 2020-07-10 2020-11-24 上海富洁科技有限公司 一种用于道路智能清扫的路面垃圾感知方法

Also Published As

Publication number Publication date
CN112633168A (zh) 2021-04-09

Similar Documents

Publication Publication Date Title
CN102163290B (zh) 基于时空关联信息的多视角视频监控中异常事件建模方法
CN112800860B (zh) 一种事件相机和视觉相机协同的高速抛撒物检测方法和系统
CN103826102A (zh) 一种运动目标的识别方法、装置
CN111259868B (zh) 基于卷积神经网络的逆行车辆检测方法、系统及介质
CN112115904A (zh) 车牌检测识别方法、装置及计算机可读存储介质
CN107590486B (zh) 运动目标识别方法和系统、自行车流量统计方法和设备
CN111192461B (zh) 一种车牌识别方法、服务器、停车收费方法及系统
CN111126529B (zh) 一种翻桶数据采集方法、装置、电子设备和垃圾车
CN112562330A (zh) 评估道路运行指数的方法和装置、电子设备、存储介质
CN111652869A (zh) 基于深度学习的板坯空洞识别方法、系统、介质及终端
CN112633168B (zh) 一种垃圾车翻桶动作识别方法、装置及垃圾车
CN112784724A (zh) 一种车辆变道检测方法、装置、设备及存储介质
CN111626225B (zh) 一种工位车辆的车牌识别方法、装置、设备及存储介质
CN112836683A (zh) 用于便携式摄像设备的车牌识别方法、装置、设备和介质
CN112307842A (zh) 用于列车运行监控记录文件匹配的视频识别系统及方法
CN113297939A (zh) 障碍物检测方法、系统、终端设备及存储介质
CN110889347B (zh) 基于时空计数特征的密度交通流计数方法及系统
CN110135382B (zh) 一种人体检测方法和装置
CN111915561A (zh) 一种基于图像识别和机器学习的螺栓状态监测方法
CN116805409A (zh) 一种利用行车视频进行路面状态识别与平整性评估的方法
CN112950961B (zh) 车流量统计方法、装置、设备和存储介质
CN114613006A (zh) 一种远距离手势识别方法及装置
CN116363542A (zh) 到离岗事件检测方法、装置、设备及计算机可读存储介质
CN116434197A (zh) 异常动作检测闭环迭代优化方法、系统、介质及设备
CN112801048A (zh) 最优目标图像的识别方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220118

Address after: No. 288, Linyu Road, high tech Development Zone, Changsha, Hunan Province, 410205

Applicant after: ZOOMLION ENVIRONMENTAL INDUSTRY Co.,Ltd.

Applicant after: Fengyun Wulian Technology Co.,Ltd.

Address before: No. 288, Linyu Road, high tech Development Zone, Changsha, Hunan Province, 410205

Applicant before: ZOOMLION ENVIRONMENTAL INDUSTRY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant