CN116503774A - 装载机作业行为的分析方法及其装置 - Google Patents

装载机作业行为的分析方法及其装置 Download PDF

Info

Publication number
CN116503774A
CN116503774A CN202310289423.9A CN202310289423A CN116503774A CN 116503774 A CN116503774 A CN 116503774A CN 202310289423 A CN202310289423 A CN 202310289423A CN 116503774 A CN116503774 A CN 116503774A
Authority
CN
China
Prior art keywords
loader
target
bucket
video stream
image frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310289423.9A
Other languages
English (en)
Inventor
李佳城
王振
朱西硕
杨晓辉
王洪磊
张俊升
刘晓明
冯瑛凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
General Coal Research Institute Co Ltd
Original Assignee
General Coal Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by General Coal Research Institute Co Ltd filed Critical General Coal Research Institute Co Ltd
Priority to CN202310289423.9A priority Critical patent/CN116503774A/zh
Publication of CN116503774A publication Critical patent/CN116503774A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/02—Agriculture; Fishing; Forestry; Mining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Mining & Mineral Resources (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Agronomy & Crop Science (AREA)
  • Animal Husbandry (AREA)
  • Marine Sciences & Fisheries (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本申请提出一种装载机作业行为的分析方法及其装置，涉及煤炭技术领域，通过基于多台摄像机实时采集目标区域的不同角度对应的多个候选视频流，其中，目标区域中包括至少一台装载机；对每个候选视频流所包含的候选图像帧进行目标检测以从多个候选视频流中确定每台装载机对应的至少一个目标视频流；针对任一装载机，对该装载机对应的每个目标视频流所包含的目标图像帧进行目标跟踪，获取该装载机的运动轨迹，并对目标图像帧进行关键点识别，获取该装载机的目标部位的坐标信息；根据运动轨迹和坐标信息对装载机的当前作业行为状态进行分类，实现了对装载机的作业行为的实时分析，监管装载机的违章作业行为，便于后续对违章作业的装载机进行整改。

Description

装载机作业行为的分析方法及其装置
技术领域
本申请涉及煤炭技术领域，尤其涉及一种装载机作业行为的分析方法及其装置。
背景技术
在煤炭开采的过程中，装载机是露天煤矿的重要工程车辆，被广泛应用于矿石、工件等的铲运和道路的维护，为了保证生产活动的安全运行，需要对此类大型工作车辆的作业行为进行监管，在相关场景环境中，根据装载机安全操作规程，为了安全起见，装载机行驶时应收回铲斗，严禁升起铲斗行车。但相关技术中，对于装载机违章升起铲斗行车的作业行为的监管研究较少，没有成熟的解决方案。
发明内容
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本申请的一个目的在于提出一种装载机作业行为的分析方法，包括：基于多台摄像机实时采集目标区域的不同角度对应的多个候选视频流，其中，目标区域中包括至少一台装载机；对每个候选视频流所包含的候选图像帧进行目标检测，以从多个候选视频流中确定每台装载机对应的至少一个目标视频流；针对任一装载机，对该装载机对应的每个目标视频流所包含的目标图像帧进行目标跟踪，获取该装载机的运动轨迹，并对目标图像帧进行关键点识别，获取该装载机的目标部位的坐标信息；根据运动轨迹和坐标信息，对装载机的当前作业行为状态进行分类，分类包括非移动状态类别、移动且铲斗降落状态类别、移动且铲斗升起状态类别。
本申请的第二个目的在于提出一种装载机作业行为的分析装置。
本申请的第三个目的在于提出一种电子设备。
本申请的第四个目的在于提出一种非瞬时计算机可读存储介质。
本申请的第五个目的在于提出一种计算机程序产品。
为达上述目的，本申请第一方面实施例提出了一种装载机作业行为的分析方法，包括：基于多台摄像机实时采集目标区域的不同角度对应的多个候选视频流，其中，目标区域中包括至少一台装载机；对每个候选视频流所包含的候选图像帧进行目标检测，以从多个候选视频流中确定每台装载机对应的至少一个目标视频流；针对任一装载机，对该装载机对应的每个目标视频流所包含的目标图像帧进行目标跟踪，获取该装载机的运动轨迹，并对目标图像帧进行关键点识别，获取该装载机的目标部位的坐标信息；根据运动轨迹和坐标信息，对装载机的当前作业行为状态进行分类，分类包括非移动状态类别、移动且铲斗降落状态类别、移动且铲斗升起状态类别。
根据本申请的一个实施例，装载机作业行为的分析方法还包括：响应于装载机处于移动且铲斗升起状态类别，向装载机发出告警指示。
根据本申请的一个实施例，针对任一装载机，对该装载机对应的每个目标视频流所包含的目标图像帧进行目标跟踪，获取该装载机的运动轨迹，包括：针对任一装载机，获取该装载机对应的每个目标视频流所包含的多张目标图像帧；将目标图像帧按照时间顺序放入到待处理图像帧队列中，作为待处理图像帧队列中的待处理目标图像帧；基于目标跟踪算法对待处理目标图像帧进行目标跟踪处理，获取装载机的运动轨迹。
根据本申请的一个实施例，装载机作业行为的分析方法还包括：响应于待处理图像帧队列中的待处理目标图像帧的数量已达到待处理图像帧队列的满额容量，确定待处理图像帧队列中待进行删除的待删除图像帧；将待删除图像帧从待处理图像帧队列中删除，并将目标图像帧按照时间顺序放入待处理图像帧队列以对待处理图像帧队列进行更新。
根据本申请的一个实施例，对每个候选视频流所包含的候选图像帧进行目标检测，以从多个候选视频流中确定每台装载机对应的至少一个目标视频流，包括：对每个候选视频流所包含的候选图像帧进行目标检测，确定每个装载机对应的目标检测矩形框；获取每个目标检测矩形框的长宽比，以及确定每个目标检测矩形框的像素点个数占整张候选图像帧的像素点总个数的个数百分比；针对任一装载机，将长宽比大于长宽比阈值且个数百分比大于个数百分比阈值的目标检测矩形框所在的候选视频流作为该装载机对应的目标视频流。
根据本申请的一个实施例，根据运动轨迹和坐标信息，对装载机的当前作业行为状态进行分类，包括：对运动轨迹进行分析，判断装载机是否处于移动状态；响应于装载机处于非移动状态，确定装载机处于非移动状态类别；响应于装载机处于移动状态，根据坐标信息判断装载机是否处于铲斗升起状态；响应于装载机处于铲斗升起状态，确定装载机处于移动且铲斗升起状态类别；响应于装载机处于铲斗降落状态，确定装载机处于移动且铲斗降落状态类别。
根据本申请的一个实施例，对运动轨迹进行分析，判断装载机是否处于移动状态，包括：针对装载机的任一个目标视频流，获取目标视频流的当前时刻对应的第i帧目标图像帧中装载机的运动轨迹对应的轨迹点的第一横坐标值；获取目标视频流的第i-m帧目标图像帧中装载机的运动轨迹对应的轨迹点的第二横坐标值；获取第一横坐标值与第二横坐标值的差值；响应于差值大于预设阈值，确定装载机处于移动状态。
根据本申请的一个实施例，根据坐标信息判断装载机是否处于铲斗升起状态，包括：根据坐标信息获取装载机对应的方向向量，其中，方向向量包括装载机铲斗对应的第一方向向量和装载机本体对应的第二方向向量；将方向向量输入训练好的支持向量机(Support Vector Machine，SVM)中，以获取SVM输出的装载机的当前铲斗状态，其中，当前铲斗状态类别包括铲斗升起状态和铲斗收回状态。
根据本申请的一个实施例，装载机作业行为的分析方法还包括：对装载机对应的目标视频流进行实时更新。
为达上述目的，本申请第二方面实施例提出了一种装载机作业行为的分析装置，包括：采集模块，用于基于多台摄像机实时采集目标区域的不同角度对应的多个候选视频流，其中，目标区域中包括至少一台装载机；检测模块，用于对每个候选视频流所包含的候选图像帧进行目标检测，以从多个候选视频流中确定每台装载机对应的至少一个目标视频流；跟踪模块，用于针对任一装载机，对该装载机对应的每个目标视频流所包含的目标图像帧进行目标跟踪，获取该装载机的运动轨迹，并对目标图像帧进行关键点识别，获取该装载机的目标部位的坐标信息；分类模块，用于根据运动轨迹和坐标信息，对装载机的当前作业行为状态进行分类，分类包括非移动状态类别、移动且铲斗降落状态类别、移动且铲斗升起状态类别。
根据本申请的一个实施例，装载机作业行为的分析装置还包括告警模块，该告警模块用于响应于装载机处于移动且铲斗升起状态类别，向装载机发出告警指示。
根据本申请的一个实施例，跟踪模块，还用于：针对任一装载机，获取该装载机对应的每个目标视频流所包含的多张目标图像帧；将目标图像帧按照时间顺序放入到待处理图像帧队列中，作为待处理图像帧队列中的待处理目标图像帧；基于目标跟踪算法对待处理目标图像帧进行目标跟踪处理，获取装载机的运动轨迹。
根据本申请的一个实施例，跟踪模块，还用于：响应于待处理图像帧队列中的待处理目标图像帧的数量已达到待处理图像帧队列的满额容量，确定待处理图像帧队列中待进行删除的待删除图像帧；将待删除图像帧从待处理图像帧队列中删除，并将目标图像帧按照时间顺序放入待处理图像帧队列以对待处理图像帧队列进行更新。
根据本申请的一个实施例，检测模块，还用于：对每个候选视频流所包含的候选图像帧进行目标检测，确定每个装载机对应的目标检测矩形框；获取每个目标检测矩形框的长宽比，以及确定每个目标检测矩形框的像素点个数占整张候选图像帧的像素点总个数的个数百分比；针对任一装载机，将长宽比大于长宽比阈值且个数百分比大于个数百分比阈值的目标检测矩形框所在的候选视频流作为该装载机对应的目标视频流。
根据本申请的一个实施例，分类模块，还用于：对运动轨迹进行分析，判断装载机是否处于移动状态；响应于装载机处于非移动状态，确定装载机处于非移动状态类别；响应于装载机处于移动状态，根据坐标信息判断装载机是否处于铲斗升起状态；响应于装载机处于铲斗升起状态，确定装载机处于移动且铲斗升起状态类别；响应于装载机处于铲斗降落状态，确定装载机处于移动且铲斗降落状态类别。
根据本申请的一个实施例，分类模块，还用于：针对装载机的任一个目标视频流，获取目标视频流的当前时刻对应的第i帧目标图像帧中装载机的运动轨迹对应的轨迹点的第一横坐标值；获取目标视频流的第i-m帧目标图像帧中装载机的运动轨迹对应的轨迹点的第二横坐标值；获取第一横坐标值与第二横坐标值的差值；响应于差值大于预设阈值，确定装载机处于移动状态。
根据本申请的一个实施例，分类模块，还用于：根据坐标信息获取装载机对应的方向向量，其中，方向向量包括装载机铲斗对应的第一方向向量和装载机本体对应的第二方向向量；将方向向量输入训练好的支持向量机SVM中，以获取SVM输出的装载机的当前铲斗状态，其中，当前铲斗状态类别包括铲斗升起状态和铲斗收回状态。
根据本申请的一个实施例，检测模块，还用于：对装载机对应的目标视频流进行实时更新。
为达上述目的，本申请第三方面实施例提出了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以实现如本申请第一方面实施例所述的装载机作业行为的分析方法。
为达上述目的，本申请第四方面实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于实现如本申请第一方面实施例所述的装载机作业行为的分析方法。
为达上述目的，本申请第五方面实施例提出了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如本申请第一方面实施例所述的装载机作业行为的分析方法。
本申请至少实现以下有益效果：本申请实现了对装载机的作业行为的实时分析，监管装载机的违章作业行为，便于后续对违章作业的装载机进行整改，提高了工作人员作业时的安全性。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1是本申请一个实施例示出的一种装载机作业行为的分析方法的示例性实施方式的示意图。
图2是本申请一个实施例示出的一种装载机的目标部位的关键点的示意图。
图3是本申请一个实施例示出的一种装载机作业行为的分析方法的示例性实施方式的示意图。
图4是本申请一个实施例示出的一种装载机作业行为的分析方法的总体流程示意图。
图5是本申请一个实施例示出的一种装载机作业行为的分析装置的示意图。
图6是本申请一个实施例示出的一种电子设备的示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
图1是本申请示出的一种装载机作业行为的分析方法的示例性实施方式的示意图，如图1所示，该装载机作业行为的分析方法，包括以下步骤：
S101，基于多台摄像机实时采集目标区域的不同角度对应的多个候选视频流，其中，目标区域中包括至少一台装载机。
将露天煤矿装载机作业区域作为目标区域，在目标区域周围多角度布设多台可移动的摄像机，基于多台摄像机实时采集目标区域的不同角度对应的多个视频流，将每台摄像机实时采集的视频流作为候选视频流，其中，目标区域内包括至少一台装载机。
可选的，摄像机可采用无线摄像机，实现无线摄像机通过4G/5G/Wi-Fi等无线传输方式将采集的视频流数据传输至服务器，以进行装载机的作业行为的分析。
由于煤炭开采工作面随着开采工作的进行在不停的往前推移，因此目标区域也在不断更新，本申请中，可为摄像机设置履带式底盘，以方便移动摄像机随开采推移方向移动，使得目标区域能始终被摄像机覆盖，且使得装载机目标在目标区域内被采集的图像占据足够数量的像素。
S102，对每个候选视频流所包含的候选图像帧进行目标检测，以从多个候选视频流中确定每台装载机对应的至少一个目标视频流。
由于多个角度的摄像机同时采集目标区域内的装载机的视频流，每台装载机可能以侧面、前部、尾部等多种角度朝向摄像机，装载机对应的目标检测矩形框的长宽比可能处于不同的状态。另外，由于每台装载机对应的目标检测矩形框中包含铲斗部分，在铲斗处于不同升降状态时，也会导致目标检测矩形框的长宽比变化。为了准确检测装载机的移动情况和姿态，本申请中，为了从多个候选视频流中选择每台装载机对应的适合进行分析的优选视频流，需要获取每个候选视频流所包含的候选图像帧中每个目标检测矩形框的长宽比，以及确定每个目标检测矩形框的像素点个数占整张候选图像帧的像素点总个数的个数百分比，针对任一装载机，将长宽比大于长宽比阈值且个数百分比大于个数百分比阈值的目标检测矩形框所在的候选视频流作为该装载机对应的目标视频流。
示例性的，若目标区域内共有3台装载机，对其分别进行ID编号，每台装载机对应1个编号，分别编号为装载机1、装载机2和装载机3，若共设置有8台摄像机，分别为摄像机1、摄像机2……摄像机8，其采集的视频数据分别对应候选视频流1、候选视频流2……候选视频流8。则经过上述每台装载机对应的目标检测矩形框的长宽比和个数百分比对比后，若只有候选视频流1和候选视频流3中装载机1的长宽比大于长宽比阈值且个数百分比大于个数百分比阈值，则将候选视频流1和候选视频流3作为装载机1对应的目标视频流则，其他装载机的目标视频流的确定方法与上述类似，在此不再进行赘述。
其中，随着装载机的不断移动，需要对装载机对应的目标视频流进行实时更新。
S103，针对任一装载机，对该装载机对应的每个目标视频流所包含的目标图像帧进行目标跟踪，获取该装载机的运动轨迹，并对目标图像帧进行关键点识别，获取该装载机的目标部位的坐标信息。
将目标视频流所包含的图像帧作为目标图像帧，针对任一装载机，对该装载机对应的每个目标视频流所包含的目标图像帧进行目标跟踪，获取该装载机的运动轨迹，并对目标图像帧进行关键点识别，获取该装载机的目标部位的坐标信息。
本申请中，针对任一装载机，可选择对该装载机对应的其中一条目标视频流进行目标跟踪，以获得该装载机对应的一条运动轨迹，也可对该装载机对应的多条目标视频流均进行目标跟踪，以获得该装载机的多条运动轨迹。
本申请中，除了获得装载机的运动轨迹之外，还需要获得装载机的目标部位的坐标信息。其中，目标部分需选择装载机上可以表征铲斗姿态的位置，且具有对称性、普适性，以适用于各种型号的装载机的不同侧面识别可根据实际情况进行设置。本申请中，将目标部位设置为铲斗前端底部、铲斗前端顶部、装载机前轮轴心处、装载机后轮轴心处和装载机驾驶室前端顶部。图2是本申请示出的一种装载机的目标部位关键点的示意图，如图2所示，以铲斗前端底部作为关键点1，以铲斗前端顶部作为关键点2，以装载机前轮轴心处为关键点3，以装载机后轮轴心处为关键点4，以装载机驾驶室前端顶部为关键点5。
本申请中，针对任一装载机，若只获得该装载机对应的一条运动轨迹，则也只获取该运动轨迹对应的目标视频流所包含的目标图像帧中该装载机的目标部位的坐标信息；若获得该装载机的多条运动轨迹，则获取该多条运动轨迹对应的多条目标视频流所包含的目标图像帧中该装载机的目标部位的多组坐标信息。
S104，根据运动轨迹和坐标信息，对装载机的当前作业行为状态进行分类，分类包括非移动状态类别、移动且铲斗降落状态类别、移动且铲斗升起状态类别。
根据装载机的运动轨迹，判断装载机是否进行移动，示例性的，若只获得该装载机对应的一条运动轨迹，则根据装载机的运动轨迹，若发现装载机的当前时刻的轨迹点与一分钟前对应的轨迹点发生改变，则确定该装载机发生移动。其中，若获得该装载机的多条运动轨迹，可获得多条运动轨迹分别对应的装载机的移动判断结果，并对多条运动轨迹的移动判断结果进行投票，以数量较多的移动判断结果为最终结果。
若最终确定该装载机未发生移动，则确定该装载机处于非移动状态类别。
若最终确定该装载机发生移动，则根据目标部位的坐标信息，对装载机的姿态进行识别。若只获得该装载机对应的一条运动轨迹，则也只获取该运动轨迹对应的目标视频流所包含的目标图像帧中该装载机的目标部位的坐标信息，当关键点1、关键点2连线所在直线与关键点3、关键点4连线所在直线的夹角小于γ时，认为铲车铲斗处于升起状态，则确定该装载机处于移动且铲斗升起状态类别；当关键点1、关键点2连线所在直线与关键点3、关键点4连线所在直线的夹角大于或等于γ时，认为铲车铲斗处于降落状态，则确定该装载机处于移动且铲斗降落状态类别；若获得该装载机的多条运动轨迹，则获取该多条运动轨迹对应的多条目标视频流所包含的目标图像帧中该装载机的目标部位的多组坐标信息各自对应的铲斗升起降落判断结果，并对多个铲斗升起降落判断结果进行投票，以数量较多的铲斗升起降落判断结果为最终结果。
本申请实施例提出了一种装载机作业行为的分析方法，通过基于多台摄像机实时采集目标区域的不同角度对应的多个候选视频流，其中，目标区域中包括至少一台装载机；对每个候选视频流所包含的候选图像帧进行目标检测，以从多个候选视频流中确定每台装载机对应的至少一个目标视频流；针对任一装载机，对该装载机对应的每个目标视频流所包含的目标图像帧进行目标跟踪，获取该装载机的运动轨迹，并对目标图像帧进行关键点识别，获取该装载机的目标部位的坐标信息；根据运动轨迹和坐标信息，对装载机的当前作业行为状态进行分类，分类包括非移动状态类别、移动且铲斗降落状态类别、移动且铲斗升起状态类别。本申请实现了对装载机的作业行为的实时分析，监管装载机的违章作业行为，便于后续对违章作业的装载机进行整改，提高了工作人员作业时的安全性。
进一步的，若装载机处于移动且铲斗升起状态类别，保存当前违章行为视频数据，并向装载机发出告警指示。
图3是本申请示出的一种装载机作业行为的分析方法的示例性实施方式的示意图，如图3所示，该装载机作业行为的分析方法，包括以下步骤：
S301，基于多台摄像机实时采集目标区域的不同角度对应的多个候选视频流，其中，目标区域中包括至少一台装载机。
关于步骤S301的具体实现方式，可参照上述实施例中相关部分的具体介绍，在此不再进行赘述。
S302，对每个候选视频流所包含的候选图像帧进行目标检测，确定每个装载机对应的目标检测矩形框。
用目标检测算法对每个候选视频流所包含的候选图像帧进行目标检测，确定每个装载机对应的目标检测矩形框。
S303，获取每个目标检测矩形框的长宽比，以及确定每个目标检测矩形框的像素点个数占整张候选图像帧的像素点总个数的个数百分比。
获取每个目标检测矩形框的长宽比，以及确定每个目标检测矩形框的像素点个数占整张候选图像帧的像素点总个数的个数百分比。
S304，针对任一装载机，将长宽比大于长宽比阈值且个数百分比大于个数百分比阈值的目标检测矩形框所在的候选视频流作为该装载机对应的目标视频流。
针对任一装载机，将长宽比大于长宽比阈值且个数百分比大于个数百分比阈值的目标检测矩形框所在的候选视频流作为该装载机对应的目标视频流。
示例性的，若目标区域内共有3台装载机，对其分别进行ID编号，每台装载机对应1个编号，分别编号为装载机1、装载机2和装载机3，若共设置有8台摄像机，分别为摄像机1、摄像机2……摄像机8，其采集的视频数据分别对应候选视频流1、候选视频流2……候选视频流8。则经过上述每台装载机对应的目标检测矩形框的长宽比和个数百分比对比后，若只有候选视频流1和候选视频流3中装载机1的长宽比大于长宽比阈值且个数百分比大于个数百分比阈值，则将候选视频流1和候选视频流3作为装载机1对应的目标视频流则，其他装载机的目标视频流的确定方法与上述类似，在此不再进行赘述。
S305，针对任一装载机，获取该装载机对应的每个目标视频流所包含的多张目标图像帧。
将目标视频流所包含的图像帧作为目标图像帧，针对任一装载机，获取该装载机对应的每个目标视频流所包含的多张目标图像帧。
S306，将目标图像帧按照时间顺序放入到待处理图像帧队列中，作为待处理图像帧队列中的待处理目标图像帧。
针对任一个目标视频流，将该目标视频流所包含的多张目标图像帧按照时间顺序放入到待处理图像帧队列中，作为待处理图像帧队列中的待处理目标图像帧。
S307，基于目标跟踪算法对待处理目标图像帧进行目标跟踪处理，获取装载机的运动轨迹。
基于目标跟踪算法对待处理目标图像帧进行目标跟踪处理，获取装载机的运动轨迹。其中，取待处理目标图像帧中装载机目标检测框右边框1/2处作为装载机当前图像的轨迹点，绘制装载机的移动轨迹，装载机M的移动轨迹可以用序列KM表示：
KM＝{(x1,y1,frame1),(x2,y2,frame2),…(xn,yn,framen)}
式中xn、yn分别为目标检测矩形框右边框1/2点处的横纵坐标，framen表示第n帧检测到装载机目标的图像。
待处理图像帧队列中的当前的待处理目标图像帧处理完毕后，再从待处理图像帧队列获取新的待处理目标图像帧，以获取装载机的运动轨迹。
其中，待处理图像帧队列的容量固定，若待处理图像帧队列中的待处理目标图像帧的数量已达到待处理图像帧队列的满额容量，确定待处理图像帧队列中待进行删除的待删除图像帧，其中，待删除图像帧为采集时间靠前的图像帧；将待删除图像帧从待处理图像帧队列中删除，并将目标图像帧按照时间顺序放入待处理图像帧队列以对待处理图像帧队列进行更新，使得可以始终取得最新图像帧进行目标跟踪处理，避免待处理目标图像帧堆积。
可选的，目标跟踪算法可采用一种改进的目标检测网络模型(YOLOv5s)获取图像帧中装载机位置信息。
可选的，采用基于检测的目标跟踪方法(Tracking-by-detection，TBD)识别视频中的同一辆装载机目标。如采用DeepSort算法关联图像不同帧之间的装载机，为不同帧图像中出现的同一辆装载机分配相同的ID，进而绘制出同一装载机的运动轨迹。
另外，本申请中，可以采用多线程技术，使用独立的线程负责读取视频流，独立的线程获取视频流中的实时图像，将最新的图像放入待处理队列中。
S308，并对目标图像帧进行关键点识别，获取该装载机的目标部位的坐标信息。
本申请中，除了获得装载机的运动轨迹之外，还需要获得装载机的目标部位的坐标信息。其中，目标部分需选择装载机上可以表征铲斗姿态的位置，且具有对称性、普适性，以适用于各种型号的装载机的不同侧面识别可根据实际情况进行设置。本申请中，将目标部位设置为铲斗前端底部、铲斗前端顶部、装载机前轮轴心处、装载机后轮轴心处和装载机驾驶室前端顶部。
可选的，可采用自上而下的Top-down的关键点检测(Keypoints Detection)网络，如基于掩码分支的区域的卷积神经网络(Mask Region-based Convolutional NeuralNetworks，Mask R-CNN)、高分辨率检测模型(High Resolution Net，HRNet)、级联金字塔网络(Cascaded Pyramid Network，CPN)等检测装载机的关键部位。
S309，根据运动轨迹和坐标信息，对装载机的当前作业行为状态进行分类，分类包括非移动状态类别、移动且铲斗降落状态类别、移动且铲斗升起状态类别。
移动的装载机在图像中的位置是变化的，通过检测当前装载机目标检测框在前后图像中的位置变化情况，可以识别装载机的是否移动。
针对装载机的任一个目标视频流，获取目标视频流的当前时刻对应的第i帧目标图像帧中装载机的运动轨迹对应的轨迹点的第一横坐标值，获取目标视频流的第i-m帧目标图像帧中装载机的运动轨迹对应的轨迹点的第二横坐标值，获取第一横坐标值与第二横坐标值的差值，若该差值大于预设阈值，确定装载机处于移动状态。
若最终确定该装载机未发生移动，则确定该装载机处于非移动状态类别。
若最终确定该装载机处于移动状态，根据坐标信息获取装载机对应的方向向量，其中，方向向量包括装载机铲斗对应的第一方向向量和装载机本体对应的第二方向向量。本申请中，如以下公式，通过提取装载机铲斗对应的第一方向向量，通过/>提取装载机本体对应的第二方向向量，其中：
上式中，表示装载机铲斗对应的第一方向向量，/>表示装载机本体对应的第二方向向量，xn表示关键点n的横坐标，yn表示关键点n的纵坐标，如图2，由于共设置5个目标部位的关键点，n可取值1、2、3、4、5。
将上述第一方向向量和第二方向向量输入训练好的支持向量机(Support VectorMachine，SVM)中，以获取SVM输出的装载机的当前铲斗状态，其中，当前铲斗状态类别包括铲斗升起状态和铲斗收回状态。若SVM输出该装载机的当前铲斗状态处于升起状态，则确定该装载机处于移动且铲斗升起状态类别；若SVM输出该装载机的当前铲斗状态处于降落状态，则确定该装载机处于移动且铲斗降落状态类别。
SVM的训练过程为：对预先采集的大量采样装载机图片进行关键点标注，并获取每张采样装载机图片中，采样装载机的铲斗对应的采样第一方向向量和采样装载机的本体对应的采样第二方向向量，并基于预先对每张采样装载机图片标注的铲斗升起标签或铲斗降落标签，对初始SVM进行训练，以获得训练完成后的SVM。
本申请实施例实现了对装载机的作业行为的实时分析，监管装载机的违章作业行为，便于后续对违章作业的装载机进行整改，提高了工作人员作业时的安全性。
图4是本申请示出的一种装载机作业行为的分析方法的总体流程示意图，如图4所示，该装载机作业行为的分析方法，包括以下步骤：
S401，基于多台摄像机实时采集目标区域的不同角度对应的多个候选视频流，其中，目标区域中包括至少一台装载机。
关于步骤S401的具体实现方式，可参照上述实施例中相关部分的具体介绍，在此不再进行赘述。
S402，对每个候选视频流所包含的候选图像帧进行目标检测，确定每个装载机对应的目标检测矩形框。
S403，获取每个目标检测矩形框的长宽比，以及确定每个目标检测矩形框的像素点个数占整张候选图像帧的像素点总个数的个数百分比。
S404，针对任一装载机，将长宽比大于长宽比阈值且个数百分比大于个数百分比阈值的目标检测矩形框所在的候选视频流作为该装载机对应的目标视频流。
关于步骤S402～S404的具体实现方式，可参照上述实施例中相关部分的具体介绍，在此不再进行赘述。
S405，针对任一装载机，获取该装载机对应的每个目标视频流所包含的多张目标图像帧。
S406，将目标图像帧按照时间顺序放入到待处理图像帧队列中，作为待处理图像帧队列中的待处理目标图像帧。
S407，基于目标跟踪算法对待处理目标图像帧进行目标跟踪处理，获取装载机的运动轨迹。
S408，对目标图像帧进行关键点识别，获取该装载机的目标部位的坐标信息。
关于步骤S405～S408的具体实现方式，可参照上述实施例中相关部分的具体介绍，在此不再进行赘述。
S409，对运动轨迹进行分析，判断装载机是否处于移动状态。
S410，响应于装载机处于非移动状态，确定装载机处于非移动状态类别。
S411，响应于装载机处于移动状态，根据坐标信息判断装载机是否处于铲斗升起状态。
S412，响应于装载机处于铲斗降落状态，确定装载机处于移动且铲斗降落状态类别。
S413，响应于装载机处于铲斗升起状态，确定装载机处于移动且铲斗升起状态类别。
S414，响应于装载机处于移动且铲斗升起状态类别，向装载机发出告警指示。
关于步骤S409～S414的具体实现方式，可参照上述实施例中相关部分的具体介绍，在此不再进行赘述。
本申请实施例实现了对装载机的作业行为的实时分析，监管装载机的违章作业行为，对违章进行作业的装载机进行告警通知，便于后续对违章作业的装载机进行整改，提高了工作人员作业时的安全性。
图5是本申请示出的一种装载机作业行为的分析装置的示意图，如图5所示，该装载机作业行为的分析装置500，包括采集模块501、检测模块502、跟踪模块503和分类模块504，其中：
采集模块501，用于基于多台摄像机实时采集目标区域的不同角度对应的多个候选视频流，其中，目标区域中包括至少一台装载机。
检测模块502，用于对每个候选视频流所包含的候选图像帧进行目标检测，以从多个候选视频流中确定每台装载机对应的至少一个目标视频流。
跟踪模块503，用于针对任一装载机，对该装载机对应的每个目标视频流所包含的目标图像帧进行目标跟踪，获取该装载机的运动轨迹，并对目标图像帧进行关键点识别，获取该装载机的目标部位的坐标信息。
分类模块504，用于根据运动轨迹和坐标信息，对装载机的当前作业行为状态进行分类，分类包括非移动状态类别、移动且铲斗降落状态类别、移动且铲斗升起状态类别。
本装置实现了对装载机的作业行为的实时分析，监管装载机的违章作业行为，对违章进行作业的装载机进行告警通知，便于后续对违章作业的装载机进行整改，提高了工作人员作业时的安全性。
根据本申请的一个实施例，装载机作业行为的分析装置500还包括告警模块505，该告警模块505用于响应于装载机处于移动且铲斗升起状态类别，向装载机发出告警指示。
根据本申请的一个实施例，跟踪模块503，还用于：针对任一装载机，获取该装载机对应的每个目标视频流所包含的多张目标图像帧；将目标图像帧按照时间顺序放入到待处理图像帧队列中，作为待处理图像帧队列中的待处理目标图像帧；基于目标跟踪算法对待处理目标图像帧进行目标跟踪处理，获取装载机的运动轨迹。
根据本申请的一个实施例，跟踪模块503，还用于：响应于待处理图像帧队列中的待处理目标图像帧的数量已达到待处理图像帧队列的满额容量，确定待处理图像帧队列中待进行删除的待删除图像帧；将待删除图像帧从待处理图像帧队列中删除，并将目标图像帧按照时间顺序放入待处理图像帧队列以对待处理图像帧队列进行更新。
根据本申请的一个实施例，检测模块502，还用于：对每个候选视频流所包含的候选图像帧进行目标检测，确定每个装载机对应的目标检测矩形框；获取每个目标检测矩形框的长宽比，以及确定每个目标检测矩形框的像素点个数占整张候选图像帧的像素点总个数的个数百分比；针对任一装载机，将长宽比大于长宽比阈值且个数百分比大于个数百分比阈值的目标检测矩形框所在的候选视频流作为该装载机对应的目标视频流。
根据本申请的一个实施例，分类模块504，还用于：对运动轨迹进行分析，判断装载机是否处于移动状态；响应于装载机处于非移动状态，确定装载机处于非移动状态类别；响应于装载机处于移动状态，根据坐标信息判断装载机是否处于铲斗升起状态；响应于装载机处于铲斗升起状态，确定装载机处于移动且铲斗升起状态类别；响应于装载机处于铲斗降落状态，确定装载机处于移动且铲斗降落状态类别。
根据本申请的一个实施例，分类模块504，还用于：针对装载机的任一个目标视频流，获取目标视频流的当前时刻对应的第i帧目标图像帧中装载机的运动轨迹对应的轨迹点的第一横坐标值；获取目标视频流的第i-m帧目标图像帧中装载机的运动轨迹对应的轨迹点的第二横坐标值；获取第一横坐标值与第二横坐标值的差值；响应于差值大于预设阈值，确定装载机处于移动状态。
根据本申请的一个实施例，分类模块504，还用于：根据坐标信息获取装载机对应的方向向量，其中，方向向量包括装载机铲斗对应的第一方向向量和装载机本体对应的第二方向向量；将方向向量输入训练好的支持向量机SVM中，以获取SVM输出的装载机的当前铲斗状态，其中，当前铲斗状态类别包括铲斗升起状态和铲斗收回状态。
根据本申请的一个实施例，检测模块502，还用于：对装载机对应的目标视频流进行实时更新。
为了实现上述实施例，本申请实施例还提出一种电子设备600，如图6所示，该电子设备600包括：处理器601和处理器通信连接的存储器602，存储器602存储有可被至少一个处理器执行的指令，指令被至少一个处理器601执行，以实现如上述实施例所示的装载机作业行为的分析方法。
为了实现上述实施例，本申请实施例还提出一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机实现如上述实施例所示的装载机作业行为的分析方法。
为了实现上述实施例，本申请实施例还提出一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如上述实施例所示的装载机作业行为的分析方法。
在本申请的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种装载机作业行为的分析方法，其特征在于，包括：
基于多台摄像机实时采集目标区域的不同角度对应的多个候选视频流，其中，所述目标区域中包括至少一台装载机；
对每个所述候选视频流所包含的候选图像帧进行目标检测，以从多个所述候选视频流中确定每台所述装载机对应的至少一个目标视频流；
针对任一所述装载机，对该装载机对应的每个所述目标视频流所包含的目标图像帧进行目标跟踪，获取该装载机的运动轨迹，并对所述目标图像帧进行关键点识别，获取该装载机的目标部位的坐标信息；
根据所述运动轨迹和所述坐标信息，对所述装载机的当前作业行为状态进行分类，所述分类包括非移动状态类别、移动且铲斗降落状态类别、移动且铲斗升起状态类别。
2.根据权利要求1所述的装载机作业行为的分析方法，其特征在于，所述方法还包括：
响应于所述装载机处于移动且铲斗升起状态类别，向所述装载机发出告警指示。
3.根据权利要求1或2所述的装载机作业行为的分析方法，其特征在于，所述针对任一所述装载机，对该装载机对应的每个所述目标视频流所包含的目标图像帧进行目标跟踪，获取该装载机的运动轨迹，包括：
针对任一所述装载机，获取该装载机对应的每个所述目标视频流所包含的多张目标图像帧；
将所述目标图像帧按照时间顺序放入到待处理图像帧队列中，作为所述待处理图像帧队列中的待处理目标图像帧；
基于目标跟踪算法对所述待处理目标图像帧进行目标跟踪处理，获取所述装载机的运动轨迹。
4.根据权利要求3所述的装载机作业行为的分析方法，其特征在于，所述方法还包括：
响应于所述待处理图像帧队列中的待处理目标图像帧的数量已达到所述待处理图像帧队列的满额容量，确定所述待处理图像帧队列中待进行删除的待删除图像帧；
将所述待删除图像帧从所述待处理图像帧队列中删除，并将所述目标图像帧按照时间顺序放入所述待处理图像帧队列以对所述待处理图像帧队列进行更新。
5.根据权利要求1所述的装载机作业行为的分析方法，其特征在于，所述对每个所述候选视频流所包含的候选图像帧进行目标检测，以从多个所述候选视频流中确定每台所述装载机对应的至少一个目标视频流，包括：
对每个所述候选视频流所包含的候选图像帧进行目标检测，确定每个所述装载机对应的目标检测矩形框；
获取每个所述目标检测矩形框的长宽比，以及确定每个所述目标检测矩形框的像素点个数占整张候选图像帧的像素点总个数的个数百分比；
针对任一所述装载机，将所述长宽比大于长宽比阈值且所述个数百分比大于个数百分比阈值的所述目标检测矩形框所在的候选视频流作为该装载机对应的所述目标视频流。
6.根据权利要求1所述的装载机作业行为的分析方法，其特征在于，所述根据所述运动轨迹和所述坐标信息，对所述装载机的当前作业行为状态进行分类，包括：
对所述运动轨迹进行分析，判断所述装载机是否处于移动状态；
响应于所述装载机处于非移动状态，确定所述装载机处于非移动状态类别；
响应于所述装载机处于移动状态，根据所述坐标信息判断所述装载机是否处于铲斗升起状态；
响应于所述装载机处于铲斗升起状态，确定所述装载机处于移动且铲斗升起状态类别；
响应于所述装载机处于铲斗降落状态，确定所述装载机处于移动且铲斗降落状态类别。
7.根据权利要求6所述的装载机作业行为的分析方法，其特征在于，所述对所述运动轨迹进行分析，判断所述装载机是否处于移动状态，包括：
针对所述装载机的任一个目标视频流，获取所述目标视频流的当前时刻对应的第i帧目标图像帧中所述装载机的运动轨迹对应的轨迹点的第一横坐标值；
获取所述目标视频流的第i-m帧目标图像帧中所述装载机的运动轨迹对应的所述轨迹点的第二横坐标值；
获取所述第一横坐标值与所述第二横坐标值的差值；
响应于所述差值大于预设阈值，确定所述装载机处于移动状态。
8.根据权利要求6或7所述的装载机作业行为的分析方法，其特征在于，所述根据所述坐标信息判断所述装载机是否处于铲斗升起状态，包括：
根据所述坐标信息获取装载机对应的方向向量，其中，所述方向向量包括装载机铲斗对应的第一方向向量和装载机本体对应的第二方向向量；
将所述方向向量输入训练好的支持向量机SVM中，以获取所述SVM输出的所述装载机的当前铲斗状态，其中，所述当前铲斗状态类别包括铲斗升起状态和铲斗收回状态。
9.根据权利要求1所述的装载机作业行为的分析方法，其特征在于，所述方法还包括：
对所述装载机对应的目标视频流进行实时更新。
10.一种装载机作业行为的分析装置，其特征在于，包括：
采集模块，用于基于多台摄像机实时采集目标区域的不同角度对应的多个候选视频流，其中，所述目标区域中包括至少一台装载机；
检测模块，用于对每个所述候选视频流所包含的候选图像帧进行目标检测，以从多个所述候选视频流中确定每台所述装载机对应的至少一个目标视频流；
跟踪模块，用于针对任一所述装载机，对该装载机对应的每个所述目标视频流所包含的目标图像帧进行目标跟踪，获取该装载机的运动轨迹，并对所述目标图像帧进行关键点识别，获取该装载机的目标部位的坐标信息；
分类模块，用于根据所述运动轨迹和所述坐标信息，对所述装载机的当前作业行为状态进行分类，所述分类包括非移动状态类别、移动且铲斗降落状态类别、移动且铲斗升起状态类别。
CN202310289423.9A 2023-03-22 2023-03-22 装载机作业行为的分析方法及其装置 Pending CN116503774A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310289423.9A CN116503774A (zh) 2023-03-22 2023-03-22 装载机作业行为的分析方法及其装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310289423.9A CN116503774A (zh) 2023-03-22 2023-03-22 装载机作业行为的分析方法及其装置

Publications (1)

Publication Number Publication Date
CN116503774A true CN116503774A (zh) 2023-07-28

Family

ID=87322140

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310289423.9A Pending CN116503774A (zh) 2023-03-22 2023-03-22 装载机作业行为的分析方法及其装置

Country Status (1)

Country Link
CN (1) CN116503774A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117602396A (zh) * 2023-11-29 2024-02-27 中国农业大学 一种青饲料收获机自动跟车抛送填装方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117602396A (zh) * 2023-11-29 2024-02-27 中国农业大学 一种青饲料收获机自动跟车抛送填装方法
CN117602396B (zh) * 2023-11-29 2024-04-30 中国农业大学 一种青饲料收获机自动跟车抛送填装方法

Similar Documents

Publication Publication Date Title
Guo et al. Dense construction vehicle detection based on orientation-aware feature fusion convolutional neural network
Liang et al. A vision-based marker-less pose estimation system for articulated construction robots
Mostafa et al. Review of image-based analysis and applications in construction
Kim et al. Interaction analysis for vision-based activity identification of earthmoving excavators and dump trucks
CN108364466B (zh) 一种基于无人机交通视频的车流量统计方法
CN111753612B (zh) 一种抛洒物检测方法、装置及存储介质
CN116503774A (zh) 装载机作业行为的分析方法及其装置
CN110602449A (zh) 一种基于视觉的大场景下施工安全智能监控系统方法
CN106951889A (zh) 井下高危区域动目标监测和管理系统
Mithun et al. Video-based tracking of vehicles using multiple time-spatial images
US20160353049A1 (en) Method and System for Displaying a Projected Path for a Machine
CN111626275B (zh) 一种基于智能视频分析的异常停车检测方法
CN112308003B (zh) 一种废钢货车装载状态识别方法、系统、设备及介质
CN111524350B (zh) 车路协同异常行驶状况检测方法、系统、终端设备及介质
CN111079722A (zh) 一种吊装过程人员安全监测方法及系统
CN111783579A (zh) 基于无人机视觉分析的施工人员跨越围栏检测系统
CN116022657A (zh) 路径规划方法、装置和起重机
CN115705714A (zh) 用于分析工作区域的系统和方法
CN112356027A (zh) 农林机器人避障方法、装置、计算机设备和存储介质
Kim et al. Sequential pattern learning of visual features and operation cycles for vision-based action recognition of earthmoving excavators
CN112836683A (zh) 用于便携式摄像设备的车牌识别方法、装置、设备和介质
CN107767399A (zh) 叉车监控方法及监控系统
Zhang et al. Applications of deep learning in intelligent construction
JP2022512165A (ja) 交差点検出、ニューラルネットワークトレーニング及びインテリジェント走行方法、装置及びデバイス
CN114049610B (zh) 一种高速公路上机动车倒车和逆行违法行为主动发现方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination