CN110781754A - 一种人工巡检智能监测的方法、装置、系统及存储介质 - Google Patents

一种人工巡检智能监测的方法、装置、系统及存储介质 Download PDF

Info

Publication number
CN110781754A
CN110781754A CN201910925657.1A CN201910925657A CN110781754A CN 110781754 A CN110781754 A CN 110781754A CN 201910925657 A CN201910925657 A CN 201910925657A CN 110781754 A CN110781754 A CN 110781754A
Authority
CN
China
Prior art keywords
action
inspection
person
determining
image information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910925657.1A
Other languages
English (en)
Inventor
朱晓宁
吴喆峰
赵珊珊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jingying Digital Technology Co Ltd
Original Assignee
Jingying Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jingying Digital Technology Co Ltd filed Critical Jingying Digital Technology Co Ltd
Priority to CN201910925657.1A priority Critical patent/CN110781754A/zh
Publication of CN110781754A publication Critical patent/CN110781754A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种人工巡检智能监测的方法、装置、系统及存储介质。方法包括：获取人物及物体的图像信息；根据人物的图像信息确定人物动作，确定人物动作是否为巡检特征动作；响应于确定人物动作为巡检特征动作时，根据人物及物体的图像信息确定人物与物体的位置关系，确定巡检特征动作为有效巡检动作或无效巡检动作；响应于确定巡检特征动作为无效巡检动作时，执行提示。本发明提供的技术方案，通过识别物体及工作人员的图像信息，自动对作业现场工作人员的巡检过程是否合规进行监测，有效保障了巡检工作的质量，使作业现场安全系数显著提高。

Description

一种人工巡检智能监测的方法、装置、系统及存储介质
技术领域
本发明实施例涉及工业生产或加工领域，具体涉及一种人工巡检智能监测的方法、装置、系统及存储介质。
背景技术
在工业生产及加工过程中，及时发现事故隐患并进行处理，能够有效预防事故的发生，避免人员伤亡和财产损失。目前主要通过工作人员巡视作业现场的方式识别安全隐患，然而，巡检工作的质量主要取决于巡检人员的责任心和自觉性。然而，在长时间高密度的工作环境下，实际的巡检情况通常不尽如人意，即工作人员不巡检、不按时巡检和不认真巡检的问题时有发生，造成作业现场存在安全隐患。针对巡检工作质量的管控，通常是通过人工记录巡检人员是否进出作业现场，然而这种方法易造成巡检员偷懒或作弊，不利于巡检效率和效果的提升。因此，如何有效保障巡检工作质量，是目前亟需解决的技术问题。
发明内容
本发明实施例的目的在于提供一种人工巡检智能监测的方法、装置、系统及存储介质，用以解决保障巡检工作质量的问题。
为实现上述目的，本发明实施例主要提供如下技术方案：
第一方面，本发明实施例提供了一种人工巡检智能监测的方法，该方法包括：
获取人物及物体的图像信息；
根据人物的图像信息确定人物动作，确定人物动作是否为巡检特征动作；
响应于确定人物动作为巡检特征动作时，根据人物及物体的图像信息确定人物与物体的位置关系，确定巡检特征动作为有效巡检动作或无效巡检动作；
响应于确定巡检特征动作为无效巡检动作时，执行提示。
进一步地，根据人物的图像信息确定人物动作，确定人物动作是否为巡检特征动作包括：
通过目标检测模型获取人物的一个或多个关键点的坐标信息；
对关键点的坐标信息进行正则化处理，通过运动姿态分类器确定人物动作；
响应于确定预设巡检特征动作数据库中存在人物动作时，确定人物动作为巡检特征动作。
进一步地，通过目标检测模型获取人物的一个或多个关键点的坐标信息包括：
通过AlphaPose目标检测模型获取人物的18个关键点的坐标信息。
进一步地，对关键点的坐标信息进行正则化处理，通过运动姿态分类器确定人物动作包括：
对关键点的坐标信息进行L2正则化处理，通过SoftMax分类器确定人物动作。
进一步地，还包括：
通过COCO和MPII数据集训练AlphaPose目标检测模型与SoftMax分类器。
进一步地，响应于确定人物动作为巡检特征动作时，根据人物及物体的图像信息确定人物与物体的位置关系，确定巡检特征动作为有效巡检动作或无效巡检动作包括：
通过目标检测模型确定物体的坐标信息；
根据人物的一个或多个关键点的坐标信息及物体的坐标信息，确定人物与物体的距离及角度；
响应于人物与物体的距离满足第一预设范围且人物与物体的角度满足第二预设范围时，确定巡检特征动作为有效巡检动作；
响应于人物与物体的距离不满足第一预设范围或人物与物体的角度不满足第二预设范围时，确定巡检特征动作为无效巡检动作。
进一步地，还包括：
确定人物图像信息的持续时间及有效巡检动作的次数；
根据人物图像信息的持续时间及有效巡检动作的次数，确定巡检过程的评分；
响应于巡检过程的评分低于预设分值，执行提示。
第二方面，本发明实施例还提供了一种人工巡检智能监测的装置，该装置包括：图像采集单元、分析单元、提示单元，其中，
图像采集单元，用于获取人物及物体的图像信息；
分析单元，用于根据人物的图像信息确定人物动作，确定人物动作是否为巡检特征动作；响应于确定人物动作为巡检特征动作时，根据人物及物体的图像信息确定人物与物体的位置关系，确定巡检特征动作为有效巡检动作或无效巡检动作；
提示单元，用于响应于确定巡检特征动作为无效巡检动作时，执行提示。
进一步地，根据人物的图像信息确定人物动作，确定人物动作是否为巡检特征动作包括：
通过目标检测模型获取人物的一个或多个关键点的坐标信息；
对关键点的坐标信息进行正则化处理，通过运动姿态分类器确定人物动作；
响应于确定预设巡检特征动作数据库中存在人物动作时，确定人物动作为巡检特征动作。
进一步地，通过目标检测模型获取人物的一个或多个关键点的坐标信息包括：
通过AlphaPose目标检测模型获取人物的18个关键点的坐标信息。
进一步地，对关键点的坐标信息进行正则化处理，通过运动姿态分类器确定人物动作包括：
对关键点的坐标信息进行L2正则化处理，通过SoftMax分类器确定人物动作。
进一步地，还包括：
通过COCO和MPII数据集训练AlphaPose目标检测模型与SoftMax分类器。
进一步地，响应于确定人物动作为巡检特征动作时，根据人物及物体的图像信息确定人物与物体的位置关系，确定巡检特征动作为有效巡检动作或无效巡检动作包括：
通过目标检测模型确定物体的坐标信息；
根据人物的一个或多个关键点的坐标信息及物体的坐标信息，确定人物与物体的距离及角度；
响应于人物与物体的距离满足第一预设范围且人物与物体的角度满足第二预设范围时，确定巡检特征动作为有效巡检动作；
响应于人物与物体的距离不满足第一预设范围或人物与物体的角度不满足第二预设范围时，确定巡检特征动作为无效巡检动作。
进一步地，还包括：
确定人物图像信息的持续时间及有效巡检动作的次数；
根据人物图像信息的持续时间及有效巡检动作的次数，确定巡检过程的评分；
响应于巡检过程的评分低于预设分值，执行提示。
第三方面，本发明实施例还提供了一种人工巡检智能监测的系统，该系统包括：至少一个图像采集装置、至少一个处理器、至少一个提示装置，其中，
图像采集装置，用于获取人物及物体的图像信息；
处理器，用于根据人物的图像信息确定人物动作，确定人物动作是否为巡检特征动作；响应于确定人物动作为巡检特征动作时，根据人物及物体的图像信息确定人物与物体的位置关系，确定巡检特征动作为有效巡检动作或无效巡检动作；
提示装置，用于响应于确定巡检特征动作为无效巡检动作时，执行提示。
第四方面，本发明实施例还提供了一种人工巡检智能监测的存储介质，该存储介质中包含一个或多个程序指令，
其中，一个或多个程序指令用于被执行如上述一种人工巡检智能监测的方法中的任一项所述方法步骤。
本发明实施例提供的技术方案至少具有如下优点：
本发明提供的技术方案，通过识别物体及工作人员的图像信息，自动对作业现场工作人员的巡检过程是否合规进行监测，有效保障了巡检工作的质量，使作业现场安全系数显著提高。
附图说明
图1为本发明实施例1提供的一种人工巡检智能监测的方法流程图。
图2为本发明实施例1提供的一种图像采集装置监测实景示意图。
图3为本发明实施例1提供的一种人物的18个关键点划分方式示意图。其中，0为头顶，1为颈部，2为右肩，3为右肘，4为右腕，5为左肩，6为左肘，7为左腕，8为右臀，9为右膝，10为右裸，11为左臀，12为左膝，13为左裸，14为胸部，15为背部，16为右眼，17为左眼。
图4为本发明实施例1提供的一种有效巡检动作示意图。其中，3为人物，2为电机2型设备。
图5为本发明实施例2提供的一种人工巡检智能监测的装置结构示意图。
图6为本发明实施例3提供的一种人工巡检智能监测的系统结构示意图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效。
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本发明。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
下文，将详细说明一种人工巡检智能监测的方法，该方法使用的应用场景很多，在本实施例中，仅以煤矿监测场景为例进行说明，如图1所示该方法步骤如下：
步骤110：获取人物及物体的图像信息。
可选地，物体的图像信息可包括以下一种或多种：设备的图像信息、货物的图像信息、矿石的图像信息等。
例如，参见图2所示，通过图像采集装置采集巡检区域的视频，利用YOLO v3目标检测模型识别图像中的人物及设备，当识别到人物时，执行步骤120。可选地，可通过逐帧或跳帧的方式通过图像采集装置获取人物及设备的图像信息。
步骤120：根据人物的图像信息确定人物动作，确定人物动作是否为巡检特征动作。
具体地，包括以下步骤：
步骤120a：通过目标检测模型获取人物的一个或多个关键点的坐标信息。
例如，将识别到的人物图像信息通过AlphaPose目标检测模型获取人物的18个关键点的坐标信息。其中，人物的18个关键点的划分方式可参考图3所示，其中，0为头顶，1为颈部，2为右肩，3为右肘，4为右腕，5为左肩，6为左肘，7为左腕，8为右臀，9为右膝，10为右裸，11为左臀，12为左膝，13为左裸，14为胸部，15为背部，16为右眼，17为左眼。
优选地，为获得更为准确的数据，可在利用AlphaPose目标检测模型获取关键点的坐标信息前，通过COCO和MPII数据集对AlphaPose目标检测模型进行训练。例如，利用运动人体关键点检测数据集中的样本作为关键点检测算法的训练集和测试集，数据集中的运动人体包含已标注的关键点，用以表征人体的不同运动状态；利用训练样本对人关键点检测算法进行训练，输出的结果为各关键点的坐标信息；利用检测样本对关键点检测算法进行训练和改进，获得关键点检测模型；据此，关键点检测模型可用于对摄像机实时拍摄的视频中包含的人员进行关键点检测。
步骤120b：对关键点的坐标信息进行正则化处理，通过运动姿态分类器确定人物动作。
例如，为减小误差，将AlphaPose目标检测模型输出的结果进行L2正则化处理后，再通过SoftMax运动姿态分类器确定人物动作。
优选地，为获得更为准确的数据，可在利用SoftMax分类器确定人物动作前，通过COCO和MPII数据集对SoftMax分类器进行训练。例如，对关键点检测模型的输出结果进行正则化处理，并将正则化处理结果作为运动姿态分类模型的输入；不同关键点之间的相对位置及角度关系，可以表征人的姿态；利用运动人体的关键点信息作为训练和检测样本，数据集包含关键点的相对位置及角度信息，和与之对应的人体运动姿态；利用训练样本对运动姿态分类算法进行训练，输出的结果为人的具体运动姿态；利用检测样本对运动姿态分类算法进行训练和改进，获得运动姿态分类器；据此，运动姿态分类器可用于对摄像机实时拍摄的视频中包含的巡检人员进行动作姿态分类。
步骤120c：响应于确定预设巡检特征动作数据库中存在所述人物动作时，确定所述人物动作为巡检特征动作。
具体地，预先建立巡检特征动作的数据库，该数据库中的样本覆盖巡检过程中可能涉及到的所有具有巡检特征的动作。例如，蹲下视察是一种具有巡检特征的动作；直线行走并目视前方，可能为一种普通的走路行为，不是具有巡检特征的动作。当通过SoftMax分类器确定人物动作为蹲下视察时，可以在预设巡检特征动作数据库中找到蹲下视察动作，则确定该动作为巡检特征动作。
步骤130：响应于确定人物动作为巡检特征动作时，根据人物及物体的图像信息确定人物与物体的位置关系，确定巡检特征动作为有效巡检动作或无效巡检动作。
具体地，响应于确定人物动作为巡检特征动作时，通过目标检测模型确定物体的坐标信息；根据人物的一个或多个关键点的坐标信息及物体的坐标信息，确定人物与物体的距离及角度；响应于人物与物体的距离满足第一预设范围且人物与物体的角度满足第二预设范围时，确定巡检特征动作为有效巡检动作；响应于所述人物与物体的距离不满足第一预设范围或所述人物与物体的角度不满足第二预设范围时，确定巡检特征动作为无效巡检动作。
参见图4，例如，当确定人物的动作为巡检特征动作时，通过AlphaPose关键点检测模型输出结果能够得到人物的位置信息。可通过关键点0、14、12、7的中心点来表征人物的位置；可通过YOLO v3目标检测模型，获得电机2型设备的位置；通过人物关键点的坐标及电机2型设备的坐标，确定人物与电机2型设备之间的距离l，利用关键点16和17来判断人物的视线与电机2型设备之间的角度α。预先建立有效巡检动作的评判标准，规定在执行不同的巡检特征动作时，人物与设备之间合规的距离和角度关系；例如，规定人物在巡检电机2型设备时，人物与电机2型设备之间的距离应不超过1m，角度范围应为45°至135°，即第一预设范围为l≤1m，第二预设范围为45°≤α≤135°。当确定人物与物体的距离满足第一预设范围且角度满足第二预设范围时，确定巡检特征动作为有效巡检动作，并进行提示；否则，确定为无效巡检动作，执行步骤140。
步骤140：响应于确定巡检特征动作为无效巡检动作时，执行提示。
可选地，提示的方式包括但不限于以下一种或多种：文字提示、声音提示、灯光提示、电话提示、短信提示、微信提示。提示的对象包括但不限于以下一种或多种：工作人员、本地系统、服务器。
可选地，本实施例还包括步骤150：
确定人物图像信息的持续时间及有效巡检动作的次数；根据人物图像信息的持续时间及有效巡检动作的次数，确定巡检过程的评分；响应于巡检过程的评分低于预设分值，执行提示。
例如，当确定巡检特征动作为有效巡检动作时，确定人物图像信息的持续时间及有效巡检动作的次数，并根据预先设定的评价标准计算巡检过程的评分。例如，预先规定人物图像信息的持续时间低于5分钟对应分值为3分，5分钟至10分钟对应分值为6分，超过10分钟对应分值为9分等等。预先规定蹲下并注视设备这一动作对应的分值为5分，低头并手碰设备这一动作对应分值为6分等等。预先规定人物图像信息的持续时间及有效巡检动作的次数对应发权重分别为0.6与0.4或0.7与0.3等等。当确定有效巡检动作的种类为蹲下并注视设备，图像采集装置识别到人物图像的持续时间为8分钟，识别到蹲下并注视设备这一动作共计出现了7次，则这次巡检过程的评分为：6*0.6+7*0.4＝6.4。若预设标准规定巡检过程的评分不小于6为达标，则确定本次巡检过程达标，并进行提示。
可选地，根据不同的应用场景，巡检过程可设置不同的评价标准。例如，在设备或人员不多的场景下，根据人物图像信息的持续时间及有效巡检动作的次数计算巡检过程的评分；在设备或人员较多的场景下，除了根据人物图像信息的持续时间及有效巡检动作的次数外，还需结合有效巡检动作的种类计算巡检过程的评分。
与上述实施例1对应的，本发明实施例2还提供了一种人工巡检智能监测的装置，具体如图5所示，该装置包括：图像采集单元201、分析单元202、提示单元203。其中，
图像采集单元201，用于获取人物及物体的图像信息；
分析单元202，用于根据人物的图像信息确定人物动作，确定人物动作是否为巡检特征动作；响应于确定人物动作为巡检特征动作时，根据人物及物体的图像信息确定人物与物体的位置关系，确定巡检特征动作为有效巡检动作或无效巡检动作；
提示单元203，用于响应于确定巡检特征动作为无效巡检动作时，执行提示。
具体地，根据人物的图像信息确定人物动作，确定人物动作是否为巡检特征动作包括：
通过目标检测模型获取人物的一个或多个关键点的坐标信息；
对关键点的坐标信息进行正则化处理，通过运动姿态分类器确定人物动作；
响应于确定预设巡检特征动作数据库中存在人物动作时，确定人物动作为巡检特征动作。
可选地，通过目标检测模型获取人物的一个或多个关键点的坐标信息包括：
通过AlphaPose目标检测模型获取人物的18个关键点的坐标信息。
可选地，对关键点的坐标信息进行正则化处理，通过运动姿态分类器确定人物动作包括：
对关键点的坐标信息进行L2正则化处理，通过SoftMax分类器确定人物动作。
可选地，还包括：
通过COCO和MPII数据集训练AlphaPose目标检测模型与SoftMax分类器。
具体地，响应于确定人物动作为巡检特征动作时，根据人物及物体的图像信息确定人物与物体的位置关系，确定巡检特征动作为有效巡检动作或无效巡检动作包括：
通过目标检测模型确定物体的坐标信息；
根据人物的一个或多个关键点的坐标信息及物体的坐标信息，确定人物与物体的距离及角度；
响应于人物与物体的距离满足第一预设范围且人物与物体的角度满足第二预设范围时，确定巡检特征动作为有效巡检动作；
响应于人物与物体的距离不满足第一预设范围或人物与物体的角度不满足第二预设范围时，确定巡检特征动作为无效巡检动作。
可选地，还包括：
确定人物图像信息的持续时间及有效巡检动作的次数；根据人物图像信息的持续时间及有效巡检动作的次数，确定巡检过程的评分；响应于巡检过程的评分低于预设分值，执行提示。
与上述实施例1对应的，本发明实施例3还提供了一种人工巡检智能监测的系统，具体如图6所示，该装置包括：至少一个图像采集装置301、至少一个处理器302和至少一个提示装置303。其中，
图像采集装置301，用于获取人物及物体的图像信息；
处理器302，用于根据人物的图像信息确定人物动作，确定人物动作是否为巡检特征动作；响应于确定人物动作为巡检特征动作时，根据人物及物体的图像信息确定人物与物体的位置关系，确定巡检特征动作为有效巡检动作或无效巡检动作；
提示装置303，用于响应于确定巡检特征动作为无效巡检动作时，执行提示。
与上述实施例相对应的，本发明实施例4还提供了一种存储介质，该存储介质中包含一个或多个程序指令。其中，一个或多个程序指令用于被执行如上所介绍的一种人工巡检智能监测的方法。
在本发明实施例中，处理器可以是一种集成电路芯片，具有信号的处理能力。处理器可以是通用处理器、数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application Specific工ntegrated Circuit，简称ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。处理器读取存储介质中的信息，结合其硬件完成上述方法的步骤。
存储介质可以是存储器，例如可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。
其中，非易失性存储器可以是只读存储器(Read-Only Memory，简称ROM)、可编程只读存储器(Programmable ROM，简称PROM)、可擦除可编程只读存储器(Erasable PROM，简称EPROM)、电可擦除可编程只读存储器(Electrically EPROM，简称EEPROM)或闪存。
易失性存储器可以是随机存取存储器(Random Access Memory，简称RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，简称SRAM)、动态随机存取存储器(Dynamic RAM，简称DRAM)、同步动态随机存取存储器(Synchronous DRAM，简称SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM，简称DDRSDRAM)、增强型同步动态随机存取存储器(EnhancedSDRAM，简称ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，简称SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM，简称DRRAM)。
本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件与软件组合来实现。当应用软件时，可以将相应功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (10)

1.一种人工巡检智能监测的方法，其特征在于，包括：
获取人物及物体的图像信息；
根据人物的图像信息确定人物动作，确定所述人物动作是否为巡检特征动作；
响应于确定所述人物动作为巡检特征动作时，根据人物及物体的图像信息确定人物与物体的位置关系，确定所述巡检特征动作为有效巡检动作或无效巡检动作；
响应于确定所述巡检特征动作为无效巡检动作时，执行提示。
2.如权利要求1所述的一种人工巡检智能监测的方法，其特征在于，根据人物的图像信息确定人物动作，确定所述人物动作是否为巡检特征动作包括：
通过目标检测模型获取人物的一个或多个关键点的坐标信息；
对所述关键点的坐标信息进行正则化处理，通过运动姿态分类器确定所述人物动作；
响应于确定预设巡检特征动作数据库中存在所述人物动作时，确定所述人物动作为巡检特征动作。
3.如权利要求2所述的一种人工巡检智能监测的方法，其特征在于，通过目标检测模型获取人物的一个或多个关键点的坐标信息包括：
通过AlphaPose目标检测模型获取人物的18个关键点的坐标信息。
4.如权利要求3所述的一种人工巡检智能监测的方法，其特征在于，对所述关键点的坐标信息进行正则化处理，通过运动姿态分类器确定所述人物动作包括：
对所述关键点的坐标信息进行L2正则化处理，通过SoftMax分类器确定所述人物动作。
5.如权利要求4所述的一种人工巡检智能监测的方法，其特征在于，还包括：
通过COCO和MPII数据集训练AlphaPose目标检测模型与SoftMax分类器。
6.如权利要求2所述的一种人工巡检智能监测的方法，其特征在于，响应于确定所述人物动作为巡检特征动作时，根据人物及物体的图像信息确定人物与物体的位置关系，确定所述巡检特征动作为有效巡检动作或无效巡检动作包括：
通过目标检测模型确定物体的坐标信息；
根据所述人物的一个或多个关键点的坐标信息及物体的坐标信息，确定人物与物体的距离及角度；
响应于所述人物与物体的距离满足第一预设范围且所述人物与物体的角度满足第二预设范围时，确定所述巡检特征动作为有效巡检动作；
响应于所述人物与物体的距离不满足第一预设范围或所述人物与物体的角度不满足第二预设范围时，确定所述巡检特征动作为无效巡检动作。
7.如权利要求6所述的一种人工巡检智能监测的方法，其特征在于，还包括：
确定人物图像信息的持续时间及有效巡检动作的次数；
根据所述人物图像信息的持续时间及有效巡检动作的次数，确定巡检过程的评分；
响应于所述巡检过程的评分低于预设分值，执行提示。
8.一种人工巡检智能监测的装置，其特征在于，包括：图像采集单元、分析单元、提示单元，其中，
所述图像采集单元，用于获取人物及物体的图像信息；
所述分析单元，用于根据人物的图像信息确定人物动作，确定所述人物动作是否为巡检特征动作；响应于确定所述人物动作为巡检特征动作时，根据人物及物体的图像信息确定人物与物体的位置关系，确定所述巡检特征动作为有效巡检动作或无效巡检动作；
所述提示单元，用于响应于确定所述巡检特征动作为无效巡检动作时，执行提示。
9.一种人工巡检智能监测的系统，其特征在于，包括：至少一个图像采集装置，至少一个处理器，至少一个提示装置，其中，
所述图像采集装置，用于获取人物及物体的图像信息；
所述处理器，用于根据人物的图像信息确定人物动作，确定所述人物动作是否为巡检特征动作；响应于确定所述人物动作为巡检特征动作时，根据人物及物体的图像信息确定人物与物体的位置关系，确定所述巡检特征动作为有效巡检动作或无效巡检动作；
所述提示装置，用于响应于确定所述巡检特征动作为无效巡检动作时，执行提示。
10.一种人工巡检智能监测的存储介质，其特征在于，所述存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行如权利要求1-7任一项所述的方法。
CN201910925657.1A 2019-09-27 2019-09-27 一种人工巡检智能监测的方法、装置、系统及存储介质 Pending CN110781754A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910925657.1A CN110781754A (zh) 2019-09-27 2019-09-27 一种人工巡检智能监测的方法、装置、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910925657.1A CN110781754A (zh) 2019-09-27 2019-09-27 一种人工巡检智能监测的方法、装置、系统及存储介质

Publications (1)

Publication Number Publication Date
CN110781754A true CN110781754A (zh) 2020-02-11

Family

ID=69384639

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910925657.1A Pending CN110781754A (zh) 2019-09-27 2019-09-27 一种人工巡检智能监测的方法、装置、系统及存储介质

Country Status (1)

Country Link
CN (1) CN110781754A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111294561A (zh) * 2020-02-18 2020-06-16 广州正为明昱信息科技有限公司 基于视频的在线巡更方法、电子设备、存储介质及系统
CN111310947A (zh) * 2020-02-28 2020-06-19 广州正为明昱信息科技有限公司 基于5g的建筑设施运维方法、设备、存储介质及系统
CN111401685A (zh) * 2020-02-13 2020-07-10 中国安全生产科学研究院 有限空间作业安全风险监控方法
CN111559682A (zh) * 2020-05-27 2020-08-21 江苏省特种设备安全监督检验研究院 一种特定情况下电梯困人远程救援系统及其方法与电梯
CN113395480A (zh) * 2020-03-11 2021-09-14 珠海格力电器股份有限公司 一种作业监测方法、装置、电子设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103903013A (zh) * 2014-04-15 2014-07-02 复旦大学 一种无标记平面物体识别的优化算法
CN105389860A (zh) * 2015-09-11 2016-03-09 国网山东平阴县供电公司 一种电力行业巡检人员监测系统
CN106600739A (zh) * 2016-12-08 2017-04-26 江苏展邦智能科技有限公司 一种监测巡检人员的方法及系统
CN108764066A (zh) * 2018-05-08 2018-11-06 南京邮电大学 一种基于深度学习的快件分拣操作规范检测方法
CN109446892A (zh) * 2018-09-14 2019-03-08 杭州宇泛智能科技有限公司 基于深度神经网络的人眼注意力定位方法及系统
CN109558865A (zh) * 2019-01-22 2019-04-02 郭道宁 一种基于人体关键点的对需特别看护人员的异常状态检测方法
CN109740513A (zh) * 2018-12-29 2019-05-10 青岛小鸟看看科技有限公司 一种动作行为分析方法和装置
CN110110613A (zh) * 2019-04-19 2019-08-09 北京航空航天大学 一种基于动作识别的轨道交通异常人员检测方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103903013A (zh) * 2014-04-15 2014-07-02 复旦大学 一种无标记平面物体识别的优化算法
CN105389860A (zh) * 2015-09-11 2016-03-09 国网山东平阴县供电公司 一种电力行业巡检人员监测系统
CN106600739A (zh) * 2016-12-08 2017-04-26 江苏展邦智能科技有限公司 一种监测巡检人员的方法及系统
CN108764066A (zh) * 2018-05-08 2018-11-06 南京邮电大学 一种基于深度学习的快件分拣操作规范检测方法
CN109446892A (zh) * 2018-09-14 2019-03-08 杭州宇泛智能科技有限公司 基于深度神经网络的人眼注意力定位方法及系统
CN109740513A (zh) * 2018-12-29 2019-05-10 青岛小鸟看看科技有限公司 一种动作行为分析方法和装置
CN109558865A (zh) * 2019-01-22 2019-04-02 郭道宁 一种基于人体关键点的对需特别看护人员的异常状态检测方法
CN110110613A (zh) * 2019-04-19 2019-08-09 北京航空航天大学 一种基于动作识别的轨道交通异常人员检测方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111401685A (zh) * 2020-02-13 2020-07-10 中国安全生产科学研究院 有限空间作业安全风险监控方法
CN111294561A (zh) * 2020-02-18 2020-06-16 广州正为明昱信息科技有限公司 基于视频的在线巡更方法、电子设备、存储介质及系统
CN111310947A (zh) * 2020-02-28 2020-06-19 广州正为明昱信息科技有限公司 基于5g的建筑设施运维方法、设备、存储介质及系统
CN113395480A (zh) * 2020-03-11 2021-09-14 珠海格力电器股份有限公司 一种作业监测方法、装置、电子设备及存储介质
CN113395480B (zh) * 2020-03-11 2022-04-08 珠海格力电器股份有限公司 一种作业监测方法、装置、电子设备及存储介质
CN111559682A (zh) * 2020-05-27 2020-08-21 江苏省特种设备安全监督检验研究院 一种特定情况下电梯困人远程救援系统及其方法与电梯
CN111559682B (zh) * 2020-05-27 2021-06-04 江苏省特种设备安全监督检验研究院 一种特定情况下电梯困人远程救援系统及其方法与电梯

Similar Documents

Publication Publication Date Title
CN110781754A (zh) 一种人工巡检智能监测的方法、装置、系统及存储介质
CN109670441B (zh) 一种实现安全帽穿戴识别的方法、系统、终端以及计算机可读存储介质
CN108447091B (zh) 目标定位方法、装置、电子设备及存储介质
CN112396658B (zh) 一种基于视频的室内人员定位方法及定位系统
CN109165685B (zh) 基于表情和动作的监狱服刑人员潜在性风险监测方法和系统
CN109298785A (zh) 一种监测设备的人机联控系统及方法
CN106951889A (zh) 井下高危区域动目标监测和管理系统
TW201405486A (zh) 利用電腦視覺進行即時偵測與追蹤物體之裝置及其方法
CN111191532A (zh) 基于施工区域的人脸识别方法、装置、计算机设备
CN105022999A (zh) 一种人码伴随实时采集系统
CN112163564A (zh) 基于人体关键点行为识别与lstm的跌倒预判方法
CN112071084A (zh) 一种利用深度学习判断违章停车的方法和系统
CN110717449A (zh) 车辆年检人员的行为检测方法、装置和计算机设备
CN111709365A (zh) 一种基于卷积神经网络的人体运动姿态自动检测方法
CN112990057A (zh) 一种人体姿态识别方法、装置及电子设备
CN111914656A (zh) 一种人员行为检测方法、装置、电子设备及存储介质
CN111783702A (zh) 一种基于图像增强算法和人体关键点定位的高效行人摔倒检测方法
CN111079536A (zh) 基于人体关键点时序的行为分析方法、存储介质及设备
Dozza et al. Recognizing Safetycritical Events from Naturalistic Driving Data
CN114140745A (zh) 施工现场人员属性检测方法、系统、装置及介质
KR20230080938A (ko) 컨볼루션 블록 어텐션 모듈을 이용한 동작 인식 및 분류 방법 및 장치
CN111847147A (zh) 一种无接触眼动式电梯楼层输入方法及装置
CN113408435B (zh) 一种安全监控方法、装置、设备和存储介质
CN111144260A (zh) 一种翻越闸机的检测方法、装置及系统
CN116229502A (zh) 基于图像的摔倒行为识别方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200211