CN114885133A - 基于深度图像的设备安全实时监控方法、系统及相关设备 - Google Patents

基于深度图像的设备安全实时监控方法、系统及相关设备 Download PDF

Info

Publication number
CN114885133A
CN114885133A CN202210776322.XA CN202210776322A CN114885133A CN 114885133 A CN114885133 A CN 114885133A CN 202210776322 A CN202210776322 A CN 202210776322A CN 114885133 A CN114885133 A CN 114885133A
Authority
CN
China
Prior art keywords
point cloud
dimensional point
safety
monitored
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210776322.XA
Other languages
English (en)
Other versions
CN114885133B (zh
Inventor
吴承科
刘祥飞
刘占省
饶建波
杨之乐
李骁
蒋锐
王世杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongke Hangmai CNC Software Shenzhen Co Ltd
Original Assignee
Zhongke Hangmai CNC Software Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongke Hangmai CNC Software Shenzhen Co Ltd filed Critical Zhongke Hangmai CNC Software Shenzhen Co Ltd
Priority to CN202210776322.XA priority Critical patent/CN114885133B/zh
Publication of CN114885133A publication Critical patent/CN114885133A/zh
Application granted granted Critical
Publication of CN114885133B publication Critical patent/CN114885133B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度图像的设备安全实时监控方法、系统及相关设备，方法包括：获取待监控区域在当前时刻的至少两个深度图像，基于深度图像构建待监控区域的待识别三维点云；通过已训练的点云识别模型，针对待识别三维点云中的设备部件和人体部位进行类别识别和标记，获得待识别三维点云中包括的目标物体类别以及类别标记三维点云；获取待监控设备在当前时刻对应的运行状态信息，获取上述待监控设备的安全运行条件；根据目标物体类别、类别标记三维点云以及安全运行条件对待监控设备进行运行状态安全判断，获得安全判断结果。本发明方案有利于提高设备运行的安全性。

Description

基于深度图像的设备安全实时监控方法、系统及相关设备
技术领域
本发明涉及基于图像数据的安全监控技术领域，尤其涉及的是一种基于深度图像的设备安全实时监控方法、系统及相关设备。
背景技术
随着科学技术的发展，越来越多的设备被应用到不同的领域中以完成各种制造任务。例如，数控机床被广泛应用于数控加工领域以实现部件加工。目前，设备运行的安全性越来越受到重视。
现有技术中，通常需要配备安全员以对设备运行过程中的安全性进行监控。例如，某一个设备在运行过程中需要操作人员进行操作，除配备必要的操作人员之外，还需要配备至少一名安全员，通过安全员判断操作人员的操作是否规范、是否存在危险，或者判断现场是否还存在其它危险，例如其他人员是否进入到危险区域等。现有技术的问题在于，通过人工进行安全监控的方案需要耗费大量的人力资源，且人工判断的准确性有限，不利于提高设备运行的安全性。
因此，现有技术还有待改进和发展。
发明内容
本发明的主要目的在于提供一种基于深度图像的设备安全实时监控方法、系统及相关设备，旨在解决现有技术中通过人工进行安全监控的方案需要耗费大量的人力资源，且人工判断的准确性有限，不利于提高设备运行的安全性的问题。
为了实现上述目的，本发明第一方面提供一种基于深度图像的设备安全实时监控方法，其中，上述基于深度图像的设备安全实时监控方法包括：
获取待监控区域在当前时刻的至少两个深度图像，基于上述深度图像构建上述待监控区域的待识别三维点云，其中，上述待监控区域是待监控设备所在的区域，各上述深度图像是从不同位置对上述待监控区域进行实时同步图像采集获得的；
通过已训练的点云识别模型，针对上述待识别三维点云中的设备部件和人体部位进行类别识别和标记，获得上述待识别三维点云中包括的目标物体类别以及上述待识别三维点云对应的类别标记三维点云；
获取上述待监控设备在上述当前时刻对应的运行状态信息，根据上述运行状态信息获取上述待监控设备的安全运行条件，其中，上述安全运行条件包括人体安全距离条件；
根据上述目标物体类别、上述类别标记三维点云以及上述安全运行条件对上述待监控设备进行运行状态安全判断，获得安全判断结果。
可选的，上述获取待监控区域在当前时刻的至少两个深度图像，基于上述深度图像构建上述待监控区域的待识别三维点云，包括：
根据预先设置的双目相机对上述待监控区域进行图像采集，获得上述待监控区域在上述当前时刻的双目图像；
对上述双目图像中的像素点进行逐一匹配，根据匹配后的像素点构建上述待监控区域对应的三维点云模型并作为上述待识别三维点云。
可选的，上述通过已训练的点云识别模型，针对上述待识别三维点云中的设备部件和人体部位进行类别识别和标记，获得上述待识别三维点云中包括的目标物体类别以及上述待识别三维点云对应的类别标记三维点云，包括：
根据预设的预处理流程对上述待识别三维点云进行预处理，并将预处理后的待识别三维点云输入上述已训练的点云识别模型；
获取上述已训练的点云识别模型输出的目标物体类别以及类别标记三维点云；
其中，上述预处理流程包括：根据预设的无监督聚类算法对上述待识别三维点云进行聚类分割，对聚类分割后的待识别三维点云进行点云坐标插值以获得预处理后的待识别三维点云。
可选的，上述点云识别模型根据如下步骤进行训练：
将训练数据中的训练三维点云输入上述点云识别模型，通过上述点云识别模型对上述训练三维点云进行物体类别识别和标记并获得上述训练三维点云中包括的目标物体类别以及上述训练三维点云对应的类别标记三维点云，其中，上述训练数据包括多组训练点云数据组，每一组训练点云数据组包括训练三维点云、上述训练三维点云对应的标注物体类别以及上述训练三维点云对应的类别标注三维点云；
根据上述训练三维点云对应的目标物体类别、类别标记三维点云、标注物体类别以及类别标注三维点云，对上述点云识别模型的模型参数进行调整，并继续执行上述将训练数据中的训练三维点云输入上述点云识别模型的步骤，直至满足预设训练条件，以得到已训练的点云识别模型。
可选的，上述人体安全距离条件用于限定上述当前时刻人体部位与上述设备部件之间的安全距离阈值，上述根据上述目标物体类别、上述类别标记三维点云以及上述安全运行条件对上述待监控设备进行运行状态安全判断，获得安全判断结果，包括：
根据上述目标物体类别和上述类别标记三维点云计算获取待判断距离，其中，上述待判断距离包括各人体部位与各设备部位在上述当前时刻的实际距离；
根据上述待判断距离和上述安全距离阈值之间的大小关系对上述待监控设备进行运行状态安全判断并获得安全判断结果。
可选的，上述安全距离阈值包括第一阈值和第二阈值，上述第一阈值大于上述第二阈值，上述根据上述待判断距离和上述安全距离阈值之间的大小关系对上述待监控设备进行运行状态安全判断并获得安全判断结果，包括：
当上述待判断距离大于上述第一阈值时，将不存在安全风险作为上述安全判断结果；
当上述待判断距离不大于上述第一阈值且大于上述第二阈值时，将存在低安全风险作为上述安全判断结果，并针对上述安全判断结果进行告警；
当上述待判断距离不大于上述第二阈值时，将存在高安全风险作为上述安全判断结果，针对上述安全判断结果进行告警，并向上述待监控设备发送中止信号以暂停上述待监控设备的运行。
可选的，当上述安全判断结果为不存在安全风险时，上述方法还包括：
获取历史标记三维点云，其中，上述历史标记三维点云包括在上述当前时刻之前获得并存储的类别标记三维点云；
根据上述历史标记三维点云和上述待识别三维点云对应的类别标记三维点云获取上述待监控区域中各人体部位对应的预测运动轨迹；
根据上述预测运动轨迹计算获取各上述人体部位在上述当前时刻之后的预测待判断距离；
当上述预测待判断距离不大于上述第一阈值时播报安全告警语音。
本发明第二方面提供一种基于深度图像的设备安全实时监控系统，其中，上述基于深度图像的设备安全实时监控系统包括：
图像处理模块，用于获取待监控区域在当前时刻的至少两个深度图像，基于上述深度图像构建上述待监控区域的待识别三维点云，其中，上述待监控区域是待监控设备所在的区域，各上述深度图像是从不同位置对上述待监控区域进行实时同步图像采集获得的；
点云处理模块，用于通过已训练的点云识别模型，针对上述待识别三维点云中的设备部件和人体部位进行类别识别和标记，获得上述待识别三维点云中包括的目标物体类别以及上述待识别三维点云对应的类别标记三维点云；
安全条件获取模块，用于获取上述待监控设备在上述当前时刻对应的运行状态信息，根据上述运行状态信息获取上述待监控设备的安全运行条件，其中，上述安全运行条件包括人体安全距离条件；
安全判断模块，用于根据上述目标物体类别、上述类别标记三维点云以及上述安全运行条件对上述待监控设备进行运行状态安全判断，获得安全判断结果。
本发明第三方面提供一种智能终端，上述智能终端包括存储器、处理器以及存储在上述存储器上并可在上述处理器上运行的基于深度图像的设备安全实时监控程序，上述基于深度图像的设备安全实时监控程序被上述处理器执行时实现上述任意一种基于深度图像的设备安全实时监控方法的步骤。
本发明第四方面提供一种计算机可读存储介质，上述计算机可读存储介质上存储有基于深度图像的设备安全实时监控程序，上述基于深度图像的设备安全实时监控程序被处理器执行时实现上述任意一种基于深度图像的设备安全实时监控方法的步骤。
由上可见，本发明方案中，获取待监控区域在当前时刻的至少两个深度图像，基于上述深度图像构建上述待监控区域的待识别三维点云，其中，上述待监控区域是待监控设备所在的区域，各上述深度图像是从不同位置对上述待监控区域进行实时同步图像采集获得的；通过已训练的点云识别模型，针对上述待识别三维点云中的设备部件和人体部位进行类别识别和标记，获得上述待识别三维点云中包括的目标物体类别以及上述待识别三维点云对应的类别标记三维点云；获取上述待监控设备在上述当前时刻对应的运行状态信息，根据上述运行状态信息获取上述待监控设备的安全运行条件，其中，上述安全运行条件包括人体安全距离条件；根据上述目标物体类别、上述类别标记三维点云以及上述安全运行条件对上述待监控设备进行运行状态安全判断，获得安全判断结果。
与现有技术中通过人工进行安全监控的方案相比，本发明方案中，可以实时获取待监控区域的深度图像，根据深度图像构建该区域的待识别三维点云，从而通过已训练的点云识别模型识别出该区域存在的目标物体类别并获得对应的类别标记三维点云，同时根据待监控设备的运行状态信息获取当前时刻的安全运行条件。从而根据安全运行条件、目标物体类别和类别标记三维点云自动进行安全监控，自动判断待监控区域是否存在安全风险。如此，本发明方案可以基于实时采集的深度图像对待监控设备所在的待监控区域进行自动的安全监控，无需设置安全员，有利于节约人力资源，且自动判断过程中通过模型或机器进行识别和判断时的准确性比人眼判断识别的准确性高，有利于提高设备运行的安全性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1是本发明实施例提供的一种基于深度图像的设备安全实时监控方法的流程示意图；
图2是本发明实施例图1中步骤S100的具体流程示意图；
图3是本发明实施例提供的一种基于深度图像的设备安全实时监控系统的结构示意图；
图4是本发明实施例提供的一种智能终端的内部结构原理框图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况下，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当…时”或“一旦”或“响应于确定”或“响应于检测到”。类似的，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述的条件或事件]”或“响应于检测到[所描述条件或事件]”。
下面结合本发明实施例的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其它不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
随着科学技术的发展，越来越多的设备被应用到不同的领域中以完成各种制造任务。例如，数控机床被广泛应用于数控加工领域以实现部件加工。目前，设备运行的安全性越来越受到重视。
现有技术中，通常需要配备安全员以对设备运行过程中的安全性进行监控。例如，某一个数控机床在运行过程中需要操作人员进行操作，除配备必要的操作人员之外，还需要配备至少一名安全员，通过安全员判断操作人员的操作是否规范、是否存在危险，例如操作人员的手是否离刀具过近；或者判断现场是否还存在其它危险，例如其他人员是否进入到危险区域、其他人员是否距离刀具、动臂过近等。或者某设备在运行过程中需要人员保持一定距离，则需要安全员判断是否有人员过于靠近。
现有技术的问题在于，通过人工进行安全监控的方案需要在现场配备安全员，因此需要耗费大量的人力资源；且人工判断的准确性有限，不利于提高设备运行的安全性。例如，安全员无法准确判断人员与设备部件之间的距离；或者，因为人眼存在视觉盲区，所以可能存在安全员观察不到的视觉死角。进一步的，安全员也无法长时间连续工作，因此难以实现实时监控。
为了解决上述多个问题中的至少一个问题，本发明方案中，获取待监控区域在当前时刻的至少两个深度图像，基于上述深度图像构建上述待监控区域的待识别三维点云，其中，上述待监控区域是待监控设备所在的区域，各上述深度图像是从不同位置对上述待监控区域进行实时同步图像采集获得的；通过已训练的点云识别模型，针对上述待识别三维点云中的设备部件和人体部位进行类别识别和标记，获得上述待识别三维点云中包括的目标物体类别以及上述待识别三维点云对应的类别标记三维点云；获取上述待监控设备在上述当前时刻对应的运行状态信息，根据上述运行状态信息获取上述待监控设备的安全运行条件，其中，上述安全运行条件包括人体安全距离条件；根据上述目标物体类别、上述类别标记三维点云以及上述安全运行条件对上述待监控设备进行运行状态安全判断，获得安全判断结果。
与现有技术中通过人工进行安全监控的方案相比，本发明方案中，可以实时获取待监控区域的深度图像，根据深度图像构建该区域的待识别三维点云，从而通过已训练的点云识别模型识别出该区域存在的目标物体类别并获得对应的类别标记三维点云，同时根据待监控设备的运行状态信息获取当前时刻的安全运行条件。从而根据安全运行条件、目标物体类别和类别标记三维点云自动进行安全监控，自动判断待监控区域是否存在安全风险。如此，本发明方案可以基于实时采集的深度图像对待监控设备所在的待监控区域进行自动的安全监控，无需设置安全员，有利于节约人力资源，且自动判断过程中通过模型或机器进行识别和判断时的准确性比人眼判断识别的准确性高，有利于提高设备运行的安全性。
同时，本发明中还可以对待监控设备进行安全控制，在风险较高时及时暂停待监控设备，防止人员受伤。进一步的，本发明中还可以对待监控区域内的人员的运动轨迹进行分析和预测，根据预测的轨迹判断是否存在潜在风险，针对潜在风险进行告警，有利于进一步提高安全性。
示例性方法
如图1所示，本发明实施例提供一种基于深度图像的设备安全实时监控方法，具体的，上述方法包括如下步骤：
步骤S100，获取待监控区域在当前时刻的至少两个深度图像，基于上述深度图像构建上述待监控区域的待识别三维点云，其中，上述待监控区域是待监控设备所在的区域，各上述深度图像是从不同位置对上述待监控区域进行实时同步图像采集获得的。
具体的，上述待监控区域的具体范围可以根据实际需求预先设置或实时调整，在此不作具体限定。在一种应用场景中，可以以待监控设备为中心，将摄像机进行图像采集时能覆盖的区域作为上述待监控区域，上述待监控区域中可以包括一个或多个待监控设备，本申请中以待监控区域中包括一个待监控设备为例进行说明，但不作为具体限定。
在一种应用场景中，可以预先在待监控区域中的不同位置设置多个深度相机，上述深度相机可以同步且实时地对待监控设备进行图像采集，获得多个深度图像（例如从三个不同的位置和方向采集获得三个深度图像），根据多个深度相机之间的位姿标定关系可以对深度图像中的像素点进行匹配，并且拟合出各个像素点在实际场景内三维空间中的实际坐标（即世界坐标），从而构建出对应的待识别三维点云。
在另一种应用场景中，不同区域的深度相机部署密度可以根据该区域对应的重要性和/或设备复杂度确定。例如，可以将上述待监控区域划分为不同的区域，根据各个区域对应的设备部件重要性和/或设备复杂度确定各个区域对应的深度相机的数量，设备部分更复杂、更容易被遮挡或者危险性更高的角度（或区域）可以设置更多的深度相机，从而更好地进行图像采集。
其中，上述待识别三维点云是根据深度图像匹配后的像素点构建的三维点云模型（3D模型），即待监控区域内的各种物体（包括待监控设备、人体等）对应的3D模型。可选的，上述待识别三维点云中还可以包括物体表面的颜色信息等，此时不仅要获取深度图像，还需要获取对应的彩色图像，结合彩色图像和深度图像构建3D模型，有利于提高后续进行特征类别识别的效率和准确性，从而提高安全监控的效率和准确性。
本实施例中，通过预先设置的双目相机采集获取双目深度图像，从而构建对应的待识别三维点云。如图2所示，上述步骤S100具体包括如下步骤：
步骤S101，根据预先设置的双目相机对上述待监控区域进行图像采集，获得上述待监控区域在上述当前时刻的双目图像。
步骤S102，对上述双目图像中的像素点进行逐一匹配，根据匹配后的像素点构建上述待监控区域对应的三维点云模型并作为上述待识别三维点云。
其中，上述双目相机是预先设置并标定好的。在标定双目相机的位姿参数时，采集空间（即待监控区域）中设置的标准模板的图像获取所需的标定数据，从而建立精确的待测物体（如待监控设备）物理世界实际坐标和相机内部坐标的转换关系，确定相机几何模型畸变参数和内外部参数。
上述双目图像包括左目图像和右目图像，且左目图像和右目图像都是深度图像。可选的，可以基于预设的双目立体匹配算法对上述双目图像中的像素点进行匹配，从不同位置采集的两个图像中寻找匹配像素点，从而拟合出匹配图像场景内各个点对应的3D空间实际坐标（即世界坐标），进而构建该场景对应的3D点云模型。在一种应用场景中，基于代价计算、代价聚合、视差计算和视差调优的优化步骤对两个摄像机采集获得的双目图像进行匹配调整，确定左右图像匹配情况，将同一空间三维点在左右成像视野中逐一正确匹配，计算出匹配点之间的位置视差值。其中，视差计算的过程中需要计算两个图像中对应像素的互信息与联合熵，并进行代价聚合。
需要说明的是，实际使用过程中，也可以通过其它方法进行像素点匹配并构建对应的待识别三维点云，在此不作具体限定。
步骤S200，通过已训练的点云识别模型，针对上述待识别三维点云中的设备部件和人体部位进行类别识别和标记，获得上述待识别三维点云中包括的目标物体类别以及上述待识别三维点云对应的类别标记三维点云。
本实施例中，以上述待监控设备是数控机床为例进行说明。基于双目计算机视觉技术从深度图像中自动生成点云，点云场景中可能包含设备部件（即数控机床的结构件）和人体部位（即操作人员身体部位），根据人体部位与设备部件之间的距离可以判断是否存在不安全的操作行为。其中，上述设备部件可以包括龙门架、动臂、刀具等部件，上述人体部位可以包括手部、腿部、头部、足部、肩部等部位。
已训练的点云识别模型用于针对输入的三维点云数据进行类别识别和标记，本实施例中，识别出的目标物体类别是待监控区域中所包括的设备部件和人体部位，因此目标物体类别可以包括设备部件类别和人体部位类别，具体包括哪些部件和部位则根据实际情况确定。同时，不仅要进行类别识别，还需要进行类别标记，类别标记过程中可以将三维点云中的各个坐标点标记为对应的设备部件或人体部位，从而可以根据对应的坐标计算获得人体部位和设备部件之间的距离，判断是否出现距离过近等危险操作。
本实施例中，上述步骤S200具体包括如下步骤：根据预设的预处理流程对上述待识别三维点云进行预处理，并将预处理后的待识别三维点云输入上述已训练的点云识别模型；获取上述已训练的点云识别模型输出的目标物体类别以及类别标记三维点云；其中，上述预处理流程包括：根据预设的无监督聚类算法对上述待识别三维点云进行聚类分割，对聚类分割后的待识别三维点云进行点云坐标插值以获得预处理后的待识别三维点云。
即本实施例中，可以对上述待识别三维点云进行预处理，以提高类别识别和标记的效率和准确性。其中，上述预设的无监督聚类算法可以为K-means算法，基于K-means算法进行聚类后进一步进行点云坐标插值等预处理流程以优化点云模型。此时，上述点云识别模型对应的训练数据也可以是经过预处理后获得的，具体的，训练时在预处理后对分割后的点云的类别进行标注，例如标注对应的人体部位和数控机床构建、刀具等。
需要说明的是，上述预处理流程对应的功能也可以集成到上述点云识别模型中，即无需预先对上述待识别三维点云进行预处理，直接输入到点云识别模型中，在点云识别模型中进行预处理后再进行后续的类别识别和标记的操作。此时，上述点云识别模型对应的训练数据可以不经过预处理直接输入点云识别模型。
本实施例中，直接使用已训练的点云识别模型对待识别三维点云进行类别识别和标记，上述点云识别模型可以预先根据如下步骤进行训练：
将训练数据中的训练三维点云输入上述点云识别模型，通过上述点云识别模型对上述训练三维点云进行物体类别识别和标记并获得上述训练三维点云中包括的目标物体类别以及上述训练三维点云对应的类别标记三维点云，其中，上述训练数据包括多组训练点云数据组，每一组训练点云数据组包括训练三维点云、上述训练三维点云对应的标注物体类别以及上述训练三维点云对应的类别标注三维点云；
根据上述训练三维点云对应的目标物体类别、类别标记三维点云、标注物体类别以及类别标注三维点云，对上述点云识别模型的模型参数进行调整，并继续执行上述将训练数据中的训练三维点云输入上述点云识别模型的步骤，直至满足预设训练条件，以得到已训练的点云识别模型。
其中，上述训练三维点云可以根据采集的原始场景点云进行聚类分割和插值后获得，对应的标注物体类别和类别标注三维点云则是对训练三维点云进行类别识别和标注获得的。需要说明的是，在进行类别识别和标注时，不仅标注完整的部位，还标注不完整的部位，例如对应的训练三维点云（或深度图像）中仅包括一部分人手（例如几根手指）则标记该部分人手。如此，可以对待监控区域中的人体部位进行更好的识别和监控，提高设备运行过程中的安全性。
上述预设训练条件是迭代次数达到预设的迭代次数阈值或者计算的损失值小于预设的损失阈值。其中，损失值可以基于预设的损失函数，针对模型所输出的目标物体类别、类别标记三维点云与对应的标注物体类别和类别标注三维点云之间的差异来计算获得，在此不作具体限定。
在一种应用场景中，上述点云识别模型也可以被训练成根据输入的三维点云进行类别识别和标记并输出对应的目标物体类别以及各个目标物体类别对应的类别标记信息，即不会输出标记好的三维点云，仅输出对应的类别标记信息（例如人手部的类别对应的所有点的坐标），可以根据点云识别模型输出的类别标记信息进行标记以获得标记好的三维点云。此时，在进行点云识别模型训练时训练数据中包括的也是预先制作的类别标注信息而不是类别标注三维点云。
本实施例中，上述点云识别模型是PointNet深度学习模型，根据训练后的PointNet深度学习模型可以自动识别新输入的点云数据的类别，实现基于双目视觉的物体识别。
步骤S300，获取上述待监控设备在上述当前时刻对应的运行状态信息，根据上述运行状态信息获取上述待监控设备的安全运行条件，其中，上述安全运行条件包括人体安全距离条件。
其中，上述运行状态信息包括上述待监控设备的运行模式和/或运行场景，还可以包括具体的运行状态，例如当前转速、温度等，在此不作具体限定。根据上述运行状态信息和预先构建的状态-安全条件对应关系（例如预先建立的用于存储运行状态信息和安全运行条件的表格）可以获得当前时刻待监控设备对应的安全运行条件。
本实施例中，上述安全运行条件包括人体安全距离条件，人体安全距离条件用于限定上述当前时刻人体部位与上述设备部件之间的安全距离阈值，即人体应该距离对应的部件多远。例如，在数控机床对应的某些加工过程中，需要操作人员进行人为调整，但人体部位必须与机床加工部位（如刀具）保持安全距离，可以基于计算的待判断距离和上述人体安全距离条件确定操作是否存在风险。
可选的，对应于数控机床安全监控的多种典型场景，上述安全运行条件还可以包括设备安全距离条件、部件安全距离条件、人员范围限制条件、设备范围限制条件等。设备安全距离条件可以在待监控区域中存在多个待监控设备时限定不同设备之间的安全距离，以避免设备过近造成安全隐患。部件安全距离条件可以限定一个待监控设备的不同部件的安全距离，以避免待监控设备因部件变形、移位引起安全隐患。人员范围限制条件可以限定待监控设备对应的范围内是否应该有人员出现，例如有些加工过程不允许有人员或人体部位出现在加工范围内，而有些加工过程则需要人为调整。设备范围限制条件用于限定待监控设备应该放置的位置，例如待监控设备只能放置于预先限定的固定位置，则在其位置发生偏移时认为存在安全风险，或者在该固定位置处未识别到对应的待监控设备时认为存在安全风险。
步骤S400，根据上述目标物体类别、上述类别标记三维点云以及上述安全运行条件对上述待监控设备进行运行状态安全判断，获得安全判断结果。
本实施例中，还可以将获得的安全判断结果进行输出，以及时提醒人员注意安全，提高安全性。例如，可以在待监控区域设置语音报警装置，进行实时语音报警。还可以将安全判断结果实时发送到预先设置的安全监测终端，在此不作具体限定。
本实施例中，上述根据上述目标物体类别、上述类别标记三维点云以及上述安全运行条件对上述待监控设备进行运行状态安全判断，获得安全判断结果，包括：根据上述目标物体类别和上述类别标记三维点云计算获取待判断距离，其中，上述待判断距离包括各人体部位与各设备部位在上述当前时刻的实际距离；根据上述待判断距离和上述安全距离阈值之间的大小关系对上述待监控设备进行运行状态安全判断并获得安全判断结果。
其中，一个设备部件至少对应有一个安全距离阈值，用于限定该设备部件与至少一个人体部位之间的安全距离。在一种应用场景中，一个设备部件可以对应有多个安全距离阈值，用于限定该设备部件与不同的人体部位之间的安全距离，例如刀具距离人的手部的安全距离为至少0.2米，距离人的头部的安全距离为至少1米等。此时，对应的也需要计算每一个设备部件与不同的人体部位之间的待判断距离，并与对应的安全距离阈值进行比较以确定是否存在安全风险。本实施例中，以任意一个设备部件与所有的人体部位之间的安全距离都相同为例进行说明，但不作为具体限定。
在一种应用场景中，如果安全运行条件限定当前时刻待监控设备附近不允许有人员，则不允许有人体部位出现在待监控区域或待监控区域中包括待监控设备在内的一定范围（预先设置或根据具体的安全运行条件或实际需求确定），可以根据人体部位与设备之间的距离确定风险等级，距离越近则风险等级越高，设置阶梯型的风险阈值，进行超限实时报警。具体的，可以设置语音报警装置，在第一级阈值超过时，提醒操作人员注意安全，在第二级阈值超过时发送中止信号暂停数控机床工作。
在另一种应用场景中，安全运行条件限定当前时刻待监控设备附近可以有人员，但人员与待监控设备之间需要保持一定的安全距离。
具体的，上述安全距离阈值包括第一阈值和第二阈值，上述第一阈值大于上述第二阈值，上述根据上述待判断距离和上述安全距离阈值之间的大小关系对上述待监控设备进行运行状态安全判断并获得安全判断结果，包括：当上述待判断距离大于上述第一阈值时，将不存在安全风险作为上述安全判断结果；当上述待判断距离不大于上述第一阈值且大于上述第二阈值时，将存在低安全风险作为上述安全判断结果，并针对上述安全判断结果进行告警；当上述待判断距离不大于上述第二阈值时，将存在高安全风险作为上述安全判断结果，针对上述安全判断结果进行告警，并向上述待监控设备发送中止信号以暂停上述待监控设备的运行。
其中，上述针对安全判断结果进行告警可以采用语音告警的方式，也可以采用声光告警的方式，在此不作具体限定。
进一步的，本实施例中还可以根据待监控区域内的人员在过去一段时间内的运动轨迹进行轨迹预测，从而预测该人员是否可能进入到危险区域（或多久后可能运动到危险区域），提前进行预测告警，以规避危险情况，进一步提高安全性。
具体的，当上述安全判断结果为不存在安全风险时，上述方法还包括：获取历史标记三维点云，其中，上述历史标记三维点云包括在上述当前时刻之前获得并存储的类别标记三维点云；根据上述历史标记三维点云和上述待识别三维点云对应的类别标记三维点云获取上述待监控区域中各人体部位对应的预测运动轨迹；根据上述预测运动轨迹计算获取各上述人体部位在上述当前时刻之后的预测待判断距离；当上述预测待判断距离不大于上述第一阈值时播报安全告警语音。
在一种应用场景中，上述历史标记三维点云可以包括在当前时刻之前获得并存储的所有时刻对应的类别标记三维点云，以提高运动轨迹的预测精度。在另一种应用场景中，上述历史标记三维点云可以包括在当前时刻之前的一段时间（预设的时间长度）内各个时刻对应的类别标记三维点云，不需要考虑之前的所有时刻，有利于降低计算量，提高预测效率。
本实施例中，上述预测待判断距离是计算获得的下一时刻人体部位与设备部件之间的预测距离，根据该预测距离判断下一时刻人体部位是否会距离设备部件过近而带来安全隐患。
可选的，上述预测待判断距离可以包括计算获得的接下来的多个时刻人体部位与设备部件之间的预测距离，还可以根据待监控设备的运行状态信息确定当前状态的持续时间，从而判断当前状态持续时间内是否会存在某一时刻的预测待判断距离小于上述第一阈值。
由上可见，本实施例中，可以基于双目视觉标定与视差计算技术对双目图像中的像素点进行匹配，构建对应的待识别三维点云。然后通过基于PointNet深度学习模型的3D点云分割与标注技术对待识别三维点云中的物体类别进行识别和标记。最后计算点云边界距离，根据安全运行条件进行安全判断，并在待监控设备存在安全风险时进行告警。如此，可以解决在操作人员和数控机床交互过程中的人员安全自动实时监控的问题。考虑数控机床人机交互的多种场景，实现自动化的安全监控和管理触发。同时，训练的点云识别模型能够适配数控机床典型加工场景下的点云分割、类别识别和标记任务，提高数控机床安全监控的准确性。
示例性设备
如图3中所示，对应于上述基于深度图像的设备安全实时监控方法，本发明实施例还提供一种基于深度图像的设备安全实时监控系统，上述基于深度图像的设备安全实时监控系统包括：
图像处理模块510，用于获取待监控区域在当前时刻的至少两个深度图像，基于上述深度图像构建上述待监控区域的待识别三维点云，其中，上述待监控区域是待监控设备所在的区域，各上述深度图像是从不同位置对上述待监控区域进行实时同步图像采集获得的。
点云处理模块520，用于通过已训练的点云识别模型，针对上述待识别三维点云中的设备部件和人体部位进行类别识别和标记，获得上述待识别三维点云中包括的目标物体类别以及上述待识别三维点云对应的类别标记三维点云。
安全条件获取模块530，用于获取上述待监控设备在上述当前时刻对应的运行状态信息，根据上述运行状态信息获取上述待监控设备的安全运行条件，其中，上述安全运行条件包括人体安全距离条件。
安全判断模块540，用于根据上述目标物体类别、上述类别标记三维点云以及上述安全运行条件对上述待监控设备进行运行状态安全判断，获得安全判断结果。
具体的，本实施例中，上述基于深度图像的设备安全实时监控系统及其各模块的具体功能可以参照上述基于深度图像的设备安全实时监控方法中的对应描述，在此不再赘述。
需要说明的是，上述基于深度图像的设备安全实时监控系统的各个模块的划分方式并不唯一，在此也不作为具体限定。
基于上述实施例，本发明还提供了一种智能终端，其原理框图可以如图4所示。上述智能终端包括处理器及存储器。该智能终端的存储器包括基于深度图像的设备安全实时监控程序，存储器为基于深度图像的设备安全实时监控程序的运行提供环境。该基于深度图像的设备安全实时监控程序被处理器执行时实现上述任意一种基于深度图像的设备安全实时监控方法的步骤。需要说明的是，上述智能终端还可以包括其它功能模块或单元，在此不作具体限定。
本领域技术人员可以理解，图4中示出的原理框图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的智能终端的限定，具体地智能终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本发明实施例还提供一种计算机可读存储介质，上述计算机可读存储介质上存储有基于深度图像的设备安全实时监控程序，上述基于深度图像的设备安全实时监控程序被处理器执行时实现本发明实施例提供的任意一种基于深度图像的设备安全实时监控方法的步骤。
应理解，上述实施例中各步骤的序号大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将上述系统的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各实例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟是以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中，应该理解到，所揭露的系统/智能终端和方法，可以通过其它的方式实现。例如，以上所描述的系统/智能终端实施例仅仅是示意性的，例如，上述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以由另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
上述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，上述计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，上述计算机程序包括计算机程序代码，上述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。上述计算机可读介质可以包括：能够携带上述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，RandomAccess Memory）、电载波信号、电信信号以及软件分发介质等。需要说明的是，上述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不是相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于深度图像的设备安全实时监控方法，其特征在于，所述方法包括：
获取待监控区域在当前时刻的至少两个深度图像，基于所述深度图像构建所述待监控区域的待识别三维点云，其中，所述待监控区域是待监控设备所在的区域，各所述深度图像是从不同位置对所述待监控区域进行实时同步图像采集获得的；
通过已训练的点云识别模型，针对所述待识别三维点云中的设备部件和人体部位进行类别识别和标记，获得所述待识别三维点云中包括的目标物体类别以及所述待识别三维点云对应的类别标记三维点云；
获取所述待监控设备在所述当前时刻对应的运行状态信息，根据所述运行状态信息获取所述待监控设备的安全运行条件，其中，所述安全运行条件包括人体安全距离条件；
根据所述目标物体类别、所述类别标记三维点云以及所述安全运行条件对所述待监控设备进行运行状态安全判断，获得安全判断结果。
2.根据权利要求1所述的基于深度图像的设备安全实时监控方法，其特征在于，所述获取待监控区域在当前时刻的至少两个深度图像，基于所述深度图像构建所述待监控区域的待识别三维点云，包括：
根据预先设置的双目相机对所述待监控区域进行图像采集，获得所述待监控区域在所述当前时刻的双目图像；
对所述双目图像中的像素点进行逐一匹配，根据匹配后的像素点构建所述待监控区域对应的三维点云模型并作为所述待识别三维点云。
3.根据权利要求1所述的基于深度图像的设备安全实时监控方法，其特征在于，所述通过已训练的点云识别模型，针对所述待识别三维点云中的设备部件和人体部位进行类别识别和标记，获得所述待识别三维点云中包括的目标物体类别以及所述待识别三维点云对应的类别标记三维点云，包括：
根据预设的预处理流程对所述待识别三维点云进行预处理，并将预处理后的待识别三维点云输入所述已训练的点云识别模型；
获取所述已训练的点云识别模型输出的目标物体类别以及类别标记三维点云；
其中，所述预处理流程包括：根据预设的无监督聚类算法对所述待识别三维点云进行聚类分割，对聚类分割后的待识别三维点云进行点云坐标插值以获得预处理后的待识别三维点云。
4.根据权利要求1所述的基于深度图像的设备安全实时监控方法，其特征在于，所述点云识别模型根据如下步骤进行训练：
将训练数据中的训练三维点云输入所述点云识别模型，通过所述点云识别模型对所述训练三维点云进行物体类别识别和标记并获得所述训练三维点云中包括的目标物体类别以及所述训练三维点云对应的类别标记三维点云，其中，所述训练数据包括多组训练点云数据组，每一组训练点云数据组包括训练三维点云、所述训练三维点云对应的标注物体类别以及所述训练三维点云对应的类别标注三维点云；
根据所述训练三维点云对应的目标物体类别、类别标记三维点云、标注物体类别以及类别标注三维点云，对所述点云识别模型的模型参数进行调整，并继续执行所述将训练数据中的训练三维点云输入所述点云识别模型的步骤，直至满足预设训练条件，以得到已训练的点云识别模型。
5.根据权利要求1-4任意一项所述的基于深度图像的设备安全实时监控方法，其特征在于，所述人体安全距离条件用于限定所述当前时刻人体部位与所述设备部件之间的安全距离阈值，所述根据所述目标物体类别、所述类别标记三维点云以及所述安全运行条件对所述待监控设备进行运行状态安全判断，获得安全判断结果，包括：
根据所述目标物体类别和所述类别标记三维点云计算获取待判断距离，其中，所述待判断距离包括各人体部位与各设备部位在所述当前时刻的实际距离；
根据所述待判断距离和所述安全距离阈值之间的大小关系对所述待监控设备进行运行状态安全判断并获得安全判断结果。
6.根据权利要求5所述的基于深度图像的设备安全实时监控方法，其特征在于，所述安全距离阈值包括第一阈值和第二阈值，所述第一阈值大于所述第二阈值，所述根据所述待判断距离和所述安全距离阈值之间的大小关系对所述待监控设备进行运行状态安全判断并获得安全判断结果，包括：
当所述待判断距离大于所述第一阈值时，将不存在安全风险作为所述安全判断结果；
当所述待判断距离不大于所述第一阈值且大于所述第二阈值时，将存在低安全风险作为所述安全判断结果，并针对所述安全判断结果进行告警；
当所述待判断距离不大于所述第二阈值时，将存在高安全风险作为所述安全判断结果，针对所述安全判断结果进行告警，并向所述待监控设备发送中止信号以暂停所述待监控设备的运行。
7.根据权利要求6所述的基于深度图像的设备安全实时监控方法，其特征在于，当所述安全判断结果为不存在安全风险时，所述方法还包括：
获取历史标记三维点云，其中，所述历史标记三维点云包括在所述当前时刻之前获得并存储的类别标记三维点云；
根据所述历史标记三维点云和所述待识别三维点云对应的类别标记三维点云获取所述待监控区域中各人体部位对应的预测运动轨迹；
根据所述预测运动轨迹计算获取各所述人体部位在所述当前时刻之后的预测待判断距离；
当所述预测待判断距离不大于所述第一阈值时播报安全告警语音。
8.一种基于深度图像的设备安全实时监控系统，其特征在于，所述系统包括：
图像处理模块，用于获取待监控区域在当前时刻的至少两个深度图像，基于所述深度图像构建所述待监控区域的待识别三维点云，其中，所述待监控区域是待监控设备所在的区域，各所述深度图像是从不同位置对所述待监控区域进行实时同步图像采集获得的；
点云处理模块，用于通过已训练的点云识别模型，针对所述待识别三维点云中的设备部件和人体部位进行类别识别和标记，获得所述待识别三维点云中包括的目标物体类别以及所述待识别三维点云对应的类别标记三维点云；
安全条件获取模块，用于获取所述待监控设备在所述当前时刻对应的运行状态信息，根据所述运行状态信息获取所述待监控设备的安全运行条件，其中，所述安全运行条件包括人体安全距离条件；
安全判断模块，用于根据所述目标物体类别、所述类别标记三维点云以及所述安全运行条件对所述待监控设备进行运行状态安全判断，获得安全判断结果。
9.一种智能终端，其特征在于，所述智能终端包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的基于深度图像的设备安全实时监控程序，所述基于深度图像的设备安全实时监控程序被所述处理器执行时实现如权利要求1-7任意一项所述基于深度图像的设备安全实时监控方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有基于深度图像的设备安全实时监控程序，所述基于深度图像的设备安全实时监控程序被处理器执行时实现如权利要求1-7任意一项所述基于深度图像的设备安全实时监控方法的步骤。
CN202210776322.XA 2022-07-04 2022-07-04 基于深度图像的设备安全实时监控方法、系统及相关设备 Active CN114885133B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210776322.XA CN114885133B (zh) 2022-07-04 2022-07-04 基于深度图像的设备安全实时监控方法、系统及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210776322.XA CN114885133B (zh) 2022-07-04 2022-07-04 基于深度图像的设备安全实时监控方法、系统及相关设备

Publications (2)

Publication Number Publication Date
CN114885133A true CN114885133A (zh) 2022-08-09
CN114885133B CN114885133B (zh) 2022-10-04

Family

ID=82683247

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210776322.XA Active CN114885133B (zh) 2022-07-04 2022-07-04 基于深度图像的设备安全实时监控方法、系统及相关设备

Country Status (1)

Country Link
CN (1) CN114885133B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115171097A (zh) * 2022-09-05 2022-10-11 中科航迈数控软件(深圳)有限公司 基于三维点云的加工控制方法、系统及相关设备
CN115797878A (zh) * 2023-02-13 2023-03-14 中建科技集团有限公司 基于图像处理的设备操作安全检测方法、系统及相关设备
CN116052088A (zh) * 2023-03-06 2023-05-02 合肥工业大学 基于点云的活力空间测度方法、系统及计算机设备
CN116304596A (zh) * 2023-05-26 2023-06-23 深圳市明源云科技有限公司 室内儿童安全监测方法、装置、电子设备及存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140200863A1 (en) * 2013-01-11 2014-07-17 The Regents Of The University Of Michigan Monitoring proximity of objects at construction jobsites via three-dimensional virtuality in real-time
CN206773887U (zh) * 2017-06-09 2017-12-19 国网山东省电力公司五莲县供电公司 带电设备安全距离监测报警装置
CN109951686A (zh) * 2019-03-21 2019-06-28 山推工程机械股份有限公司 一种工程机械作业安全监控方法及其监控系统
CN110253570A (zh) * 2019-05-27 2019-09-20 浙江工业大学 基于视觉的工业机械臂人机安全系统
JP2019201268A (ja) * 2018-05-15 2019-11-21 コニカミノルタ株式会社 監視システムおよび監視方法
CN111062373A (zh) * 2020-03-18 2020-04-24 杭州鲁尔物联科技有限公司 一种基于深度学习的吊装过程危险识别方法及系统
CN111563446A (zh) * 2020-04-30 2020-08-21 郑州轻工业大学 一种基于数字孪生的人-机交互安全预警与控制方法
CN113191699A (zh) * 2021-06-11 2021-07-30 广东电网有限责任公司 一种配电施工现场安全监管方法
CN113936210A (zh) * 2021-09-13 2022-01-14 微特技术有限公司 塔吊防撞方法
US20220025612A1 (en) * 2020-07-22 2022-01-27 Baidu Usa Llc Engineering machinery equipment, and method, system, and storage medium for safety control thereof
CN114241298A (zh) * 2021-11-22 2022-03-25 腾晖科技建筑智能(深圳)有限公司 一种激光雷达和图像融合的塔吊环境目标检测方法及系统

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140200863A1 (en) * 2013-01-11 2014-07-17 The Regents Of The University Of Michigan Monitoring proximity of objects at construction jobsites via three-dimensional virtuality in real-time
CN206773887U (zh) * 2017-06-09 2017-12-19 国网山东省电力公司五莲县供电公司 带电设备安全距离监测报警装置
JP2019201268A (ja) * 2018-05-15 2019-11-21 コニカミノルタ株式会社 監視システムおよび監視方法
CN109951686A (zh) * 2019-03-21 2019-06-28 山推工程机械股份有限公司 一种工程机械作业安全监控方法及其监控系统
CN110253570A (zh) * 2019-05-27 2019-09-20 浙江工业大学 基于视觉的工业机械臂人机安全系统
CN111062373A (zh) * 2020-03-18 2020-04-24 杭州鲁尔物联科技有限公司 一种基于深度学习的吊装过程危险识别方法及系统
CN111563446A (zh) * 2020-04-30 2020-08-21 郑州轻工业大学 一种基于数字孪生的人-机交互安全预警与控制方法
US20220025612A1 (en) * 2020-07-22 2022-01-27 Baidu Usa Llc Engineering machinery equipment, and method, system, and storage medium for safety control thereof
CN113191699A (zh) * 2021-06-11 2021-07-30 广东电网有限责任公司 一种配电施工现场安全监管方法
CN113936210A (zh) * 2021-09-13 2022-01-14 微特技术有限公司 塔吊防撞方法
CN114241298A (zh) * 2021-11-22 2022-03-25 腾晖科技建筑智能(深圳)有限公司 一种激光雷达和图像融合的塔吊环境目标检测方法及系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115171097A (zh) * 2022-09-05 2022-10-11 中科航迈数控软件(深圳)有限公司 基于三维点云的加工控制方法、系统及相关设备
CN115171097B (zh) * 2022-09-05 2022-12-09 中科航迈数控软件(深圳)有限公司 基于三维点云的加工控制方法、系统及相关设备
CN115797878A (zh) * 2023-02-13 2023-03-14 中建科技集团有限公司 基于图像处理的设备操作安全检测方法、系统及相关设备
CN116052088A (zh) * 2023-03-06 2023-05-02 合肥工业大学 基于点云的活力空间测度方法、系统及计算机设备
CN116052088B (zh) * 2023-03-06 2023-06-16 合肥工业大学 基于点云的活力空间测度方法、系统及计算机设备
CN116304596A (zh) * 2023-05-26 2023-06-23 深圳市明源云科技有限公司 室内儿童安全监测方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN114885133B (zh) 2022-10-04

Similar Documents

Publication Publication Date Title
CN114885133B (zh) 基于深度图像的设备安全实时监控方法、系统及相关设备
CN109670441B (zh) 一种实现安全帽穿戴识别的方法、系统、终端以及计算机可读存储介质
CN110210302B (zh) 多目标跟踪方法、装置、计算机设备及存储介质
CN111275923B (zh) 施工现场的人机碰撞预警方法及系统
CN110414400B (zh) 一种施工现场安全帽穿戴自动检测方法及系统
CN114612866B (zh) 一种建筑场地内安全性智能识别方法、装置及设备
CN113191699A (zh) 一种配电施工现场安全监管方法
CN112347916A (zh) 基于视频图像分析的电力现场作业安全监控方法及装置
CN114241298A (zh) 一种激光雷达和图像融合的塔吊环境目标检测方法及系统
CN112434669B (zh) 一种多信息融合的人体行为检测方法及系统
CN112862887A (zh) 基于人工智能和大数据分析的建筑施工安全管理预警系统及安全云平台
CN116108397B (zh) 融合多模态数据分析的电力现场作业违章行为识别方法
CN116259002A (zh) 一种基于视频的人体危险行为分析方法
CN111091104A (zh) 一种目标物体的防护检测方法、装置、设备及存储介质
CN117006002B (zh) 基于数字孪生的海上风力发电机监测方法及系统
CN117392611A (zh) 工地安全监测方法、系统、设备及存储介质
CN109977884B (zh) 目标跟随方法和装置
CN114730192A (zh) 物体移动系统
CN115392407B (zh) 基于无监督学习的危险源预警方法、装置、设备及介质
CN113536842A (zh) 电力作业人员安全着装识别方法及装置
CN113469150B (zh) 一种用于对风险行为进行识别的方法及系统
CN113221640B (zh) 一种带电作业主动预警与安全监测系统
JP7036329B1 (ja) 作業現場管理システム、作業現場管理方法、及び作業現場管理プログラム
Yang et al. Dynamic Speed and Separation Monitoring Based on Scene Semantic Information
CN113538396B (zh) 一种基于注射针加工的计数提示方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant