CN114973326A - 跌倒预警方法、装置、设备及可读存储介质 - Google Patents

跌倒预警方法、装置、设备及可读存储介质 Download PDF

Info

Publication number
CN114973326A
CN114973326A CN202210573026.XA CN202210573026A CN114973326A CN 114973326 A CN114973326 A CN 114973326A CN 202210573026 A CN202210573026 A CN 202210573026A CN 114973326 A CN114973326 A CN 114973326A
Authority
CN
China
Prior art keywords
detected
image
state
person
early warning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210573026.XA
Other languages
English (en)
Inventor
王波
周强
王熊珏
李艳哲
梁金峰
王俊
吴巨峰
赵训刚
吴何
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Railway Major Bridge Engineering Group Co Ltd MBEC
China State Railway Group Co Ltd
China Railway Bridge Science Research Institute Ltd
Original Assignee
China Railway Major Bridge Engineering Group Co Ltd MBEC
China Railway Bridge Science Research Institute Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Railway Major Bridge Engineering Group Co Ltd MBEC, China Railway Bridge Science Research Institute Ltd filed Critical China Railway Major Bridge Engineering Group Co Ltd MBEC
Priority to CN202210573026.XA priority Critical patent/CN114973326A/zh
Publication of CN114973326A publication Critical patent/CN114973326A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/08—Construction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0407—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
    • G08B21/043—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis detecting an emergency event, e.g. a fall
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B3/00—Audible signalling systems; Audible personal calling systems
    • G08B3/10—Audible signalling systems; Audible personal calling systems using electric transmission; using electromagnetic transmission
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Business, Economics & Management (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Geometry (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Electromagnetism (AREA)
  • Psychology (AREA)
  • Gerontology & Geriatric Medicine (AREA)
  • Emergency Management (AREA)
  • Alarm Systems (AREA)

Abstract

本发明提供一种跌倒预警方法、装置、设备及可读存储介质，跌倒预警方法包括：获取目标场景的实时图像，采用背景差分法，得到待检测人员图像；使用轻量化的openpose神经网络，得到待检测骨骼结构；根据所述状态分类模型的输出以及所述待检测骨骼结构的人体宽高比，确定所述待检测人员图像对应的状态；若所述待检测人员图像对应的状态为跌倒状态，则播放语音进行预警。本发明通过，使用轻量化的openpose神经网络，得到待检测骨骼结构，根据状态分类模型的输出再结合待检测骨骼结构的人体宽高比，确定待检测人员图像对应的状态，当待检测人员图像对应的状态为跌倒状态时，播放语音预警，可实现对跌倒人员的高效检测和预警。

Description

跌倒预警方法、装置、设备及可读存储介质
技术领域
本发明涉及工程安全预警领域，尤其涉及一种跌倒预警方法、装置、设备及可读存储介质。
背景技术
随着社会经济的快速发展，越来越多的大跨度、复杂山区、高海拔桥梁不断建造建成，施工安全问题突出。一方面，施工人员在施工过程中，经常发生不按章办事、违规操作，以及在施工过程中注意力不集中等主观因素导致安全问题频发，另一方面，工地情况复杂，人力不能够有效地监督整个工地，且安全监管员也无法一直值守在工地现场进行监督，基于以上原因，以及现有的检测预警技术对跌倒人员的检测效率和检测准确率不够高，当有人员发生跌倒时，若跌倒人员没有得到及时的救助，长时间倒地不起，则很可能造成生命危险。
发明内容
本发明的主要目的在于提供一种跌倒预警方法、装置、设备及可读存储介质，旨在解决目前在施工工地，当有人员跌倒的危险发生时，由于对跌倒人员的检测效率和检测准确率不够高，未能对跌倒人员及时进行救助的技术问题。
第一方面，本发明提供一种跌倒预警方法，所述跌倒预警方法包括：
获取目标场景的实时图像，采用背景差分法，分离所述实时图像中的背景图像，得到待检测人员图像；
使用轻量化的openpose神经网络，对所述待检测人员图像进行特征提取，得到待检测骨骼结构；
将所述待检测骨骼结构输入状态分类模型，根据所述状态分类模型的输出以及所述待检测骨骼结构的人体宽高比，确定所述待检测人员图像对应的状态；
若所述待检测人员图像对应的状态为跌倒状态，则播放语音进行预警。
可选的，所述获取目标场景的实时图像包括：
通过安装于目标场景中的摄像头，获取目标场景的实时图像，所述目标场景为施工工地。
可选的，在所述使用轻量化的openpose神经网络，对所述待检测人员图像进行特征提取，得到待检测骨骼结构之前，还包括：
基于开源的openpose神经网络，将开源的openpose神经网络中的VGG19网络替换为MobileNetV3网络，将生成keypoints和PAFs的两个网络合并为一个网络，将7x7的卷积更换为3x3和1x1的卷积，将空洞卷积的rate设置为2，得到轻量化的openpose神经网络。
可选的，在所述获取目标场景的实时图像，采用背景差分法，分离所述实时图像中的背景图像，得到待检测人员图像之前，还包括：
根据包含人员处于跌倒和非跌倒两种状态的多张图像，构建训练数据集；
将训练数据集中的样本，输入InceptionV3分类网络；
将分类网络的输出结果和输入样本的真实标签进行对比，判断输出结果是否正确；
统计输出结果的正确率；
若输出结果的正确率达到预设的正确率，则将最新的分类网络作为训练好的状态分类模型，否则调整分类网络的参数，并返回执行所述将训练数据集中的样本，输入InceptionV3分类网络的步骤。
可选的，所述将所述待检测骨骼结构输入状态分类模型，根据所述状态分类模型的输出以及所述待检测骨骼结构的人体宽高比，确定所述待检测人员图像对应的状态包括：
将所述待检测骨骼结构输入状态分类模型；
若所述状态分类模型输出的跌倒状态的分值大于非跌倒状态的分值，且所述待检测骨骼结构的人体宽高比在预设人体宽高比范围内，则确定待检测人员图像对应的状态为跌倒状态。
第二方面，本发明还提供一种跌倒预警装置，所述跌倒预警装置包括：
获取模块，用于获取目标场景的实时图像，采用背景差分法，分离所述实时图像中的背景图像，得到待检测人员图像；
提取模块，用于使用轻量化的openpose神经网络，对所述待检测人员图像进行特征提取，得到待检测骨骼结构；
确定模块，用于将所述待检测骨骼结构输入状态分类模型，根据所述状态分类模型的输出以及所述待检测骨骼结构的人体宽高比，确定所述待检测人员图像对应的状态；
预警模块，用于若所述待检测人员图像对应的状态为跌倒状态，则播放语音进行预警。
可选的，所述获取模块，用于：
通过安装于目标场景中的摄像头，获取目标场景的实时图像，所述目标场景为施工工地。
可选的，所述确定模块，用于：
将所述待检测骨骼结构输入状态分类模型；
若所述状态分类模型输出的跌倒状态的分值大于非跌倒状态的分值，且所述待检测骨骼结构的人体宽高比在预设人体宽高比范围内，则确定待检测人员图像对应的状态为跌倒状态。
第三方面，本发明还提供一种跌倒预警设备，所述跌倒预警设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的跌倒预警程序，其中所述跌倒预警程序被所述处理器执行时，实现如上述所述的跌倒预警方法的步骤。
第四方面，本发明还提供一种可读存储介质，所述可读存储介质上存储有跌倒预警程序，其中所述跌倒预警程序被处理器执行时，实现如上述所述的跌倒预警方法的步骤。
本发明中，获取目标场景的实时图像，采用背景差分法，分离所述实时图像中的背景图像，得到待检测人员图像；使用轻量化的openpose神经网络，对所述待检测人员图像进行特征提取，得到待检测骨骼结构；将所述待检测骨骼结构输入状态分类模型，根据所述状态分类模型的输出以及所述待检测骨骼结构的人体宽高比，确定所述待检测人员图像对应的状态；若所述待检测人员图像对应的状态为跌倒状态，则播放语音进行预警。本发明通过，在获取目标场景的实时图像之后，通过采用背景差分法，分离实时图像中的背景图像，得到待检测人员图像，然后通过使用轻量化的openpose神经网络，对待检测人员图像进行特征提取，得到待检测骨骼结构，将待检测骨骼结构输入状态分类模型，根据状态分类模型的输出再结合待检测骨骼结构的人体宽高比，就能够确定待检测人员图像对应的状态，当待检测人员图像对应的状态为跌倒状态时，则播放语音进行预警，可实现对跌倒人员的高效检测和及时预警，可以及时地对跌倒人员进行救助，避免危险的发生。
附图说明
图1为本发明跌倒预警设备一实施例的硬件结构示意图；
图2为本发明跌倒预警方法一实施例的流程示意图；
图3为本发明跌倒预警方法一实施例状态分类模型的训练流程示意图；
图4为本发明跌倒预警装置一实施例的功能模块示意图；
图5为本发明跌倒预警装置一实施例训练模块50的细化功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
第一方面，本发明实施例提供一种跌倒预警设备。
参照图1，图1为本发明跌倒预警设备一实施例的硬件结构示意图。本发明实施例中，跌倒预警设备可以包括处理器1001(例如中央处理器Central Processing Unit，CPU)，通信总线1002，用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信；用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)；网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真WIreless-FIdelity，WI-FI接口)；存储器1005可以是高速随机存取存储器(random accessmemory，RAM)，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器，存储器1005可选的还可以是独立于前述处理器1001的存储装置。本领域技术人员可以理解，图1中示出的硬件结构并不构成对本发明的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
继续参照图1，图1中作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及跌倒预警程序。其中，处理器1001可以调用存储器1005中存储的跌倒预警程序，并执行本发明实施例提供的跌倒预警方法。
第二方面，本发明实施例提供了一种跌倒预警方法。
为了更清楚地展示本申请实施例提供的跌倒预警方法，首先介绍一下本申请实施例提供的跌倒预警方法的应用场景。
本申请实施例提供的跌倒预警方法应用在工地施工的过程中，对现场人员的跌倒状态进行实时高效的检测，当有人员发生跌倒时，通过实时的预警，对跌倒人员进行及时的救助。
一实施例中，参照图2，图2为本发明跌倒预警方法一实施例的流程示意图，如图2所示，所述跌倒预警方法包括：
步骤S10，获取目标场景的实时图像，采用背景差分法，分离所述实时图像中的背景图像，得到待检测人员图像。
本实施例中，将目标场景的实时图像，使用背景差分法，分离出背景图像，得到人员图像，作为待检测人员图像。背景差分法，常用于检测视频及图像中的目标，通过将实时图像和预先确定的或实时获取的背景图像的模型进行对比，计算出实时图像与背景图像的模型像素差异超过一定阀值的区域，从而确定目标的位置、轮廓、大小等特征。
步骤S20，使用轻量化的openpose神经网络，对所述待检测人员图像进行特征提取，得到待检测骨骼结构。
本实施例中，openpose神经网络是美国卡耐基梅隆大学(CMU)基于卷积神经网络和监督学习并以Caffe为框架开发的开源的人体姿态识别项目，对openpose神经网络进行轻量化从而实现效率上的优化，以满足实时和高效地对跌倒状态进行检测和预警的要求，将待检测人员图像使用轻量化的openpose神经网络进行特征提取，得到待检测骨骼结构。
步骤S30，将所述待检测骨骼结构输入状态分类模型，根据所述状态分类模型的输出以及所述待检测骨骼结构的人体宽高比，确定所述待检测人员图像对应的状态。
本实施例中，状态分类模型是一个利用神经学习网络建立的模型分类器，人体处于跌倒状态和非跌倒状态时人体的宽度和高度的比值有着很大的差异，将待检测骨骼结构输入状态分类模型中，状态分类模型会输出对应的跌倒和非跌倒两个状态的相似度分值，再结合人体的宽高比进行辅助判断，进一步提高检测的准确率，确定待检测人员图像处于跌倒还是非跌倒状态。
步骤S40，若所述待检测人员图像对应的状态为跌倒状态，则播放语音进行预警。
本实施例中，当检测到待检测人员图像对应的状态为跌倒状态即表明有人员跌倒的情况发生，此时，通过现场安装的广播播放预警语音进行预警，通知现场人员对跌倒人员及时进行救助，现场安装的广播的数量和各广播间的间距根据现场的大小和现场的环境来具体确定，最终保证对现场的全方位和无死角的语音预警提醒。
本实施例中，获取目标场景的实时图像之后，通过采用背景差分法，分离背景图像，得到待检测人员图像，然后使用轻量化的openpose神经网络，对待检测人员图像进行特征提取，可实时高效地得到待检测骨骼结构，然后再将待检测骨骼结构输入状态分类模型中，状态分类模型会输出对应的跌倒和非跌倒两个状态的相似度分值，再结合人体的宽高比进行辅助判断，进一步提高检测的准确率，确定待检测人员图像处于跌倒还是非跌倒状态，当检测到待检测人员图像对应的状态为跌倒状态即表明有人员跌倒的情况发生，通过现场安装的全方位无死角的广播播放预警语音进行预警，通知现场人员对跌倒人员及时进行救助，从而可以避免危险的发生。本实施例的对跌倒状态的实时检测和预警，避免了传统安全预警中生产人员发生跌落时还需要一段时间被发现，再由专人进行救援所带来的效率低下的问题，可显著减低生产过程中的人力和时间成本，同时基于本实施例的高效和准确的检测，可避免现有技术中对跌倒人员的检测延迟及检测错误的情况发生。
进一步地，一实施例中，步骤S10中，所述获取目标场景的实时图像包括：
通过安装于目标场景中的摄像头，获取目标场景的实时图像，所述目标场景为施工工地。
本实施例中，通过安装于施工工地中的高分辨率摄像头实时地对可见光波段进行信号采集，同时通过网络进行实时传输，可以根据现场施工工地的具体需要，在多个方向搭建可拆卸式的视频采集集成系统，适配不同面积的施工工地，适配不同场景的施工工地，工人跌落情况会被视频采集系统及时记录，并通知生产人员或管理人员进行处理，避免了传统安全预警中生产人员发生跌落时还需要一段时间被发现，再由专人进行救援所带来的效率低下的问题，显著降低了生产过程中的人力和时间成本，后续数字化的检测记录相对于纸质记录也更有利于工程管理。
进一步地，一实施例中，在步骤S20之前，还包括：
基于开源的openpose神经网络，将开源的openpose神经网络中的VGG19网络替换为MobileNetV3网络，将生成keypoints和PAFs的两个网络合并为一个网络，将7x7的卷积更换为3x3和1x1的卷积，将空洞卷积的rate设置为2，得到轻量化的openpose神经网络。
本实施例中，基于开源的openpose神经网络，通过对开源的openpose神经网络一系列针对性的轻量化优化可以显著提高从待检测人员图像中提取待检测骨骼结构的效率，进一步提高整体的检测预警效率。这是因为VGG19网络使用了更多的参数，会耗费更多计算资源，并且VGG19网络为openpose神经网络的第一个全连接层，openpose神经网络的绝大多数的参数都是来自于VGG19网络，导致更多的内存占用，在进行反向传播时，中间的卷积层也会导致占用更多的内存，因而整个神经网络会导致运算的实时性很低，而MobileNetV3的大部分运算集中在1×1的pointwise卷积，可以极大降低对计算资源的要求，因而能极大地提升网络识别的实时性。在替换VGG19网络的基础上，我们将生成keypoints和PAFs的两个网络合并成一个，进一步降低计算资源与内存资源占用，在卷积层方面，把7x7的卷积换成3x3和1x1的卷积块，为保持视野，将空洞卷积的rate设置为2，即使用dil＝2的空洞卷积，可以获得7x7的感受野，也能在维持识别精度的基础上极大地降低计算对资源的占用。
进一步地，一实施例中，参照图3，图3为本发明跌倒预警方法一实施例状态分类模型的训练流程示意图，如图3所示，在步骤S10之前，还包括：
步骤T10，根据包含人员处于跌倒和非跌倒两种状态的多张图像，构建训练数据集；
步骤T20，将训练数据集中的样本，输入InceptionV3分类网络；
步骤T30，将分类网络的输出结果和输入样本的真实标签进行对比，判断输出结果是否正确；
步骤T40，统计输出结果的正确率；
步骤T50，若输出结果的正确率达到预设的正确率，则将最新的分类网络作为训练好的状态分类模型，否则调整分类网络的参数，并返回执行所述将训练数据集中的样本，输入InceptionV3分类网络的步骤。
本实施例中，InceptionV3分类网络为谷歌Inception系列里面的第三代网络，是一个利用神经学习网络建立的模型分类器。获取多张包含人员处于跌倒和非跌倒两种状态的图像，构建用于训练的数据集，训练数据集中的图像可以从网络等公开渠道获取，还可以通过使用本实施例步骤S20中的轻量化的openpose神经网络提取人员图像的骨骼结构来获取。在构建数据集的过程中，对获取到的每张图片标注上图片中人员处于跌倒或非跌倒状态的真实标签，将其作为样本输入到InceptionV3分类网络中，InceptionV3分类网络输出样本对应的跌倒和非跌倒的两个状态的相似度分值，若跌倒或非跌倒的分值大于0.5可判断样本中人员处于相应的跌倒或非跌倒的状态，将其与输入样本的真实标签进行对比，即可判断分类网络的输出结果是否正确。对分类网络的训练是一个迭代的过程，将每次的输出结果进行统计即得到正确率。预设的正确率可根据具体的应用场景来进行设定，将输出结果的正确率达到预设的正确率作为训练结束的条件，当输出结果的正确率达到预设的正确率时，将最新的分类网络作为训练好的状态分类模型，否则将输出结果返回分类网络，调整分类网络的参数，继续对分类网络进行训练。
进一步地，一实施例中，步骤S30，包括：
将所述待检测骨骼结构输入状态分类模型；
若所述状态分类模型输出的跌倒状态的分值大于非跌倒状态的分值，且所述待检测骨骼结构的人体宽高比在预设人体宽高比范围内，则确定待检测人员图像对应的状态为跌倒状态。
本实施例中，可预先训练好状态分类模型，将待检测骨骼结构输入状态分类模型进行检测，分类模型输出样本跌倒和非跌倒的两个状态的相似度分值，若跌倒状态的分值大于非跌倒状态的分值，即状态分类模型的检测结果为跌倒状态，由于人体在处于跌倒和非跌倒两种状态下的宽度和高度的比值明显不同，因此将人体宽高比用于进一步的辅助检测，可以大大提升检测的准确率，人体在跌倒状态的宽度和高度的比值约为4：1，由于每个人具体的人体特征不同，因此根据检测的要求具体设定预设的人体宽高比的范围。
第三方面，本发明实施例还提供一种跌倒预警装置。
参照图4，图4为本发明跌倒预警装置一实施例的功能模块示意图。
本实施例中，所述跌倒预警装置包括：
获取模块10，用于获取目标场景的实时图像，采用背景差分法，分离所述实时图像中的背景图像，得到待检测人员图像；
提取模块20，用于使用轻量化的openpose神经网络，对所述待检测人员图像进行特征提取，得到待检测骨骼结构；
确定模块30，用于将所述待检测骨骼结构输入状态分类模型，根据所述状态分类模型的输出以及所述待检测骨骼结构的人体宽高比，确定所述待检测人员图像对应的状态；
预警模块40，用于若所述待检测人员图像对应的状态为跌倒状态，则播放语音进行预警。
进一步地，一实施例中，获取模块10，用于：
通过安装于目标场景中的摄像头，获取目标场景的实时图像，所述目标场景为施工工地。
进一步地，一实施例中，所述跌倒预警装置，还包括优化模块，用于：
基于开源的openpose神经网络，将开源的openpose神经网络中的VGG19网络替换为MobileNetV3网络，将生成keypoints和PAFs的两个网络合并为一个网络，将7x7的卷积更换为3x3和1x1的卷积，将空洞卷积的rate设置为2，得到轻量化的openpose神经网络。
进一步地，一实施例中，参照图5，图5为本发明跌倒预警装置一实施例训练模块50的细化功能模块示意图，如图5所示，所述跌倒预警装置，还包括训练模块50，所述训练模块50包括：
构建单元501，用于根据包含人员处于跌倒和非跌倒两种状态的多张图像，构建训练数据集；
输入单元502，用于将训练数据集中的样本，输入InceptionV3分类网络；
判断单元503，用于将分类网络的输出结果和输入样本的真实标签进行对比，判断输出结果是否正确；
统计单元504，用于统计输出结果的正确率；
训练单元505，用于若输出结果的正确率达到预设的正确率，则将最新的分类网络作为训练好的状态分类模型，否则调整分类网络的参数，并返回执行所述将训练数据集中的样本，输入InceptionV3分类网络的步骤。
进一步地，一实施例中，确定模块30，用于：
将所述待检测骨骼结构输入状态分类模型；
若所述状态分类模型输出的跌倒状态的分值大于非跌倒状态的分值，且所述待检测骨骼结构的人体宽高比在预设人体宽高比范围内，则确定待检测人员图像对应的状态为跌倒状态。
其中，上述跌倒预警装置中各个模块的功能实现与上述跌倒预警方法实施例中各步骤相对应，其功能和实现过程在此处不再一一赘述。
第四方面，本发明实施例还提供一种可读存储介质。
本发明可读存储介质上存储有跌倒预警程序，其中所述跌倒预警程序被处理器执行时，实现如上述的跌倒预警方法的步骤。
其中，跌倒预警程序被执行时所实现的方法可参照本发明跌倒预警方法的各个实施例，此处不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种跌倒预警方法，其特征在于，所述跌倒预警方法包括：
获取目标场景的实时图像，采用背景差分法，分离所述实时图像中的背景图像，得到待检测人员图像；
使用轻量化的openpose神经网络，对所述待检测人员图像进行特征提取，得到待检测骨骼结构；
将所述待检测骨骼结构输入状态分类模型，根据所述状态分类模型的输出以及所述待检测骨骼结构的人体宽高比，确定所述待检测人员图像对应的状态；
若所述待检测人员图像对应的状态为跌倒状态，则播放语音进行预警。
2.如权利要求1所述的跌倒预警方法，其特征在于，所述获取目标场景的实时图像包括：
通过安装于目标场景中的摄像头，获取目标场景的实时图像，所述目标场景为施工工地。
3.如权利要求1所述的跌倒预警方法，其特征在于，在所述使用轻量化的openpose神经网络，对所述待检测人员图像进行特征提取，得到待检测骨骼结构之前，还包括：
基于开源的openpose神经网络，将开源的openpose神经网络中的VGG19网络替换为MobileNetV3网络，将生成keypoints和PAFs的两个网络合并为一个网络，将7x7的卷积更换为3x3和1x1的卷积，将空洞卷积的rate设置为2，得到轻量化的openpose神经网络。
4.如权利要求1所述的跌倒预警方法，其特征在于，在所述获取目标场景的实时图像，采用背景差分法，分离所述实时图像中的背景图像，得到待检测人员图像之前，还包括：
根据包含人员处于跌倒和非跌倒两种状态的多张图像，构建训练数据集；
将训练数据集中的样本，输入InceptionV3分类网络；
将分类网络的输出结果和输入样本的真实标签进行对比，判断输出结果是否正确；
统计输出结果的正确率；
若输出结果的正确率达到预设的正确率，则将最新的分类网络作为训练好的状态分类模型，否则调整分类网络的参数，并返回执行所述将训练数据集中的样本，输入InceptionV3分类网络的步骤。
5.如权利要求1所述的跌倒预警方法，其特征在于，所述将所述待检测骨骼结构输入状态分类模型，根据所述状态分类模型的输出以及所述待检测骨骼结构的人体宽高比，确定所述待检测人员图像对应的状态包括：
将所述待检测骨骼结构输入状态分类模型；
若所述状态分类模型输出的跌倒状态的分值大于非跌倒状态的分值，且所述待检测骨骼结构的人体宽高比在预设人体宽高比范围内，则确定待检测人员图像对应的状态为跌倒状态。
6.一种跌倒预警装置，其特征在于，所述跌倒预警装置包括：
获取模块，用于获取目标场景的实时图像，采用背景差分法，分离所述实时图像中的背景图像，得到待检测人员图像；
提取模块，用于使用轻量化的openpose神经网络，对所述待检测人员图像进行特征提取，得到待检测骨骼结构；
确定模块，用于将所述待检测骨骼结构输入状态分类模型，根据所述状态分类模型的输出以及所述待检测骨骼结构的人体宽高比，确定所述待检测人员图像对应的状态；
预警模块，用于若所述待检测人员图像对应的状态为跌倒状态，则播放语音进行预警。
7.如权利要求6所述的跌倒预警装置，其特征在于，所述获取模块，用于：
通过安装于目标场景中的摄像头，获取目标场景的实时图像，所述目标场景为施工工地。
8.如权利要求6所述的跌倒预警装置，其特征在于，所述确定模块，用于：
将所述待检测骨骼结构输入状态分类模型；
若所述状态分类模型输出的跌倒状态的分值大于非跌倒状态的分值，且所述待检测骨骼结构的人体宽高比在预设人体宽高比范围内，则确定待检测人员图像对应的状态为跌倒状态。
9.一种跌倒预警设备，其特征在于，所述跌倒预警设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的跌倒预警程序，其中所述跌倒预警程序被所述处理器执行时，实现如权利要求1至5中任一项所述的跌倒预警方法的步骤。
10.一种可读存储介质，其特征在于，所述可读存储介质上存储有跌倒预警程序，其中所述跌倒预警程序被处理器执行时，实现如权利要求1至5中任一项所述的跌倒预警方法的步骤。
CN202210573026.XA 2022-05-24 2022-05-24 跌倒预警方法、装置、设备及可读存储介质 Pending CN114973326A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210573026.XA CN114973326A (zh) 2022-05-24 2022-05-24 跌倒预警方法、装置、设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210573026.XA CN114973326A (zh) 2022-05-24 2022-05-24 跌倒预警方法、装置、设备及可读存储介质

Publications (1)

Publication Number Publication Date
CN114973326A true CN114973326A (zh) 2022-08-30

Family

ID=82955043

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210573026.XA Pending CN114973326A (zh) 2022-05-24 2022-05-24 跌倒预警方法、装置、设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN114973326A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115546491A (zh) * 2022-11-28 2022-12-30 中南财经政法大学 一种跌倒报警方法、系统、电子设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115546491A (zh) * 2022-11-28 2022-12-30 中南财经政法大学 一种跌倒报警方法、系统、电子设备及存储介质
CN115546491B (zh) * 2022-11-28 2023-03-10 中南财经政法大学 一种跌倒报警方法、系统、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN110390262B (zh) 视频分析方法、装置、服务器及存储介质
CN110414313B (zh) 异常行为告警方法、装置、服务器及存储介质
CN109815868B (zh) 一种图像目标检测方法、装置及存储介质
CN112085010B (zh) 一种基于图像识别的口罩检测和部署系统及方法
CN103069434B (zh) 用于多模式视频事件索引的方法和系统
KR101708547B1 (ko) 사상(事象) 검출 장치 및 사상 검출 방법
US20200043171A1 (en) Counting objects in images based on approximate locations
CN110659391A (zh) 一种视频侦查方法及装置
CN110969215A (zh) 聚类处理方法和装置、存储介质及电子装置
CN113139403A (zh) 违规行为识别方法、装置、计算机设备和存储介质
CN111191507A (zh) 智慧社区的安全预警分析方法及系统
CN113111838A (zh) 行为识别方法及装置、设备和存储介质
CN111401239B (zh) 一种视频分析方法、装置、系统、设备及存储介质
CN112489351A (zh) 基于图片识别的学校火灾预警方法
CN114463788A (zh) 一种跌倒检测方法、系统、计算机设备及存储介质
CN114973326A (zh) 跌倒预警方法、装置、设备及可读存储介质
CN114926791A (zh) 一种路口车辆异常变道检测方法、装置、存储介质及电子设备
CN114155551A (zh) 基于YOLOv3改进的复杂环境下的行人检测方法及装置
CN111652128B (zh) 一种高空电力作业安全监测方法、系统和存储装置
CN116311081B (zh) 一种基于图像识别的医学实验室监控图像分析方法和系统
CN116403162B (zh) 一种机场场面目标行为识别方法、系统及电子设备
CN116778673A (zh) 水域安全监控方法、系统、终端及存储介质
CN113420919B (zh) 基于无人机视觉感知的工程异常管控方法
CN114169404A (zh) 一种基于图像智能获取边坡病害量化信息方法
US11749021B2 (en) Retrieval device, control method, and non-transitory storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230720

Address after: 430050 No. 38, Hanyang Avenue, Hanyang District, Hubei, Wuhan

Applicant after: CHINA RAILWAY MAJOR BRIDGE ENGINEERING GROUP Co.,Ltd.

Applicant after: CHINA RAILWAY BRIDGE SCIENCE RESEARCH INSTITUTE, Ltd.

Applicant after: China National Railway Group Co.,Ltd.

Address before: 430050 No. 38, Hanyang Avenue, Hanyang District, Hubei, Wuhan

Applicant before: CHINA RAILWAY MAJOR BRIDGE ENGINEERING GROUP Co.,Ltd.

Applicant before: CHINA RAILWAY BRIDGE SCIENCE RESEARCH INSTITUTE, Ltd.