CN112906548B - 一种基于边缘计算的跌倒检测方法及系统 - Google Patents
一种基于边缘计算的跌倒检测方法及系统 Download PDFInfo
- Publication number
- CN112906548B CN112906548B CN202110176769.9A CN202110176769A CN112906548B CN 112906548 B CN112906548 B CN 112906548B CN 202110176769 A CN202110176769 A CN 202110176769A CN 112906548 B CN112906548 B CN 112906548B
- Authority
- CN
- China
- Prior art keywords
- human body
- image
- pedestrian
- body posture
- artifact
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 317
- 238000004364 calculation method Methods 0.000 title claims abstract description 39
- 238000000034 method Methods 0.000 claims abstract description 97
- 230000008030 elimination Effects 0.000 claims abstract description 47
- 238000003379 elimination reaction Methods 0.000 claims abstract description 47
- 238000012545 processing Methods 0.000 claims abstract description 45
- 238000005457 optimization Methods 0.000 claims abstract description 32
- 230000008569 process Effects 0.000 claims description 23
- 238000010606 normalization Methods 0.000 claims description 18
- 210000003423 ankle Anatomy 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 12
- 230000005484 gravity Effects 0.000 claims description 12
- 230000001629 suppression Effects 0.000 claims description 11
- 230000009466 transformation Effects 0.000 claims description 8
- 230000009977 dual effect Effects 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 238000003672 processing method Methods 0.000 claims description 5
- 230000001131 transforming effect Effects 0.000 claims description 4
- 230000008859 change Effects 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 238000001914 filtration Methods 0.000 description 5
- 230000003993 interaction Effects 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 238000005452 bending Methods 0.000 description 4
- 238000012821 model calculation Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000009194 climbing Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000004793 poor memory Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Social Psychology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Psychiatry (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于边缘计算的跌倒检测方法及系统,其中,所述方法包括:将采集到的采集图像输入轻量化优化后的行人目标检测模型中进行行人目标检测,获得采集图像的行人目标;对所述采集图像的行人目标进行行人图像序列化处理,获得序列化后的行人图像;将所述序列化后的行人图像输入轻量化优化后的姿态检测模型中进行姿态检测,获得人体姿态图像信息;基于人体姿态伪影消除法对所述人体姿态图像信息进行伪影消除处理,获得消除伪影后的人体姿态图像;对所述消除伪影后的人体姿态图像进行跌倒检测处理,获得跌倒检测结果。在本发明实施例中,提高行人跌倒检测识别的速度和可靠性。
Description
技术领域
本发明涉及计算机视觉技术领域,尤其涉及一种基于边缘计算的跌倒检测方法及系统。
背景技术
来自中国疾病监测系统的数据显示,跌倒已经成为我国65岁以上老年人因伤致死的首位原因,如果老年人跌倒后能够及时得到治疗,则可以降低80%的死亡风险和26%的长期住院治疗风险。目前,最常见的跌倒检测方法主要有3种:①基于环境设备的检测方法,根据人体跌倒时形成的环境噪声进行检测,这种方法通过感知物体压力和声音的变化检测跌倒,误报率较高,实际生活中很少采用。②基于穿戴式传感器的检测方法,利用加速度计和陀螺仪来进行跌倒检测,缺点是长时间配戴传感器影响人的生活舒适度,并且由于老年人记忆力不好,容易忘记佩戴,从事复杂活动时误报率较高。③基于视觉识别的检测方法可分为两类:一类是传统机器视觉方法利用摄像头捕获视频,然后通过帧差法、卡尔曼滤波、光流法等提取有效的跌倒特征,但易受背景、光线变化等环境因素的影响,鲁棒性差;另一类使用人工智能方法,利用RGB相机提供的二维图像信息或深度RGB-D相机提供三维数据用于卷积神经网络的训练及推理,人工智能算法虽然识别精度高、检测速度快,能够及时发现老人跌倒,但往往伴随着高昂的硬件成本,对硬件的计算力要求高,推理速度滞后,极大的限制了实际的落地应用。
发明内容
本发明的目的在于克服现有技术的不足,本发明提供了一种基于边缘计算的跌倒检测方法及系统经过模型的轻量化优化显著提高跌倒检测速度,可以有效的消除图像中的姿态伪影对后续识别的影响,并且提高行人跌倒检测识别的精度,能够满足实时检测需求。
为了解决上述技术问题,本发明实施例提供了一种基于边缘计算的跌倒检测方法,所述方法包括:
将采集到的采集图像输入轻量化优化后的行人目标检测模型中进行行人目标检测,获得采集图像的行人目标;
对所述采集图像的行人目标进行行人图像序列化处理,获得序列化后的行人图像;
将所述序列化后的行人图像输入轻量化优化后的姿态检测模型中进行姿态检测,获得人体姿态图像信息;
基于人体姿态伪影消除法对所述人体姿态图像信息进行伪影消除处理,获得消除伪影后的人体姿态图像;
对所述消除伪影后的人体姿态图像进行跌倒检测处理,获得跌倒检测结果。
可选的,所述行人目标检测模型的轻量化优化过程包括:
输入行人目标检测模型,并对所述行人目标检测模型进行维度初始化处理,获得维度初始化后的行人目标检测模型;
在维度初始化后的行人目标检测模型中创建onnx网络节点,并移除dummy网络层中的route和yolo节点;
对维度初始化后的行人目标检测模型中的输入层进行判别,若输入层为“convolutional”,则加载卷积权重参数,若输入层为“upsample”,则加载上采样参数;
创建维度初始化后的行人目标检测模型的计算图,并加载维度初始化后的行人目标检测模型的转换优化器,经过转换,获得轻量化优化后的行人目标检测模型。
可选的,所述将采集到的采集图像输入轻量化优化后的行人目标检测模型中进行行人目标检测,获得采集图像的行人目标,包括:
将采集到的所述采集图像输入所述轻量化优化后的行人目标检测模型中,并在所述轻量化优化后的行人目标检测模型中利用双重非极大值抑制法进行行人目标检测,获得行人目标检测框;
计算所述行人目标检测框与自行车检测框或摩托车检测框之间的关联关系,并基于关联关系剔除骑行人,获得采集图像的行人目标。
可选的,所述在所述轻量化优化后的行人目标检测模型中利用双重非极大值抑制法进行行人目标检测,获得行人目标检测框,包括:
设置第一重叠阈值Tnms-1,并基于第一重叠阈值Tnms-1在所述轻量化优化后的行人目标检测模型中进行第一次非极大值推理,获得第一次person预测框集合(I1,I2,…,In),其中,I表示行第一次人目标检测框,n表示第一次检测到的行人个数;
基于所述第一次person预测框集合(I1,I2,…,In)计算出第二重叠阈值Tnms-2,其中Tnms-2通过计算person预测框集合(I1,I2,…,In)的平均IOU获得;
基于第二重叠阈值Tnms-2对所述第一次person预测框集合(I1,I2,…,In)进行第二次非极大值机制处理,获得第二次person预测框集合(D1,D2,…,Dm),其中D表示第二次行人检测框,m表示第二次检测到的行人个数;
基于所述第二次person预测框集合(D1,D2,…,Dm)获得行人目标检测框;
所述基于关联关系剔除骑行人,包括:
设置剔除骑行人阈值sthreshold,根据所述剔除骑行人阈值sthreshold和所述关联关系剔除骑行人;
根据所述剔除骑行人阈值sthreshold和所述关联关系剔除骑行人,如下:
其中,Sperson-area表示行人目标检测框;Sbike-area表示自行车检测框或摩托车检测框;sthreshold表示剔除骑行人阈值。
可选的,所述对所述采集图像的行人目标进行行人图像序列化处理,获得序列化后的行人图像,包括:
将所述采集图像的行人目标转化为二维的tensor数据结构Td;Td=[[x1,y1,w1,h1,sc1],[x2,y2,w2,h2,sc2],…[xi,yi,wi,hi,sci]],其中[xi,yi,wi,hi,sci]]表示第i个行人目标的结构化数据,x表示预测框左上角的图像横坐标,y表示预测框左上角的图像纵坐标,w表示预测框的宽,h表示预测框的高,sc表示判定为行人的置信度;
将采集图像Im变换为浮点型32位的tensor类型数据Im_t,且对Im_t进行归一化操作;
根据tensor数据结构Td和tensor类型数据Im_t在采集图像Im中截取行人区域图像,并按照行人的置信度从高至低排列,形成序列化后的行人图像。
可选的,所述姿态检测模型的轻量化优化过程如下:
输入姿态检测模型,将所述姿态检测模型输入dummy网络层进行维度初始化,所述dummy网络层输入维度设置为tensor类型(1,3,Wdummy,Hdummy),其中,1表示batchsize为1,3表示图像通道数,Wdummy、Hdummy表示网络层输入图像归一化尺度;
为维度初始化的姿态检测模型中创建onnx网络节点,并对维度初始化的姿态检测模型的输入输出网络层定制设计,输入层设定为‘input1’,输出层设定为‘output1’;
创建维度初始化的姿态检测模型的计算图,并加载所述维度初始化的姿态检测模型的转化优化器,经过转换,生成轻量化优化后的姿态检测模型;
所述维度初始化的姿态检测模型的计算图输入维度为(1,3,Wd,Hd),其中1表示batchsize为1,3表示图像通道数,Wd、Hd表示网络层输入图像归一化尺度。
可选的,所述基于人体姿态伪影消除法对所述人体姿态图像信息进行伪影消除处理,获得消除伪影后的人体姿态图像,包括:
根据所述采集图像内的人体区域在摄像机有效视场内的分布特点,设定人体姿态矩阵框宽高比阈值Tr;
根据人体姿态图像信息统计在连续F帧的采集图像局部范围内出现人体姿态矩阵框的频次Fr,若Fr>γ,则记录该局部区域连续F帧检测到的人体姿态矩形框[R1,R2,...Ri],γ为设定阈值,Ri表示第i帧的姿态检测结果矩形框,i≤F;
基于人体姿态矩形框构建人体姿态伪影消除法公式,进行伪影消除处理,获得消除伪影后的人体姿态图像;
所述体姿态伪影消除法公式如下:
在所述人体姿态矩形框的集合满足上式时,则判定该区域检测的人体姿态图像信息为人体姿态伪影,将该区域内的人体姿态图像信息消除,其中,表示设定第一阈值;表示R的平均宽度;/>表示R的平均高度。
可选的,所述对所述消除伪影后的人体姿态图像进行跌倒检测处理,获得跌倒检测结果,包括:
基于消除伪影后的人体姿态图像进行第一跌倒特征计算,并基于第一跌倒特征初步判断行人是否跌倒;
若是,则基于消除伪影后的人体姿态图像进行第二跌倒特征计算,并基于第二跌倒特征判断行人是否跌倒,获得跌倒检测结果。
可选的,所述基于消除伪影后的人体姿态图像进行第一跌倒特征计算,并基于第一跌倒特征初步判断行人是否跌倒,包括:
计算所述消除伪影后的人体姿态图像中人体头部关节点的第一线速度、计算所述消除伪影后的人体姿态图像中人体胸部重心的第二线速度、所述消除伪影后的人体姿态图像中人体脚踝的第三线速度;其中,所述人体胸部重心位置由对应的关节点的图像坐标计算获得;
当第一线速度、第二线速度及第三线速度满足第一预设条件时,则初步判定为行人跌倒;
所述基于消除伪影后的人体姿态图像进行第二跌倒特征计算,并基于第二跌倒特征判断行人是否跌倒,获得跌倒检测结果,包括:
计算所述消除伪影后的人体姿态图像中人体上半身中垂线与水平线的第一夹角,若人第一夹角小于第一预设夹角,且在第一时间阈值时长内保持第一夹角小于第一预设夹角,则判定为跌倒;否则,
计算所述消除伪影后的人体姿态图像中人体下半身中垂线与水平线的第二夹角,若第二夹角小于第二预设夹角,且在第二时间阈值时长内保持第二夹角小于第二预设夹角,则判定为跌倒,否则判断行人未发生跌倒。
另外,本发明实施例还提供了一种基于边缘计算的跌倒检测系统,所述系统包括:
行人检测模块:用于将采集到的采集图像输入轻量化优化后的行人目标检测模型中进行行人目标检测,获得采集图像的行人目标;
序列化处理模块:用于对所述采集图像的行人目标进行行人图像序列化处理,获得序列化后的行人图像;
姿态检测模块:用于将所述序列化后的行人图像输入轻量化优化后的姿态检测模型中进行姿态检测,获得人体姿态图像信息;
伪影消除模块:用于基于人体姿态伪影消除法对所述人体姿态图像信息进行伪影消除处理,获得消除伪影后的人体姿态图像;
跌倒检测模块:用于对所述消除伪影后的人体姿态图像进行跌倒检测处理,获得跌倒检测结果。
在本发明实施例中,优化设计了行人目标检测模型、人体姿态检测模型的推理流程,模型仅需要进行前向传播,避免了推理速度慢、延迟高的致命弱点,降低硬件设备的算力要求,系统能够方便部署在低成本的嵌入式开发板;对目标检测模型进行了目标检测预选框的优化、骑行人的剔除、行人数据结构化和行人图像序列化的优化设计,提高了行人检测的准确度,加快了行人目标检测模型与人体姿态检测模型之间数据交互速度;据行人在摄像机视场内的图像分布特点,设计了连续多帧图像人体姿态数据对比分析的方法,消除视场内跳变的、超出正常尺寸范围的人体姿态伪影;设计了早期动态的第一跌倒特征和后续静态的第二跌倒特征结合的方式,利用人体姿态关节点数据,用简洁的数学公式,描述人体跌倒情况,提高识别精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见的,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1是本发明实施例中的基于边缘计算的跌倒检测方法的流程示意图;
图2是本发明实施例中的基于边缘计算的跌倒检测系统的结构组成示意图;
图3是本发明实施例中的人体关节点的示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
实施例
请参阅图1,图1是本发明实施例中的基于边缘计算的跌倒检测方法的流程示意图。
如图1所示,一种基于边缘计算的跌倒检测方法,所述方法包括:
S11:将采集到的采集图像输入轻量化优化后的行人目标检测模型中进行行人目标检测,获得采集图像的行人目标;
在本发明具体实施过程中,所述行人目标检测模型的轻量化优化过程包括:输入行人目标检测模型,并对所述行人目标检测模型进行维度初始化处理,获得维度初始化后的行人目标检测模型;为维度初始化后的行人目标检测模型中创建onnx网络节点,并移除dummy网络层中的route和yolo节点;对维度初始化后的行人目标检测模型中的输入层进行判别,若输入层为“convolutional”,则加载卷积权重参数,若输入层为“upsample”,则加载上采样参数;创建维度初始化后的行人目标检测模型的计算图,并加载维度初始化后的行人目标检测模型的转换优化器,经过转换,获得轻量化优化后的行人目标检测模型。
进一步的,所述将采集到的采集图像输入轻量化优化后的行人目标检测模型中进行行人目标检测,获得采集图像的行人目标,包括:将采集到的所述采集图像输入所述轻量化优化后的行人目标检测模型中,并在所述轻量化优化后的行人目标检测模型中利用双重非极大值抑制法进行行人目标检测,获得行人目标检测框;计算所述行人目标检测框与自行车检测框或摩托车检测框之间的关联关系,并基于关联关系剔除骑行人,获得采集图像的行人目标。
进一步的,所述在所述轻量化优化后的行人目标检测模型中利用双重非极大值抑制法进行行人目标检测,获得行人目标检测框,包括:设置第一重叠阈值Tnms-1,并基于第一重叠阈值Tnms-1在所述轻量化优化后的行人目标检测模型中进行第一次非极大值推理,获得第一次person预测框集合(I1,I2,…,In),其中,I表示行第一次人目标检测框,n表示第一次检测到的行人个数;基于所述第一次person预测框集合(I1,I2,…,In)计算出第二重叠阈值Tnms-2;其中Tnms-2通过计算person预测框集合(I1,I2,…,In)的平均IOU获得;基于第二重叠阈值Tnms-2对所述第一次person预测框集合(I1,I2,…,In)进行第二次非极大值机制处理,获得第二次person预测框集合(D1,D2,…,Dm),其中D表示第二次行人检测框,m表示第二次检测到的行人个数;基于所述第二次person预测框集合(D1,D2,…,Dm)获得行人目标检测框;
所述基于关联关系剔除骑行人,包括:设置剔除骑行人阈值sthreshold,根据所述剔除骑行人阈值sthreshold和所述关联关系剔除骑行人;根据所述剔除骑行人阈值sthreshold和所述关联关系剔除骑行人,如下:
其中,Sperson-area表示行人目标检测框;Sbike-area表示自行车检测框或摩托车检测框;sthreshold表示剔除骑行人阈值。
具体的,在本实施例中,所输入的行人目标检测模型可以为YOLOv4-tiny网络模型;因此,对YOLOv4-tiny网络模型的输出维度初始化,其中网络层'030_convolutional'=[c,h//32,w//32],'037_convolutional'=[c,h//16,w//16],其中c表示输入图像通道数,h表示输入图像,w表示输入图像宽,//表示整除操作;这里以YOLOv4-tiny网络模型为例说明,但并不局限于YOLOv4-tiny网络模型,当为YOLOv4其他模型时修改相应的网络层输出维度即可。创建优化模型的onnx网络节点,并移除dummy网络层中的route和yolo节点;输入层判别,如果输入层为‘convolutional’,则加载卷积权重参数,如果是‘upsample’,加载上采样参数;创建目标检测模型计算图,加载模型转换优化器,生成YOLOv4-tiny-trt优化模型。
在得到轻量化优化后的行人目标检测模型后,将采集到的采集图像输入轻量化优化后的行人目标检测模型中进行行人目标检测,从而得到采集图像的行人目标。
利用生成的YOLOv4-tiny-trt优化模型检测行人目标;需要设计双重非极大值抑制方法优化行人检测,提高行人目标检测精度;(1)设置第一重叠率阈值Tnms-1,经过行人检测模型推理,得到第一次person预测框集合(I1,I2,…,In),其中I表示行人检测框,n为检测到的行人个数;用集合(I1,I2,…,In)计算出第二重叠率阈值Tnms-2,其中Tnms-2通过计算person预测框集合(I1,I2,…,In)的平均IOU获得;对集合I1,I2,…,In进行第二次非极大值机制,得到第二次person预测框集合(D1,D2,…,Dm),其中D表示行人检测框,m为检测到的行人个数。
骑行人的剔除,使跌倒检测系统专注于行人跌倒事件的检测;设置剔除骑行人阈值sthreshold,根据所述剔除骑行人阈值sthreshold和所述关联关系剔除骑行人;根据所述剔除骑行人阈值sthreshold和所述关联关系剔除骑行人,如下:
其中,Sperson-area表示行人目标检测框;Sbike-area表示自行车检测框或摩托车检测框;sthreshold表示剔除骑行人阈值。
S12:对所述采集图像的行人目标进行行人图像序列化处理,获得序列化后的行人图像;
在本发明具体实施过程中,所述对所述采集图像的行人目标进行行人图像序列化处理,获得序列化后的行人图像,包括:将所述采集图像的行人目标转化为二维的tensor数据结构Td;Td=[[x1,y1,w1,h1,sc1],[x2,y2,w2,h2,sc2],…[xi,yi,wi,hi,sci]],其中[xi,yi,wi,hi,sci]]表示第i个行人目标的结构化数据,x表示预测框左上角的图像横坐标,y表示预测框左上角的图像纵坐标,w表示预测框的宽,h表示预测框的高,sc表示判定为行人的置信度;将采集图像Im变换为浮点型32位的tensor类型数据Im_t,且对Im_t进行归一化操作;根据tensor数据结构Td和tensor类型数据Im_t在采集图像Im中截取行人区域图像,并按照行人的置信度从高至低排列,形成序列化后的行人图像。
具体的,行人图像序列化,是为了提高目标检测模型与人体姿态检测模型之间的数据交互效率;在得到采集图像的行人目标之后将采集图像的行人目标转化为2维的tensor数据结构Td;Td=[[x1,y1,w1,h1,sc1],[x2,y2,w2,h2,sc2],…[xi,yi,wi,hi,sci]],其中[xi,yi,wi,hi,sci]]表示第i个行人目标的结构化数据,x表示预测框左上角的图像横坐标,y表示预测框左上角的图像纵坐标,w表示预测框的宽,h表示预测框的高,sc表示判定为行人的置信度;将采集图像Im变换为浮点型32位的tensor类型数据Im_t,且对Im_t进行归一化操作,具体如下:
根据tensor数据结构Td和tensor类型数据Im_t在采集图像Im中截取行人区域图像,并按照行人的置信度从高至低排列,形成序列化后的行人图像。
S13:将所述序列化后的行人图像输入轻量化优化后的姿态检测模型中进行姿态检测,获得人体姿态图像信息;
在本发明具体实施过程中,所述姿态检测模型的轻量化优化过程如下:输入姿态检测模型,将所述姿态检测模型输入dummy网络层进行维度初始化,所述dummy网络层输入维度设置为tensor类型(1,3,Wdummy,Hdummy),其中,1表示batchsize为1,3表示图像通道数,Wdummy、Hdummy表示网络层输入图像归一化尺度;在维度初始化的姿态检测模型中创建onnx网络节点,并对输入输出网络层定制,输入层设定为‘input1’,输出层设定为‘output1’;创建维度初始化的姿态检测模型的计算图,并加载所述维度初始化的姿态检测模型的转化优化器,经过转换,生成轻量化优化后的姿态检测模型;所述维度初始化的姿态检测模型的计算图输入维度为(1,3,Wd,Hd),其中1表示batchsize为1,3表示图像通道数,Wd、Hd表示网络层输入图像归一化尺度。
具体的,输入姿态检测模型,将姿态检测模型输入dummy网络层维度初始化,dummy网络层输入维度设置为tensor类型(1,3,Wdummy,Hdummy),其中1表示batchsize为1,3表示图像通道数,Wdummy、Hdummy表示网络层输入图像归一化尺度。创建优化模型的onnx网络节点,输入输出网络层定制,输入层设定为‘input1’,输出层设定为‘output1’;创建目标检测模型计算图,设定计算图输入维度为(1,3,Wd,Hd),其中1表示batchsize为1,3表示图像通道数,Wd、Hd表示网络层输入图像归一化尺度,并加载模型转换优化器,生成姿态检测优化模型。
然后将序列化后的行人图像输入轻量化优化后的姿态检测模型中进行姿态检测,从而获得人体姿态图像信息。
S14:基于人体姿态伪影消除法对所述人体姿态图像信息进行伪影消除处理,获得消除伪影后的人体姿态图像;
在本发明具体实施过程中,所述基于人体姿态伪影消除法对所述人体姿态图像信息进行伪影消除处理,获得消除伪影后的人体姿态图像,包括:根据所述采集图像内的人体区域在摄像机有效视场内的分布特点,设定人体姿态矩阵框宽高比阈值Tr;根据人体姿态图像信息统计在连续F帧的采集图像局部范围内出现人体姿态矩阵框的频次Fr,若Fr>γ,则记录该局部区域连续F帧检测到的人体姿态矩形框[R1,R2,...Ri],γ为设定阈值,Ri表示第i帧的姿态检测结果矩形框,i≤F;基于人体姿态矩形框构建人体姿态伪影消除法公式,进行伪影消除处理,获得消除伪影后的人体姿态图像;所述体姿态伪影消除法公式如下:
在所述人体姿态矩形框的集合满足上式时,则判定该区域检测的人体姿态图像信息为人体姿态伪影,将该区域内的人体姿态图像信息消除,其中,表示设定第一阈值;表示R的平均宽度;/>表示R的平均高度。
具体的,人体姿态伪影消除方法,删除跳变的、超出正常尺寸范围的人体姿态检测结果;根据人体区域在摄像机有效视场内的分布特点,设定人体姿态矩形框宽高比阈值Tr;统计连续F帧图像局部范围出现人体姿态矩形框的频次Fr,若Fr>γ,则记录该局部区域连续F帧检测到的人体姿态矩形框[R1,R2,...Ri],γ为设定阈值,其中Ri表示第i帧的姿态检测结果矩形框,i≤F。人体姿态伪影消除方法公式,
在人体姿态矩形框的集合满足上式时,则判定该区域检测的人体姿态图像信息为人体姿态伪影,将该区域内的人体姿态图像信息消除,其中,表示设定第一阈值;/>表示R的平均宽度;/>表示R的平均高度。
S15:对所述消除伪影后的人体姿态图像进行跌倒检测处理,获得跌倒检测结果。
在本发明具体实施过程中,所述对所述消除伪影后的人体姿态图像进行跌倒检测处理,获得跌倒检测结果,包括:基于消除伪影后的人体姿态图像进行第一跌倒特征计算,并基于第一跌倒特征初步判断行人是否跌倒;若是,则基于消除伪影后的人体姿态图像进行第二跌倒特征计算,并基于第二跌倒特征判断行人是否跌倒,获得跌倒检测结果。
进一步的,所述基于消除伪影后的人体姿态图像进行第一跌倒特征计算,并基于第一跌倒特征初步判断行人是否跌倒,包括:计算所述消除伪影后的人体姿态图像中人体头部关节点的第一线速度、计算所述消除伪影后的人体姿态图像中人体胸部重心的第二线速度、所述消除伪影后的人体姿态图像中人体脚踝的第三线速度;其中,所述人体胸部重心位置由对应的关节点的图像坐标计算获得;当第一线速度、第二线速度及第三线速度满足第一预设条件时,则初步判定为行人跌倒;所述基于消除伪影后的人体姿态图像进行第二跌倒特征计算,并基于第二跌倒特征判断行人是否跌倒,获得跌倒检测结果,包括:计算所述消除伪影后的人体姿态图像中人体上半身中垂线与水平线的第一夹角,若人第一夹角小于第一预设夹角,且在第一时间阈值时长内保持第一夹角小于第一预设夹角,则判定为跌倒;否则,计算所述消除伪影后的人体姿态图像中人体下半身中垂线与水平线的第二夹角,若第二夹角小于第二预设夹角,且在第二时间阈值时长内保持第二夹角小于第二预设夹角,则判定为跌倒,否则判断行人未发生跌倒。
具体的,请参阅图3,计算人体头部关节点0的线速度V0。计算人体胸部重心O的线速度VO,人体胸部重心位置由人体关节点1、8、11图像坐标计算得出。计算人体脚踝线速度V10-13,V10-13是人体关节点11和13的平均线速度。且以上线速度是由连续M帧图像,每次间隔N帧图像所计算出的平均线速度。如果V0、VO、V10-13满足一下公式,则初步判定为疑似跌倒,其中χ为设定阈值,α,β分别是速度V10-13的下限、上限值;
即,人在跌倒初期的某个过程,一般是脚踝位置的位移不明显,人体躯干围绕脚踝向某一方向跌倒,类似人体躯干以脚踝为圆心转动,那么离圆心远的点线速度越大。
在计算第二跌倒特征时,(1)计算人体上半身中垂线与水平线夹角θu,如果θu<ε1,且在时间阈值T1时长内保持,则判定为跌倒,否则到(2);(2)计算人体下半身中垂线与水平线夹角θd,如果θd<ε2,且在时间阈值T2时长内保持θd<ε2,则判定为跌倒,否则到行人未发生跌倒。人在跌倒以后,一般会保持某一跌倒状态一段时间后,才开始发生姿态变化,比如手撑地、坐起、躬身弯腰爬起等,因此需要时间阈值的过滤。根据人体站立平衡的特点,当人体上半身中垂线与水平线夹角满足某一条件时人体就会失去平衡,发生跌倒,但并不一定满足,例如弯腰捡东西、系鞋带等动作,因此结合条件(2),检测下半身中垂线与水平线夹角的变化,同样加上时间阈值的过滤,判定人体跌倒情况。
在本发明实施例中,优化设计了行人目标检测模型、人体姿态检测模型的推理流程,模型仅需要进行前向传播,避免了推理速度慢、延迟高的致命弱点,降低硬件设备的算力要求,系统能够方便部署在低成本的嵌入式开发板;对目标检测模型进行了目标检测预选框的优化、骑行人的剔除、行人数据结构化和行人图像序列化的优化设计,提高了行人检测的准确度,加快了行人目标检测模型与人体姿态检测模型之间数据交互速度;据行人在摄像机视场内的图像分布特点,设计了连续多帧图像人体姿态数据对比分析的方法,消除视场内跳变的、超出正常尺寸范围的人体姿态伪影;设计了早期动态的第一跌倒特征和后续静态的第二跌倒特征结合的方式,利用人体姿态关节点数据,用简洁的数学公式,描述人体跌倒情况,提高识别精度。
实施例
请参阅图2,图2是本发明实施例中的基于边缘计算的跌倒检测系统的结构组成示意图。
如图2所示,一种基于边缘计算的跌倒检测系统,所述系统包括:
行人检测模块21:用于将采集到的采集图像输入轻量化优化后的行人目标检测模型中进行行人目标检测,获得采集图像的行人目标;
在本发明具体实施过程中,所述行人目标检测模型的轻量化优化过程包括:输入行人目标检测模型,并对所述行人目标检测模型进行维度初始化处理,获得维度初始化后的行人目标检测模型;为维度初始化后的行人目标检测模型中创建onnx网络节点,并移除dummy网络层中的route和yolo节点;对维度初始化后的行人目标检测模型中的输入层进行判别,若输入层为“convolutional”,则加载卷积权重参数,若输入层为“upsample”,则加载上采样参数;创建维度初始化后的行人目标检测模型的计算图,并加载维度初始化后的行人目标检测模型的转换优化器,经过转换,获得轻量化优化后的行人目标检测模型。
进一步的,所述将采集到的采集图像输入轻量化优化后的行人目标检测模型中进行行人目标检测,获得采集图像的行人目标,包括:将采集到的所述采集图像输入所述轻量化优化后的行人目标检测模型中,并在所述轻量化优化后的行人目标检测模型中利用双重非极大值抑制法进行行人目标检测,获得行人目标检测框;计算所述行人目标检测框与自行车检测框或摩托车检测框之间的关联关系,并基于关联关系剔除骑行人,获得采集图像的行人目标。
进一步的,所述在所述轻量化优化后的行人目标检测模型中利用双重非极大值抑制法进行行人目标检测,获得行人目标检测框,包括:设置第一重叠阈值Tnms-1,并基于第一重叠阈值Tnms-1在所述轻量化优化后的行人目标检测模型中进行第一次非极大值推理,获得第一次person预测框集合(I1,I2,…,In),其中,I表示行第一次人目标检测框,n表示第一次检测到的行人个数;基于所述第一次person预测框集合(I1,I2,…,In)计算出第二重叠阈值Tnms-2;其中Tnms-2通过计算person预测框集合(I1,I2,…,In)的平均IOU获得;基于第二重叠阈值Tnms-2对所述第一次person预测框集合(I1,I2,…,In)进行第二次非极大值机制处理,获得第二次person预测框集合(D1,D2,…,Dm),其中D表示第二次行人检测框,m表示第二次检测到的行人个数;基于所述第二次person预测框集合(D1,D2,…,Dm)获得行人目标检测框;
所述基于关联关系剔除骑行人,包括:设置剔除骑行人阈值sthreshold,根据所述剔除骑行人阈值sthreshold和所述关联关系剔除骑行人;根据所述剔除骑行人阈值sthreshold和所述关联关系剔除骑行人,如下:
其中,Sperson-area表示行人目标检测框;Sbike-area表示自行车检测框或摩托车检测框;sthreshold表示剔除骑行人阈值。
具体的,在本实施例中,所输入的行人目标检测模型可以为YOLOv4-tiny网络模型;因此,对YOLOv4-tiny网络模型的输出维度初始化,其中网络层'030_convolutional'=[c,h//32,w//32],'037_convolutional'=[c,h//16,w//16],其中c表示输入图像通道数,h表示输入图像,w表示输入图像宽,//表示整除操作;这里以YOLOv4-tiny网络模型为例说明,但并不局限于YOLOv4-tiny网络模型,当为YOLOv4其他模型时修改相应的网络层输出维度即可。创建优化模型的onnx网络节点,并移除dummy网络层中的route和yolo节点;输入层判别,如果输入层为‘convolutional’,则加载卷积权重参数,如果是‘upsample’,加载上采样参数;创建目标检测模型计算图,加载模型转换优化器,生成YOLOv4-tiny-trt优化模型。
在得到轻量化优化后的行人目标检测模型后,将采集到的采集图像输入轻量化优化后的行人目标检测模型中进行行人目标检测,从而得到采集图像的行人目标。
利用生成的YOLOv4-tiny-trt优化模型检测行人目标;需要设计双重非极大值抑制方法优化行人检测,提高行人目标检测精度;(1)设置第一重叠率阈值Tnms-1,经过行人检测模型推理,得到第一次person预测框集合(I1,I2,…,In),其中I表示行人检测框,n为检测到的行人个数;用集合(I1,I2,…,In)计算出第二重叠率阈值Tnms-2,其中Tnms-2通过计算person预测框集合(I1,I2,…,In)的平均IOU获得;对集合I1,I2,…,In进行第二次非极大值机制,得到第二次person预测框集合(D1,D2,…,Dm),其中D表示行人检测框,m为检测到的行人个数。
骑行人的剔除,使跌倒检测系统专注于行人跌倒事件的检测;设置剔除骑行人阈值sthreshold,根据所述剔除骑行人阈值sthreshold和所述关联关系剔除骑行人;根据所述剔除骑行人阈值sthreshold和所述关联关系剔除骑行人,如下:
其中,Sperson-area表示行人目标检测框;Sbike-area表示自行车检测框或摩托车检测框;sthreshold表示剔除骑行人阈值。
序列化处理模块22:用于对所述采集图像的行人目标进行行人图像序列化处理,获得序列化后的行人图像;
在本发明具体实施过程中,所述对所述采集图像的行人目标进行行人图像序列化处理,获得序列化后的行人图像,包括:将所述采集图像的行人目标转化为二维的tensor数据结构Td;Td=[[x1,y1,w1,h1,sc1],[x2,y2,w2,h2,sc2],…[xi,yi,wi,hi,sci]],其中[xi,yi,wi,hi,sci]]表示第i个行人目标的结构化数据,x表示预测框左上角的图像横坐标,y表示预测框左上角的图像纵坐标,w表示预测框的宽,h表示预测框的高,sc表示判定为行人的置信度;将采集图像Im变换为浮点型32位的tensor类型数据Im_t,且对Im_t进行归一化操作;根据tensor数据结构Td和tensor类型数据Im_t在采集图像Im中截取行人区域图像,并按照行人的置信度从高至低排列,形成序列化后的行人图像。
具体的,行人图像序列化,是为了提高目标检测模型与人体姿态检测模型之间的数据交互效率;在得到采集图像的行人目标之后将采集图像的行人目标转化为2维的tensor数据结构Td;Td=[[x1,y1,w1,h1,sc1],[x2,y2,w2,h2,sc2],…[xi,yi,wi,hi,sci]],其中[xi,yi,wi,hi,sci]]表示第i个行人目标的结构化数据,x表示预测框左上角的图像横坐标,y表示预测框左上角的图像纵坐标,w表示预测框的宽,h表示预测框的高,sc表示判定为行人的置信度;将采集图像Im变换为浮点型32位的tensor类型数据Im_t,且对Im_t进行归一化操作,具体如下:
根据tensor数据结构Td和tensor类型数据Im_t在采集图像Im中截取行人区域图像,并按照行人的置信度从高至低排列,形成序列化后的行人图像。
姿态检测模块23:用于将所述序列化后的行人图像输入轻量化优化后的姿态检测模型中进行姿态检测,获得人体姿态图像信息;
在本发明具体实施过程中,所述姿态检测模型的轻量化优化过程如下:输入姿态检测模型,将所述姿态检测模型输入dummy网络层进行维度初始化,所述dummy网络层输入维度设置为tensor类型(1,3,Wdummy,Hdummy),其中,1表示batchsize为1,3表示图像通道数,Wdummy、Hdummy表示网络层输入图像归一化尺度;在维度初始化的姿态检测模型中创建onnx网络节点,并对输入输出网络层定制,输入层设定为‘input1’,输出层设定为‘output1’;创建维度初始化的姿态检测模型的计算图,并加载所述维度初始化的姿态检测模型的转化优化器,经过转换,生成轻量化优化后的姿态检测模型;所述维度初始化的姿态检测模型的计算图输入维度为(1,3,Wd,Hd),其中1表示batchsize为1,3表示图像通道数,Wd、Hd表示网络层输入图像归一化尺度。
具体的,输入姿态检测模型,将姿态检测模型输入dummy网络层维度初始化,dummy网络层输入维度设置为tensor类型(1,3,Wdummy,Hdummy),其中1表示batchsize为1,3表示图像通道数,Wdummy、Hdummy表示网络层输入图像归一化尺度。创建优化模型的onnx网络节点,输入输出网络层定制,输入层设定为‘input1’,输出层设定为‘output1’;创建目标检测模型计算图,设定计算图输入维度为(1,3,Wd,Hd),其中1表示batchsize为1,3表示图像通道数,Wd、Hd表示网络层输入图像归一化尺度,并加载模型转换优化器,生成姿态检测优化模型。
然后将序列化后的行人图像输入轻量化优化后的姿态检测模型中进行姿态检测,从而获得人体姿态图像信息。
伪影消除模块24:用于基于人体姿态伪影消除法对所述人体姿态图像信息进行伪影消除处理,获得消除伪影后的人体姿态图像;
在本发明具体实施过程中,所述基于人体姿态伪影消除法对所述人体姿态图像信息进行伪影消除处理,获得消除伪影后的人体姿态图像,包括:根据所述采集图像内的人体区域在摄像机有效视场内的分布特点,设定人体姿态矩阵框宽高比阈值Tr;根据人体姿态图像信息统计在连续F帧的采集图像局部范围内出现人体姿态矩阵框的频次Fr,若Fr>γ,则记录该局部区域连续F帧检测到的人体姿态矩形框[R1,R2,...Ri],γ为设定阈值,Ri表示第i帧的姿态检测结果矩形框,i≤F;基于人体姿态矩形框构建人体姿态伪影消除法公式,进行伪影消除处理,获得消除伪影后的人体姿态图像;所述体姿态伪影消除法公式如下:
在所述人体姿态矩形框的集合满足上式时,则判定该区域检测的人体姿态图像信息为人体姿态伪影,将该区域内的人体姿态图像信息消除,其中,表示设定第一阈值;表示R的平均宽度;/>表示R的平均高度。
具体的,人体姿态伪影消除方法,删除跳变的、超出正常尺寸范围的人体姿态检测结果;根据人体区域在摄像机有效视场内的分布特点,设定人体姿态矩形框宽高比阈值Tr;统计连续F帧图像局部范围出现人体姿态矩形框的频次Fr,若Fr>γ,则记录该局部区域连续F帧检测到的人体姿态矩形框[R1,R2,...Ri],γ为设定阈值,其中Ri表示第i帧的姿态检测结果矩形框,i≤F。人体姿态伪影消除方法公式,
在人体姿态矩形框的集合满足上式时,则判定该区域检测的人体姿态图像信息为人体姿态伪影,将该区域内的人体姿态图像信息消除,其中,表示设定第一阈值;/>表示R的平均宽度;/>表示R的平均高度。
跌倒检测模块25:用于对所述消除伪影后的人体姿态图像进行跌倒检测处理,获得跌倒检测结果。
在本发明具体实施过程中,所述对所述消除伪影后的人体姿态图像进行跌倒检测处理,获得跌倒检测结果,包括:基于消除伪影后的人体姿态图像进行第一跌倒特征计算,并基于第一跌倒特征初步判断行人是否跌倒;若是,则基于消除伪影后的人体姿态图像进行第二跌倒特征计算,并基于第二跌倒特征判断行人是否跌倒,获得跌倒检测结果。
进一步的,所述基于消除伪影后的人体姿态图像进行第一跌倒特征计算,并基于第一跌倒特征初步判断行人是否跌倒,包括:计算所述消除伪影后的人体姿态图像中人体头部关节点的第一线速度、计算所述消除伪影后的人体姿态图像中人体胸部重心的第二线速度、所述消除伪影后的人体姿态图像中人体脚踝的第三线速度;其中,所述人体胸部重心位置由对应的关节点的图像坐标计算获得;当第一线速度、第二线速度及第三线速度满足第一预设条件时,则初步判定为行人跌倒;所述基于消除伪影后的人体姿态图像进行第二跌倒特征计算,并基于第二跌倒特征判断行人是否跌倒,获得跌倒检测结果,包括:计算所述消除伪影后的人体姿态图像中人体上半身中垂线与水平线的第一夹角,若人第一夹角小于第一预设夹角,且在第一时间阈值时长内保持第一夹角小于第一预设夹角,则判定为跌倒;否则,计算所述消除伪影后的人体姿态图像中人体下半身中垂线与水平线的第二夹角,若第二夹角小于第二预设夹角,且在第二时间阈值时长内保持第二夹角小于第二预设夹角,则判定为跌倒,否则判断行人未发生跌倒。
具体的,请参阅图3,计算人体头部关节点0的线速度V0。计算人体胸部重心O的线速度VO,人体胸部重心位置由人体关节点1、8、11图像坐标计算得出。计算人体脚踝线速度V10-13,V10-13是人体关节点11和13的平均线速度。且以上线速度是由连续M帧图像,每次间隔N帧图像所计算出的平均线速度。如果V0、VO、V10-13满足一下公式,则初步判定为疑似跌倒,其中χ为设定阈值,α,β分别是速度V10-13的下限、上限值;
即,人在跌倒初期的某个过程,一般是脚踝位置的位移不明显,人体躯干围绕脚踝向某一方向跌倒,类似人体躯干以脚踝为圆心转动,那么离圆心远的点线速度越大。
在计算第二跌倒特征时,(1)计算人体上半身中垂线与水平线夹角θu,如果θu<ε1,且在时间阈值T1时长内保持,则判定为跌倒,否则到(2);(2)计算人体下半身中垂线与水平线夹角θd,如果θd<ε2,且在时间阈值T2时长内保持θd<ε2,则判定为跌倒,否则到行人未发生跌倒。人在跌倒以后,一般会保持某一跌倒状态一段时间后,才开始发生姿态变化,比如手撑地、坐起、躬身弯腰爬起等,因此需要时间阈值的过滤。根据人体站立平衡的特点,当人体上半身中垂线与水平线夹角满足某一条件时人体就会失去平衡,发生跌倒,但并不一定满足,例如弯腰捡东西、系鞋带等动作,因此结合条件(2),检测下半身中垂线与水平线夹角的变化,同样加上时间阈值的过滤,判定人体跌倒情况。
在本发明实施例中,优化设计了行人目标检测模型、人体姿态检测模型的推理流程,模型仅需要进行前向传播,避免了推理速度慢、延迟高的致命弱点,降低硬件设备的算力要求,系统能够方便部署在低成本的嵌入式开发板;对目标检测模型进行了目标检测预选框的优化、骑行人的剔除、行人数据结构化和行人图像序列化的优化设计,提高了行人检测的准确度,加快了行人目标检测模型与人体姿态检测模型之间数据交互速度;据行人在摄像机视场内的图像分布特点,设计了连续多帧图像人体姿态数据对比分析的方法,消除视场内跳变的、超出正常尺寸范围的人体姿态伪影;设计了早期动态的第一跌倒特征和后续静态的第二跌倒特征结合的方式,利用人体姿态关节点数据,用简洁的数学公式,描述人体跌倒情况,提高识别精度。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取存储器(RAM,RandomAccess Memory)、磁盘或光盘等。
另外,以上对本发明实施例所提供的一种基于边缘计算的跌倒检测方法及系统进行了详细介绍,本文中应采用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (9)
1.一种基于边缘计算的跌倒检测方法,其特征在于,所述方法包括:
将采集到的采集图像输入轻量化优化后的行人目标检测模型中进行行人目标检测,获得采集图像的行人目标;
对所述采集图像的行人目标进行行人图像序列化处理,获得序列化后的行人图像;
将所述序列化后的行人图像输入轻量化优化后的姿态检测模型中进行姿态检测,获得人体姿态图像信息;
基于人体姿态伪影消除法对所述人体姿态图像信息进行伪影消除处理,获得消除伪影后的人体姿态图像;
对所述消除伪影后的人体姿态图像进行跌倒检测处理,获得跌倒检测结果;
所述基于人体姿态伪影消除法对所述人体姿态图像信息进行伪影消除处理,获得消除伪影后的人体姿态图像,包括:
根据所述采集图像内的人体区域在摄像机有效视场内的分布特点,设定人体姿态矩形框宽高比阈值Tr;
根据人体姿态图像信息统计在连续F帧的采集图像局部范围内出现人体姿态矩形框的频次Fr,若Fr>γ,则记录局部区域连续F帧检测到的人体姿态矩形框[R1,R2,...Ri],γ为设定阈值,Ri表示第i帧的姿态检测结果矩形框,i≤F;
基于人体姿态矩形框构建人体姿态伪影消除法公式,进行伪影消除处理,获得消除伪影后的人体姿态图像;
所述人体姿态伪影消除法公式如下:
在所述人体姿态矩形框的集合满足上式时,则判定局部区域检测的人体姿态图像信息为人体姿态伪影,将局部区域内的人体姿态图像信息消除,其中,表示设定第一阈值;表示R的平均宽度;/>表示R的平均高度。
2.根据权利要求1所述的跌倒检测方法,其特征在于,所述行人目标检测模型的轻量化优化过程包括:
输入行人目标检测模型,并对所述行人目标检测模型进行维度初始化处理,获得维度初始化后的行人目标检测模型;
在维度初始化后的行人目标检测模型中创建onnx网络节点,并移除dummy网络层中的route和yolo节点;
对维度初始化后的行人目标检测模型中的输入层进行判别,若输入层为“convolutional”,则加载卷积权重参数,若输入层为“upsample”,则加载上采样参数;
创建维度初始化后的行人目标检测模型的计算图,并加载维度初始化后的行人目标检测模型的转换优化器,经过转换,获得轻量化优化后的行人目标检测模型。
3.根据权利要求1所述的跌倒检测方法,其特征在于,所述将采集到的采集图像输入轻量化优化后的行人目标检测模型中进行行人目标检测,获得采集图像的行人目标,包括:
将采集到的所述采集图像输入所述轻量化优化后的行人目标检测模型中,并在所述轻量化优化后的行人目标检测模型中利用双重非极大值抑制法进行行人目标检测,获得行人目标检测框;
计算所述行人目标检测框与自行车检测框或摩托车检测框之间的关联关系,并基于关联关系剔除骑行人,获得采集图像的行人目标。
4.根据权利要求3所述的跌倒检测方法,其特征在于,所述在所述轻量化优化后的行人目标检测模型中利用双重非极大值抑制法进行行人目标检测,获得行人目标检测框,包括:
设置第一重叠阈值Tnms-1,并基于第一重叠阈值Tnms-1在所述轻量化优化后的行人目标检测模型中进行第一次非极大值推理,获得第一次person预测框集合(I1,I2,…,In),其中,I表示第一次行人目标检测框,n表示第一次检测到的行人个数;
基于所述第一次person预测框集合(I1,I2,…,In)计算出第二重叠阈值Tnms-2,其中Tnms-2通过计算person预测框集合(I1,I2,…,In)的平均IOU获得;
基于第二重叠阈值Tnms-2对所述第一次person预测框集合(I1,I2,…,In)进行第二次非极大值抑制处理,获得第二次person预测框集合(D1,D2,…,Dm),其中D表示第二次行人检测框,m表示第二次检测到的行人个数;
基于所述第二次person预测框集合(D1,D2,…,Dm)获得行人目标检测框;
所述基于关联关系剔除骑行人,包括:
设置剔除骑行人阈值sthreshold,根据所述剔除骑行人阈值sthreshold和所述关联关系剔除骑行人;
根据所述剔除骑行人阈值sthreshold和所述关联关系剔除骑行人,如下:
其中,Sperson-area表示行人目标检测框;Sbike-area表示自行车检测框或摩托车检测框;sthreshold表示剔除骑行人阈值。
5.根据权利要求1所述的跌倒检测方法,其特征在于,所述对所述采集图像的行人目标进行行人图像序列化处理,获得序列化后的行人图像,包括:
将所述采集图像的行人目标转化为二维的tensor数据结构Td;Td=[[x1,y1,w1,h1,sc1],[x2,y2,w2,h2,sc2],…[xi,yi,wi,hi,sci]],其中[xi,yi,wi,hi,sci]]表示第i个行人目标的结构化数据,x表示预测框左上角的图像横坐标,y表示预测框左上角的图像纵坐标,w表示预测框的宽,h表示预测框的高,sc表示判定为行人的置信度;
将采集图像Im变换为浮点型32位的tensor类型数据Im_t,且对Im_t进行归一化操作;
根据tensor数据结构Td和tensor类型数据Im_t在采集图像Im中截取行人区域图像,并按照行人的置信度从高至低排列,形成序列化后的行人图像。
6.根据权利要求1所述的跌倒检测方法,其特征在于,所述姿态检测模型的轻量化优化过程如下:
输入姿态检测模型,将所述姿态检测模型输入dummy网络层进行维度初始化,所述dummy网络层输入维度设置为tensor类型(1,3,Wdummy,Hdummy),其中,1表示batchsize为1,3表示图像通道数,Wdummy、Hdummy表示网络层输入图像归一化尺度;
为维度初始化的姿态检测模型中创建onnx网络节点,并对维度初始化的姿态检测模型的输入输出网络层定制设计,输入层设定为‘input1’,输出层设定为‘output1’;
创建维度初始化的姿态检测模型的计算图,并加载所述维度初始化的姿态检测模型的转化优化器,经过转换,生成轻量化优化后的姿态检测模型;
所述维度初始化的姿态检测模型的计算图输入维度为(1,3,Wd,Hd),其中1表示batchsize为1,3表示图像通道数,Wd、Hd表示网络层输入图像归一化尺度。
7.根据权利要求1所述的跌倒检测方法,其特征在于,所述对所述消除伪影后的人体姿态图像进行跌倒检测处理,获得跌倒检测结果,包括:
基于消除伪影后的人体姿态图像进行第一跌倒特征计算,并基于第一跌倒特征初步判断行人是否跌倒;
若是,则基于消除伪影后的人体姿态图像进行第二跌倒特征计算,并基于第二跌倒特征判断行人是否跌倒,获得跌倒检测结果。
8.根据权利要求7所述的跌倒检测方法,其特征在于,所述基于消除伪影后的人体姿态图像进行第一跌倒特征计算,并基于第一跌倒特征初步判断行人是否跌倒,包括:
计算所述消除伪影后的人体姿态图像中人体头部关节点的第一线速度、计算所述消除伪影后的人体姿态图像中人体胸部重心的第二线速度、所述消除伪影后的人体姿态图像中人体脚踝的第三线速度;其中,所述人体胸部重心位置由对应的关节点的图像坐标计算获得;
当第一线速度、第二线速度及第三线速度满足第一预设条件时,则初步判定为行人跌倒;
所述基于消除伪影后的人体姿态图像进行第二跌倒特征计算,并基于第二跌倒特征判断行人是否跌倒,获得跌倒检测结果,包括:
计算所述消除伪影后的人体姿态图像中人体上半身中垂线与水平线的第一夹角,若第一夹角小于第一预设夹角,且在第一时间阈值时长内保持第一夹角小于第一预设夹角,则判定为跌倒;否则,
计算所述消除伪影后的人体姿态图像中人体下半身中垂线与水平线的第二夹角,若第二夹角小于第二预设夹角,且在第二时间阈值时长内保持第二夹角小于第二预设夹角,则判定为跌倒,否则判断行人未发生跌倒。
9.一种基于边缘计算的跌倒检测系统,其特征在于,所述系统包括:
行人检测模块:用于将采集到的采集图像输入轻量化优化后的行人目标检测模型中进行行人目标检测,获得采集图像的行人目标;
序列化处理模块:用于对所述采集图像的行人目标进行行人图像序列化处理,获得序列化后的行人图像;
姿态检测模块:用于将所述序列化后的行人图像输入轻量化优化后的姿态检测模型中进行姿态检测,获得人体姿态图像信息;
伪影消除模块:用于基于人体姿态伪影消除法对所述人体姿态图像信息进行伪影消除处理,获得消除伪影后的人体姿态图像;
跌倒检测模块:用于对所述消除伪影后的人体姿态图像进行跌倒检测处理,获得跌倒检测结果;
所述基于人体姿态伪影消除法对所述人体姿态图像信息进行伪影消除处理,获得消除伪影后的人体姿态图像,包括:
根据所述采集图像内的人体区域在摄像机有效视场内的分布特点,设定人体姿态矩形框宽高比阈值Tr;
根据人体姿态图像信息统计在连续F帧的采集图像局部范围内出现人体姿态矩形框的频次Fr,若Fr>γ,则记录局部区域连续F帧检测到的人体姿态矩形框[R1,R2,...Ri],γ为设定阈值,Ri表示第i帧的姿态检测结果矩形框,i≤F;
基于人体姿态矩形框构建人体姿态伪影消除法公式,进行伪影消除处理,获得消除伪影后的人体姿态图像;
所述人体姿态伪影消除法公式如下:
在所述人体姿态矩形框的集合满足上式时,则判定局部区域检测的人体姿态图像信息为人体姿态伪影,将局部区域内的人体姿态图像信息消除,其中,表示设定第一阈值;表示R的平均宽度;/>表示R的平均高度。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110176769.9A CN112906548B (zh) | 2021-02-07 | 2021-02-07 | 一种基于边缘计算的跌倒检测方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110176769.9A CN112906548B (zh) | 2021-02-07 | 2021-02-07 | 一种基于边缘计算的跌倒检测方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112906548A CN112906548A (zh) | 2021-06-04 |
CN112906548B true CN112906548B (zh) | 2024-05-28 |
Family
ID=76123048
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110176769.9A Active CN112906548B (zh) | 2021-02-07 | 2021-02-07 | 一种基于边缘计算的跌倒检测方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112906548B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113378692B (zh) * | 2021-06-08 | 2023-09-15 | 杭州萤石软件有限公司 | 一种降低跌倒行为误检的方法、检测系统 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107038406A (zh) * | 2016-01-04 | 2017-08-11 | 大众汽车有限公司 | 用于分析姿态的方法 |
CN107945458A (zh) * | 2017-12-11 | 2018-04-20 | 北京奇虎科技有限公司 | 摄像头场景下的跌倒检测方法、装置及计算设备 |
CN108960056A (zh) * | 2018-05-30 | 2018-12-07 | 西南交通大学 | 一种基于姿态分析和支持向量数据描述的跌倒检测方法 |
CN109726672A (zh) * | 2018-12-27 | 2019-05-07 | 哈尔滨工业大学 | 一种基于人体骨架序列和卷积神经网络的摔倒检测方法 |
CN109919132A (zh) * | 2019-03-22 | 2019-06-21 | 广东省智能制造研究所 | 一种基于骨架检测的行人跌倒识别方法 |
CN110738154A (zh) * | 2019-10-08 | 2020-01-31 | 南京熊猫电子股份有限公司 | 一种基于人体姿态估计的行人摔倒检测方法 |
CN111274954A (zh) * | 2020-01-20 | 2020-06-12 | 河北工业大学 | 基于改进姿态估计算法的嵌入式平台实时跌倒检测方法 |
CN111461042A (zh) * | 2020-04-07 | 2020-07-28 | 中国建设银行股份有限公司 | 跌倒检测方法及系统 |
CN111652953A (zh) * | 2020-06-29 | 2020-09-11 | 中国电子科技集团公司第十四研究所 | 一种利用区域搜索和像素值抑制的安检图像伪影去除方法 |
CN112215185A (zh) * | 2020-10-21 | 2021-01-12 | 成都信息工程大学 | 一种从监控视频中检测跌倒行为的系统及方法 |
CN112287759A (zh) * | 2020-09-26 | 2021-01-29 | 浙江汉德瑞智能科技有限公司 | 基于关键点的跌倒检测方法 |
-
2021
- 2021-02-07 CN CN202110176769.9A patent/CN112906548B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107038406A (zh) * | 2016-01-04 | 2017-08-11 | 大众汽车有限公司 | 用于分析姿态的方法 |
CN107945458A (zh) * | 2017-12-11 | 2018-04-20 | 北京奇虎科技有限公司 | 摄像头场景下的跌倒检测方法、装置及计算设备 |
CN108960056A (zh) * | 2018-05-30 | 2018-12-07 | 西南交通大学 | 一种基于姿态分析和支持向量数据描述的跌倒检测方法 |
CN109726672A (zh) * | 2018-12-27 | 2019-05-07 | 哈尔滨工业大学 | 一种基于人体骨架序列和卷积神经网络的摔倒检测方法 |
CN109919132A (zh) * | 2019-03-22 | 2019-06-21 | 广东省智能制造研究所 | 一种基于骨架检测的行人跌倒识别方法 |
CN110738154A (zh) * | 2019-10-08 | 2020-01-31 | 南京熊猫电子股份有限公司 | 一种基于人体姿态估计的行人摔倒检测方法 |
CN111274954A (zh) * | 2020-01-20 | 2020-06-12 | 河北工业大学 | 基于改进姿态估计算法的嵌入式平台实时跌倒检测方法 |
CN111461042A (zh) * | 2020-04-07 | 2020-07-28 | 中国建设银行股份有限公司 | 跌倒检测方法及系统 |
CN111652953A (zh) * | 2020-06-29 | 2020-09-11 | 中国电子科技集团公司第十四研究所 | 一种利用区域搜索和像素值抑制的安检图像伪影去除方法 |
CN112287759A (zh) * | 2020-09-26 | 2021-01-29 | 浙江汉德瑞智能科技有限公司 | 基于关键点的跌倒检测方法 |
CN112215185A (zh) * | 2020-10-21 | 2021-01-12 | 成都信息工程大学 | 一种从监控视频中检测跌倒行为的系统及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112906548A (zh) | 2021-06-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110147743B (zh) | 一种复杂场景下的实时在线行人分析与计数系统及方法 | |
CN109670396B (zh) | 一种室内老人跌倒检测方法 | |
TWI708209B (zh) | 使用卷積神經網絡模型的物件偵測方法及物件偵測設備 | |
CN109034092A (zh) | 用于监控系统的异常事件检测方法 | |
CN106203423B (zh) | 一种融合上下文探测的弱结构感知视觉目标跟踪方法 | |
CN109145696B (zh) | 一种基于深度学习的老人跌倒检测方法及系统 | |
CN111476188B (zh) | 基于特征金字塔的人群计数方法、系统、介质及电子设备 | |
CN110532850B (zh) | 一种基于视频关节点和混合分类器的跌倒检测方法 | |
CN110827320B (zh) | 基于时序预测的目标跟踪方法和装置 | |
CN112801000B (zh) | 一种基于多特征融合的居家老人摔倒检测方法及系统 | |
CN113111767A (zh) | 一种基于深度学习3d姿态评估的跌倒检测方法 | |
Zhang et al. | Object detection/tracking toward underwater photographs by remotely operated vehicles (ROVs) | |
CN112906548B (zh) | 一种基于边缘计算的跌倒检测方法及系统 | |
CN116824335A (zh) | 一种基于YOLOv5改进算法的火灾预警方法及系统 | |
CN108710879B (zh) | 一种基于网格聚类算法的行人候选区域生成方法 | |
WO2023109664A1 (zh) | 监测方法和相关产品 | |
Min et al. | Human fall detection using normalized shape aspect ratio | |
JP2021114288A (ja) | 深層学習に基づく馬速計算システム及び方法 | |
CN116895098A (zh) | 基于深度学习和隐私保护的视频人体动作识别系统与方法 | |
CN106056078A (zh) | 一种基于多特征回归式集成学习的人群密度估计方法 | |
JP2020109644A (ja) | 転倒検出方法、転倒検出装置及び電子機器 | |
Khraief et al. | Convolutional neural network based on dynamic motion and shape variations for elderly fall detection | |
CN109658357A (zh) | 一种面向遥感卫星图像的去噪方法 | |
CN112633179A (zh) | 基于视频分析的农贸市场过道物体占道检测方法 | |
CN110555394A (zh) | 基于人体形体特征的跌倒风险评估方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |