CN112287783A - 基于视觉与压力传感的病房智能看护识别方法及识别系统 - Google Patents

基于视觉与压力传感的病房智能看护识别方法及识别系统 Download PDF

Info

Publication number
CN112287783A
CN112287783A CN202011120875.7A CN202011120875A CN112287783A CN 112287783 A CN112287783 A CN 112287783A CN 202011120875 A CN202011120875 A CN 202011120875A CN 112287783 A CN112287783 A CN 112287783A
Authority
CN
China
Prior art keywords
ward
scene
intelligent
label
pressure sensing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011120875.7A
Other languages
English (en)
Inventor
张立国
刘博�
金梅
孙胜春
李枫
张少阔
张子豪
张勇
郎梦园
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yanshan University
Original Assignee
Yanshan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yanshan University filed Critical Yanshan University
Priority to CN202011120875.7A priority Critical patent/CN112287783A/zh
Publication of CN112287783A publication Critical patent/CN112287783A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/36—Indoor scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Alarm Systems (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

本发明提供一种基于视觉与压力传感的病房智能看护识别方法及识别系统，其实施步骤为：先对要实施智能看护病房场景中的物体贴上标签，并对病房场景内带标签的物体进行识别；接着使用可见光及热成像智能工业相机的热成像模式，对病房场景的环境温度及人体相对病房场景的环境温度进行测量；然后，根据病房场景内压力传感床垫得到的压力传感图像和用智能相机识别的姿态进行姿态判别；最后，通过以上步骤判别床的位置、待看护体的检测结果以及局部压力生成图像的正负样本判别情况，综合判定待看护体是否卧床，确定是否实施和进行下一步的看护方法。本发明通过压力传感和视觉检测方法，解决了该领域从无到有的问题，提高了病房监控及看护的自动化水平。

Description

基于视觉与压力传感的病房智能看护识别方法及识别系统
技术领域
本发明涉及压力传感及图像处理领域，特别涉及一种基于视觉与压力传感的病房智能看护识别方法及识别系统。
背景技术
目前国内外医疗领域都与人工智能技术展开了深度的结合，特别是被大范围的应用于疾病诊断、病理分析以及新药研发等方面。但是，针对待看护体看护方面的研发目前还只是停留在理论实验阶段，没有形成一套完整有效的系统框架。对于待看护体看护，传统方法都需要消耗大量人力资源甚至医疗资源，得益于数字图像处理技术发展，系统自动识别待看护体在住院期间部分状态和其危险行为，根据程度不同选择提醒待看护体或提醒医护人员。然而在针对不同识别行为的情况下，依靠传统单一的视觉技术，很难满足多种情况下的看护需求。本发明设计了依据红外及可见光相机和压力传感床垫的智能看护系统。对实际识别过程中睡姿、温度及危险行为根据病房实际情况进行区域划分和识别，以提醒医护待看护体或医护人员做出及时响应。
发明内容
针对现有技术存在的问题，本发明提供一种基于视觉与压力传感的病房智能看护识别方法及识别系统，主要为了根据实际病房中的不同要求，以解决现有的因医护人员及医疗资源短缺，导致的无人看护造成意外和效率低下等问题。
本发明提供了一种基于视觉与压力传感的病房智能看护识别方法，其包括步骤如下：
S1、对要实施智能看护病房场景中的物体贴上标签，并对病房场景内带标签的物体进行识别：
S11、通过带标签的物体训练检测相应类别物体上标签的神经网络模型；
S12、根据智能相机检测到的标签，标示出病房场景内所有可疑物体位置，并将不带标签的物体通过视觉算法进行过滤，将过滤后物体的标签按其在病房场景内的位置划分；
S13、根据病房场景内待看护体的视觉特征，训练检测待看护体的神经网络模型，通过该神经网络对待看护体所在位置进行检测；
S2、使用可见光及热成像智能工业相机的热成像模式，对病房场景的环境温度及相对病房场景的环境温度进行测量：
S21、将可见光及热成像智能工业相机所配套的黑体作为病房场景内环境温度的参照基准，得到病房场景环境温度整个范围内的热成像模式；
S22、根据可见光及热成像智能工业相机中的可见光模式，得到病房场景内待看护体的检测框，在步骤S21得到的热成像模式中，由可见光及热成像智能工业相机对病房场景内待看护体进行区域分割，并将分割区域用原图的周边像素进行填充；
S23、根据步骤S22得到的分割区域评估病房场景内待看护体的体温是否在正常的体温范围内，并计算病房场景内待看护体的体温与病房场景的环境温度的差异是否超出正常范围；
S3、根据病房场景内压力传感床垫得到的压力传感图像和用智能相机识别的姿态进行姿态判别：
S31、根据病房场景内待看护体不同姿态对压力传感床垫形成的局部压力的不同，形成不同的压力传感图像的灰度，局部压力生成图像的计算表达式为：
Figure BDA0002731979830000021
其中，V为图像的灰度，ij表示局部压力对应的网格位置，F表示该区域的局部压力，N为局部区域划分的网格边长，clamp函数如下：
Figure BDA0002731979830000022
其中，x为产生的局部压力；
最后将该局部压力生成的图像上传远程监控主机；
S32、将上传远程监控主机的局部压力生成的图像用神经网络分类模型进行识别，得到不同的由局部压力预测姿态的结果；
S4、根据上述步骤S1至S3，对不同物体对应的检测框按照人体检测框对这些物体的交并比大小，进行行为识别，将这些行为识别的结果按初始设定的标注信息进行危险程度评估，从而判断是否发出安全报警信号：
具体包括以下步骤：
S41、根据智能相机在步骤S1无遮挡的时候，储存的过滤后的物体检测框与标签检测框的位置和数量，以及在步骤S1中位置的划分，进行行为识别；将智能相机存储好的物体检测框位置及数量与当前物体检测框的位置及数量进行对比，当物体检测框数量缺失时，且待看护体检测框出现在物体检测框时，按照步骤S12中的表达式计算初始物体检测框与当前待看护体检测框的交并比的计算；当交并比的值大于设定的阈值时则认为待看护体当前可能存在风险，立即将智能相机采集的视频、物体和人的检测框的位置以及当前危险区域的信息向远程监控主机发送；
S42、远程监控主机对收到视频的每一帧进行行为识别，采用段共识函数G进行融合来产生段共识，段共识函数G结合多个短片段的类别得分输出以获得它们之间关于类别假设的共识；基于步骤S424的关于类别假设的共识，将预测函数H结合标准分类交叉熵损失，得到关于风险区域预测风险行为部分共识的最终损失函数G的形式为：
Figure BDA0002731979830000031
其中，C是行为类别的总数，yi是类别i的标签，L是损失，y是预测值；
如果待看护体存在风险，则由远程监控主机通过报警装置发送安全报警信号。
可优选的是，所述步骤S12中，识别病房场景内带标签的物体，利用深度学习开源框架给出的预训练模型参数初始化模型参数，并初始化检测模型的骨干网络，并得到病房场景内所有带标签物体的检测模型，然后根据标签中心点的预测情况删掉物体上多余的检测框。
可优选的是，在步骤S22中，将分割区域用原图的周边像素进行填充，按照可见光及热成像智能工业相机对人体分割的结果，将分割区域内最高温度块的平均温度作为病房场景内待看护体的温度。
可优选的是，在步骤S31中，将压力传感床垫进行网格区域均匀划分，通过局部应力的不同形成不同的灰度图像，应力越大，图像灰度越深，其中应力的估算表达式为：
Figure BDA0002731979830000041
其中，i，j表示局部压力对应的网格位置，ΔAi表示受力面积的微元，ΔFj表示当前面积受力的微元。
本发明的另一方面，提供一种基于视觉与压力传感的病房智能看护识别方法的识别系统，其包括、可见光及热成像智能工业相机、智能相机支架、压力传感床垫、物体提示标签、床头标签、触电警示标签、报警装置、远程监控主机、智能相机和远程监控主机的连接线，所述智能相机的固定端和所述智能相机支架固定连接，所述智能相机支架安装在背光且能看到病房场景全局视野的一墙角处，所述物体提示标签、所述床头标签和所述触电警示标签分别固定在所述病房内明显的位置，并保持所述物体提示标签、所述床头标签和所述触电警示标签分别在所述智能相机的视野范围之内，所述报警装置固定在所述病房内，所述可见光及热成像智能工业相机、所述智能相机、所述压力传感床垫、所述物体提示标签、所述床头标签、所述触电警示标签、所述报警装置通过所述远程监控主机的连接线分别与所述远程监控主机连接。
本发明与现有技术相比，具有如下优点：
1.本发明通过压力传感和视觉检测方法，解决了该领域自动检测从无到有的问题，提高了病房监控及看护的自动化水平；
2.本发明方法相对于仅依靠相机进行监控的方法，达到了快速高效和替代人工的效果，同时在一定程度上缓解了存储压力。
附图说明
图1为本发明基于视觉与压力传感的病房智能看护识别方法及识别系统的流程图；
图2为本发明基于视觉与压力传感的病房智能看护识别方法及识别系统中各物体及对应位置示意图；
图3为本发明基于视觉与压力传感的病房智能看护识别方法及识别系统中压力传感采样后的示意图；
图4a为本发明基于视觉与压力传感的病房智能看护识别方法及识别系统中判别相关姿态的网络模型结构；以及
图4b为本发明基于视觉与压力传感的病房智能看护识别方法及识别系统中相关部位危险动作识别的网络模型结构。
附图标记：
病房1，智能相机支架2，可见光及热成像智能工业相机3，床头标签4，触电警示标签5，物体提示标签6，压力传感床垫7。
具体实施方式
为详尽本发明之技术内容、所达成目的及功效，以下将结合说明书附图进行详细说明。
基于视觉与压力传感的病房智能看护识别方法，如图1所示，智能看护识别方法的具体实施步骤如下：
S1、对要实施智能看护病房场景中的物体贴上标签，例如，床头标签4、触电警示标签5和物体提示标签6几大类，并对病房场景内带标签的物体进行识别：
S11、通过带标签的物体训练检测相应类别物体上标签的神经网络模型；
S12、根据智能相机检测到的标签，标示出病房场景内所有可疑物体位置，并将不带标签的物体通过视觉算法进行过滤，将过滤后物体的标签按其在病房场景内的位置划分；
S13、根据病房场景内待看护体的视觉特征，训练检测待看护体的神经网络模型，通过该神经网络对待看护体所在位置进行检测。
S2、使用可见光及热成像智能工业相机3的热成像模式，对病房场景的环境温度及人体相对病房场景的环境温度进行测量：
S21、将可见光及热成像智能工业相机3所配套的黑体作为病房场景内环境温度的参照基准，得到病房场景环境温度整个范围内的热成像模式；
S22、根据可见光及热成像智能工业相机3中的可见光模式，得到病房场景内待看护体的检测框，在步骤S21得到的热成像模式中，由可见光及热成像智能工业相机3对病房场景内待看护体进行人体区域分割，并将分割区域用原图的周边像素进行填充；
S23、根据步骤S22得到的分割区域评估病房场景内待看护体的体温是否在正常的体温范围内，并计算病房场景内待看护体的体温与病房场景的环境温度的差异是否超出正常范围。
S3、根据病房场景内压力传感床垫7得到的压力传感图像和用智能相机识别的姿态进行姿态判别：
S31、根据病房场景内待看护体不同姿态对压力传感床垫形成的局部压力的不同，形成不同的压力传感图像的灰度，局部压力生成图像的计算表达式为：
Figure BDA0002731979830000061
其中，V为图像的灰度，i，j表示局部压力对应的网格位置，F表示该区域的局部压力，N为局部区域划分的网格边长，clamp函数的定义如下：
Figure BDA0002731979830000062
其中，x为产生的局部压力；
最后将该局部压力生成的图像上传远程监控主机；
S32、将上传远程监控主机的局部压力生成的图像用神经网络分类模型进行识别，得到不同的由局部压力预测姿态的结果。
S4、根据上述步骤S1至S3，对不同物体对应的检测框按照人体检测框对这些物体的交并比大小，进行行为识别，将这些行为识别的结果按初始设定的标注信息进行危险程度评估，从而判断是否发出安全报警信号：
S41、根据智能相机在步骤S1无遮挡的时候，储存的过滤后的物体检测框与标签检测框的位置和数量，以及在步骤S1中位置的划分，进行行为识别；将智能相机存储好的物体检测框位置及数量与当前物体检测框的位置及数量进行对比，当物体检测框数量缺失时，且待看护体检测框出现在物体检测框时，按照步骤S12中的表达式计算初始物体检测框与当前待看护体检测框的交并比的计算；当交并比的值大于设定的阈值时则认为待看护体当前可能存在风险，立即将智能相机采集的视频、物体和人的检测框的位置以及当前危险区域的信息向远程监控主机发送；
S42、远程监控主机对收到视频的每一帧进行行为识别，采用段共识函数G进行融合来产生段共识，段共识函数G结合多个短片段的类别得分输出以获得它们之间关于类别假设的共识；基于步骤S424的关于类别假设的共识，将预测函数H结合标准分类交叉熵损失，得到关于风险区域预测风险行为部分共识的最终损失函数G的形式为：
Figure BDA0002731979830000071
其中，C是行为类别的总数，yi是类别i的标签，L是损失，y是预测值。
如果待看护体存在风险，则由远程监控主机通过报警装置发送安全报警信号。
步骤S12中，识别病房场景内带标签的物体，利用深度学习开源框架给出的预训练模型参数初始化模型参数，并初始化检测模型的骨干网络，并得到病房场景内所有带标签物体的检测模型，然后根据标签中心点的预测情况删掉物体上多余的检测框。
在步骤S22中，进一步，为了保证智能看护识别方法的精确性，将分割区域用原图的周边像素进行填充，并按照可见光及热成像智能工业相机3对人体分割的结果，将分割区域内最高温度块的平均温度作为病房场景内待看护体的温度。
在步骤S31中，将压力传感床垫7进行网格区域均匀划分，通过局部应力的不同形成不同的灰度图像，应力越大，图像灰度越深，其中应力的估算表达式为：
Figure BDA0002731979830000072
其中，i，j表示局部压力对应的网格位置，ΔAi表示受力面积的微元，ΔFj表示当前面积受力的微元。
步骤S3中，主要通过待看护病人的检测结果以及局部压力生成图像的正负样本给定结果，首先依据局部压力传感图像进行判断，如果识别结果为正样本，即在认为是睡姿的几种状态下，则直接判定为待看护体在病床上，如果识别结果为负样本，则判断房间内的人体检测框与病床检测框的交并比设定一定的阈值进行判别，如果大于阈值则认为待看护体在休息状态。
步骤S4主要是根据病房场景内物体上标签的位置，通过步骤S1至S3判别病房场景内床的位置、待看护体的检测结果以及局部压力生成图像的正负样本判别情况，综合判定待看护人是否卧床，确定是否实施和进行下一步的具体看护方法。对于需要卧床的待看护体，由看护人员根据待看护体的具体发病情况，设定待看护体的卧姿及卧姿的时长，系统会根据待看护体的具体情况进行提醒。
例如具有心脏大血管创伤的待看护病人，该类待看护病人不能较长时间采用左侧卧姿，看护人员可以在远程监控主机预先设定禁止左侧卧姿及可以左侧卧的时常，程序运行时会根据压力传感图像进行分类，如果连续3张图均为左侧卧姿，则以第一次出现左侧卧姿的时间为起始时间进行计时，直到连续6张图不出现左侧卧姿，则将第一次不出现左侧卧姿的时间作为侧卧截止时间，如果未到截止时间但已超过阈值时间，则直接通过病房内的报警装置进行报警。
在步骤S4中，首先依据局部压力生成的图像进行判断，如果识别结果为正样本，即认为是睡姿的几种状态，具体而言，睡姿包括躺卧、左卧、右卧和俯卧等四种状态，则直接判定为待看护体在病床上；如果识别结果为负样本，则通过判别病房场景内的待看护体检测框与病床检测框的交并比和设定阈值的关系，如果交叉比大于阈值，则认为病房场景内的待看护体在休息状态。
在可见光及热成像智能工业相机3的可见光模式下，根据物体上标签位置进行识别并划分病床位置及活动区域，在考察待看护体的卧姿时，综合考量智能相机视觉识别到的人体卧姿和局部压力生成的图像。
在一个具体实施例中，步骤S12的具体包括如下步骤：
S121、若对应物体的标签检测框与物体检测框的交并比超过设定的阈值，则认为该物体是需要检测的物体；设病房内物体检测框的左上角坐标和右下角坐标为分别为(x11，y11)，(x12，y12)，物体对应标签检测框的左上角坐标和右下角坐标为(x21，y21)，(x22，y22)，计算交并比的表达式为：
xmin＝max(x11，x21)
xmax＝min(x12，x22)
ymin＝(y11，y21)
ymax＝min(y12，y22)
s1＝(x12-x11)(y12-y11)
s2＝(x22-x21)(y22-y21)
intersect＝max(0，(xmax-xmin)(ymax-ymin))
IOU＝instersect/(s1+s2-intersect)
其中，xmin表示物体检测框和对应物体标签检测框左边边线较大的那个，xmax表示物体检测框和对应物体标签检测框右边边线较小的那个，同理ymin表示物体检测框和对应物体标签检测框上边边线较大的那个，ymax表示物体检测框和对应物体标签检测框下边边线较小的那个，s1表示物体检测框的面积，s2表示对应物体标签检测框的面积，intersect表示物体检测框和对应物体标签检测框相交，IOU为交并比；
S122、若对应物体的标签检测框完全在物体检测框之内，则认为物体是本发明要检测的物体，即：
x11＜x21
y11＜y21
x12＞x22
y12＞y22。
在本发明的一个具体实施例中，一种基于视觉与压力传感的病房智能看护识别方法的识别系统，如图2所示，其包括病房1、可见光及热成像智能工业相机3、智能相机支架2、压力传感床垫7、物体提示标签6、床头标签4、触电警示标签5、报警装置、远程监控主机、智能相机和远程监控主机的连接线。
智能相机的固定端和智能相机支架2固定连接，智能相机支架2安装在背光且能看到病房1场景全局视野的一墙角处，物体提示标签6、床头标签4和触电警示标签5分别固定在病房1内明显的位置，并保持物体提示标签6、床头标签4和触电警示标签5分别在智能相机的视野范围之内，报警装置固定在病房1内，可见光及热成像智能工业相机3、智能相机、压力传感床垫7、物体提示标签6、床头标签4、触电警示标签5、报警装置通过远程监控主机的连接线分别与远程监控主机连接。
可见光与热成像智能工业相机3的可见光模式用来检测病房1内的物体、物体对应的标签和待看护体，可见光与热成像智能工业相机3的热成像模式下进行测温；压力传感床垫7负责将待看护体人体在床上的压力转换为图像，然后上传远程监控主机进行处理；远程监控主机主要用于计算回传的数据，并安放在机房，智能相机用于边缘端计算，通过其特性与一定的计算能力，减少数据向远程监控主机推送所用的带宽，远程监控主机，主要是用于边缘端计算之后的一些信息筛选和行为识别等较为耗费算力的计算。
以下结合实施例对本发明一种基于视觉与压力传感的病房智能看护识别方法及识别系统做进一步描述：
本发明提供的基于视觉与压力传感的病房智能看护识别方法及识别系统，主要满足疗养中心、医院和养老院的实际需要。
S1、根据图2所示，依次制定床头标签4、触电警示标签5和物体提示标签6几类，并将标签贴在要实施智能看护病房场景中对应的物体上，然后通过安装在病房1内的智能相机以及可见光集热成像智能工业相机3对病房场景内带标签的物体进行识别：
S11、将病房1内可出现的容易引发危险的设备和区域张贴对应标签作为训练数据，接着使用轻量级检测网络yolov5将张贴的标签进行检测，然后根据标签的位置和对应物体的位置计算交并比，并设定标签检测框与物体检测框的交并比的阈值为0.2，按照交并比的大小进行下一步。
S12、根据智能相机检测到的标签，标示出病房场景内所有可疑物体位置，并将不带标签的物体通过视觉算法进行过滤，将过滤后物体的标签按交并比进行划分；
S121、按照步骤S11中交并比的大小计算智能相机是否识别物体并进行过滤，若对应物体的标签检测框与物体检测框的交并比超过0.2，则认为该物体是需要检测的物体；设病房1内物体检测框的左上角坐标和右下角坐标为分别为(x11，y11)，(x12，y12)，物体对应标签检测框的左上角坐标和右下角坐标为(x21，y21)，(x22，y22)，计算交并比的表达式为：
xmin＝max(x11，x21)
xmax＝min(x12，x22)
ymin＝(y11，y21)
ymax＝min(y12，y22)
s1＝(x12-x11)(y12-y11)
s2＝(x22-x21)(y22-y21)
intersect＝max(0，(xmax-xmin)(ymax-ymin))
IOU＝instersect/(s1+s2-intersect)
其中，xmin表示物体检测框和对应物体标签检测框左边边线较大的那个，xmax表示物体检测框和对应物体标签检测框右边边线较小的那个，同理ymin表示物体检测框和对应物体标签检测框上边边线较大的那个，ymax表示物体检测框和对应物体标签检测框下边边线较小的那个，s1表示物体检测框的面积，s2表示对应物体标签检测框的面积，intersect表示物体检测框和对应物体标签检测框相交，IOU为交并比。
S122、若对应物体的标签检测框完全在物体检测框之内，则认为物体是本发明要检测的物体，即：
x11＜x21
y11＜y21
x12＞x22
y12＞y22
后续的计算都基于过滤后的检测框进行。
S13、根据病房场景内待看护体的视觉特征，训练检测待看护体的神经网络模型，通过该神经网络对待看护体所在位置进行检测；使用步骤S12中的检测神经网络对待看护体人体进行检测，与以上不同的是对于待看护体不需要使用标签进行过滤，只对人体进行检测即可，同时由于检测神经网络较为消耗算力，所以按500ms的间隔进行检测即可，即所说的2帧每秒。
S2、使用可见光及热成像智能工业相机3的热成像模式，对病房场景的环境温度及人体相对病房场景的环境温度进行测量：
S21、将可见光及热成像智能工业相机3所配套的黑体作为病房场景内环境温度的参照基准，得到病房场景环境温度整个范围内的热成像模式；对于热成像图的温度计算均按照国际单位开尔文(K)来计算，体温以329.15K为基准。
S22、根据可见光及热成像智能工业相机3中的可见光模式，得到病房场景内待看护体的检测框，在步骤S21得到的热成像模式中，由可见光及热成像智能工业相机3对病房场景内待看护体进行人体区域分割，并将S13中待看护体人体检测框的位置按照坐标标示，并将分割区域用原图的周边像素进行填充；判断人体的分割4/5像素是否在人体检测框内，如果在人体检测框内，则认为智能相机对人体分割无误，为了防止人手持物品对测温带来的影响，按照检测结果取人体部位的最上面的1/6计算具体温度，计算最高点温度即为当前的体温。
S23、根据步骤S22得到的分割区域评估病房场景内待看护体的体温是否在正常的体温范围内，并计算病房场景内待看护体的体温与病房场景的环境温度的差异是否超出正常范围；为了防止其他因意外情况带来的影响，设定时间滑窗，当体温超过330.3K 120秒以上时，方可判定为人体体温出现异常，同样的当人体部位的最上面的1/6最低温度和体温相差20K以上超过180秒时则认为室内环境不宜待看护体久居，立即将信息传至远程监控主机，再由远程监控主机进行处理以通知医护人员做出及时回应。
S3、根据病房场景内压力传感床垫7得到的压力传感图像和用智能相机识别的姿态进行姿态判别：
S31、将压力传感床垫7按网格10000×8000进行划分，根据压传感表达式：
Figure BDA0002731979830000121
其中，i，j表示局部压力对应的网格位置，ΔAi表示受力面积的微元，ΔFj表示当前面积受力的微元。
根据病房场景内待看护体不同姿态对压力传感床垫形成的局部压力的不同，形成不同的压力传感图像的灰度，局部压力生成图像的计算表达式为：
Figure BDA0002731979830000122
其中，V为图像的灰度，i，j表示局部压力对应的网格位置，F表示该区域的局部压力，N为局部区域划分的网格边长，clamp函数的定义如下：
Figure BDA0002731979830000123
其中，x为产生的局部压力；
计算当前网格所受压力，其压力值越大，所生成的灰度图像越深，压力传感床垫7直接与远程监控主机连接，因躺卧是一个长期的过程，所以每隔1分钟传送一次图像给远程监控主机。
S32、根据局部压力生成的图像判断姿态的平躺、左侧卧、右侧卧、俯卧姿势即可，如图3所示，通过肉眼可以粗略的判定人的姿态为平躺向左倾斜，但无法对其给一个数字量化，故在远程监控主机使用分类神经网络实现即可，本实施例使用ResNet，即5个残差实现，如图4a所示，先进行缩小，以适应网络，然后用一个7×7的卷积块进行操作，经过池化缩小图像的宽和高，经过5个残差块，包含4个下采样，然后平均池化，经过全连接层进行分类，输出为5类，除了以上姿态的识别外，还有负样本，其中负样本是较多的，所以在训练时引入Focal Loss将不太容易分的样本加大损失，同时平衡正负样本的比例，在训练过程中保证每批中都有正样本，即以上四种姿态，同时也要有负样本，即除前面说的以上四种姿态之外的图。通过待看护体的不同病症，提前设定不被允许长期保持的姿态及最长维持的时间，当待看护体的某种不被允许的姿态超过一定时间时，远程监控主机通过连接病房的语音设备进行相应的提示，以帮助待看护体矫正姿态。
S4、根据上述步骤S1至S3，精确划分出物体的存在区域，针对不同的标识物识别，从而划分出具体要检测的物体，根据过滤后的物体按标签进行位置划分，以减少智能相机边缘端的计算和减轻相机向主机传输数据的带宽压力，对不同物体对应的检测框按照人体检测框对这些物体的交并比大小，进行行为识别，将这些行为识别的结果按初始设定的标注信息进行危险程度评估，从而判断是否发出安全报警信号：
S41、根据智能相机在步骤S1无遮挡的时候，储存的过滤后的物体检测框与标签检测框的位置和数量，以及在步骤S1中位置的划分，进行行为识别；将智能相机存储好的物体检测框位置及数量与当前物体检测框的位置及数量进行对比，当物体检测框数量缺失时，且待看护体检测框出现在物体检测框时，按照步骤S12中的表达式计算初始物体检测框与当前待看护体检测框的交并比的计算；当交并比的值大于0.4时则认为待看护体当前可能存在风险，立即将智能相机采集的视频、物体和人的检测框的位置以及当前危险区域的信息向远程监控主机发送；
S42、远程监控主机对收到视频的每一帧进行行为识别，采用视频的识别方式，如图4b所示，用TSN模型将视频分为3段，一个片段从它对应的段中随机采样得到，图4b中为片段，不同片段的类别得分，采用段共识函数进行融合来产生段共识，即在图中时间片段网络，空间流卷积网主要作用于单个独立的帧，图像仍对行为识别组成有有效的结果，时态卷积主要提升网络的泛化能力；具体来说将上传的视频片段V,每隔相等的间隔采样，(T1，T2，...，Tk)代表片段序列,F(Tk，W)函数代表采用W作为参数的卷积，段共识函数G结合多个短片段的类别得分输出以获得它们之间关于类别假设的共识；预测函数H用来预测整段视频属于每个行为类别的概率，结合标准分类交叉熵损失，得到关于风险区域预测风险行为部分共识的最终损失函数Gi的形式为：
Gi＝g(Fi(T1)，Fi(T2)，...Fi(Tk))
其中，g是聚合函数，F(Tk)是卷积函数。
如果待看护体存在风险，则由远程监控主机通过报警装置发送安全报警信号。
从所有片段中相同类别的得分中推断出，其中聚合函数采用均匀平均法来表示最终识别精度。如果待看护体出现危险行为，则由远程监控主机通过报警装置发送到病房，同时通过信息传递危险信号给看护人员，以便看护人员做出及时应对。
以上的实施例仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims (5)

1.一种基于视觉与压力传感的病房智能看护识别方法，其特征在于，其包括步骤如下：
S1、对要实施智能看护病房场景中的物体贴上标签，并对病房场景内带标签的物体进行识别：
S11、通过带标签的物体训练检测相应类别物体上标签的神经网络模型；
S12、根据智能相机检测到的标签，标示出病房场景内所有可疑物体位置，并将不带标签的物体通过视觉算法进行过滤，将过滤后物体的标签按其在病房场景内的位置划分；
S13、根据病房场景内待看护体的视觉特征，训练检测待看护体的神经网络模型，通过该神经网络对待看护体所在位置进行检测；
S2、使用可见光及热成像智能工业相机的热成像模式，对病房场景的环境温度及相对病房场景的环境温度进行测量：
S21、将可见光及热成像智能工业相机所配套的黑体作为病房场景内环境温度的参照基准，得到病房场景环境温度整个范围内的热成像模式；
S22、根据可见光及热成像智能工业相机中的可见光模式，得到病房场景内待看护体的检测框，在步骤S21得到的热成像模式中，由可见光及热成像智能工业相机对病房场景内待看护体进行区域分割，并将分割区域用原图的周边像素进行填充；
S23、根据步骤S22得到的分割区域评估病房场景内待看护体的体温是否在正常的体温范围内，并计算病房场景内待看护体的体温与病房场景的环境温度的差异是否超出正常范围；
S3、根据病房场景内压力传感床垫得到的压力传感图像和用智能相机识别的姿态进行姿态判别：
S31、根据病房场景内待看护体不同姿态对压力传感床垫形成的局部压力的不同，形成不同的压力传感图像的灰度，局部压力生成图像的计算表达式为：
Figure FDA0002731979820000011
其中，V为图像的灰度，i，j表示局部压力对应的网格位置，F表示该区域的局部压力，N为局部区域划分的网格边长，clamp函数如下：
Figure FDA0002731979820000021
其中，x为产生的局部压力；
最后将该局部压力生成的图像上传远程监控主机；
S32、将上传远程监控主机的局部压力生成的图像用神经网络分类模型进行识别，得到不同的由局部压力预测姿态的结果；
S4、根据上述步骤S1至S3，对不同物体对应的检测框按照人体检测框对这些物体的交并比大小，进行行为识别，将这些行为识别的结果按初始设定的标注信息进行危险程度评估，从而判断是否发出安全报警信号；具体包括以下步骤：
S41、根据智能相机在步骤S1无遮挡的时候，储存的过滤后的物体检测框与标签检测框的位置和数量，以及在步骤S1中位置的划分，进行行为识别；将智能相机存储好的物体检测框位置及数量与当前物体检测框的位置及数量进行对比，当物体检测框数量缺失时，且待看护体检测框出现在物体检测框时，按照步骤S12中的表达式计算初始物体检测框与当前待看护体检测框的交并比的计算；当交并比的值大于设定的阈值时则认为待看护体当前可能存在风险，立即将智能相机采集的视频、物体和人的检测框的位置以及当前危险区域的信息向远程监控主机发送；
S42、远程监控主机对收到视频的每一帧进行行为识别，采用段共识函数G进行融合来产生段共识，段共识函数G结合多个短片段的类别得分输出以获得它们之间关于类别假设的共识；基于步骤S424的关于类别假设的共识，将预测函数H结合标准分类交叉熵损失，得到关于风险区域预测风险行为部分共识的最终损失函数G的形式为：
Figure FDA0002731979820000022
其中，C是行为类别的总数，yi是类别i的标签，L是损失，y是预测值；
如果待看护体存在风险，则由远程监控主机通过报警装置发送安全报警信号。
2.根据权利要求1所述的基于视觉与压力传感的病房智能看护识别方法，其特征在于，所述步骤S12中，识别病房场景内带标签的物体，利用深度学习开源框架给出的预训练模型参数初始化模型参数，并初始化检测模型的骨干网络，并得到病房场景内所有带标签物体的检测模型，然后根据标签中心点的预测情况删掉物体上多余的检测框。
3.根据权利要求1所述的基于视觉与压力传感的病房智能看护识别方法，其特征在于，在步骤S22中，将分割区域用原图的周边像素进行填充，按照可见光及热成像智能工业相机对人体分割的结果，将分割区域内最高温度块的平均温度作为病房场景内待看护体的温度。
4.根据权利要求1所述的基于视觉与压力传感的病房智能看护识别方法，其特征在于，在步骤S31中，将压力传感床垫进行网格区域均匀划分，通过局部应力的不同形成不同的灰度图像，应力越大，图像灰度越深，其中应力的估算表达式为：
Figure FDA0002731979820000031
其中，i，j表示局部压力对应的网格位置，ΔAi表示受力面积的微元，ΔFj表示当前面积受力的微元。
5.一种利用权利要求1-4中任一项所述的基于视觉与压力传感的病房智能看护识别方法的识别系统，其特征在于，其包括：可见光及热成像智能工业相机、智能相机支架、压力传感床垫、物体提示标签、床头标签、触电警示标签、报警装置、远程监控主机、智能相机和远程监控主机的连接线，所述智能相机的固定端和所述智能相机支架固定连接，所述智能相机支架安装在背光且能看到病房场景全局视野的一墙角处，所述物体提示标签、所述床头标签和所述触电警示标签分别固定在所述病房内明显的位置，并保持所述物体提示标签、所述床头标签和所述触电警示标签分别在所述智能相机的视野范围之内，所述报警装置固定在所述病房内，所述可见光及热成像智能工业相机、所述智能相机、所述压力传感床垫、所述物体提示标签、所述床头标签、所述触电警示标签、所述报警装置通过所述远程监控主机的连接线分别与所述远程监控主机连接。
CN202011120875.7A 2020-10-19 2020-10-19 基于视觉与压力传感的病房智能看护识别方法及识别系统 Pending CN112287783A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011120875.7A CN112287783A (zh) 2020-10-19 2020-10-19 基于视觉与压力传感的病房智能看护识别方法及识别系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011120875.7A CN112287783A (zh) 2020-10-19 2020-10-19 基于视觉与压力传感的病房智能看护识别方法及识别系统

Publications (1)

Publication Number Publication Date
CN112287783A true CN112287783A (zh) 2021-01-29

Family

ID=74497862

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011120875.7A Pending CN112287783A (zh) 2020-10-19 2020-10-19 基于视觉与压力传感的病房智能看护识别方法及识别系统

Country Status (1)

Country Link
CN (1) CN112287783A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117915047A (zh) * 2024-01-17 2024-04-19 广州视声健康科技有限公司 基于计算机视觉的智能病房监测方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103036997A (zh) * 2012-12-19 2013-04-10 华东理工大学 一种智能医院病房看护监控系统
CN103325080A (zh) * 2013-06-21 2013-09-25 电子科技大学 一种基于物联网技术的敬老院智能看护系统及方法
CN105046619A (zh) * 2015-08-20 2015-11-11 明艳 基于智能移动终端的医疗护理系统
CN106027978A (zh) * 2016-06-21 2016-10-12 南京工业大学 一种智能家居养老的视频监控异常行为系统及方法
CN107330352A (zh) * 2016-08-18 2017-11-07 河北工业大学 基于hog特征和机器学习的睡姿压力图像识别方法
CN108124008A (zh) * 2017-12-20 2018-06-05 山东大学 一种智能空间环境下的老人陪护系统及方法
CN109523748A (zh) * 2018-11-21 2019-03-26 合肥林夏智能科技有限公司 一种智能老人看护系统
CN111353425A (zh) * 2020-02-28 2020-06-30 河北工业大学 一种基于特征融合与人工神经网络的睡姿监测方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103036997A (zh) * 2012-12-19 2013-04-10 华东理工大学 一种智能医院病房看护监控系统
CN103325080A (zh) * 2013-06-21 2013-09-25 电子科技大学 一种基于物联网技术的敬老院智能看护系统及方法
CN105046619A (zh) * 2015-08-20 2015-11-11 明艳 基于智能移动终端的医疗护理系统
CN106027978A (zh) * 2016-06-21 2016-10-12 南京工业大学 一种智能家居养老的视频监控异常行为系统及方法
CN107330352A (zh) * 2016-08-18 2017-11-07 河北工业大学 基于hog特征和机器学习的睡姿压力图像识别方法
CN108124008A (zh) * 2017-12-20 2018-06-05 山东大学 一种智能空间环境下的老人陪护系统及方法
CN109523748A (zh) * 2018-11-21 2019-03-26 合肥林夏智能科技有限公司 一种智能老人看护系统
CN111353425A (zh) * 2020-02-28 2020-06-30 河北工业大学 一种基于特征融合与人工神经网络的睡姿监测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
WANG L: "《Temporal Segment Networks: Towards Good Practices for Deep Action Recognition》", 《ECCV 2016》 *
向琦: "《基于物联网与多传感器技术的智能看护系统设计》", 《传感器与微系统》 *
龙丹: "《基于物联网的老人远程智能看护终端的研究》", 《科技视界》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117915047A (zh) * 2024-01-17 2024-04-19 广州视声健康科技有限公司 基于计算机视觉的智能病房监测方法及装置

Similar Documents

Publication Publication Date Title
CN103325080B (zh) 一种基于物联网技术的敬老院智能看护系统及方法
CN110263686A (zh) 一种基于深度学习的施工工地图像安全帽检测方法
CN108764190B (zh) 老年人离床与在床状态的视频监测方法
CN112216065A (zh) 一种老年人行为智能看护系统及识别方法
Chen et al. Remote recognition of in-bed postures using a thermopile array sensor with machine learning
CN111883257B (zh) 基于多传感器的人体健康状态评估与预警系统
CN109543607A (zh) 目标物异常状态检测方法、系统、监护系统及存储介质
CN113392765A (zh) 一种基于机器视觉的摔倒检测方法和系统
CN107958572A (zh) 一种婴儿监控系统
CN113096819A (zh) 一种基于神经卷积网络的疫情防控筛查预警系统
CN112287783A (zh) 基于视觉与压力传感的病房智能看护识别方法及识别系统
CN113793300A (zh) 一种基于红外热像仪的非接触式呼吸率检测方法
CN117316453A (zh) 一种混合Barden量表和人工智能的压疮预警系统及方法
CN112643719A (zh) 一种基于巡检机器人的隧道安防检测方法及系统
CN113688740B (zh) 一种基于多传感器融合视觉的室内姿势检测方法
CN117690159A (zh) 基于多模态数据融合的婴幼儿趴睡监测方法、装置及设备
CN113706824B (zh) 一种基于物联网监控的老人居家看护系统
WO2018078867A1 (ja) コンピュータシステム、動物の診断方法及びプログラム
CN111803374B (zh) 一种智慧血液储存装置及方法
CN116959099B (zh) 一种基于时空图卷积神经网络的异常行为识别方法
CN117268559A (zh) 多模态婴幼儿异常体温检测方法、装置、设备及介质
CN113197558A (zh) 心率与呼吸率检测方法、系统及计算机存储介质
CN114283367B (zh) 用于园区火灾预警的人工智能明火探测方法及系统
CN105595973A (zh) 一种睡眠异常报警装置
CN109345788A (zh) 一种基于视觉特征的监控预警系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210129