CN116863500A - 一种患者离床监控方法和系统 - Google Patents
一种患者离床监控方法和系统 Download PDFInfo
- Publication number
- CN116863500A CN116863500A CN202310706743.XA CN202310706743A CN116863500A CN 116863500 A CN116863500 A CN 116863500A CN 202310706743 A CN202310706743 A CN 202310706743A CN 116863500 A CN116863500 A CN 116863500A
- Authority
- CN
- China
- Prior art keywords
- patient
- body type
- sickbed
- detection frame
- representing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 56
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000001514 detection method Methods 0.000 claims abstract description 48
- 210000003127 knee Anatomy 0.000 claims description 20
- 210000003423 ankle Anatomy 0.000 claims description 10
- 210000001015 abdomen Anatomy 0.000 claims description 8
- 238000003708 edge detection Methods 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 6
- 230000037237 body shape Effects 0.000 claims description 5
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 230000003187 abdominal effect Effects 0.000 claims description 2
- 238000013461 design Methods 0.000 abstract description 4
- 230000000694 effects Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000474 nursing effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 206010042772 syncope Diseases 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
- G16Y20/00—Information sensed or collected by the things
- G16Y20/40—Information sensed or collected by the things relating to personal data, e.g. biometric data, records or preferences
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
- G16Y40/00—IoT characterised by the purpose of the information processing
- G16Y40/10—Detection; Monitoring
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Medical Informatics (AREA)
- Psychiatry (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Social Psychology (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明公开了一种患者离床监控方法和系统，属于医疗监控技术领域，方法包括：获取病房真彩图像数据和深度图像数据；获取患者体型检测框和病床检测框；获取患者体型检测框和病床检测框的三维点云数据；确定患者和病床点云质心，计算患者与病床的实际距离；基于实际距离，判断病房是否存在患者，若不存在，发出警报；记录患者的离床时长，在离床时长大于预设时长的情况下，发出警报；提取患者的多个体型关键节点，构建患者的简化模型；确定跌倒判别条件；通过跌倒判别条件判断患者是否跌倒，若是，发出警报。提升患者跌倒的监控准确性，监控和警报全自动化设计，避免人工参与患者监控，更好保护患者隐私，避免人为主观因素导致的监控失误。
Description
技术领域
本发明属于医疗监控技术领域，具体涉及一种患者离床监控方法和系统。
背景技术
医院患者存在多种病情较重，行动不便的患者，例如老年患者、易晕厥患者等，这些患者面临跌倒和走失风险。离床监控可以及时检测到患者是否离开床位，发出警报，通知护理人员，以采取适当的措施避免潜在危险。
现有的医疗机构不顾患者隐私直接安装摄像头全天候的监控患者，浪费人力，且存在主观性失误风险，还有些通过在床上安装传感器来反馈患者是否离床，还有些通过为患者佩戴手环监测患者位置，但这种情况易受外部因素的影响，监测准确率不高，对于患者离床后跌倒的状态不能准确监控。
发明内容
为了解决现有技术存在的医疗机构不顾患者隐私直接安装摄像头全天候的监控患者，浪费人力，且存在主观性失误风险，还有些通过在床上安装传感器来反馈患者是否离床，还有些通过为患者佩戴手环监测患者位置，但这种情况易受外部因素的影响，监测准确率不高，对于患者离床后跌倒的状态不能准确监控的技术问题，本发明提供一种患者离床监控方法和系统。
第一方面
本发明提供了一种患者离床监控方法，包括：
S101：获取病房内的真彩图像数据和深度图像数据；
S102：从真彩图像数据中获取患者体型检测框和病床检测框；
S103：结合深度图像数据，获取患者体型检测框和病床检测框的三维点云数据；
S104：根据三维点云数据确定代表患者和病床确切位置的点云质心，计算患者与病床的实际距离；
S105：基于实际距离，判断病房是否存在患者，若存在，进入S106，否则，进入S110；
S106：记录患者的离床时长，在离床时长大于预设时长的情况下，进入S110；
S107：从患者体型检测框中提取患者的多个体型关键节点，构建患者的简化模型，其中，体型关键节点包括头部节点、颈部节点、腹部节点、左胯节点、左膝盖节点、左脚踝节点、右胯节点、右膝盖节点和右脚踝节点，简化模型为体型关键节点之间相互连接得到的表示患者体态的连接方式；
S108：建立简化模型的二维坐标系，确定跌倒判别条件，其中，跌倒判别条件包括患者身体长宽比、腹部节点和颈部节点的连线与x轴的第一水平夹角、左胯节点和左膝盖节点的连线与x轴的第二水平夹角、右胯节点和右膝盖节点的连线与x轴的第三水平夹角；
S109：通过跌倒判别条件判断患者是否跌倒，若是，进入S110；
S110：发出警报。
第二方面
本发明提供了一种患者离床监控系统，用于执行第一方面中的患者离床监控方法。
与现有技术相比，本发明至少具有以下有益技术效果：
在本发明中，通过采集病房内的真彩图像数据和深度图像数据，计算患者和病床的点云质心，进而计算出表征患者是否离床的实际距离，并基于实际距离判断出患者是否离开病房，以便及时发出警报，避免出现监控图像重叠导致的意外，提升监控准确性。通过提取表征人体的多个体型关键节点，构建患者的简化模型，确定患者的跌倒判别条件，在检测到患者跌倒时，及时发出警报，避免患者跌倒导致的严重事故。通过将监控和警报进行全自动化的设计，避免人工参与患者的监控，更好的保护患者隐私，避免人为主观因素导致的监控失误，提升监控准确性。
附图说明
下面将以明确易懂的方式，结合附图说明优选实施方式，对本发明的上述特性、技术特征、优点及其实现方式予以进一步说明。
图1是本发明提供的一种患者离床监控方法的流程示意图；
图2是本发明提供的一种简化模型的结构示意图。
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。
为使图面简洁，各图中只示意性地表示出了与发明相关的部分，它们并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。在本文中，“一个”不仅表示“仅此一个”，也可以表示“多于一个”的情形。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
在本文中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接。可以是机械连接，也可以是电连接。可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
另外，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
实施例1
在一个实施例中，参考说明书附图1，示出了本发明提供的患者离床监控方法的流程示意图。
本发明提供的一种患者离床监控方法，包括：
S101：获取病房内的真彩图像数据和深度图像数据。
其中，真彩图像数据是指以真实颜色呈现的图像数据，通常是由彩色相机或摄像机捕捉到的图像，这些图像包含了物体的颜色和纹理等细节信息，可以提供对病房内场景的视觉感知。深度图像数据是指带有深度信息的图像数据，通常通过深度传感器(例如ToF相机、结构光相机或立体视觉摄像机)获取。深度图像可以提供物体距离相机的距离信息，通常以灰度图像或颜色编码的形式表示。
具体地，可以使用具备真彩图像采集功能的彩色相机或摄像机来获取真彩图像数据。这些设备能够捕捉到病房内的场景，并将其以图像的形式输出。另外，为了获取深度图像数据，可以使用专门的深度传感器，如ToF相机或结构光相机。这些传感器可以提供每个像素点的深度信息，并将其转化为深度图像。通过真彩图像数据和深度图像数据可以作为后续捕捉患者和病床的位置和相对距离的基础，以便提供更加准确的监控效果。
S102：从真彩图像数据中获取患者体型检测框和病床检测框。
其中，患者体型检测框和病床检测框是指在真彩图像数据中确定并框选出患者和病床的边界框，通过获取检测框，可以将其他无关因素排除，以便降低在监控过程的计算资源消耗，提升监控数据输出的速度。
在一种可能的实施方式中，S102具体为：
S1021：通过边缘检测算法获取患者体型检测框和病床检测框。
具体地，边缘检测算法包括对真彩图像数据进行预处理。应用边缘检测算法来检测图像中的边缘，常用的边缘检测算法包括Canny边缘检测、Sobel算子、Laplacian算子等。这些算法可以帮助检测出图像中明显的边界。对检测到的边缘进行连接，形成连续的边界线，以消除不连续的边缘断裂，将边缘连接成更完整的边界。根据预设的特征和规则，筛选出与患者体型和病床相关的边缘。例如，可以根据边缘的长度、形状、位置等进行筛选，以选择与患者和病床边界相匹配的边缘。根据筛选得到的边缘，计算并生成患者体型检测框和病床检测框。具体的方法可以根据边界的位置、大小、形状等信息来确定框的位置和大小。
S103：结合深度图像数据，获取患者体型检测框和病床检测框的三维点云数据。
其中，三维点云数据是指由深度图像数据生成的一组三维坐标点的集合，每个点表示真实世界中的一个空间位置。这些点包含了物体表面或场景中的关键点的位置信息。
在一种可能的实施方式中，S103具体包括：
S1031：循环遍历患者体型检测框和病床检测框对应的深度图像数据，获取患者体型检测框和病床检测框对应的深度像素点；
S1032：设置距离阈值和灰度阈值；
S1033：根据距离阈值和灰度阈值，剔除深度像素点中的噪点，分别建立患者体型检测框和病床检测框的三维点云数据(x,y,z)：
其中，cx、cy、fx、fy表示真彩图像数据中的内部参数，th1表示距离阈值，th2表示灰度阈值，gray表示灰度图像数据，rgb(i,j)[0]、rgb(i,j)[1]和rgb(i,j)[2]分别表示真彩图像数据的蓝色通道像素值、绿色通道像素值和红色通道像素值，depth表示深度图像数据，i,j分别表示深度像素点的列坐标和行坐标。
需要说明的是，深度图像数据可以提供每个像素点距离相机的距离信息，通过将深度图像中的像素坐标与对应的深度值进行转换，可以得到三维空间中的点的坐标，这些点的坐标通常表示为(x,y,z)的形式，其中x、y、z分别表示点在三维空间中的水平、垂直和深度位置。通过结合深度图像数据和真彩图像数据，可以对患者体型检测框和病床检测框的三维点云数据进行计算，这意味着可以将患者体型检测框和病床检测框中的二维图像信息映射到真实世界的三维坐标空间中。这样做的目的是获取更多关于患者和病床的几何信息，例如物体的形状、位置、大小等。以便进行患者和病床之间的距离计算，避免视频监控中图像重叠导致的监控模糊不准确等缺点，提升监控准确性。
S104：根据三维点云数据确定代表患者和病床确切位置的点云质心，计算患者与病床的实际距离。
其中，点云质心是指根据三维点云数据计算得到的代表患者和病床确切位置的中心点。点云质心是通过计算点云中所有点的平均值来得到的，点云质心是一个代表患者或病床的位置的单一的点，这个点的坐标可以用于后续计算患者与病床的实际距离、判断患者是否离床，通过用点代替患者进行距离计算，避免复杂距离计算方法导致的结果输出延迟率高的情况，提高监控系统的响应速度，以便更好的对患者进行监控。
在一种可能的实施方式中，S104具体包括：
S1041：计算患者和病床的点云质心：
其中，pose患者(x1,y1,z1)表示患者的点云质心，pose病床(x2,y2,z2)表示病床的点云质心，Pi∈pointCloud患者表示患者体型的三维点云数据，Pj∈pointCloud病床病床的三维点云数据，n表示患者体型的三维点云数据中的点数量，m表示病床的三维点云数据中的点数量；
S1042：根据代表患者和病床确切位置的点云质心，计算患者和病床的实际距离：
其中，d表示患者和病床的实际距离。
其中，实际距离是欧几里和距离，通过算数计算的方式确定患者和病床之间的距离，计算速度快且准确，排除了无关因素的干扰，监控效果更佳。
S105：基于实际距离，判断病房是否存在患者，若存在，进入S106，否则，进入S110。
在一种可能的实施方式中，S105具体包括：
S1051：获取病床与病房的四周墙壁之间的最大距离；
S1052：在实际距离小于最大距离的情况下，确定病房存在患者；
S1053：在实际距离大于最大距离的情况下，确定病房不存在患者。
需要说明的是，在病房内，病床和病房四周墙壁存在最大距离，如果患者与病床的实际距离大于这个最大距离，那么就说明患者已经离开了病房，对于病情严重的重点监控患者，此时，需要及时发出警报，通知医护人员确定患者位置，避免意外发生。自动的进行监控警报，降低了医护人员的工作强度，也避免了人工监控患者导致的患者隐私泄露的问题。
S106：记录患者的离床时长，在离床时长大于预设时长的情况下，进入S110。
需要说明的是，本领域技术人员可以根据实际需要设置预设时长的大小，本发明在此不做限定。在实际应用过程中，患者在病房内为了身体健康往往进行离床活动，预设时长可以根据医嘱设置，以避免监控过于敏感导致患者离床便发出警报的情况，也避免了患者离床时长过长导致的意外情况的发生，以符合实际情况的方式对患者进行监控预警。
在一种可能的实施方式中，S106具体包括：
S1061：通过统计实际距离大于零的情况，记录离床时长。
参考说明书附图2，示出了本发明提供的一种简化模型的结构示意图。
由图2可知，简化模型中的头部节点、颈部节点、腹部节点、左胯节点、左膝盖节点、左脚踝节点、右胯节点、右膝盖节点和右脚踝节点表征了患者的身体结构，通过提取患者体型检测框中的体型关键节点，构建患者的简化模型，对于判断患者是否跌倒更加简单，减少数据处理量，提升监控结果反馈速度。其中，1代表头部节点、2代表颈部节点、3代表腹部节点、4代表右胯节点、5代表右膝盖节点、6代表右脚踝节点、7代表左胯节点、8代表左膝盖节点、9代表左脚踝节点，Δx和y分别表示了患者体型的最大宽度和最大高度。
S107：从患者体型检测框中提取患者的多个体型关键节点，构建患者的简化模型。
其中，体型关键节点包括头部节点、颈部节点、腹部节点、左胯节点、左膝盖节点、左脚踝节点、右胯节点、右膝盖节点和右脚踝节点，简化模型为体型关键节点之间相互连接得到的表示患者体态的连接方式。
需要说明的是，通过连接多个体型关键节点，构建患者的简化模型。这种连接方式表示了患者体态的形状和姿势，一种常见的连接方式是使用直线段连接相邻的体型关键节点，以形成表示人体姿态的线段模型。简化模型的目的是将患者的体型和姿态抽象成更简单的形式，以便后续的分析和处理。通过提取体型关键节点并连接它们，可以减少处理的复杂性，并提供一种更容易被计算机理解和处理的表示形式。
在一种可能的实施方式中，S107具体包括：
S1071：将患者体型检测框输入至卷积神经网络模型，提取包括多个待选体型关键点的特征图。
具体地，卷积神经网络模型可以学习提取图像中的特征，通过对患者体型检测框的图像进行卷积和池化等操作，得到一个特征图。这个特征图可以包含与患者体型相关的信息，例如人体关键点的位置和形状。
S1072：计算待选体型关键点的置信度：
其中，Ej(ξ)表示患者第j个待选体型关键点的置信度，ξ表示置信图上的任一点，tj表示真实的体型关键点位置，σ表示待选体型关键点的概率分布。
其中，置信图可以通过使用准备好的训练数据集，将图像输入网络进行训练，在训练过程中，网络学习如何从图像中提取特征，并生成关键点置信图。或者通过人工标注的方式获得。
具体地，在特征图上，对于每个待选体型关键点，计算其在置信图上的置信度。置信度是一个表示该点是体型关键点的概率分布。它可以通过对特征图进行进一步处理和分析得到，例如使用卷积、激活函数和分类器等技术。置信度可以反映待选体型关键点在图像中的显著程度或可靠性。
S1073：将置信度最大的待选体型关键点作为体型关键点。
需要说明的是，所有待选体型关键点中置信度最大的点最有可能是真实的体型关键点。
S1074：计算相邻的体型关键点之间的趋势场：
η(α)＝(1-α)μ2+αμ1，α∈(0，1)
其中，P表示趋势场，μ1，μ2表示相邻的体型关键点，||μ2-μ1||2表示相邻的体型关键点所在关节的长度，η(α)∈[μ1,μ2]，表示体型关键点在关节上的单位向量，若体型关键点不在关节的情况下K(η(α))＝0。
需要说明的是，通过计算相邻体型关键点之间的趋势场，可以揭示它们之间的关系和动态。趋势场表示了体型关键点之间的运动、相对位置和方向。这个计算是通过计算相邻关键点之间的长度、单位向量和关节的特性来实现的。关节的特性可能包括关节的可伸展性、旋转范围等。
S1075：根据趋势场和单位向量，将体型关键点进行连接，得到简化模型。
在实际使用过程中，根据趋势场和单位向量的信息，将体型关键点连接起来，形成表示患者体态的简化模型。连接方式可能是通过绘制线段、曲线或其他表示关节连接关系的形式。简化模型是患者体型的一种抽象表示，它可以更简洁地表示患者的姿态和形状，为后续的分析和处理提供方便。
S108：建立简化模型的二维坐标系，确定跌倒判别条件。
其中，跌倒判别条件包括患者身体长宽比、腹部节点和颈部节点的连线与x轴的第一水平夹角、左胯节点和左膝盖节点的连线与x轴的第二水平夹角、右胯节点和右膝盖节点的连线与x轴的第三水平夹角。
在一种可能的实施方式中，S108具体包括：
S1081：计算患者身体长宽比H，第一水平夹角φ1、第二水平夹角φ2、第三水平夹角φ3：
φ1＝||arctan(yf-yj,xf-xj)||
φ2＝||arctan(yzk-yzg,xzk-xzg)||
φ3＝||arctan(yyk-yyg,xyk-xyg)||
其中，Δx表示患者的最大体宽，Δy表示患者的最大高度，arctan(·)表示三角函数的反正切运算，(xf,yf)表示腹部节点在二维坐标系下的坐标，(xj,yj)表示颈部节点在二维坐标系下的坐标，(xzk,yzk)表示左胯节点在二维坐标系下的坐标，(xzg,yzg)表示左膝盖在二维坐标系下的坐标，(xyk,yyk)表示右胯节点在二维坐标系下的坐标，(xyg,yyg)表示右膝盖节点在二维坐标系下的坐标，||·||表示绝对值运算。
S1082：设置患者身体长宽比阈值和身体倾角最大阈值和身体倾角最小阈值；
S1083：确定跌倒判别条件：
其中，τh表示患者身体长宽比阈值，τ2表示身体倾角最大阈值，τ1表示身体倾角最小阈值。
通过实验发现，患者身体长宽比阈值选取1.2时，患者跌倒判别准确率最高，达到96％，身体倾角最小阈值选取74°，身体倾角最大阈值选取106°时，患者跌倒判别准确率最高，达到99％，相较于其他的跌倒判断方法，采用本方法，跌倒判别准确性更高，监控效果更好，避免了因技术问题导致的监控失败的情况，大大提升了自动化监控的可信度。
S109：通过跌倒判别条件判断患者是否跌倒，若是，进入S110。
在一种可能的实施方式中，S109具体为：
S109具体为：
S1091：在患者身体长宽比、第一水平夹角、第二水平夹角和第三水平夹角均满足跌倒判别条件的情况下，确定患者未跌倒，否则，确定患者跌倒。
可以理解的是，通过将患者身体长宽比、第一水平夹角、第二水平夹角和第三水平夹角与设置的患者身体长宽比阈值和身体倾角最大阈值和身体倾角最小阈值进行比较，如果有任何一个条件不满足的话，则证明患者的身体大概率处于跌倒的情况，此时发出警报通知医护人员及时查看患者情况，提升患者监控的有效性、及时性、
S110：发出警报。
与现有技术相比，本发明至少具有以下有益技术效果：
在本发明中，通过采集病房内的真彩图像数据和深度图像数据，计算患者和病床的点云质心，进而计算出表征患者是否离床的实际距离，并基于实际距离判断出患者是否离开病房，以便及时发出警报，避免出现监控图像重叠导致的意外，提升监控准确性。通过提取表征人体的多个体型关键节点，构建患者的简化模型，确定患者的跌倒判别条件，在检测到患者跌倒时，及时发出警报，避免患者跌倒导致的严重事故。通过将监控和警报进行全自动化的设计，避免人工参与患者的监控，更好的保护患者隐私，避免人为主观因素导致的监控失误，提升监控准确性。
实施例2
在一个实施例中，本发明提供的一种患者离床监控系统，用于执行实施例1中的患者离床监控方法。
本发明提供的一种患者离床监控系统可以实现上述实施例1中的患者离床监控方法的步骤和效果，为避免重复，本发明不再赘述。
与现有技术相比，本发明至少具有以下有益技术效果：
在本发明中，通过采集病房内的真彩图像数据和深度图像数据，计算患者和病床的点云质心，进而计算出表征患者是否离床的实际距离，并基于实际距离判断出患者是否离开病房，以便及时发出警报，避免出现监控图像重叠导致的意外，提升监控准确性。通过提取表征人体的多个体型关键节点，构建患者的简化模型，确定患者的跌倒判别条件，在检测到患者跌倒时，及时发出警报，避免患者跌倒导致的严重事故。通过将监控和警报进行全自动化的设计，避免人工参与患者的监控，更好的保护患者隐私，避免人为主观因素导致的监控失误，提升监控准确性。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种患者离床监控方法，其特征在于，包括：
S101：获取病房内的真彩图像数据和深度图像数据；
S102：从所述真彩图像数据中获取患者体型检测框和病床检测框；
S103：结合所述深度图像数据，获取所述患者体型检测框和所述病床检测框的三维点云数据；
S104：根据所述三维点云数据确定代表患者和病床确切位置的点云质心，计算患者与病床的实际距离；
S105：基于所述实际距离，判断所述病房是否存在所述患者，若存在，进入S106，否则，进入S110；
S106：记录所述患者的离床时长，在所述离床时长大于预设时长的情况下，进入S110；
S107：从所述患者体型检测框中提取所述患者的多个体型关键节点，构建所述患者的简化模型，其中，所述体型关键节点包括头部节点、颈部节点、腹部节点、左胯节点、左膝盖节点、左脚踝节点、右胯节点、右膝盖节点和右脚踝节点，所述简化模型为所述体型关键节点之间相互连接得到的表示患者体态的连接方式；
S108：建立所述简化模型的二维坐标系，确定跌倒判别条件，其中，所述跌倒判别条件包括患者身体长宽比、所述腹部节点和所述颈部节点的连线与x轴的第一水平夹角、左胯节点和左膝盖节点的连线与x轴的第二水平夹角、右胯节点和右膝盖节点的连线与x轴的第三水平夹角；
S109：通过所述跌倒判别条件判断所述患者是否跌倒，若是，进入S110；
S110：发出警报。
2.根据权利要求1所述的患者离床监控方法，其特征在于，所述S102具体为：
S1021：通过边缘检测算法获取所述患者体型检测框和所述病床检测框。
3.根据权利要求1所述的患者离床监控方法，其特征在于，所述S103具体包括：
S1031：循环遍历所述患者体型检测框和所述病床检测框对应的深度图像数据，获取所述患者体型检测框和所述病床检测框对应的深度像素点；
S1032：设置距离阈值和灰度阈值；
S1033：根据所述距离阈值和所述灰度阈值，剔除所述深度像素点中的噪点，分别建立所述患者体型检测框和所述病床检测框的三维点云数据(x,y,z)：
其中，cx、cy、fx、fy表示所述真彩图像数据中的内部参数，th1表示所述距离阈值，th2表示所述灰度阈值，gray表示灰度图像数据，rgb(i,j)[0]、rgb(i,j)[1]和rgb(i,j)[2]分别表示所述真彩图像数据的蓝色通道像素值、绿色通道像素值和红色通道像素值，depth表示所述深度图像数据，i,j分别表示所述深度像素点的列坐标和行坐标。
4.根据权利要求1所述的患者离床监控方法，其特征在于，所述S104具体包括：
S1041：计算所述患者和所述病床的点云质心：
其中，pose患者(x1,y1,z1)表示所述患者的点云质心，pose病床(x2,y2,z2)表示所述病床的点云质心，Pi∈pointCloud患者表示所述患者体型的三维点云数据，Pj∈pointCloud病床所述病床的三维点云数据，n表示所述患者体型的三维点云数据中的点数量，m表示所述病床的三维点云数据中的点数量；
S1042：根据代表所述患者和所述病床确切位置的点云质心，计算所述患者和所述病床的实际距离：
其中，d表示所述患者和所述病床的实际距离。
5.根据权利要求1所述的患者离床监控方法，其特征在于，所述S105具体包括：
S1051：获取所述病床与所述病房的四周墙壁之间的最大距离；
S1052：在所述实际距离小于所述最大距离的情况下，确定所述病房存在所述患者；
S1053：在所述实际距离大于所述最大距离的情况下，确定所述病房不存在所述患者。
6.根据权利要求1所述的患者离床监控方法，其特征在于，所述S106具体为：
S1061：通过统计所述实际距离大于零的情况，记录所述离床时长。
7.根据权利要求1所述的患者离床监控方法，其特征在于，所述S107具体包括：
S1071：将所述患者体型检测框输入至所述卷积神经网络模型，提取包括多个待选体型关键点的特征图；
S1072：计算所述待选体型关键点的置信度：
其中，Ej(ξ)表示所述患者第j个待选体型关键点的置信度，ξ表示置信图上的任一点，tj表示真实的体型关键点位置，σ表示所述待选体型关键点的概率分布；
S1073：将所述置信度最大的待选体型关键点作为所述体型关键点；
S1074：计算相邻的体型关键点之间的趋势场：
η(α)＝(1-α)μ2+αμ1，α∈(0，1)
其中，P表示所述趋势场，μ1，μ2表示所述相邻的体型关键点，||μ2-μ1||2表示所述相邻的体型关键点所在关节的长度，η(α)∈[μ1,μ2]，表示所述体型关键点在所述关节上的单位向量，若所述体型关键点不在所述关节的情况下K(η(α))＝0；
S1075：根据所述趋势场和所述单位向量，将所述体型关键点进行连接，得到所述简化模型。
8.根据权利要求7所述的患者离床监控方法，其特征在于，所述S108具体包括：
S1081：计算所述患者身体长宽比H，所述第一水平夹角φ1、所述第二水平夹角φ2、所述第三水平夹角φ3：
φ1＝||arctan(yf-yj,xf-xj)||
φ2＝||arctan(yzk-yzg,xzk-xzg)||
φ3＝||arctan(yyk-yyg,xyk-xyg)||
其中，Δx表示所述患者的最大体宽，Δy表示所述患者的最大高度，arctan(·)表示三角函数的反正切运算，(xf,yf)表示所述腹部节点在所述二维坐标系下的坐标，(xj,yj)表示所述颈部节点在所述二维坐标系下的坐标，(xzk,yzk)表示所述左胯节点在所述二维坐标系下的坐标，(xzg,yzg)表示所述左膝盖在所述二维坐标系下的坐标，(xyk,yyk)表示所述右胯节点在所述二维坐标系下的坐标，(xyg,yyg)表示所述右膝盖节点在所述二维坐标系下的坐标，||·||表示绝对值运算。
S1082：设置患者身体长宽比阈值和身体倾角最大阈值和身体倾角最小阈值；
S1083：确定所述跌倒判别条件：
其中，τh表示所述患者身体长宽比阈值，τ2表示所述身体倾角最大阈值，τ1表示所述身体倾角最小阈值。
9.根据权利要求1所述的患者离床监控方法，其特征在于，所述S109具体为：
S1091：在所述患者身体长宽比、所述第一水平夹角、所述第二水平夹角和所述第三水平夹角均满足所述跌倒判别条件的情况下，确定所述患者未跌倒，否则，确定所述患者跌倒。
10.一种患者离床监控系统，其特征在于，用于执行权利要求1至9所述的患者离床监控方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310706743.XA CN116863500B (zh) | 2023-06-14 | 2023-06-14 | 一种患者离床监控方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310706743.XA CN116863500B (zh) | 2023-06-14 | 2023-06-14 | 一种患者离床监控方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116863500A true CN116863500A (zh) | 2023-10-10 |
| CN116863500B CN116863500B (zh) | 2024-05-10 |
Family
ID=88218161
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310706743.XA Active CN116863500B (zh) | 2023-06-14 | 2023-06-14 | 一种患者离床监控方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116863500B (zh) |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10475206B1 (en) * | 2017-01-04 | 2019-11-12 | Ocuvera | Medical environment event parsing system |
| CN110490080A (zh) * | 2019-07-22 | 2019-11-22 | 西安理工大学 | 一种基于图像的人体跌倒判别方法 |
| CN110633681A (zh) * | 2019-09-19 | 2019-12-31 | 天津天地伟业机器人技术有限公司 | 一种基于视频的离床检测方法 |
| CN111568437A (zh) * | 2020-06-01 | 2020-08-25 | 浙江大学 | 一种非接触式离床实时监测方法 |
| KR102205964B1 (ko) * | 2020-05-06 | 2021-01-21 | 주식회사 스위트케이 | 듀얼 카메라와 적외선 카메라를 이용한 낙상 예방 시스템 및 낙상 예방 방법 |
| CN112287759A (zh) * | 2020-09-26 | 2021-01-29 | 浙江汉德瑞智能科技有限公司 | 基于关键点的跌倒检测方法 |
| CN112669566A (zh) * | 2020-12-16 | 2021-04-16 | 问境科技(上海)有限公司 | 一种基于人体姿态分析的护理预警方法和系统 |
| US20210267491A1 (en) * | 2020-03-02 | 2021-09-02 | Charter Communications Operating, Llc | Methods and apparatus for fall prevention |
| CN114202722A (zh) * | 2021-11-24 | 2022-03-18 | 沈阳建筑大学 | 基于卷积神经网络和多判别特征的跌倒检测方法 |
| CN114495280A (zh) * | 2022-01-29 | 2022-05-13 | 吉林大学第一医院 | 一种基于视频监控的全天无陪护病房患者跌倒检测方法 |
| JP3238765U (ja) * | 2022-06-20 | 2022-08-19 | 伍碩科技股▲分▼有限公司 | 姿勢・動作識別システム |
| JP2022139507A (ja) * | 2021-03-12 | 2022-09-26 | グローリー株式会社 | 検知装置、検知方法、および学習モデル生産方法 |
| TW202249025A (zh) * | 2021-06-04 | 2022-12-16 | 亞東技術學院 | 離床辨識系統及離床辨識方法 |
| TWI797013B (zh) * | 2022-05-13 | 2023-03-21 | 伍碩科技股份有限公司 | 姿態動作辨識系統 |
| CN115937983A (zh) * | 2022-12-28 | 2023-04-07 | 广东中大讯通信息有限公司 | 基于多视角深度图像的病患跌倒检测方法与系统 |
-
2023
- 2023-06-14 CN CN202310706743.XA patent/CN116863500B/zh active Active
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10475206B1 (en) * | 2017-01-04 | 2019-11-12 | Ocuvera | Medical environment event parsing system |
| CN110490080A (zh) * | 2019-07-22 | 2019-11-22 | 西安理工大学 | 一种基于图像的人体跌倒判别方法 |
| CN110633681A (zh) * | 2019-09-19 | 2019-12-31 | 天津天地伟业机器人技术有限公司 | 一种基于视频的离床检测方法 |
| US20210267491A1 (en) * | 2020-03-02 | 2021-09-02 | Charter Communications Operating, Llc | Methods and apparatus for fall prevention |
| KR102205964B1 (ko) * | 2020-05-06 | 2021-01-21 | 주식회사 스위트케이 | 듀얼 카메라와 적외선 카메라를 이용한 낙상 예방 시스템 및 낙상 예방 방법 |
| CN111568437A (zh) * | 2020-06-01 | 2020-08-25 | 浙江大学 | 一种非接触式离床实时监测方法 |
| CN112287759A (zh) * | 2020-09-26 | 2021-01-29 | 浙江汉德瑞智能科技有限公司 | 基于关键点的跌倒检测方法 |
| CN112669566A (zh) * | 2020-12-16 | 2021-04-16 | 问境科技(上海)有限公司 | 一种基于人体姿态分析的护理预警方法和系统 |
| JP2022139507A (ja) * | 2021-03-12 | 2022-09-26 | グローリー株式会社 | 検知装置、検知方法、および学習モデル生産方法 |
| TW202249025A (zh) * | 2021-06-04 | 2022-12-16 | 亞東技術學院 | 離床辨識系統及離床辨識方法 |
| CN114202722A (zh) * | 2021-11-24 | 2022-03-18 | 沈阳建筑大学 | 基于卷积神经网络和多判别特征的跌倒检测方法 |
| CN114495280A (zh) * | 2022-01-29 | 2022-05-13 | 吉林大学第一医院 | 一种基于视频监控的全天无陪护病房患者跌倒检测方法 |
| TWI797013B (zh) * | 2022-05-13 | 2023-03-21 | 伍碩科技股份有限公司 | 姿態動作辨識系統 |
| JP3238765U (ja) * | 2022-06-20 | 2022-08-19 | 伍碩科技股▲分▼有限公司 | 姿勢・動作識別システム |
| CN115937983A (zh) * | 2022-12-28 | 2023-04-07 | 广东中大讯通信息有限公司 | 基于多视角深度图像的病患跌倒检测方法与系统 |
Non-Patent Citations (2)
| Title |
|---|
| HIDEKI KOMAGATA ET AL.: "Semi-Automatic Calibration Method for a Bed-Monitoring System Using Infrared Image Depth Sensors", 《SENSORS》, pages 1 - 20 * |
| 徐九韵;连佳欣;: "基于人体行为模型的跌倒行为检测方法", 计算机系统应用, vol. 29, no. 06, pages 189 - 195 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116863500B (zh) | 2024-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109919132B (zh) | 一种基于骨架检测的行人跌倒识别方法 | |
| CN108629946B (zh) | 一种基于rgbd传感器的人体跌倒检测方法 | |
| US10095930B2 (en) | System and method for home health care monitoring | |
| CN105283129B (zh) | 信息处理装置、信息处理方法 | |
| Ye et al. | A depth camera motion analysis framework for tele-rehabilitation: Motion capture and person-centric kinematics analysis | |
| Li et al. | Improved method for automatic identification of lung regions on chest radiographs | |
| JP4813476B2 (ja) | 患者の臨床傾向を数値化し、状態の進行を監視するシステム及び方法 | |
| JP6822328B2 (ja) | 見守り支援システム及びその制御方法 | |
| SG188111A1 (en) | Condition detection methods and condition detection devices | |
| KR20140110484A (ko) | 영상정보를 이용한 위험 행동 검지방법 | |
| CN107122754A (zh) | 姿势识别方法和装置 | |
| CN111448589B (zh) | 用于检测患者的身体移动的设备、系统和方法 | |
| CN111191499B (zh) | 一种基于最小中心线的跌倒检测方法及装置 | |
| CN116863500B (zh) | 一种患者离床监控方法和系统 | |
| CN114202797A (zh) | 行为识别方法、装置和存储介质 | |
| CN117291804A (zh) | 基于加权融合策略的双目图像实时拼接方法、装置及设备 | |
| Martinez et al. | “BAM!” depth-based body analysis in critical care | |
| CN113271848B (zh) | 身体健康状态影像分析装置、方法以及系统 | |
| Iakovidis et al. | Robust model-based detection of the lung field boundaries in portable chest radiographs supported by selective thresholding | |
| CN114495256A (zh) | 一种基于深度传感器和机器学习的异常跑姿识别方法 | |
| JP2022139507A (ja) | 検知装置、検知方法、および学習モデル生産方法 | |
| ElSayed et al. | Body and visual sensor fusion for motion analysis in Ubiquitous healthcare systems | |
| JP2021076948A (ja) | 人検出装置、人検出システム、人検出方法 | |
| EP4176809A1 (en) | Device, system and method for monitoring a subject | |
| WO2024023893A1 (ja) | 人検出装置、人検出システム、プログラム及び人検出方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |