CN112739257A - 用于提供骨架模型的设备、系统和方法 - Google Patents

用于提供骨架模型的设备、系统和方法 Download PDF

Info

Publication number
CN112739257A
CN112739257A CN201980061477.1A CN201980061477A CN112739257A CN 112739257 A CN112739257 A CN 112739257A CN 201980061477 A CN201980061477 A CN 201980061477A CN 112739257 A CN112739257 A CN 112739257A
Authority
CN
China
Prior art keywords
patient
data
sensor
image
position data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980061477.1A
Other languages
English (en)
Inventor
B·拉米什哈内
J·米尔施泰夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN112739257A publication Critical patent/CN112739257A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/021—Measuring pressure in heart or blood vessels
    • A61B5/0215—Measuring pressure in heart or blood vessels by means inserted into the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114—Tracking parts of the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4538—Evaluating a particular part of the muscoloskeletal system or a particular medical condition
    • A61B5/4561—Evaluating static posture, e.g. undesirable back curvature
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/684—Indicating the position of the sensor on the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Artificial Intelligence (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Cardiology (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Rheumatology (AREA)
  • Vascular Medicine (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种用于提供骨架模型的设备、系统、方法和计算机程序，其中，所述设备包括：关节识别单元，其被配置为获得患者的图像和包括深度信息的对应的图像数据，并且通过定位所述图像中的患者的一个或多个关节来生成关节位置数据；姿势估计单元，其被配置为通过使用关节位置数据和/或图像数据估计患者的姿势来生成姿势估计数据；传感器位置单元，其被配置为获得包括关于传感器在患者身体上的位置的信息的身体位置数据和包括关于传感器在图像中的位置的信息的图像位置数据，并且基于所述身体位置数据和所述图像位置数据生成将图像中的传感器位置分配给患者的身体位置的传感器位置数据；分配单元，其被配置为通过使用所述关节位置数据、所述姿势估计数据和所述传感器位置数据来执行一个或多个关节到患者的一个或多个身体位置的分配；以及，骨架建模单元，其被配置为基于关节到身体位置的分配来生成患者的骨架模型。

Description

用于提供骨架模型的设备、系统和方法
技术领域
本发明涉及一种用于提供骨架模型的设备和系统，并且涉及一种用于提供骨架模型的对应方法和计算机程序。本发明还涉及一种用于定位患者的身体上的传感器的设备。
背景技术
用于连续监测患者活动的自动化方法改进了临床工作流程，并减轻了临床护理提供者的工作量负担。利用自动监测，当检测到某些异常患者行为时，能够及时向相关护理人员发出警报。此外，对患者活动的连续监测能够用于患者的行为剖析研究。为了诊断目的，行为剖析研究继而能够与诸如精神障碍、躁动、抑郁、睡眠障碍等临床状况相链接。
已经研究了许多用于自动患者监测的技术。基于相机的监测是为此目的有前途的技术之一。利用基于相机监测，能够记录可见身体部分的位置、方向和/或运动。其他监测方法与像加速度计的可穿戴传感器一起工作。然而，不同于相机，所述传感器仅捕获具体身体部分中的运动。
总体上，需要来自不同身体部分的精细运动信息，以提供对所执行的活动的可靠估计。例如，辨识如患者试图摘下呼吸面罩的危险事件，将需要来自手部以及可能还有头部和躯干的运动信息。
人体的骨架模型能够用于构建用于运动监测、活动辨识以及若干其他临床的应用和消费者应用。骨架模型提供人体的简洁表示，表示所有主要的身体部分和/或身体中的主要关节，如头部、肩膀、肘部、手、腿等。实际上，身体的骨架模型是以识别出的身体的主要关节表示的简笔画一样的图形。因此，骨架模型允许可靠的患者活动监测系统。
总体上使用深度成像技术来获得人体的骨架模型。实际上，深度相机(即，范围成像相机或3D相机)在骨架模型开发中正变得越来越流行，因为它们不会遭受2D相机所面临的局限性(如对动态照明的敏感)。对于从深度图像开发骨架模型，有许多方法和解决方案可用。这些方法特别是用于游戏应用。在这样的游戏应用中，骨架模型用于跟踪身体部分和/或关节的运动以进行游戏控制。更具体地，所识别的关节位置和相应的身体(部位)运动通常用于控制游戏中的角色。
尽管已经发现使用深度相机的骨架模型在游戏场景中使用越来越多并且受到欢迎，但到目前为止，这些解决方案在临床监测场景中仍然失败。这是由于医院的对象大多是以睡觉姿势躺着的事实。因此，尚未深入研究在临床监测场景中使用深度成像的骨架模型的应用。在游戏场景中，对象直接面对相机，所有主要关节都直接且清晰可见。相反，在临床监测场景中，对象通常被发现是以睡觉姿势，对象可能不是直接面对相机，因此主要关节可能无法明确识别。实际上，最具挑战性的姿势是对象以其身体一侧躺着的姿势。
假定将深度相机悬挂在病床上方的天花板上(实际上，这是相机唯一可行的位置)，则当患者仰卧时，患者的身体关节清晰可见。因此，能够可靠地获得骨架模型。然而，如果患者在其身体一侧躺着，则至少不是所有的身体关节都清晰可见。在这样的侧向位置中，特别是对于上身部分，在身体的左边和右边部分的关节之间存在混淆。具体地，左臂和右臂通常在深度和空间维度二者上彼此非常靠近。
假定如此复杂的姿势，例如，尝试从深度成像提供骨架模型的现有方法不能准确地区分右肘和右手与左肘和左手。没有可靠的方法来分辨具体的身体部分区域是左肘还是右肘，因为这些区域在具体姿势下非常靠近彼此。左手和右手也保持有同样的混淆。即使是现有的基于深度学习的算法，在准确识别哪些关节属于左边身体部分哪些关节属于右边身体部分方面也受到混淆。这导致骨架模型中，右肩与左肘和左手相链接，左肩与右肘和右手相链接。
限制利用深度相机的姿势检测的准确性的另一个因素是，头部取向不是身体语料库(corpus)的姿势的可靠指标。
因此，骨架模型的可靠性可能受到很大损害，并且不能保证可靠的患者监测。尽管对于游戏应用，游戏者有时可能会被发现处于难以辨别各个身体部分的位置中，然而正确分配身体区域的失败可能不会危及生命。然而，在患者监测中，监测结果必须绝对可靠。
WO 2015/078735 A1公开了一种用于获得对象的脉搏传播时间和/或脉搏波速度信息的设备和方法。基于一组对象的图像帧和检测到的对象的省体部分的运动，从不同的非移动身体部分中选择感兴趣区域，并且根据所采集的PPG信号和相应感兴趣区域之间的相应确定的物理距离来获得脉搏传播时间和/或脉搏波速度信息，所述PPG信号是从不同的感兴趣区域提取的。
WO 2018/104359 A1涉及脉搏波速度的确定，例如用于具体地在睡眠期间的血压监测。
US 9 892 611 B1公开了一种方法和系统，其允许医疗保健提供者、医院、熟练的护理设施和其他人员监测残疾人、老年人或其他高风险个体，以在需要的情况下通过递送由这种监测个体做出的“处于危险中”行为和跌倒的自动通知来预防或减少跌倒和/或减轻跌倒的影响。两个系统用于识别患者，通过生物识别指示器识别患者的骨架跟踪系统和虚拟斑点检测系统。
发明内容
本发明的目的是提供一种允许可靠和准确的骨架模型构建的解决方案。本发明的具体目的是避免在临床患者监测中关于身体部分辨别的模糊。
在本发明的第一方面，提出一种用于提供患者的骨架模型的设备，设备包括：
关节识别单元，其被配置为获得患者的图像和包括深度信息的对应的图像数据，并通过在所述图像中定位患者的一个或多个关节来生成关节位置数据，
姿势估计单元，其被配置为通过使用关节位置数据和/或图像数据估计患者的姿势来生成姿势估计数据，
传感器位置单元，其被配置为获得包括关于传感器在患者的身体上的位置的信息的身体位置数据和包括关于传感器在图像中的位置的信息的图像位置数据，并且基于身体位置数据和图像位置数据来生成将图像中的传感器位置分配给患者的身体位置的传感器位置数据，
分配单元，其被配置为通过使用关节位置数据、姿势估计数据和传感器位置数据来执行一个或多个关节到患者的一个或多个身体位置的分配，以及
骨架建模单元，其被配置为基于将关节到身体位置的分配来生成患者的骨架模型。
在本发明的第二方面，提出一种用于提供患者的骨架模型的系统，系统包括：
根据本文所公开的至少一个实施例的用于提供患者的骨架模型的设备，以及
一个或多个传感器，其被配置为通过检测患者的一个或多个生命体征而生成一个或多个传感器信号，和/或深度相机，其被配置为采集患者的图像并生成包括深度信息的对应的图像数据。
在本发明的第三方面，提出一种用于提供患者的骨架模型的方法，方法包括以下步骤：
获得患者的图像和包括深度信息的对应的图像数据，并且通过在所述图像中定位患者的一个或多个关节来生成关节位置数据，
通过使用关节位置数据和/或图像数据估计患者的姿势来生成姿势估计数据，
获得包括关于传感器在患者的身体上的位置的信息的身体位置数据和包括关于传感器在图像中的位置的信息的图像位置数据，并且基于身体位置数据和图像位置数据来生成将图像中的传感器位置分配给患者的身体位置的传感器位置数据，
通过使用关节位置数据、姿势估计数据和传感器位置数据来执行一个或多个关节到患者的一个或多个身体位置的分配，以及
基于关节到身体位置的分配来生成患者的骨架模型。
在本发明的另一方面，提供一种相应的计算机程序，其包括程序代码装置和非暂时性计算机可读记录介质，当所述计算机程序在计算机上执行时，所述程序代码装置使计算机执行本文所公开的方法的步骤，在所述计算机可读记录介质中存储了计算机程序产品，当由处理器运行时，所述计算机程序产品使本文所公开的方法得以执行。
在从属权利要求中定义了本发明的优选实施例。应当理解，所要求保护的系统、方法以及计算机程序和介质具有与所要求保护的设备相似和/或相同的优选实施例，具体如从属权利要求中所定义和本文所公开的。
本发明基于这样的思想，即，提供一种允许改进的骨架模型开发的设备。最重要的是，旨在提高骨架模型的可靠性和准确性，特别是在临床环境中，患者可能侧躺在床上，甚至可能挤在一起。在这种复杂的环境中，设备应当具体能够相对于其各自的身体侧面区分身体部分，尤其是关节。更具体地，应当提供一种设备，所述设备能够准确地评估左上和右上身体部分的位置。这继而允许更可靠且更准确的骨架模型开发。
首先，使用深度图像和对应的深度图像数据(即，包括深度信息的图像数据)对患者的关节的位置进行初始估计。优选地，至少患者的主要关节被定位在图像中，其中，术语“关节”应当以宽泛的方式解释，并且具体地包括头部、肩膀、肘部、腕部、臀部(具体是臀部的骨头)、膝盖和脚后跟中的任何一个。为了推断关节的位置，首先必须识别患者的关节，即必须识别具体的图像区域以表示关节。这可以通过常见的图像辨别程序来实现。实际上，已经提出了用于关节位置识别的许多方法。尽管某些程序使用启发式规则进行关节位置识别，但也存在高级的数据驱动方法。例如，可以训练随机森林分类器来识别对应于具体关节类型的身体片块，即具体尺寸的图像区域。
然而，即使关节识别(意味着识别图像中是否存在关节)和位置可以伴随着识别关节相对于其在患者体内的类型或定位，但不能由该单元执行对应于左、右身体部分的关节之间的可靠的混乱消除。实际上，所述单元主要试图以预定的可能性找出可能表示关节的图像部分。
知晓图像中患者的关节位置，姿势估计单元可以估计患者在他/她的床上的位置和取向。除了由关节位置单元提供的关节位置数据之外，姿势估计单元还可以使用对应于示出患者的深度图像的图像数据，并且根据所述数据推断姿势信息。
总体上，姿势估计能够使用常见的图像辨别算法来执行，例如通过训练机器学习模型(具体的深度学习模型)。
另一方面，关节位置可以用于推断患者的姿势。然而，为了得到可靠的姿势估计，优选地，必须由关节识别单元定位并提供至少5个关节(头部、两个肩部和两个肘部/手部关节)。
在分配单元中，执行图像中的一个或多个关节的位置到患者的一个或多个身体位置的分配。
为此，使用患者在图像中的位置和取向(即，患者的姿势/姿态)以及将关节定位在其身体的关节位置数据。除此之外，分配单元获得传感器位置数据。
传感器位置数据是将患者传感器的位置分配给患者的身体位置以及在图像中的位置的数据。例如，传感器位置数据可以提供附接在患者右手上的光电体积描记PPG传感器的信息。此外，传感器位置数据提供所述传感器所定位的图像的坐标处的信息。
应当理解，对于设备的分配单元以及可能的其他单元而言，预先确定关于身体位置的术语的含义，例如“左”、“右”、“上”或“下”。
通过组合身体位置数据和图像位置数据，在传感器位置单元中生成传感器位置数据，即，包括关于传感器在患者身体上的位置的信息并且包括关于传感器在图像中的位置的信息的数据。具体地，例如，可以从患者监测器获得身体位置数据。
一旦知道了相对于患者身体和图像二者的传感器位置，并且知道了患者在床上的姿势，分配单元就将一个或多个关节的位置分配给患者的一个或多个身体位置。
更准确地说，除了描述患者的姿势的数据外，所述分配单元还被配置为接收关于传感器位置的信息。然后，所述传感器位置数据支持关节到各个身体区域的分配。除了给定的数据外，也可以在此处理阶段中使用关于关节属于身体的左侧还是右侧的概率的任何先验信息。换言之，在所提出的设备中，次要信息源用于支持对身体部分的混乱消除。这对侧躺睡眠姿势中的患者特别有用，因为很难准确地识别上身的左侧和右侧的关节。
例如，在第一步中，分配单元可以使用关节位置数据和姿势估计数据将所识别的关节分配给一个或多个身体区域。根据关节识别数据，图像中的关节的位置是已知的，并且根据姿势估计数据，图像中患者的位置/姿势是已知的。由于它们在图像中的位置，能够将关节分配给相应的身体部分。
然而，由于上述针对具体身体姿势的困难，所述第一次分配可能是不正确的。具体地，在这种分配中，上身部分的关节的身体侧可能会混淆。因此，在第二步骤中，传感器位置数据用于支持并可能校正第一次分配。例如，传感器位置数据可以包括PPG传感器位于患者的右手食指处并且血压BP传感器被附接至患者的左上臂的信息。同时，传感器位置数据例如以图像坐标的形式提供关于各个传感器在图像内的位置的信息。因此，患者右手食指和患者左上臂在图像中的位置是已知的。因而，随后能够将被识别为处于传感器位置(即，位于距传感器位置预定距离)的关节明确地分配给相应的身体区域。例如，能够将识别为位于PPG传感器位置的关节明确地分配给患者的右手食指。因此，能够排除所述关节属于患者的左手指。
总体上，关节被定位地越多，已知传感器位置(相对于图像及其在患者身体上的位置)越多，关节分配的质量就越高。具体地，可用的关节位置可以明确地分配为属于患者身体左侧或者身体右侧。
然后，身体关节相对于患者姿势的精确分配允许对患者的正确骨架模型进行建模。为了生成骨架模型，通过直线根据关节(被推断为)所属的身体区域来链接关节。相应地，骨架建模单元生成以识别出的身体的主要关节表示的简笔画一样的图形。事实上，骨架建模单元可以使用最佳拟合算法来生成骨架模型。
在实施例中，用于提供患者的骨架模型的设备还包括传感器信息单元，其被配置为获得与患者的生命体征相对应的传感器信号，并且基于所述传感器信息来生成身体位置数据和/或姿势估计数据。
优选地，传感器信号包含关于由至少两个传感器测量的患者的生命体征的信息，其中，至少一个传感器在患者左侧身体部分上被附接至患者，并且至少一个其他传感器在患者右侧身体部分上被附接至患者。此外，各个传感器的位置大约与患者身体的高度相同。给定所述设置，身体左侧和右侧之间的生理差异导致对应于身体左侧和右侧的传感器的不同传感器读数。然而，还能够考虑来自单个传感器的测量以及与相关参考值的比较，以生成身体位置数据和/或姿势估计数据。例如，ECG数据可以用于对患者身体姿势的估计。事实上，心脏轴线的取向取决于身体在地球重力场中的位置和取向。因此，由于心脏电图案相对于身体表面的不同投影，不同身体姿势导致可靠且可重现的ECG信号变化。因此，通过与相关参考信号进行比较，ECG数据提供关于患者在其床上的姿势的信息。
传感器信号可以直接从传感器获得，其中，所述传感器可以被附接至患者的身体，或者传感器通过例如相机从一定距离处监测患者的生命体征。然而，传感器信号也可以从中间设备获得。
在另一个实施例中，所述设备还包括传感器辨识单元，其被配置为通过将传感器定位在图像中来生成图像位置数据。
例如，这可以通过使用被附接到传感器的具体标记来实现，其中，所述标记可以包括醒目的颜色、图案、形状或反射率。例如，手指PPG传感器可以通过传感器远离皮肤的一侧上的正方形图案和被连接到传感器的导线来识别和定位。
在另一个实施例中，姿势估计单元被配置为还使用传感器位置数据来生成姿势估计数据。
例如，将BP传感器附接至患者的右上臂的信息可以帮助区分右上臂与其他身体部分，因此可以帮助弄清楚患者的姿势。
在优选实施例中，与生命体征相对应的传感器信号包括心电图数据、光电体积描记数据、血压数据、体温数据、血氧饱和数据、脉搏率数据，脉搏强度数据和脉搏到达时间数据中的任何一种。
心电图ECG数据包括例如P-波数据、对应于QRS复合波的数据(具体是R峰的数据)和T-波数据中的任何一种。
光电体积描记PPG是一种用于检测外周循环中血液的体积变化的光学技术。PPG数据具体包括关于归因于每次心跳时血液体积的心脏同步变化的脉动(“AC”)生理波形的数据，以及关于具有归因于呼吸的各种低频分量的缓慢变化(“DC”)的基线上的叠加波形的数据。PPG信号通常由脉搏血氧仪获得。
作为范例，传感器信息单元可以被配置为获得两个PPG信号和ECG信号，其中，两个PPG信号分别对应于在患者的左手指和右手指上进行的测量。根据不同信号的具体特征，可以推断关于各个传感器位置的信息，具体地，PPG传感器是否被附接在左手指或右手指上的信息。一个这样的特征是脉搏到达时间PAT，它是脉搏到达具体身体位置所花费的持续时间。可以将PAT计算为ECG中的R峰值与PPG波形的对应最大值之间的时间延迟。可以针对患者的左侧和右侧身体二者测量PAT。由于从心脏到左手指和右手指部位的路径长度存在微小差异，因此各个脉搏到达时间也存在差异。由于心脏在人体中的位置，与患者的左手指相对应的PAT通常短于与右手指相对应的PAT。因此，能够通过传感器信息单元容易地区分PPG传感器，以分别生成将PPG传感器的位置分配给左手指和右手指的传感器位置数据。当仅使用单个PPG传感器时，仍能够使用事先获得的(从患者或类似于患者的人群中导出的)参考值，将从传感器获得的PPG信号分配为源自身体的左侧或右侧。
除了脉搏到达时间以外，还能够由传感器信息单元使用其他几种基于PPG的特征来区别和推断所记录的信号是来自身体的左侧还是右侧。所述其他基于PPG的特征可以包括刚度指数和/或基于二阶导数的PPG形态特征。因此，可以在传感器信息单元中提供分类器，其被训练为使用一个或多个PPG特征来区别是信号是从身体的左侧还是右侧采集的。
在有利的实施例中，姿势估计单元被配置为区分其中患者以仰卧姿势躺着的仰卧姿势、其中患者俯卧躺着的俯卧姿势和其中患者在其身体一侧躺着的侧卧姿势。
然而，姿势估计单元还可以被配置为进一步识别腹部姿势和/或可能没有明确指派为前述姿势的姿势(即，姿态)，例如蜷起来的姿势。利用适当的训练范例，能够使用深度图像作为输入，利用经训练的机器学习模型来检测此类姿势。
在用于提供骨架模型的设备的又一实施例中，姿势估计单元被配置为通过识别图像中的一个或多个关节的分布来估计患者的姿势。
在仰卧或腹部位置中，关节围绕从患者的头部到其臀部延伸的轴线对称分布。然而，当侧躺时，关节朝向所述身体轴线的一侧聚集。因此，如果(从患者上方的相机查看)发现在身体轴线的右边比身体轴线的左边显著更多的关节，则姿势识别单元假定患者正躺在他的左侧，他的手臂和腿向床的右侧倾斜。
在设备的又一实施例中，关节识别单元被配置为在图像中定位一个或多个极值点，其中，姿势估计单元被配置为通过识别所述极值点在图像中的分布来估计患者的姿势。
类似于关节的位置，当以仰卧位置躺着时，深度图像中的极值点围绕主身体轴线(即，矢状轴)对称分布。然而，当以身体侧躺着时，这些点会聚集到主身体轴线的一侧。
在一些方法中，例如，基于图像中的极值点来识别关节位置，其中，极值点通过相对于其周围区域的对比度差异和/或身体曲率来识别。此外，从如通过这种通用方法所估计的身体重心到所识别的极值点的路径的特征随后被用于将所述极值点分类为具体的关节类型。
在有利的实施例中，关节识别单元使用机器学习方法，具体使用深度学习算法，更具体地使用卷积神经网络来(识别和)定位一个或多个关节。
基于卷积神经网络(CNN)的架构可以使用来自各个身体部分的深度图像片块来训练。然后，经训练的网络可以能够进行图像分割并将其识别为是关节类型之一或不是关节类型之一。
在另一实施例中，用于提供患者的骨架模型的设备还包括跟踪单元，其被配置为基于两个或多个后续深度图像和对应的两个或多个骨架模型来跟踪患者的运动。
具体地，比较极值点和/或所识别的关节的位置。对于患者姿势的估计也可以发生比较。根据检测到的差异，可以推断一个或多个身体部分的运动方向。因此，可以跟踪患者的运动，具体地，在两个以上的图像在更长的时间内相互比较的情况下。在某些先进的方法中，可以使用跟踪引擎来逐帧平滑骨架模型中的变化。
在设备的又一实施例中，跟踪单元被配置为执行两个或多个骨架模型之间的比较，其中，关节位置单元被配置为基于所述比较来调整关节位置数据，和/或，其中，骨架建模单元被配置为基于所述比较来调整骨架模型。同样，可以调整患者姿势的估计或关于极值点的分析。事实上，可以仅存在对推断出的关节位置和/或极值点位置等的调整，然而，也可以发生在关节识别单元和/或姿势估计单元中所使用的方法的调整。
还提出了一种用于将传感器定位在患者的身体上的设备，所述设备包括
比较单元，其被配置为：获得与患者的生命体征相对应的左传感器信号和右传感器信号，其中，左传感器信号是从检测患者身体的左侧部位的生命体征的左传感器获得的，右传感器信号是从检测患者身体的右侧部位的生命体征的右传感器获得的；并且，执行左传感器信号和右传感器信号彼此之间的特征的比较和/或与参考值之间的比较。
分析单元，其被配置为根据所述比较，通过将左传感器和右传感器定位在患者的身体上来生成身体位置数据。
附图说明
参考下文描述的实施例，本发明的这些和其他方面将变得显而易见。在以下附图中：
图1示出了根据本发明的用于提供患者的骨架模型的设备的第一实施例的示意图，
图2示出了根据本发明的用于提供患者的骨架模型的设备的第二实施例的示意图，
图3示出了根据本发明的用于提供患者的骨架模型的设备的第三实施例的示意图，
图4示出了根据本发明的用于提供患者的骨架模型的系统的第一实施例的示意图，
图5示出了根据本发明的用于提供患者的骨架模型的系统的第二实施例的示意图，
图6示出了根据本发明的用于提供患者的骨架模型的系统的第三实施例的示意图。
图7示出了根据本发明的用于将传感器定位在患者的身体上的设备的实施例的示意图，
图8A和8B示出了从患者的左手指和右手指同时获得的PPG信号，
图8C显示了相同的PPG信号以及同时测量的ECG信号，
图9A示出了根据左手指PPG信号和右手指PPG信号分别计算的脉搏到达时间，
图9B示出了用于来自左手指和右手指的PPG信号的脉搏到达时间值的分布，
图10示出了根据本发明的用于提供患者的骨架模型的方法的第一实施例的流程图，以及
图11示出了根据本发明的用于提供患者的骨架模型的方法的第二实施例的流程图。
具体实施方式
图1示出了根据本发明的用于提供患者的骨架模型的设备10的第一实施例的示意图。设备10包括关节识别单元12、姿势估计单元14、传感器位置单元16、分配单元18和骨架建模单元20。
在该实施例中，关节识别单元12被配置为获得患者的图像和对应的图像数据22，其中，所述图像数据22包括深度信息。使用图像数据22，关节识别单元12被配置为在所述图像数据22中识别和定位患者的一个或多个关节。换言之，关节识别单元12被配置为将关节分配给由图像数据22所表示的图像中的位置。然后，所生成的将被识别的关节分配到图像中的位置的关节位置数据24被提供给姿势估计单元14和分配单元18二者。姿势估计单元14还被提供有来自关节识别单元12的图像数据22。
使用图像数据22和关节位置数据24，姿势估计单元14通过估计患者的姿势来生成姿势估计数据26。在该实施例中，使用标准图像辨别算法并与关节位置数据24进行匹配来执行姿势估计。然后将姿势估计数据26提供给分配单元18。
与由关节识别单元12接收图像数据22同时，分配单元18获得传感器位置数据28，其中，所述传感器位置数据28将图像中的传感器位置分配给患者的身体位置。传感器位置数据28是由传感器位置单元16通过将身体位置数据30链接到图像位置数据32而生成的，其中，身体位置数据30包括关于传感器在患者的身体上的位置的信息，并且其中，图像位置数据32包括关于传感器在由图像数据22表示的图像中的位置的信息。
一旦关节位置数据24、姿势估计数据26和传感器位置数据28被提供给分配单元18，则所述单元被配置为执行将由关节识别单元12识别和定位的患者的一个或多个关节到患者的一个或多个身体位置的分配34。为此，仅使用关节位置数据24和姿势估计数据26执行第一分配。在第二步骤中，使用传感器位置数据28来校正第一步骤的分配。然后，经校正的分配34(即，没有关于关节的身体位置的模糊的分配)被提供给骨架建模单元20。
然后，骨架建模单元20根据所述无模糊的分配34生成骨架模型36。具体地，骨架建模单元20被配置为通过用直线连接明确标识的关节来生成简笔图形。
图2示出了设备10的第二实施例的示意图。在该实施例中，设备10包括关节识别单元12、姿势估计单元14、传感器位置单元16、分配单元18、骨架建模单元、传感器信息单元38和传感器识别单元40。
像设备10的第一实施例中一样，该实施例中的关节识别单元12被配置为在由图像数据22表示的深度图像中定位患者的一个或多个关节。然而，仅将对应的关节位置数据24提供给分配单元18。具体地，关节位置数据24不提供给姿势估计单元14。事实上，图像和对应的图像数据22仅被转发给姿势估计单元14。然而，由传感器信号42和传感器位置数据28进一步支持该实施例中的姿势估计。
传感器位置数据28由传感器位置单元16提供，并且包括关于被附接到患者的传感器相对于患者的身体以及相对于图像二者的位置的信息。为了生成传感器位置数据28，传感器位置单元16被提供有来自传感器信息单元38和传感器识别单元40的输入。
例如，假设患者在左手指和右手指上都有PPG传感器，并且在其胸部上有ECG传感器，则传感器辨识单元40被配置为识别和定位图像内的这些传感器。为了(识别和)定位图像中的传感器，可以使用具体的辨别算法。通过在图像中定位传感器，生成图像位置数据32。同时，在传感器信息单元38中分析所述传感器的传感器信号42。具体地，传感器信号42用于找到它们源自的身体位置。为此，传感器信息单元38可以从PPG信号导出脉搏到达时间，并且将各个时间与对应于具体身体部分的参考值进行比较。一旦知道了关于传感器相对于患者身体和图像的位置的信息，则传感器位置单元16将信息链接，以生成传感器位置数据28，所述传感器位置数据将图像中的传感器位置分配给患者的身体位置。
使用传感器位置数据28，可以支持姿势估计单元14中的姿势估计。利用传感器信号42本身，具体地利用ECG数据，可以进一步细化姿势估计。这是由于以下事实：当患者在地球重力场中移动时，ECG数据可能会发生变化。为此，可以提供存储在姿势估计单元14中的ECG数据的参考值，并且可以将测量到的ECG信号与参考值进行比较以找出关于患者在其床上的姿势。具体地，ECG数据可以帮助在患者的仰卧位置和腹部位置之间进行区分。事实上，ECG信号能够用于在各种不同的身体姿势之间进行区分。
然后，将所估计的患者姿势以姿势估计数据26的形式提供给分配单元18，以进行进一步处理。
图3示出了根据本发明的用于提供患者的骨架模型的设备10的第三实施例的示意图。在该实施例中，设备10包括关节识别单元12、姿势估计单元14、传感器位置单元16、分配单元18、骨架建模单元20、用户接口44和跟踪单元46。
关节识别单元12被配置为获得患者的两个或多个图像和对应的图像数据22。针对每个图像执行关节定位、姿势估计和关节分配34。
为了改善关节分配34，分配单元18被提供有传感器位置数据28，所述传感器位置数据28限定图像22内以及患者上的传感器的位置。使用传感器信息数据30和传感器辨识数据32在传感器位置单元16中生成传感器位置数据28。在该实施例中，从用户接口44获得传感器信息数据32，即包括关于传感器相对于患者的位置的信息的数据。具体地，用户(即，临床工作人员)可以在用户接口中手动输入与传感器位置相对应的信息。
在关节分配34之后，针对每个图像生成骨架模型36。然后将后续图像22的骨架模型36提供给跟踪单元46。此外，跟踪单元46被配置为获得与骨架模型36相对应的原始图像数据22。
跟踪单元46具体地将由图像数据22表示的后续图像彼此进行比较，并且也将对应于后续图像的骨架模型36进行比较。基于比较结果，跟踪单元46校正和/或细化每个图像的骨架模型36，并因此生成经校正的骨架模型48。然而，跟踪单元46也可以挑选出某些骨架模型36。例如，如果两个后续患者图像22没有实质性的不同，对应的骨架模型36也应该没有实质性的不同。然而，在两个图像22的骨架模型36不同的情况下，则跟踪单元46假定所述模型36中的至少一个是错误的。通过与其他的图像22和骨架模型36进行比较，能够识别有缺陷的骨架模型并且对其进行校正或将其挑选出来。然后经校正的骨架模型48返回到骨架建模单元20，并且可以用于进一步的处理。
此外，在该实施例中，跟踪单元46被配置为向关节识别单元12提供经校正的(一个或多个)骨架模型48。在关节识别单元12中，所述(一个或多个)模型48可以用于在由图像数据22表示的后续患者图像中定位关节。
还可以设想其他实施例，其中可以使用经校正的骨架模型48或其他骨架模型来支持姿势估计和/或关节到身体位置的分配34。
图4示出了根据本发明的用于提供患者的骨架模型的系统100的第一实施例的示意图。系统100包括设备10、相机50和被附接到患者的左手腕的左PPG传感器52以及被附接到患者的右手腕的右PPG传感器54。设备10包括关节识别单元12、姿势估计单元14、传感器位置单元16、分配单元18、骨架建模单元20、传感器信息单元38和传感器辨识单元40。
左PPG传感器52和右PPG传感器54分别提供左PPG信号56和右PPG信号58。传感器信息单元38分析PPG信号56和58，以找到患者每个手腕处的脉搏强度。由于人类心脏的位置，左手腕处的脉搏强度总体上高于右手腕处的脉搏强度。这也适用于其他等效的左右身体区域。通过比较由PPG信号56和58提供的脉搏强度，传感器信息单元38能够断定PPG信号56和58源自哪个传感器。在找不到任何脉搏强度差异的情况下，例如由于传感器信号56和58太弱，传感器信息单元38基于关于传感器52和54被附接的身体侧面(左手或右手)的默认临床实践来生成身体位置数据30。
然后，将由单元38找到的身体位置数据30提供给传感器位置单元16，所述传感器位置单元16还获得包括关于PPG传感器53和54在由图像数据22表示的图像中的位置的信息的传感器辨识数据32。传感器辨识数据32和身体位置数据30然后以传感器位置数据28的形式结合在一起。
传感器位置数据28随后被提供给设备10的分配单元18。分配单元18随后评估关节位置数据24、姿势估计数据26和传感器位置数据28，以找出正确的患者姿态，正确地将关节分配给它们对应的身体区域。随后，骨架建模单元20基于分配单元18的分配34来创建骨架模型36。
图5示出了根据本发明的用于提供患者的骨架模型36的系统100的第二实施例的示意图。系统100包括设备10、被附接到患者左手指的左PPG传感器52、被附接到患者右手指的右PPG传感器54、相机50以及用于将传感器定位在患者身体上的设备300。
左PPG传感器52和右PPG传感器54分别提供左PPG信号56和右PPG信号58。根据PPG信号56和PPG 58中的每一个，设备300(在下文中也称为患者监测器)计算脉搏到达时间。总体上，由于心脏在身体内的位置，来自身体的左侧部分的脉搏到达时间比来自身体的右侧部分的脉搏到达时间更短。然后，两个脉搏到达时间的后续比较允许设备300定位PPG信号起源的传感器52和54。与存储在设备300中的参考值的进一步比较可以细化结果，因此可以细化身体位置数据30。然而，在信号56和58太低的情况下，患者监测器300能够由于各种其他手段提供身体位置数据30。例如，可以由护士/临床人员在患者监测器300中手动输入与探头相连的身体侧。备选地，可以使用已建立的临床实践，针对给定护理环境/医院，身体的哪一侧(左手或右手)被连接用于监测的具体探头/传感器。然后，将由设备300找到的身体位置数据30提供给设备10的传感器位置单元16，以进行进一步处理。同时，生成图像位置数据32。为此，来自相机50的图像用于识别和定位将传感器52和54连接到患者监测器300的脉搏血氧测定电缆。这能够通过寻找电缆的物体特征来完成。
一旦传感器位置单元16已经从患者监测器300和传感器辨识单元40接收到关于PPG传感器的位置的信息，则将传感器的位置与所识别的关节的位置(如，来自身体的左侧或右侧的关节)链接起来。
图6示出了根据本发明的用于提供患者的骨架模型36的系统100的第三实施例的示意图。系统100包括设备10、被附接到患者右太阳穴的PPG传感器52、被附接到患者右臂的ECG传感器、相机50以及用于将传感器定位在患者身体上的设备300。
PPG传感器52提供PPG信号56，设备300根据所述PPG信号56计算脉搏到达时间。在该实施例中，PPG信号56是无线发送的。设备300将计算出的脉搏到达时间与存储在设备300的存储器中的参考值进行比较，并使用所述比较来定位患者身体上的传感器52。然后，将由设备300找到的身体位置数据30提供给设备10的传感器位置单元16以进行进一步处理。同时，生成图像位置数据32。为此，来自相机50的图像用于通过其形状和外部施加的图案来识别和定位PPG传感器52。一旦传感器位置单元16已经从患者监测器300和传感器辨识单元40接收到关于PPG传感器的位置的信息，则将传感器的位置与所识别的关节的位置链接起来。具体地，所述关节可以被分配给患者的右侧身体部分。
被附接到患者右臂的ECG传感器60将ECG数据62提供给姿势估计单元14，其中，姿势估计单元14被配置为使用ECG数据62估计患者的姿势(即，生成姿势估计数据26)。由于心脏轴线的取向取决于身体在地球重力场中的位置和取向，因此不同的身体姿态导致不同的ECG信号。具体地，通过将ECG数据62与存储在姿势估计单元14中的ECG图案进行比较，其中，所述图案与对应的姿势一起存储，姿势估计单元14可以提取关于患者在其床上的姿态的信息。
图7示出了用于定位在患者身体上的传感器的设备300的实施例的示意图。设备300包括比较单元302、分析单元304和用户接口306。在该实施例中，比较单元302获得源自患者身体的左侧部分的PPG信号56和源自患者身体的右侧部分的PPG信号58。然后，在比较单元302中，将信号56和58相对于包括(可能需要首先导出的)脉搏强度和/或脉搏到达时间的PPG信号特性彼此进行比较。此外，可以将信号56和58与包括在由用户接口306所提供的用户信息308中的参考值进行比较。然后将比较的结果310提供给分析单元304。使用比较的结果310，分析单元304可以向PPG信号56和58中的每一个分配信号从患者身体上起源的位置。具体地，分析单元304可以分配左PPG信号56和右PPG信号58是来自左侧身体部分还是右侧身体部分。可以利用由用户接口306提供的用户信息308来实现更精确的分配。例如，用户接口306可以提供PPG传感器是在患者手指上使用的传感器的信息。收集所有这些信息，分析单元304能够生成传感器信息数据28。
图8A和8B示出了从患者的左手指和右手指同时获得的PPG信号。所示信号是在2000Hz的采样频率下获得的。信号以任意单位示出，但来自左右手指的信号以该单位是可比较的。仅示出了来自左侧和右侧的信号的时间间隔，其中x轴描述所显示的时间间隔的样本编号。
图8C示出了分别来自左手指和右手指的相同的PPG信号81和82，以及同时测量的ECG信号83。这些信号沿y轴以任意单位绘制，并且通过将所有三个信号绘制在一起，旨在在此图中传达ECG信号和PPG信号中的峰值位置之类的信号特征的时间信息。所示的所有信号均以2000Hz的采样频率同步记录。为了清楚起见，仅示出了整个记录的时间间隔，图中的x轴表示对应的样本编号。已经使用了PPG的峰值，因为其能够被可靠地检测以计算脉搏到达时间(PAT)。其他PPG形态学基准点(如最陡的上冲位置)也能够用于此目的。PPG信号的最大值可能会由于对应的传感器被附接到身体的方式(例如，松紧程度)而发生波动。
图9A示出了分别从左手指PPG信号和右手指PPG信号计算出的脉搏到达时间91和92。脉搏到达时间(PAT)被计算为PPG信号的最大值与(对应的)ECG信号的最大值之间的时间差。能够针对图9A中所示的心动周期中的每次心跳来计算PAT，其中所计算的PAT以毫秒为单位绘制在y轴上。对应的心跳编号示出在x轴上，以描绘PAT在心跳之间如何变化。从图9A能够看出，对应于患者左手指处的测量的脉搏到达时间91总体上短于对应于患者右手指处的测量的脉搏到达时间92。两个脉搏到达时间之间的差范围从0毫秒(-2毫秒)到大约35毫秒。
图9B示出了分别来自左手指和右手指的PPG信号的脉搏到达时间值的分布93和94。已经使用核密度估计程序对图9A中绘制的PAT值计算这种分布。根据图9B，针对右手指PPG信号的脉搏到达时间总体上高于针对左手指PPG信号的脉搏到达时间。在大多数情况下，分别在左手指和右手指处测量到的PAT之间的差异约为17ms。这种差异是由于心脏在人体中的位置所致。由于心脏通常位于人的左侧，因此血液必须从心脏流向左手指的路径要比从心脏流向右手指的路径更短。因此，左手指中的脉搏比右手指中的脉搏更早到达。
图10示出了根据本发明的用于提供患者的骨架模型的方法的第一实施例的流程图。
在第一步骤S2中，例如从计算机获得患者的深度图像和对应的图像数据22。在下一步骤S4中，在图像中搜索患者传感器。被附接至传感器的特定标记可以有助于传感器辨识。在该步骤中，生成图像位置数据32。在步骤S6中，通过在由图像数据22表示的图像中定位患者的一个或多个关节来生成关节位置数据24。尽管在该第一实施例中在关节位置数据24之前生成图像位置数据32，然而还可以设想具有相反顺序的其他实施例。使用关节位置数据24和/或图像数据22本身，在步骤S8中估计患者在该床上的姿态。因此，在该步骤中生成姿势估计数据26。在步骤S10中，获得身体位置数据30，包括关于传感器在患者身体上的位置的信息。通过将所述数据与图像位置数据32组合，在步骤S12中生成传感器位置数据28。随后，在步骤S14中，将来自关节位置数据24、姿势估计数据26和传感器位置数据28的信息融合在一起，以得到图像中的关节位置与患者的身体部分之间的正确分配。给定关节到患者身体位置的分配，在步骤S16中生成骨架模型36。
图11示出了根据本发明的用于提供患者的骨架模型的方法的第二实施例的流程图。
与方法的第一实施例相反，在方法的第二实施例中，在获得患者的图像数据22之后直接获得身体位置数据30。然后，在步骤S4、S6和S8中，使用图像数据22同时生成关节位置数据24、姿势估计数据26和图像位置数据32。在步骤S12中，将图像位置数据32和身体位置数据30彼此链接以生成传感器位置数据28。在步骤S14中，将传感器位置数据28、关节位置数据24和姿势估计数据26融合在一起以执行关节明确，即，得到图像中的关节位置之间的正确分配。给定关节到患者身体位置的分配，在步骤S16中生成骨架模型36。随后，开始用于根据另一图像生成骨架模型的程序(S2)。一旦生成了对应于不同图像22的至少两个骨架模型36，则在S18中将不同的骨架模型彼此进行比较以跟踪患者的运动。此外，在该步骤中使用比较来细化用于获得骨架模型的方法并且细化骨架模型36本身。在可选步骤S20中，比较结果可以进一步用于细化关节识别单元12中对关节的识别和定位。
尽管已经在附图和前面的描述中详细地图示和描述了本发明，然而这样的图示和描述应当被认为是示意性或范例性的而非限制性的；本发明不限于所公开的实施例。通过研究附图、公开内容和所附权利要求，本领域普通技术人员在实践所要求保护的发明时能够理解和实现所公开的实施例的其他变型。
在权利要求中，词语“包括”不排除其他元件或步骤，并且不定冠词“一”或“一个”不排除多个。单个元件或其他单元能够实现权利要求中记载的若干项的功能。在互不相同的从属权利要求中记载某些措施的事实并不表示不能有利地使用这些措施的组合。
计算机程序可以存储在/分布在合适的非暂时性介质上，例如与其他硬件一起提供或作为其一部分提供的光学存储介质或固态介质，然而也可以以其他形式分布，例如仅有互联网或其他有线或无线电信系统。
权利要求中的任何附图标记都不应被解释为限制范围。

Claims (14)

1.一种用于提供患者的骨架模型(36)的设备(10)，所述设备(10)包括：
关节识别单元(12)，其被配置为获得所述患者的图像和包括深度信息的对应的图像数据(22)，并且通过在所述图像(22)中定位所述患者的一个或多个关节来生成关节位置数据(24)，
姿势估计单元(14)，其被配置为通过使用所述关节位置数据(24)和/或所述图像数据(22)估计所述患者的姿势来生成姿势估计数据(26)，
传感器位置单元(16)，其被配置为获得包括关于传感器在所述患者的身体上的位置的信息的身体位置数据(30)和包括关于所述传感器在所述图像(22)中的位置的信息的图像位置数据(32)，并且基于所述身体位置数据(30)和所述图像位置数据(32)来生成将所述图像(22)中的传感器位置分配给所述患者的身体位置的传感器位置数据(28)，
分配单元(18)，其被配置为通过使用所述关节位置数据(24)、所述姿势估计数据(26)和所述传感器位置数据(28)来执行所述一个或多个关节到所述患者的一个或多个身体位置的分配(34)，以及
骨架建模单元(20)，其被配置为基于所述关节到身体位置的所述分配(34)来生成所述患者的骨架模型(36)。
2.根据权利要求1所述的设备(10)，
还包括传感器信息单元(38)，所述传感器信息单元被配置为获得对应于所述患者的生命体征的传感器信号(42)，并且基于所述传感器信号(42)生成所述身体位置数据(30)和/或所述姿势估计数据(26)。
3.根据权利要求1或2所述的设备(10)，
还包括传感器辨识单元(40)，所述传感器辨识单元被配置为通过在所述图像(22)中定位所述传感器来生成图像位置数据(32)。
4.根据前述权利要求中的任一项所述的设备(10)，
其中，所述姿势估计单元(14)被配置为进一步使用所述传感器位置数据(28)来生成所述姿势估计数据(26)。
5.根据权利要求2至4所述的设备(10)，
其中，对应于生命体征的所述传感器信号(42)包括以下中的任何一种：心电图数据、光电体积描记数据、血压数据、体温数据、血氧饱和度数据、脉搏率数据、脉搏强度数据和脉搏到达时间数据。
6.根据前述权利要求中的任一项所述的设备(10)，
其中，所述姿势估计单元(14)被配置为在其中所述患者以仰卧姿势躺着的仰卧姿势、其中所述患者俯卧躺着的俯卧姿势、以及其中所述患者以其身体一侧躺着的侧卧姿势之间进行区分。
7.根据前述权利要求中的任一项所述的设备(10)，
其中，所述姿势估计单元(14)被配置为通过识别所述图像(22)中所述一个或多个关节的分布来估计所述患者的所述姿势。
8.根据前述权利要求中的任一项所述的设备(10)，
其中，所述关节识别单元(12)被配置为在所述图像(22)中定位一个或多个极值点，其中，所述姿势估计单元(14)被配置为通过识别所述极值点在所述图像(22)中的分布来估计所述患者的所述姿势。
9.根据前述权利要求中的任一项所述的设备(10)，
其中，所述关节识别单元(12)使用机器学习方法，具体地使用深度学习算法，更具体地使用卷积神经网络来定位所述一个或多个关节。
10.根据前述权利要求中的任一项所述的设备(10)，
还包括跟踪单元(46)，所述跟踪单元被配置为基于两个或多个后续深度图像(22)和对应的两个或多个骨架模型(36)来跟踪所述患者的运动。
11.根据权利要求10所述的设备(10)，
其中，所述跟踪单元(46)被配置为在所述两个或多个骨架模型(36)之间执行比较，其中，所述关节位置单元(12)被配置为基于所述比较来调整所述关节位置数据(24)，和/或，其中，所述骨架建模单元(20)被配置为基于所述比较来调整所述骨架模型(36)。
12.一种用于提供患者的骨架模型(36)的系统(100)，所述系统包括：
根据权利要求1至11所述的用于提供患者的骨架模型的设备(10)，以及
一个或多个传感器(52、54)，所述一个或多个传感器被配置为通过检测所述患者的一个或多个生命体征来生成一个或多个传感器信号，和/或深度相机(50)，所述深度相机被配置为采集所述患者的图像(22)并且生成包括深度信息的对应的图像数据(22)。
13.一种用于提供患者的骨架模型(36)的方法，所述方法包括以下步骤：
获得所述患者的图像和包括深度信息的对应的图像数据(22)，并且通过在所述图像(22)中定位所述患者的一个或多个关节来生成关节位置数据(24)，
通过使用所述关节位置数据(24)和/或所述图像数据(22)估计所述患者的姿势来生成姿势估计数据(26)，
获得包括关于传感器在所述患者的身体上的位置的信息的身体位置数据(30)和包括关于所述传感器在所述图像(22)中的位置的信息的图像位置数据(32)，并且基于所述身体位置数据(30)和所述图像位置数据(32)来生成将所述图像(22)中的传感器位置分配给所述患者的身体位置的传感器位置数据(28)，
通过使用所述关节位置数据(24)、所述姿势估计数据(26)和所述传感器位置数据(28)来执行所述一个或多个关节到所述患者的一个或多个身体位置的分配，并且
基于所述关节到身体位置的所述分配(34)来生成所述患者的骨架模型(36)。
14.一种用于提供患者的骨架模型的计算机程序，其包括程序代码单元，当在计算机上执行所述计算机程序时，所述程序代码单元用于使所述计算机执行根据权利要求13所述的方法的步骤。
CN201980061477.1A 2018-09-19 2019-09-19 用于提供骨架模型的设备、系统和方法 Pending CN112739257A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP18195442.1 2018-09-19
EP18195442.1A EP3626166A1 (en) 2018-09-19 2018-09-19 Device, system and method for providing a skeleton model
PCT/EP2019/075145 WO2020058390A1 (en) 2018-09-19 2019-09-19 Device, system and method for providing a skeleton model

Publications (1)

Publication Number Publication Date
CN112739257A true CN112739257A (zh) 2021-04-30

Family

ID=63642842

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980061477.1A Pending CN112739257A (zh) 2018-09-19 2019-09-19 用于提供骨架模型的设备、系统和方法

Country Status (5)

Country Link
US (1) US20220022777A1 (zh)
EP (2) EP3626166A1 (zh)
JP (1) JP7372966B2 (zh)
CN (1) CN112739257A (zh)
WO (1) WO2020058390A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220172850A1 (en) * 2019-04-02 2022-06-02 Cross Sync, Inc. Aggravation estimation system

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5891029A (en) * 1995-06-09 1999-04-06 Kyoto Daiichi Kagaku Co., Ltd. Method of and device for positioning a living body for biological measurement and apparatus for measurement of biological information
US20100298660A1 (en) * 2009-05-20 2010-11-25 Triage Wireless, Inc. Body-worn device and associated system for alarms/alerts based on vital signs and motion; also describes specific monitors that include barcode scanner and different user interfaces for nurse, patient, etc.
US20110208685A1 (en) * 2010-02-25 2011-08-25 Hariraam Varun Ganapathi Motion Capture Using Intelligent Part Identification
WO2011141268A1 (de) * 2010-04-15 2011-11-17 Uranus Capital S.A. Verfahren und vorrichtung zur vermessung der körperhaltung
CN102591459A (zh) * 2010-12-28 2012-07-18 微软公司 姿势状态分类
WO2012164482A1 (en) * 2011-05-30 2012-12-06 Koninklijke Philips Electronics N.V. Apparatus and method for the detection of the body position while sleeping
WO2015078735A1 (en) * 2013-11-27 2015-06-04 Koninklijke Philips N.V. Device and method for obtaining pulse transit time and/or pulse wave velocity information of a subject
CN105592781A (zh) * 2014-11-27 2016-05-18 英特尔公司 可穿戴式个人计算机和医疗设备
US20160247017A1 (en) * 2010-06-08 2016-08-25 Raj Sareen Method and system for body scanning and display of biometric data
CN106164995A (zh) * 2014-01-30 2016-11-23 飞利浦灯具控股公司 姿势控制
US20170020412A1 (en) * 2015-07-24 2017-01-26 Albert Davydov Method and apparatus for unambiguously determining orientation of a human head in 3d geometric modeling
CN106456134A (zh) * 2014-04-25 2017-02-22 皇家飞利浦有限公司 包括两个光学传感器的导管
US20170238849A1 (en) * 2016-02-19 2017-08-24 Trustees Of Dartmouth College Movement monitoring systems and methods
US9892611B1 (en) * 2015-06-01 2018-02-13 Cerner Innovation, Inc. Method for determining whether an individual enters a prescribed virtual zone using skeletal tracking and 3D blob detection

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014068714A (ja) * 2012-09-28 2014-04-21 Kitasato Institute 関節角度測定システム
EP3063496A4 (en) * 2013-10-24 2017-06-07 Ali Kord Motion capture system
JP2015102913A (ja) * 2013-11-21 2015-06-04 キヤノン株式会社 姿勢推定装置及び姿勢推定方法
JPWO2016151966A1 (ja) * 2015-03-23 2018-01-11 ノーリツプレシジョン株式会社 乳幼児監視装置、乳幼児監視方法、及び、乳幼児監視プログラム
JP2017068424A (ja) * 2015-09-29 2017-04-06 富士通株式会社 姿勢計測装置及び姿勢計測方法
US10898085B2 (en) * 2016-12-09 2021-01-26 Koninklijke Philips N.V. Pulse wave velocity determination, for example for blood pressure monitoring

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5891029A (en) * 1995-06-09 1999-04-06 Kyoto Daiichi Kagaku Co., Ltd. Method of and device for positioning a living body for biological measurement and apparatus for measurement of biological information
US20100298660A1 (en) * 2009-05-20 2010-11-25 Triage Wireless, Inc. Body-worn device and associated system for alarms/alerts based on vital signs and motion; also describes specific monitors that include barcode scanner and different user interfaces for nurse, patient, etc.
US20110208685A1 (en) * 2010-02-25 2011-08-25 Hariraam Varun Ganapathi Motion Capture Using Intelligent Part Identification
WO2011141268A1 (de) * 2010-04-15 2011-11-17 Uranus Capital S.A. Verfahren und vorrichtung zur vermessung der körperhaltung
US20160247017A1 (en) * 2010-06-08 2016-08-25 Raj Sareen Method and system for body scanning and display of biometric data
CN102591459A (zh) * 2010-12-28 2012-07-18 微软公司 姿势状态分类
WO2012164482A1 (en) * 2011-05-30 2012-12-06 Koninklijke Philips Electronics N.V. Apparatus and method for the detection of the body position while sleeping
WO2015078735A1 (en) * 2013-11-27 2015-06-04 Koninklijke Philips N.V. Device and method for obtaining pulse transit time and/or pulse wave velocity information of a subject
CN106164995A (zh) * 2014-01-30 2016-11-23 飞利浦灯具控股公司 姿势控制
CN106456134A (zh) * 2014-04-25 2017-02-22 皇家飞利浦有限公司 包括两个光学传感器的导管
CN105592781A (zh) * 2014-11-27 2016-05-18 英特尔公司 可穿戴式个人计算机和医疗设备
US9892611B1 (en) * 2015-06-01 2018-02-13 Cerner Innovation, Inc. Method for determining whether an individual enters a prescribed virtual zone using skeletal tracking and 3D blob detection
US20170020412A1 (en) * 2015-07-24 2017-01-26 Albert Davydov Method and apparatus for unambiguously determining orientation of a human head in 3d geometric modeling
US20170238849A1 (en) * 2016-02-19 2017-08-24 Trustees Of Dartmouth College Movement monitoring systems and methods

Also Published As

Publication number Publication date
EP3852619A1 (en) 2021-07-28
US20220022777A1 (en) 2022-01-27
EP3852619B1 (en) 2023-11-08
JP2022501103A (ja) 2022-01-06
JP7372966B2 (ja) 2023-11-01
WO2020058390A1 (en) 2020-03-26
EP3626166A1 (en) 2020-03-25

Similar Documents

Publication Publication Date Title
US10506952B2 (en) Motion monitor
Charlton et al. Breathing rate estimation from the electrocardiogram and photoplethysmogram: A review
US11612338B2 (en) Body motion monitor
Lamonaca et al. Health parameters monitoring by smartphone for quality of life improvement
RU2675036C2 (ru) Устройство и способ получения информации о показателях жизненно важных функций субъекта
JP6559780B2 (ja) 被験者のバイタルサイン情報を検出するデバイス及び方法
JP5855019B2 (ja) 周期的な生理学的信号を処理する方法及び装置
US20150320343A1 (en) Motion information processing apparatus and method
JP6616331B2 (ja) 対象の無呼吸を検出するための装置、システム及び方法
Mazomenos et al. Detecting elementary arm movements by tracking upper limb joint angles with MARG sensors
JP6520140B2 (ja) 情報処理装置、血圧値算出方法及びプログラム
JP2005218507A (ja) バイタルサイン計測方法と装置
JP2007517633A (ja) Ｅｃｇデータの視覚的三次元表現
JP2019516454A (ja) 対象上のウェアラブル装置の位置及び向きの少なくとも一方を決定する方法及び装置
WO2019173237A1 (en) Systems, devices, and methods for tracking and analyzing subject motion during a medical imaging scan and/or therapeutic procedure
JP2019513433A (ja) 対象の心拍数の変化を評価するシステム及び方法
JP2023532488A (ja) ２リードｑｔ間隔予測
Al-Khalidi et al. Facial tracking method for noncontact respiration rate monitoring
Iozza et al. Monitoring breathing rate by fusing the physiological impact of respiration on video-photoplethysmogram with head movements
JP7372966B2 (ja) 骨格モデルを提供するための装置、システム、装置の作動方法及びコンピュータプログラム
Jung et al. Estimation of tidal volume using load cells on a hospital bed
Boccanfuso et al. Collecting heart rate using a high precision, non-contact, single-point infrared temperature sensor
Schmidt et al. Real-time QRS detection using integrated variance for ECG gated cardiac MRI
WO2024086941A1 (en) Systems, devices, and methods for visualizing patient physiological data
Angelucci et al. Validation of a Wearable System for Respiratory Rate Monitoring in Dogs

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination