CN105072997A - 用于获得对象的呼吸信息的设备 - Google Patents

用于获得对象的呼吸信息的设备 Download PDF

Info

Publication number
CN105072997A
CN105072997A CN201480008895.1A CN201480008895A CN105072997A CN 105072997 A CN105072997 A CN 105072997A CN 201480008895 A CN201480008895 A CN 201480008895A CN 105072997 A CN105072997 A CN 105072997A
Authority
CN
China
Prior art keywords
source signal
motor message
equipment
signal
picture frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201480008895.1A
Other languages
English (en)
Inventor
G·德哈恩
单彩峰
侯京奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN105072997A publication Critical patent/CN105072997A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/113—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb occurring during breathing
    • A61B5/1135—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb occurring during breathing by monitoring thoracic expansion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/725—Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7253—Details of waveform analysis characterised by using transforms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2505/00—Evaluating, monitoring or diagnosing in the context of a particular type of medical care
    • A61B2505/03—Intensive care
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30076—Plethysmography
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Physiology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Analysis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明涉及用于尽管对象的运动但是可靠并且准确地获得所述对象的呼吸信息的设备和方法。所提出的设备包括：运动信号计算单元(30)，其用于针对对象的N个图像帧计算针对至少感兴趣区域的多个像素和/或多组像素的M个运动信号；变换单元(32)，其用于，针对一些或全部M个运动信号，通过将变换应用于各自的运动信号来计算表示所述图像内的独立运动的多个源信号，以获得表示所述N个图像帧内的独立运动的源信号；以及选择单元(34)，其用于通过检查针对所计算的所述源信号中的一些或全部的一个或多个性质，来从表示所述对象的呼吸的所计算的所述源信号中选择源信号。

Description

用于获得对象的呼吸信息的设备
技术领域
本发明涉及用于获得对象的呼吸信息的设备、方法及系统。
背景技术
人的生命体征，例如心率(HR)或诸如呼吸率(RR)的呼吸信息，能够充当严重医学事件的强大的预测指标。出于该原因，在重症监护病房中或在医院的一般病房中的日常现场检查中，常常在线监测呼吸率。呼吸率是最重要的生命体征之一，但是其在没有身体接触的情况下仍然难以测量。在当前重症监护病房中，胸部阻抗体积描记术或呼吸感应体积描记术仍然是选择的方法，其中，通常两个呼吸带被使用，以便辨别人的胸部呼吸运动与腹部呼吸运动。然而，这些方法对于被观测的患者而言是不舒适并且不愉快的。
最近，已经开发了基于相机的呼吸信号监测。利用该技术，能够利用摄像机从一定距离处非侵扰地监测人类呼吸，这相比于基于传统在体传感器(例如，ECG或弹力带)的解决方案具有优点。通过分析对象的胸部(或者腹部)区的视频来实现非接触测量，以测量周期性呼吸运动。
WO2012/140531A1公开了一种用于检测人的呼吸运动的呼吸运动检测装置。该检测装置检测由人发出和/或反射的电磁辐射，其中，该电磁辐射包括与人的呼吸率有关的连续或离散特性运动信号以及与人的运动有关或与环境状况有关的其他运动伪迹。该装置通过考虑数据处理模块来增加呼吸率测量的可靠性，所述数据处理模块适于通过考虑预先定义的频带、公共预先定义的方向或希望的幅度带和/或幅度分布图来从整体扰动分离呼吸率信号，以辨别不同信号。
能够通过使用固定摄像机来视觉地完成这样的非侵入性呼吸率测量。摄像机以图像的流捕获患者的胸部的呼吸运动。呼吸运动实现特定图像特征的时间调制，其中，调制的频率对应于被监测的患者的呼吸率。这样的图像范特征的例是被定位于患者的胸部周围的空间感兴趣区域中的平均幅度，或者随后的图像中的感兴趣区域的空间互相关的最大值的位置。获得的生命体征信息的质量和可靠性极大地受输入图像数据的质量的影响，所述输入图像数据的质量受对图像对比度的合适的选择以及所选择的感兴趣区域的影响。
由于其基于检测胸部/腹部区中的细微呼吸运动，因而基于相机的呼吸监测对对象的非呼吸运动敏感；在胸部/腹部区中观测到的任何非呼吸运动都可能引入测量误差。
发明内容
本发明的目的是提供一种用于以较高准确性及鲁棒性获得对象的呼吸信息(尤其是关于对象的非呼吸运动)的设备、方法及系统。
在本发明的第一方面中，提供了一种用于获得对象的呼吸信息的设备，其包括：
-运动信号计算单元，其用于针对对象的N个图像帧计算针对至少感兴趣区域的多个像素和/或多组像素的M个运动信号，
-变换单元，其用于，针对一些或全部运动信号，通过将变换应用于各自的运动信号来计算表示所述图像内的独立运动的多个源信号，以获得表示所述图像帧内的独立运动的源信号，以及
-选择单元，其用于通过检查针对所计算的所述源信号中的所述源信号中的一些或全部的一个或多个性质，来从表示所述对象的呼吸的所计算的所述源信号中选择源信号。
在本发明的又一方面中，提供了一种用于获得对象的呼吸信息的对应的方法以及系统，所述系统包括用于获得对象的N个图像帧的成像单元，以及用于通过使用对象的所述获得的N图像帧来获得对象的呼吸信息的如本文所公开的设备。
在本发明的又一方面中，提供了一种计算机程序以及一种非暂态计算机可读记录介质，所述计算机程序包括程序代码模块，所述程序代码模块用于，当所述计算机程序在计算机上执行时，令所述计算机执行处理方法的步骤，所述非暂态计算机可读记录介质在其中存储计算机程序产品，所述计算机程序产品在由处理器运行时，令本文所公开的方法被执行。
从属权利要求中定义了本发明的优选实施例。应当理解，所要求保护的方法、系统、计算机程序以及介质与所要求保护的并且如在从属权利要求中定义的设备具有相似和/或相同的优选实施例。
本发明基于这样的想法：根据多幅图像(例如，视频流或由相机获得的图像序列)通过若干处理步骤来确定呼吸信息，尤其是呼吸率。首先，针对图像中的一些或全部，至少在感兴趣区域(例如，对象的胸部或腹部区)内，逐像素和/或逐块(即，针对局部区域)地计算例如采取运动向量场的形式的运动信号。变换，例如盲信号分离(也被称为盲源分离)，被应用于所述运动信号，以获得表示所述图像内的独立运动的分离的一组源信号。最后，根据所述分离的源信号，通过例如基于所述分离的源信号与所述原始运动信号的相关性和/或所述分离的源信号的频率信息来检查所述源信号的一个或多个性质，来选择表示呼吸的所述源信号。以该方式，例如当非侵扰地监测常常示出非呼吸有关的运动的新生儿时，非呼吸有关的运动能够被排除并且更加可靠且准确的呼吸信息能够被获得。
在优选实施中，所述变换单元被配置为，针对所述M个运动信号中的P个，通过将变换应用到各自的P个运动信号以获得表示所述N个图像帧内的独立运动的Q个源信号，来计算表示所述图像内的独立运动的Q个源信号，其中，2≤P≤M并且2≤Q≤P。因此，通常少于P个运动信号的(Q个)源信号能够被计算。尤其是利用主成分分析作为变换，一旦变化降到低于被假设为对于作为呼吸而太小的水平，就能够有利地停止寻找另外的分量。
根据优选实施例，所述选择单元被配置为，针对所述Q个源信号中的一些或全部，检查本征值、变化、频率和/或所述源信号与对应的运动信号的相关性和/或空间相关性。因此存在用于选择表示所述呼吸运动的正确源信号的一个或多个选项。
在实施例中，其中，所述变换单元被配置为将盲信号分离应用于所述各自的运动信号。这样的盲信号分离是用于将所观测的混合的运动信号分离到不同分离的源信号中的有用算法。
优选地，所述变换单元被配置为通过将主成分分析(PCA)和/或独立成分分析(ICA)应用于所述各自的运动信号来计算所述多个源信号，以获得长度为N的所述源信号以及对应的本征值或变化。这些本征值测量在对应的源信号(即主成分)的方向中的所述原始运动信号数据的变化。这些分析是用于实施期望的变换的有用工具。
利用PCA和ICA，源信号是P个运动信号的线性组合。在实施例中，选择基于所述组合的加权系数(例如，最大的权重被给予相信可能是胸部/腹部区的区)。应理解，这些加权系数在本发明的背景下是“源信号的参数”。
此外，所述变换单元被配置为利用所述源信号的方向中的数据的对应的变化，来获得长度为N的所述多个源信号。总体而言，独立信号的方向中的原始数据的变化是期望的。在ICA的情况下，独立成分根据其被建立的系数向量的方向中的数据的变化优选地被使用。在PCA的情况下，利用主成分的方向中的数据的对应变化来获得长度为N的所述多个源信号。
如上面解释的，存在用于选择表示所述呼吸信号的所述源信号的各种选项。这些各种选项的组合常常将用于得到可靠选择。
根据一个实施例，所述选择单元被配置为通过使用所述本征值或变化，并且选择具有大于针对本征值的最小阈值并且小于针对本征值的最大阈值的所述本征值或变化的源信号，来选择来自所述源信号中间的源信号。能够通过检查图像帧中的希望的呼吸运动的合理的变化来以经验的方式确定这些阈值。它们确定针对呼吸的对象的可能帧到帧位移范围。这通常将取决于光学以及相机到对象的距离，但是如果范围被选择为不是太受限制则可以是固定的。
根据另一个实施例，所述选择单元被配置为通过使用所述源信号的主导频率来选择来自所述源信号中间的源信号，其中，所述源信号被选择为具有在包括希望的呼吸率的预先确定的频率范围内的主导频率分量。根据又一个实施例，所述选择单元被配置为通过使用所述源信号与所述运动信号的相关性来选择来自所述源信号中间的源信号，并且被配置为选择具有与所述对象的胸部或腹部区中的运动的最高相关性的所述源信号。最后，根据实施例，所述选择单元被配置为通过使用空间相关性来选择来自所述源信号中间的源信号，并且被配置为选择具有在所述图像帧内的最大空间一致区的源信号。
针对所述运动信号计算，还存在各种选项。在一个实施例中，所述运动信号计算单元被配置为计算包括所述M个运动信号的密集或稀疏运动向量场。在另一个实施例中，所述运动信号计算单元被配置为通过下采样、分组、平均或运动信号的非线性组合，来处理所述运动向量场，尤其是为了节省计算花费。
附图说明
本发明的这些和其他方面将根据下文描述的(一个或多个)实施例变得显而易见并且将参考下文描述的(一个或多个)实施例得到阐述。在附图中：
图1示出了描绘关于时间的婴儿运动的图，
图2示出了与参考信号相比的由已知方法获得的呼吸信号的图，
图3示出了根据本发明的设备和系统的图，
图4示出了运动向量场的图，
图5示出了显示若干源信号的图，
图6示出了图5中示出的源信号的功率谱的图，并且
图7示出了与参考信号相比的由提出的方法获得的呼吸信号的图。
具体实施方式
如上面提及的，对呼吸信息的检测基于对对象(通常是人，但也能够是动物)的身体部分的，尤其是胸部和/或腹部区的细微呼吸运动进行检测，所述身体部分示出由呼吸引起的运动。最好的位置通常包含边缘信息(针对可靠运动估计)以及由于呼吸的运动，这通常意味着它们被连接到胸部或腹部区域(但是这能够是覆盖新生儿或者肩膀的毯子或者在成人的针织衫上的清楚细节)。较小可能的区是趋向于独立于呼吸率运动的肢体或者寝具的不与胸部或腹部区域机械接触的部分。
这样的非侵扰的基于图像的呼吸监测对对象的非呼吸运动，即在各自的身体部分(例如，胸部和/或腹部区)中观测到的潜在地引入测量误差的任何非呼吸运动敏感。
一个主要的使用情形是对在新生儿ICU(NICU；新生儿重症监护病房)处的新生婴儿的非接触式呼吸监测。如在描绘关于时间(即，关于帧数F)的婴儿运动(即，运动的像素的百分比)的信号图图1中图示的，当他/她清醒时婴儿常常具有身体运动。婴儿的非呼吸运动令呼吸信号测量有噪声或不准确。
图2示出了当婴儿的身体运动时的当前呼吸监测的范例的信号图。尤其是，关于时间(即，关于帧数F)将根据已知方法从图像获得的测量的呼吸信号R1的强度I与由常规呼吸率检测器(例如，手环型传感器)或任何其他合适的测量装备(在该范例中，ECG传感器)获得的参考呼吸信号R2的强度I进行比较。如能够被看到的，所测量的呼吸信号R1是不准确的。
基于图像的(或基于相机的)呼吸监测基于对尤其是在胸部/腹部区中的呼吸运动进行检测。在实践中，除呼吸之外，对象具有的其他非呼吸运动(例如，身体运动)以及噪声也引起胸部/腹部区中的运动。因此，所观测到的运动信号实际上是以下的混合：呼吸运动、非呼吸运动以及噪声，例如由于估计误差的噪声。假设这些源是不相关的。根据本发明，提出了应用变换(例如，盲信号(源)分离技术，例如PCA(主成分分析)或ICA(独立成分分析))来将所观测到的混合的运动信号(示出来自不同运动和噪声的不同贡献)分离到不同源中，并且然后选择表示呼吸的源信号。
图3示出了根据本发明的用于获得对象12的呼吸信息的设备10的第一示范性实施例。对象12躺在床14中，其中，对象12的头部被定位在枕头16上并且对象12被覆盖有毯子18。设备10包括成像单元20(例如，摄像机)，所述成像单元用于采集从对象12的示出由呼吸引起的运动的身体部分24，尤其是从胸部或腹部区，所检测的一组图像数据22(即，图像序列或包括多个图像帧的视频数据)。设备10与成像单元20一起形成如根据本发明提出的系统1。
总体而言，设备10包括运动信号计算单元30，所述运动信号计算单元用于针对对象的N个图像帧计算针对至少感兴趣区域的多个像素和/或多组像素的M个运动信号。此外，变换单元32被提供用于，针对一些或全部运动信号，通过将变换应用到运动信号来计算表示在所述图像内的独立运动的多个源信号，以获得表示在所述图像帧内的独立运动的源信号。最后，选择单元34被提供用于通过检查针对所计算的所述源信号中的所述源信号中的一些或全部的一个或多个性质，来从表示所述对象的呼吸的所计算的所述源信号中选择源信号。
运动信号计算单元30，变换单元32以及选择单元34能够由独立元件(例如，处理器或软件功能)来实施，但是也能够由公共处理装置或计算机来表示及实施。在下文中将更加详细地解释各个单元的实施例。
针对由成像单元20(例如，RGB相机、红外相机等)采集的输入图像(例如，视频流或图像序列)，首先在运动信号计算单元30的实施例中计算运动向量场。针对运动估计，稀疏和密集二者，的许多选项是可能并且有用的。例如，如在Gautama,T.和VanHulle,M.M.的APhase-basedApproachtotheEstimationoftheOpticalFlowFieldUsingSpatialFiltering，IEEETrans.NeuralNetworks，第13卷、第5号、第1127-1136页(2002)中描述的光学流算法能够被应用于获得密集运动向量场，如例如在图4中示出的。备选地，如在G.deHaan、P.W.A.CBiezen、H.Huijgen以及O.A.Ojo的TrueMotionEstimationwith3-DRecursiveSearchBlock-Matching，IEEETrans.CircuitsandSystemsforVideoTechnology，第3卷、第368-388页(1993)中描述的块匹配运动估计算法或者基于片段的运动估计能够被应用于获得像素的每块/组/片段运动向量。最后，Lucas-Kanade(KLT)特征追踪器(或者类似的算法)能够适于并且用于发现局部特征点的对应性并且生成稀疏运动向量场。还能够并且有效地计算仅针对所谓的特征点的运动，例如利用哈里斯检测器所检测的运动，这实现能够被输入到另外的算法的稀疏向量场(不针对所有位置可用)。
代替于在全部图像帧上计算运动向量，能够针对运动向量计算，人工地或者自动地选择感兴趣区域(ROI)。此外，为了降低计算花费，在进一步处理之前，还能够对密集的或基于块的计算的运动向量场进行下采样。基于片段的或稀疏的向量场也能够被预处理，以(进一步)降低被提供到随后的处理的运动向量的数量。该预处理可以涉及下采样或分组，并且可以涉及使用中值滤波器、截尾均值滤波器等的运动向量的非线性组合。
给定所计算的运动向量，基于在局部区域内部的运动向量，来计算针对在ROI中的多个或每个局部区域的运动信号。局部区域能够是像素(例如，在上面提及的下采样之后)或多个像素(例如，3x3像素)。运动信号能够是所述区域内部的运动向量的均值的中值。关于N帧(例如，N＝50)的在每个位置处的运动信号是长度为N的一个数据样本。假设在ROI中有M点(或区域)，M*N的数据矩阵被获得以进行进一步处理。
在变换单元32的实施例中，如本领域中广为人知的盲信号分离算法(例如，在Cardoso,J.-F.的Blindsignalseparation:statisticalprinciples，ProceedingsoftheIEEE，第86卷、第10号、第2009-2025页(1998年10月)中描述的)(例如，PCA)或它们(例如，PCA和ICA)的组合被应用于运动信号的数据矩阵，从而得到一组分离的源信号。
在一个实施例中，PCA被采用。从运动信号计算单元30的上面解释的实施例获得的用于PCA的输入数据(MxN)表示关于图像帧的序列中的N帧的M区域的运动。这些M区域中的每个给出具有长度为N的运动信号。通过将PCA应用到MxN数据矩阵，具有对应的本征值的(长度M的)多个特征向量被获得。特征向量包含被给予这些M信号中的每个的权重，以提供加权的平均运动信号(即，源信号，也被称为主成分)。对应于个体特征向量的信号是正交的，即它们的协方差等于零。又换言之，它们表示视频中的独立运动。这些中的一个被希望为是呼吸运动，所述呼吸运动应当被发现在图像帧的序列中的打扰运动分量中。换言之，本征值表示对应的源信号(主成分)的方向中的原始信号的变化。
通常，针对M个运动信号，表示所述图像内的独立运动的Q个源信号(其中，2≤P≤M并且2≤Q≤P)在变换单元中被计算。特征向量的最大数量等于区域数量M。然而在现实情况下，具有最高本征值的仅较小数量Q(例如，10或20特征向量)可以被使用。在实施例中，使用多个特征向量，其具有在合理范围中的本征值(针对希望的呼吸运动)。例如，在实施例中，在ROI中可以考虑几百区域(例如，M＝200)。区域的最小数量不应太低(例如，不低于3)。
在选择单元34的实施例中，给定分离的源信号的集(如在描绘关于帧数F的四个源信号的强度I的图5中示范性示出的)，表示呼吸(即，提供针对呼吸运动的最大SNR)的源信号被选择。通过检查本征值，具有太大或太小本征值(表示大的身体运动或噪声)的主成分被丢弃。图5示出了针对范例视频片段的获得的保留主成分。
尤其是，图5中示出的四个信号是通过将特征向量与来自M区域的运动信号相乘获得的得到的独立运动信号。它们是来自ROI中的M区域的运动信号的不同线性组合。
进一步的(备选的或额外的)选择可以使用分离的源信号的频率信息和/或分离的源信号与原始运动信号的相关性，如下面将解释的。
呼吸运动具有特定频率，例如，针对新生儿，这能够是[0.5，1.5]Hz(即[30，90]bpm)。因此，表示呼吸的源信号被假定具有在该频率范围中的(一个或多个)清晰峰。图6绘制了图5中示出的每个信号源的功率谱(功率p关于频率f)。显然，第一个能够被选择，其非常好地表示呼吸，如图7中所示，图7示出关于帧数F的与参考信号R2相比的选择的源信号R3的强度。
根据选择单元34的另一个实施例，一些或每个源信号与输入帧中的原始运动信号的相关性被确定并且被检查。呼吸运动被假定为具有在胸部/腹部区中的高相关性。在实践中，胸部/腹部区可以是已知的(例如，通过使用图像识别自动检测的或者人工决定的)。通过比较胸部/腹部区中的一些或每个源信号的相关性，表示呼吸的源信号能够被选择。
根据选择单元34的另一个实施例，空间相关性被分析并且大的一致片段被寻找。在此处假设是，呼吸运动被发现在图像中的空间一致区中，其位置是大体上已知的，而其他独立分量可以出现在更多散射的区，以及或者呼吸不可能存在的区中。
总而言之，将提出的设备和方法的结果(如例如图7中示出的)与在若干视频片段上的已知算法的结果(如图2中示出的)进行比较(当婴儿具有非呼吸运动时)，明显地，提出的设备和方法提供更加准确并且鲁棒的呼吸信号测量。
本发明能够用于使用单色或彩色相机以及可见或红外照射的基于相机的呼吸测量，并且与许多应用有关，包括患者监测(包括新生儿监测)、家庭医疗护理、睡眠监测、运动(对在锻炼期间的人的监测)等。
尽管已经在附图和前文描述中详细图示并描述了本发明，但是这样的图示和描述应被视为说明性或示范性的，而非限制性的；本发明不限于所公开的实施例。本领域技术人员通过研究附图、公开内容以及权利要求书，在实践要求保护的本发明时，能够理解并实现对所公开的实施例的其他变型。
在权利要求书中，词语“包括”不排除其他元件或步骤，并且词语“一”或“一个”不排除多个。单个元件或其他单元可以履行权利要求书中所记载的若干个项目的功能。尽管在互不相同的从属权利要求中记载特定措施，但是这并不指示不能有利地使用这些措施的组合。
计算机程序可以存储/分布在适合的非暂态介质上，例如与其他硬件一起被提供或作为其他硬件的部分被提供的光学存储介质或固态介质，但是计算机程序也可以以其他形式分布，例如经由因特网或其他的有线或无线的电信系统分布。
权利要求书中的任何附图标记都不应被解释为对范围的限制。

Claims (15)

1.一种用于获得对象的呼吸信息的设备，包括：
-运动信号计算单元(30)，其用于针对对象的N个图像帧计算针对至少感兴趣区域的多个像素和/或多组像素的M个运动信号，
-变换单元(32)，其用于，针对M个运动信号中的一些或全部，通过将变换应用于各自的运动信号来计算表示所述图像内的独立运动的多个源信号，以获得表示所述N个图像帧内的独立运动的源信号，以及
-选择单元(34)，其用于通过针对所计算的所述源信号中的一些或全部检查所述源信号的一个或多个性质，来从表示所述对象的呼吸的所计算的所述源信号中选择源信号。
2.如权利要求1所述的设备，
其中，所述变换单元(32)被配置为，针对所述M个运动信号中的P个，通过将变换应用到所述各自的P个运动信号来计算表示所述图像内的独立运动的Q个源信号，以获得表示所述N个图像帧内的独立运动的所述Q个源信号，其中，2≤P≤M并且2≤Q≤P。
3.如权利要求2所述的设备，
其中，所述选择单元(34)被配置为，针对所述Q个源信号中的一些或全部，检查本征值、变化、频率、所述源信号与对应运动信号的相关性和/或空间相关性。
4.如权利要求1所述的设备，
其中，所述变换单元(32)被配置为将盲信号分离应用于各自的P个运动信号。
5.如权利要求1所述的设备，
其中，所述变换单元(32)被配置为通过将主成分分析和/或独立成分分析应用于各自的运动信号来计算所述多个源信号，以获得长度为N的源信号以及对应的本征值或变化。
6.如权利要求5所述的设备，
其中，所述变换单元(32)被配置为利用所述源信号的方向中的数据的对应的变化，来获得长度为N的所述多个源信号。
7.如权利要求1所述的设备，
其中，所述选择单元(34)被配置为通过使用所述本征值或变化，并且选择具有大于针对本征值的最小阈值并且小于针对本征值的最大阈值的所述本征值或变化的源信号，来从所述源信号中选择源信号。
8.如权利要求1所述的设备，
其中，所述选择单元(34)被配置为通过使用所述源信号的主导频率来从所述源信号中选择源信号，其中，所述源信号被选择为具有在包括希望的呼吸率的预先确定的频率范围内的主导频率分量。
9.如权利要求1所述的设备，
其中，所述选择单元(34)被配置为通过使用所述源信号与所述运动信号的相关性来从所述源信号中选择源信号，并且被配置为选择具有与所述对象的胸部或腹部区中的运动的最高相关性的所述源信号。
10.如权利要求1所述的设备，
其中，所述选择单元(34)被配置为通过使用空间相关性来从所述源信号中选择源信号，并且被配置为从所述图像帧内的最大空间一致区选择源信号。
11.如权利要求1所述的设备，
其中，所述运动信号计算单元(30)被配置为计算包括所述M个运动信号的密集或稀疏运动向量场。
12.如权利要求11所述的设备，
其中，所述运动信号计算单元(30)被配置为通过运动信号的下采样、分组、平均或非线性组合，来处理所述运动向量场。
13.一种用于获得对象的呼吸信息的系统，包括：
-成像单元(20)，其用于获得对象的N个图像帧，以及
-如权利要求1至12中的任一项所述的设备，其用于通过使用所获得的所述对象的所述N个图像帧，来获得所述对象的呼吸信息。
14.一种用于获得对象的呼吸信息的方法，包括：
-针对对象的N个图像帧计算针对至少感兴趣区域的多个像素和/或多组像素的M个运动信号，
-针对M个运动信号中的一些或全部，通过将变换应用于各自的运动信号来计算表示所述图像内的独立运动的多个源信号，以获得表示所述N个图像帧内的独立运动的源信号，并且
-通过针对所计算的所述源信号中的一些或全部检查所述源信号的一个或多个性质，来从表示所述对象的呼吸的所计算的所述源信号中选择源信号。
15.一种包括程序代码模块的计算机程序，所述程序代码模块用于，当所述计算机程序在计算机上执行时，令所述计算机执行如权利要求14所述的方法的步骤。
CN201480008895.1A 2013-02-15 2014-02-05 用于获得对象的呼吸信息的设备 Pending CN105072997A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361765085P 2013-02-15 2013-02-15
EP13155438.8 2013-02-15
US61/765,085 2013-02-15
EP20130155438 EP2767233A1 (en) 2013-02-15 2013-02-15 Device for obtaining respiratory information of a subject
PCT/EP2014/052253 WO2014124855A1 (en) 2013-02-15 2014-02-05 Device for obtaining respiratory information of a subject

Publications (1)

Publication Number Publication Date
CN105072997A true CN105072997A (zh) 2015-11-18

Family

ID=47720412

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480008895.1A Pending CN105072997A (zh) 2013-02-15 2014-02-05 用于获得对象的呼吸信息的设备

Country Status (7)

Country Link
US (1) US20140236036A1 (zh)
EP (2) EP2767233A1 (zh)
JP (1) JP6472086B2 (zh)
CN (1) CN105072997A (zh)
BR (1) BR112015019312A2 (zh)
RU (1) RU2663175C2 (zh)
WO (1) WO2014124855A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105869144A (zh) * 2016-03-21 2016-08-17 常州大学 一种基于深度图像数据的非接触式呼吸监测方法

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10134307B2 (en) 2013-12-12 2018-11-20 Koninklijke Philips N.V. Software application for a portable device for CPR guidance using augmented reality
US9852507B2 (en) 2014-11-10 2017-12-26 Utah State University Remote heart rate estimation
EP3799782B1 (en) * 2014-12-02 2023-04-19 Brainlab AG Human body measurement using thermographic images
US10108325B2 (en) 2014-12-11 2018-10-23 Rdi Technologies, Inc. Method of analyzing, displaying, organizing and responding to vital signals
US10062411B2 (en) 2014-12-11 2018-08-28 Jeffrey R. Hay Apparatus and method for visualizing periodic motions in mechanical components
CN107106049A (zh) * 2014-12-15 2017-08-29 皇家飞利浦有限公司 通过包括集成带式传感器的设备中的多参数算法的呼吸率监测
US9697599B2 (en) * 2015-06-17 2017-07-04 Xerox Corporation Determining a respiratory pattern from a video of a subject
US10292369B1 (en) * 2015-06-30 2019-05-21 Vium, Inc. Non-contact detection of physiological characteristics of experimental animals
KR101660832B1 (ko) * 2015-12-29 2016-10-10 경북대학교 산학협력단 호흡 운동 측정 장치 및 방법
US10019883B2 (en) 2016-01-21 2018-07-10 Htc Corporation Method for monitoring breathing activity, electronic device, and computer-readable storage medium using the same
GB201601140D0 (en) 2016-01-21 2016-03-09 Oxehealth Ltd Method and apparatus for estimating heart rate
GB201601142D0 (en) 2016-01-21 2016-03-09 Oxehealth Ltd Method and apparatus for estimating breathing rate
GB201601143D0 (en) 2016-01-21 2016-03-09 Oxehealth Ltd Method and apparatus for health and safety monitoring of a subject in a room
GB201601217D0 (en) 2016-01-22 2016-03-09 Oxehealth Ltd Signal processing method and apparatus
WO2017190085A1 (en) * 2016-04-29 2017-11-02 Fitbit, Inc. Sleep monitoring system with optional alarm functionality
GB201615899D0 (en) 2016-09-19 2016-11-02 Oxehealth Ltd Method and apparatus for image processing
US10885349B2 (en) 2016-11-08 2021-01-05 Oxehealth Limited Method and apparatus for image processing
US10463294B2 (en) 2016-12-29 2019-11-05 Hill-Rom Services, Inc. Video monitoring to detect sleep apnea
US10111615B2 (en) 2017-03-11 2018-10-30 Fitbit, Inc. Sleep scoring based on physiological information
GB201706449D0 (en) 2017-04-24 2017-06-07 Oxehealth Ltd Improvements in or realting to in vehicle monitoring
GB201803508D0 (en) 2018-03-05 2018-04-18 Oxehealth Ltd Method and apparatus for monitoring of a human or animal subject
US11423551B1 (en) 2018-10-17 2022-08-23 Rdi Technologies, Inc. Enhanced presentation methods for visualizing motion of physical structures and machinery
GB201900033D0 (en) 2019-01-02 2019-02-13 Oxehealth Ltd Mrthod and apparatus for monitoring of a human or animal subject
GB201900034D0 (en) 2019-01-02 2019-02-13 Oxehealth Ltd Method and apparatus for monitoring of a human or animal subject
GB201900032D0 (en) 2019-01-02 2019-02-13 Oxehealth Ltd Method and apparatus for monitoring of a human or animal subject
EP3790626B1 (en) * 2019-07-08 2023-09-06 Brainlab AG Computation of a breathing curve for medical applications
US11373317B1 (en) 2020-01-24 2022-06-28 Rdi Technologies, Inc. Measuring the speed of rotation or reciprocation of a mechanical component using one or more cameras
US11282213B1 (en) 2020-06-24 2022-03-22 Rdi Technologies, Inc. Enhanced analysis techniques using composite frequency spectrum data
US11322182B1 (en) 2020-09-28 2022-05-03 Rdi Technologies, Inc. Enhanced visualization techniques using reconstructed time waveforms
DE112021000580T5 (de) * 2020-09-30 2022-12-01 Sumitomo Riko Company Limited Biologische informationsmessvorrichtung
US20230389817A1 (en) * 2020-10-29 2023-12-07 Hewlett-Packard Development Company, L.P. Neural networks to determine respiration rates
US20230017172A1 (en) * 2021-04-30 2023-01-19 Shenzhen Ibaby Labs Inc Self-adaptive multi-scale respiratory monitoring method based on camera

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1471894A (zh) * 2002-07-11 2004-02-04 GEҽ��ϵͳ��Ϣ������˾ 用于探测弱生理信号的方法和装置
US20050288600A1 (en) * 2004-06-24 2005-12-29 Yi Zhang Automatic orientation determination for ECG measurements using multiple electrodes
US20090187112A1 (en) * 2006-09-05 2009-07-23 Vision Rt Limited Patient monitor
US20110082371A1 (en) * 2008-06-03 2011-04-07 Tomoaki Chono Medical image processing device and medical image processing method
WO2011088227A1 (en) * 2010-01-13 2011-07-21 Regents Of The University Of Minnesota Imaging epilepsy sources from electrophysiological measurements
US20110251493A1 (en) * 2010-03-22 2011-10-13 Massachusetts Institute Of Technology Method and system for measurement of physiological parameters
CN102549621A (zh) * 2009-10-06 2012-07-04 皇家飞利浦电子股份有限公司 用于处理至少包含代表生物中的周期现象的分量的信号的方法和系统
JP2012239661A (ja) * 2011-05-20 2012-12-10 Fujitsu Ltd 心拍数・呼吸数検出装置，方法およびプログラム
CN102843966A (zh) * 2010-02-12 2012-12-26 皇家飞利浦电子股份有限公司 用于处理周期性生理信号的方法和装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3275029B2 (ja) * 1999-08-02 2002-04-15 独立行政法人産業技術総合研究所 画像処理による呼吸波形分析を用いた血中酸素飽和度降下推定法
EP2384142B1 (en) * 2009-02-12 2012-10-31 Vision RT Limited Patient monitor and method
RU2479253C2 (ru) * 2011-03-25 2013-04-20 Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Юго-Западный государственный университет" (ЮЗГУ) Устройство для измерения тремора пальцев рук
US9224202B2 (en) 2011-04-14 2015-12-29 Koninklijke Philips N.V. Device and method for extracting information from characteristic signals

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1471894A (zh) * 2002-07-11 2004-02-04 GEҽ��ϵͳ��Ϣ������˾ 用于探测弱生理信号的方法和装置
US20050288600A1 (en) * 2004-06-24 2005-12-29 Yi Zhang Automatic orientation determination for ECG measurements using multiple electrodes
US20090187112A1 (en) * 2006-09-05 2009-07-23 Vision Rt Limited Patient monitor
US20110082371A1 (en) * 2008-06-03 2011-04-07 Tomoaki Chono Medical image processing device and medical image processing method
CN102549621A (zh) * 2009-10-06 2012-07-04 皇家飞利浦电子股份有限公司 用于处理至少包含代表生物中的周期现象的分量的信号的方法和系统
WO2011088227A1 (en) * 2010-01-13 2011-07-21 Regents Of The University Of Minnesota Imaging epilepsy sources from electrophysiological measurements
CN102843966A (zh) * 2010-02-12 2012-12-26 皇家飞利浦电子股份有限公司 用于处理周期性生理信号的方法和装置
US20110251493A1 (en) * 2010-03-22 2011-10-13 Massachusetts Institute Of Technology Method and system for measurement of physiological parameters
JP2012239661A (ja) * 2011-05-20 2012-12-10 Fujitsu Ltd 心拍数・呼吸数検出装置，方法およびプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105869144A (zh) * 2016-03-21 2016-08-17 常州大学 一种基于深度图像数据的非接触式呼吸监测方法
CN105869144B (zh) * 2016-03-21 2018-10-19 常州大学 一种基于深度图像数据的非接触式呼吸监测方法

Also Published As

Publication number Publication date
US20140236036A1 (en) 2014-08-21
WO2014124855A1 (en) 2014-08-21
EP2956062A1 (en) 2015-12-23
JP2016506840A (ja) 2016-03-07
RU2663175C2 (ru) 2018-08-01
EP2767233A1 (en) 2014-08-20
JP6472086B2 (ja) 2019-02-20
RU2015139150A (ru) 2017-03-21
BR112015019312A2 (pt) 2017-07-18

Similar Documents

Publication Publication Date Title
CN105072997A (zh) 用于获得对象的呼吸信息的设备
CN105636505B (zh) 用于获得对象的生命体征的设备和方法
Janssen et al. Video-based respiration monitoring with automatic region of interest detection
CN105451646B (zh) 用于提取生理信息的设备、系统和方法
JP6461021B2 (ja) 被検者のバイタルサイン情報を取得するためのデバイス及び方法
EP3373804B1 (en) Device, system and method for sensor position guidance
Bartula et al. Camera-based system for contactless monitoring of respiration
CN105792734B (zh) 用于获得远程光体积描记波形的改进的信号选择
CN105190691B (zh) 用于获得对象的生命体征的设备
Hu et al. Synergetic use of thermal and visible imaging techniques for contactless and unobtrusive breathing measurement
CN108135487A (zh) 用于获得对象的生命体征信息的设备、系统和方法
Koolen et al. Automated respiration detection from neonatal video data
Molinaro et al. Contactless vital signs monitoring from videos recorded with digital cameras: An overview
US10016166B2 (en) Contactless detection method with noise limination for information of physiological and physical activities
CN109890278B (zh) 用于获得对象的生命信号的设备、系统和方法
Basu et al. Infrared imaging based hyperventilation monitoring through respiration rate estimation
CN106413533A (zh) 用于检测对象的呼吸暂停的设备、系统和方法
WO2014024104A1 (en) Device and method for extracting physiological information
JP6487340B2 (ja) バイタルサインに基づき被験者を検出する装置、方法及びコンピュータプログラム
WO2019145142A1 (en) Device, system and method for determining at least one vital sign of a subject
Suriani et al. Non-contact Facial based Vital Sign Estimation using Convolutional Neural Network Approach
Medina-Quero et al. Computer vision-based gait velocity from non-obtrusive thermal vision sensors
CN105050502A (zh) 用于根据图像数据确定呼吸体积信号的装置和方法
US20230293113A1 (en) System and method of estimating vital signs of user using artificial intelligence
Brieva et al. Contactless Video-Based Vital-Sign Measurement Methods: A Data-Driven Review

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20151118

RJ01 Rejection of invention patent application after publication