CN105520735B - 用于从视频确定呼吸速率的系统和方法 - Google Patents

用于从视频确定呼吸速率的系统和方法 Download PDF

Info

Publication number
CN105520735B
CN105520735B CN201510655567.7A CN201510655567A CN105520735B CN 105520735 B CN105520735 B CN 105520735B CN 201510655567 A CN201510655567 A CN 201510655567A CN 105520735 B CN105520735 B CN 105520735B
Authority
CN
China
Prior art keywords
video
eigenvector
individual
respiratory rate
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510655567.7A
Other languages
English (en)
Other versions
CN105520735A (zh
Inventor
L·K·梅斯泰
B·许
S·卡亚奥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xerox Corp
Original Assignee
Xerox Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xerox Corp filed Critical Xerox Corp
Publication of CN105520735A publication Critical patent/CN105520735A/zh
Application granted granted Critical
Publication of CN105520735B publication Critical patent/CN105520735B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/0816—Measuring devices for examining respiratory frequency
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7282—Event detection, e.g. detecting unique waveforms indicative of a medical condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
    • A61B5/748—Selection of a region of interest, e.g. using a graphics tablet
    • A61B5/7485—Automatic selection of region of interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Physiology (AREA)
  • Pulmonology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Psychiatry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Dentistry (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Emergency Medicine (AREA)
  • Nursing (AREA)
  • Critical Care (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

所揭示的是一种用于从个体的视频确定呼吸速率的系统和方法。在一个实施例中，接收包括个体的身体的区的多个时间连续图像帧的视频。从每一图像帧中从所述区提取像素的特征且由这些特征形成向量。每一图像帧具有相关联的特征向量。构建长度N的向量的N×M视频矩阵，使得所述视频矩阵中的总列数M对应于在其间确定所述个体的呼吸速率的持续时间。处理所述视频矩阵以获得本征向量矩阵，其中归因于与呼吸相关联的运动而引起的变化主轴包含在第一少数本征向量中。从所述第一少数本征向量选择一个本征向量。从所述选定的本征向量获得呼吸速率。

Description

用于从视频确定呼吸速率的系统和方法
技术领域
本发明涉及用于从呼吸功能受到监视的个体的视频确定呼吸速率的系统和方法。
背景技术
监视患者呼吸速率在对例如急性呼吸衰竭和肺部疾病等潜在致命呼吸事件的早期检测中具有临床重要性。当前技术要求静止的患者跨他们的胸部佩戴感测装置(例如，胸带)以便能够估计呼吸测量值。此要求可导致不适、心理依赖和尊严的丧失。老年患者和患有慢性疾病的患者更有可能遭受监视的此类负面影响。本发明特别针对于为此作出的努力。
发明内容
所揭示的是一种用于从呼吸功能受到监视的个体的视频确定呼吸速率的系统和方法。本发明的方法的一个实施例涉及以下内容。首先，接收个体的视频。所述视频包括所述个体的身体的关注区的多个时间连续图像帧，其中可以通过视频成像装置的至少一个成像通道记录对应于呼吸的信号。随后从每一图像帧中从关注区提取像素的特征，且由所提取的特征形成向量。每一图像帧具有相关联的特征向量。特征向量可以包括(例如)强度分量、位置分量或运动分量。其后，构建长度N的循序连续特征向量的N×M视频矩阵，其中所述视频矩阵中的总列数M对应于在其间确定个体的呼吸速率的持续时间。处理所述视频矩阵以获得本征向量矩阵，其中所述本征向量矩阵包括通过使用单一值分解计算平均值和协方差矩阵所获得的标准正交向量。本征向量矩阵使得归因于与个体的呼吸相关联的运动而引起的变化主轴包含在第一少数本征向量中。选择第一少数本征向量中的一个，且随后从所述选定的本征向量提取个体的呼吸速率。在此处的一个实施例中，从所述选定的本征向量提取呼吸速率涉及产生所述选定的本征向量的功率谱密度曲线，并识别所述功率谱密度曲线内的具有最高信号强度的频率。所识别的频率是个体的呼吸速率。随后将个体的呼吸速率传送到显示装置。如果个体的呼吸速率不在正常范围内，那么可以发起警告和/或可以用信号通知医疗专业人员。可以实时地从个体的串流视频处理本发明的方法，使得可以连续地确定呼吸速率。
上述方法的特征和优点将根据以下详细描述和附图而变得显而易见。
附图说明
通过以下结合附图进行的详细描述可以明白本文中揭示的标的物的前述及其它特征和优点，附图中：
图1示出了成年人的前(前面)视图及后(后面)视图两者；
图2示出了捕获图1的个体的关注区的图像帧的视频成像装置；
图3是说明用于从个体的视频确定呼吸速率的本发明方法的一个实例实施例的流程图；
图4是图3的流程图的接续部分，其中流程处理相对于节点A继续；
图5说明用于实施如相对于图3和4的流程图所描述的本发明方法的各种方面的一个实例视频处理系统的框图；以及
图6示出了针对三个个体中的每一个所产生的本征向量和所得的周期图。
具体实施方式
所揭示的是一种用于从呼吸功能受到监视的个体的视频确定呼吸速率的系统和方法。
非限制性定义
“个体”是指正受到监视以确定呼吸速率的生物。虽然可贯穿本发明使用术语“人”或“患者”，但应了解，个体可以是除人类之外的某物，例如灵长类动物。因此，此类术语的使用将不被视为将所附权利要求书的范围严格地限制于人类。
一般理解的“视频”是个体的一个或多个关注区的所捕获图像帧的时变序列，其中可以通过用于捕获所述视频的视频成像装置的至少一个成像通道记录对应于呼吸的信号。应了解，视频还可含有其它分量，例如音频、时间基准信号、帧速率及类似者。视频由视频成像装置捕获。
“视频成像装置”是指用于获取视频的单通道或多通道摄像机。视频成像装置包含彩色(RGB)摄像机。视频成像装置可具有多个输出，可以从所述输出检索视频或以其它方式基于每一通道接收视频，且视频成像装置可并入一个或多个存储器、存储装置和处理器以用于执行用于根据此处的教示来处理和分析视频的机器可读程序指令。由视频成像装置捕获的视频经处理以隔离一个或多个关注区。
个体的“关注区”是指个体的身体的区的至少局部视图(其通过视频成像装置的光圈看到)，其中可以通过视频成像装置的至少一个成像通道记录呼吸信号。这些区是归因于呼吸期间胸部的扩展及收缩而移动的区。身体区包含前胸区、胸区的侧视图、背侧身体的背面区、以及面部区。图1示出了成年人的前(前面)视图101以及后(后面)视图102。在图1的实施例中，关注区103和104分别勾勒出个体的前胸区和后胸区，其中可以通过视频成像装置获取呼吸信号。关注区可用被单或一件衣服遮盖。在视频图像帧中隔离关注区以用于处理。
可以使用图像处理领域中完善的大量技术中的任一种以多种方式实现“隔离关注区”。可以使用图像处理技术在图像帧中隔离像素，所述图像处理技术例如为基于色彩、纹理、空间特征、光谱信息、物体识别(例如面部或胸区辨识、图案辨识和运动检测)的像素分类。还可以通过用户选择在图像帧中识别与关注区相关联的像素以用于处理。例如，在系统设置和配置期间，技术员可使用鼠标或触摸屏显示器以围绕个体的所显示视频的一个或多个区域手动地绘制拖引线框，进而界定一个或多个关注区，其边界被存储且用于隔离这些区。从所隔离的关注区中的像素获得特征。
“特征向量”含有从处理所关注的隔离区中的像素获得的特征。包括特征向量的特征包含像素强度值、图像帧中的像素位置以及一个或多个运动分量，例如相邻帧之间的像素移动量。如果用于捕获个体的视频的视频成像装置是具有红色、绿色及蓝色(RGB)通道的彩色摄像机，那么可以基于每一像素从成像声道中的任一个或其组合获得包括特征向量的强度分量。一个或多个关注区中的像素可以根据特征以及它们的所计算的平均值或更高阶统计数据而进行分组。强度分量还可以是来自给定关注区中的RGB通道中的每一个的像素值的代数和。可在空间上对像素进行滤波以减小噪声。使用长度N的时间上连续的特征向量构建N×M矩阵，其中所述视频矩阵中的总共M列对应于在其间确定个体的呼吸速率的持续时间和视频帧率。处理所述N×M视频矩阵以获得本征向量矩阵。
“本征向量”(来自德语表示“唯一”或“特有的”字本征)是与线性方程组(即，矩阵方程)相关联的一组特殊向量，有时也被称作特性向量、恰当向量或潜在向量。系统的本征向量和本征值的确定在物理学及工程技术中是极其重要的，其中其等效于矩阵对角化且出现在例如稳定性分析、旋转主体的物理学和振动系统的小振荡(仅举几个例子)等普通应用中。每一本征向量与对应的所谓的本征值配对。将矩形矩阵A分解为本征值和本征向量在此项工作中被称为本征分解，且以下事实被称为本征分解定理：只要矩阵A是矩形，此分解就始终可能。矩形矩阵A的本征向量是非零向量v，当所述矩阵乘以v时，其得到v的恒定倍数，后一乘数通常由λ表示，其中Av＝λv。数λ常常被称作对应于v的A的本征值。矩阵(或线性算子)的所述组所有本征向量(每一个与其对应的本征值配对)被称为所述矩阵的本征系统。本征向量的任何倍数也是本征向量，其具有相同的本征值。矩阵的本征空间是具有相同本征值的所述组所有本征向量，连同零向量。矩阵的本征基础是由所述矩阵的线性独立的本征向量组成的所述组所有向量的任何基础。不是每个矩阵都具有本征基础。数学上，存在左本征向量及右本征向量。然而，对于许多问题，仅考虑右本征向量就足够。因此，不具有“左”或“右”限制条件的术语本征向量一般理解为是指右本征向量。读者可阅读《矩阵的本征值(Eigenvalues of Matrices)》，弗朗索瓦丝.查特兰(Chatelin)，工业社会及应用数学(Society for Industrial and Applied Mathematics)，(2012)，ISBN-13:978-1611972450；以及《物理学家的数学方法，第七版：全面指导(Mathematical Methods forPhysicists,Seventh Edition:A Comprehensive Guide)》，乔治B.阿夫肯(GeorgeB.Arfken)、汉斯J.韦伯(Hans J.Weber)、学术出版社(Academic Press)，第7版(2012)，ISBN-13:978-0123846549，其两者以全文引用的方式并入本文中。
如本文中所使用的“本征向量矩阵”是通过以下操作获得的标准正交本征向量矩阵：计算视频矩阵的导数；使用单一值分解计算平均值和协方差矩阵；取每一行向量的L2范数；并且保留在预定义最大值以下的具有L2范数的所有特征点。所得的矩阵使得归因于与个体的呼吸相关联的运动而引起的变化主轴包含在第一少数本征向量中。根据此处的教示，选择第一少数本征向量中的一个。
“选择第一少数本征向量中的一个”是指从最顶部(或主要)本征向量矩阵手动地或自动地识别或以其它方式获得至少一个本征向量以用于确定呼吸速率。手动选择涉及(例如)用户从至少显示最顶部本征向量的触摸屏作出选择。用户可以挑选向量中的一个以用于呼吸确定。在另一实施例中，当用户认识到呼吸相关运动是本征向量中观测到的变化的根本原因时，自动地选择本征向量矩阵中的第一本征向量以用于呼吸确定。在又一实施例中，选择或以其它方式识别本征向量矩阵中的第二或第三本征向量进行处理以用于确定呼吸速率。应理解，本征向量矩阵(或其转置矩阵)中的排序是从上到下，其中最顶部本征向量是矩阵中的第一本征向量，且最底部本征向量是矩阵中的最后一个本征向量。
通过产生选定的本征向量的功率谱密度曲线，且识别所述功率谱密度曲线内的具有最高信号强度的频率，能够实现“从选定的本征向量提取呼吸速率”。所识别的频率包括个体的呼吸速率。
常常当个体静止时测量“呼吸速率”，且简单地涉及对一分钟内进行的呼吸的数目进行计数。静止的成年人每分钟进行大约12到20次呼吸，这取决于心血管和呼吸系统的整体条件。可以利用呼吸速率来确定个体的呼吸功能的各种方面。限制性肺部疾病(例如肺纤维化、气胸和婴儿呼吸窘迫综合征)会减小肺容量，而阻塞性肺部疾病(例如哮喘、支气管炎和肺气肿)会妨碍空气流增加。
“接收视频”既定被广泛解释且包含检索、捕获、获取或以其它方式获得视频图像帧以用于根据本文中揭示的方法进行处理。图2示出了捕获图1的个体101的关注区103的图像帧(共同在201处)的视频成像装置200。视频成像装置示出为具有通信元件202，通信元件202经由无线网络实现与远程装置(例如计算机工作站)的双向通信，其中接收视频图像帧以用于根据本文中揭示的方法进行处理。所述视频成像装置可进一步包括执行本发明的方法的功能性的视频分析模块。可以从视频成像装置的存储器或存储装置检索视频图像帧。可以经由网络从远程装置，或从例如CDROM或DVD等媒体接收或检索视频。可从基于网络的系统或应用下载图像帧，所述基于网络的系统或应用使视频图像可用于根据本文中揭示的方法进行处理。还可以从应用程序(例如可用于手持式蜂窝装置的应用程序)接收视频图像帧，且在手机或例如iPad或平板计算机等其它手持式计算装置上处理视频图像帧。
应了解，“提取”、“形成”、“构建”、“选择”、“产生”、“处理”等的步骤包含根据任何特定上下文或用于任何特定目的而应用于数据和信号的各种数学运算的应用。此具体实施方式和权利要求书中的术语包含硬件或软件中的具有对数学或信号处理动作的实质性效果的任何活动。应了解，可通过执行从存储器或存储装置检索的机器可读程序指令的微处理器促进或以其它方式实现这些步骤。
一个实施例的流程图
现在参考图3的流程图，其说明用于从个体的视频确定呼吸速率的本发明的方法的一个实例实施例。流程处理开始于步骤300且随即前进到步骤302。
在步骤302处，接收呼吸功能受到监视的个体的视频。所述视频包括所述个体的身体的至少一个关注区的多个时间连续图像帧，其中可以通过视频成像装置的至少一个成像通道记录对应于呼吸的信号。实例关注区在图1中示出。
在步骤304处，在预定义时间周期内提取每一图像帧中的关注区中的像素的特征。
在步骤306处，根据由所提取的特征向量形成的长度N的时间上连续的向量构建N×M视频矩阵。所述视频矩阵具有对应于需要在其间确定个体的呼吸速率的持续时间的总列数M。
在步骤308处，处理所述视频矩阵以获得本征向量矩阵。本征向量矩阵使得归因于与个体的呼吸相关联的运动而引起的变化主轴包含在第一少数本征向量中。
在步骤310处，从本征向量矩阵中的第一少数本征向量选择一个本征向量。可以使用(例如)图5的工作站作出选择。
现在参考图4的流程图，其是图3的流程图的接续部分，其中流程处理相对于节点A继续。
在步骤312处，从所述选定的本征向量产生个体的呼吸速率。
在步骤314处，将个体的呼吸速率传送到显示装置。在其它实施例中，经由网络将呼吸速率传送到存储器、存储装置、手持式无线装置、手持式蜂窝装置和远程装置。
在步骤316处，确定个体的呼吸是否在如由医疗专业人员确定的可接受的参数内。如果个体的呼吸速率不在可接受的参数内，那么在步骤318处，发起警告信号。可进一步将信号发送给医疗专业人员。
在步骤320处，确定是否继续监视此个体的呼吸功能。如果是，那么相对于节点B继续处理，其中，在步骤302处，接收此个体的更多视频。以类似方式重复处理。否则，在此实施例中，停止进一步的处理。
应了解，本文中描绘的流程图是说明性的。可以不同次序执行流程图中说明的操作中的一个或多个。可以添加、修改、增强或合并其它操作。其变化既定属于所附权利要求书的范围内。
实例视频处理系统
现在参考图5，其说明用于实施如相对于图3和4的流程图所描述的本发明方法的各种方面的一个实例视频处理系统的框图。
工作站500具有计算机箱体502，其容纳各种组件，例如具有处理器和存储器的母板、网卡、视频卡、能够读取/写入到机器可读媒体508(例如软盘、光盘、CD-ROM、DVD、磁带及类似者)的硬盘驱动器，以及执行计算机工作站的功能性所需的其它软件和硬件。所述工作站进一步包含显示装置505，例如CRT、LCD或触摸屏装置，用于显示由图6的模块中的任一个产生或以其它方式生成的视频、关注区、特征、所计算的值、医疗信息、结果及类似者。用户可以查看所述信息中的任一个，且从在其上显示的菜单选项作出选择。键盘506和鼠标507在需要时实现用户输入或选择。工作站500实施数据库509，其中响应于查询而存储、操纵和检索记录。在各种实施例中，这些记录呈与识别患者的信息连同医疗信息、患者呼吸功能历史及类似者相关联地存储的患者医疗历史的形式。虽然将数据库示出为外部装置，但数据库可以在工作站内部，安装(例如)在其中的硬盘上。
工作站具有操作系统和其它专用软件，其经配置以显示字母数字值、菜单、滚动条、刻度盘、可滑动条、下拉选项、可选按钮及类似者，以用于输入、选择、修改和接受根据本文中揭示的方法确定呼吸速率所需的信息。用户或技术员可以使用工作站来识别图像帧中的关注区、将像素分组、识别所关注的特征、设定各种参数，和/或使用工作站来促进图像处理单元510的模块和处理单元中的任一个的功能性。用户输入、默认设定和选择可存储在存储装置508和509中的任一个中/在其中检索。还可以从这些存储装置中的任一个检索默认设定和初始参数。用户可调整正利用的各种参数或实时地动态地调整设定。所产生的任何警告信号可由工作站接收并查看和/或经由网络504传送到一个或多个远程装置。虽然示出为桌上型计算机，但应了解，工作站可以是膝上型计算机、大型主机或专用计算机，例如ASIC、电路或类似者。工作站的实施例是说明性的且可包含此项技术中已知的其它功能性。工作站500与图像处理单元510通信以用于根据此处的教示处理视频。
视频处理单元510示出为包括至少一个缓冲器511。此类缓冲器可以用于排列图像帧和关于所接收的图像帧的其它信息，所述其它信息例如为图像帧内的一个或多个关注区、视频的大小、时间/日期信息及类似者。缓冲器还可经配置以存储数据、数学公式和其它表示以促进根据此处的教示对图像的处理。视频预处理器512执行以下操作所要或所需的对视频的任何预处理：(例如)补偿归因于皮肤表面的曲率而引起的非均匀照射；补偿归因于身体或表面运动而引起的运动诱发的模糊；成像模糊；缓慢的照明变化；及类似者。关注区处理器513接收经预处理的图像帧并进行识别所述帧中的每一个内的一个或多个关注区。
特征提取模块514基于每一帧接收所识别的关注区，且从那些关注区提取像素的特征且从所提取的特征形成长度N的向量。这些特征向量随后被存储到存储装置515。用以执行模块中的任一模块的功能中的任一功能的信息可从存储装置515检索或可使用工作站500的键盘和鼠标经由用户输入接收。视频矩阵构建器516接收所提取的特征向量，且进行构建视频矩阵，其中所述视频矩阵中的总列数M对应于在其间确定个体的呼吸速率的持续时间。本征向量矩阵产生器517接收所述视频矩阵且处理所述视频矩阵以获得本征向量矩阵。本征向量矩阵使得归因于与个体的呼吸相关联的运动而引起的色彩变化主轴包含在第一少数本征向量中。本征向量选择器模块518促进手动地或自动地选择第一少数本征向量中的一个。可由用户或技术员使用工作站500的键盘/鼠标作出此类选择。呼吸速率提取器519从模块518接收选定的本征向量且进行处理所述选定的本征向量以获得个体的呼吸速率。
警告信号产生器模块520接收个体的呼吸速率且确定所述呼吸速率是否在如由医疗专业人员确定的可接受的限制内。如果呼吸不在可接受的限制内，那么经由示出为天线的发射器521产生警告信号。发射器521可进一步将原始视频中的一些或全部传送到第三方(例如护士或呼吸理疗师)。所发射的数据、图像、呼吸速率、计算值、特征及类似者可通过元件503传送到工作站且在显示装置505上显示以供审查和进一步处理。
系统510的模块和处理单元中的每一个还经由未示出的途径与工作站500通信，且可经由网络504进一步与一个或多个远程装置通信。应了解，由系统510的模块和处理单元中的任一个执行的功能性中的一些或全部可由工作站500整体或部分地执行。可使所述模块中的任一个与存储装置515通信。处理器和存储器一般示出为执行促进图5的模块和处理单元中的任一个的功能性的机器可读程序指令。
性能结果
我们已对两个个体和一个仿真患者(SimMan)验证本文中揭示的方法。在所有情况下，视频成像装置的蓝色通道信号将示出此通道还以可产生呼吸速率。图6示出了针对三个个体中的每一个所产生的本征向量(顶部)和所得的周期图(底部)。当实际呼吸速率是22cpm时，峰频率分别对应于22cpm、32cpm和36cpm。
各种实施例
此处的实施例的各种模块可指定一个或多个组件，所述一个或多个组件又可包括经设计以执行既定功能的软件和/或硬件。多个模块可共同地执行单一功能。每一模块可具有能够执行机器可读程序指令的专用处理器。模块可包括单件硬件，例如ASIC、电子电路或专用处理器。多个模块可由单个专用计算机系统执行或由多个专用计算机系统并行地执行。模块之间的连接包含物理和逻辑连接两者。模块可进一步包含一个或多个软件/硬件模块，其可进一步包括操作系统、驱动程序、装置控制器和其它设备，其中的一些或全部可经由网络连接。还预期本发明的方法的一个或多个方面可实施于专用计算机系统上，且还可在分布式计算环境中实践，其中由通过网络链接的远程装置执行任务。本文中所描述的方法的一个或多个方面既定合并在包含一个或多个计算机程序产品、具有计算机可使用的或机器可读的媒体的制品中。出于此处的目的，计算机可使用的或机器可读的媒体是(例如)软盘、硬盘驱动器、存储器、CD-ROM、DVD、带、盒式磁带或其它数字或模拟媒体，或类似者，其能够在其上体现计算机可读程序、一个或多个逻辑指令或实施及促进本文中描述的功能、能力及方法的其它机器可执行代码或命令。此外，所述制品可包含在可由机器架构或图像处理系统读取的至少一个存储装置上，所述至少一个存储装置体现能够执行流程图中描述的方法的可执行程序指令。

Claims (29)

1.一种用于从呼吸功能受到监视的个体的视频确定呼吸速率的方法，所述方法包括：
接收呼吸功能受到监视的个体的视频，所述视频包括所述个体的身体的至少一个关注区的多个时间连续图像帧，其中可以通过视频成像装置的至少一个成像通道记录对应于呼吸的信号；
从所述多个时间连续图像帧中的所述关注区提取像素的特征，且由提取的像素的特征形成长度N的向量；
构建时间连续特征向量的N×M视频矩阵，所述视频矩阵中的总列数M对应于在其间确定所述个体的呼吸速率的持续时间；
处理所述视频矩阵以获得本征向量矩阵，所述本征向量矩阵使得归因于与所述个体的呼吸相关联的运动而引起的变化主轴包含在第一少数本征向量中；
从所述第一少数本征向量选择一个本征向量；以及
从选择出的本征向量提取所述个体的呼吸速率。
2.根据权利要求1所述的方法，其中所述特征向量包括以下各项中的任一个：强度分量、位置分量和运动分量。
3.根据权利要求2所述的方法，其中所述视频成像装置是包括红色、绿色和蓝色通道的彩色摄像机，且从所述通道中的任一个获得所述强度分量。
4.根据权利要求2所述的方法，其中所述视频成像装置是包括红色、绿色和蓝色通道的彩色摄像机，且通过计算来自所述红色、绿色和蓝色通道的像素值的代数和而获得所述强度分量。
5.根据权利要求1所述的方法，其中在形成所述特征向量之前，将与所述特征相关联的像素分组且计算它们的平均值。
6.根据权利要求5所述的方法，还包括对分组的像素进行空间滤波以减小噪声。
7.根据权利要求5所述的方法，还包括通过取每一行向量的L2范数且保留L2范数在预定义最大值以下的所有特征点进行幅值滤波。
8.根据权利要求1所述的方法，其中所述视频矩阵包括通过使用单一值分解计算平均值和协方差矩阵所获得的标准正交本征向量。
9.根据权利要求8所述方法，其中在计算所述平均值和协方差矩阵之前，计算所述视频矩阵的导数。
10.根据权利要求1所述的方法，其中通过对所述视频矩阵执行单一值分解计算本征向量。
11.根据权利要求10所述的方法，其中在执行单一值分解之前，计算所述视频矩阵的导数。
12.根据权利要求1所述的方法，其中从所述选择出的本征向量提取所述呼吸速率包括：
产生所述选择出的本征向量的功率谱密度曲线；以及
识别所述功率谱密度曲线内的具有最高信号强度的频率，所述识别的频率是所述个体的呼吸速率。
13.根据权利要求1所述的方法，其中从所述选择出的本征向量提取所述呼吸速率包括：
计算相邻峰之间的峰至峰间隔；以及
从选择的峰至峰间隔的组计算频率。
14.根据权利要求1所述的方法，其中所述视频是串流视频，且实时地确定所述个体的所述呼吸速率。
15.一种用于从呼吸功能受到监视的个体的视频确定呼吸速率的系统，所述系统包括：
视频成像装置，其用于捕获包括个体的身体的至少一个关注区的多个时间连续图像帧的视频，其中可以通过所述视频成像装置的至少一个成像通道记录对应于呼吸的信号；
处理器，其与存储器通信且执行用于执行以下操作的机器可读指令：
接收个体的所述视频；
从所述多个时间连续图像帧中的所述关注区提取像素的特征，且由提取的像素的特征形成长度N的向量；
构建时间连续特征向量的N×M视频矩阵，所述视频矩阵中的总列数M对应于在其间确定所述个体的呼吸速率的持续时间；
处理所述视频矩阵以获得本征向量矩阵，所述本征向量矩阵使得归因于与所述个体的呼吸相关联的运动而引起的变化主轴包含在第一少数本征向量中；
从所述第一少数本征向量选择一个本征向量；以及
从选择出的本征向量提取所述个体的呼吸速率。
16.根据权利要求15所述的系统，其中所述特征向量包括以下各项中的任一个：强度分量、位置分量和运动分量。
17.根据权利要求16所述的系统，其中所述视频成像装置是包括红色、绿色和蓝色通道的彩色摄像机，且从所述通道中的任一个获得所述强度分量。
18.根据权利要求16所述的系统，其中所述视频成像装置是包括红色、绿色和蓝色通道的彩色摄像机，且通过计算来自所述红色、绿色和蓝色通道的像素值的代数和而获得所述强度分量。
19.根据权利要求18所述的系统，其中在形成所述特征向量之前，将与所述特征相关联的像素分组且计算它们的平均值。
20.根据权利要求19所述的系统，还包括对分组的像素进行空间滤波以减小噪声。
21.根据权利要求19所述的系统，还包括通过取每一行向量的L2范数且保留L2范数在预定义最大值以下的所有特征点进行幅值滤波。
22.根据权利要求15所述的系统，其中所述视频矩阵包括通过使用单一值分解计算平均值和协方差矩阵所获得的标准正交本征向量。
23.根据权利要求22所述的系统，其中在计算所述平均值和协方差矩阵之前，计算所述视频矩阵的导数。
24.根据权利要求15所述的系统，其中通过对所述视频矩阵执行单一值分解计算本征向量。
25.根据权利要求24所述的系统，其中在执行单一值分解之前，计算所述视频矩阵的导数。
26.根据权利要求15所述的系统，其中从所述选择出的本征向量提取所述呼吸速率包括：
产生所述选择出的本征向量的功率谱密度曲线；以及
识别所述功率谱密度曲线内的具有最高信号强度的频率，所述识别的频率是所述个体的呼吸速率。
27.根据权利要求15所述的系统，其中从所述选择出的本征向量提取所述呼吸速率包括：
计算相邻峰之间的峰至峰间隔；以及
从选择的峰至峰间隔的组计算频率。
28.根据权利要求15所述的系统，其中响应于所述个体的呼吸速率不在正常范围内，执行以下各项中的任一个：发起警告和发信号给医疗专业人员。
29.根据权利要求15所述的系统，还包括使用所述呼吸速率来促进确定发生以下各项中的任一个：婴儿猝死综合症、呼吸窘迫、呼吸衰竭和肺部疾病。
CN201510655567.7A 2014-10-21 2015-10-12 用于从视频确定呼吸速率的系统和方法 Active CN105520735B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/519641 2014-10-21
US14/519,641 US9693710B2 (en) 2014-10-21 2014-10-21 System and method for determining respiration rate from a video

Publications (2)

Publication Number Publication Date
CN105520735A CN105520735A (zh) 2016-04-27
CN105520735B true CN105520735B (zh) 2018-07-20

Family

ID=55638214

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510655567.7A Active CN105520735B (zh) 2014-10-21 2015-10-12 用于从视频确定呼吸速率的系统和方法

Country Status (3)

Country Link
US (1) US9693710B2 (zh)
CN (1) CN105520735B (zh)
DE (1) DE102015219547A1 (zh)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3117768B1 (en) 2006-05-19 2019-11-06 The Queen's Medical Center Motion tracking system and method for real time adaptive imaging and spectroscopy
EP2747641A4 (en) 2011-08-26 2015-04-01 Kineticor Inc METHOD, SYSTEMS AND DEVICES FOR SCAN INTERNAL MOTION CORRECTION
US9305365B2 (en) 2013-01-24 2016-04-05 Kineticor, Inc. Systems, devices, and methods for tracking moving targets
US10327708B2 (en) 2013-01-24 2019-06-25 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
CN106714681A (zh) 2014-07-23 2017-05-24 凯内蒂科尔股份有限公司 用于在医学成像扫描期间追踪和补偿患者运动的系统、设备和方法
US9943247B2 (en) 2015-07-28 2018-04-17 The University Of Hawai'i Systems, devices, and methods for detecting false movements for motion correction during a medical imaging scan
US10264996B2 (en) * 2015-10-19 2019-04-23 Sayfe Kiaei Method and apparatus for wirelessly monitoring repetitive bodily movements
WO2017091479A1 (en) 2015-11-23 2017-06-01 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
GB201601142D0 (en) 2016-01-21 2016-03-09 Oxehealth Ltd Method and apparatus for estimating breathing rate
GB201601143D0 (en) 2016-01-21 2016-03-09 Oxehealth Ltd Method and apparatus for health and safety monitoring of a subject in a room
GB201601140D0 (en) 2016-01-21 2016-03-09 Oxehealth Ltd Method and apparatus for estimating heart rate
GB201601217D0 (en) 2016-01-22 2016-03-09 Oxehealth Ltd Signal processing method and apparatus
US10667723B2 (en) 2016-02-19 2020-06-02 Covidien Lp Systems and methods for video-based monitoring of vital signs
US10709354B2 (en) * 2016-09-06 2020-07-14 Photorithm, Inc. Generating a breathing alert
US11389119B2 (en) * 2016-09-06 2022-07-19 Photorithm, Inc. Generating a breathing alert
GB201615899D0 (en) 2016-09-19 2016-11-02 Oxehealth Ltd Method and apparatus for image processing
US10885349B2 (en) 2016-11-08 2021-01-05 Oxehealth Limited Method and apparatus for image processing
GB201706449D0 (en) 2017-04-24 2017-06-07 Oxehealth Ltd Improvements in or realting to in vehicle monitoring
US10939824B2 (en) 2017-11-13 2021-03-09 Covidien Lp Systems and methods for video-based monitoring of a patient
CN111565638B (zh) 2018-01-08 2023-08-15 柯惠有限合伙公司 用于基于视频的非接触式潮气容积监测的系统和方法
GB201803508D0 (en) 2018-03-05 2018-04-18 Oxehealth Ltd Method and apparatus for monitoring of a human or animal subject
EP3806727A1 (en) 2018-06-15 2021-04-21 Covidien LP Systems and methods for video-based patient monitoring during surgery
EP3833241A1 (en) 2018-08-09 2021-06-16 Covidien LP Video-based patient monitoring systems and associated methods for detecting and monitoring breathing
US11617520B2 (en) 2018-12-14 2023-04-04 Covidien Lp Depth sensing visualization modes for non-contact monitoring
GB201900034D0 (en) 2019-01-02 2019-02-13 Oxehealth Ltd Method and apparatus for monitoring of a human or animal subject
GB201900032D0 (en) 2019-01-02 2019-02-13 Oxehealth Ltd Method and apparatus for monitoring of a human or animal subject
GB201900033D0 (en) 2019-01-02 2019-02-13 Oxehealth Ltd Mrthod and apparatus for monitoring of a human or animal subject
CN109766016A (zh) * 2019-01-16 2019-05-17 浙江乾行信息技术有限公司 一种异网多终端集中输入控制装置
US11315275B2 (en) 2019-01-28 2022-04-26 Covidien Lp Edge handling methods for associated depth sensing camera devices, systems, and methods
US11484208B2 (en) 2020-01-31 2022-11-01 Covidien Lp Attached sensor activation of additionally-streamed physiological parameters from non-contact monitoring systems and associated devices, systems, and methods
CN112842271B (zh) * 2021-01-11 2021-12-17 武汉理工大学 基于光纤传感的生理信号分离提取系统及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102499664A (zh) * 2011-10-24 2012-06-20 西双版纳大渡云海生物科技发展有限公司 基于视频图像的非接触式生命体征的检测方法及检测系统
CN203290905U (zh) * 2013-05-28 2013-11-20 天津点康科技有限公司 非接触式自动呼吸测量系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9226691B2 (en) 2012-06-01 2016-01-05 Xerox Corporation Processing a video for tidal chest volume estimation
US9301710B2 (en) 2012-06-01 2016-04-05 Xerox Corporation Processing a video for respiration rate estimation
WO2013186696A1 (en) * 2012-06-12 2013-12-19 Koninklijke Philips N.V. System for camera-based vital sign measurement
US8792969B2 (en) 2012-11-19 2014-07-29 Xerox Corporation Respiratory function estimation from a 2D monocular video

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102499664A (zh) * 2011-10-24 2012-06-20 西双版纳大渡云海生物科技发展有限公司 基于视频图像的非接触式生命体征的检测方法及检测系统
CN203290905U (zh) * 2013-05-28 2013-11-20 天津点康科技有限公司 非接触式自动呼吸测量系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于运动跟踪获取人体呼吸曲线的初步研究;文丽丽等;《中国生物医学工程学报》;20120831;第31卷(第4期);第512-517页 *

Also Published As

Publication number Publication date
US9693710B2 (en) 2017-07-04
US20160106340A1 (en) 2016-04-21
DE102015219547A1 (de) 2016-04-21
CN105520735A (zh) 2016-04-27

Similar Documents

Publication Publication Date Title
CN105520735B (zh) 用于从视频确定呼吸速率的系统和方法
US9697599B2 (en) Determining a respiratory pattern from a video of a subject
JP6343107B1 (ja) ビデオ・シーケンスにおける生体皮膚組織の識別
US9504426B2 (en) Using an adaptive band-pass filter to compensate for motion induced artifacts in a physiological signal extracted from video
US9185353B2 (en) Removing environment factors from signals generated from video images captured for biomedical measurements
Wei et al. Non-contact, synchronous dynamic measurement of respiratory rate and heart rate based on dual sensitive regions
CN113408508B (zh) 基于Transformer的非接触式心率测量方法
JP6549734B2 (ja) ビデオ・シーケンスにおける生体皮膚組織の識別
EP3674852A2 (en) Method and apparatus with gaze estimation
US20170055920A1 (en) Generating a respiration gating signal from a video
EP3298536A1 (en) Determining a pulse signal from a video sequence
CN112200162B (zh) 基于端到端网络的非接触式心率测量方法、系统和装置
US9245338B2 (en) Increasing accuracy of a physiological signal obtained from a video of a subject
EP3065072A1 (en) Apparatus and method for providing reliability for computer aided diagnosis
CN106991409A (zh) 一种运动想象脑电信号特征提取与分类系统及方法
US9483837B2 (en) Compensating for motion during real-time batch processing of video for physiological function assessment
Wu et al. PCA-based magnification method for revealing small signals in video
Tao et al. Calorie counter: RGB-depth visual estimation of energy expenditure at home
KR20220013395A (ko) 대상의 신체 또는 신체 부위의 표면적 및/또는 체적 추정하기
Javaid et al. Video colour variation detection and motion magnification to observe subtle changes
US20170294193A1 (en) Determining when a subject is speaking by analyzing a respiratory signal obtained from a video
TW202224622A (zh) 動態生理特徵區域擷取方法與系統
Uggla Lingvall Remote heart rate estimation by evaluating measurements from multiple signals
Zhang et al. Noncontact extraction of breathing waveform
Ambalkar Adversarial Attack and Defense for wireless sensing

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant