CN105100701A - 提高从主体的视频获得的生理信号的准确性 - Google Patents

提高从主体的视频获得的生理信号的准确性 Download PDF

Info

Publication number
CN105100701A
CN105100701A CN201510218092.5A CN201510218092A CN105100701A CN 105100701 A CN105100701 A CN 105100701A CN 201510218092 A CN201510218092 A CN 201510218092A CN 105100701 A CN105100701 A CN 105100701A
Authority
CN
China
Prior art keywords
picture frame
time
collection
video
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510218092.5A
Other languages
English (en)
Inventor
L·K·梅斯泰
S·卡亚奥
B·许
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xerox Corp
Original Assignee
Xerox Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xerox Corp filed Critical Xerox Corp
Publication of CN105100701A publication Critical patent/CN105100701A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • G06T7/0016Biomedical image inspection using an image reference approach involving temporal comparison
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/254Analysis of motion involving subtraction of images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08Feature extraction
    • G06F2218/10Feature extraction by analysing the shape of a waveform, e.g. extracting parameters relating to peaks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12Classification; Matching
    • G06F2218/16Classification; Matching by matching signal segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30076Plethysmography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/15Biometric patterns based on physiological signals, e.g. heartbeat, blood flow

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Human Computer Interaction (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

公开了用于提高从监控主体的期望生理功能的视频获得的生理信号的准确性的系统和方法。在一个实施例中,接收视频的图像帧。处理连续成批的图像帧。对于每一批,与主体的暴露身体区域关联的像素被分离、处理以获得时间-序列信号。如果在捕获这些图像帧的过程中出现低于预定阈值水平的运动,则预测模型的参数使用这一批的时间-序列信号来更新。否则,最后更新的预测模型被用来生成这一批的预测时间-序列信号。时间-序列信号与预测的时间-序列信号融合,以获得融合的时间-序列信号。每一批时间-序列信号被处理,以获得与生理功能对应的主体的生理信号。

Description

提高从主体的视频获得的生理信号的准确性
技术领域
本发明涉及提高从监控主体的期望生理功能的视频获得的生理信号的准确性的系统和方法。
背景技术
监控病人的心脏-呼吸事件对早期发现可能致命的状况有重要的临床意义。涉及接触传感器的现有技术要求病人始终穿戴这种装置。这种要求可能导致不舒服、心理依赖、尊严丧失,并且甚至可能引起另外的医学问题,诸如传感器必须长时间穿戴时的皮肤感染。老年病人、婴儿和那些患有慢性疾病的人更可能受到连续监控的负面影响。谨慎的、非接触式的基于成像的生理事件监控的使用能够在缓解这些问题方面取得长足进步。以前的努力致力于采用视频成像装置监控病人的期望生理功能的系统和方法。在这些方法中,捕获静止不动的病人的感兴趣区域的视频,并处理视频以通过从这些视频获得的时间-序列信号提取的生理信号估计心脏和呼吸功能。静电复印研究者已经确定静止不动的病人的运动,诸如转动头、移动臂等可能传递或诱发运动伪影进入到从病人的视频提取的生理信号中,因此不利地影响从其获得的生理信号的准确性。本申请致力于此问题。
因此,本领域需要的是提高从监控主体的期望生理功能的视频获得的生理信号的准确性的高级系统和方法。
发明内容
公开了用于提高从监控主体的期望生理功能的视频获得的生理信号的准确性的系统和方法。在一个实施例中,本方法包括下列各项。首先,接收监控主体的期望生理功能的视频的图像帧。视频已经由视频成像装置捕获。图像帧是主体的暴露身体区域的至少一部分,其中,与所述期望的生理功能对应的生理信号被所述视频成像装置记录。定义大小为N的一批图像帧。然后,对大小为N的那批图像帧执行以下操作。一批图像帧被处理以分离与暴露的身体区域关联的像素,分离的像素被处理以获得这一批的时间-序列信号。之后,确定在这一批图像帧的视频获取期间,是否出现运动。如果确定的结果是运动低于预定的运动阈值水平,则使用由这一批图像帧获得的时间-序列信号更新预测模型的参数。否则,最后更新的预测模型用来生成当前一批的预测时间-序列信号,将获得的这一批的时间-序列信号与所述预测时间-序列信号融合,以获得融合时间-序列信号。获得的各批图像帧的时间-序列信号不管是融合还是不融合,都被处理以获得与被监控主体的生理功能对应的生理信号。
通过下文的详细描述和附图,上述的系统和方法的特征和优点将变得显然。
附图说明
通过以下结合附图进行的详细描述,本文中公开的主题的前述和其它特征和优点将变得显然,其中:
图1是图解说明用于提高从监控主体的期望生理功能的视频获得的生理信号的准确性的本发明方法的一个示例性实施例的流程图;
图2是图1流程图的继续,流程处理继续节点A;
图3显示根据所示的参照图1-2的流程图描述的实施例用于处理视频的一个示例性视频处理系统300的框图;
图4是从已经处理的视频图像帧获得的未滤波信号的图形;
图5是图4的未滤波信号叠加了预测信号的图形;以及
图6是为了显示相关性的预测信号与实际信号的图形。
具体实施方式
公开了用于提高从监控主体的期望生理功能的视频获得的生理信号的准确性的系统和方法。
“生理功能”是呼吸或心脏功能。
“主体”指被监控生理功能的有生命的人或病人。尽管在此文中可以使用词语“人”或“病人”,但应当认识到主体可以是除了人之外的物体,诸如灵长类动物。这些词语不认为将所附权利要求的范围严格地限制到人类。
如通常理解的,“视频”指由被监控生理功能的主体的视频成像装置捕获的多个时间-序列图像帧。视频还可以包含其它组成,诸如音频、时间、帧速率数据等。拍摄主体的身体区域的视频,其中,对应于期望生理功能的时变信号可以由用来捕获该视频的视频成像装置记录。
“视频成像装置”是如通常理解的单通道或多通道视频捕获装置。视频成像装置可以是高帧速率和高空间分辨率的装置,比方说例如用于捕获黑/白视频的单色摄像机(camera)或用于捕获彩色视频的彩色摄像机。视频成像装置可以是具有热、红外、多光谱或超光谱传感器的装置。视频成像装置可以包括能够在高帧速率和高空间分辨率的传统视频模式和低帧速率但高光谱分辨率的光谱模式下操作的混合装置。视频成像装置可以具有多个输出,通过这多个输出可以根据每个通道检索或以另外接收视频。视频成像装置可以包括各种部件,诸如存储器、一个或多个存储装置和执行机器可读程序指令以用于根据其教导处理和分析视频的处理器。包括标准视频设备的视频成像装置和具有专用成像传感器那些视频成像装置可从各种贸易流的大量供应商获得。
“接收”视频的“图像帧”旨在广义解读为并包括:检索、捕获、获取或以其它方式获得图像帧以用于根据本文中公开的方法处理。图像帧可以从视频成像装置的存储器或存储装置检索,通过网络从远程装置或诸如CDROM或DVD的介质获得。图像帧可以从基于网络的系统或应用下载,这使得这些图像帧可用于处理。图像帧还可以从诸如那些手持蜂窝装置可用并在手机或其它诸如iPad或平板电脑的手持计算装置上处理的应用接收。
“一批图像帧”表示多个时间-序列图像帧。成批的图像帧是时间连续的,即下一批图像帧跟随前一批之后。在优选实施例中,连续的成批图像帧彼此大量叠加。根据其教导,初始大小为N的第一批图像帧定义为使得:Nmin≤N≤Nmax,其中,Nmin是获得准确的生理信号所需的一批图像帧的最小大小,Nmax是用户定义的一批图像帧的最大大小。对于呼吸功能评估,一批图像帧的最小大小优选不小于主体的3个呼吸周期。对于心脏功能评估,一批图像帧的最小大小优选不小于主体的1个心脏周期。成批的图像帧被处理以获得每一批的时间-序列信号。
“时间-序列信号”是从一批图像帧中提取的信号,包含与被监控主体的生理功能有关的有意义的数据。时间-序列信号包含感兴趣的频率分量。时间-序列信号可以被标准化,并可以进行预滤波以去掉不期望的频率。时间序列信号是从特定一批视频图像帧通过处理该批中的每个图像帧中暴露的身体区域的一个或多个区域中的像素生成的。用于处理像素的一种方法涉及分离与图像帧中的身体区域关联的像素。像素可以在图像帧中使用图像处理技术被分离,图像处理技术诸如基于颜色、纹理、空间特征、光谱信息、对象辨识(诸如脸或胸部区域识别、模式识别)和用户输入的像素分类。然后,对该批中所有图像帧中每个帧的分离区域内的像素值进行平均。计算每个分离区域中所有像素的平均值,以在每帧的基础上获得通道平均值。各个时间-序列信号可以根据需要被加权。加权可以应用于一个或多个信号分段,而其它信号分段可以不被加权。用于加权信号分段的方法容易理解。从成批的图像帧获得的时间-序列信号被处理以提取生理信号。
“生理信号”是与被监控主体的生理功能对应的信号。生理信号是从处理每批图像帧获得的每个时间-序列信号提取的。上文包括的许多美国专利申请教导了从时间-序列信号提取生理信号的各个方面。生理信号可以通过网络传送到显示装置、存储装置、手持无线蜂窝装置或远程装置。
主体的“暴露身体区域”指通过视频成像装置的孔看到的主体的身体的暴露皮肤的至少局部视图,其中,与期望的生理功能对应的生理信号可以由视频成像装置记录。其中呼吸信号可以被视频成像装置记录的身体区域是主体的身体由于呼吸时胸部的膨胀和收缩造成运动的那些区域。这些身体区域包括主体的前胸区域、主体的胸部区域的侧视图和主体的背部身体的背部区域。其中心脏信号可以被视频成像装置记录的身体区域是其中由于血流造成皮下静脉或动脉脉博可以被检测的暴露皮肤的那些区域。
“确定是否出现运动”表示确定运动是否很可能诱发运动伪影进入组成该批的视频图像帧中。运动可以由主体、视频成像装置或当第三方在视频成像装置和主体之间步行时引起。运动可以由主体周围的环境引起,诸如病人的床移动或枕头/床单位移、灯闪烁等。确定是否发生运动可以使用各种技术实现。例如,运动检测器可以用来感测主体,并在主体移动时提供信号或相反地在主体不移动时提供信号。与运动关联的图像帧的时间间隔可以被相应地辨识。运动还可以由受过训练的技师通过视觉观察确定,技师的任务是在视频获取过程中观察主体。软件工具可以用来例如通过处理每个图像帧中的分离的(若干)身体区域中的像素,分析成批的图像帧以寻找运动,从而确定与该区域关联的中心像素位置相对于环境中的固定对象或主体的固定位置的变化量。其它方法包括确定视频成像装置的至少一个预先选择的通道的时间序列信号的变化速率;确定一批图像帧中身体区域的任何X或Y位置、方向、大小的导数相对于前一批图像帧中的那些相同位置是否变化;或者确定主体的身体的其它部分的任何X和Y位置的导数是否超过阈值。运动可以通过查找该批图像帧中的身体区域的形状变化来辨识,即头转动,臂移动等。可以利用面部识别算法或对象跟踪方法来进行运动确定。软件工具可以被配置成发送信号、发起警告或另外在检测或未检测到运动时标记图像帧的时间间隔。
如本文中使用的“运动阈值”是在用于比较目的的一批图像帧的视频获取过程中的运动量的水平。阈值可以基于被监控主体的生理功能,即为呼吸功能评估设定的阈值水平可以完全不同于为心脏功能评估设定的阈值。阈值水平可以基于运动类型或运动来源(即通过主体或通过环境)。阈值水平可以基于该批内运动的时间。阈值可以由用户或技师设定。运动阈值可以被实时动态调节。这种动态调节可以基于例如从已经处理的特定一批的像素获得的时间-序列信号的功率谱的信噪比,或者基于节奏信号的波形。阈值可以在主体的视频被视频成像装置捕获时由用户/技师实时、动态地调节。应当认识到运动的阈值设定取决于其教导发现潜在用途的应用。因此,关于特定的阈值水平的讨论在本文中被忽略。响应于特定一批的图像帧的运动超过阈值,从该批获得的时间-序列信号可以被放弃。替代性地,提供从该批的时间-序列信号提取的生理信号可能是不可靠的可能需要进一步处理的指示。在其它实施例中,应用运动补偿策略以降低对受检测运动的影响。对超过阈值的运动的各种其它响应包括例如发起运动过量的警告信号;给医学专家发信号出现过量运动;改变视频成像装置的帧速率;用另一摄像机交换视频成像装置;移动视频成像装置的位置;以及完全停止视频获取。
“预测模型”在预测分析中用来创建预测未来行为或未来结果的统计模型。预测模型通常包括许多个变量(即参数),这些变量已经被确定以预示未来行为或结果。多个预测器组合成一个预测模型,预测模型在进行分析时,可以以可接受的可靠性水平预测未来可能性。在预测建模时,挖掘过去行为的数据,公式化预测模型,模型的参数在附加数据变成可用时被重复地修改并验证,预测模型用来预测未来行为或结果。预测模型可以与线性方程式一样简单或与神经网络一样复杂。引导读者阅读文件:MaxKuhn和KjellJohnson所著的“AppliedPredictiveModeling”,SpringerPublishing(Sept.2013),ISBN-13:978-1461468486,和SanfordWeisberg所著的“AppliedLinearRegression”,WileyPublishing4thEd.(Dec.2013),ISBN-13:978-1118386088.”。在本方法中,当运动没有超过预定的运动阈值水平时,预测模型的参数被反复用从处理成批的图像帧获得的时间-序列信号的分量更新。在确定在特定批的帧的视频获取期间出现超过运动设定的阈值水平时,最近更新的预测模型则用来生成该特定一批图像帧的“预测”时间-序列信号。生成的预测时间-序列信号然后与从已经处理的这一批图像帧获得的时间-序列信号融合。自回归模型或脉冲响应在本文中用于预测建模。
“自回归模型”是规定输出线性依赖于之前的状态值的系统的预测模型。自回归模型已经用来描述大量的时变过程,诸如自然、经济等中发现的过程。自回归模型包括自回归移动平均(ARMA)模型、自回归积分移动平均(ARIMA)模型和自回归部分积分移动平均(ARFIMA)模型。
“脉冲响应函数”或只是“脉冲响应”是响应于称作“脉冲”的输入而生成的输出的系统的预测模型。函数的响应描述系统对脉冲的反应。系统的反应可以是时间的函数或确定该系统的动态行为的参数的一些其它独立变量的函数。
“融合”表示将时间-序列信号组合在一起。一些或所有的时间-序列信号和预测时间-序列信号可以根据需要加权。这些加权可以根据需要尽可能大或尽可能小,包括零。用于组合(融合)时间-序列信号的方法在信号处理领域是众所周知的。所产生的融合时间-序列信号可以使用例如等纹波带通滤波器来滤波,以去掉不需要的伪影。
“处理”包括根据任何特定的背景或出于本文中描述的任何特定目的,应用任何施加到数据的数学运算。
现在参照图1的流程图,图1图解说明用于提高从监控主体的期望生理功能的视频获得的生理信号的准确性的本发明方法的一个示例性实施例。流程处理开始于步骤100,立即前进到步骤102。
在步骤102,接收主体的身体区域的视频,其中,与期望的生理功能对应的时变信号被获取该视频的视频成像装置记录。
在步骤104,定义初始大小为N的一批图像帧用于处理,使得Nmin≤N≤Nmax,其中,Nmin是一批图像帧的最小大小,Nmax是一批图像帧的最大大小。
在步骤106,处理该批图像帧,以分离与身体区域关联的像素。
在步骤108,处理被分离的像素,以获得该批图像帧的时间-序列信号。
在步骤110,对在这一批图像帧的视频获取期间是否出现超过阈值运动水平的运动进行确定。
现在参照图2,图2是图1流程图的继续,流程处理继续节点A。
如果步骤110的确定结果是运动没有超过设定的运动阈值水平,则处理继续节点A,其中,在步骤112,使用获得的这批的时间-序列信号(来自步骤108)更新预测模型的参数。另一方面,如果确定运动超过运动的阈值水平,则处理继续节点B,其中,在步骤114,使用更新的预测模型来生成当前这一批的预测时间-序列信号。
在步骤116,将这一批的时间-序列信号与生成的这一批的预测时间-序列信号(来自步骤114)融合,以获得当前这一批的融合时间-序列信号。
在步骤118,对更多的图像帧是否还要被处理进行确定。如果是,则处理继续节点D,其中,在步骤106,处理下一批图像帧。处理重复进行,直到没有更多的成批的图像帧要被处理。
在其它实施例中,如果运动已经超过设定的运动阈值水平,则提供警告信号。警告可以采用在显示装置上显示的消息或在例如护士站或装置的显示器上激活的声音的形式。警告可以采用提供警告条件存在的可视指示的彩色或闪烁灯的形式。警告可以是文本、音频和/或视频消息。警告信号可以通过有线或无线网络传送到一个或多个远程装置。警告可以直接发送到医学专家的手持无线蜂窝装置。其后,响应于警告可以采取附加措施。上述的方法优选用于病人监控,其中,视频的图像帧被视频成像装置实时地捕获,并在被接收时被处理以提取与期望的生理功能对应的生理信号。
还应当认识到本文中描绘的流程图是示意性的。流程图中图示的一个或多个操作可以以不同的顺序执行。其它操作可以被添加、修改、改进或合并。其变形旨在落入所附权利要求的范围内。
现在参照图3,图3显示根据图示并参照图1-2的流程图描述的实施例用于处理视频的一个示例性视频处理系统300的框图。
在图3中,示出了获取主体302的暴露身体区域的流视频301的视频成像装置300。视频图像(全部在303)传送到视频处理系统304。批处理器305从工作站311接收定义大小为N的一批图像帧,通过分离与图像帧中暴露的身体区域关联的像素,然后处理分离的像素以获得每一批的时间-序列信号来连续处理大小为N的成批的图像帧。运动分析器306处理当前这一批图像帧,对是否出现超过为运动设定的阈值水平的运动进行确定。将确定结果提供到预测模型模块307,预测模型模块307基于确定结果,或者更新存储于其中的预测模型的参数,或者使用最后更新的预测模型生成预测时间-序列信号。信号融合器模块308接收当前这一批的时间-序列信号和预测的时间-序列信号(在适用时),继续将两种时间-序列信号融合在一起,获得融合的时间-序列信号。处理器309从存储器310中检索机器可读程序指令,提供处理器309以促进视频处理系统304的任何模块的功能。单独地操作或与其它处理器和存储器共同操作的处理器309可以被配置成帮助或另外执行视频处理系统304的任何处理器或模块的功能。处理器309继续由各种时间-序列信号生成生理信号,并将主体的生理信号传送给工作站311的显示装置。
工作站311的计算机机箱容置各种部件,诸如具有处理器和存储器的主板、网卡、视频卡、能够读/写机器可读介质312(诸如软盘、光盘、CD-ROM、DVD、磁带等)的硬盘驱动器和执行计算机工作站的功能所需的其它软件和硬件。工作站还包括显示装置313(诸如CRT、LCD或触摸屏装置)以显示信息、视频、测量数据、计算值、医学信息、结果、位置等。用户可以查看任何信息,从其上显示的菜单选项中进行选择。键盘314和鼠标315实现用户输入或选择。工作站具有操作系统和被配置成显示字母数字值、菜单、滚动条、刻度盘、滑动条、下拉选项、可选按钮等用于输入、选择、修改和接受根据其教导处理视频图像帧所需的信息的其它专用软件。在其它实施例中,用户或技师可以使用工作站的用户界面来辨识感兴趣区域,设置参数,选择图像帧和/或图像的区域进行处理。这些选择可以存储于/检索存储装置312和316。默认设置和初始参数可以根据需要从存储装置中检索。进一步,用户可以调节被使用的预测模型的各个参数,或者在成批的图像帧被处理时动态地实时改变预测模型。工作站可以显示流视频的图像帧。工作站在存储装置316中实现数据库,其中,记录被存储、操作以及响应于查询被检索。在各个实施例中这些记录可以采用病人医学历史的形式。尽管数据库显示为外部装置,但数据库可以在例如安装在计算机机箱中容置的硬盘驱动器上的工作站内部。
尽管显示为桌面型计算机,但应当认识到工作站可以是膝上型计算机、主机或专用计算机,诸如ASIC、电路或其它。图3的工作站实施例是示意性的,可以包括本领域已知的其它功能。工作站的任何部件可以设置成与视频处理系统304通信或者和与视频处理系统304通信的任何装置通信。视频处理系统304的任何模块和处理单元可以设置成与存储装置312和316通信,并且可以存储/从其中检索执行其潜在功能所需的数据、变量、记录、参数、函数和/或机器可读/可执行程序指令。视频处理系统304的每个模块可以设置成通过网络317与一个或多个远程装置通信。
应当认识到可以整体或部分地由工作站311实现由视频处理系统304的任何模块或处理单元执行一些或所有功能。工作站可以设置成通过网络317与视频成像装置300通信。图3的实施例是示意性的,不应当视为将所附权利要求的范围严格地限制到该配置。各个模块可以指定一个或多个部件,这些部件又包括被设计成执行潜在功能的软件和/或硬件。
以下是使用本文中公开的教导来自健康主体的视频的示例。使用视频成像装置集以30帧每秒(fps)的捕获速度在200帧的周期捕获健康成人的视频。训练批长度是17秒长(512帧)。采样周期是0.0333秒。
图4是从已经处理的视频图像帧获得的未滤波信号401的图形400。信号段(402处)是超过阈值水平的运动出现的时候。
图5是图4的未滤波信号叠加了预测信号的图形500。融合和滤波信号显示于相同的图形中。
图6是在视频中主体的实际信号(601处的实线)叠加了预测信号(602处的虚线)的图形600。预测信号似乎与实际信号相关联。应当注意,在预测水平变长时,开始丢失相位和信号强度。用等纹波带通滤波器执行最后的滤波。
各个实施例
本领域技术人员不经过不适当的对本文提供的功能描述的实验,具备本领域的一般知识,可以用硬件或软件使用任何已知的或以后开发的系统、结构、装置和/或软件实现本文的教导。本文描述的方法的一个或多个方面旨在包括于制造品中,制造品可以被运输、出售、租赁或另外单独地或作为产品套件或服务的一部分提供。

Claims (10)

1.一种用于提高从监控主体的期望生理功能的视频获得的生理信号的准确性的方法,所述方法包括:
接收由监控主体的期望生理功能的视频成像装置捕获的图像帧,所述图像帧获取所述主体的暴露身体区域的至少一部分,其中,与所述期望的生理功能对应的生理信号能够被所述视频成像装置记录;
定义大小为N的一批图像帧,使得Nmin≤N≤Nmax,其中,Nmin是一批图像帧的最小大小,Nmax是一批图像帧的最大大小;以及
对于大小为N的每批图像帧:
处理当前一批图像帧,以分离与所述身体区域关联的像素;
处理所述分离的像素以获得这一批的时间-序列信号;
确定在这一批图像帧的视频获取期间,是否出现运动;以及
响应于所述运动低于预定的阈值水平,使用所述获得的时间-序列信号更新预测模型的参数,否则:
使用所述更新的预测模型生成当前一批的预测时间-序列信号;以及
将所述时间-序列信号与所述预测的时间-序列信号融合,以获得当前一批的融合时间-序列信号。
2.根据权利要求1所述的方法,其中,所述视频成像装置是以下当中的任何一个:彩色摄像机、单色摄像机、红外摄像机、多光谱视频成像装置和超光谱摄像机。
3.根据权利要求1所述的方法,其中,在所述身体区域内关联的像素在所述图像帧中使用以下中的任何一个分离:基于颜色、纹理、空间特征、光谱信息、对象辨识、模式识别和用户输入的像素分类。
4.根据权利要求1所述的方法,其中,确定所述运动是否出现包括以下当中的任何一个:
确定所述摄像机的至少一个预选择通道的所述时间序列信号的变化率;
确定在所述感兴趣区域中任何X或Y位置、方向、大小的导数相对于之前的时间是否已经变化;以及
确定在主体身体的其它部分的任何X或Y位置的导数是否超过预定义的阈值。
5.根据权利要求1所述的方法,其中,所述预测模型包括以下中的任何一个:自回归模型和脉冲响应函数。
6.根据权利要求1所述的方法,其中,所述运动的阈值水平基于以下的中的任何一个:
被监控的所述主体的所述生理功能;
在所述一批图像帧中检测的运动的类型;
所述运动的来源;
所述运动发生时的时间;以及
用户输入。
7.根据权利要求1所述的方法,其中,在融合之前,还包括以下中的任何一个:
加权所述时间-序列信号的至少一个分段;以及
加权所述预测的时间-序列信号的至少一个分段。
8.根据权利要求1所述的方法,其中,响应于所述运动超过所述阈值,还包括以下中的任何一个:
提供从所述当前一批的所述时间-序列信号提取的生理信号可能是不可靠的指示;以及
调节所述一批图像帧的所述大小。
9.根据权利要求1所述的方法,其中,响应于所述运动超过所述阈值水平,还包括以下中的任何一个:
发起警告信号;
给医学专家发信号;
改变所述视频成像装置的帧速率;
移动所述视频成像装置的位置;
用另一摄像机交换所述视频成像装置;以及
停止所述主体的视频获取。
10.一种用于提高从监控主体的期望生理功能的视频获得的生理信号的准确性的系统,所述系统包括:
存储器和存储装置;以及
处理器,所述处理器与所述存储器和存储装置通信,所述处理器执行机器可读指令以用于执行:
接收由监控主体的期望生理功能的视频成像装置捕获的视频的图像帧,所述图像帧获取所述主体的暴露身体区域的至少一部分,其中,与所述期望生理功能对应的生理信号能够被所述视频成像装置记录;
定义大小为N的一批图像帧,使得Nmin≤N≤Nmax,其中,Nmin是一批图像帧的最小大小,Nmax是一批图像帧的最大大小;以及
对于大小为N的每批图像帧:
处理当前这一批图像帧,以分离与所述身体区域关联的像素;
处理所述分离的像素以获得这一批的时间-序列信号;
确定在这一批图像帧的视频获取期间,是否出现运动;以及
响应于所述运动低于预定的阈值水平,使用所述获得的时间-序列信号更新预测模型的参数,否则:
使用所述更新的预测模型生成当前一批的预测时间-序列信号;以及
将所述时间-序列信号与所述预测的时间-序列信号融合,以获得当前一批的融合时间-序列信号。
CN201510218092.5A 2014-05-19 2015-04-30 提高从主体的视频获得的生理信号的准确性 Pending CN105100701A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/281,072 US9245338B2 (en) 2014-05-19 2014-05-19 Increasing accuracy of a physiological signal obtained from a video of a subject
US14/281072 2014-05-19

Publications (1)

Publication Number Publication Date
CN105100701A true CN105100701A (zh) 2015-11-25

Family

ID=54361878

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510218092.5A Pending CN105100701A (zh) 2014-05-19 2015-04-30 提高从主体的视频获得的生理信号的准确性

Country Status (3)

Country Link
US (1) US9245338B2 (zh)
CN (1) CN105100701A (zh)
DE (1) DE102015208144A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106821352A (zh) * 2017-03-14 2017-06-13 广州视源电子科技股份有限公司 一种健康状态提示方法和装置
CN109923554A (zh) * 2016-09-29 2019-06-21 伦敦国王学院 图像处理
US11227161B1 (en) 2021-02-22 2022-01-18 Institute Of Automation, Chinese Academy Of Sciences Physiological signal prediction method

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10687712B2 (en) * 2013-07-22 2020-06-23 Koninklijke Philips N.V. Automatic continuous patient movement monitoring
EP3151728A1 (en) * 2014-06-06 2017-04-12 Koninklijke Philips N.V. Device, system and method for detecting apnoea of a subject
TWI556793B (zh) * 2015-07-09 2016-11-11 國立臺灣科技大學 非接觸式即時生理訊號及動作偵測方法
US11389119B2 (en) * 2016-09-06 2022-07-19 Photorithm, Inc. Generating a breathing alert
US10952115B2 (en) * 2019-03-20 2021-03-16 Cisco Technology, Inc. Detecting stable wireless conditions to rebalance AP loads in large (conference) rooms
AT522841A1 (de) * 2019-07-17 2021-02-15 Ait Austrian Inst Tech Gmbh Verfahren zur Detektion der Intensität und/oder des Ausmaßes der Körperbewegungen einer Person
US11200407B2 (en) * 2019-12-02 2021-12-14 Motorola Solutions, Inc. Smart badge, and method, system and computer program product for badge detection and compliance

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3335716A (en) * 1965-01-18 1967-08-15 Gen Electric Diagnostic thermography method and means
US8600213B2 (en) 2011-10-26 2013-12-03 Xerox Corporation Filtering source video data via independent component selection
US9185353B2 (en) 2012-02-21 2015-11-10 Xerox Corporation Removing environment factors from signals generated from video images captured for biomedical measurements
US8855384B2 (en) * 2012-06-20 2014-10-07 Xerox Corporation Continuous cardiac pulse rate estimation from multi-channel source video data
US9036877B2 (en) 2012-06-20 2015-05-19 Xerox Corporation Continuous cardiac pulse rate estimation from multi-channel source video data with mid-point stitching
US20140240511A1 (en) * 2013-02-25 2014-08-28 Xerox Corporation Automatically focusing a spectral imaging system onto an object in a scene

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109923554A (zh) * 2016-09-29 2019-06-21 伦敦国王学院 图像处理
CN109923554B (zh) * 2016-09-29 2023-11-28 伦敦国王学院 图像处理
CN106821352A (zh) * 2017-03-14 2017-06-13 广州视源电子科技股份有限公司 一种健康状态提示方法和装置
US11227161B1 (en) 2021-02-22 2022-01-18 Institute Of Automation, Chinese Academy Of Sciences Physiological signal prediction method

Also Published As

Publication number Publication date
US9245338B2 (en) 2016-01-26
DE102015208144A1 (de) 2015-11-19
US20150332457A1 (en) 2015-11-19

Similar Documents

Publication Publication Date Title
CN105100701A (zh) 提高从主体的视频获得的生理信号的准确性
US9336594B2 (en) Cardiac pulse rate estimation from source video data
US10863939B2 (en) Emotion estimating method, emotion estimating apparatus, and recording medium storing program
US9036877B2 (en) Continuous cardiac pulse rate estimation from multi-channel source video data with mid-point stitching
US8855384B2 (en) Continuous cardiac pulse rate estimation from multi-channel source video data
US9521335B2 (en) Detecting febrile seizure with a thermal video camera
US8478542B2 (en) Non-parametric modeling apparatus and method for classification, especially of activity state
CN105520735A (zh) 用于从视频确定呼吸速率的系统和方法
EP3453321A1 (en) Non-invasive method and system for estimating blood pressure from photoplethysmogram using statistical post-processing
US9721180B2 (en) Estimating respiratory phase from a video of a subject
US20150245787A1 (en) Real-time video processing for respiratory function analysis
EP3160328B1 (en) Device, system and computer program for detecting a health condition of a subject
US20140200460A1 (en) Real-time physiological characteristic detection based on reflected components of light
WO2014145204A1 (en) Mental state analysis using heart rate collection based video imagery
US20210386343A1 (en) Remote prediction of human neuropsychological state
US20150313502A1 (en) Determining arterial pulse wave transit time from vpg and ecg/ekg signals
Mastorakis et al. Fall detection without people: A simulation approach tackling video data scarcity
US9483837B2 (en) Compensating for motion during real-time batch processing of video for physiological function assessment
KR20160107528A (ko) 컴퓨터 보조 진단을 위한 신뢰도 제공 장치 및 방법
US20180235464A1 (en) Method and system for detecting time domain cardiac parameters by using pupillary response
EP2774533A1 (en) Apparatuses and method for determining and using heart rate variability
Slapnicar et al. Contact-free monitoring of physiological parameters in people with profound intellectual and multiple disabilities
Hakim et al. Emotion recognition in elderly based on SpO 2 and pulse rate signals using support vector machine
Molinaro et al. Cardiorespiratory Parameters Monitoring Through a Single Digital Camera in Real Scenarios: ROI Tracking and Motion Influence
CN115905920A (zh) 训练睡眠检测模型的方法、睡眠检测方法及相关装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20151125