CN106991268A - 监控呼吸运动的方法及其电子装置 - Google Patents

监控呼吸运动的方法及其电子装置 Download PDF

Info

Publication number
CN106991268A
CN106991268A CN201610541670.3A CN201610541670A CN106991268A CN 106991268 A CN106991268 A CN 106991268A CN 201610541670 A CN201610541670 A CN 201610541670A CN 106991268 A CN106991268 A CN 106991268A
Authority
CN
China
Prior art keywords
vector
motion
viewing area
axis
time series
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610541670.3A
Other languages
English (en)
Other versions
CN106991268B (zh
Inventor
彭德彰
黎焕欣
林明田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HTC Corp
Original Assignee
High Tech Computer Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by High Tech Computer Corp filed Critical High Tech Computer Corp
Publication of CN106991268A publication Critical patent/CN106991268A/zh
Application granted granted Critical
Publication of CN106991268B publication Critical patent/CN106991268B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/06Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/08Detecting, measuring or recording devices for evaluating the respiratory organs
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/08Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/0803Recording apparatus specially adapted therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/08Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/0816Measuring devices for examining respiratory frequency
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/08Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/0826Detecting or evaluating apnoea events
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/113Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb occurring during breathing
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4806Sleep evaluation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/746Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • G06T7/0016Biomedical image inspection using an image reference approach involving temporal comparison
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/262Analysis of motion using transform domain methods, e.g. Fourier domain methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/02Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H04L67/025Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Pulmonology (AREA)
  • Theoretical Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Psychiatry (AREA)
  • Mathematical Physics (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

一种监控呼吸运动的方法及其电子装置,上述方法包括下列步骤。接收对于监控对象的时间序列输入画面,并且分割每一输入画面为多个区块,其中具有相同像素坐标的每一区块将组成时间序列输入区块。计算并且投射每一区块的移动向量至多个不平行的轴线,并且将符号分配于每一投射后的移动向量。分别针对各个轴线,将各个时间序列输入区块的投射后的移动向量合并为对应的一维波形,并且将其转换至频率域,以在时间序列输入画面中定位观察区域。计算监控对象对应于观察区域的呼吸频率,据以判定监控对象是否呼吸正常。

Description

监控呼吸运动的方法及其电子装置
技术领域
本发明涉及一种监控呼吸运动的方法及其电子装置。
背景技术
婴儿猝死症(sudden infant death syndrome,SIDS)是指婴儿在一岁以前突然不预期的死亡,其为造成新生儿死亡的主要原因之一,亦为新生儿的父母所严重关切的议题。美国儿科学会(American Academy of Pediatrics)则是将婴儿睡眠呼吸中止(infantapnea)定义为“长达20秒以上的呼吸中断或是短暂的呼吸暂停的现象,其关联于心跳过缓(bradycardia)、发绀(cyanosis)、苍白(pallor)和/或肌肉张力异常(marked hypotonia)等症状”,并且会更进一步地引发婴儿猝死症。尽管研究上并无法实际证明婴儿睡眠呼吸中止与婴儿猝死症的直接关联性,婴儿猝死症仍可视为一种睡眠障碍。婴儿猝死症的婴儿往往是在睡眠时无法控制其自主的呼吸或是因呼吸困难而有睡眠障碍的问题。因此,监控婴儿的呼吸运动以即早检测出潜在的致命危机更显得极为重要。
目前存在的解决方式是将传感器或者是具有传感器的连身衣穿戴于婴儿身上,以监控其呼吸运动。此种方式是藉由检测婴儿胸腹部的呼吸律动,以在检测出律动不正常或是无检测信号长达一段时间时,警示其父母。然而,此种穿戴式的传感器会直接与婴儿接触,进而造成皮肤过敏以及不适感。基于此,目前有必要发展出一种可在不适感减至最低的前提下,持续性地监控睡眠中的婴儿,以避免婴儿猝死症的憾事发生。
发明内容
有鉴于此,本发明提供一种监控呼吸运动的方法及其电子装置与计算机可读存储介质,其可在监控对象无需穿戴任何装置前提下,利用低成本以及高效率的数字实作方式来达到呼吸运动的监控。
在本发明的一实施例中,上述监控呼吸运动的方法适用于电子装置,并且包括下列步骤。首先,接收对于监控对象的时间序列输入画面,并且将时间序列输入画面中的每一输入画面分割为多个区块,其中时间序列输入画面中具有相同像素坐标的每一区块组成时间序列输入区块。接着,计算各个区块的移动向量,并且将各个区块的移动向量投射至多个不平行的轴线。将符号分配于相对于各个轴线的各个投射后的移动向量,其中符号为正号、负号或零其中的一个。之后,针对各个轴线,分别将各个时间序列输入区块的所有投射后的移动向量合并为对应的一维波形,并且将一维波形转换至频率域。根据转换后的一维波形,在时间序列输入画面中定位关联于监控对象的观察区域,以及计算监控对象对应于观察区域的呼吸频率,据以判断监控物体是否呼吸正常。
在本发明的一实施例中,上述电子装置包括存储器以及耦接至存储器的处理器。存储器用以记录多个模块,而处理器用以存取并且执行记录于存储器的模块。上述模块包括图像接收模块、图像处理模块、移动向量处理模块、波形处理模块、观察区域定位模块以及呼吸频率处理模块。图像接收模块用以接收对于监控对象的时间序列输入画面。图像处理模块用以将时间序列输入画面中的每一输入画面分割为多个区块,其中时间序列输入画面中具有相同像素坐标的每一区块将组成时间序列输入区块。移动向量处理模块用以计算各个区块的移动向量,将各个区块的移动向量投射至多个不平行的轴线,并且将符号(sign)分配于相对于各个轴线的各个投射后的移动向量,其中符号为正号、负号或零其中的一个。波形处理模块用以针对各所述轴线,分别将各个时间序列输入区块的所有投射后的移动向量合并为对应的一维波形,并且将一维波形转换至频率域。观察区域定位模块用以根据转换后的一维波形,在时间序列输入画面中定位关联于监控对象的观察区域。呼吸频率处理模块用以计算监控对象对应于观察区域的呼吸频率,据以判断监控物体是否呼吸正常。
基于上述,本发明所提供一种基于图像技术来针对输入视频序列进行频率分析,从而针对监控对象进行呼吸运动的监控。此外,本发明可在监控对象无需穿戴任何装置前提下,利用低成本以及高效率的数字实作方式来达到监控的目的。
为让本发明的上述特征和优点能更明显易懂,下文特举实施例,并配合附图作详细说明如下。
附图说明
图1绘示依据本发明一实施例的监控呼吸运动的方法所提出的一种电子装置的硬件架构。
图2绘示依据本发明一实施例的监控呼吸运动的方法的流程图。
图3A绘示依据本发明一实施例利用两个连续画面计算移动向量的示意图。
图3B绘示依据本发明一实施例的移动向量以及多个轴线的示意图。
图3C绘示依据本发明一实施例的合并后的一维波形的示意图。
图3D绘示依据本发明一实施例将各个时间序列输入区块的投射后的移动向量所合并后的一维波形的示意图。
图3E绘示依据本发明一实施例的频率分析结果的示意图。
图3F绘示依据本发明一实施例的候选观察区域的示意图。
图3G绘示依照本发明一实施例取得呼吸频率的方式示意图。
图4绘示依据本发明一实施例的监控呼吸运动的方法的功能方块图。
【符号说明】
100:电子装置
10:存储器
20:处理器
110:图像接收模块
120:图像处理模块
130:移动向量处理模块
140:波形处理模块
150:观察区域定位模块
160:呼吸频率处理模块
S202~S218、S401~S411:监控呼吸运动的方法步骤
F1~FN、F2’:时间序列输入画面
S:监控对象
MV:移动向量
MV1’~MVN’:投射后的移动向量
B11~B1N:区块
FV:拍摄视野
R45、R90、R135:候选观察区域
P1~Pn、Pk:区块位置
WAT、WAT1~WATn、WATr1~WATrk:一维波形
SW:迭加后的一维波形
FR:频率响应
FRmax:最大频率值
具体实施方式
本发明的部分实施例接下来将会配合附图来详细描述,以下的描述所引用的元件符号,当不同附图出现相同的元件符号将视为相同或相似的元件。这些实施例只是本发明的一部分,并未揭示所有本发明的可实施方式。更确切的说,这些实施例只是本发明的专利申请范围中的方法、电子装置以及计算机可读存储介质存储的范例。
图1绘示依据本发明一实施例的监控呼吸运动的方法所提出的一种电子装置的硬件架构,但此仅是为了方便说明,并不用以限制本发明。首先图1先介绍系统的所有构件以及配置关系,详细功能将配合图2一并公开。
请参照图1,电子装置100可包括存储器10以及处理器20,其中处理器20耦接存储器10。电子装置100可以是个人计算机、笔记型计算机、服务器计算机、平板计算机、智能手机、工作站或其它可无线、有线地连接至或者是内建于图像提取装置的运算装置或是平台,其中图像提取装置可以例如是数字相机、数字摄像机、网络摄像机、监视摄像机等。电子装置100可以是设置于居家环境、月子中心或是医院的育婴室,以达到安全监控的目的。
存储器10可以例如是任意型式的固定式或可移动式随机存取存储器(randomaccess memory,RAM)、只读存储器(read-only memory,ROM)、快闪存储器(flash memory)、硬盘或其他类似装置或这些装置的组合。存储器10可存储缓冲或是永久数据,此些数据可以是图像数据或是用于执行电子装置100的功能的计算机程序代码。举例来说,存储器10可用以记录可由处理器20执行的多个模块,此些模块可包括图像接收模块110、图像处理模块120、移动向量处理模块130、波形处理模块140、观察区域定位模块150以及呼吸频率处理模块160。此些模块可载入至处理器20,以根据视频序列来追踪监控对象的呼吸运动。
处理器20可以例如是北桥(north bridge)、南桥(south bridge)、现场可编程逻辑门阵列(field programmable gate array,FPGA)、可编程逻辑装置(programmablelogic device,PLD)、特殊应用集成电路(application specific integrated circuits,ASIC)、其他类似装置或是上述任意组合。处理器20也可包括中央处理单元(centralprocessing unit,CPU)、可编程的一般用途或特殊用途的微处理器(microprocessor)、数字信号处理器(digital signal processor,DSP)、图形处理单元(graphic processingunit,GPU)、其他类似装置或是上述任意组合。处理器20可存取并且执行记录于存储器10的模块,以执行监控呼吸运动的方法。
图2绘示依据本发明一实施例的监控呼吸运动的方法的流程图。本实施例的方法适用于图1的电子装置100,而在此假设电子装置100具有内建的图像提取装置。
请参照图2,首先,电子装置100的图像接收模块110将接收对于监控对象的时间序列输入画面(步骤S202)。亦即,图像接收模块110将接收图像提取装置所拍摄到的视频输入画面。在此假设无论是在任何地点,监控对象是位于图像提取装置的拍摄视野之中,并且拍摄背景不变。
接着,图像处理模块120将时间序列输入画面中的每一输入画面分割为多个区块(步骤S204)。在此,每一区块的大小可以例如是3x3像素、9x9像素或是17x17像素,而时间序列输入画面中位于相同位置(即,相同像素坐标)的每一区块将组成为时间序列输入区块。
值得注意的是,时间序列输入画面可以是建立在支持大多数的数字视频应用上的YCbCr色域中。在一实施例中,图像处理模块120可将输入画面色彩转换至其它色域。举例来说,输入画面可以转换至灰阶,以利于后续步骤中所需的移动向量的运算。
在本实施例中,电子装置100将针对输入画面进行频率分析(frequencyanalysis),以追踪监控对象的呼吸运动,从而判断其是否具有呼吸不正常的现象。基于此,当输入画面已分割成多个特定大小的区块后,移动向量处理模块130将利用任何本领域已知的方式来计算各个区块的移动向量(步骤S206)。举例来说,各个区块的移动向量可以是藉由区块比对算法(block matching algorithm)来比对两个连续输入画面中具有最小均方差(mean square error,MSE)的邻近区块从而计算出。
移动向量的组成为任何已知时间的振幅以及方向。为了针对输入画面进行频率分析,移动向量将会先转换成时域(time domain)数据。换句话说,转换后的数据可视为时域中的一维数据。之后,时域数据将换更进一步地转换至频率域(frequency domain),而其将会呈现为各个相关频带(frequency band)的振动信号。因此,移动向量处理模块130会先将各个区块的移动向量投射至多个不平行的轴线(步骤S208),并且将符号分配于各个投射后的移动向量(步骤S210)。在此,符号是依据移动向量相对于对应的轴线的方向来决定,其可以是正号、负号或者零。换句话说,输入画面中的各个区块的移动向量可以是投射至不同角度的轴线,而移动向量可依据各个角度的轴线分为正号群组、负号群组以及零群组。此些轴线可以例如是0度轴线、45度轴线、90度轴线、以及135度轴线。在此采用多个轴线的原因是为了避免监控对象的呼吸运动的律动方向与单一轴线平行而难以判定所有移动向量的方向。
具体来说,假设此些轴线包括第一轴线,而第一轴线不平行于监控对象的呼吸运动的律动中心轴线并且对应于第一角度。移动向量处理模块130会先将各个区块的移动向量投射至第一轴线,并且判断投射后的移动向量的角度以及数值。接着,移动向量处理模块130将根据各个投射后的移动向量相对于第一轴线所落入的范围来分配正号、负号或者是零其中的一个。当投射后的移动向量的角度等于第一角度或是(第一角度+π)时,投射后的移动向量所分配到的则是正号。当投射后的移动向量的角度介于第一角度与(第一角度-π)之间时,投射后的移动向量所分配到的则是负号。当投射后的移动向量的角度等于第一角度或是(该第一角度±π)时,投射后的移动向量所分配到的则是零。举例来说,假设第一轴线为45度轴线,第一投射后的移动向量的角度以及第二投射后的移动向量的角度分别为60度以及30度。在此,第一投射后的移动向量以及第二投射后的移动向量所分配到的符号则是分别为正号以及负号。
当所有投射后的移动向量的符号已判定,波形处理模块140分别针对各个轴线,将各个时间序列输入区块的投射后的移动向量合并为对应的一维波形(步骤S212)。详细来说,针对相对于各个轴线的各个时间序列输入区块,波形处理模块140将取得投射后的移动向量的符号以及数值并且将属于同一时间序列输入区块的所有投射后的移动向量合并为一维波形。在此,各个一维波形则是对应于相对于特定轴线的时间序列输入区块。举例来说,当每一输入画面分割为例如是64个区块时,每一轴线则会对应于64个一维波形。
为了方便明了,以下图示将根据本发明一实施例来说明自时间序列输入画面中产生一维波形的步骤。在此的监控对象为睡眠中的婴儿。
图3A绘示依据本发明一实施例利用两个连续画面计算移动向量的示意图。请参照图3A,图像接收模块110将取得监控对象S的时间序列输入画面F1~FN,并且图像处理模块120将所有输入画面F1~FN分割为相同大小的区块。接着,移动向量处理模块130将计算各个区块的移动向量。举例来说,F2’绘示输入画面F2中各个区块的移动向量,其中移动向量是根据输入画面F2与其参考画面F1之间的匹配区块所计算出。
接着,移动向量处理模块130将所有移动向量投射至多个不平行的轴线。举例来说,图3B绘示依据本发明一实施例的移动向量以及多个轴线的示意图。请参照图3B,角度为150度的移动向量MV将分别投射至0度轴线、45度轴线、90度轴线以及135度轴线。以45度轴线而言,当任何投射后的移动向量的角度是介于45度与225度之间时(即,非阴影处),其将会分配到正号;当任何投射后的移动向量的角度是介于45度与-135度之间时(即,阴影处),其将会分配到负号。在此,由于移动向量MV是介于45度与225度之间,移动向量MV相对于45度轴线所分配到的则是正号。
接着,波形处理模块140将分别针对各个轴线,将各个时间序列输入区块的投射后的移动向量合并为对应的一维波形。举例来说,图3C绘示依据本发明一实施例的合并后的一维波形的示意图。请参照图3C,区块B11~B1N为时间序列输入画面F1~FN中的时间序列输入区块。假设MV1’~MVN’为相对于45度轴线的投射后的移动向量,而波形处理模块140则会将投射后的移动向量MV1’~MVN’合并为波形WAT。换句话说,波形WAT为时间序列输入区块B11~B1N相对于45度轴线的一维波形。针对单一个轴线,波形处理模块140可以例如是以图3D所绘示的方式来合并各个时间序列输入区块的投射后的移动向量。请参照图3D,各个时间序列输入区块相对于45度轴线将会分别对应于波形WAT1、波形WAT2、…、波形WATn。此外,波形处理模块140亦是以相同的方式来处理其它轴线。
请再参照图2,不同于一般已知利用图像辨识的方式来定义观察区域,观察区域定位模块150则是基于频率来定义观察区域。由于一维波形为时域数据,波形处理模块140将先利用例如是傅立叶变换(Fourier transform)来将一维波形转换至频率域(步骤S214),而观察区域定位模块150将根据转换后的一维波形,在时间序列输入画面中定位关联于监控主体对象的观察区域(步骤S216)。
在此,波形处理模块140可先针对相对于各个轴线的各个时间序列输入区块的转换后的一维波形进行频率分析,以取得对应于各个轴线的频率分析结果,其中各个频率分析结果包括对应于所有区块位置的频率值。根据统计,新生儿的呼吸频率为每分钟40~44次(即,0.67~0.73Hz),一岁以下的婴儿的呼吸频率为每分钟30次(即,0.5Hz),孩童的呼吸频率为每分钟24次(即,0.4Hz),十岁以上的人的呼吸频率为每分钟12~20次(即,0.2~0.33Hz)。以上的统计数据可以视为为预设呼吸频率范围,以用于搜寻具有生命迹象(vitalsign)的区域。换句话说,假设轴线的数量为四个,则将会有四个候选观察区域。观察区域定位模块150仅将判断对应于其中一个轴线(在此定义为“最佳轴线”)的最佳频率分析结果,并且根据最佳频率分析结果定位出观察区域。
举例来说,图3E绘示依据本发明一实施例的频率分析结果的示意图。请参照图3E,频率分析结果包括位于拍摄视野FV中对应于区块位置P1~Pn的频率值。必须说明的是,此结果仅是对应于单一个轴线(例如45度轴线)。在此,预设呼吸频率范围可以是设定为0.2Hz与0.73Hz之间,以容许些许的误差。观察区域定位模块150可将频率分析结果与预设呼吸频率范围进行比对,以判定构成观察区域的所有观察区域候选区块。举例来说,对应于区块位置Pk的频率值为0.5Hz,其是落入预设呼吸频率范围内,因此区块位置Pk将会成为相对于45度轴线的候选观察区域的观察区域候选区块。在此范例中,观察区域定位模块150则是将包括所有观察区域候选区块的区域R45视为候选观察区域。
由于本实施例中轴线的数量为四个(即,0度轴线、45度轴线、90度轴线以及135度轴线),观察区域定位模块150将取得如图3F所绘示的候选观察区域。请参照图3F,区域R45、R90以及R135分别为相对于45度轴线、90度轴线以及135度轴线的候选观察区域。在本实施例中,0度轴线将不具有对应的候选观察区域,原因在于监控对象的呼吸运动的律动方向可能平行于0度轴线。接着,观察区域定位模块150将会针对各个候选观察区域的观察区域候选区块的频率值进行加总,以分别取得对应的观察区域频率总和,并且设定具有最大值的观察区域频率总和的候选观察区域的频率分析结果以及轴线分别为最佳频率分析结果以及最佳轴线。在此,位于监控对象的胸腹部的区域R45将会设定为观察区域。
在一实施例中,观察区域并非仅是根据主频率与振幅的分布来判定,更可以是根据面积大小。当定位出的观察区域的面积过小(例如不大于预定面积阈值),则该区域可能为噪声、移动假影(artifact)等所造成,因此观察区域定位模块150会使定位出的观察区域无效。
请再参照图2,在定位出观察区域后,呼吸频率处理模块160将计算监控对象对应于观察区域的呼吸频率,据以判断监控对象是否呼吸正常(步骤S218)。详细来说,呼吸频率处理模块160可将观察区域中的各个时间序列输入区块相对于最佳轴线的一维波形进行迭加(superimpose),以取得迭加后的一维波形,再将迭加后的一维波形转换至频率域,以取得监控对象对应于观察区域的呼吸频率。
举例来说,图3G绘示依照本发明一实施例取得呼吸频率的方式示意图。请参照图3G,由于区域R45为对应于45度轴线的观察区域,呼吸频率处理模块160会将区域R45中的所有时间序列输入区块所对应的一维波形WATr1、WATr2、…、WATrk进行迭加,以形成迭加后的一维波形SW。呼吸频率处理模块160会将更进一步地将迭加后的一维波形SW转换至频率域,以取得频率响应FR。接着,呼吸频率处理模块160将会自频率响应FR中提取最大频率值FRmax,并将其视为监控对象在时间序列输入画面所接收到的时间内的呼吸频率。
为了判断呼吸是否正常,接续的时间序列输入画面所对应的呼吸频率将会以相同的方式持续地接收并且观察。然而,在一定的时间内,将不重新设定最佳轴线以及观察区域。换句话说,在接续的时间序列输入画面中,监控对象位于同样观察区域的呼吸频率可以是藉由前述移动向量的计算与投射以及一维波形的产生、迭加与转换的方式取得。此些步骤将会持续地进行,而呼吸频率处理模块160可在一段时间后判断观察区域中的呼吸频率是否具有不正常的状况。举例来说,当呼吸频率超出预设呼吸频率范围连续长达一段时间时,呼吸频率处理模块160则会判定监控对象的呼吸不正常。
在一实施例中,考虑到监控对象在睡眠时会翻身,因而改变胸腹部在图像提取装置的拍摄视野中的位置,因此每隔一段时间将会重新判断最佳轴线以及重新定位观察区域。
在一实施例中,可在监控对象保持特定距离并且监控对象的照护者所能感受到的距离范围中设置警报,此警报可以是无线或是有线地连接至电子装置100。当监控对象的呼吸不正常时,呼吸频率处理模块160将会传送信号以触发警报,从而通知照护者监控对象可能处于危险状况中。举例来说,警报可以是可无线连接于电子装置100并且穿戴于照护者上的监控手环。呼吸频率处理模块160可在判定监控对象呼吸不正常时,触发手环发出蜂鸣声或响声。
前述监控呼吸运动的方法可利用图4依据本公开一实施例所绘示的功能方块图来进行总结。请参照图4,此方法将先接收视频序列(S401),并且针对视频序列中的各个画面的各个区块进行移动向量估计(S403)。接着,相对于多个不平行的轴线,各个区块序列的移动向量将会分别投射以及合并为对应的一维波形(S405)。将利用预设呼吸频率范围来判定对应于各个轴线并且具有生命迹象的候选观察区域,并且根据面积大小以及主频率与振幅分布来选择最佳轴线以及最佳观察区域(S407)。接着,将根据持续所接收的视频序列来针对观察区域进行频率分析(S409),据以判定监控结果(S411)。
综上所述,本发明所提供一种基于图像技术来针对输入视频序列进行频率分析,从而针对监控对象进行呼吸运动的监控。此外,本发明可在监控对象无需穿戴任何装置前提下,利用低成本以及高效率的数字实作方式来达到监控的目的。
虽然本发明已以实施例公开如上,然其并非用以限定本发明,本领域技术人员在不脱离本发明的精神和范围内,当可作些许的更动与润饰,故本发明的保护范围当视所附权利要求书界定范围为准。

Claims (19)

1.一种监控呼吸运动的方法,适用于电子装置,包括:
接收对于监控对象的时间序列输入画面,并且分割该时间序列输入画面中的每一输入画面为多个区块,其中该时间序列输入画面中具有相同像素坐标的每一区块组成时间序列输入区块;
计算各所述区块的移动向量,并且投射各所述区块的该移动向量至多个不平行的轴线;
分配符号于相对于各所述轴线的每一投射后的移动向量,其中该符号为正号、负号或零其中的一个;
针对各所述轴线,分别合并各所述时间序列输入区块的所述投射后的移动向量为对应的一维波形,并且转换该一维波形至频率域;
根据所述转换后的一维波形,在该时间序列输入画面中定位关联于该监控对象的观察区域;以及
计算该监控对象对应于该观察区域的呼吸频率,据以判断该监控物体是否呼吸正常。
2.如权利要求1所述的方法,其中在接收对于该监控对象的该时间序列输入画面的步骤之后,该方法还包括:
针对该时间序列输入画面进行色彩转换。
3.如权利要求1所述的方法,其中所述轴线包括第一轴线,该第一轴线不平行于该监控物体的该呼吸运动的律动中心轴线并且对应于第一角度,其中分配该符号于相对于各所述轴线的各所述投射后的移动向量的步骤包括:
判断该投射后的移动向量的角度;
当该投射后的移动向量的该角度等于该第一角度或是(该第一角度±π)时,分配该投射后的移动向量的该符号为零;
当该投射后的移动向量的该角度介于该第一角度与(该第一角度+π)之间时,分配该投射后的移动向量的该符号为正号;以及
当该投射后的移动向量的该角度介于(该第一角度-π)与该第一角度之间时,分配该投射后的移动向量的该符号为负号。
4.如权利要求3所述的方法,其中针对各所述轴线,分别合并各所述时间序列输入区块的所述投射后的移动向量为对应的该一维波形的步骤包括:
针对相对于各所述轴线的各所述时间序列输入区块:
取得所述投射后的移动向量的数值;以及
根据该时间序列输入区块的各所述投射后的移动向量的该数值以及该符号,合并该时间序列输入区块的所述投射后的移动向量为该一维波形。
5.如权利要求1所述的方法,其中根据该转换后的一维波形,在该时间序列输入画面定位关联于该监控对象的该观察区域的步骤包括:
针对相对于各所述轴线的各所述时间序列输入区块的该转换后的一维波形进行频率分析,以取得包括多个频率值的对应频率分析结果;
判断相对于所述轴线中的最佳轴线的最佳频率分析结果;以及
根据该最佳频率分析结果,在该时间序列输入画面定位关联于该监控对象的该观察区域。
6.如权利要求5所述的方法,其中判断相对于所述轴线中的该最佳轴线的该最佳频率分析结果的方法包括:
相对于各所述轴线:
判断对应于各所述时间序列输入区块的区块位置的该频率值是否在该监控对象的预设呼吸频率范围中,若是,判定该区块位置为观察区域候选区块;以及
加总所述观察区域候选区块的所述频率值,以取得观察区域频率总和;以及
设定具有最大值的该观察区域频率总和为该最佳频率分析结果,并且设定该最佳频率分析结果所对应的该轴线为该最佳轴线。
7.如权利要求6所述的方法,还包括:
判断该观察区域的面积是否大于面积阈值;以及
若否,使该观察区域无效。
8.如权利要求5所述的方法,其中计算该监控对象对应于该观察区域的该呼吸频率的步骤包括:
迭加该观察区域中的各所述时间序列输入区块相对于该最佳轴线的所述一维波形,以取得迭加后的一维波形;以及
转换该迭加后的一维波形至该频率域,以取得该监控对象对应于该观察区域的该呼吸频率。
9.如权利要求1所述的方法,其中判断该监控物体是否呼吸正常的步骤包括:
判断该监控对象在该观察区域的该呼吸频率是否超过特定时间处于不正常状态,其中该特定时间对应于多个接续的时间序列输入画面;以及
若是,判定该监控对象呼吸不正常。
10.如权利要求1所述的方法,其中当该监控物体判定为呼吸不正常时,该方法还包括:
触发连接于该电子装置的警报。
11.一种电子装置包括:
存储器,记录多个模块;以及
处理器,耦接该存储器,以存取并且执行记录于该存储器的所述模块,其中所述模块包括:
图像接收模块,接收对于监控对象的时间序列输入画面;
图像处理模块,分割该时间序列输入画面中的每一输入画面为多个区块,其中该时间序列输入画面中具有相同像素坐标的每一区块组成时间序列输入区块;
移动向量处理模块,计算各所述区块的移动向量,投射各所述区块的该移动向量至多个不平行的轴线,并且分配符号于相对于各所述轴线的每一投射后的移动向量,其中该符号为正号、负号或零其中的一个;
波形处理模块,针对各所述轴线,分别合并各所述时间序列输入区块的所述投射后的移动向量为对应的一维波形,并且转换该一维波形至频率域;
观察区域定位模块,根据所述转换后的一维波形,在该时间序列输入画面中定位关联于该监控对象的观察区域;以及
呼吸频率处理模块,计算该监控对象对应于该观察区域的呼吸频率,据以判断该监控物体是否呼吸正常。
12.如权利要求11所述的电子装置,其中该图像处理模块更针对该时间序列输入画面进行色彩转换。
13.如权利要求11所述的电子装置,其中所述轴线包括第一轴线,该第一轴线不平行于该监控物体的该呼吸运动的律动中心轴线并且对应于第一角度,其中:
该移动向量处理模块判断该投射后的移动向量的角度;
当该投射后的移动向量的该角度等于该第一角度或是(该第一角度±π)时,该移动向量处理模块分配该投射后的移动向量的该符号为零;
当该投射后的移动向量的该角度介于该第一角度与(该第一角度+π)之间时,该移动向量处理模块分配该投射后的移动向量的该符号为正号;以及
当该投射后的移动向量的该角度介于(该第一角度-π)与该第一角度之间时,该移动向量处理模块分配该投射后的移动向量的该符号为负号。
14.如权利要求13所述的电子装置,其中针对相对于各所述轴线的各所述时间序列输入区块,该波形处理模块取得所述投射后的移动向量的数值,以及根据该时间序列输入区块的各所述投射后的移动向量的该数值以及该符号,合并该时间序列输入区块的所述投射后的移动向量为该一维波形。
15.如权利要求11所述的电子装置,其中:
该波形处理模块针对相对于各所述轴线的各所述时间序列输入区块的该转换后的一维波形进行频率分析,以取得包括多个频率值的对应频率分析结果;
该观察区域定位模块判断相对于所述轴线中的最佳轴线的最佳频率分析结果,以及根据该最佳频率分析结果,在该时间序列输入画面定位关联于该监控对象的该观察区域。
16.如权利要求15所述的电子装置,其中:
相对于各所述轴线:
该观察区域定位模块判断对应于各所述时间序列输入区块的区块位置的该频率值是否在该监控对象的预设呼吸频率范围中,若是,该观察区域定位模块判定该区块位置为观察区域候选区块;以及
该观察区域定位模块加总所述观察区域候选区块的所述频率值,以取得观察区域频率总和;以及
该观察区域定位模块设定具有最大值的该观察区域频率总和为该最佳频率分析结果,并且设定该最佳频率分析结果所对应的该轴线为该最佳轴线。
17.如权利要求16所述的电子装置,该观察区域定位模块更判断该观察区域的面积是否大于面积阈值,而若否,则该观察区域定位模块使该观察区域无效。
18.如权利要求11所述的电子装置,其中该呼吸频率处理模块迭加该观察区域中的各所述时间序列输入区块相对于该最佳轴线的所述一维波形,以取得迭加后的一维波形,又转换该迭加后的一维波形至该频率域,以取得该监控对象对应于该观察区域的该呼吸频率,再判断该监控对象于该观察区域的该呼吸频率是否超过特定时间处于不正常状态,若是,判定该监控对象呼吸不正常,其中该特定时间对应于多个接续的时间序列输入画面。
19.如权利要求11所述的电子装置,其中当该监控物体为呼吸不正常时,该呼吸频率处理模块触发连接于该电子装置的警报。
CN201610541670.3A 2016-01-21 2016-07-11 监控呼吸运动的方法及其电子装置 Active CN106991268B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/003,754 2016-01-21
US15/003,754 US10019883B2 (en) 2016-01-21 2016-01-21 Method for monitoring breathing activity, electronic device, and computer-readable storage medium using the same

Publications (2)

Publication Number Publication Date
CN106991268A true CN106991268A (zh) 2017-07-28
CN106991268B CN106991268B (zh) 2019-12-03

Family

ID=59359076

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610541670.3A Active CN106991268B (zh) 2016-01-21 2016-07-11 监控呼吸运动的方法及其电子装置

Country Status (3)

Country Link
US (1) US10019883B2 (zh)
CN (1) CN106991268B (zh)
TW (1) TWI597694B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113256648A (zh) * 2021-04-30 2021-08-13 深圳市爱贝宝移动互联科技有限公司 基于摄像头的自适应多尺度呼吸监测方法
WO2022227044A1 (zh) * 2021-04-30 2022-11-03 深圳市爱贝宝移动互联科技有限公司 基于摄像头的自适应多尺度呼吸监测方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10709354B2 (en) * 2016-09-06 2020-07-14 Photorithm, Inc. Generating a breathing alert
US11389119B2 (en) * 2016-09-06 2022-07-19 Photorithm, Inc. Generating a breathing alert
TWI650019B (zh) * 2017-09-28 2019-02-01 晶睿通訊股份有限公司 運動偵測方法及其監控攝影設備
TWI731673B (zh) 2020-05-08 2021-06-21 雲云科技股份有限公司 影像睡眠分析方法及其系統

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101299967A (zh) * 2005-11-04 2008-11-05 株式会社东芝 呼吸监视装置、呼吸监视系统、医疗处理系统、呼吸监视方法、呼吸监视程序
CN104736042A (zh) * 2012-08-01 2015-06-24 巴伊兰大学 用于非侵入地监测个体的生物参数或生化参数的方法和系统
US20150245787A1 (en) * 2014-03-03 2015-09-03 Xerox Corporation Real-time video processing for respiratory function analysis
CN105050492A (zh) * 2013-03-14 2015-11-11 皇家飞利浦有限公司 用于确定对象的生命体征的设备和方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6335985B1 (en) * 1998-01-07 2002-01-01 Kabushiki Kaisha Toshiba Object extraction apparatus
US20080278633A1 (en) * 2007-05-09 2008-11-13 Mikhail Tsoupko-Sitnikov Image processing method and image processing apparatus
JP2009267726A (ja) * 2008-04-24 2009-11-12 Panasonic Corp 動画像符号化装置、録画装置、動画像符号化方法、動画像符号化プログラム
US8553940B2 (en) 2009-10-06 2013-10-08 Koninklijke Philips N.V. Formation of a time-varying signal representative of at least variations in a value based on pixel values
US9993193B2 (en) 2011-01-12 2018-06-12 Koninklijke Philips N.V. Detection of breathing in the bedroom
JP4855556B1 (ja) * 2011-03-22 2012-01-18 株式会社モルフォ 動体検出装置、動体検出方法、動体検出プログラム、動体追跡装置、動体追跡方法及び動体追跡プログラム
WO2012140531A1 (en) 2011-04-14 2012-10-18 Koninklijke Philips Electronics N.V. Device and method for extracting information from characteristic signals
MX356283B (es) 2011-08-22 2018-05-22 Koninklijke Philips Nv Sistema y método para administración de datos.
US8977347B2 (en) 2012-06-25 2015-03-10 Xerox Corporation Video-based estimation of heart rate variability
EP2767233A1 (en) 2013-02-15 2014-08-20 Koninklijke Philips N.V. Device for obtaining respiratory information of a subject
US10052038B2 (en) 2013-03-14 2018-08-21 Koninklijke Philips N.V. Device and method for determining vital signs of a subject
EP2983588A1 (en) 2013-04-09 2016-02-17 Koninklijke Philips N.V. Apparatus and method for determining thorax and abdomen respiration signals from image data

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101299967A (zh) * 2005-11-04 2008-11-05 株式会社东芝 呼吸监视装置、呼吸监视系统、医疗处理系统、呼吸监视方法、呼吸监视程序
CN101299967B (zh) * 2005-11-04 2010-06-02 株式会社东芝 呼吸监视装置、呼吸监视系统、医疗处理系统、呼吸监视方法、呼吸监视程序
CN104736042A (zh) * 2012-08-01 2015-06-24 巴伊兰大学 用于非侵入地监测个体的生物参数或生化参数的方法和系统
CN105050492A (zh) * 2013-03-14 2015-11-11 皇家飞利浦有限公司 用于确定对象的生命体征的设备和方法
US20150245787A1 (en) * 2014-03-03 2015-09-03 Xerox Corporation Real-time video processing for respiratory function analysis

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113256648A (zh) * 2021-04-30 2021-08-13 深圳市爱贝宝移动互联科技有限公司 基于摄像头的自适应多尺度呼吸监测方法
WO2022227044A1 (zh) * 2021-04-30 2022-11-03 深圳市爱贝宝移动互联科技有限公司 基于摄像头的自适应多尺度呼吸监测方法

Also Published As

Publication number Publication date
CN106991268B (zh) 2019-12-03
TW201727588A (zh) 2017-08-01
TWI597694B (zh) 2017-09-01
US10019883B2 (en) 2018-07-10
US20170213438A1 (en) 2017-07-27

Similar Documents

Publication Publication Date Title
CN106991268B (zh) 监控呼吸运动的方法及其电子装置
US10825314B2 (en) Baby monitor
CN108209871B (zh) 睡眠监测方法、装置、系统及电子设备
EP2573696B1 (en) Apparatus and method for assisting user to maintain correct posture
WO2016006027A1 (ja) 脈波検出方法、脈波検出プログラム及び脈波検出装置
US11272873B2 (en) Cognitive function evaluation device, cognitive function evaluation system, cognitive function evaluation method, and recording medium
JPWO2007052755A1 (ja) 呼吸モニタリング装置、呼吸モニタリングシステム、医療的処理システム、呼吸モニタリング方法、呼吸モニタリングプログラム
US20140125806A1 (en) Sports Apparatus and Method
CN107257651A (zh) 医学监测的场景检测
CN114821674B (zh) 睡眠状态监测方法、电子设备及存储介质
US11998366B2 (en) Generating a breathing alert
TWI541769B (zh) 跌倒偵測系統及方法
CN111144174A (zh) 利用神经网络与传统算法识别视频中老人跌倒行为的系统
CN113793366B (zh) 图像处理方法、装置、设备及存储介质
CN112861564A (zh) 一种坐姿检测的实现装置
Yongli et al. State of the art: a study on fall detection
Guo et al. Emergency semantic feature vector extraction from WiFi signals for in-home monitoring of elderly
JP2019008515A (ja) 見守り支援システム及びその制御方法
JP6384365B2 (ja) 脈拍計測装置及びその制御方法
Bai et al. Design and implementation of an embedded monitor system for detection of a patient's breath by double Webcams in the dark
Khawandi et al. Integrated monitoring system for fall detection in elderly
Kong Vision-based fall detection: methods and challenges
JPH1186002A (ja) 画像処理装置及び被介護者観測装置
Ong et al. An FPGA implementation of intelligent visual based fall detection
Sato et al. Heart rate measurement based on event timing coding observed by video camera

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant