CN108353169B - 图像处理装置、具备该图像处理装置的脉搏估计系统以及图像处理方法 - Google Patents

图像处理装置、具备该图像处理装置的脉搏估计系统以及图像处理方法 Download PDF

Info

Publication number
CN108353169B
CN108353169B CN201680062294.8A CN201680062294A CN108353169B CN 108353169 B CN108353169 B CN 108353169B CN 201680062294 A CN201680062294 A CN 201680062294A CN 108353169 B CN108353169 B CN 108353169B
Authority
CN
China
Prior art keywords
image
operation mode
data compression
interval
noise reduction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680062294.8A
Other languages
English (en)
Other versions
CN108353169A (zh
Inventor
滨田匡夫
手塚忠则
中村刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN108353169A publication Critical patent/CN108353169A/zh
Application granted granted Critical
Publication of CN108353169B publication Critical patent/CN108353169B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/114Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • A61B5/02427Details of sensor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/0245Detecting, measuring or recording pulse rate or heart rate by using sensing means generating electric signals, i.e. ECG signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7232Signal processing specially adapted for physiological signals or for diagnostic purposes involving compression of the physiological signal, e.g. to extend the signal recording period
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/107Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162User input
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00Medical imaging apparatus involving image processing or analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Cardiology (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physiology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Studio Devices (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

图像处理装置(2)具备:数据压缩处理部(16),其对被输入的摄像图像执行基于帧间预测的数据压缩处理;以及动作模式选择部(17),其能够根据来自用户的指示来选择通常拍摄用的第一动作模式和脉搏估计用的第二动作模式中的某一个模式。在选择了第二动作模式的情况下,数据压缩处理部(16)将I图像的间隔设定为与选择了第一动作模式的情况下的I图像的间隔不同的间隔,该I图像构成通过数据压缩处理生成的压缩图像。

Description

图像处理装置、具备该图像处理装置的脉搏估计系统以及图 像处理方法
技术领域
本公开涉及一种用于不与人体接触地根据人物图像来估计脉搏的技术,特别是涉及用于获取适于脉搏的估计的图像的图像处理装置、具备该图像处理装置的脉搏估计系统以及图像处理方法。
背景技术
关于人的脉搏的测量,已知有测量者(护士等)将手指抵到被检者的手腕来人为地确认脉动的方法、通过将专用的测量设备安装于被检者的手腕、手指等来自动地检测脉动的方法等。另一方面,这种测量方法会暂时地限制被检者的自由行动或者需要对被检者安装测量设备,因此正在开发用于不与被检者(人体)接触地估计(检测)脉搏的技术。
例如,关于不与人体接触地检测心率(通常与脉搏数相等)的技术,已知有如下的心率检测装置(参照专利文献1):从拍摄被检者得到的图像数据提取时间序列信号的谱分布,根据该谱分布来确定由心跳信号引起的峰值频率,由此自动地检测心率。
另外,关于由摄像机拍摄到的图像(运动图像),有数据量变大的倾向,因此正在普及用于使图像数据的保存、发送接收容易的数据压缩技术(例如,遵循MPEG(MovingPicture Experts Group:运动图像专家组)标准的数据编码方式)。
然而,在根据由摄像机拍摄到的面部图像等来估计脉搏的情况下,从该图像数据提取的脉搏信号的变动量(即,像素值的变动量)微少。因此,关于应用了如上所述的数据压缩的图像,存在难以估计脉搏的情况、估计的精度显著下降的情况。更详细地说,例如在通过频率分析来针对使用帧间预测实施了数据压缩处理所得到的图像估计脉搏的情况下,当GOP(Group of picture:图像组)中的I图像(Intra Picture:帧内图像)切换为P图像(Predictive Picture:预测图像)、或者P图像切换为I图像时,可能产生与如上所述的谱分布中的脉搏的频率成分接近的频率成分(噪声)。
本公开的主要目的在于,能够通过恰当地执行图像的数据压缩处理来在抑制图像的数据量的增大的同时获取适于脉搏的估计的图像。
专利文献1:日本特开2012-239661号公报
发明内容
本公开的图像处理装置是获取用于估计脉搏的图像的图像处理装置,该图像处理装置具备:数据压缩处理部,其对被输入的摄像图像执行基于帧间预测的数据压缩处理;以及动作模式选择部,其能够根据来自用户的指示来选择通常拍摄用的第一动作模式和脉搏估计用的第二动作模式中的某一个模式,其中,在选择了第二动作模式的情况下,数据压缩处理部将I图像的间隔设定为与选择了第一动作模式的情况下的I图像的间隔不同的间隔,该I 图像构成通过数据压缩处理生成的压缩图像。
根据本公开,能够通过恰当地执行图像的数据压缩处理来在抑制图像的数据量的增大的同时获取适于脉搏的估计的图。
附图说明
图1是本公开所涉及的脉搏估计系统的整体结构图。
图2是脉搏估计系统的功能框图。
图3是表示摄像机的降噪处理部所进行的处理的概要的说明图。
图4是脉搏估计装置的脉搏计算部所进行的脉搏波提取处理的说明图。
图5A是表示在通常拍摄模式的摄像机的数据压缩处理部中可能产生的噪声的一个例子的说明图。
图5B是表示在通常拍摄模式的摄像机的数据压缩处理部中可能产生的噪声的一个例子的说明图。
图6是表示与摄像机的降噪处理部中的降噪有关的设定方法的流程图。
图7是表示与摄像机的数据压缩处理部中的数据压缩处理有关的设定方法的流程图。
图8是表示图7中的步骤ST203的处理及其处理结果的说明图。
图9是表示图8所示的处理及处理结果的变形例的说明图。
具体实施方式
以下,参照附图说明本公开的实施方式。
图1和图2分别是本公开所涉及的脉搏估计系统1的整体结构图和功能框图,图3是表示摄像机2的降噪处理部15所进行的处理的概要的说明图,图4 是脉搏估计装置3的脉搏计算部23所进行的脉搏波提取处理的说明图,图5A、 5B是表示在通常拍摄模式的摄像机2的数据压缩处理部16中可能产生的噪声的一个例子的说明图。
脉搏估计系统1是根据不与人体接触地得到的信息(摄像图像)来估计其脉搏(通常与心跳相同)的系统,如图1所示,具备:摄像机(图像处理装置)2,其将作为被检体的人物H的至少一部分作为被摄体来进行拍摄;以及脉搏估计装置3,其根据通过摄像机2的拍摄得到的摄像图像(运动图像)来估计人物 H的脉搏(脉搏数、脉搏波)。另外,在脉搏估计系统1中,摄像机2和脉搏估计装置3经由因特网、LAN(Local Area Network:局域网)等网络4以能够相互通信的方式相连接。但是,不限于此,摄像机2和脉搏估计装置3也可以是通过公知的通信线缆以能够通信的方式直接连接的结构。
摄像机2是具有公知的拍摄功能的视频摄像机,如图2所示,具备:摄像部11,其使来自被摄体的光通过未图示的透镜机构成像于图像传感器(CCD、 CMOS等);以及图像处理部12,其对从该摄像部11输入的摄像图像(数字影像信号)实施规定的图像处理。图像处理部12具备:降噪处理部15,其执行用于降低或者抑制噪声的降噪(降噪处理),该噪声使摄像图像的图像质量下降;数据压缩处理部16,其执行用于压缩摄像图像的数据的处理(数据压缩处理);图像处理控制部(动作模式选择部)17,其综合控制与包含这些降噪处理部15和数据压缩处理部16的处理在内的各种图像处理有关的各部的动作;以及图像存储部18,其存储被进行了图像处理(在此为降噪和数据压缩)后的摄像图像的数据。
如在后面详述的那样,摄像机2具备执行通常拍摄用(例如,人物拍摄用、风景拍摄用等)的图像处理的通常拍摄模式(第一动作模式)以及执行脉搏估计用的图像处理的重要信息获取模式(第二动作模式)来作为摄像机2的动作模式。图像处理控制部17能够根据来自用户的指示(例如,按钮操作、触摸板输入等)来选择这些通常拍摄模式和重要信息获取模式中的某一个模式。此外,图像处理部12不限于此处所示的结构,能够适当执行其它的公知的信号处理(例如,色调校正、轮廓增强等)。另外,图像处理部12也可以是除了具备上述的通常拍摄模式和重要信息获取模式以外还具备其它的动作模式的结构。
作为降噪,降噪处理部15能够执行根据时间上相邻的多个帧之间的相关性来降低摄像图像的噪声的三维降噪(3DNR)。更详细地说,在降噪处理部15 中,如图3所示,通过在加法器19中以规定的比率使当前帧的图像(像素值) 与前一帧的图像相加(当前帧和前一帧根据规定的滤波器系数(M:N)被合成),来生成提高了S/N比的3DNR处理完成的当前帧。例如,关于滤波器系数,图像处理控制部17能够在通常拍摄模式中设定为M:N=0.5:0.5,在重要信息获取模式中设定为M:N=0.9:0.1。被实施降噪后的摄像图像被输入到数据压缩处理部16。
此外,关于上述滤波器系数的设定(或者变更),不限于对图像整体设定一个滤波器系数的方法,也可以对设置于图像内的每个分割区域设定的方法。例如,在重要信息获取模式中,能够从图像提取肤色区域(或者面部区域),将与除该肤色区域以外的区域有关的滤波器系数设定为与通常拍摄模式相同的值,并且将与肤色区域有关的滤波器系数设定为与通常拍摄模式不同的值。
这样,在重要信息获取模式中,通过硬要减轻降噪(减小噪声去除效果),来抑制摄像图像中包含的对脉搏估计有用的信息的被从摄像图像中与噪声一起去除的信息量。
另外,作为其它方法,也可以是在重要信息获取模式中不执行降噪(只在通常拍摄模式中执行降噪)的结构。据此,能够在通常拍摄模式中恰当地降低摄像图像的噪声,并且在重要信息获取模式中防止摄像图像中包含的对脉搏估计有用的信息被从摄像图像中与噪声一起去除。
另外,降噪处理部15也可以设为如下结构:通过与后述的区域提取部22 同样地具备摄像图像中的面部区域的提取功能,在从摄像图像提取出面部区域的情况下,只在该面部区域内如上所述地减轻降噪处理,或者只在该面部区域内不执行降噪处理。由此,能够恰当地降低除面部区域以外的区域的噪声,并且得到与上述相同的效果。
数据压缩处理部16能够根据遵循MPEG标准的数据编码方式来执行摄像图像的数据压缩处理。经数据压缩处理后的摄像图像(压缩图像)被存储到图像存储部18,并且根据需要(在执行了重要信息获取模式的情况下)被发送到脉搏估计装置3。
虽然省略图示,但是如上述那样的摄像机2例如具备根据规定的摄影控制程序来综合地执行各种图像处理、周边设备的控制等的处理器、作为处理器的工作区等发挥功能的作为易失性存储器的RAM(Random Access Memory:随机存取存储器)、保存由处理器执行的控制程序、数据的作为非易失性存储器的ROM(Read Only Memory:只读存储器)、以及辅助存储装置等。如上所述那样的图像处理部12的上述各部的功能通过这些硬件、由处理器执行的摄影控制程序来实现。
此外,在脉搏估计系统1中,只要能够实施降噪和数据压缩处理中的至少一方即可,因而,能够是省略了图像处理部12中的降噪处理部15和数据压缩处理部16中的至少一方的结构。另外,也可以使脉搏估计系统1的其它装置(例如,脉搏估计装置3)执行摄像机2中的图像处理部12的至少一部分的功能(降噪、数据压缩处理等)。
脉搏估计装置3具备:图像输入部21,其被输入来自摄像机2的摄像图像 (影像信号),来作为包含人物H的至少一部分的时间上连续的摄像图像;区域提取部22,其从该摄像图像提取人物H的肤色区域(在此为面部区域);脉搏计算部(脉搏估计部)23,其根据该提取出的人物H的肤色区域来计算(估计) 人物H的脉搏;以及显示部24,其能够将包含该脉搏的估计结果的各种信息向用户显示,由公知的显示器装置构成。此外,由区域提取部22提取的肤色区域是在人体中露出皮肤的区域,是能够根据该区域的摄像图像数据来估计脉搏的区域。另外,被输入到图像输入部21的摄像图像不限于从摄像机2发送的摄像图像,也可以是在拍摄后存储到公知的存储器等的摄像图像。
区域提取部22针对各摄像图像(帧图像)执行用于识别面部的特征量的公知的面部检测处理,由此将该检测出的面部的区域作为人物H的肤色区域来提取/跟踪。另外,区域提取部22将与提取出的面部区域有关的摄像图像的数据发送到脉搏计算部23。
在区域提取部22中,不限于上述的方法,也可以是从摄像图像提取具有预先设定的肤色成分(例如,是与RGB的各像素值有关的预先设定的比率,且为根据人种等而不同的值)的像素,将提取出该像素的区域设为肤色区域。在这种情况下,关于露出除面部以外的皮肤的部分(例如,手、腕等),也能够作为肤色区域来提取。但是,通过如上所述那样将人物H的面部区域作为肤色区域来提取,由此具有能够容易地提取肤色区域这样的优点。此外,在图1中,只示出一个人的人物H,但是在摄像图像包含多个人物的情况下,在区域提取部22中能够提取多个面部区域。
关于构成在时间上连续的摄像图像中提取出的肤色区域的各像素,脉搏计算部23计算例如RGB的各成分的像素值(0-255灰度级),生成其代表值(在此为各像素的平均值)的时间序列数据来作为脉搏信号。在此,使用各像素的平均值作为代表值,该平均值是小数点精度的值。另外,在这种情况下,能够根据仅脉动的变动特别大的绿色成分(G)的像素值来生成时间序列数据。
例如,如图4的(A)所示,所生成的像素值(平均值)的时间序列数据伴有基于血液中的血红蛋白浓度的变化的微少的变动(例如,小于像素值的1灰度级的变动)。因此,脉搏计算部23能够通过对基于该像素值的时间序列数据执行基于FFT(Fast FourierTransform:快速傅立叶变换)的频率分析处理,来提取如图4的(B)所示那样的功率谱。脉搏计算部23能够在该功率谱中检测功率高的频率成分(例如,谱的极大值),根据该频率成分来估计脉搏(数)。
如上述那样的脉搏估计装置3例如能够由PC(Personal Computer:个人计算机)等信息处理装置来构成。虽然省略图示,但是脉搏估计装置3具有包含根据规定的控制程序来综合地执行各种信息处理、周边设备的控制等的处理器、作为处理器的工作区等发挥功能的作为易失性存储器的RAM、保存由处理器执行的控制程序、数据的作为非易失性存储器的ROM、执行经由网络的通信处理的网络接口、监视器(图像输出装置)、扬声器、输入设备、以及 HDD(Hard Disk Drive:硬盘驱动器)等的硬件结构,能够通过由处理器执行规定的控制程序来实现图2所示的脉搏估计装置3的各部的功能的至少一部分。此外,也可以将脉搏估计装置3的功能的至少一部分由其它的公知的硬件的处理来代替。
在此,参照图5A、5B说明在数据压缩处理部16的数据压缩处理中可能产生的噪声。图5A示出作为比较用而不对摄像图像实施数据压缩处理的情况下的频率分析结果。另外,在图5A中,为了便于说明,只将基于脉搏的谱示意性地示出。另一方面,图5B示出针对帧频30fps的摄像图像以30秒间隔周期性地在由I图像35和P图像36构成的GOP(Group ofPicture:图像组)的开头插入I图像35的情况下的频率分析结果。另外,在图5B中,为了便于说明,只将基于脉搏的谱和基于数据压缩处理的噪声示意性地示出。
如图5A所示,在不实施数据压缩处理的情况下,当例如将脉搏设为约60 拍/分钟时,在约1Hz的频率的位置处出现基于脉搏的谱,能够根据该谱来进行脉搏的估计。
另一方面,如图5B所示,在帧频30fps的摄像图像中以30帧间隔来插入I 图像35的情况下,由于从该I图像35向接在它后面的P图像36的切换,在与脉搏的频率(约1Hz)接近的频域产生噪声。这被认为I图像35与P图像36切换时丢失的信息量之差在频率分析中作为谱来出现。由此,难以区别基于脉搏的谱与噪声,其结果,难以估计基于上述的图4的(B)所示那样的谱的脉搏。
因此,在脉搏估计系统1中,图像处理控制部17如后面详述的那样根据摄像机2的动作模式来对被插入到由多个图像(I图像、P图像、B图像)构成的 GOP中的I图像的时间间隔进行变更(对GOP进行控制),由此能够获取适于脉搏的估计的摄像图像。
此外,在本实施方式中将摄像图像的帧频设为30fps,但是不限于此,在其它的帧频下,也根据GOP中的I图像的插入间隔,而在基于脉搏的谱的附近可能产生由I图像的插入引起的噪声。另外,在此,关注于由于从I图像向P 图像的切换而产生的噪声,但是关于由于从I图像向B图像的切换而产生的噪声,也是同样的。
图6是表示与摄像机2的降噪处理部15中的降噪有关的设定方法的流程图。当摄像机2启动时,图像处理控制部17执行与降噪处理部15的降噪有关的初始设定(ST101)。在本实施方式中,在摄像机2启动时通常拍摄模式被选择(开启),图像处理控制部17针对降噪,将3DNR的滤波器系数设定为初始值 (在此,M:N=0.5:0.5)。由此,用户能够在摄像机2的通常拍摄中获取噪声被恰当地降低的摄像图像。
接着,当根据用户的指示来选择(开启)重要信息获取模式时(ST102:“是”),图像处理控制部17以减少与当前帧的图像合成的前一帧的图像的比例的方式变更3DNR的滤波器系数(在此,变更为M:N=0.9:0.1)(ST103)。此时,被实施了不阻碍脉搏估计装置3中的脉搏估计处理的程度的轻度的降噪后的摄像图像从摄像机2被输出到脉搏估计装置3。由此,能够将摄像图像的噪声降低某种程度(即,尽可能维持摄像图像的图像质量),并且获取适于脉搏估计处理的摄像图像。
此外,作为其它方法,在步骤ST103中,图像处理控制部17也能够将三维降噪设为关闭(设定为M:N=1.0:0.0)。在这种情况下,未被实施降噪的摄像图像从摄像机2被输出到脉搏估计装置3。由此,虽然得不到噪声的降低效果,但是能够获取更适于脉搏估计处理的摄像图像。
当最终重要信息获取模式被关闭(在此,通常拍摄模式被选择)时(ST104:“是”),再次返回到步骤ST101,重复执行与上述相同的步骤。此外,作为降噪的设定方法,也能够是在摄像机2启动时重要信息获取模式被选择(开启)(从步骤ST103开始)的结构。
图7是表示与摄像机2的数据压缩处理部16中的数据压缩处理有关的设定方法的流程图,图8是表示图7中的步骤ST203的处理及其处理结果的说明图,图9是表示图8所示的处理和处理结果的变形例的说明图。
当摄像机2启动时,图像处理控制部17执行与数据压缩处理部16的数据压缩处理有关的初始设定(ST201)。在本实施方式中,摄像机2启动时通常拍摄模式被选择(开启),图像处理控制部17针对数据压缩处理,以在帧频30fps 的摄像图像(压缩图像)中以30秒间隔插入I图像的方式进行设定。由此,用户能够在通常的拍摄中获取数据容量被恰当地压缩的摄像图像。
接着,当根据用户的指示来选择(开启)重要信息获取模式时(ST202:“是”),图像处理控制部17针对数据压缩处理,变更I图像的插入间隔(ST203)。此时,如图8所示,图像处理控制部17以将I图像35以例如90~120左右的帧间隔插入到P图像36群之间的方式进行设定。由此,在与脉搏的频率接近的频域中产生的噪声(参照图5B)移位到比脉搏的频率成分(在此为约1Hz)更靠低频侧,因此在脉搏估计装置3中的脉搏估计处理中,容易区别基于脉搏的谱与噪声。
另外,作为其它方法,图像处理控制部17也能够例如图9所示那样设定成利用I图像35构成全部的帧,来代替步骤ST203中的变更I图像的插入间隔。在这种情况下,虽然数据压缩的效果下降,但是能够可靠地防止由从I图像向P图像的切换引起的噪声的产生。
当最终重要信息获取模式被关闭(在此,通常拍摄模式被选择)时(ST204:“是”),再次返回到步骤ST201,重复执行与上述相同的步骤。此外,作为与数据压缩处理有关的设定方法,也能够是在摄像机2启动时重要信息获取模式被选择(开启)(从步骤ST203开始)的结构。
[本公开的概要]
本公开的图像处理装置获取用于估计脉搏的图像。而且,该图像处理装置具备:数据压缩处理部,其对被输入的摄像图像执行基于帧间预测的数据压缩处理;以及动作模式选择部,其能够根据来自用户的指示来选择通常拍摄用的第一动作模式和脉搏估计用的第二动作模式中的某一个模式。在选择了第二动作模式的情况下,数据压缩处理部将I图像的间隔设定为与选择了第一动作模式的情况下的I图像的间隔不同的间隔,该I图像构成通过数据压缩处理生成的压缩图像。
根据本公开的图像处理装置,即使在通常拍摄用的第一动作模式中由于 I图像的间隔(即,从I图像向其它图像的切换)而产生具有与脉搏的频率成分接近的频率的噪声的情况下,也能够通过在脉搏估计用的第二动作模式中恰当地执行图像的数据压缩处理(即,将I图像的间隔设定为与选择了第一动作模式的情况下的I图像的间隔不同的间隔),来在抑制图像的数据量的增大的同时获取适于脉搏的估计的图像。
在本公开的图像处理装置中,也可以在选择了第二动作模式的情况下,数据压缩处理部将I图像的间隔设定为比选择了第一动作模式的情况下的I图像的间隔大的间隔。
根据本公开的图像处理装置,通过在脉搏估计用的第二动作模式中将I 图像的间隔设定为比选择了第一动作模式的情况下的I图像的间隔大的间隔,能够使由于I图像的间隔而产生的噪声移位到比脉搏的频率成分更靠低频侧,其结果能够获取适于脉搏的估计的图像。
在本公开的图像处理装置中,也可以是,在选择了第一动作模式的情况下,数据压缩处理部至少利用I图像和P图像来构成压缩图像,另一方面,在选择了第二动作模式的情况下,数据压缩处理部只利用I图像来构成压缩图像。
根据本公开的图像处理装置,通过在脉搏估计用的第二动作模式中只利用I图像来构成压缩图像,能够可靠地防止由I图像的间隔(向P图像等的切换) 引起的噪声的产生,其结果,能够获取适于脉搏的估计的图像。
在本公开的图像处理装置中,也可以还具备用于执行摄像图像的降噪处理的降噪处理部。而且,也可以在选择了第二动作模式的情况下,与选择第一动作模式的情况相比,降噪处理部减轻降噪处理。
根据本公开的图像处理装置,通过在脉搏估计用的第二动作模式中减轻降噪处理,能够抑制摄像图像中包含的对脉搏估计有用的信息的被从摄像图像中与噪声一起去除的信息量,其结果,能够获取适于脉搏的估计的图像。
在本公开的图像处理装置中,也可以还具备用于执行摄像图像的降噪处理的降噪处理部。而且,也可以是,在选择了第一动作模式的情况下,降噪处理部执行降噪处理,另一方面,在选择了第二动作模式的情况下,降噪处理部不执行降噪处理。
根据本公开的图像处理装置,通过在脉搏估计用的第二动作模式中不执行降噪处理,能够防止摄像图像中包含的对脉搏估计有用的信息被从摄像图像中与噪声一起去除,其结果,能够获取适于脉搏的估计的图像。
在本公开的图像处理装置中,也可以在从摄像图像提取出面部区域的情况下,降噪处理部只在面部区域内减轻降噪处理,或者只在面部区域内不执行降噪处理。
根据本公开的图像处理装置,通过在脉搏估计用的第二动作模式中只在面部区域内减轻降噪处理、或者只在面部区域内不执行降噪处理,能够恰当地降低除面部区域以外的区域的噪声,并且能够抑制或者防止摄像图像中包含的用于脉搏估计的信息被从摄像图像中与噪声一起去除。
本公开的脉搏估计系统也可以具备图像处理装置和脉搏估计装置,该脉搏估计装置根据在图像处理装置中执行了数据压缩处理所得到的压缩图像来估计脉搏。
根据本公开的脉搏估计系统,即使在图像处理装置中的通常拍摄用的第一动作模式中由于I图像的间隔而产生具有与脉搏的频率成分接近的频率的噪声的情况下,也能够通过在脉搏估计用的第二动作模式中恰当地执行图像的数据压缩处理,来在抑制图像的数据量的增大的同时获取适于脉搏估计装置中的脉搏的估计的图像。
本公开的图像处理方法获取用于估计脉搏的图像。而且,该图像处理方法包括:数据压缩处理步骤,对被输入的摄像图像执行基于帧间预测的数据压缩处理;以及动作模式选择步骤,能够根据来自用户的指示来选择通常拍摄用的第一动作模式和脉搏估计用的第二动作模式中的某一个模式。在数据压缩处理步骤中,在选择了第二动作模式的情况下,将I图像的间隔设定为与选择了第一动作模式的情况下的I图像的间隔不同的间隔,该I图像构成通过数据压缩处理生成的压缩图像。
根据本公开的图像处理方法,即使在通常拍摄用的第一动作模式中由于 I图像的间隔而产生具有与脉搏的频率成分接近的频率的噪声的情况下,也能够通过在脉搏估计用的第二动作模式中恰当地执行图像的数据压缩处理,来在抑制图像的数据量的增大的同时获取适于脉搏的估计的图像。
以上,根据特定的实施方式来说明了本公开,但是这些实施方式只不过是例示性的,本公开不被这些实施方式所限定。例如在上述的本实施方式中,示出了将本公开所涉及的图像处理装置作为摄像机2的功能的一部分来实现的例子,但是不限于此,也可以是执行从摄像机2获取到的摄像图像的数据压缩处理(或者降噪)的装置。另外,由摄像机2进行图像处理后的摄像图像不需要必须直接发送到脉搏估计装置3,也可以是将存储于图像存储部18中的摄像图像另外用于其它装置所进行的脉搏的估计的结构。此外,上述图像处理装置、具备该图像处理装置的脉搏估计系统以及图像处理方法并非全都是必须的,能够在至少不超出本公开的范围的前提下适当取舍选择。
产业上的可利用性
本公开所涉及的图像处理装置、具备该图像处理装置的脉搏估计系统以及图像处理方法能够通过恰当地执行图像的数据压缩处理,来在抑制图像的数据量的增大的同时获取适于脉搏的估计的图像,作为用于获取适于脉搏的估计的图像的图像处理装置、具备该图像处理装置的脉搏估计系统以及图像处理方法等有用。
附图标记说明
1:脉搏估计系统;2:摄像机(图像处理装置);3:脉搏估计装置;11:摄像部;12:图像处理部;15:降噪处理部;16:数据压缩处理部;17:图像处理控制部(动作模式选择部);18:存储部;21:图像输入部;22:区域提取部;23:脉搏计算部。

Claims (9)

1.一种图像处理装置,获取用于估计脉搏的图像,所述图像处理装置具备:
数据压缩处理部,其对被输入的摄像图像执行基于帧间预测的数据压缩处理;以及
动作模式选择部,其能够根据来自用户的指示来选择通常拍摄用的第一动作模式和脉搏估计用的第二动作模式中的某一个模式,
其中,在选择了所述第一动作模式的情况下,所述数据压缩处理部将I图像的间隔设定为第一间隔,所述I图像构成通过所述数据压缩处理生成的压缩图像,以及
在选择了所述第二动作模式的情况下,所述数据压缩处理部将I图像的间隔设定为与所述第一间隔不同的第二间隔,以使得所述数据压缩处理中由于所述I图像的间隔而产生的噪声的频率与脉搏的频率成分相区别。
2.根据权利要求1所述的图像处理装置,其特征在于,
在选择了所述第二动作模式的情况下,所述数据压缩处理部将所述I图像的间隔设定为比所述第一间隔大的所述第二间隔。
3.根据权利要求1所述的图像处理装置,其特征在于,
在选择了所述第一动作模式的情况下,所述数据压缩处理部至少利用I图像和P图像来构成所述压缩图像,另一方面,在选择了所述第二动作模式的情况下,所述数据压缩处理部只利用I图像来构成所述压缩图像。
4.根据权利要求1所述的图像处理装置,其特征在于,
还具备降噪处理部,该降噪处理部执行所述摄像图像的降噪处理,
在选择了所述第二动作模式的情况下,与选择了所述第一动作模式的情况相比,所述降噪处理部减轻所述降噪处理。
5.根据权利要求1所述的图像处理装置,其特征在于,
还具备降噪处理部,该降噪处理部执行所述摄像图像的降噪处理,
在选择了所述第一动作模式的情况下,所述降噪处理部执行所述降噪处理,另一方面,在选择了所述第二动作模式的情况下,所述降噪处理部不执行所述降噪处理。
6.根据权利要求4所述的图像处理装置,其特征在于,
在从所述摄像图像提取出面部区域的情况下,所述降噪处理部只在所述面部区域内减轻所述降噪处理,或者只在所述面部区域内不执行所述降噪处理。
7.根据权利要求1所述的图像处理装置,其特征在于,所述第二间隔的范围为90帧至120帧。
8.一种脉搏估计系统,具备:
根据权利要求1所述的图像处理装置;以及
脉搏估计装置,其根据在所述图像处理装置中执行了所述数据压缩处理所得到的压缩图像,来估计脉搏。
9.一种图像处理方法,用于获取用于估计脉搏的图像,所述图像处理方法包括:
数据压缩处理步骤,对被输入的摄像图像执行基于帧间预测的数据压缩处理;以及
动作模式选择步骤,能够根据来自用户的指示来选择通常拍摄用的第一动作模式和脉搏估计用的第二动作模式中的某一个模式,
其中,在所述数据压缩处理步骤中,在选择了所述第一动作模式的情况下,将I图像的间隔设定为第一间隔,所述I图像构成通过所述数据压缩处理生成的压缩图像,以及
在选择了所述第二动作模式的情况下,将I图像的间隔设定为与所述第一间隔不同的第二间隔,以使得所述数据压缩处理中由于所述I图像的间隔而产生的噪声的频率与脉搏的频率成分相区别。
CN201680062294.8A 2015-10-29 2016-09-02 图像处理装置、具备该图像处理装置的脉搏估计系统以及图像处理方法 Active CN108353169B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015-213348 2015-10-29
JP2015213348A JP6653459B2 (ja) 2015-10-29 2015-10-29 画像処理装置及びこれを備えた脈拍推定システムならびに画像処理方法
PCT/JP2016/004014 WO2017072998A1 (ja) 2015-10-29 2016-09-02 画像処理装置及びこれを備えた脈拍推定システムならびに画像処理方法

Publications (2)

Publication Number Publication Date
CN108353169A CN108353169A (zh) 2018-07-31
CN108353169B true CN108353169B (zh) 2022-05-17

Family

ID=58630015

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680062294.8A Active CN108353169B (zh) 2015-10-29 2016-09-02 图像处理装置、具备该图像处理装置的脉搏估计系统以及图像处理方法

Country Status (5)

Country Link
US (2) US10849515B2 (zh)
EP (1) EP3370422B1 (zh)
JP (1) JP6653459B2 (zh)
CN (1) CN108353169B (zh)
WO (1) WO2017072998A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6911609B2 (ja) * 2017-07-20 2021-07-28 株式会社リコー 情報処理装置、情報処理方法、情報処理プログラム、テレビ会議システム、及び生体情報取得システム
JP2021093600A (ja) * 2019-12-09 2021-06-17 パナソニックIpマネジメント株式会社 特徴領域追跡処理方法、特徴領域追跡処理方法を用いたバイタル情報推定方法、特徴領域追跡処理装置、及び特徴領域追跡処理装置を用いたバイタル情報推定装置
US20240138686A1 (en) * 2021-03-19 2024-05-02 Citizen Watch Co., Ltd. Device, method, and program for inferring blood pressure information

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2438849A1 (en) * 2010-10-06 2012-04-11 Latvijas Universitate Device and method for an optical contactless monitoring of cardiac parameters
CN103006195A (zh) * 2013-01-10 2013-04-03 浙江大学 一种基于图像处理的非接触式生命体征数据监测系统和监测方法
CN104545950A (zh) * 2014-12-23 2015-04-29 上海博康智能信息技术有限公司 非接触式测谎方法及其测谎系统
CN104602594A (zh) * 2012-09-07 2015-05-06 富士通株式会社 脉搏检测方法、脉搏检测装置以及脉搏检测程序
CN105678780A (zh) * 2016-01-14 2016-06-15 合肥工业大学智能制造技术研究院 一种去除环境光变化干扰的视频心率检测方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2821395B2 (ja) * 1995-08-23 1998-11-05 日本電気ホームエレクトロニクス株式会社 画像編集システム
JP3945059B2 (ja) * 1998-12-24 2007-07-18 カシオ計算機株式会社 動画像記録装置、及び、動画像記録方法
JP2005130362A (ja) * 2003-10-27 2005-05-19 Canon Inc 撮像装置
JP2006157239A (ja) 2004-11-26 2006-06-15 Canon Inc 画像処理装置及び画像処理方法
JP4769695B2 (ja) 2005-12-16 2011-09-07 キヤノン株式会社 撮像装置及び再生装置
JP4911625B2 (ja) * 2007-11-27 2012-04-04 三洋電機株式会社 画像処理装置、およびそれを搭載した撮像装置
JP2009296124A (ja) * 2008-06-03 2009-12-17 Pioneer Electronic Corp 画像処理装置及び方法並びに復号化装置
JP5266895B2 (ja) * 2008-06-12 2013-08-21 富士通株式会社 脈波検出装置、脈波検出プログラムおよび脈波検出方法
JPWO2012017945A1 (ja) * 2010-08-03 2013-10-03 日本電気株式会社 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法及びプログラム
CN103314583B (zh) 2011-01-05 2017-05-17 皇家飞利浦电子股份有限公司 保留ppg相关信息的视频编码和解码设备及方法
JP5672144B2 (ja) 2011-05-20 2015-02-18 富士通株式会社 心拍数・呼吸数検出装置,方法およびプログラム
JP5791451B2 (ja) * 2011-09-29 2015-10-07 キヤノン株式会社 符号化装置およびプログラム
JP5920465B2 (ja) 2012-06-29 2016-05-18 富士通株式会社 バイタルサイン検出方法、バイタルサイン検出装置及びバイタルサイン検出プログラム
JP6083162B2 (ja) 2012-09-10 2017-02-22 株式会社ニコン 画像処理装置、撮像装置及び画像処理プログラム
JP6115263B2 (ja) * 2013-04-02 2017-04-19 富士通株式会社 脈波検出装置、脈波検出方法及び脈波検出プログラム
WO2016006027A1 (ja) * 2014-07-07 2016-01-14 富士通株式会社 脈波検出方法、脈波検出プログラム及び脈波検出装置
EP3244321A4 (en) * 2015-01-05 2018-07-04 Sony Corporation Information processing device, information processing method, and program

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2438849A1 (en) * 2010-10-06 2012-04-11 Latvijas Universitate Device and method for an optical contactless monitoring of cardiac parameters
CN104602594A (zh) * 2012-09-07 2015-05-06 富士通株式会社 脉搏检测方法、脉搏检测装置以及脉搏检测程序
CN103006195A (zh) * 2013-01-10 2013-04-03 浙江大学 一种基于图像处理的非接触式生命体征数据监测系统和监测方法
CN104545950A (zh) * 2014-12-23 2015-04-29 上海博康智能信息技术有限公司 非接触式测谎方法及其测谎系统
CN105678780A (zh) * 2016-01-14 2016-06-15 合肥工业大学智能制造技术研究院 一种去除环境光变化干扰的视频心率检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A novel method of adaptive GOP structure base on coding efficiency and complexity joint model;Daxing Qian;《Fifth International Conference on Intelligent Control and Information Processing》;20150115;第240-241页2节 *
A survey of remote optical photoplethysmographic imaging methods;Daniel J. McDuff;《2015 37th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC)》;20150829;第6400-6403页3-5节 *

Also Published As

Publication number Publication date
EP3370422B1 (en) 2021-08-11
CN108353169A (zh) 2018-07-31
EP3370422A4 (en) 2018-09-05
EP3370422A1 (en) 2018-09-05
US11647913B2 (en) 2023-05-16
US20210038097A1 (en) 2021-02-11
US20180310845A1 (en) 2018-11-01
US10849515B2 (en) 2020-12-01
JP2017085422A (ja) 2017-05-18
WO2017072998A1 (ja) 2017-05-04
JP6653459B2 (ja) 2020-02-26

Similar Documents

Publication Publication Date Title
JP6653467B2 (ja) 脈拍推定装置、脈拍推定システムおよび脈拍推定方法
US9025826B2 (en) Formation of a time-varying signal representative of at least variations in a value based on pixel values
US11647913B2 (en) Image processing apparatus and pulse estimation system provided therewith, and image processing method
US9286944B2 (en) Methods and systems for providing a combination of media data and metadata
EP3142071A1 (en) Method and system for obtaining a first signal for analysis to characterize at least one periodic component thereof
JP6509605B2 (ja) 生理学的パラメータの推定
KR102468654B1 (ko) 보정된 이미지 기반 심박 추정 방법 및 그 장치
JP6436385B2 (ja) 撮像装置、画像処理装置及び画像処理方法
JP6937473B2 (ja) 画像処理装置及びこれを備えたバイタル情報取得システムならびに画像処理方法
WO2020194617A1 (en) Blood volume pulse signal detection apparatus, blood volume pulse signal detection method, and computer-readable storage medium
KR102055041B1 (ko) 스마트폰을 이용하여 ppg 신호를 얻기 위한 최적의 roi 결정 방법 및 장치
JP2019170407A (ja) 信号制御装置、信号制御プログラム、及び信号制御方法
JP2010171808A (ja) 動画像ノイズ低減処理装置及び画像処理プログラム
JP7074817B2 (ja) バイタルデータ測定装置及びバイタルデータ測定方法並びにコンピュータプログラム
JP7514521B2 (ja) 心拍測定システム、心拍測定方法、及び心拍測定プログラム
JP5901353B2 (ja) 画像処理装置
JP5864983B2 (ja) 画像処理装置
JP2021178055A (ja) 情報処理装置、情報処理方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant