CN105078407A - 用以取得主体的生命体征的装置与方法 - Google Patents

用以取得主体的生命体征的装置与方法 Download PDF

Info

Publication number
CN105078407A
CN105078407A CN201510243937.6A CN201510243937A CN105078407A CN 105078407 A CN105078407 A CN 105078407A CN 201510243937 A CN201510243937 A CN 201510243937A CN 105078407 A CN105078407 A CN 105078407A
Authority
CN
China
Prior art keywords
vital sign
frame
video
main body
order
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510243937.6A
Other languages
English (en)
Inventor
陈东杰
陈昱廷
黄盈源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN105078407A publication Critical patent/CN105078407A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/14551—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
    • A61B5/14552—Details of sensors specially adapted therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/021—Measuring pressure in heart or blood vessels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7278—Artificial waveform generation or derivation, e.g. synthesising signals from measured signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
    • A61B5/748—Selection of a region of interest, e.g. using a graphics tablet
    • A61B5/7485—Automatic selection of region of interest
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0233—Special features of optical sensors or probes classified in A61B5/00
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/1032—Determining colour for diagnostic purposes

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Cardiology (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Optics & Photonics (AREA)
  • Vascular Medicine (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明公开一种用以取得主体的生命体征的装置和方法。所述装置包括：图像传感器与生命体征处理器。所述图像传感器用以获取所述主体的视频，以产生多张第一视频帧。所述生命体征处理器，用以处理所述多张第一视频帧来产生生命体征信号，其中所述生命体征处理器调整第一参数集来设定图像传感器，以使所述多张第一视频帧适合应用在所述主体的生命体征的取得。本发明所公开的用以取得主体的生命体征的装置和方法，直接从图像传感器获取未经处理/未经压缩的图像，可以达到高准确度的生命体征计算。

Description

用以取得主体的生命体征的装置与方法
技术领域
本发明关于图像处理，特别是指一种基于未经处理或未经压缩的图像数据获取主体的生命体征(vitalsign)的装置与方法。
背景技术
当今的电子系统，例如：智能手机、平板电脑、触控装置、笔记本电脑以及个人电脑等，具备多种内建的传感器。电子系统可以通过执行应用程序，来分析这些传感器提供的信息，从而实现更多功能。例如，通过图像传感器(imagesensor)所获取的人类图像，电子系统可以进行生命体征的计算，从而取得人类的生命体征。执行应用程序来分析人类图像中肤色(skintone)区域的色彩变化，可以计算出人类的心率(heartrate)。
在多数的电子系统中，应用程序仅能从与图像传感器相连的图像信号处理器(imagesignalprocessor)，或者是视频编码器(videoencoder)，取得处理后或者是压缩后的图像数据，例如，YUV420格式的图像，或者是H.264格式的视频。图1解释了在现有的电子系统中，如何进行生命体征的计算。如图1所示，由图像传感器10所输出的原始数据(rawdata)，会被图像信号处理器20或者是视频编码器25转换成具有YUV格式(例如：YUV420、YUV444以及YUV422)的图像数据，或者是转换成H.264格式的视频。因此，生命体征相关应用程序30仅能取得压缩后/处理后的图像数据。
在这种情形下，生命体征计算的准确性受到压缩后/处理后的图像数据所保留的色彩信息所限制。然而，压缩后/处理后的图像数据基本上都以迎合人类在视觉感受上的喜好为目标而进行调整。例如，相比于图像传感器10所输出的原始数据，压缩后/处理后的图像数据通常是更明亮，对比更强，以及色彩更加饱和。再者，在压缩图像数据的过程中，可能会舍弃人眼所无法察觉的细节。由此可知，在图像数据压缩或处理的过程中，往往有些色彩信息会遗失，或者是被舍弃。然而，这些遗失的信息对于生命体征计算来说，可能相当重要，或者是有助于生命体征计算。因此，图像数据的压缩或处理可能会影响生命体征计算的准确性，或对生命体征计算有不好的影响。
发明内容
有鉴于此，本发明提供一种用以取得主体的生命体征的装置和方法。
依据本发明一实施方式，提供一种用以取得主体的生命体征的装置，包括：像传感器，用以获取所述主体的视频，以产生多张第一视频帧；以及生命体征处理器，用以处理所述多张第一视频帧来产生生命体征信号；其中所述生命体征处理器调整第一参数集来设定所述图像传感器，以使所述多张第一视频帧适合应用于所述主体的生命体征的取得。
依据本发明另一实施方式，提供一种用以取得主体的生命体征的方法，包括：从图像传感器获取所述主体的视频中的多张第一视频帧；处理所述多张第一视频帧来产生生命体征信号；以及调整第一参数集来设定所述图像传感器，以使所述多张第一视频帧适合应用于所述主体的生命体征的取得。
本发明所提供的用以取得主体的生命体征的装置和方法，直接从图像传感器获取未经处理/未经压缩的图像，可以达到高准确度的生命体征计算。
对于已经阅读后续由各附图及内容所显示的较佳实施方式的本领域的技术人员来说，本发明的各目的是明显的。
附图说明
图1为现有的电子系统中进行生命体征计算的部分。
图2为本发明用以取得主体的生命体征的装置的实施例。
图3为在背光场景得到的欠曝图像。
图4为调整第一参数集的流程。
图5为调整第一参数集的细节。
图6为本发明的实施例中进行遗失数据内插的流程。
图7为整合所述主体的生命体征与视觉化呈现的布局配置。
图8为本发明用以取得主体的生命体征的方法的实施例的流程图。
具体实施方式
在权利要求书及说明书中使用了某些词汇来指称特定的组件。所属领域中的技术人员应可理解，硬件制造商可能会用不同的名词来称呼同样的组件。本权利要求书及说明书并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。在权利要求书及说明书中所提及的「包括」为开放式的用语，故应解释成「包括但不限定于」。另外，「耦接」一词在此包括任何直接及间接的电气连接手段。因此，若文中描述第一装置耦接于第二装置，则代表所述第一装置可直接电连接于所述第二装置，或通过其他装置或连接手段间接地电连接至所述第二装置。
生命体征处理器(VitalsignProcessor)
请参考图2，所述图2为基于本发明的一实施例的包括生命体征处理器110的装置100。装置100可能为电子系统的子系统，或者是电子系统的一部分。这里提到的电子系统可能是智能手机、平板电脑、触控装置、笔记本电脑或者是个人电脑。装置100中的图像传感器120用来获取主体(可能是一个或多个人类或者是动物的躯体)的视频。生命体征处理器110从图像传感器120处取得视频的多张第一视频帧FRA_1-FRA_N，并对其处理，以产生生命体征信号，从而指示所述主体的生命体征。在本发明不同实施例中，生命体征处理器110可由通用处理器(general-purposeprocessor)或者是专属的硬件电路来实现。并且，生命体征可能代表所述主体的血压、心率、血氧饱和度(bloodoxygensaturation)和/或心率变异(heartratevariability)。再者，图像传感器120可能是电荷耦合元件(chargecoupleddevice，CCD)式图像传感器，或者是互补式金属氧化物半导体(complementarymetaloxidesemiconductor，CMOS)式图像传感器。当图像传感器120为CMOS式图像传感器时，生命体征处理器110与图像传感器120可被整合在同一芯片上，即，单芯片系统(systemonachip，SoC)；另外，生命体征处理器110与图像传感器120也可能是不同的两个芯片。
第一视频帧FRA_1-FRA_N是由图像传感器120，通过接口122在未经图像信号处理器130压缩或处理的情形下直接输出。第一视频帧FRA_1-FRA_N可能具有原始数据(rawdata)的格式，其可能为RBGB、RGBW、CYGM、WWWW、RGBIR、YUV等格式，或者其他类型的原始数据格式。另外，在本发明其他实施例中，生命体征处理器110也可能使用从图像信号处理器130输出的YUV422或YUV444等格式的图像数据，产生生命体征信号。
由于第一视频帧FRA_1-FRA_N为图像传感器120输出的原始数据，所以每个像素在每个色彩成分上至少包括10比特的信息(甚至可能是12比特或者是14比特)。因此，相较于现有的YUV420格式的图像数据，第一视频帧FRA_1-FRA_N可以保留更多关于所述主体的色彩信息，并且具有更好的动态范围(dynamicrange)。换言之，第一视频帧FRA_1-FRA_N最大程度地保留了所述主体的色彩变化，这对于生命体征计算相当有帮助。
在一实施例中，为了节省生命体征处理器110与图像传感器120之间的接口的频宽，生命体征处理器110可能使用：第一视频帧FRA_1-FRA_N中的少数帧，或者是第一视频帧FRA_1-FRA_N中的每一完整帧的一部分，来进行生命体征计算。即，生命体征处理器110可基于具有较低帧大小和/或较低帧率(相较于第一视频帧FRA_1-FRA_N)的帧来进行生命体征计算。在这个实施例中，图像传感器120将具有较低帧大小与较低帧率的多张视频帧FRA’_1-FRA’_N，通过接口126传送给生命体征处理器110。举例来说，若第一视频帧FRA_1-FRA_N的帧大小为1280x720像素，那么生命体征处理器110可从接口126取得帧大小为640x360像素的视频帧FRA’_1-FRA’_N，并且处理640x360的像素数据，来计算生命体征。其中，视频帧FRA’_1-FRA’_N中每一者的像素数据，实际上是源自于所述多张第一视频帧FRA_1-FRA_N的完整帧的像素数据。另外，如果第一视频帧FRA_1-FRA_N的帧率为30fps，那么生命体征处理器110可以从接口126上取得帧率为10fps的帧FRA’_1-FRA’_N，并对其处理来计算生命体征，其中，视频帧FRA’_1-FRA’_N为由第一视频帧FRA_1-FRA_N中每三张中的一张所组成。相较于接口122，接口126所需的频宽远低于接口122所需的频宽，这是因为接口126传送的是帧大小较小且帧率较低的视频帧FRA’_1-FRA’_N。请注意，以上所提及的较小的帧大小与较低的帧率的具体数值仅做说明之用，并非本发明的限制。
设定图像传感器
生命体征处理器110可能包括两个具有不同功能的部分，其中一部分用来对第一视频帧FRA_1-FRA_N(或者是视频帧FRA’_1-FRA’_N)进行前置处理，以使用图像数据针对生命体征计算进行最佳化，而另一部分则用来进行生命体征计算。在前置处理中，生命体征处理器110会对图像传感器120进行设定，以使第一视频帧FRA_1-FRA_N适合于计算生命体征。举例来说，在图3中的背光场景，主体欠曝(underexposed)，因此，生命体征处理器110可能会无法取得主体所有的细节。为了避免这种情形，生命体征处理器110需要在背光场景或者是具有复杂光源的特定场景中，基于生命体征计算的考量，控制图像传感器120，以针对主体进行恰当的曝光。
生命体征处理器110可以通过控制路径142，调整第一参数集来设定图像传感器120。在本发明的不同实施例中，第一参数集可能包括曝光控制参数与增益控制参数的一者或全部。曝光控制参数可以决定图像传感器120的曝光值(exposurevalue，EV)，从而产生第一视频帧FRA_1-FRA_N，这涉及了快门速度与镜头光圈的控制。增益控制参数可以决定图像传感器120的信号增益，其可为图像传感器120获取第一视频帧FRA_1-FRA_N时所设定的ISO感光度等级。
图4解释了关于调整第一参数集来设定图像传感器120的流程。首先，多张第一视频帧FRA_1-FRA_N的感兴趣区域(regionofinterest，ROI)会被辨识出来。以图3所示的视频帧为例，对应人类皮肤的区域312、314以及316会被辨识成第一视频帧FRA_1-FRA_N的ROI。在ROI被辨识出来之后，生命体征处理器110检测是否在ROI内的亮度满足控制标准。如果ROI内的亮度未能满足所述控制标准，生命体征处理器110改变第一参数集的数值来改变亮度。另外，若ROI内的亮度满足所述控制标准，则生命体征处理器110将不会改变第一参数集的数值。
图5解释了本发明的一实施例中关于第一参数集的调整的细节。在视频帧的ROI被辨识出来之后，生命体征处理器110会进一步计算在ROI内的像素所对应的某个特定色彩成分的灰阶值的平均(以下简称ROI内的平均值)。在本实施例中，假定图像传感器120针对每个色彩成分输出10比特的色彩信息，那么一个色彩成分的灰阶值范围将会是0-1024。生命体征处理器110会检测ROI内的平均值是否落入调整参考范围(250-650)。若否，生命体征处理器110会调整第一参数集的数值。例如，生命体征处理器110会调整曝光控制参数与增益控制参数中的一者，来设定图像传感器120。在调整之后，图像传感器120基于调整后的第一参数集产生随后的第一视频帧(followingfirstvideoframe)。调整第一参数集的目的在于将随后的第一视频帧的ROI内的平均值控制在目标范围(450-550)内。生命体征处理器110将反复调整第一参数集的数值，直到检测到随后的第一视频帧的ROI内的平均值落在目标范围。在上面的说明中，调整参考范围大于目标范围，这样的优点是调整不需要常常被启动。然而，这只是本发明的一个实施例。在其他实施例中，调整参考范围可能等于或小于目标范围。另外，在一实施例中，如果检测到场景转换或者是长时间无法取得生命体征时，也有可能会开始对第一参数集进行调整。
图5也为一种可能的演算法，可使ROI内的平均值满足控制标准。假设平均值一开始为A，并未落于调整参考范围。因此，生命体征处理器110开始调整第一参数集的数值。由于数值A低于目标范围的上边界550与下边界450，故生命体征处理器110会调整第一参数集，使图像传感器120能够产生较明亮的第一视频帧(例如，设定图像传感器120，使其具有较高的EV值或较高的ISO感光度)。据此，图像传感器120基于调整后的第一参数集，产生随后的第一视频帧。之后，生命体征处理器110再次检测随后的第一视频帧的ROI内的平均值，并且检测到其数值为B。由于数值B仍然低于目标范围的上边界550与下边界450，所以生命体征处理器110再次调整第一参数集，使图像传感器120能够产生更明亮的第一视频帧。最后，生命体征处理器110检测到第一视频帧的ROI内的平均值为C，且数值C高于目标范围的上边界550与下边界450，所以生命体征处理器110调整第一参数集，使图像传感器120能够产生较暗的第一视频帧(例如，设定图像传感器120，使其具有低高的EV值或较低的ISO感光度)。由于调整的结果最后让第一视频帧的ROI内的平均值落于目标范围内，故生命体征处理器110停止调整第一参数集。在一实施例中，每次进行第一参数值的调整时，生命体征处理器110只会改变一种参数的数值，而不改变其他参数的数值。举例来说，生命体征处理器110可能在改变曝光控制参数的同时，维持增益控制参数不变，反之亦然。再者，在一实施例中，在检测到ROI内的平均值为未落于调整参考范围时，生命体征处理器110可能并不会立即调整第一参数集，而是等待几个第一视频帧之后，再次检测ROI内的平均值，从而决定是否调整。
在一实施例中，生命体征处理器110可能会计算ROI的像素对应于绿色色彩成分的灰阶值的平均，从而决定是否调整第一参数集。然而，这并非本发明的限制。在本发明的不同实施例中，生命体征处理器110可能会计算ROI的像素对应于其他色彩成分的灰阶值的平均。
遗失数据补偿
在某些情况中，可能的延迟会造成图像传感器120无法以稳定的帧率来提供第一视频帧FRA_1-FRA_N。因此，某些视频帧可能会遗失，这会对生命体征计算产生不好的影响。
为了解决这个问题，生命体征处理器110可进行帧率调整，内插出对应于遗失的视频帧的数据。进一步来说，生命体征处理器120会将视频帧内的数据转换到信号域(signaldomain)。例如，视频帧的ROI内的像素数据，会被转换成ROI内像素的亮度平均值。受到帧遗失的影响，某些平均值可能会遗失。因此，生命体征处理器110进行数据内插来补偿数据序列中的遗失数据。之后，生命体征处理器110可使用在信号域的补偿后的数据序列来进行生命体征计算。在一实施例中，图像传感器120可能在第一视频帧FRA_1-FRA_N中的每个视频帧产生时，同时产生对应于所述视频帧的时间戳(timestamp)。而根据这些时间戳，生命体征处理器110可针对第一视频帧FRA_1-FRA_N进行帧率调整(也就是内插补偿)，以产生生命体征信号。在其他实施例中，生命体征处理器110可根据系统时钟，来产生对应于第一视频帧FRA_1-FRA_N中每个视频帧的时间戳。之后，生命体征处理器110同样根据这些时间戳来针对第一视频帧FRA_1-FRA_N进行帧率调整，以产生生命体征信号。图6为补偿遗失数据的简易流程。
图像信号处理器
在装置100中，图像信号处理器130可以根据第二参数集，处理第一视频帧FRA_1-FRA_N来产生多张第二视频帧FRB_1-FRB_N，进而应用于所述主体的视觉化呈现。第二视频帧FRB_1-FRB_N可能具有YUV格式。第二视频帧FRB_1-FRB_N会通过接口124被传送给用户界面系统(UIsystem)150，以显示在电子系统的显示装置中。另外，第二视频帧FRB_1-FRB_N也可被电子装置中其他的硬件或软件所存取，以作其他用途。
由于第二视频帧FRB_1-FRB_N是应用在所述主体的视觉化呈现，所以第二视频帧FRB_1-FRB_N需要符合人眼的喜好。举例来说，第二视频帧FRB_1-FRB_N可能更为明亮、锐利、对比更强和/或色彩更加饱和。因此，第二参数集可能包括(但不限定于)对比参数、饱和度参数、锐度参数、色彩参数、伽玛参数、背光参数，或者电源线频率(powerlinefrequency)参数。图像信号处理器130通过控制路径144来调整第二参数集，以得到更好的使用者视觉感受。
再者，第二视频帧FRB_1-FRB_N可能还会被输出给视频/图像编码器140，并且基于特定的视频/图像压缩演算法而被压缩，产生压缩后的视频/图像，如H.264格式的视频，或者是JPEG格式的图像。
由生命体征处理器110产生的生命体征信号，以及针对视觉感受进行最佳化的第二视频帧FRB_1-FRB_N(或者是压缩后的H.264视频/JPEG图像)，都会被送到用户界面系统150。用户界面系统150可将由生命体征信号所指出的生命体征信息，与所述主体相关的第二视频帧FRB_1-FRB_N(或者是压缩后的H.264视频/JPEG图像)进行重叠，从而在单一图像中，同时显示所述主体的形体与所述主体的生命体征信息(如图7所示)。由于用户界面系统150同时整合了：针对视觉呈现进行最佳化(基于第二参数集)的第二视频帧FRB_1-FRB_N(或者是压缩后的H.264视频/JPEG图像)，以及基于保留多数色彩变化的图像数据所取得的生命体征信息，所以本发明实现了一个良好的生命体征获取与显示机制。
取得生命体征的流程
根据本发明的一实施例，图8为一个流程图，所述流程图解释了本发明如何以取得主体的生命体征。所述流程包括以下步骤：
步骤710：从图像传感器获取主体的视频中的多张第一视频帧；
步骤720：处理所述多张第一视频帧来产生生命体征信号；
步骤730：调整第一参数集来设定所述图像传感器，以使所述多张第一视频帧适合应用于所述主体的生命体征的取得。
关于步骤710-730的原理，详细实施，以及可能变化都已在关于装置100的说明内容中解释过，故此处不重进行重复性的说明。
总结来说，针对图像传感器的原始数据输出，以及图像传感器不同通道的输出，进行不同的应用，本发明提供了一种可以达到高准确度的生命体征计算与良好使用者视觉感受的生命体征获取与显示机制。另外，本发明也使用数据内插技巧，来解决帧遗失所造成的生命体征计算不准确的问题，以及使用较小的帧大小与较低的帧率的帧序列来进行生命体征计算，减少对于数据传输接口的频宽的需求。因此，本发明实现了一个性能良好且成本合理的生命体征取得装置。
以上文中所提及的「一实施例」代表针对所述实施例所描述的特定特征、结构或者是特性包括于本发明的至少一实施方式中。再者，文中不同段落中所出现的「一实施例」并非代表相同的实施例。因此，尽管以上对于不同实施例描述时，分别提及了不同的结构特征或是方法性的动作，但应当注意的是，这些不同特征可通过适当的修改而同时实现于同一特定实施方式中。
在本发明范例中的硬件，可能包括了模拟电路、数字电路以及/或混合电路。例如，硬件可能包括特殊应用集成电路(Application-specificintegratedcircuit,ASIC)、现场可编程门阵列(fieldprogrammablegatearray,FPGA)、可编程逻辑装置，耦接于硬件元件，或是这些电路的组合。在其他范例中，硬件可能包括通用处理器、微处理器、控制器、数字信号处理器，或者是这些电路的组合。上述的电子系统可能包括单芯片系统或者是系统级封装(systeminpackage,SiP)。
以上所述仅为本发明的较佳实施方式，凡依本发明权利要求所做的均等变化和修饰，均应属本发明的涵盖范围。

Claims (27)

1.一种用以取得主体的生命体征的装置，其特征在于，包括：
图像传感器，用以获取所述主体的视频，以产生多张第一视频帧；以及
生命体征处理器，用以处理所述多张第一视频帧来产生生命体征信号；
其中所述生命体征处理器调整第一参数集来设定所述图像传感器，以使所述多张第一视频帧适合应用于所述主体的生命体征的取得。
2.如权利要求1所述的用以取得主体的生命体征的装置，其特征在于，所述生命体征处理器处理所述多张第一视频帧中每N张中的一张，以产生所述生命体征信号，其中N为大于1的正整数。
3.如权利要求1所述的用以取得主体的生命体征的装置，其特征在于，所述第一参数集包括曝光控制参数与增益控制参数中的一者。
4.如权利要求1所述的用以取得主体的生命体征的装置，其特征在于，所述生命体征处理器调整所述第一参数集来设定所述图像传感器是通过：
辨识所述多张第一视频帧中的感兴趣区域；
检测所述感兴趣区域内的亮度值是否满足控制标准；以及
当所述感兴趣区域内的亮度值不满足所述控制标准时，改变所述第一参数集的数值来改变所述感兴趣区域内的亮度值；或
当所述感兴趣区域内的亮度值满足所述控制标准时，不改变所述第一参数集的数值。
5.如权利要求4所述的用以取得主体的生命体征的装置，其特征在于，所述控制标准为对应于所述多张第一视频帧的色彩成分的灰阶值平均是否落于特定区间。
6.如权利要求1所述的用以取得主体的生命体征的装置，其特征在于，还包括：
图像信号处理器，用以根据第二参数集，处理所述多张第一视频帧来提供多张第二视频帧，以应用于对所述主体进行视觉化呈现；
其中所述第二参数集包括对比参数、饱和度参数、锐度参数、色彩参数、伽玛参数、背光参数或电源频率参数。
7.如权利要求6所述的用以取得主体的生命体征的装置，其特征在于，还包括：
视频编码器，用以基于特定视频压缩演算法，压缩所述多张第二视频帧。
8.如权利要求6所述的用以取得主体的生命体征的装置，其特征在于，所述多张第一视频帧的帧格式不同于所述多张第二视频帧的帧格式。
9.如权利要求1所述的用以取得主体的生命体征的装置，其特征在于，所述生命体征处理器处理所述多张第一视频帧中的特定视频帧内的每M个像素中之一，其中M为大于1的正整数。
10.如权利要求1所述的用以取得主体的生命体征的装置，其特征在于，所述图像传感器另产生对应于所述多张第一视频帧的多个时间戳，以及所述生命体征处理器根据所述多个时间戳，针对所述多张第一视频帧进行帧率调整，以产生所述生命体征信号。
11.如权利要求1所述的用以取得主体的生命体征的装置，其特征在于，所述生命体征处理器：
产生多个多时间戳，其中每一时间戳分别关联于所述多张第一视频帧中的一者；以及
根据所述多个时间戳，针对所述多张第一视频帧进行帧率调整，以产生所述生命体征信号。
12.如权利要求1所述的用以取得主体的生命体征的装置，其特征在于，所述多张第一视频帧具有RBGB、RGBW、CYGM、WWWW或RGBIR格式。
13.如权利要求1所述的用以取得主体的生命体征的装置，其特征在于，所述生命体征信号指示所述主体的血压、心率、血氧饱和度或者心率变异。
14.如权利要求1所述的用以取得主体的生命体征的装置，其特征在于，所述图像传感器为电荷耦合元件式图像传感器，或者为互补式金属氧化物半导体式图像传感器。
15.一种用以取得主体的生命体征的方法，其特征在于，包括：
从图像传感器获取所述主体的视频中的多张第一视频帧；
处理所述多张第一视频帧来产生生命体征信号；以及
调整第一参数集来设定所述图像传感器，以使所述多张第一视频帧适合应用于所述主体的生命体征的取得。
16.如权利要求15所述的用以取得主体的生命体征的方法，其特征在于，所述产生生命体征信号的步骤包括：
处理所述多张第一视频帧中每N张中的一张，产生所述生命体征信号，其中N为大于1的正整数。
17.如权利要求15所述的用以取得主体的生命体征的方法，其特征在于，所述第一参数集包括曝光控制参数与增益控制参数中的一者。
18.如权利要求15所述的用以取得主体的生命体征的方法，其特征在于，所述调整第一参数集来设定所述图像传感器的步骤包括：
辨识所述多张第一视频帧中的感兴趣区域；
检测所述感兴趣区域内的亮度值是否满足控制标准；以及
当所述感兴趣区域内的亮度值未满足所述控制标准时，改变所述第一参数集的数值来改变所述感兴趣区域内的亮度值；或
当所述感兴趣区域内的亮度值满足所述控制标准时，不改变所述第一参数集的数值。
19.如权利要求18所述的用以取得主体的生命体征的方法，其特征在于，所述控制标准为对应于所述多张第一视频帧的色彩成分的灰阶值平均是否落于特定区间。
20.如权利要求15所述的用以取得主体的生命体征的方法，其特征在于，还包括：
根据第二参数集，处理所述多张第一视频帧来提供多张第二视频帧，以应用于对所述主体进行视觉化呈现；
其中所述第二参数集包括对比参数、饱和度参数、锐度参数、色彩参数、伽玛参数、背光参数或电源频率参数。
21.如权利要求20所述的用以取得主体的生命体征的方法，其特征在于，还包括：
基于特定视频压缩演算法，压缩所述多张第二视频帧。
22.如权利要求20所述的用以取得主体的生命体征的方法，其特征在于，所述多张第一视频帧的帧格式不同于所述多张第二视频帧的帧格式。
23.如权利要求15所述的用以取得主体的生命体征的方法，其特征在于，所述产生生命体征信号的步骤包括：
处理所述多张第一视频帧中的特定视频帧内的每M个像素中之一，其中M为大于1的正整数。
24.如权利要求15所述的用以取得主体的生命体征的方法，其特征在于，还包括：
获取对应于所述多张第一视频帧的多个时间戳；以及
根据所述多个时间戳，针对所述多张第一视频帧进行帧率调整，以产生所述生命体征信号。
25.如权利要求15所述的用以取得主体的生命体征的方法，其特征在于，还包括：
产生多个多时间戳，其中每一时间戳分别关联于所述多张第一视频帧中之一者；以及
根据所述多个时间戳，针对所述多张第一视频帧进行帧率调整，以产生所述生命体征信号。
26.如权利要求15所述的用以取得主体的生命体征的方法，其特征在于，所述多张第一视频帧具有RBGB、RGBW、CYGM、WWWW或RGBIR格式。
27.如权利要求15所述的用以取得主体的生命体征的方法，其特征在于，所述生命体征信号指示所述主体的血压、心率、血氧饱和度或者心率变异。
CN201510243937.6A 2014-05-16 2015-05-14 用以取得主体的生命体征的装置与方法 Pending CN105078407A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201461994237P 2014-05-16 2014-05-16
US61/994,237 2014-05-16
US14/708,301 2015-05-11
US14/708,301 US20150327800A1 (en) 2014-05-16 2015-05-11 Apparatus and method for obtaining vital sign of subject

Publications (1)

Publication Number Publication Date
CN105078407A true CN105078407A (zh) 2015-11-25

Family

ID=53491261

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510243937.6A Pending CN105078407A (zh) 2014-05-16 2015-05-14 用以取得主体的生命体征的装置与方法

Country Status (3)

Country Link
US (1) US20150327800A1 (zh)
EP (1) EP2945368A1 (zh)
CN (1) CN105078407A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109167928A (zh) * 2018-09-06 2019-01-08 武汉精测电子集团股份有限公司 基于显示面板缺陷检测的快速自动曝光方法及系统
CN111835963A (zh) * 2019-04-18 2020-10-27 钜怡智慧股份有限公司 用于生理信息测量的影像调整方法及影像信号处理系统

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10242278B2 (en) * 2014-12-01 2019-03-26 Koninklijke Philips N.V. Device and method for skin detection
EP3440660A1 (en) * 2016-04-06 2019-02-13 Koninklijke Philips N.V. Method, device and system for enabling to analyze a property of a vital sign detector
US11471083B2 (en) * 2017-10-24 2022-10-18 Nuralogix Corporation System and method for camera-based stress determination
CN111464757A (zh) * 2019-01-21 2020-07-28 西安诺瓦电子科技有限公司 视频处理方法、装置和系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1988489A1 (en) * 2007-05-04 2008-11-05 STMicroelectronics (Research & Development) Limited Biometric sensor apparatus and method
US20100066849A1 (en) * 2006-07-31 2010-03-18 Suk Hwan Lim Adaptive binning method and apparatus
US20110251493A1 (en) * 2010-03-22 2011-10-13 Massachusetts Institute Of Technology Method and system for measurement of physiological parameters
CN102598666A (zh) * 2009-11-04 2012-07-18 皇家飞利浦电子股份有限公司 用于提供媒体数据和元数据组合的方法和系统
US8294781B2 (en) * 2009-10-20 2012-10-23 Apple Inc. System and method for sharpening image data
WO2013156908A1 (en) * 2012-04-17 2013-10-24 Koninklijke Philips N.V. Device and method for obtaining vital sign information of a living being
WO2014038077A1 (ja) * 2012-09-07 2014-03-13 富士通株式会社 脈波検出方法、脈波検出装置及び脈波検出プログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4730183B2 (ja) * 2006-04-17 2011-07-20 株式会社日立製作所 映像表示装置
RU2550427C2 (ru) * 2009-10-06 2015-05-10 Конинклейке Филипс Электроникс Н.В. Способ и система для выполнения фотоплетизмографии
US8625021B2 (en) * 2010-08-30 2014-01-07 Canon Kabushiki Kaisha Image capture with region-based adjustment of imaging properties
WO2012093304A1 (en) * 2011-01-05 2012-07-12 Koninklijke Philips Electronics N.V. Video coding and decoding devices and methods preserving ppg relevant information
GB201114406D0 (en) * 2011-08-22 2011-10-05 Isis Innovation Remote monitoring of vital signs
US9031319B2 (en) * 2012-05-31 2015-05-12 Apple Inc. Systems and methods for luma sharpening

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100066849A1 (en) * 2006-07-31 2010-03-18 Suk Hwan Lim Adaptive binning method and apparatus
EP1988489A1 (en) * 2007-05-04 2008-11-05 STMicroelectronics (Research & Development) Limited Biometric sensor apparatus and method
US8294781B2 (en) * 2009-10-20 2012-10-23 Apple Inc. System and method for sharpening image data
CN102598666A (zh) * 2009-11-04 2012-07-18 皇家飞利浦电子股份有限公司 用于提供媒体数据和元数据组合的方法和系统
US20110251493A1 (en) * 2010-03-22 2011-10-13 Massachusetts Institute Of Technology Method and system for measurement of physiological parameters
WO2013156908A1 (en) * 2012-04-17 2013-10-24 Koninklijke Philips N.V. Device and method for obtaining vital sign information of a living being
WO2014038077A1 (ja) * 2012-09-07 2014-03-13 富士通株式会社 脈波検出方法、脈波検出装置及び脈波検出プログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109167928A (zh) * 2018-09-06 2019-01-08 武汉精测电子集团股份有限公司 基于显示面板缺陷检测的快速自动曝光方法及系统
CN109167928B (zh) * 2018-09-06 2020-11-03 武汉精测电子集团股份有限公司 基于显示面板缺陷检测的快速自动曝光方法及系统
CN111835963A (zh) * 2019-04-18 2020-10-27 钜怡智慧股份有限公司 用于生理信息测量的影像调整方法及影像信号处理系统

Also Published As

Publication number Publication date
EP2945368A1 (en) 2015-11-18
US20150327800A1 (en) 2015-11-19

Similar Documents

Publication Publication Date Title
CN105078407A (zh) 用以取得主体的生命体征的装置与方法
CN107566747B (zh) 一种图像亮度增强方法及装置
US11006046B2 (en) Image processing method and mobile terminal
CN108810649B (zh) 画质调节方法、智能电视机及存储介质
JP5942301B2 (ja) 自動露出制御のコンピュータ実装方法、自動露出制御を用いた画像処理のためのシステム、コンピュータ可読媒体を持つ物品、コンピュータ実装方法を実行させる複数の命令を含むプログラム、およびコンピュータ実装方法を実行する手段を備える装置
EP3709260A1 (en) Image processing apparatus, method for controlling image processing apparatus, and non-transitory computer-readable storage medium
CN101257580B (zh) 图像拾取设备和控制图像拾取的装置和方法
US20180176573A1 (en) Apparatus and methods for the encoding of imaging data using imaging statistics
EP3808068B1 (en) Image capture methods and systems
CN110401798B (zh) 一种mipi摄像头输出分辨率的调节方法及装置
CN112887582A (zh) 一种图像色彩处理方法、装置及相关设备
KR101985880B1 (ko) 디스플레이 장치 및 이의 제어 방법
US20210217150A1 (en) Object aware local tone mapping
WO2022022019A1 (zh) 投屏数据处理方法和装置
CN110881108A (zh) 图像处理方法及图像处理装置
US20170094145A1 (en) Image capturing apparatus and image capturing method
US20110013047A1 (en) Computer readable storage medium, image correction apparatus, and image correction method
CN111901519A (zh) 屏幕补光方法、装置及电子设备
CN107256688B (zh) 一种亮度自适应的led显示屏温度控制系统
CN111193959B (zh) 模拟视频信号处理方法和模拟视频处理装置
CN105323493B (zh) 局部增强装置、多重曝光影像系统以及局部增强方法
CN114513611B (zh) 用于图像的增加的动态范围的方法和电子设备
CN115239578A (zh) 图像处理方法及装置、计算机可读存储介质、终端设备
CN117119316B (zh) 图像处理方法、电子设备及可读存储介质
CN115705663B (zh) 图像处理方法与电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20151125

WD01 Invention patent application deemed withdrawn after publication