CN116952940A - 脉波检测装置、脉波检测方法以及计算机可读取存储介质 - Google Patents
脉波检测装置、脉波检测方法以及计算机可读取存储介质 Download PDFInfo
- Publication number
- CN116952940A CN116952940A CN202310934488.4A CN202310934488A CN116952940A CN 116952940 A CN116952940 A CN 116952940A CN 202310934488 A CN202310934488 A CN 202310934488A CN 116952940 A CN116952940 A CN 116952940A
- Authority
- CN
- China
- Prior art keywords
- concentration
- coefficient
- vector
- pulse wave
- change
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims description 25
- 238000003860 storage Methods 0.000 title claims description 19
- 238000003384 imaging method Methods 0.000 claims abstract description 139
- 230000004044 response Effects 0.000 claims abstract description 101
- 238000004364 calculation method Methods 0.000 claims abstract description 99
- 239000000049 pigment Substances 0.000 claims abstract description 90
- 238000000034 method Methods 0.000 claims abstract description 69
- 230000008859 change Effects 0.000 claims description 74
- 239000000975 dye Substances 0.000 claims description 65
- 239000013598 vector Substances 0.000 abstract description 202
- 238000000605 extraction Methods 0.000 abstract description 96
- 238000002835 absorbance Methods 0.000 abstract description 34
- 230000031700 light absorption Effects 0.000 abstract description 25
- XUMBMVFBXHLACL-UHFFFAOYSA-N Melanin Chemical compound O=C1C(=O)C(C2=CNC3=C(C(C(=O)C4=C32)=O)C)=C2C4=CNC2=C1C XUMBMVFBXHLACL-UHFFFAOYSA-N 0.000 description 200
- 102000001554 Hemoglobins Human genes 0.000 description 68
- 108010054147 Hemoglobins Proteins 0.000 description 68
- 235000019557 luminance Nutrition 0.000 description 55
- 230000006870 function Effects 0.000 description 26
- 238000010586 diagram Methods 0.000 description 20
- 230000000875 corresponding effect Effects 0.000 description 19
- 230000003595 spectral effect Effects 0.000 description 16
- 238000012986 modification Methods 0.000 description 15
- 230000004048 modification Effects 0.000 description 15
- 238000012545 processing Methods 0.000 description 15
- 230000035945 sensitivity Effects 0.000 description 14
- 230000008569 process Effects 0.000 description 13
- 239000003086 colorant Substances 0.000 description 8
- 238000000491 multivariate analysis Methods 0.000 description 7
- 238000000862 absorption spectrum Methods 0.000 description 6
- 239000000126 substance Substances 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 238000000611 regression analysis Methods 0.000 description 5
- 230000002123 temporal effect Effects 0.000 description 5
- 238000010521 absorption reaction Methods 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- UPYKUZBSLRQECL-UKMVMLAPSA-N Lycopene Natural products CC(=C/C=C/C=C(C)/C=C/C=C(C)/C=C/C1C(=C)CCCC1(C)C)C=CC=C(/C)C=CC2C(=C)CCCC2(C)C UPYKUZBSLRQECL-UKMVMLAPSA-N 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 150000001746 carotenes Chemical class 0.000 description 2
- 235000005473 carotenes Nutrition 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000012886 linear function Methods 0.000 description 2
- 230000036555 skin type Effects 0.000 description 2
- 238000002834 transmittance Methods 0.000 description 2
- NCYCYZXNIZJOKI-UHFFFAOYSA-N vitamin A aldehyde Natural products O=CC=C(C)C=CC=C(C)C=CC1=C(C)CCCC1(C)C NCYCYZXNIZJOKI-UHFFFAOYSA-N 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 235000013405 beer Nutrition 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000002008 hemorrhagic effect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
- A61B5/1455—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
- A61B5/14551—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
- A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
- G01J3/50—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/27—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30088—Skin; Dermal
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Quality & Reliability (AREA)
- Immunology (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Mathematical Physics (AREA)
- Optics & Photonics (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
Abstract
基于被摄体的图像数据实现能够缩短算出该被摄体的特定的范围内的色素浓度所需时间的技术。系数确定部确定与规定的拍摄装置相关联的提取系数向量x,该提取系数向量x用于基于拍摄数据计算被摄体的特定范围内的期望的一种色素浓度。系数确定部具备:响应计算部,计算吸光系数向量a以及阴影向量e中的至少一个;以及系数计算部,使用吸光系数向量a以及阴影向量e中的至少一个计算提取系数向量x。
Description
技术领域
本公开涉及确定用于计算色素的成分浓度的函数所包含的系数的脉波检测装置以及脉波检测方法等。本申请是名称为“系数确定装置、色素浓度计算装置以及系数确定方法”、申请号为201980070578.5、申请日为2019年10月4日的专利申请的分案申请。
背景技术
以往,已知基于图像数据通过运算求出被摄体的皮肤的色素浓度的技术。
例如,在专利文献1中,记载了通过进行图像数据中的RGB亮度值的多变量解析,求出黑色素、血红蛋白以及阴影的各成分对亮度值造成的影响的大小,从而推算黑色素浓度或者血红蛋白浓度的方法。此外,还提出了通过进行与皮肤及色素的吸光度光谱相关的多元回归分析来推算色素浓度的方法(例如,参照专利文献2)。
现有技术文献
专利文献
专利文献1:日本国公开特许公报“特开2003-275179号公报”(2003年9月30日)
专利文献2:日本国公开特许公报“特开2015-023953号公报”(2015年2月5日)
发明内容
本发明所要解决的技术问题
但是,在对每个图像数据进行多变量解析或者多元回归分析等运算处理的情况下,存在需要大量的处理时间之类的问题。
本公开的目的之一在于,实现能够缩短基于被摄体的图像数据算出该被摄体的特定的范围内的色素浓度的处理所需时间的技术。
用于解决技术问题的技术方案
本公开的一方式涉及的脉波检测装置包括:系数确定装置,基于拍摄包含一种以上色素的被摄体而得到的拍摄数据来确定用于计算所述被摄体的特定范围内期望的一种色素的浓度的函数所包含的系数;以及脉波检测部,(i)所述拍摄数据是使用规定的拍摄装置得到的数据且具有表示多个波段各自的亮度的多种亮度值,(ii)所述函数包含所述多种亮度值作为变量并且包含分别与多个该变量对应的多个单独的所述系数,(iii)多个所述系数通过与所述规定的拍摄装置相关联而得到,所述系数确定装置包括:响应计算部,其计算出第一响应方式和第二响应方式中的至少一种,所述第一响应方式表示所述期望的一种色素以外的色素的成分浓度的变化与所述拍摄数据中所述多种亮度值各自的变化的关系,所述第二响应方式表示显示阴影强度的变化与所述拍摄数据中的所述多种亮度值各自的变化的关系;以及系数计算部,其使用所述第一响应方式以及第二响应方式中的至少一种算出多个所述系数,所述脉波检测部使用由所述系数确定装置确定的所述系数,针对从所述规定的拍摄装置取得的所述拍摄数据中的所述被摄体的特定的范围,基于所述多种亮度值的每一个的对数与所述系数的积检测所述脉波。
本公开的一方面中涉及的脉波检测方法包括:系数确定方法,基于拍摄包含一种以上色素的被摄体而得到的拍摄数据来确定用于计算所述被摄体的特定范围内期望的一种色素的浓度的函数所包含的系数;以及脉波检测工序,所述系数确定方法包括响应计算工序以及系数计算工序,在所述响应计算工序中,(i)所述拍摄数据是使用规定的拍摄装置得到的数据且具有表示多个波段各自的亮度的多种亮度值,(ii)所述函数包含所述多种亮度值作为变量并且包含分别与多个该变量对应的多个单独的所述系数,(iii)多个所述系数通过与所述规定的拍摄装置相关联而得到,在所述响应计算工序中,计算出第一响应方式和第二响应方式中的至少一种,所述第一响应方式表示所述期望的一种色素以外的色素的成分浓度的变化与所述拍摄数据中所述多种亮度值各自的变化的关系,所述第二响应方式表示显示阴影强度的变化与所述拍摄数据中的所述多种亮度值各自的变化的关系,所述系数计算工序中,使用所述第一响应方式以及第二响应方式中的至少一种算出多个所述系数,所述脉波检测工序使用由所述系数确定方法确定的所述系数,针对从所述规定的拍摄装置取得的所述拍摄数据中的所述被摄体的特定的范围,基于所述多种亮度值的每一个的对数与所述系数的积检测脉波。
有益效果
根据本公开的一方面,能够基于被摄体的图像数据缩短计算该被摄体的特定范围内的色素浓度的处理的所需时间。
附图说明
图1是表示本公开的第一实施方式所涉及的色素浓度计算装置的主要部分构成的框图。
图2是示出用于对本公开的见解的概要进行说明的、以RGB的各亮度值的对数为坐标轴的三维空间中的点以及向量的图。
图3是用于说明光被物质吸收时的关系式的示意图。
图4是示出拍摄装置的分光灵敏度的图。
图5A是表示黑色素浓度与拍摄装置的输出的关系的图,是表示R的输出值的图。
图5B是表示黑色素浓度与拍摄装置的输出的关系的图,是表示G的输出值的图。
图5C是示出黑色素浓度与拍摄装置的输出的关系的图,是示出B的输出值的图。
图6是示出本公开的第一实施方式所涉及的色素浓度计算装置执行的处理的整体流程的一例的流程图。
图7是示出本公开的第二实施方式所涉及的色素浓度计算装置执行的处理的整体流程的一例的流程图。
图8A是示出黑色素浓度与拍摄装置的输出的关系以及曲线的切线的图,是示出R的输出值的图。
图8B是示出黑色素浓度与拍摄装置的输出的关系以及曲线的切线的图,是示出G的输出值的图。
图8C是示出黑色素浓度与拍摄装置的输出的关系以及曲线的切线的图,是示出B的输出值的图。
图9是示出通过对拍摄装置的输出的时间变化应用提取系数向量获取脉波的结果的图。
具体实施方式
为了容易理解本公开中的系数确定装置以及色素浓度计算装置,首先,以下说明本发明的见解的概要。
(本发明的见解)
通常,皮肤的颜色由黑色素(黑色色素)浓度、血红蛋白(血红蛋白色素)浓度以及阴影强度三种主要因素确定。因此,例如,如果能够通过运算处理从图像数据中的皮肤的影像中去除黑色素的影响以及阴影强度的影响,则能够算出血红蛋白浓度。
在此,本说明书中的“阴影强度”是指,在假定没有由被摄体中包含的色素吸收光的情况下,光因扩散及反射而衰减的程度。更详细而言,如下所述。即,被摄体扩散或反射的光受到各种影响。在使用拍摄装置拍摄被摄体的情况下,入射到拍摄装置的光的量依赖于被摄体相对于拍摄装置的位置及角度、被摄体表面的凹凸等。即,作为使入射到拍摄装置的光衰减的要素,可列举出光源、被摄体、拍摄装置、其他物体的位置关系、被摄体等的表面状态等。阴影强度表示基于这些要素的光衰减的大小,该衰减越大,阴影强度越强。
以往,例如在使用色素成分分离的方法的情况下,通过进行图像数据中的RGB亮度值的多变量解析,能够求出黑色素等各成分对亮度值造成的影响的大小,基于此推算色素的浓度。此外,作为其他方法,还提出了通过用黑色素等色素吸收的颜色对所测量的皮肤的颜色进行多元回归分析来求出色素的浓度的方法。
然而,生成图像数据中的各亮度值(例如RGB)的各滤波器的分光灵敏度因每个拍摄装置(相机)而异。因此,例如,基于亮度值求出血红蛋白浓度的计算式f(R、G、B)在每个拍摄装置中可能不同。另外,该计算式f(R、G、B)因应皮肤所含的黑色素浓度也可不同。
因此,在上述的现有技术中,需要对每个图像进行多变量解析、多元回归分析等复杂的计算。在该情况下,存在求出色素浓度的处理所需要的时间变长的问题。此外,例如,用于进行多变量分析的数据(图像)的色素浓度分布的幅度小的情况等,会有色素浓度的计算精度降低的情况。
本发明者们进行了深入研究,想到使用拍摄装置的分光灵敏度和色素的吸收光谱预先导出基于图像数据中的各亮度值计算色素成分量的数学式。更详细而言,如下所述。另外,在本说明书中,将想要求出成分浓度的对象的色素称为测量对象色素(期望的一种色素),将其以外的色素称为对象外色素(特定色素)。
即,在考虑拍摄装置的分光灵敏度的基础上,(i)计算拍摄装置输出的相对于上述对象外色素的成分浓度的变化的响应方式,或者(ii)计算拍摄装置的输出相对于阴影强度的变化的响应方式。然后,基于算出的上述响应方式,预先建立计算上述测量对象色素的成分浓度的关系式(函数)。本公开中的系数确定装置是进行运算处理的装置,该运算处理确定在上述关系式中使用的系数,本公开中的色素浓度计算装置是进行使用上述关系式来计算上述测量对象色素的成分浓度的运算处理的装置。
上述系数确定装置及上述色素浓度计算装置进行的运算处理的具体方式没有特别限定,但作为一例,上述运算处理能够通过以RGB的各亮度值的对数为坐标轴的正交坐标系(三维空间)中的向量运算来实现。为了容易理解本公开的见解,参照图2概略地说明建立计算血红蛋白浓度的关系式的情况下的使用了三维空间中的向量的运算处理。图2是示出用于对本公开的见解的概要进行说明的、以RGB的各亮度值的对数为坐标轴的三维空间中的点以及向量的图。
如图2所示,将考虑拍摄装置的分光灵敏度而求出的、表示拍摄装置的输出相对于黑色素的成分浓度的变化的响应方式的向量设为吸光系数向量a=(aR,aG,aB),将表示拍摄装置的输出相对于阴影强度的变化的响应方式的向量设为阴影向量e=(eR,eG,eB)。并且,将用于消除黑色素以及阴影强度的影响的上述三维空间中的向量设为提取系数向量x=(xR,xG,xB)。上述系数确定装置算出该提取系数向量x。
此外,点P0是以没有由黑色素、血红蛋白以及阴影引起的光吸收的情况下的拍摄装置的输出V0=(V0R,V0G,V0B)的对数的倒数作为分量的点。点P1是以拍摄被摄体时的拍摄装置的输出(拍摄数据)V=(VR,VG,VB)的对数的倒数作为分量的点。关于这些向量以及点的详细情况在后面叙述。
如图2所示,点P1的位置向量pvP1=(-log(VR),-log(VG),-log(VB))为(i)吸光系数向量a、(ii)阴影向量e以及(iii)表示拍摄装置的输出相对于未图示的血红蛋白的成分浓度的变化的响应方式的向量的线性和。另外,以下将血红蛋白的成分浓度称为血红蛋白浓度,将黑色素的成分浓度称为黑色素浓度。
在此,提取系数向量x是与吸光系数向量a以及阴影向量e均正交的向量。换言之,如果考虑与吸光系数向量a及阴影向量e两者平行的虚拟平面,则提取系数向量x是表示相对于该虚拟平面垂直的垂线方向的向量。这样的提取系数向量x并不是唯一确定的,例如可以设置如|x|=1、xR>0这样的条件来确定。
在此,为了简化说明,如上所述设提取系数向量x为单位向量。在该情况下,点P1的位置向量pvP1和提取系数向量x的内积成为表示位置向量pvP1处的提取系数向量x方向分量的大小的值α。该值α等于(i)与黑色素浓度的影响对应的向量(吸光系数向量a与黑色素浓度ρm的积)、与血红蛋白浓度的影响对应的向量、以及与阴影强度的影响对应的向量(阴影向量e与阴影强度Is的积)各自与(ii)上述提取系数向量x的内积的和。在此,吸光系数向量a与提取系数向量x的内积以及阴影向量e与提取系数向量x的内积由于其分别为正交关系,因此它们的值为0。
因此,通过预先求出提取系数向量x,并求出点P1的位置向量pvP1与提取系数向量x的内积,能够算出相当于血红蛋白浓度的值。进而,通过预先求出表示拍摄装置的输出对血红蛋白浓度的变化的响应方式的向量,也能够算出血红蛋白浓度的绝对量。
这样,根据本公开的色素浓度计算装置,无需对每个图像数据进行多变量解析等复杂的计算,通过比多元回归更单纯的线性和的计算,能够得到色素浓度的计算结果。其结果,能够缩短基于图像数据计算被摄体的特定范围内的色素浓度的处理的所需时间。此外,在本公开的色素浓度计算装置中,通过考虑相机的分光灵敏度进行运算处理,能够更准确地推算血红蛋白的浓度。
〔第一实施方式〕
以下,基于图1至图6详细说明本公开的第一实施方式。图1是表示本第一实施方式中的色素浓度计算装置100的主要部分构成的框图。色素浓度计算装置100是包括系数确定部(系数确定装置)10的装置,系数确定部10确定用于计算色素的成分浓度的函数所包含的系数。
如图1所示,色素浓度计算装置100具备拍摄装置2、输入部3、系数确定部10、存储部20、浓度计算部30以及显示部40。系数确定部10包括范围设定部11、响应计算部12以及系数计算部13。拍摄装置2拍摄包含一种以上色素的被摄体1。
色素浓度计算装置100基于拍摄装置2的输出和提取系数数据(提取系数向量x),计算期望的色素的成分浓度。所期望的色素是被摄体1所包含的一种以上的色素中的一种,例如是血红蛋白。
(被摄体1)
被摄体1例如是人体,更详细地是人体的皮肤。在以下所述的拍摄图像中人体的皮肤例如通过血红蛋白和黑色素的浓度以及阴影来确定色调。此外,被摄体1只要包含一种以上的色素即可,没有特别限定。本实施方式的系数确定部10与被摄体1对应地计算后述的提取系数向量x。
以下,对被摄体1是人体的皮肤,一种以上的色素是血红蛋白以及黑色素,作为想要其计算浓度的一种期望的色素是血红蛋白的例子进行说明。
(拍摄装置2)
拍摄装置2拍摄被拍摄体1,并将其结果生成的拍摄图像(拍摄数据)发送至存储部20。拍摄装置2例如具备包含多个受光元件的图像传感器,多个受光元件上分别设置有各种滤波器。由此,拍摄装置2输出多个波长带中的亮度值。例如,拍摄装置2也可以是一般的RGB相机或多光谱相机,拍摄人体的皮肤,输出与视场角内的各像素对应的受光元件检测到的R、G、B的3个波长带(多个波长带)各自的亮度值。此外,拍摄装置2也可以是拍摄动态图像的拍摄装置。
(输入部3)
输入部3例如可以是鼠标和键盘,也可以是触摸面板。使用输入部3,用户能够对色素浓度计算装置100进行各种信息的输入。此外,色素浓度计算装置100也可以是具备作为输入部3的通信部的构成。在这种情况下,通过有线或无线通信输入各种信息。
(存储部20)
存储部20例如是非易失性存储器。存储部20中存储有拍摄数据21、条件数据22、提取系数数据23。
拍摄数据21是使用拍摄装置2得到的图像数据(即拍摄装置2的输出)。在本实施方式中,拍摄数据21具有表示R、G、B这三个波段(多个波段)各自的亮度的RGB的亮度值(多种亮度值)。然后,在本实施方式中,拍摄数据21中的各像素值由被摄体1与该像素对应的位置处的血红蛋白以及黑色素的浓度和阴影强度确定。换言之,在上述的三维空间(参照图2)中,表示上述像素值的位置向量是由表示血红蛋白浓度的影响的向量、表示黑色素浓度的影响的向量以及表示阴影强度的影响的向量之和而得到的。
条件数据22是与用于色素浓度计算装置100的运算处理的各种条件相关的数据。该条件数据22中所包含的信息在后述的各部的说明中适当进行说明。
提取系数数据23是系数计算部13算出的提取系数(提取系数向量x)的数据,被用于色素浓度计算装置100中的由浓度计算部30进行的运算处理。该提取系数至少与拍摄装置2相关联。即,若将拍摄装置2例如更换为另外的个体,则要求上述提取系数配合该个体来进行修正。此外,上述提取系数优选与被摄体1的种类也建立关联。其理由如下。
即,如果被摄体1的种类不同,则提取系数有时会变化。例如,在对由与人类皮肤不同的色素构成的被摄体使用用于计算人类皮肤的血红蛋白浓度的提取系数来求出血红蛋白浓度的绝对量的情况下,所求出的值与真实的值之间的误差可能变大。
但是,例如,在计算同一被摄体中血红蛋白浓度的相对值时,能够有意地求出血红蛋白浓度的高低的信息。因此,能够测量例如脉波(参照后述的第三实施方式)。
另外,能够与提取系数建立关联的被摄体1的种类,只要预先适当设定即可,并无特别限定。被摄体1的种类例如可以设定为皮肤的颜色的差异(例如,色白的皮肤、标准的皮肤、色黑的皮肤这3种)。
(范围设定部11)
系数确定部10中的范围设定部11根据拍摄数据21来设定被摄体1中的特定的范围。作为该特定的范围,例如可以是一个像素,或者也可以是特定的区域(关注区域)。关注区域例如也可以是整个脸部或手掌等。在设定关注区域的情况下,例如,能够使用设定的关注区域的代表值(例如,对关注区域内的像素值取平均后的值)。
以下,对将某一个像素设为特定的范围的情况进行说明。另外,范围设定部11可以根据条件数据22设定这样的特定范围。
(响应计算部12)
使用对响应计算部12所执行的处理的情况进行说明。图3是用于说明光被物质吸收的情况下的关系式的示意图。
图4是示出拍摄装置2的分光灵敏度的图。
如图3所示,某个物质的吸光系数为ε、浓度为ρ、光通过物质的距离为l时,入射到物质的光的强度Iin与通过物质后出来的光的强度Iout的关系如下。即,根据朗伯·比尔定律,表示为-log(Iout/Iin)=ερl,对各波长的光应用该关系式,则Iout(λ)=Iin(λ)10^(-ε(λ)ρl)。
此外,如图4所示,RGB的3个波段中的拍摄装置2的检测元件的灵敏度根据波长而变化。拍摄装置2的R、G、B的分光灵敏度分别设为CR(λ),CG(λ),CB(λ)。以下,对计算上述三维空间(参照图2)中表示黑色素浓度的变化与拍摄数据21的亮度值的变化之间的关系的吸光系数向量a(第一响应方式)的情况进行说明。
通过拍摄装置2(相机)拍摄仅受到黑色素的吸收的影响而从被摄体1出射的光Iout(λ)时的,关于某像素的相机输出V={VR、VG、VB}假想地如以下那样求出。即,VR是将通过对从被摄体1射出的光Iout(λ)的各波长分别乘以CR(λ)得到的光谱在整个波长上积分而得到的值。此外,VG除了乘以CG(λ)之外,与上述VR同样地求出,VB除了乘以CB(λ)以外,与上述VR同样地求出。另外,在实际的计算中,波长成为离散值,积分以对各波长求和的形式求得。此外,假设上述分光灵敏度CR(λ)、CG(λ)、CB(λ)分别考虑了滤波器的透射率和相机的透镜的透射率等。
在此,入射光Iin(λ)不依赖于波长,是一定强度的光(白色光)。在该情况下,Iin(λ)=1。此外,光通过的距离l既可以为1(单位长度),也可以使用根据波长而不同的值。
黑色素浓度ρm和相机输出V={VR,VG,VB}的关系如下式(1)表示。另外,在下式中,以将R、G、B各自的式子汇总为1个式子的形式表示。
[数学式1]
在此,ρ为黑色素浓度ρm,ε(λ)为黑色素的吸收光谱。
响应计算部12基于上述的式(1),求出相对于黑色素浓度ρm的变化的相机输出V={VR,VG,VB}的响应方式。另外,黑色素的吸收光谱ε(λ)可以预先实验性地求得,或者使用已知的光谱。图5是表示黑色素浓度ρm与相机输出V的关系的图,图5A是示出R的输出值的图,图5B是示出G的输出值的图,图5C是示出B的输出值的图。在该图中,横轴为黑色素浓度ρm,纵轴为相机输出V的对数的倒数-log(V)。
如图5A~C所示,黑色素浓度ρm和相机输出V的关系能够通过下述式(2)近似。
[数学式2]
更详细而言,例如可以使黑色素浓度ρm与R的输出值的关系如图5A所示通过原点,也可以为如-log(R)=aRρm+bR那样具有截距的形状。如果进行标准化使得在ρm=0时R的输出值成为R=1(最大),则截距bR=0,成为上述的式(2)。
响应计算部12将如上所述求出的向量a=(aR,aG,aB)作为黑色素的吸光系数向量a。另外,响应计算部12也可以将如(aR,aG,aB)/√(aR2+aG2+aB2)那样进行了标准化的向量作为吸光系数向量a。
在此,例如,关于如上述那样假想地求出黑色素浓度ρm与R的输出值的关系,黑色素以外的要素的影响被上述的式中的bR的部分吸收。因此,在受到血红蛋白等色素的吸收的影响的情况下(实际的相机输出),吸光系数向量a=(aR,aG,aB)不会大幅变化。
另外,黑色素浓度ρm和RGB各自的输出值的关系并不限定于如上所述通过计算来求出,也可以通过实验来求出。
此外,响应计算部12确定表示上述三维空间(参照图2)中的被摄体1的阴影强度Is的变化与拍摄数据21的亮度值的变化的关系的阴影向量e(第二响应方式)。响应计算部12例如确定阴影向量e=(1,1,1)。该阴影向量e可以通过实验确定,也可以通过模拟算出。阴影向量e也可以作为条件数据22存储在存储部20中。
更具体而言,如上所述,与使用上式(1)求得黑色素的吸光系数向量a同样地,通过求对应于阴影强度Is的变化的相机输出V={VR,VG,VB}的响应方式,可以求得阴影向量e。例如,阴影强度Is和相机输出V={VR,VG,VB}的关系如下式(3)所示。另外,在下式中,以将R、G、B各自的式子汇总为1个式的形式表示。
[数学式3]
并且,与已说明的上述的黑色素浓度ρm和相机输出V的关系同样地,能够通过以下的式(4)来近似阴影强度Is和相机输出V的关系。
[数学式4]
可以将上述式(4)求出的向量e=(eR,eG,eB)设为阴影向量e。
(系数算出部13)
关于系数算出部13所执行的处理,参照图2进行说明。如图2所示,以RGB的各亮度值的对数为坐标轴的正交坐标系(三维空间)中点P1(与输出V对应)的位置向量如下所示。即,点P1的位置向量成为以下之和:吸光系数向量a乘以黑色素浓度ρm所得的向量、阴影向量e乘以阴影强度Is所得的向量、以及表示未图示的拍摄装置的输出相对于血红蛋白的成分浓度的变化的响应方式的向量乘以血红蛋白的浓度ρh所得的向量。也就是说,可以如下式(5)那样表示。
[数学式5]
在此,V0是表示没有由黑色素、血红蛋白、阴影的吸收的情况下的相机输出的向量,a是表示由响应计算部12算出的黑色素的吸光系数向量,e是由响应计算部12确定的阴影向量,b是表示拍摄装置的输出相对于血红蛋白浓度ρh的变化的响应方式的向量。
系数计算部13算出与黑色素的吸光系数向量a和阴影向量e两者正交的向量,将算出的向量作为用于提取血红蛋白浓度的提取系数向量x。此时,向量x=(xR,xG,xB)不唯一地确定,但满足与吸光系数向量a和阴影向量e双方正交的条件的任意向量成为提取系数向量x。实际上,可以设置例如|x|=1且xR>0的条件进行计算。
这样,系数计算部13计算拍摄装置2固有的提取系数作为提取系数向量x。将计算出的提取系数向量x例如作为提取系数数据23保存于存储部20。
(浓度计算部30)
浓度计算部30针对使用拍摄装置2取得的图像数据,从提取系数数据23取得与该拍摄装置2相关联的提取系数。然后,能够使用取得的提取系数推算血红蛋白浓度。
具体而言,相机输出的对数的倒数-log(V)与提取系数向量x=(xR,xG,xB)的内积用下式(6)表示。
[数学式6]
在此,黑色素的吸光系数向量a及阴影向量e分别与提取系数向量x的内积为0。
在上述式中,由于吸光系数向量-log(V0)·x以及b·x为常数,因此-log(V)·x成为与血红蛋白浓度ρh相当的值。因此,通过计算-log(V)·x=xRlog(VR)+xGlog(VG)+xBlog(VB),能够得到与血红蛋白浓度ρh成比例的值,基于该值,能够推算血红蛋白浓度ρh。
另外,若使上述式子变形,则得到下式(7)。
[数学式7]
浓度计算部30也可以使用上述式子来计算血红蛋白浓度ρh的绝对量。这种情况下,需要预先求出血红蛋白的吸光系数向量b。血红蛋白的吸光系数向量b能够与求出前述的黑色素的吸光系数向量a的方法同样地求出。例如,浓度计算部30或者响应计算部12成为算出血红蛋白的吸光系数向量b的方式即可。
(显示部40)
显示部40是能够显示图像的装置,显示由浓度计算部30计算出的相当于血红蛋白浓度ρh的值或者血红蛋白浓度ρh的绝对量。
(处理的流程)
接着,以下使用图6说明使用色素浓度计算装置100计算血红蛋白浓度ρh的处理(信息处理方法)的流程的一例。图6是示出色素浓度计算装置100执行的处理的整体流程的一例的流程图。使用RGB相机作为拍摄装置2,且被摄体1是人体的皮肤。
如图6所示,首先,响应计算部12针对由拍摄数据21中的范围设定部11设定的特定范围,求出黑色素浓度ρm与相机输出V的关系(参照图)(S11)。接着,响应计算部12根据由上述S11求出的关系,假设为-log(V)=ρma(另外,V、a为向量),算出吸光系数向量a(S13:响应计算工序)。此外,响应计算部12还确定阴影向量e。
接着,系数计算部13算出与由上述S13求出的吸光系数向量a和阴影向量e正交的提取系数向量x(S15:系数计算工序)。算出的提取系数向量x在与拍摄装置2的个体相关联的基础上,作为提取系数数据23存储在存储部20中。
然后,浓度计算部30获取作为计算血红蛋白浓度ρh的对象的拍摄数据21(相机输出V)(S17)。针对所取得的拍摄数据21,从提取系数数据23取得与对该拍摄数据21进行拍摄而得到的拍摄装置2相关联的提取系数向量x。然后,浓度计算部30通过计算-log(V)·x,推算血红蛋白浓度ρh(S19)。
(有利的效果)
根据本实施方式中的色素浓度计算装置100,系数确定部10基于黑色素的吸收光谱及相机的分光灵敏度计算相对于黑色素浓度的相机输出响应方式(黑色素的吸光系数向量a)。此外,系数确定部10基于相机的分光灵敏度,也确定相机输出相对于阴影强度的响应方式(阴影向量e)。
然后,系数确定部10预先算出用于提取期望的一种色素(例如血红蛋白)的成分浓度的提取系数作为提取系数向量x。该提取系数向量x能够通过求出与黑色素的吸光系数向量a和阴影向量e两者正交的向量来计算。系数确定部10能够得到相机固有的提取系数向量x。
浓度计算部30通过对拍摄数据21的例如各像素中的相机输出V计算-log(V)·x,能够评价各像素中的血红蛋白浓度ρh。此外,浓度计算部30设定拍摄数据21中的关注区域,将对关注区域内的相机输出值进行累计或平均得到的值设为相机输出V时,能够评价关注区域中的血红蛋白浓度ρh。
这样,根据色素浓度计算装置100,不必对每个图像进行多元回归分析或多变量分析等复杂的计算,预先计算拍摄装置2所固有的提取系数向量x即可。此外,通过进行求出线性和这样的比较简单的计算,能够评价血红蛋白浓度ρh。因此,能够基于被摄体1的拍摄数据21缩短计算除被摄体1的特定范围内的色素浓度的处理的所需时间。
此外,使用不同的计算式对不同的图像或检测对象的范围进行运算,因此不会发生计算血红蛋白浓度ρh的精度因拍摄数据21的质量而变化的情况。然后,系数确定部10利用相机的分光灵敏度。其结果,能够更加准确地精度良好地计算血红蛋白浓度ρh。
(附记事项)
在本实施方式中,说明了将不依赖于波长的一定强度的光(白色光)作为入射光Iin(λ)进行上述处理的色素浓度计算装置100。另外,实际上,拍摄被摄体1时的环境光或照明光具有强度根据波长变化的光谱形状。在此,在入射光Iin(λ)不含有具有极端的波长依赖性的光谱形状的情况下,由于入射光Iin(λ)的光谱形状的影响,上述的式(1)中的右边整体成为常数倍的形状。因此,当转换为-log(R)=aRρm+bR时,拍摄环境的变化被bR吸收。因此,吸光系数向量a的值不会大幅变化。作为结果,使用假设白色光作为入射光Iin(λ)求出的吸光系数向量a,如上所述地算出的提取系数向量x相对于拍摄环境的变化具有一定程度的稳健性。色素浓度计算装置100能够使用这样求出的提取系数向量x,虽然将拍摄环境的变化视为稍许的误差,但是能够简易地推算色素的成分浓度。
(变形例)
以下对本实施方式的色素浓度计算装置100的变形例进行说明。
(a)在本公开的一变形例的色素浓度计算装置中,也可以使用例如RGB相机作为拍摄装置2,拍摄例如包含三种色素的被摄体1,推算三种色素内的一种期望的色素的浓度。在这种情况下,系数确定部10也可以基于对期望的色素以外的两种色素的浓度变化的相机输出的响应方式,算出提取系数。
例如,作为三种色素,可列举出黑色素、血红蛋白及胡萝卜素。基于相对于黑色素和胡萝卜素的相机输出的响应方式,能够算出血红蛋白的提取系数。
此外,被摄体当然不限定于人体的皮肤,对于包含多种色素的其他被摄体,也能够使用本公开的一方面中的色素浓度计算装置,算出期望的一种色素浓度。
(b)此外,在本公开的另一变形例中的色素浓度计算装置中,在使用输出两个波段中的亮度值的拍摄装置的情况下,能够基于拍摄装置输出相对一种色素浓度变化的响应方式求出提取系数。此外,也能够以拍摄装置的输出相对阴影强度的变化的响应方式为基础求出提取系数。
(c)在本公开的一变形例的色素浓度计算装置中,拍摄装置2也可以像例如分光器或者高光谱相机那样输出多个波段中的亮度值。在该情况下,从拍摄装置2输出的信息也可以不包含与空间上的亮度值的分布相关的信息。色素浓度计算装置能够基于从拍摄装置2输出的多个波段中的亮度值,计算出例如R、G、B这3个波段各自的亮度值,能够使用算出的亮度值进行各种处理。
(d)在上述第一实施方式中的色素浓度计算装置100中,将入射光Iin(λ)设为不依赖于波长的固定强度的光(白色光)。与此相对,在本公开的一变形例中的色素浓度计算装置中,作为入射光Iin(λ),也可以使用拍摄被摄体1时的实际的环境光或照明光的光谱信息。
根据拍摄的环境光的条件(入射光谱Iin(λ)),吸光系数向量a可能发生一些变化。本公开的一变形例中的色素浓度计算装置不仅对拍摄装置2固有地求出提取系数向量x,还对拍摄环境的条件固有地求出提取系数向量x。由此,能够更准确地进行色素浓度的推定。
(e)系数计算部13可以预先计算提取系数向量x,以使提取系数向量x因应想要测量的拍摄数据21中的血红蛋白浓度的特定范围的黑色素浓度而不同。即,将提取系数向量x设定为拍摄装置2所固有的值,并例如按黑色素浓度的每个规定的范围进行设定。浓度计算部30例如根据人体的皮肤的颜色,通过使用适合于该皮肤的颜色的提取系数向量x,能够更准确地进行色素浓度的推算。
(f)系数计算部13基于针对色素成分的浓度变化的拍摄装置的输出的响应方式、针对阴影强度的变化的拍摄装置的输出的响应方式或针对色素成分的浓度变化的拍摄装置的输出的响应方式和针对阴影强度的变化的拍摄装置的输出的响应方式这两者,确定提取系数向量x。各响应方式可以通过实验确定,也可以通过理论计算求出。
(g)从拍摄装置输出的亮度值也可以比三种(例如R、G、B)多。本公开的一方面中的色素浓度计算装置使用对包含多种(例如4种以上)色素的被摄体进行拍摄而得到的拍摄数据,能够算出一种期望的色素成分浓度。例如,在使用能够输出10个波段中的亮度值的拍摄装置来拍摄包含9种色素的被摄体的情况下,使用针对期望的一种色素(测量对象色素)以外的8个色素(对象外色素)各自的浓度变化的拍摄装置的输出的响应方式(例如10维向量空间中的吸光系数向量)以及针对阴影强度的变化的拍摄装置的输出的响应方式(例如10维向量空间中的阴影向量),计算出与上述拍摄装置(及上述被摄体)对应的提取系数。在该情况下,例如,在10维向量空间中,相对于表示上述响应方式的9个向量正交的向量成为提取系数向量。
此外,例如在使用能够输出10个波段中的亮度值的拍摄装置来拍摄包含10种色素的被摄体的情况下,使用针对期望的1种色素(测量对象色素)以外的9种色素(对象外色素)各自的浓度变化的拍摄装置的输出的响应方式(例如10维向量空间中的吸光系数向量),计算出与拍摄装置对应的提取系数。
另外,不需要使用全部拍摄装置能够输出的波段的信息。例如,在被拍摄体为人体的皮肤的情况下,也可以使用拍摄装置能够输出的10个波段中的3个波段的输出,根据拍摄装置的输出相对于黑色素浓度变化的响应方式和拍摄装置的输出相对于阴影强度的变化的响应方式,计算算出血红蛋白浓度的提取系数。
总之,本公开的一方面中的色素浓度计算装置基于拍摄装置针对多种色素各自的浓度变化的响应方式以及拍摄装置针对阴影浓度的变化的响应方式,能够求出提取系数。另外,色素浓度计算装置也可以不使用拍摄装置针对阴影浓度的变化的响应方式。在该情况下,只要基于拍摄装置针对一个以上的对象外色素各自的浓度变化的响应方式以求出提取系数即可。
但是,要求在求出提取系数时使用的、(i)拍摄装置针对多种对象外色素各自的浓度变化的响应方式(例如吸光系数向量)的数量、以及(ii)拍摄装置针对阴影强度的变化的的响应方式(例如阴影向量)的数量之和比拍摄装置2的输出的个数(例如可输出的亮度值的种类数)少。
(小结)
如以上那样,本公开的一方面中的系数确定装置(系数确定部10)是基于拍摄包含一种以上色素的被摄体1而得到的拍摄数据来确定用于计算被摄体1的特定范围内期望的一种色素(血红蛋白)的浓度的函数所包含的系数的装置,(i)所述拍摄数据是使用规定的拍摄装置2得到的数据且具有表示多个波段各自的亮度的多种亮度值(R、G、B),(ii)所述函数包含所述多种亮度值作为变量并且包含分别与多个该变量对应的多个单独的所述系数,(iii)多个所述系数通过与所述规定的拍摄装置2相关联而得到,所述系数确定装置包括:响应计算部12,其计算出第一响应方式(黑色素的吸光系数向量a)和第二响应方式(阴影向量e)中的至少一种,所述第一响应方式表示所述期望的一种色素以外的色素(黑色素)的成分浓度的变化与所述拍摄数据中所述多种亮度值各自的变化的关系,所述第二响应方式表示显示阴影强度的变化与所述拍摄数据中的所述多种亮度值各自的变化的关系;系数计算部13,其使用所述第一响应方式以及第二响应方式中的至少一种算出多个所述系数。
而且,所述第二响应方式表示为阴影向量,所述阴影向量在分量中具有参数,所述参数表示因阴影强度的变化所述多种亮度值中的每一个的对数的反数的变化程度。
此外,关于上述期望的一种色素以外的某个色素,在将由该色素的成分浓度的变化引起的上述多种亮度值的每一个的对数的倒数的变化程度近似地表示为一次函数的情况下,上述第一响应方式表示为在分量中具有该一次函数中的比例系数的吸光系数向量。
系数计算部13计算与关于所述期望的一种色素以外的色素的所述吸光系数向量以及与所述阴影向量的至少一个正交的提取系数向量x的各分量作为多个所述系数。
色素浓度计算装置100包括:上述系数确定装置(系数确定部10);以及浓度计算部30,其使用由该系数确定装置确定的上述系数,针对从上述规定的拍摄装置2取得的上述拍摄数据中的被摄体1的特定的范围,基于上述多种亮度值的每一个的对数的倒数与上述系数的积,计算出上述期望的一种色素的浓度。
此外,本公开的一方面中的系数确定方法是确定系数的系数确定方法,其基于拍摄包含一种以上色素的被摄体而得到的拍摄数据来确定用于计算该被摄体的特定范围内期望的一种色素的浓度的函数所包含的所述系数,(i)所述拍摄数据是使用规定的拍摄装置得到的数据且具有表示多个波段各自的亮度的多种亮度值,(ii)所述函数包含所述多种亮度值作为变量并且包含分别与多个该变量对应的多个单独的所述系数,(iii)多个所述系数通过与所述规定的拍摄装置相关联而得到,所述系数确定方法包括:响应计算工序,其计算出第一响应方式和第二响应方式中的至少一种,所述第一响应方式表示所述期望的一种色素以外的色素的成分浓度的变化与所述拍摄数据中所述多种亮度值各自的变化的关系,所述第二响应方式表示显示阴影强度的变化与所述拍摄数据中的所述多种亮度值各自的变化的关系;系数计算工序,其使用所述第一响应方式以及第二响应方式中的至少一种算出多个所述系数。
[第二实施方式]
以下说明关于本公开的其它实施方式。另外,为了便于说明,对与在上述实施方式中说明的构件具有相同功能的构件,标注相同的附图标记,并不再重复说明。
在所述第一实施方式中,响应计算部12通过将黑色素的吸光系数向量a关于图所示的图进行线性回归来求出。对此,在本实施方式中的色素浓度计算装置中,不同之处在于,响应计算部12通过由图5A~C所示的曲线图的切线求出斜率来确定吸光系数向量a。
图7是表示本实施方式中的色素浓度计算装置执行的处理的整体的流程的一例的流程图。如图7所示,首先,响应计算部12针对由拍摄数据21中的范围设定部11设定的特定范围,根据黑色素的光吸收光谱ε(λ)和相机的分光灵敏度CR(λ)、CG(λ)、CB(λ),求出黑色素的浓度ρm与相机输出V={VR,VG,VB}的关系(参照图)(S21)。
接着,响应计算部12推算评价血红蛋白浓度Ph的皮肤的黑色素浓度ρm,并作为推算黑色素浓度ρm0。然后,根据由上述S21求出的关系,将相机输出的对数的倒数-log(V)在ρm=ρm0处的微分作为吸光系数向量a(S23)。此外,响应计算部12还确定阴影向量e。
对于本实施方式中的吸光系数向量a的一例,利用图进行说明。图8为示出黑色素浓度ρm与拍摄装置的输出的关系以及曲线图的切线的图,图8A为表示R的输出值的图,图8B为表示G的输出值的图,图8C为表示B的输出值的图。虚线表示ρm=ρm0处的切线。曲线图下部的颜色条示出由与黑色素浓度ρm对应的拍摄装置2拍摄的颜色。
如图所示,图表的斜率因应黑色素的浓度ρm稍微变化。因此,例如,由于黑色素量的差异导致的皮肤颜色的差异,黑色素的吸光系数向量a稍有不同。另一方面,由黑色素浓度ρm的细微差异引起的吸光系数向量a的变化不太大。因此,即使将大概推算出的推算黑色素浓度ρm0作为黑色素浓度ρm,也不会产生特别的问题。
为了更高精度地确定推算黑色素浓度ρm0,可以通过目视比较色样和皮肤的颜色,确定推算黑色素浓度ρm0。此外,也可以将拍摄数据21中的RGB的各亮度值与颜色样本的RGB的值进行比较来推算出推算黑色素浓度ρm0。
当将想要评价血红蛋白浓度Ph的皮肤中所含的黑色素的浓度设为ρm0时,各图示的ρm=ρm0时的斜率为{aR,aG,aB}。用数学式来表示如下式(8)。
[数学式8]
在此,在ρm0已知的情况下使用其值即可,但一般是未知的。因此,例如基于图8A~C所示的色条那样的颜色样本,根据皮肤的颜色确定推算黑色素浓度ρm0即可。
接着,系数计算部13算出与由上述S23求出的吸光系数向量a和阴影向量e正交的提取系数向量x(S25)。计算出的提取系数向量x与拍摄装置2及推算黑色素浓度ρm0建立关联,然后作为提取系数数据23存储在存储部20中。
然后,浓度计算部30获取作为计算血红蛋白浓度ρh的对象的拍摄数据21(相机输出V)(S27)。在此,所取得的拍摄数据21中的对象部位的黑色素浓度为推算黑色素浓度ρm0。在这种情况下,浓度计算部30从提取系数数据23获取与拍摄到该拍摄数据21的拍摄装置2以及推算黑色素浓度ρm0相关联的提取系数向量x。然后,浓度计算部30通过计算-log(V)·x,推算血红蛋白浓度ρh(S29)。
如上所述,根据本实施方式的色素浓度计算装置,例如,在被摄体1为人体的皮肤的情况下,能够根据有无晒黑或者人种导致的皮肤的颜色的差异等更适当地改变吸光系数向量a。因此,能够更高精度地算出提取系数向量x。其结果,能够更高精度地算出期望的色素的浓度。
(变形例)
以下对本实施方式的色素浓度计算装置的变形例进行说明。
(a)一变形例中,在所示的图表中,将黑色素浓度的范围划分为多个区域,基于各范围(浓度范围)的代表值(斜率)预先算出各范围的吸光系数向量a和提取系数向量x。以下,对将黑色素浓度的范围划分为三个的具体例进行说明,但划分的范围的数量没有特别限定。
例如,将黑色素浓度的范围划分为色白的皮肤、标准的皮肤、色黑的皮肤的三种。各划分的黑色素浓度ρm的范围例如可以参考色条那样的颜色样本来确定。系数确定部10使用上述式(8)计算出各范围的代表性浓度的值(例如中值)的吸光系数向量a。然后,从算出的各吸光系数向量a求出各范围中的提取系数向量x,保存于存储部20。浓度计算部30从三个范围中选择适当的范围(相当于推算黑色素浓度ρm0的范围),从存储部20调用与该划分相关联的提取系数向量x来使用。
另外,在求出提取系数向量x时,也可以不使用阴影向量。对此,能够参照所述第一实施方式中的变形例(g)的说明来理解,因而不重复说明。
关于以上说明的情况,能够如下那样进行整理。即,本公开的一方面中的系数确定装置(系数确定部10)针对期望的一种色素(例如血红蛋白)以外的某种特定色素(对象外色素,例如黑色素)的成分浓度,划分浓度范围并预先设定多个单独浓度范围,在将因上述特定色素的成分浓度的变化而引起的上述多种亮度值的每一个中的对数的倒数的变化的程度近似地表示为一次函数的情况下,所述第一响应方式被表示为分量具有所述一次函数中的比例系数的吸光系数向量;所述吸光系数向量对应于所述多个单独浓度范围的每一个而求出,系数计算部13(i)将与所述吸光系数向量和所述阴影向量正交的提取系数向量的各分量算出作为多个所述系数,所述吸光系数向量和所述阴影向量与所述被摄体的特定范围中的所述特定色素的成分浓度相当的所述单独浓度范围建立对应关系,或者,(ii)对于两种以上的所述特定色素中的每一种,求出与所述被摄体的特定范围中的所述特定色素的成分浓度相当的所述单独浓度范围建立了对应关系的所述吸光系数向量,将与所求出的两种以上的所述吸光系数向量分别正交的提取系数向量的各分量算出作为多个所述系数。
这样,根据一变形例中的色素浓度计算装置,能够基于推算黑色素浓度ρm0,根据被摄体1的皮肤种类能够更精确地算出提取系数向量x,能够以高精度算出期望的色素的浓度。
(b)此外,在另一变形例中,通过用高阶函数等某种函数表示推算黑色素浓度ρm0与提取系数向量x的关系,预先生成从推算黑色素浓度ρm0算出提取系数向量x的公式。
例如,如果将图5A~C所示的坐标图以黑色素浓度ρm进行微分,则可得到黑色素浓度ρm与吸光系数向量a的各分量(aR、aG、aB)的关系。然后,使用高阶函数对由该微分得到的关系(曲线图)进行拟合。由此,能够求出由黑色素浓度ρm求出吸光系数向量a的函数。
接着,系数确定部10求出用黑色素浓度ρm的函数表示的吸光系数向量a与阴影向量e的向量积。由此,预先确定提取系数向量x作为黑色素浓度ρm的函数。系数确定部10将表示该提取系数向量x的关系式(导出函数)保存到存储部20中。浓度计算部30通过将推算黑色素浓度ρm0代入上述关系式,计算血红蛋白浓度。
关于以上说明的情况,能够如下那样进行整理。即,在本公开的一方面中的系数确定装置(系数确定部10)中,对于上述多种亮度值的每一个,求出上述期望的一种色素(例如血红蛋白)以外的某特定色素(对象外色素,例如黑色素)的成分浓度的变化与上述亮度值的对数的倒数中的变化的程度的关系,上述第一响应方式表示为吸光系数向量,该吸光系数向量在分量上具有近似函数,该近似函数近似地表示将该关系对上述特定色素的成分浓度进行微分而得到的结果,系数计算部13(i)求出提取系数向量作为上述阴影向量和上述吸光系数向量的乘积,该提取系数向量的各分量成为包含上述特定色素的成分浓度的变量的导出函数,(ii)将上述被摄体的特定范围内的所述特定色素的成分浓度的测量值或推算值代入上述导出系数算出的所述提取系数向量的各分量算出作为多个所述系数。
这样,根据一变形例中的色素浓度计算装置,能够基于推算黑色素浓度ρm0,根据被摄体1的皮肤种类能够更精确地算出提取系数向量x,能够以高精度算出期望的色素的浓度。
[第三实施方式]
以下说明本公开的其他实施方式。另外,为了便于说明,对与在上述实施方式中说明的构件具有相同功能的构件,标注相同的附图标记,并不再重复说明。
在本实施方式中的色素浓度计算装置中,来自拍摄装置2的输入是动画,能够使用色素浓度计算装置得到例如脉波。以下使用图9进行说明。图9是表示通过对相机输出的时间变化V(t)用提取系数向量x取出脉波的结果的图。
从拍摄装置2向存储部20输入相机输出(V=(VR,VG,VB))的时间变化的动画,将相机输出的时间变化V(t)作为拍摄数据21。在该情况下,拍摄皮肤的同一区域的相机输出V(t)能够成为在行方向上存储有时间序列、列方向上存储有同一时刻的RGB的各亮度值的矩阵。
如果该矩阵的对数的倒数-log(V(t))从左开始乘以提取系数向量x,则能够得到血红蛋白浓度ρh的时间变化。血红蛋白浓度ρh与皮肤内部的单位体积的血红蛋白量成比例。因此,血红蛋白浓度ρh的时间变化相当于脉波。
本实施方式中的色素浓度计算装置也可以对所获得的脉波进行滤波处理。图9中的最下段的图示出在血红蛋白浓度ρh的时间变化上实施0.75~4.00Hz的带通滤波的结果。
如上所述,通过使用本实施方式中的色素浓度计算装置,能够通过比较简便的运算处理来检测脉波。
[第四实施方式]
以下,说明本公开的其他实施方式。另外,为了便于说明,对与在上述实施方式中说明的构件具有相同功能的构件,标注相同的附图标记,并不再重复说明。
本公开的一方面中的色素浓度计算装置只要能够以实现上述的本公开的见解的方式计算提取系数,则不限定具体的运算方法。即,只要能够求出拍摄装置相对于已知成分的输出的响应方式(与色素有关的系数、与阴影强度有关的系数)独立的响应方式(提取系数)即可。
本公开的一实施方式中的色素浓度计算装置通过矩阵运算来计算提取系数。例如,将表示拍摄装置的R、G、B各自中的输出相对于黑色素浓度的变化的响应方式的系数设为aR、aG、aB。此外,表示拍摄装置的R、G、B各自中的输出相对于阴影强度的变化的响应方式的系数设为eR、eG、eB。
下述式(9)的矩阵X具有逆矩阵时,下述式(10)所示的x11、x12、x13为提取系数。另外,r1、r2、r3是任意的数。
[数学式9]
[数学式10]
〔软件的实施方式〕
色素浓度计算装置100的控制框(特别是系数确定部10以及浓度计算部30)可以通过形成在集成电路(IC芯片)等的逻辑电路(硬件)来实现,也可以通过软件来实现。
在后者的情况下,色素浓度计算装置器100包括计算机,其用于实现各功能的软件即执行程序的命令。该计算机例如至少包括一个处理器(控制装置),同时至少包括一个用于存储所述程序的、并且计算机可读取的存储介质。并且,上述计算机中,通过上述处理器从上述存储介质中读取上述程序并执行程序来实现本公开的目的。作为上述处理器,例如可使用CPU(Central Processing Unit)。作为存储介质,可以使用例如ROM(Read OnlyMemory)等的“非暂时性有形介质”之外,还可以使用磁带、磁盘、卡、半导体存储器、可编程逻辑电路等。此外,也可以进一步具备扩展上述程序的RAM(Random Access Memory,随机存取存储器)等。另外,上述程序也可以经由能传输该程序的任意的传输介质(通信网络、广播波等)供应到上述计算机。并且,本公开的一个方式也可以以上述程序通过电子传输来具体化、并嵌入在载波中的数据信号的形式来实现。
本公开不限于上述各实施方式,能在权利要求所示的范围中进行各种变更,将不同的实施方式中分别公开的技术手段适当组合得到的实施方式也包含于本发明的技术范围。而且,能够通过组合各实施方式分别公开的技术方法来形成新的技术特征。
Claims (4)
1.一种脉波检测装置,其特征在于,包括:
系数确定装置,基于拍摄包含一种以上色素的被摄体而得到的拍摄数据来确定用于计算所述被摄体的特定范围内期望的一种色素的浓度的函数所包含的系数;以及
脉波检测部,
(i)所述拍摄数据是使用规定的拍摄装置得到的数据且具有表示多个波段各自的亮度的多种亮度值,(ii)所述函数包含所述多种亮度值作为变量并且包含分别与多个该变量对应的多个单独的所述系数,(iii)多个所述系数通过与所述规定的拍摄装置相关联而得到,
所述系数确定装置包括:
响应计算部,其计算出第一响应方式和第二响应方式中的至少一种,所述第一响应方式表示所述期望的一种色素以外的色素的成分浓度的变化与所述拍摄数据中所述多种亮度值各自的变化的关系,所述第二响应方式表示显示阴影强度的变化与所述拍摄数据中的所述多种亮度值各自的变化的关系;以及
系数计算部,其使用所述第一响应方式以及第二响应方式中的至少一种算出多个所述系数,
所述脉波检测部使用由所述系数确定装置确定的所述系数,针对从所述规定的拍摄装置取得的所述拍摄数据中的所述被摄体的特定的范围,基于所述多种亮度值的每一个的对数与所述系数的积检测所述脉波。
2.根据权利要求1所述的脉波检测装置,其特征在于,
还包括所述规定的拍摄装置,
所述拍摄装置是RGB相机。
3.一种计算机可读取存储介质,其特征在于,其存储有用于使计算机作为权利要求1或2所述的脉波检测装置发挥功能的程序。
4.一种脉波检测方法,其特征在于,包括:
系数确定方法,基于拍摄包含一种以上色素的被摄体而得到的拍摄数据来确定用于计算所述被摄体的特定范围内期望的一种色素的浓度的函数所包含的系数;以及
脉波检测工序,
所述系数确定方法包括响应计算工序以及系数计算工序,
在所述响应计算工序中,(i)所述拍摄数据是使用规定的拍摄装置得到的数据且具有表示多个波段各自的亮度的多种亮度值,(ii)所述函数包含所述多种亮度值作为变量并且包含分别与多个该变量对应的多个单独的所述系数,(iii)多个所述系数通过与所述规定的拍摄装置相关联而得到,
在所述响应计算工序中,计算出第一响应方式和第二响应方式中的至少一种,所述第一响应方式表示所述期望的一种色素以外的色素的成分浓度的变化与所述拍摄数据中所述多种亮度值各自的变化的关系,所述第二响应方式表示显示阴影强度的变化与所述拍摄数据中的所述多种亮度值各自的变化的关系,
所述系数计算工序中,使用所述第一响应方式以及第二响应方式中的至少一种算出多个所述系数,
所述脉波检测工序使用由所述系数确定方法确定的所述系数,针对从所述规定的拍摄装置取得的所述拍摄数据中的所述被摄体的特定的范围,基于所述多种亮度值的每一个的对数与所述系数的积检测脉波。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018204329 | 2018-10-30 | ||
JP2018-204329 | 2018-10-30 | ||
CN201980070578.5A CN112912713B (zh) | 2018-10-30 | 2019-10-04 | 系数确定装置、色素浓度计算装置以及系数确定方法 |
PCT/JP2019/039318 WO2020090348A1 (ja) | 2018-10-30 | 2019-10-04 | 係数決定装置、色素濃度計算装置、係数決定方法、および情報処理プログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980070578.5A Division CN112912713B (zh) | 2018-10-30 | 2019-10-04 | 系数确定装置、色素浓度计算装置以及系数确定方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116952940A true CN116952940A (zh) | 2023-10-27 |
Family
ID=70464048
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980070578.5A Active CN112912713B (zh) | 2018-10-30 | 2019-10-04 | 系数确定装置、色素浓度计算装置以及系数确定方法 |
CN202310934488.4A Pending CN116952940A (zh) | 2018-10-30 | 2019-10-04 | 脉波检测装置、脉波检测方法以及计算机可读取存储介质 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980070578.5A Active CN112912713B (zh) | 2018-10-30 | 2019-10-04 | 系数确定装置、色素浓度计算装置以及系数确定方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20210383571A1 (zh) |
JP (2) | JP6969018B2 (zh) |
CN (2) | CN112912713B (zh) |
WO (1) | WO2020090348A1 (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11914692B2 (en) * | 2018-11-06 | 2024-02-27 | Sony Corporation | Information processing apparatus and information processing method |
CN115174881B (zh) * | 2022-07-15 | 2024-02-13 | 深圳市火乐科技发展有限公司 | 色域映射方法、装置、投影设备及存储介质 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4196209B2 (ja) | 2003-06-30 | 2008-12-17 | 日本光電工業株式会社 | 信号処理方法及びそれを適用したパルスフォトメータ |
JP2010522379A (ja) * | 2007-03-21 | 2010-07-01 | ルミダイム インコーポレイテッド | 局所的に不変である特徴に基づく生体認証 |
JP5165732B2 (ja) * | 2010-07-16 | 2013-03-21 | オリンパス株式会社 | マルチスペクトル画像処理方法、画像処理装置、及び画像処理システム |
US9275441B2 (en) * | 2011-04-12 | 2016-03-01 | Tripath Imaging, Inc. | Method for preparing quantitative video-microscopy and associated system |
JP5591874B2 (ja) * | 2012-06-18 | 2014-09-17 | 株式会社東芝 | 画像処理装置、方法、及びプログラム |
US20160307040A1 (en) * | 2012-12-19 | 2016-10-20 | Alan Shulman | Systems and Methods of Using Labels for Evaluation of Produce and Other Foods |
JP6346789B2 (ja) * | 2013-05-24 | 2018-06-20 | 花王株式会社 | 顔画像分析方法及び顔画像分析装置 |
JP6183030B2 (ja) * | 2013-07-25 | 2017-08-23 | 花王株式会社 | 皮膚色素濃度測定方法 |
CN103792116A (zh) * | 2014-01-17 | 2014-05-14 | 湖北师范学院 | 一种制备光合色素的定量标准品方法 |
JP6119719B2 (ja) * | 2014-02-05 | 2017-04-26 | カシオ計算機株式会社 | 医療用皮膚検査装置、皮膚病変を検査する方法並びにプログラム |
JP6320277B2 (ja) * | 2014-11-20 | 2018-05-09 | 株式会社日立製作所 | 生体認証装置 |
WO2016151676A1 (ja) * | 2015-03-20 | 2016-09-29 | オリンパス株式会社 | 画像処理装置、画像処理方法および生体観察装置 |
CN106236060B (zh) | 2015-06-04 | 2021-04-09 | 松下知识产权经营株式会社 | 生物体信息检测装置 |
JPWO2017010013A1 (ja) * | 2015-07-16 | 2018-04-26 | オリンパス株式会社 | 画像処理装置、撮像システム、画像処理方法、及び画像処理プログラム |
JP6765643B2 (ja) * | 2016-03-31 | 2020-10-07 | 株式会社サタケ | 穀類の搗精度評価方法及びその装置 |
CN114795151A (zh) * | 2016-06-30 | 2022-07-29 | 松下知识产权经营株式会社 | 方法及系统 |
CN108492278B (zh) * | 2018-02-09 | 2019-08-16 | 武汉嫦娥医学抗衰机器人股份有限公司 | 人体皮肤片图像黑色素和血色素分离与浓度调控方法 |
-
2019
- 2019-10-04 CN CN201980070578.5A patent/CN112912713B/zh active Active
- 2019-10-04 WO PCT/JP2019/039318 patent/WO2020090348A1/ja active Application Filing
- 2019-10-04 US US17/287,247 patent/US20210383571A1/en active Pending
- 2019-10-04 CN CN202310934488.4A patent/CN116952940A/zh active Pending
- 2019-10-04 JP JP2020553709A patent/JP6969018B2/ja active Active
-
2021
- 2021-10-26 JP JP2021174439A patent/JP7141509B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2022023916A (ja) | 2022-02-08 |
JP6969018B2 (ja) | 2021-11-24 |
JPWO2020090348A1 (ja) | 2021-10-07 |
WO2020090348A1 (ja) | 2020-05-07 |
US20210383571A1 (en) | 2021-12-09 |
JP7141509B2 (ja) | 2022-09-22 |
CN112912713A (zh) | 2021-06-04 |
CN112912713B (zh) | 2023-08-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8155413B2 (en) | Method and system for analyzing skin conditions using digital images | |
US11154200B2 (en) | Skin assessment using image fusion | |
CN107735015B (zh) | 使用彩色图像传感器的用于组织的激光散斑成像的方法和系统 | |
US9750326B2 (en) | Transparency evaluation device, transparency evaluation method and transparency evaluation program | |
US20080080766A1 (en) | Apparatus and Method for Analyzing Skin Using L*a*b* Colorspace | |
JP5796348B2 (ja) | 特徴量推定装置および特徴量推定方法、並びにコンピュータープログラム | |
JP5165732B2 (ja) | マルチスペクトル画像処理方法、画像処理装置、及び画像処理システム | |
JP4599520B2 (ja) | マルチスペクトル画像処理方法 | |
JP7141509B2 (ja) | 脈波検出装置、脈波検出方法、および情報処理プログラム | |
KR102549763B1 (ko) | 물체의 반사율을 결정하는 방법 및 관련 장치 | |
CN113888540B (zh) | 一种用于人脸皮肤成分图像的分离方法和系统 | |
US20050231740A1 (en) | Image input system, conversion matrix calculating method, and computer software product | |
CN116806304A (zh) | 数据处理装置、方法及程序以及光学元件、摄影光学系统及摄影装置 | |
JP4098542B2 (ja) | 肌色測定装置 | |
JP7308443B2 (ja) | 評価装置、本物感評価方法およびプログラム | |
CN116249876A (zh) | 图像分析方法、图像分析装置、程序及记录媒体 | |
KR100459014B1 (ko) | 표면 색채를 분석하는 방법 및 색채 분석 장치 | |
US11867615B2 (en) | Field calibration for near real-time Fabry Perot spectral measurements | |
Moriuchi et al. | Illumination Invariant Measuring of Skin Pigmentation | |
Kamimura et al. | Evaluation and analysis for spectral reflectance imaging of human skin | |
JP5895094B1 (ja) | 画像色分布検査装置および画像色分布検査方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |