CN114847907A - 血流分析装置、生物体信息分析系统 - Google Patents
血流分析装置、生物体信息分析系统 Download PDFInfo
- Publication number
- CN114847907A CN114847907A CN202210053656.4A CN202210053656A CN114847907A CN 114847907 A CN114847907 A CN 114847907A CN 202210053656 A CN202210053656 A CN 202210053656A CN 114847907 A CN114847907 A CN 114847907A
- Authority
- CN
- China
- Prior art keywords
- blood flow
- subject
- unit
- state
- correlation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000017531 blood circulation Effects 0.000 title claims abstract description 190
- 238000004458 analytical method Methods 0.000 title claims abstract description 42
- 238000005259 measurement Methods 0.000 claims abstract description 104
- 238000009826 distribution Methods 0.000 claims abstract description 70
- 230000008859 change Effects 0.000 claims description 45
- 238000012937 correction Methods 0.000 claims description 22
- 238000003384 imaging method Methods 0.000 claims description 21
- 238000010219 correlation analysis Methods 0.000 claims description 16
- 238000005206 flow analysis Methods 0.000 claims description 13
- 238000001514 detection method Methods 0.000 claims description 10
- 230000000284 resting effect Effects 0.000 claims description 8
- 210000003363 arteriovenous anastomosis Anatomy 0.000 claims description 7
- 210000000467 autonomic pathway Anatomy 0.000 claims description 5
- 238000010801 machine learning Methods 0.000 claims description 5
- 230000002123 temporal effect Effects 0.000 claims description 5
- 230000007704 transition Effects 0.000 claims description 5
- 230000009471 action Effects 0.000 claims description 2
- 238000000034 method Methods 0.000 description 40
- 230000006870 function Effects 0.000 description 34
- 238000011156 evaluation Methods 0.000 description 23
- 238000010586 diagram Methods 0.000 description 16
- 238000012545 processing Methods 0.000 description 14
- 230000003287 optical effect Effects 0.000 description 12
- 239000003086 colorant Substances 0.000 description 10
- 239000002131 composite material Substances 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 5
- 239000008280 blood Substances 0.000 description 5
- 210000004369 blood Anatomy 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 5
- 238000010191 image analysis Methods 0.000 description 5
- 229910052760 oxygen Inorganic materials 0.000 description 5
- 239000001301 oxygen Substances 0.000 description 5
- 238000002835 absorbance Methods 0.000 description 4
- 230000036772 blood pressure Effects 0.000 description 4
- 210000004204 blood vessel Anatomy 0.000 description 4
- 210000001508 eye Anatomy 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 4
- 102000001554 Hemoglobins Human genes 0.000 description 3
- 108010054147 Hemoglobins Proteins 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000009792 diffusion process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000010349 pulsation Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000000862 absorption spectrum Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000003862 health status Effects 0.000 description 1
- 238000009532 heart rate measurement Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 230000006996 mental state Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000004118 muscle contraction Effects 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 239000000049 pigment Substances 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/026—Measuring blood flow
- A61B5/0261—Measuring blood flow using optical means, e.g. infrared light
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/021—Measuring pressure in heart or blood vessels
- A61B5/02108—Measuring pressure in heart or blood vessels from analysis of pulse wave characteristics
- A61B5/02116—Measuring pressure in heart or blood vessels from analysis of pulse wave characteristics of pulse wave amplitude
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/021—Measuring pressure in heart or blood vessels
- A61B5/02108—Measuring pressure in heart or blood vessels from analysis of pulse wave characteristics
- A61B5/02125—Measuring pressure in heart or blood vessels from analysis of pulse wave characteristics of pulse wave propagation time
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Cardiology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Physiology (AREA)
- Hematology (AREA)
- Vascular Medicine (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
Abstract
本发明提供一种血流分析装置、生物体信息分析系统,能够不对被检验者施加测定的负担而高速地推定人的状态并且获得各种信息。本发明的血流分析装置使用可见光图像来检测血流分布,使用所述血流分布来比较不同测定区域间的血流,并且分析在不同测定区域中同时产生的血流之间的相关。
Description
技术领域
本发明涉及对被检体的血流分布进行分析的装置。
背景技术
存在如下技术:从拍摄人的生物体组织而得的一系列的图像中提取微小的血色的变化,检测与血流相关的状态变化。本技术通过从拍摄影像中检测因血流而变化的生物体的光学特性来实现。
作为所述技术的例子,例如有专利文献1。专利文献1以“通过非接触方式测定血压”为课题,记载以下技术(参照摘要):“具备:图像取得部,其取得拍摄了用户的皮肤的皮肤图像;脉波定时计算部,其使用皮肤图像,计算皮肤图像中的亮度的时间变化,在亮度的时间变化中,计算表示亮度达到峰值的时刻的时刻信息作为脉波定时;毫米波取得部,其取得由接收天线接收到的由用户反射的电波的信号;心跳定时计算部,其使用毫米波取得部取得的电波的信号,计算用户与接收天线的距离的时间变化,计算表示在距离的时间变化中距离达到峰值的时刻的时刻信息作为心跳定时;以及血压决定部,其基于脉波定时与心跳定时的时间差,决定用户的血压。”
现在的非接触的血流状态的检测技术能够检测某特定场所中的脉波的振幅和达到峰值的定时。本技术用于非接触地测量心跳、血压等生物体信息来代替目前使用的接触型的测定器。目前,为了人的健康状态的自检、提高生活及工作场所环境的质量,在不对所测定的本人造成负担的情况下,想要在更多的场景下监视疲劳、压力等心身状态的社会需求不断增大。将来为了应对这些需求,预测以从血流的状态推定其他生物体信息的方式来利用。
为了应对所述那样的需求,需要产生并解决以下(1)、(2)的课题。特别是在检测不伴随动作的人的状态变化的情况下,由于目视无法判断状态变化,因此课题变得显著。
课题(1):从血流的状态取得更多的信息。
课题(2):缩短测定时间。
针对课题(1),需要在空间上增加与血流相关的信息量。针对课题(2),需要能够即时解析较多的信息量的指标。
专利文献1公开了具备接收天线的方法,该接收天线由于仅根据从取得的皮肤图像的信息得到的脉波定时的信息不足,所以利用用户反射的毫米波来检测心跳定时。专利文献1的结构除了需要具备图像取得部和接收天线这多个种类的传感器之外,由此得到的仅是多个生物体信息中的血流这1种。另外,在该文献中,由于检测出脉搏和心跳的峰值时间,因此如果不是必然比脉搏、心跳的周期长的时间,则无法取得信息。
专利文献1:日本特开2016-077890号公报
发明内容
本发明是鉴于以上那样的课题而完成的,其目的在于提供一种不对被检验者施加测定的负担,能够高速地推定人的状态并且得到各种信息的血流分析装置。
本发明的血流分析装置使用可见光图像检测血流分布,使用所述血流分布比较不同测定区域间的血流,并且分析在不同测定区域中同时产生的血流之间的相关性。
根据本发明所涉及的血流分析装置,能够不对被检验者施加测定的负担而高速地推定人的状态并且获得各种信息。
附图说明
图1是实施方式1的血流分析装置1的结构图。
图2是实施方式2的生物体信息分析系统2的结构图。
图3是表示安静时的2个测定区域中的血流状态的实验结果的图。
图4是表示与图3对应的安静时的2个测定区域中的血流状态的相关性的图。
图5是表示被检验者安静至60秒且此后活动时的2个测定区域中的血流状态的图。
图6是表示被检验者从安静时转移到活动状态时的2个测定区域中的血流状态的相关性的图。
图7是表示被检验者活动时的2个测定区域中的血流状态的相关性的图。
图8是实施方式3的生物体信息分析系统2的结构图。
图9是表示实施方式3中的测定区域的图。
图10是实施方式4的生物体信息分析系统2的结构图。
附图标记的说明
1:血流分析装置、11:可见光摄像部、12:影像解析部、13:血流分布检测部、14:血流分布解析部、15:信号输出部、16:状态推定部、17:信号输出部、18:显示部、2:生物体信息分析系统。
具体实施方式
<实施方式1>
图1是本发明的实施方式1的血流分析装置1的结构图。血流分析装置1是分析被检体的血流的装置。血流分析装置1具备可见光摄像部11、影像解析部12、血流分布检测部13、血流分布解析部14以及信号输出部15。血流分布解析部14还具备血流比较部141、相关分析部142。
可见光摄像部11具备接收测定区域中的可见光并将至少2点以上的空间分布的光强度转换为信号并输出的功能。作为将光强度转换为信号的传感器,可以利用CCD传感器或CMOS传感器。也可以具有用于使被摄体在传感器上成像的透镜和反射镜等光学系统。进而,也可以使用与传感器的像素对应地配置的滤色器,针对每个单位空间取得红色光、绿色光、蓝色光的强度。特别优选配合血液所包含的色素的吸收光谱来选择滤色器。如果是人的话,则优选具备在血中所包含的血红蛋白的吸光度低的红色区域具有灵敏度的滤色器。作为红色的滤色器,例如能够使用使具有600nm至700nm附近的波长的光通过的滤色器。另外,也可以使用透过到存在于皮下的毛细血管但难以渗透到比其更深部的绿色光通过的滤色器。作为绿色的滤色器,例如能够使用使具有546nm附近的波长的光透过的滤色器。另外,能够将难以渗透到生物体内部的蓝色的滤色器一并使用。蓝色的滤色器例如能够使用使具有436nm附近的波长的光透过的滤色器。也可以具备对红外光具有灵敏度的受光部,也可以在可见光摄像机中组装仅使红外光透过的滤色器。另外,也可以与可见光摄像机独立地设置为摄像部。红外光滤色器例如能够使用使具有830nm附近的波长的光透过的滤色器。若使用红外光,则由于在生物体中渗透得深而能够检测存在于深部的血管内部的血流。另外,在使用红外区域的光的情况下,能够评价血中的氧饱和浓度。血红蛋白根据是否与氧结合而吸光度不同,例如若使用具有665nm附近的波长的光,则其光学特性的差异表现得显著。另一方面,在红外区域中,与氧饱和浓度无关,吸光度低且吸收少。利用该情况,根据红外区域和所述665nm附近的光的吸光度的比率,能够推定血中的氧结合的血红蛋白的比例即氧饱和度。
关于可见光摄像部11所具备的将光强度转换为信号的传感器,假定以二维扩展的方式配置了像素的传感器来进行了说明,但也可以是如下结构:将某1点的光强度作为信号而得到的光电探测器与将来自测定对象的光进行聚光的光学系统组合多个,从而能够拍摄在空间上分开配置的测定对象。也可以具备滤色器。
影像解析部12具有接收来自可见光摄像部11的影像信号,进行图像解析而交给血流分布检测部13的功能。例如,仅提出接收到的影像信号中必要的特定区域的信息,仅提取处理所需的影像信息而省去无用的处理。另外,在计算对象的像素的附近充分均质的情况下,也可以减小分辨率而使处理高速化。如上所述,通过接收视频信号并加以图像处理,能够节省处理的浪费。
血流分布检测部13根据从影像解析部12发送的影像信号来得到与血流分布有关的信息。具体而言,通过颜色分离影像信号。例如,能够使用红色信号(以下记载为R信号)得到血流分布。在将血流分布的测定对象作为人的生物体的情况下,红色的光渗透到人的生物体内部,一部分被吸收,其他的光扩散、反射。其中,能够利用可见光摄像部11捕捉从生物体射出的光。若血流变化,则血管的粗细发生变化,在内部流动的血流量发生变化,因此光学特性会随之变化。即使在到达血管的红色的波长区域也会产生该光学特性的变化,因此能够看到血流的变化。另外,可见光摄像部11能够在空间上取得光强度的分布,因此能够检测血流分布。
血流分布解析部14具有根据血流分布检测部13检测出的血流分布来解析与血流的状态相关的信息的功能。例如,能够计算作为生物体信息的脉搏。例如,通过将伴随血流的时间的变化进行傅里叶变换并进行频率解析,能够检测脉搏。此外,也能够通过记录迎来脉搏的峰值的时刻,并以充分的长度记录该脉搏的周期的变化,从而能够用于分析来推定自主神经的平衡。
血流分布解析部14具备比较与多个血流相关的信息的血流比较部141以及对某个时间点的多个血流的强度的关系进行分析的相关分析部142。
血流比较部141具有比较在不同的场所测定的血流的强度变化的功能。即使是生物体,血流的变化的容易度也根据部位而不同。通过比较在容易变化的部位和难以变化的部位测定的血流,能够测量血流的变化的比率。作为血流的状态局部地变化的现象,有基于自主神经的动静脉吻合的开闭的现象。血流比较部141通过花费到血流的分布充分变化为止的时间,测定血流的状态的局部变化来推定动静脉吻合的变化,从而能够检测自主神经的平衡的变化。
相关分析部142具有如下功能:针对某个瞬间的多个区域的血流的状态,取得以各个区域的血流状态为轴的值,根据该分布对与血流相关的信息进行解析。例如,假定存在第一测定区域和第二测定区域。在取2轴的图表中,若将与某个瞬间(时刻t)的第一测定区域的血流量相当的信号设为B1,将相当于第二测定区域的血流量的信号设为B2,则描绘出取坐标(B1,B2)的点。如果在某时间内对其进行采样,则得到分布。相关分析部142具有通过分析该分布的状态来计算指标并输出的功能。
作为评价分布状态的评价项目,例如可列举出重心、斜率、截距、相关系数。重心表示测定时间内的代表性的血流平衡的状态。斜率依赖于不同的测定对象中的振幅的比率。截距表示与血流量相关的偏移。如果关注血流量的时间变化,则也能够进行抵消偏移的处理。相关系数依赖于测定对象的血流量变动的相位与其振幅的比率。相关系数在相位一致、振幅的比率不变化的情况下变高。这样,能够每次对由相位与振幅的比率决定的量进行解析,因此能够在血流脉动的周期内进行多个采样。通过相关分析部142的所述功能,能够提供与脉搏的周期相比更高速地对血流分布进行解析、评价的单元。
信号输出部15具有将血流分布解析部14计算出的至少1个以上的结果(血流的评价指标)作为输出来发送信号的功能。例如,作为血流分布解析部14输出的结果,可列举出心率、第一测定对象与第二测定对象的血流量的相关系数等。信号输出部15例如也能够向监视器或打印机等视觉性提示的装置、通过声音通知的扬声器发送数据,从而来提示这些输出。
<实施方式1:总结>
本实施方式所涉及的血流分析装置1根据以非接触方式取得的影像来测定血流分布,使用该血流分布,对不同的测定区域间的血流进行比较,并且对在不同的测定区域中同时产生的血流之间的相关进行分析。由此,能够在短时间内测定血流,并且得到与血流相关的各种信息。
本实施方式的血流分析装置1检测比脉搏的周期短的时间的血流分布的状态变化。由此,在比脉搏更短的时间内,能够得到与血流相关的脉搏以外的各种信息。
<实施方式2>
图2是本发明的实施方式2所涉及的生物体信息分析系统2的结构图。生物体信息分析系统2是使用与血流分析装置1分析出的血流分布有关的信息来推定被检体的状态的系统。生物体信息分析系统2除了具备血流分析装置1以外,还具备状态推定部16、信号输出部17、显示部18。信号输出部15输出的结果被发送到状态推定部16。
状态推定部16具备保存用于判断从信号输出部15接收到的结果的指标的至少1个以上的数据库。数据库至少记录评价的种类和判定的边界相关的信息。在数量少且更新频率少而不需要管理的情况下,也可以利用单纯记录的数据表。在此,示出了具备指标DB161、个人修正值DB162、复合推定DB163的例子。
指标DB161存储有评价指标、判定的边界的信息和被检体状态的组合。状态推定部16使用从信号输出部15接受的评价指标来参照指标DB161,从而从指标DB161取得与该评价指标对应的被检体的状态。由此,能够推定被检体的状态。
即使血流分布的评价指标相同,生物体的状态有时也因个人而不同。个人修正值DB162保持用于修正该个人差异的个人修正值。状态推定部16通过利用个人修正值DB162,能够在修正了个人差异的基础上利用指标DB161来推定被检体的状态。
复合推定DB163保持多个指标值与被检体的状态之间的关系。状态推定部16例如对复合推定DB163输入多个对象部中的血流分布的相关系数和脉搏,得到与它们对应的被检体的状态。例如,如果这些相关系数高而脉搏较低,则复合推定DB163保持被检体稳定且安静这样的推定结果。为了防止记录所需的容量增加指标值和推定结果的组合的量,可以保持相关参数和校正系数以及用于近似的函数的系数的组合。
信号输出部17具有将推定了至少1个以上的人的状态的结果作为输出来发送信号的功能。例如,状态推定部16输出的结果可以列举有安静状态等。显示部18接收其推定结果,以用户能够目视的方式显示信号。
图3是表示安静时的2个测定区域中的血流状态的实验结果的图。表示被检验者在120秒的安静时测定到的成为血流的测定对象的第一测定区域、第二测定区域中的血流状态的变化。横轴是时间,纵轴是表示血流的增减的信号值。在本实验中,以包含鼻子作为第一测定区域、包含脸颊作为第二测定区域的方式设定测定区域。
图4是表示与图3对应的安静时的2个测定区域中的血流状态的相关性的图。通过将某个瞬间的第一测定区域的血流状态的信号值取为横轴,将第二测定区域的血流状态的信号值取为纵轴,能够用1点表现某个瞬间的2个测定区域中的血流的状态。图4使用120秒的安静时的测定值对其进行了描绘。这些数据能够通过从多个测定点导出的近似直线来评价。近似直线由斜率和截距构成(图4中的虚线)。作为其他评价方法,也可以通过隔着近似直线的、以某距离D分离的上限401和下限402夹着的区域内包含的测定点的数量、相对于全部测定点的比例来进行评价。另外,也可以使用测定数据的相关系数或方差来进行评价。
图5是表示被检验者安静至60秒且此后进行活动时的2个测定区域中的血流状态的图。关于测定区域,条件与图3的一致,以在第一测定区域包含鼻子、在第二测定区域包含脸颊的方式设定区域。作为活动,实施了2位数的加法心算(即不伴随着身体的运动的活动)。可知从65秒开始2个血流变化的倾向显著背离。
图6是表示被检验者从安静时转移到活动状态时的2个测定区域中的血流状态的相关性的图。与安静时不同,可知测定数据的离散很大。为了参考,将图4所示的上限401和下限402重叠进行图示。可知偏离较大的测定数据较多。相关系数低至0.33。特别是由于是安静时和活动时混合存在的测定数据,因此成为难以取得相关的状态。
血流状态的评价也与被检验者的状态转移所需的经过时间相关。例如,设想在状态突然变化的情况和缓慢变化的情况下发生的现象不同。因此,状态的时间变化率也能够作为评价指标。例如在测定数据的相关性急剧地破坏的情况下,成为被检验者的状态发生变化的基准,在没有相关的变化时,认为被检验者处于稳定状态。状态推定部16基于异常,例如在指标值的时间变化率为阈值以上时推定为被检验者的状态发生了变化,若时间变化率小于阈值,则能够推定为被检验者的状态稳定。
图7是表示被检验者进行了活动时的2个测定区域中的血流状态的相关性的图。即,摘录了仅活动时的测定数据。可知测定数据的离散大。相关系数为0.74。
若着眼于图3~图7所示的实验的相关系数,则在安静时高达0.94,在从安静向活动转变过程中低至0.33,在活动时为0.74。虽然未图示,但若在其他的机会中测定安静时,则为0.81。由此,用于辨别安静和活动的相关系数的阈值只要设置在0.74至0.81之间即可,在比其低的情况下有可能是转移时。在转移时,优选参考其前后的相关系数和状态变化。使用相关系数或评价指标的状态推定可以由状态推定部16实施,也可以由相关分析部142实施。
图3~图7所示的相关系数与被检体的动作状态之间的关系,在由动静脉吻合引起的血流变化大的测定区域与小的测定区域之间特别好地表现。因此,在使用这些相关系数来推定被检体的动作状态的情况下,优选使用这样的测定区域间的相关系数。鼻子和脸颊是其1例。
<实施方式2:总结>
本实施方式2所涉及的生物体信息分析系统2计算表示第一测定区域中的血流的增减与第二测定区域中的血流的增减之间的相关性的指标值,并根据该指标值来推定被检验者的状态。由此,能够得到仅根据1个部位的血流分布而难以得到的被检验者的状态的信息。
本实施方式2所涉及的生物体信息分析系统2,在表示第一测定区域中的血流的增减与第二测定区域中的血流的增减之间的相关的指标值(a)高时(在所述例子中为0.94左右)推定被检验者为安静状态,在(b)稍低时(在所述例中为0.74~0.81)推定被检验者为活动状态,在(c)低时(在所述例中为0.33)推定被检验者在安静状态与活动状态之间转移。由此,能够高精度地推定被检验者的状态。
<实施方式3>
本发明的实施方式3对以下结构例进行说明,即选定以非接触方式取得的被检体图像中的仅血流分布的分析所需的范围来削减血流分布的解析负荷。
图8是本实施方式3的生物体信息分析系统2的结构图。本实施方式3中的生物体信息分析系统2除了实施方式2中说明的结构以外,还具备噪音去除部121、被检体追踪部122、面部追踪部123作为影像解析部12的子模块,还具备峰值分析部143、频率成分分析部144作为血流分布解析部14的子模块。
噪音去除部121具备对影像解析部12所取得的影像进行加工而去除不必要的信息的功能。作为去除不必要的信息的具体方法,可以使用如下方法:求出连续的多个像素间的平均,作为代表该像素的信号值的值进行平滑化,除去噪音。根据本方法,能够求出对通过可见光摄像部11所具备的传感器的电特性的噪音而产生的、对每个像素随机相加的信号误差进行平滑化,可以作为代表像素的附近区域的值进行处理的信号强度。通过本方法的噪音去除,能够得到抑制了空间噪音的振幅的影像。
作为其他的噪音去除方法,能够使用如下方法:使用多个像素的信号强度的直方图,选择出现频度最高的信号强度作为代表值来进行噪音去除。如果是本方法,则选择在附近最多出现的信号强度,因此在去除噪音后,相同值连续的噪音降低,变化变小,得到均质化的信号分布。由于是求出在测定对象的附近区域中出现频度最高的值的方式,因此在带有大幅度波动的误差的状态下,可能发生最频繁出现的信号强度的像素数排列一起而难以唯一确定的状况。因此,本方法优选应用于求得像素间的平均并去除噪音后的图像。
作为其他的噪音去除方法,采用对可见光摄像部11取得的影像的每个颜色的信号强度调整平衡的方法。例如,以利用了得到一般使用的红(R)绿(G)蓝(B)这3色的光强度分布的摄像机的情况为对象进行说明。在作为测定对象的区域分别得到R、G、B中的光强度分布时,通过采取使各颜色的最高的强度和最低的强度对齐,关于中间的强度进行补充的方法,能够使各颜色间的信号分布存在的强度范围对齐。也可以将对齐后的最高强度和最低强度缩放到与信号能够取得的水平的上限值和下限值一致。例如是如果以百分率来处理,则分布于0%至100%的范围,如果以8比特来处理,则分布于0至255的范围的方法。如果是本方法,则能够抵消由可见光摄像部11决定的各颜色间的灵敏度的差,得到用于同等地处理各颜色的信号分布。
作为去除噪音的其他方法,采用从可见光摄像部11取得的影像中的某区域的各颜色的信号分布,对每个颜色的信号强度调整平衡的方法。例如,在分别得到R、G、B的光强度分布时,求出在该区域内表示各颜色的光强度分布的特征量,以使该特征量对齐的方式修正各颜色的信号。作为特征量,可举出最高强度、最低强度、最频繁出现强度等。作为修正所需的系数,可举出表示信号分布的差分的偏移、表示信号分布的强度比率的增益等。作为更详细地进行修正的方法,也可以使用针对各颜色和每个亮度将修正后的信号值对应起来的任意的函数,也可以是利用了所谓色调曲线的调整。如果是本方法,则在使颜色间的信号强度对齐时,能够进行鉴于中间色的信号强度的分布的修正。
为了修正各个颜色的信号强度,可以采用测量非生物来决定修正系数的方法。如果是本方法,则由可见光摄像部11拍摄到的非生物的影像不会因生物体反应而变化,但会受到光学环境的变化、例如被均匀地照明的环境光的颜色、强度的变化的影响。另一方面,作为测定对象的生物体的影像不仅受到生物体反应引起的光学特性的变化所引起的信号强度的变化的影响,还会受到环境光的颜色、强度的变化的影响。即,通过在成为基准的某时刻使用非生物的影像来求出各颜色间的信号强度的修正系数,并且利用使用了所测定的其他时间的非生物的影像的各颜色间的信号强度的修正系数,能够与某基准时刻的条件一致地抵消光学环境变化来减小影响。由此,能够灵敏度良好地得到由生物体的光学特性引起的变化。
为了减小各颜色间的强度信号的偏差而在摄影时同等地处理,成为为了修正各颜色的信号强度而使用的测定对象的非生物优选抑制了色调的无彩色。如果以无色调的无彩色为基准,则有助于判别颜色偏向哪一个。另外,为了抑制照明光的反射峰值在空间上出现,优选为扩散度高的材质。例如,在使发光面有限的照明器具反射到测定对象来观察时,通过确认该发光面的形状难以确定,能够判别扩散度。由于能够获得针对每个中间的信号强度求出各颜色间的信号强度的变换函数(色调曲线)所需的信息,因此优选为具有强度分布的灰度的非生物。
被检体追踪部122具有在可见光摄像部11所拍摄的被检体在影像内移动的情况下,确定该被检体映现在影像内的何处的图像追踪功能。作为对被检体进行图像追踪的方法,能够使用物体追踪算法。物体追踪算法为以下功能:预先记录与成为测定对象的物体的外观相关的数据,判定在可见光摄像部11拍摄到的影像内是否存在相应的物体。期望不仅能够确定影像内的物体的有无,还能够确定在影像内映现物体的位置、大小。
作为实现物体追踪的方法,可以使用预先赋予与物体相关的数据来进行学习,并使用通过学习而得到的评价函数来返回物体的有无、位置、大小的机器学习的机制。根据本方法,即使拍摄对象移动、或者可见光摄像部11拍摄的方向偏移,也能够确定拍摄到的影像内的测定对象的位置,因此能够进行稳定的测定。
作为物体追踪的其他方法,有使用光流的图像追踪方法。光流是如下方法:在假设基准时刻的某个像素或者区域在经过某段时间时以某个方向、距离进行了移动时,对假定为从基准时刻的影像向某一方向移动而生成的影像和实际经过了某段时间而得到的影像进行比较评价,得到每个最具有一致性的像素、或者区域的移动方向和距离。如果使用本方法,则即使拍摄对象没有被预先学习也有可能追踪,特别是如果将任意的拍摄景象作为对象,则能够提高针对可见光摄像部11的移动、例如抖动的稳定性。
面部追踪部123具有追踪可见光摄像部11拍摄到的影像内存在的面部来确定拍摄影像内的区域的功能。通过追踪面部部分,能够有效地限制测定对象区域,省略无用的影像处理来实现高效的处理。除了追踪面部以外,也可以追踪面部内的各部位(例如眼睛、鼻子等)。
面部追踪是学习多个面部的影像,使用通过学习而得到的评价函数来确定人的面部位于摄影影像内的哪个区域的功能。也可以使用机器学习和使用深层学习而得到的评价函数来构成。通过限制为包含通过本功能确定的面部区域的影像的影像区域来进行处理,能够避免测定中不需要的区域的处理,进行高效的处理。
也可以将面部部位的位置用作测定对象区域的基准。也可以确定位于面部的部位、例如额头、眼睑、眼、鼻子、脸颊、上唇、下唇、耳朵等特定部位所映入的影像内的区域,以这些区域的位置、尺寸为基准。例如,为了设定眉间的测定区域,能够采取在确定眼睛的位置之后计算并决定位于其间的区域的方法。如果是这样的方法,则即使存在无法直接确定的部位,也能够以其他能够确定的部位为基准,根据相对的位置来定义测定区域,能够提高测定的自由度。
也可以具有如下功能:预先保持与个人的面部相关的数据,通过面部追踪进行对照,从而判定被拍摄者是否为测定对象,进而缩小测定区域来实现效率化。进而,若具备登记与个人的面部相关的数据的功能的话会很方便。
峰值分析部143捕捉血流状态的峰值,记录时间及其大小并进行解析。频率成分分析部144进行血流状态的变化中的脉搏的频率解析。如果具备它们,则通过解析足够多的多次脉搏的脉动,能够推定人的状态。例如,能够将这些解析结果用于自主神经的平衡的评价。
图9是表示本实施方式3中的测定区域的图。确定通过面部追踪而确定的面部区域300,并且通过面部部位的确定,将测定区域301确定为脸颊,将测定区域302确定为鼻子。例如,能够使用测定区域301作为第一测定区域,使用测定区域302作为第二测定区域。
<实施方式3:总结>
本实施方式3所涉及的生物体信息分析系统2通过被检体追踪部122追踪被检体,或者由面部追踪部123追踪被检体的面部部分,从而能够限定血流分布分析所需的影像信息。由此,能够削减血流分布的解析负荷,因此能够在短时间内检测血流分布的状态变化。
<实施方式4>
本发明的实施方式4对使用从血流分析装置100外接受的学习数据,基于多个不同的数据更详细地推定人的状态的结构例进行说明。
图10是本实施方式4的生物体信息分析系统2的结构图。在本实施方式4中,状态推定部16除了具备在实施方式2~3中说明的结构以外,还具备DB更新部164和学习部165。DB更新部164取得从外部提供的学习数据,更新状态推定部16所具备的各种数据库的内容。学习部165使用学习数据实施机器学习等,得到状态推定所需的评价函数。
DB更新部164具有更新指标DB161、个人修正值DB162、复合推定DB163的内容的功能。DB更新部164根据所提供的指令,确定并更新成为更新对象的数据库和应该更新的项目和内容。优选具备以下的判断功能,即在命令中存在不一致的情况下,鉴于与其他数据库的一致性,不执行指令使得不会产生错误。
学习部165具有使用来自血流分析装置100的信号输出部15的数据或者由其他单元得到的学习数据来更新状态推定所需的评价函数的功能。例如,在输入的数据是血流分析装置100的测定结果、测定条件和表示实际明确的人的状态的人状态确定数据时,能够采取使测定结果、测定条件和人状态确定数据对应,并将它们作为训练数据来学习评价函数的结构。如果是本结构,则使用学习而生成的评价函数,即使是至今为止没有被测量的条件,也能够提高正确地推定人的状态的概率。
例如,通过将来自血流分析装置100的信号输出部15的数据和由对应的其他单元得到的被拍摄者的状态作为训练数据进行机器学习,能够使用根据血流分析装置100的信号输出部15的输出来推定非拍摄者的状态的有监督学习来构建学习模型。作为其他方法,能够使用在训练数据中追加了与被拍摄者的动作相关的数据而得的数据集来提高推定状态的精度。
另外,除了来自血流分析装置100的信号输出部15的数据和由对应的其他单元得到的被拍摄者的状态的数据集之外,也可以利用深度学习来构建推定被拍摄者的状态的模型,该深度学习使用该测量出的顺序、时刻等时间序列信息作为学习数据。例如,作为学习的方法能够利用RNN(Recurrent Neural Network循环神经网络)。特别是,考虑与血流变化的增减、变化速度有关的信息,能够构建用于推定被拍摄者的状态的模型,因此能够在增加推定的状态的种类的同时提高精度。
DB更新部164也可以是通过在学习部165用于学习的现有条件中插入新的条件项目来强化学习的结构。根据本结构,即使在条件的自由度少,不再进行用于正确判断评价函数的变更的情况下,也能够给予通过增加条件来提高正确判断的概率的余地。学习数据不仅将指标DB161作为对象,还能够将个人修正值DB162和复合推定DB163作为对象。
当使用个人修正值DB162的数据进行学习时,能够得到考虑了个人差异的评价函数。在追加新的测定对象者时,根据进行了简易测定的结果,关于个人修正值,提供表示与测定对象者类似的特性的已经登记的个人修正值作为初始值,然后根据改变了条件的测定结果和人的状态进行学习,由此能够采取更快地收敛的方法。
当使用复合推定DB163所具有的数据进行学习时,能够根据从外部得到的学习数据、从血流分析装置100得到的多种数据得到更详细的数据。例如,在对某个被检验者进行了测定时,可知相关分析部142所输出的血流的相关值高达0.97,如果稳定了1分钟,则状态无变化而稳定。若脉搏的测定结果为60bpm,并且个人修正值DB162所具有的被检验者的平时脉搏为64bpm,则能够判定为与平时的脉搏相比较低。由于已知一般在脉搏较低时放松,因此能够推定放松且稳定的更详细的状态。作为学习数据,如果通过其他摄像机进行拍摄的结果,给出表示未移动身体的信号,则推定为安静,能够进行在放松状态下稳定的更高精度的判定。这样,能够组合不同的信息来更详细地推定人的状态。
也可以使用多种学习数据,在其种类涉及多个方面的情况下使用深度学习模型,也可以使用在计算的中途降低维数来提高计算效率的方法。例如,在将来自血流分析装置100的信号输出部15的数据和测定了对应的被拍摄者的血流而得到的外观一起作为学习数据集的情况下,能够取得数据的维数按外观的空间分辨率增加的数据结构。这样,在提高学习数据的维数大幅度增加的情况下的计算效率的情况下是有效的。作为设想了本条件的测定例,考虑将基于从外观得到的肌肉收缩的变形、或者具有表情信息的影像的成分与血流相关的数据并用而用于学习数据的情况。如果是这样的条件,则学习数据的维数增加,因此能够实现能够应对更多条件的学习模型,能够扩充可推定的被拍摄者的状态的种类,改善稳定性和精度。
<实施方式4:总结>
本实施方式4的生物体信息分析系统2通过学习部165使用学习数据来学习被检验者的动作状态与测定结果之间的关系,能够持续提高动作状态的推定精度。另外,通过使用从血流分析装置1以外取得的数据作为学习数据,能够基于多个不同的数据更详细地推定人的状态。
<关于本发明的变形例>
本发明并不限定于所述的实施方式,包括各种变形例。例如,所述的实施方式是为了容易理解地说明本发明而详细地进行了说明的实施方式,并不限定于必须具备所说明的全部结构。另外,能够将某实施方式的结构的一部分置换为其他实施方式的结构,另外,也能够在某实施方式的结构中添加其他实施方式的结构。另外,对于各实施方式的结构的一部分,能够进行其他结构的追加、删除、置换。
在以上的实施方式中,影像解析部12、血流分布解析部14、血流分布检测部13、信号输出部15、状态推定部16、信号输出部17、显示部18也能够由安装了这些功能的电路器件等硬件构成,也能够通过运算装置执行安装了这些功能的软件来构成。
在以上的实施方式中,状态推定部16也能够设为血流分析装置1的结构要素。在该情况下,状态推定部16也能够构成为独立的功能部,也能够构成为其他功能部的一部分。例如,作为血流分布解析部14的一部分来构成状态推定部16,血流分布解析部14也可以推定被检体的状态并输出其结果。
Claims (15)
1.一种血流分析装置,对被检体的血流进行分析,其特征在于,
该血流分析装置具备:
可见光摄像部,其对测定所述血流的测定区域中的可见光的光分布进行拍摄;
血流分布检测部,其使用由所述可见光摄像部拍摄到的可见光图像来检测所述血流的分布;
血流比较部,其使用所述血流分布检测部检测出的血流分布,对不同的测定区域间的血流进行比较;以及
相关分析部,其使用所述血流分布检测部检测出的血流分布,对在不同的测定区域中同时产生的血流间的相关进行分析。
2.根据权利要求1所述的血流分析装置,其特征在于,
所述相关分析部以比所述被检体的脉搏周期高的频度计算通过在不同的测定区域同时产生的各血流的相位和振幅表示的量,由此以比所述脉搏周期高的频度对所述相关进行分析。
3.根据权利要求1所述的血流分析装置,其特征在于,
所述相关分析部计算指标值,该指标值表示第一测定区域中的第一血流的增减与在与所述第一测定区域不同的第二测定区域中与所述第一血流同时产生的第二血流的增减之间的相关,
所述相关分析部根据所述指标值,推定所述被检体正在实施的动作并输出其结果。
4.根据权利要求3所述的血流分析装置,其特征在于,
在所述指标值为第一阈值以上的情况下,所述相关分析部输出所述被检体为安静状态的意思的推定结果。
5.根据权利要求4所述的血流分析装置,其特征在于,
在所述指标值为小于所述第一阈值且为比所述第一阈值小的第二阈值以上的情况下,所述相关分析部输出所述被检体为活动状态的意思的推定结果。
6.根据权利要求5所述的血流分析装置,其特征在于,
在所述指标值小于所述第二阈值的情况下,所述相关分析部输出所述被检体为在安静状态与活动状态之间转移的过渡状态的意思的推定结果。
7.根据权利要求3所述的血流分析装置,其特征在于,
在所述指标值的时间变化率为第三阈值以上的情况下,所述相关分析部输出所述被检体的动作状态发生了变化的意思的推定结果,
在所述指标值的时间变化率小于所述第三阈值的情况下,所述相关分析部输出所述被检体的动作状态稳定的意思的推定结果。
8.根据权利要求1所述的血流分析装置,其特征在于,
所述血流比较部将通过动静脉吻合而血流量发生变化的第一测定区域中的血流与由动静脉吻合引起的血流量的变化比所述第一测定区域小的第二测定区域中的血流进行比较,从而推定动静脉吻合的变化并输出其结果。
9.根据权利要求8所述的血流分析装置,其特征在于,
所述血流比较部通过推定所述动静脉吻合的变化,检测所述被检体的自主神经的平衡变化并输出其结果。
10.根据权利要求1所述的血流分析装置,其特征在于,
所述血流分析装置还具备被检体追踪部,该被检体追踪部在映现在所述可见光图像中的所述被检体进行了移动时,确定其移动前后的所述被检体的位置,
所述血流分布检测部检测所述被检体追踪部确定出的所述位置的血流分布。
11.根据权利要求1所述的血流分析装置,其特征在于,
所述血流分析装置还具备面部追踪部,该面部追踪部确定在所述可见光图像中映现的所述被检体的面部部分,
所述血流分布检测部检测所述面部追踪部确定出的所述面部部分的血流分布。
12.一种生物体信息分析系统,其特征在于,
该生物体信息分析系统具备:
权利要求1所述的血流分析装置;以及
状态推定部,其使用由所述血流分析装置分析出的所述血流来推定所述被检体正在实施的动作。
13.根据权利要求12所述的生物体信息分析系统,其特征在于,
所述生物体信息分析系统还具备指标数据库,该指标数据库记述了表示所述血流的状态的指标值与所述被检体正在实施的动作之间的关系,
所述状态推定部使用所述指标值参照所述指标数据库,由此推定所述被检体正在实施的动作。
14.根据权利要求13所述的生物体信息分析系统,其特征在于,
所述生物体信息分析系统还具备按每个所述被检体记述了修正所述指标值的修正值的修正值数据库,
所述状态推定部从所述修正值数据库取得与所述被检体对应的所述修正值,
所述状态推定部使用通过从所述修正值数据库取得的所述修正值来进行修正后的所述指标值来参照所述指标数据库,由此推定所述被检体正在实施的动作。
15.根据权利要求13所述的生物体信息分析系统,其特征在于,
所述生物体信息分析系统还具备学习部,该学习部通过机器学习来学习所述指标值与所述被检体正在实施的动作之间的关系,
所述指标值是所述血流分析装置或所述血流分析装置以外的装置取得的表示所述血流的状态的值,
所述学习部按照学习到的所述关系来更新所述指标数据库。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021-016765 | 2021-02-04 | ||
JP2021016765A JP7487124B2 (ja) | 2021-02-04 | 2021-02-04 | 血流分析装置、生体情報分析システム |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114847907A true CN114847907A (zh) | 2022-08-05 |
Family
ID=82612056
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210053656.4A Pending CN114847907A (zh) | 2021-02-04 | 2022-01-17 | 血流分析装置、生物体信息分析系统 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220240799A1 (zh) |
JP (1) | JP7487124B2 (zh) |
CN (1) | CN114847907A (zh) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5204477B2 (ja) | 2007-12-25 | 2013-06-05 | パナソニック株式会社 | 健康管理システム |
WO2016163019A1 (ja) | 2015-04-10 | 2016-10-13 | 株式会社日立製作所 | 生体情報分析システム |
JP7136603B2 (ja) | 2018-06-25 | 2022-09-13 | グローリー株式会社 | 生体判定システム、生体認証システム、生体判定プログラム、及び生体判定方法 |
JP7373298B2 (ja) | 2019-04-26 | 2023-11-02 | 株式会社日立製作所 | 生体情報検出装置、生体情報検出方法および生体情報検出プログラム |
-
2021
- 2021-02-04 JP JP2021016765A patent/JP7487124B2/ja active Active
-
2022
- 2022-01-14 US US17/575,884 patent/US20220240799A1/en active Pending
- 2022-01-17 CN CN202210053656.4A patent/CN114847907A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
JP2022119550A (ja) | 2022-08-17 |
US20220240799A1 (en) | 2022-08-04 |
JP7487124B2 (ja) | 2024-05-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8542877B2 (en) | Processing images of at least one living being | |
JP6308161B2 (ja) | 脈波検出装置、及び脈波検出プログラム | |
CN105451646B (zh) | 用于提取生理信息的设备、系统和方法 | |
RU2656760C2 (ru) | Система и способ для извлечения физиологической информации из удаленно обнаруженного электромагнитного излучения | |
CN109977858B (zh) | 一种基于图像分析的心率检测方法及装置 | |
RU2620571C2 (ru) | Обнаружение сигнала с уменьшенным искажением | |
US10004410B2 (en) | System and methods for measuring physiological parameters | |
CN105636506B (zh) | 用于远程光体积描记法的自动相机调节 | |
CN107427233B (zh) | 脉波检测装置、以及脉波检测程序 | |
US10098592B2 (en) | Blood flow image diagnosing device and method | |
US20090216092A1 (en) | System for analyzing eye responses to accurately detect deception | |
CN109890274A (zh) | 用于确定对象的核心体温的设备、系统和方法 | |
KR101426750B1 (ko) | 열화상을 이용한 심박수 측정 시스템 | |
CN109890278B (zh) | 用于获得对象的生命信号的设备、系统和方法 | |
WO2013046082A2 (en) | Distortion reduced signal detection | |
JPWO2019116996A1 (ja) | 血圧測定装置、および、血圧測定方法 | |
JP2019000474A (ja) | 脈拍周期検出装置、脈拍周期検出方法、脈拍周期検出プログラム、及び脈波検出装置 | |
JP2019042145A (ja) | 心拍変動の推定方法、心拍変動の推定プログラム及び心拍変動推定システム | |
KR101787828B1 (ko) | 스킨컬러 필터를 이용한 심박수 측정시스템 | |
JP6455761B2 (ja) | 脈波検出装置、及び脈波検出プログラム | |
CN108717872A (zh) | 基于面部、手部识别和大数据的健康分析方法及系统 | |
WO2019145142A1 (en) | Device, system and method for determining at least one vital sign of a subject | |
CN114847907A (zh) | 血流分析装置、生物体信息分析系统 | |
CN113395932A (zh) | 血压测量装置、模式设定装置以及血压测量方法 | |
JP7387802B2 (ja) | 検査装置、検査方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |