CN116636818A - 测量装置、测量方法以及记录介质 - Google Patents

测量装置、测量方法以及记录介质 Download PDF

Info

Publication number
CN116636818A
CN116636818A CN202310086238.XA CN202310086238A CN116636818A CN 116636818 A CN116636818 A CN 116636818A CN 202310086238 A CN202310086238 A CN 202310086238A CN 116636818 A CN116636818 A CN 116636818A
Authority
CN
China
Prior art keywords
frame rate
flicker
living body
pulse wave
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310086238.XA
Other languages
English (en)
Inventor
富泽亮太
足立佳久
奥村哲也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of CN116636818A publication Critical patent/CN116636818A/zh
Pending legal-status Critical Current

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physics & Mathematics (AREA)
  • Physiology (AREA)
  • Cardiology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)

Abstract

测量装置包括:拍摄部,拍摄生命体并取得动态图像;像素值计算部,根据构成动态图像的各图像,计算关注区域的像素值的代表值,其中关注区域包含生命体的像;以及脉波计算部,根据代表值的时间变化计算脉波信号,拍摄部以能够将由脉波信号中包含的闪烁和帧率引起的频率成分与由脉波信号中包含的生命体的时间变化引起的频率成分分离的帧率对生命体进行拍摄。

Description

测量装置、测量方法以及记录介质
技术领域
本公开涉及测量装置、测量方法以及记录介质。
背景技术
国际公开WO2016/163019公开了如下技术:通过对沿着血流接近的两个区域或三个区域的图像信息的差分信号进行解析,从而抑制来自外部的噪声,测量脉搏数、脉搏波形、脉搏波传播速度、血压等生命体信息。日本特开2019-042145号公报公开了如下技术:基于两种波段的动态图像计算照明变化成分和血红蛋白成分,基于计算出的血红蛋白成分推定心率变动。
日本特开2005-033616号公报公开了如下技术:在设摄像装置的垂直同步频率fv(Hz)、N为正整数时,在120/fv为整数的情况下,设定为曝光时间为N/120(秒)的电子快门速度,在100/fv为整数的情况下,设定为曝光时间为N/100(秒)的电子快门速度。
发明内容
本发明所要解决的技术问题
在国际公开WO2016/163019以及日本特开2009-042145号公报中公开的技术中,在由闪烁(flicker)引起的噪声的频率和脉搏数为相同程度的情况下,存在无法分离由闪烁引起的噪声与由生命体的时间变化引起的频率成分的担忧。因此,本公开的一方面的目的在于提供一种能够分离由闪烁引起的噪声与由生命体的时间变化引起的频率成分的测量装置、测量方法以及记录介质。
本公开的一方式涉及的测量装置包括:拍摄部,拍摄生命体并取得动态图像;像素值计算部,根据构成所述动态图像的各图像,计算关注区域的像素值的代表值,其中所述关注区域包含所述生命体的像;以及脉波计算部,根据所述代表值的时间变化计算脉波信号,所述拍摄部以能够将由所述脉波信号中包含的闪烁和帧率引起的频率成分与由所述脉波信号中包含的所述生命体的时间变化引起的频率成分分离的所述帧率对所述生命体进行拍摄。
本公开的一方式涉及的测量方法包括:拍摄生命体并取得动态图像的工序;根据构成所述动态图像的各图像,计算关注区域的像素值的代表值的工序,其中所述关注区域包含所述生命体的像;以及根据所述代表值的时间变化算出脉波信号的工序,在取得所述动态图像的工序中,以能够将由所述脉波信号中包含的闪烁和帧率引起的频率成分与由所述脉波信号中包含的所述生命体的时间变化引起的频率成分分离的所述帧率对所述生命体进行拍摄。
本公开的一方式涉及的计算机可读取的记录介质,记录有程序,所述程序使计算机执行以下功能:拍摄生命体并取得动态图像的功能;根据构成所述动态图像的各图像,计算关注区域的像素值的代表值的功能,其中所述关注区域包含所述生命体的像;以及根据所述代表值的时间变化算出脉波信号的功能,在取得所述动态图像的功能中,以能够将由所述脉波信号中包含的闪烁和帧率引起的频率成分与由所述脉波信号中包含的所述生命体的时间变化引起的频率成分分离的所述帧率对所述生命体进行拍摄。
附图说明
图1是示出测量装置的使用方式的一例的图。
图2是表示第一实施方式的测量装置的构成的一例的框图。
图3是示出闪烁相关信息的示例的图。
图4是表示第一实施方式的测量装置的动作的一例的流程图。
图5是表示第二实施方式的测量装置的构成的一例的框图。
图6是示出帧率表的一个例子的图。
图7是表示第二实施方式的测量装置的动作的一例的流程图。
图8是示出在闪烁频率为120Hz的情况下折叠失真的频率和帧率之间的关系的一例的曲线图。
图9是放大图8例示的曲线图中、帧率为的范围的曲线图。
图10是表示第三实施方式的测量装置的构成的一例的框图。
图11是表示第三实施方式的测量装置的动作的一例的流程图。
图12是示出接着图11的第三实施方式所涉及的测量装置的动作的一例的流程图。
图13是表示第三实施方式的变形例涉及的测量装置的构成的一例的框图。
具体实施方式
(第一实施方式)
参照图1图4,对第一实施方式进行说明。另外,对于附图,对相同或等同的要素赋予相同的附图标记,并省略重复的说明。
图1是示出测量装置100的使用方式的一例的图。如图1所例示,测量装置100具备拍摄部101。
测量装置100根据由拍摄部101取得的图像计算表示脉波的脉波信号。例如,测量装置100是PC(Personal Computer:个人计算机)、智能手机、平板终端、脉波推定专用终端等。在本说明书中,脉波是指,关于体表的同一位置,根据表示图像中包含的像素的像素值的时序信号计算出的、表示血管的容积变化的时序信号。在本说明书中,像素值是表示图像中包含的像素的亮度的信息,例如是每个R(Red)、G(Green)、B(Blue)的像素的像素值或像素的亮度值。
拍摄元件101例如包括CCD(Charge Coupled Devices:电荷耦合器件)传感器或CMOS(Complementary Metal Oxide Semiconductor:互补金属氧化物半导体)传感器。拍摄部101也可以由包含RGB(Red Green Blue)滤光片的相机用的图像传感器构成。
图2是表示测量装置100的构成的一例的框图。测量装置100具备拍摄部101、存储部201和控制部202。
拍摄部101拍摄与拍摄部101相对的生命体102,获取包含生命体102的体表的像的图像。例如,体表的像是生命体102的额头的像、脸颊的像、指尖的像、手腕的像、手掌的像等。
具体而言,拍摄部101以能够将脉波信号中包含的闪烁及帧率的频率成分和脉波信号中包含的生命体102的时间变化引起的频率成分分离的帧率,在预先规定的时间拍摄生命体102,获取包含生命体102的体表的像的图像。由生命体102的时间变化引起的频率成分是表示血管的容积变化引起的像素值的变化频率成分。闪烁是光源的周期性亮度的变化。在发生了闪烁的情况下,由拍摄部101取得的图像所包含的像素的像素值周期性地变化。周期信号在与信号不同的频率下观测的情况下,观测到被称为折叠失真的信号。因此,在发生闪烁、且帧率与闪烁的频率不同的情况下,在表示时间序列的像素值的信号中,观测到折叠失真。
存储部201是能够记录各种数据、程序等的记录介质,例如由硬盘、SSD(SolidState Drive:固态驱动器)、半导体存储器等构成。存储部201中存储有关拍摄部101的设定的闪烁相关信息211(参照图3)。
控制部202按照保存于存储部201的程序和数据执行各种处理。控制部202包含CPU(Central Processing Unit,中央处理单元)等的处理器。
控制部202具备拍摄控制部203、像素值计算部204、脉波计算部205以及生命指标计算部206。
拍摄控制部203基于闪烁的有无或闪烁的频率fq来确定最佳帧率212。于是,拍摄控制部203控制拍摄部101的设置,以按照最佳帧率212成像生命体102。具体地,拍摄控制部203确定拍摄控制信息213,以按照最佳帧率212拍摄生命体102。拍摄控制信息213包括表示曝光时间的信息。即,控制拍摄部101的设定包括调整曝光时间。
像素值计算部204根据构成动态图像214的各图像,计算包含生命体102的图像的关注区域的像素值的代表值215。
脉波计算部205根据代表值215的时间变化计算脉波信号216。
生命指标算出部206从脉波信号216算出测量对象的生命指标。例如,测量对象的生命指标包括关于血压的指标以及关于脉搏数的指标等。
图3是示出闪烁相关信息211的一例的图。闪烁相关信息211表示闪烁的有无和闪烁的频率fq。图3所示例的闪烁相关信息211表示存在闪烁。此外,图3所例示的闪烁相关信息211表示闪烁的频率fq为120Hz。例如,由闪烁相关信息211指示的闪烁的频率fq是对应于照明的值。例如,在日本时,在使用60Hz的电源的西日本,产生120Hz的频率的闪烁,在使用50Hz的电源的东日本,可能产生100Hz的频率的闪烁。应注意,当指示没有闪烁时,闪烁相关信息211可以不指示闪烁的频率fq。
图4是表示本实施方式的测量装置100的动作的一例的流程图。在本例中,在测量装置100起动的情况下,控制部202开始图4例示的步骤S401的处理。在控制部202开始图4所例示的步骤S401处理的时刻,将闪烁相关信息211存储在存储部201中。
在步骤S401中,拍摄控制部203确定是否存在闪烁。具体地,当闪烁相关信息211指示存在闪烁时,拍摄控制部203确定存在闪烁。另一方面,当闪烁相关信息闪烁相关信息指示没有闪烁时,拍摄控制部203判定没有闪烁。
在步骤S401中判定为没有闪烁的情况下,在步骤S402中,拍摄控制部203将规定帧率决定为最佳帧率212。具体地,拍摄控制部203确定拍摄控制信息213,使得拍摄部101以规定帧率对生命体102成像。例如,规定帧率是60fps(Frames per second)。然后,控制部202通过将处理转移到步骤S404。
另一方面,当在步骤S401中判断为存在闪烁时,在步骤S403中,拍摄控制部402基于闪烁的频率fq确定最佳帧率212。具体地,当在步骤S401中判断为存在闪烁时,拍摄控制部402基于由闪烁相关信息211指示的闪烁的频率fq来确定最佳帧率212。更具体地,当存在闪烁时,拍摄控制部203确定最佳帧率212,使得闪烁的频率fq和最佳帧率212的整数倍之间的差的绝对值等于或大于阈值TH。例如,阈值TH为预定值。或者,阈值TH也可以是与测量对象的生命指标的类别相应的值。然后,控制部202通过将处理转移到步骤S404。
在步骤S404中,拍摄控制部203控制拍摄部101获取动态图像214,以使拍摄部101以步骤S402或者步骤S403决定的最佳帧率212在规定时间内拍摄生命体102。拍摄部101将构成所取得的动态图像214的各图像输出到像素值计算部204。
例如,拍摄部101控制拍摄部101,使拍摄部101以规定时间以最佳帧率212拍摄生命体102,并将构成动态图像214的各图像输出到像素值计算部204。在这种情况下,当存在闪烁时,在规定时间获取的图像数是通过将规定时间的闪烁发生次数除以整数得到的数。或者,在拍摄部101取得构成动态图像214的各图像的情况下,在像素值计算部204能够接受图像输入的时刻,拍摄部101也可以将构成动态图像214的各图像输出到像素值计算部204。
例如,在存在闪烁的情况下,在表示动态图像214所包含的像素的像素值的时间变化的时序信号中观测到折叠失真。折叠失真是由该时序信号中包含的闪烁和帧率引起的频率成分,在该时序信号中,具有作为闪烁的频率fq与帧率的整数倍之差的绝对值的频率。即,折叠失真的频率fa通过式(1)算出。N为正整数。帧率fr是拍摄部101获取构成动态图像214的各图像的实际的帧率。
[数1]
fa=|fq-N·fr| (1)
例如,在闪烁的频率fq为120Hz的情况下,在拍摄部101以1/60秒的曝光时间拍摄生命体102的情况下,在表示动态图像214所包含的像素的像素值时间变化的时序信号中,未观测到折叠失真。因此,当闪烁的频率fq为120Hz时,为了抑制闪烁的影响,期望以1/60秒的曝光时间拍摄生命体102。但是,实际上,拍摄部101在拍摄生命体102时,未必能够以1/60秒的曝光时间稳定地拍摄生命体102。例如,在像素值计算部204中的处理时间比基于最佳帧率212的帧间的时间长的情况下,实际的帧率fr比最佳帧率212低。因此,在拍摄控制部203将最佳帧率212决定为60fps的情况下,为了以60fps的帧率获取构成运动图像214的各图像,曝光时间有可能比1/60秒短。
另外,在拍摄部101中能够以小数设定曝光时间的情况下,1/60秒是循环小数,因此拍摄部101不能准确地设定1/60秒的曝光时间。
或者,由于拍摄部101的处理时间以及构成动态图像214的帧间的处理时间,有时帧率fr不稳定而随机地偏差。在这种情况下,即使在拍摄控制部203将最佳帧率212确定为60fps的情况下,拍摄部101有时也会以与作为最佳帧率212的60fps不同的帧率稳定。
例如,假设拍摄部101获取组成运动图像214的每个图像,其中闪烁频率fq是120Hz并且拍摄部101是59.9fps的帧率fr。在这种情况下,观测到频率fa为0.2Hz(=|120-2×59.9|)的折叠失真。即,构成动态图像214的各图像的像素值以5秒周期变动。
此外,例如,假设拍摄部101获取组成运动图像214的每个图像,其中闪烁频率fq是120Hz并且拍摄部101是59.5fps的帧率fr。在这种情况下,观测到频率fa为1Hz(=|120-2×59.5|)的折叠失真。
例如,基于折叠失真的频率fa是1Hz的频率成分与在后述的步骤S407中算出的脉波信号216中包含的、脉搏数是60次/分钟时的频率成分相同。健康的成人安静时的脉搏的频率是0.7Hz~1.5Hz,因此,在脉波信号216中包含1Hz即折叠失真的情况下,在后述的S409中,生命指标算出部206不能从脉波信号216中恰当地算出脉搏数。
因此,即使在获取构成动态图像214的各图像的实际帧率fr比最佳帧率212低的情况下,拍摄控制部203将最佳帧率212决定为能够使由在后述的步骤S407中计算出的脉波信号216中包含的闪烁和帧率引起的频率成分以及由脉波信号216中包含的生命体102的时间变化引起的频率成分。
在步骤S405中,像素值计算部204对构成动态图像214的各图像决定关注区域。关注区域是各图像中的作为体表的区域的一部分,包含多个像素的区域。例如,在动态图像214包括生命体102的脸部区域的情况下,关注区域包括脸颊部分、额头部分或眉间部分。关注区域的个数既可以是一个,也可以是多个。关注区域的形状可以是由直线包围的多边形,也可以是由曲线包围的形状。或者,关注区域也可以是由直线和曲线构成的封闭区域。
在步骤S406中,像素值计算部204针对构成动态图像214的各图像,计算在步骤S405中决定的关注区域的像素值的代表值215。例如,代表值215是关注区域的各像素的像素值的平均值、中位值或者众数。另外,在拍摄部101由包含RGB滤光片的摄像机用的图像传感器构成的情况下,像素值计算部204也可以对R、G、B分别计算像素值的代表值。
在步骤S407中,脉波计算部205根据代表值215的时间变化计算脉波信号216。具体地,脉波计算部205根据在体表区域中与相同位置对应的代表值215的时间变化计算脉波信号216。例如,脉波计算部205通过主成分分析、独立成分分析等多变量分析对表示代表值215的时间变化的信号进行处理,并将处理后的结果作为脉波信号216算出。代表值的时间变化包括血管的容积变化的信息。
在步骤S408中,生命指标计算部206从脉波信号216提取规定频带的频率成分的信号。例如,规定频带是与测量对象的生命指标的类别对应的频带。具体而言,生命指标算出部206通过向测量对象的生命体指标的类别相应频带的带通滤波器输入脉波信号216,从脉波信号216提取与测量对象的生命体指标的类别相应的频带信号。
在此,拍摄控制部203通过决定最佳帧率212,使得闪烁的频率fq与帧率的整数倍之差的绝对值为阈值TH以上,从而能够将脉波信号216中包含的闪烁和帧率的频率成分与脉波信号216中包含的生命体102的时间变化引起的频率成分分离。
脉波信号216不限于折叠失真,还包含比脉波信号216所包含的生命体102引起的时间变化的频率成分更高频的噪声。因此,生命指标算出部206通过从脉波信号216中去除比测量对象的生命体指标的类别相应的频带高的频率成分,能够从脉波信号216中提取与测量对象的生命体指标的类别相应的频带的频率成分。
例如,在闪烁的频率fq为120Hz、且步骤S404中拍摄部101在55fps的实际的帧率fr下拍摄部101获取构成动态图像214的各图像的情况下,观测到频率fa为10Hz(=|120-2×55|)的折叠失真。
例如,测量对象的生命指标为脉搏数,作为脉波数的生命体指标的类别相应的频带为0.7Hz以上且1.5Hz以下。然后,观测到频率fa为10Hz的折叠失真。在该情况下,例如,生命指标算出部206向脉波信号216输入0.7Hz以上且1.5Hz以下的频带的带通滤波器。由此,生命指标算出部206能够从脉波信号216中去除频率为10Hz的频率成分。
此外,例如,在闪烁的频率fq为100Hz,且,拍摄部101在52fps的实际帧率fr下拍摄部101获取构成动态图像214的各图像。在这种情况下,观测到频率fa为4Hz(=|100-2×52|)的折叠失真。
此外,例如,在步骤S403中,拍摄控制部203将最佳帧率212决定为60fps。在该情况下,在闪烁的频率fq为120Hz,且,拍摄部101在62fps的实际帧率fr下拍摄部101获取构成动态图像214的各图像。在这种情况下,观测到频率fa为4Hz(=|120-2×62|)的折叠失真。
因此,例如,生命指标算出部206向脉波信号216输入截止频率为4Hz的低通滤波器。由此,生命指标算出部206能够从脉波信号216中去除具有比4Hz高的频率的频率成分。
因此,在步骤S403中,拍摄控制部203通过决定最佳帧率212,使得闪烁的频率与帧率的整数倍之差的绝对值为阈值TH以上,从而能够将闪烁和帧率引起的频率成分与脉波信号216中包含的生命体102的时间变化引起的频率成分分离。
在步骤S409中,生命指标计算部206根据在步骤S408中提取出的信号来计算测量对象的生命指标。例如,在测量对象的生命指标的类别为血压的情况下,生命指标计算部206基于在步骤S408中提取出的信号的上升角度来计算最高血压。另外,例如,在测量对象的生命指标的类别为脉搏数的情况下,生命指标算出部206基于在步骤S408中提取出的信号的峰值数来算出脉搏数。
根据以上,本实施方式所涉及的测量装置100决定最佳帧率212,以便能够分离脉波信号216中包含的闪烁和帧率引起的频率成分以及由脉波信号216中包含的生命体102的时间变化引起的频率成分。本实施方式所涉及的测量装置100能够抑制由闪烁引起的噪声的影响,并根据拍摄生命体102而得到的动态图像214来计算血压等生命体指标。
此外,例如,在日本特开2005-033616号公报中公开了如下内容:在拍摄部101以60fps的帧率取得构成动态图像214的各图像的情况下,通过以1/120秒的曝光时间取得构成动态图像214的各图像,能够抑制频率fq为120Hz的闪烁的影响。但是,涉及本实施方式的测量装置100,也可以是拍摄部101以比1/120秒长的曝光时间拍摄生命体102,以60fps的帧率fr取得动态图像。也就是说,本实施方式所涉及的测量装置100即使在拍摄部101以比1/120秒长的曝光时间拍摄生命体102,并以60fps的帧率获取动态图像的情况下,也能够分离脉波信号216中包含的闪烁和帧率引起的频率成分和起因于脉波信号216中包含的生命体102的时间变化引起的频率成分。因此,本实施方式的测量装置100与应用日本特开2005-033616号公报所公开的技术来拍摄生命体102的情况相比,即使在较暗的环境中拍摄生命体102的情况下,也能够适当地计算测量对象的生命指标。
(第一实施方式的变形例)
作为本实施方式所涉及的测量装置100的变形例,拍摄控制部203在没有闪烁的情况下,也可以将与测量对象的生命指标的类别相关联的值确定为最佳帧率212。由此,拍摄部101能够以与测量对象的闪烁指标的类别对应的帧率拍摄生命体102。
(第二实施方式)
参照图5图9,对第二实施方式进行说明。另外,对于附图,对相同或等同的要素赋予相同的附图标记,并省略重复的说明。用共同的标号参照具有与其他实施方式实质上共同的功能的构成以及处理来省略说明,并说明与其他实施方式不同的点。
图5是本实施方式涉及的表示测量装置100的构成的一例的框图。图2所例示的测量装置100与图5所例示的测量装置100的不同点在于:图5所例示的测量装置100具备闪烁检测部501,在存储部201中存储帧率表511这一点。
闪烁检测部501检测选自闪烁的有无和闪烁频率的至少一种。
图6是示出帧率表511的一个例子的图。登记帧率与帧率表511相关联。具体而言,在帧率表511中,登记有登记频率与登记帧率的整数倍之差的绝对值为阈值以上的帧率作为登记帧率。
例如,在登记频率为120Hz的情况下,登记帧率为50fps。此外,例如,在登记频率为100Hz的情况下,登记帧率为60fps。另外,图6所例示的登记频率以及登记帧率是一个例子,并不是将登记频率以及登记帧率限定于图6所例示的数值。
例如,也可以按测量装置100的制造商或机型将登记频率与登记帧率相关联地登记在帧率表511中。或者,用户可以使用测量装置100所具备的操作部(未图示)输入登记频率和登记帧率,将登记频率和登记帧率相关联地登记在帧率表511中。
图7是表示本实施方式的测量装置100的动作的一例的流程图。在本例中,在测量装置100起动的情况下,控制部202开始图7例示的步骤S701的处理。在控制部202开始图7所例示的步骤S701处理的时刻,将帧率表511存储在存储部201中。
步骤S701中,拍摄控制部203启动拍摄部101。拍摄部101在启动的情况下,开始拍摄拍摄范围以取得图像的处理。步骤S701中获取的图像是为了检测闪烁的有无而获取的图像。当拍摄部101为了检测闪烁的有无而拍摄图像时,拍摄范围中也可以不存在生命体102。
步骤S702中,闪烁检测部501判定是否检测到闪烁。例如,闪烁检测部501根据为了检测闪烁的有无而拍摄的图像中包含的规定区域中的像素的像素值来计算亮度值。规定区域是与体表不同的区域。在该情况下,闪烁检测部501根据表示计算出的亮度值的时间变化的时序信号,检测亮度值的时间变化的峰值的时刻。当亮度值的时间变化的峰值时刻是周期性时,闪烁检测部501判定检测到闪烁。例如,当亮度值的时间变化的峰值时刻是预先设定的由闪烁引起的周期时,闪烁检测部501判定检测到闪烁。另一方面,当亮度值的时间变化的峰值时刻不是周期性时,闪烁检测部501判定不能检测到闪烁。另外,闪烁检测部501可以以多个帧率拍摄成像范围,并且在亮度值的时间变化的峰值时刻的周期彼此不同的情况下,判定检测到闪烁。
在步骤S702中判定为没有闪烁的情况下,在步骤S703中,拍摄控制部203将规定帧率决定为最佳帧率212。步骤S703的处理与图4所例示的步骤S402的处理相同,因此省略详细说明。然后,控制部202通过将处理转移到图4例示的步骤S404。
另一方面,当在步骤S702中检测到闪烁时,在步骤S704中,闪烁检测部501检测闪烁的频率fq。例如,闪烁检测部501在检测到亮度值随时间变化的峰值时刻的情况下,从所检测到的时刻的时间间隔检测闪烁的频率fq。或者,闪烁检测部501可以计算与表示亮度值的时间变化的时序信号相关的频谱。并且,闪烁检测部501也可以在所算出的频谱中检测规定频带内的峰值频率作为闪烁的频率fq。
步骤S705中,拍摄控制部203在帧率表511中选择登记频率,该登记频率为最接近步骤S704中检测到的闪烁的频率fq的值。
步骤S706中,拍摄控制部203在帧率表511中将与所选择的登记频率建立了关联的登记帧率决定为最佳帧率212。然后,控制部202通过将处理转移到图4例示的步骤S404。
以此方式,根据本实施例的拍摄控制部203将与闪烁的频率fq相关联的帧率确定为最佳帧率。由此,本实施方式涉及的拍摄控制部203有可能能够将高于第一实施方式所涉及的拍摄控制部203所决定的最佳帧率212的帧率决定为最佳帧率212。例如,假设在存储部201中存储图5例示的帧率表511。在该情况下,例如,当在步骤S704中选择的登记频率为100Hz的情况下,拍摄控制部203将最佳帧率212决定为60Hz。
图8是示出在闪烁频率为120Hz的情况下折叠失真的频率和帧率之间的关系的一例的曲线图。在图8中,横轴取帧率,纵轴取折叠失真的频率。曲线图801曲线图804分别表示作为|120-f|、|120-2f|、|120-3f|、|120-4f|的折叠失真的频率与帧率f的关系。
图9是放大图8例示的曲线图中、帧率为的范围的曲线图。
例如,当闪烁的频率fq是120Hz时,拍摄部101对生命体102进行拍摄。例如,参照图9,在实际的帧率fr为45fps的情况下,观测15Hz以上的折叠失真的频率fa。此外,例如,参照图9,在实际的帧率fr为50fps的情况下,观测到20Hz以上的折叠失真的频率fa。因此,例如,拍摄控制部203通过将最佳帧率212决定为50fps,即使在实际的帧率fr降低到45fps的情况下,生命指标计算部206也能够从脉波信号216中提取频率低于15Hz的频率的频率成分的信号。
如上所述,根据本实施方式的测量装置100检测闪烁的有无,并控制拍摄部101的设置,以按照闪烁的频率fq以预先登记的帧率对生命体102成像。由此,本实施方式所涉及的测量装置100能够抑制闪烁导致的噪声的影响,且能够以尽可能高的帧率拍摄生命体102。其结果,本实施方式所涉及的测量装置100能够抑制由闪烁引起的噪声的影响,并且能够获取时间分辨率高于由第一实施方式所涉及的测量装置100算出的脉波信号216的脉波216。
(第三实施方式)
参照图10图12,对第三实施方式进行说明。另外,对于附图,对相同或等同的要素赋予相同的附图标记,并省略重复的说明。用共同的标号参照具有与其他实施方式实质上共同的功能的构成以及处理来省略说明,并说明与其他实施方式不同的点。
图10是本实施方式涉及的表示测量装置100的构成的一例的框图。图6所例示的测量装置100与图10所例示的测量装置100的不同点在于:图10所例示的测量装置100具备拍摄间隔计算部1001,具备拍摄控制部1002来代替拍摄控制部203。
拍摄间隔计算部1001根据取得构成动态图像214的各图像的时间差,计算实际帧率fr。
拍摄控制部1002根据实际帧率fr与最佳帧率212之间的差异,控制拍摄部101的设置。即,拍摄控制部1002根据实际帧率fr与最佳帧率212的差异,决定摄像控制信息1011。具体地,拍摄控制部1002控制拍摄部101的设置,使得实际帧率fr与最佳帧率212之间的差异落在预定范围内。
图11是表示本实施方式的测量装置100的动作的一例的流程图。图11中例示的步骤S1101步骤S1106的处理与图7中例示的步骤S701/>步骤S706的处理相同,因此省略详细的说明。
在步骤S1107中,拍摄控制部1002基于在步骤S1103或步骤S1106中决定的最佳帧率212,调整曝光时间ET1,决定拍摄部101的设定。即,拍摄控制部1002决定包含曝光时间ET1的信息的拍摄控制信息1011。拍摄控制信息1011包括表示曝光时间的信息。
在步骤S1108中,拍摄部101通过在步骤S1107或者后述的步骤S1204中决定的拍摄部101的设定,拍摄生命体102以获取图像。即,拍摄控制部1002控制拍摄部101,以拍摄控制信息1011所示的曝光时间ET1进行摄像。
在步骤S1109中,像素值计算部204针对在步骤S1108中获取到的图像,计算关注区域的像素值的代表值215。例如,步骤S1109的处理与图4所例示的步骤S406的处理相同。或者,像素值计算部204也可以基于曝光时间,将代表值215标准化。例如,像素值计算部204可以将代表值215标准化为曝光时间1秒时的值。例如,代表值215是200,取得计算出该代表值215的图像时的曝光时间是10ms。此时,像素值计算部204可以将代表值215标准化为20000[/秒](=200÷0.010秒)。
在步骤S1110中,拍摄控制部1002取得在步骤S1108中取得图像的时刻。例如,拍摄控制部1002在取得了取得图像的时刻的情况下,拍摄控制部1002将分配给该图像的帧编号与取得该图像的时刻相关联的时刻信息存储于存储部201。
在步骤S1111中,拍摄控制部1002以在步骤S1107或者后述的步骤S1204中决定的拍摄部101的设定,判定是否获取了规定数量的帧的图像。例如,规定数量的帧是连续的两帧。
在步骤S1111中未取得规定数的帧的图像的情况下,控制部202使处理返回到步骤S1108。即,控制部202通过所决定的拍摄部101的设定,重复步骤S1108步骤S1111的处理,直到取得规定数的帧的图像为止。另一方面,当在步骤S1111中取得了规定数量的帧的图像的情况下,控制部202将处理转移到图12所例示的步骤S1201。
接着,参照图12,继续说明本实施方式的测量装置100的动作。
在步骤S1201中,拍摄间隔计算部1001针对规定数量帧的图像,根据在图11中例示的步骤S1110中取得的时刻的时间差,计算实际的帧率fr。例如,拍摄间隔计算部1001通过从存储部201取得时刻信息,计算取得了规定数量帧的图像的时间差。
例如,拍摄间隔计算部1001在规定数量帧是两帧的情况下,计算取得连续两帧的图像的时刻t1与时刻t0之差的绝对值作为时间差。时刻t0是在连续两帧中的先前时刻取得帧的图像的时刻。时刻t1是在连续两帧中的时刻t0以后取得帧的图像的时刻。并且,拍摄间隔计算部1001计算计算出的时间差的倒数作为实际的帧率fr。即,拍摄间隔算出部1001通过fr=1/(t1-t0)的算出式来算出实际的帧率fr。
或者,例如,在规定数量的帧是3帧以上的情况下,也可以根据取得3帧以上中的连续两帧的图像的时间差来计算实际的帧率fr。
例如,在规定数量的帧为N帧的情况下,取得各帧的图像的时刻分别为时刻ti。N表示3以上的整数,i表示0以上且N-1以下的整数。在这种情况下,N帧中的两个连续帧的帧率分别是1/(tk-tk-1)。k为1以上且N-1以下的整数。拍摄间隔计算部1001计算与N个帧中的两个连续帧相关的帧率的代表值,作为实际的帧率fr。例如,拍摄间隔算出部1001通过fr=(ΣN-1 k=1(1/(tk-tk-1)))/(N-1)的算出式来算出实际的帧率fr。例如,在N=4的情况下,拍摄间隔计算部1001通过fr=((1/(t3-t2)+1/(t2-t1)+1/(t1-t0))/3的计算式来计算实际的帧率fr。
或者,拍摄间隔计算部1001也可以通过fr=(N-1)/(tN-1-t0)的计算式来计算实际的帧率fr。例如,在规定数量的帧是30帧的情况下,拍摄间隔计算部1001通过fr=29/(t29-t0)的计算式来计算实际的帧率fr。
在步骤S1202中实际的帧率fr比最佳帧率212低的情况下,在步骤S1203中,拍摄控制部1002决定比在图11所示例示的步骤S1108中取得图像时的曝光时间ET1短的新曝光时间ET2。拍摄控制部1002通过使新的曝光时间ET2比曝光时间ET1短,以后的实际帧率fr2比在步骤S1107中取得图像时的实际的帧率fr1高。
另外,拍摄控制部1002在新的曝光时间ET2比曝光时间ET1短的情况下,关于生命体102的相互相同区域的图像,在新的曝光时间ET2拍摄的图像12的像素值PIX2比在曝光时间ET1拍摄的图像11的像素值PIX1小。其结果,像素值PIX2的信噪比有可能低于像素值PIX1的信噪比。
因此,拍摄控制部1002也可以确定新的曝光时间ET2,以使新的曝光时间ET2为预先设定的下限曝光时间ETMIN以上。此外,拍摄控制部1002也可以根据测量装置100存在的摄像环境的亮度,设定下限曝光时间ETMIN。例如,拍摄控制部1002将相对明亮的环境中的下限曝光时间ETMIN设定得比相对暗的环境中的下限曝光时间ETMIN短。另外,拍摄控制部1002也可以以代表值215为预先设定的下限像素值PIXMIN以上的方式设定下限曝光时间ETMIN。
在步骤S1204中,拍摄控制部1002决定拍摄部101的设定,该设定包含在步骤S1203中所决定的新曝光时间ET2。具体地,拍摄控制部1002决定包括新的曝光时间ET2的拍摄控制信息1011。然后,控制部202通过将处理转移到图11例示的步骤S1108。
另一方面,在步骤S1202中实际帧率fr是最佳帧率212以上的情况下,在步骤S1205中,拍摄控制部1002判定实际帧率fr与最佳帧率212之间的差异是否在规定范围内。在步骤S1205中,在实际帧率fr与最佳帧率212的差异不在规定范围内的情况下,控制部202使处理返回图11所示例示的步骤S1108。另一方面,当在步骤S1205中实际帧率fr与最佳帧率212之差在规定范围内的情况下,在步骤S1206中,拍摄部101通过在步骤S1107或者步骤S1204中决定的拍摄部101的设定,在规定时间内拍摄生命体102以取得动态图像214。然后,控制部202通过将处理转移到图4例示的步骤S405。
另外,根据拍摄部101的处理时间以及像素值计算部204中的处理时间,有时实际的帧率fr与最佳帧率212的差异不在规定范围内。因此,拍摄控制部1002可以在超过规定次数调整曝光时间而拍摄部101拍摄生命体102的情况下,在实际帧率fr与最佳帧率212的差异不在规定范围内时,变更最佳帧率212。例如,当闪烁频率fq是120Hz并且拍摄控制部拍摄部确定最佳帧率212为60fps时,当实际帧率fr与最佳帧率212之间的差不在预定范围内时,拍摄控制部203可以将最佳帧率212确定为40fps。
同样地,拍摄控制部1002也可以将曝光时间决定为下限曝光时间ETMIN,在拍摄部101拍摄生命体102的情况下,在实际帧率fr与最佳帧率212的差异不在规定范围内时,变更最佳帧率212。
通过以上,本实施方式所涉及的测量装置100根据实际的帧率fr,以接近最佳帧率212的方式调整曝光时间。由此,本实施方式所涉及的测量装置100由于需要拍摄部101的处理时间以及像素值计算部204中的处理时间,从而即使在实际帧率fr比最佳帧率212低的情况下,也能够将脉波信号216中包含的闪烁所引起的噪声与脉波信号216中包含的生命体的时间变化所引起的频率成分分离。
(第三实施方式的变形例1)
作为根据本实施方式的测量装置100的变形例1,拍摄控制部1002可以根据闪烁的频率fq通过预定计算式来确定最佳帧率212。例如,拍摄控制部1002可以将通过用闪烁频率fq除以整数N获得的值确定为最佳帧率212。例如,当闪烁的频率fq为120Hz时,拍摄控制部1002可以将60fps(=120/2)确定为最佳帧率212。此外,例如,当闪烁的频率fq是100Hz时,拍摄控制部1002可以确定50fps(=100/2)作为最佳帧率212。
(第三实施方式的变形例2)
作为本实施方式所涉及的测量装置100的变形例2,拍摄控制部1002在能够设定帧率的上限值的情况下,也可以将帧率的上限值决定为在步骤S1103或步骤S1106中决定的最佳帧率212。由此,拍摄控制部1002能够防止实际帧率fr超过最佳帧率212。其结果,拍摄控制部1002容易将实际的帧率fr与最佳帧率212的差异设为规定范围内。
另外,在测量装置100不能设定帧率的上限值、且实际的帧率fr超过最佳帧率212的情况下,拍摄控制部203也可以通过将新的曝光时间ET2调整为比曝光时间ET1长,来调整使得实际帧率fr降低。
另外,曝光时间相对越长,像素值越大,信噪比相对变高。因此,通过使曝光时间相对较长,关于脉波信号216所包含的生命体102的时间变化引起的频率成分,信噪比相对变高。这里,在实际帧率fr与最佳帧率212之间的差异落在预定范围内的情况下,即使在曝光时间相对较长的情况下,拍摄控制部203也存在实际的帧率fr不变的情况。因此,拍摄控制部1002在实际的帧率fr与最佳帧率212的差异在规定范围内的情况下,也可以调整曝光时间,以使曝光时间相对较长。
但是,在使曝光时间相对较长的情况下,存在像素值变得过大而饱和的担忧。因此,拍摄控制部1002也可以预先设定代表值215的上限值即上限代表值。在此情况下,拍摄控制部1002也可以在实际帧率fr与最佳帧率212的差异在规定范围内、且代表值215小于上限代表值的情况下,将曝光时间调整为相对较长。
(第三实施方式的变形例3)
作为本实施方式所涉及的测量装置100的变形例3,测量装置100可以并行执行脉波计算部205计算脉波信号216的处理和拍摄部101拍摄生命体102以获取动态图像214的处理。即,控制部202也可以并行执行图4例示的步骤S405步骤S407的处理和图11例示的步骤S1108/>图12例示的S1206的处理。由此,本变形例所涉及的测量装置100在调整曝光时间之后,由于照明环境变化,从而即使在无法去除脉波信号216中包含的闪烁和帧率引起的频率成分的情况下,也能够再次调整曝光时间。其结果,本变形例所涉及的测量装置100调整曝光时间之后,即使在照明环境发生了变化的情况下,也能够从脉波信号216中适当地提取生命体102的时间变化引起的频率成分。
另外,拍摄控制部1002也可以隔开规定时间间隔以上来进行曝光时间的调整。例如,当在图11所示例示的步骤S1107或者步骤S1204中调整曝光时间之后未经过预先设定的切换最短时间的情况下,即使在实际的帧率fr与最佳帧率212的差异不在规定范围内的情况下,拍摄控制部1002也可以维持曝光时间。然后,当在步骤S1107或者步骤S1204中调整曝光时间后,在经过了切换最短时间的时刻以后,实际帧率fr与最佳帧率212的差异不在规定范围内的情况下,拍摄控制部1002也可以将处理返回到图11中例示的步骤S1108。由此,拍摄控制部1002在实际的帧率fr与最佳帧率212的差异不在规定范围内的情况下,能够防止频繁地变更曝光时间。
(第三实施方式的变形例4)
作为本实施方式的测量装置100的变形例4,也可以在存储部201中存储闪烁相关信息211。图13是表示本变形例所涉及的测量装置100的构成的一个例子的框图。图10所例示的测量装置100与图13所例示的测量装置100的不同点在于:图13所例示的测量装置100不具备闪烁检测部501,而在存储部201中存储闪烁相关信息211这一点。
根据本变形例的拍摄控制部1002基于由闪烁相关信息211指示的闪烁的有无或者由闪烁相关信息211指示的闪烁的频率fq来确定最佳帧率212。由此,本变形例的测量装置100能够控制曝光时间,以使实际的帧率fr接近基于根据照明设定的闪烁的频率fq的最佳帧率。
本公开不限于上述各实施方式以及变形例,能在权利要求所示的范围中进行各种变更,将在不同的实施方式中分别公开的技术手段适当组合而得到的实施方式也包含于本发明的技术范围。而且,能够通过组合各实施方式分别公开的技术方法来形成新的技术特征。

Claims (12)

1.一种测量装置,其特征在于,包括:
拍摄部,拍摄生命体并取得动态图像;
像素值计算部,根据构成所述动态图像的各图像,计算关注区域的像素值的代表值,其中所述关注区域包含所述生命体的像;以及
脉波计算部,根据所述代表值的时间变化计算脉波信号,
所述拍摄部以能够将由所述脉波信号中包含的闪烁和帧率引起的频率成分与由所述脉波信号中包含的所述生命体的时间变化引起的频率成分分离的所述帧率对所述生命体进行拍摄。
2.根据权利要求1所述的测量装置,其特征在于,所述闪烁的频率与所述帧率之整数倍的差的绝对值为阈值以上。
3.根据权利要求1或2所述的测量装置,其特征在于,还包括:
闪烁检测部,检测选自所述闪烁的有无及所述闪烁的频率中的至少一种;以及
拍摄控制部,基于所述闪烁的有无或所述闪烁的频率确定最佳帧率,
所述拍摄部以所述最佳帧率拍摄所述生命体。
4.根据权利要求3所述的测量装置,其特征在于,所述拍摄控制部根据实际帧率与所述最佳帧率之间的差异,控制所述拍摄部的设定,其中,所述实际帧率是根据取得所述各图像的时间差计算出的。
5.根据权利要求4所述的测量装置,其特征在于,控制所述设定的情况包括调整曝光时间的情况。
6.根据权利要求5所述的测量装置,其特征在于,所述拍摄控制部隔开规定时间间隔以上地进行所述曝光时间的调整。
7.如权利要求4至6中任一项所述的测量装置,其特征在于,所述拍摄控制部控制所述设定,使得所述实际帧率与所述最佳帧率之间的差异处于规定范围内。
8.根据权利要求3至7中任一项所述的测量装置,其特征在于,在没有所述闪烁的情况下,所述拍摄控制部将规定帧率确定为最佳帧率。
9.根据权利要求3至7中任一项所述的测量装置,其特征在于,在没有所述闪烁的情况下,所述拍摄控制部将与测量对象的生命指标的类别建立关联的值决定为所述最佳帧率。
10.根据权利要求1至9中任一项所述的测量装置,其特征在于,在规定时间取得的图像数是通过将所述规定时间内闪烁的发生次数除以整数得到的数。
11.一种测量方法,其特征在于,包括:
拍摄生命体并取得动态图像的工序;
根据构成所述动态图像的各图像,计算关注区域的像素值的代表值的工序,其中所述关注区域包含所述生命体的像;以及
根据所述代表值的时间变化算出脉波信号的工序,
在取得所述动态图像的工序中,以能够将由所述脉波信号中包含的闪烁和帧率引起的频率成分与由所述脉波信号中包含的所述生命体的时间变化引起的频率成分分离的所述帧率对所述生命体进行拍摄。
12.一种计算机可读取的记录介质,记录有程序,其特征在于,所述程序使计算机执行以下功能:
拍摄生命体并取得动态图像的功能;
根据构成所述动态图像的各图像,计算关注区域的像素值的代表值的功能,其中所述关注区域包含所述生命体的像;以及
根据所述代表值的时间变化算出脉波信号的功能,
在取得所述动态图像的功能中,以能够将由所述脉波信号中包含的闪烁和帧率引起的频率成分与由所述脉波信号中包含的所述生命体的时间变化引起的频率成分分离的所述帧率对所述生命体进行拍摄。
CN202310086238.XA 2022-02-24 2023-01-18 测量装置、测量方法以及记录介质 Pending CN116636818A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022026328A JP2023122683A (ja) 2022-02-24 2022-02-24 測定装置、測定方法及びプログラム
JP2022-026328 2022-02-24

Publications (1)

Publication Number Publication Date
CN116636818A true CN116636818A (zh) 2023-08-25

Family

ID=87617571

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310086238.XA Pending CN116636818A (zh) 2022-02-24 2023-01-18 测量装置、测量方法以及记录介质

Country Status (2)

Country Link
JP (1) JP2023122683A (zh)
CN (1) CN116636818A (zh)

Also Published As

Publication number Publication date
JP2023122683A (ja) 2023-09-05

Similar Documents

Publication Publication Date Title
CN109068067B (zh) 曝光控制方法、装置和电子设备
EP2695373B1 (en) Spatially-varying flicker detection
KR101950396B1 (ko) 촬상장치 및 촬상방법
WO2016006027A1 (ja) 脈波検出方法、脈波検出プログラム及び脈波検出装置
JP6125648B2 (ja) 生体情報取得装置および生体情報取得方法
US7573505B2 (en) Image capturing apparatus, control method therefor, program, and storage medium
US9344640B2 (en) Imaging device, integrated circuit, and flicker reduction method
US10478079B2 (en) Pulse estimation device, pulse estimation system, and pulse estimation method
KR20080085198A (ko) 이미지 캡처 장치에서의 자동 플릭커 보정
EP3276956B1 (en) Image processing device and image processing method, and program
US9979898B2 (en) Imaging apparatus equipped with a flicker detection function, flicker detection method, and non-transitory computer-readable storage medium
CN111556727A (zh) 血压测量装置、以及、血压测量方法
CN111164406B (zh) 二维闪烁测定装置及二维闪烁测定方法
US20190050968A1 (en) Image processing device, image processing method, and non-transitory computer readable medium storing image processing program
US11647913B2 (en) Image processing apparatus and pulse estimation system provided therewith, and image processing method
CN116636818A (zh) 测量装置、测量方法以及记录介质
JP6497218B2 (ja) 脈波検出装置、脈波検出方法、脈波検出システム、及び、プログラム
JP4867822B2 (ja) 画像処理装置及び画像処理方法、並びに撮像装置
JP2007158964A (ja) 画像処理装置および撮像装置
JP2016034110A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
US10701278B2 (en) Method of inter-frame and intra-frame image processing
EP3370408B1 (en) Image processing apparatus, method for controlling image processing apparatus, and program
KR102249234B1 (ko) 심박수 측정 장치 및 방법
JP6937473B2 (ja) 画像処理装置及びこれを備えたバイタル情報取得システムならびに画像処理方法
JP2023130546A (ja) 測定装置、呼吸数測定方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination