CN108937905B - 一种基于信号拟合的非接触式心率检测方法 - Google Patents
一种基于信号拟合的非接触式心率检测方法 Download PDFInfo
- Publication number
- CN108937905B CN108937905B CN201810887461.3A CN201810887461A CN108937905B CN 108937905 B CN108937905 B CN 108937905B CN 201810887461 A CN201810887461 A CN 201810887461A CN 108937905 B CN108937905 B CN 108937905B
- Authority
- CN
- China
- Prior art keywords
- pulse wave
- fitting
- heart rate
- mask
- sine
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/15—Biometric patterns based on physiological signals, e.g. heartbeat, blood flow
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Cardiology (AREA)
- Physiology (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- General Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
Abstract
本发明公开了一种基于信号拟合的非接触式心率检测方法。该方法首先用网络摄像头记录一段人脸视频,并对人脸进行运动跟踪和色度特征提取,构建初始脉搏波;然后根据原始脉搏波的局部标准差设计掩模,滤除初始脉搏波的失真部分;接着设计一个包含各种频率和相位的正弦基的脉搏波字典,并从字典中选取与原始脉搏波相近的一组正弦基,将这些正弦基依权重相加,得到拟合脉搏波;最后,通过对拟合脉搏波进行傅里叶变化,计算得到心率。本发明可以有效地滤除由头部扭转、表情变化等外界干扰所引起的信号失真,实现在实际环境中高精度的心率检测。
Description
技术领域
本发明属于生物图像信息处理的技术领域,特别是涉及一种抗干扰的非接触式心率检测方法。
背景技术
心率是一项重要的生理参数,它可以反映人体的心血管机能和精神状态。传统的心率检测技术需要依附于压力传感器或光学传感器。但是传感器与皮肤的接触可能会给测试者造成不适,甚至带来卫生隐患,因此很难普及到大众中。目前,一种基于远程光学体积描记术的非接触式心率检测方法成为了计算机视觉领域的研究热点。这种方法只需用普通相机采集一段测试者的视频,就可以检测测试者当前的心率,具有高效、卫生、方便、应用面广泛等优点。
心脏的搏动会引起血液流量的变化,而血液流量的变化又会带动人体表皮颜色产生微弱的变化。这种变化虽然无法被肉眼识别,但是可以被网络摄像机捕捉到,并用于心率检测。由于人脸皮肤的肤质较薄,而且毛细血管分布密集,所以目前主流的非接触式心率检测技术一般都以人脸为检测区域。
非接触式心率检测非常容易受到外界环境的干扰。比如光照变化、测试者脸部运动、表情变化等等。目前,相关学者已经提出了不少方法来抑制外界干扰,包括:盲源分析、脸部分区域处理、多波段色度特征提取、自适应滤波等。这些方法虽然可以解决脉搏波的不完全失真(仍存在脉搏信号),但是,仍无法有效地解决由头部扭转、全局表情变化、剧烈光照变化等因素所引起的脉搏波完全失真(不存在脉搏信号)。
发明内容
基于此,本发明提出了一种基于信号拟合的非接触式心率检测方法。该方法旨在解决各种形式的信号失真,尤其是尚未得到有效解决方法的完全失真。
根据本发明的目的,提供一种基于信号拟合的非接触式心率检测方法,所述方法包括,
步骤一、采集人脸视频,构建初始脉搏波I以及脉搏波字典S;
优选的,所述步骤一包括,通过视频采集装置采集人脸视频,获取N帧的视频图像,使用人脸检测器识别所述视频图像中的人脸区域,用判别响应图拟合方法检测人脸的特征点,通过KLT算法跟踪所述特征点的运动轨迹,计算每一帧视频图像中人脸区域的绿色通道的像素平均值,得到脸部脉搏波I,
I=[i1,i2,...,iN],
其中,iN表示第N帧图像的像素均值。
优选的,所述步骤一还包括,构建正弦信号Sij,并得出脉搏波字典S,
Sij=sin(ωit+φj),
S=[S11,S12,...,S1j,S21,...,Sij]T,
其中,Sij为频率在0.5~4Hz,初相位在0~2π之间的正弦信号,长度为20s,采样频率为30Hz,正弦基两两之间的频率间隔为1/60Hz,初相位间隔为π/50,ωi的取值区间为[π,8π],递增步长为π/30,φj取值区间为[0,2π],递增步长为π/50。优选的,所述步骤二包括,计算I的局部标准差,如果I的局部标准差大于阈值LT,掩模设为0,如果I的局部标准差小于阈值LT,掩模设为1,将掩模覆盖到初始脉搏波I以及脉搏波字典S,从而得到掩模化脉搏波Im和掩模化正弦基优选的,所述步骤三包括,计算所述脉搏波字典S中的每一条与掩模化脉搏波Im的内积,选取内积最大的记为得到拟合系数α1,
计算误差信号e1以及拟合误差E1,
判断此时的拟合误差E1是否小于阈值ET,若否,则把误差信号e1视为Im,继续从字典中寻找与e1接近的正弦基来模拟e1,并计算拟合系数α2和拟合误差E2,并重复该过程,直至K次以后,拟合误差小于阈值,Im分解为掩模化正弦基与误差信号的线性组合,表示为:
计算U的功率谱密度函数,心率为功率谱密度函数的极大值对应的频率乘以60。
本发明的有益效果:
1.传统的方法虽然可以解决脉搏波的不完全失真,但是无法有效的解决完全失真。本发明采用了掩模技术,可以有效地滤除各种形式的信号失真。在现实情况下,具有更高的鲁棒性和稳定性。
2.本发明结合脉搏波数据库和掩模化脉搏波的有效信息,对掩模化脉搏波进行边学习边处理的自适应修复,相比传统方法,得到的拟合脉搏波具有更高的保真度和针对性。
附图说明
图1:本发明方法的流程图;
图2:本发明的人脸区域检测与跟踪示意图;
图3:本发明的脉搏波字典构建示意图;
图4:本发明的掩模构建示意图;
图5:本发明的无噪脉搏波构建示意图;
图6:本发明的原始脉搏波与去噪脉搏波对比图
图7:本发明的心率计算示意图
具体实施方式
下面结合附图对本申请作进一步详细描述,有必要在此指出的是,以下具体实施方式只用于对本申请进行进一步的说明,不能理解为对本申请保护范围的限制,该领域的技术人员可以根据上述申请内容对本申请作出一些非本质的改进和调整。
实施例1.
结合图1,本发明的一种基于信号拟合的非接触式心率检测方法,包括如下步骤:
步骤一、采集人脸视频,构建初始脉搏波I以及脉搏波字典S;
在该步骤中,通过视频采集装置采集人脸视频,获取N帧的视频图像,使用OPENCV自带的人脸检测器Viola-Jones识别视频图像中的人脸区域,用判别响应图拟合方法(DRMF)检测人脸的特征点,一般特征点为66个,通过Kanede-Lucas-Tomasi(KLT)算法跟踪所述特征点的运动轨迹,计算每一帧视频图像中人脸区域的绿色通道的像素平均值,得到脸部脉搏波I,
I=[i1,i2,...,iN],
其中,iN表示第N帧图像的像素均值。
在该步骤中,还包括了构建正弦信号Sij,并得出脉搏波字典S,其中,
Sij=sin(ωit+φj),
S=[S11,S12,...,S1j,S21,...,Sij]T,
其中,Sij为频率在0.5~4Hz,初相位在0~2π之间的正弦信号,长度为20s,采样频率为30Hz,正弦基两两之间的频率间隔为1/60Hz,初相位间隔为π/50,ωi的取值区间为[π,8π],递增步长为π/30,φj取值区间为[0,2π],递增步长为π/50。步骤二、根据所述初始脉搏波I的局部标准差设置掩模,并基于所述掩模得到掩模化脉搏波Im和掩模化正弦基
首先,计算I的局部标准差,如果I的局部标准差大于阈值LT,掩模设为0,如果I的局部标准差小于阈值LT,掩模设为1,其次,将掩模覆盖到初始脉搏波I以及脉搏波字典S,从而得到掩模化脉搏波Im和掩模化正弦基
计算误差信号e1以及拟合误差E1,
判断此时的拟合误差E1是否小于阈值ET,若否,则把误差信号e1视为Im,继续从字典中寻找与e1接近的正弦基来模拟e1,并计算拟合系数α2和拟合误差E2,并重复该过程,直至K次以后,拟合误差小于阈值,Im分解为掩模化正弦基与误差信号的线性组合,表示为:
计算U的功率谱密度函数,心率为功率谱密度函数的极大值对应的频率乘以60。
实施例2.
结合图2-图7,本发明的一种基于信号拟合的非接触式心率检测方法,
1.用普通的网络摄像机拍摄一段20秒的视频,获取600帧视频图像。摄像机型号为Logitech HD 1080P,帧率为30fps,分辨率为648*480。拍摄时,相机镜头与人脸在同一水平线上,两者的距离大约为50厘米。拍摄期间,测试者处于自然放松状态(即可以做脸部运动、扭头、表情变化等动作)。拍摄环境为室内日光灯照射环境。
2.在视频拍摄的同时,用三导联/单道的Heal Force心电仪检测同步的心电图,作为真实值。心电仪电极片采用的导联方式是胸口导联。心电仪采集的数据用ECGDM工作站进行处理。
3.将拍摄的视频数据用matlab2016b处理,运行环境为win10系统。
4.用人脸检测器Viola-Jones检测视频图像中的人脸位置;用用判别响应图拟合(DRMF)方法检测人脸的66个特征点;借助Kanede-Lucas-Tomasi算法跟踪视频中脸部特征点的运动轨迹,以此消除人脸平面运动所造成的影响。
5.计算每帧图像中人脸区域绿色通道的像素空间平均值,得到一条绿色通道的颜色踪迹,即初始脉搏波。
6.构建脉搏波字典S。具体操作为:构建一系列频率在0.5~4Hz之间,初相位在0~2π之间的正弦信号Sij,正弦信号的长度为20s,采样频率为30Hz。(即一共600个采样点,和I的长度保持一致)。正弦基两两之间的频率间隔为1/60Hz,初相位间隔为π/50。
Sij=sin(ωit+φj),
S=[S11,S12,...,S1j,S21,...,Sij]T。
计算误差信号e1以及拟合误差E1,
判断此时的拟合误差E1是否小于阈值ET,若否,则把误差信号e1视为Im,继续从字典中寻找与e1接近的正弦基来模拟e1,并计算拟合系数α2和拟合误差E2,并重复该过程,直至K次以后,拟合误差小于阈值,Im分解为掩模化正弦基与误差信号的线性组合,表示为:
计算U的功率谱密度函数,心率为功率谱密度函数的极大值对应的频率乘以60。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。
Claims (3)
1.一种基于信号拟合的非接触式心率检测方法,其特征在于,所述方法包括,
步骤一、采集人脸视频,构建初始脉搏波I以及脉搏波字典S;
所述步骤二包括,计算I的局部标准差,如果I的局部标准差大于阈值LT,掩模设为0,如果I的局部标准差小于阈值LT,掩模设为1,将掩模覆盖到初始脉搏波I以及脉搏波字典S,从而得到掩模化脉搏波Im和掩模化正弦基
计算误差信号e1以及拟合误差E1,
判断此时的拟合误差E1是否小于阈值ET,若否,则把误差信号e1视为Im,继续从字典中寻找与e1接近的正弦基来模拟e1,并计算拟合系数α2和拟合误差E2,并重复该过程,直至K次以后,拟合误差小于阈值,Im分解为掩模化正弦基与误差信号的线性组合,表示为:
计算U的功率谱密度函数,心率为功率谱密度函数的极大值对应的频率乘以60。
2.根据权利要求1所述的基于信号拟合的非接触式心率检测方法,其特征在于,所述步骤一包括,通过视频采集装置采集人脸视频,获取N帧的视频图像,使用人脸检测器识别所述视频图像中的人脸区域,用判别响应图拟合方法检测人脸的特征点,通过KLT算法跟踪所述特征点的运动轨迹,计算每一帧视频图像中人脸区域的绿色通道的像素平均值,得到脸部脉搏波I,
I=[i1,i2,...,iN],
其中,iN表示第N帧图像的像素均值。
3.根据权利要求2所述的基于信号拟合的非接触式心率检测方法,其特征在于,所述步骤一还包括,构建正弦信号Sij,并得出脉搏波字典S,
Sij=sin(ωit+φj),
S=[S11,S12,...,Sij,...,Si×j],
其中,Sij为频率在0.5~4Hz,初相位在0~2π之间的正弦信号,长度为20s,采样频率为30Hz,正弦基两两之间的频率间隔为1/60Hz,初相位间隔为π/50,ωi的取值区间为[π,8π],递增步长为π/30,φj取值区间为[0,2π],递增步长为π/50。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810887461.3A CN108937905B (zh) | 2018-08-06 | 2018-08-06 | 一种基于信号拟合的非接触式心率检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810887461.3A CN108937905B (zh) | 2018-08-06 | 2018-08-06 | 一种基于信号拟合的非接触式心率检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108937905A CN108937905A (zh) | 2018-12-07 |
CN108937905B true CN108937905B (zh) | 2021-05-28 |
Family
ID=64467955
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810887461.3A Active CN108937905B (zh) | 2018-08-06 | 2018-08-06 | 一种基于信号拟合的非接触式心率检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108937905B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110321781B (zh) * | 2019-05-06 | 2021-10-26 | 苏宁金融服务(上海)有限公司 | 一种用于无接触式测量的信号处理方法及装置 |
CN112580410A (zh) * | 2019-09-30 | 2021-03-30 | 梅州市青塘实业有限公司 | 一种马桶以及基于马桶的心率采集方法和装置 |
CN113907733A (zh) * | 2020-07-10 | 2022-01-11 | 四川瑞蓝智博科技有限公司 | 博纳希ai |
CN113361480B (zh) * | 2021-07-06 | 2022-05-03 | 浙江大学 | 基于人脸视频的人体脉搏波获取方法 |
CN115089150A (zh) * | 2022-05-30 | 2022-09-23 | 合肥工业大学 | 一种基于无人机的脉搏波检测方法、装置、电子设备及存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102793975A (zh) * | 2012-06-12 | 2012-11-28 | 西安交通大学 | 一种促骨愈合的电磁场发生仪及应用 |
WO2014031082A1 (en) * | 2012-08-23 | 2014-02-27 | Nitto Denko Corporation | Method and device for quantifying heart rate variability (hrv) coherence |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103054569B (zh) * | 2012-12-20 | 2015-04-22 | Tcl集团股份有限公司 | 基于可见光图像测量人体心率的方法、装置及手持设备 |
CN105813564A (zh) * | 2013-12-12 | 2016-07-27 | 皇家飞利浦有限公司 | 用于确定对象的生命体征的设备和方法 |
CN103815890A (zh) * | 2014-03-08 | 2014-05-28 | 哈尔滨工业大学 | 一种利用智能手机摄像头检测心率的方法 |
CN104665803B (zh) * | 2014-12-10 | 2017-04-26 | 上海理工大学 | 基于智能平台的检测房颤系统 |
CN105105739B (zh) * | 2015-04-01 | 2019-06-14 | 杭州兆观传感科技有限公司 | 短距离无线心率及心率变异性检测方法 |
WO2016183674A1 (en) * | 2015-05-15 | 2016-11-24 | Lionsgate Technologies, Inc. | Method for determining physiological parameters from physiological data |
CN107847156A (zh) * | 2015-06-15 | 2018-03-27 | 维塔尔实验室公司 | 用于心血管疾病评估和管理的方法和系统 |
CN105046209B (zh) * | 2015-06-30 | 2019-01-25 | 华侨大学 | 一种基于典型相关分析的非接触式心率测量方法 |
CN105266787B (zh) * | 2015-11-03 | 2018-07-06 | 西安中科创星科技孵化器有限公司 | 一种非接触式心率检测方法及系统 |
CN105286852B (zh) * | 2015-11-05 | 2017-12-29 | 山东小心智能科技有限公司 | 心电信号的检测方法和装置 |
CN105989357A (zh) * | 2016-01-18 | 2016-10-05 | 合肥工业大学 | 一种基于人脸视频处理的心率检测方法 |
CN106063702A (zh) * | 2016-05-23 | 2016-11-02 | 南昌大学 | 一种基于人脸视频图像的心率检测系统及检测方法 |
CN108324271B (zh) * | 2017-12-25 | 2020-12-01 | 中国科学院深圳先进技术研究院 | 心电信号识别方法、系统和心电监测设备 |
-
2018
- 2018-08-06 CN CN201810887461.3A patent/CN108937905B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102793975A (zh) * | 2012-06-12 | 2012-11-28 | 西安交通大学 | 一种促骨愈合的电磁场发生仪及应用 |
WO2014031082A1 (en) * | 2012-08-23 | 2014-02-27 | Nitto Denko Corporation | Method and device for quantifying heart rate variability (hrv) coherence |
Non-Patent Citations (3)
Title |
---|
Detail-preserving pulse wave extraction from facial videos using consumer-level camera;DINGLIANG WANG et al.;《Biomedical Optics Express》;20200401;全文 * |
Heart rate estimation from facial images using filter bank;Y. Yu et al.;《2014 6th International Symposium on Communications, Control and Signal Processing (ISCCSP)》;20141231;全文 * |
抗运动干扰的人脸视频心率估计;杨昭 等;《电子与信息学报》;20180630;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN108937905A (zh) | 2018-12-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108937905B (zh) | 一种基于信号拟合的非接触式心率检测方法 | |
CN106778695B (zh) | 一种基于视频的多人快速心率检测方法 | |
CN110269600B (zh) | 基于多元经验模态分解与联合盲源分离的非接触式视频心率检测方法 | |
CN102499664B (zh) | 基于视频图像的非接触式生命体征的检测方法及检测系统 | |
Tang et al. | Non-contact heart rate monitoring by combining convolutional neural network skin detection and remote photoplethysmography via a low-cost camera | |
JP6521845B2 (ja) | 心拍に連動する周期的変動の計測装置及び計測方法 | |
US20130296660A1 (en) | Methods and systems for measuring dynamic changes in the physiological parameters of a subject | |
CN112001122B (zh) | 基于端到端生成对抗网络的非接触式生理信号测量方法 | |
CN109350030B (zh) | 基于相位放大处理人脸视频心率信号的系统及方法 | |
CN110236515A (zh) | 一种基于近红外视频的非接触式心率检测方法 | |
CN111281367A (zh) | 一种基于人脸视频的抗干扰非接触式心率检测方法 | |
CN112294282A (zh) | 基于rppg的情绪检测装置的自标定方法 | |
Yin et al. | Heart rate estimation based on face video under unstable illumination | |
Przybyło et al. | Distant measurement of plethysmographic signal in various lighting conditions using configurable frame-rate camera | |
CN112232256A (zh) | 一种无接触式运动及体测数据采集系统 | |
Liu et al. | Self-adaptive signal separation for non-contact heart rate estimation from facial video in realistic environments | |
CN112200099A (zh) | 一种基于视频的动态心率检测方法 | |
CN111387957A (zh) | 一种非接触式的体温与呼吸率联合检测方法 | |
Wiede et al. | Signal fusion based on intensity and motion variations for remote heart rate determination | |
Ibrahim et al. | Non-contact heart rate monitoring analysis from various distances with different face regions | |
CN108720825B (zh) | 一种基于多摄像头的非接触式生命体征参数的无缝检测方法 | |
CN112545455A (zh) | 多通道一体化非接触式生命体征监测系统 | |
Yu et al. | Heart rate estimation from facial images using filter bank | |
Geng et al. | Motion resistant facial video based heart rate estimation method using head-mounted camera | |
Ben Salah et al. | Contactless heart rate estimation from facial video using skin detection and multi-resolution analysis |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |