CN104688199A - 一种基于皮肤色素浓度差分的非接触式脉搏测量方法 - Google Patents

一种基于皮肤色素浓度差分的非接触式脉搏测量方法 Download PDF

Info

Publication number
CN104688199A
CN104688199A CN201510122608.6A CN201510122608A CN104688199A CN 104688199 A CN104688199 A CN 104688199A CN 201510122608 A CN201510122608 A CN 201510122608A CN 104688199 A CN104688199 A CN 104688199A
Authority
CN
China
Prior art keywords
pulse
calculation window
pulse signal
roi
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510122608.6A
Other languages
English (en)
Other versions
CN104688199B (zh
Inventor
徐舒畅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Normal University
Original Assignee
Hangzhou Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Normal University filed Critical Hangzhou Normal University
Priority to CN201510122608.6A priority Critical patent/CN104688199B/zh
Publication of CN104688199A publication Critical patent/CN104688199A/zh
Application granted granted Critical
Publication of CN104688199B publication Critical patent/CN104688199B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Physiology (AREA)
  • Cardiology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Dermatology (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)

Abstract

基于人体皮肤表面的色素浓度差分进行人体脉搏估算的方法，包括如下步骤：步骤22：视频输入；步骤23：确定计算窗口；步骤24：计算ROI区域R、G通道的平均亮度；步骤25：单帧图像信号采集；步骤26：脉搏信号的数学表达；当前计算窗口对应的脉搏信号S＝{S1….SM}，单个信号的表达公式为Si＝log(ni+1/ni)，27：脉搏信号预处理；28：脉搏计算；29：下一个计算窗口；30：如果输入视频还未结束，则返回步骤23，重新在下一个计算窗口进行脉搏估算；否则，结束整个脉搏估算流程。

Description

一种基于皮肤色素浓度差分的非接触式脉搏测量方法
技术领域
本发明涉及一种利用含有皮肤区域的视频、非接触式测量人体脉搏的方法。
背景技术
脉搏是了解人体心血管系统功能的简便指标，也是反映身体状况和机能水平比较灵敏的有效指标。人体脉搏也称心率，是心脏节奏性收缩和舒张引起的动脉跳动。正常人的脉搏频率和心跳频率是一样的，且节律均匀，间隔相等。目前临床上基本采用无创检测获取人体脉搏，常用的设备是光电式脉搏传感器，常通过指尖或者耳垂接触获得脉搏数据。这种检测方式，通常被称为接触式脉搏测量。
基于光电传感器利用光强变化进行检测的原理，理论上记录反射光强度的媒介，比如经过一定距离拍摄获得的测试部位的图像/视频亦能反应脉搏的变化，即使人眼无法感知这种微弱的变化。这是一种非接触式的测量方法。与接触式脉搏测量相比，非接触式测量更加方便，可用于远程医疗、非接触式心理评估、测谎以及人机交互等多个应用领域。但目前基于视频的非接触式脉搏测量的研究还非常少。
发明内容
本发明介绍一种非接触式脉搏测量方法，该方法利用含有人体皮肤的视频作为输入，基于人体皮肤表面的色素浓度差分进行人体脉搏估算。
本发明所述的基于人体皮肤表面的色素浓度差分进行人体脉搏估算的方法，包括如下步骤：
步骤22：输入的视频是彩色的，每帧图像包含RGB三个颜色通道。视频中含有人体皮肤区域。
步骤23：确定计算窗口。脉搏信号是实时变化的，每一次脉搏计算都基于连续的M帧，称之为一个计算窗口。以下步骤中的24-28均基于当前的计算窗口。
步骤24：参照图2，从视频中提取单帧图像，并在单帧图像中定义一个包含人体皮肤的感兴趣区域(Region Of Interest:ROI)。该皮肤区域的定义可以有两种方式：
a)直接定义固定的皮肤区域，后面每帧图像都基于同样的ROI计算。
b)在第一帧定义一个皮肤区域，并在后面的每帧图像中，利用目标跟踪技术每次重新定位ROI。但是ROI大小保持不变，仅更新坐标。
定义ROI以后，所有的计算仅限于ROI区域。然后，计算第i帧图像中ROI区域R通道和G通道的亮度平均值，并分别记为r i和g i。
步骤25：单帧图像信号采集。根据步骤24，在当前计算窗口计算每一帧的r i和g i。然后，对计算窗口内的M个r i和g i分别进行去均值处理，处理后的每个数据分别记为ri和gi。单帧图像对应的脉搏信号ni计算公式为ni＝ri/gi。
步骤26：脉搏信号的数学表达。在光密度空间，人体皮肤的成像可以由皮肤黑色素浓度分布分量Im、血色素浓度分布分量Ih和剩余分量Ir线性组合表示，参照图3所示。光密度空间的计算以log运算进行表达。相邻两帧的黑色素浓度以及其它剩余分量的色素浓度是不变的，可以看成直流分量(DC分量)。而相邻两帧的血色素浓度会随着血液浓度的变化而变化，可以看成交流分量(AC分量)。因此，在光密度空间，相邻帧的差分可以看成与血色素浓度变化线性相关，而血色素浓度的变化频率即为脉搏。因此，可用光密度空间相邻帧的血色素浓度差分作为脉搏信号的数学表达。当前计算窗口对应的脉搏信号S＝{S1….SM}，单个信号的表达公式为Si＝log(ni+1/ni)，其中,1≤i≤M。
27：脉搏信号预处理。利用步骤26计算得到的脉搏信号含有一定的噪声，并且包含人体脉搏不可能达到的频率区间。接下来，参照图4所示，对脉搏信号进行带通滤波，去除脉搏信号中频率过低或者过高的部分。
28：脉搏计算。经过步骤27，脉搏信号S将变得更加合理，可以通过频率域中的计算获得脉搏值。参照图4所示，利用快速傅立叶变换FFT，计算脉搏信号S在频率域的极值，即为当前计算窗口中的脉搏估算值。
29：下一个计算窗口。下一次脉搏计算，将基于下一个计算窗口。相邻的计算窗口可以具有一定的重叠度，参照图5所示。
30：如果输入视频还未结束，则返回步骤23，重新在下一个计算窗口进行脉搏估算。否则，结束整个脉搏估算流程。
如图1所示，该方法具体包含以下几个模块：
(1)基于单帧图像的脉搏信号采集。该模块涉及视频中感兴趣区域ROI的确定，以及从单帧图像中计算得到对应的脉搏信号。
(2)基于连续相邻帧的人体脉搏信号表示。该模块涉及利用连续相邻帧的血色素浓度差分来表示人体血液容量的变化，并利用这种变化的数学表达式表征人体脉搏信号。
(3)人体脉搏信号的预处理。基于连续的相邻帧获得脉搏信号以后，需要通过设计数字滤波器，排除不合理的高频或者低频成份，仅保留符合人体脉搏区间的合理成份。
(4)人体脉搏估算。经过预处理，去除掉部分噪音以后，利用频率域的分析估算包含一定帧数的计算窗口内的人体脉搏。
(5)脉搏的计算窗口。人体脉搏是实时变化的，脉搏的计算基于包含一定帧数的计算窗口。下一次的脉搏计算，就要移动到下一个计算窗口。相邻计算窗口具有一定的重叠度。
本发明的工作原理是：人体皮肤中的血色素浓度影响皮肤对光的吸收。通过记录反射光强度的连续皮肤图像帧，可以细微地反映皮肤对光的吸收的变化，从而同步反映皮肤中血色素浓度的变化。这种变化频率即对应人体脉搏。
本发明的优点是：无需接触目标，只需拍摄一段包含目标皮肤区域的视频，即可估算目标脉搏，是一种非接触式的生理参数获取方法。
附图说明
图1是本发明的流程图
图2是单帧图像的脉搏信号采集模块示意图。
图3是基于连续相邻帧，利用人体皮肤血色素浓度差分建立的脉搏信号数学表达式示意图。
图4是人体脉搏信号预处理，以及在频率域的脉搏信号估算示意图。
图5是脉搏计算窗口示意图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细描述，但是本发明的保护范围并不仅限于此。本领域的普通技术人员可以理解，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请各权利要求所要求保护的技术方案。
本方法的量化流程图参照图1所示，下面根据图1详细说明本方法的实施步骤。
步骤22：输入的视频是彩色的，每帧图像包含RGB三个颜色通道。视频中含有人体皮肤区域。
步骤23：确定计算窗口。脉搏信号是实时变化的，每一次脉搏计算都基于连续的M帧，称之为一个计算窗口。以下步骤中的24-28均基于当前的计算窗口。
步骤24：参照图2，从视频中提取单帧图像，并在单帧图像中定义一个包含人体皮肤的感兴趣区域(Region Of Interest:ROI)。该皮肤区域的定义可以有两种方式：
c)直接定义固定的皮肤区域，后面每帧图像都基于同样的ROI计算。
d)在第一帧定义一个皮肤区域，并在后面的每帧图像中，利用目标跟踪技术每次重新定位ROI。但是ROI大小保持不变，仅更新坐标。
定义ROI以后，所有的计算仅限于ROI区域。然后，计算第i帧图像中ROI区域R通道和G通道的亮度平均值，并分别记为r i和g i。
步骤25：单帧图像信号采集。根据步骤24，在当前计算窗口计算每一帧的r i和g i。然后，对计算窗口内的M个r i和g i分别进行去均值处理，处理后的每个数据分别记为ri和gi。单帧图像对应的脉搏信号ni计算公式为ni＝ri/gi。
步骤26：脉搏信号的数学表达。在光密度空间，人体皮肤的成像可以由皮肤黑色素浓度分布分量Im、血色素浓度分布分量Ih和剩余分量Ir线性组合表示，参照图3所示。光密度空间的计算以log运算进行表达。相邻两帧的黑色素浓度以及其它剩余分量的色素浓度是不变的，可以看成直流分量(DC分量)。而相邻两帧的血色素浓度会随着血液浓度的变化而变化，可以看成交流分量(AC分量)。因此，在光密度空间，相邻帧的差分可以看成与血色素浓度变化线性相关，而血色素浓度的变化频率即为脉搏。因此，可用光密度空间相邻帧的血色素浓度差分作为脉搏信号的数学表达。当前计算窗口对应的脉搏信号S＝{S1….SM}，单个信号的表达公式为Si＝log(ni+1/ni)，其中,1≤i≤M。
27：脉搏信号预处理。利用步骤26计算得到的脉搏信号含有一定的噪声，并且包含人体脉搏不可能达到的频率区间。接下来，参照图4所示，对脉搏信号进行带通滤波，去除脉搏信号中频率过低或者过高的部分。
28：脉搏计算。经过步骤27，脉搏信号S将变得更加合理，可以通过频率域中的计算获得脉搏值。参照图4所示，利用快速傅立叶变换FFT，计算脉搏信号S在频率域的极值，即为当前计算窗口中的脉搏估算值。
29：下一个计算窗口。下一次脉搏计算，将基于下一个计算窗口。相邻的计算窗口可以具有一定的重叠度，参照图5所示。
30：如果输入视频还未结束，则返回步骤23，重新在下一个计算窗口进行脉搏估算。否则，结束整个脉搏估算流程。
如图1所示，该方法具体包含以下几个模块：
(6)基于单帧图像的脉搏信号采集。该模块涉及视频中感兴趣区域ROI的确定，以及从单帧图像中计算得到对应的脉搏信号。
(7)基于连续相邻帧的人体脉搏信号表示。该模块涉及利用连续相邻帧的血色素浓度差分来表示人体血液容量的变化，并利用这种变化的数学表达式表征人体脉搏信号。
(8)人体脉搏信号的预处理。基于连续的相邻帧获得脉搏信号以后，需要通过设计数字滤波器，排除不合理的高频或者低频成份，仅保留符合人体脉搏区间的合理成份。
(9)人体脉搏估算。经过预处理，去除掉部分噪音以后，利用频率域的分析估算包含一定帧数的计算窗口内的人体脉搏。
(10)脉搏的计算窗口。人体脉搏是实时变化的，脉搏的计算基于包含一定帧数的计算窗口。下一次的脉搏计算，就要移动到下一个计算窗口。相邻计算窗口具有一定的重叠度。
上述实施流程用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。

Claims (1)

1.基于人体皮肤表面的色素浓度差分进行人体脉搏估算的方法，包括如下步骤：
步骤22：视频输入；输入的视频是彩色的，每帧图像包含RGB三个颜色通道，视频中含有人体皮肤区域；
步骤23：确定计算窗口；脉搏信号是实时变化的，每一次脉搏计算都基于连续的M帧，称之为一个计算窗口；以下步骤中的24-28均基于当前的计算窗口；
步骤24：计算ROI区域R、G通道的平均亮度；从视频中提取单帧图像，并在单帧图像中定义一个包含人体皮肤的感兴趣区域，即ROI；该皮肤区域的定义可以有两种方式：
a)直接定义固定的皮肤区域，后面每帧图像都基于同样的ROI计算；
b)在第一帧定义一个皮肤区域，并在后面的每帧图像中，利用目标跟踪技术每次重新定位ROI；但是ROI大小保持不变，仅更新坐标；
定义ROI以后，所有的计算仅限于ROI区域。然后，计算第i帧图像中ROI区域R通道和G通道的亮度平均值，并分别记为r i 和g i ；
步骤25：单帧图像信号采集；根据步骤24，在当前计算窗口计算每一帧的r i 和g i ；然后，对计算窗口内的M个r i 和g i 分别进行去均值处理，处理后的每个数据分别记为ri和gi；单帧图像对应的脉搏信号ni计算公式为ni＝ri/gi；
步骤26：脉搏信号的数学表达；在光密度空间，人体皮肤的成像可以由皮肤黑色素浓度分布分量Im、血色素浓度分布分量Ih和剩余分量Ir线性组合表示；光密度空间的计算以log运算进行表达。当前计算窗口对应的脉搏信号S＝{S1….SM}，单个信号的表达公式为Si＝log(ni+1/ni)，其中,1≤i≤M。
27：脉搏信号预处理；利用步骤26计算得到的脉搏信号含有一定的噪声，并且包含人体脉搏不可能达到的频率区间；接下来，对脉搏信号进行带通滤波，去除脉搏信号中频率过低或者过高的部分；
28：脉搏计算；经过步骤27，脉搏信号S将变得更加合理，可以通过频率域中的计算获得脉搏值；利用快速傅立叶变换FFT，计算脉搏信号S在频率域的极值，即为当前计算窗口中的脉搏估算值；
29：下一个计算窗口；下一次脉搏计算，将基于下一个计算窗口。相邻的计算窗口可以具有一定的重叠度；
30：如果输入视频还未结束，则返回步骤23，重新在下一个计算窗口进行脉搏估算；否则，结束整个脉搏估算流程。
CN201510122608.6A 2015-03-20 2015-03-20 一种基于皮肤色素浓度差分的非接触式脉搏测量方法 Expired - Fee Related CN104688199B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510122608.6A CN104688199B (zh) 2015-03-20 2015-03-20 一种基于皮肤色素浓度差分的非接触式脉搏测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510122608.6A CN104688199B (zh) 2015-03-20 2015-03-20 一种基于皮肤色素浓度差分的非接触式脉搏测量方法

Publications (2)

Publication Number Publication Date
CN104688199A true CN104688199A (zh) 2015-06-10
CN104688199B CN104688199B (zh) 2017-03-08

Family

ID=53336073

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510122608.6A Expired - Fee Related CN104688199B (zh) 2015-03-20 2015-03-20 一种基于皮肤色素浓度差分的非接触式脉搏测量方法

Country Status (1)

Country Link
CN (1) CN104688199B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107847195A (zh) * 2016-03-15 2018-03-27 欧姆龙株式会社 关心度估计装置、关心度估计方法、程序以及记录介质
CN113487573A (zh) * 2021-07-08 2021-10-08 杭州德肤修生物科技有限公司 一种基于精确图像比对的化妆品功效量化评价方法
CN114098663A (zh) * 2021-11-26 2022-03-01 上海掌门科技有限公司 脉搏波采集方法和设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5792047A (en) * 1997-01-15 1998-08-11 Coggins; George Physiological parameter monitoring and bio-feedback apparatus
CN101557758A (zh) * 2005-03-25 2009-10-14 Cnoga控股有限公司 用于测量化学浓度、化学饱和度和生物物理参数的光学传感器装置和图象处理单元
CN103271734A (zh) * 2012-12-10 2013-09-04 中国人民解放军第一五二中心医院 一种基于低端成像设备的心率测量方法
CN103271743A (zh) * 2012-12-10 2013-09-04 中国人民解放军第一五二中心医院 一种基于成像设备的非接触式血氧饱和度测量装置
CN103908236A (zh) * 2013-05-13 2014-07-09 天津点康科技有限公司 一种自动血压测量系统
US20160073908A1 (en) * 2014-09-13 2016-03-17 ARC Devices, Ltd Apparatus for non-touch estimation of body core temperature based on cubic relationship specific factors

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5792047A (en) * 1997-01-15 1998-08-11 Coggins; George Physiological parameter monitoring and bio-feedback apparatus
CN101557758A (zh) * 2005-03-25 2009-10-14 Cnoga控股有限公司 用于测量化学浓度、化学饱和度和生物物理参数的光学传感器装置和图象处理单元
CN103271734A (zh) * 2012-12-10 2013-09-04 中国人民解放军第一五二中心医院 一种基于低端成像设备的心率测量方法
CN103271743A (zh) * 2012-12-10 2013-09-04 中国人民解放军第一五二中心医院 一种基于成像设备的非接触式血氧饱和度测量装置
CN103908236A (zh) * 2013-05-13 2014-07-09 天津点康科技有限公司 一种自动血压测量系统
US20160073908A1 (en) * 2014-09-13 2016-03-17 ARC Devices, Ltd Apparatus for non-touch estimation of body core temperature based on cubic relationship specific factors

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
MING-ZHER POH ETAL: "《Non-contact，automated cardiac pulse measurements using video imaging and blind source separation》", 《OPTICS EXPRESS》 *
SHUCHANG XU，ETAL: "《Robust efficient estimation of heartrate pulse from video》", 《BIOMEDICAL OPTICS EXPRESS》 *
王盛波: "《基于视频实时持续心率检测及可视化》", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107847195A (zh) * 2016-03-15 2018-03-27 欧姆龙株式会社 关心度估计装置、关心度估计方法、程序以及记录介质
CN107847195B (zh) * 2016-03-15 2020-06-12 欧姆龙株式会社 关心度估计装置、关心度估计方法以及记录介质
CN113487573A (zh) * 2021-07-08 2021-10-08 杭州德肤修生物科技有限公司 一种基于精确图像比对的化妆品功效量化评价方法
CN114098663A (zh) * 2021-11-26 2022-03-01 上海掌门科技有限公司 脉搏波采集方法和设备

Also Published As

Publication number Publication date
CN104688199B (zh) 2017-03-08

Similar Documents

Publication Publication Date Title
CN107529646B (zh) 一种基于欧拉影像放大的无接触式心率测量方法及装置
Fan et al. Robust blood pressure estimation using an RGB camera
Tasli et al. Remote PPG based vital sign measurement using adaptive facial regions
CN109875529B (zh) 一种基于超宽带雷达的生命体征检测方法及系统
CN103908236B (zh) 一种自动血压测量系统
CN109977858B (zh) 一种基于图像分析的心率检测方法及装置
Feng et al. Dynamic ROI based on K-means for remote photoplethysmography
Feng et al. Motion artifacts suppression for remote imaging photoplethysmography
CN105147274A (zh) 一种从可见光谱段人脸视频信号中提取心率的方法
CN110269600A (zh) 基于多元经验模态分解与联合盲源分离的非接触式视频心率检测方法
CN103263271A (zh) 非接触式自动血氧饱和度测量系统及测量方法
CN105997043B (zh) 一种基于腕式可穿戴设备的脉率提取方法
Ferro et al. Automated detection of the onset and systolic peak in the pulse wave using Hilbert transform
Rumiński Reliability of pulse measurements in videoplethysmography
Qi et al. Non-contact driver cardiac physiological monitoring using video data
CN111387959A (zh) 一种基于ippg的非接触式生理参数检测方法
KR102482796B1 (ko) 원격 광용적맥파 측정을 이용한 비접촉 심박 변이도 분석 장치 및 방법
CN112294282A (zh) 基于rppg的情绪检测装置的自标定方法
CN104688199B (zh) 一种基于皮肤色素浓度差分的非接触式脉搏测量方法
Li et al. An improvement for video-based heart rate variability measurement
CN111839492A (zh) 一种基于面部视频序列的心率非接触式测量方法
Zhang et al. Using rear smartphone cameras as sensors for measuring heart rate variability
Cui et al. Non-contact time varying heart rate monitoring in exercise by video camera
Pal et al. Improved heart rate detection using smart phone
EP4312721A1 (en) Method and system for heart rate extraction from rgb images

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170308

Termination date: 20180320