CN106781276A - 一种老人异常行为监测系统 - Google Patents

一种老人异常行为监测系统 Download PDF

Info

Publication number
CN106781276A
CN106781276A CN201611271858.7A CN201611271858A CN106781276A CN 106781276 A CN106781276 A CN 106781276A CN 201611271858 A CN201611271858 A CN 201611271858A CN 106781276 A CN106781276 A CN 106781276A
Authority
CN
China
Prior art keywords
module
old man
data
vital sign
monitoring system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611271858.7A
Other languages
English (en)
Inventor
时合生
周志青
李圣普
王巍
李波
谢丽明
樊爱京
李战国
张光会
刘建粉
王艳辉
鲍义东
郑均辉
李永明
王启明
甘泉
翟卫青
胡海峰
王飞飞
喻恒
张高敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pingdingshan University
Original Assignee
Pingdingshan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pingdingshan University filed Critical Pingdingshan University
Priority to CN201611271858.7A priority Critical patent/CN106781276A/zh
Publication of CN106781276A publication Critical patent/CN106781276A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0407—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0407—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
    • G08B21/0423—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis detecting deviation from an expected pattern of behaviour or schedule
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438—Sensor means for detecting
    • G08B21/0453—Sensor means for detecting worn on the body to detect health condition by physiological monitoring, e.g. electrocardiogram, temperature, breathing
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438—Sensor means for detecting
    • G08B21/0476—Cameras to detect unsafe condition, e.g. video cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438—Sensor means for detecting
    • G08B21/0492—Sensor dual technology, i.e. two or more technologies collaborate to extract unsafe condition, e.g. video tracking and RFID tracking
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Gerontology & Geriatric Medicine (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Psychology (AREA)
  • Biophysics (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Physiology (AREA)
  • Pulmonology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Cardiology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Alarm Systems (AREA)

Abstract

本发明公开了一种老人异常行为监测系统，包括视频采集模块、生命体征采集模块、数据处理模块、危险动作判定模块、三维视频重构模块、三维模拟模块、生命体征状态评估模块、人机操作模块、报警模块、中央处理器。本发明实现了老人异常行为的自动判定和报警，且在监测的过程中的采用三维投放的形式，从而实现老人日常起居生活的三维模拟，便于多角度进行老人动作的观察和分析，采用全景视频的采集方式，且监控设备采用可移动设计，提高了视频数据的覆盖面。

Description

一种老人异常行为监测系统
技术领域
本发明涉及监护系统领域，具体涉及一种老人异常行为监测系统。
背景技术
随着当今中国社会人口老龄化趋势的加剧，老年人对家庭护理需求日益增多，而研发老人异常行为监测系统的目的就在于能够随时检测老人运动状态、生命体征，并在其身体不适或发生意外时，发出报警信号，以及时通知子女或医院、社区、亲戚、邻居等施展救援，实现对老人的智能看护。目前现有的系统普遍存在以下缺陷：采用全面覆盖摄像头的方式进行老人生活起居的监测，需要人为进行视频数据的观察，一方面成本较高，另一方面一旦观察人员疏忽，便很容易发生意外。
发明内容
为解决上述问题，本发明提供了一种老人异常行为监测系统，实现了老人异常行为的自动判定和报警，且在监测的过程中的采用三维投放的形式，从而实现老人日常起居生活的三维模拟，便于多角度进行老人动作的观察和分析，采用全景视频的采集方式，且监控设备采用可移动设计，提高了视频数据的覆盖面。
为实现上述目的，本发明采取的技术方案为：
一种老人异常行为监测系统，包括
视频采集模块，用于通过摄像头将待监控老人的生活起居拍摄下来，通过数据传输模块发送到数据处理模块，并发送到数据库进行存储；
生命体征采集模块，用于采集待监控老人的生命体征数据，通过数据传输模块发送到中生命体征状态评估模块，并发送到数据库进行存储；
数据处理模块，用于通过kinect深度传感器进行骨骼信息获取；还用于消除锁获得骨骼信息的抖动和噪声干扰，并计算获取所有骨骼对的角度旋转移动S03矩阵信息；
危险动作判定模块，用于将计算所得的骨骼对的角度旋转移动S03矩阵信息与录制的危险动作信息进行比较，如果差距小于某个门限，则认为不危险，否则认为危险；
三维视频重构模块，用于通过kinect深度传感器获取所得的视频数据的深度图像，并将所得的深度图像进行三角化，然后在尺度空间中融合所有三角化的深度图像构建分层有向距离场，对距离场中所有的体素应用整体三角剖分算法产生一个涵盖所有体素的凸包，并利用Marching Tetrahedra算法构造等值面，从而完成三维图像的重构，并将重构后的视屏数据发送到三维模拟模块；
三维模拟模块，用于进行待监控老人生活起居动作的三维模拟，包括180°立体柱状环幕、高性能图形集群服务器、六组投影仪，面向六通道同步并行图像运算，并予以详细刻画；
生命体征状态评估模块，用于根据接收到的生命体征数据进行老人生命体征状态的评估，一旦超过设定的界限，报警模块启动，从而提醒监护者进行老人情况的监护；
人机操作模块，用于输入各种控制命令；
报警模块，用于根据危险动作判定模块的判定结果进行报警；
中央处理器，用于协调上述模块工作用于接收人机操作模块输入的各种控制命令，并按照预设的算法发送到指定模块；
优选地，所述生命体征采集模块包括套在大拇指所处位置的指套式光电传感器、佩戴在手腕上的温度传感器和脉搏传感器。
优选地，还包括数据共享模块，用于通过无线的方式实现数据的共享。
优选地，还包括一显示屏，用于显示各种采集到的数据，以及人机操作模块调用的数据。
优选地，所述人机操作模块包括图片输入模块、语音输入模块和文字输入模块。
优选地，所述语音输入模块采用麦克风，文字输入模块采用手写板和键盘，所述图片输入模块采用扫描仪、摄像头或USB接口导入。
优选地，包括一底座，以及通过电动伸缩杆安装在底座上方的一个球体装置，球体装置上设有N个鱼障碍物头，N至少为四个，所述鱼障碍物头拍摄的视频数据的水平角度为360°/N的水平角度，所述鱼障碍物头拍摄的视频数据的垂直角度为360°/N的垂直角度；所述的鱼障碍物头采用焦距短、前镜片直径小且呈抛物面状凸出的超广角镜头。
优选地，所述底座内设有GPS定位模块，GPS定位模块通过射频天线与监控中心连接。
优选地，所述报警模块为语音报警模块，报警内容至少包括被监测人信息，目前所在的位置，目前所做的行为以及目前的生命体征情况。
本发明具有以下有益效果：
实现了老人异常行为的自动判定和报警，且在监测的过程中的采用三维投放的形式，从而实现老人日常起居生活的三维模拟，便于多角度进行老人动作的观察和分析，采用全景视频的采集方式，且监控设备采用可移动设计，提高了视频数据的覆盖面。
附图说明
图1为本发明实施例一种老人异常行为监测系统的系统框图。
具体实施方式
为了使本发明的目的及优点更加清楚明白，以下结合实施例对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，本发明实施例提供了一种老人异常行为监测系统，包括
视频采集模块，用于通过摄像头将待监控老人的生活起居拍摄下来，通过数据传输模块发送到数据处理模块，并发送到数据库进行存储；
生命体征采集模块，用于采集待监控老人的生命体征数据，通过数据传输模块发送到中生命体征状态评估模块，并发送到数据库进行存储；
数据处理模块，用于通过kinect深度传感器进行骨骼信息获取；还用于消除锁获得骨骼信息的抖动和噪声干扰，并计算获取所有骨骼对的角度旋转移动S03矩阵信息；
危险动作判定模块，用于将计算所得的骨骼对的角度旋转移动S03矩阵信息与录制的危险动作信息进行比较，如果差距小于某个门限，则认为不危险，否则认为危险；
三维视频重构模块，用于通过kinect深度传感器获取所得的视频数据的深度图像，并将所得的深度图像进行三角化，然后在尺度空间中融合所有三角化的深度图像构建分层有向距离场，对距离场中所有的体素应用整体三角剖分算法产生一个涵盖所有体素的凸包，并利用Marching Tetrahedra算法构造等值面，从而完成三维图像的重构，并将重构后的视屏数据发送到三维模拟模块；
三维模拟模块，用于进行待监控老人生活起居动作的三维模拟，包括180°立体柱状环幕、高性能图形集群服务器、六组投影仪，面向六通道同步并行图像运算，并予以详细刻画；
生命体征状态评估模块，用于根据接收到的生命体征数据进行老人生命体征状态的评估，一旦超过设定的界限，报警模块启动，从而提醒监护者进行老人情况的监护；
人机操作模块，用于输入各种控制命令；
报警模块，用于根据危险动作判定模块的判定结果进行报警；
中央处理器，用于协调上述模块工作用于接收人机操作模块输入的各种控制命令，并按照预设的算法发送到指定模块；
所述生命体征采集模块包括套在大拇指所处位置的指套式光电传感器、佩戴在手腕上的温度传感器和脉搏传感器。
还包括数据共享模块，用于通过无线的方式实现数据的共享。
还包括一显示屏，用于显示各种采集到的数据，以及人机操作模块调用的数据。
所述人机操作模块包括图片输入模块、语音输入模块和文字输入模块。
所述语音输入模块采用麦克风，文字输入模块采用手写板和键盘，所述图片输入模块采用扫描仪、摄像头或USB接口导入。
包括一底座，以及通过电动伸缩杆安装在底座上方的一个球体装置，球体装置上设有N个鱼障碍物头，N至少为四个，所述鱼障碍物头拍摄的视频数据的水平角度为360°/N的水平角度，所述鱼障碍物头拍摄的视频数据的垂直角度为360°/N的垂直角度；所述的鱼障碍物头采用焦距短、前镜片直径小且呈抛物面状凸出的超广角镜头。
所述底座内设有GPS定位模块，GPS定位模块通过射频天线与监控中心连接。
所述报警模块为语音报警模块，报警内容至少包括被监测人信息，目前所在的位置，目前所做的行为以及目前的生命体征情况。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (9)

1.一种老人异常行为监测系统，其特征在于，包括
视频采集模块，用于通过摄像头将待监控老人的生活起居拍摄下来，通过数据传输模块发送到数据处理模块，并发送到数据库进行存储；
生命体征采集模块，用于采集待监控老人的生命体征数据，通过数据传输模块发送到中生命体征状态评估模块，并发送到数据库进行存储；
数据处理模块，用于通过kinect深度传感器进行骨骼信息获取；还用于消除锁获得骨骼信息的抖动和噪声干扰，并计算获取所有骨骼对的角度旋转移动S03矩阵信息；
危险动作判定模块，用于将计算所得的骨骼对的角度旋转移动S03矩阵信息与录制的危险动作信息进行比较，如果差距小于某个门限，则认为不危险，否则认为危险；
三维视频重构模块，用于通过kinect深度传感器获取所得的视频数据的深度图像，并将所得的深度图像进行三角化，然后在尺度空间中融合所有三角化的深度图像构建分层有向距离场，对距离场中所有的体素应用整体三角剖分算法产生一个涵盖所有体素的凸包，并利用Marching Tetrahedra算法构造等值面，从而完成三维图像的重构，并将重构后的视屏数据发送到三维模拟模块；
三维模拟模块，用于进行待监控老人生活起居动作的三维模拟，包括180°立体柱状环幕、高性能图形集群服务器、六组投影仪，面向六通道同步并行图像运算，并予以详细刻画；
生命体征状态评估模块，用于根据接收到的生命体征数据进行老人生命体征状态的评估，一旦超过设定的界限，报警模块启动，从而提醒监护者进行老人情况的监护；
人机操作模块，用于输入各种控制命令；
报警模块，用于根据危险动作判定模块以及生命体征评估模块的判定结果进行报警；
中央处理器，用于协调上述模块工作用于接收人机操作模块输入的各种控制命令，并按照预设的算法发送到指定模块。
2.根据权利要求1所述的一种老人异常行为监测系统，其特征在于，所述生命体征采集模块包括套在大拇指所处位置的指套式光电传感器、佩戴在手腕上的温度传感器和脉搏传感器。
3.根据权利要求1所述的一种老人异常行为监测系统，其特征在于，还包括数据共享模块，用于通过无线的方式实现数据的共享。
4.根据权利要求1所述的一种老人异常行为监测系统，其特征在于，还包括一显示屏，用于显示各种采集到的数据，以及人机操作模块调用的数据。
5.根据权利要求1所述的一种老人异常行为监测系统，其特征在于，所述人机操作模块包括图片输入模块、语音输入模块和文字输入模块。
6.根据权利要求5所述的一种老人异常行为监测系统，其特征在于，所述语音输入模块采用麦克风，文字输入模块采用手写板和键盘，所述图片输入模块采用扫描仪、摄像头或USB接口导入。
7.根据权利要求1所述的一种老人异常行为监测系统，其特征在于，包括一底座，以及通过电动伸缩杆安装在底座上方的一个球体装置，球体装置上设有N个鱼障碍物头，N至少为四个，所述鱼障碍物头拍摄的视频数据的水平角度为360°/N的水平角度，所述鱼障碍物头拍摄的视频数据的垂直角度为360°/N的垂直角度；所述的鱼障碍物头采用焦距短、前镜片直径小且呈抛物面状凸出的超广角镜头。
8.根据权利要求1所述的一种老人异常行为监测系统，其特征在于，所述底座内设有GPS定位模块，GPS定位模块通过射频天线与监控中心连接。
9.根据权利要求1所述的一种老人异常行为监测系统，其特征在于，所述报警模块为语音报警模块，报警内容至少包括被监测人信息，目前所在的位 置，目前所做的行为以及目前的生命体征情况。
CN201611271858.7A 2016-12-23 2016-12-23 一种老人异常行为监测系统 Pending CN106781276A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611271858.7A CN106781276A (zh) 2016-12-23 2016-12-23 一种老人异常行为监测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611271858.7A CN106781276A (zh) 2016-12-23 2016-12-23 一种老人异常行为监测系统

Publications (1)

Publication Number Publication Date
CN106781276A true CN106781276A (zh) 2017-05-31

Family

ID=58952819

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611271858.7A Pending CN106781276A (zh) 2016-12-23 2016-12-23 一种老人异常行为监测系统

Country Status (1)

Country Link
CN (1) CN106781276A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108154503A (zh) * 2017-12-13 2018-06-12 西安交通大学医学院第附属医院 一种基于图像处理的白癜风病情诊断系统
CN108854000A (zh) * 2018-06-11 2018-11-23 兰州理工大学 一种互动式太极拳训练系统
CN110097736A (zh) * 2019-04-23 2019-08-06 维沃移动通信有限公司 报警方法及报警装置
CN112862958A (zh) * 2021-03-17 2021-05-28 陕西工业职业技术学院 一种汽车事故辅助鉴定系统
CN113487846A (zh) * 2021-07-22 2021-10-08 苏州普康智慧养老产业科技有限公司 基于互联网的居家护理服务方法及系统
CN114049745A (zh) * 2021-09-26 2022-02-15 中国矿业大学 一种医护人员专用通道人员分布与行为管理系统及方法
CN115424412A (zh) * 2022-08-26 2022-12-02 里辰科技发展有限公司 一种智慧居家养老监测系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0877476A (ja) * 1994-09-01 1996-03-22 Matsushita Electric Works Ltd 生活情報異常監視システム
CN102451008A (zh) * 2010-11-02 2012-05-16 胡志宇 全方位老年人健康和行动监护系统
CN105999682A (zh) * 2016-06-14 2016-10-12 郑州华信学院 一种体育训练监控系统
CN106228513A (zh) * 2016-07-18 2016-12-14 黄河科技学院 一种计算机图像处理系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0877476A (ja) * 1994-09-01 1996-03-22 Matsushita Electric Works Ltd 生活情報異常監視システム
CN102451008A (zh) * 2010-11-02 2012-05-16 胡志宇 全方位老年人健康和行动监护系统
CN105999682A (zh) * 2016-06-14 2016-10-12 郑州华信学院 一种体育训练监控系统
CN106228513A (zh) * 2016-07-18 2016-12-14 黄河科技学院 一种计算机图像处理系统

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108154503A (zh) * 2017-12-13 2018-06-12 西安交通大学医学院第附属医院 一种基于图像处理的白癜风病情诊断系统
CN108854000A (zh) * 2018-06-11 2018-11-23 兰州理工大学 一种互动式太极拳训练系统
CN110097736A (zh) * 2019-04-23 2019-08-06 维沃移动通信有限公司 报警方法及报警装置
CN110097736B (zh) * 2019-04-23 2021-11-30 维沃移动通信有限公司 报警方法及报警装置
CN112862958A (zh) * 2021-03-17 2021-05-28 陕西工业职业技术学院 一种汽车事故辅助鉴定系统
CN113487846A (zh) * 2021-07-22 2021-10-08 苏州普康智慧养老产业科技有限公司 基于互联网的居家护理服务方法及系统
CN114049745A (zh) * 2021-09-26 2022-02-15 中国矿业大学 一种医护人员专用通道人员分布与行为管理系统及方法
CN114049745B (zh) * 2021-09-26 2023-09-05 中国矿业大学 一种医护人员专用通道人员分布与行为管理系统及方法
CN115424412A (zh) * 2022-08-26 2022-12-02 里辰科技发展有限公司 一种智慧居家养老监测系统

Similar Documents

Publication Publication Date Title
CN106781276A (zh) 一种老人异常行为监测系统
CN105999682B (zh) 一种体育训练监控系统
JP6503070B2 (ja) 携帯型デバイスの位置を決定するための方法
CN111031897B (zh) 用于分析皮肤状况的系统和方法
US8947441B2 (en) System and method for database driven action capture
CN100499830C (zh) 3d视频会议站和3d视频会议方法
Augustyniak et al. Seamless tracing of human behavior using complementary wearable and house-embedded sensors
CN106652346A (zh) 一种老年人居家养老监护系统
JP2017174125A5 (zh)
CN104966062B (zh) 视频监视方法和装置
EP3144900B1 (en) Method and terminal for acquiring sign data of target object
US20180082436A1 (en) Image processing apparatus, image processing system, and image processing method
WO2020020022A1 (zh) 视觉识别方法及其系统
CN106915303B (zh) 基于深度数据和鱼眼图像的汽车a柱盲区透视方法
TW201802764A (zh) 群集監視裝置以及群集監視系統
CN111081375B (zh) 健康监测的预警方法及系统
CN106991268B (zh) 监控呼吸运动的方法及其电子装置
Chen et al. Camera networks for healthcare, teleimmersion, and surveillance
Krupicka et al. Motion capture system for finger movement measurement in Parkinson disease
CN106199970A (zh) 一种头戴设备的防疲劳方法和系统
Hung et al. Fall detection with two cameras based on occupied area
Mahmud et al. PoseSonic: 3D Upper Body Pose Estimation Through Egocentric Acoustic Sensing on Smartglasses
CN105828024B (zh) 一种基于视频采集的多目标室内定位系统和定位方法
Krupicka et al. Motion camera system for measuring finger tapping in parkinson’s disease
CN106503613A (zh) 一种公共区域人体行为监控方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170531

RJ01 Rejection of invention patent application after publication