CN109389087A - 一种多模态视频目标特征识别系统 - Google Patents

一种多模态视频目标特征识别系统 Download PDF

Info

Publication number
CN109389087A
CN109389087A CN201811176135.8A CN201811176135A CN109389087A CN 109389087 A CN109389087 A CN 109389087A CN 201811176135 A CN201811176135 A CN 201811176135A CN 109389087 A CN109389087 A CN 109389087A
Authority
CN
China
Prior art keywords
unit
module
feature
output end
input terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811176135.8A
Other languages
English (en)
Inventor
蔡昭权
蔡映雪
胡辉
胡松
陈伽
黄思博
黄翰
梁椅辉
罗伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huizhou University
Original Assignee
Huizhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huizhou University filed Critical Huizhou University
Priority to CN201811176135.8A priority Critical patent/CN109389087A/zh
Publication of CN109389087A publication Critical patent/CN109389087A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种多模态视频目标特征识别系统，包括目标特征提取模块，目标特征提取模块包括视频采集模块、HOG特征提取模块、LBP特征提取模块、SIFT特征提取模块、面部特征提取单元和行为特征提取模块，涉及视频目标特征识别系统技术领域。该多模态视频目标特征识别系统，便于对视频进行采集，提高了视频获取的简便性，同时可以对获取的视频进行数据采集，并且可以进行远程传输，便于人们的使用，提高了实用性，实现对视频的HOG特征、LBP特征和SIFT特征均进行采集，提高了对视频特征采集的完整性，保证了视频特征采集的准确性，便于对人体信息进行采集，同时可以对行为信息进行特征提取，并且可以对异常行为进行报警，提高了系统的适用范围。

Description

一种多模态视频目标特征识别系统
技术领域
本发明涉及视频目标特征识别系统技术领域，具体为一种多模态视频目标特征识别系统。
背景技术
目标识别是指一个特殊目标（或一种类型的目标）从其它目标（或其它类型的目标）中被区分出来的过程。它既包括两个非常相似目标的识别，也包括一种类型的目标同其他类型目标的识别。
现有的视频目标特征识别系统较为简单，识别范围较小，功能单一，识别内容有限，不便于人们的使用，同时现有的视频目标特征识别系统无法对人体特征进行识别，限制了目标特征识别系统的使用范围。
发明内容
（一）解决的技术问题
针对现有技术的不足，本发明提供了一种多模态视频目标特征识别系统，解决了现有的视频目标特征识别系统较为简单，识别范围较小，功能单一，识别内容有限，不便于人们的使用，同时现有的视频目标特征识别系统无法对人体特征进行识别，限制了目标特征识别系统使用范围的问题。
（二）技术方案
为实现以上目的，本发明通过以下技术方案予以实现：一种多模态视频目标特征识别系统，包括目标特征提取模块，所述目标特征提取模块包括视频采集模块、HOG特征提取模块、LBP特征提取模块、SIFT特征提取模块、面部特征提取单元和行为特征提取模块，所述视频采集模块的输出端分别与HOG特征提取模块、LBP特征提取模块、SIFT特征提取模块、面部特征提取单元和行为特征提取模块的输入端连接。
进一步地，所述视频采集模块包括摄像头、数据采集器、存储模块、第一中央处理器、显示模块和信号收发器，所述摄像头的输出端与数据采集器的输入端连接，所述数据采集器的输出端与第一中央处理器的输入端连接，所述第一中央处理器的输出端分别与存储模块、显示模块和信号收发器的输入端连接。
进一步地，所述HOG特征提取模块包括图像归一化单元、梯度计算单元、权重投影单元和HOG特征组合单元，所述图像归一化单元的输出端与梯度计算单元的输入端连接，所述梯度计算单元的输出端与权重投影单元的输入端连接，所述权重投影单元的输出端与HOG特征组合单元的输入端连接。
进一步地，所述LBP特征提取模块包括图像输入模块、滤波预处理模块、LBP特征提取单元和LBP特征排序单元，所述图像输入模块的输出端与滤波预处理模块的输入端连接，所述滤波预处理模块的输出端与LBP特征提取单元的输入端连接，所述LBP特征提取单元的输出端与LBP特征排序单元的输入端连接。
进一步地，所述SIFT特征提取模块包括视频预处理模块、SIFT特征提取单元、SIFT特征融合单元和SIFT特征特征分类单元，所述视频预处理模块的输出端与SIFT特征提取单元的输入端连接，所述SIFT特征提取单元的输出端与SIFT特征融合单元的输入端连接，所述SIFT特征融合单元的输出端与SIFT特征特征分类单元的输入端连接。
进一步地，所述视频预处理模块包括清晰度处理单元和灰度处理单元。
进一步地，所述所述人体特征提取模块包括面部特征提取单元、身高特征提取单元、服饰特征提取单元、步态特征提取单元、第二中央处理器、存储单元，所述面部特征提取单元、身高特征提取单元、服饰特征提取单元和步态特征提取单元的输出端均与第二中央处理器的输入端连接，所述第二中央处理器的输出端与存储单元的输入端连接。
进一步地，所述行为特征提取模块包括行为周期提取单元、行为特征提取单元、行为特征分类单元和异常行为提醒单元，所述行为周期提取单元的输出端与行为特征提取单元的输入端连接，所述行为特征提取单元的输出端与行为特征分类单元的输入端连接，所述行为特征分类单元的输出端与异常行为提醒单元的输入端连接。
（三）有益效果
本发明具有以下有益效果：
（1）、该多模态视频目标特征识别系统，通过摄像头的输出端与数据采集器的输入端连接，数据采集器的输出端与第一中央处理器的输入端连接，第一中央处理器的输出端分别与存储模块、显示模块和信号收发器的输入端连接，便于对视频进行采集，提高了视频获取的简便性，同时可以对获取的视频进行数据采集，并且可以进行远程传输，便于人们的使用，提高了实用性。
（2）、该多模态视频目标特征识别系统，通过图像归一化单元的输出端与梯度计算单元的输入端连接，梯度计算单元的输出端与权重投影单元的输入端连接，权重投影单元的输出端与HOG特征组合单元的输入端连接，图像输入模块的输出端与滤波预处理模块的输入端连接，滤波预处理模块的输出端与LBP特征提取单元的输入端连接，LBP特征提取单元的输出端与LBP特征排序单元的输入端连接，视频预处理模块的输出端与SIFT特征提取单元的输入端连接，SIFT特征提取单元的输出端与SIFT特征融合单元的输入端连接，SIFT特征融合单元的输出端与SIFT特征特征分类单元的输入端连接，实现对视频的HOG特征、LBP特征和SIFT特征均进行采集，提高了对视频特征采集的完整性，保证了视频特征采集的准确性。
（3）、该多模态视频目标特征识别系统，通过面部特征提取单元、身高特征提取单元、服饰特征提取单元和步态特征提取单元的输出端均与第二中央处理器的输入端连接，第二中央处理器的输出端与存储单元的输入端连接，行为周期提取单元的输出端与行为特征提取单元的输入端连接，行为特征提取单元的输出端与行为特征分类单元的输入端连接，行为特征分类单元的输出端与异常行为提醒单元的输入端连接，便于对人体信息进行采集，同时可以对行为信息进行特征提取，并且可以对异常行为进行报警，提高了系统的适用范围。
当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
图1为本发明目标特征提取模块的系统原理框图；
图2为本发明视频采集模块的系统原理框图；
图3为本发明HOG特征提取模块的系统原理框图；
图4为本发明LBP特征提取模块的系统原理框图；
图5为本发明SIFT特征提取模块的系统原理框图；
图6为本发明视频预处理模块的系统原理框图；
图7为本发明人体特征提取模块的系统原理框图；
图8为本发明行为特征提取模块的系统原理框图。
图中，1-目标特征提取模块、2-视频采集模块、21-摄像头、22-数据采集器、23-存储模块、24-第一中央处理器、25-显示模块、26-信号收发器、3-HOG特征提取模块、31-图像归一化单元、32-梯度计算单元、33-权重投影单元、34-HOG特征组合单元、4-LBP特征提取模块、41-图像输入模块、42-滤波预处理模块、43-LBP特征提取单元、44-LBP特征排序单元、5-SIFT特征提取模块、51-视频预处理模块、511-清晰度处理单元、512-灰度处理单元、52-SIFT特征提取单元、53-SIFT特征融合单元、54-SIFT特征特征分类单元、6-人体特征提取模块、61-面部特征提取单元、62-身高特征提取单元、63-服饰特征提取单元、64-步态特征提取单元、65-第二中央处理器、66-存储单元、7-行为特征提取模块、71-行为周期提取单元、72-行为特征提取单元、73-行为特征分类单元、74-异常行为提醒单元。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要理解的是，术语“开孔”、“上”、“下”、“厚度”、“顶”、“中”、“长度”、“内”、“四周”等指示方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的组件或元件必须具有特定的方位，以特定的方位构造和操作，因此不能理解为对本发明的限制。
请参阅图1-8，本发明实施例提供一种技术方案：一种多模态视频目标特征识别系统，包括目标特征提取模块1，所述目标特征提取模块1包括视频采集模块2、HOG特征提取模块3、LBP特征提取模块4、SIFT特征提取模块5、面部特征提取单元6和行为特征提取模块7，所述视频采集模块2的输出端分别与HOG特征提取模块3、LBP特征提取模块4、SIFT特征提取模块5、面部特征提取单元6和行为特征提取模块7的输入端连接，所述视频采集模块2包括摄像头21、数据采集器22、存储模块23、第一中央处理器24、显示模块25和信号收发器26，摄像头21为高清摄像头，数据采集器22的型号为CR200X，第一中央处理器24的信号为ARM9，所述摄像头21的输出端与数据采集器22的输入端连接，所述数据采集器22的输出端与第一中央处理器24的输入端连接，所述第一中央处理器24的输出端分别与存储模块23、显示模块25和信号收发器26的输入端连接，便于对视频进行采集，提高了视频获取的简便性，同时可以对获取的视频进行数据采集，并且可以进行远程传输，便于人们的使用，提高了实用性，所述HOG特征提取模块3包括图像归一化单元31、梯度计算单元32、权重投影单元33和HOG特征组合单元34，所述图像归一化单元31的输出端与梯度计算单元32的输入端连接，所述梯度计算单元32的输出端与权重投影单元33的输入端连接，所述权重投影单元33的输出端与HOG特征组合单元34的输入端连接，所述LBP特征提取模块4包括图像输入模块41、滤波预处理模块42、LBP特征提取单元43和LBP特征排序单元44，所述图像输入模块41的输出端与滤波预处理模块42的输入端连接，所述滤波预处理模块42的输出端与LBP特征提取单元43的输入端连接，所述LBP特征提取单元43的输出端与LBP特征排序单元44的输入端连接，所述SIFT特征提取模块5包括视频预处理模块51、SIFT特征提取单元52、SIFT特征融合单元53和SIFT特征特征分类单元54，所述视频预处理模块51的输出端与SIFT特征提取单元52的输入端连接，所述SIFT特征提取单元52的输出端与SIFT特征融合单元53的输入端连接，所述SIFT特征融合单元53的输出端与SIFT特征特征分类单元54的输入端连接，所述视频预处理模块51包括清晰度处理单元511和灰度处理单元512，实现对视频的HOG特征、LBP特征和SIFT特征均进行采集，提高了对视频特征采集的完整性，保证了视频特征采集的准确性，所述所述人体特征提取模块6包括面部特征提取单元61、身高特征提取单元62、服饰特征提取单元63、步态特征提取单元64、第二中央处理器65、存储单元66，第二中央处理器65的型号为ARM9，面部特征提取单元61便于对面部信息进行提取，身高特征提取单元62对身高信息进行提取，服饰特征提取单元63对服饰信息进行提取，步态特征提取单元64对步态信息进行提取，所述面部特征提取单元61、身高特征提取单元62、服饰特征提取单元63和步态特征提取单元64的输出端均与第二中央处理器65的输入端连接，所述第二中央处理器65的输出端与存储单元66的输入端连接，所述行为特征提取模块7包括行为周期提取单元71、行为特征提取单元72、行为特征分类单元73和异常行为提醒单元74，便于对异常行为进行判定，并对异常行为进行报警，所述行为周期提取单元71的输出端与行为特征提取单元72的输入端连接，所述行为特征提取单元72的输出端与行为特征分类单元73的输入端连接，所述行为特征分类单元73的输出端与异常行为提醒单元74的输入端连接，便于对人体信息进行采集，同时可以对行为信息进行特征提取，并且可以对异常行为进行报警，提高了系统的适用范围。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (8)

1.一种多模态视频目标特征识别系统，包括目标特征提取模块（1），其特征在于：所述目标特征提取模块（1）包括视频采集模块（2）、HOG特征提取模块（3）、LBP特征提取模块（4）、SIFT特征提取模块（5）、面部特征提取单元（6）和行为特征提取模块（7），所述视频采集模块（2）的输出端分别与HOG特征提取模块（3）、LBP特征提取模块（4）、SIFT特征提取模块（5）、面部特征提取单元（6）和行为特征提取模块（7）的输入端连接。
2.根据权利要求1所述的一种多模态视频目标特征识别系统，其特征在于：所述视频采集模块（2）包括摄像头（21）、数据采集器（22）、存储模块（23）、第一中央处理器（24）、显示模块（25）和信号收发器（26），所述摄像头（21）的输出端与数据采集器（22）的输入端连接，所述数据采集器（22）的输出端与第一中央处理器（24）的输入端连接，所述第一中央处理器（24）的输出端分别与存储模块（23）、显示模块（25）和信号收发器（26）的输入端连接。
3.根据权利要求1所述的一种多模态视频目标特征识别系统，其特征在于：所述HOG特征提取模块（3）包括图像归一化单元（31）、梯度计算单元（32）、权重投影单元（33）和HOG特征组合单元（34），所述图像归一化单元（31）的输出端与梯度计算单元（32）的输入端连接，所述梯度计算单元（32）的输出端与权重投影单元（33）的输入端连接，所述权重投影单元（33）的输出端与HOG特征组合单元（34）的输入端连接。
4.根据权利要求1所述的一种多模态视频目标特征识别系统，其特征在于：所述LBP特征提取模块（4）包括图像输入模块（41）、滤波预处理模块（42）、LBP特征提取单元（43）和LBP特征排序单元（44），所述图像输入模块（41）的输出端与滤波预处理模块（42）的输入端连接，所述滤波预处理模块（42）的输出端与LBP特征提取单元（43）的输入端连接，所述LBP特征提取单元（43）的输出端与LBP特征排序单元（44）的输入端连接。
5.根据权利要求1所述的一种多模态视频目标特征识别系统，其特征在于：所述SIFT特征提取模块（5）包括视频预处理模块（51）、SIFT特征提取单元（52）、SIFT特征融合单元（53）和SIFT特征特征分类单元（54），所述视频预处理模块（51）的输出端与SIFT特征提取单元（52）的输入端连接，所述SIFT特征提取单元（52）的输出端与SIFT特征融合单元（53）的输入端连接，所述SIFT特征融合单元（53）的输出端与SIFT特征特征分类单元（54）的输入端连接。
6.根据权利要求5所述的一种多模态视频目标特征识别系统，其特征在于：所述视频预处理模块（51）包括清晰度处理单元（511）和灰度处理单元（512）。
7.根据权利要求1所述的一种多模态视频目标特征识别系统，其特征在于：所述所述人体特征提取模块（6）包括面部特征提取单元（61）、身高特征提取单元（62）、服饰特征提取单元（63）、步态特征提取单元（64）、第二中央处理器（65）、存储单元（66），所述面部特征提取单元（61）、身高特征提取单元（62）、服饰特征提取单元（63）和步态特征提取单元（64）的输出端均与第二中央处理器（65）的输入端连接，所述第二中央处理器（65）的输出端与存储单元（66）的输入端连接。
8.根据权利要求1所述的一种多模态视频目标特征识别系统，其特征在于：所述行为特征提取模块（7）包括行为周期提取单元（71）、行为特征提取单元（72）、行为特征分类单元（73）和异常行为提醒单元（74），所述行为周期提取单元（71）的输出端与行为特征提取单元（72）的输入端连接，所述行为特征提取单元（72）的输出端与行为特征分类单元（73）的输入端连接，所述行为特征分类单元（73）的输出端与异常行为提醒单元（74）的输入端连接。
CN201811176135.8A 2018-10-10 2018-10-10 一种多模态视频目标特征识别系统 Pending CN109389087A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811176135.8A CN109389087A (zh) 2018-10-10 2018-10-10 一种多模态视频目标特征识别系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811176135.8A CN109389087A (zh) 2018-10-10 2018-10-10 一种多模态视频目标特征识别系统

Publications (1)

Publication Number Publication Date
CN109389087A true CN109389087A (zh) 2019-02-26

Family

ID=65426644

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811176135.8A Pending CN109389087A (zh) 2018-10-10 2018-10-10 一种多模态视频目标特征识别系统

Country Status (1)

Country Link
CN (1) CN109389087A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114758394A (zh) * 2022-04-25 2022-07-15 深圳市联洲国际技术有限公司 一种目标特征提取方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102298709A (zh) * 2011-09-07 2011-12-28 江西财经大学 复杂环境下多特征融合的节能型智能识别数字标牌
CN103049751A (zh) * 2013-01-24 2013-04-17 苏州大学 一种改进的加权区域匹配高空视频行人识别方法
CN105915847A (zh) * 2016-04-29 2016-08-31 浙江理工大学 基于特征匹配跟踪的视频监控装置及其方法
CN106127808A (zh) * 2016-06-20 2016-11-16 浙江工业大学 一种基于颜色与局部二值模式特征融合的抗遮挡粒子滤波目标跟踪方法
CN107122707A (zh) * 2017-03-17 2017-09-01 山东大学 基于外貌特征紧凑表示的视频行人再识别方法及系统
US20170330068A1 (en) * 2016-05-16 2017-11-16 Canon Kabushiki Kaisha Devices, systems, and methods for feature encoding

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102298709A (zh) * 2011-09-07 2011-12-28 江西财经大学 复杂环境下多特征融合的节能型智能识别数字标牌
CN103049751A (zh) * 2013-01-24 2013-04-17 苏州大学 一种改进的加权区域匹配高空视频行人识别方法
CN105915847A (zh) * 2016-04-29 2016-08-31 浙江理工大学 基于特征匹配跟踪的视频监控装置及其方法
US20170330068A1 (en) * 2016-05-16 2017-11-16 Canon Kabushiki Kaisha Devices, systems, and methods for feature encoding
CN106127808A (zh) * 2016-06-20 2016-11-16 浙江工业大学 一种基于颜色与局部二值模式特征融合的抗遮挡粒子滤波目标跟踪方法
CN107122707A (zh) * 2017-03-17 2017-09-01 山东大学 基于外貌特征紧凑表示的视频行人再识别方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114758394A (zh) * 2022-04-25 2022-07-15 深圳市联洲国际技术有限公司 一种目标特征提取方法

Similar Documents

Publication Publication Date Title
US20170345181A1 (en) Video monitoring method and video monitoring system
CN105243386B (zh) 人脸活体判断方法以及系统
CN108021892B (zh) 一种基于极短视频的人脸活体检测方法
Augustyniak et al. Seamless tracing of human behavior using complementary wearable and house-embedded sensors
CN105447432B (zh) 一种基于局部运动模式的人脸防伪方法
CN106548164A (zh) 人脸图像与移动设备的关联性识别方法
CN105184235B (zh) 一种基于特征融合的二代身份证识别方法
JP2011248836A (ja) 滞留検出システム及びプログラム
US20160127657A1 (en) Imaging system
CN109035305B (zh) 一种基于rgb-d低视角情况下的室内人体检测与跟踪方法
CN109426787A (zh) 一种人体目标轨迹确定方法及装置
CN102833486A (zh) 一种实时调节视频图像中人脸显示比例的方法及装置
JP6410450B2 (ja) オブジェクト識別装置、オブジェクト識別方法及びプログラム
CN108986125B (zh) 物体边缘提取方法、装置及电子设备
Divya et al. Inspection of suspicious human activity in the crowdsourced areas captured in surveillance cameras
WO2017156864A1 (zh) 图像识别方法、装置、设备及非易失性计算机存储介质
CN111429345A (zh) 一种超低功耗视觉计算心率及心率变异性方法
Iosifidis et al. Multi-view human action recognition: A survey
Han et al. Improving food detection for images from a wearable egocentric camera
Haq et al. On temporal order invariance for view-invariant action recognition
CN109389087A (zh) 一种多模态视频目标特征识别系统
KR100885418B1 (ko) 오버헤드 카메라 영상에서 사람을 감지하고 추적하는시스템 및 그 방법
CN110929583A (zh) 一种高检测精度人脸识别方法
Dubois et al. Automatic fall detection system with a RGB-D camera using a hidden Markov model
Rattathanapad et al. Vessel extraction in retinal images using multilevel line detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190226