CN110402456B - 异常检测系统、异常检测方法以及存储介质 - Google Patents

异常检测系统、异常检测方法以及存储介质 Download PDF

Info

Publication number
CN110402456B
CN110402456B CN201780085861.6A CN201780085861A CN110402456B CN 110402456 B CN110402456 B CN 110402456B CN 201780085861 A CN201780085861 A CN 201780085861A CN 110402456 B CN110402456 B CN 110402456B
Authority
CN
China
Prior art keywords
abnormality
image data
analysis object
detected
values
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780085861.6A
Other languages
English (en)
Other versions
CN110402456A (zh
Inventor
菅谷俊二
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Optim Corp
Original Assignee
Optim Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Optim Corp filed Critical Optim Corp
Publication of CN110402456A publication Critical patent/CN110402456A/zh
Application granted granted Critical
Publication of CN110402456B publication Critical patent/CN110402456B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Image Analysis (AREA)
  • Alarm Systems (AREA)
  • Image Processing (AREA)

Abstract

本申请的技术问题在于,在拍摄农场、海面等并对拍摄的图像进行解析来进行异常检测时,避免由于光的照射导致的误检测。在通过对在光照射状态下拍摄的图像数据进行图像解析来检测分析对象的异常的情况下,根据图像数据内的光的照射状态,判断是否误检测到分析对象的异常,在误检测的情况下,指示无人机(10)再拍摄。

Description

异常检测系统、异常检测方法以及存储介质
技术领域
本发明涉及对拍摄的图像进行解析来检测异常的异常检测系统、异常检测方法以及存储介质。
背景技术
由于近年的IoT(Internet of Things:物联网)化,在农业、渔业等第一产业中,也正在进行在现场配置传感器、摄像机来获取大数据的尝试。通过人工智能等对获取的数据、图像进行学习,从而即使不前往实际的现场,也能够从远程获知作物的品质、或农场、渔场的环境等。
例如,在专利文献1中,公开了一种对从农场获取的图像进行图像解析,求得家畜的饲养环境,进行咨询的畜产咨询系统。
现有技术文献
专利文献
专利文献1:日本特开2003-6276号公报
发明内容
发明所要解决的问题
但是,在像这样的以往的方法中,在进行图像解析时,解析结果根据拍摄的时期的日光的照射情况而变化。例如,在拍摄到海面的图像的情况下,有时以RGB值表示的海面的颜色会由日光的照射状态而不同,或日光、月光的反射部分会被识别为白色。因此,在使用像这样的图像解析结果进行海面的异常检测的情况下,可能会成为误检测。
例如,在拍摄海面的海苔,检测由赤腐导致的异常时,会将日光的反射等白色部分识别为异常。此外,不仅在白色那样,能够明确地识别的颜色的情况下,而且在根据照射情况,海面的颜色微妙地逐渐不同的情况下,也会发生非期望的异常检测的情况。
因此,本发明的目的在于提供在对农场、海面等进行拍摄并对拍摄的图像进行解析来进行异常检测时,避免由于光的照射导致的误检测的异常检测系统、异常检测方法以及程序。
用于解决问题的方案
在本发明中,提供如下所述的解决方法。
本发明提供一种异常检测系统,该异常检测系统具备:异常检测单元,通过对在光照射状态下所分析的图像数据进行图像解析,来检测出所述分析对象的异常;以及
误检测判断单元,根据所述图像数据内的光的照射状态,判断是否误检测到分析对象的异常。
根据上述发明,通过对在光的照射状态下所分析的图像数据进行图像解析,来检测出所述分析对象的异常,
根据所述图像数据内的光的照射状态,判断是否误检测到分析对象的异常。
发明效果
因此,根据本发明,在拍摄农场、海面等并对拍摄的图像进行解析来进行异常检测时,能避免由于光的照射导致的误检测。
附图说明
图1是表示无人机10和异常检测计算机100的功能框图。
图2表示异常检测计算机100执行的异常检测处理。
具体实施方式
以下,参照图对本发明的具体实施方式进行说明。需要说明的是,这只是一个例子,本发明的技术的范围并不限于此。
[无人机10和异常检测计算机100的构成]
图1是用于说明无人机10和异常检测计算机100的硬件构成和软件功能的框图。无人机10与异常检测计算机100可通信地连接,可进行规定的数据通信。需要说明的是,将包括无人机10和异常检测计算机100的系统设为异常检测云系统1。
无人机10是无人移动的移动体,例如,可以是无人的飞行器或由车轮移动的移动体。无人机10飞过农场、海、旱田、水田、森林、都市等场所(field)并进行拍摄。无人机10将拍摄的数据依次发送至异常检测计算机100等外部的计算机。
如图1所示,无人机10具备:摄像机12,在光照射的状态下拍摄分析对象的图像;GPS13,检测现在的位置信息;控制部15,控制数据;以及通信部16,进行数据的发送和接收。拍摄模块17通过读入存储于控制部15的规定的程序,来实现与摄像机12、通信部16的协作。
无人机10具备能拍摄静态影像或动态影像的通常的视频摄像机或能连续拍摄的摄像机12,例如,静态相机(still camera)、CCD(Charge-Coupled Device:电荷耦合器件)摄像机、CMOS(Complementary MOS:互补型金属氧化物半导体)摄像机等。此外,无人机10也能以装配的方式具备搭载有摄像机的计算机、智能手机等通信终端等。
控制部15具备CPU(Central Processing Unit:中央处理器)、RAM(Random AccessMemory:随机存取存储器)、ROM(Read Only Memory:只读存储器)等。通信部16也可以是可与规定的控制器、基站、路由器、计算机等进行无线通信的模块。
GPS13检测无人机10移动时的当前的位置信息。控制部15通过读入规定的程序,将由GPS13检测的位置信息与由摄像机拍摄的图像的数据建立对应。
异常检测计算机100是可与无人机10等通过摄像机进行拍摄的移动体进行通信的计算机、服务器,并且至少具备进行图像解析等数据控制、运算、存储等的控制部150和与外部的无人机10或计算机进行通信的通信部160。通过由控制部150读入规定的程序,与通信部160协作,实现异常检测模块140、误检测判断模块170、再拍摄指示模块180。
在异常检测计算机100,作为控制部150具备CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)等,作为通信部160具备例如依据IEEE802.11的WiFi对应设备,或者依据第三~五代移动通信系统等的IMT-2000标准的无线设备等。
需要说明的是,异常检测计算机100的各功能也可以由多个计算机构成,异常检测计算机100通过单个或多个计算机形成异常检测系统。
[异常检测处理]
图2是由无人机10和异常检测计算机100执行的异常检测处理的流程图。对于由上述的各硬件和软件模块执行的处理,与本处理一同进行说明。
首先,无人机10开始移动,从上空或地面拍摄农场、海、河流等场所。该图像数据是在光或月光(此外,也可以是照明光等人工的光)照射这些场所的状态下拍摄的数据。无人机10将该图像数据在规定的定时(timing)发送至异常检测计算机100。与此对应,异常检测计算机100接收分析对象的图像数据(步骤S10)。
接着,异常检测模块140对接收的图像数据进行解析,进行拍摄的场所内的异常的检测。具体而言,异常检测模块140进行RGB值的偏离(乖离)的判断(步骤S11)。根据图像解析的异常检测是指如下检测:在获取与通常预测的图像数据不同的图像数据的情况下,判断为该图像内的分析对象物处在与通常不同的状态(异常)。例如,在拍摄了场所的一张静止图像数据中,获取图像整体的RGB值,求出平均值、分散值等数值。将该值与统计性平均值、分散值进行比较,在其为统计上存在偏离的数据的情况下,检测出异常。
例如,在拍摄进行有海苔的养殖的养殖场的情况下,当海苔出现赤腐时,具有海苔的颜色变成紫红色的倾向,获取的图像整体的RGB值的平均值有时会与通常的海苔的图像的RGB值不同。在该情况下,检测出异常。
在此图像数据可以是以静态影像拍摄的一张一张的图像。在该情况下,一张一张的图像数据分别与基于GPS13的拍摄位置的位置信息建立对应。因此,也可以将每一张的图像数据与位置信息建立对应而形成像全景图像那样的一张大的图像数据。无论是前者还是后者,都将图像数据划分为特定的规定区域,对其每个区域进行图像解析,检测此区域的异常。
接着,检测到RGB值的偏离的情况下,误检测判断模块170判断是否由于光照射而存在RGB值的偏离(步骤S12)。即,在由于光照射而存在RGB值的偏离的情况下,判断为误检测到异常。对于该判断,例如,由于光的反射而发生偏离而言,海面的RGB值为白色的情况下,判断为误检测。此外,偏离的判断也可以不与一般的海面等的RGB值相比较,而是与对其海面在基本相同的月份和日期进行拍摄,并在基本同一位置、同一方向拍摄的图像数据的RGB值进行比较,来判断是否存在偏离。
误检测判断模块170在判断为误检测到异常的情况(步骤S12“是”)下,为了确认误检测,再拍摄模块180基于误检测(检测)到异常的区域的图像数据的位置信息来决定应当由无人机10再拍摄的位置和时间(步骤S13)。
应当再拍摄的时间,可以由管理者任意地决定,但可以自动设定除了获取误检测的图像数据的时间以外的,考虑了光的照射度的时间(获取图像数据时间的3、4个小时前后等)。再拍摄指示模块180在决定的时间向无人机10进行飞行指示,以便拍摄决定的位置(步骤S14)。
需要说明的是,也可以不重新决定再拍摄的时间,而是在下一次无人机10飞行的定时(timing),通知管理者应当拍摄此位置,基于管理者的许可,向无人机10给出拍摄指示。
误检测判断模块170在判断为没有误检测到异常(检测到异常)的情况(步骤S12“否”)下,作为检测到异常而进行通知(步骤S15)。在此的异常的通知可以是仅警报为异常,也可以是用数字表示异常的概率。
需要说明的是,误检测的判断也可以将过去误检测的图像数据作为教师数据进行学习,基于其学习结果来判断是否误检测。
上述的方法、功能通过计算机(包括CPU、信息处理装置、各种终端)读入并执行规定的程序来实现。程序例如可以是从计算机经由网络提供的(SaaS:软件即服务)方式,也可以以记录于软盘、CD(CD-ROM等)、DVD(DVD-ROM、DVD-RAM等)、紧凑型存储器等的计算机可读取的记录介质的方式提供。在该情况下,计算机从此记录介质读取程序,将程序传送至内部存储装置或外部存储装置,来存储并执行。此外,此程序也可以预先记录在例如磁盘、光盘、磁光盘等存储装置(记录介质)中,并从此存储装置经由通信线路提供到计算机。
以上,对本发明的实施方式进行了说明,但本发明并不限定于上述的这些实施方式。此外,本发明的实施方式记载的效果只是列举了根据本发明产生的最优选的效果,由本发明产生的效果,并不限定于本发明的实施方式记载的效果。
附图标记说明:
1:异常检测云系统;10:无人机;100:异常检测计算机。

Claims (4)

1.一种异常检测系统,具备:
异常检测单元,通过对在光照射状态下拍摄的图像数据进行图像解析,来获取图像整体的RGB值,求出平均值、分散值,将该值与统计性平均值、分散值进行比较,在为统计上存在偏离的数据的情况下,检测出分析对象的异常;以及
误检测判断单元,根据所述图像数据内的光的照射状态,判断是否误检测到分析对象的异常,
所述误检测判断单元判断是否误检测到所述分析对象的异常是指,在所述图像数据内的区域中,检测由所述光的照射导致的RGB值的偏离,并进行判断,
所述异常检测系统还具备:再拍摄指示单元,在所述图像数据内的区域中检测到RGB值的偏离,判断为误检测到所述分析对象的异常的情况下,指示对与该区域相应的位置进行再拍摄,
所述误检测判断单元在检测所述分析对象的异常时,学习过去拍摄的分析对象的图像数据来判断误检测。
2.一种异常检测云系统,其中,
无人机具备在光照射状态下拍摄分析对象的拍摄单元,
与所述无人机可通信地连接的计算机具备:
异常检测单元,通过对由所述无人机进行该拍摄的分析对象的图像数据进行图像解析,来获取图像整体的RGB值,求出平均值、分散值,将该值与统计性平均值、分散值进行比较,在为统计上存在偏离的数据的情况下,检测出所述分析对象的异常;以及
误检测判断单元,根据拍摄的图像数据内的光的照射状态,判断是否误检测到分析对象的异常,
所述误检测判断单元判断是否误检测到所述分析对象的异常是指,在所述图像数据内的区域中,检测由所述光的照射导致的RGB值的偏离,并进行判断,
所述异常检测云系统还具备:再拍摄指示单元,在所述图像数据内的区域中检测到RGB值的偏离,判断为误检测到所述分析对象的异常的情况下,指示对与该区域相应的位置进行再拍摄,
所述误检测判断单元在检测所述分析对象的异常时,学习过去拍摄的分析对象的图像数据来判断误检测。
3.一种异常检测方法,具备:
拍摄步骤,在光照射状态下拍摄分析对象;
异常检测步骤,通过对拍摄所述分析对象而得到的图像数据进行图像解析,来获取图像整体的RGB值,求出平均值、分散值,将该值与统计性平均值、分散值进行比较,在为统计上存在偏离的数据的情况下,检测出所述分析对象的异常;以及
误检测判断步骤,根据拍摄的图像数据内的光的照射状态,判断是否误检测到分析对象的异常,
在所述误检测判断步骤中判断是否误检测到所述分析对象的异常是指,在所述图像数据内的区域中,检测由所述光的照射导致的RGB值的偏离,并进行判断,
所述异常检测方法还具备:再拍摄指示步骤,在所述图像数据内的区域中检测到RGB值的偏离,判断为误检测到所述分析对象的异常的情况下,指示对与该区域相应的位置进行再拍摄,
在所述误检测判断步骤中,在检测所述分析对象的异常时,学习过去拍摄的分析对象的图像数据来判断误检测。
4.一种存储介质,存储有程序,该程序用于使计算机执行如下步骤:
通过对在光照射状态下拍摄的图像数据进行图像解析,来获取图像整体的RGB值,求出平均值、分散值,将该值与统计性平均值、分散值进行比较,在为统计上存在偏离的数据的情况下,检测出分析对象的异常的步骤;以及
根据所述图像数据内的光的照射状态,判断是否误检测到分析对象的异常的步骤,
在所述判断是否误检测到异常的步骤中判断是否误检测到所述分析对象的异常是指,在所述图像数据内的区域中,检测由所述光的照射导致的RGB值的偏离,并进行判断,
在所述判断是否误检测到异常的步骤中,在检测所述分析对象的异常时,学习过去拍摄的分析对象的图像数据来判断误检测,
所述程序还用于使计算机执行:再拍摄指示步骤,在所述图像数据内的区域中检测到RGB值的偏离,判断为误检测到所述分析对象的异常的情况下,指示对与该区域相应的位置进行再拍摄。
CN201780085861.6A 2017-02-28 2017-02-28 异常检测系统、异常检测方法以及存储介质 Active CN110402456B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/007805 WO2018158823A1 (ja) 2017-02-28 2017-02-28 異常検知システム、異常検知方法及びプログラム

Publications (2)

Publication Number Publication Date
CN110402456A CN110402456A (zh) 2019-11-01
CN110402456B true CN110402456B (zh) 2023-06-23

Family

ID=63370321

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780085861.6A Active CN110402456B (zh) 2017-02-28 2017-02-28 异常检测系统、异常检测方法以及存储介质

Country Status (4)

Country Link
US (1) US10636174B2 (zh)
JP (1) JP6625786B2 (zh)
CN (1) CN110402456B (zh)
WO (1) WO2018158823A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11074447B1 (en) * 2018-07-13 2021-07-27 Hana Resources, Inc. Land analysis system using drone-captured data
JP7091199B2 (ja) * 2018-09-12 2022-06-27 株式会社東芝 画像処理装置、方法及びプログラム
JP7190951B2 (ja) * 2019-03-27 2022-12-16 株式会社日立製作所 画像認識システムおよび画像認識方法
CN113552123A (zh) * 2020-04-17 2021-10-26 华为技术有限公司 视觉检测方法和视觉检测装置
CN112991286B (zh) * 2021-03-05 2024-04-26 浙江大华技术股份有限公司 图像统计数据的检测方法、设备以及计算机可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1592352A (zh) * 2003-08-29 2005-03-09 诺日士钢机株式会社 图像处理装置、方法、以及程序
JP2013061696A (ja) * 2011-09-12 2013-04-04 Dainippon Printing Co Ltd 真贋判定装置、真贋判定方法、及びプログラム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0830765A (ja) * 1994-07-14 1996-02-02 Toyo Constr Co Ltd 水域モニタリングシステム
JP3586118B2 (ja) * 1998-10-19 2004-11-10 大日本スクリーン製造株式会社 出力物検査装置
JP3997062B2 (ja) * 2001-05-30 2007-10-24 株式会社日立製作所 画像監視装置
JP2003006276A (ja) 2001-06-26 2003-01-10 Nisshin Seifun Group Inc 畜産コンサルティングシステム
JP2005150779A (ja) * 2003-11-11 2005-06-09 Olympus Corp 画像表示装置の表示特性補正データ算出方法、表示特性補正データプログラム、表示特性補正データ算出装置
JP4332122B2 (ja) * 2005-01-17 2009-09-16 シーケーディ株式会社 外観検査装置及びptp包装機
JP2009169717A (ja) * 2008-01-17 2009-07-30 Meidensha Corp 画像処理による侵入者検知装置
JP2010044445A (ja) * 2008-08-08 2010-02-25 Honda Motor Co Ltd 車両環境認識装置
US9977978B2 (en) * 2011-11-14 2018-05-22 San Diego State University Research Foundation Image station matching, preprocessing, spatial registration and change detection with multi-temporal remotely-sensed imagery
JP6454579B2 (ja) * 2015-03-27 2019-01-16 綜合警備保障株式会社 空撮画像処理システム及び空撮画像処理方法
CA2998439A1 (en) * 2015-09-18 2017-03-23 SlantRange, Inc. Systems and methods for determining statistics of plant populations based on overhead optical measurements
WO2017095948A1 (en) * 2015-11-30 2017-06-08 Pilot Ai Labs, Inc. Improved general object detection using neural networks
US10621418B2 (en) * 2016-02-18 2020-04-14 Mitsubishi Electric Corporation Passenger detection device, passenger detection system, and passenger detection method
US10546195B2 (en) * 2016-12-02 2020-01-28 Geostat Aerospace & Technology Inc. Methods and systems for automatic object detection from aerial imagery
US9984455B1 (en) * 2017-06-05 2018-05-29 Hana Resources, Inc. Organism growth prediction system using drone-captured images
TWI637363B (zh) * 2017-07-26 2018-10-01 銘傳大學 擴增實境之人機互動系統
US10778967B2 (en) * 2017-08-24 2020-09-15 Qualcomm Incorporated Systems and methods for improving performance of a robotic vehicle by managing on-board camera defects

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1592352A (zh) * 2003-08-29 2005-03-09 诺日士钢机株式会社 图像处理装置、方法、以及程序
JP2013061696A (ja) * 2011-09-12 2013-04-04 Dainippon Printing Co Ltd 真贋判定装置、真贋判定方法、及びプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Visual Sensor Based Abnormal Event Detection with Moving Shadow Removal in Home Healthcare Applications;Young-Sook Lee,et al;sensors;第12卷(第1期);573-584 *
基于图像分析的3A控制算法综述;林忠;南京工程学院学报;第9卷(第4期);5-14 *

Also Published As

Publication number Publication date
JP6625786B2 (ja) 2019-12-25
US20190340789A1 (en) 2019-11-07
JPWO2018158823A1 (ja) 2019-11-07
WO2018158823A1 (ja) 2018-09-07
US10636174B2 (en) 2020-04-28
CN110402456A (zh) 2019-11-01

Similar Documents

Publication Publication Date Title
CN110402456B (zh) 异常检测系统、异常检测方法以及存储介质
US11074470B2 (en) System and method for automatically improving gathering of data using a data gathering device
KR101984983B1 (ko) 야생동물 모니터링 시스템 및 그 방법
WO2019233394A1 (zh) 图像处理方法和装置、存储介质、电子设备
JP7045030B2 (ja) 検査システム、検査方法、サーバ装置、及びプログラム
EP4138025A1 (en) Smart livestock management system and method for same
CN110463199A (zh) 图像传感器坏点检测方法、拍摄装置、无人机及存储介质
US9922049B2 (en) Information processing device, method of processing information, and program for processing information
JP2017112857A (ja) 畜産管理システム
CN111832345B (zh) 集装箱监控方法、装置及设备、存储介质
CN110731076A (zh) 一种拍摄处理方法、设备及存储介质
JPWO2019198611A1 (ja) 特徴推定装置および特徴推定方法
WO2018158822A1 (ja) 異常検知システム、方法及びプログラム
KR102622793B1 (ko) 양식 어류의 실시간 질병 감지시스템 및 그 방법
CN112183487A (zh) 基于5g的牲畜健康监测系统和方法
WO2020141888A1 (ko) 사육장 환경 관리 장치
CN110889847A (zh) 一种基于红外成像的核辐射损伤评估系统、方法
WO2019163118A1 (ja) コンピュータシステム、ドローン制御方法及びプログラム
CN110688926B (zh) 主体检测方法和装置、电子设备、计算机可读存储介质
KR101859949B1 (ko) 가축의 전염병 발견 방법
JP7300958B2 (ja) 撮像装置、制御方法、及びコンピュータプログラム
CN111488772B (zh) 烟雾检测的方法和装置
US11917301B2 (en) Image capturing apparatus and method for controlling image capturing apparatus
Brown et al. Poacher detection and wildlife counting system
CN112749607B (zh) 基于人工智能的图像识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant