CN112257768B - 一种非法金融图片的识别方法、装置、计算机存储介质 - Google Patents

一种非法金融图片的识别方法、装置、计算机存储介质 Download PDF

Info

Publication number
CN112257768B
CN112257768B CN202011116927.3A CN202011116927A CN112257768B CN 112257768 B CN112257768 B CN 112257768B CN 202011116927 A CN202011116927 A CN 202011116927A CN 112257768 B CN112257768 B CN 112257768B
Authority
CN
China
Prior art keywords
picture
financial
illegal financial
illegal
character
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011116927.3A
Other languages
English (en)
Other versions
CN112257768A (zh
Inventor
郑杰文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Financial Technology Co ltd
Original Assignee
Guangzhou Financial Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Financial Technology Co ltd filed Critical Guangzhou Financial Technology Co ltd
Priority to CN202011116927.3A priority Critical patent/CN112257768B/zh
Publication of CN112257768A publication Critical patent/CN112257768A/zh
Application granted granted Critical
Publication of CN112257768B publication Critical patent/CN112257768B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Character Input (AREA)

Abstract

本发明涉及一种非法金融图片的识别方法、装置、计算机存储介质；所述方法为：收集金融领域的正规app图标，组建app图标库；搜集非法金融图片，组建非法金融图片库。利用图像对比技术与app图标库的图像进行相似度对比，图片相似度大于图片相似度阈值，则判为非法金融图片，若不大于图片相似度阈值，则对图片进行OCR识别，判断文字重叠度是否大于文字重叠度门限值，若是，则判定为非法金融活动，若否，则判断文字中是否出现了关键词库中设定的关键词，若是，则将该图片判定为非法金融相关，同时将该图片补充进非法金融活动的图片库，若否，则为正规金融图片。本发明可提高非法金融图标识别的准确度。

Description

一种非法金融图片的识别方法、装置、计算机存储介质
技术领域
本发明涉及图像识别领域，更具体地，涉及一种非法金融图片的识别方法、装置、计算机存储介质。
背景技术
光学字符识别(Optical Character Recognition，简称OCR)是指对文本资料的图像文件进行分析识别处理，获取文字及版面信息的过程。
图像对比技术：将两张图片进行对比，返回值表示两张图片的相似度。完全一样时，则相似度为1。完全不一样时，相似度为0。其余情况，根据相似情况返回百分比，百分比越高代表着越相似。
FOTS模型(Fast Oriented Text Spotting)：是图像文本检测与识别同步训练、端到端可学习的网络模型。
SSIM算法(structural similarity)：是一种用来衡量图片相似度的指标，也可用来判断图片压缩后的质量。基本原理：SSIM由亮度对比、对比度对比、结构对比三部分组成。取值范围为[0,1]，当为1时，表示完全一样。
SSD(Single Shot MultiBox Detector)：一种单级式目标检测算法。
随着移动互联网的发展，越来越多非法金融活动的推广形式由最初的单一文字推广变成了文字、图片、视频等多模态的推广，原有的基于文字的非法金融风险发现已不能适用于多模态下的非法金融活动。金融风险监控领域传统的方式是对舆情通过NLP进行文字分析，例如利用NLP模型进行分类、关键词提取等，没有基于图像的手段。如果想增加图像识别，仅仅简单的选择现有的OCR模型训练方式，得到的模型，会导致识别拼接类图片(尤其是拼接处文字)的识别效果大打折扣。
发明内容
本发明为克服上述现有技术所述的非法金融图标识别不够准确的缺陷，提供一种非法金融图片的识别方法、装置、计算机存储介质。
所述方法包括以下步骤：
S1：收集金融领域的正规app图标，组建正规app图标库；
收集冒充正规app的山寨app图标，组建山寨app图标库；
收集非法金融图片，组建非法金融图片库；
设定非法金融图片的关键词库；
S2：确定待识别非法金融图片的图片对比集、图片相似度阈值、文字对比集、文字重叠度门限值；
S3：输入待识别非法金融图片，判断待识别非法金融图片是否为app图标；若是，则执行S4；若否，则执行S5；
S4：对待识别非法金融图片进行物体检测，截取检测到的最大物体区域图片，并将最大物体区域图片与图片对比集进行相似度对比，若相似度大于图片相似度阈值，则判定为山寨app图标，若相似度不大于图片相似度阈值，则判定为正规app图标；
S5：对待识别非法金融图片进行物体检测，截取检测到的最大物体区域图片，并将最大物体区域图片与图片对比集进行相似度对比，若相似度大于图片相似度阈值，则判定为非法金融图片；若相似度不大于图片相似度阈值，则进行OCR识别，并将识别的文字信息与文字对比集中的文字信息进行重叠度对比，
若OCR识别的文字与文字对比集中的文字重叠度大于文字重叠度门限值，则判定为非法金融图片，并将待识别非法金融图片补充进非法金融图片库；
若OCR识别的文字与文字对比集中的文字重叠度不大于文字重叠度门限值，且文字中出现了关键词库中设定的关键词，则判定为非法金融图片，并将待识别非法金融图片补充进非法金融图片库；
若文字重叠度不大于文字重叠度门限值，且文字中没出现关键词库中设定的关键词，则判定为正规金融图片。
优选地，图片相似度阈值的确定方法为：
将一个正规app图标和与其对应的山寨app图标为一组，对比正规app图标与山寨app图标的SSIM相似度，统计每一组的图片相似度值；
再将所有组的图片相似度值求平均值，得到的平均值即为图片相似度阈值。
优选地，图片对比集的确定方法为：
检测正规app图标的最大物体及最大物体区域位置信息，截取最大物体区域图片，并将最大物体的区域位置信息以及最大物体区域图片作为图片对比集。
优选地，正规app图标的最大物体及最大物体区域位置信息的检查采用SSD算法进行检测。
优选地，文字对比集的确定方法为：
利用正常图片进行文字位置标注，形成训练集，并利用该训练集训练FOTS模型，
然后再利用训练好的FOTS模型识别非法金融图片库中的图片，并将识别后的文字信息作为文字对比集。
正常图片是指平时生活中的完整、非拼接类图片，我们这里作为对比的非正常图片，是指拼接后的图片。比如有图片A和图片B，A是直接拍照得到的(正常图片)；B是把A先分成多张子图，例如分成9宫格，同时子图边缘还会被随机处理过，然后再利用算法把子图拼接回去，得到的图片(非正常图片)。
优选地，文字重叠度门限值为90％。
优选地，若S1中收集的非法金融图片为9宫格图片，则需将9张图片按序拼接成一张图片，再组建非法金融图片库。
优选地，若S1中收集的非法金融图片为9宫格图片，则S2中文字对比集的确定方法为：
将9张图片按序拼接成一张图片，然后对拼接后的图片进行文字位置标注，形成训练集，利用该训练集训练FOTS模型；
然后再利用训练好的FOTS模型识别非法金融图片库，将文字信息作为文字对比集。
在非法金融领域，非app类的非法金融图片，往往都是9宫格，图片里面的文字会被分开，甚至一个字会在中间被分开，但是这类图片边缘是经过处理的，拼接后，文字不是顺畅连接，所以用一般的OCR模型(一般的OCR模型是指用正常图片训练得到的模型)，识别效果很不好。需要我们用非正常图片对模型进行训练，得到专门针对识别这类图片的模型，才能达到较准确的识别效果。
本发明所述非法金融图片的识别装置包括存储器、处理器、存储在所述存储器上并可在所述处理器上运行的程序，所述程序被所述处理器执行时实现所述非法金融图片的识别方法的步骤。
本发明所述计算机存储介质，用于计算机可读存储，所述计算机存储介质上存储有非法金融图片的识别程序；所述非法金融图片的识别程序被处理器执行时实现所述的非法金融图片的识别方法的步骤。
本发明提出的用拼接后的图片训练得到的OCR模型(例如FOTS模型)会大大提高拼接类图片的识别率。同时，传统的方式是NLP的，没有办法对山寨app进行识别，我们同时也增加了山寨app的识别方式。
与现有技术相比，本发明技术方案的有益效果是：
本发明基于图像对比技术、OCR技术，再结合基于文字的非法金融风险判定模型，对多模态非法金融活动进行识别，有效的提高了非法金融图标识别的准确度。
附图说明
图1为实施例1所述非法金融图片的识别方法流程图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1：
本实施例提供一种非法金融图片的识别方法，如图1所示，所述方法包括以下步骤：
S1：收集金融领域的正规app图标，组建app图标库，搜集冒充正规app的非法金融app形成山寨app库，例如京东金融是正规app，其对应的冒充app就是京东白条；搜集已有的非法金融活动推广图片，组建已有的非法金融图片库，由于非法金融类的活动常常以9宫格图片出现，所以在碰到9宫格图片时，将9张图片按序拼接，成为一张图片。设定非法金融图片的关键词库，例如配资、收益等。
S2：确定待识别非法金融图片的图片对比集、图片相似度阈值、文字对比集、文字重叠度门限值；
a)对于app图标类，一个正规app图标与其对应的山寨app图标形成一组，对比正规app图标库的图像与其对应的山寨app图像的SSIM相似度，统计每一组的相似度，将所有对比组的相似度数值求平均，该平均值就是图片相似度阈值。
将正规app的图片，利用SSD算法，检测最大物体及该物体的区域位置信息，截取最大物体区域图片，该最大物体区域图片及区域位置信息将作为图片对比集。
b)对于非app图标类图片，S1中拼接的9宫格图片，像素往往会在拼接处不能对齐，所以拼接处的文字会和图片里正常的文字不一样。现有的OCR模型都是利用正常图片进行训练，对于识别9宫格拼接后的图片会有较大误差。
故对中的拼接9宫格图片进行文字位置标注，形成训练集，利用该训练集训练FOTS模型。这样得到的训练好的OCR模型，将会较好的消除由于拼接带来的误差，对拼接的图片文字能较好识别。利用训练好的FOTS模型识别S1中的非法金融图片库，将文字信息作为文字对比集。
文字重叠度门限值根据实际工程经验进行设置，本实施例中文字重叠度门限值为90％。
S3：输入待识别非法金融图片，判断待识别非法金融图片是否为app图标；若是，则执行S4；若否，则执行S5；
S4：对app类图片，采用SSD模行进行物体检测，截取检测到的最大的物体区域图片。往往很多山寨app为了冒充的很像，其主要图像和正规app图标的图像从结构到颜色都很类似，只是进行了位置的一点点偏移或者缩放等处理。将正规app图标得到的对比集与上述截取的待检测图片，利用SSIM进行对比。如果相似度大于图片相似度阈值，则判定为非法金融的山寨app图标。若相似度不大于图片相似度阈值，则判定为正规app图标。
S5：对于非app类图片，先利用S4中的方式进行对比，即对待识别非法金融图片进行物体检测，截取检测到的最大物体区域图片，并将最大物体区域图片与图片对比集进行相似度对比，若相似度大于图片相似度阈值，则判定为非法金融图片；
若相似度不大于图片相似度阈值，则进行OCR识别，将识别的文字信息与S2中得到的文字对比集进行对比，若识别的文字和文字对比集中的文字重叠度在90％以上，则判定为非法金融图片，且将该图片补充进非法金融图片库。若重叠度低于90％，但是其文字中出现了关键次库中设定的词，则判定为非法金融图片，且将该图片补充进非法金融图片库。
若文字重叠度不大于文字重叠度门限值，且文字中没出现关键词库中设定的关键词，则判定为正规金融图片。
本实施例利用图像比对技术，将图片内容与已有图库进行对比，并设置阈值判定是否为非法金融活动。对于对比结果未落入判定阈值的非app图标图片，利用OCR得到文字结果后，进行判定，并将判定结果未真的图片补充进非法金融图片库的方法。有效的提高了非法金融图标识别的准确度。
实施例2：
本实施例提供一种非法金融图片的识别装置，所述装置包括存储器、处理器、存储在所述存储器上并可在所述处理器上运行的程序，所述程序被所述处理器执行时实现如实施例1所述非法金融图片的识别方法的步骤。
实施例3：
本实施例提供一种计算机存储介质，用于计算机可读存储，所述计算机存储介质上存储有非法金融图片的识别程序；所述非法金融图片的识别程序被处理器执行时实现实施例1所述的非法金融图片的识别方法的步骤。
附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制；
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (7)

1.一种非法金融图片的识别方法，其特征在，所述方法包括以下步骤：
S1：收集金融领域的正规app图标，组建正规app图标库；
收集冒充正规app的山寨app图标，组建山寨app图标库；
收集非法金融图片，组建非法金融图片库；若所述的非法金融图片为9宫格图片时，则需将9张图片按序拼接成一张图片，再组建非法金融图片库；
设定非法金融图片的关键词库；
S2：确定待识别非法金融图片的图片对比集、图片相似度阈值、文字对比集、文字重叠度门限值；
文字对比集的确定方法为：
若非法金融图片为正常图片时，利用正常图片进行文字位置标注，形成训练集，并利用该训练集训练FOTS模型；
若非法金融图片为9宫格图片，将9张图片按序拼接成一张图片，然后对拼接后的图片进行文字位置标注，形成训练集，利用该训练集训练FOTS模型；
然后再利用训练好的FOTS模型识别非法金融图片库中的图片，并将识别后的文字信息作为文字对比集；
S3：输入待识别非法金融图片，判断待识别非法金融图片是否为app图标；若是，则执行S4；若否，则执行S5；
S4：对待识别非法金融图片进行物体检测，截取检测到的最大物体区域图片，并将最大物体区域图片与图片对比集进行相似度对比，判断相似度是否大于相似度阈值，若是则判定为山寨app图标，若否，则判定为正规app图标；
S5：对待识别非法金融图片进行物体检测，截取检测到的最大物体区域图片，并将最大物体区域图片与图片对比集进行相似度对比，判断相似度是否大于相似度阈值，若是则判定为非法金融图片，
若否，则进行OCR识别，并将OCR识别的文字信息与文字对比集中的文字信息进行重叠度对比，
若文字重叠度大于文字重叠度门限值，则判定为非法金融图片，并将待识别非法金融图片补充进非法金融图片库；
若文字重叠度不大于文字重叠度门限值，且文字中出现了关键词库中设定的关键词，则判定为非法金融图片，并将待识别非法金融图片补充进非法金融图片库；
若文字重叠度不大于文字重叠度门限值，且文字中没出现关键词库中设定的关键词，则判定为正规金融图片。
2.根据权利要求1所述非法金融图片的识别方法，其特征在，图片相似度阈值的确定方法为：
将一个正规app图标和与其对应的山寨app图标为一组，对比正规app图标与山寨app图标的SSIM相似度，统计每一组的图片相似度值；
再将所有组的图片相似度值求平均值，得到的平均值即为图片相似度阈值。
3.根据权利要求1或2所述非法金融图片的识别方法，其特征在，图片对比集的确定方法为：
检测正规app图标的最大物体及最大物体区域位置信息，截取最大物体区域图片，并将最大物体的区域位置信息以及最大物体区域图片作为图片对比集。
4.根据权利要求3所述非法金融图片的识别方法，其特征在，正规app图标的最大物体及最大物体区域位置信息的检查采用SSD算法进行检测。
5.根据权利要求1或4所述非法金融图片的识别方法，其特征在，文字重叠度门限值为90％。
6.一种非法金融图片的识别装置，其特征在于，所述装置包括存储器、处理器、存储在所述存储器上并可在所述处理器上运行的程序，所述程序被所述处理器执行时实现如权利要求1-5任一项所述非法金融图片的识别方法的步骤。
7.一种计算机存储介质，用于计算机可读存储，其特征在于，所述计算机存储介质上存储有非法金融图片的识别程序；所述非法金融图片的识别程序被处理器执行时实现权利要求1-5任一项所述的非法金融图片的识别方法的步骤。
CN202011116927.3A 2020-10-19 2020-10-19 一种非法金融图片的识别方法、装置、计算机存储介质 Active CN112257768B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011116927.3A CN112257768B (zh) 2020-10-19 2020-10-19 一种非法金融图片的识别方法、装置、计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011116927.3A CN112257768B (zh) 2020-10-19 2020-10-19 一种非法金融图片的识别方法、装置、计算机存储介质

Publications (2)

Publication Number Publication Date
CN112257768A CN112257768A (zh) 2021-01-22
CN112257768B true CN112257768B (zh) 2023-01-31

Family

ID=74244637

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011116927.3A Active CN112257768B (zh) 2020-10-19 2020-10-19 一种非法金融图片的识别方法、装置、计算机存储介质

Country Status (1)

Country Link
CN (1) CN112257768B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113111864A (zh) * 2021-05-13 2021-07-13 上海巽联信息科技有限公司 基于多模态下的智能表格抽取算法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105868683A (zh) * 2015-11-24 2016-08-17 乐视致新电子科技（天津）有限公司 台标识别方法及装置
CN108520196A (zh) * 2018-02-01 2018-09-11 平安科技（深圳）有限公司 奢侈品辨别方法、电子装置及存储介质
CN110929720A (zh) * 2019-10-28 2020-03-27 杭州电子科技大学 一种基于logo匹配和ocr的元器件检测方法
CN111767422A (zh) * 2020-06-30 2020-10-13 平安国际智慧城市科技股份有限公司 一种数据审核方法、装置、终端及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105404631B (zh) * 2014-09-15 2021-01-29 腾讯科技（深圳）有限公司 图片识别方法和装置
CN108446621A (zh) * 2018-03-14 2018-08-24 平安科技（深圳）有限公司 票据识别方法、服务器及计算机可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105868683A (zh) * 2015-11-24 2016-08-17 乐视致新电子科技（天津）有限公司 台标识别方法及装置
CN108520196A (zh) * 2018-02-01 2018-09-11 平安科技（深圳）有限公司 奢侈品辨别方法、电子装置及存储介质
CN110929720A (zh) * 2019-10-28 2020-03-27 杭州电子科技大学 一种基于logo匹配和ocr的元器件检测方法
CN111767422A (zh) * 2020-06-30 2020-10-13 平安国际智慧城市科技股份有限公司 一种数据审核方法、装置、终端及存储介质

Also Published As

Publication number Publication date
CN112257768A (zh) 2021-01-22

Similar Documents

Publication Publication Date Title
US11062123B2 (en) Method, terminal, and storage medium for tracking facial critical area
CN110705405B (zh) 目标标注的方法及装置
US9098888B1 (en) Collaborative text detection and recognition
US9082181B2 (en) Image processing method and apparatus
CN112883902B (zh) 视频检测方法、装置、电子设备及存储介质
CN111738263A (zh) 目标检测方法、装置、电子设备及存储介质
CN115062186B (zh) 一种视频内容检索方法、装置、设备以及存储介质
US20170308746A1 (en) Form recognition method, form recognition device, and non-transitory computer-readable medium
CN112232336A (zh) 一种证件识别方法、装置、设备及存储介质
CN110378421B (zh) 一种基于卷积神经网络的煤矿火灾识别方法
CN112257768B (zh) 一种非法金融图片的识别方法、装置、计算机存储介质
CN111738252B (zh) 图像中的文本行检测方法、装置及计算机系统
CN112990142B (zh) 一种基于ocr的视频导图生成方法、装置、设备及存储介质
US9378428B2 (en) Incomplete patterns
CN111368128A (zh) 目标图片的识别方法、装置和计算机可读存储介质
CN113850238B (zh) 文档检测方法、装置、电子设备及存储介质
CN113673214B (zh) 信息清单的对齐方法、装置、存储介质和电子设备
CN114821596A (zh) 文本识别方法、装置、电子设备和介质
CN115004245A (zh) 目标检测方法、装置、电子设备和计算机存储介质
CN110827261B (zh) 图像质量检测方法及装置、存储介质及电子设备
CN112989869B (zh) 人脸质量检测模型的优化方法、装置、设备及存储介质
CN106446902A (zh) 非文字图像识别方法和装置
CN111488752A (zh) 二维码识别方法、装置、电子设备及存储介质
US10304195B2 (en) Information processing apparatus, computer-readable storage medium, and information processing method for judging a recognition target area
CN114677691B (zh) 文本识别方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant