CN108875831A - 一种基于图像识别的冰柜商品信息识别方法、系统及装置 - Google Patents

一种基于图像识别的冰柜商品信息识别方法、系统及装置 Download PDF

Info

Publication number
CN108875831A
CN108875831A CN201810647912.6A CN201810647912A CN108875831A CN 108875831 A CN108875831 A CN 108875831A CN 201810647912 A CN201810647912 A CN 201810647912A CN 108875831 A CN108875831 A CN 108875831A
Authority
CN
China
Prior art keywords
image
refrigerator
freezer
commodity
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810647912.6A
Other languages
English (en)
Inventor
王芹
郭怡适
黄耀鸿
陈城
陈鹏
徐欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Carpenter Data Technology Co Ltd
Original Assignee
Guangzhou Carpenter Data Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Carpenter Data Technology Co Ltd filed Critical Guangzhou Carpenter Data Technology Co Ltd
Priority to CN201810647912.6A priority Critical patent/CN108875831A/zh
Publication of CN108875831A publication Critical patent/CN108875831A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于图像识别的冰柜商品信息识别方法、系统及装置,方法包括对冰柜中的商品进行拍摄并处理,得到训练图像集;将训练图像集输入至训练机中进行模式训练,得到具备图像识别能力的识别引擎;采集冰柜中商品图像并进行预处理,得到冰柜商品图像;将冰柜商品图像输入至识别引擎中进行识别处理,得到识别结果;根据识别结果进行数据监控和数据统计。本发明通过冰柜中的商品进行拍摄得到训练图像集,并根据训练图像集训练得到具备图像识别能力的识别引擎,从而利用识别引擎即可对冰柜商品图像进行自动识别并统计,大大提高了识别速度和准确率,利于后续的数据统计分析和决策,提高工作效率。本发明可广泛应用于冰柜中。

Description

一种基于图像识别的冰柜商品信息识别方法、系统及装置
技术领域
本发明涉及图像识别技术领域,尤其涉及一种基于图像识别的冰柜商品信息识别方法、系统及装置。
背景技术
快消品企业的成本支出中,冰柜或制冷设备的支出占了很大一部分,现有渠道既有超市、杂货店等传统场景,也包括咖啡馆、加油站等场所,渠道监管难以顾全;冰柜经常会因为上游供应链或库存等问题导致缺货。
品牌商想要了解其饮料制品在各大冰柜渠道的建设情况,需要安排专门的销售代表或相关职员在冰柜前进行数据统计,即在现场人工统计出相关冰柜上商品的摆放情况,工作完成后将信息统计汇总并上交。但是这样在核计时需要花费大量的人力,而且工作效率较低。
发明内容
为了解决上述技术问题,本发明的目的是提供一种提高统计效率的基于图像识别的冰柜商品信息识别方法、系统及装置。
本发明所采取的技术方案是:
一种基于图像识别的冰柜商品信息识别方法,包括以下步骤:
对冰柜中的商品进行拍摄并处理,得到训练图像集;
将训练图像集输入至训练机中进行模式训练,得到具备图像识别能力的识别引擎;
采集冰柜中商品图像并进行预处理,得到冰柜商品图像;
将冰柜商品图像输入至识别引擎中进行识别处理,得到识别结果;
根据识别结果进行数据监控和数据统计。
作为所述的一种基于图像识别的冰柜商品信息识别方法的进一步改进,所述的对冰柜中的商品进行拍摄并处理,得到训练图像集,这一步骤具体包括:
对冰柜中的商品进行拍摄,得到训练商品图像;
将训练商品图像进行货架伪造处理,得到货架图像;
对货架图像中的商品进行标注,得到标注图像;
对货架图像进行遮挡与非遮挡的分类,得到遮挡图像;
根据标注图像和遮挡图像,得出训练图像集。
作为所述的一种基于图像识别的冰柜商品信息识别方法的进一步改进,所述的模式训练包括box训练、others训练、sku训练和遮挡训练。
作为所述的一种基于图像识别的冰柜商品信息识别方法的进一步改进,所述的根据识别结果进行数据监控和数据统计,这一步骤具体包括:
根据识别结果对预设的指标数据进行监控,并在出现异常状态时对用户进行提醒;
根据识别结果,形成得到数据图表。
本发明所采用的另一个技术方案是:
一种基于图像识别的冰柜商品信息识别系统,包括:
拍摄处理单元,用于对冰柜中的商品进行拍摄并处理,得到训练图像集;
训练单元,用于将训练图像集输入至训练机中进行模式训练,得到具备图像识别能力的识别引擎;
采集单元,用于采集冰柜中商品图像并进行预处理,得到冰柜商品图像;
识别单元,用于将冰柜商品图像输入至识别引擎中进行识别处理,得到识别结果;
决策单元,用于根据识别结果进行数据监控和数据统计。
作为所述的一种基于图像识别的冰柜商品信息识别系统的进一步改进,所述拍摄处理单元具体包括:
拍摄单元,用于对冰柜中的商品进行拍摄,得到训练商品图像;
伪造单元,用于将训练商品图像进行货架伪造处理,得到货架图像;
标注单元,用于对货架图像中的商品进行标注,得到标注图像;
遮挡分类单元,用于对货架图像进行遮挡与非遮挡的分类,得到遮挡图像;
训练集生成单元,用于根据标注图像和遮挡图像,得出训练图像集。
作为所述的一种基于图像识别的冰柜商品信息识别系统的进一步改进,所述的模式训练包括box训练、others训练、sku训练和遮挡训练。
作为所述的一种基于图像识别的冰柜商品信息识别系统的进一步改进,所述决策单元具体包括:
监控单元,用于根据识别结果对预设的指标数据进行监控,并在出现异常状态时对用户进行提醒;
数据分析单元,用于根据识别结果,形成得到数据图表。
本发明所采用的再一个技术方案是:
一种基于图像识别的冰柜商品信息识别装置,包括:
存储器,用于存放程序;
处理器,用于执行所述程序,所述程序使得所述处理器执行所述的基于图像识别的冰柜商品信息识别方法。
本发明的有益效果是:
本发明一种基于图像识别的冰柜商品信息识别方法、系统及装置通过冰柜中的商品进行拍摄得到训练图像集,并根据训练图像集训练得到具备图像识别能力的识别引擎,从而利用识别引擎即可对冰柜商品图像进行自动识别并统计,大大提高了识别速度和准确率,利于后续的数据统计分析和决策,提高工作效率。
附图说明
图1是本发明一种基于图像识别的冰柜商品信息识别方法的步骤流程图;
图2是本发明一种基于图像识别的冰柜商品信息识别系统的模块方框图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步说明:
参考图1,本发明一种基于图像识别的冰柜商品信息识别方法,包括以下步骤:
对冰柜中的商品进行拍摄并处理,得到训练图像集;
将训练图像集输入至训练机中进行模式训练,得到具备图像识别能力的识别引擎;
采集冰柜中商品图像并进行预处理,得到冰柜商品图像;
将冰柜商品图像输入至识别引擎中进行识别处理,得到识别结果;
根据识别结果进行数据监控和数据统计。
本发明实施例中,当检测到冰柜门开启时,启动摄像头开始拍摄,当冰柜门关闭时,摄像头停止拍摄,选取关门后的第一张照片来进行识别。
进一步作为优选的实施方式,所述的对冰柜中的商品进行拍摄并处理,得到训练图像集,这一步骤具体包括:
对冰柜中的商品进行拍摄,得到训练商品图像;
将训练商品图像进行货架伪造处理,得到货架图像;
对货架图像中的商品进行标注,得到标注图像;
对货架图像进行遮挡与非遮挡的分类,得到遮挡图像;
根据标注图像和遮挡图像,得出训练图像集。
本发明实施例中,进行货架伪造时,从训练商品图像中通过裁剪和清除背景获得商品图片和标签栏图片,然后选择多个商品图片随机拼接为一排货架,并且选择多排货架与商品标签栏随机拼接为一个货架整体,最后记录下每个商品的位置与商品信息,并以文件的格式输出。当需要进行标注时,管理员将不同商品的货架图像作好分类上传并指派任务,标注人员在个人任务列表中进入标注界面,把图片中商品的位置用方框标注,标注完成提交后系统评估正确率,管理员根据正确率决定标注人员是否需要重新标注,保证了图片标注的正确率。需要生成遮挡图像时,对货架图像进行遮挡和非遮挡的分类,用于遮挡模型的训练。
进一步作为优选的实施方式,所述的模式训练包括box训练、others训练、sku训练和遮挡训练。
其中,Box训练具体为:货架识别主要用到目标检测的方法,但是由于货架上的商品数不胜数,如果我们将目标检测的模型的目标直接定为商品,这样就导致该模型会识别不出未录入的商品。为了解决这个问题,我们将目标检测模型的目标定为商品的形状,如盒子。让目标检测将货架上的所有商品先提取出来,再进行后续操作。该模型的训练集主要通过对实际货架图片标记以及伪造货架的方法获得。
Others训练具体为:由于货架上的商品数不胜数,所以不能对其进行直接的识别。又由于目前深度学习所用的分类器是概率分类器,对于一个物品,分类器给出的数值是表示在所有的商品中,物品在所有商品中与哪个更类似。这就会造成未录入商品的错误分类,影响准确率。为了解决这个问题,需要先建立一个特殊的图片识别的模型,该模型只进行二分类,一类是所有已录入的商品的图片集,另一类是非录入的商品的图片集,该图片集包含各种各样的图片。
SKU训练具体为:在others训练成之后,对others训练中判断为录入商品的提取图片进行SKU的分类。SKU分类采用图片识别模型,该模型的图片集为个录入商品的图片集。SKU的图片集主要通过对商品实物进行多方位、多角度的拍摄以及图像增强的方法获得。
遮挡训练具体为:使用遮挡图片进行训练,用于判断冰柜视频拍摄中的帧是否被遮挡。遮挡模型是为了去除不完整的图片,从而选择完整的图片进行识别,获取正确的冰柜统计结果。为了解决这个问题,需要先建立一个特殊的图片识别的模型,改模型只进行二分类,一类为遮挡图片,一类为非遮挡图片。
进一步作为优选的实施方式,所述的根据识别结果进行数据监控和数据统计,这一步骤具体包括:
根据识别结果对预设的指标数据进行监控,并在出现异常状态时对用户进行提醒;
根据识别结果,形成得到数据图表。
本实施例中,还能通过数据图表,配合控件进行不同维度的数据分析。例如,用户可以通过时间筛选控件过滤图表上的数据范围等。
参考图2,本发明一种基于图像识别的冰柜商品信息识别系统,包括:
拍摄处理单元,用于对冰柜中的商品进行拍摄并处理,得到训练图像集;
训练单元,用于将训练图像集输入至训练机中进行模式训练,得到具备图像识别能力的识别引擎;
采集单元,用于采集冰柜中商品图像并进行预处理,得到冰柜商品图像;
识别单元,用于将冰柜商品图像输入至识别引擎中进行识别处理,得到识别结果;
决策单元,用于根据识别结果进行数据监控和数据统计。
进一步作为优选的实施方式,所述拍摄处理单元具体包括:
拍摄单元,用于对冰柜中的商品进行拍摄,得到训练商品图像;
伪造单元,用于将训练商品图像进行货架伪造处理,得到货架图像;
标注单元,用于对货架图像中的商品进行标注,得到标注图像;
遮挡分类单元,用于对货架图像进行遮挡与非遮挡的分类,得到遮挡图像;
训练集生成单元,用于根据标注图像和遮挡图像,得出训练图像集。
进一步作为优选的实施方式,所述的模式训练包括box训练、others训练、sku训练和遮挡训练。
进一步作为优选的实施方式,所述决策单元具体包括:
监控单元,用于根据识别结果对预设的指标数据进行监控,并在出现异常状态时对用户进行提醒;
数据分析单元,用于根据识别结果,形成得到数据图表。
本发明一种基于图像识别的冰柜商品信息识别装置,包括:
存储器,用于存放程序;
处理器,用于执行所述程序,所述程序使得所述处理器执行所述的基于图像识别的冰柜商品信息识别方法。
从上述内容可知,本发明通过冰柜中的商品进行拍摄得到训练图像集,并根据训练图像集训练得到具备图像识别能力的识别引擎,从而利用识别引擎即可对冰柜商品图像进行自动识别并统计,大大提高了识别速度和准确率,利于后续的数据统计分析和决策,提高工作效率。
以上是对本发明的较佳实施进行了具体说明,但本发明创造并不限于所述实施例,熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换,这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (9)

1.一种基于图像识别的冰柜商品信息识别方法,其特征在于,包括以下步骤:
对冰柜中的商品进行拍摄并处理,得到训练图像集;
将训练图像集输入至训练机中进行模式训练,得到具备图像识别能力的识别引擎;
采集冰柜中商品图像并进行预处理,得到冰柜商品图像;
将冰柜商品图像输入至识别引擎中进行识别处理,得到识别结果;
根据识别结果进行数据监控和数据统计。
2.根据权利要求1所述的一种基于图像识别的冰柜商品信息识别方法,其特征在于:所述的对冰柜中的商品进行拍摄并处理,得到训练图像集,这一步骤具体包括:
对冰柜中的商品进行拍摄,得到训练商品图像;
将训练商品图像进行货架伪造处理,得到货架图像;
对货架图像中的商品进行标注,得到标注图像;
对货架图像进行遮挡与非遮挡的分类,得到遮挡图像;
根据标注图像和遮挡图像,得出训练图像集。
3.根据权利要求1所述的一种基于图像识别的冰柜商品信息识别方法,其特征在于:所述的模式训练包括box训练、others训练、sku训练和遮挡训练。
4.根据权利要求1所述的一种基于图像识别的冰柜商品信息识别方法,其特征在于:所述的根据识别结果进行数据监控和数据统计,这一步骤具体包括:根据识别结果对预设的指标数据进行监控,并在出现异常状态时对用户进行提醒;
根据识别结果,形成得到数据图表。
5.一种基于图像识别的冰柜商品信息识别系统,其特征在于,包括:
拍摄处理单元,用于对冰柜中的商品进行拍摄并处理,得到训练图像集;
训练单元,用于将训练图像集输入至训练机中进行模式训练,得到具备图像识别能力的识别引擎;
采集单元,用于采集冰柜中商品图像并进行预处理,得到冰柜商品图像;
识别单元,用于将冰柜商品图像输入至识别引擎中进行识别处理,得到识别结果;
决策单元,用于根据识别结果进行数据监控和数据统计。
6.根据权利要求5所述的一种基于图像识别的冰柜商品信息识别系统,其特征在于:所述拍摄处理单元具体包括:
拍摄单元,用于对冰柜中的商品进行拍摄,得到训练商品图像;
伪造单元,用于将训练商品图像进行货架伪造处理,得到货架图像;
标注单元,用于对货架图像中的商品进行标注,得到标注图像;
遮挡分类单元,用于对货架图像进行遮挡与非遮挡的分类,得到遮挡图像;训练集生成单元,用于根据标注图像和遮挡图像,得出训练图像集。
7.根据权利要求5所述的一种基于图像识别的冰柜商品信息识别系统,其特征在于:所述的模式训练包括box训练、others训练、sku训练和遮挡训练。
8.根据权利要求5所述的一种基于图像识别的冰柜商品信息识别系统,其特征在于:所述决策单元具体包括:
监控单元,用于根据识别结果对预设的指标数据进行监控,并在出现异常状态时对用户进行提醒;
数据分析单元,用于根据识别结果,形成得到数据图表。
9.一种基于图像识别的冰柜商品信息识别装置,其特征在于,包括:
存储器,用于存放程序;
处理器,用于执行所述程序,所述程序使得所述处理器执行如权利要求1~4任一项所述的基于图像识别的冰柜商品信息识别方法。
CN201810647912.6A 2018-06-22 2018-06-22 一种基于图像识别的冰柜商品信息识别方法、系统及装置 Pending CN108875831A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810647912.6A CN108875831A (zh) 2018-06-22 2018-06-22 一种基于图像识别的冰柜商品信息识别方法、系统及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810647912.6A CN108875831A (zh) 2018-06-22 2018-06-22 一种基于图像识别的冰柜商品信息识别方法、系统及装置

Publications (1)

Publication Number Publication Date
CN108875831A true CN108875831A (zh) 2018-11-23

Family

ID=64340800

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810647912.6A Pending CN108875831A (zh) 2018-06-22 2018-06-22 一种基于图像识别的冰柜商品信息识别方法、系统及装置

Country Status (1)

Country Link
CN (1) CN108875831A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111310729A (zh) * 2020-03-16 2020-06-19 南京掌控网络科技有限公司 基于图像识别技术获取冰箱纯净度的方法及资产管理系统
CN111626150A (zh) * 2020-05-11 2020-09-04 广东顺德工业设计研究院(广东顺德创新设计研究院) 商品识别方法
CN111898417A (zh) * 2020-06-17 2020-11-06 厦门华联电子股份有限公司 货柜系统、货品检测装置及方法
CN112508132A (zh) * 2021-01-29 2021-03-16 广州市玄武无线科技股份有限公司 一种识别sku的训练方法及装置
CN112699778A (zh) * 2020-12-29 2021-04-23 上海零眸智能科技有限公司 一种基于深度学习的冰柜库存情况监督识别方法
CN112990115A (zh) * 2021-04-21 2021-06-18 广州市玄武无线科技股份有限公司 一种用于冰柜陈列识别的拍摄方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102930264A (zh) * 2012-09-29 2013-02-13 李炳华 基于图像识别技术的商品陈列信息采集分析系统及方法
WO2016051185A1 (en) * 2014-10-01 2016-04-07 Asda Stores Limited System and method for surveying display units in a retail store
US20160125218A1 (en) * 2014-10-30 2016-05-05 Datalogic IP Tech, S.r.l. Systems, methods and articles for reading highly blurred machine-readable symbols
CN107045641A (zh) * 2017-04-26 2017-08-15 广州图匠数据科技有限公司 一种基于图像识别技术的货架识别方法
CN107679573A (zh) * 2017-09-30 2018-02-09 深圳市锐曼智能装备有限公司 智慧货柜的物品识别系统及其方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102930264A (zh) * 2012-09-29 2013-02-13 李炳华 基于图像识别技术的商品陈列信息采集分析系统及方法
WO2016051185A1 (en) * 2014-10-01 2016-04-07 Asda Stores Limited System and method for surveying display units in a retail store
US20160125218A1 (en) * 2014-10-30 2016-05-05 Datalogic IP Tech, S.r.l. Systems, methods and articles for reading highly blurred machine-readable symbols
CN107045641A (zh) * 2017-04-26 2017-08-15 广州图匠数据科技有限公司 一种基于图像识别技术的货架识别方法
CN107679573A (zh) * 2017-09-30 2018-02-09 深圳市锐曼智能装备有限公司 智慧货柜的物品识别系统及其方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111310729A (zh) * 2020-03-16 2020-06-19 南京掌控网络科技有限公司 基于图像识别技术获取冰箱纯净度的方法及资产管理系统
CN111626150A (zh) * 2020-05-11 2020-09-04 广东顺德工业设计研究院(广东顺德创新设计研究院) 商品识别方法
CN111626150B (zh) * 2020-05-11 2023-08-18 广东顺德工业设计研究院(广东顺德创新设计研究院) 商品识别方法
CN111898417A (zh) * 2020-06-17 2020-11-06 厦门华联电子股份有限公司 货柜系统、货品检测装置及方法
CN111898417B (zh) * 2020-06-17 2023-08-08 厦门华联电子股份有限公司 货柜系统、货品检测装置及方法
CN112699778A (zh) * 2020-12-29 2021-04-23 上海零眸智能科技有限公司 一种基于深度学习的冰柜库存情况监督识别方法
CN112508132A (zh) * 2021-01-29 2021-03-16 广州市玄武无线科技股份有限公司 一种识别sku的训练方法及装置
CN112990115A (zh) * 2021-04-21 2021-06-18 广州市玄武无线科技股份有限公司 一种用于冰柜陈列识别的拍摄方法及系统
CN112990115B (zh) * 2021-04-21 2021-09-14 广州市玄武无线科技股份有限公司 一种用于冰柜陈列识别的拍摄方法及系统

Similar Documents

Publication Publication Date Title
CN108875831A (zh) 一种基于图像识别的冰柜商品信息识别方法、系统及装置
CN107045641B (zh) 一种基于图像识别技术的货架识别方法
CN108830147A (zh) 一种基于图像识别的货架商品价格识别方法、装置和系统
CN108345912A (zh) 一种基于rgbd信息与深度学习的商品快速结算系统
CN108960038B (zh) 一种基于图像识别技术的购物手推车及其识别方法
CN104871198A (zh) 商品信息处理装置、其数据处理方法和程序
CN111222389B (zh) 商超货架上商品的分析方法和系统
CN111626201A (zh) 商品检测方法、装置及可读存储介质
CN110647816B (zh) 一种用于货架药品实时监测的目标检测方法
Hayashi et al. Constructing an automatic object-recognition algorithm using labeling information for efficient recycling of WEEE
CN110610169B (zh) 图片标注方法和装置、存储介质及电子装置
CN110909698A (zh) 电子秤识别结果输出方法、系统、装置以及可读存储介质
JP7018408B2 (ja) 画像検索装置および教師データ抽出方法
EP3901818A1 (en) Method and system for analyzing commodities on supermarket shelf
CN113468914B (zh) 一种商品纯净度的确定方法、装置及设备
CN109657681A (zh) 图片的标注方法、装置、电子设备及计算机可读存储介质
CN115512134A (zh) 快件堆积异常预警方法、装置、设备及存储介质
CN115660262A (zh) 一种基于数据库应用的工程智慧质检方法、系统及介质
CN111931740B (zh) 商品销量识别方法及装置、电子设备、存储介质
JP2021119475A (ja) 絞込処理システム
CN108921185A (zh) 一种基于图像识别的货架促销信息识别方法、装置和系统
Wajire et al. Image classification for retail
CN112767081A (zh) 一种跨境保税仓商品分类方法及装置
CN111291834A (zh) 一种快速生成货架数字陈列图的方法
US20220383248A1 (en) Method for scene segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181123