CN109886108A - 一种表单任意区域字符识别与信息录入方法 - Google Patents
一种表单任意区域字符识别与信息录入方法 Download PDFInfo
- Publication number
- CN109886108A CN109886108A CN201910041872.5A CN201910041872A CN109886108A CN 109886108 A CN109886108 A CN 109886108A CN 201910041872 A CN201910041872 A CN 201910041872A CN 109886108 A CN109886108 A CN 109886108A
- Authority
- CN
- China
- Prior art keywords
- list
- region
- character recognition
- acquisition
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 230000005540 biological transmission Effects 0.000 claims abstract description 13
- 238000012937 correction Methods 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 5
- 238000011017 operating method Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 230000003993 interaction Effects 0.000 claims description 3
- 230000004323 axial length Effects 0.000 claims 1
- 238000001514 detection method Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 3
- 230000000750 progressive effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007873 sieving Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明属于图像检测与识别领域，涉及一种表单中任意区域字符识别与信息录入方法。本发明采用图像采集相机镜头对准表单，照明光源对表单照明，表单置于传动带或置物台上，采集相机连接电脑，从而进行采集模板表单图像，离线构建表单区域于兴趣区域的模板特征参数库，表单图像在线采集与待识别图像筛选，表单区域提取与位姿标准化，表单兴趣区域提取与字符录入操作。本发明较传统信息识别录入方法，在功能方面更具灵活性，在效益方面更具经济性，在实际场景应用中有着良好的表现。
Description
技术领域
本发明属于图像检测与识别领域，主要涉及一种表单中任意区域字符识别与信息录入方法。
背景技术
当今世界已进入信息爆炸时代，各类信息都以电子化的形式存储在个人电脑或服务器中。但这些电子化信息的录入如果仅仅靠人手工输入，很难满足对工作效率的要求。例如：现如今中国的物流行业发展迅速，每天有数以亿计的货物、物流信息需要录入更新，而这些信息大部分通常都以一张货物表单的形式呈现，货物表单上的信息也纷繁复杂，靠人工录入关键数据的方式显然不太现实。现有的传统信息录入系统，一般采用专门的扫描设备，将表单转化为图像，再利用搜索特定的图像特征或者位置信息进行字符区域的提取，然后再利用OCR技术对字符进行识别。这些方法有几个明显缺点，(1)扫描对象需要人工手动对准，例如：扫描枪需要靠近并对准需要检测的条形码或二维码；(2)每家公司设计的表单大小不同，同一家公司对不同货物的表单设计也有可能不同，传统单一信息扫描与录入系统无法做到通用识别；(3)现有扫描系统对扫描对象的摆放姿态也具有一定要求，不能识别任意摆放的表单信息。上述这些缺点都大大限制了现有表单信息录入系统的灵活度。
发明内容
为解决上述问题，本发明提供了一种表单任意区域的字符识别与信息录入方法。所用采集系统主要包括：图像采集相机、计算处理系统、照明光源、传动装置等。图像采集相机放置于传动装置上方，用于采集包含表单的图像。计算处理系统用于接收图像采集相机采集到的图像，并进行图像处理、字符识别等。照明光源负责抑制环境光对图像采集效果的影响。传动装置负责传送或者放置含待识别表单的装置。传动装置可以是履带传输设备或者表单放置平台等。
为达到上述目的，本发明采用下述技术方案：
一种表单任意区域字符识别与信息录入方法，其特征在于，采用图像采集相机镜头对准表单，照明光源对表单照明，表单置于传动带或置物台上，采集相机连接电脑，从而进行操作步骤如下：
1)采集模板表单图像；
2)离线构建表单区域与兴趣区域的模板特征参数库，并行支撑后续步骤；
3)表单图像在线采集与待识别图像筛选，不满足筛选条件即返回；
4)表单区域提取与位姿标准化，不满足筛选条件即返回；
5)表单中兴趣区域提取与字符识别录入，完成并返回。
所述步骤1)采集模板表单图像获取的模板表单图像，主要用于离线构建表单区域与兴趣区域的模板特征参数库，并以各类特征参数的形式支撑后续的步骤与方法。针对不同类型模板进行相对应的特征参数库，扩展系统对不同表单的识别，可实现对任意表单中任意区域信息的识别。
所述步骤2)中表单区域与兴趣区域(信息区域)模板特征参数库构建的方法为：根据采集的模板表单图像，通过人机交互的方式，利用鼠标点击框选的方法分别获得表单区域和信息区域，然后计算其对应的模板特征参数，并构建参数库，参数库主要包括：表单区域和信息区域分别对应的最大内切椭圆长轴长度、短轴长度、中心点坐标，区域面积、连通域个数，以及表单区域与信息区域相对位置关系。
所述步骤3)中表单图像在线采集与表单区域筛选的方法：综合考虑当前帧与上一帧图像的相似度、表单区域的连通域个数、面积大小，矩形度等因素，比对当前获取的参数与模板特征参数库中对应参数的关系，之后判断得到筛选结果。
所述步骤4)中表单区域提取与位姿标准化校正方法。步骤如下：(1)从采集图像中提取出连通区最大的区域，称其为表单区域；(2)拟合表单区域的最大内切椭圆，计算其中心点坐标、椭圆长轴、短轴、长轴偏转角；(3)基于长轴偏转角，对表单区域进行几何变换校正，使其内切椭圆长轴处于水平标准化位姿，即获得“校正后表单区域”。
所述步骤5)中表单区域中兴趣区域提取方法的操作步骤如下：(1)根据模板特征参数库中相对位置偏移参数，计算“校正后表单区域”中待识别信息区域的中心点坐标，及其关于表单区域中心的中心对称点的坐标；(2)根据模板特征参数库中兴趣区域内切椭圆长轴长度、短轴长度等参数，计算出两个“候选信息区域”的中心点坐标，进而分割出表单标准位姿下待识别信息区域(兴趣区域)。
所述步骤5)中待识别的两个候选信息区域的字符识别与比对方法的步骤如下：将两个候选信息区域送入OCR分类器，同时进行字符识别与特征参数计算。如果计算与识别的两项结果中，有且只有一项结果同时满足“字符有效性判定准则”中的所有条件，则将所识别的有效项字符串输出，并录入数据库保存，同时返回并进行下一轮的识别；否则，声光提醒用户，提示当前区域字符识别与信息录入失败。
本发明与现有技术相比较，具有如下显而易见的突出实质性特点和显著技术进步：提出了人机交互方式构建表单区域与表单中兴趣区域的模板特征参数库。在面对不同表单的不同兴趣位置信息识别与录入时，用户只需要在首次采集图像时进行简单的鼠标操作构建模板特征参数库，就可以实现后续表单中兴趣区域的自动识别与录入。该系统与方法可用于任意摆放位置、任意大小表单中任意区域字符的识别与录入。
本发明较传统信息识别录入方法，在功能方面更灵活，在效益方法更经济，在实际场景应用中有着良好的表现。
附图说明
图1是手动放置待检表单进行识别的应用场景。
图2是传动装置识别待检表单的应用场景。
图3是图像区域、表单区域、信息区域的包含关系示意图。
图4是本发明工作流程与支撑关系图。
图5是表单区域与兴趣区域模板特征参数示意图。
图6是表单区域与兴趣区域最大内切椭圆及其参数示意图。
图7是实时采集的随机姿态待检表单的区域提取与参数示意图。
图8是姿态校正后的表单及其参数示意图。
图9是从表单区域中提取兴趣区域的方法示意图。
具体实施方式
下面结合附图和优选实施例，对本发明做进一步详细说明，但本发明的保护范围不限于以下具体实施例。
除非另有定义，下文中所使用的所有专业术语与本领域技术人员通常理解含义相同。本文中所使用的专业术语只是为了描述具体实施例的目的，并不旨在限制本发明的保护范围。
实施例一：
实施例为一种对手动放置或传动装置上姿态不同的信息载体(例如具有固定格式的纸质表单)的任意位置信息进行快速定位识别的方法，可实现对一定景深范围内清晰成像的一类具有设定格式的信息载体的快速识别。为方便描述，本文中将具有固定格式的信息载体实例化为表单。
本方法采用的系统实现的简易结构图如图1和图2所示，区别在于载物平台的不同，图1场景的载物平台为静止平台，表单由人工放置，适用场景为小型室内或商业环境；图2场景的载物平台为传送履带，适用场景为大型的工厂环境。本发明的硬件部分主要由图像采集相机、计算处理系统、照明光源、传送装置等部件组成。传送装置上的表单由于外部因素(如镜头畸变、人为干扰)存在着一定的形变，同时每张表单的摆放位姿也不固定(长轴偏转角范围可取值：0-2π)，很难保证图像采集相机采集得到的待识别表单具有统一的矩形度，偏转角。因此，本发明采用基于形状匹配与特征检测的方法对兴趣区域进行定位与校正，并将采集获取的图像分为三部分：图像区域，表单区域，信息区域。如图3所示，三部分区域呈递进包含关系，其中最外层区域为图像区域，中间虚线所框矩形区域为表单区域，内层阴影部分为信息区域(或称兴趣区域)。
本发明方法对表单的识别流程与关系图如图4所示。
首先，采集模板表单图像，离线构建表单区域与兴趣区域模板特征参数库，参数支撑后续步骤。具体的实施方法：
(1)手动调整模板表单的位置，使其位于相机视场正中间，并保证表单处于水平状态。
(2)通过鼠标左键点击拖动框选的方式，在模板表单中框选出完整表单，即图5矩形表单区域Rect1，获得相关参数：A点与B点的像素坐标、中心点坐标Center1。
(3)再次采用上述鼠标拖动框选的方法，选取待识别信息区域(感兴趣区域)Rect2，即图5阴影部分，获得相关参数：C点与D点的像素坐标、中心点坐标Center2。
(4)通过获取的矩形区域Rect1和Rect2特征参数，计算兴趣区域Rect2相对于表单区域Rect1的位置关系。主要思想：根据表单区域中心点Center1,信息区域中心点Center2的横、纵坐标，计算Rect2相较于Rect1在X,Y方向上的偏移参数offsetxinit,offsetyinit；根据区域Rect1和Rect2最大内切椭圆长轴、短轴特征参数，推算表单区域与信息区域的长、宽大小与范围，如图6所示。
(5)将上述计算所得的模板特征参数存储到模板特征参数库中，以备后续步骤使用。
其次，周期性在线循环采集图像与图像区域筛选。具体的实施步骤与方法：
(1)将当前帧采集图像ImageT与前一帧采集图像ImageT-1进行相似度比较。如果像素相似度高于设定的阈值，则判断当前采集图像ImageT为已经识别过的场景图像，不触发此帧的后续进一步的精细化处理与识别环节，返回并进行下一周期的图像采集；否则进入后续处理步骤。
(2)对有效采集图像ImageT进行递进图像筛选。首先第一层判断图像中是否有物体，再根据第一层的判断结果，选择是否进入第二层判断图像中是否包含表单，以此类推。具体方法描述：计算采集图像中连通区域的个数Number1，将其与模板特征参数库中获取的连通域个数Num1进行比较，如果两个值相差较大，则表明当前采集图像中没有表单，如果相差较小，则进入下一层判断环节。
(3)计算并找出面积最大的连通区域，将其与模板特征参数库中获取的面积Area1进行比较，如果两个值相差较大，则表明当前采集图像中虽包含表单，但并非系统需要识别的表单，如果相差较小，则可判断采集图像中包含目标表单，并进入后续步骤。
再次，表单区域提取与位姿标准化校正。具体的实施步骤与方法：
(1)从采集图像中提取出连通区最大的区域，称其为表单区域RegionA，如图7所示，并对其进行平滑滤波操作，降低噪声对后续处理的干扰；
(2)拟合表单区域RegionA的最大内切椭圆，计算其中心点CenterA(xA,yA)、椭圆长轴A′1、短轴B′1、长轴偏转角θ′1(长轴偏转角的获取以最小偏转角准则计算)；
(3)基于长轴偏转角θ′1，对表单区域进行几何变换校正，使其内切椭圆长轴处于水平标准化位姿(使得θ′1＝0rad)，即获得校正后的表单区域Region′A，如图8所示。
然后，表单中兴趣区域提取。具体的实施步骤与方法：
(1)根据模板特征参数库中获取的相对位置偏移参数offsetxinit,offsetyinit，采用以下公式，
CenterB1(xB1,yB1)＝(xA+offsetxinit,yA+offsetyinit)
CenterB2(xB2,yB2)＝(xA-offsetxinit,yA-offsetyinit)
在表单区域Region′A中求出待识别信息区域(兴趣区域)中心点坐标CenterB1(xB1,yB1)，及其关于CenterA(xA,yA)中心对称的点坐标位置CenterB2(xB2,yB2)，如图9所示。此处求中心对称点的目的是防止上述步骤中进行几何变换校正时将表单内切椭圆变换成负向水平方向。
(2)根据模板特征参数库中获取的兴趣区域模板Rect2内切椭圆长轴长度A2、短轴长度B2，结合获得的中心点坐标CenterB1(xB1,yB1)和CenterB2(xB2,yB2)，计算并分割出表单标准位姿下待识别信息区域(兴趣区域)InfRectB1，InfRectB2(两个区域关于CenterA(xA,yA)点中心对称)。
最后，进行字符识别、信息比对与录入。具体的实施方法：将待识别的两个兴趣区域InfRectB1，InfRectB2并行送入OCR分类器同时进行字符识别与特征参数计算。如果计算与识别的两项结果中，有且只有一项结果同时满足“字符有效性判定准则”中的所有条件，则将所识别的有效项字符串输出，并录入数据库保存，同时返回进行下一轮的识别；否则，声光提醒用户，提示当前区域字符识别与录入失败。字符有效性判定准则：字符个数符合设定值，字符串类型、编码规则一致(即字符编码顺序符合预定设计)。
以上所述，仅为本发明较佳的优先实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围内。
Claims (7)
1.一种表单任意区域字符识别与信息录入方法，其特征在于，采用图像采集相机镜头对准表单，照明光源对表单照明，表单置于传动带或置物台上，采集相机连接电脑，从而进行操作步骤如下：
1)采集模板表单图像；
2)离线构建表单区域与兴趣区域的模板特征参数库，并行支撑后续步骤；
3)表单图像在线采集与待识别图像筛选，不满足筛选条件即返回；
4)表单区域提取与位姿标准化，不满足筛选条件即返回；
5)表单中兴趣区域提取与字符识别录入，完成并返回。
2.根据权利要求1所述的一种表单任意区域字符识别与信息录入方法，其特征在于：所述步骤1）采集模板表单图像获取的模板表单图像，主要用于离线构建表单区域与兴趣区域的模板特征参数库，并以各类特征参数的形式支撑后续的步骤与方法，针对不同类型模板进行相对应的特征参数库，扩展系统对不同表单的识别，可实现对任意表单中任意区域信息的识别。
3.根据权利要求1所述的一种表单任意区域字符识别与信息录入方法，其特征在于：所述步骤2）中表单区域与兴趣区域（信息区域）模板特征参数库构建的方法为：根据采集的模板表单图像，通过人机交互的方式，利用鼠标点击框选的方法分别获得表单区域和信息区域，然后计算其对应的模板特征参数，并构建参数库，参数库主要包括：表单区域和信息区域分别对应的最大内切椭圆长轴长度、短轴长度、中心点坐标，区域面积、连通域个数，以及表单区域与信息区域相对位置关系。
4.根据权利要求1所述的一种表单任意区域字符识别与信息录入方法，其特征在于：所述步骤3）中表单图像在线采集与表单区域筛选的方法：综合考虑当前帧与上一帧图像的相似度、表单区域的连通域个数、面积大小，矩形度等因素，比对当前获取的参数与模板特征参数库中对应参数的关系，之后判断得到筛选结果。
5.根据权利要求1所述的一种表单任意区域字符识别与信息录入方法，其特征在于：所述步骤4）中表单区域提取与位姿标准化校正方法，步骤如下：（1）从采集图像中提取出连通区最大的区域，称其为表单区域；（2）拟合表单区域的最大内切椭圆，计算其中心点坐标、椭圆长轴、短轴、长轴偏转角；（3）基于长轴偏转角，对表单区域进行几何变换校正，使其内切椭圆长轴处于水平标准化位姿，即获得“校正后表单区域”。
6.根据权利要求1或5所述的一种表单任意区域字符识别与信息录入方法，其特征在于：所述步骤5）中表单区域中兴趣区域提取方法的操作步骤如下：（1）根据模板特征参数库中相对位置偏移参数，计算“校正后表单区域”中待识别信息区域的中心点坐标，及其关于表单区域中心的中心对称点的坐标；（2）根据模板特征参数库中兴趣区域内切椭圆长轴长度、短轴长度等参数，计算出两个“候选信息区域”的中心点坐标，进而分割出表单标准位姿下待识别信息区域（兴趣区域）。
7.根据权利要求1所述的一种表单任意区域字符识别与信息录入方法，其特征在于：所述步骤5）中待识别的两个候选信息区域的字符识别与比对方法的步骤如下：将两个候选信息区域送入OCR分类器，同时进行字符识别与特征参数计算，如果计算与识别的两项结果中，有且只有一项结果同时满足“字符有效性判定准则”中的所有条件，则将所识别的有效项字符串输出，并录入数据库保存，同时返回并进行下一轮的识别；否则，声光提醒用户，提示当前区域字符识别与信息录入失败。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910041872.5A CN109886108A (zh) | 2019-01-17 | 2019-01-17 | 一种表单任意区域字符识别与信息录入方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910041872.5A CN109886108A (zh) | 2019-01-17 | 2019-01-17 | 一种表单任意区域字符识别与信息录入方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109886108A true CN109886108A (zh) | 2019-06-14 |
Family
ID=66926128
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910041872.5A Pending CN109886108A (zh) | 2019-01-17 | 2019-01-17 | 一种表单任意区域字符识别与信息录入方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109886108A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112036226A (zh) * | 2020-06-08 | 2020-12-04 | 上海宇航系统工程研究所 | 基于机器视觉的火箭传感器标定参数快速录入方法与系统 |
| CN112699860A (zh) * | 2021-03-24 | 2021-04-23 | 成都新希望金融信息有限公司 | 一种个税app操作视频中自动化提取和整理有效信息的方法 |
| WO2021244123A1 (en) * | 2020-06-05 | 2021-12-09 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | A system and method of creating real-time intelligent media |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107862303A (zh) * | 2017-11-30 | 2018-03-30 | 平安科技（深圳）有限公司 | 表格类图像的信息识别方法、电子装置及可读存储介质 |
| CN109145904A (zh) * | 2018-08-24 | 2019-01-04 | 讯飞智元信息科技有限公司 | 一种字符识别方法及装置 |
-
2019
- 2019-01-17 CN CN201910041872.5A patent/CN109886108A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107862303A (zh) * | 2017-11-30 | 2018-03-30 | 平安科技（深圳）有限公司 | 表格类图像的信息识别方法、电子装置及可读存储介质 |
| CN109145904A (zh) * | 2018-08-24 | 2019-01-04 | 讯飞智元信息科技有限公司 | 一种字符识别方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 王枚等: "椭圆配准方法及其在车标图像归一化中的应用", 《激光与红外》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021244123A1 (en) * | 2020-06-05 | 2021-12-09 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | A system and method of creating real-time intelligent media |
| CN112036226A (zh) * | 2020-06-08 | 2020-12-04 | 上海宇航系统工程研究所 | 基于机器视觉的火箭传感器标定参数快速录入方法与系统 |
| CN112699860A (zh) * | 2021-03-24 | 2021-04-23 | 成都新希望金融信息有限公司 | 一种个税app操作视频中自动化提取和整理有效信息的方法 |
| CN112699860B (zh) * | 2021-03-24 | 2021-06-22 | 成都新希望金融信息有限公司 | 一种个税app操作视频中自动化提取和整理有效信息的方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109886108A (zh) | 一种表单任意区域字符识别与信息录入方法 | |
| CN106971406B (zh) | 物体位姿的检测方法和装置 | |
| CN111563442A (zh) | 基于激光雷达的点云和相机图像数据融合的slam方法及系统 | |
| US8126264B2 (en) | Device and method for identification of objects using color coding | |
| CN109298778B (zh) | 追踪系统及其方法 | |
| Eweiwi et al. | Temporal key poses for human action recognition | |
| JP2009055139A (ja) | 人物追跡システム、人物追跡装置および人物追跡プログラム | |
| CN104239909A (zh) | 一种图像的识别方法和装置 | |
| CN109472280B (zh) | 一种更新物种识别模型库的方法、存储介质及电子设备 | |
| CN109598229A (zh) | 基于动作识别的监控系统及其方法 | |
| CN110688980B (zh) | 基于计算机视觉的人体姿态分类方法 | |
| CN109033978A (zh) | 一种基于纠错策略的cnn-svm混合模型手势识别方法 | |
| CN112567384A (zh) | 用视觉系统在图像中查找图案并对图案进行分类的系统和方法 | |
| CN109657431A (zh) | 用于识别用户身份的方法 | |
| CN102930251A (zh) | 两维收藏品数据收录与甄别的装置和方法 | |
| CN111126414A (zh) | 一种基于深度学习的装修图内图块识别方法 | |
| Xu et al. | License plate recognition system based on deep learning | |
| CN114612393A (zh) | 一种基于单目视觉的反光零件位姿估计方法 | |
| CN113688733A (zh) | 基于事件相机的眼部检测和追踪方法、系统、设备及应用 | |
| CN117788790A (zh) | 面向通用场景的物料安装检测方法、系统、设备及介质 | |
| CN110210401B (zh) | 一种弱光下的目标智能检测方法 | |
| CN112183287A (zh) | 一种移动机器人在复杂背景下的人数统计方法 | |
| CN108846386B (zh) | 一种手绘图案智能识别和纠正方法 | |
| Alhamazani et al. | [Retracted] Using Depth Cameras for Recognition and Segmentation of Hand Gestures | |
| CN112712538B (zh) | 一种显示屏定位方法、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190614 |