CN111914843A - 文字检测方法、系统、设备及存储介质 - Google Patents
文字检测方法、系统、设备及存储介质 Download PDFInfo
- Publication number
- CN111914843A CN111914843A CN202010846565.7A CN202010846565A CN111914843A CN 111914843 A CN111914843 A CN 111914843A CN 202010846565 A CN202010846565 A CN 202010846565A CN 111914843 A CN111914843 A CN 111914843A
- Authority
- CN
- China
- Prior art keywords
- feature map
- adopting
- feature
- image
- text
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了文字检测方法、系统、设备及存储介质,该方法包括采用残差网络进行特征提取得到特征图像;对特征图像进行上下文注意力处理,生成语义增强特征图;对语义增强特征图采用金字塔网络进行处理,生成共享特征图;对共享特征图采用区域提案网络进行处理,获得预测建议框;基于预测建议框,采用边界分割分支获得候选边界点;采用与边界分割分支并行的像素级嵌入分支对候选边界点进行过滤,得到最终边界点,以定位文本区域。解决了现有技术中文本检测方法仅在二维空间对于文本区域的特征进行表达,无法很好地消除文本区域背景噪声的问题,不仅能够对任意形状文本进行检测,还可以抑制背景似文本纹理噪声以实现更精确的任意形状场景文本定位。
Description
技术领域
本发明涉及文本检测技术领域,尤其涉及一种文字检测方法、系统、设备及存储介质。
背景技术
场景文本检测技术旨在定位场景图像中的文本区域,其在自动驾驶,商标识别,盲人导向等计算机视觉任务中发挥着重要的作用。
近年来,基于边界点的文本表示方式较为流行,主要因为边界点可以更灵活地贴合曲形文本的形状,曲形文本的检测任务十分受用。然而,背景中与文本纹理相似的区域很容易被模型误判为文本区域,所以直接将边界点的分割或回归结果用于后续文本定位是不准确的。目前的文本检测方法仅在二维空间对于文本区域的特征表达,由于二维空间的限制,一些背景噪声无法很好地消除,使得于文本区域表达不准确。
发明内容
本申请实施例通过提供一种文字检测方法、系统、设备及存储介质,旨在解决现有技术中文本检测方法仅在二维空间对于文本区域的特征进行表达,无法很好地消除文本区域背景噪声的问题。
本申请实施例提供了一种文字检测方法,该方法包括:
采用残差网络进行特征提取得到特征图像;
对所述特征图像进行上下文注意力处理,生成语义增强特征图;
对所述语义增强特征图采用金字塔网络进行处理,生成共享特征图;
对所述共享特征图采用区域提案网络进行处理,获得预测建议框;
基于所述预测建议框,采用边界分割分支获得候选边界点;
采用与所述边界分割分支并行的像素级嵌入分支对所述候选边界点进行过滤,得到最终边界点,以定位文本区域。
优选的,所述采用残差网络进行特征提取得到特征图像的步骤,包括:
获取文本图像;
对所述文本图像进行卷积运算,生成所述特征图像。
优选的,所述对所述特征图像进行上下文注意力处理,生成语义增强特征图的步骤,包括:
采用1×1的卷积核对所述特征图像进行线性映射,得到第一预处理特征图;
计算所述第一预处理特征图的自相关性,并根据所述自相关性,对所述第一预处理特征图与所述特征图像做残差运算,得到第一分支输出;
对所述特征图像进行1×1卷积,得到第二预处理特征图;
采用归一层对所述第二预处理特征图与所述特征图做残差运算,得到第二分支输出;
分别对所述第一分支输出和所述第二分支输出进行3×3卷积,将所述第一分支输出的卷积结果和所述第二分支输出的卷积结果进行相加,得到卷积和,并对所述卷积和进行串联以及1×1卷积,得到所述语义增强特征图。
优选的,所述对所述语义增强特征图采用金字塔网络进行处理,生成共享特征图的步骤,包括:
对所述语义增强特征图和所述特征图像进行高低层级语义特征融合,生成所述共享特征图。
优选的,所述对所述共享特征图采用区域提案网络进行处理,获得预测建议框的步骤,包括:
采用预置锚框对所述共享特征图进行预测,得到区域建议框;
采用微调网络对所述区域建议框进行调整,生成所述预测建议框。
优选的,所述采用边界分割分支获得候选边界点的步骤,包括:
采用所述预测建议框对所述共享特征图依次进行裁剪、归一化处理和上采样,得到第一上采样特征图;
对所述第一上采样特征图进行文字边界信息建模,生成所述候选边界点。
优选的,所述采用与所述边界分割分支并行的像素级嵌入分支对所述候选边界点进行过滤,得到最终边界点的步骤,包括:
采用所述预测建议框对所述共享特征图依次进行裁剪、归一化处理和上采样,得到第二上采样特征图;
将所述第二上采样特征图映射至高维空间,输出嵌入向量图;
根据所述嵌入向量图,对所述候选边界点中得分大于第一预设阈值的位置所对应的嵌入向量计算均值,得到基准向量;
判断所述候选边界点中得分大于第二预设阈值的位置所对应的嵌入向量与所述基准向量之间的距离是否大于第三预设阈值;如果是,则滤除所述候选边界点中的像素点,得到所述最终边界点。
此外,为实现上述目的,本发明还提供了一种文字检测系统,包括:
第一特征处理模块,用于采用残差网络进行特征提取得到特征图像;
第二特征处理模块,用于对所述特征图像进行上下文注意力处理,生成语义增强特征图;
第三特征处理模块,用于对所述语义增强特征图采用金字塔网络进行处理,生成共享特征图;
建议框生成模块,用于对所述共享特征图采用区域提案网络进行处理,获得预测建议框;
边界点确定模块,用于基于所述预测建议框,采用边界分割分支获得候选边界点;
边界点过滤模块,用于采用与所述边界分割分支并行的像素级嵌入分支对所述候选边界点进行过滤,得到最终边界点,以定位文本区域。
此外,为实现上述目的,本发明还提供了一种文字检测设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的文字检测程序,所述文字检测程序被所述处理器执行时实现上述的文字检测方法的步骤。
此外,为实现上述目的,本发明还提供了一种存储介质,其上存储有文字检测程序,该文字检测程序被处理器执行时实现上述的文字检测方法步骤。
本申请实施例中提供的一种文字检测方法、系统、设备及存储介质的技术方案,至少具有如下技术效果或优点:
由于采用对由残差网络特征提取到的特征图像进行上下文注意力处理,得到语义增强特征图,然后采用金字塔网络对语义增强特征图进行处理得到共享特征图,其次采用区域提案网络进行处理得到预测建议框,再者基于预测建议框,采用边界分割分支获得候选边界点,最后采用与边界分割分支并行的像素级嵌入分支对候选边界点进行过滤得到最终边界点的技术方案。解决了现有技术中文本检测方法仅在二维空间对于文本区域的特征进行表达,无法很好地消除文本区域背景噪声的问题,实现了在高维空间中对所生成的候选边界点进行进一步矫正,不仅能够对任意形状文本进行检测,还可以抑制背景似文本纹理噪声以实现更精确的任意形状场景文本定位。
附图说明
图1为本发明实施例方案涉及的硬件运行环境的结构示意图;
图2为本发明文字检测方法第一实施例的流程示意图;
图3为本发明文字检测方法第二实施例的流程示意图;
图4为本发明文字检测方法第三实施例的流程示意图;
图5为本发明文字检测方法第四实施例的流程示意图;
图6为本发明文字检测方法第五实施例的流程示意图;
图7为本发明文字检测方法第六实施例的流程示意图;
图8为本发明文字检测系统的功能模块图;
图9为本发明工作框架图;
图10为本发明上下文注意力处理实现结构图;
图11为本发明测试阶段边界点嵌入向量的距离分布图。
具体实施方式
为了更好的理解上述技术方案,下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
本发明提供一种文字检测设备。如图1所示,图1为本发明实施例方案涉及的硬件运行环境的结构示意图。
需要说明的是,图1即可为文字检测设备的硬件运行环境的结构示意图。
如图1所示,该文字检测设备可以包括:处理器1001,例如CPU,存储器1005,用户接口1003,网络接口1004,通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
可选地,文字检测设备还可以包括RF(Radio Frequency,射频)电路,传感器、音频电路、WiFi模块等等。
本领域技术人员可以理解,图1中示出的多联式空调系统结构并不构成对多联式空调系统限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及文字检测程序。其中,操作系统是管理和控制文字检测设备硬件和软件资源的程序,文字检测程序以及其它软件或程序的运行。
在图1所示的文字检测设备中,用户接口1003主要用于连接终端,与终端进行数据通信;网络接口1004主要用于后台服务器,与后台服务器进行数据通信;处理器1001可以用于调用存储器1005中存储的文字检测程序。
在本实施例中,文字检测设备包括:存储器1005、处理器1001及存储在所述存储器上并可在所述处理器上运行的文字检测程序,其中:
处理器1001调用存储器1005中存储的文字检测程序时,执行以下操作:
采用残差网络进行特征提取得到特征图像;
对所述特征图像进行上下文注意力处理,生成语义增强特征图;
对所述语义增强特征图采用金字塔网络进行处理,生成共享特征图;
对所述共享特征图采用区域提案网络进行处理,获得预测建议框;
基于所述预测建议框,采用边界分割分支获得候选边界点;
采用与所述边界分割分支并行的像素级嵌入分支对所述候选边界点进行过滤,得到最终边界点,以定位文本区域。
处理器1001调用存储器1005中存储的文字检测程序时,还执行以下操作:
获取文本图像;
对所述文本图像进行卷积运算,生成所述特征图像。
处理器1001调用存储器1005中存储的文字检测程序时,还执行以下操作:
采用1×1的卷积核对所述特征图像进行线性映射,得到第一预处理特征图;
计算所述第一预处理特征图的自相关性,并根据所述自相关性,对所述第一预处理特征图与所述特征图像做残差运算,得到第一分支输出;
对所述特征图像进行1×1卷积,得到第二预处理特征图;
采用归一层对所述第二预处理特征图与所述特征图做残差运算,得到第二分支输出;
分别对所述第一分支输出和所述第二分支输出进行3×3卷积,将所述第一分支输出的卷积结果和所述第二分支输出的卷积结果进行相加,得到卷积和,并对所述卷积和进行串联以及1×1卷积,得到所述语义增强特征图。
处理器1001调用存储器1005中存储的文字检测程序时,还执行以下操作:
对所述语义增强特征图和所述特征图像进行高低层级语义特征融合,生成所述共享特征图。
处理器1001调用存储器1005中存储的文字检测程序时,还执行以下操作:
采用预置锚框对所述共享特征图进行预测,得到区域建议框;
采用微调网络对所述区域建议框进行调整,生成所述预测建议框。
处理器1001调用存储器1005中存储的文字检测程序时,还执行以下操作:
采用所述预测建议框对所述共享特征图依次进行裁剪、归一化处理和上采样,得到第一上采样特征图;
对所述第一上采样特征图进行文字边界信息建模,生成所述候选边界点。
处理器1001调用存储器1005中存储的文字检测程序时,还执行以下操作:
采用所述预测建议框对所述共享特征图依次进行裁剪、归一化处理和上采样,得到第二上采样特征图;
将所述第二上采样特征图映射至高维空间,输出嵌入向量图;
根据所述嵌入向量图,对所述候选边界点中得分大于第一预设阈值的位置所对应的嵌入向量计算均值,得到基准向量;
判断所述候选边界点中得分大于第二预设阈值的位置所对应的嵌入向量与所述基准向量之间的距离是否大于第三预设阈值;如果是,则滤除所述候选边界点中的像素点,得到所述最终边界点。
如图2和图9所示,本发明提供的一种文字检测方法,包括以下步骤:
步骤S110:采用残差网络进行特征提取得到特征图像。
具体的,所述残差网络可以采用ResNet50模型,残差网络处理的输入对象为文本图像,残差网络对输入的文本图像进行特征提取,并输出提取的特征结果,所述特征结果为文本图像的特征图像。
步骤S120:对所述特征图像进行上下文注意力处理,生成语义增强特征图。
本实施例中,在残差网络处理之后,为了增强特征图像的上下文信息,需要对特征图像进行上下文注意力处理。具体的是通过迭代的方式结合多组特征注意力结果来增强特征图像的语义信息,并输出语义增强特征图。
步骤S130:对所述语义增强特征图采用金字塔网络进行处理,生成共享特征图。
具体的,采用金字塔网络主要解决的是图像检测中的多尺度问题,通过简单的网络连接改变,在基本不增加原有模型计算量情况下,大幅度提升了图像检测的性能。语义增强特征图输入到金字塔网络中,金字塔网络结合上述残差网络输出的特征图像,以语义增强特征图为顶层图,特征图像为底层图,然后自顶而下将语义增强特征图和特征图像进行融合以及串联,得到共享特征图。
步骤S140:对所述共享特征图采用区域提案网络进行处理,获得预测建议框。
区域提案网络(RPN)是一个全卷积网络,可以同时在每个位置预测目标边界和目标分数。区域提案网络将共享特征图作为输入,输出一系列矩形的目标建议框,每一个目标建议框都有一个分数,并通过区域提案网络中的滑动窗口对目标建议框进行处理生成预测建议框。
步骤S150:基于所述预测建议框,采用边界分割分支获得候选边界点。
边界分割分支(BS)将共享特征图作为输入,根据预测建议框对共享特征图进行训练,从共享特征图中获取所有的边界点作为候选边界点,其中所有的候选边界点包含了真边界点和假边界点。
步骤S160:采用与所述边界分割分支并行的像素级嵌入分支对所述候选边界点进行过滤,得到最终边界点。
由于一些背景纹理与文本纹理相似,直接使用边界点的分割结果进行文本定位是不准确的,且特征的表达限制于二维空间。本实施例引入了与所述边界分割分支(BS)并行的像素级嵌入分支(PE),将共享特征图作为像素级嵌入分支(PE)的输入。训练时,像素级嵌入分支(PE)将其映射到更高维的空间,并使边界点位置所对应的嵌入向量距离尽可能小,其与非边界点位置所对应的嵌入向量距离尽可能大;测试时,对边界点位置所对应的嵌入向量的距离进行度量,根据度量结果进行候选边界点的滤除,将剩余的候选边界点作为最终边界点。
本实施例根据上述技术方案,采用对由残差网络特征提取到的特征图像进行上下文注意力处理,得到语义增强特征图,然后采用金字塔网络对语义增强特征图进行处理得到共享特征图,其次采用区域提案网络进行处理得到预测建议框,再者基于预测建议框,采用边界分割分支获得候选边界点,最后采用与边界分割分支并行的像素级嵌入分支对候选边界点进行过滤得到最终边界点的技术方案。实现了在高维空间中对所生成的候选边界点进行进一步矫正,不仅能够对任意形状文本进行检测,还可以抑制背景似文本纹理噪声以实现更精确的任意形状场景文本定位。
需要说明的是,本发明可以以软件的方式嵌入于智能系统,也可嵌入于服务器,能够满足后台大批量文本检测需求。
如图3所示,在一个实施例中,上述步骤S110具体可以包括以下步骤:
步骤S111:获取文本图像。
具体的,获取需要处理的文本图像。所述文本图像可以静态的图片,如电子照片、文本电子截图等,也可以从视频中获取,如获取视频的暂停截图、视频帧等。
步骤S112:对所述文本图像进行卷积运算,生成所述特征图像。
采用残差网络--ResNet50模型对获取到的文本图像进行卷积运算,输出特征图像。其中,ResNet50模型对文本图像进行卷积运算,分为有5个阶段,分别为stage1、stage2、stage3、stage4和stage5。输出的特征图像包括了5个特征图层,自下到上记为第一特征图层、第二特征图层、第三特征图层、第四特征图层和第五特征图层。stage1、stage2、stage3、stage4和stage5依次与第一特征图层、第二特征图层、第三特征图层、第四特征图层和第五特征图层对应。
上述方法,通过采用残差网络对文本图像进行处理,可以得到准确的特征图像,以便后续步骤处理。
如图4和图10所示,上述步骤S120具体包括以下步骤:
步骤S121:采用1×1的卷积核对所述特征图像进行线性映射,得到第一预处理特征图。
采用1×1的卷积核对所述特征图像中的第五特征图层进行线性映射,得到降维后的第五特征图层,并将降维后的第五特征图层作为第一预处理特征图,所述第一预处理特征图分为Q特征图、K特征图和V特征图。例如,所述特征图像中的第五特征图层未处理之前的尺寸为1*1024*H*W,处理之后得到的Q特征图、K特征图和V特征图尺寸均为1*512*H*W,H表示高度,W表示宽度。
步骤S122:计算所述第一预处理特征图的自相关性,并根据所述自相关性,对所述第一预处理特征图与所述特征图像做残差运算,得到第一分支输出。
将Q特征图、K特征图和V特征图分别沿通道维数分为L组,以组为单位先采用点积计算Q特征图和K特征图之间的相似度,得到相似度图;之后将相似度图与V特征图相乘得到第一预处理特征图各像素位置特征之间的自相关性,然后与第五特征图层做残差运算得到第一分支输出。其中,L为正整数,本实施例中取8。
步骤S123:对所述特征图像进行1×1卷积,得到第二预处理特征图。
在采用1×1的卷积核对所述特征图像中的第五特征图层进行线性映射的同时,本实施例对第五特征图层进行1×1卷积,得到第二预处理特征图。
步骤S124:采用归一层对所述第二预处理特征图与所述特征图做残差运算,得到第二分支输出。
采用Softmax归一层对所述第二预处理特征图与第五特征图层做残差运算,得到第二分支输出
步骤S125:分别对所述第一分支输出和所述第二分支输出进行3×3卷积,将所述第一分支输出的卷积结果和所述第二分支输出的卷积结果进行相加,得到卷积和,并对所述卷积和进行串联以及1×1卷积,得到所述语义增强特征图。
基于第一分支输出和第二分支输出,对第一分支输出进行3×3卷积处理得到第一分支卷积结果,将第二分支输出进行3×3卷积处理得到第二分支卷积结果,在对第一分支卷积结果和第二分支卷积结果进行求和运算,得到第一分支与第二分支的卷积和,最后将卷积和先进行串联,在进行1×1卷积升维得到语义增强特征图。
进一步的,上述步骤S130具体包括:
对所述语义增强特征图和所述特征图像进行高低层级语义特征融合,生成所述共享特征图。
具体的,将语义增强特征图输入金字塔网络,金字塔网络对特征图像中的第二特征图层、第三特征图层和第四特征图层进行横向连接和上采样,将第二特征图层、第三特征图层和第四特征图层依次由下往上排布,同时金字塔网络将语义增强特征图置于第四特征图层顶部,然后自上而下对语义增强特征图、第四特征图层、第三特征图层和第二特征图层进行融合,得到4个融合的特征图,最后将这4个融合的特征图串联在一起得到共享特征图,并将共享特征图作为后续处理的输入对象。
上述方法,通过采用金字塔网络自上而下对语义增强特征图、第四特征图层、第三特征图层和第二特征图层进行融合,可以将高层的特征图特征传下来,补充低层的特征图的语义,这样就可以使得共享特征图获得高分辨率、强语义的特征,有利于后续的检测。
如图5所示,上述步骤S140具体包括以下步骤:
步骤S141:采用预置锚框对所述共享特征图进行预测,得到区域建议框。
具体的,通过区域提案网络对预置锚框进行偏置预测,确定所述区域建议框。
步骤S142:采用微调网络对所述区域建议框进行调整,生成所述预测建议框。
区域建议框生成后,采用微调网络对区域建议框的尺寸和位置进行修正,使得修正后的区域建议框与预置锚框尽可能重叠,并将修正后的区域建议框作为预测建议框输出。
上述方法,可以使得获得预测建议框的精确性更高,更切近文本图像,有利于后续的检测。
如图6所示,上述步骤S150具体步骤包括:
步骤S151:采用所述预测建议框对所述共享特征图依次进行裁剪、归一化处理和上采样,得到第一上采样特征图。
具体的,采用边界分割分支(BS)根据预测建议框对共享特征图先进行裁剪,得到裁剪后的特征图,然后对裁剪后的特征图进行归一化处理,将裁剪后的特征图统一至固定尺寸,得到固定尺寸特征图,之后对固定尺寸特征图进行上采样,使得固定尺寸特征图放大后,输出第一上采样特征图。
步骤S152:对所述第一上采样特征图进行文字边界信息建模,生成所述候选边界点。
具体的,边界分割分支(BS)对第一上采样特征图进行3×3卷积,输出48×48大小2通道的预测边界分割图,然后采用Sigmoid神经网络层对预测边界分割图进行归一化处理后生成预测边界点。
如图7所示,上述步骤S160具体步骤包括:
步骤S161:采用所述预测建议框对所述共享特征图依次进行裁剪、归一化处理和上采样,得到第二上采样特征图。
具体的,像素级嵌入分支(PE)根据预测建议框对共享特征图先进行裁剪,得到裁剪后的特征图,然后对裁剪后的特征图进行归一化处理,将裁剪后的特征图统一至固定尺寸,得到固定尺寸特征图,之后对固定尺寸特征图进行上采样,使得固定尺寸特征图放大后,输出第二上采样特征图;所述第二上采样特征图与第一上采样特征图相同。
步骤S162:将所述第二上采样特征图映射至高维空间,输出嵌入向量图。
像素级嵌入分支(PE)采用3×3卷积将第二上采样特征图映射至高维空间,输出48×48大小通道数为C的嵌入向量图;其中,C为正整数,本实施例中取8。
步骤S163:根据所述嵌入向量图,对所述候选边界点中得分大于第一预设阈值的位置所对应的嵌入向量计算均值,得到基准向量。
嵌入向量图是一个高维图,嵌入向量图中每个像素位置对应的像素点与文本图像中的像素位置对应的像素点具有对应关系,嵌入向量图中与文本图像中互相对应的像素点为同一属性。其中,像素级嵌入分支(PE)将第二上采样特征图映射到高维空间,存在有属于边界点的像素点对应的嵌入向量之间的距离尽可能小,属于边界点与不属于边界点的像素点对应的嵌入向量之间的距离尽可能大的关系。根据所述关系获取候选边界点中得分大于第一预设阈值的位置所对应的嵌入向量作为选取最终边界点的基准向量。由于所获取的嵌入向量具有多个,且每个嵌入向量不都相同,为了减小测试时的误差,对所获取的嵌入向量求平均值,将这些嵌入向量的平均值作为基准向量。
步骤S164:判断所述候选边界点中得分大于第二预设阈值的位置所对应的嵌入向量与所述基准向量之间的距离是否大于第三预设阈值;如果是,则滤除所述候选边界点中的像素点,得到所述最终边界点。
基于上述步骤S163,该步骤S164是测试阶段。测试时,首先确定出候选边界点中得分大于第二预设阈值的位置所对应的所有嵌入向量,为了便于描述,将候选边界点中得分大于第二预设阈值的位置所对应的嵌入向量记为被测向量。然后,分别度量这些被测向量与基准向量之间的距离,并判断被测向量与基准向量之间的距离是否大于第三预设阈值。当任意一个被测向量与基准向量之间的距离大于第三预设阈值时,则判定该被测向量所处位置的像素点对应的候选边界点为假点,进而会被滤除掉,最终剩余的候选边界点为最终边界点。
具体的,本实施例一次输入一张文本图像作为训练集图像,采用随机梯度下降法(SGD)对整个网络进行端到端的训练。边界分割分支(BS)将对第一上采样特征图预测48×48大小2通道的边界点分割图,像素级嵌入分支(PE)将第二上采样特征图映射至高维空间,输出48×48大小8通道嵌入向量图。网络训练所依赖的损失函数采取多任务损失函数联合形式,
L=λ1LRPN+λ2LBox+λ3LSeg+λ4LPE
其中,LRPN为区域提案网络的损失和函数,LBox为微调网络的损失函数,LSeg为边界分割分支(BS)的损失函数,LPE为实例级像素嵌入分支的损失函数。λ1、λ2、λ3、λ4分别为各网络的平衡参数。
LRPN与LBox分别采用Mask-RCNN中标准的区域提案网络及微调网络的损失函数形式,边界分割分支(BS)其本质为一个二分类操作,因此LSeg采用二元交叉熵损失实现。
LPE=Lpull+Lpush
LPE由两部分组成,Lpull用于使预测建议框内同属文本图像边界点定义范围内的像素点向量距离越近,而Lpush则用于使文本图像边界点与非边界点距离更远,实现形式如下:
其中,N是预测建议框的数量,Nc是文本图像边界点真值的数量,及ωi分别表示边界点i对应的高维向量及非边界点j对应的高维向量,μn为Nc个边界点的平均高维向量表示,α及β为限制阈值,本实施例中取0.5及1.5,[…]max为取最大值操作。
在测试阶段,选取文本图像边界分割点中得分大于0.2的点作为最终边界点,并以得分大于0.9的像素点对应的嵌入向量表示为基准向量,对最终边界点进行筛选,候选边界点中的像素点与嵌入向量图中的像素点嵌入向量之间的距离大于1.0,这些像素点对应的候选边界点将被滤除,而最终剩余的候选边界点为最终边界点。如图11所示,图11为本发明测试阶段边界点嵌入向量的距离分布图,图中的颜色越深的部分,表示候选边界点中的像素点与嵌入向量图中的像素点的嵌入向量之间的距离越小。
上述方法,通过像素级嵌入分支(PE)对候选边界点在更高维度进行了修正,有效地消除了边界分割分支(BS)中的类文本纹理噪声的影响,而边界分割分支(BS)则有效地减少了像素级嵌入分支(PE)对最终边界点的搜索区域。
进一步的,为了验证本发明的性能,在三个通用数据集上进行了实验测试,分别为ICDAR2015、CTW1500及Total-Text,得到了三个不同的任意形状场景文字检测结果,均能良好地检测出场景中的文本。
此外,本发明实施例还提出一种文字检测系统,如图8所示,所述文字检测系统,包括:
第一特征处理模块200,用于采用残差网络进行特征提取得到特征图像;
第二特征处理模块201,用于对所述特征图像进行上下文注意力处理,生成语义增强特征图;
第三特征处理模块202,用于对所述语义增强特征图采用金字塔网络进行处理,生成共享特征图;
建议框生成模块203,用于对所述共享特征图采用区域提案网络进行处理,获得预测建议框;
边界点确定模块204,用于基于所述预测建议框,采用边界分割分支获得候选边界点;
边界点过滤模块205,用于采用与所述边界分割分支并行的像素级嵌入分支对所述候选边界点进行过滤,得到最终边界点,以定位文字区域。
进一步的,第一特征处理模块200,包括:
图像采集单元,用于获取文本图像。
特征提取单元,用于对所述文本图像进行卷积运算,生成所述特征图像。
进一步的,第二特征处理模块201,包括:
第一卷积单元,用于采用1×1的卷积核对所述特征图像进行线性映射,得到第一预处理特征图;
第一预处理单元,用于计算所述第一预处理特征图的自相关性,并根据所述自相关性,对所述第一预处理特征图与所述特征图像做残差运算,得到第一分支输出;
第二卷积单元,用于对所述特征图像进行1×1卷积,得到第二预处理特征图;
第二预处理单元,用于采用归一层对所述第二预处理特征图与所述特征图做残差运算,得到第二分支输出;
计算单元,用于分别对所述第一分支输出和所述第二分支输出进行3×3卷积,将所述第一分支输出的卷积结果和所述第二分支输出的卷积结果进行相加,得到卷积和,并对所述卷积和进行串联以及1×1卷积,得到所述语义增强特征图。
进一步的,第三特征处理模块202对所述语义增强特征图和所述特征图像进行高低层级语义特征融合,生成所述共享特征图。
进一步的,所述建议框生成模块203,包括:
建议框预测单元,用于采用预置锚框对所述共享特征图进行预测,得到区域建议框;
建议框调整单元,用于采用微调网络对所述区域建议框进行调整,生成所述预测建议框。
进一步的,所述边界点确定模块204,包括:
第一特征回归单元,用于采用所述预测建议框对所述共享特征图依次进行裁剪、归一化处理和上采样,得到第一上采样特征图;
边界建模单元,用于对所述第一上采样特征图进行文字边界信息建模,生成所述候选边界点。
进一步的,所述边界点过滤模块205,包括:
第二特征回归单元,用于采用所述预测建议框对所述共享特征图依次进行裁剪、归一化处理和上采样,得到第二上采样特征图;
映射单元,用于将所述第二上采样特征图映射至高维空间,输出嵌入向量图;
遍历单元,用于对所述嵌入向量图中的每个像素位置进行遍历,确定所述嵌入向量图中的像素点;
判断单元,用于判断所述嵌入向量图与所述候选边界点中同属性的像素点对应的嵌入向量之间的距离是否大于预设基准阈值;如果是,则滤除所述候选边界点中的像素点,得到所述最终边界点。
本发明文字检测系统具体实施方式与上述文字检测方法各实施例基本相同,在此不再赘述。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
应当注意的是,在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发
明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种文字检测方法,其特征在于,包括:
采用残差网络进行特征提取得到特征图像;
对所述特征图像进行上下文注意力处理,生成语义增强特征图;
对所述语义增强特征图采用金字塔网络进行处理,生成共享特征图;
对所述共享特征图采用区域提案网络进行处理,获得预测建议框;
基于所述预测建议框,采用边界分割分支获得候选边界点;
采用与所述边界分割分支并行的像素级嵌入分支对所述候选边界点进行过滤,得到最终边界点,以定位文本区域。
2.如权利要求1所述的方法,其特征在于,所述采用残差网络进行特征提取得到特征图像的步骤,包括:
获取文本图像;
对所述文本图像进行卷积运算,生成所述特征图像。
3.如权利要求2所述的方法,其特征在于,所述对所述特征图像进行上下文注意力处理,生成语义增强特征图的步骤,包括:
采用1×1的卷积核对所述特征图像进行线性映射,得到第一预处理特征图;
计算所述第一预处理特征图的自相关性,并根据所述自相关性,对所述第一预处理特征图与所述特征图像做残差运算,得到第一分支输出;
对所述特征图像进行1×1卷积,得到第二预处理特征图;
采用归一层对所述第二预处理特征图与所述特征图做残差运算,得到第二分支输出;
分别对所述第一分支输出和所述第二分支输出进行3×3卷积,将所述第一分支输出的卷积结果和所述第二分支输出的卷积结果进行相加,得到卷积和,并对所述卷积和进行串联以及1×1卷积,得到所述语义增强特征图。
4.如权利要求1所述的方法,其特征在于,所述对所述语义增强特征图采用金字塔网络进行处理,生成共享特征图的步骤,包括:
对所述语义增强特征图和所述特征图像进行高低层级语义特征融合,生成所述共享特征图。
5.如权利要求1所述的方法,其特征在于,所述对所述共享特征图采用区域提案网络进行处理,获得预测建议框的步骤,包括:
采用预置锚框对所述共享特征图进行预测,得到区域建议框;
采用微调网络对所述区域建议框进行调整,生成所述预测建议框。
6.如权利要求1或4所述的方法,其特征在于,所述采用边界分割分支获得候选边界点的步骤,包括:
采用所述预测建议框对所述共享特征图依次进行裁剪、归一化处理和上采样,得到第一上采样特征图;
对所述第一上采样特征图进行文字边界信息建模,生成所述候选边界点。
7.如权利要求1所述的方法,其特征在于,所述采用与所述边界分割分支并行的像素级嵌入分支对所述候选边界点进行过滤,得到最终边界点的步骤,包括:
采用所述预测建议框对所述共享特征图依次进行裁剪、归一化处理和上采样,得到第二上采样特征图;
将所述第二上采样特征图映射至高维空间,输出嵌入向量图;
根据所述嵌入向量图,对所述候选边界点中得分大于第一预设阈值的位置所对应的嵌入向量计算均值,得到基准向量;
判断所述候选边界点中得分大于第二预设阈值的位置所对应的嵌入向量与所述基准向量之间的距离是否大于第三预设阈值;如果是,则滤除所述候选边界点中的像素点,得到所述最终边界点。
8.一种文字检测系统,包括:
第一特征处理模块,用于采用残差网络进行特征提取得到特征图像;
第二特征处理模块,用于对所述特征图像进行上下文注意力处理,生成语义增强特征图;
第三特征处理模块,用于对所述语义增强特征图采用金字塔网络进行处理,生成共享特征图;
建议框生成模块,用于对所述共享特征图采用区域提案网络进行处理,获得预测建议框;
边界点确定模块,用于基于所述预测建议框,采用边界分割分支获得候选边界点;
边界点过滤模块,用于采用与所述边界分割分支并行的像素级嵌入分支对所述候选边界点进行过滤,得到最终边界点,以定位文本区域。
9.一种文字检测设备,其特征在于,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的文字检测程序,所述文字检测程序被所述处理器执行时实现如权利要求1-7任一项所述的文字检测方法的步骤。
10.一种存储介质,其特征在于,其上存储有文字检测程序,该文字检测程序被处理器执行时实现权利要求1-7任一所述的文字检测方法步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010846565.7A CN111914843B (zh) | 2020-08-20 | 2020-08-20 | 文字检测方法、系统、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010846565.7A CN111914843B (zh) | 2020-08-20 | 2020-08-20 | 文字检测方法、系统、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111914843A true CN111914843A (zh) | 2020-11-10 |
CN111914843B CN111914843B (zh) | 2021-04-16 |
Family
ID=73278503
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010846565.7A Active CN111914843B (zh) | 2020-08-20 | 2020-08-20 | 文字检测方法、系统、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111914843B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112861860A (zh) * | 2021-03-11 | 2021-05-28 | 南京大学 | 一种基于上下边界提取的自然场景下文字检测方法 |
CN113361521A (zh) * | 2021-06-10 | 2021-09-07 | 京东数科海益信息科技有限公司 | 场景图像的检测方法及其装置 |
CN113723352A (zh) * | 2021-09-13 | 2021-11-30 | 中国银行股份有限公司 | 一种文本检测方法、系统、存储介质及电子设备 |
CN113989304A (zh) * | 2021-11-10 | 2022-01-28 | 心医国际数字医疗系统(大连)有限公司 | 图像处理方法、装置、电子设备及存储介质 |
CN114359932A (zh) * | 2022-01-11 | 2022-04-15 | 北京百度网讯科技有限公司 | 文本检测方法、文本识别方法及装置 |
JP2022172292A (ja) * | 2022-01-06 | 2022-11-15 | ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド | テキスト認識の方法、装置、電子機器、記憶媒体およびコンピュータプログラム |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114328978B (zh) * | 2022-03-10 | 2022-05-24 | 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) | 关系抽取方法、装置、设备及可读存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103020618A (zh) * | 2011-12-19 | 2013-04-03 | 北京捷成世纪科技股份有限公司 | 视频图像文字的检测方法及系统 |
CN109948615A (zh) * | 2019-03-26 | 2019-06-28 | 中国科学技术大学 | 多语言文本检测识别系统 |
CN110287960A (zh) * | 2019-07-02 | 2019-09-27 | 中国科学院信息工程研究所 | 自然场景图像中曲线文字的检测识别方法 |
CN110729045A (zh) * | 2019-10-12 | 2020-01-24 | 闽江学院 | 一种基于上下文感知残差网络的舌图像分割方法 |
CN111242120A (zh) * | 2020-01-03 | 2020-06-05 | 中国科学技术大学 | 文字检测方法及系统 |
CN111291759A (zh) * | 2020-01-17 | 2020-06-16 | 北京三快在线科技有限公司 | 文字检测方法、装置、电子设备及存储介质 |
-
2020
- 2020-08-20 CN CN202010846565.7A patent/CN111914843B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103020618A (zh) * | 2011-12-19 | 2013-04-03 | 北京捷成世纪科技股份有限公司 | 视频图像文字的检测方法及系统 |
CN109948615A (zh) * | 2019-03-26 | 2019-06-28 | 中国科学技术大学 | 多语言文本检测识别系统 |
CN110287960A (zh) * | 2019-07-02 | 2019-09-27 | 中国科学院信息工程研究所 | 自然场景图像中曲线文字的检测识别方法 |
CN110729045A (zh) * | 2019-10-12 | 2020-01-24 | 闽江学院 | 一种基于上下文感知残差网络的舌图像分割方法 |
CN111242120A (zh) * | 2020-01-03 | 2020-06-05 | 中国科学技术大学 | 文字检测方法及系统 |
CN111291759A (zh) * | 2020-01-17 | 2020-06-16 | 北京三快在线科技有限公司 | 文字检测方法、装置、电子设备及存储介质 |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112861860A (zh) * | 2021-03-11 | 2021-05-28 | 南京大学 | 一种基于上下边界提取的自然场景下文字检测方法 |
CN112861860B (zh) * | 2021-03-11 | 2024-04-19 | 南京大学 | 一种基于上下边界提取的自然场景下文字检测方法 |
CN113361521A (zh) * | 2021-06-10 | 2021-09-07 | 京东数科海益信息科技有限公司 | 场景图像的检测方法及其装置 |
CN113361521B (zh) * | 2021-06-10 | 2024-04-09 | 京东科技信息技术有限公司 | 场景图像的检测方法及其装置 |
CN113723352A (zh) * | 2021-09-13 | 2021-11-30 | 中国银行股份有限公司 | 一种文本检测方法、系统、存储介质及电子设备 |
CN113989304A (zh) * | 2021-11-10 | 2022-01-28 | 心医国际数字医疗系统(大连)有限公司 | 图像处理方法、装置、电子设备及存储介质 |
JP2022172292A (ja) * | 2022-01-06 | 2022-11-15 | ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド | テキスト認識の方法、装置、電子機器、記憶媒体およびコンピュータプログラム |
JP7418517B2 (ja) | 2022-01-06 | 2024-01-19 | ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド | テキスト認識の方法、装置、電子機器、記憶媒体およびコンピュータプログラム |
CN114359932A (zh) * | 2022-01-11 | 2022-04-15 | 北京百度网讯科技有限公司 | 文本检测方法、文本识别方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN111914843B (zh) | 2021-04-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111914843B (zh) | 文字检测方法、系统、设备及存储介质 | |
CN111652217B (zh) | 文本检测方法、装置、电子设备及计算机存储介质 | |
CN112132156B (zh) | 多深度特征融合的图像显著性目标检测方法及系统 | |
CN108647585B (zh) | 一种基于多尺度循环注意力网络的交通标识符检测方法 | |
CN113139543B (zh) | 目标对象检测模型的训练方法、目标对象检测方法和设备 | |
CN107808138B (zh) | 一种基于FasterR-CNN的通信信号识别方法 | |
CN110889421A (zh) | 目标物检测方法及装置 | |
CN112016569B (zh) | 基于注意力机制的目标检测方法、网络、设备和存储介质 | |
CN110020658B (zh) | 一种基于多任务深度学习的显著目标检测方法 | |
CN114332473B (zh) | 目标检测方法、装置、计算机设备、存储介质及程序产品 | |
CN109871792B (zh) | 行人检测方法和装置 | |
CN114742799A (zh) | 基于自监督异构网络的工业场景未知类型缺陷分割方法 | |
CN113591719A (zh) | 一种自然场景任意形状文本检测方法、装置和训练方法 | |
CN111860077A (zh) | 人脸检测方法、装置、计算机可读存储介质及设备 | |
CN111723634A (zh) | 一种图像检测方法、装置、电子设备及存储介质 | |
CN111539456B (zh) | 一种目标识别方法及设备 | |
CN113191235A (zh) | 杂物检测方法、装置、设备及存储介质 | |
CN117522869B (zh) | 图像处理方法和缺陷检测方法、系统、电子设备 | |
CN113988222A (zh) | 一种基于Faster-RCNN的森林火灾检测与识别方法 | |
CN117409244A (zh) | 一种SCKConv多尺度特征融合增强的低照度小目标检测方法 | |
CN116012709B (zh) | 一种高分辨率遥感影像建筑物提取方法及系统 | |
CN114419078B (zh) | 基于卷积神经网络的表面缺陷区域分割方法及装置 | |
CN116543295A (zh) | 一种基于退化图像增强的轻量化水下目标检测方法及系统 | |
CN110796115A (zh) | 图像检测方法、装置、电子设备及可读存储介质 | |
CN114792300B (zh) | 一种基于多尺度注意力x光断针检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |