CN115359490A - 文本方向识别方法、装置、设备及存储介质 - Google Patents
文本方向识别方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN115359490A CN115359490A CN202210995415.1A CN202210995415A CN115359490A CN 115359490 A CN115359490 A CN 115359490A CN 202210995415 A CN202210995415 A CN 202210995415A CN 115359490 A CN115359490 A CN 115359490A
- Authority
- CN
- China
- Prior art keywords
- text
- image
- training
- target
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/146—Aligning or centring of the image pick-up or image-field
- G06V30/1463—Orientation detection or correction, e.g. rotation of multiples of 90 degrees
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/146—Aligning or centring of the image pick-up or image-field
- G06V30/1475—Inclination or skew detection or correction of characters or of image to be recognised
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及人工智能,提供一种文本方向识别方法、装置、设备及存储介质。该方法对获取到的训练灰度图像进行图像增强处理,得到目标训练图像,基于目标训练图像调整预设检测网络,得到文本检测模型,对获取的待检测文本图像进行灰度化处理,得到灰度图像,基于文本检测模型定位出灰度图像中的文本区域,切分文本区域,得到多个目标区域,基于多个目标区域的旋转角度生成文本方向。此外,本发明还涉及区块链技术,所述文本方向可存储于区块链中。
Description
技术领域
本发明涉及人工智能技术领域,尤其涉及一种文本方向识别方法、装置、设备及存储介质。
背景技术
在目前对文本方向进行识别的方案中,通常是将文本区域变换为某一尺寸限度的图像,以便检测模型的识别,然而,这种对文本区域进行变换的方式导致一定的弹性形变,造成检测模型无法准确的识别出文本方向。
发明内容
鉴于以上内容,有必要提供一种文本方向识别方法、装置、设备及存储介质,能够解决无法准确的识别出文本方向的技术问题。
一方面,本发明提出一种文本方向识别方法,所述文本方向识别方法包括:
对获取到的训练灰度图像进行图像增强处理,得到目标训练图像;
基于所述目标训练图像调整预设检测网络中的网络参数,得到文本检测模型;
根据接收到的文本方向识别请求获取待检测文本图像;
对所述待检测文本图像进行灰度化处理,得到灰度图像;
基于所述文本检测模型定位出所述灰度图像中的文本区域;
切分所述文本区域,得到多个目标区域;
基于所述多个目标区域的旋转角度生成所述待检测文本图像的文本方向。
根据本发明优选实施例,所述对获取到的训练灰度图像进行图像增强处理,得到目标训练图像包括:
从多个预设应用场景中获取场景文本图像;
对所述场景文本图像进行灰度化处理,得到所述训练灰度图像;
对所述训练灰度图像进行旋转处理,得到初始训练图像;
若所述初始训练图像的图像数量小于预设数量,则从所述初始训练图像中提取任意两张图像,所述任意两张图像包括第一图像及第二图像;
按照预设比例调整所述第一图像中的图像像素值,得到第三图像;
对所述第二图像与所述第三图像进行合成处理,得到所述目标训练图像。
根据本发明优选实施例,所述基于所述目标训练图像调整预设检测网络中的网络参数,得到文本检测模型包括:
获取所述目标训练图像的训练像素信息;
基于所述训练像素信息对所述目标训练图像进行编码处理,得到图像向量;
将所述图像向量输入至所述预设检测网络中的文本位置识别层,得到文本像素位置;
将所述文本像素位置输入至所述预设检测网络中的输出层进行位置连续性分析,得到预测区域位置;
基于所述目标训练图像的标注区域位置与所述预测区域位置的位置差距调整所述网络参数,直至所述位置差距不再降低,得到所述文本检测模型。
根据本发明优选实施例,所述对所述待检测文本图像进行灰度化处理,得到灰度图像包括:
获取所述待检测文本图像在多个颜色通道上的通道值;
基于多个所述通道值计算所述待检测文本图像中每个图像像素点的灰度值;
基于每个图像像素点的灰度值构建所述灰度图像。
根据本发明优选实施例,所述切分所述文本区域,得到多个目标区域包括:
基于所述文本区域的区域尺寸识别所述文本区域的区域形状;
若所述区域形状不为预设形状,则在所述灰度图像中扩张所述文本区域,得到测试区域;
获取与所述预设形状对应的形状尺寸阈值;
依据所述形状尺寸阈值对所述测试区域进行切分,得到所述多个目标区域。
根据本发明优选实施例,所述基于所述多个目标区域的旋转角度生成所述待检测文本图像的文本方向包括:
基于预先训练完成的角度识别网络并行识别所述多个目标区域,得到多个所述旋转角度;
统计所述多个旋转角度处于每个角度区间的角度数量;
将所述角度数量最大的角度区间所对应的方向确定为所述文本方向。
根据本发明优选实施例,在基于所述多个目标区域的旋转角度生成所述待检测文本图像的文本方向之后,所述方法还包括:
基于所述文本方向对所述文本区域进行旋转,得到校正区域;
获取所述校正区域的区域像素信息;
提取所述区域像素信息的特征信息;
基于预设文本映射表对所述特征信息进行映射处理,得到所述待检测文本图像中的目标文本。
另一方面,本发明还提出一种文本方向识别装置,所述文本方向识别装置包括:
增强单元,用于对获取到的训练灰度图像进行图像增强处理,得到目标训练图像;
调整单元,用于基于所述目标训练图像调整预设检测网络中的网络参数,得到文本检测模型;
获取单元,用于根据接收到的文本方向识别请求获取待检测文本图像;
处理单元,用于对所述待检测文本图像进行灰度化处理,得到灰度图像;
定位单元,用于基于所述文本检测模型定位出所述灰度图像中的文本区域;
切分单元,用于切分所述文本区域,得到多个目标区域;
生成单元,用于基于所述多个目标区域的旋转角度生成所述待检测文本图像的文本方向。
另一方面,本发明还提出一种电子设备,所述电子设备包括:
存储器,存储计算机可读指令;及
处理器,执行所述存储器中存储的计算机可读指令以实现所述文本方向识别方法。
另一方面,本发明还提出一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机可读指令,所述计算机可读指令被电子设备中的处理器执行以实现所述文本方向识别方法。
由以上技术方案可以看出,本申请基于图像增强处理后所得到的目标训练图像对预设检测网络进行调参,由于扩增了图像训练量,以及,调整预设检测网络的目标训练图像术语灰度图,因此能够提高文本检测模型的泛化能力,进一步地,通过对文本区域进行切分,能够避免对文本区域进行压缩而导致文本信息发生弹性形变,从而提高所述文本方向的识别准确性。此外,由于同一文档中具备文字方向一致的现象,因此通过结合所述多个目标区域的旋转角度能够准确的识别出所述文本方向。
附图说明
图1是本发明文本方向识别方法的较佳实施例的流程图。
图2是本发明文本方向识别装置的较佳实施例的功能模块图。
图3是本发明实现文本方向识别方法的较佳实施例的电子设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面结合附图和具体实施例对本发明进行详细描述。
如图1所示,是本发明文本方向识别方法的较佳实施例的流程图。根据不同的需求,该流程图中步骤的顺序可以改变,某些步骤可以省略。
所述文本方向识别方法可以基于人工智能技术对相关的数据进行获取和处理。其中,人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
所述文本方向识别方法应用于一个或者多个电子设备中,所述电子设备是一种能够按照事先设定或存储的计算机可读指令,自动进行数值计算和/或信息处理的设备,其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程门阵列(Field-Programmable Gate Array,FPGA)、数字信号处理器(Digital Signal Processor,DSP)、嵌入式设备等。
所述电子设备可以是任何一种可与用户进行人机交互的电子产品,例如,个人计算机、平板电脑、智能手机、个人数字助理(Personal Digital Assistant,PDA)、游戏机、交互式网络电视(Internet Protocol Television,IPTV)、智能穿戴式设备等。
所述电子设备可以包括网络设备和/或用户设备。其中,所述网络设备包括,但不限于单个网络电子设备、多个网络电子设备组成的电子设备组或基于云计算(CloudComputing)的由大量主机或网络电子设备构成的云。
所述电子设备所处的网络包括,但不限于:互联网、广域网、城域网、局域网、虚拟专用网络(Virtual Private Network,VPN)等。
101,对获取到的训练灰度图像进行图像增强处理,得到目标训练图像。
在本发明的至少一个实施例中,所述训练灰度图像是指从多个不同的预设应用场景中获取到的场景文本图像经灰度化处理后生成的图像。其中,所述多个不同的预设应用场景可以包括,但不限于:发票领域、绘本领域等。
所述目标训练图像是指对所述训练灰度图像进行数据增强后所得到的图像。所述目标训练图像的图像数量大于或者等于预设数量,其中,所述预设数量可以根据实际需求设定,例如,所述预设数量可以根据对文本检测模型的训练精度及训练时长确定。
在本发明的至少一个实施例中,所述电子设备对获取到的训练灰度图像进行图像增强处理,得到目标训练图像包括:
从多个预设应用场景中获取场景文本图像;
对所述场景文本图像进行灰度化处理,得到所述训练灰度图像;
对所述训练灰度图像进行旋转处理,得到初始训练图像;
若所述初始训练图像的图像数量小于预设数量,则从所述初始训练图像中提取任意两张图像,所述任意两张图像包括第一图像及第二图像;
按照预设比例调整所述第一图像中的图像像素值,得到第三图像;
对所述第二图像与所述第三图像进行合成处理,得到所述目标训练图像。
其中,所述预设比例可以根据需求设定。
通过从所述多个预设应用场景中获取所述场景文本图像,能够提高利用与所述场景文本图像对应的目标训练图像进行训练的文本检测模型对所述多个预设应用场景的适应性,进而对所述场景文本图像进行灰度化处理,能够避免图像在多通道上的色彩带来的干扰,从而提高文本检测模型的泛化能力,进一步地,先通过对所述训练灰度图像进行旋转处理,能够提高所述初始训练图像的生成效率,进而在所述初始训练图像的图像数量小于预设数量时,通过所述预设比例调整所述第一图像中的图像像素值,能够确保所述第二图像与所述第三图像之间存在一定的像素差值,从而有利于所述第二图像与所述第三图像的合成,通过对所述第二图像与所述第三图像的合成,能够确保所述目标训练图像的图像数量。
具体地,所述电子设备对所述场景文本图像进行灰度化处理,得到所述训练灰度图像的方式与所述电子设备对所述待检测文本图像进行灰度化处理,得到灰度图像的方式相似,下述已对此进行了细化,本发明对此不再赘述。
102,基于所述目标训练图像调整预设检测网络中的网络参数,得到文本检测模型。
在本发明的至少一个实施例中,所述预设检测网络包括文本位置识别层、输出层。其中,所述文本位置识别层用于识别文本在图像中所处的像素位置。所述输出层用于识别所述文本位置识别层所输出的位置所构成的区域位置。所述文本位置识别层包括多个卷积层,所述多个卷积层的数量术语所述网络参数。所述输出层包括池化层及全连接层。
所述网络参数通常包括所述文本位置识别层及输出层中预先配置的参数。
所述文本检测模型是指利用所述目标训练图像对所述预设检测网络进行参数调整至预测得到的位置差距不再降低时所对应的预设检测网络。所述文本检测模型用于预测图像中文本所处的区域。
在本发明的至少一个实施例中,所述电子设备基于所述目标训练图像调整预设检测网络中的网络参数,得到文本检测模型包括:
获取所述目标训练图像的训练像素信息;
基于所述训练像素信息对所述目标训练图像进行编码处理,得到图像向量;
将所述图像向量输入至所述预设检测网络中的文本位置识别层,得到文本像素位置;
将所述文本像素位置输入至所述预设检测网络中的输出层进行位置连续性分析,得到预测区域位置;
基于所述目标训练图像的标注区域位置与所述预测区域位置的位置差距调整所述网络参数,直至所述位置差距不再降低,得到所述文本检测模型。
其中,所述训练像素信息包括像素位置及该像素位置上的像素值。
所述文本像素位置是指文本在图像中的像素所对应的位置。
所述预测区域位置是指文本在图像中的区域所对应的位置。
通过所述训练像素信息对所述目标训练图像的编码,能够提高所述图像向量的表征能力,通过所述文本位置识别对所述图像向量进行像素级别上的分析预测,能够提高所述文本像素位置的准确性,从而提高所述预测区域位置的准确性,进而结合所述预测区域位置与所述标注区域位置能够准确的调整所述网络参数,从而提高所述文本检测模型的预测能力。
103,根据接收到的文本方向识别请求获取待检测文本图像。
在本发明的至少一个实施例中,所述文本方向识别请求可以在接收到识别需求时触发生成。所述待检测文本图像是指需要进行文本方向识别的图像。
在本发明的至少一个实施例中,所述电子设备根据接收到的文本方向识别请求获取待检测文本图像包括:
解析所述文本方向识别请求的报文,得到所述报文携带的数据信息;
从所述数据信息中提取存储路径及图像标识;
将所述存储路径及所述图像标识写入查询模板中,得到查询语句;
运行所述查询语句,输出所述待检测文本图像。
通过所述存储路径及所述图像标识能够准确的获取到所述待检测文本图像,进一步地,由于无需重构所述查询模板,因此能够提高所述待检测文本图像的获取效率。
104,对所述待检测文本图像进行灰度化处理,得到灰度图像。
在本发明的至少一个实施例中,所述灰度图像是指与所述待检测文本图像对应的单通道上的图像。
在本发明的至少一个实施例中,所述电子设备对所述待检测文本图像进行灰度化处理,得到灰度图像包括:
获取所述待检测文本图像在多个颜色通道上的通道值;
基于多个所述通道值计算所述待检测文本图像中每个图像像素点的灰度值;
基于每个图像像素点的灰度值构建所述灰度图像。
其中,所述多个颜色通道包括RGB(Red,Green,Blue)等通道。
所述通道值可以是指所述待检测文本图像在多个颜色通道上的像素信息。
通过结合所述多个通道值能够准确的计算出所述灰度值,进而利用所述灰度值能够直接构建所述灰度图像,提高所述灰度图像的生成效率。
具体地,所述灰度值的计算公式为:
其中,Yi表示第i个图像像素点的灰度值,Ri表示所述待检测文本图像在R颜色通道上与所述第i个图像像素点对应的通道值,Gi表示所述待检测文本图像在G颜色通道上与所述第i个图像像素点对应的通道值,Bi表示所述待检测文本图像在B颜色通道上与所述第i个图像像素点对应的通道值,K1、K2为不为0的常数。
通过上述实施方式,能够准确的计算出每个图像像素点的灰度值,从而提高所述灰度图像的准确性。
105,基于所述文本检测模型定位出所述灰度图像中的文本区域。
在本发明的至少一个实施例中,所述文本区域是指所述待检测文本图像中文本所在的区域位置。
在本发明的至少一个实施例中,所述电子设备基于所述文本检测模型定位出所述灰度图像中的文本区域的方式与所述电子设备基于所述目标训练图像调整预设检测网络中的网络参数的方式互为逆过程,本发明对此不再赘述。
106,切分所述文本区域,得到多个目标区域。
在本发明的至少一个实施例中,所述多个目标区域是指从所述文本区域上依照形状尺寸阈值切分所得到的。所述形状尺寸阈值是指与预设形状所对应的尺寸阈值。
在本发明的至少一个实施例中,所述电子设备切分所述文本区域,得到多个目标区域包括:
基于所述文本区域的区域尺寸识别所述文本区域的区域形状;
若所述区域形状不为预设形状,则在所述灰度图像中扩张所述文本区域,得到测试区域;
获取与所述预设形状对应的形状尺寸阈值;
依据所述形状尺寸阈值对所述测试区域进行切分,得到所述多个目标区域。
其中,为了便于区域切分,以及结合汉语言文字的最小外接图形,所述预设形状通常设定为正方形。
通过在所述灰度图像上对所述文本区域进行扩张处理,不仅能够避免所述文本区域中的文本信息的丢失,还能够将所述灰度图像上的其他特征信息加入所述文本区域中,有利于后续对文本方向的识别,基于与所述预设形状对应的形状尺寸阈值对所述测试区域进行切分,能够确保所述测试区域能够完整的切分,提高了所述多个目标区域的切分便利性。
107,基于所述多个目标区域的旋转角度生成所述待检测文本图像的文本方向。
需要强调的是,为进一步保证上述文本方向的私密和安全性,上述文本方向还可以存储于一区块链的节点中。
在本发明的至少一个实施例中,所述旋转角度是指所述多个目标区域中文本的方向。例如,所述旋转角度可以是顺时针30度。
所述文本方式是指所述待检测文本图像中文本的方向。
在本发明的至少一个实施例中,所述电子设备基于所述多个目标区域的旋转角度生成所述待检测文本图像的文本方向包括:
基于预先训练完成的角度识别网络并行识别所述多个目标区域,得到多个所述旋转角度;
统计所述多个旋转角度处于每个角度区间的角度数量;
将所述角度数量最大的角度区间所对应的方向确定为所述文本方向。
其中,所述角度识别网络用于识别区域文本中的方向。
所述角度区间可以根据对所述文本方向的精度需求设定,所述文本方向的精度需求较高,可以设定更多的角度区间。例如,所述文本方向的精度需求为误差0.1,则设定10个角度区间;所述文本方向的精度需求为误差0.01,则设定100个角度区间。
通过并行识别所述多个目标区域,能够提高所述多个旋转角度的识别效率,进而通过所述多个旋转角度处于每个角度区间的角度数量识别出所述文本方向,由于同一文档中的文本方向具有共性,因此,通过对所述多个目标区域进行预测,能够提高所述文本方向的准确性。
在本发明的至少一个实施例中,在基于所述多个目标区域的旋转角度生成所述待检测文本图像的文本方向之后,所述方法还包括:
基于所述文本方向对所述文本区域进行旋转,得到校正区域;
获取所述校正区域的区域像素信息;
提取所述区域像素信息的特征信息;
基于预设文本映射表对所述特征信息进行映射处理,得到所述待检测文本图像中的目标文本。
其中,所述特征信息包括文本所对应的像素值及文本所对应的像素位置。所述特征信息可以经过多个特征提取层提取得到的,每个特征提取层包括多个卷积核。
所述预设文本映射表中包括多个预设向量与预设词汇的映射关系。
通过对所述文本区域进行方向旋转,能够提高所述校正区域的方向正确性,通过所述特征信息,能够准确的完成信息的映射,提高所述目标文本的准确性。
由以上技术方案可以看出,本申请基于图像增强处理后所得到的目标训练图像对预设检测网络进行调参,由于扩增了图像训练量,以及,调整预设检测网络的目标训练图像术语灰度图,因此能够提高文本检测模型的泛化能力,进一步地,通过对文本区域进行切分,能够避免对文本区域进行压缩而导致文本信息发生弹性形变,从而提高所述文本方向的识别准确性。此外,由于同一文档中具备文字方向一致的现象,因此通过结合所述多个目标区域的旋转角度能够准确的识别出所述文本方向。
如图2所示,是本发明文本方向识别装置的较佳实施例的功能模块图。所述文本方向识别装置11包括增强单元110、调整单元111、获取单元112、处理单元113、定位单元114、切分单元115、生成单元116、旋转单元117、提取单元118及映射单元119。本发明所称的模块/单元是指一种能够被处理器13所获取,并且能够完成固定功能的一系列计算机可读指令段,其存储在存储器12中。在本实施例中,关于各模块/单元的功能将在后续的实施例中详述。
增强单元110对获取到的训练灰度图像进行图像增强处理,得到目标训练图像。
在本发明的至少一个实施例中,所述训练灰度图像是指从多个不同的预设应用场景中获取到的场景文本图像经灰度化处理后生成的图像。其中,所述多个不同的预设应用场景可以包括,但不限于:发票领域、绘本领域等。
所述目标训练图像是指对所述训练灰度图像进行数据增强后所得到的图像。所述目标训练图像的图像数量大于或者等于预设数量,其中,所述预设数量可以根据实际需求设定,例如,所述预设数量可以根据对文本检测模型的训练精度及训练时长确定。
在本发明的至少一个实施例中,所述增强单元110对获取到的训练灰度图像进行图像增强处理,得到目标训练图像包括:
从多个预设应用场景中获取场景文本图像;
对所述场景文本图像进行灰度化处理,得到所述训练灰度图像;
对所述训练灰度图像进行旋转处理,得到初始训练图像;
若所述初始训练图像的图像数量小于预设数量,则从所述初始训练图像中提取任意两张图像,所述任意两张图像包括第一图像及第二图像;
按照预设比例调整所述第一图像中的图像像素值,得到第三图像;
对所述第二图像与所述第三图像进行合成处理,得到所述目标训练图像。
其中,所述预设比例可以根据需求设定。
通过从所述多个预设应用场景中获取所述场景文本图像,能够提高利用与所述场景文本图像对应的目标训练图像进行训练的文本检测模型对所述多个预设应用场景的适应性,进而对所述场景文本图像进行灰度化处理,能够避免图像在多通道上的色彩带来的干扰,从而提高文本检测模型的泛化能力,进一步地,先通过对所述训练灰度图像进行旋转处理,能够提高所述初始训练图像的生成效率,进而在所述初始训练图像的图像数量小于预设数量时,通过所述预设比例调整所述第一图像中的图像像素值,能够确保所述第二图像与所述第三图像之间存在一定的像素差值,从而有利于所述第二图像与所述第三图像的合成,通过对所述第二图像与所述第三图像的合成,能够确保所述目标训练图像的图像数量。
具体地,所述增强单元110对所述场景文本图像进行灰度化处理,得到所述训练灰度图像的方式与处理单元113对所述待检测文本图像进行灰度化处理,得到灰度图像的方式相似,下述已对此进行了细化,本发明对此不再赘述。
调整单元111基于所述目标训练图像调整预设检测网络中的网络参数,得到文本检测模型。
在本发明的至少一个实施例中,所述预设检测网络包括文本位置识别层、输出层。其中,所述文本位置识别层用于识别文本在图像中所处的像素位置。所述输出层用于识别所述文本位置识别层所输出的位置所构成的区域位置。所述文本位置识别层包括多个卷积层,所述多个卷积层的数量术语所述网络参数。所述输出层包括池化层及全连接层。
所述网络参数通常包括所述文本位置识别层及输出层中预先配置的参数。
所述文本检测模型是指利用所述目标训练图像对所述预设检测网络进行参数调整至预测得到的位置差距不再降低时所对应的预设检测网络。所述文本检测模型用于预测图像中文本所处的区域。
在本发明的至少一个实施例中,所述调整单元111基于所述目标训练图像调整预设检测网络中的网络参数,得到文本检测模型包括:
获取所述目标训练图像的训练像素信息;
基于所述训练像素信息对所述目标训练图像进行编码处理,得到图像向量;
将所述图像向量输入至所述预设检测网络中的文本位置识别层,得到文本像素位置;
将所述文本像素位置输入至所述预设检测网络中的输出层进行位置连续性分析,得到预测区域位置;
基于所述目标训练图像的标注区域位置与所述预测区域位置的位置差距调整所述网络参数,直至所述位置差距不再降低,得到所述文本检测模型。
其中,所述训练像素信息包括像素位置及该像素位置上的像素值。
所述文本像素位置是指文本在图像中的像素所对应的位置。
所述预测区域位置是指文本在图像中的区域所对应的位置。
通过所述训练像素信息对所述目标训练图像的编码,能够提高所述图像向量的表征能力,通过所述文本位置识别对所述图像向量进行像素级别上的分析预测,能够提高所述文本像素位置的准确性,从而提高所述预测区域位置的准确性,进而结合所述预测区域位置与所述标注区域位置能够准确的调整所述网络参数,从而提高所述文本检测模型的预测能力。
获取单元112根据接收到的文本方向识别请求获取待检测文本图像。
在本发明的至少一个实施例中,所述文本方向识别请求可以在接收到识别需求时触发生成。所述待检测文本图像是指需要进行文本方向识别的图像。
在本发明的至少一个实施例中,所述获取单元112根据接收到的文本方向识别请求获取待检测文本图像包括:
解析所述文本方向识别请求的报文,得到所述报文携带的数据信息;
从所述数据信息中提取存储路径及图像标识;
将所述存储路径及所述图像标识写入查询模板中,得到查询语句;
运行所述查询语句,输出所述待检测文本图像。
通过所述存储路径及所述图像标识能够准确的获取到所述待检测文本图像,进一步地,由于无需重构所述查询模板,因此能够提高所述待检测文本图像的获取效率。
所述处理单元113对所述待检测文本图像进行灰度化处理,得到灰度图像。
在本发明的至少一个实施例中,所述灰度图像是指与所述待检测文本图像对应的单通道上的图像。
在本发明的至少一个实施例中,所述处理单元113对所述待检测文本图像进行灰度化处理,得到灰度图像包括:
获取所述待检测文本图像在多个颜色通道上的通道值;
基于多个所述通道值计算所述待检测文本图像中每个图像像素点的灰度值;
基于每个图像像素点的灰度值构建所述灰度图像。
其中,所述多个颜色通道包括RGB(Red,Green,Blue)等通道。
所述通道值可以是指所述待检测文本图像在多个颜色通道上的像素信息。
通过结合所述多个通道值能够准确的计算出所述灰度值,进而利用所述灰度值能够直接构建所述灰度图像,提高所述灰度图像的生成效率。
具体地,所述灰度值的计算公式为:
其中,Yi表示第i个图像像素点的灰度值,Ri表示所述待检测文本图像在R颜色通道上与所述第i个图像像素点对应的通道值,Gi表示所述待检测文本图像在G颜色通道上与所述第i个图像像素点对应的通道值,Bi表示所述待检测文本图像在B颜色通道上与所述第i个图像像素点对应的通道值,K1、K2为不为0的常数。
通过上述实施方式,能够准确的计算出每个图像像素点的灰度值,从而提高所述灰度图像的准确性。
定位单元114基于所述文本检测模型定位出所述灰度图像中的文本区域。
在本发明的至少一个实施例中,所述文本区域是指所述待检测文本图像中文本所在的区域位置。
在本发明的至少一个实施例中,所述定位单元114基于所述文本检测模型定位出所述灰度图像中的文本区域的方式与所述调整单元111基于所述目标训练图像调整预设检测网络中的网络参数的方式互为逆过程,本发明对此不再赘述。
切分单元115切分所述文本区域,得到多个目标区域。
在本发明的至少一个实施例中,所述多个目标区域是指从所述文本区域上依照形状尺寸阈值切分所得到的。所述形状尺寸阈值是指与预设形状所对应的尺寸阈值。
在本发明的至少一个实施例中,所述切分单元115切分所述文本区域,得到多个目标区域包括:
基于所述文本区域的区域尺寸识别所述文本区域的区域形状;
若所述区域形状不为预设形状,则在所述灰度图像中扩张所述文本区域,得到测试区域;
获取与所述预设形状对应的形状尺寸阈值;
依据所述形状尺寸阈值对所述测试区域进行切分,得到所述多个目标区域。
其中,为了便于区域切分,以及结合汉语言文字的最小外接图形,所述预设形状通常设定为正方形。
通过在所述灰度图像上对所述文本区域进行扩张处理,不仅能够避免所述文本区域中的文本信息的丢失,还能够将所述灰度图像上的其他特征信息加入所述文本区域中,有利于后续对文本方向的识别,基于与所述预设形状对应的形状尺寸阈值对所述测试区域进行切分,能够确保所述测试区域能够完整的切分,提高了所述多个目标区域的切分便利性。
生成单元116基于所述多个目标区域的旋转角度生成所述待检测文本图像的文本方向。
需要强调的是,为进一步保证上述文本方向的私密和安全性,上述文本方向还可以存储于一区块链的节点中。
在本发明的至少一个实施例中,所述旋转角度是指所述多个目标区域中文本的方向。例如,所述旋转角度可以是顺时针30度。
所述文本方式是指所述待检测文本图像中文本的方向。
在本发明的至少一个实施例中,所述生成单元116基于所述多个目标区域的旋转角度生成所述待检测文本图像的文本方向包括:
基于预先训练完成的角度识别网络并行识别所述多个目标区域,得到多个所述旋转角度;
统计所述多个旋转角度处于每个角度区间的角度数量;
将所述角度数量最大的角度区间所对应的方向确定为所述文本方向。
其中,所述角度识别网络用于识别区域文本中的方向。
所述角度区间可以根据对所述文本方向的精度需求设定,所述文本方向的精度需求较高,可以设定更多的角度区间。例如,所述文本方向的精度需求为误差0.1,则设定10个角度区间;所述文本方向的精度需求为误差0.01,则设定100个角度区间。
通过并行识别所述多个目标区域,能够提高所述多个旋转角度的识别效率,进而通过所述多个旋转角度处于每个角度区间的角度数量识别出所述文本方向,由于同一文档中的文本方向具有共性,因此,通过对所述多个目标区域进行预测,能够提高所述文本方向的准确性。
在本发明的至少一个实施例中,在基于所述多个目标区域的旋转角度生成所述待检测文本图像的文本方向之后,旋转单元117基于所述文本方向对所述文本区域进行旋转,得到校正区域;
所述获取单元112获取所述校正区域的区域像素信息;
提取单元118提取所述区域像素信息的特征信息;
映射单元119基于预设文本映射表对所述特征信息进行映射处理,得到所述待检测文本图像中的目标文本。
其中,所述特征信息包括文本所对应的像素值及文本所对应的像素位置。所述特征信息可以经过多个特征提取层提取得到的,每个特征提取层包括多个卷积核。
所述预设文本映射表中包括多个预设向量与预设词汇的映射关系。
通过对所述文本区域进行方向旋转,能够提高所述校正区域的方向正确性,通过所述特征信息,能够准确的完成信息的映射,提高所述目标文本的准确性。
由以上技术方案可以看出,本申请基于图像增强处理后所得到的目标训练图像对预设检测网络进行调参,由于扩增了图像训练量,以及,调整预设检测网络的目标训练图像术语灰度图,因此能够提高文本检测模型的泛化能力,进一步地,通过对文本区域进行切分,能够避免对文本区域进行压缩而导致文本信息发生弹性形变,从而提高所述文本方向的识别准确性。此外,由于同一文档中具备文字方向一致的现象,因此通过结合所述多个目标区域的旋转角度能够准确的识别出所述文本方向。
如图3所示,是本发明实现文本方向识别方法的较佳实施例的电子设备的结构示意图。
在本发明的一个实施例中,所述电子设备1包括,但不限于,存储器12、处理器13,以及存储在所述存储器12中并可在所述处理器13上运行的计算机可读指令,例如文本方向识别程序。
本领域技术人员可以理解,所述示意图仅仅是电子设备1的示例,并不构成对电子设备1的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述电子设备1还可以包括输入输出设备、网络接入设备、总线等。
所述处理器13可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,所述处理器13是所述电子设备1的运算核心和控制中心,利用各种接口和线路连接整个电子设备1的各个部分,及执行所述电子设备1的操作系统以及安装的各类应用程序、程序代码等。
示例性的,所述计算机可读指令可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器12中,并由所述处理器13执行,以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机可读指令段,该计算机可读指令段用于描述所述计算机可读指令在所述电子设备1中的执行过程。例如,所述计算机可读指令可以被分割成增强单元110、调整单元111、获取单元112、处理单元113、定位单元114、切分单元115、生成单元116、旋转单元117、提取单元118及映射单元119。
所述存储器12可用于存储所述计算机可读指令和/或模块,所述处理器13通过运行或执行存储在所述存储器12内的计算机可读指令和/或模块,以及调用存储在存储器12内的数据,实现所述电子设备1的各种功能。所述存储器12可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据电子设备的使用所创建的数据等。存储器12可以包括非易失性和易失性存储器,例如:硬盘、内存、插接式硬盘,智能存储卡(SmartMedia Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他存储器件。
所述存储器12可以是电子设备1的外部存储器和/或内部存储器。进一步地,所述存储器12可以是具有实物形式的存储器,如内存条、TF卡(Trans-flash Card)等等。
所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机可读指令来指令相关的硬件来完成,所述的计算机可读指令可存储于一计算机可读存储介质中,该计算机可读指令在被处理器执行时,可实现上述各个方法实施例的步骤。
其中,所述计算机可读指令包括计算机可读指令代码,所述计算机可读指令代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机可读指令代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
结合图1,所述电子设备1中的所述存储器12存储计算机可读指令实现一种文本方向识别方法,所述处理器13可执行所述计算机可读指令从而实现:
对获取到的训练灰度图像进行图像增强处理,得到目标训练图像;
基于所述目标训练图像调整预设检测网络中的网络参数,得到文本检测模型;
根据接收到的文本方向识别请求获取待检测文本图像;
对所述待检测文本图像进行灰度化处理,得到灰度图像;
基于所述文本检测模型定位出所述灰度图像中的文本区域;
切分所述文本区域,得到多个目标区域;
基于所述多个目标区域的旋转角度生成所述待检测文本图像的文本方向。
具体地,所述处理器13对上述计算机可读指令的具体实现方法可参考图1对应实施例中相关步骤的描述,在此不赘述。
在本发明所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
所述计算机可读存储介质上存储有计算机可读指令,其中,所述计算机可读指令被处理器13执行时用以实现以下步骤:
对获取到的训练灰度图像进行图像增强处理,得到目标训练图像;
基于所述目标训练图像调整预设检测网络中的网络参数,得到文本检测模型;
根据接收到的文本方向识别请求获取待检测文本图像;
对所述待检测文本图像进行灰度化处理,得到灰度图像;
基于所述文本检测模型定位出所述灰度图像中的文本区域;
切分所述文本区域,得到多个目标区域;
基于所述多个目标区域的旋转角度生成所述待检测文本图像的文本方向。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能模块的形式实现。
因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。所述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一、第二等词语用来表示名称,而并不表示任何特定的顺序。
最后应说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或等同替换,而不脱离本发明技术方案的精神和范围。
Claims (10)
1.一种文本方向识别方法,其特征在于,所述文本方向识别方法包括:
对获取到的训练灰度图像进行图像增强处理,得到目标训练图像;
基于所述目标训练图像调整预设检测网络中的网络参数,得到文本检测模型;
根据接收到的文本方向识别请求获取待检测文本图像;
对所述待检测文本图像进行灰度化处理,得到灰度图像;
基于所述文本检测模型定位出所述灰度图像中的文本区域;
切分所述文本区域,得到多个目标区域;
基于所述多个目标区域的旋转角度生成所述待检测文本图像的文本方向。
2.如权利要求1所述的文本方向识别方法,其特征在于,所述对获取到的训练灰度图像进行图像增强处理,得到目标训练图像包括:
从多个预设应用场景中获取场景文本图像;
对所述场景文本图像进行灰度化处理,得到所述训练灰度图像;
对所述训练灰度图像进行旋转处理,得到初始训练图像;
若所述初始训练图像的图像数量小于预设数量,则从所述初始训练图像中提取任意两张图像,所述任意两张图像包括第一图像及第二图像;
按照预设比例调整所述第一图像中的图像像素值,得到第三图像;
对所述第二图像与所述第三图像进行合成处理,得到所述目标训练图像。
3.如权利要求1所述的文本方向识别方法,其特征在于,所述基于所述目标训练图像调整预设检测网络中的网络参数,得到文本检测模型包括:
获取所述目标训练图像的训练像素信息;
基于所述训练像素信息对所述目标训练图像进行编码处理,得到图像向量;
将所述图像向量输入至所述预设检测网络中的文本位置识别层,得到文本像素位置;
将所述文本像素位置输入至所述预设检测网络中的输出层进行位置连续性分析,得到预测区域位置;
基于所述目标训练图像的标注区域位置与所述预测区域位置的位置差距调整所述网络参数,直至所述位置差距不再降低,得到所述文本检测模型。
4.如权利要求1所述的文本方向识别方法,其特征在于,所述对所述待检测文本图像进行灰度化处理,得到灰度图像包括:
获取所述待检测文本图像在多个颜色通道上的通道值;
基于多个所述通道值计算所述待检测文本图像中每个图像像素点的灰度值;
基于每个图像像素点的灰度值构建所述灰度图像。
5.如权利要求1所述的文本方向识别方法,其特征在于,所述切分所述文本区域,得到多个目标区域包括:
基于所述文本区域的区域尺寸识别所述文本区域的区域形状;
若所述区域形状不为预设形状,则在所述灰度图像中扩张所述文本区域,得到测试区域;
获取与所述预设形状对应的形状尺寸阈值;
依据所述形状尺寸阈值对所述测试区域进行切分,得到所述多个目标区域。
6.如权利要求1所述的文本方向识别方法,其特征在于,所述基于所述多个目标区域的旋转角度生成所述待检测文本图像的文本方向包括:
基于预先训练完成的角度识别网络并行识别所述多个目标区域,得到多个所述旋转角度;
统计所述多个旋转角度处于每个角度区间的角度数量;
将所述角度数量最大的角度区间所对应的方向确定为所述文本方向。
7.如权利要求1所述的文本方向识别方法,其特征在于,在基于所述多个目标区域的旋转角度生成所述待检测文本图像的文本方向之后,所述方法还包括:
基于所述文本方向对所述文本区域进行旋转,得到校正区域;
获取所述校正区域的区域像素信息;
提取所述区域像素信息的特征信息;
基于预设文本映射表对所述特征信息进行映射处理,得到所述待检测文本图像中的目标文本。
8.一种文本方向识别装置,其特征在于,所述文本方向识别装置包括:
增强单元,用于对获取到的训练灰度图像进行图像增强处理,得到目标训练图像;
调整单元,用于基于所述目标训练图像调整预设检测网络中的网络参数,得到文本检测模型;
获取单元,用于根据接收到的文本方向识别请求获取待检测文本图像;
处理单元,用于对所述待检测文本图像进行灰度化处理,得到灰度图像;
定位单元,用于基于所述文本检测模型定位出所述灰度图像中的文本区域;
切分单元,用于切分所述文本区域,得到多个目标区域;
生成单元,用于基于所述多个目标区域的旋转角度生成所述待检测文本图像的文本方向。
9.一种电子设备,其特征在于,所述电子设备包括:
存储器,存储有计算机可读指令;及
处理器,执行所述存储器中存储的计算机可读指令以实现如权利要求1至7中任意一项所述的文本方向识别方法。
10.一种计算机可读存储介质,其特征在于:所述计算机可读存储介质中存储有计算机可读指令,所述计算机可读指令被电子设备中的处理器执行以实现如权利要求1至7中任意一项所述的文本方向识别方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210995415.1A CN115359490A (zh) | 2022-08-18 | 2022-08-18 | 文本方向识别方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210995415.1A CN115359490A (zh) | 2022-08-18 | 2022-08-18 | 文本方向识别方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115359490A true CN115359490A (zh) | 2022-11-18 |
Family
ID=84003191
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210995415.1A Pending CN115359490A (zh) | 2022-08-18 | 2022-08-18 | 文本方向识别方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115359490A (zh) |
-
2022
- 2022-08-18 CN CN202210995415.1A patent/CN115359490A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Wang et al. | Detect globally, refine locally: A novel approach to saliency detection | |
CN110619330A (zh) | 识别模型的训练方法、装置、计算机设备及识别方法 | |
WO2023050650A1 (zh) | 动画视频生成方法、装置、设备及存储介质 | |
CN111414946B (zh) | 基于人工智能的医疗影像的噪声数据识别方法和相关装置 | |
CN110619334B (zh) | 基于深度学习的人像分割方法、架构及相关装置 | |
US20230334893A1 (en) | Method for optimizing human body posture recognition model, device and computer-readable storage medium | |
CN113469092B (zh) | 字符识别模型生成方法、装置、计算机设备和存储介质 | |
CN113689436B (zh) | 图像语义分割方法、装置、设备及存储介质 | |
CN114038004A (zh) | 一种证件信息提取方法、装置、设备及存储介质 | |
CN111783593A (zh) | 基于人工智能的人脸识别方法、装置、电子设备及介质 | |
CN112183542A (zh) | 基于文本图像的识别方法、装置、设备和介质 | |
CN113656547A (zh) | 文本匹配方法、装置、设备及存储介质 | |
CN110610131B (zh) | 人脸运动单元的检测方法、装置、电子设备及存储介质 | |
CN113536770B (zh) | 基于人工智能的文本解析方法、装置、设备及存储介质 | |
CN113705468A (zh) | 基于人工智能的数字图像识别方法及相关设备 | |
CN110070017B (zh) | 一种人脸假眼图像生成方法及装置 | |
CN113627576B (zh) | 扫码信息检测方法、装置、设备及存储介质 | |
CN113012030A (zh) | 图像拼接方法、装置及设备 | |
CN116205723A (zh) | 基于人工智能的面签风险检测方法及相关设备 | |
CN115359490A (zh) | 文本方向识别方法、装置、设备及存储介质 | |
CN112084874B (zh) | 一种物体检测方法、装置及终端设备 | |
CN113592881A (zh) | 图片指代性分割方法、装置、计算机设备和存储介质 | |
CN113486848A (zh) | 文档表格识别方法、装置、设备及存储介质 | |
CN112733670A (zh) | 指纹特征提取方法、装置、电子设备及存储介质 | |
CN112200774A (zh) | 图像识别设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |