CN112308036A - 票据识别方法、装置及可读存储介质 - Google Patents
票据识别方法、装置及可读存储介质 Download PDFInfo
- Publication number
- CN112308036A CN112308036A CN202011338701.8A CN202011338701A CN112308036A CN 112308036 A CN112308036 A CN 112308036A CN 202011338701 A CN202011338701 A CN 202011338701A CN 112308036 A CN112308036 A CN 112308036A
- Authority
- CN
- China
- Prior art keywords
- image
- bill
- original image
- document
- length
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 71
- 238000003860 storage Methods 0.000 title claims abstract description 21
- 238000012545 processing Methods 0.000 claims abstract description 30
- 238000002372 labelling Methods 0.000 claims abstract description 12
- 238000012937 correction Methods 0.000 claims description 29
- 238000007781 pre-processing Methods 0.000 claims description 27
- 238000004590 computer program Methods 0.000 claims description 19
- 238000012805 post-processing Methods 0.000 claims description 17
- 238000009966 trimming Methods 0.000 claims description 12
- 238000003702 image correction Methods 0.000 claims description 8
- 230000001502 supplementing effect Effects 0.000 claims description 6
- 230000002829 reductive effect Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 238000003708 edge detection Methods 0.000 description 7
- 230000011218 segmentation Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 3
- 230000000717 retained effect Effects 0.000 description 3
- 230000002411 adverse Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/32—Normalisation of the pattern dimensions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/148—Segmentation of character regions
- G06V30/153—Segmentation of character regions using recognition of characters or words
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Image Analysis (AREA)
- Editing Of Facsimile Originals (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种票据识别方法、装置及可读存储介质,包括:将包含有票据的原始图像在第一方向上的长度缩放至预设的第一节点尺寸后,将缩放后的所述原始图像在第二方向上的长度补齐至预设的第二节点尺寸,其中,所述第一方向垂直于所述第二方向,且所述原始图像在第一方向上的长度不小于在第二方向上的长度;而后,获取所述票据的标注框,并将所述票据的标注框按预设比例放大;最后,基于所述票据放大后的标注框,分割出所述票据的图像,并输出。如此,便使得图像不会发生变形的同时,通过将各种尺寸的原始票据图片统一到预设尺寸而提高了后续处理的速度,另外通过对标注框放大,避免了票据边缘区域丢失,故而降低了对图片中票据进行识别的难度。
Description
技术领域
本发明涉及人工智能技术领域,特别涉及一种票据识别方法、票据识别装置及可读存储介质。
背景技术
随着经济的不断发展,人们消费水平的不断提高,为了维护人们的消费权益,票据成为了消费者的有力保障以及有效的报销凭证,因此财务人员每天需要处理大量的票据。同时也有越来越多的人通过记账分类统计以掌握自身的消费情况。
近年来,票据识别技术不断发展,但是对图片上票据的准确识别仍然有一定难度,尤其针对一张图片上分布有多张票据的场景时,即一张图片中包括多张票据的场景时,对该图片中的多张票据的识别具有一定难度。
发明内容
本发明的目的在于提供一种票据识别方法、票据识别装置及可读存储介质,以解决票据识别困难的问题。
为解决上述技术问题,本发明提供一种票据识别方法,包括:
对包含有票据的原始图像进行预处理,所述预处理包括:将所述原始图像在第一方向上的长度缩放至预设的第一节点尺寸后,将缩放后的所述原始图像在第二方向上的长度补齐至预设的第二节点尺寸,其中,所述第一方向垂直于所述第二方向,且所述原始图像在第一方向上的长度不小于在第二方向上的长度;
获取所述票据的标注框,并将所述票据的标注框按预设比例放大;
基于所述票据放大后的标注框,分割出所述票据的图像,并输出。
可选的,在所述的票据识别方法中,所述票据识别方法还包括:
预设多个所述第一节点尺寸和多个所述第二节点尺寸,所述第一节点尺寸和所述第二节点尺寸一一对应;在进行所述原始图像的缩放时,将所述原始图像在第一方向上的长度缩放至数值最接近的所述第一节点尺寸;以及,
将缩放后的所述原始图像在第二方向上的长度补齐至与进行缩放的所述第一节点尺寸相对应的所述第二节点尺寸。
可选的,在所述的票据识别方法中,所述第一节点尺寸和所述第二节点尺寸相同。
可选的,在所述的票据识别方法中,将缩放后的所述原始图像在第二方向上的长度补齐至预设的第二节点尺寸的方法包括:
沿第二方向在缩放后的所述原始图像的侧边补充空白区域。
可选的,在所述的票据识别方法中,获取所述票据的标注框的方法包括:
获取所述票据的位置区域信息;以及,
基于所述票据的位置区域信息,获取所述票据的标注框。
可选的,在所述的票据识别方法中,在输出所述票据的图像之前,所述票据识别方法还包括:
对所述票据的图像的方向进行调整,使得所述票据上字符的朝向为预设方向。
可选的,在所述的票据识别方法中,在获取所述票据的图像后,所述票据识别方法还包括:
识别所述票据的边缘;以及,
基于识别结果,对所述票据的图像进行切边处理。
可选的,在所述的票据识别方法中,在获取所述票据的图像后,所述票据识别方法还包括:
对所述票据的图像内容进行校正,所述校正包括全局校正和局部校正。
本发明还提供一种票据识别装置,包括:
图像预处理模块,用于对包含有票据的原始图像进行预处理,所述预处理包括:将所述原始图像在第一方向上的长度缩放至预设的第一节点尺寸后,将缩放后的所述原始图像在第二方向上的长度补齐至预设的第二节点尺寸,其中,所述第一方向垂直于所述第二方向,且所述原始图像在第一方向上的长度不小于在第二方向上的长度;
标注框获取与调整模块,用于获取所述票据的标注框,并将所述票据的标注框按预设比例放大;
图像后处理模块,用于基于所述票据放大后的标注框,分割出所述票据的图像,并输出。
可选的,在所述的票据识别装置中,所述票据识别装置还包括节点尺寸设置模块,所述节点尺寸设置模块用于预设多个所述第一节点尺寸和多个所述第二节点尺寸,所述第一节点尺寸和所述第二节点尺寸一一对应;
所述图像预处理模块在进行所述原始图像的缩放时,将所述原始图像在第一方向上的长度缩放至数值最接近的所述第一节点尺寸;以及,将缩放后的所述原始图像在第二方向上的长度补齐至与进行缩放的所述第一节点尺寸相对应的所述第二节点尺寸。
可选的,在所述的票据识别装置中,所述第一节点尺寸和所述第二节点尺寸相同。
可选的,在所述的票据识别装置中,所述图像预处理将缩放后的所述原始图像在第二方向上的长度补齐至预设的第二节点尺寸的方法包括:沿第二方向在缩放后的所述原始图像的侧边补充空白区域。
可选的,在所述的票据识别装置中,所述图像后处理模块包括图像分割模块和图像输出模块,所述图像分割模块用于基于所述票据放大后的标注框,分割出所述票据的图像,所述图像输出模块用于将分割出的所述票据的图像输出。
可选的,在所述的票据识别装置中,所述图像后处理模块还包括方向调整模块,所述方向调整模块用于将所述票据的图像的方向进行调整,使得所述票据上字符的朝向为预设方向。
可选的,在所述的票据识别装置中,所述图像后处理模块还包括边缘处理模块,所述边缘处理模块用于识别所述票据的边缘,以及基于识别结果,对所述票据的图像进行切边处理。
可选的,在所述的票据识别装置中,所述图像后处理模块还包括图像校正模块,所述图像校正模块用于对所述票据的图像内容进行校正,所述校正包括全局校正和局部校正。
本发明还提供一种可读存储介质,其特征在于,所述可读存储介质存储有计算机程序,所述计算机程序被执行时,实现如上所述的票据识别方法。
综上所述,本发明提供的票据识别的方法、票据识别装置及可读存储介质,首先,对包含有票据的原始图像进行预处理,所述预处理包括:将所述原始图像在第一方向上的长度缩放至预设的第一节点尺寸后,将缩放后的所述原始图像在第二方向上的长度补齐至预设的第二节点尺寸,其中,所述第一方向垂直于所述第二方向,且所述原始图像在第一方向上的长度不小于在第二方向上的长度;即,通过将包含票据的原始图像调整至预设尺寸后,再进行后续分割,且在进行分割之前,将各票据的标注框按预设比例放大,如此,便通过将各种尺寸的原始票据图片统一到预设尺寸提高了后续处理的速度,且所采用的图像尺寸调整方式不会带来图像变形的困扰,另外通过对标注框进行放大,避免了票据的边缘区域丢失,因此,降低了对图片中票据进行识别的难度。
附图说明
图1为本发明实施例提供的票据识别方法的流程图;
图2为本发明实施例提供的一种示例性的包含多票据的原始图像的示意图;
图3为本发明实施例中对原始图像进行尺寸调整的示意图;
图4为本发明实施例中形成各票据的标注框的示意图;
图5为本发明实施例中对各标注框进行放大的示意图;
图6为本发明实施例中切割形成的一票据的图像的示意图;
图7为本发明实施例中对票据的图像进行切边处理的示意图;
图8为本发明实施例提供的票据识别装置的组成框图;
其中,各附图标记说明如下:
P1、P2、P3、P4-票据;A1、A2-空白区域;Z1、Z2、Z3、Z4-标注框;Z1'、Z2'、Z3'、Z4'-文本框;
10-图像预处理模块;20-标注框获取与调整模块;30-图像后处理模块;301-分割模块;302-图像输出模块;303-方向调整模块;304-边缘处理模块;305-图像校正模块。
具体实施方式
以下结合附图和具体实施例对本发明提出的票据识别方法、票据识别装置及可读存储介质作进一步详细说明。根据下面说明,本发明的优点和特征将更清楚。需说明的是,附图均采用非常简化的形式且均使用非精准的比例,仅用以方便、明晰地辅助说明本发明实施例的目的。此外,附图所展示的结构往往是实际结构的一部分。特别的,各附图需要展示的侧重点不同,有时会采用不同的比例。
除非另外定义,本发明使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本发明中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性,而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同,而不排除其他元件或者物件。
为解决现有技术的问题,本发明实施例提供了一种票据识别方法、票据识别装置及可读存储介质。
需要说明的是,本发明实施例的题目搜索方法可应用于本发明实施例的题目搜索装置,该题目搜索装置可被配置于电子设备上。其中,该电子设备可以是个人计算机、移动终端等,该移动终端可以是手机、平板电脑等具有各种操作系统的硬件设备。
如图1所示,本实施例提供一种票据识别方法,所述票据识别方法包括如下步骤:
S11,对包含有票据的原始图像进行预处理,所述预处理包括:将所述原始图像在第一方向上的长度缩放至预设的第一节点尺寸后,将缩放后的所述原始图像在第二方向上的长度补齐至预设的第二节点尺寸,其中,所述第一方向垂直于所述第二方向,且所述原始图像在第一方向上的长度不小于在第二方向上的长度;
S12,获取所述票据的标注框,并将所述票据的标注框按预设比例放大;
S13,基于所述票据放大后的标注框,分割出所述票据的图像,并输出。
本实施例提供的所述票据识别方法,通过将包含票据的原始图像调整至预设尺寸后,再进行后续分割,且在进行分割之前,将票据的标注框按预设比例放大,如此,便通过将各种尺寸的原始票据图片统一到预设尺寸提高了后续处理的速度,且所采用的图像尺寸调整方式不会带来图像变形的困扰,另外通过对标注框进行放大,避免了票据的边缘区域丢失,因此,降低了对图片中多张票据进行识别的难度。
以下对上述各步骤进一步详细描述。
步骤S11中,较佳的,预设多个所述第一节点尺寸和多个所述第二节点尺寸,所述第一节点尺寸和所述第二节点尺寸一一对应;在进行所述原始图像的缩放时,将所述原始图像在第一方向上的长度缩放至数值最接近的所述第一节点尺寸;以及,将缩放后的所述原始图像在第二方向上的长度补齐至与进行缩放的所述第一节点尺寸相对应的所述第二节点尺寸。进一步较佳的,所述第一节点尺寸和相对应的所述第二节点尺寸相同。在通过对所述原始图像进行缩放,以及进行空白区域的补充之后,图像未发生变形,而因所获得的图像呈与预设尺寸一致,使得在进行后续处理(例如下文所述票据区域识别模型获取各票据的位置信息)时,处理速度显著提高,而通过将所述第一节点尺寸和所述第二节点尺寸设置为相同,使得图像呈方形,可进一步提高模型处理速度。
例如,设置多个节点尺寸分别为800X800,1600X1600……(也可以为其他尺寸),先判断原始图片的在第一方向上的长度接近于哪个节点尺寸,例如原始图像在第一方向上的长度为600或者1000的,缩放到800,原始图像在第一方向上的长度为1400或者1800的,缩放到1600。
当用户进行图片拍摄之后,若最终输出的票据的图像与拍摄时所看到的图像差别过大,则会给用户带来不好的使用感受,本实施通过多节点尺寸的设置,使得对原始图像的尺寸调整幅度尽可能小,从而使得最终输出的票据的图像大小与原始图像中尽可能保持一致,因此,可以始终保证用户较佳的使用感受。
应当理解,步骤S11中,对原始图像进行缩放,是指对原始图像的整体进行缩放,不仅仅是对第一方向上的长度的调整,第二方向的长度上也随第一方向的长度调整而调整,如此,才能保证图像不发生变形。
需要说明的是,若原始图像的第一方向上的长度与预设的第一节点尺寸相同,则可不进行缩放,而直接将第二方向上的长度补齐至与相对应的第二节点尺寸,例如,若所述原始图像在第一方向上的长度为800,则不进行缩放,而是直接将所述原始图像在第二方向上的长度补齐至800。
需要说明的是,若原始图像的第一方向上的长度与第二方向上的长度相同,且预设的第一节点尺寸和第二节点尺寸相同,则将原始图像的第一方向上的长度缩放至与预设的第一节点尺寸后,无需再进行第二方向上的长度的补齐。例如,若所述原始图像为1000X1000,则将所述原始图像的第一方向上的长度缩放至800后,其第二方向上的长度也变至800,故而无需再进行补齐。
步骤S11中,可沿第二方向在缩放后的所述原始图像的侧边补充空白区域,来将缩放后的所述原始图像在第二方向上的长度补齐至预设的第二节点尺寸
图2所示为本实施例提供的一种示例性的包含四张票据的原始图像,包含的票据分别为:票据P1、票据P2、票据P3和票据P4。由于所述原始图像在第一方向上的长度大于或等于在第二方向上的长度,因此,对于图所示的原始图像而言,第一方向可以理解为图2中所示的X向,第二方向可以理解为图2中所示的Y向。
如图3所示,本实施例中,通过沿第二方向在所述原始图像的两侧边均补充空白区域A1和A2来将缩放后的所述原始图像在第二方向上的长度补齐至与第一方向上的长度相同,且较佳的,两侧边补充空白区域A1和A2的面积相等。在另外一些实施例中,也可沿第二方向在所述原始图像的其中一侧边补充空白区域,当在所述原始图像的其中一侧边补充空白区域时,所补充空白区域的面积与在两侧边补充的空白区域的面积之和相等。在另外一些实施例中,所补充的区域还可为填充有图像的区域,例如网格线区域等等。
步骤S12中,可通过获取所述票据的位置区域信息来获取所述票据的标注框。具体的,获取所述票据的标注框的方法可包括:获取所述票据的位置区域信息,以及,基于所述票据的位置区域信息,获取所述票据的标注框。对于图2所示的所述原始图像而言,通过步骤S12,获取的各所述票据的标柱框如图4所示。其中,票据P1的文本框为Z1,票据P2的文本框为Z2,票据P3的文本框为Z3,票据P4的文本框为Z4。
其中,可采用票据区域识别模型来获取各所述票据的位置区域信息。所述票据区域识别模型可采用机器学习技术并且例如运行在通用计算装置或专用计算装置上。例如,所述票据区域识别模型可以采用深度卷积神经网络(DEEP-CNN)等神经网络实现。在一些实施例中,将图像输入至所述票据区域识别模型,所述票据区域识别模型可以识别出输入图像中的各票据的边界,然后将识别的各边界标注出来,从而以获得各所述票据的标注框。
在获取各票据的标注框后,如图5所示,按预设比例对各票据的标注框进行放大,通过各票据的标注框放大,可避免票据边缘部分的区域丢失,放大标注框后,可以保证票据的全部区域包含在标注框内。应当可以理解,这里所述对各票据的标注框进行放大,是指将标注框沿四周进行放大。
在一些实施例中,将各所述票据标注框按5%放大,在另外一些实施例中,还可按3%、7%、9%等放大。此外,还可针对不同大小的票据,匹配不同的放大比例,例如对于小票据,其标注框可按2%放大,对于大票据,其标注框可按6%放大等等。
步骤S13中,基于步骤S12中对文本框Z1放大后的文本框Z1',对文本框Z2放大后的文本框Z2',对文本框Z3放大后的文本框Z3',对文本框Z4放大后的文本框Z4',对所有所述票据进行分割,分割得到票据P1的图像如图6所示,除了该票据本身,还包括票据P2的部分图像,该部分图像,对于票据P1而言,为冗余图像。
有鉴于此,较佳的,在获取各所述票据的图像之后,识别各所述票据的边缘;以及,基于识别结果,对各所述票据的图像进行切边处理。切边处理得到的票据P1的图像如图7所示,从图7中可以看出,通过切边处理,冗余图像被切除。
本实施例中,在识别任一所述票据的边缘时,采用如下方法:
对所述票据的图像进行处理,以得到所述票据的图像中灰度轮廓的线条图;
将所述线条图的中多条线条进行合并处理,以得到多条参考边界线;
通过边界区域模型识别所述票据图像的边界区域,其中,所述边界区域模型与所述票据区域识别模型可采用同一模型;
计算各所述参考边界线属于所述边界区域的像素点的个数,并根据多个所述参考边界线、多个所述参考边界线属于所述边界区域的像素点的个数以及所述边界区域,确认所述票据的边缘。
其中,可通过边缘检测算法对票据的图像进行处理,以获得灰度轮廓的线条图。例如,可以通过基于OpenCV的边缘检测算法对图像进行处理,以获得图像中灰度轮廓的线条图。OpenCV为一种开源计算机视觉库,基于OpenCV的边缘检测算法包括Sobel、Scarry、Canny、Laplacian、Prewitt、Marr-Hildresh、scharr等多种算法。例如,本实施例中采用Canny边缘检测算法,Canny边缘检测算法是一个多阶段的算法,即Canny边缘检测算法由多个步骤构成,例如,Canny边缘检测算法包括:1、图像降噪:用高斯滤波器平滑图像;2、计算图像梯度:用一阶偏导有限差分计算梯度幅值和方向;3、非极大值抑制:对梯度幅值进行非极大值抑制;4、阈值筛选:用双阈值算法检测和连接边缘。
这里需要说明的是,在另外一些实施例中,还可采用本领域技术人员所熟知的其它边缘识别方法,具体边缘识别方法的选择不构成对于本申请的限制。
步骤S13中,进一步较佳的,在获取各所述票据的图像之后,对各所述票据的图像内容进行校正,所述校正包括对全局校正和局部校正。本实施例中,为减小校正的范围,该校正步骤可在切边处理后执行,在另外一些实施例中,该校正步骤也可在切边处理前执行。
在将纸质文件转换为文本图像的过程中,可能导致文本图像倾斜等情况,这种倾斜则会对文本图像的分析(例如,文字识别等)等处理产生不利的影响。因此,本实施例通过对各所述票据的图像内容进行校正,从而以避免文本图像倾斜给方本图像的分析处理产生不利的影响。
本实施例中,对于任一票据的图像内容,可采用如下步骤进行校正:对票据的图像进行全局校正处理,以得到中间校正图像;对所述中间校正图像进行局部调整,以得到目标校正图像;其中,对所述中间校正图像进行局部调整,以得到目标校正图像,包括:
根据所述中间校正图像,确定与所述票据的图像的M个字符行对应的M个字符行下边界;基于所述中间校正图像和所述M个字符行下边界,确定局部调整基准线和M个保留系数组,其中,所述M个保留系数组中的每个保留系数组包括多个保留系数;根据所述M个字符行下边界、所述局部调整基准线和所述保留系数组,确定与所述M个字符行对应的M个局部调整偏移量组,其中,所述M个局部调整偏移量组中的每个局部调整偏移量组包括多个局部调整偏移量;根据所述M个局部调整偏移量组对所述中间校正图像中的所述M个字符行进行局部调整,以得到所述目标校正图像。
在另外一些实施例中,还可采用本领域技术人员所熟知的其他方法对各所述票据的图像内容进行校正,在此不再赘述。
另外,在进行贴票时,可能会存在各票据摆放方向不同(有的正着贴,有的倒着贴或者横着贴)的现象,当字符横着或倒着时,不利于统计观察。有鉴于此,本实施例中,较佳的,在输出任一所述票据的图像之前,所述票据识别方法还包括:对所述票据的图像的方向进行调整,使得所述票据上字符的朝向为预设方向。较佳的,所述预设方向为平面坐标系中的正Y方向,以便于后续识别。
基于同一思想,本实施例还提供一种票据识别装置,如图8所示,所述票据识别装置包括:
图像预处理模块10,用于对包含有票据的原始图像进行预处理,所述预处理包括:将所述原始图像在第一方向上的长度缩放至预设的第一节点尺寸后,将缩放后的所述原始图像在第二方向上的长度补齐至预设的第二节点尺寸,其中,所述第一方向垂直于所述第二方向,且所述原始图像在第一方向上的长度不小于在第二方向上的长度;
标注框获取与调整模块20,用于获取所述票据的标注框,并将所述票据的标注框按预设比例放大;
图像后处理模块30,用于基于所述票据放大后的标注框,分割出所述票据的图像,并输出。
其中,所述票据识别装置还包括节点尺寸设置模块(图中未示出),所述节点尺寸设置模块用于所述第一节点尺寸和所述第二节点尺寸的设置,较佳的,用于预设多个所述第一节点尺寸和多个所述第二节点尺寸,所述第一节点尺寸和所述第二节点尺寸一一对应。所述图像预处理模块10在进行所述原始图像的缩放时,将所述原始图像在第一方向上的长度缩放至数值最接近的所述第一节点尺寸;以及,将缩放后的所述原始图像在第二方向上的长度补齐至与进行缩放的所述第一节点尺寸相对应的所述第二节点尺寸。所述图像预处理模块10将缩放后的所述原始图像在第二方向上的长度补齐至预设的第二节点尺寸的方法包括:沿第二方向在缩放后的所述原始图像的侧边补充空白区域。
对于所述图像后处理模块30,具体的,包括分割模块301和图像输出模块302,所述图像分割模块301用于基于所述票据放大后的标注框,分割出所述票据的图像,所述图像输出模块302用于将分割出的所述票据的图像输出。
较佳的,所述图像后处理模块30还包括:方向调整模块303,所述方向调整模块303用于将所述票据的图像的方向进行调整,使得所述票据上字符的朝向为预设方向。较佳的,所述预设方向为平面坐标系中的正Y方向,以便于后续识别。
进一步的,所述票据识别装置还可包括边缘处理模块304,所述边缘处理模块304用于识别所述票据的边缘,以及基于识别结果,对所述票据的图像进行切边处理。
进一步的,所述票据识别装置还可包括图像校正模块305;所述图像校正模块305用于对所述票据的图像内容进行校正,所述校正包括全局校正和局部校正。其中,所述图像校正模块305对所述票据的图像内容的校正,可以在所述边缘处理模块304对所述票据的图像进行切边处理之后进行,也在所述边缘处理模块304对所述票据的图像进行切边处理之前进行。
需要说明的是,本实施例提供的所述票据识别装置中的各模块分别用于实现本实施提供的所述票据识别方法的各步骤,因此,各模块能够实现的功能的具体说明可以参考上述所述票据识别方法的相应步骤的相关描述,重复之处不再赘述。此外,所述票据识别装置可以实现与上述所述票据识别方法相同的技术效果,在此亦不再赘述。
可以理解的是,所述的票据识别装置,图像预处理模块10、标注框获取与调整模块20以及图像后处理模块30可以合并在一个装置中实现,或者其中的任意一个模块可以被拆分成多个子模块,或者,所述的票据识别装置,图像预处理模块10、标注框获取与调整模块20以及图像后处理模块30中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合,并在一个功能模块中实现。根据本发明的实施例,所述的票据识别装置,统计分析模块11以及标定模块12中的至少一个可以至少被部分地实现为硬件电路,例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC),或可以以对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现,或以软件、硬件以及固件三种实现方式的适当组合来实现。或者,所述的票据识别装置,图像预处理模块10、标注框获取与调整模块20以及图像后处理模块30中的至少一个可以至少被部分地实现为计算机程序模块,当该程序被计算机运行时,可以执行相应模块的功能。
另外,本实施例还提供一种可读存储介质,所述可读存储介质存储有计算机程序,所述计算机程序被执行时,实现本实施例所述的票据识别方法。
所述可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备,例如可以是但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。可读存储介质的更具体的例子(非穷举的列表)包括:便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备以及上述的任意合适的组合。这里所描述的计算机程序可以从可读存储介质下载到各个计算/处理设备,或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收所述计算机程序,并转发该计算机程序,以供存储在各个计算/处理设备中的可读存储介质中。用于执行本发明操作的计算机程序可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码,所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等,以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。所述计算机程序可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中,通过利用计算机程序的状态信息来个性化定制电子电路,例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA),该电子电路可以执行计算机可读程序指令,从而实现本发明的各个方面。
这里参照根据本发明实施例的方法、系统和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解,流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合,都可以由计算机程序实现。这些计算机程序可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器,从而生产出一种机器,使得这些程序在通过计算机或其它可编程数据处理装置的处理器执行时,产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机程序存储在可读存储介质中,这些计算机程序使得计算机、可编程数据处理装置和/或其他设备以特定方式工作,从而,存储有该计算机程序的可读存储介质则包括一个制造品,其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机程序加载到计算机、其它可编程数据处理装置、或其它设备上,使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的计算机程序实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
综上所述,本发明提供的票据识别的方法、票据识别装置及可读存储介质,首先,对对包含有票据的原始图像进行预处理,所述预处理包括:将所述原始图像在第一方向上的长度缩放至预设的第一节点尺寸后,将缩放后的所述原始图像在第二方向上的长度补齐至预设的第二节点尺寸,其中,所述第一方向垂直于所述第二方向,且所述原始图像在第一方向上的长度不小于在第二方向上的长度;而后,获取各所述票据的标注框,并将各所述票据的标注框按预设比例放大;最后,基于各所述票据放大后的标注框,对所有所述票据进行分割,以获取各所述票据的图像,并输出。即,通过将包含多个票据的原始图像调整呈方形后,再进行后续分割,且在进行分割之前,将各票据的标注框按预设比例放大,如此,便通过将各种尺寸的原始票据图片统一到相同的尺寸提高了后续处理的速度,且所采用的图像尺寸调整方式不会带来图像变形的困扰,另外通过对标注框进行放大,避免了票据的边缘区域丢失,因此,降低了对图片中多张票据进行识别的难度。
上述描述仅是对本发明较佳实施例的描述,并非对本发明范围的任何限定,本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰,均属于权利要求书的保护范围。
Claims (17)
1.一种票据识别方法,其特征在于,包括:
对包含有票据的原始图像进行预处理,所述预处理包括:将所述原始图像在第一方向上的长度缩放至预设的第一节点尺寸后,将缩放后的所述原始图像在第二方向上的长度补齐至预设的第二节点尺寸,其中,所述第一方向垂直于所述第二方向,且所述原始图像在第一方向上的长度不小于在第二方向上的长度;
获取所述票据的标注框,并将所述票据的标注框按预设比例放大;
基于所述票据放大后的标注框,分割出所述票据的图像,并输出。
2.如权利要求1所述的票据识别方法,其特征在于,所述票据识别方法还包括:
预设多个所述第一节点尺寸和多个所述第二节点尺寸,所述第一节点尺寸和所述第二节点尺寸一一对应;在进行所述原始图像的缩放时,将所述原始图像在第一方向上的长度缩放至数值最接近的所述第一节点尺寸;以及,
将缩放后的所述原始图像在第二方向上的长度补齐至与进行缩放的所述第一节点尺寸相对应的所述第二节点尺寸。
3.如权利要求1所述的票据识别方法,其特征在于,所述第一节点尺寸和所述第二节点尺寸相同。
4.如权利要求1所述的票据识别方法,其特征在于,将缩放后的所述原始图像在第二方向上的长度补齐至预设的第二节点尺寸的方法包括:
沿第二方向在缩放后的所述原始图像的侧边补充空白区域。
5.如权利要求1所述的票据识别方法,其特征在于,获取所述票据的标注框的方法包括:
获取所述票据的位置区域信息;以及,
基于所述票据的位置区域信息,获取所述票据的标注框。
6.如权利要求1所述的票据识别方法,其特征在于,在输出所述票据的图像之前,所述票据识别方法还包括:
对所述票据的图像的方向进行调整,使得所述票据上字符的朝向为预设方向。
7.如权利要求1所述的票据识别方法,其特征在于,在获取所述票据的图像后,所述票据识别方法还包括:
识别所述票据的边缘;以及,
基于识别结果,对所述票据的图像进行切边处理。
8.如权利要求1所述的票据识别方法,其特征在于,在获取所述票据的图像后,所述票据识别方法还包括:
对所述票据的图像内容进行校正,所述校正包括全局校正和局部校正。
9.一种票据识别装置,其特征在于,包括:
图像预处理模块,用于对包含有票据的原始图像进行预处理,所述预处理包括:将所述原始图像在第一方向上的长度缩放至预设的第一节点尺寸后,将缩放后的所述原始图像在第二方向上的长度补齐至预设的第二节点尺寸,其中,所述第一方向垂直于所述第二方向,且所述原始图像在第一方向上的长度不小于在第二方向上的长度;
标注框获取与调整模块,用于获取所述票据的标注框,并将所述票据的标注框按预设比例放大;
图像后处理模块,用于基于所述票据放大后的标注框,分割出所述票据的图像,并输出。
10.如权利要求9所述的票据识别装置,其特征在于,所述票据识别装置还包括节点尺寸设置模块,所述节点尺寸设置模块用于预设多个所述第一节点尺寸和多个所述第二节点尺寸,所述第一节点尺寸和所述第二节点尺寸一一对应;
所述图像预处理模块在进行所述原始图像的缩放时,将所述原始图像在第一方向上的长度缩放至数值最接近的所述第一节点尺寸;以及,将缩放后的所述原始图像在第二方向上的长度补齐至与进行缩放的所述第一节点尺寸相对应的所述第二节点尺寸。
11.如权利要求9所述的票据识别装置,其特征在于,所述第一节点尺寸和所述第二节点尺寸相同。
12.如权利要求9所述的票据识别装置,其特征在于,所述图像预处理将缩放后的所述原始图像在第二方向上的长度补齐至预设的第二节点尺寸的方法包括:沿第二方向在缩放后的所述原始图像的侧边补充空白区域。
13.如权利要求9所述的票据识别装置,其特征在于,所述图像后处理模块包括图像分割模块和图像输出模块,所述图像分割模块用于基于所述票据放大后的标注框,分割出所述票据的图像,所述图像输出模块用于将分割出的所述票据的图像输出。
14.如权利要13所述的票据识别装置,其特征在于,所述图像后处理模块还包括方向调整模块,所述方向调整模块用于将所述票据的图像的方向进行调整,使得所述票据上字符的朝向为预设方向。
15.如权利要求13所述的票据识别装置,其特征在于,所述图像后处理模块还包括边缘处理模块,所述边缘处理模块用于识别所述票据的边缘,以及基于识别结果,对所述票据的图像进行切边处理。
16.如权利要求13所述的票据识别方法,其特征在于,所述图像后处理模块还包括图像校正模块,所述图像校正模块用于对所述票据的图像内容进行校正,所述校正包括全局校正和局部校正。
17.一种可读存储介质,其特征在于,所述可读存储介质存储有计算机程序,所述计算机程序被执行时,实现如权利要求1~8任一项所述的票据识别方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011338701.8A CN112308036A (zh) | 2020-11-25 | 2020-11-25 | 票据识别方法、装置及可读存储介质 |
PCT/CN2021/132930 WO2022111549A1 (zh) | 2020-11-25 | 2021-11-24 | 票据识别方法、装置及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011338701.8A CN112308036A (zh) | 2020-11-25 | 2020-11-25 | 票据识别方法、装置及可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112308036A true CN112308036A (zh) | 2021-02-02 |
Family
ID=74335645
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011338701.8A Pending CN112308036A (zh) | 2020-11-25 | 2020-11-25 | 票据识别方法、装置及可读存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN112308036A (zh) |
WO (1) | WO2022111549A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022111549A1 (zh) * | 2020-11-25 | 2022-06-02 | 杭州睿胜软件有限公司 | 票据识别方法、装置及可读存储介质 |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016155382A1 (zh) * | 2015-03-31 | 2016-10-06 | 百度在线网络技术(北京)有限公司 | 生成马赛克图像的方法和装置 |
CN109063085A (zh) * | 2018-07-26 | 2018-12-21 | 阿里巴巴集团控股有限公司 | 缩略图生成方法和装置 |
CN109740548A (zh) * | 2019-01-08 | 2019-05-10 | 北京易道博识科技有限公司 | 一种报销票据图像分割方法及系统 |
CN109948510A (zh) * | 2019-03-14 | 2019-06-28 | 北京易道博识科技有限公司 | 一种文档图像实例分割方法及装置 |
CN110428414A (zh) * | 2019-08-02 | 2019-11-08 | 杭州睿琪软件有限公司 | 一种识别图像中票据数量的方法及装置 |
CN110427932A (zh) * | 2019-08-02 | 2019-11-08 | 杭州睿琪软件有限公司 | 一种识别图像中多个票据区域的方法及装置 |
CN110443239A (zh) * | 2019-06-28 | 2019-11-12 | 平安科技(深圳)有限公司 | 文字图像的识别方法及其装置 |
CN110457973A (zh) * | 2018-05-07 | 2019-11-15 | 北京中海汇银财税服务有限公司 | 一种票据识别的方法及系统 |
CN110490193A (zh) * | 2019-07-24 | 2019-11-22 | 西安网算数据科技有限公司 | 单个字符区域检测方法及票据内容识别方法 |
US20200005122A1 (en) * | 2018-06-27 | 2020-01-02 | International Business Machines Corporation | Multiscale feature representations for object recognition and detection |
CN110751143A (zh) * | 2019-09-26 | 2020-02-04 | 中电万维信息技术有限责任公司 | 一种电子发票信息的提取方法及电子设备 |
CN111476109A (zh) * | 2020-03-18 | 2020-07-31 | 深圳中兴网信科技有限公司 | 票据处理方法、票据处理装置和计算机可读存储介质 |
CN111931664A (zh) * | 2020-08-12 | 2020-11-13 | 腾讯科技(深圳)有限公司 | 混贴票据图像的处理方法、装置、计算机设备及存储介质 |
WO2022111549A1 (zh) * | 2020-11-25 | 2022-06-02 | 杭州睿胜软件有限公司 | 票据识别方法、装置及可读存储介质 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060045321A1 (en) * | 2004-08-24 | 2006-03-02 | Chen-Yu Enterprises Llc | Bank check and method for positioning and interpreting a digital check within a defined region |
CN107798299B (zh) * | 2017-10-09 | 2020-02-07 | 平安科技(深圳)有限公司 | 票据信息识别方法、电子装置及可读存储介质 |
CN111739024B (zh) * | 2020-08-28 | 2020-11-24 | 安翰科技(武汉)股份有限公司 | 图像识别方法、电子设备及可读存储介质 |
-
2020
- 2020-11-25 CN CN202011338701.8A patent/CN112308036A/zh active Pending
-
2021
- 2021-11-24 WO PCT/CN2021/132930 patent/WO2022111549A1/zh active Application Filing
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016155382A1 (zh) * | 2015-03-31 | 2016-10-06 | 百度在线网络技术(北京)有限公司 | 生成马赛克图像的方法和装置 |
CN110457973A (zh) * | 2018-05-07 | 2019-11-15 | 北京中海汇银财税服务有限公司 | 一种票据识别的方法及系统 |
US20200005122A1 (en) * | 2018-06-27 | 2020-01-02 | International Business Machines Corporation | Multiscale feature representations for object recognition and detection |
CN109063085A (zh) * | 2018-07-26 | 2018-12-21 | 阿里巴巴集团控股有限公司 | 缩略图生成方法和装置 |
CN109740548A (zh) * | 2019-01-08 | 2019-05-10 | 北京易道博识科技有限公司 | 一种报销票据图像分割方法及系统 |
CN109948510A (zh) * | 2019-03-14 | 2019-06-28 | 北京易道博识科技有限公司 | 一种文档图像实例分割方法及装置 |
CN110443239A (zh) * | 2019-06-28 | 2019-11-12 | 平安科技(深圳)有限公司 | 文字图像的识别方法及其装置 |
CN110490193A (zh) * | 2019-07-24 | 2019-11-22 | 西安网算数据科技有限公司 | 单个字符区域检测方法及票据内容识别方法 |
CN110427932A (zh) * | 2019-08-02 | 2019-11-08 | 杭州睿琪软件有限公司 | 一种识别图像中多个票据区域的方法及装置 |
CN110428414A (zh) * | 2019-08-02 | 2019-11-08 | 杭州睿琪软件有限公司 | 一种识别图像中票据数量的方法及装置 |
CN110751143A (zh) * | 2019-09-26 | 2020-02-04 | 中电万维信息技术有限责任公司 | 一种电子发票信息的提取方法及电子设备 |
CN111476109A (zh) * | 2020-03-18 | 2020-07-31 | 深圳中兴网信科技有限公司 | 票据处理方法、票据处理装置和计算机可读存储介质 |
CN111931664A (zh) * | 2020-08-12 | 2020-11-13 | 腾讯科技(深圳)有限公司 | 混贴票据图像的处理方法、装置、计算机设备及存储介质 |
WO2022111549A1 (zh) * | 2020-11-25 | 2022-06-02 | 杭州睿胜软件有限公司 | 票据识别方法、装置及可读存储介质 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022111549A1 (zh) * | 2020-11-25 | 2022-06-02 | 杭州睿胜软件有限公司 | 票据识别方法、装置及可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2022111549A1 (zh) | 2022-06-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110427932B (zh) | 一种识别图像中多个票据区域的方法及装置 | |
CN108229303B (zh) | 检测识别和检测识别网络的训练方法及装置、设备、介质 | |
US11636604B2 (en) | Edge detection method and device, electronic equipment, and computer-readable storage medium | |
CN111080660B (zh) | 一种图像分割方法、装置、终端设备及存储介质 | |
Pickup et al. | Bayesian methods for image super-resolution | |
US10140691B2 (en) | Correcting perspective distortion in double-page spread images | |
US9171359B1 (en) | Method and system for auto-correcting perspective distortion in document images | |
CN110659633A (zh) | 图像文本信息的识别方法、装置以及存储介质 | |
CN109255300B (zh) | 票据信息提取方法、装置、计算机设备及存储介质 | |
EP3640886B1 (en) | Homography rectification | |
CN111553923A (zh) | 一种图像处理方法、电子设备及计算机可读存储介质 | |
CN110751146A (zh) | 文本区域检测方法、装置、电子终端和计算机可读存储介质 | |
CN114529459A (zh) | 一种对图像边缘进行增强处理的方法和系统及介质 | |
CN109035167A (zh) | 对图像中的多个人脸进行处理的方法、装置、设备和介质 | |
CN111754536A (zh) | 图像标注方法、装置、电子设备及存储介质 | |
CN114331951A (zh) | 图像检测方法、装置、计算机、可读存储介质及程序产品 | |
CN113592720B (zh) | 图像的缩放处理方法、装置、设备、存储介质 | |
WO2022111549A1 (zh) | 票据识别方法、装置及可读存储介质 | |
US11687886B2 (en) | Method and device for identifying number of bills and multiple bill areas in image | |
CN112364863B (zh) | 证照文档的文字定位方法及系统 | |
CN110580462B (zh) | 一种基于非局部网络的自然场景文本检测方法和系统 | |
CN115937537A (zh) | 一种目标图像的智能识别方法、装置、设备及存储介质 | |
CN115187834A (zh) | 一种票据识别的方法及装置 | |
CN114120305A (zh) | 文本分类模型的训练方法、文本内容的识别方法及装置 | |
CN111160358B (zh) | 一种图像二值化方法、装置、设备、介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |