CN109815954A - 增值税发票图像的方向校正方法、装置、设备及存储介质 - Google Patents

增值税发票图像的方向校正方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN109815954A
CN109815954A CN201910097717.5A CN201910097717A CN109815954A CN 109815954 A CN109815954 A CN 109815954A CN 201910097717 A CN201910097717 A CN 201910097717A CN 109815954 A CN109815954 A CN 109815954A
Authority
CN
China
Prior art keywords
image
correction
preliminary corrections
text
angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910097717.5A
Other languages
English (en)
Inventor
田中贺
刘聪
殷兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
iFlytek Co Ltd
Original Assignee
iFlytek Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by iFlytek Co Ltd filed Critical iFlytek Co Ltd
Priority to CN201910097717.5A priority Critical patent/CN109815954A/zh
Publication of CN109815954A publication Critical patent/CN109815954A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Character Input (AREA)

Abstract

本申请提供了一种增值税发票图像的方向校正方法、装置、设备及存储介质,方法包括:获取目标图像,目标图像为待校正的增值税发票图像;根据目标图像中单元格的属性特征和标题文本行的位置,对目标图像进行方向校正,获得校正后的图像。本申请提供的增值税发票图像的方向校正方法可自动对任意偏转角度的增值税发票图像进行方向校正,且校正速度快、效率高、成本低,用户体验较好。

Description

增值税发票图像的方向校正方法、装置、设备及存储介质
技术领域
本申请涉及图像校正技术领域,更具体地说,涉及一种增值税发票图像的方向校正方法、装置、设备及存储介质。
背景技术
光学字符识别(Optical Character Recognition,OCR)技术的成熟,使得扫描或拍照文档转化为可编辑的文字成为了可能,且其在某些领域中具有较高的识别率。
在OCR技术的应用过程中,通常会默认纸张的方向是某一指定方向,但是在实际的财务报销过程中,增值税发票图像的方向很多时候都不是指定方向,这给增值税发票的OCR识别带来了巨大困难。因此,在财务报销中,将增值税发票图像旋转至指定方向变得尤为重要。
现有的增值税发票图像的方向校正方法通常为,人工手动将偏转的增值税发票图像旋转到指定方向,然而,这种校正方式费时、费力、效率低、成本高。
发明内容
有鉴于此,本申请提供了一种增值税发票图像的方向校正方法、装置、设备及存储介质,用以解决现有的方向校正方法费时、费力、效率低、成本高的问题,其技术方案如下:
一种增值税发票图像的方向校正方法,包括:
获取目标图像,所述目标图像为待校正的增值税发票图像;
根据所述目标图像中单元格的属性特征和标题文本行的位置,对所述目标图像进行方向校正,获得校正后的图像。
可选的,所述根据所述目标图像中单元格的属性特征和标题文本行的位置,对所述目标图像进行校正,获得校正后的图像,包括:
对所述目标图像进行初步校正,以使初步校正后的图像的倾斜角度为多个预设角度中的一个;
基于所述初步校正后的图像中单元格的属性特征和标题文本行的位置,从所述多个预设角度中确定出所述初步校正后的图像的倾斜角度;
基于所述初步校正后的图像的倾斜角度,对所述初步校正后的图像进一步进行校正,获得所述校正后的图像。
可选的,所述对所述目标图像进行初步校正,包括:
对所述目标图像进行二值化处理,获得二值化图像;
检测所述二值化图像中的表格线条;
通过所述表格线条确定所述目标图像的倾斜角度;
基于所述目标图像的倾斜角度旋转所述目标图像,以使旋转后的图像的倾斜角度为所述多个预设角度中的一个。
可选的,所述基于所述初步校正后的图像中单元格的属性特征和标题文本行的位置,从所述多个预设角度中确定出所述初步校正后的图像的倾斜角度,包括:
基于所述初步校正后的图像中单元格的属性特征,从所述多个预设角度中确定多个候选角度;
基于所述初步校正后的图像中标题文本行的位置,从所述多个候选角度中确定出所述初步校正后的图像的倾斜角度。
可选的,所述基于所述初步校正后的图像中单元格的属性特征,从所述多个预设角度中确定多个候选角度,包括:
从所述初步校正后的图像中提取多个单元格;
基于提取的各个单元格的宽高比和单元格的连续性,从所述多个预设角度中确定所述多个候选角度。
可选的,所述从所述初步校正后的图像中提取多个单元格,包括:
获取所述初步校正后的图像对应的二值化图像;
通过对所述二值化图像进行形态学开运算,获取只包含第一方向的直线的第一图像以及只包含第二方向的直线的第二图像,其中,所述第一方向的直线与所述第二方向的直线相互垂直;
将所述第一图像与所述第二图像做与运算,获得包含交点的第三图像;
基于所述第三图像中的交点,获得所述多个单元格。
可选的,所述基于所述初步校正后的图像中标题文本行的位置,从所述多个候选角度中确定出所述初步校正后的图像的倾斜角度,包括:
从所述初步校正后的图像中确定出标题文本行;
基于所述标题文本行的预设位置的坐标和所述初步校正后的图像的高度或宽度,确定所述标题文本行在所述初步校正后的图像中所处的位置;
基于所述标题文本行在所述初步校正后的图像中所处的位置,从所述多个候选角度中确定出所述初步校正后的图像的倾斜角度。
可选的,所述从所述初步校正后的图像中确定出标题文本行,包括:
通过对所述初步校正后的图像进行二值化处理和形态学开运算,获得多个连通域;
将各个连通域的外接矩形作为文本行,获得多个文本行;
将高度最大的文本行确定为所述标题文本行。
一种增值税发票图像的方向校正装置,包括:图像获取模块和图像校正模块;
所述图像获取模块,用于获取目标图像,所述目标图像为待校正的增值税发票图像;
所述图像校正模块,用于根据所述目标图像中单元格的属性特征和标题文本行的位置,对所述目标图像进行方向校正,获得校正后的图像。
可选的,所述图像校正模块包括:第一校正模块、倾斜角度确定模块和第二校正模块,包括:
所述第一校正模块,用于对所述目标图像进行初步校正,以使初步校正后的图像的倾斜角度为多个预设角度中的一个;
所述倾斜角度确定模块,用于基于所述初步校正后的图像中单元格的属性特征和标题文本行的位置,从所述多个预设角度中确定出所述初步校正后的图像的倾斜角度;
所述第二校正模块,用于基于所述初步校正后的图像的倾斜角度,对所述初步校正后的图像进一步进行校正,获得所述校正后的图像。
可选的,所述第一校正模块,具体用于对所述目标图像进行二值化处理,获得二值化图像;检测所述二值化图像中的表格线条;通过所述表格线条确定所述目标图像的倾斜角度;基于所述目标图像的倾斜角度旋转所述目标图像,以使旋转后的图像的倾斜角度为所述多个预设角度中的一个。
可选的,所述倾斜角度确定模块,包括:候选角度确定子模块和倾斜角度确定子模块;
所述候选角度确定子模块,用于基于所述初步校正后的图像中单元格的属性特征,从所述多个预设角度中确定多个候选角度;
所述倾斜角度确定子模块,用于基于所述初步校正后的图像中标题文本行的位置,从所述多个候选角度中确定出所述初步校正后的图像的倾斜角度。
可选的,所述候选角度确定子模块,具体用于从所述初步校正后的图像中提取多个单元格;基于提取的各个单元格的宽高比和单元格的连续性,从所述多个预设角度中确定所述多个候选角度。
可选的,所述候选角度确定子模块在从所述初步校正后的图像中提取多个单元格时,具体用于获取所述初步校正后的图像对应的二值化图像;通过对所述二值化图像进行形态学开运算,获取只包含第一方向的直线的第一图像以及只包含第二方向的直线的第二图像,其中,所述第一方向的直线与所述第二方向的直线相互垂直;将所述第一图像与所述第二图像做与运算,获得包含交点的第三图像;基于所述第三图像中的交点,获得所述多个单元格。
可选的,所述倾斜角度确定子模块,具体用于从所述初步校正后的图像中确定出标题文本行;基于所述标题文本行的预设位置的坐标和所述初步校正后的图像的高度或宽度,确定所述标题文本行在所述初步校正后的图像中所处的位置;基于所述标题文本行在所述初步校正后的图像中所处的位置,从所述多个候选角度中确定出所述初步校正后的图像的倾斜角度。
可选的,所述倾斜角度确定子模块在从所述初步校正后的图像中确定出标题文本行时,具体用于通过对所述初步校正后的图像进行二值化处理和形态学开运算,获得多个连通域;将各个连通域的外接矩形作为文本行,获得多个文本行;将高度最大的文本行确定为所述标题文本行
一种增值税发票图像的方向校正设备,包括:存储器和处理器;
所述存储器,用于存储程序;
所述处理器,用于执行所述程序,实现所述增值税发票图像的方向校正方法的各个步骤。
一种可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时,实现所述增值税发票图像的方向校正方法的各个步骤。
从上述的技术方案可以看出,本申请提供的增值税发票图像的方向校正方法、装置、设备及存储介质,可根据待校正的增值税发票图像中单元格的属性特征和标题文本行的位置,对待校正的增值税发票图像进行方向校正,由此可见,本申请提供的增值税发票图像的方向校正方法可自动对增值税发票图像进行方向校正,且可对任意偏转角度的增值税发票图像进行方向校正,校正速度快、效率高、成本低,用户体验较好。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的增值税发票图像的方向校正方法的流程示意图;
图2为增值税发票图像的一示例的示意图;
图3为本申请实施例提供的增值税发票图像的方向校正方法中,根据目标图像中单元格的属性特征和标题文本行的位置,对目标图像进行方向校正的流程示意图;
图4为本申请实施例提供的增值税发票图像的方向校正方法中,对目标图像进行初步校正的流程示意图;
图5为本申请实施例提供的增值税发票图像的方向校正方法中,基于初步校正后的图像中单元格的属性特征和标题文本行的位置,从多个预设角度中确定初步校正后的图像倾斜角度的实现过程的流程示意图;
图6a和图6b分别为对图2示出的增值税发票图像对应的二值化图像的行、列进行开运算的结果的示意图;
图7为将图6a和图6b做“与”运算后,获得的图像的示意图;
图8为基于图7中的交点获得的单元格的示意图;
图9为本申请实施例提供的增值税发票图像的方向校正装置的结构示意图;
图10为本申请实施例提供的增值税发票图像的方向校正设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
现有的增值税发票图像的方向校正方法主要为人工校正方法,也有通过基于识别率反馈算法的校正方法对增值税发票图像进行方向校正的,基于识别率反馈算法的校正方法是以OCR分析的识别率为判断依据,具体校正过程为:对增值税发票图像顺时针旋转三次,将四个方向的增值税发票图像分别进行OCR识别,对比四个识别结果,选取识别率最高的方向的增值税发票图像作为校正后的图像。
发明人在实现本发明创造的过程中发现,无论是人工校正方法还是基于识别率反馈算法的校正方法,均存在一定的缺陷,具体体现在:
对于人工校正方法而言,费时、费力、效率低、成本高;对于基于识别率反馈算法的校正方法而言,每张增值税发票图像都要经过四次OCR识别,因此,速度较慢,并且校正效果依赖于OCR的识别准确率。另外,现有的校正方法都只能处理固定偏转角度(比如90度、180度、270度)的图像,即,现有的校正方法不能处理任意偏转角度的增值税发票图像。
鉴于现有校正方法存在的缺陷,发明人进行了深入研究,最终提出了一种效果较好的校正方案。接下来通过下述实施例对本申请提供的增值税发票图像的方向校正方法进行介绍。
请参阅图1,示出了本申请实施例提供的增值税发票图像的校正方法的流程示意图,该方法可以包括:
步骤S101:获取目标图像。
其中,目标图像为待校正的增值税发票图像。
步骤S102:根据目标图像中单元格的属性特征和标题文本行的位置,对目标图像进行方向校正,获得校正后的图像。
图2示出了一增值税发票图像的一示例的示意图,由图2可以看出,增值税发票图像中有表格、文字等信息,由于增值税发票是由国家税务总局监制设计印制的专用发票,因此,发票中表格的尺寸和分布、部分文字(比如标题文本行)的位置等均是固定的,基于此,本实施例可以单元格的属性特征和标题文本行的位置为依据,对待校正的增值税发票图像进行方向校正。
根据目标图像中单元格的属性特征和标题文本行的位置,对目标图像进行方向校正的具体实现过程可参见后续实施例的说明。
本申请实施例提供的增值税发票图像的方向校正方法,可根据待校正的增值税发票图像中单元格的属性特征和标题文本行的位置,对待校正的增值税发票图像进行方向校正,由此可见,本申请实施例提供的增值税发票图像的方向校正方法可自动对增值税发票图像进行方向校正,且可对任意偏转角度的增值税发票图像进行方向校正,校正速度快、效率高、成本低,用户体验较好。
在本申请的另一实施例中,对上述实施例中的“步骤S102:根据目标图像中单元格的属性特征和标题文本行的位置,对目标图像进行方向校正,获得校正后的图像”进行介绍。
请参阅图3,示出了根据目标图像中单元格的属性特征和标题文本行的位置,对目标图像进行方向校正,获得校正后的图像的流程示意图,可以包括:
步骤S301:对目标图像进行初步校正,以使初步校正后的图像的倾斜角度为多个预设角度中的一个。
对目标图像进行初步校正的目的是,将目标图像的倾斜角度限定为多个预设角度中的一个。在一种可能的实现方式中,可将目标图像旋转至水平方向或垂直方向,以使旋转后的图像的倾斜角度为0度、90度、180度和270度中的一个,也就是说,初步校正后的图像的倾斜角度为0度、90度、180度和270度中的一个。对目标图像进行初步校正的具体实现过程可参见后续实施例的说明。
步骤S302:基于初步校正后的图像中单元格的属性特征和标题文本行的位置,从多个预设角度中确定初步校正后的图像倾斜角度。
其中,初步校正后的图像中包括多个单元格,本实施例中单元格的属性特征可以包括各个单元格的尺寸以及单元格的连续性,标题文本行的位置指的是标题文本行在初步校正后的图像中所处的位置。基于初步校正后的图像中单元格的属性特征和标题文本行的位置,从多个预设角度中确定初步校正后的图像倾斜角度的具体实现过程可参见后续实施例的说明。
步骤S303:基于初步校正后的图像的倾斜角度,对初步校正后的图像进一步进行校正,获得校正后的图像。
初步校正后的图像的倾斜角度即为初步校正后的图像需要旋转的角度,将初步校正后的图像旋转该角度,即获得最终的、校正后的图像。
以下对上述实施例中的“步骤S301:对目标图像进行初步校正,以使初步校正后的图像的倾斜角度为多个预设角度中的一个”进行介绍。
请参阅图4,示出了对目标图像进行初步校正的实现过程的流程示意图,可以包括:
步骤S401:对目标图像进行二值化处理,获得二值化图像。
其中,对目标图像进行二值化指的是将目标图像处理成黑白图像,以便获得感兴趣的目标。
需要说明的是,目标图像通常包含多种颜色,其灰度值均在0~255之间,将目标图像二值化是将感兴趣部分的颜色的灰度值设置为0,其它部分的颜色的灰度值设置为1,如此,就将目标图像转换为了黑白图像。
对目标图像进行二值化处理的方式有多种,在一种可能的实现方式中,可对整幅目标图像基于一设定阈值进行二值化,为了能够获得更加精准的感兴趣区域,在另一种较优的实现方式中,可采用局部阈值二值化处理方式对目标图像进行二值化处理,具体的,逐个选取m*n(如8*8)的邻域,将该m*n邻域中所有像素点的平均值作为二值化阈值进行二值化,从而得到一幅二值化图像,即黑白图像。
步骤S402:检测二值化图像中的表格线条。
在本实施例中,可采用预设的直线检测算法比如霍夫变换检测二值化图像中的表格线条。
步骤S403:通过表格线条确定目标图像的倾斜角度。
需要说明的是,本步骤中确定的倾斜角度指的是目标图像相对于水平方向或垂直方向的倾斜角度。在一种可能的实现方式中,可通过表格线条的斜率确定目标图像的倾斜角度。
需要说明的是,由于二维空间中的一条直线主要由斜率k和截距b确定,对于目标图像上的每个点,都能在参数空间即(k,b)空间中画出一条直线,对于直线上的每个点,若有直线经过该点,则该点的数值加1,遍历整个参数空间,获得直线上的每个点的数值,该过程相当于统计每个点经过的直线的数量,在获得每个点的数值后,从中找出局部极大值点,这些点的坐标即对应目标图像中直线的斜率和截距,获得了目标图像中直线的斜率和截距即获得了目标图像中的直线,最后选取斜率大于0的直线,将斜率大于0的直线的斜率对应的角度确定为目标图像的倾斜角度。
步骤S404:基于目标图像的倾斜角度旋转目标图像,以使旋转后的图像的倾斜角度为多个预设角度中的一个。
在获得目标图像的倾斜角度后,基于该倾斜角度将目标图像旋转至水平方向或垂直方向,以使旋转后的图像的倾斜角度为0度、90度、180度和270度中的一个。
在获得初步校正后的图像后,便可基于初步校正后的图像中单元格的属性特征和标题文本行的位置,从多个预设角度中确定初步校正后的图像倾斜角度。
请参阅图5,示出了基于初步校正后的图像中单元格的属性特征和标题文本行的位置,从多个预设角度中确定初步校正后的图像的倾斜角度的实现过程的流程示意图,可以包括:
步骤S501:基于初步校正后的图像中单元格的属性特征,从多个预设角度中确定多个候选角度。
具体的,基于初步校正后的图像中单元格的属性特征,从多个预设角度中确定多个候选角度的过程可以包括:
步骤S5011:从初步校正后的图像中提取多个单元格。
具体的,从初步校正后的图像中提取多个单元格的过程可以包括:
(1)获取初步校正后的图像对应的二值化图像。
(2)通过对二值化图像进行形态学开运算,获取只包含第一方向的直线的第一图像以及只包含第二方向的直线的第二图像。
其中,第一方向的直线与第二方向的直线相互垂直。
对二值化图像进行形态学开运算即先对二值化图像进行腐蚀操作再进行膨胀操作,对二值化图像进行形态学开运算时,分别对二值化图像按行和列进行开运算,从而获得初步校正后的图像中水平方向和垂直方向的直线。
需要说明的是,腐蚀操作是一种消除边界点,使边界向内部收缩的操作。腐蚀操作的具体过程为:用3×3的结构元素,从上到下从左到右的顺序依次扫描二值化图像的每个像素,并用结构元素与其覆盖的二值化图像做“与”操作,若操作结果为1,则二值化图像中的该像素为1,否则为0,经过腐蚀操作后,二值化图像减小一圈,可以将其理解为删除边界的某些像素。其中,结构元素是形态学的基本算子,合理选取结构元素直接影响图像处理的效果和质量。
膨胀操作是将与物体接触的全部背景点合并到该物体中,使边界向外部扩张的操作,其能够用来填补物体中的空洞。膨胀操作的具体处理过程为:用3×3的结构元素,按从上到下从左到右的顺序依次扫描二值化图像的每个像素,并用结构元素与其覆盖的二值化图像做“或”操作,若操作结果为0,则二值化图像中的该像素为0,否则为1,经过膨胀算法处理后,二值化图像扩大一圈,可以将其理解为给边界添加像素。以图2所示的增值税发票图像为例,图6a左侧的图为对增值税发票图像对应的二值化图像的行进行开运算的结果,图6b右侧的图为对增值税发票图像对应的二值化图像的列进行开运算的结果。
(3)将第一图像与第二图像做“与”运算,获得包含交点的第三图像。
将只包含第一方向的直线的第一图像与只包含第二方向的直线的第二图像作“与”运算后,获得的第三图像如图7所示。
(4)基于第三图像中的交点,获得多个单元格。
具体的,基于第三图像中的交点,获得多个单元格的过程包括:按照从左到右、从上到下的原则,为第三图像中的每个交点均设一个标志并将其初始化为false,一个交点对应的标志为false时表示该点未和其它点相连;遍历第一个交点,将遍历的第一个交点的标志设为true,向第一预设方向(比如向右)搜索与其在一个水平线的首个交点,若找到与其在一个水平线的首个交点,则将找到的交点作为遍历的第二个交点,将遍历的第二个交点与第一个交点连接,作为单元格的一条边,同时将遍历的第二个交点的标志设为true;然后以遍历的第二个交点为起点,向第二预设方向(比如向下)搜索与其在一个垂直线的首个交点,若找到与其在一个垂直线的首个交点,则将找到的该交点作为遍历的第三个交点,将遍历的第三个交点与第二个交点连接,同时将遍历的第三个交点的标志设为true,接着以遍历的第三个交点为起点,向第三预设方向(比如向左)搜索与其在一个水平线的首个交点,若找到与其在一个水平线的首个交点,则将找到的该点作为遍历的第四个交点,将遍历的第四个交点与第三个交点连接,同时,将遍历的第四个交点的标志设置为true,最后,再以遍历的第四个交点为起点,向第四预设方向(比如向上)搜索与其在一个垂直线的首个交点,若找到与其在一个垂直线的首个交点,且找到的点为遍历的第一个交点,则连接遍历的第四个交点与第一个交点,如此便获得一个单元格,上述遍历的四个交点就是该单元格的四个顶点,按上述方式遍历完所有的交点,便可获得所有的单元格。
需要说明的是,通过上述方式获得的单元格中可能会包括无效的单元格,为此,将无效的单元格删除,获得最终的单元格,其中,无效的单元格指的是没有和其它单元格相连的单元格,或者,相互连接的单元格的数量小于预设数量的单元格。请参阅图8,示出了基于图5中的交点获得的多个单元格的示意图。
步骤S5012:基于提取的各个单元格的宽高比和单元格的连续性,从多个预设角度中确定多个候选角度。
从图2可以看出,增值税发票图像中包括两类单元格,一类是宽高比大于1的单元格,一类是宽高比小于1的单元格,若增值税发票图像处于水平方向,宽高比小于1的单元格的数量大于宽高比大于1的单元格的数量,且存在7个连续的单元格的宽高比小于1,若增值说发票图像处于垂直水平,则宽高比小于1的单元格的数量小于宽高比大于1的单元格的数量,且存在7个连续的单元格的宽高比大于1,本实施例在获得单元格后,可以此为依据确定候选角度。
具体的,若宽高比小于1的单元格的数量大于宽高比大于1的单元格的数量,且存在7个连续的单元格的宽高比小于1,则可确定初步校正后的图像的倾斜角度为0度或180度(即候选角度为0度、180度),反之,若宽高比小于1的单元格的数量小于宽高比大于1的单元格的数量,且存在7个连续的单元格的宽高比大于1,则可确定初步校正后的图像的倾斜角度为90度或270度(即候选角度为90度、270度)。
步骤S502:基于初步校正后的图像中标题文本行的位置,从多个候选角度中确定出初步校正后的图像的倾斜角度。
具体的,基于初步校正后的图像中标题文本行的位置,从多个候选角度中确定出初步校正后的图像的倾斜角度的过程包括:
步骤S5021:从初步校正后的图像中确定出标题文本行。
其中,从初步校正后的图像中确定出标题文本行的过程包括:通过对初步校正后的图像进行二值化和形态学开运算,获得多个连通域;将各个连通域的外接矩形作为文本行,获得多个文本行;将高度最大的文本行确定为标题文本行。
步骤S5022:基于标题文本行的预设位置的坐标和初步校正后的图像的高或宽度,确定标题文本行在初步校正后的图像中所处的位置。
若初步校正后的图像处于水平方向,则可获取标题文本行的左上角的纵坐标值,若标题文本行的左上角的纵坐标值大于初步校正后的图像的高度的一半,则确定标题文本行位于初步校正后的图像的上方,反之,若标题文本行的左上角的纵坐标值小于初步校正后的图像的高度的一半,则确定标题文本行位于初步校正后的图像的下方。
若初步校正后的图像处于垂直方向,则可获取标题文本行的左上角的横坐标值,若标题文本行的左上角的横坐标值小于初步校正后的图像的宽度的一半,则确定标题文本行位于初步校正后的图像的左侧,反之,若标题文本行的左上角的横坐标值大于初步校正后的图像的宽度的一半,则确定标题文本行位于初步校正后的图像的右侧。
步骤S5023:基于标题文本行在初步校正后的图像中所处的位置,从多个候选角度中确定出初步校正后的图像的倾斜角度。
在初步校正后的图像处于水平方向时,若标题文本行位于初步校正后的图像的上方,则确定初步校正后的图像的倾斜角度为0度;若标题文本行位于初步校正后的图像的下方,则确定初步校正后的图像的倾斜角度为180度。
在初步校正后的图像处于垂直方向时,若标题文本行位于初步校正后的图像的左侧,则确定初步校正后的图像的倾斜角度为90度,若标题文本行位于初步校正后的图像的右侧,则确定初步校正后的图像的倾斜角度为270度。
若初步校正后的图像的倾斜角度为0度,则不需要对初步校正后的图像进行旋转,初步校正后的图像即为最终的校正图像;若初步校正后的图像的倾斜角度为180度,则将初步校正后的图像顺时针旋转180度,即获得最终的校正图像;若初步校正后的图像的倾斜角度为90度,则将初步校正后的图像顺时针旋转90度,即获得最终的校正图像;若初步校正后的图像的倾斜角度为270度,则将初步校正后的图像顺时针旋转270度,即获得最终的校正图像。
本申请实施例提供的增值税发票图像的方向校正方法,可自动对任何偏转角度的增值税发票图像进行方向校正,且校正速度快、效率高、成本低,用户体验较好。
本申请实施例还提供了一种增值税发票图像的方向校正装置,下面对本申请实施例提供的增值税发票图像的方向校正装置进行描述,下文描述的增值税发票图像的方向校正装置与上文描述的增值税发票图像的方向校正方法可相互对应参照。
请参阅图9,示出了本申请实施例提供的一种增值税发票图像的方向校正装置的结构示意图,如图9所示,该装置可以包括:图像获取模块901和图像校正模块902。
图像获取模块901,用于获取目标图像,所述目标图像为待校正的增值税发票图像;
图像校正模块902,用于根据所述目标图像中单元格的属性特征和标题文本行的位置,对所述目标图像进行方向校正,获得校正后的图像。
本申请实施例提供的增值税发票图像的方向校正装置,可根据待校正的增值税发票图像中单元格的属性特征和标题文本行的位置,对待校正的增值税发票图像进行方向校正,由此可见,本申请实施例提供的增值税发票图像的方向校正装置可自动对增值税发票图像进行方向校正,且可对任意偏转角度的增值税发票图像进行方向校正,校正速度快、效率高、成本低,用户体验较好。
在一种可能的实现方式中,上述实施例提供的增值税发票图像的方向校正装置中的图像校正模块可以包括:第一校正模块、倾斜角度确定模块和第二校正模块。
所述第一校正模块,用于对所述目标图像进行初步校正,以使初步校正后的图像的倾斜角度为多个预设角度中的一个;
所述倾斜角度确定模块,用于基于所述初步校正后的图像中单元格的属性特征和标题文本行的位置,从所述多个预设角度中确定出所述初步校正后的图像的倾斜角度;
所述第二校正模块,用于基于所述初步校正后的图像的倾斜角度,对所述初步校正后的图像进一步进行校正,获得所述校正后的图像。
在一种可能的实现方式中,所述第一校正模块,具体用于对所述目标图像进行二值化处理,获得二值化图像;检测所述二值化图像中的表格线条;通过所述表格线条确定所述目标图像的倾斜角度;基于所述目标图像的倾斜角度旋转所述目标图像,以使旋转后的图像的倾斜角度为所述多个预设角度中的一个。
在一种可能的实现方式中,所述倾斜角度确定模块可以包括:候选角度确定子模块和倾斜角度确定子模块。
所述候选角度确定子模块,用于基于所述初步校正后的图像中单元格的属性特征,从所述多个预设角度中确定多个候选角度。
所述倾斜角度确定子模块,用于基于所述初步校正后的图像中标题文本行的位置,从所述多个候选角度中确定出所述初步校正后的图像的倾斜角度。
在一种可能的实现方式中,所述候选角度确定子模块,具体用于从所述初步校正后的图像中提取多个单元格;基于提取的各个单元格的宽高比和单元格的连续性,从所述多个预设角度中确定所述多个候选角度。
在一种可能的实现方式中,所述候选角度确定子模块在从所述初步校正后的图像中提取多个单元格时,具体用于获取所述初步校正后的图像对应的二值化图像;通过对所述二值化图像进行形态学开运算,获取只包含第一方向的直线的第一图像以及只包含第二方向的直线的第二图像,其中,所述第一方向的直线与所述第二方向的直线相互垂直;将所述第一图像与所述第二图像做与运算,获得包含交点的第三图像;基于所述第三图像中的交点,获得所述多个单元格。
在一种可能的实现方式中,所述倾斜角度确定子模块,具体用于从所述初步校正后的图像中确定出标题文本行;基于所述标题文本行的预设位置的坐标和所述初步校正后的图像的高度或宽度,确定所述标题文本行在所述初步校正后的图像中所处的位置;基于所述标题文本行在所述初步校正后的图像中所处的位置,从所述多个候选角度中确定出所述初步校正后的图像的倾斜角度。
在一种可能的实现方式中,所述倾斜角度确定子模块在从所述初步校正后的图像中确定出标题文本行时,具体用于通过对所述初步校正后的图像进行二值化处理和形态学开运算,获得多个连通域;将各个连通域的外接矩形作为文本行,获得多个文本行;将高度最大的文本行确定为所述标题文本行。
本申请实施例还提供了一种增值税发票图像的方向校正设备,请参阅图10,示出了该增值税发票图像的方向校正设备的结构示意图,该设备可以包括:至少一个处理器1001,至少一个通信接口1002,至少一个存储器1003和至少一个通信总线1004;
在本申请实施例中,处理器1001、通信接口1002、存储器1003、通信总线1004的数量为至少一个,且处理器1001、通信接口1002、存储器1003通过通信总线1004完成相互间的通信;
处理器1001可能是一个中央处理器CPU,或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit),或者是被配置成实施本发明实施例的一个或多个集成电路等;
存储器1003可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory)等,例如至少一个磁盘存储器;
其中,存储器存储有程序,处理器可调用存储器存储的程序,所述程序用于:
获取目标图像,所述目标图像为待校正的增值税发票图像;
根据所述目标图像中单元格的属性特征和标题文本行的位置,对所述目标图像进行校正,获得校正后的图像。
可选的,所述程序的细化功能和扩展功能可参照上文描述。
本申请实施例还提供一种可读存储介质,该可读存储介质可存储有适于处理器执行的程序,所述程序用于:
获取目标图像,所述目标图像为待校正的增值税发票图像;
根据所述目标图像中单元格的属性特征和标题文本行的位置,对所述目标图像进行校正,获得校正后的图像。
可选的,所述程序的细化功能和扩展功能可参照上文描述。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (18)

1.一种增值税发票图像的方向校正方法,其特征在于,包括:
获取目标图像,所述目标图像为待校正的增值税发票图像;
根据所述目标图像中单元格的属性特征和标题文本行的位置,对所述目标图像进行方向校正,获得校正后的图像。
2.根据权利要求1所述的增值税发票图像的方向校正方法,其特征在于,所述根据所述目标图像中单元格的属性特征和标题文本行的位置,对所述目标图像进行方向校正,获得校正后的图像,包括:
对所述目标图像进行初步校正,以使初步校正后的图像的倾斜角度为多个预设角度中的一个;
基于所述初步校正后的图像中单元格的属性特征和标题文本行的位置,从所述多个预设角度中确定出所述初步校正后的图像的倾斜角度;
基于所述初步校正后的图像的倾斜角度,对所述初步校正后的图像进一步进行校正,获得所述校正后的图像。
3.根据权利要求2所述的增值税发票图像的方向校正方法,其特征在于,所述对所述目标图像进行初步校正,包括:
对所述目标图像进行二值化处理,获得二值化图像;
检测所述二值化图像中的表格线条;
通过所述表格线条确定所述目标图像的倾斜角度;
基于所述目标图像的倾斜角度旋转所述目标图像,以使旋转后的图像的倾斜角度为所述多个预设角度中的一个。
4.根据权利要求2所述的增值税发票图像的方向校正方法,其特征在于,所述基于所述初步校正后的图像中单元格的属性特征和标题文本行的位置,从所述多个预设角度中确定出所述初步校正后的图像的倾斜角度,包括:
基于所述初步校正后的图像中单元格的属性特征,从所述多个预设角度中确定多个候选角度;
基于所述初步校正后的图像中标题文本行的位置,从所述多个候选角度中确定出所述初步校正后的图像的倾斜角度。
5.根据权利要求4所述的增值税发票图像的方向校正方法,其特征在于,所述基于所述初步校正后的图像中单元格的属性特征,从所述多个预设角度中确定多个候选角度,包括:
从所述初步校正后的图像中提取多个单元格;
基于提取的各个单元格的宽高比和单元格的连续性,从所述多个预设角度中确定所述多个候选角度。
6.根据权利要求5所述的增值税发票图像的方向校正方法,其特征在于,所述从所述初步校正后的图像中提取多个单元格,包括:
获取所述初步校正后的图像对应的二值化图像;
通过对所述二值化图像进行形态学开运算,获取只包含第一方向的直线的第一图像以及只包含第二方向的直线的第二图像,其中,所述第一方向的直线与所述第二方向的直线相互垂直;
将所述第一图像与所述第二图像做与运算,获得包含交点的第三图像;
基于所述第三图像中的交点,获得所述多个单元格。
7.根据权利要求4所述的增值税发票图像的方向校正方法,其特征在于,所述基于所述初步校正后的图像中标题文本行的位置,从所述多个候选角度中确定出所述初步校正后的图像的倾斜角度,包括:
从所述初步校正后的图像中确定出标题文本行;
基于所述标题文本行的预设位置的坐标和所述初步校正后的图像的高度或宽度,确定所述标题文本行在所述初步校正后的图像中所处的位置;
基于所述标题文本行在所述初步校正后的图像中所处的位置,从所述多个候选角度中确定出所述初步校正后的图像的倾斜角度。
8.根据权利要求7所述的增值税发票图像的方向校正方法,其特征在于,所述从所述初步校正后的图像中确定出标题文本行,包括:
通过对所述初步校正后的图像进行二值化处理和形态学开运算,获得多个连通域;
将各个连通域的外接矩形作为文本行,获得多个文本行;
将高度最大的文本行确定为所述标题文本行。
9.一种增值税发票图像的方向校正装置,其特征在于,包括:图像获取模块和图像校正模块;
所述图像获取模块,用于获取目标图像,所述目标图像为待校正的增值税发票图像;
所述图像校正模块,用于根据所述目标图像中单元格的属性特征和标题文本行的位置,对所述目标图像进行方向校正,获得校正后的图像。
10.根据权利要求9所述的增值税发票图像的方向校正装置,其特征在于,所述图像校正模块包括:第一校正模块、倾斜角度确定模块和第二校正模块;
所述第一校正模块,用于对所述目标图像进行初步校正,以使初步校正后的图像的倾斜角度为多个预设角度中的一个;
所述倾斜角度确定模块,用于基于所述初步校正后的图像中单元格的属性特征和标题文本行的位置,从所述多个预设角度中确定出所述初步校正后的图像的倾斜角度;
所述第二校正模块,用于基于所述初步校正后的图像的倾斜角度,对所述初步校正后的图像进一步进行校正,获得所述校正后的图像。
11.根据权利要求10所述的增值税发票图像的方向校正装置,所述第一校正模块,具体用于对所述目标图像进行二值化处理,获得二值化图像;检测所述二值化图像中的表格线条;通过所述表格线条确定所述目标图像的倾斜角度;基于所述目标图像的倾斜角度旋转所述目标图像,以使旋转后的图像的倾斜角度为所述多个预设角度中的一个。
12.根据权利要求10所述的增值税发票图像的方向校正装置,其特征在于,所述倾斜角度确定模块,包括:候选角度确定子模块和倾斜角度确定子模块;
所述候选角度确定子模块,用于基于所述初步校正后的图像中单元格的属性特征,从所述多个预设角度中确定多个候选角度;
所述倾斜角度确定子模块,用于基于所述初步校正后的图像中标题文本行的位置,从所述多个候选角度中确定出所述初步校正后的图像的倾斜角度。
13.根据权利要求12所述的增值税发票图像的方向校正装置,其特征在于,所述候选角度确定子模块,具体用于从所述初步校正后的图像中提取多个单元格;基于提取的各个单元格的宽高比和单元格的连续性,从所述多个预设角度中确定所述多个候选角度。
14.根据权利要求13所述的增值税发票图像的方向校正装置,其特征在于,所述候选角度确定子模块在从所述初步校正后的图像中提取多个单元格时,具体用于获取所述初步校正后的图像对应的二值化图像;通过对所述二值化图像进行形态学开运算,获取只包含第一方向的直线的第一图像以及只包含第二方向的直线的第二图像,其中,所述第一方向的直线与所述第二方向的直线相互垂直;将所述第一图像与所述第二图像做与运算,获得包含交点的第三图像;基于所述第三图像中的交点,获得所述多个单元格。
15.根据权利要求12所述的增值税发票图像的方向校正装置,其特征在于,所述倾斜角度确定子模块,具体用于从所述初步校正后的图像中确定出标题文本行;基于所述标题文本行的预设位置的坐标和所述初步校正后的图像的高度或宽度,确定所述标题文本行在所述初步校正后的图像中所处的位置;基于所述标题文本行在所述初步校正后的图像中所处的位置,从所述多个候选角度中确定出所述初步校正后的图像的倾斜角度。
16.根据权利要求15所述的增值税发票图像的方向校正装置,其特征在于,所述倾斜角度确定子模块在从所述初步校正后的图像中确定出标题文本行时,具体用于通过对所述初步校正后的图像进行二值化处理和形态学开运算,获得多个连通域;将各个连通域的外接矩形作为文本行,获得多个文本行;将高度最大的文本行确定为所述标题文本行。
17.一种增值税发票图像的方向校正设备,其特征在于,包括:存储器和处理器;
所述存储器,用于存储程序;
所述处理器,用于执行所述程序,实现如权利要求1~8中任一项所述的增值税发票图像的方向校正方法的各个步骤。
18.一种可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时,实现如权利要求1~8中任一项所述的增值税发票图像的方向校正方法的各个步骤。
CN201910097717.5A 2019-01-31 2019-01-31 增值税发票图像的方向校正方法、装置、设备及存储介质 Pending CN109815954A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910097717.5A CN109815954A (zh) 2019-01-31 2019-01-31 增值税发票图像的方向校正方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910097717.5A CN109815954A (zh) 2019-01-31 2019-01-31 增值税发票图像的方向校正方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN109815954A true CN109815954A (zh) 2019-05-28

Family

ID=66606084

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910097717.5A Pending CN109815954A (zh) 2019-01-31 2019-01-31 增值税发票图像的方向校正方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN109815954A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111582153A (zh) * 2020-05-07 2020-08-25 北京百度网讯科技有限公司 确定文档朝向的方法和装置
CN111985459A (zh) * 2020-09-18 2020-11-24 北京百度网讯科技有限公司 表格图像校正方法、装置、电子设备和存储介质
CN115100660A (zh) * 2022-06-27 2022-09-23 平安银行股份有限公司 文档图像的倾斜校正方法及装置

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101685498A (zh) * 2008-06-20 2010-03-31 富士通先端科技株式会社 帐票识别装置、方法、数据库生成装置、方法以及程序
CN103279924A (zh) * 2013-05-24 2013-09-04 中南大学 一种对任意倾斜角度的专利证书图像的校正方法
CN104680642A (zh) * 2015-03-04 2015-06-03 广州广电运通金融电子股份有限公司 票据绵软识别方法和装置
CN104732225A (zh) * 2013-12-24 2015-06-24 中国科学院深圳先进技术研究院 图像旋转处理方法
CN106156761A (zh) * 2016-08-10 2016-11-23 北京交通大学 面向移动终端拍摄的图像表格检测与识别方法
CN107292823A (zh) * 2017-08-20 2017-10-24 平安科技(深圳)有限公司 电子装置、发票分类的方法及计算机可读存储介质
CN107680046A (zh) * 2017-07-25 2018-02-09 平安科技(深圳)有限公司 影像矫正方法、装置、存储介质和计算机设备
CN107679442A (zh) * 2017-06-23 2018-02-09 平安科技(深圳)有限公司 单证信息录入的方法、装置、计算机设备及存储介质
CN108596066A (zh) * 2018-04-13 2018-09-28 武汉大学 一种基于卷积神经网络的字符识别方法
CN108960062A (zh) * 2018-06-01 2018-12-07 平安科技(深圳)有限公司 校正发票图像的方法、装置、计算机设备和存储介质
CN109086714A (zh) * 2018-07-31 2018-12-25 国科赛思(北京)科技有限公司 表格识别方法、识别系统及计算机装置
CN109241894A (zh) * 2018-08-28 2019-01-18 南京安链数据科技有限公司 一种基于表格定位和深度学习的针对性票据内容识别系统和方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101685498A (zh) * 2008-06-20 2010-03-31 富士通先端科技株式会社 帐票识别装置、方法、数据库生成装置、方法以及程序
CN103279924A (zh) * 2013-05-24 2013-09-04 中南大学 一种对任意倾斜角度的专利证书图像的校正方法
CN104732225A (zh) * 2013-12-24 2015-06-24 中国科学院深圳先进技术研究院 图像旋转处理方法
CN104680642A (zh) * 2015-03-04 2015-06-03 广州广电运通金融电子股份有限公司 票据绵软识别方法和装置
CN106156761A (zh) * 2016-08-10 2016-11-23 北京交通大学 面向移动终端拍摄的图像表格检测与识别方法
CN107679442A (zh) * 2017-06-23 2018-02-09 平安科技(深圳)有限公司 单证信息录入的方法、装置、计算机设备及存储介质
CN107680046A (zh) * 2017-07-25 2018-02-09 平安科技(深圳)有限公司 影像矫正方法、装置、存储介质和计算机设备
CN107292823A (zh) * 2017-08-20 2017-10-24 平安科技(深圳)有限公司 电子装置、发票分类的方法及计算机可读存储介质
CN108596066A (zh) * 2018-04-13 2018-09-28 武汉大学 一种基于卷积神经网络的字符识别方法
CN108960062A (zh) * 2018-06-01 2018-12-07 平安科技(深圳)有限公司 校正发票图像的方法、装置、计算机设备和存储介质
CN109086714A (zh) * 2018-07-31 2018-12-25 国科赛思(北京)科技有限公司 表格识别方法、识别系统及计算机装置
CN109241894A (zh) * 2018-08-28 2019-01-18 南京安链数据科技有限公司 一种基于表格定位和深度学习的针对性票据内容识别系统和方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
叶志: ""基于软件产品族的快速计票系统研究与开发"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
郜丽丽: ""表单文件的识别与理解"", 《万方数据知识服务平台》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111582153A (zh) * 2020-05-07 2020-08-25 北京百度网讯科技有限公司 确定文档朝向的方法和装置
CN111582153B (zh) * 2020-05-07 2023-06-30 北京百度网讯科技有限公司 确定文档朝向的方法和装置
CN111985459A (zh) * 2020-09-18 2020-11-24 北京百度网讯科技有限公司 表格图像校正方法、装置、电子设备和存储介质
CN111985459B (zh) * 2020-09-18 2023-07-28 北京百度网讯科技有限公司 表格图像校正方法、装置、电子设备和存储介质
CN115100660A (zh) * 2022-06-27 2022-09-23 平安银行股份有限公司 文档图像的倾斜校正方法及装置

Similar Documents

Publication Publication Date Title
CN102567300B (zh) 图片文档的处理方法及装置
CN109389121B (zh) 一种基于深度学习的铭牌识别方法及系统
CN107092871B (zh) 基于多尺度多特征融合的遥感影像建筑物检测方法
CN109815954A (zh) 增值税发票图像的方向校正方法、装置、设备及存储介质
CN110084241B (zh) 一种基于图像识别的电表自动读数方法
CN101908136B (zh) 一种表格识别处理方法及系统
CN104504717B (zh) 一种图像信息检测方法及装置
EP1091320A2 (en) Processing multiple digital images
CN107103320B (zh) 嵌入式医疗数据图像识别及集成方法
EP1081648B1 (en) Method for processing a digital image
CN108681992A (zh) 用于探测器阵列法测量激光光斑的图像插值算法
CN103714327A (zh) 一种图像方向校正方法及系统
CN105160682B (zh) 图像边缘检测方法及装置
CN106203397B (zh) 基于图像中表格分析技术的表格鉴别和定位方法
CN103226824B (zh) 维持视觉显著性的视频重定向系统
CN116756836B (zh) 一种隧道超欠挖体积计算方法、电子设备及存储介质
CN114239508A (zh) 表格还原方法和装置、存储介质及电子设备
CN106709952A (zh) 一种显示屏幕的自动标定方法
CN111626145A (zh) 一种简捷有效的残缺表格识别及跨页拼接方法
CN115240197A (zh) 图像质量评价方法、装置、电子设备、扫描笔及存储介质
CN114386504A (zh) 一种工程图纸文字识别方法
CN106324708A (zh) 雨量记录图纸的数字化方法、装置
CN106056575B (zh) 一种基于似物性推荐算法的图像匹配方法
CN104166843B (zh) 一种基于直线连续性的文档图像来源判别方法
CN105740869A (zh) 一种基于多尺度多分辨率的方形算子边缘提取方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190528

RJ01 Rejection of invention patent application after publication