CN111241974A - 票据信息获取方法、装置、计算机设备和存储介质 - Google Patents
票据信息获取方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN111241974A CN111241974A CN202010012175.XA CN202010012175A CN111241974A CN 111241974 A CN111241974 A CN 111241974A CN 202010012175 A CN202010012175 A CN 202010012175A CN 111241974 A CN111241974 A CN 111241974A
- Authority
- CN
- China
- Prior art keywords
- bill
- image
- information
- box
- attribute
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000013507 mapping Methods 0.000 claims abstract description 63
- 230000002159 abnormal effect Effects 0.000 claims description 52
- 238000012545 processing Methods 0.000 claims description 36
- 238000004590 computer program Methods 0.000 claims description 25
- 238000006243 chemical reaction Methods 0.000 claims description 12
- 230000000877 morphologic effect Effects 0.000 claims description 11
- 230000006870 function Effects 0.000 description 8
- 238000001914 filtration Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000002372 labelling Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 239000003086 colorant Substances 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000003628 erosive effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000008961 swelling Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000011282 treatment Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007620 mathematical function Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
- G06V30/41—Analysis of document content
- G06V30/413—Classification of content, e.g. text, photographs or tables
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/12—Accounting
- G06Q40/125—Finance or payroll
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
- G06V30/41—Analysis of document content
- G06V30/412—Layout analysis of documents structured with printed lines or input boxes, e.g. business forms or tables
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- Technology Law (AREA)
- General Business, Economics & Management (AREA)
- Geometry (AREA)
- User Interface Of Digital Computer (AREA)
- Character Input (AREA)
Abstract
本申请涉及一种票据信息获取方法、装置、计算机设备和存储介质。所述方法包括:获取票据图像,并检测所述票据图像中的文本框和所述文本框中的文本内容;获取票据模板的属性框中的文本内容,将所述属性框中的文本内容和所述文本框中的文本内容进行匹配,得到与所述属性框相匹配的文本框;所述票据模板中包括属性框和信息框;根据相匹配的属性框和文本框,确定所述票据模板和所述票据图像之间的映射关系;根据所述映射关系将所述票据模板的属性框和信息框映射到所述票据图像上,并将映射到所述票据图像上的属性框和信息框中的信息作为所述票据图像的目标信息。采用本方法能够提高票据图像中的关键信息获取的准确性。
Description
技术领域
本申请涉及计算机技术领域,特别是涉及一种票据信息获取方法、装置、计算机设备和存储介质。
背景技术
随着计算机技术的发展,人们的工作生活中往往需要出具发票以进行报销。基于纸质发票进行人工审核需要花费很多时间的问题,出现了对电子发票中的关键信息进行检测和识别的技术,通过该技术能够快速提取出电子票据中的关键信息以加快审核。
但传统的电子票据的信息提取方法对电子票据中的关键信息的识别并不准确。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高获取票据关键信息的准确率的票据信息获取方法、装置、计算机设备和存储介质。
一种票据信息获取方法,所述方法包括:
获取票据图像,并检测所述票据图像中的文本框和所述文本框中的文本内容;
获取票据模板的属性框中的文本内容,将所述属性框中的文本内容和所述文本框中的文本内容进行匹配,得到与所述属性框相匹配的文本框;所述票据模板中包括属性框和信息框;
根据相匹配的属性框和文本框,确定所述票据模板和所述票据图像之间的映射关系;
根据所述映射关系将所述票据模板的属性框和信息框映射到所述票据图像上,并将映射到所述票据图像上的属性框和信息框中的信息作为所述票据图像的目标信息。
一种票据信息获取装置,所述装置包括:
获取模块,用于获取票据图像,并检测所述票据图像中的文本框和所述文本框中的文本内容;
匹配模块,用于获取票据模板的属性框中的文本内容,将所述属性框中的文本内容和所述文本框中的文本内容进行匹配,得到与所述属性框相匹配的文本框;所述票据模板中包括属性框和信息框;
确定模块,用于根据相匹配的属性框和文本框,确定所述票据模板和所述票据图像之间的映射关系;
映射模块,用于根据所述映射关系将所述票据模板的属性框和信息框映射到所述票据图像上,并将映射到所述票据图像上的属性框和信息框中的信息作为所述票据图像的目标信息。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取票据图像,并检测所述票据图像中的文本框和所述文本框中的文本内容;
获取票据模板的属性框中的文本内容,将所述属性框中的文本内容和所述文本框中的文本内容进行匹配,得到与所述属性框相匹配的文本框;所述票据模板中包括属性框和信息框;
根据相匹配的属性框和文本框,确定所述票据模板和所述票据图像之间的映射关系;
根据所述映射关系将所述票据模板的属性框和信息框映射到所述票据图像上,并将映射到所述票据图像上的属性框和信息框中的信息作为所述票据图像的目标信息。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取票据图像,并检测所述票据图像中的文本框和所述文本框中的文本内容;
获取票据模板的属性框中的文本内容,将所述属性框中的文本内容和所述文本框中的文本内容进行匹配,得到与所述属性框相匹配的文本框;所述票据模板中包括属性框和信息框;
根据相匹配的属性框和文本框,确定所述票据模板和所述票据图像之间的映射关系;
根据所述映射关系将所述票据模板的属性框和信息框映射到所述票据图像上,并将映射到所述票据图像上的属性框和信息框中的信息作为所述票据图像的目标信息。
上述票据信息获取方法、装置、计算机设备和存储介质,获取票据图像,并检测该票据图像中的文本框和该文本框中的文本内容,获取票据模板的属性框中的文本内容,将该属性框中的文本内容和该文本框中的文本内容进行匹配,得到与该属性框相匹配的文本框;该票据模板中包括属性框和信息框,根据相匹配的属性框和文本框,确定该票据模板和该票据图像之间的映射关系,根据该映射关系将该票据模板的属性框和信息框映射到该票据图像上,并将映射到该票据图像上的属性框和信息框中的信息作为该票据图像的目标信息,能够提高票据图像的关键信息获取的准确性。
附图说明
图1为一个实施例中票据信息获取方法的应用环境图;
图2为一个实施例中票据信息获取方法的流程示意图;
图3为一个实施例中校正票据图像的步骤的流程示意图;
图4(a)为一个实施例中票据图像中的图标位置的界面示意图;
图4(b)为另一个实施例中校正票据图像的步骤的流程示意图;
图5为另一个实施例中票据信息获取方法的流程示意图;
图6为一个实施例中票据信息获取装置的结构框图;
图7为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供的票据信息获取方法,可以应用于如图1所示的应用环境中。其中,终端102通过网络与服务器104通过网络进行通信。其中,终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备,服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在本实施例中,该票据信息获取方法可直接应用于终端102,或直接应用于服务器104。也可同时应用于终端102和服务器104的交互过程。
在本实施例中,终端102可获取用户上传的票据图像,并检测该票据图像中的文本框,以及确定每个文本框中的内容。接着,终端102可从服务器104获取票据模板,该票据模板中包括属性框和信息框,属性框中还包含文本内容。接着,终端102将票据模板的属性框中的文本内容和票据图像的文本框中的文本内容进行匹配,得到票据图像中与该属性框匹配的文本框。接着,终端102根据相匹配的属性框和文本框,确定票据模板和票据图像之间的映射关系。终端102根据映射关系将票据模板的属性框和信息框映射到票据图像上,并提取映射到票据图像上的属性框和信息框中的信息,所提取的信息为票据图像的目标信息。通过票据图像和票据模板之间的映射关系以提取票据图像的关键信息,能够简单快速提取关键信息,并且提取的关键信息更准确。
在一个实施例中,如图2所示,提供了一种票据信息获取方法,以该方法应用于图1中的终端为例进行说明,包括以下步骤:
步骤202,获取票据图像,并检测票据图像中的文本框和该文本框中的文本内容。
其中,票据图像是指电子票据或者纸质票据的图像。文本框是指票据图像中标示出文本内容的框。
具体地,用户上传电子票据的图像到终端,终端接收到该票据图像后,对该票据图像进行文本识别,得到票据图像中的文本框,以及每个文本框中的文本内容。
步骤204,获取票据模板的属性框中的文本内容,将属性框中的文本内容和文本框中的文本内容进行匹配,得到与该属性框相匹配的文本框;该票据模板中包括属性框和信息框。
其中,票据模板包括属性框和信息框,每个属性框中包含表示属性的文本内容,例如:名称、纳税人识别号、地址、电话、开户行及账号、发票代码、开票日期、发票号码、服务名称、规格型号、单位、数量、单价、金额、税率、税额等,但不限于此。每个属性框对应一个信息框,票据模板中的信息框中可不存在文本内容。
具体地,终端可选取票据模板的一个属性框,并将该选取的属性框中的文本内容和票据图像中的文本框中的文本内容进行一一匹配。当终端在票据图像中查找到与该选取的属性框中的文本内容相同的文本内容时,确定该相同文本内容对应的文本框,该文本框即与该选取的属性框相匹配。
接着,终端按照相同方式,选择票据模板中的预设数量的属性框,例如,从票据模板中选择4个属性框。根据预设数量的属性框中的文本内容和票据图像的文本框中的文本内容,确定出预设数量的属性框中每个属性框相匹配的文本框。进一步地,该预设数量的属性框中的文本内容均不相同。
在本实施例中,终端也可以按照相同的方式,确定票据模板中的每个属性框相匹配的票据图像的文本框。
在本实施例中,票据模板是根据标准的票据图像,即在水平视角下,票据图像的旋转角度为0的前提下,标出票据图像中的属性框和信息框后得到的票据模板。进一步地,该票据模板中可保留属性框、属性框中的文本内容和信息框,删除信息框中的文本信息。
步骤206,根据相匹配的属性框和文本框,确定该票据模板和该票据图像之间的映射关系。
其中,映射关系是指票据模板上的坐标转换到票据图像上的坐标时所使用的映射函数。通过映射关系可以将票据模板上的坐标转为票据图像上的坐标,也可以将票据图像上的坐标转换为票据模板上的坐标。
具体地,终端确定预设数量的属性框和相匹配的文本框后,将预设数量的属性框和相匹配的文本框通过TPS(ThinPlateSplineShape,薄板样条)非刚性变换,计算出该票据模板和该票据图像之间的映射函数。其中,TPS方法能够将一张图片形变到另一张图片上,是的两张图片上的关键点对应重合。进一步地,终端可通过opencv的函数createThinPlateSplineShapeTransformer得到票据模板和该票据图像之间的映射函数。
步骤208,根据映射关系将票据模板的属性框和信息框映射到该票据图像上,并将映射到该票据图像上的属性框和信息框中的信息作为该票据图像的目标信息。
其中,目标信息是指票据图像中的关键信息,例如,名称、纳税人识别号、地址、电话、开户行及账号、发票代码、开票日期、发票号码、服务名称、规格型号、单位、数量、单价、金额、税率、税额等属性词,以及每个属性对应的详细信息。
具体地,终端构建了票据模板和票据图像之间的映射关系后,可将票据模板中的每个属性框的坐标通过映射函数计算得到在票据图像上对应的坐标,从而将每个属性框映射到票据图像上。并且,将票据模板中的每个信息框的坐标通过映射函数计算得到在票据图像上对应的坐标,从而将每个信息框映射到票据图像上。
接着,终端可获取票据图像中的每个属性框和每个信息框中的文本内容,该文本内容即为票据图像的目标信息。
本实施例中,通过获取票据图像,并检测该票据图像中的文本框和该文本框中的文本内容,获取票据模板的属性框中的文本内容,将该属性框中的文本内容和该文本框中的文本内容进行匹配,得到与该属性框相匹配的文本框,从而可通过文本内容准确匹配到属性框对应的文本框。该票据模板中包括属性框和信息框,根据相匹配的属性框和文本框,能够构建票据模板和票据图像之间的映射关系。根据映射关系将票据模板的属性框和信息框映射到该票据图像上,从而可以将票据模板中的关键信息所使用的框映射到票据图像中,能够确定票据图像中的关键信息所在的位置。将映射到该票据图像上的属性框和信息框中的信息作为该票据图像的目标信息,从而能够根据关键信息所在的位置提取出关键信息,使得提取的信息更准确,提高了关键信息获取的准确性。
在一个实施例中,如图3所示,在该获取票据图像之后,还包括:
步骤302,确定票据图像上的两个图标之间的相对位置。
其中,两个图标的相对位置是指一个图标相对于另一个图标的方位。例如,图标A在图标B的上方、图标B在图标A的北偏东60度等。
具体地,电子票据上一般有两个印章,这两个印章即为所指的两个图标,如图4(a)所示,一个在电子票据的上部分中间的位置,即图标A,一个在电子票据的右下角位置,即图标B。一般右下角的图标大,上部分中间的图标小,且两个图标都是椭圆的,在正常方向上小图标是水平方向的椭圆形,即图标A在正常方向上是水平的,图标B大于图标A。终端可根据图标A和图标B的大小及上下左右的位置来判断两个图标之间的相对位置。
步骤304,根据两个图标之间的相对位置确定该票据图像的偏转方向。
其中,偏转方向是指票据图像偏转的方向。该偏转方向包括顺时针方向和逆时针方向。例如,偏转方向为顺时针,则将票据图像按照逆时针进行旋转;偏转方向为逆时针,则将票据图像按照顺时针方向旋转。
具体地,终端可获取图标预设的相对位置,将预设的相对位置与终端确定的两个图标之间的相对位置进行比较。若两者的相对位置不相同,则表示票据图像发生了偏转。若两者的相对位置相同,还不能判定该票据图像是否发生偏转,需要继续执行步骤306。例如,预设的图标的相对位置为小图标在大图标的上方,票据图像中的小图标在大图标的下方,则可确定票据图像发生了偏转。
步骤306,确定两个图标中的小图标的长轴与坐标系的横轴的夹角,将该夹角作为该票据图像的偏转角度,该图标的形状为椭圆形。
其中,椭圆有两条对称轴,对称轴被椭圆所截,长的对称轴为椭圆的长轴,短的对称轴为短轴。
具体地,终端可以地平面为参照建立直角坐标系,并确定票据图像的图标在该坐标系中的坐标。进一步地,终端可确定两个图标中的小图标的长轴与图标的交点在该坐标系中的坐标。根据图标的长轴与图标的交点坐标计算出该图标的中心坐标。
接着,终端可穿过该图标的中心构建一条与坐标轴的x轴平行的横线,计算该图标的长轴与坐标轴的x轴平行的横线相交的夹角。将该夹角作为该票据图像的偏转角度。
进一步地,终端可获取两个图标的中心坐标、每个图标的长轴与该图标的两个交点坐标,根据两个图标的中心坐标、两个图标的长轴与各自图标的交点坐标,计算出图标的长轴与坐标轴的x轴平行的横线相交的夹角。
在本实施例中,当该夹角为0且票据图像中两个图标的相对位置与预设的相对位置相同时,表示该票据图像没有发生偏转。当该夹角为0且票据图像中两个图标的相对位置与预设的相对位置不相同时,表示该票据图像发生了180°偏转,或者是偏转了180°的整数倍。当该夹角不为0,表示该票据图像发生了偏转。
步骤308,根据偏转方向和偏转角度校正该票据图像。
具体地,终端计算出票据图像的偏转方向和偏移角度后,可按照偏转方向的相反方向旋转该偏移角度,即可将偏移的票据图像校正到正确的角度。例如,票据图像对应的偏转方向为顺时针,偏转角度为30°,则终端将该票据图像按照逆时针偏转30°,即可将票据图像还原成正常角度,即实现票据图像零偏转。
进一步地,终端确定小图标的椭圆中心坐标和大图标的椭圆中心坐标,以及小图标的长轴与x轴的夹角(即票据图像的偏转角度)后,通过以下步骤校正该票据图像:
当该偏转角度大于等于0度且小图标的横坐标小于大图标的横坐标,判定该偏转角度落在-45--45度或者225--315度的范围内,则将票据图像按照顺时针旋转该偏转角度。
当该偏转角度大于等于0度且小图标的横坐标大于大图标的横坐标,判定该偏转角度落在45--135度或者135--225度的范围内,则将票据图像逆时针旋转(180°-偏转角度)。
当该偏转角度小于0度且小图标的纵坐标小于大图标的纵坐标,判定该偏转角度落在-45--45度或者45--135度的范围内,则将票据图像按照逆时针旋转该偏转角度。
当该偏转角度小于0度且小图标的纵坐标大于大图标的纵坐标,判定该偏转角度落在135--225度或者225--315度的范围内,则将票据图像顺时针旋转(180°-偏转角度)。
该检测该票据图像中的文本框和该文本框中的文本内容,包括:
步骤310,检测校正后的票据图像中的文本框和该文本框中的文本内容。
具体地,终端对该校正后的票据图像进行文本识别,得到票据图像中的文本框,以及每个文本框中的文本内容。
在本实施例中,终端可通过预先对票据样本中的关键信息用文本框进行标注。将票据样本输入待训练的识别模型,根据识别模型对票据样本进行文本识别,输出用文本框标注关键信息的票据图像。接着,将识别模型输出的票据样本的标注信息和预先标注的文本框及文本框中的关键信息进行对比,确定识别模型输出的标注信息和预先标注的信息之间的差异,根据两者的差异调整模型参数,并反复进行训练,当两者的差异小于阈值时,停止训练,得到训练好的识别模型。
接着,终端将校正后的票据图像输入训练好的识别模型中,得到输出的票据图像上的文本框和每个文本框中的文本内容。
在本实施例中,根据票据图像中的两个图标之间的相对位置确定票据图像的偏转方向,从而根据图标的相对位置初步判断票据图像是否发生了偏移。再根据小椭圆图标的长轴与坐标轴横轴的夹角,得到偏转的角度,以按照偏转方向将票据图像旋转偏转角度,从而能够将发生偏转的票据图像还原为正常角度。
在一个实施例中,该确定该票据图像上的两个图标之间的相对位置,包括:确定该票据图像上的两个图标的坐标和每个图标所占的区域;根据该两个图标的坐标和每个图标所占的区域,确定该两个图标之间的相对位置。
具体地,电子票据中存在两个图标。则终端地平面为参照建立直角坐标系后,确定每个该票据图像中存在的两个图标的坐标。进一步地,可确定图标的长轴与该图标的两个交点坐标,图标的短轴和该图标的两个交点坐标,根据长轴对应的两个交点坐标和短轴对应的两个交点坐标,计算出该图标的外接矩形的面积。将该外接矩形的面积作为该图标所占的区域。根据各个图标的外接矩形的面积即可确定各个图标的大小。
接着,根据两个图标的坐标和图标所占的区域,可选择一个图标为参照物,确定其它图标相对于该参照物图标的位置。
例如,图标A的外接矩形的面积为9,图标B的外接矩形的面积为16,并且图标A的坐标均在图标B的坐标上方,则可确定小图标在大图标的上方。
在本实施例中,终端可构建两个图标的内接矩形,并计算内接矩形的面积,将该内接矩形的面积作为该图标所占的区域。根据各个图标的内接矩形的面积即可确定各个图标的大小。
在本实施例中,当票据图像中存在不止两个图标时,可选择任意两个图标计算相对位置。也可以按照类似的处理过程,选择一个图标作为参照物,确定其它图标相对于该参照物图标的位置。
本实施例中,通过确定该票据图像上的两个图标中每个图标的坐标,以及每个图标所占的区域,根据该两个图标中每个图标的坐标,以及每个图标所占的区域,确定该两个图标之间的相对位置,从而根据图标的相对位置是否发生改变确定票据图像是否发生了偏移。
在一个实施例中,在该确定该票据图像上的两个图标之间的相对位置之前,还包括:将该票据图像进行色彩空间转换处理,得到该票据图像对应的票据掩膜图像;根据该票据掩膜图像检测该票据图像中的两个图标。
其中,色彩空间转换是指将RGB(Red、Green、Blue)图像转换到其它颜色空间内。例如,RGB转HSV。HSV是一种将RGB色彩空间中的点在倒圆锥体中的表示方法。HSV即色相(Hue)、饱和度(Saturation)、明度(Value),又称HSB(B即Brightness)。色相是色彩的基本属性,就是平常说的颜色的名称,如红色、黄色等。饱和度(S)是指色彩的纯度,越高色彩越纯,低则逐渐变灰,取0-100%的数值。明度(V),取0-max(计算机中HSV取值范围和存储的长度有关)。HSV颜色空间可以用一个圆锥空间模型来描述。圆锥的顶点处,V=0,H和S无定义,代表黑色。圆锥的顶面中心处V=max,S=0,H无定义,代表白色。掩膜是一种图像滤镜的模板,可以遮挡图像的其他部分,筛选出图像中感兴趣的区域。
具体地,终端可将RGB的票据图像转换到HSV颜色空间内,得到该票据图像在该HSV颜色空间内的票据掩膜图像。接着,根据票据图像中图标的颜色,可检测出该票据图像中的图标。
在本实施例中,将RGB的票据图像转换到HSV颜色空间内的转换方式,具体如下:
设max等于r、g和b中的最大者,min为最小者。对应的HSV空间中的(h,s,v)值为:
v=max
并且,h在0到360°之间,s在0到100%之间,v在0到max之间。通过该转换公式,则可以将RGB的票据图像转换到HSV颜色空间内,从而检测出票据图像中的图标。
在本实施例中,通过将该票据图像进行色彩空间转换处理,得到该票据图像对应的票据掩膜图像,根据该票据掩膜图像检测该票据图像中的两个图标,从而能够根据票据图像中的图标的颜色准确筛选出图标。
在一个实施例中,该根据该票据掩膜图像检测该票据图像中的两个图标,包括:对该票据掩膜图像进行连通域处理,得到该票据掩膜图像中的图标掩膜图像;根据该图标掩膜图像确定该票据图像中的两个图标。
其中,连通区域(Connected Component)一般是指图像中具有相同像素值且位置相邻的前景像素点组成的图像区域(Region,Blob)。
具体地,终端对票据掩膜图像进行连通区域分析。连通区域分析(ConnectedComponent Analysis,Connected Component Labeling)是指将图像中的各个连通区域找出并标记。通过连通域分析,终端可得到票据掩膜图像中连通域的轮廓。接着,终端可对连通域的轮廓进行椭圆形拟合,得到拟合后的椭圆形面积。终端确定连通域的面积,当连通域面积除以拟合出的椭圆形面积大于0.2时,可判定该连通域为椭圆,该椭圆即为票据图像中的图标。由于图标的形状是标准的椭圆形,用椭圆形的数学函数去拟合图标,就可以过滤掉不是图标的部分,从而得到票据图像中正确的图标位置。
本实施例中,通过对该票据掩膜图像进行连通域处理,得到该票据掩膜图像中的图标掩膜图像,再根据该图标掩膜图像确定该票据图像中的两个图标,从而能够根据掩膜图像准确确定票据图像中的图标。
如图4(b)所示,为一个实施例中校正票据图像的流程图。步骤402,获取RGB票据图像。执行步骤404,将RGB的票据图像转换到HSV颜色空间内,得到票据图像对应的票据掩膜图像。接着执行步骤406和步骤408,通过对票据掩膜图像进行连通域处理,使用opencv函数findContours找到连通域的轮廓,然后使用opencv函数fitEllipse对轮廓进行椭圆形拟合。接着执行步骤410,当连通域面积除以拟合出的椭圆形面积大于0.2时,说明该连通域是一个椭圆,从而能够确定出票据掩膜图像中的图标。
在一个实施例中,该根据该票据掩膜图像检测该票据图像中的两个图标,包括:对该票据掩膜图像进行形态学处理,得到该票据掩膜图像中的图标掩膜图像;根据该票据掩膜图像中的图标掩膜图像确定该票据图像中的两个图标。
其中,形态学处理可包括腐蚀和膨胀。
具体地,终端可先对票据掩膜图像进行腐蚀操作,再进行膨胀操作,去除噪声。接着,终端对形态学处理后的票据掩膜图像进行引导滤波处理,实现边缘滤波操作,得到边缘提取的图标掩膜图像。
通过形态学处理和引导滤波处理可以保证得到的图标掩膜图像的噪点少或没有噪点,边缘更加柔和。
在一个实施例中,在该确定该票据图像上的两个图标之间的相对位置之前,还包括:将该票据图像进行二值化处理,得到该票据图像对应的二值化掩膜图像;根据该二值化掩膜图像检测该票据图像中的两个图标。
其中,二值化处理就是将图像上的像素点的灰度值设置为0或255,也就是将整个图像呈现出明显的只有黑和白的视觉效果。
具体地,终端将票据图像经过二值化处理后,得到二值化掩膜图像。
接着,终端可对二值化掩膜图像进行形态学出。形态学处理可包括腐蚀和膨胀。可先对二值化掩膜图像进行腐蚀操作,再进行膨胀操作,去除噪声;再对形态学处理后的二值化掩膜图像进行引导滤波处理,实现边缘滤波操作,得到边缘提取的图标掩膜图。
通过形态学处理和引导滤波处理可以保证得到的图标掩膜图像的噪点少或没有噪点,边缘更加柔和。
在一个实施例中,该方法还包括:当确定该票据图像的目标信息中存在的异常信息时,根据该目标信息中的非异常信息对该异常信息进行校正,其中,该目标信息中包括异常信息和非异常信息。
其中,异常信息是指目标信息中的不清楚或者缺失的信息。
具体地,票据图像中的信息可能存在字体模糊或者信息缺失的情况,导致提取得到的目标信息中存在信息不清楚、信息缺失等异常情况。或者正常的票据图像在目标信息的获取过程中,可能因为提取的失误,提取出来的目标信息中存在不清楚或者缺失的信息。
终端获取票据图像中的目标信息后,检测目标信息中是否存在不清楚或者缺失的信息。当终端检测到目标信息中存在不清楚或者缺失的信息时,终端可获取与该异常信息相关的其它非异常信息。接着,终端可以根据非异常信息对异常信息进行进行校正处理,从而将异常信息修改为准确的信息。
例如,目标信息中存在总金额、单价、数量等信息,总金额、单价和数量中的任意一个数据不清楚或者缺失,则终端可以根据总金额、单价、数量之间的关系,校正不清楚或者缺失的数据。或者,目标信息中的“有限公司”这四个字,在信息提取过程中有一个字预测错误,可以校正成正确的。
本实施例中,当确定该票据图像的目标信息中存在的异常信息时,根据该目标信息中的非异常信息对该异常信息进行校正,其中,该目标信息中包括异常信息和非异常信息,可通过正常信息对异常信息进行校正,保证了所获取的目标信息的正确性,从而能够提高票据信息获取的准确性。
如图5所示,为一个实施例中票据信息获取方法的流程图。
步骤502,终端获取待提取关键信息的票据图像,确定该票据图像的偏移方向和偏移角度,以执行步骤504,即对该票据图像进行矫正。接着,执行步骤506,终端对矫正后的票据图像进行文本检测,得到票据图像中的文本框508。执行步骤510,通过对文本框中的文本进行文本识别,得到步骤512的每个文本框中的文本内容。接着,执行步骤514,通过文本内容与预设的票据模板的属性框中的文本内容进行匹配,以确定票据图像中与属性框相匹配的文本框,从而根据相匹配的属性框和文本框确定票据图像和票据模板之间的映射关系。接着,执行步骤516,根据映射关系,将票据模板中的所有框映射到票据图像上,从而可提取出票据图像中的关键信息。接着,执行步骤518,对关键信息中的异常信息进行校正,得到票据图像的目标信息,即步骤520。
在一个实施例中,提供了一种票据信息获取方法,该方法包括:
终端获取RGB票据图像,将该票据图像进行色彩空间转换处理,得到该票据图像对应的票据掩膜图像。
接着,终端对该票据掩膜图像进行连通域处理,得到该票据掩膜图像中的图标掩膜图像;根据该图标掩膜图像确定该票据图像中的两个图标。
接着,终端确定该票据图像上的两个图标中每个图标的坐标,以及每个图标所占的区域。
进一步地,终端根据该两个图标中每个图标的坐标,以及每个图标所占的区域,确定该两个图标之间的相对位置。
接着,终端根据该两个图标之间的相对位置确定该票据图像的偏转方向。
接着,终端确定该两个图标中的一个图标的长轴与坐标系的横轴的夹角,将该夹角作为该票据图像的偏转角度,该图标的形状为椭圆形。
进一步地,终端根据该偏转方向和该偏转角度校正该票据图像。
接着,终端检测校正后的票据图像中的文本框和该文本框中的文本内容。
接着,终端获取票据模板的属性框中的文本内容,将该属性框中的文本内容和该文本框中的文本内容进行匹配,得到与该属性框相匹配的文本框;该票据模板中包括属性框和信息框。
进一步地,终端根据相匹配的属性框和文本框,确定该票据模板和该票据图像之间的映射关系。
进一步地,终端根据该映射关系将该票据模板的属性框和信息框映射到该票据图像上,并将映射到该票据图像上的属性框和信息框中的信息作为该票据图像的目标信息。
可选地,当确定该票据图像的目标信息中存在的异常信息时,终端根据该目标信息中的非异常信息对该异常信息进行校正,其中,该目标信息中包括异常信息和非异常信息。
本实施例中,通过将RGB票据图像进行色彩空间转换处理,得到票据掩膜图像,再将票据掩膜图像进行连通域处理以准确确定票据图像中的两个图标。根据两个图标的坐标和图标的大小,确定图标之间的相对位置,从而可计算出票据图像的偏转方向。根据图标的长轴与坐标系的横轴的夹角可得到该票据图像的偏转角度,以根据偏转方向和该偏转角度将该票据图像还原为正常角度。
检测该票据图像中的文本框和该文本框中的文本内容,获取票据模板的属性框中的文本内容,将该属性框中的文本内容和该文本框中的文本内容进行匹配,得到与该属性框相匹配的文本框,从而可通过文本内容准确匹配到属性框对应的文本框。根据相匹配的属性框和文本框,能够构建票据模板和票据图像之间的映射关系。根据映射关系将票据模板的属性框和信息框映射到该票据图像上,从而可以将票据模板中的关键信息所使用的框映射到票据图像中,能够确定票据图像中的关键信息所在的位置。将映射到该票据图像上的属性框和信息框中的信息作为该票据图像的目标信息,从而能够根据关键信息所在的位置提取出关键信息。并对提取的关键信息是否异常进行检测,对异常信息进行校正,使得提取的信息更准确,提高了关键信息获取的准确性。
应该理解的是,虽然图2-图5的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2-图5中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图6所示,提供了一种票据信息获取装置,包括:获取模块602、匹配模块604、确定模块606和映射模块608,其中:
获取模块602,用于获取票据图像,并检测该票据图像中的文本框和该文本框中的文本内容。
匹配模块604,用于获取票据模板的属性框中的文本内容,将该属性框中的文本内容和该文本框中的文本内容进行匹配,得到与该属性框相匹配的文本框;该票据模板中包括属性框和信息框。
确定模块606,用于根据相匹配的属性框和文本框,确定该票据模板和该票据图像之间的映射关系。
映射模块608,用于根据该映射关系将该票据模板的属性框和信息框映射到该票据图像上,并将映射到该票据图像上的属性框和信息框中的信息作为该票据图像的目标信息。
本实施例中,通过获取票据图像,并检测该票据图像中的文本框和该文本框中的文本内容,获取票据模板的属性框中的文本内容,将该属性框中的文本内容和该文本框中的文本内容进行匹配,得到与该属性框相匹配的文本框,从而可通过文本内容准确匹配到属性框对应的文本框。该票据模板中包括属性框和信息框,根据相匹配的属性框和文本框,能够构建票据模板和票据图像之间的映射关系。根据映射关系将票据模板的属性框和信息框映射到该票据图像上,从而可以将票据模板中的关键信息所使用的框映射到票据图像中,能够确定票据图像中的关键信息所在的位置。将映射到该票据图像上的属性框和信息框中的信息作为该票据图像的目标信息,从而能够根据关键信息所在的位置提取出关键信息,使得提取的信息更准确,提高了关键信息获取的准确性。
在一个实施例中,该获取模块602还用于:确定该票据图像上的两个图标之间的相对位置;根据该两个图标之间的相对位置确定该票据图像的偏转方向;确定该两个图标中小图标的长轴与坐标系的横轴的夹角,将该夹角作为该票据图像的偏转角度,该图标的形状为椭圆形;根据该偏转方向和该偏转角度校正该票据图像;
该获取模块602还用于:检测校正后的票据图像中的文本框和该文本框中的文本内容。
在本实施例中,根据票据图像中的两个图标之间的相对位置确定票据图像的偏转方向,从而根据图标的相对位置初步判断票据图像是否发生了偏移。再根据任一个椭圆图标的长轴与坐标轴横轴的夹角,得到偏转的角度,以按照偏转方向将票据图像旋转偏转角度,从而能够将发生偏转的票据图像还原为正常角度。
在一个实施例中,该获取模块602还用于:确定该票据图像上的两个图标的坐标和每个图标所占的区域;根据该两个图标的坐标和每个图标所占的区域,确定该两个图标之间的相对位置。
本实施例中,通过确定该票据图像上的两个图标中每个图标的坐标,以及每个图标所占的区域,根据该两个图标中每个图标的坐标,以及每个图标所占的区域,确定该两个图标之间的相对位置,从而根据图标的相对位置是否发生改变确定票据图像是否发生了偏移。
在一个实施例中,该获取模块602还用于:将该票据图像进行色彩空间转换处理,得到该票据图像对应的票据掩膜图像;根据该票据掩膜图像检测该票据图像中的两个图标。
在本实施例中,通过将该票据图像进行色彩空间转换处理,得到该票据图像对应的票据掩膜图像,根据该票据掩膜图像检测该票据图像中的两个图标,从而能够根据票据图像中的图标的颜色准确筛选出图标。
在一个实施例中,该获取模块602还用于:对该票据掩膜图像进行连通域处理,得到该票据掩膜图像中的图标掩膜图像;根据该图标掩膜图像确定该票据图像中的两个图标。
本实施例中,通过对该票据掩膜图像进行连通域处理,得到该票据掩膜图像中的图标掩膜图像,再根据该图标掩膜图像确定该票据图像中的两个图标,从而能够根据掩膜图像准确确定票据图像中的图标。
在一个实施例中,该获取模块602还用于:对该票据掩膜图像进行形态学处理,得到该票据掩膜图像中的图标掩膜图像;根据该票据掩膜图像中的图标掩膜图像确定该票据图像中的两个图标。
通过形态学处理和引导滤波处理可以保证得到的图标掩膜图像的噪点少或没有噪点,边缘更加柔和。
在一个实施例中,该装置还包括:校正模块。该校正模块用于:当确定该票据图像的目标信息中存在的异常信息时,根据该目标信息中的非异常信息对该异常信息进行校正,其中,该目标信息中包括异常信息和非异常信息。
本实施例中,当确定该票据图像的目标信息中存在的异常信息时,根据该目标信息中的非异常信息对该异常信息进行校正,其中,该目标信息中包括异常信息和非异常信息,可通过正常信息对异常信息进行校正,保证了所获取的目标信息的正确性,从而能够提高票据信息获取的准确性。
关于票据信息获取装置的具体限定可以参见上文中对于票据信息获取方法的限定,在此不再赘述。上述票据信息获取装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种票据信息获取方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图7中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:获取票据图像,并检测该票据图像中的文本框和该文本框中的文本内容;获取票据模板的属性框中的文本内容,将该属性框中的文本内容和该文本框中的文本内容进行匹配,得到与该属性框相匹配的文本框;该票据模板中包括属性框和信息框;根据相匹配的属性框和文本框,确定该票据模板和该票据图像之间的映射关系;根据该映射关系将该票据模板的属性框和信息框映射到该票据图像上,并将映射到该票据图像上的属性框和信息框中的信息作为该票据图像的目标信息。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:确定该票据图像上的两个图标之间的相对位置;根据该两个图标之间的相对位置确定该票据图像的偏转方向;确定该两个图标中的小图标的长轴与坐标系的横轴的夹角,将该夹角作为该票据图像的偏转角度,该图标的形状为椭圆形;根据该偏转方向和该偏转角度校正该票据图像;检测校正后的票据图像中的文本框和该文本框中的文本内容。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:确定该票据图像上的两个图标的坐标和每个图标所占的区域;根据该两个图标的坐标和每个图标所占的区域,确定该两个图标之间的相对位置。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:将该票据图像进行色彩空间转换处理,得到该票据图像对应的票据掩膜图像;根据该票据掩膜图像检测该票据图像中的两个图标。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:对该票据掩膜图像进行连通域处理,得到该票据掩膜图像中的图标掩膜图像;根据该图标掩膜图像确定该票据图像中的两个图标。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:对该票据掩膜图像进行形态学处理,得到该票据掩膜图像中的图标掩膜图像;根据该票据掩膜图像中的图标掩膜图像确定该票据图像中的两个图标。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:当确定该票据图像的目标信息中存在的异常信息时,根据该目标信息中的非异常信息对该异常信息进行校正,其中,该目标信息中包括异常信息和非异常信息。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:获取票据图像,并检测该票据图像中的文本框和该文本框中的文本内容;获取票据模板的属性框中的文本内容,将该属性框中的文本内容和该文本框中的文本内容进行匹配,得到与该属性框相匹配的文本框;该票据模板中包括属性框和信息框;根据相匹配的属性框和文本框,确定该票据模板和该票据图像之间的映射关系;根据该映射关系将该票据模板的属性框和信息框映射到该票据图像上,并将映射到该票据图像上的属性框和信息框中的信息作为该票据图像的目标信息。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:确定该票据图像上的两个图标之间的相对位置;根据该两个图标之间的相对位置确定该票据图像的偏转方向;确定该两个图标中的小图标的长轴与坐标系的横轴的夹角,将该夹角作为该票据图像的偏转角度,该图标的形状为椭圆形;根据该偏转方向和该偏转角度校正该票据图像;检测校正后的票据图像中的文本框和该文本框中的文本内容。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:确定该票据图像上的两个图标的坐标和每个图标所占的区域;根据该两个图标的坐标和每个图标所占的区域,确定该两个图标之间的相对位置。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:将该票据图像进行色彩空间转换处理,得到该票据图像对应的票据掩膜图像;根据该票据掩膜图像检测该票据图像中的两个图标。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:对该票据掩膜图像进行连通域处理,得到该票据掩膜图像中的图标掩膜图像;根据该图标掩膜图像确定该票据图像中的两个图标。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:对该票据掩膜图像进行形态学处理,得到该票据掩膜图像中的图标掩膜图像;根据该票据掩膜图像中的图标掩膜图像确定该票据图像中的两个图标。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:当确定该票据图像的目标信息中存在的异常信息时,根据该目标信息中的非异常信息对该异常信息进行校正,其中,该目标信息中包括异常信息和非异常信息。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,该的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上该实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种票据信息获取方法,所述方法包括:
获取票据图像,并检测所述票据图像中的文本框和所述文本框中的文本内容;
获取票据模板的属性框中的文本内容,将所述属性框中的文本内容和所述文本框中的文本内容进行匹配,得到与所述属性框相匹配的文本框;所述票据模板中包括属性框和信息框;
根据相匹配的属性框和文本框,确定所述票据模板和所述票据图像之间的映射关系;
根据所述映射关系将所述票据模板的属性框和信息框映射到所述票据图像上,并将映射到所述票据图像上的属性框和信息框中的信息作为所述票据图像的目标信息。
2.根据权利要求1所述的方法,其特征在于,在所述获取票据图像之后,还包括:
确定所述票据图像上的两个图标之间的相对位置;
根据所述两个图标之间的相对位置确定所述票据图像的偏转方向;
确定所述两个图标中的小图标的长轴与坐标系的横轴的夹角,将所述夹角作为所述票据图像的偏转角度,所述图标的形状为椭圆形;
根据所述偏转方向和所述偏转角度校正所述票据图像;
所述检测所述票据图像中的文本框和所述文本框中的文本内容,包括:
检测校正后的票据图像中的文本框和所述文本框中的文本内容。
3.根据权利要求2所述的方法,其特征在于,所述确定所述票据图像上的两个图标之间的相对位置,包括:
确定所述票据图像上的两个图标的坐标和每个图标所占的区域;
根据所述两个图标的坐标和所述每个图标所占的区域,确定所述两个图标之间的相对位置。
4.根据权利要求2所述的方法,其特征在于,在所述确定所述票据图像上的两个图标之间的相对位置之前,还包括:
将所述票据图像进行色彩空间转换处理,得到所述票据图像对应的票据掩膜图像;
根据所述票据掩膜图像检测所述票据图像中的两个图标。
5.根据权利要求4所述的方法,其特征在于,所述根据所述票据掩膜图像检测所述票据图像中的两个图标,包括:
对所述票据掩膜图像进行连通域处理,得到所述票据掩膜图像中的图标掩膜图像;
根据所述图标掩膜图像确定所述票据图像中的两个图标。
6.根据权利要求4所述的方法,其特征在于,所述根据所述票据掩膜图像检测所述票据图像中的两个图标,包括:
对所述票据掩膜图像进行形态学处理,得到所述票据掩膜图像中的图标掩膜图像;
根据所述票据掩膜图像中的图标掩膜图像确定所述票据图像中的两个图标。
7.根据权利要求1至6中任一项所述的方法,其特征在于,所述方法还包括:
当确定所述票据图像的目标信息中存在的异常信息时,根据所述目标信息中的非异常信息对所述异常信息进行校正,其中,所述目标信息中包括异常信息和非异常信息。
8.一种票据信息获取装置,其特征在于,所述装置包括:
获取模块,用于获取票据图像,并检测所述票据图像中的文本框和所述文本框中的文本内容;
匹配模块,用于获取票据模板的属性框中的文本内容,将所述属性框中的文本内容和所述文本框中的文本内容进行匹配,得到与所述属性框相匹配的文本框;所述票据模板中包括属性框和信息框;
确定模块,用于根据相匹配的属性框和文本框,确定所述票据模板和所述票据图像之间的映射关系;
映射模块,用于根据所述映射关系将所述票据模板的属性框和信息框映射到所述票据图像上,并将映射到所述票据图像上的属性框和信息框中的信息作为所述票据图像的目标信息。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010012175.XA CN111241974B (zh) | 2020-01-07 | 2020-01-07 | 票据信息获取方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010012175.XA CN111241974B (zh) | 2020-01-07 | 2020-01-07 | 票据信息获取方法、装置、计算机设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111241974A true CN111241974A (zh) | 2020-06-05 |
CN111241974B CN111241974B (zh) | 2023-10-27 |
Family
ID=70876033
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010012175.XA Active CN111241974B (zh) | 2020-01-07 | 2020-01-07 | 票据信息获取方法、装置、计算机设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111241974B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115497114A (zh) * | 2022-11-18 | 2022-12-20 | 中国烟草总公司四川省公司 | 一种卷烟物流收货票据的结构化信息提取方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180018545A1 (en) * | 2015-04-30 | 2018-01-18 | Hewlett-Packard Development Company, L.P. | Soft-proof file generation based on print-ready data |
CN109002768A (zh) * | 2018-06-22 | 2018-12-14 | 深源恒际科技有限公司 | 基于神经网络文本检测识别的医疗票据类文字提取方法 |
CN109308476A (zh) * | 2018-09-06 | 2019-02-05 | 邬国锐 | 票据信息处理方法、系统及计算机可读存储介质 |
CN109635627A (zh) * | 2018-10-23 | 2019-04-16 | 中国平安财产保险股份有限公司 | 图片信息提取方法、装置、计算机设备及存储介质 |
CN110263694A (zh) * | 2019-06-13 | 2019-09-20 | 泰康保险集团股份有限公司 | 一种票据识别方法及装置 |
CN110457973A (zh) * | 2018-05-07 | 2019-11-15 | 北京中海汇银财税服务有限公司 | 一种票据识别的方法及系统 |
CN110516541A (zh) * | 2019-07-19 | 2019-11-29 | 金蝶软件(中国)有限公司 | 文本定位方法、装置、计算机可读存储介质和计算机设备 |
CN110516664A (zh) * | 2019-08-16 | 2019-11-29 | 咪咕数字传媒有限公司 | 票据识别方法、装置、电子设备及存储介质 |
CN110647829A (zh) * | 2019-09-12 | 2020-01-03 | 全球能源互联网研究院有限公司 | 一种票据的文本识别方法及系统 |
-
2020
- 2020-01-07 CN CN202010012175.XA patent/CN111241974B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180018545A1 (en) * | 2015-04-30 | 2018-01-18 | Hewlett-Packard Development Company, L.P. | Soft-proof file generation based on print-ready data |
CN110457973A (zh) * | 2018-05-07 | 2019-11-15 | 北京中海汇银财税服务有限公司 | 一种票据识别的方法及系统 |
CN109002768A (zh) * | 2018-06-22 | 2018-12-14 | 深源恒际科技有限公司 | 基于神经网络文本检测识别的医疗票据类文字提取方法 |
CN109308476A (zh) * | 2018-09-06 | 2019-02-05 | 邬国锐 | 票据信息处理方法、系统及计算机可读存储介质 |
CN109635627A (zh) * | 2018-10-23 | 2019-04-16 | 中国平安财产保险股份有限公司 | 图片信息提取方法、装置、计算机设备及存储介质 |
CN110263694A (zh) * | 2019-06-13 | 2019-09-20 | 泰康保险集团股份有限公司 | 一种票据识别方法及装置 |
CN110516541A (zh) * | 2019-07-19 | 2019-11-29 | 金蝶软件(中国)有限公司 | 文本定位方法、装置、计算机可读存储介质和计算机设备 |
CN110516664A (zh) * | 2019-08-16 | 2019-11-29 | 咪咕数字传媒有限公司 | 票据识别方法、装置、电子设备及存储介质 |
CN110647829A (zh) * | 2019-09-12 | 2020-01-03 | 全球能源互联网研究院有限公司 | 一种票据的文本识别方法及系统 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115497114A (zh) * | 2022-11-18 | 2022-12-20 | 中国烟草总公司四川省公司 | 一种卷烟物流收货票据的结构化信息提取方法 |
CN115497114B (zh) * | 2022-11-18 | 2024-03-12 | 中国烟草总公司四川省公司 | 一种卷烟物流收货票据的结构化信息提取方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111241974B (zh) | 2023-10-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107798299B (zh) | 票据信息识别方法、电子装置及可读存储介质 | |
US20240078646A1 (en) | Image processing method, image processing apparatus, and non-transitory storage medium | |
WO2019169772A1 (zh) | 图片处理方法、电子装置及存储介质 | |
CN111028213A (zh) | 图像缺陷检测方法、装置、电子设备及存储介质 | |
JP5387193B2 (ja) | 画像処理システム、画像処理装置およびプログラム | |
CN108090511B (zh) | 图像分类方法、装置、电子设备及可读存储介质 | |
US20200372248A1 (en) | Certificate recognition method and apparatus, electronic device, and computer-readable storage medium | |
US8615129B2 (en) | Pattern separating extraction device, and pattern separating extraction method | |
WO2021017272A1 (zh) | 病理图像标注方法、装置、计算机设备及存储介质 | |
WO2023284502A1 (zh) | 图像处理方法、装置、设备和存储介质 | |
CN110781877B (zh) | 一种图像识别方法、设备及存储介质 | |
CN111553251B (zh) | 证件四角残缺检测方法、装置、设备及存储介质 | |
CN110728687B (zh) | 文件图像分割方法、装置、计算机设备和存储介质 | |
CN112396050B (zh) | 图像的处理方法、设备以及存储介质 | |
CN112396047B (zh) | 训练样本生成方法、装置、计算机设备和存储介质 | |
CN111291741B (zh) | 单据识别方法、装置、计算机设备和存储介质 | |
US11906441B2 (en) | Inspection apparatus, control method, and program | |
CN111241974B (zh) | 票据信息获取方法、装置、计算机设备和存储介质 | |
CN116311327B (zh) | 处方图像检测方法 | |
CN117115823A (zh) | 一种篡改识别方法、装置、计算机设备和存储介质 | |
CN112668578A (zh) | 指针式仪表读数方法、装置、计算机设备和存储介质 | |
CN109753981B (zh) | 一种图像识别的方法及装置 | |
CN111950354A (zh) | 印章归属国识别方法、装置及电子设备 | |
CN111950356A (zh) | 印章文本定位方法、装置及电子设备 | |
CN111159976A (zh) | 文本位置标注方法、装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |