CN110781877B - 一种图像识别方法、设备及存储介质 - Google Patents

一种图像识别方法、设备及存储介质 Download PDF

Info

Publication number
CN110781877B
CN110781877B CN201911029852.2A CN201911029852A CN110781877B CN 110781877 B CN110781877 B CN 110781877B CN 201911029852 A CN201911029852 A CN 201911029852A CN 110781877 B CN110781877 B CN 110781877B
Authority
CN
China
Prior art keywords
seal
bill
image
processed
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911029852.2A
Other languages
English (en)
Other versions
CN110781877A (zh
Inventor
李月
黄光伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201911029852.2A priority Critical patent/CN110781877B/zh
Publication of CN110781877A publication Critical patent/CN110781877A/zh
Application granted granted Critical
Publication of CN110781877B publication Critical patent/CN110781877B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Abstract

本发明实施例公开了一种图像识别方法、设备及存储介质，方法包括：检测票据图像中的印章，作为待处理印章；将待处理印章与不同类型的印章模板进行匹配，确定匹配成功的印章模板；基于匹配成功的印章模板对应的位置关系，识别待处理印章所属票据中的预设图形，得到识别结果；基于识别结果，确定待处理印章所属票据在图像中的区域，作为票据区域；对票据区域进行识别；可见，第一方面，本方案实现了基于票据图像自动识别票据，节省了人力；第二方面，本方案能够识别出票据在图像中的区域，然后对该区域进行识别，这样，相比于识别整张图像，提高了识别准确率。

Description

一种图像识别方法、设备及存储介质
技术领域
本发明涉及计算机视觉技术领域，特别是指一种图像识别方法、设备及存储介质。
背景技术
一些场景中，相关人员需要对票据进行识别、归档等操作。一些票据，比如出租车发票，发票面积较小，发票中的字体也较小，对于相关人员来说，识别较多数量的出租车发票，需要付出较多精力，是一个较大的挑战。
因此，目前亟需一种自动识别票据的方案，以节省人力。
发明内容
有鉴于此，本发明的目的在于提出一种图像识别方法、设备及存储介质，以实现自动识别票据。
基于上述目的，本发明实施例提供了一种图像识别方法，包括：
获取票据图像；
检测所述票据图像中的印章，作为待处理印章；
将所述待处理印章与不同类型的印章模板进行匹配，确定匹配成功的印章模板；
基于所述匹配成功的印章模板对应的位置关系，识别所述待处理印章所属票据中的预设图形，得到识别结果；所述位置关系为：印章与预设图形之间的位置关系；
基于所述识别结果，确定所述待处理印章所属票据在所述图像中的区域，作为票据区域；
对所述票据区域进行识别。
可选的，所述票据图像中包括多张类型相同的票据，相同类型的票据对应的印章模板以及位置关系相同；
所述将所述待处理印章与不同类型的印章模板进行匹配，确定匹配成功的印章模板，包括：
将一个待处理印章与不同类型的印章模板进行匹配，确定匹配成功的印章模板；
所述基于所述匹配成功的印章模板对应的位置关系，识别所述待处理印章所属票据中的预设图形，得到识别结果，包括：
基于所述匹配成功的印章模板对应的位置关系，分别识别每个待处理印章所属票据中的预设图形，得到识别结果；
所述基于所述识别结果，确定所述待处理印章所属票据在所述图像中的区域，作为票据区域；对所述票据区域进行识别，包括：
基于所述识别结果，分别确定每个待处理印章所属票据在所述图像中的区域，作为票据区域；分别对每个票据区域进行识别。
可选的，所述检测所述票据图像中的印章，作为待处理印章，包括：
将所述票据图像从BGR颜色空间转换至HSV颜色空间，得到转换后的图像；
在所述转换后的图像中，确定第一预设颜色像素所在的图像区域，作为待处理印章。
可选的，所述票据图像中包括多张票据，每张票据中包括至少一个印章；
所述基于所述匹配成功的印章模板对应的位置关系，识别所述待处理印章所属票据中的预设图形，得到识别结果，包括：
在所述转换后的图像中，通过确定第二预设颜色像素所在的图像区域，得到多个预设图形；
针对每个待处理印章，基于与该待处理印章匹配成功的印章模板对应的位置关系，计算该待处理印章对应的预设图形在所述票据图像中的位置，作为图形位置；基于所述图形位置，在得到的多个预设图形中确定该待处理印章对应的预设图形；
所述基于所述识别结果，确定所述待处理印章所属票据在所述图像中的区域，作为票据区域，包括：
基于该待处理印章以及该待处理印章对应的预设图形，确定该待处理印章所属票据在所述图像中的区域，作为一个票据区域。
可选的，所述票据图像中包括的票据为出租车发票；所述第一预设颜色为红色，所述第二预设颜色为黑色；所述不同类型的印章模板为不同地区的出租车发票印章模板，所述预设图形为出租车发票中的黑色方块；所述待处理印章为所述出租车发票中的顶部印章。
可选的，所述基于该待处理印章在所述票据图像中的位置、以及所述图形位置，确定该待处理印章所属票据在所述图像中的区域，作为一个票据区域，包括：
若该待处理印章对应一个预设图形，则以所述图形位置的左边缘作为左边界；以该待处理印章的中心点为对称中心，对所述左边界进行镜像，得到右边界；以顶部印章的上边缘为上边界；基于所述上边界、所述左边界、所述右边界，得到一个票据区域。
可选的，所述基于该待处理印章在所述票据图像中的位置、以及所述图形位置，确定该待处理印章所属票据在所述图像中的区域，作为一个票据区域，包括：
若该待处理印章对应两个预设图形，则以该待处理印章对应的左侧预设图形的左边缘作为左边界；以该待处理印章对应的右侧预设图形的右边缘作为右边界；以顶部印章的上边缘为上边界；基于所述上边界、所述左边界、所述右边界，得到一个票据区域。
可选的，所述方法还包括：
以所述票据图像的下边缘作为下边界；
所述基于所述上边界、所述左边界、所述右边界，得到一个票据区域，包括：
基于所述上边界、所述左边界、所述右边界、所述下边界，得到一个候选票据区域；
判断得到的候选票据区域纵向上是否存在重叠区域；如果存在，由上至下依次确定当前候选票据区域；
针对每个当前候选票据区域，在位于该当前候选票据区域下方的重叠区域中，确定与该当前候选票据区域中顶部印章距离最近的顶部印章，作为相邻印章；将所述相邻印章的上边缘确定为该当前候选票据区域的目标下边界；基于所述目标下边界，对该当前候选票据区域的边界进行调整，得到一个票据区域。
可选的，所述对所述票据区域进行识别之后，还包括：
基于所述匹配成功的印章模板对应的归档条目，对每个票据区域的识别结果进行归档。
可选的，采用如下步骤获取不同地区的出租车发票印章模板、及其对应的位置关系和归档条目：
获取不同地区的出租车发票图像，作为样本图像；
针对每个地区的样本图像，检测黑色方块以及顶部红色印章；
基于所述顶部红色印章，生成出租车发票印章模板；确定所述顶部红色印章与所述黑色方块之间的位置关系；设定所述样本图像中的归档条目；
建立所述出租车发票印章模板、所述位置关系和所述归档条目之间的关联关系。
基于上述目的，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任意一种图像识别方法。
基于上述目的，本发明实施例还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行上述任意一种图像识别方法。
应用本发明所示实施例，检测票据图像中的印章，作为待处理印章；将待处理印章与不同类型的印章模板进行匹配，确定匹配成功的印章模板；基于匹配成功的印章模板对应的位置关系，识别待处理印章所属票据中的预设图形，得到识别结果；基于识别结果，确定待处理印章所属票据在图像中的区域，作为票据区域；对票据区域进行识别；可见，第一方面，本方案实现了基于票据图像自动识别票据，节省了人力；第二方面，本方案能够识别出票据在图像中的区域，然后对该区域进行识别，这样，相比于识别整张图像，提高了识别准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的图像识别方法的第一种流程示意图；
图2为本发明实施例提供的一种出租车发票示意图；
图3为本发明实施例提供的另一种出租车发票示意图；
图4为本发明实施例提供的一种确定票据区域的过程示意图；
图5为本发明实施例提供的图像识别方法的第二种流程示意图；
图6为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。
为了达到上述目的，本发明实施例提供了一种图像识别方法、设备及存储介质，该方法可以应用于可以电子设备，比如，手机、平板电脑、计算机等等，具体不做限定。下面首先对该图像识别方法进行详细介绍。
图1为本发明实施例提供的图像识别方法的第一种流程示意图，包括：
S101：获取票据图像。
举例来说，可以针对需要识别的票据，拍摄票据图像，该票据图像中可以包括一张或多张票据。
如果执行本方案的电子设备(执行主体，以下简称本电子设备)中配置有摄像头，则可以通过该摄像头采集票据图像；或者，本电子设备也可以获取其他相机采集的票据图像；获取票据图像的具体方式不做限定。
S102：检测票据图像中的印章，作为待处理印章。
票据中通常包括印章。比如，假设票据为出租车发票，出租车发票中通常包括一个或两个椭圆的红色印章，不同地区出租车发票的印章不同。如果一张出租车发票中包括多个印章，可以仅检测出租车发票中的顶部印章，或者也可以仅检测出租车发票中的底部印章，或者也可以检测出租车发票中的全部印章。为了方便描述，将检测到的印章称为待处理印章。
一种实施方式中，S102可以包括：将所述票据图像从BGR颜色空间转换至HSV颜色空间，得到转换后的图像；在所述转换后的图像中，确定第一预设颜色像素所在的图像区域，作为待处理印章。
举例来说，可以利用OpenCV(一种跨平台计算机视觉库)或者其他工具，将图像由BGR(Blue Green Red，蓝绿红)颜色空间转换至HSV(Hue Saturation Value，色调，饱和度，明度)颜色空间。为了区分描述，将转换到HSV颜色空间的图像称为转换后的图像。
仍以出租车发票为例来说，出租车发票中的印章为红色，一种实施方式中，可以在转换后的图像中，确定红色像素所在的图像区域，作为待处理印章。一种情况下，可以在转换后的图像中，提取红色印章的矩形边缘。
或者，其他实施方式中，也可以根据票据中印章的形状，在图像中检测出印章区域。比如，出租车发票中的印章为椭圆形，可以在票据图像中检测椭圆形区域，作为待处理印章。
S103：将待处理印章与不同类型的印章模板进行匹配，确定匹配成功的印章模板。
举例来说，可以预先获取不同类型的印章模板。仍以出租车发票为例来说，该不同类型的印章模板可以为不同地区的出租车发票印章模板。一种情况下，可以获取不同地区的出租车发票图像，作为样本图像；分别检测每个地区的样本图像中的红色印章，基于检测结果，生成每个地区的出租车发票印章模板。将S102中检测得到的印章与不同地区的出租车发票印章模板进行匹配。
一种实施方式中，所述票据图像中包括多张类型相同的票据，相同类型的票据对应的印章模板以及印章与预设图形之间的位置关系相同；这种实施方式中，S103中可以包括：将一个待处理印章与不同类型的印章模板进行匹配，确定匹配成功的印章模板。
仍以出租车发票为例来说，一种情况下，票据图像中包括的出租车发票可以为同一地区的出租车发票，也就是说票据图像中的出租车发票对应同一地区的印章模板；这种情况下，可以仅将票据图像中的一个印章与各地区的印章模板进行匹配，匹配成功的印章模板适用于该票据图像中的其他印章。比如，可以以票据图像的左上角点设定为原点，将距离原点最近的一个印章与各地区的印章模板进行匹配。或者，也可以任选一个印章与各地区的印章模板进行匹配。这样，相比于将票据图像中的全部印章与各地区的印章模板进行匹配，提高了匹配效率，减少了计算量。
S104：基于匹配成功的印章模板对应的位置关系，识别待处理印章所属票据中的预设图形，得到识别结果；该位置关系为：印章与预设图形之间的位置关系。
S105：基于识别结果，确定待处理印章所属票据在所述图像中的区域，作为票据区域。
S106：对票据区域进行识别。
仍以出租车发票为例来说，预设图形可以为黑色方块。如果一张出租车发票中包括多个印章，S104中的“位置关系”可以表示出租车发票中的顶部印章与黑色方块之间的位置关系。
参考图2，R1表示出租车发票中的顶部红色印章(图2中未示出颜色)，B1和B2表示出租车发票中的两个黑色方块，θ1表示R1中心点与B1中心点之间的夹角，θ2表示R1中心点与B2中心点之间的夹角，d1表示R1中心点与B1中心点之间的距离，d2表示R1中心点与B2中心点之间的距离。
对于同一地区的出租车发票来说，R1与B1和B2的位置关系是相同的，因此，同一地区的“印章模板”与“印章和黑色方块之间的位置关系”存在对应关系。这样，便可以确定匹配成功的印章模板对应的“位置关系”；基于该位置关系可以识别待处理印章所属票据中的预设图形。
或者，在其他票据中，预设图形可以为其他颜色或者其他形状的图像，具体不做限定。
S102中可以检测到一个或多个印章，如果检测到一个印章，可以根据上述位置关系确定预设图形的位置，在该位置处识别出预设图形，根据该印章该预设图形，确定票据区域。
如果检测得到多个印章，则S104可以包括：基于所述匹配成功的印章模板对应的位置关系，分别识别每个待处理印章所属票据中的预设图形，得到识别结果。S105可以包括：基于所述识别结果，分别确定每个待处理印章所属票据在所述图像中的区域，作为票据区域；S106可以包括：分别对每个票据区域进行识别。
上述一种实施方式中，将所述票据图像从BGR颜色空间转换至HSV颜色空间，得到转换后的图像；如果检测得到多个印章，可以在所述转换后的图像中，通过确定第二预设颜色像素所在的图像区域，得到多个预设图形。
针对每个待处理印章，基于与该待处理印章匹配成功的印章模板对应的位置关系(印章与预设图形之间的位置关系)，计算该待处理印章对应的预设图形在所述票据图像中的位置，作为图形位置；基于所述图形位置，在得到的多个预设图形中确定该待处理印章对应的预设图形；基于该待处理印章以及该待处理印章对应的预设图形，确定该待处理印章所属票据在所述图像中的区域，作为一个票据区域。
以出租车发票为例来说，预设图形可以为黑色方块，第二预设颜色可以为黑色。如果票据图像中存在多张出租车发票，可以先检测出图像中的所有黑色方块，然后根据“印章和黑色方块之间的位置关系”，分别确定每个印章对应的黑色方块，也就是确定属于同一张出租车发票的印章和黑色方块，然后便可以确定出每张出租车发票在图像中的区域。
举例来说，一些地区的出租车发票中包括一个黑色方块，比如上海的出租车发票，如图3所示，一些地区的出租车发票中包括两个黑色方块，比如北京的出租车发票，如图2所示。
对于包括一个黑色方块的出租车发票(印章对应一个预设图形)来说，可以以所述图形位置(黑色方块在图像中的位置)的左边缘作为左边界；以待处理印章的中心点为对称中心，对所述左边界进行镜像，得到右边界；以顶部印章的上边缘为上边界；基于所述上边界、所述左边界、所述右边界，得到一个票据区域。
对于包括两个黑色方块的出租车发票(印章对应两个预设图形)来说，可以以该待处理印章对应的左侧预设图形(黑色方块)的左边缘作为左边界；以该待处理印章对应的右侧预设图形(黑色方块)的右边缘作为右边界；以顶部印章的上边缘为上边界；基于所述上边界、所述左边界、所述右边界，得到一个票据区域。
一种情况下，可以以所述票据图像的下边缘作为下边界；基于所述上边界、所述左边界、所述右边界、所述下边界，得到票据区域。
另一种情况下，可以以所述票据图像的下边缘作为下边界；基于所述上边界、所述左边界、所述右边界、所述下边界，得到一个候选票据区域；判断得到的候选票据区域纵向上是否存在重叠区域；如果不存在，则将该候选票据区域确定为一个票据区域；如果存在，由上至下依次确定当前候选票据区域。
针对每个当前候选票据区域，在位于该当前候选票据区域下方的重叠区域中，确定与该当前候选票据区域中顶部印章距离最近的顶部印章，作为相邻印章；将所述相邻印章的上边缘确定为该当前候选票据区域的目标下边界；基于所述目标下边界，对该当前候选票据区域的边界进行调整，得到一个票据区域。
如果图像中只有一行票据，票据区域的下边界可以为图像的下边缘，这样，票据区域纵向上不存在重叠区域，。如果图像中包括多行票据，参考图4，若将图像的下边缘作为每个票据区域的下边界，则各票据区域之间存在重叠，图4中的阴影区域即为重叠区域。由上至下依次确定当前候选票据区域，也就是依次对每行票据进行处理，确定每行票据的票据区域。
以第一行第一个票据为例来说，虚线框表示当前候选票据区域，第二行第一个票据中的顶部印章为其相邻印章，将该相邻印章的上边缘作为第一行第一个票据的目标下边界，根据该目标下边界将虚线框调整为实线框，实线框即为第一行第一个票据的票据区域。
可以针对每个票据区域，将该票据区域进行格式调整后输入文本检测网络模型，比如CTPN(Connectionist Text Proposal Network，连接文本提议网络)算法模型，得到票据上的各个检测框，检测框中可以包括票据中的数字、文字等；然后将带有检测框的票据区域输入文本识别网络模型，比如CRNN(Convolutional Recurrent Neural Network，卷积递归神经网络)算法模型，得到检测框中的识别结果，也就是该票据区域的识别结果。
一种实施方式中，可以预先设定各印章模板对应的归档条目；这样，可以基于所述匹配成功的印章模板对应的归档条目，对每个票据区域的识别结果进行归档。
以出租车发票为例来说，上述得到的票据区域的识别结果可以包括：里程、金额、时间等等；假设北京的印章模板对应的归档条目为：里程和金额，则可以提取识别结果中的里程和金额，对提取的数据进行归档，以便相关人员进行审核或者其他应用。
应用本发明所示实施例，第一方面，本方案实现了基于票据图像自动识别票据，节省了人力；第二方面，本方案能够识别出票据在图像中的区域，然后对该区域进行识别，这样，相比于识别整张图像，提高了识别准确率。
一些相关方案中，只能对单张票据进行识别，如果一张图像中存在多张票据，则不能进行识别，这就需要对针对每张票据，分别拍摄一张图像，然后对各张图像进行识别，如果票据数量较多，则拍摄操作较繁琐，且图像数量较大，识别效率较低。而本方案中，票据图像中可以包括多张票据，也就是说，本方案可以基于一张图像，对多张票据进行识别，简化了拍摄操作，且提高了识别效率。
一些相关方案中，如果一张图像中存在多张票据，则利用图像分割算法，将图像中的多张票据进行分割。但是票据通常粘贴在白纸上，票据没有明显的边界，分割效果较差，进而导致识别结果不准确。而本方案中，基于印章与预设图形之间的位置关系，识别票据中的预设图形，并基于识别结果，确定票据区域；这样，不需要利用图像分割算法，将图像中的多张票据进行分割，解决了这一技术问题，提高了识别准确度。
一些相关方案中，如果一张图像中存在多张票据，则预先训练得到目标检测模型，通过该目标检测模型识别图像中的多张票据。但是训练目标检测模型有如下缺点：1、需要收集较多图像作为训练样本，收集工作量大；2、人工标注训练数据，耗费较多人力；3、训练过程计算量较大。而本方案中，基于印章与预设图形之间的位置关系，识别票据中的预设图形，并基于识别结果，确定票据区域；这样，不需要训练目标检测模型，解决了这一技术问题，节省了工作量、人力和计算量。
图5为本发明实施例提供的图像识别方法的第二种流程示意图，包括：
S501：获取不同地区的出租车发票图像，作为样本图像。
S502：针对每个地区的样本图像，检测黑色方块以及顶部红色印章；基于所述顶部红色印章，生成出租车发票印章模板；确定顶部红色印章与黑色方块之间的位置关系；设定样本图像中的归档条目；建立该出租车发票印章模板、该位置关系和该归档条目之间的关联关系。
S501-S502为识别票据图像之前预先执行的步骤。预先得到出租车发票印章模板、顶部红色印章与黑色方块之间的位置关系、归档条目，以及这三者之间的关联关系。为了区分描述，将这一过程中涉及的图像称为样本图像，将后续进行图像识别过程中涉及的图像称为票据图像。
举例来说，可以收集需要识别地区的出租车发票各1张，水平放置收集到的出租车发票，并拍摄发票图像，作为样本图像。收集的发票数量、放置发票的角度及具体的拍摄过程不做限定。
针对每个地区的出租车发票图像，将该图像由BGR颜色空间转换到HSV颜色空间，确定HSV图像中的红色像素区域。如果发票中包括多个红色印章，在HSV图像中确定出多个红色像素区域，则可以确定每个红色像素区域的中心点位置，取中心点位置最上方的红色像素区域，也就是顶部红色印章。可以裁剪出顶部红色印章区域，将其保存为模板A。或者，也可以对该顶部红色印章区域进行特征提取，将提取出的特征保存为模板A。或者，也可以对该顶部红色印章区域进行建模，将建模结果保存为模板A。
在上述HSV图像中确定黑色像素区域，可以先进行腐蚀运算再进行膨胀运算，这样，图像中仅留下发票边缘的黑色方块，确定黑色方块的中心点位置。
参考图2，计算顶部红章R1中心点与黑色方块B1中心点的相对角度θ1和距离d1，顶部红章R1中心点与黑色方块B2中心点的相对角度θ2和距离d2。将(d1，θ1)(d2，θ2)保存为模板B。图2仅对北京地区的出租车发票进行示例说明，其他地区出租车发票的处理流程类似，不再赘述。
再针对该地区的出租车发票图像，设定其归档条目，比如里程、金额，等等，具体不做限定。将设定的归档条目对应的数据格式保存为模板C。
针对同一地区的出租车发票，将上述得到的模板A、模板B和模板C之间建立关联关系。也就是说，每个地区的出租车发票均分别对应三种模板。
S503：获取票据图像；票据图像中包括多张相同地区的出租车发票。
一种情况下，可以将待识别的出租车发票并列、不重叠、同方向放置，并且背景无文字，比如，可以将出租车发票并列、不重叠、同方向粘贴于白纸上，同一张白纸上可以粘贴同一地区的出租车发票。针对该白纸拍摄得到票据图像。
S504：将票据图像从BGR颜色空间转换至HSV颜色空间，得到转换后的图像。
S505：在转换后的图像中，确定红色像素所在的图像区域，作为印章。
如果发票中包括多个红色印章，在转换后的图像中确定出多个红色像素区域，一种情况下，可以确定每个红色像素区域的中心点位置，取中心点位置最上方的红色像素区域，也就是顶部红色印章。
S506：将一个印章与不同地区的出租车发票印章模板进行匹配，确定匹配成功的印章模板。
如上所述，票据图像中包括的出租车发票为同一地区的出租车发票，也就是说票据图像中的出租车发票对应同一地区的印章模板；这种情况下，可以仅将票据图像中的一个印章与各地区的印章模板进行匹配，匹配成功的印章模板适用于该票据图像中的其他印章。比如，可以以票据图像的左上角点设定为原点，将距离原点最近的一个印章与各地区的印章模板进行匹配。或者，也可以任选一个印章与各地区的印章模板进行匹配。这样，相比于将票据图像中的全部印章与各地区的印章模板进行匹配，提高了匹配效率，减少了计算量。
举例来说，可以在票据图像中提取一个印章的矩形边缘内的全部像素，如果矩形角度倾斜，可以调整矩形角度，将提取的像素保存为一张图片，将该图片与各地区的印章模板，也就是上述模板A进行匹配。如果该图片与某个模板A的相似度高于设定阈值，则认为匹配成功，假设该匹配成功的模板A为北京地区的出租车发票印章模板。
S507：在转换后的图像中，通过确定黑色像素所在的图像区域，得到多个黑色方块。S507与S505-S506的执行顺序不做限定。
举例来说，可以在转换后的图像中，先进行腐蚀运算再进行膨胀运算，这样，转换后的图像中仅留下发票边缘的黑色方块，确定黑色方块的中心点位置。
票据图像中存在多张出租车发票，可以检测出图像中的所有黑色方块，后续再分别确定每个印章对应的黑色方块，也就是确定属于同一张出租车发票的印章和黑色方块。
S508：针对每张出租车发票中的顶部印章，基于与该顶部印章匹配成功的印章模板对应的位置关系，计算该顶部印章对应的黑色方块在票据图像中的位置，作为图形位置；基于图形位置，在得到的多个黑色方块中确定该顶部印章对应的黑色方块；基于该顶部印章以及该顶部印章对应的黑色方块，确定该顶部印章所属票据在图像中的区域，作为一个票据区域。
如上所述，匹配成功的模板A为北京地区的出租车发票印章模板，从预先得到的模板中，取出北京地区的模板B，也就是顶部红章中心点与黑色方块中心点的相对角度和距离(S508中的位置关系)。
根据模板B以及S507中检测出的所有黑色方块，可以确定每个印章对应的黑色方块，也就是确定属于同一张出租车发票的印章和黑色方块，然后便可以确定出每张出租车发票在图像中的区域。
参考图2，对于顶部印章R1来说，根据模板B中的位置关系，可以计算出两个黑色方块的中心点位置，假设分别为(x1，y1)和(x2，y2)，在S507确定出的黑色方块中，选择中心点距离(x1，y1)最近的黑色方块、和中心点距离(x2，y2)最近的黑色方块，作为R1对应的两个黑色方块，也就是与R1属于同一发票的两个黑色方块。
根据R1和两个黑色方块，可以确定出租车发票在图像中的区域。比如，参考图4，可以以左侧黑色方块的左边缘作为左边界；以右侧黑色方块的右边缘作为右边界；以顶部印章的上边缘为上边界；以票据图像的下边缘作为下边界；基于上边界、左边界、右边界、下边界，得到一个候选票据区域，如图4中虚线框所示。
图4中，各候选票据区域之间存在重叠，图4中的阴影区域即为重叠区域。由上至下依次确定当前候选票据区域，也就是依次对每行票据进行处理，确定每行票据的票据区域。
以第一行第一个票据为例来说，虚线框表示当前候选票据区域，第二行第一个票据中的顶部印章为其相邻印章，将该相邻印章的上边缘作为第一行第一个票据的目标下边界，根据该目标下边界将虚线框调整为实线框，实线框即为第一行第一个票据的票据区域。
S509：分别对每个票据区域进行识别。
可以针对每个票据区域，将该票据区域进行格式调整后输入文本检测网络模型，比如CTPN(Connectionist Text Proposal Network，连接文本提议网络)算法模型，得到票据上的各个检测框，检测框中可以包括票据中的数字、文字等；然后将带有检测框的票据区域输入文本识别网络模型，比如CRNN(Convolutional Recurrent Neural Network，卷积递归神经网络)算法模型，得到检测框中的识别结果，也就是该票据区域的识别结果。
S510：基于匹配成功的印章模板对应的归档条目，对每个票据区域的识别结果进行归档。
上述内容中，将各地区的归档条目对应的数据格式保存为模板C，延续上述例子，可以调取北京地区的模板C，对S509中得到识别结果进行归档。假设北京地区对应的归档条目为：里程和金额，则可以提取识别结果中的里程和金额，对提取的数据进行归档，以便相关人员进行审核或者其他应用。
应用本发明图5所示实施例，第一方面，本方案实现了基于票据图像自动识别票据，节省了人力；第二方面，本方案能够识别出票据在图像中的区域，然后对该区域进行识别，这样，相比于识别整张图像，提高了识别准确率。
一些相关方案中，只能对单张票据进行识别，如果一张图像中存在多张票据，则不能进行识别，这就需要对针对每张票据，分别拍摄一张图像，然后对各张图像进行识别，如果票据数量较多，则拍摄操作较繁琐，且图像数量较大，识别效率较低。而本方案中，票据图像中可以包括多张票据，也就是说，本方案可以基于一张图像，对多张票据进行识别，简化了拍摄操作，且提高了识别效率。
一些相关方案中，如果一张图像中存在多张票据，则利用图像分割算法，将图像中的多张票据进行分割。但是票据通常粘贴在白纸上，票据没有明显的边界，分割效果较差，进而导致识别结果不准确。而本方案中，基于印章与预设图形之间的位置关系，识别票据中的预设图形，并基于识别结果，确定票据区域；这样，不需要利用图像分割算法，将图像中的多张票据进行分割，解决了这一技术问题，提高了识别准确度。
一些相关方案中，如果一张图像中存在多张票据，则预先训练得到目标检测模型，通过该目标检测模型识别图像中的多张票据。但是训练目标检测模型有如下缺点：1、需要收集较多图像作为训练样本，收集工作量大；2、人工标注训练数据，耗费较多人力；3、训练过程计算量较大。而本方案中，基于印章与预设图形之间的位置关系，识别票据中的预设图形，并基于识别结果，确定票据区域；这样，不需要训练目标检测模型，解决了这一技术问题，节省了工作量、人力和计算量。
本发明实施例还提供一种电子设备，如图6所示，包括存储器602、处理器601及存储在存储器602上并可在处理器601上运行的计算机程序，处理器601执行所述程序时实现上述任一种图像识别方法。
本发明实施例还提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行上述任一种图像识别方法。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。
另外，为简化说明和讨论，并且为了不会使本发明难以理解，在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本发明难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本发明的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本发明的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本发明。因此，这些描述应被认为是说明性的而不是限制性的。
尽管已经结合了本发明的具体实施例对本发明进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态RAM(DRAM))可以使用所讨论的实施例。
本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本发明的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种图像识别方法，其特征在于，包括：
获取票据图像，所述票据图像中包括的票据为出租车发票；
检测所述票据图像中的印章，作为待处理印章，所述待处理印章为所述出租车发票中的顶部印章；
将所述待处理印章与不同类型的印章模板进行匹配，确定匹配成功的印章模板；
基于所述匹配成功的印章模板对应的位置关系，识别所述待处理印章所属票据中的预设图形，得到识别结果，所述预设图形为出租车发票中的黑色方块；所述位置关系为：印章与预设图形之间的位置关系；
基于所述识别结果，确定所述待处理印章所属票据在所述图像中的区域，作为票据区域，包括：
根据所述待处理印章和所述预设图形确定所述待处理印章所属票据的上边界、左边界和右边界，包括：
若该待处理印章对应一个预设图形，则以所述图形位置的左边缘作为左边界；以该待处理印章的中心点为对称中心，对所述左边界进行镜像，得到右边界；以顶部印章的上边缘为上边界；或者
若该待处理印章对应两个预设图形，则以该待处理印章对应的左侧预设图形的左边缘作为左边界；以该待处理印章对应的右侧预设图形的右边缘作为右边界；以顶部印章的上边缘为上边界；
以所述票据图像的下边缘作为下边界；
基于所述上边界、所述左边界、所述右边界、所述下边界，得到一个候选票据区域；
从所述候选票据区域中确定票据区域，还包括：判断得到的候选票据区域纵向上是否存在重叠区域；如果存在，由上至下依次确定当前候选票据区域；
针对每个当前候选票据区域，在位于该当前候选票据区域下方的重叠区域中，确定与该当前候选票据区域中顶部印章距离最近的顶部印章，作为相邻印章；将所述相邻印章的上边缘确定为该当前候选票据区域的目标下边界；基于所述目标下边界，对该当前候选票据区域的边界进行调整，得到一个票据区域；
对所述票据区域进行识别，包括：针对每个票据区域，将该票据区域进行格式调整后输入文本检测网络模型，得到票据上的各个检测框；然后将带有检测框的票据区域输入文本识别网络模型，得到检测框中的识别结果作为该票据区域的识别结果。
2.根据权利要求1所述的方法，其特征在于，所述票据图像中包括多张类型相同的票据，相同类型的票据对应的印章模板以及位置关系相同；
所述将所述待处理印章与不同类型的印章模板进行匹配，确定匹配成功的印章模板，包括：
将一个待处理印章与不同类型的印章模板进行匹配，确定匹配成功的印章模板；
所述基于所述匹配成功的印章模板对应的位置关系，识别所述待处理印章所属票据中的预设图形，得到识别结果，包括：
基于所述匹配成功的印章模板对应的位置关系，分别识别每个待处理印章所属票据中的预设图形，得到识别结果；
所述基于所述识别结果，确定所述待处理印章所属票据在所述图像中的区域，作为票据区域；对所述票据区域进行识别，包括：
基于所述识别结果，分别确定每个待处理印章所属票据在所述图像中的区域，作为票据区域；分别对每个票据区域进行识别。
3.根据权利要求1所述的方法，其特征在于，所述检测所述票据图像中的印章，作为待处理印章，包括：
将所述票据图像从BGR颜色空间转换至HSV颜色空间，得到转换后的图像；
在所述转换后的图像中，确定第一预设颜色像素所在的图像区域，作为待处理印章。
4.根据权利要求3所述的方法，其特征在于，所述票据图像中包括多张票据，每张票据中包括至少一个印章；
所述基于所述匹配成功的印章模板对应的位置关系，识别所述待处理印章所属票据中的预设图形，得到识别结果，包括：
在所述转换后的图像中，通过确定第二预设颜色像素所在的图像区域，得到多个预设图形；
针对每个待处理印章，基于与该待处理印章匹配成功的印章模板对应的位置关系，计算该待处理印章对应的预设图形在所述票据图像中的位置，作为图形位置；基于所述图形位置，在得到的多个预设图形中确定该待处理印章对应的预设图形；
所述基于所述识别结果，确定所述待处理印章所属票据在所述图像中的区域，作为票据区域，包括：
基于该待处理印章以及该待处理印章对应的预设图形，确定该待处理印章所属票据在所述图像中的区域，作为一个票据区域。
5.根据权利要求4所述的方法，其特征在于，所述第一预设颜色为红色，所述第二预设颜色为黑色；所述不同类型的印章模板为不同地区的出租车发票印章模板。
6.根据权利要求5所述的方法，其特征在于，所述对所述票据区域进行识别之后，还包括：
基于所述匹配成功的印章模板对应的归档条目，对每个票据区域的识别结果进行归档。
7.根据权利要求6所述的方法，其特征在于，采用如下步骤获取不同地区的出租车发票印章模板、及其对应的位置关系和归档条目：
获取不同地区的出租车发票图像，作为样本图像；
针对每个地区的样本图像，检测黑色方块以及顶部红色印章；
基于所述顶部红色印章，生成出租车发票印章模板；确定所述顶部红色印章与所述黑色方块之间的位置关系；设定所述样本图像中的归档条目；
建立所述出租车发票印章模板、所述位置关系和所述归档条目之间的关联关系。
8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任意一项所述的方法。
9.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行权利要求1至7任意一项所述方法。
CN201911029852.2A 2019-10-28 2019-10-28 一种图像识别方法、设备及存储介质 Active CN110781877B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911029852.2A CN110781877B (zh) 2019-10-28 2019-10-28 一种图像识别方法、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911029852.2A CN110781877B (zh) 2019-10-28 2019-10-28 一种图像识别方法、设备及存储介质

Publications (2)

Publication Number Publication Date
CN110781877A CN110781877A (zh) 2020-02-11
CN110781877B true CN110781877B (zh) 2024-01-23

Family

ID=69386921

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911029852.2A Active CN110781877B (zh) 2019-10-28 2019-10-28 一种图像识别方法、设备及存储介质

Country Status (1)

Country Link
CN (1) CN110781877B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111291726B (zh) * 2020-03-12 2023-08-08 泰康保险集团股份有限公司 医疗票据分拣方法、装置、设备和介质
CN111683202B (zh) * 2020-06-01 2021-12-21 北京惠朗时代科技有限公司 一种票据盖章方法、装置、设备及存储介质
CN111723799B (zh) * 2020-06-17 2023-08-25 北京惠朗时代科技有限公司 坐标定位方法、装置、设备及存储介质
CN112037077A (zh) * 2020-09-03 2020-12-04 平安健康保险股份有限公司 基于人工智能的印章识别方法、装置、设备及存储介质
CN116778513B (zh) * 2023-08-24 2023-10-27 国网山西省电力公司太原供电公司 一种电力行业票据的智能归档控制方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013105383A (ja) * 2011-11-15 2013-05-30 Takanao Handa 複数文書認識システム、複数文書認識用テンプレート及び複数文書認識方法
JP2014229154A (ja) * 2013-05-24 2014-12-08 株式会社ブレイン 物品識別システムとそのプログラム
CN105512658A (zh) * 2015-12-03 2016-04-20 小米科技有限责任公司 矩形物体的图像识别方法及装置
CN105528607A (zh) * 2015-10-30 2016-04-27 小米科技有限责任公司 区域提取方法、模型训练方法及装置
CN106934632A (zh) * 2015-12-30 2017-07-07 远光软件股份有限公司 发票验真方法及发票验真系统
CN107085722A (zh) * 2015-09-25 2017-08-22 阿里巴巴集团控股有限公司 在图像中定位指定信息的方法及装置
CN109064304A (zh) * 2018-08-03 2018-12-21 四川长虹电器股份有限公司 财务报销票据自动处理系统及方法
CN109255300A (zh) * 2018-08-14 2019-01-22 中国平安财产保险股份有限公司 票据信息提取方法、装置、计算机设备及存储介质
CN109740548A (zh) * 2019-01-08 2019-05-10 北京易道博识科技有限公司 一种报销票据图像分割方法及系统
CN109766886A (zh) * 2019-01-02 2019-05-17 南京林业大学 一种基于图像识别的水位识别方法
CN109858324A (zh) * 2018-12-10 2019-06-07 西南石油大学 语言图文识别系统及其实现方法
CN110334640A (zh) * 2019-06-28 2019-10-15 苏宁云计算有限公司 一种票据审核方法及系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002077609A (ja) * 2000-09-05 2002-03-15 Canon Inc 画像判別装置及び複写機及び画像判別方法
US7809615B2 (en) * 2008-01-31 2010-10-05 Bill.Com, Inc. Enhanced automated capture of invoices into an electronic payment system
US9412174B2 (en) * 2013-10-16 2016-08-09 3M Innovative Properties Company Note recognition for overlapping physical notes
CN103996239B (zh) * 2014-06-13 2016-08-24 广州广电运通金融电子股份有限公司 一种基于多线索融合的票据定位识别方法及系统
US10198651B2 (en) * 2017-02-16 2019-02-05 Toshiba Tec Kabushiki Kaisha Article recognition apparatus, settlement apparatus and article recognition method

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013105383A (ja) * 2011-11-15 2013-05-30 Takanao Handa 複数文書認識システム、複数文書認識用テンプレート及び複数文書認識方法
JP2014229154A (ja) * 2013-05-24 2014-12-08 株式会社ブレイン 物品識別システムとそのプログラム
CN107085722A (zh) * 2015-09-25 2017-08-22 阿里巴巴集团控股有限公司 在图像中定位指定信息的方法及装置
CN105528607A (zh) * 2015-10-30 2016-04-27 小米科技有限责任公司 区域提取方法、模型训练方法及装置
CN105512658A (zh) * 2015-12-03 2016-04-20 小米科技有限责任公司 矩形物体的图像识别方法及装置
CN106934632A (zh) * 2015-12-30 2017-07-07 远光软件股份有限公司 发票验真方法及发票验真系统
CN109064304A (zh) * 2018-08-03 2018-12-21 四川长虹电器股份有限公司 财务报销票据自动处理系统及方法
CN109255300A (zh) * 2018-08-14 2019-01-22 中国平安财产保险股份有限公司 票据信息提取方法、装置、计算机设备及存储介质
CN109858324A (zh) * 2018-12-10 2019-06-07 西南石油大学 语言图文识别系统及其实现方法
CN109766886A (zh) * 2019-01-02 2019-05-17 南京林业大学 一种基于图像识别的水位识别方法
CN109740548A (zh) * 2019-01-08 2019-05-10 北京易道博识科技有限公司 一种报销票据图像分割方法及系统
CN110334640A (zh) * 2019-06-28 2019-10-15 苏宁云计算有限公司 一种票据审核方法及系统

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Eigen-points [image matching];M. Covell et al;《Proceedings of 3rd IEEE International Conference on Image Processing》;20020806;第471-474页 *
Watershed Algorithm for PCB Automatic Optical Inspection Systems;Ping Feng et al.;《3rd International Conference on Mechatronics and Industrial Informatics (ICMII 2015)》;第310-318页 *
公共安全大数据技术与应用;李聪;《吉林大学出版社》;20181031;第79-80页 *
基于机器视觉的车票票面信息识别系统研究;许亚杰;《中国优秀博硕士学位论文全文数据库(硕士)工程科技Ⅱ辑》;20190715(第07期);第26-29页 *
基于窗口Hough变换与阈值分割的矩形识别算法;贺辉等;《计算机系统应用》;第27卷(第3期);第131-135页 *
表格型票据图像手写体特殊符号的混合检测算法;宋晓宁等;《南京理工大学学报》;第36卷(第6期);第909-914页 *

Also Published As

Publication number Publication date
CN110781877A (zh) 2020-02-11

Similar Documents

Publication Publication Date Title
CN110781877B (zh) 一种图像识别方法、设备及存储介质
CN108364010B (zh) 一种车牌识别方法、装置、设备及计算机可读存储介质
CN110414507B (zh) 车牌识别方法、装置、计算机设备和存储介质
US9530045B2 (en) Method, system and non-transitory computer storage medium for face detection
CN107688772B (zh) 保单信息录入的方法、装置、计算机设备及存储介质
US8494273B2 (en) Adaptive optical character recognition on a document with distorted characters
Shen et al. Improving OCR performance with background image elimination
CN103824091B (zh) 一种用于智能交通系统的车牌识别方法
CN110569769A (zh) 图像识别方法、装置、计算机设备和存储介质
CN111340037B (zh) 文本版面分析方法、装置、计算机设备和存储介质
CN109919002B (zh) 黄色禁停线识别方法、装置、计算机设备及存储介质
CN111259891B (zh) 一种自然场景下身份证识别方法、装置、设备和介质
CN114283156B (zh) 一种用于去除文档图像颜色及手写笔迹的方法及装置
CN110598566A (zh) 图像处理方法、装置、终端和计算机可读存储介质
CN111291741B (zh) 单据识别方法、装置、计算机设备和存储介质
CN114049499A (zh) 用于连续轮廓的目标对象检测方法、设备及存储介质
JP2011248702A (ja) 画像処理装置、画像処理方法、画像処理プログラム及びプログラム記憶媒体
CN109635729B (zh) 一种表格识别方法及终端
CN110569716A (zh) 一种货架图像翻拍检测方法
CN111178359A (zh) 车牌号码识别方法、装置和设备及计算机存储介质
CN113920520A (zh) 图像文本识别方法、系统、存储介质及电子设备
Goel et al. Vehicle registration plate recognition system using template matching
CN115410191B (zh) 文本图像识别方法、装置、设备和存储介质
CN115457585A (zh) 作业批改的处理方法、装置、计算机设备及可读存储介质
CN113065559B (zh) 图像比对方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant