CN109753965A - 一种基于深度学习的凭证识别方法和装置、计算机设备 - Google Patents
一种基于深度学习的凭证识别方法和装置、计算机设备 Download PDFInfo
- Publication number
- CN109753965A CN109753965A CN201811535209.2A CN201811535209A CN109753965A CN 109753965 A CN109753965 A CN 109753965A CN 201811535209 A CN201811535209 A CN 201811535209A CN 109753965 A CN109753965 A CN 109753965A
- Authority
- CN
- China
- Prior art keywords
- image
- voucher
- masking
- identification
- effective coverage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000013135 deep learning Methods 0.000 title claims abstract description 23
- 238000012549 training Methods 0.000 claims abstract description 39
- 238000003062 neural network model Methods 0.000 claims abstract description 27
- 238000010801 machine learning Methods 0.000 claims abstract description 8
- 238000012545 processing Methods 0.000 claims description 18
- 238000000605 extraction Methods 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 235000013399 edible fruits Nutrition 0.000 claims description 5
- 210000004218 nerve net Anatomy 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 9
- 230000000694 effects Effects 0.000 abstract 1
- 230000008569 process Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000009394 selective breeding Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Landscapes
- Character Discrimination (AREA)
Abstract
本发明实施例提供了一种基于深度学习的凭证识别方法和装置、计算机设备。本发明实施例通过获取纸质凭证的凭证图像，确定纸质凭证对应的包含字符的有效区域的图像蒙版，基于图像蒙版在凭证图像中提取有效区域的图像，进而通过预设识别模型对凭证图像中的有效区域图像执行识别，得到字符识别结果，其中，预设识别模型为预先采用至少一个训练样本对进行机器学习训练得到的神经网络模型，每个训练样本对包括一个用于作为神经网络模型的训练输入数据的字符图像样本、和一个用于作为神经网络模型的训练目标的字符识别结果。解决了相关技术中对于纸质文件中字符的识别效率较低的技术问题，进而达到了提高纸质文件中字符的识别效率的技术效果。
Description
【技术领域】
本发明涉及图像识别领域，尤其涉及一种基于深度学习的凭证识别方法和装置、计算机设备。
【背景技术】
图像识别是指利用计算机对图像进行处理、分析和理解，以识别图像中待识别的目标对像的技术。图像识别是人工智能的一个重要领域。目前主要的图像识别方法有基于神经网络的图像识别方法、基于小波矩的图像识别方法等等。现有技术中，图像识别也可以应用于识别图像中的文本字符，例如，基于每个文本字符的特征识别出对应的字符。但是，在实现本发明过程中，发明人发现现有技术中至少存在如下问题：对于拍摄纸质文件得到的图像，由于图像清晰度以及文件中的无效信息的干扰，会使得识别结果不够准确，或者需要训练出极为复杂的神经网络模型。
针对相关技术中对于纸质文件中字符的识别效率较低的技术问题，目前尚未提出有效的解决方案。
【发明内容】
有鉴于此，本发明实施例提供了一种基于深度学习的凭证识别方法和装置、计算机设备，用以解决相关技术中对于纸质文件中字符的识别效率较低的技术问题。
一方面，本发明实施例提供了一种基于深度学习的凭证识别方法，包括：获取凭证图像，其中，凭证图像为纸质凭证的图像；在至少一个图像蒙版中确定纸质凭证对应的图像蒙版，其中，图像蒙版为预先标记出包含字符的有效区域的图像模板；基于纸质凭证对应的图像蒙版，在凭证图像中提取有效区域的图像；通过预设识别模型对凭证图像中的有效区域图像执行识别，得到字符识别结果，其中，预设识别模型为预先采用至少一个训练样本对进行机器学习训练得到的神经网络模型，每个训练样本对包括一个用于作为神经网络模型的训练输入数据的字符图像样本、和一个用于作为神经网络模型的训练目标的字符识别结果。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，在至少一个图像蒙版中确定纸质凭证对应的图像蒙版，包括：获取至少一个标识图像，其中，每个标识图像中包括至少一个凭证标识，每个凭证标识对应一种凭证；将每个标识图像与凭证图像执行图像匹配，得到每个标识图像与凭证图像的相似度；获取相似度最高的标识图像所对应的图像蒙版，得到纸质凭证对应的图像蒙版，其中，每个标识图像对应一个图像蒙版。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，在基于图像蒙版，在凭证图像中提取有效区域的图像之前，该方法还包括：生成多个几何变形策略，其中，每个几何变形策略用于指示在凭证图像和图像蒙版中选择几何变形处理的执行对象，并指示几何变形处理的处理方式；分别对凭证图像和图像蒙版执行轮廓识别；在多个几何变形策略中，确定使凭证图像中的轮廓与图像蒙版中的轮廓的重合度最高的几何变形策略，并执行。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，通过预设识别模型对凭证图像中的有效区域图像执行识别，得到字符识别结果，包括：获取每个有效区域图像对应的预设识别模型；通过每个有效区域图像对应的预设识别模型，对对应的有效区域图像执行识别，得到每个有效区域图像的字符识别结果。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，在得到每个有效区域图像的字符识别结果之后，该方法还包括：确定每个有效区域图像对应的预设字符规则；基于每个有效区域图像对应的预设字符规则，对对应的有效区域图像的字符识别结果进行修正。
另一方面，本发明实施例提供了一种基于深度学习的凭证识别装置，包括：获取单元，用于获取凭证图像，其中，凭证图像为纸质凭证的图像；确定单元，用于在至少一个图像蒙版中确定纸质凭证对应的图像蒙版，其中，图像蒙版为预先标记出包含字符的有效区域的图像模板；提取单元，用于基于纸质凭证对应的图像蒙版，在凭证图像中提取有效区域的图像；识别单元，用于通过预设识别模型对凭证图像中的有效区域图像执行识别，得到字符识别结果，其中，预设识别模型为预先采用至少一个训练样本对进行机器学习训练得到的神经网络模型，每个训练样本对包括一个用于作为神经网络模型的训练输入数据的字符图像样本、和一个用于作为神经网络模型的训练目标的字符识别结果。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，确定单元包括：第一获取模块，用于获取至少一个标识图像，其中，每个标识图像中包括至少一个凭证标识，每个凭证标识对应一种凭证；匹配模块，用于将每个标识图像与凭证图像执行图像匹配，得到每个标识图像与凭证图像的相似度；第二获取模块，用于获取相似度最高的标识图像所对应的图像蒙版，得到纸质凭证对应的图像蒙版，其中，每个标识图像对应一个图像蒙版。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，该装置还包括：生成模块，用于在提取单元基于图像蒙版，在凭证图像中提取有效区域的图像之前，生成多个几何变形策略，其中，每个几何变形策略用于指示在凭证图像和图像蒙版中选择几何变形处理的执行对象，并指示几何变形处理的处理方式；第一识别模块，用于分别对凭证图像和图像蒙版执行轮廓识别；执行模块，用于在多个几何变形策略中，确定使凭证图像中的轮廓与图像蒙版中的轮廓的重合度最高的几何变形策略，并执行。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，识别单元包括：第三获取模块，用于获取每个有效区域图像对应的预设识别模型；第二识别模块，用于通过每个有效区域图像对应的预设识别模型，对对应的有效区域图像执行识别，得到每个有效区域图像的字符识别结果。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，该装置还包括：确定模块，用于在第二识别模块得到每个有效区域图像的字符识别结果之后，确定每个有效区域图像对应的预设字符规则；修正模块，用于基于每个有效区域图像对应的预设字符规则，对对应的有效区域图像的字符识别结果进行修正。
另一方面，本发明实施例还提供了一种计算机设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现本发明实施例的基于深度学习的凭证识别方法。
再一方面，本发明实施例还提供了一种存储介质，本发明实施例的存储介质包括计算机可读指令，当计算机读取并执行所述计算机可读指令时，使得计算机执行本发明实施例的基于深度学习的凭证识别方法。
上述技术方案中的一个技术方案具有如下有益效果：
通过与纸质凭证的图像蒙版确定凭证图像中包含字符的有效区域，无需对凭证图像的全部去进行识别，仅对有效区域图像执行识别，解决了相关技术中对于纸质文件中字符的识别效率较低的技术问题，提高了识别纸质文件中字符的效率，并且，由于采用预先准备的蒙版选取了有效区域图像有针对性的识别，还能够提高识别的准确率。
【附图说明】
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1是本发明实施例所提供的一种可选的基于深度学习的凭证识别方法的流程示意图；
图2是本发明实施例提供的一种计算机设备的组成框图；
图3是本发明实施例所提供的一种可选的基于深度学习的凭证识别装置的示意图。
【具体实施方式】
为了更好的理解本发明的技术方案，下面结合附图对本发明实施例进行详细描述。
应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
需要说明的是，尽管在本发明的权利要求书、说明书和附图中可能采用术语第一、第二、第三等来用于区别类似的对象XXX，应当理解，术语第一、第二、第三等不必用于描述特定的顺序或先后次序，仅用来将这些类似的对象XXX彼此区分开。例如，在不脱离本发明实施例范围的情况下，第一XXX也可以被称为第二XXX，类似地，第二XXX也可以被称为第一XXX。
取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
针对现有技术中所存在的相关技术中对于纸质文件中字符的识别效率较低的技术问题，本发明实施例提供了如下解决思路：获取凭证图像，其中，凭证图像为纸质凭证的图像；在至少一个图像蒙版中确定纸质凭证对应的图像蒙版，其中，图像蒙版为预先标记出包含字符的有效区域的图像模板；基于纸质凭证对应的图像蒙版，在凭证图像中提取有效区域的图像；通过预设识别模型对凭证图像中的有效区域图像执行识别，得到字符识别结果，其中，预设识别模型为预先采用至少一个训练样本对进行机器学习训练得到的神经网络模型，每个训练样本对包括一个用于作为神经网络模型的训练输入数据的字符图像样本、和一个用于作为神经网络模型的训练目标的字符识别结果。
在该思路的引导下，本方案实施例提供了以下可行的实施方案。
本发明实施例提供了一种基于深度学习的凭证识别方法。
具体的，请参考图1，其为本发明实施例所提供的一种可选的基于深度学习的凭证识别方法的流程示意图，如图1所示，该方法包括以下步骤：
步骤101，获取凭证图像，其中，凭证图像为纸质凭证的图像；
步骤102，在至少一个图像蒙版中确定纸质凭证对应的图像蒙版，其中，图像蒙版为预先标记出包含字符的有效区域的图像模板；
步骤103，基于纸质凭证对应的图像蒙版，在凭证图像中提取有效区域的图像；
步骤104，通过预设识别模型对凭证图像中的有效区域图像执行识别，得到字符识别结果，其中，预设识别模型为预先采用至少一个训练样本对进行机器学习训练得到的神经网络模型，每个训练样本对包括一个用于作为神经网络模型的训练输入数据的字符图像样本、和一个用于作为神经网络模型的训练目标的字符识别结果。
下面对上述步骤进行详细的说明：
凭证图像是预先拍摄纸质凭证所得到的图像。可选的，在拍摄纸质凭证时，为了更容易分离图像中的纸质凭证与背景，可以选择与纸质凭证的颜色差距较大的颜色，例如，对于出租车发票等凭证，底色为白色，则可以选用黑色的背景拍摄纸质凭证，得到凭证图像。
可以通过直接拍摄图像、读取本地存储的图像或远程下载服务器中的图像等方式来获取凭证图像。
由于不同种类的纸质凭证形状可能不同、且不同种类的纸质凭证中需要提取字符信息的位置可能不同，在本发明实施例中，为不同种类的纸质凭证预先提供了不同的图像蒙版。
在获取到凭证图像之后，在至少一个图像蒙版中选择凭证图像中的纸质凭证所对应的图像蒙版。可选的，可以通过接收用户在多个图像蒙版中选择的图像蒙版；或者，通过一种自动识别的方式确定凭证图像对应的图像蒙版。
每个图像蒙版中被预先标记出了需要提取信息的有效区域，基于图像蒙版，能够在凭证图像中提取有效区域的图像。
在图像蒙版中预先标记了可能包含待提取字符的有效区域，在基于图像蒙版提取有效区域的图像时，一种可选的实施方式为，图像蒙版中预先将有效区域设置为透明区域，将有效区域以外的区域设置为不透明区域，进而，在将图像蒙版覆盖在凭证图像的上面之后，得到一个新的图像，在新图像中，凭证图像中对应不透明区域的部分被遮挡，仅透出凭证图像中对应透明区域的部分，得到了有效区域的图像。
需要说明的是，图像蒙版中的有效区域可以是一个或多个，在具体应用中，可以将图像蒙版中的不透明区域预先设置为一种纯色，以便于在通过上述可选的实施方式得到新的图像之后，对新的图像进行二值化图像分割，进而将得到的新的图像拆分为多个子图像，每个子图像仅包含对应的有效区域部分的图像。
需要说明的是，上述例举仅为一种可选的实施方式，本发明实施例对基于图像蒙版在凭证图像中提取有效区域的图像的方法不做具体限定。
在得到有效区域图像之后，可以利用预设识别模型识别字符。例如，在出租车票(纸质凭证)的图像中提取金额、日期、车牌号等有效区域的图像，进而，通过预先训练好的预设识别模型识别每个有效区域的字符内容，得到字符识别结果。
通过采用与凭证图像对应的图像蒙版提取有效区域，进而对有效区域中的字符内容进行识别，能够提高识别的准确率和效率。
需要说明的是，步骤101～步骤104的执行主体可以为基于深度学习的凭证识别装置，该装置可以是位于本地终端的应用，或者还可以是位于本地终端的应用中的插件或软件开发工具包(Software Development Kit，SDK)等功能单元，本发明实施例对此不进行特别限定。可以理解的是，所述应用可以是安装在终端上的应用程序(nativeApp)，或者还可以是终端上的浏览器的一个网页程序(webApp)，本发明实施例对此不进行限定。
可选的，本发明实施例中所涉及的终端可以包括但不限于个人计算机(PersonalComputer，PC)、个人数字助理(Personal Digital Assistant，PDA)、无线手持设备、平板电脑(Tablet Computer)、手机、MP3播放器、MP4播放器等。
如图2所示，以上述的终端为计算机设备为例，本发明实施例提供的计算机设备包括存储器21、处理器22以及存储在存储器21中并可在处理器22上运行的计算机程序，处理器22执行计算机程序时实现前述任一项的基于深度学习的凭证识别方法。
作为一种可选的实现方式，在至少一个图像蒙版中确定纸质凭证对应的图像蒙版时，可以通过如下步骤实现：
步骤201，获取至少一个标识图像，其中，每个标识图像中包括至少一个凭证标识，每个凭证标识对应一种凭证；
步骤202，将每个标识图像与凭证图像执行图像匹配，得到每个标识图像与凭证图像的相似度；
步骤203，获取相似度最高的标识图像所对应的图像蒙版，得到纸质凭证对应的图像蒙版，其中，每个标识图像对应一个图像蒙版。
例如，不同种类的发票中可能具有不同的标识，利用对应的标识图像在凭证图像中匹配，能够确定凭证图像中纸质凭证所对应的种类，进而，在多个预先准备的蒙版中选择纸质凭证的种类所对应的图像蒙版。通过在图像中匹配标识图像，能够自动的确定对应的图像蒙版，无需人工选择。
由于拍摄纸质凭证得到的图像可能与图像蒙版的大小、角度差距较大，作为一种可选的实现方式，在基于图像蒙版，在凭证图像中提取有效区域的图像之前，该方法还可以包括如下步骤：
步骤301，生成多个几何变形策略，其中，每个几何变形策略用于指示在凭证图像和图像蒙版中选择几何变形处理的执行对象，并指示几何变形处理的处理方式；
步骤302，分别对凭证图像和图像蒙版执行轮廓识别；
步骤303，在多个几何变形策略中，确定使凭证图像中的轮廓与图像蒙版中的轮廓的重合度最高的几何变形策略，并执行。
例如，生成多个几何变形策略分别为：将凭证图像按顺时针30°、60°、90°、120°、150°、180°进行旋转，计算凭证图像中的轮廓与图像蒙版中的轮廓的重合度，如果60°的旋转角度能够使重合度最高，则将凭证图像旋转60°，进而，基于图像蒙版中的有效区域，提取凭证图像中对应区域内的图像，得到有效区域图像。
凭证图像中的有效区域可能包括多个，每个有效区域中的字符内容可能有不同的特点和规则，例如，对于出租车票的金额部分，小数点后的两位数字一定是00，且金额不会过大，例如，如果金额超过万元，则可能是识别错误，如未识别出小数点等，类似地，不同的有效区域中字符内容特点和规则不同，为了提高识别的准确率，提供了一种可选的实现方式，利用每个有效区域的规则对凭证图像中的有效区域图像执行识别，本可选的实现方式在执行步骤104时，采用如下步骤：
步骤401，获取每个有效区域图像对应的预设识别模型；
步骤402，通过每个有效区域图像对应的预设识别模型，对对应的有效区域图像执行识别，得到每个有效区域图像的字符识别结果。
上述可选的实施方式通过对每个有效区域设置一个识别模型，可以预先更有针对性地对神经网络模型进行训练，以使神经网络模型的识别结果更符合对应有效区域中字符的特点和规则，提高了识别的准确率。
虽然预先对每个有效区域分别训练神经网络模型能够提高识别的准确率，但是，识别的结果仍有可能出现不符合对应规则的错误，为了提高识别的准确率，还提供了一种可选的实现方式，在得到每个有效区域图像的字符识别结果之后，该方法还包括：
步骤501，确定每个有效区域图像对应的预设字符规则；
步骤502，基于每个有效区域图像对应的预设字符规则，对对应的有效区域图像的字符识别结果进行修正。
在这种情况下，采用上述可选的实施方式，能够基于预先设置的字符规则修正字符识别结果，例如，对出租车票的金额的识别结果为26.88，小数点之后的数字非0，因此，对字符识别结果修正，修正为26.00。通过预设字符规则进行修正，能够得到更准确的识别结果。
本发明实施例的基于深度学习的凭证识别方法至少具有以下有益效果：
通过与纸质凭证的图像蒙版确定凭证图像中包含字符的有效区域，无需对凭证图像的全部去进行识别，仅对有效区域图像执行识别，解决了相关技术中对于纸质文件中字符的识别效率较低的技术问题，提高了识别纸质文件中字符的效率，并且，由于采用预先准备的蒙版选取了有效区域图像有针对性的识别，还能够提高识别的准确率。
基于本发明实施例所提供的基于深度学习的凭证识别方法，本发明实施例进一步给出实现上述方法实施例中各步骤及方法的装置实施例。
请参考图3，其为本发明实施例所提供的一种可选的基于深度学习的凭证识别装置的功能方块图。如图3所示，该装置包括获取单元10、确定单元20、提取单元30和识别单元40。
其中，获取单元用于获取凭证图像，其中，凭证图像为纸质凭证的图像；确定单元用于在至少一个图像蒙版中确定纸质凭证对应的图像蒙版，其中，图像蒙版为预先标记出包含字符的有效区域的图像模板；提取单元用于基于纸质凭证对应的图像蒙版，在凭证图像中提取有效区域的图像；识别单元用于通过预设识别模型对凭证图像中的有效区域图像执行识别，得到字符识别结果，其中，预设识别模型为预先采用至少一个训练样本对进行机器学习训练得到的神经网络模型，每个训练样本对包括一个用于作为神经网络模型的训练输入数据的字符图像样本、和一个用于作为神经网络模型的训练目标的字符识别结果。
作为一种可选的实施方式，确定单元可以包括：第一获取模块，用于获取至少一个标识图像，其中，每个标识图像中包括至少一个凭证标识，每个凭证标识对应一种凭证；匹配模块，用于将每个标识图像与凭证图像执行图像匹配，得到每个标识图像与凭证图像的相似度；第二获取模块，用于获取相似度最高的标识图像所对应的图像蒙版，得到纸质凭证对应的图像蒙版，其中，每个标识图像对应一个图像蒙版。
作为一种可选的实施方式，该装置还可以包括：生成模块，用于在提取单元基于图像蒙版，在凭证图像中提取有效区域的图像之前，生成多个几何变形策略，其中，每个几何变形策略用于指示在凭证图像和图像蒙版中选择几何变形处理的执行对象，并指示几何变形处理的处理方式；第一识别模块，用于分别对凭证图像和图像蒙版执行轮廓识别；执行模块，用于在多个几何变形策略中，确定使凭证图像中的轮廓与图像蒙版中的轮廓的重合度最高的几何变形策略，并执行。
作为一种可选的实施方式，识别单元可以包括：第三获取模块，用于获取每个有效区域图像对应的预设识别模型；第二识别模块，用于通过每个有效区域图像对应的预设识别模型，对对应的有效区域图像执行识别，得到每个有效区域图像的字符识别结果。
作为一种可选的实施方式，该装置还可以包括：确定模块，用于在第二识别模块得到每个有效区域图像的字符识别结果之后，确定每个有效区域图像对应的预设字符规则；修正模块，用于基于每个有效区域图像对应的预设字符规则，对对应的有效区域图像的字符识别结果进行修正。
由于本实施例中的各单元能够执行图1所示的基于深度学习的凭证识别方法，本实施例未详细描述的部分，可参考对图1对应实施例的相关说明。
本发明实施例的基于深度学习的凭证识别装置至少具有以下有益效果：
通过与纸质凭证的图像蒙版确定凭证图像中包含字符的有效区域，无需对凭证图像的全部去进行识别，仅对有效区域图像执行识别，解决了相关技术中对于纸质文件中字符的识别效率较低的技术问题，提高了识别纸质文件中字符的效率，并且，由于采用预先准备的蒙版选取了有效区域图像有针对性的识别，还能够提高识别的准确率。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所属领域的技术人员可以理解，实现上述实施例方法中的全部或部分步骤可以是通过程序来指令相关的硬件来完成，所述的程序可以存储于计算机可读取存储介质中，计算机通过读取存储介质中的程序进而能够执行本发明实施例提供的基于深度学习的凭证识别方法。
相应的，本发明实施例还提供了一种存储介质，本发明实施例的存储介质包括计算机可读指令，当计算机读取并执行所述计算机可读指令时，使得计算机执行如下步骤：获取凭证图像，其中，凭证图像为纸质凭证的图像；在至少一个图像蒙版中确定纸质凭证对应的图像蒙版，其中，图像蒙版为预先标记出包含字符的有效区域的图像模板；基于纸质凭证对应的图像蒙版，在凭证图像中提取有效区域的图像；通过预设识别模型对凭证图像中的有效区域图像执行识别，得到字符识别结果，其中，预设识别模型为预先采用至少一个训练样本对进行机器学习训练得到的神经网络模型，每个训练样本对包括一个用于作为神经网络模型的训练输入数据的字符图像样本、和一个用于作为神经网络模型的训练目标的字符识别结果。
本发明实施例的存储介质至少具有以下有益效果：
通过与纸质凭证的图像蒙版确定凭证图像中包含字符的有效区域，无需对凭证图像的全部去进行识别，仅对有效区域图像执行识别，解决了相关技术中对于纸质文件中字符的识别效率较低的技术问题，提高了识别纸质文件中字符的效率，并且，由于采用预先准备的蒙版选取了有效区域图像有针对性的识别，还能够提高识别的准确率。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机，服务器，或者网络装置等)或处理器(Processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。
Claims (10)
1.一种基于深度学习的凭证识别方法，其中，所述方法包括：
获取凭证图像，其中，所述凭证图像为纸质凭证的图像；
在至少一个图像蒙版中确定所述纸质凭证对应的图像蒙版，其中，所述图像蒙版为预先标记出包含字符的有效区域的图像模板；
基于所述纸质凭证对应的图像蒙版，在所述凭证图像中提取有效区域的图像；
通过预设识别模型对所述凭证图像中的有效区域图像执行识别，得到字符识别结果，其中，所述预设识别模型为预先采用至少一个训练样本对进行机器学习训练得到的神经网络模型，每个所述训练样本对包括一个用于作为所述神经网络模型的训练输入数据的字符图像样本、和一个用于作为所述神经网络模型的训练目标的字符识别结果。
2.根据权利要求1所述的方法，其中，所述在至少一个图像蒙版中确定所述纸质凭证对应的图像蒙版，包括：
获取至少一个标识图像，其中，每个所述标识图像中包括至少一个凭证标识，每个所述凭证标识对应一种凭证；
将每个所述标识图像与所述凭证图像执行图像匹配，得到每个所述标识图像与所述凭证图像的相似度；
获取所述相似度最高的标识图像所对应的图像蒙版，得到所述纸质凭证对应的图像蒙版，其中，每个所述标识图像对应一个图像蒙版。
3.根据权利要求1所述的方法，其中，在所述基于所述图像蒙版，在所述凭证图像中提取有效区域的图像之前，所述方法还包括：
生成多个几何变形策略，其中，每个所述几何变形策略用于指示在所述凭证图像和所述图像蒙版中选择几何变形处理的执行对象，并指示所述几何变形处理的处理方式；
分别对所述凭证图像和所述图像蒙版执行轮廓识别；
在所述多个几何变形策略中，确定使所述凭证图像中的轮廓与所述图像蒙版中的轮廓的重合度最高的几何变形策略，并执行。
4.根据权利要求1所述的方法，其中，所述通过预设识别模型对所述凭证图像中的有效区域图像执行识别，得到字符识别结果，包括：
获取每个所述有效区域图像对应的预设识别模型；
通过每个所述有效区域图像对应的预设识别模型，对对应的所述有效区域图像执行识别，得到每个所述有效区域图像的字符识别结果。
5.根据权利要求4所述的方法，其中，在所述得到每个所述有效区域图像的字符识别结果之后，所述方法还包括：
确定每个所述有效区域图像对应的预设字符规则；
基于每个所述有效区域图像对应的预设字符规则，对对应的所述有效区域图像的字符识别结果进行修正。
6.一种基于深度学习的凭证识别装置，其中，所述装置包括：
获取单元，用于获取凭证图像，其中，所述凭证图像为纸质凭证的图像；
确定单元，用于在至少一个图像蒙版中确定所述纸质凭证对应的图像蒙版，其中，所述图像蒙版为预先标记出包含字符的有效区域的图像模板；
提取单元，用于基于所述纸质凭证对应的图像蒙版，在所述凭证图像中提取有效区域的图像；
识别单元，用于通过预设识别模型对所述凭证图像中的有效区域图像执行识别，得到字符识别结果，其中，所述预设识别模型为预先采用至少一个训练样本对进行机器学习训练得到的神经网络模型，每个所述训练样本对包括一个用于作为所述神经网络模型的训练输入数据的字符图像样本、和一个用于作为所述神经网络模型的训练目标的字符识别结果。
7.根据权利要求6所述的装置，其中，所述确定单元包括：
第一获取模块，用于获取至少一个标识图像，其中，每个所述标识图像中包括至少一个凭证标识，每个所述凭证标识对应一种凭证；
匹配模块，用于将每个所述标识图像与所述凭证图像执行图像匹配，得到每个所述标识图像与所述凭证图像的相似度；
第二获取模块，用于获取所述相似度最高的标识图像所对应的图像蒙版，得到所述纸质凭证对应的图像蒙版，其中，每个所述标识图像对应一个图像蒙版。
8.根据权利要求6所述的装置，其中，所述装置还包括：
生成模块，用于在所述提取单元基于所述图像蒙版，在所述凭证图像中提取有效区域的图像之前，生成多个几何变形策略，其中，每个所述几何变形策略用于指示在所述凭证图像和所述图像蒙版中选择几何变形处理的执行对象，并指示所述几何变形处理的处理方式；
第一识别模块，用于分别对所述凭证图像和所述图像蒙版执行轮廓识别；
执行模块，用于在所述多个几何变形策略中，确定使所述凭证图像中的轮廓与所述图像蒙版中的轮廓的重合度最高的几何变形策略，并执行。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述的方法。
10.一种存储介质，其中，所述存储介质包括计算机可读指令，当计算机读取并执行所述计算机可读指令时，使得计算机执行如权利要求1至5任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811535209.2A CN109753965A (zh) | 2018-12-14 | 2018-12-14 | 一种基于深度学习的凭证识别方法和装置、计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811535209.2A CN109753965A (zh) | 2018-12-14 | 2018-12-14 | 一种基于深度学习的凭证识别方法和装置、计算机设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109753965A true CN109753965A (zh) | 2019-05-14 |
Family
ID=66403634
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811535209.2A Pending CN109753965A (zh) | 2018-12-14 | 2018-12-14 | 一种基于深度学习的凭证识别方法和装置、计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109753965A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110427851A (zh) * | 2019-07-23 | 2019-11-08 | 上海易点时空网络有限公司 | 数据的处理方法以及装置、电子设备 |
| CN110458162A (zh) * | 2019-07-25 | 2019-11-15 | 上海兑观信息科技技术有限公司 | 一种智能提取图像文字信息的方法 |
| CN111079745A (zh) * | 2019-12-11 | 2020-04-28 | 中国建设银行股份有限公司 | 公式识别方法、装置、设备及存储介质 |
| CN111931769A (zh) * | 2020-06-30 | 2020-11-13 | 北京来也网络科技有限公司 | 结合rpa及ai的发票处理、装置、计算设备及存储介质 |
| CN112669204A (zh) * | 2021-01-04 | 2021-04-16 | 北京金山云网络技术有限公司 | 图像处理方法、图像处理模型的训练方法和装置 |
| CN112819274A (zh) * | 2020-12-30 | 2021-05-18 | 中国农业银行股份有限公司 | 金融凭证样本的生成方法、装置及相关方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030130992A1 (en) * | 2002-01-10 | 2003-07-10 | Jenn-Kwei Tyan | Automatic document reading system for technical drawings |
| WO2016123977A1 (zh) * | 2015-02-05 | 2016-08-11 | 努比亚技术有限公司 | 一种图像色彩识别方法、装置及终端、存储介质 |
| CN108345880A (zh) * | 2018-01-26 | 2018-07-31 | 金蝶软件（中国）有限公司 | 发票识别方法、装置、计算机设备和存储介质 |
-
2018
- 2018-12-14 CN CN201811535209.2A patent/CN109753965A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030130992A1 (en) * | 2002-01-10 | 2003-07-10 | Jenn-Kwei Tyan | Automatic document reading system for technical drawings |
| WO2016123977A1 (zh) * | 2015-02-05 | 2016-08-11 | 努比亚技术有限公司 | 一种图像色彩识别方法、装置及终端、存储介质 |
| CN108345880A (zh) * | 2018-01-26 | 2018-07-31 | 金蝶软件（中国）有限公司 | 发票识别方法、装置、计算机设备和存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 李少辉;周军;刘波;钱俞好;吴闽仪;: "基于机器视觉和神经网络的低质量文本识别研究", 机电工程, no. 09 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110427851A (zh) * | 2019-07-23 | 2019-11-08 | 上海易点时空网络有限公司 | 数据的处理方法以及装置、电子设备 |
| CN110458162A (zh) * | 2019-07-25 | 2019-11-15 | 上海兑观信息科技技术有限公司 | 一种智能提取图像文字信息的方法 |
| CN110458162B (zh) * | 2019-07-25 | 2023-06-23 | 上海兑观信息科技技术有限公司 | 一种智能提取图像文字信息的方法 |
| CN111079745A (zh) * | 2019-12-11 | 2020-04-28 | 中国建设银行股份有限公司 | 公式识别方法、装置、设备及存储介质 |
| CN111931769A (zh) * | 2020-06-30 | 2020-11-13 | 北京来也网络科技有限公司 | 结合rpa及ai的发票处理、装置、计算设备及存储介质 |
| CN112819274A (zh) * | 2020-12-30 | 2021-05-18 | 中国农业银行股份有限公司 | 金融凭证样本的生成方法、装置及相关方法 |
| CN112669204A (zh) * | 2021-01-04 | 2021-04-16 | 北京金山云网络技术有限公司 | 图像处理方法、图像处理模型的训练方法和装置 |
| CN112669204B (zh) * | 2021-01-04 | 2024-05-03 | 北京金山云网络技术有限公司 | 图像处理方法、图像处理模型的训练方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109753965A (zh) | 一种基于深度学习的凭证识别方法和装置、计算机设备 | |
| CN104463101B (zh) | 用于文字性试题的答案识别方法及系统 | |
| CN107609489B (zh) | 书法书写路径评价装置、方法及电子设备 | |
| CN109829453A (zh) | 一种卡证中文字的识别方法、装置以及计算设备 | |
| CN102360419B (zh) | 计算机扫描阅读管理方法及系统 | |
| CN105118048A (zh) | 翻拍证件图片的识别方法及装置 | |
| CN107909059A (zh) | 一种面向复杂城市场景中协同仿生视觉的交通标志牌检测与识别方法 | |
| CN111507251A (zh) | 试题图像中作答区域的定位方法、装置和电子设备 | |
| CN108846385B (zh) | 基于卷积-反卷积神经网络的图像识别、校正方法和装置 | |
| CN109657666A (zh) | 一种圆形印章识别方法及装置 | |
| CN105046200B (zh) | 基于直线检测的电子阅卷方法 | |
| CN102084378A (zh) | 基于照相机的文档成像 | |
| US10025977B2 (en) | Method for identifying a sign on a deformed document | |
| CN110516672A (zh) | 卡证信息识别方法、装置及终端 | |
| CN109214385A (zh) | 数据采集方法、数据采集装置及存储介质 | |
| CN110097068A (zh) | 相似车辆的识别方法和装置 | |
| CN108875731A (zh) | 目标识别方法、装置、系统及存储介质 | |
| CN107886344A (zh) | 基于卷积神经网络的欺诈广告页面识别方法和装置 | |
| CN110009027A (zh) | 图像的比对方法、装置、存储介质及电子装置 | |
| CN112037077A (zh) | 基于人工智能的印章识别方法、装置、设备及存储介质 | |
| CN108509988B (zh) | 一种试卷分数自动统计方法、装置、电子设备及存储介质 | |
| CN109343920A (zh) | 一种图像处理方法及其装置、设备和存储介质 | |
| CN110223202B (zh) | 一种教学道具识别与评分的方法及系统 | |
| CN108681735A (zh) | 基于卷积神经网络深度学习模型的光学字符识别方法 | |
| CN109740417A (zh) | 发票类型识别方法、装置、存储介质和计算机设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |