CN113688834A - 车票识别方法、车票识别系统及计算机可读存储介质 - Google Patents
车票识别方法、车票识别系统及计算机可读存储介质 Download PDFInfo
- Publication number
- CN113688834A CN113688834A CN202110851090.5A CN202110851090A CN113688834A CN 113688834 A CN113688834 A CN 113688834A CN 202110851090 A CN202110851090 A CN 202110851090A CN 113688834 A CN113688834 A CN 113688834A
- Authority
- CN
- China
- Prior art keywords
- ticket
- image
- information
- images
- text
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000012545 processing Methods 0.000 claims description 34
- 238000012937 correction Methods 0.000 claims description 18
- 238000001514 detection method Methods 0.000 claims description 18
- 238000010586 diagram Methods 0.000 claims description 16
- 238000001914 filtration Methods 0.000 claims description 12
- 102100032202 Cornulin Human genes 0.000 claims description 10
- 101000920981 Homo sapiens Cornulin Proteins 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 9
- 238000004891 communication Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 8
- 238000005516 engineering process Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/90335—Query processing
- G06F16/90344—Query processing by using string matching techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Character Input (AREA)
Abstract
本发明提供了一种车票识别方法、车票识别系统及计算机可读存储介质。涉及车票识别领域，具体包括：获取包括有至少一张待识别车票的车票承载图像；将车票承载图像输入至CenterNet模型，基于CenterNet模型确定出所有车票图像在车票承载图像上的位置，并提取出所有车票图像；将提取出所有车票图像的摆放角度调整至预设角度；从提取出的所有车票图像中识别出每一张车票图像中的车票文字信息；基于车站车次票价信息库和身份证姓名信息库对识别出的车票文字信息进行检验并进行纠正，将检验完成或纠正完成后的车票文字信息作为识别结果进行输出。该方法，能够将图像中的车票信息从包含桌面、书本等背景的自然场景图像中提取出来，支持了自然场景中多张车票识别。
Description
技术领域
本发明涉及图像识别技术领域，具体而言，涉及一种车票识别方法、车票识别系统及计算机可读存储介质。
背景技术
随着计算机技术的发展以及图像处理、深度学习技术的不断进步，越来越广泛的领域通过使用这些先进的技术不断的提高了生产生活的效率以及用户的使用体验。车票的识别、统计、校验、报销一直以来都是各个企业、各级政府财务人员重要的工作内容，随着社会的进步、经济的发展，需要处理的数量也不断的增多。这不断增加了财务人员的工作量，同时由于使用人工长时间进行车票识别时，很容易出现人员疲劳等问题，从而容易导致车票中某些字段的内容识别错误，增加了车票校验的工作量，进而更加重了财务人员的工作负担，降低了工作效率。在报销环节，将车票拍照识别结果结构化后录入系统，自动完成财务数据核对，可以减少人工校验成本。另外在日程管理、理财记账等移动应用中，通过识别车票信息实现个人日程、账单的记录，辅助用户合理规划生活，提高产品易用性和用户体验。而目前的大多数车票识别，不能够很好地支持多张车票识别和自然场景下的车票识别，车票识别准确率低，运行速度慢。
因此，如何发明一种能够支持在自然场景下并支持多张车票识别的车票识别方法，成为目前亟待解决的问题。
发明内容
为了解决现有技术中，不能够很好地支持多张车票识别和自然场景下的车票识别，且车票识别准确率低，运行速度慢的问题，本发明的第一方面提出了一种自然场景下的车票识别方法。
本发明的第二方面还提出了一种车票识别系统。
本发明的第三方面还提出了一种计算机可读存储介质。
有鉴于此，本发明第一方面提出了一种车票识别方法，具体包括：获取包括有至少一张待识别车票的车票承载图像；将车票承载图像输入至CenterNet模型，基于CenterNet模型确定出所有车票图像在车票承载图像上的位置，并提取出所有车票图像；将提取出所有车票图像的摆放角度调整至预设角度；从提取出的所有车票图像中识别出每一张车票图像中的车票文字信息；基于车站车次票价信息库和身份证姓名信息库对识别出的车票文字信息进行检验并进行纠正，将检验完成或纠正完成后的车票文字信息作为识别结果进行输出。
根据本发明提供的车票识别方法，可提前将需要识别一张或多张车票摆放好，然后通过手机等拍摄在自然环境中将摆好的一张或多张车票拍摄到同一张照片上，以形成车票承载图像。当然，一张或多张车票也可以是随机放置在其他物体上的不一定非要提前摆放好，但多张车票之间不能过于堆叠。此后可将车票承载图像传入到车票识别系统中，然后可基于CenterNet模型，确定出车票承载图像中每张车票的位置，以获取到每张车票。然后对每张车票进行修正就能够获得精准的，每张规整无形变的车票图像，这样便能够在文字识别之前将文字摆正，以提高后期文字识别的准确性。此后可利用文本检测方法(如DBNet模型)和文本识别方法(如CRNN模型)提取并识别出图像中的文字信息，并将该文字信息在车站车次票价信息库和身份证姓名信息库检验纠正，并对检验后或纠正后的车票文字信息进行输出。该种车票识别方法，通过CenterNet模型能够先确定中心位置，然后基于长宽确定待检测车票的位置，这种方式只要中心找准了，在提前车票图像时并不会太受图片背景的干扰，因此，能够将图像中的车票信息从包含桌面、书本等背景的自然场景图像中提取出来，从而得到每张车票的位置，由此提高后续识别处理的准确程度，支持了自然场景中多张车票识别。而在相关技术中，没有使用CenterNet模型来检测出待检测车票的位置，而是直接利用图像处理技术检测出车票外边框的准确位置，这样忽略了车票图像背景中各种信息的干扰，只能处理背景单调的高质量图像，当图像中有其他背景干扰时则很难准确识别出车票信息，并且现有方法只能识别出图像上只有一张车票的图像，没有办法像本申请中那样可以多张车票同时识别。同时，通过基于车站车次票价信息库和身份证姓名信息库对识别出的车票文字信息进行检验和纠正，为识别结果的准确性提供了保障，解决了在自然环境下文字识别容易出错的问题。
另外，本发明提供的上述技术方案中的车票识别方法还可以具有如下附加技术特征：
在上述技术方案中，优选地，基于CenterNet模型确定出所有车票图像在车票承载图像上的位置的步骤，具体包括：从车票承载图像中提取出车票图像的特征，根据提取出的车票图像的特征生成车票图像的热力图；根据车票图像的热力图获取车票图像的中心位置信息；根据中心位置信息、通过特征回归获取车票图像的宽度信息和高度信息，基于中心位置信息、车票图像的宽度信息和车票图像的高度信息，确定出每张车票图像的位置。
在该技术方案中，通过深入学习的方式形成了CenterNet模型。而在将车票承载图像输入CenterNet模型后，CenterNet模型能够基于之前的学习确定出每张车票图像的中心点，然后基于中心点与车票图像各个点之间的距离形成车票热力图。如果车票承载图像上有多张车票，则会形成多个车票图像的热力图，而通过热力图便可确定每张车票的中心位置。同时，CenterNet模型基于之前的深度学习能够基于中心位置通过特征回归获取到每张图像的长度和宽度，此后便可基于中心位置长度和宽度确定出车票的位置。在该方案中，能够先确定中心位置，然后基于长宽确定待检测车票的位置，这种方式能够通过CenterNet模型自动找中心，然后自动确定位置，在提取车票图像时并不会太受图片背景的干扰，因此，能够将图像中的车票信息从包含桌面、书本等背景的自然场景图像中提取出来，从而得到每张车票的位置，由此提高后续识别处理的准确程度，支持了自然场景中多张车票识别。而在相关技术中，没有使用检测网络来检测出待检测车票的位置，而是直接利用图像处理技术检测出车票外边框的准确位置，这样忽略了车票图像背景中各种信息的干扰，只能处理背景单调的高质量图像，当图像中有其他背景干扰时则很难准确识别出车票信息，并且现有方法只能识别出图像上只有一张车票的图像，没有办法像本申请中那样可以多张车票同时识别。
其中，CenterNet模型属于anchor-free系列的目标检测，相比于CornerNet做出了改进，使得检测速度和精度相比于one-stage和two-stage的框架都有了不小的提高。因此，通过CenterNet模型进行车票图像的提取能够使车票图像提取出的精度更高，且更不易受背景的干扰。
在上述任一技术方案中，将提取出所有车票图像的摆放角度调整至预设角度的步骤，具体包括：对提取出所有车票图像进行灰度处理，然后进行高斯滤波处理；从高斯滤波处理后的车票图像中提取出车票图像的边缘轮廓，通过联通区域获取文本块，通过对单行文本进行水平投影的方法，对文本块做倾斜矫正，通过文字方向分类网络，对车票的旋转方向进行二次纠正。
在该技术方案中，在已经获得了车票图像的位置后，首先将图像进行灰度处理获取车票图像的灰度图，并进一步地进行高斯滤波处理，以消除图像中的噪声干扰，有利于下一步的图像处理；进一步地，增强车票图像的对比度，然后对车票图像二值化，将图像中的像素点设置为0或255，以获取车票图像的边缘轮廓；同时，经过上述处理后，图像背景为黑色或灰色，而其中的文本部分为白色，也即联通区域中的文本块；进一步地，通过水平投影对字体做倾斜矫正，通过文字方向分类网络，对车票的旋转方向进行二次纠正。通过上述对车票图像位置的修正，就能够获得精准的，每张规整无形变的车票图像，确保了后续文字提取的精准度。
在上述任一技术方案中，优选地，通过图像二值化从高斯滤波处理后的车票图像中提取出车票图像的边缘轮廓。
在该技术方案中，高斯滤波处理的作用是消除图像中的噪声干扰，有利于下一步的图像处理，而进行二值化处理时，将图像中的像素点设置为0或255，这样便能够将整个图像呈现出明显的黑白效果，从而能够非常方便地获取出车票图像的边缘轮廓，这样就确定出了整个车票图像的精确位置。此后便可基于文字方向分类网络和车票图像的边缘轮廓对车票进行旋转，以便能够得到每张规整无形变的车票图像。
在上述任一技术方案中，从提取出的所有车票图像中识别出每一张车票图像中的车票文字信息的步骤，具体包括：将所有车票图像传入文本检测DBNet模型中，检测出每张车票信息上的每个字段的文本区域box；将检测出的文本区域box传入文本识别模型，识别出每个文本区域box中的文字信息。
在该技术方案中，将已经得到的规整无形变的车票图像，传入DBNet文本检测模型和文本识别模型中，进而识别出车票中的文字信息。其中，传统的基于分割的文本检测网络中，都是先将图像灰度化处理后分割成多个区域，然后利用人工设定的阈值对分割结果进行二值化判别，之后再将分割后的区域进行合并以得到最终结果。而DBNet模型中，是将整个二值化的过程融入到网络里一起训练，也就是说，DBNet模型中的二值化阈值是自适应的，是可以根据多次图像训练以及网络学习过程灵活变化的，这样可以很大程度的提升检测性能和准确率；同时，将DBNet模型检测出的文本框直接传入CRNN模型中，CRNN模型可以无需对字符进行分割，而是直接进行整行文字的识别，获得了每个字段的完整文字信息，而不再像现有技术那样先分割成多个字段，识别后再进行重组的复杂过程。通过上述方法，采用DBNet模型具有更高的检测速度和准确率，且通过传入CRNN模型进行文字识别，无需对字段先分割再重组，提高了整体识别速度，简化了后处理，且最终的输出图对于阈值就会非常鲁棒。
在上述任一技术方案中，优选地，所示文本识别模型为文本识别CRNN模型。
在该技术方案中，CRNN模型可以无需对字符进行分割，而是直接进行整行文字的识别，获得了每个字段的完整文字信息，而不再像现有技术那样先分割成多个字段，识别后再进行重组的复杂过程。通过上述方法，采用DBNet模型具有更高的检测速度和准确率，且通过传入CRNN模型进行文字识别，无需对字段先分割再重组，提高了整体识别速度，简化了后处理，且最终的输出图对于阈值就会非常鲁棒。
在上述任一技术方案中，优选地，识别出的车票文字信息由多个字段组成，对识别结果进行输出时，通过信息抽取方法将识别出的所有文字信息通过结构化输出。
在该技术方案中，在纠正识别结果和结构化阶段，我们的方案中对识别结果不需要进行文本行合并，对每个字段识别结果通过车站车次票价信息库和身份证姓名信息库，用模糊匹配和比对算法纠正识别结果，最后通过信息抽取方法进行结构化返回识别结果。而在相关技术中，先通过连通域进行文本行合并，得到文本行结果，然后通过编辑距离方法对识别结果纠正，将编辑距离最短的火车信息以及身份信息作为最终识别结果。无法区分同编辑距离车站和同音同名，比如“福州站”和”抚州站”同样的编辑距离，同样的拼音fuzhou。对于特定的同音字段，我们方案进行了结构化比对。例如，通过票价、始发到达站和车次信息，可以正确纠正。
在上述任一技术方案中，优选地，识别出的车票文字信息由多个字段组成，基于车站车次票价信息库和身份证姓名信息库对识别出的车票文字信息进行检验并进行纠正时，对每个字段用模糊匹配和比对算法进行检验，并在检验出错误时进行纠正。
在该技术方案中，对车票上的文字信息进行识别之后，与车站车次票价信息库和身份证姓名信息库中的信息进行校验比对和纠正，优选地，采用模糊匹配和比对算法，先将两个字符串进行模糊匹配计算两个字符串的匹配度，在匹配的情况下进而进行比对，如果出现错误，则以信息库中信息为准对识别结果进行纠正。通过模糊匹配和比对算法对识别结果进行纠正，不仅提高了纠正的灵活性，而且准确率更高。
本发明的第二方面提供了一种车票识别系统，包括：处理器；存储器，用于储存处理器可执行指令；其中，处理器用于执行存储器中储存的可执行指令时实现如上述任一技术方案方法的步骤。
根据本发明的技术方案提供的车票识别系统，由于其中包含的处理器可以实现如上述任一技术方案方法的步骤，因而本发明第二方面提供的车票识别系统具备该车票识别方法的全部技术效果，在此不再赘述。
本发明的第三方面提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如上述任一技术方案方法的步骤。
根据本发明的技术方案提供的计算机可读存储介质，由于其上存储有计算机程序，计算机程序被处理器执行时实现如上述任一技术方案方法的步骤，因而该计算机可读存储介质具备该车票识别方法的全部技术效果，在此不再赘述。
本发明的附加方面和优点将在下面的描述部分中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1示出了本发明的一个实施例的车票识别方法的流程示意图；
图2示出了本发明基于CenterNet模型确定出所有车票图像在车票承载图像上的位置的步骤的流程示意图；
图3示出了本发明将提取出所有车票图像的摆放角度调整至预设角度的步骤的流程示意图；
图4示出了本发明从提取出的所有车票图像中识别出每一张车票图像中的车票文字信息的步骤；
图5示出了本发明的实施例提供的车票识别系统的结构示意图；
图6示出了本发明的另一实施例提供的车票识别系统的示意性方框图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
本发明第一方面的实施例，提供一种车票识别方法，图1示出了本发明的一个实施例的车票识别方法的流程示意图。其中，该方法包括：
S102，获取包括有至少一张待识别车票的车票承载图像；
S104，将车票承载图像输入至CenterNet模型；
S106，基于CenterNet模型确定出所有车票图像在车票承载图像上的位置；
S108，提取出所有车票图像；
S110，将提取出所有车票图像的摆放角度调整至预设角度；
S112，从提取出的所有车票图像中识别出每一张车票图像中的车票文字信息；
S114，基于车站车次票价信息库和身份证姓名信息库对识别出的车票文字信息进行检验并进行纠正，将检验完成或纠正完成后的车票文字信息作为识别结果进行输出。
根据本发明提供的车票识别方法，可提前将需要识别一张或多张车票摆放好，然后通过手机等拍摄在自然环境中将摆好的一张或多张车票拍摄到同一张照片上，以形成车票承载图像。当然，一张或多张车票也可以是随机放置在其他物体上的不一定非要提前摆放好，但多张车票之间不能过于堆叠。此后可将车票承载图像传入到车票识别系统中，然后可基于CenterNet模型，确定出车票承载图像中每张车票的位置，以获取到每张车票。然后对每张车票进行修正就能够获得精准的，每张规整无形变的车票图像，这样便能够在文字识别之前将文字摆正，以提高后期文字识别的准确性。此后可利用文本检测方法(如DBNet模型)和文本识别方法(如CRNN模型)提取并识别出图像中的文字信息，并将该文字信息在车站车次票价信息库和身份证姓名信息库检验纠正，并对检验后或纠正后的车票文字信息进行输出。该种车票识别方法，通过CenterNet模型能够先确定中心位置，然后基于长宽确定待检测车票的位置，这种方式只要中心找准了，在提前车票图像时并不会太受图片背景的干扰，因此，能够将图像中的车票信息从包含桌面、书本等背景的自然场景图像中提取出来，从而得到每张车票的位置，由此提高后续识别处理的准确程度，支持了自然场景中多张车票识别。而在相关技术中，没有使用CenterNet模型来检测出待检测车票的位置，而是直接利用图像处理技术检测出车票外边框的准确位置，这样忽略了车票图像背景中各种信息的干扰，只能处理背景单调的高质量图像，当图像中有其他背景干扰时则很难准确识别出车票信息，并且现有方法只能识别出图像上只有一张车票的图像，没有办法像本申请中那样可以多张车票同时识别。同时，通过基于车站车次票价信息库和身份证姓名信息库对识别出的车票文字信息进行检验和纠正，为识别结果的准确性提供了保障，解决了在自然环境下文字识别容易出错的问题。
图2示出了本发明基于CenterNet模型确定出所有车票图像在车票承载图像上的位置的步骤的流程示意图。其中，基于CenterNet模型确定出所有车票图像在车票承载图像上的位置的步骤具体包括：
S1062，从车票承载图像中提取出车票图像的特征，根据提取出的车票图像的特征生成车票图像的热力图；
S1064，根据车票图像的热力图获取车票图像的中心位置信息；
S1066，根据中心位置信息、通过特征回归获取车票图像的宽度信息和高度信息，基于中心位置信息、车票图像的宽度信息和车票图像的高度信息，确定出每张车票图像的位置。
在该实施例中，通过深入学习的方式形成了CenterNet模型。而在将车票承载图像输入CenterNet模型后，CenterNet模型能够基于之前的学习确定出每张车票图像的中心点，然后基于中心点与车票图像各个点之间的距离形成车票热力图。如果车票承载图像上有多张车票，则会形成多个车票图像的热力图，而通过热力图便可确定每张车票的中心位置。同时，CenterNet模型基于之前的深度学习能够基于中心位置通过特征回归获取到每张图像的长度和宽度，此后便可基于中心位置长度和宽度确定出车票的位置。在该方案中，能够先确定中心位置，然后基于长宽确定待检测车票的位置，这种方式能够通过CenterNet模型自动找中心，然后自动确定位置，在提取车票图像时并不会太受图片背景的干扰，因此，能够将图像中的车票信息从包含桌面、书本等背景的自然场景图像中提取出来，从而得到每张车票的位置，由此提高后续识别处理的准确程度，支持了自然场景中多张车票识别。而在相关技术中，没有使用检测网络来检测出待检测车票的位置，而是直接利用图像处理技术检测出车票外边框的准确位置，这样忽略了车票图像背景中各种信息的干扰，只能处理背景单调的高质量图像，当图像中有其他背景干扰时则很难准确识别出车票信息，并且现有方法只能识别出图像上只有一张车票的图像，没有办法像本申请中那样可以多张车票同时识别。
其中，CenterNet模型属于anchor-free系列的目标检测，相比于CornerNet做出了改进，使得检测速度和精度相比于one-stage和two-stage的框架都有了不小的提高。因此，通过CenterNet模型进行车票图像的提取能够使车票图像提取出的精度更高，且更不易受背景的干扰。
图3示出了本发明将提取出所有车票图像的摆放角度调整至预设角度的步骤的流程示意图。其中，将提取出所有车票图像的摆放角度调整至预设角度的步骤，具体包括：
S1102，对提取出所有车票图像进行灰度处理，然后进行高斯滤波处理；
S1104，从高斯滤波处理后的车票图像中提取出车票图像的边缘轮廓，通过联通区域获取文本块，通过对单行文本进行水平投影的方法，对文本块做倾斜矫正，通过文字方向分类网络，对车票的旋转方向进行二次纠正。
在该实施例中，在已经获得了车票图像的位置后，首先将图像进行灰度处理获取车票图像的灰度图，并进一步地进行高斯滤波处理，以消除图像中的噪声干扰，有利于下一步的图像处理；进一步地，增强车票图像的对比度，然后对车票图像二值化，将图像中的像素点设置为0或255，以获取车票图像的边缘轮廓；同时，经过上述处理后，图像背景为黑色或灰色，而其中的文本部分为白色，也即联通区域中的文本块；进一步地，通过水平投影对字体做倾斜矫正，通过文字方向分类网络，对车票的旋转方向进行二次纠正。通过上述对车票图像位置的修正，就能够获得精准的，每张规整无形变的车票图像，确保了后续文字提取的精准度。
在上述S1104中，通过图像二值化从高斯滤波处理后的车票图像中提取出车票图像的边缘轮廓。
在该实施例中，高斯滤波处理的作用是消除图像中的噪声干扰，有利于下一步的图像处理，而进行二值化处理时，将图像中的像素点设置为0或255，这样便能够将整个图像呈现出明显的黑白效果，从而能够非常方便地获取出车票图像的边缘轮廓，这样就确定出了整个车票图像的精确位置。此后便可基于文字方向分类网络和车票图像的边缘轮廓对车票进行旋转，以便能够得到每张规整无形变的车票图像。
图4示出了本发明从提取出的所有车票图像中识别出每一张车票图像中的车票文字信息的步骤。其中，提取出的所有车票图像中识别出每一张车票图像中的车票文字信息的步骤，具体包括：
S1122，将所有车票图像传入文本检测DBNet模型中，检测出每张车票信息上的每个字段的文本区域box；
S1124，将检测出的文本区域box传入文本识别CRNN模型，识别出每个文本区域box中的文字信息。
在上述任一实施例中，优选地，识别出的车票文字信息由多个字段组成，基于车站车次票价信息库和身份证姓名信息库对识别出的车票文字信息进行检验并进行纠正时，对每个字段用模糊匹配和比对算法进行检验，并在检验出错误时进行纠正。
在该实施例中，对车票上的文字信息进行识别之后，与车站车次票价信息库和身份证姓名信息库中的信息进行校验比对和纠正，优选地，采用模糊匹配和比对算法，先将两个字符串进行模糊匹配计算两个字符串的匹配度，在匹配的情况下进而进行比对，如果出现错误，则以信息库中信息为准对识别结果进行纠正。通过模糊匹配和比对算法对识别结果进行纠正，不仅提高了纠正的灵活性，而且准确率更高。
在上述任一实施例中，优选地，识别出的车票文字信息由多个字段组成，对识别结果进行输出时，通过信息抽取方法将识别出的所有文字信息通过结构化输出。
在该实施例中，在纠正识别结果和结构化阶段，我们的方案中对识别结果不需要进行文本行合并，对每个字段识别结果通过车站车次票价信息库和身份证姓名信息库，用模糊匹配和比对算法纠正识别结果，最后通过信息抽取方法进行结构化返回识别结果。而在相关技术中，先通过连通域进行文本行合并，得到文本行结果，然后通过编辑距离方法对识别结果纠正，将编辑距离最短的火车信息以及身份信息作为最终识别结果。无法区分同编辑距离车站和同音同名，比如“福州站”和”抚州站”同样的编辑距离，同样的拼音fuzhou。对于特定的同音字段，我们方案进行了结构化比对。例如，通过票价、始发到达站和车次信息，可以正确纠正。
本发明的第二方面的实施例提供的一种车票识别系统500，如图5所示，车票识别系统500具体包括处理器502和存储器504。存储器504用于储存处理器502可执行指令；其中，处理器502用于执行存储器504中储存的可执行指令时实现如上述任一实施例方法的步骤。
下面参照图6来具体介绍本发明的另一实施例提供的车票识别系统。
如图6所示，本发明另一实施例提供的车票识别系统600，包括：中央处理单元601，其可以根据存储在只读存储器602中的计算机程序指令或者从存储单元608加载到随机存取存储器603中的计算机程序指令，来执行各种适当的动作和处理。在随机存取存储器603中，还可以存储车票识别系统600操作所需的各种程序和数据。中央处理单元601、只读存储器602以及随机存取存储器603通过总线604彼此相连。输入/输出接口605也连接至总线604。车票识别系统600中的多个部件连接至输入/输出接口605，包括：输入单元606，例如键盘、鼠标等；输出单元607，例如各种类型的显示器、扬声器等；存储单元608，例如磁盘、光盘等；以及通信单元609，例如网卡、调制解调器、无线通信收发机等。通信单元609允许车票识别系统600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。中央处理单元601执行上文所描述的各个方法和处理。
本发明第三方面的实施例提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如上述任一实施例方法的步骤，因而具备该车票识别方法的全部技术效果，在此不再赘述。
计算机可读存储介质可以包括能够存储或传输信息的任何介质。计算机可读存储介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
在本说明书中，术语“多个”则指两个或两个以上，除非另有明确的限定。术语“安装”、“相连”、“连接”、“固定”等术语均应做广义理解，例如，“连接”可以是固定连接，也可以是可拆卸连接，或一体地连接；“相连”可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本说明书的描述中，术语“一个实施例”、“一些实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或实例。而且，描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种车票识别方法，其特征在于，包括：
获取包括有至少一张待识别车票的车票承载图像；
将所述车票承载图像输入至CenterNet模型，基于所述CenterNet模型确定出所有车票图像在所述车票承载图像上的位置，并提取出所有车票图像；
将提取出所有车票图像的摆放角度调整至预设角度；
从提取出的所有车票图像中识别出每一张车票图像中的车票文字信息；
基于车站车次票价信息库和身份证姓名信息库对识别出的所述车票文字信息进行检验并进行纠正，将检验完成或纠正完成后的车票文字信息作为识别结果进行输出。
2.根据权利要求1所述的车票识别方法，其特征在于，所述基于所述CenterNet模型确定出所有车票图像在所述车票承载图像上的位置的步骤，具体包括：
从所述车票承载图像中提取出车票图像的特征，根据提取出的车票图像的特征生成车票图像的热力图；
根据所述车票图像的热力图获取车票图像的中心位置信息；
根据所述中心位置信息、通过特征回归获取车票图像的宽度信息和高度信息，基于所述中心位置信息、所述车票图像的宽度信息和所述车票图像的高度信息，确定出每张车票图像的位置。
3.根据权利要求1所述的车票识别方法，其特征在于，所述将提取出所有车票图像的摆放角度调整至预设角度的步骤，具体包括：
对提取出所有车票图像进行灰度处理，然后进行高斯滤波处理；
从高斯滤波处理后的车票图像中提取出车票图像的边缘轮廓，通过联通区域获取文本块，通过对单行文本进行水平投影的方法，对所述文本块做倾斜矫正，通过文字方向分类网络，对车票的旋转方向进行二次纠正。
4.根据权利要求3所述的车票识别方法，其特征在于，
通过图像二值化从高斯滤波处理后的车票图像中提取出车票图像的边缘轮廓。
5.根据权利要求1所述的车票识别方法，其特征在于，所述从提取出的所有车票图像中识别出每一张车票图像中的车票文字信息的步骤，具体包括：
将所有车票图像传入文本检测DBNet模型中，检测出每张车票信息上的每个字段的文本区域box；
将检测出的文本区域box传入文本识别模型，识别出每个文本区域box中的文字信息。
6.根据权利要求5所述的车票识别方法，其特征在于，
所示文本识别模型为文本识别CRNN模型。
7.根据权利要求1至6中任一项所述的车票识别方法，其特征在于，
识别出的所述车票文字信息由多个字段组成，对识别结果进行输出时，通过信息抽取方法将识别出的所有文字信息通过结构化输出。
8.根据权利要求1至6中任一项所述的车票识别方法，其特征在于，
识别出的所述车票文字信息由多个字段组成，基于车站车次票价信息库和身份证姓名信息库对识别出的所述车票文字信息进行检验并进行纠正时，对每个字段用模糊匹配和比对算法进行检验，并在检验出错误时进行纠正。
9.一种车票识别系统，其特征在于，包括：
处理器；
存储器，用于储存所述处理器可执行指令；
其中，所述处理器用于执行所述存储器中储存的所述可执行指令时实现如权利要求1至8中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110851090.5A CN113688834A (zh) | 2021-07-27 | 2021-07-27 | 车票识别方法、车票识别系统及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110851090.5A CN113688834A (zh) | 2021-07-27 | 2021-07-27 | 车票识别方法、车票识别系统及计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113688834A true CN113688834A (zh) | 2021-11-23 |
Family
ID=78577993
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110851090.5A Pending CN113688834A (zh) | 2021-07-27 | 2021-07-27 | 车票识别方法、车票识别系统及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113688834A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114049646A (zh) * | 2021-11-29 | 2022-02-15 | 中国平安人寿保险股份有限公司 | 一种银行卡识别方法、装置、计算机设备及存储介质 |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105279971A (zh) * | 2015-10-09 | 2016-01-27 | 北京易华录信息技术股份有限公司 | 一种车辆信息匹配方法、系统及监控装置 |
| CN110197140A (zh) * | 2019-05-16 | 2019-09-03 | 武汉邦拓信息科技有限公司 | 基于文字识别的材料审核方法及设备 |
| CN110489985A (zh) * | 2019-08-21 | 2019-11-22 | 泰康保险集团股份有限公司 | 数据处理方法、装置、计算机可读存储介质及电子设备 |
| CN111291752A (zh) * | 2020-01-22 | 2020-06-16 | 山东浪潮通软信息科技有限公司 | 一种发票识别方法及设备、介质 |
| CN111325092A (zh) * | 2019-12-26 | 2020-06-23 | 湖南星汉数智科技有限公司 | 一种动车票识别方法、装置、计算机装置及计算机可读存储介质 |
| CN111340035A (zh) * | 2020-03-24 | 2020-06-26 | 山东浪潮通软信息科技有限公司 | 一种火车票识别方法、系统、设备以及介质 |
| CN111368828A (zh) * | 2020-02-27 | 2020-07-03 | 大象慧云信息技术有限公司 | 一种多票据的识别方法及装置 |
| CN111414906A (zh) * | 2020-03-05 | 2020-07-14 | 北京交通大学 | 纸质票据图片的数据合成与文本识别方法 |
| CN111476109A (zh) * | 2020-03-18 | 2020-07-31 | 深圳中兴网信科技有限公司 | 票据处理方法、票据处理装置和计算机可读存储介质 |
| CN111814785A (zh) * | 2020-06-11 | 2020-10-23 | 浙江大华技术股份有限公司 | 发票识别方法及相关模型的训练方法以及相关设备、装置 |
| CN112100063A (zh) * | 2020-08-31 | 2020-12-18 | 腾讯科技（深圳）有限公司 | 界面语言的显示测试方法、装置、计算机设备和存储介质 |
| CN112215216A (zh) * | 2020-09-10 | 2021-01-12 | 中国东方电气集团有限公司 | 一种图像识别结果的字符串模糊匹配系统及方法 |
| CN112766255A (zh) * | 2021-01-19 | 2021-05-07 | 上海微盟企业发展有限公司 | 一种光学文字识别方法、装置、设备及存储介质 |
| CN112949455A (zh) * | 2021-02-26 | 2021-06-11 | 武汉天喻信息产业股份有限公司 | 一种增值税发票识别系统及方法 |
| CN113011349A (zh) * | 2021-03-24 | 2021-06-22 | 中国工商银行股份有限公司 | 一种票据的要素识别方法、装置及存储介质 |
-
2021
- 2021-07-27 CN CN202110851090.5A patent/CN113688834A/zh active Pending
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105279971A (zh) * | 2015-10-09 | 2016-01-27 | 北京易华录信息技术股份有限公司 | 一种车辆信息匹配方法、系统及监控装置 |
| CN110197140A (zh) * | 2019-05-16 | 2019-09-03 | 武汉邦拓信息科技有限公司 | 基于文字识别的材料审核方法及设备 |
| CN110489985A (zh) * | 2019-08-21 | 2019-11-22 | 泰康保险集团股份有限公司 | 数据处理方法、装置、计算机可读存储介质及电子设备 |
| CN111325092A (zh) * | 2019-12-26 | 2020-06-23 | 湖南星汉数智科技有限公司 | 一种动车票识别方法、装置、计算机装置及计算机可读存储介质 |
| CN111291752A (zh) * | 2020-01-22 | 2020-06-16 | 山东浪潮通软信息科技有限公司 | 一种发票识别方法及设备、介质 |
| CN111368828A (zh) * | 2020-02-27 | 2020-07-03 | 大象慧云信息技术有限公司 | 一种多票据的识别方法及装置 |
| CN111414906A (zh) * | 2020-03-05 | 2020-07-14 | 北京交通大学 | 纸质票据图片的数据合成与文本识别方法 |
| CN111476109A (zh) * | 2020-03-18 | 2020-07-31 | 深圳中兴网信科技有限公司 | 票据处理方法、票据处理装置和计算机可读存储介质 |
| CN111340035A (zh) * | 2020-03-24 | 2020-06-26 | 山东浪潮通软信息科技有限公司 | 一种火车票识别方法、系统、设备以及介质 |
| CN111814785A (zh) * | 2020-06-11 | 2020-10-23 | 浙江大华技术股份有限公司 | 发票识别方法及相关模型的训练方法以及相关设备、装置 |
| CN112100063A (zh) * | 2020-08-31 | 2020-12-18 | 腾讯科技（深圳）有限公司 | 界面语言的显示测试方法、装置、计算机设备和存储介质 |
| CN112215216A (zh) * | 2020-09-10 | 2021-01-12 | 中国东方电气集团有限公司 | 一种图像识别结果的字符串模糊匹配系统及方法 |
| CN112766255A (zh) * | 2021-01-19 | 2021-05-07 | 上海微盟企业发展有限公司 | 一种光学文字识别方法、装置、设备及存储介质 |
| CN112949455A (zh) * | 2021-02-26 | 2021-06-11 | 武汉天喻信息产业股份有限公司 | 一种增值税发票识别系统及方法 |
| CN113011349A (zh) * | 2021-03-24 | 2021-06-22 | 中国工商银行股份有限公司 | 一种票据的要素识别方法、装置及存储介质 |
Non-Patent Citations (4)
| Title |
|---|
| KAIWEN DUAN等: "CenterNet: Keypoint Triplets for Object Detection", 《ARXIV:1904.08189V3》, pages 1 - 10 * |
| MINGHUI LIAO等: "Real-time Scene Text Detection with Differentiable Binarization", 《ARXIV:1911.08947V2》, pages 1 - 8 * |
| XINGYI ZHOU等: "Objects as Points", 《ARXIV:1904.07850V2》, pages 1 - 12 * |
| 王德青等: "场景文字识别技术研究综述", 《计算机工程与应用》, pages 1 - 15 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114049646A (zh) * | 2021-11-29 | 2022-02-15 | 中国平安人寿保险股份有限公司 | 一种银行卡识别方法、装置、计算机设备及存储介质 |
| CN114049646B (zh) * | 2021-11-29 | 2024-09-06 | 中国平安人寿保险股份有限公司 | 一种银行卡识别方法、装置、计算机设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109308476B (zh) | 票据信息处理方法、系统及计算机可读存储介质 | |
| CN111353497B (zh) | 一种身份证信息的识别方法和装置 | |
| CN110728225B (zh) | 一种用于考勤的高速人脸搜索方法 | |
| CN111476109A (zh) | 票据处理方法、票据处理装置和计算机可读存储介质 | |
| CN110490190B (zh) | 一种结构化图像文字识别方法及系统 | |
| CN109840520A (zh) | 一种发票关键信息识别方法及系统 | |
| CN112464925A (zh) | 基于机器学习的移动端开户资料银行信息自动提取方法 | |
| CN110516676A (zh) | 一种基于图像处理的银行卡号识别系统 | |
| CN112396047B (zh) | 训练样本生成方法、装置、计算机设备和存储介质 | |
| CN110598581A (zh) | 基于卷积神经网络的光学乐谱识别方法 | |
| CN116092231A (zh) | 票证识别方法、装置、终端设备以及存储介质 | |
| CN111462388A (zh) | 一种票据检验方法、装置、终端设备及存储介质 | |
| CN113688834A (zh) | 车票识别方法、车票识别系统及计算机可读存储介质 | |
| CN111274863A (zh) | 一种基于文本山峰概率密度的文本预测方法 | |
| CN114694161A (zh) | 一种特定版式证件的文本识别方法、设备及存储介质 | |
| KR102436814B1 (ko) | 광학 문자 인식 장치 및 그 제어방법 | |
| CN117496521A (zh) | 一种表格关键信息抽取方法、系统、装置及可读存储介质 | |
| CN111881880A (zh) | 一种基于新型网络的票据文本识别方法 | |
| CN117197864A (zh) | 基于深度学习的证件照分类识别及免冠检测方法及系统 | |
| CN116798061A (zh) | 一种票据审核识别方法、装置、终端和存储介质 | |
| CN111046770A (zh) | 一种照片档案人物自动标注方法 | |
| CN113947678A (zh) | 一种适用于文本图像的图像对齐方法 | |
| CN114627457A (zh) | 一种票面信息识别方法及装置 | |
| CN113255683B (zh) | 一种基于神经网络的图像分割方法、系统及存储介质 | |
| JP2004094427A (ja) | 帳票画像処理装置及び該装置を実現するためのプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20211123 |
|
| WD01 | Invention patent application deemed withdrawn after publication |