CN112686257A - 一种基于ocr的店头文字识别方法及系统 - Google Patents

Abstract

本发明提供一种基于OCR的店头文字识别方法及系统，其中方法包括：获取含有店头文字的图片，对所述图片进行预处理，得到含有店头文字的第一图像；其中，所述预处理包括：去噪处理、角度矫正及增强处理；对所述第一图像进行文本区域检测，得到所述第一图像的文本区域数量及位置信息；根据所述第一图像的文本区域数量及位置信息进行裁剪，得到仅含有文本信息的第二图像；对所述第二图像中的文本信息进行文字识别，得到输出文字信息；对所述文字信息进行筛选，输出目标文字信息。本发明可实现图像中店头实时自动化检测与店头名称识别，支持多方向、多版本字体的识别。本发明支持单张/批量店头图像处理，支持同步/异步店头信息识别。

Description

一种基于OCR的店头文字识别方法及系统

技术领域

本发明涉及光学字符识别技术领域，特别是涉及一种基于OCR的店头文字识别方法及系统。

背景技术

在快消行业中，快消企业生产的商品在线下主要依靠终端门店来进行售卖，对于大型快消企业，在全国各个区域的终端门店数量与店铺名称的信息非常重要。

一直以来，快消企业获取终端门店名称的传统做法是依靠不同区域的业务员，在进行门店拜访巡查时手动录入门店名称，这样不仅影响工作效率，且验证获取信息的正确性同样需要投入人力，成本较高，很多快消企业只能采取抽样验证的方式进行校验，所以，即使获取到的信息中存在不准确的或者虚假的，也很难被查出，造成企业对市场的错误判断。

发明内容

本发明提供一种基于OCR的店头文字识别方法及系统，可以对手机、相机等电子设备拍摄的店头信息进行识别，将识别到的店铺名称信息直接上传到快消企业的业务数据系统，在保证信息准确性的同时极大地节省了人力资源。

本发明一个实施例提供一种基于OCR的店头文字识别方法，包括：

获取含有店头文字的图片，对所述图片进行预处理，得到含有店头文字的第一图像；其中，所述预处理包括：去噪处理、角度矫正及增强处理；

对所述第一图像进行文本区域检测，得到所述第一图像的文本区域数量及位置信息；

根据所述第一图像的文本区域数量及位置信息进行裁剪，得到仅含有文本信息的第二图像；

对所述第二图像中的文本信息进行文字识别，得到输出文字信息；

对所述文字信息进行筛选，输出目标文字信息。

进一步地，所述对所述第一图像进行文本区域检测之前，还包括：

通过基于深度学习技术对店头图像和标注数据进行训练得到的检测模型对所述第一图像进行检测，在判断所述第一图像含有至少有一个店头文字时，执行对所述第一图像进行文本区域检测。

进一步地，所述在判断所述第一图像含有至少有一个店头文字时，具体地：

在判断所述第一图像含有超过一个店头文字信息时，根据字词数据库进行相似度匹配，选出与目标店头信息所属行业最接近的一个店头，执行对所述第一图像进行文本区域检测。

进一步地，所述对所述第一图像进行文本区域检测，得到所述第一图像的文本区域数量及位置信息，具体地：

通过基于深度学习技术对店头图像和文本区域标注数据进行训练得到的检测模型对所述第一图像进行文本区域检测，得到所述第一图像的文本区域数量及位置信息。

进一步地，所述对所述第二图像中的文本信息进行文字识别，得到输出文字信息，具体地：

通过基于深度学习技术对文本图像和文本字符标注数据进行训练得到的识别模型对所述第二图像中的文本信息进行文字识别，得到输出文字信息。

本发明一实施例提供一种基于OCR的店头文字识别系统，包括：

图片预处理模块，用于获取含有店头文字的图片，对所述图片进行预处理，得到含有店头文字的第一图像；其中，所述预处理包括：去噪处理、角度矫正及增强处理；

文本区域检测模块，用于对所述第一图像进行文本区域检测，得到所述第一图像的文本区域数量及位置信息；

图像裁剪模块，用于根据所述第一图像的文本区域数量及位置信息进行裁剪，得到仅含有文本信息的第二图像；

文字识别模块，用于对所述第二图像中的文本信息进行文字识别，得到输出文字信息；

文字信息筛选模块，用于对所述文字信息进行筛选，输出目标文字信息。

进一步地，所述的一种基于OCR的店头文字识别系统，还包括：

第一判断模块，用于通过基于深度学习技术对店头图像和标注数据进行训练得到的检测模型对所述第一图像进行检测，在判断所述第一图像含有至少有一个店头文字时，执行对所述第一图像进行文本区域检测。

进一步地，所述第一判断模块，还用于：

在判断所述第一图像含有超过一个店头文字信息时，根据字词数据库进行相似度匹配，选出与目标店头信息所属行业最接近的一个店头，执行对所述第一图像进行文本区域检测。

进一步地，所述文本区域检测模块，还用于：

通过基于深度学习技术对店头图像和文本区域标注数据进行训练得到的检测模型对所述第一图像进行文本区域检测，得到所述第一图像的文本区域数量及位置信息。

进一步地，所述文字识别模块，还用于：

通过基于深度学习技术对文本图像和文本字符标注数据进行训练得到的识别模型对所述第二图像中的文本信息进行文字识别，得到输出文字信息。

与现有技术相比，本发明实施例的有益效果在于：

本发明一个实施例提供一种基于OCR的店头文字识别方法，包括：获取含有店头文字的图片，对所述图片进行预处理，得到含有店头文字的第一图像；其中，所述预处理包括：去噪处理、角度矫正及增强处理；对所述第一图像进行文本区域检测，得到所述第一图像的文本区域数量及位置信息；根据所述第一图像的文本区域数量及位置信息进行裁剪，得到仅含有文本信息的第二图像；对所述第二图像中的文本信息进行文字识别，得到输出文字信息；对所述文字信息进行筛选，输出目标文字信息。本发明可实现图像中店头实时自动化检测与店头名称识别，支持多方向、多版本字体的识别。本发明支持单张/批量店头图像处理，支持同步/异步店头信息识别。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明某一实施例提供的一种基于OCR的店头文字识别方法的流程图；

图2是本发明另一实施例提供的一种基于OCR的店头文字识别方法的流程图；

图3是本发明又一实施例提供的一种基于OCR的店头文字识别方法的流程图；

图4是本发明某一实施例提供的基于OCR的店头文字识别的单个店头例图；

图5是本发明某一实施例提供的基于OCR的店头文字识别的检测效果图；

图6是本发明另一实施例提供的基于OCR的店头文字识别的多个店头例图；

图7是本发明某一实施例提供的一种基于OCR的店头文字识别系统的装置图；

图8是本发明另一实施例提供的一种基于OCR的店头文字识别系统的装置图；

图9是本发明某一实施例提供的一种电子设备的结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，文中所使用的步骤编号仅是为了方便描述，不对作为对步骤执行先后顺序的限定。

应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

OCR （Optical Character Recognition，光学字符识别）是指电子设备（例如扫描仪或数码相机）检查纸上打印的字符，通过检测暗、亮的模式确定其形状，然后用字符识别方法将形状翻译成计算机文字的过程。

早期的OCR技术实现基于模式匹配加分类的思想，对于纸张的文字图像信息，利用各种模式识别算法分析文字形态特征，判断出汉字的标准编码，并按通用格式存储在文本文件中，主要应用于文档类的图像信息识别。

近年来，人工智能技术在计算机视觉领域迅速发展，深度学习技术被应用于OCR，OCR的技术实现方式由之前的模式匹配加分类的思想，转变为基于深度学习网络的文本检测+文本识别的方式，应用方向不仅适用于文档类图像的识别，还可应用于场景文字识别。

场景文字识别是指识别自然场景图片中的文字信息。技术实现流程主要为四个步骤：图像预处理、文本检测、文本识别、输出。其中图像预处理涉及到图像的去噪、角度矫正、增强等技术；文本检测是指基于文本检测算法训练数据生成文本检测模型，检测出图片中的文本区域；文本识别是指基于文本识别算法训练数据生成文本识别模型，识别出文本区域内的字符信息。

第一方面。

请参阅图1-2，本发明一实施例提供一种基于OCR的店头文字识别方法，包括：

S10、获取含有店头文字的图片，对所述图片进行预处理，得到含有店头文字的第一图像；其中，所述预处理包括：去噪处理、角度矫正及增强处理。

在某一具体实施方式中，还包括：

S11、通过基于深度学习技术对店头图像和标注数据进行训练得到的检测模型对所述第一图像进行检测，在判断所述第一图像含有至少有一个店头文字时，执行对所述第一图像进行文本区域检测。

在某一具体实施方式中，根据高斯滤波算法及中值滤波算法进行所述去噪处理，消除所述图片中对文本信息有明显干扰的噪声像素；

根据基于深度神经网络的文本角度检测模型进行所述角度矫正，检测所述图片的倾斜和/或翻转角度，并将图片进行旋转矫正；

根据超分辨率技术进行所述增强处理，提升图像分辨率。

S12、在判断所述第一图像含有超过一个店头文字信息时，根据字词数据库进行相似度匹配，选出与目标店头信息所属行业最接近的一个店头，执行对所述第一图像进行文本区域检测。

S20、对所述第一图像进行文本区域检测，得到所述第一图像的文本区域数量及位置信息。

在某一具体实施方式中，所述S20、对所述第一图像进行文本区域检测，得到所述第一图像的文本区域数量及位置信息，具体地：

通过基于深度学习技术对店头图像和文本区域标注数据进行训练得到的检测模型对所述第一图像进行文本区域检测，得到所述第一图像的文本区域数量及位置信息。

S30、根据所述第一图像的文本区域数量及位置信息进行裁剪，得到仅含有文本信息的第二图像。

S40、对所述第二图像中的文本信息进行文字识别，得到输出文字信息。

在某一具体实施方式中，所述S40、对所述第二图像中的文本信息进行文字识别，得到输出文字信息，具体地：

通过基于深度学习技术对文本图像和文本字符标注数据进行训练得到的识别模型对所述第二图像中的文本信息进行文字识别，得到输出文字信息。

S50、对所述文字信息进行筛选，输出目标文字信息。

本发明可实现图像中店头实时自动化检测与店头名称识别，支持多方向、多版本字体的识别。本发明支持单张/批量店头图像处理，支持同步/异步店头信息识别。

在某一具体实施例中，所述本发明的整体实施过程如图3所示，具体实施方式如下：

（1）图像数据采集装置：业务员通过手机APP/小程序调用摄像头，对店头进行拍摄，并将拍摄到的图片上传至阿里云服务器，上传图片数量支持单张/批量,识别模式支持同步/异步。

（2）店头检测模块是基于深度学习技术对店头图像和标注数据进行训练得到的检测模型构成。上传的图片数据传入店头检测模块，检测图像中是否含有店头。如果没有检测到店头，则将检测结果直接返回手机端，结束本次店头文字识别流程，重新拍摄图片；如果检测到店头，则输出店头的数量与每个店头在图像中的位置信息。

（3）文本检测模块是基于深度学习技术对店头图像和文本区域标注数据进行训练得到的检测模型构成。如果步骤（2）检测到1个店头，如图4所示。将根据店头位置信息裁剪后的图片传入文本检测模块，进行文本区域的检测，检测的效果如图5所示，红色框的区域为检测到的文本区域。经过文本检测模块，可以得到图像中的文本区域数量和位置信息。

（4）文本识别模块是基于深度学习技术对文本图像和文本字符标注数据进行训练得到的识别模型构成。将步骤（3）检测到的文本区域信息传入文本识别模块，识别出各个区域的文字信息。例如图5，经过文本识别模块识别的信息为：“丰和超市”、“烟酒”、“副食”、“饮料”、“电话：”、“18908142879”。

（5）格式化输出模块的功能是文本筛选与文本格式化。对步骤（4）传入的文本信息，结合具体业务要求进行文本过滤与格式化，得到目标输出文本信息，并将文本信息回传给手机移动端。

（6）手机端在接收到识别信息后进行前端显示并同时上传至业务系统数据库。

（7）如果步骤（2）检测到多个店头，如图6所示，在经过步骤（3）、步骤（4）后，将识别到的文本信息传入优先级匹配模块，根据字词数据库进行相似度匹配，选出与目标店头信息所属行业最接近的一个店头，并将该店头信息传入格式化输出模块，接着回传数据给手机移动端，进行结果显示并上传业务系统数据库。

第二方面。

请参阅图7-8，本发明一实施例提供一种基于OCR的店头文字识别系统，包括：

图片预处理模块10，用于获取含有店头文字的图片，对所述图片进行预处理，得到含有店头文字的第一图像；其中，所述预处理包括：去噪处理、角度矫正及增强处理。

文本区域检测模块20，用于对所述第一图像进行文本区域检测，得到所述第一图像的文本区域数量及位置信息。

在某一具体实施方式中，所述文本区域检测模块20，还用于：

通过基于深度学习技术对店头图像和文本区域标注数据进行训练得到的检测模型对所述第一图像进行文本区域检测，得到所述第一图像的文本区域数量及位置信息。

图像裁剪模30，用于根据所述第一图像的文本区域数量及位置信息进行裁剪，得到仅含有文本信息的第二图像。

文字识别模块40，用于对所述第二图像中的文本信息进行文字识别，得到输出文字信息。

在某一具体实施方式中，所述文字识别模块40，还用于：

通过基于深度学习技术对文本图像和文本字符标注数据进行训练得到的识别模型对所述第二图像中的文本信息进行文字识别，得到输出文字信息。

文字信息筛选模块50，用于对所述文字信息进行筛选，输出目标文字信息。

在某一具体实施方式中，还包括：

第一判断模块60，用于通过基于深度学习技术对店头图像和标注数据进行训练得到的检测模型对所述第一图像进行检测，在判断所述第一图像含有至少有一个店头文字时，执行对所述第一图像进行文本区域检测。

在某一具体实施方式中，所述第一判断模块60，还用于：

在判断所述第一图像含有超过一个店头文字信息时，根据字词数据库进行相似度匹配，选出与目标店头信息所属行业最接近的一个店头，执行对所述第一图像进行文本区域检测

第三方面。

本发明提供了一种电子设备，该电子设备包括：

处理器、存储器和总线；

所述总线，用于连接所述处理器和所述存储器；

所述存储器，用于存储操作指令；

所述处理器，用于通过调用所述操作指令，可执行指令使处理器执行如本申请的第一方面所示的一种基于OCR的店头文字识别方法对应的操作。

在一个可选实施例中提供了一种电子设备，如图9所示，图9所示的电子设备5000包括：处理器5001和存储器5003。其中，处理器5001和存储器5003相连，如通过总线5002相连。可选地，电子设备5000还可以包括收发器5004。需要说明的是，实际应用中收发器5004不限于一个，该电子设备5000的结构并不构成对本申请实施例的限定。

处理器5001可以是CPU，通用处理器，DSP，ASIC，FPGA或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器5001也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。

总线5002可包括一通路，在上述组件之间传送信息。总线5002可以是PCI总线或EISA总线等。总线5002可以分为地址总线、数据总线、控制总线等。为便于表示，图9中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

存储器5003可以是ROM或可存储静态信息和指令的其他类型的静态存储设备，RAM或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM、CD-ROM或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。

存储器5003用于存储执行本申请方案的应用程序代码，并由处理器5001来控制执行。处理器5001用于执行存储器5003中存储的应用程序代码，以实现前述任一方法实施例所示的内容。

其中，电子设备包括但不限于：移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。

第四方面。

本发明提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现本申请第一方面所示的一种基于OCR的店头文字识别方法。

本申请的又一实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，当其在计算机上运行时，使得计算机可以执行前述方法实施例中相应内容。

Claims (10)

1.一种基于OCR的店头文字识别方法，其特征在于，包括：

获取含有店头文字的图片，对所述图片进行预处理，得到含有店头文字的第一图像；其中，所述预处理包括：去噪处理、角度矫正及增强处理；

对所述第一图像进行文本区域检测，得到所述第一图像的文本区域数量及位置信息；

根据所述第一图像的文本区域数量及位置信息进行裁剪，得到仅含有文本信息的第二图像；

对所述第二图像中的文本信息进行文字识别，得到输出文字信息；

对所述文字信息进行筛选，输出目标文字信息。

2.如权利要求1所述的一种基于OCR的店头文字识别方法，其特征在于，所述对所述第一图像进行文本区域检测之前，还包括：

通过基于深度学习技术对店头图像和标注数据进行训练得到的检测模型对所述第一图像进行检测，在判断所述第一图像含有至少有一个店头文字时，执行对所述第一图像进行文本区域检测。

3.如权利要求2所述的一种基于OCR的店头文字识别方法，其特征在于，所述在判断所述第一图像含有至少有一个店头文字时，具体地：

在判断所述第一图像含有超过一个店头文字信息时，根据字词数据库进行相似度匹配，选出与目标店头信息所属行业最接近的一个店头，执行对所述第一图像进行文本区域检测。

4.如权利要求1所述的一种基于OCR的店头文字识别方法，其特征在于，所述对所述第一图像进行文本区域检测，得到所述第一图像的文本区域数量及位置信息，具体地：

通过基于深度学习技术对店头图像和文本区域标注数据进行训练得到的检测模型对所述第一图像进行文本区域检测，得到所述第一图像的文本区域数量及位置信息。

5.如权利要求1所述的一种基于OCR的店头文字识别方法，其特征在于，所述对所述第二图像中的文本信息进行文字识别，得到输出文字信息，具体地：

通过基于深度学习技术对文本图像和文本字符标注数据进行训练得到的识别模型对所述第二图像中的文本信息进行文字识别，得到输出文字信息。

6.一种基于OCR的店头文字识别系统，其特征在于，包括：

图片预处理模块，用于获取含有店头文字的图片，对所述图片进行预处理，得到含有店头文字的第一图像；其中，所述预处理包括：去噪处理、角度矫正及增强处理；

文本区域检测模块，用于对所述第一图像进行文本区域检测，得到所述第一图像的文本区域数量及位置信息；

图像裁剪模块，用于根据所述第一图像的文本区域数量及位置信息进行裁剪，得到仅含有文本信息的第二图像；

文字识别模块，用于对所述第二图像中的文本信息进行文字识别，得到输出文字信息；

文字信息筛选模块，用于对所述文字信息进行筛选，输出目标文字信息。

7.如权利要求6所述的一种基于OCR的店头文字识别系统，其特征在于，还包括：

第一判断模块，用于通过基于深度学习技术对店头图像和标注数据进行训练得到的检测模型对所述第一图像进行检测，在判断所述第一图像含有至少有一个店头文字时，执行对所述第一图像进行文本区域检测。

8.如权利要求7所述的一种基于OCR的店头文字识别系统，其特征在于，所述第一判断模块，还用于：

在判断所述第一图像含有超过一个店头文字信息时，根据字词数据库进行相似度匹配，选出与目标店头信息所属行业最接近的一个店头，执行对所述第一图像进行文本区域检测。

9.如权利要求6所述的一种基于OCR的店头文字识别系统，其特征在于，所述文本区域检测模块，还用于：

通过基于深度学习技术对店头图像和文本区域标注数据进行训练得到的检测模型对所述第一图像进行文本区域检测，得到所述第一图像的文本区域数量及位置信息。

10.如权利要求6所述的一种基于OCR的店头文字识别系统，其特征在于，所述文字识别模块，还用于：

通过基于深度学习技术对文本图像和文本字符标注数据进行训练得到的识别模型对所述第二图像中的文本信息进行文字识别，得到输出文字信息。

Images