CN112287898A - 一种图像的文本检测质量评价方法及系统 - Google Patents

一种图像的文本检测质量评价方法及系统 Download PDF

Info

Publication number
CN112287898A
CN112287898A CN202011348987.8A CN202011348987A CN112287898A CN 112287898 A CN112287898 A CN 112287898A CN 202011348987 A CN202011348987 A CN 202011348987A CN 112287898 A CN112287898 A CN 112287898A
Authority
CN
China
Prior art keywords
text detection
quality
visual
detection line
evaluation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011348987.8A
Other languages
English (en)
Inventor
丛建亭
黄贤俊
侯进
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyuan Hengji Technology Co ltd
Original Assignee
Shenyuan Hengji Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyuan Hengji Technology Co ltd filed Critical Shenyuan Hengji Technology Co ltd
Priority to CN202011348987.8A priority Critical patent/CN112287898A/zh
Publication of CN112287898A publication Critical patent/CN112287898A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/41Analysis of document content
    • G06V30/413Classification of content, e.g. text, photographs or tables
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Abstract

本发明公开了一种图像的文本检测质量评价方法及系统,包括:对图像进行文本检测和可视化绘制,得到文本检测行对象;筛选概率小于预设值的文本检测行对象,构成待评价对象集合;采用深度学习分类网络,依次对对象集合中每个文本检测行对象的可视化图像区域进行质量分类评价;其中,评价结果包括“可视化质量差”和“可视化质量良好”;输出“可视化质量差”的文本检测行对象,构成待质检修正对象集合。本发明采用了深度学习分类网络学习文本检测的可视化主观视觉质量,准确率高;相比仅用阈值逻辑区分方式更加符合人眼主观视觉感受,进一步提高票据文本检测标注过程中的处理效率,降低企业人力运营成本。

Description

一种图像的文本检测质量评价方法及系统
技术领域
本发明涉及文本检测质量评价技术领域,具体涉及一种图像的文本检测质量评价方法及系统,适用于票据等图像。
背景技术
文本检测:文本检测就是找出每个文本在图片中出现的位置,通常类别只有2个"有文字和没文字"。
质量评价:图像质量评价方法有主观评价和客观评价两个分支。主观评价以人作为观测者,对图像进行主观评价,力求能够真实地反映人的视觉感知;客观评价方法借助于某种数学模型,反映人眼的主观感知,给出基于数字计算的结果。
OCR(Optical Character Recognition光学字符识别)是指电子设备(例如扫描仪或数码相机)检查纸上打印的字符,然后用字符识别方法将形状翻译成计算机文字的过程。图像文字识别的解决方案通常是文本检测和文字识别两个步骤,文本检测用来定位图像中的文本行,文字识别则对文本行做进一步的识别,从而得到结构化得到文本信息。
2012年以来,深度学习在图片识别领域取得非常大的进步。相比传统的图片识别方法使用的色彩、HOG等低级视觉特征;深度神经网络能学得更多高级的、抽象的特征,这使得深度神经网络的性能远远超越传统方法。2014年以来,深度学习开始在物体检测、物体分割等领域取得优秀成果,涌现出Deeplab、YOLO、Faster RCNN等一序列方法,识别准确率在特定任务上已经超越了人类识别的水平,并在生成环境中得到大规模使用。
其中,文本检测现在多流行端到端的深度学习网络实现,包括训练环节和推理环节,通常情况下对文本检测训练后的模型做质量评价时通常采用有标注ground truth的方式评估模型的召回和准确率,从而获得模型的性能参数。对票据图像来说,票据中的文本行经常会特别丰富,有的票据多达几百个文本行目标,因此票据图像数据标注工作非常消耗人工成本,同时一个人完成一张票据图像修正也会消耗大量时间和精力,更容易使得人工疲劳。
虽然现在业内都会采用预标注文本检测框来改善票据图像数据标注效率,但为了获取高质量的文本检测训练数据,即使对单张票据图像的文本检测行做质检修正,由于目标数量很大,仍然是一个效率不够高的标注过程。
基于上述情况,为改善票据图像标注质检效率、节省人工标注成本、获取高质量文本检测训练图像数据,是非常有必要对无标注ground truth的票据图像的文本行做质量评价,标注时仅关注质量评价不高的文本行对象即可。
同时,通常文本检测对象的质量评价可以采用概率score设置阈值来实现,但概率具有一定的局限性,与人眼主观偏差较大;部分概率值偏小的图像从人眼主观视觉上判断也是质量良好的,即使其概率由于某些原因不如周围的文本对象。
发明内容
针对现有技术中存在的上述问题,本发明提供一种图像的文本检测质量评价方法及系统,其基于深度学习网络对单个文本行对象的可视化图像区域做出质量分类评价,分类结果包括“可视化质量差”和“可视化质量良好”两类,进一步提高改善疑似问题的文本行对象的人工质检修正效率。
本发明公开了一种图像的文本检测质量评价方法,包括:
对图像进行文本检测和可视化绘制,得到文本检测行对象;
筛选概率小于预设值的文本检测行对象,构成待评价对象集合;
采用深度学习分类网络,依次对所述对象集合中每个文本检测行对象的可视化图像区域进行质量分类评价;其中,评价结果包括“可视化质量差”和“可视化质量良好”;
输出“可视化质量差”的文本检测行对象,构成待质检修正对象集合。
作为本发明的进一步改进,所述文本检测的算法包括Faster RCNN、R2CNN、Mask_RCNN中的一种。
作为本发明的进一步改进,采用矩形框进行可视化绘制。
作为本发明的进一步改进,筛选概率小于0.8的文本检测行对象,构成待评价对象集合。
作为本发明的进一步改进,所述可视化图像区域为以单个文本检测行对象中心取256*256大小的正方形图像区域。
作为本发明的进一步改进,所述质量分类评价的算法包括Mobilenet、VGG、ResNet、GoogleNet、InceptionV3、NASNet中的一种。
作为本发明的进一步改进,过滤评价结果为“可视化质量良好”的文本检测行对象,无需进行质检修正。
作为本发明的进一步改进,还包括:
对待质检修正对象集合中的文本检测行对象进行人工拉框修正。
本发明还公开了一种用于上述文本检测质量评价方法的评价系统,包括:
文本检测可视化绘制模块,对图像进行文本检测和可视化绘制,得到文本检测行对象;
筛选模块,用于筛选概率小于预设值的文本检测行对象,构成待评价对象集合;
可视化质量评价模块,用于采用深度学习分类网络,依次对所述对象集合中每个文本检测行对象的可视化图像区域进行质量分类评价;其中,评价结果包括“可视化质量差”和“可视化质量良好”;
输出模块,用于输出“可视化质量差”的文本检测行对象,构成待质检修正对象集合。
作为本发明的进一步改进,还包括:
质检修正模块,用于对待质检修正对象集合中的文本检测行对象进行人工拉框修正。
与现有技术相比,本发明的有益效果为:
本发明采用了深度学习分类网络学习文本检测的可视化主观视觉质量,准确率高;相比仅用阈值逻辑区分方式更加符合人眼主观视觉感受,进一步提高票据文本检测标注过程中的处理效率,降低企业人力运营成本。
附图说明
图1为本发明一种实施例公开的文本检测质量评价方法的流程图;
图2为本发明一种实施例公开的文本检测质量评价系统的框架图;
图3为Faster RCNN两阶段深度网络结构示意图;
图4a为可视化质量差的示意图;
图4b为可视化质量良好的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
下面结合附图对本发明做进一步的详细描述:
如图1所示,本发明提供一种图像的文本检测质量评价方法,包括:
步骤1、对图像进行文本检测和可视化绘制,得到文本检测行对象;
具体包括:
基于已训练好的文本检测模型对票据等图像进行文本检测,推理出图像中的文本行对象;并以文本行对象坐标做矩形框的可视化绘制,得到该图像的文本检测行对象;
其中,上述文本检测模型所使用的述文本检测的算法包括Faster RCNN、R2CNN、Mask_RCNN中的一种,优选采用Faster RCNN两阶段深度网络结构实现,该技术网络结构通常如图3所示。
步骤2、基于阈值逻辑区分方式,筛选概率小于预设值的文本检测行对象,构成待评价对象集合;
其中,本发明优选筛选概率小于0.8的文本检测行对象,构成待评价对象集合;即认定对象集合中的每个文本行对象中心是可视化质量评价模块输入图像的中心位置。
步骤3、采用深度学习分类网络,依次对对象集合中每个文本检测行对象的可视化图像区域进行质量分类评价;
其中,可视化图像区域为以单个文本检测行对象中心取256*256大小的正方形图像区域,可视化图像区域的选择用于不降低文本字符成像的分辨率,分类网络更容易做识别;
质量分类评价的算法包括常规的Mobilenet、VGG、ResNet、GoogleNet、InceptionV3、NASNet中的一种,本发明选用Mobilenet网络来对256*256的图像区域做分类;评价结果包括如图4a所示的“可视化质量差”和图4b所示的“可视化质量良好”;进一步,图4a、4b中的文字仅作为示例。
步骤4、过滤评价结果为“可视化质量良好”的文本检测行对象,输出“可视化质量差”的文本检测行对象,构成待质检修正对象集合;
其中,本发明仅对“可视化质量差”的文本检测行对象进行质检修正。
步骤5、对待质检修正对象集合中的文本检测行对象进行人工拉框修正。
如图2所示,本发明提供一种用于上述文本检测质量评价方法的评价系统,包括:
文本检测可视化绘制模块,用于实现上述步骤1;
筛选模块,用于实现上述步骤2;
可视化质量评价模块,用于实现上述步骤3;
输出模块,用于实现上述步骤4;
质检修正模块,用于实现上述步骤5。
本发明的优点为:
本发明采用了深度学习分类网络学习文本检测的可视化主观视觉质量,准确率高;相比仅用阈值逻辑区分方式更加符合人眼主观视觉感受,进一步提高票据文本检测标注过程中的处理效率,降低企业人力运营成本。
在实际工作中验证约有50%比例的概率小于0.80的文本行对象可视化质量是良好的,这些将被过滤掉,无需人工质检修正,也就是说对人工标注而言,减少约50%的工作量。
以上仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种图像的文本检测质量评价方法,其特征在于,包括:
对图像进行文本检测和可视化绘制,得到文本检测行对象;
筛选概率小于预设值的文本检测行对象,构成待评价对象集合;
采用深度学习分类网络,依次对所述对象集合中每个文本检测行对象的可视化图像区域进行质量分类评价;其中,评价结果包括“可视化质量差”和“可视化质量良好”;
输出“可视化质量差”的文本检测行对象,构成待质检修正对象集合。
2.如权利要求1所述的文本检测质量评价方法,其特征在于,所述文本检测的算法包括Faster RCNN、R2CNN、Mask_RCNN中的一种。
3.如权利要求1所述的文本检测质量评价方法,其特征在于,采用矩形框进行可视化绘制。
4.如权利要求1所述的文本检测质量评价方法,其特征在于,筛选概率小于0.8的文本检测行对象,构成待评价对象集合。
5.如权利要求1所述的文本检测质量评价方法,其特征在于,所述可视化图像区域为以单个文本检测行对象中心取256*256大小的正方形图像区域。
6.如权利要求1所述的文本检测质量评价方法,其特征在于,所述质量分类评价的算法包括Mobilenet、VGG、ResNet、GoogleNet、InceptionV3、NASNet中的一种。
7.如权利要求1所述的文本检测质量评价方法,其特征在于,过滤评价结果为“可视化质量良好”的文本检测行对象,无需进行质检修正。
8.如权利要求1所述的文本检测质量评价方法,其特征在于,还包括:
对待质检修正对象集合中的文本检测行对象进行人工拉框修正。
9.一种用于实现如权利要求1~8中任一项所述的文本检测质量评价方法的评价系统,其特征在于,包括:
文本检测可视化绘制模块,对图像进行文本检测和可视化绘制,得到文本检测行对象;
筛选模块,用于筛选概率小于预设值的文本检测行对象,构成待评价对象集合;
可视化质量评价模块,用于采用深度学习分类网络,依次对所述对象集合中每个文本检测行对象的可视化图像区域进行质量分类评价;其中,评价结果包括“可视化质量差”和“可视化质量良好”;
输出模块,用于输出“可视化质量差”的文本检测行对象,构成待质检修正对象集合。
10.如权利要求9所述的评价系统,其特征在于,还包括:
质检修正模块,用于对待质检修正对象集合中的文本检测行对象进行人工拉框修正。
CN202011348987.8A 2020-11-26 2020-11-26 一种图像的文本检测质量评价方法及系统 Pending CN112287898A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011348987.8A CN112287898A (zh) 2020-11-26 2020-11-26 一种图像的文本检测质量评价方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011348987.8A CN112287898A (zh) 2020-11-26 2020-11-26 一种图像的文本检测质量评价方法及系统

Publications (1)

Publication Number Publication Date
CN112287898A true CN112287898A (zh) 2021-01-29

Family

ID=74425736

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011348987.8A Pending CN112287898A (zh) 2020-11-26 2020-11-26 一种图像的文本检测质量评价方法及系统

Country Status (1)

Country Link
CN (1) CN112287898A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113537192A (zh) * 2021-06-30 2021-10-22 北京百度网讯科技有限公司 图像检测方法、装置、电子设备及存储介质

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103324937A (zh) * 2012-03-21 2013-09-25 日电(中国)有限公司 标注目标的方法和装置
US9715508B1 (en) * 2016-03-28 2017-07-25 Cogniac, Corp. Dynamic adaptation of feature identification and annotation
CN107123122A (zh) * 2017-04-28 2017-09-01 深圳大学 无参考图像质量评价方法及装置
CN109345515A (zh) * 2018-09-17 2019-02-15 代黎明 样本标签置信度计算方法、装置、设备及模型训练方法
WO2019057067A1 (zh) * 2017-09-20 2019-03-28 众安信息技术服务有限公司 图像质量评估方法及装置
CN110046342A (zh) * 2019-02-19 2019-07-23 阿里巴巴集团控股有限公司 一种文本质量检测方法
WO2019174130A1 (zh) * 2018-03-14 2019-09-19 平安科技(深圳)有限公司 票据识别方法、服务器及计算机可读存储介质
CN110781633A (zh) * 2019-10-30 2020-02-11 广东博智林机器人有限公司 基于深度学习模型的图文设计质量检测方法、装置及系统
CN111061901A (zh) * 2019-11-28 2020-04-24 中国船舶重工集团公司第七0九研究所 一种图像智能标注方法、系统及图像标注质量分析方法
CN111127452A (zh) * 2019-12-27 2020-05-08 上海箱云物流科技有限公司 一种基于云端处理的集装箱智能ocr识别方法
CN111210399A (zh) * 2018-11-22 2020-05-29 杭州海康威视数字技术股份有限公司 一种成像质量评价方法、装置及设备
WO2020140665A1 (zh) * 2019-01-04 2020-07-09 深圳壹账通智能科技有限公司 双录视频质量检测方法、装置、计算机设备和存储介质
CN111630521A (zh) * 2018-02-28 2020-09-04 佳能欧洲股份有限公司 图像处理方法和图像处理系统
CN111627014A (zh) * 2020-05-29 2020-09-04 四川大学 一种基于深度学习的根管检测与评分的方法及系统
CN111914706A (zh) * 2020-07-22 2020-11-10 厦门商集网络科技有限责任公司 一种文字检测输出结果质量检测和控制的方法与装置

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103324937A (zh) * 2012-03-21 2013-09-25 日电(中国)有限公司 标注目标的方法和装置
US9715508B1 (en) * 2016-03-28 2017-07-25 Cogniac, Corp. Dynamic adaptation of feature identification and annotation
CN107123122A (zh) * 2017-04-28 2017-09-01 深圳大学 无参考图像质量评价方法及装置
WO2019057067A1 (zh) * 2017-09-20 2019-03-28 众安信息技术服务有限公司 图像质量评估方法及装置
CN111630521A (zh) * 2018-02-28 2020-09-04 佳能欧洲股份有限公司 图像处理方法和图像处理系统
WO2019174130A1 (zh) * 2018-03-14 2019-09-19 平安科技(深圳)有限公司 票据识别方法、服务器及计算机可读存储介质
CN109345515A (zh) * 2018-09-17 2019-02-15 代黎明 样本标签置信度计算方法、装置、设备及模型训练方法
CN111210399A (zh) * 2018-11-22 2020-05-29 杭州海康威视数字技术股份有限公司 一种成像质量评价方法、装置及设备
WO2020140665A1 (zh) * 2019-01-04 2020-07-09 深圳壹账通智能科技有限公司 双录视频质量检测方法、装置、计算机设备和存储介质
CN110046342A (zh) * 2019-02-19 2019-07-23 阿里巴巴集团控股有限公司 一种文本质量检测方法
CN110781633A (zh) * 2019-10-30 2020-02-11 广东博智林机器人有限公司 基于深度学习模型的图文设计质量检测方法、装置及系统
CN111061901A (zh) * 2019-11-28 2020-04-24 中国船舶重工集团公司第七0九研究所 一种图像智能标注方法、系统及图像标注质量分析方法
CN111127452A (zh) * 2019-12-27 2020-05-08 上海箱云物流科技有限公司 一种基于云端处理的集装箱智能ocr识别方法
CN111627014A (zh) * 2020-05-29 2020-09-04 四川大学 一种基于深度学习的根管检测与评分的方法及系统
CN111914706A (zh) * 2020-07-22 2020-11-10 厦门商集网络科技有限责任公司 一种文字检测输出结果质量检测和控制的方法与装置

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
RITURAJ SONI等: "Text detection and localization in natural scene images based on text awareness score", 《APPLIED INTELLIGENCE》, vol. 49, pages 1376, XP036735472, DOI: 10.1007/s10489-018-1338-4 *
万晨霞: "基于卷积神经网络的道路多目标检测算法研究", 《中国优秀硕士学位论文全文数据库 工程科技II辑》, no. 2020, pages 035 - 250 *
姜景连等: "基于人机交互的图像质量评价可视化系统研究", 《山东农业大学学报(自然科学版)》, vol. 47, no. 1, pages 103 - 106 *
孙佳兴: "基于图像处理的地铁工艺质检系统的设计与实现", 《中国优秀硕士学位论文全文数据库 工程科技II辑》, no. 2020, pages 033 - 99 *
黄厚文: "基于深度学习的文本质量分析算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 2020, pages 138 - 2650 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113537192A (zh) * 2021-06-30 2021-10-22 北京百度网讯科技有限公司 图像检测方法、装置、电子设备及存储介质
CN113537192B (zh) * 2021-06-30 2024-03-26 北京百度网讯科技有限公司 图像检测方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN110059694B (zh) 电力行业复杂场景下的文字数据的智能识别方法
CN113160192B (zh) 复杂背景下基于视觉的压雪车外观缺陷检测方法及装置
CN110033471B (zh) 一种基于连通域分析和形态学操作的框线检测方法
CN111339902B (zh) 一种数显仪表的液晶屏示数识别方法及装置
CN112307919B (zh) 一种基于改进YOLOv3的单证图像中数字信息区域识别方法
CN111626249B (zh) 题目图像中几何图形的识别方法、装置和计算机存储介质
CN113435407B (zh) 一种输电系统的小目标识别方法及装置
CN116542975B (zh) 一种玻璃面板的缺陷分类方法、装置、设备和介质
CN111753873A (zh) 一种图像检测方法和装置
CN114596290A (zh) 缺陷检测方法及其装置、存储介质、程序产品
CN112446259A (zh) 图像处理方法、装置、终端和计算机可读存储介质
CN112017154A (zh) 基于Mask R-CNN模型的一种射线缺陷检测方法
CN115082922A (zh) 基于深度学习的水表数字图片处理方法及系统
CN112287898A (zh) 一种图像的文本检测质量评价方法及系统
CN110751170A (zh) 面板质量检测方法、系统、终端设备及计算机可读介质
CN111985269A (zh) 检测模型构建方法、检测方法、装置、服务器及介质
CN206897873U (zh) 一种基于检测产品特性的图像处理与检测系统
CN111310899B (zh) 基于共生关系和小样本学习的电力缺陷识别方法
CN116977931A (zh) 一种基于深度学习的高空抛物识别方法
CN111325207A (zh) 基于预处理的票据识别方法及装置
CN108734158B (zh) 一种实时列车车号识别方法及装置
CN114926829A (zh) 一种证件检测方法、装置、电子设备及存储介质
CN114663731A (zh) 车牌检测模型的训练方法及系统、车牌检测方法及系统
CN114299020A (zh) 一种基于机器视觉的滑板车显示屏缺陷检测方法及其系统
CN113052821A (zh) 一种电力设备巡检图片的质量评价方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination