CN111223065A - 图像矫正方法、不规则文本识别方法、装置、存储介质和设备 - Google Patents
图像矫正方法、不规则文本识别方法、装置、存储介质和设备 Download PDFInfo
- Publication number
- CN111223065A CN111223065A CN202010033574.4A CN202010033574A CN111223065A CN 111223065 A CN111223065 A CN 111223065A CN 202010033574 A CN202010033574 A CN 202010033574A CN 111223065 A CN111223065 A CN 111223065A
- Authority
- CN
- China
- Prior art keywords
- image
- sub
- corrected
- perspective transformation
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 230000001788 irregular Effects 0.000 title claims abstract description 46
- 238000003702 image correction Methods 0.000 title claims abstract description 12
- 230000009466 transformation Effects 0.000 claims abstract description 116
- 238000012937 correction Methods 0.000 claims abstract description 41
- 238000007781 pre-processing Methods 0.000 claims abstract description 11
- 239000011159 matrix material Substances 0.000 claims description 91
- 238000004590 computer program Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 abstract description 6
- 238000012545 processing Methods 0.000 description 16
- 230000011218 segmentation Effects 0.000 description 10
- 238000013527 convolutional neural network Methods 0.000 description 8
- 238000010606 normalization Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 241000132092 Aster Species 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Character Input (AREA)
Abstract
本发明公开了一种图像矫正方法，包括：获取待识别的不规则文本；对待识别不规则文本图像进行预处理，得到N段待矫正的子图像，N大于或等于2，每段子图像包含有不规则文字；分别对所述N段待矫正的子图像进行透视矫正，以得到N段矫正子图像；将所述N段矫正子图像进行拼接得到最终的矫正图像。本方明不同于现有算法，选择较为简单的三维几何变换(透视变换)作为矫正的标准，化繁为简，将文本行切分为多段(本发明以两段为例)，针对每一段进行透视变换，再将几何变换后的图像拼接。
Description
技术领域
本发明涉及文本行识别领域，具体涉及一种图像矫正方法、不规则文本识别方法、装置、存储介质和设备。
背景技术
目前不规则文本识别的最通用的算法是华中科技大学白翔教授发表在PAMI上的《Aster:An Attentional Scene Text Recognizer with Flexible Rectification》，针对不规则场景图像文本行进行几何校正后识别文本内容。其中采用的神经网络框架包括两个部分：几何校正子网络和序列文本识别子网络，其中几何校正子网络是学习TPS(样条薄板差值)变换参数，利用预测的参数对不规则文本进行几何校正，后基于Attention(注意力机制)进行基于字符序列的文本内容识别。不足之处，TPS变换是一种较复杂的三维空间变换算法，在遇到形变较大的文本时，校正效果不佳。
其他基于Aster上研发的不规则文本识别方法，多分为两种：一种是检测单个字符并分类识别，再组合为字符序列(即文本行)；另一种类似Aster，先对整个文本行进行几何校正，再基于CTC(Connectionist Temporal Classification)或Attention进行序列文本的识别。不足：第一种方法需要进行单字符的检测定位，而实际场景中字符分割是很难的，因为受光照、角度、天气、拍摄条件等影响，会出现字符粘连的现象，影响字符分割。第二种方法对整个文本行进行整体的几何校正，针对复杂文本尤其是弯曲文本较难实现很好的矫正，会出现裁切掉部分文字信息的情况如图1所示。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种图像矫正方法、不规则文本识别方法、装置、存储介质和设备，用于解决现有技术的缺陷。
为实现上述目的及其他相关目的，本发明提供一种图像矫正方法，所述图像矫正方法包括：
获取待识别的不规则文本；
对待识别的不规则文本图像进行预处理，得到N段待矫正的子图像，N大于或等于2，每段子图像包含有不规则文字；
分别对所述N段待矫正的子图像进行透视矫正，以得到N段矫正子图像；
将所述N段矫正子图像进行拼接得到最终的矫正图像。
可选地，获取矫正子图像进行透视矫正包括：
获取待矫正的子图像的透视变换矩阵，所述透视变换矩阵表示待矫正的子图像与矫正后的子图像间的变换关系；
利用所述透视变换矩阵从待矫正的子图像中提取出矫正后的子图像中每一个像素点所对应的像素值；
将提取出的像素值按待矫正的子图像与矫正后的子图像间的变换关系填充至矫正后的子图像中，得到矫正子图像。
可选地，所述获取待矫正的子图像的透视变换矩阵，包括：
根据第N-1子图像的透视变换矩阵计算第N-1子图像中的文字区域角点坐标；
根据第N-1子图像的文字区域角点坐标与第N子图像中的文字区域的坐标计算第N子图像的透视变换矩阵。
可选地，计算第一子图像的透视变换矩阵，包括：
计算第一子图像的变换偏移矩阵；
根据所述变换偏移矩阵与单位矩阵得到第一子图像的透视变换矩阵。
为实现上述目的及其他相关目的，本发明提供一种图像矫正装置，所述图像矫正装置包括：
图像获取模块，用于获取待识别的不规则文本；
图像预处理模块，用于对待识别的不规则文本图像进行预处理，得到N段待矫正的子图像，N大于或等于2，每段子图像包含有不规则文字；
图像矫正模块，用于分别对所述N段待矫正的子图像进行透视矫正，以得到N段矫正子图像；
图像拼接模块，用于将所述N段矫正子图像进行拼接得到最终的矫正图像。
可选地，所述图像矫正模块包括：
变换关系获取子模块，用于获取待矫正的子图像的透视变换矩阵，所述透视变换矩阵表示待矫正的子图像与矫正后的子图像间的变换关系；
像素提取子模块，用于利用所述透视变换矩阵从待矫正的子图像中提取出矫正后的子图像中每一个像素点所对应的像素值；
像素填充子模块，用于将提取出的像素值按待矫正的子图像与矫正后的子图像间的变换关系填充至矫正后的子图像中，得到矫正子图像。
可选地，所述变换关系获取子模块包括：
角点坐标计算单元，用于根据第N-1子图像的透视变换矩阵计算第N-1子图像中的文字区域角点坐标；
透视变换矩计算单元，用于根据第N-1子图像的文字区域角点坐标与第N子图像中的文字区域的坐标计算第N子图像的透视变换矩阵。
可选地，计算第一子图像的透视变换矩阵，包括：
计算第一子图像的变换偏移矩阵；
根据所述变换偏移矩阵与单位矩阵得到第一子图像的透视变换矩阵。
为实现上述目的及其他相关目的，本发明提供一种不规则文本行识别方法，其特征在于，该识别方法包括：
接收所述的最终的矫正图像；
识别所述最终的矫正图像中的文字。
为实现上述目的及其他相关目的，本发明提供一种不规则文本行识别装置，其特征在于，该识别装置包括：
图像接收模块，用于接收所述的最终的矫正图像；
图像识别模块，用于识别所述最终的矫正图像中的文字。
为实现上述目的及其他相关目的，本发明提供一种存储介质，存储计算机程序，所述计算机程序被处理器运行时执行所述的图像矫正方法。
为实现上述目的及其他相关目的，本发明提供一种设备，包括：处理器及存储器；
所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述设备执行所述的图像矫正方法。
如上所述，本发明的一种图像矫正方法、不规则文本识别方法、装置、存储介质和设备，具有以下有益效果：
1、本方明不同于现有算法，选择较为简单的三维几何变换(透视变换)作为矫正的标准，化繁为简，将文本行切分为多段(本发明以两段为例)，针对每一段进行透视变换，再将几何变换后的图像拼接，实现最终的文本矫正。
2、本发明同样适用于多种不规则文本，包括透视形变文本、旋转文本、弯曲文本等。
附图说明
图1为文本图像，(a)表示原始图像,(b)表示裁切后的图像；
图2为包括文字发生形变的文本图像，(a)表示常规文本，(b)表示倾斜和透视形变文本，(c)表示弯曲文本；
图3为本发明一实施例一种图像矫正方法的流程图；
图4为车牌图像透视矫正示例图(非分段情况)，(a)为原始图像，(b)为矫正后的图像；
图5为本发明一实施例分段透视矫正的流程图；
图6为本发明一实施例分段透视矫正的网络结构示意图；
图7为本发明一实施例一种图像矫正装置的示意图；
图8为本发明一实施例一种不规则文本识别方法的流程图；
图9为本发明一实施例一种不规则文本识别装置的示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
目前网络资源丰富，图像成为人们日常信息的主要来源，而文字内容也大多以图像的形式存在。而文字存储了大量的语义信息，文本内容的识别，非常有助于人们对于图像场景的理解。图像中的文字可能以各种形态出现，包括印刷体、手写体、艺术体等，并且由于拍摄角度、字体排版等原因会出现各种几何形变的情况，如图2所示。
本发明提出一种图像矫正方法，简单高效的对不规则文本进行几何校正，保证文本信息的不丢失。通过分段透视矫正网络自动学习图像每一部分的透视变换参数，进行分段透视变换后再拼接在一起，合成几何矫正后的图像。
如图3所示，一种图像矫正方法，该矫正方法包括：
S11获取待识别的不规则文本图像；
其中，所述待矫正的图像中包含有不规则文字。
S12对待识别的不规则文本图像进行预处理，得到N段待矫正的子图像，N大于或等于2，每段子图像包含有不规则文字；
其中，对图像的预处理包括图像归一化处理和切分处理。
图像归一化处理是指对图像进行了一系列标准的处理变换，使之变换为一固定标准形式的过程，该标准图像称作归一化图像。原始图像在经历一些处理或攻击后可以得到多种副本图像，这些图像在经过相同参数的图像归一化处理后能够得到相同形式的标准图像。切分处理，即根据切分点将图像分成若干段子图像，后面的子图像开始的坐标为前面的子图像结束的坐标。
S13分别对所述N段待矫正的子图像进行透视矫正，以得到N段矫正子图像；
透视矫正，也即透视变换，透视变换为一种简单的三维空间几何变换，透视变换也叫投影变换。透视变换的参数为一个3*3的矩阵，即9个参数。若分为两段，则共有18个参数。
对于单纯的透视形变文本图像如图4(a)情况,无需分段即可通过透视矫正来解决,但无法解决弯曲文本(如图2(c))的形变问题，故本发明提出分段式透视矫正,可同时解决多种不规则文本的几何形变问题，包括4(a)的情况。
S14将所述N段矫正子图像进行拼接得到最终的矫正图像。
通过对每一个子图像进行矫正后，通过图像拼接方法，对N个矫正后的子图像进行拼接，就可以得到一个完成的经过矫正后的图像。
在一实施例中，如图5、6所示，获取矫正子图像，包括：
S131获取待矫正的子图像的透视变换矩阵，所述透视变换矩阵表示待矫正的子图像与矫正后的子图像间的变换关系；
具体地，可以通过卷积神经网络(Convolutional Neural Networks,CNN)预测出第一子图像的变换偏移矩阵；然后根据所述偏移矩阵与单位矩阵就可以得到第一子图像的透视变换矩，其中单位矩阵用来保证当偏移矩阵为0矩阵时的恒等映射(即偏移矩阵为0矩阵时，透视变换矩为单位矩阵，此时矫正图像与第一子图像相同)。透视变换矩阵代表矫正后的图像到待矫正的子图像的变换关系。
而对于第二子图像，则第一子图像的透视变换矩阵计算第一子图像中的文字区域角点坐标；然后根据第一子图像的文字区域角点坐标与第二子图像中的文字区域的坐标计算第二子图像的透视变换矩阵。按照此方法，可以计算出第N子图像所对应的透视变换矩阵。
即：根据第N-1子图像的透视变换矩阵计算第N-1子图像中的文字区域角点坐标；根据第N-1子图像的文字区域角点坐标与第N子图像中的文字区域的坐标计算第N子图像的透视变换矩阵。
S132利用所述透视变换矩阵从待矫正的子图像中提取出矫正后的子图像中每一个像素点所对应的像素值；此步完成了采样过程。
S133用于将提取出的像素值按待矫正的子图像与矫正后的子图像间的变换关系填充至矫正后的子图像中，得到矫正子图像。
需要说明的是，利用网络生成器和待矫正的子图像获取一个矫正后的子图像，此时的矫正后的子图像是一个待填充像素值(颜色)的网格(即像素点)，每一个像素点位置所对应的颜色需要在矫正前的子图像中提取，提取的位置需要利用透视变换矩阵来计算。比如矫正后的子图像(1,1)这个位置应该填充什么颜色，利用透视变换矩阵计算，应该填充矫正前的子图像(2,3)这个位置的颜色，那就把矫正前的子图像(2,3)处的像素值提取出来填充在矫正后的子图像上。
这样，经过上述方法，就可以获得N个矫正后的子图像，将这N个矫正后的子图像通过图像拼接方法进行图像拼接，就可以获得完成的图像。
如图7所示，一种图像矫正装置，该图像矫正装置包括：
图像获取模块11，用于获取待识别的不规则文本；
其中，所述待矫正的图像中包含有不规则文字。
图像预处理模块12，用于对待识别的不规则文本图像进行预处理，得到N段待矫正的子图像，N大于或等于2，每段子图像包含有不规则文字；
其中，对图像的预处理包括图像归一化处理和切分处理。
图像归一化处理是指对图像进行了一系列标准的处理变换，使之变换为一固定标准形式的过程，该标准图像称作归一化图像。原始图像在经历一些处理或攻击后可以得到多种副本图像，这些图像在经过相同参数的图像归一化处理后能够得到相同形式的标准图像。切分处理，即根据切分点将图像分成若干段子图像，后面的子图像开始的坐标为前面的子图像结束的坐标。
图像矫正模块13，用于分别对所述N段待矫正的子图像进行透视矫正，以得到N段矫正子图像；
透视矫正，也即透视变换，透视变换为一种简单的三维空间几何变换，透视变换也叫投影变换。透视变换的参数为一个3*3的矩阵，即9个参数。若分为两段，则共有18个参数。
对于单纯的透视形变文本图像如图4(a)情况,无需分段即可通过透视矫正来解决,但无法解决弯曲文本(如图2(c))的形变问题，故本发明提出分段式透视矫正,可同时解决多种不规则文本的几何形变问题，包括4(a)的情况。
图像拼接模块14，用于将所述N段矫正子图像进行拼接得到最终的矫正图像。
通过对每一个子图像进行矫正后，通过图像拼接方法，对N个矫正后的子图像进行拼接，就可以得到一个完成的经过矫正后的图像。
在一实施例中，所述图像矫正模块包括：
变换关系获取子模块，用于获取待矫正的子图像的透视变换矩阵，所述透视变换矩阵表示待矫正的子图像与矫正后的子图像间的变换关系；
具体地，可以通过卷积神经网络(Convolutional Neural Networks,CNN)预测出第一子图像的变换偏移矩阵；然后根据所述偏移矩阵与单位矩阵就可以得到第一子图像的透视变换矩，其中单位矩阵用来保证当偏移矩阵为0矩阵时的恒等映射(即偏移矩阵为0矩阵时，透视变换矩为单位矩阵，此时矫正图像与第一子图像相同)。透视变换矩阵代表矫正后的图像到待矫正的子图像的变换关系。
而对于第二子图像，则第一子图像的透视变换矩阵计算第一子图像中的文字区域角点坐标；然后根据第一子图像的文字区域角点坐标与第二子图像中的文字区域的坐标计算第二子图像的透视变换矩阵。按照此方法，可以计算出第N子图像所对应的透视变换矩阵。
即：根据第N-1子图像的透视变换矩阵计算第N-1子图像中的文字区域角点坐标；根据第N-1子图像的文字区域角点坐标与第N子图像中的文字区域的坐标计算第N子图像的透视变换矩阵。
像素提取子模块，用于利用所述透视变换矩阵从待矫正的子图像中提取出矫正后的子图像中每一个像素点所对应的像素值；
需要说明的是，利用网络生成器和待矫正的子图像获取一个矫正后的子图像，此时的矫正后的子图像是一个待填充像素值(颜色)的网格(即像素点)，每一个像素点位置所对应的颜色需要在矫正前的子图像中提取，提取的位置需要利用透视变换矩阵来计算。比如矫正后的子图像(1,1)这个位置应该填充什么颜色，利用透视变换矩阵计算，应该填充矫正前的子图像(2,3)这个位置的颜色，那就把矫正前的子图像(2,3)处的像素值提取出来填充在矫正后的子图像上。
像素填充子模块，用于将提取出的像素值按待矫正的子图像与矫正后的子图像间的变换关系填充至矫正后的子图像中，得到矫正子图像。
在一实施例中，所述变换关系获取子模块包括：
角点坐标计算单元，用于根据第N-1子图像的透视变换矩阵计算第N-1子图像中的文字区域角点坐标；
透视变换矩计算单元，用于根据第N-1子图像的文字区域角点坐标与第N子图像中的文字区域的坐标计算第N子图像的透视变换矩阵。
在一实施例中，计算第一子图像的透视变换矩阵，包括：
计算第一子图像的偏移矩阵；
根据所述偏移矩阵与单位矩阵得到第一子图像的透视变换矩阵。
由于装置部分的实施例与方法部分的实施例相互对应，因此装置部分的实施例的内容请参见方法部分的实施例的描述，这里暂不赘述。
如图8所示，一种不规则文本行识别方法，该识别方法包括：
S71接收所述的最终的矫正图像；其中，最终的矫正图像为如图3所述方法获取的图像。
具体地，通过卷积神经网络(Convolutional Neural Networks,CNN)提取最终的矫正图像的特征图(可以是二维特征图)。
S72识别所述最终的矫正图像中的文字。
通过attention解码器(可以是二维的attention解码器)直接基于二维特征图进行序列解码，完成文本序列的识别。
本发明采用二维attention解码器进行解码，相比一维attention和CTC解码器有更强的空间敏感度，对不规则文本的识别效果更佳。
本发明中提出的文本识别方法共包括两个主要部分：分段透视矫正子网络(通过分段透视矫正)和字符序列识别网络。通过分段透视矫正子网络直接预测输入图像的分段透视矫正参数，并对其进行几何矫正，字符序列识别子网络预测矫正后图像的文字内容，完成整个识别过程。
如图9所示，一种不规则文本行识别装置，该识别装置包括：
图像接收模块71，用于接收所述的最终的矫正图像；最终的矫正图像为如图3所述方法获取的图像。
具体地，通过卷积神经网络(Convolutional Neural Networks,CNN)提取最终的矫正图像的特征图(可以是二维特征图)。
图像识别模块72，用于识别所述最终的矫正图像中的文字。
通过attention解码器(可以是二维的attention解码器)直接基于二维特征图进行序列解码，完成文本序列的识别。
本发明采用二维attention解码器进行解码，相比一维attention和CTC解码器有更强的空间敏感度，对不规则文本的识别效果更佳。
由于装置部分的实施例与方法部分的实施例相互对应，因此装置部分的实施例的内容请参见方法部分的实施例的描述，这里暂不赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器((RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。
Claims (12)
1.一种图像矫正方法，其特征在于，所述图像矫正方法包括：
获取待识别的不规则文本；
对待识别的不规则文本图像进行预处理，得到N段待矫正的子图像，N大于或等于2，每段子图像包含有不规则文字；
分别对所述N段待矫正的子图像进行透视矫正，以得到N段矫正子图像；
将所述N段矫正子图像进行拼接得到最终的矫正图像。
2.根据权利要求1所述的图像矫正方法，其特征在于，获取矫正子图像，包括：
获取待矫正的子图像的透视变换矩阵，所述透视变换矩阵表示待矫正的子图像与矫正后的子图像间的变换关系；
利用所述透视变换矩阵从待矫正的子图像中提取出矫正后的子图像中每一个像素点所对应的像素值；
将提取出的像素值按待矫正的子图像与矫正后的子图像间的变换关系填充至矫正后的子图像中，得到矫正子图像。
3.根据权利要求2所述的图像矫正方法，其特征在于，所述获取待矫正的子图像的透视变换矩阵，包括：
根据第N-1子图像的透视变换矩阵计算第N-1子图像中的文字区域角点坐标；
根据第N-1子图像的文字区域角点坐标与第N子图像中的文字区域的坐标计算第N子图像的透视变换矩阵。
4.根据权利要求2所述的图像矫正方法，其特征在于，计算第一子图像的透视变换矩阵，包括：
计算第一子图像的变换偏移矩阵；
根据所述变换偏移矩阵与单位矩阵得到第一子图像的透视变换矩阵。
5.一种图像矫正装置，其特征在于，所述图像矫正装置包括：
图像获取模块，用于获取待识别的不规则文本；
图像预处理模块，用于对待识别的不规则文本图像进行预处理，得到N段待矫正的子图像，N大于或等于2，每段子图像包含有不规则文字；
图像矫正模块，用于分别对所述N段待矫正的子图像进行透视矫正，以得到N段矫正子图像；
图像拼接模块，用于将所述N段矫正子图像进行拼接得到最终的矫正图像。
6.根据权利要求5所述的图像矫正装置，其特征在于，所述图像矫正模块包括：
变换关系获取子模块，用于获取待矫正的子图像的透视变换矩阵，所述透视变换矩阵表示待矫正的子图像与矫正后的子图像间的变换关系；
像素提取子模块，用于利用所述透视变换矩阵从待矫正的子图像中提取出矫正后的子图像中每一个像素点所对应的像素值；
像素填充子模块，用于将提取出的像素值按待矫正的子图像与矫正后的子图像间的变换关系填充至矫正后的子图像中，得到矫正子图像。
7.根据权利要求6所述的图像矫正装置，其特征在于，所述变换关系获取子模块包括：
角点坐标计算单元，用于根据第N-1子图像的透视变换矩阵计算第N-1子图像中的文字区域角点坐标；
透视变换矩计算单元，用于根据第N-1子图像的文字区域角点坐标与第N子图像中的文字区域的坐标计算第N子图像的透视变换矩阵。
8.根据权利要求6所述的图像矫正装置，其特征在于，计算第一子图像的透视变换矩阵，包括：
计算第一子图像的变换偏移矩阵；
根据所述变换偏移矩阵与单位矩阵得到第一子图像的透视变换矩阵。
9.一种不规则文本识别方法，其特征在于，该识别方法包括：
接收如权利要求1～4任意一项所述的最终的矫正图像；
识别所述最终的矫正图像中的文字。
10.一种不规则文本识别装置，其特征在于，该识别装置包括：
图像接收模块，用于接收如权利要求1～4任一项所述的最终的矫正图像；
图像识别模块，用于识别所述最终的矫正图像中的文字。
11.一种存储介质，存储计算机程序，其特征在于，所述计算机程序被处理器运行时执行如权利要求1～4中任一项所述的方法。
12.一种设备，其特征在于，包括：处理器及存储器；
所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行如权利要求1～4中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010033574.4A CN111223065B (zh) | 2020-01-13 | 2020-01-13 | 图像矫正方法、不规则文本识别方法、装置、存储介质和设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010033574.4A CN111223065B (zh) | 2020-01-13 | 2020-01-13 | 图像矫正方法、不规则文本识别方法、装置、存储介质和设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111223065A true CN111223065A (zh) | 2020-06-02 |
| CN111223065B CN111223065B (zh) | 2023-08-01 |
Family
ID=70831106
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010033574.4A Active CN111223065B (zh) | 2020-01-13 | 2020-01-13 | 图像矫正方法、不规则文本识别方法、装置、存储介质和设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111223065B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111967469A (zh) * | 2020-08-13 | 2020-11-20 | 上海明略人工智能(集团)有限公司 | 一种畸形文本矫正方法、系统及文字识别方法 |
| CN112101355A (zh) * | 2020-09-25 | 2020-12-18 | 北京百度网讯科技有限公司 | 图像中文本检测方法、装置、电子设备以及计算机介质 |
| JP2022039895A (ja) * | 2020-08-26 | 2022-03-10 | 財團法人工業技術研究院 | ディープラーニングに基づく画像補正方法及びシステム |
| CN114187437A (zh) * | 2022-02-11 | 2022-03-15 | 阿里巴巴达摩院(杭州)科技有限公司 | 文本识别方法、图像矫正方法、电子设备和存储介质 |
| WO2022088946A1 (zh) * | 2020-10-31 | 2022-05-05 | 华为技术有限公司 | 一种弯曲文本的字符选择方法、装置和终端设备 |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090252439A1 (en) * | 2008-04-03 | 2009-10-08 | Abbyy Software Ltd. | Method and system for straightening out distorted text-lines on images |
| CN101789122A (zh) * | 2009-01-22 | 2010-07-28 | 佳能株式会社 | 用于校正畸变文档图像的方法和系统 |
| CN102496019A (zh) * | 2011-12-08 | 2012-06-13 | 银江股份有限公司 | 一种车牌字符分割方法 |
| CN104361580A (zh) * | 2014-10-22 | 2015-02-18 | 山东大学 | 基于平面幕布的投影图像实时校正方法 |
| CN107563396A (zh) * | 2017-08-10 | 2018-01-09 | 南京大学 | 一种电力巡检中保护屏智能识别系统的构建方法 |
| CN108229470A (zh) * | 2017-12-22 | 2018-06-29 | 北京市商汤科技开发有限公司 | 文字图像处理方法、装置、设备及存储介质 |
| CN109544484A (zh) * | 2019-02-20 | 2019-03-29 | 上海赫千电子科技有限公司 | 一种图像校正方法和装置 |
| CN109636815A (zh) * | 2018-12-19 | 2019-04-16 | 东北大学 | 一种基于计算机视觉的金属板带产品标签信息识别方法 |
| CN109635743A (zh) * | 2018-12-13 | 2019-04-16 | 深源恒际科技有限公司 | 一种结合stn模块的文本检测深度学习方法及系统 |
| CN109784227A (zh) * | 2018-12-29 | 2019-05-21 | 深圳爱莫科技有限公司 | 图像检测识别方法和装置 |
| CN109993137A (zh) * | 2019-04-09 | 2019-07-09 | 安徽大学 | 一种基于卷积神经网络的快速人脸矫正方法 |
| CN110298282A (zh) * | 2019-06-21 | 2019-10-01 | 华南师范大学 | 文档图像处理方法、存储介质和计算设备 |
| CN110348264A (zh) * | 2019-07-04 | 2019-10-18 | 北京电子工程总体研究所 | 一种qr二维码图像校正方法及系统 |
| CN110390642A (zh) * | 2018-04-20 | 2019-10-29 | 西南民族大学 | 一种对木刻版藏文图像几何校正的方法 |
| CN110427938A (zh) * | 2019-07-26 | 2019-11-08 | 中科视语(北京)科技有限公司 | 一种基于深度学习的不规则文字识别装置和方法 |
-
2020
- 2020-01-13 CN CN202010033574.4A patent/CN111223065B/zh active Active
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090252439A1 (en) * | 2008-04-03 | 2009-10-08 | Abbyy Software Ltd. | Method and system for straightening out distorted text-lines on images |
| CN101789122A (zh) * | 2009-01-22 | 2010-07-28 | 佳能株式会社 | 用于校正畸变文档图像的方法和系统 |
| CN102496019A (zh) * | 2011-12-08 | 2012-06-13 | 银江股份有限公司 | 一种车牌字符分割方法 |
| CN104361580A (zh) * | 2014-10-22 | 2015-02-18 | 山东大学 | 基于平面幕布的投影图像实时校正方法 |
| CN107563396A (zh) * | 2017-08-10 | 2018-01-09 | 南京大学 | 一种电力巡检中保护屏智能识别系统的构建方法 |
| CN108229470A (zh) * | 2017-12-22 | 2018-06-29 | 北京市商汤科技开发有限公司 | 文字图像处理方法、装置、设备及存储介质 |
| CN110390642A (zh) * | 2018-04-20 | 2019-10-29 | 西南民族大学 | 一种对木刻版藏文图像几何校正的方法 |
| CN109635743A (zh) * | 2018-12-13 | 2019-04-16 | 深源恒际科技有限公司 | 一种结合stn模块的文本检测深度学习方法及系统 |
| CN109636815A (zh) * | 2018-12-19 | 2019-04-16 | 东北大学 | 一种基于计算机视觉的金属板带产品标签信息识别方法 |
| CN109784227A (zh) * | 2018-12-29 | 2019-05-21 | 深圳爱莫科技有限公司 | 图像检测识别方法和装置 |
| CN109544484A (zh) * | 2019-02-20 | 2019-03-29 | 上海赫千电子科技有限公司 | 一种图像校正方法和装置 |
| CN109993137A (zh) * | 2019-04-09 | 2019-07-09 | 安徽大学 | 一种基于卷积神经网络的快速人脸矫正方法 |
| CN110298282A (zh) * | 2019-06-21 | 2019-10-01 | 华南师范大学 | 文档图像处理方法、存储介质和计算设备 |
| CN110348264A (zh) * | 2019-07-04 | 2019-10-18 | 北京电子工程总体研究所 | 一种qr二维码图像校正方法及系统 |
| CN110427938A (zh) * | 2019-07-26 | 2019-11-08 | 中科视语(北京)科技有限公司 | 一种基于深度学习的不规则文字识别装置和方法 |
Non-Patent Citations (7)
| Title |
|---|
| CARLOS MERINO-GRACIA等: "Fast Perspective Recovery of Text in Natural Scenes", 《IMAGE AND VISION COMPUTING》 * |
| CARLOS MERINO-GRACIA等: "Fast Perspective Recovery of Text in Natural Scenes", 《IMAGE AND VISION COMPUTING》, 13 June 2013 (2013-06-13), pages 1 - 15 * |
| 张秀杰等: "一种用于文本检测和文本识别的单一神经网络", 《工业计算机控制》, vol. 31, no. 8, pages 120 - 121 * |
| 贺志明: "数码相机拍摄的透视文本图像的校正", 《上海工程技术大学学报》 * |
| 贺志明: "数码相机拍摄的透视文本图像的校正", 《上海工程技术大学学报》, vol. 21, no. 03, 15 September 2007 (2007-09-15), pages 260 - 264 * |
| 黄书海等: "基于局部透视变换的圆柱体侧表面PDF417条码矫正方法", 《计算机工程与科学》 * |
| 黄书海等: "基于局部透视变换的圆柱体侧表面PDF417条码矫正方法", 《计算机工程与科学》, vol. 34, no. 9, 31 December 2012 (2012-12-31), pages 93 - 97 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111967469A (zh) * | 2020-08-13 | 2020-11-20 | 上海明略人工智能(集团)有限公司 | 一种畸形文本矫正方法、系统及文字识别方法 |
| CN111967469B (zh) * | 2020-08-13 | 2023-12-15 | 上海明略人工智能(集团)有限公司 | 一种畸形文本矫正方法、系统及文字识别方法 |
| JP2022039895A (ja) * | 2020-08-26 | 2022-03-10 | 財團法人工業技術研究院 | ディープラーニングに基づく画像補正方法及びシステム |
| JP7163356B2 (ja) | 2020-08-26 | 2022-10-31 | 財團法人工業技術研究院 | ディープラーニングに基づく画像補正方法及びシステム |
| CN112101355A (zh) * | 2020-09-25 | 2020-12-18 | 北京百度网讯科技有限公司 | 图像中文本检测方法、装置、电子设备以及计算机介质 |
| CN112101355B (zh) * | 2020-09-25 | 2024-04-02 | 北京百度网讯科技有限公司 | 图像中文本检测方法、装置、电子设备以及计算机介质 |
| WO2022088946A1 (zh) * | 2020-10-31 | 2022-05-05 | 华为技术有限公司 | 一种弯曲文本的字符选择方法、装置和终端设备 |
| CN114187437A (zh) * | 2022-02-11 | 2022-03-15 | 阿里巴巴达摩院(杭州)科技有限公司 | 文本识别方法、图像矫正方法、电子设备和存储介质 |
| CN114187437B (zh) * | 2022-02-11 | 2022-05-13 | 阿里巴巴达摩院(杭州)科技有限公司 | 文本识别方法、图像矫正方法、电子设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111223065B (zh) | 2023-08-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111223065A (zh) | 图像矫正方法、不规则文本识别方法、装置、存储介质和设备 | |
| CN108765278B (zh) | 一种图像处理方法、移动终端及计算机可读存储介质 | |
| CN109635718B (zh) | 一种文本区域划分方法、装置、设备及存储介质 | |
| CN111178355B (zh) | 印章识别方法、装置和存储介质 | |
| CN109711407B (zh) | 一种车牌识别的方法及相关装置 | |
| US20150287211A1 (en) | Method for classification and segmentation and forming 3d models from images | |
| CN111191582B (zh) | 三维目标检测方法、检测装置、终端设备及计算机可读存储介质 | |
| CN110852311A (zh) | 一种三维人手关键点定位方法及装置 | |
| CN112418216A (zh) | 一种复杂自然场景图像中的文字检测方法 | |
| CN109598270B (zh) | 扭曲文字的识别方法及装置、存储介质及处理器 | |
| CN114038004A (zh) | 一种证件信息提取方法、装置、设备及存储介质 | |
| US20240161304A1 (en) | Systems and methods for processing images | |
| CN112395962A (zh) | 数据增广方法及装置、物体识别方法及系统 | |
| CN115578590A (zh) | 基于卷积神经网络模型的图像识别方法、装置及终端设备 | |
| CN109919128B (zh) | 控制指令的获取方法、装置及电子设备 | |
| CN115272691A (zh) | 一种钢筋绑扎状态检测模型的训练方法、识别方法及设备 | |
| CN114444565A (zh) | 一种图像篡改检测方法、终端设备及存储介质 | |
| CN112084840A (zh) | 一种基于三维nmi的指静脉识别方法 | |
| CN116798041A (zh) | 图像识别方法、装置和电子设备 | |
| CN108133205B (zh) | 复制图像中文本内容的方法及装置 | |
| CN113065480B (zh) | 书法作品风格的识别方法、装置、电子装置和存储介质 | |
| CN111191580B (zh) | 合成渲染方法、装置、电子设备及介质 | |
| CN115690488A (zh) | 基于卷积神经网络模型的图像识别方法、装置及终端设备 | |
| CN111401365B (zh) | Ocr图像自动生成方法及装置 | |
| CN114373078A (zh) | 目标检测方法、装置、终端设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |