CN113012029B - 一种曲面图像的矫正方法、装置及电子设备 - Google Patents
一种曲面图像的矫正方法、装置及电子设备 Download PDFInfo
- Publication number
- CN113012029B CN113012029B CN201911325419.3A CN201911325419A CN113012029B CN 113012029 B CN113012029 B CN 113012029B CN 201911325419 A CN201911325419 A CN 201911325419A CN 113012029 B CN113012029 B CN 113012029B
- Authority
- CN
- China
- Prior art keywords
- curved surface
- image
- line
- surface area
- position information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000003702 image correction Methods 0.000 title claims abstract description 18
- 238000001514 detection method Methods 0.000 claims abstract description 87
- 238000012937 correction Methods 0.000 claims abstract description 20
- 230000009466 transformation Effects 0.000 claims description 24
- 238000013145 classification model Methods 0.000 claims description 18
- 238000004422 calculation algorithm Methods 0.000 claims description 14
- 238000013527 convolutional neural network Methods 0.000 claims description 11
- 238000012887 quadratic function Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 2
- 238000003708 edge detection Methods 0.000 abstract description 16
- 238000012545 processing Methods 0.000 description 14
- 238000004891 communication Methods 0.000 description 10
- 238000012549 training Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
- G06T3/067—Reshaping or unfolding 3D tree structures onto 2D planes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种曲面图像的矫正方法、装置及电子设备，该方法包括：提取待检测图像中的曲面区域；提取曲面区域的边缘信息，并获得边缘信息对应直线的直线参数；通过预先训练好的文字行检测模型对曲面区域进行文字行检测，获得曲面区域中文字行的位置信息；根据直线参数和文字行的位置信息，从文字行中选择目标文字行；根据目标文字行的位置信息对曲面区域进行矫正，获得矫正后的图像，通过提高边缘检测和文字行检测的准确度，以提高曲面矫正时的精确度，解决了现有技术中曲面矫正精确较低的技术问题。
Description
技术领域
本发明涉及图像处理技术领域，特别涉及一种曲面图像的矫正方法、装置及电子设备。
背景技术
图像处理中，常常需要将图像中的曲面矫正为平面，例如，对于照片中带文字的圆柱形曲面，为了便于用户对圆柱形曲面上文字的阅读，将该圆柱形曲面矫正为平面。
关于曲面图像的矫正，一般采用手动操作选择圆柱形曲面的关键顶点(一般为四个顶点)，然后配合OpenCV(Open Source Computer Vision Library，开源计算机视觉库)中的透视变换函数来实现曲面的矫正，但手动操作比较耗时且不智能。为了实现曲面矫正的智能化，现有技术通过OpenCV中的边缘提取算法，以及常用的形态学操作提取图像中文本行的位置信息，根据该文本行位置信息检测来实现曲面矫正。但是，利用边缘提取算法和形态学操作提取文本行位置极易受到其它图像主体的影响如表格、插图等，检测结果不够精确，导致曲面矫正的精确度较低。
发明内容
本发明实施例提供一种曲面图像的矫正方法、装置及电子设备，用于解决现有技术中曲面图像矫正精确度较低的技术问题，提高曲面图像矫正的精确度。
第一方面，本发明实施例提供一种曲面图像的矫正方法，包括：
提取待检测图像中的曲面区域；
提取所述曲面区域的边缘信息，并获得所述边缘信息对应直线的直线参数；
通过预先训练好的文字行检测模型对所述曲面区域进行文字行检测，获得所述曲面区域中文字行的位置信息；
根据所述直线参数和所述文字行的位置信息，从所述文字行中选择目标文字行；
根据所述目标文字行的位置信息对所述曲面区域进行矫正，获得矫正后的图像。
可选的，所述提取待检测图像中的曲面区域，包括：
通过预先训练好的曲面分类模型判断所述待检测图像是否为目标曲面图像；
若是，将所述待检测图像输入预先训练好的曲面检测模型进行目标曲面区域检测，获得所述待检测图像中目标曲面所在的曲面区域。
可选的，所述曲面分类模型、所述曲面检测模型及所述文字行检测模型为功能不同的卷积神经网络。
可选的，通过预先训练好的文字行检测模型对所述曲面区域进行文字行检测，获得所述曲面区域中文字行的位置信息，包括：
通过预先训练好的文字行检测模型对所述曲面区域进行文字行检测，获得所述文字行检测模型输出的第一位置信息；
根据所述第一位置信息，采用最大极值区域检测算法对所述文字行进行二次定位，获得所述文字行二次定位后的第二位置信息；
根据第二位置信息，对每行文字行上的点进行二次函数的拟合获得拟合曲线，根据所述拟合曲线获取所述文字行的位置信息。
可选的，根据所述直线参数和所述文字行的位置信息，从所述文字行中选择目标文字行，包括：
根据所述直线参数获得所述曲面区域中曲面图形的中线和半径；
根据所述曲面图形的尺寸信息、所述中线以及所述直线参数，获取所述曲面区域透视变换后的图像宽度和图像中线；
根据所述半径、所述图像宽度、所述图像中线以及所述文字行的位置信息，从所述文字行中选择所述目标文字行。
可选的，根据所述目标文字行的位置信息对所述曲面区域进行矫正，获得矫正后的图像，包括：
根据所述目标文字行的位置信息和所述中线的交点，获得图像矫正的相机中心点；
根据所述相机中心点、所述半径以及所述曲面区域透视变换后的图像尺寸信息，获得矫正后的图像。
第二方面，本发明实施例提供一种曲面图像的矫正装置，包括：
区域获取单元，用于提取待检测图像中的曲面区域；
边缘获取单元，用于提取所述曲面区域的边缘信息，并获得所述边缘信息对应直线的直线参数；
文字行获取单元，用于通过预先训练好的文字行检测模型对所述曲面区域进行文字行检测，获得所述曲面区域中文字行的位置信息；
选择单元，用于根据所述直线参数和所述文字行的位置信息，从所述文字行中选择目标文字行；
矫正单元，用于根据所述目标文字行的位置信息对所述曲面区域进行矫正，获得矫正后的图像。
可选的，所述区域获取单元具体用于：
通过预先训练好的曲面分类模型判断所述待检测图像是否为目标曲面图像；
若是，将所述待检测图像输入预先训练好的曲面检测模型进行目标曲面区域检测，获得所述待检测图像中目标曲面所在的曲面区域。
可选的，所述曲面分类模型、所述曲面检测模型及所述文字行检测模型为功能不同的卷积神经网络。
可选的，所述文字行获取单元用于：
通过预先训练好的文字行检测模型对所述曲面区域进行文字行检测，获得所述文字行检测模型输出的第一位置信息；
根据所述第一位置信息，采用最大极值区域检测算法对所述文字行进行二次定位，获得所述文字行二次定位后的第二位置信息；
根据第二位置信息，对每行文字行上的点进行二次函数的拟合获得拟合曲线，根据所述拟合曲线获取所述文字行的位置信息。
可选的，所述选择单元用于：
根据所述直线参数获得所述曲面区域中曲面图形的中线和半径；
根据所述曲面图形的尺寸信息、所述中线以及所述直线参数，获取所述曲面区域透视变换后的图像宽度和图像中线；
根据所述半径、所述图像宽度、所述图像中线以及所述文字行的位置信息，从所述文字行中选择所述目标文字行。
可选的，所述矫正单元用于：
根据所述目标文字行的位置信息和所述中线的交点，获得图像矫正的相机中心点；
根据所述相机中心点、所述半径以及所述曲面区域透视变换后的图像尺寸信息，获得矫正后的图像。
第三方面，本发明实施例提供一种电子设备，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上的程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上的程序所包含的用于进行如第一方面所述方法对应的操作指令。
第四方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，可选的，该程序被处理器执行时实现如第一方面所述方法的步骤。
本申请实施例中的上述一个或多个技术方案，至少具有如下技术效果：
本申请实施例提供一种曲面图像的矫正方法，一方面，提取待检测图像中的曲面区域，针对提取到的曲面区域进行边缘检测获得曲面区域的边缘信息，并获得其边缘信息对应直线的直线参数，排除图像背景中的边缘对曲面检测的干扰，提高曲面区域边缘检测的精确度，进而获得更准确的直线参数；另一方面，通过预先训练好的文字行检测模型对曲面区域进行文字行检测，获得曲面区域中文字行的位置信息；根据获得的直线参数和文字行的位置信息，从曲面区域上的文字行中选择目标文字行，提高了目标文字行选择的准确性；再根据该目标文字行的位置信息对曲面区域进行矫正获得矫正后的图像，由于边缘检测和用于图像矫正的文字行的准确度提高，从而提高了据此进行曲面矫正时的精确度，解决了现有技术中曲面矫正精确较低的技术问题。
附图说明
图1为本申请实施例提供的一种曲面图像的矫正方法的流程示意图；
图2为本申请实施例提供的曲面图像矫正前后的对比示意图；
图3为本申请实施例提供的曲面图像透视变换的示意图；
图4为本申请实施例提供的一种曲面图像的矫正处理装置的方框图；
图5为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
在本申请实施例提供的技术方案中，提供一种曲面图像的矫正方法，通过曲面区域的提取，排除曲面边缘检测的干扰，提高曲面边缘检测的准确性，据此获取准确性更高的文本行位置来进行曲面图像矫正，从而解决现有技术中曲面矫正精确度较低的技术问题。
下面结合附图对本申请实施例技术方案的主要实现原理、具体实施方式及其对应能够达到的有益效果进行详细的阐述。
实施例
请参考图1，本申请实施例提供一种曲面图像的矫正方法，用于对包含圆柱形曲面或类圆柱形曲面的图像进行图像矫正，例如，通过该方法对如图2左侧的图像进行矫正，获得如图2右侧所示的矫正后的图像。具体的，该曲面图像的矫正方法包括：
S10、提取待检测图像中的曲面区域；
S12、提取所述曲面区域的边缘信息，并获得所述边缘信息对应直线的直线参数；
S14、通过预先训练好的文字行检测模型对所述曲面区域进行文字行检测，获得所述曲面区域中文字行的位置信息；
S16、根据所述直线参数和所述文字行的位置信息，从所述文字行中选择目标文字行；
S18、根据所述目标文字行的位置信息对所述曲面区域进行矫正，获得矫正后的图像。
在具体实施过程中，为了提高整个曲面矫正系统的智能处理能力和曲面矫正的精确度，本实施例预先训练多个功能不同的卷积神经网络，包括曲面分类模型、曲面检测模型、边缘检测模型以及文字行检测模型。
关于曲面分类模型，采集大量的目标曲面图像和非目标曲面图像作为样本，基于这些样本训练出用于判断输入图像是否是目标曲面图像的曲面分类模型。例如，假设目标曲面为圆柱形曲面，那么采集大量的圆柱形曲面图像和非圆柱形曲面图像作为样本，将圆柱形曲面图像的训练结果标记为“1”表征其为目标曲面图像，将非圆柱形曲面图像训练结果标记为“0”表征其为非目标曲面图像，根据这些样本和训练结果标记进行卷积神经网络训练，训练获得用于识别输入图像是否为目标曲面图像的曲面分类模型。
关于曲面检测模型，可以将曲面分类模型判定为目标曲面图像的图像作为样本，并对样本中的目标曲面所在位置进行坐标标记，如标记目标曲面四个角的位置坐标，根据这些样本和样本标记进行卷积神经网络训练，获得用于检测目标曲面具体位置的曲面检测模型。
关于边缘检测模型，可以将从目标曲面图像中提取的目标曲面所在区域的图像作为样本，并对该样本中的目标曲面的边缘进行像素标记，以此进行卷积神经网络训练，获得用于检测目标曲面边缘的边缘检测模型。
关于文字行检测模型，与边缘检测模型类似，将从目标曲面图像中提取的目标曲面所在区域的图像作为样本，并对该样本中的目标曲面上的文字行进行位置标记，以此进行卷积神经网络训练，获得用于检测目标曲面中文字行位置的文字行检测模型。
基于训练好的模型，执行S10时可以通过训练好的曲面分类模型和曲面检测模型对待检测图像中的曲面区域进行提取。具体的，可以先将待检测图像输入曲面分类模型，通过曲面分类模型判断待检测图像是否为目标曲面图像，其中目标曲面图像为包含圆柱形曲面或类似于圆柱形曲面的图像。若判断出待检测图像不是目标曲面图像则不进行曲面矫正；若判断出待检测图像是目标曲面图像，则将待检测图像输入曲面检测模型进行目标曲面区域检测，获得待检测图像中目标曲面所在位置区域。通过S10的曲面区域提取，消除了待检测图像中非曲面区域的冗余物体的干扰，从而提高后续边缘检测以及文字检测的精确度。
在S10之后执行S12和S14进行边缘检测和文字行检测，执行S12和S14可以同时执行，也可以先执行S12或者S14。
S12可以先通过训练好的边缘检测模型对S10提取到的曲面区域进行边缘信息提取。边缘检测模型采用卷积神经网络训练获得，对图像中关键信息的学习能力强，进一步结合消除图像中冗余物体干扰后的曲面区域，大大提高了曲面边缘信息检测的精确度。针对边缘检测模型提取到的边缘信息，进一步使用霍夫变换、直线段检测算法(Line SegmentDetector，LSD)等计算获得所述边缘信息对应直线的直线参数。边缘检测模型输出的边缘信息可以表征图像中对应像素是否为边缘像素的score map值，利用霍夫变换来辨别边缘信息中的直线特征，并计算获得对应直线的直线参数。具体的，利用霍夫变换获得直线参数时，可以使用OpenCV中集成的HoughLinesP函数根据边缘像素的score map值计算出直线对应的两个端点，若有多条直线，则有对应多组端点。
S14对提取到的曲面区域进行文字行检测，获取曲面区域中的文字行的位置信息。由于文字行位置的精确程度决定着曲面矫正的效果，本实施例采用卷积神经网络来进行文字行检测模型的训练，通过训练好的文字行检测模型来提取曲面区域中的文字行的位置信息，以提高文字行位置检测的精确度。本实施例还对文字行检测模型提取的文字行位置信息进行优化处理，采用最大稳定极值区域检测(Maximally Stable Extremal Regions，MSER)算法对文字行进行二次定位，再对每个文字行上的点进行二次函数拟合，获得优化后的文字行位置信息，进一步提高文字行位置信息的精确度。具体的，可以先通过预先训练好的文字行检测模型对曲面区域进行文字行检测，获得文字行检测模型输出的第一位置信息；再根据该第一位置信息，采用最大极值区域检测算法对文字行进行二次定位，获得文字行二次定位后的第二位置信息；进而根据第二位置信息，对每行文字行上的点进行二次函数的拟合获得拟合曲线，根据拟合曲线获取文字行的最终位置信息。
在获得曲面区域中的文字行的位置信息和曲面区域的边缘信息对应的直线参数后，继续执行S16根据获得的直线参数和文字行的位置信息，确定用于矫正曲面区域的最佳文字行即目标文字行。其中，目标文字行对应的拟合曲线与直线参数表征的直线垂直且目标文字行对应的拟合曲线的弯曲度在所有文字行中最小。由于文字行所拟合出的曲线在曲面区域上是否弯曲，影响着矫正后的图像中文字行能否正常的显示，所以在曲面区域上寻找拟合曲线与边缘直线垂直且弯曲度最小(无限接近于直线或者为直线)的文字行作为最佳文字行，从而有效提高曲面矫正的效果。
获取目标文字行的具体实施过程如下：
①、根据曲面区域的边缘信息对应的直线参数，计算获得曲面区域中曲面图形的中线。假设直线参数对应的左侧直线方程为left，直线参数对应的右侧直线方为程right，根据左右两侧的直线方程计算获得中线的直线方程为middle。
②、根据中线的直线方程和直线参数对应的直线方程对曲面区域图像进行透视变换，获得透视变换后的图像宽度w。
假设曲面区域为一圆柱形曲面，其尺寸为HxW，在进行透视变化前根据中线的直线方程和圆柱形曲面的直线参数对应的左侧直线方程和右侧直线方程计算获得曲面区域的四个顶点B1～B4：
1)根据中线位置的直线方程middle：y＝k*x+b，分别计算y＝0，y＝H-1时，对应的x的值，获得两个点简记为A1，A2；
2)计算过A1点且与left垂直的直线，并找出垂直点的坐标B1，同理计算过A1点且与right垂直的直线，并找到垂直点坐标B2；
3)计算过A2点且与left垂直的直线，并找出垂直点的坐标B3，同理计算过A2点且与right垂直的直线，并找到垂直点坐标B4；
根据四个顶点B1～B4，利用透视变换得到变换后的图像，并获得变换后的图像的宽度w和高度h。
③、根据中线的直线方程与直线参数对应的左侧直线方程或右侧直线方程的相对距离，利用先验假设，假设FOV(Field of view，视场角)为30度，利用FOV计算出透视变换后的图像中心点(-f，0)，如图3所示。
④、根据获得的参数w和f，根据公式计算获得曲面区域中曲面图形对应的圆柱形的半径r。
⑤、根据参数r和w，计算参数λ＝w/2/r；
⑥、针对步骤S14优化后的文字行位置信息对应的每一行文字行的拟合曲线yi＝k*x2+bi(i为文字行的编号，i∈[1,N]，N为文字行的总行数)，计算第i行文字行的拟合曲线与透视变换后的图像中线(即过点(w/2,0)、(w/2,h)的直线)的交点的纵坐标值ci，以及第i行文字行的拟合曲线与边缘信息对应的直线之间的交点的纵坐标y，基于上述参数进行如下计算参数cy和cost：
a、针对第i行文字行的拟合曲线计算参数cy
cy＝(ci.y-λbi)/(1-λ)
b、针对第i行文字行的拟合曲线计算参数cost
j依次取1～N、cost的初始值为0.0
从所有文字行对应的cost中取最小的costmin，将costmin对应的文字行作为最佳文字行即目标文字行。
在获得目标位置信息之后，进一步执行S18根据该目标文字行的位置信息进行曲面矫正。具体的，可以先根据最佳文字行的目标位置信息，确定出进行曲面矫正的相机参数，包括相机的中心点和曲面区域对应的圆柱形的半径，相机的中心点即为最佳文字行的拟合曲线与曲面区域透视变换后的图像中线的交点，曲面区域对应的圆柱形的半径可以根据④的公式计算获得。根据获得的相机参数确定出曲面区域透视变换后的图像在世界坐标系中的位置，然后，根据透视变换后图像的尺寸信息，将世界坐标系中的曲面区域逐像素点映射到图像坐标系。其中，映射过程可以保持透视变换后的图像的长度和宽度不变，将曲面区域中的像素坐标映射到透视变换后图像中的图像坐标，再将曲面区域中的每个像素值对应复制到变换后图像的图像坐标上。
在上述技术方案中，第一方面，针对待检测图像先判断是否存在曲面，若待检测图像中存在曲面，再检测并提取出曲面区域，消除了其它冗余区域对图像矫正的干扰，提高了图像矫正的精确度，尤其是针对较复杂背景的曲面矫正其精确度的提高尤为明显。
第二方面，在文字行位置检测和筛选时，首先通过卷积神经网络训练获得的文字行检测模型进行文字行检测提高了文字行位置检测的精确度，并进一步使用MSER算法进行二次提取，并拟合出更为精准的文字行坐标位置，从而进一步提高曲面矫正的精确度。
第三方面，通过多个不同功能的模型，对待检测图像进行是否圆柱形曲面的分类、圆柱形曲面检测及提取、圆柱形曲面边缘提取、圆柱形曲面内文字行检测，整个处理过程中各个模型相互依赖，提高了系统运行的智能性。
针对上述实施例提供一种曲面图像的矫正方法，本申请实施例还对应提供一种曲面图像的矫正装置，请参考图4，该装置包括：
区域获取单元41，用于提取待检测图像中的曲面区域；
边缘获取单元42，用于提取所述曲面区域的边缘信息，并获得所述边缘信息对应直线的直线参数；
文字行获取单元43，用于通过预先训练好的文字行检测模型对所述曲面区域进行文字行检测，获得所述曲面区域中文字行的位置信息；
选择单元44，用于根据所述直线参数和所述文字行的位置信息，从所述文字行中选择目标文字行；
矫正单元45，用于根据所述目标文字行的位置信息对所述曲面区域进行矫正，获得矫正后的图像。
作为一种可选的实施方法，所述区域获取单元41在提取曲面区域时，可以通过预先训练好的曲面分类模型判断所述待检测图像是否为目标曲面图像；若是，将所述待检测图像输入预先训练好的曲面检测模型进行目标曲面区域检测，获得所述待检测图像中目标曲面所在的曲面区域。其中，所述曲面分类模型、所述曲面检测模型及所述文字行检测模型为功能不同的卷积神经网络。
作为一种可选的实施方法，所述文字行获取单元43可以通过预先训练好的文字行检测模型对所述曲面区域进行文字行检测，获得所述文字行检测模型输出的第一位置信息；根据所述第一位置信息，采用最大极值区域检测算法对所述文字行进行二次定位，获得所述文字行二次定位后的第二位置信息；根据第二位置信息，对每行文字行上的点进行二次函数的拟合获得拟合曲线，根据所述拟合曲线获取所述文字行的位置信息。
作为一种可选的实施方法，所述选择单元44在选择目标文字行时，根据所述直线参数获得所述曲面区域中曲面图形的中线和半径；根据所述曲面图形的尺寸信息、所述中线以及所述直线参数，获取所述曲面区域透视变换后的图像宽度和图像中线；根据所述半径、所述图像宽度、所述图像中线以及所述文字行的位置信息，从所述文字行中选择所述目标文字行。
作为一种可选的实施方法，所述矫正单元45用于：根据所述目标文字行的位置信息和所述中线的交点，获得图像矫正的相机中心点；根据所述相机中心点、所述半径以及所述曲面区域透视变换后的图像尺寸信息，获得矫正后的图像。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图5是根据一示例性实施例示出的一种用于曲面区域的矫正方法的电子设备800的框图。例如，电子设备800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图5，电子设备800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/展现(I/O)的接口812，传感器组件814，以及通信组件816。
处理组件802通常控制电子设备800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理元件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理部件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在设备800的操作。这些数据的示例包括用于在电子设备800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件806为电子设备800的各种组件提供电力。电源组件806可以包括电源管理系统，一个或多个电源，及其他与为电子设备800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述电子设备800和用户之间的提供一个展现接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为展现和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当电子设备800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于展现音频信号。
I/O接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器，用于为电子设备800提供各个方面的状态评估。例如，传感器组件814可以检测到设备800的打开/关闭状态，组件的相对定位，例如所述组件为电子设备800的显示器和小键盘，传感器组件814还可以检测电子设备800或电子设备800一个组件的位置改变，用户与电子设备800接触的存在或不存在，电子设备800方位或加速/减速和电子设备800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件816被配置为便于电子设备800和其他设备之间有线或无线方式的通信。电子设备800可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信部件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信部件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，电子设备800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器804，上述指令可由电子设备800的处理器820执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
一种非临时性计算机可读存储介质，当所述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行一种曲面图像的矫正方法，所述方法包括：提取所述曲面区域的边缘信息，并获得所述边缘信息对应直线的直线参数；通过预先训练好的文字行检测模型对所述曲面区域进行文字行检测，获得所述曲面区域中文字行的位置信息；根据所述直线参数和所述文字行的位置信息，从所述文字行中选择目标文字行；根据所述目标文字行的位置信息对所述曲面区域进行矫正，获得矫正后的图像。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (12)
1.一种曲面图像的矫正方法，其特征在于，包括：
提取待检测图像中的曲面区域；
提取所述曲面区域的边缘信息，并获得所述边缘信息对应直线的直线参数；
通过预先训练好的文字行检测模型和最大极值区域检测算法对所述曲面区域进行文字行检测，获得所述曲面区域中文字行的位置信息；
根据所述直线参数和所述文字行的位置信息，从所述文字行中选择目标文字行，包括：根据所述直线参数获得所述曲面区域中曲面图形的中线和半径；根据所述曲面图形的尺寸信息、所述中线以及所述直线参数，获取所述曲面区域透视变换后的图像宽度和图像中线；根据所述半径、所述图像宽度、所述图像中线以及所述文字行的位置信息，从所述文字行中选择所述目标文字行；
根据所述目标文字行的位置信息对所述曲面区域进行矫正，获得矫正后的图像。
2.如权利要求1所述的方法，其特征在于，所述提取待检测图像中的曲面区域，包括：
通过预先训练好的曲面分类模型判断所述待检测图像是否为目标曲面图像；
若是，将所述待检测图像输入预先训练好的曲面检测模型进行目标曲面区域检测，获得所述待检测图像中目标曲面所在的曲面区域。
3.如权利要求2所述的方法，其特征在于，所述曲面分类模型、所述曲面检测模型及所述文字行检测模型为功能不同的卷积神经网络。
4.如权利要求1所述的方法，其特征在于，通过预先训练好的文字行检测模型和最大极值区域检测算法对所述曲面区域进行文字行检测，获得所述曲面区域中文字行的位置信息，包括：
通过预先训练好的文字行检测模型对所述曲面区域进行文字行检测，获得所述文字行检测模型输出的第一位置信息；
根据所述第一位置信息，采用最大极值区域检测算法对所述文字行进行二次定位，获得所述文字行二次定位后的第二位置信息；
根据第二位置信息，对每行文字行上的点进行二次函数的拟合获得拟合曲线，根据所述拟合曲线获取所述文字行的位置信息。
5.如权利要求1所述的方法，其特征在于，根据所述目标文字行的位置信息对所述曲面区域进行矫正，获得矫正后的图像，包括：
根据所述目标文字行的位置信息和所述中线的交点，获得图像矫正的相机中心点；
根据所述相机中心点、所述半径以及所述曲面区域透视变换后的图像尺寸信息，获得矫正后的图像。
6.一种曲面图像的矫正装置，其特征在于，包括：
区域获取单元，用于提取待检测图像中的曲面区域；
边缘获取单元，用于提取所述曲面区域的边缘信息，并获得所述边缘信息对应直线的直线参数；
文字行获取单元，用于通过预先训练好的文字行检测模型和最大极值区域检测算法对所述曲面区域进行文字行检测，获得所述曲面区域中文字行的位置信息；
选择单元，用于根据所述直线参数和所述文字行的位置信息，从所述文字行中选择目标文字行；用于根据所述直线参数获得所述曲面区域中曲面图形的中线和半径；根据所述曲面图形的尺寸信息、所述中线以及所述直线参数，获取所述曲面区域透视变换后的图像宽度和图像中线；根据所述半径、所述图像宽度、所述图像中线以及所述文字行的位置信息，从所述文字行中选择所述目标文字行；矫正单元，用于根据所述目标文字行的位置信息对所述曲面区域进行矫正，获得矫正后的图像。
7.如权利要求6所述的装置，其特征在于，所述区域获取单元具体用于：
通过预先训练好的曲面分类模型判断所述待检测图像是否为目标曲面图像；
若是，将所述待检测图像输入预先训练好的曲面检测模型进行目标曲面区域检测，获得所述待检测图像中目标曲面所在的曲面区域。
8.如权利要求7所述的装置，其特征在于，所述曲面分类模型、所述曲面检测模型及所述文字行检测模型为功能不同的卷积神经网络。
9.如权利要求6所述的装置，其特征在于，所述文字行获取单元用于：
通过预先训练好的文字行检测模型对所述曲面区域进行文字行检测，获得所述文字行检测模型输出的第一位置信息；
根据所述第一位置信息，采用最大极值区域检测算法对所述文字行进行二次定位，获得所述文字行二次定位后的第二位置信息；
根据第二位置信息，对每行文字行上的点进行二次函数的拟合获得拟合曲线，根据所述拟合曲线获取所述文字行的位置信息。
10.如权利要求6所述的装置，其特征在于，所述矫正单元用于：
根据所述目标文字行的位置信息和所述中线的交点，获得图像矫正的相机中心点；
根据所述相机中心点、所述半径以及所述曲面区域透视变换后的图像尺寸信息，获得矫正后的图像。
11.一种电子设备，其特征在于，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上的程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上的程序所包含的用于进行如权利要求1~5任一所述方法对应的操作指令。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1~5任一所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911325419.3A CN113012029B (zh) | 2019-12-20 | 2019-12-20 | 一种曲面图像的矫正方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911325419.3A CN113012029B (zh) | 2019-12-20 | 2019-12-20 | 一种曲面图像的矫正方法、装置及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113012029A CN113012029A (zh) | 2021-06-22 |
| CN113012029B true CN113012029B (zh) | 2023-12-08 |
Family
ID=76382019
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911325419.3A Active CN113012029B (zh) | 2019-12-20 | 2019-12-20 | 一种曲面图像的矫正方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113012029B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103177250A (zh) * | 2011-12-22 | 2013-06-26 | 北大方正集团有限公司 | 一种平面目标图像透视变形的矫正方法和系统 |
| RU2636097C1 (ru) * | 2016-12-06 | 2017-11-20 | Общество с ограниченной ответственностью "Аби Девелопмент" | Способ и система эффективной подготовки содержащих текст изображений к оптическому распознаванию символов |
| WO2018054326A1 (zh) * | 2016-09-22 | 2018-03-29 | 北京市商汤科技开发有限公司 | 文字检测方法和装置、及文字检测训练方法和装置 |
| CN109753971A (zh) * | 2017-11-06 | 2019-05-14 | 阿里巴巴集团控股有限公司 | 扭曲文字行的矫正方法及装置、字符识别方法及装置 |
| CN110287960A (zh) * | 2019-07-02 | 2019-09-27 | 中国科学院信息工程研究所 | 自然场景图像中曲线文字的检测识别方法 |
-
2019
- 2019-12-20 CN CN201911325419.3A patent/CN113012029B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103177250A (zh) * | 2011-12-22 | 2013-06-26 | 北大方正集团有限公司 | 一种平面目标图像透视变形的矫正方法和系统 |
| WO2018054326A1 (zh) * | 2016-09-22 | 2018-03-29 | 北京市商汤科技开发有限公司 | 文字检测方法和装置、及文字检测训练方法和装置 |
| RU2636097C1 (ru) * | 2016-12-06 | 2017-11-20 | Общество с ограниченной ответственностью "Аби Девелопмент" | Способ и система эффективной подготовки содержащих текст изображений к оптическому распознаванию символов |
| CN109753971A (zh) * | 2017-11-06 | 2019-05-14 | 阿里巴巴集团控股有限公司 | 扭曲文字行的矫正方法及装置、字符识别方法及装置 |
| CN110287960A (zh) * | 2019-07-02 | 2019-09-27 | 中国科学院信息工程研究所 | 自然场景图像中曲线文字的检测识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| 基于三维数据的扭曲文档矫正技术;曾凡锋;郭玉阳;肖珂;;计算机工程与设计(第09期);全文 * |
| 基于三维边缘重构的文档图像自动矫正方法;刘婀娜;刘一斐;祁建芳;;计算机应用研究(第07期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113012029A (zh) | 2021-06-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101805090B1 (ko) | 영역 인식 방법 및 장치 | |
| CN110688951B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
| US10127471B2 (en) | Method, device, and computer-readable storage medium for area extraction | |
| EP3163500A1 (en) | Method and device for identifying region | |
| US10007841B2 (en) | Human face recognition method, apparatus and terminal | |
| KR101782633B1 (ko) | 영역 인식 방법 및 장치 | |
| US10095949B2 (en) | Method, apparatus, and computer-readable storage medium for area identification | |
| KR101763891B1 (ko) | 영역 추출 방법, 모델 트레이닝 방법 및 장치 | |
| CN107977659B (zh) | 一种文字识别方法、装置及电子设备 | |
| CN105631406B (zh) | 图像识别处理方法和装置 | |
| CN106557759B (zh) | 一种标志牌信息获取方法及装置 | |
| CN106228556B (zh) | 图像质量分析方法和装置 | |
| CN111666941B (zh) | 一种文本检测方法、装置及电子设备 | |
| CN112115894B (zh) | 手部关键点检测模型的训练方法、装置及电子设备 | |
| CN108717542B (zh) | 识别文字区域的方法、装置及计算机可读存储介质 | |
| CN106056117A (zh) | 矩形物体的图像处理方法及装置 | |
| CN113012029B (zh) | 一种曲面图像的矫正方法、装置及电子设备 | |
| CN115082473B (zh) | 脏污检测方法、装置及电子设备 | |
| CN112836696A (zh) | 一种文字数据的检测方法、装置及电子设备 | |
| CN114332149A (zh) | 图像分割方法、装置、电子设备及存储介质 | |
| CN117011310A (zh) | 一种图像处理方法、装置、电子设备及可读存储介质 | |
| CN115033731A (zh) | 图像检索方法、装置、电子设备及存储介质 | |
| CN117953520A (zh) | 表格检测方法、装置、电子设备、存储介质及芯片 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |