CN112053305A - 一种利于图像截取和校正的排版结构、页面、图书及图像截取和校正方法、装置、设备、介质 - Google Patents
一种利于图像截取和校正的排版结构、页面、图书及图像截取和校正方法、装置、设备、介质 Download PDFInfo
- Publication number
- CN112053305A CN112053305A CN202010939491.1A CN202010939491A CN112053305A CN 112053305 A CN112053305 A CN 112053305A CN 202010939491 A CN202010939491 A CN 202010939491A CN 112053305 A CN112053305 A CN 112053305A
- Authority
- CN
- China
- Prior art keywords
- point
- image
- correction
- curve
- delta
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012937 correction Methods 0.000 title claims abstract description 151
- 238000000034 method Methods 0.000 title claims abstract description 39
- 230000009286 beneficial effect Effects 0.000 title abstract description 6
- 238000001514 detection method Methods 0.000 claims abstract description 42
- 230000001131 transforming effect Effects 0.000 claims abstract description 7
- 230000006870 function Effects 0.000 claims description 77
- 238000012545 processing Methods 0.000 claims description 11
- 230000009466 transformation Effects 0.000 claims description 11
- 238000010586 diagram Methods 0.000 description 26
- 238000011088 calibration curve Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 8
- 238000003702 image correction Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011179 visual inspection Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/168—Segmentation; Edge detection involving transform domain methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种利于图像截取和校正的排版结构、页面、图书及图像截取和校正方法、装置、设备、介质，所述排版结构包括内容区、上端参考线和下端参考线，所述上端参考线位于所述内容区的上端，所述下端参考线位于所述内容区的下端。所述方法包括：对包含目标区域的待检测图像中的曲线进行检测，基于检测结果获得所述目标区域的四个角点坐标；将所述四个角点坐标范围内的图像变换成矩形图像，得到第一校正图像。所述方法还包括：对所述第一校正图像中的曲线进行检测，基于检测结果进行曲线拟合，得到上端校正曲线函数和下端校正曲线函数；基于所述上端校正曲线函数和所述下端校正曲线函数对所述第一校正图像的像素点进行调整，得到第二校正图像。
Description
技术领域
本发明涉及到图像处理领域，特别是涉及到一种利于图像截取和校正的排版结构、页面、图书及图像截取和校正方法、装置、设备、介质。
背景技术
在日常生活、工作和学习中，用手机、摄像头和扫描仪等图像采集设备获取的图像可能存在一定程度的倾斜和扭曲。例如，用手机对图书页面拍照获取的文档图像，往往存在一定程度的倾斜和扭曲。对于这种倾斜和扭曲的图像，提取图像中的目标内容以及对倾斜和扭曲的目标内容进行校正，不仅能提升用户阅读体验，也便于对图像进行进一步处理，具有重要的实践价值。
目前，已经有了一些比较成熟的曲线检测方法，这些被检测的曲线可以是图像中的物体边缘曲线，也可以是图像中的物体上存在的曲线，这有利于基于图像中的曲线检测进行图像截取和校正。例如，之前，本申请人已向中国国家专利局提交了名称为“一种曲线检测方法、装置、设备和介质”的发明申请，申请号为“2020107882450”，该方法主要目的是提高对沿着水平方向或其他方向有一定程度弯曲的普通曲线的检测效果和效率；由于文档中的直横线在经过拍照、扫描等图像获取后形成的曲线往往沿着一个方向伸展，该方法对这类曲线检测效果较好；通过该方法，可获得曲线点集合，还可对曲线点集合中的点进行拟合得到曲线函数。
发明内容
本发明提供了一种利于图像截取和校正的排版结构、页面、图书及图像截取和校正方法、装置、设备、介质，主要目的是实现截取图像中的目标内容以及对倾斜和扭曲的目标内容进行校正。
本发明的目的是通过以下技术方案实现的：
第一方面，本发明提供了一种利于图像截取和校正的排版结构，包括内容区，还包括上端参考线和下端参考线，所述上端参考线位于所述内容区的上端，所述下端参考线位于所述内容区的下端。
优选地，所述上端参考线和所述下端参考线长度相等，所述上端参考线和所述下端参考线平行于所述内容区所在的页面的上边缘或下边缘，所述上端参考线和所述下端参考线距离所述内容区所在的页面的右边缘或左边缘相等。
第二方面，本发明提供了一种利于图像截取和校正的页面，所述页面包括至少一个第一方面任一所述的排版结构。
第三方面，本发明提供了一种利于图像截取和校正的图书，所述图书包括至少一个第二方面所述的页面。
第四方面，本发明提供了一种图像截取和校正方法，所述方法包括：
对包含目标区域的待检测图像中的曲线进行检测，基于检测结果获得所述目标区域的四个角点坐标；
将所述四个角点坐标范围内的图像变换成矩形图像，得到第一校正图像。
可选地，所述方法还包括：
对所述第一校正图像中的曲线进行检测，基于检测结果进行曲线拟合，得到上端校正曲线函数和下端校正曲线函数；
基于所述上端校正曲线函数和所述下端校正曲线函数对所述第一校正图像的像素点进行调整，得到第二校正图像。
优选地，所述对包含目标区域的待检测图像中的曲线进行检测，基于检测结果获得所述目标区域的四个角点坐标，包括：
对所述待检测图像中的曲线进行检测，基于检测结果得到上端定位曲线点集合和下端定位曲线点集合，并获得所述上端定位曲线点集合的左、右两个端点A、B，获得所述下端定位曲线点集合的左、右两个端点D、C；
设置定位点偏移距离ΔL；
将A点沿着DA方向移动ΔL得到A1点，将B点沿着CB方向移动ΔL得到B1点，将C点沿着BC方向移动ΔL得到C1点，将D点沿着AD方向移动ΔL得到D1点；
其中，A1点、B1点、C1点、D1点的坐标分别为所述四个角点坐标中的左上角坐标、右上角坐标、右下角坐标和左下角坐标。
优选地，所述基于所述上端校正曲线函数和所述下端校正曲线函数对所述第一校正图像的像素点进行调整，得到第二校正图像，包括：
对所述第一校正图像中每列像素点，设置上端参考点坐标（x，y01）和下端参考点坐标（x，y02）；
对所述第一校正图像中每列像素点，计算所述上端校正曲线函数点坐标（x，y1）和所述下端校正曲线函数点坐标（x，y2）；
对所述第一校正图像中每列像素点，计算上端标准偏移量Δy1和下端标准偏移量Δy2，其中，Δy1=y01-y1，Δy2=y02-y2；
对所述第一校正图像每列的各像素点（x，y），计算各点位置偏移量（0，Δy），其中：Δy=Δy1×[(y02-y)/(y02-y01)]+Δy2×[(y-y01)/(y02-y01)]，或Δy=Δy1×[(y2-y)/(y2-y1)]+Δy2×[(y-y1)/(y2-y1)]；
基于所述各点位置偏移量对所述第一校正图像的像素点进行调整，得到第二校正图像。
第五方面，本发明提供了一种图像截取和校正装置，所述装置包括：
角点获取单元，用于对包含目标区域的待检测图像中的曲线进行检测，基于检测结果获得所述目标区域的四个角点坐标；
矩形变换单元，用于将所述四个角点坐标范围内的图像变换成矩形图像，得到第一校正图像。
可选地，所述装置还包括：
校正曲线函数获取单元，用于对所述第一校正图像中的曲线进行检测，基于检测结果进行曲线拟合，得到上端校正曲线函数和下端校正曲线函数；
像素点调整单元，用于基于所述上端校正曲线函数和所述下端校正曲线函数对所述第一校正图像的像素点进行调整，得到第二校正图像。
优选地，所述角点获取单元按如下方式对包含目标区域的待检测图像中的曲线进行检测，基于检测结果获得所述目标区域的四个角点坐标：
对所述待检测图像中的曲线进行检测，基于检测结果得到上端定位曲线点集合和下端定位曲线点集合，并获得所述上端定位曲线点集合的左、右两个端点A、B，获得所述下端定位曲线点集合的左、右两个端点D、C；
设置定位点偏移距离ΔL；
将A点沿着DA方向移动ΔL得到A1点，将B点沿着CB方向移动ΔL得到B1点，将C点沿着BC方向移动ΔL得到C1点，将D点沿着AD方向移动ΔL得到D1点；
其中，A1点、B1点、C1点、D1点的坐标分别为所述四个角点坐标中的左上角坐标、右上角坐标、右下角坐标和左下角坐标。
优选地，所述像素点调整单元按如下方式基于所述上端校正曲线函数和所述下端校正曲线函数对所述第一校正图像的像素点进行调整，得到第二校正图像：
对所述第一校正图像中每列像素点，设置上端参考点坐标（x，y01）和下端参考点坐标（x，y02）；
对所述第一校正图像中每列像素点，计算所述上端校正曲线函数点坐标（x，y1）和所述下端校正曲线函数点坐标（x，y2）；
对所述第一校正图像中每列像素点，计算上端标准偏移量Δy1和下端标准偏移量Δy2，其中，Δy1=y01-y1，Δy2=y02-y2；
对所述第一校正图像每列的各像素点（x，y），计算各点位置偏移量（0，Δy），其中：Δy=Δy1×[(y02-y)/(y02-y01)]+Δy2×[(y-y01)/(y02-y01)]，或Δy=Δy1×[(y2-y)/(y2-y1)]+Δy2×[(y-y1)/(y2-y1)]；
基于所述各点位置偏移量对所述第一校正图像的像素点进行调整，得到第二校正图像。
第六方面，本发明提供了一种图像截取和校正设备，所述设备包括至少一个处理器以及至少一个存储器，所述存储器用于存储程序代码，当所述程序代码被所述处理器执行时，使得所述处理器执行第四方面任一所述的方法。
第七方面，本发明提供了一种计算机可读存储介质，所述存储介质包含程序代码，当所述程序代码运行于图像截取和校正装置时，所述程序代码用于使所述图像截取和校正装置执行第四方面任一所述的方法。
附图说明：
图1为本申请实施例提供的一种利于图像截取和校正的排版结构示意图；
图2为本申请实施例提供的一种利于图像截取和校正的页面示意图；
图3为本申请实施例提供的一种图像截取和校正方法的流程示意图；
图4为本申请实施例提供的待检测图像示意图；
图5为本申请实施例提供的获得的四个角点坐标示意图；
图6为本申请实施例提供的获得的第一校正图像示意图；
图7为本申请实施例提供的获得的上端校正曲线函数和下端校正曲线函数示意图；
图8为本申请实施例提供的获得的第二校正图像示意图；
图9为本申请实施例提供的一种图像截取和校正装置的结构框图；
图10为本申请实施例提供的一种图像截取和校正设备的结构框图。
具体实施方式：
为了便于本领域技术人员理解，下面结合实施例与附图对本发明作进一步说明，实施方式提及的内容并非对本发明的限定。
图1为本申请实施例提供的一种利于图像截取和校正的排版结构示意图，该排版结构包括：内容区101、上端参考线102和下端参考线103。
其中，上端参考线102位于内容区101的上端，下端参考线103位于内容区101的下端。上端参考线102和下端参考线103长度相等，上端参考线102和下端参考线103平行于内容区101所在的页面的上边缘或下边缘，上端参考线102和下端参考线103距离所述内容区101所在的页面的右边缘或左边缘相等。
图2为本申请实施例提供的一种利于图像截取和校正的页面示意图，该页面包括三个如图1所示的排版结构：排版结构201、排版结构202和排版结构203。
其中，排版结构202的上端参考线与排版结构201的下端参考线重合，排版结构203的上端参考线与排版结构201的上端参考线重合，排版结构203的下端参考线与排版结构202的下端参考线重合。对于排版结构203，可理解为其内容区是排版结构201的内容区和排版结构202的内容区的组合。
图3为本申请实施例提供的一种图像截取和校正方法的流程示意图，该方法包括：
S301：对包含目标区域的待检测图像中的曲线进行检测，基于检测结果获得所述目标区域的四个角点坐标。示例性地，见图4所示，图4为本申请实施例提供的待检测图像示意图；见图5所示，图5为本申请实施例提供的获得的四个角点坐标示意图，包括左上角角点501、右上角角点502、右下角角点503和左下角角点504。
其中，目标区域包含需要截取和校正的图像区域，该区域为一个四边形，目标区域的四个角点指该四边形的四个顶点。
具体地，在本申请实施例中，通过以下方式对包含目标区域的待检测图像中的曲线进行检测，基于检测结果获得所述目标区域的四个角点坐标：
对待检测图像中的曲线进行检测，基于检测结果得到上端定位曲线点集合和下端定位曲线点集合，并获得上端定位曲线点集合的左、右两个端点A、B，获得下端定位曲线点集合的左、右两个端点D、C；
设置定位点偏移距离ΔL；
将A点沿着DA方向移动ΔL得到A1点，将B点沿着CB方向移动ΔL得到B1点，将C点沿着BC方向移动ΔL得到C1点，将D点沿着AD方向移动ΔL得到D1点；
其中，A1点、B1点、C1点、D1点分别为四个角点坐标中的左上角坐标、右上角坐标、右下角坐标和左下角坐标。
进一步地，本领域技术人员可采用各种方式对待检测图像中的曲线进行检测。示例性地，可采用本申请人在向中国国家专利局提交的申请号为“2020107882450”的专利申请中提出的一种曲线检测方法进行曲线检测，该方法可获取图像中的曲线点集合。
可选地，可选择待检测图像的上端和下端区域作为曲线检测区域，以缩小曲线检测区域范围。示例性地，选择待检测图像上端四分之一高度的矩形区域和待检测图像下端四分之一高度的矩形区域为曲线检测区域。
进一步地，在对待检测图像中的曲线进行检测后，可根据实际情况对待检测图像中的曲线进行筛选，得到上端定位曲线点集合和下端定位曲线点集合。示例性地，在本申请实施例中，选择两端横坐标间距大于待检测图像宽度二分之一的曲线作为待选择曲线；在所有待选择曲线中，选择最上端的曲线的点集合为上端定位曲线点集合，选择最下端的曲线的点集合为下端定位曲线点集合。
进一步地，可根据实际情况设置定位点偏移距离ΔL。示例性地，在本申请实施例中，设置定位点偏移距离ΔL等于待检测图像宽度十分之一。
S302：将所述四个角点坐标范围内的图像变换成矩形图像，得到第一校正图像。本申请实施例采用了透视变换（Perspective Transformation）将所述四个角点坐标范围内的图像变换成矩形图像。示例性地，见图6所示，图6为本申请实施例提供的获得的第一校正图像示意图。
具体地，透视变换将源坐标范围内的待检测图像变换成矩形图像。其中，透视变换的源坐标为已在S301中获得的四个角点坐标，透视变换的目标矩形坐标可按以下方式设置：
计算左上角角点到右上角角点的距离，设置为目标矩形图像的宽度；
计算左上角角点到左下角角点的距离，设置为目标矩形图像的高度；
设置目标矩形坐标的左上角坐标为（0，0）；
设置目标矩形坐标的右上角坐标为（目标矩形图像的宽度，0）；
设置目标矩形坐标的右下角坐标为（目标矩形图像的宽度，矩形图像的高度）；
设置目标矩形坐标的左下角坐标为（0，目标矩形图像的高度）。
示例性地，在本申请实施例中，采用了OpenCV（Open Source Computer VisionLibrary，一个基于BSD许可（开源）发行的跨平台计算机视觉和机器学习软件库）的getPerspectiveTransform模块和warpPerspective模块实现透视变换。
S303：对所述第一校正图像中的曲线进行检测，基于检测结果进行曲线拟合，得到上端校正曲线函数和下端校正曲线函数。示例性地，见图7所示，图7为本申请实施例提供的获得的上端校正曲线函数和下端校正曲线函数示意图，包括上端校正曲线701和下端校正曲线702。
其中，所述上端校正曲线函数反映了上端校正曲线的横纵坐标关系，也可用上端校正曲线点集合代替。
其中，所述下端校正曲线函数反映了下端校正曲线的横纵坐标关系，也可用下端校正曲线点集合代替。
具体地，在获得第一校正图像后，可对第一校正图像进一步校正，以减小图像扭曲。
进一步地，本领域技术人员可采用各种方式对第一校正图像中的曲线进行检测。示例性地，可采用本申请人在向中国国家专利局提交的申请号为“2020107882450”的专利申请中提出的一种曲线检测方法进行曲线检测，该方法可获取图像中的曲线点集合和曲线函数。
可选地，可选择第一校正图像的上端和下端区域作为曲线检测区域，以缩小曲线检测区域范围。示例性地，选择第一校正图像上端四分之一高度的矩形区域和第一校正图像下端四分之一高度的矩形区域为曲线检测区域。
进一步地，在对第一校正图像中的曲线进行检测后，可根据实际情况对第一校正图像中的曲线进行筛选，基于检测、筛选结果进行曲线拟合，得到上端校正曲线函数和下端校正曲线函数。示例性地，在本申请实施例中，选择两端横坐标间距大于第一校正图像宽度二分之一的曲线作为待选择曲线；在所有待选择曲线中，选择最上端的曲线的点集合为上端校正曲线点集合，选择最下端的曲线的点集合为下端校正曲线点集合，并进行曲线拟合，得到上端校正曲线函数和下端校正曲线函数。
示例性地，见图7所示，图7为本申请实施例提供的获得的上端校正曲线函数和下端校正曲线函数示意图，包括上端校正曲线701和下端校正曲线702。在本申请实施例中，利用了OpenCV的polyfit模块分别对上端校正曲线点集合和下端校正曲线点集合进行10阶多项式拟合，得到上端校正曲线函数和下端校正曲线函数。polyfit模块利用了最小二乘法将多个点拟合成一条曲线。
S304：基于所述上端校正曲线函数和所述下端校正曲线函数对所述第一校正图像的像素点进行调整，得到第二校正图像。示例性地，见图8所示，图8为本申请实施例提供的获得的第二校正图像示意图。
具体地，为了减小图像扭曲，本发明可基于上端校正曲线函数和下端校正曲线函数对第一校正图像的像素点进行调整，得到第二校正图像。
具体地，在本申请实施例中，通过以下方式调整第一校正图像的像素点得到第二校正图像：
对第一校正图像中每列像素点，设置上端参考点坐标（x，y01）和下端参考点坐标（x，y02）；
对第一校正图像中每列像素点，计算上端校正曲线函数点坐标（x，y1）和下端校正曲线函数点坐标（x，y2）；
对第一校正图像中每列像素点，计算上端标准偏移量Δy1和下端标准偏移量Δy2，其中，Δy1=y01-y1，Δy2=y02-y2；
对第一校正图像每列的各像素点（x，y），计算各点位置偏移量（0，Δy），其中：Δy=Δy1×[(y02-y)/(y02-y01)]+Δy2×[(y-y01)/(y02-y01)]，或Δy=Δy1×[(y2-y)/(y2-y1)]+Δy2×[(y-y1)/(y2-y1)]；
基于各点位置偏移量对第一校正图像的像素点进行调整，得到第二校正图像。
其中，对每列像素点进行校正时，需设置该列的参考点坐标，包括上端参考点坐标（x，y01）和下端参考点坐标（x，y02）。优选地，每列像素点的上端参考点坐标（x，y01）和下端参考点坐标（x，y02）的纵坐标y01和y02为固定值，并设置：y01等于上端校正曲线函数在横坐标为0时的纵坐标的值；y02等于下端校正曲线函数在横坐标为0时的纵坐标的值。
其中，Δy为计算出的各像素点的向下偏移量，可理解为第一校正图像的各像素点向下移动Δy后得到第二校正图像。本发明给出了两种计算Δy的方式，第一种方式为：Δy=Δy1×[(y02-y)/(y02-y01)]+Δy2×[(y-y01)/(y02-y01)]；第二种方式为：Δy=Δy1×[(y2-y)/(y2-y1)]+Δy2×[(y-y1)/(y2-y1)]。在实际应用中，应只选择其中的一种方式进行计算Δy。
其中，各像素点的向下偏移量Δy可能为非整数，本领域技术人员可采用各种方法处理偏移坐标的非整数问题，例如，包含但不限于最近邻域插值法、双线性插值法。示例性地，在本申请实施例中，采用了最近邻域插值法，即对Δy进行四舍五入取整。
优选地，在对第一校正图像的像素点进行调整得到第二校正图像中，在遇到计算坐标超出第一校正图像边界的情况时，可将第一校正图像边界像素点的颜色值赋予第二校正图像对应点的颜色值。
可选地，在S303之后，以及S304之前，可将上端校正曲线函数的上方区域和下端校正曲线函数的下方区域设置为背景色或透明或其他纯色。
在实际应用中，在获得第一校正图像后，可根据具体情况选择是否需要进行第二次图像校正。如果不需要进行第二次图像校正，只需执行上述方法中的S301和S302。示例性地，在获得第一校正图像后，如果第一校正图像扭曲较严重，为了减小图像扭曲，可对第一校正图像进一步校正，得到第二校正图像。具体地，除了采用目测方法判断第一校正图像扭曲程度之外，还可以通过以下方式判断第一校正图像扭曲程度：
在S301中，通过计算上端定位曲线点集合的中值和平均值，并得到（中值-平均值）/平均值的绝对值，该绝对值可反映上端定位曲线点的扭曲程度。用同样的方法可计算下端定位曲线点的扭曲程度。上端定位曲线点的扭曲程度和下端定位曲线点的扭曲程度反映了第一校正图像的扭曲程度。
基于与上述一种图像截取和校正方法实施例相同的构思，本申请实施例还提供了一种图像截取和校正装置，见图9所示，图9为本申请实施例提供的一种图像截取和校正装置的结构框图，该装置包括：角点获取单元901、矩形变换单元902、校正曲线函数获取单元903和像素点调整单元904。
其中，角点获取单元901，用于对包含目标区域的待检测图像中的曲线进行检测，基于检测结果获得所述目标区域的四个角点坐标；
矩形变换单元902，用于将所述四个角点坐标范围内的图像变换成矩形图像，得到第一校正图像；
校正曲线函数获取单元903，用于对所述第一校正图像中的曲线进行检测，基于检测结果进行曲线拟合，得到上端校正曲线函数和下端校正曲线函数；
像素点调整单元904，用于基于所述上端校正曲线函数和所述下端校正曲线函数对所述第一校正图像的像素点进行调整，得到第二校正图像。
具体地，角点获取单元901按如下方式对包含目标区域的待检测图像中的曲线进行检测，基于检测结果获得所述目标区域的四个角点坐标：
对待检测图像中的曲线进行检测，基于检测结果得到上端定位曲线点集合和下端定位曲线点集合，并获得上端定位曲线点集合的左、右两个端点A、B，获得下端定位曲线点集合的左、右两个端点D、C；
设置定位点偏移距离ΔL；
将A点沿着DA方向移动ΔL得到A1点，将B点沿着CB方向移动ΔL得到B1点，将C点沿着BC方向移动ΔL得到C1点，将D点沿着AD方向移动ΔL得到D1点；
其中，A1点、B1点、C1点、D1点分别为四个角点坐标中的左上角坐标、右上角坐标、右下角坐标和左下角坐标。
具体地，像素点调整单元904按如下方式基于上端校正曲线函数和下端校正曲线函数对第一校正图像的像素点进行调整，得到第二校正图像：
对第一校正图像中每列像素点，设置上端参考点坐标（x，y01）和下端参考点坐标（x，y02）；
对第一校正图像中每列像素点，计算上端校正曲线函数点坐标（x，y1）和下端校正曲线函数点坐标（x，y2）；
对第一校正图像中每列像素点，计算上端标准偏移量Δy1和下端标准偏移量Δy2，其中，Δy1=y01-y1，Δy2=y02-y2；
对第一校正图像每列的各像素点（x，y），计算各点位置偏移量（0，Δy），其中：Δy=Δy1×[(y02-y)/(y02-y01)]+Δy2×[(y-y01)/(y02-y01)]，或Δy=Δy1×[(y2-y)/(y2-y1)]+Δy2×[(y-y1)/(y2-y1)]；
基于各点位置偏移量对第一校正图像的像素点进行调整，得到第二校正图像。
在实际应用中，在获得第一校正图像后，可根据具体情况选择是否需要进行第二次图像校正。如果不需要进行第二次图像校正，只需执行角点获取单元901和矩形变换单元902的方法。示例性地，在获得第一校正图像后，如果第一校正图像扭曲较严重，为了减小图像扭曲，可对第一校正图像进一步校正，得到第二校正图像。具体地，除了采用目测方法判断第一校正图像扭曲程度之外，还可以通过以下方式判断第一校正图像扭曲程度：
在角点获取单元901中，通过计算上端定位曲线点集合的中值和平均值，并得到（中值-平均值）/平均值的绝对值，该绝对值可反映上端定位曲线点的扭曲程度。用同样的方法可计算下端定位曲线点的扭曲程度。上端定位曲线点的扭曲程度和下端定位曲线点的扭曲程度反映了第一校正图像的扭曲程度。
本申请实施例还提供了一种图像截取和校正设备，见图10所示，图10为本申请实施例提供的一种图像截取和校正设备的结构框图，该设备包括：处理器1001和存储器1002。
其中，存储器1002，用于存储程序代码。
处理器1001，用于调用所述存储器中存储的程序代码，可按照获得的程序执行本申请中实施例所述的任一方法流程。处理器1001用于实现图9所示的角点获取单元901、矩形变换单元902、校正曲线函数获取单元903和像素点调整单元904所执行的方法。
其中，在图10中，总线架构可以包括任意数量的互联的总线和桥，将由处理器1001代表的一个或多个处理器和由存储器1002代表的存储器的电路连接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供接口。
处理器1001负责管理总线架构和通常的处理，存储器1002可以存储处理器1001在执行操作时所使用的数据。
处理器1001可以是中央处理器（CPU）、专用集成电路（Application SpecificIntegrated Circuit，ASIC）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）或复杂可编程逻辑器件（Complex Programmable Logic Device，CPLD）。
本申请实施例还提供了一种计算机存储介质，用于储存为上述本申请实施例中所述的任一装置或设备所用的计算机程序代码，其包含用于执行上述本申请实施例提供的任一方法的程序。
所述计算机存储介质可以是计算机能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器（例如软盘、硬盘、磁带、磁光盘（MO）等）、光学存储器（例如CD、DVD、BD、HVD等）、以及半导体存储器（例如ROM、EPROM、EEPROM、非易失性存储器（NAND FLASH）、固态硬盘（SSD））等。
本领域内的技术人员应明白，本发明的实施例可提供为方法、设备（系统）、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上对本发明所提供的一种利于图像截取和校正的排版结构、页面、图书及图像截取和校正方法、装置、设备、介质做了详细介绍，本文中应用了个例对本发明提供的原理及实施方法进行了阐述，以上提供的实施例只是帮助理解本发明及核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
Claims (14)
1.一种利于图像截取和校正的排版结构，包括内容区，其特征在于，还包括上端参考线和下端参考线，所述上端参考线位于所述内容区的上端，所述下端参考线位于所述内容区的下端。
2.根据权利要求1所述的一种利于图像截取和校正的排版结构，其特征在于，所述上端参考线和所述下端参考线长度相等，所述上端参考线和所述下端参考线平行于所述内容区所在的页面的上边缘或下边缘，所述上端参考线和所述下端参考线距离所述内容区所在的页面的右边缘或左边缘相等。
3.一种利于图像截取和校正的页面，其特征在于，所述页面包括至少一个在权利要求1-2中任一权利要求所述的排版结构。
4.一种利于图像截取和校正的图书，其特征在于，所述图书包括至少一个权利要求3所述的页面。
5.一种图像截取和校正方法，其特征在于，所述方法包括：
对包含目标区域的待检测图像中的曲线进行检测，基于检测结果获得所述目标区域的四个角点坐标；
将所述四个角点坐标范围内的图像变换成矩形图像，得到第一校正图像。
6.根据权利要求5所述的一种图像截取和校正方法，其特征在于，所述方法还包括：
对所述第一校正图像中的曲线进行检测，基于检测结果进行曲线拟合，得到上端校正曲线函数和下端校正曲线函数；
基于所述上端校正曲线函数和所述下端校正曲线函数对所述第一校正图像的像素点进行调整，得到第二校正图像。
7.根据权利要求5所述的一种图像截取和校正方法，其特征在于，所述对包含目标区域的待检测图像中的曲线进行检测，基于检测结果获得所述目标区域的四个角点坐标，包括：
对所述待检测图像中的曲线进行检测，基于检测结果得到上端定位曲线点集合和下端定位曲线点集合，并获得所述上端定位曲线点集合的左、右两个端点A、B，获得所述下端定位曲线点集合的左、右两个端点D、C；
设置定位点偏移距离ΔL；
将A点沿着DA方向移动ΔL得到A1点，将B点沿着CB方向移动ΔL得到B1点，将C点沿着BC方向移动ΔL得到C1点，将D点沿着AD方向移动ΔL得到D1点；
其中，A1点、B1点、C1点、D1点的坐标分别为所述四个角点坐标中的左上角坐标、右上角坐标、右下角坐标和左下角坐标。
8.根据权利要求6所述的一种图像截取和校正方法，其特征在于，所述基于所述上端校正曲线函数和所述下端校正曲线函数对所述第一校正图像的像素点进行调整，得到第二校正图像，包括：
对所述第一校正图像中每列像素点，设置上端参考点坐标（x，y01）和下端参考点坐标（x，y02）；
对所述第一校正图像中每列像素点，计算所述上端校正曲线函数点坐标（x，y1）和所述下端校正曲线函数点坐标（x，y2）；
对所述第一校正图像中每列像素点，计算上端标准偏移量Δy1和下端标准偏移量Δy2，其中，Δy1=y01-y1，Δy2=y02-y2；
对所述第一校正图像每列的各像素点（x，y），计算各点位置偏移量（0，Δy），其中：Δy=Δy1×[(y02-y)/(y02-y01)]+Δy2×[(y-y01)/(y02-y01)]，或Δy=Δy1×[(y2-y)/(y2-y1)]+Δy2×[(y-y1)/(y2-y1)]；
基于所述各点位置偏移量对所述第一校正图像的像素点进行调整，得到第二校正图像。
9.一种图像截取和校正装置，其特征在于，所述装置包括：
角点获取单元，用于对包含目标区域的待检测图像中的曲线进行检测，基于检测结果获得所述目标区域的四个角点坐标；
矩形变换单元，用于将所述四个角点坐标范围内的图像变换成矩形图像，得到第一校正图像。
10.根据权利要求9所述的一种图像截取和校正装置，其特征在于，所述装置还包括：
校正曲线函数获取单元，用于对所述第一校正图像中的曲线进行检测，基于检测结果进行曲线拟合，得到上端校正曲线函数和下端校正曲线函数；
像素点调整单元，用于基于所述上端校正曲线函数和所述下端校正曲线函数对所述第一校正图像的像素点进行调整，得到第二校正图像。
11.根据权利要求9所述的一种图像截取和校正装置，其特征在于，所述角点获取单元按如下方式对包含目标区域的待检测图像中的曲线进行检测，基于检测结果获得所述目标区域的四个角点坐标：
对所述待检测图像中的曲线进行检测，基于检测结果得到上端定位曲线点集合和下端定位曲线点集合，并获得所述上端定位曲线点集合的左、右两个端点A、B，获得所述下端定位曲线点集合的左、右两个端点D、C；
设置定位点偏移距离ΔL；
将A点沿着DA方向移动ΔL得到A1点，将B点沿着CB方向移动ΔL得到B1点，将C点沿着BC方向移动ΔL得到C1点，将D点沿着AD方向移动ΔL得到D1点；
其中，A1点、B1点、C1点、D1点的坐标分别为所述四个角点坐标中的左上角坐标、右上角坐标、右下角坐标和左下角坐标。
12.根据权利要求10所述的一种图像截取和校正装置，其特征在于，所述像素点调整单元按如下方式基于所述上端校正曲线函数和所述下端校正曲线函数对所述第一校正图像的像素点进行调整，得到第二校正图像：
对所述第一校正图像中每列像素点，设置上端参考点坐标（x，y01）和下端参考点坐标（x，y02）；
对所述第一校正图像中每列像素点，计算所述上端校正曲线函数点坐标（x，y1）和所述下端校正曲线函数点坐标（x，y2）；
对所述第一校正图像中每列像素点，计算上端标准偏移量Δy1和下端标准偏移量Δy2，其中，Δy1=y01-y1，Δy2=y02-y2；
对所述第一校正图像每列的各像素点（x，y），计算各点位置偏移量（0，Δy），其中：Δy=Δy1×[(y02-y)/(y02-y01)]+Δy2×[(y-y01)/(y02-y01)]，或Δy=Δy1×[(y2-y)/(y2-y1)]+Δy2×[(y-y1)/(y2-y1)]；
基于所述各点位置偏移量对所述第一校正图像的像素点进行调整，得到第二校正图像。
13.一种图像截取和校正设备，其特征在于，所述设备包括至少一个处理器以及至少一个存储器，所述存储器用于存储程序代码，当所述程序代码被所述处理器执行时，使得所述处理器执行权利要求5-8任一所述的方法。
14.一种计算机可读存储介质，所述存储介质包含程序代码，其特征在于，当所述程序代码运行于图像截取和校正装置时，所述程序代码用于使所述图像截取和校正装置执行权利要求5-8任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010939491.1A CN112053305A (zh) | 2020-09-09 | 2020-09-09 | 一种利于图像截取和校正的排版结构、页面、图书及图像截取和校正方法、装置、设备、介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010939491.1A CN112053305A (zh) | 2020-09-09 | 2020-09-09 | 一种利于图像截取和校正的排版结构、页面、图书及图像截取和校正方法、装置、设备、介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112053305A true CN112053305A (zh) | 2020-12-08 |
Family
ID=73611597
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010939491.1A Pending CN112053305A (zh) | 2020-09-09 | 2020-09-09 | 一种利于图像截取和校正的排版结构、页面、图书及图像截取和校正方法、装置、设备、介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112053305A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112396897A (zh) * | 2020-12-10 | 2021-02-23 | 成都市精卫鸟科技有限责任公司 | 一种教学系统 |
| CN113177885A (zh) * | 2021-03-30 | 2021-07-27 | 新东方教育科技集团有限公司 | 校正图像的方法、装置、存储介质及电子设备 |
| CN115456892A (zh) * | 2022-08-31 | 2022-12-09 | 北京四维远见信息技术有限公司 | 2.5维视景图像自动几何校正方法、装置、设备及介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100211866A1 (en) * | 2009-02-13 | 2010-08-19 | Language Technologies, Inc | System and method for converting the digital typesetting documents used in publishing to a device-specfic format for electronic publishing |
| CN106709492A (zh) * | 2016-12-15 | 2017-05-24 | 网易（杭州）网络有限公司 | 试卷图像处理方法、设备和计算机可读存储介质 |
| CN107610181A (zh) * | 2017-09-15 | 2018-01-19 | 四川大学 | 一种集成成像三维重聚焦再现图像黑边的消除方法 |
| CN107644009A (zh) * | 2016-07-21 | 2018-01-30 | 北大方正集团有限公司 | 图书审校信息的传输方法和传输系统 |
| CN108613630A (zh) * | 2018-04-28 | 2018-10-02 | 中国计量大学 | 基于图像处理技术的两线型管水准器气泡偏移量测量方法 |
| CN109063704A (zh) * | 2018-07-05 | 2018-12-21 | 西安交通大学 | 基于投影法的两阶段文档图像非线性失真校正方法 |
| CN109544484A (zh) * | 2019-02-20 | 2019-03-29 | 上海赫千电子科技有限公司 | 一种图像校正方法和装置 |
-
2020
- 2020-09-09 CN CN202010939491.1A patent/CN112053305A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100211866A1 (en) * | 2009-02-13 | 2010-08-19 | Language Technologies, Inc | System and method for converting the digital typesetting documents used in publishing to a device-specfic format for electronic publishing |
| CN107644009A (zh) * | 2016-07-21 | 2018-01-30 | 北大方正集团有限公司 | 图书审校信息的传输方法和传输系统 |
| CN106709492A (zh) * | 2016-12-15 | 2017-05-24 | 网易（杭州）网络有限公司 | 试卷图像处理方法、设备和计算机可读存储介质 |
| CN107610181A (zh) * | 2017-09-15 | 2018-01-19 | 四川大学 | 一种集成成像三维重聚焦再现图像黑边的消除方法 |
| CN108613630A (zh) * | 2018-04-28 | 2018-10-02 | 中国计量大学 | 基于图像处理技术的两线型管水准器气泡偏移量测量方法 |
| CN109063704A (zh) * | 2018-07-05 | 2018-12-21 | 西安交通大学 | 基于投影法的两阶段文档图像非线性失真校正方法 |
| CN109544484A (zh) * | 2019-02-20 | 2019-03-29 | 上海赫千电子科技有限公司 | 一种图像校正方法和装置 |
Non-Patent Citations (4)
| Title |
|---|
| BOYANG等: "Large-scale block adjustment without use of ground control points based on the compensation of geometric calibration for ZY-3 images", 《ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING》 * |
| 吴开兴等: "广角图像畸变校正算法的研究与实现", 《计算机应用与软件》 * |
| 张顺: "地球曲率对地球同步卫星影像的像移影响研究――以面阵CCD为例", 《地矿测绘》 * |
| 顾帮忠: "基于CCD的DR影像校正", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112396897A (zh) * | 2020-12-10 | 2021-02-23 | 成都市精卫鸟科技有限责任公司 | 一种教学系统 |
| CN113177885A (zh) * | 2021-03-30 | 2021-07-27 | 新东方教育科技集团有限公司 | 校正图像的方法、装置、存储介质及电子设备 |
| CN115456892A (zh) * | 2022-08-31 | 2022-12-09 | 北京四维远见信息技术有限公司 | 2.5维视景图像自动几何校正方法、装置、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112053305A (zh) | 一种利于图像截取和校正的排版结构、页面、图书及图像截取和校正方法、装置、设备、介质 | |
| CN109104596B (zh) | 投影系统以及显示影像的校正方法 | |
| US20200084401A1 (en) | Correcting pixel defects based on defect history in an image processing pipeline | |
| KR101075716B1 (ko) | 이미지 복원 장치 및 방법 | |
| US9160885B2 (en) | Skew detection | |
| US9589333B2 (en) | Image correction apparatus for correcting distortion of an image | |
| US20050196070A1 (en) | Image combine apparatus and image combining method | |
| CN105100637A (zh) | 一种图像处理方法及电子设备 | |
| AU2007224085A1 (en) | Model- based dewarping method and apparatus | |
| US20190028645A1 (en) | Image processing device, image processing method and storage medium | |
| KR101450782B1 (ko) | 화상 처리 장치 및 프로그램 | |
| CN112930677B (zh) | 用于在第一镜头和第二镜头之间切换的方法和电子设备 | |
| CN107277359A (zh) | 3d扫描中自适应变焦的方法、装置、移动终端及存储介质 | |
| CN109087253A (zh) | 一种图像校正方法及装置 | |
| JP2005277732A (ja) | 矩形画像の四隅検出方法及び装置及びプログラム及び矩形画像の四隅検出プログラムを格納した記憶媒体 | |
| CN107645634A (zh) | 一种无畸变广角网络摄像机及安防监控系统 | |
| US9727994B2 (en) | Image joining method | |
| US11908173B1 (en) | Method and system for three-dimensional profiling of an object | |
| US11908108B2 (en) | Image correction method and processor | |
| JP5042251B2 (ja) | 画像処理装置および画像処理方法 | |
| CN102843479A (zh) | 文件扫描方法、文件扫描装置及便携式电子装置 | |
| CN112270656B (zh) | 一种图像校正方法、装置、设备和介质 | |
| CN115983304A (zh) | 一种二维码动态调整方法、装置、电子设备及存储介质 | |
| US9858512B2 (en) | Image processing apparatus with an improved detection of ruled lines | |
| CN104933430A (zh) | 一种用于移动终端的交互式图像处理方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20201208 |
|
| WD01 | Invention patent application deemed withdrawn after publication |