CN108647680A - 图像定位框检测方法和装置 - Google Patents

图像定位框检测方法和装置 Download PDF

Info

Publication number
CN108647680A
CN108647680A CN201810407970.1A CN201810407970A CN108647680A CN 108647680 A CN108647680 A CN 108647680A CN 201810407970 A CN201810407970 A CN 201810407970A CN 108647680 A CN108647680 A CN 108647680A
Authority
CN
China
Prior art keywords
posting
image
subgraph
auxiliary
connected domain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810407970.1A
Other languages
English (en)
Other versions
CN108647680B (zh
Inventor
黎小说
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Boxfish Education Co Ltd
Original Assignee
Beijing Boxfish Education Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Boxfish Education Co Ltd filed Critical Beijing Boxfish Education Co Ltd
Priority to CN201810407970.1A priority Critical patent/CN108647680B/zh
Publication of CN108647680A publication Critical patent/CN108647680A/zh
Application granted granted Critical
Publication of CN108647680B publication Critical patent/CN108647680B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • G06V10/245Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/28Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像定位框检测方法和装置,该定位框检测方法包括:图像获取步骤,获取带有定位框的页面的图像;预处理步骤,将所述图像二值化;辅助检测色块绘制步骤,在所述二值化图像的中心区域绘制重叠的辅助背景色块和辅助前景色块,且辅助背景色块包围辅助背景色块;二值图连通域检测步骤,检测二值图的连通域,建立连通域之间的层次关系;辅助前景色块轮廓的连通域确定步骤,根据所绘制的辅助前景色块的坐标,确定辅助前景色块轮廓的连通域;定位框连通域确定步骤,利用连通域的层次关系,通过辅助前景色块轮廓的连通域向外找到定位框的连通区域;定位框顶点检测步骤,根据所述定位框的连通区域,进行定位框的顶点检测。

Description

图像定位框检测方法和装置
技术领域
本发明涉及图像检测和畸形校正,可用于远程阅卷系统的答题区域定位和校正。
背景技术
计算机网络的发展极大地改变了人们的生活,远程阅卷和批改也逐渐增多。通常的远程阅卷系统通常只能处理扫描图像。而用户使用手机随手拍摄的照片因为存在背景嘈杂、透视及扭曲形变等问题,很难准确定位到准确的答题区域。因此基于图像处理的阅卷系统通常只用于大型考试中(使用扫描仪统一扫描试卷),而不能普及到日常的批改中(使用手机随手拍)。
发明内容
本发明鉴于以上的情况而做出,用于对具有定位框的页面图像进行定位框的检测,从而能够准确进行定位框的定位,从而方便对页面的识别。
为了实现上述目的,根据本发明的一个方面,提供了一种定位框检测方法,包括如下的步骤:图像获取步骤,获取带有定位框的页面的图像;预处理步骤,将所述图像二值化;辅助前景色块区域绘制步骤,在所述二值化图像的中心区域绘制辅助前景色块区域;二值图连通域检测步骤,检测二值图的连通域,建立连通域之间的层次关系;辅助前景色块区域连通域确定步骤,根据所绘制的辅助前景色块区域的坐标,确定辅助前景色块色块区域的连通域;定位框连通域确定步骤,利用连通域的层次关系,通过辅助前景色块区域的连通域向外找到定位框的连通区域;定位框顶点检测步骤,根据所述定位框的连通区域,进行定位框的顶点检测。
根据本发明的另一方面,提供了一种定位框检测装置,包括:图像获取单元,获取带有定位框的页面的图像;预处理单元,将所述图像二值化;辅助检测区域绘制前景颜色色块单元,在所述二值化图像的中心区域绘制辅助前景色块区域;二值图连通域检测单元,检测二值图的连通域,建立连通域之间的层次关系;辅助前景色块区域连通域确定单元,根据所绘制的辅助前景色块区域的坐标,确定辅助前景色块区域的连通域;定位框连通域确定单元,利用连通域的层次关系,通过辅助前景色块区域的连通域向外找到定位框的连通区域;定位框顶点检测单元,根据所述定位框的连通区域,进行定位框的顶点检测。
本发明涉及一种计算机程序存储介质,所存储的计算机程序在被处理执行时,可以实现本发明要求权利的各方法。
本发明也涉及一种计算机,其包括处理器和存储介质,所述存储介质所存储的计算机程序在被处理执行时,可以实现本发明要求权利的各方法。
根据本发明的实施方式,可以准确定位定位框的位置,为采用手机等进行拍摄获取试卷图像并进行图像识别创造了条件,从而使得基于图像处理的阅卷系统可以应用于日常作业的批改中。
附图说明
图1示出了依据本发明的一种实施方式的图像定位框检测方法的示意性流程图;
图2示出了根据本发明的一种实施方式进行定位框轮廓检测的示意性流程图;
图3示出了在二值化图像中叠加被辅助背景色块区域包围的辅助前景色块区域的示意图;
图4示出了利用连通域层次关系,根据辅助前景色块区域找出定位框的连通域的示意图;
图5示出了依据本发明一种实施方式的顶点检测方法的示意图;
图6中示出了依据本发明的一种实施方式的进行多边形拟合的示意图;
图7示出了依据本发明的一种实施方式的定位框扭曲调整的示意性流程图;
图8示出了依据本发明的一种实施方式的扭曲程度检测的示意图;
图9示出了获得图像子图的示意图;
图10示出了断层现象的示意图;
图11示出了依据本发明的一种实施方式的图像定位框检测装置的示意性方框图;
图12示出了根据本发明的一种实施方式的定位框轮廓检测单元502的示意性方框图;
图13示出了依据本发明一种实施方式的定位框的顶点检测单元的方框图;
图14示出了依据本发明的一种实施方式的定位框扭曲调整单元的示意性方框图。
具体实施方式
下面结合附图,对本发明的实施方式进行详细的说明。
图1示出了依据本发明的一种实施方式的图像定位框检测方法的示意性流程图。
首先,在图像获取步骤101,获取带有定位框的页面的图像。所述图像包括完整的定位框且定位框内图像面积占整幅图像的大部分。定位框指页面内待处理信息的外围封闭框,定位框为包括N个顶点N条边的多边形,N通常为4。实际应用中,N边形可以表现为直线、一定曲率的曲线、花纹、图案等。定位框外为非信息区域,定位框内为有价值的信息区域,例如试题以及答案。可以以各种方式获得习题页图像。例如可以通过摄像机或手机上的摄像头获得,也可以是从远端通过有线或无线网络获得,或通过键盘、鼠标、屏幕、USB接口等外围设备,由用户输入而获得。
然后在步骤102进行图像预处理。根据一种实施方式,预处理步骤包括:将图像转为灰度图,并采用高斯滤波去掉图像中的噪声点。
然后在步骤103进行图像二值化。根据一种实施方式,可以如下地进行:对上一步骤预处理后的图像采用阈值法或者边缘检测法进行二值化,并进行闭运算。二值化后的图像的前景中包括了定位框的纹理。通过设定二值化和闭运算的超参数,尽可能地保证二值化图像中定位框纹理的完整。
接着在步骤104,进行定位框轮廓检测。根据一种实施方式,采用从内向外轮廓查找法,确定定位框轮廓。该方法通过主动绘制位于图像正中的辅助检测色块(由辅助背景色块和辅助前景色块组成,且辅助背景色块包围辅助前景色块),辅助检测色块通常位于定位框内部,且其中的辅助前景色块与周围区域前景无相交,其轮廓与定位框的轮廓具有稳定的位置关系。根据辅助前景色块的准确的位置信息,确定辅助前景色块的轮廓;进而,根据连通域之间的位置关系,以辅助前景色块的轮廓为起点,向外层查找指定的层数即可准确获取定位框轮廓。从内到外轮廓查找法,可以有效适应图像的背景嘈杂、颜色亮度纹理不可预知,而定框内部信息可控的情况。
图2示出了根据本发明的一种实施方式进行定位框轮廓检测的示意性流程图。如图2所示,依据本发明的一种实施方式,定位框轮廓检测包括以下的步骤。
首先在步骤201进行辅助前景色块区域的绘制(根据上下文,色块区域也称色块)。图3示出了绘有辅助检测色块的二值图的示意图。如图3所示,根据本发明的一种实施方式,在二值化图像中,背景表现为黑色(背景的颜色),文字或部分干扰信息表现为白色(即前景的颜色),在二值图中心区域绘制特定大小的辅助背景色块,并在此区域上绘制尺寸略小的辅助前景色块(见图3)。略小是指辅助背景色块的面积与辅助前景色块的面积之差在预定的阈值范围内,并且辅助前景色块被辅助背景色块包围。通过两步进行绘制是为了保证人为绘制的辅助前景色块可以和原有图像的前景区域完全分隔开,保证辅助前景色块的连通域不受原有图案影响。其中,绘制区域的大小以超过定位框中单个有意义对象(即文字或图像),且不超过定位框大小为宜。默认定位框是覆盖图像的大部分面积的,具体尺寸的选择根据经验设定。在例如既有图像又有文字的情况,可以选择最大的。
在步骤202检测二值图的连通域,并建立连通域之间的层次关系。利用图像处理通用方法得到图像的所有连通域,同时得到所有连通域的层次关系。因为在绘制的辅助前景色块的周围,有一圈纯背景色,从而使该色块不会与原图的前景图案相交,能够准确得到该色块的连通域。检测连通域和建立连通域之间的层次关系,可以采用本领域技术人员所知的各种方法(例如,参考论文:Suzuki,S.and Abe,K.,TopologicalStructural Analysisof Digitized Binary Images by Border Following.CVGIP 301,pp32-46(1985),参考算法实现:OpenCV的findContours函数,并将该函数参数中轮廓的检索模式设为CV_RETR_TREE),在此不予赘述。
在步骤203,根据绘制的辅助前景色块的准确坐标,从步骤202得到的一系列连通域中找到辅助前景色块的连通域。
接着,在步骤204,确定定位框的连通域。在该步骤204,利用在步骤202中连通域的层次关系,通过辅助前景色块的连通域向外找到定位框的连通区域。根据一种实施方式,可以使用上面说的OpenCV开源库的接口,这种层次关系接口会返回结果。如图4所示,标号1所指示的区域的外层轮廓由标号2指示,标号2指示的外层轮廓由标号3指示。轮廓3即是我们要找的定位框的轮廓构成的连通区域。定位框的连通区域表示为n个点的有序集合C。该n个点按序连接成n边形,即为定位框的n边形拟合。
然后在步骤205,进行定位框的顶点检测。步骤204得到的点集数目n通常大于顶点数目m,需要从n中选出m个正确的顶点。假设定位框包括4个顶点,这是实际应用中最常见的形式,但是算法不限于4个顶点,可以扩展,即根据实际情况进行扩展。
图5示出了依据本发明一种实施方式的顶点检测方法。如图5所示,依据本发明的一种实施方式,如下进行顶点检测。
首先在步骤301,进行非顶点滤除。根据一种实施方式,将定位框的连通域(即点集C)进行多边形拟合得到点集C’(包含点的个数n’,n’<=n)。在图6中示出了依据本发明的一种实施方式的进行多边形拟合的示意图。如图6所示,根据一种实施方式,首先,设定合适的拟合参数epsilon,然后根据该参数筛选掉C中的点,即去掉定位框连通域中的微小噪声。epsilon为拟合后多边形边上的点距离拟合前的多边形的边的最大距离。图6中,灰色的点为被过滤掉的点。进行拟合可以采用各种方法,在此不予赘述。可以采用其他方法滤除掉不是顶点的点。
然后在步骤302进行候选顶点的获取:在拟合后的连通域点集C’中,根据每对相邻两点的夹角,判断该点属于哪条边。将同一条边的点集合并,获取每条边上的最长线段,得到线段的端点。
接着,在步骤303,进行顶点的微调:以相邻两个端点为首末点,在C中选择首末点内的所有点,将其拟合为一条直线。这个步骤与上面的步骤301的拟合不一样,这里是线性回归,步骤301是去噪。两者均可采用本领域所熟知的实现方法。在相邻两条线的交点pcross的epsilon距离内,将距离交点pcross最近的C中的点作为准确的顶点。
回到图1,在步骤104之后的步骤105,进行定位框的扭曲调整。
图7示出了依据本发明的一种实施方式的定位框扭曲调整的示意性流程图。
首先在步骤401,进行图像的扭曲程度检测。
图8示出了依据本发明的一种实施方式的扭曲程度检测的示意图。如图8所示,以定位框相邻两个顶点(在图8中选择了在下部的两个顶点)为首末点,即a点和b点,在C中选择a、b两点内的所有点,即c-f点。将所有点围成的面积除以a和b两个点之间的欧氏距离作为扭曲程度的评价指标。
curve=S(C[pa:pb])/|papb|
其中,|papb|表示ab两点的距离,S(C[pa:pb])表示图中a-b点之间所有点围成的多边形区域的面积。
然后在步骤402到步骤406进行定位框的校正及微调。
以定位框为4个点的矩形为例讲解定位框的校正和微调。
首先,在步骤402进行图像子图划分,根据扭曲程度将图像横向划分成R个子图,记为rectsub-image
当扭曲程度小于某经验值时,子图数目R设为1,即认为没有扭曲,只需要处理透视形变。
当扭曲程度大于该经验值时,将纵向两条边的夹角等分为R份(R正比于扭曲程度,可简化为一个固定值,在我们的示例中,R值选为6),每个等分角的两边与连通域C共4个交点,这四个交点围成的矩形构成了一个子图rectsub-image
图9示出了所获得的R个子图,即图像子图。在图9所示的示例中,获得了6个图像子图。
回到图7,在步骤403对标准定位框进行对应的子图划分,获得R个子图,即标准子图。标准定位框可以预先存储在数据库中,可以根据标准定位框的位置定位定位框中的信息。如将标准的答题框位置沿横向等分R份,每一份为一个子图对应的标准答题框,记为rectsub-stand
然后,在步骤404,根据标准子图和图像子图,获得单应矩阵,并根据单应矩阵进行各图像子图的调整,可以将手机拍照的定位框内部的图像变为标准大小。
在该步骤404,对每个子图rectsub-image和rectsub-stand,存在4对对应点,易于求出单应矩阵M。利用M,将rectsub-image转换为校正后的rect’sub-image
rect’sub-image=M*rectsub-stand
最后,在步骤405,进行图像子图微调。两个相邻的子图的相邻像素是根据不同的单应矩阵M计算得到的新的像素值。如果直接将rect’sub-image拼接在一起,有可能会产生断层现象。图10的方框示出了断层现象的示意图,图中还有其他的断层现象,尤其对于处于不同子图的横线处较为明显。因此,根据一种实施方式,需要进行子图微调。可以根据相邻的变换后的图像子图的高度进行该中微调。
根据一种实施方式的微调算法如下。
设子图recti sub-stand的右侧边线点集linei经过矩阵Mi变换得到line’,经过矩阵Mi+1变换得到line”。
line’=Mi*linei
line”=Mi+1*linei
这里,我们只考虑纵坐标y。把line’和line”纵向等分k份,每等份称为line的block。
选取line’第i个block,这个block的高度为
height’i=line’[(i+1)*block_span]-line’[i*block_span]
选取line”第i个block,这个block的高度为
height”i=line”[(i+1)*block_span]-line”[i*block_span],其中blockspan为校正之前,每个小网格侧边被分成k份后的长度。
根据图像的对应关系,易知rect’i中line’[i*block_span]至line’[(i+1)*block_span]这一block和rect’i+1的line”[i*block_span]至line”[(i+1)*block_span]这一block图像内容对应。
可以参照左侧block的高度对右侧block图像缩放大小,也可以参考右侧block的高度对左侧block图像缩放大小。并从左向右,或从右向左依次完成对所有子图的微调。
最后,在步骤406,将每个子图的block纵向叠放在一起,并将微调后的子图横向叠放在一起。得到最终结果。
图11示出了依据本发明的一种实施方式的图像定位框检测装置的示意性方框图。
首先,图像获取单元501获取带有定位框的页面的图像。如前所述,所述图像包括完整的定位框且定位框内图像面积占整幅图像的大部分。定位框指待处理信息的外围封闭框,可以表现为直线、一定曲率的曲线、花纹、图案等。定位框外为非信息区域,定位框内为有价值的信息区域,例如试题以及答案。可以以各种方式获得习题页图像。例如可以通过摄像机或手机上的摄像头获得,也可以是从远端通过有线或无线网络获得,或通过键盘、鼠标、屏幕、USB接口等外围设备,有用户输入而获得。
然后图像预处理单元502进行图像预处理。可以进行将图像转为灰度图、去掉图像中的噪声点等各种处理。
然后图像二值化单元503进行图像二值化。如上所述,根据一种实施方式,可以对预处理后的图像采用阈值法或者边缘检测法进行二值化,并进行闭运算,并尽可能的保证二值化图像中定位框纹理的完整。
接着定位框轮廓检测单元504进行定位框轮廓检测。根据一种实施方式,采用从内向外轮廓查找法,确定定位框轮廓。
图12示出了根据本发明的一种实施方式的定位框轮廓检测单元504的示意性方框图。如图12所示,依据本发明的一种实施方式,定位框轮廓检测单元504包括前景区域绘制单元601、二值图连通域检测单元602、前景区域连通域确定单元603、定位框连通域确定单元604、以及定位框顶点检测单元605。
首先前景区域绘制单元601进行纯白色色块(前景区域)绘制。绘制的过程可以参见图3和上文的描述。例如根据一种实施方式,首先绘制辅助背景色块区域,然后绘制比背景色块区域略小的前景色块区域。略小是指这两种色块区域的面积之差小于预定值并且辅助前景色块完全被辅助背景色块包围。
二值图连通域检测单元602检测二值图的连通域,并建立连通域之间的层次关系。具体的方法可以参见上文对方法的描述。
在本文中,对方法的描述可以用来理解对装置的说明,对装置的说明也可以用来理解前文的方法。
前景区域连通域确定单元603根据绘制的辅助前景色块的准确坐标找到辅助前景色块的连通域。
定位框连通域确定单元604确定定位框的连通域。根据一种实施方式,利用连通域的层次关系,通过辅助前景色块的连通域向外找到定位框的连通区域。
定位框顶点检测单元605进行定位框的顶点检测。
图13示出了依据本发明一种实施方式的定位框的顶点检测单元的方框图。如图13所示,依据本发明的一种实施方式,定位框的顶点检测单元包括非顶点滤除单元701、候选顶点获取单元702以及顶点微调单元703。
非顶点滤除单元701进行非顶点滤除。根据一种实施方式,如前所述,可以采用拟合参数epsilon进行非顶点的滤除。
候选顶点获取单元702进行候选顶点的获取:在拟合后的连通域点集C’中,根据每对相邻两点的夹角,判断该点属于哪条边。将同一条边的点集合并,获取每条边上的最长线段,得到线段的端点,作为候选顶点。
顶点微调单元703进行顶点的微调:以相邻两个端点为首末点,在C中选择首末点内的所有点,将其拟合为一条直线。在相邻两条线的交点pcross的epsilon距离内,将距离交点pcross最近的C中的点作为准确的顶点。
图14示出了依据本发明的一种实施方式的定位框扭曲调整单元505的示意性方框图。如图14所示,依据本发明的一种实施方式的定位框扭曲调整单元505包括扭曲程度检测单元801、图像子图获得单元802、标准子图获得单元803、图像子图分别调整单元804、图像子图微调单元805、子图叠合单元806。
首先扭曲程度检测单元801进行图像的扭曲程度检测。进行图像的扭曲程度检测可以参见前文以及结合图8的描述。
图像子图获得单元802进行图像子图划分,根据扭曲程度将图像纵向划分成R个子图。当扭曲程度小于某经验值时,子图数目R设为1,即认为没有扭曲,只需要处理透视形变。当扭曲程度大于该经验值时,将纵向两条边的夹角等分为R份,从而获得R个子图rectsub-image
标准子图获得单元803对标准定位框进行对应的子图划分,获得R个子图,即标准子图。
然后,图像子图分别调整单元804根据标准子图和图像子图,获得单应矩阵,并根据单应矩阵进行各图像子图的调整,从而可将手机拍照的定位框内部的图像变为标准大小。
图像子图微调单元805进行图像子图微调。可以根据相邻的变换后的图像子图的高度进行该中微调。可以根据各图像子图的纵坐标,将该子图分为k个块(block),然后参照左侧block的高度对右侧block图像缩放大小,也可以参考右侧block的高度对左侧block图像缩放大小。并从左向右,或从右向左依次完成对所有子图的微调。
最后,子图叠放单元806将所有的block纵向叠放在一起,并将微调后的子图横向叠放在一起。得到最终结果。
本发明的定位检测装置和方法例如可以用于一种远程阅卷系统,该阅卷系统例如包括通过互联网、移动通信网络等连接的服务器和移动终端,该系统的服务器能够通过移动终端获得试题页图像,所述试题页包括定位框以及所述定位框内的信息区和试题区;然后进行定位框识别,识别所述试题页图像中的定位框的位置;并根据所述定位框的位置,确定所述试题页图像中信息区的位置,并提取试题页信息;然后根据所述试题页信息,确定所述试题页上的答题区,并从所述答题区提取答案的图像。
本发明的方法和装置可以由计算机实现,所述计算机包括鼠标、键盘、麦克风、触摸屏等输入装置,打印机、显示屏、受话器等输入装置,CPU等处理器、存储有软件(计算机程序)的存储装置(如硬盘、内存、磁盘、光盘、DVD等)。在由处理器运行存储装置上的软件时,实现本发明的方法或作为本发明的装置或单元。另一方面,本发明的各单元也可以由现场可编程门阵列、芯片等硬件来完全实现。本发明也涉及一种存储介质,其上存储有计算机程序,当该程序被处理器执行时,使得该处理器能够实现上文所述的各种方法或步骤,或者使处理器用作上文的各装置或单元。
对实施方式的描述仅仅是为了本领域技术人员可以实现本发明,不是对本发明的限制。在背景技术中描述的技术也不一定是本领域已经公开的现有技术,本发明的保护范围由本发明的权利要求限定。

Claims (10)

1.一种定位框检测方法,包括如下的步骤:
图像获取步骤,获取带有定位框的页面的图像;
二值化步骤,将所述图像二值化,获得二值化图像;
辅助前景色块绘制步骤,在所述二值化图像的中心区域绘制辅助前景色块;
二值图连通域检测步骤,检测所述二值化图像的连通域,建立连通域之间的层次关系;
辅助前景色块的连通域确定步骤,根据所绘制的辅助前景色块区域的坐标,确定所述辅助前景色块区域的连通域;
定位框连通域确定步骤,利用连通域的层次关系,通过所述辅助前景色块区域的连通域向外找到定位框的连通区域;
定位框顶点检测步骤,根据所述定位框的连通区域,进行定位框的顶点检测。
2.根据权利要求1所述的方法,其特征在于,所述辅助前景色块绘制步骤包括:
在所述二值化图像的中心区域绘制特定大小的辅助背景色块区域;
在所述辅助背景色块区域上绘制比所述辅助背景色块区域略小并被所述辅助背景色块区域包围的辅助前景色块区域,
其中,所述辅助前景色块区域的大小超过定位框中单个有意义对象的大小。
3.根据权利要求1所述的方法,所述定位框顶点检测步骤包括:
对所述定位框的连通域的集合C进行多边形拟合得到点集C’;
进行顶点的获取:在所述点集C’中,根据每对相邻两点的夹角,判断该点属于哪条边,将同一条边的点集合并,获取每条边上的最长线段,得到线段的端点;
进行顶点的微调:以相邻两个端点为首末点,在C中选择首末点内的所有点,将其拟合为一条直线,在相邻两条线的交点的预定距离内,将距离交点最近的C中的点作为准确的顶点。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括定位框扭曲调整步骤,所述定位框扭曲调整步骤包括:
扭曲程度检测步骤,检测图像的扭曲程度;
图像子图获取步骤,根据扭曲程度将图像横向划分成n个子图,即n个图像子图;
标准子图获得步骤,将标准定位框进行子图划分,获得与所述n个图像子图对应的标准子图;
图像子图调整步骤,根据标准子图和图像子图,获得单应矩阵,并根据单应矩阵进行各图像子图的调整;
横向叠放步骤,将进行过调整的各图像子图横向叠放。
5.根据权利要求4所述的方法,其特征在于,所述定位框扭曲调整步骤还包括图像子图微调步骤,根据相邻图像子图根据相邻的单应矩阵变换得到的不同高度之间的对应关系,对每个子图纵向切分多块并微调各块的高度。
6.一种定位框检测装置,包括:
图像获取单元,获取带有定位框的页面的图像;
二值化单元,将所述图像二值化,获得二值化图像;
辅助前景色块绘制单元,在所述二值化图像的中心区域绘制辅助前景色块;
二值图连通域检测单元,检测所述二值化图像的连通域,建立连通域之间的层次关系;
辅助前景色块连通域确定单元,根据所绘制的辅助前景色块区域的坐标,确定所述辅助前景色块区域的连通域;
定位框连通域确定单元,利用连通域的层次关系,通过所述辅助前景色块区域的连通域向外找到定位框的连通区域;
定位框顶点检测单元,根据所述定位框的连通区域,进行定位框的顶点检测。
7.根据权利要求6所述的装置,其特征在于,所述辅助前景色块绘制单元包括:
辅助背景色块区域绘制单元,在所述二值化图像的中心区域绘制特定大小的辅助背景色块区域;
辅助前景色块区域绘制单元,在所述辅助背景色块区域上绘制比所述辅助背景色块区域略小并被所述辅助背景色块区域包围的辅助前景色块区域,
其中,所述辅助前景色块区域的大小超过定位框中单个有意义对象的大小。
8.根据权利要求6所述的装置,所述定位框顶点检测单元包括:
拟合单元,对所述定位框的连通域进行多边形拟合得到点集C’;
顶点获取单元,在所述点集C’中,根据每对相邻两点的夹角,判断该点属于哪条边,将同一条边的点集合并,获取每条边上的最长线段,得到线段的端点的集合C;
顶点微调单元,以相邻两个端点为首末点,在C中选择首末点内的所有点,将其拟合为一条直线,在相邻两条线的交点的预定距离内,将距离交点最近的C中的点作为准确的顶点。
9.根据权利要求6所述的装置,其特征在于,所述装置还包括定位框扭曲调整单元,所述定位框扭曲调整单元包括:
扭曲程度检测单元,检测图像的扭曲程度;
图像子图获取单元,根据扭曲程度将图像横向划分成n个子图,即n个图像子图;
标准子图获得单元,将标准定位框进行子图划分,获得与所述n个图像子图对应的标准子图;
图像子图调整单元,根据标准子图和图像子图,获得单应矩阵,并根据单应矩阵进行各图像子图的调整;
横向叠放单元,将进行过调整的各图像子图横向叠放,
所述装置还包括图像子图微调单元,所述图像子图微调单元根据相邻图像子图根据相邻的单应矩阵变换得到的不同高度之间的对应关系,对每个子图纵向切分多块并微调各块的高度。
10.一种程序存储介质,所存储的程序在被处理器执行时,能够实现权利要求1-5任一项所述的方法。
CN201810407970.1A 2018-04-28 2018-04-28 图像定位框检测方法和装置 Expired - Fee Related CN108647680B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810407970.1A CN108647680B (zh) 2018-04-28 2018-04-28 图像定位框检测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810407970.1A CN108647680B (zh) 2018-04-28 2018-04-28 图像定位框检测方法和装置

Publications (2)

Publication Number Publication Date
CN108647680A true CN108647680A (zh) 2018-10-12
CN108647680B CN108647680B (zh) 2021-11-12

Family

ID=63748516

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810407970.1A Expired - Fee Related CN108647680B (zh) 2018-04-28 2018-04-28 图像定位框检测方法和装置

Country Status (1)

Country Link
CN (1) CN108647680B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113688838A (zh) * 2021-10-25 2021-11-23 江西软云科技股份有限公司 红色笔迹提取方法、系统、可读存储介质及计算机设备
CN114565750A (zh) * 2022-02-22 2022-05-31 杭州布谷蓝途科技有限公司 一种纸质试题的处理方法和系统

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010012400A1 (en) * 1996-11-18 2001-08-09 Shin-Ywan Wang Page analysis system
CN102572205A (zh) * 2011-12-27 2012-07-11 方正国际软件有限公司 一种图像处理方法、装置及系统
CN103034856A (zh) * 2012-12-18 2013-04-10 深圳深讯和科技有限公司 定位图像中文字区域的方法及装置
CN103679168A (zh) * 2012-08-30 2014-03-26 北京百度网讯科技有限公司 文字区域检测方法及装置
CN103942816A (zh) * 2014-04-29 2014-07-23 中国林业科学研究院木材工业研究所 一种基于图像处理的木材单板节子数量和大小的识别方法
JP2014182617A (ja) * 2013-03-19 2014-09-29 Fujitsu Ltd 画像処理装置、方法及びプログラム
CN104809436A (zh) * 2015-04-23 2015-07-29 天津大学 一种弯曲书面文字识别方法
CN104992176A (zh) * 2015-07-24 2015-10-21 北京航空航天大学 一种面向碑文的汉字提取方法
CN105528600A (zh) * 2015-10-30 2016-04-27 小米科技有限责任公司 区域识别方法及装置
CN105719243A (zh) * 2014-12-04 2016-06-29 富士通株式会社 图像处理装置和方法
CN105913065A (zh) * 2016-04-12 2016-08-31 中国科学院遥感与数字地球研究所 一种图像目标区域提取的方法及系统
CN106295649A (zh) * 2015-05-15 2017-01-04 中云智慧(北京)科技有限公司 一种基于轮廓特征的目标识别方法
CN106355140A (zh) * 2016-08-22 2017-01-25 平安科技(深圳)有限公司 车辆检测的方法及装置
CN106548185A (zh) * 2016-11-25 2017-03-29 三星电子(中国)研发中心 一种前景区域确定方法和装置
CN107564015A (zh) * 2017-08-24 2018-01-09 佛山市国方商标软件有限公司 一种基于多色级图像连通域的分割和标记方法及装置
US20180089814A1 (en) * 2010-08-30 2018-03-29 The Board Of Trustees Of The University Of Illinois System for background subtraction with 3d camera

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010012400A1 (en) * 1996-11-18 2001-08-09 Shin-Ywan Wang Page analysis system
US20180089814A1 (en) * 2010-08-30 2018-03-29 The Board Of Trustees Of The University Of Illinois System for background subtraction with 3d camera
CN102572205A (zh) * 2011-12-27 2012-07-11 方正国际软件有限公司 一种图像处理方法、装置及系统
CN103679168A (zh) * 2012-08-30 2014-03-26 北京百度网讯科技有限公司 文字区域检测方法及装置
CN103034856A (zh) * 2012-12-18 2013-04-10 深圳深讯和科技有限公司 定位图像中文字区域的方法及装置
JP2014182617A (ja) * 2013-03-19 2014-09-29 Fujitsu Ltd 画像処理装置、方法及びプログラム
CN103942816A (zh) * 2014-04-29 2014-07-23 中国林业科学研究院木材工业研究所 一种基于图像处理的木材单板节子数量和大小的识别方法
CN105719243A (zh) * 2014-12-04 2016-06-29 富士通株式会社 图像处理装置和方法
CN104809436A (zh) * 2015-04-23 2015-07-29 天津大学 一种弯曲书面文字识别方法
CN106295649A (zh) * 2015-05-15 2017-01-04 中云智慧(北京)科技有限公司 一种基于轮廓特征的目标识别方法
CN104992176A (zh) * 2015-07-24 2015-10-21 北京航空航天大学 一种面向碑文的汉字提取方法
CN105528600A (zh) * 2015-10-30 2016-04-27 小米科技有限责任公司 区域识别方法及装置
CN105913065A (zh) * 2016-04-12 2016-08-31 中国科学院遥感与数字地球研究所 一种图像目标区域提取的方法及系统
CN106355140A (zh) * 2016-08-22 2017-01-25 平安科技(深圳)有限公司 车辆检测的方法及装置
CN106548185A (zh) * 2016-11-25 2017-03-29 三星电子(中国)研发中心 一种前景区域确定方法和装置
CN107564015A (zh) * 2017-08-24 2018-01-09 佛山市国方商标软件有限公司 一种基于多色级图像连通域的分割和标记方法及装置

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
CHUCAI YI ET AL: "Text String Detection From Natural Scenes by Structure-Based Partition and Grouping", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 *
MANOJ KUMAR ET AL: "Text Detection using Multilayer Separation in Real Scene Images", 《CIT 2010》 *
SHIJIAN LU ET AL: "Perspective rectification of document images using fuzzy set and morphological operations", 《ELECTRICAL AND COMPUTER ENGINEERING DEPARTMENT》 *
刘瑞祯 等 编著: "《OpenCV教程——基础篇》", 30 June 2007, 北京航空航天大学出版社 *
文茂森: "几何图形的检测与分类方法的研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑(月刊)》 *
郭丽,等: "一种基于连通域的版面分割方法", 《计算机工程与应用》 *
黄自力: "场景文字定位方法研究及实现", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑(月刊)》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113688838A (zh) * 2021-10-25 2021-11-23 江西软云科技股份有限公司 红色笔迹提取方法、系统、可读存储介质及计算机设备
CN114565750A (zh) * 2022-02-22 2022-05-31 杭州布谷蓝途科技有限公司 一种纸质试题的处理方法和系统

Also Published As

Publication number Publication date
CN108647680B (zh) 2021-11-12

Similar Documents

Publication Publication Date Title
CN109961399B (zh) 基于图像距离变换的最佳缝合线搜寻方法
KR102495566B1 (ko) 지문 인식의 실시간 검증을 위한 도구인 모빌리티가 부여된 생체인증 장치
US9014459B2 (en) Identification method for valuable file and identification device thereof
US8879847B2 (en) Image processing device, method of controlling image processing device, and program for enabling computer to execute same method
CN103679636B (zh) 基于点、线双重特征的快速图像拼接方法
CN112183038A (zh) 一种表格识别套打方法、计算机设备及计算机可读存储介质
JP2008521122A (ja) 虹彩識別のためのマルチスケール可変領域分解方法及びシステム
CN106940876A (zh) 一种基于surf的快速无人机航拍图像拼接算法
CN103679672B (zh) 基于边缘垂直距离匹配的全景图像拼接方法
CN110097059B (zh) 基于生成对抗网络的文档图像二值化方法、系统、装置
Chatbri et al. Using scale space filtering to make thinning algorithms robust against noise in sketch images
TWI522934B (zh) 智慧型手機之陀螺儀感測器車牌辨識系統及其方法
US20150146943A1 (en) Method of recognizing contactless fingerprint and electronic device for performing the same
CN109711268B (zh) 一种人脸图像筛选方法及设备
CN107945111A (zh) 一种基于surf特征提取结合cs‑lbp描述符的图像拼接方法
CN108491786A (zh) 一种基于分级网络和聚类合并的人脸检测方法
CN113392856B (zh) 图像伪造检测装置和方法
CN104919491A (zh) 图像处理的改进或与图像处理相关的改进
CN111369605A (zh) 一种基于边缘特征的红外与可见光图像的配准方法和系统
CN107622501A (zh) 一种医学图像的边界检测的方法
CN112396050B (zh) 图像的处理方法、设备以及存储介质
CN113609984A (zh) 一种指针式仪表读数识别方法、装置及电子设备
CN111222432A (zh) 人脸活体检测方法、系统、设备及可读存储介质
CN102831578B (zh) 图像处理方法和图像处理设备
CN108647680A (zh) 图像定位框检测方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20211112