CN110097561B - 一种基于空间约束条件的快速纸张检测及分割方法 - Google Patents

一种基于空间约束条件的快速纸张检测及分割方法 Download PDF

Info

Publication number
CN110097561B
CN110097561B CN201910192868.9A CN201910192868A CN110097561B CN 110097561 B CN110097561 B CN 110097561B CN 201910192868 A CN201910192868 A CN 201910192868A CN 110097561 B CN110097561 B CN 110097561B
Authority
CN
China
Prior art keywords
paper
straight line
boundary
image
line segments
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201910192868.9A
Other languages
English (en)
Other versions
CN110097561A (zh
Inventor
徐琨
柳有权
李昀浩
王兆勇
陈明瑶
杨紫珣
赵启雯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changan University
Original Assignee
Changan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changan University filed Critical Changan University
Priority to CN201910192868.9A priority Critical patent/CN110097561B/zh
Publication of CN110097561A publication Critical patent/CN110097561A/zh
Application granted granted Critical
Publication of CN110097561B publication Critical patent/CN110097561B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于空间约束条件的快速纸张检测及分割方法，包括以下步骤：在图像中建立参考坐标系，并检测图像中的直线，根据长度对检测到的直线进行筛选；对筛选出的直线段进行纸张边界判断，以获得纸张的上、下、左、右四条边界，根据所述的四条边界，获得纸张四个顶点的坐标；利用所述四个顶点的坐标，对纸张进行图像分割，以获得纸张图像。本发明利用空间约束条件实现纸张的快速检测和分割，在不同桌面背景及用户对纸张进行旋转、移动等操作的情况下，依然能够快速、准确地检测到纸张，具有易操作、更友好、实时性高、成本低等优点。

Description

一种基于空间约束条件的快速纸张检测及分割方法
技术领域
本发明涉及计算机视觉及人机交互领域，具体涉及一种基于空间约束条件的快速纸张检测及分割方法。
背景技术
近年来，随着计算机技术的迅猛发展，人机交互方式也发展的越来越多样化。与传统的运用键盘、鼠标等硬件的人机交互方式相比，以用户为中心的人机交互方法因其更加直接自然，更加符合人们的习惯已成为人机交互研究热点和方向。以谷歌眼镜、LeapMotion、Kinect等为代表的新型交互设备，为用户提供新的人机交互体验。同时，笔式交互方式通过日常纸笔使用环境，减小了用户在与计算机交互过程中的认知负载[1]。文献2提出面向“自然”和“满足感”的交互设计思路，通过引入纸带放大镜和自由书写2套交互模型，最大限度还原了纸笔创作的自然度和流畅度[2]。文献3基于开源数据挖掘工具设计并实现了一种手写图文分离方法[3]。文献4针对传统视觉算法难以对缺少纹理信息的空白纸张进行鲁棒跟踪的问题，提出了一种带结构约束的压缩感知纸张跟踪算法，该方法在无纹理特征的纸张大幅度旋转的情况下准确跟踪[4]。在笔式交互方式中如何准确检测并分割出写有文字的纸张图像这一关键问题却鲜有研究。
[1]田丰，牟书，戴国忠，等.Post-WIMP环境下笔式交互范式的研究[J].计算机学报，2004，27(7):977-984.
[2]陈若轻，陈泉，宋笑寒，等.Prelude:手写谱曲系统的交互方法[J].计算机辅助设计与图形学学报，2016，28(8):1358-1364.
[3]胡兴鸿，施大鹏，冯贵焕.一种手写图文分离方法[J].计算机与现代化，2013，220(12):145-148.
[4]柳有权，董飞.针对纸张目标的带结构约束压缩跟踪算法[J].计算机辅助设计与图形学学报，2017，29(6):1037-1043.
[5]Rafael GromponevonGioi,Je′re′mieJakubowicz,Jean-MichelMorel,andetc.LSD:AFast Line Segment Detector with a False Detection Control，IEEETRANSACTIONS ON PATTERN ANALYSIS AND MACHINEINTELLIGENCE,VOL.32,NO.4,APRIL2010:722-732.
[6]牛彦.关于透视变换的研究[J].计算机辅助设计与图形学学报，2001，13(6):549-551.
发明内容
本发明的目的是提供一种能够快速、准确地检测出书写有文字的纸张的方法，为笔式交互方式提供服务。
为了实现上述任务，本发明采用以下技术方案：
一种基于空间约束条件的快速纸张检测及分割方法，包括以下步骤：
在图像中建立参考坐标系，并检测图像中的直线，根据长度对检测到的直线进行筛选，保留长度大于n的直线段；
对筛选出的直线段进行纸张边界判断，以获得纸张的上、下、左、右四条边界，根据所述的四条边界，获得纸张四个顶点的坐标；
利用所述四个顶点的坐标，对纸张进行图像分割，以获得纸张图像。
进一步地，所述的对筛选出的直线段进行纸张边界判断，以获得纸张的上、下、左、右四条边界，包括：
(1)依据筛选出的直线上两个端点的坐标，得到直线段方程；
(2)将图像平面划分为上半区、下半区、左半区和右半区；
(3)对筛选出的直线段两两判断是否为纸张的上、下边界，包括：
对于任意两条直线段l1和l2，如果其斜率k1、k2的绝对值均小于等于1，即为一对近似平行的水平直线段，则，计算l1和l2的截距之差b，然后判断：
如果|b|小于等于设定值m，计算l1和l2的中点坐标，若l1和l2中点的纵坐标均小于n，则l1和l2在上半区，取中点纵坐标较大的一条直线段为纸张上边界；如果l1和l2中点的纵坐标均大于n，则判断l1和l2在下半区，取中点纵坐标较小的一条直线段为纸张下边界；
如果|b|大于m，则l1和l2在上、下两个不同半区，计算l1和l2的中点坐标，取中点纵坐标小于n的为纸张上边界，取中点纵坐标大于n的为纸张下边界；
(4)对筛选出的直线段两两判断是否为纸张的左右边界，包括：
对于任意两条直线段l1和l2，如果其斜率k1、k2的绝对值均大于1，即为一对近似平行的垂直直线段；将直线方程写为x＝ay+t的形式，计算l1和l2的截距之差t，然后判断：
如果|t|小于等于m，计算l1和l2的中点坐标，如果l1和l2中点的横坐标均小于p，则判断l1和l2在左半区，取中点横坐标大的一条直线段为纸张左边界；如果l1和l2中点的横坐标均大于p，则判断l1和l2在右半区，取中点横坐标小的一条直线段为纸张右边界；
如果|t|大于m，则l1和l2在左、右两个不同半区，则取中点横坐标小于p的直线段为纸张左边界，取中点横坐标大于p的直线段为纸张右边界；
(5)综合(3)和(4)得到的结果即为纸张的上、下、左右边界。
进一步地，所述的根据所述的四条边界，获得纸张四个顶点的坐标，包括：
依次选取上边界、下边界对应的直线段，分别与左边界、右边界计算直线交点，即可得到四个顶点的坐标。
进一步地，所述的参考坐标系采用图像坐标系。
进一步地，所述的检测图像中的直线采用的算法为线分割检测算子(LineSegment Detector，LSD)方法。
进一步地，所述的对纸张进行图像分割采用的算法为透视变换方法。
进一步地，所述的n的取值为240，m的取值为200，p的取值为320，单位均为像素。
本发明与现有技术相比具有以下技术特点：
1.本方法利用纸张边界为直线，并且长度大于二分之一倍图像长度这一特点来进行首次筛选，可以快速排除掉纸张内部绘制的短线段的干扰。
2.本方法通过在图像上建立参考坐标系，通过计算直线的斜率以及截距来进行二次筛选，可以准确排除纸张外部的背景线段的干扰，同时可以准确辨别纸张边界的位置。
3.本方法通过纸张的空间约束关系确定纸张的四个顶点，采用透视变换的方法完成纸张的完整检测与分割。
4.采用最易获得的A4纸张作为交互介质，在不同桌面背景及用户对纸张进行旋转、移动等操作的情况下，依然能够快速、准确地检测到A4纸张，如图7所示。本方法具有易操作、更友好、实时性高、成本低等优点。
附图说明
图1为本发明方法使用的参考坐标系；
图2为使用LSD方法检测图像中直线的结果图；
图3为长度筛选结果图；
图4为纸张边界检测结果图；
图5为纸张四顶点检测结果图；
图6为基于纸张顶点透视变换的纸张分割结果图；
图7的(a)至(i)为各种状态下的纸张边界及顶点检测结果图；
图8为纸张边界确定算法流程图。
具体实施方式
本发明公开了一种基于空间约束条件的快速纸张检测及分割方法，如图1至图8所示，具体包括以下步骤：
步骤1，在图像中建立参考坐标系
本实施例中采用图像坐标系作为本发明方法中的参考坐标系，如图1所示。
步骤2，检测图像中的直线
本实施例中，采用线分割检测算子(Line Segment Detector，LSD)[5]方法检测图像中的直线，如图2所示。
步骤3，根据长度对检测到的直线进行筛选，保留长度大于n的直线段
该步骤是通过长度对长度过小的直线段进行筛除，以减小算法的运算量。根据需要检测的纸张的尺寸、类型不同，n的取值可以根据需要进行设置，n值过小则会保留较多的直线段，而n值过大则有可能将纸张边界对应的直线段误删，一般地，n的取值应小于图像中纸张较短的边界的长度，本实施例中，经过大量测试，对于A4纸张，兼顾算法效率和识别准确率，n的取值为240像素。
步骤4，对筛选出的直线段进行纸张边界判断，以获得纸张的上、下、左、右四条边界，如图4所示，具体步骤如下：
(1)依据步骤3筛选出的直线上两个端点的坐标，得到直线段方程；
设直线的两个端点分别为(x0,y0)和(x1,y1)，则直线段方程为：
y＝kx+b
其中，斜率
Figure BDA0001994888260000051
截距b＝y0-k×x0＝y1-k×x1。
(2)将图像平面划分为上半区、下半区、左半区和右半区；
这里所采用的划分方法是，例如“十”字形划分，横线上下方分别为上半区、下半区，而竖线左右分别为左半区、右半区。
(3)对步骤3筛选出的直线段两两判断是否为纸张的上、下边界，包括：
对于任意两条直线段l1和l2，如果其斜率k1、k2的绝对值均小于等于1，即为一对近似平行的水平直线段，则，计算l1和l2的截距之差b，然后判断：
如果|b|小于等于设定值m，计算l1和l2的中点坐标，若l1和l2中点的纵坐标均小于n，则l1和l2在上半区，取中点纵坐标较大的一条直线段为纸张上边界；如果l1和l2中点的纵坐标均大于n，则判断l1和l2在下半区，取中点纵坐标较小的一条直线段为纸张下边界；
如果|b|大于m，则l1和l2在上、下两个不同半区，计算l1和l2的中点坐标，取中点纵坐标小于n的为纸张上边界，取中点纵坐标大于n的为纸张下边界；
(4)对步骤3筛选出的直线段两两判断是否为纸张的左右边界，包括：
对于任意两条直线段l1和l2，如果其斜率k1、k2的绝对值均大于1，即为一对近似平行的垂直直线段；将直线方程写为x＝ay+t的形式，计算l1和l2的截距之差t，然后判断：
如果|t|小于等于m，计算l1和l2的中点坐标，如果l1和l2中点的横坐标均小于p，则判断l1和l2在左半区，取中点横坐标大的一条直线段为纸张左边界；如果l1和l2中点的横坐标均大于p，则判断l1和l2在右半区，取中点横坐标小的一条直线段为纸张右边界；
如果|t|大于m，则l1和l2在左、右两个不同半区，则取中点横坐标小于p的直线段为纸张左边界，取中点横坐标大于p的直线段为纸张右边界；
(5)综合(3)和(4)的得到的结果即为纸张的上、下、左右边界。
如无符合(3)和(4)条件的直线段，则认为未检测到纸张。
本实施例中，m取值为200像素，p的取值为320像素，可根据需要进行调整。
步骤5，根据所述的四条边界，获得纸张四个顶点的坐标，具体为：
依次选取上边界、下边界对应的直线段，分别与左边界、右边界计算直线交点，即可得到四个顶点的坐标，如图5所示，例如：
设两条边界直线段方程分别为y＝k1x+b1和y＝k1x+b1，则两条直线段的交点坐标为
Figure BDA0001994888260000061
步骤6，利用所述四个顶点的坐标，对纸张进行图像分割，以获得纸张图像。
如图6所示，本实施例中采用透视变换方法[6]进行纸张图像分割，获得准确的纸张图像。
图7的(a)至(i)展示出了本发明算法对于各种状态下纸张的边界和顶点检测结果，从试验结果可以看到，本方法在纸张处于不同位置和角度的情况下均有准确的检测效果。

Claims (6)

1.一种基于空间约束条件的快速纸张检测及分割方法，其特征在于，包括以下步骤：
在图像中建立参考坐标系，并检测图像中的直线，根据长度对检测到的直线进行筛选，保留长度大于n的直线段；
对筛选出的直线段进行纸张边界判断，以获得纸张的上、下、左、右四条边界，根据所述的四条边界，获得纸张四个顶点的坐标；
利用所述四个顶点的坐标，对纸张进行图像分割，以获得纸张图像；
所述的对筛选出的直线段进行纸张边界判断，以获得纸张的上、下、左、右四条边界，包括：
(1)依据筛选出的直线上两个端点的坐标，得到直线段方程；
(2)将图像平面划分为上半区、下半区、左半区和右半区；
(3)对筛选出的直线段两两判断是否为纸张的上、下边界，包括：
对于任意两条直线段l1和l2，如果其斜率k1、k2的绝对值均小于等于1，即为一对近似平行的水平直线段，则，计算l1和l2的截距之差b，然后判断：
如果|b|小于等于设定值m，计算l1和l2的中点坐标，若l1和l2中点的纵坐标均小于n，则l1和l2在上半区，取中点纵坐标较大的一条直线段为纸张上边界；如果l1和l2中点的纵坐标均大于n，则判断l1和l2在下半区，取中点纵坐标较小的一条直线段为纸张下边界；
如果|b|大于m，则l1和l2在上、下两个不同半区，计算l1和l2的中点坐标，取中点纵坐标小于n的为纸张上边界，取中点纵坐标大于n的为纸张下边界；
(4)对筛选出的直线段两两判断是否为纸张的左右边界，包括：
对于任意两条直线段l1和l2，如果其斜率k1、k2的绝对值均大于1，即为一对近似平行的垂直直线段；计算l1和l2的截距之差t，然后判断：
如果|t|小于等于m，计算l1和l2的中点坐标，如果l1和l2中点的横坐标均小于p，则判断l1和l2在左半区，取中点横坐标大的一条直线段为纸张左边界；如果l1和l2中点的横坐标均大于p，则判断l1和l2在右半区，取中点横坐标小的一条直线段为纸张右边界；
如果|t|大于m，则l1和l2在左、右两个不同半区，计算l1和l2的中点坐标，则取中点横坐标小于p的直线段为纸张左边界，取中点横坐标大于p的直线段为纸张右边界；
(5)综合(3)和(4)得到的结果即为纸张的上、下、左右边界。
2.如权利要求1所述的基于空间约束条件的快速纸张检测及分割方法，其特征在于所述的根据所述的四条边界，获得纸张四个顶点的坐标，包括：
依次选取上边界、下边界对应的直线段，分别与左边界、右边界计算直线交点，即可得到四个顶点的坐标。
3.如权利要求1所述的基于空间约束条件的快速纸张检测及分割方法，其特征在于所述的参考坐标系采用图像坐标系。
4.如权利要求1所述的基于空间约束条件的快速纸张检测及分割方法，其特征在于所述的检测图像中的直线采用的算法为线分割检测算子(Line Segment Detector，LSD)方法。
5.如权利要求1所述的基于空间约束条件的快速纸张检测及分割方法，其特征在于所述的对纸张进行图像分割采用的算法为透视变换方法。
6.如权利要求1所述的基于空间约束条件的快速纸张检测及分割方法，其特征在于所述的n的取值为240，m的取值为200，p的取值为320，单位均为像素。
CN201910192868.9A 2019-03-14 2019-03-14 一种基于空间约束条件的快速纸张检测及分割方法 Expired - Fee Related CN110097561B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910192868.9A CN110097561B (zh) 2019-03-14 2019-03-14 一种基于空间约束条件的快速纸张检测及分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910192868.9A CN110097561B (zh) 2019-03-14 2019-03-14 一种基于空间约束条件的快速纸张检测及分割方法

Publications (2)

Publication Number Publication Date
CN110097561A CN110097561A (zh) 2019-08-06
CN110097561B true CN110097561B (zh) 2022-07-15

Family

ID=67443926

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910192868.9A Expired - Fee Related CN110097561B (zh) 2019-03-14 2019-03-14 一种基于空间约束条件的快速纸张检测及分割方法

Country Status (1)

Country Link
CN (1) CN110097561B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111309271B (zh) * 2020-01-14 2022-05-31 浙江大学滨海产业技术研究院 一种基于机器视觉的双色打印机检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106951855A (zh) * 2017-03-16 2017-07-14 深圳市飘飘宝贝有限公司 一种图片中文档定位和拆切方法
CN107038710A (zh) * 2017-02-15 2017-08-11 长安大学 一种以纸张为目标的视觉跟踪算法
CN108022243A (zh) * 2017-11-23 2018-05-11 浙江清华长三角研究院 一种基于深度学习的图像中纸张检测方法
CN108280839A (zh) * 2018-02-27 2018-07-13 北京尚睿通教育科技股份有限公司 一种作业图像定位与分割方法及其装置
CN108446698A (zh) * 2018-03-15 2018-08-24 腾讯大地通途（北京）科技有限公司 在图像中检测文本的方法、装置、介质及电子设备
CN108564557A (zh) * 2018-05-31 2018-09-21 京东方科技集团股份有限公司 图像校正方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016085069A (ja) * 2014-10-23 2016-05-19 理想科学工業株式会社 用紙位置検出装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107038710A (zh) * 2017-02-15 2017-08-11 长安大学 一种以纸张为目标的视觉跟踪算法
CN106951855A (zh) * 2017-03-16 2017-07-14 深圳市飘飘宝贝有限公司 一种图片中文档定位和拆切方法
CN108022243A (zh) * 2017-11-23 2018-05-11 浙江清华长三角研究院 一种基于深度学习的图像中纸张检测方法
CN108280839A (zh) * 2018-02-27 2018-07-13 北京尚睿通教育科技股份有限公司 一种作业图像定位与分割方法及其装置
CN108446698A (zh) * 2018-03-15 2018-08-24 腾讯大地通途（北京）科技有限公司 在图像中检测文本的方法、装置、介质及电子设备
CN108564557A (zh) * 2018-05-31 2018-09-21 京东方科技集团股份有限公司 图像校正方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
针对纸张目标的带结构约束压缩跟踪算法;柳有权 等;《计算机辅助设计与图形学学报》;20170630;第29卷(第6期);第1037-1043页 *

Also Published As

Publication number Publication date
CN110097561A (zh) 2019-08-06

Similar Documents

Publication Publication Date Title
WO2022148192A1 (zh) 图像处理方法、图像处理装置以及非瞬时性存储介质
CN108227912B (zh) 设备控制方法和装置、电子设备、计算机存储介质
CN107710111B (zh) 确定用于接近敏感相互作用的俯仰角
CN110413190B (zh) 为触摸屏交互确定俯仰和偏航
US8830237B2 (en) Apparatus and method for editing three dimensional objects
JPH061482B2 (ja) 図形入力方式
Xiong et al. A shortstraw-based algorithm for corner finding in sketch-based interfaces
JP2014508992A (ja) オリジナル手書き筆跡の筆鋒実現方法及び実現装置
JP5717691B2 (ja) 手書き文字検索装置、方法及びプログラム
CN112363629B (zh) 一种新的非接触式人机交互方法及系统
CN106155540B (zh) 电子毛笔笔形处理方法和装置
US11837001B2 (en) Stroke attribute matrices
CN110097561B (zh) 一种基于空间约束条件的快速纸张检测及分割方法
Ousmer et al. Recognizing 3D trajectories as 2D multi-stroke gestures
Phan et al. Triangulation based skeletonization and trajectory recovery for handwritten character patterns
CN104408726A (zh) 一种基于三角形的图像轮廓匹配算法
Tian et al. An exploration of pen tail gestures for interactions
CN101430756B (zh) 一种和书写文字内容无关的汉字笔迹可视化鉴定方法
CN113590002A (zh) 笔迹形成方法、笔迹形成装置及电子设备
Milevskiy et al. A fast algorithm for korean text extraction and segmentation from subway signboard images utilizing smartphone sensors
Wu et al. Industrial equipment detection algorithm under complex working conditions based on ROMS R-CNN
JP2005108032A (ja) 筆跡処理装置
Zhang et al. A Non-parametric RDP Algorithm Based on Leap Motion
Grzejszczak et al. Tracking of dynamic gesture fingertips position in video sequence
JP6030172B2 (ja) 手書き文字検索装置、方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220715

CF01 Termination of patent right due to non-payment of annual fee