CN107038441B - 书写板检测和校正 - Google Patents

书写板检测和校正 Download PDF

Info

Publication number
CN107038441B
CN107038441B CN201611167859.7A CN201611167859A CN107038441B CN 107038441 B CN107038441 B CN 107038441B CN 201611167859 A CN201611167859 A CN 201611167859A CN 107038441 B CN107038441 B CN 107038441B
Authority
CN
China
Prior art keywords
line
image
lines
determining
tablet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611167859.7A
Other languages
English (en)
Other versions
CN107038441A (zh
Inventor
方刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Laboratory USA Inc
Original Assignee
Konica Minolta Laboratory USA Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Laboratory USA Inc filed Critical Konica Minolta Laboratory USA Inc
Publication of CN107038441A publication Critical patent/CN107038441A/zh
Application granted granted Critical
Publication of CN107038441B publication Critical patent/CN107038441B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T5/80—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/32—Digital ink
    • G06V30/36—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation

Abstract

本发明涉及书写板检测和校正。根据本发明的用于图像处理的方法包括：获得图像，所述图像包括书写板和书写板外部的背景；检测图像内的多条线；基于多条线来确定图像内的书写板的多个角；以及基于多个角通过对图像应用变换来校正书写板的透视。

Description

书写板检测和校正
技术领域
本发明涉及图像处理的技术领域，具体地涉及书写板检测和校正。
背景技术
书写板(例如白板、黑板等)经常用于许多不同的设置(例如学院、公司、非营利机构、住宅等)中。可以在书写板上布置文本、图画、图表、图形等，以在讲座、训练、集体讨论会议等期间传达想法。为了以电子方式记住这些想法，可以拍摄书写板的照片，并且进行图像处理(例如光学字符识别(OCR))，以从图像中提取书写板的内容。
当(例如使用具有摄像头的智能电话)拍摄照片时，所得到的图像可能包括书写板外部的背景。此外，所得到的图像也可能捕获到具有透视失真(distorted perspective)的书写板。背景和透视失真二者使图像处理复杂化，并且不太可能成功地提取内容。然而，用户仍然希望通过拍摄书写板来记住书写板上的这些想法。
发明内容
总体上，在一个方面，本发明涉及一种用于图像处理的方法。该方法包括：获得图像，所述图像包括书写板和书写板外部的背景；检测图像内的多条线；基于多条线来确定图像内的书写板的多个角；以及基于多个角通过对图像应用变换来校正书写板的透视。
总体上，在一个方面，本发明涉及一种用于图像处理的系统。该系统包括：用于存储图像的缓存器，所述图像包括书写板和书写板外部的背景；用于检测图像内的多条线的线处理器；用于基于多条线来确定图像内的书写板的多个角的角检测器；以及用于基于多个角通过对图像应用变换来校正书写板的透视的校正引擎。
根据以下描述和所附权利要求，本发明的其他方面将变得明显。
附图说明
图1示出了根据本发明的一个或更多个实施方式的系统。
图2至图4示出了根据本发明的一个或更多个实施方式的流程图。
图5A至图5F示出了根据本发明的一个或更多个实施方式的实现示例。
图6示出了根据本发明的一个或更多个实施方式的计算机系统。
具体实施方式
现在将参照附图详细描述本发明的具体实施方式。为了一致性，由相同的附图标记表示各个附图中相同的元件。
在本发明的实施方式的下述的详细描述中，陈述了许多具体细节以提供对本发明的更透彻的理解。然而，对本领域普通技术人员而言显而易见的是，可以在没有这些具体细节的情况下实施本发明。在其他实例中，没有详细描述公知特征以避免不必要地使描述复杂化。
总体上，本发明的实施方式提供了用于图像处理的方法和系统。获得包括书写板和书写板外部的背景的至少一部分的图像。然后，检测图像内的线(例如边缘)。识别并移除位于图像中的书写板上的线和位于图像的背景中的线(即，被排除在进一步考虑之外)。一些剩余的线用于确定书写板的角并计算用于偏移书写板的透视失真的变换。当通过对图像应用变换来校正书写板的透视失真时，可以执行附加的图像处理(例如OCR)，以提取书写板的内容。通过首先至少部分地校正书写板中的书写板的透视失真，后续的图像处理(例如OCR)将会更有可能成功。
图1示出了根据本发明的一个或更多个实施方式的系统(100)。如图1所示，系统(100)具有多个部件(例如缓存器(104)、线处理器(114)、角检测器(110)和校正引擎(108))。这些部件(104，108，110，114)中的每个部件可以位于同一计算装置(例如个人计算机(PC)、膝上型计算机、平板PC、智能电话、服务器、大型机、线缆箱、信息亭等)上，或者可以位于不同计算装置上，由具有有线和/或无线部段的任何拓扑以及任何大小的网络连接所述不同计算装置。
在本发明的一个或更多个实施方式中，系统(100)包括缓存器(104)。缓存器(104)可以在硬件(即电路系统)、软件或其任意组合中实现。缓存器(104)存储图像(106)。图像(106)包括书写板和背景。图像(106)的背景实际上是图像(106)的没有被书写板占据的任何区域。图像(106)可以捕获具有透视失真的书写板。可以从任何来源获得图像(106)。例如，可以从智能电话(未示出)的数字摄像头获得图像(106)。作为另一示例，可以通过网络(例如因特网)(未示出)获得图像(106)。作为又一示例，可以从硬盘驱动器(未示出)获得图像(106)。图像(106)可以是任何大小和任何分辨率。在本发明的一个或更多个实施方式中，缓存器(104)可以对图像(106)进行下采样。特别地，如果图像的分辨率超过预定阈值(例如图像(106)处于高清晰度)，则缓存器(104)可以对图像(106)进行下采样。在其他部件(例如108，110，114)对图像(106)进行操作的同时，缓存器(104)可以存储图像(106)。
在本发明的一个或更多个实施方式中，系统(100)包括线处理器(114)。线处理器(114)可以在硬件(即电路系统)、软件或其任意组合中实现。线处理器(114)被配置成对图像(106)执行边缘检测。换言之，线处理器(114)被配置成对图像(106)内的线进行检测。例如，线处理器(114)可以利用Canny算法和/或Hough变换来检测图像(106)中的线。线处理器(114)还可以移除(即，被排除在进一步考虑之外)不够长的线(即，不超过长度阈值的线)。线处理器(114)还可以将每条线分类为更接近竖直还是更接近水平。
得益于该详细描述，本领域技术人员将理解的是，一条或更多条检测到的线可以位于图像中的书写板上，一条或更多条检测到的线可以位于图像中的书写板外部的背景中，并且一条或更多条检测到的线可以与图像(106)中的书写板的轮廓(例如边界、周边等)对应。
在本发明的一个或更多个实施方式中，线处理器(114)识别并移除(即，被排除在进一步考虑之外)位于图像(106)中的书写板上的线。得益于该详细描述，本领域技术人员将理解的是，如果线在书写板上，则有可能在线的两侧的像素可以具有相似的强度值。因此，线处理器(114)可以对线的两侧的像素的强度值进行比较，以确定所选择的线在书写板上。该处理可以包括条带(strip)的使用(下面讨论)。
在本发明的一个或更多个实施方式中，线处理器(114)识别并移除(即，被排除在进一步考虑之外)位于图像的背景中的线。特别地，线处理器(114)可以计算所选择的线上的多个采样点，并且生成从参考点(例如图像的中心)到每个采样点的链接。如果链接在到达采样点之前与其他线相交，则可以确定所选择的线位于图像(106)的背景中(下面讨论)。
在一个或更多个实施方式中，系统(100)包括角检测器(110)。角检测器(110)可以在硬件(即电路系统)、软件或其任意组合中实现。角检测器(110)被配置成确定图像(106)中的书写板的角。这可以包括：基于从图像中心的法线取向，将剩余线划分割成四个簇。在每个簇内，可以基于各种因素对线分等级，所述因素包括至图像(106)中心的接近度和长度。可以基于等级来选择四条线(每条来自四个簇中的每个簇)，并且然后计算四条线的交叉点(即，相交点)。假设所计算的交叉点不违反四边形原则(下面讨论)，则将四个交叉点视为图像(106)中的书写板的角。
在本发明的一个或更多个实施方式中，系统(100)包括校正引擎(108)。校正引擎(108)可以在硬件(即电路系统)、软件或其任意组合中实现。校正引擎(108)被配置成基于所计算的相交点和四条线之间的距离来计算变换(下面讨论)。校正引擎(108)还被配置成将变换应用于图像(106)，以偏移(即，至少部分地校正)图像(106)中的书写板的透视失真(下面讨论)。得益于该详细描述，本领域技术人员将理解的是，通过偏移透视失真，应用于图像(106)的任何附加处理(例如OCR)在提取图像(106)中的书写板的内容方面将会更有可能成功。
虽然图1示出了系统(100)具有四个部件(104，108，110，114)，但是在其他实施方式中，系统(100)可以具有更多或更少的部件。例如，系统(100)可以包括具有数字摄像头的智能电话以捕获图像(106)。作为另一示例，系统(100)可以包括附加引擎，以对图像(106)执行附加处理(例如OCR)来提取图像(106)中的书写板的内容。
图2示出了根据本发明的一个或更多个实施方式的流程图。该流程图描绘了用于图像处理的处理。图2中的步骤的一个或更多个可以由上面参照图1所讨论的系统(100)的部件来执行。在本发明的一个或更多个实施方式中，可以省略、重复以及/或者以与图2所示顺序不同的顺序来执行图2所示步骤的一个或更多个。因此，本发明的范围不应被认为限于图2所示步骤的具体布置。
首先，获得图像(步骤205)。可以从数字相机获得图像。可以从服务器下载图像。图像可以包括书写板(例如白板、黑板等)。书写板可以占据图像的中心。图像还可以包括在书写板外部的背景。背景可以出现在书写板的四个侧边的一些侧边或所有侧边。
在步骤210中，可以对图像进行下采样以增强边缘的线性度。得益于该详细描述，本领域技术人员应理解，步骤210可以是可选的。
在步骤215中，在图像中对线进行检测。可以通过应用线检测算法来对线进行检测。例如，可以通过对图像应用Canny算法和/或Hough变换来对图像的线进行检测。还可以应用用于线检测的其他算法。可以移除不超过长度阈值的任何检测到的线(即，短线)(即，被排除在进一步考虑之外)。
得益于该详细描述，本领域技术人员应理解，一条或更多条检测到的线可以位于图像中的书写板上，一条或更多条检测到的线可以位于图像中的书写板外部的背景中，并且一条或更多条检测到的线可以与书写板的边界对应。
在步骤220中，识别并移除位于图像中的书写板上的线(即，被排除在进一步考虑之外)。例如可以在图3和图5C中找到关于步骤220的额外细节。
在步骤225中，识别并移除位于图像的背景上的线(即，被排除在进一步考虑之外)。例如可以在图4和图5D中找到关于步骤225的额外细节。
在步骤230中，基于从图像中心的法线取向，将剩余线划分成四个簇。在每个簇内，可以对线分等级。例如，可以根据至图像中心的接近度和/或长度来对线分等级。仅具有一条线的簇是可能的。
在步骤235中，从四个簇中的每个簇中选择一条线，得到四条线组。选择可以是随机的。换言之，可以从每个簇中随机选择一条线。另外地或可替选地，可以基于簇中的线的等级来从每个簇中选择线。例如，可以从每个簇中选择最高等级的线。作为另一示例，可以从每个簇中选择最低等级的线。
在步骤240中，计算四条线的交叉点(即，相交点)。得益于该详细描述，本领域技术人员应理解，计算四条线的交叉点可以包括延伸四条线的一条或更多条，直到它们与其他线相交为止。同样得益于该详细描述，本领域技术人员应理解，存在四个交叉点，并且可以用坐标表示每个交叉点。
在步骤245中，确定所计算的交叉点是否违反四边形原则。如果所计算的交叉点的一个或更多个位于靠近线段的中心(即，在预定距离内)，则违反四边形原则。另外地或可替选地，如果线中的两个交叉点在线的一侧上，则违反四边形原则。以不同的方式描述，如上所述，为了计算交叉点，线可以沿两个方向延伸(沿方向A延伸，沿方向B延伸)，以与其他线相交。如果线中的两个交叉点处于线的同一延伸(即，都处于沿方向A延伸或者都处于沿方向B延伸)，则违反四边形原则。在确定所计算的交叉点不违反四边形原则的情况下，处理行进至步骤250。交叉点被认为是图像中书写板的四个角。然而，在确定所计算的交叉点确实违反四边形原则的情况下，处理返回到步骤235，其中，用来自同一簇的不同线来替换该线组的至少一条线。
在步骤250中，基于四条线之间的距离和交叉点来计算变换。例如，假设w是四条线组中的一条竖直线的中点与另一条竖直线的中点之间的距离。此外，假设h是四条线组中的一条水平线的中点与另一条水平线的中点之间的距离。变换可以是用于将交叉点的坐标映射到下述坐标的仿射变换：(0，0)、(w，0)、(0，h)和(w，h)。得益于该详细描述，本领域技术人员应理解，w/h用作纵横比。
在步骤255中，通过对图像应用变换来至少部分地校正透视失真。在应用变换之后，对图像执行任何处理(例如OCR)以提取图像中的书写板的内容将更有可能成功(步骤260)。得益于该详细描述，本领域技术人员应理解，步骤260是可选的。
图3示出了根据本发明的一个或更多个实施方式的流程图。该流程图描绘了用于识别位于图像中的书写板上的线的处理。图3中的步骤的一个或更多个可以由上面参照图1所讨论的系统(100)的部件来执行。在本发明的一个或更多个实施方式中，可以省略、重复以及/或者以与图3所示顺序不同的顺序来执行图3所示步骤的一个或更多个。因此，本发明的范围不应被认为限于图3所示步骤的具体布置。此外，图3所示的处理可以对应于上面参照图2所讨论的步骤220。
首先，选择图像中的检测到的线中的一条线(步骤305)。可以从所有检测到的线中随机选择线。另外或可替代地，可以因为线是最长的线、线是最短的线，线最靠近图像的中心、线离图像的中心最远等而对其进行选择。
在步骤310中，针对该线生成多个条带。如果线被分类为竖直，则条带是水平的。如果线被分类为水平，则条带是竖直的。条带从线的一侧跨越到线的另一侧。每个条带包括来自线的每侧的多个像素(例如2、3、10等)。例如，如果线被分类为竖直，则每个条带是水平的，并且可以包括来自线的左侧的3个像素和来自线的右侧的3个像素。作为另一示例，如果线被分类为水平，则每个条带是竖直的，并且可以包括在线的下方的3个像素和在线的上方的3个像素。
在步骤315中，针对每个条带识别线的两侧的像素的强度值。对于给定的条带，可以针对线的每侧对这些强度值进行排序。例如，在水平条带中，线的左侧的像素的强度值可以在它们自己之中进行排序，以及线的右侧的像素的强度值可以在它们自己之中进行排序。
在步骤320中，针对线的两侧来逐条带地计算统计强度值。例如，统计强度值可以与位于条带中的线的一侧的像素中的平均强度值或中值强度值对应。另外或可替代地，统计强度值可以与位于条带中的线的一侧的像素的40％强度值(I40)和60％强度值(I60)对应。
在步骤325中，识别均匀强度条带(UIS)。UIS是其中线的一侧的统计强度值与线的另一侧的统计强度值匹配(即，相等或近似相等)的条带。例如，在水平条带的情况下，如果线的左侧的像素的I40值和I60值分别与线的右侧的像素的I40值和I60值匹配，则条带被认为是UIS。作为另一示例，在竖直条带的情况下，如果条带中线的上方的像素的中值强度值与条带中的线的下方的像素的中值强度值匹配，则条带被认为是UIS。
在步骤330中，确定所识别的UIS的数量(即，所识别的UIS的基数)是否超过阈值。例如，阈值可以是所选择的线的所有条带的1/3。在确定所识别的UIS的数量超过阈值的情况下，该线被认为是位于图像中的书写板上(步骤335)。然而，在UIS的数量没有超过阈值的情况下，线被认为是没有位于图像中的书写板上(步骤340)。
得益于该详细描述，本领域技术人员应理解，可以针对图像中的尚未被移除(即，被排除在进一步考虑之外)的每条检测到的线来重复图3所描绘的处理。换言之，可以多次重复图3所描绘的处理。
图4示出了根据本发明的一个或更多个实施方式的流程图。该流程图描绘了用于识别位于图像中的书写板外部的背景中的线的处理。图4中的步骤的一个或更多个可以由上面参照图1所讨论的系统(100)的部件来执行。在本发明的一个或更多个实施方式中，可以省略、重复以及/或者以与图4所示顺序不同的顺序来执行图4所示步骤的一个或更多个。因此，本发明的范围不应被认为限于图4所示步骤的具体布置。此外，图4所示的处理可以对应于上面参照图2所讨论的步骤225。
首先，选择图像中的检测到的线中的一条线(步骤405)。可以从所有检测到的线中随机选择线。另外或可替代地，可以因为该线是最长的线、是最短的线，最靠近图像的中心、离图像的中心最远等而对其进行选择。
在步骤410中，针对所选择的线计算多个采样点。在一个或更多个实施方式中，采样点的数量基于线的长度。如果所选择的线的长度为L，则在所选择的线上以L/10间隔(或L/2间隔、L/4间隔、L/5间隔、L/8间隔、L/16间隔等)来布置采样点。另外或可替代地，可以在不管所选择的线的长度如何的情况下下使用固定数量的采样点。可以沿着所选择的线以随机距离来间隔开采样点。另外或可替代地，采样点仅被布置在所选择的线的末端。
在步骤415中，生成从参考点到所选择的线上的采样点的链接。链接本身实际上是线段。参考点可以对应于图像的中心。另外或可替代地，参考点可以接近图像的中心(例如位于包括图像中心的小区域中)。
在步骤420中，识别与其他线的链接相交点。链接相交点实际上是在链接到达所选择的链接的采样点之前链接与另一条线的相交点。一些链接可以没有链接相交点。单个链接可以具有多个链接相交点。
在步骤425中，确定链接相交点的总数(即，所有链接的从参考点到所选择的线的链接相交点)是否超过阈值(例如1、5、6、10、11等)。在确定链接相交点的总数超过阈值的情况下，所选择的线被认为位于图像中的书写板外部的背景中(步骤430)。在确定链接相交点的总数未超过阈值的情况下，所选择的线不被认为位于背景中(步骤435)。
得益于该详细描述，本领域技术人员应理解，可以针对图像中的未被移除(即，被排除在进一步考虑之外)的每条检测到的线来重复图4所描绘的处理。换言之，可以多次重复图4所描绘的处理。
图5A至图5F示出了根据本发明的一个或更多个实施方式的实现示例。如图5A所示，存在具有白板(508)的图像(506)。图像(506)中的白板(508)的透视失真。对图像(506)执行OCR或其他类型的图像处理将可能产生差的结果。换言之，由于透视失真，图像处理可能从图像(506)中不能正确地提取白板(508)的内容。
图5B示出了线检测之后的图像(510)。如图5B所示，检测到的线包括：位于白板(508)上的线、对应于白板(508)的轮廓(例如周边、边界)的线以及位于白板(508)外部的背景中的线。
图5C示出了检测到的线中的一条线(514)和生成的多个条带(即，条带A(516A)、条带C(516C)、条带E(516E))。由于线(514)近似竖直，所以所生成的条带是水平的并且从线(514)的左侧伸展(run)到线(514)的右侧。每个条带(516A、516C、516E)包括位于线(514)的左侧的像素(512)和位于线(514)的右侧的像素。考虑条带C(516C)。可以针对线(514)的左侧的条带C(516C)的像素来计算一个或更多个统计强度值(例如I40、I60)。可以针对线(514)的右侧的条带C(516C)的像素来计算一个或更多个统计强度值(例如I40、I60)。如果来自线(514)的两侧的统计强度值匹配，则条带C(516C)被认为是均匀强度条带。如果所有条带(516A、516C、516E等)的至少三分之一是均匀强度条带，则线(514)被认为位于图像中的白板(508)上。
图5D示出了检测到的线(524)和接近图像中心的参考点(520)。还如图5D所示，针对检测到的线(524)来计算多个采样点(522)。生成从参考点(520)到采样点(522)的多个链接(525)。存在位于参考点(520)与检测到的线(524)之间的其他检测到的线(即，另一条线A(526)、另一条线B(528))。因此，一些链接与其他线(526，528)相交。在链接相交点的数量超过阈值(例如5)的情况下，检测到的线(524)被认为位于图像中的白板(508)外部的背景中。
图5E示出了多个簇(即，簇A(530A)、簇B(530B)、簇C(530C)和簇D(530D))。簇(530A，530B，530C，530D)包括针对水平线(530B，530D)的两个簇和针对竖直线(530A，530C)的两个簇。在每个簇(530A，530B，530C，530D)内，可以根据长度、距图像中心的距离等来对线分等级。通过从每个簇(530A，530B，530C，530D)中选择一条线来形成四条线组。
图5F示出了四条线组的交叉点的计算。由于交叉点不违反四边形原则，所以这些交叉点被认为是图像中的白板(508)的角。因此，可以基于交叉点的坐标和四条线之间的距离(w，h)来计算仿射变换。可以将该变换应用于图像，以至少部分地校正书写板的透视失真。在应用变换之后，图像更适于附加图像处理(例如OCR)，以提取白板(508)的内容。
本发明的一个或更多个实施方式可以具有下述优点：至少部分地校正图像中的书写板的透视失真的能力；识别并且移除位于图像中的书写板上的线的能力；识别并移除位于图像中的书写板外部的背景中的线的能力；基于链接相交点来确定线位于背景中的能力；使用统计强度值和均匀强度条带来确定线位于书写板上的能力；等。
不管所使用的平台如何，本发明的实施方式实际上可以在任何类型的计算系统上实现。例如，计算系统可以是一个或更多个移动装置(例如膝上型计算机、智能电话、个人数字助理、平板计算机或其他移动装置)、台式计算机、服务器、服务器机箱中的刀片或任何其他类型的计算装置或者至少包括最小处理电源、存储器以及一个或多个输入装置和输出装置以执行本发明的一个或更多个实施方式的装置。例如，如图6所示，计算系统(600)可以包括一个或更多个计算机处理器(602)、关联的存储器(604)(例如随机存取存储器(RAM)、高速缓存存储器、闪存等)、一个或更多个存储装置606(例如硬盘、光盘驱动器如高密度磁盘(CD)驱动器或数字通用盘(DVD)驱动器、闪存棒等)以及许多其他元件和功能。一个或更多个计算机处理器(602)可以是用于处理指令的集成电路。例如，一个或更多个计算机处理器可以是处理器的一个或更多个内核或微内核。计算系统(600)还可以包括一个或更多个输入装置(610)，如触摸屏、键盘、鼠标、麦克风、触摸板、电子笔或任何其他类型的输入装置。此外，计算系统(600)可以包括一个或更多个输出装置(608)，如屏幕(例如液晶显示器(LCD)、等离子体显示器、触摸屏、阴极射线管(CRT)监测器，投影仪或其他显示装置)、打印机、外部存储器或任何其他输出装置。一个或更多个输出装置可以与一个或更多个输入装置相同或不同。计算系统(600)可以经由网络接口连接(未示出)连接到网络(612)(例如局域网(LAN)、广域网(WAN)如因特网、移动网络或任何其他类型的网络)。一个或更多个输入装置和输出装置可以本地或远程(例如经由网络(612))连接到一个或更多个计算机处理器(602)、存储器(604)和一个或更多个存储装置(606)。存在许多不同类型的计算系统，而且前述的一个或更多个输入装置和输出装置可以采取其他形式。
采用执行本发明的实施方式的计算机可读程序代码形式的软件指令可以被全部或部分地、临时或永久地存储在非暂态计算机可读介质上，非暂态计算机可读介质如CD、DVD、存储装置、软磁盘、磁带、闪存、物理存储器或任何其他计算机可读存储介质。特别地，软件指令可以与以下计算机可读程序代码对应，当由一个或更多个处理器执行所述计算机可读程序代码时，其被配置成执行本发明的实施方式。
此外，前述计算系统(600)的一个或更多个元件可以位于远程位置处，并且通过网络(612)连接到其他元件。此外，本发明的一个或更多个实施方式可以在具有多个节点的分布式系统上实现，其中，本发明的每个部分可以位于分布式系统内的不同节点上。在本发明的一个实施方式中，节点与不同的计算装置对应。可替代地，节点可以与具有相关联的物理存储器的计算机处理器对应。节点可以可替代地对应于计算机处理器或具有共享存储器和/或资源的计算机处理器的微内核。
虽然已关于有限数量的实施方式描述了本发明，但是得益于本公开内容，本领域技术人员应理解，可以设计出不脱离文中所公开的本发明的范围的其他实施方式。因此，本发明的范围应仅由所附权利要求限制。

Claims (20)

1.一种用于图像处理的方法，包括：
获得图像，所述图像包括书写板和所述书写板外部的背景；
检测所述图像内的多条线；
基于所述多条线来确定所述图像内的书写板的多个角；
基于所述多个角通过对所述图像应用变换来校正所述书写板的透视；
选择所述多条线中的一条线；
识别所述线的第一侧的第一多个像素的第一多个强度值；
识别所述线的第二侧的第二多个像素的第二多个强度值；
基于所述第一多个像素值和所述第二多个像素值来确定所述线位于所述书写板上；以及
在确定所述多个角之前，响应于确定所述线位于所述书写板上，从所述多条线中移除所述线。
2.根据权利要求1所述的方法，还包括：
生成多个条带，所述多个条带从所述线的第一侧跨越所述线到所述线的第二侧，
其中，所述多个条带包括包含所述第一多个像素的子组和所述第二多个像素的子组的条带，
计算所述第一多个像素的子组的第一统计强度值；
计算所述第二多个像素的子组的第二统计强度值；
生成所述第一统计强度值和所述第二统计强度值的比较；以及
基于所述比较来确定所述条带是均匀强度条带，
其中，确定所述线位于所述书写板上包括：将为均匀强度条带的所述多个条带的基数与阈值进行比较。
3.根据权利要求2所述的方法，其中，所述第一侧在所述线的上方，其中，所述第二侧在所述线的下方，并且其中，所述阈值是所述多个条带的三分之一。
4.根据权利要求1所述的方法，还包括：
选择所述多条线中的一条线；
计算所述线上的多个采样点；
在所述图像内选择参考点；
生成从所述参考点到所述多个采样点的多个链接；
识别所述多个链接的多个链接相交点；
基于所述多个链接相交点的基数来确定所述线位于所述图像的背景中；以及
在确定所述多个角之前，响应于确定所述线位于所述书写板外部的图像的背景中，从所述多条线中移除所述线。
5.根据权利要求4所述的方法，其中，所述参考点是所述图像的中心。
6.根据权利要求4或5所述的方法，其中，所述线具有长度，其中，所述多个采样点由多个间隔分开，并且其中，所述多个间隔中的每个间隔是选自由以下构成的组中的至少一个：所述线的长度的十分之一、五分之一、四分之一和十六分之一。
7.根据权利要求1至5中任一项所述的方法，其中，确定所述多个角包括：
将所述多条线分成多个簇，其中，所述多个簇的基数为四；
从所述多个簇中选择第一四条线组；以及
计算所述第一四条线组的第一多个交叉点。
8.根据权利要求7所述的方法，其中，确定所述多个角还包括：
从所述多个簇中选择第二四条线组；
计算所述第二四条线组的第二多个交叉点；以及
在选择所述第一四条线组之前，确定所述第二多个交叉点违反四边形原则。
9.根据权利要求8所述的方法，还包括：
基于所述第一四条线组之间的多个距离和所述第一多个交叉点来计算所述变换。
10.根据权利要求1至5和8至9中任一项所述的方法，还包括：
在检测所述多条线之前对所述图像进行下采样，
其中，所述书写板是白板。
11.一种用于图像处理的系统，包括：
缓存器，其存储图像，所述图像包括书写板和所述书写板外部的背景；
线处理器，其检测所述图像内的多条线；
角检测器，其基于所述多条线来确定所述图像内的书写板的多个角；以及
校正引擎，其基于所述多个角通过对所述图像应用变换来校正所述书写板的透视，
其中，所述线处理器还：
选择所述多条线中的一条线；
识别所述线的第一侧的第一多个像素的第一多个强度值；
识别所述线的第二侧的第二多个像素的第二多个强度值；
基于所述第一多个像素值和所述第二多个像素值来确定所述线位于所述书写板上；以及
在确定所述多个角之前，响应于确定所述线位于所述书写板上，从所述多条线中移除所述线。
12.根据权利要求11所述的系统，其中，所述线处理器还：
生成多个条带，所述多个条带从所述线的第一侧跨越所述线到所述线的第二侧，
其中，所述多个条带包括包含所述第一多个像素的子组和所述第二多个像素的子组的条带，
计算所述第一多个像素的子组的第一统计强度值；
计算所述第二多个像素的子组的第二统计强度值；
生成所述第一统计强度值和所述第二统计强度值的比较；以及
基于所述比较来确定所述条带是均匀强度条带，
其中，所述线处理器通过对为均匀强度条带的所述多个条带的基数与阈值进行比较来确定所述线位于所述书写板上。
13.根据权利要求12所述的系统，其中，所述第一侧在所述线的上方，其中，所述第二侧在所述线的下方，并且其中，所述阈值是所述多个条带的三分之一。
14.根据权利要求11所述的系统，其中，所述线处理器还：
选择所述多条线中的一条线；
计算所述线上的多个采样点；
在所述图像内选择参考点；
生成从所述参考点到所述多个采样点的多个链接；
识别所述多个链接的多个链接相交点；
基于所述多个链接相交点的基数来确定所述线位于所述图像的背景中；以及
在确定所述多个角之前，响应于确定所述线位于所述书写板外部的图像的背景中，从所述多条线中移除所述线。
15.根据权利要求14所述的系统，其中，所述参考点是所述图像的中心。
16.根据权利要求14或15所述的系统，其中，所述线具有长度，其中，所述多个采样点由多个间隔分开，并且其中，所述多个间隔中的每个间隔是选自由以下构成的组中的至少一个：所述线的长度的十分之一、五分之一、四分之一和十六分之一。
17.根据权利要求11至15中任一项所述的系统，其中，所述角检测器：
将所述多条线分成多个簇，其中，所述多个簇的基数为四；
从所述多个簇中选择第一四条线组；以及
计算所述第一四条线组的第一多个交叉点。
18.根据权利要求17所述的系统，其中，所述角检测器：
从所述多个簇中选择第二四条线组；
计算所述第二四条线组的第二多个交叉点；以及
在选择所述第一四条线组之前，确定所述第二多个交叉点违反四边形原则。
19.根据权利要求18所述的系统，所述校正引擎：
基于所述第一四条线组之间的多个距离和所述第一多个交叉点来计算所述变换。
20.根据权利要求11至15和18至19中任一项所述的系统，其中，所述缓存器：
在检测所述多条线之前对所述图像进行下采样，
其中，所述书写板是白板。
CN201611167859.7A 2015-12-18 2016-12-16 书写板检测和校正 Active CN107038441B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/975,531 2015-12-18
US14/975,531 US9824267B2 (en) 2015-12-18 2015-12-18 Writing board detection and correction

Publications (2)

Publication Number Publication Date
CN107038441A CN107038441A (zh) 2017-08-11
CN107038441B true CN107038441B (zh) 2020-05-19

Family

ID=57345681

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611167859.7A Active CN107038441B (zh) 2015-12-18 2016-12-16 书写板检测和校正

Country Status (4)

Country Link
US (1) US9824267B2 (zh)
EP (1) EP3182365B1 (zh)
JP (1) JP2017168079A (zh)
CN (1) CN107038441B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10268920B2 (en) * 2017-08-31 2019-04-23 Konica Minolta Laboratory U.S.A., Inc. Detection of near rectangular cells
CN108171282B (zh) * 2017-12-29 2021-08-31 安徽慧视金瞳科技有限公司 一种黑板笔迹自动合成方法
JP2020098420A (ja) * 2018-12-17 2020-06-25 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
US11302035B2 (en) * 2019-09-06 2022-04-12 Intel Corporation Processing images using hybrid infinite impulse response (TTR) and finite impulse response (FIR) convolution block
CN117280379A (zh) * 2020-12-22 2023-12-22 迪托图案有限责任公司 图像投影系统和方法
WO2023122537A1 (en) * 2021-12-20 2023-06-29 Canon U.S.A., Inc. Apparatus and method for enhancing a whiteboard image
WO2023235581A1 (en) * 2022-06-03 2023-12-07 Canon U.S.A., Inc. Apparatus and method for enhancing a whiteboard image

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101656857A (zh) * 2008-08-19 2010-02-24 精工爱普生株式会社 投影型显示装置和显示方法
CN102714692A (zh) * 2009-09-23 2012-10-03 微软公司 基于照相机的扫描
CN102789340A (zh) * 2012-06-27 2012-11-21 深圳市巨龙科教高技术股份有限公司 一种电子白板的白板坐标获取方法、装置及电子白板
CN103473541A (zh) * 2013-08-21 2013-12-25 方正国际软件有限公司 一种证件透视校正方法及系统
CN103870863A (zh) * 2014-03-14 2014-06-18 华中科技大学 制备隐藏二维码图像全息防伪标签的方法及其识别装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7171056B2 (en) * 2003-02-22 2007-01-30 Microsoft Corp. System and method for converting whiteboard content into an electronic document
JP2006107018A (ja) * 2004-10-04 2006-04-20 Konica Minolta Photo Imaging Inc 画像解析方法及び装置、画像処理方法及びシステム、これらの動作プログラム
US8306336B2 (en) 2006-05-17 2012-11-06 Qualcomm Incorporated Line or text-based image processing tools
US8098936B2 (en) * 2007-01-12 2012-01-17 Seiko Epson Corporation Method and apparatus for detecting objects in an image
US8244062B2 (en) * 2007-10-22 2012-08-14 Hewlett-Packard Development Company, L.P. Correction of distortion in captured images
US8873864B2 (en) * 2009-12-16 2014-10-28 Sharp Laboratories Of America, Inc. Methods and systems for automatic content-boundary detection
US8503813B2 (en) * 2010-12-22 2013-08-06 Arcsoft Hangzhou Co., Ltd. Image rectification method
CN103106648B (zh) * 2011-11-11 2016-04-06 株式会社理光 确定图像中投影区域的方法和设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101656857A (zh) * 2008-08-19 2010-02-24 精工爱普生株式会社 投影型显示装置和显示方法
CN102714692A (zh) * 2009-09-23 2012-10-03 微软公司 基于照相机的扫描
CN102789340A (zh) * 2012-06-27 2012-11-21 深圳市巨龙科教高技术股份有限公司 一种电子白板的白板坐标获取方法、装置及电子白板
CN103473541A (zh) * 2013-08-21 2013-12-25 方正国际软件有限公司 一种证件透视校正方法及系统
CN103870863A (zh) * 2014-03-14 2014-06-18 华中科技大学 制备隐藏二维码图像全息防伪标签的方法及其识别装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
DOCUMENT IMAGE SKEW DETECTION:SURVEY AND ANNOTATED BIBLIOGRAPHY;J..J.Hull 等;《Document Analysis Systems II》;19981231;第47页第7段 *

Also Published As

Publication number Publication date
EP3182365A2 (en) 2017-06-21
US9824267B2 (en) 2017-11-21
EP3182365B1 (en) 2019-01-30
CN107038441A (zh) 2017-08-11
JP2017168079A (ja) 2017-09-21
EP3182365A3 (en) 2017-09-20
US20170177931A1 (en) 2017-06-22

Similar Documents

Publication Publication Date Title
CN107038441B (zh) 书写板检测和校正
US9697423B1 (en) Identifying the lines of a table
WO2022148192A1 (zh) 图像处理方法、图像处理装置以及非瞬时性存储介质
CN108446698B (zh) 在图像中检测文本的方法、装置、介质及电子设备
CN109697414B (zh) 一种文本定位方法及装置
US9384398B2 (en) Method and apparatus for roof type classification and reconstruction based on two dimensional aerial images
US9865038B2 (en) Offsetting rotated tables in images
WO2019041842A1 (zh) 一种图像处理方法及装置、存储介质和计算机设备
US20180253852A1 (en) Method and device for locating image edge in natural background
US8913836B1 (en) Method and system for correcting projective distortions using eigenpoints
EP3308351A1 (en) Image interpolation device and method thereof
US10083218B1 (en) Repairing tables
WO2023147717A1 (zh) 文字检测方法、装置、电子设备和存储介质
JP6542230B2 (ja) 投影ひずみを補正するための方法及びシステム
CN110827301B (zh) 用于处理图像的方法和装置
US9727145B2 (en) Detecting device and detecting method
CN108805823B (zh) 商品图像矫正方法、系统、设备及存储介质
US10163004B2 (en) Inferring stroke information from an image
JP7219011B2 (ja) 表に関するタイプセットネススコア
US9785856B2 (en) Repairing holes in images
US9977979B2 (en) Merging non-overlapping broken lines of a table
JP6373664B2 (ja) 電子機器、方法及びプログラム
CN111383183B (zh) 图像边缘增强方法、装置以及计算机存储介质
US9940698B1 (en) Cleaning writing boards based on strokes
US10157311B2 (en) Detecting arrows within images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant