CN105027145B - 可标记表面的自动分类和颜色增强 - Google Patents

可标记表面的自动分类和颜色增强 Download PDF

Info

Publication number
CN105027145B
CN105027145B CN201380072930.1A CN201380072930A CN105027145B CN 105027145 B CN105027145 B CN 105027145B CN 201380072930 A CN201380072930 A CN 201380072930A CN 105027145 B CN105027145 B CN 105027145B
Authority
CN
China
Prior art keywords
image
label
quadrilateral objects
color
quadrilateral
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380072930.1A
Other languages
English (en)
Other versions
CN105027145A (zh
Inventor
M.伍德利加
M.伍科萨夫杰维奇
D.尼杰姆塞维奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to US13/713,827 priority Critical patent/US8805068B2/en
Priority to US13/713827 priority
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Priority to PCT/US2013/075162 priority patent/WO2014093912A1/en
Publication of CN105027145A publication Critical patent/CN105027145A/zh
Application granted granted Critical
Publication of CN105027145B publication Critical patent/CN105027145B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/255Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/28Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/142Image acquisition using hand-held instruments; Constructional details of the instruments
    • G06V30/1423Image acquisition using hand-held instruments; Constructional details of the instruments the instrument generating sequences of position coordinates corresponding to handwriting

Abstract

架构自动计算在给定图像中捕获的四边形对象是否是或不是可标记板(例如白板、绿色板、粉笔板等等)。所述可标记板具有一个表面,可以使用粉笔、墨水、干式墨水或者用于给定表面的任何其他适当的标记仪器或工具在其上施加标记。所成像的四边形对象可以被定义成具有背景图像和前景图像。背景图像代表没有施加表面标记的可标记板,前景图像包括施加到板表面的所有可辨别标记,但是不包括背景图像。由机器学习分类器接收并且处理一个性能友好特征的集合,以便计算给定的四边形对象是否是可标记板。随后,如果给定的图像被确定为是可标记板,则实施图像增强。

Description

可标记表面的自动分类和颜色增强
背景技术
[0001]图像捕获能力大量存在于许多当前的用户设备中,例如,比如智能电话和平板设 备。因此,用户可以捕获几乎任何事物的图像。虽然这一基本的能力对于大多数用户是有用 的,但是随之而来的一项挑战是在最大程度上利用设备硬件能力,从而按照所期望的方式 改进图像捕获和检测。取代通常使用的手写信息,简单地拍摄所期望的内容的照片变得有 用并且^加高效,比如拍摄名片、其他人写在纸上的笔记、板上的绘画等等的照片。但是随 后通常采用某种辨识技术来将所捕获的信息处理成更加可用的形式。为了改进此类图像捕 获设备的有用性,特别在对所捕获的对象进行区分方面,开发努力不断进展。
发明内容
[0002] 下面给出了简化的概要以便提供关于这里所描述的一些新颖实施例的基本理解。 本概要不是详尽总览,并且不意图标识出关键的/至关重要的元素或者界定其范围。它的唯 一目的是以简化形式给出一些概念,以作为将在后面给出的更加详细的描述的前导。
[0003] 所公开的架构自动计算在给定图像中捕获的四边形对象是否是或不是可标记板 (例如白板、绿色板、粉笔板,用户可以在其上施加比如线条、文字等标记),所述可标记板具 有表面,可以使用粉笔、墨水、干式墨水或者用于所述给定表面的任何其他适当的标记仪器 或工具在所述表面上施加标记。举例来说,白色粉笔被用来在黑色和绿色粉笔板上施加可 擦除标记,干式墨水标记笔被用来在白板(其通常也被称作标记笔板)上施加可擦除标记。
[0004] 所成像的四边形对象可以被定义成具有背景图像和前景图像。背景图像代表没有 施加表面标记的可标记板(例如背景图像是空白板,但是可以是在所述表面上均匀的任何 颜色,比如比如白色、绿色、黑色等等)。前景图像包括施加到板表面上的所有可辨别标记, 但是不包括背景图像。
[0005] 由机器学习分类器接收并且处理一个性能友好特征的集合,以便计算给定的四边 形对象是否是可标记板。随后,如果给定的图像被确定为是可标记板,则实施图像增强,使 得将背景图像处理成在没有标记的地方是均匀的,而不管板表面上的照明/阴影变化如何。 此外,图像增强在前景(标记)上实施饱和度提升,使得绘制在可标记板上的对象看起来鲜 明并且清晰。
[0006] 为了实现前述和有关目的,在这里将结合后面的描述和附图来描述某些说明性方 面。这些方面表明可以实践这里所公开的原理的各种方式,并且所有方面及其等效方案都 意图处于所要求保护的主题内容的范围内。在结合图考虑后面的详细描述时,通过后面的 详细描述,其他优点和新颖特征将变得显而易见。
附图说明
[0007] 图1示出了根据所公开的架构的一种用于可标记板的自动分类的系统。
[0008] 图2示出了用于可标记板的自动分类和图像增强的一种替换的系统。
[0009] 图3示出了具有可标记表面并且被捕获为原始图像的物理可标记板的一个示例。
[0010]图4示出了贴片图像的一个示例。
[0011]图5疋出了从贴片处理和估计导出的背景图像。
[0012]图6示出了墨水图像,其中白色像素表示前景,黑色像素表示背景。
[0013]图7示出了图3中拍照的白板的最终图像。
[00M]图8示出了一种系统,其中可以获得特征集合并且将其输入到机器学习分类器中 以便区分白板与类似的四边形对象。
[0015]图9示出了根据所公开的架构的一种方法。
[0016]图10示出了根据所公开的架构的一种替换的方法。
[0017]图11示出了根据所公开的架构的执行自动可标记板分类和颜色增强的计算系统 的方框图。
具体实施方式
[0018] 所公开的架构自动计算四边形对象的给定图像是否是或不是可标记板(例如白 板)。由机器学习分类器接收并且处理一个特征集合,以便帮助在一种具体实现方式中计算 给定的四边形对象是否是白板。实施图像增强,使得背景在没有施加标记的地方是均匀的, 而不管可标记板(表面)上的照明/阴影变化如何。此外,图像增强在前景(所施加的标记)上 实施饱和度提升,使得绘制在板上的标记看起来鲜明并且清晰。
[0019] 导出并且处理所检测到的对象的许多数值型特征,从而在可标记板(例如白板)与 用户可能希望拍照的类似的四边形对象(比如海报、告示牌、名片等等)之间进行区分。特征 包括而不限于光轴取向、从摄影机到对象的估计距离、真实对象的估计尺寸、经过矫正的图 像上的对象的宽高比、掩蔽图像上的几个最大8连接组件的总尺寸、贴片图像的数值通道和 饱和度通道的标准偏差、贴片图像的饱和度通道的均值、施加高通滤波之后的贴片图像的 数值和饱和度通道的均值、墨水图像上的估计笔画宽度、以及由近似中值尺寸的间隔(笔 画)覆盖的对象的面积。
[0020] 现在将参照图,其中相同的附图标记始终被用来指代相同的元件。在后面的描述 中,出于解释的目的,阐述了许多具体细节以便提供对其的透彻理解。但是可能明显的是, 可以在没有这些具体细节的情况下实践所述新颖的实施例。在其他情况下,通过方框图形 式展示出了众所周知的结构和设备以便促进对其的描述。意图在于覆盖落在所要求保护的 主题内容的精神和范围内的所有修改、等效方案和替换方案。
[0021] 图1示出了根据所公开的架构的用于可标记板的自动分类的系统100。系统100可 以包括图像处理系统102,其提供具有标记表面的四边形对象106的图像104,并且检测出图 像104是四边形对象。特征系统108获得与四边形对象106的图像捕获有关的特征的集合110 以用于检测标记表面的背景图像和前景图像。分类组件112基于特征110实施四边形对象的 分类(使用图像),以便确定所述四边形对象是否是可标记板。
[0022] 图像处理系统102、特征系统108和分类组件112可以都是操作来捕获图像(视频) 的设备的一部分,所述设备比如摄影机、电话摄影机、便携式计算机摄影机、平板计算机等 等。用户将摄影机指向对象1〇6并且拍摄照片。系统1〇〇随后促进将对象分类为可标记板,比 如白板、粉笔板等等。图像处理系统1〇2分析对象106,并且确定对象是四边形。因此,所检测 到的四边形对象是具有可标记表面并且从而是白板的候选对象。
[0023] 图2示出了用于可标记板的自动分类和图像增强的替换系统2〇〇。例如除了用于贴 片处理、估计、图像增强、区别的其他组件之外,系统200包括系统100的框架。对于该系统 200的描述是按照作为通常被知晓并且使用的白板的可标记板(其具有可标记表面)进行 的,并且在所述白板上施加干式墨水以留下具有几种不同颜色(例如红色、绿色、棕色、蓝色 等等)的标记,比如文字和绘画。
[0024] 在这种白板情境中,所公开的架构(系统100、系统200)自动计算四边形对象以及 先前被确定为四边形对象的给定图像是否是或不是白板。通常来说,由分类组件112使用机 器学习分类器202接收并且处理性能友好特征的集合110,以便(通过图像104)计算给定的 四边形对象106是否是白板。
[0025] 随后,如果给定的图像104是白板,则由图像增强组件204实施图像增强,使得背景 在没有标记笔墨水的地方变得均匀(例如近似白板的底色),而不管白板上的照明/阴影变 化如何。此外,图像增强组件204在前景(其包括标记笔墨水)上实施饱和度提升,使得绘制 在白板上的标记看起来鲜明并且清晰。
[0026] 应当理解的是,即使在板表面上没有任何标记(墨水),由于板表面的长度上的照 明变化(例如一侧可能比另一侧更靠近窗户,从而比离窗口更远的一端更加明亮)以及由其 他对象(例如窗帘、悬挂对象等等)所投下的阴影,所述白板也很可能不具有均匀的背景颜 色。
[0027]空的(无标记的)物理白板的图像被定义为白板的背景图像。在白板表面上写下一 些文字或草图并且重新捕获白板图像之后,假设在未被墨水触及的地方(板表面的区域)存 在相同的(背景)颜色(如果环境条件没有改变的话)。
[0028]将从以下情况开始描述:整个输入图像被矫正,并且只包括感兴趣的四边形对象 而不包括其他对象(例如挂在板旁边的墙壁上的图片等等)。对于对象检测和透视矫正可以 采用现有技术。
[0029] 可标记表面分类(例如白板/非白板)和图像增强阶段共享共同的步骤。所述处理 包括使用估计组件206从其上带有墨水的白板的图像估计背景图像。
[0030]图3展示出了具有可标记表面302并且被捕获为(比如白板之类的可标记板的)原 始图像304的物理可标记板300的一个示例。物理可标记板300展示出使用粉笔、干式墨水或 者用于给定板300的其他适当的施加器所施加的标记306。在该示例中,其中板300是白板, 物理板300的表面颜色近似白色。但是由于板300上的阴影和其他照明变化,所述可标记表 面在真实世界中可能被感知为灰白色(近似白色)。设备212的成像系统(例如图像处理系统 1〇2)随后可以捕获并且处理作为原始图像304中的灰白色背景颜色308的照明变化,其在被 接收到图像处理系统的成像器中的许多可能的阴影上经过平均。
[0031]关于估计,估计组件206可以包括贴片处理组件208,其将白板(原始)图像细分成 贴片(贴片图像),所述贴片足够小(经过最优化的尺寸)从而贴片上的背景颜色可以被视为 表现出某种程度的颜色均匀性(例如半均匀),但是所述贴片足够大,使得可以假设每一个 贴片内的大部分像素不被标记材料(例如干式墨水)触及。图4展示出了贴片图像400的一个 示例。贴片图像400示出了由于所捕获的照明变化而具有不同的颜色或阴影并且通常可能 在常用的环境中出现的各个单独的贴片402。
[0032]可以根据经验来估计贴片尺寸。举例来说,所检测到的四边形对象图像(其也被称 作原始图像)可以被细分成nxffl个相同尺寸的贴片。因此,贴片高度是图像高度的分之一, 并且贴片宽度是图像宽度的分之一。创建尺寸为nxffl的临时图像(贴片图像),使得该图像 中的每一个像素对应于来自原始图像的一个贴片。该像素的颜色可以被计算成来自对应贴 片的所有像素的辉度中值。贴片图像400的尺寸远小于原始图像,这是因为贴片尺寸远大于 1 x 1像素。通过将贴片图像放大到原始图像的尺寸并且使用空间内插,可以获得关于白板的 背景图像(颜色)的良好估计。图5示出了从贴片处理和估计导出的背景图像500。
[0033]出于用户可见性目的,施加到标记表面的墨水的辉度预期显著不同于其周围的背 景颜色。因此,区分组件210可以采用比如二进制阈值处理技术(其用于根据例如均值或中 值之类的阈值进行图像分割)之类的技术来分离(区分)前景的墨水标记与背景(颜色)。来 自原始图像的其颜色显著不同于原始图像中的像素数值的所有像素可以被假定为是前景 像素。图6展示出了墨水图像600,其中白色像素表示前景,黑色像素表示背景。在这里,施加 到板表面的标记是白色,背景是黑色。为了确定在图像中检测到的四边形对象是否是或不 是白板,可以将该对象的贴片图像转换到HSV (色调饱和度数值)格式。
[0034]获得并且计算所检测到的对象的数值型特征,使得特征数值帮助在白板与用户可 能希望拍照的类似的四边形对象(比如海报、告示牌、名片等等)之间作出区别。图8示出了 系统800,其中可以获得特征集合110 (数值型的)并且将其输入到机器学习分类器202,以便 区分白板与类似的四边形对象。
[0035]特征802是光轴取向,其与用户何时拍摄白板的照片有关,光轴通常是水平的;而 对于用户前方的桌子上的小对象(例如名片),光轴的方向则是向下,等等。可以通过读取采 集设备的取向传感器来计算光轴,比如加速度计、陀螺仪、倾斜仪等等。
[0036]特征804是与对象的距离,其可以基于从摄影机的自动对焦系统获得的参数来估 计。所估计的对象距离帮助区分近对象(例如距离摄影机小于三米)与比如白板之类的远对 象(例如距离摄影机三米或更远)。
[0037]特征806是物理(真实)对象的估计尺寸,其可以在知晓图像中的对象的估计距离 和尺寸以及摄影机参数的情况下获得。
[0038]特征808是经过矫正后的图像上的对象的宽高比。特征810是掩蔽图像上的几个最 大8连接的组件的总尺寸。如果对象代表白板,则墨水图像600上的连接的组件的尺寸可能 较小,而对于比如海报之类的对象和类似的对象,连接的组件的尺寸则显著地更大。
[0039] 特征812是贴片图像的数值通道和饱和度通道的标准偏差。如果对象是具有可能 较大的不同颜色的区域的海报,则所述偏差将较大;而对于白板,所述偏差则将较小。
[0040] 特征814是贴片图像的饱和度通道的均值。由于白板主要是白色的,因此颜色饱和 度将是低的,并且对于有色对象,颜色饱和度将是高的。
[0041] 特征816是在贴片图像的数值和饱和度通道上施加高通滤波器之后的所述通道的 均值。在白板上预期不会有突然的颜色改变;因此,数值在经过高通滤波之后应当是低的。 相反,多色对象的数值在经过高通滤波之后则将更高。
[0042]特征818是墨水图像上的估计笔画宽度(在可标记板是白板的情况下)。沿着墨水 图像的每一条水平线,可以检测前景颜色和背景颜色的间隔。对于每一个前景间隔,计算从 一个前景标记到下一个前景标记的长度。最后,计算每一个长度出现在墨水图像上的次数, 以及中值长度。这也可以对于墨水图像600的各条垂直线进行实施。随后计算这些中值长度 当中的最小值。在白板的情况下,两个中值长度当中较小的一个近似对应于笔画宽度,并且 相对较小;否则,该数值通常要大得多。
[0043]特征82〇是被近似中值尺寸的间隔(笔画)覆盖的对象的面积。使用之前的计算,可 以确定对象被具有处在中值长度附近的特定范围内的长度的笔画覆盖了多少。对于白板, 这一数值较小,对于印刷材料,所述数值可以较大。
[0044]前面提到的数值型特征11〇可以被输入到机器学习分类器2〇2(例如神经网络),机 器学习分类器2〇2随后充当对象分类器以表明输入对象是否代表或不代表白板。图7示出了 在图3中拍照的白板的最终图像700。由于在表面上捕获到的照明变化,背景图像可能不是 纯白色。在这里,背景颜色不是在图3的物理可标记板300中感知到的白色;但是其足够接近 所述白色并且可以与用户能够感知到所施加的标记306的前景作出区分。
[0045]所公开的架构实施图像增强。可以通过以下步骤获得增强的图像:创建新图像,并 且(1)每当对应的掩蔽(墨水图像)像素是白色时拷贝来自源图像的像素,并且(2)每当对应 的掩蔽像素是黑色时使用恒定颜色(例如白色)。此外,⑴可以通过在写入到目标图像之前 提高源像素的饱和度而得到加强。如果正在应对彩色图像(而不是灰度图像),则可以使用 比如输入图像的饱和度通道之类的附加信号(重复所描述的规程)来计算当把彩色墨水施 加到白板时的更大的背景/前景分离。最后,可以将来自辉度和饱和度通道全部二者的墨水 图像结合到一幅图像中。
[0046]换句话说,特征集合110包括成像系统(摄影机)到四边开》对象的距离(特征804), 所述距尚是基于摄影机的自动对焦子系统,以及标记表面上的标记的估计笔画宽度(特征 81®。分类组件112基于将白板与其他四边形对象作出区分的特征(特征集合11〇)而把标记 表面分类为白板。
[0047]系统2〇〇还可以包括作为分类组件II2的一部分的机器学习分类器202,其对特征 集合110进行处理以便确定四边形对象1〇6是否是可标记板。系统200还可以包括图像增强 组件2〇4,其创建新图像,并且基于四边形对象是可标记板而在所述新图像中增强背景图像 的颜色均匀性以及增强前景图像中的标记清晰度。
[0048]系统2〇0还可以包括使用空间内插来估计背景图像的估计组件206,以及将四边形 对象的图像细分成贴片的贴片处理组件2〇8,其中基于颜色均匀性属性和无标记区域属性 来最优化所述贴片的尺寸。系统2〇〇还可以包括区分组件210,其将标记表面上的标记与背 景图像进行区分。
[0049]系统2〇0示出了采用摄影机系统和支持资源来促进所公开的架构的设备212,比如 蜂窝电话、便携式计算机、平板计算机等等。相应地,设备212可以包括图1的系统1〇〇或者如 图2中所示的元件/组件,比如输出图像104的图像处理系统102,特征系统108和所导出的特 征集合110,分类组件112和机器学习分类器202,区分组件210,估计组件206和贴片处理组 件208,以及图像增强组件204。
[0050] 在这里包括了代表用于实施所公开的架构的新颖方面的示例性方法的流程图集 合。虽然为了解释的简单起见在这里例如通过流程图或过程图的形式所展示出的所述一种 或更多种方法被展示并且描述成一系列动作,但是应当理解并且认识到,所述方法并不受 限于所述动作的顺序,这是因为一些动作可以于是按照不同的顺序发生,和/或可以与未在 这里展示出和描述的其他动作同时发生。举例来说,本领域技术人员将理解并且认识到,一 种方法可以替换地比如在状态图中被表示成一系列相互关联的状态或事件。此外,对于一 种新颖实现方式,可能需要在一种方法中所示出的并非所有动作。
[0051] 图9示出了根据所公开的架构的一种方法。在900处,接收所检测到的具有标记表 面的四边形对象的图像。在902处,对所获得的与四边形对象的图像捕获有关的特征进行处 理,以便检测标记表面的背景图像和前景图像。在9〇4处,基于所述特征使用机器学习系统 对四边形对象实施分类。在906处,基于所述分类计算四边形对象是否是可标记板。
[0052] 所述方法还可以包括估计背景图像的颜色的动作,这是通过将标记表面的图像细 分成具有表现出颜色均匀性属性和无标记区域属性的尺寸的贴片而实现的。所述方法还可 以包括应用二进制阈值算法的动作,其对标记表面上的标记与背景颜色进行辨别。所述方 法还可以包括计算四边形对象是白板的动作。
[0053] 所述方法还可以包括计算作为四边形对象与捕获图像的设备的距离的特征的动 作,这是基于与所述设备的自动对焦有关的参数而实现的。所述方法还可以包括计算估计 墨水图像中的标记的笔画长度的特征的动作。所述方法还可以包括创建四边形对象的新图 像以用于图像增强的动作。所述方法还可以包括增强所述新图像以便查看前景图像中的标 记的动作。
[0054] 图10示出了根据所公开的架构的一种替换的方法。在1000处,接收具有标记表面 和标记表面上的标记的四边形对象的图像。在1002处,基于整个标记表面上的颜色的均匀 性基于所述标记表面和标记来估计背景图像。在1004处,将标记的辉度与背景图像的颜色 进行区分。在1006处,获得与四边形对象的图像捕获有关的特征,以便将所述四边形对象与 其他四边形对象进行区分。在1008处,基于对所述特征的处理使用机器学习分类器对四边 形对象实施分类。在1010处,基于所述分类计算四边形对象是否是白板。
[0055] 所述方法还可以包括增强背景图像的颜色的均匀性,并且针对清晰度而根据白板 的底色提升前景图像中的标记的饱和度。所述方法还可以包括创建经过增强的图像,当掩 蔽像素是白色时从图像拷贝像素,以及当掩蔽像素是黑色时使用恒定颜色。所述方法还可 以包括处理与以下各项有关的特征:相对于四边形对象的摄影机取向,摄影机与四边形对 象的距离,以及所估计的标记的笔画宽度。
[0056]在本申请中使用的术语“组件”和“系统”意图指代与计算机有关的实体,其是硬 件、软件与有形硬件的组合、软件、或者执行中的软件。举例来说,组件可以是(而不限于)有 形组件,比如处理器、芯片存储器、大容量存储设备(例如光学驱动器、固态驱动器和/或磁 性存储媒体驱动器)和计算机,以及软件组件,比如运行在处理器上的进程、对象、可执行程 序、数据结构(其被存储在易失性或非易失性存储介质中)、模块、执行线程和/或程序。
[0057]作为说明,运行在服务器上的应用和服务器都可以是组件。一个或更多组件可以 驻留在进程和/或执行线程内,并且组件可以局部化在一台计算机上和/或分布在两台或更 多台计算机之间。“示例性”一词在这里可以被用来意味着充当示例、实例或说明。在这里被 描述为“示例性”的任何方面或设计不一定被解释成与其他方面或设计相比是优选的或有 利的。
[0058]现在参照图11,其中示出了根据所公开的架构的执行自动可标记板分类和颜色增 强的计算系统1100的方框图。但是应当认识到,所公开的方法和/或系统的一些或所有方面 可以被实施成芯片上系统,其中模拟、数字、混合信号以及其他功能被制作在单一芯片基板 上。
[0059]为了提供对应于其各个方面的附加情境,图U和后面的描述意图提供可以在其中 实施各个方面的适当的计算系统1100的简要的一般性描述。虽然前面的描述是在可以运行 在一台或更多台计算机上的计算机可执行指令的一般情境中进行的,但是本领域技术人员 将认识到,还可以与其他程序模块相组合来实施新颖的实施例和/或将新颖的实施例实施 成硬件与软件的组合。
[0060]用于实施各个方面的计算系统1100包括计算机11〇2,计算机1102具有(多个)处理 单元11〇4 (其也被称作(多个)微处理器和(多个)处理器)、比如系统存储器11〇6之类的计算 机可读存储介质(计算机可读存储介质/媒体还包括磁盘、光盘、固态驱动器、外部存储器系 统和闪存驱动器)以及系统总线1108。(多个)处理单元1104可以是各种商业可用的处理器 当中的任一种,比如单处理器、多处理器、单核单元以及多核单元。此外,本领域技术人员将 认识到,可以利用其他计算机系统配置来实践所述新颖方法,其中包括小型计算机、大型计 算机以及个人计算机(例如台式、膝上型、平板PC等等)、手持式计算设备、基于微处理器的 或者可编程消费电子装置等等,其中的每一项可以通过操作耦合到一个或更多相关联的设 备。
[0061] 计算机1102可以是为了支持针对便携式和/或移动式计算系统(比如蜂窝电话和 其他具有移动功能的设备)的云计算服务而在数据中心和/或计算资源(硬件和/或软件)中 采用的几种计算机当中的一种。云计算服务例如包括而不限于作为服务的基础设施、作为 服务的平台、作为服务的软件、作为服务的存储装置、作为服务的桌面、作为服务的数据、作 为服务的安全性以及作为服务的API (应用程序接口)。
[0062]系统存储器1106可以包括计算机可读存储(物理存储)介质,比如易失性(V0L)存 储器1110 (例如随机存取存储器(RAM))和非易失性存储器(NON-VOL) 1112 (例如ROM、EPROM、 EEPR0M等等)。基本输入/输出系统(BIOS)可以被存储在非易失性存储器1112中,并且包括 比如在启动期间促进计算机1102内的组件之间的数据和信号传送的基本例程。易失性存储 器1110还可以包括高速RAM,比如用于高速缓存数据的静态RAM。
[0063]系统总线1108提供用于系统组件(其中包括而不限于系统存储器1106到(多个)处 理单元1104)的接口。系统总线1108可以是使用多种商业可用的总线架构当中的任一种能 够进一步互连到存储器总线(其具有或不具有存储器控制器)和外围总线(例如PCI、PCIe、 AGP、LPC等等)的几种类型的总线结构当中的任一种。
[0064] 计算机1102还包括(多个)机器可读存储子系统1114以及用于将(多个)存储子系 统1114通过接口连接到系统总线1108和其他所期望的计算机组件的(多个)存储接口 1116。 (多个)存储子系统1114 (物理存储媒体)例如可以包括以下各项当中的一项或更多项:硬盘 驱动器(HDD),磁性软盘驱动器(FDD),固态驱动器(SSD),和/或光盘存储驱动器(例如CD-ROM驱动器、DVD驱动器)。(多个)存储接口 1116可以例如包括比如EIDE、ATA、SATA和IEEE 1394之类的接口技术。
[0065] 一项或更多项程序和数据可以被存储在存储器子系统1106、机器可读和可移除存 储器子系统1118(例如快闪驱动器形状因数技术(flash drive form factor technology))和/或(多个)存储子系统1114(例如光学、磁性、固态)中,其中包括操作系统 1120、一个或更多应用程序1122、其他程序模块1124以及程序数据1126。
[0066] 操作系统1120、一个或更多应用程序1122、其他程序模块1124和/或程序数据1126 例如可以包括图1的系统100的实体和组件、图2的系统200的实体和组件、图3的板300的实 体、图4的贴片图像400、图5的背景图像500、图6的墨水图像600、图7的最终图像700、图8的 特征集合110以及由图9和10的流程图所代表的方法。
[0067]通常来说,程序包括实施特定任务或者实施特定抽象数据类型的例程、方法、数据 结构、其他软件组件等等。例如,操作系统112〇、应用1122、模块1124和/或数据1126的全部 或部分还可以被高速缓存在比如易失性存储器1110之类的存储器中。应当认识到,所公开 的架构可以利用各种商业可用的操作系统或者操作系统的组合来实施(例如作为虚拟机)。 [0068](多个)存储子系统1114和存储器子系统(1106和1118)充当用于对数据、数据结 构、计算机可执行指令等等进行易失性和非易失性存储的计算机可读媒体。这样的指令在 由计算机或其他机器执行时可以使得所述计算机或其他机器实施一种方法的一项或更多 项动作。用于实施所述动作的指令可以被存储在一个介质上,或者可以被存储在多个媒体 上,使得所述指令全体出现在一个或更多计算机可读存储介质/媒体上,而不管是否所有的 指令都处在相同的媒体上。
[0069]计算机可读存储媒体(介质)可以是不(未)采用传播信号、可由计算机1102访问并 且包括可移除或不可移除的易失性和非易失性内部和/或外部媒体的任何可用媒体(介 质)。对于计算机1102,各种类型的存储媒体适应以任何适当的数字形式存储数据。本领域 技术人员应当认识到,可以采用用于存储实施所公开的架构的新颖方法的计算机可执行指 令的其他类型的计算机可读介质,比如极碟驱动器、磁带、闪存卡、快闪驱动器、盒子等等。 [0070]用户可以使用比如键盘和鼠标之类的外部用户输入设备1128以及通过话音辨识 所促进的语音命令与计算机1102、程序和数据进行交互。其他外部用户输入设备1128可以 包括麦克风、IR (红外)遥控器、操纵杆、游戏垫、摄影机辨识系统、铁笔、触摸屏、姿势系统 (例如眼睛移动、头部移动等等)等等。用户可以使用比如触摸板、麦克风、键盘等板载用户 输入设备1130与计算机11〇2、程序和数据进行交互,其中计算机1102例如是便携式计算机。 [0071]这些和其他输入设备经由系统总线1108通过(多个)输入/输出(I/O)设备接口 1132连接到(多个)处理单元1104,但是可以通过其他接口连接,比如并行端口、IEEE 1394 串行端口、游戏端口、USB端口、IR接口、短距离无线(例如蓝牙)和其他个域网(PAN)技术等 等。所述(多个)I/O设备接口 1132还促进对于比如打印机、音频设备、摄影机设备等输出外 围设备1134的使用,比如声卡和/或板载音频处理能力。
[0072] 一个或更多图形接口 1136 (其通常也被称作图形处理单元(GPU))在计算机1102与 (多个)外部显示器1138 (例如LCD、等离子显示器)和/或板载显示器1140 (例如用于便携式 计算机)之间提供图形和视频信号。(多个)图形接口 11%还可以被制造成计算机系统板的 一部分。
[0073]计算机1102可以通过去到一个或更多网络和/或其他计算机的有线/无线通信子 系统1142使用逻辑连接操作在(例如基于IP的)联网环境中。所述其他计算机可以包括工作 站、服务器、路由器、个人计算机、基于微处理器的企业电器、对等设备或其他常见网络节 点,并且通常包括关于计算机1102所描述的许多或所有元件。所述逻辑连接可以包括去到 局域网(LAN)、广域网(WAN)、热点等等的有线/无线连接性。LAN和WAN联网环境在办公室和 公司中是常见的,并且促进企业范围的计算机网络(比如内联网),所有这些都可以连接到 比如因特网之类的全球通信网络。
[0074]当被使用在联网环境中时,计算机1102通过有线/无线通信子系统1142(例如网络 接口适配器、板载收发器子系统等等)连接到网络,以便与有线/无线网络、有线/无线打印 机、有线/无线输入设备1144等等通信。计算机1102可以包括用于通过网络建立通信的调制 解调器或其他模块。在联网环境中,与计算机1102有关的程序和数据可以被存储在与分布 式系统相关联的远程存储器/存储设备中。应当认识到,所展示出的网络连接是示例性的, 并且可以使用在计算机之间建立通信链路的其他模块。
[0075] 计算机1102可操作来使用比如IEEE 802.xx标准家族之类的无线电技术与有线/ 无线设备或实体通信,比如通过操作部署在与例如打印机、扫描仪、台式和/或便携式计算 机、个人数字助理(PDA)、通信卫星、与无线可检测标签相关联的任何一件装备或一个位置 (例如信息亭、报亭、休息室)以及电话进行的无线通信(例如IEEE S02.11空中调制技术)中 的无线设备。这至少包括用于热点的Wi-Fi™(其被用来保证无线计算机联网设备的互操作 性)、WiMax以及Bluetooth™无线技术。因此,所述通信可以是像传统网络那样的预定义结 构,或者简单地是至少两个设备之间的自组织通信。町-Fi网络使用被称作IEEE 802 • 11 x (a、b、g等等)的无线电技术来提供安全、可靠、快速的无线连接性。Wi-Fi网络可以被用来将 计算机彼此连接、将计算机连接到因特网以及连接到有线网络(其使用与IEEE 802.3有关 的媒体和功能)。
[0076]前面所描述的内容包括所公开的架构的示例。当然没有可能描述组件和/或方法 的每一种可设想到的组合,但是本领域普通技术人员可以认识到,许多另外的组合和置换 是可能的。相应地,所述新颖架构意图包含落在所附权利要求书的精神和范围内的所有此 类更改、修改和变型。此外,就在详细描述部分或者权利要求书中使用术语“包括”而言,这 样的术语意图是按照类似于以下方式的方式进行包括:术语“包括”(作为“含有”)在被采用 时被解释为权利要求中的过渡性词语。

Claims (7)

1. 一种系统,包括: 成像处理系统,其提供所检测到的具有标记表面的四边形对象的图像; 估计组件,其使用空间内插来估计背景图像; 区分组件,其将标记表面上的标记与背景图像进行区分; 特征系统,其获得与四边形对象的图像捕获有关的特征集合以用于检测标记表面的背 景图像和前景图像,其中所述特征集合包括基于摄影机的自动对焦子系统的成像系统与四 边形对象的距离,以及标记表面上的标记的估计笔画宽度; 分类组件,其基于所述特征对四边形对象实施分类以便确定所述四边形对象是否是可 标记板,其中所述分类组件采用机器学习分类器,所述机器学习分类器对所述特征集合进 行处理以便确定四边形对象是否是可标记板,并且基于将白板与其他四边形对象进行区分 的特征将标记表面分类为白板; 图像增强组件,所述图像增强组件创建新图像,并且基于四边形对象是可标记板而在 所述新图像中增强背景图像的颜色均匀性以及增强前景图像中的标记清晰度;以及 微处理器,执行与图像处理系统、特征系统或分类组件中的至少一个相关联的计算机 可执行指令。
2. 根据权利要求1所述的系统,还包括将四边形对象的图像细分成贴片的贴片处理 组件,其中基于颜色均匀性属性和无标记区域属性最优化所述贴片的尺寸。
3. —种由执行机器可读指令的计算机系统实施的方法,所述方法包括以下动作: 接收所检测到的具有标记表面的四边形对象的图像,并且表面上具有标记; 基于所述标记表面来估计背景图像,并且基于在整个标记表面上的颜色均匀性来估计 所述标记; 将所述标记的辉度与背景图像的颜色进行区分; 获得与四边形对象的图像捕获有关的特征,以将所述四边形对象与其他四边形对象进 行区分; 对所获得的与四边形对象的图像捕获有关的特征进行处理,以便检测标记表面的背景 图像和前景图像; 基于对所述特征的处理使用机器学习系统对四边形对象实施分类; 基于所述分类计算四边形对象是否是白板; 增强背景图像的颜色的均匀性,并且针对清晰度而根据白板的底色提升前景图像中的 标记的饱和度; 创建经过增强的图像,当掩蔽像素是白色时从图像拷贝像素,以及当掩蔽像素是黑色 时使用恒定颜色;以及 处理与以下各项有关的特征:相对于四边形对象的摄影机取向,摄影机与四边形对象 的距离,以及所估计的标记的笔画宽度。
4. 根据权利要求3所述的方法,还包括以下动作:通过把标记表面的图像细分成具有 表现出颜色均匀性属性和无标记区域属性的尺寸的贴片,来估计背景图像的颜色。
5. 根据权利要求3所述的方法,还包括以下动作:应用对标记表面上的标记与背景颜 色进行辨别的二进制阈值算法,以及计算估计墨水图像中的标记的笔画长度的特征。
6. 根据权利要求3所述的方法,还包括以下动作:基于与捕获图像的设备的自动对焦 有关的参数,计算作为四边形对象与所述设备的距离的特征。
7.根据权利要求3所述的方法,还包括以下动作:创建四边形对象的新图像以用于图 像增强,以及增强所述新图像以便查看前景图像中的标记。
CN201380072930.1A 2012-12-13 2013-12-13 可标记表面的自动分类和颜色增强 Active CN105027145B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US13/713,827 US8805068B2 (en) 2012-12-13 2012-12-13 Automatic classification and color enhancement of a markable surface
US13/713827 2012-12-13
PCT/US2013/075162 WO2014093912A1 (en) 2012-12-13 2013-12-13 Automatic classification and color enhancement of a markable surface

Publications (2)

Publication Number Publication Date
CN105027145A CN105027145A (zh) 2015-11-04
CN105027145B true CN105027145B (zh) 2018-11-09

Family

ID=49917739

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380072930.1A Active CN105027145B (zh) 2012-12-13 2013-12-13 可标记表面的自动分类和颜色增强

Country Status (4)

Country Link
US (1) US8805068B2 (zh)
EP (1) EP2932436A1 (zh)
CN (1) CN105027145B (zh)
WO (1) WO2014093912A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3069502A4 (en) 2013-11-14 2017-06-14 Microsoft Technology Licensing, LLC Image processing for productivity applications
JP6067040B2 (ja) * 2015-01-30 2017-01-25 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US10332262B2 (en) * 2017-02-16 2019-06-25 Adobe Inc. Removal of background information from digital images
CN106997595A (zh) * 2017-03-09 2017-08-01 广东欧珀移动通信有限公司 基于景深的图像颜色处理方法、处理装置及电子装置
US10387747B2 (en) * 2017-06-26 2019-08-20 Huddly As Intelligent whiteboard collaboratio systems and methods
CN113053322A (zh) * 2021-03-12 2021-06-29 广州文石信息科技有限公司 一种电子墨水屏的显示优化方法及相关装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1477590A (zh) * 2002-06-19 2004-02-25 微软公司 用于白色书写板和音频捕获的一个系统和方法
CN1680867A (zh) * 2004-02-17 2005-10-12 微软公司 投影仪-摄像机-白板系统中视觉回波消除系统和方法
CN102714692A (zh) * 2009-09-23 2012-10-03 微软公司 基于照相机的扫描

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5740274A (en) * 1991-09-12 1998-04-14 Fuji Photo Film Co., Ltd. Method for recognizing object images and learning method for neural networks
JP2005108230A (ja) 2003-09-25 2005-04-21 Ricoh Co Ltd オーディオ/ビデオコンテンツ認識・処理機能内蔵印刷システム
US7224847B2 (en) 2003-02-24 2007-05-29 Microsoft Corp. System and method for real-time whiteboard streaming
US7397504B2 (en) 2003-06-24 2008-07-08 Microsoft Corp. Whiteboard view camera
US7260278B2 (en) 2003-11-18 2007-08-21 Microsoft Corp. System and method for real-time whiteboard capture and processing
JP4764231B2 (ja) * 2006-03-31 2011-08-31 キヤノン株式会社 画像処理装置、制御方法、コンピュータプログラム
US7724953B2 (en) 2006-05-17 2010-05-25 Qualcomm Incorporated Whiteboard, blackboard, and document image processing
US7724947B2 (en) 2006-09-20 2010-05-25 Qualcomm Incorporated Removal of background image from whiteboard, blackboard, or document images
US7952595B2 (en) * 2007-02-13 2011-05-31 Technische Universität München Image deformation using physical models
US20120050302A1 (en) 2010-08-31 2012-03-01 Texas Instruments Incorporated Method and apparatus for enhancing a white-board

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1477590A (zh) * 2002-06-19 2004-02-25 微软公司 用于白色书写板和音频捕获的一个系统和方法
CN1680867A (zh) * 2004-02-17 2005-10-12 微软公司 投影仪-摄像机-白板系统中视觉回波消除系统和方法
CN102714692A (zh) * 2009-09-23 2012-10-03 微软公司 基于照相机的扫描

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Automatic content recognition of teaching boards in the Tableau platform;GABRIEL DE FRANCA PEREIRA E SILUA ET AL.;《PATTERN RECOGNITION(ICPR)》;20121111;第645-648页 *
Generalizing Tableau to Any Color of Teaching Boards;OLIUEIRA D M ET AL.;《PATTERN RECOGNITION(ICPR)》;20100823;第2411-2414页 *
Improving the Border Detection and Image Enhancement Algorithms in Tableau;DANIEL MARQUES DE OLIUEIRA ET AL.;《IMAGE ANALYSIS AND RECOGNITION》;20080625;第1112-1117页 *
Whiteboard scanning and image enhancement;ZHANG ET AL.;《DIGITAL SIGNAL PROCESSING》;20070203;第414-432页 *

Also Published As

Publication number Publication date
US8805068B2 (en) 2014-08-12
US20140169668A1 (en) 2014-06-19
EP2932436A1 (en) 2015-10-21
CN105027145A (zh) 2015-11-04
WO2014093912A1 (en) 2014-06-19

Similar Documents

Publication Publication Date Title
CN105027145B (zh) 可标记表面的自动分类和颜色增强
US9779295B2 (en) Systems and methods for note content extraction and management using segmented notes
US10013624B2 (en) Text entity recognition
US9767359B2 (en) Method for recognizing a specific object inside an image and electronic device thereof
US9436883B2 (en) Collaborative text detection and recognition
US9563696B2 (en) Systems and methods for managing notes
US9378426B2 (en) Systems and methods for note recognition
US9262679B2 (en) System and method for identification and separation of form and feature elements from handwritten and other user supplied elements
CN110059600B (zh) 一种基于指向手势的单行文字识别方法
JP2016075993A (ja) 画像処理装置及びその制御方法、プログラム
CN107659799A (zh) 摄像装置、图像处理方法和存储介质
Beglov Object information based on marker recognition
JP2016151978A (ja) 画像処理装置及び画像処理プログラム
JP2016122367A (ja) 画像処理装置、画像処理方法及びプログラム
CA3083486C (en) Method, medium, and system for live preview via machine learning models
Denisova et al. Using Mobile Vision API for Reading Measurement Information from Metering Devices
JP2018180986A (ja) 情報処理装置、情報処理方法及びプログラム
CN109189276A (zh) 桌面投影全息技术
Murari et al. Application of Sixth Sense Technology in Lecture Theatre for Engineering Students

Legal Events

Date Code Title Description
PB01 Publication
C06 Publication
SE01 Entry into force of request for substantive examination
C10 Entry into substantive examination
GR01 Patent grant
GR01 Patent grant