CN1229757C - 从白板扫描的记录的索引和检索系统及方法 - Google Patents

从白板扫描的记录的索引和检索系统及方法 Download PDF

Info

Publication number
CN1229757C
CN1229757C CN02152703.2A CN02152703A CN1229757C CN 1229757 C CN1229757 C CN 1229757C CN 02152703 A CN02152703 A CN 02152703A CN 1229757 C CN1229757 C CN 1229757C
Authority
CN
China
Prior art keywords
background pixels
circle
user
mark
district
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN02152703.2A
Other languages
English (en)
Other versions
CN1420473A (zh
Inventor
马越
郭金红
罗伯特·S.·菲什
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN1420473A publication Critical patent/CN1420473A/zh
Application granted granted Critical
Publication of CN1229757C publication Critical patent/CN1229757C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21Intermediate information storage
    • H04N1/2166Intermediate information storage for mass storage, e.g. in document filing systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Facsimiles In General (AREA)
  • Position Input By Displaying (AREA)
  • Storing Facsimile Image Data (AREA)
  • Character Input (AREA)

Abstract

本申请公开了一种从白板扫描的记录的索引和检索系统及方法,其中,公开了一种把信息保存到存储器中的说明展示设备。该设备包括临时显示用户所画标记的可重复使用的面板,产生对应于用户所画标记的数字信息的数字化仪,和使数字信息与头标相关的索引器。所述头标至少部分以用户从用户所画标记中选择的部分为基础。该设备还以允许根据数字信息,在可重复使用的面板上重新显示用户所画标记的再显示能力为特色。

Description

从白板扫描的记录的索引和检索系统及方法
技术领域
本发明涉及供用户所画记号的信息处理之用的索引和检索系统,更具体地说,涉及从白板扫描的记录的索引和检索系统。
背景技术
白板是商业和技术群体努力中广泛使用的普及合作工具。由于通过利用一个或多个白板,共同从事某一项目的个人易于直观地相互交流思想,因此已激发了白板设计方面的许多发展。
白板设计方面最重要的发展可能是能够以各种方式保存并共享白板记录。例如,具有和干-擦除(dry-erase)标注器(marker)一起使用的传统白色面板的某些白板采用扫描仪把记录扫描成数字形式以便印刷到硬拷贝上。许多这样的白板还具有与计算机通信以便把记录保存到存储器中的能力。另一些使用照相和其它技术,例如射频技术来检测用户手势和/或工具(即标注器和擦除器)的位置,以便在存储器中构造代表用户在白板上做的记号的数字信息。此外,开发了具有代替传统白色面板的有源显示器的一些白板,用户可以各种方式输入供显示的记号。这种方式的一个例子涉及与触敏有源显示器共同使用触笔式标注器来输入记号。这种方式的另一例子涉及实现位置检测技术。总之,数字信息一般保存在存储器中,并且用户可随意地以电子方式共享,印刷到硬拷贝上以及在有源显示器上显示。另外,在白板用户使用具有,例如用于输入的触笔的有源显示器,而不是带有干擦除标注器的传统白板面板的情况下,记录可被重新显示,以便允许从停止的地方继续进行讨论。但是从存储器检索所需的白板记录仍然存在问题。
已尝试了关于检索保存在存储器中的所需白板记录的问题的一些解决方案。当数字化白板记录在计算机存储器中,并且提供支持键盘输入的用户接口时,用户可选择花费时间和精力,说明性地标记包含白板记录的文件,以简化未来的检索。但是,这第一种解决方案并不是始终适用,并且在对记录做索引的时候,还要求用户放弃白板通信的可能性。作为第二种解决方案,还可在有源显示器上以缩略图的形式整体显示多于一个的白板记录以供用户浏览,但是这种解决方案中,难以感知记录中的信息。于是,提供一种对白板记录做索引并且在白板记录被保存到系统中后检索所述白板记录的易用系统和方法仍然是本发明的任务。
发明内容
本发明的第一方面是一种在一个表面上描绘和再现信息的集成设备,该设备包括:临时显示用户所画标记的可重复使用的面板;产生对应于用户所画标记的数字信息的数字化仪;和使数字信息与头标相关的索引器,其中所述头标至少部分以用户在用户所画标记中选择的部分为基础;以及为所述可重复使用的面板提供再显示能力的绘图仪,其中,借助于所述绘图仪的再显示能力,根据用户的选择,在所述可重复使用的面板上以机器所画标记的形式显示相关的数字信息,其中绘图仪所画标记再现由其产生所述相关数字信息的用户所画标记。
本发明的第二方面是一种供从白板获得的扫描记录的索引和检索系统之用的索引方法。该方法包括下述步骤:抽取用户所画标记的所选部分,其中所选部分由用户选择,至少部分基于所选部分构成头标,并且使作为数据的数字信息和作为元数据的头标相关。数字信息至少部分由用户所画标记产生。
本发明的第三方面是供索引和检索系统之用的检索方法。该方法包括下述步骤:显示与元数据相关的索引信息,其中元数据给对应于由用户所画标记产生的数字信息的数据编索引,其中元数据对应于至少部分以用户所画标记的所选部分为基础的头标,并响应索引信息的用户选择显示用户所画的标记。
本发明的第四方面是一种白板设备。该设备包括用于可视显示白板记录的可重复使用的面板,利用分发可擦除墨水的白板用笔在所述面板上书写白板记录,利用至少一个分发可擦除墨水的白板用笔把机器所画标记绘到所述可重复使用面板上的绘图仪,其中根据保存在存储器中的数字信息绘制白板记录,其中所述数字信息对应于用户所画标记。
本发明的第五方面是一种供索引和检索系统之用的标记(mark-up)消除方法。该方法包括下述步骤:沿第一方向在图像平面中移动扫描线,沿第二方向扫描标有记号的区域,其中第二方向垂直于图像平面中的第一方向,检测扫描线内对应于图像中的标记的非背景象素,并擦除非背景象素。
根据下面提供的详细说明,本发明适用的其它方面将是显而易见的。应明白在指出本发明的优选实施例时,详细说明和具体例子只是用于举例说明,而不是对本发明范围的限制。
附图说明
根据详细说明和附图,能够更完全地理解本发明,其中:
图1a是根据现有技术的以滚动面板和固定扫描仪为特征的第一白板设备的透视图。
图1b是根据现有技术的以固定面板和可移动扫描仪为特征的第二白板设备的透视图。
图2是与个人计算机通信的白板设备的透视图,其中描述了对应于具有画圈区的白板记录的数字化信息的流动,其中支持画圈区抽取、圆圈消除和笔迹识别。
图3是描述根据本发明的对从白板扫描得到的记录编制索引的方法的流程图。
图4表示了在检测对应于用户所画圆圈的各个部分的非背景象素的过程中,用于消除所示标记的扫描线的示意图。
图5a是描述由对应于除去圆圈的记录的所抽取画圈区的头标索引的白板记录的典型浏览器屏幕。
图5b是描述由对应于从相关记录的画圈区内获得的认识文本的头标索引的白板记录的典型浏览器屏幕。
图6是根据本发明的具有绘图仪和触屏显示器的白板设备的透视图。
图7是描述根据本发明的系统和方法的圆圈抽取的流程图。
具体实施方式
优选实施例的下述说明仅仅是发明本质的举例说明,决不意图限制本发明,其应用或用途。
参见图1a,图中表示了根据现有技术的白板设备10,其特征在于滚动面板12和隐藏在框架14之中的固定扫描仪(图中未示出)。滚动面板12具有两个或四个书写面,通过沿水平方向滚动面板可使用各个书写面。白板设备还具有把扫描的记录印刷到硬拷贝上的打印机16。用户可利用标准的干擦除标注器在滚动面板12上作标记,并且根据需要用擦除器、织物、指尖或者其它手段擦除所作标记。随后通过激活扫描模式,用户可打印完成的白板记录,在扫描模式中,滚动面板12沿水平方向滚动,隐藏在框架14中的固定扫描仪(图中未示出)产生与同时借助打印机16打印在硬拷贝上的白板记录对应的数字信息。用户可随意打印几个副本,但是除非通过通信链路(未示出)被传递给计算机存储器(未示出),否则数字信息会在打印之后失去。图1中所示类型的白板的许多状态以用于此用途的通信链路(未示出)为特色。
这里显示图1的白板设备以供参考,因为下面将主要就图1的白板设备的利用、合并、修改和组合说明举例的实施例。图1的白板设备虽然缺少与实现较大的有源显示器和/或数字信息的同时产生相关的一些优点,但是该白板设备不包含与大型有源显示器相关的费用,并且通过避免对可能丢失的特殊工具的需要,和/或避免要求用户改变图解模式(即颜色和/或写入模式-擦除模式),而特别便于使用,由于激活模式和屏幕上实际记号之间的延迟或失配,可能会丢失信息。但是,本领域的技术人员将认识到本发明的系统和方法适合于白板设备10的其它实现,以及个人数字助手,具有触摸屏的膝上型计算机,蜂窝电话机和可用于通过各种手段(包括但不限于数字数据链路)协作的其它图解演示工具。
参见图1b,白板设备10被表示成以静止面板18和可移动的扫描仪20为特色。静止面板的“静止”的含义是,在扫描过程中静止面板18不移动,当可移动的扫描仪20水平移动通过静止面板18时,静止面板18保留在原位上。但是,静止面板18可翻转以便显露第二书写面。白板设备10还具有打印机6,在其它方面类似于图1a的白板设备。这里说明图1b的白板设备是为了提供参考,以便证明从本领域已知的白板扫描或者以其它方式获得记录所存在的各种手段,以及为了适应这些各种手段而对本发明加以修改对本领域的技术人员来说是显而易见的。
参见图2,白板设备10被表示成与个人计算机22通信。另外,白板设备10被描绘成在滚动面板上显示和白板记录24对应的用户所画记号,所述白板记录24具有对应于画圈区26的有记号区,画圈区26是白板记录24的关键区。根据本发明,借助画圈区抽出技术,从扫描仪(未示出)产生的数字信息中抽取画圈区26。如同本领域的技术人员将意识到的一样,画圈区抽出技术可应用于与从白板扫描的记录对应的数字信息;后面参考图7说明画圈区抽出技术。根据本发明,和圆圈消除对应的可选标记消除被应用于抽出的数字信息,以便产生抽出的画圈区28。下面参考图4更充分地说明圆圈消除。
另外,根据本发明,可选的笔迹识别技术被应用于抽出的画圈区28,产生对应于画圈区26内的手写文本的识别文本30。对本领域的技术人员来说,迄今公开的本发明的涉及画圈区抽出、圆圈消除和笔迹识别的系统和方法中的各个步骤显然可在产生、传递和/或接收对应于白板记录24的数字信息之后的任意时间或位置完成,和/或与所述数字信息的产生、传递和/或接收同步完成。例如,如果白板设备10具有必要的计算能力,则可在白板设备10上完成这三个步骤中的任意步骤。另外,可在接收信息之后和/或和接收信息同时在个人计算机22上完成这三个步骤中的任意步骤,或者途中在若干可选的介于中间的计算模块(未示出)中的任意模块上完成这三个步骤中的任意步骤。本领域的技术人员将认识到就这些步骤发生的顺序、位置、组合和/或方式来说还存在其它可能性。
参见图3,图中表示了根据本发明的索引方法。该方法支持可选的圆圈消除和用于说明目的的笔迹识别。根据图3,在步骤30对和具有画圈的关键区的白板记录对应的数字信息进行画圈区抽取。作为步骤30的结果,产生对应于若干检测到的关键区的数字信息,以便从白板记录抽取每个画圈区。在步骤32开始每个关键区的处理,并且对每个关键区进行可选的圆圈消除。
圆圈消除以两种方式帮助本发明的系统和方法。首先,在呈现与抽取的画圈区的缩略图对应的索引图像以供用户选择的情况下,圆圈消除可帮助用户观看索引图像。其次,在呈现与抽取的画圈区内的被识别文本对应的索引图像以供用户选择的情况下,圆圈消除可帮助抽取的画圈区内的文本的笔迹识别。后面将更详细地说明进行圆圈消除的一种举例方法。
在步骤34的可选的圆圈消除之后,可进行两种进程中的任意一种或者两种。下面更详细地说明这两种进程。
在第一种进程中,在步骤36确定是否存在白板记录的在先位图索引。在不存在该白板记录的在先位图索引(即该关键区是关于这些白板记录处理的第一个关键区)的情况下,在步骤38产生新的位图索引,并且在步骤40,使白板记录以数据的形式与作为元数据的位图索引联系起来。
在使数据和元数据联系起来之后,在步骤42确定是否处理了所有检测到的关键区,并且如果处理了所有检测到的关键区,则在步骤44停止处理。如果还没有处理所有检测到的关键区,则在步骤46使区号加1,并且在步骤32继续进行处理。在步骤34对下一关键区可选地进行圆圈消除,并且当在步骤36确定这些白板记录是否存在在先位图索引时,确定结果将是肯定的,因为如上所述先前产生了位图索引。从而,在步骤48,把检测到的关键区附加在现有的位图索引上。换句话说,为第二关键区构成第二头标,并使白板记录和第二头标联系起来。
在把检测到的关键区附加到现有的位图索引上之后,确定是否已处理了所有检测到的关键区,如果是,则在步骤44停止处理。如果还存在其它没有处理的检测到的关键区,则通过在步骤48把每个关键区附加到现有的位图索引上继续进行处理。该处理的结果是利用元数据对数据编制索引,其中所述数据是对应于具有画圈关键区的白板记录的数字信息,所述元数据是对应于若干检测到的关键区的位图索引,其中,在第一个检测到的关键区之后被检测到的每个关键区被附加到在前关键区之后。换句话说,为每个关键区构建头标,并使白板记录和各个头标联系起来。
在第二种进程中,在步骤50对检测到的关键区进行笔迹识别,并且产生和检测到的关键区内的用户所画文本对应的识别文本。在步骤52确定是否存在白板记录的在先文本索引。在不存在白板记录的在先文本索引(即对于这些白板记录来说,该关键区是处理的第一关键区)的情况下,在步骤54产生与识别文本对应的新的文本索引,并且在步骤56使白板记录以数据的形式与作为元数据的文本索引联系起来。
在使数据和元数据联系起来之后,在步骤42确定是否所有检测到的关键区已被处理,并且如果所有检测到的关键区已被处理,则在步骤44停止处理。如果还没有处理所有检测到的关键区,则在步骤46使区号加1,并在步骤32继续进行处理。在步骤34对下一关键区可选地进行圆圈消除。并在步骤50对检测到的关键区进行笔迹识别,产生与检测到的关键区内用户所画的文本对应的识别文本。当在步骤52确定是否存在这些白板记录的在先文本索引时,确定结果将是肯定的,因为如上所述在先产生了文本索引。从而,在步骤58,识别的文本被附加到现有的文本索引上。换句话说,为第二关键区构建第二头标,并使白板记录与第二头标相关。
在把识别文本附加到现有的文本索引上之后,确定是否所有检测到的关键区已被处理,如果是,则在步骤44停止处理。如果还存在未被处理的其它检测到的关键区,则通过在步骤58把得自于各个关键区的各个识别文本附加到现有的文本索引上继续进行处理。该处理的结果是利用元数据对数据编制索引,其中,所述数据是对应于具有画圈区的白板记录的数字信息,所述元数据是具有附加文本的文本索引。文本索引对应于从首先处理的检测到的关键区内得到的识别文本,附加文本对应于从在首先被处理的检测关键区之后处理的各个检测关键区内得到的识别文本,其中从除首先被处理的检测关键区之外的各个检测关键区内得到的识别文本被附加到从在先检测到的关键区内得到的识别文本上。换句话说,构建各个关键区的头标,并使白板记录和各个头标联系起来。
本领域的技术人员易于理解,符合本发明的索引方法的处理可采取多种形式。例如,可以进行也可不进行圆圈消除,处理可以不包括所有检测到的关键区,可以同时或者按照任意顺序产生两种索引数据中的任意一种或者产生这两种索引数据,可按照各种顺序和/或组合实现更多或更少的步骤。另外,下面陈述根据本发明的举例的标记消除方法的更多细节。
参见图4,在检测对应于用户所画圆圈64的各个部分的非背景象素62的过程中,表示了供标记消除之用的扫描线60。在举例的标记消除方法中,扫描线60以一个象素的步长从画圈区的顶部移向画圈区的底部。对于各个扫描来说,如附图标记66所示,利用“xmin”标记位于最左侧的非背景象素62。类似地,如附图标记68所示,利用“xmax”标记位于最右侧的非背景象素62。在相同的扫描线60上,从“xmin”向右移动,直到检测到第一个背景象素70为止,并且在从当前位置到“xmin”(包括“xmin”)的向左移动中消除所有非背景象素62。类似地,在相同的扫描线60上,从“xmax”向左移动,直到检测到第一个背景象素70为止,并且在从当前位置到“xmax”(包括“xmax”)的向右移动中消除所有非背景象素62。本领域的技术人员易于理解,虽然设计得较为简单,根据本发明也可以多种方式改变所述举例的标记消除方法。
为了适应对从白板扫描记录抽取的画圈区进行的圆圈消除,举例的标记消除方法做出一些假设。例如,它假定在各个检测到的关键区中只存在一个用户所画圆圈64。它还假定用户所画圆圈64大体上是凹曲线。另外还假定在预处理之后,画圈区的图像区清洁。另外还假定用户所画的圆圈64闭合或者接近闭合。本领域的技术人员易于理解在上面公开的方法中可做出和本发明相一致的各种变化。例如,扫描可以是从底部到顶部,从一侧到另一侧,呈放射状进行,在标记区的一个或多个部分中进行,或者以适合于标记类型和所用数字图像处理方法并且由其简化的其它方式进行扫描。类似地,在指向和始于各种点的各个方向消除背景象素62的情况下,可标记背景象素70,而不是标记非背景象素62。此外,本领域的技术人员易于理解,如果采用不同和/或另外的假定,利用本发明的标记消除方法可消除不同类型的标记,包括用户所画的直线和/或包括括弧、圆括号、方框、下划线等的曲线。另外,下面公开了利用由前面公开的系统和方法产生的索引数据的检索系统和方法的举例的实现方式。
参见图5a,图示了描绘具有由索引信息78索引的画圈区76的白板记录74的浏览器屏幕72,所述索引信息78对应于消除圆圈的情况下,从相关白板记录74抽取的画圈区80的用户所画标记。从而,用户可浏览保存的白板记录的缩略图头标,并且当用户选择特定的头标时,同时显示与选择的头标82相关的白板记录。随后用户可选择进行关于白板记录74的其它操作,例如打印、传真、发电子邮件、编辑和/或在白板设备上重新显示该记录,只要和显示浏览器屏幕72的设备一起支持这些其它操作即可。
参见图5b,图示了描绘具有由索引信息78索引的画圈区76的白板记录74的浏览器屏幕72,所述索引信息78对应于从相关白板记录74内抽取的画圈区(未示出)内的识别文本84。类似于上面关于图5a公开的检索方法和系统,用户可浏览保存的白板记录74的文本头标,并且当选择特定的头标时,可同时显示与选择的头标82相关的白板记录,还可可选地进行所支持的其它操作。
本领域的技术人员易于理解,为了便于使用,最好进行圆圈消除、文本识别、以及位图和文本索引元数据的产生。用户可受益于在对应于抽取的画圈区和识别文本的索引图像之间来回切换,以方便浏览的能力。例如,在特定用户解释一组特定白板记录的用户所画标记的能力超过所采用的笔迹识别技术的能力的情况下,基于位图的头标可能更好。类似地,在笔迹识别技术解释一组特定白板记录74的用户所画标记的能力超过特定用户的能力的情况下,基于文本的头标可能更好。另外,下面更详细地说明用于实现本发明的系统和方法的举例的设备。
参见图6,表示了供本发明的系统和方法之用的具有绘图仪86和触屏显示器88的白板设备10。图6的白板设备10类似于图1a的白板设备10,但是已被修改以供本发明之用。触屏显示器88安装在白板设备10的框架14的底部,邻近打印机16,并且向上倾斜,以便站在白板设备10之前的用户能够观看并且操作触屏显示器88。最好铰接触屏显示器88,以便允许用户进行操作以把触屏显示器88放入另一位置,和/或使触屏显示器88可拆卸,从而便于白板设备10的远程控制。在触屏显示器88上显示举例的浏览器屏幕72,使得通过触屏显示器88的触摸操作,能够实现头标78的用户选择。
一旦用户选择了一组特定的白板记录74,则用户可通过打印机16把记录打印在硬拷贝上,和/或通过垂直安装在框架14上和/或包含在框架14中的绘图仪86重新显示该记录。用户还可发送电子邮件、传真、编辑或者对白板记录74采取白板设备或者通过通信链路(未示出)与白板设备通信的第二装置(未示出)所支持的其它操作。
举例的绘图仪86以具有可垂直移动的套筒92的固定臂90为特色,套筒92用于操纵绘图笔,例如干-擦除标注器94。举例的绘图仪86相对于水平滚动的面板垂直移动干擦除标注器94,同时间歇地使干擦除标注器94的书写尖端接触滚动面板12,从而再现从存储器选择的白板记录74。
本领域的技术人员易于理解,为了完成本发明,可实现各种类型的绘图仪86和绘图仪安装方案。例如,图1b的白板设备10可具有带可垂直移动的套筒的水平移动臂,而白板设备10的这两个例子都可实现沿多个线性(linear)和/或径向方向移动的一个或多个臂。另外,绘图仪可具有能够转换颜色的多个标注器,和/或在使用中改变标注器的能力。本领域的技术人员易于理解其它实现方式。最后,对本领域的技术人员来说,具有用作主显示的带触屏的有源显示器和/或用于接受用户所画标记的类似输入装置的白板、膝上型计算机、个人计算机、个人数字助手、蜂窝电话机和类似通信工具显然具有固有的重新显示能力,从而能够在不需要绘图仪的情况下再现用户所画的标记。本领域的技术人员易于理解本发明的系统和方法在上面提及的技术中的应用,以及与这种应用相关的优点。
参见图7,表示了描述供本发明之用的识别扫描图像中用户所画圆圈的程序的流程图。程序开始于步骤100,程序首先预处理图像,把图像数据转换成适合于连通分量(connected component)分析的分辨率和位深度(bit depth)。该预处理是可选步骤,可把彩色图像数据转换成黑白数据或者把灰度级数据转换成黑白数据。
程序随后转到步骤102,进行连通分量分析。第一实施例使用象素标记和边界框计算技术抽取用于进行连通分量分析的候选对象,而第二实施例使用行程分析技术。根据第一实施例,图像被逐行扫描,并且如果象素与其相邻象素相连,则标记该象素。在就连通性标记象素之后,计算每个连通分量的边界框。这些边界框被用于抽取图像中的候选区。根据第二实施例,图像数据被表示为多列多行的网格,并且在整个网格内确定扫描顺序,以便根据网格内的相互接近度和位置,确定邻近或者接近相邻的黑色象素的行程中的父、子和同胞关系。这些关系,以及行程的起始和终止列、行位置被填充到一个或多个行程数据结构中,所述行程数据结构可被来回移动,以便识别区域内的轮廓。
如果需要,在步骤104,可消除半色调数据,并且可消除象素数据中的微小间隙(可归因于噪声)。在另外的黑色象素域中的单个白色象素可被转换成黑色象素,以便“填满”图像数据或者去除图像数据的斑点。另外,根据预定的准则,例如在第一实施例的边界框太小的情况下,可消除不可能代表用户所画圆圈的轮廓。
在识别了连通分量之后,程序转到步骤106,从数据抽取轮廓片断信息。根据第一实施例,通过跟踪限定候选对象的线条的内外周界,进行轮廓片断抽取过程。根据第二实施例,利用在如上所述的行程分析内形成的填充数据结构,完成轮廓片断抽取过程。更具体地说,以递归的方式从父到子、随后从同胞到同胞、再从子到父遍历行程中点之间的填充数据结构,这样易于识别例如对应于矢量图形的连通轮廓。在第一或第二实施例的情况下,轮廓片断抽取过程产生一个或多个连通轮廓,连通轮廓用作最初所画圆圈的“代替者”。
在抽取轮廓片断之后,通过在步骤108计算连通轮廓中的特征点继续进行该程序。在一个实施例中,连通轮廓的最大和/或最小x和y值用作特征点,连通轮廓的任意端点和/或圆圈与其它对象的交点也用作特征点。在步骤110,这些特征点被用于把连通轮廓分为轮廓片断。在用户所画圆圈可能接触或者交叠其它轮廓结构的情况下,根据其特征点断开连通轮廓是有用的。
在根据特征点断开连通轮廓之后,在步骤112使用特征点重构圆圈。本质上,检查并重新连接各个片段,以便分离属于不同对象的片断,连接属于同一对象的片断。重新连接轮廓片断的主要标准是当形成相邻片断之间的过渡时检查平滑度。在两个片断的最近端点之间构造的线条的比较斜率的预定阈值可用于确定两个线段相互接近的方式是否适于连接起来。对于本领域的技术人员来说,分析邻近片断之间的角度的其它方法是显而易见的。
在重连片断之后,在步骤114输出重新构成的圆圈。重新构成的圆圈不存在间隙或者闭合不确定的情况,从而能够更有效地进行后面的图像处理。
本领域的技术人员易于理解,作为上述步骤的一部分或者除了上述步骤之外,可能还希望分析任意的开环,以便确定轮廓的端点约束在相互间的预定距离内和/或约束在圆圈的另一封闭部分的预定距离内。通过如上所述产生明确的重新构成的圆圈,围绕所产生圆圈的轮廓的边界框可用于划定抽取区域的界限。类似地,可选择边界椭圆等。
本发明的说明仅仅是对本发明本质的举例说明,因此,不脱离本发明的要点的各种变化都在本发明的范围之内。这些变化不应被看成脱离了本发明的精神和范围。

Claims (17)

1、一种在一个表面上描绘和再现信息的集成设备,该设备包括:
临时显示用户所画标记的可重复使用的面板;
产生对应于用户所画标记的数字信息的数字化仪;和
使数字信息与头标相关的索引器,其中所述头标至少部分以用户在用户所画标记中选择的部分为基础;以及
为所述可重复使用的面板提供再显示能力的绘图仪,其中,借助于所述绘图仪的再显示能力,根据用户的选择,在所述可重复使用的面板上以机器所画标记的形式显示相关的数字信息,其中绘图仪所画标记再现由其产生所述相关数字信息的用户所画标记。
2、按照权利要求1所述的设备,其中可重复使用的面板对应于供临时标注器分发可擦除墨水的白板面板。
3、按照权利要求2所述的设备,其中数字化仪对应于从白板面板扫描白板记录的扫描仪。
4、按照权利要求3所述的设备,其中从用户所画标记中选择的部分对应于白板记录中的画圈区。
5、按照权利要求4所述的设备,其中索引器使用索引方法,所述方法包括:
利用画圈区抽取法,抽取白板记录中的画圈区;
至少部分以画圈区为基础构建头标;和
使作为数据的数字信息和作为元数据的头标相关。
6、按照权利要求5所述的设备,其中用户所画标记包含多个画圈区,其中抽取每个画圈区,其中构建每个画圈区的头标,并且其中使数字信息作为数据与作为元数据的各个头标相关。
7、按照权利要求5所述的设备,其中索引方法还包括从画圈区消除圆圈的步骤,其中头标至少部分以已除去圆圈的画圈区为基础。
8、按照权利要求7所述的设备,其中索引方法还包括对已除去圆圈的画圈区进行笔迹识别以构成识别文本的步骤,其中头标至少部分以识别文本为基础。
9、按照权利要求1所述的设备,还包括显示若干头标的有源显示器,其中当用户选择头标时,在所述有源显示器上与该头标一起同时显示与该头标相关的数字信息。
10、按照权利要求9所述的设备,其中借助再显示能力,根据用户的选择,在可重复使用的面板上以机器所画标记的形式显示相关的数字信息,其中机器所画标记类似于由其产生相关数字信息的用户所画标记。
11、按照权利要求7所述的设备,其中从画圈区消除圆圈的步骤采用圆圈消除方法,该方法包括:
沿第一方向在圆圈区的平面中移动扫描线;
沿第二方向扫描画圈区,其中第二方向以与第一方向互补的方式位于画圈区的平面中;
检测扫描线内对应于圆圈的非背景象素;和
擦除非背景象素。
12、按照权利要求11所述的设备,其中圆圈消除方法还包括:
检测扫描线内的第一非背景象素,其中第一非背景象素对应于在扫描线中所有象素的第一线性扫描中首先检测到的非背景象素;
检测扫描线内的第一背景象素,其中第一背景象素对应于在扫描线中所有象素的第一线性扫描中在检测到第一非背景象素之后首次检测到的背景象素;
检测扫描线内的第二非背景象素,其中第二非背景象素对应于扫描线中所有象素的第一线性扫描中最后检测到的非背景象素;
检测扫描线内的第二背景象素,其中第二背景象素对应于在扫描线中象素的第二线性扫描中首次检测到的背景象素,其中第二线性扫描开始于第二非背景象素,并且沿着和第一线性扫描相反的方向进行;
消除第一非背景象素;
消除第一非背景象素和第一背景象素之间的所有非背景象素;
消除第二非背景象素;和
消除第二非背景象素和第二背景象素之间的所有非背景象素。
13、按照权利要求12所述的方法,其中在每个画圈区中只存在一个圆圈,其中所述圆圈是凹曲线,所述凹曲线至少是封闭或近似封闭的,其中借助预处理已从画圈区消除了斑点噪声。
14、一种白板设备,该设备包括:
可视地显示白板记录的可重复使用的面板,利用分发可擦除墨水的白板用笔在所述面板上书写白板记录;和
利用至少一个分发可擦除墨水的白板用笔,把机器所画标记绘到所述可重复使用面板上的绘图仪,其中根据保存在存储器中的数字信息绘制所述白板记录,其中所述数字信息对应于用户所画标记。
15、一种供索引和检索系统之用的标记消除方法,该方法包括下述步骤:
沿第一方向在图像平面中移动扫描线;
沿第二方向扫描标有记号的区域,其中第二方向以与第一方向互补的方式处于图像平面中;
检测扫描线内对应于图像的标记的非背景象素;和
擦除非背景象素。
16、按照权利要求15所述的方法,还包括:
检测扫描线内的第一非背景象素,其中第一非背景象素对应于在扫描线中所有象素的第一线性扫描中首先检测到的非背景象素;
检测扫描线内的第一背景象素,其中第一背景象素对应于在扫描线中所有象素的第一线性扫描中在检测到第一非背景象素之后首次检测到的背景象素;
检测扫描线内的第二非背景象素,其中第二非背景象素对应于在扫描线中所有象素的第一线性扫描中最后检测到的非背景象素;
检测扫描线内的第二背景象素,其中第二背景象素对应于在扫描线中象素的第二线性扫描中首次检测到的背景象素,其中第二线性扫描开始于第二非背景象素,并且沿着和第一线性扫描相反的方向进行;
消除第一非背景象素;
消除第一非背景象素和第一背景象素之间的所有非背景象素;
消除第二非背景象素;和
消除第二非背景象素和第二背景象素之间的所有非背景象素。
17、按照权利要求15所述的方法,其中所述标记是用户所画的圆圈,其中在每个标有记号的区域中只存在一个圆圈,其中用户所画圆圈是凹曲线,所述凹线至少是封闭或近似封闭的,其中借助预处理已从标有记号的区域消除了斑点噪声。
CN02152703.2A 2001-11-21 2002-11-20 从白板扫描的记录的索引和检索系统及方法 Expired - Fee Related CN1229757C (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US09/990498 2001-11-21
US09/990,498 2001-11-21
US09/990,498 US20030095113A1 (en) 2001-11-21 2001-11-21 Index and retrieval system and method for scanned notes from whiteboard

Publications (2)

Publication Number Publication Date
CN1420473A CN1420473A (zh) 2003-05-28
CN1229757C true CN1229757C (zh) 2005-11-30

Family

ID=25536221

Family Applications (1)

Application Number Title Priority Date Filing Date
CN02152703.2A Expired - Fee Related CN1229757C (zh) 2001-11-21 2002-11-20 从白板扫描的记录的索引和检索系统及方法

Country Status (5)

Country Link
US (1) US20030095113A1 (zh)
EP (1) EP1330109B1 (zh)
JP (1) JP2003228690A (zh)
CN (1) CN1229757C (zh)
DE (1) DE60216408D1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103492983A (zh) * 2011-02-15 2014-01-01 智能技术无限责任公司 交互式输入系统及其工具盘
CN105808126A (zh) * 2014-12-29 2016-07-27 鸿合科技有限公司 电子教学白板运行方法和装置

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004336258A (ja) * 2003-05-02 2004-11-25 Sony Corp データ処理装置およびその方法
US20040246236A1 (en) * 2003-06-02 2004-12-09 Greensteel, Inc. Remote control for electronic whiteboard
CN100478938C (zh) * 2003-06-02 2009-04-15 富可视公司 图像捕捉方法、系统和装置
US20050235272A1 (en) * 2004-04-20 2005-10-20 General Electric Company Systems, methods and apparatus for image annotation
US7734802B1 (en) * 2004-05-28 2010-06-08 Adobe Systems Incorporated Dynamically adaptable collaborative electronic meeting space
US8091029B1 (en) 2004-05-28 2012-01-03 Adobe Systems Incorporated Presenter-only meeting canvas for collaborative electronic meeting space
US7707251B2 (en) * 2005-07-14 2010-04-27 Bebo, Inc. Drawing tool used with social network computer systems
US7596598B2 (en) * 2005-10-21 2009-09-29 Birthday Alarm, Llc Multi-media tool for creating and transmitting artistic works
CN100530343C (zh) * 2006-03-15 2009-08-19 深圳迈瑞生物医疗电子股份有限公司 多屏合成显示装置及方法
US8074173B2 (en) * 2008-05-08 2011-12-06 Microsoft Corporation Associating input with computer based content
US9377950B2 (en) * 2010-11-02 2016-06-28 Perceptive Pixel, Inc. Touch-based annotation system with temporary modes
US20130201161A1 (en) * 2012-02-03 2013-08-08 John E. Dolan Methods, Systems and Apparatus for Digital-Marking-Surface Content-Unit Manipulation
US9400592B2 (en) 2012-03-26 2016-07-26 Sharp Laboratories Of America, Inc. Methods, systems and apparatus for digital-marking-surface space and display management
US8837830B2 (en) * 2012-06-12 2014-09-16 Xerox Corporation Finding text in natural scenes
US9448684B2 (en) 2012-09-21 2016-09-20 Sharp Laboratories Of America, Inc. Methods, systems and apparatus for setting a digital-marking-device characteristic
JP5567097B2 (ja) * 2012-10-26 2014-08-06 株式会社東芝 電子機器、手書き文書表示方法、及び表示プログラム
JP2014092902A (ja) * 2012-11-02 2014-05-19 Toshiba Corp 電子機器および手書き文書処理方法
US9519414B2 (en) * 2012-12-11 2016-12-13 Microsoft Technology Licensing Llc Smart whiteboard interactions
US20140365918A1 (en) * 2013-06-10 2014-12-11 Microsoft Corporation Incorporating external dynamic content into a whiteboard
US9811238B2 (en) 2013-08-29 2017-11-07 Sharp Laboratories Of America, Inc. Methods and systems for interacting with a digital marking surface
US10528249B2 (en) * 2014-05-23 2020-01-07 Samsung Electronics Co., Ltd. Method and device for reproducing partial handwritten content
US10063727B2 (en) * 2015-12-29 2018-08-28 Kabushiki Kaisha Toshiba Marking apparatus and decoloring apparatus
US20170372449A1 (en) * 2016-06-24 2017-12-28 Intel Corporation Smart capturing of whiteboard contents for remote conferencing
US10387747B2 (en) * 2017-06-26 2019-08-20 Huddly As Intelligent whiteboard collaboratio systems and methods
US11049053B2 (en) * 2018-03-29 2021-06-29 Ricoh Company, Ltd. Communication terminal, sharing system, communication method, and non-transitory recording medium storing program
CN110912870B (zh) * 2019-10-18 2021-09-14 北京字节跳动网络技术有限公司 一种电子白板数据的同步方法、装置、介质和电子设备

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4583292A (en) * 1984-08-10 1986-04-22 Edwin Langberg Low inertia X-Y cable drive
US4600083A (en) * 1984-09-06 1986-07-15 Parent Christopher A Positioning systems
US5048099A (en) * 1990-05-21 1991-09-10 Eastman Kodak Company Polygon-based method for automatic extraction of selected text in a digitized document
KR940007346B1 (ko) * 1991-03-28 1994-08-13 삼성전자 주식회사 화상 처리 시스템의 엣지 검출 장치
US5539427A (en) * 1992-02-10 1996-07-23 Compaq Computer Corporation Graphic indexing system
US5572651A (en) * 1993-10-15 1996-11-05 Xerox Corporation Table-based user interface for retrieving and manipulating indices between data structures
JPH10191020A (ja) * 1996-12-20 1998-07-21 Canon Inc 被写体画像切出し方法及び装置
US6266054B1 (en) * 1997-11-05 2001-07-24 Microsoft Corporation Automated removal of narrow, elongated distortions from a digital image
US6318825B1 (en) * 1998-10-23 2001-11-20 Hewlett-Packard Company Dry erase electronic whiteboard with page-wide-array inkjet printer
US6351559B1 (en) * 1998-12-22 2002-02-26 Matsushita Electric Corporation Of America User-enclosed region extraction from scanned document images
US6457792B1 (en) * 1999-11-29 2002-10-01 Xerox Corporation Method for effecting actions over vertical surfaces
US6597808B1 (en) * 1999-12-06 2003-07-22 Matsushita Electric Industrial Co., Ltd. User drawn circled region extraction from scanned documents
US6859555B1 (en) * 2000-09-19 2005-02-22 Siemens Corporate Research, Inc. Fast dominant circle detection through horizontal and vertical scanning

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103492983A (zh) * 2011-02-15 2014-01-01 智能技术无限责任公司 交互式输入系统及其工具盘
CN105808126A (zh) * 2014-12-29 2016-07-27 鸿合科技有限公司 电子教学白板运行方法和装置

Also Published As

Publication number Publication date
EP1330109B1 (en) 2006-11-29
US20030095113A1 (en) 2003-05-22
EP1330109A2 (en) 2003-07-23
DE60216408D1 (de) 2007-01-11
EP1330109A3 (en) 2004-08-18
CN1420473A (zh) 2003-05-28
JP2003228690A (ja) 2003-08-15

Similar Documents

Publication Publication Date Title
CN1229757C (zh) 从白板扫描的记录的索引和检索系统及方法
JP5181887B2 (ja) 電子書類を照合するシステム及び照合方法
CN106156761A (zh) 面向移动终端拍摄的图像表格检测与识别方法
JP5181888B2 (ja) グラフィカルユーザインターフェースを生成する方法及びシステム
CN102456136B (zh) 一种图文切分方法及系统
EP0539106A2 (en) Electronic information delivery system
CN1425168A (zh) 信息处理方法与设备
KR20000023515A (ko) 비접촉형 화상 판독 장치 및 그것을 이용한 시스템
CN1487392A (zh) 通过触笔移动识别数据输入表格的装置和方法
CN107944451A (zh) 一种藏文古籍文档的行切分方法及系统
CN103098075A (zh) 使用光笔的绝对位置和其他信息的点码图案、打印点码方法、读取点码方法
US20040021790A1 (en) Method of and system for processing image information on writing surface including hand-written information
CN108052955B (zh) 一种高精度盲文识别方法及系统
CN1154039C (zh) 用于记录手写信息的设备和方法及确定手持设备位置的方法
CN108062548B (zh) 一种盲文方自适应定位方法及系统
CN109358799A (zh) 在手写设备上添加用户输入的手写批注信息的方法
CN207557895U (zh) 一种应用于大型显示屏幕或投影屏幕的设备定位装置
EP2838272A1 (en) Television cursor moving method and device
CN103778398B (zh) 图像模糊度估计方法
CN1016747B (zh) 脱机手写汉字识别系统及其识别方法
JPH09319764A (ja) キーワード生成装置及び文書検索装置
JP3781810B2 (ja) 走査面の記号注釈領域のセグメント化方法
CN104463086A (zh) 一种信息处理方法及设备
CN106408577B (zh) 一种用于投影交互系统的连续帧连通域并行标记方法
JP2023137094A (ja) 画像処理装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C19 Lapse of patent right due to non-payment of the annual fee
CF01 Termination of patent right due to non-payment of annual fee
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20051130