CN100511219C - 可以通过手写检索查询来检索的电子文件管理系统 - Google Patents

可以通过手写检索查询来检索的电子文件管理系统 Download PDF

Info

Publication number
CN100511219C
CN100511219C CNB038030780A CN03803078A CN100511219C CN 100511219 C CN100511219 C CN 100511219C CN B038030780 A CNB038030780 A CN B038030780A CN 03803078 A CN03803078 A CN 03803078A CN 100511219 C CN100511219 C CN 100511219C
Authority
CN
China
Prior art keywords
retrieval
written
inquisition
stroke
page
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB038030780A
Other languages
English (en)
Other versions
CN1625741A (zh
Inventor
乔纳森·利·纳珀
保罗·拉普施特恩
卡·西尔弗布鲁克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Silverbrook Research Pty Ltd
Original Assignee
Silverbrook Research Pty Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Silverbrook Research Pty Ltd filed Critical Silverbrook Research Pty Ltd
Publication of CN1625741A publication Critical patent/CN1625741A/zh
Application granted granted Critical
Publication of CN100511219C publication Critical patent/CN100511219C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/93—Document management systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/15—Cutting or merging image elements, e.g. region growing, watershed or clustering-based techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/26—Techniques for post-processing, e.g. correcting the recognition result
    • G06V30/262—Techniques for post-processing, e.g. correcting the recognition result using context analysis, e.g. lexical, syntactic or semantic context
    • G06V30/268—Lexical context
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99931—Database or file accessing
    • Y10S707/99933—Query processing, i.e. searching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Character Discrimination (AREA)
  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种可以提供电子文件管理系统的方法，所述电子文件管理系统可以使用一手写检索查询来检索，所述方法包括下列步骤：使用一输入装置获取所述手写检索查询；根据手写检索查询与交互式页面上所作的笔迹注释之间的对照，对至少一数据库进行检索，所述交互式页面存储在所述至少一个数据库中；以及向用户提供结果并且使具能够访问检索结果中标识的至少一交互式页面。还公开了一装置。优选地，所述交互式页面以打印的纸件形式提供给用户，并且所述手写注释是用户笔迹、符号、图形、标记等等。

Description

可以通过手写检索查询来检索的电子文件管理系统
技术领域
本发明广泛地涉及一种电子文件管理系统以及数字处理器实现的笔迹检索或者识别系统，并且，更具体地，涉及用于提供一电子文件管理系统的一种方法和装置，所述电子文件管理系统可以由手写(即手绘的)检索查询，或者换句话说，由数字墨水查询来检索或索引。
背景技术
这里使用的“墨水查询”是指一用户准备的作为一检索项目或者短语的一系列手绘的数字墨水笔划。
对笔计算的越来越多的使用以及基于纸件的到网络化计算资源的接口的出现(例如，见：P.Lapstun，Netpage System Overview，SilverbrookResearch Pty Ltd，2000年6月6日；以及“Anoto，Ericssion，and TimeManager Take Pen and Paper into the Digital Age with the Anoto Technology”，新闻稿，2000年4月6日)，已经强调了对于能够存储、索引以及检索(原始)数字墨水的技术的需求。然而，检索手写文本比传统的文本(例如ASCII文本)检索更难，原因在于笔迹产生中的不一致性以及书写人之间的格式改变。
在一数字墨水数据库中检索笔迹数据的传统方法是，首先使用图案识别技术将数字墨水数据库以及对应的检索查询转换为标准文本，并且随后将所述查询文本与数据库中转换的标准文本匹配。模糊的文本检索方法已经被描述了，见P.Hall和G.Dowling，“Approximate String Matching”，Computing Surveys，12(4)，381-402页，1980年，所述方法在存在字符错误的情况下进行文本匹配，所述字符错误类似于那些由笔迹识别系统产生的错误。
但是笔迹识别精度仍然很低，并且由(既用于数据库记录又用于手写查询)的笔迹识别引起的误差的数量意味着此项技术不好用。将手写信息转换为文本的过程导致了相当数量的与该笔迹的一般形状以及动态特性相关的信息的丢失。例如，在书写某些字母(例如‘u’和‘v’，‘v’和‘r’，‘f’和‘t’，等)时，其形状上有很大程度的相似。另外，在很多笔迹类型(特别是草书笔迹)中，对有个人特性的笔迹的识别是高度模糊的。
网页系统
基于笔的计算系统提供了人机交互的一种方便并且灵活的装置。大多数利用，这些系统使用类似笔的装置来作为用于很自然地由此媒介支持的文本、图或者计算的数据输入和记录机构。另外，写入的墨水是比数字文本更具有表现力的格式，并且基于墨水的系统可以是不依赖语言的。另外，公布的信息的主体是以纸件形式发布的，并且大多数人更喜欢阅读打印的材料而不喜欢阅读基于屏幕的终端上的信息。但是，在线应用程序以及发布系统与笔和纸相比有很多优势，例如根据需要提供信息的能力，使用超文本提供文件导航的能力，以及检索并且定制信息的能力。
所述网页系统，见Silverbrook Research，Netpage System DesignDescription，2000年9月8日，通过使用不可见的编码纸件的页面(这里也称为一交互式页面)以及一光学成象笔提供到在线信息的交互的基于纸件的接口。由所述网页系统产生的每个交互式页面被唯一识别并且存储在一个网络服务器上，并且使用网页笔与该交互式页面(即纸件)的所有用户交互被捕获、解释和存储。Memjet数字打印技术，见SilverbrookResearch，Memjet，1999，使网页文件的按要求打印更加容易，从而允许发展交互式应用程序。网页打印机、笔以及网络结构提供了一基于纸件的替代物，用于替代传统的基于屏幕的应用程序以及在线发布服务，并且支持用户接口功能，例如超文本导航以及表格输入。
网页是一个三层系统，包括客户层，服务层以及应用层，如图1中所示。客户层包括网页笔、Memjet打印机、以及一个数字墨水中继。典型地，所述打印机通过宽带连接从出版商或者应用程序供应商接收一个文件，其被使用不可见的红外标签图案进行打印，所述标签使用唯一的标识符对每页进行编码，并且对所述标签在页面上的位置进行编码。当用户在该页面上书写时，成象笔解码这些标签并且将该笔的移动转换为数字墨水，见Silverbrook Research，Netpage Pen Design Description，2000年4月27日。所述数字墨水通过一无线频道发送到一中继基站，并且随后发送到服务层以进行处理和存储。
服务层包括若干提供应用程序开发功能的服务，每项服务采取一组网络服务器，所述服务器提供一可靠并可升级的处理环境。所述基础结构提供使用所述网页系统打印的所有文件的持久存储，同时还捕获以及持久存储所有写在一交互式页面上的所有数字墨水。当数字墨水被提交用于处理时，该系统使用存储的页面描述来解释该数字墨水，并且通过于产生该文件的应用程序的交互来执行所请求的动作。
应用层通过发布文件向用户提供内容，并且处理由用户提交的数字墨水交互。典型地，一应用程序响应用户输入产生一个或者多个交互式页面，所述用户输入被发送到服务层进行存储、提交并且最终打印作为给用户的输出。该网页系统允许通过提供以下服务对复杂应用程进行开发，所述服务为文件发布、提交，传输、鉴别处理以及安全支付、笔迹识别，以及使用生统技术例如签名校验的用户确认。
有一些现存的技术用于使手绘的墨水查询与下面提到的手写文本数据库、手绘的草图以及图象数据库进行匹配。
Chans等人(Y.Chans，Z.lei，D.Lopresti，以及S.Kung，“A FeatureBased Approach For Image Retrieval by Sketch”，Proceedings of SPIEVolume 3229：Multimedia Storage and Archiving Systems II，1997)，根据“edge segments modeled by Implicit Polynomials(IP)”使手绘草图与图象特征匹配。相似性计算则根据使用一弹性的匹配过程对成对的特征组(称为curvlets)之间的距离的计算来进行。
Lopresti以及Tomkins(D.Lopresti以及A.Tomkins，“Temporal-Domain Matching of Hand-Drawn Pictorial Queries”，Handwriting and Research：Basic and Applied Issues，IOS Press，387-401页，1996.，以及D.Lopresti，A.Tomkins以及J.Zhou，“Algorithms for MatchingHand-Drawn Sketches”，Proceedins of the 5th International Workshop onFrontiers in Handwriting Recognition，223-238页，1995年)，描述了一种用于将手绘草图与一草图数据库进行匹配的系统。数据库中的每个笔划的全局特征，例如笔划长度以及跨越角度被抽取，由此可使用矢量量化创建一个笔划代码本。使用一字符串模块编辑算法将输入草图与一数据库进行匹配，所述算法使用矢量量化的代码作为原始代码，见D.Lopresti和A.Tomkins，“Block Edit Models for Approximate StringMatching”，Proceedings of the 2nd Annual South American Workshopon String Processing，11-26页。一种类似的使用动态编程来进行墨水检索的方法由Poon等人在A.Poon，K.Weber，and T.Cass，“Scribbler：A Tool for Searching Digital Ink”，Proceedings ofthe ACM Computer-Human Interaction，58-64页，1994中进行了描述。
在D.Lopresti and A.Tomkins，“Pictographic Naming”，Proceedings of the一种用于手写注释的自动的索引建立算法。墨水笔划被组成字，并且重新取样以使每个点沿着墨水轨迹是等距离的。提取每个笔划的一组角度和曲率特征，并使用分等级的分组对所述特征向量进行分组。使用卡方(Chi-squared)统计来选择有用的索引项目。
D.Lopresti和A.Tomkins，“Pictographic Naming”，Proceedings of the INTER CHI 1993 Conference，1993，讨论了使用隐藏马克波夫模型(HMMs)来匹配象形图，并且描述了一个廉价判别系统，其给出了墨水图之间相似性的一个大体的指示，该指示用于数据库的删改。还描述了使用窗口化的动态编程方法，以允许用户检索象形文字命名的文件系统。
Del Bimbo等人(A.Del Bimbo，P.Pala，and S.Santini，“Image Retrieval by Elastic Matching of Shapes and ImagePatterns”，Proceedings of IEEE Multimedia，215-218页，1996)，描述了一图象检索算法，该算法使用一弹性匹配形状-相似性过程。Schomaker等人(L.Schomaker，L.Vuurpijl，以及E.de Leau，“NewUse for the Pen：Outl ine-Based Image 20 Queries”，Proceedings ofthe 5th International Conference on Document Analysis andRecognition，293-296页，1999)，提出了一个基于手绘图象轮廓的图象查询技术。此算法使用了一个特征组，其中包含标准化的点坐标以及运转角，以及角的直方图。为了进行识别，使用了欧几里得距离最近邻域分级器。Muller等人(S.Muller，S.Eickeler，以及U.Rigoll，“Multimedia Database Retrieval Using Hand-Drawn Sketches”，5thInternat ionalConference on Document Analysis and Recognition，Bangalore，India，1999年9月)，描述了一个多媒体数据库检索系统，所述系统支持既使用形状又使用颜色对项目的手绘草图。数据库记录根据比率以及旋转不变的特征而表示为HMMs，并且使用数据库删改技术来减少检索费用。
Pavlidis等人(I.Pavlidis，R.Singh，以及N.Papanikolopoulos，“Recognition of On-Line Handwritten PatternsThrough Shape Metamorphosis”，Proceedings of the 13thInternational Conference on Pattern Recognition，Vol.3，18-22页，1996)，使用形状变形(即变体)来匹配在线手写文本以及在线手绘图形。所述信号在高和低曲率区域处被分割，并且这些分割点被用作执行输入和目标形状之间形状变形的特征。最终的相似性分数是根据将输入信号转换到目标所需要的变形程度。
Manmatha等人(R.Manmatha，C.Han，E.Riseman，以及W.Croft，“Indexing 10 Handwriting Using Word Matching”，Proceedings ofthe First ACM International Conference on Digital Libraries，151-159页，1996)，通过将文本分割为字并且对所述字上进行相似性匹配来建立手写文件的文本索引，，其中所述匹配是通过(使用一位图“异或”逻辑)将字图象与该文本中的所有其他字图象进行匹配来执行的。成组的类似的词随后被形成索引。Mahmood(见T.Mahmood，“Indexingof Handwritten Document Images”，Proceedings of the 1997 Workshopon Document Image Analysis，1997)使用了一项称为几何散列法的技术(见Y.Lamdan和H.Wolfson，“Geometric Hashing：A General andEfficient Model-Based Recognition Scheme”，Proceedings of theInternational Conference on Computer Vision，218-249页，1988)来使用在仿射变换下不变的特征表示来索引离线的手写文本。
Kamel(见I.Kamel，“Fast Retrieval of Cursive Handwriting”，Proceedings of the 5th International Conference on Information andKnowledge Management，Rockville，MD USA，1996年11月12-16日)描述了一种快速索引和检索草书笔迹的方法。笔划在“x-y坐标的每个局部最小值处”被分割，并且根据几何特性例如笔划长度以及跨越的角度将其转换为一特征向量。所述特征向量随后被使用Karhunen-Loeve(i.e.Principal Component Analysis，see R.Duda，P.Hart，and D.Stork，Pattern ClassifIcation，第二版，JohnWi ley & Sons，Inc.，115-117页，2001)转换映射到一更低的维数，其随后被使用一R树(B树的一个多维版本，描述在A.Guttman，“R-Trees：A Dynamic IndexStructure for Spatial Searching”，Proceedings of the ACM SIGMOD，1994之中)检索。所述检索使用一表决算法，所述算法使每个输入笔划与笔划索引进行比较。在I.Kamel，D.Barbera，“Retriving ElectronicInk by Content”，Proceedings of the 1996lnternational Workshopon Multi-Media Database Management Systems，1996中，此项技术被使用一两步索引方案而扩展，所述方案包括一个过滤步骤以及一个提炼步骤。所述过滤步骤使用全局特征在该数据库中定位一超级矩形，所述数据库就是随后使用一顺序算法来寻找最相似匹配的而被检索的数据库。
Aref等人(W.Aref，D.Barbera，P.Val labhaneni，“TheHandwritten Trie：Indexing Electronic Ink”，The 1995 ACM SIGMODInternat ionalConference on Management of Data，San Jose，California，1995年5月)使用了局部和全局特征的组合来训练一组HMMs，其模仿手写键(trie)的字母。一个波束检索被用于遍历所述键，并且最大期望节点在每个点扩展。在W，Aref，D.Barbera，D.Lopresti，以及A.Tomkins中，“Ink as a First-Class Datatype in MultimediaDatabases”，Database System：Issues and ResearchDirection，113-163页，1996中，描述了一个算法(称为ScriptSearch)，其用于在一连续的文本流中搜索一手写的短语。所述方法不执行字的分割，相反，它使用动态编程对矢量量化的原始笔划序列进行匹配。还描述了一项技术，其使用基于HMMs的树状结构来检索大的墨水数据库。
Napper等人(在基于澳大利亚临时专利申请No.PR8243的一个共同未决的PCT申请中)描述了一项使用基于文本的查询来检索数字墨水数据库的技术。所述过程使用从一训练数据库产生的一个手写模型将查询文本映射到一与作者相关的特征组，其随后用于对数据库进行顺序的相似性检索
Lopresti等人在D.Lopresti，Y.Ma，以及J.Zhou的“DocumentSearch and Retrieval System with Partial Match Searching ofUser-Drawn Annotations”，美国专利5,832,474，中，公开了一个自动的墨水匹配系统。其说明书描述的处理包括笔划分割、特征抽取、矢量量化、以及使用编辑距离顺序检索的模糊匹配技术。
Bricklin等人在D.Bricklin等人“Graphic Indexing System”，美国专利5,867,150中，描述了一种在用户的指示下建立手写记录索引的方法。在该系统中，该用户使用一套索姿势来指示要索引的墨水区域，并且随后的检索通过用户浏览所述墨水索引集手动来执行。
Barbera等人在D.Barbara，W.Aref，I.Kamel，andP.Vallabhaneni的“Method 10 and Apparatus for Indexing aPlurality of Handwritten Objects”，美国专利号5,649,023，中描述了一个B树数据结构，其被用于索引一组左到右的HMMs，每个HMM表示一个手写的对象。在D.Barbara以及I.Kamel的“Method andApparatus for Similarity Matching of Handwritten Data Objects”，美国专利5,710,916中，他们描述了另一个索引系统，其使用一组全局笔划特征以及一个R树来进行索引。在D.Barbara和H.Korth的“Method and Apparatus for Storage and Retrieval of HandwrittenInformation”，美国专利5,524,240，以及D.Barbara和W.Aref，“Method for Indexing and Searching Handwritten Documents in aDatabase”，美国专利5,553,284中他们描述了一定数量的基于HMM的复杂程度比较低的索引方法。在W.Aref和D.Barbara的“TrieStructure Based Method and Apparatus for Indexing and SearchingHandwritten Databases with Dynamic Search Sequencing”，美国专利5,768,423中公开了一组合的HMM以及键结构检索技术(见W.Aref，D.Barbera，P.Vallabhaneni，“The Handwritten Trie：IndexingElectronic Ink”，The 1995 ACM 25 SIGMOD International Conferenceon Management of Data，San Jose，California，1995年5月)。
Mahmood在T.Mahmood的“Method of Indexing Words in HandwrittenDocument Images Using Image Hash Tables”，美国专利5,953，451中，公开了一种使用几何散列法的手写文件的索引方法(见T.Mahmood，“Indexing of Handwritten Document Images”，Proceedings of the1997 Workshop on Document Image Analysis，1997)。
Hull等人在R.Hull，D.Reynolds以及D.Gupter的“ScribbleMatching”，美国专利6,018,591中，描述了一项技术使用速度最小值来进行笔划分割的草书匹配技术。定义三个匹配算法，一个弹性的匹配器，一个基于形状信息的匹配器(称为一个合成的匹配器)，以及一个基于使用参考线分区进行高度编码的匹配器(称为一个字匹配器)。
Poon等人在A.Poon，K.Weber和T.Cass的“Searching andMatching Unrecogni zed Handwriting”，美国专利5,687,254中，描述了一种使用动态时间变形来检索以及匹配基于姿势的笔迹的方法。此项技术用于建立手写文件的索引以及用于在手写文本上执行“查找和替换”功能。
这就强调了对使用基于笔的计算的对电子文件管理系统的需求，其允许用户存储或检索形式为注解和笔记等的数据，并且可以随后根据手写(即手绘的)查询来检索此数据。
发明内容
根据本发明的广义形式，提供了一种方法，所述方法提供了一可以使用手写检索查询来检索的电子文件管理系统，所述方法包括下列步骤：
使用输入装置与交互式页面的交互，获取手写检索查询，所述交互式页面是不可见编码纸件页面；
通过以下处理来对至少一个数据库进行检索：
在所述手写检索查询的笔划的垂直轴极值坐标处将所述手写检索查询分割成第一分段笔划；
利用区域标准化坐标的方法将所述第一分段笔划映射到第一序列的特征表示；
在存储于所述至少一个数据库中的交互式页面上所作的手写注释的笔划的垂直轴极值坐标处对所述手写注释进行分割，以产生第二分段笔划；
利用区域标准化坐标的方法将所述第二分段笔划映射到第二序列的特征表示；
对所述第一序列和所述第二序列执行平方的欧几里得距离计算，其中加权系数被应用到所述第一序列和所述第二序列的垂直轴坐标；以及
通过根据距离计算来定位最小值，确定在所述手写注释与所述手写检索查询之间的匹配；以及
向用户提供检索结果并且使得对检索结果中标识的至少一交互式页面的访问更容易。
优选地，所述手写检索查询是从输入装置与一交互式页面的交互中获得的。根据另一种优选的方式，所述输入装置是成象笔。
在本发明的一个特定的实施方式中，所述手写检索查询实施在所述至少一个数据库中对手写注释与交互式页面内容的组合的检索。在本发明的另一个特定的实施方式中，所述手写检索查询使得在所选择的文本字符串的给定物理距离内执行对手写注释的检索。还是在本发明的再一个实施方式中，所述手写检索查询是由与一交互式页面上的文本字符串相关的一手绘的环、下划线、弯曲线、十字形、抑扬符号、星号等形成的。
根据本发明的特定实施方式，所述交互式页面以打印的纸件的形式提供给用户。可以选择的是，所述交互式页面在一显示装置上显示给用户。优选地，该手写注释是用户笔迹、符号、图、标记等。
根据本发明另外的实施方式，附加的属性被用于改进检索，并且附加的属性可以包括：
手写注释完成的日期和时间；
使用的特殊的输入装置；
手写注释完成的地理位置；
手写注释在交互式页面上的物理位置；
使用的软件应用程序；和/或
完成手写注释所用的字段类型。
根据本发明的另一个实施方式，所述至少一个数据库可以通过网络远程检索。所述至少一个数据库可以是一个数字图象数据库，包括图片、图画、图象、图形等。
根据本发明的另一个较宽形式的实施方式，其提供了一种方法，所述方法提供一种可以使用手写检索查询来检索的电子文件管理系统，所述方法包括下列步骤：
使用成象笔捕获数字墨水，以形成一个手写的检索查询，所述数字墨水通过所述成象笔与交互式页面的交互来捕获，所述交互式页面是不可见编码纸件页面；
将所述手写检索查询提交到至少一个数据库；
通过以下处理对所述至少一个数据库进行检索：
在所述手写检索查询的笔划的垂直轴极值坐标处将所述手写检索查询分割成第一分段笔划；
利用区域标准化坐标的方法将所述第一分段笔划映射到第一序列的特征表示；
在存储于所述至少一个数据库中的交互式页面上所作的手写注释的笔划的垂直轴极值坐标处对所述手写注释进行分割，以产生第二分段笔划；
利用区域标准化坐标的方法将所述第二分段笔划映射到第二序列的特征表示；
对所述第一序列和所述第二序列执行平方的欧几里得距离计算，其中加权系数被应用到所述第一序列和所述第二序列的垂直轴坐标；以及
通过根据距离计算来定位最小值，确定在所述手写注释与所述手写检索查询之间的匹配；以及
提供检索结果并且使得对检索结果中标识的交互式页面副本的访问更容易。
根据本发明的再一个较宽形式的实施方式，其提供了一种装置，所述装置提供一种可以使用手写检索查询来检索的电子文件管理系统，所述装置包括：
(1)至少一个用于存储交互式页面的数据库；
(2)一个输入装置；
(3)用于提供或者显示一交互式页面的装置；
一个处理器，所述处理器适用于：(A)从所述输入设备接收手写检索查询，所述手写检索查询通过所述输入装置与交互式页面的交互来获得，所述交互式页面是不可见编码纸件页面；
(B)向所述至少一个数据库提交所述手写检索查询；
从而，根据所述手写检索查询与在存储在至少一个数据库中的交互页面上所作的手写注释之间的对照，对所述至少一数据库进行检索，并且检索结果被提供或者显示给一用户。
根据本发明的再一个较宽形式的实施方式，其提供了一种装置，所述装置提供一种可以使用手写检索查询来检索的电子文件管理系统，所述装置包括：
(1)至少一个用于存储交互式页面的数据库；
(2)一成象笔，用于产生形成手写检索查询的数字墨水；
(3)用户访问一交互式页面的装置；
(4)一个处理器，所述处理器可以适用于：
(A)从所述成象笔接收手写检索查询，所述手写检索查询通过所述成象笔与交互式页面的交互来获得，所述交互式页面是不可见编码纸件页面；
(B)向所述至少一个数据库提交所述手写检索查询；
从而，根据手写检索查询与在存储在至少一个数据库中的交互式页面上所作的手写注释之间的对照，对所述至少一个数据库进行检索，并且用户可以访问此检索结果。
附图说明
通过以下结合附图对本发明的优选实施例而非限制性实施例的举例描述，本发明会变得更加清楚，在所述附图中：
图1(现有技术)示出了网页系统结构。
图2示出了一处理系统。
图3示出了每笔划的点的最佳化的曲线。
图4示出了表示Y加权的最佳化的曲线。
图5示出了替代加权的最佳化的曲线。
图6示出了VQ距离权重的最佳化的曲线。
具体实施方式
下列描述的实施方式被应用于本发明的书面说明和附加的权利要求中，目的是提供对本发明的主题的更精确的理解。
优选的实施方式
本发明提供了一种方法和设备，用于提供可以由一手写的检索查询即数字墨水检索查询进行检索或者索引的电子文件管理系统。
数字墨水检索
数字墨水的持久和数字墨水检索的组合使得有可能实现许多高度期望的服务。由于由用户写入或者描绘在交互式页面上的所有信息被永久地存储，该用户能够针对若干关键字或者图示检索注释、记录、评论以及其他的手写的信息，能够对所有书面信息进行快速和方便的访问。另外，不需要保留所述手写信息的物理拷贝，原因是可以容易地将笔迹和绘画放置在永久性数据库中以及被复制。
数字墨水检索程序并不被限制为简单地匹配查询文本，并且附加的属性可以用于更精确地指定所期望的信息。这些属性的例子包括：笔迹的日期和时间，用于产生所述笔迹的笔，笔迹产生的地理位置，与所述笔迹相关的应用程序(例如电子邮件或者笔记本)，包括所述笔迹的字段类型(例如文本输入字段，一个绘图字段)，注释或者文本在所述页面上的位置等等。
除此之外，可以通过将手写注释与文件内容组合起来而建立复杂的查询。这样的例子包括检索手写注释，所述手写注释在一打印文本字符串页面或包含某一打印文本字符串的手绘套索或者环(即椭圆环的形式)页面上的某一距离内。
这样就具有了可以使用注释来索引任何文件的能力。例如，通过以一个或者多个分类描述来注释文件使“虚拟档案柜”功能成为可能。用户简单地写下有关来自任意来源(例如笔记本中的若干页，新闻纸或者技术杂志中的文章，与同事的通信)的文件的描述或者一个或多个关键词，并且在后来的日子可以使用数字墨水检索来定位或者复制此信息。此系统允许组织、索引以及检索的级别大大超过传统文件管理系统所提供的级别范围，因为文件可以由任意数量的目录来检索，检索可以自动地执行(而不是用手动进行)，并且信息可以在提供对在线系统的访问的任何地方得到。
基于笔的查询也允许检索笔迹之外的信息。手绘图片检索可以用于定位一笔记本中的绘图和图表，并且可以用于检索来检索一个在线相册或者商业图象库，以寻找包括期望的视觉特征或者视觉特征组的图片。
本发明的实施方式可以使用如图2中的例子所示的处理系统来实现。特别地，处理系统10可用于提供如图1中所示的“客户层”设备。处理系统10通常包括至少一个处理器20，一个存储器21，以及一个输入装置22，例如网页编码页(例如交互式页面)以及成象笔，一个输出装置23，例如一打印机或者一显示器，并且其部件通过所示的总线或者其他的通信路径24连接在一起。也提供了一个如25所示的外部接口，用于将处理器系统连接到数据库11。所述数据库11至少是部分地包括可检索的数字墨水。
在一个替代实施方式中，输入装置22可以是由一监视器或者显示器提供的交互式页面。所述监视器或者显示器可以是触敏的，以跟踪笔的位置，或者可以使用其他的系统，例如光笔或者是位置敏感的笔，以便于手写或者手绘数据的输入。
使用时，处理系统10被适配，以允许向数据库11存入和/或由其检索数据。处理器20通过输入22接收一个检索查询，例如一个墨水查询。从这一点上可以看出，所述处理系统10可以是任意形式的处理系统或者终端，例如计算机、便携式电脑、服务器、专用硬件等。
数字墨水检索是指根据一些相似性规则检索连续的墨水流以寻找与一输入查询最匹配的图案的过程
所述数字墨水检索程序允许在子串(例如“scope”应当与“telescope”和“microscope”匹配)、字以及短语上的匹配。另外，也支持布尔检索操作符例如AND，OR以及NOT。所述处理也支持对包括草书、打印的以及混合的(即草书以及打印成份的混合)笔迹的数据库的检索，并且优选地其应该是对大小写字母区分不敏感的。
当检索查询是这里提出的墨水查询时，用于墨水检索的可能的算法通过比较检索精度(即结果的准确性)、性能，以及数据存储和处理开销来评估。这里使用的精度量度是简单地对由检索算法返回的正确项目的等级求和，使用所执行的查询数量进行标准化，从而给出平均的正确项目位置。例如，如果对于一系列查询，检索算法返回在等级0(即第一)、1和2的正确位置，那么所述精度量度为(0+1+2)/3＝1，指示正确的结果的平均值等级为第二级。显然，比较低的精度值优于比较高的值。
这里讨论的用于确定最佳处理的实验数据库包括十五页的草书(大约4000字)，以及由单个作者使用CrossPad便携式数字笔记本写入的印刷文本。
除此之外，还使用Wacom Intuos图形输入板建立了135个书面查询，每个查询包括可以在所述数据库文本中找到的一个书面字或者字的序列。所述数据库中的匹配文本的正确位置的页和笔划被记录，以允许为所述检索算法计算精度量度。
预处理
首先使用霍夫变换来标准化每页文本的定位，如A.Rosenthal，J.Hu以及M.Brown，“Size and orientation normalization of on-linehandwriting using Hough transform”，ICASSP′97，Munich，Germany，1997年4月，得到了基本上水平的文本行。也可以使用一定数量的可选的定位标准化方案，包括该处理的改进版，描述在M.Morita，S.Garnes，J.Facon，F.Bortolozzi，J.Facon，以及R.Sabourin的“MathematicalMorphology and Weighted Least Squares to Correct HandwritingBasel ineSkew”，Fifth International Conference on DocumentAnalysis and Recognition(ICDAR′99)，Bangalore(India)，1999年9月20-22日，430-433页中。
为了执行行分割，首先使用按时间顺序的墨水笔划检测潜在的行分割点。通常，通过识别向下以及向左的移动可以检测拉丁手迹中的新行。当然，其他的跳行也是可能的，例如文件中的签名，其中笔的移动可能是向下的并且是向右的。结果是，任何显著的向下移动都被当作潜在的断行。
为了执行行分割，比较笔划的边界框与当前行的基线，所述基线是使用识别所述文本区域的水平的投影直方图而计算的，见R.Powalka，“Extracting and using reliable zoning information”，InteralReport.Department of Computing，The Nottingham TrentUniversity，1993年12月9日。如果笔划边界落到所述基线以下，就产生一个断行的假设。为了验证该假设，建立一个新行并且计算用于笔划的文本区域，直到出现下一个断行假设。如果新行的区域完全地落在先前行的区域以下，则假设被确认并且接受断行。否则，所述断行被拒绝并且笔划被合并回到先前的行中。处理继续进行一直到页面上的所有笔划都被处理完成。行分割处理的结果是得到表示每一行的一组笔划分组，以及每一行的分区信息。
子串检索
数字墨水检索被定义为在墨水数据库中放置所有墨水查询的情况。但是传统的数据库检索以及索引方案不适合用于数字墨水检索，原因是笔迹在形状和结构方面有很大程度的变化。由于同一作者两次所写的字在笔划的数量和顺序以及那些笔划的形状和位置上具有不同之处，因此，应使用一种近似的字符串匹配技术，例如编辑距离计算，见R.Wagner以及M.Fischer，“The String-to-String Correction Problem”，Journalof the Association for Computing Machinery，21(1)，168-173页，1974年。
编辑距离计算d(X，y)被定义为仅使用符号插入、删除以及替换操作将序列X＝{x1，...，xm}转换为序列Y＝{y1，...，yn}所需要的最低成本，并且可以使用动态编程来解决：
d0，0＝0
di，0＝di-1，0+cins(xi)   1≤i≤m
d0，j＝d0，j-1+cdel(yj)   1≤j≤n
并且对于1≤i≤m且1≤j≤n：
d i , j = min d i - 1 , j + c ins ( x i ) d i , j - 1 + c del ( y i ) d i - 1 , j - 1 + c sub ( x i , y i )
上面给出的标准的编辑距离算法需要序列X与整个长度Y匹配。但是检索作为Y的子序列的序列X需要对所述计算进行改变以允许查询序列开始在数据库序列中的任意点开始匹配：
d0，j＝0
为了执行数字墨水检索，所述墨水查询以及数字墨水数据库的每个被映射到一原始单元序列，并且在所述序列上执行编辑距离计算。成本值cdel(xi)和cins(yＸ)被定义为被插入或者删除的墨水xi的长度，而csub(xi，yi)被认为是两个笔划之间的欧几里得距离(除非另外指定)。
数字墨水数据库中的匹配是通过寻找dmj的最小值并且跟踪回到所述序列匹配的起点的最小成本路径被发现，这里，能够发现所述匹配的页码以及笔划偏置。这些匹配被记录并且通过记分来分级。注意由于相邻笔划的插入和删除可能产生许多低分数密集聚集的结果，所以一个匹配序列可以产生多个匹配。作为结果，只有某一窗口内的最小值被报告为所述的匹配分数。
其他的例子
下面的例子提供了用于提供数字墨水检索功能的一种可能的装置的更详细的轮廓。这些例子的目的仅是用于说明性的而不是用于限制本发明的范围。其他形式的检索也是可能的。
笔划分割
为了执行正确的字符串匹配，所述数字墨水数据库以及墨水查询被分割成原始单元序列。使用8个区域标准化的坐标(表2中所描述)作为特征，测试一定数量的标准的笔划分割方案，。对于所有的分割方法，分割点只在当在该点出分割该笔划所产生的子笔划都大于(从区域高度得到的)最小长度时才被使用。该结果被汇总在表格1中：
 
分割方案 精度
Y最小值 19.47
Y极值 3.04
角极值 20.23
表1.笔划分割结果
在Y坐标极值处的分割产生最精确的结果。注意此分割方法的处理费用也高于其他的方案，由于发现许多另外的分割点(由此发现子笔划单元)，导致所述顺序检索程序中很多另外的步骤。但是，由精确的结果反映的此方法的改进的精度来看，该费用是值得的。
特征选择
为了执行墨水查询与数据库序列之间的相似性匹配，所述分割的笔划被映射到允许执行距离计算的特征表示。测试一定数量的公共特征表示被：
 
名称 描述 精度
边界标准化的坐标 子笔划的坐标被重新取样到8个等距离的点，并且由整个笔划的边界矩形标准化。 39.34
区域标准化的坐标 子笔划的坐标被重新取样到8个等距离的点，并且Y坐标被中间区域标准化，X坐标被所述子笔划的边界矩形的宽度标准化。 3.04
曲率 表示沿其长度等距离重新取样的子笔划的曲率的8个角度。 35.01
 
角度 表示沿其长度等距离重新取样的所述子笔划的定位的8个角度。 30.20
NICI特征 由Nijmegen　Institute　for　Cognition　andInformation(NICI)提出的特征组(如L.Schomaker，H.Teulings，E.Helsper，以及G.Abbink，“Adaptive recognition of online，cursivehandwriting”，Proceedings of the SixthInternational Conference on Handwriting andDrawing.Paris，July，4-7：Telecom，(19-21页)，1993年中所定义的。)此特征组包括9个角度，3个笛卡儿座标，以及两个结构特征。注意所述笛卡儿特征由区域高度标准化并且乘以一个加权系数(根据前面的最佳化实验对本实验设置为1.8)。 5.23
Rubine特征 由Dean Rubine在姿势识别的正文中提出的特征组(见D.Rubine，“Specifying Gestures byExample.”Computer Graphics，329-337页，1991年8月)并且被应用到数字墨水检索中，见W，Aref，D.Barbera，D.Lopresti，and A.Tomkins，“Inkas a First-Class Datatype in Multimedia Databases”，Database System：Issues and Research Direction，113-163页，1996年。此特征组使用13个主要的全局特征来描述笔划(注意最后两个基于动态信息的特征没有被使用)。 6.90
表2.特征选择结果
由于所述Rubine组中的特征的高度关联的性质以及特征幅度的大的改变，在使用这些特征时，Mahalanobis距离(见R.Duda和P.Hart，PatternClassification and Scene Analysis，WileyInterscience，1973年)被用作所述检索程序的距离量度：
d2＝(x-y)′Σ-1(x-y)
其中∑是从数据库中的特征导出的协方差矩阵。
令人吃惊的是，所述区域标准化的坐标方法产生了最高检索精度的测试的特征表示。此特征组被用于所有后续的实验。
参数最佳化
在已经确定笔划分割方案和特征表示的情况下，采取实验以最佳化所述特征生成参数。为此，使用在每一步骤修改的单个参数重复执行所述检索程序。图3描绘了改变每个子笔划的点数的结果，最佳值被发现为是4(即每个子笔划8个特征)。
基于人-马达系统特性对产生笔迹的研究建议(见L.Schomaker和H.Teulings的文章“A Handwriting Recognition System basedon the Properties and Architectures of the Human Motor System”Proceedings of the International Workshop on Frontiers inHandwriting Recognition(IWFHR)195-211页.Montreal：CENPARMIConcordia，1990)笔划的垂直部分(即Y坐标)具有最高的信噪比(SNR)并且包括比水平部分更多的信息。为了对此进行利用，一系列加权被应用到特征的Y坐标，结果显示在图4中。Y加权的最佳值被发现为大约1.5。
插入/删除花费(cdel and cins)与替换花费(csub)之间的比率将会影响所述最佳路径计算，并且从而影响检索程序的精度。此比率可以通过应用一个权重α来改变，使
d i , j = min d i - 1 , j + c del ( x i ) d i , j - 1 + c ins ( y i ) d i - 1 , j - 1 + αc sub ( x i , y i )
图5示出了改变替换权重参数的结果，使用权重1(即不加权)产生的结果接近于最佳结果。
性能最佳化
通过对检索程序过程的描述，可以看到主要的时间花在了欧几里得距离计算上。为了提高性能，替换使用了具有加权系数的平方的欧几里得距离，在速度提高了25％的情况下产生同样的精度。通过展开所述平方的欧几里得距离计算可获得进一步的改进。
为了进一步地提高性能，可以使用标准的K-means clustering(见R.Duda和P.Hart，Pattern Classification and Scene Analysis，Wiley Interscience，1973年)来实现对子笔划的矢量量化，其中，欧几里得距离计算被码字距离的表格查找所代替(距离权重的最佳化被详细地描述在图6中)。但是，尽管这样做比最佳平方欧几里得距离技术产生35％的性能提高，检索结果的精度受到了相反的影响。所述性能最佳化结果被汇总在表3中：
 
最佳化 性能 精度
欧几里得距离 1.00 0.67
平方的欧几里得距离 0.76 0.64
展开的ED循环 0.61 0.64
矢量量化 0.39 2.43
表3.性能最佳化结果
全笔划匹配
上面描述的试验允许将查询与检索数据库中任意的子串匹配。但是，不允许子笔划匹配并且要求待被完全匹配或者完全不匹配的笔划能够得到高精度的结果。为此，对表示一笔划中第一子笔划的检索矩阵中的所有的列设置d0，j＝0，否则：
d0，j＝d0，j-1+cdel(yj)     1≤j≤n
另外，分数只在笔划边界处计算(即在数据库中的整个笔划已经被匹配之后)。使用此方法，可提高检索的精度，与上面给出的之前的最好结果0.64相比具有0.17的精度结果。表4示出了这些结果，以及最差匹配的等级以及其正确结果的等级被定为第1级的查询的百分数：
 
名称 精度 最差等级 定为1级
子笔划匹配 0.64 24 82％
全笔划匹配 0.17 8 93％
表4.全笔划匹配结果
很明显，如果所述检索不需要子笔划匹配，强制笔划完整匹配会导致更加精确的查询结果。
因此，基于在Y极值处分割的笔划使用匹配程序可获得改进的检索结果，其中，每个子笔划由所述区域标准化的坐标的一个特征组来表示，优选地为四个等距离的点。可以通过在特征组中对Y坐标进行加权来获得精度上的附加增益。使用全笔划匹配程序，93％的查询将正确的位置作为最好的匹配返回，同时最坏的结果将正确的位置定级到第八位置。
上面讨论的所有算法执行线性时间检索。高级的性能可以使用索引或者过滤技术来获得。另外，可以分析字的边界，这对于提高字级别匹配可能是有用的。类似的技术也可以用于使用手绘查询检索图象数据库。
因此，已经根据本发明提供了一种方法和装置，用以提供可以由一手写的检索查询来检索或者索引的电子文件管理系统。
本发明也可以从广义上说单独地包括在本申请的说明书中提及或指示的部件、单元以及特征，或者组合地包括所述部件、单元以及特征中的一个或多个的任意或所有组合，这里提到具有本发明涉及的现有技术中的已知等效技术的特定的整数，该已知等效技术被认为包括在其中，如同单独描述的一样。
尽管详细地描述了优选的实施方式，应该理解的是可以由本领域中的普通技术人员在不脱离这里描述的以及后面权利要求的范围的情况下作出各种改变、替换以及变更。

Claims (15)

1.一种提供可以使用手写的检索查询来检索的电子文件管理系统的方法，所述方法包括下列步骤：
使用输入装置与交互式页面的交互，获得手写检索查询，所述交互式页面是不可见编码纸件页面；
通过以下处理来对至少一个数据库进行检索：
在所述手写检索查询的笔划的垂直轴极值坐标处将所述手写检索查询分割成第一分段笔划；
利用区域标准化坐标的方法将所述第一分段笔划映射到第一序列的特征表示；
在存储于所述至少一个数据库中的交互式页面上所作的手写注释的笔划的垂直轴极值坐标处对所述手写注释进行分割，以产生第二分段笔划；
利用区域标准化坐标的方法将所述第二分段笔划映射到第二序列的特征表示；
对所述第一序列和所述第二序列执行平方的欧几里得距离计算，其中加权系数被应用到所述第一序列和所述第二序列的垂直轴坐标；以及
通过根据距离计算来定位最小值，确定在所述手写注释与所述手写检索查询之间的匹配；以及
向用户提供检索结果并且使用户能够容易地访问检索结果中标识的至少一交互式页面。
2.如权利要求1所述的方法，其中，检索结果中标识的交互式页面在一显示装置上显示给用户。
3.如权利要求1所述的方法，其中，手写注释是笔迹、符号、绘图、标记中的一个或多个。
4.如权利要求1所述的方法，其中，所述输入装置是成象笔。
5.如权利要求1所述的方法，其中，所述手写检索查询实施在所述至少一个数据库中对手写注释与交互式页面内容的组合的检索。
6.如权利要求1所述的方法，其中，所述手写检索查询使检索针对指定文本字符串的给定物理距离内的手写注释进行。
7.如权利要求1所述的方法，其中，所述手写检索查询试图匹配与一交互式页面上的文本字符串相关的手绘环、下划线、弯曲线、十字形、抑扬符号、星号中的至少一项。
8.如权利要求1所述的方法，其中，所述方法被用于定位电子文件，所述电子文件使用手写注释来索引或者分类。
9.如权利要求1所述的方法，其中，所述输入装置和/或交互式页面的附加属性被用于允许更灵活的检索。
10.如权利要求9所述的方法，其中，所述附加属性包括：
手写注释完成的日期或时间；
所使用的特定的输入装置；
手写注释完成的地理位置；
手写注释在交互式页面上的物理位置；
与包含所述手写注释的页面区域相关的软件应用程序；
手写注释；和/或
手写注释完成的字段类型。
11.如权利要求1所述的方法，其中，所述至少一个数据库可以通过一网络进行远程检索。
12.如权利要求1所述的方法，其中，所述交互式页面、所述输入装置以及所述至少一个数据库形成网页系统的一部分。
13.如权利要求1所述的方法，其中，所述方法使用检索查询的全笔划匹配。
14.如权利要求1所述的方法，其中，所述至少一个数据库是一个数字图象数据库，包括图片、图画、图象、图形中的一个或多个。
15.一种提供可以使用手写的检索查询来检索的电子文件管理系统的方法，所述方法包括下列步骤：
使用成象笔捕获数字墨水，以形成一个手写的检索查询，所述数字墨水通过所述成象笔与交互式页面的交互来捕获，所述交互式页面是不可见编码纸件页面；
将所述手写检索查询提交到至少一个数据库；
通过以下处理对所述至少一个数据库进行检索：
在所述手写检索查询的笔划的垂直轴极值坐标处将所述手写检索查询分割成第一分段笔划；
利用区域标准化坐标的方法将所述第一分段笔划映射到第一序列的特征表示；
在存储于所述至少一个数据库中的交互式页面上所作的手写注释的笔划的垂直轴极值坐标处对所述手写注释进行分割，以产生第二分段笔划；
利用区域标准化坐标的方法将所述第二分段笔划映射到第二序列的特征表示；
对所述第一序列和所述第二序列执行平方的欧几里得距离计算，其中加权系数被应用到所述第一序列和所述第二序列的垂直轴坐标；以及
通过根据距离计算来定位最小值，确定在所述手写注释与所述手写检索查询之间的匹配；以及
提供检索结果并且使得对在检索结果中标识的交互式页面副本的访问更容易。
CNB038030780A 2002-01-31 2003-01-13 可以通过手写检索查询来检索的电子文件管理系统 Expired - Fee Related CN100511219C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
AUPS0203 2002-01-31
AUPS0203A AUPS020302A0 (en) 2002-01-31 2002-01-31 Methods and systems (npw007)

Publications (2)

Publication Number Publication Date
CN1625741A CN1625741A (zh) 2005-06-08
CN100511219C true CN100511219C (zh) 2009-07-08

Family

ID=3833809

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB038030780A Expired - Fee Related CN100511219C (zh) 2002-01-31 2003-01-13 可以通过手写检索查询来检索的电子文件管理系统

Country Status (5)

Country Link
US (3) US7630962B2 (zh)
EP (1) EP1479013A4 (zh)
CN (1) CN100511219C (zh)
AU (1) AUPS020302A0 (zh)
WO (1) WO2003065246A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106022206A (zh) * 2015-03-26 2016-10-12 联想（新加坡）私人有限公司 改进的手写数据搜索的方法、装置及产品

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7155061B2 (en) * 2000-08-22 2006-12-26 Microsoft Corporation Method and system for searching for words and phrases in active and stored ink word documents
AUPS020302A0 (en) 2002-01-31 2002-02-21 Silverbrook Research Pty. Ltd. Methods and systems (npw007)
AU2003900865A0 (en) * 2003-02-26 2003-03-13 Silverbrook Research Pty Ltd Methods, systems and apparatus (NPW010)
US20040196306A1 (en) * 2003-04-04 2004-10-07 Microsoft Corporation Method and system for flagging digital ink note content
US7660466B2 (en) 2003-08-15 2010-02-09 Silverbrook Research Pty Ltd Natural language recognition using distributed processing
AU2004265700B2 (en) * 2003-08-15 2008-10-02 Silverbrook Research Pty Ltd Natural language recognition using distributed processing
US7284192B2 (en) * 2004-06-24 2007-10-16 Avaya Technology Corp. Architecture for ink annotations on web documents
US7970763B2 (en) * 2006-02-21 2011-06-28 Microsoft Corporation Searching and indexing of photos based on ink annotations
US20070236471A1 (en) * 2006-04-11 2007-10-11 I-Hau Yeh Multi-media device
US20080104020A1 (en) * 2006-10-27 2008-05-01 Microsoft Corporation Handwritten Query Builder
US8347206B2 (en) 2007-03-15 2013-01-01 Microsoft Corporation Interactive image tagging
JP2009080773A (ja) * 2007-09-27 2009-04-16 Fuji Xerox Co Ltd 筆記情報管理装置、筆記情報管理システムおよび筆記情報管理プログラム
JP2009098764A (ja) * 2007-10-15 2009-05-07 Hitachi Ltd 行為管理システムおよび行為管理方法
US20100114871A1 (en) * 2008-10-31 2010-05-06 University Of Southern California Distance Quantization in Computing Distance in High Dimensional Space
JP5589466B2 (ja) * 2010-03-17 2014-09-17 ソニー株式会社 情報処理装置、プログラム、記録媒体および情報処理システム
US20130155463A1 (en) * 2010-07-30 2013-06-20 Jian-Ming Jin Method for selecting user desirable content from web pages
US8447752B2 (en) * 2010-09-16 2013-05-21 Microsoft Corporation Image search by interactive sketching and tagging
KR20120085023A (ko) * 2011-01-21 2012-07-31 주식회사 팬택 복수의 클립보드 저장 데이터를 이용한 검색 기능을 가진 단말기 및 이를 이용한 검색 서비스 제공 방법
TWI544350B (zh) * 2011-11-22 2016-08-01 Inst Information Industry Input method and system for searching by way of circle
US9070012B1 (en) 2012-01-11 2015-06-30 Sr2 Group, Llc System and method for uncued discrimination of bated features in image
US8935283B2 (en) 2012-04-11 2015-01-13 Blackberry Limited Systems and methods for searching for analog notations and annotations
JP5395927B2 (ja) * 2012-05-11 2014-01-22 株式会社東芝 電子機器および手書き文書検索方法
JP5694236B2 (ja) * 2012-05-28 2015-04-01 株式会社東芝 文書検索装置、方法およびプログラム
US8958644B2 (en) * 2013-02-28 2015-02-17 Ricoh Co., Ltd. Creating tables with handwriting images, symbolic representations and media images from forms
JP6142580B2 (ja) * 2013-03-07 2017-06-07 株式会社リコー 情報処理システム、情報登録方法、会議装置及びプログラム
US9558400B2 (en) * 2013-03-07 2017-01-31 Ricoh Company, Ltd. Search by stroke
US9384217B2 (en) * 2013-03-11 2016-07-05 Arris Enterprises, Inc. Telestration system for command processing
US9275480B2 (en) 2013-04-24 2016-03-01 Microsoft Technology Licensing, Llc Encoding of line pattern representation
US9317125B2 (en) * 2013-04-24 2016-04-19 Microsoft Technology Licensing, Llc Searching of line pattern representations using gestures
US9721362B2 (en) 2013-04-24 2017-08-01 Microsoft Technology Licensing, Llc Auto-completion of partial line pattern
KR20150007577A (ko) * 2013-07-11 2015-01-21 삼성전자주식회사 데이터 병합을 제어하는 휴대 단말 및 방법
KR20150018127A (ko) 2013-08-09 2015-02-23 삼성전자주식회사 디스플레이 장치 및 그 방법
US10114808B2 (en) 2014-05-07 2018-10-30 International Business Machines Corporation Conflict resolution of originally paper based data entry
CN104239541A (zh) * 2014-09-23 2014-12-24 陈包容 一种移动终端基于图形识别查找文件的方法及系统
US20160154555A1 (en) * 2014-12-02 2016-06-02 Lenovo (Singapore) Pte. Ltd. Initiating application and performing function based on input
FR3038100A1 (fr) * 2015-06-26 2016-12-30 Orange Procede de reconnaissance d'ecriture manuscrite sur une surface physique
US10228775B2 (en) * 2016-01-22 2019-03-12 Microsoft Technology Licensing, Llc Cross application digital ink repository
US10437845B2 (en) * 2016-05-05 2019-10-08 Corsearch, Inc. System and method for displaying search results for a trademark query in an interactive graphical representation
CN108304404B (zh) * 2017-01-12 2022-02-11 北京大学 一种基于改进的Sketch结构的数据频率估计方法
US20180300301A1 (en) * 2017-04-18 2018-10-18 Microsoft Technology Licensing, Llc Enhanced inking capabilities for content creation applications
US10970476B2 (en) 2017-05-17 2021-04-06 Microsoft Technology Licensing, Llc Augmenting digital ink strokes
CN107203748B (zh) * 2017-05-18 2020-12-22 南京大学 一种基于内容的网页笔记存储、匹配和还原的方法和装置
CN107741991A (zh) * 2017-11-03 2018-02-27 广州视源电子科技股份有限公司 一种文件快速查询的方法、装置、设备及存储介质
US10353997B1 (en) * 2018-04-09 2019-07-16 Amazon Technologies, Inc. Freeform annotation transcription
US10997402B2 (en) * 2018-07-03 2021-05-04 Fuji Xerox Co., Ltd. Systems and methods for real-time end-to-end capturing of ink strokes from video
CN112444868B (zh) * 2019-08-30 2024-04-09 中国石油化工股份有限公司 一种基于改进的k均值算法的地震相分析方法
US11455322B2 (en) * 2020-05-12 2022-09-27 International Business Machines Corporation Classification of time series data
CN113515980B (zh) * 2020-05-20 2022-07-05 阿里巴巴集团控股有限公司 模型训练方法、装置、设备和存储介质
CN111651674B (zh) * 2020-06-03 2023-08-25 北京妙医佳健康科技集团有限公司 双向搜索方法、装置及电子设备
CN111858603B (zh) * 2020-07-23 2023-05-26 浙江永旗区块链科技有限公司 区块链的数据写入方法及系统
CN113407921B (zh) * 2021-06-30 2023-04-07 重庆建安仪器有限责任公司 一种笔迹识别的登录方法
CN115953785B (zh) * 2023-03-15 2023-05-16 山东薪火书业有限公司 基于教辅图书内容增强的数字化编辑系统
CN117085969B (zh) * 2023-10-11 2024-02-13 中国移动紫金(江苏)创新研究院有限公司 人工智能工业视觉检测方法、装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0686931A2 (en) * 1994-06-06 1995-12-13 Xerox Corporation Searching and matching unrecognized handwriting
US5809498A (en) * 1993-04-29 1998-09-15 Panasonic Technologies, Inc. Method of locating a penstroke sequence in a computer
US5832474A (en) * 1996-02-26 1998-11-03 Matsushita Electric Industrial Co., Ltd. Document search and retrieval system with partial match searching of user-drawn annotations
US6130962A (en) * 1997-06-06 2000-10-10 Matsushita Electric Industrial Co., Ltd. Information retrieval apparatus for enabling information retrieval with ambiguous retrieval key
WO2000072125A1 (en) * 1999-05-25 2000-11-30 Silverbrook Research Pty Ltd Method and system for note taking
EP0691623B1 (en) * 1994-07-04 2001-10-04 Hewlett-Packard Company, A Delaware Corporation Scribble matching

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US686931A (en) * 1900-11-17 1901-11-19 Arthur C Badger Fire-extinguisher.
US691623A (en) * 1901-04-06 1902-01-21 Alfred Harris Miner's hat.
US2306669A (en) * 1940-11-12 1942-12-29 Du Pont Vulcanization of rubber
US6002799A (en) * 1986-07-25 1999-12-14 Ast Research, Inc. Handwritten keyboardless entry computer system
US4864618A (en) 1986-11-26 1989-09-05 Wright Technologies, L.P. Automated transaction system with modular printhead having print authentication feature
US5051736A (en) 1989-06-28 1991-09-24 International Business Machines Corporation Optical stylus and passive digitizing tablet data input system
US5852434A (en) 1992-04-03 1998-12-22 Sekendur; Oral F. Absolute optical position determination
US5477012A (en) 1992-04-03 1995-12-19 Sekendur; Oral F. Optical position determination
US5652412A (en) 1994-07-11 1997-07-29 Sia Technology Corp. Pen and paper information recording system
US5661506A (en) 1994-11-10 1997-08-26 Sia Technology Corporation Pen and paper information recording system using an imaging pen
US6081261A (en) 1995-11-01 2000-06-27 Ricoh Corporation Manual entry interactive paper and electronic document handling and processing system
US5933823A (en) * 1996-03-01 1999-08-03 Ricoh Company Limited Image database browsing and query using texture analysis
US5692073A (en) 1996-05-03 1997-11-25 Xerox Corporation Formless forms and paper web using a reference-based mark extraction technique
US6525716B1 (en) * 1997-04-01 2003-02-25 Casio Computer Co., Ltd. Handwritten data input device having coordinate detection tablet
US6518950B1 (en) 1997-10-07 2003-02-11 Interval Research Corporation Methods and systems for providing human/computer interfaces
US6138129A (en) 1997-12-16 2000-10-24 World One Telecom, Ltd. Method and apparatus for providing automated searching and linking of electronic documents
US6330976B1 (en) * 1998-04-01 2001-12-18 Xerox Corporation Marking medium area with encoded identifier for producing action through network
WO1999050751A1 (en) 1998-04-01 1999-10-07 Xerox Corporation Routing document identifiers
US6964374B1 (en) 1998-10-02 2005-11-15 Lucent Technologies Inc. Retrieval and manipulation of electronically stored information via pointers embedded in the associated printed material
US6459442B1 (en) * 1999-09-10 2002-10-01 Xerox Corporation System for applying application behaviors to freeform data
US6519603B1 (en) * 1999-10-28 2003-02-11 International Business Machine Corporation Method and system for organizing an annotation structure and for querying data and annotations
US6681044B1 (en) * 2000-03-29 2004-01-20 Matsushita Electric Industrial Co., Ltd. Retrieval of cursive Chinese handwritten annotations based on radical model
JP3905418B2 (ja) * 2001-05-18 2007-04-18 セイコーインスツル株式会社 電源装置および電子機器
AUPS020302A0 (en) 2002-01-31 2002-02-21 Silverbrook Research Pty. Ltd. Methods and systems (npw007)

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5809498A (en) * 1993-04-29 1998-09-15 Panasonic Technologies, Inc. Method of locating a penstroke sequence in a computer
EP0686931A2 (en) * 1994-06-06 1995-12-13 Xerox Corporation Searching and matching unrecognized handwriting
EP0691623B1 (en) * 1994-07-04 2001-10-04 Hewlett-Packard Company, A Delaware Corporation Scribble matching
US5832474A (en) * 1996-02-26 1998-11-03 Matsushita Electric Industrial Co., Ltd. Document search and retrieval system with partial match searching of user-drawn annotations
US6130962A (en) * 1997-06-06 2000-10-10 Matsushita Electric Industrial Co., Ltd. Information retrieval apparatus for enabling information retrieval with ambiguous retrieval key
WO2000072125A1 (en) * 1999-05-25 2000-11-30 Silverbrook Research Pty Ltd Method and system for note taking

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106022206A (zh) * 2015-03-26 2016-10-12 联想（新加坡）私人有限公司 改进的手写数据搜索的方法、装置及产品

Also Published As

Publication number Publication date
US7925663B2 (en) 2011-04-12
US20110153633A1 (en) 2011-06-23
US20100063980A1 (en) 2010-03-11
EP1479013A4 (en) 2006-04-05
US8412710B2 (en) 2013-04-02
US7630962B2 (en) 2009-12-08
US20050154707A1 (en) 2005-07-14
WO2003065246A1 (en) 2003-08-07
EP1479013A1 (en) 2004-11-24
AUPS020302A0 (en) 2002-02-21
CN1625741A (zh) 2005-06-08

Similar Documents

Publication Publication Date Title
CN100511219C (zh) 可以通过手写检索查询来检索的电子文件管理系统
Nagy Twenty years of document image analysis in PAMI
Mao et al. Document structure analysis algorithms: a literature survey
CN101297319B (zh) 在电子文档中嵌入热点
JP2011018316A (ja) 文書区分識別用の区分モデルを生成するための方法及びプログラム、文書の区分を識別するための方法及びプログラム、及び画像処理システム
Wang et al. A coarse-to-fine word spotting approach for historical handwritten documents based on graph embedding and graph edit distance
Schroth et al. Exploiting text-related features for content-based image retrieval
Abidi et al. Towards searchable digital urdu libraries-a word spotting based retrieval approach
Saba et al. Online versus offline Arabic script classification
Ataer et al. Matching ottoman words: an image retrieval approach to historical document indexing
Ataer et al. Retrieval of ottoman documents
Fornés et al. A keyword spotting approach using blurred shape model-based descriptors
Uddin et al. Recognition of printed Urdu ligatures using convolutional neural networks
Saabni et al. Word spotting for handwritten documents using chamfer distance and dynamic time warping
Rusiñol et al. Symbol Spotting in Digital Libraries
Aouadi et al. Word spotting for arabic handwritten historical document retrieval using generalized hough transform
Diem et al. Semi-automated document image clustering and retrieval
Srihari et al. Language independent word spotting in scanned documents
Cao et al. Vector model based indexing and retrieval of handwritten medical forms
Wahlberg et al. Data mining medieval documents by word spotting
Nagy Document analysis systems that improve with use
Barrett et al. Digital mountain: From granite archive to global access
Xiong et al. Improving text-independent chinese writer identification with the aid of character pairs
Mehri Historical document image analysis: a structural approach based on texture
Rusiñol Sanabra Geometric and structural-based symbol spotting: application to focused retrieval in graphic document collections

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20090708

Termination date: 20130113

CF01 Termination of patent right due to non-payment of annual fee