CN106022206A - 改进的手写数据搜索的方法、装置及产品 - Google Patents

改进的手写数据搜索的方法、装置及产品 Download PDF

Info

Publication number
CN106022206A
CN106022206A CN201510888920.6A CN201510888920A CN106022206A CN 106022206 A CN106022206 A CN 106022206A CN 201510888920 A CN201510888920 A CN 201510888920A CN 106022206 A CN106022206 A CN 106022206A
Authority
CN
China
Prior art keywords
input
search
ink stroke
handwritten ink
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510888920.6A
Other languages
English (en)
Inventor
格里戈里·扎伊采夫
拉塞尔·斯佩格特·范布恩
张健邦
王松
布拉德利·帕克·斯特齐萨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Singapore Pte Ltd
Original Assignee
Lenovo Singapore Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Singapore Pte Ltd filed Critical Lenovo Singapore Pte Ltd
Publication of CN106022206A publication Critical patent/CN106022206A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/32—Digital ink
    • G06V30/333—Preprocessing; Feature extraction
    • G06V30/347—Sampling; Contour coding; Stroke extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/32—Digital ink
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/142—Image acquisition using hand-held instruments; Constructional details of the instruments
    • G06V30/1423—Image acquisition using hand-held instruments; Constructional details of the instruments the instrument generating sequences of position coordinates corresponding to handwriting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/32—Digital ink
    • G06V30/36—Matching; Classification
    • G06V30/387—Matching; Classification using human interaction, e.g. selection of the best displayed recognition candidate

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Character Discrimination (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了改进的手写数据搜索的方法、装置及产品。一个实施方式提供了一种方法，该方法包括：在输入显示装置处接收手写墨迹笔画；使用处理器对手写墨迹笔画进行分析；基于分析产生搜索数据；基于搜索数据使用处理器对现有手写数据进行搜索；基于搜索在输入显示装置上返回至少一个结果。描述并要求保护了其他实施方式。

Description

改进的手写数据搜索的方法、装置及产品
技术领域
本发明涉及改进的手写数据搜索的方法、装置及产品。
背景技术
信息处理装置(“装置”)例如手机、智能电话、平板装置、膝上型计算机等允许用户使用手指或笔/触控笔进行手写输入。这使得用户能够更自然地书写且无需使用键盘。因此，更多的用户以电子手写格式存储其信息(例如，笔记、文档等)。
然而，如果用户希望定位特定的手写文档或文字，那么出现了问题。通常，用户搜索具有机器文本的文档(例如，文字文档、电子表格等)，但是，用户手写是机器不可识别的。因此，必须将手写转换为机器文本(例如，使用手写识别软件或光学字符识别引擎(OCR)，在本文中统称为“OCR”)以便于进行搜索。然而，当前的OCR软件应用在处理人工手写时容易发生故障。因此，需要一种解决方案，改进用户搜索其电子存储的手写文档的能力和准确度。
发明内容
总之，一个方面提供了一种方法，该方法包括：在输入显示装置处接收手写墨迹笔画；使用处理器对手写墨迹笔画进行分析；基于分析产生搜索数据；基于搜索数据使用处理器对现有手写数据进行搜索；基于搜索在输入显示装置上返回至少一个结果。
另一方面提供了一种信息处理装置，该信息处理装置包括：处理器；输入显示装置；存储指令的存储装置，所述指令能够由处理器执行以：接收手写墨迹笔画；对手写墨迹笔画进行分析；基于分析产生搜索数据；基于搜索数据对现有手写数据进行搜索；基于搜索返回至少一个结果。
另一方面提供了一种产品，该产品包括：存储有代码的存储装置，所述代码能够由处理器执行并且包括：在输入显示装置处接收手写墨迹笔画的代码；使用处理器对手写墨迹笔画进行分析的代码；基于分析产生搜索数据的代码；基于搜索数据使用处理器对现有手写数据进行搜索的代码；基于搜索在输入显示装置上返回至少一个结果的代码。
前述为总结从而可能包含细节的简化、概括和省略。因此，本领域技术人员将理解的是，该总结仅为说明性的并且并非意在以任何方式为限制性的。
为了更好地理解实施方式连同实施方式的其他和另外的特征和优点，结合附图对以下描述作出参考。本发明的范围将在所附权利要求书中指出。
附图说明
图1示出了信息处理装置电路系统的示例。
图2示出了信息处理装置电路系统的另一示例。
图3示出了基于手写输入来搜索手写数据的示例方法。
图4示出了基于对手写输入的光学字符识别来搜索手写数据的示例方法。
图5示出了对手写输入和现有手写数据的光学字符识别的示例。
图6示出了基于手写输入的特征分析和光学字符识别来搜索手写数据的示例方法。
具体实施方式
将容易理解，可以以除所描述的示例实施方式以外的各种不同的配置来布置和设计本文附图中一般性描述和示出的实施方式的部件。因而，如在附图中示出的示例实施方式的以下更详细的描述并非意在限制所要求保护的实施方式的范围，而仅代表示例实施方式。
说明书全文所提及的“一个实施方式”或“实施方式”(等)表示结合实施方式所描述的特定特征、结构或特性被包含在至少一个实施方式中。因此，在贯穿本说明书中各处所出现的短语“在一个实施方式中”或“在实施方式中”等未必都指代同一实施方式。
此外，在一个或更多个实施方式中，可以以任意适当的方式组合所描述的特征、结构或特性。在下面的描述中，提供了许多具体的细节以给出对于实施方式的透彻理解。然而，相关领域的技术人员将认识到，各种实施方式可以在没有一个或更多个具体细节的情况下被实施，或者可以使用其他的方法、部件、材料等来实施。在其他示例中，为了避免混淆，未示出或详细描述公知的结构、材料或操作。
尽管在全国乃至全世界的高等院校中做打字笔记非常流行，但是很多人还是喜欢以传统的手写方式做笔记。做手写笔记不仅可以实现更大的灵活性(例如，能够以包括草稿等的不同风格书写)，而且对于许多人来说，做手写笔记更为自然并且是记录其信息的优选方法。
这引起了能够在电子装置上做手写笔记的需求。为了满足这种需求，许多装置例如平板、计算机和智能电话已经开始包括使用户能够直接在其上进行手写输入的触摸表面。技术可能有所不同，有的甚至使用更先进的数字转换器系统，数字转换器系统使得在手写处理期间能够实现更好的控制和变化性。使用这些电子装置使得用户能够电子存储其所有手写笔记。这减小了杂乱和丢失物理文书的潜在风险。此外，可以将手写输入存储在基于云的环境中，从而不论用户的位置或装置如何，用户都能够访问其文件。例如，ONENOTE使得用户能够做手写笔记并且将这些笔记同步至云以及将这些笔记跨用户的所有装置同步，使得用户能够与他人分享笔记或者在用户的任何装置(例如，平板、智能电话、计算机等)上访问以及编辑其笔记。ONENOTE是微软公司在美国和其他国家的注册商标。
由于这类程序容易使用，所以用户的手写笔记库可能变得相当庞大。大量的不同文档和不同主题可能使用户识别和跟踪变得繁琐。这类似于用户对于其在常规计算机上保存的过多的文档所遇到的困难。对于机器输入文档(例如，键盘输入的常规文字处理文档)，计算机通过下述方法解决了这个问题：使用户能够将文档主题的文字或一部分输入到搜索工具中并且经由对文档的标题和文本内容进行搜索来定位该文档。然而，计算机不能如此容易地在海量手写文档中找到某一手写文档。
目前，如果用户希望搜索手写文档，唯一的选择就是使用笔记软件(例如，ONENOTE)或者执行文档的光学字符识别扫描并且将手写输入转换或关联为相应的机器文本的第三方应用。
这个技术问题提出的问题在于用户不能容易地检索到期望的文档或期望的文档的相关部分。这是因为OCR容易出错，因而在搜索处理中将OCR作为单点故障是有问题的。当用户输入机器文本企图搜索其手写笔记时，当前的解决方案是将用户输入的机器文本与OCR处理对现有手写数据所解读的文本进行比较。例如，如果用户经由键盘输入搜索请求“mask”，那么搜索工具仅搜索该特定术语。然而，OCR可能将手写文字“mask”解读为“mark”，因而搜索请求将会失败。
因此，实施方式提供了在输入装置(例如，平板、智能电话、膝上型计算机等)上接收手写墨迹笔画的方法。例如，使用触控笔在平板装置上书写文字“grocery”。一旦该输入被接收，则对手写墨迹笔画进行分析(例如，执行OCR，将手写转换为矢量坐标系统等)。使用这种经分析的数据，通过收集术语“grocery”的现有手写数据(例如，用户的先前手写输入)来进行搜索。一旦匹配的术语(例如，包括有术语“grocery”的先前手写文档)被找到，则将该匹配的术语显示给用户。换言之，用户使用手写输入来搜索其现有手写条目。
通过参考附图将最好地理解所示出的示例实施方式。下面的描述仅意在通过示例的方式，并且仅仅示出了某些示例实施方式。
虽然在信息处理装置中可以采用各种其他电路、电路系统或部件，但是对于智能电话和/或平板电路系统100，图1所示的示例包括例如存在于平板或其他便携式计算平台中的片上系统设计。软件和一个或更多个处理器合并在单个芯片110中。如本领域公知的那样，处理器包括内部运算单元、寄存器、高速缓存存储器、总线、I/O端口等。内部总线等取决于不同的供应商，但基本上所有的外围装置120均可以附接至单个芯片110。电路系统100将处理器、存储器控制以及I/O控制器集线器全部合并在单个芯片110中。此外，这种类型的系统100通常不使用SATA(串行高级技术附件)或PCI(外围部件互联接口)或LPC(低引脚数接口)。通用接口例如包括SDIO(安全数字输入输出卡)和I2C(内置集成电路)。
存在一个或更多个电力管理芯片130，例如电池管理单元BMU，电池管理单元BMU对例如经由可再充电电池140供应的电力进行管理，可以通过将可再充电电池140连接至电源(未示出)来对其再充电。在至少一个设计中，使用单个芯片例如110来提供类似BIOS(基本输入输出系统)的功能和DRAM(动态随机存取)存储器。
系统100通常包括一个或更多个WWAN(无线广域网)收发器150和WLAN(无线局域网)收发器160以连接至各种网络，例如电信网络和无线因特网装置(例如存取点)。通常包括附加装置120。系统100通常包括用于数据输入和显示/呈现的触摸屏170。系统100通常还包括各种存储装置，例如闪速存储器180和SDRAM(同步动态随机存取存储器)190。
图2描绘了信息处理装置电路、电路系统或部件的另一示例的框图。图2中描绘的示例可以对应于计算系统，例如由北卡罗来纳州莫里斯维尔市的联想(美国)公司销售的THINKPAD系列的个人计算机，或其他装置。根据本文的描述明显的是，实施方式可以包括其他特征或仅包括图2所示的示例的特征中的一些特征。
图2的示例包括所谓的芯片集210(一起工作的一组集成电路或芯片，芯片集)，芯片集210具有可以根据制造商(例如，INTEL、AMD、ARM等)而变化的架构。INTEL是Intel公司在美国和其他国家的注册商标。AMD是Advanced Micro Devices公司在美国和其他国家的注册商标。ARM是ARM有限公司在美国或其他国家的未经注册的商标。芯片集210的架构包括经由直接管理接口(DMI)242或链路控制器244交换信息(例如数据、信号、命令等)的核和存储器控制组220和I/O控制器集线器250。在图2中，DMI 242是芯片间接口(有时称为“北桥”与“南桥”之间的链路)。核和存储器控制组220包括经由前端总线(FSB)224交换信息的一个或更多个处理器222(例如，单核或多核)和存储器控制器集线器226；注意，组220的部件可以被集成在代替传统“北桥”式架构的芯片中。如本领域公知的那样，一个或更多个处理器222包括内部运算单元、寄存器、高速缓存存储器、总线、I/O端口等。
在图2中，存储器控制器集线器226和存储器240对接(例如，用以对可以称为“系统存储器”或“存储器”的一类RAM提供支持)。存储器控制器集线器226还包括用于显示装置292(例如，CRT(阴极射线管)、平板、触摸屏等)的低压差分信号(LVDS)接口232。块238包括可以通过LVDS接口232支持的一些技术(例如串行数字视频、HDMI/DVI(高清晰度多媒体接口/数字视频接口)、显示端口)。存储器控制器集线器226还包括可以支持独立显卡236的PCI-express接口(PCI-E)234。
在图2中，I/O控制器集线器250包括SATA接口251(例如，用于HDD(硬盘驱动器)，SDD(固态硬盘)等280)，PCI-E接口252(例如用于无线连接282)、USB接口253(例如，用于如数字转换器、键盘、鼠标、摄像头、电话、麦克风、存储装置、其他连接的装置等的装置284)、网络接口254(例如，LAN)、GPIO(通用输入输出)接口255、LPC接口270(用于ASIC(专用集成电路)271、TPM(可信平台模块)272、超级I/O 273、固件集线器274、BIOS支持275以及各种类型的存储器276，例如ROM 277、闪存278以及NVRAM(非易失性随机存取存储器)279)，电力管理接口261、时钟发生器接口262、音频接口263(例如，用于扬声器294)、TCO接口264、系统管理总线接口265以及可以包括BIOS 268和启动代码290的SPI(串行外围接口)闪存266。I/O控制器集线器250可以包括千兆比特的以太网支持。
系统可以被配置成在通电时执行存储在SPI闪存266内的、用于BIOS268的启动代码290，此后，在(例如存储在系统存储器240中)一个或更多个操作系统和应用软件的控制下处理数据。操作系统可以存储在各种位置中的任意位置处，并且例如可以根据BIOS 268的指令来访问该操作系统。如本文所描述的，装置可以包括比图2的系统中示出的特征更少或更多的特征。
例如，如图1或图2中所概述的，信息处理装置电路系统可以用于诸如平板、智能电话、个人计算机装置的装置。例如，图1中概述的电路系统可以在平板或智能电话实施方式中实现，而图2中概述的电路系统可以在个人计算机实施方式中实现。
现在参照图3，在301处，实施方式接收手写输入。手写输入在触摸敏感装置(例如，平板、智能电话、具有触摸屏的膝上型计算机、或任意这样的触摸屏装置)上被接收。输入可以是任意常见方法的输入，例如手指或触控笔(例如，电容触控笔、电阻触控笔、表面声波触控笔、有源数字转换器触控笔等)。手写输入可以包括任何可用的字符，所述字符包括字母、数字、符号等。
在301处，用户例如在搜索工具中输入手写输入以遍及现有手写文件搜索特定字符串(例如，文字、数字、短语等)。例如，用户可以书写术语“mask”以搜索与mask有关的某些之前的笔记。在实施方式中，在302处，对手写输入“mask”进行分析。该分析被执行以便于使得搜索工具能够将用户的手写输入“mask”与存储在本地装置或云装置上的现有手写输入的“mask”进行比较。
因此，在实施方式中，在303处，基于在302处对手写输入的分析来对现有手写数据进行搜索。现有手写数据可以是如上所述的存储在用户的本地装置上(例如，平板或存储卡上)的数据或者是可以存储在远程装置或云存储服务(例如，远程服务器、家用计算机等)中的数据。一旦搜索完成，则在305处确定是否找到匹配。如果在304处没有找到匹配，那么不采取动作(例如，显示没有结果)并且用户可以输入新的手写术语以进行分析和搜索。在实施方式中，如果在304处没有找到匹配，那么可以显示说明搜索失败的消息。
然而，如果在306处在搜索期间找到匹配，那么在307处将匹配显示给用户。在实施方式中，可能存在不止一个匹配，因而在307处，可以向用户呈现匹配列表。如果列表太过庞大以致于列表变得繁琐，那么实施方式可以确定最相关的搜索结果并且以前n个搜索结果的列表的形式仅显示那些最相关的搜索结果。结果的数量可以由用户设置或者由软件应用预先确定。
现在参照图4，与上述类似，在401处，实施方式接收手写输入。手写输入可以包括任何可用的字符，所述字符包括字母、数字、符号等。在401处，用户输入手写输入以遍及现有手写文件搜索特定字符串(例如，文字、数字、短语等)。例如，用户可以书写术语“mask”以搜索与mask有关的某些之前的笔记。
在实施方式中，在402处，对手写输入进行分析。分析包括解读用户的手写输入并且使用光学字符识别(OCR)将手写数据转换为机器编码文本。另外地或替代地，实施方式可以使用光学文字识别(OWR)、智能字符识别(ICR)或智能文字识别(IWR)或者任意类似的软件来将手写转换为机器文本。
在另一实施方式中，一旦手写输入被分析，在403处向用户呈现所建议的机器文本文字。例如，如果用户输入术语“mask”作为手写输入，那么用户可能会收到以自动更正形式显示在显示器上的包括“mask”、“wasp”、“mark”、“mean”和“munch”的文字的列表。然后，用户可以从列表中选择“mask”以确保所执行的字符识别是正确的。这种分析被执行以使得搜索工具能够将在该实例中提供给搜索工具的用户的手写输入“mask”与存储在本地装置或云装置上的现有手写输入“mask”进行比较。现有手写数据“mask”具有相应的机器文本值。因此，与用户输入手写搜索标准401同时或者在用户输入手写搜索标准401之后或之前对现有手写数据执行类似的OCR处理或等同处理。
然后实施方式基于在404处的分析来对现有手写数据进行搜索。现有手写数据可以是存储在用户的本地装置上(例如，平板或存储卡上)的手写数据或者是可以存储在远程装置或云装置(例如，远程服务器等)中的数据。一旦搜索完成，则在406处确定是否找到匹配。如果在405处没有找到匹配，那么不采取动作(例如，显示没有结果)并且用户可以输入新的手写术语以进行分析和搜索。在实施方式中，如果在405处没有找到匹配，那么可以显示说明搜索失败的消息。
然而，如果在407处在搜索期间找到匹配，那么在408处向用户显示匹配。如前所述，如果列表太过庞大以致于列表变得繁琐，那么实施方式可以确定最相关的搜索结果并且以前n个结果的列表的形式仅显示那些最相关的搜索结果。
实施方式可以对手写输入执行OCR并且不提示用户选择正确的术语。实施方式可以替代地利用所有所确定的OCR可能来对现有手写数据进行搜索。简单地参照图5并且以示例的方式，在501处，用户可以输入术语“mask”作为手写输入。一旦输入被接收，执行OCR并且在502处基于手写输入的字符识别来创建可能文字的列表(例如，wasp、mark、mean、munch)。如图5中所示，可能在502处所识别的术语都不正确(即，文字“mask”没有包括在结果中)。然而，因为用户搜索的是其先前作为手写输入输入的术语，所以对现有手写数据执行的OCR 503可以包括在504处的匹配。如示例中所示，手写输入和一些现有手写数据均包含作为OCR可能的文字“mark”。
因此，虽然针对手写输入的OCR过程和针对现有手写数据的OCR过程在确定用户输入的实际期望的文字方面均不正确，但是解读足够一致(精确)以使得仍然找到了匹配术语，并且用户可以使用“mask”的手写输入来找回相关文档。这与将机器文本(例如，经由键盘)输入到搜索工具中的情况形成鲜明对比，原因是由于对现有(先前)手写数据的不正确OCR而使得搜索不能返回正确结果。
现在参照图6，与前面的示例一样，在601处，实施方式接收来自用户的手写输入。然后，在602处，使用OCR形式来分析手写输入。另外地或替代地，实施方式可以使用光学文字识别(OWR)、智能字符识别(ICR)或智能文字识别(IWR)。
在实施方式中，在603处，基于四维系统的特征(例如，水平行进距离、竖直行进距离、输入压力和输入时间)来对手写进行分析。然后，将这些特征转换为由机器理解的计算表示(例如，笔画的方向和幅度的记录矢量、笔画的时间、笔画相对于其他对象的位置等)。还针对存储在本地机器或远程机器上的现有(先前输入的)手写数据确定这些特征。
在603处的分析期间，实施方式可以将手写输入呈现或转换为图像(例如，位图、png(可移植网络图像)等)。图像数据可以是单独的字符、文字或短语。此外，存储在本地机器或远程机器上的现有手写数据还被呈现或转换为与手写输入的格式类似的图像格式。在另一实施方式中，所呈现的图像由图像处理应用(例如，数字图像处理、光学图像处理、模拟图像处理)处理。
一旦OCR和特征(例如，四维或图像)分析均完成，在604处，使用图像来对现有手写数据进行搜索。然后，将特征与现有手写数据的特征进行比较以在606处确定是否存在匹配。当在604处进行搜索时，实施方式可以使用在602处的OCR，在603处所分析的特征，或者两者的组合。
如果在605处没有找到匹配，那么不采取动作(例如，显示没有结果)并且用户可以在601处输入新的手写术语以进行分析和搜索。在实施方式中，如果在605处没有找到匹配，那么可以显示说明搜索失败的消息。
然而，如果在607处在搜索期间找到匹配，那么在608处向用户显示匹配。在实施方式中，可能存在不止一个匹配，因而在608处，可以向用户呈现匹配列表。如前所述的，如果列表太过庞大以致于列表变得繁琐，那么实施方式可以确定最相关的搜索结果并且以前n个结果的列表的形式仅显示那些最相关的搜索结果。其中，结果的数量可以由用户设置或者由软件应用预先确定。
因此，如由示例实施方式和附图所示，实施方式提供了用户经由输入显示装置以手写形式输入搜索标准的方法。然后使用上述多种方法中之一对该搜索标准进行分析。对用户的现有手写数据执行类似的分析，并且进行搜索以在现有手写数据中定位与用户输入以进行搜索的搜索标准相比具有类似分析的手写。
因此，本文中描述的各种实施方式体现了对搜索手写信息过程的技术改进。不仅二次OCR实现了搜索更宽范围的可能候选，而且可以使手写一致的用户能够在即使OCR不正确的情况下也能定位其所期望的术语。这是因为如图5所示，即使在候选不正确的情况下，OCR还是可以确定共享共同候选的两个条目。此外，通过特征或图像处理以进行搜索的能力体现了对当前可用的方法的显著的技术改进。
如本领域技术人员将理解的，各个方面可以被实施为系统、方法或装置程序产品。因此，各个方面可以采用全硬件实施方式或包括软件的实施方式的形式，本文中可以将全硬件实施方式或包括软件的实施方式统称为“电路”、“模块”或“系统”。此外，各个方面可以采用实施在一个或更多个装置可读介质中的装置程序产品的形式，所述一个或更多个装置可读介质包含有装置可读程序代码。
应该注意，本文所描述的各种功能可以使用存储在装置可读存储介质(如通过处理器执行的非信号存储装置)上的指令来实现。存储装置例如可以是电子的、磁的、光学的、电磁的、红外的或半导体的系统、设备或装置，或前述的任意适当组合。存储介质的更具体的示例包括：便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪速存储器)、光纤、便携式致密盘只读存储器(CD-ROM)、光存储装置、磁存储装置或前述的任意适当组合。在该文件的上下文中，存储装置不是信号并且“非暂态”包括除信号介质以外的所有介质。
可以使用任意适当的介质来传输存储介质上所包含的程序代码，所述适当的介质包括但不限于无线、电线、光纤线缆、RF等或前述的任意适当组合。
可以以一种或更多种编程语言的任意组合来编写用于执行操作的程序代码。程序代码可以完全在单个装置上执行、部分地在单个装置上执行、作为独立软件包部分地在单个装置上以及部分地在另一装置上执行或者完全地在其他装置上执行。在一些情况下，可以通过任何类型的连接或网络(包括局域网(LAN)或广域网(WAN))来连接装置，或者可以通过其他装置(例如通过使用因特网服务提供商的因特网)、通过无线连接例如近场通信、或通过硬线连接(例如，通过USB连接)来进行连接。
本文参照附图描述了示例实施方式，这些附图示出了根据各种示例实施方式的示例的方法、装置以及程序产品。将会理解，动作和功能可以至少部分地由程序指令来实现。可以将这些程序指令提供给装置、专用信息处理装置或其他可编程数据处理装置的处理器以产生机器，以使得经由装置的处理器执行的指令实现指定的功能/动作。
值得注意的是，虽然在附图中使用了具体块，并且示出了块的特定顺序，但是这些是非限制性示例。在特定语境中，可以对两个或更多个块进行组合，可以将一个块划分成两个或更多个块，或者可以将特定块适当地重新排序或重新组织，因为明确示出的示例仅用于描述目的并且并非解释为限制性的。
除非另外明确指出，本文所使用的单数形式(a或an)可以解释为包括复数“一个或更多个”。
为了说明和描述的目的提出了本公开内容，而非意在穷举或限制。对于本领域普通技术人员来说，许多修改和变型将是明显的。为了说明原理和实际应用选择并描述了示例实施方式，并且示例实施方式使得本领域的其他普通技术人员能够理解具有适于预期的特定用途的各种修改的各种实施方式的公开内容。
因此，虽然本文参照附图描述了说明性的示例实施方式，但是要理解本描述是非限制性的，并且在不偏离本公开内容的范围或精神的情况下本领域的技术人员可以作出各种其他变化和修改。

Claims (19)

1.一种信息处理方法，包括：
在输入显示装置处接收手写墨迹笔画；
使用处理器对所述手写墨迹笔画进行分析；
基于所述分析产生搜索数据；
基于所述搜索数据使用处理器对现有手写数据进行搜索；
基于所述搜索在所述输入显示装置上返回至少一个结果。
2.根据权利要求1所述的信息处理方法，其中：
所述分析包括使用手写识别引擎基于所述手写墨迹笔画确定至少一个机器文字；以及
其中，所述搜索数据包括所述至少一个机器文字。
3.根据权利要求2所述的信息处理方法，其中，所述搜索数据包括至少一个机器文字。
4.根据权利要求2所述的信息处理方法，还包括：
在所述输入显示装置上显示基于所述手写墨迹笔画的所述至少一个机器文字；以及
在所述输入显示装置处接收用户输入，所述用户输入选择基于所述手写墨迹笔画的所述至少一个机器文字中之一。
5.根据权利要求4所述的信息处理方法，其中，所述搜索包括基于所述用户输入进行搜索。
6.根据权利要求1所述的信息处理方法，其中，所述分析包括确定所述手写墨迹笔画的至少一个特征，其中，所述特征包括水平行进距离、竖直行进距离、输入压力和输入时间中至少之一。
7.根据权利要求6所述的信息处理方法，其中，所述搜索包括将所述手写墨迹笔画的所述至少一个特征与所述现有手写数据的至少一个特征进行比较。
8.根据权利要求1所述的信息处理方法，还包括：
使用所述处理器呈现基于所述手写墨迹笔画的至少一个图像；以及
使用所述处理器呈现基于所述现有手写数据的至少一个图像。
9.根据权利要求8所述的信息处理方法，其中，所述分析还包括进行所述手写墨迹笔画的图像分析。
10.根据权利要求9所述的信息处理方法，其中，所述搜索包括搜索基于所述现有手写数据的至少一个图像。
11.一种信息处理装置，包括：
处理器；
输入显示装置；
存储指令的存储装置，所述指令能够由所述处理器执行以：
接收手写墨迹笔画；
对所述手写墨迹笔画进行分析；
基于所述分析产生搜索数据；
基于所述搜索数据对现有手写数据进行搜索；
基于所述搜索返回至少一个结果。
12.根据权利要求11所述的信息处理装置，其中：
所述分析包括使用手写识别引擎基于所述手写墨迹笔画确定至少一个机器文字；以及
其中，所述搜索数据包括所述至少一个机器文字。
13.根据权利要求12所述的信息处理装置，其中，所述搜索数据包括至少一个机器文字。
14.根据权利要求12所述的信息处理装置，其中，所述指令还能够由所述处理器执行以：
在所述输入显示装置上显示基于所述手写墨迹笔画的所述至少一个机器文字；以及
在所述输入显示装置处接收用户输入，所述用户输入选择基于所述手写墨迹笔画的所述至少一个机器文字中之一。
15.根据权利要求14所述的信息处理装置，其中，所述搜索包括基于所述用户输入进行搜索。
16.根据权利要求11所述的信息处理装置，其中，所述分析包括：
确定所述手写墨迹笔画的至少一个特征，其中，所述特征包括水平行进距离、竖直行进距离、输入压力和输入时间中至少之一；以及
其中，所述搜索包括将所述手写墨迹笔画的所述至少一个特征与所述现有手写数据的至少一个特征进行比较。
17.根据权利要求11所述的信息处理装置，其中，所述指令还能够由所述处理器执行以：
使用所述处理器呈现基于所述手写墨迹笔画的至少一个图像；以及
使用所述处理器呈现基于所述现有手写数据的至少一个图像。
18.根据权利要求17所述的信息处理装置，其中，所述分析还包括进行所述手写墨迹笔画的图像分析。
19.根据权利要求18所述的信息处理装置，其中，所述搜索包括搜索基于所述现有手写数据的至少一个图像。
CN201510888920.6A 2015-03-26 2015-12-07 改进的手写数据搜索的方法、装置及产品 Pending CN106022206A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/669,628 2015-03-26
US14/669,628 US9710701B2 (en) 2015-03-26 2015-03-26 Handwriting data search

Publications (1)

Publication Number Publication Date
CN106022206A true CN106022206A (zh) 2016-10-12

Family

ID=56027360

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510888920.6A Pending CN106022206A (zh) 2015-03-26 2015-12-07 改进的手写数据搜索的方法、装置及产品

Country Status (4)

Country Link
US (1) US9710701B2 (zh)
CN (1) CN106022206A (zh)
DE (1) DE102016105584A1 (zh)
GB (1) GB2538360B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108681549A (zh) * 2018-03-29 2018-10-19 广州视源电子科技股份有限公司 获取多媒体资源的方法和装置
CN110673780A (zh) * 2018-07-02 2020-01-10 苹果公司 带有手写识别的电子绘图

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10228775B2 (en) * 2016-01-22 2019-03-12 Microsoft Technology Licensing, Llc Cross application digital ink repository
US10671844B2 (en) 2017-06-02 2020-06-02 Apple Inc. Handwritten text recognition
US20210350122A1 (en) * 2020-05-11 2021-11-11 Apple Inc. Stroke based control of handwriting input

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1045679C (zh) * 1993-12-01 1999-10-13 摩托罗拉公司 以字典为基础与可能的字符串结合的手写物识别方法
US6330359B1 (en) * 1994-04-07 2001-12-11 Japan Nesamac Corporation Pen-grip type of input apparatus using finger pressure and gravity switches for character recognition
US6785417B1 (en) * 2000-08-22 2004-08-31 Microsoft Corp Method and system for searching for words in ink word documents
CN1624643A (zh) * 2003-12-03 2005-06-08 微软公司 墨水的缩放文本替换
CN101021850A (zh) * 2006-02-16 2007-08-22 富士通株式会社 单词检索设备、单词检索方法,以及记录介质
CN100511219C (zh) * 2002-01-31 2009-07-08 西尔弗布鲁克研究有限公司 可以通过手写检索查询来检索的电子文件管理系统
CN103455527A (zh) * 2012-05-28 2013-12-18 株式会社东芝 手写文件检索装置、方法以及记录介质
US8755604B1 (en) * 2008-06-05 2014-06-17 CVISION Technologies, Inc. Using shape similarity methods to improve OCR speed and accuracy
CN103927532A (zh) * 2014-04-08 2014-07-16 武汉汉德瑞庭科技有限公司 基于笔画特征的笔迹配准方法
CN104199968A (zh) * 2014-09-23 2014-12-10 陈包容 一种基于自定义图形识别实现查找联系人信息的方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5841297B1 (ja) 2013-10-25 2016-01-13 株式会社ワコム 手書きデータ出力方法及びコンピュータシステム

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1045679C (zh) * 1993-12-01 1999-10-13 摩托罗拉公司 以字典为基础与可能的字符串结合的手写物识别方法
US6330359B1 (en) * 1994-04-07 2001-12-11 Japan Nesamac Corporation Pen-grip type of input apparatus using finger pressure and gravity switches for character recognition
US6785417B1 (en) * 2000-08-22 2004-08-31 Microsoft Corp Method and system for searching for words in ink word documents
CN100511219C (zh) * 2002-01-31 2009-07-08 西尔弗布鲁克研究有限公司 可以通过手写检索查询来检索的电子文件管理系统
CN1624643A (zh) * 2003-12-03 2005-06-08 微软公司 墨水的缩放文本替换
CN101021850A (zh) * 2006-02-16 2007-08-22 富士通株式会社 单词检索设备、单词检索方法,以及记录介质
US8755604B1 (en) * 2008-06-05 2014-06-17 CVISION Technologies, Inc. Using shape similarity methods to improve OCR speed and accuracy
CN103455527A (zh) * 2012-05-28 2013-12-18 株式会社东芝 手写文件检索装置、方法以及记录介质
CN103927532A (zh) * 2014-04-08 2014-07-16 武汉汉德瑞庭科技有限公司 基于笔画特征的笔迹配准方法
CN104199968A (zh) * 2014-09-23 2014-12-10 陈包容 一种基于自定义图形识别实现查找联系人信息的方法和装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
DERRICK WLODARZ: "Windows 8.1 + OneNote: Why the digital notebook is finally a reality", 《HTTPS://BETANEWS.COM/2013/10/30/WINDOWS-8-1-ONENOTE-WHY-THE-DIGITAL-NOTEBOOK-IS-FINALLY-A-REALITY/》 *
KEN HINCKLEY 等: "InkSeine: In Situ Search for Active Note Taking", 《CHI 2007 PROCEEDINGS TASK & ATTENTION》 *
鄂大伟: "《多媒体技术基础与应用》", 30 September 2003, 《高等教育出版社》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108681549A (zh) * 2018-03-29 2018-10-19 广州视源电子科技股份有限公司 获取多媒体资源的方法和装置
CN110673780A (zh) * 2018-07-02 2020-01-10 苹果公司 带有手写识别的电子绘图
CN110673780B (zh) * 2018-07-02 2024-03-19 苹果公司 带有手写识别的电子绘图

Also Published As

Publication number Publication date
GB201605056D0 (en) 2016-05-11
US9710701B2 (en) 2017-07-18
GB2538360B (en) 2019-04-24
DE102016105584A1 (de) 2016-09-29
US20160283785A1 (en) 2016-09-29
GB2538360A (en) 2016-11-16

Similar Documents

Publication Publication Date Title
CN106022206A (zh) 改进的手写数据搜索的方法、装置及产品
KR102061288B1 (ko) 이미지 검색 방법, 실시간 그리기 프롬프팅 방법 및 그 장치
WO2021189870A1 (zh) 违法建筑识别方法、装置、设备及存储介质
US10614300B2 (en) Formatting handwritten content
CN103838566A (zh) 信息处理装置和信息处理方法
US20160179364A1 (en) Disambiguating ink strokes and gesture inputs
US20160098594A1 (en) Electronic apparatus, processing method and storage medium
CN107862312A (zh) 一种基于tesseract引擎的文字识别方法、装置、设备及存储介质
CN111507354B (zh) 信息抽取方法、装置、设备以及存储介质
US8494277B2 (en) Handwritten character recognition based on frequency variations in characters
US10152472B2 (en) Apparatus and method for generating summary data of E-book or E-note
CN109407960A (zh) 一种智能感知桌面装置、感知方法及感知系统
EP3037985A1 (en) Search method and system, search engine and client
Wu et al. Deep strip-based network with cascade learning for scene text localization
US10032071B2 (en) Candidate handwriting words using optical character recognition and spell check
US10037137B2 (en) Directing input of handwriting strokes
US10133920B2 (en) OCR through voice recognition
CN104281404B (zh) 信息处理装置及信息处理方法
US10127478B2 (en) Electronic apparatus and method
CN105930763B (zh) 基于笔画属性的手写笔画分组的方法和产品
Han et al. Handwritten text line segmentation by spectral clustering
CN110851578A (zh) 关键词提取方法、装置和电子设备
Zou et al. Multi-oriented scene text detection by fixed-width multi-ratio rotation anchors
JPWO2016031016A1 (ja) 電子機器、方法及びプログラム
Yang et al. Minimum correspondence sets for improving large-scale augmented paper

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20161012