CN101536012A - 用于标准化和美化/墨水美化的墨水扭曲 - Google Patents

用于标准化和美化/墨水美化的墨水扭曲 Download PDF

Info

Publication number
CN101536012A
CN101536012A CNA2006800316737A CN200680031673A CN101536012A CN 101536012 A CN101536012 A CN 101536012A CN A2006800316737 A CNA2006800316737 A CN A2006800316737A CN 200680031673 A CN200680031673 A CN 200680031673A CN 101536012 A CN101536012 A CN 101536012A
Authority
CN
China
Prior art keywords
written
hand
ink
extreme value
displacement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2006800316737A
Other languages
English (en)
Inventor
P·Y·西麦德
M·阿加瓦拉
D·W·斯藤卡奥斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN101536012A publication Critical patent/CN101536012A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/32Digital ink
    • G06V30/333Preprocessing; Feature extraction
    • G06V30/347Sampling; Contour coding; Stroke extraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0386Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry for light pen
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Character Discrimination (AREA)
  • Character Input (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Position Input By Displaying (AREA)

Abstract

公开了有助于标准化和美化诸如在平板PC上或通过扫描手写文档生成的数字地生成的手写的系统和方法。分类器可对数字手写中的极值进行标识,并根据预定义类别(例如,底部、基线、中线、顶部、其它……)来标记这些极值。可执行多线性回归、多项式回归等来将标记的极值对齐到如由标签指示的各自的且相应的期望点。另外,可向回归的手写应用位移技术来优化易读性以供人类读者阅读和/或供手写识别应用程序进行字符识别。该位移技术可包括“橡胶板”位移算法结合“橡胶棒”位移算法,它们可在其扭曲期间共同保留手写的空间特征。

Description

用于标准化和美化/墨水美化的墨水扭曲
背景
计算机和基于计算机的设备已变为遍及全世界的许多应用所必需的工具。由于与复杂的文字处理应用程序相关联的键盘和包括高级数学功能/能力的计算器,打字机和计算尺已变得过时。此外,曾经只用于分析数据的计算机随着时间的推移已变为用于从商业应用到多媒体环境的环境的多功能、多用途机器。这一计算机制的成本也趋向于降低,从而使得个人计算机在世界的许多地方都普遍存在。
由于计算设备持续开发且其用户已变得更广泛,与这类设备相关联的外围设备也变得常见。例如,典型的计算设备包括多个端口(例如,有线或无线),外围设备可被附连到这些端口并结合上述计算设备来使用。更具体而言,可附连外围设备可包括打印机、键盘、便携式音乐/视频播放器和记录器、照相机、显卡、扬声器系统、个人数字助理(PDA)、便携式电话、智能电话、或任何其它合适的计算机外围设备。这些设备可通过端口(例如,USB端口、打印机端口……)在物理上耦合到计算设备,或可通过无线链路通信地耦合。外围设备与计算设备的这一交互已使得计算设备在用户效率方面甚至更有价值。另外,在存储器(常驻或外围)的情况下,当分配存储器资源时必需考虑有限的存储限制。
此外,计算技术中的最近的进步已使得便于生成数字地手写的图像的平板PC架构变得可能。然而,字符识别组件和/或人类阅读者对这种手写的解释可能会受到手写的高度易变性和在识别过程中发生的分段误差的阻碍。因此,对于克服上述缺陷的系统和/或方法存在未满足的需求。
概述
以下提出了本发明的简化概述以提供对本发明的某些方面的基本理解。本概述并非本发明的广泛综述。它并不旨在标识本发明的关键/决定性要素,也不旨在勾画本发明的范围。其唯一的目的是以简化的形式提出本发明的某些概念,作为以后提出的更详细描述的序言。
此处公开并要求保护的本主题发明的一方面包括一种向诸如可在平板PC上或通过扫描手写文档生成的数字地生成的手写墨水中的特征自动添加标签(例如,分类)的系统。在来自平板PC的手写的情况下,对极值的初始标识可至少部分地基于例如与手写生成相关联的时间迹线。更具体而言,一分类器可根据该极值是否旨在与底线、基线、中线、顶线或某一其它对齐标记对齐来标记数字墨水中的极值(例如,极大值和极小值)。另外,标签可包括字母(例如,经由单独的分类器),并且分类可被组合以改善总体墨水分类。标记的极值可用于标识书写对比其它形式的数字地生成的图像,以在手写识别过程之前标准化手写墨水笔划作为一预处理动作、构建手写识别应用、改善人类解释的易读性、等等。
根据一相关方面,所分类的极值可用于将手写扭曲到对应的目标位置以改善易读性和/或识别。例如,可执行一橡胶板位移(rubber sheet displacement)协议,之后执行橡胶棒位移(rubber rod displacement)协议,以改善易读性,同时保留对可读性重要的墨水笔划特征(例如,相对位置、角度、曲率……)并减轻不合需要特征(例如,结、曲率反转、不合需要的墨水笔划相交……)的引入。
根据另一方面,一种系统可包括分类器组件,它接收与数字地手写的文档有关的数据作为输入并标记数字地手写的单词中的极值;以及回归组件,它评估手写单词中的极值之间的偏移量以确定相应极值的新位置,并执行将极值点对齐到由分类器标签指示的新位置以提高易读性的多线性回归。另外,该系统可包括内插组件,它将标记的手写内插到二维网格中,并对该手写执行橡胶板位移技术;以及位移组件,它执行一维橡胶棒位移技术、扭曲数字手写、并改善对于手写识别应用程序和/或人类观众的易读性。
在又一方面,一种改善易读性并减轻分段误差的方法可包括对手写单词的数字墨水表示中的极大值和极小值进行分类、确定极大值和极小值的原始位置与同极大值和极小值分类相关联的期望位置之间的偏移量、以及扭曲手写单词以改善易读性。扭曲手写单词可包括橡胶板位移协议后跟橡胶棒位移协议。
在再一方面,一种数字墨水标准化系统可包括用于标识手写中的极值的装置、用于对所标识的极值分类的装置、用于将所分类的极值扭曲到期望位置的装置、以及用于保持与手写中的各个墨水笔划相关联的曲率、宽高比和角度的装置。以此方式,与保持易读性相关的墨水特征可被保留并改进,同时可避免妨碍易读性的特征的引入。
为实现上述和相关目的,此处结合以下描述和附图描述了本发明的某些说明性方面。然而,这些方面仅指示了可采用本发明的原理的各种方式中的几种,并且本发明旨在包括所有这些方面及其等效方面。当结合附图考虑以下本发明的详细描述时,本发明的其它优点和新颖特征将变得显而易见。
附图简述
图1示出了根据各方面的有助于诸如可在平板PC等上创建的数字地生成的手写的墨水扭曲、同时减轻了分段误差的系统。
图2示出了根据各方面的对数字墨水手写中的极值进行分类的卷积分类器。
图3是根据各方面的当标准化数字墨水手写时在采用共轭梯度下降协议的多分辨率技术之后的数字手写样本的图示。
图4是包括原始手写样本和标准化的各阶段处的多个样本版本的一系列手写样本的图示。
图5示出了美化/标准化过程中各阶段处的诸如可写在平板PC上的一系列两行段落手写样本。
图6是有助于对数字墨水手写中的极值进行分类以允许在没有分段的情况下扭曲手写单词来最小化手写易变性的系统的图示。
图7是有助于对数字墨水手写中的极值进行分类以允许在没有分段的情况下扭曲手写单词来最小化手写易变性的系统的图示。
图8是用于标准化和美化诸如平板PC、扫描的手写文档等上数字地生成的手写的方法的图示。
图9是根据此处所述的各方面的用于美化和标准化数字手写以改善易读性的方法的图示。
图10是根据此处所述的各方面的用于通过采用专门的分类器和组合位移协议来改善数字手写易读性的方法的图示。
图11示出了可用于执行所公开的架构的计算机的框图。
图12示出了根据本发明的示例性计算环境的示意性框图。
详细描述
现在参考附图来描述本发明,在全部附图中使用相同的参考标号来指代相同的元素。在以下描述中,出于解释的目的,陈述了众多具体细节以提供对本发明的全面理解。然而,很明显,本发明可以在没有这些具体细节的情况下实施。在其它情况中,以框图形式示出了公知的结构和设备以便于描述本发明。
如此处所使用的,术语“组件”和“系统”指的是计算机相关的实体,无论是硬件、硬件和软件的组合、软件还是执行中的软件。例如,组件可以是,但不限于,运行在处理器上的进程、处理器、对象、可执行码、执行的线程、程序和/或计算机。作为说明,运行在服务器上的应用程序和该服务器都可以是组件。一个或多个组件可驻留在进程和/或执行线程中,并且组件可位于一台计算机上和/或分布在两台或多台计算机之间。
根据此处所述的各方面,描述了有助于以使用常规手写识别方法和/或系统无法实现的方式来最小化与手写变化有关的分段误差和困难的系统和方法。例如,可生成一极值分类器,并用于标记数字墨水手写中的极大值和极小值,以标准化墨水和手写变化而无需字母分段。常规的系统通常包括移除斜线和斜坡的预处理步骤,诸如直方图投影、熵试探(例如在离线识别期间)等等。其它系统使用三次样条等来跟踪基线和/或中线。在在线识别期间,基线和/或中线跟踪也可用于计算离线特征,并且可采用平行二次曲线来跟踪线条以提取角度映射等。然而,常规的手写识别系统和/或方法没有将墨水手写中的极值标识为属于或不属于线条(例如,基线、中线等),更不用说高准确程度了。由此,根据以下提出的各方面,手写极值可在没有字母分段的情况下被准确地分类,并且数字手写可被标准化和/或美化而无需分段和/或字母识别。
现在参考图1,示出了根据各方面的有助于诸如可在平板PC等上创建的数字地生成的手写的墨水扭曲、同时减轻了分段误差的系统100。系统100包括分类器组件102,它接收诸如数字地生成的墨水书写等输入,并标记墨水字母的局部极小值(例如,底部、基线、其它)和局部极大值(例如,中线、顶部、其它)。由分类器组件102生成的信息可用于例如通过结合“橡胶棒”扭曲技术应用“橡胶板”扭曲技术来标准化墨水。这一扭曲技术可利用如本领域中已知的共轭梯度算法来执行。以此方式,墨水标准化可结合字母识别来执行,以减轻通常因常规技术而引发的分段误差。
分类器组件102操作上耦合到回归组件104,后者可接收与标记的数字墨水有关的信息(例如,数字手写数据中标记的极大值和/或极小值),并可执行多线回归技术(例如,多线性回归、多项式回归或其它非线性回归……)来评估底线(例如下行字母线(decender line))、基线、中线、顶线、和/或可用于描绘手写环境内的点的任何其它合适的标记线之间的相对偏移量。相对偏移量可用于描绘每一极大值和极小值之间的新的期望位置。极大值和极小值的新的期望位置是给定位置处的选择性约束。然而,墨水可被连续地变形并且可将约束内插到墨水的极大值和极小值之间的位置上。内插组件106可从回归组件104接收这一信息,并可通过采用各种内插技术和/或约束将偏移量和/或点位移内插到二维(2D)网格中,这些技术和/或约束有助于提供未约束的位移值。例如,内插组件106可采用“橡胶板”(以下描述)或“厚板”扭曲约束。因内插导致的数字墨水中的结和/或弯曲可利用位移组件108来减轻,该组件从内插组件106接收内插的手写数据,并在原始和内插的墨水之间实施曲率和/或压缩约束。例如,位移组件可采用以下描述的“橡胶棒”技术来实施这类约束。
分类器组件102可从例如从诸如平板PC、膝上型计算机等启用笔或启用触针的捕捉设备获得的时间迹线信息中确定局部垂直极小值和极大值。每一极值可被分类到一对应于其目标位置的标签,以便于优化手写对齐。例如,极小值可被分组成三个类别,诸如底部、基线和其它,其中“其它”包括未落入底部或基线类别并且无需服从对齐约束的任何极小值。类似地,极大值可被分类到中线、顶部和“其它”组,其中“其它”组同样可免除对齐约束并可包括未落入中线或顶部组中的墨水极大值。可以理解,根据此处所提出的各方面,可定义任意数目的极小值和/或极大值类别,以提供关于手写操纵的增加的粒度,并且此处的极小值和极大值类别不限于各自为三组。
自动标记极值涉及说明广泛变化的字符和/或手写风格。初始标记可由分类器组件102通过例如水平投影数字墨水并分析直方图以标识基线和中线来执行,以便在分类之前对数据进行预标记。为了提高系统100的准确度,分类器组件102可包括类似于用于字符分类的分类器的卷积分类器,这将在以下参考图2来更详细描述。
仍参考图1,给定一组如由分类器组件102归类的属于M条标记的线(例如,基线……)的点,回归组件104可评估每条线的偏移量以便于计算将每一点对齐到其各自的目标线的最优位移。在下文中,可以在没有粒度损失的情况下假定基线、中线等是笔直且平行的,然而也可能假定更复杂的模型并执行更复杂的相应的回归(例如,二次、多项式……)。根据本示例,线(例如,基线、中线等)被约束为平行的,并且可由回归组件104执行线性回归,使得如果属于线j的每一点(x,y)遵循以下等式:
y=ax+bj   (1)
则给定Nj个点(
Figure A200680031673D0008102022QIETU
)的M个集合来找出a和bj可通过最小化以下表达式来执行:
E ( a , b 0 , . . . , b M - 1 ) = Σ j = 0 M - 1 Σ i = 0 N j - 1 1 2 ( y i j - ( ax i j + b j ) ) 2 - - - ( 2 )
设E(a,b0,...,bM-1)对a,b0,...,bM-1=0的导数产生以下M+1个等式和M+1个变量的线性系统:
T xx a + Σ i = 0 j = M - 1 T x j b j - T xy = 0 - - - ( 3 )
T x 0 a + N 0 b 0 - T y 0 = 0 - - - ( 4 )
依此类推,通过
T x M - 1 a + N M - 1 b M - 1 - T y M - 1 = 0 - - - ( 5 )
其中 T xx = Σ j = 0 j = M - 1 Σ i = 0 N j - 1 x i j x i j , T x = Σ j = 0 j = M - 1 Σ i = 0 N j - 1 x i j , T xy = Σ j = 0 j = M - 1 Σ i = 0 N j - 1 x i j y i j , T x j = Σ i = 0 N j - 1 x i j , T y j = Σ i = 0 N j - 1 y i j , 这产生:
a = T xy - Σ j = 0 j = M - 1 1 N j T x j T y j T xx - Σ j = 0 j = M - 1 1 N j T x j T x j - - - ( 6 )
b j = 1 N j ( T y j - T x j a ) - - - ( 7 )
M条线的数目可以变化(例如,在一个或多个书写样本没有展示出上行字母和/或下行字母的情况下……)。另外,回归组件104可对数字手写的多条线(例如,段落、页面……)并发地执行线性回归技术,其中文本具有多条基线、中线等。此外,在M条文本线中没有一条具有多于一个点的情况下,可作出a=0的假设。提供了线回归的示例性图示以便于理解以下对于图3和4所描述的回归组件可操作的方式。
当扭曲数字墨水手写时,可操纵手写文本的同度量变换,诸如平移和/或旋转,来恢复单词之间的对齐。然而,这种变换通常不恢复一个单词内的字母之间的对齐。为了恢复手写单词内的对齐,可相对于彼此来移动字母,这进而导致数字墨水的外观的直接更改。由此,为了维持有吸引力的视觉外观,结合系统100使用三种约束:对齐约束、空间特征保留约束以及局部墨水保留约束。
对齐约束确保任何位移应将极值移至它所属的线,并且由此影响相对较少的点(例如,在极值位置处)并仅约束位移的垂直分量。空间特征保留约束确保各段墨水之间的交点和距离应被保留。例如,“u”不应被闭合以类似于“o”或“a”。类似地,多笔划字符(例如,“t”和加重的“e”……)的所有笔划应被移到一起以防止孤立笔划的出现。由此,手写数字墨水可服从控制在不同时刻绘出并且无需连接的各段墨水的2D图像约束。
局部墨水特征保留约束可用于控制手写文本中的字母和/或单词的曲率、角度、宽高比等。位移组件108可采用曲率保留约束来保留手写的这些方面,并可确保在扭曲期间曲率不被反转和/或不向字母引入结。宽高比的保留是一种形式的可压缩性约束,它确保“d”不会通过“d”的上部的垂直压缩而被变换成“a”。最后,角度保留约束可确保分开的笔划的斜线和角度被保留,诸如“t”交叉、重音标记等。角度约束可被局部实施以影响重音、字母等的全局角度和/或斜线。一般而言,局部墨水保留约束可有助于在原始墨水手写和变换的墨水手写之间的扭曲期间提供缓冲。
如上所述,内插组件106可采用橡胶板优化技术来将数字墨水点内插到2D网格中用于扭曲。当采用这一技术时,可并发地优化对齐约束和空间特征保留约束。位移可被描述为(ui,j,vi,j),它表示每一点(i,j)处的u分量和v分量,使得v分量被约束到J中的墨水极值位置处的固定值:
∀ ( i , j ) ∈ J , v i , j = t i , j - - - ( 8 )
这可被重写为一软约束,使得:
E t ( v ) = 1 2 Σ ( i , j ) ∈ J ( v i , j - t i , j ) 2 - - - ( 9 )
水平分量u可被解除约束,使得Et(u)=0。空间特征保留约束在通过最小化位移域的一阶和二阶导数来实施时可能需要平滑位移。例如,一阶导数的最小化可被表达为:
E m ( u , v ) = 1 2 Σ ( i , j ) [ ( u i + 1 , j - u i , j ) 2 + ( u i , j + 1 - u i , j ) 2 + ( v i + 1 , j - v i , j ) 2 + ( v i , j + 1 - u i , j ) 2 ] - - - ( 10 )
二阶导数的最小化可被表达为:
E p ( u ) = 1 2 Σ ( i , j ) [ ( u i + 1 , j - 2 u i , j + u i , j + 1 ) 2 + 2 ( u i + 1 , j + 1 - u i , j + 1 - u i + 1 , j + u i , j ) - - - ( 11 )
+ ( u i , j + 1 - 2 u i , j + u i , j + 1 ) 2 ]
二阶导数约束可被应用于位移域的u分量和v分量两者,使得Ep(u,v)=Ep(u)+Ep(v)。膜模型(membrane model)可最小化Et(u,v)和Em(u,v),而薄板模型(thin platemodel)可最小化Et(u,v)和Ep(u,v)。另外,可以理解,约束Et(u)、Em(u)和Ep(u)以及约束Et(v)、Em(v)和Ep(v)是独立的约束。由此,当u=0时,Et(u)、Em(u)和Ep(u)被最小化,且下一次最小化可对以下表达式执行:
E(v)=αtEt(v)+αmEm(v)+αpEp(v)   (12)
其中αt、αm和αp是对所最小化的误差的加权因子。如果采用了硬约束,则E(v)=0并且αt=∞。由于等式(12)对于v是线性的,因此它可使用采用多分辨率方法的共轭梯度下降(gradient descent)来求解。采用这些协议的结果对于图3示出。
当实施关于角度、宽高比和曲率的第三种约束时,可在新的墨水迹线和原始墨水之间应用局部约束。例如,设x(t)和y(t)是沿经历了橡胶板内插的手写的墨水迹线的点的坐标。另外,设χt和ψt是对于J上的点的子集,墨水期望穿过的目标点。目标约束因此可被写为:
E t ( x , y ) = 1 2 Σ ( t ) ∈ J ( x t - χ t ) 2 ( y t - ψ t ) 2 - - - ( 13 )
如上所述,橡胶板内插可导致手写数字墨水中的结和/或曲率更改。因此,可选择和/或引入防止扭曲期间的这种不合需要的手写变形的约束,该约束将位移的曲线x(t)、y(t)的曲率绑定到原始曲线X(t)、Y(t)的曲率。该约束可使用梯度下降技术来优化,这可导致优化的参数空间中的不必要的大特征值。例如,对于曲率x(t)、y(t)的常规曲率定义可被表达为:
κ ( t ) = x ′ ( t ) y ′ ′ ( t ) - y ′ ( t ) x ′ ′ ( t ) ( x ′ ( t ) 2 + y ′ ( t ) 2 ) 3 / 2 - - - ( 14 )
以上曲率定义可从用于直线的0到用于方向中的尖锐翻转的任意大的值变化。此外,这一定义在使用梯度下降技术优化时是不稳定的。因此,根据此处所述的各方面设计并优化以下约束以有助于手写曲率的定义和优化:
E c ( x , y ) = 1 2 Σ t ( cos ( θ ( t ) ) - cos ( Θ ( t ) ) ) 2 + ( sin ( θ ( t ) ) - sin ( Θ ( t ) ) ) 2 - - - ( 15 )
其中θ(t)被定义为曲线x(t)、y(t)上三个连续点之间的角度,而Θ(t)被定义为曲线X(t)、Y(t)上三个连续点之间的角度。另外,可禁止重复的连续点,以便于上述定义的优化。Ec(x,y)对x(t)和y(t)的导数可在各处有界,以便于优化。
为了减轻连续点之间的距离中不合需要的的大的偏差,可沿墨水迹线实施一附加约束,使得:
E t ( x , y ) = 1 2 Σ t ( l ( t ) - L ( t ) ) 2 - - - ( 16 )
其中l(t)和L(t)分别被定义为曲线x(t)、y(t)和曲线X(t)、Y(t)上两个连续点之间的距离。当完全满足两个约束(例如,等式15和16)时,仍允许墨水部分和/或分段旋转。
可按当与实施其它约束的方式相比时相对较松懈的方式来对手写中的曲线的绝对角度实施“角度”约束。角度约束控制否则不受控的各段墨水,诸如t交叉、重音标记等,如下:
E a ( x , y ) = 1 2 Σ t ( cos ( θ ‾ ( t ) ) - cos ( Θ ‾ ( t ) ) ) 2 + ( sin ( θ ‾ ( t ) ) - sin ( Θ ‾ ( t ) ) ) 2 - - - ( 17 )
其中θ(t)被定义为曲线x(t)、y(t)上两个连续点之间的角度,而Θ(t)被定义为曲线X(t)、Y(t)上两个连续点之间的角度。最后,可执行优化,使得:
ER(x,y)=βtEt(x,y)+βcEc(x,y)+βlEl(x,y)+βaEa(x,y)    (18)
与橡胶板优化形成对比,ER对于x和y是高度非线性的,并且可展示出多个局部最小值。橡胶棒技术沿预成型的“橡胶棒”(例如,可调整线性维度)来位移墨水的极值,以将极值扭曲到沿相应线的其期望位置。如对以下图3和4所见到的,可由内插组件106和位移组件108执行橡胶板和橡胶棒位移技术的组合以便于实现手写数字墨水的期望的标准化和美化,同时每一技术减轻了另一技术的不合需要的副作用。现在参考图2,示出了根据各方面的分类数字墨水手写中的极值的卷积分类器200。分类器200可接收包括诸如可结合平板PC等生成的数字手写的像素图像202的输入。例如,这一图像202可以是45 x 85的像素图像,其中心位于要分类极值处。在这一情况下,要分类的极值是图像202中单词“test”中的字母“s”的峰值处的中线点。图像202中存在的十字准线不是输入的一部分,但是在图像202中呈现以更清楚地指出所分类的极值。两个权重层204和206被示为5 x 5的二次采样的卷积核,如用实线箭头所描绘的。第二对权重层208和210是全连接层,并且用虚线箭头示出。第一卷积层212具有根据本示例的50个特征,而第二卷积层214包括5个特征。第三层216包括100个单元,并且是全连接的。分类器200可输出5个单元(例如,对底部、基线、其它、中线和顶部的每一标签有一个),并且可用例如互熵(cross-entropy)技术来训练,如本领域的技术人员所理解的。
当单独使用时,常规的卷积分类器是易于出错的,并且标记器可能不能对模糊的极值达成一致。例如,根据一个示例,以数字墨水手写的大约10,000个单词的数据库可用卷积分类器来标记。该数据库中的单词可具有5个字母的平均长度以及每单词平均4个极值。字母“f”的底部表示有模糊倾向的极值的一个示例,因为它可以是基线极值、底部极值(例如,下行字母……)、在两个极值之间等等,取决于手写。类似地,手写体“e”可能有疑义地是基线或“其它”。以下表1示出了基于在大约10,000个单词上训练并在超过500个单词的不同子集上测试的分类器的误差数据。
 
标签 示例 神经网络 神经网络(有害)
其它 3466 19% 19%
上行字母 843 29% 14%
中线 2276 17% 4%
基线 3198 7% 0%
下行字母 175 15% 10%
总共: 9958 16% 9%
表1:对于卷积神经网络和直方图投影的极小值极大值误差率
对于卷积神经网络分类器和直方图投影的极小值和极大值误差率在表1中呈现。对每一行,误差百分比表示对该给定类别的误差数。“神经网络(有害)”列表示最有害的误差。尽管将一极值误分类为“其它”与其它类型的误差相比其有害程度较小,因为“其它”分类无需受到标准化/美化算法的影响,但是将“其它”极值误分类为其它内容可能是不利的。然而,尽管出现了模糊的极值,但是本系统和方法可用超过84%的准确度来分类极值。
图3是根据各方面的当标准化数字墨水手写时在采用共轭梯度下降协议来解等式(12)的多分辨率技术之后的数字手写样本300的图示。用于执行标准化的阈值参数可按需调整以补偿各种手写风格和/或变化。样本300包括描绘诸如可如上所述输入到系统100的原始手写的第一行302。第二行304示出了在其上执行了橡胶板位移/内插技术之后的手写样本,其中αt=∞,αm=0.01且αp=1。如图所示,该2D橡胶板位移有效地满足了目标约束(例如,对齐约束和空间特征保留约束),并保留了手写墨水的各个部分之间的特殊关系,诸如“architect”中的“t”上的交叉。然而,将注意到,第一个“c”变平了,“s”打结了,并且t交叉的斜线受到不利的影响。
样本300的第三行306示出了经受了一维(1D)橡胶棒位移技术的手写输入(例如,行302),如以上相对于图1所描述的。在该具体示例中,βt=0.001,βl=0.01,βc=1且βa=0.02。橡胶棒技术不保留手写行306中的墨水部分之间的2D空间关系。例如,第一个“a”与其自身交叉,而这样的出现在原始的手写行302中不存在。另外,t交叉被抛弃,并且不再与其各自的“t”交叉。由此,可以看到,2D橡胶板内插技术和1D橡胶棒位移技术具有各自的缺点。然而,可通过同时采用两种技术(例如,使用上述相同的参数)来对单个数字墨水手写输入实施所有所需的约束来减轻各自的缺点,如由第四行手写308所示的。
图4是包括原始手写样本和在标准化的各阶段处的多个样本版本的一系列手写样本400的图示。原始手写样本402包括单词“areas”,它具有需要标准化并描绘了回归线(例如,实线基线和虚线中线)的多个墨水部分。样本404是在仅应用了橡胶板内插技术(其中αt=∞,αm=0.01且αp=1)之后的手写样本的示例。将注意到,第二个“a”上和/或附近的两个点不合需要地在基线上压缩,从而造成了不利的非自然效应。类似地,样本406是仅经历了橡胶棒位移技术(其中βt=0.001,βl=0.01,βc=1且βa=0.02)的手写的一个示例。将注意到,导致第一个“a”与其自身交叉,而第二“a”展示出被放大的第一个环路,并且“s”未被如所需地位移到基线。这一变形不仅在美学观点上是不合需要的,而且可阻碍字符识别系统正确地解释手写单词。
为了减轻如样本404所示的橡胶板内插的不合需要的效应,可通过随后向该样本应用橡胶棒位移技术来实施刚性(rigidity)。例如,可计算橡胶板变形并可应用相应的位移来计算新的X(t),Y(t)目标迹线。该目标迹线可以是橡胶棒约束(其中J约束每一点)的Et(x,y)的目标,并且然后可优化ER(x,y)。样本408描绘了经历了橡胶板内插之后经历了橡胶棒位移技术的数字手写的一个示例。
图5示出了在美化/标准化过程的各阶段处的诸如可被写到平板PC上的一系列两行段落手写样本500。出于比较的目的,第一个样本502表示在任何处理之前的原始墨水。第二个样本504描绘了在扭曲了基线和中线之后的原始墨水。用相对于图2所描述的分类器标记了极小值和极大值。被标记为“其它”、“底部”和“顶部”的极小值和极大值不约束扭曲。“His”的“i”中的点被分类器误标记为中线,导致不合需要的扭曲。样本506示出了使用手动标记,仿射变换对墨水(例如,无扭曲)的效应。结合手动标记的扭曲的效应可在样本508中看到,该样本示出了可使用此处所描述的分类器获得的结果。提供样本506和508以示出除旋转和平移位移之外保留墨水不变的仿射变换与扭曲之间的差别。
图6是有助于对数字墨水手写中的极值进行分类以允许在没有分段的情况下扭曲手写单词来最小化手写易变性的系统600的图示。系统600包括分类器组件602,它可接收诸如可在平板PC等上生成的数字地生成的墨水书写等输入,并标记墨水字母的局部极小值(例如,底部、基线、其它)和局部极大值(例如,中线、顶部、其它)。由分类器组件602生成的信息可用于如上所述地例如通过结合“橡胶棒”扭曲技术应用“橡胶板”扭曲技术来标准化墨水。
分类器组件602操作上耦合到回归组件604,回归组件604可接收与标记的数字墨水有关的信息(例如,数字手写数据中标记的极大值和/或极小值),并可执行多线回归技术来评估底线(例如,下行字母线)、基线、中线、顶线和/或任何其它可用于描绘手写样本或输入中的点的合适的标记线之间的相对偏移量。可利用相对偏移量来描绘每一极大值和极小值的新的期望位置。内插组件606可从回归组件604接收偏移量信息,并可通过采用各种内插技术和/或约束来将偏移量和/或点位移内插到二维(2D)网格。
例如,根据一方面,内插组件606可采用“橡胶板”(以上相对于图1描述)扭曲约束。位移组件608可减轻因内插导致的数字墨水中的不合需要的墨水和/或曲率,其中位移组件608从内插组件606接收内插的手写数据,并在原始和内插的墨水之间实施曲率和/或压缩约束。例如,位移组件608可采用以上相对于图1描述的“橡胶棒”技术来实施这些约束。
系统600还可包括操作上耦合到分类器组件602、回归组件604、内插组件606和/或位移组件608中的一个或多个的存储器610,它储存与极值标记、内插和/或位移算法、极值分类算法有关的信息、以及与在数字手写环境中提供墨水标准化/美化有关的任何其它合适的信息。处理器612可在操作上连接到系统600的一个或多个组件602、604、606和/或608(和/或存储器610)以便于分析与墨水标准化、美化、极值分类、回归、内插、位移等有关的信息。可以理解,处理器612可以是专用于分析和/或生成由分类组件602(和/或系统600的其它组件)接收的信息的处理器、控制系统600的一个或多个组件的处理器、和/或既分析和生成由分类组件602(和/或系统600的其它组件)接收的信息又控制系统600的一个或多个组件的处理器。
存储器610还可以储存与生成极值分类、内插和/或位移技术(例如,橡胶板、橡胶棒、……)等相关联的协议,使得系统600可采用所储存的协议和/或算法来实现墨水标准化和美化以便于减轻数字手写中的变化来改善文本识别等,如此处所描述的。可以理解,此处所描述的数据存储(例如,存储器)组件可以或者是易失性存储器或非易失性存储器,或者可同时包括易失性和非易失性存储器两者。作为说明而非局限,非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除ROM(EEPROM)或闪存。易失性存储器可包括用作外部高速缓冲存储器的随机存取存储器(RAM)。作为说明而非局限,RAM以多种形式可得,诸如同步RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路DRAM(SLDRAM)以及直接Rambus RAM(DRRAM)。本系统和方法的存储器610旨在包括但不限于这些和任何其它适当类型的存储器。
图7是有助于分类数字墨水手写中的极值以允许在没有分段的情况下扭曲手写单词来最小化手写易变性的系统700的图示。系统700包括接收诸如数字墨水手写等输入并在其中标记极值(例如,底部、基线、中线、顶线、其它等)的分类器组件702,以及从分类器组件702接收信息并分析该信息以经由多线回归技术来确定手写中的相对偏移量的回归组件704。内插组件706操作上与回归组件704相关联以对手写执行内插技术,诸如以上相对于图1描述的橡胶板技术。在完成橡胶板技术之后,位移组件708可采用橡胶棒技术来减轻因橡胶板技术导致的不合需要的变形,并实施刚性约束,同样如相对于图1所描述的。
系统700还可包括如以上相对于图6详细描述的存储器710和处理器712。此外,AI组件714可在操作上与分类器组件702、回归组件704、内插组件706和/或位移组件708相关联,并且可作出关于极值分类和/或标记、手写模糊性等的推断。如此处所使用的,术语“推断”或“推论”一般指从一组通过事件和/或数据捕捉的观察中推出或推断系统、环境和/或用户的状态的过程。例如,推断可用于标识特定的上下文或动作,或可生成状态的概率分布。推断可以是概率性的—即,基于数据和事件的考虑计算感兴趣的状态的概率分布。推断也可以指用于从一组事件和/或数据组成更高级事件的技术。这类推断导致从一组观察的事件和/或储存的事件数据构造新的事件或动作,无论事件是否在相邻的时间上相关,也无论事件和数据是来自一个还是若干个事件和数据源。
根据一个示例,AI组件714可推断对因模糊而无法落入预定义的极值类别(例如,基线、底部、中线、顶部等)、并且因此被分类为“其它”的墨水部分的适当分类。根据该示例,可以确定诸如孤立线、点等墨水部分需要分类。AI组件714结合处理器712和/或存储器710可确定该墨水部分不是错误的标记或意外的笔划。AI组件714可推断该墨水部分实际上是孤立的笔划(例如,t交叉、对“i”的点等)。在这一情况下,AI组件714可有助于以有可能减轻数字手写的模糊并改善其易读性的最有效的方式将该笔划恢复到其父字符。可以理解,以上示例本质上是说明性的,并不旨在限制可由AI组件714作出的推断的范围或AI组件714进行该推断的方式。
根据各方面(例如,结合极值分类、手写位移、扭曲、易读性改进等),AI组件714和/或分类器组件702可采用各种基于人工智能的方案。例如,用于确定向所标识的极值应用哪一标签的过程可通过自动分类器系统和过程来促进。此外,在极值模糊的情况下,可采用分类器来确定哪一极值标签最适合。
分类器是将输入属性矢量x=(x1,x2,x3,x4,xn)映射到该输入属于一个类的置信度的函数,即f(x)=confidence(class)。这一分类可采用基于概率和/或基于统计的分析(例如,分解成分析效用和成本)来预测或推断用户期望自动执行的动作。例如,在数字地生成的手写的情况下,属性可以是书写的字符的端点、与字符生成相关联的时间迹线、或从时间迹线、手写等导出的其它数据专用属性,而类是诸如可应用于字符的极大值和极小值标签等类别或感兴趣的区域。
支持矢量机(SVM)是可采用的分类器的一个示例。SVM通过找出可能输入空间中的超曲面(hypersurface)来操作,其中,超曲面试图将触发准则从非触发事件中分离出来。直观上,这使得分类对于接近但不等同于训练数据的测试数据正确。其它定向和非定向模型分类方法包括,例如,单纯贝叶斯、贝叶斯网络、决策树,并且可以采用提供不同独立性模式的概率分类模型。此处所使用的分类也包括用于开发优先级模型的统计回归。
如可以从本说明书中容易地理解的,本发明可采用显式训练的(例如,通过通用训练数据)以及隐式训练的(例如,通过观察用户行为、接收外来信息)的分类器。例如,SVM可通过分类器构造器和特征选择模块中的学习或训练阶段来配置。由此,分类器可用于自动执行多种功能,包括但不限于根据预定准则来确定对给定极大值或极小值分派哪一标签、当扭曲数字手写时要严格保留哪些特征等。准则可包括但不限于,极大值或极小值的初始位置、极大值或极小值的期望位置等。
参考图8-10,示出了根据本发明的各方面的流程图。尽管出于简明解释的目的,此处例如以流程图的形式示出的一种或多种方法被示出和描述为一系列动作,但是可以理解和明白,本发明不受动作次序的限制,因为根据本发明,某些动作可按不同的次序和/或与此处所示并描述的其它动作同时发生。例如,本领域的技术人员将理解和明白,方法可替换地被表示为一系列相互关联的状态或事件,诸如在状态图中。此外,并非所有示出的动作都是实现根据本发明的方法所必需的。
图8是用于标准化和美化诸如在平板PC、扫描手写文档等上数字地生成的手写的方法800的图示。在802处,可接收输入图像。图像可以是例如在平板PC上生成的文档、扫描图像等,并且可包括数字化手写的一个或多个部分。在804处,可标识这些部分以便于指示可根据此处所述的各方面来执行标准化和/或美化以便改善对人类和/或计算机可执行字符识别应用程序的易读性。
在806处,可标识并分类手写中的极值。例如,各种极值类别可包括但不限于底部极值、基线极值、中线极值、顶部极值、属于无法适合前述类别的极值的“其它”极值等。如本领域的技术人员将理解的,可利用任意数目的极值标签和/或类别来便于提高对于此处所提出的方法和系统的粒度和/或可缩放性。在例如在平板PC上生成的手写图像的情况下,可从平板PC收集与平板笔或触针相关联的时戳并将其用于促进在需要时对手写的1D扭曲。在手写图像是扫描文档或对其时间迹线不可用的其它图像的情况下,图像可被内插到1D迹线网格,并且网格上链接(例如,通过墨水笔划连接)的点可服从以上相对于图1所描述的各种刚性约束。
在808处,可根据多个约束来扭曲手写以标准化其中的数字墨水并提高易读性。例如,诸如橡胶板技术等2D位移协议可用于促进如以上相对于图1和等式(8)—(12)所述的多个曲率和压缩约束的实施。然后可经由例如同样相对于图1和等式(13)以及(15)—(18)所述的橡胶棒位移技术来实施刚性约束。以此方式,可美化手写图像(例如,使其更易读)而不会引入因单独实施橡胶板技术或橡胶棒技术而导致的不合需要的变形。
图9是根据此处所述的各方面的用于美化和标准化数字手写以改进易读性的方法900的图示。在902,可评估并分类包括手写文本的数字图像中的极值。例如,可向手写墨水极值自动添加标签以指示该极值要对齐到多条极值线中的哪一条(例如,顶部、中线、基线、底部、其它……)。该极值标识可使用与例如平板PC上的手写生成相关联的时间迹线来促进。可生成和/或利用定制的分类器来输出手写图像中的每一极值的分类。可以理解,分类器可以是专门的,诸如相对于图1和2描述的卷积神经网络,并且标签可包括如上所述的极值线,和/或字母(例如,“a”、“b”……)。标签和/或分类可用于若干目的,包括但不限于手写与其它类型的图像(例如,绘图、打印文本……)的检测、带有或不带扭曲的墨水的标准化以便于自动手写识别的预处理、自动化手写识别应用程序的构造、人类读者的易读性改善等等。在904,可将极值点与相应点被分类到的期望的极值线对齐(例如,诸如“e”等小写字母的上极值可被对齐到中线……)。为了进一步改善易读性,在906,可实施多个约束以保留对齐、特殊特征(例如,墨水笔划之间的相交、墨水部分之间的距离……)等。在906处实施这些约束可通过例如利用诸如相对于图1和等式(8)—(12)所描述的橡胶板位移算法来实现。为了减轻不合需要的结和/或对墨水笔划的曲率、宽高比、角度等的影响,可在908处引入并实施局部墨水特征保留约束。例如,可采用1D橡胶棒位移技术来维持原始墨水迹线和新墨水迹线之间的约束,如相对于图1和等式(13)和(15)—(18)详细描述的。以此方式,2D橡胶板位移技术后可跟1D橡胶棒位移技术以便于标准化和美化墨水(例如,易读性改善),来最小化手写中的变化并允许人类读者和/或手写识别应用程序更容易的标识。
图10是根据此处所描述的各方面的用于通过采用专门的分类器和组合的位移协议来改善数字手写易读性的方法1000的图示。在1002处,可接收数字手写输入,诸如平板PC上手写的图像、扫描手写文档等,并且可标识包含数字手写的图像中的各部分并将其与非手写文本、图像等区分开来。在1004处,可按类似于以上相对于图8描述和/或相对于图1的分类器协议所描述的方式来标识和标记极值。
在1006处,可使用例如诸如以上相对于等式(1)—(7)所述的多线性回归技术来确定和/或评估极值标签之间的偏移量。1006处偏移量信息和关系的确定有助于计算可在内插/位移协议期间将每一点对齐到其各自的线来扭曲手写并改善易读性的最优位移。在1008处,可将手写图像内插到2D网格。这可利用实施对齐和特殊特征保留约束的橡胶板技术来执行。
在1010处,可实施曲率和压缩约束来标准化手写墨水。例如,与橡胶板内插相关联的对齐约束可约束垂直位移以防止字母“d”垂直地被压缩成字母“a”等。类似地,可实施空间特征保留约束以保留各段墨水之间的相交和距离。这些约束可例如防止字母“u”在其上部收缩而类似于字母“a”等等。另外,可实施曲率约束以防止曲线反转、打结等等。在1012处,可向人类读者和/或计算机可执行手写识别应用程序输出经标准化的带有减少的变化和改进的易读性的手写图像。
现在参考图11,示出了可用于执行所公开的体系结构的计算机的框图。为了提供本发明的各方面的附加上下文,图11和以下讨论旨在提供其中可实现本发明的各方面的合适的计算环境1100的简要、概括描述。尽管以上在可运行在一个或多个计算机上的计算机可执行指令的一般上下文中描述了本发明,但是本领域的技术人员将认识到,本发明也可结合其它程序模块和/或作为硬件和软件的组合来实现。
一般而言,程序模块包括例程、程序、组件、数据结构等,它们执行特定的任务或实现特定的抽象数据类型。此外,本领域的技术人员将理解,本发明的方法可以用其它计算机系统配置来实施,包括单处理器或多处理器计算机系统、小型机、大型计算机、以及个人计算机、手持式计算设备、基于微处理器或可编程消费电子产品等,其每一个都可操作上耦合到一个或多个相关联的设备。
所示的本发明的方面也可在其中某些任务由通过通信网络链接的远程处理设备来执行的分布式计算环境中实施。在分布式计算环境中,程序模块可以位于本地和远程存储器存储设备中。
计算机通常包括各种计算机可读介质。计算机可读介质可以是可由计算机访问的任一可用介质,包括易失性和非易失性介质、可移动和不可移动介质。作为示例而非局限,计算机可读介质包括计算机存储介质和通信介质。计算机存储介质包括以用于储存诸如计算机可读指令、数据结构、程序模块或其它数据等信息的任一方法或技术实现的易失性和非易失性,可移动和不可移动介质。计算机存储介质包括但不限于,RAM、ROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字视频盘(DVD)或其它光盘存储、磁盒、磁带、磁盘存储或其它磁存储设备、或可以用来储存所期望的信息并可由计算机访问的任一其它介质。通信介质通常以诸如载波或其它传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其它数据,并包括任一信息传送介质。术语“已调制数据信号”指以对信号中的信息进行编码的方式设置或改变其一个或多个特征的信号。作为示例而非局限,通信介质包括有线介质,如有线网络或直接连线连接,以及无线介质,如声学、RF、红外和其它无线介质。上述任一的组合也应当包括在计算机可读介质的范围之内。
再次参考图11,示出了用于实现本发明的各方面的示例性环境1100,它包括计算机1102,计算机1102包括处理单元1104、系统存储器1106和系统总线1108。系统总线1108将包括但不限于系统存储器1106的系统组件耦合至处理单元1104。处理单元1104可以是各种市场上可购买的处理器的任一种。双微处理器和其它多处理器体系结构也可用作处理单元1104。
系统总线1108可以是若干种总线结构类型的任一种,它可进一步互连到存储器总线(带有或不带存储器控制器)、外围总线、以及使用各类市场上可购买的总线体系结构的局部总线。系统存储器1106包括只读存储器(ROM)1110和随机存取存储器(RAM)1112。基本输入/输出系统(BIOS)储存在诸如ROM、EPROM、EEPROM等非易失性存储器1110中,该BOIS包括如在启动时帮助在计算机1102内的元件之间传输信息的基本例程。RAM 1112也可包括诸如静态RAM等高速RAM,用于高速缓存数据。
计算机1102还包括内部硬盘驱动器(HDD)1114(例如,EIDE、SATA),该内部硬盘驱动器1114也可被配置成在合适的机壳(未示出)中供外部使用;磁软盘驱动器(FDD)1116(例如,对可移动磁盘1118进行读写);以及光盘驱动器1120(例如,读CD-ROM盘1122或对诸如DVD等其它高容量光学介质进行读写)。硬盘驱动器1114、磁盘驱动器1116和光盘驱动器1120可以分别通过硬盘驱动器接口1124、磁盘驱动器接口1126和光驱接口1128连接到系统总线1108。用于外部驱动器实现的接口1124包括通用串行总线(USB)和IEEE 1394接口技术中的至少一个或两者。
驱动器及其相关联的计算机可读介质提供了对数据、数据结构、计算机可执行指令等的非易失性存储。对于计算机1102,驱动器和介质容纳合适数字格式的任何数据的存储。尽管以上对计算机可读介质的描述涉及HDD、可移动磁盘以及诸如CD或DVD等可移动光学介质,然而本领域的技术人员可以理解,计算机可读的其它类型的介质,诸如zip驱动器、磁带盒、闪存卡、盒式磁带等,也可用于示例性操作环境中,并且此外,任何这类介质可包含用于执行本发明的方法的计算机可执行指令。
多个程序模块可储存在驱动器和RAM 1112中,包括操作系统1130、一个或多个应用程序1132、其它程序模块1134和程序数据1136。操作系统、应用程序、模块和/或数据的全部或部分也可被高速缓存在RAM 1112中。可以理解,本发明可以用各种市场上可购买的操作系统或操作系统的组合来实现。
用户可通过一个或多个有线和/或无线输入设备,例如键盘1138和诸如鼠标1140等定位设备将命令和信息输入到计算机1102中。其它输入设备(未示出)可包括话筒、IR遥控器、操纵杆、游戏垫、输入笔、触摸屏等等。这些和其它输入设备通常通过耦合到系统总线1108的输入设备接口1142连接到处理单元1104,但也可通过其它接口连接,如并行端口、IEEE 1394串行端口、游戏端口、USB端口、IR接口等等。
监视器1144或其它类型的显示设备也通过诸如视频适配器1146等接口连接到系统总线1108。除监视器1144之外,计算机通常包括其它外围输出设备(未示出),诸如扬声器、打印机等等。
计算机1102可以使用通过有线和/或无线通信到一台或多台远程计算机,如远程计算机1148的逻辑连接在网络化环境中操作。远程计算机1148可以是工作站、服务器计算机、路由器、个人计算机、便携式计算机、基于微处理器的娱乐设备、对等设备或其它常见的网络节点,并通常包括相对于计算机1102所描述的许多或所有元件,尽管为简明性目的,仅示出了存储器存储设备1150。所描绘的逻辑连接包括到局域网(LAN)1152和/或更大的网络,如广域网(WAN)1154的有线/无线连接性。该LAN和WAN联网环境常见于办公室和公司,并促进了诸如内联网等企业范围的计算机网络,所有这些都可连接到全球通信网络,如因特网。
当在LAN联网环境中使用时,计算机1102通过有线和/或无线通信网络接口或适配器1156连接到局域网1152。适配器1156可促进与LAN 1152的有线或无线通信,它也可包括布置在其上的无线接入点,用于与无线适配器1156通信。当在WAN联网环境中使用时,计算机1102可包括调制解调器1158,或连接到WAN1154上的通信服务器,或具有用于通过WAN 1154,如通过因特网建立通信的其它装置。调制解调器1158可以是内置或外置、有线或无线的设备,它通过串行端口接口1142连接到系统总线1108。在联网环境中,相对于计算机1102或其各部分描述的程序模块可储存在远程存储器/存储设备1150中。可以理解,所示的网络连接是示例性的,可以使用在计算机之间建立通信链路的其它手段。
计算机1102用于与操作上布置在无线通信中的任何无线设备或实体通信,如打印机、扫描仪、台式和/或便携式计算机、便携式数据助理、通信卫星、与无线可检测标签相关联的任何一个设备或位置(例如,电话亭、报亭、休息室)以及电话。这至少包括Wi-Fi和BluetoothTM(蓝牙)无线技术。由此,通信可以是如同常规网络一样的预定义结构,或简单地为至少两个设备之间的自组织通信。
Wi-Fi,或无线保真,允许从家里的睡椅、酒店房间的床上或工作的会议室连接到因特网而不需要线缆。Wi-Fi是一种类似蜂窝电话的无线技术,它使得诸如计算机等这类设备能够在室内和室外,在基站范围内的任何地方发送和接收数据。Wi-Fi网络使用称为IEEE 802.11(a、b、g等等)的无线电技术来提供安全、可靠、快速的无线连接。Wi-Fi网络可用于将计算机彼此连接、连接到因特网以及连接到有线网络(使用IEEE 802.3或以太网)。Wi-Fi网络在未许可的2.4和5GHz无线电波段内操作,例如以11Mbps(802.11a)或54Mbps(802.11b)数据速率操作,或者具有包含两个波段(双波段)的产品,因此该网络可提供类似于许多办公室中使用的基本10BaseT有线以太网网络的真实性能。
现在参考图12,它示出了根据本发明的示例性计算环境1200的示意框图。系统1200包括一个或多个客户机1202。客户机1202可以是硬件和/或软件(如,线程、进程、计算设备)。客户机1202可通过例如采用本发明来容纳cookie和/或相关联的上下文信息。系统1200还包括一个或多个服务器1204。服务器1204也可以是硬件和/或软件(如,线程、进程、计算设备)。例如,服务器1204可容纳线程,以通过使用本发明执行变换。客户机1202和服务器1204之间的一个可能的通信可以是适用于在两个或更多个计算机进程之间传输的数据分组的形式。数据分组可包括例如cookie和/或相关联的上下文信息。系统1200包括可用于促进客户机1202和服务器1204之间通信的通信框架1206(例如,诸如因特网等全球通信网络)。
通信可经由有线(包括光纤)和/或无线技术来促进。客户机1202操作上连接至可用于储存对客户机1202本地的信息(例如,cookie和/或相关联的上下文信息)的一个或多个客户机数据存储1208。类似地,服务器1204操作上连接至可用于储存对服务器1204本地的信息的一个或多个服务器数据存储1210。
上文所描述的包括本发明的示例。当然,不可能为了描述本发明而描述组件或方法的每一可想象的组合,但是本领域的普通技术人员可以认识到,本发明的许多另外的组合和置换是可能的。因此,本发明旨在包含落入所附权利要求书的精神和范围中的所有这样的改变、修改和变化。此外,就在说明书或权利要求书中使用术语“包括”而言,这类术语旨在以与术语“包含”用作权利要求书中的过渡词所解释的类似的方式为包含性的。

Claims (20)

1.一种有助于手写识别和标准化的计算机实现的系统,包括:
分类器组件,它接收与数字地手写的文档有关的数据作为输入,并标记数字地手写的单词中的极值;以及
回归组件,它评估所述手写单词中的极值之间的偏移量并对相应极值确定新位置,并且执行将极值点对齐到由所述分类器标签指示的所述新位置的非线性扭曲技术来改善易读性。
2.如权利要求1所述的系统,其特征在于,所述极值标签包括底线、基线、中线和顶线中的至少一个。
3.如权利要求2所述的系统,其特征在于,还包括应用于不适合所述底线、基线、中线和顶线分类中的至少一个的极值点的“其它”极值标签。
4.如权利要求1所述的系统,其特征在于,还包括内插组件,它将所分类的手写内插到二维网格,并执行“橡胶板”位移技术来扭曲所述手写。
5.如权利要求4所述的系统,其特征在于,还包括位移组件,它对所分类的手写执行“橡胶棒”位移技术,该技术在应用了所述橡胶板位移技术之后对所述手写施加刚性约束。
6.如权利要求5所述的系统,其特征在于,还包括计算机可执行手写识别应用程序,它接收所述标准化的手写并将所述标准化的手写转换成文本。
7.如权利要求1所述的系统,其特征在于,还包括智能组件,它采用基于概率和/或统计的分析来预测或推断用户期望自动执行的动作。
8.如权利要求1所述的系统,其特征在于,所述回归组件,多项式回归来计算同一类的极值的目标位置。
9.一种扭曲数字手写以改善易读性的方法,包括:
对手写单词的数字墨水表示中的极小值和极大值进行分类;
确定所述极大值和极小值的原始位置与同所述极大值和极小值分类相关联的期望位置之间的偏移量;以及
扭曲所述手写单词以改善易读性。
10.如权利要求9所述的方法,其特征在于,还包括将所述偏移量内插到二维网格,并应用保留所述手写单词中的墨水笔划对齐、墨水笔划相交、以及墨水笔划之间的距离的橡胶板位移算法。
11.如权利要求10所述的方法,其特征在于,还包括应用保留局部墨水笔划特征的橡胶棒位移算法。
12.如权利要求11所述的方法,其特征在于,所述局部墨水笔划特征是与所述手写单词中的一个或多个墨水笔划相关联的曲率、宽高比和角度中的至少一个。
13.如权利要求9所述的方法,其特征在于,所述方法被实现为用于手写识别程序的预处理应用程序。
14.如权利要求9所述的方法,其特征在于,所述手写单词是使用平板PC生成的。
15.如权利要求14所述的方法,其特征在于,对所述极小值和极大值进行分类包括接收涉及所述平板PC上的个别墨水笔划的生成的时间迹线信息,并分析所述时间迹线信息以确定所述墨水笔划的端点。
16.如权利要求9所述的方法,其特征在于,所述数字墨水表示是通过扫描包含手写单词的文档来生成的。
17.如权利要求16所述的方法,其特征在于,将所述手写单词内插到一维网格并在所述网格上由墨水笔划连接的点之间施加刚性约束。
18.一种其上储存有用于执行如权利要求9所述的方法的计算机可执行指令的计算机可读介质。
19.一种有助于减轻手写变化并改善数字地生成的手写的易读性的系统,包括:
用于标识所述手写中的极值的装置;
用于对所标识的极值进行分类的装置;
用于将所标识的极值扭曲到期望位置的装置;以及
用于保留与所述手写中的个别墨水笔划相关联的曲率、宽高比和角度的装置。
20.如权利要求19所述的系统,其特征在于,所述用于扭曲的装置包括用于对所述手写执行橡胶板优化技术以改善易读性、同时保留手写字符的全局空间特征和对齐的装置,以及用于对所述手写执行橡胶棒优化技术以改善易读性、同时保留所述手写字符的局部空间特征的装置。
CNA2006800316737A 2005-07-01 2006-06-29 用于标准化和美化/墨水美化的墨水扭曲 Pending CN101536012A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/173,243 US7593574B2 (en) 2005-07-01 2005-07-01 Ink warping for normalization and beautification / ink beautification
US11/173,243 2005-07-01

Publications (1)

Publication Number Publication Date
CN101536012A true CN101536012A (zh) 2009-09-16

Family

ID=37589598

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2006800316737A Pending CN101536012A (zh) 2005-07-01 2006-06-29 用于标准化和美化/墨水美化的墨水扭曲

Country Status (12)

Country Link
US (1) US7593574B2 (zh)
EP (1) EP1899895A2 (zh)
JP (1) JP2009500748A (zh)
KR (1) KR20080030573A (zh)
CN (1) CN101536012A (zh)
AU (1) AU2006265665A1 (zh)
BR (1) BRPI0613132A2 (zh)
CA (1) CA2613715A1 (zh)
MX (1) MX2007016570A (zh)
NO (1) NO20080005L (zh)
RU (1) RU2007149055A (zh)
WO (1) WO2007005775A2 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102929541A (zh) * 2012-10-16 2013-02-13 北京千橡网景科技发展有限公司 基于触摸屏的笔迹处理方法及装置
CN103324925A (zh) * 2012-03-22 2013-09-25 佳能株式会社 用于获得用于手写字符识别的字符数据的方法和装置
CN105706037A (zh) * 2013-06-11 2016-06-22 微软技术许可有限责任公司 管理以结构化格式的墨水内容
CN108369637A (zh) * 2015-12-08 2018-08-03 迈思慧公司 用于美化数字墨水的系统和方法
CN108885703A (zh) * 2018-03-05 2018-11-23 香港应用科技研究院有限公司 机器学习人工字符生成
CN110073350A (zh) * 2016-10-26 2019-07-30 迈思慧公司 用于管理数字墨水排版的系统和方法

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7664325B2 (en) * 2005-12-21 2010-02-16 Microsoft Corporation Framework for detecting a structured handwritten object
WO2007129474A1 (ja) * 2006-05-10 2007-11-15 Nikon Corporation 被写体認識装置、被写体認識プログラム、および画像検索サービス提供方法
US8094939B2 (en) 2007-06-26 2012-01-10 Microsoft Corporation Digital ink-based search
US8315482B2 (en) * 2007-06-26 2012-11-20 Microsoft Corporation Integrated platform for user input of digital ink
US8041120B2 (en) * 2007-06-26 2011-10-18 Microsoft Corporation Unified digital ink recognition
CN101482920B (zh) * 2008-12-30 2010-12-22 广东国笔科技股份有限公司 一种手写字符识别方法及系统
US8340420B2 (en) * 2009-10-05 2012-12-25 National Taiwan University Method for recognizing objects in images
WO2011079103A1 (en) 2009-12-23 2011-06-30 Sanofi Spiropiperidine benzylamines as beta-tryptase inhibitors
US8275428B2 (en) * 2010-05-21 2012-09-25 Microsoft Corporation Method for planar implementation of π/8 gate in chiral topological superconductors
WO2012010211A1 (en) * 2010-07-23 2012-01-26 Sony Ericsson Mobile Communications Ab Device, method & computer program product
CN102681745A (zh) * 2010-12-28 2012-09-19 广东开心信息技术有限公司 手写输入系统及用户终端
TWI470490B (zh) * 2012-02-17 2015-01-21 Wistron Corp 手寫輸入之筆劃呈現方法與電子裝置
US20130343639A1 (en) * 2012-06-20 2013-12-26 Microsoft Corporation Automatically morphing and modifying handwritten text
CN103488281A (zh) * 2013-01-05 2014-01-01 罗朝劲 增强型手写输入方案
US9880990B2 (en) * 2013-03-14 2018-01-30 Microsoft Technology Licensing, Llc Leveraging previous instances of handwriting for handwriting beautification and other applications
KR20150028627A (ko) * 2013-09-06 2015-03-16 삼성전자주식회사 사용자 필기를 텍스트 정보로 변환하는 방법 및 이를 수행하기 위한 전자 기기
KR102245706B1 (ko) * 2013-09-17 2021-04-28 삼성전자주식회사 데이터 처리 방법 및 그 전자 장치
CN104463086B (zh) * 2013-09-25 2018-12-14 联想(北京)有限公司 一种信息处理方法及设备
US9940511B2 (en) * 2014-05-30 2018-04-10 Kofax, Inc. Machine print, hand print, and signature discrimination
US10417525B2 (en) 2014-09-22 2019-09-17 Samsung Electronics Co., Ltd. Object recognition with reduced neural network weight precision
KR20160062566A (ko) * 2014-11-25 2016-06-02 삼성전자주식회사 필기 문자를 보정하는 디바이스 및 방법
KR101687941B1 (ko) * 2014-11-27 2016-12-20 주식회사 셀바스에이아이 온라인 필기 데이터 라인 분할 방법 및 이를 이용하는 장치
US9824266B2 (en) 2014-11-28 2017-11-21 Samsung Electronics Co., Ltd. Handwriting input apparatus and control method thereof
US10210383B2 (en) 2015-09-03 2019-02-19 Microsoft Technology Licensing, Llc Interacting with an assistant component based on captured stroke information
US10387034B2 (en) 2015-09-03 2019-08-20 Microsoft Technology Licensing, Llc Modifying captured stroke information into an actionable form
US10013603B2 (en) * 2016-01-20 2018-07-03 Myscript System and method for recognizing multiple object structure
US20180032494A1 (en) * 2016-07-29 2018-02-01 Myscript System and method for beautifying superimposed digital ink
US10970476B2 (en) * 2017-05-17 2021-04-06 Microsoft Technology Licensing, Llc Augmenting digital ink strokes
US10402642B2 (en) 2017-05-22 2019-09-03 Microsoft Technology Licensing, Llc Automatically converting ink strokes into graphical objects
CN109657203B (zh) * 2017-10-12 2020-12-04 北大方正集团有限公司 字库字面大小调整的方法、系统
US11164025B2 (en) 2017-11-24 2021-11-02 Ecole Polytechnique Federale De Lausanne (Epfl) Method of handwritten character recognition confirmation
KR102570007B1 (ko) * 2019-11-04 2023-08-23 삼성전자주식회사 필기 입력을 보정하는 방법 및 전자 장치
KR20210073196A (ko) * 2019-12-10 2021-06-18 삼성전자주식회사 필기 입력을 처리하는 방법 및 그 장치
CN111126408A (zh) * 2019-12-24 2020-05-08 华中师范大学 一种基于旋转不变性的手写化学有机环符号识别方法
CN114494532A (zh) * 2021-12-20 2022-05-13 浙江大华技术股份有限公司 手写字体美化方法、电子装置和存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4562594A (en) * 1983-09-29 1985-12-31 International Business Machines Corp. (Ibm) Method and apparatus for segmenting character images
JPS6180478A (ja) 1984-09-27 1986-04-24 インタ−ナショナル ビジネス マシ−ンズ コ−ポレ−ション デ−タ入力・表示システム
US6487310B1 (en) 1991-09-06 2002-11-26 Penop Ltd. Signature matching
GB9119139D0 (en) * 1991-09-06 1991-10-23 Atomic Energy Authority Uk Signature matching
US5577135A (en) * 1994-03-01 1996-11-19 Apple Computer, Inc. Handwriting signal processing front-end for handwriting recognizers
US5774586A (en) * 1994-05-04 1998-06-30 Ncr Corporation Method and apparatus for standardization of inputs to word recognition systems
JPH0863553A (ja) * 1994-08-25 1996-03-08 Nippon Telegr & Teleph Corp <Ntt> 文字列認識方法
US5963666A (en) * 1995-08-18 1999-10-05 International Business Machines Corporation Confusion matrix mediated word prediction
US6898315B2 (en) 1998-03-23 2005-05-24 Microsoft Corporation Feature extraction for real-time pattern recognition using single curve per pattern analysis
US7142715B2 (en) 2003-01-17 2006-11-28 Sakhr Software Company Arabic handwriting recognition using feature matching

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103324925A (zh) * 2012-03-22 2013-09-25 佳能株式会社 用于获得用于手写字符识别的字符数据的方法和装置
CN102929541A (zh) * 2012-10-16 2013-02-13 北京千橡网景科技发展有限公司 基于触摸屏的笔迹处理方法及装置
CN105706037A (zh) * 2013-06-11 2016-06-22 微软技术许可有限责任公司 管理以结构化格式的墨水内容
CN105706037B (zh) * 2013-06-11 2019-02-12 微软技术许可有限责任公司 管理以结构化格式的墨水内容
CN108369637A (zh) * 2015-12-08 2018-08-03 迈思慧公司 用于美化数字墨水的系统和方法
CN108369637B (zh) * 2015-12-08 2022-09-09 迈思慧公司 用于美化数字墨水的系统和方法
CN110073350A (zh) * 2016-10-26 2019-07-30 迈思慧公司 用于管理数字墨水排版的系统和方法
CN110073350B (zh) * 2016-10-26 2024-02-23 迈思慧公司 用于管理数字墨水排版的系统和方法
CN108885703A (zh) * 2018-03-05 2018-11-23 香港应用科技研究院有限公司 机器学习人工字符生成
CN108885703B (zh) * 2018-03-05 2021-11-26 香港应用科技研究院有限公司 机器学习人工字符生成

Also Published As

Publication number Publication date
BRPI0613132A2 (pt) 2011-01-11
MX2007016570A (es) 2008-03-10
AU2006265665A1 (en) 2007-01-11
EP1899895A2 (en) 2008-03-19
CA2613715A1 (en) 2007-01-11
US20070003142A1 (en) 2007-01-04
WO2007005775A2 (en) 2007-01-11
US7593574B2 (en) 2009-09-22
KR20080030573A (ko) 2008-04-04
JP2009500748A (ja) 2009-01-08
RU2007149055A (ru) 2009-07-10
WO2007005775A3 (en) 2009-04-16
NO20080005L (no) 2008-01-22
AU2006265665A2 (en) 2008-03-20

Similar Documents

Publication Publication Date Title
CN101536012A (zh) 用于标准化和美化/墨水美化的墨水扭曲
US7646913B2 (en) Allograph based writer adaptation for handwritten character recognition
Khalifa et al. Off-line writer identification using an ensemble of grapheme codebook features
US20180018533A1 (en) Synthetic data generation of time series data
JP4589625B2 (ja) カーネルフィッシャーフェイスを使用した顔認識
US8977042B2 (en) Rotation-free recognition of handwritten characters
CN101253513B (zh) 对书写输入的知晓风格的使用
US8266078B2 (en) Platform for learning based recognition research
JP2005512201A5 (zh)
JP2004348714A (ja) 適応的手書き文字認識のためのシステムおよび方法
US8977041B2 (en) Systems and methods for creating a visual vocabulary
Bicego et al. A bioinformatics approach to 2D shape classification
Sarlin Data and dimension reduction for visual financial performance analysis
Singh et al. Benchmark databases of handwritten Bangla-Roman and Devanagari-Roman mixed-script document images
CN104951781A (zh) 字符辨识装置以及识别函数生成方法
Benouareth An efficient face recognition approach combining likelihood-based sufficient dimension reduction and LDA
Lin et al. Kernel-based representation for 2D/3D motion trajectory retrieval and classification
US11907307B1 (en) Method and system for event prediction via causal map generation and visualization
Theeramunkong et al. Off-line isolated handwritten Thai OCR using island-based projection with n-gram model and hidden Markov models
Vuori et al. Influence of erroneous learning samples on adaptation in on-line handwriting recognition
Camastra et al. Clustering methods
Wang et al. Importance sampling based discriminative learning for large scale offline handwritten Chinese character recognition
Sun et al. Word segmentation of handwritten text using supervised classification techniques
Zhou et al. A discussion of nonlinear variants of biased discriminants for interactive image retrieval
Farahzadeh et al. Scene recognition by semantic visual words

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20090916