CN101785030A - 基于隐式马尔可夫模型的手写笔迹/书法生成 - Google Patents

基于隐式马尔可夫模型的手写笔迹/书法生成 Download PDF

Info

Publication number
CN101785030A
CN101785030A CN200880102021A CN200880102021A CN101785030A CN 101785030 A CN101785030 A CN 101785030A CN 200880102021 A CN200880102021 A CN 200880102021A CN 200880102021 A CN200880102021 A CN 200880102021A CN 101785030 A CN101785030 A CN 101785030A
Authority
CN
China
Prior art keywords
hidden markov
markov model
character
hand
stroke
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200880102021A
Other languages
English (en)
Other versions
CN101785030B (zh
Inventor
P·刘
Y·吴
L·马
F·K·宋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN101785030A publication Critical patent/CN101785030A/zh
Application granted granted Critical
Publication of CN101785030B publication Critical patent/CN101785030B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks
    • G06F18/295—Markov models or related models, e.g. semi-Markov models; Markov random fields; Networks embedding Markov models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/28—Character recognition specially adapted to the type of the alphabet, e.g. Latin alphabet
    • G06V30/287—Character recognition specially adapted to the type of the alphabet, e.g. Latin alphabet of Kanji, Hiragana or Katakana characters

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Character Discrimination (AREA)

Abstract

一种用于手写字符生成的示例性方法包括接收一个或多个字符以及对于该一个或多个接收到的字符，使用被训练以供生成手写字符的隐式马尔可夫模型来生成手写字符。在这一方法中，经训练的隐式马尔可夫模型可使用诸如最大后验技术、最大似然线性回归技术或本征空间技术等技术来自适应。

Description

基于隐式马尔可夫模型的手写笔迹/书法生成
背景
模仿个性化或有美感的手写字符的真实笔迹的手写和/或书法生成在娱乐或计算机图形领域正变得越来越流行。生成这些风格元素的系统不同于仅仅打印或显示标准字体的常规系统。以下是常规系统的简要概览，这帮助凸显对于手写笔迹和/或书法生成所存在的挑战。
存在用于输入文本或手写笔迹的许多类型的输入设备。例如，常规计算机键盘是在致动键或键的组合时生成信号的输入设备。计算机内的芯片接收信号位并将其解码成正确的按键。该计算机然后基于所按下的键来决定做什么(例如，在屏幕上显示一字符或执行某一动作)。所显示的字符通常根据字面或字体来显示。例如，文字处理程序可包括诸如Arial、Time New Roman等字体。
在印刷术中，字面是风格单一地设计的一组协调的字形。字面通常包括字母表、数字和标点符号；它还可包括表意文字和符号或者全由它们组成，例如，数学或制图符号。术语字面通常与字体混合，字体是历史上在桌面发布出现之前具有多个不同含义的术语；在讨论数字印刷术时，这些术语现在实际上是同义的。字体和字面之间的一个值得注意且仍然有效的区别是字体的状态作为离散物品，而字面指定视觉外观或风格。
设计字面的艺术和手艺被称为字设计。字面的设计者被称为字设计者，并且通常是排印工人。在数字印刷术中，字设计者也被称为字体开发者或字体设计者。
无论用户是通过键盘、笔/图形输入板、还是通过语音识别等来输入字符，对于常规系统而言，最终结果由与所输入的字符具有一对一对应关系的所选字体来规定。例如，虽然一个人可以在图形输入板上使用笔来输入草写体字符，但常规手写识别和生成系统能够实现的最佳“草写体”结果是通过不考虑字符顺序、间隔等的草写体字体实现的。换言之，输出与表达相剥离。虽然用户可论证地对特定字体应用斜体样式以进行强调(或加下划线或粗体)，但最终结果仍然缺乏人类手写笔迹中出现的表达。
对于表达，一个人可通过使用僵直的、有倾斜度的、高压笔划来表达愤怒，或者一个人可通过使用卷曲的、舒展的、低压笔划来表达喜悦。的确，笔迹学领域致力于对这些字符的研究和分析，尤其在与人类心理状态的关系方面。笔迹学已用于评估配偶相容性、智力和甚至将来(类似于占星术)，对于名人、政客等尤其如此。在医疗领域，笔迹学有更实际的目的，例如，帮助诊断和跟踪大脑和神经系统的疾病。法院和银行经常使用笔迹学的各方面(或者更一般而言是笔划特征、字符键入等)来认证书写者身份或对该身份发表意见。
此处所讨论的各示例性技术可生成手写笔迹和/或书法。这些技术允许宽泛范围的用户表达。
概述
一种用于手写字符生成(例如，草写体、书法或其他风格化字符)的示例性方法包括接收一个或多个字符以及对于该一个或多个接收到的字符，使用被训练以供生成手写字符的隐式马尔可夫模型来生成手写字符。在这一方法中，经训练的隐式马尔可夫模型可使用诸如最大后验技术、最大似然线性回归技术或本征空间技术等技术来自适应。
附图简述
参考附图描述了非限制性的和非穷尽的实施例，其中除非另外指定，否则在各个视图中相同的附图标记指示相同的部分。
图1是用于生成手写字符的设备和过程的图示。
图2是东亚(EA)字符以及笔划指示、笔划顺序和EA字符的草写体和印刷体表示的图示；注意各示例性方法可以与来自其他语言(例如，草写体英语等)的字符一起使用。
图3是用于字符和风格建模的各种建模特征的图示。
图4是用于使用基于HMM的模型以及个性化选项来生成手写字符的示例性方法的图示。
图5是用于手写字符生成的示例性方法的图示，该方法包括训练阶段和合成阶段以及示例性特征向量和求解技术。
图6是用于使用一种或多种自适应技术来使经训练的HMM自适应的示例性方法的图示。
图7是用于通过将自适应技术应用于一个或多个均值向量和一个或多个协方差矩阵来使初始、经训练的HMM自适应的示例性方法的图示。
图8是使用示例性系统来生成和呈现的各种手写EA字符的图示，该示例性系统使用斜率、曲率和虚构笔划特征。
图9是可用于实现此处所讨论的各种示例性方法中的部分或全部的示例性计算设备的各个组件的图示。
详细描述
此处描述了在手写笔迹和书法生成系统中使用的技术。这些技术可应用于与各种语言中的任一种相关联的手写笔迹。例如，在英语中，各种示例性技术可生成草写手写笔迹，而在汉语中，各种技术可生成手写字符。在这些示例中的任一个中，所生成或呈现的手写笔迹的风格可以是“金牌”书写者的风格、特定书写者的风格或者不止一个书写者的风格组合。对于最后一种情况，书写者可选择她的手写和金牌书写者(或著名书写者)的手写之间的特征相似性或自适应性的程度。这些技术允许书写者“伪造”金牌书写者的手写笔迹或书法，“伪造”名人的手写笔迹或书法或者将另一书写者的风格的各方面混合到该书写者自己的手写笔迹或书法中。
图1示出了用于手写笔迹和/或书法生成100的过程和设备。关于设备，示出了计算设备以及各种输入部件120的某些示例。输入可经由键盘、笔、话筒、遥控器、蜂窝电话键区等来进行。关于生成，显示器140、键盘170和计算设备180示出用户能够如何经由字符键172和数字键174来输入信息。在图1的示例中，用户使用键盘170来输入“Hello World”或东亚字符“来”。对于常规系统，计算设备180使得显示器140以所选标准字体150显示“HelloWorld”或“来”。相反，在示例性手写笔迹生成系统中，计算设备180使得显示器140显示草写体的“Hello World”或缮写的东亚字符。
此处所描述的各种示例性技术使用诸如常用于手写字符识别的基于隐式马尔可夫模型(HMM)的方法来生成手写字符。例如，为了生成风格化输出160，计算机180包括使用示例性的基于HMM的手写笔迹生成方法的软件。用于手写字符生成的示例性方法(例如，至少部分地由计算设备实现)包括接收字符并使用为生成手写字符而训练的HMM来生成对应的手写字符。这一方法可接收字符串或字符组并生成对应的手写字符。
由此，如此处所描述的，手写字符生成依赖于基于HMM的方法。各种字符识别系统使用基于HMM的方法来基于书写者的输入数据识别字符。单个HMM包括状态以及可使用适当的训练信息来训练的状态转换。一组经训练的HMM以及关于一个或多个字符的输入信息可用于预测该输入信息的可能结果(例如，对应于该字符信息的一个或多个字符)。
如在下文中更详细地描述的，一种示例性方法使计算设备能以自然的、个性化的或有美感的方式生成手写字符。如图1的示例所示，用户可使用键盘170来键入一消息，并且然后计算机180将自动生成模仿人类手写笔迹的笔迹。
各种示例性技术解决灵活的、可训练的框架中的手写笔迹生成。一种示例性技术对代表性特征(例如，字符的x、y坐标)以及导出特征(例如，斜率和曲率)建模。因此，在生成对应于手写字符的迹线时，该方法能够对提供平滑迹线的最大似然问题求解，因为不仅斜率而且曲率都被训练成在似然的意义上尽可能地接近对应的模型。
除了灵活性、可训练性和自适应性优点之外，另一能力是生成超出传统字体概念(参见背景部分)的连续手写笔迹。各种示例性技术可使用压力和速度信息来定义特征。有了这些信息和特征，使用基于HMM的生成方法的示例性框架还能够处理由画笔书写的有美感的东亚书法。
各种示例性技术能够使用各种笔划顺序/书写风格和虚构笔划(或者在常规的基于HMM的字符识别系统中使用的其他技术)来表征笔迹。一种示例性手写字符生成系统采用多路径HMM和多空间概率分布(MSD)来对笔划顺序/书写风格和虚构笔划求解。
用于字符识别的常规的基于HMM的方法可如下地操作。在定义东亚字符的特征之后，从训练墨水数据中提取所定义的特征以训练HMM模型。所提取的特征(有时被称为“特征信息”)可用于(i)训练字符识别模型或者(ii)可被输入到经训练的字符识别模型中，该模型进而输出对应于该特征信息的字符。
如此处所描述的，出于手写笔迹和/或书法的目的，用于生成手写笔迹的示例性的基于HMM的方法使用所定义的特征来捕捉不仅与字符，而且与字符或字符串(例如，以草写体书写的字)中的各个笔划的风格特性相关联的特质。捕捉这些特性的过程此处被称为编码，这是训练示例性的基于HMM的系统以生成手写笔迹和/或书法的训练过程的一部分。
对于常规的基于HMM的字符识别，对关于手写字符的墨水数据应用特征提取并且将所得特征信息输入到经训练的HMM中。接着，使用来自经训练的HMM的输出来选择对应于特征信息并且间接对应于墨水数据的字符。经训练的HMM模型的准确性取决于各种因素，包括所选在线特征集。
如此处所描述的，用于手写笔迹生成的示例性的基于HMM的方法使用足够丰富以编码手写字符及其相关联的风格元素的所选特征集。取决于要编码或再现(例如，呈现)的表达水平，特征可允许编码单个字符或具有不同风格(例如，喜悦、愤怒等)的字符串。
更具体而言，一种示例性方法处理墨水数据(例如，关于“金牌”书写者、普通用户等的手写笔迹的墨水数据)以提供特征信息，该特征信息然后可用于训练基于HMM的手写笔迹生成模型。在需要时，墨水数据处理可包括重新采样以确保每一字符笔划的墨水数据点的间隔统一。墨水数据处理可将墨水数据分解成各个帧，其中可针对一组预定特征来分析这些帧。例如，一组特征可包括正切或斜率特征、曲率特征和虚构笔划特征。进而，该组特征可增强字符生成。
特征可参考可以是数学等式的规则来描述。特征可使用一个数字(例如，角度、长度等)、多个数字(例如，坐标等)或其他表示来表征。在特征之间可能存在关系，其中这一关系可出于字符编码和/或风格编码的目的来量化。所提取的墨水数据特征可以按例如向量或数组的形式表示为用于训练基于HMM的手写笔迹生成系统的合适的输入。
基于特征的方法使墨水数据能以聚焦于保留增强或以其他方式便于手写笔迹生成的特性同时仍然保留所需风格特性的方式减少。特征提取还可用于消除无关或降低识别准确度的数据或特性。
字符特征和建模特征
图2示出了连同笔划指示的东亚(EA)字符205以及每一笔划的起始点和结束点(1-6)的时序210的图示200。还示出了草写体和印刷体字符220。如参照字符205所指示的，笔划可以是真实笔划(例如，墨水笔划)或虚构笔划。根据个人绘制该字符的顺序来从1到6标记各个笔划的起始点和结束点。示出了点1到6中的每一个的以毫秒计的时序110以及笛卡尔坐标(x，y)。在该示例中，书写者在时刻0毫秒在点1处开始第一真实笔划，并且在时刻20毫秒在点2处结束该第一笔划。第二真实笔划在时刻36毫秒在点3处开始并且在时刻48毫秒在点4处结束。最后的真实笔划在时刻71毫秒在点5处开始并且在时刻95毫秒在点6处结束。在使用100Hz的采样速率的情况下，最小时间增量将会是10毫秒，因此，时间信息可能是四舍五入的(例如，0毫秒、20毫秒、40毫秒、50毫秒、70毫秒、100毫秒)。时序信息允许确定笔划的速率、速度和加速度。
此处所描述的各种技术可以与在线手写墨水数据或离线手写墨水一起使用以训练基于HMM的生成系统或使其自适应。离线手写数据通常被转换成缺少时间信息的图像，而在线手写数据可由对笔尖迹线的一系列点进行采样的图形输入板设备来收集。然而，离线手写数据可以按保留时间信息(例如，速率、速度、加速度等)和/或其他信息(例如，压力、画笔粗度等)的方式来生成。
虽然图2的时序210仅示出了笛卡尔坐标和时间戳，但手写墨水数据可包括其他信息。对于书法，手写数据中可包括画笔信息或其他书法相关信息。手写数据可包括关于若干笔划的书写顺序的信息，诸如对应于一字符的三个笔划的有序点1到6。如将在下文中进一步描述的，基于HMM的模型可包括表示一组笔划的不同笔划顺序的路径，其进而能够解释书写风格。一般而言，一组预定特征捕捉特定类型的手写笔迹信息以保留风格特性。
被配置成记录手写笔迹的设备通常依赖于书写工具(例如，笔)和记录表面(参见，例如，图1的设备110)之间的交互。在形成字符时，每一墨水笔划都可被记录为由笔尖在图形输入板上的接触唤起的采样点序列，其表示笔尖在提笔和落笔之间的迹线。用户还可在笔划之间提起书写工具以使得不记录该工具的移动，然而，不与墨水笔划相关联的移动与墨水笔划的移动相比可被认为是不重要的。更具体而言，手写字符具有一个或多个墨水笔划，这些墨水笔划在坐标中是不连续的。
对于东亚字符，用户可以按印刷体(printed)风格、行体(running)风格或草写体风格来书写字符。这些风格可一致地用固定数量的笔划或可变数量的笔划来书写。例如，考虑字符220的草写体和印刷体版本。在印刷体风格中，字符更规则地书写(例如，像印刷字体)并且两个笔划之间的边界往往相当明显；而在行体或草写体风格中，连续笔划往往连接在一起并且连续笔划之间的边界是模糊的。更具体而言，在草写体东亚字符书写中，用户往往通过仅用单个笔划来书写一字符来将该字符的若干部分连接成一个部分，注意，用户可对整个字符使用不止一个笔划。相反，对于印刷体东亚字符，用户的字符笔划数通常相当稳定。草写体书写或印刷体书写中引起的不一致性可被认为是可在对风格建模时解释的风格特性。常规字符识别系统将这些不一致性视作是有问题的，并且在构建用于字符识别的HMM模型时使用各种技术来减小其影响。这一常规方法使对风格建模的能力降低。
再次参考图2的字符205，示例性字符生成系统可标识一个或多个虚构笔划以便于以解释书写者的手写和/或书法风格的方式对字符生成建模。例如，虚构笔划可被定义为笔从前一笔划的提笔到下一笔划的落笔的虚构线性移动。有了相邻真实笔划之间的虚构笔划，连接所有笔划以形成连续迹线，可在该迹线上构建HMM以便出于手写笔迹生成的目的对手写字符建模。
图3示出了用于字符和风格编码(例如，用户对东亚字符或其他手写字符建模)的各种建模特征250。手写构架(skeleton)笔划字符和书法字符252展示风格以及风格元素之间的差异。该构架笔划字符可使用标准特征集(例如，x-y坐标)来相当好地表示，然而，该书法字符包括更多的风格元素(例如，可随心情、情绪状态等变化的个人、非标准特性)。书法或有表现力的笔划此处还被称为“丰富笔划”，因为它们包括比构架笔划更多的信息。示例性特征集可包括关于压力、速度(和/或速率)、斜率(或正切)和/或曲率以解释在丰富笔划中找到的风格元素的特征。
图3中的另一个框示出了具有虚构笔划的字符的示例以及具有真实笔划的同一字符的示例254。如此处所描述的，虚构笔划可使用比真实笔划更少的维度来表示。具体而言，在该示例中，虚构笔划被表示为有斜率但没有曲率的笔直虚线，如Δx和Δy距离以及余弦和正弦函数(或正切函数)所指示的。与虚构笔划相反，真实笔划不是笔直的而是弯曲的；因此，除了真实笔划的斜率特征之外，可使用特征余弦ΔΘ和正弦ΔΘ，无论该真实笔划是字符的基础部分(例如，构架组成部分)、连接笔划(例如，草写体)还是风格元素(例如，书法元素)。如此处所描述的，就手写笔迹生成系统而言，对于虚构笔划可估算斜率特征，而对于真实笔划可估算斜率和曲率特征。
经由虚构笔划特征来标识虚构笔划可帮助编码和训练以及风格生成。此外，虽然具有真实笔划的字符部分可被标记或标识为与字符识别有极少或没有关联，但它也可被标识为“虚构”笔划部分(或者草写体连接部分或风格部分)并出于手写生成的目的而使用。
如此处所描述的，虚构笔划可通过将相邻真实笔划连接在一起以形成连续迹线来生成。例如，墨水数据可转换(例如，重新采样)成数据点之间的增量相等的连续数据集。对于手写东亚字符，墨水数据可被表示为各部分被适当地标记为虚构或真实的单个连续迹线。对于一个或多个手写、草写体英语字符，也可使用单个连续迹线，其中适当地标记用于连接草写体手迹中的字符的连接部分。
在某些情况下，上述连续迹线方法可导致具有相似但实际上不同的迹线的字符之间的混淆。为了克服这些问题，可实现示例性多空间概率分布(MSD)技术以便连同真实笔划对虚构笔划建模。例如，考虑两个汉语偏旁‘氵(水)’和‘讠(语言)’，如果连接所有真实笔划，则这两个偏旁的迹线变成无法区分。除了笔迹之外，用于编码连续的真实笔划之间的连接/不连接的二进制指示符对于将真实笔划与虚构笔划区分开来可能是有用的。如已经参考字符254所提到的，虚构笔划建模中的另一问题对于两个连续的真实笔划的直接连接发生，其中如曲率的特征退化(这些虚构笔划具有零方差)。
使用MSD技术，真实和虚构笔划变成来自可随机对其建模的不同概率空间的观察结果。同样，MSD技术中的灵活性，即为每一单独空间分配不同的特征维度使得识别系统能忽略可能在建模时导致奇异性(singularity)问题的特定特征。出于字符识别的目的，在手写汉字识别中获取的实验结果指示MSD方法提供跨不同识别系统的约1.3％-2.8％的字符识别准确度提升，其中MSD显著地改善具有相似迹线的可被混淆的字符(例如，‘清’和‘请’)之间的鉴别。如此处所描述的，这一方法适用于用于手写笔迹生成的基于HMM的模型。
对于基于HMM的模型，用于处理虚构和真实笔划的示例性结构可包括：状态(“状态A”)方法，该状态方法具有拥有两个概率密度函数(PDF)的一个数据流(4维高斯PDF对真实笔划特征建模而2维高斯PDF对虚构笔划特征建模)；以及状态(“状态B”)方法，该状态方法具有两个流，一个流由2维高斯函数建模而另一个流是具有以下两个PDF的MSD流：对真实笔划特征建模的2维高斯PDF以及其概率恒定为1的0维PDF。对于状态B，状态概率是这两个流输出概率的总和。
笔划的真实概率(RP)的物理意义是笔划是在落笔阶段中书写的或真实笔划的概率。对于那些对应于印刷字体中的真实笔划的字体，RP应接近于1。对于那些对应于虚构笔划的状态，虚构概率(IP)在0和1之间，这取决于训练或输入数据中的样本是连接的可能性。
通过添加虚构笔划和适当的MSD建模，增强了迹线相似的字符之间的鉴别。例如，在传统HMM方法中，偏旁‘氵’、‘讠’和‘氵’之间的鉴别可能缺乏准确性，但有了MSD-HMM方法，鉴别更加准确。通过使用MSD-HMM方法实现的总体改进在缓解由于仅仅将真实笔划与虚构笔划相连接而导致的问题时是有效的。
如上所述，示例性的基于HMM的方法可使用斜率和曲率特征。更具体而言，斜率特征(cos Θ；sinΘ)和曲率(cosΔΘ，sinΔΘ)特征允许对字符和风格建模。虽然在各个示例中使用正弦和余弦，但可将斜率和曲率的其他表示用作替换方案(例如，正切等)。可在虚构笔划上测量斜率特征，但对于曲率特征，由于直接连接两个连续的真实笔划，因此虚构笔划的曲率固有地为零，这在HMM建模时产生奇异性。为了克服这点，在MSD-HMM中，对于真实笔划，使用四维特征集(cosΘ；sinΘ；cosΔΘ；sinΔΘ)而对于虚构笔划，使用二维特征集(cosΘ；sinΘ)。该方法消除虚构笔划的曲率奇异性的可能性、同时保留关于真实笔划的丰富笔划信息。换言之，经由该特征安排，丢弃虚构笔划的曲率信息中的非随机、退化信息，并且高效地对笔迹建模。
示例性的基于HMM的建模方法使用斜率特征和曲率特征来确定作为代表性特征的原始坐标。虽然并未详细陈述斜率确定哪一部分以及曲率确定哪一部分，但最终结果是在不仅斜率而且曲率的意义上的最大似然解(ML解)。向基于HMM的模型添加MSD技术以便例如使用MSD-HMM模型中的“真实性”权重或概率来确定笔划是真实的还是虚构的。上述真实概率(RP)和虚构概率(IP)对应于该权重。虽然这一权重可以是连续的值，但该权重也可更近似地处理(例如，小于0.5的那些值可被设为权重0而大于0.5的那些值可被设为权重1)。
图3还示出了对应于虚构/真实笔划顺序的HMM 256的图示。在图示256的右侧，开圆表示字符的两个可能的虚构笔划。手写字符是以一种方式还是以另一种方式书写是经由墨水顺序数据来捕捉的。如参考字符250所解释的，书写者可使用标准顺序(例如，学校里教的)或替换顺序(例如，个人或其他)来书写字符。为了捕捉这一信息，这可帮助产生手写笔迹，示例性的基于HMM的手写输出系统包括对应于两种可能性的HMM。当然，在存在不止两种可能性的情况下，生成系统可包括不止两种可能性。
HMM 256中所示的方法被称为多路径方法。在常规在线手写建模时，HMM拓扑结构是从左到右的，并且仅能够表征特定种类的笔迹。示例性多路径HMM方法解释书写顺序和书写风格中的变化。如将在以下进一步解释的，一种示例性方法包括训练对应于变化的书写顺序和书写风格的单元的多路径HMM。
如上所述，对于HMM 256，每个单一转换路径都对一特定书写顺序或书写风格建模。示例性的多路径拓扑结构还使得能够自动训练所有路径而不将数据分成书写顺序和书写风格的不同训练组。在图3的示例中，每一经训练的路径都表示字符的主要书写模式，其可以是一种书写笔划顺序或一种书写风格。每一路径表示的模式都是自动从数据中训练出的。例如，汉字“九”通常能够以两种笔划顺序来书写。根据图示256，对应于该字符的经训练的两路径模型的每一路径都表示一种书写笔划顺序(在模型可视化中，每一条线都表示一个状态模型)。同样，对于汉字“复”，虽然它通常只具有一种书写笔划顺序，但它能够以不同的风格(例如，正常体和草写体)书写。
示例性手写笔迹和/或书法生成系统和方法
一旦选择了一组特征以及用于处理这些特征的建模方法，就可训练基于HMM的模型并且然后使用该模型来生成手写字符及其风格元素。此外，如此处所描述的，基于HMM的模型可使用书写者自己的手写笔迹来自适应或以其他方式“个性化”以引入特定风格元素。自适应是可任选的并且自适应程度可根据书写者的需要而变化(例如，从几乎没有个性化到高度个性化)。
图4示出了用于手写笔迹生成和呈现的示例性方法400。方法400对若干数据源进行操作：标准手写数据402(例如，“金牌”书写者)；其他手写数据404(例如，个人书写者)；输入“标签”数据406(例如，经由键盘等)；以及笔模型或数据408(例如，书法画笔、笔尖等)。图4中所使用的各种字体仅出于说明的目的，实际手写笔迹可包括更丰富的笔划和笔划可变性，如参考图2和3的字符所解释的。方法400可任选地由个性化或自适应框450来个性化(例如，使用数据404)。方法400首先在没有个性化选项的情况下大致描述，并且然后在有个性化选项的情况下更具体地描述。
根据方法400，将标准数据402输入到训练框410中，该训练框410训练HMM模型以生成经训练的HMM模型，该HMM模型包括经训练的HMM 420的集合。在该示例中，HMM 420对标准数据402的斜率、曲率、虚构笔划特征建模。如参考图5所解释的，该HMM模型可以是其中将MSD技术应用于对真实和虚构笔划建模的MSD-HMM模型。
给定经训练的HMM 420，手写笔迹生成可以在合成框430中进行，该合成框430从特定“书写者”处接收输入数据406，如参考图1所解释的，该输入数据406可来自各种源(例如，键区、键盘、语音识别、字符识别等)中的任一种。合成框430产生所生成的结果440，该结果可根据笔模型408来呈现。在未实现个性化选项的情况下，结果440是非个性化结果(左侧)，取决于呈现(例如，笔模型)该结果可模仿或再现标准手写数据402风格。例如，在标准手写数据402对应于“金牌”书写者的情况下，则所呈现的结果可以是金牌书写者的风格的再现，即使输入数据406(例如，作为经由键区、键盘等的输入)的仅仅是一普通用户。
个性化选项450可以用其他手写数据404的风格来调整标准手写数据402的风格。数据404可以来自一用户或另一用户。在数据404是来自一用户的情况下，个性化框450可调整标准手写数据402的风格以使得结果440是标准风格和书写者自己的风格的混合。在数据404是来自另一用户的情况下，例如，标准手写数据402可以是来自诸如安吉利娜·茱莉(Angelina Jolie)等名人而其他手写数据404可以是来自诸如布拉德·皮特(Brad Pitt)等另一名人。进而，输入数据406可以是来自想要其手写笔迹看上去像Angelina Jolie和Brad Pitt之间的混合(即，“布拉吉利娜(brangelina)”)的普通用户。
自适应技术参考图6和7更详细地讨论；注意，用户可确定进行多少自适应。如图4的底部所指示的，所呈现的结果440可不具有个性化，具有一些个性化或可以是高度个性化的。
图5示出了示例性方法500，该方法包括图4的训练阶段410和合成阶段430以及其他细节。一般而言，训练阶段410用作为原始代表性特征向量的函数的建模特征向量来训练HMM，以便学习迹线的更详细信息，而合成阶段430包括通过经由在建模特征向量和代表性特征向量之间显式地施加相关来最大化相对于代表性特征向量的似然来对生成问题求解。例如，在语音合成中，代表性特征向量包括频谱包络参数和基频，并且为建模特征向量追加它们的增量和加速度。在训练阶段410中，使用所有建模特征来训练HMM并且然后在合成阶段430中，生成具有最大似然的频谱参数和基频迹线作为输出。
如此处所描述的，用于手写笔迹和/或书法的基于HMM的建模提供了一种开放式解决方案，其中能够容易地使用所有种类的特征，这在有美感的书法合成中尤其有帮助。这一方法可通过使用HMM自适应技术，只用少许自适应样本来构建个性化手写字体。一种示例性基于HMM的方法允许训练数据中的未看见的字符组合的连接变形，这可由决策树或在语音识别和合成中广泛采用的其他群集技术来自然地生成，这赋予这一系统更好的生成或创建能力。
再次参考图5的方法500，数据块402、405、406和408是如图4所描述的。虽然数据块402可以是来自标准书写者(即，金牌书写者)的，但它也可以是来自不止一个书写者(例如，许多书写者)的数据集合，以便训练平均字体。
训练阶段410可接收标准手写数据402并分析这些数据以标识丰富笔划和标签。将丰富笔划输入到特征提取框412中，该特征提取框提取诸如代表性特征向量R＝{x，y，v，p}所指示的x-y坐标、速度和压力等特征。特征转换框414将这些特征转换成作为基本特征的函数的更有意义的向量，如O＝f(R)＝{Δx，Δy，Δ2x，Δ2y，v，Δv，p，Δp，...}所指示的。然后将该信息与对应的标签一起输入到HMM训练框416中以产生经训练的HMM 420。
如在语音合成中，高阶动态特征在描述平滑演化迹线时是有帮助的。因此，经由特征提取框412和特征转换框414，为了生成代表性特征R＝{x，y，v，p}的迹线，该方法采用建模特征O＝{Δx，Δy，Δ2x，Δ2y，v，Δv，p，Δp}。在该示例中，并不包括x和y本身的静态特征，因为适当地规格化这些特征通常不是琐碎的。在其中规格化这些特征的某些情况下，也可使用它们。
如上所述，对于虚构和真实笔划，虚构空间的维度低于真实空间的维度。例如，一种方法采用(Δx，Δy，Δ2x，Δ2y)作为真实空间中的特征，则虚构空间中的特征是(Δx，Δy)，因为作为定义加速度(曲率)在虚构笔划上始终为0。
自适应框452可使用其他手写数据404来使经训练的HMM 420自适应。同样，自适应或个性化是可任选的并且可由用户选择以调整或个性化标准手写笔迹或书法风格。
在合成阶段430中，将输入数据406标签输入到选择HMM序列的模型选择框432中。之后是生成框434，其使用函数：R＝argmaxR′P[f(R′)]λT]所指示的最大似然方法来确定“最适合”的HMM。因此，在合成阶段430中，给定一文本片段(例如，图1的“hello world”示例)，首先经由选择框432从经训练的且经可任选地自适应的HMM 420中选择对应的模型序列，并且经由生成框434，获取对于代表性特征向量的最大似然解并且在呈现框436中用该最大似然解来产生所呈现的结果440、或者经调整的或个性化的所呈现的结果440′。
图6示出了用于使经训练的HMM自适应的示例性方法600。如上所述，训练阶段可使用来自金牌书写者的数据来产生经训练的HMM 620，该数据可以是自然的或合成的训练数据602。给定经训练的HMM 620，可进行自适应。
自适应框650接收书写者的训练数据606作为输入，该训练数据可以来自个人书写者、名人书写者等。经训练的HMM 620的自适应使用一种或多种技术来进行。例如，可出于经训练的HMM 620自适应的目的而使用最大后验(MAP)651、最大似然线性回归(MLLR)653或本征空间(ES)655技术。
在自适应框650后，合成框630接收书写者的输入数据608(例如，用键盘输入的字符)，并且然后按照该书写者的训练数据606来生成具有书写者的特性中的至少一部分的结果640。
图7示出了用于使经训练的HMM自适应的示例性方法700。方法700开始于提供初始、经训练的HMM的提供框720。接收框752出于自适应的目的而接收书写者的训练数据706。计算框754计算书写者的训练数据的特征向量。接着，选择一种技术(例如，MAP 751、MLLR 753或ES 755)并且经由框756应用该技术以使得初始、经训练的HMM均值向量和协方差矩阵自适应。一旦自适应，提供框758提供经自适应的HMM以便进行书写合成。
示例
图8示出了所生成和所呈现的手写东亚字符800的某些示例。这些示例使用汉语手写笔迹数据库来展示由向量R＝{x，y}表示的训练和生成构架特征，其中建模特征包括斜率和曲率O＝{Δx，Δy，Δ2x，Δ2y}。在这些示例中，使用单路径MSD HMM来对每一特征建模。在这些示例中示出自动生成的文本行“(平均字体)”。如参考图4和5所解释的，可使用笔模型或其他呈现技术来呈现具有特定画笔、笔尖等的特性的字符。
虽然图8示出了东亚字符，但各种示例性技术可用于其他语言的字符。例如，各种示例性技术允许生成草写体英语手写。这一连续生成可在相对实时的基础上进行，其中生成手写笔迹并将其传送到远程位置或本地地呈现手写笔迹。例如，用户可以在蜂窝电话上输入文本消息并且所生成的手写笔迹可以按在远程位置呈现的方式出现。在这一示例中，生成可在一个计算设备上进行而呈现可以在另一计算设备上进行。或者生成和呈现可以在远程计算设备处进行(例如，将文本发送到远程设备以便生成和呈现手写笔迹)。生成和/或呈现可基于所标识的文本消息发送者来进行(例如，朋友2喜欢名人X，因此按名人X的手写笔迹来生成/呈现朋友2的文本消息)。
用于手写笔迹和/或书法生成的示例性计算设备可包括处理器、用户输入机构、显示器以及至少部分地由该处理器实现的控制逻辑，该控制逻辑用于基于生成算法来生成手写字符，该生成算法使用隐式马尔可夫模型(HMM)和多空间概率分布(MSD)技术以及从手写字符墨水数据中提取的特征，其中所提取的特征包括真实笔划特征集和较少维度的虚构特征集。
这一计算设备可包括用于统一对墨水数据采样并生成长度统一的墨水数据帧的控制逻辑、用于从字符墨水数据中生成包括真实笔划帧和虚构笔划帧的一系列连续的墨水数据帧的控制逻辑、用于从字符墨水数据中生成墨水数据帧并对于x、y笛卡尔坐标系确定每一墨水数据帧的Δx值和Δy值的控制逻辑、从字符墨水数据中生成墨水数据帧并确定正弦值和余弦值(例如，针对帧或者两个相邻墨水数据帧之间的角度)的控制逻辑。用于使用基于经训练的HMM的方法来生成手写笔迹的示例性计算设备可以是蜂窝电话或其他手持式计算设备(例如，PDA等)。
示例性计算设备
图9示出可用于实现此处所讨论的各种示例性方法的部分或全部的示例性计算设备900的各个组件。
图9所示的计算设备只是计算环境的一个示例，且并非旨在对计算机和网络体系结构的使用范围或功能提出任何限制。也不应将该计算环境解释为对示例操作环境中所示出的任一组件或其组合有任何依赖性或要求。
参考图9，用于实现对训练墨水数据使用基于特征的方法的示例性字符生成系统的示例性系统包括计算设备，诸如计算设备900。在一非常基本的配置中，计算设备900通常包括至少一个处理单元902和系统存储器904。取决于计算设备的确切配置和类型，系统存储器904可以是易失性的(诸如RAM)、非易失性的(诸如ROM、闪存等)或是两者的某种组合。系统存储器904通常包括操作系统905、一个或多个程序模块906，并且可包括程序数据907。该基本配置在图9中由虚线908内的组件示出。
操作系统905可包括基于组件的框架920，其支持组件(包括属性和事件)、对象、继承、多态性、反射，并且提供面向对象的基于组件的应用程序编程接口(API)，诸如由华盛顿州雷蒙德市的微软公司制造的.NETTM框架的API。
计算设备900还可具有附加特征或功能。例如，计算设备900还可包括附加数据存储设备(可移动和/或不可移动)，诸如，例如磁盘、光盘或磁带。这样的附加存储在图9中由可移动存储909和不可移动存储910例示。计算机存储介质可包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。系统存储器904、可移动存储909和不可移动存储910都是计算机存储介质的示例。因此，计算机存储介质包括但不限于，RAM、ROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字多功能盘(DVD)或其它光存储、磁带盒、磁带、磁盘存储或其它磁性存储设备、或能用于存储所需信息且可以由计算设备900访问的任何其它介质。任何这样的计算机存储介质都可以是设备900的一部分。计算设备900还可具有诸如键盘、鼠标、笔、语音输入设备、触摸输入设备等输入设备912。还可包括诸如显示器、扬声器、打印机等输出设备914。这些设备在本领域是公知的，因此不必在此详细讨论。
计算设备900还可包含允许该设备诸如通过网络来与其它计算设备918进行通信的通信连接916。通信连接916是通信介质的一个示例。通信介质通常由诸如载波或其它传输机制等已调制数据信号中的计算机可读指令、数据结构、程序模块或其它数据来体现，并包括任何信息传递介质。术语“已调制数据信号”指的是其一个或多个特征以在信号中编码信息的方式被设定或更改的信号。作为示例而非限制，通信介质包括有线介质，诸如有线网络或直接线连接，以及无线介质，诸如声学、RF、红外线和其它无线介质。如此处所使用的术语计算机可读介质包括存储介质和通信介质两者。
各种模块和技术在此可在诸如程序模块等由一个或多个计算机或其它设备执行的计算机可执行指令的一般上下文中描述。一般而言，程序模块包括用于执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等。这些程序模块等可以作为本机代码执行或诸如在虚拟机或其它即时(just-in-time)编译执行环境中下载和执行。通常，程序模块的功能可以在各个实施例中按需进行组合或分布。
这些模块和技术的实现可以存储在某种形式的计算机可读介质上或通过某种形式的计算机可读介质传输。计算机可读介质可以是可由计算机访问的任何可用介质。作为示例而非限制，计算机可读介质可包括“计算机存储介质”和“通信介质”。
示例性计算设备可包括处理器、用户输入机制(例如，鼠标、指示笔、滚动垫等)、显示器以及至少部分地由该处理器实现的控制逻辑，该控制逻辑用于基于手写笔迹生成算法来训练和/或生成手写笔迹，该手写笔迹生成算法使用隐式马尔可夫模型(HMM)和基于特征的方法来从时序墨水数据中提取信息。对于生成和/或呈现，这一设备可以是蜂窝电话或者一般地是手持式计算机。
然而，本领域技术人员可认识到此处所描述的技术也可在没有这些具体细节中的一个或多个的情况下，或者用其它方法、资源、材料等来实施。在其它情况下，仅仅为了避免混淆各示例性技术的各方面而未详细地示出或描述公知的结构、资源或操作。
虽然示出和描述了各示例和应用，但可以理解，这些技术不限于上述精确配置和资源。可以对此处所公开的方法和系统的安排、操作和细节作出对本领域技术人员显而易见的各种修改、改变和变更，而不背离其实际范围。

Claims (20)

1.一种用于手写字符生成的方法，所述方法至少部分地由计算设备实现，所述方法包括：
接收字符；以及
使用为生成手写字符而训练的隐式马尔可夫模型来生成对应的手写字符。
2.如权利要求1所述的方法，其特征在于，包括接收一个以上字符以及生成对应的手写字符。
3.如权利要求1所述的方法，其特征在于，所述隐式马尔可夫模型包括使用斜率、曲率和虚构笔划特征来训练的隐式马尔可夫模型。
4.如权利要求1所述的方法，其特征在于，所述隐式马尔可夫模型包括使用包括斜率特征和曲率特征的真实笔划特征集与包括斜率特征的较少维度的虚构笔划特征集来训练的隐式马尔可夫模型。
5.如权利要求1所述的方法，其特征在于，所述生成还包括使用多空间概率分布技术，其中所述多空间概率分布技术包括用于确定笔划是真实的还是虚构的真实性概率。
6.如权利要求1所述的方法，其特征在于，所述隐式马尔可夫模型包括使用书法数据来训练的隐式马尔可夫模型。
7.如权利要求1所述的方法，其特征在于，所述隐式马尔可夫模型包括使用东亚字符数据来训练的隐式马尔可夫模型。
8.如权利要求1所述的方法，其特征在于，所述隐式马尔可夫模型包括使用来自标准书写者的数据来训练的隐式马尔可夫模型。
9.如权利要求1所述的方法，其特征在于，还包括使用笔模型来呈现所生成的对应的手写字符。
10.如权利要求9所述的方法，其特征在于，所述笔模型包括笔尖参数。
11.如权利要求1所述的方法，其特征在于，所述隐式马尔可夫模型包括使用对应于书写压力的压力特征来训练的隐式马尔可夫模型。
12.如权利要求1所述的方法，其特征在于，所述隐式马尔可夫模型包括使用选自包括最大后验技术、最大似然线性回归技术和本征空间技术的组的技术来自适应的经自适应的、经训练的隐式马尔可夫模型。
13.如权利要求1所述的方法，其特征在于，所述隐式马尔可夫模型包括使用最大似然线性回归技术以及来自与所接收到的一个或多个字符相同的书写者的墨水数据来自适应的经自适应的、经训练的隐式马尔可夫模型。
14.如权利要求1所述的方法，其特征在于，所述经训练的隐式马尔可夫模型包括使用自适应技术和来自名人的墨水数据来自适应的经自适应的、经训练的隐式马尔可夫模型。
15.一种用于使经训练的隐式马尔可夫模型自适应以生成手写字符的方法，所述方法至少部分地由计算设备实现，所述方法包括：
提供初始、经训练的隐式马尔可夫模型以生成手写字符；
提供训练墨水数据以使得所述初始、经训练的隐式马尔可夫模型自适应；以及
应用自适应技术以使得所述初始、经训练的隐式马尔可夫模型对所述训练墨水数据自适应，其中所述自适应技术包括选自包括最大后验技术、最大似然线性回归技术和本征空间技术的组的技术。
16.如权利要求15所述的方法，其特征在于，还包括计算所述训练墨水数据的特征向量。
17.如权利要求15所述的方法，其特征在于，所述应用对一个或多个均值向量和一个或多个协方差矩阵应用所选技术。
18.如权利要求15所述的方法，其特征在于，所述初始、经训练的隐式马尔可夫模型包括使用书法数据来训练的隐式马尔可夫模型。
19.如权利要求15所述的方法，其特征在于，所述初始、经训练的隐式马尔可夫模型包括使用标准书写者和包括来自不同书写者的数据的训练墨水数据来训练的隐式马尔可夫模型。
20.一种用于生成手写字符的计算设备，所述设备包括：
处理器；
用户输入机构；
显示器；以及
至少部分地由所述处理器实现的基于使用隐式马尔可夫模型的算法来生成手写字符控制逻辑。
CN2008801020217A 2007-08-10 2008-08-11 基于隐式马尔可夫模型的手写笔迹/书法生成 Expired - Fee Related CN101785030B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/837,434 US7983478B2 (en) 2007-08-10 2007-08-10 Hidden markov model based handwriting/calligraphy generation
US11/837,434 2007-08-10
PCT/US2008/072833 WO2009023648A2 (en) 2007-08-10 2008-08-11 Hidden markov model based handwriting/calligraphy generation

Publications (2)

Publication Number Publication Date
CN101785030A true CN101785030A (zh) 2010-07-21
CN101785030B CN101785030B (zh) 2012-11-28

Family

ID=40346606

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008801020217A Expired - Fee Related CN101785030B (zh) 2007-08-10 2008-08-11 基于隐式马尔可夫模型的手写笔迹/书法生成

Country Status (3)

Country Link
US (1) US7983478B2 (zh)
CN (1) CN101785030B (zh)
WO (1) WO2009023648A2 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102496176A (zh) * 2011-11-14 2012-06-13 中国科学院合肥物质科学研究院 一种基于力信息的钢笔书法表达方法
CN105679140A (zh) * 2016-04-12 2016-06-15 赵敏 一种生成书法练习贴的方法及其装置和书法练字方法
CN106164932A (zh) * 2014-02-10 2016-11-23 麦斯杰公司 用于识别音乐符号的方法和装置
CN108764195A (zh) * 2018-06-04 2018-11-06 平安科技（深圳）有限公司 手写模型训练方法、手写字识别方法、装置、设备及介质
CN109034279A (zh) * 2018-06-04 2018-12-18 平安科技（深圳）有限公司 手写模型训练方法、手写字识别方法、装置、设备及介质
CN109034280A (zh) * 2018-06-04 2018-12-18 平安科技（深圳）有限公司 手写模型训练方法、手写字识别方法、装置、设备及介质
CN109086651A (zh) * 2018-06-04 2018-12-25 平安科技（深圳）有限公司 手写模型训练方法、手写字识别方法、装置、设备及介质
CN109086653A (zh) * 2018-06-04 2018-12-25 平安科技（深圳）有限公司 手写模型训练方法、手写字识别方法、装置、设备及介质
CN109086654A (zh) * 2018-06-04 2018-12-25 平安科技（深圳）有限公司 手写模型训练方法、文本识别方法、装置、设备及介质
CN109582203A (zh) * 2014-05-23 2019-04-05 三星电子株式会社 用于再现内容的方法和装置
CN110488997A (zh) * 2019-07-03 2019-11-22 深圳市九洲电器有限公司 基于语音的书写板实现方法及相关产品

Families Citing this family (198)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8645137B2 (en) 2000-03-16 2014-02-04 Apple Inc. Fast, language-independent method for user authentication by voice
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US10002189B2 (en) 2007-12-20 2018-06-19 Apple Inc. Method and apparatus for searching using an active ontology
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US10496753B2 (en) 2010-01-18 2019-12-03 Apple Inc. Automatically adapting user interfaces for hands-free interaction
JP2010015238A (ja) * 2008-07-01 2010-01-21 Sony Corp 情報処理装置、及び補助情報の表示方法
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US8335381B2 (en) * 2008-09-18 2012-12-18 Xerox Corporation Handwritten word spotter using synthesized typed queries
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US10706373B2 (en) 2011-06-03 2020-07-07 Apple Inc. Performing actions associated with task items that represent tasks to perform
US9858925B2 (en) 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US9431006B2 (en) 2009-07-02 2016-08-30 Apple Inc. Methods and apparatuses for automatic speech recognition
US10705794B2 (en) 2010-01-18 2020-07-07 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US10679605B2 (en) 2010-01-18 2020-06-09 Apple Inc. Hands-free list-reading by intelligent automated assistant
US10553209B2 (en) 2010-01-18 2020-02-04 Apple Inc. Systems and methods for hands-free notification summaries
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
DE202011111062U1 (de) 2010-01-25 2019-02-19 Newvaluexchange Ltd. Vorrichtung und System für eine Digitalkonversationsmanagementplattform
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US20110254765A1 (en) * 2010-04-18 2011-10-20 Primesense Ltd. Remote text input using handwriting
US8442310B2 (en) 2010-04-30 2013-05-14 Microsoft Corporation Affine distortion compensation
US20110280484A1 (en) * 2010-05-12 2011-11-17 Microsoft Corporation Feature design for hmm-based handwriting recognition
JP2012003689A (ja) * 2010-06-21 2012-01-05 Sony Corp 情報処理装置、情報処理方法およびプログラム
US9323337B2 (en) * 2010-12-29 2016-04-26 Thomson Licensing System and method for gesture recognition
JP5713707B2 (ja) * 2011-01-31 2015-05-07 公立大学法人会津大学 ストローク生成装置、ストローク生成方法、ストローク生成プログラム、文字生成装置、文字生成方法および文字生成プログラム
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US8977059B2 (en) * 2011-06-03 2015-03-10 Apple Inc. Integrating feature extraction via local sequential embedding for automatic handwriting recognition
US8994660B2 (en) 2011-08-29 2015-03-31 Apple Inc. Text correction processing
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US9483461B2 (en) 2012-03-06 2016-11-01 Apple Inc. Handling speech synthesis of content for multiple languages
US9280610B2 (en) 2012-05-14 2016-03-08 Apple Inc. Crowd sourcing information to fulfill user requests
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US20130343639A1 (en) * 2012-06-20 2013-12-26 Microsoft Corporation Automatically morphing and modifying handwritten text
US9495129B2 (en) 2012-06-29 2016-11-15 Apple Inc. Device, method, and user interface for voice-activated navigation and browsing of a document
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
CN103885699A (zh) * 2012-12-20 2014-06-25 中山大学深圳研究院 一种基于移动终端自动摹写手写体的方法
US9141211B2 (en) 2013-01-09 2015-09-22 Lenovo (Singapore) Pte. Ltd. Touchpad operational mode
DE212014000045U1 (de) 2013-02-07 2015-09-24 Apple Inc. Sprach-Trigger für einen digitalen Assistenten
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
WO2014197336A1 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
US9582608B2 (en) 2013-06-07 2017-02-28 Apple Inc. Unified ranking with entropy-weighted information for phrase-based semantic auto-completion
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
US20140361983A1 (en) * 2013-06-09 2014-12-11 Apple Inc. Real-time stroke-order and stroke-direction independent handwriting recognition
JP6259911B2 (ja) 2013-06-09 2018-01-10 アップル インコーポレイテッド デジタルアシスタントの２つ以上のインスタンスにわたる会話持続を可能にするための機器、方法、及びグラフィカルユーザインタフェース
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
US9495620B2 (en) 2013-06-09 2016-11-15 Apple Inc. Multi-script handwriting recognition using a universal recognizer
US9898187B2 (en) 2013-06-09 2018-02-20 Apple Inc. Managing real-time handwriting recognition
CN103310217B (zh) * 2013-06-20 2016-06-01 苏州大学 基于图像协方差特征的手写体数字识别方法及装置
CN103473493B (zh) * 2013-09-06 2017-04-12 武汉汉德瑞庭科技有限公司 一种基于字符字根的在线笔迹认证及模板扩充方法
CN103632387A (zh) * 2013-12-03 2014-03-12 北京理工大学 毛笔字帖的生成方法和系统
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
US10528249B2 (en) * 2014-05-23 2020-01-07 Samsung Electronics Co., Ltd. Method and device for reproducing partial handwritten content
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9842101B2 (en) 2014-05-30 2017-12-12 Apple Inc. Predictive conversion of language input
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US10078631B2 (en) 2014-05-30 2018-09-18 Apple Inc. Entropy-guided text prediction using combined word and character n-gram language models
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US9785630B2 (en) 2014-05-30 2017-10-10 Apple Inc. Text prediction using combined word N-gram and unigram language models
US9760559B2 (en) 2014-05-30 2017-09-12 Apple Inc. Predictive text input
WO2015184186A1 (en) 2014-05-30 2015-12-03 Apple Inc. Multi-command single utterance input method
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US10659851B2 (en) 2014-06-30 2020-05-19 Apple Inc. Real-time digital assistant knowledge updates
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US10446141B2 (en) 2014-08-28 2019-10-15 Apple Inc. Automatic speech recognition based on user feedback
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10789041B2 (en) 2014-09-12 2020-09-29 Apple Inc. Dynamic thresholds for always listening speech trigger
US9886432B2 (en) 2014-09-30 2018-02-06 Apple Inc. Parsimonious handling of word inflection via categorical stem + suffix N-gram language models
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US9646609B2 (en) 2014-09-30 2017-05-09 Apple Inc. Caching apparatus for serving phonetic pronunciations
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US9733825B2 (en) 2014-11-05 2017-08-15 Lenovo (Singapore) Pte. Ltd. East Asian character assist
US10552013B2 (en) 2014-12-02 2020-02-04 Apple Inc. Data detection
US9711141B2 (en) 2014-12-09 2017-07-18 Apple Inc. Disambiguating heteronyms in speech synthesis
US9865280B2 (en) 2015-03-06 2018-01-09 Apple Inc. Structured dictation using intelligent automated assistants
US10152299B2 (en) 2015-03-06 2018-12-11 Apple Inc. Reducing response latency of intelligent automated assistants
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US9899019B2 (en) 2015-03-18 2018-02-20 Apple Inc. Systems and methods for structured stem and suffix language models
US9842105B2 (en) 2015-04-16 2017-12-12 Apple Inc. Parsimonious continuous-space phrase representations for natural language processing
US9418305B1 (en) * 2015-04-29 2016-08-16 Xerox Corporation Segmentation free approach to automatic license plate recognition
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10127220B2 (en) 2015-06-04 2018-11-13 Apple Inc. Language identification from short strings
US10101822B2 (en) 2015-06-05 2018-10-16 Apple Inc. Language input correction
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US10255907B2 (en) 2015-06-07 2019-04-09 Apple Inc. Automatic accent detection using acoustic models
US10186254B2 (en) 2015-06-07 2019-01-22 Apple Inc. Context-based endpoint detection
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US9697820B2 (en) 2015-09-24 2017-07-04 Apple Inc. Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179309B1 (en) 2016-06-09 2018-04-23 Apple Inc Intelligent automated assistant in a home environment
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
DK179374B1 (en) 2016-06-12 2018-05-28 Apple Inc Handwriting keyboard for monitors
ES2610794B2 (es) 2016-06-17 2017-09-19 Universidad De Las Palmas De Gran Canaria Método y sistema para generar texto manuscrito con diferentes grados de madurez del escritor
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US9934422B1 (en) * 2016-09-22 2018-04-03 Gracious Eloise, Inc. Digitized handwriting sample ingestion systems and methods
US9886626B1 (en) * 2016-09-22 2018-02-06 Gracious Eloise, Inc. Digitized handwriting sample ingestion and generation systems and methods
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
DK201770427A1 (en) 2017-05-12 2018-12-20 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
DK179549B1 (en) 2017-05-16 2019-02-12 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US10303715B2 (en) 2017-05-16 2019-05-28 Apple Inc. Intelligent automated assistant for media exploration
US10657328B2 (en) 2017-06-02 2020-05-19 Apple Inc. Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
US10755051B2 (en) 2017-09-29 2020-08-25 Apple Inc. Rule-based natural language processing
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
CN108885703B (zh) * 2018-03-05 2021-11-26 香港应用科技研究院有限公司 机器学习人工字符生成
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
US10504518B1 (en) 2018-06-03 2019-12-10 Apple Inc. Accelerated task performance
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US11494612B2 (en) * 2018-10-31 2022-11-08 Sony Interactive Entertainment Inc. Systems and methods for domain adaptation in neural networks using domain classifier
CN109635883B (zh) * 2018-11-19 2023-04-18 北京大学 基于深度堆叠网络的结构信息指导的中文字库生成方法
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
DK201970510A1 (en) 2019-05-31 2021-02-11 Apple Inc Voice identification in digital assistant systems
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US11194467B2 (en) 2019-06-01 2021-12-07 Apple Inc. Keyboard management user interfaces
US11488406B2 (en) 2019-09-25 2022-11-01 Apple Inc. Text detection using global geometry estimators
CN110992441A (zh) * 2019-12-03 2020-04-10 上海眼控科技股份有限公司 书写轨迹处理方法及装置
US11183193B1 (en) 2020-05-11 2021-11-23 Apple Inc. Digital assistant hardware abstraction
CN113326725B (zh) * 2021-02-18 2024-03-12 陕西师范大学 基于骨架引导传输网络的汉字字体自动生成方法
CN117523578B (zh) * 2024-01-04 2024-04-05 广东光大信息科技股份有限公司 一种基于人工智能的课堂纸笔互动方法及装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5544257A (en) 1992-01-08 1996-08-06 International Business Machines Corporation Continuous parameter hidden Markov model approach to automatic handwriting recognition
KR940001047B1 (ko) 1992-02-14 1994-02-08 주식회사 금성사 온라인 필기체 인식시스템 및 방법.
KR950013127B1 (ko) * 1993-03-15 1995-10-25 김진형 영어 문자 인식 방법 및 시스템
EP0654755B1 (en) 1993-11-23 2000-08-02 International Business Machines Corporation A system and method for automatic handwriting recognition with a writer-independent chirographic label alphabet
US5768423A (en) 1994-09-02 1998-06-16 Panasonic Technologies Inc. Trie structure based method and apparatus for indexing and searching handwritten databases with dynamic search sequencing
US5854855A (en) 1994-09-09 1998-12-29 Motorola, Inc. Method and system using meta-classes and polynomial discriminant functions for handwriting recognition
US5812698A (en) 1995-05-12 1998-09-22 Synaptics, Inc. Handwriting recognition system and method
US6556712B1 (en) 1996-05-23 2003-04-29 Apple Computer, Inc. Methods and apparatus for handwriting recognition
WO1998015914A1 (en) 1996-10-04 1998-04-16 Philips Electronics N.V. Method and apparatus for on-line handwriting recognition based on feature vectors that use aggregated observations derived from time-sequential frames
US5920647A (en) 1997-08-12 1999-07-06 Motorola, Inc. Method and apparatus for recognition of hand-printed characters represented as an electronic ink stream using a box filtering technique
EP1181665A1 (en) 1999-03-24 2002-02-27 BRITISH TELECOMMUNICATIONS public limited company Handwriting recognition system
US7227993B2 (en) 2003-01-27 2007-06-05 Microsoft Corporation Learning-based system and process for synthesizing cursive handwriting
US7697002B2 (en) * 2007-01-25 2010-04-13 Ricoh Co. Ltd. Varying hand-drawn line width for display

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102496176A (zh) * 2011-11-14 2012-06-13 中国科学院合肥物质科学研究院 一种基于力信息的钢笔书法表达方法
CN102496176B (zh) * 2011-11-14 2014-04-30 中国科学院合肥物质科学研究院 一种基于力信息的钢笔书法表达方法
CN106164932A (zh) * 2014-02-10 2016-11-23 麦斯杰公司 用于识别音乐符号的方法和装置
CN106164932B (zh) * 2014-02-10 2019-07-12 麦斯杰公司 用于识别音乐符号的方法和装置
CN109582203B (zh) * 2014-05-23 2022-03-08 三星电子株式会社 用于再现内容的方法和装置
CN109582203A (zh) * 2014-05-23 2019-04-05 三星电子株式会社 用于再现内容的方法和装置
CN105679140A (zh) * 2016-04-12 2016-06-15 赵敏 一种生成书法练习贴的方法及其装置和书法练字方法
CN105679140B (zh) * 2016-04-12 2018-02-23 赵敏 一种生成书法练习贴的方法及其装置和书法练字方法
CN109086654A (zh) * 2018-06-04 2018-12-25 平安科技（深圳）有限公司 手写模型训练方法、文本识别方法、装置、设备及介质
CN109086653A (zh) * 2018-06-04 2018-12-25 平安科技（深圳）有限公司 手写模型训练方法、手写字识别方法、装置、设备及介质
CN109086651A (zh) * 2018-06-04 2018-12-25 平安科技（深圳）有限公司 手写模型训练方法、手写字识别方法、装置、设备及介质
CN109034280A (zh) * 2018-06-04 2018-12-18 平安科技（深圳）有限公司 手写模型训练方法、手写字识别方法、装置、设备及介质
CN109034279A (zh) * 2018-06-04 2018-12-18 平安科技（深圳）有限公司 手写模型训练方法、手写字识别方法、装置、设备及介质
CN108764195A (zh) * 2018-06-04 2018-11-06 平安科技（深圳）有限公司 手写模型训练方法、手写字识别方法、装置、设备及介质
CN108764195B (zh) * 2018-06-04 2023-04-18 平安科技（深圳）有限公司 手写模型训练方法、手写字识别方法、装置、设备及介质
CN109086651B (zh) * 2018-06-04 2023-04-18 平安科技（深圳）有限公司 手写模型训练方法、手写字识别方法、装置、设备及介质
CN109086653B (zh) * 2018-06-04 2023-04-18 平安科技（深圳）有限公司 手写模型训练方法、手写字识别方法、装置、设备及介质
CN109034280B (zh) * 2018-06-04 2023-04-25 平安科技（深圳）有限公司 手写模型训练方法、手写字识别方法、装置、设备及介质
CN109034279B (zh) * 2018-06-04 2023-04-25 平安科技（深圳）有限公司 手写模型训练方法、手写字识别方法、装置、设备及介质
CN109086654B (zh) * 2018-06-04 2023-04-28 平安科技（深圳）有限公司 手写模型训练方法、文本识别方法、装置、设备及介质
CN110488997A (zh) * 2019-07-03 2019-11-22 深圳市九洲电器有限公司 基于语音的书写板实现方法及相关产品

Also Published As

Publication number Publication date
US7983478B2 (en) 2011-07-19
CN101785030B (zh) 2012-11-28
US20090041354A1 (en) 2009-02-12
WO2009023648A2 (en) 2009-02-19
WO2009023648A3 (en) 2009-04-16

Similar Documents

Publication Publication Date Title
CN101785030B (zh) 基于隐式马尔可夫模型的手写笔迹/书法生成
Amma et al. Airwriting: Hands-free mobile text input by spotting and continuous recognition of 3D-space handwriting with inertial sensors
US7227993B2 (en) Learning-based system and process for synthesizing cursive handwriting
Liwicki et al. A novel approach to on-line handwriting recognition based on bidirectional long short-term memory networks
US7428516B2 (en) Handwriting recognition using neural networks
Kassel A comparison of approaches to on-line handwritten character recognition
Alsharif et al. Long short term memory neural network for keyboard gesture decoding
CN104205126A (zh) 对手写字符的无旋转识别
Kosmala et al. On-line handwritten formula recognition using hidden Markov models and context dependent graph grammars
Kumar et al. A lexicon-free approach for 3D handwriting recognition using classifier combination
Babu et al. HMM-based online handwriting recognition system for Telugu symbols
JP7450868B2 (ja) タッチベースユーザインターフェース入力におけるジェスチャーストローク認識
Shashikiran et al. Comparison of HMM and SDTW for Tamil handwritten character recognition
Kotani et al. Generating handwriting via decoupled style descriptors
Lee et al. Handwritten music notation recognition using HMM—a non-gestural approach
Vuori Adaptive methods for on-line recognition of isolated handwritten characters
Leedham et al. Automatic recognition and transcription of Pitman's handwritten shorthand—An approach to shortforms
Liwicki et al. Feature selection for HMM and BLSTM based handwriting recognition of whiteboard notes
Calvo-Zaragoza et al. Recognition of pen-based music notation with finite-state machines
Jayaraman et al. Modular approach to recognition of strokes in Telugu script
Younas et al. Sense the pen: Classification of online handwritten sequences (text, mathematical expression, plot/graph)
Jung et al. On-line recognition of cursive Korean characters using graph representation
Liu et al. Advances in chinese document and text processing
Niels Dynamic time warping
Sahu et al. Personalized hand writing recognition using continued LSTM training

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150515

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150515

Address after: Washington State

Patentee after: Micro soft technique license Co., Ltd

Address before: Washington State

Patentee before: Microsoft Corp.

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20121128

Termination date: 20150811

EXPY Termination of patent right or utility model