CN112313667A - 手写输入显示设备、手写输入显示方法和存储程序的记录介质 - Google Patents

手写输入显示设备、手写输入显示方法和存储程序的记录介质 Download PDF

Info

Publication number
CN112313667A
CN112313667A CN201980040559.8A CN201980040559A CN112313667A CN 112313667 A CN112313667 A CN 112313667A CN 201980040559 A CN201980040559 A CN 201980040559A CN 112313667 A CN112313667 A CN 112313667A
Authority
CN
China
Prior art keywords
display
character string
candidate
handwriting
stroke
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980040559.8A
Other languages
English (en)
Inventor
笠谷洁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority claimed from PCT/IB2019/054891 external-priority patent/WO2019243954A1/en
Publication of CN112313667A publication Critical patent/CN112313667A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/103Formatting, i.e. changing of presentation of documents
    • G06F40/109Font handling; Temporal or kinetic typography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/12Use of codes for handling textual entities
    • G06F40/126Character encoding
    • G06F40/129Handling non-Latin characters, e.g. kana-to-kanji conversion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/166Editing, e.g. inserting or deleting
    • G06F40/171Editing, e.g. inserting or deleting by use of digital ink
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/274Converting codes to words; Guess-ahead of partial word inputs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/1444Selective acquisition, locating or processing of specific regions, e.g. highlighted text, fiducial marks or predetermined fields
    • G06V30/1456Selective acquisition, locating or processing of specific regions, e.g. highlighted text, fiducial marks or predetermined fields based on user interactions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/26Techniques for post-processing, e.g. correcting the recognition result
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/32Digital ink
    • G06V30/36Matching; Classification
    • G06V30/387Matching; Classification using human interaction, e.g. selection of the best displayed recognition candidate
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Character Discrimination (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种手写输入显示设备,其使得显示装置将通过使用输入装置进行的输入而生成的笔画作为手写对象显示到屏幕。所述装置包括显示控制装置,其用于当所述手写对象在预定时间内没有改变时,使得所述显示装置显示包括手写识别候选的字符串候选。当所述手写识别候选被选择时,所述显示控制装置使所述显示装置消除所述字符串候选的显示和所述手写对象的显示,并且使所述显示装置在曾显示被消除手写对象的位置处显示字符串对象。当在预定时间内没有执行手写识别候选的选择并且所述字符串候选的显示被消除时,所述显示控制装置使得所述手写对象被保持显示。

Description

手写输入显示设备、手写输入显示方法和存储程序的记录 介质
技术领域
本公开涉及手写输入显示设备、手写输入显示方法和存储程序的记录介质。
背景技术
在不包括键盘的触摸面板操作型计算机(以下简称“平板计算机(PC)”)中,制备平板PC专用的输入软件,例如手写输入屏幕示例,如图22A所示。输入软件使得平板PC的用户能够选择软件键盘输入和手写输入中的一种,以在当前光标位置处输入字符串。另外,如图22B所示,当用户使用附接到平板PC的电子笔用手在框中绘制字符时,手写字符串被识别为字符串。当按下“插入”按钮时,在当前光标位置处输入被识别的字符串。
专利文献(PTL)1描述了一种装置,在该装置中,用手在框中绘制的字符和被识别的字符被同时显示,并且被识别的字符串最终被输入到指定区域中。PTL 1的装置包括输入框,用于以与平板PC基本相同的方式将手写字符识别为字符串。
PTL 2公开了一种不使用框的字符识别技术。PTL 2没有公开如何处理被识别的字符串。
引用列表
专利文献
[PTL 1]
未经审查的日本专利申请公开No.2002-007962
[PTL 2]
未经审查的日本专利申请公开No.2003-271899
发明内容
技术问题
在上述背景技术中,输入框中的手写对象被识别为字符,在当前光标位置处输入被识别的字符。此外,在上述背景技术中,稍后选择手写区域以将手写转换成字符,并且通过选择清晰复印模式将输入框中的手写转换成字符。然而,在上述任何一种情况下,将执行用于输入字符串的特殊过程。当期望的字符串没有被识别时,将执行更复杂的过程来识别期望的字符串。或者,用户放弃对字符串的识别并且切换到手写输入模式以按原样输入手写字符。尽管计算机对手写字符的识别率一直在提高,但是仍然经常出现用户手写的难以阅读的字符不被识别的情况。因此,上述复杂过程和模式切换可能频繁发生。当目的是干净书写时,如果花时间在这种复杂的过程和模式转换上是没有关系的。然而,当目的是交流时,例如当多个用户聚集在手写输入板周围进行讨论时,用户几乎没有时间进行这种复杂的过程或模式切换。
本公开的目的是提供一种装置和方法,其在不降低手写输入的速度的情况下自动显示可推荐的手写识别候选,允许用户根据需要从所述手写识别候选中选择字符串,转换成所选择的字符串,并且如果不需要,则允许用户忽略所述手写识别候选并继续所述手写输入。
解决问题的技术方案
本公开的示例性实施例包括手写输入显示设备,其使得显示装置将通过使用输入装置进行的输入而生成的笔画作为手写对象显示到所述显示装置的屏幕。所述手写输入显示设备包括显示控制装置,其用于在所述手写对象在预定时间段内没有改变时,使得所述显示装置显示包括手写识别候选的字符串候选,该手写识别候选是将所述手写对象识别为字符串的结果。当所述手写识别候选被选择时,所述显示控制装置使所述显示装置消除所述字符串候选的显示和所述手写对象的显示,并且使所述显示装置在曾经显示被消除的手写对象的位置处,显示作为由选择的手写识别候选所指示的字符串的字符串对象。当在预定时间段内没有执行手写识别候选的选择并且所述字符串候选的显示被消除时,所述显示控制装置使所述手写对象保持被显示。
有益效果
根据本公开的一个或多个实施例,提供了一种方法,该方法在不降低手写输入的速度的情况下自动显示可推荐的手写识别候选,允许用户根据需要从所述手写识别候选中选择字符串,转换成所选择的字符串,并且如果不需要,则允许用户忽略所述手写识别候选并继续所述手写输入。
附图说明
附图旨在描述本公开的示例性实施例,不应被解释为限制本公开内容的范围。除非明确说明,否则附图不应视为按比例绘制。同样,在多个视图中相同或相似的附图标记表示相同或相似的部件。
图1是示出根据本公开实施例的手写输入设备的配置的总体示例的示意图。
图2A、图2B和图2C是各自示出根据本公开实施例的手写输入设备的配置的另一总体示例的示意图。
图3是根据本公开的实施例的电子笔的透视图的示例。
图4是示出根据本公开的实施例的手写输入设备的硬件配置的示例的框图。
图5是示出根据本公开的实施例的手写输入设备的功能配置的示例的框图。
图6是示出根据本公开实施例的操作的时序图。
图7是示出根据本公开实施例的操作的时序图。
图8是示出根据本公开实施例的操作的时序图。
图9是示出根据本公开实施例的操作的时序图。
图10是示出根据本公开实施例的操作的时序图。
图11是示出根据本公开实施例的操作的时序图。
图12是示出根据本公开实施例的预定义控制数据的示例的示意图。
图13是示出根据本公开实施例的字符串候选显示区域的配置示例的示意图。
图14A、图14B和图14C是各自示出根据本公开实施例的词典数据的示例的示意图。
图15是示出根据本公开实施例的字符串候选显示区域的操作的示例的示意图。
图16是示出根据本公开实施例的预测转换和假名转换的操作示例的示意图。
图17A和图17B是用于描述根据本公开实施例的如何新生成手写对象的示例的示意图。
图18A、图18B和图18C是示出根据本公开实施例的水平书写字符大小的自动识别的示例的示意图。
图19A、图19B和图19C是示出根据本公开实施例的垂直书写字符大小的自动识别的示例的示意图。
图20A、图20B、图20C和图20D是示出根据本公开实施例的字符串候选显示区域的显示位置的示例的示意图。
图21是示出根据本公开实施例的手写对象的编辑操作的示例的示意图。
图20A和图20B是示出根据现有技术的手写输入屏幕的示例的示意图。
具体实施方式
这里使用的术语仅用于描述特定实施方式的目的,而不旨在限制本公开。如本文中所使用,除非文中另有明确指示,否则单数形式“一”和“一个”也旨在包括复数形式。
在描述附图所示的实施例时,为了清楚起见,采用了特定术语。然而,本说明书的公开不旨在限于如此选择的特定术语,并且应当理解,每个特定元件包括具有相似功能、以相似方式操作并且实现相似结果的所有技术等同物。
参考附图,描述了本公开的实施例。
<装置配置概况>
首先,参照图1和图2A至图2C给出根据本公开实施例的手写输入设备2的配置概况的描述。图1是示出手写输入设备2的配置概况的示例的示意图。在本实施例中,作为手写输入设备2的示例示出了电子白板。
如图1所示,在手写输入设备2的上部设置了作为显示设备示例的显示器220。用户可以使用电子笔2500在显示器220上输入(绘制)字符等。
图2A、图2B和图2C是各自示出手写输入设备2的配置概况的另一示例的示意图。作为手写输入设备2的示例,图2A示出了被用作具有横向矩形形状并悬挂在墙上的电子白板的手写输入设备2。图2B示出了被用作具有竖向矩形形状并且悬挂在墙上的电子白板的手写输入设备2。图2C示出了放置在桌子230的顶部上的手写输入设备2。由于手写输入设备2具有大约1厘米的厚度,所以当手写输入设备2被放置在作为通用书桌的书桌230的顶部上时,不必调整书桌230的高度。另外,可以毫无困难地移动手写输入设备2。
<电子笔2500外观的示例>
图3是电子笔2500的透视图的示例。图3所示的电子笔2500是多功能电子笔的示例。包括内置电源并且被配置为向手写输入设备2发送指令的电子笔2500被称为“有源笔”。相比之下,不包括内置电源的电子笔被称为“无源笔”。图3所示的电子笔2500包括设置在笔尖处的一个物理开关、设置在笔末端处的一个物理开关、以及位于笔侧身的两个物理开关。设置在笔尖处的物理开关用于书写的(绘制的)对象。设置在笔末端处的物理开关用于消除书写的(绘制的)对象。设置在笔侧身的物理开关用于实现由用户分配的功能。
包括开关的电子笔允许用户减少手写输入设备2的操作过程。包括开关的电子笔主要是指有源笔。然而,由于不包括内置电源的电磁感应无源笔可以通过LC电路生成电力,所以包括开关的电子笔不仅包括有源笔而且包括电磁感应无源笔。除了电磁感应无源笔之外,分别包括开关的光学型电子笔、红外型电子笔和静电电容型电子笔都是有源笔。
用户可以将笔功能菜单分配给笔侧身上的开关中的一个,将编辑功能菜单分配给笔侧身上的开关中的另一个。笔功能菜单允许用户选择笔的颜色、粗细和操作模式。编辑功能菜单允许用户选择针对对象进行消除、选择、剪切、复制和粘贴中的一种。当用户将笔保持在他/她的手中的同时按下设置在电子笔2500侧身上的开关中的任一个时,显示笔功能菜单或编辑功能菜单。虽然这对于用户来说是方便的,但是由于每次用户改变要操作的对象时用户必须按压设置在笔侧身上的开关中的任一个以打开笔功能菜单或编辑功能菜单,所以操作的复杂性不变。另一方面,当用户使用设置在笔末端处的用于消除的开关时,消除所需的操作过程可以缩短到一个步骤,因为用户可以通过使用笔末端而不是笔尖来消除对象。
假设电子笔2500的硬件配置与包括通信能力和微型计算机的通用控制系统的硬件配置相同。电子笔2500的坐标输入方法的示例包括电磁感应方法和有源静电耦合方法。在其他示例中,电子笔2500还具有诸如笔压力检测、倾斜检测、悬停功能(在笔接触之前显示光标)等功能。
<手写输入设备2的硬件配置>
现在参照图4给出手写输入设备2的硬件配置的描述。如图所示,手写输入设备2具有信息处理装置或计算机的配置。图4是示出手写输入设备2的硬件配置的示例的框图。如图4所示,手写输入设备2包括中央处理单元(CPU)201、只读存储器(ROM)202、随机存取存储器(RAM)203和固态驱动器(SSD)204。
CPU 201控制手写输入设备2的整体操作。ROM 202存储诸如初始程序加载器(IPL)的程序以启动CPU 201。RAM 203被用作CPU 201的工作区域。SSD 204存储用于手写输入设备2的控制程序等各种数据。
手写输入设备2还包括显示控制器213、触摸传感器控制器215、触摸传感器216、显示器220、电源开关227、倾斜传感器217、倾斜传感器217、串行接口218、扬声器219、麦克风221、无线通信设备222、红外接口(I/F)223、电源控制电路224、AC适配器225和电池226。
显示控制器213控制用于输出到显示器220的图像的显示等。触摸传感器216检测到电子笔2500、用户的手等与显示器220接触。笔或用户的手是输入装置的示例。
触摸传感器控制器215控制触摸传感器216的处理。触摸传感器216执行坐标输入和坐标检测。更具体地,在触摸传感器216是光学型的情况下,显示器220设置有设置在显示器220的两个上侧端的两个光接收器/发射器,以及围绕显示器220的侧面的反射器框架。光接收器/发射器发射与显示器220的表面平行的多个红外线。光接收元件接收在与发射的红外线的光路相同的方向上通过的光,所述光被反射器框架反射。触摸传感器216将在从两个光接收器/发射器发射之后被对象阻挡的红外线的位置信息输出到触摸传感器控制器215。基于红外线的位置信息,触摸传感器控制器215检测被对象触摸的特定坐标。另外,触摸传感器控制器215包括允许手写输入设备2与电子笔2500无线通信的通信单元215a。例如,当按照诸如蓝牙(注册商标)的标准执行通信时,可以使用市场上可买到的笔。如果一个或多个电子笔2500预先登记在通信单元215a中,则手写输入设备2和电子笔2500彼此通信,而无需用户手动操作来配置电子笔2500和手写输入设备2之间的连接设置。
电源开关227是开启或关闭手写输入设备2电源的开关。倾斜传感器217是检测手写输入设备2的倾斜角度的传感器。倾斜传感器217主要用于检测手写输入设备2是否正在图2A、图2B或图2C的任何安装状态下使用。可以基于检测到的安装状态自动改变字符的粗细等。
串行接口218是将手写输入设备2连接到诸如通用串行总线(USB)之类的外部源的接口。串行接口218用于输入来自外部源的信息。扬声器219用于输出声音。麦克风221用于输入声音。例如,无线通信设备222与用户携带的终端通信,并将该连接中继到互联网。无线通信设备222执行符合Wi-Fi、蓝牙(注册商标)等的通信。除了Wi-Fi和蓝牙(注册商标)之外,可以应用任何合适的标准。无线通信设备222形成接入点。当用户在该用户携带的终端中设置该用户预先获得的服务集标识符(SSID)和密码时,终端连接到接入点。
优选地为无线通信设备222设置两个接入点,如下所示:
(a)接入点->互联网;
(b)接入点->公司内部网络->互联网
(a)的接入点用于除公司员工之外的用户。通过(a)的接入点,这些用户不能访问公司内网络,但是可以使用互联网。(b)的接入点是用于公司员工作为用户,这些用户可以使用公司内部网络和互联网。
红外I/F 223检测与自身手写输入设备2相邻设置的另一手写输入设备2。红外I/F223通过使用红外线的直线度来检测与自身手写输入设备2相邻设置的另一手写输入设备2。优选地,在显示器220的每一侧上设置一个红外I/F 223。这允许手写输入设备2检测设置另一手写输入设备2的方向。这扩展了屏幕。因此,例如,显示先前写入在相邻手写输入设备2上的手写信息等。换句话说,当假设一个显示器220的区域限定一个页面时,可以显示关于另一页面的手写信息。
电源控制电路224控制作为手写输入设备2的电源的AC适配器225和电池226。AC适配器225将由商用电源共享的交流电流转换成直流电流。
在显示器220是所谓的电子纸的情况下,维持图像显示所消耗的电力很少或没有。因此,在这种情况下,手写输入设备可以由电池226驱动。这使得即使在难以连接电源的地方(诸如室外)也可以将手写输入设备2用于诸如数字标牌的应用。
此外,手写输入设备2还包括总线线路210。总线线路210是地址总线、数据总线等,其电连接图4中的元件,例如CPU 201。
触摸传感器216不限于光学类型。在另一示例中,触摸传感器216是不同类型的检测器,诸如通过检测电容变化来识别接触位置的电容触摸面板,通过检测相对的两个电阻膜的电压变化来识别接触位置的电阻膜触摸面板,或者通过检测由对象与显示器的接触引起的电磁感应来识别所述接触位置的电磁感应触摸面板。触摸传感器216可以是不需要电子笔来检测笔尖是否与显示器220的表面接触的类型。在这种情况下,指尖或笔形棒被用于触摸操作。另外,电子笔2500可以具有除了纤细的笔形状之外的任何合适的形状。
<手写输入设备2的功能配置>
现在参照图5给出手写输入设备2的功能配置的描述。图5是示出手写输入设备2的功能配置的示例的框图。
手写输入设备2包括:手写输入单元21、显示单元22、手写输入显示控制器23、候选显示计时器控制器24、手写输入存储单元25、手写识别控制器26、手写识别词典单元27、字符串转换控制器28、字符串转换词典单元30、预测转换控制器31、预测转换词典单元32。手写输入设备2的每个功能由图4中所示的一个或多个硬件元件和程序的执行来实现。
手写输入单元21例如由触摸传感器216实现,接收手写输入。手写输入单元21将用户对电子笔2500的操作(S201)转换成笔操作数据(提笔、落笔或笔坐标数据),并将转换结果发送到手写输入显示控制器23(S202)。通常,笔坐标数据以规则间隔作为离散值进行发送,并且离散值之间的坐标被互补地计算。在本实施例中,提笔状态是稍后描述的手写输入单元21确定电子笔2500与显示器220的用于手写的表面分离的状态。落笔是如下所述的手写输入单元21确定电子笔2500与显示器220的用于手写的表面接触的状态。
电子笔2500是输入装置的一个示例。电子笔2500可以具有除笔形状之外的任何合适的形状。输入装置可以是任何设备或装置,只要其允许用户在触摸面板上手写对象或笔画。输入装置的示例包括笔、人的手指或手、以及杆状构件。提笔状态是输入装置抬起状态的示例,并且落笔状态是输入装置落下状态的示例。
显示单元22例如由显示器220实现。显示单元22接收手写输入显示控制器23写入视频存储器中的绘图数据(S203),将接收到的绘图数据转换为根据显示器220的特性的数据,并基于转换后的数据执行显示。
手写输入显示控制器23由来自CPU 201的指令实现。手写输入显示控制器23是作为本实施例的特征的手写输入显示控制器,并且执行关于手写输入和显示的整体控制。手写输入显示控制器23处理从手写输入单元21发送的笔操作数据,并将处理后的数据发送到显示单元22。显示单元22根据接收到的笔操作数据来显示笔画。后面将参照图6至图11给出对笔操作数据的处理和笔画的显示的详细描述。
候选显示定时器控制器24,由来自CPU 201的指令实现,是用于控制字符串候选的显示的显示控制定时器。候选显示定时器控制器24启动或停止定时器,以生成开始字符串候选的显示的定时和消除该显示的定时。字符串候选包括手写识别字符串候选、语言字符串候选、转换字符串候选和字符串/预测转换候选,它们被显示为在下面描述的操作向导510(见图13)上进行选择。候选显示计时器控制器24从手写输入显示控制器23接收计时器启动请求(或计时器停止请求)(S204),并且将超时事件发送到手写输入显示控制器23(S205)。
手写输入存储单元25例如由RAM 203实现,是用于存储用户数据(手写对象和字符串对象)的存储器。基于指示电子笔2500对手写输入单元21的操作的笔操作数据来确定该手写对象。手写对象包括由电子笔2500绘制的笔画(笔画数据)。手写对象是由笔画(笔画数据)表示的字符、数字、符号或图形。手写对象是作为稍后描述的手写识别控制器26进行的手写识别的目标的数据。字符串对象是作为基于手写对象的字符串转换的结果而显示在显示器220上的数据。手写输入存储单元25从手写输入显示控制器23接收用户数据并存储所接收的用户数据。手写输入存储单元25接收来自手写输入显示控制器23的获取请求(S206),并将所存储的用户数据发送到手写输入显示控制器23(S207)。
手写识别控制器26是执行在线手写识别的识别引擎,其由来自CPU 201的指令实现。与扫描纸质文档以识别文本的光学字符阅读器(OCR)不同,手写识别控制器26与用户的笔操作同时地读取字符(诸如英文和日文的多语种语言)、数字和符号(%、$、&等)、图形(线,圆圈、三角形等)。虽然已经针对识别方法提出了各种算法,但是基于在本实施例中可以使用已知技术的假设,省略了详细描述。此外,手写识别控制器26从手写输入显示控制器23接收笔操作数据(S208),执行手写识别,并且保持手写识别字符串候选。此外,手写识别控制器26使用手写识别词典单元27来将手写识别字符串候选转换为语言字符串候选,并且保持语言字符串候选。手写识别控制器26响应于从手写输入显示控制器23单独接收到获取请求(S208),将所保持的手写识别字符串候选和语言字符串候选发送给手写输入显示控制器23(S209)。
手写识别词典单元27是手写识别的语言转换词典数据。手写识别词典单元27例如被存储在SSD 204中。手写识别词典单元27从手写识别控制器26接收手写识别字符串候选(S212)。此外,手写识别词典单元27将接收到的手写识别字符串候选转换为语言上可能的语言字符串候选,并将语言字符串候选发送到手写识别控制器26(S213)。例如,在日文的情况下,手写识别词典单元27将平假名转换成汉字或片假名。
由来自CPU 201的指令实现的字符串转换控制器28控制字符串的转换。字符串转换控制器28从手写识别控制器26接收手写识别字符串候选(S211)。此外,字符串转换控制器28使用字符串转换词典单元30将接收到的手写识别字符串候选转换为转换字符串候选,并且保存该转换字符串候选。响应于单独接收到获取请求(S214),字符串转换控制器28将所保持的转换字符串候选发送到手写输入显示控制器23(S215)。
字符串转换词典单元30是用于字符串转换的词典数据。字符串转换词典单元30例如被存储在SSD 204中。响应于从字符串转换控制器28接收到手写识别字符串候选(S217),字符串转换词典单元30将转换字符串候选发送到字符串转换控制器28(S218)。
预测转换控制器31由来自CPU 201的指令实现,控制预测转换。预测转换控制器31从手写识别控制器26接收手写识别字符串候选(S210),并从字符串转换控制器28接收转换字符串候选(S216)。预测转换控制器31使用预测转换词典单元32将接收到的手写识别字符串候选和转换字符串候选转换为预测字符串候选。预测转换字符串是可能生成的包括手写识别字符串或转换字符串的字符串。预测转换控制器31响应于从手写输入显示控制器23单独接收到获取请求(S219),将预测字符串候选发送给手写输入显示控制器23(S220)。
预测转换词典单元32是用于预测转换的词典数据。预测转换词典单元32例如存储在SSD 204中。预测转换词典单元32响应于从预测转换控制器31接收到手写识别字符串候选和转换字符串候选(S221),将预测字符串候选发送到预测转换控制器31(S222)。
<操作或处理的实施例>
现在参照图6至图21给出根据本实施例的操作或处理的描述。
(控制顺序)
首先,参照图6至图11给出根据本实施例的控制序列的描述。图6至图11是示出根据本实施例的操作的时序图。
首先,手写输入显示控制器23向手写输入存储单元25发送手写对象开始信息(S1)。响应于接收到手写对象开始信息,手写输入存储单元25分配手写对象区域(用于存储手写对象的存储器区域)。在另一示例中,手写输入存储单元25在用户使电子笔2500与手写输入单元21接触之后分配手写对象区域。
接下来,当用户使电子笔2500与手写输入单元21接触时,手写输入单元21将落笔状态发送到手写输入显示控制器23(S2)。手写输入显示控制器23向手写输入存储单元25发送表示电子笔2500的笔画开始的笔画开始信息(S2.1)。手写输入存储单元25分配笔画区域。笔画(笔画数据)是用户通过例如电子笔2500自由地绘制的线。笔画有一组连续的点。可以适当地在这些点之间执行插值。
当用户在电子笔2500与手写输入单元21接触的状态下移动电子笔2500时,手写输入单元21将笔坐标发送到手写输入显示控制器23(S3)。手写输入显示控制器23向显示单元22发送笔坐标插值显示数据(S3.1),该笔坐标插值显示数据是通过对离散的笔坐标执行插值而获得的笔画数据。响应于接收到笔坐标插值显示数据,显示单元22使用笔坐标插值显示数据来插值笔坐标,以显示线(笔画)。此外,手写输入显示控制器23将笔坐标和笔坐标的接收时间发送到手写输入存储单元25。手写输入存储单元25将笔坐标添加到笔画(S3.2)。手写输入单元21在用户移动电子笔2500的时间段期间周期性地重复向手写输入显示控制器23发送笔坐标(S3)。因此,反复进行从S3到S3.2的处理,直到检测到提笔状态为止。
另一方面,当用户使电子笔2500离开手写输入单元21时,手写输入单元21将提笔状态发送到手写输入显示控制器23(S4)。手写输入显示控制器23将笔画结束信息发送到手写输入存储单元25。响应于接收到笔画结束信息,手写输入存储单元25使得笔画的笔坐标被固定(S4.1)。一旦笔画的笔坐标已被固定,则不再向笔画添加更多的笔坐标。接下来,手写输入显示控制器23向手写输入存储单元25发送用于获取手写对象附近矩形区域和笔画矩形区域的重叠状态的请求(S4.2)。手写输入存储单元25计算手写对象附近矩形区域和笔画矩形区域,并将表示重叠状态的信息发送到手写输入显示控制器23。
当手写对象附近矩形区域和笔画矩形区域彼此不重叠时,确定了一个手写对象,因此,如图7所示,手写输入显示控制器23将保持的数据清除信息发送到手写识别控制器26(S4.3)。手写识别控制器26将保持的数据清除信息发送到字符串转换控制器28。字符串转换控制器28清除与当前保持的转换字符串候选有关的数据(S4.3.1)。此外,手写识别控制器26将保持的数据清除信息发送到预测转换控制器31。预测转换控制器31清除与当前保持的预测字符串候选有关的数据(S4.3.2)。在清除时,不将紧接在最后一次清除的手写内容之前绘制的笔画添加到手写对象。
手写输入显示控制器23向手写输入存储单元25发送手写对象结束信息(S4.4)。响应于接收到手写对象结束信息,手写输入存储单元25固定手写对象。固定手写对象是指完成了一个手写对象。换句话说,固定手写对象是指不再添加任何笔画。此外,手写输入显示控制器23将手写对象开始信息发送到手写输入存储单元25(S4.5)。响应于接收到手写对象开始信息,手写输入存储单元25分配新的手写对象区域以准备下一个手写对象的手写的开始(落笔)。
接下来,如图8所示,手写输入显示控制器23将与在S4.1结束的笔画相关的要添加的笔画数据发送到手写输入存储单元25。当执行从S4.3到S4.5的处理时,要添加的笔画是手写对象的第一笔画。因此,手写输入存储单元25将笔画数据添加到正在被启动的手写对象(S4.6)。当不执行从S4.3到S4.5的处理时,要添加的笔画被添加到已经手写的手写对象。接下来,手写输入显示控制器23将待添加的笔画数据发送到手写识别控制器26。手写识别控制器26将笔画数据添加到笔画数据保持区域(S4.7),该笔画数据保持区域是与字符串候选相关的临时存储笔画数据的区域。
接下来,手写识别控制器26对笔画数据保持区域执行手写识别(S4.7.1)。手写识别控制器26将作为手写识别的执行结果的手写识别字符串候选发送到手写识别词典单元27(S4.7.2)。手写识别词典单元27向手写识别控制器26发送语言上可能的语言字符串候选。
接下来,手写识别控制器26将手写识别字符串候选和接收到的语言字符串候选发送到字符串转换控制器28(S4.7.3)。字符串转换控制器28将手写识别字符串候选和语言字符串候选发送到字符串转换词典单元30(S4.7.3.1)。作为响应,字符串转换词典单元30将转换字符串候选发送到字符串转换控制器28。此外,字符串转换控制器28将接收到的转换字符串候选发送到预测转换控制器31(S4.7.3.2)。预测转换控制器31将接收到的转换字符串候选发送到预测转换词典单元32(S4.7.3.2.1)。预测转换词典单元32将预测字符串候选发送到预测转换控制器31。
手写识别控制器26、字符串转换控制器28和预测转换控制器31分别存储手写识别字符串候选、语言字符串候选、转换字符串候选和预测字符串候选,使得手写输入显示控制器23可以在下面描述的从S4.8.1.2到S4.8.1.3的处理中获取这些候选。
此外,手写输入显示控制器23在步骤S4.7向手写识别控制器26,发送要添加的笔画数据之后,立即向候选显示定时器控制器24发送启动字符串候选显示定时器的请求。候选显示定时器控制器24开始字符串候选显示定时器的计时(S4.8)。当用户在定时器超时之前使电子笔2500与手写输入单元21接触时,手写输入单元21将落笔信息(与S2相同的事件)发送到手写输入显示控制器23(S5),如图9所示。手写输入显示控制器23向手写输入存储单元25发送笔画开始信息(与在S2.1中发送的信息相同的信息)(S5.1)。在S5.1之后,执行与S2.1和后续步骤的处理相同或基本相同的处理。
此外,手写输入显示控制器23向候选显示定时器控制器24发送字符串候选显示定时器停止信息。候选显示定时器控制器24停止定时器(S5.2)。这是因为由于检测到落笔而不再需要定时器。
下面描述的S4.8.1至S7.10的处理,是在经过一定时间后(定时器超时前)未发生落笔时执行的。因此,在显示单元22上显示下面参照图13描述的操作向导510。当在步骤S4.8中启动字符串候选显示定时器之后经过一定时间之前用户没有执行笔操作时(当电子笔2500没有与手写输入单元21接触时),候选显示定时器控制器24将超时信息发送到手写输入显示控制器23(S4.8.1)。
手写输入显示控制器23向手写识别控制器26发送获取手写识别字符串候选或语言字符串候选的请求(S4.8.1.1)。响应于接收到该请求,手写识别控制器26将当前正被保持的手写识别字符串候选或语言字符串候选发送到手写输入显示控制器23。
接下来,手写输入显示控制器23向字符串转换控制器28发送用于获取转换字符串候选的请求(S4.8.1.2)。响应于接收到该请求,字符串转换控制器28将当前保持的转换字符串候选发送到手写输入显示控制器23。
此外,手写输入显示控制器23向预测转换控制器31发送用于获取预测字符串候选的请求(S4.8.1.3)。响应于接收到该请求,预测转换控制器31将当前保持的预测字符串候选发送到手写输入显示控制器23。
此外,手写输入显示控制器23向手写输入存储单元25发送用于获取预测的书写方向的请求(S4.8.1.4)。响应于接收到该请求,手写输入存储单元25基于手写对象矩形区域的笔画添加时间、水平距离和垂直距离来确定书写方向。手写输入存储单元25将所确定的手写方向作为预测书写方向发送到手写输入显示控制器23。
接下来,手写输入显示控制器23基于手写识别字符串候选(例如,图13中的“ぎ”)、语言字符串候选(例如,“議”,尽管未在图13中示出)、转换字符串候选(例如,图13中“議事録”和“技量試”)、预测字符串候选(例如,图13中的“技量試を決済”和“議事録の送付”)、每个候选的选择概率、以及预测的书写方向来生成字符串候选显示数据。应当注意,“ぎ”是发音为“gi”的日文平假名字符,并且“議”是发音为“gi”的日文汉字字符。转换字符串候选“議事録”的示例意思是“会议记录”,并且发音为“gijiroku”,而“技量試”发音为“giryoushi”。预测字符串候选“技量試を決済”的示例意思是“批准技术预生产”,发音为“giryoushi-wo-kessai”,而“議事録の送付”意思是“发送会议记录”,发音为“gijiroku-no-souhu”。手写输入显示控制器23将生成的字符串候选显示数据发送到显示单元22。响应于接收到字符串候选显示数据,显示单元22显示字符串候选509(参见图13)(S4.8.1.5)。此外,手写输入显示控制器23将对象矩形区域显示数据发送到显示单元22。响应于接收到对象矩形区域显示数据,显示单元22显示手写对象矩形区域503(参见图13)(S4.8.1.6)。
此外,手写输入显示控制器23向候选显示定时器控制器24发送启动字符串候选显示删除定时器的请求,该字符串候选显示删除定时器用于在显示字符串候选509开始的预定时间之后消除字符串候选509。手写输入显示控制器23开始字符串候选显示删除定时器的计数(S4.8.1.7)。
当用户已经消除显示在显示单元22上的字符串候选509时,或者当自通过S4.8.1.7的处理开始的字符串候选删除定时器起已经经过一定时间之前手写对象发生变化时(即在手写对象中添加或删除笔画,或者移动、变形或分割手写对象时),如图10所示,手写输入单元21向手写输入显示控制器23发送表示将字符串候选509的显示消除的信息或者表示手写对象发生改变的信息(S6)。手写输入显示控制器23向候选显示定时器控制器24发送使字符串候选显示删除定时器停止的请求。候选显示定时器控制器24使字符串候选显示删除定时器停止(S6.1)。这是因为由于检测到针对手写对象的操作,所以不再需要定时器。手写输入显示控制器23向显示单元22发送用于删除字符串候选显示数据的请求,并使显示单元22删除显示(S6.2)。此外,手写输入显示控制器23向显示单元22发送用于删除手写对象矩形区域显示数据的请求,以使显示单元22删除显示(S6.3)。
相比之下,当字符串候选509的显示未被消除时或者当手写对象未发生改变时(当用户不操作电子笔2500时),候选显示定时器控制器24将超时信息发送到手写输入显示控制器23(S4.8.1.7.1)。响应于接收到超时信息,手写输入显示控制器23向显示单元22发送用于删除字符串候选显示数据的请求,以使显示单元22删除显示(S6.2)。此外,手写输入显示控制器23向显示单元22发送用于删除手写对象矩形区域显示数据的请求,以使显示单元22删除显示(S6.3)。
此外,当在自通过图9中的S4.8.1.7的处理启动字符串候选删除定时器起经过一定时间之前用户选择了字符串候选时,如图11所示,手写输入单元21将指示选择字符串候选的信息发送到手写输入显示控制器23(S7)。响应于接收到该信息,手写输入显示控制器23向候选显示定时器控制器24发送用于使得字符串候选显示删除定时器停止的请求。候选显示定时器控制器24停止字符串候选显示删除定时器的计数(S7.1)。
接下来,手写输入显示控制器23将保持的数据清除信息发送到手写识别控制器26(S7.2)。手写识别控制器26将保持的数据清除信息发送到字符串转换控制器28(S7.2.1)和预测转换控制器31(S7.2.2)。响应于接收到所保持的数据清除信息,手写识别控制器26、字符串转换控制器28和预测转换控制器31清除与当前所保持的字符串候选有关的数据。
接着,手写输入显示控制器23向显示单元22发送用于删除字符串候选显示数据的请求,使显示单元22删除字符串候选509的显示(S7.3)。此外,手写输入显示控制器23向显示单元22发送用于删除手写对象矩形区域显示数据的请求,以使显示单元22删除显示(S7.4)。此外,手写输入显示控制器23发送用于删除手写对象显示数据的请求(用于删除步骤S3.1中的笔坐标插值显示数据的请求),以使显示单元22消除显示(S7.5)。这是因为不再需要手写对象等,这是因为选择了字符串候选。
手写输入显示控制器23将手写对象删除信息发送到手写输入存储单元25(S7.6)。此外,手写输入显示控制器23将字符串对象添加信息发送到手写输入存储单元25(S7.7)。此外,手写输入显示控制器23向手写输入存储单元25发送用于获取字符串对象字体的请求(S7.8)。响应于接收到该请求,手写输入存储单元25基于预测的手写对象的字符大小来选择预定字体,并且将所选择的字体发送到手写输入显示控制器23。
手写输入显示控制器23使用从手写输入存储单元25接收到的预定字体,向显示单元22发送字符串对象显示数据,基于该字符串对象显示数据在与手写对象相同的位置处显示字符串对象。显示单元22显示字符串对象(S7.9)。此外,手写输入显示控制器23针对下一个手写对象将手写对象的开始信息发送到手写输入存储单元25。手写输入存储单元25分配手写对象区域(S7.10)。在完成步骤S7.10的处理之后,重复从图6中的S2到图11中的S7.10的处理。
(预定义数据的示例)
现在参照图12给出对由手写输入设备2用于各种类型处理的预定义数据的描述。图12是示出预定义控制数据的示例的图。图12的示例示出了每个预定义项的预定义数据。
字符串候选显示定时器401定义直到显示字符串候选为止要计数的时间段。该时间段是为了防止在手写期间显示字符串候选509而预定的时间。当在图8的步骤S4.8中开始字符串候选显示定时器的计数时,使用字符串候选显示定时器401。在该示例中,在从提笔起开始的500毫秒(TimerValue)内没有发生落笔的情况下,显示字符串候选509。候选显示定时器控制器24保持字符串候选显示定时器401。
字符串候选删除定时器402定义直到所显示的字符串候选509将被消除为止要被计数的时间段。该时间段被预定义为当用户没有选择字符串候选时消除字符串候选509。当在图9的步骤S4.8.1.7中开始对字符串候选显示删除定时器的计数时,使用字符串候选删除定时器402。在该示例中,在从字符串候选509的显示开始的5000毫秒(TimerValue)内没有选择字符串候选的情况下,消除字符串候选509的显示。候选显示定时器控制器24保持字符串候选删除定时器402。
手写对象附近矩形区域403定义了被视为手写对象附近的矩形区域。当在图6的步骤S4.2中确定手写对象附近矩形区域和笔画矩形区域的重叠状态时,使用手写对象附近矩形区域403。在该示例中,手写对象附近矩形区域403是通过将手写对象的矩形区域水平地放大预测字符大小的50%(Horizontal)并且垂直地放大预测字符大小的80%(Vertical)而获得的矩形区域。虽然在该示例中,与预测字符大小的比率(%指定)是预定义的,但是例如当单位是“毫米”时,可以预定义固定长度。手写输入存储单元25保持手写对象附近矩形区域403。
预测书写方向/字符大小确定条件404定义了用于确定书写方向和字符大小的测量方向的常数。当在图9的步骤S4.8.1.4中获取预测书写方向时,以及当在图11的步骤S7.8中获取字符串对象字体时,使用预测书写方向/字符大小确定条件404。在该示例中,当在手写对象矩形区域503中首次添加笔画时的时间与最后添加笔画时的时间之间的差等于或长于1000毫秒(MinTime)时,当手写对象矩形区域503的水平距离(宽度)与手写对象矩形区域503的垂直距离(高度)之间的差等于或大于10毫米(MinDiff)时,并且当水平距离大于垂直距离时,预测的书写方向被识别为“水平书写方向”,并且预测的字符大小被识别为等于垂直距离。当水平距离短于垂直距离时,预测的书写方向被识别为“垂直书写方向”,并且预测的字符大小被识别为等于水平距离。当不满足上述条件时,预测的书写方向被识别为“水平书写方向”(DefaultDir=“Horizontal”),并且将预测字符大小识别为等于水平距离和垂直距离中的较长的一个。将估计字符大小与预测字符大小405的最小值(下文中“最小字体大小”)和最大值(下文中“最大字体大小”)进行比较。当预测字符大小等于或小于最小字体大小时,将预测字符大小识别为最小字体大小。当预测字符大小等于或大于最大字体大小时,将预测字符大小识别为最大字体大小。手写输入存储单元25保持预测书写方向/字符大小确定条件404。
预测字符大小405定义用于预测字符大小等的数据。预测字符大小405用于在图6的步骤S4.2中获取手写对象附近矩形区域和笔画矩形区域的重叠状态,以及在图11的步骤S7.8中获取字符串对象字体。在该示例中,将基于预测书写方向/字符大小确定条件404所确定的预测字符大小与预测字符大小405的相对小尺寸字符405a(以下称为“最小字体尺寸”)和相对大尺寸字符大小405c(以下称为“最大字体尺寸”)相比较。当预测字符大小等于或小于最小字体大小时,预测字符大小被识别为最小字体大小。当预测字符大小等于或大于最大字体大小时,预测字符大小被识别为最大字体大小。当预测字符大小大于最小字体大小并且小于最大字体大小时,预测字符大小被识别为相对中等大小的字符405b。手写输入存储单元25保持预测字符大小405。
具体地,手写输入存储单元25将基于预测书写方向/字符大小确定条件404所确定的预测字符大小与预测字符大小405的字体大小进行比较,并使用最接近的字体。换句话说,当预测字符大小等于或小于25毫米(相对小尺寸字符的字体大小)时,字符大小被识别为“相对小尺寸字符”。当预测字符大小大于25毫米并且等于或小于50毫米(相对中等尺寸字符的字体大小)时,字符大小被识别为“相对中等尺寸字符”。当预测字符大小大于100毫米(相对大尺寸字符的字体大小)时,字符大小被识别为“相对大尺寸字符”。“相对小尺寸字符”405a使用明朝体25mm字体(FontStyle=“明朝体”、“FontSize=25”)。“相对中等尺寸的字符”405b是Mincho 50mm字体(FontStyle=“明朝体”、FontSize=“50mm”)。“相对大尺寸的字符”405c使用哥特式100mm字体(FontStyle=“哥特式”、FontSize=“100mm”)。可以通过增加预测字符大小405的类型来增加字体大小或字体样式的数量。被定义为预测字符大小405的字体样式(“FontStyle”)是预定义字体样式的示例。定义为预测字符大小405的字体大小(“FontSize”)是预定义字体大小的示例。
(字符串候选的显示配置的示例)
图13是示出字符串候选显示区域的配置示例的示意图。响应于用户对手写对象504的手写,显示操作向导510(响应于字符串候选显示定时器401的超时)。操作向导510包括操作头部520、手写对象矩形区域503、手写对象504和字符串候选509。操作头部520包括用于在预测转换和假名转换之间进行切换的操作单元501、候选显示页面操作单元502、以及字符串候选显示删除操作单元505。字符串候选509包括手写识别字符串候选506、转换字符串候选507和字符串/预测转换候选508。虽然在图13的示例中,没有显示语言字符串候选,但是也存在显示一个或多个语言字符串候选的情况。
用于预测转换和假名转换之间切换的操作单元501是用于接收预测转换和假名转换之间的切换操作的按钮。在该示例中,当用户用电子笔2500等按下标记为“预测转换”的按钮时,手写输入单元21接收用户的操作,并将通知按钮被按下的信息发送到手写输入显示控制器23。手写输入显示控制器23向显示单元22发送切换通知。响应于接收到切换通知,显示单元22将按钮的标签改变为“假名转换”。结果,字符串候选以假名转换的概率的降序排列。
候选显示页面操作单元502是用于接收从显示候选的一个页面切换到显示其他候选的另一个页面的操作的按钮。在图13的示例中,存在用于显示候选的三个页面,并且当前显示第一页面。
手写对象矩形区域503是围绕手写对象504的区域。在该示例中,手写对象矩形区域503由虚线框表示。
手写对象504是由用户手写的字符“ぎ”(日语平假名字符,发音为“gi”)。
字符串候选显示删除操作单元505是用于接收删除字符串候选509的操作的按钮。在该示例中,当用户用电子笔2500等按下“X”图标时,手写输入单元21接收用户的操作,并将通知“X”图标被按下的信息发送到手写输入显示控制器23。手写输入显示控制器23向显示单元22发送字符串候选显示数据的消除信息。响应于接收到消除信息,显示单元22消除除了手写对象504之外的对象或信息的显示。
在手写识别字符串候选506、转换字符串候选507和字符串/预测转换候选508中,按照概率的降序排列各个字符串候选。
显示为手写识别字符串候选506的“ぎ”(日语平假名字符,发音为“gi”)是手写识别结果的候选。在该示例中,“ぎ”(日语平假名字符,发音为“gi”)被正确识别。
转换字符串候选507是从语言字符串候选转换而来的转换字符串候选。被显示为转换字符串候选507之一的“技量試”(日文汉字字符,发音为“giryoshi”)是字符串转换的候选。在该示例中,“技量試”是“技術量産試作”的缩写(日文汉字字符,意思是“技术预生产”并且发音为“gijutsu-ryousan-shisaku”)。
字符串/预测转换候选508是从语言字符串候选或转换字符串候选转换而来的预测字符串候选。显示为字符串/预测转换候选508的“技量試を決裁”(意思是“批准技术预生产”,并且发音为“giryoshi-wo-kessai”)和“議事録の送付先”(意思是“会议记录的目的地”,并且发音为“gijiroku-no-souhusaki”)是字符串转换的候选或预测转换的候选。
(词典数据的示例)
图14A、图14B和图14C是各自示出词典数据的示例的示意图。图14A是示出与手写识别词典单元27相对应的手写识别词典数据601的数据结构的示例的图。图14B是示出与字符串转换词典单元30相对应的字符串转换词典数据602的数据结构的示例的图。图14C是示出与预测转换词典单元32相对应的预测转换词典数据603的数据结构的示例的图。词典数据601、602和603分别在图8中的S4.7.2、S4.7.3和S4.7.4的处理中使用。在本实施例中,手写识别词典单元27使用图14A的手写识别词典数据601所获取的转换结果被称为语言字符串候选。字符串转换词典单元30使用图14B的字符串转换词典数据602的转换结果被称为转换字符串候选。预测转换词典单元32使用图14C的预测转换词典数据603的转换结果被称为预测字符串候选。在词典数据601、602和603的每一个中,在“转换前”栏中列出的字符串表示每个被用作搜索词典数据的搜索关键词的字符串。此外,在词典数据601、602和603的每一个中,在“转换后”栏中列出的字符串表示与用作搜索词典数据的搜索关键词的字符串相对应的转换字符串。此外,在词典数据601、602和603的每一个中,“概率”栏中的数字表示用户选择的概率。
图14A所示的手写识别词典数据601的示例表明,手写的“ぎ”(日文平假名字符,发音为“gi”)被转换为“議”(日文汉字字符,发音为“gi”)的概率为0.55,并被转换为“技”(日文汉字字符,也发音为“gi”)的概率为0.45。此外,图14A所示的手写识别词典数据601的示例表明,手写的“ぎし”被转换为“技士”(日文汉字字符,意思是“技师”,发音为“gishi”)的概率为0.55,并且转换为“技師”(日文汉字字符,意思是“工程师”,并且发音也为“gishi”)的概率为0.45。基本上相同的描述应用于其他转换前和转换后字符串,并且为了简化描述,以下省略对其的描述。虽然在该示例中,所有手写都是用平假名书写的,但是可以注册平假名以外的字符。
图14B中所示的字符串转换词典数据602的示例表明,字符串“議”(日文汉字字符,发音为“gi”)被转换为“議事録”(意思是“会议记录”,并且发音为“gijiroku”)的概率为0.95,并且字符串“技”(日文汉字字符,发音也为“gi”)被转换为“技量試”(日文汉字字符,发音为“giryoshi”)的概率为0.85。基本上相同的描述应用于其他转换前和转换后字符串,并且为了简化描述,以下省略对其的描述。
图14C所示的预测转换词典数据603的示例表明,字符串“議事録”(意思是“会议记录”,发音为“gijiroku”)被转换为“議事録の送付先”(意思是“会议记录的目的地”,并且发音为“gijiroku-no-souhusaki”)的概率为0.65,并且字符串“技量試”(日文汉字字符,发音为“giryoshi”)被转换为“技量試を決裁”(意思是“批准技术预生产”,并且发音为“giryoshi-wo-kessai”)的概率为0.75。尽管在该示例中,所有转换后字符串都是用汉字书写的,但可以登记汉字字符以外的字符。
虽然已经提出了各种算法来计算概率,但这不是本实施例的特征。因此,在本实施例中省略了用于计算概率的算法的描述。在本实施例中,基于预测的书写方向,以选择概率的降序显示字符串候选。词典数据是独立于语言的,并且可以将任何字符串注册在转换前和转换后的各列中。
(字符串候选显示的操作示例)
图15是示出字符串候选显示区域的操作示例的示意图。更具体地,图15示出通过使用图14A、图14B和图14C所示的词典数据来显示字符串候选的示例。
语言字符串候选、转换字符串候选和预测字符串候选都是通过使用图14A、图14B和图14C所示的词典数据示例获得的转换结果,并且都是通过图9中的S4.8.1.1至S4.8.1.3的处理获得的。所获取的语言字符串候选、转换字符串候选和预测字符串候选被显示为按照选择概率的降序排列的字符串候选。
(S701)是当手写“ぎ”(日语平假名,发音为“gi”)时显示的字符串候选的显示示例。首先,手写识别控制器26执行手写识别以获取“ぎ”。接下来,当手写识别词典单元27使用作为手写识别字符串候选的“ぎ”作为搜索关键词来搜索手写识别词典数据601时,检索到由附图标记604所指示的“議”(日文汉字字符,发音为“gi”)和“技”(日文汉字字符,也发音为“gi”)。检索到的“議”和“技”中的每一个都是语言字符串候选。接下来,当字符串转换词典单元30使用手写识别词典数据601中包括的附图标记604所指示的“議”和“技”作为搜索关键词来搜索字符串转换词典数据602时,检索到“議事録”(意为“会议记录”,发音为“gijiroku”)和“技量試”(日文汉字字符,发音为“giryoshi”)。检索到的“議事録”和“技量試”中的每一个都是转换字符串候选。接下来,当预测转换词典单元32使用字符串转换词典数据602中包括的附图标记607所指示的“議事録”和“技量試”作为搜索关键词来搜索预测转换词典数据603时,检索到由附图标记611指示的“議事録の送付先”(意思是“会议记录的目的地”,并且发音为“gijiroku-no-souhusaki”)和“技量試を決裁”(意思是“批准技术预生产”,并且发音为“giryoshi-wo-kessai”)。检索到的“議事録の送付先”和“技量試を決裁”中的每一个都是预测字符串候选。在本实施例中,手写识别字符串候选被布置为字符串候选的第一候选。手写识别词典数据601中包含的附图标记604所指示的记录中的转换后字符串、字符串转换词典数据602中包含的附图标记607所指示的记录中的转换后字符串、以及预测转换词典数据603中包含的附图标记611所指示的记录中的转换后字符串,作为第二及随后的候选以“概率”的降序排列。结果,显示如(S701)中所示的字符串候选显示。
(S702)是在(S701)中手写添加“し”(日语平假名,发音为“shi”)时显示的字符串候选的显示示例。当以与上面参考(S701)描述的基本相同的方式执行处理时,将“ぎし”(日文平假名字符串,发音为“gishi”)布置为字符串候选的第一候选。手写识别词典数据601中包含的附图标记605所指示的记录中的转换后字符串、字符串转换词典数据602中包含的附图标记608所指示的记录中的转换后字符串、以及预测转换词典数据603中包含的附图标记612所指示的记录中的转换后字符串,作为第二及随后的候选以“概率”的降序排列。结果,显示如(S702)中所示的字符串候选显示。
(S703)是当通过手写将语音发音符号添加到(S702)时显示的字符串候选的显示示例。当以与上面参考(S701)和(S702)描述的基本相同的方式执行处理时,将“ぎじ”(日文平假名字符串,发音为“giji”)布置为字符串候选的第一候选。手写识别词典数据601中包含的附图标记606所指示的记录中的转换后字符串、字符串转换词典数据602中包含的附图标记609和610所指示的记录中的转换后字符串、以及预测转换词典数据603中包含的附图标记613和614所指示的记录中的转换后字符串,作为第二及随后的候选以“概率”的降序排列。结果,显示如(S703)中所示的字符串候选显示。
(S704)是在从(S703)开始的预定时间(例如,在图12的字符串候选删除定时器402的示例中为5秒)内没有选择字符串候选的情况下显示的显示示例。更具体地,在(S704)所示的示例中,手写对象矩形区域503、操作头部520和字符串候选509的显示被消除。此外,当用户在(S703)中的显示上按下“X”图标时,或者当在显示(S703)的同时发生手写对象的改变时,显示(S704)。
(S705)是在显示(S703)中选择“議事録”(日文汉字字符串,意思为“会议记录”,发音为“gijiroku”)作为字符串候选中的一个的情况下所显示的显示示例。更具体而言,在(S705)所示的示例中,手写对象504、手写对象矩形区域503、操作头部520和字符串候选509的显示被消除。此外,当预测的书写方向是水平书写方向时,以基于手写对象的预测的字符大小所选择的预定义字体,从手写对象矩形区域的左上坐标起显示字符串对象“議事録”(日文汉字字符串,意思是“会议记录”,并且发音为“gijiroku”)。当预测的书写方向是垂直书写方向时,以基于手写对象的预测的字符大小所选择的预定义字体,从手写对象矩形区域的右上坐标起显示字符串对象“議事録”(日文汉字字符串,意思是“会议记录”,并且发音为“gijiroku”)。
(预测转换和假名转换的操作示例)
图16是示出预测转换和假名转换的操作示例的图。更具体地,图16示出通过使用图14A、图14B和图14C所示的词典数据来显示字符串候选的示例。
(S801)是当手写“ぎじ”(日语平假名字符串,发音为“giji”)时显示的字符串候选的显示示例。(S801)是与(S703)相同的显示。
(S802)是响应于用户按压操作单元501以切换(S801)的显示的操作而将模式从预测转换模式切换到假名转换模式时显示的字符串候选的显示示例。在假名转换模式中,以选择概率的降序仅显示语言字符串候选。假名转换模式使得能够与转换字符串候选和预测字符串候选无关地显示语言上可能的语言字符串候选。在该示例中,作为手写识别的执行结果的“ぎじ”(日文平假名字符串,发音为“giji”)被布置为字符串候选的第一候选。作为字符串候选的第二和后续候选,手写识别词典数据601中包括的附图标记606所指示的记录中的转换后字符串以“概率”的降序排列。由附图标记606所指示的记录中的转换后字符串是由手写识别词典单元27使用“ぎじ”作为搜索关键词执行的搜索的结果。结果,显示如(S802)中所示的字符串候选显示。
(S803)示出了在(S802)的显示上选择“擬似”(意思是“伪”的日文汉字字符串,发音为“giji”)的情况下显示字符串候选的示例。在该示例中,由于手写的“ぎじ”(日文平假名字符串,发音为“giji”)被转换为“擬似”(日文汉字字符串,意思是“伪”,发音为“giji”),手写对象“ぎじ”被替换为显示字符串对象“擬似”。换句话说,手写对象和矩形区域的显示被消除,以图12所示的预定义控制数据的预测字符大小405的字体显示“擬似”,并且字符串对象矩形区域被显示。接下来,当字符串转换词典单元30和预测转换词典单元32通过使用字符串“擬似”作为搜索关键词来分别搜索字符串转换词典数据602和预测转换词典数据603时,检索到由附图标记610指示的记录中的转换后字符串和由附图标记614指示的记录中的转换后字符串。接下来,当预测转换词典单元32通过使用字符串转换词典数据602中包括的附图标记610指示的记录中的转换后字符串来搜索字符串转换词典数据602时,检索不到任何内容。换句话说,不存在对应于转换字符串候选的预测字符串候选。在本实施例中,手写识别字符串被布置为字符串候选的第一候选。然而,在该示例中,未布置手写字符串,这是因为已经执行了向“疑似”的转换。因此,字符串转换词典数据602中的附图标记610指示的记录中的转换后字符串和预测转换词典数据603中包含的附图标记614指示的记录中的转换后字符串作为字符串候选的第一和后续候选被按照“概率”的降序排列。结果,显示如(S803)中所示的字符串候选显示。
(S804)是在从(S803)开始的预定时间(例如,在图12的字符串候选删除定时器402的示例中为5秒)内没有选择字符串候选的情况下显示的显示示例。更具体地,在(S804)所示的示例中,消除手写对象矩形区域的显示,并且仅保留字符串对象的显示。此外,当用户在(S803)的显示上按下“X”图标时,也显示(S804)。
(S805)是在(S803)的显示上选择作为字符串候选之一的“疑似逆行列”(日文汉字字符串,意思为“伪逆矩阵”,发音为“giji-gyakkoretsu”)的情况下显示的显示示例。更具体地,在(S805)中所示的示例中,字符串对象“疑似”(日文汉字字符串,意思是“伪”,并且发音为“giji”)被替换为“疑似逆行列”(日文汉字字符串,意思为“伪逆矩阵”,并且发音为“giji-gyakkoretsu”),并且字符串对象矩形区域的显示被消除。
(新生成手写对象的示例)
图17A和图17B是用于描述如何新生成手写对象的示例的示意图。在图17A中,“ぎ”(日文平假名字符,发音为“gi”),“し”(日文平假名字符,发音为“shi”)和“じ”(日文平假名字符,发音为“ji”)分别指示手写,虚线框指示手写对象矩形区域911a,实线框指示手写对象附近矩形区域921a。通过使用预定义的控制数据(具体地,手写对象附近矩形区域403),如上参考图12所述地计算手写对象附近矩形区域。
(S901)、(S902)和(S903)示出了在“ぎ”(日文平假名字符,发音为“gi”)的手写对象附近矩形区域921a的内部添加了“じ”(日文平假名字符,发音为“ji”)的示例。更具体地,(S901)示出了在“ぎ”(日文平假名字符,发音为“gi”)的手写对象附近矩形区域921a的内部添加“し”(日文平假名字符,发音为“shi”)的示例。(S902)示出了将手写对象“ぎ”(日文平假名字符,发音为“gi”)和手写对象“し”(日文平假名字符,发音为“shi”)进行合并,并且显示放大的手写对象矩形区域911b的示例。此外,在(S902)的示例中,还显示有放大的手写对象附近矩形区域921b,并且添加语音发音符号。
(S903)示出了将手写对象“ぎし”(日文平假名字符串,发音为“gishi”)与语音发音符号进行合并,由此显示有放大的手写对象矩形区域911c的示例。在显示(S903)的同时用户不执行任何笔操作的情况下,显示字符串候选"ぎじ"(日文平假名字符串,发音为“giji”)。如上所述,当在手写对象附近矩形区域内添加笔画时,将笔画添加到同一手写对象,并且基于添加了笔画的手写对象来显示字符串候选。
在图17B中,(S904)、(S905)和(S906)示出了在“ぎ”(日文平假名字符,发音为“gi”)的手写对象附近矩形区域921a的外部添加“じ”(日文平假名字符,发音为“ji”)的示例。更具体地,(S904)示出了在“ぎ”(日文平假名字符,发音为“gi”)的手写对象附近矩形区域921a的外部添加“し”(日文平假名字符,发音为“shi”)的示例。(S905)示出了其中针对“し”(日文平假名字符,发音为“shi”)新生成手写对象矩形区域912a,并且语音发音符号被添加到“し”的手写对象附近矩形区域922a的内部的示例。(S906)示出了放大“し”的手写对象矩形区域912a,由此显示“じ”(日文平假名字符,发音为“ji”)的手写对象矩形区域912b的示例。在显示(S906)的同时用户不执行任何笔操作的情况下,显示字符串候选“じ”。如上所述,当在手写对象附近矩形区域921a的外部添加笔画时,该笔画被添加到新生成的手写对象矩形区域912a,并且基于新生成的手写对象来显示字符串候选。
(字符大小的自动识别的示例)
图18A、图18B和图18C是示出水平书写字符大小的自动识别的示例的示意图。如上面参照图12所述,通过使用预定义的控制数据(具体地,预测字符大小405),基于手写对象来计算预测字符大小和字体。
在图18A中,(S1001)是其中“技術”(日文汉字字符串,意思是“技术”,发音为“gijutsu”)从大小较小的手写对象“ぎじ”(日文平假名字符串,发音为“giji”)的字符串候选中选择了“技術”(日文汉字字符串,发音为“gijutsu”),并且在手写对象区域1011a的左上方坐标中以相对较小尺寸字体显示“技術”的字符串对象的示例。在图18B中,(S1002)是其中从大小为中等的手写对象“ぎじ”的字符串候选中选择“技術”,并且以相对中等大小的字体显示“技術”的字符串对象的示例。在图18C中,(S1003)是其中从大小较大的手写对象“ぎじ”的字符串候选中选择“技術”,并且以相对较大大小的字体显示“技術”的字符串对象的示例。
在图12所示的预测字符大小405的示例中,由于任何大小的手写对象都使用小型、中型和大型字体之一,因此显示的字符串对象并不总是适合手写对象矩形区域。
图19A、图19B和图19C是示出垂直书写字符大小的自动识别的示例的示意图。在图19A中,(S1101)是其中从大小较小的手写对象“ぎじ”(日文平假名字符串,发音为“giji”)的字符串候选中选择“技術”,并且“技術”(日文汉字字符串,意为“技术”,发音为“gijutsu”)的字符串对象以相对较小尺寸的字体来显示的示例。在图19B中,(S1102)是其中从大小为中等的手写对象“ぎじ”的字符串候选中选择“技術”,并且以相对中等大小的字体显示“技術”的字符串对象的示例。在图19C中,(S1103)是其中从大小较大的手写对象“ぎじ”的字符串候选中选择“技術”,并且以相对较大尺寸的字体来显示“技術”的字符串对象的示例。
(字符串候选显示的显示位置的示例)
图20A、图20B、图20C和图20D是示出字符串候选显示区域的显示位置的示例的示意图。通过使用预定义的控制数据(具体地,预测书写方向/字符大小确定条件404),基于如上参考图12所述的图20A、图20B、图20C和图20D所示的字符串候选显示区域的显示示例中的手写对象来计算预测的书写方向。
在图20A中,(S1201)是当在屏幕上部以外的区域中手写字符并且预测的书写方向是水平书写方向时显示的字符串候选显示的示例。当用户以水平书写方式手写字符时,手写位置下方的区域可能被用户的手臂隐藏。此外,随后的线被添加到当前线以下。因此,为了防止字符串候选被显示在当前手写位置下方,字符串候选被显示在当前手写位置上方。按照从下至上的选择概率的降序来显示字符串候选,以允许用户选择接近手写位置的字符串。
在图20B中,(S1202)是当在屏幕的上部区域附近手写字符并且预测的书写方向是水平书写方向时显示的字符串候选显示的示例。在屏幕上部区域附近,手写位置上方没有空间。因此,字符串候选显示在当前书写位置的下方。因此,按照选择概率的降序从上到下显示字符串候选。
在图20C中,(S1203)是当在屏幕右部以外的区域中手写字符并且预测的书写方向是垂直书写方向时显示的字符串候选显示的示例。当用户以垂直书写方式手写字符时,后面的行会被添加到当前行的右边。因此,为了防止字符串候选被显示在当前手写位置的右边,字符串候选被显示在当前手写位置的左边。按照从左到右的选择概率的降序来显示字符串候选,以允许用户选择接近手写位置的字符串。
在图20D中,(S1204)是当在屏幕的右部区域附近手写字符并且预测的书写方向是垂直书写方向时显示的字符串候选显示的示例。在屏幕的右部附近,手写位置的右边没有空间。因此,字符串候选显示在当前书写位置的左侧。因此,按照选择概率的降序从右到左显示字符串候选。
(手写对象的编辑操作的示例)
图21是示出手写对象的编辑操作的示例的示意图。
(S1301)是当选择手写对象“ぎし”(日文平假名字符串,发音为“gishi”)时显示的编辑框的显示示例。在该示例中,响应于用户长按手写对象的操作来选择手写对象,从而显示编辑框1311。编辑框1311包括表示手写对象矩形区域的虚线框和用于操作的八个正方形。在手写对象矩形区域的四个角处分别显示八个正方形中的四个正方形。另外的四个正方形分别显示在手写对象矩形区域的四条边的中心。当用户在电子笔2500与虚线接触的状态下移动电子笔2500时(以下将该用户的操作称为“拖拽”),在电子笔2500的移动方向上移动手写对象。当用户使用电子笔2500拖拽任一个正方形时,手写对象在电子笔2500的移动方向上变形。当用户拖拽任何一个正方形外的位置时,手写对象将被旋转。
(S1302)是用户使电子笔2500与作为(S1301)中所示手写对象的一部分的“し”(日文平假名字符,发音为“shi”)相接触,然后使电子笔2500以Z字形方式上下移动时的显示示例。在该示例中,该用户以Z字形方式上下移动电子笔2500的操作被检测为用于消除的操作。
(S1303)是在(S1302)的显示中删除“し”的笔画时所显示的显示示例。由于手写对象发生变化,所以显示“ぎ”(日文平假名字符,发音为“gi”)的字符串候选。
(S1304)是在(S1301)所示的手写对象上添加“し”的语音发音符号时所显示的显示示例。由于手写对象发生了改变,因此显示“ぎじ”(日文平假名字符串,发音为“giji”)字符串候选。
<实施例的效果>
如上所述,根据本公开实施例的手写输入设备2是用于在显示器220(显示装置的示例)上显示通过使用电子笔2500(输入装置的示例)对显示器220的屏幕的输入而生成的笔画作为手写对象504的手写输入显示设备。手写输入设备2包括手写输入显示控制器23(显示控制装置的示例),手写输入显示控制器23被配置为当手写对象504在预定时间段内没有改变时使显示器220显示包括手写识别字符串候选506(手写识别候选的示例)在内的字符串候选509,手写识别字符串候选506是通过将手写对象504识别为字符串而得到的。当选择手写识别字符串候选506时,手写输入显示控制器23消除字符串候选509的显示和手写对象504的显示,并且在显示被消除的手写对象504的位置处显示作为由选择的手写识别字符串候选项506所指示的字符串的字符串对象。当在预定时间段内未选择手写识别字符串候选506并且字符串候选509的显示被消除时,手写输入显示控制器23使手写对象504保持被显示。因此,手写输入设备2不必要求用户选择手写识别候选,从而允许用户根据讨论的内容或速度根据需要自由地选择手写和字符串之一。
此外,在根据本公开的实施例的手写输入设备2(手写输入显示设备的示例)中,手写输入显示控制器23(显示控制装置的示例)使显示器220(显示装置的示例)显示包括语言字符串候选(识别转换候选的示例)的字符串候选509,该语言字符串候选是从手写识别字符串候选506(手写识别候选的示例)转换而来的另一个字符串。当选择语言字符串候选时,手写输入显示控制器23消除字符串候选509的显示和手写对象504的显示,并且在曾显示被消除的手写对象504的位置处显示作为由选择的语言字符串候选所指示的字符串的字符串对象。当在预定时间段内未选择语言字符串候选并且字符串候选509的显示被消除时,手写输入显示控制器23使手写对象504保持显示。因此,由于手写输入设备2能够将手写识别结果转换成语言上不具有相关性的另一字符串,因此手写输入设备2能够将手写对象转换成用户的工作场所特有的缩写或业界术语。
此外,在根据本公开的实施例的手写输入设备2(手写输入显示设备的示例)中,手写输入显示控制器23(显示控制装置的示例)使显示器220(显示装置的示例)显示包括转换字符串候选507(识别预测候选的示例)的字符串候选509,该转换字符串候选507是从手写识别字符串候选506(手写识别候选的示例)预测地转换而来。当选择了转换字符串候选507中的一个时,手写输入显示控制器23消除字符串候选509的显示和手写对象504的显示,并且在曾显示被消除的手写对象504的位置处显示字符串对象,该字符串对象是由所选择的一个转换字符串候选507所指示的字符串。当在预定时间段内未选择转换字符串候选507中的任何一个并且字符串候选509的显示被消除时,手写输入显示控制器23使得手写对象504保持显示。因此,由于手写输入设备2能够执行向作为手写识别结果的字符串开始的长字符串的转换,所以可以显著地缩短用于输入这样的长字符串所花费的时间。
此外,在根据本公开的实施例的手写输入设备2(手写输入显示设备的示例)中,手写输入显示控制器23(显示控制装置的示例)使显示器220(显示装置的示例)显示包括字符串/预测转换候选(转换预测候选的示例)的字符串候选509,该字符串/预测转换候选是从转换字符串候选507(识别预测候选的示例)预测地转换而来。当选择字符串/预测转换候选时,手写输入显示控制器23消除字符串候选509的显示和手写对象504的显示,并且在曾显示被消除的手写对象504的位置处显示作为由选择的字符串/预测转换候选所指示的字符串的字符串对象。当没有选择字符串/预测转换候选并且字符串候选509的显示被消除时,手写输入显示控制器23使手写对象504保持显示。因此,由于手写输入设备2能够执行向语言上没有关联性的另一字符串开始的长字符串的转换,因此能够大幅缩短用于输入从用户的工作场所特有的缩写或业界术语开始的这样的长字符串所花费的时间。
上述实施例还公开了以下方面的发明。
附录1:
在上述背景技术中,输入框中的手写对象被识别为字符,并且所识别的字符在当前光标位置处被输入。此外,在上述背景技术中,稍后选择手写区域以将手写转换成字符,并且通过选择清晰复印模式将输入框中的手写转换成字符。然而,在上述任何一种情况下,将执行用于输入字符串的特殊过程。当期望的字符串没有被识别时,将执行更复杂的过程来识别期望的字符串。或者,用户放弃对字符串的识别并且切换到手写输入模式以按原样输入手写字符。
尽管计算机对手写字符的识别率一直在提高,但是仍然经常出现人手写的难以阅读的字符不被识别的情况。因此,上述复杂过程和模式切换可能频繁发生。当目的是干净书写时,如果花时间在这种复杂的过程和模式转换上是没有关系的。然而,当目的是交流时,例如当多个用户聚集在手写输入板周围进行讨论时,用户几乎没有时间进行这种复杂的过程或模式切换。
本公开是针对上述问题做出的。提供了一种方法,该方法在不降低手写输入的速度的情况下自动显示可推荐的手写识别候选,允许用户根据需要从所述手写识别候选中选择字符串,转换成所选择的字符串,并且如果不需要,则允许用户忽略所述手写识别候选并继续所述手写输入。
附录1是一种手写输入显示设备(例如,手写输入设备2),其存储从手写输入单元21获取的数据,该手写输入单元21被配置为以规则间隔发送指示如下内容的通知:即,输入装置落下状态(例如,落笔状态),在该状态中,检测到手写输入设备与手写表面接触;输入装置上升状态(例如,提笔状态),在该状态下,检测到输入装置远离手写表面;以及,用于指示输入装置与手写表面接触的位置的输入坐标,并且所述手写输入显示设备还处理所获取的数据以在显示设备(例如,显示器220)上显示经处理的数据,
其中,所述手写输入显示设备被配置为:
在显示设备上显示与直线或曲线相关的笔画,该笔画是通过在从手写输入单元21通知的输入装置落下状态到输入装置上升状态的时间段内以规则间隔通知的输入坐标之间之间进行插值坐标而获得的;
当在由于一个或多个笔画的改变而改变手写对象时起的预定时间段(例如,五秒)内,在手写对象中没有发生新的变化时,显示通过将手写对象识别为字符串而获得的结果作为多个手写识别字符串候选506(手写识别候选的示例);
当选择了手写识别字符串候选506之一时,消除手写识别字符串候选506的显示和手写对象的显示,并且在曾显示被消除的手写对象的位置处,显示作为手写识别字符串候选506中被选择的一个的字符串的字符串对象;
当在预定时间段内没有选择手写识别字符串候选506中的任何一个时,当进行用于消除手写识别字符串候选506的显示的选择时,或者当发生手写对象的变化时,消除手写识别字符串候选506的显示;并且
当在选择了手写识别字符串候选506之一以外的条件下消除手写识别字符串候选506的显示时,使得手写对象被保持显示。
因此,手写输入显示设备不必要求用户选择手写识别候选,从而允许用户根据讨论的内容或速度根据需要自由地选择手写和字符串之一。
附录2:
在上述附录1中,手写字符串被转换成语言上可能的打印字符串。然而,根据业务类型、公司组织结构和要讨论的内容,有时需要转换成字符串而不是语言转换,例如转换成用户的工作场所特有的或业界术语的缩写。为了解决这个问题,提供了一种能够将每个手写识别候选转换成另一字符串的方法。
附录2是根据附录1所述的手写输入显示设备(例如手写输入设备2),
其中,所述手写输入显示设备被配置为:
将通过将每个手写识别字符串候选506(手写识别候选的示例)转换成另一字符串而获得的结果显示为多个语言字符串候选(识别转换候选的示例);
当选择了语言字符串候选中的一个时,消除作为手写识别字符串候选506和语言字符串候选的字符串候选509(手写识别转换候选的示例)的显示以及手写对象的显示,并且在曾显示被消除的手写对象的相同位置处,显示具有所选择的语言字符串候选作为字符串的字符串对象;
当在预定时间段(例如,5秒)内没有选择字符串候选509中的任何一个时,当作出用于消除字符串候选509的选择时,或者当发生手写对象的变化时,消除字符串候选509的显示;以及
当在选择了字符串候选509之一以外的条件下消除字符串候选509的显示时,使得手写对象被保持显示。
因此,由于手写识别结果被转换为语言上没有相关性的另一个字符串,所以手写对象被转换为用户工作场所特有的缩写或业界术语。
附录3:
在上述附录2中,即使手写字符串是在用户的工作场所中频繁使用的长字符串,用户也需要输入该手写字符串直至末尾。为了解决该问题,提供了一种方法,该方法允许用户选择从每个手写字符串中预测的字符串候选之一,并且将所选择的字符串候选转换为打印字符串。
附录3是根据附录2所述的手写输入显示设备(例如手写输入设备2),
其中,所述手写输入显示设备被配置为:
将能够基于手写识别字符串候选506(手写识别候选的示例)预测的字符串显示为多个转换字符串候选507(识别预测候选的示例);
当选择了转换字符串候选507中的一个时,消除作为手写识别字符串候选506和转换字符串候选507的字符串候选509(手写识别预测候选的示例)的显示以及手写对象的显示,并且在曾显示被消除的手写对象的相同位置处,显示具有转换字符串候选507中的所选择一个作为字符串的字符串对象;
当在预定时间段(例如,5秒)内没有选择字符串候选509中的任何一个时,当作出用于消除字符串候选509的选择时,或者当发生手写对象的变化时,消除字符串候选509的显示;以及
当在选择了字符串候选509之一以外的条件下消除字符串候选509的显示时,使得手写对象被保持显示。
因此,由于执行从作为手写识别结果的字符串开始的长字符串的转换,所以可以显著地缩短用于输入这样的长字符串所花费的时间。
附录4:
在上述附录3中,手写字符串被转换成基于语言上可能的打印字符串可预测的字符串。例如,手写字符串不会被转换为基于用户的工作场所特有的缩写或业界术语可预测的字符串。为了解决这个问题,提供了一种方法,该方法可以将每个手写识别候选转换成另一字符串,并将该另一字符串转换成从该另一字符串预测的字符串。
附录4是根据附录3所述的手写输入显示设备(例如手写输入设备2),
其中,所述手写输入显示设备被配置为:
显示分别包括语言字符串候选(识别转换候选的示例)的长字符串作为多个字符串/预测转换候选508(转换预测候选的示例);
当选择字符串/预测转换候选508之一时,消除作为手写识别字符串候选506(手写识别候选的示例)、语言字符串候选以及字符串/预测转换候选508的字符串候选509(手写识别转换预测候选的示例)的显示,消除手写对象的显示,并且在曾显示被消除手写对象的相同位置处,显示具有字符串/预测转换候选508中所选择的一个作为字符串的字符串对象;
当在预定时间段(例如,5秒)内没有选择字符串候选509中的任何一个时,当作出用于消除字符串候选509的选择时,或者当发生手写对象的变化时,消除字符串候选509的显示;以及
当在选择了字符串候选509之一以外的条件下消除字符串候选509的显示时,使得手写对象被保持显示。
因此,由于进行从语言上没有关联性的另一字符串开始的长字符串的转换,因此能够大幅缩短用于输入从用户的工作场所特有的缩写或业界术语开始的这样的长字符串所花费的时间。
附录5:
在上述附录1至附录4中,选择是否将一个手写对象转换为字符串对象。然而,在使用具有诸如白板的较大手写输入区域的装置的情况下,可能需要多个手写对象和多个字符串对象。为了解决这个问题,提供了一种当当前手写对象与要添加的笔画之间的距离长时可以生成新的手写对象的方法。
附录5是根据附录4所述的手写输入显示设备(例如手写输入设备2),
其中,所述手写输入显示设备被配置为:当要将下一笔画添加到手写对象时并且当手写对象附近矩形区域和笔画矩形区域彼此重叠时,所述手写对象附近矩形区域是通过将手写对象矩形区域放大为包括当前手写对象的每个笔画的最小矩形区域而获得的矩形区域,所述当前手写对象是包括在垂直方向和水平方向上以预定距离最后添加的笔画的手写对象(例如,通过将手写对象矩形区域水平地扩大附录7的预测字符大小的50%和垂直地扩大预测字符大小的80%而获得的区域),笔画矩形区域是包括附加笔画在内的最小矩形区域,该附加笔画是下一步要添加的笔画,将所述附加笔画添加到所述当前手写对象;以及
当手写对象附近矩形区域和笔画矩形区域彼此不重叠时,将附加笔画添加到与所述当前手写对象不同的新手写对象,并且消除作为手写识别字符串候选506(手写识别候选的示例)、语言字符串候选(识别转换候选的示例)、转换字符串候选507(识别预测候选的示例)或字符串/预测转换候选508(转换预测候选的示例)的字符串候选509的显示。
因此,由于执行从语言上没有关联性的另一字符串开始的长字符串的转换,因此能够大幅缩短用于输入用户的工作场所特有的缩写或业界术语开始的这样的长字符串所花费的时间。
附录6:
在上述附录1至附录5中,当在显示多个手写对象和字符串对象的状态下显示字符串候选时,可能难以将特定的手写对象识别为手写识别的目标。为了解决这个问题,提供了一种方法,该方法可以在显示字符串候选时改变作为字符串候选来源的手写对象的矩形区域的显示,并且可以在消除字符串候选的显示时取消该显示的改变。
附录6是根据附录5所述的手写输入显示设备(例如手写输入设备2),
其中,所述手写输入显示设备被配置为:当显示字符串候选509时,改变手写对象矩形区域的显示,并且显示改变后的手写对象的显示;以及当字符串候选509的显示被消除时,取消手写对象矩形区域的显示的改变。
因此,即使在显示多个手写对象和字符串对象时,作为字符串候选的来源的手写对象矩形区域的显示也被改变,当用户选择字符串候选时,用户可以直观地识别哪个手写对象将被转换为字符串对象。
附录7:
在上述附录1至附录4中,没有关于显示字符串对象时的字符大小的描述。然而,在采用每次用户想要改变字符大小时就要求用户执行指定(切换)字符大小的操作的方法的情况下,有时当目的是交流时,考虑到时间,切换操作本身可能是不可接受的。为了解决这个问题,提供了一种方法,该方法能够基于手写对象矩形区域来预测书写方向和字符大小,并且能够从预定义的字体样式和字体大小中自动选择。
附录7是根据附录6所述的手写输入显示设备(例如手写输入设备2),
其中,当选择字符串候选509中的一个并且将字符串候选509中的所选择的一个作为字符串的字符串对象显示在曾显示被消除手写对象的位置处时,
所述手写输入显示设备被配置为:
当在手写对象中首次添加笔画时的时间与最后添加笔画时的时间之间的差等于或长于预定时间段(例如,10秒)时,并且当在作为包括手写对象的最小矩形区域的手写对象矩形区域的水平方向上的距离的水平距离与作为手写对象矩形区域的垂直方向上的距离的垂直距离之间的差等于或长于预定距离(例如,10毫米),并且水平距离长于垂直距离时,将所述垂直距离识别为预测字符大小;
当所述水平距离短于所述垂直距离时,将所述水平距离识别为所述预测字符大小;
将所述预测字符大小与预定义的字体大小(例如,定义为图12所示的预测字符大小405的字体大小(FontSize))进行比较,以自动选择预定义的字体大小之一,其中所述预定义的字体大小是预先定义的多个类型的字体大小;以及
显示具有预定义字体样式(例如,定义为图12中所示的预测字符大小405的字体样式(FontStyle))的所选择的预定义字体大小的字符串对象,该预定义字体样式是预先定义的字体样式。
因此,由于可以通过基于手写对象矩形区域来预测字符大小的方式显示字符串对象,因此省略预先选择字符大小的操作,并且可以直观地指定字符大小。
附录8:在上述附录5至附录7中,没有关于字符串候选的显示位置的描述。当字符串候选的显示与手写方向重叠时,字符串候选可能干扰自由手写。为了解决该问题,提供了一种方法,该方法预测手写对象的书写方向,当预测的书写方向是水平书写方向时,在手写对象的上方或下方显示字符串候选,并且当预测的书写方向是垂直书写方向时,在手写对象的左侧或右侧显示字符串候选。
附录8是根据附录5至附录7中任一项所述的手写输入显示设备(例如手写输入设备2),
其中,所述手写输入显示设备被配置为:
当在手写对象中首次添加笔画时的时间与最后添加笔画时的时间之间的差等于或长于预定时间段(例如,10秒)时,并且当在作为包括手写对象的最小矩形区域的手写对象矩形区域的水平方向上的距离的水平距离相比于作为相对于水平距离在垂直方向上的距离的垂直距离长时,确定所述预测书写方向是所述水平书写方向;
当所述水平距离相比于所述垂直距离短时,确定所述预测书写方向是所述垂直书写方向;
当所述预测书写方向是所述水平书写方向时,在手写对象矩形区域的上方或下方显示字符串候选509;以及
当所述预测书写方向是所述垂直书写方向时,在手写对象矩形区域的左侧或右侧显示字符串候选509。
因此,由于字符串候选可以显示在手写对象的预测书写方向之外,因此允许用户持续手写并根据需要选择字符串候选之一。
附录9:
在上述附录8中,没有关于多个字符串候选的显示顺序的描述。有时,当目的是交流时,考虑到时间,选择字符串候选之一的操作可能是不可接受的。为了解决这个问题,提供了一种能够在最接近手写对象的位置处布置最可能字符串候选的方法。
附录9是指根据附录8所述的手写输入显示设备(例如手写输入设备2),
其中,所述手写输入显示设备被配置为:
当字符串候选509被显示在手写对象矩形区域上方时,以选择概率降序顺序从下至上显示字符串候选,该选择概率降序顺序是每个字符串候选509被选择的概率的降序顺序;
当字符串候选509被显示在手写对象矩形区域下方时,按照选择概率降序顺序从上到下显示字符串候选;
当字符串候选509被显示在手写对象矩形区域的右侧时,按选择概率降序顺序从左到右并排显示字符串候选509;
当字符串候选509被显示在手写对象矩形区域的左侧时,按选择概率降序顺序从右到左并排显示字符串候选509。
因此,由于在预测书写方向上最接近手写对象显示的字符串候选的选择概率较高,因此能够从进行手写的位置通过接近手写的操作来选择字符串候选的概率增大。
附录10:
在上述附录8和附录9中,没有关于字符串候选的书写方向的描述。当目的是交流时,存在期望在短时间内确定字符串候选的情况。为了解决这个问题,提供了一种方法,该方法预测手写对象的书写方向并且在与预测书写方向相同的方向上显示字符串候选,以允许用户在选择字符串候选中的一个之后推定如何显示字符串。
附录10是根据附录8或附录9所述的手写输入显示设备(例如手写输入设备2),
其中,所述手写输入显示设备被配置为:
当字符串候选509被显示在手写对象矩形区域的上方或下方时,以水平书写方式显示字符串候选509;并且
当字符串候选509被显示在手写对象矩形区域的右侧或左侧时,以垂直书写方式显示字符串候选509。
因此,由于字符串候选以与手写对象的预测书写方向相同的方向显示,用户可以响应于选择字符串候选中的一个字符串候选,基于手写对象,直观地识别将显示哪种字符串对象。
附录11:
在上述[附录1]至[附录4]中,没有关于改变已书写的手写对象和显示字符串对象的方法的描述。为了解决这个问题,提供了一种编辑已书写的手写对象和显示字符串候选的方法。
附录11是根据附录5至附录10中任一项所述的手写输入显示设备(例如手写输入设备2),
其中,所述手写输入显示设备被配置为:
选择手写对象;
删除、移动、变形或分割所选择的手写对象;
向所选择的手写对象添加笔画;
删除、移动、变形或分割所选择的手写对象中的笔画;以及
当发生向手写对象添加笔画或者删除、移动、变形或分割手写对象中的笔画时,显示字符串候选509。
因此,由于手写对象可以稍后编辑,所以稍后可以选择性地重新排列手写对象,并可以选择性地将其转换为字符串对象。
附录12:
附录12涉及附录1至附录11中描述的笔画变化的具体示例。
附件12是根据附录1至附录11中任一项所述的手写输入显示设备(例如手写输入设备2),其中,笔画变化是笔画的添加、删除、移动、变形或分割。
上述实施例是说明性的,并不限制本公开内容。因此,根据上述教导,许多附加的修改和变化是可能的。例如,在本公开的范围内,不同说明性实施例的元件和/或特征可以彼此组合和/或彼此替换。
本公开可以以任何方便的形式实现,例如使用专用硬件或专用硬件和软件的组合。本公开可以实现为由一个或多个联网处理装置实现的计算机软件。处理装置可以包括任何适当编程的装置,诸如通用计算机、个人数字助理、移动电话(诸如WAP或3G兼容电话)等。由于本公开可以被实现为软件,因此本公开的每个方面包括可在可编程设备上实现的计算机软件。可以使用任何常规的载体介质(载体装置)将计算机软件提供给可编程设备。载体介质可以包括瞬态载体介质,诸如携带计算机代码的电、光、微波、声学或射频信号。这样的瞬态介质的示例是在诸如互联网的IP网络上携带计算机代码的TCP/IP信号。载体介质还可以包括用于存储处理器可读代码的存储介质,例如软盘、硬盘、CD ROM、磁带设备或固态存储器设备。
所描述实施方式的功能中的每一种可由一个或多个处理电路或电路来实施。处理电路包括编程处理器,正如处理器包括电路。处理电路还包括诸如专用集成电路(ASIC)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)的装置和布置成执行所述功能的常规电路组件。
本专利申请根据35U.S.C.§119(a)基于并要求于2018年6月19日在日本专利局提交的日本专利申请No.2018-116499和2019年5月17日在日本专利局提交的日本专利申请第No.2019-093665的优先权,上述申请的全部内容通过引用包含于此。
附图标记列表
2 手写输入设备(手写输入显示设备的示例)
21 手写输入单元
22 显示单元
23 手写输入显示控制器(显示控制装置的示例)
24 候选显示定时器控制器
25 手写输入存储单元
26 手写识别控制器
27 手写识别词典单元
28 字符串转换控制器
30 字符串转换词典单元
31 预测转换控制器
32 预测转换词典单元
220 显示器(显示设备的示例)
2500 电子笔(输入装置的示例)

Claims (18)

1.一种手写输入显示设备,其使得显示装置将通过使用输入装置进行的输入而生成的笔画作为手写对象显示到所述显示装置的屏幕,所述手写输入显示设备包括:
显示控制装置,其用于在所述手写对象在预定时间段内没有改变时,使得所述显示装置显示包括手写识别候选的字符串候选,该手写识别候选是将所述手写对象识别为字符串的结果,
其中,当所述手写识别候选被选择时,所述显示控制装置使得所述显示装置消除所述字符串候选的显示和所述手写对象的显示,并且使得所述显示装置在曾显示被消除手写对象的位置处,显示作为由选择的手写识别候选所指示的字符串的字符串对象,并且
当在预定时间段内没有执行所述手写识别候选的选择并且所述字符串候选的显示被消除时,所述显示控制装置使得所述手写对象被保持显示。
2.根据权利要求1所述的手写输入显示设备,
其中,所述显示控制装置使得所述显示装置显示包括识别转换候选的所述字符串候选,所述识别转换候选是从所述手写识别候选转换而来的另一字符串,
当所述识别转换候选被选择时,所述显示控制装置使得所述显示装置消除所述字符串候选的显示和所述手写对象的显示,并且使得所述显示装置在曾显示被消除手写对象的位置处,显示作为由选择的识别转换候选所指示的字符串的字符串对象,并且
当在预定时间段内没有执行所述识别转换候选的选择并且所述字符串候选的显示被消除时,所述显示控制装置使得所述手写对象被保持显示。
3.根据权利要求1或2所述的手写输入显示设备,
其中,所述显示控制装置使得所述显示装置显示包括识别预测候选的所述字符串候选,所述识别预测候选是从所述手写识别候选预测地转换所得到的,
当所述识别预测候选被选择时,所述显示控制装置使得所述显示装置消除所述字符串候选的显示和所述手写对象的显示,并且使得所述显示装置在曾显示被消除手写对象的位置处,显示作为由选择的识别预测候选所指示的字符串的字符串对象,并且
当在预定时间段内没有执行所述识别预测候选的选择并且所述字符串候选的显示被消除时,所述显示控制装置使得所述手写对象被保持显示。
4.根据权利要求3所述的手写输入显示设备,
其中,所述显示控制装置使得所述显示装置显示包括转换预测候选的所述字符串候选,所述转换预测候选是从所述识别转换候选预测地转换所得到的,
当所述转换预测候选被选择时,所述显示控制装置使得所述显示装置消除所述字符串候选的显示和所述手写对象的显示,并且使得所述显示装置在曾显示被消除手写对象的位置处,显示作为由选择的转换预测候选所指示的字符串的字符串对象,并且
当没有选择所述转换预测候选并且所述字符串候选的显示被消除时,所述显示控制装置使得所述手写对象被保持显示。
5.根据权利要求1至4中任一项所述的手写输入显示设备,
其中,当要将下一笔画添加到所述手写对象时并且当手写对象附近矩形区域和笔画矩形区域彼此重叠时,所述手写对象附近矩形区域是通过将作为包括由所述手写对象指示的笔画的最小矩形区域的手写对象矩形区域在垂直方向和水平方向上扩大预定距离而获得的矩形区域,所述笔画矩形区域是包括附加笔画的最小矩形区域,该附加笔画是与所述手写对象不同的笔画,所述显示控制装置使得所述显示装置显示添加了所述附加笔画的所述手写对象,并且
当所述手写对象附近矩形区域和所述笔画矩形区域彼此不重叠时,所述显示控制装置使得所述显示装置显示所述附加笔画作为与所述手写对象不同的另一个手写对象,并消除所述字符串候选的显示。
6.根据权利要求5所述的手写输入显示设备,
其中,所述显示控制装置被配置为:
当显示所述字符串候选时,改变所述手写对象矩形区域的显示,并且显示所改变的所述手写对象矩形区域的显示;并且
当所述字符串候选的显示被消除时,取消所述手写对象矩形区域的显示的改变。
7.根据权利要求5或6所述的手写输入显示设备,
其中,所述显示控制装置被配置为:
当首次添加由所述手写对象指示的笔画时的时间与最后添加笔画时的时间之间的差等于或长于预定时间段时,并且当在作为所述手写对象矩形区域的水平方向上的距离的水平距离与作为所述手写对象矩形区域的垂直方向上的距离的垂直距离之间的差等于或长于预定距离时,当所述水平距离长于所述垂直距离时,将所述垂直距离识别为预测字符大小;
当所述水平距离短于所述垂直距离时,将所述水平距离识别为所述预测字符大小;
基于所述预测字符大小从指示多种字体大小类型的预定义字体大小当中选择特定预定义字体大小;并且
使得所述显示装置以预定义字体样式的所述特定预定义字体大小显示所述字符串对象,所述预定义字体样式是预先定义的字体样式。
8.根据权利要求5至7中任一项所述的手写输入显示设备,
其中,所述显示控制装置被配置为:
当首次添加由所述手写对象指示的笔画的时间与最后添加该笔画的时间之间的差等于或长于预定时间段时,并且当作为所述手写对象矩形区域的所述水平方向上的距离的水平距离相比于作为所述垂直方向上的距离的垂直距离长时,确定预测书写方向是水平书写方向;
当所述水平距离相比于所述垂直距离短时,确定所述预测书写方向是垂直书写方向;
当所述预测书写方向是所述水平书写方向时,使得所述显示装置在所述手写对象矩形区域的上方或下方显示所述字符串候选;并且
当所述预测书写方向是所述垂直书写方向时,使得所述显示装置在所述手写对象矩形区域的左侧或右侧显示所述字符串候选。
9.根据权利要求8所述的手写输入显示设备,
其中,所述显示控制装置被配置为:
当所述字符串候选被显示在所述手写对象矩形区域的上方时,使得所述显示装置以选择概率降序顺序从下至上显示所述字符串候选,该选择概率降序顺序是选择所述字符串候选中的每一个的概率的降序顺序;
当所述字符串候选被显示在所述手写对象矩形区域的下方时,使得所述显示装置按照所述选择概率降序顺序从上到下显示所述字符串候选;
当所述字符串候选被显示在所述手写对象矩形区域的右侧时,使得所述显示装置按照所述选择概率降序顺序从左到右显示所述字符串候选;并且
当所述字符串候选被显示在所述手写对象矩形区域的左侧时,使得所述显示装置按照所述选择概率降序顺序从右到左显示所述字符串候选。
10.根据权利要求8或9所述的手写输入显示设备,
其中,所述显示控制装置被配置为:
当在所述手写对象矩形区域的上方或下方显示所述字符串候选时,使得所述显示装置以水平书写方式显示所述字符串候选;并且
当在所述手写对象矩形区域的右侧或左侧显示所述字符串候选时,使得所述显示装置以垂直书写方式显示所述字符串候选。
11.根据权利要求1至10中任一项所述的手写输入显示设备,
其中,当选择所述手写对象并且对所选择的手写对象添加笔画或者发生对所述手写对象中的笔画的删除、移动、变形和分割中的一种时,所述显示控制装置使得所述显示装置显示所述字符串候选。
12.根据权利要求1至11中任一项所述的手写输入显示设备,
其中,所述手写对象的改变是将向所述手写对象添加笔画,或者是所述手写对象中的笔画的删除、移动、变形和分割中的一种。
13.一种手写输入显示方法,其包括:
使用显示装置,将基于输入坐标生成的笔画显示为手写对象,所述输入坐标表示输入装置与手写表面接触的接触位置,在从检测到所述输入装置与所述手写表面接触的输入装置落下状态直至检测到所述输入装置与所述手写表面分离的输入装置上升状态的时间段期间;
在所述手写对象在预定时间段内没有改变时,使用所述显示装置显示包括手写识别候选的字符串候选,该手写识别候选是将所述手写对象识别为字符串的结果;
当选择所述手写识别候选时,使用所述显示装置消除所述字符串候选的显示和所述手写对象的显示;
使用所述显示装置在曾显示被消除手写对象的位置处,显示作为由选择的手写识别候选所指示的字符串的字符串对象;以及
当在预定时间段内没有执行所述手写识别候选的选择并且所述字符串候选的显示被消除时,使得所述手写对象被保持显示。
14.一种存储有使得计算机执行根据权利要求13所述方法的程序的记录介质。
15.一种手写输入显示设备,其使得显示装置将通过使用输入装置进行的输入而生成的笔画显示到所述显示装置的屏幕,所述手写输入显示设备包括:
显示控制装置,其用于在所述笔画在预定时间段内没有改变时,使得所述显示装置显示包括手写识别候选的字符串候选,该手写识别候选是将所述笔画识别为字符串的结果,
其中,当所述手写识别候选被选择时,所述显示控制装置使得所述显示装置消除所述字符串候选的显示和所述笔画的显示,并且使得所述显示装置在曾显示被消除笔画的位置处,显示作为由选择的手写识别候选所指示的字符串的字符串对象,并且
当在预定时间段内没有执行所述手写识别候选的选择并且所述字符串候选的显示被消除时,所述显示控制装置使得所述笔画被保持显示。
16.根据权利要求15所述的手写输入显示设备,
其中,所述显示控制装置使得所述显示装置显示包括识别转换候选的所述字符串候选,所述识别转换候选是从所述手写识别候选转换而来的另一字符串,
当所述识别转换候选被选择时,所述显示控制装置使得所述显示装置消除所述字符串候选的显示和所述笔画的显示,并且使得所述显示装置在曾显示被消除笔画的位置处,显示作为由选择的识别转换候选所指示的字符串的字符串对象,并且
当在预定时间段内没有执行所述识别转换候选的选择并且所述字符串候选的显示被消除时,所述显示控制装置使得所述笔画被保持显示。
17.根据权利要求15或16所述的手写输入显示设备,
其中,所述显示控制装置使得所述显示装置显示包括识别预测候选的所述字符串候选,所述识别预测候选是从所述手写识别候选预测地转换而得到的,
当所述识别预测候选被选择时,所述显示控制装置使得所述显示装置消除所述字符串候选的显示和所述笔画的显示,并且使得所述显示装置在曾显示被消除笔画的位置处,显示作为由选择的识别预测候选所指示的字符串的字符串对象,并且
当在预定时间段内没有执行所述识别预测候选的选择并且所述字符串候选的显示被消除时,所述显示控制装置使得所述笔画被保持显示。
18.根据权利要求17所述的手写输入显示设备,
其中,所述显示控制装置使得所述显示装置显示包括转换预测候选的所述字符串候选,所述转换预测候选是从所述识别转换候选预测地转换而得到的,
当所述转换预测候选被选择时,所述显示控制装置使得所述显示装置消除所述字符串候选的显示和所述笔画的显示,并且使得所述显示装置在曾显示被消除笔画的位置处,显示作为由选择的转换预测候选所指示的字符串的字符串对象,并且
当没有选择所述转换预测候选并且所述字符串候选的显示被消除时,所述显示控制装置使得所述笔画被保持显示。
CN201980040559.8A 2018-06-19 2019-06-12 手写输入显示设备、手写输入显示方法和存储程序的记录介质 Pending CN112313667A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2018-116499 2018-06-19
JP2018116499 2018-06-19
JP2019-093665 2019-05-17
JP2019093665A JP7298290B2 (ja) 2018-06-19 2019-05-17 手書き入力表示装置、手書き入力表示方法およびプログラム
PCT/IB2019/054891 WO2019243954A1 (en) 2018-06-19 2019-06-12 Handwriting input display apparatus, handwriting input display method and recording medium storing program

Publications (1)

Publication Number Publication Date
CN112313667A true CN112313667A (zh) 2021-02-02

Family

ID=69096759

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980040559.8A Pending CN112313667A (zh) 2018-06-19 2019-06-12 手写输入显示设备、手写输入显示方法和存储程序的记录介质

Country Status (4)

Country Link
US (1) US11250253B2 (zh)
EP (1) EP3811290A4 (zh)
JP (1) JP7298290B2 (zh)
CN (1) CN112313667A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113052002A (zh) * 2021-02-05 2021-06-29 广州八爪鱼教育科技有限公司 筛选笔迹采样点的方法、装置、设备及存储介质

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7105210B2 (ja) * 2019-03-26 2022-07-22 富士フイルム株式会社 画像処理方法、プログラム、及び画像処理システム
JP7540190B2 (ja) * 2020-05-08 2024-08-27 ブラザー工業株式会社 編集プログラム
JP7508916B2 (ja) 2020-07-20 2024-07-02 株式会社リコー 表示装置、表示方法およびプログラム
JP7420016B2 (ja) 2020-08-27 2024-01-23 株式会社リコー 表示装置、表示方法、プログラム、表示システム
JP7367639B2 (ja) * 2020-08-31 2023-10-24 株式会社リコー 表示装置、表示方法、プログラム
US11727192B2 (en) * 2021-03-03 2023-08-15 Adobe Inc. Font customization based on stroke properties
JP7384191B2 (ja) 2021-06-29 2023-11-21 株式会社リコー 表示装置、プログラム、領域変更方法
US11487400B1 (en) * 2021-08-13 2022-11-01 International Business Machines Corporation Aggregated multidimensional user interface display with electronic pen for holographic projection
US11720531B2 (en) * 2021-08-23 2023-08-08 Sap Se Automatic creation of database objects
EP4145264A1 (en) * 2021-09-07 2023-03-08 Ricoh Company, Ltd. Display apparatus, carrier means, and display method
CN115033169B (zh) * 2022-05-20 2024-09-13 广州朗国电子科技股份有限公司 一种电子白板触摸屏书写擦除方法、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1159022A (zh) * 1996-02-20 1997-09-10 夏普公司 手写字符输入显示装置
CN101149805A (zh) * 2006-09-19 2008-03-26 北京三星通信技术研究有限公司 利用字符结构信息进行后处理的手写识别的方法和装置
CN101520693A (zh) * 2009-02-27 2009-09-02 汉王科技股份有限公司 一种批量信息快速输入的方法及系统
CN102243570A (zh) * 2010-05-13 2011-11-16 微差通信公司 用于重叠式书写的方法和装置
US20150135065A1 (en) * 2013-11-08 2015-05-14 Kabushiki Kaisha Toshiba Electronic apparatus and method
CN105247540A (zh) * 2013-06-09 2016-01-13 苹果公司 管理实时手写识别
CN107544743A (zh) * 2017-08-21 2018-01-05 广州视源电子科技股份有限公司 一种调整文字的方法、装置及电子设备

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5812697A (en) * 1994-06-10 1998-09-22 Nippon Steel Corporation Method and apparatus for recognizing hand-written characters using a weighting dictionary
JP4669597B2 (ja) 2000-06-27 2011-04-13 シャープ株式会社 手書き文字入力装置
JP3925247B2 (ja) 2002-03-13 2007-06-06 富士通株式会社 実時間枠なしオンライン手書き文字認識装置及びそれを実現するプログラム
US7137076B2 (en) * 2002-07-30 2006-11-14 Microsoft Corporation Correcting recognition results associated with user input
US7487145B1 (en) * 2004-06-22 2009-02-03 Google Inc. Method and system for autocompletion using ranked results
JP2007018290A (ja) 2005-07-07 2007-01-25 Univ Of Tokyo 手書き文字入力表示支援装置及び方法並びにプログラム
JP2007265171A (ja) 2006-03-29 2007-10-11 Toshiba Corp 入力装置およびその方法
CN102164074A (zh) 2011-03-15 2011-08-24 深圳市恒宝通光电子有限公司 以太网sfp电口模块的散热装置
CN102156577B (zh) 2011-03-28 2013-05-29 安徽科大讯飞信息科技股份有限公司 实现连续手写识别输入的方法及系统
CN102184074B (zh) 2011-04-21 2013-01-02 安徽科大讯飞信息科技股份有限公司 键盘输入与手写输入之间自动切换方法及装置
JP2015162088A (ja) 2014-02-27 2015-09-07 株式会社東芝 電子機器、方法及びプログラム
JP6659210B2 (ja) 2014-07-03 2020-03-04 シャープ株式会社 手書入力装置及び手書入力方法
US20170270357A1 (en) * 2016-03-15 2017-09-21 Microsoft Technology Licensing, Llc Handwritten auto-completion
JP2018049502A (ja) 2016-09-23 2018-03-29 株式会社Nttドコモ 情報処理装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1159022A (zh) * 1996-02-20 1997-09-10 夏普公司 手写字符输入显示装置
CN101149805A (zh) * 2006-09-19 2008-03-26 北京三星通信技术研究有限公司 利用字符结构信息进行后处理的手写识别的方法和装置
CN101520693A (zh) * 2009-02-27 2009-09-02 汉王科技股份有限公司 一种批量信息快速输入的方法及系统
CN102243570A (zh) * 2010-05-13 2011-11-16 微差通信公司 用于重叠式书写的方法和装置
CN105247540A (zh) * 2013-06-09 2016-01-13 苹果公司 管理实时手写识别
US20150135065A1 (en) * 2013-11-08 2015-05-14 Kabushiki Kaisha Toshiba Electronic apparatus and method
CN107544743A (zh) * 2017-08-21 2018-01-05 广州视源电子科技股份有限公司 一种调整文字的方法、装置及电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113052002A (zh) * 2021-02-05 2021-06-29 广州八爪鱼教育科技有限公司 筛选笔迹采样点的方法、装置、设备及存储介质
CN113052002B (zh) * 2021-02-05 2024-05-14 广州八爪鱼教育科技有限公司 筛选笔迹采样点的方法、装置、设备及存储介质

Also Published As

Publication number Publication date
EP3811290A4 (en) 2022-03-16
US11250253B2 (en) 2022-02-15
EP3811290A1 (en) 2021-04-28
JP2019220155A (ja) 2019-12-26
JP7298290B2 (ja) 2023-06-27
US20210303836A1 (en) 2021-09-30

Similar Documents

Publication Publication Date Title
CN112313667A (zh) 手写输入显示设备、手写输入显示方法和存储程序的记录介质
RU2667047C2 (ru) Способ обеспечения тактильного эффекта в портативном терминале, машинно-считываемый носитель и портативный терминал
US20160132232A1 (en) Electronic device and method for processing handwritten document data
KR20140064611A (ko) 터치 동작 처리 방법 및 그 전자 장치
EP4411586A2 (en) User device and method for creating handwriting content
US10387033B2 (en) Size reduction and utilization of software keyboards
TWI505155B (zh) 電容和電磁雙模觸摸屏的觸控方法及手持式電子設備
EP2871571A1 (en) Electronic apparatus and method for inputting strings by handwriting
WO2014147722A1 (ja) 電子機器、方法及びプログラム
US20160147436A1 (en) Electronic apparatus and method
US11132122B2 (en) Handwriting input apparatus, handwriting input method, and non-transitory recording medium
US20210365179A1 (en) Input apparatus, input method, program, and input system
CN113961061A (zh) 显示装置、控制方法、存储介质以及信息处理装置
EP3660635A1 (en) Integration of smart tags into handwriting input
WO2022071448A1 (en) Display apparatus, display method, and program
JP6342194B2 (ja) 電子機器、方法及びプログラム
WO2019243954A1 (en) Handwriting input display apparatus, handwriting input display method and recording medium storing program
US20230070034A1 (en) Display apparatus, non-transitory recording medium, and display method
EP4113267A1 (en) Display system, method for performing character recognition, and carrier medium
US11822783B2 (en) Display apparatus, display method, and information sharing system
US20230289517A1 (en) Display apparatus, display method, and non-transitory recording medium
EP4246301A1 (en) Display apparatus, formatting method, carrier means, and information sharing system
JP7268479B2 (ja) 表示装置、プログラム、表示方法
JP2023133111A (ja) 表示装置、表示方法、プログラム
JP2023133110A (ja) 表示装置、表示方法、プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination