CN111814530B - 手写输入装置、手写输入方法、程序以及输入系统 - Google Patents

手写输入装置、手写输入方法、程序以及输入系统 Download PDF

Info

Publication number
CN111814530B
CN111814530B CN202010264495.4A CN202010264495A CN111814530B CN 111814530 B CN111814530 B CN 111814530B CN 202010264495 A CN202010264495 A CN 202010264495A CN 111814530 B CN111814530 B CN 111814530B
Authority
CN
China
Prior art keywords
data
handwriting input
user
handwriting
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010264495.4A
Other languages
English (en)
Other versions
CN111814530A (zh
Inventor
笠谷洁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Publication of CN111814530A publication Critical patent/CN111814530A/zh
Application granted granted Critical
Publication of CN111814530B publication Critical patent/CN111814530B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/30Writer recognition; Reading and verifying signatures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545Pens or stylus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412Digitisers structurally integrated in a display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/28Character recognition specially adapted to the type of the alphabet, e.g. Latin alphabet
    • G06V30/287Character recognition specially adapted to the type of the alphabet, e.g. Latin alphabet of Kanji, Hiragana or Katakana characters

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Character Discrimination (AREA)

Abstract

本发明提供一种手写输入装置,其显示基于接触触摸面板的输入单元的位置手写的笔画数据。所述手写输入装置包括电路,其被配置为实现:用于识别笔画数据并将该笔画数据转换成文本数据的手写识别控制单元;和用于基于所述笔画数据对用户进行认证的认证控制单元;以及显示单元,该显示单元用于当所述认证控制单元确定用户已被成功认证时,显示用于与所述文本数据一起接收签名的显示组件。

Description

手写输入装置、手写输入方法、程序以及输入系统
技术领域
本发明涉及手写输入装置、手写输入方法、程序以及输入系统。
背景技术
在普通计算机控制的白板设备或能够通过手写输入的应用(下文中,称为手写输入装置)中,输入装置限于笔或手指。为此,准备操作菜单,使得用户可以切换用户可使用的诸如改变字符颜色的笔功能的编辑功能和删除字符的编辑功能。通常,可以在笔功能菜单中选择颜色、厚度等,并且可以在编辑功能菜单中选择删除、移动、改变、旋转、剪切、复制、粘贴等(例如,参见未经审查的第2018-026185号日本专利申请)。
未经审查的第2018-026185号日本专利申请公开了一种手写输入装置,其中,通过按下笔按钮来显示颜色设置、透明度设置、厚度设置、线型设置、印章设置和操作设置的菜单。
发明内容
然而,传统的手写输入装置存在登录不容易的问题。换句话说,为了用户登录手写输入装置,例如,必须执行许多操作,不容易输入用户名和密码,并且需要诸如IC卡读取器之类的专用硬件。
考虑到前述内容,本发明旨在提供一种用于容易登录的手写输入装置。
根据本发明的第一方面,提供了一种手写输入装置,其显示基于接触触摸面板的输入单元的位置而手写的笔画数据。所述手写输入装置包括电路,其被配置为:接收手写输入操作,用户通过手写输入操作输入笔画数据;在输入所述笔画数据时,识别笔画数据并将所述笔画数据转换成文本数据,和在显示器上显示随着手写输入操作的进行而识别的笔画数据,和操作指南,所述操作指南包括在输入所述笔画数据时转换的文本数据的一个或多个可选择字符串候选项;基于识别的笔画数据来认证用户;以及显示显示组件,所述显示组件用于在成功认证所述用户时接受所述用户的登录,所述显示器组件显示在所述操作指南中。
附图说明
图1A、图1B和图1C是示出当用户在手写输入装置中签名时的登录操作方法的比较示例的示图。
图2A和图2B是示出手写输入装置的登录的示意图的示图。
图3示出笔的透视图的示例。
图4A、图4B、图4C和图4D示出手写输入装置的整体配置的示例。
图5是手写输入装置的硬件配置图的示例。
图6A和图6B示出手写输入装置和笔的功能。
图7示出了所定义的控制数据的示例。
图8示出手写识别字典单元的字典数据的示例。
图9示出字符串转换字典单元的字典数据的示例。
图10示出预测转换字典单元的字典数据的示例。
图11A和图11B示出由操作命令定义块保持的操作命令定义数据和系统定义数据的示例。
图12示出当存在由手写对象选择的选择对象时的操作命令定义数据的示例。
图13示出由操作命令定义单元保持的用户定义数据的示例。
图14示出由手写签名数据存储单元保持的手写签名数据的示例。
图15示出保存在手写输入存储单元中的手写输入存储数据的示例。
图16A和图16B示出保存在笔ID控制数据存储单元中的笔ID控制数据。
图17示出操作指南和由操作指南显示的可选择候选项的示例。
图18A和图18B示出操作指南的位置和手写对象矩形区域显示的位置之间的关系。
图19示出在手写对象矩形区域显示器上方显示的操作指南。
图20A、图20B、图20C和图20D示出选择对象的指定示例。
图21A和图21B示出当存在手写对象时基于操作命令定义数据显示操作命令候选项的示例。
图22A和图22B示出当存在手写对象时基于操作命令定义数据显示操作命令候选项的示例。
图23A、图23B和图23C示出用于输入90度的角度信息的方法。
图24示出角度信息的另一输入方法。
图25A、图25B和图25C示出登记手写签名数据的方法。
图26示出当用户手写与作为由用户登记的手写签名数据的“Suzuki”相对应的日文字符时显示的操作指南的示例。
图27A和图27B示出改变用户定义数据的方法。
图28是示出手写输入装置显示字符串候选项和操作命令候选项的处理的序列图。
图29是示出手写输入装置显示字符串候选项和操作命令候选项的处理的序列图。
图30是示出手写输入装置显示字符串候选项和操作命令候选项的处理的序列图。
图31是示出手写输入装置显示字符串候选项和操作命令候选项的处理的序列图。
图32是示出手写输入装置显示字符串候选项和操作命令候选项的处理的序列图。
图33是示出手写输入装置显示字符串候选项和操作命令候选项的处理的序列图。
图34是示出手写输入装置显示字符串候选项和操作命令候选项的处理的序列图。
图35示出手写输入装置的另一配置示例。
图36示出手写输入装置的另一配置示例。
图37示出手写输入装置的另一配置示例。
图38示出手写输入装置的另一配置示例。
图39是手写输入系统的系统配置图的示例(第二实施例)。
图40是信息处理系统的硬件配置图的示例。
图41是以块模式示出手写输入系统的功能的功能框图的示例。
图42是示出手写输入装置显示字符串候选项和操作命令候选项的处理的序列图。
图43是示出手写输入装置显示字符串候选项和操作命令候选项的处理的序列图。
图44是示出手写输入装置显示字符串候选项和操作命令候选项的处理的序列图。
图45是示出手写输入装置显示字符串候选项和操作命令候选项的处理的序列图。
图46是示出手写输入装置显示字符串候选项和操作命令候选项的处理的序列图。
图47是示出手写输入装置显示字符串候选项和操作命令候选项的处理的序列图。
图48是示出手写输入装置显示字符串候选项和操作命令候选项的处理的序列图。
图49是示出手写输入装置显示字符串候选项和操作命令候选项的处理的序列图。
具体实施方式
在下文中,作为本发明的实施例的示例,将参照附图描述手写输入装置和由手写输入装置执行的手写输入方法。
<第一实施方式>
<手写输入装置的比较示例>
为了便于描述根据该实施例的手写输入装置,将简要描述登录手写输入装置的比较示例。
图1A、图1B和图1C示出当用户登录手写输入装置2时的登入操作方法的比较示例。图1A示出显示器的操作屏幕101。图1B示出登录屏幕102。图1C示出登录屏幕102和软键盘105的放大图。登录屏幕102包括用户名输入字段103和密码输入字段104。如果用户输入的用户名和密码组合被登记在手写输入装置2中,则手写输入装置2可以在认证成功并且用户被识别的状态下使用。
笔是手写输入装置2的附件。使用笔可以手写字符、数字、符号、字母(在下文中,简称为“字符等”)等。然而,在登录时,用户需要通过操作显示在操作屏幕101上的软键盘105来按下用户名输入字段103和密码输入字段104。软键盘105是能够容易地在双手面朝下的情况下敲击按键的输入设备,并且不是被设计成使得更容易用笔按下显示在操作屏幕101上的软键盘105的每个键。即,软键盘105仅仅是实际键盘的模仿,使得用户即使在没有键盘的设备中也可以进行键输入。
因为在操作屏幕101上显示的软键盘105难以使用,所以用户可以使用IC卡登录,如图1C所示。用户只能通过按下“使用IC卡”按钮106并将IC卡向下保持到IC卡读取器来登录。如果公司已经引入了IC卡,则将可以简单地通过安装IC卡读取器来使用IC卡登录。然而,因为IC卡存储的数据因公司而异,所以在已经引入远程工作系统的公司引入新的IC卡将花费大量金钱。
在手写输入装置2中,仅需要使用可以手写字符等并通过用笔手写登录的事实,但是需要执行额外的操作,诸如使用户显示用于手写以登录的特殊框。换句话说,用户不能在不区分输入字符等和输入手写签名的情况下书写手写。
<登录根据本实施例的手写输入装置的概要>
因此,根据本实施例的手写输入装置2使用与字符等的输入无关地书写的用户名等来认证用户。用户登录的笔画数据(诸如用户名)称为手写签名数据。用户可以通过手写用户名来登录,而不需要任何操作来登录,如在手写的情况下一样。
图2A和图2B是示出根据本实施例的手写输入装置2的登录的示意图的示图。图2A示出了操作屏幕101。首先,当用户登录时,在操作屏幕101上手写用户名。类似于任意字符的手写的情况,用户名是手写的,并且不需要输入指示要进行登录操作的问题或显示登录屏幕。手写签名数据预先登记在手写输入装置2中。
图2B示出了操作指南500的示例。当用户开始手写时,手写输入装置2在手写对象504的下方显示操作指南500。在图2B中,对应于“Suzuki”的日文字符的用户名是手写对象504。
此外,在操作指南500中显示一个或多个可选择候选项530。在图2B中,在可选择候选项530中显示操作命令512(显示组件的示例)和字符串候选项539(稍后描述的手写识别字符串/语言字符串候选项、转换字符串候选项和字符串/预测转换候选项)。在字符串候选项539中,从上到下列出了四个候选项。第一个是日文平假名字符串,读音为“suzuki”,表示姓氏。第二个是日文片假名字符串,读音为“suzuki”,表示姓氏。第三个是日文汉字字符串,读音为“suzuki”,表示姓氏。第四个是日文汉字字符串,读音为“suzuki tarou”,表示全名。操作命令512是用于“手写登录”的操作命令,并且在与先前登记的手写签名数据一致的手写对象504中的对应于“Suzuki(从日文翻译成英语)”的日文字符的用户手写笔画数据的成功认证时显示。换句话说,操作命令512在用户成功认证时被显示。当用户用笔2500等按下操作命令512时,用户可以登录手写输入装置2。如果用户认证不成功,则显示手写对象504的识别结果。
在手写输入装置2中,在操作命令512中提供各种其它操作命令。当来自手写笔画数据的转换后的文本数据与用于调用先前登记的操作命令的字符串部分一致(部分一致或全部一致)时,显示相应的操作命令。也就是说,用户可以调用用于通过手写登录的操作命令512,就像调用其它操作命令时一样。
如上所述,根据本实施例的手写输入装置2可以由用户手写而不区分字符等的输入和手写符号的输入,并且可以由用户手写而不区分各种操作命令和用于登录的操作命令512。
另外,根据本实施例的手写输入装置2不在屏幕上使用软键盘,不添加诸如IC卡之类的专用硬件,并且能够仅通过用户直观的手写来进行用户认证。
<术语>
输入单元可以是可以在触摸面板上手写的单元。一个示例包括笔、人的手指和手以及杆状构件。另外,眼睛注视跟踪是可能。
笔画数据是自由手写的线条。笔画数据具有一组连续的点,并且可以被适当地内插。
操作命令是指示执行准备操作手写输入设备2的特定处理的命令。在本实施例中,例如,例示了编辑系统、修改系统、输入/输出系统以及笔状态下的操作命令。然而,操作手写输入装置2的所有命令,诸如反转屏幕、页面切换和操作模式的设置,都是目标。
手写签名数据是用于通过手写来登录的笔画数据。只要笔画数据被登记在手写签名数据存储单元中,笔画数据就不限于用户名。
登录的术语是指将指示人的身份的信息输入到计算机中以请求连接或开始使用。如果输入信息与保存在计算机上的身份一致,则基于预定授权使计算机能够被使用。登录也称为登入或登陆。
用于接受登录的显示组件可以是为接受登录而显示的软键,并且可以不限于操作命令,而是可以是图标、按钮等。
<笔的外观示例>
图3示出笔2500的透视图的示例。图3中示出的笔2500例如是多功能的。
具有内置电源并且能够向手写输入装置2发送指令的笔2500被称为有源笔(没有电源的笔被称为无源笔)。图3中的钢笔2500在笔尖有一个物理开关,在笔尾有一个物理开关,在笔的侧面有两个物理开关。笔尖是用来写字的,笔尾是用来删除的,而笔的侧面是用来分配用户功能的。在该实施例中,笔具有非易失性存储器并且保存不与另一支笔重复的笔ID。
此外,可以通过使用具有开关的笔来减少手写输入装置2对于用户的操作过程。具有开关的笔主要是指有源笔。然而,没有使用电磁感应模式的内置电源的无源笔只能利用LC电路来产生电力。因此,不仅有源笔而且具有电磁感应模式的无源笔都是适用的。具有除了电磁感应模式开关之外的光学、红外或电容模式开关的笔是有源笔。
笔2500的硬件配置与包括通信功能和微计算机的普通控制方法的硬件配置相同。笔2500可以是电磁感应型、有源静电耦合型等。其还可以具有诸如铅笔压力检测、倾斜检测和悬停功能(在笔触摸之前显示光标)的功能。
<手写输入装置的整体配置>
将参照图4A、图4、图4C以及图4D描述根据本实施例的手写输入装置2的整体配置。图4A至图4C是示出手写输入装置2的整体配置的图。例如,图4A示出了用作具有悬挂在墙上的水平长度的电子黑板的手写输入装置2。
如图4A中所示,在手写输入装置2上安装有作为显示设备示例的显示器220。如图4D中所示,用户U可以使用笔2500向显示器220手动书写字符等(也称为输入或绘图)。
图4B示出了用作悬挂在墙上的纵向电子黑板的手写输入装置2。
图4C示出平放在桌子230上的手写输入装置2。因为手写输入装置2大约1cm厚,所以即使将其平放在普通桌子上,也不需要调整桌子的高度。其也可以很容易地移动。
<手写输入装置的硬件配置>
随后,将参照图5描述手写输入装置2的硬件配置。手写输入装置2具有如图所示的信息处理设备或计算机配置。图5是手写输入装置2的硬件结构图的示例。如图5中所示,手写输入装置2包括CPU(中央处理单元)201、ROM(只读存储器)202、RAM(随机存取存储器)203和SSD(固态驱动器)204。
其中,CPU 201控制整个手写输入装置2的操作。ROM 202保存用于驱动CPU 201的程序和IPL(初始程序加载程序)。RAM 203被用作CPU 201的工作区域。SSD 204保存各种数据,诸如用于手写输入装置2的程序。
手写输入装置2包括显示控制器213、触摸传感器控制器215、触摸传感器216、显示器220、电源开关227、倾斜传感器217、串行接口218、扬声器219、麦克风221、无线通信设备222、红外I/F 223、电源控制电路224、AC适配器225和电池226。
显示控制器213控制和管理屏幕显示,以将输出图像输出到显示器220等。触摸传感器216检测到笔2500或用户的手等(笔或用户的手作为输入单元工作)与显示器220接触。触摸传感器216还接收笔ID。
触摸传感器控制器215控制触摸传感器216的处理。触摸传感器216提供坐标的输入和检测。用于检测该坐标的输入和坐标的方法是,例如,一种方法,其中位于显示器220的上端和下端处的两个光发射和接收设备发射平行于显示器220并且被设置在显示器220周围的反射构件反射的多个红外线,以接收在与光接收元件发射的光相同的光路上返回的光。触摸传感器216将由被对象遮挡的两个光发射和接收设备发射的红外线的位置信息输出到触摸传感器控制器215,并且触摸传感器控制器215指定作为对象的接触位置的坐标位置。触摸传感器控制器215还包括可以与笔2500无线通信的通信单元215a。例如,当以诸如蓝牙(“蓝牙”是注册商标)的标准进行通信时,可以使用市面上可买到的笔。当在通信单元215a中预先登记了一个或多个笔2500时,用户可以与手写输入装置2通信,而无需执行使笔2500与手写输入装置2通信的连接设置。
电源开关227是用于将手写输入装置2的电源切换为ON/OFF的开关。倾斜传感器217是检测手写输入装置2的倾斜角度的传感器。主要地,手写输入装置2用于检测在图4A、图4B或图4C的安装状态下是否使用手写输入装置2,并且可以根据安装状态自动改变字母等的厚度。
串行接口218是与诸如USB的外部设备的通信接口。串行接口218用于输入来自外部源的信息。扬声器219用于音频输出,麦克风221用于音频输入。无线通信设备222与用户携带的终端通信,并中继例如与互联网的连接。无线通信设备222经由Wi-Fi、蓝牙(“蓝牙”是注册商标)等进行通信,但是不具体要求通信标准。无线通信设备222形成接入点,并且当用户向用户携带的终端设置SSID(服务集标识符)和密码时,无线通信设备222可以连接到接入点。
无线通信设备222优选地设置有两个接入点。
a.接入点→互联网
b.接入点→内部网络→互联网
接入点a用于外部用户,这些用户不能访问内部网络,但可以使用互联网。接入点b用于内部用户,并且这些用户可以使用内部网络和互联网。
红外I/F 223检测相邻的手写输入装置2。可以使用红外线的直线传播来检测相邻手写输入装置2。优选地,红外I/F 223优选地被一个接一个地设置在每一侧上,并且可以检测另一手写输入装置2的哪个方向相对于手写输入装置2而设置。相邻手写输入装置2可以显示过去已经手写的手写信息(在一个显示器220的大小为一页的另一页上的手写信息)。
电源控制电路224控制AC适配器225和作为手写输入装置2的电源的电池226。AC适配器225将商用电源所共享的交流电流转换为DC。
在所谓的电子纸的情况下,显示器220消耗很少的电力或者不消耗电力以在呈现图像之后维持该图像,使得其也可以由电池226驱动。结果,即使在诸如户外场所的难以连接电源的场所,也可以将手写输入装置2用于诸如数字签名的应用。
此外,手写输入装置2包括总线210。总线210是用于电连接诸如图5中所示的CPU201的组件的地址总线、数据总线等。
触摸传感器216不限于光学类型。可以使用各种检测单元,例如其中通过感测电容的变化来指定接触位置的静电电容型触摸面板、其中通过两个相对的电阻膜的电压变化来指定接触位置的电阻膜型触摸面板、以及其中检测当接触对象接触显示单元时产生的电磁感应并且指定接触位置的电磁感应类型的触摸面板。触摸传感器216可以是不需要电子笔来检测是否存在尖端处的触摸的方法。在这种情况下,指尖和笔形条可以用于触摸操作。笔2500不需要是细长的笔类型。
<手写输入装置的功能>
接下来,将参照图6A和图6B描述手写输入装置2和笔2500的功能。图6A是以块形状示出手写输入装置2的功能的功能框图的示例。手写输入装置2包括手写输入单元21、显示单元22、手写输入显示控制单元23、候选显示定时器控制单元24、手写输入存储单元25、手写识别控制单元26、手写识别字典单元27、字符串转换控制单元28、字符串转换字典单元29、预测转换控制单元30、预测转换字典单元31、操作命令识别控制单元32、操作命令定义单元33、笔ID控制数据存储单元36、手写签名认证控制单元38和手写签名数据存储单元39。手写输入装置2的每个功能都是所实现的功能或单元,其中图5所示的组件之一根据从SSD204部署到RAM 203的程序通过来自CPU 201的指令来操作。
手写输入单元21由触摸传感器216等实施,并且接收来自用户的手写输入并接收笔ID。手写输入单元21将用户的笔输入d1转换成具有笔ID的笔操作数据d2(抬笔、下笔或笔坐标数据),并将转换后的数据发送到手写输入显示控制单元23。将笔坐标数据作为离散值进行周期性地发送,并且计算离散值之间的坐标以便进行内插。
显示单元22由显示器220等实施,以显示手写对象或操作菜单。显示单元22将手写输入显示控制单元23写入视频存储器中的绘图数据d3转换为与显示器220的特性相对应的数据,并将转换后的数据发送到显示器220。
手写输入显示控制单元23执行手写输入和显示的总体控制。手写输入显示控制单元23处理来自手写输入单元21的笔操作数据d2,并通过将笔操作数据d2发送到显示单元22来显示该笔操作数据d2。将参照图28至图34详细描述笔操作数据d2的处理和笔画的显示,这将在后面进行描述。
候选显示定时器控制单元24是可选择候选项的显示控制定时器。通过启动或停止定时器来生成用于开始可选择候选项的显示的定时和用于删除可选择候选的显示的定时。可选择候选项是在稍后描述的操作指南中可选择地显示的手写识别字符串/语言字符串候选项、转换字符串候选项、字符串/预测转换候选项和操作命令候选项。候选显示定时器控制单元24从手写输入显示控制单元23接收定时器开始请求d4(或者可以是定时器停止请求),并且将超时事件d5发送到手写输入显示控制单元23。
手写输入存储单元25具有用于存储用户数据(手写对象/字符串对象)的存储功能。手写输入存储单元25从手写输入显示控制单元23接收用户数据d6-1,并将该数据保存在手写输入存储单元25中。手写输入存储单元25从手写输入显示控制单元23接收获取请求d6-2,并发送保存在手写输入存储单元25中的用户数据d7。手写输入存储单元25将确定对象的位置信息d36发送到操作命令识别控制单元32。
手写识别控制单元26是用于执行在线手写识别的识别引擎。与普通OCR(光学字符读取器)不同,与用户的笔操作并行地,识别字符(不仅用日文而且用英语和其他多种语言)、数字、符号(%、$、&等)和图形(线、圆、三角形等)。已经设计了用于识别方法的各种算法,但是在本实施例中,由于可以使用众所周知的技术,因此省略了细节。
手写识别控制单元26从手写输入显示控制单元23接收笔操作数据d8-1,并执行手写识别以保持候选手写识别字符串。手写识别控制单元26保持使用手写识别字典单元7从手写识别字符串候选项d12转换而来的语言字符串候选项。同时,当从手写输入显示控制单元23接收到获取请求d8-2时,手写识别控制单元26将保持的手写识别字符串候选项和语言字符串候选项d9发送到手写输入显示控制单元23。
手写识别字典单元27是用于手写识别的语言转换的字典数据。手写识别字典单元27从手写识别控制单元26接收手写识别字符串候选项d12,将手写识别字符串候选项转换成语言上固定的语言字符串候选项d13,并且将该转换发送到手写识别控制单元26。例如,在日文中,平假名被转换成汉字或片假名。
字符串转换控制单元28控制转换字符串候选项向字符串的转换。转换字符串是很可能生成的字符串,包括手写识别字符串或语言字符串。字符串转换控制单元28从手写识别控制单元26接收手写识别字符串和语言字符串候选项d11,使用字符串转换字典单元29将手写识别字符串和语言字符串候选项d11转换成转换字符串候选项,并保持这些转换字符串候选项。当从手写输入显示控制单元23接收到获取请求d14时,将保持转换字符串候选项d15发送到手写输入显示控制单元23。
字符串转换字典单元29是用于字符串转换的字典数据。字符串转换字典单元29从字符串转换控制单元28接收手写识别字符串和语言字符串候选项d17,并将转换字符串候选项d18发送到字符串转换控制单元28。
预测转换控制单元30从手写识别控制单元26接收手写识别字符串和语言字符串候选项d10,并且从字符串转换控制单元28接收转换字符串候选项d16。预测转换控制单元30使用预测转换字典单元31将手写识别字符串、语言字符串候选项和转换字符串候选项转换为预测字符串候选项。预测字符串候选项是很可能生成的字符串,包括手写识别串、语言串或转换串。当从手写输入显示控制单元23接收到获取请求d19时,预测字符串候选d20被发送到手写输入显示控制单元23。
预测转换字典单元31是用于预测转换的字典数据。预测转换字典单元31从预测转换控制单元30接收手写识别字符串、语言字符串候选项和转换字符串候选项d21,并将预测字符串候选项d22发送到预测转换控制单元30。
操作命令识别控制单元32从手写识别控制单元26接收手写识别字符串和语言字符串候选项d30,并从字符串转换控制单元28接收转换字符串候选项d28。操作命令识别控制单元32从预测转换控制单元30接收预测串候选项d29。操作命令识别控制单元32将操作命令转换请求d26分别发送到用于手写识别字符串、语言字符串候选项、转换字符串候选项和预测字符串候选项的操作命令定义单元33,并从操作命令定义单元33接收操作命令候选项d27。操作命令识别和控制单元32保持操作命令的候选项d27。
当操作命令转换请求d26与操作命令定义部分一致时,操作命令定义单元33将操作命令的候选项d27发送到操作命令识别控制单元32。
操作命令识别控制单元32从手写输入显示控制单元23接收笔操作数据d24-1。操作命令识别控制单元32将过去输入的确定对象的位置信息获取请求d23发送到手写输入存储单元25。操作命令识别控制单元32保持由笔操作数据指定的确定对象作为选择对象(包括位置信息)。操作命令识别控制单元32指定满足笔操作数据d24-1的位置和预定标准的选择对象。另外,当从手写输入显示控制单元23接收到获取请求d24-2时,将被指定为所保持的操作命令的候选项的选择对象d25发送到手写输入显示控制单元23。
笔ID控制数据存储单元36保持笔ID控制数据(也可以称为存储单元)。在手写输入显示控制单元23将显示数据发送到显示单元22之前,笔ID控制数据存储单元36将笔ID控制数据d41发送到手写输入显示控制单元23。手写输入显示控制单元23在与笔ID相关联地保存的操作条件下绘制显示数据。此外,在手写识别控制单元26执行手写识别之前,笔ID控制数据存储单元36将笔ID控制数据的角度信息d44发送到手写识别控制单元26,并且手写识别控制单元26利用与笔ID相关联地保存的角度信息旋转笔画以执行手写识别。
在手写识别控制单元26识别出用于在用户手动书写字符等时设置角度信息的直线之后,手写识别控制单元26将笔ID控制数据的角度信息d43发送到笔ID控制数据存储单元36,以保存与笔ID相对应的角度信息d43。在手写输入显示控制单元23执行用于设置角度信息的操作命令之后,手写输入显示控制单元23将笔ID控制数据d42发送到笔ID控制数据存储单元36,并且保存与笔ID相对应的操作命令(由用户设置的角度信息)的执行结果。此后,将笔ID的笔画与所设置的角度信息一起旋转,并且执行手写识别。手写识别控制单元26将顺时针旋转了笔ID控制数据的角度信息的笔画数据d49发送到手写签名认证控制单元38。由此,能够与用户的位置(向手写输入装置2的手写方向)无关地进行手写签名的认证。
手写签名数据存储单元39保持手写签名数据。当手写签名数据存储单元39从手写签名认证控制单元38接收到手写签名数据获取请求d45时,手写签名数据存储单元39将手写签名数据d46发送到手写签名认证控制单元38。手写签名数据的格式取决于手写签名认证控制单元38中用于手写签名认证的算法。将参照图14对手写签名数据存储单元39的数据进行说明。
当从手写识别控制单元26接收到顺时针旋转的笔画数据d49时,手写签名认证控制单元38将手写签名数据获取请求d45发送到手写签名数据存储单元39,并且手写签名数据存储单元39将手写签名数据d46发送到手写签名认证控制单元38。
手写签名认证控制单元38基于手写签名数据对用户进行认证。已经设计了用于基于手写签名数据的用户认证的各种算法,但是在本实施例中,使用能够以不妨碍实际使用的识别率进行识别的技术。例如,创建包括构成手写签名数据的诸如坐标、涂刷压力、书写笔画的时间等元素的特征向量,并且对这些元素进行加权,然后将包括登记的签名数据的特征向量与登录时用户的手写姓名等的特征向量进行比较。当一致度大于或等于阈值时,确定为认证成功。当其低于所述阈值时,确定为认证不成功。
手写签名认证控制单元38保持作为笔画数据d49和手写签名数据d46之间的比较结果的手写签名的认证结果,并且当从手写输入显示控制单元23接收到获取请求d48时,将所保持的手写签名的认证结果d47发送到手写输入显示控制单元23。手写签名的认证结果包括笔画数据d49和手写签名数据d46是否被认为一致,如果笔画数据d49和手写签名数据d46被认为一致则包括与一致的手写签名数据d46相关联的稍后描述的签名Id。
当手写识别控制单元26的手写识别结果符合指示执行手写签名登记的操作命令时,手写识别控制部26从手写输入存储单元25获取输入到手写签名登记表(如下所述输入了手写签名数据的框)的数据d52,并将该数据d52的手写签名数据d50发送到手写签名认证控制单元38。手写签名认证控制单元38将接收到的手写签名数据d50发送到手写签名数据存储单元39进行登记。
当利用取消手写签名或登记的指令执行手写识别控制单元26的手写识别结果时,手写识别控制单元26将手写签名登记表的删除请求d51发送到手写输入存储单元25,并且从手写输入存储单元25删除手写签名登记。
当指示手写识别控制单元26的手写识别结果执行用户定义数据改变时,手写识别控制单元26从手写输入存储单元25获取输入到用户定义数据改变表的数据d53。手写识别控制单元26将数据d53的改变值D54发送到操作命令定义单元33以改变用户定义数据。将在图13中描述用户定义数据。
当手写识别控制单元26的手写识别结果执行取消或登记用户定义数据改变表的指令时,手写识别控制单元26将用户定义数据改变表的删除请求d55发送到手写输入存储单元25,并从手写输入存储单元25删除该用户定义数据改变表。
图6B是以块形状示出笔2500的功能的功能框图。笔2500包括笔事件发送单元41。笔事件发送单元41将附带了笔ID的抬笔、下笔和笔坐标事件数据发送到手写输入装置2。
<定义控制数据>
接下来,将参照图7描述由手写输入装置2用于各种处理的定义控制数据。图7示出了所定义的控制数据的示例。图7的示例每个控制项的控制数据。
可选择候选显示定时器401定义直到显示可选择候选项为止的时间(第一时间的一个示例)。这是因为在手写期间不显示可选择候选项。在图7中,意味着除非在从抬笔起500ms的TimerValue内发生下笔,否则显示可选择候选项。
可选择候选显示定时器401由候选显示定时器控制单元24保持。在图30的步骤S18-2中的可选择候选显示定时器的启动时使用可选择候选显示定时器401,这将在下面进行描述。
可选择候选删除定时器402定义直到删除所显示的可选择候选项为止的时间(第二时间的一个示例)。当用户没有选择可选择候选项时,删除可选择候选项。在图7中,删除可选择候选显示数据,除非从可选择候选项的显示中在TimerValue=5000[ms]内选择了可选择候选项。可选择候选删除定时器402由候选显示定时器控制单元24保持。在图32的步骤S64中,在可选择候选显示删除定时器的启动时使用可选择候选删除定时器402。
手写对象附近的矩形区域403定义被认为是手写对象附近的矩形区域。在图7的示例中,手写对象附近的矩形区域403将手写对象的矩形区域水平扩展估计字符大小的50%,并且将垂直矩形区域垂直扩展估计字符大小的80%。在图7所示的示例中,使用百分比(%)指定估计字符大小。然而,如果单位是“mm”等,则长度可以是固定的。手写对象相邻的矩形区域403由手写输入存储单元25保持。在图29的步骤S10中使用所估计的字符大小405来确定手写对象附近的矩形区域和笔画矩形区域的重叠状态。
估计书写方向/字符大小确定条件404定义用于确定书写方向和字符大小测量方向的常数。在图7的示例中,当在手写对象矩形区域的开始处添加笔画的时间与添加最后一个笔画的时间之间的差为MinTime=1000[ms]或更大,并且手写对象矩形区域的水平距离(宽度)与垂直距离(高度)之间的差为MinDiff=10[mm]或更大时,并且水平距离比垂直距离长时,所估计的书写方向是“水平”并且所估计的字符大小是垂直距离。如果水平距离短于垂直距离,则意味着所估计的书写方向是“垂直”,并且所估计的字符大小是水平距离。如果不满足上述条件,则所估计的字符方向为“水平”(DefaultDir=“水平”),并且所估计的字符大小为水平距离和垂直距离之间的较长距离。估计书写方向/字符大小确定条件404由手写输入存储单元25保持。在图32的步骤S59中的估计书写方向获取中和在图34的步骤S81中的字符串对象字体获取中使用估计书写方向/字符大小确定条件404。
估计字符大小405定义用于估计字符等的大小的数据。在图7的示例中,表示将由估计书写方向/字符大小确定条件404确定的估计字符大小与估计字符大小405的较小字符405a(以下称为最小字体大小)和较大字符405c(以下称为最大字体大小)进行比较。如果估计的字符大小小于最小字体大小,则估计的字符大小被确定为最小字体大小。如果估计的字符大小大于最大字体大小,则估计的字符大小被确定为最大字体大小。否则,字符大小被确定为中等字符405b。估计字符大小405由手写输入存储单元25保持。在图34的步骤S81中的串对象字体获取中使用估计字符大小405。
具体地,手写输入存储单元25在将由估计书写方向/字符大小确定条件404确定的估计字符大小与估计字符大小405的字体大小进行比较时使用最接近大小的字体。例如,当估计的字符大小是25[mm](较小字符的FontSize)或更小时,使用“较小字符”。当估计字符大小为25mm或更大但50mm(中间字符的字体大小)或更小时,使用“中间字符”。当估计的字符大小大于100mm(较大字符的FontSize)时,使用“较大字符”。
“较小字符”405a使用Mincho类型25mm字体(字体样式=“Mincho类型”字体大小=“25mm”),“中等字符”405b使用Mincho类型50mm字体(字体大小=“Mincho类型”字体=“50mm”),“较大字符”405c使用哥特类型100mm字体(字体大小=“哥特类型”字体=“100mm”)。如果要增加字体大小或样式类型,则增加估计字符大小405的类型。
跨线确定条件406定义用于确定是否已选择多个对象的数据。手写对象由单个笔画来描绘,并且在图7所示的示例中,如果手写对象的长边的长度为100[mm]或更大(MinLenLongSide=“100mm”),则短边的长度为50[mm]或更小(MaxLenShortSide=“50mm”),并且长边和短边与手写对象的重叠率为80[%]或更大(MinOverLapRate=“80%”),则确定要选择多个对象作为选择对象。操作命令识别控制单元32保持跨线确定条件406。在图31的步骤S50中的选择对象的确定中使用跨线确定条件406。
周围线确定条件407定义用于确定对象是否是包围线(周围线)的数据。在图7的示例中,操作命令识别控制单元32将手写对象的长边方向和短边方向的重叠率为100%以上(MinOverLapRate=“100%”)的确定对象确定为选择对象。周围线确定条件407由操作命令识别控制单元32保持。在图31的步骤S50中确定选择对象的包围线确定中使用周围线确定条件407。
可以优先确定跨线确定条件406和周围线确定条件407两者。例如,当跨线确定条件406放宽时(更容易选择跨线时),在严格制定了周围线确定条件407时(当其被设置为只能选择周围线的值时),操作命令识别控制单元32也可以优先考虑周围线确定条件407。
<字典数据的示例>
将参考图8至图10来描述字典数据。图8是手写识别字典单元27的字典数据的示例。图9是字符串转换字典单元29的字典数据的示例。图10是预测转换字典单元31的字典数据的示例。顺便说一下,这些字典数据中的每一个在图31的步骤S33至S42中使用。
在本实施例中,图8的手写识别字典单元27的字典数据的转换结果被称为语言字符串候选项,图9的字符串转换字典单元29的字典数据的转换结果被称为转换字符串候选项,并且图10的预测转换字典单元31的字典数据的转换结果被称为预测字符串候选项。
每个字典数据的“转换前”表示搜索字典数据的字符串,“转换后”表示与要搜索的字符串相对应的转换之后的字符串,“概率”表示用户选择的概率。根据用户过去选择每个串的结果来计算概率。
因此,可以为每个用户计算概率。已经设计了各种算法来计算概率,但是其可以以适当的方式来计算,并且将省略细节。根据本实施例,从所估计的书写方向按照所选择的概率降序来显示字符串候选项。
在手写识别字典单元27的图8所示的字典数据中,手写日文平假名字符“gi(如将第654排“转换前”的日文翻译成英文)”表示日文汉字字符“gi(如将排654的其中之一上排中“转换后”中的日文翻译成英文“会议”)”的概率为0.55,并且表示日文汉字字符“gi(如将排654的其中之一下排中“转换后”中的日文翻译成英文“tech”)”的概率为0.45。此外,手写日文平假名字符串“gishi”(如将排(行,row)655的“转换前”中的日文翻译成英文)表示日文汉字字符串“gishi”(如将排655的其中之一上排中“转换后”中的日文翻译成英文“技术资格”)”的概率为0.55,并且表示日文汉字字符串“gishi(如将排655的其中之一下排中“转换后”中的日文翻译成英文“技术工程师”)”的概率为0.45。这同样适用于“转换前”中的其他字符串。在图8的“转换前”栏中,日文字符串是日文平假名。然而,这些字符串可以不是日文和日文平假名。在图8的“转换后”栏中,日文字符串为日文汉字或片假名。然而,这些字符串可以不是日文、日文汉字和日文片假名。类似地,作为示例,排655和656表示以所列概率从日文平假名字符串转换成日文汉字或片假名字符串。
在图9所示的字符串转换字典单元29的字典数据中,将日文汉字字符串“gi(如将排657的其中之一上排中“转换前”中的日文翻译成英文“会议”)”转换成与“会议记录”对应的日文汉字字符串“gi-jiroku”的概率为0.95。此外,日文汉字字符串“gi(如将排657的其中之一下排中“转换前”中的日文翻译成英文“tech”)”被转换成与“技术技能测试”相对应的日文字符串“gi-ryoushi”的概率为0.85。这同样适用于转换前的其他字符串。类似地,作为示例,排658、659和660表示以所列概率从日文汉字或平假名字符串转换成日文汉字字符串。
在图10所示的预测转换字典单元31的字典数据中,将日文汉字字符串“gi-jirokoku(如将排611的其中之一上排中“转换前”中的日文翻译成英文“会议记录”)”转换成与英文“会议记录的传输目的地”相对应的日文字符串“gi-jirokunosoufusaki”的概率为0.65。此外,日文汉字字符串“gi-ryoushi(如将排661的其中之一下排中“转换前”中的日文翻译成英文“技术技能测试”)”被转换成与“技术技能测试获得批准”相对应的日文字符串“gi-ryoushiwokessai”的概率为0.85。在图10的示例中,以类似于图8和图9的方式,排661、662、663及664表示以所列概率从日文汉字字符串转换成日文汉字、平假名和/或片假名字符串。转换前的所有字符串都是日文汉字字符串,但也可以登记汉字字符串以外的字符串。转换后的所有字符串都是日文汉字、平假名和/或片假名字符串,但是可以登记除日文以外的字符串,诸如中文、德文、葡萄牙文等其他语言,并且可以登记日文汉字、平假名和/或片假名字符串。
字典数据与语言无关,并且可以在转换之前和之后登记任何字符串。
<操作命令定义单元保持的操作命令定义数据>
接下来,将参考图11A、图11B和图12来描述由操作命令识别控制单元32使用的操作命令定义数据。图11A和图11B示出由操作命令定义单元33保持的操作命令定义数据和系统定义数据的示例。
图11A示出操作命令定义数据的示例。图11A所示的操作命令定义数据是当不存在由手写对象选择的选择对象时操作命令定义数据的示例,并且操作手写输入装置2的所有操作命令都是有针对性的。图11A中所示的操作命令定义数据701至716中的每一个具有操作命令名(Name)、与字符串候选项(String)部分一致的字符串、以及要执行的操作命令串(Command)。参考图11A,在操作命令定义数据701中,Name=读音为日文“gi-jirokutenpuretowo yomikomu”的日文字符串被翻译成英文“阅读会议记录模板”;String=读音为日文“gi-jiroku”的日文字符串被翻译成英文“会议记录”;并且String=读音为日文“tenpureito”的日文字符串被翻译成英文“模板”。类似地,在操作命令定义数据702中,Name=读音为日文“Gi-jikoku forudani hozonnsuru”的日文字符串被翻译成英文“保存在会议记录文件夹中”;String=读音为日文“gi-jiroku”的日文字符串被翻译成英文“会议记录”;并且String=读音为日文“hozon”的日文字符串被翻译成英文为“保存”。此外,在操作命令定义数据703中,Name=读音为日文“insatsu suru”的日文字符串被翻译成英文“打印”;String=读音为日文“insatsu”的日文字符串被翻译成英文“打印”;并且String=读音为日文“purinto”的日文字符串被翻译成英文“打印”。此外,在操作命令定义数据709中,Name=读音为日文“hosopen”的日文字符串被翻译成英文“细笔”;String=读音为日文“hoso”的日文字符串被翻译成英文“细”;String=读音为日文“pen”的日文字符串被翻译成英文“笔”。此外,在操作命令定义数据710中,Name=读音为日文“futopen”的日文字符串被翻译成英文“粗笔”;String=读音为日文“futo”的日文字符串被翻译成英文“粗”;String=读音为日文“pen”的日文字符串被翻译成英文“笔”。此外,在操作命令定义数据711中,Name=读音为日文“maaka”的日文字符串被翻译成英文“标记”;String=读音为日文“maaka”的日文字符串被翻译成英文“标记”;String=读音为日文“pen”的日文字符串被翻译成英文“笔”。此外,在操作命令定义数据712中,Name=读音为日文“tekisutohoukouwosoroeru”的日文字符串被翻译成英文“对齐文本方向”;String=读音为日文“tekisuto”的日文字符串被翻译成英文“文本”;String=读音为日文“muki”的日文字符串被翻译成英文“取向”;并且String=读音为日文“houkou”的日文字符串被翻译成英文“方向”。此外,在操作命令定义数据713中,Name=读音为日文“tegaki sain touroku suru”的日文字符串被翻译成英文“手写签名登记”;String=读音为日文“sain”的日文字符串被翻译成英文“签名”;String=读音为日文“touroku”的日文字符串被翻译成英文“登记”。此外,在操作命令定义数据714中,Name=读音为日文“tegaki sain suru”的日文字符串被翻译成英文“手写登录”。此外,在操作命令定义数据715中,Name=读音为日文“tegaki sain auto suru”的日文字符串被翻译成英文“手写退出”;String=读音为日文“sain”的日文字符串被翻译成英文“签名”;并且String=读音为日文“auto”的日文字符串被翻译成英文“出”。此外,在操作命令定义数据716中,Name=读音为日文“settei henkou suru”的日文字符串被翻译成英文“改变设置”;String=读音为日文“settei”的日文字符串被翻译成英文“设置”;并且String=读音为日文“henkou”的日文字符串被翻译成英文“改变”。操作命令串中的“%...%”为变量,并且与图11B中所示的系统定义数据相关联。换句话说,“%-%”被图11B所示的系统定义数据替换。
首先,操作命令定义数据701表示操作命令的名称(Name)为“Gi-jirokutenpuretowo yomikomu”,英文翻译为“阅读会议记录模板”,与字符串候选项部分一致的字符串为“会议记录”或“模板”,并且要执行的操作命令字符串为“ReadFile https://%username%:%password%@server.com/templates/minute.pdf”。在该示例中,“%...%”系统定义数据包括在要执行的操作命令字符串中,并且“%username%”和“%password%”可以分别被系统定义数据704和705替换。因此,最后的操作命令字符串是“ReadFilehttps://taro.tokkyo:x2PDHTyS@server.com/template/minute.pdf”,表示文件“https://taro.tokkyo:x2PDHTyS@server.com/minute.pdf”被读取(ReadFile)。
操作命令定义数据702表示操作命令的名称(Name)为“Gi-jikoku forudanihozonnsuru”,英文翻译为“保存在会议议事录文件夹中”,与字符串候选项部分一致的字符串为“记录”或“保存”,并且要执行的操作命令字符串为“WriteFile https:/%username%:%password%@server.com/minute/%machinename%_%yyyyy-mm-dd.pdf”。与操作命令定义数据701类似,操作命令字符串中的“%username%”、“%password%”和“%machinename%”分别被系统定义数据704、705和706替换。“%yyyy-mm-dd%”将由当前日期替换。例如,如果当前日期为2018年9月26日,则其将被替换为“2018-09-26”。最后操作命令是“WriteFile https://taro.tokkyo:
x2PDHTyS@server.com/mintes/%My-Machine_2018-09-26.pdf”,表示会议记录将保存在文件“https://taro.tokkyo:
x2PDHTyS@server.com/%minute/%My-Machine_2018-09-26.pdf”中(WriteFile)。
操作命令定义数据703指示操作命令的名称是“要打印的”,与字符串候选项部分一致的字符串是“打印”或“打印的”,要执行的操作命令字符串是“PrintFile
https:/%username%:%password%@server.com/print/%machiname%-%yyyy-mm-dd%.pdf”。如果如操作命令定义数据702中那样替换操作命令字符串,则要执行的最终操作命令是“PrintFile https://taro.tokkyo:x2PDHTyS@server.com/print/%My-Machine_2018-09-26.pdf”,表示打印文件“https://taro.tokkyo:x2PDHTyS@server.com/print/%My-Machine_2018-09-26.pdf”(PrintFile)。也就是说,该文件被发送到服务器。用户允许打印机与服务器通信,并且当指定文件时,打印机将文件的内容打印在纸上。
如上所述,因为可以从字符串候选中识别操作命令定义数据701至703,所以用户可以通过手写来显示操作命令。如果用户认证成功,则在用户信息中替换操作命令定义数据的“%username%”、“%password%”等,从而可以与用户相关联地执行文件的输入和输出。
如果不执行用户认证(包括认证失败但用户可以使用手写输入装置2的情况,认证失败),则手写输入装置2替换手写输入装置2的预定“%username%”、“%password%”。因此,即使没有用户认证,也能够进行与手写输入装置2相对应的文件的输入和输出。
操作命令定义数据709、710和711是改变笔状态的操作命令。笔状态也可以被称为笔类型。操作命令定义数据709、710和711的名称(“名称”)分别是“细笔”、“粗笔”和“标记”。与字符串候选项一致的字符串(“String”)分别是“细”、“笔”、“粗”、“笔”、“标记”或“笔”。操作命令字符串(“命令”)为“ChangePen fine”、“ChangePen bold”或“ChangePen marking”。当执行该操作命令时,笔状态被保存在笔ID控制数据存储单元6中,使得用户可以在所设置的笔状态下手写笔画。
操作命令定义数据712是用于在恒定方向上对准文本数据的取向的操作命令。操作命令定义数据712的操作命令名称为“对齐文本方向”、“取向”或“方向”,操作命令字符串为“AlignTextDirection”。用户在垂直方向以外的方向上书写的文本数据在方向上非常稀疏,以至于难以从一个方向读取所有内容。当用户执行操作命令定义数据712时,手写输入装置2在相同方向(例如,在垂直方向)上对齐被识别为手写的字符串。在此,对齐的意思是通过角度信息旋转文本数据。
操作命令定义数据713指示操作命令的名称是“用手写签名登记”,与字符串候选项部分一致的字符串是“签名”和“登记”,操作命令字符串是“RegisterSignature”。当执行RegisterSignature命令时,将手写签名登记表添加到手写输入存储单元25,并且在操作屏幕101上显示手写签名登记表。稍后将描述手写签名登记表的示例(参见图25A、图25B和图25C)。
操作命令定义数据714指示对于字符串候选项和部分位置处的字符串,操作命令名称是“%signature%”并且操作命令是“Signin”。这里,“%signature%”是用于系统定义数据的保留字,并且表示登记的手写签名数据与诸如用户名的笔画数据相符的事实。即,当相符时,基于操作命令定义数据714的操作命令512被显示在操作指南500中(参见图2A、图2B和图26)。
当执行Singin命令时,在手写诸如用户名之类的笔画数据的笔2500的笔ID控制数据中保存的是具有适配手写签名数据的SignatureId的用户的AccountID。这使得笔ID与笔ID相关联。然后,手写输入装置2可以使用由该AccountId指定的用户定义数据,供手写输入装置2使用(参见图16A)。
操作命令定义数据715指示操作命令名称是“手写退出”,与字符串候选项部分一致的字符串是“签名”或“退出”,并且操作命令是“Signout”。当执行Signout命令时,从操纵手写退出的笔2500的笔ID控制数据中删除AccountID。这消除了笔ID和AccountID之间的关联,以使得任何用户都能够使用笔2500。
操作命令定义数据716指示操作命令“改变设置”的名称、与字符串候选项部分一致的字符串是“设置”或“改变”,并且操作命令是“ConfigSettings”。当执行ConfigSettings命令时,用户定义数据改变表被添加到手写输入存储单元25,并且用户定义数据改变表被显示在操作屏幕101上。稍后描述用户定义数据改变表(参见图27A和图27B)。
接下来,将描述当存在手写对象时的操作命令定义数据,即,用于编辑系统和修改系统的操作命令定义数据。图12示出当存在由手写对象选择的选择对象时的操作命令定义数据的示例。图12的操作命令定义数据具有操作命令名称(名称)、作为操作命令候选项的组名(组)和要执行的操作命令字符串(命令)。
操作命令定义数据707定义编辑系统的操作命令(组=“编辑”),并且是编辑系统中的操作命令“擦除”、“移动”、“旋转”和“选择”的定义数据的示例。即,针对选择对象显示这些操作命令,并且这些操作命令允许用户选择期望的操作命令。
操作命令定义数据708定义修改系统的操作命令(组=“修饰”),并且修改系统的操作命令被定义为操作命令“粗”、“细”、“大”、“小”和“下划线”的示例。针对选择对象来显示这些操作命令,这些操作命令允许用户选择期望的操作命令。另外,可以显示颜色动作命令。
因此,通过用户用手写对象选择选择对象,操作命令定义数据707和708被识别,使得用户可以手动书写以显示操作命令。
<用户定义数据>
接下来,将参考图13来描述用户定义数据。图13示出由操作命令定义单元33保持的用户定义数据的示例。图13中的用户定义数据是针对单个用户定义的数据的示例。用户定义数据717中的“AccountId”是自动分配给每个用户的用户标识信息;“AccountUsername”和“AccountPassword”是用户名和密码;“SignatureId”是在手写签名数据登记时自动分配的手写签名数据的标识信息;并且“username”、“password”和“machinename”是在操作命令定义数据701至703中,而不是在系统定义数据704至706中,设置的字符串。这允许使用用户定义数据来执行操作命令。
在用户手写用户名并登录的情况下,在执行操作命令时使用的是用户定义数据的字符串,该用户定义数据具有基于笔ID、AccountId和笔ID控制数据之间的关联与笔2500的笔ID相关联的AccountId(参见图16A)。在用户退出之后,即使使用用户用于登录的笔2500,在执行操作命令时也使用系统定义数据的字符串。
用户定义数据718是在用户定义数据改变表中使用的数据。名称是用户定义数据717的AccountUsername、AccountPassword、用户名、密码或机器名的项目名称,数据是AccountUsername、AccountPassword、用户名、密码或机器名的改变值。在该示例中,“名称”的数据是“%AccountName%”,“密码”是“%AccountPassword%”,“文件夹用户名”是“%username%”,“文件夹密码”的数据是“%machiname”,分别对应于用户定义数据717的项目。在用户定义数据717中反映输入在用户定义数据改变表中的这些项目。
<手写签名数据>
接下来,将参考图14来描述手写签名数据。图14示出由手写签名数据存储单元39保持的手写签名数据的示例。手写签名数据包括表示与SignatureId相关联的手写签名的数据。SignatureId是在登记手写签名数据时自动分配的标识信息,并且由手写签名认证控制单元38的手写签名认证算法根据从手写签名认证控制单元38接收的笔画数据来计算Data。
<手写输入存储单元保存的手写输入存储数据>
接下来,将参考图15来描述手写输入存储数据。图15示出了保存在手写输入存储单元25中的手写输入存储数据的示例。图15中的一排表示笔画。一个手写输入存储数据具有以下项目:DataID、Type、PenId、Color、Width、Pattern、Angle、AccountID、StartPoint、StartTime、Endpoint、Endtime、Point和Pressure。
DataID是笔画的标识信息。Type是笔画的一种类型。类型包括Stroke、Group和Text。手写输入存储数据801和802的类型是Stroke,手写输入存储数据803的类型是Group。Group是指组成一组其它笔画,并且类型为Group的手写输入存储数据将笔画指定为组。PenId、Color、Width、Pattern、Angle和AccountId是以下描述的笔ID控制数据。StartPoint是笔画的起始点坐标,StartTime是笔画的起始时间。EndPoint是笔画的端点坐标,EndTime是笔画的结束时间。Point是从起始点到结束点的坐标列,Pressure是从起始点到结束点的涂刷压力。如Angle所示,手写输入存储数据804和805被示出为在手写识别之前分别顺时针旋转180度和270度。输入存储数据802和805指示该数据是由用户定义数据的AccountId=1的用户输入的。
<保存在笔ID控制数据存储单元中的笔ID控制数据>
接下来,将参考图16A和图16B来描述笔ID控制数据。图16A和图16B是用于解释保存在笔ID控制数据存储单元36中的笔ID控制数据的图。图16A中的每排表示一支笔的笔ID控制数据之一。图16B是示出用户对手写输入装置2进行手写时的角度信息的图。角度信息可以是在用户存在的方向上的角度、在使用笔的方向上的角度、或与用户手写的字符的旋转相关的角度。以手写输入装置2的预定方向(例如,垂直方向)为0度(标准),每个用户的角度信息是逆时针45度、90度、135度、180度、225度、270度和315度。
用户角度信息是当手写输入装置2平放时用户相对于手写输入装置2的位置。即,关于用户角度的信息是关于位置的信息。从手写输入装置2来看,可以识别用户在哪个方向上。除了角度信息之外,可以将从手写输入装置2观看的方向模拟为时钟,可表示为:0度:6点钟方向;45度:4点钟方向和5点钟方向;90度:3点钟方向;135度:1点钟方向和2点钟方向;180度:12点钟方向;225度:10点钟方向和11点钟方向;270度:9点钟方向;315度:7点钟方向和8点钟方向。
角度信息不是由用户的位置自动确定的,并且每个用户输入(指定)角度信息。可以指定的角度信息(图16B中为45度)的分辨率仅为一个示例且可较小,例如5度到30度。然而,如果字符被旋转大约45度,则用户可以读取它们。
笔ID控制数据包括PenId、Color、Width、Pattern、Angle和AccountId。
PenId是保存在笔内的标识信息。Color是为这支笔设置的笔画颜色(用户可以任意改变它)。Width是为这支笔设置的笔画的宽度(用户可以任意改变它)。Pattern是为这支笔设置的笔画的线条类型(用户可以任意改变它)。Angle是为这支笔设置的笔画的角度信息(用户可以任意改变它)。在图16A的示例中,每个笔的角度信息是逆时针0度、90度、180度和270度。AccountId是用户的标识信息。通过将笔ID与AccountId相关联,可以指定与用户使用的笔2500的笔ID相关联的AccountId,并且可以使用用户定义数据来执行操作命令。
笔ID控制数据901是笔ID为1的控制数据。颜色是黑色(Black),厚度是1像素(1px),图案是实心(Solid),角度信息是0度,并且AccountId=1。AccountId=1的用户是图13的用户定义数据717的用户。指示该用户用具有笔ID=1的笔通过手写用户名等登录。没有AccountId的笔ID控制数据指示退出状态(不与用户相关联)。
类似地,笔ID控制数据902的笔ID为2。颜色是黑色的。厚度为1个像素。图案涂得很牢固。角度信息是90度。AccountId不存在。
笔ID控制数据903的笔ID为3。颜色是黑色的。其有10个像素厚。图案是实心的。角度信息为180度。AccountId不存在。
笔ID控制数据904是黑色的。其有10个像素厚。图案是半色调网点。角度信息是270度。AccountId不存在。
这些数据用于图28的步骤S5(获取笔ID控制数据)、图30的步骤S20(存储笔ID控制数据的角度信息)、图30的步骤S21(获取笔ID控制数据的角度信息)、图32的步骤S60(获取笔ID控制数据)以及图34的步骤S88(存储笔ID控制数据的角度信息)。
<可选择候选项的示例>
图17是操作指南和由操作指南显示的可选择候选项530的示例。用户手写手写对象504(由于可选择候选显示定时器的超时),从而显示操作指南500。操作指南500包括操作头部520、操作命令候选项510、手写识别字符串候选项506、转换字符串候选项507、字符串/预测转换候选项508和手写对象矩形区域显示503。可选择候选项530包括操作命令候选项510、手写识别字符串候选项506、转换字符串候选项507和字符串/预测转换候选项508。该示例包括即使不存在语言转换字符串也可以显示语言转换字符串的情况。除了操作命令候选项510之外的可选择候选项530被称为字符串候选项539。
操作头部520具有按钮501、509、502和505。按钮501接受预测转换和假名转换之间的切换操作。在图17的示例中,当用户按下表示“预测”的按钮501时,手写输入单元21收到该按下,并将其通知给手写输入显示控制单元23,显示单元22将显示变更为表示“假名”的按钮501。在从预测转换到假名转换的改变之后,字符串候选项539以“假名转换”的概率降序排列。
按钮502执行候选显示上的页面操作。在图17的示例中,候选显示页为3页,当前显示第一页。按钮505接收操作指南500的删除。当用户按下按钮505时,手写输入单元21接收该按下并且向手写输入显示控制单元23通知该按下,并且显示单元22删除除手写对象之外的显示。按钮509接受集体显示删除。当用户按下按钮509时,手写输入单元21接收该按下并且向手写输入显示控制单元23通知该按下。显示单元22包括手写对象并且删除图17中所示的所有显示。用户可以从一开始就手写。
手写对象504是用户手写的日文平假名字母“Gi(作为日文平假名字母的罗马字符)”。显示围绕手写对象504的手写对象矩形区域显示503。在图28至图34的序列图中示出了用于显示的过程。在图17的示例中,手写对象矩形区域显示503以虚线框显示。
手写识别字符串候选项506、转换字符串候选项507和字符串/预测转换候选项508中的每一个以概率降序排列。对应于“Gi(作为在图17所示的手写识别字符串候选项506中指示的日文平假名字母的罗马字符)”的日文平假名字母是识别结果的候选项。在该示例中,日文平假名字母“Gi(作为日文平假名字母的罗马字符)”被正确地识别。
转换字符串候选项507是从语言字符串候选项转换而来的转换字符串候选项。在转换字符串候选项507的下一行中,日文汉字字符串“技术技能系统”是“技术技能测试产生”的缩写。字符串/预测转换候选项508是从语言字符串候选项或转换字符串候选项转换而来的预测串候选项。在该示例中,在字符串/预测转换候选项508中显示与“技术技能测试被批准”和“会议记录的发送目的地”相对应的日文字符串。
操作命令候选项510是基于图11A的操作命令定义数据701-703和709-716选择的操作命令的候选项。在图17所示的示例中,每行首字母511“》”表示随后的字符串是操作命令。在图17中,不存在与作为手写对象504的“Gi(读音为日文“Gi”)”相对应的日文平假名字母以及与作为与图11A中所示的操作命令定义数据701和702部分一致的“Gi”的字符串候选项的“会议记录(读音为日文“Gi-jiroku”)”相对应的日文汉字字符串要选择的选择对象,并且被显示为操作命令候选项510。
当用户选择与“读取会议记录模板”相对应的日文字符串时,执行由操作命令定义数据701定义的操作命令。当用户选择与“保存在会议议事录文件夹中”相对应的日文字符串时,执行由操作命令定义数据702定义的操作命令。如上所述,仅当找到包括转换后的字符串的操作命令定义数据时才显示操作命令候选项。因此,操作命令候选项不总是被显示。
如图17中所示,因为字符串候选项和操作命令候选项被同时(一起)显示,所以用户可以选择要由用户输入的字符串候选项或操作命令。
<操作指南位置与手写对象矩形区域显示位置之间的关系>
显示单元22在与笔画数据的位置相对应的位置处显示包括文本数据的操作指南500。显示单元22基于笔画数据的位置在屏幕内的位置处显示包括文本数据的操作指南500。因此,操作指南500的位置由笔画数据的位置确定。
图18A和图18B示出操作指南的位置和手写对象矩形区域显示的位置之间的关系。首先,操作指南500的宽度A和高度H1是恒定的。手写对象矩形区域显示503的右端与操作指南500的右端一致。
手写对象矩形区域显示表示503的宽度B由用户书写的手写对象504的长度确定。在图18A中,因为手写对象矩形区域显示503的水平宽度B对应于一个字符并且A>B,所以如下计算操作指南500的左上角P的坐标(x0,y0)。手写对象矩形区域显示503的左上角Q的坐标是(x1,y1)。手写对象矩形区域显示503的高度由H2表示。
x0=x-(A-B)
y0=y1+H2
同时,如图18B所示,当手写对象矩形区域显示的宽度B大于宽度A时,如下计算操作指南500的左上角P的坐标(x0,y0)。
x0=x1+(B-A)
y0=y1+H2
顺便说一句,尽管图18A示出了手写对象矩形区域显示503下方的操作指南500,操作指南500可以显示在手写对象矩形区域显示503上方。
在图19中,在手写对象矩形区域显示503的上方显示操作指南500。x1的计算方法与图18A的计算方法相同。图18A和图18B是示出操作指南的位置和手写对象矩形区域显示的位置之间的关系的图。首先,操作指南500的宽度A和高度H1是恒定的。手写对象矩形区域显示503的右端与操作指南500的右端一致。
手写对象矩形区域显示503的宽度B由用户书写的手写对象504的长度确定。在图18A中,因为手写对象矩形区域显示503的水平宽度B对应于一个字符并且A>B,所以如下计算操作指南500的左上角P的坐标(x0,y0)。手写对象矩形区域显示503的左上角Q的坐标是(x1,y1)。假定手写对象矩形区域显示503的高度为H2。
x0=x1-(A-B)
y0=y1+H2
同时,如图18B所示,当手写对象矩形区域显示的宽度B大于宽度A时,如下计算操作指南500的左上角P的坐标(x0,y0)。
x0=x1+(B-A)
y0=y1+H2
顺便说一句,尽管图18A和图18B示出了手写对象矩形区域显示503下方的操作指南500,操作指南500可以显示在手写对象矩形区域显示503上方。
图19示出在手写对象矩形区域显示503的上方显示操作指南500。x1的计算方法与图18A和图18B的计算方法相同,但是y0的计算方法改变。
y0=y1-H1
操作指南500可以显示在手写对象矩形区域显示503的右侧或左侧。此外,如果用户在显示结束时手写以使得在操作指南500中没有显示空间,则在显示空间所在的一侧显示操作指南500。改变了0的计算方法。
<指定选择对象的示例>
在本实施例中,手写输入装置2可以由用手选择确定对象的用户指定选择对象。选择对象可进行编辑或修改。
图20A至图20D是示出选择对象的指定示例的图的示例。在图20A至图20D中,在手写对象11中显示黑色实直线,在手写对象中显示灰色阴影区域12,在确定对象13中显示黑色直线,并且在选择对象的矩形区域14中显示虚直线。符号上附加有小写字母以进行区分。另外,作为用于将确定对象确定为选择对象的确定条件(是否存在预定关系),可以使用图7所示的定义控制数据的跨线确定条件406或周围线确定条件407。
图20A示出了用户使用跨线(手写对象11a)指定水平书写的两个确定对象13a和13b的示例。在该示例中,因为矩形区域12a的短边的长度H1和长边的长度W1满足跨线确定条件406的条件,并且与确定对象13a和13b的重叠率满足跨线确定条件406的条件,确定对象13a和13b的对应于“会议记录(读音为日文“Gi-ji-roku”)”的日文汉字字符串和对应于“Gi-ji(读音为日文“Gi-ji”)”的日文平假名字符串都被指定为选择对象。
图20B示出了水平书写中的确定对象13c由包围线(手写对象11b)指定的示例。在该示例中,仅确定对象13c被指定为选择对象,该确定对象13c是“会议记录”,其中该确定对象13c和手写对象矩形区域12c的重叠率满足周围线确定条件407的条件。
图20C是由垂直书写的多个确定对象13d和13e指定跨线(手写对象11c)的示例。在该示例中,如图20A所示,手写对象矩形区域12d的短边的长度H1和长边的长度W1满足跨线确定条件406的条件和两个确定对象13d和13e的重叠率,分别对应于“会议记录(读音为日文“Gi-ji-roku”)”的日文汉字字符串和对应于“Gi-ji(读音为日文“Gi-ji”)”的日文平假名字符串满足跨线确定条件406的条件。因此,“记录”和“Gi-ji”两者的确定对象13d和13e被指定为选择对象。
图20D是由周围线(手写对象11d)指定垂直书写的确定对象13f的示例。在该示例中,如图20B中,仅将对应于“会议记录”的日文汉字字符串的确定对象13f指定为选择对象。
<显示操作命令候选项的示例>
图21A和图21B示出了当存在图12中所示的手写对象时基于操作命令定义数据的操作命令候选项的显示示例。图21A是编辑系统中的操作命令候选项,并且图21B是修改系统中的操作命令候选项。图21A示出其中选择对象被指定为图20A中的手写对象11a的示例。
如图21A和图21B中所示,主菜单550列出了在“》”的每行首字母511之后显示的操作命令候选项。主菜单550显示操作命令定义数据中的最后执行的操作命令名称或第一操作命令名称。第一行上的“》”的首字母的511a表示作为编辑操作命令候选项的编辑系统的操作命令,而第二行上的“》”的首字母511b表示修改系统的操作命令。
每个行尾字母“>”512a和512b表示存在子菜单(子菜单按钮的示例)。该主菜单550的第一行的行尾字母512a示出编辑系统中的操作命令候选项的(最终选择的)子菜单。主菜单550的第二行的行尾字母512b示出了修改系统的操作命令候选的子菜单。当用户点击行尾字母“>”512a和512b时,向右出现子菜单560。子菜单560显示操作命令定义数据中定义的所有操作命令。图21A的显示示例还示出了当显示主菜单时对应于行尾字母“>”512a的子菜单560。其可通过按下第一行上的行尾字母“>”512a来显示。
当用户按下笔中的任何操作命令名称时,手写输入显示控制单元23执行与用于选择对象的操作命令名称相关联的操作命令定义数据的命令。
即,选择“删除”521时就“删除”,选择“移动”522时就“移动”,选择“旋转”523时就“旋转”,选择“选择”524时就“选择”。
例如,如果用户用笔按下“删除”521,则可以删除“会议记录”和“gi-ji”,“移动”522、“旋转”523和“选择”524能够显示边界框(选择对象的外矩形),“移动”522和“旋转”523通过拖动笔能够分别执行移动或旋转,并且“选择”524能够执行其他边界操作。
除了操作命令候选项“-”541、“-,”542、“~”543、“→”544和双线箭头状“→”545之外的字符串候选项是跨线(手写对象11a)的识别结果。如果用户想要输入字符串而不是操作命令,则可以选择字符串候选项。
在图21B中,子菜单560通过点击第二行中的“>”512b来显示。在图21B中示出的显示示例中还显示主菜单550和子菜单560。基于图12的操作命令定义数据,手写输入显示控制单元23针对选择对象在选择了“粗”531的情况下执行“粗”,在选择了“细”532的情况下执行“细”,在选择了“大”533的情况下执行“大”,在选择了“小”534的情况下执行“小”、并且在选择了“下划线”535的情况下执行“下划线”。
此外,分别定义了以下预设值:当选择“厚”531时要形成多厚、当选择“薄”532时要形成多薄、当选择“大”533时要形成多大、当选择“小”534时要形成多小、当选择“下划线535”时要形成线类型等。或者,当选择图21B的子菜单时,可以打开选择菜单以允许用户进行调整。
当用户用笔按下“粗”531时,手写输入显示控制单元23使形成对应于“会议记录”和“会议”的日文字符串的确定对象13a和13b的线变粗。当用笔按下“细”532时,形成对应于“会议记录”的日文字符串和“会议”的直线可以通过手写输入显示控制单元23变窄。当用笔按下“大”533时,手写输入显示控制单元23能够放大日文字符串,当用笔按下“小”534时,手写输入显示控制单元23能够缩小日文字符串。当用笔按下“下划线”535时,手写输入显示控制单元23能够将下划线添加到日文字符串。
图22A和图22B示出了当存在图12中所示的手写对象时基于操作命令定义数据的操作命令候选项的显示示例。图22A和图22B与图21A和图21B的差异在于,选择对象是在图20B所示的手写对象11b(周围线)中指定的。从图21A和图22B的比较中可以看出,根据手写对象是线还是周围线,所显示的操作命令候选没有差别。当指定选择对象时,手写输入显示控制单元23在显示单元22上显示操作命令候选项。然而,允许改变识别手写对象的操作命令候选并响应于手写对象显示该候选操作命令。在这种情况下,如图12所示的操作命令定义数据与所识别的手写对象(-、○等)相关联。
在图22A和图22B中,“○”551、“∞”552、“0”553、“00”554和“□”555是除了操作命令候选项以外的字符串候选项,是周围线(手写对象11b)的识别结果,并且如果用户想要输入字符串而不是操作命令,则可以选择字符串候选项。
<角度信息的输入的示例>
接下来,将参考图23A、图23B和图23C描述用于输入角度信息的方法。图23A、图23B和图23C是示出角度信息的输入方法的图的示例。图23A、图23B和图23C示出了存在于手写输入装置2的3点钟方向上的用户输入角度信息的情况。因为从3点钟方向的手写字符在顺时针旋转90度时被正确地识别,所以应该输入90度的角度信息。
图23A示出了由于存在于手写输入装置2的3点钟方向上的用户在笔ID控制数据的角度信息为0度(初始值)的状态下手写与英文字符“会议”相对应的日文字符“Gi”而显示操作指南500的状态。因为手写输入装置2在角度信息为0度时从3点钟的方向识别手写日文平假名字符“Gi(读音为日文“Gi”)”,所以显示与期望的候选项不同的可选择候选项530。
当输入角度信息时,用户从上到下手写一条直线,就像用户在操作指南500中看到的那样。图23B示出了该直线571的示例。与该直线571在6点钟处的方向的角度α是角度信息,其中角度信息是0度。即,在从起始点S开始的方向上降低的直线572与用户输入到6点方向的直线571之间的角度α是角度信息。简单地说,直线571的结束点的方向是角度信息。因此,图23B中用户输入的角度信息是90度。
例如,使用用于检测直线的方法,其中通过最小二乘法将从起始点S到结束点E的坐标被转换为直线,并且将所获得的相关系数与阈值进行比较以确定是否使用直线。
紧接在用户开始书写直线571之后(紧接在笔2500接触直线571的起始点S之后),手写输入装置2删除操作指南500。紧接在书写直线571之后(紧接在笔2500与直线571的结束点E分离之后),手写输入装置2从45度、90度、135度、180度、215度、270度、315度和360度搜索并确定上述角度α的最近值,并将其确定为角度信息。角度α本身可以用作角度信息。笔ID控制数据的角度被设置为所确定的角度信息。当按下笔尖用于手写等时,笔2500的笔事件发送单元41将笔ID发送到手写输入装置2。因此,手写输入装置2可以将笔ID控制数据与角度信息相关联。
顺便提及,仅操作指南500能够用于手写直线并输入角度信息。因此,当用户在操作指南500以外的地方手写直线时,直线可以被识别为“1”、“-”等,并且当通过操作指南500手写直线时,可以输入角度信息。即,手写识别控制单元26从预定范围检测直线,并将预定范围之外的手写笔画数据转换为文本数据。
因为在笔ID控制数据中设置了90度的角度信息(Angle),所以书写对象(笔画数据)在内部沿顺时针方向旋转90度以进行手写识别,并且操作指南500沿逆时针方向旋转90度以进行显示。
图24是示出角度信息的另一输入方法的图的示例。在图24中,用户出现在手写输入装置2的3点钟方向上。在图24中,在手写输入装置2的3点钟方向上存在的用户以角度信息为0度(初始值)来手写对应于“gi(读音为日文“gi”)”的日文平假名字母,从而显示操作指南500和可选择候选项530。图24的操作指南500在操作头部520中包括旋转操作按钮519。
旋转操作按钮519是添加角度信息为90度的笔ID控制数据的按钮,并且每当用户用笔2500按下所添加的角度信息时,所添加的角度信息被除以360度以获得余数。该余数成为角度信息。可以将在旋转操作按钮519的一次按下下要增加的角度设置为45度。
<登记手写签名数据的示例>
接下来,将参考图25A、图25B和图25C来描述手写签名数据的登记的示例。图25A、图25B和图25C是示出登记手写签名数据的方法的图。首先,图25A是当用户手写与“签名(读音为日文“Sain”)的英文字符串相对应的日文片假名字符串时显示的可选择候选项530的示例。基于操作命令定义数据713和与字符串“签名(读音为日文“Sain”)”部分一致的“签名(读音为日文“Sain”)”、“签名会议(读音为日文“Sain kai”)”和“带签名(读音为日文“Sainiri”)的字符串候选项,存在两个操作命令513和514“手写签名登记(读音为日文“Tegakisain touroku suru”)”和“手写退出(读音为日文“Tegaki sain auto suru”)”。两个操作命令513和514由于图11A-图11B的操作命令定义数据713和715的字符串具有“签名(读音为日文“Sain”)”而显示。
当用户点击笔2500上的“手写签名登记(读音为日文“Tegaki sain tourokusuru”)”的操作命令513时,图25B所示的手写签名登记表561被添加到手写输入存储单元25,并被显示在操作屏幕101上。例如,图25A的操作指南被删除,手写签名登记表561被显示在与操作指南500相同的位置。手写签名登记表561从上到下具有姓名输入字段561a、签名输入字段561b至561d以及登记确认字段561e。用户在姓名输入字段561a中输入姓名文本,在签名输入字段561b至561d中输入第一手写签名、第二手写签名和第三手写签名,并且在登记确认字段561e中输入复选标记或取消标记。姓名的文本是该用户的显示姓名,并被转换为文本数据。输入三个手写签名,因为特征量是在假设签名不同并且每当用户书写签名时并不完全一致的情况下登记的。
通常,手写签名可以使用用户名和与用户相关的其它字符。除了用户名之外,手写签名还可以是诸如雇员编号的数字、昵称或肖像。另外,手写签名不限于与用户相关的字符,而是可以是某种手写对象。例如圆形、三角形、正方形、符号或其组合。手写签名的坐标不仅是特征数据。因此,如果具有对应于“Suzuki(如从日文翻译成英文的)”的日文汉字字符串的相同姓氏的用户能够登记“Suzuki”的日文字符的手写签名,则用户被正确地认证。
当用户按照指示在手写签名登记表561中手写时,手写签名登记表561中的结果变为如图25C所示。当用户在登记确认字段561e中手写“复选标记”时,手写签名数据被登记在手写签名数据存储单元39中,并且删除手写签名登记表561。登记完成后,分配SignatureId。类似地,在所分配的AccountId和姓名输入字段561a中,姓名的文本以关联SignatureId登记在用户定义数据中。
当用户手写用户名并登录时,通过用户定义数据获取与AccountId相关联的SignatureId,并将其登记在与手写签名中使用的笔2500的笔ID相对应的笔ID控制数据中。此后,当用户使用笔2500时,笔ID被发送到手写输入装置2,因此通过与笔ID相关联的AccountId来指定笔ID控制数据。即使用户不知道使用用户定义数据的操作命令,也可以执行该操作命令。
如果用户在登记确认字段561e中手写“×”,则取消手写签名登记并删除手写签名登记表561。如果在登记中出现任何错误,则在操作屏幕101的系统预留区域等中显示该错误。
如上所述,手写输入显示控制单元23可以在不区分对表格的手写输入和除表格之外的手写输入的情况下接收手写输入。
<手写登录的示例>
参照图26,接下来描述的是在登记手写签名数据之后用户登录的方法。
图26示出了当用户书写已经由用户登记的手写日文平假名字符串“Suzuki”时显示的操作指南500的示例。因为“Suzuki”已经作为手写签名数据登记在操作命令定义单元33中,所以“Suzuki”与手写签名数据一致。
因此,显示“手写登录”的操作命令512。
另外,因为手写签名数据一致,所以指定表示“Suzuki”的SignatureId,并且识别具有与SignatureId相关联的AccountId的用户定义数据。
如果用户选择操作命令512“手写登录”,则将“Suzuki”的AccountId添加到与正被使用的笔2500的笔ID相关联的笔ID控制数据。因此,当使用操作命令时,可以使用“Suzuki”的“Suzuki”用户定义数据。
因为使用图26的手写签名登记表561来登记手写签名数据作为诸如字符的正常手写输入中的处理的一部分而被控制,手写签名登记表561被显示在与在其上书写字符等的操作屏幕相同的操作屏幕上。手写签名登记表561的内部和外部的手写操作没有差异,从而用户可以简单地通过手写到手写签名登记表561的规则定界区域中来完成到手写签名登记表561的输入。
<改变用户定义数据的示例>
接下来,将参考图27A和图27B来描述改变用户定义数据的方法。图27A是示出改变用户定义数据的方法的图。图27A是当用户手动书写手写日文字符串“se(读音为日文“se”)时显示的操作指南500的示例。在图11A和图11B所示的操作命令定义数据716中,在String中定义对应于“setting(读音为日文“settei”)的日文汉字字符串,并且日文平假名字符串“Se”的预测字符串包含对应于“Settei”的日文汉字字符串。因此,显示“改变设置”的日文字符串的操作命令。
如果用户利用用于手写登录的笔2500在操作命令512中选择“改变设置”,则指定与笔2500的笔ID相关联的用户AccountId。这为登录的用户指定了用户定义数据。图27B中示出的用户定义数据改变表562被添加到手写输入存储单元25,并被显示在操作屏幕101上。在图27A-图27B的示例中,根据图13所示的用户定义数据718创建用户定义数据改变表562。用户定义数据改变表562具有姓名字段562a、密码字段562b、文件夹用户名称字段562c、文件夹密码字段562d、文件夹文件名字段562e以及登记或取消字段562f。
如果用户没有预先用手登录,则手写输入装置2不能指定用户的AccountId,从而导致错误,并且在操作屏幕101的系统预留区域中显示错误消息。
如果图27B的用户定义数据改变表562在密码字段562b中写入密码,在文件夹用户名字段562c中写入文件夹用户名,在文件夹密码字段562d中写入文件夹密码,在文件夹文件名字段562e中写入文件夹文件名,并且在登记或取消字段562f中写入“复选标记√”或“×”,则执行用户定义数据改变,并且删除用户定义数据改变表562。
因此,用户可以手动地书写调用用户定义数据改变表562的笔画数据,以显示用户定义数据改变表562,并且可选地修改用户定义数据。手写输入显示控制单元23在不区分对表格的手写输入和除表格之外的手写输入的情况下接收手写输入。
在姓名输入字段562a中自动显示用户定义数据的AccountUsername。用户定义数据改变表562也可以用于登记以及改变。
因为使用图27A-图27B的用户定义数据改变表562来改变用户定义数据作为诸如字符的正常手写输入处理的一部分而被控制,用户定义数据改变表562被显示在与在其上书写字符等的操作屏幕相同的操作屏幕上。用户定义数据改变表562内部和外部的手写操作没有差异。用户可以简单地通过手写到由用户定义数据改变表562分隔的区域中来完成对用户定义数据改变表562的输入。
<操作程序>
将参照图28至图34来描述手写输入装置2的上述配置和操作。图28至图34是示出手写输入装置2显示字符串候选项和操作命令候选项的处理的序列图。
图28的过程在手写输入装置2起动时(应用程序起动时)开始。在图28至图34中,为了节省空间,图6A-图6B中所示的功能由附图标记表示。
S1:首先,手写输入显示控制单元23将手写对象的开始发送到手写输入存储单元25。手写输入存储单元25分配手写对象区域(用于存储手写对象的存储区域)。用户可以使笔在确保手写对象区域之前用笔接触手写输入单元21。
S2:然后,用户使笔接触手写输入单元21。手写输入单元21检测笔放下并将其发送到手写输入显示控制单元23。
S3:手写输入显示控制单元23向手写输入存储单元25发送笔画开始,手写输入存储单元25保留笔画区域。
S4:当用户移动与手写输入单元21接触的笔时,手写输入单元21将笔坐标发送到手写输入显示控制单元23。
S5:手写输入显示控制单元23指定在坐标输入的同时从笔2500接收的笔ID,并获取保存在笔ID控制数据存储单元36中的当前笔ID控制数据。因为在输入坐标时发送笔ID,所以笔画和笔ID相关联。笔ID控制数据存储单元36将笔ID控制数据(颜色、粗细、图案和角度信息)发送到手写输入显示控制单元23。然后,作为初始值,角度信息仍然为零。
S6:手写输入显示控制单元23向显示单元22发送笔坐标补充显示数据(内插离散笔坐标的数据)。显示单元22通过使用笔坐标显示数据内插笔坐标来显示线。
S7:手写输入显示控制单元23将笔坐标及其接收时间发送到手写输入存储单元25。手写输入存储单元25将笔坐标添加到笔画。在用户正在移动笔的同时,手写输入单元21周期性地向手写输入显示控制单元23反复发送笔坐标,直到步骤S4至S7的处理被涂掉为止。
S8:当用户将笔从手写输入单元21分离时,手写输入单元21将抬笔发送到手写输入显示控制单元23。
S9:手写输入显示控制单元23向手写输入存储单元25发送笔画的结束,手写输入存储单元25定义笔画的笔坐标。在定义笔画的笔坐标之后,不能将笔画的笔坐标添加到笔画中。
S10:接下来,手写输入显示控制单元23基于手写对象的矩形区域403,将手写对象附近的矩形区域403与笔画矩形区域的重叠状态获取发送到手写输入存储单元25。手写输入存储单元25计算重叠状态,并将重叠状态发送到手写输入显示控制单元23。
随后,当手写对象附近的矩形区域和笔画矩形区域彼此不重叠时,执行步骤S11至S17。
S11:当靠近手写对象的矩形区域和笔画矩形区域彼此不重叠时,确定一个手写对象。因此,手写输入显示控制单元23向手写识别控制单元26发送保持数据清除。
S12至S14:手写识别控制单元26将保持数据清除分别发送到字符串转换控制单元28、预测转换控制单元30和操作命令识别控制单元32。手写识别控制单元26、字符串转换控制单元28、预测转换控制单元30和操作命令识别控制单元32清除与已经保持的字符串候选项和操作命令候选项有关的数据。在清除时,最后的手写笔画不被添加到手写对象。
S15:手写输入显示控制单元23将手写对象的完成发送到手写输入存储单元25。手写输入存储单元25定义手写对象。手写对象单元的定义意味着一个手写对象已经完成(不再添加笔画)。
S16:手写输入显示控制单元23将手写对象的开始发送到手写输入存储单元25。手写输入存储单元25保留新的手写对象区域,以准备下一个手写对象的手写何时开始(下笔)。
S17:接下来,手写输入显示控制单元23将针对在步骤S9中终止的笔画的笔画相加发送到手写输入存储单元25。当执行步骤S11至S17时,所添加的笔画是手写对象的第一笔画,并且手写输入存储单元25将笔画数据添加到起始手写对象。如果没有执行步骤S11至S17,则将额外笔画添加到已经手写的手写对象。
S18:随后,手写输入显示控制单元23向手写识别控制单元26发送笔画的附加。手写识别控制单元26将笔画数据添加到保存字符串候选项的笔画数据保存区域(临时保存笔画数据的区域)。
S19:手写识别控制单元26对笔画数据保持区域进行手势手写识别。手势手写识别意味着从直线识别角度信息。因为手势手写识别是在操作指南500内部执行的,所以手写识别控制单元26检测操作指南500内部的直线。操作指南500的位置信息在稍后描述的步骤S67中被发送到手写识别控制单元26。
S20:当检测到操作指南500中的直线时,以45度为单位确定从该直线的开始沿6点钟方向向下的直线572的角度α和用户输入直线571的逆时针旋转。手写识别控制单元26将所确定的角度信息保存在与直线571的笔画数据的笔ID相对应的笔ID控制数据存储单元36中。当在操作指南500中检测到直线时,执行步骤S20。
S21:接下来,手写识别控制单元26指定从手写输入单元21接收到的笔ID,从笔ID控制数据存储单元36获取当前笔ID控制数据的角度信息。
S22:手写识别控制单元26以获取了笔画数据保持区域的笔画数据的角度信息为中心顺时针旋转。
S23:手写识别控制单元26将旋转后的笔画数据发送给手写签名认证控制单元38。如上所述,在笔画数据是否具有手写签名不清楚的条件下,笔画数据总是被发送到手写签名认证控制单元38。
S24:手写签名认证控制单元38接收笔画数据,并从手写签名数据存储单元39接收登记的手写签名数据。然后,将笔画数据与手写签名数据进行比较(匹配),并且保持手写签名的认证结果,以便在后续步骤的步骤S61中获取手写签名的认证结果。
S25:接下来,手写识别控制单元26对笔画数据执行手写识别,并且当表格的登记或取消字段具有“复选标记√”或“×”时执行表格的处理,或者当表格的登记或取消字段不具有“复选标记√”或“×”时执行正常手写识别的处理。
S26:当手写签名数据登记表的登记或取消字段中的字段具有“复选标记√”时,用户在稍后描述的步骤S86中向手写输入存储单元25中的手写输入显示控制单元23生成的手写签名登记表输入的手写签名数据(笔画数据),由手写识别控制单元26被发送到手写签名认证控制单元38。
S27:手写签名认证控制单元38将接收到的手写签名数据(笔画数据)登记在手写签名数据存储单元39中。这允许分配SignatureId。SignatureId被返回到手写识别控制单元26。当在用户定义数据中不包括在SignatureId的姓名输入字段561a和手写签名登记表561中输入的姓名时,手写识别控制单元26新添加用户定义数据并分配AccountId。手写识别控制单元26以SignatureId保存用户定义数据。如果在姓名输入字段561a中输入的姓名在用户定义数据中,则SignatureId被保存在用户定义数据中。此过程将AccountID与SignatureId相关联。当新添加用户定义数据时,不设置其他值,但是用户定义数据改变表562允许用户进行登记和改变。
S28:手写识别控制单元26在登记手写签名数据时,从手写输入存储单元25中删除手写签名登记表561。
S29:当用户定义数据改变表的登记或取消字段中的字段是“复选标记”时,手写识别控制单元26将在稍后描述的步骤S86中由手写输入存储单元25中的手写输入显示控制单元23生成的输入到用户定义数据改变表562的改变值发送到操作命令定义单元33。
S30:在执行用户定义数据改变时,手写识别控制单元26从手写输入存储单元25删除用户定义数据改变表562。
S31:当稍后描述的步骤S86中的添加表格的登记或取消字段是“×”时,手写识别控制单元26从手写输入存储单元25中删除步骤S86中添加的表格。
S33:当不执行表格处理时,手写识别控制单元26将作为执行结果的手写识别字符串候选项发送到手写识别字典单元27。手写识别字典单元27将看起来是确定的语言字符串候选项以口头方式发送到手写识别控制单元26。
S34:手写识别控制单元26将手写识别字符串候选项和接收到的语言字符串候选项发送到字符串转换控制单元28。
S35:字符串转换控制单元28将手写识别字符串候选项和语言字符串候选项发送给字符串转换字典单元29。字符串转换字典单元29将转换字符串候选项发送到字符串转换控制单元28。
S36:字符串转换控制单元28将接收到的转换字符串候选项发送给预测转换控制单元30。
S37:预测转换控制单元30将接收到的转换字符串候选项发送给预测转换字典单元31。
预测转换字典单元31将预测字符串候选项发送给预测转换控制单元30。
S38:预测转换控制单元30将接收到的预测字符串候选项发送给操作命令识别控制单元32。
S39:操作命令识别控制单元32将接收到的预测字符串候选项发送给操作命令定义单元33。操作命令定义单元33将操作命令候选项发送到操作命令识别和控制单元32。因此,操作命令识别控制单元32可以获取与操作命令定义数据相对应的操作命令候选项,该操作命令定义数据具有与预测串候选项一致的字符串(String)。
此后,执行类似的处理,直到发送在步骤S40至S47中描述的操作命令候选为止。
S40:字符串转换控制单元28将接收到的转换字符串候选项发送给操作命令识别控制单元32。
S41:操作命令识别控制单元32将接收到的转换字符串候选项发送给操作命令定义单元33。操作命令定义单元33将操作命令候选项发送到操作命令识别和控制单元32。因此,操作命令识别控制单元32获取与操作命令定义数据相对应的操作命令候选项,该操作命令定义数据具有与转换字符串候选项一致的字符串(String)。
S42:手写识别控制单元26将手写识别字符串候选项和语言字符串候选项发送给预测转换控制单元30。
S43:预测转换控制单元30将手写识别字符串候选项和接收到的语言字符串候选项发送给预测转换字典单元31。预测转换字典单元31将预测串候选项发送到预测转换控制单元30。
S44:预测转换控制单元30将接收到的预测字符串候选项发送给操作命令识别控制单元32。
S45:操作命令识别控制单元32将接收到的预测字符串候选项发送给操作命令定义单元33。操作命令定义单元33将操作命令候选项发送到操作命令识别和控制单元32。因此,操作命令识别控制单元32可以获取与操作命令定义数据相对应的操作命令候选项,该操作命令定义数据具有与预测串候选项一致的字符串(String)。
S46:手写识别控制单元26将手写识别字符串候选项和接收到的语言字符串候选项发送给操作命令识别控制单元32。
S47:操作命令识别控制单元32将手写识别字符串候选项和接收到的语言字符串候选项发送给操作命令定义单元33。操作命令定义单元33将操作命令候选项发送到操作命令识别和控制单元32。因此,操作命令识别控制单元32可以获取与操作命令定义数据相对应的操作命令候选项,该操作命令定义数据具有与语言字符串候选项一致的字符串(String)。
S48:接下来,手写识别控制单元26将笔画添加发送到操作命令识别控制单元32。
S49:操作命令识别控制单元32将确定对象的位置信息获取发送到手写输入存储单元25。手写输入存储单元25将确定对象的位置信息发送到操作命令识别控制单元32。
S50:操作命令识别控制单元32基于直线确定条件406和周围线确定条件407确定从手写识别控制单元26接收的笔画的位置信息和从手写输入存储单元25接收的确定对象的位置信息是否处于预定关系,以便确定选择对象,并保存能够被确定为被选择的确定对象作为选择对象。在这种情况下,因为指定了选择对象,所以从操作命令定义单元33获取I/O系统的操作命令候选项。
此外,手写识别控制单元26、字符串转换控制单元28、预测转换控制单元30和操作命令识别控制单元32保持与手写识别字符串候选项、语言字符串候选项、转换字符串候选项、预测字符串候选项、操作命令候选项有关的数据以及选择对象,使得可以分别在后续阶段的步骤S55至S58中获取数据。
S18-2:在步骤S18中,手写输入显示控制单元23将笔画的添加发送到手写识别控制单元26,并且将可选择的候选显示定时器的开始发送到候选显示定时器控制单元24。候选显示定时器控制单元24启动定时器。
随后,如果在经过特定时间段之前(在定时器超时之前)发生下笔,则执行步骤S51至S53。
S51:当用户在定时器到期之前用笔接触手写输入单元21时,手写输入单元21向手写输入显示控制单元23发送下笔(与步骤S2相同的事件)。
S52:手写输入显示控制单元23向手写输入存储单元25发送笔画开始(与步骤S3相同)。
之后的顺序与步骤S3以后的顺序相同。
S53:手写输入显示控制单元23向候选显示定时器控制单元24发送可选择的候选显示定时器停止。候选显示定时器控制单元24停止定时器。这是因为检测到下笔,因此消除了对定时器的需要。
当在某一时间段过去之前(在定时器超时之前)没有下笔时,执行步骤S54至S89。因此,显示图17中所示的操作指南500。
S54:候选显示定时器控制单元24在可选择候选显示定时器启动期间,当用户没有接触手写输入单元21时,向手写输入显示控制单元23发送超时。
S55:手写输入显示控制单元23将手写识别字符串/语言字符串候选项的获取通知给手写识别控制单元26。手写识别控制单元26将当前保持的手写识别字符串/语言字符串候选项发送给手写输入显示控制单元23。
S56:手写输入显示控制单元23将转换字符串候选项获取发送到字符串转换控制单元28。字符串转换控制单元28将当前保持的转换字符串候选项发送到手写输入显示控制单元23。
S57:手写输入显示控制单元23将预测字符候选获取发送到预测转换控制单元30。预测转换控制单元30将当前保持的预测字符串候选项发送给手写输入显示控制单元23。
S58:手写输入显示控制单元23向操作命令识别控制单元32发送获取操作命令候选项。操作命令识别控制单元32将当前保持的操作命令的候选项和选择对象发送到手写输入显示控制单元23。
S59:手写输入显示控制单元23将估计的书写方向获取发送到手写输入存储单元25。手写输入存储单元25根据手写对象矩形区域的笔画的笔画相加时间、水平距离和垂直距离来确定,并将估计的书写方向发送到手写输入显示控制单元23。
接下来,手写输入显示控制单元23指定从手写输入单元21接收到的笔ID,从笔ID控制数据存储单元36获取当前笔ID控制数据的角度信息。
S61:手写输入显示控制单元23从手写签名认证控制单元38获取手写签名认证结果。这提供了用户的SignatureId,因此当执行下面描述的操作命令时,用笔ID登记AccountId。
S62:手写输入显示控制单元23生成的日文平假名字符(图17中为“Gi”)的手写识别字符串候选项、语言字符串候选项(在图17中没有显示,但是日文汉字字符“Gi”(如翻译成英文为“会议”))、转换字符串候选项(在图17中为分别被翻译成英文“会议记录”和“技术技能测试”的日文汉字字符串“Gi-jiroku”和“Gi-ryoushi”)、预测字符串候选项(在图17中为分别被翻译成英文“技术技能测试被批准”和“会议记录的发送目的地”的日文字符串“gi-ryoushiwokessai”和“gi-jirokunosoufusaki”)、以及操作命令候选项(在图17中为分别被翻译成英文“阅读会议记录模板”和“存储在会议记录文件夹中”的日文字符串“Gi-jiroku tenpuretowo yomikomu”和“Gi-jiroku tenpuretowo yomikomu”)。此外,如图17所示的可选择候选显示数据根据每个选择概率和估计的书写方向来创建。此外,手写输入显示控制单元23基于在步骤S60中获取的角度信息逆时针旋转(操作指南500中的)可选择候选显示数据,并且将旋转之后的可选择候选显示数据(操作指南500)发送到显示单元22以进行显示。
S63:手写输入显示控制单元23使用在步骤S60中获取的角度信息使手写对象和选择对象(在图17中为手写对象矩形区域显示503)的矩形区域显示数据(矩形框)逆时针旋转,并通过将其发送到显示单元22来进行显示。
S64:手写输入显示控制单元23将可选择候选显示删除定时器的启动发送到候选显示定时器控制单元24,以便在某个时间之后从显示器中删除所选择的候选显示数据。候选显示定时器控制单元24启动定时器。
当用户删除显示在显示单元22上的可选择候选显示时,当手写对象发生改变时(即,当添加、删除、移动、变形或分割手写对象的笔画时),或者当在超时之前未选择候选项时执行步骤S65至S70,同时启动可选择候选删除定时器。
此外,当删除候选显示或发生手写对象的改变时,执行步骤S65至S67。
S65:手写输入单元21将可选择候选显示删除的发生或手写对象的变更发送到手写输入显示控制单元23。
S66:手写输入显示控制单元23发送可选择候选删除定时器停止。候选显示定时器控制单元24停止定时器。这是因为不需要定时器,因为手写对象在特定时间段内被操纵。
S67:手写输入显示控制单元23将操作指南500的位置信息保存在手写识别控制单元26中,用于步骤S19的手势手识别的手势的手势确定。位置信息可以是例如左上角和右下角的坐标或其等效物。因此,手写识别控制单元26可以确定用于输入角度信息的直线是否在操作指南500内。
S69:手写输入显示控制单元23将可选择候选显示数据的删除发送到显示单元22,以删除显示。
S70:手写输入显示控制单元23将手写对象和选择对象的矩形区域显示数据的删除发送到显示单元22,以删除显示。因此,如果在除了选择操作命令候选项之外的条件下删除操作命令候选项的显示,则保持手写对象的显示。
S68:同时,当在可选择候选删除定时器的启动期间没有发生可选择候选显示删除或手写对象改变时(当用户没有执行笔操作时),候选显示定时器控制单元24向手写输入显示控制单元23发送超时。
类似地,在可选择候选显示删除定时器超时之后,手写输入显示控制单元23执行步骤S69和S70。这是因为可以在特定时间段内删除手写对象和选择对象的可选择候选显示数据和矩形区域显示数据。
如果用户在可选择候选删除定时器的启动期间选择了可选择候选项,则执行步骤S71至S89。
S71:当用户在可选择候选项删除定时器启动期间选择可选择候选项时,手写输入单元21向手写输入显示控制单元23发送对字符串候选项或操作命令候选项的选择。
S71-2:手写输入显示控制单元23将可选择候选显示删除计时器的停止发送到候选显示计时器控制单元24。候选显示定时器控制单元24停止定时器。
S72:手写输入显示控制单元23向手写识别控制单元26发送保持数据清除。
S73:手写识别控制单元26将保持数据清除发送到字符串转换控制单元28。
S74:手写识别控制单元26将保持数据清除发送到预测转换控制单元30。
S75:手写识别控制单元26将保持数据清除发送到操作命令识别控制单元32。
手写识别控制单元26、字符串转换控制单元28、预测转换控制单元30和操作命令识别控制单元32清除与已经保持在其中的字符串候选项和操作命令候选项有关的数据。
S76:手写输入显示控制单元23将可选择候选显示数据的删除发送到显示单元22,以删除显示。
S77:手写输入显示控制单元23将手写对象和选择对象的矩形区域显示数据的删除发送到显示单元22,以删除显示。
S78:手写输入显示控制单元23通过将步骤S6中发送的手写对象显示数据删除和笔坐标补充显示数据删除发送到显示单元22来删除显示。这是因为已经选择了字符串候选项或操作命令候选项,因此消除了对手写对象等的需要。
S79:手写输入显示控制单元23将手写对象删除发送到手写输入存储单元25。
如果选择了字符串候选项,则执行步骤S80至S82。
S80:当选择字符串候选项时,手写输入显示控制单元23将字符串对象的添加发送到手写输入存储单元25。
S81:手写输入显示控制单元23将字符串对象字体获取发送给手写输入存储单元25。手写输入存储单元25从手写对象的估计字符大小中选择规定字体,并将所选择的字体发送到手写输入显示控制单元23。
S82:接下来,手写输入显示控制单元23使用从手写输入存储单元25接收到的规定字体,将在与手写对象相同的位置显示的字符串对象显示数据发送到显示单元22,以显示字符串对象显示数据。
如果选择了操作命令候选项,则执行步骤S83至S88。
另外,如果存在选择对象,则执行步骤S83至S85。
S83:当选择了选择对象的操作命令候选项时(存在选择对象时),手写输入显示控制单元23将选择对象显示数据的删除发送给显示单元22,以删除显示。这是要删除原始选择对象一次。
S84:接下来,手写输入显示控制单元23将对选择对象的操作命令发送到手写输入存储单元25。手写输入存储单元25将新选择对象的显示数据(编辑或修改之后的显示数据)发送到手写输入显示控制单元23。
S85:接下来,手写输入显示控制单元23将选择对象显示数据发送到显示单元22,使得再次显示执行了操作命令后的选择对象。
当指定操作命令定义数据713的“登记手写签名”作为I/O系统的操作命令或操作命令定义数据716的“改变设置”时,手写输入显示控制单元23将手写签名登记表561或用户定义数据改变表添加到手写输入存储单元25。
S87:当选择了I/O系统的操作命令时,手写输入显示控制单元23执行与用户选择的操作命令相对应的操作命令定义数据的操作命令串(Command)。
当执行用于登录的操作命令512时,手写输入显示控制单元23获取当执行操作命令512时由输入单元通信单元37接收的笔ID。手写输入显示控制单元23指定具有在步骤S61中获取的SignatureId的用户定义数据,并且从用户定义数据获取AccountId。然后,AccountId被登记在与笔ID相对应的笔ID控制数据中。因此,笔2500和用户彼此相关联,并且手写输入装置2可以使用用户定义数据进行处理。
当在用户登录之后执行操作命令时,手写输入显示控制单元23从执行操作命令时的笔ID控制数据获取与由输入单元通信单元37接收的笔ID相关联的AccountId。手写输入显示控制单元23利用该AccountId指定用户定义数据,并将其设置为操作命令的%~%,并执行该操作。
如图24中所示,当用户按下操作头部520的旋转操作按钮519时,手写输入显示控制单元23接收根据旋转操作按钮519的按下次数的角度信息。手写输入显示控制单元23对应于当按下旋转操作按钮519时从笔2500接收到的笔ID,并将接收到的角度信息保存在笔ID控制数据存储单元36中。
S89:手写输入显示控制单元23将手写对象的开始发送到下一手写对象用手写输入存储单元25。手写输入存储单元25保留手写对象区域。此后,重复步骤S2至S89的处理。
概述
如上所述,根据本实施例的手写输入装置2可以由用户手写而不区分字符等的输入和手写符号的输入,并且可以由用户手动调用而不区分各种操作命令和用于登录的操作命令512。
另外,根据本实施例的手写输入装置2不使用屏幕上的键盘,并且用户可以仅通过用户直观地手写来认证,而无需添加诸如IC卡之类的专用硬件。因为手写是直观的,所以可以期望减少学习如何操纵手写设备的成本。类似地,可以简单地通过手写预定字符等来退出。另外,用户可以自己登记手写签名数据。
手动登录后,将用户身份(AccountId)映射到用于登录的笔上,可以使用用户定义数据来执行操作命令。用户定义数据也可以手动更改。
此外,根据本实施例的手写输入装置2不需要选择操作菜单和从按钮列表中选择操作,并且可以以与手写字符时相同的方式输入操作命令。因为在操作指南中同时显示操作命令和可选择候选项530,所以用户可以在不区分字符等的输入和操作命令的选择的情况下使用手写输入装置2。用户可以手动书写手写对象或用直线包围确认对象,以显示任何操作命令候选。因此,可以从手写状态调用任何功能(诸如编辑功能、输入/输出功能或笔功能)。这消除了对按下菜单按钮以调用期望功能的逐步操作的需要,从而将操作过程从用户的手写状态减少以调用任何功能。
<手写输入装置配置的另一示例>
尽管根据本实施例的手写输入装置2被描述为具有大的触摸面板,但是手写输入装置不限于具有触摸面板的手写输入装置。
图35是示出手写输入装置的另一结构示例的图。在图35中,投影仪411位于传统白板413上方。投影仪411对应于手写输入装置。典型的白板413不是与触摸面板集成的平板显示器,而是用户直接用标记书写的白板。白板可以是黑板,并且只有平坦的表面才足以宽到投影图像。
投影仪411具有超短焦距的光学系统,使得具有小畸变的图像可以从大约10cm的距离投影到白板413上。图像可以从设置有有线连接或无线连接的PC 400-1发送,或者可以由投影仪411保存。
用户使用专用电子笔2501在白板413上手写。电子笔2501在尖端部分具有发光部分,例如,当用户按下白板413进行书写时,发光部分在尖端部分上旋转。光波长是近红外或红外的,因此其对于用户是不可见的。投影仪411包括拍摄发光部分并分析图像以确定电子笔2501的方向的照相机。电子笔2501与光发射一起发射声波,并且投影仪411根据声波的到达时间计算距离。取向和距离允许电子笔2501的定位。在电子笔2501的位置处绘制(投影)笔画。
投影仪411投影菜单430,因此当用户按下电子笔2501处的按钮时,投影仪411识别电子笔2501的位置和通过开关的ON信号按下的按钮。例如,当按下保存按钮431时,用户的手写笔画(一组坐标)被保存在投影仪411上。投影仪411将手写信息保存在预定服务器412或USB存储器2600等上。针对每页保存手写信息。保存坐标而不是图像数据,允许用户再次编辑。然而,在本实施例中,不需要显示菜单430,因为可以通过手写来调用操作命令。
<手写输入装置配置的另一示例>
图36是示出手写输入装置2的另一配置示例的图。在图36的示例中,手写输入装置2包括终端设备600、图像投影仪700A和笔运动检测设备810。
终端设备600与图像投影仪700A和笔运动检测装置810有线连接。图像投影仪700A使得将由终端设备600输入的图像数据投影到屏幕800上。
笔运动检测设备810与电子笔820通信,并检测电子笔820在屏幕800附近的操作。具体地,电子笔820检测并向终端设备600发送指示由电子笔820在屏幕800上表示的点的坐标信息。
终端设备600基于从笔运动检测设备810接收的坐标信息生成由电子笔820输入的笔画图像的图像数据。终端设备600使图像投影仪700A将笔画图像绘制到屏幕800上。
终端设备600生成表示由投影到图像投影仪700A上的背景图像和由电子笔820输入的笔画图像构成的叠加图像的叠加图像数据。
<手写输入装置的配置的另一示例3>
图37是示出手写输入装置的配置的示例的图。在图37的示例中,手写输入装置包括终端设备600、显示器800A和笔运动检测设备810。
笔运动检测设备810位于显示器800A的附近。笔运动检测设备810检测表示由电子笔820A在显示器800A上表示的点的坐标信息,并将该坐标信息发送到终端设备600。在图37的示例中,电子笔820A可由终端设备600通过USB接口进行充电。
终端设备600基于从笔运动检测设备810接收的坐标信息生成由电子笔820A输入的笔画图像的图像数据。显示在终端设备600的显示器800A上。
<手写输入装置配置的另一示例>
图38是示出手写输入装置的配置的示例的图。在图38的示例中,手写输入装置包括终端设备600和图像投影仪700A。
终端设备600执行与电子笔820B的无线通信(例如,蓝牙:“蓝牙”是注册商标),以接收由电子笔820B在屏幕800上指示的点的坐标信息。终端设备600基于接收到的坐标信息生成由电子笔820B输入的笔画图像的图像数据。终端设备600使图像投影仪700A投影笔画图像。
终端设备600生成表示由投影到图像投影仪700A上的背景图像和由电子笔820输入的笔画图像构成的叠加图像的叠加图像数据。
如上所述,上述实施例中的每一个可以应用于各种系统配置。
[第二实施方式]
在本实施方式中,对网络上的信息处理系统进行诸如手写识别等处理,并将处理结果返回给手写输入装置2的系统型手写输入系统进行说明。
在本实施例的描述中,因为在第一实施例中具有相同附图标记的组件或附图内容执行相同的功能,所以可以省略一次描述的组件的描述,或者可以仅描述不同之处。
图39是手写输入系统100的系统配置图的示例。手写输入系统100包括能够通过网络N进行通信的手写输入装置2和信息处理系统10。
手写输入装置2位于诸如办公室之类的设施中,并且连接到位于该设施内的LAN或Wi-Fi。信息处理系统10被设置在例如数据中心处。手写输入装置2经由防火墙8连接到互联网i,并且信息处理系统10还经由数据中心中的高速LAN连接到互联网i。
手写输入装置2可以使用诸如电话线网络的无线通信连接到互联网i。在这种情况下,无线通信是3G(第三代)、4G(第四代)、5G(第五代)、LTE(长期演进)、WiMAX(全球微波接入互操作性)等。
信息处理系统10包括一个或多个信息处理设备,并且一个或多个信息处理装置向作为服务器的手写输入装置2提供服务。服务器是用于响应于客户端的请求而提供信息和处理结果的计算机或软件。如稍后将描述的,信息处理系统10从手写输入装置2接收笔坐标,并且将用于显示图17中所示的操作指南500的必要信息发送到手写输入装置2。
服务器侧系统可以被称为云系统。云系统是使用云计算的系统。云计算是一种使用形式,其中在不知道特定硬件资源的情况下使用网络上的资源。云系统不一定部署在互联网上。在图39中,信息处理系统位于互联网上,但是也可以位于本地网络上(在这种情况下称为预置的)。
此外,在一些实施例中,信息处理系统10包括多个计算设备,诸如服务器集群。多个计算设备被配置为经由任何类型的通信链路(包括网络、共享存储器等)彼此通信,且执行本文中所公开的过程。
手写输入装置2的配置可以与第一实施例的配置相同,但是在本实施例中,可以提供触摸面板、显示器和通信功能。手写输入装置2可以包括被配置为彼此通信的多个计算设备。
在本实施例中,诸如PC或平板电脑的典型信息处理设备可以执行网络浏览器或专用应用。网络浏览器或专用应用与信息处理系统10通信。当网络浏览器操作时,用户输入或选择信息处理系统10的URL以将手写输入装置连接到信息处理系统10。手写输入装置2在网络浏览器中执行由信息处理系统10提供的网络应用。网络应用是指用于通过将在网络浏览器上运行的编程语言(例如JavaScript)的程序与在网络服务器上运行的程序进行协调来在网络浏览器上运行的软件或机制。
当专用应用操作时,其连接到预先登记的信息处理系统10的URL。因为专用应用具有程序和用户接口,所以程序必要信息被发送到信息处理系统10和从信息处理系统10接收,并且显示在用户接口上。
通信方法可以是诸如HTTP、HTTP和WebSocket的通用通信协议,或者可以是专用通信协议。
<硬件配置的示例>
手写输入装置2的硬件配置可以与图5的硬件配置相同。在本实施例中,将描述信息处理系统10的硬件配置的示例。
图40是示出信息处理系统10的硬件配置的图。如图40中所示,信息处理系统10由计算机构成,包括CPU 601、ROM 602、RAM 603、HD 604、HDD(硬盘驱动器)控制器605、显示器606、外部设备连接I/F(接口)608、网络I/F 609、总线610、键盘611、指示设备612、DVD-RW(数字通用盘可重写)驱动器614和介质I/F 616,如图40中所示。
其中,CPU 601控制整个信息处理系统10的操作。ROM 602保存用于驱动CPU 601的程序,例如IPL。RAM 603被用作CPU 601的工作区域。HD 604保存诸如程序之类的各种数据。HDD控制器605根据CPU 601的控制来控制各种数据到HD 604的读取或写入。显示器606显示各种信息,诸如光标、菜单、窗口、字符或图像。外部设备连接I/F 608是用于连接各种外部设备的接口。在这种情况下,外部设备可以是例如USB(通用串行总线)存储器或打印机。网络I/F 609是用于使用通信网络执行数据通信的接口。总线610是用于电连接诸如图40中所示的CPU 601的组件的地址总线、数据总线等。
键盘611还包括用于输入字符、数字、各种指示等的多个键。指示设备612是用于选择和执行各种指令、选择处理目标、移动光标等的一种类型的输入单元。DVD-RW驱动器614控制各种数据向作为可移除记录介质的示例的DVD-RW 613的读取或写入。其不限于DVD-RW,也可以是DVD-R等。介质I/F 616控制数据到记录介质615(诸如闪存)的读取或写入(存储)。
<设备的功能>
接下来,将参考图41来描述手写输入系统100的功能。图41是以块形状示出手写输入系统100的功能的功能框图的示例。在对图41的描述中,将主要解释与图6A-图6B的不同之处。笔2500的功能可以与第一实施例的功能相同。
在本实施例中,手写输入装置2包括显示单元22、显示控制单元44、手写输入单元21以及通信单元42。手写输入装置2的每个功能都是所实现的功能或单元,其中图40所示的组件之一根据从SSD 204部署到RAM 203的程序通过来自CPU 201的指令来操作。
根据本实施例的手写输入单元21的功能可以与第一实施例的相同。手写输入单元21将用户的笔输入d1转换为笔操作数据(抬笔、下笔或笔坐标数据),并将转换后的数据发送到显示控制单元44。
显示控制单元44控制手写输入装置2的显示。首先,显示控制单元44补充作为离散值的笔坐标数据的离散值之间的坐标,并且将笔坐标数据作为单个笔画db从下笔到抬笔发送到显示单元22。
显示控制单元44将笔操作数据dc发送到通信单元42,并从通信单元42获取各种显示数据dd。显示数据包括用于显示图17的操作指南500的信息。显示控制单元44将显示数据de发送到显示单元22。
通信单元42将笔操作数据dc发送到信息处理系统10,从信息处理系统10接收各种显示数据dd,并将其发送到显示控制单元44(第一通信单元的示例)。通信单元42发送和接收例如JSON格式或XML格式的数据。
显示单元22的功能可以与第一实施例的功能相同。显示单元22显示笔画db和显示数据de。显示单元22将由显示控制单元44写入视频存储器中的笔画db或显示数据de转换为与显示器220的特性相对应的数据,并将该数据发送到显示器220。
<信息处理系统的功能>
信息处理系统10包括通信单元43、手写输入显示控制单元23、候选显示定时器控制单元24、手写输入存储单元25、手写识别控制单元26、手写识别字典单元27、字符串转换控制单元28、字符串转换字典单元29、预测转换控制单元30、预测转换字典单元31、操作命令识别控制单元32、操作命令定义单元33、笔ID控制数据存储单元36、手写签名认证控制单元38和手写签名数据存储单元39。信息处理系统10的每个功能是这样的功能或单元,通过该功能或单元,图40中示出的每个组件根据从HD 604部署到RAM 603的程序,通过来自CPU601的指令操作来实现。
通信单元43从手写输入装置2接收笔操作数据dc,并将笔操作数据df发送到手写输入显示控制单元23。
通信单元43从手写输入显示控制单元23接收显示数据dd,并将接收到的显示数据发送到手写输入装置2(第二通信单元的示例)。通信单元43发送并接收JSON格式、XML格式等的数据。
其它功能与第一实施例的功能相同。即使这些功能不同,也不受本实施例的描述的妨碍。
<操作程序>
将参考图42至图49描述手写输入系统100的上述配置和操作。图42至图49是示出手写输入装置2显示字符串候选项和操作命令候选项的处理的序列图。当手写输入装置2启动(网络浏览器或专用应用程序启动)并且建立与信息处理系统10的通信时,图42的过程开始。顺便说一下,图42至图49的整个流程可以与图28至图34的流程相似。
S1:当通信建立时,为了分配手写输入装置2的存储区域,手写输入显示控制单元23将手写对象的开始发送到手写输入存储单元25。手写输入存储单元25分配手写对象区域(用于存储手写对象的存储区域)。用户可以在确保手写对象区域之前用笔接触手写输入单元21。
S2a:用户然后用笔接触手写输入单元21。手写输入单元21检测下笔并将其发送到显示控制单元44。
S2b:显示控制单元44向通信单元42发送下笔,以向信息处理系统10通知下笔。
S2c:通信单元42向信息处理系统10发送下笔。
S2d:信息处理系统10的通信单元43接收下笔并将其发送到手写输入显示控制单元23。
S3:手写输入显示控制单元23向手写输入存储单元25发送笔画开始,手写输入存储单元25保留笔画区域。
S4:当用户移动与手写输入单元21接触的笔时,手写输入单元21将笔坐标发送到显示控制单元44。
S4b:显示控制单元44向通信单元42发送笔坐标,以向信息处理系统10通知笔坐标。
S4c:通信单元42向信息处理系统10发送笔坐标。
S4d:信息处理系统10的通信单元43接收笔坐标,并将其发送到手写输入显示控制单元23。
S6:显示控制单元44向显示单元22发送笔坐标补充显示数据(内插离散笔坐标的数据)。显示单元22通过使用笔坐标显示数据内插笔坐标来显示直线。步骤S7的处理与第一实施例的处理相同。
S8a:当用户从手写输入单元21释放笔时,手写输入单元21将抬笔发送到显示控制单元44。
S8b:显示控制单元44将抬笔发送到通信单元42,以向信息处理系统10通知该抬笔。
S8c:通信单元42向信息处理系统10发送抬笔。
S8d:信息处理系统10的通信单元43接收该抬笔,并将其发送到手写输入显示控制单元23。
随后的步骤S9至S17和步骤S18至S50与第一实施例中的步骤相同。
S51a:当用户在定时器到期之前用笔接触手写输入单元21时,手写输入单元21向显示控制单元44发送下笔(与步骤S2相同的事件)。步骤S51b至S51d的处理可以与步骤S2b至S2d的处理相同。此外,步骤S52至S61的处理与第一实施例的处理相同。
S62a:手写输入显示控制单元23生成包括图17中所示的每个字符串候选项、每个操作命令候选项、每个选择概率和估计书写方向在内的可选择候选显示数据,并将由字符串候选项和操作命令候选项组成的可选择候选显示数据发送到通信单元43。
S62b:通信单元43将可选择候选显示数据发送到手写输入装置2。
S62c:手写输入装置2的通信单元42接收可选择候选显示数据,并将该数据发送到显示控制单元44。
S62d:显示控制单元44接收可选择候选显示数据,并通过将其发送到显示单元22来显示该候选显示数据。
S63a:手写输入显示控制单元23将手写对象和选择对象(图17中的手写对象矩形区域显示503)的矩形区域显示数据(矩形框)发送到通信单元43。
S63b:通信单元43将矩形区域显示数据发送到手写输入装置2。
S63c:手写输入装置2的通信单元42接收矩形区域显示数据,并将该数据发送到显示控制单元44。
S63d:显示控制单元44接收矩形区域显示数据,并通过将其发送到显示单元22来显示该矩形区域显示数据。步骤S64的处理与第一实施例的处理相同。
S65a:当用户删除可选择候选项或用手将可选择候选项写入手写对象时,手写输入单元21将可选择候选项显示删除的发生或手写对象的改变发送到显示控制单元44。
S65b:显示控制单元44发送给通信单元42,用于将可选择候选显示删除的发生或手写对象的改变通知给信息处理系统10。
S65c:通信单元42将可选择候选显示删除的发生或手写对象的改变发送到信息处理系统10。
S65d:信息处理系统10的通信单元43接收可选择候选显示删除的发生或手写对象的改变,并将其发送到手写输入显示控制单元23。步骤S66、S67和S68的处理与第一实施例的处理相同。
S69a:手写输入显示控制单元23将可选择候选显示数据的删除发送到通信单元43。
S69b:通信单元43将可选择候选显示数据的删除发送到手写输入装置2。
S69c:手写输入装置2的通信单元42接收可选择候选显示数据的删除,并将该删除发送到显示控制单元44。
S69d:显示控制单元44接收可选择候选显示数据的删除,并将该删除发送到显示单元22以删除可选择候选项。
S70a:手写输入显示控制单元23将手写对象和选择对象的矩形区域显示数据的删除发送到通信单元43。
S70b:通信单元43将手写对象和选择对象的矩形区域显示数据发送到手写输入装置2。
S70c:手写输入装置2的通信单元42接收手写对象和选择对象的矩形区域显示数据的删除,并将该删除发送到显示控制单元44。
S70d:显示控制单元44接收手写对象和选择对象的矩形区域显示数据的删除,并将其发送到显示单元22,以使得手写对象和选择对象的矩形区域被删除。因此,如果在除了选择操作命令候选项之外的条件下删除操作命令候选项的显示,则保持手写对象的显示。
如果用户在可选择候选删除定时器的启动期间选择了可选择候选项,则执行步骤S71至S89。
S71a:当用户在可选择候选项删除定时器启动期间选择可选择候选项时,手写输入单元21向显示控制单元44发送对字符串候选项或操作命令候选项的选择。
S71b:显示控制单元44向通信单元42发送以便向信息处理系统10通知字符串候选项或操作命令候选项的选择。
S71c:通信单元42向信息处理系统10发送字符串候选项的选择或操作命令。
S71d:信息处理系统10的通信单元43接收对字符串候选项或操作命令候选项的选择,并将该选择发送至手写输入显示控制单元23。步骤S72至S75的处理与第一实施例的处理相同。
S76a:接下来,手写输入显示控制单元23将可选择候选显示数据的删除发送到通信单元43。
S76b:通信单元43将可选择候选显示数据的删除发送到手写输入装置2。
S76c:手写输入装置2的通信单元42接收可选择候选显示数据的删除,并将该删除发送到显示控制单元44。
S76d:显示控制单元44接收可选择候选显示数据的删除,并使显示单元22删除可选择候选项。
S77a:手写输入显示控制单元23将手写对象和选择对象的矩形区域显示数据的删除发送到通信单元43。
S77b:通信单元43将矩形区域显示数据的删除发送到手写输入装置2。
S76c:手写输入装置2的通信单元42接收矩形区域显示数据的删除,并将该删除发送到显示控制单元44。
S77d:显示控制单元44接收矩形区域显示数据的删除,并使显示单元22删除矩形区域。
S78a:手写输入显示控制单元23将手写对象显示数据的删除发送到通信单元43。
S78b:通信单元43将手写对象显示数据删除发送到手写输入装置2。
S78c:手写输入装置2的通信单元42接收手写对象显示数据的删除,并将该删除发送到显示控制单元44。
S78d:显示控制单元44接收手写对象显示数据的删除,并使显示单元22删除手写对象和笔坐标互补显示数据。步骤S79的处理可以与第一实施例的处理相同。
如果选择了字符串候选项,则执行步骤S80至S82。步骤S80和步骤S81的处理可以与第一实施例中的处理相同。
S82a:然后,手写输入显示控制单元23使用从手写输入存储单元25接收到的规定字体,将在与手写对象相同的位置处显示的字符串对象显示数据发送到通信单元43。
S82b:通信单元43将字符串对象显示数据发送到手写输入装置2。
S82c:手写输入装置2的通信单元42接收字符串对象显示数据,并将该数据发送到显示控制单元44。
S82d:显示控制单元44接收字符串对象显示数据,并使显示单元22显示该字符串对象。
如果选择了操作命令候选项,则执行步骤S83至S87。另外,如果存在选择对象,则执行步骤S83至S85。
S83a:当选择了选择对象的操作命令候选项时(当存在选择对象时),手写输入显示控制单元23将选择对象显示数据的删除发送到通信单元43。这是要删除原始选择对象一次。
S83b:通信单元43将选择对象显示数据的删除发送到手写输入装置2。
S83c:手写输入装置2的通信单元42接收选择对象显示数据的删除,并将该删除发送到显示控制单元44。
S83d:显示控制单元44接收选择对象显示数据的删除,并使显示单元22删除选择对象。
S84:接下来,手写输入显示控制单元23将对选择对象的操作命令发送到手写输入存储单元25。手写输入存储单元25将新选择对象的显示数据(编辑或修改之后的显示数据)发送到手写输入显示控制单元23。
S85a:接下来,手写输入显示控制单元23将选择对象显示数据发送到通信单元43。
S85b:通信单元43将选择对象显示数据发送到手写输入装置2。
S85c:手写输入装置2的通信单元42接收选择对象显示数据,并将该数据发送到显示控制单元44。
S85d:因为显示控制单元44接收到选择对象显示数据,所以显示单元22在执行操作命令之后重新显示选择对象。步骤S86至S89的处理可以与第一实施例的处理相同。
如上所述,即使在手写输入装置2和信息处理系统10进行通信的系统配置中,也可以实现与第一实施例相同的效果。顺便提及,图42至图49的处理流程是示例,并且包括或省略当手写输入装置2和信息处理系统10彼此通信时发生的处理。由信息处理系统10执行的处理的一部分可以由手写输入装置2执行。例如,手写输入装置2也可以进行与删除相关的处理。
<其它应用>
虽然已经参考示例描述了本发明的优选实施例,但是在不脱离本发明的精神和范围的情况下,可以对其进行各种修改和替换。
例如,尽管在实施例中描述了电子黑板,但是可以适当地应用具有触摸面板的信息处理设备。具有内置触摸面板的信息处理装置例如可以是诸如PJ(投影仪)和数字签名的输出设备、HUD(平视显示器)设备、工业机器、成像设备、声音收集器、医疗设备、网络家用电器、笔记本PC(个人计算机)、蜂窝电话、智能电话、平板终端、游戏机、PDA(个人数字助理)、数码相机、可穿戴PC或台式PC等。
在本实施例中,通过触摸面板检测笔尖的坐标,但是也可以通过超声波检测笔尖的坐标。笔与光发射一起发射超声波,并且手写输入装置2根据超声波的到达时间计算距离。笔的位置可以由它的方向和距离来确定。投影仪把笔的轨迹画成笔画。
在本实施例中,当存在选择对象时,显示编辑系统和修改系统的操作命令候选项,而当不存在选择对象时,显示I/O系统的操作命令候选项。然而,编辑系统和修改系统的操作命令候选项和I/O系统的操作命令候选项可以同时显示。
此外,用户的手写签名数据不需要保存在手写输入装置2中。用户的手写签名数据可以由公司内的云或信息处理装置持有。
此外,诸如图6A-图6B的配置示例可以根据主要功能来划分,以便于理解手写输入装置2的处理。本申请的发明不受划分处理单元的方法或名称的限制。手写输入装置2的处理可以根据处理内容划分为更多的处理单元。可替换地,一个处理单元可以被划分为更多处理。
上述实施例的功能也可以通过一个或多个处理电路来实现。如本文所使用,“处理电路”包括被编程为通过软件执行每一功能的处理器,例如在电子电路中实施的处理器、被设计为执行如上文所描述的每一功能的ASIC(专用集成电路)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)或常规电路模块。
笔ID控制数据存储单元36是控制数据存储单元的示例。显示单元22是权利要求1的显示单元的示例。手写识别控制单元26是手写识别控制单元的示例。通信单元42是接收单元的示例。通信单元43是发送单元的示例。操作命令识别控制单元32是操作命令识别控制单元的示例。输入单元通信单元37是输入单元通信单元的示例。手写签名认证控制单元38是认证控制单元的示例。手写输入单元21是手写输入单元的示例。显示器220是显示控制单元的示例。
附图标记说明
2 手写输入装置
21 手写输入单元
22 显示单元
23 手写输入显示控制单元
24 候选显示定时器控制单元
25 手写输入存储单元
26 手写识别控制单元
27 手写识别字典单元
28 字符串转换控制单元
29 字符串转换字典单元
30 预测转换控制单元
31 预测转换字典单元
32 操作命令识别控制单元
33 操作命令定义单元
36 笔ID控制数据存储单元
38 手写签名认证控制单元
39 手写签名数据存储单元
发明效果
可以提供一种易于登录的手写输入装置。
根据上述教导,许多附加的修改和变化是可能的。因此,应当理解,在所附权利要求书的范围内,本专利说明书的公开可以以不同于本文具体描述的方式来实践。如计算机领域的技术人员可以理解的,可以使用根据本说明书的教导编程的传统通用数字计算机来方便地实现本发明。适当的软件编码可以很容易地由熟练的程序员根据本公开的教导来编写,这对于软件领域的技术人员来说是显而易见的。本发明还可以通过专用集成电路的制备或通过将常规组件电路的适当网络互连来实现,这对于相关领域的技术人员来说是显而易见的。
所描述的实施例的每个功能可以通过一个或多个处理电路来实现。处理电路包括编程的处理器。处理电路还包括诸如专用集成电路(ASIC)和布置成执行所述功能的常规电路组件的设备。
处理电路被实现为微处理器的至少一部分。可使用一个或多个电路、一个或多个微处理器、微控制器、专用集成电路、专用硬件、数字信号处理器、微计算机、中央处理单元、现场可编程门阵列、可编程逻辑设备、状态机、超级计算机或其任何组合来实施处理电路。而且,处理电路可以包括在一个或多个处理电路内可执行的一个或多个软件模块。处理电路还可以包括被配置为保存使处理电路执行功能的指令和/或代码的存储器。
如果在软件中实现,则每个块可以表示包括用于实现指定逻辑功能的程序指令的代码的模块、分段或部分。程序指令可以以源代码的形式实现,该源代码包括以编程语言编写的人类可读语句或包括可由诸如计算机系统或其他系统中的处理器之类的适当执行系统识别的数值指令的机器代码。机器代码可以从源代码等转换而来。如果以硬件实现,则每个块可以表示一个电路或多个互连电路以实现指定的逻辑功能。
上述实施例可应用于除日文之外的字符和字符串,诸如中文、德文、葡萄牙文等其他语言。

Claims (18)

1.一种手写输入装置,其显示基于接触触摸面板的输入单元的位置手写的笔画数据,所述手写输入装置包括:
电路,该电路被配置为:
接收手写输入操作,用户通过手写输入操作输入笔画数据;
在输入所述笔画数据时,识别笔画数据并将所述笔画数据转换成文本数据,和
在显示器上显示随着手写输入操作的进行而识别的笔画数据,和操作指南,所述操作指南包括在输入所述笔画数据时转换的文本数据的一个或多个可选择字符串候选项;
基于识别的笔画数据来认证用户;以及
显示显示组件,所述显示组件用于在成功认证所述用户时接受所述用户的登录,所述显示组件显示在所述操作指南中。
2.根据权利要求1所述的手写输入装置,所述电路还被配置为:
基于转换的文本数据来识别要由所述手写输入装置执行的操作命令,
其中,所显示的显示组件指示与所述转换的文本数据对应的所述操作命令。
3.根据权利要求2所述的手写输入装置,
其中,在所述转换的文本数据与用于登记手写签名数据的手写签名数据登记操作命令的字符串一致的情况下,所显示的显示组件指示手写签名数据登记操作命令。
4.根据权利要求2所述的手写输入装置,
其中,在转换的所述文本数据与用于退出的退出操作命令的字符串一致的情况下,所显示的显示组件指示退出操作命令。
5.根据权利要求4所述的手写输入装置,所述电路还被配置为:
通过与输入单元通信,接收控制数据,所述控制数据包括所述输入单元的输入单元标识信息,
在存储器中存储接收到的输入的控制数据,以及
响应于按下用于接受用户登录的显示组件,将由认证控制单元确定为被成功认证的用户的用户标识信息与包括在接收到的控制数据中的输入单元标识信息相关联地登记在存储器中。
6.根据权利要求5所述的手写输入装置,其中所述电路还被配置为:
响应于按下用于接受用户登录的显示组件,从存储器获取与输入单元标识信息相关联的用户标识信息,并且
使用由认证控制单元确定为被成功认证的用户的用户定义数据来执行后续操作命令。
7.根据权利要求6所述的手写输入装置,
其中,所述用户定义数据为所述用户定义用户名、密码或文件夹文件名,并且
所述电路还被配置为将由所述用户标识信息指定的所述用户名、所述密码或所述文件夹文件名设置到所述操作命令,并执行所述操作命令。
8.根据权利要求6所述的手写输入装置,
其中,在转换的文本数据与用于改变所述用户定义数据的改变用户定义数据操作命令的字符串部分一致的情况下,所显示的显示组件指示所述改变用户定义数据操作命令。
9.根据权利要求3所述的手写输入装置,
其中,响应于按下手写签名数据操作命令,显示用于登记所述手写签名数据的表格,并且在存储器中登记输入到所述表格中的所述手写签名数据。
10.根据权利要求9所述的手写输入装置,其中所述电路还被配置为:
将数字分配给标识所述手写签名数据的所述手写签名数据标识信息,将另一数字分配给所述用户标识信息,并且将用户的用户定义数据与所述手写签名数据标识信息和所述用户标识信息相关联地登记。
11.根据权利要求8所述的手写输入装置,
其中,响应于改变用户定义数据操作命令的按下,显示用于接收所述用户定义数据的改变的表格,并且根据输入到所述表格中的改变值来改变所述用户定义数据。
12.根据权利要求5所述的手写输入装置,
其中,响应于退出操作命令的按下,删除与输入单元标识信息相关联的用户标识信息。
13.根据权利要求9所述的手写输入装置,
其中,在接收手写输入到表格中的情况下,不区分被输入到所述表格中的所述手写输入与被输入到除所述表格以外的手写输入。
14.根据权利要求2所述的手写输入装置,
其中,在与所述笔画数据的位置相对应的位置处显示所述操作指南。
15.根据权利要求2所述的手写输入装置,
其中,基于所述笔画数据的位置在屏幕中的位置处显示所述操作指南。
16.根据权利要求1所述的手写输入装置,
其中,基于所述笔画数据是否符合先前登记的手写签名数据来认证用户。
17.一种手写输入方法,其中,手写输入装置显示基于与触摸面板接触的输入单元的位置而手写的笔画数据,所述手写输入方法包括:
接收手写输入操作,用户通过手写输入操作输入笔画数据;
识别所述笔画数据;
将所述笔画数据转换成文本数据;
在显示器上显示随着手写输入操作的进行而识别的笔画数据,和操作指南,所述操作指南包括转换的文本数据的一个或多个可选择字符串候选项;
基于识别的笔画数据来认证用户;以及
显示显示组件,所述显示组件用于在成功认证所述用户时接受所述用户的登录,所述显示组件显示在所述操作指南中。
18.一种记录介质,其记录用于手写输入装置的程序,所述手写输入装置用于显示基于接触触摸面板的输入单元的位置而手写的笔画数据,所述程序执行:
接收手写输入操作,用户通过手写输入操作输入笔画数据;
识别所述笔画数据;
将所述笔画数据转换成文本数据;
在显示器上显示随着手写输入操作的进行而识别的笔画数据,和操作指南,所述操作指南包括转换的文本数据的一个或多个可选择字符串候选项;
基于识别的笔画数据来认证用户;以及
显示显示组件,所述显示组件用于在成功认证所述用户时接受所述用户的登录,所述显示组件显示在所述操作指南中。
CN202010264495.4A 2019-04-11 2020-04-07 手写输入装置、手写输入方法、程序以及输入系统 Active CN111814530B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2019-075826 2019-04-11
JP2019075826 2019-04-11
JP2020-034338 2020-02-28
JP2020034338A JP7354878B2 (ja) 2019-04-11 2020-02-28 手書き入力装置、手書き入力方法、プログラム、入力システム

Publications (2)

Publication Number Publication Date
CN111814530A CN111814530A (zh) 2020-10-23
CN111814530B true CN111814530B (zh) 2024-05-28

Family

ID=72831446

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010264495.4A Active CN111814530B (zh) 2019-04-11 2020-04-07 手写输入装置、手写输入方法、程序以及输入系统

Country Status (2)

Country Link
JP (1) JP7354878B2 (zh)
CN (1) CN111814530B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112597851A (zh) * 2020-12-15 2021-04-02 泰康保险集团股份有限公司 签名的获取方法、装置、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1947562A3 (en) * 2007-01-19 2013-04-03 LG Electronics Inc. Inputting information through touch input device
EP2874099A1 (en) * 2013-11-14 2015-05-20 Wacom Co., Ltd. Dynamic handwriting verification and handwriting-based user authentication

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003068619A (ja) 2001-08-28 2003-03-07 Canon Inc 製造装置、デバイス製造方法、半導体製造工場および製造装置の保守方法
JP2003271966A (ja) * 2002-03-19 2003-09-26 Fujitsu Ltd 手書き入力認証装置、手書き入力認証方法、および手書き入力認証プログラム
JP2003345505A (ja) 2002-05-23 2003-12-05 Takeo Igarashi 固有のデバイスidを有する入力操作手段を用いるコンピュータシステム
JP2007042050A (ja) 2005-06-30 2007-02-15 Canon Inc 情報処理装置、情報処理の制御方法及びプログラム
JP2007156905A (ja) 2005-12-06 2007-06-21 Toshiba Corp 情報処理装置、情報処理システム、情報処理方法および情報処理プログラム
JP6480710B2 (ja) 2014-11-14 2019-03-13 株式会社ワコム 手書きデータ検証方法及びユーザ認証方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1947562A3 (en) * 2007-01-19 2013-04-03 LG Electronics Inc. Inputting information through touch input device
EP2874099A1 (en) * 2013-11-14 2015-05-20 Wacom Co., Ltd. Dynamic handwriting verification and handwriting-based user authentication

Also Published As

Publication number Publication date
JP2020173788A (ja) 2020-10-22
CN111814530A (zh) 2020-10-23
JP7354878B2 (ja) 2023-10-03

Similar Documents

Publication Publication Date Title
WO2021070972A1 (en) Display apparatus, color supporting apparatus, display method, and program
EP3722935B1 (en) Handwriting input apparatus, handwriting input method, program, and input system
CN112825022B (zh) 显示装置、显示方法、介质
US11132122B2 (en) Handwriting input apparatus, handwriting input method, and non-transitory recording medium
JP7452155B2 (ja) 手書き入力装置、手書き入力方法、プログラム
JP7456287B2 (ja) 表示装置、プログラム、表示方法
EP3867733A1 (en) Input apparatus, input method, program, and input system
CN111814530B (zh) 手写输入装置、手写输入方法、程序以及输入系统
EP3825868A1 (en) Display apparatus, display method, and program
JP7259828B2 (ja) 表示装置、表示方法、プログラム
WO2022045177A1 (en) Display apparatus, input method, and program
EP3825831A1 (en) Display apparatus, display method, and program
JP2021096844A (ja) 表示装置、表示方法、プログラム
EP3882757A1 (en) Display device, display method, and program
JP2021064366A (ja) 表示装置、カラー対応装置、表示方法、プログラム
WO2020080300A1 (en) Input apparatus, input method, program, and input system
JP2020190892A (ja) 表示装置、プログラム、表示方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant