CN111813254B - 手写输入装置、手写输入方法以及记录介质 - Google Patents

手写输入装置、手写输入方法以及记录介质 Download PDF

Info

Publication number
CN111813254B
CN111813254B CN202010274952.8A CN202010274952A CN111813254B CN 111813254 B CN111813254 B CN 111813254B CN 202010274952 A CN202010274952 A CN 202010274952A CN 111813254 B CN111813254 B CN 111813254B
Authority
CN
China
Prior art keywords
handwriting
control unit
data
input device
handwriting input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010274952.8A
Other languages
English (en)
Other versions
CN111813254A (zh
Inventor
笠谷洁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Publication of CN111813254A publication Critical patent/CN111813254A/zh
Application granted granted Critical
Publication of CN111813254B publication Critical patent/CN111813254B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545Pens or stylus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Character Discrimination (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一种手写输入装置,用于基于与触摸面板接触的输入设备的位置来显示手写笔画数据。所述手写输入装置包括:控制数据存储单元,其被配置为与从所述输入设备接收的所述输入设备的标识信息相关联地存储关于所述输入设备的控制数据;以及显示控制单元,其被配置为将与从所述输入设备接收的所述输入设备的所述识别信息相关联的所述控制数据反映在所述笔画数据中,并且在显示单元上显示基于所述笔画数据的信息。

Description

手写输入装置、手写输入方法以及记录介质
技术领域
本发明涉及手写输入装置、手写输入方法以及记录介质。
背景技术
在普通计算机控制的白板装置或能够接收手写输入的应用(下文中称为手写输入装置)中,输入设备限于笔或手指。为此,为用户提供操作菜单,以通过切换的方式使用笔功能菜单来改变字符的颜色以及使用编辑功能菜单来删除字符等。通常,可以使用笔功能菜单来选择颜色、厚度等;可以使用编辑功能菜单来选择删除、移动、尺寸改变、旋转、切割、复制、粘贴等(例如,参见日本特开专利申请2018-026185)。
日本特开专利申请2018-026185开了一种手写输入装置,其中响应于用户按压笔按钮而显示颜色设置、透明度设置、厚度设置、线型设置、印章设置和操作设置的菜单。
本发明要解决的问题
存在的问题在于,难以根据笔在不同的设置中实现手写输入。例如,多个用户可以使用具有笔的手写输入装置,但是不可能每个用户都根据笔以不同的设置来执行手写。
鉴于上述问题,本发明的一个方面旨在提供一种能够根据笔以不同的设置来实现手写输入的手写输入装置。
发明内容
根据本发明的方面,一种手写输入装置,用于基于与触摸面板接触的输入设备的位置来显示手写笔画数据,所述手写输入装置包括:控制数据存储单元,其被配置为与从所述输入设备接收的所述输入设备的标识信息相关联地存储关于所述输入设备的控制数据;显示控制单元,其被配置为将与从所述输入设备接收的所述输入设备的所述识别信息相关联的所述控制数据反映在所述笔画数据中,并且在显示单元上显示基于所述笔画数据的信息;以及手写识别控制单元,其被配置为识别所述笔画数据并将所述笔画数据转换为一个或多个文本数据集,
所述控制数据存储单元被配置为存储使用所述输入设备的用户相对于所述手写输入装置的预定方向的角度信息作为所述控制数据,并且
所述显示控制单元被配置为将所述角度信息反映在所述笔画数据中,并且基于所述笔画数据来显示所述信息,
其中,
所述手写识别控制单元进一步被配置为基于所述角度信息旋转所述笔画数据,然后识别所述笔画数据,并将所述笔画数据转换为所述一个或多个文本数据集,并且
所述显示控制单元被配置为显示所述一个或多个文本数据集作为基于所述笔画数据的所述信息,
所述手写识别控制单元被配置为,使得所述控制数据存储单元将基于由在预定区域中手写的线和所述预定方向形成的角度而确定的所述角度信息与所述输入设备的所述识别信息相关联地存储,其中,所述输入设备的所述识别信息是当手写所述线的所述笔画数据时从所述输入设备接收的信息,
所述预定区域是显示从所述转换获取的所述一个或多个文本数据集的区域,并且,
所述用户能够通过在所述预定区域手写所述线来输入所述角度信息,
所述手写识别控制单元被配置为从所述预定区域检测所述线,以将在所述预定区域之外手写的笔画数据转换为所述一个或多个文本数据集。
可以提供根据本发明的方面的手写输入装置,利用该手写输入装置,可以根据笔在不同的设置中实现手写。
当结合附图阅读以下详细描述时,本发明的其它目的、特征和优点将变得更加明显。
附图说明
图1A和图1B描绘了由手写输入装置显示的操作菜单的比较示例;
图2A和图2B描绘了使用手写输入装置的示例;
图3描绘了手写输入装置的处理概要;
图4描绘了笔的示例的透视图;
图5描绘了手写输入装置的整体视图的示例;
图6描绘了手写输入装置的硬件配置;
图7A和图7B描绘了用于例示手写输入装置的功能示例的功能框图;
图8描绘了用于例示与手写输入装置提供的用户认证相关的功能的示例的功能框图;
图9描绘了定义控制数据的示例;
图10描绘了手写识别字典单元的字典数据的示例;
图11描绘了字符串转换字典单元的字典数据的示例;
图12描绘了预测转换字典单元的字典数据的示例;
图13A和图13B描绘了由操作命令定义单元存储的操作命令定义数据和系统定义数据的示例;
图14描绘了使用手写对象选择了选择对象的情况下的操作命令定义数据的示例;
图15描绘了手写输入存储单元所存储的手写输入存储数据;
图16A和图16B描绘了用于例示由笔ID控制数据存储单元存储的笔ID控制数据的图;
图17描绘了操作指南和在操作指南处显示的可选择候选项的示例;
图18A和图18B描绘了操作指南和手写对象矩形区域轮廓之间的位置关系;
图19描绘了显示在手写对象矩形区域轮廓上方的操作指南;
图20A至图20D描绘了确定所选对象的示例;
图21A和图21B描绘了对于存在手写对象的情况,基于操作命令定义数据显示操作命令候选项的示例;
图22A和图22B描绘了对于存在手写对象的情况,基于操作命令定义数据显示操作命令候选项的示例;
图23A至图23C描绘了用于例示输入90度的角度信息的方法的图;
图24A至图24C描绘了用于例示输入90度的角度信息的方法的图;
图25描绘了用于例示用于输入角度信息的其他方法的图;
图26至图32描绘了用于例示手写输入装置显示字符串候选项和操作命令候选项的处理的序列图;
图33A和图33B描绘了用于例示以相同取向显示多组文本数据的示例的图;
图34至图37描绘了用于例示手写输入装置的其他配置示例的图;
图38描绘了手写输入装置的系统配置示例(第二实施例);
图39描绘了信息处理系统的硬件配置的示例;
图40描绘了用于例示手写输入系统的功能的功能框图的示例;以及
图41至图48描绘了用于例示手写输入装置显示字符串候选项和操作命令候选项的处理的序列图。
具体实施方式
根据本发明的一个方面,目的是允许手写输入装置正确地识别手写对象,例如由相对于手写输入装置在各个方向上的用户手写的手写字符,使得由这些用户手写的手写对象也相应地相对于手写输入装置在各个方向上。
根据本发明的该方面,允许用户输入角度信息,该角度信息允许手写输入装置考虑到手写对象由于在相对于手写输入装置的各个方向上的用户手写而定向的各个方向来正确地识别在各个方向上手写的手写对象。
作为本发明的实施例的示例,将参照附图描述手写输入装置和由手写输入装置实现的手写输入方法。
[第一实施例]
<手写输入装置的比较示例>
为了便于描述根据本发明第一实施例的手写输入装置,首先将简要描述比较示例中手写输入装置的操作过程。
图1A描绘了比较示例的手写输入装置所显示的操作菜单。在操作面板101上显示用于显示笔功能菜单102的笔功能菜单按钮1021、用于显示编辑功能菜单103的编辑功能菜单按钮1031和用于显示输入/输出功能菜单104的输入/输出功能菜单按钮1041。
笔功能菜单102允许用户选择笔的颜色、粗细和操作模式。笔功能菜单102包括手写输入模式按钮1022和整洁书写输入模式按钮1023。编辑功能菜单103允许用户删除、选择、剪切、复制或粘贴对象;输入/输出功能菜单104允许用户读取模板、读取文件、保存文件、执行打印等。
当按压手写输入模式按钮1022时,按原样输入从用户的手写获取的信息(笔的坐标)。响应于按压整洁书写输入模式按钮1023,显示文本数据,该文本数据是作为由用户手写的字符、数字、符号、英文字符等被识别和转换(转换成整洁版本)的结果而获取的。
作为比较示例中的手写输入装置的操作过程的示例,现在将描述在用户用笔手写直线或曲线(下文中,称为笔画)以删除笔画和新写入笔画之后要执行的操作过程。除非另有说明,用笔按压是指用笔尖按压。
(A1)用户用笔按压编辑功能菜单按钮1031以使得编辑功能菜单103被显示。
(A2)响应于用户按压编辑功能菜单103的“删除”按钮1032,手写输入装置自动删除编辑功能菜单103。
(A3)响应于用户在要删除的多个笔画上用笔书写一行,删除笔画。
(A4)然后用户用笔按压笔功能菜单按钮1021。
通过该过程,要删除的笔画被删除,因此,允许用户用笔新手写笔画。因此,根据比较示例,多达四个步骤用于简单地删除笔画。尽管步骤数目和屏幕转换不同,但是比较示例中的许多手写输入装置具有类似的用户操作系统。这样的用户操作系统通常是计算机产品所共有的,并且基于用于调用用户希望使用的功能的用户操作系统。根据这样的用户操作系统,因为用户在不知道如何调用功能的情况下不能使用功能,所以手写输入装置通过使用指导功能或帮助功能来向用户提供用于调用功能的信息是常见的实践。
类似地,如果用户希望输入或输出诸如归档或打印信息之类的信息,则用户使得输入/输出功能菜单104被显示。例如,要读取模板,执行以下过程。
(B1)响应于用户用笔按压输入/输出功能菜单按钮1041,显示输入/输出功能菜单104。
(B2)响应于用户用笔按压输入/输出功能菜单104中的“模板选择”按钮1042,删除输入/输出功能菜单104并显示模板选择窗口。
(B3)用户用笔按压左按钮和右按钮以滚动显示的图像,直到显示期望的模板。
(B4)响应于用户用笔按压所需模板,读取模板并删除模板选择窗口。
类似地,为了将用户书写的(例如)字符转换为文本数据,执行以下过程。
(C1)用户用笔按压笔功能菜单按钮1021。
(C2)用户用笔按压整洁书写输入模式按钮1023。
在已经按压整洁书写输入模式按钮1023的状态下,手写字符“abcde”被转换为文本数据“abcde”,如图1B所示。文本数据以字体显示,因此具有简洁的字符版本。
因此,在比较示例中的手写输入装置中使用逐步的用户操作过程。换句话说,因为基本上使用以解释方式指导用户进行下一步骤的用户操作系统,所以用户难以直观地操作手写输入装置。
<手写输入装置的实际使用示例>
手写输入装置2不仅可以在垂直于地板安装的状态下使用,而且可以在水平地安装在地板上保持的状态下使用。
图2A和图2B描绘了用于例示手写输入装置2的使用示例的图。在图2A中,手写输入装置2安装在书桌上,显示器朝上(这种类型的安装被称为平面安装)。坐在椅子上并且围绕手写输入装置2彼此面对(图2A中的面对面)的用户执行手写操作。
在这种情况下,通常,用户在用户可以正常读取字符的垂直方向上手写例如每个字符(参见图2B)。然而,在整洁书写输入模式下,只有当用户在预定位置(在从手写输入装置2观看的预定方向上)手写字符时,才能正确地执行手写识别。假设用户A是在如图2B所示的预定位置处的用户,则由于用户B或C手写的字符“abc”相对于用户A手写的字符“abc”进行反转,所以用户B和用户C书写的例如字符的手写没有被手写输入装置2正确地识别。
这是因为普通的手写识别引擎仅在每个字符的手写在预定方向上时才能够正确地识别字符。正确识别意味着可以用实际识别率(或识别率)来实现识别。预定方向例如是当手写输入装置2垂直于地板安装时的垂直方向(在图5的(a)的状态下的垂直方向,这将在后面描述)。
当手写输入装置2在垂直于地板安装的状态下(在被安装在墙壁或支架等上的状态下)使用时,由于用户不进行上下颠倒的书写,因此不太可能发生任何不便。然而,在如图2A和图2B所示的使用示例中,当从手写识别引擎观察时,用户B和用户C的字符被旋转180度(反转或倒置),并且不可能正确地识别手写字符。
根据计算机或操作系统,可通过预定操作(例如,“Ctrl”+“Alt”+“箭头”键)将整个屏幕页面旋转90度。换句话说,用户可以旋转手写识别引擎的整个屏幕页面以正确地识别手写对象,例如,用户手写的字符。然而,该方法不允许手写字符识别,例如,识别手写,例如,如在图2A和图2B的情况下由相互对立的用户书写的字符。
<实施例手写输入装置的处理概述>
因此,在根据本实施例的手写输入装置2中,可以根据每个用户以不同的设置来实现手写输入。
图3描绘了例示手写输入装置2的处理的概要的图的示例。在手写输入装置2的周围(四边)有四个用户(A-D)。为便于说明,假设:
例如,当从A的位置书写为0度时字符的角度;
例如,当从B的位置书写时字符的角度是90度;
例如,当从C的位置书写时字符的角度是180度;并且
例如,当从D先生的位置书写时,字符的角度是270度。
每个用户拿着笔2500并且用笔2500执行手写。笔2500存储识别信息(以下称为笔ID)。使用该ID,手写输入装置2将笔ID与关于用户手写字符的方向的相应角度信息相关联。即,当用户开始使用手写输入装置2时,当用户使用笔2500手写例如字符时(当度数为0时,不需要输入)),用户输入角度信息(90度、180度或270度)。如稍后将详细描述的,可以通过简单的操作来输入关于例如字符书写的角度信息,并且使得笔ID与角度信息相关联。
在图3中,每个用户手写例如字符“abc”。手写输入装置2使用已经手写“abc”的笔2500的笔ID来识别角度信息,以顺时针方向旋转具有角度信息的手写“abc”,然后执行字符识别。旋转在内部执行,并且所显示的例如字符实际上不旋转。在内部意味着手写输入装置2处理数据。然而,在逆时针旋转之后显示稍后将描述的操作指南。图3描绘了其中由用户C书写的字符“abc”旋转180度(由于字符仅在内部旋转而不显示)的示例。由于通过旋转(角度变为0度),字符在图3中被定向为直立,因此手写输入装置2可以正确地识别字符。
如上所述,根据本实施例,可以根据笔(或用户)以不同的设置(在这种情况下,不同的角度信息)来实现手写输入。因此,即使手写输入装置2周围的用户在平面安装中手写例如字符,也可以由手写输入装置2正确地识别字符。除了上述角度信息之外,还可以为每个用户设置字体粗细、颜色、纹理等。
<术语>
作为“输入设备”,可以使用能够在触摸面板上执行手写的任何设备。示例包括笔、人的手指、人手和杆状构件。另外,可以使得视线输入成为可能。
笔画数据表示指示自由手写行的数据。笔画数据具有一组连续的点,并且可以在适当时进行内插。
操作命令表示指示执行准备操作手写输入装置2的特定处理的指令的命令。根据本实施例,例如,编辑系统、修改系统、输入/输出系统和笔状态的操作命令是操作命令的示例。实际上,在操作命令的示例中包括用于操作手写输入装置2的所有命令,诸如图像旋转180度、页面切换、操作模式的设置等。
关于输入设备的控制数据是关于如何处理由输入设备输入的笔画数据的信息。示例包括颜色、粗细、图案和角度。在本实施例中,关于输入设备的控制数据被描述为笔ID控制数据。笔ID控制数据反映在笔画数据中。
基于笔画数据的信息表示基于笔画数据生成的信息。示例包括手写识别对象可被转换为的候选项和上述操作命令。
<笔外观的示例>
图4描绘了笔2500的透视图的示例。图4描绘了多功能笔2500的示例。具有内置电源并且能够向手写输入装置2发送指令的笔2500被称为有源笔(没有电源的笔被称为无源笔)。图4中的笔2500在笔尖具有一个物理开关,在笔的后端具有一个物理开关,并且在笔的侧面具有两个物理开关。笔尖开关用于书写,后端开关用于删除,侧开关用于分配用户功能。本实施例的笔2500设置有非易失性存储器,并且存储在笔中唯一的笔ID。
通过使用设置有这些开关的这种笔,可以减少操作手写输入装置2的用户的操作步骤。设置有开关的这种笔主要是有源笔。然而,即使不具有电磁感应型的内置电源的无源笔也可以仅使用LC电路来产生电力,因此,这种电磁感应无源笔也可以用作设置有上述开关的笔。除了这种电磁感应无源笔之外,设置有光学、红外或电容开关的笔也是一种有源笔。
用户可以将侧开关中的一个分配给笔功能菜单102,而将另一个分配给编辑功能菜单103。虽然用户通过按压有源笔110的相应侧按钮来使得笔功能菜单102或编辑功能菜单103被显示是方便的,在每次改变用户希望处理的对象时通过按压侧按钮来使笔功能菜单102或编辑功能菜单103被显示时,用户的麻烦没有显著减少。
通过使用笔后端删除开关,可以省略上述步骤(A1)、(A2)和(A4),并且通过使用笔后端代替步骤(A3)中的笔尖,可以将删除过程的步骤数目从4减少到1。
笔2500的硬件配置与包括通信功能和微计算机的公共控制系统相同。笔2500的坐标输入方法例如可以是电磁感应方法或有源静电耦合方法。笔2500例如可以具有书写压力检测功能、倾斜检测功能和/或悬停功能(指示在笔触摸触摸面板之前的光标)。
<手写输入装置的整体配置>
将参照图5描述根据本实施例的手写输入装置2的整体配置。图5描绘了用于例示手写输入装置2的整体配置的图。在图5的(a)中,作为手写输入装置2的示例,手写输入装置2用作水平较长并且垂直悬挂在墙上的电子黑板。
如图5的(a)中所示,在手写输入装置2上安装有作为显示设备示例的显示器220。用户U使用笔2500在显示器220上手写(即,输入或绘制)例如字符。
图5的(b)描绘了用作电子黑板的手写输入装置2,该电子黑板垂直地较长并且垂直地悬挂在墙上。
图5的(c)描绘了平面安装在桌子230上的手写输入装置2。因为手写输入装置2大约1cm厚,所以即使这种类型的手写输入装置2平放在普通桌上,也不需要调整桌子的高度。另外,这种类型的手写输入装置2可以容易地移动。
<装置的硬件配置>
现在将参照图6描述手写输入装置2的硬件配置。手写输入装置2具有如图6所示的信息处理装置或计算机的配置。图6描绘了手写输入装置2的硬件配置的一个示例。如图6中所示,手写输入装置2包括CPU(中央处理单元)、ROM(只读存储器)202、RAM(随机存取存储器)203和SSD(固态驱动器)204。
CPU 201控制整个手写输入装置2的操作。ROM 202存储用于驱动CPU 201的程序,诸如IPL(初始程序加载程序)。RAM 203被用作CPU 201的工作区域。SSD 204存储各种数据,诸如用于手写输入装置2的程序。
手写输入装置2还包括显示控制器213、触摸传感器控制器215、触摸传感器216、显示器220、电源开关227、倾斜传感器217、串行接口218、扬声器219、麦克风221、无线通信设备222、红外I/F 223、电源控制电路224、AC适配器225和电池226。
显示控制器213控制和管理屏幕显示,以将输出图像输出到显示器220。触摸传感器216检测到笔2500、用户的手等(笔或用户的手作为输入单元工作)与显示器220接触。触摸传感器216还接收笔ID。
触摸传感器控制器215控制触摸传感器216的处理。触摸传感器216实现坐标的输入和坐标的检测。用于输入坐标并检测坐标的方法例如是使用光学系统的方法,在该光学系统中,位于显示器220的上端和下端处的两个光发射和接收设备发射平行于显示器220的多个红外线,这些红外线被设置在显示器220周围的反射构件反射,并且接收通过与由光发射和接收设备发射的光的光路相同的光路返回的光。触摸传感器216向触摸传感器控制器215输出由两个光发射和接收设备发射并被触摸对象中断的红外线的位置信息,触摸传感器控制器215确定作为对象的触摸位置的坐标位置。触摸传感器控制器215还包括可以与笔2500无线通信的通信单元215a。例如,当触摸传感器控制器215根据诸如蓝牙的标准执行通信时,可以使用市场上可买到的笔。响应于预先在通信单元215a中登记了一个或多个笔2500,用户不需要执行用于使笔2500能够与手写输入装置2通信的连接设置。
电源开关227是用于接通和关断手写输入装置2的电源的开关。倾斜传感器217是检测手写输入装置2的倾斜角度的传感器。倾斜传感器217主要用于检测在图5的(a)、(b)或(c)的安装状态下是否使用手写输入装置2,例如可以根据安装状态自动改变字符的粗细。
串行接口218是与诸如USB的外部设备的通信接口。串行接口218用于输入来自外部设备的信息。扬声器219用于声音输出,麦克风221用于声音输入。无线通信设备222与用户持有的终端通信,并且中继到例如互联网的连接。无线通信设备222可以经由Wi-Fi、蓝牙等进行通信,并且还可以经由任何其它通信标准进行通信。无线通信设备222充当接入点,作为用户向用户持有的终端设置SSID(服务集标识符)和密码的结果,用户可以使终端与接入点连接。
无线通信设备222可以具有以下两个接入点:
a.接入点→互联网
b.接入点→内联网→互联网
接入点“a”用于外部(来宾)用户;来宾用户无法访问内联网,但可以使用互联网。
接入点“b”用于内部用户(即,属于公司的用户);用户可以使用内联网和互联网。
红外I/F 223检测相邻的手写输入装置2。利用红外线的直线性,仅能检测出相邻的手写输入装置2。理想地,红外I/F 223被一个接一个地设置在手写输入装置2的每一侧上,使得可以检测另一个手写输入装置2在手写输入装置2的哪个方向上。结果,可以通过使用两个手写输入装置2来加宽显示屏幕,并且可以在相邻的手写输入装置2上显示过去书写的手写信息(手写信息的另一页,假定一个显示器220的大小为一页的大小)。
电源控制电路224控制作为手写输入装置2的电源的AC适配器225和电池226。AC适配器225将由商用电源供应的交流电转换为直流电。
在显示器220是所谓的电子纸的形式的情况下,显示器220消耗很少的电力或不消耗电力以维持显示图像,因此可以通过电池226驱动显示器220。结果,即使在诸如户外场所的难以连接电源的场所,也可以将手写输入装置2用于诸如数字签名的应用。
手写输入装置2还包括总线210。总线210包括用于电连接诸如图6所示的CPU 201的元件的地址总线、数据总线等。
触摸传感器216不限于光学型传感器。可以使用各种检测系统,例如其中通过检测电容的变化来确定触摸位置的静电电容型触摸面板;其中通过两个相互面对的电阻膜之间的电压变化来确定触摸位置的电阻膜型触摸面板;以及电磁感应类型,其中检测当触摸对象触摸显示部分时产生的电磁感应并且确定触摸位置。触摸传感器216可以是不使用电子笔来检测是否存在对笔尖的触摸的系统。在这种情况下,指尖或笔形杆可用于实现触摸操作。注意,笔2500不需要具有细长的笔形状。
<装置的功能>
现在将参照图7A来描述手写输入装置2的功能。图7A描绘了用于例示手写输入装置2的功能的功能框图的示例。手写输入装置2包括手写输入单元21、显示单元22、手写输入显示控制单元23、候选显示定时器控制单元24、手写输入存储单元25、手写识别控制单元26、手写识别字典单元27、字符串转换控制单元28、字符串转换字典单元29、预测转换控制单元30、预测转换字典单元31、操作命令识别控制单元32和操作命令定义单元33。手写输入装置2的这些功能是作为根据从SSD 204读取并写入RAM 203中的程序、根据来自CPU 201的指令进行操作的图6所示的元件的结果来实现的。
手写输入单元21由触摸传感器216等实现,接收用户的手写输入,并接收笔ID。手写输入单元21将用户的笔输入d1转换为笔操作数据d2(笔移除、笔触摸或笔坐标数据),并将转换后的数据发送到手写输入显示控制单元23。笔坐标数据作为离散值被周期性地发送,并且离散值之间的坐标通过计算被内插。
显示单元22由显示器220等实施,以显示手写对象或操作菜单。显示单元22将手写输入显示控制单元23写入视频存储器中的绘图数据d3转换为与显示器220的特性相对应的数据,并将转换后的数据发送到显示器220。显示单元22根据用户的位置显示基于笔画数据的信息。
手写输入显示控制单元23执行关于手写输入和显示的整体控制。手写输入显示控制单元23处理来自手写输入单元21的笔操作数据d2,并通过将笔操作数据d2发送到显示单元22来显示笔操作数据d2。稍后将参照图26至图32更详细地描述笔操作数据d2的处理和笔画的显示。
候选显示定时器控制单元24提供用于可选择候选项的显示控制定时器,生成用于启动和停止定时器的定时,以启动可选择候选项的显示并删除该显示。可选择候选项是在稍后描述的操作指南中显示的手写识别字符串/语言字符串候选项、转换字符串候选项、字符串/预测转换候选项和操作命令候选项。候选显示定时器控制单元24从手写输入显示控制单元23接收定时器启动请求d4或定时器停止请求d4,并且将超时事件d5发送到手写输入显示控制单元23。
手写输入存储单元25具有用于存储用户数据(手写对象和字符串对象)的存储功能。手写输入存储单元25从手写输入显示控制单元23接收用户数据d6-1,并将该数据存储在手写输入存储单元25中。手写输入存储单元25从手写输入显示控制单元23接收获取请求d6-2,并发送存储在手写输入存储单元25中的用户数据d7。手写输入存储单元25将固定对象的位置信息d36发送到操作命令识别控制单元32。
手写识别控制单元26是用于执行在线手写识别的识别引擎。与普通OCR(光学字符读取器)不同,与用户的笔操作并行地识别字符(各种语言,不仅是日文,而且还有英文等等)、数字、符号(%、$、&等等)和几何形式(线、圆、三角形等等)。已经为识别方法设计了各种算法;关于本实施例,省略了对详细识别算法的描述,因为可以使用公知的技术。
手写识别控制单元26从手写输入显示控制单元23接收笔操作数据d8-1,执行手写识别,并存储由此获取的手写识别字符串候选项。手写识别控制单元26存储通过使用手写识别字典单元27从手写识别字符串候选项d12转换获取的语言字符串候选项。响应于从手写输入显示控制单元23接收到获取请求d8-2,手写识别控制单元26将存储的手写识别字符串候选项和语言字符串候选项d9发送到手写输入显示控制单元23。
手写识别字典单元27具有用于手写识别语言转换的字典数据。手写识别字典单元27从手写识别控制单元26接收手写识别字符串候选项d12,将手写识别字符串候选项转换为语言上可能的语言字符串候选项d13,并将转换结果发送到手写识别控制单元26。例如,在日文的情况下,手写识别字典单元27用于将平假名字符转换为汉字字符或片假名字符。
字符串转换控制单元28控制向转换后的字符串候选项的转换。“转换后的字符串”是很可能被创建的字符串,包括手写识别字符串或语言字符串。字符串转换控制单元28从手写识别控制单元26接收手写识别字符串候选项和语言字符串候选项d11,使用字符串转换字典单元29将这些候选项转换为转换后的字符串候选项,并存储转换结果。响应于从手写输入显示控制单元23接收到获取请求d14,将存储的转换后字符串候选项d15发送到手写输入显示控制单元23。
字符串转换字典单元29具有用于字符串转换的字典数据。字符串转换字典单元29从字符串转换控制单元28接收手写识别字符串和语言字符串候选项d17,并将转换后字符串候选项d18发送到字符串转换控制单元28。
预测转换控制单元30从手写识别控制单元26接收手写识别字符串和语言字符串候选项d10,并且从字符串转换控制单元28接收转换后字符串候选项d16。预测转换控制单元30使用预测转换字典单元31将手写识别字符串候选项、语言字符串候选项和转换后字符串候选项转换为预测字符串候选项。“预测字符串”是很可能被创建的字符串,包括手写识别字符串候选、语言字符串或转换后字符串。响应于从手写输入显示控制单元23接收到获取请求d19,预测字符串候选项d20被发送到手写输入显示控制单元23。
预测转换字典单元31具有用于预测转换的字典数据。预测转换字典单元31从预测转换控制单元30接收手写识别字符串候选项、语言字符串候选项和转换后字符串候选项d21,并将预测字符串候选项d22发送到预测转换控制单元30。
操作命令识别控制单元32从手写识别控制单元26接收手写识别字符串和语言字符串候选项d30,并从字符串转换控制单元28接收转换后字符串候选项d28。操作命令识别控制单元32从预测转换控制单元30接收预测串候选项d29。对于这些字符串候选项,操作命令识别控制单元32向操作命令定义单元33发送操作命令转换请求d26,并从操作命令定义单元33接收操作命令候选项d27。操作命令识别控制单元32存储接收到的操作命令候选项d27。
在这点上,响应于操作命令转换请求d26与操作命令定义部分相同(即,部分或完全相同),操作命令定义单元33将操作命令候选项d27发送到操作命令识别控制单元32。
操作命令识别控制单元32从手写输入显示控制单元23接收笔操作数据d24-1,并向手写输入存储单元25发送针对已输入并固定的固定对象的位置信息获取请求d23。操作命令识别控制单元32存储由笔操作数据确定的固定对象作为选择的对象(包括位置信息)。操作命令识别控制单元32利用笔操作数据d24-1的位置来识别满足预定标准的所选对象。响应于从手写输入显示控制单元23接收到获取请求d24-2,被识别为操作命令候选项的存储的选择对象d25被发送到手写输入显示控制单元23。
笔ID控制数据存储单元36(可以简称为存储单元)存储笔ID控制数据。在手写输入显示控制单元23将显示数据发送到显示单元22之前,笔ID控制数据存储单元36将笔ID控制数据d41发送到手写输入显示控制单元23。手写输入显示控制单元23基于在与笔ID相关联地存储的操作条件下的显示数据来绘制例如字符。此外,在手写识别控制单元26执行手写识别之前,笔ID控制数据存储单元36将笔ID控制数据的角度信息d44发送到手写识别控制单元26,并且手写识别控制单元26利用与笔ID相对应地存储的角度信息旋转笔画并执行手写识别。
在手写识别控制单元26识别出用于在用户手写例如字符时设置角度信息的直线之后,手写识别控制单元26将笔ID控制数据的角度信息d43发送到笔ID控制数据存储单元36,以将角度信息d43与笔ID相关联地存储在笔ID控制数据存储单元36中。在手写输入显示控制单元23执行用于设置角度信息的操作命令之后,手写输入显示控制单元23将笔ID控制数据d42发送到笔ID控制数据存储单元36,并且将操作命令的执行结果(由用户设置的角度信息)与笔ID相关联地存储在笔ID控制数据存储单元36中。然后,利用所设置的角度信息旋转笔ID的笔画,并且执行手写识别。
图7B描绘了用于例示笔2500的功能的功能框图。笔2500包括笔事件发送单元41。笔事件发送单元41将诸如笔移除、笔触摸和笔坐标的事件数据与笔ID一起发送到手写输入装置2。
<用户认证>
在本实施例中,使用用户认证的结果来执行控制,因此,期望手写输入装置2具有对用户进行认证的功能。因此,将参照图8描述与用户认证相关的功能。
图8描绘了用于例示与手写输入装置2的用户认证相关的功能的框图。在图8中,仅描述了用于与用户认证单元34相关的功能的手写输入显示控制单元23。然而,图7A-图7B中描绘的每个功能可以使用用户的认证结果。
认证信息获取单元35从用户获取认证信息d31。认证信息d31可以是IC卡的卡号、用户ID和密码、诸如指纹的生物信息等。用户认证单元34从认证信息获取单元35获取认证信息d32,在用户信息DB37中检索认证信息d33。响应于通过搜索找到对应用户,从用户信息DB 37检索对应用户信息d34。用户信息可以是表示用户属性的信息,例如,用户名、用户密码、计算机名、部门、权限等。
在用户认证单元34将用户信息d35发送到手写输入显示控制单元23之后,手写输入显示控制单元23可以使用用户信息来执行操作命令。将参照图13A和图13B来描述使用用户信息的操作命令。
代替具有认证功能的手写输入装置2,外部认证服务器可以具有认证功能。在这种情况下,手写输入装置2将认证信息发送到认证服务器,并从认证服务器获取认证结果和用户信息。
<定义控制数据>
接下来,将参照图9描述由手写输入装置2用于各种处理的定义控制数据。图9描绘了定义控制数据的示例。图8的示例描述了基于每个控制项的控制数据。
可选择候选显示定时器401定义时间,在经过该时间(第一时间的一个示例)之后显示可选择候选项。这是因为在手写期间不显示可选择候选项。图9描绘了除非在从笔移除起500ms的TimerValue内发生笔触摸,否则显示可选择的候选项。可选择候选显示定时器401由候选显示定时器控制单元24存储。在图28的步骤S18-2中的可选择候选显示定时器的启动时使用可选择候选显示定时器401,这将在下面进行描述。
可选择候选显示删除定时器402定义时间,所显示的可选择候选项在该时间(第二时间的一个示例)过去之后被删除。这是因为可选择候选项将响应于用户不从可选择候选项中进行选择而被删除。图9描绘了删除可选择候选显示,除非从可选择候选项的显示中在TimerValue=5000[ms]内选择了所显示的可选择候选项中的任何一个。可选择候选显示删除定时器402由候选显示定时器控制单元24保持。在图30的步骤S54中,在可选择候选显示删除定时器402的启动时使用可选择候选显示删除定时器402。
手写对象近似矩形区域403定义被视为近似手写对象的区域的矩形区域。根据图9的示例,手写对象近似矩形区域403是水平地比手写对象矩形区域大估计字符大小的50%并且垂直地大估计字符大小的80%的矩形区域。在图9所示的示例中,使用估计字符大小的百分比(%)。然而,在使用单位“mm”等的情况下,对应的长度可以是固定长度。手写对象近似矩形区域403由手写输入存储单元25存储。在图27的步骤S10中使用估计字符大小405来确定手写对象近似矩形区域和笔画矩形区域之间的重叠条件。
估计书写方向和字符大小确定条件404定义用于确定书写方向和字符大小测量方向的常数。根据图9的示例,对于以下情况:(i)在手写对象矩形区域的开始处添加笔画的时间与添加最后一个笔画的时间之间的差为MinTime=1000[ms]或更大,(ii)手写对象矩形区域的水平距离(宽度)和垂直距离(高度)之间的差是MinDiff=10[mm]或更大,并且(iii)水平距离比垂直距离长,估计书写方向被确定为“水平书写”并且估计字符大小被确定为垂直距离。对于水平距离短于垂直距离的情况,估计书写方向被确定为“垂直”,并且估计字符大小被确定为水平距离。对于不满足这些条件的情况,估计字符方向被确定为“水平书写”(DefaultDir=“水平”),并且估计字符大小被确定为水平距离和垂直距离中的较长距离。估计书写方向和字符大小确定条件404由手写输入存储单元25存储。估计书写方向和字符大小确定条件404用于在图30的步骤S50中获取估计书写方向以及在图32的步骤S72中获取字符串对象字体。
例如,估计字符大小405定义用于估计字符大小的数据。根据图9的示例,将使用估计书写方向和字符大小确定条件404确定的估计字符大小与估计字符大小405中的较小字符405a(以下称为最小字体大小)和估计字符大小405中的较大字符405c(以下称为最大字体大小)进行比较。对于估计字符大小小于最小字体大小的情况,估计字符大小被确定为最小字体大小。对于估计字符大小大于最大字体大小的情况,估计字符大小被确定为最大字体大小。否则,将字符大小确定为中等字符大小405b。估计字符大小405由手写输入存储单元25存储。估计字符大小405用于在图32的步骤S72中获取字符串对象字体。
实际上,手写输入存储单元25使用通过将使用估计书写方向和字符大小确定条件404确定的估计字符大小与估计字符大小405的FontSize进行比较而确定的估计字符大小405中的最接近大小的字体。例如,对于估计字符大小为25[mm](较小字符的FontSize)或更小的情况,使用“较小字符”字体。对于估计字符大小为25mm或更大且50mm(中间字符的FontSize)或更小的情况,使用“中间字符”字体。对于估计字符大小大于100mm(较大字符的FontSize)的情况,使用“较大字符”字体。“较小字符”字体405a使用Ming体25mm字体(fontstyle=“Ming体”,FontSize=“25mm”);“中等字符”字体405b使用Ming体50mm字体(fontstyle=“Ming体”,FontSize=“50mm”);“较大字符”字体405c使用Gothic体100mm字体(fontstyle=“Gothic体”,FontSize=“100mm”)。对于要增加字体大小或样式类型的数量的情况,可以相应地增加估计字符大小405的数量。
连接线确定条件406定义用于确定用户是否已经选择了多个对象的数据。根据图8的示例,对于以下情况:(i)手写对象是单个笔画,(ii)手写对象的长边的长度为100[mm]或更大(MinLenLongSide=“100mm”)并且短边的长度为50[mm]或更小(MaxLenShortSide=“50mm”),并且(iii)存在相对于手写对象的长边和短边重叠率为80%或更大(MinOverLapRate=“80%”)的对象(即,重叠具有预定的重叠百分比或更大),确定已经选择了多个对象(选择的对象)。操作命令识别控制单元32存储连接线确定条件406。连接线确定条件406用于在图29的步骤S41中确定所选择的对象。
包围线确定条件407定义用于确定对象是否是包围线的数据。根据图9的示例,操作命令识别控制单元32将相对于手写对象的长边方向和短边方向具有100%或更大重叠率(MinOverLapRate=“100%”)(即,重叠具有预定重叠百分比或更大)的固定对象确定为选择对象。由操作命令识别控制单元32存储包围线确定条件407。在图29的步骤S41中的所选对象的确定中的包围线确定中使用包围线确定条件407。
连接线确定条件406和包围线确定条件407中的任一个条件可以优先用于确定。例如,对于连接线确定条件406被设置为温和条件(使得可以容易地将手写对象确定为连接线)并且包围线确定条件407被设置为严格条件(使得可以仅将手写对象确定为包围线)的情况,操作命令识别控制单元32也可以优先考虑包围线确定条件407来进行确定可能更好。
<字典数据的示例>
将参照图10至图12来描述字典数据。图10描绘了手写识别字典单元27的字典数据的示例。图11描绘了字符串转换字典单元29的字典数据的示例。图12描绘了预测转换字典单元31的字典数据的示例。在图29的步骤S24-S33中使用这些字典数据集。
在本实施例中,使用图10的手写识别字典单元27的字典数据的转换结果将被称为“语言字符串候选项”,使用图11的字符串转换字典单元29的字典数据的转换结果将被称为“转换后字符串候选项”,并且使用图12的预测转换字典单元31的字典数据的转换结果将被称为“预测字符串候选项”。
对于每种类型的字典数据,“转换前”表示要从字典数据中搜索的字符串;“转换后”表示与要搜索的字符串相对应的转换后字符串;“概率”表示用户选择的概率。根据用户在过去选择字符串的结果来计算概率。因此,可以在每个用户的基础上计算概率。已经设计了各种算法来计算这样的概率。实际上,可以用适当的方式计算概率;细节将被省略。根据本实施例,以选择概率降序显示基于估计书写方向的字符串候选项。
在图10的手写识别字典单元27的字典数据中,具有发音“gi”的手写“平假名”字符H1成为具有相同发音“gi”的汉字C1的概率为0.55,成为具有相同发音“gi”的汉字C2的概率为0.45;具有发音“gishi”的手写“平假名”字符H2成为具有相同发音“gishi”的汉字C3的概率为0.55,并且成为具有相同发音“gishi”的汉字C4的概率为0.45。这同样适用于转换前的其他字符串。在图10中,“转换前”的字符串是手写平假名字符。相反,除了平假名字符之外的字符串可以被注册为“转换之前”的字符串。
在图11的字符串转换字典单元29的字典数据中,字符串C11(中文字符)转换为C12(中文字符串)的概率为0.95,字符串C13(中文字符)转换为中文字符串C14的概率为0.85。这同样适用于“转换前”的其它字符串。
在图12的预测转换字典单元31的字典数据中,字符串C21(中文字符串)转换为中文字符串和平假名字符C22的概率为0.65;并且字符串C23(中文字符串)转换为中文字符串和平假名字符C24的概率为0.75。在图11的示例中,所有的字符串“在转换之前”都是中文字符。然而,可以替代地登记除中文之外的字符。
字典数据与语言无关,并且任何字符串都可以被登记为“转换前”和“转换后”的字符串。
<操作命令定义单元存储的操作命令定义数据>
接下来,将参照图13A至图14来描述由操作命令识别控制单元32使用的操作命令定义数据。图13A和图13B描绘了由操作命令定义单元33存储的操作命令定义数据的示例和系统定义数据的示例。
图13A描绘了操作命令定义数据的示例。图13A所示的操作命令定义数据是当不存在使用手写对象选择的选择对象时要使用的操作命令定义数据的示例。这种操作命令定义数据是为用于操作手写输入装置2的所有操作命令准备的。图13A的操作命令具有操作命令名称(Name)、与字符串候选项(String)部分相同的字符串、以及要执行的操作命令(Command)的字符串。操作命令字符串中的“%...%”是变量并且与图13B中所示的系统定义数据相关联。换句话说,“%...%”被图13B所示的系统定义数据代替。
操作命令定义数据701指示操作命令的名称由字符C31(或“读取会议记录模板”)指示,与字符串候选项部分相同的字符串由字符C32(或“会议记录”)或字符C33(或“模板”)指示,并且要执行的操作命令是“ReadFile https://%username%:%password%@server.com/templates/minutes.pdf”。在该示例中,系统定义数据“%...%”被包括在要执行的操作命令中,并且“%username%”和“%password%”分别被系统定义数据704和705替换。因此,最后的操作命令字符串是“ReadFile https://taro.tokkyo:x2PDHTyS@server.com/template/minutes.pdf”,表示要读取文件“https://taro.tokkyo:x2PDHTyS@server.com/minutes.pdf”(ReadFile)。
操作命令定义数据702指示操作命令的名称是字符C34(或“保存在记录文件夹中”),与字符串候选项部分相同的字符串是字符C32(或“会议记录”)或字符C35(或“保存”),并且要执行的操作命令是“WriteFile https:/%username%:%password%@server.com/minutes/%machinename%_%yyyyy-mm-dd.pdf”。与操作命令定义数据701类似,操作命令字符串中的“%username%”、“%password%”和“%machinename%”分别被系统定义数据704、705和706替换。注意“%yyyy-mm-dd%”将被当前日期替换。例如,对于当前日期为2018年9月26日的情况,将“%yyyy-mm-dd%”替换为“2018-09-26”。最终操作命令为“WriteFile https://taro.tokkyo:x2PDHTyS@server.com/mintes/%My-Machine_2018-09-26.pdf”,并且表示会议记录保存在文件“https://taro.tokkyo:x2PDHTyS@server.com/%Minutes/%My-Machine_2018-09-26.pdf”(WriteFile)中。
操作命令定义数据703指示操作命令的名称是字符C37(或“要打印”),与字符串候选项部分相同的字符串是字符C38(或“打印”)或字符C39(或“打印”),并且要执行的操作命令是“PrintFile https:/%username%:%password%@server.com/print/%machiname%-%yyyy-mm-dd%.pdf”。由于对于操作命令定义数据702执行操作命令字符串中的替换,因此要执行的最终操作命令是“PrintFile https://taro.tokkyo:x2PDHTyS@server.com/print/%My-Machine_2018-09-26.pdf”,表示要打印文件“https://taro.tokkyo:x2PDHTyS@server.com/print/%My-Machine_2018-09-26.pdf”(PrintFile)。也就是说,该文件被发送到服务器。换句话说,当指示文件时,用户使打印机与服务器通信,并且打印机在纸张上打印文件的内容。
因此,操作命令定义数据701至703可以从字符串候选项中识别。因此,作为用户手写对象的结果,可以使得显示操作命令。此外,在用户认证成功之后,操作命令定义数据的“%username%”、“%password%”等将被替换在用户信息中,从而可以与用户相关联地执行文件的输入/输出。
对于不执行用户认证的情况(或者对于用户认证失败的情况,对于用户在即使用户认证失败的情况下也可以使用手写输入装置2的情况),替代地使用先前设置给手写输入装置2的“%username%”、“%password%”等。因此,即使没有用户认证,也可以与手写输入装置2相关联地执行文件的输入/输出。
操作命令定义数据709、710和711是改变笔状态的操作命令。笔状态也可以被称为笔类型。操作命令定义数据709、710和711分别表示操作命令的名称由字符C40(或“细笔”)、字符C43(或“粗笔”)和字符C45(或“标记”)表示;与字符串候选项部分相同的字符串分别由字符C41(或“细笔”)或字符C42(或“笔”)表示;分别由字符C44(或“粗”)或字符C42(或“笔”),以及字符C45(或“标记”)或字符C42(或“笔”)表示;并且要执行的操作命令分别为“ChangePen fine”、“ChangePen bold”和“ChangePen marking”。当执行这些操作命令时,笔状态被存储在笔ID控制数据存储部分36中,使得用户可以在这样设置的笔状态下手写笔画。
操作命令定义数据712是用于以预定取向设置文本数据的操作命令。操作命令定义数据712指示操作命令的名称由字符C46(或“将文本数据的取向设置为彼此相同”)指示,与字符串候选项部分相同的字符串由字符C47(或“文本”)、字符C48(或“方向”)或字符C49(或“方向”)指示,并且要执行的操作命令是“AlignTextDirection”。用户在手写输入装置2的垂直方向以外的方向上书写的文本数据具有各种取向,使得难以从一个方向读取这样的文本数据。当用户执行操作命令定义数据712时,手写输入装置2将手写识别字符串的取向设置为在预定方向(例如手写输入装置2的垂直方向)上彼此相同。在这种情况下,“将取向设置为彼此相同”意味着根据角度信息旋转文本数据。
接下来,将描述存在手写对象的情况下的操作命令定义数据,即,编辑系统和修改系统的操作命令定义数据。图14描绘了使用手写对象选择了选择对象的情况下的操作命令定义数据的示例。图14所示的操作命令定义数据具有操作命令名称(Name)、操作命令候选项的组名称(Group)以及要执行的操作命令(Command)的字符串。
操作命令定义数据707定义编辑系统的操作命令(Group=“Edit”),并且是编辑系统的操作命令“删除”、“移动”、“旋转”和“选择”的定义数据的示例。即,针对所选择的对象显示这些操作命令,以允许用户选择期望的操作命令。
操作命令定义数据708定义修改系统的操作命令(Group=“Decorate”),并且修改系统的操作命令被定义为操作命令“使更粗”、“使更细”、“使更大”、“使更小”和“绘制下划线”的示例。针对所选择的对象显示这些操作命令,以允许用户选择期望的操作命令。此外,还可以显示关于颜色的操作命令。
因此,作为用户使用手写对象选择所选择的对象的结果,识别操作命令定义数据707或708。因此,作为执行手写的结果,用户可以使得显示操作命令。
<手写输入存储器存储的手写输入存储数据>
接下来,将参考图15来描述手写输入存储数据。图15描绘了手写输入存储单元25所存储的手写输入存储数据的示例。图15中的一个字段表示笔画。一组手写输入存储数据具有以下项:DataID、Type、PenId、Color、Width、Pattern、Angle、StartPoint、StartTime、Endpoint、Endtime、Point和Pressure,如图15所示。
DataID是笔画的标识。Type是笔画类型。笔画类型包括Stroke、Group和Text。手写输入存储数据集801和802的类型是Stroke,手写输入存储数据集803的类型是Group,如图15所示。Group是指创建包括其它笔画的组;具有类型“Group”的手写输入存储数据指定要包括在具有DataID的组中的笔画。PenId、Color、Width、Pattern和Angle对应于下面将描述的笔ID控制数据的PenId、Color、Width、Pattern和Angle。StartPoint是笔画的起始点坐标,StartTime是笔画的起始点时间。EndPoint是笔画的结束点坐标,EndTime是笔画的结束点时间。Point是从起始点坐标到结束点坐标的坐标串,并且Pressure是从起始点坐标到结束点坐标的书写压力。如在Angle中所描绘的,手写输入存储数据集804和805指示笔画在经历手写识别之前分别顺时针旋转180度和270度。
<存储在笔ID控制数据存储单元中的笔ID控制数据>
接下来,将参照图16A和图16B来描述笔ID控制数据。图16A和图16B描绘了用于例示存储在笔ID控制数据存储单元中的笔ID控制数据的图。图16A的一个字段描述了关于一支笔的笔ID控制数据。图16B描绘了用于例示用户对手写输入装置2进行手写时的角度信息的图。角度信息表示用户所在的方向的角度、使用笔的方向的角度、或相对于用户书写的字符的旋转的角度。假设手写输入装置2的预定方向(例如,垂直方向)是0度(基准角度),则图16B所示的各个用户的角度信息是逆时针45度、90度、135度、180度、225度、270度和315度,如图16B所示。
用户角度信息表示当手写输入装置2处于平面安装时用户相对于手写输入装置2的位置。也就是说,用户的角度信息是位置信息。从手写输入装置2来看,可以识别用户在哪个方向上。代替这种角度信息,从手写输入装置2观察的方向可以通过时钟指针指示,并因此可表示为:0度:6点钟方向;45度:4点钟方向与5点钟方向之间的方向;90度:3点钟方向;135度:1点钟方向与2点钟方向之间的方向;180度:12点钟方向;225度:10点钟方向与11点钟方向之间的方向;270度:9点钟方向;315度:7点方向和8点方向之间的方向。
角度信息不是由用户的位置自动地确定的,并且每个用户输入(指定)角度信息。可指定的角度信息(图16A和图16B中为45度)的分辨率仅是一个示例,并且可以更小,例如5度至30度。在这点上,如果字符被旋转45度左右,则用户似乎可以读取该字符。
笔ID控制数据包括PenId、Color、Width、Pattern和Angle。PenId是存储在笔内部的标识符。Color是为这支笔设置的(用户可以更改的)笔画颜色。Width是为这支笔设置的(可以由用户更改的)笔画的宽度。Pattern是为这支笔设置的(用户可以自由更改的)笔画的线条类型。Angle是为这支笔设置的(用户可以自由更改的)笔画的角度。在图16A的示例中,各个笔的角度信息是逆时针0度、90度、180度和270度。
笔ID控制数据901是笔ID为1的控制数据。颜色是黑色(Black),粗细是1像素(1px),图案是实心(Solid),并且角度信息是0度。类似地,笔ID控制数据902具有2的笔ID、黑色的颜色、1像素的粗细、实心图案和90度的角度信息。笔ID控制数据903具有3的笔ID、黑色的颜色、10像素的粗细、实心图案和180度的角度信息。笔ID控制数据904具有4的笔ID、黑色的颜色、10像素的粗细、半色调点的图案和270度的角度信息。
在图26的步骤S5(获取笔ID控制数据)、图28的步骤S20(存储笔ID控制数据的角度信息)、步骤S21(获取笔ID控制数据的角度信息)、图30的步骤S51(获取笔ID控制数据)和图32的步骤S78(存储笔ID控制数据的角度信息)中使用笔ID控制数据。
<显示可选择候选项的示例>
图17描绘了操作指南500和在操作指南500处显示的可选择候选项530的示例。作为用户手写手写对象504的结果(并且在可选择候选显示定时器超时之后),显示操作指南500。操作指南500包括操作头(operation header)520、操作命令候选项510、手写识别字符串候选项506、转换字符串候选项507、字符串/预测转换候选项508和手写对象矩形区域轮廓503。可选择候选项530包括操作命令候选项510、手写识别字符串候选项506、转换字符串候选项507和字符串/预测转换候选项508。尽管在该示例中不显示语言字符串候选项,但是可以显示语言字符串候选项。除了操作命令候选项510之外的可选择候选项530将被称为“字符串候选项”539。
操作头520具有按钮501、509、502和505。按钮501用于接收用户在预测转换和“假名”转换之间切换的操作。在图17的示例中,作为用户按压指示“预测”的按钮501的结果,手写输入单元21接收按压操作并将相应的信息发送到手写输入显示控制单元23,并且显示单元22将按钮501的指示改变为“假名”。在改变指示之后,按照相对于“假名转换”的概率的顺序显示字符串候选项539。
按钮502用于用户操作候选显示页面。在图17的示例中,候选显示页为3页,当前显示第一页。按钮505用于接收用户删除操作指南500的操作。响应于用户按压按钮505,手写输入单元21接收按压操作,并将相应的信息发送到手写输入显示控制单元23。其结果,显示单元22删除手写对象504以外的显示(C101)。按钮509用于接收用户对集体显示删除的操作。响应于用户按压按钮509,手写输入单元21接收按压操作,并将相应的信息发送到手写输入显示控制单元23。结果,显示单元22删除图17所示的所有显示内容,包括手写对象504。因此允许用户重新执行手写。
手写对象504是用户手写字符C101(平假名字符)。显示围绕手写对象504的手写对象矩形区域轮廓503。稍后将参照图26至图32的序列图来描述相应的显示过程。在图17的示例中,手写对象矩形区域轮廓503以虚线框的形式显示。
手写识别字符串候选项506以概率顺序排列,转换后字符串候选项507以概率顺序排列,字符串/预测转换候选项508以概率顺序排列。手写识别字符串候选项506(字符C102)是关于手写对象504的识别结果的候选项。在该示例中,从手写对象504正确地识别字符C101(平假名字符)。
转换后字符串候选项507是通过从语言字符串候选项转换而获取的字符串候选项。在该示例中,术语(即,字符C104)是表示“技术批量生产试验”的中文字符串的缩写。字符串/预测转换候选项508是从语言字符串候选项或转换后字符串候选项转换而来的预测字符串候选。在该示例中,字符C105和字符C106被显示为字符串/预测转换候选508。
基于图13A的操作命令定义数据701至703和709至712来选择操作命令候选项510。在图17所示的示例中,开始处的符号“>>”511指示以下字符串是操作命令候选项。在图17中,不存在使用手写对象504(字符C101)选择的选择数据,作为从手写对象(字符C101)获取的字符串候选项的字符C103与图13A所示的操作命令定义数据701和702部分地相同。因此,字符S111和字符S112被显示为操作命令候选510。
响应于用户选择操作命令候选字符C111(或“读取会议记录模板”),执行由操作命令定义数据701定义的相应操作命令。响应于用户选择操作命令候选字符C112(或“保存在会议记录文件夹中”),执行由操作命令定义数据702定义的相应操作命令。因此,对于找到包括转换后字符串的操作命令定义数据的情况,显示操作命令候选项。因此,操作命令候选项不总是被显示。
如图17所示,字符串候选项和操作命令候选项被同时(一起)显示。因此,用户可以选择用户想要输入的字符串候选项或操作命令候选项。
<操作指南与手写对象矩形区域轮廓的位置关系>
显示单元22在与笔画数据的位置相对应的位置处显示包括文本数据的操作指南500。实际上,显示单元22基于笔画数据的位置在显示屏幕内的位置处显示包括文本数据的操作指南500。因此,操作指南500的位置取决于笔画数据的位置。
图18A和图18B描绘了用于例示操作指南的位置和手写对象矩形区域轮廓的位置之间的关系的图。首先,操作指南500的宽度A和高度H1是固定的。手写对象矩形区域轮廓503的右端是与操作指南500的右端相同的x坐标。
手写对象矩形区域轮廓503的宽度B取决于用户书写的手写对象504的长度。在图18A中,因为手写对象矩形区域轮廓503的水平宽度B对应于一个字符并且A>B,所以通过以下等式计算操作指南500的左上角P的坐标(x0、y0)。在这点上,手写对象矩形区域轮廓503的左上角Q的坐标是(x1、y1)。假定手写对象矩形区域轮廓503的高度为H2
x0=x1-(A-B)
y0=y1+H2
如图18B所示,当手写对象矩形区域轮廓的宽度B大于宽度A时,通过以下等式计算操作指南500的左上角P的坐标(x0、y0)。
x0=x1+(B-A)
y0=y1+H2
尽管在图18A和图18B中,操作指南500位于手写对象矩形区域显示503下方,操作指南500可以显示在手写对象矩形区域显示503上方。
图19描绘了显示在手写对象矩形区域轮廓503上方的操作指南500。在这种情况下,x1的计算方法与图18A和图18B的情况相同,但是y0的计算方法如下不同。
y0=y1-H1
可选地,操作指南500可以显示在手写对象矩形区域轮廓503的右侧或左侧。对于用户在显示屏幕的端部手写例如字符使得在预定侧没有用于操作指南500的显示空间的情况,操作指南500被显示在手写字符的存在显示空间的任何一侧上。
<确定所选对象的示例>
根据本实施例的手写输入装置2,用户可以通过手写选择固定对象来确定所选择的对象。所选对象是要编辑或修改的对象。
图20A至图20D描绘了确定所选对象的示例。在图20A至图20D中,实线表示手写对象11,半色调点表示手写对象矩形区域12,实线表示固定对象13,虚线表示所选对象矩形区域14。英文小写字符被附加到参考数字以进行区分。另外,作为用于确定固定对象是否是选择的对象的确定条件(用于确定是否存在预定关系),使用图9所示的定义的控制数据的连接线确定条件406或包围线确定条件407。
图20A描绘了用户使用连接线(手写对象11a)来选择水平书写中的两个固定对象13a和13b的示例。在该示例中,因为手写对象矩形区域12a的短边的长度H1和长边的长度W1满足连接线确定条件406,并且与固定对象13a(三个中文字符)和13b(两个平假名字符)的重叠率满足连接线确定条件406,所以固定对象13a和13b都被确定为选择对象。
图20B是通过包围线(手写对象11b)选择水平书写中的固定对象13c的示例。在该示例中,仅固定对象13c(三个中文字符)被确定为选择对象,其中固定对象13c和手写对象矩形区域12c之间的重叠率满足包围线确定条件407。
图20C是使用连接线(手写对象11c)来选择垂直书写的多个固定对象13d和13e的示例。在该示例中,如图20A所示,手写对象矩形区域12d的短边的长度H1和长边的长度W1满足连接线确定条件406,并且与两个固定对象13d和13e的重叠率满足连接线确定条件406。因此,固定对象13d(三个中文字符)和13e(两个平假名字符)都被确定为选择对象。
图20D是通过包围线(手写对象11d)选择垂直书写的固定对象13f的示例。在该示例中,如图20B所示,仅固定对象13f(三个中文字符)被确定为选择对象。
<显示操作命令候选项的示例>
图21A和图21B描绘了对于存在图14中所示的手写对象的情况,基于操作命令定义数据显示操作命令候选项的显示示例。图21A描绘了编辑系统的操作命令候选项;图21B描绘了修改系统的操作命令候选项。图21A描绘了使用如图20A中的手写对象11a来确定所选择的对象的示例。
如图21A和图21B中所示,主菜单550包括在行首符号511“>>”之后显示的操作命令候选项。主菜单550显示操作命令定义数据中的最后执行的操作命令名称或第一操作命令名称。操作命令候选项“删除(DELETE)”(511a)的第一行是编辑操作命令;操作命令“变粗(MAKE THICKER)”(511b)的第二行是修改操作命令。
行的末端的符号“>”512a和512b(子菜单按钮的示例)指示存在子菜单。第一行符号“>”512a用于显示编辑系统操作命令的子菜单(最后选择);符号“>”512b的第二行用于显示修改系统操作命令的剩余子菜单。响应于用户按压符号“>”512a,向右显示子菜单560。子菜单560显示操作命令定义数据中定义的所有操作命令。如上所述,响应于用户按压第一行符号“>”512a,从显示主菜单550或显示子菜单560时起显示子菜单560。
响应于用户用笔按压所显示的操作命令名称中的任何一个,手写输入显示控制单元23对所选择的对象执行与所按压的操作命令名称相关联的操作命令定义数据的“Command”(参见图14)。也就是说,可响应于按压名称“删除(DELETE)”521而“删除”所选对象;可响应于按压名称“移动(MOVE)”522而“移动”所选对象;可响应于按压名称“旋转(ROTATE)”523而“旋转”所选对象;可响应于按压名称“选择(SELECT)”524而为所选对象“选择”另一操作。
例如,响应于用户用笔按压“删除(DELETE)”521,可以删除所选择的对象13a(三个中文字符)和13b(两个平假名字符)。响应于按压“移动(MOVE)”522、“旋转(ROTATE)”523和“选择(SELECT)”524中的任何一个,可显示边界框(所选择对象的外接矩形)。然后,在按压“移动(MOVE)”522或“旋转(ROTATE)”523的情况下,通过用笔的拖动操作,用户可以移动或旋转所选择的对象。在按压“选择(SELECT)”524的情况下,用户可以对边界框执行另一操作。
除了操作命令候选项之外的其它字符串候选项,即字符串541(中文字符)、542(中文字符和平假名字符)、“~”543“→”544和545,是关于连接线(手写对象11a)的识别结果。在用户想要输入这样的字符串而不是操作命令的情况下,允许用户选择相应的字符串候选项。
关于图21B,响应于用户按压第二行符号“>”512b而显示子菜单560。与图21A的情况一样,在图21B所示的显示示例中显示主菜单550和子菜单560。基于图14的操作命令定义数据,可以使手写输入显示控制单元23响应于按压“变粗(MAKE THICKER)”531而使绘制所选对象的线变粗;可以使手写输入显示控制单元23响应于按压“变细(MAKE THINNER)”532而使绘制所选对象的线变细;可以使得手写输入显示控制单元23响应于按压“变大(MAKELARGER)”533而放大所选择的对象;可以使得手写输入显示控制单元23响应于按压“变小(MAKE SMALLER)”534而减小所选择的对象的大小;可以使得手写输入显示控制单元23响应于按压“画下划线(DRAW UNDERLINE)”535而向所选择的对象绘制下划线。
此外,已经单独定义了以下值:对于按压变粗(MAKE THICKER)”531的情况,绘制所选对象的线要被加粗多少;对于按压“变细(MAKE THINNER)”532的情况,绘制所选对象的线要被变细多少;对于按压“变大(MAKE LARGER)”533的情况将所选对象放大多少;对于按压“变小(MAKE SMALLER)”534的情况将所选对象的大小缩小多少;对于按压“画下划线(DRAWUNDERLINE)”535的情况将选择哪种下划线类型。更期望地,响应于选择图21B的子菜单560的任何元素,可以进一步显示相应的选择菜单以允许用户进行相应的调整。
更详细地,响应于用户用笔按压“变粗(MAKE THICKER)”531,可以使手写输入显示控制单元23将绘制固定对象13a(三个中文字符)和13b(两个平假名字符)的线变粗。响应于用户用笔按压“变细(MAKE THINNER)”532,可以使手写输入显示控制单元23将绘制固定对象13a(三个中文字符)和13b(两个平假名字符)的线变细。响应于用户用笔按压“变大(MAKELARGER)”533,可以使手写输入显示控制单元23放大固定对象13a(三个中文字符)和13b(两个平假名字符)。响应于用户用笔按压“变小(MAKE SMALLER)”534,可以使手写输入显示控制单元23减小固定对象13a(三个中文字符)和13b(两个平假名字符)的大小。响应于用户用笔按压“画下划线(DRAW UNDERLINE)”535,可以使手写输入显示控制单元23向固定对象13a(三个中文字符)和13b(两个平假名字符)绘制下划线。
图22A和图22B描绘了对于存在图14中所示的手写对象的情况,基于操作命令定义数据显示操作命令候选项的显示示例。与图21A和图21B的不同之处在于图22A和图22B描绘了使用图20B中的手写对象11b(包围线)来确定所选择的对象的示例。从图21A和图21B与图22A和图22B之间的比较可以看出,无论要用于确定所选择的对象的手写对象是连接线还是包围线,在所显示的操作命令候选项中都没有差异。这是因为,在任一情况下,手写输入显示控制单元23响应于确定所选择的对象而在显示单元22上显示操作命令候选项。在这点上,还可以根据手写对象11a或11b的识别结果来改变要显示的操作命令候选项的内容。在这种情况下,诸如图14所示的操作命令定义数据之类的操作命令定义数据与所识别的手写对象(诸如与数字“1”、符号“○”等相对应的中文数字)相关联。
在图22A和图22B中,符号“○”551和“∞”552、数字“0”553和“00”554以及片假名字符555是除了操作命令候选项之外的字符串候选项,是关于包围线(手写对象11b)获取的识别结果,并且在用户想要输入字符串而不是操作命令的情况下,用户可以选择这些字符串候选项中的任何一个。
<角度信息的输入的示例>
接下来,将参照图23A至图23C描述用于输入角度信息的方法。图23A至图23C描绘了用于例示用于角度信息的输入方法的示例。图23A至图23C描绘了位于手写输入装置2的3点钟方向上的用户输入角度信息的情况。因为当字符顺时针旋转90度时正确地识别从3点钟方向书写的手写字符,所以要输入90度角度信息。
图23A描绘了在笔ID控制数据的角度信息为0度(初始值)的状态下响应于用户在手写输入装置2的3点钟方向(即,在图23A的右侧)上手写平假名字符(手写对象504)(具有发音“gi”)来显示操作指南500的状态。因为手写输入装置2在角度信息为0度时尝试识别从3点钟方向书写的手写平假名字符(手写对象504)(具有发音“gi”),所以显示这样获取的与预期结果(即,正确的识别结果)不同的可选择候选项530。
为了输入角度信息,如图23B所示,用户在操作指南500(预定区域的一个示例)内书写从用户的视角观看的从上到下的直线。图23B描绘了这样手写的直线521的示例。对应于0度角度信息的6点钟方向与线521之间的角度α是角度信息。即,从起始点S到用户手写的直线521沿6点钟方向(即,图23B中向下)延伸的直线522的逆时针角度α是角度信息。简言之,线521的结束点方向是角度信息。因此,图23B中用户输入的角度信息是90度。
用于检测这种直线521的实际方法例如是根据最小二乘法将从起始点S到结束点E的坐标转换为直线,并且将所获取的相关系数与阈值进行比较以确定是否实际检测到直线的方法。
紧接在用户开始手写直线521之后(紧接在笔2500接触直线521的起始点S之后),手写输入装置2删除操作指南500。紧接在结束手写直线521之后(紧接在用户将笔2500从直线521的结束点E移除之后),手写输入装置2从45度、90度、135度、180度、215度、270度、315度和360度中搜索并确定上述角度α的最近值。另选地,角度α本身可以用作角度信息。将这样获取的角度信息设置为笔ID控制数据的项“Angle”。当按压笔尖用于例如手写操作时,笔2500的笔事件发送单元41将笔ID发送到手写输入装置2。因此,手写输入装置2可以将角度信息与笔ID控制数据相关联。
在这点上,只有操作指南500可以用于用户手写直线并输入角度信息。因此,当用户在操作指南500外部手写直线时,这样手写的直线被识别为阿拉伯数字“1”、对应的中文数字等,而当在操作指南500内部手写直线时,如图23B所示,可以输入角度信息。也就是说,手写识别控制单元26从预定区域检测直线,而手写识别控制单元26将预定区域外部的手写笔画数据转换为文本数据。
图23C描绘了在执行了上面参照图23B描述的操作之后立即显示的操作指南500。因为这样在笔ID控制数据中设置了90度角度信息(Angle),所以手写对象(笔画数据)沿顺时针方向向内旋转90度,然后执行手写对象识别,并且操作指南500沿逆时针方向旋转90度并被显示,如图23C所示。
图24A至图24C描绘了用于例示45度的角度信息的输入方法的示例。图24A至图24C描绘了用户在手写输入装置2的4点钟方向和5点钟方向之间的中间方向上输入角度信息的情况。当手写字符顺时针旋转45度时,从介于4点钟方向和5点钟方向之间的方向手写的手写字符被正确地识别。因此,在这种情况下将输入45度角度信息。
图24A描绘了响应于用户在手写输入装置2以0度(初始值)的角度信息书写字符(手写对象504)的4点钟方向和5点钟方向之间的中间方向上显示操作指南500和可选择候选项的状态。因为手写输入装置2在角度信息为0度的情况下对从4点钟方向和5点钟方向之间的中间方向手写的手写字符执行手写对象识别操作,所以如图24A所示显示与预期识别结果(即,正确识别结果)不同的可选择候选项。
为了输入角度信息,用户在操作指南500内书写从用户的视角观察的从顶部到底部的直线。图24B描绘了这样手写的直线521的示例。从0度角度信息的6点钟方向到直线521的角度α是角度信息。因此,图24B中用户输入的角度信息是45度。该角度信息(45度)被设置为笔ID控制数据的Angle。
图24C描绘了紧接在图24B的操作之后的操作指南500。因为笔ID控制数据被设置为具有45度角度信息(Angle),所以手写对象504被顺时针向内旋转45度以进行手写对象识别操作,并且操作指南500被逆时针旋转45度并被显示。
图25描绘了用于例示角度信息的其它输入方法的示例。在图25中,用户位于手写输入装置2的3点钟方向上。在图25中,用户在手写输入装置2的3点钟方向上手写角度信息为0度(初始值)的平假名字符(手写对象504)(具有发音“gi”),从而显示操作指南500。图25的操作指南500在操作头520中包括旋转操作按钮519。旋转操作按钮511的图标是圆形的,从而允许用户容易地从任何方向识别旋转操作按钮511。
旋转操作按钮511是用于用户在每次用笔2500按压时向笔ID控制数据的角度信息添加90度的按钮,并且将角度信息改变为作为通过将角度信息(添加结果)除以360度而获取的余数而获取的值。该余数是角度信息。在这点上,每次按压旋转操作按钮511时要增加的角度可以是45度而不是95度。更理想地,还可以在每次按压旋转操作按钮511时显示当前角度信息(例如,通过弹出角度信息)。
<操作程序>
将参照图26至图32以及参考上面描述的配置来描述手写输入装置2的操作。图26至图32描绘了用于例示手写输入装置2显示字符串候选项和操作命令候选项的处理的示例的序列图。图26的处理在手写输入装置2起动时(对应的应用程序起动时)开始。在图26至图32中,考虑到空间限制,图7A-图7B的功能由相应的附图标记表示。
S1:手写输入显示控制单元23首先向手写输入存储单元25发送开始生成手写对象的事件。手写输入存储单元25分配手写对象区域(用于存储手写对象的存储区域)。为了分配手写对象区域,用户可能必须用笔触摸手写输入单元21。
S2:用户然后用笔触摸手写输入单元21。手写输入单元21检测笔触摸并将笔触摸事件发送到手写输入显示控制单元23。
S3:手写输入显示控制单元23向手写输入存储单元25发送笔画开始事件,手写输入存储单元25分配笔画区域(存储区域)。
S4:响应于用户移动与手写输入单元21接触的笔,手写输入单元21将对应的笔坐标发送给手写输入显示控制单元23。
S5:手写输入显示控制单元23指示在输入坐标的同时从笔2500接收的笔ID,以获取存储在笔ID控制数据存储单元36中的当前笔ID控制数据。因为这样在输入坐标时发送笔ID,所以笔画和笔ID彼此相关联。笔ID控制数据存储单元36将笔ID控制数据(颜色、粗细、图案和角度信息)发送到手写输入显示控制单元23。作为初始值,角度信息仍然是零。
S6:手写输入显示控制单元23向显示单元22发送笔坐标内插显示数据(用于插补离散笔坐标的数据)。显示单元22通过使用笔坐标内插显示数据内插笔坐标来显示线。
S7:手写输入显示控制单元23将笔坐标和笔坐标接收时刻发送给手写输入存储单元25。手写输入存储单元25将笔坐标附加到对应的笔画数据。当用户正在移动笔时,手写输入单元21以规则的间隔向手写输入显示控制单元23重复发送对应的笔坐标,使得重复步骤S4至S7,直到发生从手写输入单元21取下笔为止。
S8:响应于用户从手写输入单元21移除笔,手写输入单元21将笔移除事件发送到手写输入显示控制单元23。
S9:手写输入显示控制单元23向手写输入存储单元25发送笔画结束事件,手写输入存储单元25确定笔画的笔坐标。结果,不能将更多的笔坐标附加到笔画数据。
S10:手写输入显示控制单元23将根据手写对象近似矩形区域403求出手写对象近似矩形区域与笔画矩形区域的重叠状态的请求发送到手写输入存储单元25。手写输入存储单元25计算重叠状态,并将重叠状态发送到手写输入显示控制单元23。
然后,对于手写对象近似矩形区域和笔画矩形区域彼此不重叠的情况执行步骤S11至S17。
S11:对于手写对象近似矩形区域和笔画矩形区域彼此不重叠的情况,固定一个手写对象。因此,手写输入显示控制单元23向手写识别控制单元26发送清除所存储的数据的请求。
S12至S14:手写识别控制单元26向字符串转换控制单元28、预测转换控制单元30和操作命令识别控制单元32发送清除所存储数据的请求。手写识别控制单元26、字符串转换控制单元28、预测转换控制单元30和操作命令识别控制单元32清除与已经存储的字符串候选项和操作命令候选项有关的数据。在清除数据时的最后手写笔画不被添加到手写对象。
S15:手写输入显示控制单元23向手写输入存储单元25发送结束生成手写对象的事件。手写输入存储单元25固定手写对象。结束生成手写对象的事件意味着手写对象已经完成(结果,不再向手写对象添加笔画)。
S16:手写输入显示控制单元23向手写输入存储单元25发送开始生成手写对象的事件。在准备开始下一个手写对象的手写(笔触)时,手写输入存储单元25分配新的手写对象区域。
S17:手写输入显示控制单元23向手写输入存储单元25发送针对在步骤S9中结束的笔画的笔画添加事件。对于已经执行了步骤S11至S17的情况,要添加的笔画是手写对象的第一笔画,并且手写输入存储单元25将笔画数据添加到手写对象,生成已经开始的手写对象。对于没有执行步骤S11至S17的情况,将附加笔画添加到手写对象,生成已经在进行中的手写对象。
S18:手写输入显示控制单元23向手写识别控制单元26发送笔画添加事件。手写识别控制单元26将笔画数据添加到临时存储字符串候选项的笔画数据存储区域。
S19:手写识别控制单元26对笔画数据存储区域进行手势手写识别。手势手写识别是从直线上识别角度信息。因为利用操作指南500的内部进行手势手写识别,所以手写识别控制单元26检测操作指南500内部的直线。在稍后将描述的步骤S57中,操作指南500的位置信息被发送到手写识别控制单元26。
S20:当检测到在操作指南500内部手写的直线时,以45度为单位识别用户从直线521的起始点沿6点钟方向延伸的直线522手写的直线521的逆时针角度α。手写识别控制单元26将所识别的角度信息与关于直线521的笔画数据的笔ID相关联地存储在笔ID控制数据存储单元36中。当在操作指南500内检测到直线时,执行步骤S20。
S21:然后,手写识别控制单元26指示从手写输入单元21接收的笔ID,以从笔ID控制数据存储单元36获取笔ID控制数据的角度信息。
S22:手写识别控制单元26利用所获取的角度信息顺时针旋转笔画数据存储区域处的笔画数据。
S23:由于笔画数据因此被旋转到与手写输入装置2的垂直方向成0度的方向,所以手写识别控制单元26对笔画数据执行手写识别操作。
S24:手写识别控制单元26将作为手写识别结果的手写识别字符串候选项发送给手写识别字典单元27。手写识别字典单元27将语言上可能的语言字符串候选项发送到手写识别控制单元26。
S25:手写识别控制单元26将手写识别字符串候选项和接收到的语言字符串候选项发送到字符串转换控制单元28。
S26:字符串转换控制单元28将手写识别字符串候选项和语言字符串候选项发送到字符串转换字典单元29。字符串转换字典单元29将转换后字符串候选项发送到字符串转换控制单元28。
S27:字符串转换控制单元28将接收到的转换后字符串候选项发送到预测转换控制单元30。
S28:预测转换控制单元30将接收到的转换后字符串候选项发送到预测转换字典单元31。预测转换字典单元31将预测字符串候选项发送到预测转换控制单元30。
S29:预测转换控制单元30将接收到的预测字符串候选项发送到操作命令识别控制单元32。
S30:操作命令识别控制单元32将接收到的预测字符串候选项发送到操作命令定义单元33。操作命令定义单元33将操作命令候选项发送到操作命令识别控制单元32。因此,操作命令识别控制单元32可以获取与操作命令定义数据相对应的操作命令候选项,该操作命令定义数据包括与预测字符串候选项相同的字符串(图13A中的“String”)。
然后,以如下相同的方式执行直到发送操作命令候选项的步骤S31至S38。
S31:字符串转换控制单元28将接收到的转换后字符串候选项发送到操作命令识别控制单元32。
S32:操作命令识别控制单元32将接收到的转换后字符串候选项发送到操作命令定义单元33。操作命令定义单元33将操作命令候选项发送到操作命令识别控制单元32。因此,操作命令识别控制单元32获取与操作命令定义数据相对应的操作命令候选项,该操作命令定义数据包括与转换后的字符串候选项相同的字符串(“String”)。
S33:手写识别控制单元26将手写识别字符串候选项和语言字符串候选项发送到预测转换控制单元30。
S34:预测转换控制单元30将接收到的手写识别字符串候选项和语言字符串候选项发送到预测转换字典单元31。预测转换字典单元31将预测字符串候选项发送到预测转换控制单元30。
S35:预测转换控制单元30将接收到的预测字符串候选项发送给操作命令识别控制单元32。
S36:操作命令识别控制单元32将接收到的预测字符串候选项发送给操作命令定义单元33。操作命令定义单元33将操作命令候选项发送到操作命令识别控制单元32。因此,操作命令识别控制单元32可以获取与操作命令定义数据相对应的操作命令候选项,该操作命令定义数据包括与预测字符串候选项相同的字符串(“String”)。
S37:手写识别控制单元26将手写识别字符串候选项和接收到的语言字符串候选项发送到操作命令识别控制单元32。
S38:操作命令识别控制单元32将接收到的手写识别字符串候选项和语言字符串候选项发送到操作命令定义单元33。操作命令定义单元33将操作命令候选项发送到操作命令识别控制单元32。因此,操作命令识别控制单元32可以获取与操作命令定义数据相对应的操作命令候选项,该操作命令定义数据包括与语言字符串候选项相同的字符串(“String”)。
S39:手写识别控制单元26向操作命令识别控制单元32发送笔画添加事件。
S40:操作命令识别控制单元32向手写输入存储单元25发送获取固定对象的位置信息的请求。手写输入存储单元25将固定对象的位置信息发送到操作命令识别控制单元32。
S41:为了确定所选对象,操作命令识别控制单元32基于连接线确定条件406和包围线确定条件407来确定在步骤S39中从手写识别控制单元26接收的关于笔画添加事件的笔画的位置信息和从手写输入存储单元25接收的固定对象的位置信息是否具有预定关系;并且将可以被确定为被选择的固定对象(如果有的话)存储为所选择的对象。在这种情况下,因为如此确定所选择的对象,所以从操作命令定义单元33获取输入/输出系统的操作命令候选项。
手写识别控制单元26、字符串转换控制单元28、预测转换控制单元30和操作命令识别控制单元32存储手写识别字符串候选项、语言字符串候选项、转换后字符串候选项、预测字符串候选项、操作命令候选项的数据,以及所选择的对象,使得可以在稍后阶段的步骤S46至S49中获取数据。
S18-2:紧接在在步骤S18中手写输入显示控制单元23向手写识别控制单元26发送笔画添加事件之后,手写输入显示控制单元23向候选显示计时器控制单元24发送启动可选择候选显示计时器401的指令。候选显示定时器控制单元24起动可选择候选显示定时器401。
然后,响应于在经过一定时间之前(在可选择候选显示定时器401期满之前)发生笔触摸,执行步骤S42至S44。
S42:响应于用户在可选择候选显示定时器401到期之前用笔触摸手写输入单元21,手写输入单元21向手写输入显示控制单元23发送笔触摸事件(与步骤S2的事件相同)。
S43:手写输入显示控制单元23向手写输入存储单元25发送笔画开始事件(与步骤S3的事件相同)。然后要执行的序列与在步骤S3之后执行的序列相同。
S44:手写输入显示控制单元23向候选显示计时器控制单元24发送可选择的候选显示计时器停止指令。候选显示定时器控制单元24使可选择候选显示定时器401停止。这是因为已经检测到笔触摸,因此,已经不需要可选择候选显示定时器401。
响应于在经过一定时段之前(在可选择候选显示定时器401期满之前)没有发生笔触摸,执行步骤S45至S79。因此,将显示图17所示的操作指南500。
S45:响应于在可选择候选显示定时器401的操作期间用户没有用笔触摸手写输入单元21,候选显示定时器控制单元24向手写输入显示控制单元23发送超时事件。
S46:手写输入显示控制单元23向手写识别控制单元26发送获取手写识别字符串候选项和语言字符串候选项的请求。手写识别控制单元26将当前存储的手写识别字符串候选项和语言字符串候选项发送到手写输入显示控制单元23。
S47:手写输入显示控制单元23向字符串转换控制单元28发送获取转换后字符串候选项的请求。字符串转换控制单元28将当前存储的转换后字符串候选项发送到手写输入显示控制单元23。
S48:手写输入显示控制单元23向预测转换控制单元30发送获取预测字符串候选项的请求。预测转换控制单元30将当前存储的预测字符串候选项发送到手写输入显示控制单元23。
S49:手写输入显示控制单元23向操作命令识别控制单元32发送获取操作命令候选项的请求。操作命令识别控制单元32将当前存储的操作命令候选项和所选择的对象发送到手写输入显示控制单元23。
S50:手写输入显示控制单元23向手写输入存储单元25发送获取估计书写方向的请求。手写输入存储单元25根据笔画添加时间以及手写对象矩形区域的水平距离(宽度)和垂直距离(高度)来确定估计书写方向,并将所确定的估计书写方向发送到手写输入显示控制单元23。
S51:接下来,手写输入显示控制单元23指示从手写输入单元21接收的笔ID,以从笔ID控制数据存储单元36获取当前笔ID控制数据的角度信息,以便旋转可选择候选项和操作指南500。
S52:手写输入显示控制单元23使用手写识别字符串候选项(在图17的示例中,字符C102)、语言字符串候选项(在图17的示例中,未示出,但是,例如,图10中的字符C1)、转换后的字符串候选项(在图17的示例中,字符S103和字符S104)、预测字符串候选项(在图17的示例中,字符C105和字符C106)、操作命令候选项(在图17的示例中,字符C111和字符C112)、对应的选择概率和估计书写方向来生成诸如图17中示出的可选择候选显示数据的可选择候选显示数据。手写输入显示控制单元23利用在步骤S51中获取的角度信息逆时针旋转可选择候选显示数据(操作指南500),将旋转后的可选择候选显示数据(操作指南500)发送到显示单元22,并通过显示单元22显示可选择候选显示数据(操作指南500)。
S53:手写输入显示控制单元23利用在步骤S51中获取的角度信息逆时针旋转手写对象和所选对象的矩形区域轮廓数据(矩形框)(诸如图17中的手写对象矩形区域轮廓503),并将旋转后的矩形区域轮廓数据(矩形框)发送到显示单元22,并且通过显示单元22显示矩形区域轮廓数据。
S54:手写输入显示控制单元23向候选显示定时器控制单元24发送启动可选择候选显示删除定时器402的指令,以便在从可选择候选显示数据的显示起经过一定时间之后删除数据。候选显示定时器控制单元24启动可选择候选显示删除定时器402。
响应于在可选择候选显示删除定时器402的操作期间:(1)用户删除在显示单元22上显示的可选择候选项,(ii)手写对象中发生的改变(即,用户添加、删除、移动、改变形状或划分手写对象的笔画),或者(iii)在可选择候选显示删除定时器402超时之前没有选择候选项,执行步骤S55至S60。
响应于(i)删除候选显示或者(ii)在手写对象中发生改变,执行步骤S55至S57。
S55:手写输入单元21向手写输入显示控制单元23发送删除所显示的可选择候选项或手写对象发生变化的事件。
S56:手写输入显示控制单元23发送停止可选择候选显示删除定时器402的指令。候选显示定时器控制单元24使可选择候选显示删除定时器402停止。这是因为,作为例如用户在一定时段内处理手写对象的结果,可选择候选显示删除定时器402变得不必要。
S57:手写输入显示控制单元23将操作指南500的位置信息存储在手写识别控制单元26中,用于步骤S19的手势手写识别中的手势确定。位置信息可以是例如左上角和右下角的坐标或等效坐标。因此,手写识别控制单元26可以确定用于输入角度信息的直线是否在操作指南500内。
S59:手写输入显示控制单元23向显示单元22发送删除可选择候选显示数据的指令,以删除可选择候选项的显示。
S60:手写输入显示控制单元23向显示单元22发送删除手写对象和所选对象的矩形区域轮廓数据的指令,以删除该数据的显示。因此,对于由于除了选择任何操作命令候选项之外的条件而删除操作命令候选项的显示的情况,维持手写对象的显示。
S58:响应于在可选择候选显示删除定时器402的操作期间既不删除可选择候选项的显示也不发生手写对象的改变(即,响应于用户不执行任何笔操作),候选显示定时器控制单元24向手写输入显示控制单元23发送超时事件。
在可选择候选显示删除定时器402超时之后,手写输入显示控制单元23也执行步骤S59和S60。这是因为可以在经过一定时段之后删除可选择候选显示数据以及手写对象和所选对象的矩形区域轮廓数据。
响应于用户在可选择候选显示删除定时器402的操作期间选择可选择候选项,执行步骤S61至S79。
S61:响应于用户在可选择候选显示删除定时器402的操作中选择了可选择候选项,手写输入单元21向手写输入显示控制单元23发送选择字符串候选项或操作命令候选项的事件。
S62:手写输入显示控制单元23向候选显示定时器控制单元24发送停止可选择候选显示删除定时器402的指令。候选显示定时器控制单元24使可选择候选显示删除定时器402停止。
S63:手写输入显示控制单元23向手写识别控制单元26发送清除所储数据的指令。
S64:手写识别控制单元26向字符串转换控制单元28发送清除所存储数据的指令。
S65:手写识别控制单元26向预测转换控制单元30发送清除所存储数据的指令。
S66:手写识别控制单元26向操作命令识别控制单元32发送清除所存储数据的指令。
手写识别控制单元26、字符串转换控制单元28、预测转换控制单元30和操作命令识别控制单元32清除与已经存储的字符串候选项和操作命令候选项有关的数据。
S67:手写输入显示控制单元23向显示单元22发送删除可选择候选显示数据的指令,以删除可选择候选显示数据的显示。
S68:手写输入显示控制单元23向显示单元22发送删除手写对象和所选对象的矩形区域轮廓数据的指令,以删除该数据的显示。
S69:手写输入显示控制单元23向显示单元22发送步骤S6中发送的删除手写对象显示数据的指令和删除笔坐标内插显示数据的指令,以删除相应的显示。这是因为已经选择了字符串候选项或操作命令候选项,因此,手写对象等的显示变得不必要。
S70:手写输入显示控制单元23向手写输入存储单元25发送手写对象删除事件。
响应于选择字符串候选项,执行步骤S71至S73。
S71:响应于选择字符串候选项,手写输入显示控制单元23向手写输入存储单元25发送添加字符串对象的事件。
S72:手写输入显示控制单元23还向手写输入存储单元25发送获取字符串对象字体的请求。手写输入存储单元25根据手写对象的估计字符大小来选择规定字体,并将所选择的字体发送到手写输入显示控制单元23。
S73:手写输入显示控制单元23通过使用从手写输入存储单元25接收的定义字体向显示单元22发送字符串对象显示数据,在与手写对象相同的位置显示字符串对象。
响应于选择操作命令候选项,执行步骤S74至S78。对于存在所选对象的情况执行步骤S74至S76。
S74:响应于选择所选对象的操作命令候选项,手写输入显示控制单元23向显示单元22发送删除所选对象显示数据的指令,以删除所选对象显示数据的显示。这是因为此时要删除原始选择的对象的显示。
S75:手写输入显示控制单元23向手写输入存储单元25发送对所选对象执行相应操作命令的指令。手写输入存储单元25将新选择的对象的显示数据(即,根据操作命令从编辑或修改获取的显示数据)发送到手写输入显示控制单元23。
S76:手写输入显示控制单元23将选择的对象显示数据发送给显示单元22,以便重新显示根据操作命令处理后获取的所选对象。
对于没有选择的对象的情况(即,对于已经选择了输入/输出操作命令的情况),执行步骤S77和S78。
S77:响应于选择输入/输出系统的操作命令,手写输入显示控制单元23根据与用户选择的操作命令相对应的操作命令定义数据的操作命令串(“Command”)执行操作命令。对于用户认证单元34已经成功认证用户的情况,手写输入显示控制单元23将相应用户的信息设置为操作命令的段“%...%”(参见图13A),并执行操作命令。
S78:当用户按压图25所示的操作头520的旋转操作按钮511时,手写输入显示控制单元23接收与旋转操作按钮511的按压次数对应的角度信息。手写输入显示控制单元23将接收到的角度信息与当按压旋转操作按钮511时从笔2500接收到的笔ID相关联,并将接收到的角度信息存储在笔ID控制数据存储单元36中。
S79:手写输入显示控制单元23将开始生成手写对象的事件发送给下一手写对象用手写输入存储单元25。手写输入存储单元25分配手写对象区域。然后,重复步骤S2至S79的处理。
<以相同的取向显示多个文本数据集>
当用户从诸如图17所示的可选择候选显示数据的可选择候选显示数据中选择语言字符串候选项、转换字符串候选项或字符串/预测转换候选项时,显示单元22显示所选择的语言字符串候选项、转换后字符串候选项或字符串/预测转换候选项作为文本数据。
图33A描绘了通过转换用户在6点钟方向、3点钟方向、12点钟方向和9点钟方向上手写的笔画数据而获取的文本数据集的示例。在图33A中,在每个位置(在每个方向上)为用户显示文本数据“abc”。对于读取所显示的文本数据集的用户之一,当将文本数据集的取向一起设置为彼此相同时是方便的。因此,根据本实施例,在操作命令定义单元33中提供操作命令定义数据712,利用该操作命令定义数据712将文本取向设置为彼此相同。当执行相应的操作命令时,手写输入显示控制单元23使用相对于与手写输入存储单元25中存储的字符串对象相对应的手写输入存储数据的角度(Angle)顺时针旋转每个笔画。
图33B描绘了这样顺时针旋转的每个文本数据集。相对于手写输入装置2的垂直方向,每个文本数据集的角度变为零。因此,用户A可以在不移动用户A的位置的情况下读取每个文本数据集。
概述
如上所述,根据本实施例的手写输入装置2能够允许每个用户以不同的设置执行手写。结果,当手写输入装置2周围的用户在平面安装手写例如字符时,可以由手写输入装置2正确地识别字符。即,即使多个用户同时用笔2500执行输入和操作,这些操作也独立地反映在笔ID操作条件中,使得用户可以专注于他们自己的笔操作而不受其他用户的笔操作的影响。可以独立地设置每个用户的位置(角度信息)。因此,即使当每个用户同时从不同角度(方向)执行手写时,也可以正确地识别这样手写的例如字符,并且可以适当地显示相应的操作指南500。另外,角度信息的设置可以通过在操作指南500内部手写直线来直观地实现。
此外,根据本实施例的手写输入装置2不需要选择操作菜单和从例如按钮列表中选择操作,并且用户可以以与手写的情况(例如字符)相同的方式输入操作命令。由于在操作指南500中同时显示操作命令候选项510和可选择候选项530,因此用户可以使用手写输入装置2而不使用不同的操作方式来输入例如字符并选择操作命令。该使用例如可以使得根据本实施例的手写输入装置2显示适当的操作命令候选项作为手写对象或用线包围固定对象的结果。因此,可以立即从手写状态调用任何功能(诸如编辑功能、输入/输出功能或笔功能)。换句话说,可以省略按压菜单按钮以调用期望功能的逐步操作,并且减少从手写状态直到调用期望功能所需的操作过程。
<手写输入装置配置的另一示例1>
根据本实施例的手写输入装置被描述为具有较大触摸面板,但是手写输入装置不限于使用触摸面板。
图34是用于例示手写输入装置的另一配置示例的图。在图34中,投影仪411位于公共白板413的顶侧。投影仪411对应于手写输入装置。公共白板413不是与触摸面板集成的平板显示器,而是用户在其上直接用标记执行手写的白板。代替白板,可以使用黑板,并且可替换地,可以使用大到足以投影图像的简单平坦表面。
投影仪411具有超短焦点的光学系统,使得投影仪411可以以很小的畸变从10cm量级的距离将图像投影到白板413上。图像可以从与投影仪411无线地或有线地连接的PC发送,或者可以由投影仪411存储。
用户使用专用电子笔2501在白板413上执行手写。电子笔2501在顶端具有发光单元,例如,当用户将电子笔2501按压到书写用白板413上时,发光单元被打开并发光。光波长是近红外或红外的,因此光对于用户是不可见的。投影仪411包括拍摄发光单元的图像并分析该图像以识别电子笔2501的取向的相机。电子笔2501在发光的同时发射声波,并且投影仪411根据声波的到达时间计算距离。取向和距离使得能够计算电子笔2501的位置。根据这样计算出的电子笔2501在白板413上的位置绘制笔画(通过投影仪411投影)。
投影仪411投影菜单430,因此当用户用电子笔2501按压菜单430中的按钮时,投影仪411根据电子笔2501的位置和开启信号来识别按钮。例如,当按压保存按钮431时,用户手写的笔画(坐标集)被存储在投影仪411中。投影仪411由此将手写信息存储在例如预定服务器412或USB存储器2600中。手写信息是以页为单位存储的。坐标按原样保存,而不是按图像数据保存,从而允许用户编辑。然而,在该示例中,不需要显示菜单430,因为可以通过手写操作来调用操作命令。
<手写输入装置配置的另一示例2>
图35描绘了用于例示手写输入装置的其他配置示例的图。在图35的示例中,手写输入装置包括终端装置600、图像投影仪装置700A和笔运动检测器810。
终端装置600通过导线连接到图像投影仪装置700A和笔运动检测器810。图像投影仪装置700A将从终端装置600输入的图像数据投影到屏幕800上。
笔运动检测器810与电子笔820通信,并检测电子笔820在屏幕800附近的操作。更详细地,电子笔820检测表示由电子笔820在屏幕800上指示的点的坐标信息,并将该坐标信息发送到终端装置600。
终端装置600基于从笔运动检测器810接收的坐标信息生成由电子笔820输入的笔画图像的图像数据。图像投影仪装置700A将笔画图像绘制到屏幕800上。
终端装置600生成通过组合由图像投影仪装置700A投影的背景图像和由电子笔820输入的笔画图像而获取的叠加图像的叠加图像数据。
<手写输入装置配置的另一示例3>
图36描绘了用于例示手写输入装置的配置的其它示例的图。在图36的示例中,手写输入装置包括终端装置600、显示器800A和笔运动检测器810。
笔运动检测器810位于显示器800A附近。笔运动检测器810检测表示由电子笔820A在显示器800A上指示的点的坐标信息,并将该坐标信息发送到终端装置600。在图36的示例中,电子笔820A可由终端装置600通过USB接口进行充电。
终端装置600基于从笔运动检测器810接收的坐标信息来生成由电子笔820A输入的笔画图像的图像数据。终端装置600在显示器800A上显示笔画图像。
<手写输入装置配置的另一示例4>
图37描绘了用于例示手写输入装置的配置的另一其它示例的图。在图37的示例中,手写输入装置包括终端装置600和图像投影装置700A。
终端装置600(使用诸如蓝牙的技术)执行与电子笔820B的无线通信,并且接收表示由电子笔820B在屏幕800上指示的点的坐标信息。终端装置600基于接收到的坐标信息生成由电子笔820B输入的笔画图像的图像数据。终端装置600使图像投影装置700A投影笔画图像。
终端装置600生成通过组合由图像投影仪装置700A投影的背景图像和由电子笔820输入的笔画图像而获取的叠加图像的叠加图像数据。
如上所述,上述实施例中的每一个可以应用于各种系统配置。
[第二实施例]
在本发明的第二实施例中,将描述一种手写输入系统,其中网络中的信息处理系统执行诸如手写识别之类的处理,并将处理结果返回给手写输入装置2。
在本实施例的描述中,因为具有与第一实施例中相同附图标记的部件或附图内容执行相同的功能,所以可以省略一次描述的组件的描述,或者可以仅描述不同之处。
图38描绘了根据本实施例的手写输入系统100的系统配置图的示例。手写输入系统100包括能够通过网络N一起通信的手写输入装置2和信息处理系统10。
手写输入装置2位于诸如办公室的设施中,并且连接到设置在设施中的LAN或Wi-Fi。信息处理系统10被设置在例如数据中心处。手写输入装置2经由防火墙8连接到因特网i,并且信息处理系统10还经由数据中心中的高速LAN连接到因特网i。
手写输入装置2可以使用诸如电话线网络的无线通信连接到因特网i。在这种情况下,无线通信是3G(第三代)、4G(第四代)、5G(第五代)、LTE(长期演进)、WiMAX(全球微波接入互操作性)等。
信息处理系统10包括一个或多个信息处理装置。一个或多个信息处理装置向作为服务器的手写输入装置2提供服务。“服务器”是用于响应于客户端的请求而提供信息和处理结果的计算机或软件。如后所述,信息处理系统10从手写输入装置2接收笔坐标,并向手写输入装置2发送用于显示图17所示的操作指南500的信息。
服务器侧系统有时被称为云系统。云系统是使用云计算的系统。云计算具有其中在不识别特定硬件资源的情况下使用网络中的资源的使用形式。云系统不一定设置在互联网中。在图38中,信息处理系统10被设置在互联网中,但是可以被设置在本地网络中(这种形式被称为预置(on-premise))。
信息处理系统10可以包括诸如服务器集群的多个计算装置。多个计算装置被配置为经由包括网络、共享存储器等的任何类型的通信链路彼此通信,并且执行这里公开的过程。
手写输入装置2的配置可以与第一实施例中的配置相同。在本实施例中,在手写输入装置2中至少设置触摸面板、显示器和通信功能。手写输入装置2可以包括被配置为彼此通信的多个计算装置。
在本实施例中,作为手写输入装置2,诸如PC或平板电脑的典型信息处理装置可以执行网络浏览器或专用应用。网络浏览器或专用应用与信息处理系统10通信。在网络浏览器操作的情况下,用户输入或选择信息处理系统10的URL以将手写输入装置2连接到信息处理系统10。手写输入装置2在网络浏览器中执行由信息处理系统10提供的网络应用。网络应用是通过使用在网络浏览器中运行的编程语言(例如JavaScript)的程序与在网络服务器中运行的程序的协调而在网络浏览器中运行的软件或机制。
在专用应用操作的情况下,手写输入装置2连接到预先登记的信息处理系统10的URL。因为专用应用具有程序和用户接口,所以程序向信息处理系统10发送信息和从信息处理系统10接收信息,并且使用用户接口在信息处理系统10处显示信息。
通信方法可以是使用诸如HTTP、HTTP或WebSocket之类的通用通信协议或者使用专用通信协议的方法。
<硬件配置的示例>
手写输入装置2的硬件配置可以与图5的硬件配置相同。关于本实施例,现在将描述信息处理系统10的硬件配置示例。
图39描绘了信息处理系统10的硬件配置。如图39所示,信息处理系统10由计算机组成,并且包括CPU 601、ROM 602、RAM 603、HD 604、HDD(硬盘驱动器)控制器605、显示器606、外部装置连接I/F(接口)608、网络I/F 609、总线610、键盘611、指示设备612、DVD-RW(数字多功能磁盘可重写)驱动器514,以及中等I/F 616。
CPU 601控制整个信息处理系统10的操作。ROM 602存储用于驱动CPU 601的程序,诸如IPL。RAM 603被用作CPU 601的工作区域。HD 604存储诸如程序之类的各种数据。HDD控制器605在CPU 601的控制下控制从HD 604读取各种数据或向HD 604写入各种数据。显示器606显示诸如光标、菜单、窗口、字符和图像的各种信息。外部装置连接I/F 608是用于连接到各种外部装置的接口。在这种情况下的外部装置可以是例如USB(通用串行总线)存储器或打印机。网络I/F 609是用于使用通信网络执行数据通信的接口。总线610包括地址总线、数据总线等,用于电连接诸如图39所示的CPU 601之类的部件。
键盘611具有用于输入字符、数字、各种指令等的多个键。指示设备612是用于选择和执行各种指令、选择处理目标、移动光标等的另一类型的输入设备。DVD-RW驱动器614控制从作为可移除记录介质的示例的DVD-RW 613读取各种数据以及向DVD-RW 613写入各种数据。可以使用DVD-R等来代替DVD-RW。介质I/F 616控制从记录介质615(例如闪存)读取数据和向记录介质615(例如闪存)写入(存储)数据。
<系统的功能>
将参照图40描述手写输入系统100的功能。图40描绘了用于例示手写输入系统100的功能的功能框图的示例。在图40的描述中,将主要解释与图6的不同之处。笔2500的功能可以与第一实施例的笔2500的功能相同。
在本实施例中,手写输入装置2包括显示单元22、显示控制单元44、手写输入单元21以及通信单元42。作为根据从SSD 204写入RAM 203的程序通过来自CPU 201的指令操作图39所示的对应部件的结果,实现手写输入装置2的每个功能。
根据本实施例的手写输入单元21的功能可以与第一实施例中的相应功能相同。手写输入单元21将用户的笔输入d1转换为笔操作数据da(笔移除、笔触摸或笔坐标数据),并将转换后的数据发送到显示控制单元44。
显示控制单元44控制手写输入装置2的显示。首先,显示控制单元44对具有离散值的笔坐标数据的离散值之间的坐标进行插值,并且通过笔移除将来自笔触摸的笔坐标数据作为单个笔画db发送到显示单元22。
显示控制单元44将笔操作数据dc发送到通信单元42,并从通信单元42获取各种显示数据dd。显示数据包括用于显示图17的操作指南500的信息。显示控制单元44将显示数据de发送到显示单元22。
通信单元42将笔操作数据dc发送到信息处理系统10,从信息处理系统10接收各种显示数据dd,并将接收到的数据发送到显示控制单元44。通信单元42使用JSON格式或XML格式用于数据发送和数据接收。
显示单元22的功能可以与第一实施例中的相应功能相同。显示单元22显示笔画db和显示数据de。显示单元22将由显示控制单元44写入视频存储器中的笔画db或显示数据de转换为与显示器220的特性相对应的数据,并将该数据发送到显示器220。
<信息处理系统的功能>
信息处理系统10包括通信单元43、手写输入显示控制单元23、候选显示定时器控制单元24、手写输入存储单元25、手写识别控制单元26、手写识别字典单元27、字符串转换控制单元28、字符串转换字典单元29、预测转换控制单元30、预测转换字典单元31、操作命令识别控制单元32、操作命令定义单元33和笔ID控制数据存储单元36。作为根据从HD 604写入RAM 603的程序、根据来自CPU 601的指令来操作图39所示的对应部件的结果,实现信息处理系统10的这些功能。
通信单元43从手写输入装置2接收笔操作数据dc,并将笔操作数据df发送到手写输入显示控制单元23。通信单元43从手写输入显示控制单元23接收显示数据dd,并将显示数据dd发送到手写输入装置2。通信单元43使用JSON格式或XML格式用于数据发送和数据接收。
其它功能与第一实施例中的对应功能相同,或者,即使存在不同的功能,在本实施例的描述中也不会出现问题。
<操作程序>
将参照上述配置和图41至图48来描述手写输入系统100的操作。图41至图48描绘了用于例示手写输入装置2显示字符串候选项和操作命令候选项的处理的示例的序列图。图41的过程响应于手写输入装置2启动(即,网络浏览器或专用应用启动)以及建立与信息处理系统10的通信而开始。图41至图48的总体流程可以与上述图30至图36的总体流程相同。
S1:响应于建立通信,为了在手写输入装置2中分配存储区域,手写输入显示控制单元23向手写输入存储单元25发送开始生成手写对象的事件。手写输入存储单元25分配手写对象区域(用于存储手写对象的存储区域)。用户可能必须用笔触摸手写输入单元21以分配手写对象区域。
S2a:用户然后用笔接触手写输入单元21。手写输入单元21检测笔触摸并将笔触摸事件发送到显示控制单元44。
S2b:显示控制单元44向通信单元42发送笔触摸事件,以向信息处理系统10指示笔触摸。
S2c:通信单元42向信息处理系统10发送笔触摸事件。
S2d:信息处理系统10的通信单元43接收笔触摸事件,并将笔触摸事件发送到手写输入显示控制单元23。
S3:手写输入显示控制单元23向手写输入存储单元25发送笔画开始事件,手写输入存储单元25分配笔画区域。
S4a:响应于用户移动与手写输入单元21接触的笔,手写输入单元21将笔坐标发送到显示控制单元44。
S4b:显示控制单元44向通信单元42发送笔坐标,以向信息处理系统10指示笔坐标。
S4c:通信单元42向信息处理系统10发送笔坐标。
S4d:信息处理系统10的通信单元43接收笔坐标,并将笔坐标指示给手写输入显示控制单元23。
S5:显示控制单元44向显示单元22发送笔坐标内插显示数据(对离散笔坐标进行内插的数据)。显示单元22通过使用笔坐标内插显示数据内插笔坐标来显示线。步骤S6的处理与上述第一实施例中的对应处理相同。
S8a:响应于用户从手写输入单元21移除笔,手写输入单元21向显示控制单元44发送笔移除事件。
S8b:显示控制单元44向通信单元42发送笔移除事件,以便向信息处理系统10指示笔移除。
S8c:通信单元42向信息处理系统10发送笔移除事件。
S8d:信息处理系统10的通信单元43接收笔移除事件,并将笔移除事件发送到手写输入显示控制单元23。
随后的步骤S9至S17和步骤S18至S41与上述第一实施例中的相应步骤相同。
S42a:响应于用户在可选择候选显示定时器401期满之前用笔触摸手写输入单元21,手写输入单元21将笔触摸事件(与步骤S2的事件相同的事件)发送到显示控制单元44。步骤S42b至S42d可以与上述步骤S2b至S2d相同。此外,步骤S43至S51与上述第一实施例中的相应步骤相同。
S52a:手写输入显示控制单元23生成包括图17所示的字符串候选项和操作命令候选项、选择概率和估计书写方向在内的可选择候选项显示数据,并将包括字符串候选项和操作命令候选项在内的可选择候选项显示数据发送到通信单元43。
S52b:通信单元43将可选择候选显示数据发送到手写输入装置2。
S52c:手写输入装置2的通信单元42接收可选择候选显示数据,并将可选择候选显示数据发送到显示控制单元44。
S52d:显示控制单元44接收可选择候选显示数据,并将可选择候选显示数据发送到显示单元22,以使显示单元22显示可选择候选显示数据。
S53a:手写输入显示控制单元23将手写对象和所选对象的矩形区域轮廓数据(矩形框)(即,在图17的示例中,手写对象矩形区域轮廓503)发送到通信单元43。
S53b:通信单元43将矩形区域轮廓数据发送给手写输入装置2。
S53c:手写输入装置2的通信单元42接收矩形区域轮廓数据,并将矩形区域轮廓数据发送给显示控制单元44。
S53d:显示控制单元44接收矩形区域轮廓数据,并因此将矩形区域轮廓数据发送到显示单元22,以使显示单元22显示矩形区域轮廓数据。步骤S54与上述第一实施例中的对应步骤相同。
S55a:响应于用户执行删除可选择候选显示的操作或执行除手写对象之外的手写,手写输入单元21将删除可选择候选显示的事件或改变手写对象的事件发送到显示控制单元44。
S55b:显示控制单元44向通信单元42发送删除可选择候选显示的事件或改变手写对象的事件,以向信息处理系统10指示删除可选择候选显示的事件或改变手写对象的事件。
S55c:通信单元42向信息处理系统10发送删除可选择候选显示或改变手写对象的事件。
S55d:信息处理系统10的通信单元43接收删除可选择候选显示或改变手写对象的事件,并将删除可选择候选显示或改变手写对象的指令发送到手写输入显示控制单元23。步骤S56至S58与上述第一实施例中的相应步骤相同。
S59a:手写输入显示控制单元23向通信单元43发送删除可选择候选显示数据的指令。
S59b:通信单元43向手写输入装置2发送删除可选择候选显示数据的指令。
S59c:手写输入装置2的通信单元42接收删除可选择候选显示数据的指令,并将删除可选择候选显示数据的指令发送到显示控制单元44。
S59d:显示控制单元44接收删除可选择候选显示数据的指令,并将删除可选择候选显示数据的指令发送到显示单元22,以使显示单元删除可选择候选项的显示。
S60a:手写输入显示控制单元23向通信单元43发送删除手写对象和所选对象的矩形区域轮廓数据的指令。
S60b:通信单元43向手写输入装置2发送删除手写对象和所选对象的矩形区域轮廓数据的指令。
S60c:手写输入装置2的通信单元42接收删除手写对象和所选对象的矩形区域轮廓数据的指令,并将删除手写对象和所选对象的矩形区域轮廓数据的指令发送到显示控制单元44。
S60d:显示控制单元44接收删除手写对象和所选对象的矩形区域轮廓数据的指令,从而向显示单元22发送删除手写对象和所选对象的矩形区域轮廓数据的指令,以使得删除手写对象和所选对象的矩形区域轮廓数据。因此,对于由于除了选择任何操作命令候选项的情况之外的条件而删除操作命令候选项的显示的情况,手写对象的显示保持原样。
响应于用户在可选择候选删除定时器的操作期间选择任何可选择候选项,执行步骤S61至S79。
S61a:响应于用户在可选择候选删除定时器的操作期间选择可选择候选项,手写输入单元21将选择字符串候选项或操作命令候选项的事件发送到显示控制单元44。
S61b:显示控制单元44将选择字符串候选项或操作命令候选项的事件发送到通信单元42,以向信息处理系统10指示该事件。
S61c:通信单元42向信息处理系统10发送选择字符串候选项或操作命令候选项的事件。
S61d:信息处理系统10的通信单元43接收选择字符串候选项或操作命令候选项的事件,并将选择字符串候选项或操作命令候选项的事件发送到手写输入显示控制单元23。步骤S62至S66是上述第一实施例中的相应步骤。
S67a:手写输入显示控制单元23将删除可选择候选显示数据的指令发送到通信单元43。
S67b:通信单元43将删除可选择候选显示数据的指令发送到手写输入装置2。
S67c:手写输入装置2的通信单元42接收删除可选择候选显示数据的指令,并将该删除可选择候选显示数据的指令发送到显示控制单元44。
S67d:显示控制单元44接收删除可选择候选显示数据的指令,并使显示单元22删除可选择候选项。
S68a:手写输入显示控制单元23将删除手写对象和选择对象的矩形区域显示数据的指令发送到通信单元43。
S68b:通信单元43向手写输入装置2发送删除手写对象和所选对象的矩形区域轮廓数据的指令。
S68c:手写输入装置2的通信单元42接收删除手写对象和所选对象的矩形区域轮廓数据的指令,并将删除手写对象和所选对象的矩形区域轮廓数据的指令发送到显示控制单元44。
S68d:显示控制单元44接收删除手写对象和所选对象的矩形区域轮廓数据的指令,从而使显示单元22删除手写对象和所选对象的矩形区域轮廓数据。
S69a:手写输入显示控制单元23向通信单元43发送删除手写对象显示数据的指令。
S69b:通信单元43向手写输入装置2发送删除手写对象显示数据的指令。
S69c:手写输入装置2的通信单元42接收删除手写对象显示数据的指令,并且向显示控制单元44发送删除手写对象显示数据的指令。
S69d:显示控制单元44接收删除手写对象显示数据的指令,从而使显示单元22删除手写对象的显示和笔坐标内插显示数据。步骤S70可以与上述第一实施例中的对应步骤相同。
响应于选择字符串候选项,执行步骤S71至S73。步骤S71和S72可以与上述第一实施例中的相应步骤相同。
S73a:手写输入显示控制单元23使用从手写输入存储单元25接收到的规定字体,向通信单元43发送在与手写对象的位置相同的位置显示的字符串对象显示数据。
S73b:通信单元43将字符串对象显示数据发送到手写输入装置2。
S73c:手写输入装置2的通信单元42接收字符串对象显示数据,并将字符串对象显示数据发送给显示控制单元44。
S73d:显示控制单元44接收字符串对象显示数据,并使显示单元22显示该字符串对象。
响应于选择操作命令候选项,执行步骤S74至S78。对于存在所选对象的情况执行步骤S74至S76。
S74a:响应于选择所选对象的操作命令候选项(存在所选对象的情况),手写输入显示控制单元23向通信单元43发送删除所选对象显示数据的指令。这是因为此时要删除原始选择的对象的显示。
S74b:通信单元43向手写输入装置2发送删除所选对象显示数据的指令。
S74c:手写输入装置2的通信单元42接收删除所选对象显示数据的指令,并将删除所选对象显示数据的指令发送到显示控制单元44。
S74d:显示控制单元44接收删除所选对象显示数据的指令,并使显示单元22删除所选对象的显示。
S75:然后,手写输入显示控制单元23向手写输入存储单元25发送对所选对象执行操作命令的指令。手写输入存储单元25将新选择对象的显示数据(已根据操作命令编辑或修改的选择对象的显示数据)发送到手写输入显示控制单元23。
S76a:手写输入显示控制单元23将所选对象显示数据发送到通信单元43。
S76b:通信单元43将所选对象显示数据发送到手写输入装置2。
S76c:手写输入装置2的通信单元42接收所选对象显示数据,并将所选对象显示数据发送到显示控制单元44。
S76d:显示控制单元44接收所选对象显示数据,从而使显示单元22在根据操作命令处理后重新显示所选择的对象。步骤S77至S79可以与上述第一实施例中的相应步骤相同。
如上所述,即使在手写输入装置2和信息处理系统10彼此通信的本实施例的系统配置中,也可以获取与第一实施例的有利效果相同的有利效果。图41至图48的处理流程是示例,并且可以包括或省略要针对彼此通信的手写输入装置2和信息处理系统10执行的处理。由信息处理系统10执行的一些处理可以替代地由手写输入装置2执行。例如,手写输入装置2可以执行关于删除的处理。
<其它应用>
因此,已经参照特定实施例描述了手写输入装置、手写输入方法、程序和记录介质。然而,本发明不限于特定实施例,并且在不脱离所要求保护的本发明的范围的情况下,可以进行各种修改、替换等。
例如,尽管在实施例中作为示例描述了电子黑板,但是可以适当地使用具有触摸面板的信息处理装置。具有触摸面板的信息处理装置例如可以是诸如PJ(投影仪)或数字标牌的输出装置、HUD(平视显示器)、工业机器、成像装置、声音收集器、医疗装置、网络家用电器、笔记本式PC(个人计算机)、蜂窝电话、智能电话、平板终端、游戏机、PDA(个人数字助理)、数字相机、可穿戴PC或台式PC。
在实施例中,通过触摸面板检测笔尖的坐标,但是也可以通过超声波检测笔尖的坐标。在这种情况下,笔与光发射一起发射超声波,并且手写输入装置2根据超声波的到达时间计算距离。可以从方向和距离来识别笔的位置。投影仪把移动的笔的轨迹绘制(投影)成笔画。
在实施例中,对于存在所选对象的情况,显示编辑系统和修改系统的操作命令候选项,而对于不存在所选对象的情况,显示输入/输出系统的操作命令候选项。然而,可以同时显示编辑系统和修改系统的操作命令候选项以及输入/输出系统的操作命令候选项。
例如,图7A-图7B的配置示例是这样的示例,其中为了便于理解手写输入装置2所执行的处理,在每个主功能的基础上对功能进行分类。然而,本发明的实施例不限于对处理单元进行分类的具体方法或处理单元的特定名称。手写输入装置2的处理可以根据实际处理内容更精细地分类。可选地,可以以每个处理单元包括更多处理的方式对功能进行分类。
所描述的实施例的每个功能可以通过一个或多个处理电路来实现。本文描述的“处理电路”或“处理单元”可以是被编程为通过软件执行每个功能的处理器,诸如在电子电路中实现的处理器、被设计为执行如上所述的每个功能的诸如ASIC(专用集成电路)的设备、数字信号处理器(DSP)、现场可编程门阵列(FPGA)或常规电路模块。
笔ID控制数据存储单元36是控制数据存储单元的示例。手写输入显示控制单元23是显示控制单元的示例。手写识别控制单元26是手写识别控制单元的示例。通信单元42是第一通信单元的示例。通信单元43是第二通信装置的示例。
根据上述教导,许多附加的修改和变化是可能的。因此,应当理解,在所附权利要求书的范围内,本专利说明书的公开可以以不同于本文具体描述的方式来实践。
如计算机领域的技术人员可以理解的,可以使用根据本说明书的教导编程的传统通用数字计算机来方便地实现本发明。适当的软件编码可以很容易地由熟练的程序员根据本公开的教导来编写,这对于软件领域的技术人员来说是显而易见的。本发明还可以通过专用集成电路的制备或通过将常规组件电路的适当网络互连来实现,这对于相关领域的技术人员来说是显而易见的。
所描述的实施例的每个功能可以通过一个或多个处理电路来实现。处理电路包括编程的处理器。处理电路还包括诸如专用集成电路(ASIC)和布置成执行所述功能的常规电路组件的设备。
处理电路被实现为微处理器的至少一部分。可使用一个或多个电路、一个或多个微处理器、微控制器、专用集成电路、专用硬件、数字信号处理器、微计算机、中央处理单元、现场可编程门阵列、可编程逻辑设备、状态机、超级计算机或其任何组合来实施处理电路。而且,处理电路可以包括在一个或多个处理电路内可执行的一个或多个软件模块。处理电路还可以包括被配置为存储使处理电路执行功能的指令和/或代码的存储器。
如果在软件中实现,则每个块可以表示包括用于实现指定逻辑功能的程序指令的代码的模块、分段或部分。程序指令可以以源代码的形式实现,该源代码包括以编程语言编写的人类可读语句或包括可由诸如计算机系统或其他系统中的处理器之类的适当执行系统识别的数值指令的机器代码。机器代码可以从源代码等转换而来。如果以硬件实现,则每个块可以表示一个电路或多个互连电路以实现指定的逻辑功能。
上述实施例可应用于除日文之外的字符和字符串,诸如英文、中文、德文、葡萄牙文等其他语言。
本申请基于并要求于2019年4月11日提交的日本专利申请2019-075825和于2020年3月23日提交的日本专利申请2020-051620的优先权权益。日本专利申请2019-075825和日本专利申请2020-051620的全部内容通过引用结合于此。

Claims (14)

1.一种手写输入装置,用于基于与触摸面板接触的输入设备的位置来显示手写笔画数据,所述手写输入装置包括:
控制数据存储单元,其被配置为与从所述输入设备接收的所述输入设备的识别信息相关联地存储关于所述输入设备的控制数据;
显示控制单元,其被配置为将与从所述输入设备接收的所述输入设备的所述识别信息相关联的所述控制数据反映在所述笔画数据中,并且在显示单元上显示基于所述笔画数据的信息;以及
手写识别控制单元,其被配置为识别所述笔画数据并将所述笔画数据转换为一个或多个文本数据集,
所述控制数据存储单元被配置为存储使用所述输入设备的用户相对于所述手写输入装置的预定方向的角度信息作为所述控制数据,并且
所述显示控制单元被配置为将所述角度信息反映在所述笔画数据中,并且基于所述笔画数据来显示所述信息,
其中,
所述手写识别控制单元进一步被配置为基于所述角度信息旋转所述笔画数据,然后识别所述笔画数据,并将所述笔画数据转换为所述一个或多个文本数据集,并且
所述显示控制单元被配置为显示所述一个或多个文本数据集作为基于所述笔画数据的所述信息,
所述手写识别控制单元被配置为,使得所述控制数据存储单元将基于由在预定区域中手写的线和所述预定方向形成的角度而确定的所述角度信息与所述输入设备的所述识别信息相关联地存储,其中,所述输入设备的所述识别信息是当手写所述线的所述笔画数据时从所述输入设备接收的信息,所述预定区域是显示从所述转换获取的所述一个或多个文本数据集的区域,并且,所述用户能够通过在所述预定区域手写所述线来输入所述角度信息,
所述手写识别控制单元被配置为从所述预定区域检测所述线,以将在所述预定区域之外手写的笔画数据转换为所述一个或多个文本数据集。
2.根据权利要求1所述的手写输入装置,其中,
所述显示控制单元被配置为根据所述用户的位置显示基于所述笔画数据的所述信息。
3.根据权利要求2所述的手写输入装置,其中,
所述控制数据存储单元存储关于使用所述输入设备的所述用户的所述位置的信息作为所述控制数据,并且
所述显示控制单元被配置为将关于所述用户的所述位置的信息反映在所述笔画数据中,并基于所述笔画数据显示所述信息。
4.根据权利要求1所述的手写输入装置,其中,
所述显示控制单元被配置为基于所述角度信息旋转所述一个或多个文本数据集,并且显示所旋转的所述一个或多个文本数据集作为基于所述笔画数据的所述信息。
5.根据权利要求4所述的手写输入装置,其中,
所述显示控制单元被配置为:
与所述一个或多个文本数据集一起显示被配置为接收所述用户的操作的操作头,并且
显示所述一个或多个文本数据集和基于所述角度信息旋转的所述操作头,作为基于所述笔画数据的所述信息。
6.根据权利要求1所述的手写输入装置,其中,
所述手写识别控制单元被配置为当手写线的笔画数据时,使得基于在预定区域中手写的线的结束点方向确定的角度信息与所述输入设备的所述识别信息相关联,所述输入设备的所述识别信息是当手写所述线的所述笔画数据时从所述输入设备接收的信息。
7.根据权利要求6所述的手写输入装置,其中,
所述预定区域是显示从所述转换获取的所述一个或多个文本数据集的区域,并且
所述手写识别控制单元被配置为从所述预定区域检测所述线,以将在所述预定区域之外手写的笔画数据转换为所述一个或多个文本数据集。
8.根据权利要求1所述的手写输入装置,其中,
操作头被配置为接收与所述一个或多个文本数据集一起显示的所述用户的操作,所述操作头包括被配置为接收所述角度信息的旋转操作按钮,并且
所述控制数据存储单元被配置为存储与当按压所述旋转操作按钮时从所述输入设备接收的所述输入设备的所述识别信息相关联的角度信息。
9.根据权利要求1所述的手写输入装置,其中,
所述手写识别控制单元进一步被配置为以90度或45度为单位设置所述角度信息。
10.根据权利要求1所述的手写输入装置,其中,
所述显示控制单元被配置为:
显示由所述用户从旋转并显示的所述一个或多个文本数据集中选择的一个文本数据集,
显示分别由多个用户选择的多个文本数据集,并且
响应于检测到用户的预定操作,以相同的取向一起显示所述多个文本数据集。
11.跟据权利要求1所述的手写输入装置,其中,
所述显示控制单元被配置为,在取决于所述笔画数据的位置的位置处显示包括所述一个或多个文本数据集的操作指南。
12.根据权利要求1所述的手写输入装置,其中,
所述显示控制单元被配置为,在基于所述笔画数据的位置确定的显示屏幕中的位置处显示包括所述一个或多个文本数据集的操作指南。
13.一种手写输入方法,用于通过手写输入装置基于与触摸面板接触的输入设备的位置来显示手写笔画数据,所述手写输入方法包括:
通过显示控制单元从控制数据存储单元获取关于所述输入设备的控制数据,所述控制数据与所述输入设备的识别信息相关联;
通过所述显示控制单元将与从所述输入设备接收的所述输入设备的所述识别信息相关联的所述控制数据反映在所述笔画数据中,并且在显示单元上显示基于所述笔画数据的信息;以及
通过手写识别控制单元识别所述笔画数据并将所述笔画数据转换为一个或多个文本数据集,
所述控制数据存储单元存储使用所述输入设备的用户相对于所述手写输入装置的预定方向的角度信息作为所述控制数据,并且
所述显示控制单元将所述角度信息反映在所述笔画数据中,并且基于所述笔画数据来显示所述信息,
其中,
所述手写识别控制单元进一步基于所述角度信息旋转所述笔画数据,然后识别所述笔画数据,并将所述笔画数据转换为所述一个或多个文本数据集,并且
所述显示控制单元显示所述一个或多个文本数据集作为基于所述笔画数据的所述信息,
所述手写识别控制单元使得所述控制数据存储单元将基于由在预定区域中手写的线和所述预定方向形成的角度而确定的所述角度信息与所述输入设备的所述识别信息相关联地存储,其中,所述输入设备的所述识别信息是当手写所述线的所述笔画数据时从所述输入设备接收的信息,所述预定区域是显示从所述转换获取的所述一个或多个文本数据集的区域,并且,所述用户能够通过在所述预定区域手写所述线来输入所述角度信息,
所述手写识别控制单元从所述预定区域检测所述线,以将在所述预定区域之外手写的笔画数据转换为所述一个或多个文本数据集。
14.一种记录介质,其存储程序,该程序使得被配置为基于与触摸面板接触的输入设备的位置来显示手写笔画数据的手写输入装置进行以下操作:
执行与所述输入设备的通信;
通过显示控制单元从控制数据存储单元获取关于所述输入设备的控制数据,该控制数据与所述输入设备的识别信息相关联;
通过所述显示控制单元将与从所述输入设备接收的所述输入设备的所述识别信息相关联的所述控制数据反映在笔画数据中,并且在显示单元上显示基于所述笔画数据的信息;以及
通过手写识别控制单元识别所述笔画数据并将所述笔画数据转换为一个或多个文本数据集,
所述控制数据存储单元存储使用所述输入设备的用户相对于所述手写输入装置的预定方向的角度信息作为所述控制数据,并且
通过显示控制单元将所述角度信息反映在所述笔画数据中,并且基于所述笔画数据来显示所述信息,
其中,
所述手写识别控制单元进一步基于所述角度信息旋转所述笔画数据,然后识别所述笔画数据,并将所述笔画数据转换为所述一个或多个文本数据集,并且
所述显示控制单元显示所述一个或多个文本数据集作为基于所述笔画数据的所述信息,
所述手写识别控制单元使得所述控制数据存储单元将基于由在预定区域中手写的线和所述预定方向形成的角度而确定的所述角度信息与所述输入设备的所述识别信息相关联地存储,其中,所述输入设备的所述识别信息是当手写所述线的所述笔画数据时从所述输入设备接收的信息,所述预定区域是显示从所述转换获取的所述一个或多个文本数据集的区域,并且,所述用户能够通过在所述预定区域手写所述线来输入所述角度信息,
所述手写识别控制单元从所述预定区域检测所述线,以将在所述预定区域之外手写的笔画数据转换为所述一个或多个文本数据集。
CN202010274952.8A 2019-04-11 2020-04-09 手写输入装置、手写输入方法以及记录介质 Active CN111813254B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2019075825 2019-04-11
JP2019-075825 2019-04-11
JP2020-051620 2020-03-23
JP2020051620A JP7452155B2 (ja) 2019-04-11 2020-03-23 手書き入力装置、手書き入力方法、プログラム

Publications (2)

Publication Number Publication Date
CN111813254A CN111813254A (zh) 2020-10-23
CN111813254B true CN111813254B (zh) 2024-03-19

Family

ID=72831447

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010274952.8A Active CN111813254B (zh) 2019-04-11 2020-04-09 手写输入装置、手写输入方法以及记录介质

Country Status (3)

Country Link
JP (1) JP7452155B2 (zh)
CN (1) CN111813254B (zh)
TW (1) TWI807181B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI809617B (zh) * 2020-12-22 2023-07-21 禾瑞亞科技股份有限公司 電子紙觸控板的控制方法與整合裝置及電子系統
TWI806579B (zh) 2022-04-29 2023-06-21 聯詠科技股份有限公司 觸控裝置及偵測方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05250090A (ja) * 1992-03-05 1993-09-28 Matsushita Electric Ind Co Ltd ペン入力装置
JPH0659813A (ja) * 1992-08-07 1994-03-04 Fuji Xerox Co Ltd 電子情報描画装置
CN102156585A (zh) * 2011-04-27 2011-08-17 段西京 手写输入控制方法及具有鼠标操作功能的手写输入装置
JP2015230497A (ja) * 2014-06-03 2015-12-21 シャープ株式会社 入力表示装置
CN108241444A (zh) * 2016-12-27 2018-07-03 株式会社和冠 手写信息处理设备、手写信息处理方法和手写信息处理程序

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4844896B2 (ja) 2007-03-30 2011-12-28 アイシン・エィ・ダブリュ株式会社 ナビゲーション装置
JP2012174112A (ja) 2011-02-23 2012-09-10 Nec Casio Mobile Communications Ltd 画像表示装置、画像表示方法およびプログラム
US9519414B2 (en) * 2012-12-11 2016-12-13 Microsoft Technology Licensing Llc Smart whiteboard interactions
US9069462B2 (en) * 2013-03-14 2015-06-30 Nuance Communications, Inc. Recognizing handwriting input using rotatable support lines
TWI511028B (zh) * 2013-06-19 2015-12-01 Kye Systems Corp 座標對應方法
JP6092418B2 (ja) 2013-10-23 2017-03-08 株式会社東芝 電子機器、方法及びプログラム
TW201638763A (zh) * 2015-04-20 2016-11-01 宏碁股份有限公司 電子裝置及觸控偵測方法
JP2018054880A (ja) 2016-09-29 2018-04-05 セイコーエプソン株式会社 表示装置、情報処理装置および情報処理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05250090A (ja) * 1992-03-05 1993-09-28 Matsushita Electric Ind Co Ltd ペン入力装置
JPH0659813A (ja) * 1992-08-07 1994-03-04 Fuji Xerox Co Ltd 電子情報描画装置
CN102156585A (zh) * 2011-04-27 2011-08-17 段西京 手写输入控制方法及具有鼠标操作功能的手写输入装置
JP2015230497A (ja) * 2014-06-03 2015-12-21 シャープ株式会社 入力表示装置
CN108241444A (zh) * 2016-12-27 2018-07-03 株式会社和冠 手写信息处理设备、手写信息处理方法和手写信息处理程序

Also Published As

Publication number Publication date
JP7452155B2 (ja) 2024-03-19
CN111813254A (zh) 2020-10-23
TW202040351A (zh) 2020-11-01
TWI807181B (zh) 2023-07-01
JP2020173794A (ja) 2020-10-22

Similar Documents

Publication Publication Date Title
EP3722995A1 (en) Handwriting input apparatus, handwriting input method, and program
CN112825022B (zh) 显示装置、显示方法、介质
WO2021070972A1 (en) Display apparatus, color supporting apparatus, display method, and program
EP3825868A1 (en) Display apparatus, display method, and program
JP2023175845A (ja) 手書き入力装置、手書き入力方法、プログラム、入力システム
CN112805664B (zh) 输入装置、输入方法、程序和输入系统
CN111813254B (zh) 手写输入装置、手写输入方法以及记录介质
JP2024111215A (ja) 入力装置、入力方法、プログラム、入力システム
JP7456287B2 (ja) 表示装置、プログラム、表示方法
CN111814530B (zh) 手写输入装置、手写输入方法、程序以及输入系统
JP7259828B2 (ja) 表示装置、表示方法、プログラム
JP7543788B2 (ja) 表示装置、入力方法、プログラム
EP3882757A1 (en) Display device, display method, and program
JP2021064366A (ja) 表示装置、カラー対応装置、表示方法、プログラム
JP2021096844A (ja) 表示装置、表示方法、プログラム
JP2023137822A (ja) 表示装置、清書方法、プログラム、情報共有システム
JP2021082292A (ja) 表示装置、表示方法、プログラム
JP2021152884A (ja) 表示装置、表示方法、プログラム、情報処理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant