CN114467071A - 显示装置、彩色支持装置、显示方法及程序 - Google Patents

Abstract

本发明的一目的在于，提供一种能够识别由特定显示装置绘制的手写数据的显示装置。一种用于显示数据的显示装置，其中，将由所述显示装置绘制的手写输入起源数据的意思表示与所述手写数据相关联地记录。

Description

显示装置、彩色支持装置、显示方法及程序

技术领域

本发明涉及一种显示装置、彩色支持装置、显示方法及程序。

背景技术

用于显示用笔或手指手写在触摸面板上的手写数据的显示装置已为人所知。具有较大触摸面板的显示装置位于会议室等，并且被多个用户用作电子黑板等。

在通常的显示装置中，用户可以使用预定的按钮来切换字符的颜色或粗细，并且显示装置可以以用户选择的颜色和粗细来显示手写数据。

另一方面，尽管已进行一些在显示装置中采用电子纸的尝试，但通常电子纸无法显示彩色。因此，当电子纸等黑白支持装置从外部读取彩色文件时，黑白支持装置将颜色信息转换为黑白的浓度来显示颜色信息(例如，参见专利文献1)。专利文献1公开了一种通过执行对应于彩色图像的特性的适当的校正来进行图像数据转换的转换方法。

引文列表

专利文献

[专利文献1]日本特开第2017-139678号

发明内容

技术问题

然而，在现有技术中存在无法识别用特定显示装置绘制的手写数据的问题。

鉴于上述问题，本发明的目的在于，提供一种能够识别用特定显示装置绘制的手写数据的显示装置。

问题的解决方案

鉴于上述问题，本发明提供一种用于显示数据的显示装置，其中将所述数据是由所述显示装置绘制的手写数据的信息的意思表示与所述手写数据相关联地记录。

发明的有利效果

可以提供一种能够识别由特定显示装置绘制的手写数据的显示装置。

附图说明

图1A是示出黑白支持装置显示的彩色到黑白的转换例的图。

图1B是示出黑白支持装置显示的彩色到黑白的转换例的图。

图1C是示出黑白支持装置显示的彩色到黑白的转换例的图。

图2是示出由本发明的实施例的显示装置显示的手写输入起源数据的显示方法的概要的图。

图3是示出笔的立体图的一例的图。

图4是示出显示装置的整体配置图的一例的图。

图5是示出显示装置的硬件结构的一例的图。

图6A是示出显示装置和笔的功能的图。

图6B是示出显示装置和笔的功能的图。

图7是示出已定义控制数据的示例的图。

图8是示出手写识别词典单元的词典数据的一例的图。

图9是示出字符串转换词典单元的词典数据的一例的图。

图10是示出预测转换词典单元的词典数据的一例的图。

图11A是示出操作命令定义单元保持的操作命令定义数据和系统定义数据的示例的图。

图11B是示出操作命令定义单保持的操作命令定义数据和系统定义数据的示例的图。

图12是示出显示于显示单元的文件列表显示数据的一例的图。

图13是示出有手写对象选择的选择对象时的操作命令定义数据的一例的图。

图14是示出操作命令定义单元保持的用户定义数据的一例的图。

图15是示出手写签名数据存储单元保持的手写签名数据的一例的图。

图16是示出存储在手写输入存储单元中的手写输入存储数据的一例的图。

图17A是示出存储在笔ID控制数据存储单元中的笔ID控制数据的图。

图17B是示出存储在笔ID控制数据存储单元中的笔ID控制数据的图。

图18是示出颜色定义数据的一例的图。

图19A是示出使用图18中的颜色定义数据显示黑白强调的数据和利用彩色显示方法来显示数据的数据的示例的图。

图19B是示出使用图18中的颜色定义数据显示黑白强调的数据和利用彩色显示方法来显示数据的数据的示例的图。

图20是示出笔颜色选择按钮定义数据的一例的图。

图21A是示出显示于显示器的笔按钮的一例的图。

图21B是示出显示于显示器的笔按钮的一例的图.

图22是示出操作指南和操作指南所显示的可选候选的示例的图。

图23A是说明选择对象的指定例的图的一例。

图23B是说明选择对象的指定例的图的一例。

图23C是说明选择对象的指定例的图的一例。

图23D是说明选择对象的指定例的图的一例。

图24A是示出有手写对象时的基于操作命令定义数据的操作命令候选的显示例的图。

图24B是示出有手写对象时的基于操作命令定义数据的操作命令候选的显示例的图。

图25A是示出有手写对象时的基于操作命令定义数据的操作命令候选的显示例的图。

图25B是示出有手写对象时的基于操作命令定义数据的操作命令候选的显示例的图。

图26A是说明90度角度信息的输入方法的图。

图26B是说明90度角度信息的输入方法的图。

图26C是说明90度角度信息的输入方法的图。

图27A是说明手写签名数据的注册方法的图。

图27B是说明手写签名数据的注册方法的图。

图27C是说明手写签名数据的注册方法的图。

图28是示出当用户用日语手写作为用户注册的手写签名数据的"すずき"(铃木)时显示的操作指南的一例的图。

图29A是说明用户定义数据的变更方法的图。

图29B是说明用户定义数据的变更方法的图。

图30是显示装置显示字符串候选和操作命令候选的处理的一例(之一)。

图31是显示装置显示字符串候选和操作命令候选的处理的一例(之二)。

图32是显示装置显示字符串候选和操作命令候选的处理的一例(之三)。

图33是显示装置显示字符串候选和操作命令候选的处理的一例(之四)。

图34是显示装置显示字符串候选和操作命令候选的处理的一例(之五)。

图35是显示装置显示字符串候选和操作命令候选的处理的一例(之六)。

图36是显示装置显示字符串候选和操作命令候选的处理的一例(之七)。

图37是显示装置显示字符串候选和操作命令候选的处理的一例(之八)。

图38是示出在英文转换的情况下的显示装置显示手写输入起源数据的显示方法的概要的图。

图39是示出在中文转换的情况下的本发明的实施例的显示装置2显示手写输入起源数据的显示方法的概要的图。

图40A是示出在英文转换的情况下的没有选择对象时的操作命令定义数据的一例的图。

图40B是示出在英文转换的情况下的没有选择对象时的操作命令定义数据的一例的图。

图41是示出在英文转换的情况下的有选择对象时的操作命令定义数据的一例的图。

图42是示出在英文转换的情况下的用户定义数据的一例的图。

图43是示出在英文转换的情况下的手写识别词典单元的词典数据的一例的图。

图44是示出在英文转换的情况下的字符串转换词典单元的词典数据的一例的图。

图45是示出在英文转换的情况下的预测转换词典单元的词典数据的一例的图。

图46A是示出在英文转换的情况下的使用图18中的颜色定义数据显示黑白强调的数据和利用彩色显示方法来显示数据的数据的图。

图46B是示出在英文转换的情况下的使用图18中的颜色定义数据显示黑白强调的数据和利用彩色显示方法来显示数据的数据的图。

图47是示出在英文转换的情况下的操作指南和操作指南所显示的可选候选的示例的图。

图48A是说明在英文转换的情况下的选择对象的指定例的图的一例。

图48B是说明在英文转换的情况下的选择对象的指定例的图的一例。

图49A是示出在有图48A-图48B所示的手写对象的情况下的基于操作命令定义数据的操作命令候选的显示例的图。

图49B是示出在有图48A-图48B所示的手写对象的情况下的基于操作命令定义数据的操作命令候选的显示例的图。

图50A是说明在英文转换的情况下的90度的角度信息的输入方法的图的一例。

图50B是说明在英文转换的情况下的90度的角度信息的输入方法的图的一例。

图50C是说明在英文转换的情况下的90度的角度信息的输入方法的图的一例。

图51A是说明在英文转换的情况下的手写签名数据的注册方法的图。

图51B是说明在英文转换的情况下的手写签名数据的注册方法的图。

图51C是说明在英文转换的情况下的手写签名数据的注册方法的图。

图52是示出在英语转换的情况下当用户手写作为用户注册的手写签名数据的"Bob(鲍勃)"时显示的操作指南的一例的图。

图53A是说明在英语转换的情况下的用户定义数据的变更方法的图。

图53B是说明在英语转换的情况下的用户定义数据的变更方法的图。

图54是示出显示装置的另一配置例的图。

图55是示出显示装置的另一配置例的图。

图56是示出显示装置的另一配置例的图。

图57是示出显示装置的另一配置例的图。

具体实施例

下面，作为本发明的实施例的一例，将参照附图对显示装置及由所述显示装置执行的显示方法进行描述。

实施例1

<术语>

输入单元可以是允许通过指定触摸面板上的坐标来进行手写的单元。例如，包括笔、人的手指、手、棒状部件等。进一步地，可以包括视觉输入设备。手写数据是将用户在触摸面板上连续移动输入单元的的坐标点序列作为轨迹表示的数据。进一步地，笔画是用户在触摸面板上按下输入单元并连续移动其之后，从触摸面板放开其的一系列操作。通过笔画手写的数据称为笔画数据。手写数据包括一个以上的笔画数据项。手写输入表示用户输入手写数据。

<显示装置的比较例>

在描述本发明的实施例的显示装置时，首先，对黑白支持装置的彩色显示例进行简要说明。

图1A-图1C是示出黑白支持装置显示的彩色到黑白的转换例的图。首先，图1A示出黑白支持装置显示的手写数据的一例。黑白支持装置是无法用彩色显示数据的显示装置。用户可以对黑白支持装置输入手写输入。然而，黑白支持装置将颜色信息转换为灰度信息来对其进行显示。

图1B和图1C是示出颜色信息与灰度信息之间的对应的图。由于制图的限制，两张图都是黑白的，但图1B是彩色色表，图1C是灰度化的色表。通过比较图1B和图1C的色表的相同圆周位置可知，红色(R)转换为浅灰色，而蓝色(B)转换为深灰色。

因此，如图1A所示，当黑白支持装置将用户用红色手写的手写数据303转换为灰度信息时，以浅灰色对其进行显示。当黑白支持装置将用户用蓝色手写的手写数据302转换为灰度信息时，以深灰色对其进行显示。用户用黑色手写的手写数据301以黑色显示。然而，可以理解的是，红色和蓝色难以发挥强调显示(强调)信息原始功能。尤其，蓝色难以与黑色区分开。

<本发明的实施例的显示装置的彩色显示的概要>

因此，在本发明的实施例的显示装置中，将手写输入起源数据与表示该数据是手写输入起源数据的信息相关联起来，从而可以检测手写输入起源数据。进一步地，在显示手写输入起源数据的情况下，所述显示装置基于与手写输入起源数据相关联的颜色信息，通过对应于颜色信息的方式显示手写输入起源数据。通过对应于颜色信息的方式显示手写输入起源数据称为“黑白强调显示”。手写输入起源数据是手写的笔画数据或通过手写识别从笔画数据转换的文本数据。

图2是说明本发明的实施例的显示装置显示的手写输入起源数据的显示方法的概要的图。需要说明的是，显示装置将被描述为不支持彩色显示的装置，例如电子纸。然而，能够进行彩色显示的显示装置可以进行黑白显示。

(1)首先，用户可以通过使用按钮来选择用哪个颜色输入手写数据。在图2中，用户可以选择黑色(Bk)、红色(R)、蓝色(B)、绿色(G)、洋红色(M)以及青色(C)中的每一个。

(2)当用户手写时，显示装置通过对应于颜色的方式显示手写数据。对应于颜色的方式是指，根据颜色使用不同的线型来进行显示。通过以这种方式显示对应于颜色的线型，可以进行黑白强调显示。如下所述，显示装置能够进行手写识别，并且可以将手写数据转换为文本(字符代码)。图2中的手写数据1和手写数据2被转换成文本，而手写数据3是未转换的手写数据。

(3)本发明的实施例的显示装置针对每个手写数据具有表示其是否为手写输入起源数据的信息和颜色信息。手写数据1是手写输入起源数据，颜色信息是黑色。手写数据2是手写输入起源数据，颜色信息是红色。手写数据3是手写输入起源数据，颜色信息是蓝色。从手写数据1或手写数据2等手写数据转换的文本(字符代码)还保持表示其是否为手写输入起源数据的信息。因此，当显示手写输入起源数据时，显示装置可以使用对应于所表示的颜色的线型进行显示。

(4)当显示装置将手写数据转换成PDF文件等时，显示装置根据PDF格式设置手写数据或文本数据的颜色信息，并附上表示手写输入起源数据的信息和颜色信息作为元数据。当显示装置从存储介质(USB存储器等)读取该PDF文件时，可以基于元数据以对应于颜色信息的线型显示手写输入起源数据。任意的其他装置忽略元数据，并且由于装置将该PDF文件显示为普通PDF文件，因而可以用彩色显示。需要说明的是，元数据是描述数据的含义的数据。换言之，元数据是具有与特定数据相关的信息的数据。元数据并非数据本身，而是与数据相关的数据，因此被称为元(上位)数据。

在显示装置将手写输入起源数据发送至外部装置的情况下，显示装置根据装置的类型转换手写输入起源数据，并发送转换后的数据。外部装置的示例包括以下装置：

-黑白支持装置(例如，单色打印机)

-彩色支持装置(例如，彩色打印机)

-黑白强调支持装置(例如，本发明的实施例的显示装置)

根据上述转换，黑白支持装置和彩色支持装置可以在不判定数据是否为手写输入起源数据的情况下以黑白显示或以彩色显示。

如上所述，本发明的实施例的显示装置将手写输入起源数据与表示手写输入起源数据的信息相关联起来，从而可以检测数据是手写输入起源数据。根据上述，即使在显示装置2从外部装置获取文件的情况下，当显示手写输入起源数据时，也可以基于与手写数据相关联的颜色信息进行黑白强调显示。进一步地，在将手写输入起源数据发送到外部装置的情况下，可以在不判定数据是否为手写输入起源数据的情况下显示该数据。

<术语>

黑白支持装置：一种只能输出白色或黑色或灰度数据的装置。例如，包括电子纸、单色打印机等。黑白支持装置可以是不支持彩色的装置。电子纸也称为E纸。电子纸是能够通过电气方式显示和擦除数据的显示器的总称，厚度约为1/10mm。实现电子纸的典型技术是微胶囊电泳，称为E墨水(注册商标)。每个微胶囊包含白色颗粒和黑色颗粒，白色颗粒带正电，黑色颗粒带负电。

彩色支持装置：彩色支持装置是既能输出彩色数据又能输出黑白数据的装置。包括具有液晶或有机EL显示器的装置、彩色打印机等。彩色支持装置也是黑白支持装置。

黑白强调支持装置：黑白强调支持装置是虽然只能输出白色或黑色或灰度数据的装置，但对所述手写输入起源数据基于与手写数据相关联的颜色信息进行黑白强调显示的装置。本发明的实施例的显示装置可以被列举为黑白强调支持装置(特定显示装置的一例)。需要说明的是，显示装置能够接收手写输入，并且可以称为输入装置或手写输入装置。

笔画数据是自由手写的线。笔画数据具有连续的点的集合，并且可以根据需要进行插值。

手写输入起源数据是指通过在触摸面板上手写输入的数据。手写输入起源数据包括在被输入后作为手写数据保持的数据，并且包括转换为文本数据的数据。此外，当从外部装置获得数据时，表示该数据是手写输入起源数据的信息不会丢失。手写输入起源数据可以包括通过字符识别转换的文本数据、以及基于用户操作转换的数据，例如显示为诸如“完成”或“机密”的固定字符或标记的印章、诸如圆形和星形的形状、直线等。换言之，手写输入起源数据是在显示装置中手写的笔画数据或通过手写识别从笔画数据转换的文本数据。

不是手写输入起源数据的数据是指，除了在触摸面板上通过手写输入的数据之外的数据。例如，是指图像数据、通过除了黑白强调支持装置之外的装置输入的手写数据或文本数据。换言之，不是手写输入起源数据的数据是由除了显示装置之外的PC等输入的笔画数据，或者笔画是通过手写识别转换的文本数据。

使用ColorId来判定数据是否为手写输入起源数据。ColorId是用于区分作为手写输入起源数据的数据和不是手写输入起源数据的数据的标识符。作为标识符，可以使用终端标识符、型号(用于识别产品类型的编号)等来进行区分。

颜色信息的黑白强调并非指仅仅将颜色转换为亮度或浓度，而是指通过能够区分不同颜色的方式显示数据。优选强调显示(强调)应反映颜色的性质，例如警示。

<笔的外观的示例>

图3是示出笔2500的立体图的一例的图。图3示出多功能笔2500的一例。具有内置电源并且能够向显示装置2发送命令的笔2500称为有源笔(没有内置电源的笔称为无源笔)。图3的笔2500在笔尖有一个物理开关，在笔底有一个物理开关，并且在笔侧面有两个物理开关。笔尖的开关用于书写，笔底的开关用于擦除，笔侧面的开关用于分配用户功能。在本发明的实施例中，笔2500还包括存储对于其他笔而言唯一的笔ID的非易失性存储器。

通过使用带开关的笔，可以减少用户对显示装置2的操作步骤。带开关的笔主要是指有源笔。但是，作为带开关的笔，也可以包括没有内置电源而是利用LC电路发电的电磁感应式无源笔。带开关的光学笔、带开关的红外线笔、以及带开关的电容笔均是有源笔。

需要说明的是，假设笔2500的硬件配置与包括通信功能和微型计算机的一般控制方法的硬件配置相同。笔2500可以是电磁感应式、有源静电耦合式等。此外，笔2500可以具有笔压检测、倾斜检测以及悬停功能(在笔接触触摸面板之前表示光标)等功能。

<装置的整体配置>

将参照图4对本发明的实施例的显示装置2的整体配置进行描述。图4是示出显示装置2的整体配置图的图。图4的(a)示出用作悬挂在墙上的横向电子黑板的显示装置2作为显示装置2的示例。

如图4的(a)所示，在显示装置2的顶部设有作为显示装置的一例的显示器220。用户U可以使用笔2500在显示器220上手写(也称输入或绘制)字符等。

图4的(a)示出用作悬挂在墙上的横向电子黑板的显示装置2。

图4的(c)示出平放(放置)在桌子230上的显示装置2。由于显示装置2的厚度约为1cm，因此即使平放在普通的桌子上也不需要调整桌子的高度。此外，用户可以容易地移动显示装置2。

需要说明的是，显示装置2可以使用倾斜传感器自动地检测使用哪种位置。

<装置的硬件配置>

接下来，将参照图5对显示装置2的硬件配置进行描述。如图所示，显示装置2具有信息处理装置或计算机的配置。图5是示出显示装置2的硬件配置的一例的图。如图5所示，显示装置2包括CPU(中央处理单元)201、ROM(只读存储器)202、RAM(随机存取存储器)203、以及SSD(固态驱动器)204。

CPU 201控制显示装置2的整体动作。ROM 202存储用于驱动CPU 201的程序，例如CPU 201和IPL(初始程序加载器)。RAM 203用作CPU 201的工作区。SSD 204存储各种数据项，例如用于显示装置2的程序。

进一步地，显示装置2包括显示控制器213、触摸传感器控制器215、触摸传感器216、显示器220、电源开关227、倾斜传感器217、串行接口218、扬声器219、麦克风221、无线通信装置222、红外线I/F223、电源控制电路224、AC适配器225、以及电池226。

显示控制器213控制和管理屏幕显示以将输出图像输出到显示器220等。触摸传感器216检测笔2500、用户的手等(笔或用户的手用作输入单元)与显示器220接触。进一步地，触摸传感器216接收笔ID。

触摸传感器控制器215控制触摸传感器216的处理。触摸传感器216输入并检测坐标。就输入和检测坐标的方法而言，例如，在光学式的情况下，使位于显示器220的上侧两端的两个光发射及接收装置平行于显示器220地发射多个红外线。红外线被设置在显示器220周围的反射部件反射，使得发光装置接收在与光接收元件发射的光相同的光路上返回的光。触摸传感器216向触摸传感器控制器215输出被物体遮挡的两个光发射及接收装置发射的红外线的位置信息，并且触摸传感器控制器215识别作为物体的接触位置的坐标位置。进一步地，触摸传感器控制器215包括通信单元215a，并且能够通过无线电(无线地)与笔2500通信。例如，在以蓝牙(注册商标)等标准进行通信时，可以使用商用笔。当预先在通信单元215a中注册了一支以上的笔2500时，用户可以在不执行使笔2500与显示装置2通信的连接设置的情况下进行通信。

电源开关227是用于切换显示装置2的电源的ON/OFF(开/关)的开关。倾斜传感器217是检测显示装置2的倾斜角度的传感器。倾斜传感器217主要用于检测图4的(a)、图4的(b)及图4的(c)的安装状态中的哪一个是使用显示装置2的安装状态，从而可以根据安装状态自动变更字符的粗细等。

串行接口218是与外部装置的通信接口，例如USB接口、LAN接口等。串行接口218例如用于输入来自外部源的信息。扬声器219用于音频输出，麦克风221用于音频输入。无线通信装置222与用户携带的终端进行通信，并例如中继到互联网的连接。无线通信装置222通过Wi-Fi、蓝牙(注册商标)等进行通信，但通信标准可以是任意的标准。无线通信装置222形成接入点。当用户将用户获得的SSID(Service Set Identifier，服务集标识符)和密码设置到用户携带的终端时，该终端可以连接到接入点。

需要说明的是，优选无线通信装置222设置有两个接入点。

(a)接入点->互联网

(b)接入点->内部网络->互联网

接入点(a)是给外部用户使用的，外部用户不能通过接入点(a)接入内部网络，但可以使用互联网。接入点(b)是给内部用户使用的，内部用户可以使用内部网络，也可以通过接入点(b)使用互联网。

红外线I/F 223检测相邻的显示装置2。红外线I/F 223能够利用红外线的直线性仅检测相邻的显示装置2。优选地，红外线I/F 223设置在显示装置2的每一侧，并且可以检测另一个显示装置2位于显示装置2的哪个方向。相邻的显示装置2可以显示过去已手写的手写信息(另一页上的手写信息，假设显示器220的尺寸对应于一页)。

电源控制电路224控制作为显示装置2的电源的AC适配器225和电池226。AC适配器225将商用电源共享的交流电转换为DC。

在显示器220是所谓的电子纸的情况下，显示器220在图像被渲染之后消耗很少或不消耗电力以维持该图像，因此，显示器220可以由电池226驱动。结果，即使在室外等难以连接电源的地方，也可以将显示装置2用于数字标牌等用途。

进一步地，显示装置2包括总线210。总线210是用于电连接诸如图5所示的CPU 201的构件的地址总线、数据总线等。

需要说明的是，触摸传感器216可以不限于光学式，可以是具有通过检测电容变化来识别接触位置的静电电容方法的触摸面板。触摸传感器216可以是通过彼此面对的两个电阻膜的电压变化来确定接触位置的电阻膜式触摸面板。触摸传感器216可以是检测由接触物体与显示单元的接触引起的电磁感应并确定接触位置的电磁感应式触摸面板。可以对触摸传感器216使用多样的检测手段。触摸传感器216可以是不需要电子笔来检测是否存在笔尖的触摸的方式的传感器。在这种情况下，可以使用指尖或笔形条来进行触摸操作。需要说明的是，不要求笔2500是细长的笔。

<装置的功能>

接下来，将参照图6A和图6B对显示装置2和笔2500的功能进行描述。图6A是以框状示出显示装置2的功能的功能框图的一例。显示装置2包括手写输入单元21、显示单元22、手写输入显示控制单元23、候选显示计时器控制单元24、手写输入存储单元25、手写识别控制单元26、手写识别词典单元27、字符串转换控制单元28、字符串转换词典单元29、预测转换控制单元30、预测转换词典单元31、操作命令识别控制单元32、操作命令定义单元33、笔ID控制数据存储单元36、文件收发控制单元37、手写签名认证控制单元38、以及手写签名数据存储单元39。显示装置2的每个功能是图5所示的构件中的一个通过根据从SD 204读取到RAM 203的程序的来自CPU 201的指令动作来实现的功能或手段。

手写输入单元21由触摸传感器216等实现，并且接收来自用户的手写输入，并接收笔ID。手写输入单元21将用户的笔输入d1转换为带有笔ID的笔操作数据d2(抬笔、落笔或笔坐标数据)，并将转换后的数据发送到手写输入显示控制单元23。笔坐标数据作为离散值被周期性地发送，离散值之间的坐标通过互补计算来计算。

显示单元22由显示器220等实现以显示手写对象或操作菜单。显示单元22将由手写输入显示控制单元23写入视频存储器中的绘制数据d3转换为对应于显示器220的特性的数据，并将转换后的数据发送到显示器220。

手写输入显示控制单元23进行手写输入及显示的整体控制。手写输入显示控制单元23处理来自手写输入单元21的笔操作数据d2，并将处理后的数据发送到显示单元22来进行显示。笔操作数据d2的处理和笔画的显示将在下面参照图30至图37进行详细描述。

候选显示计时器控制单元24是可选候选的显示控制计时器。候选显示计时器控制单元24生成用于启动或停止计时器以开始可选候选的显示并消除显示。可选候选是可选择地显示于待后述的操作指南的手写识别字符串/语言字符串候选、转换字符串候选、字符串/预测转换候选、以及操作命令候选。候选显示计时器控制单元24从手写输入显示控制单元23接收计时器启动请求d4(或计时器停止请求)，并将超时事件d5发送到手写输入显示控制单元23。

手写输入存储单元25具有存储用户数据(手写对象/字符串对象)的存储功能。手写输入存储单元25从手写输入显示控制单元23接收用户数据d6-1并将该数据存储在手写输入存储单元25中。手写输入存储单元25从手写输入显示控制单元23接收获取请求d6-2并发送存储在手写输入存储单元25中的用户数据d7。手写输入存储单元25将确定对象的位置信息d36发送到操作命令识别控制单元32。

手写识别控制单元26是进行在线手写识别的识别引擎。不同于通常的OCR(光学字符阅读器)，与用户的笔操作并行地识别字符(不仅是日文，还包括英文和其他语言)、数字、符号(％、$、&等)、以及图形(线、圆形、三角形等)。虽然已对识别方法设计出各种算法，但在本发明的一实施例中，详情因可利用周知的技术而被省略。

手写识别控制单元26从手写输入显示控制单元23接收笔操作数据d8-1并进行手写识别以保持手写识别字符串候选。进一步地，手写识别控制单元26保持使用手写识别词典单元27从手写识别字符串候选d12转换的语言字符串候选。与此分别地，当从手写输入显示控制单元23接收到获取请求d8-2时，手写识别控制单元26将所保持的手写识别字符串候选和语言字符串候选d9发送到手写输入显示控制单元23。

手写识别词典单元27是用于手写识别的语言转换的词典数据。手写识别词典单元27从手写识别控制单元26接收手写识别字符串候选d12，将手写识别字符串候选转换成语言上合适的语言字符串候选d13，并将转换后的候选发送到手写识别控制单元26。例如，在日语的情况下，将“平假名”字符转换为“汉字”字符或“片假名”字符。

字符串转换控制单元28控制转换字符串候选向字符串的转换。转换字符串是可能包括手写识别字符串或语言字符串而生成的字符串。字符串转换控制单元28从手写识别控制单元26接收手写识别字符串和语言字符串候选d11，并使用字符串转换词典单元29将其转换成转换字符串候选，并保持转换后的候选。当从手写输入显示控制单元23单独接收到获取请求d14时，字符串转换控制单元28将所保持的转换字符串候选d15发送到手写输入显示控制单元23。

字符串转换词典单元29是用于字符串转换的词典数据。字符串转换词典单元29从字符串转换控制单元28接收手写识别字符串和语言字符串候选d17并将转换字符串候选d18发送到字符串转换控制单元28。

预测转换控制单元30从手写识别控制单元26接收手写识别字符串和语言字符串候选d10，并从字符串转换控制单元28接收转换字符串候选d16。预测转换控制单元30使用预测转换词典单元31将手写识别字符串、语言字符串候选d10以及转换字符串候选d16中的每一个转换为预测字符串候选。预测转换字符串是可能包括手写识别字符串、语言字符串或转换字符串而生成的字符串。当从手写输入显示控制单元23单独接收到获取请求d19时，预测转换控制单元30将预测字符串候选d20发送到手写输入显示控制单元23。

预测转换词典单元31是用于预测转换的词典数据。预测转换词典单元31从预测转换控制单元30接收手写识别字符串、语言字符串候选以及转换字符串候选d21，并将预测字符串候选d22发送到预测转换控制单元30。

操作命令识别控制单元32从手写识别控制单元26接收手写识别字符串和语言字符串候选d30，并从字符串转换控制单元28接收转换字符串候选d28。操作命令识别控制单元32从预测转换控制单元30接收预测字符串候选d29。进一步地，操作命令识别控制单元32针对手写识别字符串、语言字符串候选d30、转换字符串候选d28以及预测字符串候选d29中的每一个将操作命令转换请求d26发送到操作命令定义单元33，并从操作命令定义单元33接收操作命令候选d27。操作命令识别及控制单元32保持操作命令候选d27。

当操作命令转换请求d26与操作命令定义部分地匹配时，操作命令定义单元33将操作命令候选d27发送到操作命令识别控制单元32。

操作命令识别控制单元32从手写输入显示控制单元23接收笔操作数据d24-1。操作命令识别控制单元32将过去已输入的确定对象的位置信息获取请求d23发送到手写输入存储单元25。操作命令识别控制单元32保持由笔操作数据指定的确定对象作为选择对象(包括位置信息)。操作命令识别控制单元32确定：笔操作数据d24-1的位置；以及满足预定标准的选择对象。当从手写输入显示控制单元23接收到获取请求d24-2时，操作命令识别控制单元32将所保持的操作命令候选和所确定的选择对象d25发送到手写输入显示控制单元23。

笔ID控制数据存储单元36保持笔ID控制数据(可以称为存储单元)。在手写输入显示控制单元23将显示数据发送到显示单元22之前，笔ID控制数据存储单元36将笔ID控制数据d41发送到手写输入显示控制单元23。手写输入显示控制单元23与笔ID关联地存储的操作条件下绘制显示数据。进一步地，在手写识别控制单元26执行手写识别之前，笔ID控制数据存储单元36将笔ID控制数据的角度信息d44发送到手写识别控制单元26，并且手写识别控制单元26利用与笔ID相关联地存储的角度信息旋转笔画以执行手写识别。

在手写识别控制单元26识别出用户手写字符等时用于设置角度信息的直线之后，手写识别控制单元26将笔ID控制数据的角度信息d43发送到笔ID控制数据存储单元36以与笔ID相关联地存储角度信息d43。在手写输入显示控制单元23执行用于设置角度信息的操作命令后，手写输入显示控制单元23将笔ID控制数据d42发送到笔ID控制数据存储单元36并与笔ID相关联地存储操作命令的执行结果(用户设置的角度信息)。之后，以所设置的角度信息旋转笔ID的笔画，并执行手写识别。

进一步地，手写识别控制单元26将以笔ID控制数据的角度信息顺时针旋转的笔画数据d49发送到手写签名认证控制单元38。根据上述，使得能够与用户的位置(相对于显示装置2从哪个方向手写签名)无关地进行手写签名的认证。

手写签名数据存储单元39保持手写签名数据。当手写签名数据存储单元39从手写签名控制单元38接收到手写签名数据获取请求d45时，手写签名数据存储单元39将手写签名数据d46发送到手写签名控制单元38。假设手写签名数据的格式取决于手写签名控制单元38的手写签名认证的算法。关于手写签名数据存储单元39的数据，将参照图15进行描述。

响应于从手写识别控制单元26接收到顺时针旋转的笔画数据d49，手写签名认证控制单元38将手写签名数据获取请求d45发送到手写签名数据存储单元39，并且手写签名数据存储单元39将手写签名数据d46发送到手写签名认证控制单元38。

手写签名认证控制单元38基于手写签名数据对用户进行认证。虽然已针对基于手写签名数据的用户认证设计出多样的算法，但在本发明的实施例中，采用能够实现不妨碍实际使用的识别率的技术。例如，生成特征向量，该特征向量包括构成手写签名数据的坐标、笔压、书写笔画的时间等的要素，然后以适当的要素权重对注册签名数据的特征向量与登录时用户手写的姓名的特征向量进行比较。当特征向量的匹配度大于或等于阈值时，判定为认证成功。当匹配度低于阈值时，判定为认证失败。

手写签名认证控制单元38保持作为笔画数据d49与手写签名数据d46的比较结果的手写签名的认证结果，并且，当从手写输入显示控制单元23接收到获取请求d48时，将所保持的手写签名的认证结果d47发送到手写输入显示控制单元23。手写签名的认证结果包括：笔画数据d49和手写签名数据d46是否被视为匹配；以及若似乎匹配，与所匹配的手写签名数据d46相关联的后面描述的SignatureId。

当手写识别控制单元26的手写识别结果符合表示手写签名注册的执行的操作命令时，手写识别控制单元26从手写输入存储单元25获取输入到手写签名注册表(如后述输入手写签名数据的框架)的数据d52，并将数据d52的手写签名数据d50发送到手写签名认证控制单元38。手写签名认证控制单元38将接收到的手写签名数据d50发送到手写签名数据存储单元39以进行注册。

当手写识别控制单元26的手写识别结果是取消手写签名的指示时，手写识别控制单元26将手写签名注册表的删除请求d51发送到手写输入存储单元25并删除来自手写输入存储单元25的注册表。

当手写识别控制单元26的手写识别结果是执行用户定义数据变更的指示时，手写识别控制单元26从手写输入存储单元25获取输入到用户定义数据变更表的数据d53。手写识别控制单元26将数据d53的变更值d54发送到操作命令定义单元33以变更用户定义数据。关于用户定义数据，将在图14中进行进行描述。

当手写识别控制单元26的手写识别结果是取消用户定义数据变更表的指示时，手写识别控制单元26将用户定义数据变更表的删除请求d55发送到手写输入存储单元25并从手写输入存储单元25删除用户定义数据变更表。

文件收发控制单元37在存储介质中存储并获取：手写输入起源数据；或者不是手写输入起源数据的数据，并与外部装置进行通信(打印请求、显示请求等)。文件收发控制单元37从手写输入显示控制单元23接收发送和接收文件的执行请求d64。在文件的存储或打印时，手写输入显示控制单元23将文件发送请求发送到文件收发控制单元37，并且文件收发控制单元37将手写输入存储数据d61的获取请发送到手写输入存储单元25。

-在数据不是手写输入起源数据的情况下，手写输入存储单元25发送按数据所保持的原样发送颜色信息。

-在数据是手写输入起源数据的情况下，当发送目的地是彩色支持装置(例如，彩色打印机)时，手写输入存储单元25将转换为彩色数据的手写输入存储数据d62发送到文件收发控制单元37。

-在数据是手写输入起源数据的情况下，当发送目的地是黑白支持装置(例如，单色打印机)时，手写输入存储单元25将转换为黑白数据的手写输入存储数据d62发送到文件收发控制单元37。在一些情况下，黑白支持装置能够将彩色数据转换为灰度数据，因此可以将数据转换为彩色数据以进行发送。

-在发送目的地是黑白强调支持装置的情况下，将待后述的手写输入存储数据发送到文件收发控制单元37。

-进一步地，在手写输入存储单元25将手写输入起源数据存储在文件中的情况下，手写输入存储单元25根据文件格式将手写输入存储数据d62转换为彩色数据并附上手写输入存储数据作为文件的元数据。当将不是手写输入起源数据的数据存储在文件中时，根据文件格式将手写输入存储数据d62转换为彩色数据。

表示彩色支持装置或黑白支持装置的信息例如存储在由网络装置保持的MIB(Management Information Base，管理信息库)中，文件收发控制单元37可以通过获取MIB来进行判定。类似地，可以基于MIB公开的型号名来判定装置是否为黑白强调支持装置。

在读取文件时，手写输入显示控制单元23将文件列表获取请求d65发送到文件收发控制单元37，文件收发控制单元37将文件列表获取请求发送到外部装置并获取文件列表d63，并且文件收发控制单元37将获取的文件列表d63发送到手写输入显示控制单元23。手写输入显示控制单元23在显示单元22上显示文件列表，手写输入单元21将选择文件的显示位置发送到手写输入显示控制单元23，并且手写输入显示控制单元23将文件接收请求d66发送到文件收发控制单元37。文件收发控制单元37从外部装置获取文件并将文件d67发送到手写输入存储单元25。手写输入存储单元25解析文件的元数据以判定数据是否为手写输入起源数据。如果数据是手写输入起源数据，则手写输入存储单元25取回手写输入存储数据(黑白强调/彩色转换使能数据，将在下面描述)。手写输入存储单元25将手写输入起源数据转换成黑白强调显示数据，并且，如果数据不是手写输入起源数据，则不进行转换，并将转换或未转换的数据发送到手写输入显示控制单元23(以灰度显示)。手写输入显示控制单元23将手写对象的显示数据发送到显示单元22。

图6B是以框状示出笔2500的功能的功能框图。笔2500包括笔事件发送单元41。笔事件发送单元41将抬笔、落笔及笔坐标的事件数据项附上笔ID地发送到显示装置2。

<已定义控制数据>

接下来，将参照图7对用于显示装置2的各种处理的已定义控制数据进行描述。图7示出已定义控制数据的一例。图7的示例针对每个控制项示出控制数据。

可选候选显示计时器401定义直到显示可选候选的时间。其用于在手写过程中不显示可选候选。在图7中，这意味着如果在自抬笔事件起500ms的TimerValue(计时器值)内未发生落笔事件，则显示可选候选。可选候选显示计时器401由候选显示计时器控制单元24保持。可选候选显示计时器401在下面图32的步骤S18-2中可选候选显示计时器的启动时使用。

可选候选擦除计时器402定义直到所显示的可选候选被擦除的时间。这用于在用户不选择可选候选的情况下擦除可选候选。在图7中，这意味着如果在自可选候选的显示起5000ms的TimerValue内未选择可选候选，则删除可选候选显示数据。可选候选擦除计时器402由候选显示计时器控制单元24保持。可选候选擦除计时器402在图34的步骤S64中可选候选擦除计时器启动时使用。

手写对象邻近矩形区域403定义被视为靠近手写对象的矩形区域。在图7的示例中，手写对象邻近矩形区域403是手写对象的矩形区域水平地扩大估计字符大小的50％，并且垂直地扩大估计字符大小的80％的矩形区域。在图7所示的示例中，相对于估计字符大小的比率(以％)进行了定义。但是，如果使用"mm"单位，则可以定义固定长度。手写对象邻近矩形区域403由手写输入存储单元25保持。估计字符大小405在图31的步骤S10中用于判定手写对象邻近矩形区域和笔画矩形区域的重叠状态。

估计书写字符方向；/字符大小判定条件404定义用于判定书写字符方向和字符大小测量方向的常数。在图7的示例中，当在手写对象矩形区域中追加第一个笔画的时间与追加最后一个笔画的时间之间的差等于或大于MinTime＝1000[ms]，手写对象矩形区域的水平距离(宽度)与垂直距离(高度)之间的差等于或大于MinDiff＝10[mm]，且水平距离比垂直距离长时，将估计书写字符方向判定为“横向”，并将估计字符大小判定为垂直距离。如果水平距离比垂直距离短，则将估计书写字符方向判定为“竖向”，并将估计字符大小判定为水平距离。如果不满足上述条件，则将估计书写字符方向判定为“横向”(DefaultDir＝"Horizontal")，并将估计字符大小判定为水平距离和垂直距离中的较长的距离。估计书写字符方向/字符大小判定条件404由手写输入存储单元25保持。估计书写字符方向/字符大小判定条件404在图34的步骤S59中的估计书写字符方向获取、以及图37的步骤S81中的字符串对象字体获取中使用。

估计字符大小405定义用于估计字符等的大小的数据。在图7的示例中，这意味着对由估计书写字符方向/字符大小判定条件404判定的估计字符大小与估计字符大小405的较小字符405a(以下称为最小字体大小)和较大字符405c(以下称为最大字体大小)进行比较。如果估计字符大小小于最小字体大小，则估计字符大小被判定为最小字体大小。如果估计字符大小大于最大字体大小，则估计字符大小被判定为最大字体大小。否则，估计字符大小被判定为中等字符405b的字符大小。估计字符大小405由手写输入存储单元25保持。估计字符大小405在图37的步骤S81中的字符串对象字体获取中使用。

具体地，手写输入存储单元25通过将由估计书写字符方向/字符大小判定条件404判定的估计字符大小与估计字符大小405的FontSize(字体大小)进行比较，使用最接近大小的字体。例如，当估计字符大小等于或小于25[mm](较小字符的FontSize)时，判定为“较小字符”。当估计字符大小大于25mm且等于或小于50mm(中等字符的FontSize)时，判定为“中等字符”。当估计字符大小大于100mm(较大字符的FontSize)，判定为"较大字符"。对“较小字符”405a使用明朝体的25mm字体(FontStyle＝“明朝体”FontSize＝“25mm”)，对"中等字符”405b使用明朝体的50mm字体(FontStyle＝“明朝体”FontSize＝“50mm”)，而对"较大字符”405c使用哥特体的100mm字体(FontStyle＝"ゴシック体"FontSize＝“100mm”)。如果需要增加字体大小或风格类型，可以增加估计字符大小405的类型。

跨线判定条件406定义用于判定是否已选择多个对象的数据。在图7的示例中，在手写对象为单笔画，手写对象的长边的长度等于或大于100[mm](MinLenLongSide＝"100mm")，短边的长度等于或小于50[mm](MaxLenShortSide＝"50mm")，并且有与手写对象在长边方向和短边方向上的重叠率等于或大于80[％](MinOverLapRate＝"80％")的对象的情况下，判定为选择多个对象(选择对象)。跨线判定条件406由操作命令识别控制单元32保持。跨线判定条件406在图33的步骤S50中的选择对象的判定中使用。

围线判定条件407定义用于判定对象是否为围线的数据。在图7的示例中，操作命令识别控制单元32将与手写对象在长边方向和短边方向上的重叠率等于或大于100％(MinOverLapRate＝"100％")的确定对象判定为选择对象。围线判定条件407由操作命令识别控制单元32保持。围线判定条件407在图33的步骤S50中选择对象的判定的围线判定中使用。

需要说明的是，可以优先执行使用跨线判定条件406的判定和使用围线判定条件407的判定中的任意一个。例如，当跨线判定条件406被放宽(当更容易选择跨线时)并使围线判定条件407更严格时(当条件值被设定为只能选择围线时)，操作命令识别控制单元32可以优先使用围线判定条件407判定。

<词典数据的示例>

将参照图8至图10对词典数据进行描述。图8是手写识别词典单元27的词典数据的一例。图9是字符串转换词典单元29的词典数据的一例。图10是预测转换词典单元31的词典数据的一例。需要说明的是，这些词典数据集中的每一个在图33的步骤S33至S41中使用。

在本发明的实施例中，将图8的手写识别词典单元27的词典数据的转换结果称为语言字符串候选，将图9的字符串转换词典单元29的词典数据的转换结果称为转换字符串候选，并且将图10的预测转换词典单元31的词典数据的转换结果称为预测字符串候选。各词典数据的“转换前”表示词典数据中要查找的字符串，“转换后”表示与要查找的字符串对应的转换后的字符串，“概率”表示用户选择转换后的字符串的概率。由用户过去选择每个字符串的结果计算概率。因此，可以为每个用户计算概率。虽然已经设计出多样算法来计算概率，但可以通过适当的方式计算概率，其详情将不再赘述。根据本发明的实施例，根据估计书写字符方向以选择概率的降序显示字符串候选。

在图8的手写识别词典单元27的词典数据中，手写的“ぎ”以0.55的概率转换为“議”，以0.4的概率转换为“技”。手写的“ぎし”以0.5的概率转换换为“技士”，以0.45的概率转换为“技師”。这同样适用于“转换前”的其他字符串。在图8中，“转换前”的字符串是手写的“平假名”字符。但是，允许将除了“平假名”字符之外的字符串注册为“转换前”。

在图9的字符串转换词典单元29的词典数据中，字符串“議”以0.95的概率转换为“議事録”，字符串“技”以0.85的概率转转为“技量試”。这同样适用于“转换前”的其他字符串。

在图10的预测转换词典单元31的词典数据中，字符串“議事録”以0.65的概率转换为“議事録の送付先”，字符串“技量試”以0.75的概率转换为“技量試を決裁”。在图10的示例中，转换前的字符串全部为“漢字”(汉字)，但也可以注册除了“漢字”(日文汉字)之外的字符。

需要说明的是，词典数据是不依赖于语言的，任意的字符串均可以被注册为“转换前”和“转换后”。

<由操作命令定义单元保持的操作命令定义数据>

接下来，将参照图11A和图11B对操作命令识别控制单元32使用的操作命令定义数据进行描述。图11A和图11B示出由操作命令定义单元33保持的操作命令定义数据和系统定义数据的示例。

图11A示出操作命令定义数据的一例。图11A所示的操作命令定义数据是当没有手写对象选择的选择对象时的操作命令定义数据的一例，并且操作显示装置2的所有操作命令均为目标(包括在内)。图11A的操作命令包括操作命令名(Name)、与字符串候选部分地匹配的字符串(String)、以及要执行的操作命令字符串(Command)。操作命令字符串中的"％～％"是一个变量，并且如图11B所示与系统定义数据相关联。换言之，"％-％"被替换为图11B所示的系统定义数据。

首先，操作命令定义数据701表示操作命令名是"議事録テンプレートを読み込む”(读取会议记录模板)，与字符串候选部分地匹配的字符串是"議事録”(会议记录)或"テンプレート”(模板)，并且要执行的操作命令字符串是"Re adFile https://％username％:％password％@server.com/templates/minutes.pdf"。在该示例中，要执行的操作命令字符串中包括系统定义数据"％～％”，并且"％username％"和"％password％"分别被替换为系统定义数据项704和705。因此，最终的操作命令字符串是"ReadFile https://taro.tokkyo:x2PDHTyS@server.com/template/minutes.pdf"，表示读取文件"https://taro.tokkyo:x2PDHTyS@server.com/minutes.pdf"(ReadFile)。

操作命令定义数据702表示操作命令名是"議事録フォルダーに保存する”(保存在会议记录文件夹中)，与字符串候选部分地匹配的字符串是"議事録”(会议记录)或"保存”(保存)，并且要执行的操作命令字符串是"WriteFile https:/％username％:％password％@server.com/minutes/％machinename％_％yyyyy-mm-dd.pdf"。类似于操作命令定义数据701，操作命令字符串中的"％username％"、％password％"以及"％machinename％"分别被替换为系统定义数据项704～706。需要说明的是，"％yyyy-mm-dd％"要被替换为当前日期。例如，如果当前日期是2018年9月26日，则将被替换为"2018-09-26"。要执行的最终操作命令是"WriteFile https://taro.tokkyo:x2PDHTyS@server.com/minutes/％My-Machine_2018-09-26.pdf"，并且要将表示会议记录保存在文件"https://taro.tokkyo:x2PDHTyS@server.com/％Minutes/％My-Machine_2018-09-26.pdf"中(WriteFile)。

操作命令定义数据703表示操作命令名是"印刷する”(打印)，与字符串候选部分地匹配的字符串是“印刷”(打印)或"プリント”(打印)，并且要执行的操作命令字符串是"PrintFile https:/％username％:％password％@server.com/print/％machiname％-％yyyy-mm-dd％.pdf"。当如同在操作命令定义数据702替换操作命令字符串时，要执行的最终操作命令是"PrintFile https://taro.tokkyo:x2PDHTyS@server.com/print/％My-Machine_2018-09-26.pdf"，表示打印文件"https://taro.tokkyo:x2PDHTyS@server.com/print/％My-Machine_2018-09-26.pdf"(PrintFile)。即，文件被发送到服务器。用户使打印机与服务器通信，并且打印机在文件被指定时将文件的内容打印在纸上。

如上所述，由于可以从字符串候选中确定操作命令定义数据集701～703，因而可以基于用户的手写来显示操作命令。进一步地，在用户认证成功的情况下，在操作命令定义数据中，"％username％"，％password％"等被替换为用户信息，因此可以与用户相关联地执行文件的输入和输出。

在不进行用户的认证的情况下(包括如果认证失败后用户仍可以使用显示装置2，则包括认证失败的情况)，显示装置2使用预设的"％username％"，％password％"等，显示装置2的数据。从而，即使没有用户认证，也可以与显示装置2相关联地执行文件的输入和输出。

操作命令定义数据项709、710、711、720、721、722是变更笔颜色的操作命令。笔颜色是用由用户使用的笔输入的手写数据的颜色。操作命令定义数据项709、710、711、720、721以及722的操作命令名是“黒ペン”(黑色笔)、“赤ペン”(红笔)、“青ペン”(蓝笔)、“緑ペン”(绿笔)、“マゼンタペン”(洋红色笔)以及“シアンペン”(青色笔)。例如，在“黒ペン”(黑色笔)的情况下，与字符串候选部分地匹配的字符串是“くろ”(黑)或“ペン”(笔)，如果用户写“くろ”(黑)，“黒ペン”(黑色笔)显示在操作命令候选中。另一方面，由于“ペン”(笔)在“赤ペン”(红笔)等中也对应于与字符串候选部分地匹配的字符串(String)，如果用户写“ペン”(笔)，“黒ペン”(黑色笔)至“シアンペン”(青色笔)显示在操作命令候选中。当执行这些操作命令时，如图17A和图17B所示，用户使用的笔2500的笔ID相关联的控制数据被更新并且笔ID的颜色(笔ID控制数据的ColorId)被变更。

操作命令定义数据719表示操作命令名是“ファイルを読み込む”(读取文件)；与字符串候选匹配的字符串(String)是“ファイル”(文件)、“読み込む”(读取)、“読み込み”(读取)，并且要执行的操作命令是“ReadFile https:/％username％:％password％@server.com/files/”。类似于操作命令定义数据702，替换系统定义数据项的结果是"ReadFile https://taro.tokkyo:x2PDHTyS@server.com/files/"，表示读取该地址(文件夹)的文件。当执行该操作命令时，显示装置2显示如图12所示的文件选择窗口。图12的文件选择窗口使用缩略图显示存储在该地址(文件夹)中的文件的第一页。

图12是在图37的步骤S94中显示在显示单元22中的文件列表显示数据的一例(文件列表显示数据)。图12的(a)是根据通过图37的步骤S91中的文件列表信息获取所获得的文件列表信息创建的。文件列表信息具有文件地址的列表，并且显示单元22从每个文件地址中提取文件名和缩略图，并按照文件名的升序对其进行显示。在图12中，显示单元22显示四组缩略图和文件名，并通过左右箭头图标99的操作在当前显示的多组缩略图和文件名之前和之后显示多组缩略图和文件名。当所显示的缩略图或文件名被笔按下时，显示单元22删除图12的画面，并且文件收发控制单元37从笔被按下的文件地址接收文件。

当用笔按右上角的关闭按钮98时，显示单元22删除图12的画面并且操作命令定义数据719的执行被取消。当选择图12的(a)、(d)的PDF文件时，文件收发控制单元37接收PDF文件并将其存储在手写输入存储单元25中以进行解析。文件收发控制单元37将作为手写输入起源数据的文本数据(带有元数据)存储为诸如图16的数据项801～805的手写输入存储数据(黑白强调数据及彩色转换使能数据)。黑白强调及彩色转换使能数据是能够进行黑白强调和转换为彩色的数据(主要是手写输入起源数据)。不是手写输入起源数据的文本数据被转换成诸如图16的手写输入存储数据806的手写输入存储数据以进行存储并显示在显示器220上。

当选择图12的(b)、(c)的JPG时，文件收发控制单元37接收图像文件并在手写输入存储单元25中将文件存储为诸如图16的手写输入存储数据807的手写输入存储数据并在显示器220上显示文件。

将回到图11A和图11B进行描述。操作命令定义数据712是用于将文本数据的方向对齐在恒定方向上的操作命令。操作命令定义数据712的操作命令名是“テキスト方向を揃える”(对齐文本方向)，与字符串候选部分地匹配的字符串是“テキスト”(文本)、“向き”(方向)或“方向”(方向)，并且操作命令字符串是"AlignTextDirection"。用户在除了垂直方向之外的方向上书写的文本数据项的方向是各种方向，因此难以从一个方向读取一切。当用户执行操作命令定义数据712时，显示装置2将手写识别字符串沿相同方向(例如，沿垂直方向)对齐。在这种情况下，对齐意味着以角度信息旋转文本数据。

操作命令定义数据713表示操作命令名是“手書きサイン登録する”(注册手写签名)，与字符串候选部分地匹配的字符串是“サイン”(签名)和“登録”(注册)，并且操作命令字符串是"RegisterSignature”。当执行RegisterSignature命令时，手写签名注册表被追加到手写输入存储单元25，并且手写签名注册表显被显示在操作画面101上。关于手写签名注册表的示例将在后面描述(参见图27)。

操作命令定义数据714表示操作命令名是“手書きサインインする”(手写登录)，与字符串候选部分地匹配的字符串是"％signature％"，并且操作命令是“Signin”。这里，"％signature％"是系统定义数据的预定字，表示注册手写签名数据与用户名等笔画数据符合(匹配)的事实。换言之，当符合(匹配)时，基于操作命令定义数据714的操作命令512被显示在操作指南500中(参见图28)。

当执行Signin命令时，具有符合(匹配)的手写签名数据的SignatureID的用户的AccountId被保存在诸如用户名的用于手写笔画数据的笔2500的笔ID控制数据中。根据上述，笔ID与AccountId相关联，并且由AccountId确定的用户定义数据可以被显示装置2使用(参见图17A)。

操作命令定义数据715表示操作命令名是“手書きサインアウトする”(手写退出)，与字符串候选部分地匹配的字符串是“サイン”(签)或“アウト”(出)，并且操作命令是"Signout"。当执行Signout命令时，从操作所述手写退出的笔2500的笔ID控制数据中删除AccountId。根据所述，笔ID与AccountId的关联解除，笔2500可以被任意用户使用。

操作命令定义数据716表示操作命令名是“設定変更する”(变更设置)，与字符串候选部分地匹配的字符串是“設定”(设置)或“変更”(变更)，并且操作命令是"ConfigSettings"。当执行ConfigSettings命令时，用户定义数据变更表被追加到手写输入存储单元25，并且用户定义数据变更表显示在操作画面101上。关于用户定义数据变更表，将在后面描述(参见图29)。

接下来，将对有选择对象的操作命令定义数据，即与编辑和修饰相关的操作命令定义数据进行描述。图13示出有手写对象所选择的选择对象时的操作命令定义数据的一例。图13所示的操作命令定义数据具有操作命令名(Name)、操作命令候选的组名(Group)、以及要执行的操作命令字符串(Command)。

操作命令定义数据707定义与编辑相关(Group＝"Edit")的操作命令，并且是与编辑相关的操作命令名“消去”(擦除)、“移動”(移动)、“回転”(旋转)、以及“選択”(选择)的定义数据的示例。换言之，针对选择对象显示这些操作命令，使得用户可以选择期望的操作命令。

操作命令定义数据708定义与修饰相关(Group＝"Decorate")的操作命令，并且是与修饰相关的操作命令名“太く”(粗)、“細く”(细)、“大きく”(大)、“小さく”(小)、以及“下線”(下划线)的定义数据的示例。针对选择对象显示这些操作命令，使得用户可以选择期望的操作命令。此外，可以显示颜色操作命令。

从而，响应于用户通过手写对象对选择对象进行选择，确定操作命令定义数据707和708。因此，可以通过用户的手写来显示操作命令。

<用户定义数据>

接下来，将参照图14对用户定义数据进行描述。图14示出操作命令定义单元33所保持的用户定义数据的一例。图14的用户定义数据是针对单个用户的定义数据的一例。用户定义数据717中的“AccountId”是自动分配给各用户的用户识别信息；"AccountUsername"和"AccountPassword"是用户名和密码；"SignatureId"是在手写签名数据注册时自动分配的手写签名数据的识别信息；并且"username"、"password"以及"machinename"分别是设置在操作命令定义数据项701～703中以替代系统定义数据项704～706的字符串。根据上述，就可以执行使用用户定义数据的操作命令。

当用户手写用户名等来登录时，手写输入显示控制单元23利用笔ID和AccountId与笔ID控制数据相关联的事实(参见图17A)。手写输入显示控制单元23在执行操作命令时使用具有与用户使用的笔2500的笔ID相关联的AccountId的用户定义数据的字符串。用户退出后，即使使用用户登录时使用的笔2500，在执行操作命令时也使用系统定义数据的字符串。

用户定义数据718是在用户定义数据变更表中使用的数据。“Name”是用户定义数据717的“AccountUsername”、“AccountPassword”、“username”、“password”或“machinename”的项目名，并且“Data”是“AccountUsername”、“AccountPassword”、“username”、“password”或“machinename”的变更值。在该例中，“名前”(姓名)的数据为"％AccountName％"。“パスワード”(密码)的数据为"％AccountPassword％"。“フォルダーユーザー名”(文件夹用户名)的数据为"％username％"。“フォルダーパスワード”(文件夹密码)的数据为"％password"。“フォルダーファイル名”(文件夹文件名)的数据为"％machinname"。每个项目对应于用户定义数据717的各个项目。在用户定义数据变更表中输入的这些项目反映在用户定义数据717中。

用户还可以在用户定义数据717中注册下述颜色定义数据，使得用户可以输入如用户所定义的颜色定义数据。

<手写签名数据>

接下来，将参照图15对手写签名数据进行描述。图15示出由手写签名数据存储单元39保持的手写签名数据的一例。手写签名数据具有表示与SignatureId相关联的手写签名的数据。SignatureId是在手写签名数据注册时自动分配的识别信息，Data是手写签名认证控制单元38的手写签名认证算法由从手写签名认证控制单元38接收到的笔画数据计算出的数据。

<手写输入存储单元保存的手写输入存储数据>

接下来，将参照图16对手写输入存储数据进行描述。图16示出存储在手写输入存储单元25中的手写输入存储数据的一例。图16中的线表示笔画、句子(文本)或图像。

在Type为“笔画”的情况下，一个手写输入存储数据具有DataId、Type、PenId、ColorId、Angle、StartPoint、StartTime、EndPoint、EndTime、Point、以及Pressure的项目。DataId是笔画的标识。Type是手写输入存储数据的类别。Type包括笔画(Stroke)、组(Group)、文本(Text)、以及图像(Image)。手写输入存储数据项801和802的类别是“Stroke”。手写输入存储数据803的类别是“Group”。手写输入存储数据项804、805和806的类别是“Text”。手写输入存储数据807的类别是“Image”。

“Group”意指对其他笔画进行分组，“Group”类别的手写输入存储数据用DataId指定要分组的笔画。PenId、ColorId以及Angle是从下述的笔ID控制数据复制而来的。StartPoint是笔画的起始坐标，StartTime是笔画的起始时间。EndPoint是笔画的结束坐标，EndTime是笔画的结束时间。Point是从开始到结束的坐标序列，Pressure是从开始到结束的笔压。如Angle所示，表示手写输入存储数据项804和805在分别顺时针旋转180度和270度后才被手写识别。

进一步地，类别为“Text”的手写输入存储数据项804、805和806具有Text、FontName、FontSize。FontName是文本的字体名，FontSize是字符大小，并且Text是文本的内容(字符代码)。

手写输入存储数据项801～805可以作为手写输入起源数据在保存文件时被附为元数据。从而，显示装置2可以在读取文件时获得手写输入存储数据801～805。在显示装置2将手写输入存储数据发送到外部装置时，当外部装置为彩色支持装置时，显示装置2可以将手写输入存储数据转换为彩色数据，并且，当外部装置为黑白支持装置时，可以将手写输入存储数据转换或不转换为彩色数据。当发送到黑白强调支持装置时，显示装置2只需发送手写输入存储数据。如上所述，手写输入存储数据项801～805与黑白强调和彩色转换两者均对应。

手写输入存储数据项801～805是手写输入起源数据项，而手写输入存储数据项806和807不是手写输入起源数据项。这些是由文件读取命令读取的文件。上述内容根据由下述颜色定义数据定义的彩色值是否注册在ColorId中来判定。例如，手写输入存储数据801的ColorId是"Black"，而手写输入存储数据806的ColorId是"#e6001200"。"#e6001200”由“#”和十六进制8位数表示。R(红色)、G(绿色)、B(蓝色)以及A(透明度)由二位数中的每一个表示。

如上所述，对于是手写输入起源数据的文本数据，ColorId包含表示颜色信息的字符串，但是，对于不是手写输入起源数据的文本数据，ColorId包含“#彩色值”。如上所述，手写输入存储单元25可以通过关注ColorId来判定数据是手写输入起源数据还是文本数据。

手写输入存储单元25将由文件收发控制单元37读取的文件的文本数据的颜色存储成ColorId＝"#e6001200"。因此，手写输入存储数据806不对应于黑白强调，而仅对应于彩色转换。

手写输入显示控制单元23使用ColorId判定数据是否为手写输入起源数据，并且在数据不是手写输入起源数据时由RGBA计算灰度值并进行显示。如果显示装置2是彩色支持装置，则按原样显示RGBA。

手写输入存储数据807也是通过文件读取命令从存储介质读取的图像文件。如果Type是“Image”，则手写输入存储数据807具有FileId和FileName。FileId是手写输入存储数据中的控制号，FileName是原始文件名。例如，当文件收发控制单元37读取图12A的文件"color_chart.pdf"，则中心处的RGBCMY的文本以手写输入存储数据806的形式存储在手写输入存储单元25中，而环形彩色部分以手写输入存储数据807的形式存储在手写输入存储单元25中。需要说明的是，Type＝“Image”的手写输入存储数据当然不是手写输入起源数据。因此，手写输入显示控制单元23可以基于Type判定数据是否为手写输入。

在图16中，ColorId的值用于判定数据是否为手写输入起源数据。但是，手写输入显示控制单元23可以使用专用标志等来记录数据是否为手写输入起源数据。进一步地，虽然这仅限于Type＝“Stroke”的手写数据，但可以采用机器学习从形状判定数据是否为手写输入起源数据。在这种情况下，学习装置学习数据是否为手写输入起源数据的教师数据与字符的形状之间的对应关系，并基于所输入的字符的形状来输出是否为手写输入起源数据。

此外，手写输入起源数据不仅可以包括基于字符识别从手写数据转换的文本数据，还可以包括基于用户操作转换的数据，例如“済”(完成)或“秘”(秘密)等显示为固定字符或标记的印章、诸如圆形或星形的形状、以及直线。

手写输入存储数据在图30的步骤S7(笔坐标和接收时间)、图37的步骤S88(手写输入存储数据的获取)、图37的步骤S96(文件存储)等中使用。

<存储在笔ID控制数据存储单元中的笔ID控制数据>

接下来，将参照图17A和图17B对笔ID控制数据进行描述。图17A和图17B是示出存储在笔ID控制数据存储单元36中的笔ID控制数据的图。笔ID控制数据对于手写输入起源数据的颜色等进行控制。图17A和图17B示出有四支笔2500。图17A的一行表示单支笔的笔ID控制数据。进一步地，图17B是示出当用户对显示装置2进行手写时的角度信息的图。角度信息可以是用户所在的方向的角度，可以是使用笔的方向的角度，或者可以是与用户手写的字符的旋转相关的角度。以显示装置2的预定方向(例如垂直方向)为0度(基准)，每个用户的角度信息为逆时针45度、90度、135度、180度、225度、270度、以及315度。

需要说明的是，角度信息不是通过用户的位置自动决定的。每个用户输入(指定)角度信息。可以指定的角度信息的分辨率(图17A和17B中的45度)仅仅是一示例，可以更小，例如5度到30度。需要说明的是，可以理解，如果将字符旋转45度左右，则用户将能够读取。

笔ID控制数据包括PenId、ColorId、Angle以及AccountId。AccountId被映射到用户登录时使用的笔。PenId是存储在笔2500中的标识信息。ColorId表示使用笔2500的用户所选择的颜色(可以由用户变更)。对ColorId设置待后述的颜色定义数据的颜色ID。在颜色定义数据中定义每种颜色的详情和粗细。

Angle是对笔2500设置的笔画的角度信息(用户可以任意变更)。在图17A的示例中，每支笔的角度信息为逆时针0度、90度、180度、以及270度。AccountId是用户的识别信息。通过将笔ID与AccountId相关联，可以识别与用户使用的笔2500的笔ID相关联的AccountId，并使用用户定义数据执行操作命令。

笔ID控制数据901是笔ID为1的笔ID控制数据，颜色是黑色(Black)，角度信息是0度，并且AccountId＝1。AccountId＝1的用户是图14的用户定义数据717的用户。表示用户用PenId＝1的笔手写用户的姓名来登录，并选择了黑色。没有AccountId的笔ID控制数据表示退出状态(未与用户关联)。

笔ID控制数据在图30的步骤S5(获取笔ID控制数据)、图32的步骤S20(存储笔ID控制数据的角度信息)、图32的步骤S21(获取笔ID控制数据的角度信息)、以及图34的步骤S60(获取笔ID控制数据)中使用。

<颜色定义数据>

图18示出颜色定义数据的一例。颜色定义数据的一行定义单一颜色。颜色定义数据定义关于ColorId在黑白支持装置上的黑白强调显示(黑白图案和宽度(pattern)和边框(Edged)的显示方法)、以及彩色转换方法(彩色支持装置上的颜色信息(Color)和宽度(Width)的显示方法)。颜色信息由#和十六进制8位数表示。颜色信息表示每两位数的#R(红色)、G(绿色)、B(蓝色)、以及A(透明度)，px表示像素宽度。需要说明的是，颜色定义数据仅适用于手写输入起源数据。

颜色定义数据1001是ColorId为"Black"的定义例。Pattern表示笔画或文字的边缘的内容。Edged表示有无边缘。Color表示RGBA颜色信息。Width表示线宽。颜色定义数据1001表示黑白强调支持装置以纯黑5像素宽度+无边缘显示手写输入存储数据，而彩色支持装置以黑色透明度0％+5像素宽度显示。类似地，颜色定义数据1002表示黑白支持装置以纯黑3像素宽度+从外部黑边1像素宽度+白边2像素宽度显示，而彩色支持装置以色表的红色透明度0％+5像素宽度显示。颜色定义数据1003表示黑白强调支持装置以纯白4像素宽度+黑边1像素宽度显示，而彩色支持装置以色表的蓝色透明度0％+5像素宽度显示。颜色定义数据1004表示黑白强调支持装置以黑点图案4像素宽度+黑边1像素宽度显示，而彩色支持装置以色表的绿色透明度0％+5像素宽度显示。颜色定义数据1005表示黑白强调支持装置以黑色右上斜线图案加白色透明5像素宽+无边框显示，而彩色支持装置以色表的洋红色透明度60％显示。颜色定义数据1006表示黑白强调支持装置以黑色水平线图案加白色透明5像素宽度显示，而彩色支持装置以色表的青色头透明度60％显示。

如上所述，颜色定义数据包括黑白强调及彩色转换使能数据。颜色定义数据由手写输入存储单元25保持并且用于转换手写输入存储数据。

登录后，通过在系统定义数据和用户定义数据中定义颜色定义数据，并在用户定义数据中追加变更颜色定义数据的表格，用户可以合意地变更颜色定义。

图19A和19B示出使用图18的颜色定义数据以黑白强调显示的数据和以彩色显示方法显示的数据。图19A表示黑白强调支持装置进行黑白强调显示，图19B表示彩色支持装置转换成彩色来显示。为了制图的方便起见，图19B也示出黑白(阴影线)。

符号C1表示作为手写输入起源数据项的“黑色”、“红色”、“蓝色”、“绿色”、“洋红色”以及“青色”的文本。符号C2表示“黑色”、“红色”、“绿色”、“洋红色”以及“青色”的笔画(手写)。符号C3表示弹簧状笔画(手写)。符号C4表示圆环形状的色表(图像)。符号C5表示色表内的RGBCMY(非手写输入起源数据的文本)。在符号C3下方是作为手写输入起源数据的黑色文本"Transparent"。

假设符号C4的色表和符号C5的文本RGBCMY是从PDF文件读取的数据，不是手写输入起源数据。从而，当描述为由图16所示的手写输入存储单元25存储的手写输入存储数据时，符号C2的笔画(手写)被存储为图16的手写输入存储数据项801和802。符号C1的作为手写输入起源数据项的文本被存储为图16的手写输入存储数据项804和805。符号C5的不是手写输入起源数据的文本被存储为图16的手写输入存储数据806。符号C4的图像被存储为诸如图16的手写输入存储数据807的手写输入存储数据。每个手写输入存储数据的颜色信息由ColorId定义。

从图19A和图19B的比较可以看出，图19B的符号C10的色表内的红色文本“R”不是手写输入起源数据。因此，文本“R”在图19A中以灰度显示。另一方面，由于符号C6的文本“红色”是手写输入起源数据，因而该文本在图19A中以黑白强调显示。

此外，由于洋红色和青色是透射色，图19B中"Transparent"是可见的。亦如图19A所示，由于使用白色的透明图案，洋红色和青色是透明的。如上所述，黑白强调支持装置可以通过黑白强调显示来表示用于强调的颜色，而彩色设备可以将数据转换为彩色来进行显示。

在图30的步骤S6(坐标补充显示数据)、图37的步骤S82(字符串对象显示数据)以及图37的步骤S100(对象显示数据)中使用颜色定义数据。

<笔颜色选择按钮定义数据>

接下来，将参照图20、图21A和图21B对用户选择笔颜色的方法进行描述。图20是笔颜色选择按钮定义数据的一例。笔颜色选择按钮定义数据是将显示在显示器220上的笔按钮与ColorId相关联的数据。笔颜色选择按钮定义数据具有笔按钮ID(PenButtonId)、图标文件(Icon)、颜色ID(ColorId)以及字体名(FontName)。

图21A和图21B是显示在显示器上的笔按钮81～86的示例。笔按钮81～86由上述图标文件显示。假设笔按钮81～86以笔按钮ID的升序从左到右进行显示。

笔颜色选择按钮定义数据1101是显示在最左侧位置的笔按钮81的定义数据。当用户用笔2500按下笔按钮81时，用笔2500手写的笔画数据的ColorId将是“Black”，并且手写识别后的文本的字体将是“Ming”。笔颜色选择按钮数据1102是从左起第二个显示的笔按钮82。笔画数据的ColorId为“Red”，并且手写识别后的文本的字体为“pop”。类似地，笔颜色选择按钮定义数据项1103～1106定义笔按钮83～86的显示位置、ColorId、以及文本的字体。

图21A示出基于笔颜色选择按钮定义数据以黑白强调显示的文本字体显示的一例。文本字体显示例是描述性的显示，但可以在用户悬停笔2500时显示。图21B示出基于笔颜色选择按钮定义数据由彩色支持装置以彩色显示的文本字体的一例(应以彩色显示，但为方便制图而以黑白显示)。

如图21A所示，不仅通过黑白强调，还通过字体的变更，可以更有效地黑白强调显示。

手写签名认证后，通过在系统定义数据和用户定义数据中定义笔颜色选择按钮定义数据，并在用户定义数据中追加变更笔颜色选择按钮定义数据的表格，用户可以合意地变更笔颜色选择按钮。因此，ColorId与字体的对应仅仅是一示例。

笔颜色选择按钮在图30的步骤S6(坐标补充显示数据)、图37的步骤S82(字符串对象显示数据)以及图37的步骤S100(对象显示数据)中使用。

<可选候选的显示例>

图22是操作指南和操作指南所显示的可选候选530的一例。用户手写手写对象504(由于可选候选显示计时器的超时)，从而显示操作指南500。操作指南500包括操作标头520、操作命令候选510、手写识别字符串候选506、转换字符串候选507、字符串/预测转换候选508、以及手写对象矩形区域显示503。可选候选530包括操作命令候选510、手写识别字符串候选506、字符串/预测转换候选508。该示例中，未显示语言转换字符串。但是，存在显示语言转换字符串的情况。将除了操作命令候选510之外的可选候选530称为字符串候选539。

操作标头520具有按钮501、509、502和505。按钮501接收预测转换与“假名”转换之间的切换操作。在图22的示例中，当用户按下表示“预测”的按钮509时，手写输入单元21接收该按钮并将其通知给手写输入显示控制单元23，并且显示单元22将显示变更为表示“假名”的按钮509。变更后，字符串候选539以“假名转换”的概率降序排列。

按钮502操作候选显示页面。在图22的示例中，候选显示页面有三页，当前，显示的是第一页。按钮505接收操作指南500的“擦除”。当用户按下按钮505时，手写输入单元21接收该按钮并将其通知给手写输入显示控制单元23，并且显示单元22擦除除了手写对象之外的显示。按钮509接收集体显示删除。当用户按下按钮509时，手写输入单元21接收该按钮。手写输入单元21将其通知给手写输入显示控制单元23。显示单元22删除包括手写对象在内的图22所示的所有显示，使得用户可以从头重新手写。

手写对象504是用户手写的字母“ぎ”。显示围绕手写对象504的手写对象矩形区域显示503。将参照图30至图37的顺序图对显示步骤进行描述。在图22的示例中，手写对象矩形区域显示503以虚线框显示。

在手写识别字符串候选506、转换字符串候选507以及字符串/预测转换候选508中的每一个中，字符串以概率降序排列。手写识别字符串候选506的“ぎ”是识别结果的候选。在该示例中，显示装置2已准确识别出“ぎ”。

转换字符串候选507是从语言字符串候选转换的转换字符串候选。在该示例中，“技量試”是“技術量産試作”(技术量产试验)的缩写。字符串/预测转换候选508是语言字符串候选或从字符串候选转换的预测字符串候选。在该示例中，显示“技量試を決裁”(技术量产试验的决定)和“議事録の送付先”(会议记录的发送目的地)。

操作命令候选510是基于图11A的操作命令定义数据701～703、709～716选择的操作命令候选。在图22的示例中，行首字母“》”511表示操作命令候选。在图22中，对于作为手写对象504的“ぎ”，由于没有选择的对象，并且作为“ぎ”的字符串候选的“議事録”与图11A所示的操作命令定义数据项701和702部分地匹配，被显示为操作命令候选510。

当用户选择“議事録テンプレートを読み込む”(读取会议记录模板)时，执行由操作命令定义数据701定义的操作命令，并且，当用户选择“議事録フォルダーに保存する”(保存在会议记录文件夹中)时，执行由操作命令定义数据702定义的操作命令。如上所述，操作命令候选是在找到包括转换的字符串的操作命令定义数据项时显示的。因此，其并非总是显示的。

如图22所示，字符串候选和操作命令候选同时(一起)显示，从而用户可以选择用户希望输入的字符串候选或操作命令中的任一个。

<选择对象的指定例>

在本发明的实施例的显示装置中，用户可以通过手写选择选择对象来进行指定。选择对象成为编辑或修饰的目标。

图23A至图23C是示出选择对象的指定例的图。在图23A至图23C中，黑色实线用于显示手写对象11，灰色强调用于显示手写对象矩形区域12，黑线用于显示确定对象13，虚线用于显示选择对象矩形区域14。需要说明的是，附于符号的小写字母用于对其进行区分。进一步地，作为用于将确定对象判定为选择对象的判定条件(是否存预定关系)，使用图7所示的已定义控制数据的跨线判定条件406或围线判定条件407。

图23A示出用户使用跨线(手写对象11a)指定横向书写的两个确定对象13a和13b的一例。在该示例中，矩形区域12a的短边的长度H1和矩形区域12a的长边的长度W1满足跨线判定条件406的条件，并且与确定对象13a和13b的重叠率满足跨线判定条件406的条件。因此，确定对象13a和13b(“議事録”和“ぎじ”)两者皆被指定为选择对象。

图23B是用户使用围线(手写对象11b)指定横向书写的确定对象13c的一例。在该示例中，只有确定对象13c即“議事録”(会议记录)和手写对象矩形区域12c的重叠率满足围线判定条件407的条件，确定对象13c被指定为选择对象。

图23C是通过跨线(手写对象11c)指定竖向书写的多个确定对象13d和13e的一例。在该示例中，如同在图23A，手写对象矩形区域12d的短边的长度H1和手写对象矩形区域12d的长边的长度W1满足跨线判定条件406的条件，并且与两个确定对象13d和13e(“議事録”和“ぎじ”)的重叠率分别满足跨线判定条件406的条件。因此，确定对象13d和13e(“議事録”和“ぎじ”)两者皆被指定为选择对象。

图23D是用户使用围线(手写对象11d)指定竖向书写的确定对象13f的一例。在该示例中，如同在图23B，只有“議事録”的确定对象13f被指定为选择对象。

<操作命令候选的显示例>

图24A和图24B示出当如图13所示存在手写对象时基于操作命令定义数据的操作命令候选的显示例。图24A是与编辑相关的操作命令，图24B是与修饰相关的操作命令。图24A示出使用图23A中的手写对象11a指定选择对象的一例。

如图24A和图24B所示，主菜单550包括在行首字母“》”511之后显示的操作命令候选。主菜单550显示操作命令定义数据中最后执行的操作命令名或第一个操作命令名。第一行的首字母“》”511a表示与编辑相关的操作命令候选，第二行的首字母“》”511b表示与修饰相关的操作命令候选。

行尾的“〉”512表示有子菜单(子菜单按钮的一例)。在第1行，“〉”512a显示作为与编辑相关的操作命令的子菜单(最后选择的)。在第2行，“〉”512b显示作为与修饰相关的操作命令候选的剩余的子菜单。当用户按下“〉”512时，右侧出现子菜单560。子菜单560显示在操作命令定义数据中定义的所有操作命令。在图24A的显示例中，当显示主菜单时，显示对应于第一行的“〉”512a的子菜单560。可以通过按下第一行上的“〉”512a按钮来显示子菜单560。

当用户用笔按任意的操作命令名时，手写输入显示控制单元23执行与选择对象的操作命令名相关联的操作命令定义数据的命令。换言之，当选择“消去”521时，执行"删除(Delete)"；当选择“移動”522时，执行"移动(Move)"；当选择“回転”523时，执行"旋转(Rotate)"；并且当选择“選択”524时，执行"选择(Select)"。

例如，如果用户用笔按“消去”521，则可以删除“議事録”和“ぎじ”，并且，如果按下“移動”522、“回転”523、“選択”524，则显示边界框(选择对象的外接矩形)。当用户按下“移動”522或“回転”523时，可以通过拖动笔来移动或旋转边界框。当用户按下“選択”524时，可以进行其他的边界框的操作。

除了操作命令候选之外的字符串候选“一”541、“一、”542、“～”543、“→”544以及

545是跨线(手写对象11a)的识别结果。如果用户想要输入字符串而不是操作命令，则可以选择字符串候选。

在图24B中，通过按下第二行的“〉”512来显示图24B的子菜单。在图24B的显示例中，如同在图24A，主菜单550和子菜单560同时显示。当选择“太く”(粗)531时，基于图13的操作命令定义数据，手写输入显示控制单元23对选择对象执行"粗(Thick)"。当选择“細く”(细)532时，手写输入显示控制单元23对选择对象执行"细(Thin)"。当选择“大きく”(大)533时，手写输入显示控制单元23对选择对象执行"大(Large)"。当选择“小さく”(小)534时，手写输入显示控制单元23对选择对象执行"小(Small)"。当选择“下線”(下划线)535时，手写输入显示控制单元23对选择对象执行"下划线(Underline)"。

进一步地，对于当选择“太く”531(粗)时要达到多粗、当选择“細く”532(细)时要达到多细、当选择“大きく”533(大)时要达到多大、当选择“小さく”534(小)要达到多小、以及当选择“下線”535(下划线)时的线型等，分别定义有固定值。或者，当选择图24B的子菜单时，可以打开选择菜单，以使得用户可以调整值。

当用户用笔按“太く”531(粗)时，手写输入显示控制单元23加粗构成确定对象13a和13b(“議事録”和“ぎじ”)的线。当用户用笔按“細く”532(细)时，手写输入显示控制单元23可以使构成确定对象13a和13b(“議事録”和“ぎじ”)的线变窄。当用户用笔按“大きく”533(大)时，手写输入显示控制单元23可以增加尺寸。当用户用笔按“小さく”534(小)时，手写输入显示控制单元23可以减小尺寸。当用户用笔按“下線”535(下划线)时，手写输入显示控制单元23可以加下划线。

图25A和图25B示出当如图13所示存在手写对象时基于操作命令定义数据的操作命令候选的的显示例。与图24A和图24B的不同在于，图25A和图25B示出选择对象由图23B的手写对象11b(围线)指定的一例。从图24A～图24B和图25A～图25B的比较可以看出，根据手写对象是跨线还是围线所显示的候选操作命令没有差异。这是因为，当指定选择对象时，手写输入显示控制单元23在显示单元22上显示操作命令候选。但是，手写输入显示控制单元23可以通过识别手写对象根据手写对象来变更操作命令候选。在这种情况下，如图13所示的操作命令定义数据关联有所识别出的手写对象(“一”，“○”等)。

在图25A～图25B中，作为字符串候选而不是操作命令候选的"○"551、"∞"552、"0"553、"00"554以及"ロ"555是围线(手写对象11b)的识别结果，并且，如果用户想要输入字符串而不是操作命令，则可以选择字符串候选。

<角度信息的输入例>

接下来，将参照图26A至图26C对用于输入角度信息的方法进行描述。图26A至图26C是说明角度信息的输入方法的图的示例。图26A至图26C示出位于显示装置2的3点钟方向上的用户输入角度信息的情况。由于从3点钟方向手写的字符在顺时针旋转90度时被准确识别，因而优选输入90度角度信息。

图26A示出由于在笔ID控制数据的角度信息为0度(初始值)的状态下位于显示装置2的三点钟方向上的用户手写“ぎ”而显示操作指南500的状态。由于显示装置2使用保持在0度的角度信息识别从3点钟方向手写的字符“ぎ”，因而显示与预期不同的可选候选530。

当输入角度信息时，用户在操作指南500中手写如用户看来从上到下的直线。图26B示出这样的直线521的一例。相对于与0度的角度信息对应的6点钟方向形成的直线521的逆时针角度α是角度信息。换言之，从起点S沿6点钟方向向下绘制的线522与用户输入的直线521之间形成的逆时针角度α是角度信息。简而言之，线521的终点方向就是角度信息。因此，图26B中用户所输入的角度信息是90度。

需要说明的是，对于直线的检测方法，例如，通过最小二乘法将起点S到终点E的坐标转换为直线，并将所得到的相关系数与阈值进行比较以判定是否使用直线。

紧接在用户开始书写直线521之后(紧接在笔2500接触直线521的起点S之后)，显示装置2擦除操作指南500。紧接在完成直线521的书写之后(紧接在笔2500从直线521的终点E分离之后)，显示装置2从45度、90度、135度、180度、215度、270度、315度和360度中搜索上述角度α的最接近的值，并将该值判定为角度信息。角度α本身可以是角度信息。所判定的角度信息被设置为笔ID控制数据的“角度(Angle)”。当笔尖被按压以进行手写等时，笔2500的笔事件发送单元41将笔ID发送到显示装置2。因此，显示装置2可以将角度信息与笔ID控制数据相关联起来。

需要说明的是，只有操作指南500能够允许用户手写直线来输入角度信息。从而，当用户在操作指南500外手写直线时，该直线被识别为“1”或“一”等，当用户在操作指南500内手写直线时，可以输入角度信息。换言之，手写识别控制单元26从预定范围检测直线并将在预定范围外手写的笔画数据转换为文本数据。

图26C示出紧接在图26B的操作之后的操作指南500。由于在笔ID控制数据中设置90度作为角度信息(Angle)，因而手写对象(笔画数据)在内部以顺时针方向旋转90度，对旋转的手写对象执行手写识别，并且操作指南500以逆时针方向旋转90度来进行显示。需要说明的是，角度信息可以由用户从菜单中手动输入。

<手写签名数据的注册例>

接下来，将参照图27对手写签名数据的注册例进行描述。图27是说明手写签名数据的注册方法的图。首先，图27A是当用户手写“サイン”(签名)时显示的可选候选530的一例。有“手書きサイン登録する”(进行手写签名注册)以及“手書きサインアウトする”(进行手写退出)的两个操作命令513和514、以及字符串候选“サイン”(签名)、“サイン会”(签名会话)、“サイン入り”(已签)显示在可选候选530中。显示两个操作命令513和514是因为“サイン”包括在图11A和图11B的操作命令定义数据713和715的“String”中。

当用户用笔2500按下“手書きサイン登録する”(进行手写签名注册)时，图27B的手写签名注册表561被追加到手写输入存储单元25并显示在操作画面101上。例如，图27A的操作指南500被擦除，并且手写签名注册表561显示在与操作指南500相同的位置。手写签名注册表561从顶行包括姓名输入栏561a、签名输入栏561b～561d、以及注册确认栏561e。用户在姓名输入栏561a中输入姓名文本；在签名栏561b～561d中输入第一个手写签名、第二个手写签名、第三个手写签名；并且在注册确认栏561e中输入核选标记或取消标记。姓名文本是用户的显示名，并且被转换为文本数据。由于每次用户书写时手写签名都不同，因而输入三个手写签名。基于手写签名数据项不完全匹配的假设来注册手写签名的特征值的每一个。

需要说明的是，一般而言，手写签名是用户的姓名等与用户相关的字符，并且可以是除了用户的姓名之外的员工编号等数字、昵称、肖像画等。另外，手写签名不限于与用户相关的字符，也可以是某种手写对象。例如，手写签名可以是圆形、三角形、正方形、符号或其组合。对于手写签名，特征数据不限于坐标。因此，即使姓氏相同的用户(例如铃木先生)都注册了手写签名“すずき”，仍可以准确地对其进行认证。

当用户根据指示在手写签名注册表561中输入手写时，手写签名注册表561应如图27C所示。当用户在注册确认栏561e中手写“核选标记”时，手写签名数据被注册在手写签名数据存储单元39中并且手写签名注册表561被擦除。响应于注册，向SignatureId给定一编号。类似地给定编号的AccountId和姓名输入栏561a中的姓名文本被与SignatureID相关联起来，并将关联的结果注册在用户定义数据中。当用户手写用户名并登录时，获取与用户定义数据中的AccountId相关联的SignatureId，并将其与在手写登录中使用的笔2500的笔ID相关联地注册在笔ID控制数据中。之后，如果用户使用笔2500，则笔ID被发送到显示装置2，笔ID控制数据可以用来确定与笔ID相关联的AccountId，并且用户可以执行使用用户定义数据的操作命令而无需用户有意的操作。

如果在注册确认栏561e中手写"×"，则手写签名注册被取消并且手写签名注册表561被擦除。需要说明的是，如果在注册中发生错误，则在操作画面101的系统预留区域中显示错误。

如上所述，手写输入显示控制单元23可以不区分向表格的手写输入和向除了表格之外的手写输入地接收手写输入。

<通过手写的登录例>

接下来，将参照图28对注册手写签名数据后用户登录的方法进行描述。图28是说明当用户手写作为用户注册的手写签名数据的"すずき“(铃木)时显示的操作指南500的一例的图。由于"すずき”(铃木)作为手写签名数据被注册在手写签名数据存储单元39中，因而"すずき”(铃木)与手写签名数据匹配。因此，显示“手書きサインインする”(手写登录)的操作命令512。

另外，由于手写签名数据匹配，因而确定出表示“すずき”(铃木)的SignatureId，并确定出AccountId与SignatureId相关联的用户定义数据。

如果用户选择操作命令512，“手書きサインインする”(手写登录)，则"すずき”(铃木)的AccountId与用户使用的笔2500的笔ID相关联，并追加到笔ID控制数据，以便在使用操作命令时可以使用"すずき”(铃木)的用户定义数据。

使用图28的手写签名注册表561的手写签名数据的注册通过与字符等的通常的手写输入相同的方式进行控制。结果，手写签名注册表561在与手写字符的操作画面相同的操作画面上显示。手写签名注册表561内外的手写操作没有区别，从而用户只需手写到手写签名注册表561的被格线定界的区域内即可完成向手写签名注册表561的输入。

<用户定义数据的变更例>

接下来，将参照图29A至图29B对于用户定义数据的变更方法进行描述。图29A至图29B是说明用户定义数据的变更方法的图。图29A是当用户手写“せ”时显示的操作指南500的一例。在图11A和图11B所示的操作命令定义数据716中，在String中定义有“設定”(设置)，并且“せ”的预测字符串包含“設定”(设置)。因此，显示操作命令“設定変更する”(变更设置)。

当用户用手写登录时使用的笔2500选择“設定変更する”(变更设置)时，根据笔ID控制数据确定与笔2500的笔ID相关联的用户AccountId。根据上述，确定出登录的用户的用户定义数据，并且图29B的用户定义数据变更表562被追加到手写输入存储器25。用户定义数据变更表562被显示在操作画面101上。在图29A至图29B的示例中，根据图14的用户定义数据718创建用户定义数据变更表562。用户定义数据变更表562包括姓名栏562a、密码栏562b、文件夹用户名栏562c、文件夹密码栏562d、文件夹文件名栏562e、以及注册或取消栏562f。

需要说明的是，如果用户未预先登录，则显示装置2无法确定用户的AccountId，从而导致错误，并且在操作画面101的系统预留区域显示错误消息。

用户在图29B的用户定义数据变更表562的密码栏562b中手写密码。用户在文件夹用户名栏562c中手写文件夹用户名。用户在文件夹密码栏562d中手写文件夹密码。用户在文件夹文件名栏562e中手写文件夹文件名。用户在注册或取消栏562f中手写核选标记或“×”。根据上述，执行用户定义数据的变更，并且用户定义数据变更表562被擦除。

如上所述，用户可以通过手写用于显示用户定义数据变更表562的笔画数据来显示用户定义数据变更表562，并且可以自由地变更用户定义数据。手写输入显示控制单元23不区分向表格内的手写输入和向除了表格之外的手写输入地接收手写输入。

需要说明的是，包括在用户定义数据中的AccountUsername被自动显示在姓名栏562a中。用户定义数据变更表562不仅可以用于变更，还可以用于注册。

使用图29A至图29B的用户定义数据变更表562的用户定义数据的变更通过与字符的通常手写输入相同的方式进行控制。因此，用户定义数据变更表562显示在与用于手写字符等的操作画面相同的操作画面上。用户定义数据变更表562内的手写操作与用户定义数据变更表562外的手写操作没有区别。用户只需手写到用户定义数据变更表562的定界区域内即可完成向用户定义数据变更表562的输入。

<操作步骤>

将参照上述配置和图30至图37对显示装置2的操作进行描述。图30至图37是说明显示装置2显示字符串候选和操作命令候选的处理的顺序图。图30所示的处理在显示装置2启动时(应用程序启动时)开始。需要说明的是，在图30至图37中，为了空间的方便起见，用附图标记表示图6A和图6B所示的功能。

在开始输入手写数据之前，用户已选择笔按钮81～86(已确定PenId)。因此，

a.根据笔颜色选择按钮定义数据来确定笔按钮ID、ColorID、以及字体。

b.PenID和ColorId被注册在笔ID控制数据中。

S1：首先，手写输入显示控制单元23将手写对象的开始发送到手写输入存储单元25。手写输入存储单元25分配手写对象区域(用于存储手写对象的存储区域)。可以在用户用笔接触手写输入单元21后分配手写对象区域。

S2：接下来，用户用笔接触手写输入单元21。手写输入单元21检测落笔并将其发送到手写输入显示控制单元23。

S3：手写输入显示控制单元23将笔画开始发送到手写输入存储单元25，手写输入存储单元25分配笔画区域。

S4：当用户移动与手写输入单元21接触的笔时，手写输入单元21将笔坐标发送到手写输入显示控制单元23。

S5：手写输入显示控制单元23指定与坐标的输入同时从笔2500接收到的笔ID，并获取存储在笔ID控制数据存储单元36中的当前笔ID控制数据。由于笔ID是在坐标的输入时发送的，因而笔画和笔ID被相互关联起来。笔ID控制数据存储单元36将笔ID控制数据(ColorId(角度信息设置为零，无AccountId))发送到手写输入显示控制单元23。需要说明的是，角度信息仍是作为初始值的零。由于用户尚未登录，因而没有AccountId。

S6：手写输入显示控制单元23将笔坐标补充显示数据(对离散笔坐标进行插值的数据)发送到显示单元22。显示单元22用笔坐标补充显示数据对笔坐标进行插值，并基于ColorId从颜色定义数据确定线型和粗细以显示笔画。

S7：手写输入显示控制单元23将笔坐标、其接收时间、ColorId以及角度信息发送到手写输入存储单元25。手写输入存储单元25将笔坐标追加到笔画。在用户移动笔的时候，手写输入单元21周期性地重复向手写输入显示控制单元23发送笔坐标。重复步骤S4到S7的处理，直到抬笔为止。

S8：当用户从手写输入单元21放开笔时，手写输入单元21将抬笔发送到手写输入显示控制单元23。

S9：手写输入显示控制单元23将笔画的结束发送到手写输入存储单元25，手写输入存储单元25确定笔画的笔坐标。确定笔画的笔坐标后，笔坐标就无法被追加到笔画。

S10：接下来，手写输入显示控制单元23基于手写对象邻近矩形区域，向手写输入存储单元25发送手写对象邻近矩形区域与笔画矩形区域之间的重叠状态的获取请求，手写输入单元25计算重叠状态，并将该重叠状态发送到手写输入显示控制单元23。

当手写对象邻近矩形区域和笔画矩形区域彼此不重叠时，执行后续步骤S11至S17。

S11：当手写对象邻近矩形区域与笔画矩形区域相互不重叠时，确定一个手写对象。因此，手写输入显示控制单元23将保持数据清除发送到手写识别控制单元26。

S12～S14：手写识别控制单元26将保持数据清除分别发送到字符串转换控制单元28，预测转换控制单元30以及操作命令识别控制单元32。手写识别控制单元26、字符串转换控制单元28、预测转换控制单元30以及操作命令识别控制单元32清除与至今所保持的字符串候选和操作命令候选有关的数据。需要说明的是，在清除时，最后的手写笔画不会被追加到手写对象。

S15：手写输入显示控制单元23将手写对象的完成发送到手写输入存储单元25。手写输入存储单元25确定手写对象。手写对象的确定意味着已完成一个手写对象(不再追加笔画)。

S16：手写输入显示控制单元23将手写对象的开始发送到手写输入存储单元25。为准备下一个手写对象的手写开始(落笔)，手写输入存储单元25分配新的手写对象区域。

S17：接下来，手写输入显示控制单元23针对在步骤S9中完成的笔画将笔画追加发送到手写输入存储单元25。当执行步骤S11至S17时，追加的笔画是手写对象的第一笔画，并且手写输入存储单元25将笔画数据追加到正在开始的手写对象。如果尚未执行步骤S11～S17，则将追加的笔画追加到已手写中的手写对象。

S18：接着，手写输入显示控制单元23将笔画追加发送到手写识别控制单元26。手写识别控制单元26将笔画数据追加到存储字符串候选的笔画数据保持区域(临时存储笔画数据的区域)。

S19：手写识别控制单元26对笔画数据保持区域进行手势手写识别。手势手写识别是指从直线识别角度信息。需要说明的是，由于在操作指南500内进行手势手写识别，因而手写识别控制单元26在操作指南500内检测直线。操作指南500的位置信息在待后述的步骤S67中被发送到手写识别控制单元26。

S20：当检测到操作指南500中的直线时，以45度为单位决定从直线的起点向下绘制到6点方向的线522与用户输入的直线521之间形成的逆时针角度α。进一步地，手写识别控制单元26通过将所决定的角度信息与包括在直线521的笔画数据中的笔ID相关联起来将所决定的角度信息存储在笔ID控制数据存储单元36中。需要说明的是，步骤S20是在操作指南500中检测到直线时执行的。

S20-2：手写识别控制单元26清除可选候选显示矩形。

S21：接下来，手写识别控制单元26指定从手写输入单元21接收到的笔ID，并从笔ID控制数据存储单元36获取当前笔ID控制数据的角度信息。

S22：手写识别控制单元26以所获取的角度信息顺时针方向旋转笔画数据保持区域中的笔画数据。

S23：手写识别控制单元26将旋转后的笔画数据发送到手写签名认证控制单元38。如上所述，在不清楚笔画数据是否为手写签名的状态下笔画数据总是被发送到手写签名认证控制单元38。

S24：手写签名认证控制单元38接收笔画数据并从手写签名数据存储单元39接收注册的手写签名数据。进一步地，手写签名认证控制单元38将笔画数据与手写签名数据进行比较(匹配)，并保持手写签名认证结果，以便在后期步骤S61中获得手写签名的认证结果。当认证成功时，AccountId被注册在笔ID控制数据中。

S25：接下来，手写识别控制单元26对笔画数据进行手写识别，并且在表格的注册或取消栏为“核选标记”或“×”时进行表格的处理，否则，进行通常的手写识别的处理。

S26：当手写签名数据注册表的注册或取消栏是“核选标记”时，手写识别控制单元26将用户为手写签名注册表输入的手写签名数据(笔画数据)发送到手写签名认证控制单元38。手写签名注册表在待后述的步骤S86中由手写输入显示控制单元23在手写输入存储单元25中生成。

S27：手写签名认证控制单元38将接收到的手写签名数据(笔画数据)注册在手写签名数据存储单元39中。根据上述，对SignatureId给定一编号。SignatureId被返回至手写识别控制单元26。当用户定义数据中不包括SignatureId和输入到手写签名注册表561的姓名输入栏561a中的姓名时，手写识别控制单元26新追加用户定义的数据。进一步地，手写识别控制单元26为AccountId分配编号并将SignatureId存储在用户定义数据中。如果在姓名栏561a中输入的姓名包括在用户定义数据中，则SignatureId被保存在用户定义数据中。该过程将AccountId与SignatureId相关联起来。需要说明的是，当新追加用户定义数据时，不设置其他值，但用户可以通过用户定义数据变更表进行注册和变更。

S28：一经注册手写签名数据，手写识别控制单元26从手写输入存储单元25删除手写签名注册表561。

S29：当用户定义数据变更表的注册或取消栏是“核选标记”时，手写识别控制单元26将输入到用户定义数据变更表562的变更值发送到操作命令定义单元33。用户定义数据变更表562在待后述的步骤S86中由手写输入显示控制单元23在手写输入存储单元25中生成。

S30：一经执行用户定义数据的变更，手写识别控制单元26从手写输入存储单元25中删除用户定义数据变更表562。

S31：当在待后述的步骤S86中追加的表格的注册或取消栏是"×"时，手写识别控制单元26从手写输入存储单元25中删除在步骤S86中追加的表格。

S33：当不是表格处理时，手写识别控制单元26将作为执行结果的手写识别字符串候选发送到手写识别词典单元27。手写识别词典单元27将语言上假定为正确的语言字符串候选发送到手写识别控制单元26。

S34：手写识别控制单元26将手写识别字符串候选和接收到的语言字符串候选发送到字符串转换控制单元28。

S35：字符串转换控制单元28将手写识别字符串候选和语言字符串候选发送到字符串转换词典单元29。字符串转换词典单元29将转换字符串候选发送到字符串转换控制单元28。

S36：字符串转换控制单元28将接收到的转换字符串候选发送到预测转换控制单元30。

S37：预测转换控制单元30将接收到的转换字符串候选发送到预测转换词典单元31。预测转换词典单元31将预测字符串候选发送到预测转换控制单元30。

S38：预测转换控制单元30将接收到的预测字符串候选发送到操作命令识别控制单元32。

S39：操作命令识别控制单元32将接收到的预测字符串候选发送到操作命令定义单元33。操作命令定义单元33将操作命令候选发送到操作命令识别控制单元32。从而，操作命令识别控制单元32可以获取与具有匹配于预测字符串候选的字符串(String)的操作命令定义数据对应的操作命令候选。

之后，显示装置2以类似的方式执行处理，直到发送步骤S40至S47所描述的操作命令候选。

S40：字符串转换控制单元28将接收到的转换字符串候选发送到操作命令识别控制单元32。

S41：操作命令识别控制单元32将接收到的转换字符串候选发送到操作命令定义单元33。操作命令定义单元33将操作命令候选发送到操作命令识别控制单元32。从而，操作命令识别控制单元32可以获取与具有匹配于转换字符串候选的字符串(String)的操作命令定义数据对应的操作命令候选。

S42：手写识别控制单元26将手写识别字符串候选和语言字符串候选发送到预测转换控制单元30。

S43：预测转换控制单元30将手写识别字符串候选和接收到的语言字符串候选发送到预测转换词典单元31。预测转换词典单元31将预测字符串候选发送到预测转换控制单元30.

S38：预测转换控制单元30将接收到的预测字符串候选发送到操作命令识别控制单元32。

S39：操作命令识别控制单元32将接收到的预测字符串候选发送到操作命令定义单元33。操作命令定义单元33将操作命令候选发送到操作命令识别控制单元32。从而，操作命令识别控制单元32可以获取与具有匹配于预测字符串候选的字符串(String)的操作命令定义数据对应的操作命令候选。

S46：手写识别控制单元26将手写识别字符串候选和接收到的语言字符串候选发送到操作命令识别控制单元32。

S47：操作命令识别控制单元32将手写识别字符串候选和接收到的语言字符串候选发送到操作命令定义单元33。操作命令定义单元33将操作命令候选发送到操作命令识别控制单元32。从而，操作命令识别控制单元32可以获取与具有匹配于语言字符串候选的字符串(String)的操作命令定义数据对应的操作命令候选。

S48：接下来，手写识别控制单元26将笔画追加发送到操作命令识别控制单元32。

S49：操作命令识别控制单元32将对确定对象的位置信息的请求发送到手写输入存储单元25。手写输入存储单元25将确定对象的位置信息发送到操作命令识别控制单元32。

S50：操作命令识别控制单元32基于跨线判定条件406和围线判定条件407，判定在步骤S48的笔画追加中从手写识别控制单元26接收的笔画的位置信息是否与从手写输入存储单元25接收的确定对象的位置信息处于预定关系。根据上述，操作命令识别控制单元32判定选择对象。操作命令识别控制单元32将可以判定为所选择的确定对象存储为选择对象。此外，在这种情况下，由于选择对象被确定，因而从操作命令定义单元33获取与输入和输出相关的操作命令候选。

进一步地，手写识别控制单元26、字符串转换控制单元28、预测转换控制单元30以及操作命令识别控制单元32保持：手写识别字符串候选；语言字符串候选；转换字符串候选；预测字符串候选；操作命令候选；以及与选择对象相关的数据，以便可以分别在后续阶段的步骤S55至S58中获取数据。

S18-2：在步骤S18中将笔画追加发送到手写识别控制单元26之后，手写输入显示控制单元23立刻将可选候选显示计时器的启动发送到候选显示计时器控制单元24。候选显示计时器控制单元24启动计时器。

当在一定时间段过去之前(计时器到期之前)发生落笔时，执行后续步骤S51～S53。

S51：当用户在计时器到期之前用笔接触手写输入单元21时，手写输入单元21将落笔(与步骤S2中相同的事件)发送到手写输入显示控制单元23。

S52：手写输入显示控制单元23将笔画开始(与步骤S3中相同)发送到手写输入存储单元25。后续的顺序与步骤S3以后相同。

S53：进一步地，手写输入显示控制单元23将可选候选显示计时器停止发送到候选显示计时器控制单元24。候选显示计时器控制单元24停止计时器。这是因为检测到落笔，而计时器不是必需的。

步骤S54～S103在一定时间经过之前(计时器超时之前)没有落笔时执行。从而，显示图22所示的操作指南500。

S54：可选候选显示计时器正在运行时，当用户未用笔接触手写输入单元21时，候选显示计时器控制单元24将超时发送到手写输入显示控制单元23。

S55：手写输入显示控制单元23将手写识别字符串/语言字符串候选的获取发送到手写识别控制单元26。手写识别控制单元26将当前保持的手写识别字符串/语言字符串候选发送到手写输入显示控制单元23。

S56：手写输入显示控制单元23将转换字符串候选的获取发送到字符串转换控制单元28。字符串转换控制单元28将当前保持的转换字符串候选发送到手写输入显示控制单元23。

S57：手写输入显示控制单元23将预测字符串候选的获取发送到预测转换控制单元30。预测转换控制单元30将当前保持的预测字符串候选发送到手写输入显示控制单元23。

S58：手写输入显示控制单元23将操作命令候选的获取发送到操作命令识别控制单元32。操作命令识别控制单元32将当前保持的操作命令候选和选择对象发送到手写输入显示控制单元23。

S59：进一步地，手写输入显示控制单元23将估计书写字符方向的获取发送到手写输入存储单元25。手写输入存储单元25由手写对象矩形区域的笔画追加时间、水平距离及垂直距离判定估计书写字符方向，并将估计的书写方向发送到手写输入显示控制单元23。

S60：接下来，手写输入显示控制单元23指定从手写输入单元21接收的笔ID，并从笔ID控制数据存储单元36获取当前笔ID控制数据的ColorId、AccountId以及角度信息。

S61：手写输入显示控制单元23从手写签名认证控制单元38获取手写签名的认证结果。从而，获取用户的SignatureId，并且，在执行后述的操作命令时，对笔ID控制数据注册与AccountId相关联的笔ID。当用户登录时，确定与由AccountId确定的用户定义数据相关联的颜色定义数据。显示装置2可以显示：用户定义数据的颜色信息被以黑白强调的手写数据；或者从手写数据转换的文本数据。

S62：手写输入显示控制单元23由以下制作图22所示的可选候选显示数据：手写识别字符串候选(图23中，“ぎ”)；语言字符串候选(图22中未示出，例如“議”)；转换字符串候选(图22中，“議事録”、“技量試”)；预测字符串候选(图22中，“技量試を決済”、“議事録の送付先”)；操作命令候选(图22中，“議事録テンプレートを読み込む”、“議事録フォルダーに保存する”)；各选择概率；以及估计书写字符方向。进一步地，手写输入显示控制单元23基于在步骤S60中获取的角度信息逆时针旋转可选候选显示数据(操作指南500)，并将旋转后的可选候选显示数据(操作指南500)发送到显示单元22以进行显示。

S63：进一步地，手写输入显示控制单元23以在步骤S60中获取的角度信息逆时针旋转手写对象的矩形区域显示数据(矩形框架)(图22中，手写对象矩形区域显示503)，并将旋转后的数据发送到显示单元22以进行显示。

S64：手写输入显示控制单元23将可选候选显示删除计时器的启动发送到候选显示计时器控制单元24，以便在一定时间之后从显示中擦除可选候选显示数据。候选显示计时器控制单元24启动计时器。

步骤S65至S70在可选候选删除计时器正在运行时当用户擦除显示在显示单元22上的可选候选显示时，或者当手写对象发生变化时(即，当手写对象的笔画被追加、删除、移动、变形或分割)，或者当超时前未选择候选者时执行。

进一步地，步骤S65～S67在候选显示被删除或手写对象发生变化时执行。

S65：手写输入单元21将可选候选显示删除或手写对象的变化的发生发送到手写输入显示控制单元23。

S66：手写输入显示控制单元23发送可选候选删除计时器停止。候选显示计时器控制单元24停止计时器。这是因为，由于手写对象在一定时间内被操作，因而不需要计时器。

S67：手写输入显示控制单元23将操作指南500的位置信息存储在手写识别控制单元26中，以便在步骤S19的手势手写识别的手势判定中能够使用该位置信息。位置信息例如可以是左上角和右下角的坐标或者它们的等效坐标。根据上述，手写识别控制单元26可以判定用于输入角度信息的直线是否在操作指南500内。

S69：手写输入显示控制单元23将可选候选显示数据的删除发送到显示单元22以消除显示。

S70：手写输入显示控制单元23将手写对象和选择对象的矩形区域显示数据的删除发送到显示单元22以消除显示。因此，如果在除了操作命令候选的选择之外的条件下删除操作命令候选的显示，则保持手写对象的显示。

S68：另一方面，当在可选候选删除计时器正在运行时未发生可选候选显示删除或未发生手写对象变化时(当用户未进行笔操作时)，候选显示计时器控制单元24将超时发送到手写输入显示控制单元23。

类似地，在可选候选显示删除计时器超时之后，手写输入显示控制单元23执行步骤S69和步骤S70。这是因为，可以在一定时间后删除可选候选显示数据以及手写对象和选择对象的矩形区域显示数据。

当用户在可选候选擦除计时器运行时选择可选候选时，执行步骤S71～S103。

S71：当用户在可选候选擦除计时器运行时选择可选候选时，手写输入单元21将字符串候选的候选选择或操作命令发送到手写输入显示控制单元23。

S71-2：手写输入显示控制单元23将可选候选显示删除计时器的停止发送到候选显示计时器控制单元24。候选显示计时器控制单元24停止计时器。

S72：接下来，手写输入显示控制单元23将保持数据清除发送到手写识别控制单元26。

S73：手写识别控制单元26将保持数据清除发送到字符串转换控制单元28。

S74：手写识别控制单元26将保持数据清除发送到预测转换控制单元30。

S75：手写识别控制单元26将保持数据清除发送到操作命令识别控制单元32。手写识别控制单元26、字符串转换控制单元28、预测转换控制单元30以及操作命令识别控制单元32清除与至今所保持的字符串候选和操作命令候选有关的数据。

S76：接下来，手写输入显示控制单元23将可选候选显示数据的删除发送到显示单元22以消除显示。

S77：手写输入显示控制单元23将手写对象和选择对象的矩形区域显示数据的删除发送到显示单元22以消除显示。

S78：手写输入显示控制单元23通过将手写对象显示数据的删除和在步骤S6中发送的笔坐标补充显示数据的删除发送到显示单元22来消除显示。这是因为，由于已选择了字符串候选或操作命令候选，不再需要手写对象等。

S79：手写输入显示控制单元23将手写对象删除发送到手写输入存储单元25。

当选择字符串候选时，执行步骤S80～S82。

S80：当选择字符串候选时，手写输入显示控制单元23将字符串对象的追加发送到手写输入存储单元25。

S81：进一步地，手写输入显示控制单元23将字符串对象字体获取发送到手写输入存储单元25。手写输入存储单元25从笔颜色选择按钮定义数据中确定与笔ID控制数据的PenId相关联的字体，并将手写对象的估计字符大小发送到手写输入显示控制单元23。

S82：接下来，手写输入显示控制单元23使用从手写输入存储单元25接收到的已定义字体，将显示在与手写对象相同的位置的字符串对象显示数据发送到显示单元22，以显示字符串对象显示数据。手写输入显示控制单元23基于笔ID控制数据的ColorId从颜色定义数据确定线型和粗细，并显示以角度信息旋转的文本(字符串对象)。

当选择操作命令候选时，执行步骤S83～S101。当有选择对象时，执行步骤S83～S85。

S83：当选择了针对选择对象的操作命令候选时(当存在选择对象时)，手写输入显示控制单元23将选择对象显示数据的删除发送到显示单元22以消除显示。这是为了删除原来的选择对象。

S84：接下来，手写输入显示控制单元23将针对选择对象的操作命令执行发送到手写输入存储单元25。手写输入存储单元25将新选择对象的显示数据(编辑或修饰后的显示数据)发送到手写输入显示控制单元23。

S85：接下来，手写输入显示控制单元23将选择对象显示数据发送到显示单元22，以再次显示操作命令的执行后的选择对象。

S86：当指定操作命令定义数据713的“手書きサイン登録する”(注册手写签名)或操作命令定义数据716的“設定変更する”(变更设置)时，手写输入显示控制单元23将手写签名注册表561或用户定义数据变更表追加到手写输入存储单元25。

S87：当选择操作命令候选“ファイル保存”(文件保存)或“印刷”(打印)时，手写输入显示控制单元23将文件发送请求发送到文件收发控制单元37。

S88：文件收发控制单元37将要发送的手写输入存储数据的获取请求发送到手写输入存储单元25。

S88：文件收发控制单元37将要发送的手写输入存储数据的获取请求发送到手写输入存储单元25。

S89：手写输入存储单元25根据MIB等判定发送目的地是否为彩色支持装置。

-在彩色支持装置的情况下，手写输入存储单元25将转换为彩色的手写输入存储数据发送到文件收发控制单元37。换言之，手写输入存储单元25基于手写输入存储数据的ColorId判定数据是否为手写输入起源数据，从颜色定义数据中获取与ColorId相关联的颜色信息，并将手写输入起源数据转换为该颜色信息。由于不是手写输入起源数据的数据中存储有颜色信息，因而手写输入存储单元25发送所存储的颜色信息。用于判定手写输入起源数据(显示装置2绘制的手写数据)的不限于ColorID，只要手写输入存储单元25可以判定数据是否为手写输入起源数据即可。进一步地，表示是否为手写输入起源数据的信息可以是表明表示手写数据是否由显示装备2绘制的设备的值。

-在发送目的地是黑白支持装置的情况下，手写输入存储单元25可以通过忽略与手写输入存储数据的ColorId相关联的颜色信息来仅发送坐标点序列或文本。进一步地，手写输入存储单元25可以从颜色定义数据获取与ColorId相关联的颜色信息，并将手写输入起源数据转换为颜色信息。需要说明的是，手写输入存储单元25可以从颜色定义数据中获取与ColorId相关联的颜色信息，并将其转换为要发送的黑白强调显示(线型和粗细)。由于不是手写输入起源数据的数据中存储有颜色信息，因而手写输入存储单元25发送所存储的颜色信息。

-当发送目的地是黑白强调支持装置时，手写输入存储单元25仅将手写输入存储数据或手写输入存储数据及颜色定义数据发送到文件收发控制单元37。当手写输入存储单元25仅发送手写输入存储数据时，根据发送目的地的黑白强调支持装置所保持的颜色定义数据来决定线型和粗细。当手写输入存储单元25发送手写输入存储数据和颜色定义数据两者时，根据发送源的黑白强调支持装置所保持的颜色定义数据来决定线类型和粗细。需要说明的是，黑白强调支持装置的发送源可以将其转换为黑白强调显示，并且可以由手写输入存储单元25发送转换后的数据。

-进一步地，当文件收发控制单元37写入文件，例如PDF文件等时，从颜色定义数据中获取与ColorID相关联的颜色信息，并根据PDF文件的格式将手写输入起源数据设置为PDF文件。这同样适用于字体、字体大小等。文件收发控制单元37进一步将手写输入存储数据(例如，ColorId、FontName等)的全部或一部分存储在PDF文件的元数据中。由于PDF文件的阅读器忽略元数据，因而对显示没有影响，并且，如果显示装置2读取PDF文件，则可以从元数据中重新生成手写输入存储数据。在不是手写输入起源数据的数据的情况下，文件收发控制单元37根据PDF的格式将存储在手写输入存储数据中的颜色信息、字体和字符大小设置为PDF文件。

S90：文件收发控制单元37将从手写输入存储单元接收的手写输入数据发送到目的地或将其写入文件。

S91：当选择“ファイル読み込み”(文件读取)的操作命令候选时，手写输入显示控制单元23将文件列表信息的获取请求发送到文件收发控制单元37。

S92：文件收发控制单元37从USB存储器、网络存储器、Web服务器或外部装置等存储介质接收文件列表信息。

S93：文件收发控制单元37将文件列表信息发送到手写输入显示控制单元23。

S94：手写输入显示控制单元23将文件列表显示数据发送到显示单元22。从而，显示单元22如图12所示在显示器上显示文件列表。

S95：当用户选择文件并且手写输入单元21接收到该选择时，手写输入单元21将文件选择发送到手写输入显示控制单元23。

S96：手写输入显示控制单元23将所选择的文件的文件接收请求发送到文件收发控制单元37。

S97：文件收发控制单元37从外部装置获取文件。

S98：文件收发控制单元37将文件存储在手写输入存储单元25中。

S99：手写输入存储单元25解析从文件收发控制单元37接收的文件，并将手写输入起源数据转换成手写输入存储数据(黑白强调/彩色转换使能数据)。换言之，手写输入存储单元25判定元数据的存在或不存在。当元数据存在时，手写输入存储单元25判定是否可以将元数据转换为手写输入存储数据(是否有ColorId等)，并将元数据存储为手写输入存储数据。进一步地，手写输入存储单元25对手写输入起源数据读取ColorId，并通过参照颜色定义数据将数据转换成对应于ColorId的黑白强调显示。手写输入存储单元25将手写对象的显示数据发送到手写输入显示控制单元23。在不是手写输入起源数据的数据的情况下，手写输入存储单元25根据文件格式读取颜色信息、字体以及字符大小，并将数据存储为手写输入存储数据。

S100：手写输入显示控制单元23在显示单元22上显示手写输入数据的显示数据。根据上述，显示单元22将手写输入起源数据显示为进行黑白强调的手写数据，并采用常规的亮度转换以黑白显示不是手写输入起源数据的数据。

需要说明的是，当执行用于登录的操作命令512时，手写输入显示控制单元23获取在执行操作命令512时由显示装置2接收的笔ID。手写输入显示控制单元23确定包括在步骤S61中获取的SignatureId的用户定义数据，并从用户定义数据中获取AccountId。进一步地，手写输入显示控制单元23将AccountID与笔ID相关联起来将AccountId注册在笔ID控制数据中。结果，笔2500和用户被相互关联起来，并且显示装置2可以使用用户定义数据进行处理。

当用户在登录后进行手写或读取文件时，手写输入显示控制单元23在操作命令的执行时从笔ID控制数据获取与显示装置2接收的笔ID相关联的AccountId。手写输入显示控制单元23根据AccountId确定用户定义数据，并将颜色定义数据设置为操作命令中的“％～％”以执行操作命令。

S101：当选择与输入和输出相关的操作命令时，手写输入显示控制单元23执行与由用户选择的操作命令对应的操作命令定义数据的操作命令字符串(Command)。

S102：当用户手动输入角度信息时，手写输入显示控制单元23通过将接收到的角度信息与在旋转操作按钮511被按下时从笔2500接收的笔ID关联起，来将该角度信息存储在笔ID控制数据存储单元36中。

S103：手写输入显示控制单元23为下一个手写对象将手写对象的开始发送到手写输入存储单元25。手写输入存储单元25分配手写对象区域。之后，重复步骤S2至S103的处理。

<总结>

如上所述，本发明的实施例的显示装置2将手写输入起源数据与其表示的意思相关联起来，并且能够检测数据是手写输入起源数据。根据上述情况，即使在显示装置2从外部装置获取文件的情况下，当显示手写输入起源数据时，也可以基于与手写数据相关联的颜色信息进行黑白强调显示。进一步地，在将手写输入起源数据发送到外部装置的情况下，可以在不判定数据是否为手写输入起源数据的情况下显示数据。

实施例2

在本发明的实施例中，对用于将手写数据转换为英文的显示装置2进行描述。需要说明的是，除了转换词典或操作命令定义数据对应于英语语言外，显示装置2的配置与第一实施例相同。因此，对将手写数据转换为英文(下称英文转换)时与第一实施例的不同之处进行描述。

图38是说明在英语转换的情况下本发明的实施例的显示装置2的手写输入起源数据的显示方法的概要的图。需要说明的是，在图38的描述中，将主要说明与图2的不同之处。

(1)首先，用户可以使用按钮来选择用哪个颜色输入手写数据。在图2中，用户可以选择彩Bk、R、B、G、M以及C的颜色。

(2)显示装置2通过与用户手写例如“hand-written”时的颜色对应的方式显示手写数据。与颜色对应的方式是指使用根据颜色的不同线型进行显示。通过这样以对应于颜色的线型进行显示，可以进行黑白强调显示。显示装置2可以将手写数据转换为文本(字符代码)。图2的手写数据项4和5被转换为文本，手写数据6是未转换的手写数据。

(3)本发明的实施例的显示装置针对每个手写数据项具有是否为手写输入起源数据的意思表示以及颜色信息。手写数据4是手写输入起源数据，并且颜色信息是Bk。手写数据5是手写输入起源数据，并且颜色信息是R。手写数据6是手写输入起源数据，并且颜色信息是B。诸如手写数据4或手写数据5的从手写数据转换的文本(字符代码)也保持是否为手写输入起源数据的意思表示。因此，显示装置2可以在显示手写输入起源数据时以对应于指定颜色的线型进行显示。

(4)当显示装置2将手写数据转换成PDF文件等时，显示装置2根据PDF格式设置手写数据或文本数据的颜色信息，并附上手写输入起源数据的意思表示和颜色信息作为元数据。当显示装置2从存储介质(USB存储器等)读取该PDF文件时，可以基于元数据以对应于颜色信息的线型显示手写输入起源数据。

如上所述，即使用户手写英文，在显示手写输入起源数据时，本发明的实施例的显示装置2也可以基于与手写数据相关联的颜色信息进行黑白强调显示。

需要说明的是，图39是说明在中文转换的情况下本发明的实施例的显示装置2的手写输入起源数据的显示方法的概要的图。“手写的”是“手写的”的意思。这样，可以用同样的方式对中文进行转换。进一步地，本发明的实施例的显示装置2不依赖于语言，并且可以通过相同的方式对应于其他语言。

<操作命令定义数据的示例>

图40A至40B是当没有选择对象时的操作命令定义数据的示例。图40A至图40B的描述主要说明与图11A和图11B的不同之处。每个操作命令的内容与图11A和图11B相同，Name和String关联有英文表达。从而，用户可以用英文手写操作命令并用英文选择操作命令。

图41是有选择对象时的操作命令定义数据的一例。图41的描述主要说明与图13的不同之处。每个操作命令的内容与图13相同，但Name关联有英文表达。从而，用户可以用英文选择操作命令。

图42是用户定义数据的一例。图42的描述主要说明与图14的不同之处。用户定义数据的内容与图14相同，但AccountUsername为"Bob"。此外，Name关联有英文表达。因此，用户可以用英文选择用户定义数据。

需要说明的是，由手写签名数据存储单元39保持的手写签名数据可以与图15相同，手写输入存储数据可以与图16相同。笔ID控制数据可以与图17A和图17B相同，颜色定义数据可以与图18的相同。

<词典数据的示例>

将参照图43至图45对英语转换的情况下的词典数据进行描述。图43至图45的描述主要说明与图8至图10的不同之处。图43是手写识别词典单元27的词典数据的一例。图43的手写识别词典单元27的词典数据表示将手写“a(笔画数据的状态)”以0.90的概率转换为“a”，并且以0.10的概率转换为"o"。

图44是字符串转换词典单元29的词典数据的一例。在图44的字符串转换词典单元29的词典数据中，字符串“a”以0.55的概率被转换为"ab"，并且字符串"a"以0.45的概率转换为"AI"。这同样适用于“转换前”的其他字符串。

图45是预测转换词典单元31的词典数据的一例。在图45的预测转换词典单元31的词典数据中，字符串"agenda"以0.55的概率被转换为"agenda list"，并且以0.30的概率被转换为"agenda template"。

需要说明的是，词典数据是不依赖于语言的，任意的字符串均可以被注册为“转换前”和“转换后”。

<以黑白强调显示的数据和以彩色显示方法显示的数据>

图46A至图46B示出使用图18的颜色定义数据进行黑白强调显示的数据和以彩色显示方法显示的数据。图46A至图46B的描述主要说明与图19A和图19B的不同之处。

符号C21表示作为手写输入起源数据项的"Bk"、"R"、"B"、"G"、"magenta"以及"cyan"的文本。符号C22表示"Bk"、"R"、"B"、"G"、"magenta"以及"cyan"的笔画(手写)。符号C23表示弹簧状的笔画(手写)。符号C24表示圆环状的色表(图像)。符号C25表示色表内的RGBCMY(不是手写输入起源数据的文本)，在符号C23的下方有手写输入起源数据项的文本，即黑色的"Transparent"。

从而，除了日语单词"黒"、"赤"、"青"、"緑"、"マゼンタ"以及"シアン"变为“Bk”、“R”、“B”、“G”、“magenta”以及“cyan”外，与图19A和图19B相似。这同样适用于图46B。

从图46A和图46B的比较中可以看出，图46B的符号C30的色表内的文本"R"的红色不是手写输入起源数据。因此，文本"R"在图46A中以灰度显示。另一方面，由于符号C26的文本"R"是手写输入起源数据，因而该文本在图46A中以黑白强调显示。

进一步地，由于洋红色和青色是透射色，因而"Transparent"在图46B中可见。亦如图46A所示，由于白色的透明图案的使用，洋红色和青色是透明的。如上所述，黑白强调支持装置可以采用黑白强调显示来表示用于强调的颜色，而彩色设备可以将数据转换为彩色来显示。

<可选候选的显示例>

图47是在英文转换的情况下的操作指南500和操作指南500所显示的可选候选的一例。图47的描述主要说明与图22的不同之处。在图47中，用户手写"a"作为手写对象504。基于"a"，显示操作命令候选510、手写识别字符串候选506、转换字符串候选507、以及字符串/预测转换候选508。从而，除了图22的日语变为英语外，可以与图22相似。

操作命令候选510例如是在图40A的操作命令定义数据(操作命令定义数据项701和702)中的String中包括"agenda"的操作命令候选。

如上所述，在英文转换的情况下，用户也可以显示操作指南500。

<选定对象的指定例>

图48A至图48B是说明在英文转换的情况下的选择对象的指定例的图。需要说明的是，在图48A至图48B的描述中，将主要说明与图23的不同之处。

图48A示出用户使用跨线(手写对象11a2)指定横向书写的两个确定对象13a2和13b2的一例。在该示例中，矩形区域12a2的短边的长度H1和矩形区域12a2的长边的长度W1满足跨线判定条件406的条件，并且与确定对象13a2和13b2的重叠率满足跨线判定条件406的条件。因此，确定对象13a2和13b2"agenda"和"ag"两者皆被指定为选择对象。

图48B是用户使用围线(手写对象11b2)指定横向书写的确定对象13c2的一例。在该示例中，只有确定对象13c2和手写对象矩形区域12c2的重叠率满足围线判定条件407的条件的确定对象13c2“agenda”被指定为选择对象。

如上所述，在英文转换的情况下，用户也可以对选择对象进行选择。

<操作命令候选的显示例>

图49A至图49B示出当有图48A至图48B所示的选择对象时的基于操作命令定义数据的操作命令候选的显示例。图49A至图49B的描述主要说明与图24A和图24B的不同之处。

图49A是与编辑相关的操作命令候选，图49B是与修饰相关的操作命令候选。进一步地，图49A示出由图48A的手写对象11a2指定选择对象的一例。如图49A和图49B所示，主菜单550包括在行“》”511的首字母之后显示的操作命令候选。

在图49A中，通过按第一行的">"512a来显示图49A的子菜单560。当用户用笔按任意操作命令名时，手写输入显示控制单元23对选择对象执行与操作命令名相关联的操作命令定义数据的命令(Command)。换言之，当选择"Delete"(删除)521b时，手写输入显示控制单元23执行"Delete”。当选择"Move"(移动)522b时，手写输入显示控制单元23执行"Move”。当选择"Rotate"(旋转)523b时，手写输入显示控制单元23执行"Rotate”。当选择"Select"(选择)524b时，手写输入显示控制单元23执行"Select”。

当用户用笔按"Delete"511b时，手写输入显示控制单元23擦除确定对象13a2和13b2，即“agenda”和“ag”。当用户用笔按"Move"522b时，手写输入显示控制单元23接收确定对象13a2和13b2，即"agenda"和"ag”的移动。当用户用笔按"Rotate"523b时，手写输入显示控制单元23以一定角度旋转确定对象13a2和13b2，即"agenda"和"ag”。当用户用笔按"Select"524b时，手写输入显示控制单元23接收确定对象13a2和13b2的选择，即"agenda"和"ag”的选择。除了操作命令候选之外的字符串候选“―”541b、“－”542b、“～”543b、“→”544b以及

545b是跨线(手写对象11a2)的识别结果。如果用户想要输入字符串而不是操作命令，则可以选择字符串候选。

在图49B中，通过按第二行的“〉”512b来显示图49B的子菜单。在图49B的显示示例中，主菜单550和子菜单560在与图49A在同一时间显示。当选择“Thick”(粗)531b时，基于图41的操作命令定义数据，手写输入显示控制单元23对选择对象执行"Thick"。当选择“Thin”(细)532b时，手写输入显示控制单元23对选择对象执行"Thin"。当选择“Large”(大)533b时，手写输入显示控制单元23对选择对象执行"Large"。当选择“small”(小)534b时，手写输入显示控制单元23对选择对象执行"Small"。当选择“Underline”(下划线)535b时，手写输入显示控制单元23对选择对象执行"Underline"。

当用户用笔按"Thick"531b时，手写输入显示控制单元23将构成确定对象13a2和13b2，即"agenda"和"ag"的线加粗。当用户用笔按"Thin"532b时，手写输入显示控制单元23使构成"agenda"和"ag”的线变窄。当用户用笔按"Large"533b时，手写输入显示控制单元23增加对象尺寸。当用户用笔按"Small"534b时，手写输入显示控制单元23减小对象尺寸。当用户用笔按"Underline"535b时，手写输入显示控制单元23可以加下划线。

如上所述，即使在英文转换的情况下，用户也可以使有选择对象时的操作命令被显示。

<角度信息的输入例>

接下来，图50A至图50C是说明用于输入90度的角度信息的方法的示例。在英文转换的情况下，输入角度信息的方法与日文转换相同。图50A至图50C主要说明与图26A至图26C的不同之处。

图50A示出由于在笔ID控制数据的角度信息为0度(初始值)的状态下位于显示装置2的三点钟方向上的用户手写“a而显示操作指南500的状态。由于显示装置2使用保持在0度的角度信息识别从3点钟方向手写的字符“a”，因而显示与预期不同的可选候选530。

当输入角度信息时，用户在操作指南500中手写如用户看来从上到下的直线。图50B示出这样的直线521b的一例。相对于与0度的角度信息对应的6点钟方向形成的直线521b的逆时针角度α是角度信息。

图50C示出紧接在图50B的操作之后的操作指南500。由于在笔ID控制数据中设置90度作为角度信息(Angle)，手写对象(笔画数据)在内部以顺时针方向旋转90度，对旋转的手写对象执行手写识别，并且操作指南500以逆时针方向旋转90度来进行显示。需要说明的是，角度信息可以由用户从菜单中手动输入。

如上所述，用户可以在英文转换的情况下输入角度信息。

<手写签名数据的注册例>

接下来，图51A至51C是说明手写签名数据的注册方法的图。图51A至图51C主要说明与图27的不同之处。首先，图51A是当用户手写“Sign”(签名)时显示的可选候选530的一例。显示有与字符串“Sign”部分地匹配的基于操作命令定义数据713和715的两个操作命令513b和514b，即"Register handwritten signature"(注册手写签名)和"Hand sign out"(手写登出)、以及"Sign"(签名)、"Signature session"(签名会话)、"Signed”(已签名)字符串候选。

当用户用笔2500按“Register handwritten signature”时，图51B的手写签名注册表561被追加到手写输入存储单元25并显示在操作画面101上。例如，图51A的操作指南500被擦除，并且手写签名注册表561显示在与操作指南500相同的位置。

用户在姓名输入栏561a中输入姓名文本；在签名栏561b～561d中输入第一个手写签名、第二个手写签名，第三个手写签名；并且在注册确认栏561e中输入核选标记或取消标记。

当用户根据指示在手写签名注册表561中输入手写时，手写签名注册表561应如图51C所示。

如上所述，手写输入显示控制单元23可以不区分向表格的手写输入和向表格以外的手写输入地接收手写输入。用户可以使用英语注册手写签名数据。

<通过手写的登录的示例>

图52是在英文转换中当用户手写作为用户注册的手写签名数据的“Bob”时显示的操作指南500的一例。图52的描述主要说明与图28的不同之处。

由于“Bob”作为手写签名数据被注册在手写签名数据存储单元39中，因而"Bob"与手写签名数据匹配。因此，显示"Hand Sign in"(手写登录)的操作命令512。

进一步地，由于手写签名数据匹配，因而确定出表示“Bob”的SignatureId，并确定出包括与SignatureId相关联的AccountId的用户定义数据。

当用户选择操作命令512"Hand Sign in"(手写登录)时，笔2500的笔ID与“Bob”的AccountID相关联并且被追加到笔ID控制数据，以便在使用操作命令时使用“Bob”的用户定义数据。

如上所述，用户可以使用英语登录。

<用户定义数据的变更操作例>

图53A至53B是说明在英文转换的情况下的用户定义数据的变更方法的图。图53A至图53B的描述主要说明与图29A至图29B的不同之处。图53A是当用户手写"set"(设置)时显示的操作指南500的一例。操作命令定义数据716在String中定义"set"，并且显示有操作命令"Change settings"(变更设置)。

当用户利用已用于通过手写进行登录的笔2500选择"Change settings"(变更设置)时，确定出通过笔ID控制数据与笔2500的笔ID相关联的用户的AccountID。根据上述，确定出已登录的用户的用户定义数据，并且图53B的用户定义数据变更表562被追加到手写输入存储单元25以显示在操作画面101上。用户定义数据变更表562的各项目与图29B相似。

如上所述，用户可以在英文转换的情况下通过与日语转换相同的方式变更用户定义。

需要说明的是，操作步骤可以与第一实施例的图30至图37所示的相同。

实施例3

在第一实施例中，显示装置2被描述为具有大型触摸面板，但显示装置不限于具有触摸面板的显示装置。在本发明的实施例中，将对投影型显示装置进行描述。

<<显示装置的另一配置例1>>

图54是示出显示装置的另一配置例的图。在图54中，投影仪411位于通常的白板413上方。投影仪411对应于显示装置。通常的白板413不是集成有触摸面板的平板显示器，而是用户直接用记号笔书写的白板。需要注意，白板可以是黑板，并且只要是大到足以投影图像的平面即可。

投影仪411具有超短焦点的光学系统，从而可以从大约10cm将失真较小的图像投影到白板413上。图像可以从无线或有线连接的PC400-1发送，或者可以由投影仪41存储。

用户使用专用电子笔2501在白板413上进行手写。电子笔2501在尖端部具有发光单元，例如，当用户为了手写而按压白板413时发光单元被打开。由于光的波长是近红外或红外，因而对用户不可见。投影仪411包括拍摄发光单元的摄像头，并解析拍摄的图像以判定电子笔2501的方向。进一步地，电子笔2501随同发光一起发射声波，投影仪411根据声波到达的时间计算距离。投影仪411可以由方向和距离判定电子笔2501的位置。在电子笔2501的位置处绘制(投影)笔画。

投影仪411投影菜单430，因此当用户用电子笔2501按下按钮时，投影仪411由电子笔2501的位置和开关的ON信号确定所按下的按钮。例如，当按下保存按钮431时，投影仪411存储用户手写的笔画(坐标的集合)。投影仪411将手写信息存储在预定的服务器412或USB存储器2600等中。手写信息是对每一页进行存储的。保存坐标而不是图像数据，使得用户能够进行重新编辑。需要说明的是，由于可以通过手写调用操作命令，因而可以不显示菜单430。

<<显示装置的另一配置例2>>

图55是说明显示装置2的又一配置例的图。在图55的示例中，显示装置2包括终端装置600，图像投影装置700A、以及笔操作检测装置810。

终端装置600通过电线与图像投影装置700A和笔操作检测装置810连接。图像投影装置700A使由终端装置600输入的图像数据被投影到屏幕800上。

笔操作检测装置810与电子笔820进行通信并检测电子笔820在屏幕800附近的操作。具体地，电子笔820检测表示电子笔820在屏幕上指示的点的坐标信息，并将检测到的坐标信息发送到终端装置600。

终端装置600基于从笔操作检测装置810接收的坐标信息生成由电子笔820输入的笔画图像的图像数据。终端装置600使图像投影装置700A将笔画图像绘制到屏幕800上。

终端装置600生成表示由图像投影装置700A投影的背景图像和由电子笔820输入的笔画图像构成的叠加的图像的叠加图像数据。

<<显示装置的另一配置例3>>

图56是说明显示装置的配置例的图。在图56的示例中，显示装置2包括终端装置600、显示器800A、以及笔操作检测装置810。

笔操作检测装置810位于显示器800A的附近。笔操作检测装置810检测表示电子笔820A在显示器800A上指示的点的坐标信息，并将检测到的坐标信息发送到终端装置600。需要说明的是，在图56的示例中，电子笔820A可以由终端装置600通过USB连接器充电。

终端装置600基于从笔操作检测装置810接收的坐标信息生成由电子笔820A输入的笔画图像的图像数据。终端装置600在显示器800A上显示笔画图像。

<<显示装置的另一配置例4>>

图57是说明显示装置的配置例的图。在图57的示例中，显示装置2包括终端装置600和图像投影装置700A。

终端装置600与电子笔820B进行无线通信(例如蓝牙)并接收电子笔820B在屏幕800上指示的点的坐标信息。终端装置600基于接收到的坐标信息生成由电子笔820B输入的笔画图像的图像数据。终端装置600使图像投影装置700A投影笔画图像。

进一步地，终端装置600生成表示由图像投影装置700A投影的背景图像和由电子笔820输入的笔画图像构成的叠加的图像的叠加图像数据。

如上所述，上述实施例中的每一个都可以应用于各种系统配置中。

<其他应用例>

如上所述，虽然已参照示例对本发明的优选实施例进行了描述，但可以在不背离本发明的思想和范围的情况下对其进行各种变形和替换。

例如，实施例的显示方法适用于具有触摸面板的信息处理装置。具有与显示装置相同功能的装置也称为电子黑板、电子白板、电子信息板、以及交互板。安装有触摸面板的信息处理装置例如可以是诸如PJ(投影仪)、数字标牌、HUD(平视显示)装置、工业机器、成像装置、声音采集器、医疗器械、网络家电、个人电脑、移动电话、智能手机、平板终端、游戏机、PDA(Personal Digital Assistant，个人数字助理)、数码相机、可穿戴PC或台式PC等输出装置。

进一步地，根据本发明的实施例，由显示装置2执行的处理的一部分可以由服务器执行。例如，显示装置将笔画信息发送到服务器，并且获取并显示要与操作指南500一起显示的信息。

进一步地，在本发明的实施例中，笔的坐标由显示装置2采用通过触摸面板检测笔尖的坐标的方法来检测，但笔尖的坐标可以通过超声波来检测。笔将超声波随同发光一起发射，显示装置2根据超声波的到达时间计算距离。显示装置2可以根据方向和距离判定笔的位置。显示装置2将笔的轨迹绘制(投影)为笔画。

进一步地，在本发明的实施例中，当有选择对象时，显示与编辑和修饰相关的操作命令候选，并且，当没有选择对象时，显示与输入和输出相关的操作命令候选。但是，显示装置2可以同时显示与编辑及修饰相关的操作命令候选和与输入及输出相关的操作命令候选。

进一步地，显示装置2可以不具有用户的手写签名数据。可以由云上或公司内的信息处理装置保持用户的手写签名数据。

进一步地，为了便于理解显示装置2的处理，例如图6A和图6B配置例根据主要功能而被划分。本发明不为处理单元的划分方式或名称所限制。显示装置2的处理可以根据处理内容被划分为更多的处理单元。此外，一个处理单元可以被进一步划分成包括更多的处理。

进一步地，此外，上述实施例的功能也可以通过一个以上的处理电路来实现。这里，“处理电路”包括被编程为通过软件执行各功能的处理器，例如在电子电路中实现的处理器、被设计为执行如上所述的各功能的设备，例如ASIC(Application SpecificIntegrated Circuit，专用集成电路)、DSP(digital signal processors，数字信号处理器)、FPGA(Field Programmable Gate Array，现场可编程门阵列)、以及常规电路模块。

根据以上教导，可以进行诸多额外的变形和变更。因此，应理解的是，在所附权利要求的范围内，本专利说明书的公开可以与本说明书中具体描述的方式不同地实施。如计算机领域的技术人员可以理解的，本发明可以使用根据本说明书的教导编程的常规通用数字计算机方便地实施。如对于软件领域中的技术人员显而易见的，熟练的程序员可以基于本公开的教导容易地准备适当的软件编码。如对相关领域的技术人员显而易见的，本发明也可以通过专用集成电路的制备或通过常规组件电路的适当的网络的互联来实现。

所描述的实施例的各功能可以由一个以上的处理电路来实现。处理电路包括编程处理器。处理电路也包括诸如专用集成电路(ASIC)的设备和被布置成执行所述功能的常规电路组件。处理电路被实现为微处理器的至少一部分。处理电路可以使用一个以上的电路、一个以上的微处理器、微控制器、专用集成电路、专用硬件、数字信号处理器、微型计算机、中央处理单元、现场可编程门阵列、可编程逻辑器件、状态机、超级计算机或其任意的组合来实现。此外，处理电路可以包括在一个以上的处理电路内可执行的一个以上的软件模块。处理电路可以进一步包括被配置为存储使处理电路执行功能的指令和/或代码的存储器。如果体现在软件中，则各个块可以表示模块、段或代码的一部分，其包括用于实现指定逻辑功能的程序指令。程序指令可以以包括以编程语言编写的人可读语句的源代码或包括可由诸如计算机系统或其他系统中的处理器的适当的执行系统识别的数字指令的机器代码的形式来体现。机器代码可以从源代码等转换。如果体现在硬件中，则各个块可以表示用于实现指定的逻辑功能的电路或多个互连电路。

本申请基于并要求2019年10月11日提交的日本在先申请第2019-188188号以及2020年10月6日提交的日本在先申请第2020-168992号的优先权，其全部内容通过引用包含于此。

Claims (17)

1.一种显示数据的显示装置，其中，

将在所述显示装置中绘制的手写数据的意思表示与所述手写数据相关联地记录。

2.根据权利要求1所述的显示装置，其中，

在显示的数据是手写输入起源数据的情况下，通过对所述数据的颜色信息进行黑白强调的方式显示所述数据，所述手写输入起源数据是通过手写输入到所述显示装置的笔画数据或使用识别从所述笔画数据转换的文本数据。

3.根据权利要求2所述的显示装置，其中，

所述显示装置是用黑白显示图像的电子纸。

4.根据权利要求2或3所述的显示装置，包括：

手写识别控制单元，其被配置为通过基于与触摸面板接触的输入单元的位置对所述手写数据实施手写识别来将手写数据转换为文本数据；以及

手写输入单元，其被配置为接收颜色的选择，其中，

在显示所述手写识别控制单元转换的文本数据的情况下，通过对所述手写输入单元接收到的颜色信息进行黑白强调的方式显示所述文本数据。

5.根据权利要求4所述的显示装置，其中，

所述手写输入单元接收字体的指定，并且

在显示所述手写识别控制单元转换的文本数据的情况下，通过对所述颜色信息进行黑白强调的方式显示所述文本数据，并且使用所述手写输入单元接收到的字体。

6.根据权利要求4或5所述的显示装置，其中，

保持其中用户的识别信息与颜色信息相关联的定义数据，并且

在用户已登录的情况下：通过对在所述定义数据中注册的颜色信息进行黑白强调的方式显示手写数据；或者显示从手写数据转换的所述文本数据。

7.根据权利要求4至6中任一项所述的显示装置，其中，

在将手写于所述触摸面板中的手写数据或由所述手写识别控制单元转换的文本数据保存在文件中的情况下，

将所述手写输入单元接收到的所述颜色信息转换为根据文件格式的颜色信息以进行保存。

8.根据权利要求7所述的显示装置，其中，

在将手写于所述触摸面板中的手写数据或由所述手写识别控制单元转换的文本数据保存在文件中的情况下，

将所述手写输入单元接收到的颜色信息转换为根据文件格式的颜色信息以进行保存，并将所述手写输入单元接收到的颜色信息附加到所述文件的元数据中。

9.根据权利要求4至8中任一项所述的显示装置，其中，

在将手写输入起源数据发送至输出对颜色信息进行黑白强调的所述数据的装置的情况下，发送所述手写输入起源数据。

10.根据权利要求4至9中任一项所述的显示装置，其中，

在将所述手写输入起源数据发送至彩色支持装置的情况下，将所述手写输入起源数据的颜色信息转换为所述手写输入单元已接收的所述颜色信息并进行发送。

11.根据权利要求4至9中任一项所述的显示装置，其中，

在将所述手写输入起源数据发送至黑白支持装置的情况下，将所述手写输入起源数据的颜色转换为所述手写输入单元已接收的所述颜色信息，或者，发送黑白的所述手写输入起源数据。

12.根据权利要求7或8所述的显示装置，其中，

在读取的文件中包括的数据是手写输入起源数据的情况下，通过对附在所述文件的元数据中包括的所述颜色信息进行黑白强调的方式显示所述数据。

13.根据权利要求12所述的显示装置，其中，

所述手写输入起源数据是文本数据。

14.根据权利要求12所述的显示装置，其中，

在读取的文件中包括的数据不是所述手写输入起源数据的情况下，通过将所述数据的颜色信息转换为灰度信息的方式显示所述数据。

15.一种彩色支持装置，该彩色支持装置显示：由根据权利要求1至14中任一项所述的显示装置保存的文件；或者从所述显示装置发送的文件，其中，

用彩色显示所述手写输入起源数据。

16.一种由显示数据的显示装置执行的显示方法，其中，

将在所述显示装置中绘制的手写输入起源数据的意思表示与所述手写数据相关联地记录。

17.一种程序，使显示数据的显示装置执行以下操作：

将在所述显示装置中绘制的手写输入起源数据的意思表示与所述手写数据相关联地记录。

Images