CN1317626C - 手写输入装置和手写输入方法系统 - Google Patents

Abstract

本发明的装置，以尽量与使用一般的纸和笔的通常的记笔记动作相同的作业感觉，可在计算机上进行填写文字的删除和追加、置换、强调等变更作业。将笔记者通常的笔记动作中使用的意味着删除的双划线和涂抹、意味着追加的山形或山谷形记号和箭头记号、意味着强调的包围线和下划线这样的记号与用于指定这些变更处理的开始和作为其对象文字的控制指令相对应，从笔记信息中自动地检测这些指令，自动地执行对应处理。此外，在与此时的变更对象文字的检测相关，利用所述文字识别方法中生成的文字截断信息，填写了双划线和包围线等控制记号时，求出所述文字截断信息和它们的控制记号的重叠程度，通过利用变更对象文字的判定，实现高精度的检测。

Description

手写输入装置和手写输入方法系统

技术领域

本发明涉及具有将手写文字和图形信息变换成电子数据的部件的电子笔和信息处理装置的信息输入方法，特别涉及对笔记的文字信息的删除、追加、置换、强调等转换为电子数据的方法和装置。

背景技术

作为向计算机信息输入的部件，一般是能向其输入文字和图形的键盘和鼠标器。但是，仍需要以人自然地‘书写’的方式来输入信息的部件。对应于这样的需要，通过利用电子笔来记笔记，取得笔的轨迹，在计算机上再构筑文字和图形，从而实现输入信息的部件已是公知的。

作为将人作笔记的文字和图形电子化输入到计算机中的手段，例如有以下方法：使用被称为图板的压敏式器件和用于在其上施加压力的被称为笔尖的笔形状的器具，通过笔尖在压敏式器件上写笔记，将在其上的笔尖的轨迹变换成电信号，作为文字和图形输入到计算机中，实现了作为面向PC和工作站、PDA(Personal Digital Assistant)产品的文字-图形输入部件。

作为将人作笔记的文字和图形输入到计算机的另一手段，有以下方法：使用配有取得红外线的反射光的摄像器件的电子笔和可以印刷该笔在纸上的特定位置的点图形的纸，通过该摄像器件对点图形进行摄影，将作笔记时的笔在纸上的移动位置、作为坐标序列来生成，然后作为文字和图形输入到计算机中(例如，参照专利文献1)。根据这些手段，在使用了配有笔记面上的位置检测功能的电子笔、以及图板等压敏式输入器件的手写信息输入，或者使用了电子笔和印刷了位置检测的特殊图样的用纸的手写输入中，电子笔或压敏式器件每隔某个固定时间间隔采集(1)图板和纸上的位置、(2)电子笔或图板表面上的笔压，以时间顺序输出这些位置、笔压信息，或同时输出时间信息。通过从这些(1)、(2)的信息中再现笔的轨迹，可将人‘写’在图板或纸上的文字和图形在计算机上生成其构造和形状信息。即，不是将人写的文字进行编码后保持在计算机上，而是作为图形信息来保持。

作为将人输入的文字信息保持在计算机上的方式，如果考虑到所谓的在计算机上的数据库检索的其后处理，则从作为笔的轨迹信息的文字变换为文字代码并在计算机上进行保持，但与在计算机上的处理的亲和性增加。在从该轨迹信息、即作为图形的文字变换到文字代码中，使用了文字识别处理。具体地说，已知以下方法：将按某个单位时间采样的笔的轨迹位置信息序列作为输入，将该笔的轨迹位置信息与预先对每个文字登录的某个位置信息的模板进行比较，将匹配性最高的模板的级别作为输入位置信息序列、即对应文字的识别结果。

通过使用至此所述的手段，可以实现将人作笔记的文字信息作为图形电子化输入到计算机上，或者进行编码后作为文件数据输入到计算机上的功能。

通过使用上述笔尖和图板那样的压敏式器件的手写输入部件，作为将文字和图形输入到计算机中的状况，例如有在PDA上工作的时间表管理软件。在将新的预定分配给PDA用户的场合，以及在已登录的预定中产生变更的场合，对于PDA使用笔尖，在其笔记面上记述表示时间、目的地、会面人这样的信息的文字列。

此外，通过使用了上述电子笔和印刷了用于位置检测的点图形的纸的手写输入部件，作为将文字和图形输入到计算机中的状况，例如有在市政厅窗口的电子申请。在市政厅中进行居民证交付的申请时，在准备好的申请书上记述申请人的姓名、日期、住所、目的等文字列。将记录后的申请用纸提交到窗口，同时将笔记信息通过电子笔传送到计算机，作为对市政厅的业务系统的输入。

而且，还可假设以下情况：对于相互分离的对方，为了知道彼此所处的地方，在纸上记述地图和通信文字，将其进行电子化后通过携带电话等工具发送给对方。

在任何情况下，笔记动作中的笔尖和电子笔的所有轨迹被作为位置信息来记录，所以笔记者作笔记的文字和图形都在作笔记的状态下被输入到计算机中。即，在笔记的途中写错文字时，写错的文字被电子化，并会保持在计算机上。

这里，对于上述情况，在图板上记载文字，在将其电子化的装置中，有通过包围线来指定纸面上的要删除的文字，在图板上触摸特别准备的按钮，从而删除上述包围线内侧的文字的方法(以下称为现有方法A)(例如，参照专利文献2)。

【专利文献1】

国开公开第00/73981册

【专利文献2】

特开2001-147779号公报

【非专利文献1】

森健一监修、社团法人电子信息通信学会编著‘图形识别’(1988年11月1日初版、发行所：社团法人电子信息通信学会)

但是，在上述现有方法A中，在用包围线指定了要删除的文字列后，通过触摸在图板上的特定场所中准备的删除按钮来进行文字的删除。但是，笔记者会用另外途径输入删除处理起动的控制信息。另一方面，在笔记者在申请用纸上进行了记载的状况下，在途中进行填写内容变更等时，例如将双划线重叠书写在删除对象的单词上，在强调的情况下一般是用包围线来包围强调对象的文字列。即，现有方法A对于笔记者来说，除了通常的笔记动作以外，会增加新的作业。因此，存在例如对于窗口申请系统等难以对笔记者进行事先教育适应其要求的问题。

此外，在上述现有方法A中，仅提供删除。一般在申请书和时间表上进行填写时，不仅进行写错的文字的删除，还有追加填写新文字的情况。此外，还有为了对于记载的内容进行补充而以评论和注释的形式追加新文字的情况。这样的情况下，现有方式A对于已经填写的文字通过对包围线进行扫描，仅指定删除等处理的对象文字。因此，由于不能进行追加填写的文字的提出等，所以不能对应文字的追加。此外，在错误填写时，有删除该写错的文字，进行再填写正确的文字这样的置换的情况。而且，对于所有记述的文字，有用下划线进行强调的情况。在上述现有方法A中，存在不能对应这样的追加、置换、强调的问题。

而且，在上述现有方法A中，没有明示关于检测删除对象的笔轨迹的方法，所以例如在删除对象的文字和不是删除对象的文字重叠时，存在不能用包围线指定删除区域的问题。现有方式A以印刷的文字作为删除文字的对象，所以不能使用文字接触等获得的手写的文字列。

发明内容

鉴于上述问题，本发明的第一目的在于提供一种手写输入装置，使用有与使用一般的纸和笔进行通常的笔记动作相同的作业感觉的图板或电子笔。在利用图板和电子笔的手写输入方法中，可以提供以下方式：在进行记载的文字变更时，笔记者不增加按压按钮这样的特别动作，而通过自动地识别双划线和下划线这样的以往对纸进行填写时使用的笔记动作，开始变更作业。

此外，本发明的第二目的在于提供一种手段，可以对填写内容进行删除、置换、强调的填写内容的变更，保存这些变更作业的历史。笔记者填写的手写输入，从图象信息转换为编码信息后，笔记者记载的环境，即在图板和印刷了可进行位置检测的图案的纸上，如果进行所述订正、追加、强调，则对于其结果即被进行编码的计算机上的信息也进行反映和管理。

而且，本发明的第三目的在于提供一种手段，能高精度地检测成为填写内容变更对象的文字。

对以上内容进行整理，本发明的目的在于提供一种手段，它能对于笔记者在图板或用纸上记载的文字和图形，自动地检测控制从其中自动地删除、追加、置换、强调等的在计算机上处理的指令，自动地执行对应的处理。

在本申请公开的发明中，代表性的发明如下。一种手写输入装置通过网络连接到可以输出填写面上的填写位置信息和取得的该信息时间信息的数字笔，它包括控制部件和显示部件及存储部件，存储部件存储多个控制记号，所述控制部件控制以下步骤：从所述数字笔得到的填写位置信息中提取所述控制记号；判定其类别，执行对应存储的处理；以及使用所述执行后的填写位置信息将对所述填写面的填写显示在所述显示部件上；特别是也控制有关所述填写位置信息的删除、追加、变更等。而且，还包括数字笔和服务器等。

还提供以下追记方法：从数字笔得到的信息中提取所述追记场所指定记号，检测追记场所和追记信息的开始及结束的指定信息，将所述开始指定信息的取得时间和所述结束指定信息的取得时间之间取得的所述填写位置信息作为追记信息来提取，并在所述追记场所前后的填写位置信息之间插入所述追记信息后再现对填写面的记载。

附图说明

图1表示电子笔的位置检测的原理说明。

图2A表示用于电子笔的纸上位置检测的装置例。

图2B表示用于电子笔的纸上位置检测的信息流动例。

图3表示电子笔的申请用纸记载内容电子化的概要。

图4表示手写输入方法中的删除、追加、变更、强调处理的概要。

图5表示文字识别流程。

图6表示有控制记号的文字识别处理流程。

图7表示控制记号的例子。

图8A表示强调控制记号的放大例。

图8B表示强调控制记号的放大例。

图8C表示强调控制记号的放大例。

图8D表示强调控制记号的放大例。

图9A表示删除对象文字提取处理的一例。

图9B表示删除对象文字提取处理的一例。

图9C表示删除对象文字提取处理的一例。

图9D表示删除对象文字提取处理的一例。

图10表示删除对象文字提取处理流程的一例。

图11表示追加文字的填写方式的例子。

图12表示追加文字图形提取处理流程的一例。

图13表示本实施例中的装置结构。

图14A表示置换处理时的纸面状态的图。

图14B表示置换处理前的状态的显示例。

图14C表示置换处理前和后的状态的显示例。

图14D表示置换处理后的状态的显示例。

图15A表示填写图例的例子。

图15B表示笔划数据构造的例子。

图16A表示删除填写图例的例子。

图16B表示删除处理前的笔划数据构造的例子。

图17表示删除处理后的笔划数据构造的例子。

图18A表示置换填写图例的例子。

图18B表示置换处理后的笔划数据构造的例子。

具体实施方式

以下，说明本申请的概要。

在本申请的实施中，为了对于笔记者填写的文字的删除、追加、置换、强调的变更转换为电子化数据，必须区别通过笔记时的笔尖和电子笔在图板或纸上的移动所生成的笔划是通常文字还是填写内容的变更对象。

而且，根据从图板或电子笔这样的输入部件向处理装置传送的笔轨迹的位置数据序列、笔记位置信息来构筑相当每一笔的笔记的笔划数据、以及作为笔划集合的部分行数据。在所述控制指令中，被删除、追加、置换、强调的开始和结束的指令截断的部分行数据可作为这些变更的对象来区别。对于部分行数据，准备进行区别变更前、变更后的对象的标记和取得与变更前及变更后的部分行数据对应的指示器。这样，通过保留变更的历史，可以进行在显示器等显示装置上仅显示变更后的文字，或显示变更前和变更后的文字两者的切换。

为了笔记者一边书写文字，同时不进行按压按钮等特别的处理，自动地检测删除、追加、置换、强调这样的变更处理的开始、结束并检测起动处理的控制指令，通常在笔记者在纸上记笔记时，将用于进行删除和置换使用的双划线和涂抹、用于进行追加使用的山形或山谷形记号和箭头记号、用于强调使用的包围线和下划线这样的记号与变更处理的开始和用于指定作为其对象的文字的控制指令相对应。此外，将双重斜线和读点等与用于指定所述变更对象的文字列的结束的控制指令相对应。或者也可根据与连续笔记的笔划间的距离和笔记时间有关的信息，自动地生成上述结束控制指令。

为了检测与这些控制指令对应的记号(将它们称为控制记号)，准备来自笔划数据序列的文字估计功能、基于形状的控制记号的识别功能、删除、追加、置换、强调的变更类别判别功能和变更对象文字估计功能、以及变更部分行数据间对应功能。

来自笔划数据序列的文字估计功能披露于特开平11-96288，该功能是在横写时，仅将保证笔划数据的纵方向位置均匀性的笔划作为一行来进行成组化。由此，可以估计文字行的上端和下端的位置。

基于形状的控制记号的识别功能和变更类别判别功能根据笔划的形状来识别连续的笔划序列是不是预定的控制记号，鉴别该序列对应于哪个处理的记号化。在进行形状的识别前，对于从通过所述文字行估计功能估计的文字行的上端和下端逸出的笔划，判断为具有山形记号和下线的可能性。而如果在该笔划的位置上存在所有文字行的组成部分、即判断为文字的笔划，则判断为有双划线的可能性。就形状的识别来说，例如可通过文献“Handbook of Character Recognition and Document ImageAnalysis”(H.Bunke、P.S.P.Wang、World Scientific社，1997年)中披露的将形状的轮廓线方向作为特征量的文字识别方法来实现。

变更对象文字估计功能根据在上述控制记号识别功能中检测出的控制记号存在的位置，仅将在该位置存在的文字组成部分看成变更处理的对象。例如，在置换时构成通过双划线上写的笔划集合构成的部分行数据，将其作为置换前的文字列。从控制记号之后直至接续后述的结束控制记号的笔划构成部分行数据，将其用作置换后的文字列。通过变更部分行数据间对应的功能来进行这些置换前和置换后的部分行数据的对应。对于追加来说，也可按同样的步骤来实现。即，对于通过控制记号识别功能检测出的山形记号之后的位置，接续山形记号笔记的笔划构成追加对象的部分行数据。对于这部分行数据，在山形记号的前后位置的部分行数据之间插入新追加的部分行数据。

由此，不按压在图板或纸上的特定场所设置的按钮，将删除、追加、置换、强调的变更处理转换为电子化数据，可保存其历史。

这样，除了将笔记者在图板和纸上书写的文字和记号的一部分称为通常的文字和记号的意义之外，通过作为笔记信息的电子化的特殊的控制指令进行解释，在电子化处理或电子化后的计算机上的处理中，可执行与指令对应的处理。

关于此时的变更对象文字的检测，利用所述文字识别方法中生成的文字截断信息，在填写了双划线和包围线等控制记号时，求出所述文字截断信息和这些控制记号的重合的程度，通过采用变更对象文字的判定，来实现高精度的检测。

作为本发明的手写输入方法的实施方式的例子，下面论述关于在市政厅和通信销售等中的申请书类的电子数据化。作为这里的手写输入用的部件，已知有图板和笔尖、或印刷了位置检测用图案的纸和安装了用于取得书写时该图案的图像的摄像部件的电子笔等。这里，举例说明后者的带有位置检测的印刷的纸和电子笔。作为这样的输入部件的例子，已在国开公开第01/71473册公开。

本实施例的装置结构示于图13。填写者使用的物品是电子笔1301和纸1302。电子笔通过通信装置1304与文字输入终端1305进行通信。作为该电子笔和通信装置间的通信手段，可利用蓝牙(Bluetooth)和红外线等无线通信手段、USB和IEEE1394等有线通信手段。该文字输入终端通过网络1303与笔记位置检测装置1306、文字识别装置1307进行通信。网络的形态可采用因特网和LAN等各种形态。此外，也可以用一个装置来实现文字输入终端和笔记位置检测装置、文字识别装置的任何组合。以上的结构是本实施例的装置结构。笔记位置检测装置1306在存储部件中存储上述笔的ID代码和上述填写面的ID代码，根据来自上述笔的信息对笔和填写面进行指定，将该填写面的信息传送到上述计算机。

下面论述上述电子笔的位置检测原理。该原理通过国开公开第00/73983册的论文被明确地表示。下面使用图1说明该电子笔的位置检测原理。101是电子笔，102是取得在纸上印刷了位置检测用图案的图像的摄像部件。在纸103上非均质地散开印刷有小点104。该点从假设的格线105的交点起上下左右的任何一个仅错开某个距离来印刷，在多个、例如10×10范围内同时参照该点，组合这100个点的上下左右错开值就成为对应宽大平面区域的绝对位置信息的结构。即，通过配在电子笔上的摄象机102按固定的时间间隔采集包含上述多个点的点图形范围的图像，可鉴定在上述错开组合的空间上的位置。

实际上，与求出在上述错开组合的空间上的绝对位置相比，使用各自纸上的相对位置是实用的。存在用于进行这样的变换的笔记位置检测装置。该装置保持预先纸的某个位置占有上述错开组合的所有空间内的哪个部分的信息，将上述空间内的绝对位置作为输入，将纸上的某个相对位置作为输出。用包含本装置的电子笔能在纸上生成位置信息的装置的结构例子示于图2(A)，其中的信息流动示于图2(B)。有关这方面的内容记述于国开公开第01/48678册。

电子笔201和文字输入终端203之间通过通信装置202进行无线通信连接。从电子笔输出的上述绝对位置的数据通过有线或无线网络204输入到笔记位置检测装置205，在那里变换成以该纸作为基准的相对位置的表现形式，并被输出到文字输入终端。再有，笔记位置检测装置也可以安装在文字输入终端上。

下面论述通过具有上述结构的手写输入装置对记载在市政厅等中的申请用纸上的信息进行电子化。

目前，在市政厅等中进行申请手续时，通常在大厅中设置的各种申请用纸的填写台上，申请者使用笔记用具在该申请用纸上填写必要事项。填写完成后将申请用纸拿到窗口，提交给工作人员。工作人员根据申请用纸上记载的信息进行规定的业务。此时，在将记载内容电子化时，通过用键盘打字进行输入，或使用OCR(光学式文字读取装置)采集申请用纸整体的图像，识别其中包含的文字。

在将本发明的手写输入方法应用于申请书的电子化业务时，用印刷了用于所述位置检测的点的纸来制作申请用纸，作为笔记用具使用电子笔。即，在图3中，将电子笔301和印刷了所述点的申请用纸302设置在填写台上，申请者使用电子笔301在申请用纸302上记载必要事项。在申请者用电子笔进行填写期间，申请纸上的电子笔的轨迹作为位置信息序列被存储在电子笔内。在填写结束的时刻按规定的方法将其发送到位于窗口内的手写输入终端303。在手写输入终端的显示部中如上所述，根据来自电子笔的数据，进行从申请用纸上的点的错开组合空间的绝对位置信息变换成申请用纸上的相对位置信息的变换处理，其结果，将申请者作笔记的文字和图形显示在手写输入终端的显示画面上。

对于手写输入终端303接收的文字和图形信息、即笔划数据的集合采用文字识别处理，在进行编码后可以存储在手写输入终端内。由此，可进行下个业务处理、例如对数据库的查询和对申请受理处理的输入。下面说明该文字识别处理(图5)。

首先，输入时间序列笔记位置信息，形成笔划数据(步骤501)。然后，根据笔划数据对文字行进行估计，形成假定文字行(步骤502)。通过在各假定文字行中执行文字截断504，将假定文字行内的笔划数据分割成构成各文字的笔划的部分集合。将该分割后的笔划的集合称为文字图形。对于各文字图形，执行文字识别506，获得文字识别结果。最后，根据各文字图形的文字识别结果，进行核对是否是形成作为记载的文字列意义的文字列(步骤507)，并输出其结果(步骤508)。图15A的填写图像的笔划数据的存储方法的例子示于图15B。所有笔划数据通过所有行信息1502、行组成部分信息1503、笔划信息1504、位置信息1505的四个表来分层管理。所有行信息是对图5的步骤502中形成的各行进行管理的表，对各行信息的连接线进行扩张。在本填写例中为1行，所以行信息仅有一个。行组成部分信息1503是管理构成行的元素(行组成部分)的信息的表，对笔划数、对笔划开头的连接线、行组成部分的属性、文字识别结果的文字代码、对下个行组成部分的连接线进行管理。在属性中，有Visible(通常组成部分)、Command(控制记号组成部分)、Delete(删除对象组成部分)、Emphatic(强调对象组成部分)等。在笔划开头，对构成该行组成部分的笔划的连接线进行扩展。在本填写例中，笔划信息1504的1～3号的笔划是行信息1503的对应笔划。在各笔划中，将对构成笔划的标本点的连接线作为位置数据来管理，可以参照位置信息1505。此外，就笔划的属性来说，有Normal(通常)、Command(控制记号)。以上是本实施例中的笔划的存储方法。

这里，说明通过本发明可实现的填写内容的(a)删除、(b)追加、(c)置换、(d)强调的各变更处理。首先，表示本实施例中使用的控制文字(图7)。这些控制记号与使用一般的纸和笔的推敲文件等中使用的控制记号相同。

再有，图7所示的记号是例示，除此以外，用户也可以单独规定。这种情况下，按照与控制记号的形状对应的动作的组成的形式，登录在文字识别装置的存储部件中。或者，例如在电子笔中设置按钮，使用其通/断信息也可以。

作为删除控制记号，使用所示的多划线(也包含单划线)701、涂抹702。而作为追加控制记号，使用山形(山谷形)703和箭头记号704。箭头记号跨行填写也可以。作为强调记号，可使用包围框705、下划线705。

下面，使用图4说明填写内容的(a)删除、(b)追加、(c)置换、(d)强调的各变更处理的概要。

首先，对于填写内容的删除来说，如图4(a)所示，例如对于错误填写在申请用纸上的文字‘町’，如果申请人注意到写错，则在申请用纸上用意味着删除‘町’的双划线403进行划掉。然后通过规定的手续将笔记信息从电子笔401传送到手写输入终端404后，在手写输入终端的显示画面上显示删除后的文字信息。此时，删除前的信息还保持在手写输入终端的内部，也可以根据需要来显示删除前的文字列。

下而使用图4(b)论述新文字列的追加。对于申请用纸上记载的文字‘千代田区神田’，在‘神田’后追加‘南町’这样的文字列时，在申请用纸上‘神田’末尾的上部作レ点记号405的笔记，在其附近写上‘南町’406这样的文字。按照规定的手续将电子笔内的笔记信息传送到手写输入终端后，在手写输入终端的显示画面上，显示追加后的文字图像407。也可以包含レ点显示填写在申请用纸上的原来的状态。

就置换来说，如图4(c)所示，如果申请者注意到写错了申请用纸上记载的某个文字、例如‘33年’这样的文字，则用双划线408在申请用纸上划掉‘33年’的部分，然后作正确的‘44年’这样的文字列的笔记。通过规定的手续将笔记信息从电子笔传送到手写输入终端后，在手写输入终端的显示画面上显示置换后的文字图像410。此时，置换前的信息也保持在手写输入终端的内部，也可以按照需要同时显示置换前的文字列。例如，在进行图14A所示动作时，可以进行置换前(图14(B))、置换前+后(图14(C))、置换后(图14(D))的显示。

下面用图4(d)来强调论述填写后文字列。在要强调申请用纸上记载的文字列、例如‘千代田区’时，在申请用纸上填写可包围‘千代田区’的包围线411。按照规定的手续将电子笔内的笔记信息传送到手写输入终端后，‘千代田区’部分被强调显示，例如强亮度显示412。

下面，论述实现对于手写输入的上述那样的删除、追加、置换、强调的具体处理步骤(图6)。首先，输入时间序列笔记位置信息，形成笔划数据(步骤601)。然后根据笔划数据对文字行进行估计，形成假定文字行(步骤602)。通过在各假定文字行中执行文字截断604，将假定文字行内的笔划数据分割成构成各文字的笔划的集合的文字图形。

对于各文字图形，首先进行控制记号检测606。在该步骤中使用在文字识别装置的存储部件中登录的控制记号的形状。如前面所述的那样，在该存储部件中，按照各控制记号的形状和与其对应的动作的组进行登录，所以在检测出控制记号时，可以取得与其对应的动作。

在控制记号检测中，在检测出控制记号时，如果该控制记号首先是表示强调的控制记号，则提取强调的对象的文字(步骤609)，执行文字强调610。

而如果检测出的控制记号是表示删除的控制记号，则提取删除对象的文字(步骤612)，执行文字删除613。

然后，在检测出的控制记号是表示追加或删除的记号时，执行步骤615以下的文字追加处理。这里，不仅追加的控制记号，而且删除控制记号也作为文字追加的起动条件的原因在于，与文字置换处理相对应。即，在文字置换时，在双划线等删除控制记号的填写后紧接着填写追加文字，可以将文字置换处理看成文字消除处理+文字追加处理。

在文字追加处理中，首先根据追加控制记号位置来确定追加位置(步骤615)，提取追加文字图形(步骤616)。有关该步骤616的细节在后面说明。然后，对各追加文字进行文字识别(步骤617)，执行文字追加618。顺便说明一下，在文字置换时，删除控制记号的位置成为文字追加的位置。

另一方面，在控制记号检测605中未检测出控制记号时，将该文字图形进行文字识别619而获得文字识别结果。最后，根据各文字图形的文字识别结果，进行核对是否是形成记载的意义的文字列(步骤620)，输出其结果(步骤621)。

所述删除对象文字和强调对象文字的检测处理可以基本上按相同的方法来实现。这里，说明用双划线指定删除文字时的着眼于在文字外接矩形的中心点的删除对象文字提取方法的一例(图9A～D、图10)。首先，输入901，执行文字行提取、文字截断，可获得902所示的文字图形。对于该各文字图形执行文字识别而得到文字识别结果，即得到‘春是曙光’这样的文字列。这里，笔记者填写了删除控制记号的双划线905。此时在本发明方法中，执行删除对象文字的提取处理。首先，对于各文字图形，求出中心点909(步骤1002)。从得到的中心点的集合中按照最小2乘法进行直线近似，计算文字列的轴910(步骤1003)。对于该文字列轴910，通过从双划线(905)的两端点落下垂线(907、908)来确定删除文字区域的两端(步骤1004)。这里，对于各文字图形，如果其中心点被包含在删除文字区域内，则该文字图形作为删除对象进行登录(步骤1007)。最后输出删除对象文字(1008)。这样，提取删除对象文字。

再有，在本实施例的变更对象文字的检测中，使用了文字图形外接矩形的中心，但也可以使用例如构成文字的黑像素的中心、以及文字图形外接矩形重叠在所述删除文字区域中的部分的面积比等进行取代。在填写追加文字的方式中，考虑了图11所示的4个主要方式。以下说明各方式的追加文字图形提取处理(图6的步骤616)的流程。

首先，在第1方式(a)中，在纸面上设置追加文字用的特别区域，利用该区域。由于是专用区域，所以追加文字图形的提取容易，但该特别的填写方法将强加给其笔记者。

在第2方式(b)中，是用包围线指定追加文字的类型。追加文字图形的提取可以利用与所述的强调对象文字的检测方法相同的方法。

第3方式(c)在追加文字结束时，记下双划线等结束记号。追加文字的开始位置从山形记号和箭头记号等追加控制记号的位置和填写时间信息中检测。因此，可以检测追加文字的开始、结束位置，可进行追加文字图形的提取。

第4方式(d)是在追加文字结束时不特别填写任何记号。这种情况下，作为产生追加文字结束的信息，可以利用换行，所以可进行追加文字图形的提取。该方式情况下，也可以不填写追加控制记号和追加文字以外的记号，由于最接近通常的纸上校正，所以期望追加文字图形提取处理(图6的步骤616)最低限度应对应于本方式。与该第4方式(d)对应的追加文字图形提取处理流程的一例示于图12。

这里，考虑强调处理的扩展。具体地说，在填写强调控制记号时，显示有关追记笔记者希望的强调记号的方式。如图8A～D所示，例如如果用加括弧直接填写希望的强调的记号，则通过对其进行解释，可进行具有更多变动的强调处理。作为具体的处理步骤，在是图6的控制记号的文字识别处理流程中，在步骤609的强调对象文字提取前，进行表示强调记号的文字图形的提取处理和该文字识别处理，然后根据该文字识别结果来执行核对强调记号的强调记号核对处理就可以。此外，通过分开使用强调控制记号来指定强调的记号也可以。

下面说明执行以上的填写内容的变更处理时的笔划数据的存储方法。例如，对于图16A所示的填写图像中的删除时，使用删除处理前的图16B和删除处理后的图17来说明。在删除处理前(在图16B)中，行组成部分为1个，属性为Visible(通常组成部分)。在执行了前面说明的填写内容的变更处理(图6)后，为识别出作为删除的控制记号的双划线，所以数据构造如图17那样变化。即，图16B的行组成部分信息1603被二分成构成文字的行组成部分1703、删除控制记号的行组成部分1704。前者为删除对象，所以属性为Delete，后者是控制记号，所以为Command。而且，在图18A所示的置换时，随着置换，成为具有属性Correct的追加了新的行组成部分1806的构造(图18B)。通过这样的存储方法，可以包括性地使用变更处理前后的笔划数据，可获得图14B～D所示的多样的显示方式。

还有，在本实施例的装置结构中，可将笔记者和手写输入终端(图3的303等)分离配置。这种情况下，存在笔记者不能确认自己的填写内容变更结果的问题。因此，最好是设置以下部件：例如在申请填写台上设置与手写输入终端的显示部相同的进行显示的显示器，同时设置意味着笔处于变更中的标记，在识别出双划线等控制记号时点灯，根据该控制记号执行的处理正常结束时，熄灯和笔本身振动来通知笔记者。这种情况下，由于需要从文字识别装置向电子笔传送信号，所以必须双向进行图13中的电子笔1301和通信装置1304之间的通信。

此外，从安全感的观点来看，在市政厅等中的申请书提出系统中应用了使用图板和电子笔的手写输入部件的情况下，在确认了申请者是受益者本人或申请者是本人后，需要受理申请书的提出。即，在没有本人的记载等判定为不应该受理申请书的情况下，必须进行将申请者作笔记的文字信息电子化的数据输入到市政厅内部的业务系统。作为其实现的一个方法，有以下方法：对于具有可以鉴定笔记者的署名等个人特征的性质的文字列，通过将该文字列电子化并进行本人认证，判断笔记者填写的文字列，或笔记者填写的文字列所表现的请求的有效性。由此，例如对于记载于纸上特定位置的笔记者本人的姓名，进行与预先登录的署名的核对，如果认定为本人，则作笔记信息的电子化，或进行计算机上的对数据库的查询处理这样的处理，如果没有认定为本人，则中止笔记信息的电子化，或可进行不同的处理，使得不允许计算机上的对数据库的查询。作为姓名的文字列是否为本人的署名的核对方法，可以利用特开平7-302340的方法。

如上所述，根据本发明，在基于图板和电子笔的填写部件中，按照与使用一般的纸和笔进行通常的笔记动作相同的作业感觉，可以自动地执行与填写文字的删除、追加、置换、强调等填写内容变更有关的计算机上的处理。

Claims (13)

1.一种手写输入装置，连接到可以输出填写面上的填写位置信息和该信息取得时间信息的数字笔，其特征在于：

所述手写输入装置具有控制部件和显示部件及存储部件；

所述存储部件存储多个控制记号；

所述控制部件控制以下步骤：

从所述数字笔得到的填写位置信息中提取所述控制记号；

判定所述控制记号的类别，执行对应存储的处理；以及

使用所述执行后的填写位置信息将对所述填写面的填写显示在所述显示部件上；

其中所述存储的处理至少包括对于所述填写位置信息的置换和追记；而且

其中通过所述置换和所述追记新输入的内容，由结束记号、换行记号和所进行的处理中的填写时间信息来确定。

2.一种手写输入装置，连接到可以输出填写面上的填写位置信息和该信息取得时间信息的数字笔，其特征在于：

所述手写输入装置具有控制部件和显示部件及存储部件；

所述存储部件存储了手写在填写面上的文字行信息和多个控制记号；

所述控制部件控制以下步骤：

从所述数字笔得到的填写位置信息中提取所述控制记号；

判定所述控制记号的类别，执行对应存储的处理；以及

使用所述执行后的填写位置信息将对所述填写面的填写显示在所述显示部件上；

其中所述存储的处理至少包括对于在所述填写面上输入的文字行的删除和追记；而且

其中通过使用在文字行中的文字图形外接矩形或者黑像素与所执行的处理中的所述控制记号之间的位置关系，确定文字行中为了所述删除和所述追记而删除的目标文字。

3.如权利要求1所述的手写输入装置，其特征在于，所述控制部件还控制以下步骤：

从所述数字笔得到的填写位置信息中获取对填写面上的记载的轨迹信息；

从所述轨迹信息中提取文字行；以及

从所述文字行中截断文字图形。

4.如权利要求2所述的手写输入装置，其特征在于，所述控制部件还控制以下步骤：

从所述数字笔得到的填写位置信息中获取对填写面的记载；

从所述轨迹信息中提取文字行；以及

从所述文字行中截断文字图形。

5.如权利要求4所述的手写输入装置，其特征在于，根据指定所述删除的所述控制记号和所述文字图形的重合情况来确定所述删除处理的对象。

6.如权利要求4所述的手写输入装置，其特征在于，所述控制部件还控制进行所述文字图形的文字识别的步骤。

7.如权利要求5所述的手写输入装置，其特征在于：所述控制部件还控制进行所述文字图形的文字识别的步骤。

8.一种手写输入装置，连接到可以输出填写面上的填写位置信息和该信息取得时间信息的数字笔，其特征在于：

所述手写输入装置具有控制部件和显示部件及存储部件，

所述存储部件存储追记场所或置换场所的指定记号；

所述控制部件控制以下步骤：

从所述数字笔得到的填写位置信息中提取所述追记场所或者置换场所的指定记号，并判别追记场所或者置换场所；

从所述填写位置信息中检测所述追记信息的开始和结束的指定信息或者所述置换信息的开始和结束的指定信息；

将所述填写位置信息作为追记信息或者置换信息提取，其中所述填写位置信息是在所述追记信息的开始的指定信息的取得时间和所述追记信息的结束的指定信息的取得时间之间，或者所述置换信息的开始的指定信息的取得时间和所述置换信息的结束的指定信息的取得时间之间取得的；

在所述追记场所前后的填写位置信息之间插入所述追记信息，或者在所述置换场所插入所述置换信息；以及

从所述插入后的填写位置信息中获取关于在所述填写面上的填写的信息，并允许所述显示部件显示该记载。

9.如权利要求8所述的手写输入装置，其特征在于，所述控制部件控制以下步骤：

从所述填写位置信息中提取与所述填写面上的规定区域对应的信息并且将该提取的信息作为追记信息或者置换信息的步骤，来代替从所述填写位置信息中检测所述追记信息的开始和结束的指定信息或者所述置换信息的开始和结束的指定信息的步骤以及提取所述填写位置信息作为追记信息或者置换信息的步骤，

其中所述填写位置信息是在所述追记信息的开始的指定信息的取得时间和所述追记信息的结束的指定信息的取得时间之间，或者所述置换信息的开始的指定信息的取得时间和所述置换信息的结束的指定信息的取得时间之间取得的。

10.如权利要求1所述的手写输入装置，其特征在于，所述控制记号是所述数字笔的通/断信息、对应所述填写面上的规定区域的填写位置信息、或形成规定的记号的填写位置信息的任何一个。

11.一种手写输入方法，其特征在于，包含以下步骤：

取得填写面上的填写位置信息和该信息取得时间信息；

从所述填写位置信息中提取存储在存储部件中的控制记号；

根据所述控制记号，把所述填写位置信息的至少一部分与新取得的填写位置信息结合；

从所述结合步骤后的填写位置信息中获取关于在填写面上的填写的信息；以及

将更新之后的关于在填写面上的填写的信息显示在显示部件上；

其中根据所述填写位置信息的填写时间信息，指定作为结合目标的所述新取得的填写位置信息。

12.一种手写输入系统，具有：可以将填写面上的填写位置信息与该信息取得时间信息一起输出的数字笔；以及与该数字笔连接的计算机；其特征在于，所述计算机是权利要求1所述的手写输入装置。

13.如权利要求12所述的手写输入系统，其特征在于，所述手写输入系统还包括服务器，该服务器在存储部件中存储所述笔的ID代码和所述填写面的ID代码，根据来自所述笔的信息来指定笔和所述填写面，将该填写面的信息传送到所述计算机。

Images