CN103136527A - 图像处理设备及方法 - Google Patents

Abstract

公开了图像处理设备及方法。图像处理设备包括接收单元、确定单元、笔迹分离单元、图像产生单元、图像识别单元、和输出单元。接收单元接收笔迹信息。确定单元基于所述笔迹信息确定第一笔迹和第二笔迹是否彼此重叠。第一笔迹由第一笔迹信息表示，第二笔迹由第二笔迹信息表示。当确定单元已确定第一笔迹和第二笔迹彼此重叠时，笔迹分离单元通过改变第一笔迹信息中包括的第一笔迹位置或第二笔迹信息中包括的第二笔迹位置将第一笔迹与第二笔迹分离。图像产生单元根据所述分离而获得的笔迹信息、以及与已经被确定为不与另一笔迹重叠的笔迹有关的信息产生图像。图像识别单元对所产生的图像进行识别。输出单元输出图像识别单元获得的识别结果。

Description

图像处理设备及方法

技术领域

本发明涉及图像处理设备和图像处理方法。

背景技术

已经提出了多种用来识别笔迹信息的技术。

关于这些技术，例如，在日本未审查专利申请公开第10-091727号中，公开了这样的一种技术，其旨在缩短在线手写文字识别中识别所需要的时间而不降低识别率。在该技术中，从与一个输入文字对应的墨水数据提取特定笔划图案；确定提取的笔划图案在所有输入笔划的时间顺序中出现的位置，即笔划图案的出现位置；根据上述出现位置缩窄要搜索的识别字典的范围；基于墨水数据的特征量在缩窄的范围内对识别字典进行搜索；以及将通过手写文字的识别获得的候选文字输出。

例如，在日本未审查专利申请公开第08-297720号中，公开了一种设备，其旨在防止其中将线识别为文字的错误识别，以及防止输出错误识别结果。在该设备中，当文字识别单元获得了由候选文字和距离值构成的组时，该文字识别单元向易于在将线错误地识别为文字串时而获得的候选文字添加线检查标记；简化的线形成单元针对每一个候选文字组在从第一候选文字到预定距离内存在的候选文字的范围内确定已经添加了线检查标记的候选文字的数量；当存在大量具有检查标记的候选文字时，就假定在这些文字位置处，已经将线错误地识别为文字串；当被假定为已经通过将线错误地识别为文字串而获得的文字连续出现，并且这些文字的数量大于一定数量时，以线代码来替换该连续文字串中的每个文字；然后，除已被线代码替换的文字以外的候选文字被输出至单词匹配单元。

例如，在日本未审查专利申请公开第2001-184458号中，其目的在于提供一种文字输入装置，该文字输入装置准确识别重叠手写的手写文字。在该装置中，笔划匹配单元根据笔划相对于输入框的起点及终点区域以及定向来获得关于手写输入文字的笔划的笔划信息，并将该笔划信息与登记在笔划字典中的笔划信息进行匹配，以检测笔划候选；以及时间分段文字检测单元利用其中逐文字地登记了各笔划组合的笔迹字典来从笔划候选的序列中检测文字候选。相应地，可以准确识别在一个输入框中重叠手写的各文字。

例如，在日本未审查专利申请公开第09-022443号中，其目的是提供一种在线手写文字识别方法，其对具有任意数量的笔划或按照任意笔划顺序所写的文字和变形的输入文字具有高识别能力，以及其使得能够减小字典尺寸和处理时间。在该方法中，第一功能块基于从第二功能块输入的、具有校正的笔划数量并以校正的笔划顺序所写的多个文字图案来计算各笔划终点的平均位置坐标；利用与各笔划的起点和终点对应的位置候选来表达标准图案，并将其预先存储在第三功能块中；利用与各笔划的起点和终点对应的位置候选来表达从第二功能块输入的输入图案，并将其存储到第四功能块中；第五功能块确定该输入图案与标准图案在起点、终点和笔划方面的对应关系；第六功能块根据从这些对应关系获得的距离和来计算图案间距离；然后，图案间距离重排列功能块按照图案间距离的升序将各标准图案的文字类别作为识别候选进行输出。

例如，在日本未审查专利申请公开第06-124364号中，其目的是提供一种文字分割装置，其通过实现文字分割特征的适当组合以使得能够连续书写文字串并且易于校正文字分割中出现的失败，来给用户施加很轻的负担。在该装置中，基本分割段提取单元从通过输入单元输入的笔迹数据来提取基本分割段；笔划组提取单元提取各笔划的多个组，其中每一个笔划组由各基本分割段的组合构成；网络配置单元配置其中将各笔划的组看作节点并且将这些节点彼此链接的网络；通过将笔划组提取单元提取到的每个笔划组作为文字进行评价而获得的评价值被看作节点的权重，并且通过将多个笔划组作为文字串进行评价而获得的评价值被看作链路的权重；然后，文字分割位置确定单元在网络配置单元配置的网络中进行路径查找，以确定文字分割位置，从而获得各文字分割特征的适当组合。

发明内容

本发明的一个目的是提供一种信息处理设备和一种信息处理方法，其中，在对基于笔迹信息产生的图像进行笔迹识别的情况中，当多条笔迹彼此重叠时，相比于未采用根据本发明一个方面的构造的情况相比减少了识别错误。

为了实现上述目的，本发明的要点包括在本发明的以下方面中。

根据本发明的第一方面，提供了一种图像处理设备，其包括接收单元、确定单元、笔迹分离单元、图像产生单元、图像识别单元、和输出单元。接收单元接收笔迹信息。确定单元基于接收单元接收到的笔迹信息确定第一笔迹和第二笔迹是否彼此重叠。第一笔迹由第一笔迹信息表示，而第二笔迹由第二笔迹信息表示。当确定单元已经确定第一笔迹和第二笔迹彼此重叠时，笔迹分离单元通过改变第一笔迹信息中包括的第一笔迹位置或第二笔迹信息中包括的第二笔迹位置将第一笔迹与第二笔迹分离。图像产生单元根据通过笔迹分离单元执行的分离而获得的笔迹信息、以及与已经被确定单元确定为不与另一笔迹重叠的笔迹有关的信息来产生图像。图像识别单元对图像产生单元产生的图像进行识别。输出单元输出图像识别单元获得的识别结果。

根据本发明的第二方面，根据本发明第一方面的图像处理设备还包括笔迹识别单元，其基于接收单元接收到的笔迹信息对笔迹进行识别。确定单元针对还未被笔迹识别单元识别的笔迹、或与具有等于或小于预定值的可能性的识别结果的笔迹有关的信息来确定第一笔迹和第二笔迹是否彼此重叠。输出单元输出由笔迹识别单元获得的识别结果和由图像识别单元获得的识别结果。

根据本发明的第三方面，在根据第一方面的图像处理设备中，所述确定单元通过确定所述第一笔迹和所述第二笔迹之间的距离是否小于等于预定值来确定所述第一笔迹和所述第二笔迹是否彼此重叠。

根据本发明的第四方面，在根据第二方面的图像处理设备中，所述确定单元通过确定所述第一笔迹和所述第二笔迹之间的距离是否小于等于预定值来确定所述第一笔迹和所述第二笔迹是否彼此重叠。

根据本发明的第五方面，在根据第一至第四方面中任一方面的图像处理设备中，所述笔迹分离单元基于预定值或随机数来改变关于第一笔迹的信息或关于第二笔迹的信息中的定向和位置中的至少一个，直到所述确定单元确定所述第一笔迹和所述第二笔迹彼此不重叠。

根据本发明的第六方面，在根据第一至第四方面中任一方面的图像处理设备中，所述笔迹分离单元在与所述第一笔迹或所述第二笔迹正交的方向上改变关于所述第一笔迹的信息或关于所述第二笔迹的信息中的位置信息。

根据本发明的第七方面，根据第一方面的图像处理设备还包括扩展单元，其在厚度方向上扩展与所述第一笔迹和所述第二笔迹二者有关的线条。确定单元基于已经由扩展单元对线条进行了扩展的笔迹信息来确定所述第一笔迹和所述第二笔迹是否彼此重叠。

根据本发明的第八方面，提供了一种图像处理方法，该方法包括：接收笔迹信息；基于接收到的笔迹信息确定第一笔迹和第二笔迹是否彼此重叠，第一笔迹由第一笔迹信息表示，第二笔迹由第二笔迹信息表示；当已经确定第一笔迹和第二笔迹彼此重叠时，通过改变第一笔迹信息中包括的第一笔迹位置或第二笔迹信息中包括的第二笔迹位置将第一笔迹与第二笔迹分离；根据通过所述分离而获得的笔迹信息、以及与已经被确定为不与另一笔迹重叠的笔迹有关的信息来产生图像；对产生的图像进行识别；以及输出对产生的图像的识别结果。

与未采用根据本发明第一方面的构造的情况相比，根据第一方面的图像处理设备，在对根据笔迹信息产生的图像进行笔迹识别的情况中，当多个笔迹彼此重叠时，减少了识别错误。

根据本发明第二方面的图像处理设备，在对笔迹进行了笔迹识别并且笔迹还未被识别出或具有可能小于等于预定值的识别结果的情况中，可以识别笔迹的图像。

根据本发明第三方面的图像处理设备，可以基于两个笔迹之间的距离确定第一笔迹和第二笔迹是否彼此重叠。

根据本发明第四方面的图像处理设备，可以基于两个笔迹之间的距离确定第一笔迹和第二笔迹是否彼此重叠。

根据本发明第五方面的图像处理设备，可以基于所述预定值或随机数实现其中各笔迹彼此不重叠的状态。

根据本发明第六方面的图像处理设备，通过沿正交于第一笔迹或第二笔迹的方向移动第一笔迹或第二笔迹，可以实现其中各笔迹彼此不重叠的状态。

根据本发明第七方面的图像处理设备，可以通过确定各笔迹之间的距离是否小于等于预定值来确定各笔迹是否彼此重叠。

与未采用根据本发明第八方面的构造的情况相比，根据第八方面的图像处理方法，在对根据笔迹信息产生的图像进行笔迹识别的情况中，当多个笔迹彼此重叠时，减少了识别错误。

附图说明

以下将参考附图来详细描述本发明的示例实施例，其中：

图1是示出根据本发明第一示例实施例的示例构造的示意性模块构造示意图；

图2是根据第一示例实施例的示例处理的流程图；

图3是用于说明示例笔划信息的示意图；

图4A至图4C是用于说明笔划信息的示例数据构造的示意图；

图5A和图5B是用于说明提取一个笔划的示例处理的示意图；

图6A至图6E是用于说明其中各笔划彼此重叠的示例状态的示意图；

图7是用于说明确定各笔划是否重叠的示例处理的示意图；

图8包括用于说明确定各笔划是否重叠的示例处理的示意图；

图9包括用于说明确定各笔划是否重叠的示例处理的示意图；

图10是用于说明确定各笔划是否重叠的示例处理的示意图；

图11是用于说明确定各笔划是否重叠的示例处理的示意图；

图12A至图12C是用于说明使各笔划彼此分离的示例处理的示意图；

图13A至图13D是用于说明使各笔划彼此分离的示例处理的示意图；

图14A至图14C是用于说明使各笔划彼此分离的示例处理的示意图；

图15A和图15B是用于说明使各笔划彼此分离的示例处理的示意图；

图16A至图16C是用于说明根据笔划信息产生图像的示例处理的示意图；

图17是示出根据本发明第二实施例的示例构造的示意性模块构造示意图；

图18A和图18B是用于说明利用笔划信息对笔迹进行识别的示例处理的示意图；

图19是用于说明利用笔划信息对笔迹进行识别的示例处理的示意图；

图20是示出实现各实施例的计算机的示例硬件构造的框图。

具体实施方式

下面将参照附图详细描述实施本发明时期望的各示例实施例。

图1是示出根据本发明第一示例实施例的示例构造的示意性模块构造示意图。

通常，“模块”是指诸如可逻辑分离的软件（计算机程序）或硬件之类的部件。从而，各示例实施例中的模块不仅是指计算机程序中的模块而且还指硬件构造中的模块。因此，各示例实施例对模块的描述用作系统、方法和用于使硬件构造用作模块的计算机程序（使计算机执行各种程序步骤的程序、使计算机用作单元的程序、或使计算机实现各种功能的程序）的描述。为了便于说明，使用了术语“存储某某”和“使某某存储某某”、以及等同术语。这些术语表示存储设备存储某某，或在将各示例实施例实现为计算机程序时控制存储设备存储某某。一个模块可以对应于一个功能。但是，在实现中，一个模块可以构成一个程序，或多个模块可以构成一个程序。可替换地，多个程序可以构成一个模块。另外，多个模块可以由一个计算机执行，或一个模块可以由分布式或并行处理环境中的多个计算机执行。一个模块可以包括另一个模块。下文中，术语“连接”表示逻辑连接（数据或指令的发送/接收、或各数据间的参考关系）以及物理连接。术语“预定”是指其中在目标处理之前已经作出了确定的状态。该术语还包括这样的含义：不仅在根据示例实施例的处理开始之前而且还在根据示例实施例的处理已经开始之后而在目标处理之前，根据处在要进行确定的时间点处或该时间点之前的情形或状态已经作出了确定。具有“在满足A的情况下，执行B”的含义的说明被用作如下含义：其中确定是否满足A，当确定了满足A时，则执行B。然而，该术语不包括其中不必确定是否满足A的情形。

“系统”或“设备”指的是其中利用通信单元（诸如包括一对一通信连接的网络）将多个计算机、硬件单元、装置等彼此连接的系统或设备，并且还指利用计算机、硬件、装置等实现的系统或设备。术语“设备”和“系统”用作彼此等同的术语。当然，术语“系统”不包括仅仅通过人为制定的协议构成的社会“机构”（社会系统）。

在对应于模块的每个处理中，或在模块中包括的每个处理中，从存储设备读出目标信息。在进行了处理之后，将处理结果写入存储设备。因此可以省略在处理操作前从存储设备进行读取或在处理后写入存储设备的说明。存储设备的示例可以包括硬盘、随机存取存储器（RAM）、外部存储介质、通过通信线路连接的存储设备、中央处理单元（CPU）内的寄存器等。

根据本发明第一实施例的对根据笔迹信息产生的图像进行识别的图像处理设备包括笔划信息接收模块110、笔划分割模块120、重叠确定模块130、笔划分离模块140、栅格化模块150A、栅格化模块150B、图像合成模块160、离线识别模块170、和输出模块180，如图1中的示例所示。

待识别的笔迹示例包括文字、图形、和手势（也称作对计算机的指令或动作）。在下面的示例中，将主要利用文字作为待识别的笔迹来进行描述。

笔划信息接收模块110连接至笔划分割模块120。笔划信息接收模块110接收笔迹信息。笔迹信息（下文中还称作笔划信息）至少包括笔迹的位置信息。位置信息指的是表明预定坐标系（进行了书写的介质（诸如纸或触摸板）的坐标系、或以多种手写介质构成的坐标系）中的位置的信息。位置信息可以利用绝对坐标来表示，或可以利用相对坐标来表示。笔划信息可以分割成多组关于单个笔划的信息，并且可以包括与位置信息对应的时间信息（或可以是表明位置信息的序列的序列信息），或表明一条笔迹的起点和终点的信息（诸如如下所述的抬笔/落笔信息）。

笔划分割模块120连接至笔划信息接收模块110和重叠确定模块130。当笔划信息接收模块110接收到的笔划信息还未被分割成多组关于单个笔划的信息时，笔划分割模块120根据对应于位置信息的时间信息、或表明一条笔迹的起点和终点的信息来将该笔划信息分割成多组关于单个笔划的信息。

当笔划信息接收模块110接收到的笔划信息已被分割成多组关于单个笔划的信息时，笔划分割模块120不执行处理。在这种情况中，笔划分割模块120不是必需的，从而根据第一示例实施例的图像处理设备可以具有不包括笔划分割模块120、且重叠确定模块130从笔划信息接收模块110接收笔划信息的构造。

重叠确定模块130连接至笔划分割模块120、笔划分离模块140、和栅格化模块150A。重叠确定模块130基于由笔划信息接收模块110接收到的笔划信息（包括通过笔划分割模块120将笔划信息分割成多组关于单个笔划的信息而获得的笔划信息）确定第一笔迹和第二笔迹是否彼此重叠。重叠确定模块130将已经被确定为彼此重叠的第一笔迹的笔划信息和第二笔迹的笔划信息发送至笔划分离模块140，而将已确定为与其他笔迹不重叠的笔迹的笔划信息发送至栅格化模块150A。

更具体地，重叠确定模块130可以通过确定第一笔迹和第二笔迹之间的距离是否小于等于预定值来确定第一笔迹和第二笔迹是否彼此重叠。

笔划分离模块140连接至重叠确定模块130和栅格化模块150B。当重叠确定模块130已经确定了第一笔迹和第二笔迹彼此重叠时，笔划分离模块140改变第一笔划信息或第二笔划信息，以使第一笔迹与第二笔迹分离。

更具体地，笔划分离模块140可以基于预定值或随机数改变第一笔迹或第二笔迹的笔划信息中的定向信息和/或位置信息，直到重叠确定模块130确定这些笔迹彼此不重叠为止。

可替换地，笔划分离模块140可以改变第一笔迹或第二笔迹的笔划信息中的位置信息，以沿正交于第一笔迹或第二笔迹的方向移动位置。

栅格化模块150A连接至重叠确定模块130和图像合成模块160。栅格化模块150A根据已经被重叠确定模块130确定为不与其他笔迹重叠的笔迹的笔划信息来产生图像。即，栅格化模块150A执行所谓的格栅化处理。

栅格化模块150B连接至笔划分离模块140和图像合成模块160。栅格化模块150B根据通过笔划分离模块140进行的分离而获得的笔迹的笔划信息来产生图像。

图像合成模块160连接至栅格化模块150A、栅格化模块150B、和离线识别模块170。图像合成模块160从由栅格化模块150A和由栅格化模块150B产生的图像合成一个图像。从而，在该模块中产生的合成图像是这样的图像：其中由笔划信息接收模块110接收到的笔划信息中的本来彼此重叠的多个笔划被彼此分离。

换言之，利用栅格化模块150A、栅格化模块150B、和图像合成模块160，根据通过笔划分离模块140将其与其他笔迹分离的笔迹的笔划信息、和已经被重叠确定模块130确定为不与其他笔迹重叠的笔迹的笔划信息产生了一个图像。

离线识别模块170连接至图像合成模块160和输出模块180。离线识别模块170对图像合成模块160产生的图像进行识别。这就是所谓的图像识别，并且例如在此情况中为文字识别。相关技术中的许多技术可用于图像识别或文字识别。

输出模块180连接至离线识别模块170。输出模块180输出离线识别模块170获得的识别结果，诸如文本数据、文字尺寸（字体大小）、以及文字的位置。识别结果的输出包括例如下列各项：将可附至由图像合成模块160产生的图像上的识别结果写入文档存储设备（诸如文档数据库）中；将所述识别结果存入存储介质（诸如存储卡）中；将所述识别结果发送至其他信息处理设备；以及将所述识别结果显示在显示设备（诸如显示器）上。

图2是根据第一示例实施例的示例处理的流程图。下面将参照图3至图16C中的示例进行详细描述。

在步骤S202中，笔划信息接收模块110接收笔划信息。

笔划信息代表例如通过操作者利用笔（包括电子笔）、手指等在触摸板（也称作数字转化器、手写板等）、纸等上所写的文字。例如，检测笔、手指等在触摸板上的动作，并产生代表该动作的笔划信息。可替换地，可以检测包括加速度传感器等的笔等在纸上的动作，并产生笔划信息。可替换地，其上描述了例如位置信息的信息图像（例如，日本未审查专利申请公开第06-75795号公开的象形文字代码）可以利用包括图像读取设备的笔等从打印了该信息图像的纸等上进行读取，并可以对其进行分析，从而产生笔划信息。

图3是用于说明示例笔划信息的示意图。假设利用电子笔在手写板300上从上向下（沿笔迹方向320）书写笔迹310。在图3的坐标系中，原点位于手写板300的左上角；x坐标朝向右方；y坐标朝向下方。例如，在笔划信息400A至400C中示出了该笔迹310的笔划信息的示例。图4A至图4C是用于说明笔划信息400A至400C的示例数据构造的示意图。笔划信息400A例如具有坐标列410A和时间列420A。坐标列410A存储笔迹310的坐标信息。时间列420A存储检测到上述坐标的时间。当以相等的时间间隔检测到各坐标时，时间列420A中的时间间隔相等。替代地，笔划信息可以具有与笔划信息400B相同的数据结构。笔划信息400B具有坐标列410B和抬笔/落笔列420B。坐标列410B存储笔迹310的坐标信息。抬笔/落笔列420B存储检测到上述坐标时电子笔的动作，即，“落笔”表示电子笔触碰手写板300，其表示开始书写，即起点，或者“抬笔”表示电子笔从手写板300离开，其表示书写完成，即，终点。笔划信息400C具有坐标列410C、时间列420C、和抬笔/落笔列430C。坐标列410C等同于坐标列410A；时间列420C等同于时间列420A；而抬笔/落笔列430C等同于抬笔/落笔列420B。

在步骤S204中，笔划分割模块120将笔划信息分割成多组关于单个笔划的信息。笔划分割模块120基于时间信息（或笔的抬笔/落笔信息）对笔划信息进行分割，即，将笔划信息分割成多组关于单个笔划的信息。一个笔划（笔迹）由包括从笔迹的起点到终点的坐标信息的坐标信息组表示。

图5A和图5B是用于说明提取一个笔划的示例处理的示意图。在图5A中的示例示出的笔划信息400A的情况中，在这样的一个点处对笔划信息进行分割：在该点处，坐标列410A中的目标坐标和随后的坐标之间的距离大于等于预定值。可替换地，可以在这样的一个点处对笔划信息进行分割：在该点处，目标坐标和随后的坐标之间的距离小于等于预定值，但是时间列420A中的对应时间信息的间隔大于等于预定值。从而，将笔划信息400A分割成例如笔划单元510A和笔划单元520A。图5B中的示例示出的笔划信息400B被分割成多组关于单个笔划的信息，每组信息都包括抬笔/落笔列420B中的从“落笔”到“抬笔”范围内的信息。从而，将笔划信息400B分割成例如笔划单元510B和笔划单元520B。

在步骤S206中，重叠确定模块130确定各笔划是否彼此重叠。当各笔划彼此重叠时，处理前进到步骤S208。否则，处理前进到步骤S212。

图6A至图6E是用于说明其中各笔划彼此重叠的示例状态的示意图。图6A至图6E中每个示例都示出了由三个笔划构成的文字。当根据关于这些笔划的信息来产生图像并对该产生的图像进行文字识别时，往往将该文字识别为“+”。其中各笔划彼此重叠的状态可以指如图6A中示例所示那样一个笔划与另一个笔划重叠的情况、如图6B中示例所示那样一个笔划与另一个笔划并排接触的情况、如图6C和6D中示例所示一个笔划与另一个笔划在对应于预定值或更大值的部分中彼此接触的情况、或如图6E中示例所示那样两个笔划之间的距离小于等于预定值且这两个笔划彼此交叉的情况。

重叠确定模块130通过确定各笔划之间的距离是否小于等于预定值来确定各笔划是否彼此重叠。

例如，用于确定各笔划是否彼此重叠的具体方法如下：

（A1）对笔划（线段）进行扩展（变厚），当扩展后的区域中包括另一个笔划时，就确定这两个笔划彼此重叠。

下面将参照图7至图10中的示例详细描述确定各笔划是否彼此重叠的示例处理。坐标信息以点信息表示，各信息像图7中示例所示的笔划710那样对准。将每条点信息在其两侧沿y轴方向分别向上和向下扩展一个像素。即，假设该笔划具有三个像素的线宽度。当在该扩展区域中包括不同笔划时，将这些笔划确定为彼此重叠。下面将描述其中如图8中示例所示那样笔划810和笔划820彼此接触的情况。如果目标笔划是笔划810，则当将笔划810在其两侧沿y轴方向分别向上和向下扩展一个像素时，获得了图8中示例中的扩展区域830。由于笔划820包括在扩展区域830中，因此将笔划810和820确定为彼此重叠。可替换地，当笔划820被包括到扩展区域830中的面积相对于笔划810或笔划820的面积的比率大于等于预定比率时，可以确定笔划810和820彼此重叠。

然后，进一步将笔划810在其两侧沿y轴方向分别向上和向下扩展一个像素。即，笔划810在其两侧分别向上和向下总共扩展了两个像素，从而认为笔划810的线宽是五个像素。当在该扩展区域中包括不同笔划时，这些笔划被确定为彼此重叠。下面将描述图9中示例所示的笔划910和笔划920分隔开一个像素的情况。如果目标笔划是笔划910，则当将笔划910在其两侧沿y轴方向分别向上和向下扩展两个像素时，获得了图9中示例中的扩展区域930。由于笔划920包括在扩展区域930中，因此将笔划910和920确定为彼此重叠。可替换地，当笔划920被包括到扩展区域930中的面积相对于笔划910或笔划920的面积的比率大于等于预定比率时，可以确定笔划910和920彼此重叠。

当各笔划分隔开两个或更多个像素时，确定这些笔划彼此不重叠。如图10中示例所示，当目标笔划是笔划1010时，由于笔划1020未被包括在上述扩展区域中，因此将这些笔划确定为彼此不重叠。

以上已经描述了其中用于扩展的值（预定值）多达两个像素的示例。该预定值可以是其他值。在上述示例中，将笔划在其两侧沿y轴方向向上和向下都进行扩展。然而，可以在笔划的左侧和右侧都沿x轴方向进行扩展。此外，可以在两个轴方向上都进行扩展。此外，水平方向的笔划可以沿y轴方向上向其上侧和下侧都进行扩展；垂直方向的笔划可以沿x轴方向上向其左侧和右侧都进行扩展；以及其他笔划可以在两个轴方向中都扩展。可以通过使用笔划信息计算包围笔划的外接矩形的高度和宽度之间的比率并将计算出的比例与预定值进行比较来确定笔划是水平方向还是垂直方向。

（A2）从笔划的结尾开始顺序地搜索具有预定尺寸的区域，并且当在该区域中包括另一笔划时，将这些笔划确定为彼此重叠。

下面将参照图11的示例进行描述。从笔划1110的起点（黑色点1）到终点（黑色点19）顺序地进行笔划1110的坐标对和笔划1120的坐标对是否匹配的确定（例如，笔划1110的每x个点进行一次确定，其中x是预定的）。参照笔划1110的笔划信息，从格栅图像中的起点（目标像素/黑色点1）开始进行所述确定，并且当在通过例如将目标像素在向上、向下、向左和向右的每个方向中分别扩展两个像素而获得的区域（例如，区域1130、区域1140等，即，由这些区域合成的合成区域1150）中存在不同于目标像素的另一笔划1120的像素（在图11的示例中，对角阴影像素）时，将该不同像素确定为“暂时匹配坐标像素”。对各像素执行上述处理，直到处理了目标笔划1110的终点（即，黑色点1、黑色点2、…、黑色点19）。当各“暂时匹配坐标像素”位于相同笔划上（在图11的示例中，在笔划1120上）、且各（不需要连续定位的）“暂时匹配坐标像素”的累积总数大于等于与笔划1110的像素或者笔划1120的像素的预定比率（例如，50%）对应的数量时，确定笔划1110和笔划1120彼此重叠。作为上述示例中的区域尺寸的值（预定值），示出了通过将目标像素在向上、向下、向左、和向右的每个方向上分别扩展两个像素而获得的示例区域。但是，可以使用其他值。

在这两种类型的确定中使用的第二笔划可以限于按照笔划顺序位于第一笔划的前一笔划和后一笔划。这是因为在一个笔划后书写另一笔划时经常会发生重叠。

在步骤S208中，笔划分离模块140移动各笔划，以使各笔划彼此分离。在已经在步骤S206中确定了各笔划彼此重叠时执行该处理。换言之，执行该处理，以使得在格栅化模块150B产生图像后，离线识别模块170对产生的具有分离线段的图像进行识别处理。

图12A至图12C是用于说明将各笔划彼此分离的示例处理的示意图。如图12A的示例所示，有三个笔划，即，笔划1210A、笔划1220A、和笔划1230A，并且确定了笔划1210A和1220A彼此重叠。图12B的示例表示了其中将笔划1210A向上移动的状态。即，存在这样的三个笔划，即，通过移动笔划1210A得到的笔划1210B、等同于笔划1220A的笔划1220B、和等同于笔划1230A的笔划1230B。具体地，对笔划1210A的笔划信息的坐标信息（图12C的示例示出的坐标信息1250）进行转换，以使得得到的坐标为（xi+α，yi+β）。此处，α代表沿x方向的移动量，β代表沿y轴的移动量，并且这些值可以为负值。

例如，作为分离各笔划的特定处理的方法如下：

（B1）随机地（包括利用伪随机数）移动笔划，直到该笔划不与另一笔划重叠。即，上述的α和β可以随机取值。

下面将参照图13A至图13D的示例进行描述。图13A的示例表示了其中已经将各笔划确认为彼此重叠的状态。图13B的示例是通过随机移动笔划1310A得到的，并且对图13B的示例执行与步骤S206中的确定处理等同的确定处理。确定结果是笔划1310B和笔划1320B仍彼此重叠。因此，再次随机地移动笔划1310A。图13C的示例表示了所获得的结果，并且对图13C的示例执行与步骤S206中的确定处理等同的确定处理。确定结果是笔划1310C和笔划1320C仍彼此重叠。因此，再次随机地移动笔划1310A。图13D表示了所获得的结果，并且对图13D的示例执行与步骤S206中的确定处理等同的确定处理。确定结果是笔划1310D和笔划1320D不彼此重叠。当获得了这样的状态时，执行下一步骤S210中的处理。

（B2）将笔划沿预定方向移动预定数量的像素，直到该笔划不与另一笔划重叠。将参照图14A至图14C的示例进行描述。图14A的示例表示了执行移动处理前的状态，其中笔划1410A和笔划1420A已经被确定为彼此重叠。因此，执行移动笔划1410A或笔划1420A的处理。

（B2-1）执行这样的移动处理，其中一个笔划固定而另一个笔划按照向上、向下、向左、向右、以及向对角方向的顺序移动预定值（例如，一个像素）。在执行了上述每个移动处理（例如，沿向上方向移动一个像素）后，执行与步骤S206中的确定处理等同的确定处理。当确定结果为各笔划不彼此重叠时，结束移动处理。执行移动所沿各方向的顺序是预定的。然而，可以采用不同于向上、向下、向左、向右、和向对角方向的任何顺序。移动处理的目标可以是原始笔划（即，被笔划信息接收模块110接收后未进行任何变换的笔划）。可替换地，通过移动处理获得的笔划可以累积进行下列移动处理。当执行移动处理所沿的各方向的一个周期结束时，可以增加（或减小）移动的距离。

如图14B的示例所示，按照向右、向左、向下、和向上的方向顺序移动笔划1410B。只要进行移动，就确定笔划1410B和笔划1420B是否彼此重叠。

（B2-2）执行这样的移动处理，其中多个目标笔划按照向上、向下、向左、向右、以及向对角方向的顺序而以其中各目标笔划的移动方向对称（例如，一个笔划沿向上的方向移动而另一笔划沿向下的方向移动）的方式来移动预定值（例如，一个像素）。在执行每个移动处理（例如，向上一个像素以及向下一个像素）后，执行与步骤S206中的确定处理等同的确定处理。当确定结果为各笔划不彼此重叠时，结束移动处理。执行移动所沿的各方向的顺序是预定的。然而，可以采用不同于向上、向下、向左、向右、和向对角方向的顺序的任何顺序。移动处理的目标可以是原始笔划（即，被笔划信息接收模块110接收后未进行任何变换的笔划）。可替换地，通过移动处理获得的笔划可以累积进行下列移动处理。当执行移动处理所沿的各方向的一个周期结束时，可以增加（或减小）移动的距离。

如图14C的示例所示，沿向左方向移动笔划1410C，并且沿向右方向移动笔划1420C；然后，沿向上方向移动笔划1410C，并且沿向下方向移动笔划1420C；然后，沿向右方向移动笔划1410C，并且沿向左方向移动笔划1420C。每次进行移动时，都确定笔划1410C和1420C是否彼此重叠。

（B3）沿与笔划正交的方向移动该笔划。

（B3-1）从在步骤S206中已经被确定为彼此重叠的每个笔划的起点和终点获得了直线的等式（y=ax+b），并且将笔划沿与直线正交的方向（a’=-1/a）平行于其自身地移动。可以移动一个笔划而另一笔划固定，或者两个笔划以相反方向移动。将移动的距离设定为预定值。当两个笔划都被移动时，两个笔划可以移动相同的距离，或者可以移动不同的距离。在移动了两个笔划后，执行与步骤S206中的确定处理等同的确定处理。当确定结果是各笔划不彼此重叠时，结束移动处理。当确定结果是各笔划彼此重叠时，增加移动的距离。

（B3-2）将在步骤S206中已经被确定为彼此重叠的各笔划的坐标信息中包括的x坐标相互进行比较，并将各笔划的y坐标相互进行比较，以检测各笔划的位置关系（即，哪个笔划在上或在下，或者在左或在右）。然后，以下面方式沿对称方向移动各笔划：在上的笔划沿向上的方向移动，在下的笔划沿向下的方向移动，在右的笔划沿向右的方向移动，而在左的笔划沿向左的方向移动。可以使一个笔划移动而使另一个笔划固定，或者使两个笔划沿相反方向移动。移动的距离被设定为预定值。在两个笔划都被移动时，可以使两个笔划移动相同的距离，或可以移动不同的距离。在使各笔划移动后，执行与步骤S206的确定处理等同的确定处理。当确定结果为各笔划彼此不重叠时，结束移动处理。当确定结果为各笔划彼此重叠时，增加移动的距离。

下面将参照图15A至图15B的示例进行描述。图15A所示的示例表示了其中笔划1510和笔划1520已经被确定为彼此重叠的状态。当将笔划1510和1520的x坐标相互进行比较并且将它们的y坐标相互进行比较时，确定了笔划1510位于上侧，而笔划1520位于下侧。在其中进行所述比较的区域可以是这两个笔划之一的外接矩形中的区域。在图15A的示例中，将笔划1510的外接矩形（由垂直方向距离1530和水平方向距离1540表示的区域）中存在的各笔划的坐标信息相互进行比较，以检测这两个笔划间的位置关系。然后，如图15B所示，使笔划1510向上移动，并且使笔划1520向下移动，从而笔划1510和1520彼此分离。

在步骤S210中，格栅化模块150B根据笔划信息产生图像。

图16A至图16C是勇于说明根据笔划信息产生图像的示例处理。格栅化模块150B利用图16A的示例所示的笔划信息1600A或图16B的示例所示的笔划信息1600B来产生图16C的示例所示的图像。笔划信息1600A等同于图4A的示例所示的笔划信息400A，笔划信息1600B等同于图4B的示例所示的笔划信息400B。然而，笔划信息1600A和笔划信息1600B包括使与另一笔划重叠的一个笔划移动后获得的笔划信息。通过使图像中与坐标列1610A中的坐标信息或坐标列1610B中的坐标信息的坐标对应的像素变黑来根据这些坐标信息产生图像。当使笔划变厚时，可以绘制预定尺寸（例如，2×2像素的矩形、3×3像素的矩形、或半径为三个像素的圆）的区域中的坐标。

在步骤S212中，格栅化模块150A根据笔划信息产生图像。该处理等同于步骤S210的处理。然而，该步骤中使用的笔划信息是在步骤S206中已经被确定为不与另一笔划重叠的一个笔划的笔划信息。

在步骤S214中，图像合成模块160合成图像。即，由在步骤S210和步骤S212中产生的图像合成一个图像。

在步骤S216中，离线识别模块170识别图像中的文字。

在步骤S218中，输出模块180输出识别结果。

图17是示出根据本发明第二示例实施例的示例构造的示意性模块构造示意图。

根据第二示例实施例的图像处理设备对笔迹信息进行识别、根据还未被识别的笔迹信息或其识别结果具有小于等于预定值的可能性的笔迹信息来产生图像、以及对产生的图像进行识别。如图17的示例所示，图像处理设备包括笔划信息接收模块110、在线识别模块1715、笔划分割模块120、重叠确定模块130、笔划分离模块140、格栅化模块150A、格栅化模块150B、图像合成模块160、离线识别模块170、和输出模块180。根据第二示例实施例的图像处理设备是通过向根据第一示例实施例的图像处理设备添加在线识别模块1715得到的设备。与第一示例实施例相同类型的部件以相同的参考符号表示，并不再描述。

笔划信息接收模块110连接至在线识别模块1715。

在线识别模块1715连接至笔划信息接收模块110、笔划分割模块120、和输出模块180。在线识别模块1715基于笔划信息接收模块110接收到的笔划信息对笔迹进行识别，即，执行所谓的在线文字识别。使用相关技术中的技术来进行在线文字识别。下面将参照图18A、图18B、和图19，以对如下示出的日文的片假名“ki”进行识别为示例来进行描述。

キ

在线文字识别通常利用笔划顺序进行。因此，在以错误的笔划顺序手写文字的情况下，甚至在文字具有本该具有的形状时，该文字可能不会被识别。如图18A的示例所示，当按照（1）、（2）、和（3）的笔划顺序书该写文字时，可以通过在线文字识别正确识别该文字（见图19的示例所示的表格），而如图18B的示例所示，当按照（4）、（5）、和（6）的笔划顺序书该写文字时，该文字可能不会通过在线文字识别被正确识别，或识别结果的可能性会很低（见图19的示例所示的表格）。

在线识别模块1715将已经通过成功识别获得的识别结果、或具有大于等于预定值的可能性的识别结果发送至输出模块180。在线识别模块1715将已经被识别的笔迹（其可能是已被在线识别模块1715确定为具有错误的识别结果的笔迹，即，被拒绝或不能识别的笔迹，或通过句法处理等被确定为错误识别的笔迹）或者具有小于等于预定值的可能性的笔迹的笔划信息发送至笔划分割模块120或重叠确定模块130。例如，与按照错误笔划顺序书写的笔迹对应的笔划信息受到笔划分割模块120及随后各模块的处理。

重叠确定模块130针对还未被在线识别模块1715识别的笔迹、或其识别结果具有小于等于预定值的可能性的笔迹来确定第一笔迹和第二笔迹是否彼此重叠。术语“识别结果的可能性”是指识别结果正确的几率。用于在线文字识别的一些算法不仅输出识别结果，而且还计算并输出识别结果的可能性。当使用用于在线文字识别的该类型的算法时，可以针对识别结果的可能性是否小于等于预定值进行确定。

笔划分割模块120连接至在线识别模块1715和重叠确定模块130。

输出模块180连接至在线识别模块1715和离线识别模块170。输出模块180输出由在线识别模块1715获得的识别结果和由离线识别模块170获得的识别结果。由在线识别模块1715和由离线识别模块170获得的识别结果的输出顺序可以是基于笔划信息的时间信息的顺序。具体地，这些识别结果可以按照书写的顺序进行输出。

下面将参照图20描述根据该示例实施例的图像处理设备的示例硬件构造。图20所示的示例硬件构造由例如个人计算机（PC）构成，并且包括数据读取单元2017（诸如扫描仪）和数据输出单元2018（诸如打印机）。

CPU 2001是根据计算机程序执行处理的控制器，其中计算机程序描述了例如上述示例实施例中的各模块（即，诸如笔划信息接收模块110、笔划分割模块120、重叠确定模块130、笔划分离模块140、格栅化模块150A和150B、图像合成模块160、离线识别模块170、输出模块180、和在线识别模块1715的模块）的执行序列。

ROM 2002存储例如由CPU 2001使用的程序和计算参数。RAM2003存储例如CPU 2001执行时使用的程序和执行过程中适当改变的参数。ROM 2002和RAM 2003经由主机总线2004（例如由CPU总线构成）彼此连接。

主机总线2004经由桥接器2005连接至外部总线2006（诸如外设组件互连/接口（PCI）总线）。

键盘2008和指示装置2009（诸如鼠标、触摸板、或电子笔）是由操作者操作的输入装置。诸如液晶显示设备或阴极射线管（CRT）的显示器2010以文本或图像信息的形式显示各种信息。

硬盘驱动器（HDD）2011包括硬盘，并驱动硬盘以记录或再现由CPU 2001执行的程序、以及信息。硬盘存储例如接收到的笔迹信息和识别结果。硬盘还存储各种计算机程序，诸如其他各种数据处理程序。

驱动器2012读出记录在被附接至驱动器2012的可移除记录介质2013（诸如磁盘、光盘、磁光盘、或半导体存储器）中的数据或程序，并将该数据或程序提供给经由接口2007、外部总线2006、桥接器2005、和主机总线2004而连接的RAM 2003。可移除记录介质2013还可以用作类似于硬盘的数据记录区域。

连接端口2014用于连接外部连接装置2015，并且包括利用例如通用串行总线（USB）接口或IEEE 1394接口的连接单元。连接端口2014经由接口2007、外部总线2006、桥接器2005、和主机总线2004等连接至例如CPU 2001。通信单元2016连接至通信线路，并与外部站点交换数据。诸如扫描仪的数据记录单元2017读取文档。诸如打印机的数据输出单元2018输出文档数据。

图20所示的硬件构造仅是一个示例。根据示例实施例的构造不限于图20所示的构造。只要构造可以执行该示例实施例中描述的各模块，就可以使用任何构造。例如，一些模块可以利用专用硬件（例如，专用集成电路（ASIC））构造，或者一些模块可以包括在外部系统中并可以通过通信线路连接至图像处理设备。此外，多个如图20所示的系统可以通过通信线路彼此连接，从而可以彼此协作。该图像处理设备可以并入例如复印机、传真机、扫描仪、打印机、多功能装置（用作包括扫描仪、打印机、复印机、传真机功能中的两个或更多的图像处理设备）等中。

上述程序可以通过存储程序的记录介质来提供，或可以经由通信单元来提供。在这些情况中，例如，上述程序可以被看作“存储程序的计算机可读记录介质”的发明。

术语“存储程序的计算机可读记录介质”是指存储了程序并且例如用于程序安装和运行以及程序分发的计算机可读记录介质。

记录介质的示例包括：具有作为由DVD论坛开发的标准的“可记录DVD（DVD-R）、可重写DVD（DVD-RW）、DVD随机存取存储器（DVD-RAM）等”格式的、或具有作为由DVD+RW联盟开发的标准的“可记录DVD（DVD+R）、可重写DVD（DVD+RW）等”的格式的数字多功能光盘（DVD）；具有CD只读存储器（CD-ROM）、可记录CD（CD-R）、可重写CD（CD-RW）等格式的压缩光盘（CD）；蓝光盘

；磁光（MO）盘；软磁盘（FD）；磁带；硬盘；ROM；电可擦除可编程只读存储器；闪存；RAM；安全数字（SD）存储卡。

上述程序或上述程序的一部分可以记录在记录介质中以存储和分发。此外，程序可以利用例如用于局域网（LAN）、城域网（MAN）、广域网（WAN）、互联网、内联网、外联网的有线网络、或无线通信网络、或有线和无线网络的组合通过通信进行传输。可替代的，可以将程序承载在载波上。

此外，上述程序可以包括在其他程序中，或者可以与其他程序一起记录在记录介质中。可替换地，程序可以通过分割而存储在多个记录介质中。程序可以以任何形式记录（诸如压缩或加密），只要可以进行恢复即可。

前文已经出于例示和说明的目的提供了对本发明示例性实施例的说明。该描述并非排他性的或者将本发明限制为所公开的精确形式。显然，各种修改和变型对于本领域技术人员来说是显而易见的。这些实施例的选择和描述是为了对本发明的原理及其实际应用进行最佳的阐述，以使得本领域的其他技术人员能够理解本发明的各种实施例以及适用于具体应用场合的各种变型。本发明的范围应当由权利要求及其等同物限定。

Claims (8)

1.一种图像处理设备，包括：

接收单元，其接收笔迹信息；

确定单元，其基于所述接收单元接收到的笔迹信息来确定第一笔迹和第二笔迹是否彼此重叠，所述第一笔迹由第一笔迹信息表示，所述第二笔迹由第二笔迹信息表示；

笔迹分离单元，当所述确定单元已经确定所述第一笔迹和所述第二笔迹彼此重叠时，所述笔迹分离单元通过改变所述第一笔迹信息中包括的第一笔迹位置或所述第二笔迹信息中包括的第二笔迹位置将所述第一笔迹与所述第二笔迹分离；

图像产生单元，其根据通过由所述笔迹分离单元执行的分离而获得的笔迹信息、以及与已经被所述确定单元确定为不与另一笔迹重叠的笔迹有关的信息来产生图像；

图像识别单元，其对所述图像产生单元产生的图像进行识别；以及

输出单元，其输出由所述图像识别单元获得的识别结果。

2.根据权利要求1所述的图像处理设备，还包括：

笔迹识别单元，其基于所述接收单元接收到的笔迹信息对笔迹进行识别，

其中，所述确定单元针对还未被所述笔迹识别单元识别的笔迹、或与具有等于或小于预定值的可能性的识别结果的笔迹有关的信息来确定第一笔迹和第二笔迹是否彼此重叠；以及

其中，所述输出单元输出由所述笔迹识别单元获得的识别结果和由所述图像识别单元获得的识别结果。

3.根据权利要求1所述的图像处理设备，

其中，所述确定单元通过确定所述第一笔迹和所述第二笔迹之间的距离是否小于等于预定值来确定所述第一笔迹和所述第二笔迹是否彼此重叠。

4.根据权利要求2所述的图像处理设备，

其中，所述确定单元通过确定所述第一笔迹和所述第二笔迹之间的距离是否小于等于预定值来确定所述第一笔迹和所述第二笔迹是否彼此重叠。

5.根据权利要求1至4中任一项所述的图像处理设备，

其中，所述笔迹分离单元基于预定值或随机数来改变关于所述第一笔迹的信息或关于所述第二笔迹的信息中的定向和位置中的至少一个，直到所述确定单元确定所述第一笔迹和所述第二笔迹彼此不重叠。

6.根据权利要求1至4中任一项所述的图像处理设备，

其中，所述笔迹分离单元在与所述第一笔迹或所述第二笔迹正交的方向上改变关于所述第一笔迹的信息或关于所述第二笔迹的信息中的位置信息。

7.根据权利要求1所述的图像处理设备，还包括：

扩展单元，其在厚度方向上扩展与所述第一笔迹和所述第二笔迹二者有关的线条，

其中，所述确定单元基于已经由所述扩展单元对线条进行了扩展的笔迹信息来确定所述第一笔迹和所述第二笔迹是否彼此重叠。

8.一种图像处理方法，包括：

接收笔迹信息；

基于接收到的笔迹信息来确定第一笔迹和第二笔迹是否彼此重叠，所述第一笔迹由第一笔迹信息表示，所述第二笔迹由第二笔迹信息表示；

当已经确定所述第一笔迹和所述第二笔迹彼此重叠时，通过改变所述第一笔迹信息中包括的第一笔迹位置或所述第二笔迹信息中包括的第二笔迹位置来将所述第一笔迹与所述第二笔迹分离；

根据通过所述分离而获得的笔迹信息、以及与已经被确定为不与另一笔迹重叠的笔迹有关的信息来产生图像；

对产生的图像进行识别；以及

输出对产生的图像的识别结果。

Images