CN102141979B - 文档图像生成装置、文档图像生成方法 - Google Patents

Abstract

本发明涉及文档图像生成装置、文档图像生成方法以及计算机程序。当包含有在特殊字符DB1和特殊字符DB2中没有的字符的单词的情况下，将DB1和DB2中没有的字符的下端的Y坐标的平均值YBav设为单词的下端的Y坐标，所述特殊字符DB1和特殊字符DB2分别存储了具有从基线向下方突出的形状的字符以及向上方离开的字符。当仅包含DB1中的字符的单词的情况下，将对各字符的下端的Y坐标的平均值YBav0加上一定的值而得到的值YBav设为单词的下端的Y坐标。当仅包含DB2中的字符的单词的情况下，将从各字符的上端的Y坐标的平均值YTav减去了一定的值而得到的值YBav设为单词的下端的Y坐标。

Description

文档图像生成装置、文档图像生成方法

技术领域

本发明涉及文档图像生成装置、文档图像生成方法以及计算机程序，所述文档图像生成装置生成附有补充说明的文档的图像，所述附有补充说明的文档通过对由单词或词组构成的语句附加补充说明而得到，所述单词或词组包含在基于图像数据的图像中。 

背景技术

近年来，公开了以下的技术：对在基于图像数据以及电子数据的图像(原文档图像)中包含的原文，识别字符后在原文的行间附加补充说明(以下，称为鲁比，“Ruby”是沿着基础文本的小字符及短文本，典型地用于东亚文档以显示读音或提供短注释)的技术，所述图像数据通过扫描仪读取原稿图像而得到，所述电子数据是为了通过浏览器显示而生成的数据等。例如，在特开2009-53838号公报中，提出了在原文的各行的行间区域配置译文的方法。根据特开2009-53838号公报的0044段至0046段的记载，行间区域的确定以及行间区域的纵向宽度(对于与行方向正交的Y轴方向的行间区域的长度)的决定以行单位进行。 

但是，在各行的下方的行间附加鲁比的情况下，例如在有如英文字母的小写字符“g，j，p，q，y”那样从用于将字符依次排列的基准线(所谓的基线)突出配置的部分时，有时看起来根据原文中包含的字符的形状，原文的下端的Y坐标按照单词或词组而变动。这在英文字母的字符标记“’(单引号)、”(双引号)”这样的字符整体远离基准线的情况下也相同。 

此时，若将附加鲁比的行间区域的上端的Y坐标一律以行单位统一，则存在看起来鲁比没有整齐地对齐单词或词组的下方的行间的问题。 

发明内容

本发明鉴于上述情况而完成，其目的在于，提供一种可附加看起来整齐地对齐由单词或词组构成的语句的下方或上方的行间的补充说明的文档图像 生成装置、文档图像生成方法以及计算机程序。 

本发明的文档图像生成装置，包括：接受单元，接受表示原稿图像的图像数据；单词提取单元，提取在所述接受单元接受的图像数据所表示的原稿图像中包含的单词；字符提取单元，提取在所述单词提取单元所提取的单词中包含的字符；特定字符存储单元，存储在所述字符提取单元应提取的字符中的特定字符；判断单元，判断所述特定字符存储单元中存储着的特定字符是否包含在所述字符提取单元提取的字符中；作成单元，作成对于所述单词提取单元提取的单词的鲁比；生成单元，生成鲁比附加图像数据，所述鲁比附加图像数据表示对所述接受单元接受的图像数据所表示的原稿图像附加所述作成单元作成的鲁比的鲁比附加图像；以及调整单元，调整在所述生成单元生成的鲁比附加图像数据所表示的鲁比附加图像内，所述作成单元所作成的鲁比的位置，其中，所述调整单元调整所述鲁比的上下方向位置，使得所述判断单元判断为在所述字符提取单元提取到的字符中包含有所述特定字符的情况下的所述鲁比的位置、与所述判断单元判断为在所述字符提取单元提取的字符中没有包含所述特定字符的情况下的所述鲁比的位置不同。 

从以下结合附图的详细描述中，本发明的上述和其他目的和特征将变得更加明显。 

附图说明

图1是表示本发明的文档图像生成装置的内部结构的方块图。 

图2(a)和图2(b)是表示原文档图像以及附有译词的文档图像的例子的示意图。 

图3是表示文档图像生成装置所执行的处理的步骤的流程图。 

图4是表示通过字符识别而得到的字符数据的例子的概念图。 

图5是表示步骤S14的译词取得处理的步骤的流程图。 

图6是表示行数据的内容例子的概念图。 

图7(a)和图7(b)是表示文本数据和换行数据的内容例子的概念图。 

图8是表示译词数据的内容例子的概念图。 

图9是表示步骤S15的附属信息决定处理的步骤的流程图。 

图10是表示步骤S15的附属信息决定处理的步骤的流程图。 

图11是表示步骤S163的上下方向位置决定处理的步骤的流程图。 

图12(a)和图12(b)是表示在特殊字符数据库中存储的字符码所表示的字符的说明图。 

图13(a)至图13(c)是表示包含了在特殊字符数据库中存储的字符码所表示的字符的单词的例子的说明图。 

图14是表示译词图像的例子的示意图。 

具体实施方式

以下，基于用于表示其实施方式的附图详细叙述本发明。 

图1是表示本发明的文档图像生成装置的内部结构的方块图。图中1是文档图像生成装置，文档图像生成装置1利用个人计算机(PC)或服务器装置等通用计算机来构成。文档图像生成装置1包括进行运算的CPU11、存储伴随运算而产生的暂时性信息的RAM12、从光盘或存储卡等记录介质2读取信息的CD-ROM驱动等的驱动单元13、以及硬盘等存储单元14。 

CPU11使驱动单元13从记录介质2读取本发明的计算机程序21，并使读取的计算机程序21存储在存储单元14。计算机程序21根据需要从存储单元14加载至RAM12，基于加载的计算机程序21，CPU11执行文档图像生成装置1所需的处理。 

另外，计算机程序21也可以是从未图示的外部的服务器装置经由因特网或LAN等通信网络下载至文档图像生成装置1，从而存储在存储单元14中的方式。 

存储单元14还存储有词典数据库22和特殊字符数据库23，所述词典数据库22记录了自然语言处理所需的数据，所述特殊字符数据库23记录了具有特定的形状的字符的数据。词典数据库22记录了用于表示语言的语法、文章结构的出现频率、以及单词的意思等的信息。特殊字符数据库23存储了表示在从拉丁文字体的基线离开的位置配置了字符的一部分或全部而被设计的字符的字符码。词典数据库22和特殊字符数据库23可以是最初开始存储在存储单元14中的方式，此外也可以是记录在记录介质2中的数据库被驱动单元13读取而存储在存储单元14中的方式。 

文档图像生成装置1此外包括：用户进行操作而输入各种处理指示等信息的键盘或点击设备等输入单元15、显示各种信息的液晶显示器等显示单元16、连接有图像读取装置31和图像形成装置32的接口单元17。图像读取装 置31是平台式扫描仪(flatbed scanner)或胶片扫描仪(film scanner)等的扫描仪，图像形成装置32是喷墨打印机或激光打印机等打印机。 

另外，图像读取装置31和图像形成装置32也可以构成为一体。 

图像读取装置31光学读取在文档原稿中记录的原稿图像而生成图像数据，并将所生成的图像数据发送到文档图像生成装置1。接口单元17接收从图像读取装置31发送的图像数据，并将从CPU11提供的图像数据发送给图像形成装置32。图像形成装置32基于从文档图像生成装置1发送的图像数据，形成图像。 

CPU11将本发明的计算机程序21加载至RAM12，并根据加载的计算机程序21，执行本发明的文档图像生成方法的处理。在该文档图像生成方法中，接受通过图像读取装置31读取在文档原稿中记录的原稿图像而生成的图像数据，并根据基于所接受的图像数据的原文档图像，生成附加了对于文章中的单词或词组的译词的附有译词的文档图像。 

这里，词组是由多个单词构成的具有独立的意思的语句，名词性短语、动词性短语、成语、或惯用语等相当于词组。 

图2是表示原文档图像和附有译词的文档图像的例子的示意图。图2(a)表示原文档图像的例子，图2(b)表示附有译词的文档图像的例子。在图2(a)所示的原文档图像中包含有“X-ray crystallographic analysis also confirmed the molecular structure.”的内容的文章。在本发明的文档图像生成方法中，如图2(b)所示，生成附加了对于词组“X-ray crystallographic analysis”、以及单词“confirmed”、“molecular”、以及“structure”的译词的附有译词的文档图像。在本实施方式中，说明如图2(a)和图2(b)所示，对横向书写的文章，在单词或词组的下方的行间配置译词的例子。 

图3是表示文档图像生成装置1所执行的处理的步骤的流程图。CPU11根据加载在RAM12中的计算机程序21，执行以下的处理。文档图像生成装置1首先接受被读取了原稿图像的图像数据(S10)，从而进行获取作为基于图像数据的图像的原文档图像的处理(S11)。在步骤S10、11中，在原稿读取装置31上载置文档原稿的状态下，用户操作输入单元15，从而输入单元15接受处理指示，且CPU11从接口单元17对图像读取装置31发送图像读取的指示。 

图像读取装置31光学读取在文档原稿上记录的原稿图像，从而生成图像 数据，并将所生成的图像数据发送至文档图像生成装置1。文档图像生成装置1执行以下处理：通过接口单元17接收从图像读取装置31发送的图像数据，并将通过接收而接受的图像数据存储在RAM12中，从而取得基于图像数据的原文档图像。另外，也可以代替S10、11，执行将预先存储在存储单元14中的图像数据读取到RAM12，从而获取原文档图像的处理。此外，CPU11在步骤S11的处理时，根据需要，进行分辨率的调整、以及图像数据的数据格式的变换等图像处理。 

接着，CPU11从存储在RAM12中的原文档图像，提取包含有字符的字符区域(S12)，并执行用于识别在提取的字符区域中包含的字符的处理(S13)。在步骤S13的处理中，CPU11例如利用以往的OCR(光学字符识别：Optical Character Recognition)技术，识别在字符区域中包含的字符、确定原文档图像中的字符位置。 

图4是表示通过字符识别得到的字符数据的例子的概念图。图4所示的例子表示从图2(a)例示的原文档图像，识别了字符的结果的一部分。通过字符识别得到的字符数据包含字符的识别结果和与字符有关的附属信息。在字符识别处理中，处于行内的空间也被识别为字符，字符数据中包含识别了空间的识别结果和关于该识别结果的附属信息。图4所示的字符数据包含对每个字符依次附加的字符号、各字符在原文档图像中的位置、对字符区域附加的区域号、用于表示各字符在行内的位置的行内位置信息、字符的大小、以及用于表示字符的内容的识别结果。各字符的位置通过原文档图像中的字符的左端的X坐标、上端的Y坐标、右端的X坐标、以及下端的Y坐标来表示。 

图4表示将原文档图像的左下端作为原点，以点为单位表示了坐标的例子。行内位置信息通过用于表示行头的1、用于表示行尾的2、用于表示行中的0、以及用于表示行头和行尾的3中的任一个数字来表示字符在行内的位置。例如，CPU11进行以下处理：在原文档图像中的字符的左侧无其他字符的情况下，生成行内位置信息1，在字符的右侧无其他字符的情况下，生成行内位置信息2，在左侧和右侧都无其他字符的情况下，生成行内位置信息3。作为字符的大小，以点为单位表示字符的字体大小。CPU11将通过步骤S13的字体识别处理而取得的字体数据存储在RAM12中。 

接着，CPU11执行译词取得处理，根据通过字符识别处理而取得的字符 数据，取得对于由识别后的字符构成的文章中所包含的单词或词组的译词(S14)。 

图5是表示步骤S14的译词取得处理的步骤的流程图。CPU11基于在步骤S13中识别的字符数据，生成用于表示在原文档图像中包含的各行中的文本的内容的行数据(S141)。在步骤S141，CPU11通过按照字符号的顺序从行头的字符至行尾的字符排列字符，从而生成对应于一行的行数据，并对各行生成行数据。 

图6是表示行数据的内容例的概念图。图6所示的例子表示根据在图2(a)中例示的原文档图像生成了行数据的结果。在图6中，与以0作为初始值对各行依次附加的行号相关联地，相关联了用于表示各行中的文本的内容的行文本。行文本的内容由用于表示通过字符识别处理识别的字符的字符码构成。 

接着，CPU11基于所生成的行数据，生成用于表示在原文档图像中包含的文本的内容的文本数据、以及记录了原文档图像中的换行位置的换行数据(S142)。在步骤S142中，CPU11通过将各行的行文本以行号的顺序进行连接，从而生成文本数据。此时，当原文档图像中记载的语言为英语等由空间隔开了单词的语言的情况下，通过在各行文本的最末尾插入了空间的基础上连接行文本。这是因为，在由空间来隔开单词的语言中，多数情况下换行位置成为单词的隔开点。在日语等没有以空间隔开单词的语言的情况下，CPU11不插入空间而连接行文本。而且在步骤S142中，CPU11通过在每次连接行文本时，记录在通过连接而生成的文本数据中哪个位置是对应于原文档图像中的换行位置的位置，从而生成换行数据。 

图7(a)和图7(b)是表示文本数据以及换行数据的内容例的概念图。图7(a)表示文本数据的例子，成为将图6的例子中表示的各行数据依次进行连接的内容。在图7(a)中，通过两行来表示了文本数据，但在数据上，文本数据成为对应于一行的数据。在步骤S142中，根据在步骤S12中提取的字符区域，生成包含了在步骤S13中识别的字符的文本数据。即，在步骤S142中生成的文本数据中一般包含多个句子(words)。 

图7(b)表示换行数据的内容例，通过以0为初始值对文本中的各字符依次附加了的号来表示由各行号表示的行中的换行位置。当由空间隔开了单词的语言的情况下，如图7(b)所示，该换行位置设为在连接行文本时插入 的空间的位置即可。当不是由空间隔开单词的语言的情况下，将各行尾的字符的位置设为换行位置即可。通过生成由换行位置连接了行数据的文本数据，从而在以后的处理中进行的自然语言处理中，能够以涉及多行的句子为单位执行自然语言处理，可有效地执行高精度的自然语言处理。例如，关于涉及多行的词组，相对于在以行为单位的自然语言处理中，仅得到对于词组中包含的各单词的译词，在涉及多行的自然语言处理中能够得到词组的译词。 

接着，CPU11对所生成的文本数据进行自然语言处理，从而进行用于估计在文本数据所表示的文章中包含的单词以及词组的意思的处理(S143)。在步骤S143中，CPU11基于在词典数据库22中记录的数据，进行文章的词素分析、局部句子结构分析、以及词类估计等自然语言处理，从而确定文章中包含的单词以及由多个单词构成的词组，并估计其意思。接着，CPU11进行以下处理：在文章中包含的单词以及词组内，选择为了对附有译词的文档图像进行附加而应取得译词的单词以及词组(S144)。 

记录在词典数据库22中的数据中，对每个单词和词组预先决定难易度，此外，存储单元14存储了设定了应对附有译词的文档图像中附加译词的单词以及词组的难易度的设定信息。设定信息的内容可通过用户操作输入单元15，由用户预先设定。在步骤S144，CPU11选择决定为由设定信息决定的难易度以上的难易度的单词以及词组，作为应取得译词的单词以及词组。通过步骤S144，选择需要配置译词的单词以及词组。另外，在步骤S144，可以进行在显示单元16显示用于输入应附加译词的单词以及词组的难易度的输入画面，并通过输入单元15输入难易度的处理，此外，也可以进行通过用户操作输入单元15，从而逐一指定应取得译词的单词以及词组的处理。 

接着，CPU11进行对各个已选择的单词以及词组，从词典数据库22取得译词的处理(S145)。在有多个译词的情况下，CPU11取得与通过步骤S143的自然语言处理而估计的意思相对应的译词。CPU11生成将单词或词组和已取得的译词相关联的译词数据，使其存储在RAM12中，并将处理返回主处理上。图8是表示译词数据的内容例的概念图。作为应取得译词的词组而选择“X-ray crystallographic analysis”，作为应取得译词的单词而选择“confirmed”、“molecular”、以及“structure”，并对各自关联译词。 

返回图3，CPU11执行用于对所取得的各个译词决定附属信息的附属信息决定处理，所述附属信息表示在附有译词的文档图像上配置译词时的位置 以及尺寸等的译词的配置状态(S15)。图9和图10是表示步骤S15的附属信息决定处理的步骤的流程图。CPU11基于字符数据，计算在原文档图像中包含各行的平均高度以及行间的大小(纵宽)(S151)。在步骤S151中，CPU11针对各行，根据字符数据取得行内的字符的上端和下端的Y坐标，并将各自的平均值作为各行的上端和下端的平均Y坐标。然后，CPU11将一行的上端和下端的平均Y坐标之差作为一行的平均高度，并将一行的下端的平均Y坐标和下一行的上端的平均Y坐标之差作为行间的大小。CPU11将所计算出的平均高度以及行间的大小与各行相关联，从而存储在RAM12中。接着，CPU11从所取得的译词中，选择一个译词(S152)。 

接着，CPU11进行用于决定译词的字体大小的处理(S153)。在步骤S153中，取得包含了应附加译词的单词或词组的行和下一行的行间的大小，并对所取得的行间的大小和应附加译词的单词或词组的字体大小进行比较。当行间的大小比单词或词组的字体大小的40％小的情况下，CPU11将译词的字体大小决定为单词或词组的字体大小的40％。当行间的大小比单词或词组的字体大小的80％大的情况下，CPU11将译词的字体大小决定为单词或词组的字体大小的80％。当行间的大小为单词或词组的字体大小的40％以上且80％以下的情况下，CPU11将译词的字体大小决定为与行间相同的大小。另外，作为阈值，可以使用与40％或80％不同的值。 

如步骤S153那样，通过对于各单词或词组分别决定译词的字体大小，即使在由于图像读取时行被失真读取等原因而在原文档图像中行间的大小有变动的情况下，也能够将译词配置成不与各行的字符重叠。 

另外，本发明中也可以进行不对于各单词或词组分别决定译词的字体大小，而是按照行单位决定译词的字体大小的处理。此时，由于在一行内译词的字体大小不会变动，因此提高了在行间配置了译词的文档的美观性。此外，在本发明中，也可以进行按照识别了字符的字符区域单位决定统一的译词的字符大小的处理。此时，译词的字体大小在段落等字符区域内被统一，提高在行间配置了译词的文档的美观性。 

接着，CPU11进行以下处理：设定在与单词或词组相邻的行间应配置沿着行的方向的译词的开始位置、以及可配置译词的结束位置(S154)。这里，开始位置是配置了译词时的译词的前端位置，结束位置是被决定为译词不能配置在此之后的界限的位置。在步骤S154，CPU11将应附加译词的单词或词 组的最初的字符的左端的X坐标设定为开始位置，并将单词或词组的最后的字符的右端的X坐标设定为结束位置。在词组中存在换行的情况下，CPU11将行尾设定为结束位置。 

另外，在本发明中，可以将开始位置设为从单词或词组的最初的字符的左端移动了规定量的位置，可以将结束位置设为从最后的字符的右端移动了规定量的位置。 

接着，CPU11通过对译词的字符数乘以字体大小而计算译词的长度，并通过从结束位置的值减去开始位置的值而计算可配置译词的配置空间的长度，并判定译词的长度是否比配置空间的长度长(S155)。当译词的长度比配置空间的长度长的情况下(S155：是)，CPU11判定在行中，在应附加译词的单词或词组的后方相邻的位置，是否存在其他的不在行间配置译词的单词(S156)。在后方存在其他的在行间不配置译词的单词的情况下(S156：是)，CPU11选择在后方相邻的单词，并将所选择的单词的最后的字符的右端的X坐标设定为结束位置，从而修正结束位置(S157)，并将处理返回步骤S155。 

在步骤S156，在后方不存在其他的在行间不配置译词的单词的情况下(S156：否)，CPU11判定在行中，在应附加译词的单词或词组的前方相邻的位置，是否存在其他的在行间不配置译词的单词(S158)。在前方存在其他的在行间不配置译词的单词的情况下(S158：是)，CPU11在位于前方相邻的单词的中心位置的后方的范围内，将开始位置向前方移动，从而修正开始位置(S159)。 

在步骤S159，例如在从译词的长度减去配置空间的长度的值比从前方相邻的单词的中心位置至开始位置的距离小的情况下，CPU11进行将开始位置向前方移动从译词的长度减去了配置空间的长度的值的处理。此外，例如，在从译词的长度减去了配置空间的长度的值是从前方相邻的单词的中心位置至开始位置的距离以上的情况下，CPU11进行将从前方相邻的单词的中心位置向后方移动了规定量的位置设为开始位置的处理。当开始位置过于向前方移动了的情况下，由于译词和单词或词组的对应关系变得不清楚，因此在步骤S159的处理中，将开始位置设为比前方相邻的单词的中心位置后方的位置为恰当。 

接着，CPU11判定译词的长度是否比修改了开始位置后的配置空间的长度长(S160)。在译词的长度比配置空间的长度长的情况下(S160：是)，或 者在步骤S158中在前方不存在其他的在行间不配置译词的单词的情况下(S158：否)，CPU11通过将配置空间的长度的值除以译词的长度的值，计算译词的长度的压缩率(S161)。在步骤S155中译词的长度为配置空间的长度以下的情况下(S155：否)，或者在步骤S160中译词的长度为配置空间的长度以下的情况下(S160：否)，CPU11将译词的长度的压缩率决定为1(S162)。 

通过步骤S155～S162的处理，对于比应附加译词的单词或词组的长度长的译词，在前后存在其他的应配置译词的单词的情况下，缩小译词的长度，使得译词的长度收敛于配置空间。通过缩小译词的长度，在配置了译词时不会与其他的译词的位置重叠，单词或词组和译词的对应关系清楚。此外在前后不存在其他的应配置译词的单词的情况下，在除了与应附加译词的单词或词组相邻的行间的位置之外，还包括与前后的单词相邻的行间的位置，决定译词在沿着行的方向的配置位置。因此，在配置译词时，配置译词至相邻于前后的单词的部分，不用极端地压缩译词的长度，能够以容易阅读的大小配置译词。 

在步骤S161或S162的处理结束了的情况下，CPU11进行上下方向位置决定处理，所述上下方向位置决定处理是在与单词或词组相邻的行间，决定与行方向正交的方向即上下方向的译词的配置位置(S163)。 

图11是表示步骤S163的上下方向位置决定处理的步骤的流程图。在图11的处理中，将用于判定的工作存储器1～3确保为RAM12，CPU11在处理之前，将这些工作存储器1～3清零(S1631)。 

接着，CPU11在应附加译词的单词或词组中所包含的字符中从第一个开始依次选择一个字符(S1632)，并判定所选择的一个字符的字符码是否与特殊字符DB1(参照图12(a))中已存储的字符码一致(S1633)。当所选择的一个字符的字符码与特殊字符DB1中已存储的字符码一致的情况下(S1633：是)，CPU11将所选择的一个字符存储在工作存储器1中(S1634)。这里的字符的存储基于字符码的存储。 

图12(a)和图12(b)是表示在特殊字符数据库23中以存储的字符码所表示的字符的说明图。特殊字符数据库23由图12(a)和图12(b)分别所表示的特殊字符DB1和特殊字符DB2构成。在特殊字符DB1中，存储有具有从拉丁文的字体中的基线向下方突出的部分的5个字符“g，j，p，q，y”的字 符码，在特殊字符DB2中，存储有字符整体从基线向上方离开的2个字符“’，””的字符码。 

当应附加译词的单词或词组中所包含的字符的字符码与特殊字符DB1的字符码一致的情况下，看起来单词或词组的下端从基线向下方离开。此外，当单词或词组中包含的字符的字符码与特殊字符DB2的字符码一致的情况下，相反，看起来单词或词组的下端从基线向上方离开。此时，通过将对单词或词组应配置译词的位置向上下方向变更，从而能够看起来译词紧密地对齐单词或词组的下方的行间。 

图13(a)、图13(b)和图13(c)是表示包含了在特殊字符数据库23中存储了的字符码所表示的字符的单词的例子的说明图。在图13(a)所示的单词“giant”中，包含有字符码与特殊字符DB1的字符“g”一致的字符。此外，图13(b)所示的单词“jpy”仅由特殊字符DB1的字符码所表示的字符构成。而且，图13(c)所示的单词“”””仅由特殊字符DB2的字符码所表示的字符构成。其中，将单词“giant”和“jpy”中包含的字符的下端的Y坐标从第一个字符开始依次设为YBn(n＝1，2，3......)。此外，将单词“”””中包含的字符的上端的Y坐标从第一个字符开始依次设为YT1和YT2。 

返回图11，当所选择的一个字符的字符码与特殊字符DB1中已存储的字符码不一致的情况下(S1633：否)，CPU11判定所选择的一个字符的字符码是否与在特殊字符DB2中已存储的字符码一致(S1635)。当与特殊字符DB2中已存储的字符码一致的情况下(S1635：是)，CPU11将所选择的一个字符存储在工作存储器2中(S1634)，当不一致的情况下(S1635：否)，CPU11将所选择的一个字符存储在工作存储器3中(S1637)。即，在存储器3中存储既不在特殊字符DB1中也不在特殊字符DB2中的字符。 

当结束了步骤S1634、S1636、或S1637的处理的情况下，CPU11判定在应附加译词的单词或词组中包含的字符中，是否有未选择的字符(S1638)。当有未选择的字符的情况下(S1638：是)，CPU11将处理返回步骤S1632。当无未选择的字符的情况下(S1638：否)，CPU11判定在工作存储器3中是否有已存储的字符(S1639)。 

当工作存储器3内有字符的情况下(S1639：是)，即，如对图13(a)所示的单词“giant”进行了处理的情况那样，在工作存储器3中存储有既不在特殊字符DB1中也不在特殊字符DB2中的字符的情况下，CPU11在应附 加译词的单词或词组中包含的字符中，特别根据工作存储器3内的字符，决定单词或词组的下端位置(S1640)。当以单词“giant”为例的情况下，CPU11取得字符“i，a，n，t”各自的下端的Y坐标YB2、YB3、YB4、YB5的值，并计算它们的平均值YBav而设为单词“giant”的下端的Y坐标。 

另外，这里计算Y坐标的情况下的平均值并不限于基于算术平均的值，例如可以使用中间值这样的值。 

在步骤S1639，当工作存储器3内无字符的情况下(S1639：否)，CPU11判定在工作存储器1中有无被存储的字符(S1641)。当工作存储器1内有字符的情况下(S1641：是)，即，如对图13(b)所示的单词“jpy”进行了处理的情况那样，在工作存储器3中没有存储既不在特殊字符DB1中也不在特殊字符DB2中的字符，且在工作存储器1中存储有特殊字符DB1中的字符的情况下，CPU11在应附加译词的单词或词组中包含的字符中，特别根据工作存储器1内的字符，决定单词或词组的下端位置(S1642)。以单词“jpy”为例的情况下，CPU11取得“j，p，y”的各个字符的下端的Y坐标YB1、YB2、YB3从而计算它们的平均的值YBav0，并将对值YBav0向上方移动了对在步骤S151中计算的各行的平均高度乘以一定值(例如0.2)的值的值YBav，设为单词“jpy”的下端的Y坐标。 

在步骤S1641，当工作存储器1内无字符的情况下(S1641：否)，即，如对图13(c)所示的单词“”””进行了处理的情况那样，当工作存储器1、3中没有存储字符，且在工作存储器2中存储有特殊字符DB2中的字符的情况下，即，应附加译词的单词或词组中包含的字符全部存储在工作存储器2中的情况下，CPU11根据工作存储器2内的字符，决定单词或词组的下端位置(S1643)。以单词“”””为例的情况下，CPU11取得两个字符“”，””的上端的Y坐标YT1、YT2从而计算它们的平均的值YTav，并将从值YTav减去了单词“”””所属的行的平均高度而得到的值YBav设为单词“”””的下端的Y坐标。 

当结束了步骤S1640、S1642、或S1643的处理的情况下，CPU11决定应对单词或词组附加的译词的下端位置(S1644)，并将处理返回附属信息决定处理。在步骤S1644，CPU11将从Y坐标为值YBva的位置向下方移动了在步骤S153中决定的译词的字体大小的位置，决定为译词的下端位置，即上下方向的译词的配置位置。通过步骤S163的上下方向位置决定处理，在文档 中的单词或词组相邻的行间固定在付有译词的文档中配置译词的位置。此外，通过步骤S153～S163的处理，决定表示在步骤S152中已选择的译词的字体大小、配置位置、以及压缩率的附属信息。 

在本发明中，也可以将从在步骤S1644中计算的译词的下端位置，进一步向下方移动了一定点数的位置决定为译词的配置位置。此时，在译词和单词或词组之间确保一定的间隙，从而提高阅读容易度。此外在本发明中，也可以进行以下处理：检测行的位置和倾斜度，并沿着行的倾斜度，决定译词的配置位置。此时，对于由于在图像读取时行被失真读取等原因而导致行倾斜的状态的原文档图像，也能够沿着行配置译词。 

在步骤S163的处理已结束的情况下，CPU11判定在所取得的译词中，是否有尚未决定附属信息的译词(S165)。此外，当存在尚未决定附属信息的译词的情况下(S165：是)，CPU11将处理返回步骤S152，从而从尚未决定附属信息的译词中选择一个译词。当不存在尚未决定附属信息的译词的情况下(S165：否)，CPU11在对译词数据中包含的译词相关联了所决定的附属信息的基础上，使译词数据存储在RAM12中，并将处理返回主处理。步骤S13～S15的处理对在步骤S12中提取的各个字符区域执行。 

接着，CPU11进行在与原文档图像相同大小的图像中，以由附属信息决定的配置状态配置各个译词，从而生成译词图像的处理(S17)。在步骤S17中，CPU11在与原文档图像相同的大小的图像中，以附属信息表示的大小在附属信息表示的配置位置，配置译词数据中包含的各个译词，从而生成译词图像。具体地说，生成将各个译词配置为如下的图像：将以附属信息表示的字体大小生成的译词的长度通过适当的压缩率进行压缩，各译词的第一个字符的左端成为开始位置，译词的下端成为上下方向的配置位置。而且，在步骤S17中，CPU11在译词图像中，对取得了译词的词组配置相当于下划线的线。而且，在步骤S17中，CPU11对译词图像中配置的各个字符相关联用于表示该字符的文本数据。此外在步骤S17，将所生成的译词图像中的译词和线以外的部分变为透明。 

图14是表示译词图像例的示意图。图14所示的例子表示从在图2(a)中例示的原文档图像中生成的译词图像。在图14中，配置有对于原文档图像中的单词和词组的译词，而且，对原文图像中的词组“X-ray crystallographic analysis”配置饿相当于下划线的线。 

接着，CPU11生成在与原文档图像相同大小的透明图像中，在相当于原文档图像中的各字符的位置的位置相关联了表示各字符的文本数据的透明文本图像，并通过对原文档图像上重叠透明文本图像和译词图像，从而生成附有译词的文档图像(S18)。例如，在步骤S18，设以PDF(Portable Document Format)格式的图像生成附有译词的文档图像，CPU11以原文档图像作为第1图像层，以透明文本图像作为第2图像层，以译词图像作为第3图像层进行重叠，从而生成PDF格式的附有译词的文档图像。图2(b)所示的附有译词的文档图像是通过在图2(a)所示的原文档图像上重叠了图14所示的译词图像而生成的附有译词的文档图像。通过生成对原文档图像上重叠了透明文本图像和译词图像的附有译词的文档图像，从而可从附有译词的文档图像中检索到文档的内容以及译词的内容，此外，也容易复印文档的内容以及译词的内容。 

接着，CPU11将表示附有译词的文档图像的图像数据从接口单元17发送到图像形成装置32，并使图像形成装置32进行基于图像数据形成附有译词的文档图像的处理(S19)，结束本发明的文档图像生成的处理。另外，在本发明中，也可以在步骤S19不进行用于形成附有译词的文档图像的处理，而进行在显示单元16进行显示，或者使存储单元14存储用于表示附有译词的文档图像的图像数据的处理。 

通过以上的处理，生成如图2(b)所示的附有译词的文档图像。对于由原文档图像中包含的单词或词组构成的语句的译词，被配置在与单词或词组相邻的行间，且阅读附有译词的文档的用户能够利用译词理解文档的内容。 

此外，根据语句中的字符是否与存储在特殊字符数据库中的具有特定的形状的字符一致，改变应附加补充说明的上下方向的位置，从而，应对语句附加的补充说明的位置在标准上是相对于由语句中的字符的上下方向的位置决定的语句的位置而决定的，当语句中的字符的一部分或全部是具有特定的形状的字符的情况下，相对于与所述语句的位置不同的位置而决定。 

从而，通过修改由于字符具有特定的形状而变动决定的语句的位置，从而决定了应附加补充说明的位置的情况下，可附加看起来漂亮地与语句的下方的行间对齐的补充说明。 

此外，由于在特殊字符数据库中存储有具有从基线向下方突出的形状的字符“g，j，p，q，y”(或向上方离开的字符“’，””)，因此在决定应附加补充说明 的位置时，最大限度地反映根据语句中的字符的形状而改变字符的上下方向的位置的程度，从而可适当地修改语句的位置。即，当语句中的全部的字符是存储在特殊字符数据库中的字符的情况下，考虑到语句的位置被决定为从上下方向的平均的字符的位置向下方(或向上方)偏移，将应附加补充说明的位置决定为比平均位置更上方(或下方)。然后，当语句中的字符的至少一个是没有存储在特殊字符数据库中的字符的情况下，将除了存储在特殊字符数据库中的字符以外的字符的上下方向的平均的位置设为语句的位置，从而决定应附加补充说明的位置。 

换言之，当语句中，存储在特殊字符数据库中的字符一个都未包含的情况下，基于语句中的字符的上下方向的平均的位置来决定应附加补充说明的位置。此外，当语句中至少包含一个存储在特殊字符数据库中的字符的情况下，将应附加补充说明的位置决定为相对于语句中的字符的上下方向的平均的位置向上方(或下方)偏移。 

从而，可将附加补充说明的位置校正成不会不自然地离开由单词或词组构成的语句的下端。 

而且，附有译词的文档图像通过对原文档图像重叠译词图像而生成，因此文档中包含的字符的大小以及位置不变，维持文档的布局。从而容易比较原文档和附有译词的文档，容易正确地理解文档的内容。此外，在附有译词的文档图像中，不是生成翻译了文章的译文，而是附加对于单词或词组的译词，因此原文档和译词的对应关系清楚，容易掌握。此外，即使有原文档中的单词的拼写错误、字符识别的处理中的错误识别、或自然语言处理的不完善而引起的错误翻译等的情况下，只是附加了错误的译词，从前后的文脉上容易推测到译词错误，不会太妨碍用户正确地理解文档的内容。此外在本发明中，由于不进行对于原文档的加工，因此不会由于字符识别的处理中的错误识别等原因而生成错误的内容的原文档，用户能够正确地理解文档的内容。 

另外，在本实施方式中，文档图像生成装置1是连接了图像读取装置31和图像形成装置32的通用计算机，但并不限于此，文档图像生成装置1也可以是具有图像读取功能的扫描仪或复合机等图像处理装置。此外，在本实施方式中，表示了文档图像生成装置1基于计算机程序21执行本发明的文档图像生成方法的方式，但并不限于此，也可以是文档图像生成装置1具有用于执行本发明的文档图像生成方法的处理的一部分或全部的专用的信息处理电 路，从而执行本发明的处理的方式。 

此外在本实施方式中，表示了对由图像读取装置31生成的原文档图像执行本发明的处理的方式，但文档图像生成装置1也可以是对通过其他方法得到的原文档图像执行本发明的处理的方式。例如，文档图像生成装置1也可以是接收通过传真通信或电子邮件等从外部发送的图像数据，并对所接收的图像数据执行文档图像生成方法的处理的方式。此外例如，文档图像生成装置1也可以是对接口单元17连接拍摄装置，对拍摄装置拍摄原稿图像而取得的原文档图像执行文档图像生成方法的处理的方式。 

此外例如，文档图像生成装置1也可以是取代接口单元17而具有连接到连接有外部的网络服务器装置的通信网络的通信单元，通信单元接收从网络服务器装置发送的网页用的数据，并对基于接收到的数据的图像数据，执行文档图像生成方法的处理的方式。具体地说，基于所接收的数据，生成用于表示作为网页的原文档图像的图像数据，并使RAM12存储生成的图像数据和网页用的数据。此时，当网页用的数据是图像数据等能够提取文本数据的数据时，只要将从基于RAM12中存储的图像数据的原文档图像中识别的字符与从存储在RAM12中的网页用的数据中提取的文本数据进行配合即可。执行本发明的处理而生成的附有译词的文档图像可以在显示单元16显示，也可以从接口单元17发送到图像形成装置32。 

此外，在本实施方式中，表示了作为鲁比(补充说明)，取得了对单词或词组的译词，并生成在行间配置了译词的附有译词的文档图像的方式，但本发明的鲁比并不限于译词。例如，本发明也可以是作为鲁比，将通过阅读假名、发音记号或拼音记号等说明了单词或词组的读音的阅读信息，配置在与单词或词组相邻的行间的方式。在该方式的情况下，阅读文档的用户能够确认文档中的单词或词组的读音。此外，例如，本发明也可以是作为鲁比，将说明了单词或词组的意思、同义词或由来等的注释，配置在与单词或词组相邻的行间的方式。在该方式的情况下，阅读文档的用户例如通过母语也能够理解难懂的语言或专用语等。在这些方式中，文档图像生成装置1进行将与单词或词组相关联的阅读信息或注释预先记录在词典数据库22中，从词典数据库22取得阅读信息或注释的处理。 

此外，在本实施方式中，在横向书写的语句的下方的行间附加补充说明，但也可以在语句的上方的行间附加补充说明，也可以将本发明适用于纵向书 写的文章。例如，在对日文的纵向书写的文档执行本发明的处理的方式的情况下，只要将译词配置在与单词或词组相邻的右侧方的行间即可。 

此外，在本实施方式中，表示了文档图像生成装置1将词典数据库22记录在内部的存储单元14中的方式，但并不限于此，本发明的文档图像生成装置也可以是利用外部的词典数据库执行本发明的处理的方式。例如，可以在文档图像生成装置的外部的服务器装置存储词典数据库，文档图像生成装置根据需要从外部的词典数据库读取必要的数据，从而执行本发明的处理。 

由于可以以各种方式执行本发明而不脱离本发明的主要特征，因此本实施例是例示性的而不是限制性的，因为本发明的范围由所附权利要求而不是由它们之前的描述所限定，并且落入权利要求的范围的所有改变，或其范围的等价物因此旨在被权利要求所涵盖。 

Claims (7)

1.一种文档图像生成装置，包括：

接受单元，接受表示原稿图像的图像数据；

单词提取单元，提取在所述接受单元接受的图像数据所表示的原稿图像中包含的单词；

字符提取单元，提取在所述单词提取单元所提取的单词中包含的字符；

特定字符存储单元，存储在所述字符提取单元应提取的字符中的特定字符；

判断单元，判断所述特定字符存储单元中存储着的特定字符是否包含在所述字符提取单元提取的字符中；

作成单元，作成对于所述单词提取单元提取的单词的鲁比；

生成单元，生成鲁比附加图像数据，所述鲁比附加图像数据表示对所述接受单元接受的图像数据所表示的原稿图像附加所述作成单元作成的鲁比的鲁比附加图像；以及

调整单元，调整在所述生成单元生成的鲁比附加图像数据所表示的鲁比附加图像内，所述作成单元所作成的鲁比的位置，其中，

所述调整单元调整所述鲁比的上下方向位置，使得所述判断单元判断为在所述字符提取单元提取到的字符中包含有所述特定字符的情况下的所述鲁比的位置、与所述判断单元判断为在所述字符提取单元提取的字符中没有包含所述特定字符的情况下的所述鲁比的位置不同。

2.如权利要求1所述的文档图像生成装置，还包括：

词组提取单元，提取在所述接受单元接受的图像数据所表示的原稿图像中包含的词组；

第2字符提取单元，提取在所述词组提取单元提取了的词组中包含的字符；

第2作成单元，作成对于所述词组提取单元所提取的词组的第2鲁比；

第2生成单元，生成第2鲁比附加图像数据，所述第2鲁比附加图像数据表示对所述接受单元接受的图像数据所表示的原稿图像附加了所述第2作成单元所作成的第2鲁比的第2鲁比附加图像；以及

第2调整单元，调整在所述第2生成单元生成的第2鲁比附加图像数据所表示的第2鲁比附加图像内的所述第2作成单元所作成的第2鲁比的位置，其中，

所述判断单元判断在所述特定字符存储单元中存储着的特定字符是否包含在所述第2字符提取单元所提取的字符中，

所述第2调整单元调整所述鲁比的上下方向位置，使得在所述判断单元判断为所述第2字符提取单元提取的字符中包含有所述特定字符的情况下的所述第2鲁比的位置和在所述判断单元判断为所述第2字符提取单元提取的字符中未包含所述特定字符的情况下的所述第2鲁比的位置不同。

3.如权利要求2所述的文档图像生成装置，还包括：

句子提取单元，提取在所述接受单元接受的图像数据所表示的原稿图像中包含的句子；

第3字符提取单元，提取在所述句子提取单元所提取的句子中包含的字符；

第3作成单元，作成对于所述句子提取单元所提取的句子的第3鲁比；

第3生成单元，生成第3鲁比附加图像数据，所述第3鲁比附加图像数据表示对所述接受单元接受的图像数据所表示的原稿图像附加所述第3作成单元作成的第3鲁比的第3鲁比附加图像；以及

第3调整单元，调整在所述第3生成单元生成的第3鲁比附加图像数据所表示的第3鲁比附加图像内的所述第3作成单元所作成的第3鲁比的位置，

所述判断单元判断在所述特定字符存储单元中存储着的特定字符是否包含在所述第3字符提取单元提取的字符中，

所述第3调整单元调整所述鲁比的上下方向位置，使得在所述判断单元判断为所述第3字符提取单元提取的字符中包含有所述特定字符的情况下的所述第3鲁比的位置和在所述判断单元判断为所述第3字符提取单元提取的字符中未包含所述特定字符的情况下的所述第3鲁比的位置不同。

4.如权利要求1至3的任一项所述的文档图像生成装置，其中，

所述鲁比是应附加该鲁比的对象的译词或读音。

5.如权利要求1至3的任一项所述的文档图像生成装置，其中，

所述特定字符存储单元存储“g”、“j”、“p”、“q”、“y”作为所述特定字符。

6.如权利要求1至3的任一项所述的文档图像生成装置，其中，

所述特定字符存储单元包含单引号和双引号作为所述特定字符。

7.如权利要求1所述的文档图像生成装置，其中，

所述作成单元所作成的鲁比是基于表示该鲁比的鲁比数据而作成，

该鲁比数据根据所述接受单元所接受的图像数据独立地保持。

Images