CN103093252B - 信息输出装置以及信息输出方法 - Google Patents

Abstract

从通过对图像进行字符识别而得的文本提取能够输出与该语句相关的补充信息的语句，在与提取出的语句的前端侧或者末尾侧相邻的字符或者符号不是规定的字符或者符号的情况下，输出与上述语句相关的补充信息，在与上述提取出的语句的前端侧或者末尾侧相邻的字符或者符号是上述规定的字符或者符号的情况下，省略与上述语句相关的补充信息的输出。即使字符识别发生错误，也能够抑制输出与原文无关的补充信息的不良情况。

Description

信息输出装置以及信息输出方法

技术领域

本发明涉及用于输出通过对图像进行字符识别而得到的文本所涉及的补充信息的信息输出装置以及信息输出方法。

背景技术

以往，提出了一种使用图像读取装置将记录在记录用纸或者书籍等原稿上的文本读取为图像，对读取出的图像实施字符识别处理的技术（参照日本特开平9-44604号公报，日本特开平9-44606号公报）。另外，以往还提出一种使用作为字符识别处理的结果而输出的文章，来翻译原文本（以下，称为原文）的技术（参照日本特开2011-100356号公报）。

在日本特开2011-100356号公报中记载的文本图像生成装置根据表示原文的电子文本图像（以下，称为原文图像），生成在原文的行间区域，将翻译原文而得到的结果（以下，称为译文）一并标注为注释（ruby）状的电子文本图像（以下称为带译文文本图像。）

以下，将原文所包含的语句称为原句，针对原句一并标注为注释状的译语称为译语注释。另外，以下，在明示字符间存在的空白字符的情况下，代替空白字符“”而使用下划线“＿”。英译日的情况下，“Animation”以及“ion”等一般名词通常被翻译。然而，不定冠词以及在翻译时所使用的词典中未被记载的语句（例如“ma”）等不被翻译。

在如日本特开2011-100356号公报中记载的文本图像生成装置中，例如，在原句“Animation”被准确地识别为“Animation”的情况下，识别结果“Animation”被作为一个单词“Animation”处理。此时，对原句“Animation”一并标注了正确的译语注释“アニメーション（动画）”。

发明内容

然而，在原句“Animation”错误地被字符识别为“An！-ma ｜；＿ion”的情况下，（即、被误识别的情况下），识别结果“An！＿ma ｜；＿ion”被作为三个单词“An”，“ma”，“ion”处理。此时，对原句“Animation”的末尾部分的“ion”一并标注错误的译语注释“イオン（离子）”。错误的译语注释往往与原句毫无关系。因此，译文的读者可能会误解原文的意思，或者不明白意思而产生混乱。

本发明是鉴于这种情况而提出的，其主要目的在于提供一种在与通过对图像进行字符识别而得到的语句的前端侧（或者末尾侧）相邻的字符或者符号为规定的字符或者符号的情况下，不输出所得到的语句的补充信息的构成，由此即使发生误识别，也能够抑制与原文无关系的补充信息被输出的不良情况的信息输出装置以及信息输出方法。

本发明的信息输出装置是输出与通过对图像进行字符识别而得到的文本相关的补充信息的信息输出装置，该信息输出装置具备：语句提取部，其从上述文本，提取能够输出与该语句相关的补充信息的语句；语句判定部，其判定与该语句提取部提取出的语句的前端侧或者末尾侧相邻的字符或者符号是否是规定的字符或者符号；补充输出部，在该语句判定部判定成否的情况下，该补充输出部输出与上述语句相关的补充信息；输出省略部，在上述语句判定部判定为是上述规定的字符或者符号的情况下，省略与上述语句相关的补充信息的输出。

在本发明的信息输出装置中，上述语句判定部判定与上述语句的前端侧或者末尾侧相邻的N个（N为N≥2的自然数）的字符或者符号是否全部为上述规定的字符或者符号，上述补充输出部在上述语句判定部判定为上述N个字符或者符号中的、至少一个字符或者符号不是上述规定的字符或者符号的情况下，输出与上述语句相关的补充信息，上述输出省略部在上述语句判定部判定为全部是上述规定的字符或者符号的情况下，省略与上述语句相关的补充信息的输出。

在本发明的信息输出装置中，在上述语句的前端侧或者末尾侧与空白字符相邻的情况下，上述语句判定部忽略上述空白字符。

本发明的信息输出方法为输出与通过对图像进行字符识别而得到的文本相关的补充信息的信息输出方法，从上述文本提取能够输出与该语句相关的补充信息的语句，在与提取出的语句的前端侧或者末尾侧相邻的字符或者符号不是规定的字符或者符号的情况下，输出与上述语句相关的补充信息，在与上述提取出语句的前端侧或者末尾侧相邻的字符或者符号是上述规定的字符或者符号的情况下，省略与上述语句相关的补充信息的输出。

本发明涉及的计算机程序是用于使计算机输出与通过对图像进行字符识别而得到的文本相关的补充信息的计算机程序，该计算机程序使计算机执行从上述文本，提取能够输出与该语句相关的补充信息的语句的提取步骤；使计算机执行判断与上述提取步骤中提取出的语句的前端侧或者末尾侧相邻的字符或者符号是否是规定的字符或者符号的语句判定步骤；在该语句判定步骤中判定为否的情况下，使计算机执行输出与上述语句相关的补充信息的输出步骤；在上述语句判定步骤中判定为是上述字符或者符号的情况下，使计算机执行省略与上述语句相关的补充信息的输出的省略步骤。

根据本发明，信息输出装置具备语句提取部、语句判定部、补充输出部以及输出省略部。本发明的信息输出装置实现本发明的信息输出方法。另外，本发明的计算机程序使用计算机的硬件要素以软件方式实现本发明的信息输出装置所具备的各种单元。

语句提取部从通过对图像进行字符识别而得到的文本中，提取能够输出与该语句相关的补充信息的语句。在此，能够输出与该语句相关的补充信息的语句是指，至少存在与该语句相关的补充信息的语句。另外，语句提取部提取出的语句是指，通过对图像进行字符识别而得到的文本中所包含的语句。以下，将语句提取部提取出的语句称为提取语句。

通过对图像进行字符识别而得到的文本存在与原文本（即原文）不同的可能性。这是由于在字符识别时会发生误识别而导致的。因此，语句判定部判定与提取语句的前端侧以及末尾侧中的、至少一方相邻的字符或者符号是否是规定的字符或者符号（以下，称为特别字符）。

在此，特别字符是指，由于误识别原文中所包含的字符或者符号而得的可能性高的字符或者符号（例如将字符“X”识别为符号“×”）。或者，特别字符是指，由于误识别图像中所包含的污染或者空白部分等而得的可能性高的字符或者符号（例如将点状的污染识别为符号“·”）。

语句判定部判定为否的情况是指，与提取语句的前端侧（或者末尾侧）相邻的字符或者符号不是特别字符的情况。该情况下，能够推断为提取语句作为准确进行了字符识别的结果而得到。因此，该情况下，补充输出部输出与提取语句相关的补充信息。此时输出的补充信息是与原句相关的补充信息。

另一方面，语句判定部在判定为与提取语句的前端侧（或者末尾侧）相邻的字符或者符号为特别字符的情况下，能够推断为提取语句作为误识别的结果而得到。因此，该情况下，输出省略部省略与提取语句相关的补充信息的输出。此时省略输出的补充信息（即、未被输出的补充信息）是与原句无关的补充信息。

根据本发明，语句判定部判定与提取语句的前端侧以及末尾侧中的、至少一方相邻的N个字符或者符号是否全部是特别字符。其原因在于认为，作为原文被准确进行了字符识别的结果，存在获得特别字符的可能性，但是如果准确进行了字符识别，与提取语句的前端侧（或者末尾侧）相邻的N个字符或者符号全部为特别字符的可能性低。

语句判定部判定为否的情况是指，与提取语句的前端侧（或者末尾侧）相邻的N个字符或者符号中的至少一个字符或者符号不是特别字符的情况。该情况下，能够更加可靠地推断提取语句是作为被准确进行了字符识别的结果而得到的。因此，该情况下，补充输出部输出与提取语句相关的补充信息。

另一方面，语句判定部在判定为与提取语句的前端侧（或者末尾侧）相邻的字符或者符号全部为特别字符的情况下，能够更加可靠地推断提取语句是作为误识别的结果得而得到的。因此，该情况下，输出省略部省略与提取语句相关的补充信息的输出。

以上的结果为，能够抑制由语句判定部进行的判定，即、是否是误识别的判定中产生错误。进而，能够抑制与作为被准确进行了字符识别的结果而得的提取语句相关的补充信息不被输出这一不良情况。

根据本发明，在提取语句的前端侧以及末尾侧中的、至少一方与空白字符相邻的情况下，语句判定部忽略空白字符而进行判定处理。例如在英文中，在单词间以及句与句之间等配置有空白字符。因此，假设，如果语句判定部不忽略空白字符而进行了判定处理，则不管特别字符中是否包括空白字符，语句判定部都有可能将作为准确进行了字符识别的结果而得到的提取语句和作为误识别的结果而得的提取语句误判定。如果语句判定部忽略空白字符来进行判定处理，则能够抑制这样的不良情况。

在利用本发明的信息输出装置以及信息输出方法的情况下，能够不输出与作为误识别的结果而得的语句相关的补充信息，即、与原句无关的补充信息。因此，能够抑制与原句无关的无用的补充信息导致对原句以至原文的误解或者混乱等这样的不良情况的产生。另一方面，能够输出与作为被准确进行了字符识别的结果而得的语句相关的补充信息，即、与原句相关的补充信息。与原句相关的有用补充信息能够有助于对理解原句以至原文。

附图说明

图1是表示本发明的实施方式的信息输出装置的主要部分构成的框图；

图2是说明利用本发明的实施方式的信息输出装置生成带译文的文本图像的顺序的功能框图；

图3是表示本发明的实施方式的信息输出装置所执行的信息输出处理的顺序的流程图；

图4是表示输入至本发明的实施方式的信息输出装置的原文图像的一个例子的示意图；

图5是表示利用本发明的实施方式的信息输出装置生成的字符数据的一个例子的示意图；

图6是表示本发明的实施方式的信息输出装置所执行的译语获取处理顺序的详细内容的流程图；

图7是表示利用本发明的实施方式的信息输出装置生成的行文本（text）的一个例子的示意图；

图8是表示存储在本发明的实施方式的信息输出装置所具备的补充信息词典DB中的数据的一个例子的示意图；

图9是表示利用本发明的实施方式的信息输出装置生成的翻译许可与否表中保存的数据（翻译许可与否判定前）的一个例子的示意图；

图10是表示本发明的实施方式的信息输出装置所执行的翻译许可与否判定处理顺序的详细内容的流程图；

图11是表示本发明的实施方式的信息输出装置所具备的特别字符表中保存的数据的一个例子的示意图；

图12是表示本发明的实施方式的信息输出装置所执行的判定特别字符的在否的处理的顺序的详细内容的流程图；

图13是表示利用本发明的实施方式的信息输出装置生成的翻译许可与否表中保存的数据（翻译许可与否判定后）的一个例子的示意图；

图14是表示从本发明的实施方式的信息输出装置输出的带译文文本图像的一个例子的示意图；

图15是表示从以往的信息输出装置输出的带译文文本图像的一个例子的示意图；

图16是表示原文图像以及带译文文本图像的另一个例子的示意图；以及

图17是表示原文图像以及带译文文本图像的其他的一个例子的示意图。

具体实施方式

以下，基于表示实施方式的附图对本发明进行详述。

图1是表示本发明的实施方式的信息输出装置1的主要部分构成的框图。信息输出装置1使用个人计算机或者服务器等通用计算机来构成。信息输出装置1具备控制部11、RAM12、驱动部13、存储部14、操作部15、显示部16以及I／F（接口）部17。

控制部11是信息输出装置1的控制中枢。控制部11将RAM12用作工作区域，对装置各部进行控制，另外还执行各种处理。驱动部13例如使用CD-ROM驱动器构成，从安装于自身的记录介质2读取各种信息。记录介质2例如为光盘，在记录介质2中记录有计算机程序2P。计算机程序2P作为本发明的实施方式中的计算机程序发挥功能。存储部14使用非易失性的大容量存储装置构成。存储部14被控制部11进行各种数据读写。

控制部11从安装于驱动部13的记录介质2读取计算机程序2P，使读取出的计算机程序2P存储在存储部14中。另外，控制部11将计算机程序2P下载到RAM12，根据下载的计算机程序2P来实现本发明的实施方式的信息输出方法。

在存储部14中预先存储有各后述的字符识别词典DB（数据库）141、补充信息词典DB142以及特别字符表143。操作部15使用用于用户对信息输出装置1进行操作的键盘以及鼠标等构成。用户通过对操作部15进行操作，将各种指示输入至信息输出装置1。输入的指示被提供给控制部11。显示部16例如使用液晶显示器构成，被控制部11控制而显示例如利用信息输出装置1生成的带译文文本图像。I／F部17用于将信息输出装置1与信息输出装置1的外部的图像读取装置31以及图像形成装置32（分别后述）连接。

图像读取装置31是扫描仪或者是作为扫描仪而发挥功能的数字复合机等。图像读取装置31将记录在自身所载置的原稿上的文本作为图像进行光学读取。图像读取装置31读取出的图像被发送到信息输出装置1。此时被发送的图像是表示原文本（即、原文）的原文图像。信息输出装置1的控制部11经由I／F部17接收从图像读取装置31发送的原文图像。

在本实施方式中，对基于接收到的原文图像，控制部11生成PDF（Portable Document Format）形式的带译文文本图像的情况进行说明。本实施方式中的带译文文本图像是指，在原文的下侧的行间区域，作为补充信息的译文被一并标注为注释（ruby）状的构成。其中，一并标注译文的行间区域并不限定为原文的下侧的行间区域。

另外，在本实施方式中，作为原文以及译文，例示了英文以及将英文中的单词或者词组进行了日译的日文。其中，作为具体例，例示了英语的原句与日本语的译语（参照后述的图4以及图14）。

控制部11使生成的带译文文本图像显示于显示部16。或者、控制部11将生成的带译文文本图像经由I／F部17向图像形成装置32发送。图像形成装置32是打印机或者作为打印机而发挥功能的数字复合机等，其将接收到的带译文文本图像形成在记录用纸上。在本实施方式中，虽然图像读取装置31以及图像形成装置32被分体构成，但也可以将他们一体构成。

其中，信息输出装置1并不局限于从信息输出装置1的外部接收原文图像的构成。例如还可以是通过一边对显示部16进行视觉识别一边对操作部15进行操作，从而用户生成包含手写字符的原文图像的构成。另外，利用信息输出装置1生成的带译文文本图像还可以被发送至信息输出装置1的外部的个人计算机或者服务器等。

接下来，对控制部11生成带译文文本图像时的顺序进行说明。

图2是用于说明利用信息输出装置1生成带译文文本图像的顺序的功能框图。图2中示出了控制部11的功能。图3是示出信息输出装置1所执行的信息输出处理的顺序的流程图。

控制部11根据下载到RAM12的计算机程序2P，执行图3所示的信息输出处理。执行S11～S17的处理的控制部11作为图2所示的原文图像获取部41、字符区域提取部42、字符识别部43、译语获取部44、附属信息决定部45、带译文文本图像生成部46以及带译文文本图像输出部47发挥功能。关于附属信息将后述。

在原稿载置于图像读取装置31的状态下，通过用户对操作部15进行操作，信息输出处理被开始执行。首先，控制部11获取原文图像（S11）。S11中的控制部11向图像读取装置31发送图像读取的指示。其结果为，原文图像从图像读取装置31被发送到信息输出装置1。此时，控制部11将接收到的原文图像存储于RAM12。另外，控制部11根据需要对原文图像实施分辨率的调整以及数据形式的变换等图像处理。此外，在S11中，还可以预先将存储在存储部14中的原文图像读出到RAM12。

图4是表示输入到信息输出装置1中的原文图像的一个例子的示意图。图4所示的原文图像510包含由原句“Animation”构成的一行。以下，说明作为S11的处理的结果，获取原文图像510的情况。

在图3所示的S11的处理结束后，控制部11从存储在RAM12中的原文图像提取包含字符的字符区域（S12），对提取出的字符区域中所包含的字符进行识别（S13）。S13中的控制部11例如利用公知的OCR（Optical Character Recognition）技术来进行包含在字符区域中的字符的识别。此时，控制部11生成后述的如图5所示那样的字符数据，并使其存储在RAM12中。另外，在字符识别处理中，主要根据字符的形状（即、字形）进行图像匹配，从而确定字符。为此，在字符识别词典DB141中预先存储有各字符的字形数据。

图5是表示字符数据的一个例子的示意图。字符数据包括S13中的字符的识别结果（以下称为识别字符）、和识别字符的附属信息。图5所示的“字符”为识别字符。在字符识别处理中，终止符以及逗号等符号以及空白字符等也作为字符处理。因此，在识别字符中，包括“A”以及“n”等罗马字、“！”以及“｜”等符号、表示空白字符的“（空白）”。

图5所示的“字符编号”是控制部11对识别字符依次分别赋予的识别编号。图5所示的“左X”、“上Y”、“右X”、“下Y”、“区域编号”、“行内位置”以及“尺寸”为附属信息。“左X”、“上Y”、“右X”以及“下Y”表示原文图像中的各识别字符的位置。各识别字符的位置以识别字符的左端的X坐标、上端的Y坐标、右端的X坐标以及下端的Y坐标表示。“区域编号”是控制部11对字符区域赋予的识别编号。

“行内位置”表示各识别字符在行内的位置。行内位置使用表示行头的“1”，表示行末的“2”，表示行中的“0”以及表示行头且行末的“3”中的任意数值来表示。行内位置“3”仅在行内的字符数为一个的情况下使用。行内位置“1”、“2”在行内的字符数为2个以上的情况下使用。行内位置“0”在行内的字符数为三个以上的情况下使用。“尺寸”是识别字符的字体尺寸，单位为磅（point）。

在图3所示的S13的处理结束后，控制部11执行其次的图6所示的译语获取处理（S14）。

图6是表示译语获取处理顺序的详细内容的流程图。控制部11基于S13中生成的字符数据，生成表示各行中的文本的内容的行数据（S31）。S31中的控制部11通过按照字符编号的顺序从行头的字符到行末的字符来排列识别字符，生成与一行对应量的行文本，通过将生成的行文本与行文本的识别编号、即行编号建立关联，从而生成行数据。

图7是表示行文本的一个例子的示意图。根据图5所示的字符数据生成的行文本为图7所示的“An！＿ma ｜；＿ion”。因此，原句“Animation”被误识别为“An！＿ma ｜；＿ion”。然而，在该阶段，控制部11不会判定误识别的有无。

接下来，控制部11根据图6所示的S31中生成的行数据，生成接下来说明的文章数据以及换行数据（S32）。

S32中的控制部11通过按照行编号的顺序连结行文本，生成文章数据。在本实施方式中例示的原文的语言为英语，因此行文本是通过对各行文本的最末尾插入空白字符而连结。插入的空白字符的位置相当于换行位置。S32中的控制部11通过将行编号与换行位置建立关联，来生成换行数据。

在S32的处理结束后，控制部11使用存储在补充信息词典DB142中的数据（参照其次的图8），执行后述的S33以及S35的处理。

图8是表示存储在补充信息词典DB142中的数据的一个例子的示意图。在补充信息词典DB142中，保存有自然语言处理所需要的数据和后述的翻译等级。自然语言处理所需要的数据是语言的语法、句法的出现频度以及单词的意思等的数据。例如，在补充信息词典DB142中，将原句与译语与翻译等级相关联地保存。具体地说，针对原句“An”，译语“一つの（一个）”和翻译等级“0”相关联，针对原句“Animation”，译语“アニメーション（动画）”和翻译等级“4”相关联。

翻译等级对应原句的难易度。对难易度高的原句一并标注译语注释，而对难易度低的原句的译语注释的一并标注被省略。其原因在于，将与全部的原句对应的译语注释配置在行间区域一般比较困难，假设，即使能够一并标注，但也存在可读性变差的可能性。

控制部11将翻译等级在用户使用操作部15设定的设定翻译等级、或者默认设定的设定翻译等级以上的原句判定为难易度高的原句。本实施方式中的设定翻译等级为“1”以上，具体而言为“4”。因此，对“Animation”一并标注了译语注释，未对“an”一并标注译语注释。

控制部11针对在图6所示的S32中生成的文章数据，一边检索补充信息词典DB142一边进行自然语言处理。此时，控制部11提取文章数据所表示的文章中所包含的语句（S33）。S33中的控制部11进行文章的词素解析、局部句法解析以及词类推断等自然语言处理。此时，控制部11提取文章中包含的单词以及由多个单词构成的词组。然后，控制部11生成包含提取出的语句（即、提取语句）的翻译许可与否表（参照接下来的图9），并使其存储在RAM12中。

图9是表示存储在翻译许可与否表中的数据的一个例子的示意图。其中，图9所示的翻译许可与否表的内容是后述的S34的处理执行前（即、翻译许可与否判定前）的内容。

控制部11针对各提取语句，与作为提取语句的识别编号的ID、位于提取语句的前端的识别字符的字符编号、提取语句的字符数、与提取语句对应的原句的翻译等级（以下，称为提取语句的翻译等级）建立关联，从而生成翻译许可与否表。通过执行后述的S34以及S35的处理，各提取语句还与后述的翻译许可与否以及译语相关联。

根据包含图7所示的行文本“An！＿ma ｜；＿ion”的文章数据生成图9A所示的翻译许可与否表。以下，对图9A所示的翻译许可与否表的生成进行说明。空白字符是单词间的划分。因此，控制部11将“An！＿ma ｜；＿ion”划分为“An！”、“ma ｜；”以及“ion”的3部分。接下来，“An！”所包含的“！”为感叹号，“ma ｜；”中包含的“｜”以及“；”为竖线（pipe）以及分号。因此，控制部11将“An！”以及“ma ｜；看做“An”以及“ma”。

在补充信息词典DB142中，图8所示那样，“an”以及“ion”作为原句被保存，但未保存“An”以及”ma”。然而，“An”的“A”位于文头。故，控制部11将“An”看做与“an”相等。这样，语句“An”以及“ion”是能够将译语注释一并标注的语句。对于语句“ma”而言，由于没有译语，所以不能够一并标注译语注释。

以上的结果为，控制部11从“An！＿ma ｜；＿ion”获得2个提取语句“An”以及“ion”。然后，控制部11对提取语句“An”赋予ID“1”，对提取语句“ion”赋予ID“2”，与字符编号以及字符数一起保存在翻译许可与否表中。这样，发生误识别时的提取语句与原句不一致。S33中的控制部11提取出的提取语句是本发明的实施方式中的能够输出与该语句相关的补充信息的语句。执行S33的处理的控制部11作为本发明的实施方式中的语句提取部而发挥功能。

另外，在S13的处理中，原句“Animation”被准确进行字符识别的情况下，通过S31以及S32的处理，生成包含行文本“Animation”的文章数据。从文章数据“Animation”获取一个单词“Animation”。在补充信息词典DB142中，“Animation”作为原句被保存，单词“Animation”的“A”位于文头，所以“Animation”等于“animation”。因此，该情况下，生成图9B所示的翻译许可与否表。这样，被准确进行了字符识别的情况下的提取语句与原句一致。

在此，翻译许可与否是指是否许可存储在翻译许可与否表中的各提取语句的翻译。关于在翻译许可与否表中与翻译许可与否的“许”建立有关联的提取语句，在带译文文本图像中，对与该提取语句对应的原句一并标注译语注释。即、输出补充信息。关于在翻译许可与否表中与翻译许可与否的“否”建立有关联的提取语句，在带译文文本图像中，未对与该提取语句对应的原句一并标注译语注释。即、省略补充信息的输出。

控制部11在图6所示的S33的处理结束后执行其次的图10所示的翻译许可与否判定处理（S34）。其结果为，按每一个提取语句来判定翻译的许可与否。

图10是表示翻译许可与否判定处理顺序的详细内容的流程图。控制部11选择一个保存在翻译许可与否表中的提取语句中的、关于该提取语句尚未执行S52以后的处理的提取语句（S51）。接下来，控制部11参照翻译许可与否表，判定在S51中选择出的提取语句的翻译等级是否在设定翻译等级以上（S52）。在翻译等级未满设定翻译等级的情况下（S52中为“否”），控制部11在翻译许可与否表中，对在S51中选择出的提取语句与翻译许可与否的“否”建立关联（S53）。

具体而言，如果在S51中选择的提取语句为“An”，则在S52中判定为否（NO），在S53中，针对提取语句“An”与翻译许可与否的“否”建立关联。如果在S51中选择出的提取语句为“ion”或者“Animation”，则由于翻译等级在设定翻译等级以上，所以在S52中判定为是（YES）。

在翻译等级在设定翻译等级以上的情况下，如果是以往的顺序，则是对在S51中选择出的提取语句与翻译许可与否的“许”建立关联。在S51中选择出的提取语句是保存在图9B所示的翻译许可与否表中的提取语句的情况下，即使按以往的顺序也不会产生特别的问题。其原因在于，如果基于存储在图9B所示的翻译许可与否表中的提取语句来检索补充信息词典DB142，则能够获得与原句对应的译语。因此，若得到的译语作为译语注释与原句一并标注，则原句的理解变得容易。

然而，在S51中选择出的提取语句为保存在图9A所示的翻译许可与否表中的提取语句的情况下，使用以往的顺序则会产生问题。其原因在于，若基于保存在图9A所示的翻译许可与否表中的提取语句来检索补充信息词典DB142，则获得与原句无关的语句所对应的译语。因此，若得到的译语作为译语注释与原句一并标注，则原句的理解变得困难。

故，本实施方式中的控制部11按照以下的顺序，来判定提取语句是作为被准确进行了字符识别的结果而获得，还是作为误识别的结果而获得。然后，控制部11针对作为被准确进行了字符识别的结果而获得的提取语句与翻译许可与否的“许”建立关联，针对作为误识别的结果而获得的提取语句与翻译许可与否的“否”建立关联。

在S51中选择出的提取语句的翻译等级在设定翻译等级以上时（S52中为“是”），控制部11通过检索文章数据，判定在S51中选择出的提取语句的前端侧是否存在M个以上的特别字符（S54）。在此，M是M≥2的自然数，通过计算机程序2P而被定义。S54的处理的详细内容将后述。在提取语句的前端侧未存在M个以上的特别字符的情况下（S54中为“否”），控制部11通过检索文章数据，判定在S51中选择出的提取语句的末尾侧是否存在M个以上的特别字符（S55）。关于S55的处理的详细内容将后述。

在提取语句的前端侧存在M个以上的特别字符的情况下（S54中为“是”）、或者在提取语句的末尾侧存在M个以上的特别字符的情况下（S55为“是”），控制部11将处理转移至S53，对在S51中选择出的提取语句与翻译许可与否的“否”建立关联。换句话说，在提取语句的前后的至少一方存在M个以上的特别字符的情况下的翻译许可与否为“否”。另一方面，在提取语句的末尾侧不存在M个以上的特别字符的情况下（S55中为“否”），控制部11在翻译许可与否表中对在S51中选择出的提取语句与翻译许可与否的“许”建立关联（S56）。换句话说，在提取语句的前后任意一方，完全不存在特别字符、或者存在未满M个的特别字符的情况下的翻译许可与否为“许”。

在此，对特别字符表143进行说明。图11是表示保存在特别字符表143中的数据的一个例子的示意图。在特别字符表143中，作为特别字符保存有5个符号（参照图11），与特别字符相关联地保存有用于识别特别字符的字符ID。

保存在特别字符表143中的特别字符是罗马字“f”、“i”、或者“t”等被作为误识别的结果而得的可能性高的符号。特别字符并不局限于例示的5个符号，例如，还可以包括容易被误识别为罗马字“o”的符号“○”。另外，还可以包括容易被误识别为罗马字“l”的数字“1”、或者容易被误识别为罗马字”L”的平假名“し”。并且，还可以根据被进行了字符识别的原文的语言，使用相互不同的特别字符表143。例如，在对日语进行字符识别时应使用的特别字符表143中，可以包含容易被误识别为汉字“井”的符号“＃”。

接下来，对图10所示的S54以及S55的处理进行详述。图12是表示判定特别字符的在否的S54（或者55）的处理的顺序的详细内容的流程图。以下，使用提取语句“ion”，首先说明关于S54执行图12的处理的情况。

控制部11首先对变量m代入0（S71），对变量j代入1（S72）。其次，控制部11在文章数据中求提取语句的前端字符的j个以前的识别字符（S73）。通过执行S73的处理，从包含“An！＿ma ｜；＿ion”的文章数据中获得提取语句“ion”的前端字符的前一个识别字符“＿”（即、空白字符）。另外，在提取语句为“Animation”情况下，不存在提取语句的前端字符的前一个识别字符。换言之，在提取语句的前端字符的j个以前即不存在空白字符也不存在特别字符。因此，该情况下，控制部11结束S73的处理向其次的S74转移处理，并在后述的S74以及76的两方均判定为“否”即可。

接下来，控制部11判定在S73中求出的识别字符是否为空白字符（S74）。在S73中求出的识别字符为空白字符的情况下（S74中为“是”），控制部11对变量j加1（S75），并将处理返回S73。其结果为，m＝0以及j＝2。提取语句“ion”的前端字符的前一个识别字符为空白字符。因此，控制部11将变量j设为j＝2，然后将处理返回S73。

在S73中求出的识别字符并非空白字符的情况下（S74中为“否”），控制部11参照特别字符表143，判定在S73中求出的识别字符是否是特别字符（S76）。提取语句“ion”的前端字符的两个以前的识别字符为“；”。它不是空白字符而是特别字符。在S73中求出的识别字符为特别字符的情况下（S76中为“是”），控制部11对变量m加1（S77），将处理向S75转移，对变量j加1。其结果为，m＝1以及j＝3。

提取语句“ion”的前端字符的三个以前的识别字符为“｜”。它不是空白字符而是特别字符。因此，S77以及S75的处理被依次执行，m＝2以及j＝4。在S73中求出的识别字符不是特别字符的情况下（S76中为“否”），即、在S73中求出的识别字符为特别字符以外的字符或者符号的情况下，控制部11判定变量m是否在常量M以上（S78）。在此，常量M用于准确判定翻译许可与否。在本实施方式中，例示了M＝2的情况。

提取语句“ion”的前端字符的四个以前的识别字符为“a”。它不是空白字符也不是特别字符。因此，在m＝2以及j＝4的状态下，执行S78的处理。在m≥M时（S78中为“否”），在图10所示的S51中选择出的提取语句的前端侧，存在M个以上的特别字符。因此，控制部11在S54的处理中判定为“是”（S79）。m＜M时（S78中为“否”），在S51中选择出的提取语句的前端侧不存在M个以上的特别字符。因此，控制部11在S54的处理中判定为“否”（S80）。

以上的结果为，通过图10所示的S53，针对提取语句“ion”与翻译许可与否的“否”建立关联。此外，控制部11也可以在S77的处理执行后，判定变量m是否在常量M以上，当m≥M时，将处理向S79转移，当m＜M时将处理向S75转移。在这样的实施方式中，在S76中判定为“否”的情况下，控制部11不执行S78的处理而执行S80的处理即可。

如以上那样，图12所示的处理中的变量m是用于对提取字符的前侧的特别字符的个数进行计数的变量，变量j表示着眼于提取字符的前侧的第几个识别字符。

在本实施方式中，控制部11按每一个在S73中求出的识别字符为单位进行S74的处理。因此，在S73中求出的识别字符为空白字符的情况下，不进行针对该识别字符的S76以后的处理。换言之，控制部11忽略空白字符，执行特别字符的有无的判定和特别字符的个数的计数。

一般而言，英文中的空白字符用于划分单词间或者句子间等。因此，在本实施方式中空白字符不作为特别字符处理。因此，若不忽略空白字符而进行S76的判定，则不对在提取语句“ion”的前端侧隔着空白字符而存在的识别字符“；”以及“｜”进行计数而执行S78以后的处理。

假设，如果将空白字符作为特别字符处理，M＝3，则关于提取语句“ion”，能够获得与本实施方式相同的结果。然而，通常，单词间以一个空白字符划分，但句子间存在以一个空白字符划分的情况，还存在以2个空白字符划分的情况。而且，没有空白字符的个数不被误识别这样的保证。因此，在将空白字符作为特别字符的情况下，难以设定用于准确判定翻译许可与否的常量M。

根据以上情况，本实施方式中的控制部11在判定翻译许可与否时，忽略空白字符。

接下来，关于S55说明执行图12的处理的情况。该情况下，S73中的控制部11利用文章数据求提取语句的末尾字符的j个以后的识别字符。此时，如果在提取语句的末尾字符的j个以后不存在空白字符也不存在特别字符，控制部11结束S73的处理而将处理向其次的S74转移，在S74以及76的两方判定为“否”即可。然后，S79中的控制部11在S55的处理中判定为“是”，S80中的控制部11在S55的处理中判定为“否”。

以上的结果为，在提取语句为“Animation”的情况下，在S54以及S55中都判定为“否”。因此，针对提取语句“Animation”，在S56中与翻译许可与否的“许”建立关联。

执行以上的那样的S54或者S55的处理的控制部11作为本发明的实施方式中的语句判定部而发挥功能。

另外，作为在S54（或者S55）中判定为“是”的结果而与翻译许可的“否”建立有关联的提取语句是指，在该提取语句的前端侧（或者末尾侧）误识别产生的可能性高的提取语句。因此，S54以及S55的处理可以看做是判定误识别的有无的处理、是检测误识别产生的位置的处理。

在图10所示的S53或者S56的处理结束后，控制部11判定是否存在保存在翻译许可与否表中的提取语句中的、关于该提取语句尚未执行S52以后的处理的语句（图中“未判定语句”）（S57）。在存在未判定语句的情况下（S57中为“是”），控制部11将处理返回S51。在不存在未判定语句的情况下（S57中为“否”），控制部11结束翻译许可与否判定处理，返回图6所示的译语获取处理。

在图6所示的S34的处理结束后，控制部11将保存在翻译许可与否表中的提取语句中的、与翻译许可的“许”建立有关联的提取语句的译语与该提取语句建立关联地保存在翻译许可与否表中（S35）。S35中的控制部11基于与翻译许可的“许”建立有关联的提取语句来检索补充信息词典DB142，从而获取提取语句的译语。

图13是表示保存在翻译许可与否表中的数据的一个例子的示意图。其中，图13所示的翻译许可与否表的内容是S34的处理执行后（即、翻译许可与否判定后）的内容。通过执行S34的处理，图9A所示的翻译许可与否表成为图13A所示的翻译许可与否表，图9B所示的翻译许可与否表成为图13B所示的翻译许可与否表。

假设，在执行了S33的处理的阶段，将译语保存在翻译许可与否表中，则存在作为准确进行了字符识别的结果的提取语句与不适当的译语建立关联的可能性。其原因在于，在语句中存在多个译语的情况下，需要考虑各语句的前后的语句意思，来推断最佳的译语。此时，若考虑在S34的处理中应成为翻译许可与否的“否”的提取语句的意思，则无法推断最佳的译语的可能性高。

在S35结束后，控制部11结束译语获取处理，返回图3所示的信息输出处理。

执行图6所示的S33以及S35的处理的控制部11作为图2所示的词典检索部441而发挥功能，执行S34的处理的控制部11作为翻译许可与否判定部442而发挥功能。

在图3所示的S14的处理结束后，控制部11关于保存在翻译许可与否表中的各译语，决定在带译文文本图像中配置译语注释时的配置位置以及字体尺寸等附属信息（S15）。

接下来，控制部11基于在S15的处理中决定的附属信息，在原文图像中配置译语注释，从而生成对原句一并标注译语注释的带译文文本图像（S16）。执行S15以及16的处理时，可以使用例如日本特开2011-100356号公报中记载的公知的技术。

最后，控制部11输出带译文文本图像（S17）。S17中的控制部11以任意的形式执行带译文文本图像的输出，例如使其显示于显示部16、利用图像形成装置32在记录用纸进行图像形成、使其存储在存储部14或未图示的外部的文件服务器中、或者在电子邮件中以附件的形式发送等。

在执行图10所示的S56的处理的基础上执行图6所示的S35的处理，还执行图3所示的S15以后的处理的控制部11作为本发明的实施方式中的补充输出部而发挥功能。另外，通过在图10所示的S54或者S55中判定为“是”，在执行S53的处理的基础上执行图6所示的S35的处理，还执行图3所示的S15以后的处理的控制部11作为本发明的实施方式中的输出省略部而发挥功能。

图14是表示从信息输出装置1输出的带译文文本图像的一个例子的示意图。在通过控制部11执行图6所示的S34的处理，而获取图13A所示的翻译许可与否表的情况下，控制部11执行图3所示的S16的处理，从而生成图14A所示的带译文文本图像511。在原句“Animation”被误识别的情况下，如带译文文本图像511所示，对原句“Animation”的译语注释的一并标注被省略。

另一方面，通过控制部11执行图6所示的S34的处理，而获取图13B所示的翻译许可与否表的情况下，控制部11执行图3所示的S16的处理，从而生成图14B所示的带译文文本图像512。在对原句“Animation”准确进行了字符识别的情况下，如带译文文本图像512所示，对原句“Animation”一并标注译语注释“アニメーション（动画）”。

另外，在用户视觉识别了在图3所示的S17中输出的带译文文本图像511的情况下，用户不知道未对原句“Animation”一并标注译语注释的原因是由于原句“Animation”的翻译等级未满设定翻译等级，还是由于原句“Animation”被误识别。

因此，考虑对在S54或者S55中判定为“是”的提取语句“ion”，设置表示字符识别时被误识别的标志，在生成带译文文本图像511时，对相当于原句“Animation”的提取语句“ion”的部分例如划下线、或者划成网状。该情况下，能够将译语注释被省略的原句“Animation”与由于翻译等级未满设定翻译等级而省略译语注释的其他的语句区别。另外，该情况下，用户能够把握在原句“Animation”的“ion”的部分的前后产生了误识别。

图15是表示从以往的信息输出装置输出的带译文文本图像的一个例子的示意图。在图10所示的S52的处理中判定为“是”的情况下，从不执行S54以及S55的处理而执行S56的处理那样的、以往的信息输出装置中输出图15所示的带译文文本图像513。如图15所示，由于原句“Animation”被误识别，所以对原句“Animation”一并标注了与原句“Animation”无关的译语注释“イオン（离子）”。

尽管那样，用户视觉识别了在S17中输出的带译文文本图像513的情况下，译语注释“イオン（离子）”的配置位置偏向原句“Animation”的配置位置的末尾侧，用户有可能察觉是由于误识别而导致无关的译语注释与原句“Animation”一并标注。

图16A是表示原文图像的另一个例子的示意图。图16B、C是表示带译文文本图像的其他一个例子的示意图。图16A所示的原文图像520包含由原句“significant”构成的一行。在原句“significant”被误识别为“sign＿；｜cant”的情况下，图6所示的S33中的控制部11将“sign＿；｜cant”划分为“sign”以及“cant”的2部分。接下来，控制部11从“sign”以及“cant”中获取一个提取语句“sign”。其原因在于，单词“cant”未被保存在补充信息词典DB142中。

在以往的信息输出装置中，提取语句“sign”与翻译许可与否的“许”建立有关联。故生成并输出图16B所示的带译文文本图像521。在用户视觉确认了带译文文本图像521时，译语注释“サイン（签名）”的配置位置与原句“significant”对应，因此用户误解原句“significant”的译语为“サイン（签名）”的可能性高。

另一方面，在信息输出装置1中，提取语句“sign”与翻译许可与否的“否”建立有关联。其原因在于，在提取语句“sign”的末尾侧存在M个以上的特别字符。其结果为，生成并输出图16C所示的带译文文本图像522。

接下来，对常量M为M≠1的理由进行说明。图4所示的原文图像510的原句“Animation”被误识别为“An！＿ma ｜；＿ion”的情况下，或者、图16A所示的原文图像520的原句“significant”被误识别为“sign＿；｜cant”的情况下等，即使M＝1也没有问题。然而，作为准确进行了字符识别的结果，例如在得到包含感叹句的文本数据的情况下，如果M＝1，则会产生感叹号之后的语句与翻译许可与否的“否”建立关联这样的不良情况。

另外，还考虑到以下的例子。图17A是表示原文图像的另一个例子的示意图。图17B、C是表示带译文文本图像的其他一个例子的示意图。图17A所示的原文图像530包括由原句“abundance”构成的一行、和包围该一行的长方形的虚线。考虑到在原文图像530的情况下，位于原句“abundance”之前的虚线的一部分被误识别为特别字符“｜”，生成包含行文本“｜＿abundance”的文章数据。

此时，如果M＝1，则提取语句“abundance”与翻译许可与否的“否”建立关联，得到图17B所示的带译文文本图像531。即、产生即使提取语句“abundance”是原句被准确进行了字符识别后的提取语句，译语注释也不会被一并标注这样的不良情况。另一方面，如果M≥2，则提取语句“abundance”与翻译许可与否的“许”建立关联，得到图17C所示的带译文文本图像532。即、对原句“abundance”一并标注译语注释“存在度”。

接下来，考虑到原句“Animation”被误识别为“An！ma ｜；ion”的情况、或者原句“significant”被误识别为“sign；｜cant”的情况。即、考虑到在特别字符的前后不存在空白字符的情况。在这样的情况下，控制部11将特别字符看做单词间的划分即可。此时，控制部11在图6所示的S33的处理中，将“An！ma ｜；ion”划分为“An！”、“ma ｜；”以及“ion”的3部分并得到提取语句“An”以及“ion”。另外，控制部11在S33的处理中将“sign；｜cant”划分为“sign”以及“cant”的2部分并得到提取语句“sign”。

此外，控制部11还可以是将“An！ma ｜；ion”看做一个单词“An！ma ｜；ion”，将“sign；｜cant”看做一个单词“sign；｜cant”的构成。这是控制部11不将与空白字符不相邻的特别字符看做单词间的划分的构成。该情况下，各单词“An！ma ｜；ion”以及“sign；｜cant”被保存在补充信息词典DB142中，因此不会对原句“Animation”以及“significant”一并标注译语注释。

但是，在这样的构成中，控制部11不会对各单词“An！ma ｜；ion”以及“sign；｜cant”实施检测误识别的有无的处理以及检测误识别产生的位置的处理。其原因在于，各单词“An！ma ｜；ion”以及“sign；｜cant”是作为S33的处理的结果为非提取语句来处理的。

在以上那样的信息输出装置1、信息输出方法以及计算机程序2P中，能够抑制作为字符识别的错误产生的结果、对原句一并标注与原句无关的译语注释的不良情况。其结果为，降低了与原句无关的译语注释与原句一并标注的可能性，因此能够使带译文文本图像的翻译质量提高。

此外，信息输出装置1并不局限于生成并输出带译文文本图像的构成。例如，信息输出装置1还可以是生成并输出原句与译语的对照表的构成。另外，原文并不局限于英文，译文并不局限于日文。另外，原文图像以及带译文文本图像分别可以是彩色图像还可以是黑白图像。另外，信息输出装置1还可以是生成并输出原文与作为补充信息的原文的注释、读法假名、发音符号或者拼音符号等一并被标注的带补充信息文本图像。

信息输出装置1还能够以PDF以外的形式生成带译文文本图像。在本实施方式中，示出了信息输出装置1的控制中枢、即控制部11根据计算机程序2P，实现本发明的实施方式中的信息输出方法的方式，但并不局限于此。例如，信息输出装置1还可以是具备执行本发明的实施方式中的信息输出方法涉及的运算处理的一部分或者全部的专用的运算电路的构成。另外，信息输出装置1并不局限于使用通用计算机的构成，还可以是使用扫描仪、打印机、或者数字复合机等的构成。

本实施方式的计算机程序2P为被存储在具有可搬性的记录介质2中并由可搬性的记录介质2分发的构成，但并不局限于这样的构成，还可以是经由通信线路分发的构成，可以是在工厂出厂时被存储在存储部14中的构成，还可以是不安装在信息输出装置1中而从记录介质或者分发源读取后直接执行的构成。另外，字符识别词典DB141、补充信息词典DB142以及特别字符表143只要能够被控制部11自由检索或者参照即可，其并不局限于存储在信息输出装置1内置的存储部14中的构成，还可以是存储在外部的存储装置中的构成。

这次公开的实施方式的全部的点仅为例示，并不意图作为任何的限制。本发明的范围并不仅为上述意思，还包括权利要求书等同的意思以及权利要求书中的全部的变更。另外，只要具有本发明的效果，信息输出装置1还可以包含实施方式未公开的构成要素。

Claims (3)

1.一种信息输出装置，是输出与通过对图像进行字符识别而得的文本相关的补充信息的信息输出装置，其特征在于，具备：

语句提取部，其从上述文本提取能够输出补充信息的语句；

语句判定部，其判定与该语句提取部提取出的语句的前端侧或者末尾侧相邻的字符或者符号是否是规定的字符或者符号；

补充输出部，其在该语句判定部判定为否的情况下，输出与上述语句相关的补充信息；以及

输出省略部，其在上述语句判定部判定为是上述规定的字符或者符号的情况下，省略与上述语句相关的补充信息的输出，

上述语句判定部判定与上述语句的前端侧或者末尾侧相邻的N个字符或者符号是否全部是上述规定的字符或者符号，其中，N为≥2的自然数，

在上述语句判定部判定为上述N个字符或者符号中至少一个字符或者符号不是上述规定的字符或者符号的情况下，上述补充输出部输出与上述语句相关的补充信息，

在上述语句判定部判定为全部是上述规定的字符或者符号的情况下，上述输出省略部省略与上述语句相关的补充信息的输出。

2.根据权利要求1所述的信息输出装置，其中，

空白字符与上述语句的前端侧或者末尾侧相邻的情况下，上述语句判定部忽略上述空白字符。

3.一种信息输出方法，是输出与通过对图像进行字符识别而得的文本相关的补充信息的信息输出方法，其特征在于，

从上述文本提取能够输出补充信息的语句；

判定与提取出的语句的前端侧或者末尾侧相邻的N个字符或者符号是否全部是规定的字符或者符号，其中，N为≥2的自然数，

在判定为上述N个字符或者符号中至少一个字符或者符号不是上述规定的字符或者符号的情况下，输出与上述语句相关的补充信息，

在判定为全部是上述规定的字符或者符号的情况下，省略与上述语句相关的补充信息的输出。