CN101320429A

CN101320429A - 图像处理装置和图像处理方法

Info

Publication number: CN101320429A
Application number: CNA2008100945208A
Authority: CN
Inventors: 今野裕也
Original assignee: Fuji Xerox Co Ltd
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2007-06-04
Filing date: 2008-04-18
Publication date: 2008-12-10
Anticipated expiration: 2028-04-18
Also published as: US20080300858A1; CN101320429B; US8510093B2; JP2008299780A

Abstract

本发明公开一种图像处理装置，该图像处理装置包括：区域划分部、字符识别部、分类部、翻译部、计算部和校正部。区域划分部将文档图像划分成语句区域。字符识别部识别各个语句区域中的字符。分类部根据字符的大小而将语句区域分类成各个组。翻译部为各个语句区域而将语句翻译成给定语言。计算部计算已经通过翻译部为各个语句区域翻译出的语句的字符大小。校正部为被分类成同一组的每一个语句区域校正每一个语句区域的翻译出的字符的大小，以使通过计算部计算出的各字符大小变为相等。

Description

图像处理装置和图像处理方法

技术领域

本发明涉及图像处理装置和图像处理方法。

背景技术

已知这样一种系统，其对通过OCR从扫描文档中获取的文本进行翻译，并在使译文适应原始文档的版面布局的条件下输出译文(例如参见专利文献1(JP-A-8-6948))。

然而，在公知技术中，为了保持原始文档的版面布局，译文的字符大小基于语句区域的大小及翻译后的字符数来确定。因此，存在这样的情况，即：在原始文档中具有相同大小的字符被输出为在译文中具有不同大小的字符。为此，在公知技术中存在这样的问题，即：无法保持原始文档中各个文档区域之间的字符大小相对关系。

发明内容

本发明的目的在于提供这样一种图像处理装置和图像处理方法：其允许保持文档的翻译前后文档中各语句区域之间的字符大小相对关系。

[1]根据本发明的一个方面，提供一种图像处理装置，该图像处理装置包括区域划分部、字符识别部、分类部、翻译部、计算部和校正部。区域划分部将文档图像划分成至少一个语句区域。字符识别部对通过所述区域划分部划分的各个语句区域中包含的字符进行识别。分类部根据通过所述字符识别部识别出的字符的大小而将所述语句区域分类成至少一个组。翻译部为所述各个语句区域而将相应语句区域中的包含字符的语句翻译成给定语言。计算部基于翻译前相应语句区域的大小、行间距和字符间距以及翻译后语句的字符数，计算已经通过所述翻译部为所述各个语句区域翻译的语句的字符大小。校正部为通过所述分类部分类成同一组的每一个语句区域校正每一个语句区域的翻译出的字符的大小，以使通过所述计算部计算出的各字符大小变为相等。

[2]根据第[1]项所述的图像处理装置，所述校正部可以进行校正，以便匹配通过所述分类部分类成同一组的语句区域之中的最小字符大小。

[3]根据第[1]项或第[2]项所述的图像处理装置，所述图像处理装置还可包括：顺序确定部，其基于通过所述分类部分类而成的各组的字符大小确定各组的顺序。所述校正部可以校正所述各个语句区域的字符大小，以使通过所述顺序确定部确定的各组的顺序保持不变。

[4]根据第[3]项所述的图像处理装置，所述图像处理装置还可以包括：字符大小信息存储部，其存储通过所述分类部分类而成的各组的字符大小比例。所述校正部可以基于存储在所述字符大小信息存储部中的各组的字符大小比例校正各组的字符大小。

[5]根据本发明的另一方面，提供一种图像处理方法，该图像处理方法包括：将文档图像划分成至少一个语句区域；识别所述各个语句区域中包含的字符；根据识别出的字符的大小而将所述语句区域分类成至少一个组；为所述各个语句区域而将相应语句区域中的包含字符的语句翻译成给定语言；基于翻译前相应语句区域的大小、行间距和字符间距以及翻译后语句的字符数，来计算已经为所述各个语句区域翻译的语句的字符大小；以及对分类成同一组的每一个语句区域校正每一个语句区域的翻译出的字符的大小，以使计算出的各字符大小变为相等。

[6]根据第[5]项所述的图像处理方法，校正翻译出的字符的大小的步骤可以包括：进行校正，以便匹配分类成同一组的语句区域之中的最小字符大小。

[7]根据第[5]项或第[6]项所述的图像处理方法，所述图像处理方法还可包括：基于分类的各组的字符大小来确定各组的顺序。校正翻译出的字符的大小的步骤可以包括：校正所述各个语句区域的字符大小，以使确定的各组的顺序保持不变。

[8]根据第[7]项所述的图像处理方法，所述图像处理方法还可包括：存储分类后的各组的字符大小比例。校正翻译出的字符的大小的步骤可以包括：基于所存储的各组的字符大小比例来校正各组的字符大小。

根据第[1]项或第[5]项，可以保持文档的翻译前后各语句区域之间的字符大小相对关系。

根据第[2]项或第[6]项，可以在保持文档图像的版面布局的同时保持各语句区域之间的字符大小相对关系。

根据第[3]项或第[7]项，可以保持各语句区域的字符大小的顺序。

根据第[4]项或第[8]项，可以清楚各语句区域之间的字符大小相对关系。

附图简要说明

基于下列附图对本发明的示例性实施例进行详细说明，其中：

图1是示出根据示例性实施例的图像处理系统的系统构造的视图；

图2是示出生成翻译文档的处理的流程图；

图3A、3B、3C和3D是示出扫描图像的版面布局的实例的视图；

图4是示出确定语句区域的字符大小的处理的流程图；以及

图5A、5B、5C和5D是示出确定组的字符大小的处理的具体实例的视图。

具体实施方式

在下文中，将参照附图对用于实施本发明的示例性实施例进行说明。

图1是示出根据示例性实施例的图像处理系统1的系统构造的视图。如图1所示，图像处理系统1是包括图像处理装置10和扫描仪20的系统。根据示例性实施例的图像处理装置10和扫描仪20各自具有USB接口，并通过使USB接口彼此连接的USB线缆在其间进行数据通信。

扫描仪20是包括CCD照相机并通过使用CCD照相机扫描文档图像来生成扫描图像的图像扫描装置。扫描仪20将生成的扫描图像发送到通过USB接口与其连接的图像处理装置10。

图像处理装置10是对从扫描仪20接收到的扫描图像进行图像处理的装置。图像处理装置10是这样的计算机，其至少包括CPU(中央处理器)或存储器作为硬件，并通过使CPU依次执行存储在存储器中的程序来进行处理。另外，如图1所示，图像处理装置10包括图像获取部100、版面布局分析部102、字符识别部104、字符大小测量部106、组别分类部108、翻译处理部110、字符大小确定部112和翻译文档生成部114作为功能构造。上述各部分的功能可通过以下方式实现：使用介质读取器(未示出)使存储在计算机可读的信息存储介质中的图像处理程序读出到作为计算机系统的图像处理装置10中，并使图像处理装置10执行所读出的图像处理程序。另外，尽管在这里图像处理程序是通过信息存储介质提供给图像处理装置10的，然而也可通过例如互联网等数据通信网络将图像处理程序从远程地点下载到图像处理装置10。在下文中，将对上述各部分的细节进行说明。

图像获取部100从与其连接的扫描仪20接收并获取扫描图像。扫描图像通过USB线缆进行接收。

版面布局分析部102分析通过图像获取部100获取的扫描图像的版面布局。版面布局分析是通过将文档图像划分成标题区域、文档区域、页眉/页脚区域、图形区、表格区等而进行的。可将公知技术用于版面布局分析。另外，从通过版面布局分析部102分析的版面布局中提取包含文本的区域(在下文中称为语句区域)作为要处理的对象。也可通过排除例如只包含图形的区域等不包含字符的区域来进行语句区域的提取。

字符识别部104通过OCR处理来识别语句区域中包含的字符。OCR处理是通过以下方式进行的：将语句区域划分成与相应字符对应的区域，对每个细分区域进行图案匹配，并基于匹配结果确定每个细分区域中包含的字符。

字符大小测量部106测量每个语句区域中包含的字符的大小(在下文中称为字符大小)，字符大小的测量值可以是从语句区域的至少一部分中的通过字符识别部104识别出的字符的大小计算出的平均值，或者也可以是字符大小的常用值。字符大小的测量是对所有语句区域进行的，并且测量出的字符大小存储在存储器中以便与各个语句区域相关联。

组别分类部108根据对各语句区域测量的字符大小将语句区域分类成各个组。可这样进行组的分类，即：将具有相同字符大小的语句区域分类成同一组，或者将字符大小属于预定范围的语句区域分类成同一组。在该示例性实施例中，具有相同字符大小的语句区域被分类成同一组。

翻译处理部110对每个语句区域中包含的语句进行语法分析，然后将该语句翻译成不同语言(例如英语)。这里，语句区域中包含的语句是作为通过字符识别部104进行的识别的结果而获得的文本数据。可将公知技术用于翻译处理。

在翻译处理之后，字符大小确定部112确定每个语句区域的字符大小。字符大小确定部112包括字符大小计算部112A和字符大小校正部112B。

字符大小计算部112A基于语句区域的大小、行间距、字符间距以及通过对语句区域中所含的文本进行翻译而获取的译文的字符数来计算允许译文能够适应相应语句区域的字符大小。字符大小计算部112A对每个语句区域进行字符大小计算处理。

字符大小校正部112B校正译文的字符大小，以便保持原文(原稿)中各语句区域之间的字符大小相对关系。由字符大小校正部11 2B进行的第一校正是这样进行的校正，即：使通过字符大小计算部112A计算出的各语句区域的字符大小对于每一个分类组都是相等的。例如，第一校正是通过使其它语句区域的字符大小与同一组中包含的语句区域中的最小字符大小匹配。这样，对每一个组来说，组中的字符大小得到统一以便适应语句区域。

另外，由字符大小校正部112B进行的第二校正是这样进行的校正，即：使各组之间的字符大小的顺序与原始文档中的相应顺序一致。第二校正是通过以下方式进行的：判断各组之间的字符大小的顺序是否与原始文档中的相应顺序一致，并在判定各组之间的字符大小的顺序不与原始文档中的相应顺序一致的情况下，进一步校正顺序不匹配的组(在下文中称为“不匹配组”)的字符大小。例如，可这样进行第二校正，即：使为不匹配组存储的原始顺序之前和之后的组的字符大小之间所包括的字符大小成为不匹配组的新的字符大小。

另外，在第二校正中，可将原始的各组之间的字符大小的比例存储在存储器中，以便基于存储在存储器中的字符大小的比例进一步校正翻译后各组的字符大小。具体地说，假设原始组的字符大小分别为5点、10点和20点，则可将这些字符大小的比例1∶2∶4存储在存储器中，然后可以这样校正翻译后中间组的字符大小，即：使中间组的字符大小与其之前和之后的组的字符大小之间的间距之比为(2-1)∶(4-2)，即1∶2。

翻译文档生成部114基于通过版面布局分析部102分析的版面布局、如上所述确定的每个语句区域的译文以及每个语句区域的字符大小来生成翻译文档数据。例如，翻译文档数据可以以文字处理软件的数据格式或者例如PDL数据等预定数据格式来生成。

接下来，将参照图2至图5说明使用图像处理装置10从原始文档(扫描图像)生成翻译文档的处理的具体流程。图2是示出生成翻译文档的处理的流程图。

图像处理装置10将扫描指令发送到扫描仪20。当扫描仪20从图像处理装置10接收到扫描指令时，扫描仪20通过使用CCD照相机扫描一组文档图像而生成扫描图像。扫描仪20将生成的扫描图像发送给图像处理装置10，图像处理装置10接收并获取所发送的扫描图像(S101)。

图像处理装置10分析从扫描仪20接收到的扫描图像的版面布局(S102)，并指定扫描图像的版面布局中包括的语句区域。这里，在图3A、3B、3C和3D中示出扫描图像的版面布局的实例作为具体实例。如图3A、3B、3C和3D所示，扫描图像200包括语句区域a至f。

图像处理装置10对经分析的版面布局中包含的各语句区域a至f进行用于识别每个语句区域中包含的字符的处理(S103)。

然后，图像处理装置10对每个语句区域测量字符大小(S104)。例如，字符大小的测量可以通过对每个语句区域计算从语句区域中识别出的字符的大小的平均值或常用值来进行。另外，图3A的各语句区域中所示的是作为测量结果而获取的原文的字符大小。

当对所有语句区域的进行字符大小测量处理时，图像处理装置10基于对各语句区域测量的字符大小将各语句区域分类成各个组(S105)。在该示例性实施例中，具有相同字符大小的语句区域被分类成同一组。在图3A所示实例中，“a”、“b”、“c，f”和“d，e”被分类成不同的组。另外，按字符大小从小到大的顺序将各个组设置为G1(d，e)、G2(a)、G3(c，f)和G4(b)，并且每组的字符大小及与字符大小对应的顺序被存储在存储器中。

在完成上述分组处理之后，图像处理装置10进行这样的处理，即将各语句区域中包含识别出的字符的语句翻译成给定语言(例如英语或汉语)(S106)。

在完成上述翻译处理之后，图像处理装置10确定每个语句区域的字符大小，以使翻译后的语句(在下文中称为翻译语句)适应每个语句区域并保持原文中各文档区域之间的字符大小相对关系(S107)。这里，将参照图4所示流程图说明确定每个语句区域的字符大小的处理。

首先，如图4所示，图像处理装置10基于语句区域的大小和翻译语句的字符数对每个语句区域计算适应语句区域的字符大小(S201)。在图3B中，在各语句区域中所示的是通过上述计算获得的字符大小。

在完成计算字符大小的处理之后，图像处理装置10对每一组确定属于该组的各语句区域的字符大小中的最小字符大小作为该组的字符大小(S202)。然后，属于同一组的各语句区域的所有字符大小都暂时改变为所确定的组的字符大小。这是字符大小的第一校正。在图3C中，在各语句区域中所示的是通过第一校正改变的字符大小。

然后，在对所有组完成字符大小确定处理之后，图像处理装置10基于所确定的字符大小判断是否保持原始文档图像中各组之间的字符大小顺序(S203)。这里，如果判定没有保持各组之间的顺序(S203中判断结果为：否)，则图像处理装置10计算每组的字符大小，以使各组的顺序保持不变，然后将计算出的值设置为新的字符大小(S204)。这是字符大小的第二校正。

这里，参照图5A、5B、5C和5D，利用具体实例说明确定组的字符大小的处理。图5A、5B、5C和5D示出了如何根据上述流程确定每个语句区域的字符大小。也就是说，图像处理装置10首先为每个字符大小形成组(图5A)，计算适应翻译处理后的版面布局的字符大小(图5B)，然后统一每组的字符大小(图5C)。在这种状态下，图像处理装置10判断统一后的字符大小是否保持原始文档中的顺序。可以通过按当前确定的字符大小从小到大的顺序将当前确定的字符大小与原始顺序的字符大小作比较，来对是否保持各组的顺序做出判断。

在该示例性实施例的实例中，“d，e”是组G1，其顺序与原始顺序相同，而下一个小组“c，f”是组G3。因此，做出字符大小的顺序与原文的顺序不同的判定。这里，为了使各组的顺序恢复到原始状态，这样计算原来是第二组的组G2的字符大小，即：使原始的各组之间的字符大小的相对关系保持不变，以使组G2的字符大小成为翻译后当前第一组(G1)的字符大小和翻译后当前第二组(G3)的字符大小之间的大小。字符大小的计算是基于组G1、组G2和组G3的各自原始字符大小的比例进行的。在上述实例中，可以计算下述字符大小以便将计算出的值设定为组G2的字符大小：所述字符大小与这样的位置对应，在该位置处，基于组G1、组G2和组G3的各自原始字符大小的比例8∶10∶12的包括组G1与组G2之间的间距以及组G2与组G3之间的间距的间距(即如图5A所示的组G1与组G3之间的间距)被划分成1∶1。在所计算出的字符大小不是整数值的情况下，可将最接近于所计算出的字符大小的整数值设定为新的字符大小。另外，当将所计算出的字符大小设定为新的组G2的字符大小时，组G3和组G4的顺序分别设置为3和4，从而使各语句区域的顺序变为与原始状态相同。

在完成字符大小确定处理之后，图像处理装置10转入步骤S108，其中，基于每个语句区域的已确定的字符大小生成翻译文档(S108)，然后结束处理。

另外，本发明不局限于以上实施例。

例如，可以使字符大小校正部112B进一步对各组之间的字符大小的间距是否小于给定间距做出判断，并在判定各组之间的字符大小的间距小于给定间距时校正各组的字符大小。这里，字符大小的校正可以通过以等间距排列各组之间的字符大小来进行。

在判定分类成同一组的语句区域的字符大小分布存在偏差、并且存在字符大小在很大程度上不同的元素的情况下，可以使字符大小确定部112从该组中排除字符大小在很大程度上不同的元素。

另外，字符大小确定部112在匹配组的字符大小时，可通过改变字符的纵横比例，基于大于最小字符大小的字符大小来匹配字符大小。

另外，限制为具有较小字符大小的区域的语句长度可通过调整语句区域翻译后的字符间距或行间距来进行调整。

为了解释和说明起见，已经提供了对于本发明实施例的前述说明。本发明并非意在穷举或将本发明限制在所披露的具体形式。显然，许多修改和变型对于所属领域的技术人员而言是显而易见的。实施例的选取和说明是为了更好地解释本发明的原理及其实际应用，从而使所属领域的其他技术人员能够理解本发明适用于各种实施例，并且具有各种变型的本发明适合于所设想的特定用途。本发明意在用所附权利要求书及其等同内容来限定本发明的保护范围。

Claims

1.一种图像处理装置，包括：

区域划分部，其将文档图像划分成至少一个语句区域；

字符识别部，其对通过所述区域划分部划分的各个语句区域中包含的字符进行识别；

分类部，其根据通过所述字符识别部识别出的字符的大小而将所述语句区域分类成至少一个组；

翻译部，其为所述各个语句区域而将相应语句区域中的包含字符的语句翻译成给定语言；

计算部，其基于翻译前相应语句区域的大小、行间距和字符间距以及翻译后语句的字符数，来计算已经通过所述翻译部为所述各个语句区域翻译出的语句的字符大小；以及

校正部，其为通过所述分类部分类成同一组的每一个语句区域校正每一个语句区域的翻译出的字符的大小，以使通过所述计算部计算出的各字符大小变为相等。

2.根据权利要求1所述的图像处理装置，其中，

所述校正部进行校正，以便匹配通过所述分类部分类成同一组的语句区域之中的最小字符大小。

3.根据权利要求1或2所述的图像处理装置，还包括：

顺序确定部，其基于通过所述分类部分类而成的各组的字符大小来确定各组的顺序，

其中，所述校正部校正所述各个语句区域的字符大小，以使通过所述顺序确定部确定的各组的顺序保持不变。

4.根据权利要求3所述的图像处理装置，还包括：

字符大小信息存储部，其存储通过所述分类部分类而成的各组的字符大小比例，

其中，所述校正部基于存储在所述字符大小信息存储部中的各组的字符大小比例来校正各组的字符大小。

5.一种图像处理方法，包括：

将文档图像划分成至少一个语句区域；

识别各个语句区域中包含的字符；

根据识别出的字符的大小而将所述语句区域分类成至少一个组；

为所述各个语句区域而将相应语句区域中的包含字符的语句翻译成给定语言；

基于翻译前相应语句区域的大小、行间距和字符间距以及翻译后语句的字符数，来计算已经为所述各个语句区域翻译出的语句的字符大小；以及

为分类成同一组的每一个语句区域校正每一个语句区域的翻译出的字符的大小，以使计算出的各字符大小变为相等。

6.根据权利要求5所述的图像处理方法，其中，

校正翻译出的字符的大小的步骤包括：进行校正，以便匹配分类成同一组的语句区域之中的最小字符大小。

7.根据权利要求5或6所述的图像处理方法，还包括：

基于分类的各组的字符大小来确定各组的顺序，

其中，校正翻译出的字符的大小的步骤包括：校正所述各个语句区域的字符大小，以使所确定的各组的顺序保持不变。

8.根据权利要求7所述的图像处理方法，还包括：

存储分类后的各组的字符大小比例，

其中，校正翻译出的字符的大小的步骤包括：基于所存储的各组的字符大小比例来校正各组的字符大小。