CN1328677A - 图像显示设备 - Google Patents

Abstract

一种能够易操作地查看缩放图像的图像显示设备,包括:行划分区域提取部分2,用于以行方向划分包括在输入图像中的行区域,并提取多个划分的行区域;以及连接到行划分区域提取部分2的处理部分4、5,用于以预定的缩放比、以每一个由所述提取的划分的行区域构成的单位、放大或缩小、排列并显示划分的行区域,同时保持排列顺序不变。

Description

图像显示设备

技术领域

本发明涉及图像显示设备，更具体地说，涉及以放大或缩小的比例显示包含字符、图片或照片等的文档图像的图像显示设备。

背景技术

简单地放大或缩小整个图像作为在显示设备上以放大或缩小的比例显示包含图片或照片等的文档图像的技术一般已经公知。一种在字处理或WWW(万维网)浏览器中使用的每一行中字符的数目根据显示屏幕或打印纸张的尺寸而变化、并且重新排列字符或图片用于显示或打印的技术也是公知的。

此外，与由图像数据构成的文档图像有关的、用于在文档图像中从非字符区域区分并提取字符区域的方法已经公知，公开在日本专利公报第9-16713号上。另一种从图像数据中提取主体区域、并以每一个由行或块构成的单位排列提取的主体区域的方法也是公知的，公开在日本专利公告第5-328097号上。

当读书的某些页时，字符可能过小并无法阅读。如果在上述情况下使用简单地放大整个图像的方法，则放大或缩小的图像可能会比显示屏幕大，从而一些字符可能会落在显示屏幕之外。

为了看到未显示的部分，可能会在图像显示设备中安排滚动条用于操作。但是，需要垂直或水平地移动图像的操作，导致较低的可操作性。

为了仅放大或缩小图像中所需要的部分，必须在每次需要缩放时指定放大或缩小的比例(下文中称作“缩放比”)。另外，缩放比必须根据每一书页的页面布局的变化而变化。这削弱了可操作性。

如果将垂直或水平方向很长的图像缩小以在显示屏幕之内显示整幅图像，则在显示屏幕上垂直地或水平地形成没有显示图像的区域。这使得不能有效利用显示屏幕，并减少了显示在屏幕上的信息总量。

根据公开在日本专利公告第5-328097号上的方法，由于重新排列是以每一个由行或块构成的单位进行的，所以每一行中的字符数目不能设定为任意值。如果以混合方式将图片或照片区域与字符区域一起展现，则不可能以适当的尺寸同时显示所有种类的区域。

发明的公开

因此，本发明的一个目的是提供一种图像显示设备，能够易操作地显示缩放的(即放大的或缩小的)图像。

本发明的另一个目的是提供一种图像显示设备，能够放大或缩小输入的图像，同时保持在每一输出图像上显示的大量信息。

本发明的再一个目的是提供一种图像显示设备，能够以恰当的缩放比放大或缩小图片或照片区域和字符区域，即使这些区域混合展现在单幅输入图像中。

本发明的又一个目的是提供一种图像显示设备，能够在通过放大输入图像准备的输出图像上的恰当位置显示位于输入图像的外围区域中的页号及其它部分。

根据本发明的一个方面，一种图像显示设备包括：行划分区域提取部分，用于以行方向划分包括在输入图像中的行区域，并提取多个划分的行区域；以及连接到行划分区域提取部分的处理部分，用于以预定的缩放比、以每一个由提取的行划分区域构成的单位、放大或缩小、排列并显示划分的行区域，同时保持排列顺序不变。

由于缩放是以每一个由通过划分输入图像的行区域准备的划分的行区域构成的单位进行的，所以能够放大或缩小文字而不破坏字符在输入图像中的顺序。通过恰当地确定输出图像的一个边的长度，从而用户能够只在输出图像的一个方向上移动读出文字，以便用户方便地查看文档图像。由于对每一划分的行区域执行重排，所以能够在每一输出图像上显示的信息总量多于仅通过放大输入图像准备的输出图像上的信息总量。

最好，当划分的行区域不能在预定尺寸的输出图像上显示时，处理部分准备一新的输出图像，用于在其上排列划分的行区域。

当划分的行区域不能在单幅输出图像上显示时，将它们作为多幅连续的输出图像输出。输出图像具有预定的尺寸。从而，用户能够通过切换输出图像连续地查看显示的内容，实现改善的操作性。

更好地，图像显示设备包括：图片区域检测部分，用于检测输入图像中的图片区域和照片区域；以及连接到图片区域检测部分的图片缩放比计算部分，用于确定关于预定缩放比的新缩放比，用于缩放由图片区域检测部分检测的图片或照片区域，从而防止使输出图像尺寸增加过大。行划分区域提取部分与图片区域检测部分相连，用于提取作为划分的行区域、由图片区域检测部分检测的图片区域和照片区域。处理部分包括：连接到行划分区域提取部分和图片缩放比计算部分的图片缩放和显示部分，用于基于新缩放比放大或缩小、并排列图片区域和照片区域以在输出图像上显示；以及连接到行划分区域提取部分的字符缩放和显示部分，用于基于预定的缩放比放大或缩小、并排列图片区域和照片区域之外的划分的行区域以在输出图像上显示。

当放大或缩小图片区域和照片区域时，确定图片区域和照片区域的缩放比以防止尺寸增加超过输出图像。该缩放比与字符部分的缩放比不同。从而，用户能够查看以恰当比例放大或缩小而没有扩展超出屏幕的图片和照片区域和文字。

更为优选的，图像显示设备还包括：图片区域检测部分，用于检测输入图像中的图片区域和照片区域；以及连接到图片区域检测部分的输出图像尺寸计算部分，用于比较由图片区域检测部分检测的、并以预定缩放比放大或缩小的图片或照片区域的尺寸、与输出图像的尺寸，并选择较大的尺寸作为新的输出图像尺寸。处理部分还包括：连接到图片区域检测部分、行划分区域提取部分和输出图像尺寸计算部分的图片缩放和显示部分，用于基于预定缩放比放大或缩小、并排列图片区域和照片区域，以在基于新的输出图像尺寸确定的输出图像的一位置上显示；以及连接到区域检测部分、行划分区域提取部分和输出图像尺寸计算部分的字符缩放和显示部分，用于基于预定缩放比放大或缩小、并排列图片区域和照片区域，以在基于初始输出图像尺寸确定的输出图像的一位置上显示。

输出图像的尺寸根据放大或缩小的图片区域和照片区域的尺寸确定。从而，用户能够任意地指定图片区域和照片区域的缩放比。此外，初始输出图像的尺寸可以确定为等于显示区域的尺寸，从而阅读文字时只需在一个方向上滚屏。

更加优选地，图像显示设备还包括：连接到行划分区域提取部分的主体外围区域检测部分，用于检测多个划分的行区域之中位于输入图像的端部的划分的行区域，作为主体外围区域。处理部分与主体外围区域检测部分和行划分区域提取部分相连，用于排列并显示主体外围区域，同时保持与输入图像一样的相对位置关系。

这可以避免以下缺点，即不加区分地放大或缩小主体外围区域和其他区域，并因此在不期望的位置显示页号和其他部分。

根据本发明的另一方面的图像显示设备包括：主体区域提取部分，用于提取多幅输入图像的每一幅的端部之外的主体区域；连接到主体区域提取部分的缩放比计算部分，用于为多幅输入图像的每一幅计算缩放比，以便使放大的主体区域与输入图像具有相同的尺寸；连接到缩放比计算部分的公共缩放比确定部分，用于基于缩放比计算部分的输出确定公共缩放比；以及连接到主体区域提取部分和公共缩放比确定部分的处理部分，用于以公共缩放比放大并显示划分多幅输入图像的每一幅的主体区域。

确定了对于输入图像是公共的缩放比。从而，可以在不同的输出图像上显示实质上同一尺寸的字符，并且用户能够读出文字而没有不舒适的感觉。

附图的简要描述

图1为根据本发明的第一实施例的图像显示设备的主要结构的方框图；

图2示出根据本发明的第一实施例的图像显示设备的外观；

图3为图1中行划分区域提取部分2的操作的流程图；

图4示出将图像投影到垂直和水平轴的结果；

图5为确定字符行是否垂直的流程图；

图6示出图4中最上一行的图像及其投影到水平轴的结果；

图7示意性地示出存储与长方形有关的信息的方式；

图8示出基于划分数目将图4中图像的每一行划分的示例；

图9示出基于基准宽度将图4中图像的每一行划分的示例；

图10示出从图4所示的图像的每一行中提取字符区域的示例；

图11示出合并之前的外部接触的长方形区域；

图12示出合并之后的外部接触的长方形区域；

图13示意性地示出存储划分的行区域信息的方式；

图14为图1所示的排列确定部分4的操作的流程图；

图15为具体说明图14所示的步骤S21中处理的流程图；

图16为具体说明图15所示的步骤S30中处理的流程图；

图17为具体说明图14所示的步骤S27中处理的流程图；

图18为具体说明图14所示的步骤S23中用于确定垂直位置处理的流程图；

图19为具体说明图14所示的步骤S23中用于确定水平位置处理的流程图；

图20为图1中缩放和排列部分5的操作的流程图；

图21、22和23分别示出从图8、9和10中的处理结果生成的输出图像；

图24示出仅放大或缩小输入图像所引起的问题；

图25示出根据本发明的第一实施例输入图像和由图像显示设备生成的输出图像之间的关系；

图26通过示例的方式示出列排列处理；

图27通过示例的方式示出具有背景格式的输入图像；

图28通过示例的方式示出通过放大两倍具有背景格式的输入图像生成的输出图像；

图29通过示例的方式示出从中移去背景格式的输入图像；

图30通过示例的方式示出通过将输入图像放大两倍移去背景格式而生成的输出图像；

图31为根据本发明的第二实施例的图像显示设备的主要结构的方框图；

图32为图片区域检测部分50的操作的流程图；

图33、34和35分别为具体说明在图32的步骤S92、S93和S94中处理的流程图；

图36示出根据本发明的第二实施例输入图像和由图像显示设备生成的输出图像之间的关系；

图37为根据本发明的第三实施例的图像显示设备的主要部分的方框图；

图38示出根据本发明的第三实施例输入图像和由图像显示设备生成的输出图像之间的关系；

图39为根据本发明的第四实施例的图像显示设备的主要结构的方框图；

图40示出根据本发明的第四实施例输入图像和由图像显示设备生成的输出图像之间的关系；

图41示出由第四实施例实现的排列的简化计算的效果；

图42为根据本发明的第五实施例的图像显示设备的主要结构的方框图；

图43示出放大1.4倍划分的行区域的方式；

图44示出放大1.9倍划分的行区域的方式；

图45示出以在根据本发明的第五实施例的图像显示设备中确定的缩放比缩放图43中所示的划分的行区域的方式；和

图46示出以在根据本发明的第五实施例的图像显示设备中确定的缩放比缩放图44中所示的划分的行区域的方式。

实现本发明的最佳模式

[第一实施例]

参照图1，根据本发明的第一实施例的图像显示设备包括：输入图像存储部分1，由IC存储器、磁存储器或类似的构成，用于存储输入图像；与输入图像存储部分1相连的划分的行区域提取部分2，用于逐页处理存储在输入图像存储部分1中的输入图像，从每一页中提取多个行区域，划分每一个行区域并提取多个划分的行区域；以及缩放信息指定部分3，指定用于显示划分的行区域的缩放比和输出图像的尺寸。

该图像显示设备还包括：连接到划分的行区域提取部分2和缩放信息指定部分3的排列确定部分4，用于基于发送自划分的行区域提取部分2的划分的行区域的信息和缩放信息指定部分3发布的缩放比及输出图像尺寸，计算重排在输出图像上的各个划分的行区域的位置；连接到输入图像存储部分1、缩放信息指定部分3和排列确定部分4的缩放和排列部分5，用于从存储在输入图像存储部分1的输入图像中切出划分的行区域，并缩放后在输出图像上排列这些划分的行区域；以及连接到缩放和排列部分5的输出图像存储部分6，用于存储缩放和排列部分5的输出。

鉴于上述结构，输入图像被逐页处理并作为输出图像存储在输出图像存储部分6中。

输入图像存储部分1可以包括扫描仪、视频捕获板、通信端口等。

存储在输入图像存储部分1中的输入图像为由图像数据构成的文档图像，该图像数据比如通过使用扫描仪读取比如小说或连环漫画册的各页来准备，并且按恰当的顺序逐页存储该图像数据。除了逐页方式之外，也可以以比如每一单位由加倍扩展(double spread)或一栏(column)构成为单位存储图像数据。在下面的叙述中，假定图像数据是逐页(即，以每一单位由一页构成为单位)存储的。

缩放信息指定部分3已经存储了事先确定的缩放比和输出图像尺寸，并基于存储的比例和尺寸指定缩放比和输出图像尺寸。缩放信息指定部分3按照预定方式计算和指定缩放比和输出图像尺寸。此外，缩放信息指定部分3还基于用户的输入指定缩放比和图像尺寸。

参照图2，图像显示设备还包括：显示屏幕100，由CRT(阴极射线管)、LCD(液晶显示器)面板等构成，并能执行存储在输入图像存储部分1的输入图像或存储在输出图像存储部分6的输出图像的位图显示；按钮101，用于指令在存储在输入图像存储部分1的输入图像和存储在输出图像存储部分6的输出图像之间的显示切换；以及按钮102，用于翻页。当在显示屏幕100上显示输入图像时，用户可以通过触摸按钮102逐页连续地改变显示的输入图像。当在显示屏幕100上显示输出图像时，用户可以通过触摸按钮102逐页连续地改变显示的输出图像。

利用GUI(图形用户接口)在显示屏幕100上形成缩放信息指定部分3，提供用于规定缩放比的软按钮。在缩放信息指定部分3中的缩放比可以通过键盘或按钮或声音输入。比如，可以将其配置成当触摸硬或软按钮时以预定的增量改变缩放比。缩放和排列部分5可以根据缩放比的增加或减小以实际倍数改变输出图像。从而，用户能够可视地并且方便地识别缩放比。

输出图像的尺寸能够根据缩放信息指定部分3指定的缩放比任意地变化。但是，在下面的叙述中，假定显示的输出图像与输入图像具有相同的尺寸，除非特别声明。对于滚动显示在显示屏幕100上的图像，可以在图像显示设备中使用慢进标尺(jog-dial)(未示出)等。

参照图3，划分的行区域提取部分2的操作如下。划分的行区域提取部分2将密度投影到垂直或水平轴上(步骤S1)。

参照图4，通过将输入图像10的密度值投影到水平轴(在下文中也称作“x轴”)上画出行曲线图11，并通过将输入图像10的密度值投影到垂直轴(在下文中也称作“y轴”)上画出行曲线图12。在图中，曲线图11中向右的方向相应于代表投影位置的P_x轴，曲线图11中向上的方向相应于代表投影值的V_x轴。与此类似，曲线图12中向下的方向相应于代表投影位置的P_y轴，曲线图12中向上的方向相应于代表投影值的V_y轴。如果输入图像是二进制图像，则投影值相应于黑像素的数量，如果输入图像是多层图像，则投影值相应于密度值的总和。为了便于理解，将图4中的曲线图12和输入图像10对齐，以便投影结果的投影值可以在x轴的相同位置上分别画出作为输入图像10的投影的像素。在曲线图11中，类似地分别在x轴的相同位置上画出投影结果的投影值作为输入图像10的投影的像素。如果将每一位置的投影结果表示为一16位的整数，则整个投影结果排列在与使用16位值作为元素(component)的图像宽度相同的尺寸的阵列之内。

再参照图3，划分的行区域提取部分2确定输入图像中的字符行是否垂直(步骤S2)。如果确定字符行是水平的(步骤S2中为“否”)，则划分的行区域提取部分2将输入图像划分为多个行，并提取多个行区域(步骤S6)。划分的行区域提取部分2将每一个行区域投影到水平轴(步骤S7)。划分的行区域提取部分2将每一个行区域划分为多个区域，并提取多个划分的行区域(步骤S8)。

如果确定输入图像的字符行是垂直的(步骤S2中为“是”)，则行和列互换，并执行与步骤S6-S8中的处理相似的处理，以提取多个划分的行区域(步骤S3-S5)。因此，在此不再重复步骤S3-S5中的详细描述。

参照图5，现在将更为详细地描述图3所示的步骤S2中的处理。划分的行区域提取部分2确定在垂直轴上的投影结果是否正则(步骤S10)。可以使用各种技术确定该正则性。例如，可以对投影结果进行频率分析，并确定是否在特定频率处出现尖峰。在该示例中，根据阈值容易地将投影结果转化为二进制格式。例如，产生一串“0，0，1，0，0，0，1，1，1，0，0，0，1，1，1，0，0，0，1，1，1，0，0”。确定“0”的行程(run)的行程长度和“1”的行程的行程长度，用于检查行程长度的频率分布。在上述示例中，“0”的行程揭示了“3”的行程长度的频率为3、“2”的行程长度的频率为2的分布。“1”的行程揭示了“1”的行程长度的频率为1、“3”的行程长度的频率为3的关系。如果大于阈值T1的行程长度的频率大于阈值T2，则确定出现正则性。假定T1等于2，T2也等于2，则上述示例满足前述条件，因此确定正则性出现，这是因为“1”的行程长度的频率和“0”的行程长度的频率都等于3。

如果确定到垂直轴上的投影得到正则结果(步骤S10中为“是”)，则处理移到步骤S11。如果确定到垂直轴上的投影得到非正则结果(步骤S10中为“否”)，则处理移到步骤S12。

在步骤S11中，确定在水平轴上的投影是否得到正则结果。如果到水平轴上的投影得到正则结果(步骤S11中为“是”)，则处理移到步骤S13。如果到水平轴上的投影得不到正则结果(步骤S11中为“否”)，则确定输入图像中的字符行是水平的，处理移到连接点P3。执行与步骤S10相似的方法，用于确定在水平轴上的投影是否得到正则结果。因此，在此不再重复其详细描述。

在步骤S13中，比较通过投影到垂直轴获得的背景的宽度和通过投影到水平轴获得的背景的宽度。根据已经描述的行程的示例，上述比较相当于比较相应于该背景的行程“0”的行程长度。“0”的行程可能提供两个或更多不同的行程长度，每一个都大于阈值T1，并在大于阈值T2的频率处出现。在这种情况下，最大频率的行程长度被选为比较的主题。在上述示例中，通过在频率“3”处提供3的行程长度的“0”的行程、以及通过在频率“2”处提供2的行程长度的“0”的行程满足上述条件。在这些行程长度中，将在频率“3”处提供3的行程长度的行程选择为比较主题。比较从垂直轴上的投影获得的“0”的行程的行程长度和从水平轴上的投影获得的“0”的行程的行程长度，并将较大的行程长度确定为具有较大宽度的背景。如果通过垂直轴投影获得的背景的宽度大于通过水平轴投影获得的背景的宽度(步骤S13中为“是”)，则确定输入图像上的字符行是水平的，处理移到连接点P3。如果通过垂直轴投影获得的背景的宽度不大于通过水平轴投影获得的背景的宽度(步骤S13中为“否”)，则确定输入图像上的字符行是垂直的，处理移到连接点P2。

在步骤S12中，确定输入图像在水平轴上的投影是否得到正则结果。该确定方式与在步骤S11中的方式类似。因此，在此不再重复详细描述。当确定输入图像在水平轴上的投影得到正则结果时(步骤S12中为“是”)，则确定输入图像上的字符行是垂直的，处理移到连接点P2。当确定输入图像在水平轴上的投影得到非正则结果时(步骤S12中为“否”)，则处理移到步骤S13。

在图3所示的步骤S6中，划分的行区域提取部分2从输入图像中提取水平行的区域，这是因为在步骤S2中确定输入图像上的字符行不是垂直的。参照图6，划分的行区域提取部分2首先提取图4中的最上边的水平行。在已经描述的行程的示例中，提取包括行程长度超过阈值T3的“1”的行程的部分，作为行。以在图6中用长方形区域指示的水平格式将确定为行的部分切出，并从而提取该行区域。实际上，这可以通过仅获得相应于该行区域的长方形的坐标信息、即左上角的坐标(左(left)，上(top))和该长方形的宽度和高度信息(宽(width)，高(height))来充分实现。

参照图7，将给出该长方形的坐标信息的描述，当在步骤S6中按序号提取n行时，该坐标信息存储在存储器中(未示出)。第一个长方形rect[0]的坐标值(left[0]，top[0])分别存储在单元20和21中。与长方形rect[0]的宽和高有关的信息(width[0]，height[0])分别存储在单元22和23中。每一个单元由2字节构成。可以通过将left[0]的地址值加上2字节获得rect[0]的top[0]的地址值。与此类似，可以通过将left[0]的地址分别加上4字节和6字节获得width[0]和height[0]的地址。在第二行上的长方形rect[1]的地址(即单元24的地址)用(rect[0]的地址＋8)表示。以这种方式，可以访问每一行的长方形信息。

在步骤S7中，使用在步骤S6中获得的长方形信息将每一个长方形(行区域)投影到水平轴。通过第一行中的行区域的投影获得图6所示的行图形。

在步骤S8中，基于在步骤S6中所获得的长方形信息和在步骤S7中所获得的投影结果，将行区域划分为多个区域。如果预先确定了将要划分成的区域的数量，则将行区域在行方向上的宽度除以该划分数量，用于获得划分的行区域的平均尺寸。划分的行区域提取部分2将该行区域除以该平均尺寸，获得一临时划分位置。划分的行区域提取部分2将在步骤S7中获得的在水平轴上的投影结果变换为二进制形式，并将最接近临时划分位置的0的密度位置确定为划分位置。实际上，可以不用该方式将行区域完全在划分位置划分以获得划分的行区域。或者，可以假定在0密度的部分没有字符出现，并且可以不将该部分作为划分的行区域。与此类似，如果在行区域的末端部分的密度为0，可以不将其作为划分的行区域。作为划分的行区域的高度，将其用作行区域的高度。

图4中图像上的每一行都被划分成两个划分的行区域，从而形成图8所示的区域。为了便于理解，图像上每一个划分的行区域都用实线框包围。背景区域(即0密度区域)出现在第一行中左边的划分的行区域的最后一个字符和紧随其后的右边的划分的行区域的第一个字符之间。该区域不包括在划分的行区域中。从而，左边和右边的划分的行区域相互不接触。由于第四行的第一部分缩进一个字符，所以由该缩进构成的空间不包括在划分的行区域中。通过如上所述移去0密度的部分，划分的行区域的宽度可能为0，在该种情况下宽度为0的区域可以从划分的行区域中除去。例如，在第三行中仅有一个划分的行区域出现。这是因为作为除去0密度部分的结果，其右边的划分的行区域的宽度为0。由于这个原因，在第三行中划分的行区域在数量上只有一个。

在前面图8所示的示例中，行区域是基于划分数量划分的。或者，可以事先确定划分的行区域的基准宽度，并可以在最接近实现该基准宽度的位置来划分该行区域。

基于基准宽度划分的示例示于图9。在该示例中，基准宽度实际上等于两个字符的宽度，并且出于此目的，使基准宽度等于划分的行区域的高度的两倍。

不用确定划分数量和基准宽度，可以仅事先确定密度等于1的行程的最小宽度，并且可以提取行程1的行程长度等于或大于该最小宽度的区域。在这种情况下，行程1的行程长度小于该最小宽度的区域可以作为噪声忽略，或可以合并到相邻划分的行区域中。

通过预先确定每一行的划分数量，可以获得如下优点，即缩放和排列部分5通过简单的处理可以以整数倍的系数放大输入图像，或者可以以整数倍的系数缩小输入图像。例如，当划分数量为2时，则缩放比为2，可以使用于重排的计算简单化。

如果事先确定基准宽度或最小宽度，则可以有效地去除噪声等。如果事先确定的基准宽度或最小宽度接近输出图像的宽度的整数因数，则当重排输出图像用于显示时可以更为有效地利用该输出图像。

当提取字符区域并将该提取的字符区域划分成划分的行区域时，形成如图10所示的这些。现在将描述提取字符区域的示例。例如，如果背景的密度值小于字符部分的密度值，则划分的行区域提取部分2将输入图像变换为二进制形式，并执行标号，用于提取耦合的黑像素的区域。划分的行区域提取部分2获取黑像素的耦合的区域的外侧接触长方形。一个耦合的区域的信息通过标号值和外侧接触长方形的左上位置的坐标及其尺寸表示。划分的行区域提取部分2的处理结果由耦合的区域的数量和每一个耦合的区域的信息构成，并存储在存储器中。如果外侧接触长方形的面积不超过阈值T_a，则认为该长方形为噪声并在随后的处理中去除。

图11示出从各个耦合的区域中获得的外侧接触长方形。为了便于理解，图11将外侧接触长方形区域40-47与字符一起示出。外侧接触长方形之间的距离是确定的。由不超过阈值T_d的距离隔开的外侧接触长方形被认为是相同字符区域的一部分，并被相互合并。假定将长方形u的范围在x轴方向上定义为在u₁和u₂之间(u₁≤u₂)，将长方形v的范围在x轴方向上定义为在v₁和v₂之间(v₁≤v₂)。在u₁＜u₂≤v₁≤v₂的情况下，该距离等于(v₁-u₂)。在v₁≤u₂≤v₂或u₁≤v₂≤u₂情况下，该距离等于0。在v₁≤v₂≤u₁≤u₂情况下，该距离等于(u₁-v₂)。以相似的方式，获得在y轴方向上的该距离，并将x轴和y轴方向上的该距离中较小的一个选为外侧接触长方形之间的距离。

外侧接触长方形的合并指将要合并的多个耦合的区域的标号值统一成它们中的一个，并再次确定外侧接触长方形区域的操作。在图像上搜索具有标号值而非统一的标号值的像素，并重置为该统一标号值。如果以前述方式存储处理结果，则划分的行区域提取部分2将新的外侧接触长方形的位置和尺寸替换到包括统一值的标号信息，从而擦除统一的标号信息。此外，耦合的区域的数量减1。

重复前述合并过程，直到要合并的外侧接触长方形不再出现。通过上述系列的处理，提取字符区域。参照图12，外侧接触长方形区域41-43被合并成字符区域48，而图11中的外侧接触长方形区域46-47被合并成字符区域49。

将由此获得的字符区域作为划分的行区域处理。除了上述方式之外，可以通过基于行区域的划分数量或基准宽度集合(gather)字符区域来提取划分的行区域。另外，可以通过将字符区域集合成每一个包括预定数量字符的区域来提取划分的行区域。此外，可以基于外侧接触长方形之间的距离提取划分的行区域。

通过在步骤S8中的处理获得的划分的行区域的信息采用图13所示的形式存储在存储器中。单元30存储输入图像上字符串的总行数。单元31存储在第一行中出现的划分的行区域的数量s[0]。在存储空间中，s[0]个划分的行区域的区域信息在单元31之后存储。单元32-25存储第一行中第一个划分的行区域的区域信息。更具体地说，单元32和33存储该划分的行区域的左上角的坐标值(L[0，0]，T[0，0])，单元34和35存储该划分的行区域的宽和高(W[0，0]，H[0，0])。单元35随后的单元以相似的顺序存储划分的行区域的区域信息。从而，用于存储第一行中最后一个划分的行区域信息的单元37存储在第s[0]位置的划分的行区域的高H[0，s[0]-1]。在存储空间的单元37的下一个位置上的单元38中存储下一行中划分的行区域的数量s[1]。单元38之后的单元存储与第一行相似的划分的行区域信息。假定存储划分的行区域的区域信息的每一个单元又2个字节构成，并且存储划分的行区域数量的单元由1个字节构成。指向存储第二行中的第三个位置上的划分的行区域的信息的单元的指针通过((s[0]的指针值/(1＋(8×s[0]))＋(1＋8×2＋2×(3－1)))计算。

参照图14，下面将给出图1中排列确定部分4的操作的描述。出于方便的原因，在下面的描述中将输入图像中的划分的行区域称作“输入的划分的行区域”，将排列确定部分4排列的划分的行区域称作“输出的划分的行区域”。假定排列确定部分4确定的输出的划分的行区域信息以类似于参照图13已经描述的方式存储。如果不能在一页之内排列输出图像，而必须安排在两页或更多页中，则要保证有两项或更多项的输出的划分的行区域信息。为了存储多项该保证的输出的划分的行区域信息，准备存储用于每一项输出的划分的行区域信息的指针值(即，用4字节表示的地址)的阵列，并基于该阵列管理输出的划分的行区域信息。在下文中将该阵列称作“输出排列阵列”。

对输出的划分的行区域信息、比如第n个位置的存取可以通过参照输出排列阵列中第n个位置的元素的值来执行。在输出排列阵列中第n个位置上的元素存储在、将存储第0个位置的元素的地址加上(n×4)所指定的地址中。

在下面的描述中，除非特别声明，假定以已经描述过的方式执行对输出的划分的行区域信息的存取。还假定将代表当前准备的输出的划分的行区域信息的排列的当前输出页的数量设定为0。输出页的总数量根据指定的缩放比和重新排列方式而定。例如，如果一页中的输入图像被放大一倍，则输出页的总数量实际上等于4页。

排列确定部分4获取下一个要被处理的输入的划分的行区域(步骤S20)。排列确定部分4保留指示当前正在处理的输入的划分的行区域的行位置的值(在下文中称作“输入行索引值”)、以及指示当前正在处理的包括划分的行区域的行位置的值(在下文中称作“输入的划分的行区域索引值”)。从而，可以根据已经参照图13描述的方式获取输入的划分的行区域。在步骤S20中，排列确定部分4比较通过将输入的划分的行区域索引值加1所获得的值、与当前行(即，正在处理的行)中划分的行区域的数量。如果输入的划分的行区域索引值大于划分的行区域的数量，则获得下一行中第一个位置处的划分的行区域。因此，将输入行索引值增加1，并将输入的划分的行区域索引值设为0。

排列确定部分4确定在排列在最后的输出的划分的行区域之后排列在步骤S20中获得的下一个输入的划分的行区域是否合适(步骤S21)。当在最后输出的划分的行区域之后排列下一个输入的划分的行区域合适时(在步骤S21中为“是”)，处理移到步骤S25。当不合适时，处理移到步骤S27。

在步骤S25中，排列确定部分4确定前一个划分的行区域是否为单词连接符。在比如英语文本的情况下，可以将出现在行末尾处的长单词在恰当的位置划分，以便使前半部分和连字符位于该行的末尾，而后半部分位于下一行中。在这种情况下，单词连接符为连字符。如果行是基于单位而不是基于字符来划分的，则难于确定是否放置连字符。从而，在基于单位而不是字符划分行的情况下，去除在步骤S25和S26中的处理。

如果前一字符(划分的行区域)是连字符并且是同一行的最后字符，则排列确定部分4确定前一划分的行区域是单词连接符(在步骤S25中为“是”)，处理移到步骤S26。如果排列确定部分4确定前一划分的行区域不是单词连接符(在步骤S25中为“否”)，则处理通过连接点P22移到步骤S22。确定前一划分的行区域是否为连字符通常通过字符识别处理执行，但是也可以通过本示例中更为简单的处理执行。更为具体地说，如果划分的行区域实际上具有等于其它划分的行区域(字符区域)的水平宽度(字符宽度)，但是具有几乎为0的高度，并且该字符出现在或靠近垂直方向上的中心，则可以将该字符确定为连字符。假定前一划分的行区域位于位置(L_p，T_p)并具有(W_p，H_p)的尺寸。同时假定当前确定的划分的行区域位于位置(L_g，T_g)并具有(W_g，H_g)的尺寸。在这种情况下，连字符的确定可以通过确定下面的3个公式是否都满足来执行。在下面的公式中，“abs()”表示绝对值，T_w，T_h和T_p分别代表阈值。

abs(W_g-W_p)＜T_w

H_g/H_p＜T_h

abs((T_g＋W_g/2)－(T_p＋W_p/2))＜T_p

在步骤S26中，排列确定部分4从输出图像中移去前一字符即连字符，因为已经在步骤S25中确定前一字符为连字符。从而，在输出图像中最终将该单词的两个划分的部分连接在一起。如果尽管移去了输出的划分的行区域，但是仍然存在输入的划分的行区域，则需要在缩放和排列部分5中进行复合处理，这将在后面描述。从而，最好将相应的输入的划分的行区域和输出的划分的行区域一起除去。为了移去该输入的划分的行区域，将所讨论的行中的划分的行区域的数量减1，并将随后的划分的行区域信息拷贝到所讨论的划分的行区域信息的存储位置中，直到拷贝完最后的信息，同时按等于划分的行区域信息的一项的字节数量的字节连续移位信息。准备输出的划分的行区域。从而，仅需要将划分的区域数量减1，并将划分的区域索引值减1。在步骤S26的处理之后，处理通过连接点P22移到步骤S22。

在步骤S22中，确定能够在输出的划分的行区域之后适当地排列下一个输入的划分的行区域。从而，排列确定部分4在最后的输出的划分的行区域之后排列下一个输入的划分的行区域。然后，处理通过连接点P24移到步骤S24。

在步骤S27中，排列确定部分4重排输出的划分的行区域，以便位于当前输出行的输出的划分的行区域能够以同一间距相互隔开。排列确定部分4将输入的划分的行区域的位置设置到下一输出行的第一位置上(步骤S23)。从而，处理通过连接点P24移到步骤S24。

在步骤S22或S23的处理之后，排列确定部分4确定输入的划分的行区域是否是最后的划分的行区域(步骤S24)。如果输入的划分的行区域是最后的划分的行区域(在步骤S24中为“是”)，则排列确定部分4中的处理结束。如果输入的划分的行区域不是最后的划分的行区域(在步骤S24中为“否”)，则处理通过连接点P20移到步骤S20。

参照图15，现在将给出图14所示的步骤S21中的处理的描述。排列确定部分4确定在最后的输入的划分的行区域之后是否跟随换行字符(步骤S30)。当确定在最后的输入划分的行区域之后跟随换行字符时(在步骤S30为“是”)，则将下一输入的划分的行区域排列在下一行的前端。从而，确定将下一输入的划分的行区域排列在最后的输出划分的行区域之后是不合适的，并且处理移到下一连接点P23。当确定换行字符放置在最后的输入的划分的行区域之后时，将下一输入的划分的行区域排列在下一行中。从而，在输入图像中的换行字符反映在输出图像上，并实现了作为一种栏排列(columnarranging)处理的换行保存。换行用来代表特定的含义，比如在许多情况下不同的内容。从而，可以有利于在输出图像上保持该换行效果。

当确定在最后输入的划分行区域之后没有跟随换行回车时(在步骤S30中为“否”)，排列确定部分4确定在划分的行区域中的字符是否为行界限符(步骤S34)。行界限符为在正常情况下不会排列在行的前端的“。”、“、”、“.”、“，”、“？”和“！”。除非根据字符划分行，否则很难确定一个字符是否为行界限符。如果行不是根据字符来划分的，则略去上述处理，处理从步骤S30移到步骤S31。

字符是否为行界限符的确定通常通过字符识别执行。由于需要确定的字符种类数量不多，所以该确定可以通过简单的识别处理执行。例如，如果字符是日语标点符号的句号或逗号，则其占据的区域小于其他的字符区域，并位于较低的位置。从而，如果划分的行区域的区域信息满足上述条件，则可以将提供该信息的字符确定为行界限符。

如果需要识别“？”和“！”，则事先准备具有适当尺寸的“？”和“！”的二进制位图，并在将划分的行区域转换成二进制形式之前将其缩放以与位图的尺寸匹配。在转换成二进制形式之后，在划分的行区域和位图之间执行格式匹配，并对匹配的像素进行计数。如果匹配的像素的数量超过某一阈值，则确定该字符为“？”或“！”。如果在上述的处理中确定在划分的行区域中的字符不是行界限符(在步骤S34中为“否”)，则将下一个输入的划分的行区域排列在下一行的前端。从而，确定下一个输入的划分的行区域可以恰当地排列在最后输出的划分的行区域的后边，并且处理移到步骤S25。

当确定在划分的行区域中的字符是行界限符时(在步骤S34中为“是”)，排列确定部分4获取最后输出的划分的行区域的位置(步骤S31)。这可以通过保留排列在最后的输出的划分的行区域的位置容易地执行。排列确定部分4获取紧随最后输出的划分的行区域之后的区域的位置(步骤S32)。“紧随最后输出的划分的行区域之后的区域的位置”是指与最后输出的划分的行区域一起形成一连续行的区域的位置。在图8所示的图像的示例中，与划分的行区域25相邻的位置由位于区域25右侧的划分的行区域26占据。

如果下一个输入的划分的行区域排列在紧随最后输出的划分的行区域之后的区域的位置上，则排列确定部分4确定下一个输入的划分的行区域是否扩展超出输出图像(步骤S33)。如果确定输入的划分的行区域扩展超出输出图像(在步骤S33中为“是”)，则确定输入的划分的行区域不能适当地排列在最后输出的划分的行区域之后(在步骤S21中为“否”)，并且处理移到连接点P23。当确定输入的划分的行区域没有扩展超出输出图像时(在步骤S33中为“否”)，确定能够适当地将输入的划分的行区域排列在最后输出的划分的行区域之后，并且处理移到步骤S25或连接点P22。

参照图16，现在将更加详细地描述图15中的步骤S30。排列确定部分4确定所讨论的输入的划分的行区域是否为同一行中的最后输入的划分的行区域(步骤S40)。当确定该输入的划分的行区域不是同一行中的最后输入的划分的行区域时(在步骤S40中为“否”)，则不可能在所讨论的输入的划分的行区域之后开始换行，所以处理移到连接点P30。

当确定该输入的划分的行区域是同一行中的最后输入的划分的行区域时(在步骤S40中为“是”)，则在该输入的划分的行区域之后有可能开始换行。从而，排列确定部分4获取一将所有输入的划分的行区域包含在内的区域(外侧接触长方形)(步骤S41)。假定该包含区域的具有左上角坐标(L_C，T_C)和右下角坐标(R_C，B_C)。左上角的x坐标L_C为所有输入的划分的行区域的左端位置的最小值，左上角的y坐标T_C为所有输入的划分的行区域的上端位置的最小值。右下角的x坐标R_C为所有输入的划分的行区域的右端位置(左端位置加上宽度)的最大值，右下角的y坐标B_C为所有输入的划分的行区域的上端位置(上端位置加上高度)的最大值。

排列确定部分4确定在行方向上所讨论的输入的划分的行区域的一端和包含区域的边框之间的距离是否大于阈值T_r1(步骤S42)。如果该距离大于阈值T_r1则可以认为开始换行(步骤S42)。例如，假定所讨论的输入的划分的行区域具有左上角坐标(L₁，T₁)和尺寸(W₁，H₁)。如果该行是水平的并且满足下面的关系，则认为该距离足够大。

R_C－(L₁＋W₁)＞T_r1阈值T_r1可以为固定值，也可以设定为相应于一个字符的H₁或相应于两个字符的(H₁×2)的值。除了H₁，可以获取每一行中各输入的划分的行区域的高度的中值，并用作相应于一个字符的阈值。如果如将在后面描述的那样、行划分是根据字符执行的，则可以使用其本来的字符的宽度或高度。当确定该距离大于阈值T_r1时(在步骤S42中为“是”)，确定在最后输入的划分的行区域之后开始换行，并且处理移到连接点P23。

当确定该距离等于或小于阈值T_r1时(在步骤S42中为“否”)，排列确定部分4确定下一输入的划分的行区域的前端和包含区域的边框之间的距离是否大于阈值T_r2(步骤S43)。执行该步骤的目的是用于检测在一段的开始处的缩进。即使上一段的末尾部分实际上完全用字符填满，也可以通过发现下一行中的缩进来确定有意设置了换行。该确定方式与在步骤S42中执行的相类似。假定下一输入的划分的行区域具有左上角坐标(L₂，T₂)和尺寸(W₂，H₂)，并且该所讨论的行是水平的，如果满足下面的关系，则认为该距离出现。

L₂－L_C＞T_r2可以类似于阈值T_r1确定T_r2。当确定该距离大于阈值T_r2并由此确定缩进出现时(在步骤S43中为“是”)，确定在最后的划分的行区域之后开始换行，并且处理移到连接点P23。

当确定该距离等于或小于阈值T_r2时(在步骤S43中为“否”)，排列确定部分4确定所讨论的输入的划分的行区域和下一输入的划分的行区域之间的距离是否大于阈值T_r3(步骤S44)。如果该距离大于T_r3在下一行中可能不会出现缩进，但是可以认为该段在所讨论的行中结束。从而，认为在该空间(space)后开始换行。例如，假定所讨论的输入的划分的行区域具有左上角坐标(L₁，T₁)和尺寸(W₁，H₁)，下一输入的划分的行区域具有左上角坐标(L₂，T₂)和尺寸(W₂，H₂)。如果该行是水平的，并且满足下面的关系，则确定换行出现。

T₂－(T₁＋H₁)＞T_r3阈值T_r3可以比如等于两倍的行高，即(H₁×2)或(H₂×2)。

当前述关系满足时(在步骤S44中为“是”)，确定在最后的划分的行区域之后出现换行，并且处理移到连接点P23。当前述关系不满足时(在步骤S44中为“否”)，确定在最后的划分的行区域之后没有出现换行，并且处理移到连接点P30。

再参照图15，可以使用下述方式确定与通过在步骤S32中的处理、排列在最后的输出的划分的行区域的下一个位置。假定排列在最后的输出的划分的行区域具有左上角坐标(L₃，T₃)和尺寸(W₃，H₃)，下一输入的划分的行区域具有尺寸(W₄，H₄)，在垂直和水平方向上的缩放比(R_x，R_y)从缩放信息指定部分3获得，并且输入的划分的行区域由距离I_r隔开，行是水平的。在这种情况下，在排列之后输入的划分的行区域具有用下面的公式表示的尺寸(W₅，H₅)。

W₅＝W₄×R_x

H₅＝H₄×R_y左上角坐标(L₅，T₅)用下面的公式表达：

L₅＝L₃＋W₃＋I_r

T₅＝T₃＋(H₃/2)－(H₄×R_y/2)将划分的行区域的垂直位置设置为在同一行中的所有的输入的划分的行区域具有在同一垂直位置上的中心。

如果如在下面将要叙述的那样行是根据字符来划分的，则距离I_r可以通过将所计算的字符区域之间的平均距离乘以R_x得到。在其他情况下，划分的行区域的投影结果被转换为二进制形式，这已经结合示于图6的步骤S6中的处理进行了描述，并且将背景像素的行程长度值处理作为字符区域之间的距离，从而获得相邻输入的划分的行区域之间的距离平均值，并作为距离I_r处理。

参照图15，在步骤S33中确定下一输入的划分的行区域是否被排列在步骤S32中所获得的位置。换句话说，就是确定在水平行中排列在上述位置的输入的划分的行区域是否向右扩展超出输出图像。该排列的输入划分的行区域具有用下式表示的x坐标R₅的右端：

R₅＝L₅＋W₅将其与水平宽度W₀比较，并且如果R₅大于W₀，则确定该输入的划分的行区域扩展超出输出图像。如果输出图像具有包括右边界M_r的边界，则当R₅大于(W₀-M_r)时确定该输入的划分的行区域扩展超出输出图像。

再参照图14，下面的技术可以用于步骤S22中的将下一输入的划分的行区域排列在最后输出的划分的行区域之后。如果行是水平的，则通过示于图15的步骤S32中的处理获得水平排列位置。因而，使用由此获得的值。可以如此确定垂直排列位置，即最后输出的划分的行区域的中心与要被排列的划分的行区域的中心位于相同的垂直位置，这已经结合步骤S32进行了描述。通过使用垂直位置的平均值或中值，可以将属于相同行的所有输出的划分的行区域排列为具有同一垂直位置的中心。输出的划分的行区域的尺寸可以通过将在步骤S32中的处理获得的值、即输入的划分的行区域的尺寸(R_x，R_y)乘以(R_x，R_y)来获得。

如果以示于图10的形式存储划分的行区域信息，则可以准备相似的存储区域，并且只要确定了排列的地址，就可以在其中连续追加存储该划分的行区域信息。将在同一行中要包括的划分的行区域数量加1用于添加该划分的行区域信息。当用于排列划分的行区域的位置最初移到下一行时，将该划分的行区域添加为下一行的第一个划分的行区域。

参照图17，现在详细描述示于图14的步骤S27中的处理。在下面的描述中，假定正在处理位于当前输出行中的输出的划分的行区域，并且假定行是水平的。在输出的划分的行区域在行的前端的位置是固定的、并且在行的末端的输出的划分的行区域位于输出图像的可排列范围的一端的情况下，排列确定部分4计算输出的划分的行区域之间的平均距离S_e(步骤S80)。例如，假定输出的划分的行区域的数量为n，并且第i个位置的划分的行区域具有左坐标L[i]和宽度W[i](i＝0，1，…，n－1)。在这种情况下，平均距离S_e用下面的公式表示：

S_e＝(W_o－M_r－L[0]－(W[0]＋…W[n－1]))/(n－1)

排列确定部分4比较平均距离S_e和预定阈值T_e(步骤S81)。当平均距离S_e大于预定阈值T_e时(在步骤S81中为“是”)，确定按平均距离S_e重排将比划分的行区域之间的距离增加过多，并执行步骤S82及之后的处理。当平均距离S_e等于或小于预定阈值T_e时(在步骤S81中为“否”)，执行步骤S84中的处理。

在步骤S82中，排列确定部分4固定在该行的前端和末端的输出的划分的行区域的位置，并按照下面的公式计算输出的划分的行区域之间的平均距离S_m：

S_m＝(L[n－1]－L[0]－(W[0]＋…W[n－1]))/(n－1)

排列确定部分4使用该平均距离S_m重排输出的划分的行区域(步骤S83)，处理移到步骤S23。在重排之后，在第i个位置的划分的行区域具有用下式表达的左端坐标L[i](i＝1，…，n－1)：

L[i]＝L[i－1]＋W[i－1]＋S_m

在步骤S84中，排列确定部分4使用平均距离S_e重排输出的划分的行区域(步骤S84)，处理移到步骤S23。在重排之后，在第i个位置的划分的行区域具有用下式表达的左端坐标L[i](i＝1，…，n－1)：

L[i]＝L[i－1]＋W[i－1]＋S_e

参照图18和19，现在将详细描述图14所示的步骤S23中的处理。排列确定部分4计算平均行距离L_m(步骤S50)。该平均行距离是相邻行之间的距离(如果行是水平的，为上下行之间的距离)的平均值。假定行的数量为n，可以通过计算T[d＋1，0]－T[d，0](d＝0，…，n－2)的平均值获得平均行距离L_m。如果某一行或多行含有大字符或图片，则可以使用中值取代平均值作为平均行距离L_m。

排列确定部分4将输入的划分的行区域的上部位置和最后一行中的输入的划分的行区域之间的距离除以平均行距离L_m，并确定通过该划分所获得的值是否等于或大于阈值T_m(步骤S51)。当获得的值等于或大于阈值T_m时(在步骤S51中为“是”)，确定在当前和最后行之间出现空行，并执行步骤S52和之后的处理。当获得的值小于阈值T_m时(在步骤S51中为“否”)，确定在当前和最后行之间没有出现空行，并执行步骤S53和之后的处理。在多数情况下，阈值T_m可以设定在大约1.5至2.0的范围之内。

根据在步骤S51中的确定，在当前行和最后行之间出现空行时执行步骤S52的处理。如果行是水平的，排列确定部分4将((当前行和最后行之间的距离)×R_y)和最后行中的输出的划分的行区域的上部位置相加，并将所获得的值用作新的输出的划分的行区域的上部位置。在多数情况下，空行意味着一段的结束或类似的情况。通过前述的处理，在输入图像中的空行在输出图像中予于保留。从而，执行作为一种栏排列处理的空行保存。

当在步骤S51中的处理确定在当前和最后行之间没有出现空行时，执行步骤S53的处理。如果行是水平的，则排列确定部分4将(L_m×R_y)和最后行中的输出的划分的行区域的上部位置相加，并将所获得的值用作新的输出的划分的行区域的上部位置。

在步骤S52或S53的处理之后，排列确定部分4按照获得的排列位置确定划分的行区域是否扩展超出输出图像可排列的范围(步骤S54)。假定T_a代表在步骤S52或S53中获得的输出的划分的行区域的上部位置，H_a代表输入的划分的行区域的高度，则可以用下式表示输出的划分的行区域的下端B_a：

B_a＝T_a＋H_a×R_y

假定输出图像底边界为M_b，当满足下面的公式时，排列确定部分4确定划分的行区域没有扩展超出输出图像的可排列范围。

B_a＜W₀－M_b

如果不满足上面的公式，则确定划分的行区域扩展超出了输出图像的可排列范围。因此，在步骤S54中确定将要排列的划分的行区域能否置于当前输出页之内。

当确定划分的行区域的尺寸超出输出图像的尺寸时(在步骤S54中为“是”)，排列确定部分4为该输出图像确保一用于新输出的划分的行区域信息的区域。此外，排列确定部分4将由此确保的新区域的指针值添加到输出排列阵列中，并将当前输出页号加1。另外，将输出行索引值和输入的划分的行区域索引值设置为0。接着，排列确定部分4在信息区域记录输出的划分的行区域的垂直位置(步骤S55)。该划分的行区域排列在第一行。从而，可以将输出的划分的行区域的垂直位置设定成输出图像的边界值M_t。

在步骤S55的处理之后，或者当确定划分的行区域没有扩展超出输出图像时(在步骤S54中为“否”)，排列确定部分4确定将要处理的输入的划分的行区域是否位于输入图像中的行的前端(步骤S60)。该确定可以通过确定划分的行区域索引值是否为0而容易地执行。

当确定该输入的划分的行区域位于输入图像的前端时(在步骤S60中为“是”)，排列确定部分4类似地在输出图像的前端排列该划分的行区域(步骤S61)，并且处理移到连接点P24。假定输入的划分的行区域的水平位置为L_i，并且输出图像的左边界为M_l，则输出的划分的行区域的左端位置用下面的公式表示：

左端位置＝(L_i－L_c)×R_x－M_l

当确定该输入的划分的行区域没有位于输入图像的前端时(在步骤S60中为“否”)，排列确定部分4确定其中将要排列输入的划分的行区域的输出行的索引值是否超出输入图像的总行数(步骤S62)。类似于示于图18的步骤S50中的处理，执行该确定。因此，这里将不再重复具体的描述。

当输出行索引值超出输入图像的总行数时(在步骤S62中为“是”)，在示于图16的步骤S41的处理中所需要的、所有输入的划分的行区域的包含区域的左端位置被设置为输出的划分的行区域的水平位置(步骤S63)，并且处理移到连接点P24。在步骤S62中已经确定输出行索引值超出输入图像的总行数。因此，当确定输出的划分的行区域的水平位置时没有可以参照的行。从而，将输出图像的左边界宽度M_l用作输出的划分的行区域的左端位置。

当输出行索引值没有超出输入图像的总行数时(在步骤S62中为“否”)，排列确定部分4确定在具有行索引值等于输出行索引值的输入行中、位于前端的输入的划分的行区域是否缩进(步骤S64)。与示于图16的步骤S43中的缩进检测相似，执行该位于前端的输入的划分的行区域是否缩进的确定。因此，在此不再重复其描述。

当确定在该行开头的输入的划分的行区域没有缩进时(在步骤S64中为“否”)，执行步骤S65中的处理。在步骤S65中，确定该输入的划分的行区域没有位于行的开头。假定输出行索引值等于L_n，从而将在输入行索引值等于L_n的行中的第一个输入的划分的行区域的水平位置L[L_n-1，0]选择为输出的划分的行区域的水平位置(步骤S65)。接着，处理移到连接点P24。

当确定在前端的该输入的划分的行区域缩进时(在步骤S64中为“是”)，执行步骤S66中的处理。当在步骤S60中确定输入的划分的行区域没有位于行的开头、并且在步骤S64中确定输入的划分的行区域排列在包括位于开头的缩进的输入的划分的行区域的行中时，执行步骤S66中的处理。从而，该缩进的输入的划分的行区域的前端的位置不能用于计算输出的划分的行区域的水平位置。因此，与在步骤S63中的处理相似，排列确定部分4将输出图像的左边界宽度M_l设置为输出的划分的行区域的左端位置，并且处理移到连接点P24。

参照图20，图1中的缩放和排列部分5按如下所述操作。缩放和排列部分5将输出页号、输入行索引值、输入的划分的行区域索引值、输出行索引值和输出的划分的行区域索引值设置为0(步骤S70)。从而，通过在输出排列阵列中的输出页号和输出行索引号规定被存取的输出的划分的行区域信息。

缩放和排列部分5然后获取将要处理的输入的划分的行区域和输出的划分的行区域的信息(步骤S71)。这可以通过使用输入行索引值、输入的划分的行区域索引值、输出行索引值和输出的划分的行区域索引值访问存储区域来获得。

缩放和排列部分5获取缩放比(步骤S72)。如果缩放信息指定部分3已经指定了固定的缩放比，则使用由此指定的值。正如将在后面描述的，该缩放比可以根据划分的行区域而变化。如果变化，则将输出的划分的行区域的尺寸除以输入的划分的行区域的尺寸，以获取该缩放比。如果输入的和输出的划分的行区域具有相同的宽高比，则仅需要计算垂直或水平缩放比。如果输入的和输出的划分的行区域分别具有不同的宽高比，则需要从宽度和高度之间的比例分别计算每个垂直缩放比和水平缩放比。

缩放和排列部分5在输出图像上排列输出的划分的行区域的缩放图像(步骤S73)。这可以通过从左上角到右下角执行输出的划分的行区域的像素光栅扫描(raster-scanning)时计算像素值、并将所计算的值代入像素而容易地实现。假定输出的划分的行区域具有由(L_o，T_o)到(L_o＋W_i，T_o＋H_o)定义的范围，输入的划分的行区域具有由(L_i，T_i)到(L_i＋W_i，T_i＋H_i)定义的范围。在这种情况下，缩放比(R_x，R_y)可以根据下式确定：

R_x＝W₀/W_i

R_y＝H_o/H_i

与任意输出位置(X_o，Y_o)相对应的输入位置(X_i，Y_i)通过下式获得：

X_i＝L_i＋(X_o－L_o)/R_x

Y_i＝T_i＋(Y_o－T_o)/R_y

假定f(X_o，Y_o)代表输出位置(X_o，Y_o)的像素值，g(X_i，Y_i)代表输入位置(X_i，Y_i)的像素值，则输出图像的像素值可以按照下式通过将像素值g(X_i，Y_i)替代像素值f(X_o，Y_o)来获得：

f(X_o，Y_o)＝g(X_i，Y_i)

当在L_o和(L_o＋W_o)之间X_o递增1、在T_o和(T_o＋H_o)之间Y_o递增1、时计算输出位置(X_i，Y_i)，并由此获得像素值g(X_i，Y_i)，从而获得输出的划分的行区域中所有的像素值。X_o的变化与Y_o无关。如果用整数代表输出位置(X_o，Y_o)，输入位置(X_i，Y_i)没有必要用整数代表。因此，将输入位置(X_i，Y_i)的值舍入最接近的整数，以便将最接近的输入像素值用作像素值f(X_o，Y_o)。另外，像素值f(X_o，Y_o)可以通过利用附近4点的输入像素值内插g(X_i，Y_i)获得。假定(X_ii，Y_ii)和(X_is，Y_is)分别代表输入位置(X_i，Y_i)的整数部分和小数部分，则可以通过下式获取f(X_o，Y_o)：

f(X_o，Y_o)＝(1－Y_is)×((1－X_is)×g(X_ii，Y_ii)＋X_is×g(X_ii＋1，Y_ii))＋Y_is×((1－X_is)×g(X_ii，Y_ii＋1)＋X_is×g(X_ii＋1，Y_ii＋1))

通常，通过内插获得的像素值能够使得平滑显示。

输入像素值g(x，y)可以从存储在输入图像存储部分1中的输入图像上的位置(x，y)的像素值获得。可以向存储在输出图像存储部分6中的输出图像上的位置(x，y)的像素值代入输出像素值f(x，y)。

缩放和排列部分5确定在当前输出的划分的行区域信息中、当前处理的输出的划分的行区域是否为最后的划分的行区域(步骤S74)。如果输出行索引值等于(行号-1)，并且在同一行中输出的划分的行区域索引值等于(划分的行区域数量-1)，则为最后的划分的行区域。如果当前处理的输出的划分的行区域是最后的区域(在步骤S74中为“是”)，则执行步骤S74和之后的处理。如果不是(在步骤S74中为“否”)，则执行步骤S77和之后的处理。

在步骤S75中，缩放和排列部分5确定当前正在处理的输出页是否为最后一页。更具体地说，当在排列确定部分4中使用的当前输出页号的最后值等于输出页号时，确定当前输出页为最后一页。如果当前正在处理的输出页是最后一页(在步骤S75中为“是”)，则在缩放和排列部分5中的处理结束。

如果当前正在处理的输出页不是最后一页(在步骤S75中为“否”)，则缩放和排列部分5将输出页号加1，并向输出图像存储部分6发送页切换信号。此外，将输入的划分的行区域前进1个，并将输出行索引值和输出的划分的行区域索引值设置为0(步骤S76)。接着，处理前进到连接点P70。可以通过将输入的划分的行区域索引值加1使输入的划分的行区域前进1个。结果，输入的划分的行区域索引值可能变得等于当前行中的划分的行区域的数量，在这种情况下，将输入行索引值加1，并将输入的划分的行索引值设置为0。

在步骤S77中，缩放和排列部分5将输入的划分的行区域和输出的划分的行区域各前进1个，并且处理移到连接点P70。前进输入的和输出的划分的行区域的方式与在步骤S76中的处理方式类似。因此，在此不再重复详细描述。在这种方式中，由缩放和排列部分5存取的输出图像的各页独立地存储在输出图像存储部分6中。

参照图21至23，现在给出关于通过前述处理获得的输出图像示例的描述。图21示出其中图8中的输入的划分的行区域被重排的示例。在图21中，水平宽度等于输入图像的水平宽度，并且缩放比等于2。从而，水平宽度与输入图像的水平宽度一样，但是垂直宽度大约为输入图像的垂直宽度的4倍。

图22示出图9中的输入的划分的行区域被重排的示例。在图22中，水平宽度等于输入图像的水平宽度，并且缩放比等于3。从而，水平宽度与输入图像的水平宽度一样，但是垂直宽度大约为输入图像的垂直宽度的9倍。

图23示出图10中的输入的划分的行区域被重排的示例。在图23中，水平宽度等于输入图像的水平宽度，并且缩放比等于1/2。从而，水平宽度与输入图像的水平宽度一样，但是垂直宽度大约为1/4。

现在将更加详细地描述前述处理。正如已经参照图2所描述的，输出图像具有与输入图像同样尺寸的显示区域，并显示在同一显示屏幕100上。

现在再次叙述一下现有技术中的问题。假定输入图像尺寸为100×100，并且显示屏幕的尺寸为100×100。如果缩放比为2，则输出图像的尺寸为200×200。输入图像DIN、输出图像DOUT、和显示图像DD如图24所示。与输出图像DOUT的尺寸相比，显示图像DD具有较小的尺寸。因此，为了观看如显示图像DD那样所显示的整个输出图像DOUT，用户必须通过滚动条B在垂直和水平方向上执行滚动操作。这导致低操作性。

与上述相对照，根据本发明的输入图像DIN、输出图像DOUT、和显示图像DD如图25所示。在该示例中，行区域的划分数量等于2，将输入图像DIN放大(划分数量×2)倍，用于获取输出图像DOUT。因此，排列计算可以简单化。此外，将输出图像的水平宽度设置为输入图像的水平宽度，并将输入图像的垂直宽度放大。因此，输出图像的尺寸为100×400。从而，用户可以仅垂直拖动滚动条B查看输出图像DOUT(即可以阅读文本)，结果改善了操作性。可以将输出图像的垂直宽度设置成等于输入图像的垂直宽度，并且可以增加输出图像的水平宽度，在这种情况下，用户可以仅通过水平滚动来阅读文本，同样改善了操作性。

图25示出将输出图像容纳在一页中的情况。但是，如果输入和输出图像具有相同的水平尺寸，则输出图像不可能具有足够的垂直长度。因此，输出图像必须包含多页。如上所述，将输入、输出、和显示的图像配置为具有相同的尺寸，并且输出图像由多页构成，因而用户可以仅通过按下用于翻页的按钮翻到所期望的页。与需要滚动的操作相比，这可以改善操作性。为了提供由等于整数的页构成的输出图像，可以令输入图像的垂直或水平尺寸为输出图像的垂直或水平尺寸的整数倍。这是从翻页操作的观点来看所需要的。

假定输入图像尺寸为100×100并且缩放比为1/2。还假定输出图像尺寸为100×100。在这种情况下，如果简单地将输入图像放大1/2，则其尺寸为50×50。由于输出图像具有尺寸100×100，所以一个输出图像可以由4个输入图像构成。为了提供由整数页构成的输出图像，从翻页操作的观点来看，希望输入图像的垂直或水平尺寸为输出图像的垂直或水平尺寸除以整数。在这种情况下，不需要重排划分的行区域，并且操作可以变得简单。

参照图26，将给出在组合处理中换行保存的示例的描述。在图26中，行区域被划分成4个，并且将划分的行区域放大1.5倍。在输出图像DOUT上保留了在输入图像DIN第二行中的换行。

参照图27-30，现在将描述背景从输入图像中移去的情况。例如，如图27所示，由细斜纹条构成的背景图案出现在部分输入图像中，并且字符以黑体写在背景上。通过将输入图像放大2倍，形成图28所示的输出图像。在这种情况下，会发生在输出图像形成期间行划分或背景图案的连续性的问题。为了克服该问题，使用事先经历背景移去处理的输入图像替代事先没有经历该处理的输入图像。背景图案的去除可以基于背景图案比字符和其他的具有较低的密度的假设容易地执行。首先，从输入图像中获取一个二进制阈值。该阈值可以是通过鉴别分析方法获得的值、或者可以是一固定值。最简单的方法是，所有没有超出该阈值的像素都设置为背景密度(即，白色)。由此，将低密度的背景图案移去，并且获得图29所示的输入图像。从图29中的图像获取示于图30的输出图像。背景去除可以由划分的行区域提取部分2执行。

如上已经描述的，根据该实施例的图像显示设备以每一个由输入图像中的行区域的划分的行区域构成为单位执行缩放。因此，可以不打乱字符在输入图像中的顺序将文档缩放。从而，通过恰当地确定输出图像一个边的长度，用户仅通过拖动一个方向的滚动条就可以阅读文档。由于重排是以每一个由划分的行区域构成为单位进行的，所以在每一幅输出图像上显示的信息总量可以多于只是简单地缩放输入图像的情况。

[第二实施例]

下面描述的第二实施例涉及输入图像包含图片/照片区域的情况。

参照图31，根据该实施例的图像显示设备，除了第一实施例的图像显示设备的结构外，还包括图片区域检测部分50和图片缩放比计算部分51。图片区域检测部分50连接到输入图像存储部分1，用于检测图片区域和照片区域(在下文中称作“图片/照片区域”)。图片缩放比计算部分51连接到缩放信息指定部分3和图片区域检测部分50，并获取指定的输出图像的尺寸和缩放比，以确定图片区域检测部分50检测的图片/照片区域能够不超出输出图像的尺寸而被放大或缩小的缩放比。

为了便于在排列确定部分4中的处理，划分的行区域提取部分2将图片/照片区域当作划分的行区域处理，并与相应于字符的划分的行区域的信息相类似、在示于图13的存储区域中存储其信息。

其他部件与图1所示的图像显示设备中的部件相同，由此在此不再重复其详细描述。

参照图32，现在将给出关于图片区域检测部分50的操作的描述。该检测图片/照片区域的处理称作图像区域分离处理。这可以通过已经建议的各种方式执行，现在将描述其中的一种示例。

图片区域检测部分50将输入图像转换为二进制形式(步骤S90)。用于转换成二进制形式的阈值可以通过鉴别分析方法获得，或者某些情况下可以为固定值，这根据输出图像而定。图片区域检测部分50对二进制形式的图像执行标号处理，用于获取每一标号的区域的外侧接触长方形，并且相互合并相邻的长方形(步骤S91)。在步骤S91中的处理与划分的行区域提取部分2执行的处理相似。

图片区域检测部分50从所有的外侧接触长方形中选择候选字符区域(步骤S92)。图片区域检测部分50从所有的候选字符区域中选择字符区域(步骤S93)。由于字符区域是从候选字符区域中提取的，所以能够限定图片/照片区域。与此相关，可以基于将除字符区域之外的所有区域当作图片/照片区域处理、或基于如果不是候选字符区域则将字符区域当作图片/照片区域处理来进行确定。如果将不是候选字符区域的字符区域当作图片/照片区域处理，则不需要步骤S93中的处理。

图片区域检测部分50将相邻的图片/照片区域合并到一起(步骤S94)，并结束处理。以与图13所示的结构相似的结构，将图片/照片区域的信息作为一行的信息存储。

参照图33，现在将更加详细地描述图32所示的步骤S92中的处理。图片区域检测部分50选择第一外侧接触长方形区域(步骤S100)。由此，将代表在步骤S91中获得的外侧接触长方形的信息的数量、外侧接触长方形索引q₀设置为0。

图片区域检测部分50基于长方形区域q₀的尺寸(W₆，H₆)及其宽高比，确定相应于外侧接触长方形索引q₀的长方形区域(即长方形区域q₀)是否可能为字符。当满足所有下面的三个公式时，确定长方形区域有可能是字符：

T_wmin＜W₆＜T_wmax

T_hmin＜H₆＜T_hmax

T_rmin＜W₆/H₆＜T_rmax

这里T_wmin、T_wmax、T_hmin、T_hmax、T_rmin和T_rmax分别为阈值。当确定长方形区域不可能为字符时(在步骤S101中为“否”)，外侧接触长方形索引q₀的值加1(步骤S104)，并重复步骤S101及之后的处理。

当确定长方形区域可能为字符时(在步骤S101中为“是”)，将在外侧接触长方形信息中的标号值设定为-1，用于区分作为候选字符区域的长方形区域q₀(步骤S102)。图片区域检测部分50确定对所有长方形区域的系列处理是否有效(步骤S103)。该确定通过比较在信息存储区域的前端位置的外侧接触长方形的数量(标号数量)与(q₀＋1)进行。当比较结果表示匹配时，确定对所有长方形区域的处理完成。

当存在没有处理的长方形区域时(在步骤S103中为“否”)，外侧接触长方形索引q₀的值加1(步骤S104)，并重复步骤S101及之后的处理。如果所有的长方形区域已经处理过(在步骤S103中为“是”)，则处理通过连接点P91移到步骤S93。

参照图34，现在将详细给出关于图32中步骤S93的描述。图片区域检测部分50设置外侧接触长方形索引q₁为0(步骤S110)。图片区域检测部分50确定相应于外侧接触长方形索引q₁的长方形区域(下文中将称作“长方形区域q₁”)是否为候选字符区域(步骤S111)。通过确定该长方形区域的标号值是否等于-1，进行确定该长方形区域是否为候选字符区域。

如果该长方形区域是候选字符区域(在步骤S111中为“是”)，则处理移到步骤S112。如果不是候选字符区域(在步骤S111中为“否”)，则处理移到步骤S117。

在步骤S112中，图片区域检测部分50设置外侧接触长方形索引q₂为0(步骤S110)。图片区域检测部分50确定相应于外侧接触长方形索引q₂的长方形区域(下文中将称作“长方形区域q₂”)是否为候选字符区域，并确定是否展现q₁≠q₂的关系(步骤S113)。如果是字符区域，则通过后面将要叙述的处理将标号值设置为-2。从而，确定是否为该长方形区域可以通过确定标号值是否等于-2来执行。

当步骤S113中的条件不满足时(在步骤S113中为“否”)，外侧接触长方形索引q₂加1(步骤S118)，并重复步骤S113之后的处理。

如果满足步骤S113中的条件(在步骤S113中为“是”)，图片区域检测部分50确定长方形区域q₁和q₂是否具有相似的尺寸并彼此相邻(步骤S114)。确定这些区域是否彼此相邻可以通过确定它们之间的距离是否超过阈值T_t来确定。长方形之间的距离的限定可以与合并处理中的相同。确定这些距离是否彼此相等可以通过确定是否满足下面的两个公式来执行，假定长方形区域q₁具有(W₇，H₇)的尺寸，长方形区域q₂具有(W₈，H₈)的尺寸：

abs(W₇/W₈－1)＜T_wt

abs(H₇/H₈－1)＜T_ht其中T_wt和T_ht为阈值。

如果长方形区域q₁和q₂具有不同的尺寸和/或彼此不相邻(在步骤S114中为“否”)，则处理移到步骤S118。如果长方形区域q₁和q₂具有相等的尺寸并且彼此相邻(在步骤S114中为“是”)，则图片区域检测部分50确定长方形区域q₁和q₂两者都是字符区域，并将外侧接触长方形信息中的标号值设置为代表字符区域的-2(步骤S115)。

图片区域检测部分50确定是否已经实现对所有的长方形区域Q₂的处理(步骤S116)。该确定通过比较在信息存储区域的前端位置的外侧接触长方形的数量(标号数量)与(q₂＋1)、并且当等于(q₂＋1)时确定该处理已经对所有的长方形区域q₂执行来进行。如果该处理还没有对所有的长方形区域q₂执行(在步骤S116中为“否”)，则处理移到步骤S118。

如果该处理已经对所有的长方形区域q₂执行(在步骤S116中为“是”)，则确定该处理是否已经对所有的长方形区域q₁执行(步骤S117)。该确定通过比较在信息存储区域的前端位置的外侧接触长方形的数量(标号数量)与(q₁＋1)、并且当等于(q₁＋1)时确定该处理已经对所有的长方形区域q₁执行来进行。如果存在未处理的长方形区域q₁(在步骤S117中为“否”)，则外侧接触长方形索引q₁的值加1(步骤S119)，并重复步骤S111及之后的处理。

如果已经完成对所有长方形区域q₁的处理(在步骤S117中为“是”)，则处理通过连接点P92移到步骤S94。

参照图35，现在给出关于图32中步骤S94的具体描述。图片/照片区域的限定与在步骤S93中有关的描述相同。如果将不是字符区域的区域定义为图片/照片区域，则标号值不是-2的区域为图片/照片区域。如果甚至将不是候选字符区域的字符区域也定义为图片/照片区域，则标号值为-2或-1的区域是图片/照片区域。

图片区域检测部分50设置外侧接触长方形索引q₁为0(步骤S120)。图片区域检测部分50确定长方形区域q₁是否为图片/照片区域(步骤S121)。如果该长方形区域q₁是图片/照片区域(在步骤S121中为“是”)，则处理移到步骤S122。如果不是(在步骤S121中为“否”)，则处理移到步骤S127。

在步骤S122中，图片区域检测部分50设置外侧接触长方形索引q₂为0。图片区域检测部分50确定长方形区域q₂是否为图片/照片区域，并确定是否展现q₁≠q₂的关系(步骤S123)。

如果不满足步骤S123中的条件(在步骤S123中为“否”)，外侧接触长方形索引q₂加1(步骤S128)，并重复步骤S123及之后的处理。

当步骤S123中的条件满足时(在步骤S123中为“是”)，图片区域检测部分50确定长方形区域q₁和q₂是否彼此相邻(步骤S124)。该确定可以通过确定长方形区域q₁和q₂之间的距离是否超过阈值T_p来执行。长方形之间的距离的限定可以与前述的合并处理中的相同。如果长方形区域q₁和q₂彼此不相邻(在步骤S124中为“否”)，则处理移到步骤S128。

如果长方形区域q₁和q₂彼此相邻(在步骤S124中为“是”)，则将长方形区域q₁和q₂合并(步骤S125)。按下述方式执行合并。获取外侧接触长方形q₁和q₂的外侧接触长方形，并将由此获得的外侧接触长方形的位置和尺寸登记为外侧接触长方形q₁的更新信息。为了去除外侧接触长方形q₂的信息，将外侧接触长方形q₂的信息之后的长方形信息连续移动并拷贝。最后将存储在前端位置的外侧接触长方形的数量(标号数量)减1。

图片区域检测部分50确定是否已经实现对所有的长方形区域q₂的处理(步骤S126)。该确定通过比较在信息存储区域的前端位置的外侧接触长方形的数量(标号数量)与(q₂＋1)、并且当等于(q₂＋1)时确定该处理已经对所有的长方形区域q₂执行来进行。如果存在未处理的长方形区域q₂(在步骤S126中为“否”)，则处理移到步骤S128。

如果确定已经对所有的长方形区域q₂执行了处理(在步骤S126中为“是”)，或者长方形区域q₁不是图片/照片区域(在步骤S121中为“否”)，则确定是否已经对所有的长方形区域q₁执行了处理(步骤S127)。该确定通过比较在信息存储区域的前端位置的外侧接触长方形的数量(标号数量)与(q₁＋1)、并且当等于(q₁＋1)时确定该处理已经对所有的长方形区域q₁执行来进行。如果存在未处理的长方形区域q₁(在步骤S127中为“否”)，则外侧接触长方形索引q₁的值加1(步骤S129)，并重复步骤S121及之后的处理。

如果已经完成对所有长方形区域q₁的处理(在步骤S127中为“是”)，则处理通过连接点P93移到在图片区域检测部分50中的处理的结束处。

现在将详细描述图31中的图片缩放比计算部分51。图片缩放比计算部分51获取作为防止在图片区域检测部分50中检测的图片/照片区域被缩放而扩展超出输出图像的、限制值的缩放比。指定的输出图像的尺寸和缩放比可以从缩放信息指定部分3中获取。假定输出图像具有尺寸(W_o，H_o)、上下左右边界(M_t，M_b，M_l，M_r)，并且图片/照片区域具有尺寸(W_pic，H_pic)。为了缩放输入图像以匹配输出图像的整个宽度，水平方向的缩放比R_h和垂直方向的缩放比R_v可以按下式获取：

R_h＝W_pic/(W_o－M_l－M_r)

R_v＝H_pic/(H_o－M_t－M_b)

假定缩放信息指定部分3指定缩放比(R_x，R_y)。如果即使改变原始图片/照片区域的宽高比也不会发生问题，那么将确定若R_x＜R_h则R_h＝R_x、若R_y＜R_v则R_v＝R_y的关系，并将(R_h，R_v)用作图片/照片区域的缩放比。如果宽高比等于原始的宽高比，则缩放比通过下面的条件加以限制：

(1)若R_h＞R_v则R_m＝R_v，否则R_m＝R_h

(2)若R_x＞R_y则R_i＝R_y，否则R_i＝R_x

(3)若R_i＜R_n则R_n＝R_i，并将(R_n，R_n)用作图片/照片区域的缩放比。

由于由此获得的缩放比依赖于独立的图片/照片区域，所以需要存储相应于每一个区域信息的缩放比的值。除了图13所示的独立区域信息、即长方形区域的左上位置的坐标值及其尺寸之外，还存储缩放比。

图片/照片区域的缩放比被发送给排列确定部分4。在划分的行区域提取部分2中登记图片/照片区域作为划分的行区域。从而，排列确定部分4按照已经参照图14描述的方式排列划分的行区域和其他的区域。但是，对于字符区域和图片/照片区域分别使用不同的缩放比。由此，当使用缩放比时，排列确定部分4确定将要排列的划分的行区域是否为图片/照片区域，并且如果该区域是图片/照片区域，则使用从图片缩放比计算部分51获得的缩放比，用于排列该区域。确定该区域是否为图片/照片区域是通过比较该划分的行区域的位置和尺寸与图片/照片区域的位置和尺寸执行的。如果两个区域具有相同的位置和尺寸，则可以将所讨论的划分的行区域确定为图片/照片区域。

参照图36，现在将描述前述处理的一个具体示例。在图36中，假定缩放信息指定部分3为输入图像DIN指定的缩放比为2。将每一个划分的行区域放大2倍。但是，如果将图片/照片区域P加倍，这将扩展超出输出图像DOUT(在本例中尺寸上等于输入图像)。因此，计算缩放比以便该缩放的图片/照片区域不会扩展超出输出图像DOUT。结果，图片/照片区域被放大1.5倍。在多数情况下，最好能够扫视整个图片/照片区域。由此，希望改变字符区域的缩放比。

根据本实施例，确定图片/照片区域的缩放比，以便缩放的图片/照片区域不扩展超出输出图像。由此确定的缩放比与字符部分的缩放比不同。从而，用户能够查看和阅读放大或缩小成适当尺寸而没有超出屏幕的图片、照片和文本。

[第三实施例]

现在将给出关于包括图片/照片区域的输入图像的另一个实施例的描述。

参照图37，根据本实施例的图像显示设备包括与已经参照图1描述的、根据第一实施例的图像显示设备相同的结构，除了上述结构外，另外还包括图片区域检测部分50和输出图像尺寸计算部分52。

除了上述部件之外的部件，均与图1所示的图像显示设备中的相同。从而，在此不再重复详细描述。

图片区域检测部分50连接到输入图像存储部分1。图片区域检测部分50与已经参照图31描述的相似。因此，在此不再重复详细描述。

输出图像尺寸计算部分52连接到图片区域检测部分50，比较从图片区域检测部分50获取的并以通过缩放信息指定部分3获得的缩放比缩放的图片/照片区域的尺寸、与从缩放信息指定部分3获得的输出图像的尺寸(在下文中称作“旧输出图像尺寸”)，使用它们中较大的尺寸作为输出图像的新尺寸(在下文中称作“新输出图像尺寸”)。将旧输出图像尺寸发送给排列确定部分4，新输出图像尺寸发送给缩放和排列部分5。排列确定部分4使用旧图像输出尺寸执行划分的行区域的排列计算。基本上类似于字符的划分的行区域的排列计算，执行图片/照片区域的排列计算。即使排列在旧输出图像尺寸的图像上的图片/照片区域扩展超出该图像，也如原样保留。使用新输出图像尺寸准备存储在输出图像存储部分6中的输出图像。从而，即使在旧输出尺寸的图像上排列图片/照片区域，当通过缩放和排列部分5实际排列时，也不会扩展超出输出图像。因此，在新输出图像尺寸的输出图像上重排缩放之后的图片/照片区域，并使用旧输出图像尺寸重排缩放之后的划分的行区域的字符部分。

参照图38，现在描述前述处理的具体示例。在图38中，假定缩放信息指定部分3为输入图像指定的缩放比为2。在这种情况下，将每一个包括图片/照片区域P的划分的行区域放大2倍。图片/照片区域被排列，没有扩展超出新输出图像尺寸的输出图像，并且使用与输入图像相同的宽度排列字符的划分的行区域。因此，为了观看图片/照片区域，用户必须在垂直和水平两个方向上滚动图像，但是，为了阅读文本，则只需垂直滚动，以便用户能够易操作地阅读文本和观看图片。

[第四实施例]

在本实施例中，将主体区域的图像数据独立于外围区域的图像数据处理。

参照图39，根据本实施例的图像显示设备，除了已经描述的根据第二实施例的图像显示设备的结构之外，还包括主体外围区域检测部分53。

除了上述部件之外的部件，均与图1或31所示的图像显示设备中的相同。从而，在此不再重复详细描述。

主体外围区域检测部分53连接到划分的行区域提取部分2和图片区域检测部分50，并从划分的行区域提取部分2和图片区域检测部分50获得的信息中检测主体(主要文本)区域和外围区域。因此，将位于输入图像的顶端或底端、或者顶角或底角的划分的行区域或图片/照片区域认为是页号或章节标题，并确定为外围区域。

例如，将位于到输入图像的顶端或底端、垂直尺寸的10％或更少范围内的划分的行区域或图片/照片区域确定为位于顶端或底端的区域。进一步将其中位于到输入图像的左端或右端、水平尺寸的10％或更少范围内的划分的行区域或图片/照片区域确定为位于顶角或底角的外围区域。

仅从一幅输入图像可能难于确定是否为外围区域。因此，可以处理多幅输入图像，其中记录最后输入图像的处理结果，并与当前正在处理的输入图像的处理结果比较，用于检测外围区域。例如，存储最后输入图像中的划分的行区域和图片/照片区域的位置和尺寸，并与当前输入图像中的划分的行区域和图片/照片区域的位置和尺寸比较。如果特定区域在位置和尺寸上没有实质上的不同，并位于接近输入图像的中心，则可以将这些区域确定为外围区域。例如，如果位置偏移不超过T_p像素、尺寸差异不超过T_r3％、并且位置离开边缘T_r4％或更少，则可以将该区域认作外围区域，T_p、T_r3和T_r4分别为预定的阈值。

在主体外围区域检测部分53中获得的信息发送给排列确定部分4。排列确定部分4独立于主体区域之外排列外围区域。由于外围区域为页号、章节标题和/或类似的，所以这些都排列在页面中相对固定的位置。假定具有尺寸(W₉，H₉)的外围区域位于位置(X₉，Y₉)，输入图像具有尺寸(W_in，H_in)，输出图像具有尺寸(W_o，H_o)，缩放比等于(R_x，R_y)。在这种情况下，外围区域的输出位置(X₁₀、Y₁₀)用下式表示：

X₁₀＝(W_o－X₉×R_x)×(X₉/(W_in－W₉))

Y₁₀＝(H_o－X₉×R_y)×(Y₉/(H_in－H₉))

使用这些以防如下不足，即由于没有彼此区分主体区域和主体外围区域而执行缩放，使得位于外围区域的页号或类似的出现在不期望的位置。

参照图40，现在将描述前述处理的一个具体示例。在图40中，假定缩放信息指定部分3为输入图像指定的缩放比为2。每一行划分成两部分构成主体区域，页号“13”为外围区域。重排主体区域。将外围区域放大两倍而不改变与主体区域的相对位置关系。可以以与主体区域的缩放比不同的比例缩放外围区域。当用户希望扫视整个输入图像时，最初提供图2所示的用于用户按下的按钮101。除此之外，当在行划分处理或重排处理中发生错误时，可以使用按钮101切换至输入图像并加以校正。

如果输入图像的尺寸和缩放比的乘积等于输出图像的尺寸和通过较小的整数除以较小的整数获得的值的乘积，则能够有效地执行重排计算。该分数的分母代表输出图像的一行中固定宽度的划分的行区域的数量，分子代表输入图像的一行中固定宽度的划分的行区域的数量。使用小整数代替纯粹的整数是因为，如果该数很大，则有可能如此大数量的划分的行区域不能在一行中形成，并且较小数量的划分的行区域使得重排计算更加简单。划分的行区域的固定宽度进一步简化了重排计算。

例如，输入和输出图像可能具有相同的水平宽度，缩放比可以等于2，如图40所示。在这种情况下，输入图像的尺寸和缩放比的乘积等于输出图像的尺寸的1/2。从而，输出图像的一行中固定宽度的划分的行区域的数量等于1，并且输入图像的一行中固定宽度的划分的行区域的数量等于2。因此，在输入和输出图像上的划分的行区域的数量能够设置为相应于用分数表示的缩放比的值，从而可以使重排计算简单。

参照图41，当输入和输出图像具有相同的水平宽度，缩放比等于2/3时，输入图像的尺寸和缩放比的乘积等于输出图像的尺寸的2/3。从而，输出图像的一行中固定宽度的划分的行区域的数量等于3，并且输入图像的一行中固定宽度的划分的行区域的数量等于2。因此，可以在输入图像的一行中放置2个固定宽度的划分的行区域，并且可以在输出图像的一行中重排3个划分的行区域。

如上所述，本实施例可以避免如下缺点，即当不加区分而缩放主体区域和主体外围区域时，使得页号或类似的显示在不期望的位置上。

[第五实施例]

根据第一至第四实施例，图像显示设备在原理上是逐页处理输入图像的。与此相反，根据本实施例的图像显示设备同时处理多页输入图像。

参照图42，根据本实施例的图像显示设备包括：输入图像存储部分1；连接到输入图像存储部分1的主体区域提取部分60，用于提取输入图像中的主体区域；连接到主体区域提取部分60的缩放比计算部分61，用于获取缩放比，在此从主体区域提取部分60获得的主体区域可以与输入图像具有相同的尺寸；连接到主体区域提取部分60和缩放比计算部分61的公共缩放比确定部分62，用于从发送自缩放比计算部分61的多个输入图像的缩放比中计算公共缩放比；连接到主体区域提取部分60、公共缩放比确定部分62和输入图像存储部分1的缩放部分63，用于以从公共缩放比确定部分62获得的公共缩放比、缩放从主体区域提取部分60获得的主体区域，并将其发送到输出图像；以及连接到缩放部分63的输出图像存储部分6，用于存储输出图像。

输入和输出图像存储部分1和6具有与图1所示的图像显示设备中的输入和输出图像存储部分1和6相似的功能。因此，在此不再重复其详细描述。

主体区域提取部分60以类似于已经参照图39描述的方式、提取外围区域并选择其他区域作为主体区域。但是，只能使用行区域而不能使用划分的行区域来获取主体区域。由此，可以略去获取划分的行区域的处理。主体区域表示为一个长方形，并通过左上角位置和尺寸表示。

缩放比计算部分61确定缩放比，使用它可以使以前述方式从主体区域提取部分60获得的主体区域的信息在尺寸上等于输入图像。假定输入图像具有尺寸(W₁₀×H₁₀)，主体区域的位置用(X₁₁，Y₁₁)表示，并且主体区域具有尺寸(W₁₁，H₁₁)。在这种情况下，水平缩放比R_x和垂直缩放比R_y可以用下式表示：

R_x＝W₁₁/W₁₀

R_y＝H₁₁/H₁₀

将缩放比R_x和R_y之中值较小的一个选作缩放比R_a。将由此获得的缩放比R_a提供给公共缩放比确定部分62。

公共缩放比确定部分62通过以阵列形式存储缩放比计算部分61发送的多个输入图像的缩放比、并计算其平均值或中值来获取公共缩放比。为了获取平均值或中值，可以使用所有输入图像的缩放比，或者仅使用几个最后输入的图像的缩放比。由于前面几个图像不可能提供足够的样本数量，所以平均值或类似的值可能是不稳定的。在这种情况下，处理预定数量的输入图像以获取缩放比，以便增加样本数量，并接着从第一图像开始通过计算再次获取公共缩放比。这可以提供稳定的公共缩放比。公共缩放比确定部分62以阵列形式存储从主体区域提取部分60获得的主体区域的左上角位置，并从每一个奇数号图像组和偶数号图像组中获取左上角位置的平均值或中值。由此，获得每一个奇数号图像组和偶数号图像组的公共左上角位置。可以以类似于获取公共缩放比的方式获取稳定的公共左上角位置。公共缩放比以及奇数和偶数号图像的公共左上角位置发送到缩放部分63。

缩放部分63以如上所述由公共缩放比确定部分62获得的公共缩放比、缩放由主体区域提取部分60获得的主体区域，并将缩放的区域作为输出图像写入输出图像存储部分6。如果公共缩放比确定部分62分别获取奇数和偶数号图像组的公共左上角位置，则缩放部分63根据奇数和偶数号图像执行缩放处理，以便使奇数和偶数号图像的公共左上角位置位于缩放的输出图像的左上端。该缩放处理可以类似于图20中的步骤S73中的处理实现。因此，不再重复其描述。

参照图43至46，现在将给出有关使用公共缩放比实现的优点的描述。图43和44示出按不同的缩放比输出主体区域以便填满输出图像的情况。在图43中，划分的行区域放大1.4倍，在图44中，划分的行区域放大1.9倍。如果根据页将输入图像中实际上具有相同尺寸的字符放大成不同尺寸，则书阅读起来将很费力。

通过执行前述处理，获得图45和46所示的输出图像，并且在各自输出图像上字符具有相同的尺寸。从而，用户可以阅读该书，而不会有不舒适的感觉。

在上述的示例中，仅将输入图像中的主体区域缩放并输出到输出图像用于显示。除了该方式外，可以以预定的缩放比缩放整个输入图像，并作为输出图像显示，并且可以在恰好在显示屏幕100之内放置放大的主体区域的位置排列垂直和水平滚动条、执行显示。这可以仅通过缩放处理实现。即使在主体区域提取处理中出现错误，也可以通过调整滚动位置和/或缩放比简单地校正错误。在由纸张构成的普通书中，页面设计是以便于阅读覆盖在双面上确定的。例如，在支持垂直向字符行的横开书中，在左边页中的主体区域的垂直位置和尺寸与右边页中的并没有实质上的不同，但是在水平位置上的差异却出现多种情况。在获取奇数号页面和偶数号页面的公共左上角位置的情况下，可以处理左右页面之间在水平位置上的差异，并且每次用户翻页时没有必要调整滚动位置。当用户希望扫视整个输入图像时，可用最初提供用于切换的图2中的按钮101。除此之外，可以使用按钮101切换输入图像并方便地校正在行划分处理和/或重排处理中可能发生的错误。

尽管已经描述了不同实施例的图像显示设备，但是也可以使用如下结构，即，当划分的行区域的重排没有按照想要的方式执行时，可以停止重排，并发布提醒用户该事实的报警，或可以给出用户重排的提示。可以对缩放的字符的字体实施平滑操作。

根据本实施例，确定多幅输入图像的公共缩放比。从而，能够将显示在不同输出图像上的字符的尺寸实质上统一，以便用户能够阅读文档而不会有不舒适的感觉。

上述的各个实施例的处理是通过程序执行的。可以将该程序全部或部分地直接或通过通信线存储在计算机可读记录介质上，比如软盘或硬盘，当需要时可以安装到计算机中。

工业应用性

根据如上所述的本发明的图像显示设备，以由划分的行区域构成的单位进行放大或缩小输入图像中的行区域。从而，能够将文档缩放而不打乱字符在输入图像中的顺序。因此，通过恰当地确定输出图像的一个边的长度，用户能够通过仅在一个方向上移动输出图像而查看输出图像，从而适当地查看具有易操作性的缩放图像。

Claims (18)

1.一种图像显示设备，包括：

行划分区域提取部分，用于以行方向划分包括在输入图像中的行区域，并提取多个划分的行区域；以及

连接到所述行划分区域提取部分的处理部分，用于以预定的缩放比、以每一个由所述提取的划分的行区域构成的单位、放大或缩小、排列并显示所述划分的行区域，同时保持排列顺序不变。

2.根据权利要求1的图像显示设备，其中

所述行划分区域提取部分包括：

密度投影部分，用于将所述输入图像的密度值投影到垂直轴和水平轴上；

连接到所述密度投影部分的行区域提取部分，用于基于密度投影的结果提取行区域；以及

连接到所述行区域提取部分和所述密度投影部分的行区域划分部分，用于基于密度投影的结果划分所述行区域并提取划分的行区域。

3.根据权利要求1的图像显示设备，其中

所述行划分区域提取部分从所述输入图像中提取字符区域，并从所述字符区域中提取划分的行区域。

4.根据权利要求1的图像显示设备，其中

所述处理部分计算所述划分的行区域在所述输出图像上的排列位置，同时向或从所述划分的行区域中移去或添加连字符。

5.根据权利要求1的图像显示设备，其中

当所述划分的行区域不能在预定尺寸的所述输出图像上排列时，所述处理部分准备一新的输出图像，并排列所述划分的行区域。

6.根据权利要求1的图像显示设备，其中

所述输出图像在行方向上具有与所述输入图像相同的长度。

7.根据权利要求1的图像显示设备，其中

所述处理部分排列所述划分的行区域，以便使预定种类的字符不处于行的开始位置。

8.根据权利要求1的图像显示设备，其中

所述处理部分在所述输出图像上保持出现在所述输入图像上的回车的位置。

9.根据权利要求1的图像显示设备，其中

所述行划分区域提取部分在从所述输入图像移去背景格式之后提取所述划分的行区域。

10.根据权利要求1的图像显示设备，还包括：

图片区域检测部分，用于检测所述输入图像中的图片区域和照片区域；以及

连接到所述图片区域检测部分的图片缩放比计算部分，用于确定关于所述预定缩放比的新缩放比，以缩放由所述图片区域检测部分检测的所述图片区域和所述照片区域，从而防止尺寸增加过大超出所述输出图像，其中

所述行划分区域提取部分与所述图片区域检测部分相连，用于提取作为所述划分的行区域、由所述图片区域检测部分检测的所述图片区域和照片区域，以及

所述处理部分包括：

连接到所述行划分区域提取部分和所述图片缩放比计算部分的图片缩放和显示部分，用于基于所述新缩放比放大或缩小、并排列所述图片区域和所述照片区域以在所述输出图像上显示；和

连接到所述行划分区域提取部分的字符缩放和显示部分，用于基于所述预定的缩放比放大或缩小、并排列所述图片区域和所述照片区域之外的所述划分的行区域以在所述输出图像上显示。

11.根据权利要求1的图像显示设备，还包括：

图片区域检测部分，用于检测所述输入图像中的所述图片区域和所述照片区域；以及

连接到所述图片区域检测部分的输出图像尺寸计算部分，用于比较由所述图片区域检测部分检测的、并以所述预定缩放比放大或缩小的所述图片区域或所述照片区域的尺寸、与所述输出图像的尺寸，并选择较大的尺寸作为新的输出图像尺寸，其中

所述处理部分还包括：

连接到所述区域检测部分、所述行划分区域提取部分和所述输出图像尺寸计算部分的图片缩放和显示部分，用于基于所述预定缩放比放大或缩小、并排列所述图片区域和所述照片区域，以在基于所述新的输出图像尺寸确定的输出图像的一位置上显示；以及

连接到所述区域检测部分、所述行划分区域提取部分和所述输出图像尺寸计算部分的字符缩放和显示部分，用于基于所述预定缩放比放大或缩小、并排列所述图片区域和所述照片区域，以在基于初始输出图像尺寸确定的输出图像的一位置上显示。

12.根据权利要求1的图像显示设备，还包括：

连接到所述行划分区域提取部分的主体外围区域检测部分，用于检测所述多个划分的行区域之中位于输入图像的端部的划分的行区域，作为主体外围区域，其中

所述处理部分与所述主体外围区域检测部分和所述行划分区域提取部分相连，用于排列并显示所述主体外围区域，同时保持与所述输入图像一样的相对位置关系。

13.根据权利要求1的图像显示设备，其中

所述输入图像和所述输出图像具有相同的图像尺寸。

14.根据权利要求1的图像显示设备，其中

所述输入图像在至少垂直和水平方向中的一个之上的尺寸与所述缩放比的乘积等于所述输出图像在至少垂直和水平方向中的一个之上的尺寸与由整数分子和整数分母定义的系数的乘积。

15.根据权利要求1的图像显示设备，还包括：

切换指令部分，用于输入和输出图像之间的显示指令切换。

16.一种图像显示设备，包括：

主体区域提取部分，用于提取多幅输入图像的每一幅的端部之外的主体区域；

连接到所述主体区域提取部分的缩放比计算部分，用于为所述多幅输入图像的每一幅计算缩放比，以便使放大的主体区域与所述输入图像具有相同的尺寸；

连接到所述缩放比计算部分的公共缩放比确定部分，用于基于所述缩放比计算部分的输出确定公共缩放比；以及

连接到所述主体区域提取部分和所述公共缩放比确定部分的处理部分，用于以所述公共缩放比放大并显示所述多幅输入图像的每一幅的所述主体区域。

17.根据权利要求16的图像显示设备，还包括：

切换指令部分，用于输入和输出图像之间的显示指令切换。

18.根据权利要求16的图像显示设备，其中

所述公共缩放比确定部分还连接到所述主体区域提取部分，用于确定用来定位从所述主体区域提取部分获得的所述输入图像的主体区域的对于奇数号的输入图像公共的位置和对于偶数号的输入图像公共的位置；以及

所述处理部分显示所述主体区域，同时缩放从所述公共缩放比确定部分获得的所述奇数号的和偶数号的主体区域的公共位置。

Images