CN101472043A - 图像处理设备和图像处理方法 - Google Patents

Abstract

本发明涉及一种图像处理设备和图像处理方法。该图像处理设备包括：传感器单元，被配置为包括用于读取具有多个通道的图像数据的多个行传感器；校正单元，用于校正由所述传感器单元读取的所述图像数据以获得多个帧的图像数据，在所述多个帧的图像数据中，所述多个行传感器中的相邻行传感器在原稿图像上的读取位置在主扫描方向或/和副扫描方向上偏移了不到一个像素；以及高分辨率转换单元，用于通过使用由所述校正单元获得的所述多个帧的图像数据进行插值，从而获得具有比所述行传感器的分辨率高的分辨率的单色图像数据。

Description

图像处理设备和图像处理方法

技术领域

本发明涉及一种使用扫描器的图像处理设备和图像处理方法。

背景技术

存在一种通过使用多个具有特定分辨率的图像数据增加分辨率的“超分辨率处理”和“超分辨率转换”的技术。该技术使得能够将低分辨率图像转换成高分辨率图像，从而可以在传统的装置中获得高分辨率图像(“Super Resolution Processing byPlural Number of Lower Resolution Images(利用多个较低分辨率图像的超分辨率处理)”Ricoh Technical Report No.24，November，1998)。

由于执行超分辨率技术需要多个帧的图像数据，这多个帧的图像数据在原稿图像上的读取位置以亚像素(sub-pixel)为单位(比像素小的单位)而略有差异，因此超分辨率技术广泛应用于运动图像处理等领域中。

然而，在超分辨率处理中，需要多个帧的图像数据来生成高分辨率图像的一个像素的图像数据，这引起了数据量和计算量大的问题。

传统上，通过根据目标图像区域的大小来确定进行超分辨率处理的图像数据的数量已经减少了计算量(日本特开2006-092450)。

然而，一般使用行传感器(line sensor)作为MFP(Multifunction peripheral，多功能外围设备)或扫描器等的图像处理设备中的读取装置。即，一个读取操作可以读取一页的数据。

上述读取装置通过使用在主扫描方向上以整数倍像素的间隔水平布置的像素传感器组来读取原稿图像。因此，不利地，读取装置不能够通过在主扫描方向上以亚像素为单位略微移动像素的读取位置来读取原稿图像。

在上述情况下，难以在MFP中进行超分辨率处理。为了获得高分辨率图像，需要增强装置的性能，这导致了高成本。

近年来，包括彩色扫描器和单色打印机的MFP已广泛应用，这使得能够发送彩色信息。然而，其中的打印机单元仅可以接受单色数据，因此在复制操作中，通过彩色扫描器所获得的彩色信息丢失，从而没有充分地利用彩色信息的优势。

发明内容

为了解决上述问题，根据本发明实施例的图像处理设备包括：传感器单元，被配置为包括用于读取具有多个通道的图像数据的多个行传感器；校正单元，用于校正由所述传感器单元读取的所述图像数据以获得多个帧的图像数据，在所述多个帧的图像数据中，所述多个行传感器中的相邻行传感器在原稿图像上的读取位置在主扫描方向和副扫描方向的至少一个上偏移了不到一个像素；以及高分辨率转换单元，用于通过使用由所述校正单元获得的所述多个帧的图像数据进行插值，从而获得具有比所述行传感器的分辨率高的分辨率的单色图像数据。

根据本发明另一实施例，提供一种图像处理设备中的图像处理方法，所述图像处理设备包括传感器单元，所述传感器单元被配置为包括用于读取具有多个通道的图像数据的多个行传感器，所述图像处理方法包括：校正由所述传感器单元读取的所述图像数据以获得多个帧的图像数据，在所述多个帧的图像数据中，所述多个行传感器中的相邻行传感器在原稿图像上的读取位置在主扫描方向和副扫描方向的至少一个上偏移了不到一个像素；以及使用在所述校正中获得的所述多个帧的图像数据进行插值，从而获得具有比所述行传感器的分辨率高的分辨率的单色图像数据。

根据本发明另一实施例的图像处理设备包括：传感器单元，其包括用于读取图像数据的多个行传感器，其中相邻行传感器在原稿图像上的读取位置偏移了不到一个像素；以及高分辨率转换单元，用于通过使用由所述传感器单元获得的所述图像数据进行插值，从而获得具有比所述行传感器的分辨率高的分辨率的单色图像数据。

根据本发明另一实施例，提供一种图像处理设备中的图像处理方法，所述图像处理设备包括传感器单元，所述传感器单元包括用于读取图像数据的多个行传感器，其中相邻行传感器在原稿图像上的读取位置偏移了不到一个像素，所述图像处理方法使用由所述传感器单元获得的所述图像数据进行插值，以获得具有比所述行传感器的分辨率高的分辨率的单色图像数据。

利用上述结构，通过获得原稿图像上的读取位置不同的多个帧的图像数据来进行超分辨率处理。通过应用根据本发明的超分辨率处理，可以使用机械结构不需要比传统扫描器的机械结构更复杂的扫描器来获得高分辨率图像。

通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。

附图说明

图1示出根据本发明实施例的MFP的结构。

图2A和图2B示出在第一实施例中使用的彩色行传感器。

图3示出通过利用在第一实施例中使用的倾斜行传感器扫描原稿所获得的图像数据。

图4示出通过利用彩色行传感器扫描单色原稿所获得的图像数据。

图5示出通过利用彩色行传感器扫描彩色原稿所获得的图像数据。

图6是示出根据第一实施例的倾斜地放置行传感器的处理的流程图。

图7是示出根据第一实施例的处理的流程图。

图8是示出根据第二实施例的处理的流程图。

图9示出通过利用在第四实施例中使用的行传感器扫描原稿所获得的图像数据。

图10A和图10B示出在第三实施例中使用的行传感器。

图11是示出根据第三实施例的处理的流程图。

图12是示出根据第四实施例的处理的流程图。

图13A～13C示出根据本发明的超分辨率处理的示例。

图14A～14F示出根据本发明的超分辨率处理的示例。

图15示出根据本发明的超分辨率处理的示例。

图16示出根据本发明的超分辨率处理的示例。

图17示出根据本发明的超分辨率处理的示例。

具体实施方式

接着说明本发明的第一实施例。在本实施例中，给出有关如下方法的说明：该方法用于在包括彩色扫描器和单色打印机的MFP(多功能外围设备)中，获得原稿图像上的读取位置略微不同的多个帧的图像数据，并对非彩色部分(achromatic portion)生成高分辨率图像。本实施例可以应用于在包括彩色扫描器和彩色打印机的MFP中进行的单色打印。

图1示出MFP的结构。图像读取单元101是包括自动原稿给送器的扫描器。在图像读取单元101中，光源(未示出)照射一批原稿图像或一个原稿图像，通过透镜在CCD(Charge CoupledDevice，电荷耦合装置)传感器等的固态摄像元件上形成从原稿图像反射来的图像，从而获得来自固态摄像元件的光栅图像读取信号作为图像信息。

在包括彩色扫描器的MFP中，通过将三种类型的彩色滤波器安装到固态摄像元件来获得RGB彩色图像。

记录装置103是打印机。当执行MFP的复制功能时，通过数据处理装置105将图像信号处理成记录信号，并将记录信号顺序输出到记录装置103，由此在纸张上形成图像。此时，数据处理装置105将从图像读取单元101接收到的RGB数据转换成单色数据。记录装置103通过使用黑色着色材料对由数据处理装置105处理后的数据进行图像形成并输出该图像。

通过作为设置在MFP中的按键操作单元的输入装置106来提供从操作者到MFP的指令。通过数据处理装置105中的控制单元(未示出)来控制这一系列的操作。

另一方面，在显示装置104中显示操作输入状态和正被处理的图像数据。

存储装置102是能够存储由图像读取单元101读取的图像数据等的区域。

网络I/F107是连接至网络的接口。通过使用该网络I/F107，可以从PC(个人计算机)等接收图像数据，可以通过数据处理装置105对图像数据进行处理，并且可以通过记录装置103来输出该图像数据。

并且，可以经由网络I/F107将由图像读取单元101读取的并由数据处理装置105处理后的数据发送至PC等。当进行这种处理时，与在复制处理中不同，可以在已经对从图像读取单元101获得的RGB数据进行图像处理之后，将它们作为彩色数据而发送。

下面说明超分辨率技术。图13A示出读取装置要读取的图像。图13B示出在例如以1200dpi的分辨率读取图像的情况下的像素构成。在图13B中，网格图案1301表示以读取分辨率构成的像素数据。即，当读取分辨率为1200dpi时，作为像素间距(pixel pitch)的距离“n”对应于构成行传感器的像素传感器的距离。

图13C示出在读取装置以300dpi的分辨率读取相同图像大小的图像的情况下的像素构成。与在图13B中一样，网格图案1302表示以读取分辨率构成的像素数据。因此，与在1200dpi中作为像素间距的距离“n”相比，在300dpi中作为像素间距的距离较长，即4n。

由于读取图像的再现性与分辨率成比例，因此在以1200dpi读取的图像(图13B)与以300dpi读取的图像(图13C)之间，图像质量的差异极大。

超分辨率处理是根据各自与图13C中示出的图像相对应的多个图像数据来生成图13B中示出的图像的技术。通过使用该技术，即使读取装置的分辨率不够高，也可以生成与由高分辨率装置所读取的图像等同的图像。

优选地，满足特定条件以进行用于从低分辨率图像数据获得高分辨率图像或较高分辨率图像的“超分辨率转换”。这些条件如下所述。首先，优选可利用原稿图像的多个帧的图像数据，其中，该多个帧的读取位置基于以读取装置的传感器的分辨率所读取的原稿图像的图像数据而在主扫描方向和/或副扫描方向上略微偏移。换言之，使用多个连续帧的图像数据，其中，通过基于基准图像数据在主扫描方向和/或副扫描方向上略微偏移由传感器所读取的原稿图像上的读取位置来生成这些连续帧。

另外，当读取多个帧的图像数据时，原稿图像上通过相邻传感器所获得的帧之间在读取位置上的偏移在主扫描方向和/或副扫描方向上优选地小于一个像素(亚像素)。该读取位置的偏移可以是作为对整数倍的偏移进行偏移校正的结果而剩余的、小于一个像素的偏移。

下文中，将通过扫描由一帧构成的原稿图像所读取的数据，即构成或表示一帧的原稿图像的数据称为“帧图像数据”。帧图像数据还可以指通过例如使用仿射或其它变换和/或通道分割(channel division)来处理所扫描的帧的图像数据而获得的数据。

在原稿图像中所读取的像素的位置称为“相位”。当相位偏移时，称为“相位偏移”，并且将所读取的像素的偏移称为“相位偏移”。这里使用的低分辨率不限于300dpi，而是表示在普通打印中从装置输出的图像的分辨率。

这里使用的主扫描方向是与当扫描器读取放置在稿台上的原稿图像时光源相对于原稿图像移动的方向垂直的方向。如由图3中的箭头(A)所示，所读取的原稿图像的水平方向称为“主扫描方向”。另一方面，副扫描方向是与光源的移动方向平行的方向。如由图3中的箭头(B)所示，所读取的原稿图像的垂直方向称为“副扫描方向”。

可选地，可以基于仅在主扫描方向上的相位偏移或者仅在副扫描方向上的相位偏移来进行向较高分辨率的转换。然而，在这种情况下，仅在具有相位偏移的方向上实现了较高的分辨率。

下面，参考图14A等来给出关于超分辨率处理的条件的说明。图14A示出在以300dpi的分辨率读取图13A中示出的原稿图像的情况下的像素构成。如在图3中一样，由箭头(A)表示的方向是主扫描方向，而由箭头(B)表示的方向是副扫描方向。该图与在图13A中示出的原稿图像相同。在图14A中示出的读取图像用作要进行超分辨率处理的第一帧目标图像数据并用作基准图像数据。

然后，如在图14C中所示，以300dpi的分辨率来读取图13A中示出的原稿图像，其中基于基准图像数据，在主扫描方向上的相位偏移为Δx(Δx<4n)并且在副扫描方向上的相位偏移为Δy(Δy<4n)。在这种情况下，在图14D中示出的所读取的图像数据的相位与原稿图像的相位有所不同，即在图14D中，相位在主扫描方向上向左偏移了Δx并且在副扫描方向上向上偏移了Δy。在图14D中示出的所读取的图像数据用作要进行超分辨率处理的第二帧目标图像数据。

此外，如在图14E中所示，以300dpi的分辨率读取在图13A中示出的原稿图像，其中基于基准图像数据，在主扫描方向上的相位偏移为Δx′(Δx′<4n，Δx<Δx′)并且在副扫描方向上的相位偏移为Δy′(Δy′<4n，Δy<Δy′)。在这种情况下，在图14F中示出的所读取的图像数据的相位与原稿图像的相位有所不同，即在图14F中，相位在主扫描方向上向左偏移了Δx′并且在副扫描方向上向上偏移了Δy′。在图14F中示出的所读取的图像数据用作要进行超分辨率处理的第三帧目标图像数据。

在已经获得了相对于基准图像具有不同相位的多个帧的低分辨率图像数据之后，可以通过超分辨率处理来进行向较高分辨率的转换。

图15示出根据三个帧的低分辨率图像数据生成高分辨率图像。该图示出可以通过对具有不同相位的多个帧的低分辨率图像数据(a)、(b)、(c)、...(帧(a)是基准图像数据)进行超分辨率处理来获得图像数据(d)。参考图16和图17来详细说明此时进行的超分辨率处理。

图16示出在超分辨率处理中使用的低分辨率图像数据和通过超分辨率处理所获得的图像数据。具体地，图16示出原稿、通过利用区域传感器读取该原稿所获得的基准低分辨率图像数据F0、以及相对于基准图像数据F0具有略微偏移的相位的目标低分辨率图像数据F1～F3。原稿周围的虚线矩形表示由区域传感器读取基准低分辨率图像数据F0的区域。实线矩形表示由区域传感器读取目标低分辨率图像数据F1～F3的区域。

在本实施例中，由“um”来表示在主扫描方向上的偏移量并且由“vm”来表示在副扫描方向上的偏移量。由“umn”和“vmn”来表示目标低分辨率图像数据Fn(n＝1～3)中的那些偏移量。例如，如在图16中所示，目标低分辨率图像数据F1相对于基准低分辨率图像数据F0在主扫描方向和副扫描方向上具有偏移，其中，由um1和vm1来表示该偏移量。同样，由um2和vm2表示目标低分辨率图像数据F2中的偏移量，并且由um3和vm3表示目标低分辨率图像数据F3中的偏移量。

基于基准低分辨率图像数据F0和目标低分辨率图像数据F1～F3来计算各个目标低分辨率图像数据Fn(n＝1～3)中的偏移量umn和vmn。基于预先存储在ROM(Read Only Memory，只读存储器)中的区域传感器的倾斜信息，以预定的计算方法来进行该计算。

在图16中，以像素为单位示意性示出了各个目标低分辨率图像数据中的偏移。然而，在由根据本实施例的区域传感器进行的读取中，在主扫描方向和副扫描方向上出现小于一个像素的相位偏移。通过使用该微小的偏移，可以如上所述增加图像的分辨率。

因此，在构成通过超分辨率处理所生成的图像数据的各个像素(下文中称为“生成像素”)中，存在既不存在于基准低分辨率图像数据中也不存在于目标低分辨率图像数据中的像素。

对于这种像素，通过使用表示该生成像素周围的像素的像素值的像素数据来进行预定的插值处理，从而在进行合成时增加分辨率。作为插值处理，可以使用双线性(bilinear)插值、双三次(bicubic)插值和最邻近(nearest-neighbor)插值等。

例如，参考图17来说明使用双线性插值的插值处理。首先，从基准低分辨率图像数据和目标低分辨率图像数据提取最接近生成像素1801的位置(x，y)的最近像素1802。然后，将在图17中的目标低分辨率图像数据中的生成像素1801周围的四个像素确定为周围像素1802～1805。然后，将预定权重与周围像素的数据值相加，对数据值进行平均，并通过使用以下公式来获得生成像素的数据值。

f(x，y)＝[|x1-x|{|y1-y|f(x0，y0)+|y-y0|f(x0，y1)}+|x-x0|{|y1-y|f(x，y0)+|y-y0|f(x1，y1)}]/|x1-x0||y1-y0|

通过对各个生成像素位置进行上述处理，可以获得在图16中示出的具有双倍分辨率的超分辨率图像。分辨率倍数不限于2倍，并且可以采用多种倍数。随着在插值处理中使用的多个低分辨率图像数据的数据值数量越大，超分辨率图像的分辨率越高。

接着，说明根据本实施例的处理。图2A示出用作在本实施例中使用的图像读取单元101中的固态摄像元件的行传感器。行传感器201具有红色滤波器，行传感器202具有绿色滤波器并且行传感器203具有蓝色滤波器。从各个行传感器获得主扫描行的数据。

具体地，从行传感器201获得红色图像数据(下文中为R图像数据)，从行传感器202获得绿色图像数据(下文中为G图像数据)，并且从行传感器203获得蓝色图像数据(下文中为B图像数据)。通过组合这些图像数据，获得RGB彩色图像数据。传感器的长边方向207表示主扫描方向，而传感器的短边方向208表示副扫描方向。

在进行一般打印的图像处理设备中，当将原稿图像放置在稿台上的指定位置处时，通过传感器收集在原稿图像下从光源(其生成方向与原稿图像的垂直方向平行的光)照射至原稿图像的光的反射光。吸收相对于传感器无倾斜的反射光。

与在图2A中示出的传感器的水平方向(长边方向)平行地收集作为通过由光源的平行扫描所获得的行的图像数据的反射光。因此，将传感器放置在可以几乎无倾斜地扫描原稿图像的位置处。校正实际存在的微小倾斜并且对其进行补偿以使该倾斜最小化。将用于实现原稿图像的输出的传感器设置位置称为传感器的“基准设置位置”。

在通常的彩色扫描器中，将行传感器201～203布置在装置中的基准设置位置处。如在图2A中所示，行传感器201、202和203以预定的间隔相互平行地进行布置。因此，R图像数据、G图像数据和B图像数据之间在副扫描方向上出现偏移。即，出现相位偏移。一般通过偏移校正等的图像处理以像素为单位进行补偿，以校正并减小相位偏移。

另一方面，在本实施例中，如在图2B中所示，通过相对于基准设置位置倾斜地布置行传感器来获得帧图像数据。即，图2A中示出的长边方向与图2B中示出的长边方向不平行。因此，主扫描方向与图2B中示出的长边方向不平行。行传感器204具有红色滤波器、行传感器205具有绿色滤波器并且行传感器206具有蓝色滤波器。这些滤波器是倾斜的。

图3示出通过使用这些行传感器来扫描原稿的示例。通过扫描原稿301来扫描得到多个帧图像数据302～304。下文中，将通过红色滤波器扫描得到的帧图像数据称为R图像数据，将通过绿色滤波器扫描得到的帧图像数据称为G图像数据，将通过蓝色滤波器扫描得到的帧图像数据称为B图像数据。

通过行传感器204扫描得到图像数据302，通过行传感器205扫描得到图像数据303，通过行传感器206扫描得到图像数据304。将图像数据302～304中的各个图像数据表示为一帧的图像数据。将图像数据302设置为R通道(channel)，将图像数据303设置为G通道，并将图像数据304设置为B通道。

因此，在本实施例中获得的图像数据具有三个通道。由于行传感器是倾斜的并且被间隔地布置，因此与多个图像数据302～304一样，可以获得各个通道中在主扫描方向和副扫描方向上具有相位偏移的帧图像数据。

并且，由于间隔地布置这些行传感器，因此相邻行传感器读取原稿图像的位置在副扫描方向上偏移。即，可以获得在副扫描方向上具有相位偏移的多个帧图像数据。

此外，通过相对于基准设置位置倾斜地布置行传感器，相邻行传感器读取图像的位置在主扫描方向和副扫描方向上偏移。即，可以获得在主扫描方向和副扫描方向上具有相位偏移的多个帧图像数据。

如果以上述方式出现的相位偏移是以亚像素为单位的，则可以通过使用三个帧图像数据：R图像数据、G图像数据和B图像数据来进行超分辨率处理，从而可以获得高分辨率图像数据。为了产生以亚像素为单位的相位偏移，可以调整行传感器的间隔和角度。

图6示出倾斜地布置行传感器的处理。首先，在步骤S602中倾斜地放置行传感器601。将行传感器601相对于基准设置位置的倾斜角定义为倾斜角θ。

在步骤S603中，计算倾斜角θ。任何方法都可用于计算该角度θ。例如，当在组装包括行传感器601的MFP的过程中安装行传感器601时可以获得该倾斜角θ。将倾斜角θ作为所安装的装置特有的值保持在MFP中的存储区域中。可以从存储区域获得该倾斜角θ。在步骤S605中将计算出的角度θ存储为角度信息604。

参考图7说明根据本实施例的使用倾斜布置的行传感器的处理。本实施例是基于以600dpi的分辨率扫描原稿图像并通过超分辨率处理获得分辨率为1200dpi的图像数据的假定。除该形式以外，只要通过超分辨率处理增加了分辨率，就可以采用任何形式。

在步骤S701中，图像读取单元101扫描原稿图像以获得RGB图像数据702。在该状态下，与在图3中示出的多个帧图像数据302～304一样，帧图像数据倾斜。因此，在步骤S703中，通过使用角度信息704来进行仿射变换(affine transformation)，以使帧图像数据旋转在扫描方向上的倾斜度。因此，校正了帧图像数据的倾斜。

角度信息704与在图6示出的处理中计算出的角度信息604相同。可以使用除仿射变换以外的任何方法作为用于校正倾斜的帧图像数据的方法。对倾斜的图像数据的校正使得能够获取在主扫描方向和副扫描方向上具有以亚像素为单位的相位偏移、并且为校正帧图像数据的倾斜和减小该倾斜而被补偿的多个帧的图像数据。

然后，在步骤S705中进行非彩色判断，并且在步骤S706中进行字符判断。基于这两个判断结果生成非彩色字符判断信号707。通过向分辨率为1200dpi的预备数据中的各个像素中的非彩色字符部分设置二进制位来生成非彩色字符判断信号707。

在传统的MFP中进行非彩色判断和字符判断，并且毫无疑问，对于本发明中的非彩色判断和字符判断可以使用任何方法。此外，非彩色字符判断信号不需要具有任意特定格式。

参考图4和图5说明在本实施例中判断非彩色字符的原因。图4中示出的原稿401包括黑色字符，即非彩色字符。通过彩色扫描器扫描该原稿并将所获得的数据分割成作为帧图像数据的R图像数据402、G图像数据403和B图像数据404。然后，各个帧图像数据中的黑色字符部分的信号值彼此非常类似。

例如以下面的方式来判断此处的类似度。为了判断从图像的黑色部分检测出的R图像数据402的信号值与G图像数据403的信号值之间的类似度，判断R图像数据的信号值相对于G图像数据的信号值的百分比是否在90％～110％的范围内。如果该百分比在90％～110％的范围内，则判断为R图像数据的信号值与G图像数据的信号值类似。还以相同的方式对其它图像数据进行判断。

另一方面，在图5中示出的原稿图像501包括品红色字符，即彩色字符。通过彩色扫描器扫描原稿图像501，并且将所获得的数据分割成R图像数据502、G图像数据503和B图像数据504。然后，与在非彩色字符中不同，各个帧图像数据的信号值不全相同。

在图5中示出的示例中，R图像数据502和B图像数据504的信号值与G图像数据503的信号值大不相同。然而，在品红色的这种情况下，R图像数据502和B图像数据504具有类似的信号值。在该示例中，如果这些信号值彼此不类似，则即使相位以亚像素为单位而不同，也不能执行超分辨率处理。因此，通过使用非彩色判断仅对具有类似信号值的像素进行超分辨率处理。在本实施例中，特别对非彩色字符部分进行处理。然而，可以对任何非彩色像素进行处理。

返回参考图7，在步骤S708中对在步骤S706中进行了字符判断的图像数据进行通道分割，从而将图像数据分割成R图像数据、G图像数据和B图像数据709。

然后，在步骤S720中，对包括R图像数据、G图像数据和B图像数据的帧图像数据进行分辨率转换。例如，如在本实施例中一样，当通过600dpi的扫描器扫描图像并生成1200dpi的数据时，将分辨率转换成1200dpi。这里，没有指定用于分辨率转换的方法。例如，可以采用线性缩放(linear scaling)。然后，在步骤S710中，从分辨率转换后的图像数据中提取像素。

另一方面，在步骤S712中对非彩色字符判断信号707进行分辨率转换，从而生成分辨率转换后的非彩色字符判断信号713。在600dpi的非彩色字符判断信号的情况下，通过线性插值进行分辨率转换，从而将分辨率增加至1200dpi。在本实施例中，使用线性插值作为分辨率转换，但是可选地，可以采用任何其它方法。

同样，在步骤S717中对G图像数据715进行转换成1200dpi的分辨率转换，从而生成分辨率转换后的G图像数据719。这里，G图像数据715是与通过在步骤S708的通道分割所获得的G图像数据(709)相同的数据。

仅对非彩色字符部分进行超分辨率处理，因此使用已经进行了线性插值等的分辨率转换的数据。本实施例使用在要将由彩色扫描器扫描的数据作为单色数据输出时经常作为代表而使用的G图像数据。然而，可以使用其它通道的图像数据或包含多个通道的信号的图像数据。

在步骤S711中，通过使用分辨率转换后的非彩色字符判断信号713来判断在步骤S710中提取出的分辨率转换后的像素是否是非彩色字符。如果判断为所提取出的分辨率转换后的像素是非彩色字符(在步骤S711中为是)(这表示各个帧图像数据：R图像数据、G图像数据和B图像数据709中的黑色字符部分的信号值彼此非常类似)，则在步骤S714中通过使用R图像数据、G图像数据和B图像数据709按上述处理进行作为高分辨率转换的超分辨率处理，从而输出具有比装置的传感器的分辨率高的分辨率的单色图像数据。

根据本实施例的对非彩色部分进行的超分辨率处理与仅对字符的边缘部分进行增加分辨率和平滑化的处理的传统技术不同，并且能够增加甚至是以小点打印出的不可分辨的字符的分辨率。

如果判断为所提取出的分辨率转换后的像素不是非彩色字符(在步骤S711中为否)，则不进行超分辨率处理，并且处理进入步骤716，在该步骤S716中，从分辨率转换后的G图像数据719中提取G信号。

在上述处理之后，在步骤S718中判断是否已对全部像素进行了处理。如果没有对全部像素进行处理，则处理返回步骤S710，在该步骤S710中，提取另一分辨率转换后的像素并且重复处理。如果已经对全部像素进行了处理，则处理结束。

根据本实施例，当在包括彩色扫描器的MFP中进行单色复制或单色发送时，可以增加非彩色字符等的特定像素的分辨率。

接着，给出关于基于各个通道的信号值的比较结果进行超分辨率处理的第二实施例的说明。在第一实施例中，针对非彩色部分判断是否要进行超分辨率处理。在第二实施例中，给出关于通过比较R图像数据、G图像数据和B图像数据的信号值而不是通过使用判断结果来判断是否要进行超分辨率处理的方法的说明。MFP的结构和相对于基准设置位置倾斜地布置行传感器的处理与第一实施例中的相同，并由此省略对其进一步的多余说明。

参考图8来说明根据本实施例的处理。与在第一实施例中一样，第二实施例是基于以600dpi的分辨率进行扫描并且通过超分辨率处理获得分辨率为1200dpi的图像数据的假定。与在第一实施例中一样，只要通过超分辨率处理增加了分辨率，就可以可选地采用任何其它形式。

在步骤S801中，通过扫描获得RGB图像数据802。由于与在第一实施例中一样，行传感器是倾斜的，因此在步骤S803中通过使用角度信息804来进行仿射变换，从而校正帧图像数据的倾斜并进行补偿以减小该倾斜。

与在第一实施例中一样，调整红色、绿色和蓝色的各个行传感器的角度和设置间隔。因此，获得在各个通道之间具有以亚像素为单位的相位偏移的帧图像数据。

然后，在步骤S805中进行通道分割以获得R图像数据、G图像数据和B图像数据815。然后，在步骤S816中，对通过通道分割所获得的帧图像数据进行分辨率转换。

例如，如在本实施例中，当通过600dpi的扫描器获得数据并且要生成1200dpi的数据时，将分辨率转换成1200dpi。这里，可以采用线性缩放等的任何方法来转换分辨率。然后，在步骤S806中，从分辨率转换后的帧图像数据中提取像素。

另一方面，在步骤S813中，还对G图像数据811进行分辨率转换以生成分辨率转换后的G图像数据814。与在第一实施例中一样，当以600dpi的分辨率扫描原稿图像时，通过线性插值进行分辨率转换，从而将分辨率增加至1200dpi。这里，G图像数据811是与通过在步骤S805的通道分割所获得的G图像数据(815)相同的数据。与在第一实施例中一样，使用G图像数据作为代表值，但是可选地，可以使用其它通道的帧图像数据或者包含多个通道的信号的帧图像数据。

在步骤S807中，通过使用R图像数据、G图像数据和B图像数据815比较多个帧图像数据的信号值，从而选择用于超分辨率处理的多个帧图像数据。在第一实施例中，例如在非彩色部分的情况下，仅当在所有通道中获得的多个帧图像数据的信号值彼此类似时，进行超分辨率处理。在彩色部分的情况下，在所有通道中获得的多个帧图像数据的信号值彼此不类似，但是两个帧图像数据的信号值可以彼此类似。

在图5中示出的品红色字符的示例中，G图像数据503具有与其它两个信号值不同的信号值，但是R图像数据502和B图像数据504的信号值彼此类似。此时，例如，以上述判断方法来判断各个帧图像数据是否彼此类似。以这种方式，通过获得各个帧图像数据的信号值来判断是否存在彼此类似的信号值，并且选择出具有类似信号值的多个帧图像数据。

如果在步骤S808中判断为存在两个或更多个具有类似信号值的帧图像数据(在步骤S808中为是)，则处理进入步骤S809，在该步骤S809中，通过使用所选择出的具有类似信号值的多个帧图像数据以上述处理来进行作为高分辨率转换的超分辨率处理。结果，可以输出具有比装置的传感器的分辨率更高的分辨率的单色图像数据。

在非彩色部分中，全部帧图像数据的信号值都彼此类似，并由此选择出三个帧图像数据作为要在超分辨率处理中使用的数据。因此，可以通过使用全部的R图像数据、G图像数据和B图像数据来进行超分辨率处理。

在彩色部分中，如果存在所选择出的两个帧图像数据，则也可以进行超分辨率处理，尽管该效果小于使用三个帧图像数据的情况下的效果。

如果在步骤S808中判断为不存在两个或更多个的帧图像数据(在步骤S808中为否)，则处理进入步骤S810，在该步骤S810中，从分辨率转换后的G图像数据814中提取G信号。在步骤S812中，判断是否已对全部的像素进行了处理。如果没有对全部的像素进行处理，则处理返回步骤S806并且重复处理。如果已经对全部的像素进行了处理，则处理结束。

根据本实施例，当在包括彩色扫描器的MFP中进行单色复制或单色发送时，可以增加特定像素的分辨率。特别地，在本实施例中，可以不仅对非彩色部分而且可以对特定的彩色部分进行超分辨率处理，从而增加分辨率。

接着，给出关于通过搜索具有与作为特定通道的帧图像数据的基准图像数据的信号值类似的信号值的图像数据来进行超分辨率处理的第三实施例的说明。在前述实施例中，通过使用非彩色判断结果或通过比较各个帧图像数据的信号值来进行超分辨率处理。在本实施例中，通过关注特定通道来进行超分辨率处理。

在本实施例中，包括与前述实施例中的行传感器不同的行传感器。图10A示出在本实施例中使用的传感器的示例。行传感器1001具有红色滤波器，行传感器1002具有绿色滤波器，并且行传感器1003具有蓝色滤波器，这些都与行传感器201～203相同。与在前述实施例中一样，传感器的长边方向1009是主扫描方向，而传感器的短边方向1010是副扫描方向。

图10A还示出不具有彩色滤波器的行传感器1004。行传感器1004没有彩色滤波器并由此获得灰度级的帧图像数据。

本实施例使用图10B中示出的作为相对于基准设置位置倾斜的行传感器1001～1004的行传感器1005～1008，以偏移原稿图像上的读取位置。将行传感器相对于基准设置位置倾斜布置的处理与前述实施例中的处理相同，并由此省略对其进一步的多余说明。

现在，参考图11说明根据本实施例的处理。与在前述实施例中一样，本实施例是基于以600dpi的分辨率进行扫描并且通过超分辨率处理获得分辨率为1200dpi的图像数据的假定。与在第一实施例中一样，只要通过超分辨率处理增加了分辨率，就可以可选地采用任何其它形式。

首先，在步骤S1101中进行扫描，并且获得RGB Bk图像数据1102。在本实施例中，提供了四个行传感器，并且因而获得了四个通道的帧图像数据：R图像数据、G图像数据、B图像数据和Bk图像数据。然后，与在前述实施例中一样，在步骤S1103中，通过使用角度信息1104进行仿射变换，从而校正帧图像数据的倾斜并进行补偿以减小倾斜。

在步骤S1105中，进行通道分割以将帧图像数据分割成R图像数据、G图像数据和B图像数据1106以及Bk图像数据1107。然后，在步骤S1116中对分割后的帧图像数据进行分辨率转换。

例如，如在本实施例中，当通过600dpi的扫描器来扫描数据并且要生成1200dpi的数据时，将分辨率转换成1200dpi。这里，可以采用线性缩放等的任意方法来转换分辨率。然后，在步骤S1108中，从分辨率转换后的帧图像数据中提取像素。

另一方面，在步骤S1113中还对Bk图像数据1107进行分辨率转换，从而生成分辨率转换后的Bk图像数据1115。与在第一实施例中一样，当分辨率是600dpi时，通过线性插值转换分辨率，从而将分辨率增加至1200dpi。

然后，在步骤S1119中，对R图像数据、G图像数据和B图像数据1106以及分辨率转换后的Bk图像数据1115的信号值进行比较，从而选择用于超分辨率处理的帧图像数据。这里，在R图像数据、G图像数据和B图像数据1106中，选择具有与作为基准图像数据的分辨率转换后的Bk图像数据1115的信号值类似的信号值的图像数据。此时，通过使用上述判断方法来判断各个帧图像数据的类似度。

特别地，如果原稿是非彩色的，则由于其信号值彼此类似，因而选择全部的帧图像数据。没有指定比较方法和选择的基准。

然后，在步骤S1110中，判断在R图像数据、G图像数据和B图像数据1106中是否存在与Bk图像数据类似的一个或多个帧图像数据。如果判断为存在类似的帧图像数据，则处理进入步骤S1111，在该步骤S1111中，通过使用Bk图像数据和所选择的帧图像数据以上述处理来进行作为高分辨率转换的超分辨率处理。因此，输出具有比装置中所包括的传感器的分辨率高的分辨率的单色图像数据。

如果在步骤S1110中判断为不存在类似的图像数据，则处理进入步骤S1112，在该步骤S1112中，从分辨率转换后的Bk图像数据1115中提取信号值。最终，在步骤S1114中判断是否已经对全部的像素进行了处理。如果没有对全部的像素进行处理，则处理返回步骤S1108，在该步骤S1108中，提取另一分辨率转换后的像素并且重复该处理。如果已经对全部的像素进行了处理，则处理结束。

在本实施例中，使用由Bk传感器所获得的图像数据作为基准图像数据，但是可以选择任意帧图像数据作为基准图像数据。并且，与在前述实施例中一样，可以通过使用在图2中示出的三种类型的行传感器来选择基准通道的帧图像数据。

根据本实施例，当在包括彩色扫描器的MFP中进行单色复制或单色发送时，可以增加特定像素的分辨率。特别地，根据本实施例，通过使用特定通道的帧图像数据作为基准，不仅可以对非彩色部分而且可以对彩色部分进行超分辨率处理，从而增加分辨率。

接着，给出关于在不倾斜行传感器的情况下进行超分辨率处理的第四实施例的说明。在前述实施例中，行传感器相对于基准设置位置倾斜以生成在主扫描方向和副扫描方向上具有不同的相位的图像数据，然后进行超分辨率处理。在本实施例中，在无需相对于基准设置位置而倾斜行传感器的情况下进行超分辨率处理。

在前述实施例中，使用行传感器204～206或行传感器1005～1008等的倾斜的行传感器。在本实施例中，使用行传感器201～203或1001～1004等的布置在基准设置位置的行传感器。

图9示出通过使用行传感器201～203来扫描原稿的示例。图9中的附图标记901表示原稿图像。通过使得具有红色滤波器的行扫描器201扫描原稿图像901来获得帧图像数据902。通过使得具有绿色滤波器的行扫描器202扫描原稿图像901来获得帧图像数据903。通过使得具有蓝色滤波器的行扫描器203扫描原稿图像901来获得帧图像数据904。由于这些行传感器未倾斜，因此这些帧图像数据902～904在主扫描方向上具有相同的相位。

然而，行传感器201～203在副扫描方向上存在间隔。当前，可以在设计上将间隔缩小为与两个像素相对应的长度。一般地，通过偏移校正等的图像处理来校正作为由间隔引起的读取位置的偏移的相位偏移。因此，校正以像素为单位的相位偏移。

然而，在通过偏移校正等来校正相位偏移时，可以以像素为单位校正相位偏移，但可能保留了以亚像素为单位的相位偏移。实际上，如果以亚像素为单位的相位偏移小，则可以通过忽略该相位偏移来进行处理。然而，在本实施例中，不可忽视在副扫描方向上以亚像素为单位的微小相位偏移，并且使用该微小相位偏移。然后，可以通过使用在副扫描方向上保留的微小相位偏移来进行超分辨率处理。因此，可以仅在副扫描方向上增加分辨率。

在图12中示出根据本实施例的处理。与在前述实施例中一样，第四实施例是基于以600dpi的分辨率进行扫描并且通过超分辨率处理获得1200dpi的图像数据的假定。如在第一实施例中一样，只要通过超分辨率处理增加了分辨率，就可以可选地采用任何其它形式。

首先，在步骤S1201中，进行扫描以获得RGB图像数据1202。在前述实施例中，由于行传感器是倾斜的，因此进行仿射变换。然而，在本实施例中，由于行传感器不是倾斜的，因此不进行仿射变换。图12的步骤S1203及后续的步骤与图7的步骤S705及后续的步骤相同，并且省略对其进一步的多余说明。

在本实施例中，与在第一实施例中一样，对非彩色字符进行超分辨率处理。可选地，与在第二实施例和第三实施例中一样，可以通过比较信号值来对彩色字符进行处理。并且，与在第三实施例中一样，可以增加使用从特定通道获得的帧图像数据作为基准的处理以及Bk传感器。

根据本实施例，当在包括彩色扫描器的MFP中进行单色复制或单色发送时可以增加特定像素的分辨率。特别地，由于将方向限制为副扫描方向，因此行传感器的倾斜和用于仿射变换的电路变得不必要。因此，可以以与传统的MFP的货币成本几乎相同的货币成本来获得高分辨率图像数据。

在上述实施例的范围中包括如下处理方法：该处理方法用于将运行上述实施例的结构以实现上述实施例的功能的程序存储在存储介质中，将存储在存储介质中的程序作为代码而读出，并且在计算机中执行该程序。另外，存储有程序的存储介质和该程序本身包括在上述实施例中。

存储介质的示例包括软盘、硬盘、光盘、磁光盘、CD-ROM(紧致盘只读存储器)、磁带、非易失性存储卡和ROM(只读存储器)。

另外，在上述实施例的范围中，不但包括基于单独存储在存储介质中的程序来执行处理，而且包括基于运行在OS(操作系统)中的程序与其它软件和扩展板的功能协作地执行上述实施例的操作。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改以及等同结构和功能。

本申请要求2007年12月28日提交的日本专利申请2007-340389的优先权，在此通过引用包含其全部内容。

Claims (22)

1.一种图像处理设备，包括：

传感器单元，被配置为包括用于读取具有多个通道的图像数据的多个行传感器；

校正单元，用于校正由所述传感器单元读取的所述图像数据以获得多个帧的图像数据，在所述多个帧的图像数据中，所述多个行传感器中的相邻行传感器在原稿图像上的读取位置在主扫描方向和副扫描方向的至少一个上偏移了不到一个像素；以及

高分辨率转换单元，用于通过使用由所述校正单元获得的所述多个帧的图像数据进行插值，从而获得具有比所述行传感器的分辨率高的分辨率的单色图像数据。

2.根据权利要求1所述的图像处理设备，其特征在于，所述传感器单元包括具有红色滤波器的行传感器、具有绿色滤波器的行传感器和具有蓝色滤波器的行传感器。

3.根据权利要求1所述的图像处理设备，其特征在于，所述传感器单元包括具有红色滤波器的行传感器、具有绿色滤波器的行传感器、具有蓝色滤波器的行传感器和不具有彩色滤波器的行传感器。

4.根据权利要求1所述的图像处理设备，其特征在于，所述校正单元是偏移校正单元，对由布置所述多个行传感器的位置的间隔而在副扫描方向上引起的、所述原稿图像上的读取位置的一个或多个像素的偏移进行补偿，并输出所述原稿图像上的读取位置在副扫描方向上偏移了不到一个像素的所述多个帧的图像数据。

5.根据权利要求1所述的图像处理设备，其特征在于，相对于基准位置倾斜地布置所述行传感器，其中，所述校正单元是角度校正单元，并进行校正以通过旋转帧图像数据对倾斜进行补偿。

6.根据权利要求1所述的图像处理设备，其特征在于，还包括：

信号值获得单元，用于获得由所述传感器单元获得的帧图像数据的信号值，

其中，对所述信号值获得单元判断为存在具有类似信号值的两个或更多个帧的图像数据的区域进行高分辨率转换。

7.根据权利要求6所述的图像处理设备，其特征在于，对所述信号值获得单元判断为全部帧的图像数据的信号值都类似的区域进行所述高分辨率转换。

8.根据权利要求6所述的图像处理设备，其特征在于，对所述信号值获得单元判断为全部帧的图像数据的信号值都类似的区域中的字符部分进行所述高分辨率转换。

9.根据权利要求1所述的图像处理设备，其特征在于，还包括：

基准图像数据选择单元，用于从由所述传感器单元获得的所述图像数据中选择基准图像数据，

其中，对判断为存在具有与所述基准图像数据的信号值类似的信号值的图像数据的区域进行高分辨率转换。

10.根据权利要求9所述的图像处理设备，其特征在于，所述基准图像数据是由不具有彩色滤波器的行传感器所获得的图像数据。

11.一种图像处理设备中的图像处理方法，所述图像处理设备包括传感器单元，所述传感器单元被配置为包括用于读取具有多个通道的图像数据的多个行传感器，所述图像处理方法包括：

校正由所述传感器单元读取的所述图像数据以获得多个帧的图像数据，在所述多个帧的图像数据中，所述多个行传感器中的相邻行传感器在原稿图像上的读取位置在主扫描方向和副扫描方向的至少一个上偏移了不到一个像素；以及

使用在所述校正中获得的所述多个帧的图像数据进行插值，从而获得具有比所述行传感器的分辨率高的分辨率的单色图像数据。

12.根据权利要求11所述的图像处理方法，其特征在于，所述传感器单元包括具有红色滤波器的行传感器、具有绿色滤波器的行传感器和具有蓝色滤波器的行传感器。

13.根据权利要求11所述的图像处理方法，其特征在于，所述传感器单元包括具有红色滤波器的行传感器、具有绿色滤波器的行传感器、具有蓝色滤波器的行传感器和不具有彩色滤波器的行传感器。

14.根据权利要求11所述的图像处理方法，其特征在于，所述校正对所述图像数据进行偏移校正，对由布置所述多个行传感器的位置的间隔而在副扫描方向上引起的、所述原稿图像上的读取位置的一个或多个像素的偏移进行补偿，并且输出所述原稿图像上的读取位置在副扫描方向上偏移了不到一个像素的所述多个帧的图像数据。

15.根据权利要求11所述的图像处理方法，其特征在于，相对于基准位置倾斜地布置所述行传感器，其中，所述校正进行角度校正，并进行校正以通过旋转帧图像数据对倾斜进行补偿。

16.根据权利要求11所述的图像处理方法，其特征在于，还包括：

通过信号值获得单元获得由所述传感器单元获得的帧图像数据的信号值，

其中，对所述信号值获得单元判断为存在具有类似信号值的两个或更多个帧的图像数据的区域进行高分辨率转换。

17.根据权利要求16所述的图像处理方法，其特征在于，对所述信号值获得单元判断为全部帧的图像数据的信号值都类似的区域进行所述高分辨率转换。

18.根据权利要求16所述的图像处理方法，其特征在于，对所述信号值获得单元判断为全部帧的图像数据的信号值都类似的区域中的字符部分进行所述高分辨率转换。

19.根据权利要求11所述的图像处理方法，其特征在于，还包括：

从由所述传感器单元获得的所述图像数据中选择基准图像数据，

其中，对判断为存在具有与所述基准图像数据的信号值类似的信号值的图像数据的区域进行高分辨率转换。

20.根据权利要求19所述的图像处理方法，其特征在于，所述基准图像数据是由不具有彩色滤波器的行传感器获得的图像数据。

21.一种图像处理设备，包括：

传感器单元，其包括用于读取图像数据的多个行传感器，其中相邻行传感器在原稿图像上的读取位置偏移了不到一个像素；以及

高分辨率转换单元，用于通过使用由所述传感器单元获得的所述图像数据进行插值，从而获得具有比所述行传感器的分辨率高的分辨率的单色图像数据。

22.一种图像处理设备中的图像处理方法，所述图像处理设备包括传感器单元，所述传感器单元包括用于读取图像数据的多个行传感器，其中相邻行传感器在原稿图像上的读取位置偏移了不到一个像素，所述图像处理方法使用由所述传感器单元获得的所述图像数据进行插值，以获得具有比所述行传感器的分辨率高的分辨率的单色图像数据。

Images