CN101600038A - 图像处理设备和图像处理方法 - Google Patents

图像处理设备和图像处理方法 Download PDF

Info

Publication number
CN101600038A
CN101600038A CNA2009101469650A CN200910146965A CN101600038A CN 101600038 A CN101600038 A CN 101600038A CN A2009101469650 A CNA2009101469650 A CN A2009101469650A CN 200910146965 A CN200910146965 A CN 200910146965A CN 101600038 A CN101600038 A CN 101600038A
Authority
CN
China
Prior art keywords
image
unit
mask data
print
input area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2009101469650A
Other languages
English (en)
Other versions
CN101600038B (zh
Inventor
城户英之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN101600038A publication Critical patent/CN101600038A/zh
Application granted granted Critical
Publication of CN101600038B publication Critical patent/CN101600038B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3871—Composing, repositioning or otherwise geometrically modifying originals the composed originals being of different kinds, e.g. low- and high-resolution originals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Processing (AREA)
  • Control Or Security For Electrophotography (AREA)

Abstract

本发明涉及一种图像处理设备和图像处理方法。所述图像处理设备使得将合成图像作为用户要写入的输入区域打印在记录薄片上。所述合成图像是通过将固定图像叠加在参考图像上而形成的。所述图像处理设备从与通过读取具有被写入的输入区域的记录薄片而获得的图像中所包含的输入区域相对应的图像中，提取亮度低于预定阈值的区域的图像，并且所述图像处理设备使用用于提取与固定图像相对应的区域的图像的掩模数据来进行所述图像提取。

Description

图像处理设备和图像处理方法
技术领域
本发明涉及一种用于对从图像输入单元所输入的图像和与用户所输入的内容相对应的手写图像进行合成的图像处理设备和图像处理方法。本发明尤其涉及一种用于将手写图像和可以是预定数字图像数据的固定图像与背景图像合成的图像处理设备和图像处理方法。
背景技术
近年来，随着数字照相机、扫描器和打印机等设备的普及和高性能化，已提出了不仅将数字照片图像打印在记录薄片上而且还以各种方式使用数字照片图像的多种技术。
这类技术的例子包括用于允许将手写的文本和绘图写入照片图像中的处理技术、以及用于将插图图像等数字图像数据与照片图像进行合成的合成技术。利用这些技术，例如，可以在由数字照相机所拍摄的照片图像中写入消息并创建合成有装饰框的明信片。
作为用于将手写的文本和绘图与从数字照相机或扫描器等图像输入设备输入的照片图像进行合成的技术，已提出了数种方法。
美国专利申请公开2005/0213174号公开了一种打印手写薄片的技术，其中在该手写薄片上将用作输入样品的插图图像与照片图像进行合成。在用户在打印的手写薄片的输入区域中输入文本和绘图之后，读取该手写薄片，并且将与手写的文本和绘图相对应的图像(以下称之为“手写图像”)与照片图像进行合成。
上述文献还公开了如下方法：在手写薄片的输入区域内打印照片图像，从而使得用户可以看见输入的文本和绘图将位于照片图像中的什么地方。为了读取利用该方法所生成的手写薄片，可能必需区分手写图像和打印的背景图像以提取手写的文本和绘图。因此，淡淡地打印背景图像，并且设置用于读取手写薄片的亮度的阈值。因此，在所读取的图像中，将亮度低于阈值的部分确定为用户手写的部分。
作为用于合成插图图像的方法，日本特开2000-295565号公报公开了如下方法：读出记录在存储卡等记录介质中的框图像，并将该框图像与照片图像进行合成以对其进行装饰，然后进行打印。
利用上述公知技术，可以将插图图像与照片图像合成以形成合成图像，并且可以对用户输入的手写图像与合成图像进行合成。为了允许用户在检查合成结果图像的同时输入手写图像，可以使用上述方法在手写薄片的输入区域中打印插图图像和淡淡打印的背景图像(以下称之为“参考图像”)。
为了读取该手写薄片，和手写图像的情况一样，可能必须与参考图像分开提取打印插图图像的区域的图像。然而，如果插图图像的一部分的亮度大于阈值，则在读取过程中可能不提取该部分的图像。这可能导致最终打印的插图部分缺失的问题。因此，插图图像的亮度可能必须低于所设置的阈值。这意味着对于插图图像一般不能使用高亮度颜色。
发明内容
根据本发明的一个方面，提供一种图像处理设备，其输出通过对背景图像和从通过读取记录薄片所获得的图像中提取的区域进行合成而形成的图像，所述图像处理设备包括：打印单元，用于在记录薄片上打印图像；读取单元，用于读取记录薄片；转换单元，用于将所述背景图像转换成参考图像，所述参考图像的内容与所述背景图像的内容相同，但是所述参考图像的亮度比所述背景图像的亮度高；打印控制单元，用于使所述打印单元将第一图像作为用户要进行写入的输入区域打印在记录薄片上，所述第一图像是通过将固定图像叠加在由所述转换单元获得的所述参考图像上而形成的合成图像；提取单元，用于从第二图像中提取亮度低于预定阈值的区域的图像，所述第二图像对应于当所述读取单元读取具有进行了写入的所述输入区域的记录薄片时获得的图像中所包含的所述输入区域；获取单元，用于获取掩模数据，所述掩模数据用于提取与所述固定图像相对应的区域的图像；以及输出单元，用于输出通过将基于所述提取单元和由所述获取单元获得的所述掩模数据从所述第二图像中提取的图像叠加在所述背景图像上而形成的合成图像。
根据本发明的另一个方面，提供一种图像处理方法，用于输出通过对背景图像和从通过读取记录薄片所获得的图像中提取的区域进行合成而形成的图像，所述图像处理方法包括：将所述背景图像转换成参考图像，所述参考图像的内容与所述背景图像的内容相同，但是所述参考图像的亮度比所述背景图像的亮度高；向打印装置输出第一图像，所述第一图像是通过将固定图像叠加在所述参考图像上而形成的合成图像；使所述打印装置将所述第一图像作为用户要进行写入的输入区域打印在记录薄片上；获取用于提取与所述固定图像相对应的区域的图像的掩模数据；以及输出通过将如下图像叠加在所述背景图像上而形成的合成图像：亮度低于预定阈值且包括在与当读取装置读取具有进行了写入的所述输入区域的记录薄片时所获得的图像中所包含的所述输入区域相对应的第二图像中的区域的图像；以及基于所述掩模数据从所述第二图像中提取的图像。
通过以下参考附图对典型实施例的说明，本发明的其它特征将显而易见。
附图说明
图1是示出根据本发明典型实施例的图像处理设备的结构的框图。
图2示出根据本发明典型实施例的手写薄片的例子。
图3是示出用于打印手写薄片的处理过程的例子的流程图。
图4是示出读取用户填充的手写薄片并打印通过对背景图像、插图图像和手写图像进行合成而形成的图像的处理过程的例子的流程图。
图5示出在图3的步骤S003中显示的插图图像选择画面的例子。
图6示出参考图像的例子。
图7示出用于对插图图像和参考图像进行合成的处理的例子。
图8示出用于切出输入区域图像的示例处理(图4的步骤S103)。
图9A～9C示出手写图像掩模数据的生成的例子。
图10示出用于根据插图图像的数字图像数据生成插图图像掩模数据的处理(图4的步骤S107)的例子。
图11A和11B示出用于收缩插图图像掩模数据的处理的例子。
图12示出用于通过对手写图像掩模数据和插图图像掩模数据进行合成来生成合成掩模数据的示例处理(图4的步骤S108)。
图13示出使用合成掩模数据从输入区域图像提取图像(图4的步骤S109)并对所提取的图像和背景图像进行合成(图4的步骤S110)的处理的例子。
图14示出用于生成合成结果图像的处理的例子。
图15示出所打印的合成结果图像的例子。
具体实施方式
图1是示出根据本发明典型实施例的图像处理设备1的结构的框图。
根据本实施例，作为微处理器的中央处理单元(CPU)2根据存储在程序存储器4中的控制程序和作为随机存取存储器(RAM)的数据存储器5的内容来动作。程序存储器4和数据存储器5通过内部总线3连接到CPU 2。例如，当CPU 2执行存储在程序存储器4等计算机可读记录介质中的具有计算机可执行指令的控制程序时，可以实现下面所述的处理。
CPU 2通过读取控制器6操作用作读取单元的读取机构7。CPU 2将由包括在读取机构7中的图像传感器(未示出)读取的原始图像数据存储在数据存储器5中的读取缓冲存储器8中。
通过数据转换器9读出存储在读取缓冲存储器8中的原始图像数据并将原始图像数据转换成打印数据，并且将其存储在数据存储器5中的打印缓冲存储器10中。CPU 2通过打印控制器11操作用作打印单元的打印机构12。同时，CPU 2读出存储在打印缓冲存储器10中的打印数据，并且将该打印数据发送至将打印数据打印在记录薄片上的打印机构12。从而可以实现复制操作。
数据存储器5包括图像存储器13，在图像存储器13中，可以临时存储和编辑由读取机构7所读取的原始图像数据和各种类型的图像数据。数据转换器9读出存储在图像存储器13中的图像数据，并且将读出的图像数据转换成打印数据。因此，可以实现复制操作以及照片图像和其它的打印。
在CPU 2的控制下，可以根据操作模式和用户设置等操作状态，动态地改变数据存储器5中的读取缓冲存储器8、打印缓冲存储器10和图像存储器13之间的容量分配。
数据转换器9还能够进行图像分析、缩略图生成、缩略图校正和输出图像校正等图像处理。
可以将要合成的固定图像数据与用于控制CPU 2的控制程序一起预先存储在程序存储器4中。固定图像数据的例子包括用于装饰照片图像的插图图像数据等。
图像处理设备1包括操作面板16，其包括发光二极管(LED)显示器或液晶显示器(LCD)等显示单元14以及具有各种按键的操作单元15。操作面板16允许操作者进行各种输入操作，并显示操作状态。
存储卡控制器17控制对作为记录介质的存储卡18的访问，并且对存储在存储卡18中的图像数据等数据进行读写。从而，可以读出存储在存储卡18中的照片图像数据，将其存储在图像存储器13中，将其转换成打印数据，并且进行打印。
接口控制器19控制通过接口20的通信。接口控制器19将数据发送至从外部与图像处理设备1连接的外部设备21，并从外部设备21接收数据。外部设备21的例子包括个人计算机(PC)。图像处理设备1与PC连接，接收由运行在PC上的打印机驱动程序所生成的打印数据，并且打印该打印数据。可以将数字照相机等连接到图像处理设备1，从而使得能够读出照片图像数据，将照片图像数据存储在图像存储器13中，将照片图像数据转换成打印数据，并且进行打印。
通信控制器22包括调制解调器(MODEM)和网络控制单元(NCU)。通信控制器22与模拟通信线路23连接，并且对通信线路23进行呼出和呼入控制等线路控制。
图3是示出用于打印手写薄片的处理过程的例子的流程图。例如，当用户从显示在操作面板16上的菜单中选择“手写薄片的打印”时，可以通过图像处理设备1的CPU 2执行该处理。
在步骤S001，读取存储在存储卡18中的背景图像的图像数据文件。然后，在显示单元14上显示允许用户选择背景图像的选择画面。在步骤S002，判断是否通过用户对操作单元15的按键操作选择了背景图像。
如果判断为选择了背景图像(步骤S 002为“是”)，则处理进入步骤S003。在步骤S003，读取存储在程序存储器4中的插图图像的图像数据文件，并将其显示在显示单元14上。通过对操作单元15的按键操作，用户可以确定是否要合成插图图像，并且可以选择要合成的插图图像。后面将参考图5进行详细说明。如果没有选择背景图像(步骤S002为“否”)，则处理返回到步骤S001。
在步骤S004，判断在步骤S003中用户是否选择了要合成的插图图像。
如果判断为用户没有选择任何插图图像(步骤S004为“否”)，则处理进入步骤S005。在步骤S005，基于步骤S002中所选择的背景图像，生成参考图像。然后，将所生成的参考图像存储在图像存储器13中。
参考图像是通过对照片图像等背景图像进行转换以增大背景图像的亮度所获得的图像。换句话说，参考图像是通过使背景图像的颜色变淡所获得的图像。图6示出参考图像的例子。通过对背景图像38进行转换从而使背景图像38的颜色变淡来获得参考图像35。后面将详细说明用于生成参考图像的处理。
返回参考图3，如果在步骤S 004中判断为用户选择了插图图像(步骤S004为“是”)，则处理进入步骤S006，在步骤S006，以与步骤S005中的方式相同的方式生成参考图像。
在步骤S007，对步骤S003中所选择的插图图像和步骤S006中所生成的参考图像进行合成以形成合成图像。
图7示出用于对插图图像和参考图像进行合成的处理。这里，判断插图图像36中的各像素数据是否是透明信息。如果该像素数据不是透明信息，则使用参考图像35中相应的像素数据。
在图3的步骤S008，生成步骤S005中所获得的参考图像的打印数据或步骤S007中所获得的合成图像的打印数据。与该打印数据一起，生成用户用以进行各种设置的设置区域的打印数据和表示其它设置的条形码的打印数据。例如，条形码包括下面的信息：表示记录用户在步骤S002所选择的背景图像的目的地的信息、关于用户在步骤S004中是否选择了要合成的插图图像的信息以及要合成的插图图像的类型。
然后，在步骤S009，控制打印机构12从而使得基于步骤S008中所生成的打印数据打印手写薄片。
图5示出图3的步骤S003中所显示的插图图像选择画面的例子。
读出存储在程序存储器4中的插图图像36，并且将其显示在显示单元14上。用户可以通过按下操作单元15的方向键，改变显示单元14上的插图图像36。如果在显示插图图像36时按下了操作单元15的OK按键，则在图3的步骤S004中判断为选择了所显示的插图图像36。另一方面，如果选择了显示单元14上的“无插图”并且按下了OK按键，则在图3的步骤S004中判断为不合成插图图像。
接着，将详细说明用于根据背景图像生成参考图像的处理(图3的步骤S005和步骤S006)。如果用户在图3的步骤S002中选择了背景图像，则将所选择的背景图像的数据文件存储在图像存储器13中。
该处理首先包括获得存储在图像存储器13中的背景图像的亮度数据(Rorg、Gorg和Borg)。Rorg、Gorg和Borg中的每一个均是值为0～255的亮度数据。
然后，使用下面的公式(1)～(3)进行灰度转换以获得参考图像的像素数据(Rref、Gref和Bref)。
Rref＝(255-RmiN)+((Rorg/255)*RmiN)…(1)
Gref＝(255-GmiN)+((Gorg/255)*GmiN)…(2)
Bref＝(255-BmiN)+((Borg/255)*BmiN)…(3)
通过对背景图像38的每一像素数据进行该处理，可以生成亮度被限制为大于或等于(RmiN、GmiN和BmiN)的值的参考图像。
图2示出根据本发明典型实施例的手写薄片的例子。可以根据图3的流程图打印手写薄片。
手写薄片28具有条形码30，如上所述，条形码30包括表示记录背景图像的目的地的信息、关于是否要合成插图图像的信息以及要合成的插图图像的类型。
设置区域31位于手写薄片28上条形码30的右侧。通过填充设置区域31中的椭圆，用户可以指定打印的设置。在图2中，通过填充设置区域31内的薄片大小选择椭圆32中的一个，用户可以选择打印用记录薄片的大小。类似地，通过填充布局选择椭圆33中的一个，用户可以选择打印用记录薄片的布局。
输入区域34是用户输入要与背景图像合成的文本和绘图的区域。由用户写入输入区域34中的文本37。在输入区域34中输入的这类文本和绘图形成手写图像。在输入区域34中打印在图3的步骤S007中通过对参考图像35和插图图像36进行合成而形成的合成图像。
图4是示出读取用户所填充的手写薄片并且打印通过对背景图像、插图图像和手写图像进行合成而形成的图像的处理过程的例子的流程图。当用户从显示在操作面板16上的菜单中选择例如“薄片读取、图像合成和打印”时，可以通过图像处理设备1的CPU 2执行图4所示的处理例子。
在步骤S101，通过控制读取机构7读取手写薄片。将所读取的图像存储在读取缓冲存储器8中作为手写薄片图像。
在步骤S102，分析步骤S101中所获得的手写薄片图像，从而获得关于打印的信息。
例如，可以从所读取的手写薄片图像切出图2所示的条形码30，并且分析条形码30。因此，可以获得关于记录有用户所选择的背景图像的记录薄片的信息和插图图像的类型。另外，可以切出图2所示的设置区域31，并且分析薄片大小选择椭圆32的填充状态，从而获得关于所选择的薄片大小的信息。另外，可以分析布局选择椭圆33的填充状态，从而可以获得关于所选择的打印布局的信息。
在步骤S103，从步骤S101中所获得的手写薄片图像切出与图2所示的输入区域34相对应的图像(输入区域图像)。后面将参考图8进行详细说明。
在步骤S104，生成用于从输入区域图像中提取手写图像的手写图像掩模数据。后面将参考图9A～9C进行详细说明。
在步骤S105，基于步骤S102中对条形码30的分析，判断用户在用于打印手写薄片的处理(参见图3)中是否选择了插图图像。
如果判断为没有选择插图图像(步骤S105为“否”)，则处理进入步骤S106。在步骤S106，使用步骤S104中所生成的手写图像掩模数据，从输入区域图像中提取手写图像。
另一方面，如果在步骤S105中判断为选择了插图图像(步骤S105为“是”)，则处理进入步骤S107。在步骤S107，根据用户在用于打印手写薄片的处理(参见图3)中所选择的插图图像的数字图像数据，生成插图图像掩模数据。后面将参考图10对步骤S107中的处理进行详细说明。
在步骤S108，对步骤S104中所生成的手写图像掩模数据和步骤S107中所生成的插图图像掩模数据进行合成，以形成合成掩模数据。
在步骤S109，使用步骤S108中所获得的合成掩模数据，从输入区域图像中提取图像。
在步骤S110，从存储卡18读出用户在图3的步骤S002所选择的背景图像，并且将其与在步骤S106或S109中所提取的图像进行合成，以形成图像(以下称之为“合成结果图像”)。将参考图14对此进行说明。
图14示出用于生成合成结果图像的处理的例子。对于被确定为与手写部分或插图部分相对应的像素，使用步骤S109中所提取的图像的像素数据。对于被确定为与手写部分或插图部分均不对应的像素，也就是说，对于被确定为与背景部分相对应的像素，使用所选择的背景图像38的像素数据。从而，生成对背景图像、插图图像和手写图像进行合成的合成结果图像。
返回参考图4，在步骤S111，基于步骤S102中所获得的关于所选择的薄片大小和布局的信息，放大或缩小合成结果图像。然后，在步骤S112，通过控制打印机构12，在记录薄片上打印步骤S111中放大或缩小后的合成结果图像。图15示出打印的合成结果图像的例子。如图所示，可以以各种布局打印合成结果图像。
现在，将说明用以根据输入区域图像生成手写图像掩模数据的处理(图4的步骤S104)。
根据实施例，CPU 2获得输入区域图像的各像素的亮度数据(RScaN、GScaN和BScaN)，以判断各像素的亮度数据是否大于预定阈值(Rth、Gth和Bth)。也就是说，CPU 2判断下面的所有不等式(4)～(6)是否都成立：
RScaN＞Rth…(4)
GScaN＞Gth…(5)
BScaN＞Bth…(6)
如果以上所有不等式(4)～(6)均成立，则CPU 2判断为：输入区域图像中感兴趣的像素的亮度大于预定水平，并且感兴趣的像素与背景部分相对应。另一方面，如果以上不等式(4)～(6)中任一个不成立，则CPU 2判断为：感兴趣的像素的亮度小于或等于预定水平，并且感兴趣的像素与手写部分相对应。
这里，基于RGB格式的亮度数据进行关于亮度是否大于预定值的判断。然而，可以参考针对通过转换成YUV格式等所获得的亮度数据所设置的阈值，进行该判断。
图8示出用于切出输入区域图像的示例处理(图4的步骤S103)。
在读取手写薄片之后，检测表示存储在读取缓冲存储器8中的手写薄片图像29内的输入区域34的位置的位置基准标记39。所检测到的位置基准标记39允许CPU 2识别手写薄片图像29内的输入区域图像40的位置和倾斜。基于所识别出的位置和倾斜，CPU 2进行倾斜校正，从手写薄片图像29切出输入区域图像40，并且将所切出的输入区域图像40存储在图像存储器13中。
图9A～9C示出手写图像掩模数据的生成的例子。
图9A是输入区域图像40的亮度直方图。在该直方图中设置预定阈值43。然后，如图9B所示，提取亮度低于或等于阈值43的区域，以获得提取图像41。通常，由于以深颜色进行用户手写，因而手写区域的亮度低于阈值43。因此，可以进行上述提取。
在图9C的输入区域图像40中，插图图像的亮度高于阈值43，因此具有淡颜色。因此，在图9C的提取图像41中不提取插图图像。然而，如果插图图像是深颜色的，则和手写图像的情况一样，提取插图图像。
通过对于各提取区域的信息分配1并对于各非提取区域的信息分配0，来二值化所提取的图像41，从而生成手写图像掩模数据42。
通过使用这些掩模数据，提取与掩模数据中具有分配了值1的信息的区域相对应的图像。
图10示出用于根据插图图像的数字图像数据生成插图图像掩模数据的示例处理(图4的步骤S107)。
图10的数字图像数据44是用户所选择的插图图像的数字图像数据。从程序存储器4读出数字图像数据44。基于数字图像数据44的各像素的亮度数据是否是与透明信息相对应的预定值，进行关于各像素是否对应于透明信息的判断。
如果感兴趣的像素对应于透明信息，则将与感兴趣的像素相对应的信息设置为0；反之，如果感兴趣的像素不对应于透明信息，则将与感兴趣的像素相对应的信息设置成1。这样进行二值化以生成插图图像掩模数据45。
将插图图像掩模数据45放大或缩小成手写图像区域的大小。可选地，当在图4的步骤S103中切出输入区域图像时，可以将输入区域图像放大或缩小成插图图像掩模数据45的大小。
例如，如图11A和图11B中的例子所示，为了减少输入区域图像和插图图像掩模数据45之间的边界不一致，在用于生成插图图像掩模数据45的处理中，可以进行用于收缩插图图像掩模数据45的处理。
图11A和图11B示出用于收缩插图图像掩模数据的处理。
参考图11B，通过放大使用插图图像掩模数据45从输入区域图像40所提取的插图图像，获得图像50。
在输入区域图像40中，参考图像和插图图像之间的边界附近的像素包含关于参考图像和插图图像两者的信息。因此，根据误差程度，这些图像之间的区别变得模糊，或者在这些图像之间可能发生边界不一致。另外，如果在打印手写薄片期间发生渗墨或者这些图像的分辨率相互不同，则这些图像之间的边界可能膨胀或缩小，从而使得这些图像之间的区别变得模糊。在这种情况下，如图像50一样，难以适当地提取插图图像。
因此，如图11A所示，收缩插图图像掩模数据。具体地，在插图图像掩模数据45中，检查感兴趣的像素的四个相邻像素的信息。如果这四个相邻像素中至少一个像素的信息为0，则将感兴趣的像素的信息设置为0。如果所有这四个相邻像素的信息均为1，则将感兴趣的像素的信息设置为1。通过将此应用于整个插图图像掩模数据45，能够收缩像素的信息为1的区域，即用于提取插图图像的区域。
可选地，可以使用感兴趣的像素的8个相邻像素的信息来进行收缩。通过增加或减少进行收缩的次数，可以调整收缩量。
如上所述，通过收缩插图图像掩模数据，可以收缩要提取的区域。因此，在输入区域图像中，能够降低参考图像和插图图像之间的模糊边界和边界不一致的影响。
图12示出用于通过对手写图像掩模数据和插图图像掩模数据进行合成来生成合成掩模数据的示例处理(图4的步骤S108)。
如果位于手写图像掩模数据42和插图图像掩模数据45这两个掩模数据的相应位置处的像素中的一个的值为1，则将与该相应位置处的这些像素相对应的信息设置为1。如果位于这两个掩模数据的相应位置处的像素的值均为0，则将与该相应位置处的这些像素相对应的信息设置为0。从而，生成合成掩模数据47。
图13示出使用合成掩模数据从输入区域图像提取图像(图4的步骤S109)并对所提取的图像和背景图像进行合成(图4的步骤S110)的示例处理。
首先，使用合成掩模数据47从输入区域图像40中提取图像。
具体地，如果在合成掩模数据47中，位于与输入区域图像40中感兴趣的像素的位置相对应的位置处的像素的值为1，则将感兴趣的像素确定为输入区域图像40的像素信息；反之，如果上述合成掩模数据47中的像素的值为0，则将输入区域图像40中感兴趣的像素确定为输入区域图像40的透明信息。因此，可以从输入区域图像40中提取手写和插图图像48。
然后，对手写和插图图像48与背景图像38进行合成以形成合成结果图像49。
图13的处理包括使用通过对手写图像掩模数据42和插图图像掩模数据45进行合成所形成的合成掩模数据47。可选地，可以分别使用手写图像掩模数据42和插图图像掩模数据45来进行提取。
尽管在图13中，在提取手写和插图图像48之后进行与背景图像38的合成，但是可以通过下面的处理进行该合成。
也就是说，为了使用合成掩模数据47从输入区域图像40提取图像，如果合成掩模数据47中感兴趣的像素的值为1，则使用输入区域图像40中的相应像素。另一方面，如果合成掩模数据47中感兴趣的像素的值为0，则使用背景图像38中的相应像素。该处理同样使得可以形成合成结果图像49。
在上述本典型实施例中，在填充手写薄片时，用户可以在检查要合成的图像之间，即背景图像、插图图像和要输入的手写图像之间的位置关系时绘制手写图像。
在本典型实施例中，如参考图10所述，与用于提取手写图像的掩模数据分开，根据插图图像的数字图像数据生成用于提取插图图像的掩模数据。因此，无论在插图图像中所使用的颜色如何，都可以从输入区域图像正确提取插图图像。
因此，即使当插图图像中所使用的颜色的范围与参考图像中所使用的颜色的范围重叠时，也可以提取插图图像。
因此，本发明的各方面提供一种图像处理设备，该图像处理设备能够允许用户在检查背景图像和固定图像之间的位置关系时在手写薄片中输入手写的文本和绘图，并且能够从手写薄片的图像正确提取与固定图像相对应的区域的图像，而不管固定图像的颜色如何。
代替生成如在本典型实施例中所述的插图图像掩模数据，可以预先将与插图图像相对应的插图图像掩模数据存储在程序存储器4中。这可以消除对于进行用于根据插图图像的数字图像数据生成用于提取插图图像的插图图像掩模数据的处理(图4的步骤S107)的需求。因此，由于变得可以不必在插图图像的像素数据中保持透明信息，因而可以扩展插图图像中可使用的颜色的范围。
尽管在本典型实施例中，作为固定图像的例子说明了插图图像，但是本发明不局限于此。可以使用任何固定图像，只要预先生成该固定图像。固定图像的例子不仅可以包括插图图像，而且还可包括文本图像。
尽管参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有的修改、等同结构和功能。

Claims (9)

1.一种图像处理设备，其输出通过对背景图像和从通过读取记录薄片所获得的图像中提取的区域进行合成而形成的图像，所述图像处理设备包括：
打印单元，用于在记录薄片上打印图像；
读取单元，用于读取记录薄片；
转换单元，用于将所述背景图像转换成参考图像，所述参考图像的内容与所述背景图像的内容相同，但是所述参考图像的亮度比所述背景图像的亮度高；
打印控制单元，用于使所述打印单元将第一图像作为用户要进行写入的输入区域打印在记录薄片上，所述第一图像是通过将固定图像叠加在由所述转换单元获得的所述参考图像上而形成的合成图像；
提取单元，用于从第二图像中提取亮度低于预定阈值的区域的图像，所述第二图像对应于当所述读取单元读取具有进行了写入的所述输入区域的记录薄片时获得的图像中所包含的所述输入区域；
获取单元，用于获取掩模数据，所述掩模数据用于提取与所述固定图像相对应的区域的图像；以及
输出单元，用于输出通过将基于所述提取单元和由所述获取单元获得的所述掩模数据从所述第二图像中提取的图像叠加在所述背景图像上而形成的合成图像。
2.根据权利要求1所述的图像处理设备，其特征在于，所述提取单元生成第二掩模数据，并且使用所述第二掩模数据提取图像，所述第二掩模数据用于从所述第二图像中提取亮度低于所述预定阈值的区域的图像。
3.根据权利要求2所述的图像处理设备，其特征在于，还包括第二提取单元，所述第二提取单元用于使用通过对由所述获取单元获得的所述掩模数据和所述第二掩模数据进行合成而形成的掩模数据，从所述第二图像中提取图像，
其中，所述输出单元输出通过将由所述第二提取单元提取的图像叠加在所述背景图像上而形成的合成图像。
4.根据权利要求1所述的图像处理设备，其特征在于，还包括生成单元，所述生成单元用于基于所述固定图像的像素数据是否是透明信息，生成所述掩模数据，
其中，所述获取单元获取由所述生成单元生成的所述掩模数据。
5.根据权利要求1所述的图像处理设备，其特征在于，还包括用于存储所述固定图像的存储器，
其中，所述打印控制单元使所述打印单元打印所述第一图像，所述第一图像是通过将存储在所述存储器中的所述固定图像叠加在所述参考图像上而形成的合成图像。
6.根据权利要求5所述的图像处理设备，其特征在于，所述存储器存储所述固定图像和用于提取与所述固定图像相对应的区域的图像的所述掩模数据，并且所述获取单元获取存储在所述存储器中的所述掩模数据。
7.根据权利要求1所述的图像处理设备，其特征在于，所述打印控制单元使所述打印单元在记录薄片上打印位置基准标记，并且所述提取单元从所述第二图像中提取图像，其中，基于当所述读取单元读取记录薄片时获得的图像中所包含的所述位置基准标记切出所述第二图像。
8.根据权利要求1所述的图像处理设备，其特征在于，所述输出单元向所述打印单元输出图像，以使所述打印单元打印所述图像。
9.一种图像处理方法，用于输出通过对背景图像和从通过读取记录薄片所获得的图像中提取的区域进行合成而形成的图像，所述图像处理方法包括：
将所述背景图像转换成参考图像，所述参考图像的内容与所述背景图像的内容相同，但是所述参考图像的亮度比所述背景图像的亮度高；
向打印装置输出第一图像，所述第一图像是通过将固定图像叠加在所述参考图像上而形成的合成图像；
使所述打印装置将所述第一图像作为用户要进行写入的输入区域打印在记录薄片上；
获取用于提取与所述固定图像相对应的区域的图像的掩模数据；以及
输出通过将如下图像叠加在所述背景图像上而形成的合成图像：亮度低于预定阈值且包括在与当读取装置读取具有进行了写入的所述输入区域的记录薄片时所获得的图像中所包含的所述输入区域相对应的第二图像中的区域的图像；以及基于所述掩模数据从所述第二图像中提取的图像。
CN2009101469650A 2008-06-06 2009-06-05 图像处理设备和图像处理方法 Expired - Fee Related CN101600038B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008-149363 2008-06-06
JP2008149363 2008-06-06
JP2008149363A JP5058887B2 (ja) 2008-06-06 2008-06-06 画像処理装置、画像処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
CN101600038A true CN101600038A (zh) 2009-12-09
CN101600038B CN101600038B (zh) 2013-02-13

Family

ID=40966563

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009101469650A Expired - Fee Related CN101600038B (zh) 2008-06-06 2009-06-05 图像处理设备和图像处理方法

Country Status (5)

Country Link
US (1) US8363260B2 (zh)
EP (1) EP2131566B1 (zh)
JP (1) JP5058887B2 (zh)
KR (1) KR101014673B1 (zh)
CN (1) CN101600038B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102164218A (zh) * 2010-02-12 2011-08-24 株式会社东芝 图像处理装置、图像形成装置以及图像处理方法
CN102194136A (zh) * 2010-03-17 2011-09-21 精工爱普生株式会社 信息识别系统及其控制方法
CN102411458A (zh) * 2011-08-15 2012-04-11 留越 一种纸面笔迹信息化处理的方法及系统
CN103223792A (zh) * 2012-01-25 2013-07-31 精工爱普生株式会社 图像处理装置、印刷装置及图像处理方法
CN106339997A (zh) * 2015-07-09 2017-01-18 株式会社理光 图像融合方法、设备和系统
CN107093199A (zh) * 2017-03-29 2017-08-25 阿里巴巴集团控股有限公司 用于生成线索图的方法及装置
CN108537860A (zh) * 2017-03-03 2018-09-14 佳能株式会社 图像生成装置、控制方法和计算机可读存储介质

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5014284B2 (ja) * 2008-08-08 2012-08-29 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP5075054B2 (ja) * 2008-08-08 2012-11-14 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
FR2947082B1 (fr) * 2009-06-22 2014-12-12 St Ericsson France Sas Procede et dispositif de traitement d'une image numerique pour eclaircir ladite image.
JP5540770B2 (ja) * 2009-07-30 2014-07-02 株式会社リコー 画像処理装置、画像処理方法及び画像処理プログラム
JP5451313B2 (ja) * 2009-10-27 2014-03-26 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP2015103919A (ja) * 2013-11-22 2015-06-04 キヤノン株式会社 情報処理装置、システム、方法およびプログラム
JP2022159844A (ja) * 2021-04-05 2022-10-18 キヤノン株式会社 画像形成装置、その制御方法、及びプログラム

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04122991A (ja) * 1990-09-14 1992-04-23 Hitachi Ltd 画像と文字の合成方法
JPH05334413A (ja) * 1991-08-15 1993-12-17 Fujitsu Ltd マスクパターン作成システム
JPH08204874A (ja) * 1995-01-30 1996-08-09 Oki Electric Ind Co Ltd ファクシミリによる帳票処理システム
US6005972A (en) * 1996-11-19 1999-12-21 Eastman Kodak Company Method for adding personalized text and/or graphics to composite digital image products
JP2000295565A (ja) * 1999-04-05 2000-10-20 Olympus Optical Co Ltd 画像形成装置
US7606819B2 (en) * 2001-10-15 2009-10-20 Maya-Systems Inc. Multi-dimensional locating system and method
JP3856211B2 (ja) * 2001-12-14 2006-12-13 オムロンエンタテインメント株式会社 画像印刷装置および方法、プログラム
JP4203808B2 (ja) * 2003-10-08 2009-01-07 富士フイルム株式会社 画像処理装置
US8023145B2 (en) * 2004-02-27 2011-09-20 Seiko Epson Corporation Image processing system and image processing method
US20050213174A1 (en) * 2004-02-27 2005-09-29 Seiko Epson Corporation Image processing system and image processing method
JP2006023798A (ja) * 2004-07-06 2006-01-26 Fuji Photo Film Co Ltd 画像データ処理装置および方法，ならびに画像データ処理プログラム
JP4417292B2 (ja) * 2005-05-25 2010-02-17 ソフトバンクモバイル株式会社 オブジェクト出力方法及び情報処理装置
JP4683628B2 (ja) * 2005-06-24 2011-05-18 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
US8194277B2 (en) * 2005-06-20 2012-06-05 Canon Kabushiki Kaisha Image combining apparatus, and control method and program therefor
JP2007013235A (ja) * 2005-06-28 2007-01-18 Canon Inc 画像合成装置、画像処理装置の制御方法およびプログラム
JP4926589B2 (ja) * 2005-09-30 2012-05-09 キヤノン株式会社 画像合成装置、画像合成方法、およびプログラム
JP4587180B2 (ja) * 2005-09-30 2010-11-24 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
US7769245B2 (en) * 2005-09-30 2010-08-03 Canon Kabushiki Kaisha Image combining apparatus and control method for the same
JP4757131B2 (ja) 2006-07-24 2011-08-24 キヤノン株式会社 画像合成装置、画像合成方法、およびプログラム
JP2008103987A (ja) * 2006-10-19 2008-05-01 Murata Mach Ltd 画像処理装置
US8625113B2 (en) * 2010-09-24 2014-01-07 Ricoh Company Ltd System and method for distributed optical character recognition processing

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102164218A (zh) * 2010-02-12 2011-08-24 株式会社东芝 图像处理装置、图像形成装置以及图像处理方法
CN102194136A (zh) * 2010-03-17 2011-09-21 精工爱普生株式会社 信息识别系统及其控制方法
CN102194136B (zh) * 2010-03-17 2016-02-03 精工爱普生株式会社 信息识别系统及其控制方法
CN102411458A (zh) * 2011-08-15 2012-04-11 留越 一种纸面笔迹信息化处理的方法及系统
CN103223792A (zh) * 2012-01-25 2013-07-31 精工爱普生株式会社 图像处理装置、印刷装置及图像处理方法
CN103223792B (zh) * 2012-01-25 2016-03-02 精工爱普生株式会社 图像处理装置、印刷装置及图像处理方法
CN106339997A (zh) * 2015-07-09 2017-01-18 株式会社理光 图像融合方法、设备和系统
CN106339997B (zh) * 2015-07-09 2019-08-09 株式会社理光 图像融合方法、设备和系统
CN108537860A (zh) * 2017-03-03 2018-09-14 佳能株式会社 图像生成装置、控制方法和计算机可读存储介质
CN107093199A (zh) * 2017-03-29 2017-08-25 阿里巴巴集团控股有限公司 用于生成线索图的方法及装置

Also Published As

Publication number Publication date
KR20090127226A (ko) 2009-12-10
JP2009296439A (ja) 2009-12-17
JP5058887B2 (ja) 2012-10-24
EP2131566A3 (en) 2010-09-01
KR101014673B1 (ko) 2011-02-16
US8363260B2 (en) 2013-01-29
EP2131566B1 (en) 2013-05-08
EP2131566A2 (en) 2009-12-09
US20090303544A1 (en) 2009-12-10
CN101600038B (zh) 2013-02-13

Similar Documents

Publication Publication Date Title
CN101600038B (zh) 图像处理设备和图像处理方法
US8782506B2 (en) Method and apparatus for creating album, and recording medium
JP5014284B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP4344925B2 (ja) 画像処理装置、画像処理方法およびプリントシステム
RU2369034C2 (ru) Устройство комбинирования изображений и способ и программа управления им
US8169652B2 (en) Album creating system, album creating method and creating program with image layout characteristics
US8041149B2 (en) Image processing apparatus, and control method and program of the same
WO2006013956A1 (ja) 画像処理システム及び画像処理方法
KR100668267B1 (ko) 화상 처리 장치, 화상 처리 방법 및 화상 처리 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체
US20040257625A1 (en) Apparatus for, method of, and system for image processing
JP4926589B2 (ja) 画像合成装置、画像合成方法、およびプログラム
JP4948069B2 (ja) 画像処理装置、画像処理方法、およびプログラム
US7609425B2 (en) Image data processing apparatus, method, storage medium and program
JP3970465B2 (ja) 画像出力方法および装置並びに記録媒体
JP4710672B2 (ja) 文字色判別装置、文字色判別方法、およびコンピュータプログラム
JP4690676B2 (ja) 画像処理システム、画像処理方法及び画像処理プログラム
JP4507673B2 (ja) 画像処理装置、画像処理方法、およびプログラム
CN100511267C (zh) 图文影像处理装置及其影像处理方法
JP2006094466A (ja) 画像処理システム及び画像処理方法
JP2004312487A (ja) 画像記録装置、画像記録方法および記憶媒体
JP4582247B2 (ja) 画像処理システム、画像処理方法及び画像処理プログラム
JP2006094385A (ja) 画像処理システム及び画像処理方法
JP2004114485A (ja) 印刷装置
JP2021149882A (ja) 画像処理システム
US20030103246A1 (en) System and method for providing unobtrusive human visible information on a print

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130213

Termination date: 20200605