CN101163188B - 图像处理装置和方法、图像读取装置和图像形成装置 - Google Patents

图像处理装置和方法、图像读取装置和图像形成装置 Download PDF

Info

Publication number
CN101163188B
CN101163188B CN2007101437788A CN200710143778A CN101163188B CN 101163188 B CN101163188 B CN 101163188B CN 2007101437788 A CN2007101437788 A CN 2007101437788A CN 200710143778 A CN200710143778 A CN 200710143778A CN 101163188 B CN101163188 B CN 101163188B
Authority
CN
China
Prior art keywords
image
ruling
unit
character
situation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2007101437788A
Other languages
English (en)
Other versions
CN101163188A (zh
Inventor
小西阳介
太平雅和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of CN101163188A publication Critical patent/CN101163188A/zh
Application granted granted Critical
Publication of CN101163188B publication Critical patent/CN101163188B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/41Analysis of document content
    • G06V30/412Layout analysis of documents structured with printed lines or input boxes, e.g. business forms or tables
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/18Extraction of features or characteristics of the image
    • G06V30/18162Extraction of features or characteristics of the image related to a structural representation of the pattern
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/41Analysis of document content
    • G06V30/414Extracting the geometrical structure, e.g. layout tree; Block segmentation, e.g. bounding boxes for graphics or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/11Technique with transformation invariance effect
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Storing Facsimile Image Data (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Image Analysis (AREA)
  • Character Input (AREA)

Abstract

提供一种图像处理装置和方法、图像读取装置和图像形成装置。包括:特征点计算单元,计算输入图像的特征点;特征量计算单元,基于计算出的特征点,对图像的移动、倾斜、旋转等计算不变的特征量;投票处理单元,使用计算出的特征量对预先注册的注册格式进行投票;类似度判定处理单元,使用投票结果判定输入图像和注册格式的类比;写入区域提取单元,在判定为类似的情况下,从输入图像中提取对注册格式进行了写入的区域;以及注册控制单元,控制对图像数据存储单元的注册。

Description

图像处理装置和方法、图像读取装置和图像形成装置
技术领域
本发明涉及具有存储定型格式的图像的部件的图像处理装置、图像读取装置、图像形成装置和图像处理方法。
背景技术
以往,提出了一种归档装置和归档(filing)方法,通过从输入图像中识别字符、字符串框或框等,并基于框信息进行每个框的匹配,从而可以进行稳定的格式识别,减轻用户的处理工序(例如参照特开平8-255236号公报)。
但是,特开平8-255236号公报中记载的归档装置中,在进行归档时,进行对每个注册格式附加文件名或部分图像的切出等,但在保存文件整体的情况下,注册格式等的相同部分也一起被归档,因此存在保存所必须的存储容量增大的问题。
发明内容
本申请鉴于这样的情况而完成,其目的在于提供一种图像处理装置、图像读取装置、图像形成装置和图像处理方法,通过从要存储的图像中单独提取出格线和字符,在提取出的格线的样式为规定样式的情况下,将提取出的字符和规定样式的格线相关联地存储,同时在提取出的格线的样式不是规定样式的情况下,存储提取出的格线,从而可以削减进行帐票等的归档的情况下所必须的存储器容量。
本申请的图像处理装置的特征在于,包括:图像输入单元,输入图像;图像存储单元,存储图像;类比判定单元,对通过所述图像输入单元输入的输入图像和存储在所述图像存储单元中的存储图像的类比进行判定;以及区域提取单元,在判定为所述输入图像和所述存储图像类似的情况下,判定所述输入图像是否是对所述存储图像施加了写入的图像,从所述输入图像中提取包含所述写入的区域,其中,将由所述区域提取单元提取的区域内的图像存储在所述图像存储单元中。
本申请中,判定输入图像是对存储图像施加了写入的图像的情况下,提取包含写入的区域,将提取的区域内的图像存储在图像存储单元中,因此关于仅由字符构成的格式、由字符以及格线构成的格式等任意的格式,使格式相同,并保存被写入了的图像。
本申请的图像处理装置的特征在于,在提取了多个所述区域的情况下,对提取的每个区域,将区域内的图像存储在所述图像存储单元中。
本申请中,由于在提取了多个包含写入区域的情况下,对提取的每个区域,将区域内的图像存储在所述图像存储单元中,因此在将被写入的图像和格式合成后输出的情况下,可以将一部分不输出等,任意地进行编辑。
本申请的图像处理装置的特征在于,将存储在所述图像存储单元中的图像压缩。
本申请中,由于压缩存储的图像,因此能够削减存储器容量。
本申请的图像处理装置的特征在于,将被压缩存储在所述图像存储单元中的图像解压缩,并将被解压缩了的图像合成。
本申请中,由于将被压缩存储的图像解压缩,并将解压缩了的图像合成,因此能够生成用于打印帐票等具有定型格式的文档的数据。
本申请的图像处理装置的特征在于,包括:图像输入单元,输入图像;提取单元,单独提取出在通过该图像输入单元输入的输入图像中包含的格线以及字符;以及判断单元,判断由该提取单元提取出的格线的样式是否为规定样式,其中,在所述判断单元判断为规定样式的情况下,将提取出的字符与所述规定样式的格线相关联地存储在存储单元中,在所述判断单元判断为不是规定样式的情况下,将提取出的格线存储在所述存储单元中。
本申请中,由于单独提取出在输入图像中包含的格线以及字符,在判断为提取出的格线的样式是规定样式的情况下,将提取出的字符与规定样式的格线相关联地存储在存储单元中,因此不会重复存储格线的图像。此外,由于在判断为提取出的格线的样式不是规定样式的情况下,将格线存储在存储单元中,因此存储了的格线的样式可以被用作下次输入图像的情况下的判定基准。
本申请的图像处理装置的特征在于,在判断为提取出的格线的样式不是规定样式的情况下,将提取出的字符与所述格线相关联地存储在所述存储单元中。
在本申请中,即使在提取出的格线不是规定样式的情况下,格线以及字符也被相关联地存储在存储单元中。
本申请的图像处理装置的特征在于,将提取出的格线和字符压缩,将压缩了的格线以及字符存储在所述存储单元中。
在本申请中,由于将提取出的格线和字符压缩,因此能够进一步削减归档所需的存储器容量。特别是,由于通过将格线以及字符单独压缩,从而压缩率提高,因此归档所需的存储器容量被大幅地削减。
本申请的图像处理装置的特征在于,将被压缩存储在所述图像存储单元中的格线和字符解压缩,并将被解压缩了的格线和字符合成。
在本申请中,由于将被压缩存储的格线和字符解压缩,并将被解压缩了的格线和字符合成,因此生成用于打印帐票等的数据。
本申请的图像读取装置的特征在于,包括:图像读取单元,从原稿读取图像;以及所述图像处理装置,其中,由所述图像处理装置处理由所述图像读取单元读取的图像。
在本申请中,可使用扫描器装置等图像读取装置进行图像的存储。
本申请的图像形成装置的特征在于,包括:所述图像处理装置;以及图像形成单元,在片材上形成由该图像处理装置合成了的图像。
在本申请中,由于将被相关联存储的格线和字符合成并形成在片材上,因此能够制作帐票等。
本申请的图像处理方法的特征在于,包括:对输入图像和存储图像的类比进行判定的步骤;在判定为所述输入图像和所述存储图像类似的情况下,判定所述输入图像是否是对所述存储图像施加了写入的图像的步骤;在判定为所述输入图像是在所述存储图像中施加了写入的图像的情况下,从所述输入图像中提取包含所述写入的区域的步骤;以及将提取的区域内的图像存储在存储装置中的步骤。
在本申请中,由于在判定为输入图像是在存储图像中施加了写入的图像的情况下,提取包含写入的区域,将提取的区域内的图像存储在存储装置中,因此关于仅由字符构成的格式、由字符以及格线构成的格式等任意的格式,使格式相同,并保存被写入了的图像。
本申请的图像处理方法的特征在于,包括:单独提取出在输入图像中包含的格线以及字符的步骤;判断取出的格线的样式是否为规定样式的步骤;在判断为规定样式的情况下,将提取出的字符与所述规定样式的格线相关联地存储在存储装置中的步骤;以及在判断为不是规定样式的情况下,将提取出的格线存储在所述存储装置中的步骤。
在本申请中,由于单独提取出在输入图像中包含的格线以及字符,在判断为提取出的格线的样式是规定样式的情况下,将提取出的字符与规定样式的格线相关联地存储在存储装置中,因此不会重复存储格线的图像。此外,由于在判断为提取出的格线的样式不是规定样式的情况下,将格线存储在存储装置中,因此存储了的格线的样式可以被用作输入了下次要存储的图像的情况下的判定基准。
在本申请的情况下,由于在判定为输入图像是在存储图像中施加了写入的图像的情况下,提取包含写入的区域,将提取的区域内的图像存储在存储单元中,因此关于仅由字符构成的格式、由字符以及格线构成的格式等任意的格式,使格式相同,并单独保存被写入了的图像。
本申请的情况下,由于在提取了多个包含写入区域的情况下,对提取的每个区域,将区域内的图像存储在存储单元中,因此在将被写入的图像和格式合成后输出的情况下,可以将一部分不输出等,任意地进行编辑。
本申请的情况下,由于压缩存储的图像,因此能够削减存储器容量。
本申请的情况下,由于将被压缩存储的图像解压缩,并将解压缩了的图像合成,因此能够生成用于打印帐票等具有定型格式的文档的数据,并且能够输出合成了的图像。
本申请的情况下,单独提取出在图像中包含的格线以及字符,在提取出的格线的样式是规定样式的情况下,将提取出的字符与规定样式的格线相关联地存储在存储单元中。从而,不会重复存储格线的图像,因此在对使用张票等定型格式的文档进行归档时,能够削减所需的存储器容量。此外,在提取出的格线的样式不是规定样式的情况下,将格线存储在存储单元中,因此存储了的格线的样式可以被用作输入下次要存储的图像的情况下的判定基准。
在本申请的情况下,即使在提取出的格线不是规定样式的情况下,也可以将格线以及字符相关联地存储在存储单元中。
在本申请的情况下,由于将提取出的格线和字符压缩,因此能够进一步削减归档所需的存储器容量。特别是,由于通过将格线以及字符单独压缩,从而压缩率提高,因此能够大幅地削减归档所需的存储器容量。
在本申请的情况下,由于将被压缩存储的格线和字符解压缩,并将被解压缩了的格线和字符合成,因此可以生成用于打印帐票等的数据。
在本申请的情况下,可使用扫描器装置等图像读取装置进行图像的存储。
在本申请中,由于将被相关联存储的格线和字符合成并形成在片材上,因此能够制作帐票等。
本发明的上述和其它的对象以及特征将会随着附图在下面的详细说明中变得更清楚。
附图说明
图1是说明包括本实施方式的图像处理装置的图像处理系统的内部结构的方框图。
图2是表示文档核对处理单元的内部结构的方框图。
图3是表示特征点计算单元的结构的方框图。
图4是表示滤波处理单元所使用的混合滤波器(filter)的一例的概念图。
图5A和图5B是表示特征点的提取例子的示意图。
图6是表示关注特征点和周边特征点的说明图。
图7A至图7C是说明通过关注特征点P1计算不变量的例子的说明图。
图8A至图8C是说明以关注特征点作为特征点P4的情况下的不变量的计算例子的说明图。
图9A至图9D是说明通过关注特征点P1计算不变量的其它例子的说明图。
图10A至图10D是说明以关注特征点作为特征点P4的情况下的不变量的其它计算例子的说明图。
图11A和图11B是示出表示散列值和注册格式的关联的散列表的例子的概念图。
图12是表示累计投票结果的累计表的一例的概念图。
图13是表示存储注册格式的索引和特征点的坐标的表的一例的概念图。
图14是表示投票结果的一例的曲线图。
图15是说明由文档核对处理单元执行的处理步骤的流程图。
图16是说明写入区域提取处理的步骤的流程图。
图17是说明输入图像和注册格式之间的对应的说明图。
图18A和图18B是表示注册格式的一例的示意图。
图19是表示对每个注册格式决定了要提取的区域的表的一例的概念图。
图20是包括说明本实施方式的图像处理装置的图像处理系统的内部结构的方框图。
图21是表示归档处理单元的内部结构的方框图。
图22A至图22C是表示格线图像和字符图像的提取例子的示意图。
图23A至图23C是表示格线图像和字符图像的提取例子的示意图。
图24A至图24C是表示格线图像和字符图像的提取例子的示意图。
图25是表示格线图像的注册例子的概念图。
图26是表示字符图像的注册例子的概念图。
图27是表示格线图像和字符图像的注册步骤的流程图。
图28是表示安装了执行所述处理的计算机程序的图像处理装置的内部结构的方框图。
具体实施方式
以下,基于附图详细叙述实施方式。
实施方式1.
图1是说明包括本实施方式的图像处理装置的图像处理系统的内部结构的方框图。本实施方式的图像处理系统包括操作面板1、图像输入装置3、图像处理装置4、图像输出装置7。
操作面板1是用于接受用户的操作的接口,包括各种开关、按钮等操作单元以及显示要对用户通知的信息、图像等的显示单元。
图像输入装置3是光学式读取原稿的图像的装置,包括对读取用的原稿照射光的光源、CCD(Charge Coupled Device)这样的图像传感器等。在图像输入装置3中,将来自设置在规定的读取位置上的原稿的反射光像被成像在该图像传感器上,输出RGB(R:Red,G:Green,B:Blue)的模拟电信号。图像输入装置3输出的模拟电信号被输入图像处理装置4。
图像处理装置4将从图像输入装置3输出的模拟电信号变换为数字电信号之后,进行适当的图像处理,并将得到的图像数据输出到图像输出装置7。另外,图像处理装置4的内部结构、动作等在后面详细叙述。
图像输出装置7是基于图像处理装置4输出的图像信号在用纸、OHP胶片等片材上形成图像的装置。因此,图像输出装置7包括使感光体鼓带上规定的电位的带电器、根据从外部接受的图像数据而发出激光从而在感光体鼓上生成静电潜像的激光写入装置、对感光体鼓表面形成的静电潜像提供色粉(toner)并显像的显像器、将形成在感光体鼓表面的色粉像转印到用纸上的转印器等(未图示),通过电子照片方式在用纸上形成用户所希望的图像。另外,除了通过使用激光写入装置的电子照片方式进行图像形成之外,也可以是通过喷墨、热转印方式、升华方式等进行图像形成的结构。
接着,说明图像处理装置4的内部结构。AD变换单元40将从图像输入装置3输入的RGB的模拟信号变换为数字信号。黑斑(shading)校正单元41对从AD变换单元40输出的数字形式的RGB信号实施用于除去由图像输入装置3的照明系统、成像系统、拍摄系统产生的各种失真的处理。被进行了黑斑校正的RGB信号被输出到输入色调校正单元42。
输入色调校正单元42进行基底浓度的除去或对比度等画质调整处理。区域分离处理单元43进行由RGB信号将输入图像中的各像素分离为字符区域、网点区域、照片区域的其中一个的处理。区域分离处理单元43基于分离结果,将表示像素属于哪个区域的区域识别信号输出到后级的黑版生成底色除去单元46、空间滤波处理单元47以及色调再现处理单元49,同时将输入的RGB信号原样输出到后级的文档核对处理单元44。
文档核对处理单元44判定输入的图像(输入图像)是否与预先存储的存储图像(以下称作注册格式)类似,在判定为类似的情况下,判断输入图像是否是对注册格式进行了写入的图像。在判断为输入图像是对注册格式进行了写入的图像的情况下,提取对应于写入的区域,将提取出的区域的图像与注册格式相关联地存储。
颜色校正单元45为了忠实地进行颜色再现而进行以下处理,即除去基于包含不需要吸收分量的CMY色材的分光特性的色浑浊。被进行了颜色校正的RGB信号被输出到后级的黑版生成底色除去单元46。黑版生成底色除去单元46进行从颜色校正后的CMY的三色信号生成黑(K)信号的黑版生成,以及从原来的CMY信号减去通过黑版生成得到的K信号而生成新的CMY信号的处理。通过该处理,CMY的三色信号被变换为CMYK的四色信号。
作为黑版生成处理的一例,有通过骨架黑版(skeleton black)进行黑版生成的方法。在该方法中,如果将骨架曲线的输入输出特性设为y=f(x),将输入的数据设为C、M、Y,将输出的数据设为C’、M’、Y’、K’,将UCR率(UCR:Under Color Removal)设为α(0<α<1),则黑版生成底色除去处理由以下的式子表示。
K’=f{min(C,M,Y)}
C’=C-αK’
M’=M-αK’
Y’=Y-αK’
空间滤波处理单元47基于区域识别信号,通过数字滤波器对由黑版生成底色除去单元46输入的CMYK信号的图像数据进行空间滤波处理,并校正空间频率特性,从而进行处理以防止输出图像的模糊或粒子状恶化。
例如,由区域分离处理单元43分离为字符的区域,特别为了提高黑色字符或彩色字符的再现性,通过空间滤波处理单元47的空间滤波处理中的清晰强调处理提高高频的强调量。同时,色调再现处理单元49中,选择通过适于再现高频率的高分辨率的屏幕(screen)的二值化或多值化。此外,关于由区域分离处理单元43分离为网点区域的区域,在空间滤波处理单元47中,实施用于除去输入网点分量的低通滤波处理。而且,在输出色调校正单元48中进行了将浓度信号等信号变换为彩色图像输出装置的特性值即网点面积率的输出色调校正处理之后,在色调再现处理单元49中进行色调再现处理,即最终将图像分离为像素来进行处理以便能够再现各自的色调。此外,关于由区域分离处理单元43分离为照片的区域,进行通过重视色调再现的屏幕的二值化或多值化。
被实施了所述各处理的图像数据临时被存储在存储单元(未图示)中,在规定的定时被读出并被输出到图像输出装置7。
图2是表示文档核对处理单元44的内部结构的方框图。文档核对处理单元44包括控制单元440、特征点计算单元441、特征量计算单元442、投票处理单元443、类似度判定处理单元444、写入区域提取单元445、注册控制单元446、压缩/解码处理单元477、合成处理单元448。
控制单元440例如为CPU,进行所述硬件的各部分的控制。特征点计算单元441从包含在输入图像中的字符串、格线等中提取连接部分,以连接部分的重心作为特征点进行计算。特征量计算单元442使用由特征点计算单元441计算出的特征点,计算对于旋转、放大、缩小不变的特征量。投票处理单元443使用由特征量计算单元442计算出的特征量对预先注册的注册格式进行投票。类似度判定处理单元444使用投票结果判定输入图像和注册格式的类似度。
写入区域提取单元445在判定为输入图像与注册格式类似的情况下,从输入图像中提取写入注册格式的字符串、图像等。注册控制单元446在输入图像与注册格式类似的情况下,设定与该注册格式相关联的ID,并将提取出的每个区域的图像数据输出到压缩/解码处理单元477。此外,在输入图像不与注册格式类似的情况下,在操作面板1中显示用于促使注册该输入图像作为注册格式的消息。
压缩/解码处理单元477使用MH(Modified Huffman)、MR(ModifiedRead)、MMR(Modified Modified Read)、JPEG(Joint Photographic ExpertsGroup)等方法压缩由写入区域提取单元445提取出的图像数据。MH是如下的编码方式,即按每一行通过霍夫曼码对行中的白游程和黑游程的游程长度(run length)进行编码,在一行的码的最终附加行同步信号EOL。MR是对MH进行了改进的编码方式,为了提高压缩率而利用前一行的相关进行编码。第一行通过MH进行编码,但第二行到第k行利用与前一行的相关进行编码。第K+1行再次通过MH进行编码,重复同样的工作。MMR相当于K=∞的MR,是始终利用与前一行的相关进行编码的编码方式。JPEG中,将图像分割为规定尺寸的块,以该块为单位使用离散余弦变换而变换为空间频率区域位。然后,变换后的数据通过量化而降低信息量之后,通过霍夫曼码进行熵编码。被压缩后的图像数据被存储在图像数据存储单元449中。此外,在输出以被压缩的状态存储在图像数据存储单元449中的图像数据时,压缩/解码处理单元477进行图像数据的解码。合成处理单元448进行将解码后的图像数据合成到注册格式中的处理。
以下,详细说明文档核对处理单元44中的处理内容。图3是表示特征点计算单元441的结构的方框图。特征点计算单元441包括无彩色化处理单元4410、分辨率变换单元4411、滤波处理单元4412、二值化处理单元4413和重心计算单元4414。
无彩色化处理单元4410是用于在输入图像数据为彩色图像的情况下进行无彩色化,从而变换为明度信号或亮度信号的处理单元。例如,通过下述变换式求亮度信号。
Yj=0.30Rj+0.59Gj+0.11Bj
这里,Yj表示各像素的亮度值,Rj、Gj、Bj表示各像素的颜色分量。此外,也可以将RGB信号变换为CIE1976L*a*b*信号(CIE:CommissionInternational de l’Eclairage,L*:明度,a*、b*:色度)而不是该方法。
分辨率变换单元4411是在输入图像数据由图像输入装置3进行光学变倍的情况下,进行再次变倍以便成为规定的分辨率的处理单元。此外,分辨率变换单元4411中,为了减少后级的处理量,也被用作用于使分辨率低于由图像输入装置3等倍时读入的分辨率的分辨率变换。例如,将以600dpi(dot perinch)读入的图像数据变换为300dpi。
滤波处理单元4412是被用于吸收图像输入装置的空间频率特性对于每个机种的不同的处理单元。CCD输出的图像信号中,由于透镜或镜子等光学部件、CCD的受光面的孔径(aperture)数值孔径、传送效率或残像、物理扫描的积分效果和扫描不均等,产生图像的模糊等恶化。滤波处理单元4412进行通过实施适当的滤波处理(强调处理),从而修复MTF的恶化引起的模糊的处理。此外,也被用作抑制后级的处理所不需要的高频分量。即,使用混合滤波器进行强调和平滑处理。
图4是表示滤波器处理单元4412所使用的混合滤波器的一例的概念图。混合滤波器例如具有7×7的大小。扫描被输入的图像的像素,对所有像素进行通过混合滤波器的运算处理。另外,混合滤波器的大小不限定于7×7的大小,也可以是3×3、5×5等大小。此外,滤波系数的数值为一例,不限定于此,根据使用的图像输入装置3的特性等适当设定。
二值化处理单元4413是从无彩色化的图像数据生成适于计算重心的二值图像数据的处理单元。
重心计算单元4414从被二值化了的数据求连接分量的重心,将其作为特征点输出到特征量计算单元442。作为重心的计算方法,可以使用以往方法。即,基于二值图像的二值化信息对各像素进行标示(labeling),确定由用被附加了同一标志的像素连接的连接区域,以确定的连接区域的重心作为特征点来计算。
图5A和图5B是表示特征点的提取例子的示意图。图5A是通过所述方法将“A”的字符确定为连接区域的例子,示出了图中的黑点所表示的点被作为特征点(重心)计算的情况。图5B同样是从“j”的字符提取连出接区域的例子,示出了连接区域被分割为两个区域并确定的情况。在该情况下,由于从各连接区域计算特征点(重心),因此从一个字符计算两个特征点(特征点A、特征点B)。
接着,说明特征量的计算方法。特征量计算单元442从由特征点计算单元441计算的多个特征点计算图像的特征量。此时,将计算出的特征点的任意的一个选择作为关注特征点,从该关注特征点选择距离小的四个特征点作为周边特征点。
图6是表示关注特征点和周边特征点的说明图。图6示出了由特征点计算单元441计算六个特征点P1~P6的情况。此时,特征量计算单元442在将特征点P3选择为关注特征点的情况下,特征点P1、P2、P4、P5被选择作为周边特征点。特征量计算单元442使用选择了的关注特征点(P3)和周边特征点(P1、P2、P4、P5),通过输入图像的倾斜、移动、旋转等计算不变的不变量,并从计算出的不变量计算表示输入图像的特征的特征量。
图7A至图7C是说明关注特征点P1的不变量的计算例子的说明图。使用关注特征点P3和周边特征点P1、P2、P4、P5之间的距离,由H3j=(A3j/B3j)×C/D定义不变量H3j。这里,取j=1、2、3的值,A3j、B3j表示各个特征点之间的距离,C表示标准化的常数,D表示预定的常数。即,计算三个不变量,不变量H31的值为(A31/B31)×C/D(参照图7A),不变量H32的值为(A32/B32)×C/D(参照图7B),不变量H33的值为(A33/B33)×C/D(参照图7C)。这些不变量H3j例如在读取原稿时,即使在原稿旋转、移动、倾斜的情况下,值也不变化,可以在后级的类似判定中高精度地进行图像的类比判定。
图8A至图8C是说明将关注特征点设为特征点P4时的不变量的计算例子的说明图。特征量计算单元442选择特征点P2、P3、P5、P6作为周边特征点。此时,不变量H4j(j=1、2、3)与所述同样,可以通过H4j=(A4j/B4j)×C/D计算。即,不变量H41的值为(A41/B41)×C/D(参照图8A),不变量H42的值为(A42/B42)×C/D(参照图8B),不变量H43的值为(A43/B43)×C/D(参照图8C)。
将其他的特征点P1、P2、P5、P6选择作为关注特征点的情况也同样,特征量计算单元442依次变更关注特征点,计算选择各特征点P1、P2、...、P6时的不变量Hij(i=1、2、...、6:j=1、2、3)。
接着,特征量计算单元442使用由各关注特征点计算出的不变量计算特征量(散列值Hi)。在将关注特征点设为特征点Pi时的散列值Hi表示为Hi=(Hi1×102+Hi2×101+Hi3×100)/E。这里,E是由将余数设为何种程度而决定的常数,例如,在E=10的情况下,余数取0~9的值,这是计算的散列值可取的范围。
作为通过关注特征点计算不变量的方法,例如图9A至图9D所示,也可以由关注特征点P3的周边特征点P1、P2、P4、P5的四点选择四个组合,与上述情况同样,通过H5j=(A5j/B5j)×C/D计算不变量H5j(j=1、2、3、4)。此外,将关注特征点设为P4时也同样,如图10A至图10D所示,也可以由关注特征点P4的周边特征点P2、P3、P5、P6的四点选择四个组合,通过H6j=(Aj/Bj)×C/D计算不变量H6j(j=1、2、3、4)。另外,此时,散列值Hi通过Hi=(Hi1×103+Hi2×102+Hi3×101+Hi4×100)/E计算。
另外,作为特征量的上述散列值为一例,不限定于此,也可以使用其他散列函数。此外,上述中,选择四个作为周边特征点,但不限定于四个。例如,也可以提取六个。在该情况下,也可以从六个特征点提取五个,对于提取五个的六组方法分别从5点提取3点来求不变量,并计算散列值。
作为注册格式存储在图像数据存储单元449中的存储图像与这样计算出的散列值相关联。图11A和图11B是示出表示散列值和注册格式的关联的散列表的例子的概念图。散列表由表示散列值和注册格式的索引的各栏构成。即,如图11A所示,对应于表示注册格式的索引,注册表示图像中的位置的点索引(point index)和不变量。为了判定图像的类似度,预先将要核对的图像、文档图像等注册在散列表中。另外,如图11B所示,在散列值相等的情况下,(H1=H5),可以将散列表12b的两个条目集中为一个。
投票处理单元443基于特征量计算单元442计算出的散列值(特征量)对散列表进行检索,并对注册了的索引的原稿进行投票。此时,存储输入图像的哪个特征点对哪个注册格式的哪个特征点投票了。图12是表示用于累计投票结果的累计表的一例的概念图。在图12所示的例子中,判定为对输入图像的特征点P1求出的特征量(散列值)与注册的注册格式ID1的特征点f1的特征量一致。对于输入图像的其他的特征点P2~P7也同样。此外,事先存储用于识别注册格式的各特征点的索引和该特征点的坐标。图13是表示存储注册格式的索引和特征点的坐标的表的一例的概念图。
图14是表示投票结果的一例的曲线图。横轴表示注册格式的种类,纵轴表示投票数。图14所示的例子示出了对三种注册格式(“N1”~“N3”)进行了投票的情况。对投票累加的投票结果被输出到类似度判定处理单元444。
类似度判定处理单元444基于从投票处理单元443输入的投票结果,判定图像的类似度,并将判定结果通知给控制单元440。类似度判定处理单元444将从投票处理单元443输入的投票数(得票数)和预定的阈值进行比较,在投票数为阈值以上的情况下,判定为输入图像与注册格式类似。类似度判定处理单元444在从投票处理单元443输入的投票数小于阈值的情况下,判定为没有类似的原稿。并将该结果通知给控制单元440。
另外,上述判定方法为一例,作为其它的方法,例如,也可以在得票数除以每个原稿的最大得票数(对每个原稿求出的特征点的数等)并标准化后,进行类比判定。
接着,说明由图像输入装置3读入帐票等具有定型格式的原稿的图像,由文档核对处理单元44对读入的图像进行处理时的具体处理步骤。图15是说明由文档核对处理单元44执行的处理步骤的流程图。文档核对处理单元44首先执行计算输入图像的特征点的特征点计算处理(步骤S11)。如前所述,将输入图像二值化之后,基于二值化信息对各像素进行标示,确定被附加了同一标记的像素连接的连接区域,以确定的连接区域的重心作为特征点计算。
接着,文档核对处理单元44基于计算出的特征点进行计算输入图像的特征量的特征量计算处理(步骤S12)。此时,文档核对处理单元44的特征量计算单元442选择计算出的特征点中的一个作为关注特征点,并使用关注特征点和周边特征点,通过输入图像的移动、旋转等计算不变的不变量,并从计算出的不变量计算输入图像的特征量。
接着,文档核对处理单元44基于作为特征量计算单元442计算出的特征点的散列值,检索如图12所示的散列表,进行对注册的索引的注册格式投票的投票处理(步骤S13)。
接着,文档核对处理单元44基于步骤S13中的投票结果进行判定输入图像和注册格式的类似度的类似度判定处理(步骤S14),判定输入图像是否与注册格式类似(步骤S15)。即,将注册在散列表中的各注册格式的得票数和预定的阈值进行比较,在投票数为阈值以上的情况下,判定输入图像和注册格式类似,在没有具有阈值以上的得票数的注册格式的情况下,判定为输入图像不与注册格式类似。
在判断为输入图像与注册格式类似的情况下(S15:是),文档核对处理单元44进行提取对注册格式进行了写入的区域的写入区域提取处理(步骤S16)。后面详细叙述写入区域提取处理的细节。
然后,对通过写入区域提取处理判定为有写入的区域分别实施压缩处理(步骤S17),并与表示和注册格式的关联的表(form)ID一同保存在图像数据存储单元449中(步骤S18)。此外,在判断为输入图像与注册格式不类似的情况下(S15:否),在操作面板1中显示注册格式的消息(步骤S19)。
图16是说明写入区域提取处理的步骤的流程图。写入区域提取单元445将读入的输入图像的坐标系变换为注册格式的坐标系(步骤S21)。因此,首先将在步骤S11中对输入图像计算出的特征点的坐标和被判定为类似的注册格式中的特征点的坐标进行对应。图17是说明输入图像和注册格式之间的对应的说明图。示出了对注册格式注册了四个特征点的坐标(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4),这四个特征点的坐标与对输入图像计算出的四个特征点的坐标(x1’,y1’)、(x2’,y2’)、(x3’,y3’)、(x4’,y4’)分别对应的情况。
将使用注册格式的特征点的坐标生成的矩阵设为Pin,将使用输入图像的特征点的坐标生成的矩阵设为Pout,并将两个矩阵Pin、Pout之间的变换矩阵设为A的情况下,注册格式上的坐标和输入图像上的坐标之间成立以下的关系式。
[算式1]
Pout=Pin×A
其中
Pin = x 1 y 1 1 x 2 y 2 1 x 3 y 3 1 x 4 y 4 1 , Pout = x 1 &prime; y 1 &prime; 1 x 2 &prime; y 2 &prime; 1 x 3 &prime; y 3 &prime; 1 x 4 &prime; y 4 &prime; 1 , A = a b c d e f g h i
由于矩阵Pin不是正方矩阵,所以在两边乘以Pin的转置矩阵PinT,进而乘以PinTPin的逆矩阵,从而可以求变换矩阵A。
[算式2]
A=(PinTPin)-1PinTPout
输入图像上的任意的坐标(x’,y’)和注册格式上的坐标(x,y)之间成立以下的关系式。
[算式3]
(x′,y′,1)=(x,y,1)×A
使用变换矩阵A的坐标变换被用于从输入图像求要提取的区域。例如,说明从使用注册格式生成的帐票的图像中提取区域的情况。图18A和图18B是表示注册格式的一例的示意图。图18A所示的注册格式具有日期栏、姓名栏、住址栏、电话号码栏、填写事项栏。在使用该注册格式生成帐票的情况下,在日期栏、姓名栏、住址栏、电话号码栏、填写事项栏中记录了字符串。另外,被写入帐票的字符串可以是由人手写入的,也可以是通过计算机等电子记录的。
在将各栏中,例如,姓名栏、住址栏、填写事项栏中记录的字符串作为图像提取的情况下,提取附加了图18B的填补的矩形区域。因此,对每个注册格式存储确定各矩形区域的坐标值。例如,在将姓名栏的四角的坐标设为(x11,y11)、(x12,y11)、(x11,y12)、(x12,y12)的情况下,存储表示矩形区域的对角的两个坐标(x11,y11)和(x12,y12)。对于住所栏、填写事项栏也同样。图19是表示对每个注册格式确定要提取的区域的表的一例的概念图。在该表中,与表示注册格式的索引对应存储用于决定要提取的区域的两个对角坐标和项目名。
在使用变换矩阵A的逆矩阵将输入图像的坐标系变换为注册格式的坐标系之后,对每个区域计算输入图像和注册格式之间的差分(步骤S22)。此时,也考虑读入原稿时的像素值的再现性等,图像数据以256色调表示的情况下,在像素值为5~10左右的差时,视为相同来取差分。
接着,对注册格式的区域的像素数计算判定为相同的像素数的比率(步骤S23),判断该比率是否比阈值THwr(例如,0.99)小(步骤S24)。在判断为比阈值THwr小的情况下(步骤S24:是),判定为有写入(步骤S25),在判断为阈值THwr以上的情况下(S24:否),判定为无写入(步骤S26)。
接着,判断是否结束了提取的全部区域的处理(步骤S27),在判定为未结束的情况下(S27:否),将处理返回步骤S22。此外,在判断为结束了提取的全部区域的处理(步骤S27:是),结束本流程图的处理。
在这样利用存储在图像数据存储单元449中的图像数据的情况下,用户首先选择作为对象的字符串的图像数据。此外,也可以将字符串的图像数据和关键字对应,以缩略图显示或依次显示由关键字检索的结果,并从其中选择。字符串的图像数据由于通过表ID与注册格式相关联,所以对应的注册格式被读出,基于每个区域的坐标位置合成图像。此时,也可以对某一区域(例如,姓名栏)进行不输出等编辑处理。编辑处理利用操作面板1,例如设置编辑模式,在显示单元中显示进行处理的内容,触摸面板等来进行选择即可。
实施方式2.
在实施方式1中,首先判定输入图像和存储图像(注册格式)的类比,在类似的情况下提取必要的区域,但从输入图像首先提取用于判定类比的区域,并判定提取的区域是否与注册格式类似也可以。在本实施方式中,说明读取包含字符串以及格线的帐票的图像,并从读入的图像中提取格线,判定提取出的格线和预先存储的定型的格式(以下称为定型格式)是否类似。
图20是说明包括本实施方式的图像处理装置的图像处理系统的内部结构的方框图。实施方式2的图像处理系统包括操作面板1、图像输入装置3、图像处理装置5、图像输出装置7。
操作面板1是用于接受用户的操作的接口,包括各种开关、按钮等操作单元以及显示要对用户通知的信息、图像等的显示单元。
图像输入装置3是光学读取原稿的图像的装置,包括对读取用的原稿照射光的光源、CCD(Charge Coupled Device)这样的图像传感器等。在图像输入装置3中,将来自设置在规定的读取位置上的原稿的反射光像被成像在该图像传感器上,输出RGB(R:Red,G:Green,B:Blue)的模拟电信号。图像输入装置3输出的模拟电信号被输入图像处理装置5。本实施方式中,作为原稿,设置帐票。
图像处理装置5将从图像输入装置3输出的模拟电信号变换为数字电信号之后,进行适当的图像处理,并将得到的图像数据输出到图像输出装置7。另外,图像处理装置5的内部结构、动作等在后面详细叙述。
图像输出装置7是基于图像处理装置5输出的图像信号在用纸、OHP胶片等片材上形成图像的装置。因此,图像输出装置7包括使感光体鼓带上规定的电位的带电器、根据从外部接受的图像数据而发出激光从而在感光体鼓上生成静电潜像的激光写入装置、对感光体鼓表面形成的静电潜像提供色粉并显像的显像器、将形成在感光体鼓表面的色粉像转印到用纸上的转印器等(未图示),通过电子照片方式在用纸上形成用户所希望的图像。另外,除了通过使用激光写入装置的电子照片方式进行图像形成之外,也可以是通过喷墨、热转印方式、升华方式等进行图像形成的结构。
接着,说明图像处理装置5的内部结构。AD变换单元51将从图像输入装置3输入的RGB的模拟信号变换为数字信号。黑斑校正单元52对从AD变换单元51输出的数字形式的RGB信号实施用于除去由图像输入装置3的照明系统、成像系统、拍摄系统产生的各种失真的处理。被进行了黑斑校正的RGB信号被输出到归档处理单元50和原稿种类判定单元53。
在归档处理单元50中,从输入图像进行格线和字符的提取,将提取出的格线和字符相关联地存储。此时,提取出的格线为已经注册了的定型格式时,不重新存储提取出的格线,而与识别该定型格式的识别符(以下设为表ID)相关联地存储字符图像。此外,在未注册提取出的格线的格式的情况下,在对该格线的格式赋予新的表ID的基础上,与该表ID相关联地存储字符图像。
原稿种类判定单元53由黑斑校正单元52除去各种失真,将被进行了彩色平衡的调整的RGB(RGB的反射率信号)变换为浓度信号等彩色图像处理装置中采用的图像处理系统容易处理的信号,同时进行原稿种类的判定。原稿种类的判定可以采用公知的技术。
输入色调调整单元54进行基底浓度的除去或对比度等画质调整处理。区域分离处理单元55进行由RGB信号将输入图像中的各像素分离为字符区域、网点区域、照片区域的其中一个的处理。区域分离处理单元55基于分离结果,将表示像素属于哪个区域的区域识别信号输出到后级的黑版生成底色除去单元58、空间滤波处理单元59以及色调再现处理单元61,同时将从输入色调调整单元54输出的输入信号直接输出到后级的颜色校正单元56。
颜色校正单元56为了忠实地进行颜色再现而进行以下处理,即除去基于包含不需要吸收分量的CMY色材的分光特性的色浑浊。被进行了颜色校正的RGB信号被输出到后级的放大缩小处理单元57。放大缩小处理单元57基于由操作面板1输入的信号进行图像的放大或缩小。
黑版生成底色除去单元58进行从颜色校正后的CMY的三色信号生成黑(K)信号的黑版生成,以及从原来的CMY信号减去通过黑版生成得到的K信号而生成新的CMY信号的处理。通过该处理,CMY的三色信号被变换为CMYK的四色信号。
作为黑版生成处理的一例,有通过骨架黑版进行黑版生成的方法。在该方法中,如果将骨架曲线的输入输出特性设为y=f(x),将输入的数据设为C、M、Y,将输出的数据设为C’、M’、Y’、K’,将UCR率(UCR:Under ColorRemoval)设为α(0<α<1),则黑版生成底色除去处理由以下的式子表示。
K’=f{min(C,M,Y)}
C’=C-αK’
M’=M-αK’
Y’=Y-αK’
空间滤波处理单元59基于区域识别信号,通过数字滤波器对由黑版生成底色除去单元58输入的CMYK信号的图像数据进行空间滤波处理,并校正空间频率特性,从而进行处理以防止输出图像的模糊或粒状恶化。
例如,由区域分离处理单元55分离为字符的区域特别为了提高黑色字符或彩色字符的再现性,通过空间滤波处理单元59的空间滤波处理中的清晰强调处理提高高频率的强调量。同时,色调再现处理单元61中,选择通过适于再现高频率的高分辨率的屏幕(screen)的二值化或多值化。此外,关于由区域分离处理单元55分离为网点区域的区域,在空间滤波处理单元59中,实施用于除去输入网点分量的低通滤波处理。而且,在输出色调校正单元60中进行了将浓度信号等信号变换为彩色图像输出装置的特性值即网点面积率的输出色调校正处理之后,在色调再现处理单元61中进行色调再现处理,即最终将图像分离为像素来进行处理以便能够再现各自的色调。此外,关于由区域分离处理单元55分离为照片的区域,进行通过重视色调再现的屏幕的二值化或多值化。
被实施了所述各处理的图像数据临时被存储在存储单元(未图示)中,在规定的定时被读出并被输出到图像输出装置7。
图21是表示归档处理单元50的内部结构的方框图。归档处理单元50包括控制单元500、二值化处理单元501、格线提取单元502、核对处理单元503、字符串提取单元504、注册控制单元505、压缩/解压缩处理单元506、图像数据存储单元507、图像数据合成单元508。
控制单元500例如是CPU,进行所述硬件各部分的动作的控制。
二值化处理单元501基于输入图像生成输入二值图像。首先,将由RGB信号构成的输入图像变换为单色图像。作为该变换,例如可以通过以下的计算式求出。
L=0.299×R+0.587×G+0.114×B
由通过该变换得到的单色图像生成在格线提取单元502以后使用的二值图像。说明二值图像的生成方法的一例。对输入二值图像,将进行二值化处理的一行作为关注行,以某一定数为单位对关注行的各像素进行分割。这里的分割的像素数成为屏蔽尺寸(mask size)。例如,在以128像素为单位分割的情况下,屏蔽尺寸为128像素X128行。求该屏蔽尺寸内的平均值,通过平均值决定二值化处理所使用的阈值,通过比较该阈值和关注行的各像素来进行二值化,并生成二值图像。
在格线提取单元502中,从读取的图像数据中提取格线,生成格线图像。作为格线提取方法,例如可以使用特开平1-214934号公报所记载的方法。该方法将图像数据以一定带宽分割为长方形,在各带取垂直方向的投影。接着,从投影数据中提取被认为是格线的一部分的部分。在对每个带提取了该部分之后,关于某一着眼的候选,从邻接带中搜索出重叠最大的候选,并将其作为同一格线候选连接。然后,关于被连接的候选,重复进行从邻接带中搜索出重叠最大的候选的作业,从而生成被认为是同一格线的连接候选组。这里将这些连接候选组的水平方向的投影定义为部分投影,通过取与带投影直角方向的投影从而决定两端的坐标并得到格线。通过进行将这样得到的格线组合成或统一为一条的处理,从而求出最终的格线组。不仅横格线,而且纵格线也能够同样提取。
核对处理单元503进行输入的格线图像和已经注册的定型格式的核对,在已经注册了的情况下,取得设定在注册定型格式中的表ID,在未注册的情况下,将输入的格线数据设为注册定型表,设定新的表ID。
作为定型格式的核对方法,例如,可以使用特开平8-255236号公报所记载的方法。在该方法中如下进行,首先,在由轮廓提取处理对格线图像进行光栅扫描(raster scan)而检测到追踪开始点之后,从该追踪开始点按顺时针方向或逆时针方向追踪由图形边界构成的封闭曲线。通过这样的封闭曲线追踪而提取的轮廓的信息被作为坐标点串保存。基于提取出的轮廓线数据检测图像的交叉部分和角点等特征点,从点串的组合提取框。然后,计算输入框信息的外接图形。
接着,计算各个框数据的中心坐标数据。例如将框坐标从左下角起设为(x0,y0)、(x1,y1)、(x2,y2)、(x3,y3)时,对角线的交叉点成为(cx,cy)。将上面的左上的坐标和输入图像上的左上的坐标的位置的差分设为dx、dy,校正注册定型格式的框或格线图像的框的中心位置。接着,将框数据分别建立对应。这例如将注册定型格式上的框数据的中心坐标设为tcx、tcy,通过以下的式子求出格线图像上的框数据设为icx、icy的情况下的距离D。
D=(icx-tcx)2+(icy-tcy)2
此外,类似度是在存在对应于注册定型格式上的框对应的框(D<dth,dth为距离的阈值)的情况下进行投票,如果在注册定型格式上对全部框结束了投票则除以框数n。即,通过类似度=对应的框的数/注册帐票上的框数求出。使用该类似度,判断格线图像是否作为定型格式注册了。
字符串提取单元504从输入二值图像和格线图像生成字符图像。作为进行字符串部分的提取的方法,可以使用取输入二值图像和由格线提取单元502提取的格线图像的“异或”的方法。通过取“异或”,不提取输入二值图像和格线图像中相同的格线部分而仅提取字符。
在注册控制单元505中,进行是否将格线图像存储在图像数据存储单元507中的判断和与字符图像的定型格式的关联。在由格线提取单元502提取的格线图像为定型格式的情况下,注册控制单元505判断为不存储提取出的格线图像。此外,由字符串提取单元504提取的字符图像与定型格式相关联,并存储在图像数据存储单元507中。
另一方面,在由格线提取单元502提取出的格线图像不是定型格式的情况下,判断为将提取出的格线图像作为定型格式存储,在对格线图像赋予表ID的基础上存储在图像数据存储单元507中。进而,由字符串提取单元504提取的字符图像与被新作为定型格式存储的格线图像相关联并存储在图像数据存储单元507中。
压缩/解压缩处理单元506进行存储在图像数据存储单元507中的图像数据的压缩、和被压缩存储在图像数据存储单元507中的格线图像、字符图像的解压缩。注册控制单元505在对被判断为存储在图像数据存储单元507中的格线图像、字符图像实施了压缩处理之后,存储在图像数据存储单元507中。作为压缩方式,可举出MH、MR、MMR等。此外,也可以使用分别不同的压缩方式对字符图像和格线图像进行压缩。
被压缩存储的格线图像、字符图像的解压缩实施与上述压缩处理相反的处理。另外,上述中,进行了格线图像、字符图像两者的压缩,也可以压缩格线图像、字符图像的其中一个。
控制单元500进行将分别存储在图像数据存储单元507中的定型格式的格线图像和字符图像读出的控制。例如,在基于存储在图像数据存储单元507中的数据生成帐票的情况下,在操作面板1上显示存储的多个字符图像,使用户选择所希望的字符图像。然后,取得与被选择的字符图像相关联的表ID,并从图像数据存储单元507中读出字符图像和格线图像的数据,将读出的数据输出到后级的图像数据合成单元508。
另外,将字符图像和关键字相对应,对通过关键字检索出的结果进行缩略显示或依次显示,也可以从中选择。
图像数据合成单元508将从图像数据存储单元507中读出的两个图像数据合成,将合成而得到的图像数据(RGB信号)输出到原稿种类判定单元53。被实施了原稿种类判定单元53~色调再现处理单元61中的各处理的图像数据被输出到图像输出装置7,通过在用纸上合成的图像被记录从而进行帐票的生成。
以下,说明本图像处理系统中的处理内容。图22A至图22C、图23A至图23C、图24A至图24C是表示格线图像和字符图像的提取例子的示意图,图25是表示格线图像的注册例子的概念图,图26是表示字符图像的注册例子的概念图。在图22A所示的帐票10的图像通过图像输入装置3被输入的情况下,图像处理装置5的归档处理单元50通过所述方法,从输入图像中提取格线图像11(图22B)和字符图像12(图22C)。提取出的格线图像11在未作为定型格式注册的情况下,在赋予新的表ID的基础上将格线图像11存储在图像数据存储单元507中。图25所示的注册例子示出了对格线图像11赋予“1”的表ID,作为定型格式注册的情况。进而,将从相同的帐票10的图像提取出的字符图像12与赋予格线图像11的表ID相关联地存储在图像数据存储单元507中。在图26所示的注册例子中,示出了通过赋予具有与对格线图像11赋予的表ID相同的值(=1)的关联表ID从而建立关联的情况。
同样,在通过图像输入装置3输入了图23A所示的帐票20的图像的情况下,图像处理装置5的归档处理单元50通过所述方法从输入图像中提取格线图像21(图23B)和字符图像22(图23C)。提取出的格线图像21在未作为定型格式注册的情况下,在赋予新的表ID的基础上将格线图像21存储在图像数据存储单元507中。图25所示的注册例子示出了对格线图像21赋予“2”的表ID,作为定型格式注册的情况。进而,将从相同的帐票20的图像提取出的字符图像22与格线图像21相关联地存储在图像数据存储单元507中。在图26所示的注册例子中,示出了通过赋予具有与对格线图像21赋予的表ID相同的值(=2)的关联表ID从而建立关联的情况。
在通过图像输入装置3输入了图24A所示的帐票30的图像的情况下,图像处理装置5的归档处理单元50通过所述方法从输入图像中提取格线图像31(图24B)和字符图像32(图24C)。格线图像31的格式与表ID为“1”的定型格式相同,因此不赋予新的表ID,取得分配给所述定型格式的表ID。此外,将从相同的帐票30的图像提取出的字符图像32与格线图像31的表ID相关联地存储在图像数据存储单元507中。在图25所示的注册例子中,示出了通过赋予具有与对格线图像31赋予的表ID相同的值(=1)的关联表ID从而建立关联的情况。
以下,说明本图像处理系统中执行的处理步骤。图27是表示格线图像和字符图像的注册步骤的流程图。首先,本图像处理系统的图像输入装置3进行帐票的读取(步骤S31)。图像输入装置3将通过读取帐票而得到的模拟RGB信号(输入图像)输出到图像处理装置5。
被输入图像处理装置5的模拟RGB信号经由AD变换单元51和黑斑校正单元52被输入归档处理单元50。归档处理单元50的二值化处理单元501从输入图像生成二值化图像(步骤S32)。格线提取单元502从由二值化处理单元501生成的二值图像进行格线图像的提取(步骤S33)。
接着,核对处理单元503通过确认存储在图像数据存储单元507中的格线图像,从而核对提取出的格线图像的注册状况(步骤S34),并判断在步骤S33中提取出的格线图像是否已作为定型格式注册(步骤S35)。
在判断为未作为定型格式注册的情况下(S35:否),对格线图像赋予新表ID(步骤S36)。接着,字符串提取单元504通过取输入图像和格线图像的“异或”从而提取输入图像中包含的字符串,并生成字符图像(步骤S37)。
接着,注册控制单元505将赋予新表ID的格线图像存储到图像数据存储单元507,从而将格线图像作为定型格式保存(步骤S38)。此时,格线图像在压缩处理单元506中被压缩之后被存储在图像数据存储单元507。
此外,注册控制单元505通过对字符图像赋予具有与赋予格线图像的表ID相同值的关联表ID,从而将字符图像和表ID建立关联(步骤S39)。然后,由压缩处理单元506对字符图像进行压缩之后保存在图像数据存储单元507中(步骤S40)。
另一方面,在步骤S35中,在判断为提取出的格线图像已作为定型格式注册的情况下(S35:是),取得对该定型格式分配的表ID(步骤S41)。接着,字符串提取单元504通过取输入图像和格线图像的“异或”从而提取输入图像中包含的字符串,并生成字符图像(步骤S42)。
而且,注册控制单元505通过对字符图像赋予具有与赋予格线图像的表ID相同值的关联表ID,从而将字符图像和表ID建立关联(步骤S39),由压缩处理单元506对字符图像进行压缩之后保存在图像数据存储单元507中(步骤S40)。
实施方式3.
在实施方式1和2中,采用由硬件实现各处理的结构,但也可以使计算机执行计算机程序(执行形式程序、中间代码程序、源程序)来实现上述处理。
图28是表示安装了执行所述处理的计算机程序的图像处理装置的内部结构的方框图。图中100是本实施方式的图像处理装置,具体来说,如个人计算机、工作站等。图像处理装置100包括CPU101,CPU101上经由总线102连接有ROM103、RAM104、硬盘105、外部存储单元106、输入单元107、显示单元108、通信端口109等硬件。CPU101按照ROM103中预先存储的控制程序的程序代码控制所述硬件各部分。
RAM104是临时存储所述控制程序或在执行所述处理的计算机程序的执行中生成的各种数据的易失性存储器。硬盘105是具有磁记录介质的存储单元,存储了所述计算机程序的程序代码等。外部存储单元106包括用于从记录了执行所述处理的计算机程序的程序代码的记录介质M中读取程序代码的读取装置。作为记录介质M,可以使用FD(Flexible Disk)、CD-ROM等。由外部存储单元106读取的程序代码被存储在硬盘105中。CPU101将存储在硬盘105中的程序代码载入RAM104上来执行,从而使装置整体具有实现如实施方式1中说明的注册处理的装置的功能,将要注册的格线图像和字符图像相关联地保存在硬盘105中。
输入单元107具有用于从外部取得图像数据的接口的功能。输入单元107上例如连接有彩色扫描装置等。显示单元108具有用于显示处理对象的图像数据、图像处理中的图像数据、图像处理后的图像数据等的界面的功能。显示单元108上连接液晶显示器装置等外部显示装置从而显示图像数据,也可以显示单元108本身具有显示装置并显示图像数据。通信端口109是用于对外部连接打印机150的接口。在由打印机150打印被图像处理后的图像数据时,图像处理装置100基于所述图像数据生成可在打印机150中解码的打印数据,并将生成的打印数据发送到打印机150。
另外,在本实施方式中,假设CPU101执行各种运算,但也可以另外设置进行图像处理相关的运算的专用芯片,通过来自CPU101的指示进行运算。
此外,作为记录所述计算机程序的程序代码的记录介质M,除了所述FD和CD-ROM之外,也可以利用MO、MD、DVD等光盘、硬盘等磁记录介质、IC卡、存储卡、光卡等卡型记录介质、屏蔽ROM、EPROM(ErasableProgrammable Read Only Memory)、EEPROM(Electrically ErasableProgrammable Read Only Memory)、闪存ROM等半导体存储器。此外,也可以采用可连接包含因特网的通信网络的系统结构,从所述网络下载实现所述处理的计算机程序的程序代码。此外,上述计算机代码可以以电子传输具体化的、嵌入载波中的计算机数据信号的形式来实现。
此外,所述计算机程序可以是作为单独的程序、应用程序(utility program)提供的方式,也可以是装入其他的应用程序、实用程序,作为该程序的一部分功能提供的方式。

Claims (7)

1.一种图像处理装置,包括:
图像输入单元,输入图像;
提取单元,特别提取出在通过该图像输入单元输入的输入图像中包含的格线以及字符;以及
判断单元,判断由该提取单元提取出的格线的样式是否为规定样式,
其中,在所述判断单元判断为规定样式的情况下,将提取出的字符与所述规定样式的格线相关联地存储在存储单元中,在判断为不是规定样式的情况下,将提取出的格线存储在所述存储单元中。
2.如权利要求1所述的图像处理装置,其中,在判断为提取出的格线的样式不是规定样式的情况下,将提取出的字符与所述格线相关联地存储在所述存储单元中。
3.如权利要求2所述的图像处理装置,还包括将提取出的格线和字符压缩的压缩单元,
其中,将压缩了的格线以及字符存储在所述存储单元中。
4.如权利要求3所述的图像处理装置,还包括:解压缩单元,将被压缩存储在所述存储单元中的格线以及字符解压缩;以及合成单元,将被解压缩了的格线以及字符合成。
5.一种图像读取装置,包括:
图像读取单元,从原稿读取图像;以及
如权利要求1至权利要求4的任何一项所述的图像处理装置,
其中,由所述图像处理装置处理由所述图像读取单元所读取的图像。
6.一种图像形成装置,包括:
如权利要求4所述的图像处理装置;以及
图像形成单元,在片材上形成由该图像处理装置的合成单元合成了的图像。
7.一种图像处理方法,包括以下步骤:
特别提取出在输入图像中包含的格线以及字符;
判断取出的格线的样式是否为规定样式;
在判断为规定样式的情况下,将提取出的字符与所述规定样式的格线相关联地存储在存储装置中;以及
在判断为不是规定样式的情况下,将提取出的格线存储在所述存储装置中。
CN2007101437788A 2006-08-03 2007-08-02 图像处理装置和方法、图像读取装置和图像形成装置 Expired - Fee Related CN101163188B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2006212348 2006-08-03
JP212348/06 2006-08-03
JP278954/06 2006-10-12
JP2006278954A JP2008059546A (ja) 2006-08-03 2006-10-12 画像処理装置、画像読取装置、画像形成装置、画像処理方法、コンピュータプログラム、及び記録媒体

Publications (2)

Publication Number Publication Date
CN101163188A CN101163188A (zh) 2008-04-16
CN101163188B true CN101163188B (zh) 2010-09-08

Family

ID=39029248

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007101437788A Expired - Fee Related CN101163188B (zh) 2006-08-03 2007-08-02 图像处理装置和方法、图像读取装置和图像形成装置

Country Status (3)

Country Link
US (1) US20080031549A1 (zh)
JP (1) JP2008059546A (zh)
CN (1) CN101163188B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7446914B2 (en) * 2005-03-16 2008-11-04 Kabushiki Kaisha Toshiba Image processing apparatus
JP4538507B2 (ja) * 2008-05-02 2010-09-08 シャープ株式会社 画像照合方法、画像照合装置、画像データ出力処理装置、プログラム及び記憶媒体
JP4760883B2 (ja) 2008-09-25 2011-08-31 富士ゼロックス株式会社 画像処理装置及び画像処理プログラム
JP4927122B2 (ja) * 2009-06-15 2012-05-09 シャープ株式会社 画像処理方法、画像処理装置、画像形成装置、プログラムおよび記録媒体
KR101037624B1 (ko) * 2009-06-19 2011-05-30 (주)실리콘화일 메모리를 사용하지 않고 구현되는 이미지 회전 방법 및 장치
CN101976334B (zh) * 2010-10-26 2014-02-19 广东威创视讯科技股份有限公司 一种抗干扰的触摸点识别方法及装置
JP5821598B2 (ja) * 2011-12-12 2015-11-24 富士ゼロックス株式会社 画像処理装置及びプログラム
KR102103277B1 (ko) * 2013-04-12 2020-04-22 삼성전자주식회사 이미지를 관리하는 방법 및 그 전자 장치
JP6465569B2 (ja) 2014-06-11 2019-02-06 キヤノン株式会社 画像処理方法、および画像処理装置
JP6799354B2 (ja) 2016-10-26 2020-12-16 キヤノン株式会社 画像処理装置、画像処理装置の制御方法、及びプログラム
US10332262B2 (en) * 2017-02-16 2019-06-25 Adobe Inc. Removal of background information from digital images
JP7333759B2 (ja) * 2020-01-29 2023-08-25 エヌ・ティ・ティ・コミュニケーションズ株式会社 画像データ生成システム、画像データ生成方法及びコンピュータプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1190218A (zh) * 1997-02-07 1998-08-12 松下电器产业株式会社 归档装置
US5799115A (en) * 1995-03-16 1998-08-25 Kabushiki Kaisha Toshiba Image filing apparatus and method
CN1230072A (zh) * 1998-01-13 1999-09-29 松下电器产业株式会社 图像信息处理装置及图像信息处理方法
CN1245936A (zh) * 1998-07-17 2000-03-01 松下电器产业株式会社 固定格式文字处理方法与装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5465353A (en) * 1994-04-01 1995-11-07 Ricoh Company, Ltd. Image matching and retrieval by multi-access redundant hashing

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5799115A (en) * 1995-03-16 1998-08-25 Kabushiki Kaisha Toshiba Image filing apparatus and method
CN1190218A (zh) * 1997-02-07 1998-08-12 松下电器产业株式会社 归档装置
CN1230072A (zh) * 1998-01-13 1999-09-29 松下电器产业株式会社 图像信息处理装置及图像信息处理方法
CN1245936A (zh) * 1998-07-17 2000-03-01 松下电器产业株式会社 固定格式文字处理方法与装置

Also Published As

Publication number Publication date
CN101163188A (zh) 2008-04-16
US20080031549A1 (en) 2008-02-07
JP2008059546A (ja) 2008-03-13

Similar Documents

Publication Publication Date Title
CN101163188B (zh) 图像处理装置和方法、图像读取装置和图像形成装置
USRE44982E1 (en) Mixed code, and method and apparatus for generating the same
CN101902549B (zh) 图像处理装置及图像处理方法
CN101526998B (zh) 图像的处理装置及方法、读取装置和数据输出处理装置
JP4604100B2 (ja) 画像処理方法、画像処理装置、画像形成装置、プログラムおよび記憶媒体
JP4538507B2 (ja) 画像照合方法、画像照合装置、画像データ出力処理装置、プログラム及び記憶媒体
US8103108B2 (en) Image processing apparatus, image forming apparatus, image processing system, and image processing method
US8144994B2 (en) Image processing method, image processing apparatus, image reading apparatus, image forming apparatus, and recording medium
CN101320426B (zh) 图像处理装置及方法、图像形成装置、图像处理系统
JP4378413B2 (ja) 画像処理装置、画像形成装置、画像読取装置、画像処理システム、画像処理方法、画像処理プログラムおよびその記録媒体
CN102131038A (zh) 图像压缩装置、压缩图像输出装置以及图像压缩方法
CN101404020B (zh) 图像处理方法和设备、图像形成设备以及图像读取设备
CN101320425B (zh) 图像处理装置及方法、图像形成装置
CN101369314B (zh) 图像处理装置、图像形成装置、图像处理系统和方法
CN101364268B (zh) 图像处理装置和图像处理方法
JP4588771B2 (ja) 画像処理方法、画像処理装置、画像形成装置、プログラム及び記憶媒体
JP2008245147A (ja) 画像処理装置、画像読取装置、画像形成装置、画像処理方法、コンピュータプログラム、及び記録媒体
JP2008252877A (ja) 画像処理方法、画像処理装置、画像読取装置、画像形成装置、コンピュータプログラム及びコンピュータでの読み取りが可能な記録媒体
CN101237514B (zh) 图像处理装置及方法、图像读取和形成装置
Murali et al. Detection Of digital photo image forgery
US20080181534A1 (en) Image processing method, image processing apparatus, image reading apparatus, image forming apparatus and recording medium
CN101354717B (zh) 原稿提取方法和原稿提取装置
JP2008123456A (ja) 画像処理方法、画像処理装置、画像形成装置、コンピュータプログラム及び記録媒体
CN104243768A (zh) 图像处理装置以及图像形成装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100908

Termination date: 20210802

CF01 Termination of patent right due to non-payment of annual fee