CN101149793B - 图像处理方法和装置、原稿读取装置及图像形成装置 - Google Patents
图像处理方法和装置、原稿读取装置及图像形成装置 Download PDFInfo
- Publication number
- CN101149793B CN101149793B CN2007101547824A CN200710154782A CN101149793B CN 101149793 B CN101149793 B CN 101149793B CN 2007101547824 A CN2007101547824 A CN 2007101547824A CN 200710154782 A CN200710154782 A CN 200710154782A CN 101149793 B CN101149793 B CN 101149793B
- Authority
- CN
- China
- Prior art keywords
- image
- original image
- original
- omission
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
- G06V30/41—Analysis of document content
- G06V30/412—Layout analysis of documents structured with printed lines or input boxes, e.g. business forms or tables
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/18—Extraction of features or characteristics of the image
- G06V30/18143—Extracting features based on salient regional features, e.g. scale invariant feature transform [SIFT] keypoints
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Control Or Security For Electrophotography (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
一种图像处理装置,文件核对处理单元基于所输入的原稿图像而计算特征点(例如,重心),从所算出的特征点中选择多个特征点,并基于所选择的特征点而计算散列值。文件核对处理单元基于所算出的特征量,判定原稿图像是否与预先存储的注册格式(注册图像)相似,在判定为相似的情况下,判定在与对于原稿图像的注册图像所确定的部位对应的部位上是否有记载遗漏,并输出判定结果。
Description
技术领域
本申请涉及用于进行所取得的原稿图像是否与预先存储的注册图像相似的判定处理的图像处理方法、图像处理装置、包括该图像处理装置的原稿读取装置及图像形成装置,以及记录了用于实现上述图像处理装置的计算机程序的记录媒体。
背景技术
作为用扫描器读取原稿,判定所读取的原稿图像是否与预先所注册的格式相似的处理,提出了从以OCR方式读取的图像提取关键字(keyword),通过所提取的关键字进行模式匹配(patten matching)的方法,或是将进行判定的原稿限定为有格线的票单式原稿,根据从所读取的原稿中提取的有关格线的信息,进行模式匹配的方法等。
就将用于相似判定的格式进行注册来说,对于用于注册的所输入的输入图像,进行线段提取、字符框提取、字符识别或框提取等的识别处理,从识别结果中提取框数据的中心坐标、字符串框的中心坐标、连结框信息等的信息(例如,特征点)。接着,通过所提取的信息来计算特征量(例如,散列值),生成在表管理上所需的数据(特征量、模型名、为了计算特征量而使用的参数等),注册在散列表中,从而进行格式的注册。
在进行原稿的相似判定的情况下,对于所输入的原稿图像进行识别处理,从识别结果中提取框数据的中心坐标、字符串框的中心坐标、连结框信息等的信息(例如,特征点)。然后,计算对于各个信息的特征量(例如,散列值),使用算出的特征量,对预先注册的散列表的区域进行检索,对每个所检索的区域内的注册票单名进行投票。对所输入的原稿图像的每个特征点重复进行这些处理,将直方图(histogram)最大的模型作为识别结果而计算相似度。在被确认为原稿图像与所注册的格式相似的情况下,对原稿图像赋予识别符并将其保存。已提出了通过这样的处理,自动地进行原稿图像和所注册的格式之间的匹配,从而能够减轻用户的处理步骤的图像(原稿图像)编档装置(参照日本专利第3469345号公报)。
但是,在日本专利第3469345号公报中所记载的装置中,由于用于原稿图像的相似判定的所注册的格式是被确定了格式(框、格线、表示记载项目的字符串等)的原稿,并在原稿的记载栏中未被进行任何记入的原稿,所以从所注册的格式中所提取的特征量(例如,散列值)不包含与记载项目中所记载的事项(例如,字符串、图形、记号等)有关的信息(例如,特征点)。因此,即使是在所输入的原稿图像的记载栏中未被记载必要事项的记载遗漏的原稿图像,也被判定为与所注册的格式相似,存在尽管原稿图像中有记载遗漏,但所输入的原稿图像仍被直接编档的问题。因此,期望高精度地判定原稿图像的记载遗漏。
发明内容
本发明鉴于上述情况而完成,其目的在于,提供图像处理方法、图像处理装置、以及包括该图像处理装置的原稿读取装置及图像形成装置,通过预先确定注册图像的一个或多个部位,在判定为原稿图像与注册图像相似的情况下,判定所取得的原稿图像在与对于所述注册图像所确定的部位对应的部位是否有记载遗漏,并输出判定结果,从而在进行原稿图像的相似判定时,可以高精度地判定原稿图像的记载遗漏。
此外,本发明的其他目的是,提供图像处理方法、图像处理装置、包括该图像处理装置的原稿读取装置及图像形成装置,通过通知被判定为有记载遗漏的原稿图像的该记载遗漏的部位,从而可以容易地判断记载遗漏的部位。
此外,本发明的其他目的是,提供图像处理方法、图像处理装置、包括该图像处理装置的原稿读取装置及图像形成装置,基于进行了衬底除去的原稿图像,判定是否有记载遗漏,从而能够更高精度地判定记载遗漏。
此外,本发明的其他目的是,提供图像处理方法、包括该图像处理装置的原稿读取装置及图像形成装置,通过将包含所取得的原稿图像的关注像素的第1像素块内的各像素的各个像素值,基于包含该像素的第2像素块内的各像素的像素值进行计算,根据算出的所述第1像素块内的各像素的像素值的分布,判定关注像素是否为边缘像素,并基于所判定的边缘像素的多少,判定在所取得的原稿图像中是否有记载遗漏,从而可以高精度地判定原稿图像的记载遗漏而不进行原稿图像和注册图像之间的像素值比较。
此外,本发明的其他目的是,提供图像处理方法、包括该图像处理装置的原稿读取装置及图像形成装置,通过对每个颜色分量计算包含了关注像素的第1像素块内的各像素的像素值及判定关注像素是否为边缘像素,从而能够提高记载遗漏的判定精度。
此外,本发明的其他目的是,提供原稿读取装置,通过包括在被判定为所取得的原稿图像中有记载遗漏的情况下,将记载遗漏的原稿区分排出的排出单元,从而可以区分记载遗漏的原稿和无记载遗漏的原稿。
此外,本发明的其他目的是,提供原稿读取装置,通过将排出单元构成为将记载遗漏的原稿的排出位置移动,从而可以将记载遗漏的原稿与无记载遗漏的原稿容易地区分。
本发明的图像处理方法用于判定所取得的原稿图像有无记载遗漏,其特征在于,该方法包括以下步骤:判定所取得的原稿图像是否与预先存储的注册图像相似;对于所取得的原稿图像进行衬底除去;在被判定为原稿图像与注册图像相似时,判定在与对于所取得的原稿图像的所述注册图像所确定的一个或多个部位对应的判定部位上是否有记载遗漏;以及输出判定结果,所述记载遗漏的判定如下来进行:在判定部位中,计算进行了衬底除去所得到的原稿图像以及注册图像具有的像素值之间的差分,将所算出的差分值与规定的差分阈值进行比较,从而计算像素值大致相同的像素的像素数,计算将所算出的像素数除以判定部位中的注册图像具有的全部像素数所得的比率,将所算出的比率与规定的比率阈值进行比较,在所算出的比率大于比率阈值时,判定为在原稿图像中有记载遗漏,在所算出的比率小于比率阈值时,判定为在原稿图像中没有记载遗漏。
本发明的图像处理方法的特征在于,通知被判定为有记载遗漏的原稿图像的记载遗漏部位。
本发明的图像处理装置用于判定所取得的原稿图像有无记载遗漏,其特征在于,它包括:相似度判定处理单元,判定所取得的原稿图像是否与预先存储的注册图像相似;衬底除去单元,对于所取得的原稿图像进行衬底除去;记入事项判定处理单元,在被判定为原稿图像与注册图像相似时,判定所取得的原稿图像在与对于所述注册图像所确定的一个或多个部位对应的判定部位上是否有记载遗漏;以及判定结果输出单元,输出判定结果,所述记入事项判定处理单元如下来判定是否有记载遗漏:在判定部位中,计算由所述衬底除去单元进行了衬底除去所得到的原稿图像以及注册图像具有的像素值之间的差分,将所算出的差分值与规定的差分阈值进行比较,从而计算像素值大致相同的像素的像素数,计算将所算出的像素数除以判定部位中的注册图像具有的全部像素数所得的比率,将所算出的比率与规定的比率阈值进行比较,在所算出的比率大于比率阈值时,判定为在原稿图像中有记载遗漏,在所算出的比率小于比率阈值时,判定为在原稿图像中没有记载遗漏。
本发明的图像处理装置的特征在于,包括:通知单元,通知被判定为有记载遗漏的原稿图像的记载遗漏部位。
本发明的图像处理装置的特征在于,包括:像素值计算单元,对包含所取得的原稿图像的关注像素的第1像素块内的各像素的各个像素值,基于包含该像素的第2像素块内的各像素的像素值进行计算;以及边缘像素判定单元,根据所算出的所述第1像素块内的各像素的像素值的分布,判定所述关注像素是否为边缘像素,所述记入事项判定处理单元基于被所述边缘像素判定单元判定为边缘像素的关注像素的多少,判定在所取得的原稿图像中是否有记载遗漏。
本发明的图像处理装置的特征在于,在所取得的原稿图像为彩色图像时,所述像素值计算单元和所述边缘像素判定单元分别对每个颜色分量进行处理。
本发明的原稿读取装置的特征在于,包括:原稿读取单元,读取多个原稿;所述的图像处理装置;以及原稿排出单元,在该图像处理装置判定为在所述原稿读取单元所读取的原稿图像中有记载遗漏时,将有记载遗漏的原稿区分排出。
本发明的原稿读取装置的特征在于,所述原稿排出单元使有记载遗漏的原稿的排出位置从没有记载遗漏的原稿的排出位置移开。
本发明的图像形成装置的特征在于,包括:所述的图像处理装置;以及图像形成单元,基于该图像处理装置所处理的原稿图像而形成输出图像。
本发明中,判定所取得的原稿图像是否与预先存储的注册图像相似。在被判定为原稿图像与注册图像相似的情况下,判定在与对于所取得的原稿图像的该原稿图像相似的注册图像所预先确定的一个或多个部位对应的部位上是否有记载遗漏,并输出判定结果(有无记载遗漏)。预先确定的部位,例如是被确定了格式(框、格线、表示记载项目的字符串等)的文件(格式)的记载栏,即,作为记载项目,是被记载了字符、图形、记号等的部位。通过在注册图像上确定预先被记载了字符的部位,从所取得的原稿图像中,判定只被记载了字符等的部位的记载遗漏,从而可以高精度地判定在原稿图像中是否有记载遗漏(记入遗漏)。再有,在本发明中,所取得的原稿图像意味着通过扫描器读取原稿图像所获得的原稿图像、用计算机在规定格式的数据中写入必要事项而生成的电子数据形式的原稿图像、将通过扫描器读取获得的数据变换为JPEG等规定的文件格式而生成的电子化数据。
此外,本发明中,通知被判定为有记载遗漏的原稿图像的该记载遗漏的部位。例如,通过显示原稿图像的记载遗漏的部位,不仅知道在原稿中有记载遗漏,而且容易地知道在原稿的哪个部位有记载遗漏。特别是在一页原稿中有多个记载项目的情况下,或者在读取多页的原稿等情况下,可以简单地辨别记载遗漏,可以提高用户的方便性。
此外,本发明中,进行对所取得的原稿图像的衬底除去,基于进行了衬底除去的原稿图像而判定是否有记载遗漏。由此,即使在所读取的原稿的用纸为再生纸、或是浅着色的用纸等与注册图像有所不同的情况下,也可以高精度地判定有无记载遗漏。
此外,本发明中,将包含所取得的原稿图像的关注像素的第1像素块内的各像素的各个像素值,基于包含该像素的第2像素块内的各像素的像素值进行计算。根据算出的所述第1像素块内的各像素的像素值的分布,判定关注像素是否为边缘像素,并基于所判定的边缘像素的多少,判定在所取得的原稿图像中是否有记载遗漏。由此,不需要进行原稿图像和注册图像之间的像素值的比较,而可以仅用所取得的原稿图像,高精度地判定原稿图像的记载遗漏(记入遗漏)。再有,在本发明中,所取得的原稿图像意味着通过扫描器读取原稿图像所获得的原稿图像、用计算机在规定格式的数据中写入必要事项而生成的电子数据形式的原稿图像、将通过扫描器读取获得的数据变换为JPEG等规定的文件格式而生成的电子化数据。
此外,本发明中,在所取得的原稿图像为彩色图像时,对每个颜色分量计算包含了关注像素的第1像素块内的各像素的像素值及判定关注像素是否为边缘像素。由此,能够抑制原稿图像中的孤立点、读取时的噪声的影响,或者原稿的表面部分的污染或表面部分所附着的灰尘的影响,可以进一步提高记载遗漏的判定精度。
此外,本发明中,排出单元在判定为所取得的原稿图像中有记载遗漏的情况下,将记载遗漏的原稿区分排出。由此,例如在读取多页原稿的情况下,可以将记载遗漏的原稿与无记载遗漏的原稿区分排出,用户可以从所排出的许多原稿中简单地区分记载遗漏的原稿。
此外,本发明中,排出单元将记载遗漏的原稿的排出位置移开。由此,可以从所排出的原稿中容易地区别记载遗漏的原稿。
本发明中,通过预先确定注册图像的一个或多个部位,在被判定为原稿图像与注册图像相似的情况下,判定在与对于所取得的原稿图像的所述注册图像确定的部位对应的部位上是否有记载遗漏,并输出判定结果,从而在进行原稿图像的相似判定时,可以高精度地判定原稿图像的记载遗漏。
此外,本发明中,通过通知被判定为有记载遗漏的原稿图像的该记载遗漏的部位,可以容易地判断记载遗漏的部位。
此外,本发明中,通过在判定所取得的原稿图像中是否有记载遗漏的前级进行原稿图像的衬底除去,即使在所读取的原稿的用纸为再生纸、或是浅着色的用纸等与注册图像有所不同的情况下,也可以高精度地判定有无记载遗漏。
此外,本发明中,将包含所取得的原稿图像的关注像素的第1像素块内的各像素的各个像素值,基于包含该像素的第2像素块内的各像素的像素值进行计算,根据算出的所述第1像素块内的各像素的像素值的分布,判定关注像素是否为边缘像素,并基于所判定的边缘像素的多少,判定在所取得的原稿图像中是否有记载遗漏。由此,不需要进行原稿图像和注册图像之间的像素值的比较,而可以仅用所取得的原稿图像,高精度地判定原稿图像的记载遗漏。
此外,本发明中,在所取得的原稿图像为彩色图像时,通过对每个颜色分量计算包含了关注像素的第1像素块内的各像素的像素值及判定关注像素是否为边缘像素,能够抑制原稿图像中的孤立点、读取时的噪声的影响,或者原稿的表面部分的污染或表面部分所附着的灰尘的影响,可以进一步提高记载遗漏的判定精度。
此外,本发明中,通过包括排出单元,该排出单元在判定为所取得的原稿图像中有记载遗漏的情况下,将记载遗漏的原稿区分排出,从而可以区分记载遗漏的原稿和无记载遗漏的原稿。特别是在读取多页原稿的情况下,可以从所排出的许多原稿中简单地区分记载遗漏的原稿,可以提高用户的便利性。
此外,本发明中,通过排出单元构成为将记载遗漏的原稿的排出位置移开,从而可以容易地区别记载遗漏的原稿。
附图说明
图1是表示包括了本发明的图像处理装置的图像形成装置的结构的方框图;
图2是表示文件核对处理单元的结构的方框图;
图3是表示特征点计算单元的结构的方框图;
图4是表示滤波处理单元的滤波系数的例子的说明图;
图5是表示连结区域的特征点的例子的说明图;
图6是表示对于字符串的特征点的提取结果的例子的说明图;
图7是表示关注特征点和周边的特征点的说明图;
图8A至图8C是表示基于关注特征点的不变量计算例的说明图;
图9A至图9C是表示基于关注特征点的不变量计算例的说明图;
图10A至图10D是表示基于关注特征点的不变量计算的其他例的说明图;
图11A至图11D是表示基于关注特征点的不变量计算的其他例的说明图;
图12是表示原稿图像的特征点坐标表的结构的说明图;
图13A和图13B是表示注册格式的散列表的结构的说明图;
图14是表示注册格式的特征点坐标表的结构的说明图;
图15是表示特征点投票表的结构的说明图;
图16是表示基于投票结果的相似判定的一个例子的说明图;
图17是表示原稿图像和注册格式之间的位置重合的说明图;
图18是表示注册格式的一个例子的说明图;
图19A和图19B是用于表示记载遗漏判定区域的判定区域表的一个例子的说明图;
图20是表示注册格式的其他例子的说明图;
图21是用于表示记载遗漏判定区域的判定区域表的其他例子的说明图;
图22是表示文件核对处理的步骤的流程图;
图23是表示记入事项判定处理的步骤的流程图;
图24是表示记入事项判定处理的步骤的流程图;
图25是表示本发明的原稿读取装置的结构的方框图;
图26是表示本发明的原稿读取装置的结构的示意图;
图27是表示原稿移动器机构的结构的横截面图;
图28是表示原稿移动器机构的结构的横截面图;
图29是表示原稿的排出位置的说明图;
图30A至图30D是表示用于通知记入遗漏的画面显示例子的说明图;
图31是表示实施方式2的记入事项判定处理的步骤的流程图;
图32是表示实施方式2的记入事项判定处理的步骤的流程图;
图33是表示实施方式3的记入事项判定处理的步骤的流程图;
图34是表示实施方式3的记入事项判定处理的步骤的流程图;
图35是表示使排出托架可移动的情况下的原稿移动器机构的结构的示意图;
图36是表示原稿移动器机构的结构的横截面图;
图37是表示实施方式5的原稿读取装置的结构的示意图;
图38是表示实施方式6的原稿读取装置的结构的示意图;
图39是表示实施方式7的记入事项判定处理单元的结构的方框图;以及
图40是表示实施方式7的记入事项判定处理单元的处理步骤的流程图。
具体实施方式
以下,基于附图详细论述实施方式。
实施方式1
以下,基于表示实施方式的附图来说明本发明。图1是表示包括了本发明的图像处理装置的图像形成装置100的结构的方框图。图像形成装置100(例如,彩色数字复印机或具备了复合功能、打印机功能、编档功能、传真或电子邮件分配功能的复合机)包括:彩色图像输入装置1、彩色图像处理装置2(图像处理装置)、作为图像形成单元的彩色图像输出装置3、用于进行各种操作的操作面板4等。
通过彩色图像输入装置1读取原稿所获得的RGB(R:红色、G:绿色、B:蓝色)的模拟信号的图像数据被输出到彩色图像处理装置2,由彩色图像处理装置2进行规定的处理,作为CMYK(C:青绿色、M:品红色、Y:黄色、K:黑色)的彩色数字信号而被输出到彩色图像输出装置3。
彩色图像输入装置1例如是包括了CCD(Charged Coupled Device)的扫描器,将来自原稿图像的反射光像作为RGB的模拟信号读取,将所读取的RGB信号输出到彩色图像处理装置2。此外,彩色图像输出装置3是将原稿图像的图像数据输出到记录纸上的采用了电子照相方式或喷墨方式等的图像形成单元。而彩色图像输出装置3也可以是显示器等的显示装置。
彩色图像处理装置2由CPU、ASIC(Application Specific IntegratedCircuit)等构成。
A/D变换单元20将从彩色图像输入装置1输入的RGB信号例如变换为10比特的数字信号,并将变换后的RGB信号输出到黑斑校正单元21。
黑斑校正单元21对于所输入的RGB信号,进行将在彩色图像输入装置1的照明系统、成像系统、摄像系统等中产生的各种失真除去的校正处理。此外,黑斑校正单元21对于所输入的RGB信号(RGB的反射率信号),进行调整色平衡的处理,同时进行变换为浓度信号等由彩色图像处理装置2所采用的图像处理系统容易处理的信号的处理,将校正后的RGB信号(图像)输出到文件核对处理单元22。
文件核对处理单元22将所输入的图像(图像数据)进行二值化,基于二值图像计算被确定的连结区域的特征点(例如,重心),从算出的特征点中选择多个特征点,基于所选择的特征点而求不变量,基于该不变量计算特征量(例如,散列值)。文件核对处理单元22基于算出的特征量,判定所输入的图像(原稿图像)是否与预先存储的注册格式(注册图像)相似,并在判定为相似的情况下,判定在输入图像(原稿图像)中是否有记入遗漏(记载遗漏),并输出判定信号(表示有无记入遗漏的判定结果)。此外,文件核对处理单元22将所输入的RGB信号直接输出到后级的输入色调校正单元23。
输入色调校正单元23实施衬底浓度的除去或对比度等图像质量调整处理,并将处理后的RGB信号输出到区域分离处理单元24。
区域分离处理单元24基于所输入的RGB信号,分离所输入的图像中的各像素是字符区域、网点区域、照片区域的其中哪一个。区域分离处理单元24基于分离结果,将表示各像素属于哪个区域的区域识别信号输出到黑版生成底色除去单元26、空间滤波处理单元27、输出色调校正单元28、色调再现处理单元29。此外,区域分离处理单元24将所输入的RGB信号直接输出到后级的色校正单元25。
色校正单元25将所输入的RGB信号变换到CMY的色空间,并根据彩色图像输出装置3的特性而进行色校正,将校正后的CMY信号输出到黑版生成底色除去单元26。具体地说,色校正单元25为了真实进行色再现,进行将包含了不需要吸收分量的基于CMY色材料的分光特性的色混浊除去的处理。
黑版生成底色除去单元26基于从色校正单元25输入的CMY信号,生成K(黑色)信号,同时从所输入的CMY信号中除去K信号而生成新的CMY信号,并将生成的CMYK信号输出到空间滤波处理单元27。
下面表示黑版生成底色除去单元26中的处理的一例。例如,有通过轮廓黑色(skeleton black)进行黑色生成的情况下,设轮廓曲线的输入输出特性为y=f(x),所输入的数据为C、M、Y,所输出的数据为C’、M、Y’、K’,UCR(Under Color Removal)率为α(0<α<1),则通过黑版生成底色除去处理所输出的各个数据以K’=f{min(C,M,Y)}、C’=C-αK’、M’=M-αK’、Y’=Y-αK’表示。
空间滤波处理单元27对于从黑版生成底色除去单元26输入的CMYK信号,通过基于区域识别信号的数字滤波进行空间滤波处理。由此,图像数据的空间频率特性被校正,防止彩色图像输出装置3的输出图像的模糊或粒状性劣化。例如,空间滤波处理单元27为了特别提高黑色字符或彩色字符的再现性,对区域分离处理单元24中分离为字符区域的区域实施清晰增强处理并增强高频分量。此外,空间滤波处理单元27对区域分离单元24中分离为网点区域的区域实施用于除去输入网点分量的低通滤波处理。空间滤波处理单元27将处理后的CMYK信号输出到输出色调校正单元28。
输出色调校正单元28对于从空间滤波处理单元27输入的CMYK信号,进行变换为彩色图像输出装置3的特性值即网点面积率的输出色调校正处理,将输出色调校正处理后的CMYK信号输出到色调再现处理单元29。
色调再现处理单元29基于从区域分离处理单元24输入的区域识别信号,对于从输出色调校正单元28输入的CMYK信号进行规定的处理。例如,色调再现处理单元29为了特别提高黑色字符或彩色字符的再现性,对分离为字符区域的区域进行二值化处理或多值化处理,以适合彩色图像输出装置3中的高频分量的再现。
此外,色调再现处理单元29对区域分离处理单元24中分离为网点区域的区域,进行色调再现处理(生成半色调),以将图像最终分离为像素,从而可以再现各自的色调。而且,色调再现处理单元29对区域分离处理单元24中分离为照片区域的区域进行二值化处理或多值化处理,以适合彩色图像输出装置3中的色调再现性。
彩色图像处理装置2将色调再现处理单元29所处理过的图像数据(CMYK信号)临时存储在存储单元(未图示)中,在进行图像形成的规定的定时,读出在存储单元中所存储的图像数据,并将读出的图像数据输出到彩色图像输出装置3。这些控制例如由CPU(未图示)进行。此外,彩色图像处理装置2内的CPU(未图示)基于从文件核对处理单元22输出的判定信号而进行控制,以对原稿图像进行规定的处理(例如,通知记载遗漏、排出记载遗漏的原稿等)。
图2是表示文件核对处理单元22的结构的方框图。文件核对处理单元22包括:特征点计算单元221、特征量计算单元222、投票处理单元223、相似度判定处理单元224、记入事项判定处理单元225、存储器226、控制上述各个单元的控制单元227等。
特征点计算单元221对于所输入的图像数据(原稿图像)进行后述的规定的处理,同时提取输入图像的字符串或格线的连结区域,并计算连结区域的特征点(例如,重心)。更具体地说,特征点计算单元221将所输入的图像进行二值化,提取(计算)基于二值图像所确定的连结区域的特征点(例如,将构成连结区域的各个像素的二值图像中的坐标值累计相加,并将累计相加所得的坐标值除以连结区域中包含的像素数所得的值),并将所提取的特征点输出到特征量计算单元222。
图3是表示特征点计算单元221的结构的方框图。特征点计算单元221包括:除去彩色处理单元2210、分辨率变换单元2211、滤波处理单元2212、二值化处理单元2213、重心计算单元2214等。
除去彩色处理单元2210在所输入的图像(图像数据)为彩色图像时,将彩色图像除去彩色,变换为辉度信号或亮度信号,并将变换后的图像输出到分辨率变换单元2211。例如,设各个像素RGB的色分量分别为Rj、Gj、Bj,辉度信号Yj可以按Yj=0.30×Rj+0.59×Gj+0.11×Bj表示。再有,不限于上式,也可以将RGB信号变换为CIE1976L*a*b*信号。
即使在所输入的图像由彩色图像输入装置1光学式变倍过的情况下,分辨率变换单元2211也将所输入的图像再次变倍,以达到规定的分辨率,并将进行了变倍的图像输出到滤波处理单元2212。由此,即使在彩色图像输入装置1进行变倍处理,分辨率改变的情况下,也可以提取特征点而不受其影响,可以将原稿高精度地分类。特别是在被缩小过的字符等的情况下,在进行二值化处理而确定连结区域时,可以防止因字符碎裂而原来分离的区域在连结的状态下被确定,所计算的重心产生偏移。此外,分辨率变换单元2211将图像的分辨率变换为比彩色图像输入装置1等倍时读入的分辨率更小的分辨率。例如,在彩色图像输入装置1中将以600dpi(dot per inch)读入的图像变换为300dpi。由此,可以降低后级的处理量。
滤波处理单元2212对所输入的图像具有的空间频率特性进行校正(例如,图像的增强处理及平滑处理等),并将校正后的图像输出到二值化处理单元2213。滤波处理单元2212因彩色图像输入装置1的空间频率特性在每个机种上有所不同,所以将不同的空间频率特性校正为所需要的特性。在彩色图像输入装置1输出的图像(例如,图像信号)中,因透镜或反射镜等的光学系统部件、CCD的光接收面的孔径开度、传送效率、残像、物理性扫描造成的积分效应及扫描不匀等原因而产生图像的模糊等劣化。滤波处理单元2212通过进行边界或边缘等的增强处理,修复在图像上所产生的模糊等的劣化。此外,滤波处理单元2212进行用于抑制在后级所处理的特征点的提取处理中不需要的高频分量的平滑处理。由此,可以高精度地提取特征点,作为结果,可高精度地进行图像的相似度的判定。再有,滤波处理单元2212使用的滤波系数可以根据所使用的彩色图像输入装置1的机种或特性等而适当设定。
图4是表示滤波处理单元2212的滤波系数的例子的说明图。如图所示,空间滤波器例如是具有7×7(7行、7列)的大小,进行增强处理及平滑处理的混合滤波器。对所输入的图像的像素进行扫描,通过空间滤波器对所有的像素进行运算处理。再有,空间滤波器的大小不限定于7×7的大小,也可以为3×3的大小、5×5的大小等。此外,滤波系数的数值是一个例子,并不限于此,可以根据所使用的彩色图像输入装置1的机种或特性而适当设定。
二值化处理单元2213通过将所输入的图像的辉度值(辉度信号)或亮度值(亮度信号)与阈值进行比较,从而对图像进行二值化,并将二值化后的二值图像输出到重心计算单元2214。
重心计算单元2214基于从二值化处理单元2213输入的二值图像的各个像素的二值化信息(例如,以‘1’、‘0’表示),对各个像素进行标示(附加标记处理),确定连结了被附加了同一标记的像素的连结区域,将所确定的连结区域的重心作为特征点提取,并将提取出的特征点输出到特征量计算单元222。再有,特征点可以用二值图像(原稿图像)中的坐标(x’、y’)表示。
图5是表示连结区域的特征点的例子的说明图。在图中,所确定的连结区域是字符‘A’,作为附加了同一标记的像素的集合而被确定。该字符‘A’的特征点(重心)为图中用黑圈表示的位置(x’坐标、y’坐标)。
图6是表示对于字符串的特征点的提取结果的例子的说明图。由多个字符构成的字符串的情况下,根据字符的种类而具有各自不同的坐标的特征点被提取多个。
特征量计算单元222使用从特征点计算单元221输入的特征点,求对于旋转、放大、缩小等处理的不变量,基于该不变量,计算特征量(例如,散列值)。更具体地说,特征量计算单元222将从特征点计算单元221输入的各个特征点(即,连结区域的重心的坐标值)作为关注特征点,例如,提取四个距关注特征点的距离小的周变的其他特征点。
图7是表示关注特征点和周边的特征点的说明图。如图所示,对于关注特征点P1,例如,以距关注特征点P1的距离近的顺序,提取由闭合曲线S1所包围的4个特征点(对于关注特征点P1,关注特征点P2也作为一个特征点被提取)。此外,对于关注特征点P2,例如,与上述同样,以距关注特征点P2的距离近的顺序,提取由闭合曲线S2所包围的4个特征点(对于关注特征点P2,关注特征点P1也作为一个特征点被提取)。
特征量计算单元222从提取出的4个特征点之中选择三个特征点,计算不变量。再有,所选择的特征点不限于三个,也可以选择4个、5个等的特征点。应该选择的特征点的数目因求出的不变量的种类而有所不同。例如,从3点所求的不变量为相似不变量。
图8A至图8C是表示关注特征点P1的不变量的计算例子的说明图,图9A至图9C是表示关注特征点P2的不变量的计算例子的说明图。如图8A至图8C所示,从关注特征点P1的周边的4个特征点中选择3个特征点,并将三组的不变量分别设为H1j(j=1、2、3)。不变量H1j以Hlj=A1j/B1j表示的算式来计算。其中,A1j、B1j分别表示特征点间的距离,特征点间的距离基于各个周边特征点的坐标值来计算。由此,例如,即使是原稿进行了旋转、移动、倾斜的情况,不变量H1j也不变化,可以高精度地进行图像的相似度的判定,可以高精度地判定相似的原稿。
同样地,如图9A至图9C所示,从关注特征点P2的周边的4个特征点中选择3个特征点,并将三组的不变量分别设为H2j(j=1、2、3)。不变量H2j以H2j=A2j/B2j表示的算式来计算。其中,A2j、B2j分别表示特征点间的距离,与上述同样,特征点间的距离基于各个周边特征点的坐标值来计算。以下同样地,可以对于其他关注特征点计算不变量。
特征量计算单元222基于由各个关注特征点所算出的不变量,计算散列值(特征量)Hi。关注特征点Pi的散列值Hi以Hi=(Hi1×102+Hi2×101+Hi3×100)/E表示。其中,i为自然数,表示特征点的数目。另外,E是通过将余数设定在哪个范围而决定的常数,例如,在为‘10’的情况下,余数为‘0’~‘9’,它是要计算的散列值可取得的范围。此外,i为自然数,表示特征点的数目。
图10A至图10D是表示关注特征点P3的不变量的计算的其他例子的说明图,图11A至图11D是表示关注特征点P4的不变量的计算的其他例子的说明图。如图10A至图10D所示,由关注特征点P3的周边特征点P1、P2、P4、P5的4点选择四种组合,与上述同样地,根据H3j=A3j/B3j,也可以计算不变量H3j(j=1、2、3、4)。
此外,如图11A至图11D所示,由关注特征点P4的周边特征点P2、P3、P5、P6的4点选择四种组合,与上述同样地,根据H4j=A3j/B3j,也可以计算不变量H4j(j=1、2、3、4)。图10A至图10D及图11A至图11D的例子的情况下,关注特征点Pi的散列值Hi可以按Hi=(Hi1×103+Hi2×102+Hi3×101+Hi4×100)/E来计算。
再有,作为特征量的上述散列值是一例,并不限于此,也可以使用其他散列函数。上述中,作为周边的其他特征点,表示了提取4点的例子,但不限定于4点。例如,也可以进行6点提取。这种情况下,对于从6点的特征点中提取5点,提取5点的6组的各个方法,也可以从5点中提取3点而求不变量,计算散列值。由此,可以从一个特征点计算一个散列值,也可以从一个特征点计算多个散列值。
特征量计算单元222将表示原稿图像的特征点的索引、基于该特征点所算出的散列值、以及该特征点的原稿图像上的坐标作为原稿图像的特征点坐标表而存储在存储器226中。
在进行原稿图像的注册的情况下,例如,通过图像形成装置100的操作面板4选择并实行原稿注册模式。原稿注册模式是否被选择,由控制单元227进行判定。在未选择原稿注册模式的情况下,进行通常的复印、编档、电子邮件发送动作等。再有,原稿注册处理不仅可以通过由文件核对处理单元22等的专用硬件电路构成,也可以通过在包括了CPU、RAM、ROM等的个人计算机中,加载用于决定了原稿注册处理的步骤的计算机程序,从而由CPU执行计算机程序来进行。
图12是表示原稿图像的特征点坐标表2261的结构的说明图。原稿图像的特征点坐标表2261由表示原稿图像的特征点的索引(index)、基于特征点所算出的散列值、特征点的原稿图像上的坐标(x’坐标、y’坐标)的各个栏构成。
如图12所示,例如,基于表示原稿图像的特征点的索引为p1的特征点所算出的散列值是H1,特征点的坐标是(x11’、y11’)。此外,同样地,基于表示原稿图像的特征点的索引为p2的特征点所算出的散列值是H8,特征点的坐标是(x32’、y32’)。
图13A至图13B是表示注册格式的散列表2262的结构的说明图。如图13A所示,散列表2262的结构由表示散列值及原稿(注册格式)的索引的各个栏构成。更具体地说,对应于表示原稿的索引,表示原稿中的位置的点索引、以及不变量(都未图示)被注册。散列表2262存储在存储器226中。此外,为了判定图像的相似度,将注册格式(要核对的图像和文件图像)预先存储在存储器226中。再有,如图13B所示,在散列值相等的情况下(H1=H5),也可以将散列表2262的两个项目汇总为一个。
图14是表示注册格式的特征点坐标表2263的结构的说明图。注册格式的特征点坐标表2263存储在存储器226中,由表示用于识别各个注册格式的原稿的索引、表示用于识别在各个注册格式中所算出的特征点的特征点的索引、各个特征点的注册格式上的坐标(x坐标、y坐标)的各个栏构成。
如图14所示,例如,表示原稿的索引为ID1的注册格式有特征点f11、f12、f13、f14、...,各个注册格式上的特征点的坐标是(x11、y11)、(x12、y12)、(x13、y13)、(x14、y14)、...。对于其他的注册格式ID2、...来说,也是同样。
投票处理单元223基于特征量计算单元222算出的散列值(特征量),对存储器226中存储的注册格式的散列表2262进行检索,并在散列值一致的情况下,对表示在该散列值中所注册的原稿的索引(即,被算出一致的散列值的图像)进行投票。将投票累计相加的结果作为得票数而输出到相似度判定处理单元224。
此外,投票处理单元223在原稿图像的散列值和注册格式的散列值一致的情况下,判定原稿图像的特征点投票在哪个注册格式的哪个特征点上,并将判定结果作为特征点投票表2264而存储在存储器226中。
图15是表示特征点投票表2264的结构的说明图。特征点投票表2264对应于表示注册格式的原稿的索引ID1、ID2、ID3、ID4、...IDn,在由表示注册格式的特征点的索引f11、f21、...、fn1(以下表示为‘fn1’)、f12、f22、...、fn2(以下表示为‘fn2’)、以下同样地为fn3、fn4、fn5、fn6、fn7、...构成的矩阵的各元素中记录了表示原稿图像的特征点的索引p1、p2、...。
如图15所示,例如,对于以索引p1表示的原稿图像的特征点所算出的散列值被判定为与表示注册格式的原稿的索引ID1的特征点f11的散列值一致。此外,对于以索引p2表示的原稿图像的特征点所算出的散列值被判定为与表示注册格式的原稿的索引ID3的特征点f32的散列值一致。而且,对于以索引p3表示的原稿图像的特征点所算出的散列值被判定为与表示注册格式的原稿的索引ID1的特征点f13的散列值一致。以下,对于索引p4、p5、p6、p7、...也是同样。
相似度判定处理单元224基于从投票处理单元223输入的投票结果,判定所读取的原稿图像与哪个注册格式相似,并将判定结果输出到记入事项判定处理单元225。更具体地说,相似度判定处理单元224将从投票处理单元223输入的得票数除以原稿图像的最大得票数(以特征点的数×从1个特征点所算出的散列值的数来表示)而计算归一化的相似度。相似度判定处理单元224将算出的相似度和预先确定的阈值Th(例如,0.8)进行比较,在相似度为阈值Th以上的情况下,判定为该相似度与所算出的注册格式相似,而在相似度比阈值Th小的情况下,判定为不是与原稿图像相似的注册格式,然后将该判定结果输出到记入事项判定处理单元225。再有,将从投票处理单元223输入的得票数与预先确定的阈值进行比较,如果得票数为阈值以上,则可以判定为原稿图像与预先注册的注册格式相似,进而判定为在被判定为相似中得票数最高的注册格式与原稿图像一致。
图16是表示基于投票结果的一例相似判定的说明图。如图16所示,假设对从读取出的原稿图像所算出的每个散列值检索散列表2262而投票的结果,对表示原稿的索引为用ID1、ID2、ID3所示的注册格式进行投票。计算将投票结果所得的各个得票数除以原稿图像的最大得票数而归一化的相似度N1、N2、N3。由于算出的相似度为阈值Th以上的注册格式,是表示原稿的索引为用ID1所示的注册格式,所以原稿图像被判定为与表示原稿的索引ID1的注册格式相似。
记入事项判定处理单元225在从相似度判定处理单元224输出了原稿图像与注册格式相似的判定结果的情况下,判定在原稿图像中是否有记入遗漏,并输出用于表示有无记入遗漏的判定信号。更具体地说,记入事项判定处理单元225进行将原稿图像和注册格式位置重合的位置重合处理、确定记入遗漏的判定区域的处理、计算原稿图像及注册格式各自的各个像素具有的像素值(例如,辉度值)的差分的差分处理、基于算出的差分而判定在原稿图像中是否有记入遗漏的判定处理等。
下面,说明将注册格式的坐标系变换为原稿图像的坐标系而进行图像的位置重合的位置重合处理。再有,在以下说明中,假设原稿图像是被判定为与表示原稿的索引为ID1的注册格式相似的原稿图像。
记入事项判定处理单元225对存储器226进行访问,从特征点投票表2264提取将表示原稿的索引投票给ID1的原稿图像的特征点。在图15的例子中,表示原稿图像的特征点的索引是p1、p3、p4、p7。
记入事项判定处理单元225确定用于表示注册格式的特征点的索引f11、f13、f14、f17,该注册格式与表示所提取出的原稿图像的特征点的索引p1、p3、p4、p7相对应。记入事项判定处理单元225参照注册格式的特征点坐标表2263及原稿图像的特征点坐标表2261,求有关以算式(1)表示的注册格式的特征点坐标的矩阵Jin、有关以算式(2)表示的原稿图像的特征点坐标的矩阵Jout,将变换矩阵W的变换系数假定为算式(3)。
记入事项判定处理单元225通过算式(4)计算变换矩阵W。这种情况下,通过对算式(4)的两边乘以Jin的转置矩阵JinT而求算式(5),进而,对算式(5)的两边乘以JinT的逆矩阵而求算式(6),计算变换系数。记入事项判定处理单元225使用以算出的变换系数所示的变换矩阵W,如算式(7)所示,将注册格式上的任意坐标(x、y)变换为原稿图像上的坐标(x’、y’)。
Jout=Jin×W ......(4)
JinTJout=JinTJin×W ......(5)
(JinTJin)-1JinTJout=W ......(6)
(x’,y’,1)=(x,y,1)×A ......(7)
图17是表示原稿图像及注册格式的位置重合的说明图。如图17所示,通过使注册格式的特征点f11、f13、f14、f17和原稿图像的特征点p1、p3、p4、p7分别对应,从而即使是注册格式的原点(图像的左上方的像素)和原稿图像的左上方的像素的位置有偏移的情况,也可以使两图像的原点一致,可以进行注册格式和原稿图像的位置重合。再有,各个图像的特征点的数不限定于四个。此外,在因注册格式的格式而存在多个特征点的情况下,也可以从其中选择几个特征点。
下面,说明有关判定有无记入遗漏的判定区域(判定部位)的确定。图18是表示一例注册格式的说明图。如图18所示,在注册格式(即,规定的格式的文件)中,作为一例,设有对于日期、姓名、住所、电话号码、内容的各个项目的记载栏。此外,在各个记载栏中,在进行记入遗漏判定的部位,被预先确定了对于日期、姓名、住所、电话号码的各个项目的记载栏(图中带有花纹的区域)。
图19A和图19B是表示一例用于表示记入遗漏判定区域的判定区域表2265的说明图。如图19A所示,判定区域表2265由表示注册格式的原稿的索引、注册格式的项目名、对于项目名的记载栏的对角坐标构成,而且,如图19B所示,对于各个项目的记载栏的注册格式上方的位置由记载栏的各个四角的坐标来确定。在图19B中,作为一例,表示原稿的索引为ID1的注册格式的记载栏中表示日期栏的坐标(x1、y1)、(x2、y1)、(x1、y2)、(x2、y2)。
如图19A所示,例如,在表示原稿的索引为ID1的注册格式,日期的记载栏由记载栏的对角坐标即坐标(x1、y1)及(x2、y2)确定,同样地,姓名的记载栏由坐标(x3、y3)及(x4、y4)确定,住所的记载栏由坐标(x5、y5)及(x6、y6)确定,电话号码的记载栏由坐标(x7、y7)及(x8、y8)确定。其他的注册格式(表示原稿的索引为ID2、ID3、...)也是同样。
图20是表示注册格式的其他例子的说明图,图21是表示用于表示记入遗漏判定区域的判定区域表2265的其他例子的说明图。如图20所示,在注册格式中,除了日期、姓名、住所、电话号码、内容的各个项目名以外,还设有对于盖章的项目名的记载栏。此外,在各个记载栏中,在进行记入遗漏的判定的部位,对于日期、姓名、住所、电话号码、盖章的各个项目名的记载栏(图中带有花纹的区域)被预先确定。
如图21所示,在表示原稿的索引为ID1的注册格式时,日期的记载栏由作为记载栏的对角坐标的坐标(x1、y1)及(x2、y2)确定,同样地,姓名的记载栏由坐标(x3、y3)及(x4、y4)确定,盖章的记载栏由坐标(x0、y0)及(x9、y9)确定,住所的记载栏由(x5、y5)及(x6、y6)确定,电话号码的记载栏由坐标(x7、y7)及(x8、y8)确定。
记入事项判定处理单元225在判定为原稿图像与注册格式相似时,基于表示被判定为相似的注册格式的原稿的索引,对判定区域表2265进行检索,取得相似的注册格式的项目名及坐标值,并基于所取得的坐标值,对每个项目名确定记入遗漏的判定区域,并判定与所判定的确定区域对应的原稿图像的区域内的记入遗漏。
接着,说明计算原稿图像及注册格式各自的各个像素具有的像素值之间差分的差分处理。记入事项判定处理单元225通过例如从两图像的左上方至右下方依次扫描进行了位置重合的原稿图像和注册格式各自的判定区域内的像素,从而计算与两图像对应的关注像素的辉度值之间的差分。这种情况下,考虑将原稿读取时的像素值的再现性等,在图像以256色调表示时,如果两图像的对应的像素的辉度值之间的差分在5至10左右的范围内(差分阈值Tg)的位置,则判定关注像素是相同的。例如,如果原稿图像的某个关注像素的辉度值为210,注册格式的对应的关注像素的辉度值为215,则判定两关注像素是相同的。此外,例如,如果原稿图像的某个关注像素的辉度值为210,注册格式的对应的关注像素的辉度值为235,则判定为两关注像素不相同。
记入事项判定处理单元225判定将像素值(例如,辉度值)被判定为大致相同的像素数(判定像素数M)除以判定区域内的注册格式具有的像素数所得的比率是否大于比率阈值Ts(例如,0.99),在所算出的比率大于比率阈值Ts时,判定为在原稿图像中有记入遗漏,并输出判定信号。此外,在所算出的比率为比率阈值Ts以下时,判定为在原稿图像中没有记入遗漏,并输出判定信号。再有,也可以判定将像素值被判定为大致不相同的像素数除以注册格式具有的像素数所得的比率是否小于比率阈值Td(例如,0.01),在所算出的比率小于比率阈值Td时,判定为在原稿图像中有记入遗漏,而在所算出的比率为比率阈值Td以上时,判定为在原稿图像中没有记入遗漏。
即,记入事项判定处理,在判定区域(判定部位)中,计算所取得的原稿图像及注册格式(注册图像)具有的像素值之间的差分,将所算出的差分值与规定的阈值(差分阈值)进行比较,从而计算像素值大致相同的像素的像素数(判定像素数),计算将所算出的判定像素数除以判定区域中的注册格式具有的全部像素数所得的比率,将所算出的比率与规定的阈值(比率阈值)进行比较(比较大小),并根据比较结果而判定有无记入遗漏。
如上所述,在将注册格式的坐标系变换为原稿图像的坐标系而进行图像的位置重合时,也可以将注册格式整体进行坐标变换,或者,也可以预先确定对注册格式的每个记载栏进行坐标变换的部位,仅将所确定的一部分部位进行坐标变换。这种情况下,可以将进行坐标变换的部位合并在进行记入遗漏的判定区域中。由此,可以仅将判定有无记入遗漏的部位进行坐标变换而进行记入遗漏判定处理,与进行图像整体的处理的情况相比,可以降低处理劳动,可以高速地实现记入事项判定处理。
下面,说明图像形成装置100的动作。图22是表示文件核对处理的步骤的流程图。再有,文件核对处理不仅可以由专用的硬件电路构成,而且也可以通过将确定了文件核对处理的步骤的计算机程序装载在包括了CPU、RAM、ROM等的个人计算机中,从而由CPU执行计算机程序来进行。此外,在计算机程序中,除了文件核对处理之外,还可以加入根据文件核对处理所判定的结果,对判定结果的通知、原稿的排出等进行控制的控制处理。
控制单元227判定有无用户的操作(原稿的读取操作)(S11),在没有操作时(S11为“否”),继续步骤S11的处理,待机至用户操作为止。在有用户的操作时(S11为“是”),控制单元227取得由彩色图像输入装置1所读取的原稿获得的原稿图像(S12)。
控制单元227基于取得的原稿图像,计算特征点(S13),基于算出的特征点而计算散列值(特征量)(S14)。控制单元227基于算出的散列值(特征量),对注册格式的散列表2262进行检索,并投票给表示散列值一致的原稿的索引(S15)。再有,这种情况下,控制单元227判定原稿图像的特征点投票给哪个注册格式的哪个特征点,并存储判定结果。
控制单元227将得票数除以原稿图像的最大得票数来计算相似度(S16),判定所算出的相似度是否比阈值Th大(S17)。在相似度比阈值Th大时(S17为“是”),控制单元227进行记入事项判定处理(S18)。再有,记入事项判定处理的细节后面论述。控制单元227输出由记入事项判定处理所获得的判定结果(S19)。再有,彩色图像处理装置2内的CPU(未图示)根据判定结果,进行后述的规定的控制处理。
控制单元227判定是否取得了全部的原稿图像(S20),在没有取得全部的原稿图像时(S20为“否”),继续步骤S12以后的处理。另一方面,在相似度不大于阈值Th时(S17为“否”),控制单元227继续步骤S20以后的处理。在取得了全部的原稿图像时(S20为“是”),控制单元227结束处理。
图23和图24是表示记入事项判定处理的步骤的流程图。控制单元227将被判定为与原稿图像相似的注册格式的坐标系(坐标)变换为原稿图像的坐标系(坐标)(S101)。再有,这种情况下,可以将注册格式的整体进行坐标变换,或者也可以仅进行注册格式的预先确定的记载栏的坐标变换。
控制单元227对判定区域表2265进行检索,从而取得被判定为与原稿图像相似的注册格式的项目名、各个项目名的坐标值(S102),基于取得的坐标值,在原稿图像上及注册格式上确定用于判定记入遗漏的记入事项判定区域(S103)。
控制单元227通过使判定像素数M为‘0’,该判定像素数表示在原稿图像和注册格式的各个像素中具有相同像素值(例如,辉度值)的像素数(S104),并对记入事项判定区域中的原稿图像和注册格式的关注像素进行扫描,从而计算各个关注像素的像素值之间的差分(S105)。
控制单元227判定所算出的差分是否比差分阈值Tg小(S106),在差分比差分阈值Tg小时(S106为“是”),在判定像素数M中加‘1’(S107)。控制单元227判定对于记入事项判定区域中的原稿图像及注册格式的全部像素是否结束了处理(S108),在对于全部像素没有结束处理时(S108为“否”),继续步骤S105以后的处理。
控制单元227在差分不小于差分阈值Tg时(S106为“否”),继续步骤S108以后的处理。在对于全部的像素结束了处理时(S108为“是”),控制单元227判定以(判定像素数M/注册格式的像素数)表示的比率是否大于比率阈值Ts(S109)。
控制单元227在比率大于比率阈值Ts时(S109为“是”),判定为有记入遗漏(S110),记录记入遗漏的项目名(S111),判定全部的判定区域的处理是否结束(S112)。另一方面,控制单元227在比率不大于比率阈值Ts时(S109为“否”),判定为没有记入遗漏(S113),继续步骤S112以后的处理。
控制单元227在判定为没有结束全部的判定区域的处理时(S112为“否”),继续步骤S104以后的处理,在判定为结束了全部的判定区域的处理时(S112为“是”),结束处理。
如上所述,在进行记入事项判定处理时,通过用原稿图像及注册格式中具有相同像素值的像素数和注册格式的像素数之间的比率进行判定,即使是因噪声而原稿图像上的像素成为与原来具有的像素值不同的像素值的情况,通过除以注册格式的像素数而具有能够减小噪声的影响的优点。
彩色图像处理装置2的CPU(未图示)根据记入事项判定处理的判定结果,在有记入遗漏时,将有记入遗漏的意旨及原稿的项目中哪个项目名中有记入遗漏显示在操作面板4上,或者,可以在图像形成装置100所连接的个人计算机的显示器等上显示。此外,在连续多页读取了原稿时,在所读取的原稿的任何一页中有记入遗漏时,也可以显示在所读取的原稿的第几页的原稿上有记入遗漏。
此外,在被判定为有记入遗漏时,不进行复印、编档、电子邮件发送、传真发送等处理。再有,在原稿为多页时,在编档、电子邮件播发、传真发送的处理中,也可以只要有一页记入遗漏的原稿,也不进行这些处理。
图25是表示本发明的原稿读取装置500的结构的方框图。如图所示,原稿读取装置500包括:彩色图像输入装置1、A/D变换单元20、黑斑校正单元21、文件核对处理单元22、原稿移动器机构50等。彩色图像输入装置1、A/D变换单元20、黑斑校正单元21、文件核对处理单元22与上述图像形成装置100的情况相同,所以省略说明。
原稿移动器机构50取得从文件核对处理单元22输出的判定信号,根据所取得的判定信号,将有记入遗漏的原稿和无记入遗漏的原稿区分排出。细节后面论述。
图26是表示本发明的原稿读取装置500的结构的示意图。原稿读取装置500包括:由上部机架510构成的原稿运送单元、由下部机架560构成的扫描器单元等。
在上部机架510中,设有:用于将原稿托架511上所装载的原稿每次运送一页的引入轮(roller)512;为了读取原稿上的图像而运送原稿的运送轮513a、513b;在排出原稿时,基于从文件核对处理单元22所输入的判定信号,使原稿的排出位置相对于原稿的运送方向(排出方向)移动的原稿移动器机构50;检测所排出的原稿的原稿排出传感器567等。再有,原稿移动器机构50构成为可以上下分离为两个。
在下部机架560中,设有:沿装载台561的下表面平行往复移动的扫描组件562、563;成像透镜564;以及作为光电变换元件的CCD行传感器(linesensor)565、原稿移动器机构50、排出托架566等。扫描组件562包括:用于对从原稿托架511所运送的原稿、或装载台561上所装载的原稿照射光的光源562a(例如,卤素灯等)、用于将原稿所反射的光导入到规定的光路的反射镜562b等。此外,扫描组件563包括用于将原稿反射的光导入到规定的光路中的反射镜563a、563b等。
成像透镜564使从扫描组件563导入的反射光成像于CCD行传感器565上的规定的位置。CCD行传感器565将所成像的光像进行光电变换,从而输出电信号。即,基于从原稿(例如,原稿的表面)读取出的彩色图像,将色分解为R(红色)、G(绿色)、B(蓝色)的各个颜色分量的数据输出到彩色图像处理装置2。
图27及图28是表示原稿移动器机构50的结构的横截面图。原稿移动器机构50包括可分离为上下的横截面为矩形状的机架51、52,机架51被支承于下部机架560,机架52被支承于上部机架510。在机架52中,设有:偏移(offset)构件60、旋转驱动源65、驱动传送构件70、用于偏移的驱动源75、用于偏移的驱动传送构件80等。
偏移构件60包括:在水平方向(图中,Y方向,即与原稿排出方向正交的方向)上可移动,机架52的内侧所配置的横截面为矩形状的机架61,沿机架61的纵向方向隔开适当长度的偏移轮62、...等。通过偏移构件60在水平方向上移动,将原稿偏移排出(按原稿的每个分类,将原稿在水平方向上移开而排出)。机架61可自由旋转地支承偏移轮62、...,以将原稿在运送方向上排出。偏移轮62、...在排出原稿时夹住原稿而将它排出到排出托架566。
驱动传送构件70包括:旋转驱动源65上所连接的驱动齿轮71、驱动齿轮71的中央部分所啮合的轴72、轴72上所配置的连结齿轮73a、滑动构件74、与连结齿轮73a进行螺合的连结齿轮73b等,在连结齿轮73b的中央部分,啮合棒状的支承构件63,在支承构件63上,隔开适当长度而固定偏移轮62、...。由此,将来自旋转驱动源65的驱动力传送到偏移轮62、...。
轴72在水平方向上被旋转自由地支承,滑动构件74可以在轴72上滑动。此外,轴72通过滑动构件74、连结齿轮73a、73b,可以使偏移构件60在与原稿的排出(运送)方向正交的方向(水平方向)上移动。此外,轴72为了限制连结齿轮73a、73b、偏移构件60的水平方向的移动范围,在滑动构件74中所设置的轴方向上设置与长孔74a固定连接的限制构件72a。通过限制构件72沿孔74a的内侧移动时与孔74a的两端部接触,从而限制连结齿轮73a、73b、偏移构件60的水平方向的移动范围。
通过来自旋转驱动源65的驱动力传送到驱动齿轮71,驱动齿轮71进行旋转,轴72旋转,随着轴72的旋转,旋转传送到连结齿轮73a、73b,支承构件63通过连结齿轮73b的旋转而旋转,从而偏移轮62旋转。分别与偏移轮62、...接触,从动于偏移轮62、...的旋转而旋转的偏移轮64、...配置在与支承构件63并排配置的支承构件68上。
上部机架510、下部机架560各自中所配置的用于偏移的驱动源75、75上,分别连接由小齿轮81、齿条齿轮82构成的用于偏移的驱动传送构件80、80,在齿条齿轮82、82,机架61、61进行固定。随着小齿轮81的旋转,使齿条齿轮82在水平方向(图中,Y方向)上移动。由此,齿条齿轮82、82使机架61、61在水平方向上移动。用于偏移的驱动源75、75根据从文件核对处理单元22输出的判定信号而被同步控制,使机架61、61移动到水平方向不同的位置。由此,偏移轮62、...、及偏移轮64、...被同时向相同方向偏移(移动),从而原稿的排出位置受到控制。
图28中,与图27的情况比较,偏移轮62、...、及偏移轮64、...被偏移。
图29是表示原稿的排出位置的说明图。在图中,作为一例,表示将所读取出的原稿区分为与注册格式相似的原稿(种类C1)、与注册格式不相似的原稿(种类C2)、以及与注册格式相似并且有记入遗漏的原稿(种类C3)三种情况。例如,根据种类C1、C2、C3,在与原稿的排出(运送)方向正交的方向(Y方向)上,使原稿的排出位置如Y1、Y2、Y3那样,例如偏移(移动)1英寸左右。由此,在用户读取多个原稿时,不仅与以往相比可以容易地分类与注册格式相似的原稿,而且还可以区分并分类有记入遗漏的原稿,提高用户的便利性。再有,原稿的偏移量(移动量)不限定于1英寸。
图30A至图30D是表示通知记入遗漏的画面显示例子的说明图。如图30A至图30D所示,作为有记入遗漏的情况下的画面显示,有表示有记入遗漏的意旨的‘在原稿(文件名XXX)中有记入遗漏。’、为了还告知记入遗漏部位而‘原稿(文件名XXX)的姓名栏没有被记入。’在读取多个原稿时表示有记入遗漏的原稿页的‘在第○○页的原稿上有记入遗漏。’、表示区分排出有记入遗漏的原稿的‘在原稿的XXX中有记入遗漏。与其他原稿区分排出了。’等。再有,画面显示例不限定于这些。
实施方式2
作为所读取的原稿的用纸,不限于白色的用纸,有时也使用再生纸、或浅着色的用纸。即使是这样的情况,通过进行原稿图像的衬底除去处理,可以高精度地判定有无记入遗漏。这种情况下,可以由文件核对处理单元22进行衬底除去处理(在文件核对处理单元22中设置衬底除去处理单元)。或者,也可以在黑斑校正单元21的后级设置输入色调校正单元23,在输入色调校正单元23的后级设置文件核对处理单元22,由输入色调校正单元23进行衬底除去处理。
在对于原稿图像进行衬底除去的情况下,对于注册格式也实施衬底除去处理后进行注册。或者,对于原稿图像,进行衬底除去,以使它成为与注册格式的衬底相同等级的衬底。通过适当地设定在进行衬底除去时的浓度校正表,这是可能的。
文件核对处理单元22从黑斑校正单元21所输入的RGB信号中提取将G信号进行了校正反转所得的信号,例如,将256等级的浓度分割为16个分区,从而形成原稿图像的浓度直方图。
此外,将被判断为衬底时的浓度值的最大值预先作为第1阈值存储在存储器226中,同时将如果在多少像素数以上就判断为衬底,即,被判断为衬底的像素数的最小值预先作为第2阈值存储在存储器226中。此外,对应于被判断为衬底的浓度分区,将用于除去衬底的浓度校正表存储在存储器226中。
文件核对处理单元22通过从所生成的浓度直方图的高浓度侧起进行检索,在被判断为衬底的第1阈值以下的浓度分区中,将像素数为第2阈值以上的浓度分区作为衬底来提取。文件核对处理单元22根据对应于作为衬底而提取的浓度分区的浓度校正表,进行衬底除去处理。再有,也可以使用辉度信号(255-Yj),取代G信号。这里,将各像素RGB的色分量分别设为Rj、Gj、Bj,Yj以Yj=0.30×Rj+0.59×Gj+0.11Bj表示。
图31和图32是表示实施方式2的记入事项判定处理步骤的流程图。控制单元227将被判定为与原稿图像相似的注册格式的坐标系(坐标)变换为原稿图像的坐标系(坐标)(S121)。再有,这种情况下,与实施方式1同样,可以将注册格式的整体进行坐标变换,或者也可以仅进行注册格式的所设定的记载栏的坐标变换。
控制单元227通过基于将从原稿图像提取出的G信号进行了校正反转所得的信号,生成原稿图像的浓度直方图(S122),并从所生成的浓度直方图的高浓度侧起进行检索,从而提取衬底(S123)。控制单元227使用对应于作为衬底而提取的浓度分区的浓度校正表,除去原稿图像的衬底(S124)。
控制单元227对判定区域表2265进行检索而取得被判定为与原稿图像相似的注册格式的项目名、各个项目名的坐标值(S125),基于取得的坐标值,在原稿图像上及注册格式上确定用于判定记入遗漏的记入事项判定区域(S126)。
控制单元227通过使判定像素数M为‘0’,该判定像素数表示在原稿图像和注册格式的各个像素中具有相同像素值(例如,辉度值)的像素数(S127),并对记入事项判定区域中的原稿图像和注册格式的关注像素进行扫描,从而计算各个关注像素的像素值之间的差分(S128)。
控制单元227判定所算出的差分是否比差分阈值Tg小(S129),在差分比差分阈值Tg小时(S129为“是”),在判定像素数M中加‘1’(S130)。控制单元227判定对于记入事项判定区域中的原稿图像及注册格式的全部像素是否结束了处理(S131),在对于全部像素没有结束处理时(S131为“否”),继续步骤S128以后的处理。
控制单元227在差分不小于差分阈值Tg时(S129为“否”),继续步骤S131以后的处理。在对于全部的像素结束了处理时(S131为“是”),控制单元227判定以(判定像素数M/注册格式的像素数)表示的比率是否大于比率阈值Ts(S132)。
控制单元227在比率大于比率阈值Ts时(S132为“是”),判定为有记入遗漏(S133),记录记入遗漏的项目名(S134),判定全部的判定区域的处理是否结束(S135)。另一方面,控制单元227在比率不大于比率阈值Ts时(S132为“否”),判定为没有记入遗漏(S136),继续步骤S135以后的处理。
控制单元227在判定为没有结束全部的判定区域的处理时(S135为“否”),继续步骤S127以后的处理,在判定为结束了全部的判定区域的处理时(S135为“是”),结束处理。
由此,即使是所读取的原稿的用纸是再生纸,或是使用浅着色的用纸,也可以高精度地判定有无记入遗漏。
实施方式3
在实施方式1、2中,在判定有无记入遗漏的情况下,是使用以(判定像素数M/注册格式的像素数)表示的比率的结构,但记入遗漏判定处理不限于此,也可以通过文件核对处理单元22计算像素数来实现。
图33和图34是表示实施方式3的记入事项判定处理步骤的流程图。控制单元227将被判定为与原稿图像相似的注册格式的坐标系(坐标)变换为原稿图像的坐标系(坐标)(S141)。再有,这种情况下,可以将注册格式的整体进行坐标变换,或者也可以仅进行注册格式的预先确定的记载栏的坐标变换。
控制单元227对判定区域表2265进行检索而取得被判定为与原稿图像相似的注册格式的项目名、各个项目名的坐标值(S142),基于取得的坐标值,在原稿图像上及注册格式上确定用于判定记入遗漏的记入事项判定区域(S143)。
控制单元227通过使判定像素数M为‘0’,该判定像素数表示在原稿图像和注册格式的各个像素中具有相同像素值(例如,辉度值)的像素数(S144),并对记入事项判定区域中的原稿图像和注册格式的关注像素进行扫描,从而计算各个关注像素的像素值之间的差分(S145)。
控制单元227判定所算出的差分是否比差分阈值Tg小(S146),在差分比差分阈值Tg小时(S146为“是”),在判定像素数M中加‘1’(S147)。控制单元227判定对于记入事项判定区域中的原稿图像及注册格式的全部像素是否结束了处理(S148),在对于全部像素没有结束处理时(S148为“否”),继续步骤S145以后的处理。
控制单元227在差分不小于差分阈值Tg时(S146为“否”),继续步骤S148以后的处理。在对于全部的像素结束了处理时(S148为“是”),控制单元227对判定像素数M是否大于像素数阈值进行判定(S149)。
控制单元227在判定像素数M大于像素数阈值时(S149为“是”),判定为有记入遗漏(S150),记录记入遗漏的项目名(S151),判定全部的判定区域的处理是否结束(S152)。另一方面,控制单元227在判定像素数M不大于像素数阈值时(S149为“否”),判定为没有记入遗漏(S153),继续步骤S152以后的处理。
控制单元227在判定为没有结束全部的判定区域的处理时(S152为“否”),继续步骤S144以后的处理,在判定为结束了全部的判定区域的处理时(S152为“是”),结束处理。
通过构成为计算像素数,无论原稿的记载栏的面积的大小,即使是有很少的记入遗漏的情况,也可以高精度地判定有无记入遗漏。
这种情况下,记入事项判定处理,在判定区域(判定部位)中,计算所取得的原稿图像及注册格式(注册图像)具有的像素值之间的差分,将算出的差分值与规定的阈值(差分阈值)进行比较,从而计算像素值大致相同的像素的像素数(判定像素数),将算出的判定像素数与规定的阈值进行比较(比较大小),并根据比较结果进行有无记入遗漏的判定。
在上述实施方式3中,是基于原稿图像和注册格式的关注像素的像素值大致相等的像素的数目,判定有无记入遗漏的结构,但不限于此,例如,通过计算记入遗漏判定区域内的原稿图像和注册格式的关注像素的像素值为不同的像素数,将算出的像素数和规定的阈值进行比较,也可以判定有无记入遗漏。这种情况下,可以是判定像素值不同的像素数是否比规定的阈值小,在像素值不同的像素数比规定的阈值小时,判定为有记入遗漏,在像素值不同的像素数不小于规定的阈值时,判定为没有记入遗漏。
此外,也可以将记入遗漏判定区域内的原稿图像及注册格式以规定的二值化阈值进行二值化,计算二值化后的像素数,根据算出的像素数之间的差异的大小而判定记入遗漏。这种情况下,例如,可以在原稿图像的像素数和注册格式的像素数之间的差分比规定的像素数阈值小时,判定为有记入遗漏,在差分不比规定的像素数阈值小时,判定为没有记入遗漏。此外,也可以计算原稿图像的黑色像素的数目,取代计算二值化后的像素数的结构。
而且,可以将根据图23和图24(或图31和图32)所示的比率而判定有无记入遗漏的处理与图33和图34所示的计算像素数而判定有无记入遗漏的处理同时使用。这种情况下,控制单元227在以(判定像素数M/注册格式的像素数)表示的比率大于比率Ts,并且判定像素数M比像素数阈值大时,判定为有记入遗漏,在以(判定像素数M/注册格式的像素数)表示的比率不大于比率阈值Ts,并且判定像素数M不大于像素数阈值时,判定为没有记入遗漏。再有,在不满足任何一个判定条件的情况下,可以根据原稿的种类等,使任何一个的判定结果优先。
通过同时使用基于比率的记入遗漏判定和基于像素数的记入遗漏判定,可以进一步提高有无记入遗漏的判定精度。
实施方式4
在上述实施方式1至3中,表示了设有原稿移动器机构50的结构,但原稿移动器机构不限定于在排出原稿时进行偏移的结构,也可以是使排出托架在与原稿的排出(运送)方向正交的方向可移动的结构。这种情况下,不必在原稿移动器机构中使原稿移动,而使原稿排出(运送)的机构即可。
图35是表示使排出托架可移动的情况下的原稿移动器机构300的结构的示意图,图36是表示原稿移动器机构300的结构的横截面图。原稿移动器机构300包括:原稿读取装置本体上所固定的支承托架构件301和支承托架构件301的上侧所配置的可动托架构件302等。再有,关于原稿读取装置500的结构,由于与实施方式1相同,所以在相同部位上附加相同标号,并省略说明。
支承托架构件301中,设有比外形尺寸稍小的平面看为矩形状的凹部303,以容纳于凹部303的形状,金属制的两根相互大致平行的棒状的导向轴304、305被隔开适当长度而安装。具体地说,使导向轴304、305分别插通在支承托架构件301的侧壁上形成的通孔310、311、312、313、从凹部303的底面隔开适当长度竖立设置的轴承306、307、308、309中,同时由轴承306、307、308、309支承。
在凹部303中央部分,设有驱动组件(未图示),该组件包括:电机、内置了齿轮系的减速变速箱(未图示)、小齿轮314等,电机的旋转通过齿轮系被减速并传送给小齿轮314。在可动托架构件302的上面内侧,安装有与导向轴304、305平行地配置,并与小齿轮314啮合的齿条315。通过小齿轮314进行旋转,齿条315在导向轴304、305的轴方向上进行移动。
此外,在可动托架构件302的侧边缘部分,沿侧边缘(沿原稿的运送方向)形成突条部316、317,各个突条部316、317中,设有被插入导向轴304、305的端部、支承导向轴304、305的轴承320、321、322、323。通过以上的结构,在将电机进行驱动而使小齿轮314旋转时,小齿轮314的旋转被传送到齿条315,可动托架构件302被导向到导向轴304、305,相对于支承托架构件301,在与片材的运送方向正交的方向(图中箭头方向)上移动。再有,作为使可动托架构件302移动的部件,不限定于齿条及小齿轮机构,也可以采用传送带机构或线性电机等其他机构。
在与原稿的排出(运送)方向正交的方向上使可动托架构件302移动时,例如,与实施方式1同样,可以移动1英寸左右。由此,在用户读取多个原稿时,不仅与以往相比可以容易地分类与注册格式相似的原稿,而且还可以区分并分类有记入遗漏的原稿,提高用户的便利性。再有,原稿的偏移量(移动量)不限定于1英寸。
实施方式5
在上述实施方式1至4中,是在排出原稿时进行偏移的结构,但将原稿区分排出的方法不限于此,也可以构成为将排出托架设置多个,根据判定信号来切换将原稿排出的排出托架。
图37是表示实施方式5的原稿读取装置501的结构的示意图。原稿运送单元520包括:原稿托架521、可进行转动并可将在原稿托架521上叠层装载的原稿每次运送一张的引入轮522a及梳理轮522b、用于将所运送的原稿运送到排出托架527a、527b、527c的运送路径525、在运送路径525的中途所适当设置的阻挡轮524a、运送轮524b、及排出轮524c等。
排出轮524c的下游侧,设有用于切换将原稿排出的排出托架的活门(gate)523b、523d(利用挠性或自重而位于下方向)、523c,在活门523d和活门523c之间,配置有运送轮524d。在排出原稿的情况下,基于判定信号,对活门523b、523d、523c进行驱动,从而所读取的原稿与注册格式相似的原稿(种类C1)排出到排出托架527a,与注册格式不相似的原稿(种类C2)排出到排出托架527b,与注册格式相似,并且有记入遗漏的原稿(种类C3)排出到排出托架527c。
即,在排出种类C1的原稿时,通过将活门523b向上方向进行驱动,从而将原稿排出到排出托架527a。而在排出种类C2的原稿时,通过将活门523b向下方向进行驱动,将活门523c向上方向进行驱动,从而将原稿排出到排出托架527b。此外,在排出种类C3的原稿时,通过将活门523b向下方向进行驱动,将活门523c向下方向进行驱动,从而将原稿排出到排出托架527c。
在原稿托架521的原稿装载面上,设有用于检测有无原稿的原稿传感器521a。原稿传感器521a在原稿托架521中所装载的原稿被全部运送时,输出用于表示不存在原稿的信号。由此,可以判定原稿的运送是否全部结束。
在梳理轮522b的下游侧,设有与运送路径525分离,弯曲大致180度的原稿运送路径526。在原稿运送路径526的中途,设有可转动的原稿轮524e,被安装有排出托架527c,以连结到原稿运送路径526。引入轮522a、梳理轮522b、以及原稿轮524e通过轮驱动单元(未图示),进行正向旋转及反向旋转。
在运送路径525和原稿运送路径526之间的分支点,配置通过活门驱动单元(未图示)可摇动的活门523a,通过活门523a被向下方驱动,原稿托架521中所装载的原稿被运送到运送路径525侧。另一方面,通过活门523a被向上方驱动,将排出托架527c中所临时排出的原稿运送到原稿托架521。即,在本实施方式中,在需要连续读取有记入遗漏的原稿的情况下,可以自动地进行再次读取。
下部机架560所构成的扫描器单元与实施方式1至4相同,所以对相同的部位附加相同标号而省略说明。
实施方式6
在实施方式5中,是在原稿读取装置501中内置多个排出托架的结构,但将原稿分类排出的方法不限于此,也可以是其他结构。例如,也可以是取代排出托架,追加包括了多级排出托架的选择机构的结构。
图38是表示实施方式6的原稿读取装置502的结构的示意图。如图所示,设有用于将原稿分类排出的选择机构530。选择机构503包括:排出托架534a、534b、534c、534d、将用于分为各个排出托架而排出原稿的原稿运送路径切换的活门533、...、排出轮532、...等。
实施方式7
在上述各个实施方式中,在判定有无记入遗漏的情况下,是将原稿图像和注册格式的像素值进行比较的结构,但判定有无记入遗漏并不限于此,也可以仅用原稿图像判定有无原稿图像的记入遗漏而不与注册格式的像素值进行比较。
图39是表示实施方式7的记入事项判定处理单元228的结构的方框图。记入事项判定处理单元228包括:像素值计算单元2281、分布计算单元2282、边缘像素判定单元2283、判定单元2284等。由控制单元227控制上述各个单元的处理。此外,由上述各个单元求出的数据被存储在存储器226中。记入事项判定处理单元228与实施方式1同样,在进行原稿图像中是否有记入遗漏的判定处理之前,进行原稿图像和注册格式的位置重合的位置重合处理和确定记入遗漏的判定区域的处理。有关这些处理的内容,由于与实施方式1相同,所以省略说明。
像素值计算单元2281对于包含了所输入的原稿图像(图像数据)的关注像素的多个像素组成的像素块(例如,由7×7像素构成的第1像素块)内各个像素,计算包含了该像素的多个像素组成的像素块(例如,由7×7像素构成的第2像素块)内各个像素的浓度值的平均值,并将算出的平均值作为该像素的像素值。由此,可以求包含了关注像素的第1像素块内各个像素(在上述例子中,为49个像素)的平均值。再有,所计算的像素值不限定于平均值,也可以求第2像素块内各个像素的浓度值的中心值等其他的值。
分布计算单元2282检索由包含关注像素的多个像素组成的第1像素块内各个像素的平均值,并计算第1像素块内的最大浓度差。再有,所计算的值不限定于最大浓度差,只要是能够掌握第1像素块内的像素值分布,也可以计算分散值等。
边缘像素判定单元2283比较由分布计算单元2282算出的最大浓度差和预先确定的边缘判定阈值(例如,30),在最大浓度差大于边缘判定阈值时,判定为第1像素块内的关注像素是边缘像素,同时在边缘像素数上加上1,从而计算边缘像素数。
再有,对于原稿图像的所有关注像素,重复进行上述像素值计算、分布计算、边缘像素判定的各个处理。
判定单元2284对每个原稿图像,比较由边缘像素判定单元2283所计数的边缘像素数和规定的第1判定阈值(例如,5000),在边缘像素数大于第1判定阈值时,判定为在原稿图像中没有记入遗漏,即,判定为有写入,而在边缘像素数小于第1判定阈值时,判定为在原稿图像中有记入遗漏,即,判定为没有写入。
记入事项判定处理单元228在原稿图像为彩色原稿时,可以对RGB的每个平面(plane)(每个颜色分量)进行上述各个处理。此外,通过在多个颜色分量中,在任何一个的颜色分量的最大浓度差大于边缘判定阈值时,将关注像素判定为边缘像素,从而不一定进行衬底除去。再有,可以只对一部分颜色分量进行上述各个处理。这种情况下,可以减轻处理劳动。
图40是表示实施方式7的记入事项判定处理单元228的处理步骤的流程图。再有,文件核对处理与上述实施方式同样,不仅可以由专用硬件电路构成,也可以通过在包括了CPU、RAM、ROM等的个人计算机中,加载用于决定了文件核对处理的步骤的计算机程序,从而由CPU执行计算机程序。
控制单元227将被判定为与原稿图像相似的注册格式的坐标系(坐标)变换为原稿图像的坐标系(坐标)(S161)。再有,这种情况下,可以将注册格式的整体进行坐标变换,或者也可以仅进行注册格式的预先确定的记载栏的坐标变换。
控制单元227对判定区域表2265进行检索而取得被判定为与原稿图像相似的注册格式的项目名、各个项目名的坐标值(S162),基于所取得的坐标值,在原稿图像上确定用于判定记入遗漏的记入事项判定区域(S163)。
控制单元227计算包含了关注像素的像素块(第1像素块)内的各个像素的平均值(S164),对算出的平均值进行检索而计算第1像素块的最大浓度差(S165)。
控制单元227判定所算出的最大浓度差是否大于边缘判定阈值(例如,30)(S166),在最大浓度差大于边缘判定阈值时(S166为“是”),将关注像素作为边缘像素,从而对边缘像素进行计数(S167)。这种情况下,通过每次被判定为边缘像素时,在边缘像素数上加上1,对边缘像素进行计数。在最大浓度差不大于边缘判定阈值时(S166为“否”),控制单元227不对边缘像素数进行计数而进行后述的步骤S168的处理。
控制单元227判定是否结束了原稿图像的全部像素的处理(S168),在没有结束全部像素的处理时(S168为“否”),转移到下一个关注像素,继续步骤S164以后的处理。在结束了全部像素的处理时(S168为“是”),即,在结束了对于原稿图像内的全部像素的处理时,控制单元227判定所计数的边缘像素数是否大于第1判定阈值(例如,5000)(S169)。
在边缘像素数大于第1判定阈值时(S169为“是”),控制单元227判定为在原稿图像中没有记入遗漏(S170),结束处理。此外,在边缘像素数不大于第1判定阈值时(S169为“否”),控制单元227判定为在原稿图像中有记入遗漏(S171),结束处理。
在实施方式7,可以不使用注册格式的图像数据,只用原稿图像的图像数据判定有无记入遗漏。此外,通过对每个颜色分量,计算由包含了关注像素的多个像素所组成的像素块(第1像素块)内的浓度值的平均值,可以抑制孤立点、读取时的噪声的影响,而且可以抑制原稿表面部分的污染、原稿的表面部分所附着的灰尘的影响,可以提高有无记入遗漏的判定精度。
实施方式8
在上述各实施方式,对于原稿图像判定有无记入遗漏,但本发明不限定于原稿图像,对于电子数据(由应用软件所生成的数据)或电子化数据(将扫描器读入的数据变换为JPEG或PDF等规定的文件格式后的数据),也可以采用本发明。
例如,将以电子数据或电子化数据的形态提出的数据存储在服务器中,对于这些数据,可以将本发明作为应用软件来采用。上述数据优选是以电子数据、每个文件格式来存储。
对于电子数据,由于可使用多种软件,所以例如使用RIP(光栅(raster)图像处理器),解释PDL(页记述语言),变换为光栅图像(RGB数据)后采用本发明的方法即可。
此外,对于电子化数据,例如,在进行了JPEG或GIF等编码的图像格式的情况下,进行一次解码处理,而且根据需要,在将YCC信号变换为RGB信号等的色变换处理后,采用本发明的方法即可。
PDF格式的情况下,在图像数据以JPEG等被编码的图像格式来保存时,进行解码处理而变换为RGB信号后,采用本发明的方法即可,对于字体(font)等的矢量数据部分,在通过RIP等变换为RGB的图像数据后,采用本发明的方法即可。PDF格式的情况下,可以将每个对象(文本、图像或照片等)的信息作为标记(tag)来保存,参考该信息进行数据的变换。例如,在文本的情况下,对象的信息是字体、点数、颜色、显示位置等,在照片的情况下,对象的信息是编码的方法、大小、显示位置等。
如以上说明,在本发明中,在进行原稿图像的相似判定时,可以高精度地判定原稿图像的记入遗漏(记载遗漏)。此外,在有记入遗漏时,可以容易地判断记入遗漏的部位。
此外,通过在判定原稿图像中是否有记入遗漏的前级进行原稿图像的衬底除去,从而即使在所读取的原稿的用纸为再生纸或浅着色的用纸等与注册图像有所不同的情况下,也可以高精度地判定有无记入遗漏。
此外,能够仅用所取得的原稿图像来高精度地判定原稿图像的记入遗漏,而不需要比较原稿图像和注册图像的像素值。此外,能够抑制原稿图像中的孤立点、读取时的噪声的影响,或者原稿的表面部分的污染或表面部分所附着的灰尘的影响,可以进一步提高记入遗漏的判定精度。
此外,在排出原稿时,可以将记入遗漏的原稿和无记入遗漏的原稿分开。特别是在读取多张原稿时,可以从所排出的许多原稿之中简单地分开记入遗漏的原稿,可以提高用户使用的便利性。而且,可以容易地区分记入遗漏的原稿。
在上述实施方式,是将注册格式、散列表2262预先存储在存储器226中的结构,但不限定于此,也可以在与图像形成装置100通过通信线路(网络)所连接的服务器装置的存储单元中存储注册格式,使散列表2262被分散存储在存储器226中。
在上述实施方式中,作为彩色图像输入装置1,例如,使用了平板式扫描器、胶片式扫描器、数字照相机、移动电话等。此外,作为彩色图像输出装置3,例如,使用了CRT显示器、液晶显示器等的图像显示装置、将处理结果输出到记录纸等上的电子照相方式或喷墨方式的打印机等。而且,作为图像形成装置100,也可以包括作为用于通过网络而连接到服务器装置等的通信部件的调制解调器等。此外,也可以是取代从彩色图像输入装置1取得彩色图像数据,通过网络而从外部存储装置、服务器装置等取得彩色图像数据的结构。
在上述实施方式,在文件核对处理单元22中是包括存储器226、控制单元227的结构,但不限定于此,也可以是将存储器226、控制单元227设置在文件核对处理单元22的外部的结构。
本发明也可以在记录了用于使计算机执行的程序代码(执行形式程序、中间代码程序、源程序)的计算机可读取的记录媒体中,记录用于进行文件核对处理、记入遗漏通知处理、原稿的排出控制处理等的程序代码。其结果,可以携带自由地提供记录了进行上述处理的程序代码的记录媒体。作为记录媒体,用于由微型计算机进行处理而未图示的存储器,例如可以是ROM那样的程序介质,也可以是设置作为未图示的外部存储装置的程序读取装置,通过将记录媒体插入在其内而可读取的程序介质。
可以是在任何的情况下,所存储的程序代码都由微处理器存取并执行的结构,也可以是读出程序代码,所读出的程序代码被下载到微计算机的未图示的程序存储区域中,该程序代码被执行的方式。这种情况下,假设用于下载的计算机程序被预先存储在本体装置中。
这里,上述程序媒体是被构成为可与本体分离的记录媒体,也可以是磁带或盒式磁带等的磁带类、软盘或硬盘等磁盘及CD-ROM/MO/MD/DVD等光盘的盘类、IC卡(包含存储器卡)/光卡等卡类、或者掩模ROM、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically ErasableProgrammable Read Only Memory)、包含了闪速ROM等的半导体存储器的具有固定的程序代码的媒体。
此外,这种情况下,由于是可连接包含了因特网的通信网络的系统结构,所以也可以是从通信网络下载程序代码那样具有流动性的程序代码的媒体。再有,在这样从通信网络下载程序代码的情况下,将用于这种下载的计算机程序预先存储在本体装置中,或者也可以从其他记录媒体进行安装。再有,即使是以电子式传输方式来具体实现上述程序代码,以埋入在载波的计算机数据信号的形态,也可以实现本发明。
Claims (7)
1.一种图像处理方法,用于判定所取得的原稿图像有无记载遗漏,该方法包括以下步骤:
判定所取得的原稿图像是否与预先存储的注册图像相似;
对于所取得的原稿图像进行衬底除去;
在被判定为原稿图像与注册图像相似时,判定所取得的原稿图像在与对于所述注册图像所确定的一个或多个部位对应的判定部位上是否有记载遗漏;以及
输出判定结果,
所述记载遗漏的判定如下来进行:
在判定部位中,计算进行了衬底除去所得到的原稿图像以及注册图像具有的像素值之间的差分,将所算出的差分值与规定的差分阈值进行比较,从而计算像素值大致相同的像素的像素数,计算将所算出的像素数除以判定部位中的注册图像具有的全部像素数所得的比率,将所算出的比率与规定的比率阈值进行比较,在所算出的比率大于比率阈值时,判定为在原稿图像中有记载遗漏,在所算出的比率小于比率阈值时,判定为在原稿图像中没有记载遗漏。
2.如权利要求1所述的图像处理方法,其中,还包括以下步骤:通知被判定为有记载遗漏的原稿图像的记载遗漏部位。
3.一种图像处理装置,用于判定所取得的原稿图像有无记载遗漏,它包括:
相似度判定处理单元,判定所取得的原稿图像是否与预先存储的注册图像相似;衬底除去单元,对于所取得的原稿图像进行衬底除去;记入事项判定处理单元,在被判定为原稿图像与注册图像相似时,判定所取得的原稿图像在与对于所述注册图像所确定的一个或多个部位对应的判定部位上是否有记载遗漏;以及判定结果输出单元,输出判定结果,
所述记入事项判定处理单元如下来判定是否有记载遗漏:在判定部位中,计算由所述衬底除去单元进行了衬底除去所得到的原稿图像以及注册图像具有的像素值之间的差分,将所算出的差分值与规定的差分阈值进行比较,从而计算像素值大致相同的像素的像素数,计算将所算出的像素数除以判定部位中的注册图像具有的全部像素数所得的比率,将所算出的比率与规定的比率阈值进行比较,在所算出的比率大于比率阈值时,判定为在原稿图像中有记载遗漏,在所算出的比率小于比率阈值时,判定为在原稿图像中没有记载遗漏。
4.如权利要求3所述的图像处理装置,其中,还包括:
通知单元,通知被判定为有记载遗漏的原稿图像的记载遗漏部位。
5.一种原稿读取装置,包括:
原稿读取单元,读取多个原稿;
权利要求3至权利要求4的任何一项所述的图像处理装置;以及
原稿排出单元,在该图像处理装置判定为在所述原稿读取单元所读取的原稿图像中有记载遗漏时,将有记载遗漏的原稿区分排出。
6.如权利要求5所述的原稿读取装置,其中,
所述原稿排出单元使有记载遗漏的原稿的排出位置从没有记载遗漏的原稿的排出位置移开。
7.一种图像形成装置,包括:
权利要求3至权利要求4的任何一项所述的图像处理装置;以及
图像形成单元,基于该图像处理装置所处理的原稿图像而形成输出图像。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006253143 | 2006-09-19 | ||
JP253143/06 | 2006-09-19 | ||
JP2007218864A JP2008102907A (ja) | 2006-09-19 | 2007-08-24 | 画像処理方法、画像処理装置、原稿読取装置、画像形成装置、コンピュータプログラム及び記録媒体 |
JP218864/07 | 2007-08-24 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101149793A CN101149793A (zh) | 2008-03-26 |
CN101149793B true CN101149793B (zh) | 2010-09-29 |
Family
ID=39188680
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2007101547824A Expired - Fee Related CN101149793B (zh) | 2006-09-19 | 2007-09-19 | 图像处理方法和装置、原稿读取装置及图像形成装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US8116513B2 (zh) |
JP (1) | JP2008102907A (zh) |
CN (1) | CN101149793B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101571698B (zh) * | 2008-05-02 | 2011-12-07 | 夏普株式会社 | 图像对照方法、图像对照装置、及图像数据输出处理装置 |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5096776B2 (ja) * | 2007-04-04 | 2012-12-12 | キヤノン株式会社 | 画像処理装置及び画像検索方法 |
JP5003443B2 (ja) * | 2007-12-04 | 2012-08-15 | セイコーエプソン株式会社 | 画像処理装置および画像形成装置並びに画像処理方法,プログラム |
US8271483B2 (en) * | 2008-09-10 | 2012-09-18 | Palo Alto Research Center Incorporated | Method and apparatus for detecting sensitive content in a document |
JP5173721B2 (ja) * | 2008-10-01 | 2013-04-03 | キヤノン株式会社 | 文書処理システム及びその制御方法、プログラム、記憶媒体 |
JP5415736B2 (ja) * | 2008-10-01 | 2014-02-12 | キヤノン株式会社 | 文書処理システム及びその制御方法、プログラム、記憶媒体 |
CN101668105B (zh) * | 2009-09-12 | 2011-07-13 | 苏州佳世达电通有限公司 | 自动识别扫描区域边界的方法 |
JP2012033022A (ja) * | 2010-07-30 | 2012-02-16 | Panasonic Corp | 空間における変化領域検出装置及び方法 |
JP5841418B2 (ja) * | 2011-12-01 | 2016-01-13 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP5796034B2 (ja) * | 2013-03-28 | 2015-10-21 | 京セラドキュメントソリューションズ株式会社 | 画像処理装置 |
JP2017174030A (ja) * | 2016-03-23 | 2017-09-28 | 富士ゼロックス株式会社 | 画像処理装置及び画像処理プログラム |
JP6690089B2 (ja) * | 2016-04-25 | 2020-04-28 | 富士通株式会社 | 帳票認識方法、帳票認識装置、及び帳票認識プログラム |
JP6809128B2 (ja) * | 2016-10-24 | 2021-01-06 | 富士通株式会社 | 画像処理装置、画像処理方法、および画像処理プログラム |
WO2018184255A1 (zh) * | 2017-04-06 | 2018-10-11 | 华为技术有限公司 | 图像校正的方法和装置 |
SG11201811691RA (en) | 2017-06-30 | 2019-01-30 | Beijing Didi Infinity Technology & Development Co Ltd | Systems and methods for verifying authenticity of id photo |
US11275933B2 (en) * | 2018-08-24 | 2022-03-15 | Genpact Luxembourg S.Á R.L | Systems and methods for segmentation of report corpus using visual signatures |
CN116309760B (zh) * | 2023-05-26 | 2023-09-19 | 安徽高哲信息技术有限公司 | 谷物的图像对齐方法及谷物检测设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1201169A (zh) * | 1997-05-29 | 1998-12-09 | 株式会社东芝 | 图象形成设备及图象处理设备 |
CN1218917A (zh) * | 1997-11-29 | 1999-06-09 | 三星电子株式会社 | 图像处理装置及方法 |
CN1774026A (zh) * | 2004-11-11 | 2006-05-17 | 夏普株式会社 | 原稿读取装置 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04150253A (ja) | 1990-10-09 | 1992-05-22 | Nec Gumma Ltd | ファクシミリ装置 |
JPH04299787A (ja) | 1991-03-28 | 1992-10-22 | Oki Electric Ind Co Ltd | ファクシミリ文字認識処理方法 |
JP3049684B2 (ja) * | 1993-12-10 | 2000-06-05 | 京セラミタ株式会社 | 画像形成装置、および画像形成装置の出力階調調整方法 |
US5465353A (en) * | 1994-04-01 | 1995-11-07 | Ricoh Company, Ltd. | Image matching and retrieval by multi-access redundant hashing |
JP3469345B2 (ja) | 1995-03-16 | 2003-11-25 | 株式会社東芝 | 画像のファイリング装置及びファイリング方法 |
JP3491636B2 (ja) | 2003-03-05 | 2004-01-26 | 株式会社日立製作所 | 帳票処理方法およびシステム |
JP4366119B2 (ja) * | 2003-05-29 | 2009-11-18 | キヤノン株式会社 | 文書処理装置 |
JP2005167481A (ja) | 2003-12-01 | 2005-06-23 | Glory Ltd | 画像処理装置、画像処理プログラムおよび画像処理方法 |
WO2006092957A1 (ja) | 2005-03-01 | 2006-09-08 | Osaka Prefecture University Public Corporation | 文書・画像検索方法とそのプログラム、文書・画像登録装置および検索装置 |
JP4257925B2 (ja) | 2006-08-24 | 2009-04-30 | シャープ株式会社 | 画像処理方法、画像処理装置、原稿読取装置、画像形成装置、コンピュータプログラム及び記録媒体 |
-
2007
- 2007-08-24 JP JP2007218864A patent/JP2008102907A/ja active Pending
- 2007-09-18 US US11/902,029 patent/US8116513B2/en not_active Expired - Fee Related
- 2007-09-19 CN CN2007101547824A patent/CN101149793B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1201169A (zh) * | 1997-05-29 | 1998-12-09 | 株式会社东芝 | 图象形成设备及图象处理设备 |
CN1218917A (zh) * | 1997-11-29 | 1999-06-09 | 三星电子株式会社 | 图像处理装置及方法 |
CN1774026A (zh) * | 2004-11-11 | 2006-05-17 | 夏普株式会社 | 原稿读取装置 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101571698B (zh) * | 2008-05-02 | 2011-12-07 | 夏普株式会社 | 图像对照方法、图像对照装置、及图像数据输出处理装置 |
Also Published As
Publication number | Publication date |
---|---|
US20080069450A1 (en) | 2008-03-20 |
CN101149793A (zh) | 2008-03-26 |
JP2008102907A (ja) | 2008-05-01 |
US8116513B2 (en) | 2012-02-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101149793B (zh) | 图像处理方法和装置、原稿读取装置及图像形成装置 | |
JP4257925B2 (ja) | 画像処理方法、画像処理装置、原稿読取装置、画像形成装置、コンピュータプログラム及び記録媒体 | |
CN101184137B (zh) | 图像处理方法和装置、图像读取及形成设备 | |
US8107734B2 (en) | Image processing apparatus, and method for performing document matching using extracted feature points of connected image components | |
US8320683B2 (en) | Image processing method, image processing apparatus, image reading apparatus, and image forming apparatus | |
JP4324628B2 (ja) | 画像処理方法、画像処理装置、画像読取装置、画像形成装置、コンピュータプログラム及び記録媒体 | |
EP2178028A2 (en) | Representing documents with runlength histograms | |
US8055079B2 (en) | Image processing method, image processing apparatus, and image forming apparatus | |
CN101404020B (zh) | 图像处理方法和设备、图像形成设备以及图像读取设备 | |
CN101662569B (zh) | 图像处理装置、图像形成装置及图像处理方法 | |
CN105283884A (zh) | 对移动设备捕获的数字图像中的对象进行分类 | |
CN115989500A (zh) | 用于检测和读取标记在玻璃基材上的矩阵码的方法 | |
CN101364268B (zh) | 图像处理装置和图像处理方法 | |
Singh et al. | Multi-resolution dual-tree wavelet scattering network for signal classification | |
US11769241B1 (en) | Information-client server built on a rapid material identification platform | |
CN101261684B (zh) | 图像处理方法、图像处理装置及图像形成装置 | |
CN101246326A (zh) | 图像处理方法与装置、图像形成装置、和图像读取装置 | |
US11164035B2 (en) | Neural-network-based optical character recognition using specialized confidence functions | |
CN101237514B (zh) | 图像处理装置及方法、图像读取和形成装置 | |
KR102425032B1 (ko) | 문서종류의 자동 분류장치 및 그 방법 | |
Shine et al. | An approach for improving Optical Character Recognition using Contrast enhancement technique | |
JP2010233109A (ja) | 画像処理装置、画像処理方法、画像形成装置、コンピュータプログラム及び記録媒体 | |
JP2008123456A (ja) | 画像処理方法、画像処理装置、画像形成装置、コンピュータプログラム及び記録媒体 | |
JP2691195B2 (ja) | 光学文字読取装置 | |
US7545534B2 (en) | Image processing apparatus, method and program binarizing received image data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20100929 Termination date: 20210919 |