CN107590155B - 文档图像的字符真值获取装置及方法、电子设备 - Google Patents

文档图像的字符真值获取装置及方法、电子设备 Download PDF

Info

Publication number
CN107590155B
CN107590155B CN201610535045.8A CN201610535045A CN107590155B CN 107590155 B CN107590155 B CN 107590155B CN 201610535045 A CN201610535045 A CN 201610535045A CN 107590155 B CN107590155 B CN 107590155B
Authority
CN
China
Prior art keywords
image
matching
document image
document
updating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610535045.8A
Other languages
English (en)
Other versions
CN107590155A (zh
Inventor
范伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to CN201610535045.8A priority Critical patent/CN107590155B/zh
Publication of CN107590155A publication Critical patent/CN107590155A/zh
Application granted granted Critical
Publication of CN107590155B publication Critical patent/CN107590155B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明实施例提供一种文档图像的字符真值获取装置及方法、电子设备,通过使用局部匹配的匹配方式,根据匹配误差和偏移量更新已标记图像块和活跃区域,并根据活跃区域中的特征更新变换矩阵,能够获取各种文档图像的字符真值,适用范围广且获取的真值准确度较高。

Description

文档图像的字符真值获取装置及方法、电子设备
技术领域
本发明涉及通信技术领域,尤其涉及一种文档图像的字符真值获取装置及方法、电子设备。
背景技术
随着数码相机和移动设备等电子设备的普及,基于数码相机或移动设备拍摄的文档识别与分析受到越来越多的关注。由于数码相机和移动设备的易用性和便携性,使得用户能够随时拍摄文档图像。但是,用户拍摄的文档图像的质量与传统的文档扫描图像相比,受到更多不确定性因素的影响。例如,用户拍摄的文档可能存在卷曲,弯折等变形以及模糊等情况。
尽管针对扫描文档的光学字符识别(Optical Character Recognition,OCR)技术已经比较成熟,但是,如果将其简单的应用于相机拍摄文档图像的识别,其效果并不理想。为了训练更有针对性的拍摄文档字符识别分类器,非常有必要收集大量带标注信息的样本图像。然后,传统的基于人工标注的方式不仅效率低下,容易出错,而且会带来极大的人力成本。
现有的自动字符真值标注方法,利用文档图像检索技术,将拍摄的文档图像与数据库中的对应标准电子文档相关联,并利用标准电子文档中自带的真值信息对拍摄的文档图像中的字符进行标注,即获取拍摄的文档图像中的字符真值。
应该注意,上面对技术背景的介绍只是为了方便对本发明的技术方案进行清楚、完整的说明,并方便本领域技术人员的理解而阐述的。不能仅仅因为这些方案在本发明的背景技术部分进行了阐述而认为上述技术方案为本领域技术人员所公知。
发明内容
但是,现有的字符真值获取方法基于全局文档图像匹配,其只适用于平整且清晰的文档的检索。而在实际应用中,用户拍摄的文档可能存在卷曲,弯折等变形以及模糊等缺陷,图1是拍摄的文档图像中的文档存在卷曲、弯折和模糊的示意图。在这些情况下,利用该现有方法无法获得所有字符的真值,且获取的真值准确度较低。
本发明实施例提供一种文档图像的字符真值获取装置及方法,通过使用局部匹配的匹配方式,根据匹配误差和偏移量更新已标记图像块和活跃区域,并根据活跃区域中的特征更新变换矩阵,能够获取各种文档图像的字符真值,适用范围广且获取的真值准确度较高。
根据本发明实施例的第一方面,提供一种摄影图像的字符真值获取装置,所述装置包括:变换单元,其用于根据所述摄影图像与标准图像之间的当前变换矩阵,对所述摄影图像进行变换;匹配单元,其用于将变换后的文档图像中的图像块与所述标准图像中的图像块进行局部匹配,获得变换后的文档图像中与所述标准图像中的所述图像块匹配的匹配图像块,从而获得与所述匹配图像块对应的所述摄影图像中的相应图像块;计算单元,其用于计算所述摄影图像中的所述相应图像块与所述标准图像中的所述图像块的匹配误差以及偏移量;第一更新单元,其用于根据所述匹配误差更新所述文档图像中的已标记图像块;确定单元,其用于根据所述匹配误差和所述偏移量,确定所述已标记图像块中的活跃区域;第二更新单元,其用于根据所述活跃区域中的特征,更新所述当前变换矩阵;判断单元,其用于判断更新前后的已标记图像块是否发生变化;以及输出单元,其用于当更新前后的已标记图像块发生变化时,将更新后的变换矩阵作为所述当前变换矩阵以用于对所述文档图像进行变换;当更新前后的已标记图像块没有变化时,输出更新后的已标记图像块中的字符真值。
根据本发明实施例的第二方面,提供一种电子设备,包括:根据本发明实施例的第一方面所述的装置。
根据本发明实施例的第三方面,提供一种摄影图像的字符真值获取方法,所述方法包括:根据所述摄影图像与标准图像之间的当前变换矩阵,对所述摄影图像进行变换;将变换后的文档图像中的图像块与所述标准图像中的图像块进行局部匹配,获得变换后的文档图像中与所述标准图像中的所述图像块匹配的匹配图像块,从而获得与所述匹配图像块对应的所述摄影图像中的相应图像块;计算所述摄影图像中的所述相应图像块与所述标准图像中的所述图像块的匹配误差以及偏移量;根据所述匹配误差更新所述文档图像中的已标记图像块;根据所述匹配误差和所述偏移量,确定所述已标记图像块中的活跃区域;根据所述活跃区域中的特征,更新所述当前变换矩阵;判断更新前后的已标记图像块是否发生变化;以及,当更新前后的已标记图像块发生变化时,将更新后的变换矩阵作为所述当前变换矩阵以用于对所述文档图像进行变换;当更新前后的已标记图像块没有变化时,输出更新后的已标记图像块中的字符真值。
本发明的有益效果在于:通过使用局部匹配的匹配方式,根据匹配误差和偏移量更新已标记图像块和活跃区域,并根据活跃区域中的特征更新变换矩阵,能够获取各种文档图像的字符真值,适用范围广且获取的真值准确度较高。
参照后文的说明和附图,详细公开了本发明的特定实施方式,指明了本发明的原理可以被采用的方式。应该理解,本发明的实施方式在范围上并不因而受到限制。在所附权利要求的精神和条款的范围内,本发明的实施方式包括许多改变、修改和等同。
针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用,与其它实施方式中的特征相组合,或替代其它实施方式中的特征。
应该强调,术语“包括/包含”在本文使用时指特征、整件、步骤或组件的存在,但并不排除一个或更多个其它特征、整件、步骤或组件的存在或附加。
附图说明
所包括的附图用来提供对本发明实施例的进一步的理解,其构成了说明书的一部分,用于例示本发明的实施方式,并与文字描述一起来阐释本发明的原理。显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。在附图中:
图1是拍摄的文档图像中的文档存在卷曲、弯折和模糊的示意图;
图2是本发明实施例1的文档图像的字符真值获取装置的示意图;
图3是本发明实施例1的匹配单元的示意图;
图4是本发明实施例2的电子设备的示意图;
图5是本发明实施例2的电子设备的系统构成的示意框图;
图6是本发明实施例3的文档图像的字符真值获取方法的示意图。
具体实施方式
参照附图,通过下面的说明书,本发明的前述以及其它特征将变得明显。在说明书和附图中,具体公开了本发明的特定实施方式,其表明了其中可以采用本发明的原则的部分实施方式,应了解的是,本发明不限于所描述的实施方式,相反,本发明包括落入所附权利要求的范围内的全部修改、变型以及等同物。
实施例1
本发明实施例提供一种文档图像的字符真值获取装置,图2是本发明实施例1的文档图像的字符真值获取装置的示意图。如图2所示,该装置200包括:
变换单元201,其用于根据文档图像与标准图像之间的当前变换矩阵,对该文档图像进行变换;
匹配单元202,其用于将变换后的文档图像中的图像块与该标准图像中的图像块进行局部匹配,获得变换后的文档图像中与该标准图像中的该图像块匹配的匹配图像块,从而获得与该匹配图像块对应的该文档图像中的相应图像块;
计算单元203,其用于计算该文档图像中的该相应图像块与该标准图像中的该图像块的匹配误差以及偏移量;
第一更新单元204,其用于根据该匹配误差更新该文档图像中的已标记图像块;
确定单元205,其用于根据该匹配误差和偏移量,确定已标记图像块中的活跃区域;
第二更新单元206,其用于根据该活跃区域中的特征,更新当前变换矩阵;
判断单元207,其用于判断更新前后的已标记图像块是否发生变化;以及
输出单元208,其用于当更新前后的已标记图像块发生变化时,将更新后的变换矩阵作为该当前变换矩阵以用于对该文档图像进行变换;当更新前后的已标记图像块没有变化时,输出更新后的已标记图像块中的字符真值。
由上述实施例可知,通过使用局部匹配的匹配方式,根据匹配误差和偏移量更新已标记图像块和活跃区域,并根据活跃区域中的特征更新变换矩阵,能够获取各种文档图像的字符真值,适用范围广且获取的真值准确度较高。
在本实施例中,该文档图像是通过拍摄文档而获得的,该文档可以是任意形式的文档,例如,文献、资料、报纸、杂志等。
在本实施例中,该标准图像是在预先建立的文档图像数据库中存储的已标记真值的图像,例如,电子版的PDF格式文档图像。
在本实施例中,该变换矩阵用于对文档图像进行变换,例如其可以通过对文档图像中的特征与标准图像中的特征进行匹配而获得。
在本实施例中,在变换单元201首次对文档图像进行变换时,当前变换矩阵的是初始变换矩阵,之后变换单元201对文档图像进行变换时,由于第二更新单元206对当前变换矩阵进行了更新,从而将更新后的变换矩阵作为当前变换矩阵以提供给变换单元201对文档图像进行变换。
在本实施例中,该装置200还可以包括:
搜索单元209,其用于在文档图像数据库中搜索与该文档图像匹配的标准图像,获得该文档图像与该标准图像之间的初始变换矩阵。
在本实施例中,搜索单元209为可选部件,在图2中用虚线框表示。
在本实施例中,搜索单元209搜索标准图像以及获得初始变换矩阵可使用现有的方法。例如,可采用局部可能布置散列法(Locally Likely Arrangement Hashing,LLAH)。
在本实施例中,匹配单元202用于将变换后的文档图像中的图像块与该标准图像中的图像块进行局部匹配,获得变换后的文档图像中与该标准图像中的该图像块匹配的匹配图像块,从而获得与该匹配图像块对应的该文档图像中的相应图像块。下面对该匹配单元202的结构以及匹配方法进行示例性的说明。
图3是本发明实施例1的匹配单元的示意图。如图3所示,匹配单元202包括:
提取单元301,其用于从该标准图像中提取图像块;
第一匹配单元302,其用于在变换后的文档图像中进行局部匹配,获得与从该标准图像中提取出的图像块匹配的该匹配图像块;
逆变换单元303,其用于对该匹配图像块进行该变换的逆变换,获得与该匹配图像块对应的文档图像中的相应图像块。
在本实施例中,假设标准图像为It,其具有字符集Ω={ci},其中,每一个字符ci与其真值相关联。提取单元301以标准图像It中的像素(xi,yi)为中心,基于边界框ri提取该像素的周围区域作为提取出的图像块pi
在本实施例中,第一匹配单元302用于在变换后的文档图像中进行局部匹配,获得与从该标准图像中提取出的图像块匹配的该匹配图像块。
例如,假设输入的文档图像为Iq,变换单元201利用当前变换矩阵H对文档图像Iq进行变换,获得变换后的文档图像Iq′。第一匹配单元302在变换后的文档图像Iq′中进行局部匹配,获得与提取出的图像块pi匹配的匹配图像块pi′。其中,可使用现有的局部匹配算法,例如,采用模板匹配算法。
在本实施例中,逆变换单元303用于对该匹配图像块pi′进行该变换H的逆变换H-1,获得与该匹配图像块pi′对应的文档图像Iq中的相应图像块qi
在本实施例中,计算单元203用于计算该文档图像中的该相应图像块与该标准图像中的该图像块的匹配误差以及偏移量。例如,根据文档图像Iq中的相应图像块qi与标准图像It中的图像块pi,计算这两个图像块的匹配误差ei和偏移量
Figure BDA0001044362380000061
其中,计算匹配误差和偏移量可使用现有方法。
在本实施例中,第一更新单元204用于根据该匹配误差更新该文档图像中的已标记图像块。
例如,对于满足匹配误差ei小于第一阈值t1的条件的标准图像It中的图像块pi,将该图像块pi中各个字符的真值标记到文档图像Iq中的相应图像块qi的各个字符上,即,更新该文档图像Iq的已标记图像块。其中,该第一阈值t1可根据实际需要而设置。
在本实施例中,确定单元205用于根据该匹配误差和偏移量,确定已标记图像块中的活跃区域。其中,该活跃区域例如是已标注区域的周边区域。
例如,对于满足匹配误差ei<t1且偏移量
Figure BDA0001044362380000062
的模
Figure BDA0001044362380000063
的条件的标准图像It中的图像块pi,将该图像块pi添加到活跃区域A中。其中,第一阈值t1和第二阈值t2可根据实际需要而设置。
在本实施例中,第二更新单元206用于根据该活跃区域中的特征,更新当前变换矩阵。例如,根据该活跃区域中的特征与标准图像It中的相应特征,重新计算文档图像Iq与标准图像It的变换矩阵H,作为更新后的变换矩阵。
在本实施例中,第二更新单元206还可以根据该活跃区域的特定区域中的特征,更新当前变换矩阵。
例如,该特定区域是活跃区域中具有最大聚类的区域,或者,该特定区域是活跃区域中靠近文档图像中未标记区域的区域。其中,确定具有最大聚类的区域可使用现有方法,例如,可采用K均值聚类法。
这样,根据该特定区域中的特征更新当前变换矩阵,能够减少已标记区域的更新次数,并且,当更新结束后,已标记区域的覆盖面更大。
在本实施例中,判断单元207用于判断更新前后的已标记图像块是否发生变化。例如,判断单元207判断已标记图像块在经过当前的更新后是否还在增加。
在本实施例中,输出单元208用于当更新前后的已标记图像块发生变化时,将更新后的变换矩阵作为该当前变换矩阵以用于对该文档图像进行变换;当更新前后的已标记图像块没有变化时,输出更新后的已标记图像块中的字符真值。
由上述实施例可知,通过使用局部匹配的匹配方式,根据匹配误差和偏移量更新已标记图像块和活跃区域,并根据活跃区域中的特征更新变换矩阵,能够获取各种文档图像的字符真值,适用范围广且获取的真值准确度较高。
实施例2
本发明实施例还提供了一种电子设备,图4是本发明实施例2的电子设备的示意图。如图4所示,电子设备400包括文档图像的字符真值获取装置401,文档图像的字符真值获取装置401的结构和功能与实施例1中的记载相同,此处不再赘述。
在本实施例中,该电子设备可以包括照相机、摄像机、平板电脑、智能手表、智能眼镜、媒体播放器、游戏设备、计算机等。本发明实施例不对电子设备的种类进行限制。
图5是本发明实施例2的电子设备的系统构成的示意框图。如图5所示,电子设备500可以包括中央处理器501和存储器502;存储器502耦合到中央处理器501。该图是示例性的;还可以使用其它类型的结构,来补充或代替该结构,以实现电信功能或其它功能。
如图5所示,该电子设备500还可以包括:输入单元503、显示器504、电源505。
在一个实施方式中,实施例1所述的文档图像的字符真值获取装置的功能可以被集成到中央处理器501中。其中,中央处理器501可以被配置为进行如下控制:根据所述文档图像与标准图像之间的当前变换矩阵,对所述文档图像进行变换;将变换后的文档图像中的图像块与所述标准图像中的图像块进行局部匹配,获得变换后的文档图像中与所述标准图像中的所述图像块匹配的匹配图像块,从而获得与所述匹配图像块对应的所述文档图像中的相应图像块;计算所述文档图像中的所述相应图像块与所述标准图像中的所述图像块的匹配误差以及偏移量;根据所述匹配误差更新所述文档图像中的已标记图像块;根据所述匹配误差和所述偏移量,确定所述已标记图像块中的活跃区域;根据所述活跃区域中的特征,更新所述当前变换矩阵;判断更新前后的已标记图像块是否发生变化;以及,当更新前后的已标记图像块发生变化时,将更新后的变换矩阵作为所述当前变换矩阵以用于对所述文档图像进行变换;当更新前后的已标记图像块没有变化时,输出更新后的已标记图像块中的字符真值。
其中,所述根据所述匹配误差更新所述文档图像中的已标记图像块,包括:根据所述匹配误差小于第一阈值的图像块,更新所述文档图像中的已标记图像块。
其中,所述根据所述匹配误差和所述偏移量,确定所述已标记图像块中的活跃区域,包括:根据所述匹配误差小于第一阈值且所述偏移量大于第二阈值的图像块,确定所述文档图像中的活跃区域。
其中,所述根据所述活跃区域中的特征,更新所述当前变换矩阵,包括:根据所述活跃区域的特定区域中的特征,更新所述变换矩阵。
其中,所述特定区域是所述活跃区域中具有最大聚类的区域,或所述活跃区域中靠近所述文档图像中未标记区域的区域。
其中,所述将变换后的文档图像中的图像块与所述标准图像中的图像块进行局部匹配,获得变换后的文档图像中与所述标准图像中的所述图像块匹配的匹配图像块,从而获得与所述匹配图像块对应的所述文档图像中的相应图像块,包括:根据所述标准图像中各个字符的真值,从所述标准图像中提取图像块;在变换后的文档图像中进行局部匹配,获得与从所述标准图像中提取出的图像块匹配的所述匹配图像块;对所述匹配图像块进行所述变换的逆变换,获得与所述匹配图像块对应的所述文档图像中的相应图像块。
其中,中央处理器501还可以被配置为进行如下控制:在文档图像数据库中搜索与所述文档图像匹配的标准图像,获得所述文档图像与所述标准图像之间的初始变换矩阵。
在本实施例中电子设备500也并不是必须要包括图5中所示的所有部件。
如图5所示,中央处理器501有时也称为控制器或操作控件,可以包括微处理器或其它处理器装置和/或逻辑装置,中央处理器501接收输入并控制电子设备500的各个部件的操作。
存储器502,例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。并且中央处理器501可执行该存储器502存储的该程序,以实现信息存储或处理等。其它部件的功能与现有类似,此处不再赘述。电子设备500的各部件可以通过专用硬件、固件、软件或其结合来实现,而不偏离本发明的范围。
由上述实施例可知,通过使用局部匹配的匹配方式,根据匹配误差和偏移量更新已标记图像块和活跃区域,并根据活跃区域中的特征更新变换矩阵,能够获取各种文档图像的字符真值,适用范围广且获取的真值准确度较高。
实施例3
本发明实施例还提供一种文档图像的字符真值获取方法,其对应于实施例1的文档图像的字符真值获取装置。图6是本发明实施例3的文档图像的字符真值获取方法的示意图。如图6所示,该方法包括:
步骤601:根据文档图像与标准图像之间的当前变换矩阵,对该文档图像进行变换;
步骤602:将变换后的文档图像中的图像块与该标准图像中的图像块进行局部匹配,获得变换后的文档图像中与该标准图像中的该图像块匹配的匹配图像块,从而获得与该匹配图像块对应的该文档图像中的相应图像块;
步骤603:计算该文档图像中的该相应图像块与该标准图像中的该图像块的匹配误差以及偏移量;
步骤604:根据该匹配误差更新该文档图像中的已标记图像块;
步骤605:根据该匹配误差和偏移量,确定已标记图像块中的活跃区域;
步骤606:根据该活跃区域中的特征,更新当前变换矩阵;
步骤607:判断更新前后的已标记图像块是否发生变化;当判断结果为“是”时,进入步骤608,当判断结果为“否”时,进入步骤609;
步骤608:将更新后的变换矩阵作为该当前变换矩阵以用于对该文档图像进行变换,返回步骤601;以及
步骤609:输出更新后的已标记图像块中的字符真值。
在本实施例中,获得变换矩阵的方法、进行局部匹配的方法、计算匹配误差以及偏移量的方法、根据偏移量更新已标记图像块的方法、确定活跃区域的方法、更新当前变换矩阵的方法与实施例1中的记载相同,此处不再重复。
由上述实施例可知,通过使用局部匹配的匹配方式,根据匹配误差和偏移量更新已标记图像块和活跃区域,并根据活跃区域中的特征更新变换矩阵,能够获取各种文档图像的字符真值,适用范围广且获取的真值准确度较高。
本发明实施例还提供一种计算机可读程序,其中当在文档图像的字符真值获取装置或电子设备中执行所述程序时,所述程序使得所述文档图像的字符真值获取装置或电子设备执行实施例3所述的文档图像的字符真值获取方法。
本发明实施例还提供一种存储有计算机可读程序的存储介质,其中所述计算机可读程序使得文档图像的字符真值获取装置或电子设备执行实施例3所述的文档图像的字符真值获取方法。
结合本发明实施例描述的在所述文档图像的字符真值获取装置或电子设备中执行测量方法可直接体现为硬件、由处理器执行的软件模块或二者组合。例如,图2中所示的功能框图中的一个或多个和/或功能框图的一个或多个组合,既可以对应于计算机程序流程的各个软件模块,亦可以对应于各个硬件模块。这些软件模块,可以分别对应于图6所示的各个步骤。这些硬件模块例如可利用现场可编程门阵列(FPGA)将这些软件模块固化而实现。
软件模块可以位于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动磁盘、CD-ROM或者本领域已知的任何其它形式的存储介质。可以将一种存储介质耦接至处理器,从而使处理器能够从该存储介质读取信息,且可向该存储介质写入信息;或者该存储介质可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。该软件模块可以存储在移动终端的存储器中,也可以存储在可插入移动终端的存储卡中。例如,若设备(例如移动终端)采用的是较大容量的MEGA-SIM卡或者大容量的闪存装置,则该软件模块可存储在该MEGA-SIM卡或者大容量的闪存装置中。
针对图2描述的功能框图中的一个或多个和/或功能框图的一个或多个组合,可以实现为用于执行本申请所描述功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立门或晶体管逻辑器件、分立硬件组件、或者其任意适当组合。针对图2描述的功能框图中的一个或多个和/或功能框图的一个或多个组合,还可以实现为计算设备的组合,例如,DSP和微处理器的组合、多个微处理器、与DSP通信结合的一个或多个微处理器或者任何其它这种配置。
以上结合具体的实施方式对本发明进行了描述,但本领域技术人员应该清楚,这些描述都是示例性的,并不是对本发明保护范围的限制。本领域技术人员可以根据本发明的精神和原理对本发明做出各种变型和修改,这些变型和修改也在本发明的范围内。
关于包括以上实施例的实施方式,还公开下述的附记:
附记1、一种文档图像的字符真值获取装置,所述装置包括:
变换单元,其用于根据所述文档图像与标准图像之间的当前变换矩阵,对所述文档图像进行变换;
匹配单元,其用于将变换后的文档图像中的图像块与所述标准图像中的图像块进行局部匹配,获得变换后的文档图像中与所述标准图像中的所述图像块匹配的匹配图像块,从而获得与所述匹配图像块对应的所述文档图像中的相应图像块;
计算单元,其用于计算所述文档图像中的所述相应图像块与所述标准图像中的所述图像块的匹配误差以及偏移量;
第一更新单元,其用于根据所述匹配误差更新所述文档图像中的已标记图像块;
确定单元,其用于根据所述匹配误差和所述偏移量,确定所述已标记图像块中的活跃区域;
第二更新单元,其用于根据所述活跃区域中的特征,更新所述当前变换矩阵;
判断单元,其用于判断更新前后的已标记图像块是否发生变化;以及
输出单元,其用于当更新前后的已标记图像块发生变化时,将更新后的变换矩阵作为所述当前变换矩阵以用于对所述文档图像进行变换;当更新前后的已标记图像块没有变化时,输出更新后的已标记图像块中的字符真值。
附记2、根据附记1所述的装置,其中,所述第一更新单元用于根据所述匹配误差小于第一阈值的图像块,更新所述文档图像中的已标记图像块。
附记3、根据附记1所述的装置,其中,所述确定单元用于根据所述匹配误差小于第一阈值且所述偏移量大于第二阈值的图像块,确定所述文档图像中的活跃区域。
附记4、根据附记1所述的装置,其中,所述第二更新单元用于根据所述活跃区域的特定区域中的特征,更新所述变换矩阵。
附记5、根据附记4所述的装置,其中,所述特定区域是所述活跃区域中具有最大聚类的区域,或所述活跃区域中靠近所述文档图像中未标记区域的区域。
附记6、根据附记1所述的装置,其中,所述匹配单元包括:
提取单元,其用于根据所述标准图像中各个字符的真值,从所述标准图像中提取图像块;
第一匹配单元,其用于在变换后的文档图像中进行局部匹配,获得与从所述标准图像中提取出的图像块匹配的所述匹配图像块;
逆变换单元,其用于对所述匹配图像块进行所述变换的逆变换,获得与所述匹配图像块对应的所述文档图像中的相应图像块。
附记7、根据附记1所述的装置,其中,所述装置还包括:
搜索单元,其用于在文档图像数据库中搜索与所述文档图像匹配的标准图像,获得所述文档图像与所述标准图像之间的初始变换矩阵。
附记8、一种电子设备,包括根据附记1所述的装置。
附记9、一种文档图像的字符真值获取方法,所述方法包括:
根据所述文档图像与标准图像之间的当前变换矩阵,对所述文档图像进行变换;
将变换后的文档图像中的图像块与所述标准图像中的图像块进行局部匹配,获得变换后的文档图像中与所述标准图像中的所述图像块匹配的匹配图像块,从而获得与所述匹配图像块对应的所述文档图像中的相应图像块;
计算所述文档图像中的所述相应图像块与所述标准图像中的所述图像块的匹配误差以及偏移量;
根据所述匹配误差更新所述文档图像中的已标记图像块;
根据所述匹配误差和所述偏移量,确定所述已标记图像块中的活跃区域;
根据所述活跃区域中的特征,更新所述当前变换矩阵;
判断更新前后的已标记图像块是否发生变化;以及
当更新前后的已标记图像块发生变化时,将更新后的变换矩阵作为所述当前变换矩阵以用于对所述文档图像进行变换;当更新前后的已标记图像块没有变化时,输出更新后的已标记图像块中的字符真值。
附记10、根据附记9所述的方法,其中,所述根据所述匹配误差更新所述文档图像中的已标记图像块,包括:
根据所述匹配误差小于第一阈值的图像块,更新所述文档图像中的已标记图像块。
附记11、根据附记9所述的方法,其中,所述根据所述匹配误差和所述偏移量,确定所述已标记图像块中的活跃区域,包括:
根据所述匹配误差小于第一阈值且所述偏移量大于第二阈值的图像块,确定所述文档图像中的活跃区域。
附记12、根据附记9所述的方法,其中,所述根据所述活跃区域中的特征,更新所述当前变换矩阵,包括:
根据所述活跃区域的特定区域中的特征,更新所述变换矩阵。
附记13、根据附记12所述的方法,其中,所述特定区域是所述活跃区域中具有最大聚类的区域,或所述活跃区域中靠近所述文档图像中未标记区域的区域。
附记14、根据附记9所述的方法,其中,所述将变换后的文档图像中的图像块与所述标准图像中的图像块进行局部匹配,获得变换后的文档图像中与所述标准图像中的所述图像块匹配的匹配图像块,从而获得与所述匹配图像块对应的所述文档图像中的相应图像块,包括:
根据所述标准图像中各个字符的真值,从所述标准图像中提取图像块;
在变换后的文档图像中进行局部匹配,获得与从所述标准图像中提取出的图像块匹配的所述匹配图像块;
对所述匹配图像块进行所述变换的逆变换,获得与所述匹配图像块对应的所述文档图像中的相应图像块。
附记15、根据附记9所述的方法,其中,所述方法还包括:
在文档图像数据库中搜索与所述文档图像匹配的标准图像,获得所述文档图像与所述标准图像之间的初始变换矩阵。

Claims (10)

1.一种文档图像的字符真值获取装置,所述装置包括:
变换单元,其用于根据所述文档图像与标准图像之间的当前变换矩阵,对所述文档图像进行变换;
匹配单元,其用于将变换后的文档图像中的图像块与所述标准图像中的图像块进行局部匹配,获得变换后的文档图像中与所述标准图像中的所述图像块匹配的匹配图像块,并对所述匹配图像块进行所述变换的逆变换,从而获得与所述匹配图像块对应的所述文档图像中的相应图像块;
计算单元,其用于计算所述文档图像中的所述相应图像块与所述标准图像中的所述图像块的匹配误差以及偏移量;
第一更新单元,其用于根据所述匹配误差更新所述文档图像中的已标记图像块;
确定单元,其用于根据所述匹配误差和所述偏移量,确定所述已标记图像块中的活跃区域;
第二更新单元,其用于根据所述活跃区域中的特征,更新所述当前变换矩阵;
判断单元,其用于判断更新前后的已标记图像块是否发生变化;以及
输出单元,其用于当更新前后的已标记图像块发生变化时,将更新后的变换矩阵作为所述当前变换矩阵以用于对所述文档图像进行变换;当更新前后的已标记图像块没有变化时,输出更新后的已标记图像块中的字符真值。
2.根据权利要求1所述的装置,其中,所述第一更新单元用于根据所述匹配误差小于第一阈值的图像块,更新所述文档图像中的已标记图像块。
3.根据权利要求1所述的装置,其中,所述确定单元用于根据所述匹配误差小于第一阈值且所述偏移量大于第二阈值的图像块,确定所述文档图像中的活跃区域。
4.根据权利要求1所述的装置,其中,所述第二更新单元用于根据所述活跃区域的特定区域中的特征,更新所述变换矩阵。
5.根据权利要求4所述的装置,其中,所述特定区域是所述活跃区域中具有最大聚类的区域,或所述活跃区域中靠近所述文档图像中未标记区域的区域。
6.根据权利要求1所述的装置,其中,所述匹配单元包括:
提取单元,其用于根据所述标准图像中各个字符的真值,从所述标准图像中提取图像块;
第一匹配单元,其用于在变换后的文档图像中进行局部匹配,获得与从所述标准图像中提取出的图像块匹配的所述匹配图像块;
逆变换单元,其用于对所述匹配图像块进行所述变换的逆变换,获得与所述匹配图像块对应的所述文档图像中的相应图像块。
7.根据权利要求1所述的装置,其中,所述装置还包括:
搜索单元,其用于在文档图像数据库中搜索与所述文档图像匹配的标准图像,获得所述文档图像与所述标准图像之间的初始变换矩阵。
8.一种电子设备,包括根据权利要求1所述的装置。
9.一种文档图像的字符真值获取方法,所述方法包括:
根据所述文档图像与标准图像之间的当前变换矩阵,对所述文档图像进行变换;
将变换后的文档图像中的图像块与所述标准图像中的图像块进行局部匹配,获得变换后的文档图像中与所述标准图像中的所述图像块匹配的匹配图像块,并对所述匹配图像块进行所述变换的逆变换,从而获得与所述匹配图像块对应的所述文档图像中的相应图像块;
计算所述文档图像中的所述相应图像块与所述标准图像中的所述图像块的匹配误差以及偏移量;
根据所述匹配误差更新所述文档图像中的已标记图像块;
根据所述匹配误差和所述偏移量,确定所述已标记图像块中的活跃区域;
根据所述活跃区域中的特征,更新所述当前变换矩阵;
判断更新前后的已标记图像块是否发生变化;以及
当更新前后的已标记图像块发生变化时,将更新后的变换矩阵作为所述当前变换矩阵以用于对所述文档图像进行变换;当更新前后的已标记图像块没有变化时,输出更新后的已标记图像块中的字符真值。
10.根据权利要求9所述的方法,其中,所述根据所述匹配误差更新所述文档图像中的已标记图像块,包括:
根据所述匹配误差小于第一阈值的图像块,更新所述文档图像中的已标记图像块。
CN201610535045.8A 2016-07-08 2016-07-08 文档图像的字符真值获取装置及方法、电子设备 Active CN107590155B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610535045.8A CN107590155B (zh) 2016-07-08 2016-07-08 文档图像的字符真值获取装置及方法、电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610535045.8A CN107590155B (zh) 2016-07-08 2016-07-08 文档图像的字符真值获取装置及方法、电子设备

Publications (2)

Publication Number Publication Date
CN107590155A CN107590155A (zh) 2018-01-16
CN107590155B true CN107590155B (zh) 2020-09-08

Family

ID=61046069

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610535045.8A Active CN107590155B (zh) 2016-07-08 2016-07-08 文档图像的字符真值获取装置及方法、电子设备

Country Status (1)

Country Link
CN (1) CN107590155B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102184383A (zh) * 2011-04-18 2011-09-14 哈尔滨工业大学 一种印刷体字符图像样本的自动生成方法
CN104778653A (zh) * 2014-11-28 2015-07-15 浙江工商大学 一种图像配准的方法
CN105354550A (zh) * 2015-11-03 2016-02-24 华东师范大学 一种基于图像局部特征点配准的表单内容提取方法
CN105389774A (zh) * 2014-09-05 2016-03-09 华为技术有限公司 对齐图像的方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
PL2774359T3 (pl) * 2011-11-04 2016-06-30 Sun Patent Trust Filtrowanie deblokujące ze zmodyfikowanym wyprowadzaniem intensywności granicy bloku obrazu

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102184383A (zh) * 2011-04-18 2011-09-14 哈尔滨工业大学 一种印刷体字符图像样本的自动生成方法
CN105389774A (zh) * 2014-09-05 2016-03-09 华为技术有限公司 对齐图像的方法和装置
CN104778653A (zh) * 2014-11-28 2015-07-15 浙江工商大学 一种图像配准的方法
CN105354550A (zh) * 2015-11-03 2016-02-24 华东师范大学 一种基于图像局部特征点配准的表单内容提取方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于点云数据的扭曲文本图像倾斜校正方法;童立靖 等;《计算机软件与应用》;20160630;第33卷(第6期);全文 *

Also Published As

Publication number Publication date
CN107590155A (zh) 2018-01-16

Similar Documents

Publication Publication Date Title
US10943106B2 (en) Recognizing text in image data
WO2020098250A1 (zh) 字符识别方法、服务器及计算机可读存储介质
WO2019109526A1 (zh) 人脸图像的年龄识别方法、装置及存储介质
CN110705405B (zh) 目标标注的方法及装置
RU2651144C2 (ru) Ввод данных с изображений документов с фиксированной структурой
US9785627B2 (en) Automated form fill-in via form retrieval
CN109344727B (zh) 身份证文本信息检测方法及装置、可读存储介质和终端
US9800754B2 (en) Global registration of filled-out content in an application form
US20120062597A1 (en) Adding metadata apparatus
CN104281847A (zh) 一种点读方法、装置及设备
CN103313018A (zh) 登记确定装置及其控制方法、以及电子装置
CN109377494B (zh) 一种用于图像的语义分割方法和装置
US10594930B2 (en) Image enhancement and repair using sample data from other images
CN110766077A (zh) 证据链图像中特写图筛选方法、装置和设备
CN115131693A (zh) 文本内容识别方法、装置、计算机设备和存储介质
CN112348008A (zh) 证件信息的识别方法、装置、终端设备及存储介质
CN107590155B (zh) 文档图像的字符真值获取装置及方法、电子设备
JP2015022631A (ja) 情報処理装置、情報処理システム及びプログラム
CN110610178A (zh) 图像识别方法、装置、终端及计算机可读存储介质
CN110660091A (zh) 一种图像配准处理方法、装置和拍照批改作业系统
CN110971820B (zh) 拍照方法、拍照装置、移动终端及计算机可读存储介质
CN111832494B (zh) 信息存储方法及设备
JP2007041762A5 (zh)
CN111476148B (zh) 一种基于移动端的学历证件照采集系统和方法
JP6175904B2 (ja) 照合対象抽出システム、照合対象抽出方法、照合対象抽出プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant