CN105825211A - 名片识别方法、装置及系统 - Google Patents
名片识别方法、装置及系统 Download PDFInfo
- Publication number
- CN105825211A CN105825211A CN201610158381.5A CN201610158381A CN105825211A CN 105825211 A CN105825211 A CN 105825211A CN 201610158381 A CN201610158381 A CN 201610158381A CN 105825211 A CN105825211 A CN 105825211A
- Authority
- CN
- China
- Prior art keywords
- cultivated
- business card
- roughly
- image
- characteristic vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
- G06V10/225—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Character Discrimination (AREA)
Abstract
本发明涉及一种名片识别方法、装置及系统,所述名片识别方法、装置及系统基于对待识别的名片图像的预处理以及对预处理后得到的优化名片图像进行字符分割和特征向量提取,先后经过粗选及精选确定文字识别样本,再根据文字识别样本进行语义分析和动态调整后,根据关键字将分割的内容行中的文字内容归类到电话薄中的相应字段并进行存储,采用本发明所提出的名片识别方法、装置及系统,不需要复杂版面分析及划分,且特征向量的计算量较小,抗干扰能力较强,能够较好地实现对待识别的名片图像的字符分割、识别及内容归类,为名片识别提供了一种有效可行的技术手段。
Description
技术领域
本发明涉及图像识别技术领域,特别是涉及一种名片识别方法、装置及系统。
背景技术
纸质名片作为一种简明、美观的信息载体在日常的商务活动、社交活动中扮演着重要的角色,用户在获得纸质名片后,为了便于查看和保存,往往需要将纸质名片上的各项信息,如姓名、公司、电话等重要信息存储在移动终端上,以便于在需要时能够及时获取到相关信息。一般情况下,用户是通过手动输入的方式将姓名、公司、电话等重要信息逐项输入到移动终端并保存的,但是这种手动输入的方式不仅存在效率低下的问题,而且很容易出错。
针对用户将纸质名片上的信息智能化录入移动终端的需求,基于光学字符识别(OpticalCharacterRecognition,OCR)技术的名片识别应运而生。OCR是一种通过扫描等光学输入方式将各种票据、报刊、书籍、文稿及其他印刷品上的文字转化为图像信息,再利用文字识别技术将图像信息转化为计算机可处理信息的技术,被广泛应用于银行票据、大量文字资料、文案的录入和处理等领域,OCR不仅提高了信息录入的效率,而且可节省大量的人力物力。目前基于OCR的名片识别方法的特征表示通常采用像素分布、像素值总和等特征表示,识别算法主要通过比较高斯距离而实现,在特征计算空间复杂度、时间复杂度以及识别准确度等方面仍存在局限性,且特征向量位数大,占用空间大,计算量大,抗干扰能力差,容易受字体字号等因素的影响,导致名片识别效率不高,用户的体验度不高。
发明内容
基于此,有必要针对纸质名片识别率不高、用户的体验度不高的问题,提供一种名片识别方法、装置及系统,该名片识别方法、装置及系统能够较好地实现名片内容归类及存储,提高了名片识别和信息录入的效率。
为解决上述问题,本发明采取如下的技术方案:
一种名片识别方法,所述方法包括以下步骤:
获取待识别的名片图像,并对所述名片图像进行预处理,得到优化名片图像;
对所述优化名片图像进行投影,得到单个文字区域图像,提取所述单个文字区域图像的粗选特征向量和精选特征向量;
根据所述粗选特征向量和预设粗选特征向量集进行粗选处理,获得粗选特征向量样本集;
根据所述精选特征向量和所述粗选特征向量样本集进行精选处理,获得文字识别样本;
根据所述文字识别样本进行语义分析和动态调整,识别出所述内容行的文字内容,根据关键字将所述文字内容归类到电话薄中的相应字段并进行存储。
一种名片识别装置,所述装置包括:
预处理模块,用于获取待识别的名片图像,并对所述名片图像进行预处理,得到优化名片图像;
分割提取模块,用于对所述优化名片图像进行投影,得到单个文字区域图像,提取所述单个文字区域图像的粗选特征向量和精选特征向量;
粗选模块,用于根据所述粗选特征向量和预设粗选特征向量集进行粗选处理,获得粗选特征向量样本集;
精选模块,用于根据所述精选特征向量和所述粗选特征向量样本集进行精选处理,获得文字识别样本;
识别模块,用于根据所述文字识别样本进行语义分析和动态调整,识别出所述内容行的文字内容,根据关键字将所述文字内容归类到电话薄中的相应字段并进行存储。
一种名片识别系统,所述系统包括摄取待识别名片的图像的摄像装置和连接所述摄像装置的如上所述的名片识别装置,
所述摄像装置摄取待识别的名片的图像,并将名片图像上传至所述名片识别装置;
所述名片识别装置对所述名片图像进行文字识别,并将识别出的文字内容归类到电话薄中的相应字段并进行存储。
上述名片识别方法、装置及系统,基于对待识别的名片图像的预处理以及对预处理后得到的优化名片图像进行字符分割和特征向量提取,先后经过粗选及精选确定文字识别样本,再根据文字识别样本进行语义分析和动态调整后,根据关键字将分割的内容行中的文字内容归类到电话薄中的相应字段并进行存储,采用本发明所提出的名片识别方法、装置及系统,不需要复杂版面分析及划分,且特征向量的计算量较小,抗干扰能力较强,能够较好地实现对待识别的名片图像的字符分割、识别及内容归类,为名片识别提供了一种有效可行的技术手段。
附图说明
图1为本发明其中一个实施例中名片识别方法的流程示意图;
图2为本发明其中一个具体实施方式中名片识别方法的流程示意图;
图3为本发明其中一个实施例中名片识别装置的结构示意图。
具体实施方式
下面将结合附图及较佳实施例对本发明的技术方案进行详细描述。
OCR是一种通过扫描等光学输入方式将各种票据、报刊、书籍、文稿及其他印刷品上的文字转化为图像信息,再利用文字识别技术将图像信息转化为计算机可处理信息的技术,例如,电子设备(例如平板电脑、智能手机、扫描仪或数码相机)检查纸上打印的字符,通过检测暗、亮的模式确定其形状,然后利用字符识别方法将形状翻译成计算机能够处理的文字信息,上述过程即是对文本资料进行扫描,然后对图像文件进行分析处理,获取文字信息的过程。本发明技术将以OCR图像分析处理技术为基础,对纸质名片进行智能化识别和管理,从而为名片的信息录入和保存提供一种优秀、高效的技术手段。
在其中一个实施例中,参见图1所示,一种名片识别方法,所述方法包括以下步骤:
S100获取待识别的名片图像,并对所述名片图像进行预处理,得到优化名片图像。在本步骤中,待识别的名片的图像可以利用电子设备,如平板电脑、智能手机、扫描仪或数码相机等对待识别的纸质名片进行拍摄而得到;在文字识别技术领域,对图像进行预处理,能够突出需要的有用的数据信息,同时减少背景噪音等的干扰,有利于提高文字识别的准确性。
作为一种具体的实施方式,对名片图像进行预处理的过程包括:对名片图像进行灰度化处理、二值化处理、降噪处理和倾斜校正处理。在本实施方式中,对名片图像进行预处理过程中,分别对名片图像进行灰度化处理、二值化处理、降噪处理和倾斜校正处理,经过灰度化处理和二值化处理后,名片图像由原来的彩色图像转化为具有黑白效果的图,使得在对图像进行进一步处理时,图像的集合性质只与像素值为0或255的点的位置有关,不再涉及像素的多级值,从而简化处理过程,减小数据的处理量和压缩量;灰度化和二值化处理后,对得到的图像再进行降噪处理和倾斜校正后,即可获得优化名片图像,该优化名片图像是后续文字识别的基础。
S110对所述优化名片图像进行投影,得到单个文字区域图像,提取所述单个文字区域图像的粗选特征向量和精选特征向量。在文字识别技术领域,通过对图像中的文字所在的行的方向及与行的方向相对的纵向方向进行投影而获得的投影曲线,是图像分割、文字提取等方面应用比较广的一种图像特征,通过投影曲线可以观察到在某一个方向上,图像灰度变化的规律,而对于投影曲线而言,其关键信息就在于投影曲线的波峰与波谷,本步骤首先将优化名片图像进行投影,得到投影曲线并计算出投影曲线的波峰与波谷位置,例如将优化名片图像进行沿名片图像上文字的行方向的投影,分割出优化名片图像的内容行,再对内容行进行沿名片图像上文字的纵方向的投影,进而分割得到单个文字区域图像,作为一种可行的实施方式,在分割出单个文字区域图像时,可采用常用字体宽高比值来进行分割,以尽量减小分割单个文字区域图像时发生的粘连现象;获得优化名片图像的单个文字区域图像后,提取出各个单个文字区域图像的粗选特征向量和精选特征向量。
S120根据所述粗选特征向量和预设粗选特征向量集进行粗选处理,获得粗选特征向量样本集。
S130根据所述精选特征向量和所述粗选特征向量样本集进行精选处理,获得文字识别样本。
作为一种具体的实施方式,根据粗选特征向量和预设粗选特征向量集进行粗选处理,获得粗选特征向量样本集,以及根据精选特征向量和粗选特征向量样本集进行精选处理,获得文字识别样本的过程包括:将粗选特征向量与预设粗选特征向量集中的各个预设粗选特征向量进行相似度计算,得到各个预设粗选特征向量对应的第一相似度,将第一相似度大于第一阈值的预设粗选特征向量的集合作为粗选特征向量样本集,根据所述粗选特征向量样本集获得对应的精选特征向量样本集;将精选特征向量与精选特征向量样本集中的各个精选特征向量样本进行相似度计算,得到各个精选特征向量样本对应的第二相似度,将第二相似度大于第二阈值的精选特征向量样本对应的文字作为文字识别样本。在本实施方式中,粗选特征向量是指某张图像根据指定的粗选特征而提取的特征向量,类似地,精选特征向量是指某张图像根据指定的精选特征而提取的特征向量,其中的粗选特征和精选特征的种类可以任意指定,而粗选特征向量集则是指对大量图像中的每一图像进行粗选特征向量计算而组成的向量集,精选特征向量集是指对大量图像中的每一图像进行精选特征向量计算而组成的向量集。本实施方式采用先粗选再精选的方式将单个文字区域图像的特征向量与预设的特征向量集进行比较,进一步细化文字识别结果,有利于提高名片识别的准确性。
作为一种具体的实施方式,当第二相似度小于或者等于第二阈值时,以等差数列方式从预设精选特征向量样本集中提取预设精选特征向量样本加入至所述精选特征向量样本集中,并将所述精选特征向量与当前精选特征向量样本集中的各个精选特征向量样本进行相似度计算,直至得到所述第二相似度首次大于所述第二阈值时对应的当前精选特征向量样本集中的精选特征向量样本,将所述第二相似度首次大于所述第二阈值时对应的当前精选特征向量样本集中的精选特征向量样本对应的文字作为所述文字识别样本。为详细说明本实施方式,参见图2所示的流程示意图,包括以下步骤:
S200获取待识别的名片图像并对名片图像进行预处理;
S210分割单个文字区域图像并提取特征向量;
S220粗选;
S230精选;
S240判断第二相似度是否大于第二阈值,若是,则进入步骤S250,否则扩大精选范围后返回步骤S230;
S250得到文字识别样本。
本实施方式针对第二相似度小于或者等于第二阈值的情况,提出可以通过增加精选特征向量样本集中精选特征向量样本的数量来扩大精选范围,以寻找出与单个文字区域图像最为接近的文字识别样本。实际上,在将粗选特征向量与预设粗选特征向量集中的各个预设粗选特征向量进行相似度计算得到粗选特征向量样本集后,即进行粗选后,粗选特征向量样本集所对应的图像样本集中的各个图像样本已经按第一相似度的大小进行排序,假设粗选后进行的精选的范围是粗选后的前50个图像样本,且此50个图像样本对应的预设粗选特征向量对应的第二相似度均小于或者等于第二阈值,那么此时可以通过依次增加固定数量的图像样本(如30个图像样本)或者以等差数列方式增加图像样本至精选特征向量样本集中以扩大精选范围;假设粗选后进行的精选的范围是粗选后得到的全部图像样本,且全部图像样本对应的预设粗选特征向量对应的第二相似度均小于或者等于第二阈值,那么此时可以通过从预设精选特征向量样本集中提取预设精选特征向量样本加入至精选特征向量样本集中以扩大精选范围,无论以上述何种方式扩大精选范围,精选特征向量样本集中的精选特征向量的数量每增加一次,都需将精选特征向量与当前精选特征向量样本集中的各个精选特征向量样本进行相似度计算或者将精选特征向量仅与当前精选特征向量样本集新增加的精选特征向量样本进行相似度计算,直至得到第二相似度首次大于第二阈值时对应的当前精选特征向量样本集中的精选特征向量样本,此时,第二相似度首次大于第二阈值时对应的当前精选特征向量样本集中的精选特征向量样本对应的文字即为相应的单个文字区域图像所对应的文字识别样本。本实施方式通过增加精选特征向量样本集中的精选特征向量样本的数量,随第二相似度的大小动态调整精选范围,逐步扩大精选范围,有利于提高单个文字区域图像的文字识别的准确性,从而进一步保障了待识别的名片图像的识别的准确性和可靠性。
作为一种具体的实施方式,第一相似度为粗选特征向量与预设粗选特征向量集中的各个预设粗选特征向量之间的余弦距离,第二相似度为精选特征向量与精选特征向量样本集中的各个精选特征向量样本之间的余弦距离。在文字识别技术领域,识别算法除了利用高斯距离实现之外,还可以利用其他参数进行计算,本实施方式仅以余弦距离作为计算第一相似度和第二相似度为例,给出本发明中粗选过程和精选过程的具体实施方式。余弦距离也称为余弦相似度,是用两个向量夹角的余弦值作为衡量两个个体之间差异大小的度量,两个向量之间的余弦距离越接近于1,表明这两个向量之间的相似度越大,反之,如果两个向量之间的余弦距离越接近于0,表明这两个向量之间的差异越大,本实施方式采用两个向量之间的余弦距离来辅助进行特征向量的粗选和精选,为根据单个文字区域图像的特征向量(包括粗选特征向量和精选特征向量)获得对应的文字识别样本提供了一种有效可行的方式,提高了对待识别的名片图像的字体、字号等因素的鲁棒性。
S140根据所述文字识别样本进行语义分析和动态调整,识别出所述内容行的文字内容,根据关键字将所述文字内容归类到电话薄中的相应字段并进行存储。步骤S130获得文字识别样本后,步骤S140需要根据文字识别样本进行语义分析和动态调整,例如在首次识别的技术之上,针对严重偏离语义的部分进行调整,如果本次识别结果与前一次识别结果的组合在定义的热词范围内,则不进行调整,进而得到对待识别的名片图像进行分割后而获得的内容行的文字内容;得到内容行的文字内容后,再根据关键字将得到的文字内容归类到电话薄中相应的字段并进行存储,例如,通过在内容行对应的文字内容中检索关键字/先导词“姓名”、“电话”、“公司地址”等,在检索到关键字/先导词后,将关键字/先导词后的文字内容归类到电话薄中的相关字段如联系人相关属性字段,并予以存储。目前,许多应用软件都具有语法智能检查功能,该功能主要是通过上下文检查法实现拼接和语法的纠正,通过多次的上下文衔接性检查,根据程序中已经存在的词组、固定的用词顺序,对应的检查字符串的用词字。
上述名片识别方法基于对待识别的名片图像的预处理以及对预处理后得到的优化名片图像进行字符分割和特征向量提取,先后经过粗选及精选确定文字识别样本,再根据文字识别样本进行语义分析和动态调整后,根据关键字将分割的内容行中的文字内容归类到电话薄中的相应字段并进行存储,采用本发明所提出的名片识别方法,不需要复杂版面分析及划分,且特征向量的计算量较小,抗干扰能力较强,能够较好地实现对待识别的名片图像的字符分割、识别及内容归类,为名片识别提供了一种有效可行的技术手段。
作为一种具体的实施方式,获取待识别的名片图像的步骤前还包括:根据粗选特征对预设字符集对应的图片样本集进行特征向量集计算,得到预设粗选特征向量集,粗选特征为第一次粗外围特征与第二次粗外围特征相结合的特征。通常情况下,粗选特征是指用于进行粗略分类的特征,特征的种类可任意指定,粗选特征向量是指某张图片根据指定的粗选特征提取的特征向量,而粗选特征向量集则是指对大量图像中的每一图像进行粗选特征向量计算,从而组成粗选特征向量集。在文字识别技术领域,第一次粗外围特征和第二次粗外围特征是两种非常重要的粗选特征,其中第一次粗选外围特征是通过将图片样本集中待识别的文字图片分别分割成4×4份,然后分别从上下左右4边框各自向对面扫描,计算第一次与文字比划相交的非文字部分面积与切割部分面积的比值,该比值即为第一次粗选外围特征,其体现的主要是文字的轮廓;计算第二次与文字部比划相交的非文字部分面积与切割部分面积的比值,该比值即为第二次粗选外围特征,其体现的主要是文字的内部结构。本实施例根据粗选特征即第一次粗外围特征与第二次粗外围特征相结合的特征对预设字符集对应的图片样本集进行特征向量计算,得到预设粗选特征向量集,例如,通过计算图片样本集中每张图片的粗选特征向量并将其按字符分类,并以XML文件形式存储,形成预设粗选特征向量集,以供复用,为后续在预设粗选特征向量集的基础之上对向量集中的特征向量进行粗选以及精选提供了基础。此外,预设粗选特征向量集也对应于一个预设精选特征向量集,与预设粗选特征向量集相类似地,预设精选特征向量集是指对大量图像中的每一图像进行精选特征向量计算而得到的向量集,其中用于进行特征向量计算的精选特征为差分图像纵向特征与横向线密度特征相结合的特征,例如,通过计算图片样本集中每张图片的精选特征向量并将其按字符分类,并以XML文件形式存储,形成预设精选特征向量集,以供复用,该预设精选特征向量集包括了后续精选过程中涉及的精选特征向量样本集。
作为一种具体的实施方式,得到单个文字区域图像步骤之后、提取单个文字区域图像的粗选特征向量及精选特征向量步骤之前还包括:对单个文字区域图像进行中心化处理和归一化大小处理。获取待识别的名片图像并对名片图像进行预处理后,得到的优化名片图像已经是二值化且经过去噪处理的图片,因此对优化名片图像进行投影而获得的单个文字区域图像也是二值化且去噪的图像,本实施方式为了进一步提高对单个文字区域图像的识别率,对单个文字区域图像进行中心化处理以及归一化大小处理,其中,中心化处理是指分别从单个文字区域图像的上下左右4个方向进行扫描,计算文字所在矩形区域的4个顶点及其质心,根据质心位置重新调整文字所在矩形区域在单个文字区域图像上的位置,从而使所有单个文字区域图像上文字所在矩形区域的参照点统一,而归一化大小处理则是指根据样本图片的尺寸参数将待识别的单个文字区域图像的尺寸进行相应的调整,使二者的尺寸保持一致,以便准确进行对比和识别。
在另一个实施例中,本发明还提出一种名片识别装置,如图3所示,该装置包括依次连接的预处理模块300、分割提取模块310、粗选模块320、精选模块330、识别模块340,下面对各个模块的功能进行具体介绍:
预处理模块300,用于获取待识别的名片图像,并对所述名片图像进行预处理,得到优化名片图像;
分割提取模块310,用于对所述优化名片图像进行投影,得到单个文字区域图像,提取所述单个文字区域图像的粗选特征向量和精选特征向量;
粗选模块320,用于根据所述粗选特征向量和预设粗选特征向量集进行粗选处理,获得粗选特征向量样本集;
精选模块330,用于根据所述精选特征向量和所述粗选特征向量样本集进行精选处理,获得文字识别样本;
识别模块340,对所述文字识别样本进行语义分析和动态调整,识别出所述内容行的文字内容,根据关键字将所述文字内容归类到电话薄中的相应字段并进行存储。
在如图3所示的名片识别装置的实施例中,预处理模块300获取待识别的名片图像,并对名片图像进行预处理,得到优化名片图像。其中,待识别的名片的图像可以利用电子设备,如平板电脑、智能手机、扫描仪或数码相机等对待识别的纸质名片进行拍摄而得到;同时,预处理模块300对图像进行预处理,能够突出需要的有用的数据信息,同时减少背景噪音等的干扰,有利于提高文字识别的准确性。
分割提取模块310对优化名片图像进行投影,得到单个文字区域图像,提取单个文字区域图像的粗选特征向量和精选特征向量。在文字识别技术领域,通过对图像中的文字所在的行的方向及与行的方向相对的纵向方向进行投影而获得的投影曲线,是图像分割、文字提取等方面应用比较广的一种图像特征,通过投影曲线可以观察到在某一个方向上,图像灰度变化的规律,而对于投影曲线而言,其关键信息就在于投影曲线的波峰与波谷,分割提取模块310首先将优化名片图像进行投影,得到投影曲线并计算出投影曲线的波峰与波谷位置,例如分割提取模块310将优化名片图像进行沿名片图像上文字的行方向的投影,分割出优化名片图像的内容行,再对内容行进行沿名片图像上文字的纵方向的投影,进而分割得到单个文字区域图像,作为一种可行的实施方式,在分割提取模块310分割出单个文字区域图像时,可采用常用字体宽高比值来进行分割,以尽量减小分割单个文字区域图像时发生的粘连现象;获得优化名片图像的单个文字区域图像后,分割提取模块310提取各个单个文字区域图像的粗选特征向量和精选特征向量。
粗选模块320根据粗选特征向量和预设粗选特征向量集进行粗选处理,获得粗选特征向量样本集。
精选模块330根据精选特征向量和粗选特征向量样本集进行精选处理,获得文字识别样本。
识别模块340根据文字识别样本进行语义分析和动态调整,识别出内容行的文字内容,根据关键字将文字内容归类到电话薄中的相应字段并进行存储。精选模块330将获得的文字识别样本发送给识别模块340,识别模块340需要根据文字识别样本进行语义分析和动态调整,例如在首次识别的基础之上,针对严重偏离语义的部分进行调整,如果本次识别结果与前一次识别结果的组合在定义的热词范围内,则不进行调整,进而得到对待识别的名片图像进行分割后而获得的内容行的文字内容;得到内容行的文字内容后,识别模块340再根据关键字将得到的文字内容归类到电话薄中相应的字段并进行存储,例如,通过在内容行对应的文字内容中检索关键字/先导词“姓名”、“电话”、“公司地址”等,在检索到关键字/先导词后,将关键字/先导词后的文字内容归类到电话薄中的相关字段如联系人相关属性字段,并予以存储。目前,许多应用软件都具有语法智能检查功能,该功能主要是通过上下文检查法实现拼接和语法的纠正,通过多次的上下文衔接性检查,根据程序中已经存在的词组、固定的用词顺序,对应的检查字符串的用词字。
上述名片识别装置基于对待识别的名片图像的预处理以及对预处理后得到的优化名片图像进行字符分割和特征向量提取,先后经过粗选及精选确定文字识别样本,再根据文字识别样本进行语义分析和动态调整后,根据关键字将分割的内容行中的文字内容归类到电话薄中的相应字段并进行存储,采用本发明所提出的名片识别装置,不需要复杂版面分析及划分,且特征向量的计算量较小,抗干扰能力较强,能够较好地实现对待识别的名片图像的字符分割、识别及内容归类,为名片识别提供了一种有效可行的技术手段。
作为一种具体的实施方式,名片识别装置还包括与预处理模块连接的特征向量集训练模块,特征向量集训练模块用于根据粗选特征对预设字符集对应的图片样本集进行特征向量集计算,得到预设粗选特征向量集,粗选特征为第一次粗外围特征与第二次粗外围特征相结合的特征。通常情况下,粗选特征是指用于进行粗略分类的特征,特征的种类可任意指定,粗选特征向量是指某张图片根据指定的粗选特征提取的特征向量,而粗选特征向量集则是指对大量图像中的每一图像进行粗选特征向量计算,从而组成粗选特征向量集。在文字识别技术领域,第一次粗外围特征和第二次粗外围特征是两种非常重要的粗选特征,其中第一次粗选外围特征是通过将图片样本集中待识别的文字图片分别分割成4×4份,然后分别从上下左右4边框各自向对面扫描,计算第一次与文字比划相交的非文字部分面积与切割部分面积的比值,该比值即为第一次粗选外围特征,其体现的主要是文字的轮廓;计算第二次与文字部比划相交的非文字部分面积与切割部分面积的比值,该比值即为第二次粗选外围特征,其体现的主要是文字的内部结构。本实施例的特征向量集训练模块根据粗选特征即第一次粗外围特征与第二次粗外围特征相结合的特征对预设字符集对应的图片样本集进行特征向量计算,得到预设粗选特征向量集,例如,特征向量集训练模块通过计算图片样本集中每张图片的粗选特征向量并将其按字符分类,并以XML文件形式存储,形成预设粗选特征向量集,以供复用,为后续在预设粗选特征向量集的基础之上对向量集中的特征向量进行粗选以及精选提供了基础。此外,特征向量集训练模块也用于计算获得与预设粗选特征向量集相对应的预设精选特征向量集,与预设粗选特征向量集相类似地,预设精选特征向量集是指特征向量集训练模块对大量图像中的每一图像进行精选特征向量计算而得到的向量集,其中用于进行特征向量计算的精选特征为差分图像纵向特征与横向线密度特征相结合的特征,例如,特征向量集训练模块通过计算图片样本集中每张图片的精选特征向量并将其按字符分类,并以XML文件形式存储,形成预设精选特征向量集,以供复用,该预设精选特征向量集包括了后续精选过程中涉及的精选特征向量样本集。
本发明名片识别装置中各个模块其具体功能的实现方法,可以参照上述的名片识别方法实施例中描述的实现方法,此处不再赘述。
在另一个实施例中,本发明提出了一种名片识别系统,所述系统包括摄取待识别名片的图像的摄像装置和连接所述摄像装置的如上所述的名片识别装置,摄像装置摄取待识别的名片的图像,并将名片图像上传至名片识别装置;名片识别装置对名片图像进行文字识别,并将识别出的文字内容归类到电话薄中的相应字段并进行存储。在本实施例中,摄像装置可以为平板电脑、智能手机、扫描仪或数码相机中的任意一种,同时,摄像装置和名片识别装置也可以集成于同一设备之上,例如集成于同一移动终端设备之上。上述名片识别系统的其他技术特征与名片识别装置实施例中描述的技术特征相同,此处不再赘述。上述名片识别系统基于摄像装置摄取待识别的名片的图像和名片识别装置对待识别的名片图像进行预处理、字符分割、粗选、精选、识别以及内容归类,实现对纸质名片信息的智能化录入,且特征向量的计算量较小,抗干扰能力较强,能够较好地实现对待识别的名片图像的字符分割、识别及内容归类,为名片识别提供了一种有效可行的技术手段。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种名片识别方法,其特征在于,包括以下步骤:
获取待识别的名片图像,并对所述名片图像进行预处理,得到优化名片图像;
对所述优化名片图像进行投影,得到单个文字区域图像,提取所述单个文字区域图像的粗选特征向量和精选特征向量;
根据所述粗选特征向量和预设粗选特征向量集进行粗选处理,获得粗选特征向量样本集;
根据所述精选特征向量和所述粗选特征向量样本集进行精选处理,获得文字识别样本;
根据所述文字识别样本进行语义分析和动态调整,识别出所述内容行的文字内容,根据关键字将所述文字内容归类到电话薄中的相应字段并进行存储。
2.根据权利要求1所述的名片识别方法,其特征在于,根据所述粗选特征向量和预设粗选特征向量集进行粗选处理,获得粗选特征向量样本集,以及根据所述精选特征向量和所述粗选特征向量样本集进行精选处理,获得文字识别样本的过程包括:
将所述粗选特征向量与所述预设粗选特征向量集中的各个预设粗选特征向量进行相似度计算,得到各个所述预设粗选特征向量对应的第一相似度,将所述第一相似度大于第一阈值的预设粗选特征向量的集合作为所述粗选特征向量样本集,根据所述粗选特征向量样本集获得对应的精选特征向量样本集;
将所述精选特征向量与所述精选特征向量样本集中的各个精选特征向量样本进行相似度计算,得到各个所述精选特征向量样本对应的第二相似度,将所述第二相似度大于第二阈值的精选特征向量样本对应的文字作为所述文字识别样本。
3.根据权利要求2所述的名片识别方法,其特征在于,
当所述第二相似度小于或者等于所述第二阈值时,从预设精选特征向量样本集中提取预设精选特征向量样本加入至所述精选特征向量样本集中,并将所述精选特征向量与当前精选特征向量样本集中的各个精选特征向量样本进行相似度计算,直至得到所述第二相似度首次大于所述第二阈值时对应的当前精选特征向量样本集中的精选特征向量样本,将所述第二相似度首次大于所述第二阈值时对应的当前精选特征向量样本集中的精选特征向量样本对应的文字作为所述文字识别样本。
4.根据权利要求2或3所述的名片识别方法,其特征在于,
所述第一相似度为所述粗选特征向量与所述预设粗选特征向量集中的各个预设粗选特征向量之间的余弦距离,
所述第二相似度为所述精选特征向量与所述精选特征向量样本集中的各个精选特征向量样本之间的余弦距离。
5.根据权利要求1或2所述的名片识别方法,其特征在于,获取待识别的名片图像的步骤前还包括:
根据粗选特征对预设字符集对应的图片样本集进行特征向量集计算,得到预设粗选特征向量集,所述粗选特征为第一次粗外围特征与第二次粗外围特征相结合的特征。
6.根据权利要求1或2所述的名片识别方法,其特征在于,对所述名片图像进行预处理的过程包括:
对所述名片图像进行灰度化处理、二值化处理、降噪处理和倾斜校正处理。
7.根据权利要求6所述的名片识别方法,其特征在于,得到单个文字区域图像步骤之后、提取所述单个文字区域图像的粗选特征向量及精选特征向量步骤之前还包括:
对所述单个文字区域图像进行中心化处理和归一化大小处理。
8.一种名片识别装置,其特征在于,包括:
预处理模块,用于获取待识别的名片图像,并对所述名片图像进行预处理,得到优化名片图像;
分割提取模块,用于对所述优化名片图像进行投影,得到单个文字区域图像,提取所述单个文字区域图像的粗选特征向量和精选特征向量;
粗选模块,用于根据所述粗选特征向量和预设粗选特征向量集进行粗选处理,获得粗选特征向量样本集;
精选模块,用于根据所述精选特征向量和所述粗选特征向量样本集进行精选处理,获得文字识别样本;
识别模块,用于根据所述文字识别样本进行语义分析和动态调整,识别出所述内容行的文字内容,根据关键字将所述文字内容归类到电话薄中的相应字段并进行存储。
9.根据权利要求8所述的名片识别装置,其特征在于,还包括与所述预处理模块连接的特征向量集训练模块,
所述特征向量集训练模块用于根据粗选特征对预设字符集对应的图片样本集进行特征向量集计算,得到预设粗选特征向量集,所述粗选特征为第一次粗外围特征与第二次粗外围特征相结合的特征。
10.一种名片识别系统,其特征在于,包括摄取待识别名片的图像的摄像装置和连接所述摄像装置的如权利要求8或9所述的名片识别装置,
所述摄像装置摄取待识别的名片的图像,并将名片图像上传至所述名片识别装置;
所述名片识别装置对所述名片图像进行文字识别,并将识别出的文字内容归类到电话薄中的相应字段并进行存储。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610158381.5A CN105825211B (zh) | 2016-03-17 | 2016-03-17 | 名片识别方法、装置及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610158381.5A CN105825211B (zh) | 2016-03-17 | 2016-03-17 | 名片识别方法、装置及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105825211A true CN105825211A (zh) | 2016-08-03 |
CN105825211B CN105825211B (zh) | 2019-05-31 |
Family
ID=56524025
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610158381.5A Active CN105825211B (zh) | 2016-03-17 | 2016-03-17 | 名片识别方法、装置及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105825211B (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106503713A (zh) * | 2016-11-16 | 2017-03-15 | 广西大学 | 一种基于粗外围特征文字识别方法 |
CN106980873A (zh) * | 2017-03-09 | 2017-07-25 | 南京理工大学 | 基于深度学习的锦鲤筛选方法及装置 |
CN107273863A (zh) * | 2017-06-21 | 2017-10-20 | 天津师范大学 | 一种基于语义笔画池化的场景文字识别方法 |
CN107832801A (zh) * | 2017-11-23 | 2018-03-23 | 桂林优利特医疗电子有限公司 | 一种细胞图像分类用模型构建方法 |
WO2018090641A1 (zh) * | 2016-11-15 | 2018-05-24 | 平安科技(深圳)有限公司 | 识别保险单号码的方法、装置、设备及计算机可读存储介质 |
CN109284712A (zh) * | 2018-09-20 | 2019-01-29 | 浙江口碑网络技术有限公司 | 商品信息的配置方法及装置 |
CN110135411A (zh) * | 2019-04-30 | 2019-08-16 | 北京邮电大学 | 名片识别方法和装置 |
CN113887484A (zh) * | 2021-10-20 | 2022-01-04 | 前锦网络信息技术(上海)有限公司 | 一种卡片式文件图像识别方法和装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101576956A (zh) * | 2009-05-11 | 2009-11-11 | 天津普达软件技术有限公司 | 基于机器视觉的在线字符检测方法和系统 |
CN103810484A (zh) * | 2013-10-29 | 2014-05-21 | 西安电子科技大学 | 基于打印字库分析的打印文件鉴别方法 |
-
2016
- 2016-03-17 CN CN201610158381.5A patent/CN105825211B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101576956A (zh) * | 2009-05-11 | 2009-11-11 | 天津普达软件技术有限公司 | 基于机器视觉的在线字符检测方法和系统 |
CN103810484A (zh) * | 2013-10-29 | 2014-05-21 | 西安电子科技大学 | 基于打印字库分析的打印文件鉴别方法 |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018090641A1 (zh) * | 2016-11-15 | 2018-05-24 | 平安科技(深圳)有限公司 | 识别保险单号码的方法、装置、设备及计算机可读存储介质 |
CN106503713A (zh) * | 2016-11-16 | 2017-03-15 | 广西大学 | 一种基于粗外围特征文字识别方法 |
CN106980873A (zh) * | 2017-03-09 | 2017-07-25 | 南京理工大学 | 基于深度学习的锦鲤筛选方法及装置 |
CN107273863A (zh) * | 2017-06-21 | 2017-10-20 | 天津师范大学 | 一种基于语义笔画池化的场景文字识别方法 |
CN107273863B (zh) * | 2017-06-21 | 2019-07-23 | 天津师范大学 | 一种基于语义笔画池化的场景文字识别方法 |
CN107832801A (zh) * | 2017-11-23 | 2018-03-23 | 桂林优利特医疗电子有限公司 | 一种细胞图像分类用模型构建方法 |
CN107832801B (zh) * | 2017-11-23 | 2021-03-05 | 桂林优利特医疗电子有限公司 | 一种细胞图像分类用模型构建方法 |
CN109284712A (zh) * | 2018-09-20 | 2019-01-29 | 浙江口碑网络技术有限公司 | 商品信息的配置方法及装置 |
CN109284712B (zh) * | 2018-09-20 | 2021-04-27 | 浙江口碑网络技术有限公司 | 商品信息的配置方法及装置 |
CN110135411A (zh) * | 2019-04-30 | 2019-08-16 | 北京邮电大学 | 名片识别方法和装置 |
CN110135411B (zh) * | 2019-04-30 | 2021-09-10 | 北京邮电大学 | 名片识别方法和装置 |
CN113887484A (zh) * | 2021-10-20 | 2022-01-04 | 前锦网络信息技术(上海)有限公司 | 一种卡片式文件图像识别方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN105825211B (zh) | 2019-05-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105825211A (zh) | 名片识别方法、装置及系统 | |
US11138423B2 (en) | Region proposal networks for automated bounding box detection and text segmentation | |
US8373905B2 (en) | Semantic classification and enhancement processing of images for printing applications | |
US8867828B2 (en) | Text region detection system and method | |
US8587685B2 (en) | Method and apparatus for retrieving label | |
Yang et al. | A framework for improved video text detection and recognition | |
US20040057619A1 (en) | Apparatus and method for recognizing a character image from an image screen | |
US11816883B2 (en) | Region proposal networks for automated bounding box detection and text segmentation | |
KR101606469B1 (ko) | 이미지 분석방법, 특히 이동 단말기용 이미지 분석방법 | |
US11367310B2 (en) | Method and apparatus for identity verification, electronic device, computer program, and storage medium | |
Dash et al. | A hybrid feature and discriminant classifier for high accuracy handwritten Odia numeral recognition | |
US10796144B2 (en) | Method and device for classifying scanned documents | |
CN113111880A (zh) | 证件图像校正方法、装置、电子设备及存储介质 | |
CN108090728B (zh) | 一种基于智能终端的快递信息录入方法及录入系统 | |
Igorevna et al. | Document image analysis and recognition: a survey | |
Liu et al. | Text segmentation based on stroke filter | |
WO2019071476A1 (zh) | 一种基于智能终端的快递信息录入方法及录入系统 | |
CN111611985A (zh) | 一种基于模型融合的ocr识别方法 | |
KR102425032B1 (ko) | 문서종류의 자동 분류장치 및 그 방법 | |
Devi et al. | Wearable aid for assisting the blind | |
CN112581699A (zh) | 信用报告自助解读设备 | |
CN116758314A (zh) | 一种基于SIFT和K-means算法的学术图像匹配查重系统 | |
CN114092937A (zh) | 印章识别方法、装置、设备和介质 | |
Hotta et al. | Robust chinese character recognition by selection of binary-based and grayscale-based classifier | |
CN118053172A (zh) | 一种票据微缩文字检测方法、系统及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20220216 Address after: Room 1423, No. 1256 and 1258, Wanrong Road, Jing'an District, Shanghai 200040 Patentee after: Tianyi Digital Life Technology Co.,Ltd. Address before: 1 / F and 2 / F, East Garden, Huatian International Plaza, 211 Longkou Middle Road, Tianhe District, Guangzhou, Guangdong 510630 Patentee before: Century Dragon Information Network Co.,Ltd. |
|
TR01 | Transfer of patent right |