CN108121984A - 一种字符识别方法及装置 - Google Patents

一种字符识别方法及装置 Download PDF

Info

Publication number
CN108121984A
CN108121984A CN201611082212.4A CN201611082212A CN108121984A CN 108121984 A CN108121984 A CN 108121984A CN 201611082212 A CN201611082212 A CN 201611082212A CN 108121984 A CN108121984 A CN 108121984A
Authority
CN
China
Prior art keywords
character
target image
characteristic pattern
neural network
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611082212.4A
Other languages
English (en)
Other versions
CN108121984B (zh
Inventor
郑钢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201611082212.4A priority Critical patent/CN108121984B/zh
Priority to US16/464,922 priority patent/US11003941B2/en
Priority to PCT/CN2017/105843 priority patent/WO2018099194A1/zh
Priority to EP17877227.3A priority patent/EP3550473A4/en
Publication of CN108121984A publication Critical patent/CN108121984A/zh
Application granted granted Critical
Publication of CN108121984B publication Critical patent/CN108121984B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/19Recognition using electronic means
    • G06V30/191Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition

Abstract

本发明实施例提供了一种字符识别方法及装置,所述方法包括:获取待分析的包括字符的目标图像;将所述目标图像输入预先训练的深度神经网络中,确定所述目标图像的字符区域对应的特征图;通过所述深度神经网络对所述各字符区域对应的特征图进行字符识别,得到所述目标图像中包括的字符;其中,所述深度神经网络是根据各样本图像、各样本图像的字符区域标定结果、以及各样本图像中包括的字符训练得到的。本发明实施例能够提高字符识别的准确性。

Description

一种字符识别方法及装置
技术领域
本发明涉及图像处理技术领域,特别是涉及一种字符识别方法及装置。
背景技术
随着图像处理技术的发展,从图像中能够获取到越来越多的信息。如,通过对监控图像进行识别,能够获取到图像中包括的车辆的车牌号,建筑物标识等;或者,通过对快递单进行识别,能够得到快递单号等。
现有的字符识别方法,主要为根据人工设计的特征,从图像中检测包含字符的字符区域;然后对字符区域进行分割,得到各字符块;最后对各字符块进行分类器识别,从而得到图像中包含的字符。
但是,上述方法中,检测图像中的字符区域,以及对字符区域进行分割时,是根据人工设计的特征进行检测的。实际应用中,由于不同的场景,不同的拍摄条件等,会导致图像质量差别较大。而人工设计的特征,不能很好地适应各种质量的图像,从而导致字符区域检测和字符区域分割结果准确性较低,进一步导致字符识别结果精确性较低。
发明内容
本发明实施例的目的在于提供一种字符识别方法及装置,以提高字符识别的准确性。具体技术方案如下:
第一方面,本发明实施例提供了一种字符识别方法,所述方法包括:
获取待分析的包括字符的目标图像;
将所述目标图像输入预先训练的深度神经网络中,确定所述目标图像的字符区域对应的特征图;
通过所述深度神经网络对所述各字符区域对应的特征图进行字符识别,得到所述目标图像中包括的字符;
其中,所述深度神经网络是根据各样本图像、各样本图像的字符区域标定结果、以及各样本图像中包括的字符训练得到的。
可选地,所述确定所述目标图像的字符区域对应的特征图的步骤包括:
根据预设的划分规则,确定所述目标图像中包括的各候选区域;
对所述各候选区域进行特征提取,得到各候选区域对应的特征图;
根据各候选区域对应的特征图,识别包含字符的特征图,并将所识别出的特征图确定为所述目标图像的字符区域对应的特征图。
可选地,所述确定所述目标图像中包括的各候选区域之后,所述方法还包括:
对各候选区域的位置和/或形状进行调整。
可选地,所述确定所述目标图像的字符区域对应的特征图的步骤包括:
对所述目标图像进行特征提取,得到所述目标图像对应的特征图;
对所述目标图像对应的特征图进行像素级分析,识别包含字符的区域,并将所识别出的区域对应的特征图确定为所述目标图像中的字符区域对应的特征图。
可选地,所述深度神经网络至少包括:卷积神经网络、循环神经网络、分类器、以及序列解码器;所述通过所述深度神经网络对所述各字符区域对应的特征图进行字符识别,得到所述目标图像中包括的字符的步骤包括:
通过所述卷积神经网络对所述各字符区域进行字符级特征提取;
通过所述循环神经网络对所述各字符区域进行上下文特征提取;
通过所述分类器和序列解码器对所提取的特征图进行分类识别,得到所述目标图像中包括的字符。
可选地,所述深度神经网络的训练过程包括:
获取样本图像、各样本图像的字符区域标定结果、以及各样本图像中包括的字符;
将各样本图像、各样本图像的字符区域标定结果、以及各样本图像中包括的字符作为训练样本,训练得到所述深度神经网络。
第二方面,本发明实施例提供了一种字符识别装置,所述装置包括:
第一获取模块,用于获取待分析的包括字符的目标图像;
确定模块,用于将所述目标图像输入预先训练的深度神经网络中,确定所述目标图像的字符区域对应的特征图;
识别模块,用于通过所述深度神经网络对所述各字符区域对应的特征图进行字符识别,得到所述目标图像中包括的字符;
其中,所述深度神经网络是根据各样本图像、各样本图像的字符区域标定结果、以及各样本图像中包括的字符训练得到的。
可选地,所述确定模块,包括:
确定子模块,用于根据预设的划分规则,确定所述目标图像中包括的各候选区域;
第一提取子模块,用于对所述各候选区域进行特征提取,得到各候选区域对应的特征图;
第一识别子模块,用于根据各候选区域对应的特征图,识别包含字符的特征图,并将所识别出的特征图确定为所述目标图像的字符区域对应的特征图。
可选地,所述装置还包括:
调整模块,用于对各候选区域的位置和/或形状进行调整。
可选地,所述确定模块,包括:
第二提取子模块,用于对所述目标图像进行特征提取,得到所述目标图像对应的特征图;
第二识别子模块,用于对所述目标图像对应的特征图进行像素级分析,识别包含字符的区域,并将所识别出的区域对应的特征图确定为所述目标图像中的字符区域对应的特征图。
可选地,所述深度神经网络至少包括:卷积神经网络、循环神经网络、分类器、以及序列解码器;所述识别模块,包括:
第三提取子模块,用于通过所述卷积神经网络对所述各字符区域进行字符级特征提取;
第四提取子模块,用于通过所述循环神经网络对所述各字符区域进行上下文特征提取;
第三识别子模块,用于通过所述分类器和序列解码器对所提取的特征图进行分类识别,得到所述目标图像中包括的字符。
可选地,所述装置还包括:
第二获取模块,用于获取样本图像、各样本图像的字符区域标定结果、以及各样本图像中包括的字符;
训练模块,用于将各样本图像、各样本图像的字符区域标定结果、以及各样本图像中包括的字符作为训练样本,训练得到所述深度神经网络。
本发明实施例提供了一种字符识别方法及装置,所述方法包括:获取待分析的包括字符的目标图像;将所述目标图像输入预先训练的深度神经网络中,确定所述目标图像的字符区域对应的特征图;通过所述深度神经网络对所述各字符区域对应的特征图进行字符识别,得到所述目标图像中包括的字符;其中,所述深度神经网络是根据各样本图像、各样本图像的字符区域标定结果、以及各样本图像中包括的字符训练得到的。
本发明实施例中,可以预先根据各样本图像、各样本图像的字符区域标定结果、以及各样本图像中包括的字符训练得到深度神经网络,在进行字符识别时,获取到包含字符的目标图像后,将目标图像输入深度神经网络中,可以准确地确定目标图像的字符区域对应的特征图,进而可以通过深度神经网络对各字符区域对应的特征图进行字符识别,从而准确地得到目标图像中包括的字符。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种字符识别方法的流程图;
图2为本发明实施例的一种包括字符的目标图像示意图;
图3(a)为本发明实施例的一种字符区域示意图;
图3(b)为对图3(a)所示的字符区域进行调整后的结果示意图;
图4为本发明实施例提供的一种字符识别方法的另一流程图;
图5为本发明实施例提供的一种字符识别装置的结构示意图;
图6为本发明实施例提供的一种字符识别装置的另一结构示意图。
具体实施方式
为了提高字符识别的准确性,本发明实施例提供了一种字符识别方法及装置。
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
为了提高字符识别的准确性,本发明实施例提供了一种字符识别方法过程,如图1所示,该过程可以包括以下步骤:
S101,获取待分析的包括字符的目标图像。
本发明实施例提供的方法可以应用于电子设备。具体地,该电子设备可以为台式计算机、便携式计算机、智能移动终端等。
在本发明实施例中,电子设备可以对包括字符的图像进行识别,得到其中包括的字符。例如,电子设备可以对道路上的图像采集设备采集的图像进行识别,得到其中包括的车牌号;或者,也可以对用户拍摄的图像进行字符识别,得到其中包括的字符信息。
当电子设备对图像采集设备采集的图像进行字符识别时,可以在图像采集设备与电子设备之间建立有线或无线连接,从而图像采集设备可以将其采集的图像发送给电子设备。例如,可以通过WIFI(Wireless Fidelity,无线保真)、NFC(Near FieldCommunication,近距离无线通讯技术)、蓝牙等无线连接方式在图像采集设备与电子设备之间建立连接,本发明实施例对此不进行限定。当电子设备对用户拍摄的图像进行字符识别时,用户可以将其拍摄的图像输入电子设备中。
因此,在本发明实施例中,电子设备可以接收图像采集设备发送的目标图像,或者用户输入的目标图像,以识别目标图像中包括的字符。请参考图2,其示出了电子设备获取的一种包括字符的目标图像示意图。
需要说明的是,在本发明实施例中,电子设备还可以通过其他方式获取目标图像,本发明实施例对此不做限定。
S102,将所述目标图像输入预先训练的深度神经网络中,确定所述目标图像的字符区域对应的特征图。
在本发明实施例中,为了提高字符识别的准确性,电子设备可以预先根据一定数量的样本图像,如100张、500张、1000张等,各样本图像的字符区域标定结果、以及各样本图像中包括的字符训练得到深度神经网络。使用训练后的深度神经网络,当输入包括字符的目标图像时,该深度神经网络可以确定目标图像的字符区域对应的特征图,并且根据该特征图,得到目标图像中包括的字符。
在本发明实施例中,获取到包括字符的目标图像后,电子设备可以将该目标图像输入预先训练的深度神经网络中,进而对目标图像的各区域进行检测,识别出包含字符的字符区域,并且,可以确定各字符区域对应的特征图。
例如,当电子设备获取到的目标图像如图2所示时,通过深度神经网络,可以确定目标图像中的字符区域为区域210。并且,可以通过深度神经网络进行特征提取,得到字符区域对应的特征图。
S103,通过所述深度神经网络对所述各字符区域对应的特征图进行字符识别,得到所述目标图像中包括的字符。
本发明实施例中,确定目标图像的字符区域对应的特征图后,电子设备可以进一步地根据深度神经网络,对各字符区域对应的特征图进行字符识别,得到目标图像中包括的字符。如,通过深度神经网络,可以对各字符区域分别进行识别,识别出各字符区域包括的各字符,进而得到目标图像中包括的字符。
例如,针对如图2所示的目标图像,电子设备识别出其中包括的字符可以为:冀FC508。
本发明实施例中,可以预先根据各样本图像、各样本图像的字符区域标定结果、以及各样本图像中包括的字符训练得到深度神经网络,在进行字符识别时,获取到包含字符的目标图像后,将目标图像输入深度神经网络中,可以准确地确定目标图像的字符区域对应的特征图,进而可以通过深度神经网络对各字符区域对应的特征图进行字符识别,从而准确地得到目标图像中包括的字符。
作为本发明实施例的一种实施方式,电子设备确定目标图像的字符区域对应的特征图时,可以首先根据预设的划分规则,如,各候选区域的大小、形状等,确定目标图像中包括的各候选区域。例如,可以从目标图像中确定大小均为20像素*30像素的长方形候选区域。其中,各候选区域可以均不重叠,也可以重叠,本发明实施例对此不做限定。
然后,电子设备可以对各候选区域进行特征提取,得到各候选区域对应的特征图;最后对各候选区域对应的特征图进行识别,识别出包含字符的特征图,并将所识别出的特征图确定为目标图像的字符区域对应的特征图。
作为本发明实施例的一种实施方式,有些情况下,目标图像中的字符格式可能存在多样性,字符区域也可能不是规则的长方形、正方形等,而是其他的一些图形,如平行四边形等。因此,将目标图像划分为多个规则图形后,检测到的字符区域可能不是特别准确。
例如,如图3(a)所示,当实际的字符为斜体,预设规则为将目标图像划分为长方形候选区域时,得到的字符区域可以为如图3(a)所示的区域。从图3(a)可以看出,得到的字符区域并不能很准确地包含全部的字符内容。
在本发明实施例中,在确定目标图像中包括的各候选区域之后,可以对各候选区域的位置和/或形状进行调整。例如,可以对各候选区域进行旋转、平移等操作。
具体地,在对深度神经网络进行训练时,可以根据样本图像中包括的不规则形状的字符区域,训练得到对字符区域进行调整的向量。在进行字符识别时,即可根据训练得到的向量,对各候选区域的位置和/或形状进行调整。
例如,针对如图3(a)所示的字符区域,对其进行调整后,可以得到如图3(b)所示的字符区域。从图3(b)可以看出,调整后的字符区域能够很准确地包含全部的字符内容。
作为本发明实施例的一种实施方式,电子设备确定目标图像的字符区域对应的特征图时,还可以首先对目标图像进行特征提取,得到目标图像对应的特征图,然后对目标图像对应的特征图进行像素级分析,识别包含字符的区域,并将所识别出的区域对应的特征图确定为目标图像中的字符区域对应的特征图。
例如,当得到目标图像对应的特征图后,电子设备可以针对该特征图,按照设定的分析顺序,如从左到右、从上到下的顺序,依次对每个像素进行分析,识别包含字符的像素,分析完成后,确定包含字符的像素组成的区域,最后,将该区域对应的特征图确定为目标图像中的字符区域对应的特征图。
作为本发明实施例的一种实施方式,本实施例中的深度神经网络至少可以包括:卷积神经网络、循环神经网络、分类器、以及序列解码器等。
卷积神经网络(Convolutional Neural Network,CNN)是一种前馈的人工神经网络,其神经元可以响应有限覆盖范围内周围单元,并通过权值共享和特征汇聚,有效提取图像的结构信息。
循环神经网络(Recurrent Neural Network,RNN)是一种拥有循环结构的人工神经网络,通过隐层特征在序列方向的传递,可以使当前序列点的特征计算得到上下文的信息的支援。通过权值共享和特征汇聚,适用于复杂的序列问题(如时间、空间等)的深度学习建模。
电子设备通过深度神经网络对各字符区域对应的特征图进行字符识别,得到目标图像中包括的字符时,可以首先通过卷积神经网络对各字符区域进行字符级特征提取;然后通过循环神经网络对各字符区域进行上下文特征提取;最后可以通过分类器和序列解码器对所提取的特征图进行分类识别,得到目标图像中包括的字符。
在本发明实施例中,电子设备可以预先训练得到用于进行字符识别的深度神经网络。具体地,如图4所示,本发明实施例提供的字符识别方法,还可以包括以下步骤:
S201,获取样本图像、各样本图像的字符区域标定结果、以及各样本图像中包括的字符。
本发明实施例中,电子设备在训练深度神经网络时,可以首先获取样本图像。例如,电子设备可以获取尽可能多的样本图像,如100张、500张、1000张等,各样本图像中均可以包括字符。并且,为了在进行字符识别时,适应不同质量的图像、适应图像中不同格式的字符,各样本图像中包括的字符的格式可以多样化,如,样本图像中可以包括字体、大小、字形等均不同的字符。
在本发明实施例中,用户可以对各样本图像,进行字符区域的标定,并将标定结果输入电子设备中。并且,还可以将各样本图像中包括的字符输入电子设备中。因此,电子设备可以获取到各样本图像,各样本图像的字符区域标定结果、以及各样本图像中包括的字符。
S202,将各样本图像、各样本图像的字符区域标定结果、以及各样本图像中包括的字符作为训练样本,训练得到所述深度神经网络。
获取到各样本图像、各样本图像的字符区域标定结果、以及各样本图像中包括的字符后,电子设备可以将各样本图像、各样本图像的字符区域标定结果、以及各样本图像中包括的字符作为训练样本,训练得到深度神经网络。
需要说明的是,在本发明实施例中,深度神经网络的训练过程可以采用现有的任一种方法,例如,电子设备可以采用反向传播算法训练得到深度神经网络。其中,网络参数梯度的计算可以采用随机梯度下降法。或者,还可以采用其它方法,训练得到深度神经网络,本发明实施例对此过程不进行赘述。
本发明实施例中,可以预先根据各样本图像、各样本图像的字符区域标定结果、以及各样本图像中包括的字符训练得到深度神经网络,在进行字符识别时,获取到包含字符的目标图像后,将目标图像输入深度神经网络中,可以准确地确定目标图像的字符区域对应的特征图,进而可以通过深度神经网络对各字符区域对应的特征图进行字符识别,从而准确地得到目标图像中包括的字符。
相应于上面的方法实施例,本发明实施例还提供了相应的装置实施例。
图5为本发明实施例提供的一种字符识别装置,所述装置包括:
第一获取模块510,用于获取待分析的包括字符的目标图像;
确定模块520,用于将所述目标图像输入预先训练的深度神经网络中,确定所述目标图像的字符区域对应的特征图;
识别模块530,用于通过所述深度神经网络对所述各字符区域对应的特征图进行字符识别,得到所述目标图像中包括的字符;
其中,所述深度神经网络是根据各样本图像、各样本图像的字符区域标定结果、以及各样本图像中包括的字符训练得到的。
本发明实施例中,可以预先根据各样本图像、各样本图像的字符区域标定结果、以及各样本图像中包括的字符训练得到深度神经网络,在进行字符识别时,获取到包含字符的目标图像后,将目标图像输入深度神经网络中,可以准确地确定目标图像的字符区域对应的特征图,进而可以通过深度神经网络对各字符区域对应的特征图进行字符识别,从而准确地得到目标图像中包括的字符。
作为本发明实施例的一种实施方式,所述确定模块520,包括:
确定子模块(图中未示出),用于根据预设的划分规则,确定所述目标图像中包括的各候选区域;
第一提取子模块(图中未示出),用于对所述各候选区域进行特征提取,得到各候选区域对应的特征图;
第一识别子模块(图中未示出),用于根据各候选区域对应的特征图,识别包含字符的特征图,并将所识别出的特征图确定为所述目标图像的字符区域对应的特征图。
作为本发明实施例的一种实施方式,所述装置还包括:
调整模块(图中未示出),用于对各候选区域的位置和/或形状进行调整。
作为本发明实施例的一种实施方式,所述确定模块520,包括:
第二提取子模块(图中未示出),用于对所述目标图像进行特征提取,得到所述目标图像对应的特征图;
第二识别子模块(图中未示出),用于对所述目标图像对应的特征图进行像素级分析,识别包含字符的区域,并将所识别出的区域对应的特征图确定为所述目标图像中的字符区域对应的特征图。
作为本发明实施例的一种实施方式,所述深度神经网络至少包括:卷积神经网络、循环神经网络、分类器、以及序列解码器;所述识别模块530,包括:
第三提取子模块(图中未示出),用于通过所述卷积神经网络对所述各字符区域进行字符级特征提取;
第四提取子模块(图中未示出),用于通过所述循环神经网络对所述各字符区域进行上下文特征提取;
第三识别子模块(图中未示出),用于通过所述分类器和序列解码器对所提取的特征图进行分类识别,得到所述目标图像中包括的字符。
作为本发明实施例的一种实施方式,如图6所示,所述装置还包括:
第二获取模块540,用于获取样本图像、各样本图像的字符区域标定结果、以及各样本图像中包括的字符;
训练模块550,用于将各样本图像、各样本图像的字符区域标定结果、以及各样本图像中包括的字符作为训练样本,训练得到所述深度神经网络。
对于装置实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

Claims (12)

1.一种字符识别方法,其特征在于,所述方法包括:
获取待分析的包括字符的目标图像;
将所述目标图像输入预先训练的深度神经网络中,确定所述目标图像的字符区域对应的特征图;
通过所述深度神经网络对所述各字符区域对应的特征图进行字符识别,得到所述目标图像中包括的字符;
其中,所述深度神经网络是根据各样本图像、各样本图像的字符区域标定结果、以及各样本图像中包括的字符训练得到的。
2.根据权利要求1所述的方法,其特征在于,所述确定所述目标图像的字符区域对应的特征图的步骤包括:
根据预设的划分规则,确定所述目标图像中包括的各候选区域;
对所述各候选区域进行特征提取,得到各候选区域对应的特征图;
根据各候选区域对应的特征图,识别包含字符的特征图,并将所识别出的特征图确定为所述目标图像的字符区域对应的特征图。
3.根据权利要求2所述的方法,其特征在于,所述确定所述目标图像中包括的各候选区域之后,所述方法还包括:
对各候选区域的位置和/或形状进行调整。
4.根据权利要求1所述的方法,其特征在于,所述确定所述目标图像的字符区域对应的特征图的步骤包括:
对所述目标图像进行特征提取,得到所述目标图像对应的特征图;
对所述目标图像对应的特征图进行像素级分析,识别包含字符的区域,并将所识别出的区域对应的特征图确定为所述目标图像中的字符区域对应的特征图。
5.根据权利要求1所述的方法,其特征在于,所述深度神经网络至少包括:卷积神经网络、循环神经网络、分类器、以及序列解码器;所述通过所述深度神经网络对所述各字符区域对应的特征图进行字符识别,得到所述目标图像中包括的字符的步骤包括:
通过所述卷积神经网络对所述各字符区域进行字符级特征提取;
通过所述循环神经网络对所述各字符区域进行上下文特征提取;
通过所述分类器和序列解码器对所提取的特征图进行分类识别,得到所述目标图像中包括的字符。
6.根据权利要求1-5任一项所述的方法,其特征在于,所述深度神经网络的训练过程包括:
获取样本图像、各样本图像的字符区域标定结果、以及各样本图像中包括的字符;
将各样本图像、各样本图像的字符区域标定结果、以及各样本图像中包括的字符作为训练样本,训练得到所述深度神经网络。
7.一种字符识别装置,其特征在于,所述装置包括:
第一获取模块,用于获取待分析的包括字符的目标图像;
确定模块,用于将所述目标图像输入预先训练的深度神经网络中,确定所述目标图像的字符区域对应的特征图;
识别模块,用于通过所述深度神经网络对所述各字符区域对应的特征图进行字符识别,得到所述目标图像中包括的字符;
其中,所述深度神经网络是根据各样本图像、各样本图像的字符区域标定结果、以及各样本图像中包括的字符训练得到的。
8.根据权利要求7所述的装置,其特征在于,所述确定模块,包括:
确定子模块,用于根据预设的划分规则,确定所述目标图像中包括的各候选区域;
第一提取子模块,用于对所述各候选区域进行特征提取,得到各候选区域对应的特征图;
第一识别子模块,用于根据各候选区域对应的特征图,识别包含字符的特征图,并将所识别出的特征图确定为所述目标图像的字符区域对应的特征图。
9.根据权利要求8所述的装置,其特征在于,所述装置还包括:
调整模块,用于对各候选区域的位置和/或形状进行调整。
10.根据权利要求7所述的装置,其特征在于,所述确定模块,包括:
第二提取子模块,用于对所述目标图像进行特征提取,得到所述目标图像对应的特征图;
第二识别子模块,用于对所述目标图像对应的特征图进行像素级分析,识别包含字符的区域,并将所识别出的区域对应的特征图确定为所述目标图像中的字符区域对应的特征图。
11.根据权利要求7所述的装置,其特征在于,所述深度神经网络至少包括:卷积神经网络、循环神经网络、分类器、以及序列解码器;所述识别模块,包括:
第三提取子模块,用于通过所述卷积神经网络对所述各字符区域进行字符级特征提取;
第四提取子模块,用于通过所述循环神经网络对所述各字符区域进行上下文特征提取;
第三识别子模块,用于通过所述分类器和序列解码器对所提取的特征图进行分类识别,得到所述目标图像中包括的字符。
12.根据权利要求7-11任一项所述的装置,其特征在于,所述装置还包括:
第二获取模块,用于获取样本图像、各样本图像的字符区域标定结果、以及各样本图像中包括的字符;
训练模块,用于将各样本图像、各样本图像的字符区域标定结果、以及各样本图像中包括的字符作为训练样本,训练得到所述深度神经网络。
CN201611082212.4A 2016-11-30 2016-11-30 一种字符识别方法及装置 Active CN108121984B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201611082212.4A CN108121984B (zh) 2016-11-30 2016-11-30 一种字符识别方法及装置
US16/464,922 US11003941B2 (en) 2016-11-30 2017-10-12 Character identification method and device
PCT/CN2017/105843 WO2018099194A1 (zh) 2016-11-30 2017-10-12 一种字符识别方法及装置
EP17877227.3A EP3550473A4 (en) 2016-11-30 2017-10-12 CHARACTER IDENTIFICATION METHOD AND DEVICE

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611082212.4A CN108121984B (zh) 2016-11-30 2016-11-30 一种字符识别方法及装置

Publications (2)

Publication Number Publication Date
CN108121984A true CN108121984A (zh) 2018-06-05
CN108121984B CN108121984B (zh) 2021-09-21

Family

ID=62226299

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611082212.4A Active CN108121984B (zh) 2016-11-30 2016-11-30 一种字符识别方法及装置

Country Status (4)

Country Link
US (1) US11003941B2 (zh)
EP (1) EP3550473A4 (zh)
CN (1) CN108121984B (zh)
WO (1) WO2018099194A1 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109117738A (zh) * 2018-07-19 2019-01-01 江苏黄金屋教育发展股份有限公司 基于人工智能的阅卷方法
CN109447080A (zh) * 2018-11-12 2019-03-08 北京奇艺世纪科技有限公司 一种字符识别方法及装置
CN109495784A (zh) * 2018-11-29 2019-03-19 北京微播视界科技有限公司 信息推送方法、装置、电子设备及计算机可读存储介质
CN109871521A (zh) * 2019-01-08 2019-06-11 平安科技(深圳)有限公司 一种电子文档的生成方法及设备
CN110717366A (zh) * 2018-07-13 2020-01-21 杭州海康威视数字技术股份有限公司 文本信息的识别方法、装置、设备及存储介质
CN111027557A (zh) * 2019-03-11 2020-04-17 广东小天才科技有限公司 一种基于题目图像的科目识别方法及电子设备
CN111046859A (zh) * 2018-10-11 2020-04-21 杭州海康威视数字技术股份有限公司 字符识别方法及装置
CN111210399A (zh) * 2018-11-22 2020-05-29 杭州海康威视数字技术股份有限公司 一种成像质量评价方法、装置及设备
CN111274845A (zh) * 2018-12-04 2020-06-12 杭州海康威视数字技术股份有限公司 商店货架陈列情况的识别方法、装置、系统及电子设备
CN111753814A (zh) * 2019-03-26 2020-10-09 杭州海康威视数字技术股份有限公司 样本生成方法、装置及设备
CN111767908A (zh) * 2019-04-02 2020-10-13 顺丰科技有限公司 字符检测方法、装置、检测设备及存储介质
CN113205511A (zh) * 2021-05-25 2021-08-03 中科芯集成电路有限公司 基于深层神经网络的电子元器件批量信息检测方法及系统

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110276342B (zh) * 2018-03-14 2023-04-18 台达电子工业股份有限公司 车牌辨识方法以及其系统
CN111027555B (zh) * 2018-10-09 2023-09-26 杭州海康威视数字技术股份有限公司 一种车牌识别方法、装置及电子设备
CN111325194B (zh) * 2018-12-13 2023-12-29 杭州海康威视数字技术股份有限公司 一种文字识别方法、装置及设备、存储介质
US10984279B2 (en) * 2019-06-13 2021-04-20 Wipro Limited System and method for machine translation of text
CN110458011A (zh) * 2019-07-05 2019-11-15 北京百度网讯科技有限公司 端到端的文字识别方法及装置、计算机设备及可读介质
CN112287932A (zh) * 2019-07-23 2021-01-29 上海高德威智能交通系统有限公司 一种确定图像质量的方法、装置、设备及存储介质
CN110956170A (zh) * 2019-09-30 2020-04-03 京东数字科技控股有限公司 生成护照机读码样本的方法、装置、设备及存储介质
CN110827247B (zh) * 2019-10-28 2024-03-15 上海万物新生环保科技集团有限公司 一种识别标签的方法及设备
CN110866530A (zh) * 2019-11-13 2020-03-06 云南大学 一种字符图像识别方法、装置及电子设备
CN111414908B (zh) * 2020-03-16 2023-08-29 湖南快乐阳光互动娱乐传媒有限公司 一种视频中字幕字符的识别方法及装置
CN111401289B (zh) * 2020-03-24 2024-01-23 国网上海市电力公司 一种变压器部件的智能识别方法和装置
CN112101343A (zh) * 2020-08-17 2020-12-18 广东工业大学 一种车牌字符分割与识别方法
CN113298188A (zh) * 2021-06-28 2021-08-24 深圳市商汤科技有限公司 字符识别及神经网络训练方法和装置
CN115171129A (zh) * 2022-09-06 2022-10-11 京华信息科技股份有限公司 文字识别纠错方法、装置、终端设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070058856A1 (en) * 2005-09-15 2007-03-15 Honeywell International Inc. Character recoginition in video data
CN102184395A (zh) * 2011-06-08 2011-09-14 天津大学 基于字符串核的手绘草图识别方法
CN104298976A (zh) * 2014-10-16 2015-01-21 电子科技大学 基于卷积神经网络的车牌检测方法
CN105335760A (zh) * 2015-11-16 2016-02-17 南京邮电大学 一种图像数字字符识别方法
CN105678293A (zh) * 2015-12-30 2016-06-15 成都数联铭品科技有限公司 一种基于cnn-rnn的复杂图像字序列识别方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5299269A (en) * 1991-12-20 1994-03-29 Eastman Kodak Company Character segmentation using an associative memory for optical character recognition
US8965112B1 (en) * 2013-12-09 2015-02-24 Google Inc. Sequence transcription with deep neural networks
US10043112B2 (en) * 2014-03-07 2018-08-07 Qualcomm Incorporated Photo management
CN105787524A (zh) * 2014-12-26 2016-07-20 中国科学院沈阳自动化研究所 基于OpenCV的车牌识别方法及系统
US10685262B2 (en) * 2015-03-20 2020-06-16 Intel Corporation Object recognition based on boosting binary convolutional neural network features
CN105184312B (zh) 2015-08-24 2018-09-25 中国科学院自动化研究所 一种基于深度学习的文字检测方法及装置
CN105608454B (zh) * 2015-12-21 2019-08-09 上海交通大学 基于文字结构部件检测神经网络的文字检测方法及系统
US9911055B2 (en) * 2016-03-08 2018-03-06 Conduent Business Services, Llc Method and system for detection and classification of license plates
CN107220579B (zh) * 2016-03-21 2020-02-04 杭州海康威视数字技术股份有限公司 一种车牌检测方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070058856A1 (en) * 2005-09-15 2007-03-15 Honeywell International Inc. Character recoginition in video data
CN102184395A (zh) * 2011-06-08 2011-09-14 天津大学 基于字符串核的手绘草图识别方法
CN104298976A (zh) * 2014-10-16 2015-01-21 电子科技大学 基于卷积神经网络的车牌检测方法
CN105335760A (zh) * 2015-11-16 2016-02-17 南京邮电大学 一种图像数字字符识别方法
CN105678293A (zh) * 2015-12-30 2016-06-15 成都数联铭品科技有限公司 一种基于cnn-rnn的复杂图像字序列识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HUI LI 等: "Reading Car License Plates Using Deep Convolutional Neural Networks and LSTMs", 《ARXIV》 *
ROMESH LAISHRAM 等: "A neural network based handwritten Meitei Mayek alphabet optical character recognition system", 《2014 IEEE INTERNATIONAL CONFERENCE ON COMPUTATIONAL INTELLIGENCE AND COMPUTING RESEARCH》 *
杨晓敏 等: "一种基于相似度判据的K近邻分类器的车牌字符识别方法", 《四川大学学报(自然科学版)》 *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110717366A (zh) * 2018-07-13 2020-01-21 杭州海康威视数字技术股份有限公司 文本信息的识别方法、装置、设备及存储介质
CN109117738A (zh) * 2018-07-19 2019-01-01 江苏黄金屋教育发展股份有限公司 基于人工智能的阅卷方法
CN111046859A (zh) * 2018-10-11 2020-04-21 杭州海康威视数字技术股份有限公司 字符识别方法及装置
CN111046859B (zh) * 2018-10-11 2023-09-29 杭州海康威视数字技术股份有限公司 字符识别方法及装置
CN109447080A (zh) * 2018-11-12 2019-03-08 北京奇艺世纪科技有限公司 一种字符识别方法及装置
CN109447080B (zh) * 2018-11-12 2020-04-17 北京奇艺世纪科技有限公司 一种字符识别方法及装置
CN111210399A (zh) * 2018-11-22 2020-05-29 杭州海康威视数字技术股份有限公司 一种成像质量评价方法、装置及设备
CN111210399B (zh) * 2018-11-22 2023-10-17 杭州海康威视数字技术股份有限公司 一种成像质量评价方法、装置及设备
CN109495784A (zh) * 2018-11-29 2019-03-19 北京微播视界科技有限公司 信息推送方法、装置、电子设备及计算机可读存储介质
CN111274845A (zh) * 2018-12-04 2020-06-12 杭州海康威视数字技术股份有限公司 商店货架陈列情况的识别方法、装置、系统及电子设备
CN111274845B (zh) * 2018-12-04 2023-09-05 杭州海康威视数字技术股份有限公司 商店货架陈列情况的识别方法、装置、系统及电子设备
CN109871521A (zh) * 2019-01-08 2019-06-11 平安科技(深圳)有限公司 一种电子文档的生成方法及设备
CN111027557A (zh) * 2019-03-11 2020-04-17 广东小天才科技有限公司 一种基于题目图像的科目识别方法及电子设备
CN111027557B (zh) * 2019-03-11 2024-03-19 广东小天才科技有限公司 一种基于题目图像的科目识别方法及电子设备
CN111753814A (zh) * 2019-03-26 2020-10-09 杭州海康威视数字技术股份有限公司 样本生成方法、装置及设备
CN111753814B (zh) * 2019-03-26 2023-07-25 杭州海康威视数字技术股份有限公司 样本生成方法、装置及设备
CN111767908A (zh) * 2019-04-02 2020-10-13 顺丰科技有限公司 字符检测方法、装置、检测设备及存储介质
CN113205511A (zh) * 2021-05-25 2021-08-03 中科芯集成电路有限公司 基于深层神经网络的电子元器件批量信息检测方法及系统
CN113205511B (zh) * 2021-05-25 2023-09-29 中科芯集成电路有限公司 基于深层神经网络的电子元器件批量信息检测方法及系统

Also Published As

Publication number Publication date
EP3550473A4 (en) 2019-12-11
WO2018099194A1 (zh) 2018-06-07
CN108121984B (zh) 2021-09-21
US20200311460A1 (en) 2020-10-01
EP3550473A1 (en) 2019-10-09
US11003941B2 (en) 2021-05-11

Similar Documents

Publication Publication Date Title
CN108121984A (zh) 一种字符识别方法及装置
CN112052787B (zh) 基于人工智能的目标检测方法、装置及电子设备
EP3605394B1 (en) Method and apparatus for recognizing body movement
CN108898047B (zh) 基于分块遮挡感知的行人检测方法及系统
CN107360137A (zh) 用于验证码识别的神经网络模型的构建方法和装置
CN109034365A (zh) 深度学习模型的训练方法及装置
US11003926B2 (en) Method and apparatus for recognizing boundary of traffic sign
CN105981043A (zh) 基于关注中心点的引导指纹注册
CN106680775A (zh) 一种自动识别雷达信号调制方式的方法和系统
CN106934408A (zh) 基于卷积神经网络的身份证照片分类方法
CN110046622B (zh) 一种有目标的攻击样本生成方法、装置、设备及存储介质
CN106548169A (zh) 基于深度神经网络的模糊文字增强方法及装置
CN109472193A (zh) 人脸检测方法及装置
CN109697449A (zh) 一种目标检测方法、装置及电子设备
CN108133197A (zh) 用于生成信息的方法和装置
EP3983953A1 (en) Understanding deep learning models
KR101563569B1 (ko) 학습형 다이내믹 시각 이미지 패턴 인식 시스템 및 방법
CN108460388A (zh) 定位标志的检测方法、装置及计算机可读存储介质
CN108229273B (zh) 多层神经网络模型训练、道路特征识别的方法和装置
CN111079744B (zh) 适用于复杂光照环境的车辆车牌智能识别方法及装置
CN112288702A (zh) 一种基于车联网的道路图像检测方法
CN112149698A (zh) 一种困难样本数据的筛选方法及装置
CN116823884A (zh) 多目标跟踪方法、系统、计算机设备及存储介质
CN113902044B (zh) 一种基于轻量级yolov3的图像目标提取方法
CN110428264A (zh) 基于点阵屏防伪标签的识别验伪方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant