CN103714316B - 图像识别方法、装置及电子设备 - Google Patents

图像识别方法、装置及电子设备 Download PDF

Info

Publication number
CN103714316B
CN103714316B CN201310666884.XA CN201310666884A CN103714316B CN 103714316 B CN103714316 B CN 103714316B CN 201310666884 A CN201310666884 A CN 201310666884A CN 103714316 B CN103714316 B CN 103714316B
Authority
CN
China
Prior art keywords
recognition result
area
target
weighted value
confidence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310666884.XA
Other languages
English (en)
Other versions
CN103714316A (zh
Inventor
陈志军
张涛
王琳
张波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiaomi Inc
Original Assignee
Xiaomi Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiaomi Inc filed Critical Xiaomi Inc
Priority to CN201310666884.XA priority Critical patent/CN103714316B/zh
Publication of CN103714316A publication Critical patent/CN103714316A/zh
Application granted granted Critical
Publication of CN103714316B publication Critical patent/CN103714316B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种图像识别方法、装置及电子设备,其中,该方法包括:获取目标区域的至少两帧图像的识别结果,每个所述识别结果中包含至少一个对象;获取每个所述识别结果中所述对象的置信度信息;根据所述置信度信息,获取目标识别结果。该方法可以对扫描设备在多种拍摄条件下获取到图像的识别结果集中进行分析,与基于单帧图像进行识别的方法相比,不仅减少获取单帧图像之间调整扫描设备占用的时间,而且可以避免单帧图像的识别结果的偶然性,降低识别错误出现的几率,提高识别效率及准确率。

Description

图像识别方法、装置及电子设备
技术领域
本申请涉及图像识别技术领域,特别是涉及一种图像识别方法、装置及电子设备。
背景技术
目前,OCR(Optical Character Recognition,光学字符识别)技术越来越多地应用到带有图像扫描(拍照或摄像)功能的移动智能终端设备上,例如手机、相机、平板电脑、PDA、扫描仪和POS机等。
现有的OCR识别方法,通常是扫描得到单帧图像,然后基于扫描到的单帧图像,对图像中的内容进行识别,提取图像中的内容,得到识别结果,当识别结果满足要求时,显示识别结果,当识别结果不满足要求时,则需要继续进行扫描,并对再次扫描到的单帧图像进行识别。
在完成一次识别过程中,用户为了得到正确的识别结果,需要不断调整扫描设备的拍摄角度、位置以及光照,对同一目标区域进行扫描,通常三者一起调整,以获取有利于识别的单帧图像。在现实操作中,由于上述三种条件难以同时都满足,甚至只有在特定拍照角度、特定的位置以及特定光照的情况下,才能扫描得到高质量的图像,所以通常扫描得到的图像质量比较差。利用这些质量比较差的图像进行识别,导致无法快速得到识别结果,识别的效率低,并且识别准确率也低。
发明内容
本申请中提供了一种图像识别方法、装置及电子设备,以解决相关技术中的识别效率低、准确率低的问题。
为了解决上述技术问题,本申请公开了如下技术方案:
第一方面,本申请提供了一种图像识别方法,包括:获取目标区域的至少两帧图像的识别结果,每个所述识别结果中包含至少一个对象;获取每个所述识别结果中所述对象的置信度信息;根据所述置信度信息,获取目标识别结果。
结合第一方面,在第一方面第一种可能的实现方式中,所述对象包括:数字、字母、汉字和符号中的一种或多种组合。
结合第一方面或第一方面第一种可能的实现方式,在第一方面第二种可能的实现方式中,所述对象的置信度信息包括:对象的最小置信度、平均置信度和/或数量置信度。
结合第一方面第二种可能的实现方式,在第一方面第三种可能的实现方式中,所述根据所述置信度信息,获取目标识别结果,包括:获取与所述置信度信息对应的预设权值;根据所述置信度信息和与所述置信度信息对应的预设权值,获取每个所述识别结果的加权值;将加权值最大的所述识别结果确定为目标识别结果。
结合第一方面第三种可能的实现方式,在第一方面第四种可能的实现方式中,所述将加权值最大的所述识别结果确定为目标识别结果,包括:获取所述识别结果中加权值由大到小的、预设数量个识别结果作为参考识别结果;获取所有参考识别结果中的第一区域和第二区域,其中,每个所述识别结果中的对象都有一个位于所述识别结果对应图像中的位置,第一区域内相同位置上所有参考识别结果中对象都相同,第二区域内相同位置上所有参考识别结果中的对象全部不相同或部分不相同;将加权值最大且标示出所述第一区域和第二区域的所述识别结果确定为目标识别结果。
结合第一方面第三种可能的实现方式或第四种可能的实现方式,在第一方面第五种可能的实现方式中,所述方法还包括:判断所述目标识别结果的加权值是否小于预设加权阈值;当所述目标识别结果的加权值小于预设加权阈值时,获取所述目标区域的新增帧图像的识别结果,并返回执行获取每个所述识别结果中所述对象的置信度信息,所述新增帧图像与至少两帧所述图像中任意一个都不同;当所述目标识别结果的加权值不小于预设加权阈值时,输出所述目标识别结果。
结合第一方面第二种可能的实现方式,在第一方面第六种可能的实现方式中,所述根据所述置信度信息,获取目标识别结果,包括:获取与所述置信度信息对应的预设权值;根据所述置信度信息和与所述置信度信息对应的预设权值,获取每个所述识别结果的加权值;获取所述识别结果中加权值由大到小的、预设数量个识别结果作为参考识别结果;获取所有参考识别结果中的第一区域和第二区域,其中,每个所述识别结果中的对象都有一个位于所述识别结果对应图像中的位置,第一区域内相同位置上所有参考识别结果中的对象都相同,第二区域内相同位置上所有参考识别结果中的对象全部不相同或部分不相同;融合所述第二区域内相同位置上所有参考识别结果中的对象得到目标对象,所述目标对象为所有参考结果中相同位置上包含的所有对象中的一个;将包含所述第一区域内的对象和所述第二区域内融合后得到的目标对象的识别结果确定为目标识别结果。
结合第一方面第六种可能的实现方式,在第一方面第七种可能的实现方式中,所述融合所述第二区域内相同位置上所有参考识别结果中的对象得到目标对象,包括:在所述第二区域内选择一个位置作为目标位置;获取所述目标位置上的所有参考识别结果中的对象,所述目标位置上包括至少两类对象,同类的对象相同,不同类的对象不相同;根据X=L+M*k+N,获取与加权值最大的参考识别结果中所述目标位置上对象同类的对象的准确率;根据X=L+M*k,获取与除加权值最大的参考识别结果外的参考识别结果中所述目标位置上对象同类的对象的准确率;将准确率最大的一类对象确定为所述目标位置上的目标对象;在所述第二区域内选择未被选择为目标位置的位置作为下一个目标位置,直至所述第二区域内不存在未被选择为目标位置的位置,其中,X为所述目标位置上对象的准确率,L为所述目标位置上同类对象中、置信度最大的对象对应的置信度,k为同类对象的数量与所述目标位置上所有参考识别结果中对象的数量之间的比值,N为加权值最大的参考识别结果中所述目标位置上的对象的预设补偿值。
结合第一方面第六种可能的实现方式或第七种可能的实现方式,在第一方面第八种可能的实现方式中,所述方法还包括:根据所述目标识别结果中包含的对象的置信度信息,获取所述目标识别结果的加权值;判断所述目标识别结果的加权值是否小于预设加权阈值;当所述目标识别结果的加权值小于所述预设加权阈值时,获取所述目标区域的新增帧图像的识别结果,并返回执行获取每个所述识别结果中所述对象的置信度信息,所述新增帧图像与至少两帧所述图像中任意一个都不同;当所述目标识别结果的加权值不小于所述预设加权阈值时,输出所述目标识别结果。
第二方面,本申请还提供了一种图像识别装置,包括:识别结果获取单元,用于获取目标区域的至少两帧图像的识别结果,每个所述识别结果中包含至少一个对象,所述对象包括:数字、字母、汉字和符号中的一种或多种组合;置信度信息获取单元,用于获取每个所述识别结果中所述对象的置信度信息,所述对象的置信度信息包括:对象的最小置信度、平均置信度和/或数量置信度;目标识别结果获取单元,用于根据所述置信度信息,获取目标识别结果。
结合第二方面,在第二方面第一种可能的实现方式中,所述目标识别结果获取单元包括:第一预设权值获取单元,用于获取与所述置信度信息对应的预设权值;第一加权值获取单元,用于根据所述置信度信息和与所述置信度信息对应的预设权值,获取每个所述识别结果的加权值;第一目标识别结果确认单元,用于将加权值最大的所述识别结果确定为目标识别结果。
结合第二方面第一种可能的实现方式,在第二方面第二种可能的实现方式中,所述第一目标识别结果确认单元,包括:第一参考结果获取单元,用于获取所述识别结果中加权值由大到小的、预设数量个识别结果作为参考识别结果;第一区域获取单元,用于获取所有参考识别结果中的第一区域和第二区域,其中,每个所述识别结果中的对象都有一个位于所述识别结果对应图像中的位置,第一区域内相同位置上所有参考识别结果中的对象都相同,第二区域内相同位置上所有参考识别结果中的对象全部不相同或部分不相同;目标识别结果确定子单元,用于将加权值最大且标示出所述第一区域和第二区域的所述识别结果确定为目标识别结果。
结合第二方面第一种可能的实现方式或第二种可能的实现方式,在第二方面第三种可能的实现方式中,所述装置还包括:第一加权值判断单元,用于判断所述目标识别结果的加权值是否小于预设加权阈值;第一输出单元,用于当所述目标识别结果的加权值不小于预设加权阈值时,输出所述目标识别结果;当所述目标识别结果的加权值小于预设加权阈值时,所述识别结果获取单元还用于获取所述目标区域的新增帧图像的识别结果,所述新增帧图像与至少两帧所述图像中任意一个都不同。
结合第二方面第三种可能的实现方式,在第二方面第四种可能的实现方式中,所述目标识别结果获取单元包括:第二预设权值获取单元,用于获取与所述置信度信息对应的预设权值;第二加权值获取单元,根据所述置信度信息和与所述置信度信息对应的预设权值,获取每个所述识别结果的加权值;第二参考结果获取单元,用于获取所述识别结果中加权值由大到小的、预设数量个识别结果作为参考识别结果;第二区域获取单元,用于获取所有参考识别结果中的第一区域和第二区域,其中,每个所述识别结果中的对象都有一个位于所述识别结果对应图像中的位置,第一区域内相同位置上所有参考识别结果中的对象都相同,第二区域内相同位置上所有参考识别结果中的对象全部不相同或部分不相同;融合单元,用于融合所述第二区域内相同位置上所有参考识别结果中的对象得到目标对象,所述目标对象为所有参考结果中相同位置上包含的所有对象中的一个;第二目标识别结果确定单元,用于将包含所述第一区域内的对象和所述第二区域内融合后得到的目标对象的识别结果确定为目标识别结果。
结合第二方面第四种可能的实现方式,在第二方面第五种可能的实现方式中,所述融合单元包括:目标位置选择单元,用于在所述第二区域内选择一个位置作为目标位置;对象获取单元,用于获取所述目标位置上的所有参考识别结果中的对象,所述目标位置上包括至少两类对象,同类的对象相同,不同类的对象不相同;准确率获取单元,用于根据X=L+M*k+N,获取与加权值最大的参考识别结果中所述目标位置上对象同类的对象的准确率;并根据X=L+M*k,获取与除加权值最大的参考识别结果外的参考识别结果中所述目标位置上对象同类的对象的准确率;目标对象确定单元,用于将准确率最大的一类对象确定为所述目标位置上的目标对象;目标位置判断单元,用于判断所述第二区域内是否存在未被选择为目标位置的位置;当所述第二区域内存在未被选择为目标位置的位置,所述目标位置选择单元还用于在所述第二区域内选择未被选择为目标位置的位置作为下一个目标位置,直至所述第二区域内不存在未被选择为目标位置的位置,其中,X为所述目标位置上对象的准确率,L为所述目标位置上同类对象中、置信度最大的对象对应的置信度,k为同类对象的数量与所述目标位置上所有参考识别结果中对象的数量之间的比值,N为加权值最大的参考识别结果中所述目标位置上的对象的预设补偿值。
结合第二方面第四种可能的实现方式或第五种可能的实现方式,在第二方面第六种可能的实现方式中,所述装置还包括:目标识别结果加权值获取单元,用于根据所述目标识别结果中包含的对象的置信度信息,获取所述目标识别结果的加权值;第二加权值判断单元,用于判断所述目标识别结果的加权值是否小于预设加权阈值;第二输出单元,用于当所述目标识别结果的加权值不小于所述预设加权阈值时,输出所述目标识别结果;当所述目标识别结果的加权值小于所述预设加权阈值时,所述识别结果获取单元还用于,获取所述目标区域的新增帧图像的识别结果,所述新增帧图像与至少两帧所述图像中任意一个都不同。
第三方面本申请还提供了一种电子设备,包括有存储器,以及一个或者一个以上的程序,其中一个或者一个以上程序存储于存储器中,且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令:获取目标区域的至少两帧图像的识别结果,每个所述识别结果中包含至少一个对象;获取每个所述识别结果中所述对象的置信度信息;根据所述置信度信息,获取目标识别结果。
本申请的有益效果至少包括:该方法可以对扫描设备在多种拍摄条件下获取到图像的识别结果集中进行分析,与基于单帧图像进行识别的方法相比,不仅减少获取单帧图像之间调整扫描设备占用的时间,而且可以避免单帧图像的识别结果的偶然性,降低识别错误出现的几率,提高识别效率及准确率。
附图说明
为了更清楚地说明本申请实施例或相关技术中的技术方案,下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的图像识别方法的应用场景图;
图2为本申请一个实施例提供的图像识别方法的流程示意图;
图3为图2中步骤S103的一种流程示意图;
图4为图3中步骤S1033的一种流程示意图;
图5为图3中步骤S1033的另一种流程示意图;
图6为本申请另一实施例提供的图像识别方法的流程示意图;
图7为图6中步骤S305的一种流程示意图;
图8为本申请实施例提供的一种识别实例;
图9为图8中三帧图像中识别结果融合后的示意图;
图10为图2中步骤S103的又一种流程示意图;
图11为本申请另一实施例提供的图像识别装置的结构示意图;
图12为本申请实施例提供的目标识别结果获取单元的一种结构示意图;
图13为本申请实施例提供的目标识别结果确认单元的结构示意图;
图14为本申请实施例提供的目标识别结果获取单元的另一种结构示意图;
图15为本申请实施例提供的融合单元的另一种结构示意图;
图16为本申请另一实施例提供的图像识别装置的结构示意图;
图17是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请实施例中的技术方案,并使本申请实施例的上述目的、特征和优点能够更加明显易懂,下面结合附图对本申请实施例中技术方案作进一步详细的说明。
图1为本申请实施例提供的图像识别方法的应用场景图,图中100为扫描设备,200为携带有待识别号码的卡,例如银行卡、信用卡、充值卡或会员卡等。在实际应用中,扫描设备100可以为常见的摄像头,可以安装在超市或商场收银台的POS机上,还可以为具有拍照或拍摄功能的便携式移动终端,例如:手机、相机、摄像机或平板电脑等。
图2为本申请一个实施例提供的图像识别方法的流程示意图。
如图2所示,该图像识别方法可以包括:
S101:获取目标区域的至少两帧图像的识别结果。
在本申请实施例中,识别结果是指对扫描设备100对卡200上的目标区域拍照得到的图像后进行初步识别后得到的结果,每帧图像的识别结果为一个,在每个识别结果中都包含至少一个对象。识别结果中的对象可以为数字、字母、汉字和符号中的一种或多种组合。可选地,根据目标区域中的内容不同,识别结果中的对象还可以为其它图案,例如:二维码等。
目标区域的至少两帧图像可以为扫描设备100对卡200上的目标区域连续拍照获得,也可以为不连续拍照获得,并且至少两帧图像的拍照角度可以相同,也可以不同。
S102:获取每个所述识别结果中所述对象的置信度信息。
在本申请实施例中,置信度信息可以包括:对象的最小置信度、平均置信度和/或数量置信度,其中,最小置信度是指在同一识别结果中所有对象的置信度最小的一个,平均置信度是指同一识别结果中所有对象的置信度的平均值,数量置信度是指同一识别结果中拥有的对象数量与目标区域已知的对象数量的比值。置信度信息的种类决定了图像识别的精度,置信度信息的种类越多,识别精度越高,可选地,在本申请其它实施例中,根据图像识别精度要求,还可以获取识别结果更多种类的置信度信息。
这里,目标区域已知的对象数量,可以根据充值卡或信用卡等具有的一些先验知识得到,例如,银行卡的卡号长度通常为固定位数,移动运营商的充值卡卡号和密码也通常为固定位数。
S103:根据所述置信度信息,获取目标识别结果。
在本申请实施例中,如图3所示,步骤S103可以包括:
S1031:获取与所述置信度信息对应的预设权值。
针对不同的置信度,可以预先获取与之相对应的权值作为预设权值,权值反应了某一个置信度信息对识别结果整体置信度影响的程度,即置信度信息的权值越大,对识别结果整体置信度影响程度越大。不同种类置信度信息对应的权值可以相同,但通常情况下,不同种类置信度信息对应的权值不相同。
S1032:根据所述置信度信息和与所述置信度信息对应的预设权值,获取每个所述识别结果的加权值。
当获取识别结果的置信度信息和与每个置信度信息对应的预设权值后,根据公式(1)可以计算得到每个识别结果的加权值。
J=Z1*Q1+Z1*Q1+……Zn*Qn (1)
其中,J为加权值,Z1、……、Zn为一个识别结果对应的不同种类置信度,Qn为分别与Zn对应的权值,n为置信度的种类,且n为大于1的正整数。在本申请实施例中,n为3。
S1033:将加权值最大的所述识别结果确定为目标识别结果。
在本申请实施例中,可以将上述步骤S1032中计算得到所有识别结果的加权值进行由大到小排序,选择加权值最大的识别结果为目标识别结果。可选地,在本申请实施例中,还可以采用二分法来选择加权值最大的识别结果,二分法的操作步骤为:计算所有识别结果加权值的平均值,再计算加权值大于平均值的识别结果的加权值的平均值,依次循环直至找到加权值最大的识别结果。此外,在本申请其它实施例中,还可以采用其它方式确定目标识别结果。
可选地,在本申请其它实施例中,当获取到目标识别结果后,如图3所示,步骤S103还可以包括:
S1034:判断所述目标识别结果的加权值是否小于预设加权阈值。当所述目标识别结果的加权值小于预设加权阈值,执行S1035,否则,结束。
S1035:获取所述目标区域的新增帧图像的识别结果。
新增帧图像与至少两帧所述图像中任意一个都不同。在获取所述目标区域的新增帧图像的识别结果之后可以执行步骤S102,重新获取目标识别结果。
由以上技术方案可见,本申请实施例提供的该图像识别方法,在进行图像识别时,获取目标区域至少两帧图像的识别结果,并且利用每个识别结果中对象的最小置信度和平均置信度,以及,每个识别结果对应的对象数量置信度,再结合最小置信度、平均置信度以及对象数量置信度各自的预设权值,获取得到所有识别结果的加权值,将加权值最大的识别结果作为最终的识别结果。
该方法可以对扫描设备在多种拍摄条件下获取到图像的识别结果集中进行分析,例如,不同的角度、光照等,将不同拍摄条件下的的最优的识别结果选出作为目标识别结果,与基于单帧图像进行识别的方法相比,不仅减少获取单帧图像之间调整扫描设备占用的时间,而且可以避免单帧图像的识别结果具有的偶然性,降低识别错误出现的几率,提高识别效率及准确率。
在上述图2所示实施例的基础上,在本申请实例中,如图4所示,步骤S1033可以包括:
S201:获取所述识别结果中加权值由大到小的、预设数量个识别结果作为参考识别结果。在本申请实施例中,预设数量可以选择为2-4个。
S202:获取所有参考识别结果中的第一区域和第二区域。
每个所述识别结果中的对象都有一个位于所述识别结果对应图像中的位置,第一区域是指同一位置上所有参考识别结果中的对象都相同的区域,第二区域是指同一位置上所有参考识别结果中的对象全部不相同或部分不相同的区域,即第一区域是所有识别结果都相同的区域,第二区域是所有结果中存在差异的区域。另外,第一区域或第二区域都可以为连续的区域,也可以为多个相间隔、不连续的区域。
S203:将加权值最大且标示出所述第一区域和第二区域的所述识别结果确定为目标识别结果。
在本申请实施例中,可以将加权值最大的识别结果中的第一区域和第二区域内的对象采用不同的颜色进行标出,可选地,还可以将在第一区域和第二区域内的对象外或对象上画出不同的线条标出,例如:将对象包围的方框线或位于对象下方的下划线等。
可选地,在本申请实施例中,如图5所示,该方法还可以包括:
S204:获取所述第一区域与所述第二区域的长度比值。
长度是指沿识别结果内对象排列的方向,第一区域或第二区域占用的长度,例如:对象为一排数字,第一区域的长度为沿数字延伸方向上的长度。长度比值为第一区域的长度与第二区域的长度之间的比值。
由于第一区域是所有识别结果都相同的区域,第二区域是所有结果中存在差异的区域,所以第一区域和第二区域的长度比值可以表示目标识别结果中对象相同的区域的比例。
S205:判断所述长度比值是否大于预设长度比值阈值。
在本申请实施例中,预设长度比例阈值可以为50%。当判断结果为长度比值大于预设长度比值阈值时,表示目标识别结果中对象相同的区域满足要求,可以执行步骤S203。而当判断结果为长度比值小于或等于预设长度比值阈值时,可以执行S1035,获取所述目标区域的新增帧图像的识别结果。
由以上技术方案可见,本申请实施例提供的该方法,可以在给出目标识别结果的同时,将目标识别结果中的第一区域和第二区域标出,以提示用户目标识别结果中,哪些区域的对象是准确的,哪些区域的对象是存在不确定性的,当第一区域与第二区域的长度比值小于或等于预设长度比值后,可以直接放弃本次目标识别结果的获取,进入下一循环获取目标识别结果,或者,还可以让用户根据提示结果进行相应的处理,例如,接受本次存在瑕疵的目标识别结果。
因此,与直接将加权值最大的识别结果作为目标识别结果的方法相比,该方法可以进一步提高图像识别的效率和准确性。
图6为本申请另一实施例提供的图像识别方法的流程示意图。
在图2所示实施例的基础上,如图6所示,步骤S103可以包括:
S301:获取与所述置信度信息对应的预设权值。
S302:根据所述置信度信息和与所述置信度信息对应的预设权值,获取每个所述识别结果的加权值。
S303:获取所述识别结果中加权值由大到小的、预设数量个识别结果作为参考识别结果。
S304:获取所有参考识别结果中的第一区域和第二区域。
步骤S301~S304可以参见上述实施例中相同步骤的描述,在此不再赘述。
S305:融合所述第二区域内相同位置上所有参考识别结果中的对象得到目标对象。
目标对象为该位置上所有参考结果中包含的所有对象中的一个。
在本申请实施例中,如图7所示,步骤S305可以包括:
S3051:在所述第二区域内选择一个位置作为目标位置。
可以按照一定顺序在第二区域内选择目标位置,例如,沿识别结果中所有对象的从左到右方向,也可以在第二区域内随机选择一个位置作为目标位置。
S3052:获取所述目标位置上的所有参考识别结果中的对象。
目标位置上包括至少两类对象,其中:同类的对象相同,不同类的对象不相同。
如图8所示,为本申请实施例提供的一种识别实例,图中有①、②和③三帧图像的识别结果,目标区域的数字为1-9九个阿拉伯数字,由于客观原因,例如光照强度、拍照角度以及在拍照时出现的漂浮物等干扰因素,使得每帧图像中的数字可能不清楚,如图8中①帧中的数字1-4,②帧中的数字1、2、3和8,以及③帧中的数字4和6。
从图中可以看到,三帧图像中的同类的对象为5、7和9,其它数字由于遮挡部位不同都为不同类的对象。
S3053:获取目标位置上对象的准确率。
本申请实施例中,可以根据公式(2)计算与加权值最大的参考识别结果中所述目标位置上对象同类的对象的准确率。
X=L+M*k+N (2)
其中:X为所述目标位置上对象的准确率,L为所述目标位置上同类对象中、置信度最大的对象对应的置信度,例如:目标位置的对象分别为数字[1,1,1,7,7],并且从左至右置信度分别为[60,65,70,64,75],那么数字1的L值为70,数字7的L值为75,k为同类对象的数量与所述目标位置上所有参考识别结果中对象的数量之间的比值,以上例进行说明,数字1的k值为3/5,数字7的k值为2/5;N为加权值最大的参考识别结果中所述目标位置上的对象的预设补偿值。预设补偿值的大小可以历史记录数据得到,即预先通过多次实验计算使得。
另外,根据公式(3)计算与除加权值最大的参考识别结果外的参考识别结果中所述目标位置上对象同类的对象的准确率。
X=L+M*k (3)
S3054:将准确率最大的一类对象确定为所述目标位置上的目标对象。
S3055:判断所述第二区域内是否存在未被选择为目标位置的位置。
如果存在未被选择为目标位置的位置,进行S3056,否则,结束。
S3056:在所述第二区域内选择未被选择为目标位置的位置作为下一个目标位置。并返回步骤S3052。
可见,数字1所在位置融合后的对象为“1”数字2所在位置融合后的对象为“2”,图9为融合后所有位置上对象,方框所示区域为第二区域。
S306:将包含所述第一区域内的对象和所述第二区域内融合后得到的目标对象的识别结果确定为目标识别结果。
可选地,如图10所示,步骤S103还可以包括:
S307:根据所述目标识别结果中包含的对象的置信度信息,获取所述目标识别结果的加权值;
S308:判断所述目标识别结果的加权值是否小于预设加权阈值。
当所述目标识别结果的加权值小于所述预设加权阈值时,执行S309,否则,执行S310。
S309:获取所述目标区域的新增帧图像的识别结果。
该步骤可参见上述步骤S1035,在此不再详细赘述。
S310:输出所述目标识别结果。
由以上技术方案可见,本申请实施例提供的该图像识别方法,在进行图像识别时,首先获取所有识别结果中的第一区域和第二区域,并且对第二区域内的对象,通过获取不同类对象的准确率,可以对所有识别结果中的第二区域内的对象进行融合,选取准确性最大的一类对象为目标对象,使得融合得到的第二区域内所有的目标对象的整体准确率之和高于任意一个识别结果中的第二区域的整体准确率之和,即该方法得到的目标识别结果中对象的置信度都会比某一个单帧图像的识别结果的对象置信度都高,因此,可以进一步提高识别准确度。
通过以上的方法实施例的描述,所属领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:只读存储器(ROM)、随机存取存储器(RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明实施例还提供用于执行上述方法实施例的装置和设备,以下做举例介绍。
图11为本申请另一实施例提供的图像识别装置的结构示意图。
在图2所述方法实施例的基础上,如图11所示,该装置可以包括:识别结果获取单元11、置信度信息获取单元12和目标识别结果获取单元13。
识别结果获取单元11用于获取目标区域的至少两帧图像的识别结果,每个所述识别结果中包含至少一个对象,所述对象包括:数字、字母、汉字和符号中的一种或多种组合。在本申请实施例中,识别结果获取单元11可以为字符分割装置和字符识别器。
置信度信息获取单元12用于获取每个所述识别结果中所述对象的置信度信息,所述对象的置信度信息包括:对象的最小置信度、平均置信度和/或数量置信度。
目标识别结果获取单元13用于根据所述置信度信息,获取目标识别结果。
其中,如图12所示,在本申请实施例中,目标识别结果获取单元13可以包括:第一预设权值获取单元131、第一加权值获取单元132和第一目标识别结果确认单元133。
第一预设权值获取单元131用于获取与所述置信度信息对应的预设权值。
第一加权值获取单元132用于根据所述置信度信息和与所述置信度信息对应的预设权值,获取每个所述识别结果的加权值。
第一目标识别结果确认单元133用于将加权值最大的所述识别结果确定为目标识别结果。
该装置可以对扫描设备在多种拍摄条件下获取到图像的识别结果集中进行分析,例如,不同的角度、光照,将不同拍摄条件下的的最优的识别结果选出作为目标识别结果,与基于单帧图像进行识别的方法相比,不仅减少获取单帧图像之间调整扫描设备占用的时间,而且可以避免单帧图像的识别结果的偶然性,降低识别错误出现的几率,提高识别效率及准确率。
如图13所示,在本申请实施例中,第一目标识别结果确认单元133可以包括:第一参考结果获取单元1331、第一区域获取单元1332和目标识别结果确定子单元1333。
第一参考结果获取单元1331用于获取所述识别结果中加权值由大到小的、预设数量个识别结果作为参考识别结果。
第一区域获取单元1332用于获取所有参考识别结果中的第一区域和第二区域,其中,每个所述识别结果中的对象都有一个位于所述识别结果对应图像中的位置,第一区域内相同位置上所有参考识别结果中的对象都相同,第二区域内相同位置上所有参考识别结果中的对象全部不相同或部分不相同。
目标识别结果确定子单元1333用于将加权值最大且标示出所述第一区域和第二区域的所述识别结果确定为目标识别结果。
可选地,如图12所示,目标识别结果获取单元13还可以包括:第一加权值判断单元134和第一输出单元135,其中,
第一加权值判断单元134用于判断所述目标识别结果的加权值是否小于预设加权阈值;
第一输出单元135用于当所述目标识别结果的加权值不小于预设加权阈值时,输出所述目标识别结果;
当所述目标识别结果的加权值小于预设加权阈值时,所述识别结果获取单元11还用于获取所述目标区域的新增帧图像的识别结果,所述新增帧图像与至少两帧所述图像中任意一个都不同。
与直接将加权值最大的识别结果作为目标识别结果的方法相比,该装置可以进一步提高图像识别的效率和准确性。
如图14所示,在本申请实施例中,目标识别结果获取单元13可以包括:第二预设权值获取单元141、第二加权值获取单元142、第二参考结果获取单元143、第二区域获取单元144、融合单元145和第二目标识别结果确定单元146。
第二预设权值获取单元141用于获取与所述置信度信息对应的预设权值;
第二加权值获取单元142根据所述置信度信息和与所述置信度信息对应的预设权值,获取每个所述识别结果的加权值;
第二参考结果获取单元143用于获取所述识别结果中加权值由大到小的、预设数量个识别结果作为参考识别结果;
第二区域获取单元144用于获取所有参考识别结果中的第一区域和第二区域,其中,每个所述识别结果中的对象都有一个位于所述识别结果对应图像中的位置,第一区域内相同位置上所有参考识别结果中的对象都相同,第二区域内相同位置上所有参考识别结果中的对象全部不相同或部分不相同;
融合单元145用于融合所述第二区域内相同位置上所有参考识别结果中的对象得到目标对象,所述目标对象为所有参考结果中相同位置上包含的所有对象中的一个;
第二目标识别结果确定单元146用于将包含所述第一区域内的对象和所述第二区域内融合后得到的目标对象的识别结果确定为目标识别结果。
如图15所示,在本申请实施例中,融合单元145可以包括:目标位置选择单元1451、对象获取单元1452、准确率获取单元1453、目标对象确定单元1454和目标位置判断单元1455。
目标位置选择单元1451用于在所述第二区域内选择一个位置作为目标位置。
对象获取单元1452用于获取所述目标位置上的所有参考识别结果中的对象,所述目标位置上包括至少两类对象,同类的对象相同,不同类的对象不相同。
准确率获取单元1453用于根据X=L+M*k+N,获取与加权值最大的参考识别结果中所述目标位置上对象同类的对象的准确率;并根据X=L+M*k,获取与除加权值最大的参考识别结果外的参考识别结果中所述目标位置上对象同类的对象的准确率。
目标对象确定单元1454用于将准确率最大的一类对象确定为所述目标位置上的目标对象。
目标位置判断单元1455用于判断所述第二区域内是否存在未被选择为目标位置的位置。
当所述第二区域内存在未被选择为目标位置的位置,所述目标位置选择单元1451还用于在所述第二区域内选择未被选择为目标位置的位置作为下一个目标位置,直至所述第二区域内不存在未被选择为目标位置的位置,其中,X为所述目标位置上对象的准确率,L为所述目标位置上同类对象中、置信度最大的对象对应的置信度,k为同类对象的数量与所述目标位置上所有参考识别结果中对象的数量之间的比值,N为加权值最大的参考识别结果中所述目标位置上的对象的预设补偿值。
可选地,如图16所示,该装置还可以包括:目标识别结果加权值获取单元147、第二加权值判断单元148和第二输出单元149。
目标识别结果加权值获取单元147用于根据所述目标识别结果中包含的对象的置信度信息,获取所述目标识别结果的加权值。
第二加权值判断单元148用于判断所述目标识别结果的加权值是否小于预设加权阈值。
第二输出单元149用于当所述目标识别结果的加权值不小于所述预设加权阈值时,输出所述目标识别结果。
当所述目标识别结果的加权值小于所述预设加权阈值时,所述识别结果获取单元11还用于,获取所述目标区域的新增帧图像的识别结果,所述新增帧图像与至少两帧所述图像中任意一个都不同。
该装置得到的目标识别结果中对象的置信度都会比某一个单帧图像的识别结果的对象置信度都高,因此,可以进一步提高识别准确度。
在上述图11-16所示装置实施例的基础上,本申请实施例还提供了一种电子设备,该电子设备包括如上任一实施例中所描述的图像识别装置。
图17是本发明实施例提供的一种电子设备的结构示意图,参见图17所示的该电子设备可以用于实施上述实施例中提供的图像识别方法。具体来讲:
电子设备500可以包括射频电路110、包括有一个或一个以上计算机可读存储介质的存储器120、输入单元130、显示单元140、传感器150、音频电路160、WiFi模块170、包括有一个或者一个以上处理核心的处理器180、电源190以及摄像头200等部件。本领域技术人员可以理解,图5中示出的移动终端结构并不构成对移动终端的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
射频电路110可用于收发信息或通话过程中,信号的接收和发送。特别地,射频电路110将基站的下行信息接收后,交由一个或者一个以上处理器180处理;另外,将涉及上行的数据发送给基站。通常,作为通信单元的射频电路包括但不限于天线、至少一个放大器、调谐器、一个或多个振荡器、用户身份模块(SIM)卡、收发信机、耦合器、LNA(Low NoiseAmplifier,低噪声放大器)、双工器等。此外,射频电路110还可以通过无线通信与网络和其他设备通信。所述无线通信可以使用任一通信标准或协议,包括但不限于GSM(GlobalSystem of Mobile communication,全球移动通讯系统)、GPRS(General Packet RadioService,通用分组无线服务)、CDMA(Code Division Multiple Access,码分多址)、WCDMA(Wideband Code Division Multiple Access,宽带码分多址)、LTE(Long TermEvolution,长期演进)、电子邮件、SMS(Short Messaging Service,短消息服务)等。存储器120可用于存储软件程序以及模块,处理器180通过运行存储在存储器120的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器120可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据电子设备500的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器120可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器120还可以包括存储器控制器,以提供处理器180和输入单元130对存储器120的访问。
输入单元130可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地,输入单元130可包括触敏表面1301以及其他输入设备1302。触敏表面1301,也称为触摸显示屏或者触控板,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面1301上或在触敏表面1301附近的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触敏表面1301可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器180,并能接收处理器180发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面1301。除了触敏表面1301,输入单元130还可以包括其他输入设备1302。具体地,其他输入设备1302可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元140可用于显示由用户输入的信息或提供给用户的信息以及电子设备500的各种图形用户接口,这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元140可包括显示面板1401,可选的,可以采用LCD(Liquid Crystal Display,液晶显示器)、OLED(Organic Light-Emitting Diode,有机发光二极管)等形式来配置显示面板1401。进一步的,触敏表面1301可覆盖显示面板1401,当触敏表面1301检测到在其上或附近的触摸操作后,传送给处理器180以确定触摸事件的类型,随后处理器180根据触摸事件的类型在显示面板1401上提供相应的视觉输出。虽然在图5中,触敏表面1301与显示面板1401是作为两个独立的部件来实现输入和输入功能,但是在某些实施例中,可以将触敏表面1301与显示面板1401集成而实现输入和输出功能。
电子设备500还可包括至少一种传感器150,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板1401的亮度,接近传感器可在电子设备500移动到耳边时,关闭显示面板1401和/或背光。作为运动传感器的一种,重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于电子设备500还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
音频电路160、扬声器161,传声器162可提供用户与电子设备500之间的音频接口。音频电路160可将接收到的音频数据转换后的电信号,传输到扬声器161,由扬声器161转换为声音信号输出;另一方面,传声器162将收集的声音信号转换为电信号,由音频电路160接收后转换为音频数据,再将音频数据输出处理器180处理后,经RF电路110以发送给比如另一移动终端,或者将音频数据输出至存储器120以便进一步处理。音频电路160还可能包括耳塞插孔,以提供外设耳机与电子设备500的通信。
为了实现无线通信,该移动终端上可以配置有WiFi模块170。WiFi属于短距离无线传输技术,电子设备500通过WiFi模块170可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图5示出了WiFi模块170,但是可以理解的是,其并不属于电子设备500的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
处理器180是电子设备500的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在存储器120内的软件程序和/或模块,以及调用存储在存储器120内的数据,执行电子设备500的各种功能和处理数据,从而对手机进行整体监控。可选的,处理器180可包括一个或多个处理核心;优选的,处理器180可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器180中。
电子设备500还包括给各个部件供电的电源190(比如电池),优选的,电源可以通过电源管理系统与处理器180逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源190还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
电子设备500还可以用于采集图像的摄像头200。
尽管未示出,电子设备500还可以包括蓝牙模块等,在此不再赘述。具体在本实施例中,移动终端的显示单元是触摸屏显示器,移动终端还包括有存储器,所述存储器还包括一个或者一个以上的程序,且经配置以由一个或者一个以上处理器180执行所述一个或者一个以上程序包含用于执行图1所示实施例所提供的信息显示方法和图2所示实施例所提供的信息显示方法。
作为另一方面,本发明再一实施例还提供了一种计算机可读存储介质,该计算机可读存储介质可以是上述实施例中的存储器中所包含的计算机可读存储介质;也可以是单独存在,未装配入终端中的计算机可读存储介质。所述计算机可读存储介质存储有一个或者一个以上程序,所述一个或者一个以上程序被一个或者一个以上的处理器用来执行图2-图10所示实施例所提供的图像识别方法。
可以理解的是,本申请可用于众多通用或专用的计算系统环境或配置中。例如:个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本申请的具体实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。

Claims (12)

1.一种图像识别方法,其特征在于,包括:
获取目标区域的至少两帧图像的识别结果,每个所述识别结果中包含至少一个对象;
获取每个所述识别结果中所述对象的置信度信息;
根据所述置信度信息,获取目标识别结果;
其中,所述对象的置信度信息包括:对象的最小置信度、平均置信度和/或数量置信度;
其中,所述根据所述置信度信息,获取目标识别结果,包括:
获取与所述置信度信息对应的预设权值;
根据所述置信度信息和与所述置信度信息对应的预设权值,获取每个所述识别结果的加权值;
将加权值最大的所述识别结果确定为目标识别结果;
其中,所述将加权值最大的所述识别结果确定为目标识别结果,包括:
获取所述识别结果中加权值由大到小的、预设数量个识别结果作为参考识别结果;
获取所有参考识别结果中的第一区域和第二区域,其中,每个所述识别结果中的对象都有一个位于所述识别结果对应图像中的位置,第一区域内相同位置上所有参考识别结果中的对象都相同,第二区域内相同位置上所有参考识别结果中的对象全部不相同或部分不相同;
获取所述第一区域与所述第二区域的长度的比值;
判断所述长度比值是否大于预设长度比值阈值;
当所述长度比值大于预设长度比值阈值时,将加权值最大且标示出所述第一区域和第二区域的所述识别结果确定为目标识别结果。
2.根据权利要求1所述的方法,其特征在于,所述对象包括:数字、字母、汉字和符号中的一种或多种组合。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
判断所述目标识别结果的加权值是否小于预设加权阈值;
当所述目标识别结果的加权值小于预设加权阈值时,获取所述目标区域的新增帧图像的识别结果,并返回执行获取每个所述识别结果中所述对象的置信度信息,所述新增帧图像与至少两帧所述图像中任意一个都不同;
当所述目标识别结果的加权值不小于预设加权阈值时,输出所述目标识别结果。
4.一种图像识别方法,其特征在于,包括:
获取目标区域的至少两帧图像的识别结果,每个所述识别结果中包含至少一个对象;
获取每个所述识别结果中所述对象的置信度信息;
根据所述置信度信息,获取目标识别结果;
其中,所述对象的置信度信息包括:对象的最小置信度、平均置信度和/或数量置信度;
其中,所述根据所述置信度信息,获取目标识别结果,包括:
获取与所述置信度信息对应的预设权值;
根据所述置信度信息和与所述置信度信息对应的预设权值,获取每个所述识别结果的加权值;
获取所述识别结果中加权值由大到小的、预设数量个识别结果作为参考识别结果;
获取所有参考识别结果中的第一区域和第二区域,其中,每个所述识别结果中的对象都有一个位于所述识别结果对应图像中的位置,第一区域内相同位置上所有参考识别结果中的对象都相同,第二区域内相同位置上所有参考识别结果中的对象全部不相同或部分不相同;
融合所述第二区域内相同位置上所有参考识别结果中的对象得到目标对象,所述目标对象为所有参考结果中相同位置上包含的所有对象中的一个;
将包含所述第一区域内的对象和所述第二区域内融合后得到的目标对象的识别结果确定为目标识别结果;
其中,所述融合所述第二区域内相同位置上所有参考识别结果中的对象得到目标对象,包括:
在所述第二区域内选择一个位置作为目标位置;
获取所述目标位置上的所有参考识别结果中的对象,所述目标位置上包括至少两类对象,同类的对象相同,不同类的对象不相同;
根据X=L+M*k+N,获取与加权值最大的参考识别结果中所述目标位置上的对象同类的对象的准确率;
根据X=L+M*k,获取与除加权值最大的参考识别结果外的参考识别结果中所述目标位置上的对象同类的对象的准确率;
将准确率最大的一类对象确定为所述目标位置上的目标对象;
在所述第二区域内选择未被选择为目标位置的位置作为下一个目标位置,直至所述第二区域内不存在未被选择为目标位置的位置,其中,X为所述目标位置上对象的准确率,L为所述目标位置上同类对象中、置信度最大的对象对应的置信度,k为同类对象的数量与所述目标位置上所有参考识别结果中对象的数量之间的比值,N为加权值最大的参考识别结果中所述目标位置上的对象的预设补偿值。
5.根据权利要求4所述的方法,其特征在于,所述对象包括:数字、字母、汉字和符号中的一种或多种组合。
6.根据权利要求4所述的方法,其特征在于,所述方法还包括:
根据所述目标识别结果中包含的对象的置信度信息,获取所述目标识别结果的加权值;
判断所述目标识别结果的加权值是否小于预设加权阈值;
当所述目标识别结果的加权值小于所述预设加权阈值时,获取所述目标区域的新增帧图像的识别结果,并返回执行获取每个所述识别结果中所述对象的置信度信息,所述新增帧图像与至少两帧所述图像任意一个都不同;
当所述目标识别结果的加权值不小于所述预设加权阈值时,输出所述目标识别结果。
7.一种图像识别装置,其特征在于,包括:
识别结果获取单元,用于获取目标区域的至少两帧图像的识别结果,每个所述识别结果中包含至少一个对象,所述对象包括:数字、字母、汉字和符号中的一种或多种组合;
置信度信息获取单元,用于获取每个所述识别结果中所述对象的置信度信息,所述对象的置信度信息包括:对象的最小置信度、平均置信度和/或数量置信度;
目标识别结果获取单元,用于根据所述置信度信息,获取目标识别结果;
其中,所述目标识别结果获取单元包括:
第一预设权值获取单元,用于获取与所述置信度信息对应的预设权值;
第一加权值获取单元,用于根据所述置信度信息和与所述置信度信息对应的预设权值,获取每个所述识别结果的加权值;
第一目标识别结果确认单元,用于将加权值最大的所述识别结果确定为目标识别结果;
其中,所述第一目标识别结果确认单元,包括:
第一参考结果获取单元,用于获取所述识别结果中加权值由大到小的、预设数量个识别结果作为参考识别结果;
第一区域获取单元,用于获取所有参考识别结果中的第一区域和第二区域,其中,每个所述识别结果中的对象都有一个位于所述识别结果对应图像中的位置,第一区域内相同位置上所有参考识别结果中的对象都相同,第二区域内相同位置上所有参考识别结果中的对象全部不相同或部分不相同;
目标识别结果确定子单元,用于获取所述第一区域与所述第二区域的长度的比值;判断所述长度比值是否大于预设长度比值阈值;当所述长度比值大于预设长度比值阈值时,将加权值最大且标示出所述第一区域和第二区域的所述识别结果确定为目标识别结果。
8.根据权利要求7所述的装置,其特征在于,所述装置还包括:
第一加权值判断单元,用于判断所述目标识别结果的加权值是否小于预设加权阈值;
第一输出单元,用于当所述目标识别结果的加权值不小于预设加权阈值时,输出所述目标识别结果;
当所述目标识别结果的加权值小于预设加权阈值时,所述识别结果获取单元还用于获取所述目标区域的新增帧图像的识别结果,所述新增帧图像与至少两帧所述图像任意一个都不同。
9.一种图像识别装置,其特征在于,包括:
识别结果获取单元,用于获取目标区域的至少两帧图像的识别结果,每个所述识别结果中包含至少一个对象,所述对象包括:数字、字母、汉字和符号中的一种或多种组合;
置信度信息获取单元,用于获取每个所述识别结果中所述对象的置信度信息,所述对象的置信度信息包括:对象的最小置信度、平均置信度和/或数量置信度;
目标识别结果获取单元,用于根据所述置信度信息,获取目标识别结果;
其中,所述目标识别结果获取单元包括:
第二预设权值获取单元,用于获取与所述置信度信息对应的预设权值;
第二加权值获取单元,根据所述置信度信息和与所述置信度信息对应的预设权值,获取每个所述识别结果的加权值;
第二参考结果获取单元,用于获取所述识别结果中加权值由大到小的、预设数量个识别结果作为参考识别结果;
第二区域获取单元,用于获取所有参考识别结果中的第一区域和第二区域,其中,每个所述识别结果中的对象都有一个位于所述识别结果对应图像中的位置,第一区域内相同位置上所有参考识别结果中的对象都相同,第二区域内相同位置上所有参考识别结果中的对象全部不相同或部分不相同;
融合单元,用于融合所述第二区域内相同位置上所有参考识别结果中的对象得到目标对象,所述目标对象为所有参考结果中相同位置上包含的所有对象中的一个;
第二目标识别结果确定单元,用于将包含所述第一区域内的对象和所述第二区域内融合后得到的目标对象的识别结果确定为目标识别结果;
其中,所述融合单元包括:
目标位置选择单元,用于在所述第二区域内选择一个位置作为目标位置;
对象获取单元,用于获取所述目标位置上的所有参考识别结果中的对象,所述目标位置上包括至少两类对象,同类的对象相同,不同类的对象不相同;
准确率获取单元,用于根据X=L+M*k+N,获取与加权值最大的参考识别结果中所述目标位置上的对象同类的对象的准确率;并根据X=L+M*k,获取与除加权值最大的参考识别结果外的参考识别结果中所述目标位置上的对象同类的对象的准确率;
目标对象确定单元,用于将准确率最大的一类对象确定为所述目标位置上的目标对象;
目标位置判断单元,用于判断所述第二区域内是否存在未被选择为目标位置的位置;
当所述第二区域内存在未被选择为目标位置的位置时,所述目标位置选择单元还用于在所述第二区域内选择未被选择为目标位置的位置作为下一个目标位置,直至所述第二区域内不存在未被选择为目标位置的位置,其中,X为所述目标位置上对象的准确率,L为所述目标位置上同类对象中、置信度最大的对象对应的置信度,k为同类对象的数量与所述目标位置上所有参考识别结果中对象的数量之间的比值,N为加权值最大的参考识别结果中所述目标位置上的对象的预设补偿值。
10.根据权利要求9所述的装置,其特征在于,所述装置还包括:
目标识别结果加权值获取单元,用于根据所述目标识别结果中包含的对象的置信度信息,获取所述目标识别结果的加权值;
第二加权值判断单元,用于判断所述目标识别结果的加权值是否小于预设加权阈值;
第二输出单元,用于当所述目标识别结果的加权值不小于所述预设加权阈值时,输出所述目标识别结果;
当所述目标识别结果的加权值小于所述预设加权阈值时,所述识别结果获取单元还用于,获取所述目标区域的新增帧图像的识别结果,所述新增帧图像与至少两帧所述图像中任意一个都不同。
11.一种电子设备,特征在于,包括有存储器,以及一个或者一个以上的程序,其中一个或者一个以上程序存储于存储器中,且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令:
获取目标区域的至少两帧图像的识别结果,每个所述识别结果中包含至少一个对象;
获取每个所述识别结果中所述对象的置信度信息;
根据所述置信度信息,获取目标识别结果;
其中,所述对象的置信度信息包括:对象的最小置信度、平均置信度和/或数量置信度;
其中,所述根据所述置信度信息,获取目标识别结果,包括:
获取与所述置信度信息对应的预设权值;
根据所述置信度信息和与所述置信度信息对应的预设权值,获取每个所述识别结果的加权值;
将加权值最大的所述识别结果确定为目标识别结果;
其中,所述将加权值最大的所述识别结果确定为目标识别结果,包括:
获取所述识别结果中加权值由大到小的、预设数量个识别结果作为参考识别结果;
获取所有参考识别结果中的第一区域和第二区域,其中,每个所述识别结果中的对象都有一个位于所述识别结果对应图像中的位置,第一区域内相同位置上所有参考识别结果中的对象都相同,第二区域内相同位置上所有参考识别结果中的对象全部不相同或部分不相同;
获取所述第一区域与所述第二区域的长度的比值;
判断所述长度比值是否大于预设长度比值阈值;
当所述长度比值大于预设长度比值阈值时,将加权值最大且标示出所述第一区域和第二区域的所述识别结果确定为目标识别结果。
12.一种电子设备,特征在于,包括有存储器,以及一个或者一个以上的程序,其中一个或者一个以上程序存储于存储器中,且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令:
获取目标区域的至少两帧图像的识别结果,每个所述识别结果中包含至少一个对象;
获取每个所述识别结果中所述对象的置信度信息;
根据所述置信度信息,获取目标识别结果;
其中,所述对象的置信度信息包括:对象的最小置信度、平均置信度和/或数量置信度;
其中,所述根据所述置信度信息,获取目标识别结果,包括:
获取与所述置信度信息对应的预设权值;
根据所述置信度信息和与所述置信度信息对应的预设权值,获取每个所述识别结果的加权值;
获取所述识别结果中加权值由大到小的、预设数量个识别结果作为参考识别结果;
获取所有参考识别结果中的第一区域和第二区域,其中,每个所述识别结果中的对象都有一个位于所述识别结果对应图像中的位置,第一区域内相同位置上所有参考识别结果中的对象都相同,第二区域内相同位置上所有参考识别结果中的对象全部不相同或部分不相同;
融合所述第二区域内相同位置上所有参考识别结果中的对象得到目标对象,所述目标对象为所有参考结果中相同位置上包含的所有对象中的一个;
将包含所述第一区域内的对象和所述第二区域内融合后得到的目标对象的识别结果确定为目标识别结果;
其中,所述融合所述第二区域内相同位置上所有参考识别结果中的对象得到目标对象,包括:
在所述第二区域内选择一个位置作为目标位置;
获取所述目标位置上的所有参考识别结果中的对象,所述目标位置上包括至少两类对象,同类的对象相同,不同类的对象不相同;
根据X=L+M*k+N,获取与加权值最大的参考识别结果中所述目标位置上对象同类的对象的准确率;
根据X=L+M*k,获取与除加权值最大的参考识别结果外的参考识别结果中所述目标位置上对象同类的对象的准确率;
将准确率最大的一类对象确定为所述目标位置上的目标对象;
在所述第二区域内选择未被选择为目标位置的位置作为下一个目标位置,直至所述第二区域内不存在未被选择为目标位置的位置,其中,X为所述目标位置上对象的准确率,L为所述目标位置上同类对象中、置信度最大的对象对应的置信度,k为同类对象的数量与所述目标位置上所有参考识别结果中对象的数量之间的比值,N为加权值最大的参考识别结果中所述目标位置上的对象的预设补偿值。
CN201310666884.XA 2013-12-10 2013-12-10 图像识别方法、装置及电子设备 Active CN103714316B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310666884.XA CN103714316B (zh) 2013-12-10 2013-12-10 图像识别方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310666884.XA CN103714316B (zh) 2013-12-10 2013-12-10 图像识别方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN103714316A CN103714316A (zh) 2014-04-09
CN103714316B true CN103714316B (zh) 2017-03-01

Family

ID=50407276

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310666884.XA Active CN103714316B (zh) 2013-12-10 2013-12-10 图像识别方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN103714316B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105426886B (zh) * 2015-12-09 2019-03-15 Oppo广东移动通信有限公司 一种面部验证方法和面部验证装置
CN106874845B (zh) * 2016-12-30 2021-03-26 东软集团股份有限公司 图像识别的方法和装置
CN108830210B (zh) * 2018-06-11 2021-04-20 广东美的制冷设备有限公司 基于图像的人体检测方法和装置
CN109657573A (zh) * 2018-12-04 2019-04-19 联想(北京)有限公司 图像识别方法及装置,以及电子设备
CN110647841B (zh) * 2019-09-20 2022-06-28 Oppo广东移动通信有限公司 图像识别结果过滤方法、装置、计算机设备及存储介质
CN112836745B (zh) * 2021-02-02 2022-12-09 歌尔股份有限公司 一种目标检测方法和装置
CN114299037B (zh) * 2021-12-30 2023-09-01 广州极飞科技股份有限公司 一种对象检测结果的质量评估方法、装置、电子设备及计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009169827A (ja) * 2008-01-18 2009-07-30 Mitsubishi Heavy Ind Ltd ナンバープレート認識装置、ナンバープレート認識方法、ナンバープレート認識プログラム
CN102024139A (zh) * 2009-09-18 2011-04-20 富士通株式会社 字符串识别装置和方法
CN102779276A (zh) * 2011-05-09 2012-11-14 汉王科技股份有限公司 文本图像识别方法和装置
CN103310206A (zh) * 2013-07-06 2013-09-18 中国科学技术大学 一种基于多特征与多帧信息融合的助力车检测方法
CN103390173A (zh) * 2013-07-24 2013-11-13 佳都新太科技股份有限公司 一种基于svm置信度的车牌字符投票算法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8290273B2 (en) * 2009-03-27 2012-10-16 Raytheon Bbn Technologies Corp. Multi-frame videotext recognition
CN102298696B (zh) * 2010-06-28 2013-07-24 方正国际软件(北京)有限公司 一种字符识别方法及系统
CN101957920B (zh) * 2010-09-08 2012-07-11 中国人民解放军国防科学技术大学 基于数字视频的车牌查找方法
CN102163280B (zh) * 2011-04-12 2012-09-26 华中科技大学 一种基于置信度和多帧判决的目标识别跟踪转换方法
CN103034840B (zh) * 2012-12-05 2016-05-04 山东神思电子技术股份有限公司 一种性别识别方法
CN103268489B (zh) * 2013-05-29 2016-12-28 电子科技大学 基于滑窗搜索的机动车号牌识别方法
CN103474069B (zh) * 2013-09-12 2016-03-30 中国科学院计算技术研究所 用于融合多个语音识别系统的识别结果的方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009169827A (ja) * 2008-01-18 2009-07-30 Mitsubishi Heavy Ind Ltd ナンバープレート認識装置、ナンバープレート認識方法、ナンバープレート認識プログラム
CN102024139A (zh) * 2009-09-18 2011-04-20 富士通株式会社 字符串识别装置和方法
CN102779276A (zh) * 2011-05-09 2012-11-14 汉王科技股份有限公司 文本图像识别方法和装置
CN103310206A (zh) * 2013-07-06 2013-09-18 中国科学技术大学 一种基于多特征与多帧信息融合的助力车检测方法
CN103390173A (zh) * 2013-07-24 2013-11-13 佳都新太科技股份有限公司 一种基于svm置信度的车牌字符投票算法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
《A cognitive and video-based approach for multinational License Plate Recognition》;Nicolas Thome 等;《Machine Vision and Applications》;20111231;全文 *
《基于视频多帧融合的车牌识别技术研究》;郑丽香;《万方:中国学位论文全文数据库》;20130918;第55-61、表4-4 *
《序列图像中动目标标示的多分类器自适应融合识别》;王飞 等;《信号处理》;20040831;第20卷(第4期);全文 *

Also Published As

Publication number Publication date
CN103714316A (zh) 2014-04-09

Similar Documents

Publication Publication Date Title
CN103714316B (zh) 图像识别方法、装置及电子设备
CN103729636B (zh) 字符切割方法、装置及电子设备
CN103632165B (zh) 一种图像处理的方法、装置及终端设备
CN106446797A (zh) 图像聚类方法及装置
CN104717125B (zh) 图形码保存方法和装置
US20150178336A1 (en) Method, device and storage medium for providing data statistics
CN104618223B (zh) 一种信息推荐的管理方法、装置和系统
CN107292235B (zh) 指纹的采集方法及相关产品
CN108156508B (zh) 弹幕信息处理的方法、装置、移动终端、服务器及系统
CN108334539A (zh) 对象推荐方法、移动终端及计算机可读存储介质
CN104852885A (zh) 一种进行验证码验证的方法、装置和系统
CN106156597A (zh) 一种验证码的实现方法,及装置
CN106603548A (zh) 应用程序的登录方法及移动终端
CN106850983A (zh) 一种熄屏控制方法、装置和终端
CN106534550A (zh) 文本信息的阅读方法及移动终端
CN104820546B (zh) 功能信息展示方法和装置
CN109067981A (zh) 分屏应用切换方法、装置、存储介质和电子设备
CN108958606A (zh) 分屏显示方法、装置、存储介质和电子设备
CN106453839A (zh) 天线的调整方法及移动终端
CN105989572A (zh) 图片处理方法及装置
CN108536638A (zh) 智能书签的设置方法、移动终端、系统及可读存储介质
CN104134043A (zh) 对内容进行隐藏、解隐藏的方法、装置及终端
CN106055951A (zh) 一种指纹解锁控制方法、及终端设备
CN107330867A (zh) 图像合成方法、装置、计算机可读存储介质和计算机设备
CN105553718B (zh) 引导信息显示方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant