CN111507119B - 标识码识别方法、装置、电子设备及计算机可读存储介质 - Google Patents

标识码识别方法、装置、电子设备及计算机可读存储介质 Download PDF

Info

Publication number
CN111507119B
CN111507119B CN201910100783.3A CN201910100783A CN111507119B CN 111507119 B CN111507119 B CN 111507119B CN 201910100783 A CN201910100783 A CN 201910100783A CN 111507119 B CN111507119 B CN 111507119B
Authority
CN
China
Prior art keywords
identification code
image
identified
identification
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910100783.3A
Other languages
English (en)
Other versions
CN111507119A (zh
Inventor
潘磊
丁超
金亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Qian Technology Co ltd
Original Assignee
Beijing Qisheng Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Qisheng Technology Co Ltd filed Critical Beijing Qisheng Technology Co Ltd
Priority to CN201910100783.3A priority Critical patent/CN111507119B/zh
Publication of CN111507119A publication Critical patent/CN111507119A/zh
Application granted granted Critical
Publication of CN111507119B publication Critical patent/CN111507119B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404Methods for optical code recognition
    • G06K7/1408Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/14172D bar codes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404Methods for optical code recognition
    • G06K7/146Methods for optical code recognition the method including quality enhancement steps

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • General Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供了一种标识码识别方法、装置、电子设备及计算机可读存储介质,其中,该方法包括:获取待识别图像;基于预先训练的标识码属性识别模型,对所述待识别图像进行属性信息识别,得到所述待识别图像中标识码的边界点位置信息和旋转角度;基于所述标识码的边界点位置信息和旋转角度,识别所述待识别图像中的标识码。本申请实施例可可以提高标识码的识别效率。

Description

标识码识别方法、装置、电子设备及计算机可读存储介质
技术领域
本申请涉及信息技术领域,具体而言,涉及一种标识码识别方法、装置、电子设备及计算机可读存储介质。
背景技术
二维码是用特定的几何图形按一定规律在二维平面上分布的黑白相间的矩形方阵,用于记录数据符号信息的新一代条码技术,具有信息量大、纠错能力强、识读速度快、全方位识读等特点,在二维码应用中,可通过图像输入设备或光电扫描设备自动识别二维码中包含的信息,以实现对信息的自动处理。
随着社会的发展,二维码得到了广泛的应用,可应用于共享单车等的租借、金融电子资源的租借等等,如,用户在使用二维码租用共享单车时,一般通过移动终端扫描共享单车中的二维码实现对共享单车的解锁,现有技术中,移动终端在扫描二维码时,获取多个包含二维码或者不包含二维码的图像,并依次针对获取的每个图像进行二维码识别,目前对图像进行二维码识别的效率较低。
发明内容
有鉴于此,本申请的目的在于提供一种标识码识别方法、装置、电子设备及计算机可读存储介质,以提高标识码的识别效率。
第一方面,本申请实施例提供了一种标识码识别方法,包括:
获取待识别图像;
基于预先训练的标识码属性识别模型,对所述待识别图像进行属性信息识别,得到所述待识别图像中标识码的边界点位置信息和旋转角度;
基于所述标识码的边界点位置信息和旋转角度,识别所述待识别图像中的标识码。
可选地,在所述基于预先训练的标识码属性识别模型,对所述待识别图像进行属性信息识别之前,还包括:
将所述待识别图像输入到预先训练的标识码特征提取模型中进行特征提取,得到所述待识别图像中的标识码特征向量;
所述基于预先训练的标识码属性识别模型,对所述待识别图像进行属性信息识别,包括:
将所述标识码特征向量输入到所述标识码属性识别模型,得到所述标识码的边界点位置信息和旋转角度。
可选地,所述基于所述标识码的边界点位置信息和旋转角度,识别所述待识别图像中的标识码,包括:
基于所述标识码的边界点位置信息,确定所述标识码在所述待识别图像中所属的区域范围;
在所述区域范围中识别标识码定位框信息;
若所述区域范围中识别出标识码定位框信息,则基于识别出的标识码定位框信息,以及所述标识码的旋转角度,识别所述待识别图像中的标识码。
可选地,所述在所述区域范围中识别标识码定位框信息之后,还包括:
若在所述区域范围中未识别出标识码定位框信息,则基于所述标识码的边界点位置信息、所述旋转角度和所述标识码的版本信息,识别所述待识别图像中的标识码。
可选地,所述基于所述标识码的边界点位置信息、所述旋转角度和所述标识码的版本信息,识别所述待识别图像中的标识码,包括:
利用所述边界点位置信息和所述旋转角度,对用于表达所述标识码的图像信息的矩阵进行转换处理;
基于所述标识码的版本信息和转换处理后的矩阵,识别所述待识别图像中的标识码。
可选地,所述基于识别出的标识码定位框信息,以及所述标识码的旋转角度,识别所述待识别图像中的标识码,包括:
判断识别出的标识码定位框的数量是否达到预设数量;
若未达到预设数量,则基于识别出的标识码定位框在所述待识别图像中的位置信息和所述标识码的旋转角度,确定其它标识码定位框在所述待识别图像中的位置信息;
基于识别出的标识码定位框和确定的所述其它标识码定位框在所述待识别图像中的位置信息和宽度信息,识别所述待识别图像中的标识码。
可选地,所述基于识别出的标识码定位框和确定的所述其它标识码定位框在所述待识别图像中的位置信息和宽度信息,识别所述待识别图像中的标识码,包括:
利用所述位置信息和所述标识码的旋转角度,对用于表达所述标识码的图像信息的矩阵进行转换处理;
基于所述宽度信息和转换处理后的矩阵,识别所述待识别图像中的标识码。
可选地,根据以下步骤训练所述标识码属性识别模型:
构建训练样本库,所述训练样本库中包括多个样本图像,以及对应的人工标注的属性标签,所述属性标签用于表征标识码的边界点位置信息和旋转角度;
将所述多个样本图像的标识码特征向量作为模型输入特征,将对应的人工标注的属性标签作为模型输出特征,训练得到所述标识码属性识别模型。
可选地,所述构建训练样本库,包括:
根据所述人工标注的属性标签,确定样本集中的正样本图像和负样本图像,所述正样本图像中包含标识码,所述负样本图像中不包含标识码;
根据预先设置的正样本图像和负样本图像的比例,从所述样本集中选择符合所述比例的正样本图像和负样本图像,生成所述训练样本库。
第二方面,本申请实施例提供了一种标识码识别装置,包括:
获取模块,用于获取待识别图像;
第一识别模块,用于基于预先训练的标识码属性识别模型,对所述待识别图像进行属性信息识别,得到所述待识别图像中标识码的边界点位置信息和旋转角度;
第二识别模块,基于所述标识码的边界点位置信息和旋转角度,识别所述待识别图像中的标识码。
可选地,所述装置还包括:第三识别模块,所述第三识别模块用于:
将所述待识别图像输入到预先训练的标识码特征提取模型中进行特征提取,得到所述待识别图像中的标识码特征向量;
所述第一识别模块具体用于:
将所述标识码特征向量输入到所述标识码属性识别模型,得到所述标识码的边界点位置信息和旋转角度。
可选地,所述第二识别模块具体用于:
基于所述标识码的边界点位置信息,确定所述标识码在所述待识别图像中所属的区域范围;
在所述区域范围中识别标识码定位框信息;
若所述区域范围中识别出标识码定位框信息,则基于识别出的标识码定位框信息,以及所述标识码的旋转角度,识别所述待识别图像中的标识码。
可选地,所述第二识别模块还用于:
若在所述区域范围中未识别出标识码定位框信息,则基于所述标识码的边界点位置信息、所述旋转角度和所述标识码的版本信息,识别所述待识别图像中的标识码。
可选地,所述第二识别模块还用于:
利用所述边界点位置信息和所述旋转角度,对用于表达所述标识码的图像信息的矩阵进行转换处理;
基于所述标识码的版本信息和转换处理后的矩阵,识别所述待识别图像中的标识码。
可选地,所述第二识别模块具体用于:
判断识别出的标识码定位框的数量是否达到预设数量;
若未达到预设数量,则基于识别出的标识码定位框在所述待识别图像中的位置信息和所述标识码的旋转角度,确定其它标识码定位框在所述待识别图像中的位置信息;
基于识别出的标识码定位框和确定的所述其它标识码定位框在所述待识别图像中的位置信息和宽度信息,识别所述待识别图像中的标识码。
可选地,所述第二识别模块具体用于:
利用所述位置信息和所述标识码的旋转角度,对用于表达所述标识码的图像信息的矩阵进行转换处理;
基于所述宽度信息和转换处理后的矩阵,识别所述待识别图像中的标识码。
可选地,所述装置还包括:训练模块,所述训练模块根据以下步骤训练所述标识码属性识别模型:
构建训练样本库,所述训练样本库中包括多个样本图像,以及对应的人工标注的属性标签,所述属性标签用于表征标识码的边界点位置信息和旋转角度;
将所述多个样本图像的标识码特征向量作为模型输入特征,将对应的人工标注的属性标签作为模型输出特征,训练得到所述标识码属性识别模型。
可选地,所述训练模块具体用于:
根据所述人工标注的属性标签,确定样本集中的正样本图像和负样本图像,所述正样本图像中包含标识码,所述负样本图像中不包含标识码;
根据预先设置的正样本图像和负样本图像的比例,从所述样本集中选择符合所述比例的正样本图像和负样本图像,生成所述训练样本库。
第三方面,本申请实施例提供了一种电子设备,包括:处理器、存储介质和总线,所述存储介质存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储介质之间通过总线通信,所述处理器执行所述机器可读指令,以执行时执行如第一方面任一所述的标识码识别方法的步骤。
第四方面,本申请实施例提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如第一方面任一所述的标识码识别方法的步骤。
本申请实施例提供的标识码识别方法,通过预先训练的标识码属性识别模型对待识别图像的属性信息进行识别,提高了对待识别图像的属性信息进行识别的准确度,只有标识码属性识别模型在待识别图像中识别到标识码的边界点位置信息和旋转角度后才会进行后续的标识码识别动作,对于未识别到标识码的边界点位置信息和旋转角度的待识别图像,则不会进行后续的标识码识别动作,大大减少了不必要的标识码识别动作带来的耗费时长,提高了对图像中标识码的识别效率。
为使本申请的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例所提供的一种标识码识别方法的第一种流程示意图;
图2示出了本申请实施例所提供的一种标准标识码的示意图;
图3示出了本申请实施例所提供的一种识别出的标识码的示意图;
图4示出了本申请实施例所提供的一种标识码识别方法的第二种流程示意图;
图5示出了本申请实施例所提供的一种标识码中包含的信息的第一种示意图;
图6示出了本申请实施例所提供的一种标识码识别方法的第三种流程示意图;
图7示出了本申请实施例所提供的一种标识码中包含的信息的第二种示意图;
图8示出了本申请实施例所提供的一种标识码识别装置的结构示意图;
图9示出了本申请实施例所提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,应当理解,本申请中附图仅起到说明和描述的目的,并不用于限定本申请的保护范围。另外,应当理解,示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应该理解,流程图的操作可以不按顺序实现,没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外,本领域技术人员在本申请内容的指引下,可以向流程图添加一个或多个其他操作,也可以从流程图中移除一个或多个操作。
另外,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
相关技术中,无论在何种应用场景中,用户通过识别标识码进行相应操作时,一般是移动终端获取多个图像,以通过标识码解锁共享单车的场景为例进行说明,用户在通过移动终端扫描共享单车中的标识码时,一般会提前打开移动终端中的摄像头,在打开摄像头后,摄像头不一定会直接扫描共享单车中的二维码,有可能会扫描到共享单车所处环境的图像,如,地面图像、包含车体的图像等,待摄像头瞄准二维码后,进一步获取包含二维码的图像,那么,移动终端会获取到包含二维码和不包含二维码的图像,针对移动终端获取的包含二维码或不包含二维码的每个图像,采用相关的标识码识别算法识别该图像中的标识码,无论该图像中是否包含标识码、包含的标识码是否完整、清晰,移动终端均需要对每一个图像进行识别,而当该图像中不包含标识码或者包含的标识码清晰度比较低或者包含的标识码被损坏,移动终端对上述图像进行识别时,可能不能成功识别上述图像中标识码,这样,移动终端会产生不必要的标识码识别动作,浪费了时间,降低了标识码的识别效率。
本申请实施例中考虑到现有技术存在的上述问题,在获取到多个待识别图像后,对各待识别图像中的标识码进行识别之前,利用预先训练的标识码属性识别模型,对各待识别图像的属性信息进行识别,只有能够识别出标识码的边界点位置信息和旋转角度的待识别图像才会进行下一步的标识码识别操作,对于模型识别不到标识码边界点位置信息和旋转角度的待识别图像,则进行丢弃处理,可以减少不必要的识别过程,另外,在进一步基于标识码的边界点位置信息和旋转角度识别待识别图像中的标识码时,可以进一步提高标识码的识别效率。
为了使得本领域技术人员能够使用本申请内容,结合特定应用场景“通过标识码解锁共享单车”的场景,给出以下实施方式。对于本领域技术人员来说,在不脱离本申请的精神和范围的情况下,可以将这里定义的一般原理应用于通过标识码解锁共享单车的场景,也可以应用于其它需要进行标识码识别的场景。虽然本申请主要围绕共享单车通过标识码解锁场景进行描述,但是应该理解,这仅是一个示例性实施例。本申请可以应用于任何识别标识码的场景,还可以应用于其它相关的处理服务。例如,本申请可以应用于扫描标识码付费的场景、扫描标识码租借物品的场景、扫描标识码取快递的场景等。本申请还可以包括用于提供服务选择预测处理的任何服务系统。本申请的方法和装置的应用可以包括网页、浏览器的插件、客户端终端、定制系统、内部分析系统、或人工智能机器人等,或其任意组合。
针对上述情况,本申请实施例提供了一种标识码识别方法,应用于后台服务器,如图1所示,具体包括以下步骤:
S101,获取待识别图像。
在具体实现的时候,待识别图像一般是通过移动终端中图像采集设备(如摄像头)获取的,待识别图像可能是清晰度比较高的图像,例如,使用分辨率较高的图像采集设备在光照条件良好的情况下获取的,待识别图像也可能是损坏的图像,例如,待识别图像中缺失了部分图像,或者,待识别图像被工具损坏等。当然了,在获取到待识别图像之后,还可以对待处理图像进行预处理,以使得后续使用模型对待识别图像的属性信息进行识别时更具有针对性。
S102,基于预先训练的标识码属性识别模型,对所述待识别图像进行属性信息识别,得到所述待识别图像中标识码的边界点位置信息和旋转角度。
这里,标识码属性识别模型可以为目标区域检测模型(Single Shot MultiboxDetector,SSD模型)等,SSD模型是一种直接预测目标区域的属性信息的算法,可以针对不同大小的区域进行检测,现有技术中已有详细的介绍,此处不再进行过多说明;待识别图像的属性信息主要针对待识别图像的标识码的来说的,属性信息可以为标识码的版本信息(下文详述)、标识码的旋转角度、标识码的边界点位置信息等,其中,边界点位置信息一般为标识码的边界点在待识别图像中的坐标信息,旋转角度一般为待识别图像中的识别出的标识码相对于标准标准码的角度。其中,标识码可以为条形码、二维码等,优选地,本申请中涉及的标识码均为二维码。
以下针对标识码的边界点位置信息和旋转角度进行说明。
参考图2提供的标准标识码图像,以标准标识码图像为例进行说明,边界点位置信息一般为标准标识码图像中四个边界点A、B、C、D的坐标信息,例如,边界点A的位置信息为(100,100),边界点B的位置信息为(100,200),边界点C的位置信息为(200,100),边界点D的位置信息为(200,200)。
参考图2和图3,图3提供的标识码图像为待识别图像中识别出的标识码的图像,图2中标准标识码图像中的边界点A、B、C分别对应三个标识码定位框F1、F2、F3,图3中待识别图像识别出的标识码的边界点A、B、D分别对应三个标识码定位框G1、G2、G3,图3中标识码中标识码定位框的位置是通过将标准标识码向右旋转90度得到的,那么,图3中待识别图像中标识码的旋转角度为90度,不过应当注意,上述示例仅仅是示意性的,在实际应用中,标识码的旋转角度一般属于0度到360度之间。
在基于预先训练的标识码属性识别模型,对所述待识别图像进行属性信息识别之前,还包括:
将所述待识别图像输入到预先训练的标识码特征提取模型中进行特征提取,得到所述待识别图像中的标识码特征向量;
在基于预先训练的标识码属性识别模型,对所述待识别图像进行属性信息识别时,包括:
将所述标识码特征向量输入到所述标识码属性识别模型,得到所述标识码的边界点位置信息和旋转角度。
这里,标识码特征提取模型可以为卷积神经网络模型、移动视觉网络(MobileNet)模型等,优选地,本申请中涉及的标识码特征提取模型为移动视觉网络模型,而通过标识码特征提取模型对图像进行特征向量提取的技术在现有技术中已有详细的介绍,此处不再进行过多说明;待识别图像中的标识码特征向量表征待识别图像中包括的标识码的特征信息,不同的标识码对应不同的特征信息。
在具体实施中,将待识别图像输入标识码特征提取模型中进行特征提取,得到待识别图像中包含的标识码的标识码特征向量,进一步,将标识码特征向量输入到标识码属性识别模型对待识别图像的属性信息进行识别,从而得到待识别图像中的标识码的边界点位置信息和旋转角度;若待识别图像未能提取到标识码特征向量,则说明待识别图像中可能不包括标识码,则丢弃该待识别图像。
例如,参考图3,将图3中的待识别图像输入到移动视觉网络模型提取待识别图像中的标识码特征向量[x 1,x 2……x n],进一步,将[x 1,x 2……x n]输入到SSD模型,得到标识码的边界点位置信息分别为边界点A的位置信息为(100,100),边界点B的位置信息为(100,200),边界点C的位置信息为(200,100),边界点D的位置信息为(200,200),标识码的旋转角度为90度。
标识码特征提取模型是根据以下步骤训练得到的:
获取多个样本图像和人工标注的每个样本图像对应的特征向量,将样本图像作为模型输入特征,将对应的特征向量作为模型输出特征,训练得到标识码特征提取模型。其中,在训练标识码特征提取模型时,可以将样本图像进一步划分为正样本图像和负样本图像(正样本图像和负样本图像的划分过程可以参考标识码识别模型训练时的正负样本图像的选择过程),以提高训练的标识码特征提取模型的准确度;训练标识码特征提取模型的过程在现有技术中已有详细的介绍,此处不针对该训练过程进行过多说明。
训练标识码属性识别模型可以基于以下两种方式中的任意一种实现:
方式一:根据以下步骤训练标识码属性识别模型:
构建训练样本库,所述训练样本库中包括多个样本图像,以及对应的人工标注的属性标签,所述属性标签用于表征标识码的边界点位置信息和旋转角度;
将所述多个样本图像的标识码特征向量作为模型输入特征,将对应的人工标注的属性标签作为模型输出特征,训练得到所述标识码属性识别模型。
在构建训练样本库时,具体包括以下步骤:
根据所述人工标注的属性标签,确定样本集中的正样本图像和负样本图像,所述正样本图像中包含标识码,所述负样本图像中不包含标识码;
根据预先设置的正样本图像和负样本图像的比例,从所述样本集中选择符合所述比例的正样本图像和负样本图像,生成所述训练样本库。
这里,属性标签可以为包括标识码的边界点位置信息和旋转角度的标签和不包括标识码的标签;正样本图像和负样本图像的比例可以是1:10~10:1之间的比例,也可以根据实际情况设置,本申请对此不予限制。
在具体实现过程中,在获取到大量的样本图像后,针对每个样本图像,若该样本图像的属性标签为包括标识码的边界点位置信息和旋转角度的标签,则该样本图像为正样本图像,若该样本图像的属性标签为不包括标识码的标签,则该样本图像为负样本图像。
对于正样本图像而言,本申请中涉及的正样本图像均为包含有标识码的图像,正样本图像可以通过人工筛选方式和系统自动收集方式获取,本申请中涉及的负样本图像均为不包含标识码的图像,负样本图像可以是从网络平台中获取的不包含二维码的图像,也可以是通过图像采集设备拍摄的不包含标识码的图像,也可以是接收的其它移动终端传输的不包含标识码的图像,例如,负样本图像可以是空白图像,也可以是包含有物品的图像,还可以是包含有动物的图像等等。
在获取正样本图像时,人工选择方式可以是通过人工方式对从网络平台获取的包括二维码的图像进行筛选,或直接通过人工方式拍摄的包含二维码的图像,例如,用户通过网络爬取工具从网络平台获取大量的包含二维码的图像,爬取工具爬取到的二维码图像可能存在清晰度不高、破损、不完整等问题,而直接使用爬取的二维码图像作为正样本图像对模型进行训练时,可能会降低模型对图像中的属性信息进行识别的准确度,因此,需要从爬取的大量二维码图像中筛选出二维码完整、清晰度高且没有被损坏的二维码图像作为正样本图像,或者,用户通过图像采集设备采集完整的、未被破损的二维码图像。
系统自动收集方式获取的正样本图像可以是用户在扫描二维码的过程中,终端系统自动获取超过设定时长识别成功的二维码图像和未识别成功的二维码图像。例如,以共享单车解锁场景为例进行说明,用户在通过移动终端扫描共享单车中的二维码时,终端系统自动检测移动终端的扫码时长,当扫码时长超出设定时长时,可能是由于二维码被部分损坏导致扫码时长变长,为了提高训练的标识码属性识别模型的准确度,获取识别时长超过设定时长且识别成功的二维码图像,将此类二维码图像作为正样本图像,使得标识码属性识别模型有针对性的识别包含的二维码被破损或清晰度不高的待识别图像。
又如,用户在通过移动终端扫描共享单车中的二维码时,终端系统自动检测移动终端的扫码时长,当扫码时长超出设定时长且并未成功识别到二维码时,此类二维码图像可能是损坏严重的图像,为了有针对性的识别损坏严重的图像,将此类二维码图像也作为正样本图像。
为了进一步提高标识码属性识别模型对标识码属性信息识别的准确度,一般选择的正样本图像的个数和负样本图像的个数应该接近,比如正样本图像和负样本图像的比值控制在1:10~10:1之间,具体地,本申请实施例目的在于识别出待识别图像中的标识码,样本集中正样本图像的个数要远远大于负样本图像的个数,本申请实施例通过如下方式从样本集中筛选符合比例的正样本图像和负样本图像:
(1),如果本申请实施例的样本集中正样本图像的个数是负样本图像的一万倍,则按照0.001的采样比例在样本集中进行筛选正样本,将正负样本图像的个数比例调整到1:10以内。
(2),如果筛选出的正负样本图像的总量是千级别的,使用较少的样本图像对模型进行训练,可能会导致模型的准确度降低,此时,可以通过将多个历史时间段得到的正负样本图像合并到一起,形成最终的训练样本库,比如,将20181010、20181101、20181201等日期筛选出的正负样本图像合并后形成最终的训练样本库。
在构建完训练样本库后,将训练样本库中每个样本图像的标识码特征向量作为模型输入特征,将对应的人工标注的属性标签作为模型输出特征,训练得到标识码属性识别模型。其中,方式一训练标识码属性识别模型的过程在现有技术已有详细的介绍,此处不做过多解释。
方式二:根据以下步骤训练标识码属性识别模型:
构建训练样本库,所述训练样本库中包括多个样本图像,以及对应的人工标注的属性标签,所述属性标签用于表征标识码的边界点位置信息、旋转角度和版本信息;
将所述多个样本图像的标识码特征向量作为模型输入特征,将对应的人工标注的属性标签作为模型输出特征,训练得到所述标识码属性识别模型。
这里,属性标签可以为包括标识码的边界点位置信息、旋转角度和版本信息的标签不包括标识码的标签。
在具体实现过程中,在获取到大量的样本图像后,针对每个样本图像,若该样本图像的属性标签为包括标识码的边界点位置信息、旋转角度和版本信息的标签,则该样本图像为正样本图像,若该样本图像的属性标签为不包括标识码的标签,则该样本图像为负样本图像。其中,构建训练样本库的方式与方式一中的示例相同,此处不再进行过多说明。
正样本图像和负样本图像的获取方式、正负样本图像的比例与方式一中的示例相同,相同之处不再赘述。
在构建完训练样本库后,将训练样本库中每个样本图像的标识码特征向量作为模型输入特征,将对应的人工标注的属性标签作为模型输出特征,训练得到标识码属性识别模型。其中,方式二中训练标识码属性识别模型的过程在现有技术已有详细的介绍,此处不做过多解释。
在使用通过方式二训练得到的标识码属性识别模型对待识别图像进行识别时,除了可以得到待识别图像中标识码的边界点位置信息和旋转角度之外,还可以得到待识别图像中标识码的版本信息,在下文进行标识码识别时,若根据边界点位置信息和旋转角度在待识别图像中标识码所属的区域范围内可以识别到标识码定位框,则可以直接对标识码进行识别,若根据边界点位置信息和旋转角度在待识别图像中标识码所属的区域范围内无法识别到标识码定位框,则根据方式二中的模型输出的标识码的版本信息、边界点位置信息和旋转角度对标识码进行识别,下文进行详细叙述。
S103,基于所述标识码的边界点位置信息和旋转角度,识别所述待识别图像中的标识码。
如图4所示,在执行步骤S103中基于所述标识码的边界点位置信息和旋转角度,识别所述待识别图像中的标识码时,具体包括以下步骤:
S401,基于所述标识码的边界点位置信息,确定所述标识码在所述待识别图像中所属的区域范围;
S402,在所述区域范围中识别标识码定位框信息;
S403,若所述区域范围中识别出标识码定位框信息,则基于识别出的标识码定位框信息,以及所述标识码的旋转角度,识别所述待识别图像中的标识码;
S404,若在所述区域范围中未识别出标识码定位框信息,则基于所述标识码的边界点位置信息、所述旋转角度和所述标识码的版本信息,识别所述待识别图像中的标识码。
这里,区域范围表征二维码在待识别图像中所属的区域;标识码定位框信息包括标识码定位框所属区域的中心点的位置信息(该位置信息为标识码定位框所属区域的中心点在待识别图像中的坐标信息)和宽度信息;版本信息可以为标识码的版本号、二维码的容量等。
在具体实现过程中,利用标识码的边界点位置信息,确定标识码在待识别图像中的区域范围。在得到标识码所属的区域范围后,进一步,在区域范围中识别标识码定位框信息,只有在识别出标识码定位框信息后才可以进一步对区域范围中的标识码进行识别。
对于标准标识码而言,一个标准标识码一般包括有三个标识码定位框,由于获取的待识别图像中不一定包括完整的标识码,有可能存在标识码定位框缺失,因此,在识别区域范围中的标识码时,可能识别到一个标识码定位框、两个标识定位框、三个标识码定位框,也可能所有的标识码定位框都识别不到。
以下针对不同数目的标识码定位框对标识码识别过程进行介绍。
在区域范围中识别出标识码定位框信息时,进一步包括以下步骤:
判断识别出的标识码定位框的数量是否达到预设数量;
若未达到预设数量,则基于识别出的标识码定位框在所述待识别图像中的位置信息和所述标识码的旋转角度,确定其它标识码定位框在所述待识别图像中的位置信息;
基于识别出的标识码定位框和确定的所述其它标识码定位框在所述待识别图像中的位置信息和宽度信息,识别所述待识别图像中的标识码。
在基于识别出的标识码定位框和确定的所述其它标识码定位框在所述待识别图像中的位置信息和宽度信息,识别所述待识别图像中的标识码时,进一步包括以下步骤:
利用所述位置信息和所述标识码的旋转角度,对用于表达所述标识码的图像信息的矩阵进行转换处理;
基于所述宽度信息和转换处理后的矩阵,识别所述待识别图像中的标识码。
这里,预设数量可以是根据实际情况确定的,一般设置为3;标识码定位框在待识别图像中的位置信息一般为标识码定位框中的中心点在待识别图像中的坐标信息,例如,参考图5,标识码定位框的位置信息为O点在待识别图像中的坐标信息;宽度信息为标识码定位框的宽度,例如,参考图5,标识码定位框的宽度为L。
在具体实现过程中,若区域范围中识别出了标识码定位框,则判断识别出的标识码定位框的数量是否达到预设数量。其中,在标识码所属的区域范围识别标识码定位框信息的技术在现有技术中已有详细的介绍,此处不再进行过多说明。
当识别出的标识码定位框的数量为预设数量时,根据得到的标识码定位框的坐标信息和标识码的旋转角度,对待识别图像中的标识码进行识别。其中,对待识别图像中的标识码进行识别的过程可以参考标识码定位框未达到预设数量时补全得到所有的标识码定位框信息后的过程,此处不再进行过多说明。
当识别出的标识码定位框的数量未达到预设数量时,则根据识别出的标识码定位框在待识别图像中的坐标信息,以及标识码的旋转角度,确定标识码中其它标识码定位框在待识别图像中的坐标信息,在得到识别出的标识码定位框和其它标识码定位框在待识别图像中的坐标信息后,根据得到的标识码定位框的坐标信息和标识码的旋转角度,确定识别出的标识码对应的透视变换矩阵。
由于在获取待识别图像时,图像采集设备不一定能够获取包含标准标识码的待识别图像,若待识别图像获取过程中出现抖动或其他影响因素,会导致获取的待识别图像存在形变,也就是说,待识别图像中包含的标识码不是正方形,可能是不规则的四边形,后续需要进一步将确定的标识码的待识别图像的区域范围的转换为正方形,以提高对识别标识码时的准确度,因此,上述透视变换矩阵的目的在于将不规则的四边形转换为规则的正方形,这样,提高了识别标识码中包含信息的识别效率。
随后,利用透视变换矩阵对识别出的标识码对应的表征标识码亮度信息的矩阵进行转换处理,利用标识码定位框的宽度信息对转换处理后的矩阵进行解码处理,得到通过0和1表示的矩阵,基于得到的通过0和1表示的矩阵实现对区域范围中标识码的识别。其中,标识码的矩阵一般是通过标识码的图像信息进行表征,图像信息为标识码中的明亮度、色度和浓度(YUV)的数据,优选地,该矩阵为通过标识码中的明亮度数据确定;利用识别出的标识码定位框信息确定标识码中其它标识码定位框信息的技术在现有技术中已有详细的介绍,此处不再进行过多说明;根据标识码定位框的坐标信息和标识码的旋转角度得到透视变换矩阵的方法在现有技术中已有详细的介绍,此处不再进行过多说明。
以待识别图像中的标识码为正方形为例说明确定标识码中其它标识码定位框信息的过程,待识别图像中识别出的标识码所属的区域范围为正方形区域,标识码的旋转角度为90度,在识别标识码所属的区域范围中标识码定位框信息时,若从标识码所属的区域范围中识别出一个标识码定位框G1,且标识码定位框G1的坐标信息为(100,100)、宽度信息为70像素、相邻标识码定位框之间的距离为100,识别出的标识码的旋转角度为90度,则标识码中另外两个标识码定位框的坐标信息分别为G2(100,200)和G3(200,200),参考图3。
以待识别图像中的标识码为不规则四边形为例,说明在根据得到的标识码定位框信息对标识码进行识别的过程,在利用得到的标识码定位框坐标信息和转换角度得到透视变换矩阵后,利用透视变换矩阵将标识码的矩阵进行转换处理,转换处理后的矩阵对应的标识码的形状为正方形,标识码定位框的宽度为70像素,标识码定位框中黑色像素块和白色像素块是按照1:1:3:1:1排列的,每个像素块的宽度为70/7=10像素,利用每个像素块的宽度对转换处理后的矩阵进行解码处理,得到0、1矩阵,进而利用得到的0、1矩阵实现对标识码的识别。
不过此处应当处理,标识码中识别出的标识码定位框为两个时的情况与上述示例相同,此处不针对识别出两个标识码定位框的情况进行说明。
在区域范围中未识别出标识码定位框信息时,进一步包括:
若在所述区域范围中未识别出标识码定位框信息,则基于所述标识码的边界点位置信息、所述旋转角度和所述标识码的版本信息,识别所述待识别图像中的标识码。
如图6所示,在基于所述标识码的边界点位置信息、所述旋转角度和所述标识码的版本信息,识别所述待识别图像中的标识码时,具体包括以下步骤:
S601,利用所述边界点位置信息和所述旋转角度,对用于表达所述标识码的图像信息的矩阵进行转换处理;
S602,基于所述标识码的版本信息和转换处理后的矩阵,识别所述待识别图像中的标识码。
这里,标识码的图像信息为表征标识码中的明亮度、色度和浓度(YUV)的数据,优选地,通过标识码中明亮度数据表示识别出的标识码的矩阵。
在具体实现过程中,当在标识码中识别不到标识码定位框信息时,也就无法识别到标识码定位框的宽度信息(标识码中像素块的宽度可以利用标识码的版本信息计算得到),由于在对区域范围中的标识码进行识别时,需要利用标识码中像素块的宽度对标识码对应的矩阵进行解码处理,因此,为了避免出现标识码定位框信息无法识别得到的情况发生,可基于利用上述方式二训练得到的标识码属性识别模型对待识别图像进行识别处理,以降低无法识别到标识码定位框信息时无法识别标识码的发生概率。其中,标识码的版本信息对应的标识码定位框的宽度都是预先设定好的,相邻标识码定位框之间的距离也是预先设定的,标识码定位框距离边界点所在的直线的距离也是预先设定的,因此,在得到标识码的版本信息后,可以确定该版本信息对应的标识码定位框的宽度、标识码定位框的边界到标识码的边界点所在的直线的距离以及相邻标识码定位框之间的距离,进而可以根据标识码的边界点的位置信息以及得到的上述宽度和距离,确定标识码定位框信息。
当在标识码中识别不到标识码定位框信息时,可以通过标识码的边界点位置信息和模型输出的标识码的版本信息计算标识码定位框信息(坐标信息),根据得到的标识码定位框的坐标信息和模型输出的标识码的旋转角度,确定透视变换矩阵。
随后,利用透视变换矩阵对识别出的标识码对应的表征标识码亮度信息的矩阵进行转换处理,利用标识码定位框的宽度信息对转换处理后的矩阵进行解码处理,得到通过0和1表示的矩阵,基于得到的通过0和1表示的矩阵实现对区域范围中标识码的识别。其中,利用识别出的标识码定位框信息确定标识码中其它标识码定位框信息的技术在现有技术中已有详细的介绍,此处不再进行说明;根据标识码定位框的坐标信息和标识码的旋转角度得到透视变换矩阵的方法在现有技术中已有详细的介绍,此处不再进行过多说明。
例如,参考图7,模型输出的标识码的边界点位置信息分别为A(x1,y1)、B(x2,y2)、C(x2,y2)、D(x4,y4),标识码定位框的中心距离标识码边界点AB所在的直线和距离边界点AC所在的直线的距离均为d,相邻标识码定位框之间的距离为s,则标识码定位框F1的坐标信息为(x1+d,y1+d),标识码定位F2的坐标信息为(x1+d+s,y1+d),标识码定位框F3的坐标信息为(x1+d+L,y1+d)。
在利用得到的标识码定位框的坐标信息和标识码的转换角度得到透视变换矩阵后,利用透视变换矩阵将标识码对应的矩阵进行转换处理,转换处理后的矩阵对应的标识码的形状为正方形,模型输出的标识码定位框的宽度为L像素,标识码定位框中黑色像素块和白色像素块是按照1:1:3:1:1排列列的,每个像素块的宽度为L/7,利用每个像素块的宽度L/7对转换处理后的矩阵进行解码处理,得到0/1矩阵,进而利用得到的0/1矩阵实现对标识码的识别。
本申请实施例提供的标识码识别方法,通过预先训练的标识码属性识别模型对待识别图像的属性信息进行识别,提高了对待识别图像的属性信息进行识别的准确度,只有标识码属性识别模型在待识别图像中识别到标识码的边界点位置信息和旋转角度后才会进行后续的标识码识别动作,对于未识别到标识码的边界点位置信息和旋转角度的待识别图像,则不会进行后续的标识码识别动作,大大减少了不必要的标识码识别动作带来的耗费时长,提高了对图像中标识码的识别效率。
本申请实施例提供了一种标识码识别装置,如图8所示,该装置包括:
获取模块81,用于获取待识别图像;
第一识别模块82,用于基于预先训练的标识码属性识别模型,对所述待识别图像进行属性信息识别,得到所述待识别图像中标识码的边界点位置信息和旋转角度;
第二识别模块83,基于所述标识码的边界点位置信息和旋转角度,识别所述待识别图像中的标识码。
可选地,所述装置还包括:第三识别模块84,所述第三识别模块84用于:
将所述待识别图像输入到预先训练的标识码特征提取模型中进行特征提取,得到所述待识别图像中的标识码特征向量;
所述第一识别模块82具体用于:
将所述标识码特征向量输入到所述标识码属性识别模型,得到所述标识码的边界点位置信息和旋转角度。
可选地,所述第二识别模块83具体用于:
基于所述标识码的边界点位置信息,确定所述标识码在所述待识别图像中所属的区域范围;
在所述区域范围中识别标识码定位框信息;
若所述区域范围中识别出标识码定位框信息,则基于识别出的标识码定位框信息,以及所述标识码的旋转角度,识别所述待识别图像中的标识码。
可选地,所述第二识别模块83,所述第二识别模块83还用于:
若在所述区域范围中未识别出标识码定位框信息,则基于所述标识码的边界点位置信息、所述旋转角度和所述标识码的版本信息,识别所述待识别图像中的标识码。
可选地,所述所述第二识别模块83还用于:
利用所述边界点位置信息和所述旋转角度,对用于表达所述标识码的图像信息的矩阵进行转换处理;
基于所述标识码的版本信息和转换处理后的矩阵,识别所述待识别图像中的标识码。
可选地,所述第二识别模块83具体用于:
判断识别出的标识码定位框的数量是否达到预设数量;
若未达到预设数量,则基于识别出的标识码定位框在所述待识别图像中的位置信息和所述标识码的旋转角度,确定其它标识码定位框在所述待识别图像中的位置信息;
基于识别出的标识码定位框和确定的所述其它标识码定位框在所述待识别图像中的位置信息和宽度信息,识别所述待识别图像中的标识码。
可选地,所述第二识别模块83具体用于:
利用所述位置信息和所述标识码的旋转角度,对用于表达所述标识码的图像信息的矩阵进行转换处理;
基于所述宽度信息和转换处理后的矩阵,识别所述待识别图像中的标识码。
可选地,所述装置还包括:训练模块85,所述训练模块85根据以下步骤训练所述标识码属性识别模型:
构建训练样本库,所述训练样本库中包括多个样本图像,以及对应的人工标注的属性标签,所述属性标签用于表征标识码的边界点位置信息和旋转角度;
将所述多个样本图像的标识码特征向量作为模型输入特征,将对应的人工标注的属性标签作为模型输出特征,训练得到所述标识码属性识别模型。
可选地,所述训练模块85具体用于:
根据所述人工标注的属性标签,确定样本集中的正样本图像和负样本图像,所述正样本图像中包含标识码,所述负样本图像中不包含标识码;
根据预先设置的正样本图像和负样本图像的比例,从所述样本集中选择符合所述比例的正样本图像和负样本图像,生成所述训练样本库。
本申请实施例还提供了一种电子设备900,电子设备900可以是通用计算机或特殊用途的计算机,两者都可以用于实现本申请的服务选择预测方法。本申请尽管仅示出了一个计算机,但是为了方便起见,可以在多个类似平台上以分布式方式实现本申请描述的功能,以均衡处理负载。
如图9所示,电子设备900可以包括连接到网络的网络端口901、用于执行程序指令的一个或多个处理器902、通信总线903、和不同形式的存储介质904,例如,磁盘、ROM、或RAM,或其任意组合。示例性地,计算机平台还可以包括存储在ROM、RAM、或其他类型的非暂时性存储介质、或其任意组合中的程序指令。根据这些程序指令可以实现本申请的方法。电子设备900还包括计算机与其他输入输出设备(例如键盘、显示屏)之间的输入/输出(Input/Output,I/O)接口905。
为了便于说明,在电子设备900中仅描述了一个处理器。然而,应当注意,本申请中的电子设备900还可以包括多个处理器,因此本申请中描述的一个处理器执行的步骤也可以由多个处理器联合执行或单独执行。例如,若电子设备900的处理器执行步骤A和步骤B,则应该理解,步骤A和步骤B也可以由两个不同的处理器共同执行或者在一个处理器中单独执行。例如,第一处理器执行步骤A,第二处理器执行步骤B,或者第一处理器和第二处理器共同执行步骤A和B。
下面以一个处理器为例,处理器902执行存储介质904中存储的如下程序指令:
获取待识别图像;
基于预先训练的标识码属性识别模型,对所述待识别图像进行属性信息识别,得到所述待识别图像中标识码的边界点位置信息和旋转角度;
基于所述标识码的边界点位置信息和旋转角度,识别所述待识别图像中的标识码。
在一种实施方式中,处理器902执行的程序指令在所述基于预先训练的标识码属性识别模型,对所述待识别图像进行属性信息识别之前,还包括:
将所述待识别图像输入到预先训练的标识码特征提取模型中进行特征提取,得到所述待识别图像中的标识码特征向量;
所述基于预先训练的标识码属性识别模型,对所述待识别图像进行属性信息识别,包括:
将所述标识码特征向量输入到所述标识码属性识别模型,得到所述标识码的边界点位置信息和旋转角度。
在一种实施方式中,处理器902执行的程序指令基于所述标识码的边界点位置信息和旋转角度,识别所述待识别图像中的标识码,包括:
基于所述标识码的边界点位置信息,确定所述标识码在所述待识别图像中所属的区域范围;
在所述区域范围中识别标识码定位框信息;
若所述区域范围中识别出标识码定位框信息,则基于识别出的标识码定位框信息,以及所述标识码的旋转角度,识别所述待识别图像中的标识码。
在一种实施方式中,处理器902执行的程序指令在所述区域范围中识别标识码定位框信息之后,还包括:
若在所述区域范围中未识别出标识码定位框信息,则基于所述标识码的边界点位置信息、所述旋转角度和所述标识码的版本信息,识别所述待识别图像中的标识码。
在一种实施方式中,处理器902执行的程序指令基于所述标识码的边界点位置信息、所述旋转角度和所述标识码的版本信息,识别所述待识别图像中的标识码,包括:
利用所述边界点位置信息和所述旋转角度,对用于表达所述标识码的图像信息的矩阵进行转换处理;
基于所述标识码的版本信息和转换处理后的矩阵,识别所述待识别图像中的标识码。
在一种实施方式中,处理器902执行的程序指令基于识别出的标识码定位框信息,以及所述标识码的旋转角度,识别所述待识别图像中的标识码,包括:
判断识别出的标识码定位框的数量是否达到预设数量;
若未达到预设数量,则基于识别出的标识码定位框在所述待识别图像中的位置信息和所述标识码的旋转角度,确定其它标识码定位框在所述待识别图像中的位置信息;
基于识别出的标识码定位框和确定的所述其它标识码定位框在所述待识别图像中的位置信息和宽度信息,识别所述待识别图像中的标识码。
在一种实施方式中,处理器902执行的程序指令基于识别出的标识码定位框和确定的所述其它标识码定位框在所述待识别图像中的位置信息和宽度信息,识别所述待识别图像中的标识码,包括:
利用所述位置信息和所述标识码的旋转角度,对用于表达所述标识码的图像信息的矩阵进行转换处理;
基于所述宽度信息和转换处理后的矩阵,识别所述待识别图像中的标识码。
在一种实施方式中,处理器902执行的程序指令根据以下步骤训练所述标识码属性识别模型:
构建训练样本库,所述训练样本库中包括多个样本图像,以及对应的人工标注的属性标签,所述属性标签用于表征标识码的边界点位置信息和旋转角度;
将所述多个样本图像的标识码特征向量作为模型输入特征,将对应的人工标注的属性标签作为模型输出特征,训练得到所述标识码属性识别模型。
在一种实施方式中,处理器902执行的程序指令构建训练样本库,包括:
根据所述人工标注的属性标签,确定样本集中的正样本图像和负样本图像,所述正样本图像中包含标识码,所述负样本图像中不包含标识码;
根据预先设置的正样本图像和负样本图像的比例,从所述样本集中选择符合所述比例的正样本图像和负样本图像,生成所述训练样本库。
对应于图1至图7中的标识码识别方法,本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述标识码识别方法的步骤。
具体地,该计算机可读存储介质能够为通用的存储介质,如移动磁盘、硬盘等,该存储介质上的计算机程序被运行时,能够执行上述标识码识别方法,从而解决现有技术中标识码识别效率低问题。
基于相同的技术构思,本申请实施例还提供了一种计算机程序产品,包括存储了程序代码的计算机可读存储介质,程序代码包括的指令可用于执行上述标识码识别方法的步骤,具体实现可参见上述方法实施例,在此不再赘述。
本申请实施例提供的标识码识别方法,通过预先训练的标识码属性识别模型对待识别图像的属性信息进行识别,提高了对待识别图像的属性信息进行识别的准确度,只有标识码属性识别模型在待识别图像中识别到标识码的边界点位置信息和旋转角度后才会进行后续的标识码识别动作,对于未识别到标识码的边界点位置信息和旋转角度的待识别图像,则不会进行后续的标识码识别动作,大大减少了不必要的标识码识别动作带来的耗费时长,提高了对图像中标识码的识别效率。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考方法实施例中的对应过程,本申请中不再赘述。在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。

Claims (16)

1.一种标识码识别方法,其特征在于,包括:
获取用户通过图像采集设备扫描共享单车的标识码的过程中拍摄的待识别图像;
基于预先训练的标识码属性识别模型,对所述待识别图像进行属性信息识别;所述属性信息包括标识码的边界点位置信息和旋转角度;
若得到所述待识别图像中标识码的边界点位置信息和旋转角度,则基于所述标识码的边界点位置信息和旋转角度,识别所述待识别图像中的标识码;所述边界点位置信息为标识码的边界点在待识别图像中的坐标信息,所述旋转角度为待识别图像中的识别出的标识码相对于标准码的角度;
所述基于所述标识码的边界点位置信息和旋转角度,识别所述待识别图像中的标识码,包括:
基于所述标识码的边界点位置信息,确定所述标识码在所述待识别图像中所属的区域范围;
在所述区域范围中识别标识码定位框信息;
若在所述区域范围中未识别出标识码定位框信息,则基于所述标识码的边界点位置信息、所述旋转角度和所述标识码的版本信息,识别所述待识别图像中的标识码;
所述基于所述标识码的边界点位置信息、所述旋转角度和所述标识码的版本信息,识别所述待识别图像中的标识码,包括:
在得到所述标识码的版本信息后,确定该版本信息对应的标识码定位框的宽度、标识码定位框的边界到标识码的边界点所在的直线的距离以及相邻标识码定位框之间的距离,并根据标识码的边界点的位置信息以及得到的所述宽度和所述距离,确定标识码定位框的坐标信息;
根据得到的标识码定位框的坐标信息和所述旋转角度,确定透视变换矩阵;通过所述透视变换矩阵,对用于表达所述标识码的图像信息的矩阵进行转换处理;利用标识码定位框的宽度信息对转换处理后的矩阵进行解码,识别所述待识别图像中的标识码。
2.如权利要求1所述的方法,其特征在于,在所述基于预先训练的标识码属性识别模型,对所述待识别图像进行属性信息识别之前,还包括:
将所述待识别图像输入到预先训练的标识码特征提取模型中进行特征提取,得到所述待识别图像中的标识码特征向量;
所述基于预先训练的标识码属性识别模型,对所述待识别图像进行属性信息识别,包括:
将所述标识码特征向量输入到所述标识码属性识别模型,得到所述标识码的边界点位置信息和旋转角度。
3.如权利要求1所述的方法,其特征在于,所述基于所述标识码的边界点位置信息和旋转角度,识别所述待识别图像中的标识码,还包括:
若所述区域范围中识别出标识码定位框信息,则基于识别出的标识码定位框信息,以及所述标识码的旋转角度,识别所述待识别图像中的标识码。
4.如权利要求3所述的方法,其特征在于,所述基于识别出的标识码定位框信息,以及所述标识码的旋转角度,识别所述待识别图像中的标识码,包括:
判断识别出的标识码定位框的数量是否达到预设数量;
若未达到预设数量,则基于识别出的标识码定位框在所述待识别图像中的位置信息和所述标识码的旋转角度,确定其它标识码定位框在所述待识别图像中的位置信息;
基于识别出的标识码定位框和确定的所述其它标识码定位框在所述待识别图像中的位置信息和宽度信息,识别所述待识别图像中的标识码。
5.如权利要求4所述的方法,其特征在于,所述基于识别出的标识码定位框和确定的所述其它标识码定位框在所述待识别图像中的位置信息和宽度信息,识别所述待识别图像中的标识码,包括:
利用所述位置信息和所述标识码的旋转角度,对用于表达所述标识码的图像信息的矩阵进行转换处理;
基于所述宽度信息和转换处理后的矩阵,识别所述待识别图像中的标识码。
6.如权利要求1或2所述的方法,其特征在于,根据以下步骤训练所述标识码属性识别模型:
构建训练样本库,所述训练样本库中包括多个样本图像,以及对应的人工标注的属性标签,所述属性标签用于表征标识码的边界点位置信息和旋转角度;
将所述多个样本图像的标识码特征向量作为模型输入特征,将对应的人工标注的属性标签作为模型输出特征,训练得到所述标识码属性识别模型。
7.如权利要求6所述的方法,其特征在于,所述构建训练样本库,包括:
根据所述人工标注的属性标签,确定样本集中的正样本图像和负样本图像,所述正样本图像中包含标识码,所述负样本图像中不包含标识码;
根据预先设置的正样本图像和负样本图像的比例,从所述样本集中选择符合所述比例的正样本图像和负样本图像,生成所述训练样本库。
8.一种标识码识别装置,其特征在于,包括:
获取模块,用于获取用户通过图像采集设备扫描共享单车的标识码的过程中拍摄的待识别图像;
第一识别模块,用于基于预先训练的标识码属性识别模型,对所述待识别图像进行属性信息识别,得到所述待识别图像中标识码的边界点位置信息和旋转角度;
第二识别模块,基于所述标识码的边界点位置信息和旋转角度,识别所述待识别图像中的标识码;所述边界点位置信息为标识码的边界点在待识别图像中的坐标信息,所述旋转角度为待识别图像中的识别出的标识码相对于标准码的角度;
所述第二识别模块具体用于:
基于所述标识码的边界点位置信息,确定所述标识码在所述待识别图像中所属的区域范围;
在所述区域范围中识别标识码定位框信息;
若在所述区域范围中未识别出标识码定位框信息,则基于所述标识码的边界点位置信息、所述旋转角度和所述标识码的版本信息,识别所述待识别图像中的标识码;
其中,所述基于所述标识码的边界点位置信息、所述旋转角度和所述标识码的版本信息,识别所述待识别图像中的标识码,包括:
在得到所述标识码的版本信息后,确定该版本信息对应的标识码定位框的宽度、标识码定位框的边界到标识码的边界点所在的直线的距离以及相邻标识码定位框之间的距离,并根据标识码的边界点的位置信息以及得到的所述宽度和所述距离,确定标识码定位框的坐标信息;
根据得到的标识码定位框的坐标信息和所述旋转角度,确定透视变换矩阵;通过所述透视变换矩阵,对用于表达所述标识码的图像信息的矩阵进行转换处理;利用标识码定位框的宽度信息对转换处理后的矩阵进行解码,识别所述待识别图像中的标识码。
9.如权利要求8所述的装置,其特征在于,所述装置还包括:第三识别模块,所述第三识别模块用于:
将所述待识别图像输入到预先训练的标识码特征提取模型中进行特征提取,得到所述待识别图像中的标识码特征向量;
所述第一识别模块具体用于:
将所述标识码特征向量输入到所述标识码属性识别模型,得到所述标识码的边界点位置信息和旋转角度。
10.如权利要求8所述的装置,其特征在于,所述第二识别模块还用于:
若所述区域范围中识别出标识码定位框信息,则基于识别出的标识码定位框信息,以及所述标识码的旋转角度,识别所述待识别图像中的标识码。
11.如权利要求10所述的装置,其特征在于,所述第二识别模块具体用于:
判断识别出的标识码定位框的数量是否达到预设数量;
若未达到预设数量,则基于识别出的标识码定位框在所述待识别图像中的位置信息和所述标识码的旋转角度,确定其它标识码定位框在所述待识别图像中的位置信息;
基于识别出的标识码定位框和确定的所述其它标识码定位框在所述待识别图像中的位置信息和宽度信息,识别所述待识别图像中的标识码。
12.如权利要求11所述的装置,其特征在于,所述第二识别模块具体用于:
利用所述位置信息和所述标识码的旋转角度,对用于表达所述标识码的图像信息的矩阵进行转换处理;
基于所述宽度信息和转换处理后的矩阵,识别所述待识别图像中的标识码。
13.如权利要求8或9所述的装置,其特征在于,所述装置还包括:训练模块,所述训练模块根据以下步骤训练所述标识码属性识别模型:
构建训练样本库,所述训练样本库中包括多个样本图像,以及对应的人工标注的属性标签,所述属性标签用于表征标识码的边界点位置信息和旋转角度;
将所述多个样本图像的标识码特征向量作为模型输入特征,将对应的人工标注的属性标签作为模型输出特征,训练得到所述标识码属性识别模型。
14.如权利要求13所述的装置,其特征在于,所述训练模块具体用于:
根据所述人工标注的属性标签,确定样本集中的正样本图像和负样本图像,所述正样本图像中包含标识码,所述负样本图像中不包含标识码;
根据预先设置的正样本图像和负样本图像的比例,从所述样本集中选择符合所述比例的正样本图像和负样本图像,生成所述训练样本库。
15.一种电子设备,其特征在于,包括:处理器、存储介质和总线,所述存储介质存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储介质之间通过总线通信,所述处理器执行所述机器可读指令,以执行时执行如权利要求1至7任一所述的方法的步骤。
16.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1至7任一所述的方法的步骤。
CN201910100783.3A 2019-01-31 2019-01-31 标识码识别方法、装置、电子设备及计算机可读存储介质 Active CN111507119B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910100783.3A CN111507119B (zh) 2019-01-31 2019-01-31 标识码识别方法、装置、电子设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910100783.3A CN111507119B (zh) 2019-01-31 2019-01-31 标识码识别方法、装置、电子设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111507119A CN111507119A (zh) 2020-08-07
CN111507119B true CN111507119B (zh) 2024-02-06

Family

ID=71875665

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910100783.3A Active CN111507119B (zh) 2019-01-31 2019-01-31 标识码识别方法、装置、电子设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111507119B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112989863A (zh) * 2021-03-10 2021-06-18 北京骑胜科技有限公司 二维码状态识别方法及装置
CN112989864A (zh) * 2021-03-11 2021-06-18 北京骑胜科技有限公司 图形码损坏的识别方法、设备、存储介质、程序产品
CN116882432B (zh) * 2023-07-11 2024-03-22 深圳市裕源欣电子科技有限公司 多种物料的扫描方法、系统、可读存储介质及计算机设备

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012113192A1 (zh) * 2011-02-23 2012-08-30 深圳市融创天下科技股份有限公司 一种二维码生成和识别的方法、装置、系统和终端设备
CN102693409A (zh) * 2012-05-18 2012-09-26 四川大学 一种快速的图像中二维码码制类型识别方法
CN103294980A (zh) * 2013-06-18 2013-09-11 四川大学 基于图像处理的微型qr码识别方法
CN103559527A (zh) * 2013-11-21 2014-02-05 合一网络技术(北京)有限公司 具有图形特征的二维码生成的方法及系统
WO2014092193A1 (ja) * 2012-12-14 2014-06-19 株式会社コンセプト 画像処理装置、画像処理方法、画像処理プログラム、プログラム及びカメラ付き移動端末装置
CN106897648A (zh) * 2016-07-22 2017-06-27 阿里巴巴集团控股有限公司 识别二维码位置的方法及其系统
CN107545207A (zh) * 2017-09-28 2018-01-05 云南电网有限责任公司电力科学研究院 基于图像处理的dm二维码识别方法及装置
CN109190439A (zh) * 2018-09-21 2019-01-11 南京机灵侠软件技术有限公司 一种分光器端口线及其二维码标签的图像识别方法
CN109190437A (zh) * 2018-08-01 2019-01-11 飞天诚信科技股份有限公司 一种读取二维码的方法及读取装置
CN109241806A (zh) * 2018-08-10 2019-01-18 北京龙贝世纪科技股份有限公司 一种多码同时识别方法及识别系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130084004A1 (en) * 2011-09-30 2013-04-04 Konica Minolta Laboratory U.S.A., Inc. Image processing of data from scanned display

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012113192A1 (zh) * 2011-02-23 2012-08-30 深圳市融创天下科技股份有限公司 一种二维码生成和识别的方法、装置、系统和终端设备
CN102693409A (zh) * 2012-05-18 2012-09-26 四川大学 一种快速的图像中二维码码制类型识别方法
WO2014092193A1 (ja) * 2012-12-14 2014-06-19 株式会社コンセプト 画像処理装置、画像処理方法、画像処理プログラム、プログラム及びカメラ付き移動端末装置
CN103294980A (zh) * 2013-06-18 2013-09-11 四川大学 基于图像处理的微型qr码识别方法
CN103559527A (zh) * 2013-11-21 2014-02-05 合一网络技术(北京)有限公司 具有图形特征的二维码生成的方法及系统
CN106897648A (zh) * 2016-07-22 2017-06-27 阿里巴巴集团控股有限公司 识别二维码位置的方法及其系统
CN107545207A (zh) * 2017-09-28 2018-01-05 云南电网有限责任公司电力科学研究院 基于图像处理的dm二维码识别方法及装置
CN109190437A (zh) * 2018-08-01 2019-01-11 飞天诚信科技股份有限公司 一种读取二维码的方法及读取装置
CN109241806A (zh) * 2018-08-10 2019-01-18 北京龙贝世纪科技股份有限公司 一种多码同时识别方法及识别系统
CN109190439A (zh) * 2018-09-21 2019-01-11 南京机灵侠软件技术有限公司 一种分光器端口线及其二维码标签的图像识别方法

Also Published As

Publication number Publication date
CN111507119A (zh) 2020-08-07

Similar Documents

Publication Publication Date Title
CN101599124B (zh) 一种从视频图像中分割字符的方法和装置
CN111507119B (zh) 标识码识别方法、装置、电子设备及计算机可读存储介质
CN108090511B (zh) 图像分类方法、装置、电子设备及可读存储介质
CN108229418B (zh) 人体关键点检测方法和装置、电子设备、存储介质和程序
CN111461101B (zh) 工服标志的识别方法、装置、设备及存储介质
CN108959998A (zh) 二维码识别方法、装置及系统
AU2019349986A1 (en) Apparatus and method for three-dimensional object recognition
CN110555424A (zh) 港口集装箱布局检测方法、装置、设备及可读存储介质
CN116311214B (zh) 车牌识别方法和装置
CN113515655A (zh) 一种基于图像分类的故障识别方法及装置
CN112396635A (zh) 一种基于多设备的复杂环境下多目标检测方法
CN111767915A (zh) 车牌检测方法、装置、设备及存储介质
CN115937552A (zh) 一种基于融合手工特征与深度特征的图像匹配方法
CN115797336A (zh) 光伏组件的故障检测方法、装置、电子设备和存储介质
CN113887472A (zh) 基于级联颜色及纹理特征注意力的遥感图像云检测方法
CN113989604A (zh) 基于端到端深度学习的轮胎dot信息识别方法
CN112183148A (zh) 一种批量条码定位方法及识别系统
CN116704324A (zh) 基于水下图像的目标检测方法、系统、设备以及存储介质
CN115083006A (zh) 虹膜识别模型训练方法、虹膜识别方法及装置
CN114463734A (zh) 文字识别方法、装置、电子设备及存储介质
CN114241356A (zh) 木板颜色识别方法、装置、电子设备及存储介质
CN114582012A (zh) 一种骨架人体行为识别方法、装置及设备
CN111488752A (zh) 二维码识别方法、装置、电子设备及存储介质
CN116128734B (zh) 一种基于深度学习的图像拼接方法、装置、设备和介质
CN117218162B (zh) 一种基于ai的全景追踪控视系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240407

Address after: Room 2110, No. 79 Wanbo Second Road, Nancun Town, Panyu District, Guangzhou City, Guangdong Province, 510006

Patentee after: Guangzhou Qian Technology Co.,Ltd.

Country or region after: China

Address before: Room 203, 2 / F, building 34, yard 8, Dongbei Wangxi Road, Haidian District, Beijing 100193

Patentee before: Beijing Qisheng Technology Co.,Ltd.

Country or region before: China