CN111582277A - 一种基于迁移学习的车牌识别系统及方法 - Google Patents

Abstract

本发明涉及一种基于迁移学习的车牌识别系统及方法，所述系统包括：车牌采集设备、迁移学习设备、车牌识别设备；所述方法包括：所述车牌采集设备采集车牌图片或视频数据；所述迁移学习设备根据所述输入的车牌图片或视频数据，通过迁移学习生成新的带标注的车牌图片数据；所述车牌识别设备根据所述车牌图片数据，经过数据训练，得到车牌识别模型。本发明提出的一种基于迁移学习的车牌识别系统及方法，利用迁移学习技术自动生成新的车牌训练数据，能有效降低原始输入的车牌数据量，大大降低车牌采集和数据标注的成本。

Description

一种基于迁移学习的车牌识别系统及方法

技术领域

本发明涉及机器视觉应用领域，尤其涉及一种基于迁移学习的车牌识别系统及方法。

背景技术

在人工智能机器视觉领域，关于物体的识别，需要大量的训练数据，关于训练数据的采集和标注，需要花费大量的人力、物力、财力以及时间。

车牌识别作为机器视觉应用领域，一个重要的应用分支，目前已经在公共交通领域、智慧停车领域、疑犯车辆追踪领域得到广泛的应用。

在现有技术下，车牌数据的采集，一般是通过卡口相机采集大量的车牌图片数据，然后对采集的图片数据进行标注。当前车牌图片数据的采集和标注，存在采集数据和标注时间长，需要花费大量人力、物力、财力的问题。

发明内容

鉴于现有技术实现方式的不足，本发明旨在提出一种基于迁移学习的车牌识别系统及方法。本发明提出的一种基于迁移学习的车牌识别系统及方法，利用迁移学习技术自动生成新的车牌训练数据，能有效降低原始输入的车牌数据量，大大降低车牌采集和数据标注的成本。

本发明提出的技术实现方案如下：

一种基于迁移学习的车牌识别系统，其中，所述系统包括：

车牌采集设备，用于采集车牌图片或视频数据。

迁移学习设备，用于根据输入的车牌图片或视频数据，通过迁移学习生成新的带标注的车牌图片数据。

车牌识别设备，用于根据车牌图片数据，经过数据训练，得到车牌识别模型。

所述的一种基于迁移学习的车牌识别系统，其中，所述车牌采集设备，具体包括：

车牌采集模块，用于采集车牌图片或视频数据，实际应用中可以是卡口相机或摄像头。

通信模块，用于将所述车牌采集模块采集的车牌图片或视频数据发送给所述迁移学习设备。

所述的一种基于迁移学习的车牌识别系统，其中，所述迁移学习设备，具体包括：

通信模块，用于接收所述车牌采集设备采集的车牌图片或视频数据，并用于将所述标注了的车牌图片数据发送给所述车牌识别设备。

图片抽取与标注模块，用于对所述车牌视频数据进行车牌图片抽取，并对车牌图片数据进行标注。

迁移学习模块，用于根据获取的标注车牌图片数据，结合各种环境数据，在各种类型、各种颜色的车牌中插入车牌号码数据，生成新的车牌图片数据。

数据清洗模块，用于对所述车牌图片数据进行审查、校验，获取得到有效的车牌图片数据。

自动标注模块，用于对所述清洗后的车牌图片数据进行自动标注，得到标注的车牌图片数据。

所述的一种基于迁移学习的车牌识别系统，其中，所述车牌识别设备，具体包括：

通信模块，用于接收所述标注的车牌图片数据。

车牌检测模块，用于对所述车牌图片数据进行检测。

车牌识别训练模块，用于根据所述标注的车牌图片进行机器学习训练。

车牌识别模型，所述车牌识别训练模块通过机器学习训练得到所述车牌识别模型。

本发明还公开一种基于迁移学习的车牌识别方法，其中，所述方法包括步骤：

车牌采集设备采集车牌图片或视频数据，并发送给迁移学习设备。

所述迁移学习设备根据输入的车牌图片或视频数据，通过迁移学习生成新的带标注的车牌图片数据，并发送给车牌识别设备。

所述车牌识别设备根据车牌图片数据，经过数据训练，得到车牌识别模型。

所述的一种基于迁移学习的车牌识别方法，其中，所述车牌采集设备采集车牌图片或视频数据，并发送给迁移学习设备，具体包括：

所述车牌采集设备的车牌采集模块采集车牌图片或视频数据。

所述车牌采集设备的通信模块给迁移学习设备发送所述采集的车牌图片或视频数据。

所述的一种基于迁移学习的车牌识别方法，其中，所述迁移学习设备根据输入的车牌图片或视频数据，通过迁移学习生成新的带标注的车牌图片数据，并发送给车牌识别设备，具体包括：

所述迁移学习设备的通信模块，接收所述车牌采集设备采集的车牌图片或视频数据，并用于将所述标注了的车牌图片数据发送给所述车牌识别设备。

所述迁移学习设备的图片抽取与标注模块，对所述车牌视频数据进行车牌图片抽取，并对车牌图片数据进行标注。

所述迁移学习设备的迁移学习模块，根据获取的标注车牌图片数据，结合各种环境数据，在各种类型的车牌中插入车牌号码数据，生成新的车牌图片数据。

所述迁移学习设备的数据清洗模块，对所述车牌图片数据进行审查、校验，获取得到有效的车牌图片数据。

所述迁移学习设备的自动标注模块，对所述清洗后的车牌图片数据进行自动标注，得到标注的车牌图片数据。

所述的一种基于迁移学习的车牌识别方法，其中，所述车牌识别设备根据车牌图片数据，经过数据训练，得到车牌识别模型，具体包括：

所述车牌识别设备的通信模块，接收所述标注的车牌图片数据。

所述车牌识别设备的车牌检测模块，对所述车牌图片数据进行检测。

所述车牌识别设备的车牌识别训练模块，根据所述标注的车牌图片进行机器学习训练，从而得到所述车牌识别模型。

本发明提出的一种基于迁移学习的车牌识别系统及方法，利用迁移学习技术自动生成新的车牌训练数据，能有效降低原始输入的车牌数据量，大大降低车牌采集和数据标注的成本。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图是本发明实施例的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的一种基于迁移学习的车牌识别系统的系统架构框图。

图2为本发明的一种基于迁移学习的车牌识别系统的系统架构中车牌采集设备的功能结构框图。

图3为本发明的一种基于迁移学习的车牌识别系统的系统架构中迁移学习设备的功能结构框图。

图4为本发明的一种基于迁移学习的车牌识别系统的系统架构中车牌识别设备的功能结构框图。

图5为本发明的一种基于迁移学习的车牌识别方法的最佳实施例的流程图。

具体实施方式

为使本发明的目的、技术方案及效果更加清楚、明确，以下对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提出一种基于迁移学习的车牌识别系统的系统架构框图，如图1所示。具体包括：

车牌采集设备100，用于采集车牌图片或视频数据；所述车牌采集设备100一般架设在路口；所述车牌采集设备100的架设的位置、方位、角度需要满足交通领域相关技术标准的要求，以便达到最佳车牌数据采集效果；所述车牌采集设备100由于是在户外采集车牌数据，需要满足防水防尘的要求。

迁移学习设备200，用于根据输入的车牌图片或视频数据，通过迁移学习生成新的带标注的车牌图片数据；所述迁移学习是一种机器学习的方法，指的是一个预训练的模型被重新用在另一个任务中；深度学习中的这种迁移被称作归纳迁移；就是通过使用一个适用于不同但是相关的任务的模型，以一种有利的方式缩小可能模型的搜索范围；所述迁移学习设备200从预训练模型输入车牌图片数据中，获取车牌的关键特征，从而生成新的车牌图片数据。

车牌识别设备300，用于根据车牌图片数据，经过数据训练，得到车牌识别模型；所述车牌识别设备300检测车牌图片数据，并利用车牌图片数据和结构化数据进行车牌识别模型的训练，输出高识别度的车牌识别模型。

本发明提出一种基于迁移学习的车牌识别系统的系统架构中车牌采集设备的功能结构框图，如图2所示。具体包括：

车牌采集模块101、通信模块102。

所述车牌采集设备100的车牌采集模块101，用于采集车牌图片或视频数据；所述车牌采集模块101实际应用中可以是卡口相机或摄像头；所述车牌采集模块101根据实际应用需要，可以有不同的规格；所述车牌采集模块101的规格包括但不限于：编码方式、分辨率、焦距等；所述车牌采集模块101采集车牌图片或视频数据，具体要求为：采集不同环境条件下，不同车牌类型、不同车牌颜色、不同类型的车牌号码；所述不同环境条件包括但不限于：白天、黑夜、以及不同的天气环境；所述不同的天气环境包括但不限于：晴、多云、阴、阵雨、雷阵雨、雷阵雨伴有冰雹、雨夹雪、小雨、中雨、大雨、暴雨、阵雪、小雪、中雪、大雪、雾、冰雨、霾；所述车牌类型包括但不限于：92式民用车牌、警用车牌、左右军车牌、02式个性化车牌、黄色双行尾牌、上下军车牌、04式新军车牌、使馆车牌、一行结构的新武警车牌、两行结构的新武警车牌、黄色1225农用车牌、绿色1325农用车牌、黄色1325农用车牌、摩托车车牌、教练车牌、挂车车牌、领馆汽车牌、港澳台车牌、民航车牌；所述不同车牌的颜色包括但不限于：黑、白、蓝、黄、绿；所述不同类型的车牌号码是指：包含不同省份的车牌号码；所述不同类型的车牌号码集合，需要包含全国31个省份，以及26个英文字母，以及阿拉伯数字0-9。

车牌采集设备100的通信模块102，用于将所述车牌采集模块101采集的车牌图片或视频数据发送给所述迁移学习设备；所述通信模块102通过IP网络将所述车牌图片或视频数据发送给所述迁移学习设备；所述发送是基于安防行业通用协议onvif或GB28181协议。

本发明提出一种基于迁移学习的车牌识别系统的系统架构中迁移学习设备的功能结构框图，如图3所示。具体包括：

通信模块201、图片抽取与标注模块202、迁移学习模块203、数据清洗模块204、自动标注模块205。

所述迁移学习设备200的所述通信模块201，用于接收所述车牌采集设备100采集的车牌图片或视频数据；所述车牌图片或视频数据的接收采用的是安防行业通用协议onvif或GB28181协议；所述通信模块201还用于将所述标注了的车牌图片数据发送给所述车牌识别设备。

所述迁移学习设备200的所述图片抽取与标注模块202，用于对所述车牌视频数据进行车牌图片抽取，所述图片抽取是指从视频中抽取图片帧；所述抽取的图片帧需要包含完整的车牌图片数据；所述图片抽取与标注模块202还用于对车牌图片数据进行标注；所述标注是指对车牌图片数据进行标注；所述标注的内容包括但不限于：车牌类型、车牌高度、车牌宽度、车牌颜色、车牌号码、车牌号码高度、车牌号码宽度；所述车牌类型、车牌颜色、车牌号码在所述车牌采集设备100的车牌采集模块101部分已经有详细描述，在此，不再赘述。

所述迁移学习设备200的所述迁移学习模块203，用于根据获取的标注车牌图片数据，结合各种环境数据，在各种类型、各种颜色的车牌中插入车牌号码数据，生成新的车牌图片数据；所述环境数据包括但不限于：白天、黑夜、天气环境；所述天气环境在所述车牌采集设备100的车牌采集模块101部分已经有详细描述，在此，不再赘述；所述车牌类型在所述车牌采集设备100的车牌采集模块101部分已经有详细描述，在此，不再赘述；所述不同车牌颜色包括：黑、白、蓝、黄、绿；所述车牌号码数据是指全国31个省份、26个英文字母、0-9数字，在符合车牌规则的情况下的不同排列组合；所述生成的新的车牌图片数据实际是不同环境数据、不同车牌类型、不同车牌颜色、不同车牌号码的排列组合构建成新的车牌图片数据。

所述迁移学习设备200的所述数据清洗模块204，用于对所述车牌图片数据进行审查、校验，获取得到有效的车牌图片数据。

所述数据清洗模块204用于筛选出重复和/或无效的车牌图片数据，并删除，从而获得有效的车牌图片数据。

所述迁移学习设备200的所述自动标注模块205，用于对所述清洗后的车牌图片数据进行自动标注，得到标注的车牌图片数据；所述自动标注模块205对所述数据清洗模块204清洗得到的所述有效的车牌图片数据进行自动标注；所述自动标注的依据是所述迁移学习模块203的排列组合算法，即所述迁移学习模块203自动生成的不同环境条件、不同车牌类型、不同车牌颜色、不同车牌号码的车牌图片数据，实际对于每个生成的图片数据，环境条件、车牌类型、车牌颜色、车牌号码是确定的结构化信息；所述自动标注模块205根据所述确定的结构化信息进行车牌图片数据的自动标注；所述标注的车牌图片数据包括：车牌图片数据、车牌类型、车牌高度、车牌宽度、车牌颜色、车牌号码、车牌号码高度、车牌号码宽度。

本发明提出一种基于迁移学习的车牌识别系统的系统架构中车牌识别设备的功能结构框图，如图4所示。具体包括：

通信模块301、车牌检测模块302、车牌识别训练模块303、车牌识别模型304。

所述车牌识别设备300的所述通信模块301，用于接收所述迁移学习设备200发送的标注的车牌图片数据；所述标注的车牌图片数据包括：车牌图片数据、车牌类型、车牌高度、车牌宽度、车牌颜色、车牌号码、车牌号码高度、车牌号码宽度；所述车牌类型在所述车牌采集设备100的车牌采集模块101部分已经有详细描述，在此，不在赘述。

所述车牌识别设备300的所述车牌检测模块302，用于对所述车牌图片数据进行检测；所述检测是指检测出车牌图片中所述车牌所在的区域；所述区域用像素点横坐标（X）、纵坐标（Y）、宽度（L）、高度（H）所唯一标识。

所述车牌识别设备300的所述车牌识别训练模块303，用于根据所述标注的车牌图片进行机器学习训练；所述车牌识别训练模块303根据所述标注的车牌图片数据进行机器学习训练；所述机器学习训练的数据输入包括：车牌图片数据、车牌在图片中的区域、车牌类型、车牌高度、车牌宽度、车牌颜色、车牌号码、车牌号码高度、车牌号码宽度。

所述车牌识别设备300的所述车牌识别模型304，是所述车牌识别训练模块通过机器学习训练得到的车牌识别模型304。

本发明提出一种基于迁移学习的车牌识别方法的最佳实施例的流程图，如图5所示。具体步骤包括：

步骤S100：车牌采集设备采集车牌图片或视频数据，并发送给迁移学习设备。

所述车牌采集设备100的车牌采集模块101采集车牌图片或视频数据。

所述车牌采集设备100的通信模块102给迁移学习设备发送所述采集的车牌图片或视频数据。

所述车牌采集模块101和所述通信模块102的具体功能在所述图2所示的一种基于迁移学习的车牌识别系统的系统架构中车牌采集设备的功能结构框图部分已经有详细描述，在此，不再赘述。

步骤S200：所述迁移学习设备根据输入的车牌图片或视频数据，通过迁移学习生成新的带标注的车牌图片数据，并发送给车牌识别设备。

所述迁移学习设备200的通信模块201，接收所述车牌采集设备采集的车牌图片或视频数据，并用于将所述标注了的车牌图片数据发送给所述车牌识别设备300。

所述迁移学习设备200的图片抽取与标注模块202，对所述车牌视频数据进行车牌图片抽取，并对车牌图片数据进行标注；所述标注的内容包括但不限于：车牌类型、车牌高度、车牌宽度、车牌颜色、车牌号码、车牌号码高度、车牌号码宽度。

所述迁移学习设备200的迁移学习模块203，根据获取的标注车牌图片数据，结合各种环境数据，在各种类型的车牌中插入车牌号码数据，生成新的车牌图片数据。

所述迁移学习设备200的数据清洗模块204，对所述车牌图片数据进行审查、校验，获取得到有效的车牌图片数据。

所述迁移学习设备200的自动标注模块205，对所述清洗后的车牌图片数据进行自动标注，得到标注的车牌图片数据。

所述通信模块201、图片抽取与标注模块202、迁移学习模块203、数据清洗模块204、自动标注模块205在图3所示的一种基于迁移学习的车牌识别系统的系统架构中迁移学习设备的功能结构框图中已经有详细描述，在此，不再赘述。

步骤S300：所述车牌识别设备根据车牌图片数据，经过数据训练，得到车牌识别模型。

所述车牌识别设备300的通信模块301，接收所述标注的车牌图片数据。

所述车牌识别设备300的车牌检测模块302，对所述车牌图片数据进行检测。

所述车牌识别设备300的车牌识别训练模块303，根据所述标注的车牌图片进行机器学习训练，从而得到所述车牌识别模型304。

所述通信模块301、车牌检测模块302、车牌识别训练模块303、车牌识别模型304在图4所示的一种基于迁移学习的车牌识别系统的系统架构中车牌识别设备的功能结构框图中已经有详细描述，在此，不再赘述。

本发明提出的一种基于迁移学习的车牌识别系统及方法，利用迁移学习技术自动生成新的车牌训练数据，能有效降低原始输入的车牌数据量，大大降低车牌采集和数据标注的成本。

应当理解的是，本发明的应用不限于上述的实施例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (8)

1.一种基于迁移学习的车牌识别系统，其特征在于，系统包括：

车牌采集设备，用于采集车牌图片或视频数据；

迁移学习设备，用于根据输入的车牌图片或视频数据，通过迁移学习生成新的带标注的车牌图片数据；

车牌识别设备，用于根据车牌图片数据，经过数据训练，得到车牌识别模型。

2.如权利要求1所述的一种基于迁移学习的车牌识别系统，其特征在于，所述车牌采集设备，具体包括：

车牌采集模块，用于采集车牌图片或视频数据，实际应用中可以是卡口相机或摄像头；

通信模块，用于将所述车牌采集模块采集的车牌图片或视频数据发送给所述迁移学习设备。

3.如权利要求1所述的一种基于迁移学习的车牌识别系统，其特征在于，所述迁移学习设备，具体包括：

通信模块，用于接收所述车牌采集设备采集的车牌图片或视频数据，并用于将所述标注了的车牌图片数据发送给所述车牌识别设备；

图片抽取与标注模块，用于对所述车牌视频数据进行车牌图片抽取，并对车牌图片数据进行标注；

迁移学习模块，用于根据获取的标注车牌图片数据，结合各种环境数据，在各种类型的车牌中插入车牌号码数据，生成新的车牌图片数据；

数据清洗模块，用于对所述车牌图片数据进行审查、校验，获取得到有效的车牌图片数据；

自动标注模块，用于对所述清洗后的车牌图片数据进行自动标注，得到标注的车牌图片数据。

4.如权利要求1所述的一种基于迁移学习的车牌识别系统，其特征在于，所述车牌识别设备，具体包括：

通信模块，用于接收所述标注的车牌图片数据；

车牌检测模块，用于对所述车牌图片数据进行检测；

车牌识别训练模块，用于根据所述标注的车牌图片进行机器学习训练；

车牌识别模型，所述车牌识别训练模块通过机器学习训练得到所述车牌识别模型。

5.一种基于迁移学习的车牌识别方法，其特征在于，所述方法包括步骤：

车牌采集设备采集车牌图片或视频数据，并发送给迁移学习设备；

所述迁移学习设备根据输入的车牌图片或视频数据，通过迁移学习生成新的带标注的车牌图片数据，并发送给车牌识别设备；

所述车牌识别设备根据车牌图片数据，经过数据训练，得到车牌识别模型。

6.如权利要求5所述的一种基于迁移学习的车牌识别方法，其特征在于，所述车牌采集设备采集车牌图片或视频数据，并发送给迁移学习设备，具体包括：

所述车牌采集设备的车牌采集模块采集车牌图片或视频数据；

所述车牌采集设备的通信模块给迁移学习设备发送所述采集的车牌图片或视频数据。

7.如权利要求5所述的一种基于迁移学习的车牌识别方法，其特征在于，所述迁移学习设备根据输入的车牌图片或视频数据，通过迁移学习生成新的带标注的车牌图片数据，并发送给车牌识别设备，具体包括：

所述迁移学习设备的通信模块，接收所述车牌采集设备采集的车牌图片或视频数据，并用于将所述标注了的车牌图片数据发送给所述车牌识别设备；

所述迁移学习设备的图片抽取与标注模块，对所述车牌视频数据进行车牌图片抽取，并对车牌图片数据进行标注；

所述迁移学习设备的迁移学习模块，根据获取的标注车牌图片数据，结合各种环境数据，在各种类型、各种颜色的车牌中插入车牌号码数据，生成新的车牌图片数据；

所述迁移学习设备的数据清洗模块，对所述车牌图片数据进行审查、校验，获取得到有效的车牌图片数据；

所述迁移学习设备的自动标注模块，对所述清洗后的车牌图片数据进行自动标注，得到标注的车牌图片数据。

8.如权利要求5所述的一种基于迁移学习的车牌识别方法，其特征在于，所述车牌识别设备根据车牌图片数据，经过数据训练，得到车牌识别模型，具体包括：

所述车牌识别设备的通信模块，接收所述标注的车牌图片数据；

所述车牌识别设备的车牌检测模块，对所述车牌图片数据进行检测；

所述车牌识别设备的车牌识别训练模块，根据所述标注的车牌图片进行机器学习训练，从而得到所述车牌识别模型。

Images