CN109993163A - 一种基于人工智能的非标铭牌识别系统及其识别方法 - Google Patents

Abstract

本发明公开了一种基于人工智能的非标铭牌识别系统及其识别方法，该识别系统包括图像采集模块和字符识别模块；所述图像采集模块，包括架设在航道两旁的多个网络摄像机，实时监控整条航道各方位的船舶信息，同时从多角度采集船舶与非标铭牌照片并制作样本图片；所述字符识别模块，通过基于深度学习的目标检测算法，将采集到的样本图片制作大样本数据集，并放入网络进行大样本训练，实现船舶铭牌字符的识别；本发明的优点在于，能够对来往船舶的铭牌进行实时获取与识别，从而在发生船舶超载、航线偏移等情况时能够及时、准确的对船舶进行预警与管理，同时该识别系统及其识别方法还适用于其他非标铭牌应用场景。

Description

一种基于人工智能的非标铭牌识别系统及其识别方法

技术领域

本发明属于人工智能与计算机视觉技术领域，具体涉及一种基于人工智能的非标铭牌识别系统及其识别方法。

背景技术

自古以来，水路航运就是人类社会中最重要的运输方式之一，在推动经济全球化的过程中起到了至关重要的作用。然而，随着船舶数量的不断上升，水路航道也变得越来越拥挤，超载运输、违法逃逸等一系列事件也在威胁着人类的生命和财产安全。因此，国家通过对船名标识的登记管理实现大批量管理船舶的目的。当前人类所处智能时代，人工智能和计算机视觉领域的相关技术不断在各大行业上应用，在陆路交通运输方面，车牌识别技术已被广泛应用。然而，当前智能交通的相关技术大都集中在陆路交通当中，却忽略了水陆交通这一重要的交通运输方式。因此，将人工智能与计算机视觉等技术应用于航行船舶显得格外具有应用价值,同时该方法还可以适用于其他非标铭牌的识别场景。

在金雪丹《计算机视觉在实时船舶识别方法的研究与应用》一文中，作者通过计算机视觉、神经网络技术以及图像处理技术，提出了一种识别船舶类型的方法。在船舶识别任务中，分析并讨论了神经网络给出的识别率和结论，在计算机仿真的基础上，验证基于神经网络的船舶类型识别。作者将计算机视觉技术引入到了船舶交通管理的技术中，用以实现岸台检测识别目标船只的功能，同时系统的运用了图像处理技术、神经网络技术等相关技术，进行船舶的分类和船舶类型的识别。

为了克服现有船舶铭牌通过监控摄像机无法捕获船名号信息、在恶劣天气情况下更加难以识别的问题，在专利《LED船名标志牌及其智能识别方法》中，提出了一种能够主动发光，同时能够通过太阳能充电板进行供电的的船舶铭牌，具体包括棱柱形的灯箱，在灯箱的四面形成船舶船名，船名通过反光透光膜构成，通过背光LED进行照射。专利《一种设有RFID的船名标志牌》中，提出了一种设有RFID的船舶铭牌，通过电子标签中包含的能量状态特征码和无线通信模块进行识别。

由于字符复杂，在不同的船舶上可能会出现字体颜色、大小、角度等方面各不相同的情况，所处的位置也并不固定。同时，由于船舶年久老化、障碍物遮挡等缘故，想要直接从船舶上分离出完整的字符并不现实。种种原因使得船舶铭牌为非标铭牌，与车牌大不相同，因此目前成熟的车牌识别技术难以运用在船舶上。

另一方面，基于船名标志牌创新的方式难以投入到大量运用上去，并不能够实现足够全面的船名识别，可能会出现遗漏的船舶。同时，该系统存在一定的安装成本，随着测量精度的上升，成本也会上升许多。

发明内容

本发明目的是：提供一种基于人工智能的非标铭牌识别系统及其识别方法,能够对来往船舶的铭牌进行实时获取与识别，从而在发生船舶超载、航线偏移等情况时能够及时、准确的对船舶进行预警与管理，同时该识别系统及其识别方法还适用于其他非标铭牌应用场景。

本发明的技术方案是：一种基于人工智能的非标铭牌识别系统，包括图像采集模块和字符识别模块；

所述图像采集模块，包括架设在航道两旁的多个网络摄像机，实时监控整条航道各方位的船舶信息，同时从多角度采集船舶与非标铭牌照片并制作样本图片；

所述字符识别模块，通过基于深度学习的目标检测算法，将采集到的样本图片制作大样本数据集，并放入网络进行大样本训练，实现船舶铭牌字符的识别。

作为优选的技术方案，还包括船名填充模块，针对老化船舶船牌字符出现缺失或字符被物体遮挡情况，建立船名数据库，设置判断因子α，通过设置判断因子α的不同大小从船名数据库中补全船名。

作为优选的技术方案，所述字符识别模块选用YOLO目标检测算法进行非标铭牌的识别。

一种如上所述的基于人工智能的非标铭牌识别系统的识别方法，包括如下步骤：

步骤1：在所需检测的航道两旁安装不同角度、不同焦距的网络摄像机，对整条航道各方位的船舶进行实时监控，同时采集航道中船舶及非标铭牌样本；

步骤2：采用基于深度学习的YOLO目标检测算法，将采集到的样本图片制作大样本数据集，并放入网络进行大样本训练，训练完成的网络通过三次输入实现船舶铭牌字符的识别。

作为优选的技术方案，还包括步骤3：

针对老化船舶船牌字符出现缺失或字符被物体遮挡情况，统计航道上的往来船舶名称及其出现次数并建立船名数据库，建立判断因子α，通过设置判断因子α的不同大小从船名数据库选取最为可能的名称组合，实现不完整船牌的填充。

作为优选的技术方案，步骤2中三次输入实现船舶铭牌字符的识别分别包括如下步骤：

第一次输入：通过航道图片，对船舶进行识别与定位，给出船舶所处位置信息；

第二次输入：通过识别到的矩形边框坐标截取航道图片中的单只船舶图像，将提取到的单只船舶图片裁剪为船头、船中、船尾三块，分别再进行尺寸变换输入网络中，检测与定位图像中的船牌位置；

第三次输入：再提取定位到的船牌坐标截取船牌图片，将船牌图片输入到网络中完成单个字符的识别，单个字符识别完成之后，按照矩形框中心的坐标，从左至右的顺序排列得到完整的船舶船牌名称。

本发明的优点是：

1.本发明基于人工智能的非标铭牌识别系统及其识别方法,多个网络摄像机从多角度进行航道实时监测，获取航道各方位的船舶信息，同时识别往来船舶的非标铭牌，对不完整铭牌进行名称部分的填充，使得所监控的航道，能够自主监测、实时检测往来船舶的船名，使得发生水路交通事故等不安全问题时能够及时进行处理，提高了水路工作的安全系数，且具有较低的建造成本，使得航道在无人监管的情况下能够保持稳定、有序。

附图说明

下面结合附图及实施例对本发明作进一步描述：

图1为基于人工智能的非标铭牌识别系统的识别方法流程图。

具体实施方式

实施例：一种基于人工智能的非标铭牌识别系统，包括图像采集模块、字符识别模块和船名填充模块。

所述图像采集模块，包括架设在航道两旁的多个网络摄像机，实时监控整条航道各方位的船舶信息，同时从多角度采集船舶与非标铭牌照片并制作样本图片，网络摄像机包括1号网络摄像机、2号网络摄像机、3号网络摄像机和4号网络摄像机，其中1号网络摄像机、2号网络摄像机与4号网络摄像机为小焦距摄像头，三个网络摄像机的摄像头通过向左、正向以及向右架设，能够较为全面的获取整个航道上船舶信息，同时对航道上来往船舶进行实时监控，采集大量船舶样本；3号网络摄像机为大焦距摄像头，为的是清晰获取船舶铭牌信息，并采集大量船舶非标铭牌样本；

所述字符识别模块，通过基于深度学习的目标检测算法，将采集到的样本图片制作大样本数据集，并放入网络进行大样本训练，实现船舶铭牌字符的识别；一方面，基于深度学习的目标检测算法具有较强的拟合能力，能够在较为复杂的字符特征上进行建模与识别。另一方面，设计合理的网络能够做到对长度不固定的字符串进行识别。目前的目标检测算法大致分为两类，一类是基于区域提名的目标检测，例如R-CNN，Faster R-CNN等，另一类是端到端的目标检测算法，例如YOLO、SSD等。相对于基于区域提名的目标检测算法来说，端到端的算法能够实现实时性和准确性共存的要求，因此选用YOLO目标检测算法进行非标铭牌的识别。YOLO的全称是You Only Look Once，进一步将目标判定和目标识别两大任务合二为一，所以识别性能有了很大提升，达到每秒45帧。YOLO之前的目标体检测算法基于候选区域生成大量包含带检测物体的可能边框，之后通过分类器去判断边框中是否含有物体，物体所属的类别的所属类别的置信度。YOLO将物体检测的任务作为回归问题解决，通过一个神经网络，直接从一整张图像预测信息，流程简单，实现了大速率的物体识别与定位。

所述船名填充模块，针对老化船舶船牌字符出现缺失或字符被物体遮挡情况，建立船名数据库，设置判断因子α，通过设置判断因子α的不同大小从船名数据库中补全船名，在建立的船名数据库中搜索所有可能组合，通过不同组合出现的次数多少来定义判断因子α的大小，选取判断因子α最大的一组船名实现对遮挡名称、文字掉落等铭牌中文部分的填充。

参照图1所示，一种如上所述的基于人工智能的非标铭牌识别系统的识别方法，包括如下步骤：

步骤1：在所需检测的航道两旁安装不同角度、不同焦距的网络摄像机，对整条航道各方位的船舶进行实时监控，同时采集航道中船舶及非标铭牌样本，并采用图像处理算法对图像的灰度化、二值化进行处理；

步骤2：采用基于深度学习的YOLO目标检测算法，将采集到的样本图片制作大样本数据集，并放入(YOLO)网络进行大样本训练，训练完成的网络通过三次输入实现船舶铭牌字符的识别；其中三次输入实现船舶铭牌字符的识别分别包括如下步骤：

第一次输入：通过航道图片，对船舶进行识别与定位，给出船舶所处位置信息；

第二次输入：通过识别到的矩形边框坐标截取航道图片中的单只船舶图像，由于船舶图像为长方形，网络的输入是正方形，如果直接对图片进行尺寸变换会压缩图片上的船舶铭牌信息，因此将提取到的单只船舶图片裁剪为船头、船中、船尾三块，分别再进行尺寸变换输入网络中，检测与定位图像中的船牌位置；

第三次输入：再提取定位到的船牌坐标截取船牌图片，将船牌图片输入到网络中完成单个字符的识别，单个字符识别完成之后，按照矩形框中心的坐标，从左至右的顺序排列得到完整的船舶船牌名称；

步骤3：针对老化船舶船牌字符出现缺失或字符被物体遮挡情况，统计航道上的往来船舶名称及其出现次数并建立船名数据库，建立判断因子α，通过设置判断因子α的不同大小从船名数据库选取最为可能的名称组合，实现不完整船牌的填充。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (6)

1.一种基于人工智能的非标铭牌识别系统，其特征在于，包括图像采集模块和字符识别模块；

所述图像采集模块，包括架设在航道两旁的多个网络摄像机，实时监控整条航道各方位的船舶信息，同时从多角度采集船舶与非标铭牌照片并制作样本图片；

所述字符识别模块，通过基于深度学习的目标检测算法，将采集到的样本图片制作大样本数据集，并放入网络进行大样本训练，实现船舶铭牌字符的识别。

2.根据权利要求1所述的基于人工智能的非标铭牌识别系统，其特征在于，

还包括船名填充模块，针对老化船舶船牌字符出现缺失或字符被物体遮挡情况，建立船名数据库，设置判断因子α，通过设置判断因子α的不同大小从船名数据库中补全船名。

3.根据权利要求1所述的基于人工智能的非标铭牌识别系统，其特征在于，所述字符识别模块选用YOLO目标检测算法进行非标铭牌的识别。

4.一种如权利要求1至3任一项所述的基于人工智能的非标铭牌识别系统的识别方法，其特征在于，包括如下步骤：

步骤1：在所需检测的航道两旁安装不同角度、不同焦距的网络摄像机，对整条航道各方位的船舶进行实时监控，同时采集航道中船舶及非标铭牌样本；

步骤2：采用基于深度学习的YOLO目标检测算法，将采集到的样本图片制作大样本数据集，并放入网络进行大样本训练，训练完成的网络通过三次输入实现船舶铭牌字符的识别。

5.根据权利要求4所述的基于人工智能的非标铭牌识别系统的识别方法，其特征在于，还包括步骤3：

针对老化船舶船牌字符出现缺失或字符被物体遮挡情况，统计航道上的往来船舶名称及其出现次数并建立船名数据库，建立判断因子α，通过设置判断因子α的不同大小从船名数据库选取最为可能的名称组合，实现不完整船牌的填充。

6.根据权利要求4所述的基于人工智能的非标铭牌识别系统的识别方法，其特征在于，步骤2中三次输入实现船舶铭牌字符的识别分别包括如下步骤：

第一次输入：通过航道图片，对船舶进行识别与定位，给出船舶所处位置信息；

第二次输入：通过识别到的矩形边框坐标截取航道图片中的单只船舶图像，将提取到的单只船舶图片裁剪为船头、船中、船尾三块，分别再进行尺寸变换输入网络中，检测与定位图像中的船牌位置；

第三次输入：再提取定位到的船牌坐标截取船牌图片，将船牌图片输入到网络中完成单个字符的识别，单个字符识别完成之后，按照矩形框中心的坐标，从左至右的顺序排列得到完整的船舶船牌名称。