CN112418097A - 基于深度学习目标检测的地铁车号识别方法 - Google Patents
基于深度学习目标检测的地铁车号识别方法 Download PDFInfo
- Publication number
- CN112418097A CN112418097A CN202011328377.1A CN202011328377A CN112418097A CN 112418097 A CN112418097 A CN 112418097A CN 202011328377 A CN202011328377 A CN 202011328377A CN 112418097 A CN112418097 A CN 112418097A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- logo
- deep learning
- target detection
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/148—Segmentation of character regions
- G06V30/153—Segmentation of character regions using recognition of characters or words
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于深度学习目标检测的地铁车号识别方法，在地铁车辆经过时获得车头图像信息，基于深度学习目标检测技术识别出车头正面的LOGO；根据车头正面LOGO与车号之间的相对位置关系和大小比例关系，基于机械视觉技术计算出车号在图像上的位置和大小，找到车号位置，图像裁减后使用OCR算法进行文本识别，得到车号数据；将车号数据发送给上级服务器。本发明在策略上的核心创新之处在于，不直接识别车号，而是先识别出LOGO，根据LOGO与车号之间的位置关系，通过LOGO找到车号，然后识别车号；LOGO是固定不变的目标，相比车号的识别准确度会更高，深度学习时所需要的样本更少，训练速度更快。
Description
技术领域
本发明涉及地铁检修维护技术领域，具体涉及一种基于深度学习目标检测的地铁车号识别方法。
背景技术
地铁检修维护单位的很多系统需要实时知道到来的车辆车号信息，以便开展工作并记录数据，如自动洗车机、轮对探伤系统、受电弓在线检测系统等，这些系统的等级往往达不到直接接入车辆运行管理信号系统的要求，因此需要从信号系统以外准确快速的获取车辆车号信息。
如果不对地铁车辆进行安装RFID标签等改造（通常不允许），就需要使用视觉技术识别车号。目前的方式大都是深度学习的方式直接找到图像上的车号，然后再使用OCR技术识别车号，车号是变化的图像信息，深度学习训练速度慢，识别精确度有待提高。
发明内容
本发明的目的是提供一种基于深度学习目标检测的地铁车号识别方法，融合了深度学习的目标检测技术、机械视觉技术和OCR技术，准确快速的获取车辆车号信息。
本发明所采用的技术方案为：
基于深度学习目标检测的地铁车号识别方法，其特征在于：
所述方法包括以下步骤：
步骤一：在地铁车辆经过时获得车头图像信息，基于深度学习目标检测技术识别出车头正面的LOGO；
步骤二：根据车头正面LOGO与车号之间的相对位置关系和大小比例关系，基于机械视觉技术计算出车号在图像上的位置和大小，找到车号位置，图像裁减后使用OCR算法进行文本识别，得到车号数据；
步骤三：将车号数据发送给上级服务器。
步骤一中，车头图像信息的获得过程为：
在检测地铁车辆车号的位置安装一个摄像头，使其能够在车辆经过时在同一画面拍摄到车头正面的LOGO和车号；
在摄像头前方部署一台边缘计算机和一个光电反射车感器，摄像头使用USB数据线连接到边缘计算机，地铁车辆经过时触发车感器，边缘计算机通过车感器检测到车辆到来，触发摄像头录制短视频。
步骤一中，识别车头正面LOGO的过程为：
边缘计算机内置检测程序，使用深度学习目标检测技术逐帧检测视频是否拍到车头的LOGO，如果没有检测到则判定为车感器误触发，如果检测到LOGO，通过检测程序得到LOGO在图像上的位置和像素尺寸大小。
步骤二中，裁减车号位置的图像后，通过透视变换矫正图像，消除图像变形影响。
步骤三中，边缘计算机将车号数据发送给上级服务器，同时，将该处边缘计算机的编号和车辆通过时间也发送给上级服务器。
车辆通过时间为车感器被触发的时间。
本发明具有以下优点：
本发明通过车感器感知车辆到来，控制摄像头录像，并利用深度学习目标检测技术、机械视觉技术和OCR识别技术识别出车辆车号，通过网络将自身编号、车辆通过时间、车辆车号等信息发送给上级服务器。
本发明在策略上的核心创新之处在于，不直接识别车号，而是先识别出LOGO，根据LOGO与车号之间的位置关系，通过LOGO找到车号，然后识别车号。LOGO是固定不变的目标，相比车号的识别准确度会更高，深度学习时所需要的样本更少，训练速度更快。
附图说明
图1为本发明硬件布置示意图。
图2为车头的车号和LOGO布置图。
具体实施方式
下面结合具体实施方式对本发明进行详细的说明。
如图2所示，地铁车辆的车头部分标识了车号，同时也一定有一个特定的LOGO，不同的车辆的车号会不同，但LOGO一般是相同的，LOGO是固定不变的目标。
本发明涉及一种基于深度学习目标检测（Object Detection）的地铁车号识别方法，先识别出LOGO，根据LOGO与车号之间的位置关系，通过LOGO找到车号，然后识别车号，发送给上级服务器。过程的融合了深度学习目标检测技术、机械视觉技术和OCR技术（例如TESSERACT）。
深度学习（deep learning）是机器学习的分支，是一种以人工神经网络为架构，对资料进行表征学习的算法。深度学习是机器学习中一种基于对数据进行表征学习的算法。观测值（例如一幅图像）可以使用多种方式来表示，如每个像素强度值的向量，或者更抽象地表示成一系列边、特定形状的区域等。而使用某些特定的表示方法更容易从实例中学习任务（例如，人脸识别或面部表情识别）。深度学习的好处是用非监督式或半监督式的特征学习和分层特征提取高效算法来替代手工获取特征。本发明可使用的深度学习技术框架为darknet，是一种现有深度学习框架。目标检测（Object detection）是计算机视觉及影像处理中的术语，指的是让计算机去分析一张图片或者一段视频流中的物体，并标记出来。本发明可使用的目标检测算法是YOLO，为一种现有算法。
机器视觉（Machine Vision、MV）是配备有感测视觉仪器（如自动对焦相机或传感器）的检测机器，其中光学检测仪器占有比重非常高，可用于检测出各种产品的缺陷，或者用与判断并选择出物体，或者用来测量尺寸等，应用在自动化生产在线对物料进行校准与定位。是计算机视觉中最具有产业化的部分，主要大量应用于工厂自动化检测及机器人产业等。简单地说如果图像没有畸变，图像就是真实世界的投影，一个像素就对应现实世界的一个尺寸粒度，举个简化的例子，将一个米尺垂直立在板凳边上拍照片，图像米尺在1米刻度在图像上占了1000个像素长度，那么我们就知道1个像素在这个平面上表示1毫米，板凳高度占了560个像素，那么板凳的高度就是560毫米。
光学字符识别（Optical Character Recognition，OCR）是指对文本资料的图像文件进行分析识别处理，获取文字及版面信息的过程，本发明使用的是开源算法tesseract，为一种现有算法。
本发明基于上述几种成熟技术提出了以下方法，具体包括以下步骤：
步骤一：在地铁车辆经过时获得车头图像信息，基于深度学习目标检测技术识别出车头正面的LOGO。
所述车头图像信息的获得过程为：在检测地铁车辆车号的位置安装一个摄像头，使其能够在车辆经过时在同一画面拍摄到车头正面的LOGO和车号；在摄像头前方部署一台边缘计算机和一个光电反射车感器，摄像头使用USB数据线连接到边缘计算机，地铁车辆经过时触发车感器，边缘计算机通过车感器检测到车辆到来，触发摄像头录制短视频。
所述识别车头正面LOGO的过程为：边缘计算机内置检测程序，使用深度学习目标检测技术逐帧检测视频是否拍到车头的LOGO，如果没有检测到则判定为车感器误触发，如果检测到LOGO，通过检测程序得到LOGO在图像上的位置和像素尺寸大小。
步骤二：根据车头正面LOGO与车号之间的相对位置关系和大小比例关系（提前输入到检测程序中），基于机械视觉技术计算出车号在图像上的位置和大小，找到车号位置，图像裁减后使用OCR算法进行文本识别，得到车号数据。裁减车号位置的图像后，可通过透视变换矫正图像，消除图像变形影响。由于摄像头通常不可能安装在车头正前方，车号图像会有变形，矫正后能提高识别准确率。
透视变换(Perspective Transformation)是指利用透视中心、像点、目标点三点共线的条件，按透视旋转定律使承影面(透视面)绕迹线(透视轴)旋转某一角度，破坏原有的投影光线束，仍能保持承影面上投影几何图形不变的变换。简而言之，就是将一个平面通过一个投影矩阵投影到指定平面上。
步骤三：边缘计算机按照上级服务器的通讯协议要求将车号数据通过网络发送给上级服务器，同时，将该处边缘计算机的编号和车辆通过时间也发送给上级服务器。车辆通过时间为车感器被触发的时间。
本发明涉及的硬件部署包括边缘计算机、车感器、摄像头和上级服务器。边缘计算机通过车感器感知车辆到来，控制摄像头录像，并利用深度学习目标检测技术识别出图像上LOGO标识的位置和大小，然后基于机械视觉算法通过LOGO标识的位置和大小得到车号位置的图像，经矫正处理后用OCR技术识别出车辆车号，最后按照通讯协议要求将自身编号、车辆通过时间、车辆车号等信息发送给上级服务器。
本发明的内容不限于实施例所列举，本领域普通技术人员通过阅读本发明说明书而对本发明技术方案采取的任何等效的变换，均为本发明的权利要求所涵盖。
Claims (6)
1.基于深度学习目标检测的地铁车号识别方法，其特征在于：
所述方法包括以下步骤：
步骤一：在地铁车辆经过时获得车头图像信息，基于深度学习目标检测技术识别出车头正面的LOGO；
步骤二：根据车头正面LOGO与车号之间的相对位置关系和大小比例关系，基于机械视觉技术计算出车号在图像上的位置和大小，找到车号位置，图像裁减后使用OCR算法进行文本识别，得到车号数据；
步骤三：将车号数据发送给上级服务器。
2.根据权利要求1所述的基于深度学习目标检测的地铁车号识别方法，其特征在于：
步骤一中，车头图像信息的获得过程为：
在检测地铁车辆车号的位置安装一个摄像头，使其能够在车辆经过时在同一画面拍摄到车头正面的LOGO和车号；
在摄像头前方部署一台边缘计算机和一个光电反射车感器，摄像头使用USB数据线连接到边缘计算机，地铁车辆经过时触发车感器，边缘计算机通过车感器检测到车辆到来，触发摄像头录制短视频。
3.根据权利要求2所述的基于深度学习目标检测的地铁车号识别方法，其特征在于：
步骤一中，识别车头正面LOGO的过程为：
边缘计算机内置检测程序，使用深度学习目标检测技术逐帧检测视频是否拍到车头的LOGO，如果没有检测到则判定为车感器误触发，如果检测到LOGO，通过检测程序得到LOGO在图像上的位置和像素尺寸大小。
4.根据权利要求3所述的基于深度学习目标检测的地铁车号识别方法，其特征在于：
步骤二中，裁减车号位置的图像后，通过透视变换矫正图像，消除图像变形影响。
5.根据权利要求4所述的基于深度学习目标检测的地铁车号识别方法，其特征在于：
步骤三中，边缘计算机将车号数据发送给上级服务器，同时，将该处边缘计算机的编号和车辆通过时间也发送给上级服务器。
6.根据权利要求5所述的基于深度学习目标检测的地铁车号识别方法，其特征在于：
车辆通过时间为车感器被触发的时间。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011328377.1A CN112418097A (zh) | 2020-11-24 | 2020-11-24 | 基于深度学习目标检测的地铁车号识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011328377.1A CN112418097A (zh) | 2020-11-24 | 2020-11-24 | 基于深度学习目标检测的地铁车号识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112418097A true CN112418097A (zh) | 2021-02-26 |
Family
ID=74777511
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011328377.1A Pending CN112418097A (zh) | 2020-11-24 | 2020-11-24 | 基于深度学习目标检测的地铁车号识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112418097A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1928892A (zh) * | 2006-09-20 | 2007-03-14 | 王枚 | 一种车牌定位识别、车标定位识别及车型识别的方法及装置 |
| CN105160330A (zh) * | 2015-09-17 | 2015-12-16 | 中国地质大学（武汉） | 一种车标识别方法及车标识别系统 |
| CN107123270A (zh) * | 2017-04-25 | 2017-09-01 | 南京云计趟信息技术有限公司 | 一种针对渣土车的工地智能管控系统 |
| CN110472633A (zh) * | 2019-08-15 | 2019-11-19 | 南京拓控信息科技股份有限公司 | 一种基于深度学习的列车车号检测和识别方法 |
| CN111539421A (zh) * | 2020-04-03 | 2020-08-14 | 哈尔滨市科佳通用机电股份有限公司 | 基于深度学习的铁路机车车号的识别方法 |
-
2020
- 2020-11-24 CN CN202011328377.1A patent/CN112418097A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1928892A (zh) * | 2006-09-20 | 2007-03-14 | 王枚 | 一种车牌定位识别、车标定位识别及车型识别的方法及装置 |
| CN105160330A (zh) * | 2015-09-17 | 2015-12-16 | 中国地质大学（武汉） | 一种车标识别方法及车标识别系统 |
| CN107123270A (zh) * | 2017-04-25 | 2017-09-01 | 南京云计趟信息技术有限公司 | 一种针对渣土车的工地智能管控系统 |
| CN110472633A (zh) * | 2019-08-15 | 2019-11-19 | 南京拓控信息科技股份有限公司 | 一种基于深度学习的列车车号检测和识别方法 |
| CN111539421A (zh) * | 2020-04-03 | 2020-08-14 | 哈尔滨市科佳通用机电股份有限公司 | 基于深度学习的铁路机车车号的识别方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107743577B (zh) | 用于检测电动铁道车辆的振动信息的方法和装置 | |
| CN111080611A (zh) | 一种铁路货车摇枕弹簧折断故障图像识别方法 | |
| CN113221889B (zh) | 一种芯片字符抗干扰识别方法及装置 | |
| KR20210157000A (ko) | 차량 하부 검사 시스템 및 그 방법 | |
| CN111368682B (zh) | 一种基于faster RCNN台标检测与识别的方法及系统 | |
| CN113436157B (zh) | 一种用于受电弓故障的车载图像识别方法 | |
| CN112270310A (zh) | 一种基于深度学习的跨摄像头行人多目标跟踪方法和装置 | |
| CN110135327B (zh) | 一种基于多区域特征学习模型的驾驶员行为识别方法 | |
| JP2021527256A (ja) | ビジョンシステムで画像内のパターンを検出及び分類するためのシステム及び方法 | |
| CN108009574A (zh) | 一种轨道扣件检测方法 | |
| KR20210122429A (ko) | 영상 딥러닝을 이용한 ai 기반 화장품 용기 인쇄 제조 공정에서의 자동 결함 탐지 방법 및 시스템 | |
| CN103258218A (zh) | 蒙版检测框架生成方法、装置、缺陷检测方法及装置 | |
| CN110817674B (zh) | 一种扶梯的缺级检测方法、装置、设备及存储介质 | |
| CN112418097A (zh) | 基于深度学习目标检测的地铁车号识别方法 | |
| Kurnianggoro et al. | Camera and laser range finder fusion for real-time car detection | |
| CN114662594B (zh) | 一种目标特征识别分析系统 | |
| US20230342937A1 (en) | Vehicle image analysis | |
| KR20230101531A (ko) | 3d 레이저 프로파일러를 이용한 타이어 양각 문자 인식 방법 | |
| Wang et al. | The two-step method of pavement pothole and raveling detection and segmentation based on deep learning | |
| Chiu et al. | Effective image models for inspecting profile flaws of car mirrors with applications | |
| CN117474924B (zh) | 基于机器视觉的标签缺陷检测方法 | |
| CN117282687B (zh) | 印刷品视觉检测自动剔补标控制系统 | |
| CN112150453B (zh) | 一种铁路货车摇枕弹簧折断故障自动检测方法 | |
| CN117274209A (zh) | 瓶身缺陷检测方法、系统、介质及电子设备 | |
| Montreuil et al. | Automatic extraction of information for catenary scene analysis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |