CN112307842A - 用于列车运行监控记录文件匹配的视频识别系统及方法 - Google Patents

用于列车运行监控记录文件匹配的视频识别系统及方法 Download PDF

Info

Publication number
CN112307842A
CN112307842A CN201910704029.0A CN201910704029A CN112307842A CN 112307842 A CN112307842 A CN 112307842A CN 201910704029 A CN201910704029 A CN 201910704029A CN 112307842 A CN112307842 A CN 112307842A
Authority
CN
China
Prior art keywords
video
matching
train operation
frame
operation monitoring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910704029.0A
Other languages
English (en)
Inventor
颜家云
李晨
张慧源
刘昕武
刘邦繁
彭联贴
熊敏君
褚金鹏
孙木兰
刘雨聪
黎孟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuzhou CRRC Times Electric Co Ltd
Original Assignee
Zhuzhou CRRC Times Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuzhou CRRC Times Electric Co Ltd filed Critical Zhuzhou CRRC Times Electric Co Ltd
Priority to CN201910704029.0A priority Critical patent/CN112307842A/zh
Publication of CN112307842A publication Critical patent/CN112307842A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/41Analysis of document content
    • G06V30/414Extracting the geometrical structure, e.g. layout tree; Block segmentation, e.g. bounding boxes for graphics or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Artificial Intelligence (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明公开了一种用于列车运行监控记录文件匹配的视频识别系统及方法,字符模板库存储有各种厂商监控视频的字符模板,判断模块根据输入监控视频识别厂商类型,并选择字符模板库的相应字符模板。视频首帧信息识别模块根据判断模块输出的文本区域位置及字符模板库提供的字符模板,捕捉并识别输入监控视频中首帧的OSD文本信息。视频末帧信息识别模块根据判断模块输出的文本区域位置及字符模板库提供的字符模板,捕捉并识别输入监控视频中末帧的OSD文本信息。结果保存及匹配模块将该首帧和末帧的OSD文本信息与列车运行监控记录文件进行关联匹配。本发明能解决现有视频文件与监控记录文件匹配方式正确率和效率过低的技术问题。

Description

用于列车运行监控记录文件匹配的视频识别系统及方法
技术领域
本发明涉及图像处理技术领域,尤其是涉及一种用于列车运行监控记录文件匹配的视频OCR(Optical Character Recognition,光学字符识别的简称)识别装置及方法。
背景技术
OCR是指电子设备(例如扫描仪或数码相机)检查纸上打印的字符,通过检测暗、亮的模式确定其形状,然后用字符识别方法将形状翻译成计算机文字的过程。OCR一般分为两个步骤:图像处理与文字识别。图像处理包括字符图像灰度化、二值化、去噪、倾斜校正及字符分割等过程。文字识别可以用传统的范式距离匹配方法,亦可以采用特征提取与机器学习的方法。视频OSD(On Screen Display,屏幕信息显示的简称)文本信息是指叠加并显示在视频图像中的文本信息,例如电影字幕等,在机车监控视频中,所叠加的OSD信息有车次、车号、日期、时间,速度及里程信息。通过OCR识别可以获取视频中的这些信息,进而可以匹配机车LKJ(一种列车运行监控记录装置的简称)文件实现关联分析。
在对机车监控视频分析时需要将视频文件与LKJ文件匹配关联,传统的做法是人工记录视频中的OSD文本信息,包括日期、时间、速度、公里标、车次、车型及车号信息,依据这些信息匹配LKJ文件,进而实现关联分析。由于现有方法存在大量的人工记录过程,难免会出现较多错误,匹配正确率无法得到保障,而且视频数据量过大,人工操作任务繁重,效率过低,从而影响整个关联分析进程。
在现有技术中,主要有以下技术方案与本发明申请相关:
该现有技术为赵东源于2017年12月发表在《郑州大学》上的硕士论文《LKJ与音视频联动分析系统的设计与实现》。该技术方案在有视频信息写入数据库的时候,程序自动检测视频数据信息,并将视频信息通过时间和机车信息等与LKJ数据相关联。该系统所收集的视频数据信息是包含在视频文件名中的车型车号及该视频开始时间,依据这些信息与LKJ进行匹配。由于未能识别视频的结束时间,所以该方法无法实现视频全长度的匹配。其次,在对视频进行分析时,例如进行司机行为识别时,该系统无法提供司机违规行为的时间点。此外,存在某些厂家的6A视频文件名不包含相关车型信息时,例如科研所的视频,该系统则会失效,无法实现匹配。
发明内容
有鉴于此,本发明的目的在于提供一种用于列车运行监控记录文件匹配的视频识别系统及方法,以解决现有视频文件与监控记录文件匹配方式由于存在大量的人工记录过程,难免会出现较多错误,匹配正确率无法得到保障,且视频数据量过大,人工操作任务繁重,效率过低影响整个关联分析进程的技术问题。
为了实现上述发明目的,本发明具体提供了一种用于列车运行监控记录文件匹配的视频识别系统的技术实现方案,用于列车运行监控记录文件匹配的视频识别系统包括:判断模块、字符模板库、视频首帧信息识别模块、视频末帧信息识别模块及结果保存及匹配模块。所述字符模板库存储有各种厂商监控视频的字符模板,所述判断模块与字符模板库相连,所述判断模块根据输入监控视频识别厂商类型,并选择相应的字符模板。所述视频首帧信息识别模块根据判断模块输出的文本区域位置,以及字符模板库提供的文字图像匹配的字符模板,捕捉并识别输入监控视频中首帧的OSD文本信息。所述视频末帧信息识别模块根据判断模块输出的文本区域位置,以及字符模板库提供的文字图像匹配的字符模板,捕捉并识别输入监控视频中末帧的OSD文本信息。所述结果保存及匹配模块保存首帧和末帧的OSD文本信息,并将该首帧和末帧的OSD文本信息与列车运行监控记录文件进行关联匹配。
进一步的,所述系统还包括区间帧信息识别模块,所述区间帧信息识别模块根据判断模块输出的文本区域位置,以及字符模板库提供的文字图像匹配的字符模板,捕捉并识别输入监控视频中某一段时间区间内所有帧的OSD文本信息。所述结果保存及匹配模块保存区间帧信息识别模块输出的某一段时间区间内所有帧的OSD文本信息,并将该时间区间内所有帧的OSD文本信息与列车运行监控记录文件进行关联匹配。
进一步的,所述区间帧信息识别模块中存储有识别次数阈值及判别条件,若所述区间帧信息识别模块输出的某一段时间区间内所有帧的OSD文本信息与列车运行监控记录文件关联匹配成功,则所述区间帧信息识别模块停止识别。若所述区间帧信息识别模块输出的某一段时间区间内所有帧的OSD文本信息与列车运行监控记录文件未成功关联匹配,则所述区间帧信息识别模块继续捕捉并识别输入监控视频中另一段时间区间内所有帧的OSD文本信息。若所述结果保存及匹配模块未成功关联匹配,且所述区间帧信息识别模块的识别次数超过设定的阈值,则提示检查列车运行监控记录文件是否存在或转为人工匹配。
进一步的,所述字符模板库存储的字符模板为png格式的二值化图像或点阵字符文件。
进一步的,所述结果保存及匹配模块将监控视频帧识别的OSD文本信息保存至文本文件中,监控视频中的首帧信息添加标记为0,末帧信息添加标记为1,并利用包括行车日期、行车时间、瞬时速度、累积里程、车次、车型车号在内的信息与列车运行监控记录文件进行关联匹配。
本发明还另外具体提供了一种用于列车运行监控记录文件匹配的视频识别方法的技术实现方案,用于列车运行监控记录文件匹配的视频识别方法,包括以下步骤:
S101)识别输入监控视频的厂商类型;
S102)依据厂商类型选择或建立对应的字符模板库;
S103)捕捉并识别输入监控视频中首帧的OSD文本信息;
S104)捕捉并识别输入监控视频中末帧的OSD文本信息;
S105)将输入监控视频中首帧和末帧的OSD文本信息与列车运行监控记录文件进行关联匹配,若匹配成功则进行后续的列车运行监控记录文件关联分析。
进一步的,所述方法包括以下步骤:
S106)若首帧和末帧的OSD文本信息与列车运行监控记录文件未成功关联匹配,则捕捉并识别输入监控视频中某一段时间区间内所有帧的OSD文本信息,并将该段时间区间内所有帧的OSD文本信息与列车运行监控记录文件进行关联匹配,若匹配成功则进行后续的列车运行监控记录文件关联分析。
进一步的,所述方法包括以下步骤:
若某一段时间区间内所有帧的OSD文本信息与列车运行监控记录文件未成功关联匹配,则捕捉并识别输入监控视频中另一段时间区间内所有帧的OSD文本信息,并将该段时间区间内所有帧的OSD文本信息与列车运行监控记录文件进行关联匹配,若匹配成功则进行后续的列车运行监控记录文件关联分析。
进一步的,所述方法包括以下步骤:
若识别次数超过设定的阈值,监控视频帧识别的OSD文本信息依然无法与列车运行监控记录文件进行关联匹配,则提示检查列车运行监控记录文件是否存在或转为人工匹配,流程结束。
进一步的,所述步骤S101)包括:
在输入待处理的监控视频时自动识别厂商类型,识别的依据设定为监控视频的文件名及视频尺寸大小。若监控视频的文件名中含有厂商名称,则以文件名进行识别,否则以视频尺寸大小作为判别标准进行识别。
进一步的,在所述步骤S102)中,各个厂商监控视频的字符模板包括:用于表示数值的字符;用于表示车型的字母;用于表示信息内容的文字;用于表示速度和公里标的字符;字符模板库保存为png格式的二值化图像或点阵字符文件。
进一步的,所述步骤S103)包括:
捕捉并识别输入监控视频中第一帧包括该时刻的行车日期、行车时间、瞬时速度、累积里程、车次、车型车号信息在内的OSD文本信息。
进一步的,所述步骤S104)包括:
捕捉并识别输入监控视频中最后一帧包括该时刻的行车日期、行车时间、瞬时速度、累积里程、车次、车型车号信息在内的OSD文本信息。
进一步的,所述步骤S106)包括:
捕捉并识别输入监控视频中某一时间区间段内所有帧包括行车日期、行车时间、瞬时速度、累积里程、车次、车型车号信息在内的OSD文本信息。
进一步的,所述步骤S103)、S104)、S106)中的OSD文本信息识别过程包括:
S1051)对监控视频帧中的字符图像进行包括滤波与图像二值化在内的预处理;
S1052)对经过前一步处理的字符图像进行归一化处理;
S1053)根据厂商类型中的文字区域和位置设置对经过前一步处理的字符图像进行字符分割;
S1054)计算分割的字符与字符模板的余弦相似度,在大于设定阈值的所有余弦相似度中寻找最大值,其对应的字符模板则为字符识别的结果。
进一步的,所述步骤S105)包括:
将监控视频帧识别的OSD文本信息保存至文本文件中,监控视频中的首帧信息添加标记为0,末帧信息添加标记为1。读取OSD文本信息识别结果,并利用包括行车日期、行车时间、瞬时速度、累积里程、车次、车型车号在内的信息与列车运行监控记录文件进行关联匹配。
进一步的,在所述步骤S104中,如果输入监控视频中的最后一帧未写入数据,则后退遍历寻找第一帧写入数据的有效帧作为末帧。
通过实施上述本发明提供的用于列车运行监控记录文件匹配的视频识别系统及方法的技术方案,具有如下有益效果:
(1)本发明用于列车运行监控记录文件匹配的视频识别系统及方法,处理待分析监控视频时,自动识别其视频OSD中车次、车号、运行时间等信息,并与列车运行监控记录文件匹配实现关联分析,相较于人工匹配方式,该系统及方法大幅提高了匹配的准确率和效率;
(2)本发明用于列车运行监控记录文件匹配的视频识别系统及方法,除了捕捉和识别输入监控视频中的首帧和末帧OSD文本信息之外,还能识别监控视频某一段时间区间内的多帧信息;当输入监控视频中的最后一帧未写入数据,后退遍历寻找第一帧写入数据的有效帧作为末帧,使得监控视频中的OSD文本信息匹配列车运行监控记录文件得到有效保障,进一步提升了匹配的准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍。显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的实施例。
图1是本发明用于列车运行监控记录文件匹配的视频识别系统一种具体实施例的结构组成框图;
图2是本发明用于列车运行监控记录文件匹配的视频识别方法一种具体实施例的程序流程图;
图3是本发明用于列车运行监控记录文件匹配的视频识别方法另一种具体实施例的程序流程图;
图4是本发明用于列车运行监控记录文件匹配的视频识别方法一种具体实施例中某厂商监控视频的OSD字符模板库示意图;
图5是本发明用于列车运行监控记录文件匹配的视频识别方法一种具体实施例中对某厂商监控视频识别结果的保存界面示意图;
图中:1-判断模块,2-字符模板库,3-视频首帧信息识别模块,4-视频末帧信息识别模块,5-结果保存及匹配模块,6-区间帧信息识别模块。
具体实施方式
为了引用和清楚起见,将下文中使用的技术名词、简写或缩写记载如下:
OCR:Optical Character Recognition,光学字符识别的简称;
OSD:On Screen Display,屏幕信息显示的简称,是屏幕显示技术的一种,用于在显示终端上显示字符、图形和图像;
LKJ:一种列车运行监控记录装置的简称;
机车6A视频:是指机车车载安全防护系统,其中有多个摄像头录制机车不同环境的视频,有录制机车路况的视频,录制驾驶室的视频,录制机车内部机械间的视频,录制车头车钩的视频,这些视频称为6A视频。
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整的描述。显然,所描述的实施例仅仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
如附图1至附图5所示,给出了本发明用于列车运行监控记录文件匹配的视频识别系统及方法的具体实施例,下面结合附图和具体实施例对本发明作进一步说明。
下述实施例1-3以本发明应用于机车监控视频识别为例对列车运行监控记录文件匹配的视频识别系统及方法的技术方案进行详细介绍。
实施例1
如附图1所示,一种用于列车运行监控记录文件匹配的视频识别系统的实施例,具体包括:判断模块1、字符模板库2、视频首帧信息识别模块3、视频末帧信息识别模块4及结果保存及匹配模块5。字符模板库2存储有各种厂商监控视频的字符模板,判断模块1与字符模板库2相连,判断模块1根据输入监控视频识别厂商类型,并选择相应的字符模板。视频首帧信息识别模块4根据判断模块1输出的文本区域位置,以及字符模板库2提供的文字图像匹配的字符模板,捕捉并识别输入监控视频中首帧的OSD文本信息。视频末帧信息识别模块5根据判断模块1输出的文本区域位置,以及字符模板库2提供的文字图像匹配的字符模板,捕捉并识别输入监控视频中末帧的OSD文本信息。结果保存及匹配模块5保存首帧和末帧的OSD文本信息,并将该首帧和末帧的OSD文本信息与列车运行监控记录文件进行关联匹配。
以机车为例,目前广泛应用于机车上的监控视频是6A视频,而每一种6A视频厂商的字符字体是不一样的,每一种字体都要制作用于识别的字符模板库,并且每一种6A视频厂商的视频文字区域位置也是不一样的。此时,通过判断视频厂商(一般视频文件名称里面会有厂家名),选择相应的字符模板库,设置相应的视频图像文字区域位置,以便于后续计算。对一帧监控视频(即对应一幅文字图像)进行识别时,依次计算该文字图像与字符模板库中各字符模板的接近程度,选择最为接近的字符模板为识别结果。
因为监控视频可能会出现缺帧或花屏现象,所以第一帧或者最后一帧识别出的信息可能会有误,或者有些信息没有被识别出来,而通过识别某一段时间内的所有帧,增加了很多帧的识别结果,就得到了更多关于该监控视频的信息,信息越多,即监控视频的时间标记就越清楚,能够充分保证关联上LKJ文件(即列车运行监控记录文件)。因此,用于列车运行监控记录文件匹配的视频识别系统进一步包括区间帧信息识别模块6,区间帧信息识别模块6根据判断模块1输出的文本区域位置,以及字符模板库2提供的文字图像匹配的字符模板,捕捉并识别输入监控视频中某一段时间区间内所有帧的OSD文本信息。结果保存及匹配模块5保存区间帧信息识别模块6输出的某一段时间区间内所有帧的OSD文本信息,并将该时间区间内所有帧的OSD文本信息与列车运行监控记录文件进行关联匹配。视频首帧信息识别模块4是实现识别监控视频第一帧的功能,视频末帧信息识别模块5的功能是识别监控视频最后一帧的功能,区间帧信息识别模块6是识别监控视频某一段时间内所有帧的功能。例如:某一个监控视频,识别这个视频第5秒开始的10秒时间长度内所有帧的信息。区间帧信息识别模块6通过识别该区间内所有帧的信息,从而大幅增加了信息量,并进一步提高了匹配的准确率。
字符模板库2存储的字符模板为png格式的二值化图像或点阵字符文件。区间帧信息识别模块6中存储有识别次数阈值及判别条件,若区间帧信息识别模块6输出的某一段时间区间内所有帧的OSD文本信息与列车运行监控记录文件关联匹配成功,则区间帧信息识别模块6停止识别。若区间帧信息识别模块6输出的某一段时间区间内(具体是由开发人员在视频识别系统中设置的两个参数决定,第一个参数为监控视频帧识别的开始时刻,如第5秒,第二个参数为监控视频帧识别的时间长度,如10秒时间长度)所有帧的OSD文本信息与列车运行监控记录文件未成功关联匹配,则区间帧信息识别模块6继续捕捉并识别输入监控视频中另一段时间区间内所有帧的OSD文本信息。若结果保存及匹配模块5未成功关联匹配,且区间帧信息识别模块6的识别次数超过设定的阈值,则提示检查列车运行监控记录文件是否存在或转为人工匹配。
LKJ分析人员在进行LKJ数据分析的过程中,需要同步观察LKJ事件相关联的列车运行监控视频,用于辅助分析LKJ事件。结果保存及匹配模块5将监控视频帧识别的OSD文本信息保存至文本文件中,监控视频中的首帧信息添加标记为0,末帧信息添加标记为1,并利用包括行车日期、行车时间、瞬时速度、累积里程、车次、车型车号在内的信息与列车运行监控记录文件进行关联匹配。列车运行监控记录装置(即LKJ)相当于列车的黑匣子,记录了列车何时到了何地,司机进行了何种操作。而列车运行监控记录文件信息匹配,是指列车存在运行监控记录文件,一列车从运行开始到结束就会产生一个LKJ文件(即列车运行监控记录文件),该文件记录了列车运行的整个过程。通过将监控视频的首尾帧时间识别出来,就可以将监控视频的开始时刻与结束时刻对应于LKJ文件时间进度条的时刻。通过这种操作,就可以将LKJ文件与监控视频绑定起来,并一同查看分析,使得机务段的分析人员在查看LKJ文件时,点击LKJ文件的某一时刻,就可以跳转至该时刻对应的机车6A监控视频的监控画面,以具体查看某一具体时刻司机是否存在违章驾驶行为。
实施例1描述的用于列车运行监控记录文件匹配的视频识别系统的技术方案,综合视频OCR识别的各个功能模块,对于待处理的监控视频,OCR识别系统(即视频识别系统)首先识别该监控视频文件的厂商类型,依据厂商类型选择对应的字符模板库,定位寻找监控视频的开始位置与结束位置,依次捕捉视频首帧与末帧并进行字符识别。将识别结果保存并关联对应的LKJ文件(即列车运行监控记录文件)。如果只利用首尾的两帧信息无法匹配上LKJ文件,则再识别某一时刻开始一段时间内所有帧的信息。多次匹配依然无法成功,则提示对应LKJ文件未找到或转为人工匹配。
实施例1描述的用于列车运行监控记录文件匹配的视频识别系统通过OCR识别监控视频画面的文本信息,依据该信息来与列车运行监控记录文件匹配,有效解决了现有技术存在的匹配成功率与效率都不能得到保证的技术问题。通过利用本发明实施例1描述的用于列车运行监控记录文件匹配的视频识别系统处理待分析监控视频,自动匹配关联LKJ文件,相较于人工匹配,可以大幅提升视频识别的效率与匹配正确率。
实施例2
如附图2和附图3所示,一种用于列车运行监控记录文件匹配的视频识别方法的实施例,具体包括以下步骤:
S101)识别输入监控视频的厂商类型;
输入待处理的监控视频,首先对视频厂商的类型进行分析,如果能识别出厂商类型,则可继续进行下一步分析,否则判断该监控视频不是机车6A视频,结束并退出流程;
S102)依据厂商类型选择或建立对应的字符模板库;
对于已知厂商的监控视频,判别是否已存在对应的字符模板库,若字符模板库缺失则需要先建立该厂商的字符模板库直至模板库完善,若该字符模板库已经建立则匹配对应的字符模板库;
S103)捕捉并识别输入监控视频中首帧的OSD文本信息;
捕捉输入监控视频的第一帧作为首帧,对监控视频图像进行预处理与归一化后,基于字符模板库,识别监控视频图像的OSD文本信息,包括车型、车次、速度等信息;
S104)捕捉并识别输入监控视频中末帧的OSD文本信息;
捕捉输入监控视频的最后一帧作为末帧,采用与步骤S103)相同的操作,识别监控视频图像的OSD文本信息;需要注意的是,由于监控视频的最后一帧可能并没有写入数据,因此需要后退遍历找到第一帧写入数据的有效帧作为末帧;
S105)将输入监控视频中首帧和末帧的OSD文本信息与列车运行监控记录文件进行关联匹配,若匹配成功则进行后续的列车运行监控记录文件关联分析。
利用监控视频首尾两帧识别结果中的车次、车型、车号、速度、里程、开始时间与结束时间等信息,与列车运行监控记录文件进行匹配。若能匹配成功则可直接进行后续关联分析,但因为监控视频首末两帧识别结果不完善,或者两帧信息量不足,则可能导致无法匹配上列车运行监控记录文件,需要增加更多的信息量。因此,用于列车运行监控记录文件匹配的视频识别方法进一步包括以下步骤:
S106)若首帧和末帧的OSD文本信息与列车运行监控记录文件未成功关联匹配,则捕捉并识别输入监控视频中某一段时间区间内所有帧的OSD文本信息,并将该段时间区间内所有帧的OSD文本信息与列车运行监控记录文件进行关联匹配,若匹配成功则进行后续的列车运行监控记录文件关联分析。此时,将识别次数置为1,依次捕捉某一段时间区间内所有帧,并采取与步骤A103)相同的操作,识别某一段时间区间内每一帧的OSD文本信息,通过增加信息量来确保列车运行监控记录文件的匹配。
用于列车运行监控记录文件匹配的视频识别方法进一步包括以下步骤:
若某一段时间区间内所有帧的OSD文本信息与列车运行监控记录文件未成功关联匹配,则捕捉并识别输入监控视频中另一段时间区间内所有帧的OSD文本信息,并将该段时间区间内所有帧的OSD文本信息与列车运行监控记录文件进行关联匹配,若匹配成功则进行后续的列车运行监控记录文件关联分析。
用于列车运行监控记录文件匹配的视频识别方法进一步包括以下步骤:
若识别次数超过设定的阈值,监控视频帧识别的OSD文本信息依然无法与列车运行监控记录文件进行关联匹配,则提示检查列车运行监控记录文件是否存在或转为人工匹配,流程结束。若监控视频的OSD文本信息识别结果与LKJ文件(即列车运行监控记录文件)成功匹配,则可进行后续关联分析。否则回到步骤S106)识别监控视频新的一段时间内所有帧的OSD文本信息,并且识别次数加1。设定一个识别次数阈值,如:阈值常设为3,若识别次数超过了此阈值依然无法匹配上列车运行监控记录文件,则可提醒工作人员检查列车运行监控记录文件是否存在或者转人工匹配,结束该流程。
步骤S101)进一步包括:
在输入待处理的监控视频时自动识别厂商类型,识别的依据设定为监控视频的文件名及视频尺寸大小。若监控视频的文件名中含有厂商名称,则以文件名进行识别,否则以视频尺寸大小作为判别标准进行识别。
在步骤S102)中,各个厂商监控视频的字符模板包括:用于表示数值的字符“0”、“1”等10个数字;用于表示车型的字母;用于表示信息内容的“车次”、“车号”、“司机”等的文字;用于表示速度和公里标的“km/h”和“km”等字符;字符模板库保存为png格式的二值化图像或点阵字符文件。厂商类型有如:科研所、株洲所、成都运达、上海巨石、北京蓝天、济南若临等机车监控视频合格供应厂商。实际应用时自动判别厂商类型,依据厂商类型选择对应的匹配模板。
步骤S103)进一步包括:
捕捉并识别输入监控视频中第一帧包括该时刻的行车日期、行车时间、瞬时速度、累积里程、车次、车型车号信息在内的OSD文本信息。
步骤S104)进一步包括:
捕捉并识别输入监控视频中最后一帧包括该时刻的行车日期、行车时间、瞬时速度、累积里程、车次、车型车号信息在内的OSD文本信息。
步骤S106)进一步包括:
捕捉并识别输入监控视频中某一时间区间段内(即从某一时刻开始的一段时间内)所有帧包括行车日期、行车时间、瞬时速度、累积里程、车次、车型车号信息在内的OSD文本信息。
步骤S103)、S104)、S106)中的OSD文本信息识别过程进一步包括字符图像预处理、字符图像归一化、字符分割、字符匹配等几个步骤:
S1051)字符图像预处理:对监控视频帧中的字符图像进行包括滤波与图像二值化在内的预处理;滤波方法采用自适应中值滤波方法,该方法在有效滤除脉冲噪声的同时还可以保留字符图像区域的边界频率成分;由于监控视频的OSD文本中均没有斜体,所以无需进行倾斜校正,而直接对滤波后的监控视频图像进行二值化处理;
S1052)字符图像归一化:对经过前一步处理的字符图像进行归一化处理;字符图像归一化是将监控视频灰度图像的数值区间0~255等比例缩小至0~1;
S1053)字符分割:根据厂商类型中的文字区域和位置设置对经过前一步处理的字符图像进行字符分割;由于各个厂商监控视频的OSD文本位置相对固定,因此为缩短运行时间,将预先求得的位置参数应用至后续所有同类型监控视频的字符分割中;字符分割的大范围文字区域是事先已知的,属于先验知识,每个列车6A视频的文字区域可以根据厂商的类型设置,例如:第一次获得一个株洲所的6A视频,通过裁剪图像,知晓文本区域的位置信息,并将此位置信息应用至之后所有的株洲所监控视频中;而监控视频图像中单个字符的位置也是基于相同的方法,都是通过先验知识进行分割的;
S1054)字符匹配:计算分割的字符与字符模板的余弦相似度,在大于设定阈值的所有余弦相似度中寻找最大值,其对应的字符模板则为字符识别的结果。需要特别说明的是,字符匹配步骤除了采用余弦相似度匹配方法,也可以采用范数更大的距离度量作为评判标准。OSD文本信息识别过程也可以通过提取特征,如空间分布、笔画密度、高频细节等特征,并采用机器学习进行分类的方法来实现。
步骤S105)进一步包括:
将监控视频帧识别的OSD文本信息保存至文本文件中,监控视频中的首帧信息添加标记为0,末帧信息添加标记为1。读取OSD文本信息识别结果,并利用包括行车日期、行车时间、瞬时速度、累积里程、车次、车型车号在内的信息与列车运行监控记录文件进行关联匹配。
在步骤S104中,如果输入监控视频中的最后一帧未写入数据,则后退遍历寻找第一帧写入数据的有效帧作为末帧。
实施例3
一种实施例1所述视频识别系统用于列车运行监控记录文件匹配的具体应用实例。如附图5所示,为利用实施例1所提供的用于列车运行监控记录文件匹配的视频识别系统对某厂商监控视频识别结果的保存示意图。
当输入该监控视频时,首先根据文件名识别其厂商类型,如在本实例中识别为成都运达。然后选择附图4所示该厂商对应的字符模板库,捕捉监控视频的开始帧与结束帧。因为同一类型厂商视频OSD文本位置固定,以固定的参数对预处理后的监控图像进行字符分割,依次将字符与字符模板库进行字符匹配,匹配结果即为识别信息。如附图5的结果所示,该监控视频对应的车型为HXD1C,车号为0077,当天行驶日期为2018年04月17日,该视频开始时间为19:30:01,结束时间为19:34:44,开始帧(即首帧)标记为0,结束帧(即末帧)标记为1。因为列车运行监控记录文件与监控视频文件可能存在1s左右的时间差,从而导致匹配失败,所以需要更多的时间量与速度值来进行校正。因此,识别了监控视频从第10s开始的2s内的每一帧信息,基于这些信息可以成功匹配列车运行监控记录文件,从而实现关联分析。
本发明上述实施例1-3描述的用于列车运行监控记录文件匹配的视频识别系统及方法,不仅可以适用于机车监控视频的LKJ文件匹配,也适用于动车、城轨等监控视频的运行监控记录文件匹配。
通过实施本发明具体实施例描述的用于列车运行监控记录文件匹配的视频识别系统及方法的技术方案,能够产生如下技术效果:
(1)本发明具体实施例描述的用于列车运行监控记录文件匹配的视频识别系统及方法,处理待分析监控视频时,自动识别其视频OSD中车次、车号、运行时间等信息,并与列车运行监控记录文件匹配实现关联分析,相较于人工匹配方式,该系统及方法大幅提高了匹配的准确率和效率;
(2)本发明具体实施例描述的用于列车运行监控记录文件匹配的视频识别系统及方法,除了捕捉和识别输入监控视频中的首帧和末帧OSD文本信息之外,还能识别监控视频某一段时间区间内的多帧信息;当输入监控视频中的最后一帧未写入数据,后退遍历寻找第一帧写入数据的有效帧作为末帧,使得监控视频中的OSD文本信息匹配列车运行监控记录文件得到有效保障,进一步提升了匹配的准确率。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同相似部分互相参见即可。
以上所述,仅是本发明的较佳实施例而已,并非对本发明作任何形式上的限制。虽然本发明已以较佳实施例揭示如上,然而并非用以限定本发明。任何熟悉本领域的技术人员,在不脱离本发明的精神实质和技术方案的情况下,都可利用上述揭示的方法和技术内容对本发明技术方案做出许多可能的变动和修饰,或修改为等同变化的等效实施例。因此,凡是未脱离本发明技术方案的内容,依据本发明的技术实质对以上实施例所做的任何简单修改、等同替换、等效变化及修饰,均仍属于本发明技术方案保护的范围。

Claims (17)

1.一种用于列车运行监控记录文件匹配的视频识别系统,其特征在于,包括:判断模块(1)、字符模板库(2)、视频首帧信息识别模块(3)、视频末帧信息识别模块(4)及结果保存及匹配模块(5);所述字符模板库(2)存储有各种厂商监控视频的字符模板,所述判断模块(1)与字符模板库(2)相连,所述判断模块(1)根据输入监控视频识别厂商类型,并选择相应的字符模板;所述视频首帧信息识别模块(4)根据判断模块(1)输出的文本区域位置,以及字符模板库(2)提供的文字图像匹配的字符模板,捕捉并识别输入监控视频中首帧的OSD文本信息;所述视频末帧信息识别模块(5)根据判断模块(1)输出的文本区域位置,以及字符模板库(2)提供的文字图像匹配的字符模板,捕捉并识别输入监控视频中末帧的OSD文本信息;所述结果保存及匹配模块(5)保存首帧和末帧的OSD文本信息,并将该首帧和末帧的OSD文本信息与列车运行监控记录文件进行关联匹配。
2.根据权利要求1所述的用于列车运行监控记录文件匹配的视频识别系统,其特征在于:所述系统还包括区间帧信息识别模块(6),所述区间帧信息识别模块(6)根据判断模块(1)输出的文本区域位置,以及字符模板库(2)提供的文字图像匹配的字符模板,捕捉并识别输入监控视频中某一段时间区间内所有帧的OSD文本信息;所述结果保存及匹配模块(5)保存区间帧信息识别模块(6)输出的某一段时间区间内所有帧的OSD文本信息,并将该时间区间内所有帧的OSD文本信息与列车运行监控记录文件进行关联匹配。
3.根据权利要求2所述的用于列车运行监控记录文件匹配的视频识别系统,其特征在于:所述区间帧信息识别模块(6)中存储有识别次数阈值及判别条件,若所述区间帧信息识别模块(6)输出的某一段时间区间内所有帧的OSD文本信息与列车运行监控记录文件关联匹配成功,则所述区间帧信息识别模块(6)停止识别;若所述区间帧信息识别模块(6)输出的某一段时间区间内所有帧的OSD文本信息与列车运行监控记录文件未成功关联匹配,则所述区间帧信息识别模块(6)继续捕捉并识别输入监控视频中另一段时间区间内所有帧的OSD文本信息;若所述结果保存及匹配模块(5)未成功关联匹配,且所述区间帧信息识别模块(6)的识别次数超过设定的阈值,则提示检查列车运行监控记录文件是否存在或转为人工匹配。
4.根据权利要求1、2或3所述的用于列车运行监控记录文件匹配的视频识别系统,其特征在于:所述字符模板库(2)存储的字符模板为png格式的二值化图像或点阵字符文件。
5.根据权利要求4所述的用于列车运行监控记录文件匹配的视频识别系统,其特征在于:所述结果保存及匹配模块(5)将监控视频帧识别的OSD文本信息保存至文本文件中,监控视频中的首帧信息添加标记为0,末帧信息添加标记为1,并利用包括行车日期、行车时间、瞬时速度、累积里程、车次、车型车号在内的信息与列车运行监控记录文件进行关联匹配。
6.一种用于列车运行监控记录文件匹配的视频识别方法,其特征在于,包括以下步骤:
S101)识别输入监控视频的厂商类型;
S102)依据厂商类型选择或建立对应的字符模板库;
S103)捕捉并识别输入监控视频中首帧的OSD文本信息;
S104)捕捉并识别输入监控视频中末帧的OSD文本信息;
S105)将输入监控视频中首帧和末帧的OSD文本信息与列车运行监控记录文件进行关联匹配,若匹配成功则进行后续的列车运行监控记录文件关联分析。
7.根据权利要求6所述的用于列车运行监控记录文件匹配的视频识别方法,其特征在于,所述方法进一步包括以下步骤:
S106)若首帧和末帧的OSD文本信息与列车运行监控记录文件未成功关联匹配,则捕捉并识别输入监控视频中某一段时间区间内所有帧的OSD文本信息,并将该段时间区间内所有帧的OSD文本信息与列车运行监控记录文件进行关联匹配,若匹配成功则进行后续的列车运行监控记录文件关联分析。
8.根据权利要求7所述的用于列车运行监控记录文件匹配的视频识别方法,其特征在于,所述方法进一步包括以下步骤:
若某一段时间区间内所有帧的OSD文本信息与列车运行监控记录文件未成功关联匹配,则捕捉并识别输入监控视频中另一段时间区间内所有帧的OSD文本信息,并将该段时间区间内所有帧的OSD文本信息与列车运行监控记录文件进行关联匹配,若匹配成功则进行后续的列车运行监控记录文件关联分析。
9.根据权利要求8所述的用于列车运行监控记录文件匹配的视频识别方法,其特征在于,所述方法进一步包括以下步骤:
若识别次数超过设定的阈值,监控视频帧识别的OSD文本信息依然无法与列车运行监控记录文件进行关联匹配,则提示检查列车运行监控记录文件是否存在或转为人工匹配,流程结束。
10.根据权利要求6、7、8或9所述的用于列车运行监控记录文件匹配的视频识别方法,其特征在于,所述步骤S101)进一步包括:
在输入待处理的监控视频时自动识别厂商类型,识别的依据设定为监控视频的文件名及视频尺寸大小;若监控视频的文件名中含有厂商名称,则以文件名进行识别,否则以视频尺寸大小作为判别标准进行识别。
11.根据权利要求10所述的用于列车运行监控记录文件匹配的视频识别方法,其特征在于,在所述步骤S102)中,各个厂商监控视频的字符模板包括:用于表示数值的字符;用于表示车型的字母;用于表示信息内容的文字;用于表示速度和公里标的字符;字符模板库保存为png格式的二值化图像或点阵字符文件。
12.根据权利要求6、7、8、9或11所述的用于列车运行监控记录文件匹配的视频识别方法,其特征在于,所述步骤S103)进一步包括:
捕捉并识别输入监控视频中第一帧包括该时刻的行车日期、行车时间、瞬时速度、累积里程、车次、车型车号信息在内的OSD文本信息。
13.根据权利要求12所述的用于列车运行监控记录文件匹配的视频识别方法,其特征在于,所述步骤S104)进一步包括:
捕捉并识别输入监控视频中最后一帧包括该时刻的行车日期、行车时间、瞬时速度、累积里程、车次、车型车号信息在内的OSD文本信息。
14.根据权利要求13所述的用于列车运行监控记录文件匹配的视频识别方法,其特征在于,所述步骤S106)进一步包括:
捕捉并识别输入监控视频中某一时间区间段内所有帧包括行车日期、行车时间、瞬时速度、累积里程、车次、车型车号信息在内的OSD文本信息。
15.根据权利要求6、7、8、9、11、13或14所述的用于列车运行监控记录文件匹配的视频识别方法,其特征在于,所述步骤S103)、S104)、S106)中的OSD文本信息识别过程进一步包括:
S1051)对监控视频帧中的字符图像进行包括滤波与图像二值化在内的预处理;
S1052)对经过前一步处理的字符图像进行归一化处理;
S1053)根据厂商类型中的文字区域和位置设置对经过前一步处理的字符图像进行字符分割;
S1054)计算分割的字符与字符模板的余弦相似度,在大于设定阈值的所有余弦相似度中寻找最大值,其对应的字符模板则为字符识别的结果。
16.根据权利要求15所述的用于列车运行监控记录文件匹配的视频识别方法,其特征在于,所述步骤S105)进一步包括:
将监控视频帧识别的OSD文本信息保存至文本文件中,监控视频中的首帧信息添加标记为0,末帧信息添加标记为1;读取OSD文本信息识别结果,并利用包括行车日期、行车时间、瞬时速度、累积里程、车次、车型车号在内的信息与列车运行监控记录文件进行关联匹配。
17.根据权利要求6、7、8、9、11、13、14或16所述的用于列车运行监控记录文件匹配的视频识别方法,其特征在于:在所述步骤S104中,如果输入监控视频中的最后一帧未写入数据,则后退遍历寻找第一帧写入数据的有效帧作为末帧。
CN201910704029.0A 2019-07-31 2019-07-31 用于列车运行监控记录文件匹配的视频识别系统及方法 Pending CN112307842A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910704029.0A CN112307842A (zh) 2019-07-31 2019-07-31 用于列车运行监控记录文件匹配的视频识别系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910704029.0A CN112307842A (zh) 2019-07-31 2019-07-31 用于列车运行监控记录文件匹配的视频识别系统及方法

Publications (1)

Publication Number Publication Date
CN112307842A true CN112307842A (zh) 2021-02-02

Family

ID=74486308

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910704029.0A Pending CN112307842A (zh) 2019-07-31 2019-07-31 用于列车运行监控记录文件匹配的视频识别系统及方法

Country Status (1)

Country Link
CN (1) CN112307842A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113299281A (zh) * 2021-05-24 2021-08-24 青岛科技大学 基于声学文本融合的驾驶员尖锐高音识别预警方法及系统
CN113316018A (zh) * 2021-04-12 2021-08-27 浙江华创视讯科技有限公司 时间信息在视频画面显示的叠加方法、设备及存储介质
CN113928384A (zh) * 2021-11-26 2022-01-14 北京交大思诺科技股份有限公司 一种兼容lkj2000的新一代列车运行监控扩展单元

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101867750A (zh) * 2010-06-07 2010-10-20 杭州华三通信技术有限公司 应用于视频监控系统的osd信息处理方法及其装置
CN105516257A (zh) * 2015-11-27 2016-04-20 深圳市中博科创信息技术有限公司 一种视频文件的处理方法以及视频文件处理系统
WO2017067400A1 (zh) * 2015-10-20 2017-04-27 阿里巴巴集团控股有限公司 一种视频文件识别方法及装置
CN107122777A (zh) * 2017-04-25 2017-09-01 云南省交通科学研究所 一种基于视频文件的车辆分析系统及分析方法
CN107945569A (zh) * 2017-12-08 2018-04-20 武汉虹信技术服务有限责任公司 一种基于视频识别的vip停车管理系统及管理方法
CN109309817A (zh) * 2018-11-14 2019-02-05 北京东方国信科技股份有限公司 监控视频人脸识别osd的显示方法及装置
CN109446926A (zh) * 2018-10-09 2019-03-08 深兰科技(上海)有限公司 一种交通监控方法及装置、电子设备和存储介质
CN110019060A (zh) * 2017-12-27 2019-07-16 郑州畅想高科股份有限公司 一种机车视频文件与运行记录文件自动同步方法与装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101867750A (zh) * 2010-06-07 2010-10-20 杭州华三通信技术有限公司 应用于视频监控系统的osd信息处理方法及其装置
WO2017067400A1 (zh) * 2015-10-20 2017-04-27 阿里巴巴集团控股有限公司 一种视频文件识别方法及装置
CN105516257A (zh) * 2015-11-27 2016-04-20 深圳市中博科创信息技术有限公司 一种视频文件的处理方法以及视频文件处理系统
CN107122777A (zh) * 2017-04-25 2017-09-01 云南省交通科学研究所 一种基于视频文件的车辆分析系统及分析方法
CN107945569A (zh) * 2017-12-08 2018-04-20 武汉虹信技术服务有限责任公司 一种基于视频识别的vip停车管理系统及管理方法
CN110019060A (zh) * 2017-12-27 2019-07-16 郑州畅想高科股份有限公司 一种机车视频文件与运行记录文件自动同步方法与装置
CN109446926A (zh) * 2018-10-09 2019-03-08 深兰科技(上海)有限公司 一种交通监控方法及装置、电子设备和存储介质
CN109309817A (zh) * 2018-11-14 2019-02-05 北京东方国信科技股份有限公司 监控视频人脸识别osd的显示方法及装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113316018A (zh) * 2021-04-12 2021-08-27 浙江华创视讯科技有限公司 时间信息在视频画面显示的叠加方法、设备及存储介质
CN113316018B (zh) * 2021-04-12 2022-08-09 浙江华创视讯科技有限公司 时间信息在视频画面显示的叠加方法、设备及存储介质
CN113299281A (zh) * 2021-05-24 2021-08-24 青岛科技大学 基于声学文本融合的驾驶员尖锐高音识别预警方法及系统
CN113928384A (zh) * 2021-11-26 2022-01-14 北京交大思诺科技股份有限公司 一种兼容lkj2000的新一代列车运行监控扩展单元

Similar Documents

Publication Publication Date Title
TWI497422B (zh) 車牌影像辨識系統及方法
Masood et al. License plate detection and recognition using deeply learned convolutional neural networks
CN110705405B (zh) 目标标注的方法及装置
CN112307842A (zh) 用于列车运行监控记录文件匹配的视频识别系统及方法
CN112200172B (zh) 一种可行驶区域的检测方法及装置
CN105654072A (zh) 一种低分辨率医疗票据图像的文字自动提取和识别系统与方法
US20130279758A1 (en) Method and system for robust tilt adjustment and cropping of license plate images
US20100172580A1 (en) Pattern recognition apparatus, pattern recognition method, image processing apparatus, and image processing method
US11321571B2 (en) Automatic license plate recognition (ALPR) and vehicle identification profile methods and systems
CN110458126B (zh) 一种受电弓状态监测方法及装置
CN112001200A (zh) 识别码识别方法、装置、设备、存储介质和系统
CN112233421A (zh) 一种基于机器视觉的城市智慧交通监控智能系统
KR20200052790A (ko) 오염된 차량 번호판 인식이 가능한 이미지 인식 장치
CN113378646A (zh) 一种货运列车信息识别系统及识别方法
CN111507196A (zh) 一种基于机器视觉和深度学习的车辆类型识别方法
CN109558770B (zh) 真值标注方法
CN113139452A (zh) 基于目标检测的使用手机行为的检测方法
US20220309809A1 (en) Vehicle identification profile methods and systems at the edge
CN116796024A (zh) 一种逃费车辆证据链处理方法及系统
KR102379575B1 (ko) 코드 인식장치, 코드의 인식방법 및 이를 활용한 차량번호의 추출시스템
Babu et al. Vehicle tracking using number plate recognition system
CN115376139A (zh) 基于ocr高速图像识别的标签采集分析系统
JP3090070B2 (ja) 帳票識別方法及び装置
CN111553408A (zh) 视频识别软件自动测试的方法
JP4456397B2 (ja) 車両識別のためのプログラム、方法、及び装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination