CN113763988B - 机车司机室监控信息与lkj监控信息的时间同步方法及系统 - Google Patents
机车司机室监控信息与lkj监控信息的时间同步方法及系统 Download PDFInfo
- Publication number
- CN113763988B CN113763988B CN202010485242.XA CN202010485242A CN113763988B CN 113763988 B CN113763988 B CN 113763988B CN 202010485242 A CN202010485242 A CN 202010485242A CN 113763988 B CN113763988 B CN 113763988B
- Authority
- CN
- China
- Prior art keywords
- lkj
- monitoring information
- sound signal
- cab
- sound
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 176
- 230000003137 locomotive effect Effects 0.000 title claims abstract description 67
- 238000000034 method Methods 0.000 title claims abstract description 43
- 230000005236 sound signal Effects 0.000 claims abstract description 121
- 238000001514 detection method Methods 0.000 claims abstract description 42
- 238000013507 mapping Methods 0.000 claims abstract description 7
- 238000012549 training Methods 0.000 claims description 27
- 239000013598 vector Substances 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 13
- 238000013528 artificial neural network Methods 0.000 claims description 12
- 238000013136 deep learning model Methods 0.000 claims description 7
- 230000010354 integration Effects 0.000 claims description 7
- 238000012806 monitoring device Methods 0.000 claims description 7
- 230000006698 induction Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 4
- 230000001939 inductive effect Effects 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
- G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Electric Propulsion And Braking For Vehicles (AREA)
Abstract
本发明公开了一种机车司机室监控信息与LKJ监控信息的时间同步方法、系统、装置、介质及设备，此同步方法包括步骤：1)获取机车司机室监控信息，所述司机室监控信息包括监控音频或包含监控音频的监控视频；2)提取机车司机室监控信息中的声音信号特征，输入至预先构建并训练好的声音事件检测模型中，输出LKJ声音信号标签序列；其中声音事件检测模型中预先设有声音信号特征与LKJ声音信号标签序列之间的映射关系；3)对LKJ声音信号标签序列进行归纳整合，得到LKJ声音信号；4)定位LKJ声音信号在司机室监控信息中的位置，将司机室监控信息与LKJ监控信息进行时间同步。本发明具有同步效率高、所需数据少、成本低等优点。
Description
技术领域
本发明涉及语音信号处理技术领域，具体涉及一种机车司机室监控信息与LKJ监控信息的时间同步方法、系统、装置、介质及设备。
背景技术
机车司机规范性作业条例要求机车司机在某些驾驶时刻(如在机车出站，入站时)做出规定的手势并喊出对应的口令。为了监督机车司机的规范化驾驶作业，部分机车上安装了用于监控机车司机驾驶作业的视频和音频采集设备。最后收集到的视频或音频需要手工地与机车LKJ监控信息(监控记录)进行时间上的同步，从而判断机车司机是否在规定时刻做出了规范的操作，其中LKJ是我国铁路研制的以保证列车行车安全为主要目的的列车运行监控装置，在特定运行情况下LKJ装置会向驾驶员发送声音播报信号，比如“红黄灯”等，LKJ声音信号泛指这些由LKJ装置发送出来的播报声音。然而，由于采集到的视频或音频一般长达数小时或更久，手工地与LKJ信号同步，费时费力、效率低。
发明内容
本发明要解决的技术问题就在于：针对现有技术存在的技术问题，本发明提供一种同步效率高的机车司机室监控信息与LKJ监控信息的时间同步方法、系统、装置、介质及设备。
为了解决上述技术问题，本发明采用的技术方案为：
一种机车司机室监控信息与LKJ监控信息的时间同步方法，包括步骤：
1)获取机车司机室监控信息，所述司机室监控信息包括监控音频或包含监控音频的监控视频；
2)提取机车司机室监控信息中的声音信号特征，输入至预先构建并训练好的声音事件检测模型中，输出LKJ声音信号标签序列；其中声音事件检测模型中预先设有声音信号特征与LKJ声音信号标签序列之间的映射关系；
3)对LKJ声音信号标签序列进行归纳整合，得到LKJ声音信号；
4)定位LKJ声音信号在司机室监控信息中的位置，将司机室监控信息与LKJ监控信息进行时间同步。
作为上述技术方案的进一步改进：
在步骤3)中，所述归纳整合的方法为：
从头开始一帧一帧地遍历LKJ声音信号标签序列；假设遍历到第K个标签，如果此标签为0则跳过继续遍历第K+1个标签，其中标签0表示此帧非LKJ声音；如果此标签非0，则统计从此标签开始后面连续L个标签是否有超过P个与此标签相同，并进行判断：若有超过P个相同标签，则判定该连续L帧标签组成一个LKJ声音信号，遍历跳至第K+L+1个标签；若没有超过P个相同标签则跳过此标签，遍历跳至第K+1个标签；
其中L的数值由LKJ声音信号的类型决定；P的数值由声音事件检测模型而定。
在步骤4)中，定位LKJ声音信号在司机室监控信息中的位置的过程为：
经过对LKJ声音信号标签序列归纳整合后，找到司机室监控信息中所有LKJ声音信号的类型和所在时刻，即根据司机室监控信息的起始绝对时间，根据第一帧到当前帧的位置偏移推算出各LKJ声音信号的绝对时间；
根据输入的LKJ监控信息，通过LKJ监控信息中LKJ声音信号的绝对时间信息匹配到其在司机室监控信息中的对应时间位置，从而完成机车司机室监控信息与LKJ监控信息的时间同步。
在步骤4)之后，还包括输出并存储同步文件：采用CSV文件格式来记录同步信息，该CSV文件的每一行按序对应LKJ监控信息中的每一个LKJ声音信号，每行的第一列为LKJ声音信号类型，第二列为LKJ声音信号出现的绝对时间，第三列为LKJ声音信号在司机室监控信息中出现的相对时间偏移。
在步骤2)中，所述声音事件检测模型的构建以及训练过程为：
2.1)获取LKJ声音训练数据；
2.2)对LKJ声音训练数据进行声音信号特征提取以及标注；
2.3)采用深度学习模型构建声音事件检测模型，并基于声音信号特征对声音事件检测模型进行训练。
在步骤2.1)中，LKJ声音训练数据均采集自日常行驶的机车驾驶室中，对应的采集设备为用来规范机车司机标准作业的监控设备。
训练用的所有LKJ声音训练数据均由人工从原始采集到的音频流中截取，截取原则为包含该LKJ声音信号的全部波形且尽可能少的包含首位两端的其他无关声音波形。
在步骤2.2)中，采用梅尔倒谱系数MFCC作为每帧音频的特征表示，并以帧为单位对LKJ声音进行类别标注。
在步骤2.3)中，深度学习模型包含多个串联的时延神经网络和一个人工神经网路分类器，同时还加入了tanh和relu激活函数作为非线性成分，以及dropout单元防止过拟合；串联的时延神经网络将输入的MFCC特征向量序列转换为深度表示向量序列，人工神经网络分类器则基于该深度表示向量序列预测每一帧MFCC特征向量对应的LKJ声音信号类型或非LKJ声音信号。
本发明还公开了一种机车司机室监控信息与LKJ监控信息的时间同步系统，包括：
获取模块，用于获取机车司机室监控信息，所述司机室监控信息包括监控音频或包含监控音频的监控视频；
输出模块，用于提取机车司机室监控信息中的声音信号特征，输入至预先构建并训练好的声音事件检测模型中，输出LKJ声音信号标签序列；其中声音事件检测模型中预先设有声音信号特征与LKJ声音信号标签序列之间的映射关系；
归纳模块，用于对LKJ声音信号标签序列进行归纳整合，得到LKJ声音信号；
同步模块，用于定位LKJ声音信号在司机室监控信息中的位置，并与LKJ监控信息进行时间同步。
本发明进一步公开了一种机车司机室监控信息与LKJ监控信息的时间同步装置，包括用于采集所述机车司机室监控信息的采集模块和如上所述的机车司机室监控信息与LKJ监控信息的时间同步系统，所述采集模块为机车司机室的监控装置。
本发明还公开了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序在被处理器运行时执行如上所述的机车司机室监控信息与LKJ监控信息的时间同步方法的步骤。
本发明进一步公开了一种计算机设备，包括存储器和处理器，所述存储器上存储有计算机程序，所述计算机程序在被处理器运行时执行如上所述的机车司机室监控信息与LKJ监控信息的时间同步方法的步骤。
与现有技术相比，本发明的优点在于：
本发明通过预先构建并训练好声音事件检测模型，再对司机室监控信息中提取的声音信号特征进行检测及分类，实现司机室监控信息与LKJ监控信息的时间同步；由于采用了基于深度学习的声音事件检测技术，相比于语音识别技术更适用于去检测和分类LKJ声音信号；另外，上述同步方法基于预先构建并训练好的声音事件检测模型来实现，仅只需要司机室监控信息这一路数据(音频)，工作时直接对采集到的音频进行检测分类，不需要其他额外音频输入，处理数据少，进一步提高同步效率；整体同步方法较人工方式，同步效率高。
本发明通过对预测出的帧标签序列进行进一步的归纳整合，以避免噪声、训练误差等不确定性因素的影响。本发明采用机车司机室现有的用于规范司机标准作业的监控装置来采集司机室监控信息，而不需要再配置其它声音端点检测模块等，从而降低整体成本。
附图说明
图1为本发明的方法在实施例的流程图。
图2为本发明中模型构建及训练流程图。
具体实施方式
以下结合说明书附图和具体实施例对本发明作进一步描述。
如图1所示，本实施例的机车司机室监控信息与LKJ监控信息的时间同步方法，包括步骤：
1)获取机车司机室监控信息，司机室监控信息包括监控音频或包含监控音频的监控视频；
2)提取机车司机室监控信息中的声音信号特征，输入至预先构建并训练好的声音事件检测模型中，输出LKJ声音信号标签序列；其中声音事件检测模型中预先设有声音信号特征与LKJ声音信号标签序列之间的映射关系；
3)对LKJ声音信号标签序列进行归纳整合，得到LKJ声音信号；
4)定位LKJ声音信号在司机室监控信息中的位置，将司机室监控信息与LKJ监控信息进行时间同步。
本发明通过预先构建并训练好声音事件检测模型，再对司机室监控信息中提取的声音信号特征进行检测及分类，实现司机室监控信息与LKJ监控信息的时间同步；由于采用了基于深度学习的声音事件检测技术，相比于语音识别技术更适用于去检测和分类LKJ声音信号；另外，上述同步方法基于预先构建并训练好的声音事件检测模型来实现，仅只需要司机室监控信息这一路数据(音频)即可完成同步，而不需要同时对司机室监控信息和LKJ监控信息进行采集及分析，所需要的处理数据少，处理速度快，进一步提高了同步效率。
本实施例中，在步骤2)中，声音事件检测模型输出为预测的LKJ声音信号标签序列，每一个标签对应输入音频的每一帧；其中标签序列是一个数字序列，0表示非LKJ声音信号帧，数字1～M分别代表第M种类型的LKJ声音信号，数字与声音类型存在相对应关系。
本实施例中，在步骤3)中，由于声音事件检测模型输出的结果是基于帧级别的标签序列，有噪声、训练误差等不确定性因素的存在，还需要对预测出的帧标签序列进行进一步的归纳整合，确定哪些帧能组成LKJ声音信号，对应的归纳整合的方法为：从头开始一帧一帧地遍历LKJ声音信号标签序列；假设遍历到第K个标签，如果此标签为0则跳过继续遍历第K+1个标签，其中标签0表示此帧非LKJ声音；如果此标签非0，则统计从此标签开始后面连续L个标签是否有超过P个与此标签相同，并进行判断：若有超过P个相同标签，则判定该连续L帧标签组成一个LKJ声音信号，遍历跳至第K+L+1个标签；若没有超过P个相同标签则跳过此标签，遍历跳至第K+1个标签；其中L的数值由LKJ声音信号的类型决定，不同类型的LKJ声音信号持续时间不同；P的数值视训练模块中的模型训练而定，训练的模型准确度越高P越高，在实践中采用P＝0.85*L(四舍五入)。
本实施例中，在步骤4)中，定位LKJ声音信号在司机室监控信息中的位置的过程为：经过对LKJ声音信号标签序列归纳整合后，找到司机室监控信息中所有LKJ声音信号的类型和所在时刻，即根据司机室监控信息的起始绝对时间，根据第一帧到当前帧的位置偏移推算出各LKJ声音信号的绝对时间；根据输入的LKJ监控信息，通过LKJ监控信息中LKJ声音信号的绝对时间信息匹配到其在司机室监控信息中的对应时间位置，从而完成机车司机室监控信息与LKJ监控信息的时间同步。
本实施例中，在步骤4)之后，还包括输出并存储同步文件：采用CSV文件格式来记录同步信息，该CSV文件的每一行按序对应LKJ监控信息中的每一个LKJ声音信号，每行的第一列为LKJ声音信号类型，第二列为LKJ声音信号出现的绝对时间，第三列为LKJ声音信号在司机室监控信息中出现的相对时间偏移。
如图2所示，本实施例中，在步骤2)中，声音事件检测模型的构建以及训练过程为：
2.1)获取LKJ声音训练数据；
2.2)对LKJ声音训练数据进行声音信号特征提取以及标注；
2.3)采用深度学习模型构建声音事件检测模型，并基于声音信号特征对声音事件检测模型进行训练。
本实施例中，在步骤2.1)中，LKJ声音训练数据均采集自日常行驶的机车驾驶室中，对应的采集设备为用来规范机车司机标准作业的监控设备，不需要额外配置声音检测设备，成本低；训练用的所有LKJ声音训练数据均由人工从原始采集到的音频流中截取，截取原则为包含该LKJ声音信号的全部波形且尽可能少的包含首位两端的其他无关声音波形。
本实施例中，在步骤2.2)中，采用梅尔倒谱系数MFCC作为每帧音频的特征表示，并以帧为单位对LKJ声音进行类别标注。其中原始的声音信号需要通过特征提取转为低维度的特征向量表示形式，常用的声音特征有梅尔倒谱系数(MFCC)，线性预测参数(LPCC)。本实施例采用MFCC作为每帧音频的特征表示，并以帧为单位对LKJ声音进行类别标注。比如，一个类型为“红黄灯”的LKJ声音信号通过MFCC特征提取后将被表示为N个有序的MFCC特征向量，每一个MFCC特征向量对应该“红黄灯”声音信号的一帧，标注的方法为将这N帧的MFCC特征向量都标注为同一类别，即N个连续的“红黄灯”标签。
本实施例中，在步骤2.3)中，深度学习模型包含多个串联的时延神经网络和一个人工神经网路分类器，同时还加入了tanh和relu激活函数作为非线性成分，以及dropout单元防止过拟合；串联的时延神经网络将输入的MFCC特征向量序列转换为深度表示向量序列，人工神经网络分类器则基于该深度表示向量序列预测每一帧MFCC特征向量对应的LKJ声音信号类型或非LKJ声音信号。
本实施例中，在步骤2.3)之后，还包括存储训练好的声音事件检测模型，以备调用。存储的模型格式视不同的深度学习框架而定，本实施例采用了Tensorflow作为模型搭建和训练框架。
本发明还公开了一种机车司机室监控信息与LKJ监控信息的时间同步系统，包括：
获取模块，用于获取机车司机室监控信息，司机室监控信息包括监控音频或包含监控音频的监控视频；
输出模块，用于提取机车司机室监控信息中的声音信号特征，输入至预先构建并训练好的声音事件检测模型中，输出LKJ声音信号标签序列；其中声音事件检测模型中预先设有声音信号特征与LKJ声音信号标签序列之间的映射关系；
归纳模块，用于对LKJ声音信号标签序列进行归纳整合，得到LKJ声音信号；
同步模块，用于定位LKJ声音信号在司机室监控信息中的位置，将司机室监控信息与LKJ监控信息进行时间同步。
本发明的机车司机室监控信息与LKJ监控信息的时间同步系统，用于执行如上同步方法，同样具有如上方法所述的优点。
当然，在其它实施例中，也可以将上述同步系统划分为训练模块和同步模块，其中训练模块负载基于已有LKJ声音信号数据库训练并生成声音事件检测模型(或声音事件检测深度学习模型)；同步模块则用于利用训练模块中训练并存储好的声音事件检测模型对机车司机室采集到的监控音频进行LKJ声音信号的检测与分类，输出LKJ监控信息中的LKJ声音信号在监控音频中出现的时间，实现时间同步。
本发明还公开了一种机车司机室监控信息与LKJ监控信息的时间同步装置，包括用于采集机车司机室监控信息的采集模块和如上所述的机车司机室监控信息与LKJ监控信息的时间同步系统，其中采集模块为机车司机室现有的LKJ列车运行监控装置。此同步装置同样具有如上同步系统所述的优点，而且采集模块采用机车司机室现有的用于规范司机标准作业的监控装置，而不需要再配置其它声音端点检测模块等，从而降低整体成本。
本发明进一步公开了一种计算机可读存储介质，其上存储有计算机程序，计算机程序在被处理器运行时执行如上所述的机车司机室监控信息与LKJ监控信息的时间同步方法的步骤。
本发明还公开了一种计算机设备，包括存储器和处理器，存储器上存储有计算机程序，计算机程序在被处理器运行时执行如上所述的机车司机室监控信息与LKJ监控信息的时间同步方法的步骤。
本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一个计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。存储器可用于存储计算机程序和/或模块，处理器通过运行或执行存储在存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现各种功能。存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart MediaCard,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其它易失性固态存储器件等。
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。
Claims (12)
1.一种机车司机室监控信息与LKJ监控信息的时间同步方法，其特征在于，包括步骤：
1)获取机车司机室监控信息，所述司机室监控信息包括监控音频或包含监控音频的监控视频；
2)提取机车司机室监控信息中的声音信号特征，输入至预先构建并训练好的声音事件检测模型中，输出LKJ声音信号标签序列；其中声音事件检测模型中预先设有声音信号特征与LKJ声音信号标签序列之间的映射关系；
3)对LKJ声音信号标签序列进行归纳整合，得到LKJ声音信号；
4)定位LKJ声音信号在司机室监控信息中的位置，将司机室监控信息与LKJ监控信息进行时间同步；
在步骤3)中，所述归纳整合的方法为：
从头开始一帧一帧地遍历LKJ声音信号标签序列；假设遍历到第K个标签，如果此标签为0则跳过继续遍历第K+1个标签，其中标签0表示此帧非LKJ声音；如果此标签非0，则统计从此标签开始后面连续L个标签是否有超过P个与此标签相同，并进行判断：若有超过P个相同标签，则判定该连续L帧标签组成一个LKJ声音信号，遍历跳至第K+L+1个标签；若没有超过P个相同标签则跳过此标签，遍历跳至第K+1个标签；
其中L的数值由LKJ声音信号的类型决定；P的数值由声音事件检测模型而定。
2.根据权利要求1所述的机车司机室监控信息与LKJ监控信息的时间同步方法，其特征在于，在步骤4)中，定位LKJ声音信号在司机室监控信息中的位置的过程为：
经过对LKJ声音信号标签序列归纳整合后，找到司机室监控信息中所有LKJ声音信号的类型和所在时刻，即根据司机室监控信息的起始绝对时间，根据第一帧到当前帧的位置偏移推算出各LKJ声音信号的绝对时间；
根据输入的LKJ监控信息，通过LKJ监控信息中LKJ声音信号的绝对时间信息匹配到其在司机室监控信息中的对应时间位置，从而完成机车司机室监控信息与LKJ监控信息的时间同步。
3.根据权利要求2所述的机车司机室监控信息与LKJ监控信息的时间同步方法，其特征在于，在步骤4)之后，还包括输出并存储同步文件：采用CSV文件格式来记录同步信息，该CSV文件的每一行按序对应LKJ监控信息中的每一个LKJ声音信号，每行的第一列为LKJ声音信号类型，第二列为LKJ声音信号出现的绝对时间，第三列为LKJ声音信号在司机室监控信息中出现的相对时间偏移。
4.根据权利要求1～3中任意一项所述的机车司机室监控信息与LKJ监控信息的时间同步方法，其特征在于，在步骤2)中，所述声音事件检测模型的构建以及训练过程为：
2.1)获取LKJ声音训练数据；
2.2)对LKJ声音训练数据进行声音信号特征提取以及标注；
2.3)采用深度学习模型构建声音事件检测模型，并基于声音信号特征对声音事件检测模型进行训练。
5.根据权利要求4所述的机车司机室监控信息与LKJ监控信息的时间同步方法，其特征在于，在步骤2.1)中，LKJ声音训练数据均采集自日常行驶的机车驾驶室中，对应的采集设备为用来规范机车司机标准作业的监控设备。
6.根据权利要求5所述的机车司机室监控信息与LKJ监控信息的时间同步方法，其特征在于，训练用的所有LKJ声音训练数据均由人工从原始采集到的音频流中截取，截取原则为包含该LKJ声音信号的全部波形且尽可能少的包含首位两端的其他无关声音波形。
7.根据权利要求4所述的机车司机室监控信息与LKJ监控信息的时间同步方法，其特征在于，在步骤2.2)中，采用梅尔倒谱系数MFCC作为每帧音频的特征表示，并以帧为单位对LKJ声音进行类别标注。
8.根据权利要求7所述的机车司机室监控信息与LKJ监控信息的时间同步方法，其特征在于，在步骤2.3)中，深度学习模型包含多个串联的时延神经网络和一个人工神经网路分类器，同时还加入了tanh和relu激活函数作为非线性成分，以及dropout单元防止过拟合；串联的时延神经网络将输入的MFCC特征向量序列转换为深度表示向量序列，人工神经网络分类器则基于该深度表示向量序列预测每一帧MFCC特征向量对应的LKJ声音信号类型或非LKJ声音信号。
9.一种机车司机室监控信息与LKJ监控信息的时间同步系统，用于执行如权利要求1-8中任意一项所述的机车司机室监控信息与LKJ监控信息的时间同步方法的步骤，其特征在于，包括：
获取模块，用于获取机车司机室监控信息，所述司机室监控信息包括监控音频或包含监控音频的监控视频；
输出模块，用于提取机车司机室监控信息中的声音信号特征，输入至预先构建并训练好的声音事件检测模型中，输出LKJ声音信号标签序列；其中声音事件检测模型中预先设有声音信号特征与LKJ声音信号标签序列之间的映射关系；
归纳模块，用于对LKJ声音信号标签序列进行归纳整合，得到LKJ声音信号；
同步模块，用于定位LKJ声音信号在司机室监控信息中的位置，将司机室监控信息与LKJ监控信息进行时间同步。
10.一种机车司机室监控信息与LKJ监控信息的时间同步装置，其特征在于，包括用于采集所述机车司机室监控信息的采集模块和如权利要求9所述的机车司机室监控信息与LKJ监控信息的时间同步系统，所述采集模块为机车司机室的监控装置。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序在被处理器运行时执行如权利要求1～8中任意一项所述的机车司机室监控信息与LKJ监控信息的时间同步方法的步骤。
12.一种计算机设备，包括存储器和处理器，所述存储器上存储有计算机程序，其特征在于，所述计算机程序在被处理器运行时执行如权利要求1～8中任意一项所述的机车司机室监控信息与LKJ监控信息的时间同步方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010485242.XA CN113763988B (zh) | 2020-06-01 | 2020-06-01 | 机车司机室监控信息与lkj监控信息的时间同步方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010485242.XA CN113763988B (zh) | 2020-06-01 | 2020-06-01 | 机车司机室监控信息与lkj监控信息的时间同步方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113763988A CN113763988A (zh) | 2021-12-07 |
| CN113763988B true CN113763988B (zh) | 2024-05-28 |
Family
ID=78782590
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010485242.XA Active CN113763988B (zh) | 2020-06-01 | 2020-06-01 | 机车司机室监控信息与lkj监控信息的时间同步方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113763988B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114387311B (zh) * | 2021-12-21 | 2024-06-25 | 国能新朔铁路有限责任公司 | Lkj文件与机车视频自动对时方法、装置和计算机设备 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN200959133Y (zh) * | 2006-06-23 | 2007-10-10 | 北京华韬致诚科技有限责任公司 | 一种用于机车语音记录和通讯的装置 |
| CN101364408A (zh) * | 2008-10-07 | 2009-02-11 | 西安成峰科技有限公司 | 一种声像联合的监控方法及系统 |
| JP2011217005A (ja) * | 2010-03-31 | 2011-10-27 | Saxa Inc | インターホンシステム、センター装置、および騒音除去方法 |
| CN104766605A (zh) * | 2015-04-23 | 2015-07-08 | 郑州畅想高科股份有限公司 | 一种机车录音装置和lkj监控装置间的时间同步系统和方法 |
| CN105843884A (zh) * | 2016-03-21 | 2016-08-10 | 西安银石科技发展有限责任公司 | 一种基于lkj及其音视频同步智能检索分析方法 |
| TWM534129U (en) * | 2016-09-12 | 2016-12-21 | jin-qing Shen | Traffic recorder for motorcycle and bicycle |
| CN106601241A (zh) * | 2016-12-26 | 2017-04-26 | 河南思维信息技术有限公司 | 一种录音文件自动校时方法 |
| CN107039039A (zh) * | 2017-06-08 | 2017-08-11 | 湖南中车时代通信信号有限公司 | 列车监控运行系统的基于语音的车载人机交互方法、装置 |
| CN108806723A (zh) * | 2018-05-21 | 2018-11-13 | 深圳市沃特沃德股份有限公司 | 婴儿语音识别方法及装置 |
| CN110223678A (zh) * | 2019-06-12 | 2019-09-10 | 苏州思必驰信息科技有限公司 | 语音识别方法及系统 |
| CN110827804A (zh) * | 2019-11-14 | 2020-02-21 | 福州大学 | 一种音频帧序列到事件标签序列的声音事件标注方法 |
| CN111161715A (zh) * | 2019-12-25 | 2020-05-15 | 福州大学 | 一种基于序列分类的特定声音事件检索与定位的方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040260550A1 (en) * | 2003-06-20 | 2004-12-23 | Burges Chris J.C. | Audio processing system and method for classifying speakers in audio data |
-
2020
- 2020-06-01 CN CN202010485242.XA patent/CN113763988B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN200959133Y (zh) * | 2006-06-23 | 2007-10-10 | 北京华韬致诚科技有限责任公司 | 一种用于机车语音记录和通讯的装置 |
| CN101364408A (zh) * | 2008-10-07 | 2009-02-11 | 西安成峰科技有限公司 | 一种声像联合的监控方法及系统 |
| JP2011217005A (ja) * | 2010-03-31 | 2011-10-27 | Saxa Inc | インターホンシステム、センター装置、および騒音除去方法 |
| CN104766605A (zh) * | 2015-04-23 | 2015-07-08 | 郑州畅想高科股份有限公司 | 一种机车录音装置和lkj监控装置间的时间同步系统和方法 |
| CN105843884A (zh) * | 2016-03-21 | 2016-08-10 | 西安银石科技发展有限责任公司 | 一种基于lkj及其音视频同步智能检索分析方法 |
| TWM534129U (en) * | 2016-09-12 | 2016-12-21 | jin-qing Shen | Traffic recorder for motorcycle and bicycle |
| CN106601241A (zh) * | 2016-12-26 | 2017-04-26 | 河南思维信息技术有限公司 | 一种录音文件自动校时方法 |
| CN107039039A (zh) * | 2017-06-08 | 2017-08-11 | 湖南中车时代通信信号有限公司 | 列车监控运行系统的基于语音的车载人机交互方法、装置 |
| CN108806723A (zh) * | 2018-05-21 | 2018-11-13 | 深圳市沃特沃德股份有限公司 | 婴儿语音识别方法及装置 |
| CN110223678A (zh) * | 2019-06-12 | 2019-09-10 | 苏州思必驰信息科技有限公司 | 语音识别方法及系统 |
| CN110827804A (zh) * | 2019-11-14 | 2020-02-21 | 福州大学 | 一种音频帧序列到事件标签序列的声音事件标注方法 |
| CN111161715A (zh) * | 2019-12-25 | 2020-05-15 | 福州大学 | 一种基于序列分类的特定声音事件检索与定位的方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于机器学习技术的机车音频文件自动分析系统的研究;汤立新;电子技术与软件工程(第18期);第123-124页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113763988A (zh) | 2021-12-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110390262A (zh) | 视频分析方法、装置、服务器及存储介质 | |
| CN107945198A (zh) | 用于标注点云数据的方法和装置 | |
| CN115828112B (zh) | 一种故障事件的响应方法、装置、电子设备及存储介质 | |
| WO2005101346A1 (ja) | 突発事象の記録・解析システム | |
| CN110533940B (zh) | 自动驾驶中异常交通信号灯识别的方法、装置和设备 | |
| CN110458214B (zh) | 驾驶员更换识别方法和装置 | |
| CN104766605A (zh) | 一种机车录音装置和lkj监控装置间的时间同步系统和方法 | |
| CN113763988B (zh) | 机车司机室监控信息与lkj监控信息的时间同步方法及系统 | |
| CN108492819A (zh) | 语言练习方法、装置、智能车载终端及存储介质 | |
| CN113269042B (zh) | 基于行驶车辆违章识别的智能交通管理方法及系统 | |
| CN113378646A (zh) | 一种货运列车信息识别系统及识别方法 | |
| CN110263623A (zh) | 列车攀爬监测方法、装置、终端及存储介质 | |
| CN207148928U (zh) | 铁路站台值班在岗监测系统及监测控制器、便携值班器 | |
| CN114723271A (zh) | 一种基于图像识别的输电工程质量检测方法及系统 | |
| CN112307842A (zh) | 用于列车运行监控记录文件匹配的视频识别系统及方法 | |
| CN112699942A (zh) | 一种运营车辆识别方法、装置、设备及存储介质 | |
| CN111179972A (zh) | 一种基于深度学习的人声检测算法 | |
| CN208848375U (zh) | 一种路试信息采集系统 | |
| CN114093392A (zh) | 音频标注方法、装置、设备及存储介质 | |
| CN112860527A (zh) | 应用服务器的故障监测方法及装置 | |
| CN209328044U (zh) | 基于语音辅助的关注点信息自动获取系统 | |
| CN111930813A (zh) | 一种以列车为统计单元的pis日志等效运行图生成方法 | |
| CN114518164A (zh) | 车辆故障诊断方法及系统 | |
| Bardeli et al. | Uninformed abnormal event detection on audio | |
| CN113220880B (zh) | 基于语义分析的交通事件评判方法、系统、终端及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |