发明内容
本发明的主要目的在于克服现有技术中的上述缺陷,提出一种基于运动图像识别的智能报站校验方法和系统,能够根据采集的图像进行深度神经网络学习,提前预测到站站点,与语音播报站点进行相互校验,避免通信故障造成的报站错误,提高报站系统的可靠性。
本发明的技术方案:
一种基于运动图像识别的智能报站校验方法,包括如下步骤:
检测到列车速度和加速度,响应于列车速度和加速度符合第一设定条件,触发图像获取终端,获取列车行进过程中的图像;
响应于列车速度和加速度符合第二设定条件,停止图像获取操作,得到图像集;
将图像集输入到训练好的神经网络模型中,预测到站站点;
将预测到站站点与预先存储的语音播报中的到站站点进行匹配,完成校验。
具体地,图像获取终端为列车前置摄像头。
具体地,将图像集输入到训练好的神经网络模型中之前,还包括:
将图像集输入到运动图像去重影网络模型中,所述去重影网络包括:表层特征提取模块、自适应残差模块、递归交叉注意力模块和特征重建模块;
采用表层特征提取模块对图像进行表层特征提取;
利用自适应残差模块对提取的表层特征进行融合特征学习,得到深层特征;
将深层特征输入到递归交叉注意力模块,得到全局性特征;
特征重建模块根据全局性特征进行图像重建,并结合全局跳跃连接得到去重影图像。
具体地,所述神经网络模型为改进的MobileNetV2网络模型,具体包括:特征提取层、全局平均池化层以及分类输出层,其中特征提取层包括29个卷积层,分类输出层为1280*2的全连接层和softmax层。
本发明实施例另一方面提供一种基于运动图像识别的智能报站校验系统,包括:
图像开始获取单元:检测到列车速度和加速度,响应于列车速度和加速度符合第一设定条件,触发图像获取终端,获取列车行进过程中的图像;
图像终止获取单元:响应于列车速度和加速度符合第二设定条件,停止图像获取操作,得到图像集;
预测站点单元:将图像集输入到训练好的神经网络模型中,预测到站站点;
检验单元:将预测到站站点与预先存储的语音播报中的到站站点进行匹配,完成校验。
具体地,所述图像开始获取单元中,图像获取终端为列车前置摄像头。
具体地,还包括运动图像去重影单元,具体为:
将图像集输入到运动图像去重影网络模型中,所述去重影网络包括:表层特征提取模块、自适应残差模块、递归交叉注意力模块和特征重建模块;
采用表层特征提取模块对图像进行表层特征提取;
利用自适应残差模块对提取的表层特征进行融合特征学习,得到深层特征;
将深层特征输入到递归交叉注意力模块,得到全局性特征;
特征重建模块根据全局性特征进行图像重建,并结合全局跳跃连接得到去重影图像。
具体地,所述预测站点单元中,神经网络模型为改进后的MobileNetV2网络模型,具体包括:特征提取层、全局平均池化层以及分类输出层,其中特征提取层包括26个卷积层,分类输出层为1280*2的全连接层和softmax层。
本发明再一实施例提供一种电子设备,包括:存储器,处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其中,所述处理器执行所述计算机程序时实现上述一种基于运动图像识别的智能报站校验方法步骤。
本发明又一实施例提供一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现实现上述一种基于运动图像识别的智能报站校验方法步骤。
由上述对本发明的描述可知,与现有技术相比,本发明具有如下有益效果:
(1)本发明提出了一种基于运动图像识别的智能报站校验方法,首先检测到列车速度和加速度,响应于列车速度和加速度符合第一设定条件,触发图像获取终端,获取列车行进过程中的图像;响应于列车速度和加速度符合第二设定条件,停止图像获取操作,得到图像集;将图像集输入到训练好的神经网络模型中,预测到站站点;将预测到站站点与预先存储的语音播报中的到站站点进行匹配,完成校验;本发明提供的方法,能够根据采集的图像进行深度神经网络学习,提前预测到站站点,与语音播报站点进行相互校验,避免通信故障造成的报站错误,提高报站系统的可靠性。
(2)本发明将图像集输入到运动图像去重影网络模型进行了去模糊操作,解决了运动模糊图像的非均匀性问题,去除伪影且获取更多的图像高频特征,重建出纹理细节丰富的高质量图像。
(3)本发明提出了改进MobilenetV2网络,一方面识别精度高,另一方面大幅减少multiply-adds(MAdd)的计算量,从而减少模型的参数量,降低内存占用,又提高模型的计算速度,适应嵌入式平台的应用。
具体实施方式
以下通过具体实施方式对本发明作进一步的描述。
本发明提出了一种基于运动图像识别的智能报站校验方法,能够根据采集的图像进行深度神经网络学习,提前预测到站站点,与语音播报站点进行相互校验,避免通信故障造成的报站错误,提高报站系统的可靠性。
如图1,为本发明实施例提供的一种基于运动图像识别的智能报站校验方法,具体包括:
一种基于运动图像识别的智能报站校验方法,包括如下步骤:
S101:检测到列车速度和加速度,响应于列车速度和加速度符合第一设定条件,触发图像获取终端,获取列车行进过程中的图像;
检测列车速度和加速度,当检测到列车加速度为负值时,且速度到达设定速度阈值时,实施例中该值为10m/s,10m/s的数值是通过对不同站点进行多次实验获取的,当然也根据实际运行站点以及要求精度设定速度阈值。当加速度为负值时,说明列车在减速,这是列车即将到站的准确信号,但列车刚开始减速时,距离站点还有一定的距离,此外,需要说明的一点是在离站点较近的区域,列车隧道才会呈现不同的特点,而距离站点还有一定的距离时就开始采集图像,会获取很多无效图像,因此还设定速度条件,在距离站点较近范围内开始采集图像,这样保证图像的有效性,从而确定站点预测的准确性。
S102:响应于列车速度和加速度符合第二设定条件,停止图像获取操作,得到图像集;
列车一般在开门前就开始播报站点的名称,因此,需要在播报站点前,对即将到达的站点进行预测;当检测到列车加速度小于0,速度小于3m/s时,图像获取终端停止图像获取操作,得到一系列图像集。
具体地,图像获取终端为列车前置摄像头。
S103:将图像集输入到训练好的神经网络模型中,预测到站站点;
具体地,所述神经网络模型为改进的MobileNetV2网络模型,具体包括:特征提取层、全局平均池化层以及分类输出层,其中特征提取层包括29个卷积层,分类输出层为1280*2的全连接层和softmax层。
第1个卷积层是24个大小为3*3*3的卷积核,步长为2,输入图像大小为4482 *3,输出图像大小为2242 *32的特征图;
第29个卷积层是1280个1*1*384的逐点卷积,步长为1,输出大小为282 *1280的特征图;
其中第2-28个卷积层,每3个一组,一共为9组,每组中均包括可分离卷积的扩展通道逐个卷积层、深度卷积、线性逐个卷积。
全局平均池化层大小为28*28,输出大小为12 *1280的特征图。
训练改进的MobilenetV2模型具体步骤:
首先对原始MobilenetV2网络改进;然后对网络参数进行初始化。采用SGD优化器,用本发明实施例所收集和处理的列车行进过程中采集的图像数据集在模型中进行训练,此时网络中对应权重参数也随之发生改变。当模型的识别率较高时,停止该训练,得到训练好的改进MobilenetV2模型。
具体地,将图像集输入到训练好的神经网络模型中之前,还包括:
将图像集输入到运动图像去重影网络模型中,所述去重影网络包括:表层特征提取模块、自适应残差模块、递归交叉注意力模块和特征重建模块;
采用表层特征提取模块对图像进行表层特征提取;表层特征提取模块M e 设有一个7×7卷积层和两个3×3的卷积层,在每个卷积层后面都加入实例归一化和ReLU函数。
利用自适应残差模块对提取的表层特征进行融合特征学习,得到深层特征;自适应残差过程包括形变卷积模块和通道注意力模块组成且输入和输出之间又通过短跳连接SSC进行联系;
将深层特征输入到递归交叉注意力模块,得到全局性特征;
特征重建模块根据全局性特征进行图像重建,并结合全局跳跃连接得到去重影图像,特征重建模块设有转置卷积和7×7卷积,转置卷积后面加入实例归一化和ReLU,采用tanh作为激活函数。
S104:将预测到站站点与预先存储的语音播报中的到站站点进行匹配,完成校验。
如图2,本发明实施例另一方面提供一种基于运动图像识别的智能报站校验系统,包括:
图像开始获取单元201:检测到列车速度和加速度,响应于列车速度和加速度符合第一设定条件,触发图像获取终端,获取列车行进过程中的图像;
检测列车速度和加速度,当检测到列车加速度为负值时,且速度到达设定速度阈值时,实施例中该值为10m/s,10m/s的数值是通过对不同站点进行多次实验获取的,当然也根据实际运行站点以及要求精度设定速度阈值。当加速度为负值时,说明列车在减速,这是列车即将到站的准确信号,但列车刚开始减速时,距离站点还有一定的距离,此外,需要说明的一点是在离站点较近的区域,列车隧道才会呈现不同的特点,而距离站点还有一定的距离时就开始采集图像,会获取很多无效图像,因此还设定速度条件,在距离站点较近范围内开始采集图像,这样保证图像的有效性,从而确定站点预测的准确性。
图像终止获取单元202:响应于列车速度和加速度符合第二设定条件,停止图像获取操作,得到图像集;
列车一般在开门前就开始播报站点的名称,因此,需要在播报站点前,对即将到达的站点进行预测;当检测到列车加速度小于0,速度小于3m/s时,图像获取终端停止图像获取操作,得到一系列图像集。
具体地,图像获取终端为列车前置摄像头。
预测站点单元203:将图像集输入到训练好的神经网络模型中,预测到站站点;
具体地,所述神经网络模型为改进的MobileNetV2网络模型,具体包括:特征提取层、全局平均池化层以及分类输出层,其中特征提取层包括29个卷积层,分类输出层为1280*2的全连接层和softmax层。
第1个卷积层是24个大小为3*3*3的卷积核,步长为2,输入图像大小为4482 *3,输出图像大小为2242 *32的特征图;
第29个卷积层是1280个1*1*384的逐点卷积,步长为1,输出大小为282 *1280的特征图;
其中第2-28个卷积层,每3个一组,一共为9组,每组中均包括可分离卷积的扩展通道逐个卷积层、深度卷积、线性逐个卷积。
全局平均池化层大小为28*28,输出大小为12 *1280的特征图。
训练改进的MobilenetV2模型具体步骤:
首先对原始MobilenetV2网络改进;然后对网络参数进行初始化。采用SGD优化器,用本发明实施例所收集和处理的列车行进过程中采集的图像数据集在模型中进行训练,此时网络中对应权重参数也随之发生改变。当模型的识别率较高时,停止该训练,得到训练好的改进MobilenetV2模型。
检验单元204:将预测到站站点与预先存储的语音播报中的到站站点进行匹配,完成校验。
此外,还包括运动图像去重影单元:
将图像集输入到运动图像去重影网络模型中,所述去重影网络包括:表层特征提取模块、自适应残差模块、递归交叉注意力模块和特征重建模块;
采用表层特征提取模块对图像进行表层特征提取;表层特征提取模块M e 设有一个7×7卷积层和两个3×3的卷积层,在每个卷积层后面都加入实例归一化和ReLU函数。
利用自适应残差模块对提取的表层特征进行融合特征学习,得到深层特征;自适应残差过程包括形变卷积模块和通道注意力模块组成且输入和输出之间又通过短跳连接SSC进行联系;
将深层特征输入到递归交叉注意力模块,得到全局性特征;
特征重建模块根据全局性特征进行图像重建,并结合全局跳跃连接得到去重影图像,特征重建模块设有转置卷积和7×7卷积,转置卷积后面加入实例归一化和ReLU,采用tanh作为激活函数。
如图3所示,本发明实施例提供了一种电子设备300,包括存储器310、处理器320及存储在存储器320上并可在处理器320上运行的计算机程序311,处理器320执行计算机程序311时实现本发明实施例提供的一种基于运动图像识别的智能报站校验方法。
在具体实施过程中,处理器320执行计算机程序311时,可以实现图1对应的实施例中任一实施方式。
由于本实施例所介绍的电子设备为实施本发明实施例中一种数据处理装置所采用的设备,故而基于本发明实施例中所介绍的方法,本领域所属技术人员能够了解本实施例的电子设备的具体实施方式以及其各种变化形式,所以在此对于该电子设备如何实现本发明实施例中的方法不再详细介绍,只要本领域所属技术人员实施本发明实施例中的方法所采用的设备,都属于本发明所欲保护的范围。
请参阅图4,图4为本发明实施例提供的一种计算机可读存储介质的实施例示意图。
如图4所示,本实施例提供了一种计算机可读存储介质400,其上存储有计算机程序411,该计算机程序411被处理器执行时实现本发明实施例提供的一种基于运动图像识别的智能报站校验方法;
在具体实施过程中,该计算机程序411被处理器执行时可以实现图1对应的实施例中任一实施方式。
需要说明的是,在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详细描述的部分,可以参见其它实施例的相关描述。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明提出了一种基于运动图像识别的智能报站校验方法,首先检测到列车速度和加速度,响应于列车速度和加速度符合第一设定条件,触发图像获取终端,获取列车行进过程中的图像;响应于列车速度和加速度符合第二设定条件,停止图像获取操作,得到图像集;将图像集输入到训练好的神经网络模型中,预测到站站点;将预测到站站点与预先存储的语音播报中的到站站点进行匹配,完成校验;本发明提供的方法,能够根据采集的图像进行深度神经网络学习,提前预测到站站点,与语音播报站点进行相互校验,避免通信故障造成的报站错误,提高报站系统的可靠性。
本发明将图像集输入到运动图像去重影网络模型进行了去模糊操作,解决了运动模糊图像的非均匀性问题,去除伪影且获取更多的图像高频特征,重建出纹理细节丰富的高质量图像。
本发明提出了改进MobilenetV2网络,一方面识别精度高,另一方面大幅减少multiply-adds(MAdd)的计算量,从而减少模型的参数量,降低内存占用,又提高模型的计算速度,适应嵌入式平台的应用。
上述仅为本发明的具体实施方式,但本发明的设计构思并不局限于此,凡利用此构思对本发明进行非实质性的改动,均应属于侵犯本发明保护范围行为。