CN114677757A - 一种轨道车辆行车手语识别算法 - Google Patents

Abstract

本发明公开了一种轨道车辆行车手语识别算法，包括：S1、创建手语识别基础模板数据库，作为后续后续实际识别到手语的依据；S2、在轨道车辆上安装动态图像监测系统，用于实时采集轨道车辆指定范围内的动态图像；S3、将动态图像监测系统获取的待识别手语视频划分为若干组子视频，并对各个所述子视频进行特征提取；S4、将子视频对应的时序特征数据与所述手语识别基础模板数据库中的数据进行对比，通过计算相似度进行结果输出；S5、将输出结果传输至现场控制室，现场控制室生成记录日志，并且现场控制室将记录日志传输至远程控制室保存。本发明结合目前地铁智能运行系统能实现智能运行系统根据指挥员的手语进行运动。

Description

一种轨道车辆行车手语识别算法

技术领域

本发明涉及手语识别技术领域，具体涉及一种轨道车辆行车手语识别算法。

背景技术

地铁是在城市中修建的快速、大运量、用电力牵引的轨道交通。列车在全封闭的线路上运行，位于中心城区的线路基本设在地下隧道内，中心城区以外的线路一般设在高架桥或地面上。

随着智能化的发展，现有的地铁越来越趋近于无人智能化操作，在地铁的运行过程中，在某些特定的情况下，智能运行系统需要根据指挥员的手语进行运动，目前的的技术在此情况下均是切换为驾驶员人工操控，智能运行系统无法根据指挥员的手语进行运动，因此，我们提出一种轨道车辆行车手语识别算法。

发明内容

本发明的目的在于提供一种轨道车辆行车手语识别算法，该算法结合目前地铁智能运行系统能实现智能运行系统根据指挥员的手语进行运动，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种轨道车辆行车手语识别算法，包括：

S1、创建手语识别基础模板数据库，作为后续后续实际识别到手语的依据；

S2、在轨道车辆上安装动态图像监测系统，用于实时采集轨道车辆指定范围内的动态图像，所述动态图像监测系统由轨边基本检测单元、现场控制室、远程控制室三部分组成；

S3、将动态图像监测系统获取的待识别手语视频划分为若干组子视频，并对各个所述子视频进行特征提取，得到与每个所述子视频对应的特征数据，然后对各个所述特征数据进行编码，以生成与每个所述子视频对应的时序特征数据；

S4、将子视频对应的时序特征数据与所述手语识别基础模板数据库中的数据进行对比，通过计算相似度进行结果输出，所述结果输出包括如下情况：

1)子视频对应的时序特征数据与所述手语识别基础模板数据库中的数据相似度≥90％，直接判定与所述手语识别基础模板数据库中的数据相同，进行结果输出；

2)子视频对应的时序特征数据与所述手语识别基础模板数据库中的数据相似度＜90％且≥70％，将结果输出至远程控制室，通过人工进行二次确定，然后进行结果输出；

3)子视频对应的时序特征数据与所述手语识别基础模板数据库中的数据相似度＜70％，直接判定与所述手语识别基础模板数据库中的数据不相同，不进行结果输出；

S5、将输出结果传输至现场控制室，现场控制室生成记录日志，并且现场控制室将记录日志传输至远程控制室保存。

优选的，步骤S3中所述的手语视频划分子视频，包括：

调用预先设置的滑动窗，按预设的步长，从所述待识别手语视频的起始端依次提取与所述滑动窗的窗长匹配的子视频，所述窗长大于所述步长。

优选的，步骤S4中所述的子视频对应的时序特征数据与所述手语识别基础模板数据库中的数据的对比方法为：

1)将每个所述时序特征数据分别与预设的各个自然语言单词进行匹配，得到每个所述时序特征数据分别与各个所述自然语言单词对应的自然语言概率分布；

2)基于所述概率分布确定与待识别视频对应的各个自然语言数据的第一概率值；

3)将各个所述第一概率值组成第一输出结果；

所述在所述第一输出结果中，按各个所述第一概率值由大至小的顺序，选取预设数目的自然语言数据，包括：

依据第一概率值的大小，对所述第一输出结果中的各个第一概率值进行排序，并由大至小的选取预设数目的所述第一概率值，确定已选取的各个所述第一概率值分别对应的自然语言数据。

优选的，所述轨边基本检测单元包括获取单元，所述获取单元包括：图像采集单元、预处理单元、图像分割处理单元；

所述图像采集单元能够对摄像头模组进行多角度采集图像；

所述预处理单元，用于提取摄像头模组图像；

所述图像分割处理单元，用于对摄像头模组图像进行分割，将摄像头模组图像分割成若干个摄像头模组局部图像，并标记；

还包括：

调节单元，用于不同角度下摄像头模组图像的摄像头模组局部图像匹配对应，并进行视觉缺陷检测，输出检测结果。

所述现场控制中心位于现场设备间，实现对轨边基本检测单元的控制、数据和图像的采集、分析处理、存储，同时与远程控制中心进行通讯，所述现场控制中心由配电箱、控制箱、工控机、通讯箱、UPS设备组成，所述现场控制中心与所述远程控制中心采用远程传输通道通信连接，所述远程控制中心内设存储模块，用于存储所述现场控制室生成记录日志。

优选的，所述手语识别基础模板数据库包括：

识别特征库和算法识别模板，对采集到的手语数据依次进行平滑滤波、归一化、起止点判断操作，对预处理后的数据按照特征库提取具体特征，使用聚类算法将特征分类，将分类结果与输入数据的实际含义比较，每个特征将单独给出识别率，当识别率在k-means聚类算法、k-medoids聚类算法、k-medians聚类算法、高斯混合模型的聚类算法组成的四种算法中三种以上算法中分别超过70％时认为特征可用，保留特征，所有保留的特征组成识别特征库，识别特征库按加速度数据、角度数据、角速度数据和肌电数据分开保存；

使用三层神经网络对提取到的特征进行算法识别，三层神经网络算法将数据的特征融合识别，并针对一组手语数据得到一个识别结果，三层神经网络算法根据识别结果与输入数据的实际含义的偏差修改三层神经网络算法参数，在最终识别正确率大于70％时结束参数修改，保存此时的算法识别模板。

优选的，所述起止点判断操作具体为：

对10个数据为一组手语的数据分组罗列对应分为10组数据，起始点判断为某一时刻将10组数据中的对应的数据提出，将每组提出的数据的值与该组之前的第20个数据值做差值，如果有任一组的所述差值的绝对值大于0.3，则将该时刻判定为起始点，在起始点后，提取另一时刻10组数据中的对应的数据并将每组提出的数据的值与该组之后的第15个数据值做差值，如果所有组的差值的绝对值均大于0.12并在所述另一时刻后80个数据内均满足数据值与该数据之后第15个数据值的差值的绝对值小于0.12，则判断该时刻为结束点。

优选的，所述轨边基本检测单元还包括：

照明单元，所述照明单元由若干组照明装置组成的照明网络，所述照明装置都设置有主控板，所述照明网络中分布有若干组人体感应装置，所述人体感应装置将感应信息反馈给其所在照明装置中的主控板，所述人体感应装置的分布方式使人体在照明网络所照射的任一位置都能由人体感应装置感应其所处的位置。

综上所述，由于采用了上述技术，本发明的有益效果是：

本发明结合目前地铁智能运行系统能实现智能运行系统根据指挥员的手语进行运动；

在上述效果的基础上，本发明利用神经网络的非线性映射能力建立手语识别模型，不但提高了可识别手语数据量和准确度，还加强了手语识别的稳定性和容错性；

在上述效果的基础上，本发明照明单元确保了在夜间行车时也能准确的识别指挥员的手语；

在上述效果的基础上，本发明通过采集子视频对应的时序特征数据与手语识别基础模板数据库中的数据进行对比，通过相似度输出结果，并且在相似度趋于中间值时，通过人工进行二次确定，进一步确保了识别的准确。

附图说明

图1为本发明轨道车辆行车手语识别算法流程图；

图2为本发明动态图像监测系统框图。

具体实施方式

为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。因此，以下对在附图中提供的本发明的实施方式的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。

本发明提供了如图1所示的，一种轨道车辆行车手语识别算法，包括：

S1、创建手语识别基础模板数据库，作为后续后续实际识别到手语的依据；

手语识别基础模板数据库包括：

识别特征库和算法识别模板，对采集到的手语数据依次进行平滑滤波、归一化、起止点判断操作，对预处理后的数据按照特征库提取具体特征，使用聚类算法将特征分类，将分类结果与输入数据的实际含义比较，每个特征将单独给出识别率，当识别率在k-means聚类算法、k-medoids聚类算法、k-medians聚类算法、高斯混合模型的聚类算法组成的四种算法中三种以上算法中分别超过70％时认为特征可用，保留特征，所有保留的特征组成识别特征库，识别特征库按加速度数据、角度数据、角速度数据和肌电数据分开保存；

进一步的，使用三层神经网络对提取到的特征进行算法识别，三层神经网络算法将数据的特征融合识别，并针对一组手语数据得到一个识别结果，三层神经网络算法根据识别结果与输入数据的实际含义的偏差修改三层神经网络算法参数，在最终识别正确率大于70％时结束参数修改，保存此时的算法识别模板，利用神经网络的非线性映射能力建立手语识别模型，不但提高了可识别手语数据量和准确度，还加强了手语识别的稳定性和容错性；

示例性的，起止点判断操作具体为：

对10个数据为一组手语的数据分组罗列对应分为10组数据，起始点判断为某一时刻将10组数据中的对应的数据提出，将每组提出的数据的值与该组之前的第20个数据值做差值，如果有任一组的差值的绝对值大于0.3，则将该时刻判定为起始点，在起始点后，提取另一时刻10组数据中的对应的数据并将每组提出的数据的值与该组之后的第15个数据值做差值，如果所有组的差值的绝对值均大于0.12并在另一时刻后80个数据内均满足数据值与该数据之后第15个数据值的差值的绝对值小于0.12，则判断该时刻为结束点；

S2、在轨道车辆上安装动态图像监测系统，用于实时采集轨道车辆指定范围内的动态图像；

具体的，如图2所示，动态图像监测系统由轨边基本检测单元、现场控制室、远程控制室三部分组成；

轨边基本检测单元包括获取单元，获取单元包括：图像采集单元、预处理单元、图像分割处理单元；

图像采集单元能够对摄像头模组进行多角度采集图像；

预处理单元，用于提取摄像头模组图像；

图像分割处理单元，用于对摄像头模组图像进行分割，将摄像头模组图像分割成若干个摄像头模组局部图像，并标记；

还包括：

调节单元，用于不同角度下摄像头模组图像的摄像头模组局部图像匹配对应，并进行视觉缺陷检测，输出检测结果；

轨边基本检测单元还包括：

照明单元，照明单元由五组照明装置组成的照明网络，照明装置都设置有主控板，照明网络中分布有五组人体感应装置，人体感应装置将感应信息反馈给其所在照明装置中的主控板，人体感应装置的分布方式使人体在照明网络所照射的任一位置都能由人体感应装置感应其所处的位置，照明单元确保了在夜间行车时也能准确的识别指挥员的手语；

进一步的，现场控制中心位于现场设备间，实现对轨边基本检测单元的控制、数据和图像的采集、分析处理、存储，同时与远程控制中心进行通讯，现场控制中心由配电箱、控制箱、工控机、通讯箱、UPS设备组成，现场控制中心与远程控制中心采用远程传输通道通信连接，远程控制中心内设存储模块，用于存储现场控制室生成记录日志；

S3、将动态图像监测系统获取的待识别手语视频划分为五组子视频，并对各个子视频进行特征提取，得到与每个子视频对应的特征数据，然后对各个特征数据进行编码，以生成与每个子视频对应的时序特征数据；

具体的，步骤S3中的手语视频划分子视频，包括：

调用预先设置的滑动窗，按预设的步长，从待识别手语视频的起始端依次提取与滑动窗的窗长匹配的子视频，窗长大于步长；

通过采集子视频对应的时序特征数据与手语识别基础模板数据库中的数据进行对比，通过相似度输出结果，并且在相似度趋于中间值时，通过人工进行二次确定，进一步确保了识别的准确；

S4、将子视频对应的时序特征数据与手语识别基础模板数据库中的数据进行对比，通过计算相似度进行结果输出，结果输出包括如下情况：

1)子视频对应的时序特征数据与手语识别基础模板数据库中的数据相似度≥90％，直接判定与手语识别基础模板数据库中的数据相同，进行结果输出；

2)子视频对应的时序特征数据与手语识别基础模板数据库中的数据相似度＜90％且≥70％，将结果输出至远程控制室，通过人工进行二次确定，然后进行结果输出；

可选的，作为替换方案，当相似度＜90％且≥70％时，在传输至人工进行二次确定的同时，进行从新动态图像采集、子视频划分和特征提取，并进行二次计算；

3)子视频对应的时序特征数据与手语识别基础模板数据库中的数据相似度＜70％，直接判定与手语识别基础模板数据库中的数据不相同，不进行结果输出；

步骤S4中的子视频对应的时序特征数据与手语识别基础模板数据库中的数据的对比方法为：

1)将每个时序特征数据分别与预设的各个自然语言单词进行匹配，得到每个时序特征数据分别与各个自然语言单词对应的自然语言概率分布；

2)基于概率分布确定与待识别视频对应的各个自然语言数据的第一概率值；

3)将各个第一概率值组成第一输出结果；

在第一输出结果中，按各个第一概率值由大至小的顺序，选取预设数目的自然语言数据，包括：

依据第一概率值的大小，对第一输出结果中的各个第一概率值进行排序，并由大至小的选取预设数目的第一概率值，确定已选取的各个第一概率值分别对应的自然语言数据。

S5、将输出结果传输至现场控制室，现场控制室生成记录日志，并且现场控制室将记录日志传输至远程控制室保存。

本发明结合目前地铁智能运行系统能实现智能运行系统根据指挥员的手语进行运动。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

Claims (8)

1.一种轨道车辆行车手语识别算法，其特征在于，包括：

S1、创建手语识别基础模板数据库，作为后续后续实际识别到手语的依据；

S2、在轨道车辆上安装动态图像监测系统，用于实时采集轨道车辆指定范围内的动态图像，所述动态图像监测系统由轨边基本检测单元、现场控制室、远程控制室三部分组成；

S3、将动态图像监测系统获取的待识别手语视频划分为若干组子视频，并对各个所述子视频进行特征提取，得到与每个所述子视频对应的特征数据，然后对各个所述特征数据进行编码，以生成与每个所述子视频对应的时序特征数据；

S4、将子视频对应的时序特征数据与所述手语识别基础模板数据库中的数据进行对比，通过计算相似度进行结果输出，所述结果输出包括如下情况：

1)子视频对应的时序特征数据与所述手语识别基础模板数据库中的数据相似度≥90％，直接判定与所述手语识别基础模板数据库中的数据相同，进行结果输出；

2)子视频对应的时序特征数据与所述手语识别基础模板数据库中的数据相似度＜90％且≥70％，将结果输出至远程控制室，通过人工进行二次确定，然后进行结果输出；

3)子视频对应的时序特征数据与所述手语识别基础模板数据库中的数据相似度＜70％，直接判定与所述手语识别基础模板数据库中的数据不相同，不进行结果输出；

S5、将输出结果传输至现场控制室，现场控制室生成记录日志，并且现场控制室将记录日志传输至远程控制室保存。

2.根据权利要求1所述的一种轨道车辆行车手语识别算法，其特征在于：步骤S3中所述的手语视频划分子视频，包括：

调用预先设置的滑动窗，按预设的步长，从所述待识别手语视频的起始端依次提取与所述滑动窗的窗长匹配的子视频，所述窗长大于所述步长。

3.根据权利要求1所述的一种轨道车辆行车手语识别算法，其特征在于：步骤S4中所述的子视频对应的时序特征数据与所述手语识别基础模板数据库中的数据的对比方法为：

1)将每个所述时序特征数据分别与预设的各个自然语言单词进行匹配，得到每个所述时序特征数据分别与各个所述自然语言单词对应的自然语言概率分布；

2)基于所述概率分布确定与待识别视频对应的各个自然语言数据的第一概率值；

3)将各个所述第一概率值组成第一输出结果；

所述在所述第一输出结果中，按各个所述第一概率值由大至小的顺序，选取预设数目的自然语言数据，包括：

依据第一概率值的大小，对所述第一输出结果中的各个第一概率值进行排序，并由大至小的选取预设数目的所述第一概率值，确定已选取的各个所述第一概率值分别对应的自然语言数据。

4.根据权利要求1所述的一种轨道车辆行车手语识别算法，其特征在于：所述轨边基本检测单元包括获取单元，所述获取单元包括：图像采集单元、预处理单元、图像分割处理单元；

所述图像采集单元能够对摄像头模组进行多角度采集图像；

所述预处理单元，用于提取摄像头模组图像；

所述图像分割处理单元，用于对摄像头模组图像进行分割，将摄像头模组图像分割成若干个摄像头模组局部图像，并标记；

还包括：

调节单元，用于不同角度下摄像头模组图像的摄像头模组局部图像匹配对应，并进行视觉缺陷检测，输出检测结果。

5.根据权利要求1所述的一种轨道车辆行车手语识别算法，其特征在于：所述现场控制中心位于现场设备间，实现对轨边基本检测单元的控制、数据和图像的采集、分析处理、存储，同时与远程控制中心进行通讯，所述现场控制中心由配电箱、控制箱、工控机、通讯箱、UPS设备组成，所述现场控制中心与所述远程控制中心采用远程传输通道通信连接，所述远程控制中心内设存储模块，用于存储所述现场控制室生成记录日志。

6.根据权利要求1所述的一种轨道车辆行车手语识别算法，其特征在于：所述手语识别基础模板数据库包括：

识别特征库和算法识别模板，对采集到的手语数据依次进行平滑滤波、归一化、起止点判断操作，对预处理后的数据按照特征库提取具体特征，使用聚类算法将特征分类，将分类结果与输入数据的实际含义比较，每个特征将单独给出识别率，当识别率在k-means聚类算法、k-medoids聚类算法、k-medians聚类算法、高斯混合模型的聚类算法组成的四种算法中三种以上算法中分别超过70％时认为特征可用，保留特征，所有保留的特征组成识别特征库，识别特征库按加速度数据、角度数据、角速度数据和肌电数据分开保存；

使用三层神经网络对提取到的特征进行算法识别，三层神经网络算法将数据的特征融合识别，并针对一组手语数据得到一个识别结果，三层神经网络算法根据识别结果与输入数据的实际含义的偏差修改三层神经网络算法参数，在最终识别正确率大于70％时结束参数修改，保存此时的算法识别模板。

7.根据权利要求6所述的一种轨道车辆行车手语识别算法，其特征在于：所述起止点判断操作具体为：

对10个数据为一组手语的数据分组罗列对应分为10组数据，起始点判断为某一时刻将10组数据中的对应的数据提出，将每组提出的数据的值与该组之前的第20个数据值做差值，如果有任一组的所述差值的绝对值大于0.3，则将该时刻判定为起始点，在起始点后，提取另一时刻10组数据中的对应的数据并将每组提出的数据的值与该组之后的第15个数据值做差值，如果所有组的差值的绝对值均大于0.12并在所述另一时刻后80个数据内均满足数据值与该数据之后第15个数据值的差值的绝对值小于0.12，则判断该时刻为结束点。

8.根据权利要求4所述的一种轨道车辆行车手语识别算法，其特征在于：所述轨边基本检测单元还包括：

照明单元，所述照明单元由若干组照明装置组成的照明网络，所述照明装置都设置有主控板，所述照明网络中分布有若干组人体感应装置，所述人体感应装置将感应信息反馈给其所在照明装置中的主控板，所述人体感应装置的分布方式使人体在照明网络所照射的任一位置都能由人体感应装置感应其所处的位置。

Images