CN107463887A - 列车驾驶员手势智能检查系统及智能检查方法 - Google Patents

列车驾驶员手势智能检查系统及智能检查方法 Download PDF

Info

Publication number
CN107463887A
CN107463887A CN201710598074.3A CN201710598074A CN107463887A CN 107463887 A CN107463887 A CN 107463887A CN 201710598074 A CN201710598074 A CN 201710598074A CN 107463887 A CN107463887 A CN 107463887A
Authority
CN
China
Prior art keywords
modules
gesture
database
lbp
train driver
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710598074.3A
Other languages
English (en)
Inventor
展华益
吴郢
百维布新哈
邵小宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Changhong Electric Co Ltd
Original Assignee
Sichuan Changhong Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Changhong Electric Co Ltd filed Critical Sichuan Changhong Electric Co Ltd
Priority to CN201710598074.3A priority Critical patent/CN107463887A/zh
Publication of CN107463887A publication Critical patent/CN107463887A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种列车驾驶员手势智能检查系统，包括：顺序相连的图像获取模块，无线传输模块，云服务器和报告模块，所述云服务器包括DPM模块，LBP模块，CNN模块、REST APT模块和数据库，所述图像获取模块通过无线传输模块与DPM模块相连，DPM模块与LBP模块和数据库相连，LBP模块也与数据库相连，从数据库获取数据，LBP模块与CNN模块相连，CNN模块将识别结果传送到数据库，数据库通过REST APT模块将报告输出到报告模块。本发明还公开了一种列车驾驶员手势智能检查方法。本发明减少检查操作的对人的依赖，消除由于单调枯燥的工作导致的人为错误，不受人为因素的影响。提高列车运行的安全性。

Description

列车驾驶员手势智能检查系统及智能检查方法
技术领域
本发明属于人工智能检测与识别技术领域，具体涉及一种列车驾驶员手势智能检查系统及智能检查方法。
背景技术
安全始终是中国铁路运行的头等大事，为了实现安全目标，中国铁路定义的一套用于铁路安全的手语。在驾驶列车过程中，列车司机需要时刻保持专注，当看到道路标志或者接收到来自控制中心的指令时，必须即时做出相应的手势。这些行为通过驾驶舱中的摄像头进行采集，当列车到达目的地时，记录的视频将由铁路控制中心进行检查，并生成一份检查报告，记录在整个列车行驶过程中的手势执行情况。目前通过检察人员人眼快速浏览视频来检查司机手势执行情况，人工检查费时费力，且容易出错。为了解决这些问题，我们开发了列车驾驶员手势智能检查系统用于监测火车司机的行为，并实时反馈给铁路控制中心。需要识别的手势有5种，如附图1所示。
发明内容
本发明旨在解决列车驾驶员手势检查中人工方式费时费力，以及单调枯燥的工作导致人为错误的问题，创新地开发了一种列车驾驶员手势智能检查系统及智能检查方法。
本发明是这样实现的：
一种列车驾驶员手势智能检查系统，包括：顺序相连的图像获取模块，无线传输模块，云服务器和报告模块，所述云服务器包括DPM模块，LBP模块，CNN模块、REST APT模块和数据库，所述图像获取模块通过无线传输模块与DPM模块相连，DPM模块与LBP模块和数据库相连，LBP模块也与数据库相连，从数据库获取数据，LBP模块与CNN模块相连，CNN模块将识别结果传送到数据库，数据库通过REST APT模块将报告输出到报告模块。
更进一步的方案是：
所述图像获取模块为IP相机，作为更优的一个方案，所述图像获取模块为采用鱼眼镜头的IP相机，用于增大视角范围。
所述无线传输模块能够将通过IP相机采集的视频数据传输至云服务器。
所述的云服务器用于接收视频数据，对视频数据进行处理，通过REST API模块向其他设备发送报告。
更进一步的方案是：
所述的DPM模块对输入视频帧进行处理，从中找到14个身体关键点，包括头部、颈部、左肩、右肩、左肘、右肘、左腕、右腕、左手、右手、背左上、背右上、背中心、背右下。
更进一步的方案是：
所述LBP模块用于从输入图像中找到手势区域，并判断该手势区域是否包含5种手势之一。
更进一步的方案是：
所述的CNN模块基于Caffe框架训练得到的深度学习算法，用于对手势区域的手势进行识别分类，并将识别结果发送至数据库中。
更进一步的方案是：
所述的报告模块通过REST API从数据库读取识别结果，并生成一份JSON格式的视频检查报告。
本发明的另一个目的在于提供一种列车驾驶员手势智能检查方法，包括以下步骤：
步骤1：:通过IP摄像头采集列车驾驶舱的视频数据，并通过无线网络发送至云服务器，用于手势检测。
步骤2：视频数据被发送至云服务器中的DPM模块，DPM模块对视频帧进行处理，输出视频帧中的人体关键点坐标。
步骤3：DPM模块的输出坐标中包含右胳膊肘与右手腕坐标。
步骤4：通过右胳膊肘与右手腕坐标可以估算出手势区域坐标。设定手势区域中心到手腕的距离为肘部到手腕距离的0.4倍。手势区域为矩形区域，宽、高设定为肘部到手腕距离的0.8倍
步骤5：采用LBP算法在手势区域图像中进行5种手势的检测，用于判断该手势区域是否包含5种手势中的任何一种。
步骤6：为了减少误识别，在经LBP算法检测到手势后，将手势区域扩大并分割。
步骤7：将分割得到的手势区域发送至CNN模块进行识别。
步骤8：通过CNN模块对手势区域中的手势进行分类识别，并给出与每种手势的相似度值。
步骤9：选取相似度最大的手势最为识别结果，并发送至REST API用于生成检查报告。
本发明的有益效果是：
1.减少检查操作的对人的依赖，消除由于单调枯燥的工作导致的人为错误。
2.避免人工检查的不一致性，不受人为因素的影响。
3.提高列车运行的安全性。
4.随着不断的使用，本方案的性能会逐渐提高。
附图说明
图1为列车驾驶员手势智能检查系统结构示意图；
图2为五种手势示意图；
图3为手势区域示意图；
图4为列车驾驶员手势智能检查方法流程图；
图5为手势识别流程示例图；
图6为CNN模块网络架构示意图。
具体实施方式
下面结合实施例与附图对本发明进行详细说明。
本发明用于列车驾驶员手势的自动检查，可提高列车运行的安全性，并减轻人工检查列车驾驶员手势的负担。
如附图1所示，列车驾驶员手势智能检查系统结构示意图，包括：顺序相连的图像获取模块，无线传输模块，云服务器和报告模块，所述云服务器包括DPM模块，LBP模块，CNN模块、REST APT模块和数据库，所述图像获取模块通过无线传输模块与DPM模块相连，DPM模块与LBP模块和数据库相连，LBP模块也与数据库相连，从数据库获取数据，LBP模块与CNN模块相连，CNN模块将识别结果传送到数据库，数据库通过REST APT模块将报告输出到报告模块。所述图像获取模块为采用鱼眼镜头的IP相机，用于增大视角范围。所述无线传输模块能够将通过IP相机采集的视频数据传输至云服务器。所述的云服务器用于接收视频数据，对视频数据进行处理，通过REST API模块向其他设备发送报告。所述的DPM模块对输入视频帧进行处理，从中找到14个身体关键点，包括头部、颈部、左肩、右肩、左肘、右肘、左腕、右腕、左手、右手、背左上、背右上、背中心、背右下。所述LBP模块用于从输入图像中找到手势区域，并判断该手势区域是否包含5种手势之一。所述的CNN模块基于Caffe框架训练得到的深度学习算法，用于对手势区域的手势进行识别分类，并将识别结果发送至数据库中。所述的报告模块通过REST API从数据库读取识别结果，并生成一份JSON格式的视频检查报告。
如附图2-6所示，一种列车驾驶员手势智能检查方法，包括以下步骤：
步骤1：在火车驾驶室内，将IP鱼眼相机安放于驾驶员座位后面的驾驶室顶部右侧。该相机以15帧/s进行视频数据采集。
步骤2：通过无线传输模块将视频数据传输到云服务器。
步骤3：在云服务器中，将视频分解为视频帧，并发送至DPM模块进行处理。DPM模块对视频帧处理得到驾驶员身体的14个关键点坐标，包括：头部、颈部、左肩、右肩、左肘、右肘、左腕、右腕、左手、右手、背左上、背右上、背中心、背右下。每帧视频帧的14个关键点坐标保存于txt文档中。
步骤4：通过PHP读取txt文档坐标并发送至云端数据库。从该数据库中提取右肘与右腕坐标用于后续处理。
步骤5：通过OpenCV获取手势所在矩形区域。手势区域中心到手腕的距离为肘部到手腕距离的0.4倍，矩形区域宽、高为肘部到手腕距离的0.8倍。
步骤6：在LBP模块中对手势区域进行检测，判断该区域是否存在5种手势之一，不进行具体手势的分类识别。
步骤7：当LBP模块检测到手势存在时，为了减小误检，将手势区域放大并分割出来。
步骤8：将分割出来的手势区域发送至CNN模块，通过CNN模型进行5种手势的识别，并输出对应手势的相似度值。所采用CNN模型网络架构如图4所示。
步骤9：选取相似度最高的手势作为手势识别结果，并通过报告模块的REST API发送至数据库。
步骤10：报告模块从数据库读取图片与其对应的识别结果，生成JSON格式的检查报告，并可用于输出显示。
本系统充分考虑了检测与识别的实时性、准确性和稳定性。通过云端进行数据处理，便于移植到不同地方。本系统能够减少检查工作对人工的依赖，能够大大减少检查时间，避免检查工作的乏味，同时减少人为的错误。本系统能够提高列车运行过程中安全性。用于检测的图像可被进一步用于本系统的学习和训练，因此，随着不断地使用，本系统的性能也会逐渐提高。
尽管这里参照本发明的解释性实施例对本发明进行了描述，上述实施例仅为本发明较佳的实施方式，本发明的实施方式并不受上述实施例的限制，应该理解，本领域技术人员可以设计出很多其他的修改和实施方式，这些修改和实施方式将落在本申请公开的原则范围和精神之内。

Claims (10)

1.一种列车驾驶员手势智能检查系统，其特征在于包括：顺序相连的图像获取模块，无线传输模块，云服务器和报告模块，所述云服务器包括DPM模块，LBP模块，CNN模块、RESTAPT模块和数据库，所述图像获取模块通过无线传输模块与DPM模块相连，DPM模块与LBP模块和数据库相连，LBP模块也与数据库相连，从数据库获取数据，LBP模块与CNN模块相连，CNN模块将识别结果传送到数据库，数据库通过REST APT模块将报告输出到报告模块。
2.根据权利要求1所述列车驾驶员手势智能检查系统，其特征在于：
所述图像获取模块为IP相机。
3.根据权利要求2所述列车驾驶员手势智能检查系统，其特征在于：
所述IP相机为采用鱼眼镜头的IP相机。
4.根据权利要求1所述列车驾驶员手势智能检查系统，其特征在于：
所述无线传输模块将通过图像获取模块采集的视频数据传输至云服务器。
5.根据权利要求4所述列车驾驶员手势智能检查系统，其特征在于：
所述的云服务器用于接收视频数据，对视频数据进行处理，通过REST API模块向其他设备发送报告。
6.根据权利要求5所述列车驾驶员手势智能检查系统，其特征在于：
所述的DPM模块对输入视频帧进行处理，从中找到14个身体关键点，包括头部、颈部、左肩、右肩、左肘、右肘、左腕、右腕、左手、右手、背左上、背右上、背中心、背右下。
7.根据权利要求5所述列车驾驶员手势智能检查系统，其特征在于：
所述LBP模块用于从输入图像中找到手势区域，并判断该手势区域是否包含5种手势之一。
8.根据权利要求5所述列车驾驶员手势智能检查系统，其特征在于：
所述的CNN模块基于Caffe框架训练得到的深度学习算法，用于对手势区域的手势进行识别分类，并将识别结果发送至数据库中。
9.根据权利要求1所述列车驾驶员手势智能检查系统，其特征在于：
所述的报告模块通过REST API从数据库读取识别结果，并生成一份JSON格式的视频检查报告。
10.一种列车驾驶员手势智能检查方法，其特征在于：采用了权利要求1至9任一权利要求所述的列车驾驶员手势智能检查系统，并包括以下步骤：
步骤1：通过IP摄像头采集列车驾驶舱的视频数据，并通过无线网络发送至云服务器，用于手势检测；
步骤2：视频数据被发送至云服务器中的DPM模块，DPM模块对视频帧进行处理，输出视频帧中的人体关键点坐标；
步骤3：DPM模块的输出坐标中包含右胳膊肘与右手腕坐标；
步骤4：通过右胳膊肘与右手腕坐标可以估算出手势区域坐标；设定手势区域中心到手腕的距离为肘部到手腕距离的0.4倍；手势区域为矩形区域，宽、高设定为肘部到手腕距离的0.8倍；
步骤5：采用LBP算法在手势区域图像中进行5种手势的检测，用于判断该手势区域是否包含5种手势中的任何一种；
步骤6：为了减少误识别，在经LBP算法检测到手势后，将手势区域扩大并分割；
步骤7：将分割得到的手势区域发送至CNN模块进行识别；
步骤8：通过CNN模块对手势区域中的手势进行分类识别，并给出与每种手势的相似度值；
步骤9：选取相似度最大的手势最为识别结果，并发送至REST API用于生成检查报告。
CN201710598074.3A 2017-07-20 2017-07-20 列车驾驶员手势智能检查系统及智能检查方法 Pending CN107463887A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710598074.3A CN107463887A (zh) 2017-07-20 2017-07-20 列车驾驶员手势智能检查系统及智能检查方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710598074.3A CN107463887A (zh) 2017-07-20 2017-07-20 列车驾驶员手势智能检查系统及智能检查方法

Publications (1)

Publication Number Publication Date
CN107463887A true CN107463887A (zh) 2017-12-12

Family

ID=60544444

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710598074.3A Pending CN107463887A (zh) 2017-07-20 2017-07-20 列车驾驶员手势智能检查系统及智能检查方法

Country Status (1)

Country Link
CN (1) CN107463887A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108423004A (zh) * 2018-05-16 2018-08-21 浙江吉利控股集团有限公司 一种双目识别驾驶员状态检测系统及方法
CN108446586A (zh) * 2018-01-31 2018-08-24 上海数迹智能科技有限公司 一种列车驾驶员特定动作检测方法
CN108681690A (zh) * 2018-04-04 2018-10-19 浙江大学 一种基于深度学习的流水线人员规范操作检测系统
CN109460716A (zh) * 2018-10-19 2019-03-12 大连理工大学 一种手语无线识别装置及方法
CN109614939A (zh) * 2018-12-13 2019-04-12 四川长虹电器股份有限公司 基于人体姿态估计的“玩手机”行为检测识别方法
CN110443167A (zh) * 2019-07-23 2019-11-12 中国建设银行股份有限公司 传统文化手势的智能识别方法、智能交互方法及相关装置
CN113657346A (zh) * 2021-08-31 2021-11-16 深圳市比一比网络科技有限公司 一种基于目标检测和关键点检测结合的司机动作识别方法
CN115147867A (zh) * 2022-06-10 2022-10-04 重庆长安汽车股份有限公司 一种基于大数据的静态手势识别验证方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102929547A (zh) * 2012-10-22 2013-02-13 四川长虹电器股份有限公司 智能终端无接触交互方法
CN103853464A (zh) * 2014-04-01 2014-06-11 郑州捷安高科股份有限公司 一种基于Kinect的铁路手信号识别方法
CN103955215A (zh) * 2014-04-15 2014-07-30 桂林电子科技大学 基于手势识别的自动避障小车及其控制装置和控制方法
CN205722310U (zh) * 2016-02-10 2016-11-23 天津城建大学 一种基于视频序列的列车驾驶员行为识别系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102929547A (zh) * 2012-10-22 2013-02-13 四川长虹电器股份有限公司 智能终端无接触交互方法
CN103853464A (zh) * 2014-04-01 2014-06-11 郑州捷安高科股份有限公司 一种基于Kinect的铁路手信号识别方法
CN103955215A (zh) * 2014-04-15 2014-07-30 桂林电子科技大学 基于手势识别的自动避障小车及其控制装置和控制方法
CN205722310U (zh) * 2016-02-10 2016-11-23 天津城建大学 一种基于视频序列的列车驾驶员行为识别系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
张艳等: "鱼眼图像中手部定位及手势识别", 《计算机与现代化》 *
徐士海: "基于结构特征提取的手语识别系统研究", 《中国优秀硕士学位论文全文数据库_信息科技辑》 *
赵思蕊等: "基于3D骨架的交警指挥姿势动作识别仿真", 《计算机仿真》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108446586A (zh) * 2018-01-31 2018-08-24 上海数迹智能科技有限公司 一种列车驾驶员特定动作检测方法
CN108681690A (zh) * 2018-04-04 2018-10-19 浙江大学 一种基于深度学习的流水线人员规范操作检测系统
CN108681690B (zh) * 2018-04-04 2021-09-03 浙江大学 一种基于深度学习的流水线人员规范操作检测系统
CN108423004A (zh) * 2018-05-16 2018-08-21 浙江吉利控股集团有限公司 一种双目识别驾驶员状态检测系统及方法
CN109460716A (zh) * 2018-10-19 2019-03-12 大连理工大学 一种手语无线识别装置及方法
CN109614939A (zh) * 2018-12-13 2019-04-12 四川长虹电器股份有限公司 基于人体姿态估计的“玩手机”行为检测识别方法
CN109614939B (zh) * 2018-12-13 2022-03-18 四川长虹电器股份有限公司 基于人体姿态估计的“玩手机”行为检测识别方法
CN110443167A (zh) * 2019-07-23 2019-11-12 中国建设银行股份有限公司 传统文化手势的智能识别方法、智能交互方法及相关装置
CN110443167B (zh) * 2019-07-23 2022-05-17 中国建设银行股份有限公司 传统文化手势的智能识别方法、智能交互方法及相关装置
CN113657346A (zh) * 2021-08-31 2021-11-16 深圳市比一比网络科技有限公司 一种基于目标检测和关键点检测结合的司机动作识别方法
CN115147867A (zh) * 2022-06-10 2022-10-04 重庆长安汽车股份有限公司 一种基于大数据的静态手势识别验证方法

Similar Documents

Publication Publication Date Title
CN107463887A (zh) 列车驾驶员手势智能检查系统及智能检查方法
CN110210323B (zh) 一种基于机器视觉的溺水行为在线识别方法
CN105447459B (zh) 一种无人机自动检测目标和跟踪方法
CN108090458A (zh) 人体跌倒检测方法和装置
CN107133612A (zh) 基于图像处理与语音识别技术的智能病房及其运行方法
CN109165685B (zh) 基于表情和动作的监狱服刑人员潜在性风险监测方法和系统
CN110147738B (zh) 一种驾驶员疲劳监测预警方法及系统
CN113191699A (zh) 一种配电施工现场安全监管方法
CN109309808A (zh) 一种基于人脸识别的监控系统及方法
CN110705500B (zh) 基于深度学习的人员工作图像的注意力检测方法及系统
CN109614906A (zh) 一种基于深度学习的安防系统及安防报警方法
CN108596041A (zh) 一种基于视频的人脸活体检测方法
CN206322194U (zh) 一种基于三维扫描的反欺诈人脸识别系统
CN105022999A (zh) 一种人码伴随实时采集系统
CN104834902A (zh) 一种包含视频分析的安检判图系统和判图方法
WO2023000253A1 (zh) 攀爬行为预警方法和装置、电子设备、存储介质
CN106897695A (zh) 一种图像识别处理装置、系统及方法
CN113111733B (zh) 一种基于姿态流的打架行为识别方法
WO2022193516A1 (zh) 一种基于深度相机的人流分析方法及装置
CN103824074A (zh) 一种基于背景减除和纹理特征的人群密度估计方法及系统
CN210933642U (zh) 一种健身指导系统
CN111813995A (zh) 一种基于时空关系的行人提取物品行为检测方法及系统
CN112149517A (zh) 一种人脸考勤方法、系统、计算机设备及存储介质
CN107749942A (zh) 悬浮拍摄方法、移动终端及计算机可读存储介质
CN113420711A (zh) 一种服务行业工作人员服务行为识别算法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20171212

RJ01 Rejection of invention patent application after publication