CN106941602B - 机车司机行为识别方法及装置 - Google Patents

机车司机行为识别方法及装置 Download PDF

Info

Publication number
CN106941602B
CN106941602B CN201710131328.0A CN201710131328A CN106941602B CN 106941602 B CN106941602 B CN 106941602B CN 201710131328 A CN201710131328 A CN 201710131328A CN 106941602 B CN106941602 B CN 106941602B
Authority
CN
China
Prior art keywords
behavior
training
image
driver
trained
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710131328.0A
Other languages
English (en)
Other versions
CN106941602A (zh
Inventor
申宇燕
延九磊
刘峰
况志强
卢万平
刘志杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China State Railway Group Co Ltd
Original Assignee
China Academy of Railway Sciences Corp Ltd CARS
China Railway Corp
Locomotive and Car Research Institute of CARS
Beijing Zongheng Electromechanical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Academy of Railway Sciences Corp Ltd CARS, China Railway Corp, Locomotive and Car Research Institute of CARS, Beijing Zongheng Electromechanical Technology Co Ltd filed Critical China Academy of Railway Sciences Corp Ltd CARS
Priority to CN201710131328.0A priority Critical patent/CN106941602B/zh
Publication of CN106941602A publication Critical patent/CN106941602A/zh
Application granted granted Critical
Publication of CN106941602B publication Critical patent/CN106941602B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed circuit television systems, i.e. systems in which the signal is not broadcast
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness

Abstract

本发明提供了一种机车司机行为识别方法、装置及系统,该机车司机行为识别方法包括:预先定义包含多类司机行为的待训练图像集合;利用神经网络算法对所述待训练图像集合进行模型训练,生成行为训练模型;采集机车驾驶室的实时监控图像,将所述实时监控图像输入所述行为训练模型,识别出司机行为所属的类别。本发明通过深度学习算法,可以对司机日常的几类操作进行自动识别;同时,通过对图像自动化的检索,可以解脱繁重的人工工作,提高了分析的效率和准确性。

Description

机车司机行为识别方法及装置
技术领域
本发明是关于轨道交通机车车辆安全监测技术,特别是关于驾车驾驶室中的一种机车司机行为识别方法、装置及系统。
背景技术
交通安全现在已经成为一个普遍被关注的社会问题,而加强对铁路交通安全的管控已经迫在眉睫,目前机车上安装了机车车载安全防护系统(简称6A系统)的视频监控设备,目前对该视频监控设备的视频数据的地面分析任务通常采用人工浏览察看方式,一方面分析全部机车的视频录像需要配备大量且足够的地面视频数据分析人员和设备,分析效率低,特别对于特定事件查找的情况下,分析工作量巨大,且容易遗漏。另一方面,由于是事后做人工分析,无法对乘务员在机车运行过程中不当行为进行实时提醒。
视频分析与识别技术在机车环境下的应用目前还是空白,究其原因,主要是机车环境下与常规应用有较大区别。例如机车运行中震动幅度较大,成像模糊,影响视频画面的稳定、列车运行过程中光照变化比较大,极大地影响了识别的准确度、机车环境下识别对象差异较大,也会影响视频识别的适应性等。此外,列车在进站和出站过程中,可能会出现强光照的情况,此时,受强光照的影响,视频分析与识别效果将会降低,当光线恢复正常,识别效果也随之改善,如何降低光照变化的影响,提高算法的鲁棒性是业界面临的技术难点之一。
发明内容
本发明提供一种机车司机行为识别方法、装置及系统,可以对司机日常的几类操作进行自动识别,同时通过对图像自动化的检索,解脱繁重的人工工作,提高分析的效率和准确性。
为了实现上述目的,本发明实施例提供了一种机车司机行为识别方法,该机车司机行为识别方法包括:
预先定义包含多类司机行为的待训练图像集合;
利用神经网络算法对所述待训练图像集合进行模型训练,生成行为训练模型;
采集机车驾驶室的实时监控图像,将所述实时监控图像输入所述行为训练模型,识别出司机行为所属的类别。
一实施例中,所述多类司机行为包括:离岗、接打电话、向前挥手、在岗、站立、睡觉。
一实施例中,在利用神经网络算法对所述待训练图像集合进行模型训练之前,该机车司机行为识别方法还包括:
在所述待训练图像集合中的各图像上标注目标框。
一实施例中,所述目标框相关信息包括目标框的起始位置、宽度及高度,所述机车司机行为识别方法还包括:
对所述目标框相关信息进行归一化处理,并保存归一化处理后的目标框相关信息。
一实施例中,利用神经网络算法对所述待训练图像集合进行模型训练,生成行为训练模型,包括:
利用前向卷积网络对所述待训练图像集合进行逐级抽象化,得到鲁棒的训练模型;
利用反馈网络对所述鲁棒的训练模型进行权重调节,得到所述行为训练模型。
一实施例中,将所述实时监控图像输入所述行为训练模型,识别出司机行为所属的类别,包括:
将所述实时监控图像输入所述行为训练模型,利用增加了Detection层的前向卷积网络对司机行为进行识别,并对识别结果进行约束,识别出司机行为所属的类别。
为了实现上述目的,本发明实施例还提供了一种机车司机行为识别装置,包括:
预定义单元,用于预先定义包含多类司机行为的待训练图像集合;
模型训练单元,用于利用神经网络算法对所述待训练图像集合进行模型训练,生成行为训练模型;
行为识别单元,用于采集机车驾驶室的实时监控图像,将所述实时监控图像输入所述行为训练模型,识别出司机行为所属的类别。
一实施例中,所述多类司机行为包括:离岗、接打电话、向前挥手、在岗、站立、睡觉。
一实施例中,该机车司机行为识别装置还包括:
标注单元,用于在所述待训练图像集合中的各图像上标注目标框。
一实施例中,所述目标框相关信息包括目标框的起始位置、宽度及高度,所述机车司机行为识别装置还包括:
归一化单元,用于对所述目标框相关信息进行归一化处理,并保存归一化处理后的目标框相关信息。
一实施例中,所述模型训练单元包括:
抽象化模块,用于利用前向卷积网络对所述待训练图像集合进行逐级抽象化,得到鲁棒的训练模型;
模型训练模块,用于利用反馈网络对所述鲁棒的训练模型进行权重调节,得到所述行为训练模型。
一实施例中,所述行为识别单元具体用于:将所述实时监控图像输入所述行为训练模型,利用增加了Detection层的前向卷积网络对司机行为进行识别,并对识别结果进行约束,识别出司机行为所属的类别。
为了实现上述目的,本发明实施例还提供了一种机车司机行为识别系统,包括:
摄像机,用于采集机车驾驶室的实时监控图像;
视频智能识别板卡,内置行为识别模块,所述行为识别模块用于利用神经网络算法,根据所述实时监控图像及预先训练出的行为训练模型识别出司机行为所属的类别;
存储设备,用于存储利用神经网络算法对预先定义包含多类司机行为的待训练图像集合进行模型训练得到的行为训练模型,还用于存储已识别的视频图像,所述行为训练模型包括多类司机行为;
报警设备,接收所述行为识别模块基于司机行为所属的类别生成的报警信息执行报警。
本发明通过深度学习算法,可以对司机日常的几类操作进行自动识别;同时,通过对图像自动化的检索,可以解脱繁重的人工工作,提高了分析的效率和准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例的机车司机行为识别系统的结构示意图;
图2为本发明实施例的机车司机行为识别方法流程图;
图3为本发明实施例的模型训练阶段流程图;
图4为本发明实施例的行为判别阶段流程图;
图5为本发明实施例的机车司机行为识别装置的结构示意图一;
图6为本发明实施例的机车司机行为识别装置的结构示意图二;
图7为本发明实施例的模型训练单元的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
近几年来,视频分析与识别技术已取得突飞进展,各项理论成果层出不穷。目前,该技术的理论成果已广泛应用于交通、安防、金融、建筑、医学、军事等领域,主要应用有人脸识别、视频客流统计、疲劳状态检测、人群聚集度检测、移动物体跟踪等,取得了令人瞩目的研究成果。
视频分析与识别技术在以上领域或方向的成功运用为在机车6A系统的应用提供了有效的指引,一方面,近几年,硬件的计算处理能力得到极大的提升,为该技术的推广应用提供了平台的支持;另一方面,以上领域的工程经验或者成果也可以作为 6A视频智能诊断系统应用实施的借鉴。
视频中人体的动作识别不同于图像的检测与识别,动作是一连贯的子动作构成的序列,传统的图像检测大都不能有效的识别复杂场景中的动作,另外,视频图像的处理同时面临光照、遮挡、旋转等因素的影响,导致传统动作识别的精度并不高。近几年,作为国际的前沿和热点之一,深度学习技术在图像和语音识别等领域获得巨大成功,深度学习在图像识别领域变现出非常明显的优越性,其识别率已经远远超过传统识别算法,本发明考虑将机器学习(深度学习)的相关技术应用于机车司机行为识别当中,以便获得更好的人体行为识别效果。
图1为本发明实施例的机车司机行为识别系统的结构示意图,如图1所示,该机车司机行为识别系统包括:摄像机,视频智能识别板卡,存储设备及报警设备。
摄像机可以设置在机车驾驶室中,可以采集机车驾驶室的实时监控图像(视频)。
视频智能识别板卡,内置行为识别模块,所述行为识别模块用于利用神经网络算法,根据所述实时监控图像及行为训练模型识别出司机行为所属的类别。行为训练模型需要通过训练得到,首先,需要预先定义包含多类司机行为的待训练图像集合,然后利用神经网络算法对所述待训练图像集合进行模型训练,得到该行为训练模型。
存储设备,用于存储利用神经网络算法对预先定义包含多类司机行为的待训练图像集合进行模型训练得到的行为训练模型,还用于存储已识别的视频图像,所述行为训练模型包括多类司机行为。
报警设备,接收所述行为识别模块基于司机行为所属的类别生成的报警信息执行报警。
行为识别模块为机车司机行为识别的核心元件,作为系统的应用层,可以内置于ubuntu14.04操作系统。由于本发明需要用到深度神经网络模型,训练需要GPU加速,因此可以使用CUDA应用程序。
具体实施时,行为识别模块需要将接收到的摄像机拍摄的视频图像进行去除噪声、灰度变换、几何校正等预处理,尽量降低机车环境对于视频分析的影响。通过对根据摄像机采集实时监控图像进行识别,可以检测出如下行为:离岗、接打电话、向前挥手、在岗(正常作业)、站立、睡觉等。如果司机出现睡觉、离岗、接打电话、站立等情况,需要生成报警信息,并将报警信息发送至报警设备执行报警,对机车司机进行提醒。另外,对于识别后的图像,还可以以标签标注,然后进行编码存储,这样,通过相应的检索工具,能实现对已经被记录的特定事件的查询。
本发明实施例提供了一种机车司机行为识别方法,如图2所示,该机车司机行为识别方法包括:
S201:预先定义包含多类司机行为的待训练图像集合;
S202:利用神经网络算法对所述待训练图像集合进行模型训练,生成行为训练模型;
S203:采集机车驾驶室的实时监控图像,将所述实时监控图像输入所述行为训练模型,识别出司机行为所属的类别。
由图2所示的流程可知,本发明首先预先定义包含多类司机行为的待训练图像集合,然后对待训练图像集合进行模型训练,生成行为训练模型,基于该行为训练模型,可以对采集的实时监控图像进行行为识别,识别出司机行为所属的类别。本实施例通过深度学习算法(如神经网络算法),可以对司机日常的几类操作进行自动识别;同时,通过对图像自动化的检索,可以解脱繁重的人工工作,提高了分析的效率和准确性。
本实施例主要通过模型训练和行为判别两个阶段,S201及S202为模型训练阶段,S203为行为判别阶段。下面分别说明:
模型训练阶段
该模型训练阶段主要完成数据训练,大量视频数据的分析、处理,完成对6类司机行为动作的检测,存储设备可以采用8T企业监控盘,主要完成六类结果的分类存储。针对铁路司机室视频图像,处理速度能达到110帧/秒。
具体实施时,模型训练阶段中,司机(或乘务员)行为可以包括多种,例如:离岗、接打电话、向前挥手、在岗、站立、睡觉,本发明仅以上述六种行为进行说明,但是本发明不限于上述六种行为。六种行为简单定义如下:
(1)离开座位(离岗):列车驾驶员在工作时间段内,擅自离开了岗位,这种情况判断为离岗行为;
(2)正常工作(在岗):列车驾驶员在工作时间段内,按照要求一直坚守在自己的岗位,则判定为正常工作;
(3)接打电话:列车驾驶员在工作时间段内,有接打电话的动作时将会被识别出来;
(4)向前挥手:列车驾驶员在工作时间段内,有检测到右手向前方示意,则判定为挥手;
(5)睡觉:驾驶员在工作时间段内,检测到有趴在驾驶操控台上睡觉的动作时,将其检测出来;
(6)站立:在工作时间段内,当有人在驾驶室站立或者随意走动,算法将会检测到并标注为站立状态。
一实施例中,在利用神经网络算法对所述待训练图像集合进行模型训练之前,还需要在所述待训练图像集合中的各图像上标注目标框。通过标注目标框,可以筛选出便于识别的图像,并保存目标框的相关信息,包括目标框的起始位置、目标框的宽度及目标框的高度等信息。为了适应深度学习算法的需求,还可以对目标框相关信息进行归一化处理,并保存归一化处理后的目标框相关信息。
在利用神经网络算法对所述待训练图像集合进行模型训练时,可以利用前向卷积网络对所述待训练图像集合进行逐级抽象化,先得到鲁棒的训练模型;然后再利用反馈网络对所述鲁棒的训练模型进行权重调节,得到行为训练模型。
为了更好的说明本实施例的机车司机行为识别方法,下面结合图3所示的模型训练流程进行说明。如图3所示,模型训练阶段主要包括图像输入、图像标注、前向卷积网络、数据后处理、反馈网络处理及模型输出几个阶段。
图像输入:待训练的机车司机室内的几类预先定义好的图像集合(如上述的6 类预先定义好的图像集合,包含正常作业、打电话、向前挥手、在岗、站立、睡觉共计6类常见的机车司机行为)。但该行为动作的定义是开放的,用户也可以根据需要自定义行为动作的类别。
图像标注:该步骤主要是手动标注目标框,并保存目标矩形框的相关信息(起始位置,宽、高等)的过程,为适应算法需要,在实际使用过程中,这些相关信息被预先做出相应的处理(如归一化处理)并保存。
前向卷积网络:该部分为识别算法的核心,是目前较为适合应用于图像识别的卷积网络,该部分包含若干层卷积层和一些降采样、非线性变换等,对训练图像集合进行逐级的抽象化,最终得到一些对训练以外的图像也具有一定识别能力的模型特征 (模型特征以模型权重的形式存储)。输入的图像集合经过一系列处理,代表性信息逐渐减少,意味着经过卷积网络处理后,有价值的信息得以保存,而一些冗余的信息被摒弃,也即是图像特征被抽象化了,大量图像特征信息的相互作用,共同训练出一个鲁棒的模型。
数据后处理:该部分也是训练过程特有的一个环节,当对前向卷积网络处理后的行为训练模型达不到设定目标识别率时,对训练数据进行一些清洗、调整等,以备反馈网络的反向传播使用。
反馈网络:该部分起到对前向卷积网络得出的权重进行调节的作用,利用梯度下降法优化代价函数,从后向前逐级调整每一层卷积网络的权重值,从而使得模型的泛化能力得到较大的提升。
模型输出:输出行为训练模型,作为最终输出结果。
行为判别阶段
该阶段中,可以将所述实时监控图像输入所述行为训练模型,利用增加了Detection层的前向卷积网络对司机行为进行识别,并对识别结果进行约束,识别出司机行为所属的类别。
为了更好的说明本实施例的机车司机行为识别方法,下面结合图4所示的行为判别流程进行说明。
行为判别阶段是使用模型训练阶段得到的行为训练模型对图像(视频)进行识别的过程,该阶段不包含图像标注、反馈网络、数据后处理三个步骤,输入图像和模型直接加载到卷积网络,得到识别结果。
如图4所示,行为判别阶段主要包括模型加载、前向卷积网络及结果识别。
行为训练模型加载:行为训练模型指的是训练得出的各网络层的权重值,共几十万~几百万个参数,整个识别过程模型只需要加载一次。
前向卷积网络:与模型训练阶段的前向卷积网络不同的是,在前向卷积网络基础上增加了一个Detection层,以便对行为识别结果进行约束,这样能同时准确地标注出物体的位置,并同时预测出物体的类别,两者相辅相成,从而提高了检测识别的可信度。
识别结果:最终输出结果(司机行为所属的类别)可预测出司机动作是属于含正常作业、打电话、向前挥手、在岗、站立、睡觉等类中的哪一类。
本实施例通过深度学习算法,可以对司机日常的几类操作进行自动识别;同时,通过对图像自动化的检索,可以解脱繁重的人工工作,提高了分析的效率和准确性。可对于机车运行过程中乘务员不符合规则的行为进行在线提醒,有效提高了机车运行的安全性。
基于与上述机车司机行为识别法相同的发明构思,本申请提供一种机车司机行为识别装置,如下面实施例所述。由于该机车司机行为识别装置解决问题的原理与机车司机行为识别方法相似,因此该机车司机行为识别装置的实施可以参见机车司机行为识别方法的实施,重复之处不再赘述。
图5为本发明实施例的机车司机行为识别装置的结构示意图,如图5所示,该机车司机行为识别装置包括:
预定义单元501,用于预先定义包含多类司机行为的待训练图像集合;
模型训练单元502,用于利用神经网络算法对所述待训练图像集合进行模型训练,生成行为训练模型;
行为识别单元503,用于采集机车驾驶室的实时监控图像,将所述实时监控图像输入所述行为训练模型,识别出司机行为所属的类别。
一实施例中,所述多类司机行为包括:离岗、接打电话、向前挥手、在岗、站立、睡觉。
一实施例中,如图6所示,该机车司机行为识别装置还包括:标注单元601,用于在所述待训练图像集合中的各图像上标注目标框。
目标框相关信息可以包括目标框的起始位置、宽度及高度,如图6所示,该机车司机行为识别装置还包括:归一化单元602,用于对所述目标框相关信息进行归一化处理,并保存归一化处理后的目标框相关信息。
一实施例中,如图7所示,模型训练单元502包括:
抽象化模块701,用于利用前向卷积网络对所述待训练图像集合进行逐级抽象化,得到鲁棒的训练模型;
模型训练模块702,用于利用反馈网络对所述鲁棒的训练模型进行权重调节,得到所述行为训练模型。
一实施例中,行为识别单元503具体用于:将所述实时监控图像输入所述行为训练模型,利用增加了Detection层的前向卷积网络对司机行为进行识别,并对识别结果进行约束,识别出司机行为所属的类别。
本实施例通过深度学习算法,可以对司机日常的几类操作进行自动识别;同时,通过对图像自动化的检索,可以解脱繁重的人工工作,提高了分析的效率和准确性。可对于机车运行过程中乘务员不符合规则的行为进行在线提醒,有效提高了机车运行的安全性。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等) 上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (6)

1.一种机车司机行为识别方法,其特征在于,包括:
预先定义包含多类司机行为的待训练图像集合,包括:正常作业、打电话、向前挥手、在岗、站立和睡觉;所述待训练图像集合是开放的,可供自行定义;
在所述待训练图像集合中的各图像上标注目标框;
手动标注所述目标框,并保存目标框的相关信息,所述相关信息被预先做出归一化处理并保存,所述相关信息包括:起始位置、宽和高;
利用神经网络算法对所述待训练图像集合进行模型训练,生成行为训练模型,当对前向卷积网络处理后的行为训练模型达不到设定目标识别率时,对训练数据进行清洗、调整;
采集机车驾驶室的实时监控图像,将所述实时监控图像输入所述行为训练模型,识别出司机行为所属的类别,包括:将所述实时监控图像输入所述行为训练模型,利用增加了Detection层的前向卷积网络对司机行为进行识别,并对识别结果进行约束,识别出司机行为所属的类别;
在识别出司机行为所属类别后,将实时监控图像进行标注后进行编码储存并可对储存的图像进行自动化检索。
2.根据权利要求1所述的机车司机行为识别方法,其特征在于,所述机车司机行为识别方法还包括:
对所述目标框相关信息进行归一化处理,并保存归一化处理后的目标框相关信息。
3.根据权利要求1所述的机车司机行为识别方法,其特征在于,利用神经网络算法对所述待训练图像集合进行模型训练,生成行为训练模型,包括:
利用前向卷积网络对所述待训练图像集合进行逐级抽象化,得到鲁棒的训练模型;
利用反馈网络对所述鲁棒的训练模型进行权重调节,得到所述行为训练模型。
4.一种机车司机行为识别装置,其特征在于,包括:
预定义单元,用于预先定义包含多类司机行为的待训练图像集合,包括:正常作业、打电话、向前挥手、在岗、站立和睡觉;所述待训练图像集合是开放的,可供自行定义;
标注单元,用于在所述待训练图像集合中的各图像上标注目标框;
预先处理单元,用于手动标注所述目标框,并保存目标框的相关信息,所述相关信息被预先做出归一化处理并保存,所述相关信息包括:起始位置、宽和高;
模型训练单元,用于利用神经网络算法对所述待训练图像集合进行模型训练,生成行为训练模型,当对前向卷积网络处理后的行为训练模型达不到设定目标识别率时,对训练数据进行清洗、调整;
行为识别单元,用于采集机车驾驶室的实时监控图像,将所述实时监控图像输入所述行为训练模型,识别出司机行为所属的类别,所述行为识别单元具体用于:将所述实时监控图像输入所述行为训练模型,利用增加了Detection层的前向卷积网络对司机行为进行识别,并对识别结果进行约束,识别出司机行为所属的类别;
存储单元,用于在识别出司机行为所属类别后,将实时监控图像进行标注后进行编码储存并可对储存的图像进行自动化检索。
5.根据权利要求4所述的机车司机行为识别装置,其特征在于,所述机车司机行为识别装置还包括:
归一化单元,用于对所述目标框相关信息进行归一化处理,并保存归一化处理后的目标框相关信息。
6.根据权利要求4所述的机车司机行为识别装置,其特征在于,所述模型训练单元包括:
抽象化模块,用于利用前向卷积网络对所述待训练图像集合进行逐级抽象化,得到鲁棒的训练模型;
模型训练模块,用于利用反馈网络对所述鲁棒的训练模型进行权重调节,得到所述行为训练模型。
CN201710131328.0A 2017-03-07 2017-03-07 机车司机行为识别方法及装置 Active CN106941602B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710131328.0A CN106941602B (zh) 2017-03-07 2017-03-07 机车司机行为识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710131328.0A CN106941602B (zh) 2017-03-07 2017-03-07 机车司机行为识别方法及装置

Publications (2)

Publication Number Publication Date
CN106941602A CN106941602A (zh) 2017-07-11
CN106941602B true CN106941602B (zh) 2020-10-13

Family

ID=59469604

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710131328.0A Active CN106941602B (zh) 2017-03-07 2017-03-07 机车司机行为识别方法及装置

Country Status (1)

Country Link
CN (1) CN106941602B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107491764A (zh) * 2017-08-25 2017-12-19 电子科技大学 一种基于深度卷积神经网络的违规驾驶检测方法
CN107909037B (zh) * 2017-11-16 2021-06-29 百度在线网络技术(北京)有限公司 信息输出方法和装置
CN107918764A (zh) * 2017-11-16 2018-04-17 百度在线网络技术(北京)有限公司 信息输出方法和装置
CN108229352B (zh) * 2017-12-21 2021-09-07 上海交通大学 一种基于深度学习的站立检测方法
CN108776834B (zh) * 2018-05-07 2021-08-06 上海商汤智能科技有限公司 系统增强学习方法和装置、电子设备、计算机存储介质
CN108960067B (zh) * 2018-06-05 2021-04-13 北京华纵科技有限公司 基于深度学习的实时的列车驾驶员动作识别系统和方法
CN109344770B (zh) * 2018-09-30 2020-10-09 新华三大数据技术有限公司 资源分配方法及装置
CN109376634A (zh) * 2018-10-15 2019-02-22 北京航天控制仪器研究所 一种基于神经网络的公交司机违规行为检测系统
CN111115400B (zh) 2018-10-30 2022-04-26 奥的斯电梯公司 检测电梯井道中的电梯维护行为的系统和方法
CN109803108A (zh) * 2019-01-22 2019-05-24 国网信息通信产业集团有限公司 一种图像识别方法和装置
CN109743553A (zh) * 2019-01-26 2019-05-10 温州大学 一种基于深度学习模型的隐藏图像检测方法及系统
CN110293974A (zh) * 2019-07-02 2019-10-01 重庆大学 基于轻量级神经网络的驾驶姿态识别与管理系统及app应用
CN110544360B (zh) * 2019-08-07 2022-04-08 北京全路通信信号研究设计院集团有限公司 一种列车安全驾驶监测系统及方法
CN110618635A (zh) * 2019-10-08 2019-12-27 中兴飞流信息科技有限公司 一种基于ai技术的列车驾驶室作业规范监测系统
CN112528952B (zh) * 2020-12-25 2022-02-11 合肥诚记信息科技有限公司 一种电力营业厅人员的工作状态智能识别系统
CN113139530B (zh) * 2021-06-21 2021-09-03 城云科技(中国)有限公司 一种睡岗行为检测方法、装置及其电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101408933A (zh) * 2008-05-21 2009-04-15 浙江师范大学 基于粗网格特征提取和bp神经网络的车牌字符识别方法
CN102263937A (zh) * 2011-07-26 2011-11-30 华南理工大学 基于视频检测的驾驶员驾驶行为监控装置及监控方法
CN106203283A (zh) * 2016-06-30 2016-12-07 重庆理工大学 基于三维卷积深度神经网络和深度视频的动作识别方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9633282B2 (en) * 2015-07-30 2017-04-25 Xerox Corporation Cross-trained convolutional neural networks using multimodal images
CN105160310A (zh) * 2015-08-25 2015-12-16 西安电子科技大学 基于3d卷积神经网络的人体行为识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101408933A (zh) * 2008-05-21 2009-04-15 浙江师范大学 基于粗网格特征提取和bp神经网络的车牌字符识别方法
CN102263937A (zh) * 2011-07-26 2011-11-30 华南理工大学 基于视频检测的驾驶员驾驶行为监控装置及监控方法
CN106203283A (zh) * 2016-06-30 2016-12-07 重庆理工大学 基于三维卷积深度神经网络和深度视频的动作识别方法

Also Published As

Publication number Publication date
CN106941602A (zh) 2017-07-11

Similar Documents

Publication Publication Date Title
CN106941602B (zh) 机车司机行为识别方法及装置
US9852363B1 (en) Generating labeled images
CN109118055A (zh) 一种驾驶行为评分方法及装置
US11188783B2 (en) Reverse neural network for object re-identification
CN110427867B (zh) 基于残差注意力机制的面部表情识别方法及系统
CN106709475B (zh) 障碍物识别方法及装置、计算机设备及可读存储介质
US20220172518A1 (en) Image recognition method and apparatus, computer-readable storage medium, and electronic device
CN108596056A (zh) 一种出租车运营行为动作识别方法及系统
CN107944382A (zh) 目标跟踪方法、装置及电子设备
CN105303163A (zh) 一种目标检测的方法及检测装置
JP2022521038A (ja) 顔認識方法、ニューラルネットワークのトレーニング方法、装置及び電子機器
CN110532883A (zh) 应用离线跟踪算法对在线跟踪算法进行改进
CN108682158A (zh) 视频分析及评分预警方法和系统
Gehrig et al. A common framework for real-time emotion recognition and facial action unit detection
Wang et al. Occluded vehicle detection with local connected deep model
Henrio et al. Anomaly detection in videos recorded by drones in a surveillance context
CN110751022A (zh) 基于图像识别的城市宠物活动轨迹监测方法及相关设备
CN110363093A (zh) 一种司机动作识别方法及装置
CN114067401A (zh) 目标检测模型的训练及身份验证方法和装置
CN110276230A (zh) 用户认证、唇语识别的方法、装置和电子设备
CN108229257A (zh) 一种基于深度学习和Spark的人脸识别特征并行训练方法
CN112434566A (zh) 客流统计方法、装置、电子设备及存储介质
CN111985385A (zh) 一种行为检测方法、装置及设备
Liu et al. 3dcnn-based real-time driver fatigue behavior detection in urban rail transit
Alexeev et al. End to end learning for a driving simulator

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
CB02 Change of applicant information

Address after: No. 2, Da Liu Shu Road, Haidian District, Beijing

Applicant after: China Railway Scientific Research Institute Group Co., Ltd.

Applicant after: Beijing Vertical and Horizontal Electromechanical Technology Co., Ltd.

Applicant after: Locomotive and Rolling Stock Research Institute of China Railway Research Institute Group Co., Ltd.

Address before: No. 2, Da Liu Shu Road, Haidian District, Beijing

Applicant before: China Academy of Railway Sciences

Applicant before: Beijing Zongheng Electromechanical Technology Development Co., Ltd.

Applicant before: Locomotive & Car Research Institute, China Academy of Railway Sciences

CB02 Change of applicant information
TA01 Transfer of patent application right

Effective date of registration: 20190410

Address after: No. 10, Fuxing Road, Haidian District, Beijing

Applicant after: CHINA RAILWAY CORPORATION

Applicant after: China Railway Scientific Research Institute Group Co., Ltd.

Applicant after: Beijing Vertical and Horizontal Electromechanical Technology Co., Ltd.

Applicant after: Locomotive and Rolling Stock Research Institute of China Railway Research Institute Group Co., Ltd.

Address before: No. 2, Da Liu Shu Road, Haidian District, Beijing

Applicant before: China Railway Scientific Research Institute Group Co., Ltd.

Applicant before: Beijing Vertical and Horizontal Electromechanical Technology Co., Ltd.

Applicant before: Locomotive and Rolling Stock Research Institute of China Railway Research Institute Group Co., Ltd.

GR01 Patent grant
GR01 Patent grant