CN110781847A - 一种基于神经网络动作行为识别的方法 - Google Patents
一种基于神经网络动作行为识别的方法 Download PDFInfo
- Publication number
- CN110781847A CN110781847A CN201911047449.2A CN201911047449A CN110781847A CN 110781847 A CN110781847 A CN 110781847A CN 201911047449 A CN201911047449 A CN 201911047449A CN 110781847 A CN110781847 A CN 110781847A
- Authority
- CN
- China
- Prior art keywords
- action
- video frames
- neural network
- recognition
- cluster
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 21
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 10
- 230000006399 behavior Effects 0.000 claims abstract description 29
- 238000003062 neural network model Methods 0.000 claims abstract description 10
- 238000001514 detection method Methods 0.000 claims abstract description 7
- 238000001914 filtration Methods 0.000 claims abstract description 6
- 238000002372 labelling Methods 0.000 claims abstract description 4
- 238000012549 training Methods 0.000 claims abstract description 4
- 239000013598 vector Substances 0.000 claims description 18
- 239000011159 matrix material Substances 0.000 claims description 3
- 230000003137 locomotive effect Effects 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
- G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
Abstract
本发明公开了一种基于神经网络动作行为识别的方法，具体步骤：采集不同背景下工作人员的动作行为图像信息，将采集到的图像定义为学习样本，对每个学习样本进行标注；对标注的学习样本进行训练获得识别神经网络模型；利用像机捕捉动作行为视频，剔除不在识别范围内的视频帧、剔除动作行为视频中过度模糊、存在歧义、没有做动作行为的视频帧；采用识别神经网络模型进行动作识别，以所述识别神经网络模型为基础，利用图像目标检测方法获取图像中动作行为所分布的区域；根据不同类型的动作行为图像对应的识别精度阈值进行视频帧过滤，获取不同类型动作的精度值最高的视频帧。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于神经网络动作行为识别的方法。
背景技术
随着我国铁路发展，铁路运输安全越来越被重视，铁路运输安全问题是现代交通永恒不变的主题。机车乘务员在机车运行中起着核心作用，他直接决定了列车能否正常运行、事故发生等情况，因此对机车乘务员的安全管理成为了重中之重。在实际使用的环境当中，只能通过视频来监视机车乘务员的值乘标准化动作行为，但由于视频所需流量比较大，只能通过专人紧盯或者回放视频来查看被监视乘务员的动作行为，这种方法费时费力，效果很不理想，如何能通过一种自动识别动作行为的方法，把识别后的信息发送给管理者，可以不用派专人或通过视频回放来查看结果，就成为急需解决的问题。
发明内容
根据现有技术存在的问题，本发明公开了一种基于神经网络动作行为识别的方法，具体步骤如下：
采集不同背景下工作人员的动作行为的图像信息，将采集到的图像定义为学习样本，对每个学习样本进行标注；其中工作人员的动作至少包括举拳、剑指、固定位置站立和误判动作；
对标注的学习样本进行训练获得识别神经网络模型；
捕捉工作人员的动作行为视频，剔除不在识别范围内的视频帧，剔除动作行为视频中过度模糊、存在歧义、没有做动作行为的视频帧；
采用识别神经网络模型进行动作识别：以所述识别神经网络模型为基础，利用图像目标检测方法获取图像中动作行为所分布的区域；
设置不同类型的动作行为图像对应的识别精度阈值，根据该阈值对视频帧进行过滤，获取不同类型动作的精度值最高的视频帧。
作为优选的方式：利用图像目标检测方法获取图像中动作行为所分布的区域时采用如下方式：
SP1:利用多尺度特征进行对象检测，在未被标记的数据点中随机选择一个点作为起始中心点x；
SP2:找出以x为中心、将半径为h的区域中出现的所有数据点定义为集合M，设定集合M同属于一个聚类C，同时在该聚类C中记录数据点出现的次数；
SP3:以x为中心点，计算从x开始到集合M中每个元素的向量，将这些向量相加得到新向量，其中新向量计算方式为：
以x为圆心，h为半径做一个高维球,Mh(x)是从x指向质心的向量,n为点的数量，w(xi)≥0是每一个样本的权重，H是一个正定的对称矩阵，G(x)是一个单位的核函数；
SP4:重复步骤SP2、SP3直到向量的值很小为止；
SP5:如果收敛时当前簇C的x与其它已经存在的簇C2中心的距离小于设定阈值，则将簇C2和前簇C合并，数据点出现次数也对应合并，否则把簇C作为新的聚类；
SP6:重复SP5直到所有的点都已经访问，根据每个类对每个点的访问频率，取访问频率最高的那个类作为当前点集的所属类，每个类即为当前动作行为所存在的区域。
进一步的，所述不同类型的动作行为图像对应的识别精度阈值至少包括
剑指识别精度阈值、齐眉举拳识别精度阈值、固定位置站立识别精度阈值，当对视频帧进行过滤时：剔除小于剑指识别精度阈值的视频帧、剔除小于齐眉举拳识别精度阈值的视频帧、剔除小于固定位置站立识别精度阈值的视频帧以及剔除非识别动作行为的视频帧。
由于采用了上述技术方案，本发明提供的一种基于神经网络动作行为识别的方法，首先采集铁路上工作人员的图像视频信息、剔除不符合要求的视频帧图像、然后再获取图像视频信息中的动作行为所分布的区域，再筛选出精度值最高的视频帧，根据视频帧中动作判断铁路上工作人员的指挥动作是否符合要求，从而明显降低运算时间，且能够综合利用视频图像，显著提高视频动作识别精度。因此本发明中的方法完全可以做到实时跟踪工作人员的指挥动作并进行判断，具有跟踪定位准确、应用性强、节省时间且流程简便的优点,同时较大程度排除了动作行为的非异常动作来提高运算速度，进而提升最终的动作识别准确率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明方法的流程图。
具体实施方式
为使本发明的技术方案和优点更加清楚，下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚完整的描述：
如图1所示的一种基于神经网络动作行为识别的方法，具体包括如下步骤：
S1:采集不同背景下工作人员的动作行为图像信息，将采集到的图像定义为学习样本，对每个学习样本进行标注；其中工作人员的动作至少包括举拳、剑指、固定位置站立和误判动作。
S2:对标注的学习样本进行训练获得识别神经网络模型；
S3:利用像机捕捉动作行为视频，剔除不在识别范围内的视频帧、剔除动作行为视频中过度模糊、存在歧义、没有做动作行为的视频帧；
S4:采用识别神经网络模型进行动作识别，以所述识别神经网络模型为基础，利用图像目标检测方法获取图像中动作行为所分布的区域，具体采用如下方式：
S41：利用多尺度特征进行对象检测，在未被标记的数据点中随机选择一个点作为起始中心点x；
S42：找出以x为中心半径为h的区域中出现的所有数据点，认为这些点同属于一个聚类C。同时在该聚类中记录数据点出现的次数加1。
S43:以x为中心点，计算从x开始到集合M中每个元素的向量，将这些向量相加，得到向量。向量计算公式如下：
以x为圆心，h为半径做一个高维球,Mh(x)是从x指向质心的向量,n为点的数量。w(xi)≥0是每一个样本的权重，H是一个正定的对称矩阵，G(x)是一个单位的核函数。
S44：重复步骤S42、S43，直到向量的值很小为止；
S45：如果收敛时当前簇C的x与其它已经存在的簇C2中心的距离小于阈值，那么把C2和C合并，数据点出现次数也对应合并。否则把C作为新的聚类。
S46:重复上述步骤，直到所有的点都已经访问，根据每个类，对每个点的访问频率，取访问频率最大的那个类，作为当前点集的所属类，每个类即为当前动作行为所存在的区域。
S5:根据不同类型的动作行为图像对应的识别精度阈值进行视频帧过滤，获取不同类型动作的精度值最高的视频帧。其中具体过程为根据动作行为分类分别从S4中获取的区域类中找到识别精度值最大的视频帧，再把所有的区域获取的视频帧形成图片，形成的图片即为识别的动作行为图片。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
Claims (3)
1.一种基于神经网络动作行为识别的方法,其特征在于包括：
采集不同背景下工作人员的动作行为的图像信息，将采集到的图像定义为学习样本，对每个学习样本进行标注；其中工作人员的动作至少包括举拳、剑指、固定位置站立和误判动作；
对标注的学习样本进行训练获得识别神经网络模型；
捕捉工作人员的动作行为视频，剔除不在识别范围内的视频帧，剔除动作行为视频中过度模糊、存在歧义、没有做动作行为的视频帧；
采用识别神经网络模型进行动作识别：以所述识别神经网络模型为基础，利用图像目标检测方法获取图像中动作行为所分布的区域；
设置不同类型的动作行为图像对应的识别精度阈值，根据该阈值对视频帧进行过滤，获取不同类型动作的精度值最高的视频帧。
2.根据权利要求1所述的方法，其特征还在于：利用图像目标检测方法获取图像中动作行为所分布的区域时采用如下方式：
SP1:利用多尺度特征进行对象检测，在未被标记的数据点中随机选择一个点作为起始中心点x；
SP2:找出以x为中心、将半径为h的区域中出现的所有数据点定义为集合M，设定集合M同属于一个聚类C，同时在该聚类C中记录数据点出现的次数；
SP3:以x为中心点，计算从x开始到集合M中每个元素的向量，将这些向量相加得到新向量，其中新向量计算方式为：
以x为圆心，h为半径做一个高维球,Mh(x)是从x指向质心的向量,n为点的数量，w(xi)≥0是每一个样本的权重，H是一个正定的对称矩阵，G(x)是一个单位的核函数；
SP4:重复步骤SP2、SP3直到向量的值很小为止；
SP5:如果收敛时当前簇C的x与其它已经存在的簇C2中心的距离小于设定阈值，则将簇C2和前簇C合并，数据点出现次数也对应合并，否则把簇C作为新的聚类；
SP6:重复SP5直到所有的点都已经访问，根据每个类对每个点的访问频率，取访问频率最高的那个类作为当前点集的所属类，每个类即为当前动作行为所存在的区域。
3.根据权利要求1所述的方法，其特征还在于：所述不同类型的动作行为图像对应的识别精度阈值至少包括
剑指识别精度阈值、齐眉举拳识别精度阈值、固定位置站立识别精度阈值，当对视频帧进行过滤时：剔除小于剑指识别精度阈值的视频帧、剔除小于齐眉举拳识别精度阈值的视频帧、剔除小于固定位置站立识别精度阈值的视频帧以及剔除非识别动作行为的视频帧。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911047449.2A CN110781847A (zh) | 2019-10-30 | 2019-10-30 | 一种基于神经网络动作行为识别的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911047449.2A CN110781847A (zh) | 2019-10-30 | 2019-10-30 | 一种基于神经网络动作行为识别的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110781847A true CN110781847A (zh) | 2020-02-11 |
Family
ID=69387847
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911047449.2A Pending CN110781847A (zh) | 2019-10-30 | 2019-10-30 | 一种基于神经网络动作行为识别的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110781847A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113065893A (zh) * | 2021-03-24 | 2021-07-02 | 支付宝(杭州)信息技术有限公司 | 客户信息识别方法、装置、设备及存储介质 |
| CN115379300A (zh) * | 2022-07-27 | 2022-11-22 | 国能龙源环保有限公司 | 基于ai识别算法规范安装炸药包的辅助方法及辅助装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040002928A1 (en) * | 2002-06-27 | 2004-01-01 | Industrial Technology Research Institute | Pattern recognition method for reducing classification errors |
| CN105160313A (zh) * | 2014-09-15 | 2015-12-16 | 中国科学院重庆绿色智能技术研究院 | 视频监控中人群行为分析的方法及装置 |
| CN106941602A (zh) * | 2017-03-07 | 2017-07-11 | 中国铁道科学研究院 | 机车司机行为识别方法、装置及系统 |
| CN108241849A (zh) * | 2017-08-28 | 2018-07-03 | 北方工业大学 | 基于视频的人体交互动作识别方法 |
| CN109977971A (zh) * | 2019-03-29 | 2019-07-05 | 苏州大学 | 基于均值偏移与核相关滤波的尺度自适应目标跟踪系统 |
| CN110135383A (zh) * | 2019-05-22 | 2019-08-16 | 辽宁鼎汉奇辉电子系统工程有限公司 | 铁路货车装载视频智能监视系统 |
-
2019
- 2019-10-30 CN CN201911047449.2A patent/CN110781847A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040002928A1 (en) * | 2002-06-27 | 2004-01-01 | Industrial Technology Research Institute | Pattern recognition method for reducing classification errors |
| CN105160313A (zh) * | 2014-09-15 | 2015-12-16 | 中国科学院重庆绿色智能技术研究院 | 视频监控中人群行为分析的方法及装置 |
| CN106941602A (zh) * | 2017-03-07 | 2017-07-11 | 中国铁道科学研究院 | 机车司机行为识别方法、装置及系统 |
| CN108241849A (zh) * | 2017-08-28 | 2018-07-03 | 北方工业大学 | 基于视频的人体交互动作识别方法 |
| CN109977971A (zh) * | 2019-03-29 | 2019-07-05 | 苏州大学 | 基于均值偏移与核相关滤波的尺度自适应目标跟踪系统 |
| CN110135383A (zh) * | 2019-05-22 | 2019-08-16 | 辽宁鼎汉奇辉电子系统工程有限公司 | 铁路货车装载视频智能监视系统 |
Non-Patent Citations (1)
| Title |
|---|
| 周华争: "联合判别与生成模型的目标跟踪算法研究" * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113065893A (zh) * | 2021-03-24 | 2021-07-02 | 支付宝(杭州)信息技术有限公司 | 客户信息识别方法、装置、设备及存储介质 |
| CN115379300A (zh) * | 2022-07-27 | 2022-11-22 | 国能龙源环保有限公司 | 基于ai识别算法规范安装炸药包的辅助方法及辅助装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11182592B2 (en) | Target object recognition method and apparatus, storage medium, and electronic device | |
| CN109117827B (zh) | 基于视频的工服工帽穿戴状态自动识别方法与报警系统 | |
| WO2019179024A1 (zh) | 机场跑道智能监控方法、应用服务器及计算机存储介质 | |
| KR101557376B1 (ko) | 사람 계수 방법 및 그를 위한 장치 | |
| CN106384345B (zh) | 一种基于rcnn的图像检测以及流量统计方法 | |
| JP2004054960A (ja) | 映像視覚情報を結合してリアルタイムで複数の顔を検出して追跡する顔検出・追跡システム及びその方法 | |
| CN110728252B (zh) | 一种应用于区域人员运动轨迹监控的人脸检测方法 | |
| KR101508310B1 (ko) | 영상 감시 시스템에서 다중 이동 물체를 추적하는 방법 및 장치 | |
| KR20170006355A (ko) | 모션벡터 및 특징벡터 기반 위조 얼굴 검출 방법 및 장치 | |
| CN110490171B (zh) | 一种危险姿态识别方法、装置、计算机设备及存储介质 | |
| KR101449744B1 (ko) | 영역 기반 특징을 이용한 얼굴 검출 장치 및 방법 | |
| JP2019220129A (ja) | 交通標識を認識するためのシステムおよび方法 | |
| US10423817B2 (en) | Latent fingerprint ridge flow map improvement | |
| WO2022199360A1 (zh) | 运动物体的定位方法、装置、电子设备及存储介质 | |
| CN110458093B (zh) | 一种基于驾驶员监控系统的安全带检测方法以及相应的设备 | |
| CN112200131A (zh) | 一种基于视觉的车辆碰撞检测方法、智能终端及存储介质 | |
| CN110781847A (zh) | 一种基于神经网络动作行为识别的方法 | |
| CN111079621A (zh) | 检测对象的方法、装置、电子设备和存储介质 | |
| TW202201275A (zh) | 手部作業動作評分裝置、方法及電腦可讀取存儲介質 | |
| CN113780145A (zh) | 精子形态检测方法、装置、计算机设备和存储介质 | |
| CN112183532A (zh) | 基于弱监督协同学习算法的安全帽识别方法及存储介质 | |
| CN111382705A (zh) | 逆行行为检测方法、装置、电子设备及可读存储介质 | |
| CN114627339B (zh) | 茂密丛林区域对越境人员的智能识别跟踪方法及存储介质 | |
| CN115953744A (zh) | 一种基于深度学习的车辆识别追踪方法 | |
| CN114494355A (zh) | 基于人工智能的轨迹分析方法、装置、终端设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200211 |