CN109840489A - 一种渡口行人运动跟踪检测系统及其检测方法 - Google Patents
一种渡口行人运动跟踪检测系统及其检测方法 Download PDFInfo
- Publication number
- CN109840489A CN109840489A CN201910067438.4A CN201910067438A CN109840489A CN 109840489 A CN109840489 A CN 109840489A CN 201910067438 A CN201910067438 A CN 201910067438A CN 109840489 A CN109840489 A CN 109840489A
- Authority
- CN
- China
- Prior art keywords
- ferry
- pedestrian
- pedestrian movement
- sample
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 94
- 238000001514 detection method Methods 0.000 title claims abstract description 62
- 238000000034 method Methods 0.000 claims abstract description 44
- 238000013135 deep learning Methods 0.000 claims abstract description 19
- 238000004891 communication Methods 0.000 claims description 11
- 238000012544 monitoring process Methods 0.000 claims description 10
- 230000003321 amplification Effects 0.000 claims description 7
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 abstract description 21
- 238000001914 filtration Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 abstract description 3
- 239000000523 sample Substances 0.000 description 66
- 238000005070 sampling Methods 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 7
- 230000000386 athletic effect Effects 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000013145 classification model Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 238000013475 authorization Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000034994 death Effects 0.000 description 1
- 231100000517 death Toxicity 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种渡口行人运动跟踪检测系统,该系统包括有采集前端、交换器、信号发射器和视频分析器,视频分析器由深度学习方法搭建,本发明还公开了一种渡口行人运动跟踪检测方法,该方法具体包括有S1:采集行人运动样本;S2:做连续性标注;S3:预测行人体运动模型;S4:由深度学习方法生成分类模型和身份特征模型;S5:结合人体运动模型、分类模型和身份特征模型生成人体运动预测模型;S6:利用人体运动预测模型检测行人。在经过一定量样本训练后可准确抽取目标外观特征图片与目标图库快速精确比对,完成目标外形特征高效识别的功能。通过人体运动检测模型,系统自动进行对每个人运动过滤与刷选,从而实现人运动检测跟踪。
Description
技术领域
本发明属于行人智能识别技术领域,特别涉及一种针对渡口行人的运动跟踪检测系统及其检测方法。
背景技术
目前全国有19万个渡口,且大部分都分布在边远山区,由于渡运运营方安全意识不足,对于安全投入不够,为了经济利益忽视安全的重要性,违规超载。再加上水运部门监管力量有限,无法实施全面有效严格的监管,边远山区的渡口发生事故致人伤亡的案例层出不穷。
2014年6月18日,中华人民共和国交通运输部发布2014年第9号令公布《内河渡口渡船安全管理规定》(以下简称《规定》),在《规定》中明确指出:针对监管的责任包含如下7条:1、酒后驾驶责任;2、违规超载责任;3、违反危险货物渡运规定的责任;4、违反夜航规定的责任;5、违规混载的责任;6、恶劣天气或水文条件下擅自开航的责任;7、乘客打架斗殴、寻衅滋事等情形下擅自开航的责任。
其中,重点的监管内容如下:
第十四条渡口运营人应当督促渡船清点并如实记录每航次渡船载客数量及车辆驾驶员等随船过渡人员,并开展定期或者不定期核查。
第三十三条渡船发生水上险情的,应当立即进行自救,并报告当地人民政府或者海事管理机构。当地人民政府和海事管理机构接到报告后,应当依照职责,组织搜寻救助。渡口渡船应当服从指挥,在不危及自身安全的情况下,积极参与水上搜寻救助。
第三十四条水电站、水库等管理单位因蓄放水作业可能导致渡口水位急剧变化影响渡运安全的,应当事先向当地海事管理机构通报水情信息。当地海事管理机构接到水情信息后应当及时通报相关渡口运营人。由此可见,国家对渡口监管的重视程度。
在《规定》中还指出,鼓励运用视频监控等先进技术手段对渡运安全进行安全管理和监督检查。
然而,由于我国目前大部分渡口属于比较偏远的农村渡口,属于监管盲区,监管部门没有手段得知渡口有多少班航次,每次航行实载多少人。监管部门采取了诸如:渡口随机抽查、安装过通道闸机、规定船工在开船前进行人数统计等方法,均无法取得良好的监管效果。
随着科技进步,目前我国大部分渡口均已安装高清摄像头,是对渡口登船过程进行监控,监管部门可实时查看到渡口的情况,如有事故发生,则可通过回放视频录像中的整个登船过程,判定渡口运营情况。然而,采取这样的监管方式无法对船工的违规行为进行监管,且采用视频监控的方法其本质上扔完全依靠人工监管,属于一种事后盘查的手段,不能进行提前告警、预警,监管效率仍然低下。
针对渡口人员的识别,除了渡口人员的人数识别,针对渡口行人的轨迹跟踪及其特征检测也是现今行人识别行业的难点。在渡口场景下,进入监控区域内的行人一般具有:姿态多样、运动无方向性、运动姿态变化快、不同的天气条件导致的不同光照条件下行人特征发生改变、特定的天气条件下(如下雨、下雪)行人因打伞或穿戴雨衣而使得其特征减少、行人密集且不同行人之间互相遮挡对其特征造成干扰等问题。
发明内容
为解决上述问题,本发明的目的在于提供一种渡口行人运动跟踪检测系统,该系统针对渡口场景架设,其结构设置紧凑合理,为检测方法的实现提供前期训练样本和后期的检测依据。
本发明还提供一种行人运动跟踪检测方法,该方法针对渡口场景,在不同的区域,不同的天气情况下,即使出现在渡口的人员存在互相遮挡、人员本身穿戴干扰的情况,也能保证同一行人跟踪识别的准确性。
为实现上述目的,本发明的技术方案如下:
本发明提供一种渡口行人运动跟踪检测系统,该系统包括有采集前端、交换器和信号发射器,采集前端与交换器通讯连接,信号发射器也与交换器通信连接;交换器还与外部网络连接;其特征在于,该系统针对渡口场景设置,采集前端采集渡口场景的监控画面,该系统还包括有视频分析器,视频分析器由深度学习方法搭建,视频分析器与交换器通讯连接。
本发明提供的渡口人员识别系统主要用于渡口场景,采集前端摄录渡口画面,主动探测行人目标,并将摄录到的渡口监控画面通过交换器传输到视频分析器中,视频分析器中针对摄录画面设置电子检测线,行人穿过检测线后,由深度学习视频分析器将自动对行人目标进行分析,跟踪行人的动态轨迹并技计数,由此实现渡口场景下的人员自动检测。
视频分析器与交换器连接,视频分析器的分析结果传送回交换器中后,交换器通过与外部网络的连接,可将视频分析器的分析数据实时传送到外部网络中,海事监管部门指挥中心的连接该外部网络,指挥中心中将设置浓缩服务器、流媒体服务器、大数据服务器、应用服务器、NTP服务器和值班终端等一系列网络设备来分析并处理辖区内所有渡口的分析数据,由此方便海事监管部门对辖区内所有渡口的自动监管、有效预警和统筹调控。而交换机与外部网络的连接,海事监管部门指挥中心的内网与外部网络的连接、以及指挥中心中相关媒体设备的设置均为现有技术,本领域技术人员可根据本发明提供的技术方案,通过查阅现有网络搭建、媒体链接的相关资料得知其具体实现方式。
视频分析器包括有检测采样层、全连接层和多目标分类层,检测采样层与全连接层连接,全连接层还与多目标分类层连接,采集前端经检测采样层进行和卷积计算和降采样后,经全连接层进入多目标分类层进行多目标分类。安装在渡口场景下的采集前端摄录到的渡口监控画面无可避免地存在摄录距离较远,画面中人、车、船等目标物较小、且目标物难以定位、难以识别等问题。本发明提供的渡口人员识别系统中,采集前端采集到原始图片后,原始图片通过交换器传送给视频分析器,原始图片进入视频分析器后,不同于其他视频识别方法中原始图片先通过全连接层之后再检测,本发明提供的视频分析器针对输入的原始图片,首先利用检测采样层具备的CNN首先对原始图片进行卷积计算与降采样,将其结果经过全连接层后再进行多目标分类,采用这样的算法搭建方式,可以轻松实现渡口场景下摄录画面中的小目标的检测,防止出现渡口场景下摄录画面存在目标物过小、视频分析器难以识别的情况,提高系统的人员识别精度和准确度。
该系统还包括有网桥,所述网桥与交换器通讯连接。设置网桥,便于将网桥与交换器配合起来,连接不同网络,将零散渡口信息连接成网,便于多个人员识别系统之间的数据交互。
采集前端为云台枪机或球机。本处应该强调的是,本发明在具体应用中,采集前端可具体应用可为但不仅限于云台枪机与球机,凡所有课针对渡口场景设置并能摄录监控画面的网络摄像机均可应用于本发明的具体实施场景中,并包括在本发明的保护范围内。
本方法还提供一种渡口行人运动跟踪检测方法,该方法为:
S1:采集复数组行人运动样本;
S2:对每组行人运动样本中的行人分别做连续性标注;
S3:根据完成连续性标注的行人运动样本预测行人体运动模型;
S4:由深度学习方法生成分类模型和身份特征模型;
S5:结合人体运动模型、分类模型和身份特征模型生成人体运动预测模型;
S6:利用人体运动预测模型对渡口与场景下的行人进行运动跟踪检测。
渡口场景下,进入监控区域内的行人常出现下列状况:
1)同一个人在监控画面中常存在大小不同、身体部位尺寸不同、运动姿态不同等情况;
2)同一区域在不同的采集前端摄录的画面中常存在方向不同、视角不同、光照情况不同、背景不同等情况;
3)不同的天气状况如阴天、雨天、雾霾天等导致采集前端摄录到的监控画面相较于晴天、能见度良好是采集前端摄录到的画面存在较大干扰;
4)多个行人之间相互遮挡、人车之间互相遮挡、雨衣遮挡行人、雨伞遮挡行人等情况;
以上是渡口场景下,针对渡口行人跟踪检测普遍存在的问题,本发明提供渡口行人运动跟踪检测方法利用深度学习方法的智能学习方法,对深度卷积神经网络输入完成连续性标注的行人运动样本后,深度卷积神经网络对行人运动样本进行自学习、自训练,有效地在众多干扰因素中剥离出行人,由此得出人体预测模型,再进一步地结合分类模型和身份特征模型,得出的行人运动预测模型可根据采集前端摄录的监控画面,准确抽取外观特征图片,将其与目标图库快速比对后,准确的区分出行人与渡口场景下诸如天气、遮挡物等干扰因素与行人本身,检测识别行人外观特征,完成渡口场景下行人运动检测。
其中,S1:采集复数组行人运动样本具体为:采集前端摄录复数组渡口场景下的行人运动视频,工作人员对每一组间隔固定帧数提取行人运动图片,形成该组行人运动样本。
其中,S4:由深度学习方法生成分类模型和身份特征模型具体为:
S41:收集样本图片并对样本图片中出现的目标进行标注;
S42:设置并匹配先验框;
S43:采集并输入负样本;
S44:计算位置误差与置信度误差;
S44:扩增数据;
S45:预测过程;
S46:生成分类模型和身份特征模型。为得到训练好的将分类模型和身份特征模型,工作人员先前使用人工对样本图片中出现的目标进行标注,这样的工作可以提高模型的准确性,从建立模型开始,提升模型的识别精度。图片输入模型中后,针对模型的训练,本发明采用多尺度采用大小不同的特征图的方法,通过每个单元设置尺度或者长宽比不同的先验框,密集采样,在一定程度上减少训练难度,设置先验框后,系统将对先验框与人进行匹配,与人匹配的先验框所对应的边界框将负责预测人。此时输入负样本,针对渡口场景下的人员识别,则负样本可为除人之外的如车、船、雨伞等物体,若某个先验框没有与人匹配,则该先验框只能与负样本匹配,为了保证正负样本尽量平衡,本发明对负样本采取抽样的形式,抽样时按照置信度误差(预测背景的置信度越小,误差越大)进行降序排列,选取误差的较大的作为训练的负样本,由此确定训练样本。接下来对确定的训练样本进行位置误差与置信度误差的计算,其中,位置误差仅针对正样本进行计算。进而采用数据扩增可提升本模型的整体性能,提升系统针对渡口场景中的目标识别准确度,预测过程中,针对每个预测框,首先根据类别置信度确定其类别与置信度值,并过滤掉车、船、雨伞等负样本的预测框。然后根据设置好的置信度阈值过滤掉阈值较低的预测框。对于留下的预测框进行解码,根据先验框得到其真实的位置参数。解码后,一般需要根据置信度进行降序排列,保留置信度靠前的设定数量个预测框,最后过滤掉那些重叠度较大的预测框,生成分类模型和身份特征模型。
本发明的优势在于,在经过一定量样本训练后可准确抽取目标外观特征图片与目标图库快速精确比对,完成目标外形特征高效识别的功能。通过人体运动检测模型,系统自动进行对每个人运动过滤与刷选,从而实现人运动检测跟踪。
附图说明
图1是本发明采用如具体实施方式一所示的架构方式与指挥中心的连接架构示意图。
图2是本发明采用如具体实施方式二所示的架构方式与指挥中心的连接架构示意图。
图3是本发明所实现的检测方法中行人运动样本连续性标注示意图。
图4是本发明所实现的行人运动跟踪方法的原理图。
图5是本发明所述实现的行人运动跟踪方法中模型训练的流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
为实现上述目的,本发明的技术方案如下:
具体实施方式一:
参见图1、3、4、5所示,本发明提供一种渡口行人运动跟踪检测系统,该系统包括有采集前端、交换器和信号发射器,采集前端与交换器通讯连接,信号发射器也与交换器通信连接;交换器还与外部网络连接;其特征在于,该系统针对渡口场景设置,采集前端采集渡口场景的监控画面,该系统还包括有视频分析器,视频分析器由深度学习方法搭建,视频分析器与交换器通讯连接。本发明提供的渡口行人运动跟踪检测系统主要用于渡口场景,采集前端摄录渡口画面,主动探测行人目标,并将摄录到的渡口监控画面通过交换器传输到视频分析器中,视频分析器中针对摄录画面设置电子检测线,行人穿过检测线后,由深度学习视频分析器将自动对行人目标进行分析,跟踪行人的动态轨迹并技计数,由此实现渡口场景下的人员自动检测。
在本具体实施方式中,系统包括有A系统与B系统,其中,A系统设置在渡口A岸,B系统设置在渡口B岸,其中A系统包括有路由器、云台枪机、球机、视频分析器、网桥和交换器,而路由器、云台枪机、球机、视频分析器、网桥均与交换器连接,交换器与外部网络连接,云台枪机与球机作为采集前端,负责摄录渡口监控话画面,实现对登船人数的实时数据采集,采集前端摄录到的监控画面作为原始图片,经交换器传送给视频分析器中进行分析,视频分析器对渡口场景下的行人目标进行分析,跟踪行人动态轨迹,进行人员自动识别。B系统与A系统的设置相同,而考虑到渡口的设置位置可能存在市电无法到达的情况,则在B系统中额外设置太阳能电池板,为全系统提供电源供应。
海事监管部门指挥中心的连接外部网络,指挥中心中将设置浓缩服务器、流媒体服务器、大数据服务器、应用服务器、NTP服务器和值班终端等一系列网络设备来分析并处理辖区内所有渡口的分析数据,由此方便海事监管部门对辖区内所有渡口的自动监管、有效预警和统筹调控。而交换机与外部网络的连接,海事监管部门指挥中心的内网与外部网络的连接、以及指挥中心中相关媒体设备的设置均为现有技术,本领域技术人员可根据本发明提供的技术方案,通过查阅现有网络搭建、媒体链接的相关资料得知其具体实现方式。
基于本具体实施方式提供的系统,本发明还提供本方法还提供一种渡口行人运动跟踪检测方法,该方法为:S1:采集复数组行人运动样本;S2:对每组行人运动样本中的行人分别做连续性标注;S3:根据完成连续性标注的行人运动样本预测行人体运动模型;S4:由深度学习方法生成分类模型和身份特征模型;S5:结合人体运动模型、分类模型和身份特征模型生成人体运动预测模型;S6:利用人体运动预测模型对渡口与场景下的行人进行运动跟踪检测。
渡口场景下,进入监控区域内的行人常出现下列状况:
1)同一个人在监控画面中常存在大小不同、身体部位尺寸不同、运动姿态不同等情况;
2)同一区域在不同的采集前端摄录的画面中常存在方向不同、视角不同、光照情况不同、背景不同等情况;
3)不同的天气状况如阴天、雨天、雾霾天等导致采集前端摄录到的监控画面相较于晴天、能见度良好是采集前端摄录到的画面存在较大干扰;
4)多个行人之间相互遮挡、人车之间互相遮挡、雨衣遮挡行人、雨伞遮挡行人等情况;
以上是渡口场景下,针对渡口行人跟踪检测普遍存在的问题,本发明提供渡口行人运动跟踪检测方法利用深度学习方法的智能学习方法,对深度卷积神经网络输入完成连续性标注的行人运动样本后,深度卷积神经网络对行人运动样本进行自学习、自训练,有效地在众多干扰因素中剥离出行人,由此得出人体预测模型,再进一步地结合分类模型和身份特征模型,得出的行人运动预测模型可根据采集前端摄录的监控画面,准确抽取外观特征图片,将其与目标图库快速比对后,准确的区分出行人与渡口场景下诸如天气、遮挡物等干扰因素与行人本身,检测识别行人外观特征,完成渡口场景下行人运动检测。
其中,S1:采集复数组行人运动样本具体为:采集前端摄录复数组渡口场景下的行人运动视频,工作人员对每一组间隔固定帧数提取行人运动图片,形成该组行人运动样本。
其中,S4:由深度学习方法生成分类模型和身份特征模型具体为:S41:收集样本图片并对样本图片中出现的目标进行标注;S42:设置并匹配先验框;S43:采集并输入负样本;S44:计算位置误差与置信度误差;S44:扩增数据;S45:预测过程;S46:生成分类模型和身份特征模型。为得到训练好的将分类模型和身份特征模型,工作人员先前使用人工对样本图片中出现的目标进行标注,这样的工作可以提高模型的准确性,从建立模型开始,提升模型的识别精度。图片输入模型中后,针对模型的训练,本发明采用多尺度采用大小不同的特征图的方法,通过每个单元设置尺度或者长宽比不同的先验框,密集采样,在一定程度上减少训练难度,设置先验框后,系统将对先验框与人进行匹配,与人匹配的先验框所对应的边界框将负责预测人。此时输入负样本,针对渡口场景下的人员识别,则负样本可为除人之外的如车、船、雨伞等物体,若某个先验框没有与人匹配,则该先验框只能与负样本匹配,为了保证正负样本尽量平衡,本发明对负样本采取抽样的形式,抽样时按照置信度误差(预测背景的置信度越小,误差越大)进行降序排列,选取误差的较大的作为训练的负样本,由此确定训练样本。接下来对确定的训练样本进行位置误差与置信度误差的计算,其中,位置误差仅针对正样本进行计算。进而采用数据扩增可提升本模型的整体性能,提升系统针对渡口场景中的目标识别准确度,预测过程中,针对每个预测框,首先根据类别置信度确定其类别与置信度值,并过滤掉车、船、雨伞等负样本的预测框。然后根据设置好的置信度阈值过滤掉阈值较低的预测框。对于留下的预测框进行解码,根据先验框得到其真实的位置参数。解码后,一般需要根据置信度进行降序排列,保留置信度靠前的设定数量个预测框,最后过滤掉那些重叠度较大的预测框,生成分类模型和身份特征模型。
具体实施方式二:
请参阅图2、3、4、5,本发明提供一种渡口行人运动跟踪检测系统,该系统包括有采集前端、交换器和信号发射器,采集前端与交换器通讯连接,信号发射器也与交换器通信连接;交换器还与外部网络连接;其特征在于,该系统针对渡口场景设置,采集前端采集渡口场景的监控画面,该系统还包括有视频分析器,视频分析器由深度学习方法搭建,视频分析器与交换器通讯连接。
本发明提供的渡口行人运动跟踪检测系统主要用于渡口场景,采集前端摄录渡口画面,主动探测行人目标,并将摄录到的渡口监控画面通过交换器传输到视频分析器中,视频分析器中针对摄录画面设置电子检测线,行人穿过检测线后,由深度学习视频分析器将自动对行人目标进行分析,跟踪行人的动态轨迹并技计数,由此实现渡口场景下的人员自动检测。
在本具体实施方式中,本系统包括有渡船系统和码头系统,其中,渡船系统包括有发电装置、云台枪机、球机、交换器与全向天线,而发电装置、云台枪机、球机、全向天线均与交换器连接。球机探测到渡船离开码头后,球机与枪机相互映射拍摄,拼接成整张图片,对渡船上的人数进行计数,并将人数回传至码头系统,同时渡船行驶过程中的视频也可以实时回传至码头系统。码头系统包括有扇形天线、交换器、与网桥,而扇形天线与交换器连接,网桥一方面与交换器连接,另一方面与外部网络连接,码头系统采用扇形天线与船载全向天线相互通信,实时接收船载的视频信息,以便相关部门可以实时掌握渡船上人数及其他异常情况,并通过网桥回传至外部网络。
海事监管部门指挥中心的连接外部网络,指挥中心中将设置浓缩服务器、流媒体服务器、大数据服务器、应用服务器、NTP服务器和值班终端等一系列网络设备来分析并处理辖区内所有渡口的分析数据,由此方便海事监管部门对辖区内所有渡口的自动监管、有效预警和统筹调控。而交换机与外部网络的连接,海事监管部门指挥中心的内网与外部网络的连接、以及指挥中心中相关媒体设备的设置均为现有技术,本领域技术人员可根据本发明提供的技术方案,通过查阅现有网络搭建、媒体链接的相关资料得知其具体实现方式。
基于本具体实施方式提供的系统,本发明还提供本方法还提供一种渡口行人运动跟踪检测方法,该方法为:S1:采集复数组行人运动样本;S2:对每组行人运动样本中的行人分别做连续性标注;S3:根据完成连续性标注的行人运动样本预测行人体运动模型;S4:由深度学习方法生成分类模型和身份特征模型;S5:结合人体运动模型、分类模型和身份特征模型生成人体运动预测模型;S6:利用人体运动预测模型对渡口与场景下的行人进行运动跟踪检测。
渡口场景下,进入监控区域内的行人常出现下列状况:
1)同一个人在监控画面中常存在大小不同、身体部位尺寸不同、运动姿态不同等情况;
2)同一区域在不同的采集前端摄录的画面中常存在方向不同、视角不同、光照情况不同、背景不同等情况;
3)不同的天气状况如阴天、雨天、雾霾天等导致采集前端摄录到的监控画面相较于晴天、能见度良好是采集前端摄录到的画面存在较大干扰;
4)多个行人之间相互遮挡、人车之间互相遮挡、雨衣遮挡行人、雨伞遮挡行人等情况;
以上是渡口场景下,针对渡口行人跟踪检测普遍存在的问题,本发明提供渡口行人运动跟踪检测方法利用深度学习方法的智能学习方法,对深度卷积神经网络输入完成连续性标注的行人运动样本后,深度卷积神经网络对行人运动样本进行自学习、自训练,有效地在众多干扰因素中剥离出行人,由此得出人体预测模型,再进一步地结合分类模型和身份特征模型,得出的行人运动预测模型可根据采集前端摄录的监控画面,准确抽取外观特征图片,将其与目标图库快速比对后,准确的区分出行人与渡口场景下诸如天气、遮挡物等干扰因素与行人本身,检测识别行人外观特征,完成渡口场景下行人运动检测。
其中,S1:采集复数组行人运动样本具体为:采集前端摄录复数组渡口场景下的行人运动视频,工作人员对每一组间隔固定帧数提取行人运动图片,形成该组行人运动样本。
其中,S4:由深度学习方法生成分类模型和身份特征模型具体为:S41:收集样本图片并对样本图片中出现的目标进行标注;S42:设置并匹配先验框;S43:采集并输入负样本;S44:计算位置误差与置信度误差;S44:扩增数据;S45:预测过程;S46:生成分类模型和身份特征模型。为得到训练好的将分类模型和身份特征模型,工作人员先前使用人工对样本图片中出现的目标进行标注,这样的工作可以提高模型的准确性,从建立模型开始,提升模型的识别精度。图片输入模型中后,针对模型的训练,本发明采用多尺度采用大小不同的特征图的方法,通过每个单元设置尺度或者长宽比不同的先验框,密集采样,在一定程度上减少训练难度,设置先验框后,系统将对先验框与人进行匹配,与人匹配的先验框所对应的边界框将负责预测人。此时输入负样本,针对渡口场景下的人员识别,则负样本可为除人之外的如车、船、雨伞等物体,若某个先验框没有与人匹配,则该先验框只能与负样本匹配,为了保证正负样本尽量平衡,本发明对负样本采取抽样的形式,抽样时按照置信度误差(预测背景的置信度越小,误差越大)进行降序排列,选取误差的较大的作为训练的负样本,由此确定训练样本。接下来对确定的训练样本进行位置误差与置信度误差的计算,其中,位置误差仅针对正样本进行计算。进而采用数据扩增可提升本模型的整体性能,提升系统针对渡口场景中的目标识别准确度,预测过程中,针对每个预测框,首先根据类别置信度确定其类别与置信度值,并过滤掉车、船、雨伞等负样本的预测框。然后根据设置好的置信度阈值过滤掉阈值较低的预测框。对于留下的预测框进行解码,根据先验框得到其真实的位置参数。解码后,一般需要根据置信度进行降序排列,保留置信度靠前的设定数量个预测框,最后过滤掉那些重叠度较大的预测框,生成分类模型和身份特征模型。
本发明的优势在于,在经过一定量样本训练后可准确抽取目标外观特征图片与目标图库快速精确比对,完成目标外形特征高效识别的功能。通过人体运动检测模型,系统自动进行对每个人运动过滤与刷选,从而实现人运动检测跟踪。
以上仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (7)
1.一种渡口行人运动跟踪检测系统,该系统包括有采集前端、交换器和信号发射器,所述采集前端与交换器通讯连接,所述信号发射器也与交换器通信连接;所述交换器还与外部网络连接;其特征在于,该系统针对渡口场景设置,所述采集前端采集渡口场景的监控画面,该系统还包括有视频分析器,所述视频分析器由深度学习方法搭建,所述视频分析器与交换器通讯连接。
2.如权利要求1所述的渡口行人运动跟踪检测系统,其特征在于,所述视频分析器包括有检测采样层、全连接层和多目标分类层,所述检测采样层与全连接层连接,所述全连接层还与多目标分类层连接,采集前端经检测采样层进行和卷积计算和降采样后,经全连接层进入多目标分类层进行多目标分类。
3.如权利要求1所述的渡口行人运动跟踪检测系统,其特征在于,该系统还包括有网桥,所述网桥与交换器通讯连接。
4.如权利要求1所述的渡口行人运动跟踪检测系统,其特征在于,所述采集前端为云台枪机或球机。
5.一种渡口行人运动跟踪检测方法,其特征在于,该方法为:
S1:采集复数组行人运动样本;
S2:对每组行人运动样本中的行人分别做连续性标注;
S3:根据完成连续性标注的行人运动样本预测行人体运动模型;
S4:由深度学习方法生成分类模型和身份特征模型;
S5:结合人体运动模型、分类模型和身份特征模型生成人体运动预测模型;
S6:利用人体运动预测模型对渡口与场景下的行人进行运动跟踪检测。
6.如权利要求5所述的行人运动跟踪检测方法,其特征在于,所述S1:采集复数组行人运动样本具体为:采集前端摄录复数组渡口场景下的行人运动视频,工作人员对每一组间隔固定帧数提取行人运动图片,形成该组行人运动样本。
7.如权利要求5所述的行人运动跟踪检测方法,其特征在于,所述S4:由深度学习方法生成分类模型和身份特征模型具体为:
S41:收集样本图片并对样本图片中出现的目标进行标注;
S42:设置并匹配先验框;
S43:采集并输入负样本;
S44:计算位置误差与置信度误差;
S04:扩增数据;
S45:预测过程;
S46:生成分类模型和身份特征模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910067438.4A CN109840489A (zh) | 2019-01-24 | 2019-01-24 | 一种渡口行人运动跟踪检测系统及其检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910067438.4A CN109840489A (zh) | 2019-01-24 | 2019-01-24 | 一种渡口行人运动跟踪检测系统及其检测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109840489A true CN109840489A (zh) | 2019-06-04 |
Family
ID=66884072
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910067438.4A Pending CN109840489A (zh) | 2019-01-24 | 2019-01-24 | 一种渡口行人运动跟踪检测系统及其检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109840489A (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106845374A (zh) * | 2017-01-06 | 2017-06-13 | 清华大学 | 基于深度学习的行人检测方法及检测装置 |
US20180150684A1 (en) * | 2016-11-30 | 2018-05-31 | Shenzhen AltumView Technology Co., Ltd. | Age and gender estimation using small-scale convolutional neural network (cnn) modules for embedded systems |
CN108765826A (zh) * | 2018-05-31 | 2018-11-06 | 四川物联亿达科技有限公司 | 一种基于深度学习的多遮挡模糊场景人形识别方法及系统 |
CN108875588A (zh) * | 2018-05-25 | 2018-11-23 | 武汉大学 | 基于深度学习的跨摄像头行人检测跟踪方法 |
CN109146921A (zh) * | 2018-07-02 | 2019-01-04 | 华中科技大学 | 一种基于深度学习的行人目标跟踪方法 |
-
2019
- 2019-01-24 CN CN201910067438.4A patent/CN109840489A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180150684A1 (en) * | 2016-11-30 | 2018-05-31 | Shenzhen AltumView Technology Co., Ltd. | Age and gender estimation using small-scale convolutional neural network (cnn) modules for embedded systems |
CN106845374A (zh) * | 2017-01-06 | 2017-06-13 | 清华大学 | 基于深度学习的行人检测方法及检测装置 |
CN108875588A (zh) * | 2018-05-25 | 2018-11-23 | 武汉大学 | 基于深度学习的跨摄像头行人检测跟踪方法 |
CN108765826A (zh) * | 2018-05-31 | 2018-11-06 | 四川物联亿达科技有限公司 | 一种基于深度学习的多遮挡模糊场景人形识别方法及系统 |
CN109146921A (zh) * | 2018-07-02 | 2019-01-04 | 华中科技大学 | 一种基于深度学习的行人目标跟踪方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103914688B (zh) | 一种城市道路障碍物识别系统 | |
WO2021142902A1 (zh) | 基于DANet的无人机海岸线漂浮垃圾巡检系统 | |
CN101214851B (zh) | 船舶行驶智能型全天候主动安全预警系统及其预警方法 | |
CN109878552B (zh) | 基于机器视觉的轨道交通站台门与列车间异物监测装置 | |
CN105799740B (zh) | 一种基于物联网技术的轨道异物入侵自动检测与预警方法 | |
WO2020253308A1 (zh) | 矿井下皮带运输人员人机交互行为安全监控与预警方法 | |
CN104183127B (zh) | 交通监控视频检测方法和装置 | |
CN102724482B (zh) | 基于gps和gis的智能视觉传感网络运动目标接力跟踪系统 | |
CN106816038A (zh) | 一种内河水域异常行为船舶自动识别系统及方法 | |
CN108037770A (zh) | 基于人工智能的无人机输电线路巡检系统和方法 | |
CN107729799A (zh) | 基于深度卷积神经网络的人群异常行为视觉检测及分析预警系统 | |
CN109784150A (zh) | 基于多任务时空卷积神经网络的视频驾驶员行为识别方法 | |
CN106599885A (zh) | 一种集装箱Bay位监测系统及方法 | |
CN108961767A (zh) | 基于四维实景交通仿真的高速公路稽查追逃费报警系统 | |
CN110532889A (zh) | 基于旋翼无人飞行器和YOLOv3的轨道异物检测方法 | |
CN106331636A (zh) | 基于行为事件触发的输油管道智能视频监控系统及方法 | |
CN107590834A (zh) | 一种道路交通事件视频检测方法及系统 | |
CN104573659A (zh) | 一种基于svm的驾驶员接打电话监控方法 | |
CN104573811A (zh) | 一种红外图像和彩色图像融合的人流量统计方法 | |
WO2023221425A1 (zh) | 一种用于船舶过闸安全检测方法 | |
CN111723706A (zh) | 基于树莓派的厢式货车厢门开度监控装置及系统 | |
CN103679128B (zh) | 一种抗云层干扰的飞机目标检测方法 | |
CN115841649A (zh) | 一种用于城市复杂场景的多尺度人数统计方法 | |
CN109977840A (zh) | 一种基于深度学习的机场场面监视方法 | |
CN111582084A (zh) | 基于弱监督学习的空基视角下的铁轨异物检测方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190604 |