CN109840488A - 一种渡口人员识别系统及其识别方法 - Google Patents
一种渡口人员识别系统及其识别方法 Download PDFInfo
- Publication number
- CN109840488A CN109840488A CN201910067195.4A CN201910067195A CN109840488A CN 109840488 A CN109840488 A CN 109840488A CN 201910067195 A CN201910067195 A CN 201910067195A CN 109840488 A CN109840488 A CN 109840488A
- Authority
- CN
- China
- Prior art keywords
- ferry
- personal identification
- exchanger
- video
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000001514 detection method Methods 0.000 claims abstract description 29
- 238000013135 deep learning Methods 0.000 claims abstract description 23
- 238000004891 communication Methods 0.000 claims abstract description 13
- 238000012549 training Methods 0.000 claims description 30
- 230000003321 amplification Effects 0.000 claims description 19
- 238000004458 analytical method Methods 0.000 claims description 19
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 19
- 238000005070 sampling Methods 0.000 claims description 16
- 238000012544 monitoring process Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 10
- 238000012790 confirmation Methods 0.000 claims description 7
- 230000005540 biological transmission Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 description 9
- 210000002569 neuron Anatomy 0.000 description 6
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 6
- 206010044565 Tremor Diseases 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 3
- 230000003542 behavioural effect Effects 0.000 description 3
- 238000013529 biological neural network Methods 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000001537 neural effect Effects 0.000 description 3
- 238000013475 authorization Methods 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000034994 death Effects 0.000 description 1
- 231100000517 death Toxicity 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种渡口人员识别系统及其识别方法,一种渡口人员识别系统,该系统包括有采集前端、交换器和信号发射器,采集前端与交换器通讯连接,信号发射器也与交换器通信连接;所述交换器还与外部网络连接;其特征在于,采集前端采集渡口场景的监控画面,该系统还包括有视频分析器,视频分析器由深度学习方法搭建,视频分析器与交换器通讯连接。渡口场景下,采集前端摄录的监控画面不可避免地存在目标较小、特征模糊、人员流动性大,车、船、雨伞等干扰因素较多的情况,使用本方法进行人员检测,可有效识别小目标、排出除人之外的负样本的干扰,其识别速度快、系统识别准确度高。
Description
技术领域
本发明属于人员识别技术领域,特别涉及一种针对渡口人员的识别系统及其识别方法。
背景技术
目前全国有19万个渡口,且大部分都分布在边远山区,由于渡运运营方安全意识不足,对于安全投入不够,为了经济利益忽视安全的重要性,违规超载。再加上水运部门监管力量有限,无法实施全面有效严格的监管,、边远山区的渡口发生事故致人伤亡的案例层出不穷。
2014年6月18日,中华人民共和国交通运输部发布2014年第9号令公布《内河渡口渡船安全管理规定》(以下简称《规定》),在《规定》中明确指出:针对监管的责任包含如下7条:1、酒后驾驶责任;2、违规超载责任;3、违反危险货物渡运规定的责任;4、违反夜航规定的责任;5、违规混载的责任;6、恶劣天气或水文条件下擅自开航的责任,以及,7、乘客打架斗殴、寻衅滋事等情形下擅自开航的责任。
其中,重点的监管内容如下:
第十四条渡口运营人应当督促渡船清点并如实记录每航次渡船载客数量及车辆驾驶员等随船过渡人员,并开展定期或者不定期核查。
第三十三条渡船发生水上险情的,应当立即进行自救,并报告当地人民政府或者海事管理机构。当地人民政府和海事管理机构接到报告后,应当依照职责,组织搜寻救助。渡口渡船应当服从指挥,在不危及自身安全的情况下,积极参与水上搜寻救助。
第三十四条水电站、水库等管理单位因蓄放水作业可能导致渡口水位急剧变化影响渡运安全的,应当事先向当地海事管理机构通报水情信息。当地海事管理机构接到水情信息后应当及时通报相关渡口运营人。由此可见,国家对渡口监管的重视程度。
在《规定》中还指出,鼓励运用视频监控等先进技术手段对渡运安全进行安全管理和监督检查。
然而,由于我国目前大部分渡口属于比较偏远的农村渡口,属于监管盲区,监管部门没有手段得知渡口有多少班航次,每次航行实载多少人。监管部门采取了诸如:渡口随机抽查、安装过通道闸机、规定船工在开船前进行人数统计等方法,均无法取得良好的监管效果。
随着科技进步,目前我国大部分渡口均已安装高清摄像头,是对渡口登船过程进行监控,监管部门可实时查看到渡口的情况,如有事故发生,则可通过回放视频录像中的整个登船过程,判定渡口运营情况。然而,采取这样的监管方式无法对船工的违规行为进行监管,且采用视频监控的方法其本质上扔完全依靠人工监管,属于一种事后盘查的手段,不能进行提前告警、预警,监管效率仍然低下。
发明内容
为解决上述问题,本发明的目的在于提供一种应用于渡口的智能监控系统,该系统基于采集前端摄录画面,利用深度学习深度学习算法对渡口场景下的人员自动智能识别,实现渡口人员识别并自动监管。
为实现上述目的,本发明的技术方案如下:
本发明提供一种渡口人员识别系统,该系统包括有采集前端、交换器和信号发射器,采集前端与交换器通讯连接,信号发射器也与交换器通信连接;所述交换器还与外部网络连接;其特征在于,采集前端采集渡口场景的监控画面,该系统还包括有视频分析器,视频分析器由深度学习方法搭建,视频分析器与交换器通讯连接。
本发明提供的渡口人员识别系统主要用于渡口场景,采集前端摄录渡口画面,主动探测行人目标,并将摄录到的渡口监控画面通过交换器传输到视频分析器中,视频分析器中针对摄录画面设置电子检测线,行人穿过检测线后,由深度学习视频分析器将自动对行人目标进行分析,跟踪行人的动态轨迹并技计数,由此实现渡口场景下的人员自动检测。
视频分析器与交换器连接,视频分析器的分析结果传送回交换器中后,交换器通过与外部网络的连接,可将视频分析器的分析数据实时传送到外部网络中,海事监管部门指挥中心的连接该外部网络,指挥中心中将设置浓缩服务器、流媒体服务器、大数据服务器、应用服务器、NTP服务器和值班终端等一系列网络设备来分析并处理辖区内所有渡口的分析数据,由此方便海事监管部门对辖区内所有渡口的自动监管、有效预警和统筹调控。而交换机与外部网络的连接,海事监管部门指挥中心的内网与外部网络的连接、以及指挥中心中相关媒体设备的设置均为现有技术,本领域技术人员可根据本发明提供的技术方案,通过查阅现有网络搭建、媒体链接的相关资料得知其具体实现方式。
视频分析器包括有检测采样层、全连接层和多目标分类层,检测采样层与全连接层连接,全连接层还与多目标分类层连接,采集前端经检测采样层进行和卷积计算和降采样后,经全连接层进入多目标分类层进行多目标分类。安装在渡口场景下的采集前端摄录到的渡口监控画面无可避免地存在摄录距离较远,画面中人、车、船等目标物较小、且目标物难以定位、难以识别等问题。本发明提供的渡口人员识别系统中,采集前端采集到原始图片后,原始图片通过交换器传送给视频分析器,原始图片进入视频分析器后,不同于其他视频识别方法中原始图片先通过全连接层之后再检测,本发明提供的视频分析器针对输入的原始图片,首先利用检测采样层具备的CNN首先对原始图片进行卷积计算与降采样,将其结果经过全连接层后再进行多目标分类,采用这样的算法搭建方式,可以轻松实现渡口场景下摄录画面中的小目标的检测,防止出现渡口场景下摄录画面存在目标物过小、视频分析器难以识别的情况,提高系统的人员识别精度和准确度。
该系统还包括有网桥,网桥与交换器通讯连接。设置网桥,便于将网桥与交换器配合起来,连接不同网络,将零散渡口信息连接成网,便于多个人员识别系统之间的数据交互。
采集前端为云台枪机或球机。本处应该强调的是,本发明在具体应用中,采集前端可具体应用可为但不仅限于云台枪机与球机,凡所有课针对渡口场景设置并能摄录监控画面的网络摄像机均可应用于本发明的具体实施场景中,并包括在本发明的保护范围内。
本发明还公开了一种渡口人员识别方法,该识别方法包括有:S1:摄录渡口监控画面;S2:渡口人员分析;S3:传输监控信息;其特征在于,S2:渡口人员分析具体包括有以下步骤:
S21:检测渡船到岸;
S22:切割渡口检测区域,摄录检测区域内的图片作为原始图片;
S23:将原始图片送入训练好的模型中进行训练;
S24:将原始图片切分呈多张图片放入模型中进行数据扩增,进一步训练模型;
S25:计算置信度,如置信度超过设定阈值,则确认为人,如置信度未超过设定阈值,则确认无人,抛弃该样本。
深度学习(Deep Learning)作为最新的机器学习技术,对机器视觉识别有着革命性的影响。神经网络是一类模拟生物神经网络(中枢神经网络,特别是大脑)的模型,用来预测(决策问题)或估计基于大量未知数据的函数模型。人工神经网络一般呈现为相互关联的“神经元”相互交换信息的系统。在神经元的连接中包含可根据经验调整的权重,使得神经网络可以自适应输入,并且拥有学习能力。深度学习的实质是通过构建具有很多隐层的机器学习模型和海量的训练数据,以更少的参数与更深的结构来学习更有用的特征,从而最终提升分类或预测的准确性。
本人员识别方法采用深度学习的方法对渡口人员进行自动识别,在复杂环境下,具备目标的精准定位、分类以及行为分析等多种智能检测能力。解决了渡口场景中常见且其他系统难以排除的干扰因素诸如风力影响、水面反光、岸上目标运动、相机较大幅度的抖动等。
其中,S25:计算置信度,如置信度超过设定阈值,则确认为人,如置信度未超过设定阈值,则确认无人,抛弃该样本步骤中,具体阈值设定为90%。
其中,S23:将原始图片送入训练好的模型中进行训练步骤中,模型的训练方法包括有以下步骤:S01:收集样本图片并对样本图片中出现的目标进行标注;S02:设置并匹配先验框;S03:采集并输入负样本;S04:计算位置误差与置信度误差;S04:扩增数据;S05:预测过程;S06:生成分类模型和身份特征模型。
在模型的训练过程中,本发明提供的人员识别方法中,针对模型的训练,先前使用人工对样本图片中出现的目标进行标注,这样的工作可以提高模型的准确性,从建立模型开始,提升模型的识别精度。图片输入模型中后,针对模型的训练,本发明采用多尺度采用大小不同的特征图的方法,通过每个单元设置尺度或者长宽比不同的先验框,密集采样,在一定程度上减少训练难度,设置先验框后,系统将对先验框与人进行匹配,与人匹配的先验框所对应的边界框将负责预测人。此时输入负样本,针对渡口场景下的人员识别,则负样本可为除人之外的如车、船、雨伞等物体,若某个先验框没有与人匹配,则该先验框只能与负样本匹配,为了保证正负样本尽量平衡,本发明对负样本采取抽样的形式,抽样时按照置信度误差(预测背景的置信度越小,误差越大)进行降序排列,选取误差的较大的作为训练的负样本,由此确定训练样本。接下来对确定的训练样本进行位置误差与置信度误差的计算,其中,位置误差仅针对正样本进行计算。进而采用数据扩增可提升本模型的整体性能,提升系统针对渡口场景中的目标识别准确度,预测过程中,针对每个预测框,首先根据类别置信度确定其类别与置信度值,并过滤掉车、船、雨伞等负样本的预测框。然后根据设置好的置信度阈值过滤掉阈值较低的预测框。对于留下的预测框进行解码,根据先验框得到其真实的位置参数。解码后,一般需要根据置信度进行降序排列,保留置信度靠前的设定数量个预测框,最后过滤掉那些重叠度较大的预测框,生成分类模型和身份特征模型。
其中,S03:采集并输入负样本的步骤中,采对负样本的采集使用抽样的方式。对负样本采取抽样的形式可保证正负样本尽可能实现平衡,提高渡口场景下人员识别的精度和准确性。
其中,S04:扩增数据的步骤中,扩增数据具体技术手段为:水平翻转、随机裁剪加颜色扭曲、随机采集块域。
渡口场景下,采集前端摄录的监控画面不可避免地存在目标较小、特征模糊、人员流动性大,车、船、雨伞等干扰因素较多的情况,使用本方法进行人员检测,可有效识别小目标、排出除人之外的负样本的干扰,其识别速度快、系统识别准确度高。
附图说明
图1是本发明采用如具体实施方式一所示的架构方式与指挥中心的连接架构示意图。
图2是本发明采用如具体实施方式二所示的架构方式与指挥中心的连接架构示意图。
图3是本发明所实现的渡船人员识别方法的流程图。
图4是本发明所实现的渡船人员识别方法中模型训练的流程图。
图5是本发明使用深度学习方法进行渡口人员识别的模型示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
为实现上述目的,本发明的技术方案如下:
具体实施方式一:
参见图1、3、4、5所示,本发明提供一种渡口人员识别系统,该系统包括有采集前端、交换器和信号发射器,采集前端与交换器通讯连接,信号发射器也与交换器通信连接;所述交换器还与外部网络连接;其特征在于,采集前端采集渡口场景的监控画面,该系统还包括有视频分析器,视频分析器由深度学习方法搭建,视频分析器与交换器通讯连接。
本发明提供的渡口人员识别系统主要用于渡口场景,采集前端摄录渡口画面,主动探测行人目标,并将摄录到的渡口监控画面通过交换器传输到视频分析器中,视频分析器中针对摄录画面设置电子检测线,行人穿过检测线后,由深度学习视频分析器将自动对行人目标进行分析,跟踪行人的动态轨迹并技计数,由此实现渡口场景下的人员自动检测。
在本具体实施方式中,系统包括有A系统与B系统,其中,A系统设置在渡口A岸,B系统设置在渡口B岸,其中A系统包括有路由器、云台枪机、球机、视频分析器、网桥和交换器,而路由器、云台枪机、球机、视频分析器、网桥均与交换器连接,交换器与外部网络连接,云台枪机与球机作为采集前端,负责摄录渡口监控话画面,实现对登船人数的实时数据采集,采集前端摄录到的监控画面作为原始图片,经交换器传送给视频分析器中进行分析,视频分析器对渡口场景下的行人目标进行分析,跟踪行人动态轨迹,进行人员自动识别。B系统与A系统的设置相同,而考虑到渡口的设置位置可能存在市电无法到达的情况,则在B系统中额外设置太阳能电池板,为全系统提供电源供应。
海事监管部门指挥中心的连接外部网络,指挥中心中将设置浓缩服务器、流媒体服务器、大数据服务器、应用服务器、NTP服务器和值班终端等一系列网络设备来分析并处理辖区内所有渡口的分析数据,由此方便海事监管部门对辖区内所有渡口的自动监管、有效预警和统筹调控。而交换机与外部网络的连接,海事监管部门指挥中心的内网与外部网络的连接、以及指挥中心中相关媒体设备的设置均为现有技术,本领域技术人员可根据本发明提供的技术方案,通过查阅现有网络搭建、媒体链接的相关资料得知其具体实现方式。
基于本具体实施方式提供的系统,本发明还提供一种渡口人员识别方法,该识别方法包括有:S1:摄录渡口监控画面;S2:渡口人员分析;S3:传输监控信息;其特征在于,S2:渡口人员分析具体包括有以下步骤:
S21:检测渡船到岸;
S22:切割渡口检测区域,摄录检测区域内的图片作为原始图片;
S23:将原始图片送入训练好的模型中进行训练;
S24:将原始图片切分呈多张图片放入模型中进行数据扩增,进一步训练模型;
S25:计算置信度,如置信度超过设定阈值,则确认为人,如置信度未超过设定阈值,则确认无人,抛弃该样本。
深度学习(Deep Learning)作为最新的机器学习技术,对机器视觉识别有着革命性的影响。神经网络是一类模拟生物神经网络(中枢神经网络,特别是大脑)的模型,用来预测(决策问题)或估计基于大量未知数据的函数模型。人工神经网络一般呈现为相互关联的“神经元”相互交换信息的系统。在神经元的连接中包含可根据经验调整的权重,使得神经网络可以自适应输入,并且拥有学习能力。深度学习的实质是通过构建具有很多隐层的机器学习模型和海量的训练数据,以更少的参数与更深的结构来学习更有用的特征,从而最终提升分类或预测的准确性。
本人员识别方法采用深度学习的方法对渡口人员进行自动识别,在复杂环境下,具备目标的精准定位、分类以及行为分析等多种智能检测能力。解决了渡口场景中常见且其他系统难以排除的干扰因素诸如风力影响、水面反光、岸上目标运动、相机较大幅度的抖动等。
其中,S25:计算置信度,如置信度超过设定阈值,则确认为人,如置信度未超过设定阈值,则确认无人,抛弃该样本步骤中,具体阈值设定为90%。
其中,S23:将原始图片送入训练好的模型中进行训练步骤中,模型的训练方法包括有以下步骤:S01:收集样本图片并对样本图片中出现的目标进行标注;S02:设置并匹配先验框;S03:采集并输入负样本;S04:计算位置误差与置信度误差;S04:扩增数据;S05:预测过程;S06:生成分类模型和身份特征模型。
在模型的训练过程中,本发明提供的人员识别方法中,针对模型的训练,先前使用人工对样本图片中出现的目标进行标注,这样的工作可以提高模型的准确性,从建立模型开始,提升模型的识别精度。图片输入模型中后,针对模型的训练,本发明采用多尺度采用大小不同的特征图的方法,通过每个单元设置尺度或者长宽比不同的先验框,密集采样,在一定程度上减少训练难度,设置先验框后,系统将对先验框与人进行匹配,与人匹配的先验框所对应的边界框将负责预测人。此时输入负样本,针对渡口场景下的人员识别,则负样本可为除人之外的如车、船、雨伞等物体,若某个先验框没有与人匹配,则该先验框只能与负样本匹配,为了保证正负样本尽量平衡,本发明对负样本采取抽样的形式,抽样时按照置信度误差(预测背景的置信度越小,误差越大)进行降序排列,选取误差的较大的作为训练的负样本,由此确定训练样本。接下来对确定的训练样本进行位置误差与置信度误差的计算,其中,位置误差仅针对正样本进行计算。进而采用数据扩增可提升本模型的整体性能,提升系统针对渡口场景中的目标识别准确度,预测过程中,针对每个预测框,首先根据类别置信度确定其类别与置信度值,并过滤掉车、船、雨伞等负样本的预测框。然后根据设置好的置信度阈值过滤掉阈值较低的预测框。对于留下的预测框进行解码,根据先验框得到其真实的位置参数。解码后,一般需要根据置信度进行降序排列,保留置信度靠前的设定数量个预测框,最后过滤掉那些重叠度较大的预测框,生成分类模型和身份特征模型。
其中,S03:采集并输入负样本的步骤中,采对负样本的采集使用抽样的方式。对负样本采取抽样的形式可保证正负样本尽可能实现平衡,提高渡口场景下人员识别的精度和准确性。
其中,S04:扩增数据的步骤中,扩增数据具体技术手段为:水平翻转、随机裁剪加颜色扭曲、随机采集块域。
具体实施方式二:
请参阅图2、3、4、5,本发明提供一种渡口人员识别系统,该系统包括有采集前端、交换器和信号发射器,采集前端与交换器通讯连接,信号发射器也与交换器通信连接;所述交换器还与外部网络连接;其特征在于,采集前端采集渡口场景的监控画面,该系统还包括有视频分析器,视频分析器由深度学习方法搭建,视频分析器与交换器通讯连接。
本发明提供的渡口人员识别系统主要用于渡口场景,采集前端摄录渡口画面,主动探测行人目标,并将摄录到的渡口监控画面通过交换器传输到视频分析器中,视频分析器中针对摄录画面设置电子检测线,行人穿过检测线后,由深度学习视频分析器将自动对行人目标进行分析,跟踪行人的动态轨迹并技计数,由此实现渡口场景下的人员自动检测。
在本具体实施方式中,本系统包括有渡船系统和码头系统,其中,渡船系统包括有发电装置、云台枪机、球机、交换器与全向天线,而发电装置、云台枪机、球机、全向天线均与交换器连接。球机探测到渡船离开码头后,球机与枪机相互映射拍摄,拼接成整张图片,对渡船上的人数进行计数,并将人数回传至码头系统,同时渡船行驶过程中的视频也可以实时回传至码头系统。码头系统包括有扇形天线、交换器、与网桥,而扇形天线与交换器连接,网桥一方面与交换器连接,另一方面与外部网络连接,码头系统采用扇形天线与船载全向天线相互通信,实时接收船载的视频信息,以便相关部门可以实时掌握渡船上人数及其他异常情况,并通过网桥回传至外部网络。
海事监管部门指挥中心的连接外部网络,指挥中心中将设置浓缩服务器、流媒体服务器、大数据服务器、应用服务器、NTP服务器和值班终端等一系列网络设备来分析并处理辖区内所有渡口的分析数据,由此方便海事监管部门对辖区内所有渡口的自动监管、有效预警和统筹调控。而交换机与外部网络的连接,海事监管部门指挥中心的内网与外部网络的连接、以及指挥中心中相关媒体设备的设置均为现有技术,本领域技术人员可根据本发明提供的技术方案,通过查阅现有网络搭建、媒体链接的相关资料得知其具体实现方式。
基于本具体实施方式提供的系统,本发明还提供一种渡口人员识别方法,该识别方法包括有:S1:摄录渡口监控画面;S2:渡口人员分析;S3:传输监控信息;其特征在于,S2:渡口人员分析具体包括有以下步骤:
S21:检测渡船到岸;
S22:切割渡口检测区域,摄录检测区域内的图片作为原始图片;
S23:将原始图片送入训练好的模型中进行训练;
S24:将原始图片切分呈多张图片放入模型中进行数据扩增,进一步训练模型;
S25:计算置信度,如置信度超过设定阈值,则确认为人,如置信度未超过设定阈值,则确认无人,抛弃该样本。
深度学习(Deep Learning)作为最新的机器学习技术,对机器视觉识别有着革命性的影响。神经网络是一类模拟生物神经网络(中枢神经网络,特别是大脑)的模型,用来预测(决策问题)或估计基于大量未知数据的函数模型。人工神经网络一般呈现为相互关联的“神经元”相互交换信息的系统。在神经元的连接中包含可根据经验调整的权重,使得神经网络可以自适应输入,并且拥有学习能力。深度学习的实质是通过构建具有很多隐层的机器学习模型和海量的训练数据,以更少的参数与更深的结构来学习更有用的特征,从而最终提升分类或预测的准确性。
本人员识别方法采用深度学习的方法对渡口人员进行自动识别,在复杂环境下,具备目标的精准定位、分类以及行为分析等多种智能检测能力。解决了渡口场景中常见且其他系统难以排除的干扰因素诸如风力影响、水面反光、岸上目标运动、相机较大幅度的抖动等。
其中,S25:计算置信度,如置信度超过设定阈值,则确认为人,如置信度未超过设定阈值,则确认无人,抛弃该样本步骤中,具体阈值设定为90%。
其中,S23:将原始图片送入训练好的模型中进行训练步骤中,模型的训练方法包括有以下步骤:S01:收集样本图片并对样本图片中出现的目标进行标注;S02:设置并匹配先验框;S03:采集并输入负样本;S04:计算位置误差与置信度误差;S04:扩增数据;S05:预测过程;S06:生成分类模型和身份特征模型。
在模型的训练过程中,本发明提供的人员识别方法中,针对模型的训练,先前使用人工对样本图片中出现的目标进行标注,这样的工作可以提高模型的准确性,从建立模型开始,提升模型的识别精度。图片输入模型中后,针对模型的训练,本发明采用多尺度采用大小不同的特征图的方法,通过每个单元设置尺度或者长宽比不同的先验框,密集采样,在一定程度上减少训练难度,设置先验框后,系统将对先验框与人进行匹配,与人匹配的先验框所对应的边界框将负责预测人。此时输入负样本,针对渡口场景下的人员识别,则负样本可为除人之外的如车、船、雨伞等物体,若某个先验框没有与人匹配,则该先验框只能与负样本匹配,为了保证正负样本尽量平衡,本发明对负样本采取抽样的形式,抽样时按照置信度误差(预测背景的置信度越小,误差越大)进行降序排列,选取误差的较大的作为训练的负样本,由此确定训练样本。接下来对确定的训练样本进行位置误差与置信度误差的计算,其中,位置误差仅针对正样本进行计算。进而采用数据扩增可提升本模型的整体性能,提升系统针对渡口场景中的目标识别准确度,预测过程中,针对每个预测框,首先根据类别置信度确定其类别与置信度值,并过滤掉车、船、雨伞等负样本的预测框。然后根据设置好的置信度阈值过滤掉阈值较低的预测框。对于留下的预测框进行解码,根据先验框得到其真实的位置参数。解码后,一般需要根据置信度进行降序排列,保留置信度靠前的设定数量个预测框,最后过滤掉那些重叠度较大的预测框,生成分类模型和身份特征模型。
其中,S03:采集并输入负样本的步骤中,采对负样本的采集使用抽样的方式。对负样本采取抽样的形式可保证正负样本尽可能实现平衡,提高渡口场景下人员识别的精度和准确性。
其中,S04:扩增数据的步骤中,扩增数据具体技术手段为:水平翻转、随机裁剪加颜色扭曲、随机采集块域。
渡口场景下,采集前端摄录的监控画面不可避免地存在目标较小、特征模糊、人员流动性大,车、船、雨伞等干扰因素较多的情况,使用本方法进行人员检测,可有效识别小目标、排出除人之外的负样本的干扰,其识别速度快、系统识别准确度高。
以上仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (9)
1.一种渡口人员识别系统,该系统包括有采集前端、交换器和信号发射器,所述采集前端与交换器通讯连接,所述信号发射器也与交换器通信连接;所述交换器还与外部网络连接;其特征在于,所述采集前端采集渡口场景的监控画面,该系统还包括有视频分析器,所述视频分析器由深度学习方法搭建,所述视频分析器与交换器通讯连接。
2.如权利要求1所述的渡口人员识别系统,其特征在于,所述视频分析器包括有检测采样层、全连接层和多目标分类层,所述检测采样层与全连接层连接,所述全连接层还与多目标分类层连接,采集前端经检测采样层进行和卷积计算和降采样后,经全连接层进入多目标分类层进行多目标分类。
3.如权利要求1所述的渡口人员识别系统,其特征在于,该系统还包括有网桥,所述网桥与交换器通讯连接。
4.如权利要求1所述的渡口人员识别系统,其特征在于,所述采集前端为云台枪机或球机。
5.一种渡口人员识别方法,该识别方法包括有:S1:摄录渡口监控画面;S2:渡口人员分析;S3:传输监控信息;其特征在于,所述S2:渡口人员分析具体包括有以下步骤:
S21:检测渡船到岸;
S22:切割渡口检测区域,摄录检测区域内的图片作为原始图片;
S23:将原始图片送入训练好的模型中进行训练;
S24:将原始图片切分呈多张图片放入模型中进行数据扩增,进一步训练模型;
S25:计算置信度,如置信度超过设定阈值,则确认为人,如置信度未超过设定阈值,则确认无人,抛弃该样本。
6.如权利要求4所述的渡口人员识别方法,其特征在于,所述S25步骤中,具体阈值设定为90%。
7.如权利要求4所述的渡口人员识别方法,其特征在于,所述S23:将原始图片送入训练好的模型中进行训练步骤中,模型的训练方法包括有以下步骤:
S01:收集样本图片并对样本图片中出现的目标进行标注;
S02:设置并匹配先验框;
S03:采集并输入负样本;
S04:计算位置误差与置信度误差;
S04:扩增数据;
S05:预测过程;
S06:生成分类模型和身份特征模型。
8.如权利要求6所述的渡口人员识别方法,其特征在于,所述S03:采集并输入负样本的步骤中,采对负样本的采集使用抽样的方式。
9.如权利要求6所述的渡口人员识别方法,其特征在于,所述S04:扩增数据的步骤中,扩增数据具体技术手段为:水平翻转、随机裁剪加颜色扭曲、随机采集块域。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910067195.4A CN109840488A (zh) | 2019-01-24 | 2019-01-24 | 一种渡口人员识别系统及其识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910067195.4A CN109840488A (zh) | 2019-01-24 | 2019-01-24 | 一种渡口人员识别系统及其识别方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109840488A true CN109840488A (zh) | 2019-06-04 |
Family
ID=66884065
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910067195.4A Pending CN109840488A (zh) | 2019-01-24 | 2019-01-24 | 一种渡口人员识别系统及其识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109840488A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111540173A (zh) * | 2020-04-22 | 2020-08-14 | 上海振华重工电气有限公司 | 一种基于智能画面识别的落水报警系统及方法 |
CN113395488A (zh) * | 2021-06-08 | 2021-09-14 | 天津港第二集装箱码头有限公司 | 基于全景拼接与深度学习的甲板人员检测系统及方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106778472A (zh) * | 2016-11-17 | 2017-05-31 | 成都通甲优博科技有限责任公司 | 基于深度学习的输电走廊常见侵入物目标检测与识别方法 |
CN107845105A (zh) * | 2017-10-24 | 2018-03-27 | 深圳市圆周率软件科技有限责任公司 | 一种基于全景枪球联动的监控方法、智能设备及存储介质 |
US20180114055A1 (en) * | 2016-10-25 | 2018-04-26 | VMAXX. Inc. | Point to Set Similarity Comparison and Deep Feature Learning for Visual Recognition |
CN108038672A (zh) * | 2017-12-27 | 2018-05-15 | 中华人民共和国太仓海事局 | 船港货一体化信息服务系统 |
-
2019
- 2019-01-24 CN CN201910067195.4A patent/CN109840488A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180114055A1 (en) * | 2016-10-25 | 2018-04-26 | VMAXX. Inc. | Point to Set Similarity Comparison and Deep Feature Learning for Visual Recognition |
CN106778472A (zh) * | 2016-11-17 | 2017-05-31 | 成都通甲优博科技有限责任公司 | 基于深度学习的输电走廊常见侵入物目标检测与识别方法 |
CN107845105A (zh) * | 2017-10-24 | 2018-03-27 | 深圳市圆周率软件科技有限责任公司 | 一种基于全景枪球联动的监控方法、智能设备及存储介质 |
CN108038672A (zh) * | 2017-12-27 | 2018-05-15 | 中华人民共和国太仓海事局 | 船港货一体化信息服务系统 |
Non-Patent Citations (4)
Title |
---|
WEI LIU等: "SSD:Single Shot MultiBox Detector", 《ECCV 2016:COMPUTER VISION》 * |
叶虎: "目标检测算法之SSD", 《腾讯开发者社区-腾讯云》 * |
陈显仲: "渡口智能化进行时", 《珠江水运》 * |
陈立里 等: "基于改进 Single Shot MultiBox Detector 的实时检测方法", 《激光与电子学进展》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111540173A (zh) * | 2020-04-22 | 2020-08-14 | 上海振华重工电气有限公司 | 一种基于智能画面识别的落水报警系统及方法 |
CN113395488A (zh) * | 2021-06-08 | 2021-09-14 | 天津港第二集装箱码头有限公司 | 基于全景拼接与深度学习的甲板人员检测系统及方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108037770B (zh) | 基于人工智能的无人机输电线路巡检系统和方法 | |
CN106412501B (zh) | 一种视频的施工安全行为智能监控系统及其监控方法 | |
CN115603466B (zh) | 一种基于人工智能视觉识别的船舶岸电系统 | |
CN112785798B (zh) | 面向电力变电站工程建设项目施工人员的行为分析方法 | |
CN101214851B (zh) | 船舶行驶智能型全天候主动安全预警系统及其预警方法 | |
CN106816038A (zh) | 一种内河水域异常行为船舶自动识别系统及方法 | |
CN112686090B (zh) | 一种公交车内异常行为智能监控系统 | |
CN112633057B (zh) | 一种公交车内异常行为智能监控方法 | |
CN104573659A (zh) | 一种基于svm的驾驶员接打电话监控方法 | |
CN110619276B (zh) | 基于无人机移动监控的异常及暴力检测系统和方法 | |
CN107491752A (zh) | 一种基于深度学习的自然场景中船牌文字识别方法、装置 | |
CN107590834A (zh) | 一种道路交通事件视频检测方法及系统 | |
CN106096504A (zh) | 一种基于无人机机载平台的车型识别方法 | |
CN116208745A (zh) | 一种码头船舶靠泊监测记录系统及方法 | |
CN109840488A (zh) | 一种渡口人员识别系统及其识别方法 | |
CN110110964A (zh) | 一种基于深度学习的船舶及渡口监管系统 | |
CN110070729A (zh) | 一种基于雾计算的违停车辆检测系统及方法 | |
CN116664359A (zh) | 一种基于多传感融合的智能火情预警决策系统及方法 | |
CN112149618B (zh) | 适用于巡检车的行人异常行为检测方法与装置 | |
CN116189305B (zh) | 一种基于神经网络模型嵌入的人员危险动作识别方法 | |
CN112257683A (zh) | 一种面向车辆运行轨迹监测的跨镜追踪方法 | |
CN112505050A (zh) | 一种机场跑道异物检测系统及方法 | |
CN111056258A (zh) | 一种智能调整传送带的方法和装置 | |
CN117218107A (zh) | 一种轨道缺陷的检测方法及系统 | |
CN111063148A (zh) | 一种远距离夜视目标视频检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190604 |