CN115527162A - 一种基于三维空间的多行人重识别方法、系统 - Google Patents
一种基于三维空间的多行人重识别方法、系统 Download PDFInfo
- Publication number
- CN115527162A CN115527162A CN202211116098.8A CN202211116098A CN115527162A CN 115527162 A CN115527162 A CN 115527162A CN 202211116098 A CN202211116098 A CN 202211116098A CN 115527162 A CN115527162 A CN 115527162A
- Authority
- CN
- China
- Prior art keywords
- camera
- area
- monitoring
- pedestrian
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明公开了一种基于三维空间的多行人重识别方法、系统,通过建立监控空间、布置分布式监控装置,构建邻域拍摄方法和摄像头邻域运动方法,获取当前监控目标区域的实时监控图像,并判断采集的实时监控图像中是否存在行人,进行多行人重识别。与现有技术相比,其有益效果是:可根据目标监控区域人群活动情况进行动态调整摄像头分布情况,达到分布式摄像监控和预警的目的。弥补现有技术存在监控端摄像头等设备摄像过程中容易被遮挡、远距离成像效果较差等问题,能够对重点关注人员进行不间断的、高质量的视频监控,为社会治安管理提供了有效支持。
Description
技术领域
本发明涉及监控技术领域,具体为一种基于三维空间的多行人重识别方法、系统。
背景技术
目前,在当前时代背景下,目标识别、目标跟踪等技术已经广泛应用于视频监控领域。在人员密集的环境下,基于视频监控的人群异常分析系统可以帮助监测特定人群,达到提前发现异常人员并且规避风险的目的。
然而,现有的视频监控系统中,监控端摄像头等设备存在摄像过程中容易被遮挡、远距离成像效果较差等问题。由于摄像头取景范围有限,造成难以完整地检测到行人的面部特征、手足运动轨迹,从而无法达到实时监控的效果。再则,单一维度的摄像头无法获取行人在多个方向的运动轨迹。在行人面向镜头行走时,存在摄像过程中容易被遮挡、远距离成像效果较差等问题,导致无法获取行人坐标位置。
发明内容
本发明的目的在于提供一种基于三维空间的多行人重识别方法、系统,以解决上述背景技术中提出的问题。
为实现上述目的,本发明公开了一种基于三维空间的多行人重识别方法,包括如下步骤:
步骤一,将监控区域划分为存在多个可安装平面的立体监控空间;基于立体监控空间的各个可安装平面布设分布式监控装置;
步骤二,利用布设的分布式监控装置获取当前监控目标区域的实时监控图像,利用神经网络模型判断采集的实时监控图像中是否存在行人;
步骤三,当监控图像中存在行人时,则采用基于邻域判定的跟踪拍摄方法控制分布式监控装置对行人进行跟踪。
作为本发明的一种优选技术方案,所述步骤二中分布式监控装置设置有多条横纵滑动导轨,任一横纵滑动导轨的交汇处均安装有一组固定支架;所述固定支架上固定安装有摄像设备。
作为本发明的一种优选技术方案,所述步骤三中采用基于邻域判定的跟踪拍摄方法控制分布式监控装置对行人进行跟踪包括,判断行人当前所处的监控区域;控制当前监控区域的监控装置移动至距离行人头顶最近位置,识别行人轨迹;判断监控设备当前所处监控区域存在的邻域;控制邻域上的监控设备移动至距离目标行人直线距离最近的位置。
作为本发明的一种优选技术方案,所述监控区域邻域是以分布式监控装置的滑动导轨线为分界,横纵方向上存在相邻边的区域。
作为本发明的一种优选技术方案,在基于邻域判定的跟踪拍摄方法控制分布式监控装置对行人进行跟踪时,需要先判断监控图像中的行人是否为重点识别目标,监控图像中的行人为重点识别目标时,则对所述重点识别目标进行跟踪,并实时获取所述重点识别目标的图像;如果不是,重新识别跟踪目标。
作为本发明的一种优选技术方案,识别行人轨迹方法如下:
步骤3-1,布置摄像头时将其按相同间距排列,对于安装面a,定义其长度为Lc,宽度为Lk;安装面a存在x*y个分摄像头,分摄像头两个方向上的间距分别为Lc/x、Lk/y;对于安装面b、c,以安装面b为例,定义其长度为L,在安装面b上安置n个分摄像头,则每个分摄像头之间间距L/n;共设置n个安装面a,摄像头平行于地面安装,每个安装面上均安装摄像头;
步骤3-2,设置预警区域,对于导轨,取导轨两侧距离为dy1的矩形区域,与中心点距离近的一侧为近侧,与中心点距离远的一侧为远侧;对于摄像头,以摄像头背面中心,取半径为dy2的圆形区域。设置切换区域,对于导轨,取导轨两侧距离为dq1的矩形区域,与中心点距离近的一侧为近侧,与中心点距离远的一侧为远侧;对于摄像头,以摄像头背面中心,取半径为dq2的圆形区域;
步骤3-3,当中心点进入预警区域,系统对中心点相对于导轨或者摄像头的运动轨迹(从进入预警区域到进入切换区域的运动过程中,图像采集到的一系列位置坐标形成运动轨迹,每隔t秒进行轨迹点采样,t可取0.1)进行拟合,每隔t秒可以得到一段运动轨迹,拟合方法可采用最小二乘法对图像的x,y坐标进行线性拟合,形成预判运动趋势方向的方向线段y=ax+b,x、y分别为图像的横纵坐标。根据视频每帧时间(1/24秒)以及帧数(图像数)p,可以推算出运动速度v=L/(1/24*(p-1)),L为每隔t秒运动轨迹的起始位置的直线距离。将平面沿半径方向平均划分为m个扇形区域,对应了m个方向。设置计数器,计数器包括m个值,对应m个扇形区域的计数值。每隔t秒进行一次计数器更新,当方向线段所指的方向位于第i(i=1,…,m)个扇形区域间时,第i个计数器值加v*k+c,k为速度比例系数,c,k均为经验值。
当下层安装面a的导轨或者摄像头(背面)遮挡住上层安装面a的摄像头视野时,可采用下面方法避免遮挡现象:首先采用深度学习神经网络方式对摄像头获得的图像进行识别,并对已有的导轨或者摄像头背面的数据集进行训练,然后对实时图像中的导轨或者摄像头进行识别,获取下层导轨或者下层摄像头在图像中的位置,从而获取当前摄像头与下层导轨或摄像头的对应位置关系。对于导轨情况,中心点进入切换区域时,最后一段方向线段的重合直线与切换区域相交于两点,分别位于近侧、远侧。上层安装面的摄像头当前位于近侧交点,移动摄像头至远侧的位置。对于摄像头情况,中心点进入切换区域相交时,最后一段方向线段的重合直线与切换区域相交于两点,分别位于近侧、远侧,上层安装面的摄像头当前位于近侧交点,移动摄像头至远侧的位置;最后一段方向线段的重合直线与切换区域相切时,不进行切换。
摄像头移动至远侧位置的方法是:
当中心点与切换区域边界相交时,
(1)对于导轨情况,设相交点为A。设置扇形区域,扇形区域圆心为A,将A与导轨的垂线设为扇形的对称中心,扇形角度可取经验值α。扇形与远侧交点为B、C,A与导轨的垂线与弧线BC交点为D。近侧边界以A为界,两侧分别取L、R两个点,形成角BAL和角CAR;
(2)对于摄像头情况,设相交点为A。设置扇形区域,扇形区域圆心为A,将A与摄像头中心点O的线段设为扇形的对称中心,扇形角度可取经验值β。将线段AO沿AO方向延长摄像头圆形的半径r至摄像头与扇形的切点D,扇形弧线的两个终点为B、C。以A为交点取AD的垂线LR,形成角BAL和角CAR。
(3)当角BAC属于m个扇形区域方向中第p,p+1,...,q个区域时(p≤q≤
m),则取计数器中第p,p+1,...,q个计数值的和为sum1。
当角BAL属于m个扇形区域方向中第p,p+1,...,q个区域时(p≤q≤m),则取计数器中第p,p+1,...,q个计数值的和为sum2。
当角CAR属于m个扇形区域方向中第p,p+1,...,q个区域时(p≤q≤m),则取计数器中第p,p+1,...,q个计数值的和为sum3。
不含角BAC、角BAL、角CAR,当角LAR属于m个扇形区域方向中第p,p+1,...,q个区域时(p≤q≤m),则取计数器中第p,p+1,...,q个计数值的和为sum4。
取sum1,sum2,sum3,sum4中最大值summax。
summax等于sum1时,移动摄像头,直到中心点位于D为止。
summax等于sum2时,移动摄像头,直到中心点位于B为止。
summax等于sum3时,移动摄像头,直到中心点位于C为止。
summax等于sum4时,摄像头保持不动。
在具有多个安装面ai(i=1,…,n)情况下,当中心点与切换区域边界相交时,完成前述预防遮挡的算法,如果summax等于sum1、sum2、sum3,则进行区域重叠测试。区域重叠测试方法是:弧线BC是否位于其他安装面导轨或者摄像头的预警区域内。如果弧线BC位于其他安装面导轨或者摄像头的预警区域内,则摄像头保持不动,并开始计时。如果计时时间达到阈值Lt时,视为安装面ai的中心点长期处于区域重叠的状态,则进行遍历查询。将所有安装面摄像头与安装面ai中心点的距离进行排序,对距离最近的摄像头进行区域重叠测试,如果距离最近的摄像头无区域重叠,则改用该摄像头进行重识别。如果所有摄像头都处于区域重叠状态,则系统发出警告提示。
一种基于三维空间的多行人重识别系统,包括如下单元:监控空间布置模块、位置确定模块、装置布设模块、图像采集模块、数据处理模块、目标识别模块、跟踪模块。所述监控空间布置模块用于将监控区域划分为存在多个可安装平面的立体监控空间;所述位置确定模块用于基于确定的立体监控空间的各个可安装平面进行分布式监控装置中的摄像设备的标定,同时用于确定分布式监控装置中各个设备的布设位置、间距或其他布设参数;所述装置布设模块用于基于确定的分布式监控装置中各个设备的布设位置、间距或其他布设参数进行分布式监控装置的布设;所述数据处理模块用于利用神经网络模型判断采集的实时监控图像中是否存在行人;所述目标识别模块用于判断所述监控图像中的行人是否为重点识别目标;所述跟踪模块用于采用基于邻域判定的跟踪拍摄方法对所述行人、重点识别目标进行跟踪,并识别行人轨迹、实时获取所述重点识别目标的图像。
作为本发明的一种优选技术方案,所述监控空间布置模块、位置确定模块、装置布设模块、数据处理模块功能通过信息数据处理终端及其内部程序来完成。
作为本发明的一种优选技术方案,所述图像采集模块、目标识别模块、跟踪模块的功能通过计算机及其内部的计算机程序来完成。
与现有技术相比,本发明的有益效果是:
1,发明提出了一种基于三维空间的行人重识别方法,对于被监控区域,将其抽象为存在多个可安装平面的立体空间;通过多组摄像设备,分别将其布置在被监控区域内的多个安装平面,通过配套的固定支架和活动导轨,实现摄像设备可活动的目的;可根据目标监控区域人群活动情况进行动态调整摄像头分布情况,达到分布式摄像监控和预警的目的。
2,本发明通过在垂直于地面方向安装多个可安装平面,每个安装平面可独立识别一个行人的运动轨迹,从而能够重识别多个行人。同时,本发明对于判定为重识别目标的行人(如重点监控对象),引入基于邻域判定的跟踪拍摄方法,对目标行人进行跟踪拍摄,通过提前关注潜在危险人员达到危险预防的目的。
3,本发明能够弥补现有技术存在监控端摄像头等设备摄像过程中容易被遮挡、远距离成像效果较差等问题,能够对重点关注人员进行不间断的、高质量的视频监控,为社会治安管理提供了有效支持。
附图说明
图1是本发明基于三维空间的多行人重识别方法流程图;
图2是本发明基于三维空间的多行人重识别系统结构示意图;
图3是本发明监控空间划分示意图;
图4是本发明单个安装面示意图;
图5是本发明方形区域后的安装面示意图;
图6是本发明单个摄像头存在摄像死角导致重识别失败示意图;
图7是本发明监控覆盖范围增大示意图;
图8是本发明摄像头识别范围示意图;
图9是本发明镜头畸变效果示意图;
图10是本发明解决镜头遮挡方法示意图;
图11是本发明遮挡时导轨情况示意图示意图;
图12是本发明遮挡时摄像头情况示意图。
具体实施方式
实施例1
如图1至图10所示,本发明公开了一种基于三维空间的多行人重识别方法,包括如下步骤:
步骤一,将监控区域划分为存在多个可安装平面的立体监控空间;基于立体监控空间的各个可安装平面布设分布式监控装置;
步骤二,利用布设的分布式监控装置获取当前监控目标区域的实时监控图像,利用神经网络模型判断采集的实时监控图像中是否存在行人;
步骤三,当监控图像中存在行人时,则采用基于邻域判定的跟踪拍摄方法控制分布式监控装置对行人进行跟踪。
作为本发明的一种优选技术方案,所述步骤二中分布式监控装置设置有多条横纵滑动导轨,任一横纵滑动导轨的交汇处均安装有一组固定支架;所述固定支架上固定安装有摄像设备。所述步骤三中采用基于邻域判定的跟踪拍摄方法控制分布式监控装置对行人进行跟踪包括,判断行人当前所处的监控区域;控制当前监控区域的监控装置移动至距离行人头顶最近位置,识别行人轨迹;判断监控设备当前所处监控区域存在的邻域;控制邻域上的监控设备移动至距离目标行人直线距离最近的位置。所述监控区域邻域是以分布式监控装置的滑动导轨线为分界,横纵方向上存在相邻边的区域。在基于邻域判定的跟踪拍摄方法控制分布式监控装置对行人进行跟踪时,需要先判断监控图像中的行人是否为重点识别目标,监控图像中的行人为重点识别目标时,则对所述重点识别目标进行跟踪,并实时获取所述重点识别目标的图像;如果不是,重新识别跟踪目标。
本发明公开了一种基于三维空间的多行人重识别系统,包括如下单元:监控空间布置模块、位置确定模块、装置布设模块、图像采集模块、数据处理模块、目标识别模块、跟踪模块。所述监控空间布置模块用于将监控区域划分为存在多个可安装平面的立体监控空间;所述位置确定模块用于基于确定的立体监控空间的各个可安装平面进行分布式监控装置中的摄像设备的标定,同时用于确定分布式监控装置中各个设备的布设位置、间距或其他布设参数;所述装置布设模块用于基于确定的分布式监控装置中各个设备的布设位置、间距或其他布设参数进行分布式监控装置的布设;所述图像采集模块用于利用分布式监控装置获取当前监控目标区域的实时监控图像所述数据处理模块用于利用神经网络模型判断采集的实时监控图像中是否存在行人;所述目标识别模块用于判断所述监控图像中的行人是否为重点识别目标;所述跟踪模块用于采用基于邻域判定的跟踪拍摄方法对所述行人、重点识别目标进行跟踪,并识别行人轨迹、实时获取所述重点识别目标的图像。所述监控空间布置模块、位置确定模块、装置布设模块、数据处理模块功能通过信息数据处理终端及其内部程序来完成。所述图像采集模块、目标识别模块、跟踪模块的功能通过计算机及其内部的计算机程序来完成。
首先建立监控空间和布置分布式监控设备,如图3所示,在三个坐标轴的方向上,设置三个主摄像头,可预设定空间中心点位为C点,三个主摄像头参与进行标定,当某一时刻摄像头拍摄中心置于C点,确定此方位为该摄像头初始方位。在抽象立体几何空间的三个安装平面上可预设空间顶部安装面a,布置多条滑动导轨(黑色线条所示),以滑动导轨3*3布局举例,将分摄像头(黑色细点所示)安装在横纵滑轨的交汇处,从而可以根据人群动态调整拍摄需求,在横纵方向进行滑动。对于顶部安装面a,在安装面外围轮廓和滑动导轨之间安装固定支架,进行辅助支撑,图中由浅灰色线条表示。对于两个侧面安装面,分别定义为安装面b、c,在其上布置一条滑动导轨。针对人群监控的需要,根据人的身高调整导轨高度,可安装在1.5米高度处,黑色线条所示为滑动导轨。
通用情况下分摄像头安装数据如下:布置摄像头时将其按相同间距排列,对于安装面a,定义其长度为Lc,宽度为Lk;安装面a存在x*y个分摄像头,分摄像头两个方向上的间距分别为Lc/x、Lk/y;对于安装面b、c,以安装面b为例,定义其长度为L,在安装面b上安置n个分摄像头,则每个分摄像头之间间距L/n;共设置n个安装面a,摄像头平行于地面安装,每个安装面上均安装摄像头,每个安装面ai可识别至少一个重点检测人员(例如安装面a1可使用摄像区域A1,A9同时监控识别两个行人),n个安装面a至少可识别n个人。
当下层安装面a的导轨或者摄像头(背面)遮挡住上层安装面a的摄像头视野时,可采用下面方法避免遮挡现象:对摄像头获得的图像进行识别,识别方法可采用深度学习神经网络方式,例如采用yolo v5神经网络,对已有的导轨或者摄像头背面的数据集训练,然后对实时图像中的导轨或者摄像头进行识别,获取下层导轨或者下层摄像头在图像中的位置。安装面a摄像头获取的图像如图10,中心点如图中黑点所示。根据导轨或者摄像头的位置,从而获取当前摄像头与下层导轨或摄像头的对应位置关系
设置预警区域,对于导轨,取导轨两侧距离为dy1的矩形区域,与中心点距离近的一侧为近侧,与中心点距离远的一侧为远侧;对于摄像头,以摄像头背面中心,取半径为dy2的圆形区域。设置切换区域,对于导轨,取导轨两侧距离为dq1的矩形区域,与中心点距离近的一侧为近侧,与中心点距离远的一侧为远侧;对于摄像头,以摄像头背面中心,取半径为dq2的圆形区域。
当中心点进入预警区域,系统对中心点相对于导轨或者摄像头的运动轨迹(从进入预警区域到进入切换区域的运动过程中,图像采集到的一系列位置坐标形成运动轨迹,每隔t秒进行轨迹点采样,t可取0.1)进行拟合,每隔t秒可以得到一段运动轨迹,拟合方法可采用最小二乘法对图像的x,y坐标进行线性拟合,形成预判运动趋势方向的方向线段y=ax+b,x、y分别为图像的横纵坐标。根据视频每帧时间(1/24秒)以及帧数(图像数)p,可以推算出运动速度v=L/(1/24*(p-1)),L为每隔t秒运动轨迹的起始位置的直线距离。
将平面沿半径方向平均划分为m个扇形区域,对应了m个方向。设置计数器,计数器包括m个值,对应m个扇形区域的计数值。每隔t秒进行一次计数器更新,当方向线段所指的方向位于第i(i=1,…,m)个扇形区域间时,第i个计数器值加v*k+c,k为速度比例系数,c,k均为经验值。
对于导轨情况,中心点进入切换区域时,最后一段方向线段的重合直线与切换区域相交于两点,分别位于近侧、远侧。上层安装面的摄像头当前位于近侧交点,移动摄像头至远侧的位置。对于摄像头情况,中心点进入切换区域相交时,最后一段方向线段的重合直线与切换区域相交于两点,分别位于近侧、远侧,上层安装面的摄像头当前位于近侧交点,移动摄像头至远侧的位置;最后一段方向线段的重合直线与切换区域相切时,不进行切换。
摄像头移动至远侧位置的方法是:
当中心点与切换区域边界相交时,
(1)对于导轨情况,见图11,设相交点为A。设置扇形区域,扇形区域圆心为A,将A与导轨的垂线设为扇形的对称中心,扇形角度可取经验值α。扇形与远侧交点为B、C,A与导轨的垂线与弧线BC交点为D。近侧边界以A为界,两侧分别取L、R两个点,形成角BAL和角CAR
(2)对于摄像头情况,见图12,设相交点为A。设置扇形区域,扇形区域圆心为A,将A与摄像头中心点O的线段设为扇形的对称中心,扇形角度可取经验值β。将线段AO沿AO方向延长摄像头圆形的半径r至摄像头与扇形的切点D,扇形弧线的两个终点为B、C。以A为交点取AD的垂线LR,形成角BAL和角CAR。
当角BAC属于m个扇形区域方向中第p,p+1,...,q个区域时(p≤q≤m),则取计数器中第p,p+1,...,q个计数值的和为sum1。
当角BAL属于m个扇形区域方向中第p,p+1,...,q个区域时(p≤q≤m),则取计数器中第p,p+1,...,q个计数值的和为sum2。
当角CAR属于m个扇形区域方向中第p,p+1,...,q个区域时(p≤q≤m),则取计数器中第p,p+1,...,q个计数值的和为sum3。
不含角BAC、角BAL、角CAR,当角LAR属于m个扇形区域方向中第p,p+1,...,q个区域时(p≤q≤m),则取计数器中第p,p+1,...,q个计数值的和为sum4。
取sum1,sum2,sum3,sum4中最大值summax。
summax等于sum1时,移动摄像头,直到中心点位于D为止。
summax等于sum2时,移动摄像头,直到中心点位于B为止。
summax等于sum3时,移动摄像头,直到中心点位于C为止。
summax等于sum4时,摄像头保持不动。
在具有多个安装面ai(i=1,…,n)情况下,当中心点与切换区域边界相交时,完成前述预防遮挡的算法;如果summax等于sum1、sum2、sum3,则进行区域重叠测试。区域重叠测试方法是:弧线BC是否位于其他安装面导轨或者摄像头的预警区域内。如果弧线BC位于其他安装面导轨或者摄像头的预警区域内,则摄像头保持不动,并开始计时。如果计时时间达到阈值Lt时,视为安装面ai的中心点长期处于区域重叠的状态,则进行遍历查询。将所有安装面摄像头与安装面ai中心点的距离进行排序,对距离最近的摄像头进行区域重叠测试,如果距离最近的摄像头无区域重叠,则改用该摄像头进行重识别。如果所有摄像头都处于区域重叠状态,则系统发出警告提示。
如图4所示,为单个安装面ai(i=1,…,n)俯视图,黑色圆点为分摄像头;黑色线条为滑动导轨;浅灰色线条为固定支架用于进行辅助支撑。
其次构建邻域拍摄方法/摄像头邻域运动方法,根据摄像头分布情况和数量,将安装面ai进行区域划分,可分为x*y个摄像区域,每个区域以导轨为分界。可分为A1-A9共9个摄像区域,对每个摄像区域以几何中心点为基准划分为四个大小相同的子区域,如图5所示,以纵横的双加粗线条标识摄像区域的分界,以黑色细虚点划线标识每个摄像区域细分为子区域的分界。对于每个子区域,根据所属的监控区域号标记为An1-An4,如A1摄像区域划分为A11-A14四个子区域。构建方形区域后的安装面ai俯视图如图5。监控空间俯视面划分为x*y个监控区域,每个细分后的监控空间存在一个已布置的摄像头,当监控区域发现行人,该区域摄像头移动至距离该目标头顶最近位置,识别行人轨迹。当行人进入外围监控区域(即与空间边界相邻的监控区域)时,如行人进入监控区域A1,则A1区域摄像头对行人进行跟踪,在滑轨上移动至与行人头顶直线距离最近位置进行跟踪拍摄。以此时行人进入子区域A12为例,此时行人所在空间邻域判定为A2,监控区域A2摄像头被激活,在滑轨上移动至与目标行人直线距离最短的位置;当行人进入方形空间A13时,行人所在空间邻域判定为A4,监控区域A4摄像头被激活,在滑轨上移动至与目标行人直线距离最短的位置。当行人进入子区域A14,此时行人所在空间邻域判定为A2、A4、A5,A2、A4、A5监控区域对应的摄像头被激活,分别移动到距离目标行人直线距离最近的位置。
邻域判定方法和移动量计算方法如下:纵横的双加粗线条中间的浅灰线为分界,横纵方向上存在相邻边的子区域,称为邻域。A12与A21是一对邻域,A13与A41是一对邻域,A14与A51是一对邻域。
将摄像头两个方向上的移动量记为Sij,i为摄像头归属区域编号,为1-9,j为摄像头横纵移动方向,x、y分别对应横纵移动方向。当存在一个方向上的相邻边时,摄像头位移关系如下:以A13和A41为例,它们之间存在一个方向上的相邻边(此处为横向)。当位于A13子区域的行人移动时,A4区域的摄像头跟随A1区域摄像头移动,横纵两个移动方向上的位移关系分别为:
S4x=S1x;
S4y=-S1y。
当存在两个方向上的相邻边时,摄像头位移关系如下:以A14和A51为例,它们之间存在两个方向上的相邻边(此时为横向和纵向)。当位于A14子区域的行人移动时,A5区域的摄像头跟随A1区域摄像头移动,横纵两个移动方向上的位移关系分别为:
S5x=-S1x;
S5y=-S1y。
如图6所示,单个摄像头摄像范围为S2,未覆盖范围S1,造成摄像死角,导致重识别失败。在增加了摄像头2后,监控覆盖范围S2增大。如图7所示。8mm焦距摄像头为典型焦距值,以8mm焦距摄像头为例,为拍摄更清晰画面,往往采用更小焦距,同时监控距离变小影响监控效果。8mm焦距摄像头角度在30度到40度之间。以10m*10m场地为例,设置8mm焦距摄像头,常见的摄像头角度为40度,在场地两侧安装摄像头如俯视图8所示,大幅提升了监控范围。为提高摄像质量,需要扩大摄像角度,尽可能减小焦距。而已有的摄像头在较近距离摄像时会产生桶形畸变,尤其是广角摄像头,如图9。在此情况下,距离摄像中心点越远,畸变越明显。因此,需要尽可能将摄像头摄像中心靠近被摄像物体,这样可以减小畸变,更精确确定行人位置坐标。行人运动速度约为1.2米/秒,使用导轨能将摄像头以最高至3米/秒以上速度移动到行人上方位置,并跟随行人移动。如果在人高速奔跑的情况下,还可以通过更多的安装面a上的摄像头辅助捕捉人员信息。避免单一摄像头摄像范围有限且固定,而无法捕捉到人员图像。
本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现;软件部分可以存储在存储器中,由适当的指令执行系统,例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现,例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现,也可以用由各种类型的处理器执行的软件实现,也可以由上述硬件电路和软件的结合例如固件来实现。
上述虽然对本发明的具体实施例作了详细说明,但是本发明并不限于上述实施例,在本领域普通技术人员所具备的知识范围内,还可以在不脱离本发明宗旨的前提下做出各种变化,而不具备创造性劳动的修改或变形仍在本发明的保护范围以内。
Claims (9)
1.一种基于三维空间的多行人重识别方法,其特征在于,包括如下步骤:
步骤一,将监控区域划分为存在多个可安装平面的立体监控空间;基于立体监控空间的各个可安装平面布设分布式监控装置;
步骤二,利用布设的分布式监控装置获取当前监控目标区域的实时监控图像,利用神经网络模型判断采集的实时监控图像中是否存在行人;
步骤三,当监控图像中存在行人时,则采用基于邻域判定的跟踪拍摄方法控制分布式监控装置对行人进行跟踪。
2.根据权利要求1所述的一种基于三维空间的多行人重识别方法,其特征在于:所述步骤二中分布式监控装置设置有多条横纵滑动导轨,任一横纵滑动导轨的交汇处均安装有一组固定支架;所述固定支架上固定安装有摄像设备。
3.根据权利要求1所述的一种基于三维空间的多行人重识别方法,其特征在于:所述步骤三中采用基于邻域判定的跟踪拍摄方法控制分布式监控装置对行人进行跟踪包括,判断行人当前所处的监控区域;控制当前监控区域的监控装置移动至距离行人头顶最近位置,识别行人轨迹;判断监控设备当前所处监控区域存在的邻域;控制邻域上的监控设备移动至距离目标行人直线距离最近的位置。
4.根据权利要求3所述的一种基于三维空间的多行人重识别方法,其特征在于:所述监控区域邻域是以分布式监控装置的滑动导轨线为分界,横纵方向上存在相邻边的区域。
5.根据权利要求3所述的一种基于三维空间的多行人重识别方法,其特征在于:在基于邻域判定的跟踪拍摄方法控制分布式监控装置对行人进行跟踪时,需要先判断监控图像中的行人是否为重点识别目标,监控图像中的行人为重点识别目标时,则对所述重点识别目标进行跟踪,并实时获取所述重点识别目标的图像;如果不是,重新识别跟踪目标。
6.根据权利要求3所述的一种基于三维空间的多行人重识别方法,其特征在于,识别行人轨迹方法如下:
步骤3-1,布置摄像头时将其按相同间距排列,对于安装面a,定义其长度为Lc,宽度为Lk;安装面a存在x*y个分摄像头,分摄像头两个方向上的间距分别为Lc/x、Lk/y;对于安装面b、c,以安装面b为例,定义其长度为L,在安装面b上安置n个分摄像头,则每个分摄像头之间间距L/n;共设置n个安装面a,摄像头平行于地面安装,每个安装面上均安装摄像头;
步骤3-2,设置预警区域,对于导轨,取导轨两侧距离为dy1的矩形区域,与中心点距离近的一侧为近侧,与中心点距离远的一侧为远侧;对于摄像头,以摄像头背面中心,取半径为dy2的圆形区域。设置切换区域,对于导轨,取导轨两侧距离为dq1的矩形区域,与中心点距离近的一侧为近侧,与中心点距离远的一侧为远侧;对于摄像头,以摄像头背面中心,取半径为dq2的圆形区域;
步骤3-3,当中心点进入预警区域,系统对中心点相对于导轨或者摄像头的运动轨迹(从进入预警区域到进入切换区域的运动过程中,图像采集到的一系列位置坐标形成运动轨迹,每隔t秒进行轨迹点采样,t可取0.1)进行拟合,每隔t秒可以得到一段运动轨迹,拟合方法可采用最小二乘法对图像的x,y坐标进行线性拟合,形成预判运动趋势方向的方向线段y=ax+b,x、y分别为图像的横纵坐标。根据视频每帧时间(1/24秒)以及帧数(图像数)p,可以推算出运动速度v=L/(1/24*(p-1)),L为每隔t秒运动轨迹的起始位置的直线距离。将平面沿半径方向平均划分为m个扇形区域,对应了m个方向。设置计数器,计数器包括m个值,对应m个扇形区域的计数值。每隔t秒进行一次计数器更新,当方向线段所指的方向位于第i(i=1,…,m)个扇形区域间时,第i个计数器值加v*k+c,k为速度比例系数,c,k均为经验值。
当下层安装面a的导轨或者摄像头(背面)遮挡住上层安装面a的摄像头视野时,可采用下面方法避免遮挡现象:首先采用深度学习神经网络方式对摄像头获得的图像进行识别,并对已有的导轨或者摄像头背面的数据集进行训练,然后对实时图像中的导轨或者摄像头进行识别,获取下层导轨或者下层摄像头在图像中的位置,从而获取当前摄像头与下层导轨或摄像头的对应位置关系。
对于导轨情况,中心点进入切换区域时,最后一段方向线段的重合直线与切换区域相交于两点,分别位于近侧、远侧。上层安装面的摄像头当前位于近侧交点,移动摄像头至远侧的位置。对于摄像头情况,中心点进入切换区域相交时,最后一段方向线段的重合直线与切换区域相交于两点,分别位于近侧、远侧,上层安装面的摄像头当前位于近侧交点,移动摄像头至远侧的位置;最后一段方向线段的重合直线与切换区域相切时,不进行切换。
当中心点与切换区域边界相交时,
(1)对于导轨情况,设相交点为A。设置扇形区域,扇形区域圆心为A,将A与导轨的垂线设为扇形的对称中心,扇形角度可取经验值α。扇形与远侧交点为B、C,A与导轨的垂线与弧线BC交点为D。近侧边界以A为界,两侧分别取L、R两个点,形成角BAL和角CAR;
(2)对于摄像头情况,设相交点为A。设置扇形区域,扇形区域圆心为A,将A与摄像头中心点O的线段设为扇形的对称中心,扇形角度可取经验值β。将线段AO沿AO方向延长摄像头圆形的半径r至摄像头与扇形的切点D,扇形弧线的两个终点为B、C。以A为交点取AD的垂线LR,形成角BAL和角CAR。
(3)当角BAC属于m个扇形区域方向中第p,p+1,...,q个区域时(p≤q≤
m),则取计数器中第p,p+1,...,q个计数值的和为sum1。
当角BAL属于m个扇形区域方向中第p,p+1,...,q个区域时(p≤q≤m),则取计数器中第p,p+1,...,q个计数值的和为sum2。
当角CAR属于m个扇形区域方向中第p,p+1,...,q个区域时(p≤q≤m),则取计数器中第p,p+1,...,q个计数值的和为sum3。
不含角BAC、角BAL、角CAR,当角LAR属于m个扇形区域方向中第p,p+1,...,q个区域时(p≤q≤m),则取计数器中第p,p+1,...,q个计数值的和为sum4。
取sum1,sum2,sum3,sum4中最大值summax。
summax等于sum1时,移动摄像头,直到中心点位于D为止。
summax等于sum2时,移动摄像头,直到中心点位于B为止。
summax等于sum3时,移动摄像头,直到中心点位于C为止。
summax等于sum4时,摄像头保持不动。
在具有多个安装面ai(i=1,…,n)情况下,当中心点与切换区域边界相交时,完成前述预防遮挡的算法;如果summax等于sum1、sum2、sum3,则进行区域重叠测试。区域重叠测试方法是:弧线BC是否位于其他安装面导轨或者摄像头的预警区域内。如果弧线BC位于其他安装面导轨或者摄像头的预警区域内,则摄像头保持不动,并开始计时。如果计时时间达到阈值Lt时,视为安装面ai的中心点长期处于区域重叠的状态,则进行遍历查询。将所有安装面摄像头与安装面ai中心点的距离进行排序,对距离最近的摄像头进行区域重叠测试,如果距离最近的摄像头无区域重叠,则改用该摄像头进行重识别。如果所有摄像头都处于区域重叠状态,则系统发出警告提示。
7.一种基于三维空间的多行人重识别系统,其特征在于,包括如下单元:监控空间布置模块、位置确定模块、装置布设模块、图像采集模块、数据处理模块、目标识别模块、跟踪模块。所述监控空间布置模块用于将监控区域划分为存在多个可安装平面的立体监控空间;所述位置确定模块用于基于确定的立体监控空间的各个可安装平面进行分布式监控装置中的摄像设备的标定,同时用于确定分布式监控装置中各个设备的布设位置、间距或其他布设参数;所述装置布设模块用于基于确定的分布式监控装置中各个设备的布设位置、间距或其他布设参数进行分布式监控装置的布设;所述图像采集模块用于利用分布式监控装置获取当前监控目标区域的实时监控图像;所述数据处理模块用于利用神经网络模型判断采集的实时监控图像中是否存在行人;所述目标识别模块用于判断所述监控图像中的行人是否为重点识别目标;所述跟踪模块用于采用基于邻域判定的跟踪拍摄方法对所述行人、重点识别目标进行跟踪,并识别行人轨迹、实时获取所述重点识别目标的图像。
8.根据权利要求6所述的一种基于三维空间的多行人重识别系统,其特征在于:所述图像采集模块、目标识别模块、跟踪模块的功能通过计算机及其内部的计算机程序来完成。
9.根据权利要求6所述的一种基于三维空间的多行人重识别系统,其特征在于:所述监控空间布置模块、位置确定模块、装置布设模块、数据处理模块功能通过信息数据处理终端及其内部程序来完成。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210542902 | 2022-05-18 | ||
CN2022105429022 | 2022-05-18 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115527162A true CN115527162A (zh) | 2022-12-27 |
CN115527162B CN115527162B (zh) | 2023-07-18 |
Family
ID=84697173
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211116098.8A Active CN115527162B (zh) | 2022-05-18 | 2022-09-14 | 一种基于三维空间的多行人重识别方法、系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115527162B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106709436A (zh) * | 2016-12-08 | 2017-05-24 | 华中师范大学 | 面向轨道交通全景监控的跨摄像头可疑行人目标跟踪系统 |
CN111145223A (zh) * | 2019-12-16 | 2020-05-12 | 盐城吉大智能终端产业研究院有限公司 | 多摄像头识别人员行为轨迹分析方法 |
WO2021114702A1 (zh) * | 2019-12-10 | 2021-06-17 | 中国银联股份有限公司 | 一种目标跟踪方法、装置、系统及计算机可读存储介质 |
WO2021196294A1 (zh) * | 2020-04-03 | 2021-10-07 | 中国科学院深圳先进技术研究院 | 一种跨视频人员定位追踪方法、系统及设备 |
CN215990940U (zh) * | 2021-05-25 | 2022-03-08 | 南方电网调峰调频发电有限公司信息通信分公司 | 一种5g智慧电厂图像视频监控系统 |
CN114364179A (zh) * | 2022-01-10 | 2022-04-15 | 江苏富联通讯技术有限公司 | 一种联网监控型无线通讯模组及其使用方法 |
-
2022
- 2022-09-14 CN CN202211116098.8A patent/CN115527162B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106709436A (zh) * | 2016-12-08 | 2017-05-24 | 华中师范大学 | 面向轨道交通全景监控的跨摄像头可疑行人目标跟踪系统 |
WO2021114702A1 (zh) * | 2019-12-10 | 2021-06-17 | 中国银联股份有限公司 | 一种目标跟踪方法、装置、系统及计算机可读存储介质 |
CN111145223A (zh) * | 2019-12-16 | 2020-05-12 | 盐城吉大智能终端产业研究院有限公司 | 多摄像头识别人员行为轨迹分析方法 |
WO2021196294A1 (zh) * | 2020-04-03 | 2021-10-07 | 中国科学院深圳先进技术研究院 | 一种跨视频人员定位追踪方法、系统及设备 |
CN215990940U (zh) * | 2021-05-25 | 2022-03-08 | 南方电网调峰调频发电有限公司信息通信分公司 | 一种5g智慧电厂图像视频监控系统 |
CN114364179A (zh) * | 2022-01-10 | 2022-04-15 | 江苏富联通讯技术有限公司 | 一种联网监控型无线通讯模组及其使用方法 |
Also Published As
Publication number | Publication date |
---|---|
CN115527162B (zh) | 2023-07-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11238730B2 (en) | System and method for detecting and recording traffic law violation events | |
WO2019095588A1 (zh) | 基于多摄像机的路侧停车管理方法、装置和系统 | |
Park et al. | Face tracking and recognition at a distance: A coaxial and concentric PTZ camera system | |
CN108012083B (zh) | 人脸采集方法、装置及计算机可读存储介质 | |
US7806604B2 (en) | Face detection and tracking in a wide field of view | |
US9854210B2 (en) | Method and device for monitoring a monitoring region | |
US20080106706A1 (en) | Method and apparatus for inhibiting a subject's eyes from being exposed to projected light | |
TW201301897A (zh) | 監視系統 | |
JP2004171165A (ja) | 移動装置 | |
KR101307234B1 (ko) | 객체인식 기반의 주차관리 시스템 | |
KR101832274B1 (ko) | 영상 촬영에 의한 지능형 방범 시스템 및 그 수행 방법 | |
CN104954747A (zh) | 视频监视方法和装置 | |
JP2002290962A (ja) | 侵入者自動追尾方法および装置並びに画像処理装置 | |
BR102015005652A2 (pt) | aparelho para controlar operações de formação de imagem de uma câmera óptica, e, sistema para reconhecer um número de veículo de uma placa de licença de um veículo | |
EP3432575A1 (en) | Method for performing multi-camera automatic patrol control with aid of statistics data in a surveillance system, and associated apparatus | |
CN113012199B (zh) | 运动目标追踪的系统和方法 | |
CN115527162B (zh) | 一种基于三维空间的多行人重识别方法、系统 | |
CN114359351A (zh) | 一种目标跟踪方法、系统、装置及设备 | |
Sogo et al. | N-ocular stereo for real-time human tracking | |
KR101793790B1 (ko) | 축사 개체 탐지 장치 및 방법 | |
CN110930432A (zh) | 一种视频分析方法、装置及系统 | |
KR101859329B1 (ko) | 주정차 단속 시스템 | |
CN113420726B (zh) | 基于俯视图像的区域去重客流统计方法 | |
EP3349201A1 (en) | Parking assist method and vehicle parking assist system | |
KR101470939B1 (ko) | 감시카메라와 이를 이용한 얼굴 검출 시스템 및 얼굴 검출 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |