CN109887040A - 面向视频监控的运动目标主动感知方法及系统 - Google Patents
面向视频监控的运动目标主动感知方法及系统 Download PDFInfo
- Publication number
- CN109887040A CN109887040A CN201910124257.0A CN201910124257A CN109887040A CN 109887040 A CN109887040 A CN 109887040A CN 201910124257 A CN201910124257 A CN 201910124257A CN 109887040 A CN109887040 A CN 109887040A
- Authority
- CN
- China
- Prior art keywords
- target
- camera
- video
- apperception
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
本发明设计了一种面向视频监控的运动目标主动感知方法及系统。该方法包括:依据各个摄像机监控画面,建立位置转换模型,并对监控场景进行实时目标检测;依据运动目标轨迹预测函数,得到目标感知顺序,计算目标在目标感知相机中的位置;依据像素坐标与摄像机云台方位角转换函数,调整摄像机参数对准目标;依据人体关节点检测与尺度评价函数,调节目标感知摄像机的焦距大小,判断目标是否为有效目标。同时判断目标图像的人脸特征、高层属性特征以及底层颜色纹理特征的有效性,提取目标的有效特征。本发明利用多个摄像机协同工作,在对场景进行全景监控的同时,主动感知目标高清图像,分析目标特征的有效性,最终实现对目标有效特征的感知。
Description
技术领域
本发明涉及一种面向视频监控的图像采集分析方法及系统,尤其涉及一种面向视频监控的运动目标主动感知方法及系统,属于视频监控领域。
背景技术
当今,各式视频监控系统在生产、生活环境中广泛应用。视频监控系统能够通过网络实现远程监控,由于其无需直接接触目标,并且能够极大的减少人力成本,因此在智能交通运输、城市安全防护以及军事侦察活动活动等众多领域得到了广泛的应用。运动目标是监控系统重点关注的对象,主动发现并获取运动目标的有效特征信息,有助于对目标身份的识别以及后续的分析处理任务。
发明内容
根据本发明的一个方面,提供了一种面向视频监控的运动目标主动感知方法,其特征在于包括如下步骤:
A)依据目标发现摄像机画面与目标感知摄像机画面,通过特征点提取及匹配的方式,对所有目标发现摄像机与目标感知摄像机进行标定,建立位置转换模型,
B)利用目标发现摄像机对监控场景进行实时检测,得到待感知目标集合,
C)依据运动目标轨迹预测函数,计算待感知目标的最优感知顺序,获取首选感知目标,
D)选取空闲目标感知摄像机,依据位置转换模型,计算首选感知目标在目标感知相机中的位置,
E)依据像素坐标与摄像机云台方位角转换函数,调整目标感知摄像机的云台方位角对准目标,
F)依据人体关节点检测与尺度评价函数,调节目标感知摄像机焦距在最优尺度下拍摄目标高清图像,
G)依据人体关节点检测,判断目标图像的特征有效性,然后提取目标图像的唯一性特征和区别性特征,
其中:
所述步骤A)包括:
对于未配准的任意一对目标发现摄像机与目标感知摄像机,分别采集同一时刻摄像机i与摄像机j的视频图像imagei与imagej,
然后,分别对imagei与imagej进行SURF特征点提取,得到特征点集合featurei和featurej,
然后,对于特征点集合featurei中的每一个特征点,从featurej中选取特征向量的欧式距离最近的点作为匹配点,使用它们的坐标构成特征点对集合patchij,
把摄像机i与摄像机j间的位置转换模型用Mij表示:
将特征点对集合patchAB带入,利用最小二乘法求解得到位置转换模型Mij,
所述步骤B)包括:
用基于背景建模的运动目标检测算法和深度学习网络作为目标实时检测算法,进行所述实时检测,
利用基于背景建模的运动目标检测算法对所有目标发现摄像机的视频图像进行检测跟踪,得到运动目标集合S1,
利用深度学习网络对所有目标发现摄像机的视频图像进行检测跟踪,得到运动目标集合S2,
用运动目标集合S1与运动目标集合S2的并集构成待感知目标集合S,
把运动目标集合S1与运动目标集合S2中目标信息格式确定为:
[ID,camera_id,time,left,right,up,down,center_x,center_y]
其中:
ID表示目标的唯一身份编号,ID不同则目标身份不同,
camera_id表示目标出现的摄像机编号,
time表示目标出现的时间,
left表示目标区域的横坐标最小值,
right表示目标区域的横坐标最大值,
up表示目标区域的纵坐标最小值,
down表示目标区域的纵坐标最大值,
center_x表示目标区域的中心点横坐标,
center_y表示目标区域的中心点纵坐标。
附图说明
图1为根据本发明的一个实施例的面向视频监控的运动目标主动感知方法的流程图。
图2为根据本发明的一个实施例的面向视频监控的运动目标主动感知系统的配置图。
具体实施方式
传统的视频监控系统通过采集并分析监控场景的视频图像,提取目标的特征信息,从达到对目标身份识别的效果。但是,在实际的视频监控场景中,目标往往具有不同的尺度和角度状态,而镜头参数和云台角度固定的传统视频监控系统很难应对,进而导致获取的目标特征信息无效,无法对目标进行身份的识别。
为了减小开放的监控场景中由目标的不同状态所带来的影响,人脸、车牌监控系统采用一类卡口相机,在特定区域架设视频图像采集设备,通过限制目标姿态的方式来获取高清图像提取目标特征信息,从而实现对目标身份的准确识别。但是这类视频监控系统在实际使用过程中对环境要求很高,并且在提取特征时未进行特征有效性评估,仅提取固定类型的特征信息。当监控场景中的目标的运动状态发生改变时,其所具有的有效特征往往会随之改变,从而导致系统提取到的特征信息无效。
另有一类枪球联动视频监控系统,采用主从摄像机协同的方式,利用主摄像机监控全景,从摄像机对目标进行抓拍确认,达到了全景与细节兼顾的效果。但是这类系统仅能对目标的细节进行确认,无法实现对目标有效特征的主动提取。
本发明设计了一种面向视频监控的运动目标主动感知方法及系统,该方法首先利用摄像机检测视频监控场景中出现的运动目标,然后计算目标的最优感知顺序,利用其他摄像机来对场景中的目标进行确认与跟踪抓拍,获取目标的高清图像后进一步分析图像中特征的有效性,最终提取目标有效的唯一性与区别性特征。
本发明解决的问题在于目标发现摄像机发现视频监控场景中出现的运动目标后,利用目标感知摄像机来对场景中的目标进行确认与跟踪抓拍,并且在目标特征有效性评估的指导下进一步的提取目标的有效特征。
本发明使用的摄像机按功能分为目标发现摄像机与目标感知摄像机,其中标发现摄像机由一个或多个任意类型的摄像机组成,目标感知摄像机由具有云台控制功能的一个或多个摄像机组成。
根据本发明的一个方面,提供了一种面向视频监控的运动目标主动感知方法,其特征在于包括如下步骤:
(1)依据目标发现摄像机画面与目标感知摄像机画面,通过特征点提取及匹配的方式,对所有目标发现摄像机与目标感知摄像机进行标定,建立位置转换模型,
(2)利用目标发现摄像机对监控场景进行实时检测,得到待感知目标集合,
(3)依据运动目标轨迹预测函数,计算待感知目标的最优感知顺序,获取首选感知目标,
(4)选取空闲目标感知摄像机,依据位置转换模型,计算目标在目标感知相机中的位置,
(5)依据像素坐标与摄像机云台方位角转换函数,调整目标感知摄像机的云台方位角对准目标,
(6)依据人体关节点检测与尺度评价函数,调节目标感知摄像机焦距在最优尺度下拍摄目标高清图像,
(7)依据人体关节点检测,判断目标图像的特征有效性,然后提取目标图像的唯一性特征和区别性特征。
根据本发明的一个进一步的方面,上述步骤(1)中:
对于未配准的任意一对目标发现摄像机与目标感知摄像机,分别采集同一时刻摄像机i与摄像机j的视频图像imagei与imagej。然后分别对imagei与imagej进行SURF特征点提取,得到特征点集合featurei和featurej。然后对于特征点集合featurei中的每一个特征点,从featurej中选取特征向量的欧式距离最近的点作为匹配点,使用它们的坐标构成特征点对集合patchij。
摄像机i与摄像机j间的位置转换模型用Mij表示:
将特征点对集合patchAB带入,利用最小二乘法求解得到位置转换模型Mij。
根据本发明的一个进一步的方面,上述步骤(2)中:
采用的目标实时检测算法为基于背景建模的运动目标检测算法和深度学习网络。
利用基于背景建模的运动目标检测算法对所有目标发现摄像机的视频图像进行检测跟踪,得到运动目标集合S1。
利用深度学习网络对所有目标发现摄像机的视频图像进行检测跟踪,得到运动目标集合S2。
运动目标集合S1与运动目标集合S2的并集构成待感知目标的集合S。
运动目标集合中目标信息格式为:
[ID,camera_id,time,left,right,up,down,center_x,center_y]
其中:ID表示目标的唯一身份编号,ID不同则目标身份不同,camera_id表示目标出现的摄像机编号,time表示目标出现的时间,left表示目标区域的横坐标最小值,right表示目标区域的横坐标最大值,up表示目标区域的纵坐标最小值,down表示目标区域的纵坐标最大值,center_x表示目标区域的中心点横坐标,center_y表示目标区域的中心点纵坐标。
根据本发明的一个进一步的方面,上述步骤(3)中:
目标轨迹预测函数表示为:
pxi(t)=ai,0+ai,1*t+ai,2*t2+ai,3*t3
pyi(t)=bi,0+bi,1*t+bi,2*t2+bi,3*t3
其中pxi(t)表示待感知目标的集合S中的目标si在时刻t时的横坐标,ai,0、ai,1、ai,2、ai,3表示横坐标预测函数参数。pyi(t)表示待感知目标的集合S中的目标si在时刻t时的纵坐标,bi,0、bi,1、bi,2、bi,3表示纵坐标预测函数参数,t表示时刻。
根据本发明的一个进一步的方面,上述步骤(3)中:
ai,0、ai,1、ai,2、ai,3、bi,0、bi,1、bi,2、bi,3依据如下方式计算:
选取待感知目标的集合S中ID为si的所有中心点横坐标center_x、中心点纵坐标center_y以及时间time,利用最小二乘法拟合曲线pxi(t)与pyi(t),计算平方和误差最小情况下的ai,0、ai,1、ai,2、ai,3、bi,0、bi,1、bi,2、bi,3值。
根据本发明的一个进一步的方面,上述步骤(3)中:
待感知目标最优感知顺序的计算方式为:利用待感知目标位置坐标图,计算在最短时间遍历所有坐标的顺序队列Q。从前往后遍历队列中的每一个目标,根据轨迹预测函数判断目标运动方向,若目标当前的运动方向向下并且运动方向的斜率的绝对值大于k,则将该目标置于队首;若目标在时间间隔t之后运动方向向下并且运动方向的斜率的绝对值大于k,则将该目标置于队尾;其他情况下目标在队列中的位置不变。首选感知目标为目标最优感知顺序中位于队首的目标。
根据本发明的一个进一步的方面,上述步骤(4)中:
选取空闲目标感知摄像机,根据置转换模型Mij,计算坐标(center_xi,center_yi)在目标感知摄像机中的位置(center_x'i,center_y'i)。计算方式如下:
根据本发明的一个进一步的方面,上述步骤(5)中:
像素坐标与摄像机云台方位角转换函数按如下方式计算:
首先调用从摄像机云台控制接口,得到部分像素坐标与摄像机方位角的对应关系。然后利用局部加权回归拟合像素坐标与摄像机云台的水平方位角、垂直方位角之间的对应关系:
其中表示摄像机云台的水平方位角,表示摄像机云台的垂直方位角,(x,y)表示待感知目标在目标感知摄像机中的中心像素坐标。
根据本发明的一个进一步的方面,上述步骤(5)中:
利用像素坐标与摄像机云台方位角转换函数计算云台水平方位角和垂直方位角然后将目标感知相机云台方位角调节至该角度。
根据本发明的一个进一步的方面,上述步骤(6)中:
调节摄像机焦距至[zoommin,zoommax]区间,利用预训练的人体关节点检测模型,检测当前目标感知摄像机的视频图像中的人体关节点集合skp。
人体关节点集合中信息格式为:
[type,x,y,score]
其中:
type表示关节点的类别,
x表示关节点的横坐标,
y表示关节点的纵坐标,
score表示关键点的分数。
若集合skp为空,则表明当前目标为无效目标,结束目标感知过程,返回步骤B)。
根据本发明的一个进一步的方面,上述步骤(6)中:
尺度评估函数表示为:
其中:
(kpi,x,kpi,y)表示第i个关键点的位置坐标,
(avgx,avgy)表示skp中所有关节点的中心点坐标,
scorei表示第i个关键点的分数。
根据本发明的一个进一步的方面,上述步骤(6)中:
调剂摄像机焦距,若当前尺度评估值小于scalemin,则增大焦距,若当前尺度评估值大于scalemax,则减小焦距,使尺度评估值位于[scalemin,scalemax]之间。
根据本发明的一个进一步的方面,上述步骤(7)中:
唯一性特征是指目标的人脸特征,区别性特征是指目标的高层属性特征与底层颜色纹理特征。
利用人脸检测算法检测人脸特征的有效性,若存在人脸,则利用人脸特征提取算法对人脸区域进行特征提取,
根据步骤(6)中检测到的人体关节点坐标得到目标有效的高层属性特征区域,然后利用预训练的Resnet-50深度学习模型对该区域进行高层属性特征提取。
根据步骤(6)中检测到的人体关节点坐标得到目标有效的底层颜色纹理区域,然后利用预训练的Resnet-50深度学习模型对该区域进行底层颜色纹理特征提取。
下面结合附图和具体实施方式对本发明做进一步详细说明。
如图2所示,根据本发明的一个实施例的面向视频监控的运动目标主动感知系统包括目标发现模块、目标感知模块、特征有效性评估模块、特征提取模块。
目标发现模块主要负责与主从摄像机建立网络连接,并实时采集主从摄像机中的视频图像,然后利用运动目标检测跟踪算法对场景中的目标进行检测和跟踪,保存目标的大小、位置以及时间信息,供系统后续的目标感知使用。
目标感知模块主要负责与从摄像机进行通信,提供传感器姿态控制接口、视场控制接口。当系统获取目标在从摄像机中的位置坐标后,利用像素坐标与摄像机云台方位角转换函数计算从摄像机的云台方位角,自主调节从摄像机对目标进行抓拍,提取目标的清晰图像,供系统后续的特征提取使用。
特征有效性评估模块主要负责目标特征有效性评估。当目标感知模块获取到目标清晰图像后,特征有效性评估模块评估图像中人脸特征有效性、高层属性特征有效性、底层颜色文理特征有效性。
特征提取模块负责提取目标清晰图像中的各类特征。当特征有效性评估模块完成了对各类特征的有效性评估之后,特征提取模块从原图中裁剪出人脸特征、高层属性特征、底层颜色文理特征的有效区域,对目标图像进行特征提取。
图1所示的是根据本发明的一个实施例的基于多摄像机协同的运动目标主动感知方法的流程图,包括:
(1)多摄像机间位置转换模型构建步骤;
(2)待感知目标检测步骤;
(3)目标最优感知位置计算步骤;
(4)摄像机云台方位角计算步骤;
(5)摄像机感知尺度自主调节步骤;
(6)目标特征有效性评估及提取步骤。
下面依次对上述步骤进行详细描述。
(1)多摄像机间位置转换模型构建步骤包括:
对于未配准的任意一对目标发现摄像机与目标感知摄像机,分别采集同一时刻摄像机i与摄像机j的视频图像imagei与imagej。然后分别对imagei与imagej进行SURF特征点提取,得到特征点集合featurei和featurej。然后对于特征点集合featurei中的每一个特征点,从featurej中选取特征向量的欧式距离最近的点作为匹配点,使用它们的坐标构成特征点对集合patchij。
把摄像机i与摄像机j间的位置转换模型用Mij表示:
将特征点对集合patchAB带入,利用最小二乘法求解得到位置转换模型Mij。
(2)待感知目标检测步骤,其包括:
利用基于背景建模的运动目标检测算法[1]对所有目标发现摄像机的视频图像进行检测跟踪,得到运动目标集合S1,
利用YoloV3深度学习网络[2]对所有目标发现摄像机的视频图像进行检测跟踪,得到运动目标集合S2,
把运动目标集合S1与运动目标集合S2并集,构成待感知目标的集合S。
(3)目标最优感知顺序计算步骤包括:
选取待感知目标的集合S中ID为si的所有中心点横坐标center_x、中心点纵坐标center_y以及时间time,利用最小二乘法拟合曲线pxi(t)与pyi(t):
pxi(t)=ai,0+ai,1*t+ai,2*t2+ai,3*t3
pyi(t)=bi,0+bi,1*t+bi,2*t2+bi,3*t3
计算平方和误差最小情况下的ai,0、ai,1、ai,2、ai,3、bi,0、bi,1、bi,2、bi,3值;
利用待感知目标位置坐标图,计算在最短时间遍历所有坐标的顺序队列Q;从前往后遍历队列中的每一个目标,根据轨迹预测函数判断目标运动方向,若目标当前的运动方向向下并且运动方向的斜率的绝对值大于k,则将该目标置于队首;若目标在时间间隔t之后运动方向向下并且运动方向的斜率的绝对值大于k,则将该目标置于队尾;其他情况下目标在队列中的位置不变。
(4)摄像机云台方位角计算步骤包括:
选取空闲目标感知摄像机,根据置转换模型Mij,计算坐标(center_xi,center_yi)在目标感知摄像机中的位置(center_x'i,center_y'i):
调用从摄像机云台控制接口,得到部分像素坐标与摄像机方位角的对应关系;然后利用局部加权回归拟合像素坐标与摄像机云台的水平方位角、垂直方位角之间的对应关系:
代入(center_x'i,center_y'i)得到摄像机云台的水平方位角与垂直方位角控制云台调整到该角度。
(5)摄像机感知尺度自主调节步骤包括:
调节摄像机焦距至[zoommin,zoommax]区间,利用预训练的人体关节点检测模型[3],检测当前目标感知摄像机的视频图像中的人体关节点集合skp:
skp={(kpi,x,kpi,y)|0≤i≤24},
然后计算尺度评估值:
同时计算目标的有效区域(allleft,allright,allupt,alldownt):
allleft=min{kpi,x|0≤i≤24}
allright=max{kpi,x|0≤i≤24}
allup=min{kpi,y|0≤i≤24}
alldown=max{kpi,y|0≤i≤24}
调剂摄像机焦距,若当前尺度评估值小于100,则增大焦距,若当前尺度评估值大于120,则减小焦距,使尺度评估值位于[100,120]之间。
(6)目标特征有效性评估及提取步骤包括:
利用人脸检测算法[4]检测人脸特征的有效性,若存在人脸,则利用人脸特征提取算法对人脸区域进行特征提取,
根据步骤(5)中得到的目标有效特征区域,利用预训练的Resnet-50深度学习模型[5]对该区域进行高层属性特征提取,
根据步骤(5)中得到的目标有效特征区域,然后利用预训练的Resnet-50深度学习模型[6]对该区域进行底层颜色纹理特征提取。
引用的文献:
[1]Barnich O,Van D M.ViBe:a universal background subtractionalgorithm for video sequences[J].IEEE Transactions on Image Processing,2011,20(6):1709-1724
[2]Redmon J,Farhadi A.YOLOv3:An Incremental Improvement[J].2018
[3]Cao Z,Simon T,Wei S E,et al.Realtime Multi-Person 2D PoseEstimation using Part Affinity Fields[J].2016
[4]Ali A,Hussain S,Haroon F,et al.Face Recognition with Local BinaryPatterns[J].Bahria University Journal of Information & CommunicationTechnologies,2012,5(1):5.
[5]He K,Zhang X,Ren S,et al.Deep Residual Learning for ImageRecognition[J].2015.
[6]Zihao H,Huiyan W,Shengcai L,et al.Person Re-Identification withHybrid Loss and Hard Triplets Mining[C].4th IEEE International Conference onMultimedia Big Data,2018,1-5.
Claims (10)
1.一种面向视频监控的运动目标主动感知方法,其特征在于包括如下步骤:
A)依据目标发现摄像机画面与目标感知摄像机画面,通过特征点提取及匹配的方式,对所有目标发现摄像机与目标感知摄像机进行标定,建立位置转换模型,
B)利用目标发现摄像机对监控场景进行实时检测,得到待感知目标集合,
C)依据运动目标轨迹预测函数,计算待感知目标的最优感知顺序,获取首选感知目标,
D)选取空闲目标感知摄像机,依据位置转换模型,计算首选感知目标在目标感知相机中的位置,
E)依据像素坐标与摄像机云台方位角转换函数,调整目标感知摄像机的云台方位角对准目标,
F)依据人体关节点检测与尺度评价函数,调节目标感知摄像机焦距在最优尺度下拍摄目标高清图像,
G)依据人体关节点检测,判断目标图像的特征有效性,然后提取目标图像的唯一性特征和区别性特征,
其中:
所述步骤A)包括:
对于未配准的任意一对目标发现摄像机与目标感知摄像机,分别采集同一时刻摄像机i与摄像机j的视频图像imagei与imagej,
然后,分别对imagei与imagej进行SURF特征点提取,得到特征点集合featurei和featurej,
然后,对于特征点集合featurei中的每一个特征点,从featurej中选取特征向量的欧式距离最近的点作为匹配点,使用它们的坐标构成特征点对集合patchij,
把摄像机i与摄像机j间的位置转换模型用Mij表示:
将特征点对集合patchAB带入,利用最小二乘法求解得到位置转换模型Mij,
所述步骤B)包括:
用基于背景建模的运动目标检测算法和深度学习网络作为目标实时检测算法,进行所述实时检测,
利用基于背景建模的运动目标检测算法对所有目标发现摄像机的视频图像进行检测跟踪,得到运动目标集合S1,
利用深度学习网络对所有目标发现摄像机的视频图像进行检测跟踪,得到运动目标集合S2,
用运动目标集合S1与运动目标集合S2的并集构成待感知目标集合S,
把运动目标集合S1与运动目标集合S2中目标信息格式确定为:
[ID,camera_id,time,left,right,up,down,center_x,center_y]
其中:
ID表示目标的唯一身份编号,ID不同则目标身份不同,
camera_id表示目标出现的摄像机编号,
time表示目标出现的时间,
left表示目标区域的横坐标最小值,
right表示目标区域的横坐标最大值,
up表示目标区域的纵坐标最小值,
down表示目标区域的纵坐标最大值,
center_x表示目标区域的中心点横坐标,
center_y表示目标区域的中心点纵坐标。
2.根据权利要求1所述的面向视频监控的运动目标主动感知方法,其特征在于,所述步骤C)中:
把目标轨迹预测函数确定为:
pxi(t)=ai,0+ai,1*t+ai,2*t2+ai,3*t3
pyi(t)=bi,0+bi,1*t+bi,2*t2+bi,3*t3
其中pxi(t)表示待感知目标集合S中的目标si在时刻t时的横坐标,ai,0、ai,1、ai,2、ai,3表示横坐标预测函数参数,pyi(t)表示待感知目标集合S中的目标si在时刻t时的纵坐标,bi,0、bi,1、bi,2、bi,3表示纵坐标预测函数参数,t表示时刻,
所述步骤C)中ai,0、ai,1、ai,2、ai,3、bi,0、bi,1、bi,2、bi,3依据如下方式确定:
选取待感知目标集合S中ID为si的所有中心点横坐标center_x、中心点纵坐标center_y以及时间time,利用最小二乘法拟合曲线pxi(t)与pyi(t),计算平方和误差最小情况下的ai,0、ai,1、ai,2、ai,3、bi,0、bi,1、bi,2、bi,3值,
所述步骤C)中,待感知目标最优感知顺序的计算方式为:利用待感知目标位置坐标图,计算在最短时间遍历所有坐标的顺序队列Q,从前往后遍历队列中的每一个目标,根据轨迹预测函数判断目标运动方向,若目标当前的运动方向向下并且运动方向的斜率的绝对值大于k,则将该目标置于队首;若目标在时间间隔t之后运动方向向下并且运动方向的斜率的绝对值大于k,则将该目标置于队尾;其他情况下目标在队列中的位置不变,
所述步骤D)中,选取空闲目标感知摄像机,根据置转换模型Mij,计算坐标(center_xi,center_yi)在目标感知摄像机中的位置(center_x′i,center_y′i),计算方式如下:
3.根据权利要求1所述的面向视频监控的运动目标主动感知方法,其特征在于,所述步骤E)中:
像素坐标与摄像机云台方位角转换函数按如下方式计算:
首先调用从摄像机云台控制接口,得到部分像素坐标与摄像机方位角的对应关系,然后利用局部加权回归拟合像素坐标与摄像机云台的水平方位角、垂直方位角之间的对应关系:
其中表示摄像机云台的水平方位角,表示摄像机云台的垂直方位角,(x,y)表示待感知目标在目标感知摄像机中的中心像素坐标,所述步骤E)中,利用像素坐标与摄像机云台方位角转换函数计算云台水平方位角和垂直方位角然后将目标感知相机云台方位角调节至该角度,
所述步骤F)中,调节摄像机焦距至[zoommin,zoommax]区间,利用预训练的人体关节点检测模型,检测当前目标感知摄像机的视频图像中的人体关节点集合skp,
其中:
人体关节点集合中信息格式为:
[type,x,y,score]
type表示关节点的类别,x表示关节点的横坐标,y表示关节点的纵坐标,score表示关键点的分数,
若人体关节点集合skp为空,则表明当前目标为无效目标,结束目标感知过程,返回步骤B)。
4.根据权利要求1所述的面向视频监控的运动目标主动感知方法,其特征在于:
在所述步骤F)中,尺度评估函数表示为:
其中:
(kpi,x,kpi,y)表示第i个关键点的位置坐标,
(avgx,avgy)表示skp中所有关节点的中心点坐标,
scorei表示第i个关键点的分数。
在所述步骤F)中,目标感知相机的最优感知尺度调节方式为调剂摄像机焦距,若当前尺度评估值小于scalemin,则增大焦距,若当前尺度评估值大于scalemax,则减小焦距,使尺度评估值位于[scalemin,scalemax]之间。
5.根据权利要求1所述的面向视频监控的运动目标主动感知方法,其特征在于,在所述步骤G)中:
唯一性特征是指目标的人脸特征,区别性特征是指目标的高层属性特征与底层颜色纹理特征,
利用人脸检测算法检测人脸特征的有效性,若存在人脸,则利用人脸特征提取算法对人脸区域进行特征提取,
根据步骤F)中检测到的人体关节点坐标得到目标有效的高层属性特征区域,然后利用预训练的Resnet-50深度学习模型对该区域进行高层属性特征提取,
根据步骤F)中检测到的人体关节点坐标得到目标有效的底层颜色纹理区域,然后利用预训练的Resnet-50深度学习模型对该区域进行底层颜色纹理特征提取。
6.存储有一种计算机可执行程序的非易失存储介质,该计算机可执行程序使计算机执行根据权利要求1-5之一所述的面向视频监控的运动目标主动感知方法。
7.一种面向视频监控的运动目标主动感知系统,其特征在于包括:
目标发现模块,用于获取监控视频并检测出待感知目标,
目标感知模块,用于调用目标感知摄像机对待感知目标进行跟踪抓拍,
目标特征有效性评估模块,用于使用预训练的深度学习模型,对获取的目标图像进行特征有效性评估,输出特征的有效区域,
目标特征提取模块,用于使用预训练的深度学习模型,在有效区域提取目标的人脸特征、高层属性特征和底层颜色纹理特征。
8.根据权利要求7所述的面向视频监控的运动目标主动感知系统,其特征在于:
目标发现模块使用运动目标检测算法和预训练的深度学习模型进行待感知目标检测。
9.如权利要求7所述的面向视频监控的运动目标主动感知系统,其特征在于:
目标感知模块使用运动目标轨迹预测函数、像素坐标与摄像机云台方位角转换函数以及尺度评估函数来指导目标感知摄像机进队目标进行跟踪抓拍。
10.如权利要求7所述的面向视频监控的运动目标主动感知系统,其特征在于:
目标特征有效性评估模块使用人体关节点检测评估特征的有效性。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910124257.0A CN109887040B (zh) | 2019-02-18 | 2019-02-18 | 面向视频监控的运动目标主动感知方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910124257.0A CN109887040B (zh) | 2019-02-18 | 2019-02-18 | 面向视频监控的运动目标主动感知方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109887040A true CN109887040A (zh) | 2019-06-14 |
CN109887040B CN109887040B (zh) | 2020-04-14 |
Family
ID=66928502
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910124257.0A Active CN109887040B (zh) | 2019-02-18 | 2019-02-18 | 面向视频监控的运动目标主动感知方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109887040B (zh) |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110572577A (zh) * | 2019-09-24 | 2019-12-13 | 浙江大华技术股份有限公司 | 一种跟踪聚焦的方法、装置、设备及介质 |
CN110675453A (zh) * | 2019-10-16 | 2020-01-10 | 北京天睿空间科技股份有限公司 | 一种已知场景中运动目标的自定位方法 |
CN111081027A (zh) * | 2019-12-17 | 2020-04-28 | 浙江大华技术股份有限公司 | 一种车牌识别方法及装置、计算机装置及可读存储介质 |
CN111753694A (zh) * | 2020-06-16 | 2020-10-09 | 西安电子科技大学 | 无人车目标搜索系统及方法 |
CN112153280A (zh) * | 2020-08-31 | 2020-12-29 | 浙江赫千电子科技有限公司 | 一种应用于摄像头模组的主动对准方法 |
CN112351210A (zh) * | 2020-11-06 | 2021-02-09 | 哈尔滨师范大学 | 一种主动视觉采集系统 |
CN112380912A (zh) * | 2020-10-21 | 2021-02-19 | 天津中科智能识别产业技术研究院有限公司 | 一种行进中虹膜识别装置 |
CN112767452A (zh) * | 2021-01-07 | 2021-05-07 | 北京航空航天大学 | 摄像机主动感知方法及系统 |
CN112860198A (zh) * | 2021-01-05 | 2021-05-28 | 中科创达软件股份有限公司 | 视频会议的画面切换方法、装置、计算机设备及存储介质 |
CN113382304A (zh) * | 2021-06-07 | 2021-09-10 | 北博(厦门)智能科技有限公司 | 一种基于人工智能技术的视频拼接方法 |
CN113470083A (zh) * | 2021-07-27 | 2021-10-01 | 浙江大华技术股份有限公司 | 一种全景跟踪方法及全景监控跟踪装置、电子设备 |
WO2021217311A1 (zh) * | 2020-04-26 | 2021-11-04 | 深圳市大疆创新科技有限公司 | 可移动平台及其控制方法、存储介质 |
CN114584746A (zh) * | 2022-04-29 | 2022-06-03 | 深圳市边海物联科技有限公司 | 一种安防监控系统及安防监控方法 |
CN114783211A (zh) * | 2022-03-22 | 2022-07-22 | 南京莱斯信息技术股份有限公司 | 一种基于视频数据融合的场面目标监视增强系统及方法 |
CN117346271A (zh) * | 2023-12-04 | 2024-01-05 | 常州永佳软件技术有限公司 | 一种基于视觉ai深度学习的室内环境管控系统及方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060210118A1 (en) * | 2005-03-01 | 2006-09-21 | Koji Kobayashi | Personal identification apparatus |
CN101303732A (zh) * | 2008-04-11 | 2008-11-12 | 西安交通大学 | 基于车载单目相机的运动目标感知与告警方法 |
CN102411368A (zh) * | 2011-07-22 | 2012-04-11 | 北京大学 | 机器人的主动视觉人脸跟踪方法和跟踪系统 |
CN103020991A (zh) * | 2012-12-26 | 2013-04-03 | 中国科学技术大学 | 一种视频场景中运动目标感知的方法及系统 |
-
2019
- 2019-02-18 CN CN201910124257.0A patent/CN109887040B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060210118A1 (en) * | 2005-03-01 | 2006-09-21 | Koji Kobayashi | Personal identification apparatus |
CN101303732A (zh) * | 2008-04-11 | 2008-11-12 | 西安交通大学 | 基于车载单目相机的运动目标感知与告警方法 |
CN102411368A (zh) * | 2011-07-22 | 2012-04-11 | 北京大学 | 机器人的主动视觉人脸跟踪方法和跟踪系统 |
CN103020991A (zh) * | 2012-12-26 | 2013-04-03 | 中国科学技术大学 | 一种视频场景中运动目标感知的方法及系统 |
Cited By (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110572577A (zh) * | 2019-09-24 | 2019-12-13 | 浙江大华技术股份有限公司 | 一种跟踪聚焦的方法、装置、设备及介质 |
CN110675453A (zh) * | 2019-10-16 | 2020-01-10 | 北京天睿空间科技股份有限公司 | 一种已知场景中运动目标的自定位方法 |
CN110675453B (zh) * | 2019-10-16 | 2021-04-13 | 北京天睿空间科技股份有限公司 | 一种已知场景中运动目标的自定位方法 |
CN111081027A (zh) * | 2019-12-17 | 2020-04-28 | 浙江大华技术股份有限公司 | 一种车牌识别方法及装置、计算机装置及可读存储介质 |
WO2021217311A1 (zh) * | 2020-04-26 | 2021-11-04 | 深圳市大疆创新科技有限公司 | 可移动平台及其控制方法、存储介质 |
CN111753694B (zh) * | 2020-06-16 | 2024-02-09 | 西安电子科技大学 | 无人车目标搜索系统及方法 |
CN111753694A (zh) * | 2020-06-16 | 2020-10-09 | 西安电子科技大学 | 无人车目标搜索系统及方法 |
CN112153280A (zh) * | 2020-08-31 | 2020-12-29 | 浙江赫千电子科技有限公司 | 一种应用于摄像头模组的主动对准方法 |
CN112380912A (zh) * | 2020-10-21 | 2021-02-19 | 天津中科智能识别产业技术研究院有限公司 | 一种行进中虹膜识别装置 |
CN112380912B (zh) * | 2020-10-21 | 2023-05-02 | 天津中科智能识别产业技术研究院有限公司 | 一种行进中虹膜识别装置 |
CN112351210A (zh) * | 2020-11-06 | 2021-02-09 | 哈尔滨师范大学 | 一种主动视觉采集系统 |
CN112860198A (zh) * | 2021-01-05 | 2021-05-28 | 中科创达软件股份有限公司 | 视频会议的画面切换方法、装置、计算机设备及存储介质 |
CN112860198B (zh) * | 2021-01-05 | 2024-02-09 | 中科创达软件股份有限公司 | 视频会议的画面切换方法、装置、计算机设备及存储介质 |
CN112767452B (zh) * | 2021-01-07 | 2022-08-05 | 北京航空航天大学 | 摄像机主动感知方法及系统 |
CN112767452A (zh) * | 2021-01-07 | 2021-05-07 | 北京航空航天大学 | 摄像机主动感知方法及系统 |
CN113382304B (zh) * | 2021-06-07 | 2023-07-18 | 北博(厦门)智能科技有限公司 | 一种基于人工智能技术的视频拼接方法 |
CN113382304A (zh) * | 2021-06-07 | 2021-09-10 | 北博(厦门)智能科技有限公司 | 一种基于人工智能技术的视频拼接方法 |
CN113470083A (zh) * | 2021-07-27 | 2021-10-01 | 浙江大华技术股份有限公司 | 一种全景跟踪方法及全景监控跟踪装置、电子设备 |
CN114783211A (zh) * | 2022-03-22 | 2022-07-22 | 南京莱斯信息技术股份有限公司 | 一种基于视频数据融合的场面目标监视增强系统及方法 |
CN114783211B (zh) * | 2022-03-22 | 2023-09-15 | 南京莱斯信息技术股份有限公司 | 一种基于视频数据融合的场面目标监视增强系统及方法 |
CN114584746A (zh) * | 2022-04-29 | 2022-06-03 | 深圳市边海物联科技有限公司 | 一种安防监控系统及安防监控方法 |
CN117346271A (zh) * | 2023-12-04 | 2024-01-05 | 常州永佳软件技术有限公司 | 一种基于视觉ai深度学习的室内环境管控系统及方法 |
CN117346271B (zh) * | 2023-12-04 | 2024-02-02 | 常州永佳软件技术有限公司 | 一种基于视觉ai深度学习的室内环境管控系统及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109887040B (zh) | 2020-04-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109887040A (zh) | 面向视频监控的运动目标主动感知方法及系统 | |
CN108111818B (zh) | 基于多摄像机协同的运动目标主动感知方法和装置 | |
CN105894702B (zh) | 一种基于多摄像机数据融合的入侵检测报警系统及其检测方法 | |
CN103761514B (zh) | 基于广角枪机和多球机实现人脸识别的系统及方法 | |
CN107240124B (zh) | 基于时空约束的跨镜头多目标跟踪方法及装置 | |
CN100353749C (zh) | 联合摄像机构成的监视装置 | |
KR101788225B1 (ko) | 건설현장 맞춤형 이미지 분석기술을 활용한 중장비/근로자 인식 및 추적 방법 및 시스템 | |
WO2012023766A2 (ko) | 열화상 좌표를 이용한 보안용 카메라 추적 감시 시스템 및 방법 | |
CN110837784A (zh) | 一种基于人体头部特征的考场偷窥作弊检测系统 | |
CN113052876B (zh) | 一种基于深度学习的视频接力跟踪方法及系统 | |
CN108731587A (zh) | 一种基于视觉的无人机动态目标跟踪与定位方法 | |
CN112560741A (zh) | 一种基于人体关键点的安全穿戴检测方法 | |
CN109981943A (zh) | 摄像设备、图像处理设备、控制方法和存储介质 | |
CN110334701B (zh) | 数字孪生环境下基于深度学习和多目视觉的数据采集方法 | |
CN109583373B (zh) | 一种行人重识别实现方法 | |
Zhao et al. | Real-time head orientation estimation using neural networks | |
CN102819847A (zh) | 基于ptz移动摄像头的运动轨迹提取方法 | |
CN109886995B (zh) | 一种复杂环境下多目标跟踪方法 | |
CN110619276B (zh) | 基于无人机移动监控的异常及暴力检测系统和方法 | |
CN111242025A (zh) | 一种基于yolo的动作实时监测方法 | |
CN112307912A (zh) | 一种基于摄像头确定人员轨迹的方法及系统 | |
CN114612823A (zh) | 一种面向实验室安全管理的人员行为监测方法 | |
CN107547865A (zh) | 跨区域人体视频目标跟踪智能监控方法 | |
CN114359976A (zh) | 一种基于人物识别的智能安防方法与装置 | |
WO2021248564A1 (zh) | 一种全景大数据应用监测管控系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20210518 Address after: No.18 Chuanghui street, Changhe street, Binjiang District, Hangzhou City, Zhejiang Province Patentee after: BUAA HANGZHOU INNOVATION INSTITUTE Address before: 100191 No. 37, Haidian District, Beijing, Xueyuan Road Patentee before: BEIHANG University |
|
TR01 | Transfer of patent right |