CN112800828A - 地面栅格占有概率目标轨迹方法 - Google Patents

地面栅格占有概率目标轨迹方法 Download PDF

Info

Publication number
CN112800828A
CN112800828A CN202011510791.4A CN202011510791A CN112800828A CN 112800828 A CN112800828 A CN 112800828A CN 202011510791 A CN202011510791 A CN 202011510791A CN 112800828 A CN112800828 A CN 112800828A
Authority
CN
China
Prior art keywords
target
camera
image
segmentation
ground
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011510791.4A
Other languages
English (en)
Other versions
CN112800828B (zh
Inventor
潘路
陈涛
赵文娟
段昶
杨卓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lingbayi Electronic Group Co ltd
Original Assignee
Lingbayi Electronic Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lingbayi Electronic Group Co ltd filed Critical Lingbayi Electronic Group Co ltd
Priority to CN202011510791.4A priority Critical patent/CN112800828B/zh
Publication of CN112800828A publication Critical patent/CN112800828A/zh
Application granted granted Critical
Publication of CN112800828B publication Critical patent/CN112800828B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开的一种地面栅格占有概率目标轨迹方法，属于图像处理技术领域。本发明通过下述技术方案实现：多PTZ相机目标定位模块根据目标单应性矩阵在图像中目标投影矩形坐标和当前图像的分割轮廓结果进行匹配计算，计算每一个目标投影矩形与目标分割轮廓结果之间的相对熵，相对熵最小时目标所在地面栅格的占有概率最大，即为目标所在位置进而转换为场景实际位置；地平面轨迹生成模块完成多PTZ相机图像序列中每一帧图像多PTZ相机目标定位后，采用卡尔曼滤波器将相机每一帧定位结果在场景地平面下生成轨迹，得到目标在场景地平面下的运动轨迹。

Description

地面栅格占有概率目标轨迹方法
技术领域
本发明属于图像处理技术领域，特别涉及一种基于多PTZ相机的地面栅格占有概率目标轨迹方法，用于多PTZ相机在相机具有转动和调焦需求下的目标定位以及运动轨迹。
背景技术
随着视频监控技术的发展，监控系统中相头的个数和监控范围的逐步增加，是的相头安装，相机标定，测量以及视频监控的分析工作劳动强度加大。另外，随着监控场景的复杂和多变，传统单相机的目标定位和跟踪方法在实际应用中面临着巨大的挑战。然而在使用单相机法对运动目标定位时，如果运动目标出现遮挡，会使得目标定位以及跟踪信息丢失，导致后续决策错判。使用单相机跟踪方法在目标之间存在遮挡情况下效果会严重受损，在遮挡情况下如果模型不能及时更新，就会存在定位失败甚至跟踪失败。相机协同的视频监控技术已经引起越来越多的关注，基于视觉的定位和跟踪方法已经逐渐从单相机领域过渡到多相机领域，尤其是当监控场景中目标之间出现多遮挡的情况下。在监控系统中，通过多台分布在不同方位的相机合理协作可以有效提高目标定位与跟踪的准确性，特别是在遮挡情况下，多个相机可以提供不同视角的监控目标信息。
多相机监控技术布置多个相机对同一个区域进行监控，这样可使得在该区域中实现对运动目标的精准定位；再者，联合多相机从多个视野获取运动信息可以帮助有效解决目标遮挡问题。与多相机相比，由于单相机定位仅仅依赖于单个视角的有限信息，很难处理遮挡情况下的跟踪问题，因此多相机协同定位和跟踪渐渐走入人们的视野；与单相机视角不同，多相机可以在遮挡情况下提供更多的信息来更好的处理目标空间定位和目标跟踪。
基于地面移动平台的多目标跟踪系统利用移动平台上摄像头的部分外参,构建与视频流对应的地面栅格图。系统将用HOG算法检测目标,并在构建的地面栅格图中计算地面占用, 来跟踪目标。为了保证移动平台下多目标跟踪的鲁棒性,算法可以根据视频序列中消失点变化情况补偿目标运动模型,并与地面栅格图中的目标三维信息相结合。对于SLAM而言，动态障碍物的影响体现在匹配和建图两个部分，采用占据栅格地图，可以减少动态障碍物在建图上的体现，但是在匹配时，当前帧的动态障碍物仍然存在，对匹配影响很大。传统定焦相机定位方法不能满足PTZ相机在较大场景下存在方位角、俯仰角和焦距变化时的目标定位和运动轨迹。
发明内容
本发明的目的是针现有技术存在的不足之处，提供一种基于多PTZ相机的地面栅格占有概率目标轨迹方法，解决多相机定位方法场景下改变相机位姿后的目标定位和传统定焦相机定位方法不能满足PTZ相机在较大场景下存在方位角、俯仰角和焦距变化时的目标定位和运动轨迹问题。
为了达到上述目的，本发明采用如下技术方案：一种地面栅格占有概率目标轨迹方法，其特征在于，包括如下步骤：
基于多PTZ相机的视频数据构建数据管理模块，目标检测分割模块，多PTZ相机目标定位模块和相机轨迹生成模块，PTZ相机采集目标运动视频流，对场景进行初始化图像采集，获得标定点的像素坐标，数据管理模块根据目标在大场景中运动，对PTZ相机进行初始化参数和数据管理，以及PTZ当前初始化状态的方位角、俯仰角和焦距，为PTZ相机输入标定场景图像以及标定点的真实场景坐标；目标检测分割模块对单PTZ相机目标进行检测分割，采用Mask R-CNN方法对相机在每个状态拍摄图像进行目标检测和分割，得到目标的目标轮廓图，完成M个相机拍摄图像的目标检测和分割，同时根据M个相机的单应性矩阵计算得到目标在图像中的目标投影矩形像素坐标，作为后续目标定位的输入；多PTZ相机目标定位模块对多PTZ相机目标定位，根据目标单应性矩阵在图像中目标投影矩形坐标和当前图像的分割轮廓结果进行匹配计算，计算每一个目标投影矩形与目标分割轮廓结果之间的相对熵，计算出目标在地面栅格中每一格的占有概率，将转换占有概率输出为目标在真实场景下的实际位置，完成多PTZ相机图像序列中每一帧图像多PTZ相机目标定位；地平面轨迹生成模块根据相机更新后的参数计算得到当前状态下相机与场景下的单应性矩阵映射，比较当前参数与初始化相机参数，若存在参数变化，则根据变换参数重新计算相机当前状态的单应性矩阵，采用卡尔曼滤波器将相机每一帧定位结果在场景地平面下生成轨迹，得到目标在场景地平面下的轨迹。
本发明同现有技术相比，其有益效果表现在：
本发明基于多PTZ相机的视频数据构建数据管理模块，目标检测分割模块，多PTZ相机目标定位模块和相机轨迹生成模块，PTZ相机采集目标运动视频流，对场景进行初始化图像采集，获得标定点的像素坐标，数据管理模块根据目标在大场景中运动，对PTZ相机进行初始化参数和数据管理，以及PTZ当前初始化状态的方位角、俯仰角和焦距，为PTZ相机输入标定场景图像以及标定点的真实场景坐标；通过多个相机提供不同视角的监控目标信息，利用布在不同方位的各模块与相机合理协作，有效提高了目标定位与跟踪的准确性。
本发明采用Mask R-CNN方法对相机在每个状态拍摄图像进行目标检测和分割，对相机当前拍摄图像进行目标检测和分割，再根据相机当前状态以及初始化参数计算当前相机像素坐标系与实际场景坐标系的单应性矩阵；得到目标的目标轮廓图，完成M个相机拍摄图像的目标检测和分割轮廓结果，同时根据M个相机的单应性矩阵计算得到目标在图像中的目标投影矩形像素坐标，，作为后续目标定位的输入，可以在遮挡情况下提供更多的信息来更好的处理目标空间定位和目标跟踪。
本发明采用多PTZ相机目标定位模块对多PTZ相机目标定位，根据目标单应性矩阵在图像中目标投影矩形坐标和当前图像的分割轮廓结果进行匹配计算，计算每一个目标投影矩形与目标分割轮廓结果之间的相对熵，计算出目标在地面栅格中每一格的占有概率，将转换占有概率输出为目标在真实场景下的实际位置，完成多PTZ相机图像序列中每一帧图像多PTZ相机目标定位；解决了单相机定位仅仅依赖于单个视角的有限信息，很难处理遮挡情况下的跟踪问题。
本发明地平面轨迹生成模块根据相机更新后的参数计算得到当前状态下相机与场景下的单应性矩阵映射，比较当前参数与初始化相机参数，若存在参数变化，则根据变换参数重新计算相机当前状态的单应性矩阵，利用原始图像与各级变换图像之间的状态参数变化，采用卡尔曼滤波器将相机每一帧定位结果在场景地平面下生成轨迹，得到目标在场景下的轨迹，继而形成目标在场景地平面下的运动轨迹，通过计算目标分割轮廓图离散地平面每个位置(地面栅格)目标投影矩阵间的相对熵，相对熵最小值即为目标在栅格中的目标地平面所在位置估计值；最后，再采用卡尔曼滤波器生成目标在场景地平面上的运动轨迹。解决了传统定焦相机定位方法不能满足PTZ相机在较大场景下存在方位角、俯仰角和焦距变化时的目标定位和轨迹生成。
本发明可用于PTZ相机监控视频中目标定位和轨迹生成，PTZ相机需要进行改变位姿场合下的目标定位和运动轨迹。
附图说明
图1是本发明基于多PTZ相机的地面栅格占有概率目标轨迹的流程示意图；
图2是本发明中PTZ相机拍摄图像的原图、目标分割轮廓图和目标定位结果图；
图3是计算目标投影矩形时，目标高度计算的线性比例推导示意图。
参阅1。根据本发明，基于多PTZ相机的视频数据构建数据管理模块，目标检测分割模块，多PTZ相机目标定位模块和目标地平面轨迹生成模块，PTZ相机采集目标运动视频流，对场景进行初始化图像采集，获得标定点的像素坐标和实际场景坐标，数据管理模块根据目标在规定场景中运动，对PTZ相机进行初始化参数和数据管理，以及PTZ当前初始化状态的方位角、俯仰角和焦距，为PTZ相机输入标定场景图像以及标定点的真实场景坐标；同时每次相机转动后还需要对PTZ相机的参数和图像进行存储管理，需要保证多PTZ相机的参数和图像在时间上需要对每一组数据进行时间配准以数据存储；目标检测分割模块对单 PTZ相机目标进行检测分割，采用全卷积特征Mask R-CNN网络算法图像实例分割来训练数据集的方法对相机在每个状态拍摄图像进行目标检测和分割，得到目标的目标轮廓图，完成M个相机拍摄图像的目标检测和分割，同时根据M个相机的单应性矩阵计算得到目标在图像中目标投影矩形像素坐标，作为后续目标定位的输入；多PTZ相机目标定位模块对场景中目标定位，根据相机单应性矩阵在图像中目标投影矩形坐标和当前图像的分割轮廓结果进行匹配计算，计算目标投影矩形与目标分割轮廓结果之间相对熵的最小值，计算出目标在地面离散栅格中每一格的占有概率，将转换占有概率输出为目标在真实场景下的计算位置，完成多PTZ相机图像序列中每一帧图像多PTZ相机目标定位；地平面轨迹生成模块循环完成多PTZ相机在场景下视频序列中每一帧图像的多相机PTZ定位，计算得到目标在真实场景下的一系列位置坐标；，再采用卡尔曼滤波器将相机每一帧定位结果在场景地平面下生成轨迹，得到目标在场景地平面下的轨迹，测试实验轨迹生成结果。全卷积特征Mask R-CNN 网络算法输入一幅处理的图片进行对应的预处理操作或者预处理后的图片，将其输入到一个预训练好的神经网络中(ResNeXt等)获得对应的feature map；对图片中的目标进行准确的分割。通过卷积模快和去卷积模块对图像进行卷积和池化，使其feature map的大小不断减小；然后进行反卷积操作，即进行插值操作，不断的增大其feature map，最后对每一个像素值进行分类。从而实现对输入图像的准确分割。
目标在实际场景中运动，PTZ相机采集目标运动视频流，同时记录PTZ相机每次采集视频流的状态参数，即每次相机的方位、俯仰和焦距；
目标检测分割模块获取每个PTZ相机的视频流，需要对每一组视频流进行图像裁帧，采用基于神经网络的目标识别和分割方法完成所有图像中目标的检测和分割，作为后续PTZ相机目标定位的输入；
目标检测分割模块基于PTZ相机状态变换得到相机映射关系计算目标投影矩形，结合相机图像的目标检测分割轮廓结果进行地面栅格占有概率计算，得到目标在场景中的位置。
目标在实际场景中运动，PTZ相机采集目标运动视频流，同时记录PTZ相机每次采集视频流的状态参数，即每次相机的方位、俯仰和焦距；数据管理模块更新当前相机状态单应性矩阵后，根据PTZ相机对应单应性矩阵完成地面栅格离散，并计算得到目标投影矩形，作为 PTZ相机定位的输入；目标在实际场景中运动，PTZ相机采集目标运动视频流，目标检测分割模块采用基于神经网络的目标识别和分割方法，完成M个相机在当前状态下拍摄图像中目标的识别和分割，根据第t帧M个相机的图像检测结果的集合Bt，采用地面栅格模型(Occupancy map)定位计算地面栅格占有概率地面栅格占有概率
Figure RE-GDA0002977185820000051
Figure RE-GDA0002977185820000052
其中，P表示在第k个位置时存在目标的概率。X表示目标在地面栅格上的存在状态，取值为0和1,0表示不存在目标，1表示存在目标，k表示地面栅格的标号，M 表示相机的个数。
而地面栅格模型则通过[FPPF(Fixed Point Probability Field)程序遗传算法来拟合峰形，模板文件求解。该方法本质是求解两个概率相对熵取得最小值时的参数。相对熵(relative entropy)，又被称为Kullback-Leibler散度(Kullback-Leiblerdivergence)或信息散度 (information divergence)，是两个概率分布(probabilitydistribution)间差异的非对称性度量，相对熵等价于两个概率分布的信息熵(Shannonentropy)的差值。
地面栅格算法中定义为表示目标分割轮廓结果Q与真实后验概率分布P(·|B)的Kullback-Leibler(相对熵)取的最小值，即表示为：
Figure RE-GDA0002977185820000053
求解极小值点：
Figure RE-GDA0002977185820000054
根据表示目标的先验概率的
Figure RE-GDA0002977185820000055
解得：
Figure RE-GDA0002977185820000056
其中,K、L表示相对熵，表示KL相对熵最小值时目标的占有概率，qK表示目标在地面栅格的占有概率，Xk表示目标在地面栅格的状态，值为0或1,0表示不存在目标，1表示存在目标， EQ表示在第K个位置存在目标时概率的期望值，
Ψ表示表示计算A和B之间的图像距离，A表示目标投影矩形，B表示目标分割轮廓结果，εk表示目标处于第k个位置时的先验概率(prior problity),即P(Xk＝1)的概率。
表达式中Ψ(Bc,Ac)定义为两图像间的伪距离，定义
Figure RE-GDA0002977185820000059
则计算表达式为：
Figure RE-GDA0002977185820000057
由于计算EQ(Ψ(Bc,Ac)|xk＝1)复杂，由于
Figure RE-GDA0002977185820000058
可以将其代替为：
Figure RE-GDA0002977185820000061
将表达式变为表示KL相对熵最小值时目标的占有概率：
Figure RE-GDA0002977185820000062
Figure RE-GDA0002977185820000063
表示在第m个相机，第t帧图像，第k个位置上放置一个目标投影矩形，目标投影矩形框由实际目标高度为170cm，宽度为50cm计算得到。
目标检测分割模块完成相机当前状态下的理想目标坐标计算和拍摄图像的目标识别和分割，若都完成，则根据所得到的理想目标在根据单应性矩阵在图像中目标投影矩形和当前图像的分割轮廓结果进行匹配计算，计算每一个目标投影矩形与目标分割轮廓结果之间的相对熵。
数据管理模块将当前状态相机参数与初始化参数比较，根据相机参数改变重新计算，具体推导如下：
数据管理模块采集同时获得标定点的像素坐标，根据实际地面点X，利用6组标定点H0求出像素坐标点X＝H0X,得到表示相机转动前后图像之间的映射关系H计算公式为： H＝K2·R·K1 -1，大致的推导过程如下：
s1·p1＝K1·P1
s2·p2＝K2·P2
P2＝R·P1+t
其中，K表示相机内参矩阵，R和t是t0到t1时刻的相机旋转和平移,p1,p2代表同一个物体在t0,t1时刻分别在图像上的坐标，P1,P2分别代表t0,t1时刻，地面物体在相机坐标系下的 3D坐标点，(此处没有进行平移，所以
Figure RE-GDA0002977185820000064
)。
由于相机成像是从世界坐标系下的坐标点投影到像素坐标系，是从3D到2D的投影， S代表的就是投影过程的比例缩放，忽略S可以简写成如下：：
Figure RE-GDA0002977185820000065
进而可以推出p1,p2之间的关系如下：
Figure RE-GDA0002977185820000066
其中，Kt0为相机内参矩阵为:
Figure RE-GDA0002977185820000071
如果t1时刻相机旋转后焦距f变成了原来的Δ倍，那么：相机焦距变化Δ倍后相机的内参矩阵
Figure RE-GDA0002977185820000072
如果t1时刻相机旋转角度θ后，相机水平旋转角度θ后的旋转矩阵Rt1，水平旋转理解就是沿着Y轴旋转，旋转矩阵为
Figure RE-GDA0002977185820000073
绕X和Z轴旋转以此类推，所以相机转动前后图像之间的映射关系H计算为：关于相机旋转前后图像中，地面同一点X1在图像中的像素点表示为：
Figure RE-GDA0002977185820000074
对上式进行变形可以得到实际地面坐标X1＝H1 -1x1＝H2 -1x2
其中，x1,x2分别为相机旋转前后图像中的像素点坐标，H1,H2分别是相机旋转前后地面与图像之间的单应性矩阵。
根据两图像间的单应p2＝Hp1，类比得到：x2＝H2H1 -1x1＝Hx1，可得到：
H2H1 -1x1＝Hx1、
H2＝HH1、
Figure RE-GDA0002977185820000075
数据管理模块根据相机更新后的参数计算得到当前状态下相机与场景下的单应性矩阵映射，将实际运动目标按照线性比例关系计算其在图像平面中的坐标，并将矩形框的左上、右下坐标作为输入参数，根据PTZ相机对应单应性矩阵求解地面栅格离散目标投影矩形。
图2目标分割轮廓图(中)和定位结果图(下)。图3所示为该方向上的俯视图，其中黑色线、黄色线分别为图像平面中的u、v轴。图3中，A点的实际坐标为(x1,y1)，图像坐标为(X1,Y1)，B点的实际坐标为(x2,y1)，图像坐标为(X2,Y1)；AB线段表示A，B两点的图像距离，AC为平行于图像u轴的平行线，表示图像中A，B两点在u轴上的垂直距离；BC是平行于图像v轴的平行线，表示A，B两点在v轴上的垂直距离；则：
Δx＝x1-x2
Δu＝u1-u2
Δv＝v1-v2
Figure RE-GDA0002977185820000081
Figure RE-GDA0002977185820000082
其中：Δx为实际地面的X方向上的距离差；Δu，Δv为图像中在u、v方向上两点的垂直距离差，即为图中AC和BC的长度；则ΔX是图像中两点的像素距离差；h为实际人的高度(取170cm)；H为根据线性比例计算得到的图像中人的像素高度。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (10)

1.一种地面栅格占有概率目标轨迹方法，其特征在于，包括如下步骤：
基于多PTZ相机的视频数据构建数据处理模块，目标检测分割模块，多PTZ相机目标定位模块和相机轨迹生成模块，PTZ相机采集目标运动视频流，对场景进行初始化图像采集，获得标定点的像素坐标，数据管理模块根据目标在大场景中运动，对PTZ相机进行初始化参数和数据管理，以及PTZ当前初始化状态的方位角、俯仰角和焦距，为PTZ相机输入标定场景图像以及标定点的真实场景坐标，以及每次相机转动后还需要对PTZ相机的参数和图像进行存储管理，需要保证多PTZ相机的参数和图像在时间上需要对每一组数据进行时间、空间配准；目标检测分割模块对单PTZ相机目标进行检测分割，采用全卷积特征Mask R-CNN网络粒度检测算法方法对相机在每个状态拍摄图像进行目标检测和分割，得到目标的目标轮廓图，完成M个相机拍摄图像的目标检测和分割，同时根据M个相机的单应性矩阵计算得到目标在图像中的目标投影矩形像素坐标，作为后续目标定位的输入；多PTZ相机目标定位模块对多PTZ相机目标定位，目标定位模块采用地面栅格算法根据目标单应性矩阵在图像中目标投影矩形坐标和当前图像的分割轮廓结果进行匹配计算，计算每一个目标投影矩形与目标分割轮廓结果之间的相对熵，计算出目标在地面栅格中每一格的占有概率，将转换占有概率最大栅格位置输出为目标在真实场景下的实际位置；地平面轨迹生成模块完成多PTZ相机图像序列中每一帧图像多PTZ相机目标定位，采用卡尔曼滤波器将相机每一帧定位结果在场景地平面下生成轨迹，得到目标在场景地平面下的轨迹。
2.如权利要求1所述的地面栅格占有概率目标轨迹方法，其特征在于：目标检测分割模块获取每个PTZ相机的视频流，对每一组视频流进行图像裁帧，采用基于神经网络的目标识别和分割方法完成所有图像中目标的检测和分割，作为后续PTZ相机目标定位的输入。
3.如权利要求1所述的地面栅格占有概率目标轨迹方法，其特征在于：目标检测分割模块基于PTZ相机状态变换得到相机映射关系计算目标投影矩形，结合相机图像的目标检测分割轮廓结果进行地面栅格占有概率计算，得到目标在场景中的位置。
4.如权利要求1所述的地面栅格占有概率目标轨迹方法，其特征在于：目标检测分割模块采用基于神经网络的目标识别和分割方法，完成M个相机在当前状态下拍摄图像中目标的识别和分割，根据第t帧M个相机的图像检测结果的集合Bt，采用地面栅格模型(Occupancy map)定位计算地面栅格占有概率
Figure FDA0002846346770000011
其中，P表示目标占有概率，X表示目标在地面栅格上的存在状态，取值为0和1；0表示不存在目标，1表示存在目标，k表示地面栅格的标号，M表示相机的个数。
5.如权利要求1所述的地面栅格占有概率目标轨迹方法，其特征在于：地面栅格模型通过FPPF(Fixed Point Probability Field)程序遗传算法来拟合峰形，相对熵求解两个概率相对熵取得最小值时的参数。
6.如权利要求1所述的地面栅格占有概率目标轨迹方法，其特征在于：目标检测分割模块完成相机当前状态下的理想目标坐标计算和拍摄图像的目标识别和分割，若都完成，则根据所得到的理想目标在根据单应性矩阵在图像中目标投影矩形和当前图像的分割轮廓结果进行匹配计算，计算每一个目标投影矩形与目标分割轮廓结果之间的相对熵。
7.如权利要求1所述的地面栅格占有概率目标轨迹方法，其特征在于：数据管理模块采集同时获得标定点的像素坐标，根据实际地面点X，利用6组标定点H0求出像素坐标点X＝H0X,得到表示相机转动前后图像之间的映射关系H计算公式：
Figure FDA0002846346770000021
其中，K表示相机内参矩阵，Rt是t0到t1时刻的相机旋转和平移。
8.如权利要求1所述的地面栅格占有概率目标轨迹方法，其特征在于t1时刻相机旋转角度θ后，相机水平旋转角度θ后的旋转矩阵Rt1，水平旋转沿着Y轴旋转，旋转矩阵为
Figure FDA0002846346770000022
绕X和Z轴旋转以此类推。
9.如权利要求8所述的地面栅格占有概率目标轨迹方法，其特征在于：相机转动前后图像之间的映射关系H计算为：关于相机旋转前后图像中，地面同一点X1在图像中的像素点表示为：
Figure FDA0002846346770000023
对上式进行变形可以得到：实际地面坐标X1＝H1 -1x1＝H2 -1x2
其中，x1,x2分别为相机旋转前后图像中的像素点坐标，H1,H2分别是相机旋转前后地面与图像之间的单应性矩阵。
10.如权利要求1所述的地面栅格占有概率目标轨迹方法，其特征在于：数据管理模块根据相机更新后的参数计算得到当前状态下相机与场景下的单应性矩阵映射，将实际运动目标按照线性比例关系计算其在图像平面中的坐标，并将矩形框的左上、右下坐标作为输入参数，根据PTZ相机对应单应性矩阵求解地面栅格离散目标投影矩形，快速计算地面栅格占有概率中的输入矩形框，计算得到目标投影矩形。
CN202011510791.4A 2020-12-18 2020-12-18 地面栅格占有概率目标轨迹方法 Active CN112800828B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011510791.4A CN112800828B (zh) 2020-12-18 2020-12-18 地面栅格占有概率目标轨迹方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011510791.4A CN112800828B (zh) 2020-12-18 2020-12-18 地面栅格占有概率目标轨迹方法

Publications (2)

Publication Number Publication Date
CN112800828A true CN112800828A (zh) 2021-05-14
CN112800828B CN112800828B (zh) 2024-07-26

Family

ID=75807049

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011510791.4A Active CN112800828B (zh) 2020-12-18 2020-12-18 地面栅格占有概率目标轨迹方法

Country Status (1)

Country Link
CN (1) CN112800828B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113487671A (zh) * 2021-06-07 2021-10-08 电子科技大学长三角研究院(衢州) 一种基于马尔科夫链的多ptz相机协同调度方法

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101144716A (zh) * 2007-10-15 2008-03-19 清华大学 一种多视角运动目标检测、定位与对应方法
WO2009101366A2 (fr) * 2008-02-12 2009-08-20 Cliris Procede de suivi d'individus dans un champ de vision d'une camera
US20100208941A1 (en) * 2009-02-13 2010-08-19 Broaddus Christopher P Active coordinated tracking for multi-camera systems
WO2012151777A1 (zh) * 2011-05-09 2012-11-15 上海芯启电子科技有限公司 多目标跟踪特写拍摄视频监控系统
US20140049600A1 (en) * 2012-08-16 2014-02-20 Nice-Systems Ltd. Method and system for improving surveillance of ptz cameras
CN104376577A (zh) * 2014-10-21 2015-02-25 南京邮电大学 基于粒子滤波的多摄像头多目标跟踪算法
CN104751486A (zh) * 2015-03-20 2015-07-01 安徽大学 一种多ptz相机的运动目标接力跟踪算法
CN106940704A (zh) * 2016-11-25 2017-07-11 北京智能管家科技有限公司 一种基于栅格地图的定位方法及装置
CN107808386A (zh) * 2017-09-26 2018-03-16 上海大学 一种基于图像语义分割的海天线检测方法
CN109934844A (zh) * 2019-01-28 2019-06-25 中国人民解放军战略支援部队信息工程大学 一种融合地理空间信息的多目标跟踪方法及系统
CN110378931A (zh) * 2019-07-10 2019-10-25 成都数之联科技有限公司 一种基于多摄像头的行人目标移动轨迹获取方法及系统
CN110990784A (zh) * 2019-11-19 2020-04-10 湖北中烟工业有限责任公司 一种基于梯度提升回归树的烟支通风率预测方法
CN111314173A (zh) * 2020-01-20 2020-06-19 腾讯科技（深圳）有限公司 监控信息异常的定位方法、装置、计算机设备及存储介质
CN111476286A (zh) * 2020-04-02 2020-07-31 哈尔滨工程大学 一种移动机器人构建地图方法
CN111753519A (zh) * 2020-06-29 2020-10-09 鼎富智能科技有限公司 一种模型训练和识别方法、装置、电子设备及存储介质
CN111798475A (zh) * 2020-05-29 2020-10-20 浙江工业大学 一种基于点云深度学习的室内环境3d语义地图构建方法
CN112056993A (zh) * 2020-09-07 2020-12-11 上海高仙自动化科技发展有限公司 一种清洁方法、装置、电子设备及计算机可读存储介质

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101144716A (zh) * 2007-10-15 2008-03-19 清华大学 一种多视角运动目标检测、定位与对应方法
WO2009101366A2 (fr) * 2008-02-12 2009-08-20 Cliris Procede de suivi d'individus dans un champ de vision d'une camera
US20100208941A1 (en) * 2009-02-13 2010-08-19 Broaddus Christopher P Active coordinated tracking for multi-camera systems
WO2012151777A1 (zh) * 2011-05-09 2012-11-15 上海芯启电子科技有限公司 多目标跟踪特写拍摄视频监控系统
US20140049600A1 (en) * 2012-08-16 2014-02-20 Nice-Systems Ltd. Method and system for improving surveillance of ptz cameras
CN104376577A (zh) * 2014-10-21 2015-02-25 南京邮电大学 基于粒子滤波的多摄像头多目标跟踪算法
CN104751486A (zh) * 2015-03-20 2015-07-01 安徽大学 一种多ptz相机的运动目标接力跟踪算法
CN106940704A (zh) * 2016-11-25 2017-07-11 北京智能管家科技有限公司 一种基于栅格地图的定位方法及装置
CN107808386A (zh) * 2017-09-26 2018-03-16 上海大学 一种基于图像语义分割的海天线检测方法
CN109934844A (zh) * 2019-01-28 2019-06-25 中国人民解放军战略支援部队信息工程大学 一种融合地理空间信息的多目标跟踪方法及系统
CN110378931A (zh) * 2019-07-10 2019-10-25 成都数之联科技有限公司 一种基于多摄像头的行人目标移动轨迹获取方法及系统
CN110990784A (zh) * 2019-11-19 2020-04-10 湖北中烟工业有限责任公司 一种基于梯度提升回归树的烟支通风率预测方法
CN111314173A (zh) * 2020-01-20 2020-06-19 腾讯科技（深圳）有限公司 监控信息异常的定位方法、装置、计算机设备及存储介质
CN111476286A (zh) * 2020-04-02 2020-07-31 哈尔滨工程大学 一种移动机器人构建地图方法
CN111798475A (zh) * 2020-05-29 2020-10-20 浙江工业大学 一种基于点云深度学习的室内环境3d语义地图构建方法
CN111753519A (zh) * 2020-06-29 2020-10-09 鼎富智能科技有限公司 一种模型训练和识别方法、装置、电子设备及存储介质
CN112056993A (zh) * 2020-09-07 2020-12-11 上海高仙自动化科技发展有限公司 一种清洁方法、装置、电子设备及计算机可读存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113487671A (zh) * 2021-06-07 2021-10-08 电子科技大学长三角研究院(衢州) 一种基于马尔科夫链的多ptz相机协同调度方法
CN113487671B (zh) * 2021-06-07 2023-09-22 电子科技大学长三角研究院(衢州) 一种基于马尔科夫链的多ptz相机协同调度方法

Also Published As

Publication number Publication date
CN112800828B (zh) 2024-07-26

Similar Documents

Publication Publication Date Title
CN111462200B (zh) 一种跨视频行人定位追踪方法、系统及设备
CN108419014B (zh) 利用全景摄像机和多台抓拍摄像机联动抓拍人脸的方法
JP6095018B2 (ja) 移動オブジェクトの検出及び追跡
US9286678B2 (en) Camera calibration using feature identification
Carr et al. Monocular object detection using 3d geometric primitives
CN107843251B (zh) 移动机器人的位姿估计方法
US9191650B2 (en) Video object localization method using multiple cameras
CN110827321B (zh) 一种基于三维信息的多相机协同的主动目标跟踪方法
CN107633537B (zh) 一种基于投影的摄像头标定方法
Xu et al. Dynamic obstacle detection based on panoramic vision in the moving state of agricultural machineries
Han et al. Mmptrack: Large-scale densely annotated multi-camera multiple people tracking benchmark
CN112541938A (zh) 一种行人速度测量方法、系统、介质及计算设备
CN112800828B (zh) 地面栅格占有概率目标轨迹方法
Lee A simple calibration approach to single view height estimation
CN102005052A (zh) 基于核密度估计的遮挡人体跟踪方法
Fan et al. Human-m3: A multi-view multi-modal dataset for 3d human pose estimation in outdoor scenes
CN115797405A (zh) 一种基于车辆轴距的多镜头自适应跟踪方法
CN115880643A (zh) 一种基于目标检测算法的社交距离监测方法和装置
CN115984768A (zh) 一种基于固定型单目摄像头的多目标行人实时检测定位方法
Jinze et al. 3D laser point cloud clustering method based on image information constraints
CN114548224A (zh) 一种用于强交互人体运动的2d人体位姿生成方法及装置
Li et al. Pedestrian detection algorithm based on video sequences and laser point cloud
Alahi et al. A sparsity constrained inverse problem to locate people in a network of cameras
Lin et al. E2PNet: event to point cloud registration with spatio-temporal representation learning
Ferreira et al. Human detection and tracking using a Kinect camera for an autonomous service robot

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant