CN113297950B - 动态目标检测方法 - Google Patents

动态目标检测方法 Download PDF

Info

Publication number
CN113297950B
CN113297950B CN202110551586.0A CN202110551586A CN113297950B CN 113297950 B CN113297950 B CN 113297950B CN 202110551586 A CN202110551586 A CN 202110551586A CN 113297950 B CN113297950 B CN 113297950B
Authority
CN
China
Prior art keywords
target
camera
dynamic
area
video frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN202110551586.0A
Other languages
English (en)
Other versions
CN113297950A (zh
Inventor
罗霄月
王艳慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Capital Normal University
Original Assignee
Capital Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Capital Normal University filed Critical Capital Normal University
Priority to CN202110551586.0A priority Critical patent/CN113297950B/zh
Publication of CN113297950A publication Critical patent/CN113297950A/zh
Application granted granted Critical
Publication of CN113297950B publication Critical patent/CN113297950B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/66Analysis of geometric attributes of image moments or centre of gravity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种动态目标检测方法,包括:结合摄像机视频帧图像对应的遥感影像底图,选取多个同名点,解算摄像机的单应矩阵、视域;根据单应矩阵计算任意像素点位置地理坐标,确定在地理场景下的实际外围轮廓;根据单应矩阵的逆矩阵,将实际外围轮廓的角点地理坐标转化为图像坐标,确定任意像素点位置的目标阈值范围;遍历视域的每个像素点,确定所有像素点位置的目标阈值范围;对摄像机视频帧图像进行动态目标检测,将检测后的每一个动态目标视为一个目标动态块,获取目标动态块集合,计算任意目标动态块的面积、以及质心所对应像素点位置的目标阈值范围,进行自适应阈值的目标检测。该方法实现高空摄像机下动态目标高精度检测。

Description

动态目标检测方法
技术领域
本发明涉及一种动态目标检测方法,属于地理信息技术领域。
背景技术
当前,监控视频已经成为社会与交通安全监测的主流工具,结合地理信息技术挖掘视频中隐含的信息也成为了研究的热点,而动态目标检测是视频信息挖掘和行为理解的基础。但由于监控摄像机的位置、高度和视域存在差异,目标检测阈值的设定和精度也会存在差异。
由于高空摄像机监测环境复杂多样,致使目标检测精度降低、目标检测受外界环境干扰较大,且摄像机越远、视频视域范围越大,受到周围环境干扰更为明显,而利用传统目标检测算法未考虑摄像机成像机制引发目标尺寸的在地理场景中的映射畸变,通过统一阈值实现噪声的过滤;而根据摄像机成像的规律可知,目标在图像中成像呈现近大远小的特点,在真实场景中目标的大小不会发生改变。因此在进行目标检测时,需考虑目标在地理场景下的大小以设定阈值过滤条件。随着目标检测技术的进一步发展,目标检测的精度进一步提高,但仅仅考虑目标在图像上的线性或非线性特征,未考虑地理场景下不同目标阈值的差异性。
发明内容
针对现有目标检测算法面向高空摄像机受外界环境干扰较大的问题,本发明提供了一种动态目标检测方法,基于摄像机的原理实现阈值的计算,基于自适应阈值实现高空摄像机下动态目标高精度检测。
为了实现上述目的,本发明提供了一种动态目标检测方法,包括:
结合摄像机视频帧图像对应的遥感影像底图,选取多个同名点,解算摄像机的单应矩阵、以及视域;
在所述摄像机视域范围内,根据所述单应矩阵计算摄像机视频帧图像中的任意像素点位置地理坐标,确定在地理场景下的实际外围轮廓,获取所述实际外围轮廓的角点地理坐标;
根据所述单应矩阵的逆矩阵,将所述实际外围轮廓的角点地理坐标转化为图像坐标,确定任意像素点位置的目标最小阈值,并设定目标面积缓存变化区作为任意像素点位置的目标最大阈值,确定任意像素点位置的目标阈值范围;
遍历摄像机视频帧图像中每个像素点,确定摄像机视频帧图像中所有像素点位置的目标阈值范围;
对摄像机视频帧图像进行动态目标检测,将检测后的每一个动态目标视为一个目标动态块,获取目标动态块集合,计算任意目标动态块的面积、以及质心所对应像素点位置的目标阈值范围,通过判断目标动态块的面积与目标阈值范围的关系,进行自适应阈值的目标检测。
可选的,所述结合摄像机视频帧图像对应的遥感影像底图,选取多个同名点,解算摄像机的单应矩阵、以及视域的具体步骤包括:
在摄像机视频帧图像上具有标志性的位置选取图像坐标点q(x,y),在对应的遥感影像底图中对应位置选择地理坐标点Q(X,Y),选择特征明显且在视频帧上均匀分布多个同名点;
解算摄像机的单应矩阵H,即
Figure BDA0003075666650000021
其转换公式为:
Figure BDA0003075666650000031
其中,λ表示特征值;
根据单应矩阵H计算每个像素点位置地理坐标以及摄像机的视域V。
可选的,选择特征明显且在视频帧上均匀分布至少四个同名点。
可选的,所述遍历摄像机视频帧图像中每个像素点,确定摄像机视频帧图像中所有像素点位置的目标阈值范围的步骤具体包括:
在摄像机视域范围内,根据单应矩阵H计算摄像机视频帧图像中的任意像素点(Picx,Picy)位置对应的地理坐标(GeoX,GeoY),确定在地理场景下的实际外围轮廓,获取实际外围轮廓的角点地理坐标,计算每个像素点目标映射于地理场景下的面积S;
根据单应矩阵H的逆矩阵H-1,将实际外围轮廓的角点地理坐标转化为图像坐标,计算目标在视频帧图像上的面积S′,确定任意像素点位置的目标最小阈值Min;
设定目标面积缓存变化区2S′作为目标最大阈值Max;
遍历摄像机视频帧图像中每个像素点,得到视域范围内每一个像素点构成的阈值信息集合:
Rn={(Picx,Picy),(GeoX,GeoY),S,S',2S'}(n=1,2,...,k)。
可选的,所述对摄像机视频帧图像进行动态目标检测,将检测后的每一个动态目标视为一个目标动态块,获取目标动态块集合,计算任意目标动态块的面积、以及质心所对应像素点位置的目标阈值范围,通过判断目标动态块的面积与目标阈值范围的关系,进行自适应阈值的目标检测的步骤具体包括:
对摄像机视频帧图像进行动态目标检测,将检测后的每一个动态目标视为一个目标动态块,每一个动态块包含宽(W)、高(H)、质心坐标(Bx,By)、以及经过单应矩阵求解后的地理坐标(BX,BY);
则所有目标动态块构成的目标动态块集合为
BLOBi={W,H,(Bx,By),(BX,BY)}(i=1,2,...,n);
计算任意目标动态块的面积、以及质心所对应像素点位置的目标阈值范围;
判断目标动态块的面积与目标阈值范围的关系,若目标动态块的面积在目标阈值范围内,则作为目标检测的有效结果,否则作为外界环境干扰进行过滤。
本发明的方法与现有技术相比,具有以下技术效果:
本发明提供了一种基于图像空间阈值分异性的动态目标检测方法,通过结合摄像机视频帧图像对应的遥感影像底图,选取多个同名点,解算摄像机的单应矩阵、视域;根据单应矩阵计算任意像素点位置地理坐标,确定在地理场景下的实际外围轮廓;根据单应矩阵的逆矩阵,将实际外围轮廓的角点地理坐标转化为图像坐标,确定任意像素点位置的目标阈值范围;遍历视域的每个像素点,确定所有像素点位置的目标阈值范围;对摄像机视频帧图像进行动态目标检测,将检测后的每一个动态目标视为一个目标动态块,获取目标动态块集合,计算任意目标动态块的面积、以及质心所对应像素点位置的目标阈值范围,进行自适应阈值的目标检测。该方法充分考虑地理场景下不同目标阈值的差异性,引入目标在地理场景下真实尺寸的约束条件,解决了高空摄像机目标检测精度低、视域覆盖范围远致使检测结果受环境干扰较大的问题,基于摄像机的原理实现阈值的计算,基于自适应阈值通过对视频目标检测的结果在考虑图像区间分异性进行噪声过滤,实现高空摄像机下动态目标高精度检测。
本发明的动态目标检测方法方法面向高空摄像机下目标检测,根据摄像机的成像特点,将GIS方法融入到目标检测方法中,满足高空摄像机自适应阈值的目标检测。同时,针对当前目标检测进行阈值设定时,未考虑摄像机成像引起的目标投影尺寸的变化,难以实现对不同像素点位置阈值的动态设定的问题,设计一种基于摄像机成像规律的阈值计算方法,为目标检测奠定基础。并针对当前目标检测进行外界环境干扰过滤时,通过设定统一阈值或未考虑不同目标类型的阈值设定方法,难以实现目标高精度检测的问题,设计一种基于自适应阈值的动态目标检测方法定,以期实现对不同目标阈值设定和自适应阈值的目标检测。
附图说明
图1是本发明动态目标检测方法的流程框图;
图2是同一目标尺寸差异的示意图;
图3是目标映射真实高度计算示意图;
图4是目标映射真实宽度计算示意图;
图5是目标映射地理坐标计算示意图;
图6是阈值计算示意图;
图7是目标检测过程示意图。
图8是自适应阈值目标检测示意图;
具体实施方式
下面结合说明书附图对本发明的具体实施方式作进一步详细的说明。
面向高空摄像机下动态目标检测的需求,针对现有目标检测算法面向高空摄像机受外界环境干扰较大的问题,本发明提供一种顾及图像空间阈值分异性的动态目标检测方法,如图1所示,整体技术方案为:
一种动态目标检测方法:包括:
结合摄像机视频帧图像对应的遥感影像底图,选取多个同名点,解算摄像机的单应矩阵、以及视域;
在所述摄像机视域范围内,根据所述单应矩阵计算摄像机视频帧图像中的任意像素点位置地理坐标,确定在地理场景下的实际外围轮廓,获取所述实际外围轮廓的角点地理坐标;
根据所述单应矩阵的逆矩阵,将所述实际外围轮廓的角点地理坐标转化为图像坐标,确定任意像素点位置的目标最小阈值,并设定目标面积缓存变化区作为任意像素点位置的目标最大阈值,确定任意像素点位置的目标阈值范围;
遍历摄像机视频帧图像中每个像素点,确定摄像机视频帧图像中所有像素点位置的目标阈值范围;
对摄像机视频帧图像进行动态目标检测,将检测后的每一个动态目标视为一个目标动态块,获取目标动态块集合,计算任意目标动态块的面积、以及质心所对应像素点位置的目标阈值范围,随着目标在视频帧上的移动,目标动态块的面积不断变化,目标阈值范围也在不断变化,通过判断目标动态块的面积与目标阈值范围的关系,实现目标自适应阈值的检测。
本实施例的顾及图像空间阈值分异性的动态目标检测方法,基于摄像机成像原理,以二维地图空间为载体,获取目标外围四边形轮廓在地图上投影面积以及在视频帧上的面积,获取每一个像素点位置对应的阈值范围。首先,结合在线电子地图或者高清遥感影像地图,求解摄像机的单应矩阵并计算视域;基于摄像机视域在二维地图上投影的特点,计算不同目标在地理场景下的真实投影尺寸;然后,遍历视频帧上每一个像素点,获取像素点位置对应阈值范围;最后,对摄像机视频帧图像进行目标检测,获取每个动态块BLOB四边形集合,判断质心位置所对应像素点的阈值范围,并判断目标面积与阈值的大小关系,在目标不断移动过程中实现自适应阈值的检测。
本实施例的方法在具体的实际应用过程中,针对各摄像机视频帧图像,具体步骤如下:
步骤1.结合摄像机视频帧图像对应的遥感影像底图,选取多个同名点,解算摄像机的单应矩阵、以及视域。具体步骤为:
结合摄像机视频帧图像对应的遥感影像底图,在摄像机视频帧图像上具有标志性的位置选取图像坐标点q(x,y),在对应的遥感影像底图中对应位置选择地理坐标点Q(X,Y),选择特征明显且在视频帧上均匀分布多个同名点;本实施例中选取四个及以上的同名点,解算摄像机的单应矩阵H,即
Figure BDA0003075666650000081
其转换公式为:
Figure BDA0003075666650000082
其中,λ表示特征值;
根据单应矩阵H计算每个像素点位置地理坐标以及摄像机的视域V。
本实施例中将地理空间下阈值空间分异性和自适应阈值引入目标检测,主要是为了解决同一目标在视频帧不同位置大小不一致的问题,如图2。
步骤2.在所述摄像机视域范围内,根据所述单应矩阵计算摄像机视频帧图像中的任意像素点位置地理坐标,基于摄像机映射关系计算目标在地理场景下外围轮廓的长度h1和宽度w1,即目标真实尺寸,确定在地理场景下的实际外围轮廓;获取所述实际外围轮廓的角点地理坐标,即四边形角点地理坐标Geo1、Geo2、Geo3、Geo4。具体步骤为:
在摄像机视域范围内,假设任意像素点(Picx,Picy)位置目标的高度为hz、宽度为W,根据单应矩阵H计算像素点位置地理坐标(GeoX,GeoY),如图3,该计算方式对于不同类型的目标尺寸计算方式相同,以图3人和车为例,摄像机在地面坐标为D(X,Y,0)、高度为H、在地理空间下坐标为C(X,Y,H),从摄像机位置C点向目标头部点B(x1,y1,h)和脚部点P(x1,y1,0)引射线分别与地面相交于点LT、LJ,射线与地面形成夹角为α、β,LT与LJ构成直线段为目标在地图上映射的长度h1,即目标在地面的成像高度,LT的射线方程如下式、地平面方程为z=0。
(x-X)/(x1-X)=(y-Y)/(y1-Y)=(z-H)/(hz-H)
根据上式计算出射线方程LT与地平面的交点A的坐标,以及目标在地面上的投影长度h1如下公式。
Figure BDA0003075666650000091
当目标宽度为W时,因目标相对于摄像机有不同位置的朝向,最终目标在地理空间下的形成一个可移动的范围,无论目标朝向哪一个方向,其在地面上的宽度W不发生改变,如图4,假设目标的脚部中心坐标为p1(x1,y1,0),则目标外接矩形的左上角和右下角的坐标分别为J1(x1-W/2,y1,hz)、J2(x1+W/2,y1,hz)、J3(x1-W/2+T,y1,hz)、J4(x1+W/2+T,y1,hz),从C点向J1、J2引射线与地平面相交于Geo3、Geo4,则CJ1和CJ2的直线方程如下式:
(x-X)/(x1-W/2+T-X)=(y-Y)/(y1-Y)=(z-H)/(hz-H)
(x-X)/(x1+W/2+T-X)=(y-Y)/(y1-Y)=(z-H)/(hz-H)
与地平面方程z=0的交点分别为Geo3(xGeo3,yGeo3,0)、Geo4(xGeo4,yGeo4,0),计算Geo3、Geo4的坐标值、目标在地面投影的宽w1以及目标在地理场景中投影面积为S,公式如下:
Figure BDA0003075666650000092
Figure BDA0003075666650000093
Figure BDA0003075666650000094
Figure BDA0003075666650000095
S=w1*h1
该步骤针对图像上任意一个像素点(Picx,Picy),根据单应矩阵可以计算其地理坐标(GeoX,GeoY),同时假设一个目标高度为hz、目标宽度W,则其位于视域不同位置的投影长度h1、h2存在差异,特点为距离摄像机越远,投影长度越长。而对于不同类型的目标尺寸计算方式相同,当目标宽度为W时,因目标相对于摄像机有不同位置的朝向,最终目标在地理空间下的形成一个可移动的范围,无论目标朝向哪一个方向,其在地面上的宽度W不发生改变,根据摄像机下目标投影规律,获取在地理场景下外围轮廓的长度h1和宽度w1。
通过获取目标在每一个像素点位置的在视域范围下的真实尺寸,包括目标的上边宽w1、下边宽W、高h1、面积S以及脚部底边中点坐标P(x1,y1,0),其中S是目标在地理场景下的面积,同时已知摄像机坐标C(X,Y,0),则每个像素点可在地图上形成一个多边形,所有像素点将摄像机视域剖分成多个大小不等的四边形,其特点是为地图上不同位置四边形面积S大小接近相等,但距离摄像机越远,四边形变形越大。同时可以得到以每个像素点为底边中点的四边形,其中四边形的四个地理坐标点分别为Geo1(X1,Y1)、Geo2(X2,Y2)、Geo3(X3,Y3)、Geo4(X4,Y4)。
步骤3.根据所述单应矩阵的逆矩阵,将所述实际外围轮廓的角点地理坐标转化为图像坐标,确定任意像素点位置的目标最小阈值,并设定目标面积缓存变化区作为任意像素点位置的目标最大阈值,确定任意像素点位置的目标阈值范围。具体步骤为:
根据单应矩阵的逆矩阵H-1,求解四个角点地理坐标Geo1、Geo2、Geo3、Geo4对应图像坐标Pic1、Pic2、Pic3、Pic4,基于此确定任意像素点位置的目标最小阈值Min;
因目标在图像中的位置和相对于摄像机的朝向不同,且位于不同位置尺寸大小动态变化,因此设定一个目标面积缓存变化区作为像素点位置的目标最大阈值Max;
由目标最小阈值Min、目标最大阈值Max得到任意像素点位置的目标阈值范围。本实施例中计算像素点位置Rn对应目标阈值范围,可分为多种情况:(1)假设地理场景中仅包含人,则Rn处目标阈值范围为[人Min,人Max];(2)假设地理场景中包含人和车,则Rn处目标阈值范围为[人Min,车Max],其他情况依次类推。
步骤4.遍历摄像机视频帧图像中每个像素点,确定摄像机视频帧图像中所有像素点位置的目标阈值范围。具体为:
①由步骤2可知,获取目标在每一个像素点位置的在视域范围下的真实尺寸,包括目标的上边宽w1、下边宽W、高h1、面积S以及脚部底边中点坐标P(x1,y1,0),其中S为每个像素点目标映射于地理场景下的面积S,同时已知摄像机坐标C(X,Y,0),则每个像素点可在地图上形成一个多边形,所有像素点将摄像机视域剖分成多个大小不等的四边形,其特点是为地图上不同位置四边形面积大小接近相等,但距离摄像机越远,四边形变形越大。同时可以得到以每个像素点为底边中点的四边形,其中四边形的四个地理坐标点分别为Geo1(X1,Y1)、Geo2(X2,Y2)、Geo3(X3,Y3)、Geo4(X4,Y4),在摄像机视域范围内形成以主光轴为中心左右对称的四边形;
根据四边形与摄像机中心C几何关系,计算出四个坐标点的地理坐标值,计算每个像素点目标映射于地理场景下的面积S,如图5。
Figure BDA0003075666650000121
O(Ox,Oy)=O(x1-Hcosβ,y1+Hsinβ)
Geo1(X1,Y1)=Geo(x1-w/2*sinβ,y1-w/2*cosβ)
Geo2(X2,Y2)=Geo(x1+w/2*sinβ,y1+w/2*cosβ)
Geo3(X3,Y3)=Geo(Ox+w/2*sinβ,Oy+w/2*cosβ)
Geo4(X4,Y4)=Geo(Ox-w1/2*sinβ,Oy-w1/2*cosβ)
②由步骤3,根据单应矩阵H的逆矩阵H-1,将实际外围轮廓的角点地理坐标转化为图像坐标,计算得到地理坐标对应图像坐标Pic1(x1,y1)、Pic2(x2,y2)、Pic3(x3,y3)、Pic4(x4,y4),计算得到图像空间下面积S′,S′确定为任意像素点位置的目标最小阈值Min,设定目标面积缓存变化区2S′作为目标最大阈值Max,距离摄像机越远,S′面积值越大、距离摄像机越近,S′面积值越小。
S′=1/2(x1y2+x2y3+x3y1-(x3y1+x3y1+x3y1))+1/2(x1y3+x3y4+x4y1-(x1y4+x3y1+x4y4))遍历摄像机视频帧图像中每个像素点,得到视域范围内每一个像素点构成的阈值信息集合Rn={(Picx,Picy),(GeoX,GeoY),S,S',2S'}(n=1,2,...,k),如图5所示。
Rn代表视频帧中每一个像素点,其包含该点图像坐标(Picx,Picy)、地理坐标(GeoX,GeoY)以及目标在该像素点位置图像空间的面积S′和地理场景下的面积S,如图6。
步骤5.对摄像机视频帧图像进行动态目标检测,将检测后的每一个动态目标视为一个目标动态块,获取目标动态块集合,计算任意目标动态块的面积、以及质心所对应像素点位置的目标阈值范围,进行动态目标检测。具体为:
对高空摄像机视频帧图像进行实时目标检测(具体实现可以借助EmguCV、Opencv图像处理相关库),将目标检测后的每一个动态目标的外接矩形看作为一个目标动态块(BLOB),每一个目标动态块包含宽(W)、高(H)、质心坐标(Bx,By);其次,根据单应矩阵H计算出质心坐标的地理坐标(BX,BY),则视频中目标检测的集合如式BLOBi={W,H,(Bx,By),(BX,BY)}(i=1,2,...,n),目标动态块的面积Area计算采用式AreaBLOB=W×H计算。基于动态阈值的目标检测主要考虑阈值在图像空间的分异性,即在图像中每一个像素点位置,都有不同的阈值范围。获取动态目标BLOB质心位置对应的像素点R的阈值范围,每一个像素点R包含S′即阈值的目标最小阈值Min、2S′即目标最大阈值Max,当目标动态块的面积Area大于目标最小阈值Min时且小于目标最大阈值时Max,则作为目标检测的结果,反之作为外界环境干扰过滤。如图7,地理场景中包含A、B、C等分布在不同位置的动态目标,如图8为图像空间下目标动态块(BLOB)外接矩形,以目标A为例,其质心位于像素点处,判断目标A面积与像素点位置对应阈值的范围的关系,同时,目标在视域范围内移动,阈值也不断改变,而对于不同目标在视频帧不同位置阈值也不相同,根据目标移动位置的质心坐标获取对应位置的阈值,实现目标实时检测和噪声过滤(假设目标A的质心坐标位于R5处,得到R5处对应的阈值范围。以两种情况为例(1、仅包含人;2、仅包含车)情况1,(人Min,人Max)情况2,(人Min,车Max)目标的面积分别与目标最大阈值、目标最小阈值对比)。
综上,本发明提供的动态目标检测方法,基于图像空间阈值分异性,通过结合摄像机视频帧图像对应的遥感影像底图,选取多个同名点,解算摄像机的单应矩阵、视域;根据单应矩阵计算任意像素点位置地理坐标,确定在地理场景下的实际外围轮廓;根据单应矩阵的逆矩阵,将实际外围轮廓的角点地理坐标转化为图像坐标,确定任意像素点位置的目标阈值范围;遍历视域的每个像素点,确定所有像素点位置的目标阈值范围;对摄像机视频帧图像进行动态目标检测,将检测后的每一个动态目标视为一个目标动态块,获取目标动态块集合,计算任意目标动态块的面积、以及质心所对应像素点位置的目标阈值范围,进行自适应阈值的目标检测。该方法充分考虑地理场景下不同目标阈值的差异性,引入目标在地理场景下真实尺寸的约束条件,解决了高空摄像机目标检测精度低、视域覆盖范围远致使检测结果受环境干扰较大的问题,基于摄像机的原理实现阈值的计算,基于自适应阈值通过对视频目标检测的结果在考虑图像区间分异性进行噪声过滤,实现高空摄像机下动态目标高精度检测。
本发明的动态目标检测方法方法面向高空摄像机下目标检测,根据摄像机的成像特点,将GIS方法融入到目标检测方法中,满足高空摄像机自适应阈值的目标检测。同时,针对当前目标检测进行阈值设定时,未考虑摄像机成像引起的目标投影尺寸的变化,难以实现对不同像素点位置阈值的动态设定的问题,设计一种基于摄像机成像规律的阈值计算方法,为目标检测奠定基础。并针对当前目标检测进行外界环境干扰过滤时,通过设定统一阈值或未考虑不同目标类型的阈值设定方法,难以实现目标高精度检测的问题,设计一种基于自适应阈值的动态目标检测方法定,以期实现对不同目标阈值设定和自适应阈值的目标检测。

Claims (4)

1.一种动态目标检测方法,其特征在于,包括:
结合摄像机视频帧图像对应的遥感影像底图,选取多个同名点,解算摄像机的单应矩阵H、以及视域;
在所述摄像机视域范围内,根据单应矩阵H计算摄像机视频帧图像中的任意像素点(Picx,Picy)位置对应的地理坐标(GeoX,GeoY),基于摄像机映射关系计算目标在地理场景下外围轮廓的长度h1和宽度w1,得到目标真实尺寸,确定在地理场景下的实际外围轮廓,获取实际外围轮廓的角点地理坐标,计算每个像素点目标映射于地理场景下的面积S;
其中,目标在地面上的投影长度为目标在地理场景下外围轮廓的长度h1,
Figure FDA0003863621890000011
目标在地面投影宽度为目标在地理场景下外围轮廓的长度w1,
Figure FDA0003863621890000012
得到目标映射于地理场景下的面积S为:S=w1*h1;
其中,
Figure FDA0003863621890000013
任意像素点(Picx,Picy)位置目标的高度为hz、宽度为W;摄像机在地面坐标为D(X,Y,0)、高度为H、在地理空间下坐标为C(X,Y,H);目标头部点坐标为B(x1,y1,h),目标脚部点坐标为P(x1,y1,0);
根据单应矩阵H的逆矩阵H-1,将所述实际外围轮廓的角点地理坐标转化为图像坐标,计算目标在视频帧图像上的面积S′,将目标在视频帧图像上的面积S′确定为任意像素点位置的目标最小阈值Min,设定目标面积缓存变化区2S′作为目标最大阈值Max,由目标最小阈值Min、目标最大阈值Max得到任意像素点位置的目标阈值范围;
遍历摄像机视频帧图像中每个像素点,得到视域范围内每一个像素点构成的阈值信息集合:
Rn={(Picx,Picy),(GeoX,GeoY),S,S',2S'}(n=1,2,...,k);
对摄像机视频帧图像进行动态目标检测,将检测后的每一个动态目标视为一个目标动态块,获取目标动态块集合,计算任意目标动态块的面积、以及质心所对应像素点位置的目标阈值范围,通过判断目标动态块的面积与目标阈值范围的关系,进行自适应阈值的目标检测。
2.根据权利要求1所述的方法,其特征在于,所述结合摄像机视频帧图像对应的遥感影像底图,选取多个同名点,解算摄像机的单应矩阵、以及视域的具体步骤包括:
在摄像机视频帧图像上具有标志性的位置选取图像坐标点θ(x,y),在对应的遥感影像底图中对应位置选择地理坐标点Q(X,Y),选择特征明显且在视频帧上均匀分布多个同名点;
解算摄像机的单应矩阵H,即
Figure FDA0003863621890000021
其转换公式为:
Figure FDA0003863621890000022
其中,λ表示特征值;
根据单应矩阵H计算每个像素点位置地理坐标以及摄像机的视域V。
3.根据权利要求2所述的方法,其特征在于,选择特征明显且在视频帧上均匀分布至少四个同名点。
4.根据权利要求1所述的方法,其特征在于,所述对摄像机视频帧图像进行动态目标检测,将检测后的每一个动态目标视为一个目标动态块,获取目标动态块集合,计算任意目标动态块的面积、以及质心所对应像素点位置的目标阈值范围,通过判断目标动态块的面积与目标阈值范围的关系,进行自适应阈值的目标检测的步骤具体包括:
对摄像机视频帧图像进行动态目标检测,将检测后的每一个动态目标视为一个目标动态块,每一个动态块包含宽(W)、高(H)、质心坐标(Bx,By)、以及经过单应矩阵求解后的地理坐标(BX,BY);
则所有目标动态块构成的目标动态块集合为BLOBi={W,H,(Bx,By),(BX,BY)}(i=1,2,...,n);
计算任意目标动态块的面积、以及质心所对应像素点位置的目标阈值范围;
判断目标动态块的面积与目标阈值范围的关系,若目标动态块的面积在目标阈值范围内,则作为目标检测的有效结果,否则作为外界环境干扰进行过滤。
CN202110551586.0A 2021-05-20 2021-05-20 动态目标检测方法 Expired - Fee Related CN113297950B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110551586.0A CN113297950B (zh) 2021-05-20 2021-05-20 动态目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110551586.0A CN113297950B (zh) 2021-05-20 2021-05-20 动态目标检测方法

Publications (2)

Publication Number Publication Date
CN113297950A CN113297950A (zh) 2021-08-24
CN113297950B true CN113297950B (zh) 2023-02-17

Family

ID=77323085

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110551586.0A Expired - Fee Related CN113297950B (zh) 2021-05-20 2021-05-20 动态目标检测方法

Country Status (1)

Country Link
CN (1) CN113297950B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114168695A (zh) * 2021-11-30 2022-03-11 北京新兴华安智慧科技有限公司 目标位置确定方法、装置、终端以及存储介质
CN114663517A (zh) * 2022-02-07 2022-06-24 哈尔滨工业大学 仿真目标位姿获取方法、基于MBDyn仿真的目标捕获方法及装置、航天在轨目标捕获方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780541A (zh) * 2016-12-28 2017-05-31 南京师范大学 一种改进的背景减除方法
CN110009561A (zh) * 2019-04-10 2019-07-12 南京财经大学 一种监控视频目标映射到三维地理场景模型的方法及系统
CN110245199A (zh) * 2019-04-28 2019-09-17 浙江省自然资源监测中心 一种大倾角视频与2d地图的融合方法
CN111143504A (zh) * 2019-12-31 2020-05-12 信阳师范学院 一种多摄像机室内视频地图构建方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2756397B1 (fr) * 1996-11-22 1999-02-19 Thomson Csf Procede de determination de l'attitude et de la position d'un appareil de prise de vue a partir de l'image qu'il procure d'une zone cartographiee
CN106910203B (zh) * 2016-11-28 2018-02-13 江苏东大金智信息系统有限公司 一种视频监测中运动目标的快速检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780541A (zh) * 2016-12-28 2017-05-31 南京师范大学 一种改进的背景减除方法
CN110009561A (zh) * 2019-04-10 2019-07-12 南京财经大学 一种监控视频目标映射到三维地理场景模型的方法及系统
CN110245199A (zh) * 2019-04-28 2019-09-17 浙江省自然资源监测中心 一种大倾角视频与2d地图的融合方法
CN111143504A (zh) * 2019-12-31 2020-05-12 信阳师范学院 一种多摄像机室内视频地图构建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
顾及透视规律的监控视频行人检测研究;沈慧;《中国优秀硕士学位论文全文数据库(电子期刊)》》;20180415;参见2.2.1节、第3章 *

Also Published As

Publication number Publication date
CN113297950A (zh) 2021-08-24

Similar Documents

Publication Publication Date Title
CN110009561B (zh) 一种监控视频目标映射到三维地理场景模型的方法及系统
CA3019163C (en) Generating intermediate views using optical flow
CN113297950B (zh) 动态目标检测方法
US10339386B2 (en) Unusual event detection in wide-angle video (based on moving object trajectories)
CN109348119B (zh) 一种全景监控系统
CN104038740B (zh) 一种遮蔽ptz监控摄像机隐私区域的方法及装置
EP2913796B1 (en) Method of generating panorama views on a mobile mapping system
WO2021098079A1 (zh) 一种利用双目立体相机构建栅格地图的方法
CN106570938A (zh) 基于opengl 的全景监控方法及系统
KR102397343B1 (ko) 비디오에서 가상 오브젝트를 블러링하기 위한 방법 및 디바이스
CN104361603B (zh) 枪机图像目标标定方法及其系统
WO2008114264A2 (en) A method and apparatus for video image stabilization
CN107045620A (zh) 图像处理设备和图像处理方法
CN102957895A (zh) 一种基于卫星图的全局拼接型视频监控显示方法
CN108717704A (zh) 基于鱼眼图像的目标跟踪方法、计算机装置及计算机可读存储介质
CN112204614A (zh) 来自非固定相机的视频中的运动分割
JP2003179800A (ja) 多視点画像生成装置、画像処理装置、および方法、並びにコンピュータ・プログラム
CN113436130B (zh) 一种非结构光场智能感知系统与装置
JP7315216B2 (ja) 補正距離算出装置、補正距離算出用プログラムおよび補正距離算出方法
CN106780541B (zh) 一种改进的背景减除方法
US10812691B2 (en) Image capturing apparatus and image capturing method
Lin et al. Vanishing point-based image transforms for enhancement of probabilistic occupancy map-based people localization
CN109242900B (zh) 焦平面定位方法、处理装置、焦平面定位系统及存储介质
TW201516965A (zh) 偵測多移動目標之方法
CN112102347B (zh) 一种基于双目视觉的台阶检测和单级台阶高度估计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20230217