CN110636248B - 目标跟踪方法与装置 - Google Patents
目标跟踪方法与装置 Download PDFInfo
- Publication number
- CN110636248B CN110636248B CN201810653440.5A CN201810653440A CN110636248B CN 110636248 B CN110636248 B CN 110636248B CN 201810653440 A CN201810653440 A CN 201810653440A CN 110636248 B CN110636248 B CN 110636248B
- Authority
- CN
- China
- Prior art keywords
- image
- target
- feature
- image features
- coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
一种目标跟踪方法,所述方法包括:获取摄像头拍摄的实时图像中目标特征和目标特征所在位置的第一图像特征,目标特征为实时图像中针对目标提取的图像特征;从数据库中查找到第一图像特征的地理坐标;通过计算找到与多个第一图像特征的地理坐标之间的距离趋于一致的地理坐标,并将与多个第一图像特征的地理坐标之间的距离趋于一致的地理坐标作为目标特征的地理坐标;根据目标特征的地理坐标调度摄像头对目标进行跟踪。本方法通过特征匹配获得实时图像中目标附近的特征的地理坐标,由此可以计算出较为准确的目标的坐标,实现目标的准确定位,使得以目标定位为基础的目标跟踪更为高效、精确。
Description
技术领域
涉及电子通信技术领域,具体涉及监控技术领域。
背景技术
近年来,随着智慧城市、平安城市业务的发展,监控技术成为不可或缺的产品和技术。平安城市解决方案中,监控系统是视频刑侦、安防预警、交通指挥中的基础设备。目前的目标跟踪技术是基于监控系统负责管理区域中的多个摄像头实现。目标跟踪的首要步骤是确定目标的位置,再根据目标的位置有效的调度摄像头进行目标跟踪。现有技术是以识别出目标的摄像头所在的位置作为目标的位置,然而由于摄像头的视野范围较大,目标的实际位置与摄像头所在位置有较大差距,因此以摄像头所在位置作为目标的位置有较大的误差。后续调度摄像头进行目标跟踪需要以目标的位置为依据,因此以摄像头所在位置作为目标的位置会影响目标跟踪的精确度,降低目标跟踪的效率。
发明内容
本申请提供的目标跟踪方法,能够较为精确的计算出的目标的位置,保证目标跟踪的精确度和效率。
第一方面,本申请提供了一种目标跟踪方法,该方法包括:获取摄像头拍摄的实时图像中目标特征和目标特征所在位置的第一图像特征,其中,目标特征为实时图像中针对目标提取的图像特征;从数据库中查找到第一图像特征的地理坐标;通过计算找到与多个第一图像特征的地理坐标之间的距离趋于一致的地理坐标,并将与多个第一图像特征的地理坐标之间的距离趋于一致的地理坐标作为目标特征的地理坐标;根据目标特征的地理坐标调度摄像头对目标进行跟踪。其中,实时图像为从摄像头回传的实时监控视频中得到的图像。具体的,根据第一图像特征和数据库中存储的特征与地理坐标的对应关系,通过特征匹配从数据库中查找到目标特征所在位置的第一图像特征的地理坐标,将查找到地理坐标的第一图像特征作为参照物,计算出的目标的地理坐标与第一图像特征的地理坐标之间的距离趋于一致,换句话说,计算出的目标的地理坐标与第一图像特征的地理坐标之间的距离尽可能的接近。由此得到的目标的地理坐标更为精确。从而根据精确的目标坐标进行摄像头调度,实现高效的目标跟踪。
在一些实现方式中,通过计算找到与多个第一图像特征的地理坐标之间的距离趋于一致的地理坐标具体为:计算出多个第一图像特征的地理坐标的平均值,多个第一图像特征的地理坐标的平均值作为与多个第一图像特征的地理坐标之间的距离趋于一致的地理坐标。
在一些实现方式中,该方法具体为:计算出多个第一图像特征的地理坐标的平均值,将修正后的多个第一图像特征的地理坐标的平均值作为所述目标特征的地理坐标。
在一些实现方式中,通过计算找到与多个第一图像特征的地理坐标之间的距离趋于一致的地理坐标具体为:通过计算找到与多个第一图像特征的地理坐标之间的距离的方差值最小的地理坐标,与多个第一图像特征的地理坐标之间的距离的方差值最小的地理坐标作为与多个第一图像特征的地理坐标之间的距离趋于一致的地理坐标。
在一些实现方式中,通过计算找到与多个第一图像特征的地理坐标之间的距离趋于一致的地理坐标具体为:通过计算找到与多个第一图像特征的地理坐标之间的距离的方差值与距离权值的乘积最小的地理坐标,与多个第一图像特征的地理坐标之间的距离的方差值与距离权值的乘积最小的地理坐标作为目标特征的地理坐标。实时图像是一种二维图像,图像中的点在实际场景的景深不同,换句话说,图像中的点在实际场景中距离摄像头的距离不同。因此存在以下情况:对于实时图像上距离目标较近的物体,在实际场景中却可能距离目标很远;对于实时图像上距离目标较远的物体,在实际场景中却可能距离目标很近。距离权值代表第一图像特征的地理坐标对目标特征计算结果的影响。实时图像上距离目标特征越远的第一图像特征,其距离权值越小,距离目标特征越近的第一图像特征,其距离权值越大。计算出的目标特征的地理坐标能够保证与多个第一图像特征的地理坐标之间的距离趋于一致,也可以考虑到实际景深带来的误差,使得计算出的目标的地理坐标更为准确。
在一些实现方式中,该方法还包括:获取地图图像特征和第二图像特征以及地图图像特征的地理坐标,地图图像特征为从地图图像中提取的图像特征,第二图像特征为从摄像头拍摄的历史图像中提取的图像特征;对地图图像特征和第二图像特征进行特征匹配,将与第二图像特征一致的地图图像特征的地理坐标与第二图像特征对应;存储第二图像特征与对应的地理坐标的对应关系。其中,两个特征一致的意思可以理解为,两个特征匹配成功,可以看做同一个特征,两个特征可能来自于同一个物体
对应的,从数据库中查找到第一图像特征的地理坐标具体为:从数据库中查找并获取与第一图像特征一致的第二图像特征的地理坐标,其中,将与第一图像特征一致的第二图像特征的地理坐标作为第一图像特征的地理坐标。其中,数据库的可以是在离线过程中生成。第一图像特征和第二图像特征都来自于摄像头拍摄的图像,第二图像特征和第一图像特征的匹配度更好,更易于得出匹配结果,且匹配结果更为准确。
在其他实现方式中,从数据库中查找并获取与第一图像特征一致的地图图像特征的地理坐标,其中,将与第一图像特征一致的地图图像特征的地理坐标作为第一图像特征的地理坐标。
在一些实现方式中,该方法还包括:第二图像特征为从摄像头拍摄的历史图像中提取的图像特征中选取的稳定的图像特征。其中,稳定的图像特征可以为在运动、亮度、视角等变化下鲁棒性好的图像特征,例如建筑物或路面标识对应的图像特征。稳定的第二图像特征在进行特征匹配时不会因为运动、亮度、视角等变化而影响匹配结果。
在一些实现方式中,存储第二图像特征与对应的地理坐标的对应关系具体为:将第二图像特征与对应的地理坐标分组存储,其中,一个组内的第二图像特征为位于历史图像中同一个网格内的图像特征,网格为历史图像被划分成的多个网格中的一个网格。在实时图像中,图像特征的分布可能并不均匀,图像中的有的地方的图像特征分布稀疏,有的地方图像特征分布密集。将第二图像特征按照网格分组存储后,可以使得图像中的特征分布较为均匀,当目标出现在图像中任意位置时都可以计算该目标的地理坐标。
在一些实现方式中,获取摄像头拍摄的实时图像中目标特征和目标特征所在位置的第一图像特征具体为:获取摄像头拍摄的实时图像中目标特征和目标特征所在位置的多个第一图像特征,多个第一图像特征为位于实时图像中同一个网格内的图像特征,网格为实时图像被划分成的多个网格中的一个网格;实时图像所划分的网格的像素坐标范围与历史图像所划分的网格的像素坐标范围相同;换句话说,历史图像和实施图像的网格划分的起点相同,并且都是平均划分,每个网格所占的像素单元的数量相同。
对应的,从数据库中查找到第一图像特征的地理坐标具体为:查找与多个第一图像特征在同一网格的第二图像特征,将多个第一图像特征与在同一网格的第二图像特征进行特征匹配,当匹配一致的第二图像特征的数量达到网格内第二图像特征的数量的预设比例时,将匹配一致的第二图像特征的地理坐标分别作为对应的第一图像特性的地理坐标,预设比例的范围为大于0,且小于等于1。单个的第二图像特征与第一图像特征在做特征匹配的时候可能会受运动物体、遮挡等因素影响导致匹配失败,因此,通过位于同一网格内的第二图像特征与第一图像特征进行特征匹配,设置匹配一致的预设比例,可以提高匹配的成功率,进而提高目标定位的成功率,使得目标跟踪方法更为稳定。
在一些实现方式中,根据目标特征的地理坐标调度摄像头对目标进行跟踪包括:根据不同时间下目标特征的地理坐标计算目标的移动路径;根据目标的移动路径在摄像头拓扑数据中查找与目标的移动路径匹配的link,调度匹配的link上的摄像头对目标进行跟踪,摄像头拓扑数据包括多条link中每条link上的摄像头的地理坐标。
在其他实现方式中,还可以调度与匹配link连通的link上的摄像头对目标进行跟踪。
第二方面,本申请提供了一种目标跟踪装置,该装置包括目标识别模块、目标定位模块和摄像头管理模块:
目标识别模块用于获取摄像头拍摄的实时图像中目标特征和目标特征所在位置的第一图像特征,目标特征为实时图像中针对目标提取的图像特征;
目标定位模块用于从数据库中查找到第一图像特征的地理坐标;通过计算找到与多个第一图像特征的地理坐标之间的距离趋于一致的地理坐标,并将与多个第一图像特征的地理坐标之间的距离趋于一致的地理坐标作为目标特征的地理坐标;
摄像头管理模块用于根据目标特征的地理坐标调度摄像头对目标进行跟踪。
在一些实现方式中,目标定位模块具体用于:计算出多个第一图像特征的地理坐标的平均值,多个第一图像特征的地理坐标的平均值作为与多个第一图像特征的地理坐标之间的距离趋于一致的地理坐标。
在一些实现方式中,目标定位模块还用于:
计算出多个第一图像特征的地理坐标的平均值,将修正后的多个第一图像特征的地理坐标的平均值作为所述目标特征的地理坐标。
在一些实现方式中,目标定位模块具体用于:
通过计算找到与多个第一图像特征的地理坐标之间的距离的方差值最小的地理坐标,与多个第一图像特征的地理坐标之间的距离的方差值最小的地理坐标作为与多个第一图像特征的地理坐标之间的距离趋于一致的地理坐标。
在一些实现方式中,目标定位模块还用于:通过计算找到与多个第一图像特征的地理坐标之间的距离的方差值与距离权值的乘积最小的地理坐标,与多个第一图像特征的地理坐标之间的距离的方差值与距离权值的乘积最小的地理坐标作为目标特征的地理坐标。
在一些实现方式中,该装置还包括数据库生成模块:
数据库生成模块用于:
获取地图图像特征和第二图像特征以及地图图像特征的地理坐标,地图图像特征为从地图图像中提取的图像特征,第二图像特征为从摄像头拍摄的历史图像中提取的图像特征;对地图图像特征和第二图像特征进行特征匹配,将与第二图像特征一致的地图图像特征的地理坐标与第二图像特征对应;存储第二图像特征与对应的地理坐标的对应关系;
目标定位模块具体用于:
从数据库中查找并获取与第一图像特征一致的第二图像特征的地理坐标,其中,将与第一图像特征一致的第二图像特征的地理坐标作为第一图像特征的地理坐标。
在一些实现方式中,第二图像特征为从摄像头拍摄的历史图像中提取的图像特征中选取的稳定的图像特征。
在一些实现方式中,数据库生成模块具体用于:
将第二图像特征与对应的地理坐标分组存储,其中,一个组内的第二图像特征为位于历史图像中同一个网格内的图像特征,网格为历史图像被划分成的多个网格中的一个网格。
在一些实现方式中,目标识别模块具体用于:
获取摄像头拍摄的实时图像中目标特征和目标特征所在位置的多个第一图像特征,多个第一图像特征为位于实时图像中同一个网格内的图像特征,网格为实时图像被划分成的多个网格中的一个网格;实时图像所划分的网格的像素坐标范围与历史图像所划分的网格的像素坐标范围相同;
目标定位模块具体用于:
查找与多个第一图像特征在同一网格的第二图像特征,将多个第一图像特征与在同一网格的第二图像特征进行特征匹配,当匹配一致的第二图像特征的数量达到网格内第二图像特征的数量的预设比例时,将匹配一致的第二图像图像的地理坐标分别作为对应的第一图像特性的地理坐标,预设比例的范围为大于0,且小于等于1。
在一些实现方式中,该装置还包括移动状态计算模块,该移动状态计算模块用于根据不同时间下的目标特征的地理坐标计算目标的移动路径;
摄像头管理模块具体用于根据目标的移动路径在摄像头拓扑数据中查找与目标的移动路径匹配的link,调度匹配的link上的摄像头对目标进行跟踪,摄像头拓扑数据包括多条link中每条link上的摄像头的地理坐标。
第三方面,本申请提供了一种计算机系统,该计算机系统包括处理器和存储器,其中存储器用于存储计算机程序,处理器用于从该存储器中读取计算机程序并执行第一方面及第一方面任一实现方式提供的目标跟踪方法。
第四方面,本申请提供了一种计算机可读存储介质,该计算机可读存储介质存储用于实现第一方面及第一方面任一实现方式提供的目标跟踪方法的计算机程序。
附图说明
图1是本申请实施例提供的目标跟踪方法适用的系统架构示意图;
图2是本申请实施例提供的目标跟踪装置示意图;
图3是本申请实施例提供的目标跟踪方法流程示意图;
图4是本申请实施例提供的像素坐标系示意图;
图5是本申请实施例提供的特征组示意图;
图6是本申请实施例提供的KNN算法示意图;
图7是本申请实施例提供的目标移动路径示意图;
图8是本申请实施例提供的移动路径与摄像头拓扑数据中多条link的示意图;
图9是本申请实施例提供的摄像头拟合示意图;
图10是本申请实施例提供的目标跟踪装置示意图。
具体实施方式
下面就本申请中出现的一些概念进行解释。
特征可以是图像或在视觉领域中一些有别于其周围的地方,通常是描述一块区域,使其能具有高可区分度。特征是图像分析算法的起点,其最重要的一个特性是“可重复性”,一般来说,从同一场景的不同图像中所提取的特征应该是相同的。
特征提取是计算机视觉和图像处理中的一个概念。它指的是使用计算机提取图像信息,决定每个图像的点是否属于一个图像特征。特征提取的结果是把图像上的点分为不同的子集,这些子集往往属于孤立的点、连续的曲线或者连续的区域。
尺度不变特征转换算法(Scale-invariant feature transform,SIFT)是用于图像处理的一种特征提取算法,通过SIFT算法提取的局部特征具有尺度不变性,其对图像的旋转、尺度缩放、亮度变化保持不变性,对视角变化、仿射变换、噪声也保持一定程度的稳定性。
加速稳健特征算法(Speeded Up Robust Features,SURF)是一个稳健的图像识别和描述算法。SURF算法的概念及步骤均建立在SIFT之上,但详细的流程略有不同。SURF算法的特征提取的计算速度比SIFT算法快数倍,并且在不同图像变换方面比SIFT算法更加稳健。
ORB的全称是ORiented Brief,是文章《ORB:an efficient alternative to SIFTor SURF》中提出的一种新的角点检测与特征描述算法。实际上,ORB算法是将FAST角点检测与BRIEF特征描述结合并进行了改进的一种算法。
以监控管理系统100为例,本申请提供的目标跟踪方法适用的系统架构如图1所示。监控管理系统100可以包括服务器101和摄像头102。摄像头102可采集摄像头视野范围内的视频/图像数据,服务器101可用于管理一定区域内的一个或多个摄像头,可接收摄像头102回传的视频/图像数据,在对视频/图像数据进行处理和分析后计算出目标的位置信息并且合理的调度摄像头102进行目标跟踪。监控管理系统100还可以包括显示屏幕103用于实时呈现目标跟踪结果和视频/图像数据。
本申请实施例提供的目标跟踪装置可以为上述监控管理系统100的部分或全部,其装置示意图参见图2。如图2所示,目标跟踪装置200包括软件层210和硬件层220,硬件层220可以包括图形处理器221(graphics processing unit,GPU)、中央处理器222(centralprocessing unit,CPU)和内存223,具体的可以为用于摄像头管理和摄像头数据流接入的承载系统——视频云节点(video cloud node,VCN)和视频数据管理的承载系统(VideoContent Management,VCM);软件层210可以包括目标识别模块211、目标定位模块212、移动路径计算模块213、摄像头管理模块214、数据库215、数据库生成模块216和摄像头拓扑建模模块217。软件层210可部署在操作系统上,数据库215可以为普通关系型数据流,具体可以为SQL server或MySQL等数据库产品。其中数据库215中可以包括三维地图数据、历史视频数据、路网数据、摄像头位置数据、目标数据、摄像头拓扑数据、参考特征数据。
目标识别模块211可从摄像头回传的实时视频中参考数据库中的目标数据识别出目标。实时图像是对摄像头实时传回的实时视频进行处理后得到的图像;历史图像是对摄像头以往传回的视频进行处理得到的图像。目标识别模块211从识别出目标的实时图像中获取目标特征所在位置的实时图像特征,目标定位模块212从数据库215中查找与实时图像特征匹配一致的第二图像特征,并获得与实时图像特征一致的第二图像特征对应的地理坐标作为实时图像特征的地理坐标;目标定位模块212根据目标特征所在位置的实时图像特征的地理坐标计算目标特征的地理坐标,实现对目标更为准确的定位。移动路径计算模块213根据不同时间下目标的地理坐标计算出目标的移动路径。摄像头管理模块214根据目标的移动路径和数据库215中的摄像头拓扑数据调度摄像头进行目标跟踪。
需要注意的是,本申请各个实施例中提到的地理坐标可以为二维坐标,即包括经度和纬度,也可以为三维坐标,即包括经度、纬度和高度。
数据库生成模块216可用于计算生成数据库,数据库包括多个历史图像特征及其对应的地理坐标。数据库生成模块216从历史视频数据中的历史图像及三维地图数据中的地图图像中分别提取历史图像特征和地图图像特征,通过对历史图像特征进行特征训练获得稳定的历史图像特征。再通过对历史图像特征和地图图像特征进行特征匹配,获得与历史图像特征匹配一致的地图图像特征对应的地理坐标,作为历史图像特征的地理坐标。由此获得摄像头视野范围内的多个历史图像特征及其对应的地理坐标,形成数据库。三维地图数据为带有经度、维度、高度三维坐标信息的地图数据,包括表征坐标信息的点云数据,和表征表面特征的纹理图像信息。三维地图是真实世界地表、建筑、桥梁、树木、城市基础设施等在计算机中的三维还原。
摄像头拓扑建模模块217用于根据路网数据和摄像头位置数据生成摄像头拓扑数据,路网数据是现实道路的在计算机中的映射,可以包含国道、省道、城市道路、乡村道路等。路网数据中记录了一定区域内的多条现实路段的地理坐标以及路段之间的连通关系。摄像头位置数据包括摄像头的地理坐标,可以在摄像头安装施工过程中利用相关附属物或利用GPS测量并记录摄像头的地理坐标。将摄像头位置数据拟合到路网数据上生成的摄像头拓扑数据可以反应一定区域内的多条路段上的摄像头分布和连通情况。摄像头拓扑数据包括link和node的数据,node代表摄像头,node的数据包括拟合到路网上的摄像头的地理坐标,node之间可以由link连接,link代表摄像头之间的路段,link的数据包括link两端的node的数据。
在本申请中,目标可以为人物、动物或车辆,本申请实施例提供的目标跟踪方法可用于人体、动物或者车辆等目标的跟踪。为方便描述,下面将以人为目标的目标跟踪方法为例进行说明。如图3所示为本申请提供的目标跟踪方法的流程示意图。
步骤301,获取摄像头拍摄的实时图像中目标特征和目标特征所在位置的第一图像特征,目标特征为实时图像中针对目标提取的图像特征;
目标识别模块211可以通过数据接口读取目标跟踪装置200管理下的多个摄像头回传的实时视频数据,对实时视频数据进行处理则得到实时图像。具体的,可以将实时视频数据进行解码,并将实时视频数据逐帧分解为实时图像。以目标为嫌疑人为例,可以通过数据库215中的目标数据记录的嫌疑人的参照图像,在实时图像中查询、对比从而在实时图像中识别出目标嫌疑人。具体的,首先可对实时图像进行图像分割,将实时图像中的人的图像与实时图像的背景图像分割开来;其次,提取实时图像中多个人的图像特征与目标数据库中嫌疑人的图像特征进行特征对比,最终在实时图像中获得目标特征。目标数据可以存储在目标跟踪系统200中的内存223中。
目标识别模块211还获得目标特征所在位置的第一图像特征,也可称为实时图像特征,可以获得的多个第一图像特征,第一图像特征可以为实时图像中目标嫌疑人所在位置的标志性物体对应的图像特征。目标特征所在位置的第一图像特征可以为实时图像中目标特征为中心一定范围内的图像特征。本申请实施例中所用的特征提取的算法可以为SIFT算法和SURF算法、ORB算法其中一种或前述三种算法的改进算法。
步骤302:从数据库中查找到第一图像特征的地理坐标;
目标定位模块212对第一图像特征和数据库中的参考特征进行特征匹配,若匹配一致则查找到第一图像特征的地理坐标,数据库中存储有参考特征与其对应的地理坐标;
特征具有可重复性,即同一场景或地物的不同图像中所提取的特征是可匹配的,而存储有多个特征及其对应地理坐标的特征数据类似一个“指纹库”。摄像头视野范围内的部分物体是相对稳定的,位置一般是固定的,例如建筑物、路面标识等,这些物体对应的图像特征随时间变化小,这些稳定的图像特征就是参考特征。这些稳定的图像特征同样存在在摄像头历史图像的图像特征中,也存在在三维地图图像数据的地图图像特征中。这些稳定的图像特征也会存在在实时图像的第一图像特征中,因此,可以通过特征匹配在数据库中查找到第一图像特征的地理坐标。
特征数据库中包括了多个参考特征以及各个参考特征的对应的地理坐标,目标定位模块212将参考特征数据库中的参考特征与第一图像特征进行特征匹配,将与第一图像特征一致的参考特征的地理坐标作为第一图像特征的地理坐标。由此,可以查找到目标特征所在位置的多个第一图像特征的地理坐标。
需要注意的是,本发明实施例中两个特征一致的意思可以理解为,两个特征匹配成功,可以看做同一个特征,两个特征可能来自于同一个物体。
参考特征数据库的数据可以存储在目标跟踪装置200上的内存中,也可以存储在于目标跟踪装置200耦合的其他计算机设备的存储器中,在本申请中不做限定。
可选的,在步骤302之前,数据库生成模块216从目标跟踪装置200管理的摄像头208回传的历史图像中提取第二图像特征,并且计算出每个第二图像特征的地理坐标,这里的参考特征为第二图像特征。数据库生成模块216将第二图像特征与对应的地理坐标的对应关系存储在数据库中。目标定位模块212从数据库中查找并获取与第一图像特征一致的第二图像特征的地理坐标,其中,将与第一图像特征一致的第二图像特征的地理坐标作为第一图像特征的地理坐标。
可选的,参考特征数据库中还可包括每个特征对应的摄像头编号及每个特征在图像中的像素坐标。同一摄像头回传的历史图像和实时图像中提取的特征具有同一个摄像头编号,同一摄像头回传的历史图像和实时图像中提取的特征对应的像素坐标也处于同一像素坐标系下。因此,可根据实时图像所属的摄像头的编号从参考特征数据库中查找到具有同一摄像头编号的多个参考特征,在这些参考特征内查找与第一图像特征匹配的参考特征,根据参考特征的地理坐标得到第一图像特征的地理坐标。
可选的,数据库生成模块216可以将第二图像特征与对应的地理坐标分组存储,其中,一个组内的第二图像特征为位于历史图像中同一个网格内的图像特征,该网格为历史图像被划分成的多个网格中的一个网格。例如图5所示,第二图像特征A、B、C位于同一个网格内,该网格由6*6个像素单元组成,第二图像特征A、B、C与对应的地理坐标作为一组存储。在实时图像中,图像特征的分布可能并不均匀,图像中的有的地方的图像特征分布稀疏,有的地方图像特征分布密集。将第二图像特征按照网格分组存储后,可以使得图像中的特征分布较为均匀,当目标出现在图像中任意位置时都可以计算该目标的地理坐标。
对应的,步骤301中获取摄像头拍摄的实时图像中目标特征和目标特征所在位置的第一图像特征具体为:
目标识别模块211获取摄像头拍摄的实时图像中目标特征和目标特征所在位置的多个第一图像特征,多个第一图像特征为位于实时图像中同一个网格内的图像特征,其中网格为实时图像被划分成的多个网格中的一个网格;实时图像所划分的网格的像素坐标范围与历史图像所划分的网格的像素坐标范围相同。换句话说,历史图像和实施图像的网格划分的起点相同,并且都是平均划分,每个网格所占的像素单元的数量相同。
可选的,从数据库中查找到所述第一图像特征的地理坐标具体为:目标定位模块212查找与多个第一图像特征在同一网格的第二图像特征,将多个第一图像特征与在同一网格的第二图像特征进行特征匹配,当匹配一致的第二图像特征的数量达到网格内第二图像特征的数量的预设比例时,将匹配一致的第二图像图像的地理坐标分别作为对应的第一图像特性的地理坐标。例如,同一网格中的第二图像特征有10个,同一网格中的第一图像特征有7个,特征匹配后,匹配一致的第二图像特征的数量为5个且达到预设比例,则这5个第二图像特征的地理坐标分别作为7个第一图像坐标中与这5个第二图像特征匹配的5个第一图像特征的地理坐标。单个的第二图像特征与第一图像特征在做特征匹配的时候可能会受运动物体、遮挡等因素影响导致匹配失败,因此,通过位于同一网格内的第二图像特征与第一图像特征进行特征匹配,设置匹配一致的预设比例,可以提高匹配的成功率,进而提高目标定位的成功率,使得目标跟踪方法更为稳定。
步骤303:通过计算找到与多个第一图像特征的地理坐标之间的距离趋于一致的地理坐标,并将与多个第一图像特征的地理坐标之间的距离趋于一致的地理坐标作为目标特征的地理坐标;
获取图像特征时(例如目标特征和第一图像特征),还可确定该图像特征(例如目标的特征和前述第一图像特征)在图像中的位置,可以通过像素坐标来表达。如图4所示,以图像的左下角为原点,向上为V轴,向右为U轴,以像素单元为单位,则可以确定出图像中任意一个特征的像素坐标。
目标定位模块212获得实时图像中目标特征及实时图像中提取的第一图像特征的像素坐标后,再根据第一图像特征的地理坐标,可以计算出目标特征的地理坐标。
现有技术中是先在一个摄像头视野内识别出可疑目标后,以该摄像头所在位置作为目标的位置。本申请中的第一图像特征类似参照物,根据第一图像特征的地理坐标计算出的目标的地理坐标具有较高的精确度,能实现较为精确的目标定位,可以保证目标跟踪的精确度和效率。
具体的,可以采用KNN算法计算目标特征的地理坐标,K Nearest Neighbor算法又叫KNN算法,KNN算法的核心思想是如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别,则该样本也属于这个类别,并具有这个类别上样本的特性。
可选的,目标定位模块212通过计算找到与多个第一图像特征的地理坐标之间的距离的方差值最小的地理坐标,与多个第一图像特征的地理坐标之间的距离的方差值最小的地理坐标作为与多个第一图像特征的地理坐标之间的距离趋于一致的地理坐标。
如图6所示,假设有n个第一图像特征第m个第一图像特征的地理坐标为(Xm,Ym,Zm),目标特征的地理坐标为P(x,y,z),则目标的地理坐标取值为到已知的n个第一图像特征的地理坐标的距离的均方值最小值的解。
可选的,通过计算找到方差值与距离权值的乘积最小的地理坐标,并将方差值与距离权值的乘积最小的地理坐标作为目标特征的地理坐标。目标的地理坐标取值为到已知的n个第一图像特征的地理坐标的距离的均方值与距离权值乘积最小值的解,Rn为距离权值。
实时图像是一种二维图像,图像中的点在实际场景的景深不同,换句话说,图像中的点在实际场景中距离摄像头的距离不同。因此存在以下情况:对于实时图像上距离目标较近的物体,在实际场景中却可能距离目标很远;对于实时图像上距离目标较远的物体,在实际场景中却可能距离目标很近。距离权值代表第一图像特征的地理坐标对目标特征计算结果的影响。实时图像上距离目标特征越远的第一图像特征,其距离权值越小,距离目标特征越近的第一图像特征,其距离权值越大。计算出的目标特征的地理坐标能够保证与多个第一图像特征的地理坐标之间的距离趋于一致,也可以考虑到实际景深带来的误差,使得计算出的目标的地理坐标更为准确。
实时图像中,第m个(1≤m≤n)第一图像特征Dm到目标特征P的横向的像素坐标差为ΔUm,第m个第一图像特征Dm到目标特征P的纵向的像素坐标差为ΔVm,第m个第一图像特征Dm到目标特征P的距离权值分别为Rm,Rm=ΔUm/ΔVm。
可选的,可以计算出多个第一图像特征的地理坐标的平均值,多个第一图像特征的地理坐标的平均值作为与多个第一图像特征的地理坐标之间的距离趋于一致的地理坐标。
可选的,计算出多个第一图像特征的地理坐标的平均值,将修正后的多个第一图像特征的地理坐标的平均值作为所述目标特征的地理坐标。可设置修正系数,与平均值相乘得到目标特征的地理坐标。其中修正系数可以根据预估的计算误差设置,该误差可能是摄像头精度等原因造成的误差。
步骤304:根据目标特征的地理坐标调度摄像头对目标进行跟踪。
具体的,移动状态计算模块213根据不同时间下所述目标特征的地理坐标计算所述目标的移动路径,例如可以根据N帧实时图像中每帧图像中目标特征的地理坐标计算目标的移动路径;再根据目标的移动路径在摄像头拓扑数据中查找与目标的移动路径匹配的link,摄像头拓扑数据包括多条link的地理坐标。摄像头管理模块214调度匹配的link上的摄像头对目标进行跟踪。
如图7所示,当N为3时,根据目标特征的在3帧实时图像每帧图像中的地理坐标,计算目标特征的移动路径。3帧实时图像中目标特征的地理坐标分别为P(x1,y1,z1),P’(x2,y2,z2)和P”(x3,y3,z3),代表了3帧图像拍摄到该目标时,该目标所处的地理坐标,3帧实时图像的拍摄时间分别为t1、t2和t3。目标在这3帧实时监控图像的拍摄时间差内的移动路径如图中用实线表示的P-P”。目标的移动速度为V,移动方向的方向角为D,则:
其中,方向角为在地理坐标系下,以起始位置为原点的X轴的正轴逆时针旋转到目标的方向线所成的夹角。例如,方向线可以如图所示的线段P-P”。
摄像头拓扑数据可以反应一定区域内的多条路段上的摄像头分布和连通情况。摄像头拓扑数据包括link和node的数据,node代表摄像头,node之间可以由link连接,link代表摄像头之间的路段,node的数据包括摄像头的地理坐标还可以包括该node的编号,link的数据包括link两端的node的数据,还可以包括link所在路段的限行速度。
可选的,根据目标移动路径的相关参数在摄像头拓扑数据中查找与目标的移动路径匹配的link,相关参数可以包括:方向相似度、归一化距离因子和速度相似度。
计算出目标的移动路径后,将目标的移动路径与摄像头拓扑数据中多条link进行拟合,计算出摄像头拓扑数据中的多条link与目标的移动路径的拟合系数,选取拟合系数最高的link。
其中,摄像头拓扑数据中的多条link可以为以目标的位置坐标为起点在预设半径内的link;假设目标的位置坐标为P(x,y,z),r为预设半径。以P为圆心,取P(x,y,z)到摄像头拓扑数据中link Li的垂足点Oi(xi,yi),POi的长度是P点到link Li的距离,选取满足POi≤r条件的link。
可选的,拟合系数可根据目标的移动方向分别与摄像头拓扑数据中的多条link的方向相似度得出。假设有N条link,方向相似度为cosθi,θi为目标的移动方向和摄像头拓扑数据中的第i条link—link Li之间的夹角,夹角越小,方向相似度越高,拟合系数越大,拟合程度越高。link Li的两端的node的地理坐标假设为A(A1,A2)和B(B1,B2),则link Li的方向角为D’,则:
θ=|D’-D|
可选的,拟合系数还可以根据方向相似度和其他因素计算得出,其他因素例如归一化距离因子和速度相似度两者或者两者中的任意一个。
归一化距离因子由link距离目标特征的地理坐标的距离计算得出,目标特征的地理坐标为P(x1,y1,z1),取P(x1,y1,z1)到摄像头拓扑数据多条link中link Li的垂足点Oi(Xi,Yi),如果Oi在link Li上,则POi的长度是P到Li的距离。归一化距离因子Pi越小代表该link距离目标的移动路径越近:
速度相似度为目标的移动速度分别与摄像头拓扑数据中的link的限行速度的相似度,摄像头拓扑数据中link Li的限行速度为Vi,目标的移动速度为V,则摄像头拓扑数据中link Li的限行速度Vi与目标的移动速度V的相似度为Si:
RP,RD,Rv分别为归一化距离因子、方向相似度、速度相似度的加权值相似度三种因素权值,并且满足限制RP+RD+Rv=1,例如可取值:RP=0.5,RD=0.4,Rv=0.1。求加权后三种因素的数值最高的link,则为与目标移动路径拟合的link L,与目标移动路径拟合的linkL:
L=max(Pi×RP+cosθi×RD+Si×RV)
从摄像头拓扑数据中获得与目标的移动路径拟合的中的link后,根据与移动路径拟合的link及摄像头拓扑数据调度摄像头对目标进行跟踪。如图8所示,link L1、L2和L3为与目标的移动路径P-P”拟合的link,则调度该link上的摄像头(node1、node2和node3),
可选的,还可以调度与这些link相连接的link上的摄像头进行目标跟踪(例如node4)。
现有技术中是以目标所在位置为中心,以一定的预设距离为半径,调度这个范围内的所有摄像头实时捕捉可疑目标,实现对可疑目标的跟踪。本申请中依据目标的移动路径进行摄像头的调度具有更高的命中率,形成对目标的有效追踪,提升对目标的追踪效率,增加对多目标追踪的并发率。
摄像头拓扑数据可以存储在数据库215中,该摄像头拓扑数据的生成可以由目标跟踪装置200中的摄像头拓扑建模模块217实现,具体包括以下步骤:
步骤401:获取摄像头地理坐标
摄像头的地理坐标可以从摄像头位置数据中获得。可以在摄像头安装施工过程中利用相关附属物或利用GPS测量并记录摄像头的位置信息,建立GIS数据库。其中,位置信息可以包括地理坐标系中的三维坐标数据,具体的,可以包括经度、纬度和高度的坐标值。
步骤402:将摄像头地理坐标与路网数据拟合,生成摄像头拓扑数据。
路网数据是现实路段的数据在计算机中的映射,包含国道、省道、城市道路、乡村道路等。路网数据中记录了现实路段的地理坐标。
按照摄像头的地理坐标,计算路网数据中的该摄像头周边的路段的直线距离,将到摄像头地理坐标直线距离最短的路段作为摄像头所在的路段,将摄像头拟合到路网数据上的路段中,摄像头在所在路段的垂足为摄像头在该路段上的拟合点即node。例如如图9所示,点O代表某一摄像头,L1和L2代表摄像头O周边的路段,假设L1和L2。点O到L1做垂线,垂足为点A,点C到线L2做垂线,垂足为点B,则点C到线L1的距离为线段AC的长度,点C到线L2的距离为线段BC的长度。假如线段AC的长度小于线段BC的长度,则路段L1为摄像头O所在的路段,垂足点A为摄像头O拟合在电子地图上的node,原路段L1被node点A分为两个link。
将摄像头位置数据中的摄像头拟合到路网数据中的路段,形成摄像头拓扑数据,node代表拟合路段上的摄像头,link代表摄像头之间的路段,形成的摄像头拓扑示意图如图8所示。摄像头拓扑数据包括link和node的数据,node的数据包括摄像头的地理坐标还可以包括该node的编号,link的数据包括link两端的node的数据,还可以包括link代表的路段的限行速度和该link与其他link的连接关系。
下面具体介绍参考特征数据的生成,参考特征数据的生成可以由目标跟踪装置200中的数据库生成模块216完成,具体可包括如下步骤:
步骤501:获取地图图像特征和第二图像特征以及地图图像特征的地理坐标,地图图像特征为从地图图像中提取的图像特征,第二图像特征为从摄像头拍摄的历史图像中提取的图像特征;
本申请实施例中提到的地理坐标是在现实世界中位于地理坐标系下的地理坐标,该地理坐标可以为二维坐标,即包括经度和纬度,也可以为三维坐标,即包括经度、纬度和高度。地图图像特征以及地图图像特征的位置信息可以从地图数据库中获得。地图图像特征是对地图图像进行特征提取获得的图像特征,这里的地图图像可以为三维实景地图。三维实景地图是根据采集的现实地理信息为基础的一种直观的地理实景的模拟表现形式。三维实景地图数据可记录地图上每一处的地理坐标,则可得知三维实景地图中的每个图像特征的地理坐标。数据库生成模块216对摄像头回传的历史视频数据进行处理后得到单帧的历史图像,对单帧历史图像进行特征提取后获得的图像特征称为第二图像特征。其中,摄像头回传的历史视频数据可以是多个摄像头各自的历史视频数据,也可以表示为某一个摄像头回传的历史视频数据。其中,地图图像特征和第二图像特征的特征提取的算法可以为SIFT算法或SURF算法或ORB算法或前述三种算法的改进算法,在此不做限定。
可选的,还包括计算出第二图像特征的在历史图像中的像素坐标。
可选的,第二图像特征为从摄像头拍摄的历史图像中提取的图像特征中选取的稳定的图像特征。其中,稳定的图像特征可以为在运动、亮度、视角等变化下鲁棒性好的图像特征,例如建筑物或路面标识对应的图像特征。
可选的,从历史图像中提取第二图像特征后,所述方法还包括:对所述第二图像特征进行特征训练。
具体的,对第二图像特征进行特性训练选出在运动、亮度、视角等变化下鲁棒性好的稳定特征。
可选的,从多帧历史图像中取不同时间的历史图像,通过图像差分算法,计算出历史图像中的运动物体,例如人和车。以帧间差分算法为例,帧间差分算法通过对多帧历史图像做差分运算获取运动目标轮廓。当监控视野中出现运动物体时,相邻两帧历史图像之间会出现较为明显的差别,两帧相减,求得历史图像对应位置的像素值差的绝对值,判断其是否大于某一阈值,进而分析视频或图像序列的物体运动特性。
可选的,从多帧历史图像中取不同亮度图片,可以通过频域高通滤波算法,计算出对亮度变化敏感的特征;
可选的,从多帧历史图像中取不同季节图片,对特征多样性建模,保留多个季节敏感特征,例如树、草坪;因为图像特征季节差异性较大,例如如果摄像头位于林荫道上,摄像头采集的图像中的特征在不同季节有较大差异,夏季的监控图像提取的特征与冬季的监控图像提取的特征很难匹配。因此,针对因季节不同而存在较大差异的物体,提取该物体在不同季节中分别对应的特征。
可选的,从多帧历史图像中取不同视角图片,可以通过频域高通滤波算法,计算并消除不同视角下变化巨大的特征;
步骤502:对地图图像特征和第二图像特征进行特征匹配,将与第二图像特征一致的地图图像特征的地理坐标与第二图像特征对应;
地图图像特征和第二图像特征匹配成功时,因为地图图像特征具有对应的地理坐标,因此第二图像特征获得了对应的地理坐标。特征匹配的算法可以为SIFT算法或SURF算法或ORB算法或前述三种算法的改进算法,在此不做限定。
步骤503:存储第二图像特征与对应的地理坐标的对应关系;
具体的可以按照表格形式存储第二图像特征和其对应的地理坐标。
可选的,将第二图像特征与对应的地理坐标分组存储,其中,一个组内的第二图像特征为位于历史图像中同一个网格内的图像特征,网格为历史图像被划分成的多个网格中的一个网格。确定第二图像特征的地理坐标之后,将历史图像划分成多个网格,同一网格中的第二图像特征为一个组。其中,每个网格可以为m*m个像素单元组成。像素坐标位于同一个网格内的第二图像特征作为一个组。例如图5所示,将历史图像划分成3*4个网格,每个网格为6*6个像素单元组成,则处于同一网格内的第二图像特征A、第二图像特征B和第二图像特征C组成一个组。
可选的,还根据每个网格中的所有第二图像特征及所有第二图像特征分别对应的像素坐标保存在参考特征数据库中。
第二图像特征的相关信息可以如表1所示的数据格式记录在参考特征数据库中,可以存储在目标跟踪装置200的存储器中,相关信息可以包括特征数据、特征的像素坐标、特征的地理坐标、摄像头编号,还可以包括特征组所在的网格编号或网格范围。其中,地理坐标可以是三维地理坐标,包括经度纬度高度。摄像头编号为提取出该特征的历史图像对应的摄像头的编号。
表1
摄像头编号 | 像素坐标 | 特征数据 | 地理坐标 | 网格编号 |
参考特征数据库中还包括了每个特征所处的网格编号,划分网格使得参考特征在历史图像内均匀分布,当目标出现在摄像头视野范围的任何位置时,都能在建立起像素坐标系计算目标特征的地理坐标,实现目标的准确定位。
本申请实施例提供的目标跟踪装置可以为前述监控管理系统100的部分或全部,其装置示意图参见图10。目标跟踪装置600可包括处理器601、存储器602、通信接口603、输入设备604和输出设备605。上述处理器601、存储器602、通信接口603、输入设备604和输出设备605等可通过通信总线606连接。通信接口603用于与网元通信,以建立目标跟踪装置600与网元的通信连接。其中,输入设备604用于监控视频或监控图像等待处理数据的输入。存储器602可用于存储计算机程序和数据库等数据。处理器601可用于从存储器602中读取计算机程序并促使目标跟踪装置600执行本申请提供的目标跟踪方法。输出设备605可以为显示器607,可用于显示监控视频/图像和目标跟踪结果。存储器602还可用于保存目标跟踪结果。目标跟踪结果可以包括目标位置和目标的移动方向、移动速度、移动路径。
存储器602还可用于存储计算机程序。具体地,可以包括计算机操作指令。存储器602包括但不限于是随机存储记忆体(random access memory,RAM)、只读存储器(read-only memory,ROM)、可擦除可编程只读存储器(erasable programmable read onlymemory,EPROM)、或便携式只读存储器(compact disc read-only memory,CD-ROM)。图10中仅示出了一个存储器,当然,存储器也可以根据需要,设置为多个。存储器602也可以是处理器601中的存储器,在此不做限制。
处理器601可以是一个或多个中央处理器(central processing unit,CPU)。在处理器601是一个CPU的情况下,该CPU可以是单核CPU,也可以是多核CPU。上述的处理器601可以是通用处理器、数字信号处理器(digital signal processing,DSP)、专用集成电路(application specific integrated circuit,ASIC)、现场可编程门阵列(field-programmable gate array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件,可以实现或者执行本申请实施例提供的目标跟踪方法。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
输入设备604可包括至少一个监控摄像头608。输入设备604可用于输入待处理的数据,例如监控视频、图像等待处理数据;监控视频输入到目标跟踪系统600之后,处理器601可用于执行本申请实施例提出的目标跟踪方法,处理器601完成对目标的跟踪,则可将结果显示于显示器607上。
尽管已描述了本申请中一些可能的实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括本申请实施例以及落入本申请范围的所有变更和修改。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
Claims (22)
1.一种目标跟踪方法,其特征在于,包括:
获取摄像头拍摄的实时图像中目标特征和所述目标特征所在位置的多个第一图像特征,所述目标特征为所述实时图像中针对目标提取的图像特征,所述第一图像特征为所述实时图像中所述目标特征所在位置的标志性物体对应的图像特征或所述实时图像中以所述目标特征为中心的指定范围内的图像特征;
通过特征匹配的方式,从数据库中查找到多个所述第一图像特征的地理坐标,所述数据库中存储有图像特征与地理坐标的对应关系;
通过计算找到与多个所述第一图像特征的地理坐标之间的距离趋于一致的地理坐标,并将与多个所述第一图像特征的地理坐标之间的距离趋于一致的地理坐标作为所述目标特征的地理坐标;
根据所述目标特征的地理坐标调度摄像头对所述目标进行跟踪。
2.根据权利要求1所述的方法,其特征在于,所述通过计算找到与多个所述第一图像特征的地理坐标之间的距离趋于一致的地理坐标包括:
计算出多个所述第一图像特征的地理坐标的平均值,多个所述第一图像特征的地理坐标的平均值作为所述目标特征的地理坐标。
3.根据权利要求1所述的方法,其特征在于,所述通过计算找到与多个所述第一图像特征的地理坐标之间的距离趋于一致的地理坐标包括:
计算出多个所述第一图像特征的地理坐标的平均值,将修正后的所述多个第一图像特征的地理坐标的平均值作为所述目标特征的地理坐标。
4.根据权利要求1所述的方法,其特征在于,所述通过计算找到与多个所述第一图像特征的地理坐标之间的距离趋于一致的地理坐标包括:
通过计算找到与所述多个第一图像特征的地理坐标之间的距离的方差值最小的地理坐标,所述与多个第一图像特征的地理坐标之间的距离的方差值最小的地理坐标作为所述目标特征的地理坐标。
5.根据权利要求1所述的方法,其特征在于,所述通过计算找到与多个所述第一图像特征的地理坐标之间的距离趋于一致的地理坐标包括:
通过计算找到与所述多个第一图像特征的地理坐标之间的距离的方差值与距离权值的乘积最小的地理坐标,所述与多个第一图像特征的地理坐标之间的距离的方差值与距离权值的乘积最小的地理坐标作为所述目标特征的地理坐标。
6.根据权利要求1-5任一项所述的方法,其特征在于,所述从数据库中查找到所述第一图像特征的地理坐标之前,所述方法还包括:
获取地图图像特征和第二图像特征以及所述地图图像特征的地理坐标,所述地图图像特征为从地图图像中提取的图像特征,所述第二图像特征为从所述摄像头拍摄的历史图像中提取的图像特征;
对所述地图图像特征和所述第二图像特征进行特征匹配,将与所述第二图像特征一致的地图图像特征的地理坐标与所述第二图像特征对应;
存储所述第二图像特征与对应的地理坐标的对应关系;
所述从数据库中查找到所述第一图像特征的地理坐标,包括:
从所述数据库中查找并获取与所述第一图像特征一致的第二图像特征对应的地理坐标,其中,将与所述第一图像特征一致的第二图像特征对应的地理坐标作为所述第一图像特征的地理坐标。
7.根据权利要求6所述的方法,其特征在于,所述第二图像特征为从所述摄像头拍摄的历史图像中提取的图像特征中选取的稳定的图像特征。
8.根据权利要求6所述的方法,其特征在于,
所述存储所述第二图像特征与对应的地理坐标的对应关系,包括:
将所述第二图像特征与对应的地理坐标分组存储,其中,一个组内的所述第二图像特征为位于所述历史图像中同一个网格内的图像特征,所述网格为所述历史图像被划分成的多个网格中的一个网格。
9.根据权利要求8所述的方法,其特征在于,所述获取摄像头拍摄的实时图像中目标特征和所述目标特征所在位置的第一图像特征包括:
获取所述摄像头拍摄的实时图像中目标特征和所述目标特征所在位置的多个第一图像特征,所述多个第一图像特征为位于所述实时图像中同一个网格内的图像特征,所述网格为所述实时图像被划分成的多个网格中的一个网格;所述实时图像所划分的网格的像素坐标范围与所述历史图像所划分的网格的像素坐标范围相同;
对应的,所述从数据库中查找到所述第一图像特征的地理坐标,包括:
查找与所述多个第一图像特征在同一网格的第二图像特征,将所述多个第一图像特征与所述在同一网格的第二图像特征进行特征匹配,当匹配一致的所述第二图像特征的数量达到所述网格内第二图像特征的数量的预设比例时,将所述匹配一致的第二图像图像的地理坐标分别作为对应的第一图像特性的地理坐标,所述预设比例的范围为大于0,且小于等于1。
10.根据权利要求1-5任一项所述的方法,其特征在于,所述根据所述目标特征的地理坐标调度摄像头对所述目标进行跟踪包括:
根据不同时间下所述目标特征的地理坐标计算所述目标的移动路径;
根据所述目标的移动路径在摄像头拓扑数据中查找与所述目标的移动路径匹配的link,调度所述匹配的link上的摄像头对所述目标进行跟踪,所述摄像头拓扑数据包括多条link中每条link上的摄像头的地理坐标。
11.一种目标跟踪装置,其特征在于,所述目标跟踪装置包括目标识别模块、目标定位模块和摄像头管理模块:
所述目标识别模块用于获取摄像头拍摄的实时图像中目标特征和所述目标特征所在位置的第一图像特征,所述目标特征为所述实时图像中针对目标提取的图像特征,所述第一图像特征为所述实时图像中所述目标特征所在位置的标志性物体对应的图像特征或所述实时图像中以所述目标特征为中心的指定范围内的图像特征;
所述目标定位模块用于通过特征匹配的方式,从数据库中查找到所述第一图像特征的地理坐标,所述数据库中存储有图像特征与地理坐标的对应关系;通过计算找到与多个所述第一图像特征的地理坐标之间的距离趋于一致的地理坐标,并将与所述多个第一图像特征的地理坐标之间的距离趋于一致的地理坐标作为所述目标特征的地理坐标;
所述摄像头管理模块用于根据所述目标特征的地理坐标调度摄像头对所述目标进行跟踪。
12.根据权利要求11所述的装置,其特征在于,所述目标定位模块具体用于:
计算出所述多个第一图像特征的地理坐标的平均值,所述多个第一图像特征的地理坐标的平均值作为与所述多个第一图像特征的地理坐标之间的距离趋于一致的地理坐标。
13.根据权利要求11所述的装置,其特征在于,所述目标定位模块具体用于:
计算出多个所述第一图像特征的地理坐标的平均值,将修正后的所述多个第一图像特征的地理坐标的平均值作为所述目标特征的地理坐标。
14.根据权利要求11所述的装置,其特征在于,所述目标定位模块具体用于:
通过计算找到与所述多个第一图像特征的地理坐标之间的距离的方差值最小的地理坐标,所述与多个第一图像特征的地理坐标之间的距离的方差值最小的地理坐标作为与所述多个第一图像特征的地理坐标之间的距离趋于一致的地理坐标。
15.根据权利要求11所述的装置,其特征在于,所述目标定位模块具体用于:
通过计算找到与所述多个第一图像特征的地理坐标之间的距离的方差值与距离权值的乘积最小的地理坐标,所述与多个第一图像特征的地理坐标之间的距离的方差值与距离权值的乘积最小的地理坐标作为所述目标特征的地理坐标。
16.根据权利要求11-15任一项所述的装置,其特征在于,所述装置还包括数据库生成模块:
所述数据库生成模块用于:
获取地图图像特征和第二图像特征以及所述地图图像特征的地理坐标,所述地图图像特征为从地图图像中提取的图像特征,所述第二图像特征为从所述摄像头拍摄的历史图像中提取的图像特征;对所述地图图像特征和所述第二图像特征进行特征匹配,将与所述第二图像特征一致的地图图像特征的地理坐标与所述第二图像特征对应;存储所述第二图像特征与对应的地理坐标的对应关系;
所述目标定位模块具体用于:
从所述数据库中查找并获取与所述第一图像特征一致的第二图像特征的地理坐标,其中,将与所述第一图像特征一致的第二图像特征的地理坐标作为所述第一图像特征的地理坐标。
17.根据权利要求16所述的装置,其特征在于,所述第二图像特征为从所述摄像头拍摄的历史图像中提取的图像特征中选取的稳定的图像特征。
18.根据权利要求16所述的装置,其特征在于,所述数据库生成模块具体用于:
将所述第二图像特征与对应的地理坐标分组存储,其中,一个组内的所述第二图像特征为位于所述历史图像中同一个网格内的图像特征,所述网格为所述历史图像被划分成的多个网格中的一个网格。
19.根据权利要求18所述的装置,其特征在于,所述目标识别模块具体用于:
获取所述摄像头拍摄的实时图像中目标特征和所述目标特征所在位置的多个第一图像特征,所述多个第一图像特征为位于所述实时图像中同一个网格内的图像特征,所述网格为所述实时图像被划分成的多个网格中的一个网格;所述实时图像所划分的网格的像素坐标范围与所述历史图像所划分的网格的像素坐标范围相同;
所述目标定位模块具体用于:
查找与所述多个第一图像特征在同一网格的第二图像特征,将所述多个第一图像特征与所述在同一网格的第二图像特征进行特征匹配,当匹配一致的所述第二图像特征的数量达到所述网格内第二图像特征的数量的预设比例时,将所述匹配一致的第二图像图像的地理坐标分别作为对应的第一图像特性的地理坐标,所述预设比例的范围为大于0,且小于等于1。
20.根据权利要求11-15任一项所述的装置,其特征在于,所述装置还包括移动状态计算模块:
所述移动状态计算模块用于根据不同时间下所述目标特征的地理坐标计算所述目标的移动路径;
所述摄像头管理模块具体用于:根据所述目标的移动路径在摄像头拓扑数据中查找与所述目标的移动路径匹配的link,调度所述匹配的link上的摄像头对所述目标进行跟踪,所述摄像头拓扑数据包括多条link中每条link上的摄像头的地理坐标。
21.一种计算机系统,其特征在于,所述计算机系统包括处理器和存储器,其中存储器用于存储计算机程序,所述处理器用于从所述存储器中读取计算机程序并执行权利要求1-10任意一项权利要求所述的方法。
22.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储用于实现权利要求1-10任意一项权利要求所述的方法的计算机程序。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810653440.5A CN110636248B (zh) | 2018-06-22 | 2018-06-22 | 目标跟踪方法与装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810653440.5A CN110636248B (zh) | 2018-06-22 | 2018-06-22 | 目标跟踪方法与装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110636248A CN110636248A (zh) | 2019-12-31 |
CN110636248B true CN110636248B (zh) | 2021-08-27 |
Family
ID=68967137
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810653440.5A Active CN110636248B (zh) | 2018-06-22 | 2018-06-22 | 目标跟踪方法与装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110636248B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111260727B (zh) * | 2020-02-19 | 2023-06-20 | 广州海格星航信息科技有限公司 | 一种基于图像处理的网格定位方法、装置及存储介质 |
US11403856B2 (en) * | 2020-08-26 | 2022-08-02 | Ford Global Technologies, Llc | Group object-tracking |
CN113066100B (zh) * | 2021-03-25 | 2024-09-10 | 东软睿驰汽车技术(沈阳)有限公司 | 目标跟踪方法、装置、设备及存储介质 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102176246A (zh) * | 2011-01-30 | 2011-09-07 | 西安理工大学 | 一种多相机目标接力跟踪系统的相机接力关系确定方法 |
CN102685460A (zh) * | 2012-05-17 | 2012-09-19 | 武汉大学 | 一种集成可量测实景影像和电子地图的视频监控巡航方法 |
CN103424113A (zh) * | 2013-08-01 | 2013-12-04 | 毛蔚青 | 移动终端基于图像识别技术的室内定位与导航方法 |
CN103747207A (zh) * | 2013-12-11 | 2014-04-23 | 深圳先进技术研究院 | 基于视频监控网络的定位与追踪方法 |
CN104156982A (zh) * | 2014-07-31 | 2014-11-19 | 华为技术有限公司 | 运动目标跟踪方法和装置 |
CN104700408A (zh) * | 2015-03-11 | 2015-06-10 | 中国电子科技集团公司第二十八研究所 | 一种基于摄像机网络的室内单目标定位方法 |
CN105163281A (zh) * | 2015-09-07 | 2015-12-16 | 广东欧珀移动通信有限公司 | 一种室内定位方法及用户终端 |
CN105338248A (zh) * | 2015-11-20 | 2016-02-17 | 成都因纳伟盛科技股份有限公司 | 智能多目标主动跟踪监控方法及系统 |
CN105979203A (zh) * | 2016-04-29 | 2016-09-28 | 中国石油大学(北京) | 一种多摄像机协同监控方法及装置 |
CN106023139A (zh) * | 2016-05-05 | 2016-10-12 | 北京圣威特科技有限公司 | 一种基于多摄像机的室内跟踪定位方法和系统 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102110296A (zh) * | 2011-02-24 | 2011-06-29 | 上海大学 | 一种复杂场景下的运动目标跟踪方法 |
CN103583037B (zh) * | 2011-04-11 | 2017-04-26 | 菲力尔系统公司 | 红外相机系统和方法 |
US9299160B2 (en) * | 2012-06-25 | 2016-03-29 | Adobe Systems Incorporated | Camera tracker target user interface for plane detection and object creation |
CN104034316B (zh) * | 2013-03-06 | 2018-02-06 | 深圳先进技术研究院 | 一种基于视频分析的空间定位方法 |
CN106355602B (zh) * | 2016-08-26 | 2018-10-19 | 杨百川 | 一种多目标定位跟踪视频监控方法 |
-
2018
- 2018-06-22 CN CN201810653440.5A patent/CN110636248B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102176246A (zh) * | 2011-01-30 | 2011-09-07 | 西安理工大学 | 一种多相机目标接力跟踪系统的相机接力关系确定方法 |
CN102685460A (zh) * | 2012-05-17 | 2012-09-19 | 武汉大学 | 一种集成可量测实景影像和电子地图的视频监控巡航方法 |
CN103424113A (zh) * | 2013-08-01 | 2013-12-04 | 毛蔚青 | 移动终端基于图像识别技术的室内定位与导航方法 |
CN103747207A (zh) * | 2013-12-11 | 2014-04-23 | 深圳先进技术研究院 | 基于视频监控网络的定位与追踪方法 |
CN104156982A (zh) * | 2014-07-31 | 2014-11-19 | 华为技术有限公司 | 运动目标跟踪方法和装置 |
CN104700408A (zh) * | 2015-03-11 | 2015-06-10 | 中国电子科技集团公司第二十八研究所 | 一种基于摄像机网络的室内单目标定位方法 |
CN105163281A (zh) * | 2015-09-07 | 2015-12-16 | 广东欧珀移动通信有限公司 | 一种室内定位方法及用户终端 |
CN105338248A (zh) * | 2015-11-20 | 2016-02-17 | 成都因纳伟盛科技股份有限公司 | 智能多目标主动跟踪监控方法及系统 |
CN105979203A (zh) * | 2016-04-29 | 2016-09-28 | 中国石油大学(北京) | 一种多摄像机协同监控方法及装置 |
CN106023139A (zh) * | 2016-05-05 | 2016-10-12 | 北京圣威特科技有限公司 | 一种基于多摄像机的室内跟踪定位方法和系统 |
Also Published As
Publication number | Publication date |
---|---|
CN110636248A (zh) | 2019-12-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Fan et al. | Pothole detection based on disparity transformation and road surface modeling | |
Alcantarilla et al. | Street-view change detection with deconvolutional networks | |
CN107818571B (zh) | 基于深度学习网络和均值漂移的船只自动跟踪方法及系统 | |
WO2021196294A1 (zh) | 一种跨视频人员定位追踪方法、系统及设备 | |
CN109598794B (zh) | 三维gis动态模型的构建方法 | |
JST | Change detection from a street image pair using cnn features and superpixel segmentation | |
US10043097B2 (en) | Image abstraction system | |
CN105046235B (zh) | 车道线的识别建模方法和装置、识别方法和装置 | |
WO2012177336A2 (en) | Systems and methods for estimating the geographic location at which image data was captured | |
Nyaruhuma et al. | Verification of 2D building outlines using oblique airborne images | |
CN110636248B (zh) | 目标跟踪方法与装置 | |
US20230065774A1 (en) | Computer Vision Systems and Methods for Modeling Three-Dimensional Structures Using Two-Dimensional Segments Detected in Digital Aerial Images | |
CN113012215A (zh) | 一种空间定位的方法、系统及设备 | |
CN112541403B (zh) | 一种利用红外摄像头的室内人员跌倒检测方法 | |
CN112215205B (zh) | 目标识别方法、装置、计算机设备和存储介质 | |
CN112634368A (zh) | 场景目标的空间与或图模型生成方法、装置及电子设备 | |
CN112285733A (zh) | 一种城乡规划核实测绘数据处理方法 | |
Xiao et al. | Geo-spatial aerial video processing for scene understanding and object tracking | |
Guo et al. | Extraction of dense urban buildings from photogrammetric and LiDAR point clouds | |
CN113450457B (zh) | 道路重建方法、装置、计算机设备和存储介质 | |
CN115588047A (zh) | 一种基于场景编码的三维目标检测方法 | |
Li et al. | Road-network-based fast geolocalization | |
WO2021138372A1 (en) | Feature coverage analysis | |
CN117367404A (zh) | 基于动态场景下slam的视觉定位建图方法及系统 | |
CN113836251B (zh) | 一种认知地图构建方法、装置、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |