CN105678808A - 运动目标跟踪方法及装置 - Google Patents

运动目标跟踪方法及装置 Download PDF

Info

Publication number
CN105678808A
CN105678808A CN201610011725.XA CN201610011725A CN105678808A CN 105678808 A CN105678808 A CN 105678808A CN 201610011725 A CN201610011725 A CN 201610011725A CN 105678808 A CN105678808 A CN 105678808A
Authority
CN
China
Prior art keywords
parameter
prediction
image
moving target
reference point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610011725.XA
Other languages
English (en)
Inventor
徐晨维
吴辉
徐颖华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Uniview Technologies Co Ltd
Original Assignee
Zhejiang Uniview Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Uniview Technologies Co Ltd filed Critical Zhejiang Uniview Technologies Co Ltd
Priority to CN201610011725.XA priority Critical patent/CN105678808A/zh
Publication of CN105678808A publication Critical patent/CN105678808A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Image Analysis (AREA)

Abstract

本申请是关于运动目标跟踪方法及装置,该方法包括:以监控画面的一个像素点为参考点,从监控画面中获取运动目标;根据当前帧图像以及当前帧之前的历史帧图像计算所述运动目标在帧间的运动矢量;通过所述运动目标在帧间的运动矢量预测所述运动目标在预设间隔帧数后的帧图像中的预测位置,其中,所述预设间隔帧数大于或等于监控设备采集监控图像的延时帧数;根据参考点与运动目标的预测位置的位置差值,计算摄像设备的预测调整参数;根据所述预测调整参数调整摄像设备,将运动目标从预测位置调整到所述参考点。本发明实施例能使摄像设备提前转动,减小延时对目标跟踪带来的不良影响,从而提高目标跟踪的准确性。

Description

运动目标跟踪方法及装置
技术领域
本申请涉及图像处理技术领域,尤其涉及运动目标跟踪方法及装置。
背景技术
随着图像处理技术的快速发展,在智能监控系统中对摄像画面的运动物体进行跟踪的运用越来越广泛,被跟踪的物体在一定时间内、范围内连续的运动,该功能需要控制被跟踪的物体始终出现在摄像画面的中央,因此需要提供实时性、连续性的云台控制操作。
相关技术中,由于摄像设备在处理图像时,与传感器采集时间存在一定的延时,因此常常造成当前处理的图像与实际采集图像的不同步,由于这个不同步的存在,导致云台的转动与实际被跟踪物体的位置之间也存在不同步的现象,从而造成跟踪误差,导致物体跟踪准确率变低。
发明内容
为克服相关技术中存在的问题,本申请提供了运动目标跟踪方法及装置。
根据本申请实施例的第一方面,提供一种运动目标跟踪方法,所述方法包括:
以监控画面的一个像素点为参考点,从监控画面中获取运动目标;
根据当前帧图像以及当前帧之前的历史帧图像计算所述运动目标在帧间的运动矢量;
通过所述运动目标在帧间的运动矢量预测所述运动目标在预设间隔帧数后的帧图像中的预测位置,其中,所述预设间隔帧数大于或等于监控设备采集监控图像的延时帧数;
根据参考点与运动目标的预测位置的位置差值,计算摄像设备的预测调整参数;
根据所述预测调整参数调整摄像设备,将运动目标从预测位置调整到所述参考点。
可选的,所述根据当前帧图像以及当前帧之前的历史帧图像计算所述运动目标在帧间的运动矢量,包括:
根据当前帧图像以及当前帧以前的历史帧图像,利用运动目标轨迹数学模型计算所述运动目标在帧间的运动矢量;
所述方法还包括:
获取所述运动目标在当前帧图像中的实际位置;
根据所述实际位置与所述位置差值矫正预存的运动目标轨迹数学模型。
可选的,所述根据参考点与运动目标的预测位置的位置差值,计算摄像设备的预测调整参数,包括:
根据下式计算所述预测调整参数:
Δ α = α · Δ x W Δ β = β · Δ y H
其中,Δα为预测调整参数中的横向转动角度,Δβ为预测调整参数中的纵向转动角度,α为图像的最大横向视角,β为图像的最大纵向视角,Δx为预测位置与参考点的横向坐标差,Δy为预测位置与参考点的纵向坐标差,W为图像的横向像素点个数,H为图像的纵向像素点个数。
可选的,所述根据所述预测调整参数调整所述摄像设备,包括:
获取所述运动目标在当前帧图像中的实际位置;
根据所述实际位置与参考点的实际差异,计算摄像设备将运动目标从所述实际位置调整至参考点的修正参数;
根据所述预测调整参数和修正参数调整所述摄像设备。
可选的,所述根据所述预测调整参数调整所述摄像设备,包括:
获取当前调整所述摄像设备的实际调整参数;
对比所述实际调整参数与预存的所述当前帧图像的预测调整参数的差异,获得失步调整参数;
根据所述预测调整参数和失步调整参数调整所述摄像设备。
根据本申请实施例的第二方面,提供一种运动目标跟踪装置,所述装置包括:
运动目标获取模块,用于以监控画面的一个像素点为参考点,从监控画面中获取运动目标;
运动矢量计算模块,用于根据当前帧图像以及当前帧之前的历史帧图像计算所述运动目标在帧间的运动矢量;
预测位置计算模块,用于通过所述运动目标在帧间的运动矢量预测所述运动目标在预设间隔帧数后的帧图像中的预测位置,其中,所述预设间隔帧数大于或等于监控设备采集监控图像的延时帧数;
预测调整参数计算模块,用于根据参考点与运动目标的预测位置的位置差值,计算摄像设备的预测调整参数;
调整模块,用于根据所述预测调整参数调整摄像设备,将运动目标从预测位置调整到所述参考点。
可选的,所述运动矢量计算模块,包括:
运动矢量计算模块,用于根据当前帧图像以及当前帧以前的历史帧图像,利用运动目标轨迹数学模型计算所述运动目标在帧间的运动矢量;
所述装置还包括:
实际位置获取模块,用于获取所述运动目标在当前帧图像中的实际位置;
模型矫正模块,用于根据所述实际位置与所述位置差值矫正预存的运动目标轨迹数学模型。
可选的,所述预测调整参数计算模块,包括:
预测调整参数计算子模块,用于根据下式计算所述预测调整参数:
Δ α = α · Δ x W Δ β = β · Δ y H
其中,Δα为预测调整参数中的横向转动角度,Δβ为预测调整参数中的纵向转动角度,α为图像的最大横向视角,β为图像的最大纵向视角,Δx为预测位置与参考点的横向坐标差,Δy为预测位置与参考点的纵向坐标差,W为图像的横向像素点个数,H为图像的纵向像素点个数。
可选的,所述调整模块,包括:
实际位置获取子模块,用于获取所述运动目标在当前帧图像中的实际位置;
修正参数计算子模块,用于根据所述实际位置与参考点的实际差异,计算摄像设备将运动目标从所述实际位置调整至参考点的微调修正参数;
第一调整子模块,用于根据所述预测调整参数和修正参数调整所述摄像设备。
可选的,所述调整模块,包括:
实际调整参数获取子模块,用于获取当前调整所述摄像设备的实际调整参数;
失步调整参数获取子模块,用于对比所述实际调整参数与预存的所述当前帧图像的预测调整参数的差异,获得失步调整参数;
第二调整子模块,用于根据所述预测调整参数和失步调整参数调整所述摄像设备。
本申请的实施例提供的技术方案可以包括以下有益效果:
基于上述技术方案,本发明实施例中,可以通过当前图像和历史图像预测运动目标的运动矢量,根据运动矢量预测运动目标在后续图像中的预测位置,进而计算出摄像设备的调整参数,因此能使摄像设备提前转动,减小延时对运动目标跟踪带来的不良影响,从而提高运动目标跟踪的准确性。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
图1是本申请根据一示例性实施例示出的一种运动目标跟踪方法的流程图。
图2是本申请根据一示例性实施例示出的另一种运动目标跟踪方法的流程图。
图3是本申请根据一示例性实施例示出的一种用于运动目标跟踪装置的框图。
图4是本申请根据一示例性实施例示出的一种运动目标跟踪装置的框图。
图5是本申请根据一示例性实施例示出的另一种运动目标跟踪装置的框图。
图6是本申请根据一示例性实施例示出的另一种运动目标跟踪装置的框图。
图7是本申请根据一示例性实施例示出的另一种运动目标跟踪装置的框图。
图8是本申请根据一示例性实施例示出的另一种运动目标跟踪装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
本发明实施例中提出一种运动目标跟踪方法,可以应用于包括前端设备和管理平台的智能监控系统中。其中,前端设备可以为具有云台的摄像设备等,前端设备用于图像采集,并通过网络将图像传输到管理平台进行后续处理。管理平台可以根据图像检测出运动目标,并控制云台的转动,使摄像设备能跟踪该运动目标。在上述应用场景下,该运动目标跟踪方法具体可以应用于智能监控系统中对运动目标进行跟踪。
如图1所示,图1是本申请根据一示例性实施例示出的一种运动目标跟踪方法的流程图,包括以下步骤101至105:
在步骤101中,以监控画面的一个像素点为参考点,从监控画面中获取运动目标。
在步骤102中,根据当前帧图像以及当前帧之前的历史帧图像计算所述运动目标在帧间的运动矢量。
在步骤103中,通过所述运动目标在帧间的运动矢量预测所述运动目标在预设间隔帧数后的帧图像中的预测位置,其中,所述预设间隔帧数大于或等于监控设备采集监控图像的延时帧数。
在步骤104中,根据参考点与运动目标的预测位置的位置差值,计算摄像设备的预测调整参数。
在步骤105中,根据所述预测调整参数调整摄像设备,将运动目标从预测位置调整到所述参考点。
本发明实施例中,可以通过当前帧图像和历史图像预测运动目标的运动矢量,根据运动矢量预测运动目标在后续图像中的预测位置,进而计算出摄像设备的调整参数,因此能使摄像设备提前转动,减小延时对运动目标跟踪带来的不良影响,从而提高运动目标跟踪的准确性。
其中,摄像设备可以采集到监控画面,该参考点,在实际应用中,可以选取图像的中心位置。该监控画面即视频图像序列,该视频图像序列由连续的帧图像构成,可以从监控画面中获取运动目标,即被跟踪的对象。在视频图像序列中,运动目标的空间位置是随着其运动规律的变化而变化的。
在步骤102中,可以通过当前帧图像以及当前帧之前的历史帧图像计算出运动目标在帧图像间的运动矢量,从而预测其在后续图像中的位置。
其中,运动矢量可以包括运动方向、运动加速度、运动速度或运动距离等。当前帧图像,是指在当前时间采集到的图像。历史帧图像,是指在当前时间之前采集到的图像,历史帧图像的帧数,可以根据实际需要而设定,例如可以为2帧、3帧等数值。
在检测摄像设备采集的帧图像中运动目标的运动矢量时,可以利用运动目标轨迹数学模型进行计算。运动目标轨迹数学模型可以采用相关技术中的运动目标跟踪方法而建立,通常,可以预先建立图像的背景模型,根据图像的背景模型提取出运动目标,进而根据运动目标在多帧图像中的位置规律而建立运动目标轨迹数学模型。
在建立图像的背景模型时,需要获取初始帧图像进行建立,初始帧图像即视频图像序列中包含运动目标的第一帧图像。在获取到包含运动目标的初始帧图像时,可以选取一像素点作为参考点,通过基于背景差分的运动目标检测等方法建立该背景模型。
在步骤103中,通过所述运动目标在帧间的运动矢量预测所述运动目标在预设间隔帧数后的帧图像中的预测位置,其中,所述预设间隔帧数大于或等于监控设备采集监控图像的延时帧数。
其中,被预测的图像为在所述当前帧图像之后的图像。在实际应用中,不同监控系统的摄像设备的延时帧数可能不同,该预设间隔帧数,可以根据实际需要而灵活配置。例如,预设间隔帧数可以根据摄像设备的采集延时而确定,预设间隔帧数可以大于或等于摄像设备的延时帧数。例如,由于摄像设备传感器的采集时间的延时为2帧,则预设帧数可为2帧,也即是待预测帧图像是在当前帧图像2帧之后的图像,从而在应用本发明实施例提供的方法对摄像设备进行调整时,可以抵消上述延时带来的不同步影响。
其中,在当前帧图像预设间隔帧数后的帧图像,可以是指一帧图像,也即是利用历史帧图像和当前帧图像预测后续新一帧图像的调整参数,当时间往后推移,再利用新的历史帧图像和当前帧图像预测后续新一帧图像的调整参数。此种方式的预测准确率高,可以提高目标跟踪准确性。
在当前帧图像预设间隔帧数后的帧图像还可以包括多帧图像,例如可以是2帧、3帧等,也即是利用历史帧图像和当前帧图像预测后续多帧图像的调整参数,此种方式的运算耗能少,运算速度快。
其中,该运动矢量可以是运动方向和运动速度,根据当前帧图像与后续图像的时间间隔,以及速度、时间与距离的关系,以及运动目标在当前帧图像的位置,可以计算出运动目标在后续帧图像中的预测位置,该预测位置可以是运动目标在后续帧图像中的坐标。
在步骤104中,在预测出运动目标的位置后,可以对比预测位置与参考点,获得摄像设备的调整参数。
在一个可选的实现方式中,根据参考点与运动目标的预测位置的位置差值,计算摄像设备的预测调整参数,包括:
根据下式计算所述预测调整参数:
Δ α = α · Δ x W Δ β = β · Δ y H
其中,Δα为预测调整参数中的横向转动角度,Δβ为预测调整参数中的纵向转动角度,α为图像的最大横向视角,β为图像的最大纵向视角,Δx为预测位置与参考点的横向坐标差,Δy为预测位置与参考点的纵向坐标差,W为图像的横向像素点个数,H为图像的纵向像素点个数。
其中,该图像的最大横向视角和最大纵向视角可以通过获取当前摄像设备的摄像参数,并查询镜头的视角倍率对应表而获得。参考点、图像的横向像素点个数及图像的纵向像素点个数可以根据摄像设备采集的图像的参数而确定。通过上述计算方式,可以准确地计算出摄像设备的调整参数。
利用上述实施例提供的方法对运动目标的位置进行预测时,若上述预测存在误差,则在调整摄像设备后,摄像设备采集的帧图像中,运动目标则可能没有处于参考点位置。在一个可选的实现方式中,所述根据参考点与运动目标的预测位置的位置差值,计算摄像设备的预测调整参数,可以包括:
获取所述运动目标在当前帧图像中的实际位置。
根据所述实际位置与参考点的实际差异,计算摄像设备将运动目标从所述实际位置调整至参考点的修正参数。
根据所述预测调整参数和修正参数调整所述摄像设备。
本实施例中,在运动目标进行位置预测的同时,还可以判断当前帧图像中运动目标是否处于参考点位置,当运动目标在当前帧图像没有处于参考点位置时,说明当前摄像设备并没有调整到准确的位置。
因此,可以检测运动目标在当前帧图像中的实际位置,该实际位置可以是坐标,计算所述实际位置的坐标与参考点的坐标的差值,即可以确定该修正参数,进而根据所述预测调整参数和修正参数调整所述摄像设备,从而可以矫正误差,防止误差累积,提高目标跟踪的准确性。
利用上述实施例提供的方法对运动目标的位置进行预测时,若云台内的转动机构,如步进电机存在失步,则有可能造成实际的调整参数与预测调整参数不符。在一个可选的实现方式中,所述根据所述预测调整参数调整所述摄像设备,包括:
获取当前调整所述摄像设备的实际调整参数。
对比所述实际调整参数与预存的所述当前帧图像的预测调整参数的差异,获得失步调整参数。
根据所述预测调整参数和失步调整参数调整所述摄像设备。
本实施例中,对运动目标在后续图像中的位置进行预测的同时,还可以判断当前摄像设备的实际调整参数与当前帧图像的预测调整参数是否有差异。当两者有差异时,说明当前摄像设备并没有按照预测调整参数进行转动。
该预存的当前帧图像的预测调整参数,是指在当前时间之前,应用本实施例方法计算得到的预测调整参数。例如,若当前时间采集的是第7帧图像,则第7帧图像的预测调整参数,是在当前时间之前,由第5帧图像进行运动目标的位置预测而计算得到的预测调整参数。在当前时间在第5帧图像时,预测了第7帧图像的预测调整参数并控制摄像设备进行转动,当时间来到第7帧时,此时采集的是第7帧图像的实际调整参数。对比两者即可获知驱动摄像设备进行转动的转动机构是否存在失步误差。
因此,可以检测当前调整所述摄像设备的实际调整参数,计算实际调整参数与预测调整参数的差异,即可获得失步调整参数,进而根据预测调整参数和失步调整参数转动摄像设备,从而可以矫正失步误差,提高运动目标跟踪的准确性。
其中,上述获取修正参数的方式和获取失步调整参数的方式,在实际应用中,可以择其一种进行实施;也可以两种方式同时实施,在同时实施时,可以根据预测调整参数、修正参数和失步调整参数调整摄像设备。
如图2所示,是根据一示例性实施例示出的另一种运动目标跟踪方法的流程示意图。在该图中,T1至T9表示视频图像序列中连续的9帧图像。T1表示包含运动目标的初始帧图像。在该实施例中,以摄像设备的延时帧数为2帧为例进行说明,因此可以预测运动目标在当前帧图像之后间隔2帧的图像中的位置。可以理解的是,在实际应用中,由于摄像设备的延时帧数还可能是其他帧数,本领域技术人员可以灵活配置该预设间隔帧数。
在本实施例中,该方法可以包括如下步骤201至208:
步骤201,根据初始帧图像,可以以图像中心位置为参考点,建立背景模型,获取运动目标。
步骤202,在后续获取到3帧图像,即T1至T3时,可以根据背景模型建立运动目标轨迹数学模型。
步骤203,根据运动目标轨迹数学模型计算出运动目标的运动矢量。
步骤204,可以根据运动矢量预测T6中运动目标的预测位置。
本实施例中,摄像设备的延时帧数为2帧,因此,通过T1至T3可以预测T6中运动目标的预测位置。
步骤205,根据预测位置与图像中心的位置差值,获得T6的预测调整参数并调整摄像设备。
从T3开始,摄像设备的云台开始转动。因此,起始建立背景模型的参考系发生变化。为使后续对每帧图像的预测仍以起始建立背景模型的参考系为参考,在云台开始转动后采集的图像,在进行运动目标的预测时,需回到初始参考系。
步骤206,当时间到达T6时,可以利用运动目标轨迹数学模型计算所述运动目标在帧间的运动矢量,之后进行T9中运动目标的预测,并获得T9的预测调整参数并调整摄像设备。
步骤207,获取所述运动目标在当前帧图像中的实际位置,即获取T6中运动目标的实际位置。
步骤208,根据所述实际位置与所述位置差值矫正预存的运动目标轨迹数学模型,即根据实际位置与位置差值(即时间在T3计算得到的T6的预测差异)的差值,矫正运动目标轨迹数型(该模型用于计算运动目标在T7中的预测位置)。
本实施例中,可以利用运动目标轨迹数学模型计算运动目标的运动矢量。由于运动目标轨迹数学模型是在初始帧图像,选取一参考点而建立的,当开始调整摄像设备时,参考点的位置与初始帧图像时选取的参考点的位置不同,此时运动目标轨迹数学模型的参考系即发生变化。本公开实施例可以实时矫正,通过计算运动目标在当前帧图像中的实际位置与预测差异的差值,利用该差值即可矫正预存的运动目标轨迹数学模型。
例如,当时间到达T6时,由于在T3对T6中运动目标进行预测并根据预设位置调整了摄像设备,因此调整摄像设备后监控画面中参考点发生的变化为:T6中运动目标的预测位置-原始参考点位置。
因此,为了回到初始参考系矫正运动目标轨迹数学模型,可以计算:T6中运动目标的实际位置-(T6中运动目标的预测位置-参考点),也即是根据所述实际位置与所述位置差值矫正预存的运动目标轨迹数学模型,从而回到初始参考系,实现运动目标轨迹数学模型的矫正,此时,矫正后的运动目标轨迹数学模型可以用于计算运动目标在T7中的预测位置。而在计算运动目标在T6中的预测位置时,采用在T5时刻矫正后的运动目标轨迹数学模型。
图2中,后续每帧图像都可以采用上述方法进行运动目标的位置预测。例如,当时间到达T4、T5等帧图像时,都可以应用上述方法预测运动目标在后续图像中的位置,并对摄像设备进行调整。
基于与上述图1所示的运动目标跟踪方法同样的发明构思,本发明实施例中还提供了一种运动目标跟踪装置,该运动目标跟踪装置可应用在智能监控系统等需要进行运动目标跟踪的处理装置中。其中,该装置可以通过软件实现,也可以通过硬件或者软硬件结合的方式实现。以软件实现为例,作为一个逻辑意义上的装置,是通过其所在的智能监控系统的处理器,将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言,如图3所示,为本发明提出的一种用于智能监控系统的硬件结构图,除了图3所示的处理器、网络接口、内存以及非易失性存储器外,智能监控系统还可以包括其他硬件,如负责处理报文的转发芯片等;从硬件结构上来讲,该智能监控系统还可能是分布式设备,可能包括多个接口卡,以便在硬件层面进行报文处理的扩展。
如图4所示,为本发明根据一示例性实施例示出的运动目标跟踪装置的结构图,所述运动目标跟踪装置,包括:
运动目标获取模块41,用于以监控画面的一个像素点为参考点,从监控画面中获取运动目标。
运动矢量计算模块42,用于根据当前帧图像以及当前帧之前的历史帧图像计算所述运动目标在帧间的运动矢量。
预测位置计算模块43,用于通过所述运动目标在帧间的运动矢量预测所述运动目标在预设间隔帧数后的帧图像中的预测位置,其中,所述预设间隔帧数大于或等于监控设备采集监控图像的延时帧数。
预测调整参数计算模块44,用于根据参考点与运动目标的预测位置的位置差值,计算摄像设备的预测调整参数。
调整模块45,用于根据所述预测调整参数调整摄像设备,将运动目标从预测位置调整到所述参考点。
参照图5所示的运动目标跟踪装置实施例的结构图,在图4所示实施例的基础上,所述运动矢量计算模块42,包括:
实际位置获取子模块421,用于获取所述运动目标在当前帧图像中的实际位置。
所述装置还包括:
实际位置获取模块46,用于获取所述运动目标在当前帧图像中的实际位置。
模型矫正模块47,用于根据所述实际位置与所述位置差值矫正预存的运动目标轨迹数学模型。
参照图6所示的运动目标跟踪装置实施例的结构图,在图4所示实施例的基础上,所述预测调整参数计算模块44,包括:
预测调整参数计算子模块441,用于根据下式计算所述预测调整参数:
Δ α = α · Δ x W Δ β = β · Δ y H
其中,Δα为预测调整参数中的横向转动角度,Δβ为预测调整参数中的纵向转动角度,α为图像的最大横向视角,β为图像的最大纵向视角,Δx为预测位置与参考点的横向坐标差,Δy为预测位置与参考点的纵向坐标差,W为图像的横向像素点个数,H为图像的纵向像素点个数。
参照图7所示的运动目标跟踪装置实施例的结构图,在图4所示实施例的基础上,所述调整模块45,包括:
实际位置获取子模块451,用于获取所述运动目标在当前帧图像中的实际位置。
修正参数计算子模块452,用于根据所述实际位置与参考点的实际差异,计算摄像设备将运动目标从所述实际位置调整至参考点的修正参数。
第一调整子模块453,用于根据所述预测调整参数和修正参数调整所述摄像设备。
参照图8所示的运动目标跟踪装置实施例的结构图,在图4所示实施例的基础上,所述调整模块45,包括:
实际调整参数获取子模块454,用于获取当前调整所述摄像设备的实际调整参数。
失步调整参数获取子模块455,用于对比所述实际调整参数与预存的所述当前帧图像的预测调整参数的差异,获得失步调整参数。
第二调整子模块456,用于根据所述预测调整参数和失步调整参数调整所述摄像设备。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。本领域技术人员可以理解附图只是一个优选实施例的示意图,附图中的模块或流程并不一定是实施本发明所必须的。
本领域技术人员可以理解实施例中的装置中的模块可以按照实施例描述进行分布于实施例的装置中,也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块,也可进一步拆分成多个子模块。上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
以上所述仅为本申请的较佳实施例而已,并不用以限制本申请,凡在本申请的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本申请保护的范围之内。

Claims (10)

1.一种运动目标跟踪方法,其特征在于,所述方法包括:
以监控画面的一个像素点为参考点,从监控画面中获取运动目标;
根据当前帧图像以及当前帧之前的历史帧图像计算所述运动目标在帧间的运动矢量;
通过所述运动目标在帧间的运动矢量预测所述运动目标在预设间隔帧数后的帧图像中的预测位置,其中,所述预设间隔帧数大于或等于监控设备采集监控图像的延时帧数;
根据参考点与运动目标的预测位置的位置差值,计算摄像设备的预测调整参数;
根据所述预测调整参数调整摄像设备,将运动目标从预测位置调整到所述参考点。
2.根据权利要求1所述的方法,其特征在于,所述根据当前帧图像以及当前帧之前的历史帧图像计算所述运动目标在帧间的运动矢量,包括:
根据当前帧图像以及当前帧以前的历史帧图像,利用运动目标轨迹数学模型计算所述运动目标在帧间的运动矢量;
所述方法还包括:
获取所述运动目标在当前帧图像中的实际位置;
根据所述实际位置与所述位置差值矫正预存的运动目标轨迹数学模型。
3.根据权利要求1所述的方法,其特征在于,所述根据参考点与运动目标的预测位置的位置差值,计算摄像设备的预测调整参数,包括:
根据下式计算所述预测调整参数:
Δ α = α · Δ x W Δ β = β · Δ y H
其中,Δα为预测调整参数中的横向转动角度,Δβ为预测调整参数中的纵向转动角度,α为图像的最大横向视角,β为图像的最大纵向视角,Δx为预测位置与参考点的横向坐标差,Δy为预测位置与参考点的纵向坐标差,W为图像的横向像素点个数,H为图像的纵向像素点个数。
4.根据权利要求1所述的方法,其特征在于,所述根据所述预测调整参数调整摄像设备,包括:
获取所述运动目标在当前帧图像中的实际位置;
根据所述实际位置与参考点的实际差异,计算摄像设备将运动目标从所述实际位置调整至参考点的修正参数;
根据所述预测调整参数和修正参数调整所述摄像设备。
5.根据权利要求1所述的方法,其特征在于,所述根据所述预测调整参数调整摄像设备,包括:
获取当前调整所述摄像设备的实际调整参数;
对比所述实际调整参数与预存的所述当前帧图像的预测调整参数的差异,获得失步调整参数;
根据所述预测调整参数和失步调整参数调整所述摄像设备。
6.一种运动目标跟踪装置,其特征在于,所述装置包括:
运动目标获取模块,用于以监控画面的一个像素点为参考点,从监控画面中获取运动目标;
运动矢量计算模块,用于根据当前帧图像以及当前帧之前的历史帧图像计算所述运动目标在帧间的运动矢量;
预测位置计算模块,用于通过所述运动目标在帧间的运动矢量预测所述运动目标在预设间隔帧数后的帧图像中的预测位置,其中,所述预设间隔帧数大于或等于监控设备采集监控图像的延时帧数;
预测调整参数计算模块,用于根据参考点与运动目标的预测位置的位置差值,计算摄像设备的预测调整参数;
调整模块,用于根据所述预测调整参数调整摄像设备,将运动目标从预测位置调整到所述参考点。
7.根据权利要求6所述的装置,其特征在于,所述运动矢量计算模块,包括:
运动矢量计算模块,用于根据当前帧图像以及当前帧以前的历史帧图像,利用运动目标轨迹数学模型计算所述运动目标在帧间的运动矢量;
所述装置还包括:
实际位置获取模块,用于获取所述运动目标在当前帧图像中的实际位置;
模型矫正模块,用于根据所述实际位置与所述位置差值矫正预存的运动目标轨迹数学模型。
8.根据权利要求6所述的装置,其特征在于,所述预测调整参数计算模块,包括:
预测调整参数计算子模块,用于根据下式计算所述预测调整参数:
Δ α = α · Δ x W Δ β = β · Δ y H
其中,Δα为预测调整参数中的横向转动角度,Δβ为预测调整参数中的纵向转动角度,α为图像的最大横向视角,β为图像的最大纵向视角,Δx为预测位置与参考点的横向坐标差,Δy为预测位置与参考点的纵向坐标差,W为图像的横向像素点个数,H为图像的纵向像素点个数。
9.根据权利要求6所述的装置,其特征在于,所述调整模块,包括:
实际位置获取子模块,用于获取所述运动目标在当前帧图像中的实际位置;
修正参数计算子模块,用于根据所述实际位置与参考点的实际差异,计算摄像设备将运动目标从所述实际位置调整至参考点的微调修正参数;
第一调整子模块,用于根据所述预测调整参数和修正参数调整所述摄像设备。
10.根据权利要求6所述的装置,其特征在于,所述调整模块,包括:
实际调整参数获取子模块,用于获取当前调整所述摄像设备的实际调整参数;
失步调整参数获取子模块,用于对比所述实际调整参数与预存的所述当前帧图像的预测调整参数的差异,获得失步调整参数;
第二调整子模块,用于根据所述预测调整参数和失步调整参数调整所述摄像设备。
CN201610011725.XA 2016-01-08 2016-01-08 运动目标跟踪方法及装置 Pending CN105678808A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610011725.XA CN105678808A (zh) 2016-01-08 2016-01-08 运动目标跟踪方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610011725.XA CN105678808A (zh) 2016-01-08 2016-01-08 运动目标跟踪方法及装置

Publications (1)

Publication Number Publication Date
CN105678808A true CN105678808A (zh) 2016-06-15

Family

ID=56299600

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610011725.XA Pending CN105678808A (zh) 2016-01-08 2016-01-08 运动目标跟踪方法及装置

Country Status (1)

Country Link
CN (1) CN105678808A (zh)

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107045805A (zh) * 2017-03-07 2017-08-15 安徽工程大学 一种用于小型航空器和空飘物的监测方法及系统
CN107680122A (zh) * 2017-10-12 2018-02-09 昆山塔米机器人有限公司 一种桌上冰球运动轨迹的预测方法及装置
CN107784281A (zh) * 2017-10-23 2018-03-09 北京旷视科技有限公司 人脸检测方法、装置、设备及计算机可读介质
CN108259703A (zh) * 2017-12-31 2018-07-06 深圳市秦墨科技有限公司 一种云台的跟拍控制方法、装置及云台
CN109005357A (zh) * 2018-10-15 2018-12-14 Oppo广东移动通信有限公司 一种拍照方法、拍照装置及终端设备
CN109379533A (zh) * 2018-10-15 2019-02-22 Oppo广东移动通信有限公司 一种拍照方法、拍照装置及终端设备
CN109816701A (zh) * 2019-01-17 2019-05-28 北京市商汤科技开发有限公司 一种目标跟踪方法及装置、存储介质
CN110248158A (zh) * 2019-06-06 2019-09-17 上海秒针网络科技有限公司 拍摄视角的调整方法及装置
CN110610514A (zh) * 2018-06-15 2019-12-24 株式会社日立制作所 实现多目标跟踪的方法、装置、电子设备
CN110660078A (zh) * 2019-08-20 2020-01-07 平安科技(深圳)有限公司 对象追踪方法、装置、计算机设备和存储介质
WO2020057558A1 (zh) * 2018-09-20 2020-03-26 杭州海康威视数字技术股份有限公司 帧间预测方法和设备
CN110944196A (zh) * 2018-09-24 2020-03-31 北京字节跳动网络技术有限公司 简化的基于历史的运动矢量预测
CN111273837A (zh) * 2018-12-04 2020-06-12 浙江宇视科技有限公司 图像处理方法及装置
CN111654677A (zh) * 2020-06-17 2020-09-11 浙江大华技术股份有限公司 确定云台失步的方法及装置
CN111771376A (zh) * 2018-12-12 2020-10-13 Lg电子株式会社 以基于历史的运动向量预测为基础处理视频信号的方法和设备
WO2020228353A1 (zh) * 2019-05-13 2020-11-19 深圳先进技术研究院 一种基于运动加速度的图像搜索方法、系统及电子设备
CN112183221A (zh) * 2020-09-04 2021-01-05 北京科技大学 一种基于语义的动态物体自适应轨迹预测方法
CN112364796A (zh) * 2020-11-18 2021-02-12 合肥湛达智能科技有限公司 一种基于深度学习的目标速度检测方法及系统
CN112486326A (zh) * 2020-12-14 2021-03-12 安徽鸿程光电有限公司 手势控制运动的位置坐标预测方法、智能终端及介质
CN112528932A (zh) * 2020-12-22 2021-03-19 北京百度网讯科技有限公司 用于优化位置信息的方法、装置、路侧设备和云控平台
CN112616019A (zh) * 2020-12-16 2021-04-06 重庆紫光华山智安科技有限公司 目标跟踪方法、装置、云台及存储介质
CN113344966A (zh) * 2021-06-18 2021-09-03 北京星航科创技术有限公司 一种运动相机的目标运动状态修正方法
CN113485465A (zh) * 2021-06-01 2021-10-08 浙江大华技术股份有限公司 一种摄像机云台控制方法、装置、设备及存储介质
CN113647108A (zh) * 2019-03-27 2021-11-12 北京字节跳动网络技术有限公司 基于历史的运动矢量预测
CN114845054A (zh) * 2022-04-25 2022-08-02 南京奥拓电子科技有限公司 一种微动摄像头控制方法及装置
US11477463B2 (en) 2018-06-21 2022-10-18 Beijing Bytedance Network Technology Co., Ltd. Component-dependent sub-block dividing
US11509915B2 (en) 2018-06-05 2022-11-22 Beijing Bytedance Network Technology Co., Ltd. Interaction between IBC and ATMVP
US11792421B2 (en) 2018-11-10 2023-10-17 Beijing Bytedance Network Technology Co., Ltd Rounding in pairwise average candidate calculations
US11968377B2 (en) 2018-06-21 2024-04-23 Beijing Bytedance Network Technology Co., Ltd Unified constrains for the merge affine mode and the non-merge affine mode

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101572804A (zh) * 2009-03-30 2009-11-04 浙江大学 多摄像机智能控制方法及装置
CN101699862A (zh) * 2009-11-16 2010-04-28 上海交通大学 Ptz摄像机获取感兴趣区域高分辨率图像的方法
CN103259962A (zh) * 2013-04-17 2013-08-21 深圳市捷顺科技实业股份有限公司 一种目标追踪方法和相关装置
CN103366569A (zh) * 2013-06-26 2013-10-23 东南大学 实时抓拍交通违章车辆的方法及系统
CN104184932A (zh) * 2013-05-20 2014-12-03 浙江大华技术股份有限公司 球机控制方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101572804A (zh) * 2009-03-30 2009-11-04 浙江大学 多摄像机智能控制方法及装置
CN101699862A (zh) * 2009-11-16 2010-04-28 上海交通大学 Ptz摄像机获取感兴趣区域高分辨率图像的方法
CN103259962A (zh) * 2013-04-17 2013-08-21 深圳市捷顺科技实业股份有限公司 一种目标追踪方法和相关装置
CN104184932A (zh) * 2013-05-20 2014-12-03 浙江大华技术股份有限公司 球机控制方法及装置
CN103366569A (zh) * 2013-06-26 2013-10-23 东南大学 实时抓拍交通违章车辆的方法及系统

Cited By (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107045805B (zh) * 2017-03-07 2020-02-14 安徽工程大学 一种用于小型航空器和空飘物的监测方法及系统
CN107045805A (zh) * 2017-03-07 2017-08-15 安徽工程大学 一种用于小型航空器和空飘物的监测方法及系统
CN107680122A (zh) * 2017-10-12 2018-02-09 昆山塔米机器人有限公司 一种桌上冰球运动轨迹的预测方法及装置
CN107784281A (zh) * 2017-10-23 2018-03-09 北京旷视科技有限公司 人脸检测方法、装置、设备及计算机可读介质
CN107784281B (zh) * 2017-10-23 2019-10-11 北京旷视科技有限公司 人脸检测方法、装置、设备及计算机可读介质
CN108259703A (zh) * 2017-12-31 2018-07-06 深圳市秦墨科技有限公司 一种云台的跟拍控制方法、装置及云台
CN108259703B (zh) * 2017-12-31 2021-06-01 深圳市越疆科技有限公司 一种云台的跟拍控制方法、装置及云台
US11509915B2 (en) 2018-06-05 2022-11-22 Beijing Bytedance Network Technology Co., Ltd. Interaction between IBC and ATMVP
US11973962B2 (en) 2018-06-05 2024-04-30 Beijing Bytedance Network Technology Co., Ltd Interaction between IBC and affine
US11523123B2 (en) 2018-06-05 2022-12-06 Beijing Bytedance Network Technology Co., Ltd. Interaction between IBC and ATMVP
US11831884B2 (en) 2018-06-05 2023-11-28 Beijing Bytedance Network Technology Co., Ltd Interaction between IBC and BIO
CN110610514B (zh) * 2018-06-15 2023-09-19 株式会社日立制作所 实现多目标跟踪的方法、装置、电子设备
CN110610514A (zh) * 2018-06-15 2019-12-24 株式会社日立制作所 实现多目标跟踪的方法、装置、电子设备
US11659192B2 (en) 2018-06-21 2023-05-23 Beijing Bytedance Network Technology Co., Ltd Sub-block MV inheritance between color components
US11895306B2 (en) 2018-06-21 2024-02-06 Beijing Bytedance Network Technology Co., Ltd Component-dependent sub-block dividing
US11477463B2 (en) 2018-06-21 2022-10-18 Beijing Bytedance Network Technology Co., Ltd. Component-dependent sub-block dividing
US11968377B2 (en) 2018-06-21 2024-04-23 Beijing Bytedance Network Technology Co., Ltd Unified constrains for the merge affine mode and the non-merge affine mode
WO2020057558A1 (zh) * 2018-09-20 2020-03-26 杭州海康威视数字技术股份有限公司 帧间预测方法和设备
CN110944196A (zh) * 2018-09-24 2020-03-31 北京字节跳动网络技术有限公司 简化的基于历史的运动矢量预测
CN110944196B (zh) * 2018-09-24 2023-05-30 北京字节跳动网络技术有限公司 简化的基于历史的运动矢量预测
US11616945B2 (en) 2018-09-24 2023-03-28 Beijing Bytedance Network Technology Co., Ltd. Simplified history based motion vector prediction
CN109005357B (zh) * 2018-10-15 2020-07-03 Oppo广东移动通信有限公司 一种拍照方法、拍照装置及终端设备
CN109379533A (zh) * 2018-10-15 2019-02-22 Oppo广东移动通信有限公司 一种拍照方法、拍照装置及终端设备
CN109005357A (zh) * 2018-10-15 2018-12-14 Oppo广东移动通信有限公司 一种拍照方法、拍照装置及终端设备
US11792421B2 (en) 2018-11-10 2023-10-17 Beijing Bytedance Network Technology Co., Ltd Rounding in pairwise average candidate calculations
CN111273837A (zh) * 2018-12-04 2020-06-12 浙江宇视科技有限公司 图像处理方法及装置
CN111771376B (zh) * 2018-12-12 2023-08-08 Lg电子株式会社 以基于历史的运动向量预测为基础处理视频信号的方法和设备
CN111771376A (zh) * 2018-12-12 2020-10-13 Lg电子株式会社 以基于历史的运动向量预测为基础处理视频信号的方法和设备
CN109816701A (zh) * 2019-01-17 2019-05-28 北京市商汤科技开发有限公司 一种目标跟踪方法及装置、存储介质
CN109816701B (zh) * 2019-01-17 2021-07-27 北京市商汤科技开发有限公司 一种目标跟踪方法及装置、存储介质
US11895320B2 (en) 2019-03-27 2024-02-06 Beijing Bytedance Network Technology Co., Ltd History-based motion vector prediction
CN113647108A (zh) * 2019-03-27 2021-11-12 北京字节跳动网络技术有限公司 基于历史的运动矢量预测
WO2020228353A1 (zh) * 2019-05-13 2020-11-19 深圳先进技术研究院 一种基于运动加速度的图像搜索方法、系统及电子设备
CN110248158A (zh) * 2019-06-06 2019-09-17 上海秒针网络科技有限公司 拍摄视角的调整方法及装置
CN110660078B (zh) * 2019-08-20 2024-04-05 平安科技(深圳)有限公司 对象追踪方法、装置、计算机设备和存储介质
CN110660078A (zh) * 2019-08-20 2020-01-07 平安科技(深圳)有限公司 对象追踪方法、装置、计算机设备和存储介质
WO2021031704A1 (zh) * 2019-08-20 2021-02-25 平安科技(深圳)有限公司 对象追踪方法、装置、计算机设备和存储介质
CN111654677B (zh) * 2020-06-17 2021-12-17 浙江大华技术股份有限公司 确定云台失步的方法及装置
CN111654677A (zh) * 2020-06-17 2020-09-11 浙江大华技术股份有限公司 确定云台失步的方法及装置
CN112183221B (zh) * 2020-09-04 2024-05-03 北京科技大学 一种基于语义的动态物体自适应轨迹预测方法
CN112183221A (zh) * 2020-09-04 2021-01-05 北京科技大学 一种基于语义的动态物体自适应轨迹预测方法
CN112364796B (zh) * 2020-11-18 2023-08-01 合肥湛达智能科技有限公司 一种基于深度学习的目标速度检测方法及系统
CN112364796A (zh) * 2020-11-18 2021-02-12 合肥湛达智能科技有限公司 一种基于深度学习的目标速度检测方法及系统
CN112486326A (zh) * 2020-12-14 2021-03-12 安徽鸿程光电有限公司 手势控制运动的位置坐标预测方法、智能终端及介质
CN112486326B (zh) * 2020-12-14 2022-05-17 安徽鸿程光电有限公司 手势控制运动的位置坐标预测方法、智能终端及介质
CN112616019A (zh) * 2020-12-16 2021-04-06 重庆紫光华山智安科技有限公司 目标跟踪方法、装置、云台及存储介质
CN112528932B (zh) * 2020-12-22 2023-12-08 阿波罗智联(北京)科技有限公司 用于优化位置信息的方法、装置、路侧设备和云控平台
CN112528932A (zh) * 2020-12-22 2021-03-19 北京百度网讯科技有限公司 用于优化位置信息的方法、装置、路侧设备和云控平台
CN113485465A (zh) * 2021-06-01 2021-10-08 浙江大华技术股份有限公司 一种摄像机云台控制方法、装置、设备及存储介质
CN113485465B (zh) * 2021-06-01 2024-08-02 浙江大华技术股份有限公司 一种摄像机云台控制方法、装置、设备及存储介质
CN113344966B (zh) * 2021-06-18 2023-09-22 北京星航科创技术有限公司 一种运动相机的目标运动状态修正方法
CN113344966A (zh) * 2021-06-18 2021-09-03 北京星航科创技术有限公司 一种运动相机的目标运动状态修正方法
CN114845054B (zh) * 2022-04-25 2024-04-19 南京奥拓电子科技有限公司 一种微动摄像头控制方法及装置
CN114845054A (zh) * 2022-04-25 2022-08-02 南京奥拓电子科技有限公司 一种微动摄像头控制方法及装置

Similar Documents

Publication Publication Date Title
CN105678808A (zh) 运动目标跟踪方法及装置
CN111652952B (zh) 车道线生成方法、装置、计算机设备和存储介质
CN103440624B (zh) 一种基于运动检测的图像去模糊方法及装置
CN112639878B (zh) 无监督深度预测神经网络
CN107478220A (zh) 无人机室内导航方法、装置、无人机及存储介质
CN104184932A (zh) 球机控制方法及装置
US11570375B2 (en) Space debris observation method based on alternating exposure times of charge coupled device (CCD) camera
CN110827321B (zh) 一种基于三维信息的多相机协同的主动目标跟踪方法
CN101419711A (zh) 一种估计车辆自运动参数的方法和装置
CN109583347A (zh) 一种针对移动平台长时间跟踪的方法
CN113239719A (zh) 基于异常信息识别的轨迹预测方法、装置和计算机设备
CN111915651B (zh) 基于数字影像地图与特征点跟踪的视觉位姿实时估计方法
WO2023142353A1 (zh) 一种位姿预测方法及装置
Liu et al. Asynchronous optimisation for event-based visual odometry
Ng et al. Aggregation functions for simultaneous attitude and image estimation with event cameras at high angular rates
Zhu et al. PairCon-SLAM: Distributed, online, and real-time RGBD-SLAM in large scenarios
Sossalla et al. Optimizing Edge SLAM: Judicious parameter settings and parallelized map updates
Liu et al. Accurate real-time ball trajectory estimation with onboard stereo camera system for humanoid ping-pong robot
CN117268415A (zh) 一种融合ltsm预测模型的智能车辆路径规划方法及系统
Hofer et al. Circular frame buffer to enhance map synchronization in edge assisted SLAM
CN113156962B (zh) 运动控制方法、装置、机器人及存储介质
CN113766175B (zh) 目标监控方法、装置、设备及存储介质
CN114785955A (zh) 复杂场景下动态相机运动补偿方法、系统及存储介质
CN117629241B (zh) 一种基于连续时间模型的多相机视觉惯性里程计优化方法
Zhang et al. A fast video stabilization algorithm with unexpected motion prediction strategy

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20160615