CN109063659A - 运动目标的检测与跟踪方法和系统 - Google Patents

运动目标的检测与跟踪方法和系统 Download PDF

Info

Publication number
CN109063659A
CN109063659A CN201810899960.4A CN201810899960A CN109063659A CN 109063659 A CN109063659 A CN 109063659A CN 201810899960 A CN201810899960 A CN 201810899960A CN 109063659 A CN109063659 A CN 109063659A
Authority
CN
China
Prior art keywords
moving target
image
moving
region
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810899960.4A
Other languages
English (en)
Other versions
CN109063659B (zh
Inventor
欧阳国胜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jiaxun Feihong Electrical Co Ltd
Original Assignee
Beijing Jiaxun Feihong Electrical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jiaxun Feihong Electrical Co Ltd filed Critical Beijing Jiaxun Feihong Electrical Co Ltd
Priority to CN201810899960.4A priority Critical patent/CN109063659B/zh
Publication of CN109063659A publication Critical patent/CN109063659A/zh
Application granted granted Critical
Publication of CN109063659B publication Critical patent/CN109063659B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Abstract

本发明提供了运动目标的检测与跟踪方法和系统,包括:获取输入序列图像,对输入序列图像进行预处理,得到视频图像;利用多帧图像差值法对视频图像进行运动目标检测,得到运动目标的状态参数;根据运动目标的状态参数确定运动目标的运动趋势;根据运动目标的运动趋势判断摄像机是否跟踪运动目标;如果摄像机的运动使运动目标保持在图像的实际有效区域,则控制摄像机停止跟踪;如果摄像机的运动不能使运动目标保持在图像的实际有效区域,则控制摄像机跟踪运动目标做相同方向的运动,解决了摄影机实时跟踪运动物体复杂的运动目标检测问题,可以较快的检测出运动目标。

Description

运动目标的检测与跟踪方法和系统
技术领域
本发明涉及数字图像处理技术领域,尤其是涉及运动目标的检测与跟踪方法和系统。
背景技术
运动的视觉分析是近年来计算机视觉领域中备受关注的前沿方向,它从图像序列中检测、识别、跟踪运动目标并对其行为进行理解和描述,属于图像分析和理解的范畴。运动分析的研究内容相当丰富,主要涉及到模式识别、图像处理、计算机视觉、人工智能等学科知识;同时,动态场景中运动的快速分割、非刚性运动、目标之间互相遮挡或停止的处理等也为运动分析研究带来了一定的挑战。运动检测的目的是从序列图像中将变化区域从背景图像中提取出来。运动区域的有效分割对于目标分类、跟踪和行为理解等后期处理非常重要,因为接下来的处理过程仅仅只考虑图像中对应于运动区域的像素。然而,由于背景图像的动态变化,如天气、光照、影子及混乱干扰等的影响,使得运动检测成为一项相当困难的工作。
近几十年来,国内外学者提出了许多方法用于检测和跟踪序列图像中的运动目标,其中绝大多数方法都假设用于获取序列图像的摄像机是静止的。对于序列图像中运动目标的检测,常用的方法有基于背景差分的方法、基于帧间差分的方法、基于特征的方法、基于光流场的方法等等,但是由于环境特点的不同,很难得到一种通用的检测方法,针对不同背景下的序列图像提出的运动目标检测方法还不够完善,因此有必要对此进行深入的研究。
发明内容
有鉴于此,本发明的目的在于提供运动目标的检测与跟踪方法和系统,解决了摄影机实时跟踪运动物体复杂的运动目标检测问题,可以较快的检测出运动目标。
第一方面,本发明实施例提供了运动目标的检测与跟踪方法,所述方法包括:
获取输入序列图像,对所述输入序列图像进行预处理,得到视频图像;
利用多帧图像差值法对所述视频图像进行运动目标检测,得到运动目标的状态参数;
根据所述运动目标的状态参数确定所述运动目标的运动趋势;
根据所述运动目标的运动趋势判断摄像机是否跟踪所述运动目标;
如果所述摄像机的运动使所述运动目标保持在图像的实际有效区域,则控制所述摄像机停止跟踪;
如果所述摄像机的运动不能使所述运动目标保持在图像的实际有效区域,则控制所述摄像机跟踪所述运动目标做相同方向的运动。
结合第一方面,本发明实施例提供了第一方面的第一种可能的实施方式,其中,所述利用多帧图像差值法对所述视频图像进行运动目标检测,得到运动目标的状态参数,包括:
从所述视频图像中选取连续的三帧图像,得到当前帧图像、前一帧图像和后一帧图像;
将所述前一帧图像和所述后一帧图像分别与所述当前帧图像进行差分运算,得到第一二值差分图像和第二二值差分图像;
将所述第一二值差分图像和所述第二二值差分图像进行与运算,并且使所述第一二值差分图像和所述第二二值差分图像均满足预设条件,从而得到所述当前帧图像的运动区域;
根据所述当前帧图像的运动区域确定所述运动目标的所述状态参数;
其中,所述预设条件是所述第一二值差分图像和所述第二二值差分图像的取值均为1,1代表所述运动目标像素点的变化区域。
结合第一方面,本发明实施例提供了第一方面的第二种可能的实施方式,其中,所述运动目标的状态参数包括运动区域、边缘和重心,所述根据所述运动目标的状态参数确定所述运动目标的运动趋势,包括:
如果所述运动目标的运动区域和边缘十分清晰,则所述运动目标的状态参数就是所述运动目标的运动轨迹;
如果所述运动目标的运动区域和边缘十分微弱,且在预设帧内所述运动目标的边缘突然变得微弱或者甚至消失,则确定所述运动目标突然静止;
如果所述运动目标的运动区域和边缘十分微弱,且超过预设帧所述运动目标的边缘突然变得微弱或者甚至消失,所述运动目标的运动区域在预设帧内处于实际有效区域边缘,则确定所述运动目标即将走出所述视频图像;
如果所述运动目标的运动区域和边缘十分微弱,且超过预设帧所述运动目标的边缘突然变得微弱或者甚至消失,所述运动目标的重心在预设帧内不处于实际有效区域边缘,则确定所述运动目标被遮挡;
其中,所述预设帧为5帧。
结合第一方面的第二种可能的实施方式,本发明实施例提供了第一方面的第三种可能的实施方式,其中,所述方法还包括:
将前一帧图像中所述运动目标的重心作为当前帧的起始点;
以前一帧图像所述运动目标的所述运动区域作为搜索目标区域;
在当前帧图像内按菱形搜索的方式做运动估计,得到最小绝对差值和的搜索点作为当前帧图像的所述运动区域的重心。
结合第一方面,本发明实施例提供了第一方面的第四种可能的实施方式,其中,所述获取输入序列图像,对所述输入序列图像进行预处理,得到视频图像,包括:
对所述输入序列图像进行预处理,包括降噪和锐化处理,得到所述视频图像。
第二方面,本发明实施例还提供了运动目标的检测与跟踪系统,所述系统包括:
预处理单元,用于获取输入序列图像,对所述输入序列图像进行预处理,得到视频图像;
检测单元,用于利用多帧图像差值法对所述视频图像进行运动目标检测,得到运动目标的状态参数;
确定单元,用于根据所述运动目标的状态参数确定所述运动目标的运动趋势;
跟踪控制单元,用于根据所述运动目标的运动趋势判断是否控制摄像机跟踪所述运动目标;
第一控制单元,用于所述如果所述摄像机的运动使所述运动目标保持在图像的实际有效区域,则控制所述摄像机停止跟踪;
第二控制单元,用于所述如果所述摄像机的运动不能使所述运动目标保持在图像的实际有效区域,则控制所述摄像机跟踪所述运动目标做相同方向的运动。
结合第二方面,本发明实施例提供了第二方面的第一种可能的实施方式,其中,所述检测单元包括:
从所述视频图像中选取连续的三帧图像,得到当前帧图像、前一帧图像和后一帧图像;
将所述前一帧图像和所述后一帧图像分别与所述当前帧图像进行差分运算,得到第一二值差分图像和第二二值差分图像;
将所述第一二值差分图像和所述第二二值差分图像进行与运算,并且使所述第一二值差分图像和所述第二二值差分图像均满足预设条件,从而得到所述当前帧图像的运动区域;
根据所述当前帧图像的运动区域确定所述运动目标的所述状态参数;
其中,所述预设条件是所述第一二值差分图像和所述第二二值差分图像的取值均为1,1代表所述运动目标像素点的变化区域。
结合第二方面,本发明实施例提供了第二方面的第二种可能的实施方式,其中,所述运动目标的状态参数包括运动区域、边缘和重心,所述确定单元包括:
如果所述运动目标的运动区域和边缘十分清晰,则所述运动目标的状态参数就是所述运动目标的运动轨迹;
如果所述运动目标的运动区域和边缘十分微弱,且在预设帧内所述运动目标的边缘突然变得微弱或者甚至消失,则确定所述运动目标突然静止;
如果所述运动目标的运动区域和边缘十分微弱,且超过预设帧所述运动目标的边缘突然变得微弱或者甚至消失,所述运动目标的运动区域在预设帧内处于实际有效区域边缘,则确定所述运动目标即将走出所述视频图像;
如果所述运动目标的运动区域和边缘十分微弱,且超过预设帧所述运动目标的边缘突然变得微弱或者甚至消失,所述运动目标的重心在预设帧内不处于实际有效区域边缘,则确定所述运动目标被遮挡;
其中,所述预设帧为5帧。
结合第二方面的第二种可能实施方式,本发明实施例提供了第二方面的第三种可能的实施方式,其中,所述系统还包括:
将前一帧图像中所述运动目标的重心作为当前帧的起始点;
以前一帧图像所述运动目标的所述运动区域作为搜索目标区域;
在当前帧图像内按菱形搜索的方式做运动估计,得到最小绝对差值和的搜索点作为当前帧图像的所述运动区域的重心。
结合第二方面,本发明实施例提供了第二方面的第四种可能的实施方式,其中,所述预处理单元包括:
对所述输入序列图像进行预处理,包括降噪和锐化处理,得到所述视频图像。
本发明提供了一种运动目标的检测与跟踪方法和系统,包括:获取输入序列图像,对输入序列图像进行预处理,得到视频图像;利用多帧图像差值法对视频图像进行运动目标检测,得到运动目标的状态参数;根据运动目标的状态参数确定运动目标的运动趋势;根据运动目标的运动趋势判断摄像机是否跟踪运动目标;如果摄像机的运动使运动目标保持在图像的实际有效区域,则控制摄像机停止跟踪;如果摄像机的运动不能使运动目标保持在图像的实际有效区域,则控制摄像机跟踪运动目标做相同方向的运动,解决了摄影机实时跟踪运动物体复杂的运动目标检测问题,可以较快的检测出运动目标。
本发明的其他特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例一提供的运动目标的检测与跟踪方法流程图;
图2为本发明实施例一提供的运动目标的检测与跟踪方法中步骤S101的流程图;
图3为本发明实施例一提供的运动目标的检测与跟踪方法中步骤S102的流程图;
图4为本发明实施例一提供的运动目标的检测与跟踪方法中步骤S103的流程图;
图5为本发明实施例一提供的运动目标的检测与跟踪方法中图像的实际有效区域;
图6为本发明实施例一提供的运动目标的检测与跟踪方法的过程流程图;
图7为本发明实施例二提供的运动目标的检测与跟踪系统示意图。
图标:
10-预处理单元;20-检测单元;30-确定单元;40-跟踪控制单元;50-第一控制单元;60-第二控制单元。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为便于对本实施例进行理解,下面对本发明实施例进行详细介绍。
实施例一:
图1为本发明实施例一提供的运动目标的检测与跟踪方法流程图。
参照图1,该方法包括以下步骤:
步骤S101,获取输入序列图像,对输入序列图像进行预处理,得到视频图像;
步骤S102,利用多帧图像差值法对视频图像进行运动目标检测,得到运动目标的状态参数;
步骤S103,根据运动目标的状态参数确定运动目标的运动趋势;
步骤S104,根据运动目标的运动趋势判断摄像机是否跟踪运动目标;
步骤S105,如果摄像机的运动使运动目标保持在图像的实际有效区域,则控制摄像机停止跟踪;
步骤S106,如果摄像机的运动不能使运动目标保持在图像的实际有效区域,则控制摄像机跟踪运动目标做相同方向的运动。
进一步的,参照图2,步骤S101包括以下步骤:
步骤S201,获取输入序列图像;
步骤S202,对输入的序列图像进行降噪处理,得到降噪处理的序列图像;
这里,一幅实际获得的图像一般都会受到各种噪声源的干扰而含有噪声,这些噪声影响了图像的质量,使得图像模糊,甚至淹没了图像的基本特征,给进一步分析处理带来了困难,由于中值滤波的中值点是邻域中的某个点,中值滤波不会创造实际图像中没有的点,在保存突变的边缘点时比均值滤波好,因此,采用中值滤波法进行降噪处理。
具体地,首先,选择一个(2n+1)×(2n+1)的窗口,并用该窗口沿图像数据进行光栅扫描;再读取模板下各对应像素值,每次移动后,对窗口内的各个像素值进行排序;最后找出这些值里排在中间的一个,用得到的这个中值代替窗口中心位置的原始像素值。
步骤S203,对降噪处理的序列图像进行锐化处理,得到视频图像。
具体地,采用Sobel算子,其基本思想是以任意像素(i,j)为中心,截取一个3*3的像素窗口,分别计算窗口中心像素在X,Y方向上的梯度。
进一步的,步骤S203还包括:
根据公式(1)计算窗口中心像素在X方向上的梯度:
SX=[f(i-1,j+1)+2f(i,j+1)+f(i+1,j+1)]-[f(i-1,j-1)+2f(i,j-1)+f(i+1,j-1)] (1)
其中,SX为窗口中心像素在X方向上的梯度。
进一步的,步骤S203还包括:
根据公式(2)计算窗口中心像素在Y方向上的梯度:
Sy=[f(i+1,j-1)+2f(i+1,j)+f(i+1,j+1)]-[f(i-1,j-1)+2f(i-1,j)+f(i-1,j+1)] (2)
其中,SY为窗口中心像素在Y方向上的梯度。
进一步的,步骤S203还包括:
根据公式(3)计算增强后图像在(i,j)处的像素值:
其中,f'(i,j)为锐化处理后的视频图像在(i,j)处的像素值。
进一步的,参照图3,步骤S102包括以下步骤:
步骤S301,从视频图像中选取连续的三帧图像,得到当前帧图像、前一帧图像和后一帧图像;
步骤S302,将前一帧图像和后一帧图像分别与当前帧图像进行差分运算,得到第一二值差分图像和第二二值差分图像;
步骤S303,将第一二值差分图像和第二二值差分图像进行与运算,并且使第一二值差分图像和第二二值差分图像均满足预设条件,从而得到当前帧图像的运动区域。
具体地,设f(x,y,i-1)、f(x,y,i)和f(x,y,i+1)为视频图像序列中连续的三帧图像,分别对它们进行两两差分运算。
进一步的,步骤S303还包括:
根据公式(4)对二值差分图像进行与运算:
Df(x,y,i)=Df(x,y,i-1,i)∩Df(x,y,i,i+1) (4)
其中,Df(x,y,i-1,i)为第一二值差分图像,前一帧f(x,y,i-1)与当前帧f(x,y,i)之间的二值差分图像,Df(x,y,i,i+1)为第二二值差分图像,当前帧f(x,y,i)与下一帧f(x,y,i+1)之间的二值差分图像,只有当Df(x,y,i-1,i)=1和Df(x,y,i,i+1)=1同时成立时,Df(x,y,i)=1才成立,这样便可以消除了二值图像中显露的背景,获得第i帧图像中的运动目标的运动区域。
进一步的,运动目标的状态参数包括运动区域、边缘和重心,参照图4,步骤S103包括以下步骤:
步骤S401,如果运动目标的运动区域和边缘十分清晰,则运动目标的状态参数就是运动目标的运动轨迹;
步骤S402,如果运动目标的运动区域和边缘十分微弱,且在预设帧内运动目标的边缘突然变得微弱或者甚至消失,则确定运动目标突然静止;
步骤S403,如果运动目标的运动区域和边缘十分微弱,且超过预设帧运动目标的边缘突然变得微弱或者甚至消失,运动目标的运动区域在预设帧内处于实际有效区域边缘(如图5所示),则确定运动目标即将走出视频图像;
步骤S404,如果运动目标的运动区域和边缘十分微弱,且超过预设帧运动目标的边缘突然变得微弱或者甚至消失,运动目标的重心在预设帧内不处于实际有效区域边缘,则确定运动目标被遮挡。
进一步的,参照图6,步骤S104包括以下步骤:
具体地,根据运动目标的运动趋势,控制摄像机做出相同方向的运动,当摄像机一动,通过多帧图像差分算法不仅得到运动目标的边缘轮廓,还将原本不需要的背景轮廓都显现出来,此时,以前一帧中运动目标的重心作为当前帧的起始点,以前一帧的运动区域作为搜索目标区域,在当前帧内按菱形搜索DS的方式做运动估计ME,求得最小绝对差值和SAD的搜索点为当前帧运动区域的重心,如果摄像机的运动能使运动目标保持在图像的实际有效区域,则控制摄像机停下来;如果摄像机的运动不能使运动目标保持在图像的实际有效区域,则控制摄像机跟踪运动目标做相同方向的运动。
实施例二:
图7为本发明实施例二提供的运动目标的检测与跟踪系统示意图。
参照图7,该系统包括预处理单元10、检测单元20、确定单元30和跟踪控制单元40、第一控制单元50和第二控制单元60。
预处理单元10,用于获取输入序列图像,对输入序列图像进行预处理,得到视频图像;
检测单元20,用于利用多帧图像差值法对视频图像进行运动目标检测,得到运动目标的状态参数;
确定单元30,用于根据运动目标的状态参数确定运动目标的运动趋势;
跟踪控制单元40,用于根据运动目标的运动趋势判断摄像机是否跟踪运动目标;
第一控制单元50,用于如果摄像机的运动使运动目标保持在图像的实际有效区域,则控制摄像机停止跟踪;
第二控制单元60,用于如果摄像机的运动不能使运动目标保持在图像的实际有效区域,则控制摄像机跟踪运动目标做相同方向的运动。
进一步的,检测单元20包括:
从视频图像中选取连续的三帧图像,得到当前帧图像、前一帧图像和后一帧图像;
将前一帧图像和后一帧图像分别与当前帧图像进行差分运算,得到第一二值差分图像和第二二值差分图像;
将第一二值差分图像和第二二值差分图像进行与运算,并且使第一二值差分图像和第二二值差分图像均满足预设条件,从而得到当前帧图像的运动区域;
根据当前帧图像的运动区域确定运动目标的状态参数;
其中,预设条件是第一二值差分图像和第二二值差分图像的取值均为1,1代表运动目标像素点的变化区域。
进一步的,确定单元30包括:
如果运动目标的运动区域和边缘十分清晰,则运动目标的状态参数就是运动目标的运动轨迹;
如果运动目标的运动区域和边缘十分微弱,且在预设帧内运动目标的边缘突然变得微弱或者甚至消失,则确定运动目标突然静止;
如果运动目标的运动区域和边缘十分微弱,且超过预设帧运动目标的边缘突然变得微弱或者甚至消失,运动目标的运动区域在预设帧内处于实际有效区域边缘,则确定运动目标即将走出视频图像;
如果运动目标的运动区域和边缘十分微弱,且超过预设帧运动目标的边缘突然变得微弱或者甚至消失,运动目标的重心在预设帧内不处于实际有效区域边缘,则确定运动目标被遮挡;
其中,预设帧为5帧。
本发明提供了一种运动目标的检测与跟踪方法和系统,包括:获取输入序列图像,对输入序列图像进行预处理,得到视频图像;利用多帧图像差值法对视频图像进行运动目标检测,得到运动目标的状态参数;根据运动目标的状态参数确定运动目标的运动趋势;根据运动目标的运动趋势判断摄像机是否跟踪运动目标;如果摄像机的运动使运动目标保持在图像的实际有效区域,则控制摄像机停止跟踪;如果摄像机的运动不能使运动目标保持在图像的实际有效区域,则控制摄像机跟踪运动目标做相同方向的运动,解决了摄影机实时跟踪运动物体复杂的运动目标检测问题,可以较快的检测出运动目标。
本发明实施例还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述实施例提供的运动目标的检测与跟踪方法的步骤。
本发明实施例还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器运行时执行上述实施例的运动目标的检测与跟踪方法的步骤。
本发明实施例所提供的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行前面方法实施例中所述的方法,具体实现可参见方法实施例,在此不再赘述。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
另外,在本发明实施例的描述中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本发明的描述中,需要说明的是,术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种运动目标的检测与跟踪方法,其特征在于,所述方法包括:
获取输入序列图像,对所述输入序列图像进行预处理,得到视频图像;
利用多帧图像差值法对所述视频图像进行运动目标检测,得到运动目标的状态参数;
根据所述运动目标的状态参数确定所述运动目标的运动趋势;
根据所述运动目标的运动趋势判断摄像机是否跟踪所述运动目标;
如果所述摄像机的运动使所述运动目标保持在图像的实际有效区域,则控制所述摄像机停止跟踪;
如果所述摄像机的运动不能使所述运动目标保持在图像的实际有效区域,则控制所述摄像机跟踪所述运动目标做相同方向的运动。
2.根据权利要求1所述的运动目标的检测与跟踪方法,其特征在于,所述利用多帧图像差值法对所述视频图像进行运动目标检测,得到运动目标的状态参数,包括:
从所述视频图像中选取连续的三帧图像,得到当前帧图像、前一帧图像和后一帧图像;
将所述前一帧图像和所述后一帧图像分别与所述当前帧图像进行差分运算,得到第一二值差分图像和第二二值差分图像;
将所述第一二值差分图像和所述第二二值差分图像进行与运算,并且使所述第一二值差分图像和所述第二二值差分图像均满足预设条件,从而得到所述当前帧图像的运动区域;
根据所述当前帧图像的运动区域确定所述运动目标的所述状态参数;
其中,所述预设条件是所述第一二值差分图像和所述第二二值差分图像的取值均为1,1代表所述运动目标像素点的变化区域。
3.根据权利要求1所述的运动目标的检测与跟踪方法,其特征在于,所述运动目标的状态参数包括运动区域、边缘和重心,所述根据所述运动目标的状态参数确定所述运动目标的运动趋势,包括:
如果所述运动目标的运动区域和边缘十分清晰,则所述运动目标的状态参数就是所述运动目标的运动轨迹;
如果所述运动目标的运动区域和边缘十分微弱,且在预设帧内所述运动目标的边缘突然变得微弱或者甚至消失,则确定所述运动目标突然静止;
如果所述运动目标的运动区域和边缘十分微弱,且超过预设帧所述运动目标的边缘突然变得微弱或者甚至消失,所述运动目标的运动区域在预设帧内处于实际有效区域边缘,则确定所述运动目标即将走出所述视频图像;
如果所述运动目标的运动区域和边缘十分微弱,且超过预设帧所述运动目标的边缘突然变得微弱或者甚至消失,所述运动目标的重心在预设帧内不处于实际有效区域边缘,则确定所述运动目标被遮挡;
其中,所述预设帧为5帧。
4.根据权利要求3所述的运动目标的检测与跟踪方法,其特征在于,所述方法还包括:
将前一帧图像中所述运动目标的重心作为当前帧的起始点;
以前一帧图像所述运动目标的所述运动区域作为搜索目标区域;
在当前帧图像内按菱形搜索的方式做运动估计,得到最小绝对差值和的搜索点作为当前帧图像的所述运动区域的重心。
5.根据权利要求1所述的运动目标的检测与跟踪方法,其特征在于,所述获取输入序列图像,对所述输入序列图像进行预处理,得到视频图像,包括:
对所述输入序列图像进行预处理,包括降噪和锐化处理,得到所述视频图像。
6.一种运动目标的检测与跟踪系统,其特征在于,所述系统包括:
预处理单元,用于获取输入序列图像,对所述输入序列图像进行预处理,得到视频图像;
检测单元,用于利用多帧图像差值法对所述视频图像进行运动目标检测,得到运动目标的状态参数;
确定单元,用于根据所述运动目标的状态参数确定所述运动目标的运动趋势;
跟踪控制单元,用于根据所述运动目标的运动趋势判断是否控制摄像机跟踪所述运动目标;
第一控制单元,用于所述如果所述摄像机的运动使所述运动目标保持在图像的实际有效区域,则控制所述摄像机停止跟踪;
第二控制单元,用于所述如果所述摄像机的运动不能使所述运动目标保持在图像的实际有效区域,则控制所述摄像机跟踪所述运动目标做相同方向的运动。
7.根据权利要求6所述的运动目标的检测与跟踪系统,其特征在于,所述检测单元包括:
从所述视频图像中选取连续的三帧图像,得到当前帧图像、前一帧图像和后一帧图像;
将所述前一帧图像和所述后一帧图像分别与所述当前帧图像进行差分运算,得到第一二值差分图像和第二二值差分图像;
将所述第一二值差分图像和所述第二二值差分图像进行与运算,并且使所述第一二值差分图像和所述第二二值差分图像均满足预设条件,从而得到所述当前帧图像的运动区域;
根据所述当前帧图像的运动区域确定所述运动目标的所述状态参数;
其中,所述预设条件是所述第一二值差分图像和所述第二二值差分图像的取值均为1,1代表所述运动目标像素点的变化区域。
8.根据权利要求6所述的运动目标的检测与跟踪系统,其特征在于,所述运动目标的状态参数包括运动区域、边缘和重心,所述确定单元包括:
如果所述运动目标的运动区域和边缘十分清晰,则所述运动目标的状态参数就是所述运动目标的运动轨迹;
如果所述运动目标的运动区域和边缘十分微弱,且在预设帧内所述运动目标的边缘突然变得微弱或者甚至消失,则确定所述运动目标突然静止;
如果所述运动目标的运动区域和边缘十分微弱,且超过预设帧所述运动目标的边缘突然变得微弱或者甚至消失,所述运动目标的运动区域在预设帧内处于实际有效区域边缘,则确定所述运动目标即将走出所述视频图像;
如果所述运动目标的运动区域和边缘十分微弱,且超过预设帧所述运动目标的边缘突然变得微弱或者甚至消失,所述运动目标的重心在预设帧内不处于实际有效区域边缘,则确定所述运动目标被遮挡;
其中,所述预设帧为5帧。
9.根据权利要求8所述的运动目标的检测与跟踪系统,其特征在于,所述系统还包括:
将前一帧图像中所述运动目标的重心作为当前帧的起始点;
以前一帧图像所述运动目标的所述运动区域作为搜索目标区域;
在当前帧图像内按菱形搜索的方式做运动估计,得到最小绝对差值和的搜索点作为当前帧图像的所述运动区域的重心。
10.根据权利要求6所述的运动目标的检测与跟踪系统,其特征在于,所述预处理单元包括:
对所述输入序列图像进行预处理,包括降噪和锐化处理,得到所述视频图像。
CN201810899960.4A 2018-08-08 2018-08-08 运动目标的检测与跟踪方法和系统 Active CN109063659B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810899960.4A CN109063659B (zh) 2018-08-08 2018-08-08 运动目标的检测与跟踪方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810899960.4A CN109063659B (zh) 2018-08-08 2018-08-08 运动目标的检测与跟踪方法和系统

Publications (2)

Publication Number Publication Date
CN109063659A true CN109063659A (zh) 2018-12-21
CN109063659B CN109063659B (zh) 2021-07-13

Family

ID=64683027

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810899960.4A Active CN109063659B (zh) 2018-08-08 2018-08-08 运动目标的检测与跟踪方法和系统

Country Status (1)

Country Link
CN (1) CN109063659B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110378928A (zh) * 2019-04-29 2019-10-25 北京佳讯飞鸿电气股份有限公司 一种动静匹配的目标检测与跟踪方法
CN110378927A (zh) * 2019-04-29 2019-10-25 北京佳讯飞鸿电气股份有限公司 一种基于肤色的目标检测与跟踪方法
CN110415275A (zh) * 2019-04-29 2019-11-05 北京佳讯飞鸿电气股份有限公司 一种基于点对点的运动目标检测与跟踪方法
CN110519597A (zh) * 2019-09-05 2019-11-29 北京佳讯飞鸿电气股份有限公司 一种基于hevc的编码方法、装置、计算设备和介质
CN110610150A (zh) * 2019-09-05 2019-12-24 北京佳讯飞鸿电气股份有限公司 一种目标运动物体的跟踪方法、装置、计算设备和介质
CN110619654A (zh) * 2019-08-02 2019-12-27 北京佳讯飞鸿电气股份有限公司 一种运动目标检测与跟踪方法
CN110728700A (zh) * 2019-09-25 2020-01-24 北京佳讯飞鸿电气股份有限公司 一种运动目标追踪方法、装置、计算机设备及存储介质
CN110927726A (zh) * 2019-11-14 2020-03-27 广东奥迪威传感科技股份有限公司 接近检测方法及模组
CN111797728A (zh) * 2020-06-19 2020-10-20 浙江大华技术股份有限公司 一种运动物体的检测方法、装置、计算设备及存储介质
TWI729587B (zh) * 2019-10-16 2021-06-01 新加坡商瑞昱新加坡有限公司 物件定位系統及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2046019A1 (en) * 2006-08-02 2009-04-08 Panasonic Corporation Camera control device and camera control system
CN107392941A (zh) * 2017-07-25 2017-11-24 哈尔滨理工大学 一种飞机起降跟踪系统与方法
CN107992099A (zh) * 2017-12-13 2018-05-04 福州大学 一种基于改进帧差法的目标运动视频跟踪方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2046019A1 (en) * 2006-08-02 2009-04-08 Panasonic Corporation Camera control device and camera control system
CN107392941A (zh) * 2017-07-25 2017-11-24 哈尔滨理工大学 一种飞机起降跟踪系统与方法
CN107992099A (zh) * 2017-12-13 2018-05-04 福州大学 一种基于改进帧差法的目标运动视频跟踪方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
马思妍: "室内监控视频中的行人检测与跟踪研究", 《中国优秀硕士论文全文数据库 信息科技楫》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110378927B (zh) * 2019-04-29 2022-01-04 北京佳讯飞鸿电气股份有限公司 一种基于肤色的目标检测与跟踪方法
CN110378927A (zh) * 2019-04-29 2019-10-25 北京佳讯飞鸿电气股份有限公司 一种基于肤色的目标检测与跟踪方法
CN110415275A (zh) * 2019-04-29 2019-11-05 北京佳讯飞鸿电气股份有限公司 一种基于点对点的运动目标检测与跟踪方法
CN110415275B (zh) * 2019-04-29 2022-05-13 北京佳讯飞鸿电气股份有限公司 一种基于点对点的运动目标检测与跟踪方法
CN110378928A (zh) * 2019-04-29 2019-10-25 北京佳讯飞鸿电气股份有限公司 一种动静匹配的目标检测与跟踪方法
CN110378928B (zh) * 2019-04-29 2022-01-04 北京佳讯飞鸿电气股份有限公司 一种动静匹配的目标检测与跟踪方法
CN110619654A (zh) * 2019-08-02 2019-12-27 北京佳讯飞鸿电气股份有限公司 一种运动目标检测与跟踪方法
CN110619654B (zh) * 2019-08-02 2022-05-13 北京佳讯飞鸿电气股份有限公司 一种运动目标检测与跟踪方法
CN110610150A (zh) * 2019-09-05 2019-12-24 北京佳讯飞鸿电气股份有限公司 一种目标运动物体的跟踪方法、装置、计算设备和介质
CN110519597B (zh) * 2019-09-05 2022-05-10 北京佳讯飞鸿电气股份有限公司 一种基于hevc的编码方法、装置、计算设备和介质
CN110519597A (zh) * 2019-09-05 2019-11-29 北京佳讯飞鸿电气股份有限公司 一种基于hevc的编码方法、装置、计算设备和介质
CN110728700A (zh) * 2019-09-25 2020-01-24 北京佳讯飞鸿电气股份有限公司 一种运动目标追踪方法、装置、计算机设备及存储介质
TWI729587B (zh) * 2019-10-16 2021-06-01 新加坡商瑞昱新加坡有限公司 物件定位系統及方法
US11188756B2 (en) 2019-10-16 2021-11-30 Realtek Singapore Private Limited Object localization and classification system and method thereof
CN110927726A (zh) * 2019-11-14 2020-03-27 广东奥迪威传感科技股份有限公司 接近检测方法及模组
CN111797728A (zh) * 2020-06-19 2020-10-20 浙江大华技术股份有限公司 一种运动物体的检测方法、装置、计算设备及存储介质

Also Published As

Publication number Publication date
CN109063659B (zh) 2021-07-13

Similar Documents

Publication Publication Date Title
CN109063659A (zh) 运动目标的检测与跟踪方法和系统
CN108229277B (zh) 手势识别、手势控制及多层神经网络训练方法、装置及电子设备
CN102103753B (zh) 使用实时相机运动估计检测和跟踪运动对象的方法和终端
US20080181507A1 (en) Image manipulation for videos and still images
CN102034247B (zh) 一种基于背景建模对双目视觉图像的运动捕捉方法
CN109671115A (zh) 使用深度值估计的图像处理方法和装置
CN110610150B (zh) 一种目标运动物体的跟踪方法、装置、计算设备和介质
JP2019053732A (ja) シーン内に存在する不要なオブジェクトの除去に基づくシーンの画像の動的生成
CN105303514A (zh) 图像处理方法和装置
CN105741231B (zh) 图像的美肤处理方法和装置
CN106097385B (zh) 一种目标跟踪的方法和装置
WO2006115427A1 (en) Three-dimensional road layout estimation from video sequences by tracking pedestrians
US20190172184A1 (en) Method of video stabilization using background subtraction
CN102073866B (zh) 一种利用时空马尔科夫随机场模型的视频超分辨方法
JP5895720B2 (ja) 被写体追跡装置、被写体追跡方法及び被写体追跡用コンピュータプログラム
CN106251348B (zh) 一种面向深度相机的自适应多线索融合背景减除方法
WO2015173565A1 (en) Identifying features
CN103473776A (zh) 一种比较图像清晰度的方法、系统及自动聚焦控制方法
CN106447656B (zh) 基于图像识别的渲染瑕疵图像检测方法
CN103198491A (zh) 室内的视觉定位方法
CN105247567A (zh) 图像重新聚焦
KR20170015299A (ko) 배경 추적을 통한 오브젝트 추적 및 분할을 위한 방법 및 장치
CN112308797A (zh) 角点检测方法、装置、电子设备及可读存储介质
CN109166137A (zh) 针对抖动视频序列中运动目标检测算法
KR101834512B1 (ko) 연속영상 기반의 초해상도 영상복원 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant