CN105427346B - 一种运动目标跟踪方法及系统 - Google Patents
一种运动目标跟踪方法及系统 Download PDFInfo
- Publication number
- CN105427346B CN105427346B CN201510868279.XA CN201510868279A CN105427346B CN 105427346 B CN105427346 B CN 105427346B CN 201510868279 A CN201510868279 A CN 201510868279A CN 105427346 B CN105427346 B CN 105427346B
- Authority
- CN
- China
- Prior art keywords
- frame image
- target
- track window
- size
- moving target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 89
- 238000000034 method Methods 0.000 title claims abstract description 78
- 230000009017 pursuit movement Effects 0.000 claims abstract description 35
- 238000009826 distribution Methods 0.000 claims abstract description 23
- 238000005457 optimization Methods 0.000 claims description 30
- 238000012216 screening Methods 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 238000012937 correction Methods 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 7
- 238000003860 storage Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 abstract description 7
- 238000001514 detection method Methods 0.000 description 10
- 230000006399 behavior Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000004304 visual acuity Effects 0.000 description 4
- 239000002699 waste material Substances 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000000386 athletic effect Effects 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 210000000078 claw Anatomy 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007850 degeneration Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 210000000554 iris Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及图像处理技术领域,具体提供一种运动目标跟踪方法及系统,该方法包括:基于跟踪运动目标的各帧图像中的第一帧图像,确定运动目标的跟踪窗的质心和大小;基于第一帧图像中运动目标的像素,确定各帧图像的颜色概率分布图;基于各帧图像中运动目标的位置,调整跟踪窗的大小,得到各帧图像的跟踪窗的大小;判断各帧图像的跟踪窗大小是否小于预设跟踪窗大小阈值;若小于,则基于所述各帧图像的颜色概率分布图,得到各帧图像的跟踪窗的质心;存储各帧图像中跟踪窗的质心;在预设的背景图像上绘制运动目标的运动轨迹。通过绘制运动目标的轨迹并进行保存,以便于观察者随时观察运动目标的运动轨迹,节省了时间及人力。
Description
技术领域
本发明涉及图像处理技术领域,具体涉及一种运动目标跟踪方法及系统。
背景技术
随着近年来计算机视觉技术的发展,运动目标跟踪问题已是机器视觉研究的一个热点问题,目前常用的运动目标跟踪方法主要有三类:基于运动分析的方法、基于图像特征匹配的方法以及基于颜色特征分布的方法。
其中,基于运动分析的方法包括帧间差分法,帧间差分法主要利用相邻两帧之间的像素的变化情况,通过相连两帧之间相减来获取不同区域的图像的方法,帧间差分法的算法简单、计算量小、实时性高,但是帧间差分法具有以下不足:一是对运动的物体较为敏感,会提取出并不需要检测的运动区域,检测效果不准确;二是帧间差分法得到的图像具有不容忽略的空洞区域,影响运动目标的检测结果的准确性;三是不能对检测到的运动目标进行有效的计数。
基于颜色特征分布的方法包括camshift算法,camshift算法是opencv中关于运动跟踪的经算法,解决了用户选择跟踪目标,对目标实时跟踪并标注等问题,但是,camshift算法还具有以下不足:一是用户选择跟踪目标的目的是希望生成运动轨迹,以便于进行进一步的观察,而camshift算法中并不生成运动轨迹,若用户向观察研究运动目标时,需要重新打开视频,再次进行跟踪,造成了时间以及人力的浪费;二是camshift算法的分辨力不足,当两个或多个运动目标交会时,会将跟踪目标划分为所有的运动目标,出现跟踪目标的错误处理。
发明内容
针对现有技术存在的缺陷,本发明提出一种运动目标检测与跟踪方法及系统,以解决现有camshift算法中不能生成运动轨迹,若用户向观察研究运动目标时,需要重新打开视频,再次进行跟踪,造成了时间以及人力的浪费。
为此目的,第一方面,本发明提供一种运动目标跟踪方法,所述方法包括:
基于跟踪运动目标的各帧图像中的第一帧图像,确定所述运动目标的跟踪窗的质心和大小;
基于所述第一帧图像中运动目标的像素颜色,确定所述各帧图像的颜色概率分布图;
基于所述各帧图像中运动目标的位置,调整所述跟踪窗的大小,得到所述各帧图像的跟踪窗的大小;
判断所述各帧图像的跟踪窗的大小是否小于预设的跟踪窗大小的阈值;
若所述各帧图像的跟踪窗的大小小于预设的跟踪窗大小的阈值,则基于所述各帧图像的颜色概率分布图,得到所述各帧图像的跟踪窗的质心;
存储所述各帧图像中跟踪窗的质心;
根据存储的各质心,在预设的背景图像上绘制所述运动目标的运动轨迹。
其中,当判断所述各帧图像的跟踪窗的大小大于或等于预设的跟踪窗大小的阈值时,所述方法还包括:
根据预设的修正模型,将各帧图像的跟踪窗的大小修正至一个运动目标跟踪窗大小;
调用预设的预测模型,根据上一帧图像中运动目标的质心,预测当前帧图像中的运动目标的质心。
其中,在基于跟踪运动目标的各帧图像中的第一帧图像,确定所述运动目标的跟踪窗的质心和大小之前,所述方法还包括:
采用帧间差分法对运动目标的运动视频进行处理,得到帧图像序列;
对所述帧图像序列进行二值化处理,得到二值图像序列;
采用中值滤波法对所述二值图像序列进行去噪处理,得到平滑图像序列;
对所述平滑图像序列进行膨胀处理,得到优化图像序列;
根据所述优化图像序列,确定用于跟踪运动目标的各帧图像中的第一帧图像。
其中,在对所述平滑图像序列进行膨胀处理,得到优化图像序列之后,所述方法还包括:
对所述优化图像序列中运动目标的运动区域进行筛选,以确定运动目标,包括:
提取所述优化图像序列的前景轮廓图像序列;
在所述前景轮廓图像序列中选取待检测目标的运动区域;
计算所述待检测目标的运动区域的面积;
判断所述待检测目标的运动区域的面积是否大于或等于预设运动区域面积阈值;
若所述待检测目标的运动区域的面积大于或等于预设运动区域面积阈值,则确定该待检测目标为检测到的运动目标。
其中,在确定该待检测目标为检测到的运动目标之后,所述方法还包括:
对所述检测到的运动目标进行计数;
根据预设的标记方式,对所述检测到的运动目标进行标记。
第二方面,本发明提供一种运动目标跟踪系统,所述系统包括:
第一确定模块,用于基于跟踪运动目标的各帧图像中的第一帧图像,确定所述运动目标的跟踪窗的质心和大小;
第二确定模块,用于基于所述第一帧图像中运动目标的像素颜色,确定所述各帧图像的颜色概率分布图;
调整模块,用于基于所述各帧图像中运动目标的位置,调整所述跟踪窗的大小,得到所述各帧图像的跟踪窗的大小;
判断模块,用于判断所述各帧图像的跟踪窗的大小是否小于预设的跟踪窗大小的阈值;
质心确定模块,用于在所述各帧图像的跟踪窗的大小小于预设的跟踪窗大小的阈值,则基于所述各帧图像的颜色概率分布图,得到所述各帧图像的跟踪窗的质心;
质心存储模块,用于存储所述各帧图像中跟踪窗的质心;
绘制模块,用于根据存储的各质心,在预设的背景图像上绘制所述运动目标的运动轨迹。
其中,所述系统还包括:
修正模块,用于在所述判断模块判断所述各帧图像的跟踪窗的大小大于或等于预设的跟踪窗大小的阈值之后,根据预设的修正模型,将各帧图像的跟踪窗的大小修正至一个运动目标跟踪窗大小;
预测模块,用于调用预设的预测模型,根据上一帧图像中运动目标的质心,预测当前帧图像中的运动目标的质心。
其中,所述系统还包括:
帧差计算模块,用于采用帧间差分法对运动目标的运动视频进行处理,得到帧图像序列;
二值化模块,用于对所述帧图像序列进行二值化处理,得到二值图像序列;
平滑模块,用于采用中值滤波法对所述二值图像序列进行去噪处理,得到平滑图像序列;
优化模块,用于对所述平滑图像序列进行膨胀处理,得到优化图像序列;
跟踪确定模块,用于根据所述优化图像序列,确定用于跟踪运动目标的各帧图像中的第一帧图像。
其中,所述系统还包括:
筛选模块,用于对所述优化图像序列中运动目标的运动区域进行筛选,以确定运动目标;
所述筛选模块,包括:
提取单元,用于提取所述优化图像序列的前景轮廓图像序列;
选取单元,用于在所述前景轮廓图像序列中选取待检测目标的运动区域;
计算单元,用于计算所述待检测目标的运动区域的面积;
判断单元,用于判断所述待检测目标的运动区域的面积是否大于或等于预设运动区域面积阈值;
确定单元,用于在所述待检测目标的运动区域的面积大于或等于预设运动区域面积阈值,则确定该待检测目标为检测到的运动目标。其中,所述系统还包括:
计数模块,在所述确定单元确定该待检测目标为检测到的运动目标之后,用于对所述检测到的运动目标进行计数;
标记模块,用于根据预设的标记方式,对所述检测到的运动目标进行标记。
本发明提供的一种运动目标跟踪方法及系统,通过计算各帧图像中的运动目标的质心,并将各帧图像中的运动进行存储,在预设的背景图像上,根据各帧图像中的运动目标的质心,绘制被跟踪的运动目标的运动轨迹,以使用户可以随时观察被跟踪的运动目标的运动轨迹,解决了传统的跟踪算法不能对被跟踪的运动目标进行轨迹绘制,若要再次研究运动目标的运动时,需要重新打开视频,再次进行跟踪,造成了时间及人力的浪费的问题;在计算各帧图像中的运动目标的过程中,通过设置跟踪窗大小的阈值,对各帧图像中的跟踪窗的大小践行判断,提高了对跟踪运动目标的分辨力,防止出现跟踪运动目标的错误处理,提高了跟踪运动目标的准确性;在跟踪运动目标之前,对基于帧间差分法得到的帧差图像中的空洞进行优化处理,有效的解决了图像的空洞问题;通过对设置运动区域阈值,对待检测目标的运动区域的大小进行筛选,防止将待检测目标的小规模运动检测为运动行为,有效的筛选除了图像中运动的目标,提高了检测的准确性;同时对筛选出的运动目标进行计数,可将当前图像中的运动目标的总数直接的进行展现。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些图获得其他的附图。
图1为本发明一实施例提供的运动目标跟踪方法的流程图;
图2为本发明另一实施例提供的运动目标跟踪方法的流程图;
图3为本发明另一实施例提供的运动目标跟踪方法的流程图;
图4为本发明另一实施例提供的检测运动目标的方法流程图;
图5为本发明一实施例提供的步骤S6的细分步骤的流程图;
图6为本发明一实施例提供的运动目标跟踪系统的结构示意图。
具体实施方式
下面将结合本公开实施例中的附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本公开中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本公开保护的范围。
如图1所示,本公开第一实施例提供了一种运动目标跟踪方法,该方法包括如下步骤S1至S7:
S1、基于跟踪运动目标的各帧图像中的第一帧图像,确定所述运动目标的跟踪窗的质心和大小;
具体地,根据运动目标的运动视频得到帧图像序列。
具体地,随机选取帧图像序列的任意一帧图像为跟踪运动目标的各帧图像中的第一帧图像。
应需说明的是,用户可以根据运动目标的形状,在从用于跟踪运动目标的各帧图像中的第一帧图像中,用合适的跟踪窗选择被跟踪的运动目标。比如,在运动目标为蝗虫时,采用矩形跟踪窗选取被跟踪的运动目标。
应需说明的是,在跟踪运动目标的各帧图像中的第一帧图像的跟踪窗的中心和大小即为跟踪运动目标的质心和大小。
S2、基于所述第一帧图像中运动目标的像素颜色,确定所述各帧图像的颜色概率分布图;
S3、基于所述各帧图像中运动目标的位置,调整所述跟踪窗的大小,得到所述各帧图像的跟踪窗的大小;
优选地,根据上一帧图像的运动目标的质心和跟踪窗的大小,调整当前帧图像中的运动目标的的跟踪窗的位置的大小。
应需说明的是,运动目标在运动时,跟踪窗的大小会进行自适用的调整。
S4、判断所述各帧图像的跟踪窗的大小是否小于预设的跟踪窗大小的阈值;
应需说明的是,第一帧图像的运动目标的跟踪窗的大小随着运动目标的运动会自适用的调整,各帧图像中运动目标的跟踪窗的大小逐步释放扩大,当某一帧图像中运动目标的跟踪窗的大小大于或等于预设的跟踪窗的大小的阈值时,表示该跟踪窗中出现了多个运动目标,会造成跟踪目标的错误处理。
具体地,以跟踪的运动目标为蝗虫,进行举例说明,各帧图像中的运动目标的跟踪窗为矩形跟踪窗,预设的跟踪窗的大小的阈值为通过多次试验验证的,用于判断单个蝗虫运动区域的最大面积。
可以理解的是,在当前帧图像中的运动目标的跟踪窗的大小大于或等于预设的跟踪窗的大小的阈值是,当前帧图像中的跟踪窗中出现了至少两个运动目标。
S5、若所述各帧图像的跟踪窗的大小小于预设的跟踪窗大小的阈值,则基于所述各帧图像的颜色概率分布图,得到所述各帧图像的跟踪窗的质心;
应需说明的是,只有在当前帧图像中的跟踪窗的大小小于预设的跟踪窗大小的阈值时,计算当前帧图像的运动目标的质心才是有效的。
应需说明的是,该处的跟踪窗大小的阈值可为经验值,通过多次实验验证得到的一个与运动目标运动区域相比较的数值。
应需说明的是,该处的跟踪窗大小的阈值仅为举例说明,本实施例不限定该处的跟踪窗大小的阈值的具体值,本领域技术人员可根据实际跟踪的运动目标的体积情况,通过多次实验验证得到跟踪窗大小的阈值的具体值。
以跟踪的运动目标为蝗虫为例,本领域技术人员可根据蝗虫的体积情况,通过多次实验验证得到蝗虫跟踪窗大小的阈值的具体值。
优选地,在得到所述各帧图像的跟踪窗的质心后,将各帧图像的跟踪窗的中心移至各帧图像的跟踪窗的质心处,并保持各帧图像的跟踪窗的大小不变。
应需说明的是,各帧图像的跟踪窗的质心即为各帧图像的被跟踪的运动目标的质心。
S6、存储所述各帧图像中跟踪窗的质心;
具体地,各帧图像的跟踪窗的质心按照各帧图像的时间顺序存储在预先设置的变量中。
S7、根据存储的各质心,在预设的背景图像上绘制所述运动目标的运动轨迹;
具体地,预设的背景图像为所述用于跟踪运动目标的各帧图像中的第一帧图像之前的任意一帧图像。
优选地,预设的背景图像为所述帧图像序列中的第一帧图像。
具体地,在预设的背景图像上按照各帧图像中跟踪窗质心存储的时间先后顺序绘制运动目标的运动轨迹。
具体地,将运动目标的运动轨迹以图片的形式进行保存。
本实施例提供的运动目标跟踪方法,通过将各帧图像中的被跟踪的运动目标的质心进行保存,并基于预先设置的背景图像中对保存的运动目标的质心进行轨迹的绘制,生成运动目标的运动轨迹,并进行存储。以便于用户想重新观察研究运动目标的运动时,可以直接提取运动目标的运动轨迹,直接进行查看,而不需重新打开视频,再次进行跟踪,可以有效的节省时间及人力。
在本实施例中,步骤S2:“基于所述第一帧图像中运动目标的像素颜色,确定所述各帧图像的颜色概率分布图”,包括图中未示出的如下步骤:
S21、基于所述第一帧图像中运动目标的像素颜色,确定所述运动目标的颜色直方图;
具体地,对所述第一帧图像中运动目标的像素进行HSV处理,生成运动目标的颜色分布直方图。
S22、基于所述运动目标的颜色直方图,确定所述跟踪运动目标的各帧图像的颜色概率分布图。
具体地,对输入的各帧图像序列,定时截取JPEG图,再将定时截取的JPEG图进行HSV处理。
优选地,对输入的各帧图像序列中的用于跟踪运动目标的各帧图像,定时截取JPEG图,再将定时截取的JPEG图进行HSV处理。
相应地,保存绘制被跟踪运动目标的轨迹的JPEG图。
在本实施例中,在绘制并保存跟踪云顶目标的运动轨迹的同时,还保存了运动目标的检测结果的JPEG图。
如图2所示,本公开第二实施例中,当判断所述各帧图像的跟踪窗的大小大于或等于预设的跟踪窗大小的阈值时,运动目标跟踪方法中,还包括步骤S5`至S5`1:
S5`、根据预设的修正模型,将各帧图像的跟踪窗的大小修正至一个运动目标跟踪窗大小;
具体地,将各帧图像的跟踪窗的大小修正至步骤S1中的用于跟踪运动目标的各帧图像中的第一帧图像中跟踪窗的大小。
S5`1、调用预设的预测模型,根据上一帧图像中运动目标的质心,预测当前帧图像中的运动目标的质心。
本实施例的一种运动目标跟踪方法,除增加的步骤S5`和S5`1外,其余步骤与第一实施例相同,此处不再赘述。
本实施例提供的一种运动目标跟踪方法,通过将各帧图像中的跟踪窗的大小与预设的跟踪窗的大小的阈值进行比较,根据预设的修正模型将大于或等于预设的跟踪窗的大小的阈值的跟踪窗的大小修正至一个运动目标跟踪窗的大小,提高跟踪方法的分辨力,当出现两个或多个运动目标交汇时,能对多个运动目标进行有效区分,只对单个运动目标进行跟踪。通过对跟踪窗大小大于或等于预设的跟踪窗的大小的阈值时,调用预测模型,根据上一帧图像的跟踪窗的质心,预测当前跟踪窗的质心,在出现两个或多个运动目标交汇时,能准确判断跟踪目标的位置。
如图3所示,本公开第三实施例提供的一种运动目标跟踪方法,在上述一至二任一实施例的步骤S5:“若所述各帧图像的跟踪窗的大小小于预设的跟踪窗大小的阈值,则基于所述各帧图像的颜色概率分布图,得到所述各帧图像的跟踪窗的质心”之后,增加了如下步骤S51至:
S51、将各帧图像的跟踪窗的中心移至所述各帧图像的跟踪窗的质心处;
S52、根据所述各帧图像的跟踪窗的质心位置,判断各帧图像的跟踪窗的质心是否收敛,当判断各帧图像的跟踪窗的质心不收敛时,执行步骤S5;当判断各帧图像的跟踪窗的质心收敛时,执行步骤S6。
本实施例通过在保存各帧图像的跟踪窗的质心之前,判断跟踪窗的质心是否收敛,将判断收敛的质心进行保存,保证了质心计算的准确性,同时保证了跟踪运动目标的运动轨迹绘制的准确性。
如图4所示,本公开第三实施例提供的一种运动目标跟踪方法,在第一或第二实施例中的步骤S1:“基于跟踪运动目标的各帧图像中的第一帧图像,确定所述运动目标的跟踪窗的质心和大小”之前,还包括对运动目标进行检测,包括步骤S01至S05:
S01、采用帧间差分法对运动目标的运动视频进行处理,得到帧图像序列;
S02、对所述帧图像序列进行二值化处理,得到二值图像序列;
S03、采用中值滤波法对所述二值图像序列进行去噪处理,得到平滑图像序列;
S04、对所述平滑图像序列进行膨胀处理,得到优化图像序列;
S05、根据所述优化图像序列,确定用于跟踪运动目标的各帧图像中的第一帧图像。
具体地,在本实施例的步骤S01:“采用帧间差分法对运动目标的运动视频进行处理,得到帧图像序列”,具体过程为:
对输入的视频帧图像序列,取出第t帧及第t-1帧的图像,计算帧差图像,公式为:
△It(x,y)=|I(x,y,t)-I(x,y,t-1)|,
其中,I(x,y,t)表示t时刻像素点(x,y)的灰度值,I(x,y,t-1)表示t-1时刻像素点(x,y)的灰度值。
应需说明的是,在跟踪运动目标之前,先对视频帧图像序列中的运动目标进行检测,对检测的运动目标进行跟踪。
本实施例提供的一种运动目标跟踪方法,在对运动目标之前通过采用帧间差分法对视频帧图像序列进行处理,得到帧差图像,通过采用中值滤波法对进行二值化处理后的帧差图像去噪,可以在不破坏图像轮廓的前提下,有效的平滑图像,减少图像的退化并消除噪音。通过对平滑图像进行膨胀处理,有效的解决了二值化处理后的图像中存在的空洞问题,提高了运动目标检测的准确性。
在本实施例中,所述方法还包括步骤S06:
S06、对所述优化图像序列中运动目标的运动区域进行筛选,以确定运动目标;
如图5所示,步骤S06具体包括如下细分步骤S061至S065:
S061、提取所述优化图像序列的前景轮廓图像序列;
S062、在所述前景轮廓图像序列中选取待检测目标的运动区域;
具体地,以待检测的运动目标为蝗虫,进行举例说明,根据OpenCV系统自带的函数,在所述前景轮廓图像中以矩形为单位圈出运动区域。
应需说明的是,该处的预设函数仅为举例说明,本实施例不限定预设函数的具体形式,本领域技术人员可根据待检测运动目标的实际体型,通过预设不同的函数,以不同的形状在前景轮廓图像中圈出运动区域。
S063、计算所述待检测目标的运动区域的面积;
具体地,以待检测的运动目标为蝗虫,以矩形为单位在前景轮廓图像中圈出运动区域,进行举例说明:
根据预设的矩形面积计算公式,计算待检测运动目标的矩形运动区域的面积。
应需说明的是,该处的预设公式为计算矩形面积的公式,但该处的预设公式仅为举例说明,本实施例不限定预设公式的具体形式,本领域的技术人员可以根据
S064、判断所述待检测目标的运动区域的面积是否大于或等于预设运动区域面积阈值;
应需说明的是,运动目标的的小运动规模活动并不能认为是运动行为,以蝗虫进行举例说明,当蝗虫仅是爪子活动了一下,而蝗虫身体并未进行移动,这种小规模的活动不考虑为运动的运动目标。
应需说明的是,该处的预设的运动区域的阈值,是通过多次试验验证得到的用于判断跟踪运动目标进行运动行为的最小运动区域。
S065、若所述待检测目标的运动区域的面积大于或等于预设运动区域面积阈值,则确定该待检测目标为检测到的运动目标。
可以理解的是,当待检测目标的运动区域的面积小于预设运动区域的阈值时,确定所述待检测目标进行的是非运动行为。
本实施例中,通过预设运动区域的阈值,确定待检测目标进行的是否是运动行为,以区分待检测目标的小规模的、非运动的行为,有效的筛选出了运动目标,提高了检测出运动目标的准确性。
在本实施例中,在步骤S06:“对所述优化图像序列中运动目标的运动区域进行筛选,以确定运动目标”之后,还包括步骤S07至S08:
S03、对所述检测到的运动目标进行计数;
具体地,通过预设变量对检测到的运动目标进行计数。
具体地,对面积大于或等于预设运动区域的阈值的待检测目标的运动区域的个数进行计数。
以对检测到的蝗虫进行计数为例,以矩形为单位对圈出待检测目标的运动区域,判断矩形的面积大于或等于预设运动区域的阈值时,确定待检测目标为运动目标,并对该矩形进行计数。
应需说明的是,大于或等于预设运动区域的阈值的矩形的个数即为检测出的运动目标的个数。
S08、根据预设的标记方式,对所述检测到的运动目标进行标记。
优选地,以红色矩形框的方式标识出检测到的运动目标,该处的标记方式仅为举例说明,本实施例不限定标记的具体方式,本领域的技术人员可以根据具体情况,设定对检测出的运动目标的具体标记方式。
在本实施例中,通过对检测到的运动目标个数进行计数,可以将运动目标的个数和分布直接的展现出来,以使观察者能清楚、直观的掌握视频图像序列中的运动目标的数量情况。通过对检测到的运动目标设置标记,使观察者能过清晰、准确的判断检测到的运动目标的分布位置情况。以蝗虫为例,通过检测某块农田中的蝗虫运动视频,观察者根据蝗虫的总数量和蝗虫的分布情况,可以直接、有效的判断蝗虫对当前农田区域的危害情况以及分布情况。
如图5所示,本公开实施例提供了一种运动目标跟踪系统,该系统包括:第一确定模块10、第二确定模块20、确定模块30、判断模块40、质心确定模块50、质心存储模块60以及绘制模块70;
第一确定模块10,用于基于跟踪运动目标的各帧图像中的第一帧图像,确定所述运动目标的跟踪窗的质心和大小;
第二确定模块20,用于基于所述第一帧图像中运动目标的像素颜色,确定所述各帧图像的颜色概率分布图;
确定模块30,用于基于所述各帧图像中运动目标的位置,调整所述跟踪窗的大小,得到所述各帧图像的跟踪窗的大小;
判断模块40,用于判断所述各帧图像的跟踪窗的大小是否小于预设的跟踪窗大小的阈值;
质心确定模块50,用于在所述各帧图像的跟踪窗的大小小于预设的跟踪窗大小的阈值,则基于所述各帧图像的颜色概率分布图,得到所述各帧图像的跟踪窗的质心;
质心存储模块60,用于存储所述各帧图像中跟踪窗的质心;
绘制模块70,用于根据存储的各质心,在预设的背景图像上绘制所述运动目标的运动轨迹。
本实施例提供的一种运动目标跟踪系统,与上述实施例提供的一种运动目标跟踪方法的技术原理和技术效果相同,此处不再赘述。
在本实施例中,所述系统还包括图中未示出的:修正模块41和预测模块42;
修正模块41,用于当判断模块40判断所述各帧图像的跟踪窗的大小大于或等于预设的跟踪窗大小的阈值时,根据预设的修正模型,将各帧图像的跟踪窗的大小修正至一个运动目标跟踪窗大小;
预测模块42,用于调用预设的预测模型,根据上一帧图像中运动目标的质心,预测当前帧图像中的运动目标的质心。
在本实施例中,所述系统还包括图中未示出的:帧差计算模块01、二值化模块02、平滑模块03、优化模块04以及跟踪确定模块05;
帧差计算模块01,用于采用帧间差分法对运动目标的运动视频进行处理,得到帧图像序列;
二值化模块02,用于对所述帧图像序列进行二值化处理,得到二值图像序列;
平滑模块03,用于采用中值滤波法对所述二值图像序列进行去噪处理,得到平滑图像序列;
优化模块04,用于对所述平滑图像序列进行膨胀处理,得到优化图像序列;
跟踪确定模块05,用于根据所述优化图像序列,确定用于跟踪运动目标的各帧图像中的第一帧图像。
本实施例中,所述系统还包括图中未示出的:筛选模块06;
筛选模块06,用于对所述优化图像中的运动区域进行筛选;
所述筛选模块06,具体包括图中未示出的:提取单元061、选取单元062、计算单元063、判断单元064和确定单元065;
提取单元061,用于提取所述优化图像序列的前景轮廓图像序列;
选取单元062,用于在所述前景轮廓图像序列中选取待检测目标的运动区域;
计算单元063,用于计算所述待检测目标的运动区域的面积;
判断单元064,用于判断所述待检测目标的运动区域的面积是否大于或等于预设运动区域面积阈值;
确定单元065,用于在所述待检测目标的运动区域的面积大于或等于预设运动区域面积阈值,则确定该待检测目标为检测到的运动目标。
在本实施例中,所述系统还包括图中未示出的:计数模块07和标记模块08;
计数模块07,在所述确定单元确定该待检测目标为检测到的运动目标之后,用于对所述检测到的运动目标进行计数;
标记模块08,用于根据预设的标记方式,对所述检测到的运动目标进行标记。
本实施例提供的一种运动目标跟踪系统,通过计算各帧图像中的运动目标的质心,并将各帧图像中的运动进行存储,在预设的背景图像上,根据各帧图像中的运动目标的质心,绘制被跟踪的运动目标的运动轨迹,以使用户可以随时观察被跟踪的运动目标的运动轨迹,解决了传统的跟踪算法不能对被跟踪的运动目标进行轨迹绘制,若要再次研究运动目标的运动时,需要重新打开视频,再次进行跟踪,造成了时间及人力的浪费的问题;在计算各帧图像中的运动目标的过程中,通过设置跟踪窗大小的阈值,对各帧图像中的跟踪窗的大小践行判断,提高了对跟踪运动目标的分辨力,防止出现跟踪运动目标的错误处理,提高了跟踪运动目标的准确性;在跟踪运动目标之前,对基于帧间差分法得到的帧差图像中的空洞进行优化处理,有效的解决了图像的空洞问题;通过对设置运动区域阈值,对待检测目标的运动区域的大小进行筛选,防止将待检测目标的小规模运动检测为运动行为,有效的筛选除了图像中运动的目标,提高了检测的准确性;同时对筛选出的运动目标进行计数,可将当前图像中的运动目标的总数直接的进行展现。
本领域普通技术人员可以理解:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明权利要求所限定的范围。
Claims (10)
1.一种运动目标跟踪方法,其特征在于,所述方法包括:
基于跟踪运动目标的各帧图像中的第一帧图像,确定所述运动目标的跟踪窗的质心和大小;
基于所述第一帧图像中运动目标的像素颜色,确定所述各帧图像的颜色概率分布图;
基于所述各帧图像中运动目标的位置,调整所述跟踪窗的大小,得到所述各帧图像的跟踪窗的大小;
判断所述各帧图像的跟踪窗的大小是否小于预设的跟踪窗大小的阈值;
若所述各帧图像的跟踪窗的大小小于预设的跟踪窗大小的阈值,则基于所述各帧图像的颜色概率分布图,得到所述各帧图像的跟踪窗的质心;
存储所述各帧图像中跟踪窗的质心;
根据存储的各质心,在预设的背景图像上绘制所述运动目标的运动轨迹。
2.根据权利要求1所述的方法,其特征在于,当判断所述各帧图像的跟踪窗的大小大于或等于预设的跟踪窗大小的阈值时,所述方法还包括:
根据预设的修正模型,将各帧图像的跟踪窗的大小修正至一个运动目标跟踪窗大小;
调用预设的预测模型,根据上一帧图像中运动目标的质心,预测当前帧图像中的运动目标的质心。
3.根据权利要求1所述的方法,其特征在于,在基于跟踪运动目标的各帧图像中的第一帧图像,确定所述运动目标的跟踪窗的质心和大小之前,所述方法还包括:
采用帧间差分法对运动目标的运动视频进行处理,得到帧图像序列;
对所述帧图像序列进行二值化处理,得到二值图像序列;
采用中值滤波法对所述二值图像序列进行去噪处理,得到平滑图像序列;
对所述平滑图像序列进行膨胀处理,得到优化图像序列;
根据所述优化图像序列,确定用于跟踪运动目标的各帧图像中的第一帧图像。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
对所述优化图像序列中运动目标的运动区域进行筛选,以确定运动目标,包括:
提取所述优化图像序列的前景轮廓图像序列;
在所述前景轮廓图像序列中选取待检测目标的运动区域;
计算所述待检测目标的运动区域的面积;
判断所述待检测目标的运动区域的面积是否大于或等于预设运动区域面积阈值;
若所述待检测目标的运动区域的面积大于或等于预设运动区域面积阈值,则确定该待检测目标为检测到的运动目标。
5.根据权利要求4所述的方法,其特征在于,在确定该待检测目标为检测到的运动目标之后,所述方法还包括:
对所述检测到的运动目标进行计数;
根据预设的标记方式,对所述检测到的运动目标进行标记。
6.一种运动目标跟踪系统,其特征在于,所述系统包括:
第一确定模块,用于基于跟踪运动目标的各帧图像中的第一帧图像,确定所述运动目标的跟踪窗的质心和大小;
第二确定模块,用于基于所述第一帧图像中运动目标的像素颜色,确定所述各帧图像的颜色概率分布图;
调整模块,用于基于所述各帧图像中运动目标的位置,调整所述跟踪窗的大小,得到所述各帧图像的跟踪窗的大小;
判断模块,用于判断所述各帧图像的跟踪窗的大小是否小于预设的跟踪窗大小的阈值;
质心确定模块,用于在所述各帧图像的跟踪窗的大小小于预设的跟踪窗大小的阈值,则基于所述各帧图像的颜色概率分布图,得到所述各帧图像的跟踪窗的质心;
质心存储模块,用于存储所述各帧图像中跟踪窗的质心;
绘制模块,用于根据存储的各质心,在预设的背景图像上绘制所述运动目标的运动轨迹。
7.根据权利要求6所述的系统,其特征在于,所述系统还包括:
修正模块,用于在所述判断模块判断所述各帧图像的跟踪窗的大小大于或等于预设的跟踪窗大小的阈值之后,根据预设的修正模型,将各帧图像的跟踪窗的大小修正至一个运动目标跟踪窗大小;
预测模块,用于调用预设的预测模型,根据上一帧图像中运动目标的质心,预测当前帧图像中的运动目标的质心。
8.根据权利要求6所述的系统,其特征在于,所述系统还包括:
帧差计算模块,用于采用帧间差分法对运动目标的运动视频进行处理,得到帧图像序列;
二值化模块,用于对所述帧图像序列进行二值化处理,得到二值图像序列;
平滑模块,用于采用中值滤波法对所述二值图像序列进行去噪处理,得到平滑图像序列;
优化模块,用于对所述平滑图像序列进行膨胀处理,得到优化图像序列;
跟踪确定模块,用于根据所述优化图像序列,确定用于跟踪运动目标的各帧图像中的第一帧图像。
9.根据权利要求8所述的系统,其特征在于,所述系统还包括:
筛选模块,用于对所述优化图像序列中运动目标的运动区域进行筛选,以确定运动目标;
所述筛选模块,包括:
提取单元,用于提取所述优化图像序列的前景轮廓图像序列;
选取单元,用于在所述前景轮廓图像序列中选取待检测目标的运动区域;
计算单元,用于计算所述待检测目标的运动区域的面积;
判断单元,用于判断所述待检测目标的运动区域的面积是否大于或等于预设运动区域面积阈值;
确定单元,用于在所述待检测目标的运动区域的面积大于或等于预设运动区域面积阈值,则确定该待检测目标为检测到的运动目标。
10.根据权利要求9所述的系统,其特征在于,所述系统还包括:
计数模块,在所述确定单元确定该待检测目标为检测到的运动目标之后,用于对所述检测到的运动目标进行计数;
标记模块,用于根据预设的标记方式,对所述检测到的运动目标进行标记。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510868279.XA CN105427346B (zh) | 2015-12-01 | 2015-12-01 | 一种运动目标跟踪方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510868279.XA CN105427346B (zh) | 2015-12-01 | 2015-12-01 | 一种运动目标跟踪方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105427346A CN105427346A (zh) | 2016-03-23 |
CN105427346B true CN105427346B (zh) | 2018-06-29 |
Family
ID=55505526
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510868279.XA Expired - Fee Related CN105427346B (zh) | 2015-12-01 | 2015-12-01 | 一种运动目标跟踪方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105427346B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106652465B (zh) * | 2016-11-15 | 2020-04-07 | 成都通甲优博科技有限责任公司 | 一种道路异常驾驶行为的识别方法及系统 |
CN106600625A (zh) * | 2016-12-13 | 2017-04-26 | 广东沅朋网络科技有限公司 | 检测小型生物的图像处理方法及装置 |
CN109118510A (zh) * | 2018-08-10 | 2019-01-01 | 平安科技(深圳)有限公司 | 一种监控视频处理方法、装置及计算机可读介质 |
CN109360225B (zh) * | 2018-10-16 | 2020-12-18 | 北京理工大学 | 一种运动模型的优化系统及方法 |
CN109859149B (zh) * | 2019-01-25 | 2023-08-08 | 成都泰盟软件有限公司 | 一种设定目标查找区域小动物运动跟踪方法 |
CN110033006B (zh) * | 2019-04-04 | 2022-03-29 | 华设设计集团股份有限公司 | 基于颜色特征非线性降维的车辆检测跟踪方法 |
CN110555863A (zh) * | 2019-09-11 | 2019-12-10 | 湖南德雅坤创科技有限公司 | 一种运动目标检测方法、装置和计算机可读存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101794385A (zh) * | 2010-03-23 | 2010-08-04 | 上海交通大学 | 用于视频序列的多角度多目标快速人脸跟踪方法 |
CN101955130A (zh) * | 2010-09-08 | 2011-01-26 | 西安理工大学 | 具有自动跟踪变倍功能的塔机视频监控系统及监控方法 |
CN103150740A (zh) * | 2013-03-29 | 2013-06-12 | 上海理工大学 | 一种基于视频的运动目标跟踪方法和系统 |
CN103971381A (zh) * | 2014-05-16 | 2014-08-06 | 江苏新瑞峰信息科技有限公司 | 一种多目标跟踪系统及方法 |
CN104951758A (zh) * | 2015-06-11 | 2015-09-30 | 大连理工大学 | 市区环境下基于视觉的车载行人检测与跟踪方法及系统 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102750708B (zh) * | 2012-05-11 | 2014-10-15 | 天津大学 | 基于快速鲁棒特征匹配的仿射运动目标跟踪算法 |
CN103077539B (zh) * | 2013-01-23 | 2015-08-12 | 上海交通大学 | 一种复杂背景及遮挡条件下的运动目标跟踪方法 |
CN103413137B (zh) * | 2013-08-05 | 2016-04-27 | 浙江大学 | 基于多规则的交互手势运动轨迹分割方法 |
-
2015
- 2015-12-01 CN CN201510868279.XA patent/CN105427346B/zh not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101794385A (zh) * | 2010-03-23 | 2010-08-04 | 上海交通大学 | 用于视频序列的多角度多目标快速人脸跟踪方法 |
CN101955130A (zh) * | 2010-09-08 | 2011-01-26 | 西安理工大学 | 具有自动跟踪变倍功能的塔机视频监控系统及监控方法 |
CN103150740A (zh) * | 2013-03-29 | 2013-06-12 | 上海理工大学 | 一种基于视频的运动目标跟踪方法和系统 |
CN103971381A (zh) * | 2014-05-16 | 2014-08-06 | 江苏新瑞峰信息科技有限公司 | 一种多目标跟踪系统及方法 |
CN104951758A (zh) * | 2015-06-11 | 2015-09-30 | 大连理工大学 | 市区环境下基于视觉的车载行人检测与跟踪方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN105427346A (zh) | 2016-03-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105427346B (zh) | 一种运动目标跟踪方法及系统 | |
CN107067382A (zh) | 一种改进的图像边缘检测方法 | |
CN104282020B (zh) | 一种基于目标运动轨迹的车辆速度检测方法 | |
CN104835164B (zh) | 一种双目摄像头深度图像的处理方法及装置 | |
CN105046245B (zh) | 视频人脸检测评价方法 | |
CN104680538B (zh) | 基于超像素的sar图像cfar目标检测方法 | |
CN110517288A (zh) | 基于全景多路4k视频图像的实时目标检测跟踪方法 | |
CN105787902B (zh) | 利用分块排序检测噪声的图像降噪方法 | |
CN102542289A (zh) | 一种基于多高斯计数模型的人流量统计方法 | |
CN105184812B (zh) | 一种基于目标跟踪的行人徘徊检测方法 | |
CN104252709B (zh) | 一种复杂背景下俯视群养猪多目标前景检测方法 | |
CN105043395B (zh) | 一种飞行器月表软着陆的实时动态选址方法 | |
CN105893957B (zh) | 基于视觉湖面船只检测识别与跟踪方法 | |
CN110738700A (zh) | 激光光斑中心检测方法、装置、计算机设备及存储介质 | |
CN108022237A (zh) | 血管提取方法、系统及存储介质 | |
EP3276574A1 (en) | Target tracking method and device | |
CN107491763A (zh) | 基于深度图像的手指区域分割方法及装置 | |
CN105654428A (zh) | 图像降噪方法及系统 | |
CN102693535B (zh) | 一种检测dr图像中束光器区域的方法 | |
CN105005983A (zh) | 一种sar图像背景杂波建模及目标检测方法 | |
Phoulady et al. | An approach for overlapping cell segmentation in multi-layer cervical cell volumes | |
CN104391294A (zh) | 一种基于连通域特征和模板匹配的雷达点迹关联方法 | |
Shi et al. | Image edge detection based on the Canny edge and the ant colony optimization algorithm | |
CN104408432B (zh) | 一种基于直方图修正的红外图像目标检测方法 | |
CN106845535B (zh) | 基于点云的典型零部件识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20180629 |