CN113689460A - 视频目标对象跟踪检测方法、装置、设备及存储介质 - Google Patents
视频目标对象跟踪检测方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN113689460A CN113689460A CN202111028689.5A CN202111028689A CN113689460A CN 113689460 A CN113689460 A CN 113689460A CN 202111028689 A CN202111028689 A CN 202111028689A CN 113689460 A CN113689460 A CN 113689460A
- Authority
- CN
- China
- Prior art keywords
- frame
- tracking
- target
- area
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 190
- 238000000034 method Methods 0.000 claims abstract description 39
- 238000009432 framing Methods 0.000 claims abstract description 13
- 238000004590 computer program Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种视频目标对象跟踪检测方法、装置、设备及存储介质。其中,该方法包括步骤:获取视频中当前图像帧的目标对象的目标检测框位置;根据所述目标检测框位置和预设的目标跟踪框的大小,按预设的规则在当前图像帧中框出跟踪区域位置;其中,所述目标跟踪框的大小小于视频中图像帧的大小;将下一检测图像帧中的与所述跟踪区域位置相同的区域作为目标对象的检测区域。本发明中,先提取全图中目标跟踪框的位置,根据目标跟踪框的位置预测目标对象在下一检测图像帧中可能出现的区域,最后只针对该区域进行目标对象检测。在确定目标对象检测区域的分辨率比全图的分辨率更低,对低分辨率的图像进行检测,使用的计算资源更少,耗费的时间更短。
Description
技术领域
本发明涉及人工智能技术领域,更具体地,涉及一种视频目标对象跟踪检测方法、装置、设备及存储介质。
背景技术
人工智能视觉目标跟踪被广泛地应用于各种领域和场景,例如,远程教学中的教师跟踪或学生跟踪、远程会议的主讲人跟踪等。一般来说,在给定某视频序列中初始帧中的目标对象大小与位置的情况下,利用视觉目标跟踪可以检测跟踪后续帧中该目标对象的大小与位置。
然而,目前对于目标跟踪技术,在图像处理过程中,为了确定图像中目标对象的位置通常需要对图像进行全图检测,再进一步针对目标对象对应的图像区域进行处理。随着4K甚至8K视频的推广,进行全图检测需消耗较大的计算资源,并且耗费较长的时间,对现有的设备特别是以前的设备将是一个极大的挑战。
发明内容
本发明为克服进行目标跟踪的图像处理过程中消耗较大的计算资源的计算问题,提供一种在减少计算资源的同时也能有效地检测到目标对象的方法。为解决上述技术问题,本发明采用的技术方案如下。
第一方面,一种视频目标对象跟踪检测方法,包括步骤:
获取视频中当前图像帧的目标对象的目标检测框位置;
根据所述目标检测框位置和预设的目标跟踪框的大小,按预设的规则在当前图像帧中框出跟踪区域位置;其中,所述目标跟踪框的大小小于视频中图像帧的大小;
将下一检测图像帧中的与所述跟踪区域位置相同的区域作为目标对象的检测区域。
在一种实施方式中,所述根据所述目标检测框位置和预设的目标跟踪框的大小,按预设的规则在当前图像帧中框出跟踪区域位置的过程,包括步骤:
以所述目标检测框位置的中心点作为目标跟踪框的中心点;
按预设的目标跟踪框的大小,得出预跟踪区域;
以所述预跟踪区域与图像帧区域的交集区域作为跟踪区域。
在一种实施方式中,所述根据所述目标检测框位置和预设的目标跟踪框的大小,按预设的规则在当前图像帧中框出跟踪区域位置的过程,包括步骤:
以所述目标检测框位置的中心点作为目标跟踪框的中心点;
按预设的目标跟踪框的大小,得出预跟踪区域;
在所述预跟踪区域不完全落入图像帧区域范围内时,调整所述预跟踪区域的位置,使得所述预跟踪区域落入图像帧区域范围内且所述目标检测框保持在所述预跟踪区域的范围内;
以调整后的预跟踪区域作为跟踪区域。
在一种实施方式中,图像帧的宽为W1、高为H1;
预设的目标跟踪框的宽为W3、高为H3;
目标检测框的中心点位置的坐标为(x1,y1);
预跟踪区域的中心点位置的坐标为(x2,y2);
所述在所述预跟踪区域不完全落入图像帧区域范围内时,调整所述预跟踪区域的位置,使得所述预跟踪区域落入图像帧区域范围内且所述目标检测框保持在所述预跟踪区域的范围内的过程,包括步骤:
在x1<W3/2时,x2=W3/2;
在x1>W1-(W3/2)时,x2=W1-(W3/2);
在y1<H3/2时,y2=H3/2;
在y1>H1-(H3/2)时,y2=H1-(H3/2)。
在一种实施方式中,还包括步骤:
对下一检测图像帧中的检测区域进行目标对象检测;
获取目标对象的目标检测框在检测区域中的位置;
根据所述目标检测框在检测区域中的位置还原目标检测框在所述下一检测图像帧中的位置。
在一种实施方式中,还包括步骤:
对下一检测图像帧中的检测区域进行目标对象检测;
在下一检测图像帧中没有检测到目标对象时,以当前图像帧中的目标检测框位置作为下一检测图像帧中目标检测框位置。
在一种实施方式中,还包括步骤:
在预设时间阈值内,没有检测到目标对象的图像帧的数量达到预设数量范围内时,对整个图像帧进行目标对象的检测。
第二方面,本发明提供一种视频目标对象跟踪检测装置,包括:
获取模块,用于获取视频中当前图像帧的目标对象的目标检测框位置;
提取模块,用于根据所述目标检测框位置和预设的目标跟踪框的大小,按预设的规则在当前图像帧中框出跟踪区域位置;其中,所述目标跟踪框的大小小于视频中图像帧的大小;
确定模块,用于将下一检测图像帧中的与所述跟踪区域位置相同的区域作为目标对象的检测区域。
第三方面,本发明提供一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述任一实施方式的方法。
第四方面,本发明提供一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现上述任一实施方式的方法。
本发明中,先提取全图中目标跟踪框的位置,根据目标跟踪框的位置预测目标对象在下一检测图像帧中可能出现的区域,最后只针对该区域进行目标对象检测。在确定目标对象检测区域的分辨率比全图的分辨率更低,对低分辨率的图像进行检测,使用的计算资源更少,耗费的时间更短。
附图说明
图1是本发明实施例一流程示意图。
图2是本发明实施例一的一实施方式示意图。
图3是本发明实施例一的另一实施方式示意图。
图4是本发明实施例一的又一实施方式示意图。
图5是本发明实施例二整体结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
需要说明的是,本发明实施例所涉及的术语“第一\第二\……”仅仅是是区别类似的对象,不代表针对对象的特定排序,可以理解地,“第一\第二\……”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二\……”区分的对象在适当情况下可以互换,以使这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
实施例一
请参见图1,图1为本发明实施例一提供的一种种视频目标对象跟踪检测方法的流程示意图,该方法包括步骤S110、步骤S120和步骤S130。需要注意的是,步骤S110、步骤S120和步骤S130仅为附图标记,用于清晰解释实施例与附图1的对应关系,不代表对本实施例中的各方法步骤的顺序限定。
步骤S110,获取视频中当前图像帧的目标对象的目标检测框位置。
本发明跟踪的目标对象可以是汽车、汽车车牌、人或者是人脸等等,为了方便说明,本实施例中以人脸作为目标对象进行说明。
一段视频中有多个图像帧,图2所示的是当前图像帧201。当前图像帧201是一帧已经进行过人物检测的图像帧。在当前图像帧201中,人物甲202被检测出来。被检测出来的人物甲202在当前图像帧201中被目标检测框203所框住。本步骤就是获取该目标检测框203的位置。对于目标检测框203的位置,可以通过各种方式来表示,例如通过坐标的方式来表示;至于坐标表达的方式,可以根据实际情况选取合适的方式,例如以目标检测框的中心点作为重要参考点或目标检测框的端点作为重要参考点。
这里需要指出的是,对于当前图像帧中是通过本发明的方法得出目标检测框还是通过全图检测的方式或者其他方式得出目标检测框,本发明不做限制。
步骤S120,根据所述目标检测框位置和预设的目标跟踪框的大小,按预设的规则在当前图像帧中框出跟踪区域位置;其中,所述目标跟踪框的大小小于视频中图像帧的大小。
预设目标跟踪框204的大小,根据目标检测框203的位置,按预设的规则在当前图像帧中框出跟踪区域位置205(图中点状纹理区域)。一般来说,优选的,目标跟踪框204的大小是固定的,不会随着目标检测框203的大小变化而变化;另外,目标跟踪框的204的大小是小于视频中图像帧201全图的大小的。这是因为,本发明的原理是把图像帧中最有可能存在目标对象的部分裁剪出来,得出较小的图像,针对该较小的图像做目标检测,以减少使用计算资源。例如,图像帧的分辨率是1920*1080,预设目标跟踪框204的大小只有图像帧的30%,为576*324,那么框出的跟踪区域位置205的分辨率也是576*324,对分辨率是576*324的区域进行目标检测,使用的资源自然会比全图检测要少,所以可以达到减少使用计算资源的目的。基于本发明的原理,目标跟踪框的大小必须是要小于视频中图像帧的大小,不然就会失去本发明的意义。同时,在某些场景中,例如,远程教学中的教师跟踪,老师一般只会在教坛走动,所以老师的目标检测框的尺寸变化会比较小,因此可以根据经验得出较佳尺寸的目标跟踪框,进一步使得设备可以使用最少的资源完成人脸检测,此时有固定尺寸的目标跟踪框显然更为合适。
另外,按预设的规则在当前图像帧中框出跟踪区域位置的过程中,本领域技术人员可以根据实际情况设置预设的规则。例如,如2所示的让目标跟踪框204的中心点与目标检测框203的中心点重合,得出跟踪区域位置205。或者,基于前几帧中目标检测框在图像帧中的移动趋势,让跟踪区域位置205适当地往水平和/或竖直方向上偏移。又或者,针对目标对象在图像帧中的位置,让跟踪区域位置205适当地往水平和/或竖直方向上偏移。
步骤S130,将下一检测图像帧中的与所述跟踪区域位置相同的区域作为目标对象的检测区域。
在步骤S120中,框出了当图像帧的跟踪区域位置205。由于当前图像帧和下一检测图像帧之间的时间间隔不会太大,目标对象在这段间隔时间内极少可能跑到跟踪区域位置以外的地方,所以在下一图像帧中仅对这部分区域进行目标对象的检测,依然很大可能能够检测出目标对象的,这样子就可以实现前面所说的仅对视频帧中的其中一部分做检测,也能检测出目标对象的效果,能够大大地减少使用计算资源。
这里必须指出的是,这里所说下一检测图像帧是指下一个要检测目标对象的图像帧,这里是根据实际情况而确定的,例如,如果是每个图像帧皆进行检测的话,那下一检测图像帧就是下一帧,如果是每隔一段时间才进行检测的话,下一检测图像帧就是隔一段时间后才进行检测的那帧图像帧。
对于检测区域的目标对象检测,可以使用基于深度学习的目标检测算法,其中,基于深度学习的目标检测算法主要分为两类:Two stage目标检测算法和One stage目标检测算法。Two stage目标检测算法,先进行区域生成(region proposal,RP)(一个有可能包含待检物体的预选框),再通过卷积神经网络进行样本分类,任务是:特征提取->生成RP->分类/定位回归。常见的two stage目标检测算法有:R-CNN、SPP-Net、Fast R-CNN、Faster R-CNN和R-FCN等。One stage目标检测算法,不用RP,直接在网络中提取特征来预测物体分类和位置,任务是:特征提取->分类/定位回归。常见的one stage目标检测算法有:OverFeat、YOLOv1、YOLOv2、YOLOv3、SSD和RetinaNet等。
本发明中,先提取全图中目标跟踪框的位置,根据目标跟踪框的位置预测目标对象在下一检测图像帧中可能出现的区域,最后只针对该区域进行目标对象检测。在确定目标对象检测区域的分辨率比全图的分辨率更低,对低分辨率的图像进行检测,使用的计算资源更少,耗费的时间更短。
在一种实施方式中,所述根据所述目标检测框位置和预设的目标跟踪框的大小,按预设的规则在当前图像帧中框出跟踪区域位置的过程,包括步骤S1211、步骤S1212和步骤S1213。
步骤S1211,以所述目标检测框位置的中心点作为目标跟踪框的中心点;
步骤S1212,按预设的目标跟踪框的大小,得出预跟踪区域;
步骤S1213,以所述预跟踪区域与图像帧区域的交集区域作为跟踪区域。
以所述目标检测框位置的中心点作为目标跟踪框的中心点,即使目标跟踪框和目标检测框共用同一个中心点。此时,会出现两种情况,一种情况如图2所示,目标跟踪框204完全落入当前图像帧201之内;另一种情况如图3所示,目标跟踪框304有部分内容在当前图像帧301之外。不管是何种情况,目标跟踪框204/304所框住的区域都是预跟踪区域。如果预跟踪区域如图2所示,全部落入到图像帧201之内的话,则整个预跟踪区域都作为跟踪区域(图中点状纹理区域);如果预跟踪区域如图3所示,部分落入到图像帧301之内的话,那么仅仅是在图像帧301之内的预跟踪区域作为跟踪区域。综合上述,两种情况得出步骤步骤S1213:以所述预跟踪区域与图像帧区域的交集区域作为跟踪区域。
这样可以让目标对象的检测区域进一步缩小,进一步提高处理的效率。
在一种实施方式中,所述根据所述目标检测框位置和预设的目标跟踪框的大小,按预设的规则在当前图像帧中框出跟踪区域位置的过程,包括步骤S1221、步骤S1222、步骤S1223和步骤S1224。
步骤S1221,以所述目标检测框位置的中心点作为目标跟踪框的中心点;
步骤S1222,按预设的目标跟踪框的大小,得出预跟踪区域;
步骤S1223,在所述预跟踪区域不完全落入图像帧区域范围内时,调整所述预跟踪区域的位置,使得所述预跟踪区域落入图像帧区域范围内且所述目标检测框保持在所述预跟踪区域的范围内;
步骤S1224,以调整后的预跟踪区域作为跟踪区域。
本实施方式中的前两个步骤与上一实施方式相同,如上一实施方式所述,以所述目标检测框位置的中心点作为目标跟踪框的中心点时,会存在目标跟踪框完全落入当前图像帧之内与目标跟踪框有部分内容在当前图像帧之外两种情形。如图4所示,本实施方式是在目标跟踪框404有部分内容在当前图像帧401之外时,将目标跟踪框404“拉”回到当前图像帧401之内,得到最终的跟踪区域。具体地,“拉”回后的跟踪区域落入图像帧401的区域范围内,并且目标检测框403依然还在跟踪区域的范围内,即图4中的点状纹理区域。
在一种实施方式中,图像帧的宽为W1、高为H1;预设的目标跟踪框的宽为W3、高为H3;目标检测框的中心点位置的坐标为(x1,y1);预跟踪区域的中心点位置的坐标为(x2,y2);
所述在所述预跟踪区域不完全落入图像帧区域范围内时,调整所述预跟踪区域的位置,使得所述预跟踪区域落入图像帧区域范围内且所述目标检测框保持在所述预跟踪区域的范围内的过程,包括步骤:
在x1<W3/2时,x2=W3/2;
在x1>W1-(W3/2)时,x2=W1-(W3/2);
在y1<H3/2时,y2=H3/2;
在y1>H1-(H3/2)时,y2=H1-(H3/2)。
在x1<W3/2时,是如图4所示的目标跟踪框404在左边界超出图像帧范围的情形。在这种情况下,让目标跟踪框往右攞,让目标跟踪框的左边界与图像帧的左边界平齐,此时,x2=W3/2。
相对应的,在x1>W1-(W3/2)时,就是目标跟踪框在右边界超出图像帧范围的情形。在这种情况下,让目标跟踪框往左攞,让目标跟踪框的右边界与图像帧的右边界平齐,此时,x2=W1-(W3/2)。
同理,在y1<H3/2时,就是目标跟踪框超出在下边界超出图像帧范围的情形;在y1>H1-(H3/2)时,就是目标跟踪框超出在上边界超出图像帧范围的情形。那么,分别让y2=H3/2和y2=H1-(H3/2)。
这样子可以让目标对象的检测区域的大小保持一致,方便对小像素图像检测后,将其位置还原到大像素全图中。
在一种实施方式中,还包括:步骤S140、步骤S150和步骤S160。
步骤S140,对下一检测图像帧中的检测区域进行目标对象检测;
步骤S150,获取目标对象的目标检测框在检测区域中的位置;
步骤S160,根据所述目标检测框在检测区域中的位置还原目标检测框在所述下一检测图像帧中的位置。
在步骤S130中得出了下一检测图像帧中检测目标对象的检测区域,步骤S140对检测区域进行目标对象检测,检测后,目标对象又会被目标检测框给框住。步骤S150中,获取该新的目标检测框在检测区域中的位置。此时,检测到的目标检测框的在检测区域中的中心坐标为(x3,y3)。步骤S160中,将该中心坐标(x3,y3)还原变成在整个图像帧中的坐标。检测区域在图像帧中,左边界的横坐标是:x2-(W3/2),所以新的目标检测框的中心点位置的坐标x1=x2-(W3/2)+x3;同理,y1=y2-(H3/2)+y3。经过步骤S160后,在全图的图像帧中,又可以继续展现目标检测框了。
在一种实施方式中,还包括:步骤S140和步骤S170。
步骤S140,对下一检测图像帧中的检测区域进行目标对象检测;
步骤S170,在下一检测图像帧中没有检测到目标对象时,以当前图像帧中的目标检测框位置作为下一检测图像帧中目标检测框位置。
在下一检测图像帧中,有可能会检测不到目标对象,而检测不到目标对象的原因是多种多样的,例如被其他物品所遮挡。而当前检测图像帧中的目标检测框会作为下一检测图像帧检测区域的基础,如果就此放弃该目标检测框,那会造成下一检测图像帧要进行全图检测,造成系统频繁重置检测跟踪,白白地浪费了计算资源。所以在没有检测到目标对象时,可以暂时以目前的目标检测框位置作为下一检测图像帧中目标检测框位置,让往后的检测图像帧不需要进行全图检测。
在一种实施方式中,还包括:步骤S180。
步骤S180,在预设时间阈值内,没有检测到目标对象的图像帧的数量达到预设数量范围内时,对整个图像帧进行目标对象的检测。
步骤S170可以避免系统频繁重置检测跟踪,但也有可能真的是目标对象被跟丢了,所以设置跟丢的条件,当触发该条件时,认为目标对象跟丢了。本发明中,预设时间阈值,在预设时间阈值内,如果持续检测不到目标对象的话,可以认为触发跟丢条件。当然,本发明中对于持续检测不到的设置是以图像帧的数量确定的,例如,预设数量范围是小于1,那么在预设时间阈值范围内的所有图像都没有目标对象时,才认为是跟丢了。在确认目标跟丢后,对整个图像帧进行目标对象的检测,重新检测出目标对象和目标检测框的位置。
步骤S180是上一种实施方式的有力补充,可以让系统合理地进行全图检测,以防只是某些帧未检测到而导致系统频繁重置检测跟踪。
实施例二
与实施例一的方法相对应,如图5所示,本发明还提供一种视频目标对象跟踪检测装置5,包括:获取模块501、提取模块502和确定模块503。
获取模块501,用于获取视频中当前图像帧的目标对象的目标检测框位置;
提取模块502,用于根据所述目标检测框位置和预设的目标跟踪框的大小,按预设的规则在当前图像帧中框出跟踪区域位置;其中,所述目标跟踪框的大小小于视频中图像帧的大小;
确定模块503,用于将下一检测图像帧中的与所述跟踪区域位置相同的区域作为目标对象的检测区域。
本发明中,先提取全图中目标跟踪框的位置,根据目标跟踪框的位置预测目标对象在下一检测图像帧中可能出现的区域,最后只针对该区域进行目标对象检测。在确定目标对象检测区域的分辨率比全图的分辨率更低,对低分辨率的图像进行检测,使用的计算资源更少,耗费的时间更短。
在一种实施方式中,提取模块502的工作包括步骤:
以所述目标检测框位置的中心点作为目标跟踪框的中心点;
按预设的目标跟踪框的大小,得出预跟踪区域;
以所述预跟踪区域与图像帧区域的交集区域作为跟踪区域。
在一种实施方式中,提取模块502的工作包括步骤:
以所述目标检测框位置的中心点作为目标跟踪框的中心点;
按预设的目标跟踪框的大小,得出预跟踪区域;
在所述预跟踪区域不完全落入图像帧区域范围内时,调整所述预跟踪区域的位置,使得所述预跟踪区域落入图像帧区域范围内且所述目标检测框保持在所述预跟踪区域的范围内;
以调整后的预跟踪区域作为跟踪区域。
在一种实施方式中,图像帧的宽为W1、高为H1;预设的目标跟踪框的宽为W3、高为H3;目标检测框的中心点位置的坐标为(x1,y1);预跟踪区域的中心点位置的坐标为(x2,y2);
所述在所述预跟踪区域不完全落入图像帧区域范围内时,调整所述预跟踪区域的位置,使得所述预跟踪区域落入图像帧区域范围内且所述目标检测框保持在所述预跟踪区域的范围内的过程,包括步骤:
在x1<W3/2时,x2=W3/2;
在x1>W1-(W3/2)时,x2=W1-(W3/2);
在y1<H3/2时,y2=H3/2;
在y1>H1-(H3/2)时,y2=H1-(H3/2)。
在一种实施方式中,该视频目标对象跟踪检测装置还包括:
检测模块,用于对下一检测图像帧中的检测区域进行目标对象检测;
生成模块,在下一检测图像帧中没有检测到目标对象时,以当前图像帧中的目标检测框位置作为下一检测图像帧中目标检测框位置。
在一种实施方式中,该视频目标对象跟踪检测装置还包括:
重置模块,用于在预设时间阈值内,没有检测到目标对象的图像帧的数量达到预设数量范围内时,对整个图像帧进行目标对象的检测。
实施例三
本发明实施例还提供了一种存储介质,其上存储有计算机指令,该指令被处理器执行时实现上述任一实施例的视频目标对象跟踪检测方法。
本领域的技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、随机存取存储器(RAM,Random Access Memory)、只读存储器(ROM,Read-Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者,本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、终端、或者网络设备等)执行本发明各个实施例方法的全部或部分。而前述的存储介质包括:移动存储设备、RAM、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
与上述的计算机存储介质对应的是,在一个实施例中还提供一种计算机设备,该计算机设备包括存储器、编码器及存储在存储器上并可在编码器上运行的计算机程序,其中,编码器执行程序时实现如上述各实施例中的任意一种视频目标对象跟踪检测方法。
上述计算机设备,先提取全图中目标跟踪框的位置,根据目标跟踪框的位置预测目标对象在下一检测图像帧中可能出现的区域,最后只针对该区域进行目标对象检测。在确定目标对象检测区域的分辨率比全图的分辨率更低,对低分辨率的图像进行检测,使用的计算资源更少,耗费的时间更短。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
显然,本发明的上述实施例仅仅是为清楚地说明本发明所作的举例,而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明权利要求的保护范围之内。
Claims (10)
1.一种视频目标对象跟踪检测方法,其特征在于,包括步骤:
获取视频中当前图像帧的目标对象的目标检测框位置;
根据所述目标检测框位置和预设的目标跟踪框的大小,按预设的规则在当前图像帧中框出跟踪区域位置;其中,所述目标跟踪框的大小小于视频中图像帧的大小;
将下一检测图像帧中的与所述跟踪区域位置相同的区域作为目标对象的检测区域。
2.根据权利要求1所述的视频目标对象跟踪检测方法,其特征在于,所述根据所述目标检测框位置和预设的目标跟踪框的大小,按预设的规则在当前图像帧中框出跟踪区域位置的过程,包括步骤:
以所述目标检测框位置的中心点作为目标跟踪框的中心点;
按预设的目标跟踪框的大小,得出预跟踪区域;
以所述预跟踪区域与图像帧区域的交集区域作为跟踪区域。
3.根据权利要求1所述的视频目标对象跟踪检测方法,其特征在于,所述根据所述目标检测框位置和预设的目标跟踪框的大小,按预设的规则在当前图像帧中框出跟踪区域位置的过程,包括步骤:
以所述目标检测框位置的中心点作为目标跟踪框的中心点;
按预设的目标跟踪框的大小,得出预跟踪区域;
在所述预跟踪区域不完全落入图像帧区域范围内时,调整所述预跟踪区域的位置,使得所述预跟踪区域落入图像帧区域范围内且所述目标检测框保持在所述预跟踪区域的范围内;
以调整后的预跟踪区域作为跟踪区域。
4.根据权利要求3所述的视频目标对象跟踪检测方法,其特征在于,
图像帧的宽为W1、高为H1;
预设的目标跟踪框的宽为W3、高为H3;
目标检测框的中心点位置的坐标为(x1,y1);
预跟踪区域的中心点位置的坐标为(x2,y2);
所述在所述预跟踪区域不完全落入图像帧区域范围内时,调整所述预跟踪区域的位置,使得所述预跟踪区域落入图像帧区域范围内且所述目标检测框保持在所述预跟踪区域的范围内的过程,包括步骤:
在x1<W3/2时,x2=W3/2;
在x1>W1-(W3/2)时,x2=W1-(W3/2);
在y1<H3/2时,y2=H3/2;
在y1>H1-(H3/2)时,y2=H1-(H3/2)。
5.根据权利要求1-4任一项所述的视频目标对象跟踪检测方法,其特征在于,还包括步骤:
对下一检测图像帧中的检测区域进行目标对象检测;
获取目标对象的目标检测框在检测区域中的位置;
根据所述目标检测框在检测区域中的位置还原目标检测框在所述下一检测图像帧中的位置。
6.根据权利要求1-4任一项所述的视频目标对象跟踪检测方法,其特征在于,还包括步骤:
对下一检测图像帧中的检测区域进行目标对象检测;
在下一检测图像帧中没有检测到目标对象时,以当前图像帧中的目标检测框位置作为下一检测图像帧中目标检测框位置。
7.根据权利要求6所述的视频目标对象跟踪检测方法,其特征在于,还包括步骤:
在预设时间阈值内,没有检测到目标对象的图像帧的数量达到预设数量范围内时,对整个图像帧进行目标对象的检测。
8.一种视频目标对象跟踪检测装置,其特征在于,包括:
获取模块,用于获取视频中当前图像帧的目标对象的目标检测框位置;
提取模块,用于根据所述目标检测框位置和预设的目标跟踪框的大小,按预设的规则在当前图像帧中框出跟踪区域位置;其中,所述目标跟踪框的大小小于视频中图像帧的大小;
确定模块,用于将下一检测图像帧中的与所述跟踪区域位置相同的区域作为目标对象的检测区域。
9.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-7中任一所述的方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-7中任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111028689.5A CN113689460B (zh) | 2021-09-02 | 2021-09-02 | 视频目标对象跟踪检测方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111028689.5A CN113689460B (zh) | 2021-09-02 | 2021-09-02 | 视频目标对象跟踪检测方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113689460A true CN113689460A (zh) | 2021-11-23 |
CN113689460B CN113689460B (zh) | 2023-12-15 |
Family
ID=78585094
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111028689.5A Active CN113689460B (zh) | 2021-09-02 | 2021-09-02 | 视频目标对象跟踪检测方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113689460B (zh) |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102722714A (zh) * | 2012-05-18 | 2012-10-10 | 西安电子科技大学 | 基于目标跟踪的人工神经网络扩张式学习方法 |
CN103179335A (zh) * | 2011-09-01 | 2013-06-26 | 瑞萨电子株式会社 | 对象跟踪装置 |
US20130272570A1 (en) * | 2012-04-16 | 2013-10-17 | Qualcomm Incorporated | Robust and efficient learning object tracker |
CN103584888A (zh) * | 2013-12-02 | 2014-02-19 | 深圳市恩普电子技术有限公司 | 超声目标运动追踪方法 |
CN105654512A (zh) * | 2015-12-29 | 2016-06-08 | 深圳羚羊微服机器人科技有限公司 | 一种目标跟踪方法和装置 |
CN105678809A (zh) * | 2016-01-12 | 2016-06-15 | 湖南优象科技有限公司 | 手持式自动跟拍装置及其目标跟踪方法 |
CN108805901A (zh) * | 2018-05-04 | 2018-11-13 | 北京航空航天大学 | 一种基于多核dsp的视觉目标快速检测跟踪并行计算及融合方法 |
CN108830196A (zh) * | 2018-05-31 | 2018-11-16 | 上海贵和软件技术有限公司 | 基于特征金字塔网络的行人检测方法 |
CN111754541A (zh) * | 2020-07-29 | 2020-10-09 | 腾讯科技(深圳)有限公司 | 目标跟踪方法、装置、设备及可读存储介质 |
CN111798487A (zh) * | 2019-08-27 | 2020-10-20 | 北京京东尚科信息技术有限公司 | 目标跟踪方法、装置和计算机可读存储介质 |
CN111968134A (zh) * | 2020-08-11 | 2020-11-20 | 影石创新科技股份有限公司 | 目标分割方法、装置、计算机可读存储介质及计算机设备 |
-
2021
- 2021-09-02 CN CN202111028689.5A patent/CN113689460B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103179335A (zh) * | 2011-09-01 | 2013-06-26 | 瑞萨电子株式会社 | 对象跟踪装置 |
US20130272570A1 (en) * | 2012-04-16 | 2013-10-17 | Qualcomm Incorporated | Robust and efficient learning object tracker |
CN102722714A (zh) * | 2012-05-18 | 2012-10-10 | 西安电子科技大学 | 基于目标跟踪的人工神经网络扩张式学习方法 |
CN103584888A (zh) * | 2013-12-02 | 2014-02-19 | 深圳市恩普电子技术有限公司 | 超声目标运动追踪方法 |
CN105654512A (zh) * | 2015-12-29 | 2016-06-08 | 深圳羚羊微服机器人科技有限公司 | 一种目标跟踪方法和装置 |
CN105678809A (zh) * | 2016-01-12 | 2016-06-15 | 湖南优象科技有限公司 | 手持式自动跟拍装置及其目标跟踪方法 |
CN108805901A (zh) * | 2018-05-04 | 2018-11-13 | 北京航空航天大学 | 一种基于多核dsp的视觉目标快速检测跟踪并行计算及融合方法 |
CN108830196A (zh) * | 2018-05-31 | 2018-11-16 | 上海贵和软件技术有限公司 | 基于特征金字塔网络的行人检测方法 |
CN111798487A (zh) * | 2019-08-27 | 2020-10-20 | 北京京东尚科信息技术有限公司 | 目标跟踪方法、装置和计算机可读存储介质 |
CN111754541A (zh) * | 2020-07-29 | 2020-10-09 | 腾讯科技(深圳)有限公司 | 目标跟踪方法、装置、设备及可读存储介质 |
CN111968134A (zh) * | 2020-08-11 | 2020-11-20 | 影石创新科技股份有限公司 | 目标分割方法、装置、计算机可读存储介质及计算机设备 |
Non-Patent Citations (3)
Title |
---|
ZHI-BIN ZOU: ""Labeled box-particle PHD filter for multi-target tracking"", 《2017 3RD IEEE INTERNATIONAL CONFERENCE ON COMPUTER AND COMMUNICATIONS (ICCC)》 * |
周腾飞: ""基于深度学习的目标检测算法研究"", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
胡随芯;常艳昌;杨俊;章振原;: "基于多特征融合的高速路车辆多目标跟踪算法研究", 汽车技术, no. 09 * |
Also Published As
Publication number | Publication date |
---|---|
CN113689460B (zh) | 2023-12-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11170210B2 (en) | Gesture identification, control, and neural network training methods and apparatuses, and electronic devices | |
Denman et al. | An adaptive optical flow technique for person tracking systems | |
CN106327520B (zh) | 一种运动目标检测方法及系统 | |
EP2128818A1 (en) | Method of moving target tracking and number accounting | |
US7982774B2 (en) | Image processing apparatus and image processing method | |
CN103810696B (zh) | 一种目标对象图像检测方法及装置 | |
US20170220894A1 (en) | Image processing device, image processing method, and program | |
Ullah et al. | Gaussian mixtures for anomaly detection in crowded scenes | |
JP2009140307A (ja) | 人物検出装置 | |
CN115049954A (zh) | 目标识别方法、装置、电子设备和介质 | |
Wang et al. | A probabilistic approach for foreground and shadow segmentation in monocular image sequences | |
Patel et al. | Human tracking in video surveillance | |
CN113689460A (zh) | 视频目标对象跟踪检测方法、装置、设备及存储介质 | |
Khashman | Automatic detection, extraction and recognition of moving objects | |
CN111144260A (zh) | 一种翻越闸机的检测方法、装置及系统 | |
Zhu et al. | Detection and recognition of abnormal running behavior in surveillance video | |
JP6603123B2 (ja) | 動物体の検出装置、検出方法及びプログラム | |
CN115311518A (zh) | 一种获取视觉属性信息的方法、装置、介质及电子设备 | |
CN113657137A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
Jain et al. | Automatic Obstacle Detection using Image Segmentation | |
KR20140143918A (ko) | 영상의 전경과 배경을 분리하여 전경영상을 검출하는 방법 및 장치 | |
Jang et al. | Foreground segmentation using morphological operator and histogram analysis for indoor applications | |
Mudjirahardjo et al. | Abnormal motion detection in an occlusion environment | |
Fuentes et al. | Assessment of image processing techniques as a means of improving personal security in public transport | |
WO2021260934A1 (ja) | 情報処理装置、情報処理方法およびプログラム記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |