CN115471546A - 目标跟踪方法、系统、设备及存储介质 - Google Patents
目标跟踪方法、系统、设备及存储介质 Download PDFInfo
- Publication number
- CN115471546A CN115471546A CN202110654485.6A CN202110654485A CN115471546A CN 115471546 A CN115471546 A CN 115471546A CN 202110654485 A CN202110654485 A CN 202110654485A CN 115471546 A CN115471546 A CN 115471546A
- Authority
- CN
- China
- Prior art keywords
- camera
- target
- rotation
- angle
- tracking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 93
- 238000003860 storage Methods 0.000 title claims description 23
- 238000003384 imaging method Methods 0.000 claims description 38
- 238000001514 detection method Methods 0.000 claims description 20
- 230000015654 memory Effects 0.000 claims description 19
- 238000005457 optimization Methods 0.000 claims description 11
- 230000011218 segmentation Effects 0.000 claims description 10
- 230000008569 process Effects 0.000 abstract description 13
- 238000012544 monitoring process Methods 0.000 abstract description 8
- 238000010223 real-time analysis Methods 0.000 abstract description 4
- 238000005516 engineering process Methods 0.000 abstract description 2
- 238000012545 processing Methods 0.000 description 32
- 230000006870 function Effects 0.000 description 25
- 238000004590 computer program Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 12
- 238000007726 management method Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 238000009434 installation Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 3
- 238000009795 derivation Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000006467 substitution reaction Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000007621 cluster analysis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000004549 pulsed laser deposition Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Geometry (AREA)
- Studio Devices (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
一种目标跟踪技术,属于视频监控技术领域,在摄像机跟踪目标的过程中,通过实时分析来确定目标的运动是否引起摄像机满足旋转条件,若摄像机满足旋转条件,控制摄像机旋转,并暂停跟踪目标,使得目标与摄像机之间尚有一段距离的时候,摄像机能够提前旋转至可以检测到目标的目标角度,进而继续跟踪目标,通过这种提前判断以提前旋转的方式,实现了对目标的持续跟踪,保证了目标跟踪的连续性。
Description
技术领域
本申请涉及视频监控技术领域,特别涉及一种目标跟踪方法、系统、设备及存储介质。
背景技术
近年来,在安防、交通、周界警戒等多种应用场景下,球机以其灵活的拍摄角度、算法集成的追踪能力被大量使用。其中,利用球机对移动目标进行跟踪拍摄,是目前主要的球机应用场景之一。
相关技术中,球机支持垂直方向旋转至90°,从而实现对移动目标的持续跟踪,直至移动目标穿过球机下方。然而,球机在跟踪移动目标的过程中,随着球机在垂直方向的旋转角度逐渐增大,球机的转速加速度变化较大,极易超过转速上限,导致目标跟踪失败。而且,当移动目标穿过球机下方后,球机在垂直方向的旋转角度达到极限,无法对移动目标继续进行跟踪。
因此,亟需一种能够满足对移动目标的大角度跟踪拍摄需求的目标跟踪方法。
发明内容
本申请实施例提供了一种目标跟踪方法、装置、设备及存储介质,能够实现对目标的持续跟踪,保证目标跟踪的连续性。该技术方案如下:
第一方面,提供了一种目标跟踪方法,该方法由电子设备执行,该方法包括:
控制摄像机跟踪目标;
当该目标的运动引起该摄像机满足旋转条件,则控制该摄像机进行旋转,旋转期间暂停跟踪该目标,当旋转至目标角度后停止旋转;
旋转停止后,当该摄像机再次检测到该目标,则控制该摄像机基于该目标角度继续跟踪该目标。
在摄像机跟踪目标的过程中,通过实时分析来确定目标的运动是否引起摄像机满足旋转条件,若摄像机满足旋转条件,控制摄像机旋转,并暂停跟踪目标,使得目标与摄像机之间尚有一段距离的时候,摄像机能够提前旋转至可以检测到目标的目标角度,进而继续跟踪目标,通过这种提前判断以提前旋转的方式,实现了对目标的持续跟踪,保证了目标跟踪的连续性。换言之,本申请在即将跟丢目标(或者跟踪效果变得不佳)时,摄像机果断暂时性放弃跟踪,提前旋转至方便继续跟踪该目标的角度,为继续跟踪做好准备。反观现有技术,当摄像机即将(或者已经)跟踪失败时,仍然在努力跟踪目标,导致耗费较长时间才能再次跟踪到目标,而且容易发生跟丢目标的现象。
在一些实施例中,该摄像机为PTZ摄像机。PTZ摄像机,是一种由云台支撑和控制的摄像机,能够实现在水平方向和垂直方向上的自由旋转。通过PTZ摄像机能够实现对目标的多角度跟踪拍摄。
在一些实施例中,旋转期间暂停跟踪该目标包括:暂停处理该摄像机所拍摄的画面。由于摄像机满足旋转条件时,若摄像机继续跟踪,往往拍摄到的画面中包含的是目标的顶面或侧面等部分,很难提取出有用的特征,画面的应用价值低,因此,在摄像机旋转期间暂停处理摄像机所拍摄的画面能够减少数据处理量,从而节约计算资源。
在一些实施例中,在旋转期间停止以下操作中的一项或者多项:自动对焦、自动光圈控制、图像信号处理器(image signal processing,ISP)优化、图像检测、图像内容分割以及目标识别。
在旋转期间停止上述操作中的一项或者多项也可以理解为暂停处理该摄像机所拍摄的画面,通过在摄像机旋转期间,停止上述操作中的一项或者多项,能够减少数据处理量,从而节约计算资源。
在一些实施例中,旋转停止后,恢复被停止的一项或者多项操作。
当摄像机旋转停止后,随即恢复上述被停止的一项或者多项操作也可以理解为恢复处理该摄像机所拍摄的画面。在本申请中,由于摄像机是按照目标角度进行旋转的,因此当摄像机旋转停止时,通过及时恢复上述操作,确保了摄像机能够及时检测到目标,从而提高了目标跟踪效率。
在一些实施例中,当摄像机依照该目标角度完成旋转,则该摄像机所拍摄的实时画面中预测会出现该目标。通过控制摄像机按照可以拍摄到目标的目标角度来完成旋转,实现了对目标的持续跟踪,保证了目标跟踪的连续性。
在一些实施例中,该目标位于该摄像机所拍摄的实时画面的中心位置。通过控制摄像机在旋转后拍摄到的目标正好位于画面中心,便于后续持续跟踪目标,提高了电子设备识别目标的准确性。
在一些实施例中,摄像机的旋转方向和该目标相对于该摄像机的运动方向相关。通过这种方式,确保了摄像机按照该旋转方向和上述目标角度旋转后,能够及时检测到目标,从而实现了对目标的持续跟踪,保证了目标跟踪的连续性。
在一些实施例中,该旋转条件包括下述任一项:
(1)该目标朝接近该摄像机的方向运动,并且该摄像机所支持的旋转速度难以维持继续跟踪该目标。
在这种情况下,摄像机所支持的旋转速度难以维持继续跟踪该目标,表明目标的运动速度过快,导致摄像机的旋转速度即将达到极限,摄像机难以维持继续跟踪该目标,也即是摄像机容易跟丢目标,因此,这种旋转条件的判定方式能够避免摄像机跟丢目标,确保摄像机跟踪目标的持续性。
(2)该目标朝接近该摄像机的方向运动,并且在该摄像机所拍摄的画面中该目标的感兴趣区域即将消失或者已经消失。
其中,感兴趣区域为预先设置的区域,电子设备通过该感兴趣区域来识别目标。在这种情况下,若摄像机所拍摄的画面中该目标的感兴趣区域即将消失或者已经消失,表明电子设备难以识别目标,也即难以计算目标在画面中的成像区域和成像尺寸,若摄像机继续跟踪,容易导致电子设备无法准确计算云台的控制参数,甚至导致摄像机跟丢目标,因此,这种旋转条件的判定方式能够避免摄像机跟丢目标,确保摄像机跟踪目标的持续性。
在一些实施例中,该旋转条件包括下述任一项:
(1)该摄像机所拍摄的画面中该目标的成像区域的尺寸大于或等于目标尺寸。
在这种情况下,摄像机所拍摄的画面中该目标的成像区域的尺寸大于或等于目标尺寸,表明目标的成像区域的尺寸过大,也即表明目标距离摄像机过近,此时目标即将经过摄像机,若摄像机继续跟踪,拍摄到的画面中目标占比过大,电子设备无法准确识别目标,容易导致摄像机跟丢目标,因此,这种旋转条件的判定方式能够避免摄像机跟丢目标,确保摄像机跟踪目标的持续性。
(2)该摄像机所拍摄的画面中该目标的成像区域的位置处于目标位置。
在这种情况下,摄像机所拍摄的画面中该目标的成像区域的位置处于目标位置,表明目标运动速度过快,摄像机即将无法拍摄到该目标,也即是摄像机即将跟丢目标,若摄像机继续跟踪,极易导致跟丢目标,因此,这种旋转条件的判定方式能够避免摄像机跟丢目标,确保摄像机跟踪目标的持续性。
(3)该摄像机所拍摄的画面中不存在该目标。
在这种情况下,摄像机所拍摄的画面中不存在该目标,表明目标运动过快,摄像机已经跟丢目标,因此,这种旋转条件的判定方式能够在已经跟丢目标的情况下,提高重新跟踪目标的概率。
在一些实施例中,该旋转条件还包括下述任一项:
(1)该摄像机在垂直方向上的已旋转角度大于或等于第一阈值。
在这种情况下,摄像机在垂直方向上的已旋转角度过大,表明目标距离摄像机较近,目标即将经过摄像机,若摄像机继续跟踪,拍摄到的画面中目标占比过大,电子设备无法准确识别目标,容易导致摄像机跟丢目标,而且摄像机拍摄到的画面中往往包含的是目标的顶面或侧面等部分,很难提取出有用的特征,导致画面的应用价值较低,因此,这种旋转条件的判定方式不仅能够避免摄像机跟丢目标,确保摄像机跟踪目标的持续性,还避免了电子设备处理不必要的数据量,从而提高了目标跟踪效率。
(2)该摄像机在垂直方向上的当前旋转速度大于或等于第二阈值。
在这种情况下,摄像机在垂直方向上的当前旋转速度过大,表明目标运动速度过快,导致摄像机的旋转速度即将达到极限,摄像机难以维持继续跟踪该目标,也即是摄像机容易跟丢目标,因此,这种旋转条件的判定方式能够避免摄像机跟丢目标,确保摄像机跟踪目标的持续性。
(3)该摄像机在垂直方向上的已旋转角度与该摄像机在垂直方向上的当前旋转速度之间满足目标函数关系。
通过这种目标函数关系来判定摄像机是否满足旋转条件的方式,能够充分考虑目标的不同运动状态,有针对性地跟踪目标,避免了摄像机跟丢目标,确保摄像机跟踪目标的持续性,也为后续持续跟踪目标提供了基础。
在一些实施例中,控制该摄像机暂停跟踪该目标,并旋转至目标角度,包括:
控制该摄像机暂停跟踪该目标;
基于该摄像机的已旋转角度,确定该摄像机的目标旋转参数;
基于该目标旋转参数,控制该摄像机进行旋转,当旋转至该目标角度后停止旋转。
在一些实施例中,基于该摄像机的已旋转角度,确定该摄像机的目标旋转参数,包括下述两种场景:
场景一、该目标旋转参数包括该摄像机在水平方向上的第一旋转角度和第一旋转速度,该基于该摄像机的已旋转角度,确定该摄像机的目标旋转参数,包括:
确定该摄像机在水平方向上当前时刻和第一目标时刻的已旋转角度差,该第一目标时刻为该当前时刻之前的任一时刻;
基于该第一已旋转角度差,确定该第一旋转角度和该第一旋转速度。
在一些实施例中,基于该已旋转角度差,确定该第一旋转角度和该第一旋转速度,包括:获取该摄像机在该当前时刻的第一变倍信息和该摄像机在该第一目标时刻的第二变倍信息;基于该已旋转角度差、该第一变倍信息以及该第二变倍信息,确定该第一旋转角度;基于该第一旋转角度,确定该第一旋转速度。
在一些实施例中,基于该第一旋转角度,确定该第一旋转速度,包括:
获取预测耗时,该预测耗时基于该目标的历史移动距离和预测移动距离之间的比值和该当前时刻与该第一目标时刻之间的时间差确定,该历史移动距离是指该目标在该当前时刻和该第一目标时刻之间的移动距离,该预测移动距离是指该目标在该当前时刻和未来的第二目标时刻之间的移动距离;基于该预测耗时和该第一旋转角度,确定该第一旋转速度。
在一些实施例中,该第一目标时刻为该摄像机首次拍摄到该目标的时刻。通过将摄像机首次拍摄到该目标的时刻作为第一目标时刻,当前时刻与第一目标时刻之间间隔时间较长,目标在这段时间内的平均运动状态较为稳定,提高了电子设备计算目标旋转参数的准确性。
需要说明的是,上述场景一是以目标按照匀速沿直线运动为例进行说明的,在这种情况下,摄像机仅需要在水平方向上旋转,当摄像机按照上述目标旋转参数旋转后,摄像机所拍摄的画面中预测会出现该目标。在一些实施例中,该目标位于画面的中心位置。通过这种方式,实现了摄像机对目标的持续跟踪,保证了目标跟踪的连续性。
场景二、该目标旋转参数包括该摄像机在水平方向上的第一旋转角度和第一旋转速度,以及该摄像机在垂直方向上的第二旋转角度和第二旋转速度,该基于该摄像机的已旋转角度,确定该摄像机的目标旋转参数,包括:
获取该摄像机在水平方向上的目标旋转角度;
基于该摄像机在水平方向上当前时刻的已旋转角度以及该目标旋转角度,确定该第一旋转角度和该第一旋转速度;
基于该摄像机在垂直方向上该当前时刻的已旋转角度,确定该第二旋转角度和该第二旋转速度。
在一些实施例中,该基于该摄像机在水平方向上当前时刻的已旋转角度,以及该目标旋转角度,确定该第一旋转角度和该第一旋转速度,包括:
基于该摄像机在水平方向上当前时刻的已旋转角度,确定该摄像机在水平方向上的第三旋转角度;将该第三旋转角度和该目标旋转角度之和,作为该第一旋转角度;基于该第一旋转角度,确定该第一旋转速度。
在一些实施例中,该基于该摄像机在垂直方向上该当前时刻的已旋转角度,确定该第二旋转角度和该第二旋转速度,包括:
基于该摄像机在垂直方向上该当前时刻的已旋转角度,确定该摄像机在垂直方向上的第四旋转角度;基于该目标的预测移动距离和该第四旋转角度,确定该第二旋转角度,该预测移动距离是指该目标在该当前时刻和未来的第二目标时刻之间的移动距离;基于该第二旋转角度,确定该第二旋转速度。
需要说明的是,上述场景二是以目标按照变速沿直线运动为例进行说明的,在这种情况下,摄像机需要在水平方向和垂直方向上旋转,当摄像机按照上述目标旋转参数旋转后,摄像机所拍摄的画面中预测会出现该目标。在一些实施例中,该目标位于画面的中心位置。通过这种方式,使得摄像机在目标在运动速度过快的情况下,实现对目标的持续跟踪,保证了目标跟踪的连续性。
第二方面,提供了一种目标跟踪系统,该目标跟踪系统包括:电子设备、摄像机和云台;
该电子设备,用于:
控制摄像机跟踪目标;
当该目标的运动引起该摄像机满足旋转条件,则控制该摄像机进行旋转,旋转期间暂停跟踪该目标,当旋转至目标角度后停止旋转;
旋转停止后,当该摄像机再次检测到该目标,则控制该摄像机基于该目标角度继续跟踪该目标;
该摄像机,用于接受该电子设备控制以跟踪目标;
该云台,用于接受该电子设备控制,带动该摄像机进行旋转。
在一些实施例中,该摄像机为PTZ摄像机。
在一些实施例中,在旋转期间停止以下操作中的一项或者多项:自动对焦、自动光圈控制、ISP优化、图像检测、图像内容分割以及目标识别。
在一些实施例中,旋转停止后,恢复被停止的一项或者多项操作。
在一些实施例中,当摄像机依照该目标角度完成旋转,则该摄像机所拍摄的实时画面中预测会出现该目标。
在一些实施例中,该目标位于该摄像机所拍摄的实时画面的中心位置。
在一些实施例中,该摄像机的旋转方向和该目标相对于该摄像机的运动方向相关。
在一些实施例中,该旋转条件包括下述任一项:
该目标朝接近该摄像机的方向运动,并且该摄像机所支持的旋转速度难以维持继续跟踪该目标。
该目标朝接近该摄像机的方向运动,并且在该摄像机所拍摄的画面中该目标的感兴趣区域即将消失或者已经消失。
在一些实施例中,该旋转条件包括下述任一项:
该摄像机所拍摄的画面中该目标的成像区域的尺寸大于或等于目标尺寸。
该摄像机所拍摄的画面中该目标的成像区域的位置处于目标位置。
该摄像机所拍摄的画面中不存在该目标。
在一些实施例中,该旋转条件还包括下述任一项:
该摄像机在垂直方向上的已旋转角度大于或等于第一阈值。
该摄像机在垂直方向上的当前旋转速度大于或等于第二阈值。
该摄像机在垂直方向上的已旋转角度与该摄像机在垂直方向上的当前旋转速度之间满足目标函数关系。
在一些实施例中,控制该摄像机暂停跟踪该目标,并旋转至目标角度,包括:
控制该摄像机暂停跟踪该目标;
基于该摄像机的已旋转角度,确定该摄像机的目标旋转参数;
基于该目标旋转参数,控制该摄像机进行旋转,当旋转至该目标角度后停止旋转。
在一些实施例中,基于该摄像机的已旋转角度,确定该摄像机的目标旋转参数,包括下述两种场景:
场景一、该目标旋转参数包括该摄像机在水平方向上的第一旋转角度和第一旋转速度,该基于该摄像机的已旋转角度,确定该摄像机的目标旋转参数,包括:
确定该摄像机在水平方向上当前时刻和第一目标时刻的已旋转角度差,该第一目标时刻为该当前时刻之前的任一时刻;
基于该第一已旋转角度差,确定该第一旋转角度和该第一旋转速度。
在一些实施例中,基于该已旋转角度差,确定该第一旋转角度和该第一旋转速度,包括:获取该摄像机在该当前时刻的第一变倍信息和该摄像机在该第一目标时刻的第二变倍信息;基于该已旋转角度差、该第一变倍信息以及该第二变倍信息,确定该第一旋转角度;基于该第一旋转角度,确定该第一旋转速度。
在一些实施例中,基于该第一旋转角度,确定该第一旋转速度,包括:
获取预测耗时,该预测耗时基于该目标的历史移动距离和预测移动距离之间的比值和该当前时刻与该第一目标时刻之间的时间差确定,该历史移动距离是指该目标在该当前时刻和该第一目标时刻之间的移动距离,该预测移动距离是指该目标在该当前时刻和未来的第二目标时刻之间的移动距离;基于该预测耗时和该第一旋转角度,确定该第一旋转速度。
在一些实施例中,该第一目标时刻为该摄像机首次拍摄到该目标的时刻。通过将摄像机首次拍摄到该目标的时刻作为第一目标时刻,当前时刻与第一目标时刻之间间隔时间较长,目标在这段时间内的平均运动状态较为稳定,提高了电子设备计算目标旋转参数的准确性。
需要说明的是,上述场景一是以目标按照匀速沿直线运动为例进行说明的,在这种情况下,摄像机仅需要在水平方向上旋转,当摄像机按照上述目标旋转参数旋转后,摄像机所拍摄的画面中预测会出现该目标。在一些实施例中,该目标位于画面的中心位置。通过这种方式,实现了摄像机对目标的持续跟踪,保证了目标跟踪的连续性。
场景二、该目标旋转参数包括该摄像机在水平方向上的第一旋转角度和第一旋转速度,以及该摄像机在垂直方向上的第二旋转角度和第二旋转速度,该基于该摄像机的已旋转角度,确定该摄像机的目标旋转参数,包括:
获取该摄像机在水平方向上的目标旋转角度;
基于该摄像机在水平方向上当前时刻的已旋转角度,以及该目标旋转角度,确定该第一旋转角度和该第一旋转速度;
基于该摄像机在垂直方向上该当前时刻的已旋转角度,确定该第二旋转角度和该第二旋转速度。
在一些实施例中,该基于该摄像机在水平方向上当前时刻的已旋转角度,以及该目标旋转角度,确定该第一旋转角度和该第一旋转速度,包括:
基于该摄像机在水平方向上当前时刻的已旋转角度,确定该摄像机在水平方向上的第三旋转角度;将该第三旋转角度和该目标旋转角度之和,作为该第一旋转角度;基于该第一旋转角度,确定该第一旋转速度。
在一些实施例中,该基于该摄像机在垂直方向上该当前时刻的已旋转角度,确定该第二旋转角度和该第二旋转速度,包括:
基于该摄像机在垂直方向上该当前时刻的已旋转角度,确定该摄像机在垂直方向上的第四旋转角度;基于该目标的预测移动距离和该第四旋转角度,确定该第二旋转角度,该预测移动距离是指该目标在该当前时刻和未来的第二目标时刻之间的移动距离;基于该第二旋转角度,确定该第二旋转速度。
第三方面,提供了一种目标跟踪设备,该目标跟踪设备包括处理器和存储器,该存储器用于存储至少一段程序代码,该至少一段程序代码由该处理器加载并执行,以使得该目标跟踪设备实现上述第一方面或第一方面中任一种可选方式所提供的目标跟踪方法。
第四方面,提供了一种计算机可读存储介质,该计算机可读存储介质用于存储至少一段程序代码,该至少一段程序代码由处理器加载并执行,以使得目标跟踪设备实现上述第一方面或第一方面中任一种可选方式所提供的目标跟踪方法。
第五方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括程序代码,当其在目标跟踪设备上运行时,使得该目标跟踪设备执行上述第一方面或者第一方面的各种可选实现方式中提供的目标跟踪方法。
附图说明
图1是本申请实施例提供的一种目标跟踪系统的结构示意图;
图2是本申请实施例提供的一种电子设备的结构示意图;
图3是本申请实施例提供的一种目标跟踪方法的流程图;
图4是本申请实施例提供的一种确定目标旋转参数的示意图;
图5是本申请实施例提供的另一种确定目标旋转参数的示意图;
图6是本申请实施例提供的一种目标跟踪设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
为了方便理解,在介绍本申请实施例提供的技术方案之前,下面对本申请涉及的关键术语进行说明。
云台,是一种安装、固定摄像机的支撑设备,能够支撑和控制摄像机在机械活动范围内向任意方向旋转。
PTZ摄像机,是一种由云台支撑和控制的摄像机,能够实现在水平方向和垂直方向上的自由旋转。其中,P(pan)表示摄像机在水平方向上的旋转角度,T(tilt)表示摄像机在垂直方向上的旋转角度,Z(zoom)表示摄像机的镜头的变倍信息。在一些实施例中,为了实现对某个目标的跟踪,PTZ摄像机通过调整PTZ坐标,使目标处于拍摄画面的合适位置,从而实现对该目标的跟踪拍摄。
感兴趣区域(region of interest,ROI),在机器视觉、图像处理中,从被处理的图像中以方框、圆、椭圆或不规则多边形等方式勾勒出需要处理的区域,称为感兴趣区域。
下面对本申请的应用场景进行简要介绍。
本申请实施例提供的目标跟踪方法能够应用在道路监控场景、城市安全场景等需要持续跟踪移动目标的场景中。示意性地,本申请实施例提供的目标跟踪方法能够应用的场景包括但不限于:
场景一、道路监控场景
为了实时监控交通路况和道路中通过的车辆,通常会在道路上设置卡口装置,实现对通过当前道路的所有车辆的实时监控,在该卡口装置上安装有摄像机,用于对监控范围内的超速或肇事逃逸等车辆跟踪拍摄。在该场景中,例如,当有车辆超速通过当前道路时,摄像机会持续跟踪该车辆以实现抓拍取证,满足道路监控场景下对车辆监控的需求。
场景二、城市安全场景
为保障城市安全,往往会在城市管理的过程中配套城市管理系统,该城市管理系统能够满足城市管理、交通管理、应急指挥等需求,而且还可兼顾事故预警、安全生产监控等方面对移动目标跟踪的需求。通过结合城市管理系统和目标跟踪方法,能够实行网上可视化目标跟踪。在该场景下,例如,当摄像机的拍摄画面中出现警方发布的可疑人员或可疑车辆等移动目标,则摄像机会持续跟踪该移动目标以实现抓拍取证,满足城市安全场景下对移动目标的跟踪需求。
要说明的是,上述场景仅为示例性的描述,本申请实施例提供的目标跟踪方法能够应用于多种需要跟踪移动目标的场景,本申请实施例对于目标跟踪方法的应用场景不作限定。
下面对本申请实施例提供的目标跟踪方法的系统架构进行介绍。
图1是本申请实施例提供的一种目标跟踪系统的结构示意图。该目标跟踪系统100包括电子设备101、摄像机102以及云台103。
电子设备101,用于:控制摄像机102跟踪目标;当该目标的运动引起摄像机102满足旋转条件,则控制摄像机102进行旋转,旋转期间暂停跟踪该目标,当旋转至目标角度后停止旋转;旋转停止后,当摄像机102再次检测到该目标,则控制摄像机102基于该目标角度继续跟踪该目标。
在一些实施例中,该电子设备101具有处理功能和控制功能。其中,该处理功能用于处理摄像机102所拍摄的画面,得到处理信息;该控制功能用于根据处理信息控制摄像机102跟踪目标以及控制云台103带动摄像机101旋转。需要说明的是,电子设备101的功能设置并不仅限于上述处理功能和控制功能,在一些实施例中,能够根据用户的需求设置更多功能,本申请实施例对于电子设备101的功能类型不作限定。
摄像机102,用于接受该电子设备101控制以跟踪目标。可选地,该摄像机102包括但不限于:模拟摄像机、网络摄像机以及高清摄像机等。
云台103,用于接受该电子设备101控制,带动该摄像机101进行旋转。
在一些实施例中,摄像机102与云台103以球型摄像机(简称为球机)的形式组合安装,也即是云台103内置于球机中,带动摄像机102旋转。在另一些实施例中,摄像机102与云台103机械连接,也即是云台103外置,带动摄像机102旋转,本申请实施例对于摄像机102与云台103的连接方式不作限定。应理解,上述将摄像机102与云台103组合后得到的摄像机也称为PTZ摄像机。在一些实施例中,PTZ摄像机在水平方向上的最大旋转角度为360°,PTZ摄像机在垂直方向上的最大旋转角度为90°,本申请实施例对此不作限定。
在一些实施例中,在旋转期间停止以下操作中的一项或者多项:自动对焦、自动光圈控制、ISP优化、图像检测、图像内容分割以及目标识别。
在一些实施例中,旋转停止后,恢复被停止的一项或者多项操作。
在一些实施例中,当摄像机102依照该目标角度完成旋转,则该摄像机102所拍摄的实时画面中预测会出现该目标。
在一些实施例中,该目标位于该摄像机102所拍摄的实时画面的中心位置。
在一些实施例中,该摄像机102的旋转方向和该目标相对于该摄像机102的运动方向相关。
在一些实施例中,暂停跟踪该目标包括暂停处理该摄像机102所拍摄的画面。
在一些实施例中,该旋转条件包括下述任一项:
该目标朝接近该摄像机102的方向运动,并且该摄像机102所支持的旋转速度难以维持继续跟踪该目标。
该目标朝接近该摄像机102的方向运动,并且在该摄像机102所拍摄的画面中该目标的感兴趣区域即将消失或者已经消失。
在一些实施例中,该旋转条件包括下述任一项:
该摄像机102所拍摄的画面中该目标的成像区域的尺寸大于或等于目标尺寸。
该摄像机102所拍摄的画面中该目标的成像区域的位置处于目标位置。
该摄像机102所拍摄的画面中不存在该目标。
在一些实施例中,该旋转条件还包括下述任一项:
该摄像机102在垂直方向上的已旋转角度大于或等于第一阈值。
该摄像机102在垂直方向上的当前旋转速度大于或等于第二阈值。
该摄像机102在垂直方向上的已旋转角度与该摄像机102在垂直方向上的当前旋转速度之间满足目标函数关系。
在一些实施例中,控制该摄像机102进行旋转,旋转期间暂停跟踪该目标,当旋转至目标角度后停止旋转,包括:
控制该摄像机102暂停跟踪该目标;
基于该摄像机102的已旋转角度,确定该摄像机102的目标旋转参数;
基于该目标旋转参数,控制该摄像机102进行旋转,当旋转至目标角度后停止旋转。
在一些实施例中,基于该摄像机102的已旋转角度,确定该摄像机102的目标旋转参数,包括下述两种场景:
场景一、该目标旋转参数包括该摄像机102在水平方向上的第一旋转角度和第一旋转速度,该基于该摄像机102的已旋转角度,确定该摄像机102的目标旋转参数,包括:
确定该摄像机102在水平方向上当前时刻和第一目标时刻的已旋转角度差,该第一目标时刻为该当前时刻之前的任一时刻;
基于该第一已旋转角度差,确定该第一旋转角度和该第一旋转速度。
在一些实施例中,基于该已旋转角度差,确定该第一旋转角度和该第一旋转速度,包括:获取该摄像机102在该当前时刻的第一变倍信息和该摄像机102在该第一目标时刻的第二变倍信息;基于该已旋转角度差、该第一变倍信息以及该第二变倍信息,确定该第一旋转角度;基于该第一旋转角度,确定该第一旋转速度。
在一些实施例中,基于该第一旋转角度,确定该第一旋转速度,包括:
获取预测耗时,该预测耗时基于该目标的历史移动距离和预测移动距离之间的比值和该当前时刻与该第一目标时刻之间的时间差确定,该历史移动距离是指该目标在该当前时刻和该第一目标时刻之间的移动距离,该预测移动距离是指该目标在该当前时刻和未来的第二目标时刻之间的移动距离;基于该预测耗时和该第一旋转角度,确定该第一旋转速度。
在一些实施例中,该第一目标时刻为该摄像机102首次拍摄到该目标的时刻。通过将摄像机102首次拍摄到该目标的时刻作为第一目标时刻,当前时刻与第一目标时刻之间间隔时间较长,目标在这段时间内的平均运动状态较为稳定,提高了电子设备计算目标旋转参数的准确性。
需要说明的是,上述场景一是以目标按照匀速沿直线运动为例进行说明的,在这种情况下,摄像机102仅需要在水平方向上旋转,当摄像机102按照上述目标旋转参数旋转后,摄像机102所拍摄的画面中预测会出现该目标。在一些实施例中,该目标位于画面的中心位置。通过这种方式,实现了摄像机102对目标的持续跟踪,保证了目标跟踪的连续性。
场景二、该目标旋转参数包括该摄像机102在水平方向上的第一旋转角度和第一旋转速度,以及该摄像机102在垂直方向上的第二旋转角度和第二旋转速度,该基于该摄像机102的已旋转角度,确定该摄像机102的目标旋转参数,包括:
获取该摄像机102在水平方向上的目标旋转角度;
基于该摄像机102在水平方向上当前时刻的已旋转角度,以及该目标旋转角度,确定该第一旋转角度和该第一旋转速度;
基于该摄像机102在垂直方向上该当前时刻的已旋转角度,确定该第二旋转角度和该第二旋转速度。
在一些实施例中,该基于该摄像机102在水平方向上当前时刻的已旋转角度,以及该目标旋转角度,确定该第一旋转角度和该第一旋转速度,包括:
基于该摄像机102在水平方向上当前时刻的已旋转角度,确定该摄像机102在水平方向上的第三旋转角度;将该第三旋转角度和该目标旋转角度之和,作为该第一旋转角度;基于该第一旋转角度,确定该第一旋转速度。
在一些实施例中,该基于该摄像机102在垂直方向上该当前时刻的已旋转角度,确定该第二旋转角度和该第二旋转速度,包括:
基于该摄像机102在垂直方向上该当前时刻的已旋转角度,确定该摄像机102在垂直方向上的第四旋转角度;基于该目标的预测移动距离和该第四旋转角度,确定该第二旋转角度,该预测移动距离是指该目标在该当前时刻和未来的第二目标时刻之间的移动距离;基于该第二旋转角度,确定该第二旋转速度。
图2是本申请实施例提供的一种电子设备的结构示意图。图2所示的电子设备200用于执行目标跟踪方法所涉及的操作,如图2所示,该电子设备200包括至少一个处理器201、通信总线202、存储器203以及至少一个网络接口204。
处理器201例如是通用中央处理器(central processing unit,CPU)、网络处理器(network processer,NP)、图形处理器(graphics processing unit,GPU)、神经网络处理器(neural-network processing units,NPU)、数据处理单元(data processing unit,DPU)、微处理器或者一个或多个用于实现本申请方案的集成电路。例如,处理器201包括专用集成电路(application-specific integrated circuit,ASIC),可编程逻辑器件(programmable logic device,PLD)或其组合。PLD例如是复杂可编程逻辑器件(complexprogrammable logic device,CPLD)、现场可编程逻辑门阵列(field-programmable gatearray,FPGA)、通用阵列逻辑(generic array logic,GAL)或其任意组合。
通信总线202用于在上述组件之间传送信息。通信总线202可选地分为地址总线、数据总线、控制总线等。为便于表示,图2中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
存储器203例如是只读存储器(read-only memory,ROM)或可存储静态信息和指令的其它类型的静态存储设备,又如是随机存取存储器(random access memory,RAM)或者可存储信息和指令的其它类型的动态存储设备,又如是电可擦可编程只读存储器(electrically erasable programmable read-only memory,EEPROM)、只读光盘(compactdisc read-only memory,CD-ROM)或其它光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其它磁存储设备,或者是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其它介质,但不限于此。存储器203例如是独立存在,并通过通信总线202与处理器201相连接。或者可选地存储器203和处理器201集成在一起。
网络接口204使用任何收发器一类的装置,用于与其它设备或通信网络通信。网络接口204包括有线网络接口,可选地还包括无线网络接口。其中,有线网络接口例如为以太网接口。以太网接口例如是光接口、电接口或其组合。无线网络接口例如为无线局域网(wireless local area networks,WLAN)接口,蜂窝网络接口或其组合等。
在一些实施例中,处理器201包括一个或多个CPU,如图2中所示的CPU0和CPU1。
在一些实施例中,电子设备200可选地包括多个处理器,如图2中所示的处理器201和处理器205。这些处理器中的每一个例如是一个单核处理器,又如是一个多核处理器。这里的处理器可选地指一个或多个设备、电路、和/或用于处理数据(如计算机程序指令)的处理核。
在一些实施例中,电子设备200还包括输出设备和输入设备。输出设备可选地以多种方式来显示信息。例如,输出设备可选地是液晶显示器(liquid crystal display,LCD)、发光二级管(light emitting diode,LED)显示设备、阴极射线管(cathode ray tube,CRT)显示设备或投影仪(projector)等。输入设备和处理器201通信,可选地以多种方式接收用户的输入。例如,输入设备可选地是鼠标、键盘、触摸屏设备或传感设备等。
可选地,处理器201通过读取存储器203中保存的程序代码210实现下述实施例中的方法,或者,处理器201通过内部存储的程序代码实现下述实施例中的方法。在处理器201通过读取存储器203中保存的程序代码210实现下述实施例中的方法的情况下,存储器203中保存实现本申请实施例提供的目标跟踪方法的程序代码。
处理器201实现上述功能的更多细节请参考下面各个方法实施例中的描述,在这里不再重复。
本申请实施例还提供了一种包括程序代码的计算机可读存储介质,例如包括程序代码的存储器203,上述程序代码可由电子设备200的处理器201执行以完成目标跟踪方法。可选地,计算机可读存储介质可以是只读内存(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、只读光盘(compact-disc read-only memory,CD-ROM)、磁带、软盘和光数据存储设备等。
本申请实施例还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机程序代码,该计算机程序代码存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机程序代码,处理器执行该计算机程序代码,使得该电子设备执行该目标跟踪方法。
以上介绍了本申请实施例提供的目标跟踪方法的系统架构以及硬件结构,下面对本申请实施例提供的目标跟踪方法进行示例性的说明。
在介绍本申请实施例的目标跟踪方法之前,先对摄像机跟踪目标的方式进行简要介绍。示意性地,摄像机跟踪的目标从摄像机前方朝摄像机运动,直至经过摄像机下方。当摄像机在跟踪逐渐靠近的目标时,其在垂直方向上的旋转速度会不断增大以适应目标的运动速度,其在垂直方向上的旋转角度也会随着目标的不断靠近而逐渐增大。若目标的运动速度过快,则容易超过摄像机的最大旋转速度,导致目标跟踪失败,而且随着摄像机在垂直方向上的旋转角度不断增大,目标距离摄像机的距离越来越近,摄像机拍摄到的画面中大多包含的是目标的顶面或侧面等部分,很难提取出有用的特征,导致画面的应用价值较低。进一步地,由于摄像机在垂直方向上的旋转角度有限,一旦目标经过摄像机下方,将无法继续跟踪目标。
有鉴于此,本申请实施例提供了一种目标跟踪方法,在摄像机跟踪目标的过程中,通过实时分析来确定目标的运动是否引起摄像机满足旋转条件,此时摄像机拍摄到的画面包含目标的正面特征信息,若摄像机满足旋转条件,控制摄像机旋转,并暂停跟踪目标,使得目标与摄像机之间尚有一段距离的时候,摄像机能够提前旋转至可以检测到目标的目标角度(也可以理解为按照较大旋转角度翻转至目标角度),进而继续跟踪目标,通过这种提前判断以提前旋转的方式,实现了对目标的持续跟踪,保证了目标跟踪的连续性。
下面通过图3所示的实施例,来对本申请提供的目标跟踪方法进行详细说明。
图3是本申请实施例提供的一种目标跟踪方法的流程图,在本申请实施例中,该目标跟踪方法应用于上述目标跟踪系统。示意性地,在图3所示的实施例中,以如图1所示的电子设备101、摄像机102以及云台103之间的交互为例来进行说明,该目标跟踪方法包括如下几个步骤。
301、摄像机将拍摄到的包含有目标的画面发送给电子设备。
在本申请实施例中,目标是指符合跟踪条件的移动对象。可选地,该目标为摄像机的拍摄区域中的行人、机动车辆或非机动车辆等,本申请实施例对此不作限定。可选地,目标为预先设置的指定目标。例如,在涉及机动车跟踪的场景下,将需要跟踪的指定车辆设置为目标,本申请实施例对此不作限定。
下面对本步骤301的可选实施方式进行说明,包括以下两种情况:
情况一、摄像机具有检测功能,该检测功能用于检测摄像机所拍摄的画面中是否存在目标,若该检测功能检测到摄像机所拍摄的画面中存在目标,将拍摄到的包含有目标的画面发送给电子设备。可选地,摄像机通过无线网络或有线网络与终端相连。例如,终端上运行有指定应用程序,该指定应用程序用于对摄像机进行功能设置。该指定应用程序提供智能检测模式的设置选项,用户能够在终端上进行操作以开启智能检测模式,终端响应于用户对智能检测模式的开启操作,向摄像机发送相应的开启指令,该开启指令用于触发检测功能所拍摄的画面进行智能检测,本申请实施例对此不作限定。在这种情况下,摄像机具备检测目标的功能,当摄像机所拍摄的画面中出现目标,将画面发送给电子设备,减少了电子设备的数据处理量。
情况二、摄像机将拍摄到的画面发送给电子设备,由电子设备识别画面中是否出现目标,也即是无论摄像机拍摄到的画面中是否存在目标,摄像机都将拍摄到的画面发送给电子设备。在这种情况下,摄像机将拍摄到的全部画面发送给电子设备,为电子设备后续识别画面中目标的成像尺寸以及成像位置提供了基础,从而提高了电子设备后续控制摄像机跟踪目标的准确性。
需要说明的是,本申请实施例对于摄像机向电子设备发送的画面中是否包含目标不作限定。
302、电子设备响应于接收到的画面中包括目标,向云台发送第一控制指令,该第一控制指令用于指示控制摄像机跟踪该目标。
在本申请实施例中,电子设备处理接收到的包含有目标的画面,根据目标在画面中的成像尺寸、成像位置以及当前云台的位置信息,计算云台的第一控制参数,向云台发送第一控制指令,该第一控制指令携带该第一控制参数。可选地,云台的位置信息用于指示摄像机在水平方向上的已旋转角度、摄像机在垂直方向上的已旋转角度以及摄像机的变倍信息。可选地,第一控制参数用于指示摄像机在水平方向上的旋转角度和旋转速度、摄像机在垂直方向上的旋转角度和旋转速度以及摄像机的变倍信息。
在一些实施例中,电子设备控制摄像机跟踪目标是指电子设备控制摄像机拍摄目标,使拍摄到的目标位于画面中心。通过这种方式能够提高电子设备识别目标的准确性。
下面以上述步骤301中所示的情况二为例,对本步骤302的可选实施方式进行说明:
在一些实施例中,电子设备识别接收到的画面中是否出现目标,若电子设备识别到该画面中出现目标,计算该目标在画面中的成像尺寸和成像位置,然后根据该目标在画面中的成像尺寸和成像位置,计算该目标距离画面的中心位置之间的误差,并根据该误差和当前云台的位置信息来计算云台的第一控制参数。例如,目标位于画面中心的左下方,则第一控制参数用于控制摄像机向左下方旋转以跟踪该目标,本申请实施例对于电子设备如何计算云台的控制参数不作限定。
在一些实施例中,电子设备具有处理功能和控制功能。该处理功能用于处理接收到的画面,也即是识别接收到的画面中是否出现目标、计算目标在画面中的成像尺寸和成像位置以及该目标距离画面的中心位置之间的误差等,得到处理信息。该控制功能用于根据处理信息,获取当前云台的位置信息,计算云台的第一控制参数,并向云台发送第一控制指令,本申请实施例对此不作限定。
303、云台基于该第一控制指令,带动摄像机旋转以跟踪该目标。
在本申请实施例中,云台基于该第一控制指令中携带的第一控制参数,带动摄像机旋转以跟踪该目标。可选地,第一控制参数用于指示摄像机在水平方向上的旋转角度和旋转速度、摄像机在垂直方向上的旋转角度和旋转速度以及摄像机的变倍信息,在这种情况下,云台基于该第一控制参数,带动摄像机按照相应的旋转角度旋转,并按照相应的变倍信息控制摄像机调整镜头的变倍倍率,本申请实施例对此不作限定。
经过上述步骤302和步骤303,当摄像机所拍摄的画面中出现需要跟踪的目标时,电子设备能够及时根据目标在画面中的成像位置和成像尺寸,控制云台带动摄像机旋转以跟踪目标,修正了目标的跟踪误差,从而保持目标位于摄像机所拍摄的画面的中心位置,提高了目标识别的准确性,也为后续摄像机在经过大角度翻转后还能够继续跟踪目标提供了基础。
需要说明的是,上述步骤301至步骤303是电子设备控制摄像机跟踪目标的流程,在这一过程中,摄像机拍摄的是目标的正面部分。下面通过步骤304至步骤307,对摄像机满足旋转条件并旋转至目标角度的流程进行介绍。
304、当目标的运动引起该摄像机满足旋转条件,电子设备控制摄像机暂停跟踪该目标。
在本申请实施例中,当目标的运动引起摄像机满足旋转条件时,表明摄像机可能出现了下述任一种情况:难以持续跟踪该目标、摄像机即将无法跟踪该目标或摄像机已经跟踪不到该目标。此时,电子设备控制摄像机暂停跟踪该目标。其中,电子设备控制摄像机暂停跟踪该目标是指电子设备暂停向云台发送上述第一控制指令,使得云台静止不动,使得摄像机停止旋转,从而实现控制摄像机暂停跟踪该目标。
在一些实施例中,电子设备控制摄像机暂停跟踪该目标包括:暂停处理摄像机所拍摄的画面。例如,摄像机暂停检测画面中是否出现目标,此时,摄像机暂停将包含有目标的画面发送给电子设备。又例如,电子设备暂停计算目标在画面中的位置,相应地,电子设备也就暂停向云台发送控制指令。需要说明的是,电子设备控制摄像机暂停跟踪该目标并不意味着目标从摄像机所拍摄的画面中消失,只是暂停处理摄像机所拍摄的画面。由于摄像机满足旋转条件时,若摄像机继续跟踪,往往拍摄到的画面中包含的是目标的顶面或侧面等特征信息,画面的应用价值低,因此,在摄像机满足旋转条件时,控制摄像机暂停处理摄像机所拍摄的画面能够减少数据处理量,从而节约计算资源。
在一些实施例中,电子设备控制摄像机暂停跟踪该目标包括:停止以下操作中的一项或者多项:自动对焦、自动光圈控制、ISP优化、图像检测、图像内容分割以及目标识别。其中,自动对焦、自动光圈控制以及ISP优化可以理解为摄像机对所拍摄的画面进行优化,图像检测、图像内容分割以及目标识别可以理解为摄像机对画面的智能分析与处理。例如,图像检测是指检测图像中是否出现符合跟踪条件的跟踪目标。又例如,图像内容分割是指按照图像内容对图像进行分区,以区分图像中的背景区域、车辆所在区域以及行人所在区域等等。再例如,目标识别是指对画面中出现的跟踪目标进行识别,以确认目标身份等。应理解,停止上述操作中的一项或者多项并不意味着目标从摄像机所拍摄的画面中消失,只是暂停对画面的优化操作以及对画面的智能分析与处理等,从而减少数据处理量,节约计算资源。
下面对目标的运动是否引起摄像机满足旋转条件的三类判定方式进行说明。
第一类、根据摄像机是否能够继续跟踪该目标来判定。这类判定方式包括下述情况A和情况B:
情况A:该目标朝接近该摄像机的方向运动,并且该摄像机所支持的旋转速度是否难以维持继续跟踪该目标。
在该情况A中,旋转条件即为该目标朝接近该摄像机的方向运动,并且该摄像机所支持的旋转速度难以维持继续跟踪该目标。可选地,电子设备基于计算得到的云台的第一控制参数来确定摄像机继续跟踪目标所需的旋转速度是否大于摄像机所支持的最大旋转角度。在这种情况下,摄像机所支持的旋转速度难以维持继续跟踪该目标,表明目标的运动速度过快,导致摄像机的旋转速度即将达到极限,摄像机难以维持继续跟踪该目标,也即是摄像机容易跟丢目标,因此,这种旋转条件的判定方式能够避免摄像机跟丢目标,确保摄像机跟踪目标的持续性。
情况B:该目标朝接近该摄像机的方向运动,并且该摄像机所拍摄的画面中该目标的感兴趣区域是否即将消失或者已经消失。
在该情况B中,旋转条件即为该目标朝接近该摄像机的方向运动,并且该摄像机所拍摄的画面中该目标的感兴趣区域即将消失或者已经消失。可选地,感兴趣区域为预先设置的区域,电子设备通过该感兴趣区域来识别目标。例如,以目标为车辆为例,感兴趣区域为车辆的车牌区域,本申请实施例对此不作限定。在一些实施例中,该目标的感兴趣区域即将消失包括该目标的感兴趣区域已经模糊,本申请实施例对此不作限定。在这种情况下,若摄像机所拍摄的画面中该目标的感兴趣区域即将消失或者已经消失,表明电子设备难以识别目标,也即难以计算目标在画面中的成像区域和成像尺寸,若摄像机继续跟踪,容易导致电子设备无法准确计算云台的控制参数,甚至导致摄像机跟丢目标,因此,这种旋转条件的判定方式能够避免摄像机跟丢目标,确保摄像机跟踪目标的持续性。
第二类、根据摄像机是否将要跟踪不到目标或已经跟踪不到目标来判定。这类判定方式包括下述情况C至情况E:
情况C:该摄像机所拍摄的画面中该目标的成像区域的尺寸是否大于或等于目标尺寸。
在该情况C中,旋转条件即为该摄像机所拍摄的画面中该目标的成像区域的尺寸大于或等于目标尺寸。可选地,该目标尺寸为预先设置的尺寸,用于指示目标与摄像机之间的距离。例如,以目标为车辆为例,将目标尺寸设置为整个画面尺寸的70%,若该车辆的成像区域的尺寸大于整个画面尺寸的70%,则确定摄像机满足旋转条件,本申请实施例对此不作限定。在这种情况下,摄像机所拍摄的画面中该目标的成像区域的尺寸大于或等于目标尺寸,表明目标的成像区域的尺寸过大,也即表明目标距离摄像机过近,目标即将经过摄像机,若摄像机继续跟踪,拍摄到的画面中目标占比过大,电子设备无法准确识别目标,容易导致摄像机跟丢目标,因此,这种旋转条件的判定方式能够避免摄像机跟丢目标,确保摄像机跟踪目标的持续性。
情况D:该摄像机所拍摄的画面中该目标的成像区域的位置是否处于目标位置。
在该情况D中,旋转条件即为该摄像机所拍摄的画面中该目标的成像区域的位置处于目标位置。可选地,该目标位置为预先设置的位置,用于指示摄像机即将无法拍摄到该目标。例如,以目标为车辆为例,将目标位置设置为整个画面的底部边缘位置,若该车辆的成像区域的位置位于整个画面的底部边缘,则确定摄像机满足旋转条件,本申请实施例对此不作限定。在这种情况下,摄像机所拍摄的画面中该目标的成像区域的位置处于目标位置,表明目标运动速度过快,摄像机即将无法拍摄到该目标,也即是摄像机即将跟丢目标,若摄像机继续跟踪,极易导致跟丢目标,因此,这种旋转条件的判定方式能够避免摄像机跟丢目标,确保摄像机跟踪目标的持续性。
情况E:该摄像机所拍摄的画面中是否不存在该目标。
在该情况E中,旋转条件即为该摄像机所拍摄的画面中不存在该目标。在这种情况下,摄像机所拍摄的画面中不存在该目标,表明目标运动过快,摄像机已经跟丢目标,因此,这种旋转条件的判定方式能够在已经跟丢目标的情况下,提高重新跟踪目标的概率。
第三类、根据摄像机在垂直方向上的旋转情况来判定。这类判定方式包括下述情况F至情况H:
情况F:该摄像机在垂直方向上的已旋转角度是否大于或等于第一阈值。
在该情况F中,旋转条件即为该摄像机在垂直方向上的已旋转角度大于或等于第一阈值。可选地,该第一阈值为预先设置的阈值,用于指示摄像机在垂直方向上的旋转角度过大。例如,将第一阈值设置为60°,若摄像机在垂直方向上的已旋转角度大于或等于60°,则确定摄像机满足旋转条件,本申请实施例对此不作限定。在这种情况下,摄像机在垂直方向上的已旋转角度过大,表明目标距离摄像机较近,目标即将经过摄像机,若摄像机继续跟踪,拍摄到的画面中目标占比过大,电子设备无法准确识别目标,容易导致摄像机跟丢目标,而且摄像机拍摄到的画面中往往包含的是目标的顶面或侧面等部分,很难提取出有用的特征,导致画面的应用价值较低,因此,这种旋转条件的判定方式不仅能够避免摄像机跟丢目标,确保摄像机跟踪目标的持续性,还避免了电子设备处理不必要的数据量,从而提高了目标跟踪效率。
情况G:该摄像机在垂直方向上的当前旋转速度是否大于或等于第二阈值。
在该情况G中,旋转条件即为该摄像机在垂直方向上的当前旋转速度大于或等于第二阈值。可选地,该第二阈值为预先设置的阈值,用于指示摄像机在垂直方向上的旋转速度过大。例如,将第二阈值设置为每秒旋转100°(100°/s),若摄像机在垂直方向上的当前旋转速度大于或等于100°/s,则确定摄像机满足旋转条件,本申请实施例对此不作限定。在这种情况下,摄像机在垂直方向上的当前旋转速度过大,表明目标运动速度过快,导致摄像机的旋转速度即将达到极限,摄像机难以维持继续跟踪该目标,也即是摄像机容易跟丢目标,因此,这种旋转条件的判定方式能够避免摄像机跟丢目标,确保摄像机跟踪目标的持续性。
情况H:该摄像机在垂直方向上的已旋转角度与该摄像机在垂直方向上的当前旋转速度之间是否满足目标函数关系。
在该情况H中,旋转条件即为该摄像机在垂直方向上的已旋转角度与该摄像机在垂直方向上的当前旋转速度之间满足目标函数关系。可选地,该目标函数关系为预先设置的函数关系,用于指示摄像机在垂直方向上的已旋转角度和当前旋转速度之间的关联关系。例如,该目标函数关系如公式(1)所示:
式中,T为摄像机在垂直方向上的已旋转角度,ωT为摄像机在垂直方向上的当前旋转速度,a、b、c为预设参数,可选地,这些预设参数基于实验计算得到。基于公式(1)能够得出,若目标的运动速度过快,则摄像机在垂直方向上的当前旋转速度较大,这种场景下,摄像机在垂直方向上的已旋转角度较小时,摄像机已满足旋转条件;若目标的运动速度较慢,则摄像机在垂直方向上的当前旋转速度较小,这种场景下,摄像机在垂直方向上的已旋转角度较大时,摄像机才满足旋转条件。因此,通过这种目标函数关系来判定摄像机是否满足旋转条件的方式,能够充分考虑目标的不同运动状态,有针对性地跟踪目标,避免了摄像机跟丢目标,确保摄像机跟踪目标的持续性,也为后续持续跟踪目标提供了基础。
需要说明的是,上述旋转条件的判定方式仅为示例性的,在一些实施例中,旋转条件还可以有其他判定方式,只要是在目标经过摄像机下方前对摄像机是否满足旋转条件进行判定即可,本申请实施例对此不作限定。
305、电子设备基于该摄像机的已旋转角度,确定该摄像机的目标旋转参数。
在本申请实施例中,该目标旋转参数用于指示摄像机所需的旋转角度和旋转速度。
下面以两种目标跟踪场景为例,对本步骤305的具体实施方式进行说明。
场景一、目标按照匀速沿直线运动。其中,该目标旋转参数包括该摄像机在水平方向上的第一旋转角度和第一旋转速度。
示意性地,场景一的情况参考图4,图4是本申请实施例提供的一种确定目标旋转参数的示意图。如图4所示,以目标为车辆为例,目标按照运动速度v匀速沿直线运动。其中,图4中(a)图为摄像机与目标基于空间关系的俯视图,图4中(b)图为摄像机与目标基于空间关系的侧视图,O表示摄像机垂直于底面的投影点,O’表示摄像机的安装位置,安装高度为|O′O|,ωP表示摄像机在水平方向上的旋转速度,ωT表示摄像机在垂直方向上的旋转速度。
如图4中(a)图所示,假设目标从A点运动至B点时,摄像机满足旋转条件,若摄像机在水平方向上按照∠BOC和ωP旋转,则旋转后目标正好运动至C点,也即是B点、C点以及O点构成等腰三角形,使得摄像机实现对目标的持续跟踪。因此,在这种情况下,电子设备仅需要确定摄像机在水平方向上的第一旋转角度和第一旋转速度(也即是摄像机仅在水平方向上旋转),相应地,确定目标旋转参数也即是求解图4中的∠BOC和ωP。
下面以图4所示的场景为例,对本步骤305的实施方式进行说明,包括下述步骤305A至步骤305E:
305A、电子设备确定该摄像机在水平方向上当前时刻和第一目标时刻的已旋转角度差,该第一目标时刻为该当前时刻之前的任一时刻。
其中,当前时刻是指电子设备判定摄像机满足旋转条件的时刻。电子设备基于当前时刻云台的位置信息以及第一目标时刻云台的位置信息,获取摄像机在水平方向上当前时刻的已旋转角度以及第一目标时刻的已旋转角度,将该两个已旋转角度的差,作为摄像机在水平方向上当前时刻和第一目标时刻的已旋转角度差。在一些实施例中,该第一目标时刻为该摄像机首次拍摄到该目标的时刻,通过将摄像机首次拍摄到该目标的时刻作为第一目标时刻,当前时刻与第一目标时刻之间间隔时间较长,目标在这段时间内的平均运动状态较为稳定,提高了电子设备计算目标旋转参数的准确性。
在一些实施例中,电子设备向云台发送信息获取指令,该信息获取指令携带当前时刻的时间标识和第一目标时刻的时间标识,该信息获取指令用于获取对应时刻的云台的位置信息。云台接收到该信息获取指令后,将对应时刻的位置信息发送给电子设备。在另一些实施例中,电子设备具有存储功能,云台每间隔目标时长,向电子设备发送位置信息,电子设备存储接收到的位置信息,当电子设备判定摄像机满足旋转条件时,电子设备基于当前时刻和第一目标时刻的时间标识,确定云台的位置信息。本申请实施例对于电子设备获取云台的位置信息的方式不作限定。
305B、电子设备获取该摄像机在该当前时刻的第一变倍信息和该摄像机在该第一目标时刻的第二变倍信息。
其中,第一变倍信息用于指示摄像机在当前时刻的镜头的变倍倍率,第二变倍信息用于指示摄像机在第一目标时刻的镜头的变倍倍率。电子设备基于当前时刻云台的位置信息以及第一目标时刻云台的位置信息,获取摄像机在当前时刻的第一变倍信息以及第一目标时刻的第二变倍信息。
需要说明的是,电子设备获取云台的位置信息的方式与上述步骤305A同理,故不再赘述。
305C、电子设备基于该已旋转角度差、该第一变倍信息以及该第二变倍信息,确定该第一旋转角度。
可选地,电子设备根据下述公式(2)来确定该第一旋转角度。
式中,∠E为已旋转角度差,Z′A为第一变倍信息,Z′B为第二变倍信息。通过公式(2),电子设备计算得到第一旋转角度,也即是摄像机在水平方向上所需的旋转角度。
305D、电子设备获取预测耗时,该预测耗时基于该目标的历史移动距离和预测移动距离之间的比值和该当前时刻与该第一目标时刻之间的时间差确定。
其中,该预测耗时是指目标按照预测移动距离移动所需的时长。该历史移动距离是指该目标在该当前时刻和该第一目标时刻之间的移动距离,该预测移动距离是指该目标在该当前时刻和未来的第二目标时刻之间的移动距离。目标在第二目标时刻时,摄像机所拍摄的画面中预测会出现该目标。
可选地,电子设备根据下述公式(3)来获取预测耗时。
式中,t1为预测耗时,t2为当前时刻与该第一目标时刻之间的时间差。通过公式(3),电子设备计算得到目标按照预测移动距离移动所需的时长。
305E、电子设备基于该预测耗时和该第一旋转角度,确定该第一旋转速度。
可选地,电子设备根据下述公式(4)来确定第一旋转速度。
式中,t1为预测耗时。通过公式(4),电子设备计算得到第一旋转速度,也即是摄像机在水平方向上所需的旋转速度。
经过上述步骤305A至步骤305E,电子设备基于摄像机的已旋转角度,确定了该摄像机的目标旋转参数。
示意性地,下面继续参考图4,对上述步骤305A至步骤305E中确定目标旋转参数的理论推导过程进行说明。
如图4所示,确定摄像机的目标旋转参数也即是求解∠BOC和ωP,其中,∠BOC为第一旋转角度,ωP为第一旋转速度。如图4中(a)图所示,目标从A点运动到B点,摄像机的第一已旋转角度差即为∠AOB,如图4中(b)图所示,摄像机在垂直方向上的已旋转角度TA=∠OAO′,且|OA|=|O′A|cos∠OAO′。由于|O′A|∝ZA(ZA为第一变倍信息),因此得到同理得到(ZB为第二变倍信息)。
基于上述分析,结合余弦定理可知同时,由于|OB|=|OC|,因此∠BOC=180°-2∠OBC=180°-2(180°-∠OBA)=2∠OBA-180°,然后,结合正弦定理可知因此得到∠BOC的计算公式(也即与上述公式(2)同理),如下述公式(5)所示:
进一步地,由于目标匀速沿直线运动,则目标从A点运动到B点的耗时为tAB,目标从B点运动到C点的耗时为tBC,因此得到tBC的计算公式(也即与上述公式(3)同理),如下述公式(6)所示:
应理解,在得到第一旋转角度∠BOC后,式中|BC|可通过|OB|与cos∠BOC之间的比值来确定,故在此不再赘述。
最后,在得到第一旋转角度∠BOC以及预测耗时tBC后,得到第一旋转速度ωP的计算公式(也即与上述公式(4)同理),如下述公式(7)所示:
需要说明的是,上述场景一是以目标按照匀速沿直线运动为例进行说明的,在这种情况下,摄像机仅需要在水平方向上旋转,当摄像机按照上述目标旋转参数旋转后,摄像机所拍摄的画面中预测会出现该目标。在一些实施例中,该目标位于画面的中心位置。通过这种方式,实现了摄像机对目标的持续跟踪,保证了目标跟踪的连续性。
场景二、目标按照变速沿直线运动。其中,该目标旋转参数包括该摄像机在水平方向上的第一旋转角度和第一旋转速度,以及摄像机在垂直方向上的第二旋转角度和第二旋转速度。
示意性地,场景二的情况参考图5,图5是本申请实施例提供的另一种确定目标旋转参数的示意图。如图5所示,以目标为车辆为例,目标按照运动速度v变速沿直线运动。其中,图5中(a)图为摄像机与目标基于空间关系的俯视图,图5中(b)图为摄像机与目标基于空间关系的侧视图,O表示摄像机垂直于底面的投影点,O’表示摄像机的安装位置,安装高度为|O′O|,ωP表示摄像机在水平方向上的旋转速度,ωT表示摄像机在垂直方向上的旋转速度。
如图5中(a)图所示,假设目标从A点运动至B点,摄像机满足旋转条件,若摄像机在水平方向上按照∠BOD和ωP旋转,则旋转后目标运动至D点,也即是目标运动速度过快,B点、D点以及O点构成的三角形并非等腰三角形,使得摄像机在目标变速运动的情况下,实现对目标的持续跟踪。因此,在这种情况下,电子设备需要确定摄像机在水平方向上的第一旋转角度和第一旋转速度,也即是求解图5中(a)图的∠BOD和ωP,同时,电子设备还需要确定摄像机在垂直方向上的第二旋转角度和第二旋转速度,也即是求解图5中(b)图的∠COD′和ωT。
下面以图5所示的场景为例,对本步骤305的实施方式进行说明,包括下述步骤305A'至步骤305G':
305A'、电子设备获取该摄像机在水平方向上的目标旋转角度。
其中,目标旋转角度是指摄像机在水平方向上旋转至90°后还需旋转的角度。在一些实施例中,该目标旋转角度基于该摄像机在水平方向上的最大旋转速度确定。例如,电子设备按照摄像机在水平方向上的最大旋转速度和预设时长来计算该目标旋转角度,本申请实施例对此不作限定。
305B'、电子设备基于该摄像机在水平方向上当前时刻的已旋转角度,确定该摄像机在水平方向上的第三旋转角度。
其中,第三旋转角度是指摄像机在水平方向上从当前时刻对应的已旋转角度旋转至90°所需旋转的角度。电子设备基于当前时刻云台的位置信息,获取摄像机在水平方向上当前时刻的已旋转角度,将该已旋转角度与90°之间的差值,作为摄像机在水平方向上的第三旋转角度。
305C'、电子设备将该第三旋转角度和该目标旋转角度之和,作为该第一旋转角度。
305D'、电子设备基于该第一旋转角度,确定该第一旋转速度。
其中,电子设备基于第一旋转角度确定第一旋转速度的方法与上述步骤305D和305E同理,故在此不再赘述。
305E'、电子设备基于该摄像机在垂直方向上当前时刻的已旋转角度,确定该摄像机在垂直方向上的第四旋转角度。
其中,第四旋转角度是指摄像机在垂直方向上从当前时刻对应的已旋转角度旋转至90°所需旋转的角度。电子设备基于当前时刻云台的位置信息,获取摄像机在垂直方向上当前时刻的已旋转角度,将该已旋转角度与90°之间的差值,作为摄像机在垂直方向上的第四旋转角度。
305F'、电子设备基于该目标的预测移动距离和该第四旋转角度,确定该第二旋转角度,该预测移动距离是指该目标在该当前时刻和未来的第二目标时刻之间的移动距离。
其中,电子设备在上述步骤305D'中已经计算得到目标的预测移动距离,在本步骤305F'中,电子设备基于该预测移动距离和第四旋转角度,计算得到第二旋转角度,具体的计算方式将在后续根据图5进行理论推导的过程中说明,此处不再赘述。
305G'、电子设备基于该第二旋转角度,确定该第二旋转速度。
其中,电子设备确定第二旋转速度的方式与上述步骤305E同理,故在此不再赘述。
经过上述步骤305A'至步骤305G',电子设备基于摄像机的已旋转角度,确定了该摄像机的目标旋转参数。示意性地,下面继续参考图5,对上述步骤305A'至步骤305G'的理论推导过程进行说明。
如图5所示,确定摄像机的目标旋转参数也即是求解图5中(a)图所示的∠BOD和ωP,以及图5中(b)图所示的∠COD′和ωT。其中,∠BOD为第一旋转角度,ωP为第一旋转速度;∠COD′为第二旋转角度,ωT为第二旋转速度。
示意性地,求解∠BOD和ωP的步骤包括下述步骤一至步骤三:
步骤一、求解∠BOM。
其中,∠BOM即为第三旋转角度,基于云台的位置信息即可获取到。同时,由于|OM|已知,且(ZB为第二变倍信息)、因此求解得到|BM|和目标从B点运动至M点的耗时(计算耗时的方式与上述公式(6)同理,故不再赘述)。
步骤二、根据∠MOD计算|MD|和目标从M点运动至D点的耗时。
其中,∠MOD即为目标旋转角度,该目标旋转角度为预先设置的角度。应理解,O点、M点以及D点构成直角三角形,且∠MOD和|OM|已知,因此求解得到|MD|和目标从M点运动至D点的耗时。
步骤三、求解∠BOD和ωP。
其中,∠BOD为∠BOM和∠MOD之和,经过上述步骤一和步骤二得到了|BM|和|MD|和对应的耗时,两段距离之和即为目标的预测移动距离|BD|,两段耗时之和即为目标的预测耗时,因此求解得到ωP,此处计算ωP的方式与上述公式(7)同理,故不再赘述。
示意性地,求解∠COD′和ωT的步骤包括下述步骤一至步骤三:
步骤一、求解∠BO′M。
其中,∠BO′M即为第四旋转角度,基于云台的位置信息即可获取到。
步骤二、根据|BD|和∠BO′M计算∠COD′。
其中,∠COD′即为第二旋转角度,如图5中(b)图所示,∠BO′M、|O′O|以及|BM|均已知,因此求解得到|O′C|和∠O′CD,进而结合余弦定理或者构造直角三角形的方式,求解得到∠COD′。
步骤三、求解ωT
其中,ωT即为第二旋转速度,如图5中(b)图所示,|BD|已知,目标的预测耗时已知,因此求解得到ωT,此处计算ωP的方式与上述公式(7)同理,故不再赘述。
需要说明的是,上述场景二是以目标按照变速沿直线运动为例进行说明的,在这种情况下,摄像机需要在水平方向和垂直方向上旋转,当摄像机按照上述目标旋转参数旋转后,摄像机所拍摄的画面中预测会出现该目标。在一些实施例中,该目标位于画面的中心位置。通过这种方式,使得摄像机在目标在运动速度过快的情况下,实现对目标的持续跟踪,保证了目标跟踪的连续性。
另外,在一些实施例中,上述场景二所示的目标旋转参数的确定方式还适用于以下两种情况:
情况一、以图5所示的场景为例,摄像机在水平方向上按照最大旋转速度和∠BOC旋转后难以继续跟踪目标,因此,增大旋转角度至∠BOD能够实现继续跟踪目标。
情况二、以图5所示的场景为例,目标为车辆,若摄像机按照目标旋转参数旋转后,摄像机所拍摄到的是目标的反面特征信息,若旋转角度为∠BOC,摄像机拍摄到的车牌等区域容易发生畸变,因此,增大旋转角度至∠BOD能够减小摄像机所拍摄的画面中的畸变区域,从而提高电子设备识别目标的准确率,保证目标跟踪的连续性。需要说明的是,在这种情况下,上述目标旋转角度能够基于画面识别算法的性能、摄像机的安装角度等多方面因素来综合设置,只要给出目标旋转角度即可实现上述场景二所示的确定目标旋转参数的方式,本申请实施例对此不作限定。
在另一些实施例中,上述场景二还能够适用于其他情况,例如摄像机的最大旋转速度也不够快,因此增大旋转角度来保证目标跟踪的连续性等,本申请实施例对此不作限定。
306、电子设备基于该目标旋转参数,向云台发送第二控制指令,该第二控制指令用于指示控制摄像机进行旋转,当旋转至目标角度后停止旋转。
在本申请实施例中,目标角度包括摄像机在水平方向上的旋转角度和摄像机在垂直方向上的旋转角度。电子设备基于该目标旋转参数,计算云台的第二控制参数,向云台发送第二控制指令,该第二控制指令携带该第二控制参数。
下面对第二控制参数的两种情况进行说明:
情况一、该第二控制参数与该目标旋转参数相同,也即是电子设备将摄像机还需旋转的旋转角度和旋转速度发送给云台。例如,以目标旋转参数包括摄像机在水平方向上的第一旋转角度和第一旋转速度为例,该第二控制参数包括该第一旋转角度和该第一旋转速度。
情况二,该第二控制参数包括目标角度和对应的旋转速度,也即是电子设备将摄像机的最终所处的目标角度和对应的旋转速度发送给云台。例如,以目标旋转参数包括摄像机在水平方向上的第一旋转角度和第一旋转速度为例,该第二控制参数包括第五旋转角度和第一旋转速度,该第五旋转角度为第一旋转角度和摄像机在水平方向上当前时刻的已旋转角度之和。
需要说明的是,本申请实施例对于第二控制参数的具体内容不作限定。
另外,在一些实施例中,该第二控制指令还包括第三变倍信息,该第三变倍信息用于指示控制摄像机降低镜头变倍倍率。示意性地,参考图5,对于目标变速沿直线运动的场景,在AB段的跟踪过程中,若∠AOB过小,会放大对变速运动的速度变化量的估计,因此,在第二控制指令中携带第三变倍信息能够避免摄像机在旋转至目标角度后目标偏移画面中心过远甚至不在画面中,从而确保目标跟踪的连续性。
307、云台基于该第二控制指令,控制该摄像机进行旋转,旋转至目标角度后停止旋转。
在本申请实施例中,云台基于该第二控制指令中携带的第二控制参数,带动摄像机进行旋转,当旋转至该目标角度后停止旋转。
在一些实施例中,摄像机的旋转方向和该目标相对于该摄像机的运动方向相关。通过这种方式,确保了摄像机按照该旋转方向和上述目标角度旋转后,能够及时检测到目标,从而实现了对目标的持续跟踪,保证了目标跟踪的连续性。
在一些实施例中,当摄像机依照该目标角度完成旋转,则该摄像机所拍摄的实时画面中预测会出现该目标。通过控制摄像机按照可以拍摄到目标的目标角度来完成旋转,实现了对目标的持续跟踪,保证了目标跟踪的连续性。
在另一些实施例中,当摄像机依照该目标角度完成旋转,则目标位于摄像机所拍摄的实时画面的中心位置。通过控制摄像机在旋转后拍摄到的目标正好位于画面中心,便于后续持续跟踪目标,提高了电子设备识别目标的准确性。
需要说明的是,在一些实施例中,如上述步骤304所示,当目标的运动引起摄像机满足旋转条件时,电子设备控制摄像机暂停跟踪该目标。因此,在摄像机旋转期间,会存在下述任一种情况,或者,同步出现下述两种情况:
情况一、在旋转期间暂停处理摄像机所拍摄的画面。
情况二、在旋转期间停止以下操作中的一项或者多项:自动对焦、自动光圈控制、ISP优化、图像检测、图像内容分割以及目标识别。
上述情况的具体内容参考步骤304,在此不再赘述。
经过上述步骤304至步骤307,在摄像机跟踪目标的过程中,当目标的运动引起摄像机满足旋转条件时,暂停跟踪目标,并基于目标旋转参数旋转至目标角度,进一步地,当摄像机旋转至目标角度时,摄像机所拍摄的画面中预测会出现目标,实现了对目标的持续跟踪。而且,在摄像机的旋转过程中,由于暂停跟踪目标,目标可能会从摄像机所拍摄的画面中消失,但是随着摄像机旋转至目标角度,目标会重新出现在摄像机所拍摄的画面中。因此,上述方法能够在多种场景下保证对目标的持续跟踪。
308、旋转停止后,当摄像机再次检测到该目标,电子设备控制该摄像机基于该目标角度继续跟踪该目标。
在本申请实施例中,电子设备响应于接收到的画面中包括目标,向云台发送第三控制指令,该第三控制指令用于指示控制摄像机基于该目标角度继续跟踪该目标。本步骤308与上述步骤302同理,故在此不再赘述。
在一些实施例中,摄像机再次检测到目标包括:摄像机具有检测功能,旋转停止后,摄像机检测所拍摄的画面中是否存在目标。在另一些实施例中,摄像机再次检测到目标包括:摄像机将拍摄到的画面发送给电子设备,由电子设备识别画面中是否出现目标,若出现目标,则电子设备向摄像机发送通知消息,该通知消息用于通知该摄像机检测到该目标,本申请实施例对此不作限定。需要说明的是,摄像机检测目标的方式与上述步骤301同理,故在此不再赘述。
另外,在一些实施例中,如上述步骤304所示,当目标的运动引起摄像机满足旋转条件时,电子设备控制摄像机暂停跟踪该目标。因此,摄像机旋转停止后,会存在下述任一种情况,或者,同步出现下述两种情况:
情况一、旋转停止后,恢复处理摄像机所拍摄的画面。
情况二、旋转停止后,恢复被停止的以下操作中的一项或者多项:自动对焦、自动光圈控制、ISP优化、图像检测、图像内容分割以及目标识别。
上述情况的具体内容参考步骤304,在此不再赘述。
在上述步骤301至步骤303中,摄像机跟踪目标的过程中拍摄的是目标的正面部分,经过上述步骤304至步骤307后,摄像机旋转至目标角度后(也可以理解为摄像机在水平方向上以较大角度翻转至目标角度),在步骤308中,摄像机继续跟踪目标的过程中拍摄的是目标的反面部分。在一些实施例中,电子设备调用目标识别算法,基于摄像机旋转前所拍摄的画面中的目标的正面部分,识别画面中出现的目标。例如,该目标识别算法为基于图像特征比对的识别算法、基于特征聚类分析的识别算法或是基于深度学习的识别算法等,本申请实施例对于电子设备识别目标的方式不作限定。
综上,本申请实施例提供了一种目标跟踪方法,在摄像机跟踪目标的过程中,通过实时分析来确定目标的运动是否引起摄像机满足旋转条件,控制摄像机旋转,并暂停跟踪目标,使得目标与摄像机之间尚有一段距离的时候,摄像机能够提前旋转至可以检测到目标的目标角度,进而继续跟踪目标,通过这种提前判断以提前旋转的方式,实现了对目标的持续跟踪,保证了目标跟踪的连续性。
图6是本申请实施例提供的一种目标跟踪设备的结构示意图,该目标跟踪设备600可因配置或性能不同而产生比较大的差异,包括一个或一个以上的处理器601和一个或一个以上的存储器602,其中,该存储器602中存储有至少一条程序代码,该至少一条程序代码由该处理器601加载并执行以实现上述方法实施例中电子设备所执行的操作。当然,该目标跟踪设备600还能够具有有线或无线网络接口、键盘以及输入输出接口等部件,以便进行输入输出,该目标跟踪设备600还包括其他用于实现设备功能的部件,在此不做赘述。
本申请中术语“第一”“第二”等字样用于对作用和功能基本相同的相同项或相似项进行区分,应理解,“第一”、“第二”、“第n”之间不具有逻辑或时序上的依赖关系,也不对数量和执行顺序进行限定。还应理解,尽管以下描述使用术语第一、第二等来描述各种元素,但这些元素不应受术语的限制。这些术语只是用于将一元素与另一元素区别分开。例如,在不脱离各种所述示例的范围的情况下,第一图像可以被称为第二图像,并且类似地,第二图像可以被称为第一图像。第一图像和第二图像都可以是图像,并且在某些情况下,可以是单独且不同的图像。
本申请中术语“至少一个”的含义是指一个或多个,本申请中术语“多个”的含义是指两个或两个以上,例如,多个像素点是指两个或两个以上的像素点。
还应理解,术语“如果”可被解释为意指“当...时”(“when”或“upon”)或“响应于确定”或“响应于检测到”。类似地,根据上下文,短语“如果确定...”或“如果检测到[所陈述的条件或事件]”可被解释为意指“在确定...时”或“响应于确定...”或“在检测到[所陈述的条件或事件]时”或“响应于检测到[所陈述的条件或事件]”。
以上描述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机程序指令。在计算机上加载和执行该计算机程序指令时,全部或部分地产生按照本申请实施例中的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。
该计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,该计算机程序指令可以从一个网站站点、计算机、服务器或数据中心通过有线或无线方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质(例如软盘、硬盘、磁带)、光介质例如,数字视频光盘(digital video disc,DVD)、或者半导体介质(例如固态硬盘)等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,该程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
Claims (23)
1.一种目标跟踪方法,其特征在于,由电子设备执行,所述方法包括:
控制摄像机跟踪目标;
当所述目标的运动引起所述摄像机满足旋转条件,则控制所述摄像机进行旋转,旋转期间暂停跟踪所述目标,当旋转至目标角度后停止旋转;
旋转停止后,当所述摄像机再次检测到所述目标,则控制所述摄像机基于所述目标角度继续跟踪所述目标。
2.根据权利要求1所述的方法,其特征在于,所述摄像机为PTZ摄像机。
3.根据权利要求1或2所述的方法,其特征在于,所述方法还包括,在旋转期间停止以下操作中的一项或者多项:
自动对焦、自动光圈控制、图像信号处理器ISP优化、图像检测、图像内容分割以及目标识别。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
旋转停止后,恢复被停止的一项或者多项操作。
5.根据权利要求1至3任一项所述的方法,其特征在于,
当所述摄像机依照所述目标角度完成旋转,则所述摄像机所拍摄的实时画面中预测会出现所述目标。
6.根据权利要求1至3任一项所述的方法,其特征在于,
所述摄像机的旋转方向和所述目标相对于所述摄像机的运动方向相关。
7.根据权利要求1至6任一项所述的方法,其特征在于,所述旋转条件包括下述任一项:
所述目标朝接近所述摄像机的方向运动,并且所述摄像机所支持的旋转速度难以维持继续跟踪所述目标;
所述目标朝接近所述摄像机的方向运动,并且在所述摄像机所拍摄的画面中所述目标的感兴趣区域即将消失或者已经消失。
8.根据权利要求7所述的方法,其特征在于,所述旋转条件还包括下述任一项:
所述摄像机所拍摄的画面中所述目标的成像区域的尺寸大于或等于目标尺寸;
所述摄像机所拍摄的画面中所述目标的成像区域的位置处于目标位置;
所述摄像机所拍摄的画面中不存在所述目标。
9.根据权利要求7或8所述的方法,其特征在于,所述旋转条件还包括下述任一项:
所述摄像机在垂直方向上的已旋转角度大于或等于第一阈值;
所述摄像机在垂直方向上的当前旋转速度大于或等于第二阈值;
所述摄像机在垂直方向上的已旋转角度与所述摄像机在垂直方向上的当前旋转速度之间满足目标函数关系。
10.根据权利要求1至9任一项所述的方法,其特征在于,所述控制所述摄像机进行旋转,旋转期间暂停跟踪所述目标,当旋转至目标角度后停止旋转,包括:
控制所述摄像机暂停跟踪所述目标;
基于所述摄像机的已旋转角度,确定所述摄像机的目标旋转参数;
基于所述目标旋转参数,控制所述摄像机进行旋转,当旋转至所述目标角度后停止旋转。
11.根据权利要求10所述的方法,其特征在于,所述目标旋转参数包括所述摄像机在水平方向上的第一旋转角度和第一旋转速度,所述基于所述摄像机的已旋转角度,确定所述摄像机的目标旋转参数,包括:
确定所述摄像机在水平方向上当前时刻和第一目标时刻的已旋转角度差,所述第一目标时刻为所述当前时刻之前的任一时刻;
基于所述第一已旋转角度差,确定所述第一旋转角度和所述第一旋转速度。
12.根据权利要求10所述的方法,其特征在于,所述目标旋转参数包括所述摄像机在水平方向上的第一旋转角度和第一旋转速度,以及所述摄像机在垂直方向上的第二旋转角度和第二旋转速度,所述基于所述摄像机的已旋转角度,确定所述摄像机的目标旋转参数,包括:
获取所述摄像机在水平方向上的目标旋转角度;
基于所述摄像机在水平方向上当前时刻的已旋转角度,以及所述目标旋转角度,确定所述第一旋转角度和所述第一旋转速度;
基于所述摄像机在垂直方向上所述当前时刻的已旋转角度,确定所述第二旋转角度和所述第二旋转速度。
13.一种目标跟踪系统,其特征在于,所述系统包括电子设备、摄像机和云台;
所述电子设备,用于:
控制摄像机跟踪目标;
当所述目标的运动引起所述摄像机满足旋转条件,则控制所述摄像机进行旋转,旋转期间暂停跟踪所述目标,当旋转至目标角度后停止旋转;
旋转停止后,当所述摄像机再次检测到所述目标,则控制所述摄像机基于所述目标角度继续跟踪所述目标;
所述摄像机,用于接受所述电子设备控制以跟踪目标;
所述云台,用于接受所述电子设备控制,带动所述摄像机进行旋转。
14.根据权利要求13所述的系统,其特征在于,所述摄像机为PTZ摄像机。
15.根据权利要求13或14所述的系统,其特征在于,在旋转期间停止以下操作中的一项或者多项:
自动对焦、自动光圈控制、ISP优化、图像检测、图像内容分割以及目标识别。
16.根据权利要求15所述的系统,其特征在于,旋转停止后,恢复被停止的一项或者多项操作。
17.根据权利要求13至15任一项所述的系统,其特征在于,
当所述摄像机依照所述目标角度完成旋转,则所述摄像机所拍摄的实时画面中预测会出现所述目标。
18.根据权利要求13至15任一项所述的系统,其特征在于,
所述摄像机的旋转方向和所述目标相对于所述摄像机的运动方向相关。
19.根据权利要求13至18任一项所述的系统,其特征在于,所述旋转条件包括下述任一项:
所述目标朝接近所述摄像机的方向运动,并且所述摄像机所支持的旋转速度难以维持继续跟踪所述目标;
所述目标朝接近所述摄像机的方向运动,并且在所述摄像机所拍摄的画面中所述目标的感兴趣区域即将消失或者已经消失。
20.根据权利要求19所述的系统,其特征在于,所述旋转条件还包括下述任一项:
所述摄像机所拍摄的画面中所述目标的成像区域的尺寸大于或等于目标尺寸;
所述摄像机所拍摄的画面中所述目标的成像区域的位置处于目标位置;
所述摄像机所拍摄的画面中不存在所述目标。
21.根据权利要求19或20所述的系统,其特征在于,所述旋转条件还包括下述任一项:
所述摄像机在垂直方向上的已旋转角度大于或等于第一阈值;
所述摄像机在垂直方向上的当前旋转速度大于或等于第二阈值;
所述摄像机在垂直方向上的已旋转角度与所述摄像机在垂直方向上的当前旋转速度之间满足目标函数关系。
22.一种目标跟踪设备,其特征在于,所述目标跟踪设备包括处理器和存储器,所述存储器用于存储至少一段程序代码,所述至少一段程序代码由所述处理器加载并执行如权利要求1至权利要求12中任一项所述的目标跟踪方法。
23.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质用于存储至少一段程序代码,所述至少一段程序代码用于执行如权利要求1至权利要求12中任一项所述的目标跟踪方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110654485.6A CN115471546A (zh) | 2021-06-11 | 2021-06-11 | 目标跟踪方法、系统、设备及存储介质 |
PCT/CN2022/077845 WO2022257505A1 (zh) | 2021-06-11 | 2022-02-25 | 目标跟踪方法、系统、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110654485.6A CN115471546A (zh) | 2021-06-11 | 2021-06-11 | 目标跟踪方法、系统、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115471546A true CN115471546A (zh) | 2022-12-13 |
Family
ID=84364812
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110654485.6A Pending CN115471546A (zh) | 2021-06-11 | 2021-06-11 | 目标跟踪方法、系统、设备及存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN115471546A (zh) |
WO (1) | WO2022257505A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116744102B (zh) * | 2023-06-19 | 2024-03-12 | 北京拙河科技有限公司 | 一种基于反馈调节的球机跟踪方法及装置 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101547344B (zh) * | 2009-04-24 | 2010-09-01 | 清华大学深圳研究生院 | 基于联动摄像机的视频监控装置及其跟踪记录方法 |
KR20150071504A (ko) * | 2013-12-18 | 2015-06-26 | 한국전자통신연구원 | 카메라 추적 제어권 자동 전환 시스템 및 이의 카메라 추적 제어권 자동 전환 방법 |
CN111833382B (zh) * | 2020-02-13 | 2021-03-09 | 珠海安联锐视科技股份有限公司 | 一种基于摇头摄像机的目标跟踪方法 |
CN112699839B (zh) * | 2021-01-13 | 2024-02-27 | 安徽水天信息科技有限公司 | 一种动态背景下视频目标自动锁定及跟踪方法 |
-
2021
- 2021-06-11 CN CN202110654485.6A patent/CN115471546A/zh active Pending
-
2022
- 2022-02-25 WO PCT/CN2022/077845 patent/WO2022257505A1/zh unknown
Also Published As
Publication number | Publication date |
---|---|
WO2022257505A1 (zh) | 2022-12-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10979614B2 (en) | Control apparatus, method of controlling imaging device, and non-transitory computer-readable storage medium that control an imaging device for tracking a tracking target | |
US10776939B2 (en) | Obstacle avoidance system based on embedded stereo vision for unmanned aerial vehicles | |
KR102213328B1 (ko) | 영상 처리장치, 영상 처리방법 및 프로그램 | |
US20190103026A1 (en) | Image Processing for Vehicle Collision Avoidance System | |
US11887318B2 (en) | Object tracking | |
US20200267309A1 (en) | Focusing method and device, and readable storage medium | |
CN101640788B (zh) | 一种监控控制方法、装置及监控系统 | |
JP6032034B2 (ja) | 物体検知装置 | |
CN111314609B (zh) | 一种控制云台追踪摄像的方法及装置 | |
CN105979143B (zh) | 一种调整球机拍摄参数的方法及装置 | |
JP2001216519A (ja) | 交通監視装置 | |
CN112367475B (zh) | 一种交通事件检测方法、系统及电子设备 | |
JP2013223220A (ja) | 自動追尾装置 | |
CN111627049B (zh) | 高空抛物的确定方法、装置、存储介质及处理器 | |
US9165364B1 (en) | Automatic tracking image pickup system | |
CN115471546A (zh) | 目标跟踪方法、系统、设备及存储介质 | |
CN116030099A (zh) | 一种基于ptz相机的多目标跟踪方法及装置 | |
CN111556295A (zh) | 可移动监控云台的控制方法、装置及无人车 | |
CN102930554B (zh) | 一种监控场景下目标精确抓取的方法及系统 | |
US20120075467A1 (en) | Image capture device and method for tracking moving object using the same | |
CN116342642A (zh) | 目标跟踪方法、装置、电子设备及可读存储介质 | |
JP3828096B2 (ja) | 物体追跡装置 | |
CN114040114A (zh) | 一种全景摄像及补光方法、系统、设备和介质 | |
CN114637342A (zh) | 云台控制方法、装置、监控设备及可读存储介质 | |
Son et al. | Tiny drone tracking framework using multiple trackers and Kalman-based predictor |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination |