CN112639815A - 目标跟踪方法、目标跟踪装置、可移动平台和存储介质 - Google Patents
目标跟踪方法、目标跟踪装置、可移动平台和存储介质 Download PDFInfo
- Publication number
- CN112639815A CN112639815A CN202080004950.5A CN202080004950A CN112639815A CN 112639815 A CN112639815 A CN 112639815A CN 202080004950 A CN202080004950 A CN 202080004950A CN 112639815 A CN112639815 A CN 112639815A
- Authority
- CN
- China
- Prior art keywords
- target object
- target
- tracking
- model
- algorithm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 76
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 116
- 230000002452 interceptive effect Effects 0.000 claims description 79
- 239000011159 matrix material Substances 0.000 claims description 27
- 230000009471 action Effects 0.000 claims description 19
- 238000013135 deep learning Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 6
- 230000001960 triggered effect Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical compound C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011217 control strategy Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
- G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
Abstract
本发明实施例提供一种目标跟踪方法、目标跟踪装置、可移动平台和存储介质，其中方法包括：通过一拍摄装置获取拍摄画面，确定所述拍摄画面中需跟踪的目标对象；确定所述拍摄画面中的预设图像区域，通过预设的目标识别算法识别所述预设图像区域内的至少一个对象，其中，所述目标对象位于所述预设图像区域内；通过多目标跟踪算法，对至少一个所述对象进行跟踪，以对所述目标对象进行跟踪。本发明实施例提供的目标跟踪方法、目标跟踪装置、可移动平台和存储介质，能够减少或避免跟错对象的问题，减少用户的手动干预，提高目标跟踪的准确率和效率。
Description
技术领域
本发明实施例涉及图像处理技术领域，尤其涉及一种目标跟踪方法、目标跟踪装置、可移动平台和存储介质。
背景技术
随着图像处理技术的不断发展，现有技术中，经常需要对拍摄画面中的目标对象进行跟踪。通过对目标对象的跟踪可以实时更新所述目标对象在拍摄画面中的位置。
在对目标的跟踪过程中，常常会出现相同类别对象交叉遮挡的情况，例如：要跟踪的人在人群中走过，车辆在车流中通行等，都容易发生同类别对象的交叉。当跟踪的目标对象与同类别的干扰对象出现交叉时，设备容易跟到干扰对象上，导致跟踪失败，一旦跟踪失败，需要通过用户手动干预重新启动跟踪功能，因此，目标跟踪的准确率和效率都较低。
发明内容
本发明实施例提供了一种目标跟踪方法、目标跟踪装置、可移动平台和存储介质，用以解决现有技术中对目标进行跟踪时容易跟踪失败的技术问题。
本发明实施例第一方面提供一种目标跟踪方法，包括：
通过一拍摄装置获取拍摄画面，确定所述拍摄画面中需跟踪的目标对象；
确定所述拍摄画面中的预设图像区域，通过预设的目标识别算法识别所述预设图像区域内的至少一个对象，其中，所述目标对象位于所述预设图像区域内；
通过多目标跟踪算法，对至少一个所述对象进行跟踪，以对所述目标对象进行跟踪。
本发明实施例第二方面提供一种目标跟踪装置，包括：
存储器，用于存储计算机程序；
处理器，用于运行所述存储器中存储的计算机程序以实现：
通过一拍摄装置获取拍摄画面，确定所述拍摄画面中需跟踪的目标对象；
确定所述拍摄画面中的预设图像区域，通过预设的目标识别算法识别所述预设图像区域内的至少一个对象，其中，所述目标对象位于所述预设图像区域内；
通过多目标跟踪算法，对至少一个所述对象进行跟踪，以对所述目标对象进行跟踪。
本发明实施例第三方面提供一种可移动平台，包括：
机体；
动力系统，设于所述机体，所述动力系统用于为所述可移动平台提供动力；
拍摄装置，设于所述机体，用于拍摄图像；
以及一个或多个处理器，用于执行第一方面所述的目标跟踪方法。
本发明实施例第四方面提供一种计算机可读存储介质，所述计算机可读存储介质中存储有程序指令，所述程序指令用于实现第一方面所述的目标跟踪方法。
本发明实施例提供的目标跟踪方法、目标跟踪装置、可移动平台和存储介质，可以通过拍摄装置获取拍摄画面，确定所述拍摄画面中需跟踪的目标对象，并根据所述目标对象确定所述拍摄画面中的预设图像区域，通过预设的目标识别算法识别所述预设图像区域内的至少一个对象，通过多目标跟踪算法，对至少一个所述对象进行跟踪，以对所述目标对象进行跟踪，多目标跟踪算法能够很好地对多个对象进行区分，从而在至少一个所述对象中识别出所述目标对象，减少或避免跟错对象的问题，减少用户的手动干预，提高目标跟踪的准确率和效率。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明实施例一提供的一种目标跟踪方法的流程示意图；
图2为本发明实施例一提供的一种目标跟踪方法中预设图像区域的示意图；
图3为本发明实施例二提供的一种目标跟踪方法的流程示意图；
图4为本发明实施例二提供的一种目标跟踪方法的跟踪原理示意图；
图5为本发明实施例三提供的一种目标跟踪方法的流程示意图；
图6为本发明实施例四提供的一种目标跟踪装置的结构示意图；
图7为本发明实施例五提供的一种可移动平台的结构框图；
图8为本发明实施例五提供的一种可移动平台的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。
下面结合附图，对本发明的一些实施方式作详细说明。在各实施例之间不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
实施例一
本发明实施例一提供一种目标跟踪方法。图1为本发明实施例一提供的一种目标跟踪方法的流程示意图。如图1所示，本实施例中的目标跟踪方法，可以包括：
步骤101、通过一拍摄装置获取拍摄画面，确定所述拍摄画面中需跟踪的目标对象。
其中，所述拍摄装置可以为相机或摄像头等任意具有拍摄功能的装置。通过所述拍摄装置可以获取拍摄画面，对所述拍摄画面进行处理，可以确定所述拍摄画面中的目标对象，所述目标对象为需跟踪的对象。
所述对象可以为人、车或其它任意可移动的物体。确定所述拍摄画面中的目标对象的方法可以有多种。可选的，用户可以手动选择拍摄画面中的目标对象。
步骤102、确定所述拍摄画面中的预设图像区域，通过预设的目标识别算法识别所述预设图像区域内的至少一个对象，其中，所述目标对象位于所述预设图像区域内。
其中，所述预设图像区域可以为所述拍摄画面中的全部或部分区域。为了提高算法的效率，所述预设图像区域可以为所述拍摄画面中的部分区域。
可选的，在确定拍摄画面中的目标对象后，可以根据所述目标对象确定所述预设图像区域，所述预设图像区域可以为所述目标对象周围的预设范围的区域，避免跟丢目标对象。
可选的，所述确定所述拍摄画面中的预设图像区域，可以包括：确定所述拍摄画面中所述目标对象所在边界框(bounding box)；根据所述边界框确定所述预设图像区域；其中，所述预设图像区域包括与所述边界框的竖直中线的距离小于所述边界框宽度的区域。
具体地，所述目标对象所在的边界框可以通过目标检测算法或其它方法获取，将所述边界框周围的一定区域设置为预设图像区域。
图2为本发明实施例一提供的一种目标跟踪方法中预设图像区域的示意图。如图2所示，拍摄画面中的人为目标对象，画面中的矩形框为目标对象所在的边界框，虚线为所述边界框的竖直中线，竖直中线两边距离d以内的区域为预设图像区域，即图中阴影部分和所述目标对象所在的区域构成的四边形ABCD为所述预设图像区域，其中，d可以为边界框的宽度，即四边形的宽度AB等于2d。
通过图2所示的设置方式，预设图像区域的宽度可以等于目标对象边界框宽度的二倍，在兼顾算法效率的基础上保证目标对象被顺利跟踪。
在其它可选的实施方式中，也可以根据实际需要调整预设图像区域的大小，例如，所述预设图像区域的宽度可以为目标对象边界框宽度的三倍。
所述预设图像区域内可以包括至少一个对象，所述至少一个对象包括所述目标对象。可以通过预设的目标识别算法来识别所述预设图像区域的所述至少一个对象，所述预设的目标识别算法可以为基于深度学习的目标识别算法等。在一实施例中，所述至少一个对象为与所述目标对象为相同类别的对象，以减少算力的同时，提高跟踪的准确度。
可选的，所述预设图像区域内的至少一个对象，可以仅包括整个边界框均位于所述预设图像区域内部的对象；或者，所述预设图像区域内的至少一个对象，可以包括全部或部分边界框位于所述预设图像区域内部的对象。
步骤103、通过多目标跟踪算法，对至少一个所述对象进行跟踪，以对所述目标对象进行跟踪。
在确定所述预设图像区域的至少一个对象后，可以通过多目标跟踪算法(Multi-Object Tracking)对所述至少一个对象进行跟踪，多目标跟踪算法能够对一个或多个对象分别进行跟踪，从而实现对目标对象的跟踪。
在一个可选的实施方式中，所述通过多目标跟踪算法，对至少一个所述对象进行跟踪，以对所述目标对象进行跟踪，可以包括：在所述预设图像区域内识别到的对象为多个时，通过多目标跟踪算法，对至少一个所述对象进行跟踪，以对所述目标对象进行跟踪；在所述预设图像区域内识别到的对象仅包括所述目标对象时，通过单目标跟踪算法(SingleObject Tracking)对所述目标对象进行跟踪。
其中，单目标跟踪算法可以通过图像处理技术锁定画面中的指定对象，然后自动持续地对其进行锁定跟踪。多目标跟踪算法可以对画面中的多个对象同时进行定位与跟踪，维持记录所述多个对象的运动轨迹以及ID(Identity document，身份标识)信息等。
由于预设图像区域中包含了目标对象，因此，在所述预设图像区域内只有一个对象时，说明该对象就是目标对象，可以通过单目标跟踪算法对所述目标对象进行跟踪，在所述预设图像区域有多个对象时，可以通过多目标跟踪算法对所述预设图像区域中的多个对象进行跟踪。
通过根据预设图像区域中的对象人数，在单目标跟踪算法和多目标跟踪算法之间进行切换，能够更加高效地实现对目标对象的跟踪。
在另一个可选的实施方式中，所述通过多目标跟踪算法，对至少一个所述对象进行跟踪，以对所述目标对象进行跟踪，可以包括：在所述预设图像区域内识别到的对象为一个或多个时，均通过多目标跟踪算法，对至少一个所述对象进行跟踪，以对所述目标对象进行跟踪。
在图像中仅有一个对象时，通过多目标跟踪算法也可以实现对所述对象的跟踪。始终利用多目标跟踪算法对预设图像区域内的对象进行跟踪，可以有效提高对目标对象跟踪的准确性。
在实现了对目标对象进行跟踪的基础上，还可以进一步根据跟踪过程实现其它功能。例如，可以记录并输出跟踪过程中目标对象的移动轨迹，或者，可以记录并输出目标对象的动作变化，或者，可以将目标对象始终锁定在画面正中央并保存这些画面等等。
在实际应用中，可以通过拍摄装置对要跟踪的目标进行拍摄，通过手动或自动的方式从拍摄画面中确定目标对象，然后，可以通过多目标跟踪算法对预设图像区域中的一个或多个对象进行跟随，由于所述目标对象也是所述预设图像区域内的一个对象，因此，在对所述预设图像区域内的多个对象进行跟踪时，自然也可以实现对目标对象的跟踪。
当目标对象周围出现干扰对象时，所述目标对象可能会与所述干扰对象交叉重叠。通过单目标跟踪算法对目标对象进行跟踪时，如果所述目标对象与干扰对象交叉再分开，单目标跟踪算法可能会错误地跟踪到所述干扰对象上。多目标跟踪算法可以用于对多个对象同时进行跟踪，由于多目标跟踪算法在跟踪过程中保存了各个对象的信息，因此，即使正在跟踪的多个对象出现交叉再分开的情况，也能够很好地对各个对象进行区分，相对于单目标跟踪算法，能够更加准确地实现对目标对象的跟踪。
本实施例提供的目标跟踪方法，可以通过拍摄装置获取拍摄画面，确定所述拍摄画面中需跟踪的目标对象，并根据所述目标对象确定所述拍摄画面中的预设图像区域，通过预设的目标识别算法识别所述预设图像区域内的至少一个对象，通过多目标跟踪算法，对至少一个所述对象进行跟踪，以对所述目标对象进行跟踪，多目标跟踪算法能够很好地对多个对象进行区分，从而在至少一个所述对象中识别出所述目标对象，减少或避免跟错对象的问题，减少用户的手动干预，提高目标跟踪的准确率和效率。
实施例二
本发明实施例二提供一种目标跟踪方法。本实施例是在上述实施例提供的技术方案的基础上，通过建模和模型分配来实现对目标对象进行跟踪。
图3为本发明实施例二提供的一种目标跟踪方法的流程示意图。如图3所示，本实施例中的目标跟踪方法，可以包括：
步骤301、通过一拍摄装置获取拍摄画面，确定所述拍摄画面中需跟踪的目标对象。
步骤302、确定所述拍摄画面中的预设图像区域，通过预设的目标识别算法识别所述预设图像区域内的至少一个对象，其中，所述目标对象位于所述预设图像区域内。
本实施例中的步骤301至步骤302的具体实现原理和过程可以参见前述实施例，此处不再赘述。
步骤303、当所述至少一个对象包括干扰对象时，对所述预设图像区域中的所述目标对象和干扰对象进行建模，得到目标对象模型和干扰对象模型。
其中，所述干扰对象可以为所述预设图像区域内除所述目标对象以外的其它对象。具体地，所述干扰对象可以为与所述目标对象同类别的其它对象，例如所述目标对象为人，则所述干扰对象也为人，所述目标对象为车，所述干扰对象也为车。所述预设图像区域内的至少一个所述对象可以包括所述干扰对象和所述目标对象。
本步骤中，可以对所述预设图像区域中的任意一个或多个对象进行建模，得到对应的一个或多个模型。
在一个可选的实施方式中，可以对所述预设图像区域中的目标对象和干扰对象进行建模，得到目标对象模型和干扰对象模型。所述预设图像区域中的干扰对象有多个时，分别对多个干扰对象进行建模，得到对应的多个干扰对象模型。
所述模型可以为任意能够反映对象特征的模型，例如外观模型、运动轨迹模型等。例如，所述目标对象模型可以包括：所述目标对象的外观模型和/或运动轨迹模型；所述干扰对象模型可以包括：所述干扰对象的外观模型和/或运动轨迹模型。
可选的，可以通过深度学习算法建立对象的外观模型。具体地，可以在拍摄的图像上裁剪出所述对象对应的感兴趣区域(Region Of Interest，ROI)图像，然后获取所述对象所在的边界框。然后，可以通过神经网络等对所述对象对应的边界框内的像素进行处理，生成所述对象的外观模型，所述外观模型用于表征所述对象的外观例如颜色、纹理、轮廓等。
除了深度学习算法以外，还可以通过其它方法建立外观模型，例如可以直接分析所述对象的颜色、体型等作为外观模型。
通过不断拍摄得到的图像，可以不断地对所述对象的外观模型进行优化，使之更贴近所述对象实际的外观。
可选的，可以通过位置差分算法来建立对象的运动轨迹模型。所述运动轨迹模型可以用于预测对象的运动轨迹。位置差分算法能够根据所述对象已有的运动轨迹，通过位置差分以及滤波函数等来建立运动轨迹模型，从而可以预测所述对象未来的移动速度和方向。
除此之外，还可以通过其它方法，例如，光流算法等，建立对象的运动轨迹模型。
通过不断拍摄得到的图像，可以不断地对所述对象的运动轨迹模型进行优化，提高预测的准确性。
在用户选定目标对象，或者自动确定目标对象后，可以对所述目标对象进行建模，得到目标对象模型。具体地，可以按照上述方法，通过深度学习算法建立所述目标对象的外观模型，和/或，通过位置差分算法建立所述目标对象的运动轨迹模型。
当所述预设图像区域内出现干扰对象时，可以对所述干扰对象进行建模，得到干扰对象模型。具体地，可以按照上述方法，通过深度学习算法建立干扰对象的外观模型，和/或，通过位置差分算法建立干扰对象的运动轨迹模型。
图4为本发明实施例二提供的一种目标跟踪方法的跟踪原理示意图。如图4所示，预设图像区域中有四个对象，分别记为0、1、2、3，其中实线勾勒出的对象1为目标对象，其余三个虚线勾勒出的对象0、2、3为干扰对象。可以分别对对象0、1、2、3进行建模，得到对应的模型。
例如，图4中的t1时刻，根据目标对象1，可以建立目标对象的外观模型A1以及运动轨迹模型L1。根据干扰对象0、2、3，可以建立干扰对象的外观模型A0、A2、A3以及运动轨迹模型L0、L2、L3。
步骤304、通过目标对象模型和干扰对象模型，对所述目标对象和所述干扰对象进行跟踪，以对所述目标对象进行跟踪。
本实施例中，在所述预设图像区域内出现干扰对象后，通过步骤304可以实现通过多目标跟踪算法同时对所述目标对象和所述干扰对象进行跟踪。即，通过多目标跟踪算法，同时对所述目标对象和所述干扰对象进行跟踪，以对所述目标对象进行跟踪，可以包括：通过目标对象模型和干扰对象模型，对所述目标对象和所述干扰对象进行跟踪，以对所述目标对象进行跟踪。
其中，所述目标对象模型和所述干扰对象模型可以通过步骤303来获得。在其它可选的实施方式中，也可以省略步骤303，利用预设的目标对象模型和预设的干扰对象模型实现对目标对象和干扰对象的跟踪。例如，在需要对一群对象进行跟踪时，可以预先保存其中每一个对象对应的模型，并在拍摄过程中通过这些预先保存的模型对所述一群对象进行跟踪，以实现对其中的目标对象进行跟踪。
可以理解的是，除了利用基于目标对象模型和干扰对象模型的多目标跟踪算法以外，也可以利用其它任意类型的多目标跟踪算法来实现对目标对象和干扰对象的跟踪。例如，可以通过基于对称网络的多目标跟踪算法、基于人脸的多目标跟踪算法、基于自适应遗传的多目标跟踪算法等对所述目标对象和所述干扰对象进行跟踪，以实现对所述目标对象的跟踪。以下详细介绍通过目标对象模型和干扰对象模型来实现多目标跟踪算法的方案。
所述预设图像区域包括目标对象和干扰对象存在一种特殊情况是，目标对象和干扰对象发生了交叉重叠。可选的，若目标对象的边界框和任一干扰对象的边界框部分或者全部重合，则可以判定目标对象处于与所述干扰对象交叉的状态，例如图4中的t2时刻。在另一实施例中，若目标对象的边界框和任一干扰对象的边界框发生了融合，例如对象1的边界框和对象2的边界框逐渐靠近并融为一个，那么结合两者的运动轨迹模型，也可以判定目标对象处于与所述干扰对象交叉的状态。
在所述目标对象与所述干扰对象交叉时，可以通过所述目标对象模型和所述干扰对象模型，对所述目标对象和所述干扰对象进行跟踪，以实现对所述目标对象的跟踪。
可选的，通过所述目标对象模型和所述干扰对象模型，对所述目标对象和所述干扰对象进行跟踪，可以包括：根据所述目标对象模型和所述干扰对象模型，构建所述预设图像区域内的至少一个对象对应的分配代价矩阵；根据所述分配代价矩阵，为至少一个所述对象中的每一对象分别分配一个模型。
一般情况下，所述模型的个数可以等于所述对象的个数，但是，若部分对象被遮挡，有可能会出现模型的个数与对象的个数不一致的情况，例如，图4中，如果对象3被对象1完全挡住，那么图像中只能检测到三个对象，但是这并不影响模型的分配。
假设所述目标对象模型和干扰对象模型共有N个，至少一个所述对象的个数为M，那么，所述分配代价矩阵中的元素包括将第i个模型分配给第j个对象的代价，其中，i＝1、……、N；j＝1、……、M。
可选的，构建所述预设图像区域内的至少一个对象对应的分配代价矩阵，可以包括：确定第i个模型中的外观模型与第j个对象的外观的相似性；根据第i个模型中的运动轨迹模型预测第i个模型的位置，计算预测得到的位置和第j个目标的位置的差距；根据所述外观的相似性和所述位置的差距，确定将第i个模型分配给第j个对象的代价。
假设有四个对象0、1、2、3，四个模型p0、p1、p2、p3，那么分配代价矩阵就是一个4*4的矩阵，第一行第一列的值是把p1分配给对象1的代价，第一行第二列是把p1分配给对象2的代价，以此类推，可以构建出分配代价矩阵。
其中，矩阵中每个元素包括两部分：外观的相似性以及运动轨迹的相似性，运动轨迹的相似性可以表现为预测的位置和实际位置之间的差距。通过外观的相似性和运动轨迹的相似性，可以确定将对应的代价，例如，可以将外观的相似性与运动轨迹的相似性的加权和作为对应的代价。
在构建分配代价矩阵之后，可以通过匈牙利算法为所述每一对象分配一个模型，以使各对象对应的代价之和最小。通过匈牙利算法实现分配的具体原理属于现有技术，此处不再赘述。
通过匈牙利算法为每一个对象分配一个模型后，分配到目标对象模型的对象即为目标对象。
当所述目标对象处于与所述干扰对象交叉的状态时，例如图4中的t2时刻，可以利用t2时刻之前构建的目标对象模型和干扰对象模型，通过匈牙利算法为每个对象分配一个模型，利用目标对象模型匹配到的对象来更新目标对象的位置。
当目标对象和干扰对象的边界框发生融合，即通过预设的目标识别算法只识别到一个对象时，就会发生上述模型的个数与对象的个数不一致的情况，在这种情况下，识别到的对象个数少于模型的个数。
当目标对象在干扰对象的前面，结合上述的运动轨迹模型和外观模型，可以把目标对象模型分配给该对象，并在显示屏上显示跟踪框，以实现对目标对象的跟踪。
而当目标对象在干扰对象的后面，结合上述的运动轨迹模型和外观模型，可以把干扰对象模型分配给该对象；但与此同时，根据上述目标对象的运动轨迹模型和干扰对象的运动轨迹模型，可以确定两者发生了交叉，且所述目标对象位于干扰对象的后面。因此，即使目标对象模型没有匹配到对应的目标对象，但还是可以从目标对象的运动轨迹模型和干扰对象的运动轨迹模型获知目标对象被遮挡了，并给用户做出相应的语音提醒或画面提醒，例如，还是在相应的位置显示跟随框和/或发出目标被遮挡的语音提醒。
当目标对象模型重新匹配到目标对象，或干扰对象模型重新匹配到干扰对象后，还可以做出解除遮挡/干扰的提醒。
可选的，在解除交叉状态之后，或者，在进入交叉状态之前，也可以通过匈牙利算法为每个对象分配模型，以实现对目标对象的跟踪。例如图4中，t3时刻，可以通过匈牙利算法为每个对象分配一个模型，将目标对象模型分配给了最右侧的对象1，那么目标对象的位置就更新为对象1在t3时刻的位置，从而实现对目标对象的跟踪。
本实施例提供的方法可以应用于自动跟踪拍摄功能中，当跟拍的目标对象与干扰对象发生交叉时，能够准确判断这种状态并且重新找回目标对象，然后继续跟拍，可以有效减少其它对象的干扰导致的目标对象跟踪失败，减少拍摄者的干预，拍摄的画面更加流畅自然。
本实施例提供的目标跟踪方法，可以对目标对象进行建模，得到目标对象模型，对干扰对象进行建模，得到干扰对象模型，通过建模得到的所述目标对象模型和所述干扰对象模型，对所述目标对象和所述干扰对象进行跟踪，以实现对目标对象的跟踪，能够有效提高目标对象识别的准确率。
在上述各实施例提供的技术方案的基础上，可选的，确定所述拍摄画面中需跟踪的目标对象，可以包括：获取所述拍摄画面中对象的动作信息；若所述对象的动作信息满足预设条件，则所述对象为所述拍摄画面中需跟踪的目标对象。
其中，所述预设条件可以根据实际需要来设置，例如，在对象为人的情况下，若所述对象做出挥手的动作，则确定所述对象为目标对象；在对象为车的情况下，若所述对象连续双闪3秒，则确定所述对象为目标对象。
通过检测拍摄画面中的对象的动作信息，并根据动作信息确定所述对象是否为目标对象，能够在无需用户手动点击的情况下自动实现对目标对象的跟踪，为用户提供了便利。
在另一种可选的实施方式中，所述确定所述拍摄画面中需跟踪的目标对象，可以包括：获取用户输入的跟踪指令；根据所述跟踪指令，确定所述拍摄画面中位于预设位置的对象为需跟踪的目标对象。
所述预设位置可以为用户预先设置的位置，例如，可以为画面的正中央，当获取到跟踪指令后，可以以拍摄画面正中央的对象作为目标对象。或者，所述跟踪指令可以包括所述预设位置或者用于确定所述预设位置的信息，根据所述跟踪指令，可以确定位于所述预设位置的对象为目标对象。
可选的，所述拍摄装置可以包括显示屏，所述显示屏可以用于显示所述拍摄装置拍摄的画面。所述获取用户输入的跟踪指令，可以包括：获取用户通过点击所述显示屏触发的跟踪指令，所述跟踪指令包括所述用户点击的位置信息。
相应的，所述根据所述跟踪指令，确定拍摄画面中位于预设位置的对象为需跟踪的目标对象，可以包括：根据所述位置信息，确定所述拍摄画面中位于对应位置的对象为所述需跟踪的目标对象。例如，用户点击的位置为画面中的坐标(x1，y1)，那么，位于(x1，y1)的对象可以作为需跟踪的目标对象。
除了通过点击显示屏以外，还可以通过其它方式输入跟踪指令，可选的，可以通过语音的方式输入跟踪指令，例如语音输入“对张三进行跟踪”，通过人脸识别等方法可以查找到画面中的张三并以其作为目标对象。
通过跟踪指令确定拍摄画面中位于预设位置的对象为需跟踪的目标对象，能够快速、准确地确定目标对象，保证跟踪的效率和准确率。
实施例三
本发明实施例三提供一种目标跟踪方法。本实施例是在上述各实施例提供的技术方案的基础上，除了在画面中对目标对象进行跟踪以外，还可以控制所述拍摄装置跟随所述目标对象移动。
其中，所述跟踪可以是指根据拍摄的画面持续地识别其中的目标对象，以实时了解目标对象的位置。所述跟随可以是指控制拍摄装置跟随目标对象移动，例如，目标对象向前走，则拍摄装置也随之向前走，目标停止，则拍摄装置也停止，或者，目标对象向左或向右移动，所述拍摄装置也随之向左或向右转动。
所述拍摄装置可以设置在可移动平台例如无人机或者无人车上，可以通过多目标跟踪算法持续地对所述拍摄装置拍摄的画面中的目标对象进行跟踪，避免跟错目标，同时，还可以控制可移动平台随着所述目标对象移动。
图5为本发明实施例三提供的一种目标跟踪方法的流程示意图。如图5所示，本实施例中的目标跟踪方法，可以包括：
步骤501、通过一拍摄装置获取拍摄画面，确定所述拍摄画面中需跟踪的目标对象。
步骤502、确定所述拍摄画面中的预设图像区域，通过预设的目标识别算法识别所述预设图像区域内的至少一个对象，其中，所述目标对象位于所述预设图像区域内。
本实施例中的步骤501至步骤502的具体实现原理和过程可以参见前述实施例，此处不再赘述。
步骤503、通过多目标跟踪算法，对至少一个所述对象进行跟踪，以对所述目标对象进行跟踪，若检测到所述目标对象处于与干扰对象交叉的状态，则采用第一跟随策略控制所述拍摄装置对所述目标对象进行跟随，反之则采用第二跟随策略控制所述拍摄装置对所述目标对象进行跟随，其中，所述第一跟随策略与所述第二跟随策略不同。
可选的，可以根据所述目标对象的位置信息和所述干扰对象的位置信息，确定所述目标对象是否处于与所述干扰对象交叉的状态。所述位置信息可以包括能够反映对象位置的任意信息例如边界框信息等。
所述边界框信息可以包括对象所在的边界框的四个顶点的坐标，通过四个顶点的坐标可以确定边界框。若所述目标对象所在的边界框与所述干扰对象所在的边界框全部或部分重叠，那么可以认为所述目标对象处于和所述干扰对象交叉的状态。
若所述目标对象处于与所述预设图像区域内的任一干扰对象交叉的状态，则可以采用第一跟随策略对所述目标对象进行跟随。若所述目标对象与所述预设图像区域内的全部干扰对象都不交叉，则可以采用第二跟随策略对所述目标对象进行跟随。
在一个可选的实施方式中，无论是采用第一跟随策略，还是采用第二跟随策略，控制所述拍摄装置对所述目标对象进行跟随，均可以包括：预测所述目标对象的动作信息，所述动作信息包括移动速度和/或移动方向；根据预测得到的所述目标对象的动作信息，调整所述拍摄装置的位姿。
可选的，针对相同的动作信息，所述第一跟随策略对应的位姿调整幅度可以小于所述第二跟随策略对应的位姿调整幅度。
其中，预测所述目标对象的动作信息，可以通过所述目标对象模型中的运动轨迹模型来实现。所述位姿可以包括位置和姿态等，不同的跟随策略对应的具体位姿调整方案不同。
例如，在t1时刻，所述目标对象处于没有被干扰的状态，预测所述目标对象以1m/s的速度向前移动，那么可以控制所述拍摄装置以1m/s的速度向所述目标对象移动；在t2时刻，所述目标对象与某干扰对象交叉，处于被干扰的状态，假设预测所述目标对象以1m/s的速度向前移动，那么可以控制所述拍摄装置以0.5m/s的速度向所述目标对象移动。
虽然t1时刻和t2时刻，所述目标对象的预测动作信息是一样的，但是由于t2时刻所述目标对象处于被干扰的状态，因此，可以采用缓和的控制策略，相应地减小所述拍摄装置的动作幅度，避免动作太快导致一旦目标对象识别错误容易跟丢目标对象的问题，提高了跟随的准确性。
此外，还可以在交叉状态或非交叉状态下，可以向用户发出提示信息，以提示用户当前的状态。
可选的，若检测到所述目标对象处于与所述干扰对象交叉的状态，则输出第一提示信息；和/或，若检测到所述目标对象解除交叉状态，则输出第二提示信息。
其中，所述第一提示信息和所述第二提示信息的内容可以不同，例如，在检测到所述目标对象进入与干扰对象交叉的状态后，可以显示或播放第一提示信息“目标对象处于交叉状态，请注意”；在检测到所述目标对象解除交叉状态，则可以显示或播放第二提示信息“已解除交叉状态”，方便用户及时获知拍摄画面中需跟踪的目标对象的状态信息，并作出相应的处理，提高拍摄的效率，为用户提供便利。
可选的，当目标对象在干扰对象的后面且完全被所述干扰对象遮挡时，可以向用户做出相应的语音提醒或画面提醒，例如，在相应的位置显示跟随框和/或发出目标被遮挡的语音提醒。当目标对象模型重新匹配到目标对象后，还可以做出解除遮挡的提醒。
本实施例提供的目标跟踪方法，可以控制所述拍摄装置跟随所述目标对象移动，若检测到所述目标对象处于与干扰对象交叉的状态，则采用第一跟随策略控制所述拍摄装置对所述目标对象进行跟随，反之，则采用第二跟随策略控制所述拍摄装置对所述目标对象进行跟随，其中，所述第一跟随策略与所述第二跟随策略不同，能够有效针对目标对象所处的状态采用不同的策略进行跟随，提高交叉状态下对目标对象跟随的准确性，减少或避免跟丢目标对象导致拍摄画面不流畅的问题，提高拍摄效率。
实施例四
图6为本发明实施例四提供的一种目标跟踪装置的结构示意图。所述目标跟踪装置可以执行上述图1所对应的目标跟踪方法，参考附图6所示，所述目标跟踪装置可以包括：
存储器11，用于存储计算机程序；
处理器12，用于运行所述存储器中存储的计算机程序以实现：
通过一拍摄装置获取拍摄画面，确定所述拍摄画面中需跟踪的目标对象；
确定所述拍摄画面中的预设图像区域，通过预设的目标识别算法识别所述预设图像区域内的至少一个对象，其中，所述目标对象位于所述预设图像区域内；
通过多目标跟踪算法，对至少一个所述对象进行跟踪，以对所述目标对象进行跟踪。
可选的，该目标跟踪装置的结构中还可以包括通信接口13，用于与其他设备或通信网络通信。
在一个可实施的方式中，在所述确定所述拍摄画面中的预设图像区域时，所述处理器12具体用于：
确定所述拍摄画面中所述目标对象所在边界框；
根据所述边界框确定所述预设图像区域；
其中，所述预设图像区域包括与所述边界框的竖直中线的距离小于所述边界框宽度的区域。
在一个可实施的方式中，在所述通过多目标跟踪算法，对至少一个所述对象进行跟踪，以对所述目标对象进行跟踪时，所述处理器12具体用于：
在所述预设图像区域内识别到的对象为多个时，通过多目标跟踪算法，对至少一个所述对象进行跟踪，以对所述目标对象进行跟踪；
在所述预设图像区域内识别到的对象仅包括所述目标对象时，通过单目标跟踪算法对所述目标对象进行跟踪。
在一个可实施的方式中，在所述通过多目标跟踪算法，对至少一个所述对象进行跟踪，以对所述目标对象进行跟踪时，所述处理器12具体用于：
在所述预设图像区域内识别到的对象为一个或多个时，均通过多目标跟踪算法，对至少一个所述对象进行跟踪，以对所述目标对象进行跟踪。
在一个可实施的方式中，在通过多目标跟踪算法，对至少一个所述对象进行跟踪，以对所述目标对象进行跟踪时，所述处理器12具体用于：
在所述预设图像区域内出现干扰对象后，通过多目标跟踪算法，同时对所述目标对象和所述干扰对象进行跟踪，以对所述目标对象进行跟踪；
其中，所述干扰对象为与所述目标对象同类别的其它对象，至少一个所述对象包括所述干扰对象和所述目标对象。
在一个可实施的方式中，在通过多目标跟踪算法，同时对所述目标对象和所述干扰对象进行跟踪，以对所述目标对象进行跟踪时，所述处理器12具体用于：
通过目标对象模型和干扰对象模型，对所述目标对象和所述干扰对象进行跟踪，以对所述目标对象进行跟踪。
在一个可实施的方式中，所述处理器12还用于：
对拍摄画面中的所述目标对象进行建模，得到所述目标对象模型；对所述干扰对象进行建模，得到所述干扰对象模型。
在一个可实施的方式中，所述目标对象模型包括：所述目标对象的外观模型和/或运动轨迹模型；所述干扰对象模型包括：所述干扰对象的外观模型和/或运动轨迹模型；
在所述对拍摄画面中的所述目标对象进行建模，得到所述目标对象模型时，所述处理器12具体用于：通过深度学习算法建立所述目标对象的外观模型，和/或，通过位置差分算法建立所述目标对象的运动轨迹模型；
在所述对所述干扰对象进行建模，得到所述干扰对象模型时，所述处理器12具体用于：通过深度学习算法建立干扰对象的外观模型，和/或，通过位置差分算法建立干扰对象的运动轨迹模型。
在一个可实施的方式中，在通过所述目标对象模型和所述干扰对象模型，从至少一个所述对象中确定所述目标对象时，所述处理器12具体用于：
根据所述目标对象模型和所述干扰对象模型，构建所述预设图像区域内的至少一个对象对应的分配代价矩阵；根据所述分配代价矩阵，为至少一个所述对象中的每一对象分别分配一个模型；
其中，分配到目标对象模型的对象为目标对象。
在一个可实施的方式中，所述目标对象模型和干扰对象模型共有N个，至少一个所述对象的个数为M；
所述分配代价矩阵中的元素包括将第i个模型分配给第j个对象的代价；
其中，i＝1、……、N；j＝1、……、M。
在一个可实施的方式中，在构建所述预设图像区域内的至少一个对象对应的分配代价矩阵时，所述处理器12具体用于：
确定第i个模型中的外观模型与第j个对象的外观的相似性；
根据第i个模型中的运动轨迹模型预测第i个模型的位置，计算预测得到的位置和第j个目标的位置的差距；
根据所述外观的相似性和所述位置的差距，确定将第i个模型分配给第j个对象的代价。
在一个可实施的方式中，在根据所述分配代价矩阵，为至少一个所述对象中的每一对象分别分配一个模型时，所述处理器12具体用于：
根据所述分配代价矩阵，通过匈牙利算法为所述每一对象分配一个模型，以使各对象对应的代价之和最小。
在一个可实施的方式中，所述处理器12还用于：
控制所述拍摄装置跟随所述目标对象移动。
在一个可实施的方式中，在所述控制所述拍摄装置跟随所述目标对象移动时，所述处理器12具体用于：
若检测到所述目标对象处于与干扰对象交叉的状态，则采用第一跟随策略控制所述拍摄装置对所述目标对象进行跟随；
反之，则采用第二跟随策略控制所述拍摄装置对所述目标对象进行跟随；
其中，所述第一跟随策略与所述第二跟随策略不同。
在一个可实施的方式中，所述处理器12还用于：
根据所述目标对象的位置信息和所述干扰对象的位置信息，确定所述目标对象是否处于与所述干扰对象交叉的状态。
在一个可实施的方式中，在控制所述拍摄装置对所述目标对象进行跟随时，所述处理器12具体用于：
预测所述目标对象的动作信息，所述动作信息包括移动速度和/或移动方向；
根据预测得到的所述目标对象的动作信息，调整所述拍摄装置的位姿；
其中，针对相同的动作信息，所述第一跟随策略对应的位姿调整幅度小于所述第二跟随策略对应的位姿调整幅度。
在一个可实施的方式中，所述处理器12还用于：
若检测到所述目标对象处于与所述干扰对象交叉的状态，则输出第一提示信息；和/或，
若检测到所述目标对象解除交叉状态，则输出第二提示信息。
在一个可实施的方式中，在所述确定所述拍摄画面中需跟踪的目标对象时，所述处理器12具体用于：
获取所述拍摄画面中对象的动作信息；
若所述对象的动作信息满足预设条件，则所述对象为所述拍摄画面中需跟踪的目标对象。
在一个可实施的方式中，在所述确定所述拍摄画面中需跟踪的目标对象时，所述处理器12具体用于：
获取用户输入的跟踪指令；
根据所述跟踪指令，确定所述拍摄画面中位于预设位置的对象为需跟踪的目标对象。
在一个可实施的方式中，所述拍摄装置包括显示屏；
在所述获取用户输入的跟踪指令时，所述处理器12具体用于：获取用户通过点击所述显示屏触发的跟踪指令，所述跟踪指令包括所述用户点击的位置信息；
在所述根据所述跟踪指令，确定拍摄画面中位于预设位置的对象为需跟踪的目标对象时，所述处理器12具体用于：根据所述位置信息，确定所述拍摄画面中位于对应位置的对象为所述需跟踪的目标对象。
图6所示目标跟踪装置可以执行图1-图5所示实施例的方法，本实施例未详细描述的部分，可参考对图1-图5所示实施例的相关说明。该技术方案的执行过程和技术效果参见图1-图5所示实施例中的描述，在此不再赘述。
实施例五
本发明实施例五提供一种可移动平台。图7为本发明实施例提供的一种可移动平台的结构框图。如图7所示，本实施例提供的一种可移动平台，可以包括：
机体(图中未示出)；
动力系统21，设于所述机体，所述动力系统用于为所述可移动平台提供动力；
拍摄装置22，设于所述机体，用于拍摄图像；
以及一个或多个处理器23，用于执行上述任一实施例所述的目标跟踪方法。
当需要调整所述拍摄装置22的位姿时，所述处理器23发出控制指令控制所述动力系统21调整所述机体的位姿，从而调整所述拍摄装置22的位姿。
在一个可实施的方式中，所述可移动平台为无人机，通过所述动力系统21调节所述无人机的位姿，从而调节所述拍摄装置22的位姿。
在一个可实施的方式中，所述可移动平台为云台，通过所述动力系统21调节所述云台的位姿，从而调节所述拍摄装置22的位姿。
在一个可实施的方式中，所述可移动平台为无人机，所述无人机还包括云台，设于所述机体，用于搭载所述拍摄装置22，通过动力系统21调节所述无人机和所述云台的位姿，从而调节所述拍摄装置22的位姿。
图8为本发明实施例提供的一种可移动平台的结构示意图。如图8所示，所述可移动平台为无人机，拍摄装置22和动力系统21设于机体24，动力系统21可以通过调节无人机的位姿来调节拍摄装置22的位姿。
其中，所述动力系统21可以包括电机等可以驱动拍摄装置22动作的设备。所述处理器23可以执行前述各实施例提供的目标跟踪方法，通过所述目标跟踪方法可以对目标对象进行跟踪，然后，可以通过所述动力系统21调节所述拍摄装置22的位姿，以使所述拍摄装置22能跟随所述目标对象进行拍摄。
本发明实施例提供的可移动平台中各部件的结构、功能均可以参见前述实施例，此处不再赘述。
本发明实施例提供的可移动平台，可以通过拍摄装置22获取拍摄画面，确定所述拍摄画面中需跟踪的目标对象，并根据所述目标对象确定所述拍摄画面中的预设图像区域，通过预设的目标识别算法识别所述预设图像区域内的至少一个对象，通过多目标跟踪算法，对至少一个所述对象进行跟踪，以对所述目标对象进行跟踪，多目标跟踪算法能够很好地对多个对象进行区分，从而在至少一个所述对象中识别出所述目标对象，减少或避免跟错对象的问题，减少用户的手动干预，提高目标跟踪的准确率和效率，减少或避免跟丢目标对象导致拍摄画面不流畅的问题，提高拍摄效率。
另外，本发明实施例提供了一种存储介质，该存储介质为计算机可读存储介质，该计算机可读存储介质中存储有程序指令，程序指令用于实现上述图1-图5所示实施例中的目标跟踪方法。
以上各个实施例中的技术方案、技术特征在与本相冲突的情况下均可以单独，或者进行组合，只要未超出本领域技术人员的认知范围，均属于本发明保护范围内的等同实施例。
在本发明所提供的几个实施例中，应该理解到，所揭露的相关遥控装置和方法，可以通过其它的方式实现。例如，以上所描述的遥控装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，遥控装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得计算机处理器(Processor)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read_Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁盘或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (45)
1.一种目标跟踪方法，其特征在于，所述方法包括：
通过一拍摄装置获取拍摄画面，确定所述拍摄画面中需跟踪的目标对象；
确定所述拍摄画面中的预设图像区域，通过预设的目标识别算法识别所述预设图像区域内的至少一个对象，其中，所述目标对象位于所述预设图像区域内；
通过多目标跟踪算法，对至少一个所述对象进行跟踪，以对所述目标对象进行跟踪。
2.根据权利要求1所述的方法，其特征在于，所述确定所述拍摄画面中的预设图像区域，包括：
确定所述拍摄画面中所述目标对象所在边界框；
根据所述边界框确定所述预设图像区域；
其中，所述预设图像区域包括与所述边界框的竖直中线的距离小于所述边界框宽度的区域。
3.根据权利要求1所述的方法，其特征在于，所述通过多目标跟踪算法，对至少一个所述对象进行跟踪，以对所述目标对象进行跟踪，包括：
在所述预设图像区域内识别到的对象为多个时，通过多目标跟踪算法，对至少一个所述对象进行跟踪，以对所述目标对象进行跟踪；
在所述预设图像区域内识别到的对象仅包括所述目标对象时，通过单目标跟踪算法对所述目标对象进行跟踪。
4.根据权利要求1所述的方法，其特征在于，所述通过多目标跟踪算法，对至少一个所述对象进行跟踪，以对所述目标对象进行跟踪，包括：
在所述预设图像区域内识别到的对象为一个或多个时，均通过多目标跟踪算法，对至少一个所述对象进行跟踪，以对所述目标对象进行跟踪。
5.根据权利要求1所述的方法，其特征在于，通过多目标跟踪算法，对至少一个所述对象进行跟踪，以对所述目标对象进行跟踪，包括：
在所述预设图像区域内出现干扰对象后，通过多目标跟踪算法，同时对所述目标对象和所述干扰对象进行跟踪，以对所述目标对象进行跟踪；
其中，所述干扰对象为与所述目标对象同类别的其它对象，至少一个所述对象包括所述干扰对象和所述目标对象。
6.根据权利要求5所述的方法，其特征在于，所述通过多目标跟踪算法，同时对所述目标对象和所述干扰对象进行跟踪，以对所述目标对象进行跟踪，包括：
通过目标对象模型和干扰对象模型，对所述目标对象和所述干扰对象进行跟踪，以对所述目标对象进行跟踪。
7.根据权利要求6所述的方法，其特征在于，还包括：
对拍摄画面中的所述目标对象进行建模，得到所述目标对象模型；对所述干扰对象进行建模，得到所述干扰对象模型。
8.根据权利要求7所述的方法，其特征在于，所述目标对象模型包括：所述目标对象的外观模型和/或运动轨迹模型；所述干扰对象模型包括：所述干扰对象的外观模型和/或运动轨迹模型；
所述对拍摄画面中的所述目标对象进行建模，得到所述目标对象模型，包括：通过深度学习算法建立所述目标对象的外观模型，和/或，通过位置差分算法建立所述目标对象的运动轨迹模型；
所述对所述干扰对象进行建模，得到所述干扰对象模型，包括：通过深度学习算法建立干扰对象的外观模型，和/或，通过位置差分算法建立干扰对象的运动轨迹模型。
9.根据权利要求6所述的方法，其特征在于，所述通过目标对象模型和干扰对象模型，对所述目标对象和所述干扰对象进行跟踪，包括：
根据所述目标对象模型和所述干扰对象模型，构建所述预设图像区域内的至少一个对象对应的分配代价矩阵；根据所述分配代价矩阵，为至少一个所述对象中的每一对象分别分配一个模型；
其中，分配到目标对象模型的对象为目标对象。
10.根据权利要求9所述的方法，其特征在于，所述目标对象模型和干扰对象模型共有N个，至少一个所述对象的个数为M；
所述分配代价矩阵中的元素包括将第i个模型分配给第j个对象的代价；
其中，i＝1、……、N；j＝1、……、M。
11.根据权利要求10所述的方法，其特征在于，构建所述预设图像区域内的至少一个对象对应的分配代价矩阵，包括：
确定第i个模型中的外观模型与第j个对象的外观的相似性；
根据第i个模型中的运动轨迹模型预测第i个模型的位置，计算预测得到的位置和第j个目标的位置的差距；
根据所述外观的相似性和所述位置的差距，确定将第i个模型分配给第j个对象的代价。
12.根据权利要求9所述的方法，其特征在于，根据所述分配代价矩阵，为至少一个所述对象中的每一对象分别分配一个模型，包括：
根据所述分配代价矩阵，通过匈牙利算法为所述每一对象分配一个模型，以使各对象对应的代价之和最小。
13.根据权利要求1所述的方法，其特征在于，还包括：
控制所述拍摄装置跟随所述目标对象移动。
14.根据权利要求13所述的方法，其特征在于，所述控制所述拍摄装置跟随所述目标对象移动，包括：
若检测到所述目标对象处于与干扰对象交叉的状态，则采用第一跟随策略控制所述拍摄装置对所述目标对象进行跟随；
反之，则采用第二跟随策略控制所述拍摄装置对所述目标对象进行跟随；
其中，所述第一跟随策略与所述第二跟随策略不同。
15.根据权利要求14所述的方法，其特征在于，还包括：
根据所述目标对象的位置信息和所述干扰对象的位置信息，确定所述目标对象是否处于与所述干扰对象交叉的状态。
16.根据权利要求14所述的方法，其特征在于，控制所述拍摄装置对所述目标对象进行跟随，包括：
预测所述目标对象的动作信息，所述动作信息包括移动速度和/或移动方向；
根据预测得到的所述目标对象的动作信息，调整所述拍摄装置的位姿；
其中，针对相同的动作信息，所述第一跟随策略对应的位姿调整幅度小于所述第二跟随策略对应的位姿调整幅度。
17.根据权利要求14所述的方法，其特征在于，还包括：
若检测到所述目标对象处于与所述干扰对象交叉的状态，则输出第一提示信息；和/或，
若检测到所述目标对象解除交叉状态，则输出第二提示信息。
18.根据权利要求1所述的方法，其特征在于，所述确定所述拍摄画面中需跟踪的目标对象，包括：
获取所述拍摄画面中对象的动作信息；
若所述对象的动作信息满足预设条件，则所述对象为所述拍摄画面中需跟踪的目标对象。
19.根据权利要求1所述的方法，其特征在于，所述确定所述拍摄画面中需跟踪的目标对象，包括：
获取用户输入的跟踪指令；
根据所述跟踪指令，确定所述拍摄画面中位于预设位置的对象为需跟踪的目标对象。
20.根据权利要求19所述的方法，其特征在于，所述拍摄装置包括显示屏；
所述获取用户输入的跟踪指令，包括：获取用户通过点击所述显示屏触发的跟踪指令，所述跟踪指令包括所述用户点击的位置信息；
所述根据所述跟踪指令，确定拍摄画面中位于预设位置的对象为需跟踪的目标对象，包括：根据所述位置信息，确定所述拍摄画面中位于对应位置的对象为所述需跟踪的目标对象。
21.一种目标跟踪装置，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于运行所述存储器中存储的计算机程序以实现：
通过一拍摄装置获取拍摄画面，确定所述拍摄画面中需跟踪的目标对象；
确定所述拍摄画面中的预设图像区域，通过预设的目标识别算法识别所述预设图像区域内的至少一个对象，其中，所述目标对象位于所述预设图像区域内；
通过多目标跟踪算法，对至少一个所述对象进行跟踪，以对所述目标对象进行跟踪。
22.根据权利要求21所述的装置，其特征在于，在所述确定所述拍摄画面中的预设图像区域时，所述处理器具体用于：
确定所述拍摄画面中所述目标对象所在边界框；
根据所述边界框确定所述预设图像区域；
其中，所述预设图像区域包括与所述边界框的竖直中线的距离小于所述边界框宽度的区域。
23.根据权利要求21所述的装置，其特征在于，在所述通过多目标跟踪算法，对至少一个所述对象进行跟踪，以对所述目标对象进行跟踪时，所述处理器具体用于：
在所述预设图像区域内识别到的对象为多个时，通过多目标跟踪算法，对至少一个所述对象进行跟踪，以对所述目标对象进行跟踪；
在所述预设图像区域内识别到的对象仅包括所述目标对象时，通过单目标跟踪算法对所述目标对象进行跟踪。
24.根据权利要求21所述的装置，其特征在于，在所述通过多目标跟踪算法，对至少一个所述对象进行跟踪，以对所述目标对象进行跟踪时，所述处理器具体用于：
在所述预设图像区域内识别到的对象为一个或多个时，均通过多目标跟踪算法，对至少一个所述对象进行跟踪，以对所述目标对象进行跟踪。
25.根据权利要求21所述的装置，其特征在于，在通过多目标跟踪算法，对至少一个所述对象进行跟踪，以对所述目标对象进行跟踪时，所述处理器具体用于：
在所述预设图像区域内出现干扰对象后，通过多目标跟踪算法，同时对所述目标对象和所述干扰对象进行跟踪，以对所述目标对象进行跟踪；
其中，所述干扰对象为与所述目标对象同类别的其它对象，至少一个所述对象包括所述干扰对象和所述目标对象。
26.根据权利要求25所述的装置，其特征在于，在通过多目标跟踪算法，同时对所述目标对象和所述干扰对象进行跟踪，以对所述目标对象进行跟踪时，所述处理器具体用于：
通过目标对象模型和干扰对象模型，对所述目标对象和所述干扰对象进行跟踪，以对所述目标对象进行跟踪。
27.根据权利要求26所述的装置，其特征在于，所述处理器还用于：
对拍摄画面中的所述目标对象进行建模，得到所述目标对象模型；对所述干扰对象进行建模，得到所述干扰对象模型。
28.根据权利要求27所述的装置，其特征在于，所述目标对象模型包括：所述目标对象的外观模型和/或运动轨迹模型；所述干扰对象模型包括：所述干扰对象的外观模型和/或运动轨迹模型；
在所述对拍摄画面中的所述目标对象进行建模，得到所述目标对象模型时，所述处理器具体用于：通过深度学习算法建立所述目标对象的外观模型，和/或，通过位置差分算法建立所述目标对象的运动轨迹模型；
在所述对所述干扰对象进行建模，得到所述干扰对象模型时，所述处理器具体用于：通过深度学习算法建立干扰对象的外观模型，和/或，通过位置差分算法建立干扰对象的运动轨迹模型。
29.根据权利要求26所述的装置，其特征在于，在通过目标对象模型和干扰对象模型，对所述目标对象和所述干扰对象进行跟踪时，所述处理器具体用于：
根据所述目标对象模型和所述干扰对象模型，构建所述预设图像区域内的至少一个对象对应的分配代价矩阵；根据所述分配代价矩阵，为至少一个所述对象中的每一对象分别分配一个模型；
其中，分配到目标对象模型的对象为目标对象。
30.根据权利要求29所述的装置，其特征在于，所述目标对象模型和干扰对象模型共有N个，至少一个所述对象的个数为M；
所述分配代价矩阵中的元素包括将第i个模型分配给第j个对象的代价；
其中，i＝1、……、N；j＝1、……、M。
31.根据权利要求30所述的装置，其特征在于，在构建所述预设图像区域内的至少一个对象对应的分配代价矩阵时，所述处理器具体用于：
确定第i个模型中的外观模型与第j个对象的外观的相似性；
根据第i个模型中的运动轨迹模型预测第i个模型的位置，计算预测得到的位置和第j个目标的位置的差距；
根据所述外观的相似性和所述位置的差距，确定将第i个模型分配给第j个对象的代价。
32.根据权利要求29所述的装置，其特征在于，在根据所述分配代价矩阵，为至少一个所述对象中的每一对象分别分配一个模型时，所述处理器具体用于：
根据所述分配代价矩阵，通过匈牙利算法为所述每一对象分配一个模型，以使各对象对应的代价之和最小。
33.根据权利要求21所述的装置，其特征在于，所述处理器还用于：
控制所述拍摄装置跟随所述目标对象移动。
34.根据权利要求33所述的装置，其特征在于，在所述控制所述拍摄装置跟随所述目标对象移动时，所述处理器具体用于：
若检测到所述目标对象处于与干扰对象交叉的状态，则采用第一跟随策略控制所述拍摄装置对所述目标对象进行跟随；
反之，则采用第二跟随策略控制所述拍摄装置对所述目标对象进行跟随；
其中，所述第一跟随策略与所述第二跟随策略不同。
35.根据权利要求34所述的装置，其特征在于，所述处理器还用于：
根据所述目标对象的位置信息和所述干扰对象的位置信息，确定所述目标对象是否处于与所述干扰对象交叉的状态。
36.根据权利要求34所述的装置，其特征在于，在控制所述拍摄装置对所述目标对象进行跟随时，所述处理器具体用于：
预测所述目标对象的动作信息，所述动作信息包括移动速度和/或移动方向；
根据预测得到的所述目标对象的动作信息，调整所述拍摄装置的位姿；
其中，针对相同的动作信息，所述第一跟随策略对应的位姿调整幅度小于所述第二跟随策略对应的位姿调整幅度。
37.根据权利要求34所述的装置，其特征在于，所述处理器还用于：
若检测到所述目标对象处于与所述干扰对象交叉的状态，则输出第一提示信息；和/或，
若检测到所述目标对象解除交叉状态，则输出第二提示信息。
38.根据权利要求21所述的装置，其特征在于，在所述确定所述拍摄画面中需跟踪的目标对象时，所述处理器具体用于：
获取所述拍摄画面中对象的动作信息；
若所述对象的动作信息满足预设条件，则所述对象为所述拍摄画面中需跟踪的目标对象。
39.根据权利要求21所述的装置，其特征在于，在所述确定所述拍摄画面中需跟踪的目标对象时，所述处理器具体用于：
获取用户输入的跟踪指令；
根据所述跟踪指令，确定所述拍摄画面中位于预设位置的对象为需跟踪的目标对象。
40.根据权利要求39所述的装置，其特征在于，所述拍摄装置包括显示屏；
在所述获取用户输入的跟踪指令时，所述处理器具体用于：获取用户通过点击所述显示屏触发的跟踪指令，所述跟踪指令包括所述用户点击的位置信息；
在所述根据所述跟踪指令，确定拍摄画面中位于预设位置的对象为需跟踪的目标对象时，所述处理器具体用于：根据所述位置信息，确定所述拍摄画面中位于对应位置的对象为所述需跟踪的目标对象。
41.一种可移动平台，其特征在于，包括：
机体；
动力系统，设于所述机体，所述动力系统用于为所述可移动平台提供动力；
拍摄装置，设于所述机体，用于拍摄图像；
以及一个或多个处理器，用于执行权利要求1-20中任一项所述的目标跟踪方法。
42.根据权利要求41所述的可移动平台，其特征在于，所述可移动平台为无人机，通过所述动力系统调节所述无人机的位姿，从而调节所述拍摄装置的位姿。
43.根据权利要求41所述的可移动平台，其特征在于，所述可移动平台为云台，通过所述动力系统调节所述云台的位姿，从而调节所述拍摄装置的位姿。
44.根据权利要求41所述的可移动平台，其特征在于，所述可移动平台为无人机，所述无人机还包括云台，设于所述机体，用于搭载所述拍摄装置，通过动力系统调节所述无人机和所述云台的位姿，从而调节所述拍摄装置的位姿。
45.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有程序指令，所述程序指令用于实现权利要求1-20中任意一项所述的目标跟踪方法。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2020/081786 WO2021189448A1 (zh) | 2020-03-27 | 2020-03-27 | 目标跟踪方法、目标跟踪装置、可移动平台和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112639815A true CN112639815A (zh) | 2021-04-09 |
Family
ID=75291252
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202080004950.5A Pending CN112639815A (zh) | 2020-03-27 | 2020-03-27 | 目标跟踪方法、目标跟踪装置、可移动平台和存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN112639815A (zh) |
| WO (1) | WO2021189448A1 (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113824881A (zh) * | 2021-09-18 | 2021-12-21 | 北京万达文旅规划设计院有限公司 | 一种室内滑雪场目标跟拍方法、系统及服务器 |
| CN115103109A (zh) * | 2022-06-07 | 2022-09-23 | 抖音视界(北京)有限公司 | 自由视角的视频拍摄方法、设备、存储介质及程序产品 |
| CN115963856A (zh) * | 2023-01-03 | 2023-04-14 | 广东工业大学 | 一种四旋翼无人机快速目标跟踪方法 |
| WO2024012367A1 (zh) * | 2022-07-11 | 2024-01-18 | 影石创新科技股份有限公司 | 视觉目标跟踪方法、装置、设备以及存储介质 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105976400B (zh) * | 2016-05-10 | 2017-06-30 | 北京旷视科技有限公司 | 基于神经网络模型的目标跟踪方法及装置 |
| CN108874269B (zh) * | 2017-05-12 | 2020-12-29 | 北京臻迪科技股份有限公司 | 一种目标跟踪方法、装置及系统 |
| CN110785995A (zh) * | 2018-09-04 | 2020-02-11 | 深圳市大疆创新科技有限公司 | 拍摄控制方法、装置、设备及存储介质 |
| CN110555867B (zh) * | 2019-09-05 | 2023-07-07 | 杭州智爱时刻科技有限公司 | 一种融合物体捕获识别技术的多目标物体跟踪方法 |
-
2020
- 2020-03-27 CN CN202080004950.5A patent/CN112639815A/zh active Pending
- 2020-03-27 WO PCT/CN2020/081786 patent/WO2021189448A1/zh active Application Filing
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113824881A (zh) * | 2021-09-18 | 2021-12-21 | 北京万达文旅规划设计院有限公司 | 一种室内滑雪场目标跟拍方法、系统及服务器 |
| CN115103109A (zh) * | 2022-06-07 | 2022-09-23 | 抖音视界(北京)有限公司 | 自由视角的视频拍摄方法、设备、存储介质及程序产品 |
| WO2024012367A1 (zh) * | 2022-07-11 | 2024-01-18 | 影石创新科技股份有限公司 | 视觉目标跟踪方法、装置、设备以及存储介质 |
| CN115963856A (zh) * | 2023-01-03 | 2023-04-14 | 广东工业大学 | 一种四旋翼无人机快速目标跟踪方法 |
| CN115963856B (zh) * | 2023-01-03 | 2024-05-10 | 广东工业大学 | 一种四旋翼无人机快速目标跟踪方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021189448A1 (zh) | 2021-09-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112639815A (zh) | 目标跟踪方法、目标跟踪装置、可移动平台和存储介质 | |
| US10339386B2 (en) | Unusual event detection in wide-angle video (based on moving object trajectories) | |
| JP4971191B2 (ja) | 映像フレーム内におけるスプリアス領域の識別 | |
| Gabriel et al. | The state of the art in multiple object tracking under occlusion in video sequences | |
| EP1859411B1 (en) | Tracking objects in a video sequence | |
| US8073197B2 (en) | Method of tracking objects in a video sequence | |
| US8611591B2 (en) | System and method for visually tracking with occlusions | |
| KR100879623B1 (ko) | Ｐｔｚ 카메라를 이용한 자동화된 광역 감시 시스템 및 그방법 | |
| JP2002522980A (ja) | 複数カメラシステム中の画像追跡 | |
| WO2014136623A1 (en) | Method for detecting and tracking objects in sequence of images of scene acquired by stationary camera | |
| JP3644668B2 (ja) | 画像監視装置 | |
| AU2021255130B2 (en) | Artificial intelligence and computer vision powered driving-performance assessment | |
| CN108734091A (zh) | 车厢异常行为检测方法、计算机装置和计算机可读存储介质 | |
| CN110969118A (zh) | 轨迹监控系统和方法 | |
| CN103167270A (zh) | 人员头部拍摄方法、系统及服务器 | |
| CN112947419A (zh) | 避障方法、装置及设备 | |
| CN114930393A (zh) | 多个群的无人机捕获的系统 | |
| CN116342642A (zh) | 目标跟踪方法、装置、电子设备及可读存储介质 | |
| KR20200071842A (ko) | 어라운드 뷰 모니터링 시스템 및 가용 주차 공간 검출 방법 | |
| CN116012609A (zh) | 一种环视鱼眼多目标跟踪方法、装置、电子设备及介质 | |
| JP2726180B2 (ja) | 相関追尾装置 | |
| CN111355940A (zh) | 避免光源致人眩晕 | |
| CN115294508B (zh) | 一种基于静态空间三维重构的跟焦方法、系统及摄像系统 | |
| CN114924595A (zh) | 无人机群越障方法及控制系统、电子设备、存储介质 | |
| CN115103105A (zh) | 拍摄控制方法、电子设备、存储介质及计算机程序产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |