CN112640419B - 跟随方法、可移动平台、设备和存储介质 - Google Patents
跟随方法、可移动平台、设备和存储介质 Download PDFInfo
- Publication number
- CN112640419B CN112640419B CN202080004200.8A CN202080004200A CN112640419B CN 112640419 B CN112640419 B CN 112640419B CN 202080004200 A CN202080004200 A CN 202080004200A CN 112640419 B CN112640419 B CN 112640419B
- Authority
- CN
- China
- Prior art keywords
- image
- target object
- processor
- following frame
- acquiring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 79
- 238000002372 labelling Methods 0.000 claims abstract description 7
- 230000015654 memory Effects 0.000 claims description 17
- 238000001514 detection method Methods 0.000 claims description 16
- 238000004422 calculation algorithm Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 10
- 230000004927 fusion Effects 0.000 claims description 8
- 230000008569 process Effects 0.000 abstract description 20
- 230000000694 effects Effects 0.000 abstract description 18
- 238000013507 mapping Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000007500 overflow downdraw method Methods 0.000 description 2
- 239000003381 stabilizer Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
一种跟随方法、可移动平台、设备和存储介质，可移动平台可以获取不同图像采集设备采集到的不同视场角的第一图像和第二图像。若识别出第一图像中包含目标物，则表明第一图像对目标物跟随成功，此时，可移动平台会对目标物对第一图像中的位置进行标注，再将标注结果映射到第二图像中，以确定目标物在第二图像中的位置。由于第一图像和第二图像的视场角不同，因此，上述方法也即是实现了从不同角度对目标物的跟随，使得目标跟随的效果更佳丰富。另外，目标物在第二图像中的位置是以目标物在第一图像中的位置为依据确定的，使得目标物在第二图像中实现跟随的过程更为简便、快速，保证了跟随效果。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种跟随方法、可移动平台、设备和存储介质。
背景技术
智能跟随是一种以智能设备配置有的传感器采集到的传感数据作为输入，在对传感视野中的某个物体进行指定后，自动持续对其进行锁定跟随的技术。这种跟随技术经常应用于视频拍摄领域，则上述的传感数据即为摄像头拍得的图像。通过具有跟随功能的智能设备的使用，一方面能够让拍摄画面呈现出更独特的角度，另一方面也能解放用户的双手，让拍摄更加轻松自如。其中，智能设备具体来说可以是可移动平台，比如无人机、无人车、手持稳定器等等。
现有技术中，目标物的跟随通常都是由智能设备上配置的单摄像头实现的。对于一些配置有双摄像头的智能设备，如何使用此双摄像头实现目标物跟随就成为一个亟待解决的问题。
发明内容
本发明提供了一种跟随方法、可移动平台、设备和存储介质，用于实现目标物的跟随。
本发明的第一方面是为了提供一种跟随方法，所述方法包括：
获取不同图像采集设备各自采集的第一图像和第二图像，所述第一图像与所述第二图像对应于不同的视场角；
若所述第一图像对目标物跟随成功，则标注所述目标物在所述第一图像中的位置；
根据所述目标物在所述第一图像中的位置标注所述目标物在所述第二图像中的位置，以成功跟随所述目标物。
本发明的第二方面是为了提供一种可移动平台，所述移动平台至少包括：机体、动力系统、图像采集装置以及控制装置；
所述动力系统，设置于所述机体上，用于为所述可移动平台提供动力；
所述图像采集装置，设置于所述机体上，用于采集图像；
所述控制装置包含存储器和处理器；
所述存储器，用于存储计算机程序；
所述处理器，用于运行所述存储器中存储的计算机程序以实现：
获取不同图像采集设备各自采集的第一图像和第二图像，所述第一图像与所述第二图像对应于不同的视场角；
若所述第一图像对目标物跟随成功，则标注所述目标物在所述第一图像中的位置；
根据所述目标物在所述第一图像中的位置标注所述目标物在所述第二图像中的位置，以成功跟随所述目标物。
本发明的第三方面是为了提供一种跟随设备，所述设备包括：
存储器，用于存储计算机程序；
处理器，用于运行所述存储器中存储的计算机程序以实现：
获取不同图像采集设备各自采集的第一图像和第二图像，所述第一图像与所述第二图像对应于不同的视场角；
若所述第一图像对目标物跟随成功，则标注所述目标物在所述第一图像中的位置；
根据所述目标物在所述第一图像中的位置标注所述目标物在所述第二图像中的位置，以成功跟随所述目标物。
本发明的第四方面是为了提供一种计算机可读存储介质，所述存储介质为计算机可读存储介质，该计算机可读存储介质中存储有程序指令，所述程序指令用于第一方面所述的跟随方法。
本发明提供的跟随方法，可移动平台上配置有多个图像采集设备，每个设备具有不同的视场角。基于此，可移动平台可以获取不同图像采集设备采集到的具有不同视场角的第一图像和第二图像。若可移动平台确定第一图像中包含目标物，表明第一图像对目标物跟随成功，则会对目标物对第一图像中的位置进行标注，再将此标注结果映射到第二图像中，以确定目标物在第二图像中的位置，从而实现目标物的跟随。
可见，上述方法适用于具有多个图像采集设备的可移动平台。并且由于第一图像和第二图像具有不同的视场角，因此，上述方法也即是实现了从不同视角对目标物的跟随，使得目标跟随的效果更佳丰富。另外，目标物在第二图像中的位置是以目标物在第一图像中的位置为依据映射得到的，从而使得目标物在第二图像中实现跟随的过程更为简洁、快速，保障了跟随效果。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本发明实施例提供的一种跟随方法的流程示意图；
图2a为当第一图像对应的视场角小于第二图像对应的视场角时，可移动平台展示的跟随结果；
图2b为当第一图像对应的视场角大于第二图像对应的视场角时，可移动平台展示的跟随结果；
图2c为当第一图像对应的视场角小于第二图像对应的视场角时，可移动平台展示的融合后跟随结果；
图3为本发明实施例提供的另一种跟随方法的流程示意图；
图4为本发明实施例提供的又一种跟随方法的流程示意图；
图5a为本发明实施例提供的一种确定第三图像对目标物是否跟随成功的方式的流程示意图；
图5b为本发明实施例提供的另一种确定第三图像对目标物是否跟随成功的方式的流程示意图；
图6为本发明实施例提供的一种确定目标物在第二图像中的位置的方式的流程示意图；
图7为本发明实施例提供的一种跟随装置的结构示意图；
图8为本发明实施例提供的一种可移动平台的结构示意图；
图9为本发明实施例提供的一种跟随设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。
在对本发明实施例提供的跟随方法进行详细介绍之前，先对可移动平台对目标物的跟随进行简单介绍。其中，上述的可移动平台可以是无人机、无人车、无人船、稳定器等等。在此以无人机为例进行说明：
无人机已经应用于众多领域中，比如娱乐、监控、安防等领域。并且在这些领域中，往往都具有跟随运动环境中一目标物的需求，比如用户在一环境中运动时，可以有希望记录自己整个运动过程的需求。此时，无人机可以对用户自身进行跟随，以拍摄到用户整个的运动过程。再比如，车辆的行驶过程中，可以有对此车辆的行驶状态进行实时监控的需求。此时，无人机可以在距离车辆一定高度的空中拍摄此车辆，以得到其的行驶轨迹。
对于车辆的跟随，现有的方式是无人机在一定飞行高度上飞行并使用自身配置的单一摄像头拍得图像，通过对拍得图像的分析来实现车辆的跟随。而在实际应用中，一方面，可以有同时需要得到车辆的细节信息比如具体的车牌号等，以及车辆整体行驶轨迹的情况。此时，仅使用单一图像不能同时得到车辆细节和整体的信息。另一方面，由于车辆行驶环境的复杂性很有可能出现跟随失败的情况。也就是说，在使用单一摄像头拍得的图像进行车辆跟随的过程中，无人机不能保证自身对车辆总是跟随成功。
则在出现上述情况时，便可以使用本发明提供的下述实施例的跟随方法以克服上述缺陷，保证跟随效果。
下面结合附图，对本发明的一些实施方式作详细说明。在各实施例之间不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
图1为本发明实施例提供的一种跟随方法的流程示意图。该跟随方法的执行主体是跟随装置。可以理解的是，该跟随装置可以实现为软件、或者软件和硬件的组合。跟随装置执行该跟随方法则可以实现对目标物的跟随。本实施例以及下述各实施例中的跟随装置具体来说可以是无人机、无人车、无人船等等。可以以无人机为例对本实施以及下述各实施例提供的方法进行说明。具体的，该方法可以包括：
S101，获取不同图像采集设备各自采集的第一图像和第二图像，第一图像与第二图像对应于不同的视场角。
无人机在空中飞行时，其自身配置的多个图像采集设备可以分别采集视频流，可选地，图像采集设备可以是摄像头。可选地，与图像采集设备的数量有关的，无人机可以将设备采集到的视频流分别投影到不同的显示屏幕上，也可以投影于一个屏幕上，由此屏幕同时显示两路视频流。
为了保证后续描述的清晰，可以对图像采集设备和采集到的图像进行以下规定：无人机上配置有第一图像采集设备，其用于采集第一视频流，其中的任一帧图像即为第一图像；无人机上还配置由第二图像采集设备，用于此采集第二视频流，以得到的第二图像，当然第一图像和第二图像需要对应于相同的采集时间。并且，两图像采集设备具有不同的视场角，也即是第一图像和第二图像也对应于不同的视场角。
S102，若第一图像对目标物跟随成功，则标注目标物在第一图像中的位置。
然后，无人机可以根据自身配置的目标检测算法检测第一图像中是否包含目标物。若图像中包括目标物，表明第一图像对此目标物跟随成功，则目标物在第一图像中的位置会被标注出来。从用户角度来看，在第一图像中的目标物会被标注于第一跟随框中。可选地，上述目标检测算法可以是基于孪生网络结构的深度学习检测算法，当然也可以是其他任意一种检测算法。
S103，根据目标物在第一图像中的位置标注目标物在第二图像中的位置，以成功跟随目标物。
在确定出目标物在第一图像中的位置的基础上，还可以根据第一图像和第二图像各自像素点的像素坐标之间的对应关系确定目标物在第二图像中的位置，此时认为第二图像对目标物跟随成功。上述过程可以理解成是通过像素坐标之间的对应关系，实现将第一跟随框映射到第二图像中，以得到第二跟随框。同样的，从用户角度来看，目标物会用第二跟随框标注于第二图像中。
其中，上述提及的像素坐标之间存在对应关系的原因可以进行以下说明：
在实际应用中，可选地，两图像采集设备可以固定于同一承载设备比如云台上，也可不分别固定于各自的承载设备上，但此时两承载设备通常具有相同的拍摄姿态，比如拍摄角度。无论是上述哪种情况，假设第一图像采集设备的视场角大于第二图像采集设备，此时，拍得的第一图像中包含的内容是第二图像中的部分内容。反之，第二图像中包含的内容是第一图像中的部分内容。正是由于内容的包含关系，才会使图像中像素点的像素坐标之间存在对应关系。
需要说明的有，相比于使用检测算法确定目标物在图像中的位置，使用上述这种映射的方式，可以使得目标物的识别过程有更小的计算量，减小无人机处理资源的浪费。
最终，用户能在屏幕上同时看到包含第一跟随框的第一图像以及包含第二跟随框的第二图像。
举例来说，第一图像具有的视场角小于第二图像具有的视场角，此时，用户可以通过第一图像了解到目标物的细节信息，通过第二图像了解目标物在整个运动环境中的位置，也即是同时得到了目标物整体和细节两方面的信息，实现了对目标物多角度的跟随。此时，用户看到的内容可以如图2a所示。
当然，当第一图像的视场角大于第二图像的视场角时，用户看到的内容可以如图2b所示。
本实施例中，可移动平台可以获取不同图像采集设备采集到的不同视场角的第一图像和第二图像。若识别出第一图像中包含目标物，则表明第一图像对目标物跟随成功，此时，可移动平台会对目标物在第一图像中的位置进行标注，再将标注结果映射到第二图像中，以确定目标物在第二图像中的位置。由于第一图像和第二图像的视场角不同，因此，上述方法也即是实现了从不同角度对目标物的跟随，使得目标跟随的效果更佳丰富。另外，目标物在第二图像中的位置是以目标物在第一图像中的位置为依据确定的，使得目标物在第二图像中实现跟随的过程更为简便、快速，保证了跟随效果。
在实际应用中，可选地，还可以对上述跟随过程中得到的第一跟随框和第二跟随框进行融合，以将融合后的跟随框标注于第一图像以及第二图像中，以实现目标物的成功跟随。
具体来说，可以根据第一跟随框和第二跟随框各种的属性参数来对二者进行融合。具体融合的方法很多，可以根据场景选择不同的融合方式。一种可选地方式：可以先根据跟随框的属性参数确定跟随框各自的权重系数，在以权重系数为比例系数将两个跟随框各自对应属性参数线性相加。其中，跟随框的属性参数可以包括：跟随框的中心点所在像素点对应的像素坐标,跟随框的宽和高，跟随框的置信度等等。
具体来说，第一跟随框可以表示为box1＝(x1,y1,w1,h1)；第二跟随框可以表示为：box2＝(x2,y2,w2,h2)。则融合后的跟随框可以表示为：
box3＝k1*box1+k2*box2。
其中，(x1,y1)为第一跟随框的中心点，w1、h1分别为其的宽和高；(x2,y2)为第二跟随框的中心点，w2、h2分别为其的宽和高。k1＝score1/(score1+score2)为第一跟随框的权重系数，k2＝1-k1为第二跟随框的权重系数，score1为第一跟随框的置信度，score2为第二跟随框的置信度。
举例来说，当第一图像对应的视场角小于第二图像对应的视场角时，采用上述融合方式进行融合后，从用户角度可以看到如图2b所示的内容。
虽然上述实施例已经能够实现在不同的视角下进行目标物跟随，但其并没有限定第一图像和第二图像各自对应的视场角之间的大小关系。在实际应用中，可以存在第一图像对应的视场角小于第二图像对应的视场角的情况。
在这种情况下，为了给用户提供最佳的跟随体验，容易理解的，目标物在画面中的位置、大小通常需要满足一定的条件，以使用户能够清晰、全面地看到目标物。因此，图3为本发明实施例提供的另一种跟随方法的流程示意图，如图3所示，在步骤103之后，该跟随方法还可以包括以下步骤：
S201，若目标物在第一图像中的位置不位于第一图像中的预设区域内，则调整采集第一图像的第一图像采集设备的拍摄参数。
在经过步骤103后，已经将目标物标注于第一图像的第一跟随框内了，此时，若目标物在第一图像中的位置不位于第一图像中的预设区域，也即是第一跟随框未全部包含于预设区域内或者第一跟随框与预设区域的重合比例低于预设阈值，则表明目标物此时处于整个画面中的边缘位置，说明采集第一图像的第一图像采集设备当前的拍摄参数存在问题，其中，拍摄参数可以是设备的拍摄角度。
具体地，在实际应用中，虽然图像采集设备的镜头通常是不能转动的，但图像采集设备可以放置于能够转动的承载设备上，此时，则可以根据包含目标物的第一跟随框在第一图像中的位置与预设区域之间的位置关系，来调整承载设备的姿态，从而间接实现图像采集设备的拍摄拍摄角度。对于无人机来说，上述的承载设备即为云台。
举例来说，当第一跟随框相比于预设区域偏左，则控制云台向右运动以使得图像采集设备的拍摄角度向右偏转，反之向左偏转。当包含目标物的第一跟随框相比于预设区域偏上，则控制云台向下运动以使得图像采集设备的拍摄角度向右偏转，反之向上偏转。
S202，若目标物在第一图像中的尺寸不满足预设尺寸，则调整第一图像采集设备的拍摄参数。
目标物在图像中的尺寸可以用第一跟随框的尺寸来表示，此时，若目标物在第一图像中的尺寸不满足预设尺寸，也即是即第一跟随框的尺寸过大或过小，表明目标物的跟随效果欠佳，则可以对第一图像采集设备的拍摄参数进行调整，此时的拍摄参数可以是图像采集设备的焦距。
具体来说，可以先获取预先设置的与预设尺寸对应的目标焦距，再将图像采集设备的焦距调整为此目标焦距即可。
上述两步骤也即是分别从两方面完成了对第一图像采集设备的拍摄参数的调整，在后续根据第一图像采集设备采集的图像进行跟随的过程中，可以使目标物在图像中的位置和尺寸都符合最佳跟随效果的要求。
S203，若目标物在第二图像中的位置不位于第二图像中的预设区域，则调整采集第二图像的第二图像采集设备的拍摄参数。
与步骤201中的描述类似的，若目标物在第二图像中的位置不位于第二图像中的预设区域，也即是第二跟随框未全部包含于预设区域内或者第二跟随框与预设区域的重合比例低于预设阈值，则表明目标物处于整个画面中的边缘位置，此时，需要对第二图像采集设备的拍摄角度进行调整。
同样地，可以对放置有第二图像采集设备的承载设备的姿态进行调整，从而间接实现图像采集设备的拍摄拍摄角度。而云台姿态的具体调整方式可以参见步骤201中的相关描述，在此不再赘述。
上述步骤也即是完成了对第二图像采集设备的拍摄参数的调整，以使得第二图像采集设备在后续跟随过程中，目标物在图像中的位置和尺寸都符合最佳跟随效果的要求。
需要说明的有，对于上述步骤201～步骤203均是调整图像采集设备的拍摄参数的过程。实际应用中，上述步骤可以根据情况选择执行。同时上述也只是一种示意的执行方式，本发明并不限定执行的先后顺序，三者的执行顺序可以随意排列。
需要说明的还有，在本实施例这种第一图像视场角小于第二图像视场角的情况下，无人机中的第一图像采集设备可以是视场角较小的变焦镜头，第二图像采集设备可以是不具有变焦能力的广角镜头。因此，也就不存在对调整第二图像采集设备的焦距的步骤。
本实施例中，通过对两个图像采集设备的拍摄参数进行调整，从而保证在其后续拍得的图像中，目标物在图像中的位置和尺寸较为适中，能够使得跟随效果更佳。
需要说明的还有，当处于第一图像对应的视场角大于第二图像对应的视场角的情况时，若目标物在第一图像或第二图像中的位置和/或尺寸不满足预设条件，则也可以对图像采集设备的拍摄参数进行调整，具体地调整方式与图3所示实施例中的相关描述类似，在此不再赘述。
上述各实施例都是目标物跟随成功的情况，而上述描述中也提到了在实际应用中，由于目标物运动的随机性以及无人机飞行的不稳定，还有可能出现目标物跟随失败的情况。则在第一图像对应的视场角小于第二图像对应的视场角的情况下，图4为本发明实施例提供的又一种跟随方法的流程示意图，如图4所示，该跟随方法还可以包括以下步骤：
S301，获取不同图像采集设备各自采集的第一图像和第二图像，第一图像与第二图像对应于不同的视场角。
上述步骤301的执行过程与前述实施例的相应步骤相似，可以参见如图1所示实施例中的相关描述，在此再不赘述。
S302，若第一图像对目标物跟随失败，则获取目标物在跟随成功的历史图像中的位置，历史图像和第一图像由同一图像采集设备采集。
若无人机根据自身的目标检测算法未检测到第一图像中存在目标物体，表明第一图像对目标物跟随失败，表明目标物已经运动至第一图像采集设备的拍摄视野外，则无人机会获得获取目标物在历史图像中的位置。其中，此历史图像是对目标物体跟随成功的图像，并且也是由第一图像采集设备采集的。同时，考虑到目标物运动的随机性，可选地，历史图像的拍摄时间应该与第一图像的拍摄时间越接近越好。
S303，根据目标物在历史图像中的位置标注目标物在第二图像中的位置。
然后，根据目标物在历史图像中的位置来将目标物标注于跟随框内。此过程与图1所示实施例中将第一跟随框映射到第二图像中得到第二跟随框的过程相似，具体过程在此不再赘述。
由于第二图像是广角图像采集设备拍摄的，因此，可以认为第二图像中是始终包含目标物的。而当出现步骤302中跟随失败的情况时，通过执行上述步骤，目标物也能够被标注于第二图像中，也即是实现了在第一图像对目标物跟随失败的情况下，第二图像也会对目标物的成功跟随的效果。此时，用户还是可以从广角的第二图像中得到目标物的整体信息。
本实施例中，通过两个图像采集设备的结合使用，当其中一设备无法实现目标跟随时，另一设备还可以继续进行辅助跟随，以保证用户在何种情况下都可以观看到目标物的运动情况。
对于当前已经不能实现目标物跟随的第一图像采集设备，还可以通过对其的拍摄参数进行调整，以使目标物重新回到其的拍摄视野内，使无人机可以重新根据第一图像采集设备拍摄的图像实现目标物跟随。因此，在步骤303之后，还可执行以下步骤：
S304，根据目标物在第二图像中的位置调整采集第一图像的第一图像采集设备的拍摄参数。
可选地，可以根据目标物在第二图像中的位置调整第一图像采集设备的拍摄参数，具体来说就是调整图像采集设备的拍摄角度。而角度的调整又可以通过调整放置第一图像采集设备的承载设备即云台的拍摄姿态的来实现。
举例来说，当目标物在整个第二图像的偏右位置，则控制云台向右运动，以使图像采集设备的拍摄角度向右偏转，反之向左偏转。当目标物在整个第二图像的偏上位置，则控制云台向上运动，以使图像采集设备的拍摄角度向上偏转，反之向下偏转。
可选地，还可以根据目标物在历史图像中的位置调整承载第一图像采集设备的云台的姿态，从而实现调整第一图像采集设备的拍摄角度的效果。
与上述举例类似的，当目标物在整个历史图像的偏右位置，则控制云台向右运动，以使图像采集设备的拍摄角度向右偏转，反之向左偏转。当目标物在整个历史图像的偏上位置，则控制云台向上运动，以使图像采集设备的拍摄角度向上偏转，反之向下偏转。
当然也可以结合上述两方面对第一图像采集设备的拍摄参数进行调整。
本实施例中，当第一图像对目标物跟随失败时，还可以对第一图像采集设备的拍摄参数进行调整，以使目标物能够重新回到图像采集设备的拍摄视野中，使图像采集设备后续采集到的图像能够重新成功跟随上目标物。
经过上述步骤304之后，第一图像采集设备的拍摄参数已经被调整，为了保证描述的清晰，可以将拍摄参数调整后第一图像采集设备拍摄的图像称为第三图像。此时，无人机会进一步判断此第三图像中是否包含目标物，也即是确定目标物是否成功回到拍摄视野内，即第三图像对目标物是否跟随成功。一种可选地确定方式，如图5a所示，可以包括以下步骤：
S401，若第一图像对目标物跟随失败，则根据预设检测算法确定第三图像中的目标区域，第三图像与第一图像由同一图像采集设备采集，且拍摄时间晚于第一图像的拍摄时间。
S402，提取目标区域的第一特征以及跟随成功的历史图像中目标物所在区域的第二特征。
S403，计算第一特征与第二特征之间的相似度。
S404，若相似度满足预设阈值，则确定所述第三图像对所述目标物跟随成功。
具体来说，对于第一图像采集设备拍摄的第三图像，无人机可以根据自身配置的预设检测算法在第三图像中确定一个目标区域，此目标区域可以认为是检测算法识别出的包含目标物的区域。但为了更准确地确定出第三图像是否真正对目标物跟随成功，无人机还可以进行以下确认过程：
先提取目标区域的第一特征，提取对目标物跟随成功的历史图像中目标物所在区域的第二特征。其中，历史图像中目标物所在区域也即为跟随框所在的区域，并且第二特征对应的历史图像的拍摄时间也应该与第三图像的拍摄时间越接近越好。
再计算第一特征和第二特征之间的相似度。若相似度满足预设阈值，可以认为目标区域以及历史图像中目标物所在区域中包含的物体相同，都是目标物，则确定第三图像对目标物跟随成功，即目标物重新回归到第一图像采集设备的拍摄视野内。
另一种可选地确定方式，如图5b所示，可以包括以下步骤：
S405，若第一图像对目标物跟随失败，则根据目标物在跟随成功的历史图像中的位置确定第三图像中的目标区域，第三图像与历史图像由同一图像采集设备采集。
无人机先得到目标物在跟随成功的历史图像中的位置，然后通过映射的方式在第三图像中得到一个区域。具体的映射过程可以参见如图1所示实施例步骤103中的相关描述，在此不再赘述。可选地，可以将映射后得到的区域直接确定为目标区域，也可以将映射后得到的区域适当放大预设倍数，并将放大后的区域确定为目标区域。
S406，若目标区域内包含目标物，则确定第三图像对目标物跟随成功。
之后，无人机可以根据预设检测算法在此目标区域中识别是否存在目标物。若存在目标物，则确定第三图像对目标物跟随成功。
上述两实施例提供不同的确定第三图像是否对目标物跟随成功的方式，可以根据实际需求择一使用。并且需要说明的有，图5a所示方式通常适用于目标物为人物的情况，图5a所示方式通常适用于目标物为普通物体的情况。
在上述各实施例中，都存在根据目标物在第一图像中的位置确定目标物在第二图像中的位置的步骤，如图6所示，一种可选地实现方式可以为：
S501，获取包含第一跟随框的标注后第一图像，目标物被标注于第一跟随框内。
S502，在标注后第一图像中，确定第一跟随框所在图像区域对应的第一像素坐标。
S503，将第一像素坐标转换为第二像素坐标。
目标物在第一图像中被标注于第一跟随框内后，便可以得到此第一跟随框在第一图像中所在的图像区域内各像素点对应的第一像素坐标。然后，可选地，再获取第一图像采集设备和第二图像采集设备各自的参数矩阵，并根据参数矩阵将第一像素坐标转换为第二像素坐标。
假设，第一图像对应的视场角小于第二图像对应的视场角，此时，第一图像对应的第一像素坐标可以表示为：
则第二像素坐标可以表示为：
其中，P1、P2分别为第一图像采集设备和第二图像采集设备的参数矩阵，z1、z2为第一图像采集设备和第二图像采集设备分别到目标物的距离，实际应用中，由于两采集设备是十分紧密的配置于无人机上的，因此可以认为z1＝z2。
相反，假设第一图像对应的视场角大于第二图像对应的视场角，则第一图像对应的第一像素坐标可以表示为：
则第二像素坐标可以表为:
S504，对第二图像中具有第二像素坐标的像素点进行标注，以得到包含第二跟随框的标注后第二图像，目标物被标注于第二跟随框。
最后，转换后的第二像素坐标也即是第二图像中第二跟随框所对应的像素坐标，因此也就实现了将目标物标注于第二图像中的效果。
本实施例提供了一种将第一跟随框映射到第二图像，以得到第二跟随框的方式，从而在不同视角的图像都实现了目标物的跟随，使得跟随效果更加丰富。
图7为本发明实施例提供的一种跟随装置的结构示意图；参考附图7所示，本实施例提供了一种跟随装置，该跟随装置可以执行上述的跟随方法；具体的，跟随装置包括：
获取模块11，用于获取不同图像采集设备各自采集的第一图像和第二图像，所述第一图像与所述第二图像对应于不同的视场角。
第一标注模块12，用于若所述第一图像对目标物跟随成功，则标注所述目标物在所述第一图像中的位置。
第二标注模块13，用于根据所述目标物在所述第一图像中的位置标注所述目标物在所述第二图像中的位置，以成功跟随所述目标物。
图8所示装置还可以执行图1～图6所示实施例的方法，本实施例未详细描述的部分，可参考对图1～图6所示实施例的相关说明。该技术方案的执行过程和技术效果参见图1～图6所示实施例中的描述，在此不再赘述。
图8为本发明实施例提供的一种可移动平台的结构示意图；参考附图8所示，本发明实施例的提供了一种可移动平台，该可移动平台为以下无人机、无人船、无人车等等。具体的，该可移动平台包括：机体21、图像采集装置22、动力系统23以及控制装置24。
所述图像采集装置22，设置于所述机体21上，用于采集图像。
所述动力系统23，设置于所述机21体上，用于为所述可移动平台提供动力。
所述控制装置24包括存储器241和处理器242。
所述存储器，用于存储计算机程序；
所述处理器，用于运行所述存储器中存储的计算机程序以实现：
获取雷达探测到的第一点云数据，所述雷达设于所述可移动平台上；
获取不同图像采集设备各自采集的第一图像和第二图像，所述第一图像与所述第二图像对应于不同的视场角；
若所述第一图像对目标物跟随成功，则标注所述目标物在所述第一图像中的位置；
根据所述目标物在所述第一图像中的位置标注所述目标物在所述第二图像中的位置，以成功跟随所述目标物。
进一步的，所述第一图像对应的视场角小于所述第二图像对应的视场角；处理器242还用于：若所述目标物在所述第一图像中的位置不位于所述第一图像中的预设区域内，则调整采集所述第一图像的第一图像采集设备的拍摄参数。
进一步的，处理器242还用于：根据所述目标物在所述第一图像中的位置与所述预设区域之间的位置关系，调整所述第一图像采集设备对应的承载设备的姿态。
进一步的，处理器242还用于：若所述目标物在所述第一图像中的尺寸不满足预设尺寸，则调整所述第一图像采集设备的拍摄参数。
进一步的，处理器242还用于：获取与所述预设尺寸对应的目标焦距；以及将所述第一图像采集设备的焦距调整为所述目标焦距。
进一步的，处理器242还用于：若所述目标物在所述第二图像中的位置不位于所述第二图像中的预设区域，则调整采集所述第二图像的第二图像采集设备的拍摄参数。
进一步的，所述第一图像对应的视场角小于所述第二图像对应的视场角；进一步的，处理器242还用于：若所述第一图像对所述目标物跟随失败，则获取所述目标物在跟随成功的历史图像中的位置，所述历史图像和所述第一图像由同一图像采集设备采集；
根据所述目标物在所述历史图像中的位置标注所述目标物在所述第二图像中的位置。
进一步的，处理器242还用于：根据所述目标物在所述第二图像中的位置调整采集所述第一图像的第一图像采集设备的拍摄参数。
进一步的，处理器242还用于：根据所述目标物在所述第二图像中的位置和/或所述目标物在所述历史图像中的位置，调整所述第一图像采集设备的承载设备的姿态。
进一步的，所述第一图像对应的视场角小于所述第二图像对应的视场角；处理器242还用于：若所述第一图像对所述目标物跟随失败，则根据预设检测算法确定第三图像中的目标区域，所述第三图像与所述第一图像由同一图像采集设备采集，且拍摄时间晚于所述第一图像的拍摄时间；
提取所述目标区域的第一特征以及跟随成功的历史图像中所述目标物所在区域的第二特征；
计算所述第一特征与所述第二特征之间的相似度；
若所述相似度满足预设阈值，则确定所述第三图像对所述目标物跟随成功。
进一步的，所述第一图像对应的视场角小于所述第二图像对应的视场角；处理器242还用于：若所述第一图像对所述目标物跟随失败，则根据所述目标物在跟随成功的历史图像中的位置确定第三图像中的目标区域，所述第三图像与所述历史图像由同一图像采集设备采集；
若所述目标区域内包含所述目标物，则确定所述第三图像对所述目标物跟随成功。
进一步的，处理器242还用于：获取包含第一跟随框的标注后第一图像，所述目标物被标注于所述第一跟随框内；
在所述标注后第一图像中，确定所述第一跟随框所在图像区域对应的第一像素坐标；
将所述第一像素坐标转换为第二像素坐标；
对所述第二图像中具有所述第二像素坐标的像素点进行标注，以得到包含第二跟随框的标注后第二图像，所述目标物被标注于所述第二跟随框。
进一步的，处理器242还用于：根据所述不同图像采集设备各自的参数矩阵，将所述第一像素坐标转换为第二像素坐标。
进一步的，处理器242还用于：对所述第一跟随框和所述第二跟随框进行融合；以及显示融合结果，以成功跟随所述目标物。
进一步的，处理器242还用于：获取所述第一跟随框和所述第二跟随框各自的属性参数；以及根据所述属性参数融合所述第一跟随框和所述第二跟随框。
图8所示的可移动平台可以执行图1～图6所示实施例的方法，本实施例未详细描述的部分，可参考对图1～图6所示实施例的相关说明。该技术方案的执行过程和技术效果参见图1～图6所示实施例中的描述，在此不再赘述。
在一个可能的设计中，图9所示跟随设备的结构可实现为一电子设备，该电子设备可以是无人机、无人车、无人船等等。如图9所示，该电子设备可以包括：一个或多个处理器31和一个或多个存储器32。其中，存储器32用于存储支持电子设备执行上述图1～图6所示实施例中提供的跟随方法的程序。处理器31被配置为用于执行存储器32中存储的程序。
具体的，程序包括一条或多条计算机指令，其中，一条或多条计算机指令被处理器31执行时能够实现如下步骤：
获取不同图像采集设备各自采集的第一图像和第二图像，所述第一图像与所述第二图像对应于不同的视场角；
若所述第一图像对目标物跟随成功，则标注所述目标物在所述第一图像中的位置；
根据所述目标物在所述第一图像中的位置标注所述目标物在所述第二图像中的位置，以成功跟随所述目标物。
其中，该跟随设备的结构中还可以包括通信接口33，用于电子设备与其他设备或通信网络通信。
进一步的，所述第一图像对应的视场角小于所述第二图像对应的视场角；处理器31可以用于执行：若所述目标物在所述第一图像中的位置不位于所述第一图像中的预设区域内，则调整采集所述第一图像的第一图像采集设备的拍摄参数。
进一步的，处理器31可以用于执行：根据所述目标物在所述第一图像中的位置与所述预设区域之间的位置关系，调整所述第一图像采集设备对应的承载设备的姿态。
进一步的，处理器31可以用于执行：若所述目标物在所述第一图像中的尺寸不满足预设尺寸，则调整所述第一图像采集设备的拍摄参数。
进一步的，处理器31可以用于执行：获取与所述预设尺寸对应的目标焦距；以及将所述第一图像采集设备的焦距调整为所述目标焦距。
进一步的，处理器31还用于执行：若所述目标物在所述第二图像中的位置不位于所述第二图像中的预设区域，则调整采集所述第二图像的第二图像采集设备的拍摄参数。
进一步的，所述第一图像对应的视场角小于所述第二图像对应的视场角；处理器31还用于执行：若所述第一图像对所述目标物跟随失败，则获取所述目标物在跟随成功的历史图像中的位置，所述历史图像和所述第一图像由同一图像采集设备采集；
根据所述目标物在所述历史图像中的位置标注所述目标物在所述第二图像中的位置。
进一步的，处理器31还用于执行：根据所述目标物在所述第二图像中的位置调整采集所述第一图像的第一图像采集设备的拍摄参数。
进一步的，处理器31还用于执行：根据所述目标物在所述第二图像中的位置和/或所述目标物在所述历史图像中的位置，调整所述第一图像采集设备的承载设备的姿态。
进一步的，所述第一图像对应的视场角小于所述第二图像对应的视场角；处理器31还用于执行：若所述第一图像对所述目标物跟随失败，则根据预设检测算法确定第三图像中的目标区域，所述第三图像与所述第一图像由同一图像采集设备采集，且拍摄时间晚于所述第一图像的拍摄时间；
提取所述目标区域的第一特征以及跟随成功的历史图像中所述目标物所在区域的第二特征；
计算所述第一特征与所述第二特征之间的相似度；
若所述相似度满足预设阈值，则确定所述第三图像对所述目标物跟随成功。
进一步的，所述第一图像对应的视场角小于所述第二图像对应的视场角；处理器31还用于执行：若所述第一图像对所述目标物跟随失败，则根据所述目标物在跟随成功的历史图像中的位置确定第三图像中的目标区域，所述第三图像与所述历史图像由同一图像采集设备采集；
若所述目标区域内包含所述目标物，则确定所述第三图像对所述目标物跟随成功。
进一步的，处理器31还用于执行：获取包含第一跟随框的标注后第一图像，所述目标物被标注于所述第一跟随框内；
在所述标注后第一图像中，确定所述第一跟随框所在图像区域对应的第一像素坐标；
将所述第一像素坐标转换为第二像素坐标；
对所述第二图像中具有所述第二像素坐标的像素点进行标注，以得到包含第二跟随框的标注后第二图像，所述目标物被标注于所述第二跟随框。
进一步的，处理器31还用于执行：根据所述不同图像采集设备各自的参数矩阵，将所述第一像素坐标转换为第二像素坐标。
进一步的，处理器31还用于执行：对所述第一跟随框和所述第二跟随框进行融合；以及显示融合结果，以成功跟随所述目标物。
进一步的，处理器31还用于执行：获取所述第一跟随框和所述第二跟随框各自的属性参数；以及根据所述属性参数融合所述第一跟随框和所述第二跟随框。
图9所示装置可以执行图1～图6所示实施例的方法，本实施例未详细描述的部分，可参考对图1～图6所示实施例的相关说明。该技术方案的执行过程和技术效果参见图1～图6所示实施例中的描述，在此不再赘述。
另外，本发明实施例提供了一种计算机可读存储介质，存储介质为计算机可读存储介质，该计算机可读存储介质中存储有程序指令，程序指令用于实现上述图1～图6的跟随方法。
以上各个实施例中的技术方案、技术特征在与本相冲突的情况下均可以单独，或者进行组合，只要未超出本领域技术人员的认知范围，均属于本申请保护范围内的等同实施例。
在本发明所提供的几个实施例中，应该理解到，所揭露的相关检测装置(例如：IMU)和方法，可以通过其它的方式实现。例如，以上所描述的遥控装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，遥控装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得计算机处理器(processor)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁盘或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (43)
1.一种跟随方法，其特征在于，所述方法包括：
获取不同图像采集设备各自采集的第一图像和第二图像，所述第一图像与所述第二图像对应于不同的视场角；
若所述第一图像对目标物跟随成功，则标注所述目标物在所述第一图像中的位置；
根据所述目标物在所述第一图像中的位置标注所述目标物在所述第二图像中的位置，以成功跟随所述目标物；
所述第一图像对应的视场角小于所述第二图像对应的视场角；所述方法还包括：
若所述第一图像对所述目标物跟随失败，则获取所述目标物在跟随成功的历史图像中的位置，所述历史图像和所述第一图像由同一图像采集设备采集；
根据所述目标物在所述历史图像中的位置标注所述目标物在所述第二图像中的位置。
2.根据权利要求1所述的方法，其特征在于，所述第一图像对应的视场角小于所述第二图像对应的视场角；所述方法还包括：
若所述目标物在所述第一图像中的位置不位于所述第一图像中的预设区域内，则调整采集所述第一图像的第一图像采集设备的拍摄参数。
3.根据权利要求2所述的方法，其特征在于，所述调整采集所述第一图像的第一图像采集设备的拍摄参数，包括：
根据所述目标物在所述第一图像中的位置与所述预设区域之间的位置关系，调整所述第一图像采集设备对应的承载设备的姿态。
4.根据权利要求2所述的方法，其特征在于，所述方法还包括：
若所述目标物在所述第一图像中的尺寸不满足预设尺寸，则调整所述第一图像采集设备的拍摄参数。
5.根据权利要求4所述的方法，其特征在于，所述调整所述第一图像采集设备的拍摄参数，包括：
获取与所述预设尺寸对应的目标焦距；
将所述第一图像采集设备的焦距调整为所述目标焦距。
6.根据权利要求2所述的方法，其特征在于，所述方法还包括：
若所述目标物在所述第二图像中的位置不位于所述第二图像中的预设区域，则调整采集所述第二图像的第二图像采集设备的拍摄参数。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据所述目标物在所述第二图像中的位置调整采集所述第一图像的第一图像采集设备的拍摄参数。
8.根据权利要求7所述的方法，其特征在于，所述根据所述目标物在所述第二图像中的位置调整采集所述第一图像的设备的拍摄参数，包括：
根据所述目标物在所述第二图像中的位置和/或所述目标物在所述历史图像中的位置，调整所述第一图像采集设备的承载设备的姿态。
9.根据权利要求1所述的方法，其特征在于，所述第一图像对应的视场角小于所述第二图像对应的视场角；所述方法还包括：
若所述第一图像对所述目标物跟随失败，则根据预设检测算法确定第三图像中的目标区域，所述第三图像与所述第一图像由同一图像采集设备采集，且拍摄时间晚于所述第一图像的拍摄时间；
提取所述目标区域的第一特征以及跟随成功的历史图像中所述目标物所在区域的第二特征；
计算所述第一特征与所述第二特征之间的相似度；
若所述相似度满足预设阈值，则确定所述第三图像对所述目标物跟随成功。
10.根据权利要求1所述的方法，其特征在于，所述第一图像对应的视场角小于所述第二图像对应的视场角；所述方法还包括：
若所述第一图像对所述目标物跟随失败，则根据所述目标物在跟随成功的历史图像中的位置确定第三图像中的目标区域，所述第三图像与所述历史图像由同一图像采集设备采集；
若所述目标区域内包含所述目标物，则确定所述第三图像对所述目标物跟随成功。
11.根据权利要求1所述的方法，其特征在于，所述根据所述目标物在所述第一图像中的位置标注所述目标物在所述第二图像中的位置，包括：
获取包含第一跟随框的标注后第一图像，所述目标物被标注于所述第一跟随框内；
在所述标注后第一图像中，确定所述第一跟随框所在图像区域对应的第一像素坐标；
将所述第一像素坐标转换为第二像素坐标；
对所述第二图像中具有所述第二像素坐标的像素点进行标注，以得到包含第二跟随框的标注后第二图像，所述目标物被标注于所述第二跟随框。
12.根据权利要求11所述的方法，其特征在于，所述将所述第一像素坐标转换为第二像素坐标，包括：
根据所述不同图像采集设备各自的参数矩阵，将所述第一像素坐标转换为第二像素坐标。
13.根据权利要求11所述的方法，其特征在于，所述方法还包括：
对所述第一跟随框和所述第二跟随框进行融合；
显示融合结果，以成功跟随所述目标物。
14.根据权利要求13所述的方法，其特征在于，所述对所述第一跟随框和所述第二跟随框进行融合，包括：
获取所述第一跟随框和所述第二跟随框各自的属性参数；
根据所述属性参数融合所述第一跟随框和所述第二跟随框。
15.一种可移动平台，其特征在于，所述平台包括：机体、动力系统、图像采集装置以及控制装置；
所述动力系统，设置于所述机体上，用于为所述可移动平台提供动力；
所述图像采集装置，设置于所述机体上，用于采集图像；
所述控制装置包括存储器和处理器；
所述存储器，用于存储计算机程序；
处理器，用于运行所述存储器中存储的计算机程序以实现：
获取不同图像采集设备各自采集的第一图像和第二图像，所述第一图像与所述第二图像对应于不同的视场角；
若所述第一图像对目标物跟随成功，则标注所述目标物在所述第一图像中的位置；
根据所述目标物在所述第一图像中的位置标注所述目标物在所述第二图像中的位置，以成功跟随所述目标物；
所述第一图像对应的视场角小于所述第二图像对应的视场角；
所述处理器还用于：若所述第一图像对所述目标物跟随失败，则获取所述目标物在跟随成功的历史图像中的位置，所述历史图像和所述第一图像由同一图像采集设备采集；
根据所述目标物在所述历史图像中的位置标注所述目标物在所述第二图像中的位置。
16.根据权利要求15所述的可移动平台，其特征在于，所述第一图像对应的视场角小于所述第二图像对应的视场角；
所述处理器还用于：若所述目标物在所述第一图像中的位置不位于所述第一图像中的预设区域内，则调整采集所述第一图像的第一图像采集设备的拍摄参数。
17.根据权利要求16所述的可移动平台，其特征在于，所述处理器还用于：根据所述目标物在所述第一图像中的位置与所述预设区域之间的位置关系，调整所述第一图像采集设备对应的承载设备的姿态。
18.根据权利要求16所述的可移动平台，其特征在于，所述处理器还用于：若所述目标物在所述第一图像中的尺寸不满足预设尺寸，则调整所述第一图像采集设备的拍摄参数。
19.根据权利要求18所述的可移动平台，其特征在于，所述处理器还用于：获取与所述预设尺寸对应的目标焦距；以及将所述第一图像采集设备的焦距调整为所述目标焦距。
20.根据权利要求16所述的可移动平台，其特征在于，所述处理器还用于：若所述目标物在所述第二图像中的位置不位于所述第二图像中的预设区域，则调整采集所述第二图像的第二图像采集设备的拍摄参数。
21.根据权利要求15所述的可移动平台，其特征在于，所述处理器还用于：根据所述目标物在所述第二图像中的位置调整采集所述第一图像的第一图像采集设备的拍摄参数。
22.根据权利要求21所述的可移动平台，其特征在于，所述处理器还用于：根据所述目标物在所述第二图像中的位置和/或所述目标物在所述历史图像中的位置，调整所述第一图像采集设备的承载设备的姿态。
23.根据权利要求15所述的可移动平台，其特征在于，所述第一图像对应的视场角小于所述第二图像对应的视场角；
所述处理器还用于：若所述第一图像对所述目标物跟随失败，则根据预设检测算法确定第三图像中的目标区域，所述第三图像与所述第一图像由同一图像采集设备采集，且拍摄时间晚于所述第一图像的拍摄时间；
提取所述目标区域的第一特征以及跟随成功的历史图像中所述目标物所在区域的第二特征；
计算所述第一特征与所述第二特征之间的相似度；
若所述相似度满足预设阈值，则确定所述第三图像对所述目标物跟随成功。
24.根据权利要求15所述的可移动平台，其特征在于，所述第一图像对应的视场角小于所述第二图像对应的视场角；
所述处理器还用于：若所述第一图像对所述目标物跟随失败，则根据所述目标物在跟随成功的历史图像中的位置确定第三图像中的目标区域，所述第三图像与所述历史图像由同一图像采集设备采集；
若所述目标区域内包含所述目标物，则确定所述第三图像对所述目标物跟随成功。
25.根据权利要求15所述的可移动平台，其特征在于，所述处理器还用于：获取包含第一跟随框的标注后第一图像，所述目标物被标注于所述第一跟随框内；
在所述标注后第一图像中，确定所述第一跟随框所在图像区域对应的第一像素坐标；
将所述第一像素坐标转换为第二像素坐标；
对所述第二图像中具有所述第二像素坐标的像素点进行标注，以得到包含第二跟随框的标注后第二图像，所述目标物被标注于所述第二跟随框。
26.根据权利要求25所述的可移动平台，其特征在于，所述处理器还用于：根据所述不同图像采集设备各自的参数矩阵，将所述第一像素坐标转换为第二像素坐标。
27.根据权利要求25所述的可移动平台，其特征在于，所述处理器还用于：对所述第一跟随框和所述第二跟随框进行融合；以及显示融合结果，以成功跟随所述目标物。
28.根据权利要求27所述的可移动平台，其特征在于，所述处理器还用于：获取所述第一跟随框和所述第二跟随框各自的属性参数；以及根据所述属性参数融合所述第一跟随框和所述第二跟随框。
29.一种跟随设备，其特征在于，所述跟随设备包括：
存储器，用于存储计算机程序；
处理器，用于运行所述存储器中存储的计算机程序以实现：
获取不同图像采集设备各自采集的第一图像和第二图像，所述第一图像与所述第二图像对应于不同的视场角；
若所述第一图像对目标物跟随成功，则标注所述目标物在所述第一图像中的位置；
根据所述目标物在所述第一图像中的位置标注所述目标物在所述第二图像中的位置，以成功跟随所述目标物；
所述第一图像对应的视场角小于所述第二图像对应的视场角；
所述处理器还用于：若所述第一图像对所述目标物跟随失败，则获取所述目标物在跟随成功的历史图像中的位置，所述历史图像和所述第一图像由同一图像采集设备采集；
根据所述目标物在所述历史图像中的位置标注所述目标物在所述第二图像中的位置。
30.根据权利要求29所述的设备，其特征在于，所述第一图像对应的视场角小于所述第二图像对应的视场角；
所述处理器还用于：若所述目标物在所述第一图像中的位置不位于所述第一图像中的预设区域内，则调整采集所述第一图像的第一图像采集设备的拍摄参数。
31.根据权利要求30所述的设备，其特征在于，所述处理器还用于：根据所述目标物在所述第一图像中的位置与所述预设区域之间的位置关系，调整所述第一图像采集设备对应的承载设备的姿态。
32.根据权利要求30所述的设备，其特征在于，所述处理器还用于：若所述目标物在所述第一图像中的尺寸不满足预设尺寸，则调整所述第一图像采集设备的拍摄参数。
33.根据权利要求32所述的设备，其特征在于，所述处理器还用于：获取与所述预设尺寸对应的目标焦距；以及将所述第一图像采集设备的焦距调整为所述目标焦距。
34.根据权利要求30所述的设备，其特征在于，所述处理器还用于：若所述目标物在所述第二图像中的位置不位于所述第二图像中的预设区域，则调整采集所述第二图像的第二图像采集设备的拍摄参数。
35.根据权利要求29所述的设备，其特征在于，所述处理器还用于：根据所述目标物在所述第二图像中的位置调整采集所述第一图像的第一图像采集设备的拍摄参数。
36.根据权利要求35所述的设备，其特征在于，所述处理器还用于：根据所述目标物在所述第二图像中的位置和/或所述目标物在所述历史图像中的位置，调整所述第一图像采集设备的承载设备的姿态。
37.根据权利要求29所述的设备，其特征在于，所述第一图像对应的视场角小于所述第二图像对应的视场角；
所述处理器还用于：若所述第一图像对所述目标物跟随失败，则根据预设检测算法确定第三图像中的目标区域，所述第三图像与所述第一图像由同一图像采集设备采集，且拍摄时间晚于所述第一图像的拍摄时间；
提取所述目标区域的第一特征以及跟随成功的历史图像中所述目标物所在区域的第二特征；
计算所述第一特征与所述第二特征之间的相似度；
若所述相似度满足预设阈值，则确定所述第三图像对所述目标物跟随成功。
38.根据权利要求29所述的设备，其特征在于，所述第一图像对应的视场角小于所述第二图像对应的视场角；
所述处理器还用于：若所述第一图像对所述目标物跟随失败，则根据所述目标物在跟随成功的历史图像中的位置确定第三图像中的目标区域，所述第三图像与所述历史图像由同一图像采集设备采集；
若所述目标区域内包含所述目标物，则确定所述第三图像对所述目标物跟随成功。
39.根据权利要求29所述的设备，其特征在于，所述处理器还用于：获取包含第一跟随框的标注后第一图像，所述目标物被标注于所述第一跟随框内；
在所述标注后第一图像中，确定所述第一跟随框所在图像区域对应的第一像素坐标；
将所述第一像素坐标转换为第二像素坐标；
对所述第二图像中具有所述第二像素坐标的像素点进行标注，以得到包含第二跟随框的标注后第二图像，所述目标物被标注于所述第二跟随框。
40.根据权利要求39所述的设备，其特征在于，所述处理器还用于：根据所述不同图像采集设备各自的参数矩阵，将所述第一像素坐标转换为第二像素坐标。
41.根据权利要求39所述的设备，其特征在于，所述处理器还用于：对所述第一跟随框和所述第二跟随框进行融合；以及显示融合结果，以成功跟随所述目标物。
42.根据权利要求41所述的设备，其特征在于，所述处理器还用于：获取所述第一跟随框和所述第二跟随框各自的属性参数；以及根据所述属性参数融合所述第一跟随框和所述第二跟随框。
43.一种计算机可读存储介质，其特征在于，所述存储介质为计算机可读存储介质，该计算机可读存储介质中存储有程序指令，所述程序指令用于实现权利要求1至14中任一项所述的跟随方法。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2020/077229 WO2021168809A1 (zh) | 2020-02-28 | 2020-02-28 | 跟随方法、可移动平台、设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112640419A CN112640419A (zh) | 2021-04-09 |
| CN112640419B true CN112640419B (zh) | 2022-07-05 |
Family
ID=75291191
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202080004200.8A Expired - Fee Related CN112640419B (zh) | 2020-02-28 | 2020-02-28 | 跟随方法、可移动平台、设备和存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN112640419B (zh) |
| WO (1) | WO2021168809A1 (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114332779A (zh) * | 2022-03-15 | 2022-04-12 | 云丁网络技术(北京)有限公司 | 一种对目标物进行监控的方法及相关设备 |
| CN115037877A (zh) * | 2022-06-08 | 2022-09-09 | 湖南大学重庆研究院 | 自动跟随方法、装置以及安全监测方法、装置 |
| CN117896626B (zh) * | 2024-03-15 | 2024-05-14 | 深圳市瀚晖威视科技有限公司 | 多摄像头检测运动轨迹的方法、装置、设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101777185A (zh) * | 2009-12-09 | 2010-07-14 | 中国科学院自动化研究所 | 融合描述式和判别式建模的目标跟踪方法 |
| CN105374050A (zh) * | 2015-10-12 | 2016-03-02 | 浙江宇视科技有限公司 | 运动目标跟踪恢复方法及装置 |
| CN109117721A (zh) * | 2018-07-06 | 2019-01-01 | 江西洪都航空工业集团有限责任公司 | 一种行人徘徊检测方法 |
| CN109981972A (zh) * | 2017-12-27 | 2019-07-05 | 深圳市优必选科技有限公司 | 一种机器人的目标跟踪方法、机器人及存储介质 |
| CN110446014A (zh) * | 2019-08-26 | 2019-11-12 | 深圳前海达闼云端智能科技有限公司 | 一种监控方法、监控设备及计算机可读存储介质 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8497905B2 (en) * | 2008-04-11 | 2013-07-30 | nearmap australia pty ltd. | Systems and methods of capturing large area images in detail including cascaded cameras and/or calibration features |
| CN102779347B (zh) * | 2012-06-14 | 2014-08-06 | 清华大学 | 一种用于飞行器的目标跟踪与定位方法和装置 |
| US9912857B2 (en) * | 2013-04-05 | 2018-03-06 | Andra Motion Technologies Inc. | System and method for controlling an equipment related to image capture |
| US10538326B1 (en) * | 2016-08-31 | 2020-01-21 | Amazon Technologies, Inc. | Flare detection and avoidance in stereo vision systems |
| CN108200339A (zh) * | 2017-12-29 | 2018-06-22 | 北京臻迪科技股份有限公司 | 目标追踪定位方法、系统及摄像装置 |
| CN109828610B (zh) * | 2019-01-30 | 2022-06-28 | 国网宁夏电力有限公司检修公司 | 基于长短焦摄像头组的远距离目标跟踪系统及方法 |
-
2020
- 2020-02-28 WO PCT/CN2020/077229 patent/WO2021168809A1/zh active Application Filing
- 2020-02-28 CN CN202080004200.8A patent/CN112640419B/zh not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101777185A (zh) * | 2009-12-09 | 2010-07-14 | 中国科学院自动化研究所 | 融合描述式和判别式建模的目标跟踪方法 |
| CN105374050A (zh) * | 2015-10-12 | 2016-03-02 | 浙江宇视科技有限公司 | 运动目标跟踪恢复方法及装置 |
| CN109981972A (zh) * | 2017-12-27 | 2019-07-05 | 深圳市优必选科技有限公司 | 一种机器人的目标跟踪方法、机器人及存储介质 |
| CN109117721A (zh) * | 2018-07-06 | 2019-01-01 | 江西洪都航空工业集团有限责任公司 | 一种行人徘徊检测方法 |
| CN110446014A (zh) * | 2019-08-26 | 2019-11-12 | 深圳前海达闼云端智能科技有限公司 | 一种监控方法、监控设备及计算机可读存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 深度学习的目标跟踪算法综述;李玺，查宇飞等;《中国图象图形学报》;20191206;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021168809A1 (zh) | 2021-09-02 |
| CN112640419A (zh) | 2021-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110866480B (zh) | 对象的跟踪方法及装置、存储介质、电子装置 | |
| CN112640419B (zh) | 跟随方法、可移动平台、设备和存储介质 | |
| US9924104B2 (en) | Background-differential extraction device and background-differential extraction method | |
| US20230087330A1 (en) | Object tracking | |
| WO2018023492A1 (zh) | 一种云台控制方法及系统 | |
| CN111935393A (zh) | 拍摄方法、装置、电子设备和存储介质 | |
| CN110799921A (zh) | 拍摄方法、装置和无人机 | |
| WO2017020150A1 (zh) | 一种图像处理方法、装置及摄像机 | |
| US9418299B2 (en) | Surveillance process and apparatus | |
| CN112207821B (zh) | 视觉机器人的目标搜寻方法及机器人 | |
| CN113056904A (zh) | 图像传输方法、可移动平台及计算机可读存储介质 | |
| CN110536074B (zh) | 一种智能巡检系统、巡检方法 | |
| CN108141540A (zh) | 具有移动检测的全向相机 | |
| CN111862169A (zh) | 目标跟拍方法、装置、云台相机及存储介质 | |
| CN108419052B (zh) | 一种多台无人机全景成像方法 | |
| WO2019205103A1 (zh) | 云台姿态修正方法、云台姿态修正装置、云台、云台系统和无人机 | |
| WO2023241495A1 (zh) | 拍摄方法及其装置 | |
| CN112001224A (zh) | 基于卷积神经网络的视频采集方法和视频采集系统 | |
| CN109460077B (zh) | 一种自动跟踪方法、自动跟踪设备及自动跟踪系统 | |
| US20230298197A1 (en) | Electronic device with gaze-based autofocus of camera during video rendition of scene | |
| WO2022040988A1 (zh) | 图像处理方法、装置及可移动平台 | |
| CN111242107B (zh) | 用于设置空间中的虚拟对象的方法和电子设备 | |
| CN111866377A (zh) | 一种增稳控制方法、装置及相机系统 | |
| CN113297889A (zh) | 对象信息处理方法及装置 | |
| CN112956182A (zh) | 相机控制方法、设备及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220705 |