CN106843278B - 一种飞行器跟踪方法、装置及飞行器 - Google Patents

Abstract

本发明实施例提供一种飞行器跟踪方法、装置及飞行器，该方法包括：确定目标物体的颜色特征；获取图像采集装置采集的图像；确定所述图像中与所述目标物体的颜色特征相应的至少一个图像连续的候选图像区域；从所述至少一个候选图像区域中，确定存在目标物体的目标图像区域，并确定所述目标图像区域在所述图像中的位置，得到目标物体在所述图像中的位置；根据目标物体在图像中的位置，调整飞行器的飞行姿态，以使目标物体始终位于飞行器的图像采集视野范围内。本发明实施例可实现飞行器对目标物体便捷，且精度较高的跟踪。

Description

一种飞行器跟踪方法、装置及飞行器

技术领域

本发明涉及物体跟踪技术领域，具体涉及一种飞行器跟踪方法、装置及飞行器。

背景技术

通过无人机等飞行器跟踪运动态目标物体，在监控、摄影、安防等领域应用广泛；在对运动状态的目标物体进行跟踪时，需要先确定目标物体的位置，然后调整飞行器的飞行姿态，维持飞行器对目标物体的跟踪。

目前主要是在目标物品上搭载GPS(Global Positioning System，全球定位系统)等定位设备，飞行器通过定位设备获取目标物体的位置信息，然后调整自身的飞行姿态，实现对目标物体的跟踪；然而，这种跟踪目标物品的方式需要在目标物品上额外设置定位设备，使用局限较大，便捷性较低；且跟踪精度与定位设备的定位精确密切相关，在定位设备的定位精度较低的情况下(民用GPS的定位误差一般较大)，并无法实现对目标物体的准确跟踪。

发明内容

有鉴于此，本发明实施例提供一种飞行器跟踪方法、装置及飞行器，以通过飞行器便捷、准确的实现对目标物体的跟踪。

为实现上述目的，本发明实施例提供如下技术方案：

一种飞行器跟踪方法，包括：

确定目标物体的颜色特征；

获取图像采集装置采集的图像；

确定所述图像中与所述目标物体的颜色特征相应的至少一个图像连续的候选图像区域；

从所述至少一个候选图像区域中，确定存在目标物体的目标图像区域，并确定所述目标图像区域在所述图像中的位置，得到目标物体在所述图像中的位置；

根据所述目标物体在所述图像中的位置，调整飞行器的飞行姿态，以使目标物体始终位于飞行器的图像采集视野范围内。

本发明实施例还提供一种飞行器跟踪装置，包括：

目标颜色特征确定模块，用于确定目标物体的颜色特征；

图像获取模块，用于获取图像采集装置采集的图像；

候选图像区域确定模块，用于确定所述图像中与所述目标物体的颜色特征相应的至少一个图像连续的候选图像区域；

目标确定模块，用于从所述至少一个候选图像区域中，确定存在目标物体的目标图像区域，并确定所述目标图像区域在所述图像中的位置，得到目标物体在所述图像中的位置；

飞行姿态调整模块，用于根据所述目标物体在所述图像中的位置，调整飞行器的飞行姿态，以使目标物体始终位于飞行器的图像采集视野范围内。

本发明实施例还提供一种飞行器，包括：图像采集装置，处理芯片；

所述图像采集装置，用于采集图像并传输给处理芯片；

所述处理芯片，用于确定目标物体的颜色特征；获取图像采集装置采集的图像；确定所述图像中与所述目标物体的颜色特征相应的至少一个图像连续的候选图像区域；从所述至少一个候选图像区域中，确定存在目标物体的目标图像区域，并确定所述目标图像区域在所述图像中的位置，得到目标物体在所述图像中的位置；根据目标物体在图像中的位置，调整飞行器的飞行姿态，以使目标物体始终位于飞行器的图像采集视野范围内。

基于上述技术方案，本发明实施例提供的飞行器跟踪方法，通过设定目标物体的颜色特征，能够从采集的图像中分析出与目标物体的颜色特征相应的候选图像区域，进而从候选图像区域中确定出存在目标物体的目标图像区域，且确定所述目标图像区域在所述图像中的位置，得到目标物体在所述图像中的位置；进而根据目标物体在图像中的位置，调整飞行器的飞行姿态，以使目标物体始终位于飞行器的图像采集视野范围内，实现对目标物体的跟踪。本发明实施例可以通过设定目标物体的颜色特征，基于采集图像与目标物体的颜色特征的比对，实现目标物体的检测，进而调整飞行器的飞行姿态，实现飞行器对目标物体的跟踪，且在飞行器改变跟踪的目标物体时，仅需要相应更改目标物体的颜色特征，飞行器跟踪方式较为便捷，且跟踪准确性较高。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的硬件系统的结构示意图；

图2为本发明实施例提供的硬件系统的另一结构示意图；

图3为本发明实施例提供的飞行器跟踪方法的流程图；

图4为本发明实施例提供的选择目标物体的颜色的示意图；

图5为本发明实施例提供的确定目标图像区域的示意图；

图6为本发明实施例提供的确定目标图像区域的另一示意图；

图7为本发明实施例提供的飞行器跟踪方法的另一流程图；

图8为本发明实施例提供的应用场景示意图；

图9为本发明实施例提供的确定调整的水平移动距离的方法流程图；

图10为本发明实施例提供的确定调整的水平移动距离的示意图；

图11为本发明实施例提供的确定调整的垂直移动距离的方法流程图；

图12为本发明实施例提供的确定调整的垂直移动距离的示意图；

图13为本发明实施例提供的飞行器跟踪装置的结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供的飞行器跟踪方法主要是通过录入需跟踪的目标物体的颜色特征，通过图像数据处理技术，从摄像头等图像采集装置所采集的图像中，确定与所述颜色特征相应的至少一个图像连续的候选图像区域，从而从候选图像区域中确定存在目标物体的目标图像区域，通过确定所述目标图像区域在所述图像中的位置，实现目标物体在图像中的位置检测，进而根据目标物体在图像中的位置，调整飞行器的飞行姿态，实现飞行器对目标物体的跟踪。

图1示出了相应的硬件系统实现，如图1所示，该硬件系统可以包括：图像采集装置10，处理芯片20；图像采集装置10用于进行图像的实时采集、定时采集、或按用户指令采集，图像采集装置10所采集的图像传输至处理芯片20；

处理芯片20主要用于执行本发明实施例提供的飞行器跟踪方法，具体的，处理芯片20可以录入有需跟踪的目标物体的颜色特征，并从图像采集装置10所采集的图像中，检测出与所述颜色特征相应的图像连续的候选图像区域，再从所确定的候选图像区域中确定存在目标物体的目标图像区域，得到目标物体在所述图像中的位置；进而根据目标图像区域在所述图像中的位置，输出调整飞行器的飞行姿态的指令，使得目标物体始终位于飞行器的图像采集视野范围内。

在具体应用中，图像采集装置10和处理芯片20可以共同设置于飞行器中；可选的，如图2所示，飞行器可以是带摄像头的无人机30等；相应的，无人机的处理芯片可以录入目标物体的颜色信息，并根据该颜色信息，确定目标物体在图像采集装置采集的图像中的位置，从而调整飞行器的飞行姿态；可选的，无人机可以通过用户所操作的控制终端40进行控制，并通过控制终端向无人机的处理芯片录入和更改需跟踪的目标物体的颜色信息。

基于上述的硬件系统描述，下面对本发明实施例提供的飞行器跟踪方法的流程进行介绍；下文描述的流程主要通过处理芯片执行本发明设计的特定程序实现。

图3为本发明实施例提供的飞行器跟踪方法的流程图，该方法可应用于处理芯片，参照图3，该方法可以包括：

步骤S100、确定目标物体各颜色通道的分量值。

可选的，本发明实施例可采用RGB三色通道定义目标物体的颜色，其中，R表示红(Red)，G表示绿(green)，B表示蓝(Blue)；相应的，本发明实施例可以确定目标物体在R、G、B各色通道分别对应的分量值；可选的，采用RGB三色通道定义目标物体的颜色通道仅是可选方式，本发明实施例也可在RGB三色通道的基础上，加上其他的通道。

可选的，目标物体各颜色通道的分量值可以由用户基于选择操作，输入处理芯片；本发明实施例可以预置多种颜色，并针对每一种颜色设置相应的各颜色通道的分量值；可选的，所预置的颜色可以是用户视觉所能区分的颜色，如本发明实施例可预置视觉感官上是黄色、绿色、粉色等类型的颜色，并分别设置黄色的各颜色通道的分量值，绿色的各颜色通道的分量值等，从而实现对预置的每一种颜色，均分别设置相应的各颜色通道的分量值；

由于用户一般无法准确定义某种颜色所对应的各颜色通道的具体分量值，因此本发明实施例图2所示的控制终端的界面可以展示，预置有多种颜色的色板；如图4所示，界面展示的色板中显示有预置的多种颜色，且每种颜色分别对应有预先设置的各颜色通道的分量值，用户可以根据需跟踪目标物体的颜色，从色板中选择与目标物体相应的颜色，从而确定所选择颜色对应的各颜色通道的分量值，实现目标物体各颜色通道的分量值的确定；可选的，色板的形式也可以与从画板中选择绘画颜色的方式相应。

可选的，在具体实现上，如果处理芯片不设置于控制终端内，则控制终端可以展示所述色板，用户从色板中选择与目标物体相应的颜色后，控制终端可以将用户所选择的颜色(信息)传输给处理芯片，处理芯片可以根据预置的各种颜色分别对应的各颜色通道的分量值，可以确定用户所选择的颜色对应的各颜色通道的分量值，实现目标物体各颜色通道的分量值的确定；

可选的，另一方面，如果处理芯片不设置于控制终端内，控制终端可以预置各种颜色分别对应的各颜色通道的分量值，控制终端可以确定用户从色板中选择的颜色，并确定该颜色对应的各颜色通道的分量值后，将所确定的目标物体的各颜色通道的分量值传输给处理芯片，使得处理芯片确定目标物体各颜色通道的分量值；

可选的，再一方面，如果处理芯片设置于控制终端内，则处理芯片可以直接承担确定用户从色板中选择的颜色，并相应确定该颜色对应的各颜色通道的分量值的工作。

可选的，上文描述的基于用户从色板的选择操作，确定目标物体的各颜色通道的分量值的方式，仅是处理芯片确定目标物体各颜色通道的分量值的可选方式；如果用户具有一定的颜色知识，或者知晓目标物体各颜色通道的分量值，也可以通过控制终端直接输入目标物体各颜色通道的分量值。

上文描述的了步骤S100的多种可能实现方式，但步骤S100仅是确定目标物体的颜色特征的可选方式；本发明实施例除采用颜色通道的分量值来表示颜色特征外，还可以定义目标物体其他形式的颜色特征；可以理解的是，颜色特征除采用RGB等各色通道的分量值表示外，还可以具有其他的形式，如本发明实施例可确定目标物体对应的光谱波长信息，通过目标物体的光谱波长信息来表示目标物体的颜色特征。

步骤S110、获取摄像头采集的图像。

可选的，摄像头仅是能够采集图像的图像采集装置的可选形式，本发明实施例也可以采用其他具有图像采集能力的设备进行图像采集，如本发明实施例也可支持红外成像；摄像头所采集的图像可以实时、定时、或按用户指令的传输至处理芯片，本发明实施例优选采用实时方式将采集的图像传输至处理芯片，由处理芯片实时的从各帧图像中检测出目标物体，实现检测的及时性，保障后续飞行器跟踪的实时和及时性。

摄像头与处理芯片的通信方式可以有多种，本发明实施例并不作限制。

步骤S120、遍历所述图像的各像素，确定所遍历的各像素分别对应的各颜色通道的分量值。

处理芯片在获取到图像后，可以按行或按列遍历图像的每一个像素，并针对所遍历的每个像素，分别的确定每一个像素在各颜色通道的分量值；如每遍历到一个像素，需要确定出该像素在R、G、B各色通道分别对应的分量值。

可选的，步骤S120仅是确定图像各像素的颜色特征的一种可选形式，除采用像素各颜色通道的分量值表示像素的颜色特征外，本发明实施例还可利用其它形式的信息来表示像素的颜色特征。

步骤S130、将所遍历的像素的各颜色通道的分量值，分别与目标物体相应颜色通道的分量值进行比对，确定各颜色通道的分量值均在目标物体相应颜色通道的分量值的误差范围内的目标像素。

对于所遍历的各个像素，本发明实施例可将所遍历像素与目标物体相同颜色通道的分量值进行比对，如分别比对像素与目标物体在R色通道的分量值，在G色通道的分量值，在B色通道的分量值；

本发明实施例可以定义目标物体各颜色通道的分量值的误差范围，将与目标物体在相同颜色通道的分量值的差值均在相应误差范围的像素作为目标像素，如本发明实施例可以定义目标物体在R色通道的分量值误差范围，在G色通道的分量值误差范围，在B色通道的分量值误差范围；当像素与目标物体在R色通道的分量值的差值处于所定义的误差范围，在G色通道的分量值的差值处于所定义的误差范围，在B色通道的分量值的差值处于所定义的误差范围，则可以确定该像素为目标像素；

显然，本发明实施例可以定义目标物体的各色通道的分量值具有相同的误差范围，或者，定义R、G、B的至少两个颜色通道具有相同的误差范围，显然也可以定义不同的颜色通道具有不同的误差范围，具体误差范围的定义方式可以根据实际检测需要设定。

目标像素可以理解为是，采集的图像中与目标物体的颜色相应(相近)的像素。

可选的，本发明实施例可每遍历到一个像素，则执行一次步骤S130的处理，判断出当前遍历的像素是否为目标像素；也可以是遍历到设定数量或者所有的像素后，再针对每个像素执行一次步骤S130的处理，判断出图像中的目标像素。

可选的，步骤S130仅是将像素与目标物体进行颜色特征比对，确定图像中与目标物体的颜色特征相应的目标像素的可选方式；在采用其他形式的颜色特征的手段下，像素与目标颜色特征比对方式可以相应的调整。

步骤S140、确定所述图像中连续的目标像素，将一块连续的目标像素组成的图像区域作为一个候选图像区域，得到至少一个候选图像区域。

在得到目标像素后，本发明实施例可以将连续的目标像素集合对应的图像区域作为一个候选图像区域，即一个候选图像区域对应一块连续的目标像素，而一块连续的目标像素是由多个连续的目标像素集合而成；由于图像中连续的目标像素可能是多块的，即连续的目标像素集合可能是分散的，因此所得到的候选图像区域的数量可能是多个；当然，连续的目标像素也可能仅是一块，即所确定出的目标像素都是连续在一起的，相应的，候选图像区域的数量为一个；因此，本发明实施例可以得到至少一个的候选图像区域。

候选图像区域可以认为是采集的图像中，可能存在目标物体的图像区域。

可选的，步骤S120至步骤S140所采用的基于图像像素与目标物体的颜色特征的比对，来确定候选图像区域的方式，仅是本发明实施例从采集的图像中，确定与目标物体的颜色特征相应的至少一个图像连续的候选图像区域的可选方式；除步骤S120至步骤S140的方式外，本发明实施例还可以分析采集图像的光谱波长信息，寻找到与目标物体的光谱波长信息相应的图像连续的候选图像区域。

步骤S150、从至少一个候选图像区域中，确定面积最大的图像区域，将所确定的面积最大的图像区域作为所述图像中存在目标物体的目标图像区域，确定所述目标图像区域在所述图像中的位置。

目标图像区域在所述图像中的位置，可以认为是目标物体在图像中的位置，即确定出目标图像区域在所述图像中的位置，则可得到目标物体在图像中的位置。

可选的，由于目标物体是本发明实施例需要跟踪的物体，因此在通过摄像头跟踪拍摄的情况下，目标物体一般位于图像的中心视野外，相比于图像中拍摄的其他物体，目标物体在图像中占据的面积应该是最大，因此本发明实施例可以将候选图像区域中面积最大的图像区域，作为存在目标物体的目标图像区域，并确定目标图像区域在图像中的位置，实现目标物体的检测；如图5所示，目标物体的颜色为黑色，从当前帧图像中确定的与目标物体颜色相近的候选图像区域为3个，分别为A、B、C，则本发明实施例可将候选图像区域中面积最大的图像区域B，作为目标图像区域。

步骤S150的检测方式可以适用于对采集到的第一帧图像进行飞行器跟踪的情况，显然也可以适用于从其他帧的图像中检测目标物体。

可选的，如果存在基于上一次图像(如上一帧图像)确定的目标图像区域，则本发明实施例除通过步骤S150从当前获取的图像(如当前帧图像)中检测目标物体外，还可以通过步骤S160实现。

步骤S160、从所述至少一个候选图像区域中，确定面积最大，且与上一次确定的目标图像区域在图像中的位置最近的图像区域，将所确定的图像区域作为所述图像中存在目标物体的目标图像区域，确定所述目标图像区域在所述图像中的位置。

可选的，目标图像区域在所述图像中的位置，可以认为是目标物体在所述图像中的位置。

可选的，本发明实施例可以面积的大小为维度，对所述至少一个候选图像区域进行排序；同时以与上一帧图像确定的目标图像区域在图像中的位置(简称上一次确定的目标图像区域的位置，此处的位置指的是在图像中的位置)的距离为维度，对所述至少一个候选图像区域进行排序；将排序中，面积最大，且与上一帧图像确定的目标图像区域在图像中的位置最近的图像区域作为当前帧图像的目标图像区域；如图6所示，在以面积的大小为维度按降序排列后，当前帧图像的候选图像区域的排序如图6左部所示，在以与上一次确定的目标图像区域的位置的距离，按降序排列后，当前帧图像的候选图像区域的排序如图6右部所示，则可确定与上一次确定的目标图像区域在图像中的位置最近，且面积最大的目标图像区域为B。

可选的，图像区域在图像中的位置的确定方式可以是，确定框起图像区域边缘的框体(如矩形框)，将框体的中心点在图像中的位置，作为图像区域在图像中的位置；如在确定目标图像区域后，本发明实施例可确定图像中框起目标图像区域矩形框，将该矩形框的中心点在图像中的位置，作为目标图像区域在图像中的位置；

可选的，本发明实施例也可采用图像区域对应的像素在图像中包含的位置范围来表示。

可选的，步骤S150和步骤S160仅是从与目标物体的颜色特征相应的至少一个图像连续的候选图像区域中，确定存在目标物体的目标图像区域，并确定目标图像区域在所述图像中位置的可选方式；

除通过步骤S150或步骤S160实现目标图像区域的确定外，本发明实施例在确定了与目标物体的颜色特征相应的至少一个图像连续的候选图像区域(如确定了图3所示方法所指的候选图像区域)后，还可以基于预置的目标物体的轮廓，从与目标物体的颜色特征相应的至少一个图像连续的候选图像区域中，确定与目标物体的轮廓相应的图像区域，实现存在目标物体的目标图像区域的确定。

可选的，图3所示方法在通过步骤S140得到连续的目标像素组成的至少一个候选图像区域后，还可从候选图像区域中筛除出噪声，再执行步骤S150或步骤S160，或执行与目标物体的轮廓比对步骤，实现目标图像区域的确定；

可选的，本发明实施例可确定所述至少一个候选图像区域中，面积大于设定面积的图像区域，得到筛选后的至少一个候选图像区域；

面积小于设定面积的图像区域，本发明实施例认为是噪声，需要进行去除，从而在候选图像区域中保留到面积大于设定面积的候选图像区域，减小后续目标图像区域确定的数据处理量；设定面积可以根据目标物体的实际面积确定，如可以选取目标物体中关键位置的实际面积，并按照成像比例缩小后作为设定面积。

步骤S170、根据所述位置，调整飞行器的飞行姿态，以使目标物体始终位于飞行器的图像采集视野范围内。

可选的，飞行器的图像采集视野范围可以如，飞行器所设置的摄像头的视野范围。

本发明实施例在确定出目标物体在图像中的位置后，可以根据目标物体在图像中的位置，调整飞行器的飞行姿态(如调整水平移动距离和垂直移动距离)，使得目标物体始终位于飞行器摄像头的视野范围内，实现对目标物体的跟踪。

可选的，本发明实施例可以实时的对摄像头采集的图像，按照上述描述的飞行器跟踪方法进行目标物体的跟踪，实现对目标物体的准确跟踪。

对图3描述的方案及方案各步骤涉及的替换方案进行总结，本发明实施例实现飞行器跟踪的核心流程可以如图7所示，参照图7，该流程可以包括：

步骤S200、确定目标物体的颜色特征。

可选的，目标物体的颜色特征可以是目标物体各颜色通道的分量值；替换手段可以是，目标物体的光谱波长信息等其他形式的颜色特征。

步骤S210、获取图像采集装置采集的图像。

步骤S220、确定所述图像中与所述目标物体的颜色特征相应的至少一个图像连续的候选图像区域。

可选的，本发明实施例可以将逐个遍历的像素的各颜色通道的分量值，与目标物体各颜色通道的分量值进行比对，确定出与目标物体的颜色相应的目标像素，从而将连续的目标像素对应的图像区域，作为一个候选图像区域；进一步，在将连续的目标像素对应的图像区域，作为候选图像区域后，本发明实施例可以仅保留候选图像区域中面积大于设定面积的候选图像区域，进行图像区域的筛选，从而去除噪声，减小后续的数据处理量。

可选的，本发明实施例还可以分析采集图像的光谱波长信息，寻找到与目标物体的光谱波长信息相应的至少一个图像连续的候选图像区域。

步骤S230、从所述至少一个候选图像区域中，确定存在目标物体的目标图像区域，并确定所述目标图像区域在所述图像中的位置，得到目标物体在所述图像中的位置。

可选的，步骤S230的具体实现可通过图3所示步骤S150，或步骤S160执行；本发明实施例也可以从候选图像区域中确定与目标物体的轮廓相应的图像区域，实现存在目标物体的目标图像区域的确定。

步骤S240、根据目标物体在图像中的位置，调整飞行器的飞行姿态，以使目标物体始终位于飞行器的图像采集视野范围内。

本发明实施例提供的飞行器跟踪方法，通过设定目标物体的颜色特征，能够从采集的图像中分析出与目标物体的颜色特征相应的候选图像区域，进而从候选图像区域中确定出存在目标物体的目标图像区域，且确定所述目标图像区域在所述图像中的位置，得到目标物体在所述图像中的位置；进而根据目标物体在图像中的位置，调整飞行器的飞行姿态，以使目标物体始终位于飞行器的图像采集视野范围内，实现对目标物体的跟踪。本发明实施例可以通过设定目标物体的颜色特征，基于采集图像与目标物体的颜色特征的比对，实现目标物体的检测，进而调整飞行器的飞行姿态，实现飞行器对目标物体的跟踪，且在飞行器改变跟踪的目标物体时，仅需要相应更改目标物体的颜色特征，飞行器跟踪方式较为便捷，且跟踪准确性较高。

可选的，图8示出了相应的应用场景示意图；如图8所示，用户可以指令飞行器跟踪红色的汽车，用户可以在控制终端的色板上选择与需跟踪的汽车相应的颜色(红色)，控制终端确定红色相应的R、G、B各色通道的分量值后，传输给飞行器；

飞行器搭载的摄像头采集第一帧图像后，飞行器的内置处理芯片可以逐行遍历第一帧图像的各像素点，并将各像素点的R、G、B各色通道的分量值，分别与红色相应的R、G、B各色通道的分量值进行比对，从第一帧图像中确定出与红色相近的目标像素点，将连续的目标像素点作为一个候选图像区域；

处理芯片可以进一步筛除候选图像区域的噪声，保留非噪声的候选图像区域，进而将面积最大的候选图像区域作为存在红色汽车的目标图像区域，确定该目标图像区域在第一帧图像中的位置；进而根据目标图像区域在第一帧图像中的位置，调整飞行器的水平移动距离和垂直移动距离，使得目标物体始终位于飞行器的图像采集视野范围内；

对于摄像头所采集的大于第一帧的图像，处理芯片可以实时的对每一帧图像进行分析处理，分析处理得到候选图像区域的方式与从第一帧图像中确定候选图像区域的方式相同，可参照；但确定目标图像区域的方式存在区别，对于大于第一帧的图像，处理芯片需要从候选图像区域中确定，与上一帧图像的目标图像区域位置最近，且面积最大的图像区域，来作为当前帧图像中的目标图像区域，从而确定目标图像区域在当前帧图像中的位置，进而根据目标图像区域在当前帧图像中的位置，调整飞行器的水平移动距离和垂直移动距离(调整飞行姿态的一种可选形式)，使得目标物体始终位于飞行器的图像采集视野范围内。

进一步，控制终端还可以实时的显示摄像头所采集的图像视频。

可选的，图9示出了基于所确定的目标物体在图像中的位置，确定飞行器调整的水平移动距离的方法流程图，该方法可应用于处理芯片，参照图9，该方法可以包括：

步骤S300、以飞行器的摄像头在横轴方向上的视线范围构建横轴坐标，所述横轴坐标的原点为摄像头在横轴方向上的视线中点。

如图10所示，假设A点为摄像头的位置，AB和AC分别是摄像头横轴视线的极限(即摄像头在横轴方向上的视线范围)，BMC为地面，则BC是以摄像头在横轴方向上的视线范围构建的横轴坐标，BC上的每个点均匀的落在摄像头采集图像的横轴坐标上；AM为摄像头中心线，M为摄像头在横轴方向上的视线中点，为横轴坐标的原点，也即BC线段的中心。

步骤S310、根据目标物体在图像中的位置，确定目标物体在横轴坐标上的投影点，确定所述投影点在所述横轴坐标上的坐标。

在确定出目标物体在图像中的位置，如确定出图像中包含目标图像区域的矩形框的中心位置后，本发明实施例可确定目标物体在图像中的位置，在水平方向上的投影点，得到目标物体在水平方向上的投影点，如图11所示，目标物体在水平方向上的投影点为P点；P点在横轴BC上的坐标为目标物体在横轴上的坐标。

步骤S320、根据所述横轴坐标的长度，飞行器与地面的垂直高度，飞行器的摄像头中心线和垂直方向的角度，摄像头横轴方向视角的半角，及所述投影点在所述横轴坐标上的坐标，确定飞行器的水平移动距离。

如图10所示，OA是无人机等飞行器离地面的垂直高度；则OAM为摄像头中心线和垂直方向的角度，BAM为摄像头横轴方向视角的半角，为使得目标物体在水平方向上的投影点P落在摄像头采集图像的中心点M上，飞行器需要调整MP的水平移动距离；

相应的，可设OAM为β，BAM为α，飞行器离地面的垂直高度为H，目标物体在横轴坐标上的投影点的横轴坐标为x，横轴坐标的长度(摄像头在横轴方向上的视线范围长度)为Lx，需要调整的水平移动距离MP为Sx，则可根据如下公式确定飞行器需要调整的水平移动距离：

Sx＝(2*x*H*tanα)/(Lx*sinβ)。

可选的，飞行器的高度数据可以通过超声波或是气压计获取；角度数据可以根据需要设定固定的角度。

可选的，处理芯片可基于实时采集的每帧图像，实时的确定飞行器的水平移动距离，然后向飞行器的飞行机构输出飞行控制指令，使得飞行器可在与目标物体相同的水平运动方向上，调整所确定的水平移动距离。

可选的，图11示出了基于所确定的目标物体在图像中的位置，确定飞行器调整的垂直移动距离的方法流程图，该方法可应用于处理芯片，参照图11，该方法可以包括：

步骤S400、以飞行器的摄像头在纵轴方向上的视线范围构建纵轴坐标，所述纵轴坐标的原点为摄像头在纵轴方向上的视线中点。

如图12所示，假设A点为摄像头的位置，AB和AC分别是摄像头纵轴视线的极限(即摄像头在纵轴方向上的视线范围)，则BC是以摄像头在纵轴方向上的视线范围构建的纵轴坐标；虚线AD为摄像头中心线，D为摄像头在纵轴方向上的视线中点，为纵轴坐标的原点。

步骤S410、根据目标物体在图像中的位置，确定目标物体在纵轴坐标上的投影点，确定该投影点在所述纵轴坐标上的坐标。

在确定出目标物体在图像中的位置后，本发明实施例可确定目标物体在图像中的位置在垂直方向上的投影点，得到目标物体在垂直方向上的投影点，如图12所示，目标物体在垂直方向上的投影点为P点；P点在纵轴BC上的坐标为目标物体在纵轴上的坐标。

步骤S420、根据所述纵轴坐标的高度，飞行器与地面的垂直高度，摄像头纵轴方向的半视角，所述摄像头的倾角与所述半视角的角度差，确定飞行器的垂直移动距离。

如图12所示，AO是飞行器离地面的垂直高度，OAD是摄像头的倾角，CAD是摄像头纵轴方向的半视角，摄像头纵轴方向的半视角可以是摄像头纵轴方向视角的半角；OAC是OAD与CAD角的角度差；纵轴坐标的高度可以根据图像界面的高度确定，比如采集的是640*360分辨率的图像，则纵轴坐标的高度可以为360，即可以根据界面的纵轴高度确定纵轴坐标的高度；

为使得目标物体在垂直方向上的投影点P落在摄像头采集图像的中心点D上，飞行器需要调整PD的垂直移动距离；

相应的，可设AO为H，CAD为θ，OAC为δ，纵轴坐标的高度为Ly，目标物体在纵轴坐标上的投影点的纵轴坐标为y，飞行器需要调整的垂直移动距离为Sy，则可根据如下公式确定飞行器需要调整的垂直移动距离：

Sy＝H*(tan(δ+θ)-tan(δ+θ-arctan(2*y*tanθ/Ly)))。

可选的，处理芯片可基于实时采集的每帧图像，实时的确定飞行器的垂直移动距离，然后向飞行器的飞行机构输出飞行控制指令，使得飞行器可在与目标物体相同的垂直运动方向，调整所确定的垂直移动距离。

可选的，处理芯片基于一帧图像所确定的水平移动距离和垂直移动距离可通过飞行控制指令输出，使得飞行器调整飞行姿态，实现在与目标物体相同的水平运动方向上，调整所确定的水平移动距离，及在与目标物体相同的垂直运动方向，调整所确定的垂直移动距离的效果。

下面对本发明实施例提供的飞行器跟踪装置进行介绍，下文描述的飞行器跟踪装置可与上文描述的方法内容相互对应参照。下文描述的飞行器跟踪装置，可以认为是处理芯片为实现本发明实施例的飞行器跟踪功能，所需设置的功能模块架构。

图13为本发明实施例提供的飞行器跟踪装置的结构框图，参照图13，该装置可以包括：

目标颜色特征确定模块100，用于确定目标物体的颜色特征；

图像获取模块200，用于获取图像采集装置采集的图像；

候选图像区域确定模块300，用于确定所述图像中与所述目标物体的颜色特征相应的至少一个图像连续的候选图像区域；

目标确定模块400，用于从所述至少一个候选图像区域中，确定存在目标物体的目标图像区域，并确定所述目标图像区域在所述图像中的位置，得到目标物体在所述图像中的位置；

飞行姿态调整模块500，用于根据目标物体在图像中的位置，调整飞行器的飞行姿态，以使目标物体始终位于飞行器的图像采集视野范围内。

可选的，候选图像区域确定模块300，用于确定所述图像中与所述目标物体的颜色特征相应的至少一个图像连续的候选图像区域，具体包括：

确定所述图像中各像素的颜色特征；

将所述图像中各像素的颜色特征，分别与所述目标物体的颜色特征进行比对，确定所述图像中与目标物体的颜色特征相应的目标像素；

确定所述图像中连续的目标像素，将一块连续的目标像素组成的图像区域作为一个候选图像区域，得到至少一个候选图像区域。

可选的，目标颜色特征确定模块100，用于确定目标物体的颜色特征，具体包括：确定目标物体各颜色通道的分量值；

相应的，候选图像区域确定模块300，用于确定所述图像中各像素的颜色特征，具体包括：遍历所述图像的各像素，确定所遍历的各像素分别对应的各颜色通道的分量值；

相应的，候选图像区域确定模块300，用于将所述图像中各像素的颜色特征，分别与所述目标物体的颜色特征进行比对，确定所述图像中与目标物体的颜色特征相应的目标像素，具体包括：

将所遍历的像素的各颜色通道的分量值，分别与目标物体相应颜色通道的分量值进行比对，确定各颜色通道的分量值均在目标物体相应颜色通道的分量值的误差范围内的目标像素。

如图13所示，本发明实施例提供的飞行器跟踪装置，还可以包括：筛选模块600，用于从候选图像区域确定模块300所确定的至少一个候选图像区域中，确定面积大于设定面积的图像区域，得到筛选后的至少一个候选图像区域。

可选的，目标确定模块400可直接基于候选图像区域确定模块300所确定的至少一个候选图像区域，进行目标图像区域的确定；

可选的，目标确定模块400也可基于筛选后的至少一个候选图像区域，进行目标图像区域的确定；相应的，目标确定模块400用于从所述至少一个候选图像区域中，确定存在目标物体的目标图像区域，具体包括：

如果所述图像为第一帧图像，从筛选后的至少一个候选图像区域中，确定面积最大的图像区域，将所确定的面积最大的图像区域作为目标图像区域；

或，如果所述图像为非第一帧图像，从筛选后的至少一个候选图像区域中，确定面积最大，且与上一帧图像确定的目标图像区域在图像中的位置最近的图像区域，将所确定的图像区域作为所述目标图像区域。

可选的，目标确定模块400用于确定所述目标图像区域在所述图像中的位置，具体包括：

确定图像中框起目标图像区域矩形框，将该矩形框的中心点在图像中的位置，作为目标图像区域在图像中的位置。

可选的，目标颜色特征确定模块100，用于确定目标物体的颜色特征，具体包括：

获取用户从色板中选择的与目标物体相应的颜色，所述色板预置有多种颜色，根据预置的各种颜色分别对应的各颜色通道的分量值，确定所选择的颜色对应的各颜色通道的分量值。

可选的，飞行姿态调整模块500，用于根据目标物体在图像中的位置，调整飞行器的飞行姿态，具体包括：

根据目标物体在图像中的位置，确定飞行器在与目标物体相同的水平运动方向上，调整的水平移动距离；及根据目标物体在图像中的位置，确定飞行器在与目标物体相同的垂直运动方向，调整的垂直移动距离。

可选的，飞行姿态调整模块500，用于根据目标物体在图像中的位置，确定飞行器在与目标物体相同的水平运动方向上，调整的水平移动距离，具体包括：

以飞行器的摄像头在横轴方向上的视线范围构建横轴坐标，所述横轴坐标的原点为摄像头在横轴方向上的视线中点；

根据目标物体在图像中的位置，确定目标物体在横轴坐标上的投影点，确定所述投影点在所述横轴坐标上的坐标；

根据所述横轴坐标的长度，飞行器与地面的垂直高度，飞行器的摄像头中心线和垂直方向的角度，摄像头横轴方向视角的半角，及所述投影点在所述横轴坐标上的坐标，确定飞行器的水平移动距离。

可选的，飞行姿态调整模块500，用于根据目标物体在图像中的位置，确定飞行器在与目标物体相同的垂直运动方向，调整的垂直移动距离，具体包括：

以飞行器的摄像头在纵轴方向上的视线范围构建纵轴坐标，所述纵轴坐标的原点为摄像头在纵轴方向上的视线中点；

根据目标物体在图像中的位置，确定目标物体在纵轴坐标上的投影点，确定该投影点在所述纵轴坐标上的坐标；

根据所述纵轴坐标的高度，飞行器与地面的垂直高度，摄像头纵轴方向的半视角，所述摄像头的倾角与所述半视角的角度差，确定飞行器的垂直移动距离。

本发明实施例提供的飞行器跟踪装置，可简单、便捷，且精度较高，的检测目标物体；进一步，在无人机等飞行器跟踪目标物体的应用场景下，可实现对目标物体的准确、实时的跟踪。

本发明实施例还提供一种飞行器，该飞行器的结构可以如图1所示，包括：图像采集装置，处理芯片；

所述图像采集装置，用于采集图像并传输给处理芯片；

所述处理芯片，用于确定目标物体的颜色特征；获取图像采集装置采集的图像；确定所述图像中与所述目标物体的颜色特征相应的至少一个图像连续的候选图像区域；从所述至少一个候选图像区域中，确定存在目标物体的目标图像区域，并确定所述目标图像区域在所述图像中的位置，得到目标物体在所述图像中的位置；根据目标物体在图像中的位置，调整飞行器的飞行姿态，以使目标物体始终位于飞行器的图像采集视野范围内。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的核心思想或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (16)

1.一种飞行器跟踪方法，其特征在于，包括：

将用户输入或选择的颜色特征，确定为目标物体的颜色特征；

获取图像采集装置采集的图像；

确定所述图像中与所述目标物体的颜色特征相应的至少一个图像连续的候选图像区域，其中，将所述图像中一块连续的目标像素组成的图像区域作为一个候选图像区域，得到所述至少一个候选图像区域，所述目标像素与所述目标物体的颜色特征相对应；

从所述至少一个候选图像区域中，确定面积最大的图像区域，将所述面积最大的图像区域作为所述图像中存在目标物体的目标图像区域，并确定所述目标图像区域在所述图像中的位置，得到目标物体在所述图像中的位置；

根据所述目标物体在所述图像中的位置，调整飞行器的飞行姿态，以使目标物体始终位于飞行器的图像采集视野范围内。

2.根据权利要求1所述的飞行器跟踪方法，其特征在于，所述确定所述图像中与所述目标物体的颜色特征相应的至少一个图像连续的候选图像区域还包括：

确定所述图像中各像素的颜色特征；

将所述图像中各像素的颜色特征，分别与所述目标物体的颜色特征进行比对，确定所述图像中与目标物体的颜色特征相应的目标像素。

3.根据权利要求2所述的飞行器跟踪方法，其特征在于，所述确定目标物体的颜色特征包括：

确定目标物体各颜色通道的分量值；

所述确定所述图像中各像素的颜色特征包括：

遍历所述图像的各像素，确定所遍历的各像素分别对应的各颜色通道的分量值。

4.根据权利要求3所述的飞行器跟踪方法，其特征在于，所述将所述图像中各像素的颜色特征，分别与所述目标物体的颜色特征进行比对，确定所述图像中与目标物体的颜色特征相应的目标像素包括：

将所遍历的像素的各颜色通道的分量值，分别与目标物体相应颜色通道的分量值进行比对，确定各颜色通道的分量值均在目标物体相应颜色通道的分量值的误差范围内的目标像素。

5.根据权利要求1-4任一项所述的飞行器跟踪方法，其特征在于，所述从所述至少一个候选图像区域中，确定存在目标物体的目标图像区域之前，所述方法还包括：

确定所述至少一个候选图像区域中，面积大于设定面积的图像区域，得到筛选后的至少一个候选图像区域。

6.根据权利要求5所述的飞行器跟踪方法，其特征在于，所述从所述至少一个候选图像区域中，确定存在目标物体的目标图像区域包括：

如果所述图像为第一帧图像，从筛选后的至少一个候选图像区域中，确定面积最大的图像区域，将所确定的面积最大的图像区域作为目标图像区域；

或，如果所述图像为非第一帧图像，从筛选后的至少一个候选图像区域中，确定面积最大，且与上一帧图像确定的目标图像区域在图像中的位置最近的图像区域，将所确定的图像区域作为所述目标图像区域。

7.根据权利要求1所述的飞行器跟踪方法，其特征在于，所述确定所述目标图像区域在所述图像中的位置包括：

确定图像中框起目标图像区域的矩形框，将该矩形框的中心点在图像中的位置，作为目标图像区域在图像中的位置。

8.根据权利要求3所述的飞行器跟踪方法，其特征在于，所述确定目标物体各颜色通道的分量值包括：

获取用户从色板中选择的与目标物体相应的颜色，所述色板预置有多种颜色，根据预置的各种颜色分别对应的各颜色通道的分量值，确定所选择的颜色对应的各颜色通道的分量值。

9.根据权利要求1所述的飞行器跟踪方法，其特征在于，所述根据所述目标物体在所述图像中的位置，调整飞行器的飞行姿态包括：

根据目标物体在图像中的位置，确定飞行器在与目标物体相同的水平运动方向上，调整的水平移动距离；及根据目标物体在图像中的位置，确定飞行器在与目标物体相同的垂直运动方向，调整的垂直移动距离。

10.根据权利要求9所述的飞行器跟踪方法，其特征在于，所述根据目标物体在图像中的位置，确定飞行器在与目标物体相同的水平运动方向上，调整的水平移动距离包括：

以飞行器的摄像头在横轴方向上的视线范围构建横轴坐标，所述横轴坐标的原点为摄像头在横轴方向上的视线中点；

根据目标物体在图像中的位置，确定目标物体在横轴坐标上的投影点，确定所述投影点在所述横轴坐标上的坐标；

根据所述横轴坐标的长度，飞行器与地面的垂直高度，飞行器的摄像头中心线和垂直方向的角度，摄像头横轴方向视角的半角，及所述投影点在所述横轴坐标上的坐标，确定飞行器的水平移动距离。

11.根据权利要求9所述的飞行器跟踪方法，其特征在于，所述根据目标物体在图像中的位置，确定飞行器在与目标物体相同的垂直运动方向，调整的垂直移动距离包括：

以飞行器的摄像头在纵轴方向上的视线范围构建纵轴坐标，所述纵轴坐标的原点为摄像头在纵轴方向上的视线中点；

根据目标物体在图像中的位置，确定目标物体在纵轴坐标上的投影点，确定该投影点在所述纵轴坐标上的坐标；

根据所述纵轴坐标的高度，飞行器与地面的垂直高度，摄像头纵轴方向的半视角，所述摄像头的倾角与所述半视角的角度差，确定飞行器的垂直移动距离。

12.一种飞行器跟踪装置，其特征在于，包括：

目标颜色特征确定模块，用于将用户输入或选择的颜色特征，确定为目标物体的颜色特征；

图像获取模块，用于获取图像采集装置采集的图像；

候选图像区域确定模块，用于确定所述图像中与所述目标物体的颜色特征相应的至少一个图像连续的候选图像区域，其中，将所述图像中一块连续的目标像素组成的图像区域作为一个候选图像区域，得到所述至少一个候选图像区域，所述目标像素与所述目标物体的颜色特征相对应；

目标确定模块，用于从所述至少一个候选图像区域中，确定面积最大的图像区域，将所述面积最大的图像区域作为所述图像中存在目标物体的目标图像区域，并确定所述目标图像区域在所述图像中的位置，得到目标物体在所述图像中的位置；

飞行姿态调整模块，用于根据所述目标物体在所述图像中的位置，调整飞行器的飞行姿态，以使目标物体始终位于飞行器的图像采集视野范围内。

13.根据权利要求12所述的飞行器跟踪装置，其特征在于，所述候选图像区域确定模块，用于确定所述图像中与所述目标物体的颜色特征相应的至少一个图像连续的候选图像区域，具体还包括：

确定所述图像中各像素的颜色特征；

将所述图像中各像素的颜色特征，分别与所述目标物体的颜色特征进行比对，确定所述图像中与目标物体的颜色特征相应的目标像素。

14.根据权利要求12或13所述的飞行器跟踪装置，其特征在于，还包括：

筛选模块，用于从所述候选图像区域确定模块所确定的至少一个候选图像区域中，确定面积大于设定面积的图像区域，得到筛选后的至少一个候选图像区域；

所述目标确定模块，用于从所述至少一个候选图像区域中，确定存在目标物体的目标图像区域，具体包括：

如果所述图像为第一帧图像，从筛选后的至少一个候选图像区域中，确定面积最大的图像区域，将所确定的面积最大的图像区域作为目标图像区域；

或，如果所述图像为非第一帧图像，从筛选后的至少一个候选图像区域中，确定面积最大，且与上一帧图像确定的目标图像区域在图像中的位置最近的图像区域，将所确定的图像区域作为所述目标图像区域。

15.一种飞行器，其特征在于，包括：图像采集装置，处理芯片；

所述图像采集装置，用于采集图像并传输给处理芯片；

所述处理芯片，用于将用户输入或选择的颜色特征，确定为目标物体的颜色特征，所述目标物体的颜色特征是由用户输入或选择的；获取图像采集装置采集的图像；确定所述图像中与所述目标物体的颜色特征相应的至少一个图像连续的候选图像区域，其中，将所述图像中一块连续的目标像素组成的图像区域作为一个候选图像区域，得到所述至少一个候选图像区域，所述目标像素与所述目标物体的颜色特征相对应；从所述至少一个候选图像区域中，确定面积最大的图像区域，将所述面积最大的图像区域作为所述图像中存在目标物体的目标图像区域，并确定所述目标图像区域在所述图像中的位置，得到目标物体在所述图像中的位置；根据所述目标物体在所述图像中的位置，调整飞行器的飞行姿态，以使目标物体始终位于飞行器的图像采集视野范围内。

16.一种存储介质，其特征在于，所述存储介质中存储有可执行的软件模块，所述软件模块被执行时实现如权利要求1至11任一项所述的飞行器跟踪方法。

Images