CN109688323A - 无人机视觉跟踪系统及其控制方法 - Google Patents

Abstract

本发明实施例提供一种无人机视觉跟踪系统及其控制方法，其中系统包括：设置在无人机上的三轴稳定云台，三轴稳定云台与变焦相机连接；主控模块，用于向变焦相机发送相机参数，以使得变焦相机根据相机参数拍摄图像并将拍摄的图像输出至主控模块，还用于接收外部发送的控制指令，并根据控制指令保存图像或者将图像以及配置参数发送至图像处理模块；图像处理模块，用于根据配置参数对主控模块发送的图像进行处理，并将处理结果返回至主控模块；相应地，主控模块还用于根据处理结果向三轴稳定云台输出控制信息，以使得三轴稳定平台控制变焦相机的姿态。本发明实施例结构简单、智能化程度高且使用方便。

Description

无人机视觉跟踪系统及其控制方法

技术领域

本发明实施例涉及无人机技术领域，更具体地，涉及无人机视觉跟踪系统及其控制方法。

背景技术

现代的无人机通常被定位为“会飞的智能摄像机”，其核心技术也围绕此宗旨展开，主要包括自动驾驶仪、智能视觉云台以及图像传输模块。其中智能视觉云台作为核心单元，已经是各大无人机厂家的竞争热地。

智能云台通俗的说就是挂载智能摄像机的三轴稳定云台。为抵消机身晃动或者震动的影响，航拍云台通常需要在水平、横滚、俯仰三个轴向对相机进行增稳；为使得无人机能够智能的进行某些操作，需要利用智能视觉图像处理技术对视频场景进行分析，从而与自动驾驶仪一起完成视觉定位、视觉跟踪、自主目标探测、地形跟随飞行等功能。

目前市场上现有的或可见于报道的智能云台产品主要由几家知名无人机公司设计和生产。比如某公司最新推出的视觉云台采用一体式云台相机和超清定焦镜头组合，其镜头视场角为94°，云台采用三轴(俯仰、横滚、偏航)稳定系统，俯仰角可控转动范围为30°至-90°，横滚和偏航不支持外部控制，并集成了智能视觉目标追踪功能,但其跟踪的稳定性还有待提高。总的来说，现有视觉云台产品大多数由无人机公司设计和生产，其在视觉图像处理方面的技术水平还有待提高，产品难以满足越来越丰富的无人机视觉应用需求，如目标多分辨率拍摄、目标自主探测等。

发明内容

本发明实施例提供一种克服上述问题或者至少部分地解决上述问题的无人机视觉跟踪系统及其控制方法。

第一个方面，本发明实施例提供一种无人机视觉跟踪系统，包括：

设置在无人机上的三轴稳定云台，所述三轴稳定云台与变焦相机连接；

主控模块，用于向所述变焦相机发送相机参数，以使得所述变焦相机根据所述相机参数拍摄图像并将拍摄的图像输出至所述主控模块，还用于接收外部发送的控制指令，并根据所述控制指令保存所述图像或者将所述图像以及配置参数发送至图像处理模块；

所述图像处理模块，用于根据配置参数对主控模块发送的图像进行处理，并将所述处理结果返回至所述主控模块；相应地，所述主控模块还用于根据所述处理结果向所述三轴稳定云台输出控制信息，以使得所述三轴稳定平台控制所述变焦相机的姿态。

优选地，所述三轴稳定云台包括：

三轴云台，包括俯仰轴电机、横滚轴电机以及航向轴电机，其中，所述俯仰轴电机用于控制变焦相机的横滚姿态角，所述横滚轴电机用于控制变焦相机的横滚姿态角，所述航向角电机用于控制相机的航向姿态角；

增稳模块，用于控制所述三轴云台保持所述变焦相机姿态稳定以及根据所述控制信息控制所述三轴云台改变所述变焦相机的姿态。

优选地，所述变焦相机通过标准LVDS接口与所述主控模块交互。

优选地，所述图像处理模块对图像进行处理，具体为动目标指示以及变视场下的视觉目标跟踪。

优选地，所述主控模块通过HDMI接口与外部进行交互，具体地，所述主控模块通过HDMI接口向外部输出所述图像以及接收外部发送的控制指令。

第二个方面，本发明实施例提供一种无人机视觉跟踪系统的控制方法，包括：

启动所述三轴稳定平台，以保持所述变焦相机姿态稳定；

启动变焦相机采集图像；

向所述主控模块输出控制指令，若所述控制指令为录像指令，则所述主控模块接收所述变焦相机输出的图像并进行视频编码和存储；若所述控制指令为启动智能视觉指令，则所述主控模块将接收的的图像输出至所述图像处理模块，以供所述图像处理模块对图像进行处理。

优选地，所述图像处理模块对图像进行处理，具体为：

图像处理模块检测出图像视野内符合预先设定目标大小范围的运动目标，选取距离相机视野中心最近的目标作为待跟踪目标，并将跟踪结果反馈至所述主控模块；

所述主控模块根据所述反馈结果控制三轴稳定云台将所述待跟踪目标移动至图像中心，之后向所述变焦相机发送变焦指令，以使得所述变焦相机对所述待跟踪目标进行放大。

本发明实施例提供的无人机视觉跟踪系统及其控制方法，采用高清变焦摄像机，无需变化无人机与目标的位置关系即可完成目标的多分辨率拍摄，通过外部指令控制是否启用智能视觉功能及录像功能，方便使用，除了市面上视觉云台具备的录像拍摄功能，还集成了动目标指示、变视场目标持续跟踪智能视觉功能。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的无人机视觉跟踪系统的结构示意图；

图2为本发明另一个实施例的无人机视觉跟踪系统的功能模块及相互关系示意图；

图3为本发明再一个实施例的无人机视觉跟踪系统的结构示意图；

图4为本发明实施例提供的无人机视觉跟踪系统的控制方法的流程示意图；

图5为本发明另一个实施例提供的无人机视觉跟踪系统的控制方法的流程示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了克服现有技术的上述问题，本发明实施例提供了一种无人机视觉跟踪系统，其发明构思为：采用高清变焦摄像机，无需变化无人机与目标的位置关系即可完成目标的多分辨率拍摄，通过外部指令控制是否启用智能视觉功能及录像功能，方便使用，除了市面上视觉云台具备的录像拍摄功能，还集成了动目标指示、变视场目标持续跟踪智能视觉功能。

图1为本发明实施例提供的无人机视觉跟踪系统的结构示意图，如图所示，包括：

设置在无人机上的三轴稳定云台101，所述三轴稳定云台与变焦相机102连接。

需要说明的是，三轴稳定云台是一种实现目标物体——在本发明实施例中为变焦相机的姿态稳定控制的装置，即让变焦相机在运动中保存姿态，变焦相机应用了三轴稳定云台后可以保证在运动的过程中拍摄出平稳的画面。本发明实施例采用变焦相机，相比定焦相机，能够通过改变镜头的焦距产生不同的视觉和拍摄效果。

主控模块103，用于向所述变焦相机发送相机参数，以使得所述变焦相机根据所述相机参数拍摄图像并将拍摄的图像输出至所述主控模块，还用于接收外部发送的控制指令，并根据所述控制指令保存所述图像或者将所述图像以及配置参数发送至图像处理模块104。

需要说明的是，主控模块是本发明实施例中的控制中枢，一方面主控模块要想变焦相机发送相机参数以使得变焦相机拍摄图像，另一方面还需要接收外部的控制指令，根据控制指令的不同，执行不同的操作，比如在本地保存图像，或者将图像发送至图像处理模块继续处理。在本发明实施例中，相机参数可以是光圈大小、快门速度、感光度等等。

图像处理模块104，用于根据配置参数对主控模块发送的图像进行处理，并将所述处理结果返回至所述主控模块；相应地，所述主控模块还用于根据所述处理结果向所述三轴稳定云台输出控制信息，以使得所述三轴稳定平台控制所述变焦相机的姿态。

本发明实施例的无人机视觉跟踪系统首先采用高清变焦摄像机，无需变化无人机与目标的位置关系即可完成目标的多分辨率拍摄；其次智能化程度高，除了市面上视觉云台具备的录像拍摄功能，还集成了动目标指示、变视场目标持续跟踪智能视觉功能；最后可通过外部指令控制是否启用智能视觉功能及录像功能，方便使用。

在上述各实施例的基础上，作为一种可选实施例，三轴稳定云台包括：

三轴云台，包括俯仰轴电机、横滚轴电机以及航向轴电机，其中，

所述俯仰轴电机用于控制变焦相机的横滚姿态角，可控转动范围为-90°～+30°。所述横滚轴电机用于控制变焦相机的横滚姿态角，不提供外部可控接口。所述航向角电机用于控制相机的航向姿态角，可控转动范围为360°全向。

增稳模块，用于控制所述三轴云台保持所述变焦相机姿态稳定以及根据所述控制信息控制所述三轴云台改变所述变焦相机的姿态。

在上述各实施例的基础上，作为一种可选实施例，变焦相机通过标准LVDS接口与所述主控模块交互，通过LVDS接口完成对变焦相机的供电及相机控制。

在上述各实施例的基础上，作为一种可选实施例，主控模块通过HDMI接口与外部进行交互，具体地，所述主控模块通过HDMI接口向外部输出所述图像以及接收外部发送的控制指令。

图2为本发明另一个实施例的无人机视觉跟踪系统的功能模块及相互关系示意图，如图2所示，变焦相机M1通过标准LVDS接口与外部连接，通过LVDS接口获取供电并接收外部控制信号设置相机参数，其获取的图像数据也通过LVDS接口向外输出。

三轴稳定平台M2由三轴云台和增稳模块两部分组成，其中，增稳模块控制三轴云台电机实现自动姿态稳定功能，并接收外部输入的云台控制指令；

主控模块M3完成的主要功能包括图像数据采集和视频编码、存储，其与变焦相机通过标准LVDS接口交互，通过LVDS接口完成对变焦相机的供电及相机控制，其输出图像数据及配置参数给图像处理模块并接收图像处理模块的处理结果，并根据图像处理模块的输出结果产生控制信号发送到增稳模块以控制变焦相机姿态变化，其提供整个行业级无人机智能视觉云台系统与外部交互的接口，包括将采集的图像数据以HDMI接口输出，接收外部控制指令或传出处理结果；

图像处理模块M4用于实现智能图像处理功能，包括动目标指示、变视场下的视觉目标跟踪功能，其根据主控模块输入的功能配置参数启动相应的图像处理功能模块处理输入图像，并将处理结果发送给主控模块。

图3为本发明再一个实施例的无人机视觉跟踪系统的结构示意图，如图3所示，包括：变焦相机1、俯仰轴电机2、横滚轴电机3、航向轴电机4、连杆5、云台安装固定底座6、增稳模块7、主控模块8和图像处理模块9。

所述变焦相机1作为传感器固定在连杆上并与俯仰轴电机相连接，负责采集图像信息；

所述俯仰轴电机2的主要功能是控制相机的俯仰姿态角，其可控转动范围为-90°～+30°；

所述横滚轴电机3的主要功能是控制相机的横滚姿态角，其不提供外部可控接口；

所述航向轴电机4的主要功能是控制相机的航向姿态角，其可控转动范围为360°全向；

所述连杆5为碳纤维材料制成，其质量轻强度高，主要连接各个转向轴以及支撑变焦相机，同时各转向轴电机电源线、控制线以及变焦相机的信号线均嵌入在连杆中；

所述云台安装固定底座6用于将云台固定在无人机上；

所述增稳模块7用于控制三轴云台自动保持变焦相机姿态稳定，并能根据输入命令控制三轴云台改变变焦相机的姿态；

所述主控模块8，用于完成同变焦相机、增稳模块、图像处理模块之间的交互，并是整个系统与外界交互的接口，主要完成的功能包括图像数据采集、视频编码与存储；

所述图像处理模块9接收输入的图像信号和命令信息，根据设定的参数启动相应的图像处理功能，包括动目标指示、变视场下的视觉目标跟踪功能。

在上述各实施例的基础上，本发明实施例还提供一种无人机视觉跟踪系统的控制方法，图4为本发明实施例提供的无人机视觉跟踪系统的控制方法的流程示意图，如图4所示，包括：

S401、启动所述三轴稳定平台，以保持所述变焦相机姿态稳定；

S402、启动变焦相机采集图像；

S403、向所述主控模块输出控制指令，若所述控制指令为录像指令，则所述主控模块接收所述变焦相机输出的图像并进行视频编码和存储；若所述控制指令为启动智能视觉指令，则所述主控模块将接收的的图像输出至所述图像处理模块，以供所述图像处理模块对图像进行处理。

在上述各实施例的基础上，作为一种可选实施例，图像处理模块对图像进行处理，具体为：

图像处理模块检测出图像视野内符合预先设定目标大小范围的运动目标，选取距离相机视野中心最近的目标作为待跟踪目标，并将跟踪结果反馈至所述主控模块；

所述主控模块根据所述反馈结果控制三轴稳定云台将所述待跟踪目标移动至图像中心，之后向所述变焦相机发送变焦指令，以使得所述变焦相机对所述待跟踪目标进行放大。

图5为本发明另一个实施例提供的无人机视觉跟踪系统的控制方法的流程示意图，如图5所示，包括：

步骤S1：启动主控模块发出警示音提醒人工检查，若自检正常则启动三轴稳定云台自动姿态稳定功能，并执行随后步骤；

步骤S2：主控模块通过LVDS接口采集变焦相机输出的图像，并将图像数据输出到图像处理模块；

步骤S3：主控模块接收外部指令并解译，以执行相关随后步骤；

步骤S41：根据指令确定云台主控模块是否启用视频录像功能；

步骤S42：根据指令确定图像处理模块是否启用智能视觉功能，若是则首先启用动目标指示功能，检测出相机视野内符合预先设定目标大小范围的运动目标；

步骤S43：启用变视场跟踪功能，根据动目标指示的探测结果，从中选取距离相机视野中心最近的目标作为待跟踪目标，运行变视场下的视觉目标跟踪功能，将跟踪结果发送到云台主控模块，使其发送指令控制三轴稳定云台自动将目标移动至视野中心；待稳定跟踪后，通过云台主控模块发送指令控制高清变焦相机对目标进行放大成像，同时运行变视场下的视觉目标跟踪功能对其进行多分辨率、持续地跟踪，得到跟踪目标的高分辨率图像，并将目标跟踪结果发送给云台主控模块；

步骤S44：根据指令确定是否为退出指令，若是则停止系统运行。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (7)

1.一种无人机视觉跟踪系统，其特征在于，包括：

设置在无人机上的三轴稳定云台，所述三轴稳定云台与变焦相机连接；

主控模块，用于向所述变焦相机发送相机参数，以使得所述变焦相机根据所述相机参数拍摄图像并将拍摄的图像输出至所述主控模块，还用于接收外部发送的控制指令，并根据所述控制指令保存所述图像或者将所述图像以及配置参数发送至图像处理模块；

所述图像处理模块，用于根据配置参数对主控模块发送的图像进行处理，并将所述处理结果返回至所述主控模块；相应地，所述主控模块还用于根据所述处理结果向所述三轴稳定云台输出控制信息，以使得所述三轴稳定平台控制所述变焦相机的姿态。

2.根据权利要求1所述的无人机视觉跟踪系统，其特征在于，所述三轴稳定云台包括：

三轴云台，包括俯仰轴电机、横滚轴电机以及航向轴电机，其中，所述俯仰轴电机用于控制变焦相机的横滚姿态角，所述横滚轴电机用于控制变焦相机的横滚姿态角，所述航向角电机用于控制相机的航向姿态角；

增稳模块，用于控制所述三轴云台保持所述变焦相机姿态稳定以及根据所述控制信息控制所述三轴云台改变所述变焦相机的姿态。

3.根据权利要求1所述的无人机视觉跟踪系统，其特征在于，所述变焦相机通过标准LVDS接口与所述主控模块交互。

4.根据权利要求1所述的无人机视觉跟踪系统，其特征在于，所述图像处理模块对图像进行处理，具体为动目标指示以及变视场下的视觉目标跟踪。

5.根据权利要求1所述的无人机视觉跟踪系统，其特征在于，所述主控模块通过HDMI接口与外部进行交互，具体地，所述主控模块通过HDMI接口向外部输出所述图像以及接收外部发送的控制指令。

6.一种如权利要求1-5任意一项所述的无人机视觉跟踪系统的控制方法，其特征在于，包括：

启动所述三轴稳定平台，以保持所述变焦相机姿态稳定；

启动变焦相机采集图像；

向所述主控模块输出控制指令，若所述控制指令为录像指令，则所述主控模块接收所述变焦相机输出的图像并进行视频编码和存储；若所述控制指令为启动智能视觉指令，则所述主控模块将接收的的图像输出至所述图像处理模块，以供所述图像处理模块对图像进行处理。

7.根据权利要求6所述的控制方法，其特征在于，所述图像处理模块对图像进行处理，具体为：

图像处理模块检测出图像视野内符合预先设定目标大小范围的运动目标，选取距离相机视野中心最近的目标作为待跟踪目标，并将跟踪结果反馈至所述主控模块；

所述主控模块根据所述反馈结果控制三轴稳定云台将所述待跟踪目标移动至图像中心，之后向所述变焦相机发送变焦指令，以使得所述变焦相机对所述待跟踪目标进行放大。