CN112327936A - 一种基于ai技术的无人机前端物体识别跟踪系统及方法 - Google Patents

Abstract

本发明公开了一种基于AI技术的无人机前端物体识别跟踪系统及方法，包括地面站系统和无人机端的拍摄系统与飞控系统，拍摄系统对物体进行图像拍摄采集，然后传输给飞控系统，对拍摄的图像进行分析处理，提取物体类别位置信息传输给地面站系统，地面站系统接收信息后将物体信息显示在显示屏上，操作人员发出需要跟踪的物体的指令传送到飞控系统，飞控系统结合指令以及识别到的物体信息控制无人机，对物体进行追踪。本发明对无人机拍摄到的图像进行实时的物体识别，同时从地面站发送指定需要跟踪的物体类型，对指定物体进行跟踪。

Description

一种基于AI技术的无人机前端物体识别跟踪系统及方法

技术领域

本发明涉及物体识别跟踪领域，具体为一种基于AI技术的无人机前端物体识别跟踪系统及方法。

背景技术

近些年，无人机系统由于其灵活便携和空间机动性强等特点，逐步在测绘、搜救、房地产和农业等领域得以越来越广泛地应用，更是作为航拍或娱乐型无人机广受消费者喜爱。人们更多的使用无人机去跟拍一些运动中的物体，或者让无人机本身在运动的过程中拍摄一些物体。而运动过程中的拍摄需要人们对无人机或者云台进行精准的控制才能追踪到物体，甚至需要两个或者两个以上的人员才能完成这一操作。如果无人机能够自主完成在运动中对一些运动的物体的追踪，那么将会扩展无人机的用途。

发明内容

本发明的目的在于提供一种基于AI技术的无人机前端物体识别跟踪系统及方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种基于AI技术的无人机前端物体识别跟踪系统，包括：

地面站系统以及无人机端的飞控系统和拍摄系统，其中：

地面站系统，获取无人机拍摄的物体信息，同时监视无人机的姿态和位置信息，对无人机发出控制指令；

拍摄系统，对拍摄范围内的物体进行图像拍摄采集；

飞控系统，识别无人机采集到的图像中的物体类别和位置信息，并根据地面站发出的指令控制无人机对需要跟踪的物体进行追踪拍摄。

进一步的，所述地面站系统包括地面通信模块和与其电连接的地面登陆验证模块、指令输入模块与数据处理模块，所述地面登陆验证模块对操作人员输入的身份信息进行分析识别，成功认证后授予控制权限，操作人员通过指令输入模块输入对无人机控制的指令以及需要跟踪的物品的指令，指令通过地面通信模块传送到飞控系统，同时地面通信模块接收飞控系统采集到的数据并传输到数据处理模块，数据处理模块对数据信息进行解析，并在用户界面上呈现出来。

进一步的，所述所述拍摄系统包括摄像头和数据传输模块，所述摄像头通过云台搭载在无人机上，摄像头对拍摄范围内的图像进行采集，采集到的图像通过数据传输模块传输至飞控系统。

进一步的，所述飞控系统包括飞控通信模块、指令解析模块、物体识别模块、飞行控制模块和云台控制模块，所述飞控通信模块与地面站系统和拍摄系统进行数据交换，实现与地面站系统和拍摄系统间的通信，指令解析模块与飞控通信模块电连接对地面站系统和拍摄系统发送过来的指令以及数据进行解析，拍摄系统拍摄的图像数据经解析后传入到与指令解析模块电连接的物体识别模块，识别其中物体的类别以及位置信息，与指令解析模块电连接的飞行控制模块和云台控制模块获取指令信息以及物体信息，控制无人机飞行以及云台偏转对指定物体进行跟踪。

进一步的，所述物体识别模块包括指令安全检查模块、深度学习分类模块、类别位置提取模块和数据分发与订阅模块，所述指令安全检查模块检查从地面站发送的指令加载情况，深度学习分类模块对摄像头拍摄的视频中的数据进行运算分类并选出各个物体以及物体所在图像的相对位置，类别提取模块将各个物体类型以及物体所在图像的相对位置透传到数据分发与订阅模块中，数据分发与订阅模块将接收到的数据发送到地面站系统和飞控系统中。

一种基于AI技术的无人机前端物体识别跟踪方法，包括以下步骤：

S1：在地面站系统的参数配置模块内输入控制参数，控制无人机飞行；

S2：无人机对拍摄范围内的图像进行采集，采集到的图像数据经过数据传输模块传输到飞控系统内；

S3：飞控系统接收到图像数据后经指令解析模块进行解析然后传输到对应的物体识别模块内，进行如下处理：

第一步：指令及数据安全检查模块检查从地面站发送的数据，以及模块参数加载情况，如果正常则将指令下发到深度学习分类模块中；

第二步：深度学习分类模块对摄像头拍摄的图像中的物体数据根据已经训练出来的参数进行运算分类，选出各个物体以及物体所在图像的相对位置，发送到类别位置提取模块中；

第三步：类别位置提取模块将深度学习分类模块中得到的各个物体以及物体所在图像的相对位置透传到数据分发与订阅模块中，然后将检查地面站指定的物体是否在图像中，如果存在则将此数据也发送到数据分发模块；

第四步：数据分发与订阅模块将接收到的数据发送到地面站以及飞行控制模块中；

S4：地面站系统接收到飞控系统传回的数据后，经数据处理模块处理后呈现在用户界面上，操作人员对需要跟踪的物体发出指令；

S5：飞控系统的指令解析模块接收到指令后结合物体识别模块对图像数据的识别结果，解析得出无人机应当作出的飞行方向和云台应当偏转的方向信息传输到对应的飞行控制模块和云台控制模块内；

S6：飞行控制模块和云台控制模块根据指令解析模块发送过来的数据控制无人机跟踪指定物体，如果物体在拍摄图像中占比大于30％，则控制转动；如果小于30％则引导无人机飞近物体，并保持30％的占比，同时将图像数据不断向飞控系统传输，经物体识别模块识别后反馈到地面站系统。

与现有技术相比，本发明的有益效果是：对无人机拍摄到的图像进行实时的物体识别，同时从地面站发送指定需要跟踪的物体类型，对指定物体进行跟踪。

附图说明

图1为本发明系统构成示意图，

图2为本发明所述物体识别模块构成示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，本发明提供一种技术方案：一种基于AI技术的无人机前端物体识别跟踪系统，包括：

地面站系统以及无人机端的飞控系统和拍摄系统，其中：

地面站系统，获取无人机拍摄的物体信息，同时监视无人机的姿态和位置信息，对无人机发出控制指令；

拍摄系统，对拍摄范围内的物体进行图像拍摄采集；

飞控系统，识别无人机采集到的图像中的物体类别和位置信息，并根据地面站发出的指令控制无人机对需要跟踪的物体进行追踪拍摄。

所述地面站系统包括地面通信模块和与其电连接的地面登陆验证模块、指令输入模块与数据处理模块，所述地面登陆验证模块对操作人员输入的身份信息进行分析识别，成功认证后授予控制权限，操作人员通过指令输入模块输入对无人机控制的指令以及需要跟踪的物品的指令，指令通过地面通信模块传送到飞控系统，同时地面通信模块接收飞控系统采集到的数据并传输到数据处理模块，数据处理模块对数据信息进行解析，并在用户界面上呈现出来。

所述所述拍摄系统包括摄像头和数据传输模块，所述摄像头通过云台搭载在无人机上，摄像头对拍摄范围内的图像进行采集，采集到的图像通过数据传输模块传输至飞控系统。

所述飞控系统包括飞控通信模块、指令解析模块、物体识别模块、飞行控制模块和云台控制模块，所述飞控通信模块与地面站系统和拍摄系统进行数据交换，实现与地面站系统和拍摄系统间的通信，指令解析模块与飞控通信模块电连接对地面站系统和拍摄系统发送过来的指令以及数据进行解析，拍摄系统拍摄的图像数据经解析后传入到与指令解析模块电连接的物体识别模块，识别其中物体的类别以及位置信息，与指令解析模块电连接的飞行控制模块和云台控制模块获取指令信息以及物体信息，控制无人机飞行以及云台偏转对指定物体进行跟踪。

请参阅图2，所述物体识别模块包括指令安全检查模块、深度学习分类模块、类别位置提取模块和数据分发与订阅模块，所述指令安全检查模块检查从地面站发送的指令加载情况，深度学习分类模块对摄像头拍摄的视频中的数据进行运算分类并选出各个物体以及物体所在图像的相对位置，类别提取模块将各个物体类型以及物体所在图像的相对位置透传到数据分发与订阅模块中，数据分发与订阅模块将接收到的数据发送到地面站系统和飞控系统中。

一种基于AI技术的无人机前端物体识别跟踪方法，包括以下步骤：

S1：在地面站系统的参数配置模块内输入控制参数，控制无人机飞行；

S2：无人机对拍摄范围内的图像进行采集，采集到的图像数据经过数据传输模块传输到飞控系统内；

S3：飞控系统接收到图像数据后经指令解析模块进行解析然后传输到对应的物体识别模块内，进行如下处理：

第一步：指令及数据安全检查模块检查从地面站发送的数据，以及模块参数加载情况，如果正常则将指令下发到深度学习分类模块中；

第二步：深度学习分类模块对摄像头拍摄的图像中的物体数据根据已经训练出来的参数进行运算分类，选出各个物体以及物体所在图像的相对位置，发送到类别位置提取模块中；

第三步：类别位置提取模块将深度学习分类模块中得到的各个物体以及物体所在图像的相对位置透传到数据分发与订阅模块中，然后将检查地面站指定的物体是否在图像中，如果存在则将此数据也发送到数据分发模块；

第四步：数据分发与订阅模块将接收到的数据发送到地面站以及飞行控制模块中；

S4：地面站系统接收到飞控系统传回的数据后，经数据处理模块处理后呈现在用户界面上，操作人员对需要跟踪的物体发出指令；

S5：飞控系统的指令解析模块接收到指令后结合物体识别模块对图像数据的识别结果，解析得出无人机应当作出的飞行方向和云台应当偏转的方向信息传输到对应的飞行控制模块和云台控制模块内；

S6：飞行控制模块和云台控制模块根据指令解析模块发送过来的数据控制无人机跟踪指定物体，如果物体在拍摄图像中占比大于30％，则控制转动；如果小于30％则引导无人机飞近物体，并保持30％的占比，同时将图像数据不断向飞控系统传输，经物体识别模块识别后反馈到地面站系统。

所述第二步深度学习分类模块运算分类包括以下步骤：

步骤1，深度学习分类模块接收图像数据；

步骤2，预处理，包括如下步骤：

a，图像区与背景分离，避免在没有有效信息的区域进行特征提取，加速后续处理的速度，提高图像特征提取和匹配的精度；

b，图像增强，改善图像质量，恢复其原来的结构；

c，图像二值化，将图像从灰度图像转换为二值图像；

d，图像细化，将清晰但不均匀的二值图像转化成线宽仅为一个像素的点线图像；

步骤3，特征提取，将能够充分表示该图像唯一性的特征用数值的形式表达出来，保留真实特征，滤除虚假特征；

步骤4，图像分类，将图像以精确一致的方法分配到不同的图像库中；

步骤5，图像匹配，将当前图像特征与保存的模板图像特征进行比对；

步骤6，将各个各个物体以及物体所在图像的相对位置，发送到类别位置提取模块中。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (7)

1.一种基于AI技术的无人机前端物体识别跟踪系统，其特征在于，包括地面站系统以及无人机端的飞控系统和拍摄系统，其中：

地面站系统，获取无人机拍摄的物体信息，同时监视无人机的姿态和位置信息，对无人机发出控制指令；

拍摄系统，对拍摄范围内的物体进行图像拍摄采集；

飞控系统，识别无人机采集到的图像中的物体类别和位置信息，并根据地面站发出的指令控制无人机对需要跟踪的物体进行追踪拍摄。

2.根据权利要求1所述的基于AI技术的无人机前端物体识别跟踪系统，其特征在于，所述地面站系统包括地面通信模块和与其电连接的地面登陆验证模块、指令输入模块与数据处理模块，所述地面登陆验证模块对操作人员输入的身份信息进行分析识别，成功认证后授予控制权限，操作人员通过指令输入模块输入对无人机控制的指令以及需要跟踪的物品的指令，指令通过地面通信模块传送到飞控系统，同时地面通信模块接收飞控系统采集到的数据并传输到数据处理模块，数据处理模块对数据信息进行解析，并在用户界面上呈现出来。

3.根据权利要求1所述的基于AI技术的无人机前端物体识别跟踪系统，其特征在于，所述所述拍摄系统包括摄像头和数据传输模块，所述摄像头通过云台搭载在无人机上，摄像头对拍摄范围内的图像进行采集，采集到的图像通过数据传输模块传输至飞控系统。

4.根据权利要求1所述的基于AI技术的无人机前端物体识别跟踪系统，其特征在于，所述飞控系统包括飞控通信模块、指令解析模块、物体识别模块、飞行控制模块和云台控制模块，所述飞控通信模块与地面站系统和拍摄系统进行数据交换，实现与地面站系统和拍摄系统间的通信，指令解析模块与飞控通信模块电连接对地面站系统和拍摄系统发送过来的指令以及数据进行解析，拍摄系统拍摄的图像数据经解析后传入到与指令解析模块电连接的物体识别模块，识别其中物体的类别以及位置信息，与指令解析模块电连接的飞行控制模块和云台控制模块获取指令信息以及物体信息，控制无人机飞行以及云台偏转对指定物体进行跟踪。

5.根据权利要求4所述的基于AI技术的无人机前端物体识别跟踪系统，其特征在于，所述物体识别模块包括指令安全检查模块、深度学习分类模块、类别位置提取模块和数据分发与订阅模块，所述指令安全检查模块检查从地面站发送的指令加载情况，深度学习分类模块对摄像头拍摄的视频中的数据进行运算分类并选出各个物体以及物体所在图像的相对位置，类别提取模块将各个物体类型以及物体所在图像的相对位置透传到数据分发与订阅模块中，数据分发与订阅模块将接收到的数据发送到地面站系统和飞控系统中。

6.一种基于AI技术的无人机前端物体识别跟踪方法，其特征在于，包括以下步骤：

S1：在地面站系统的参数配置模块内输入控制参数，控制无人机飞行；

S2：无人机对拍摄范围内的图像进行采集，采集到的图像数据经过数据传输模块传输到飞控系统内；

S3：飞控系统接收到图像数据后经指令解析模块进行解析然后传输到对应的物体识别模块内，识别其中物体的类别并提取位置信息，然后将结果传输到指令解析模块和地面站系统；

S4：地面站系统接收到飞控系统传回的数据后，经数据处理模块处理后呈现在用户界面上，操作人员对需要跟踪的物体发出指令；

S5：飞控系统的指令解析模块接收到指令后结合物体识别模块对图像数据的识别结果，解析得出无人机应当作出的飞行方向和云台应当偏转的方向信息传输到对应的飞行控制模块和云台控制模块内；

S6：飞行控制模块和云台控制模块根据指令解析模块发送过来的数据控制无人机跟踪指定物体，如果物体在拍摄图像中占比大于30％，则控制转动；如果小于30％则引导无人机飞近物体，并保持30％的占比，同时将图像数据不断向飞控系统传输，经物体识别模块识别后反馈到地面站系统。

7.根据权利要求6所述的基于AI技术的无人机前端物体识别跟踪方法，其特征在于，所述步骤S3中物体识别模块对图像数据的处理过程如下：

第一步：指令及数据安全检查模块检查从地面站发送的数据，以及模块参数加载情况，如果正常则将指令下发到深度学习分类模块中；

第二步：深度学习分类模块对摄像头拍摄的图像中的物体数据根据已经训练出来的参数进行运算分类，选出各个物体以及物体所在图像的相对位置，发送到类别位置提取模块中；

第三步：类别位置提取模块将深度学习分类模块中得到的各个物体以及物体所在图像的相对位置透传到数据分发与订阅模块中，然后将检查地面站指定的物体是否在图像中，如果存在则将此数据也发送到数据分发模块；

第四步：数据分发与订阅模块将接收到的数据发送到地面站以及飞行控制模块中。

Images