CN106980372B - 一种无需地面操控终端的无人机操控方法及系统 - Google Patents
一种无需地面操控终端的无人机操控方法及系统 Download PDFInfo
- Publication number
- CN106980372B CN106980372B CN201710184589.9A CN201710184589A CN106980372B CN 106980372 B CN106980372 B CN 106980372B CN 201710184589 A CN201710184589 A CN 201710184589A CN 106980372 B CN106980372 B CN 106980372B
- Authority
- CN
- China
- Prior art keywords
- gesture
- pixel point
- computing unit
- unit
- unmanned aerial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 239000013598 vector Substances 0.000 claims abstract description 49
- 238000001514 detection method Methods 0.000 claims abstract description 22
- 238000004364 calculation method Methods 0.000 claims description 64
- 238000013507 mapping Methods 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 10
- 230000009471 action Effects 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 2
- 238000011017 operating method Methods 0.000 abstract 1
- 238000012545 processing Methods 0.000 description 10
- 238000012706 support-vector machine Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000001035 drying Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Image Analysis (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明提供一种无需地面操控终端的无人机操控方法，包括：接收操控者的手势图像；识别所述手势图像，并将其转化为手势号；将所述手势号映射为对应的飞行指令；根据所述飞行指令，执行相应的飞行动作；其中，识别所述手势图像又包括：提取所述手势图像的手势特征向量；利用检测模型对所述特征向量进行检测分类，输出对应的手势号；所述操作步骤全部在无人机侧执行。本发明所提供的无需地面操控终端的无人机操控方法，操作者无需使用操作终端进行手势识别，而是通过无人机直接获取操作者的手势信息，并直接在无人机侧进行识别，转换为飞行指令，进而执行相应的飞行动作，因此极大的降低了操作复杂性和对操作者的要求。
Description
技术领域
本发明涉及无人机技术领域，尤其涉及一种无需地面操控终端的无人机操控方法及系统。
背景技术
传统的无人机飞行是通过操作员手动操作无线遥控设备上的操作功能键或杆，控制无人机的飞行方向。但由于无人机在空中飞行时，容易受到应用环境和其他干扰因素的影响，或容易受到操作员自身原因的影响，极有可能导致操作受到限制或不够精准。因此，通过无线遥控设备上的操作功能键或杆对无人机进行飞行控制，对操作者的要求较高且操作复杂性较高。
因此，如何提升对无人机飞行控制的可操作性和可靠性是本领域技术人员需要解决的技术问题。
发明内容
针对上述技术问题，本发明提供一种无需地面操控终端的无人机操控方法及系统，使得无人机能够获取操作者的手势信息，并将其转换成无人机可处理的飞行控制信号，执行对应的飞行。
本发明提供的一种无需地面操控终端的无人机操控方法，包括：接收操控者的手势图像；识别所述手势图像，并将其转化为手势号；将所述手势号映射为对应的飞行指令；根据所述飞行指令，执行相应的飞行动作；其中，识别所述手势图像并将其转化为手势号，又包括：提取所述手势图像的特征向量；利用检测模型对所述特征向量进行检测分类，输出对应的手势号；所述操作步骤全部在无人机侧执行。
优选的，所述特征向量的提取包括：采用局部二值模式算法，遍历所述手势图像中每个像素点，以每个所述像素点为中心像素点的第一计算单元作为基本计算单元，计算出每个所述像素点的特征值；将一个第一计算单元划分成四个第二计算单元，分别对每个所述第二计算单元内所有像素点的所述特征值进行几何平均计算，得到每个所述第二计算单元的特征值；由每个所述第二计算单元的特征值，计算得到所述一个第一计算单元的特征向量；根据步长遍历所述手势图像中数个像素点，分别计算出所述数个像素点中的每一个作为中心像素点所形成的数个第一计算单元的数个特征向量；其中所述第一计算单元为一个n×n的像素点窗口。
优选的，所述检测模型是通过多个样本图像训练生成的SVM多尺度多分类检测模型，包括：提取预先收集的手势识别样本集的样本图像的特征向量；选用sigmoid核函数，将所述样本图像的特征向量映射到高维空间，在所述高维空间中进行分类调整，形成最优的支持向量。
优选的，所述将一个第一计算单元划分成四个第二计算单元的步骤，包括：将第一计算单元的中心像素点与第一计算单元左上角的一个像素点作为第一个第二计算单元的一组对角处的像素点；将第一计算单元的中心像素点与第一计算单元右上角的一个像素点作为第二个第二计算单元的一组对角处的像素点；将第一计算单元的中心像素点与第一计算单元右下角的一个像素点作为第三个第二计算单元的一组对角处的像素点；将第一计算单元的中心像素点与第一计算单元左下角的一个像素点作为第四个第二计算单元的一组对角处的像素点；其中，所述第二计算单元为一个的像素点窗口。
优选的，所述步长的值至少为一个像素点且不超过所述手势图像内横向或纵向的像素点总个数，所述步长的值每增加一个像素点，相应的所述第一计算单元的个数会减少。
优选的，将所述手势号映射为对应的飞行指令的步骤，包括：根据数据配置表，查找所述手势号对应的飞行指令；其中，所述手势号在数据配置表中通过自定义关联对应飞行指令，所述数据配置表为可实时扩充的指令表。
优选的，在对所述数据配置表进行查找的过程中，如果在所述数据配置表内未找到所述手势号，则放弃所述手势号；如果在所述数据配置表内找到所述手势号，则将所述手势号对应匹配的飞行指令，反馈至无人机。
一种无需地面操控终端的无人机操控系统，包括：接收单元，接收操控者的手势图像；识别单元，识别所述手势图像，并将其转化为手势号；转换单元，将所述手势号映射为对应的飞行指令；执行单元，根据所述飞行指令，执行相应的飞行动作；其中，所述识别单元又包括特征提取单元和手势检测识别单元，所述特征提取单元提取所述手势图像的特征向量；所述手势检测识别单元利用检测模型对所述手势图像的特征向量进行检测分类，输出对应的手势号；所述的全部单元都设置在无人机上。
优选的，所述特征提取单元提取所述特征向量包括：采用局部二值模式算法，遍历所述手势图像中每个像素点，以每个所述像素点为中心像素点的第一计算单元作为基本计算单元，计算出每个所述像素点的特征值；将一个第一计算单元划分成四个第二计算单元，分别对每个所述第二计算单元内所有像素点的所述特征值进行几何平均计算，得到每个所述第二计算单元的特征值；由每个所述第二计算单元的特征值，计算得到所述一个第一计算单元的特征向量；根据步长遍历所述手势图像中数个像素点，分别计算出所述数个像素点中的每一个作为中心像素点所形成的数个第一计算单元的数个特征向量；其中所述第一计算单元为一个n×n的像素点窗口。
优选的，所述检测模型是通过多个样本图像训练生成的SVM多尺度多分类检测模型，包括：提取出预先收集的手势识别样本集的样本图像的特征向量；选用sigmoid核函数，将所述样本图像的特征向量映射到高维空间，在所述高维空间中进行分类调整，形成最优的支持向量。
优选的，所述将一个第一计算单元划分成四个第二计算单元的步骤，包括：将第一计算单元的中心像素点与第一计算单元左上角的一个像素点作为第一个第二计算单元的一组对角处的像素点；将第一计算单元的中心像素点与第一计算单元右上角的一个像素点作为第二个第二计算单元的一组对角处的像素点；将第一计算单元的中心像素点与第一计算单元右下角的一个像素点作为第三个第二计算单元的一组对角处的像素点；将第一计算单元的中心像素点与第一计算单元左下角的一个像素点作为第四个第二计算单元的一组对角处的像素点；其中，所述第二计算单元为一个的像素点窗口。
优选的，所述步长的值至少为一个像素点且不超过所述手势图像内横向或纵向的像素点总个数，所述步长的值每增加一个像素点，相应的所述第一计算单元的个数会减少。
优选的，所述转换单元将所述手势号映射为对应的飞行指令的步骤，包括：根据数据配置表，查找所述手势号对应的飞行指令；其中，所述手势号在数据配置表中通过自定义关联对应飞行指令，所述数据配置表为可实时扩充的指令表。
优选的，在对所述数据配置表进行查找的过程中，如果在所述数据配置表内未找到所述手势号，则放弃所述手势号；如果在所述数据配置表内找到所述手势号，则将所述手势号对应匹配的飞行指令，反馈至无人机。
一种应用所述无人机操控系统的无人机。
根据本发明所提供的无需地面操控终端的无人机操控方法，操作者无需使用操作终端进行手势识别，而是通过无人机直接获取操作者的手势信息，并直接在无人机侧进行识别，转换为飞行指令，进而执行相应的飞行动作，因此极大的降低了操作复杂性和对操作者的要求。
附图说明
仅以例举为目的，以下将参考附图对本发明（包括附图所示）的具体实施方式进行说明，其中：
图1为本发明实施例公开的一种无人机的操控方法流程图；
图2为本发明实施例公开的以3×3表示的第一计算单元为基本计算单元的示意图；
图3为本发明实施例公开的以3×3表示的第一计算单元划分为四个第二计算单元的示意图；
图4为本发明实施例公开的以n×n表示的第一计算单元划分为四个第二计算单元的示意图；
图5为本发明实施例公开的一种无人机的操控系统的结构示意图。
具体实施方式
下面结合附图对本发明的技术方案作进一步的详细描述，通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例公开一种无需地面操控终端的无人机操控方法及系统，以实现对无人机的安全可靠控制。
参见图1，本发明实施例公开一种无需地面操控终端的无人机操控方法流程图，其步骤包括：
步骤S100，采集操控者的手势图像；
无人机上设置的摄像头对操作者的手势图像进行采集，其形成过程具体为：无人机上设置的摄像头中的感光元件接收到视场内的物体反射的光线，将光信号转换为电信号，然后连接到图像处理单元（ISP），图像处理单元对原始的图像数据进行一系列的处理，包括去马赛克、图像去燥、自动聚焦、自动曝光、伽马矫正、白平衡、颜色空间、图像缩放等一系列的预处理，最终得到正常的图像流，供无人机内的处理单元读取相应的帧数据，即待处理的图像数据，供进一步的处理。
所述手势图像包括基于操控者手势识别的控制动作，不同的手势图像代表不同的操作功能，例如左右手臂移动，控制无人机对应向左向右飞行；手臂前后移动，控制无人机对应向前向后飞行；手臂上下移动，控制无人机对应向上向下飞行，握拳控制无人机开始录像；手指并拢伸直控制无人机降落；剪刀手控制无人机拍照，上述手势信息及其所代表的飞行功能仅作为举例说明，也可以有其它形式的手势信息及与其对应的飞行功能。
步骤S200，识别所述手势图像，并将其转化为手势号；
其中，识别所述手势图像并将其转化为数字信号的过程具体如下：
步骤S201，提取所述手势图像的特征向量；
在本发明中，手势图像特征的提取主要是采用局部加权平均方法。该方法的优点是过滤了一些训练样本干扰，在大样本量的情况下能够获得更好的数据识别模型。该局部加权平均方法具体如下：
首先采用局部二值模式（LBP，Local Binary Pattern）算法，以第一计算单元为基本的计算单元，遍历并计算出采集的手势图像中每个像素点的特征值。
具体的，在基本的LBP算法中，在采集的手势图像内以n×n的像素点窗口作为第一计算单元M1，计算出所述第一计算单元M1内中心像素点的LBP值。如图2所示，以一个3×3的像素点窗口表示的第一计算单元M1作为示例说明该步骤的处理过程。在一个3×3的第一计算单元M1内，以所述第一计算单元M1内的中心像素点为阈值，将与该中心像素点相邻的周围8个像素点的灰度值分别与该中心像素点的灰度值进行比较，若相邻的周围像素点的灰度值大于中心像素点的灰度值，则该周围像素点的位置被标记为1，否则为0。这样，一个3×3的第一计算单元M1内除中心像素点外的周围8个像素点经比较可产生8位二进制数值（通常转换为十进制数即LBP码），即得到上述第一计算单元M1内的中心像素点的LBP值，其中，第一计算单元M1内的中心像素点的LBP值的计算公式表示为：
；
其中，p表示第一计算单元M1内中心像素点的周围像素点的个数，gp表示第一计算单元M1内除中心像素点外的周围像素点的灰度值，gc表示第一计算单元M1内中心像素点的灰度值，R表示第一计算单元M1内像素点组成的内切圆的直径。
在计算出一个第一计算单元M1的中心像素点的LBP值后，以该第一计算单元M1的中心像素点为当前起点向周围的像素点迁移，可迁移至周围的任意像素点，然后以迁移后所在位置处的像素点为新的中心像素点，形成一个新的3×3的第一计算单元M1，重新计算得到所述新的中心像素点的LBP值，依次类推，遍历图像中每个像素点即可分别算出图像中每个像素点的特征值，并用这个值来反映该区域的纹理信息。
另外，在上述一个3×3的第一计算单元M1中，所述内切圆是以中心像素点为圆心，以包括中心像素点在内的3个直线排列的相邻像素点的长度为内切圆直径。上述3×3的第一计算单元只是n×n的第一计算单元M1中的一个特例，为了适应不同尺寸的纹理特征，并达到灰度和旋转不变形的要求，所述3×3的第一计算单元M1可通过改变内切圆的直径R进行扩展，即所述内切圆还可以中心像素点为内切圆圆心，内切圆直径以包括中心像素点在内的5个直线排列的相邻像素点、7个直线排列的相邻像素点、9个直线排列的相邻像素点或更多等方式以此类推向外扩展，从而形成不同尺寸n×n的像素点窗口。
其次，将一个第一计算单元划分为四个第二计算单元，并分别对每一个第二计算单元进行几何平均计算，得到每一个第二计算单元的修正的LBP算子。
具体的，仍以3×3的像素点窗口表示的第一计算单元M1作为示例说明该步骤的处理过程，如图3所示，在该3×3的像素点窗口表示的第一计算单元M1中，将中心像素点与第一计算单元M1左上角的一个像素点作为第一个第二计算单元R1的一组对角处的像素点；同理，将中心像素点与第一计算单元M1右上角的一个像素点作为第二个第二计算单元R2的一组对角处的像素点；将中心像素点与第一计算单元M1右下角的一个像素点作为第三个第二计算单元R3的一组对角处的像素点；将中心像素点与第一计算单元M1左下角的一个像素点作为第四个第二计算单元R4的一组对角处的像素点，因此图3中所示的一个3×3的第一计算单元可依次划分为四个第二计算单元，划分得到的每个第二计算单元的规格是3×3的像素点窗口。然而，上述3×3的第一计算单元只是n×n的第一计算单元的一种特例。
通用的，对于n×n的像素点窗口表示的第一计算单元，如图4所示，将其划分为四个第二计算单元所采用的方法与上述3×3的第一计算单元的划分方式相同，仍是将第一计算单元M1的中心像素点与第一计算单元M1左上角的一个像素点作为第一个第二计算单元R1的一组对角处的像素点，同理，将第一计算单元M1的中心像素点与第一计算单元M1右上角的一个像素点作为第二个第二计算单元R2的一组对角处的像素点；将第一计算单元M1的中心像素点与第一计算单元M1右下角的一个像素点作为第三个第二计算单元R3的一组对角处的像素点；将第一计算单元M1的中心像素点与第一计算单元M1左下角的一个像素点作为第四个第二计算单元R4的一组对角处的像素点，因此一个n×n的像素点窗口表示的第一计算单元被划分仍可得到四个第二计算单元，并且每个第二计算单元的规格是一个的像素点窗口。
对于上述得到的其中任意一个第二计算单元，将所述第二计算单元内包含的所有像素点进行几何平均计算，得到关于所述第二计算单元的一个特征值，即修正的LBP算子，其中，对于每一个第二计算单元，其特征值的计算表示如下：
其中，， 表示一个第二计算单元中的一个像素点的LBP值，LR表示一个第二计算单元的修正的LBP算子，i表示一个第二计算单元内的行数，j表示一个第二计算单元内的列数。
按照上述计算方式，上述依次划分得到的四个第二计算单元，通过上述计算可分别得到四个对应的修正的LBP算子LR1、LR2、LR3和LR4。
再次，在所述第一计算单元内，利用上述得到的4个第二计算单元的修正的LBP算子进行计算，得到表示所述第一计算单元的特征向量，其计算式表示如下：
其中，本地整体结构（LOS, local overall structure）表示第一计算单元的特征向量，表示经验参数，其具体值依据应用模型具体设置。
在计算出一个上述第一计算单元的特征向量后，以该第一计算单元的中心像素点为当前起点向周围的像素点迁移，可迁移至周围的任意像素点，然后以迁移后所在位置处的像素点为新的中心像素点，形成一个新的第一计算单元，按照上述划分方法和计算方法计算出新的第一计算单元的特征向量，依次类推，遍历手势图像中数个像素点即可分别得到以这些像素点为中心像素点的第一计算单元的特征向量。一个手势图像中数个第一计算单元的特征向量的集合则代表此手势图像的手势图像特征。其中，从一个像素点迁移至另一个像素点的步长L的选取会对算法的执行效率产生重要影响，步长L的值最小为一个像素点，最大为N-1个像素点，N为手势图像内横向或纵向的像素点个数。步长L每增加1个像素点对应遍历时候的第一计算单元会减少到原来的1/2N倍，具体的步长大小要根据检测手势的大小和获取的视频帧的图像尺寸而定，根据经验值多次试验得出，步长过大会丢失部分第一计算单元的手势图像信息，步长过小对手势图像内特征提取的计算量会过于庞大，且容易捕捉不到丰富的边缘信息。
步骤S202，采用基于支持向量机（SVM, support vector machine）多尺度多分类检测模型对所述手势信息进行检测识别，输出对应的手势号。
所述SVM多尺度多分类检测模型是事先通过多个图像数据训练形成的，其生成过程具体如下：
事先收集手势识别样本集，其中收集的手势识别样本集中，包括正样本集和负样本集，正样本集指的是具有手势的一定数量的样本图像，负样本集指的是没有手势的样本图像。依次加载所述正负样本集，按照步骤S201中所述的计算方法，计算得到样本集中每个样本图像内数个第二计算单元的特征向量，这些特征向量构成集合，即为最终的每个样本图像的特征向量。
用SVM分类训练方法进行训练，加载上面得到的样本图像的特征向量，选用sigmoid核函数，将所述样本图像的特征向量的特征数据映射到高维空间，在所述高维空间中进行分类调整，计算得到支持向量，即形成手势识别模型。
用上述形成的手势识别模型对无人机采集的所述手势图像的特征向量进行分类标注，得到所述手势图像对应的手势号，所述手势号对应的为二进制形式的数字数据。
步骤S300，将所述手势号映射成对应的飞行指令，发送给无人机；
无人机的处理单元内部具有一个数据配置表，所述处理单元根据所述手势号对所述数据配置表进行查询，查找所述手势号所映射的飞行指令。其中，在数据配置表中，每一个手势号通过自定义关联对应一个飞行指令，在对所述数据配置表进行查找的过程中，如果在该数据配置表内未找到该手势号，则放弃该手势号；如果在该数据配置表内找到该手势号，则将该手势号对应匹配的飞行指令，反馈至无人机的处理单元。该配置表为可实时扩充的指令表，可随着识别手势号的增加而增加配置表，所述扩充是指预先往存储ROM中追加新的手势号与新的飞行指令的配对关系。
操作者连续执行多个手势时，可依次生成多个手势号，并根据数据配置表相应映射成多个飞行指令。
步骤S400，无人机根据所述飞行指令，执行相应的飞行动作或其它动作。
无人机的处理单元接收到飞行指令后，将数字化的飞行控制协议转换成飞行器件支持的控制信号，控制相应的飞行器件运行。其中，所述飞行器件包括飞机上各硬件结构和软件控制等。
综上所述，当操作员通过手势对无人机进行遥控时，无线遥控终端上的采集器采集操控者的手势信息，识别所述手势信息，并将其转化为数字信号，将所述手势号转换成对应的飞行指令，发送给无人机，无人机执行该飞行指令。
与上述方法实施例相对应，本发明还提供了一种无需地面操控终端的无人机操控系统1。
参见图5，本发明实施例公开的一种无需地面操控终端的无人机操控系统的结构示意图，包括：
接收单元10，用于接收无人机相机采集的操作员的手势图像；
识别单元20，用于识别采集的手势图像，并将其转换成数字形式的手势号；
其中，所述识别单元20又包括特征提取单元21和手势检测识别单元22，特征提取单元21用于将手势图像转化成特征向量；所述手势检测识别单元22用于将所述特征向量进行分类标注，输出相应的手势号。
转换单元30，用于将所述手势号转换成对应的飞行指令，反馈给无人机；
执行单元40，根据所述飞行指令，执行相应的飞行动作。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
Claims (11)
1.一种无需地面操控终端的无人机操控方法，其特征在于，包括：
S1：接收操控者的手势图像；
S2：识别所述手势图像，并将其转化为手势号；
S3：将所述手势号映射为对应的飞行指令；
S4：根据所述飞行指令，执行相应的飞行动作；
其中，步骤S2又包括：
A1：提取所述手势图像的特征向量；
A2：利用检测模型对所述特征向量进行检测分类，输出对应的手势号；
所述步骤S1-S4全部在无人机侧执行；
在步骤A1中，所述特征向量的提取包括：
采用局部二值模式算法，遍历所述手势图像中每个像素点，以每个所述像素点为中心像素点的第一计算单元作为基本计算单元，计算出每个所述像素点的特征值；
将一个第一计算单元划分成四个第二计算单元，分别对每个所述第二计算单元内所有像素点的所述特征值进行几何平均计算，得到每个所述第二计算单元的特征值；
由每个所述第二计算单元的特征值，计算得到所述一个第一计算单元的特征向量；
根据步长遍历所述手势图像中数个像素点，分别计算出所述数个像素点中的每一个作为中心像素点所形成的数个第一计算单元的数个特征向量；
其中所述第一计算单元为一个n×n的像素点窗口；
所述将一个第一计算单元划分成四个第二计算单元的步骤，包括：
将第一计算单元的中心像素点与第一计算单元左上角的一个像素点作为第一个第二计算单元的一组对角处的像素点；
将第一计算单元的中心像素点与第一计算单元右上角的一个像素点作为第二个第二计算单元的一组对角处的像素点；
将第一计算单元的中心像素点与第一计算单元右下角的一个像素点作为第三个第二计算单元的一组对角处的像素点；
将第一计算单元的中心像素点与第一计算单元左下角的一个像素点作为第四个第二计算单元的一组对角处的像素点；
其中，所述第二计算单元为一个的像素点窗口。
2.根据权利要求1所述的无人机操控方法，其特征在于：在步骤A2中，所述检测模型是通过多个样本图像训练生成的SVM多尺度多分类检测模型，包括：
提取预先收集的手势识别样本集的样本图像的特征向量；
选用sigmoid核函数，将所述样本图像的特征向量映射到高维空间，在所述高维空间中进行分类调整，形成最优的支持向量。
3.根据权利要求1所述的无人机操控方法，其特征在于：所述步长的值至少为一个像素点且不超过所述手势图像内横向或纵向的像素点总个数，所述步长的值每增加一个像素点，相应的所述第一计算单元的个数会减少。
4.根据权利要求1所述的无人机操控方法，其特征在于：在步骤S3中，将所述手势号映射为对应的飞行指令，包括：
根据数据配置表，查找所述手势号对应的飞行指令；
其中，所述手势号在数据配置表中通过自定义关联对应飞行指令，所述数据配置表为可实时扩充的指令表。
5.根据权利要求4所述的无人机操控方法，其特征在于：在对所述数据配置表进行查找的过程中，如果在所述数据配置表内未找到所述手势号，则放弃所述手势号；如果在所述数据配置表内找到所述手势号，则将所述手势号对应匹配的飞行指令，反馈至无人机。
6.一种无需地面操控终端的无人机操控系统，其特征在于，包括：
接收单元，接收操控者的手势图像；
识别单元，识别所述手势图像，并将其转化为手势号；
转换单元，将所述手势号映射为对应的飞行指令；
执行单元，根据所述飞行指令，执行相应的飞行动作；
其中，所述识别单元又包括特征提取单元和手势检测识别单元，所述特征提取单元提取所述手势图像的特征向量；所述手势检测识别单元利用检测模型对所述手势图像的特征向量进行检测分类，输出对应的手势号；
所述的接收单元、识别单元、转换单元、执行单元都设置在无人机上；
所述特征提取单元提取所述特征向量的步骤包括：
采用局部二值模式算法，遍历所述手势图像中每个像素点，以每个所述像素点为中心像素点的第一计算单元作为基本计算单元，计算出每个所述像素点的特征值；
将一个第一计算单元划分成四个第二计算单元，分别对每个所述第二计算单元内所有像素点的所述特征值进行几何平均计算，得到每个所述第二计算单元的特征值；
由每个所述第二计算单元的特征值，计算得到所述一个第一计算单元的特征向量；
根据步长遍历所述手势图像中数个像素点，分别计算出所述数个像素点中的每一个作为中心像素点所形成的数个第一计算单元的数个特征向量；
其中所述第一计算单元为一个n×n的像素点窗口；
所述将一个第一计算单元划分成四个第二计算单元的步骤，包括：
将第一计算单元的中心像素点与第一计算单元左上角的一个像素点作为第一个第二计算单元的一组对角处的像素点；
将第一计算单元的中心像素点与第一计算单元右上角的一个像素点作为第二个第二计算单元的一组对角处的像素点；
将第一计算单元的中心像素点与第一计算单元右下角的一个像素点作为第三个第二计算单元的一组对角处的像素点；
将第一计算单元的中心像素点与第一计算单元左下角的一个像素点作为第四个第二计算单元的一组对角处的像素点；
其中，所述第二计算单元为一个的像素点窗口。
7.根据权利要求6所述的无人机操控系统，其特征在于：所述检测模型是通过多个样本图像训练生成的SVM多尺度多分类检测模型，包括：
提取出预先收集的手势识别样本集的样本图像的特征向量；
选用sigmoid核函数，将所述样本图像的特征向量映射到高维空间，在所述高维空间中进行分类调整，形成最优的支持向量。
8.根据权利要求6所述的无人机操控系统，其特征在于：所述步长的值至少为一个像素点且不超过所述手势图像内横向或纵向的像素点总个数，所述步长的值每增加一个像素点，相应的所述第一计算单元的个数会减少。
9.根据权利要求6所述的无人机操控系统，其特征在于：所述转换单元将所述手势号映射为对应的飞行指令的步骤，包括：
根据数据配置表，查找所述手势号对应的飞行指令；
其中，所述手势号在数据配置表中通过自定义关联对应飞行指令，所述数据配置表为可实时扩充的指令表。
10.根据权利要求9所述的无人机操控系统，其特征在于：在对所述数据配置表进行查找的过程中，如果在所述数据配置表内未找到所述手势号，则放弃所述手势号；如果在所述数据配置表内找到所述手势号，则将所述手势号对应匹配的飞行指令，反馈至无人机。
11.一种应用权利要求6-10中任一项所述无人机操控系统的无人机。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710184589.9A CN106980372B (zh) | 2017-03-24 | 2017-03-24 | 一种无需地面操控终端的无人机操控方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710184589.9A CN106980372B (zh) | 2017-03-24 | 2017-03-24 | 一种无需地面操控终端的无人机操控方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106980372A CN106980372A (zh) | 2017-07-25 |
| CN106980372B true CN106980372B (zh) | 2019-12-03 |
Family
ID=59338488
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710184589.9A Active CN106980372B (zh) | 2017-03-24 | 2017-03-24 | 一种无需地面操控终端的无人机操控方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106980372B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107608510A (zh) * | 2017-09-13 | 2018-01-19 | 华中师范大学 | 手势模型库的建立方法、装置及电子设备 |
| CN107831791B (zh) * | 2017-11-17 | 2020-12-15 | 深圳意动航空科技有限公司 | 一种无人机的操控方法、装置、操控设备及存储介质 |
| WO2019144295A1 (zh) * | 2018-01-23 | 2019-08-01 | 深圳市大疆创新科技有限公司 | 一种飞行控制方法、设备、飞行器、系统及存储介质 |
| CN109634410A (zh) * | 2018-11-28 | 2019-04-16 | 上海鹰觉科技有限公司 | 基于手势识别的无人机拍照方法和系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104020848A (zh) * | 2014-05-15 | 2014-09-03 | 中航华东光电（上海）有限公司 | 一种静态手势识别方法 |
| CN104808799A (zh) * | 2015-05-20 | 2015-07-29 | 成都通甲优博科技有限责任公司 | 一种能够识别手势的无人机及其识别方法 |
| CN105701495A (zh) * | 2016-01-05 | 2016-06-22 | 贵州大学 | 图像纹理特征提取方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8396252B2 (en) * | 2010-05-20 | 2013-03-12 | Edge 3 Technologies | Systems and related methods for three dimensional gesture recognition in vehicles |
-
2017
- 2017-03-24 CN CN201710184589.9A patent/CN106980372B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104020848A (zh) * | 2014-05-15 | 2014-09-03 | 中航华东光电（上海）有限公司 | 一种静态手势识别方法 |
| CN104808799A (zh) * | 2015-05-20 | 2015-07-29 | 成都通甲优博科技有限责任公司 | 一种能够识别手势的无人机及其识别方法 |
| CN105701495A (zh) * | 2016-01-05 | 2016-06-22 | 贵州大学 | 图像纹理特征提取方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106980372A (zh) | 2017-07-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106980372B (zh) | 一种无需地面操控终端的无人机操控方法及系统 | |
| CN108460356B (zh) | 一种基于监控系统的人脸图像自动处理系统 | |
| US11882357B2 (en) | Image display method and device | |
| CN108304873B (zh) | 基于高分辨率光学卫星遥感影像的目标检测方法及其系统 | |
| CN111428748B (zh) | 一种基于hog特征和svm的红外图像绝缘子识别检测方法 | |
| CN107239728B (zh) | 基于深度学习姿态估计的无人机交互装置与方法 | |
| CN109903331B (zh) | 一种基于rgb-d相机的卷积神经网络目标检测方法 | |
| JP5726125B2 (ja) | 奥行き画像内の物体を検出する方法およびシステム | |
| WO2022100470A1 (en) | Systems and methods for target detection | |
| JP6737776B2 (ja) | センサ素子アレイにおける特徴計算 | |
| JP2021517681A (ja) | ロボットの目標物体把持位置の検出方法 | |
| JP2017005389A (ja) | 画像認識装置、画像認識方法及びプログラム | |
| JP6351240B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| WO2019085621A1 (zh) | 目标追踪方法、装置及追踪器 | |
| CN107430680A (zh) | 多层皮肤检测和融合手势匹配 | |
| US20210311469A1 (en) | Intelligent vehicle motion control method and apparatus, device and storage medium | |
| US20150334267A1 (en) | Color Correction Device, Method, and Program | |
| WO2012036790A1 (en) | Gesture recognition system for tv control | |
| KR20160136391A (ko) | 정보처리장치 및 정보처리방법 | |
| KR20180133657A (ko) | 기계 학습을 이용한 다중 뷰포인트 차량 인식 장치 | |
| US9798946B2 (en) | Systems and methods for optical recognition of tire specification | |
| CN111428815B (zh) | 一种基于Anchor angle机制的机械臂抓取检测方法 | |
| JP2017102622A (ja) | 画像処理装置、画像処理方法及びプログラム | |
| CN112818857A (zh) | 隔空手势识别方法、装置、设备及存储介质 | |
| CN109919128B (zh) | 控制指令的获取方法、装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address | ||
| CP03 | Change of name, title or address |
Address after: 518066 Room 201, building A, No. 1, Qian Wan Road, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong (Shenzhen Qianhai business secretary Co., Ltd.) Patentee after: Puzhou Technology (Shenzhen) Co.,Ltd. Address before: 518000 Room 201, building A, 1 front Bay Road, Shenzhen Qianhai cooperation zone, Shenzhen, Guangdong Patentee before: PRODRONE TECHNOLOGY (SHENZHEN) Co.,Ltd. |