CN113220020A - 基于图形标签的无人机任务规划方法 - Google Patents
基于图形标签的无人机任务规划方法 Download PDFInfo
- Publication number
- CN113220020A CN113220020A CN202110481778.9A CN202110481778A CN113220020A CN 113220020 A CN113220020 A CN 113220020A CN 202110481778 A CN202110481778 A CN 202110481778A CN 113220020 A CN113220020 A CN 113220020A
- Authority
- CN
- China
- Prior art keywords
- label
- tag
- unmanned aerial
- aerial vehicle
- icon
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000001514 detection method Methods 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 17
- 239000002131 composite material Substances 0.000 claims description 13
- 238000012546 transfer Methods 0.000 claims description 10
- 238000007689 inspection Methods 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 7
- 150000001875 compounds Chemical class 0.000 claims description 4
- 239000000945 filler Substances 0.000 claims description 4
- 230000003287 optical effect Effects 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 4
- 238000003708 edge detection Methods 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 3
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 claims description 2
- 230000005484 gravity Effects 0.000 claims description 2
- 238000001228 spectrum Methods 0.000 claims description 2
- 238000012423 maintenance Methods 0.000 abstract description 4
- 230000009286 beneficial effect Effects 0.000 abstract 1
- 230000008569 process Effects 0.000 description 11
- 238000005070 sampling Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 5
- 239000013598 vector Substances 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
- G05D1/106—Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
- G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
- G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
- G06K19/06037—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking multi-dimensional coding
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明公开了一种基于图形标签的无人机任务规划方法，主要解决现有方法规划环节易出错、不直观，不利于后期维护的技术问题。其方案包括：1)构建由外框、方向指示标及图标三部分元素组成的标签；2)按照任务内容选择并使用各类标签组成标签块，并将所有标签块放置在预设地点；3)对标签和标签块编号，并对特殊标签进行定义；4)将无人机摄像头对准第一个标签块方向，启动无人机；6)无人机检测并读取标签块，生成具有可循环、可中断的性质的标签序列；7)无人机根据标签序列自动运行，完成任务。本发明能够使无人机按照标签标示功能或编号执行对应任务，从而实现无人机在复杂环境下的任务规划，有效提高了规划效率及准确度，且便于维护。
Description
技术领域
本发明属于无人机技术领域，进一步涉及计算机视觉，具体为一种基于图形标签的无人机任务规划方法,可用于无人机自动任务规划、自动导航。
背景技术
近些年，随着无人机技术的快速发展，无人机自动导航及任务规划已成为目前研究的热点和重点。
现有技术大都采用GPS、基站、室内无载波通信技术UWB(Ultra Wideband)、光流定位等方法，结合远程地面站对无人机执行任务的飞行轨迹进行规划管理，使其自动实现相应功能，在航拍摄影、农业植保、电力巡检、地图绘制、仓库巡检等方面得到广泛应用。然而当前对无人机的定位大多借助于无线定位，在无线拒止的环境中该方式无法得到准确定位结果。此时，在无人机领域出现了使用机器视觉识别二维码进行定位的方法，该方法虽然解决了传统定位方式无线拒止环境的问题，但其采用的二维码，对人而言无法直观获取其信息，这在无人机任务规划和维护等工作中带来了不必要的负担。
现有技术在对无人机自动化作业工程中，过渡依赖上位机或地面站，使得对无人机操作者有较高的技术要求。在对特定地点使用定位标签时，采用二维码形式，其仅包含定位和编号功能，且人无法直观识别。因此在任务规划环节易出错，同时不利于后期维护。
随着无人机的应用越来越广泛、应用形式越来越灵活、应用场景愈加复杂，如何提供一种干扰小、定位准，规划与调试方便的导航与任务规划方法是本领域技术人员亟需解决的问题。
发明内容
本发明的目的是提供一种基于图形标签的无人机任务规划方法，通过在不同平面安装标签，使得无人机能够基于计算机视觉定位标签位置并读取标签内容，然后按照读取的内容自动执行相应任务，整个过程无需借助无线定位；此方案采用图形化现场任务规划的方式，相比通过地面站规划任务，具有方便、准确、更为直观的特点，能够更好的实现人机工作间的耦合，从而有效提高无人机执行任务过程中的安全性。
为了解决上述技术问题，本发明提供一种无人机的图形标签任务规划方法，首先按照标签安放规则安放好标签并定义好部分标签内容后，在第一个标签块安放点启动无人机，无人机自动检测并读取标签块，按照标签块内容执行对应任务，最后按照标签块指示降落。具体实现包括如下步骤：
(1)构建由外框、方向指示标及图标三部分元素组成的标签：
(1.1)建立圆心为O、直径为D的圆形边界，即外框；所述直径D是根据无人机飞行高度与摄像头分辨率预先设定；
(1.2)在外框内部，以O为圆心、D2为直径的圆环上取三段弧线，D2<D，其中两段弧线长度相等且长于剩余的短弧线，将原点O到短弧线中心点所示方向设为主方向，另外两段弧线关于主方向左右对称；这三段弧线即为方向指示标，用于控制无人机机头调转方向；
(1.3)以O为圆心、D3为直径在方向指示标内部画一个圆形虚线圆框，其中D3<D2，在该圆形虚线框内，添加预先设计或用户自定义的图形作为图标；得到由外框、方向指示标及图标共同组成的标签，且在每个标签上都有关于原点中心对称的四个辨识区域；
所述预先设计的图形包括右转弯箭头、直箭头、字母H和空白：
右转弯箭头表示开始图标，该图标构成的标签为非功能标签，用于指示无人机从该标签开始读取信息；
直箭头表示位置转移图标，该图标构成的标签属于功能标签，用于移动无人机至箭头所指的下一个标签块；遇到此标签时，中断当前标签块的任务序列，转至箭头所指标签块继续读取标签，当再次到达该标签块时，直接执行上一次中断位置之后的标签；
字母H表示降落图标，该图标构成的标签属于功能标签，用于使无人机降落；
空白表示填充图标，该图标构成的标签属于非功能标签，其内容为空，仅用于标签的序列识别和无人机的机头调转；
所述用户自定义的图形表示复合任务图标，该图标构成的标签属于功能标签，其内容可自定义，也可根据标签的编号仅在程序中定义其功能；用于实现用户自定义指令，且该指令不包括预设图标所涵盖的指令内容；
(2)按照任务内容选择并使用各类标签组成标签块，每个标签块均按照如下方式得到：
(2.1)规定放置区域内的标签间距离0.1D≤d≤0.5D，标签间圆心误差E≤0.25D，标签读取顺序为从左到右、从上到下；
(2.2)若该区域内的功能标签数量大于1，在区域左上角的位置设置开始标签，该标签中的图标采用右转弯箭头，箭头所指为第一功能标签；若该区域内的功能标签数量为1，则无需设置开始标签；
(2.3)区域内的功能标签按其执行顺序，从第一功能标签开始自左向右罗列，若横向距离不够排列完所有标签，则另起一行继续自左向右罗列，以此类推；最终，一个区域内的所有标签组成一个标签块；
(3)根据任务内容将所有标签块放置在预设地点，并判定是否存在重复标签块：
若位于不同地点的标签块中，标签的类型或排列顺序存在差异，则判定不存在重复标签块，直接执行步骤(5)；
若位于不同地点的两个标签块中，所有标签类型及排列顺序均相同，则进一步判断其方向指示标或图标主方向是否相同；若至少有一个不同，则判定两个标签序列不重复，即标签块不重复，执行步骤(5)；反之，判定标签块重复，执行步骤(4)；
(4)两个标签块中任选一个，在其中除开始标签外的其他任意标签位置后加入一个填充标签，用于使无人机能够区分这两个标签块；
(5)对标签和标签块进行编号：
标签块编号以0开始，按照无人机首次到达标签块的顺序进行编号；标签块内部标签编号以其所在标签块的编号作为前半部分，后半部分以0开始依次递增，其编号顺序与无人机读取标签的顺序相同；
(6)在编号后的所有标签中，查找包含复合任务图标或填充图标的标签，并对其进行定义：
对于包含复合任务图标的标签，将图标与其对应功能写入无人机存储器；
对于包含填充图标的标签，定义其指令，并与相应标签的编号一起写入无人机存储器；
(7)将无人机摄像头对准第一个标签块的方向，并设置摄像头为竖直或水平，完成起飞检查，启动无人机；
(8)无人机检测并读取标签块，根据其中所有标签生成标签序列，该序列中包括标签方向指示标显示的旋转角度、标签图标的类别、标签图标对应操作带来的旋转角度；且旋转角度均以开始标签方向指示标作所示方向作为参考方向；
(9)无人机根据标签序列自动运行，完成任务。
本发明与现有技术相比具有以下优点：
第一、本发明通过创建图形化标签对无人机进行任务规划，相较于采用二维码形式的标签更加直观，使得人眼可直接识别无人机任务内容与任务路线，从而便于在任务执行前后对无人机进行维护，且利于任务执行中的避让；
第二、由于本发明采用标签排列编程的方法，支持复杂任务，使得任务设计与规划过程十分灵活，能够提高任务规划效率以及规划的准确度；
第三、由于本发明基于计算机视觉技术实现，不依赖于无线电磁环境，使得无人机可以在无线电磁拒止的环境下工作，从而有效拓宽了无人机的应用范围。
附图说明
图1是本发明中的标签元素尺寸示意图；
图2是本发明中标签的分类示意图；
图3是本发明中标签块的组合规则示意图；
图4是本发明中标签辨识区域划分示意图；
图5是本发明的实现流程图；
图6是本发明的标签检测方法流程图；
图7是本发明的标签检测与执行程序流程图；
图8是本发明中标签应用于地面的效果示意图；
图9是本发明中标签应用于墙面的效果示意图。
具体实施方式
下面结合附图对本发明做进一步的描述。
实施例1：
参照附图5-7，本发明提出的一种基于图形标签的无人机任务规划方法，具体实现步骤如下：
步骤1.参照附图1-3，构建由外框、方向指示标及图标三部分元素组成的标签：
(1.1)建立圆心为O、直径为D的圆形边界，即外框，如图1中标号101所示；所述直径D是根据无人机飞行高度与摄像头分辨率预先设定；
(1.2)在外框内部，以O为圆心、D2为直径的圆环上取三段弧线，D2<D，其中两段弧线长度相等且长于剩余的短弧线，将原点O到短弧线中心点所示方向设为主方向，另外两段弧线关于主方向左右对称；这三段弧线即为方向指示标，如图1中标号102所示；用于控制无人机机头调转方向；
(1.3)以O为圆心、D3为直径在方向指示标内部画一个圆形虚线圆框，如图1中标号103所示；其中D3<D2，在该圆形虚线框内，添加预先设计或用户自定义的图形作为图标；得到由外框、方向指示标及图标共同组成的标签，且在每个标签上都有关于原点中心对称的四个辨识区域，如图4中斜线阴影所示；
所述预先设计的图形包括右转弯箭头、直箭头、字母H和空白：
右转弯箭头表示开始图标，如图2中标号201所示；该图标构成的标签为非功能标签，用于指示无人机从该标签开始读取信息；
直箭头表示位置转移图标，如图2中标号202所示；该图标构成的标签属于功能标签，用于移动无人机至箭头所指的下一个标签块；遇到此标签时，中断当前标签块的任务序列，转至箭头所指标签块继续读取标签，当再次到达该标签块时，直接执行上一次中断位置之后的标签；
字母H表示降落图标，如图2中标号204所示；该图标构成的标签属于功能标签，用于使无人机降落；
空白表示填充图标，如图2中标号203所示；该图标构成的标签属于非功能标签，其内容为空，仅用于标签的序列识别和无人机的机头调转；
所述用户自定义的图形表示复合任务图标，该图标构成的标签属于功能标签，其内容可自定义，也可根据标签的编号仅在程序中定义其功能；若用户定义的图形为空白，则看上去与填充图标无异，但本质上不同，仍属于功能标签；用于实现用户自定义指令，且该指令不包括预设图标所涵盖的指令内容；
步骤2.按照任务内容选择并使用各类标签组成标签块，参照附图3，每个标签块均按照如下方式得到：
(2.1)规定放置区域内的标签间距离0.1D≤d≤0.5D，标签间圆心误差E≤0.25D，标签读取顺序为从左到右、从上到下；
(2.2)若该区域内的功能标签数量大于1，在区域左上角的位置设置开始标签，该标签中的图标采用右转弯箭头，箭头所指为第一功能标签；若该区域内的功能标签数量为1，则无需设置开始标签；
(2.3)区域内的功能标签按其执行顺序，从第一功能标签开始自左向右罗列，若横向距离不够排列完所有标签，则另起一行继续自左向右罗列，以此类推；最终，一个区域内的所有标签组成一个标签块；在同一标签块中，最好使用尺寸大小相同的标签。
步骤3.根据任务内容将所有标签块放置在预设地点，并判定是否存在重复标签块：
若位于不同地点的标签块中，标签的类型或排列顺序存在差异，则判定不存在重复标签块，直接执行步骤5；
若位于不同地点的两个标签块中，所有标签类型及排列顺序均相同，则进一步判断其方向指示标或图标主方向是否相同；若至少有一个不同，则判定两个标签序列不重复，即标签块不重复，执行步骤5；反之，判定标签块重复，执行步骤4；此处，判断两个标签方向指示标或图标主方向是否相同，具体是根据每个标签上的辨识区域判断，具体为：若两个标签的方向指示标或图标主方向至少一个处于不同的辨识区域内，则认为两个标签不同；若两个标签的方向指示标和图标主方向均处于相同辨识区域内，反之，则不在辨识区域内，则认为两个标签相同。
步骤4.两个标签块中任选一个，在其中除开始标签外的其他任意标签位置后加入一个填充标签，用于使无人机能够区分这两个标签块；
步骤5.对标签和标签块进行编号：
标签块编号以0开始，按照无人机首次到达标签块的顺序进行编号；标签块内部标签编号以其所在标签块的编号作为前半部分，后半部分以0开始依次递增，其编号顺序与无人机读取标签的顺序相同；
步骤6.在编号后的所有标签中，查找包含复合任务图标或填充图标的标签，并对其进行定义：
对于包含复合任务图标的标签，将图标与其对应功能写入无人机存储器；
对于包含填充图标的标签，定义其指令，并与相应标签的编号一起写入无人机存储器；
步骤7.将无人机摄像头对准第一个标签块，即标签块0的方向，并设置摄像头为竖直或水平，完成起飞检查，启动无人机；
步骤8.无人机检测并读取标签块，根据其中所有标签生成标签序列，该序列中包括标签方向指示标显示的旋转角度、标签图标的类别、标签图标对应操作带来的旋转角度；且旋转角度均以开始标签方向指示标作所示方向作为参考方向。
无人机检测并读取标签块，首先检测标签块中是否存在开始标签，然后开始读取标签；若存在开始标签，以开始标签主方向为参考方向，读取标签；若不存在所述开始标签，则默认以无人机当前方向为参考，读取标签；读取顺序在图像上从左向右，从上到下；无人机执行标签功能时先执行机头调转再执行图形对应任务；当无人机执行标签调转机头或其任务时需要摄像头视野离开当前标签块；若读取的标签为填充标签，则中断当前序列；若为复合任务标签，在保证摄像头视野能调回原标签块的前提下可不中断当前序列。
无人机在生成标签序列后，通过查找内存，比对是否有相同标签；若有，则按上次保存的指针位置执行任务；反之，从序列的第一个标签任务开始执行；所述标签序列保存于无人机的飞控内存中，其结构为循环队列，包括一个队列指针，无人机通过序列内容来区分不同序列，以此达到中断后现场保护的目的。
无人机检测标签块中是否存在开始标签，若检测到，则从开始标签读取任务内容；反之，判定该标签块中无开始标签，直接读取其内容；这里的检测可进行多次，但多次检测避免漏检的同时，为了保证检测效率，本实施例选择设置检测次数不超过4次；
根据任务需要，可在地面或其他水平表面设置标签，亦可在墙面或其他竖直表面上设置。在位于地面或其他水平表面时，方向指示标主方向与无人机机头方向一致；在位于墙面或其他竖直表面，则其主方向与竖直方向的夹角表示无人机机头调转角度，且以逆时针旋转为正；
在标签位于水平平面时，只有位置转移标签会使当前序列中断；在标签位于竖直平面时，位置转移标签和带有机头调转角度的填充标签均会使当前序列中断；中断后，无人机保存当前序列，屏蔽对当前标签块的检测，开始搜索其他标签块并在搜索到的新标签块中检测开始标签。本实施例在对当前标签块的检测进行屏蔽时，优选采用光流法在图像中生成黑色蒙版的方式。
无人机读取标签，即对其进行定位识别，包括：
使用Canny边缘检测提取标签的图像边缘；
使用霍夫圆变换获取标签圆心坐标与半径；
根据所述圆心坐标取相近点对统计半径进行极大值抑制；
根据所述圆心坐标和半径，计算标签中方向指示标重心，确定主方向；
根据所述圆心坐标和半径，截取标签中图标部分图像，判断图标是否为空；基于所述判断，若不为空，则调整截取图像像素，进行傅里叶-梅林变换，获取图像类别与旋转角度；若为空，则通过该标签编号查询无人机存储器获取其对应任务。
所述获取图像类别与旋转角度，具体是：首先，对预先设计和用户自定义的标签图标同样采用傅里叶-梅林变换方法，保存其变换后图像作为模板，然后将待检测图标变换后的图像与各个模板分别计算欧式距离，最后选取其中最小距离对应的模板，将该模板的图像类别作为待检测图像的图像类别；根据选取的模板，计算其与待检测图标变换后的图像的互功率谱，并进行傅里叶逆变换，得到实数域极值所在的坐标值，最终获得旋转角度。
步骤9.无人机根据标签序列自动运行，完成任务。
至此，上述步骤已完成基于图形标签的无人机任务规划，无人机只需根据由标签生成的序列内容，执行飞行操作，便可完成整个飞行任务。
实施例2：
本实施例的实现步骤同实施例1，仅对于其中步骤5和6作进一步描述：
对标签编号遵循一定规则，包括：
a.标签块编号为一级编号，其内部标签编号为二级编号；
b.标签块编号以0为起始，顺序按无人机第一次到达标签块顺序进行编号；
c.同上一步b，内部标签编号以0为起始，依次递增，其编号顺序与无人机读取顺序相同。参照图3，假设该标签块编号为0，即该标签块所在地点为无人机的起飞区域，则该标签块中的标签编号如下：起始标签301编号为0.0，标签302编号为0.1，标签303编号为0.2，标签304编号为0.3。
完成标签放置后，需要对特殊标签进行功能定义，具体为：对包含复合任务图标或填充图标的标签，根据其中虚线框内拓展的图形在程序中定义其任务，若所述标签不存在图形，如图2中标号203所示，则需要通过标签编号在程序中定义其任务，若定义任务非空，则标签作为复合任务标签，反之，则作为填充标签。
实施例3：
参照图6和7，本实施例的实现步骤同实施例1，仅对于其中步骤8和9作进一步描述：
无人机启动后开始自动运行，首先开始搜寻标签块，包括搜索标签并定位至标签位置以及搜索标签所在标签块中的开始标签。
搜索标签的方法及流程，包括如下：
S1.1.对外框的识别采用Canny边缘检测算法与霍夫圆变换方法进行检测，获得视野内检测到的圆的圆心坐标与直径，通过非极大值抑制方法去除外框的内圆环，获得准确数据。
S1.2.对方向指示标的检测基于对外框的检测，在获得圆心坐标(xc,yc)与外框的直径大小D后，在笛卡尔坐标系下，以圆心坐标为中心，以0.68D为采样圆的直径对图标进行采样，采样点从圆的最上方开始，根据阈值二值化像素点，每隔5°进行一次采样，采样方向按逆时针旋转进行，获得采样点集P∈{(x,y)|(x-xc)2+(y-yc)2＝(0.68D)2}，采样完成后，计算其主方向向量(∑(x-xc),∑(y-yc))并解出其相对于向量(0,1)的角度即为方向指示标的旋转角度。
S1.3.对图标的检测基于对外框的检测，获得圆心坐标(xc,yc)与外框的直径大小D后，截取以0.55D为直径的圆形区域，并根据全图像统计阈值对图像进行二值化，此时判断裁剪到的图像是否为纯白色，判断方法为对区域所有所述二值化后的像素点进行累加，若结果小于误差允许值，则判断其为复合任务或填充标签203，否则为其他标签，使用白色将其补齐为0.55D边长的正方形图像，使用二次线性插值将图像变为大小为128*128像素的图像I，对I进行二维快速傅里叶变换得到图像F1＝FFT(I)，此时有高通滤波器
对图像进行高通滤波得到F2＝F1f，将F2转换到极坐标系表示，即F2(ρ,θ)，之后并取其模值得到图像M1＝|F2|，此时再次对M1进行二维快速傅里叶变换得到F3＝FFT(M1)并取其模值得到最终结果M2＝|F3|，从内存中取出已经变换好的n个模值模板Gi,i＝1,2,...,n，分别求取其与M2的欧式距离
找到Di中最小值对应的i，此时i的值即对应识别对象在内存中的编号。
S1.4.按获得的i值取对应图案按照上述变换过程获得的模板Hi，计算模板与变换结果F3的互功率谱并取其快速反傅里叶变换，
求取图像S在实数域的最大值所在的y轴坐标，即可根据坐标求得图像的旋转角度。
获得标签位置与标签内容后，无人机定位至摄像头正对的第一次识别出的标签的位置，基于上述搜索标签的方法及流程，寻找标签所在标签块的开始标签，其过程包括：
S2.1.寻找满足条件：存在某个圆心点与不多于2个圆心点距离小于等于1.5D，且在有两个圆心点满足条件的情况下，与参考圆心点形成的两个向量的夹角不得大于120°，则该圆心点即为边角。
S2.2.比对标签图标的识别结果，若不为开始标签，则寻找下一个边角，若为开始标签，则检测该标签的方向指示标，并根据标签调转机头，开始按标签箭头指示方向读取并保存标签块内容，此时仅读取标签内容但不执行标签任务。
S2.3.所述对边角标签判断是否为开始标签201的操作不超过四次，即标签块可能存在的最多四个边角。若超过四次仍没有发现开始标签201，则以机头方向为基准顺序读取标签块内容。
进一步的，完成标签块搜索步骤后，无人机开始读取并执行标签所标示的任务，其具体过程包括：
S3.1.无人机按照标签读取顺序对标签块内的标签完成遍历后，无人机将获得的序列与之前保存的序列进行比对，若之前保存的序列中存在和当前读取序列相同的序列，则调用对应保存的序列，从上一次序列被中断的地方开始执行序列任务，否则将该序列保存入内存，从开始标签201之后一个标签开始执行任务。
S3.2.在执行序列任务时，无人机对应飞于标签上方或正前方，并执行对应任务。若标签块所有标签均执行完毕，且无人机仍在飞行状态，则任务将从序列开始再次执行。若无人机开始执行位置转移任务、摄像头切换任务或执行竖直平面上填充标签203的机头调转任务时，当前执行任务在序列中的位置将会被保存，之后无人机开始移动。
进一步的，若无人机在执行任务过程中执行的任务为降落任务，则无人机将清空所有任务状态，并开始降落，并初始化为起飞前状态。
实施例4：
参照图8，本实施例提供一种基于地面标签的巡检案例。其中图标为P字母样式的标签功能定义为控制无人机机载相机拍照。在该案例中，标签块0与标签块1的功能标签的顺序与功能重复，标签块0中标签0.2和标签块1中标签1.2中的方向指示标1.2同时位于如图4中辨识区域401内，且标签块1中的标签1.2图标主方向不位于辨识区域内，故不能通过图标或方向指示标进行区分，需要加填充标签加以区分。该案例在起飞前通过程序设置标签1.3为填充标签。标签块2由于其标签2.2的图标主方向位于辨识区域401内且与标签块0中的0.2标签图形103主方向所在的右辨识区域404不同，不需要添加填充标签也可区分标签块。标签块3中只有一个功能标签，故可以省略开始标签。标签块4中，标签4.4在起飞前通过程序定义为复合任务标签，定义该标签功能为无人机飞行高度上升一个定值。标签4.5为在起飞前通过程序定义为填充标签，由于无人机执行任务时会飞至当前任务标签上方，所以标签4.5用作占用标签位置，保证标签块连续的同时，使得4.6位置转移标签能放置于下一个位置，准确指向标签块0的方向。
基于上述内容，其执行过程包括以下步骤：
S4.1.无人机在标签块0位置起飞，在识别到开始标签201后，按开始标签201所指方向读取标签序列为0.1机头偏航0°拍照，0.2机头偏航0°向机头90°方向移动。读取完序列后，比较内存中序列，未发现相同序列，则保存该序列，执行拍照与移动任务。
S4.2.开始移动后，根据光流屏蔽原标签位置在图像中的区域，检测其他区域的标签，若检测到标签块，则开始寻找开始标签201，并开始读取标签序列，此时读取标签块1得到序列为1.1机头偏航0°拍照，1.2机头偏航0°向机头135°方向移动，1.3机头偏航0°空标签。查阅内存可知标签1.3为填充标签，此时对比内存中的序列，未发现相同序列，保存该序列，执行拍照与移动任务。
S4.3.检测到标签块2时，读取序列为2.1机头偏航0°拍照，机头偏航0°向机头0°方向移动，比较内存中序列，发现序列0任务相同，比较两个任务参数，发现任务0.2与任务2.2测得运动方向角度在不同识别域内，保存该序列，执行拍照与移动任务。
S4.4.检测到标签块3时，发现标签块3只有一个标签，则执行该标签功能，无人机开始保持机头角度0°，向机头-90°方向移动。
S4.5.检测到标签块4时，读取序列为4.1机头偏航45°拍照，4.2机头偏航-45°拍照，4.3机头偏航180°拍照，4.4机头偏航180°空标签，4.5机头偏航180°空标签，4.6机头偏航180°向机头-135°方向移动，4.7机头偏航0°降落。查阅内存可知标签4.4为升高高度标签，4.5为填充标签203，此时对比内存中的序列，未发现相同序列，保存该序列，执行拍照、拍照、拍照、改变高度与移动任务。
S4.6.检测到标签块0时，读取标签块并对比内存，发现有相同序列，读取上一次序列中断位置，执行该位置之后的任务，但后续没有任务，而无人机处于运行状态，则任务从序列头重新开始，即执行拍照与移动任务。
S4.7.无人机以相同过程经过标签块1，标签块2和标签块3，到达标签块4时，对标签块进行读取，对比内存中有相同序列，则读取上一次序列中断位置，执行该位置之后的任务，此时无人机降落，所有任务状态清空，等待下一次启动。
实施例5：
参照图9，本实施例提供一种基于墙面标签的复杂环境下线路巡检案例，基于墙面标签与地面标签在功能实现上略有不同，具体表现在：
1.方向指示标体现的功能不同，即对于地面标签，标签方向指示标主方向即为无人机机头偏航方向，而对于墙面标签，标签方向指示标主方向与竖直向上方向向量的夹角为无人机机头偏转方向增量，以逆时针为正。
2.无人机在具体执行标签任务时，对于地面标签，无人机读取标签后，根据标签的方向指示标调转机头，而后根据图标执行标签任务，执行完成后，若不为降落标签，则跳转下一标签。对于墙面标签，无人机读取标签后，先根据图标判断标签是否为复合任务标签，若是，则根据方向指示标调转机头，根据图标执行任务，执行完成后，机头调转回原方向，跳转下一个标签，若不为复合任务标签，则在调转机头并执行任务后即不会调转机头回原方向。
基于上述内容，其执行过程包括以下步骤：
S5.1.起飞前不对无人机的填充或复合任务标签作定义，则默认其为填充标签。无人机由标签块0正下方起飞，其摄像头正对标签块0所在墙面，起飞后检测到标签块0的标签0.0机头偏航0°向y轴方向0°移动。
S5.2.检测到标签块1时，读取标签块1的标签1.0机头偏航0°向y轴方向90°移动。
S5.3.检测到标签块2时，读取序列为2.1机头偏航0°向y轴方向0°移动，2.2机头偏航0°向y轴方向180°移动。此时对比内存中的序列，未发现相同序列，保存该序列，执行2.1移动任务。
S5.4.检测到标签块3时，读取序列为3.1机头偏航-90°空标签，3.2机头偏航0°向y轴方向180°移动。查阅内存可知标签3.1为填充标签203，未发现相同序列，保存该序列，按标签3.1的方向指示标102调转机头-90°并中断当前序列，调转完成后，重新开启标签检测。
S5.5.检测到标签块4时，读取序列为，4.1机头偏航0°向y轴方向0°移动，4.2机头偏航90°空标签。查阅内存可知标签4.2为填充标签203，未发现相同序列，保存该序列，执行4.1移动任务。
S5.6.检测到标签块5时，读取标签块5的标签5.0机头偏航0°向y轴方向180°移动。
S5.7.检测到标签块4时，读取序列并查阅内存，判断有相同序列，则从上一次中断的下一个任务开始执行，即执行调转机头90°，调转完成后，重新开启标签检测。
S5.8.检测到标签块3时，读取序列并查阅内存，判断有相同序列，则按内存存储指针，执行3.2机头偏航0°向y轴方向180°移动任务。
S5.9.检测到标签块6时，读取标签块6的标签6.0机头偏航0°降落，此时无人机关闭检测，初始化内存，开始降落程序，完成任务周期。
本发明未详细说明部分属于本领域技术人员公知常识。
以上所述仅为本发明的较佳实施例而已，主要目的为说明发明的原理与实施细节，并不用以限制本发明，显然对于本领域的专业人员来说，在了解了本发明内容和原理后，都可能在不背离本发明原理、结构的情况下，进行形式和细节上的各种修正和改变，但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。
Claims (10)
1.一种基于图形标签的无人机任务规划方法，其特征在于，包括：
(1)构建由外框、方向指示标及图标三部分元素组成的标签：
(1.1)建立圆心为O、直径为D的圆形边界，即外框；所述直径D是根据无人机飞行高度与摄像头分辨率预先设定；
(1.2)在外框内部，以O为圆心、D2为直径的圆环上取三段弧线，D2<D，其中两段弧线长度相等且长于剩余的短弧线，将原点O到短弧线中心点所示方向设为主方向，另外两段弧线关于主方向左右对称；这三段弧线即为方向指示标，用于控制无人机机头调转方向；
(1.3)以O为圆心、D3为直径在方向指示标内部画一个圆形虚线圆框，其中D3<D2，在该圆形虚线框内，添加预先设计或用户自定义的图形作为图标；得到由外框、方向指示标及图标共同组成的标签，且在每个标签上都有关于原点中心对称的四个辨识区域；
所述预先设计的图形包括右转弯箭头、直箭头、字母H和空白：
右转弯箭头表示开始图标，该图标构成的标签为非功能标签，用于指示无人机从该标签开始读取信息；
直箭头表示位置转移图标，该图标构成的标签属于功能标签，用于移动无人机至箭头所指的下一个标签块；遇到此标签时，中断当前标签块的任务序列，转至箭头所指标签块继续读取标签，当再次到达该标签块时，直接执行上一次中断位置之后的标签；
字母H表示降落图标，该图标构成的标签属于功能标签，用于使无人机降落；
空白表示填充图标，该图标构成的标签属于非功能标签，其内容为空，仅用于标签的序列识别和无人机的机头调转；
所述用户自定义的图形表示复合任务图标，该图标构成的标签属于功能标签，其内容可自定义，也可根据标签的编号仅在程序中定义其功能；用于实现用户自定义指令，且该指令不包括预设图标所涵盖的指令内容；
(2)按照任务内容选择并使用各类标签组成标签块，每个标签块均按照如下方式得到：
(2.1)规定放置区域内的标签间距离0.1D≤d≤0.5D，标签间圆心误差E≤0.25D，标签读取顺序为从左到右、从上到下；
(2.2)若该区域内的功能标签数量大于1，在区域左上角的位置设置开始标签，该标签中的图标采用右转弯箭头，箭头所指为第一功能标签；若该区域内的功能标签数量为1，则无需设置开始标签；
(2.3)区域内的功能标签按其执行顺序，从第一功能标签开始自左向右罗列，若横向距离不够排列完所有标签，则另起一行继续自左向右罗列，以此类推；最终，一个区域内的所有标签组成一个标签块；
(3)根据任务内容将所有标签块放置在预设地点，并判定是否存在重复标签块：
若位于不同地点的标签块中，标签的类型或排列顺序存在差异，则判定不存在重复标签块，直接执行步骤(5)；
若位于不同地点的两个标签块中，所有标签类型及排列顺序均相同，则进一步判断其方向指示标或图标主方向是否相同；若至少有一个不同，则判定两个标签序列不重复，即标签块不重复，执行步骤(5)；反之，判定标签块重复，执行步骤(4)；
(4)两个标签块中任选一个，在其中除开始标签外的其他任意标签位置后加入一个填充标签，用于使无人机能够区分这两个标签块；
(5)对标签和标签块进行编号：
标签块编号以0开始，按照无人机首次到达标签块的顺序进行编号；标签块内部标签编号以其所在标签块的编号作为前半部分，后半部分以0开始依次递增，其编号顺序与无人机读取标签的顺序相同；
(6)在编号后的所有标签中，查找包含复合任务图标或填充图标的标签，并对其进行定义：
对于包含复合任务图标的标签，将图标与其对应功能写入无人机存储器；
对于包含填充图标的标签，定义其指令，并与相应标签的编号一起写入无人机存储器；
(7)将无人机摄像头对准第一个标签块的方向，并设置摄像头为竖直或水平，完成起飞检查，启动无人机；
(8)无人机检测并读取标签块，根据其中所有标签生成标签序列，该序列中包括标签方向指示标显示的旋转角度、标签图标的类别、标签图标对应操作带来的旋转角度；且旋转角度均以开始标签方向指示标作所示方向作为参考方向；
(9)无人机根据标签序列自动运行，完成任务。
2.根据权利要求1所述的方法，其特征在于：步骤(2)中组成同一标签块的标签大小相同。
3.根据权利要求1所述的方法，其特征在于：步骤(3)中判断两个标签方向指示标或图标主方向是否相同，具体是根据每个标签上的辨识区域进行判断。
4.根据权利要求1所述的方法，其特征在于：步骤(8)中无人机检测并读取标签块，首先检测标签块中是否存在开始标签，然后开始读取标签；若存在开始标签，以开始标签主方向为参考方向，读取标签；若不存在所述开始标签，则默认以无人机当前方向为参考，读取标签；读取顺序在图像上从左向右，从上到下；无人机执行标签功能时先执行机头调转再执行图形对应任务；当无人机执行标签调转机头或其任务时需要摄像头视野离开当前标签块；若读取的标签为填充标签，则中断当前序列；若为复合任务标签，在保证摄像头视野能调回原标签块的前提下可不中断当前序列。
5.根据权利要求4所述的方法，其特征在于：所述检测标签块中是否存在开始标签，检测次数不超过4次；若检测到，则从开始标签读取任务内容；反之，判定该标签块中无开始标签，直接读取其内容。
6.根据权利要求4所述的方法，其特征在于：所述标签，在位于地面或其他水平表面时，其主方向与无人机机头方向一致；在位于墙面或其他竖直表面，则其主方向与竖直方向的夹角表示无人机机头调转角度，且以逆时针旋转为正；
在标签位于水平平面，则只有位置转移标签会使当前序列中断；在标签位于竖直平面时，位置转移标签和带有机头调转角度的填充标签均会使当前序列中断；中断后，无人机保存当前序列，屏蔽对当前标签块的检测，开始搜索其他标签块并在搜索到的新标签块中检测开始标签。
7.根据权利要求6所述的方法，其特征在于：所述屏蔽对当前标签块的检测是采用光流法在图像中生成黑色蒙版。
8.根据权利要求4所述的方法，其特征在于：所述读取标签是对其进行定位识别，包括：
使用Canny边缘检测提取标签的图像边缘；
使用霍夫圆变换获取标签圆心坐标与半径；
根据所述圆心坐标取相近点对统计半径进行极大值抑制；
根据所述圆心坐标和半径，计算标签中方向指示标重心，确定主方向；
根据所述圆心坐标和半径，截取标签中图标部分图像，判断图标是否为空；基于所述判断，若不为空，则调整截取图像像素，进行傅里叶-梅林变换，获取图像类别与旋转角度；若为空，则通过该标签编号查询无人机存储器获取其对应任务。
9.根据权利要求8所述的方法，其特征在于：所述获取图像类别与旋转角度，具体是：首先，对预先设计和用户自定义的标签图标同样采用傅里叶-梅林变换方法，保存其变换后图像作为模板，然后将待检测图标变换后的图像与各个模板分别计算欧式距离，最后选取其中最小距离对应的模板，将该模板的图像类别作为待检测图像的图像类别；根据选取的模板，计算其与待检测图标变换后的图像的互功率谱，并进行傅里叶逆变换，得到实数域极值所在的坐标值，最终获得旋转角度。
10.根据权利要求1所述的方法，其特征在于：步骤(8)中无人机在生成标签序列后，通过查找内存，比对是否有相同标签；若有，则按上次保存的指针位置执行任务；反之，从序列的第一个标签任务开始执行；所述标签序列保存于无人机的飞控内存中，其结构为循环队列，包括一个队列指针，无人机通过序列内容来区分不同序列，以此达到中断后现场保护的目的。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110481778.9A CN113220020B (zh) | 2021-04-30 | 2021-04-30 | 基于图形标签的无人机任务规划方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110481778.9A CN113220020B (zh) | 2021-04-30 | 2021-04-30 | 基于图形标签的无人机任务规划方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113220020A true CN113220020A (zh) | 2021-08-06 |
| CN113220020B CN113220020B (zh) | 2023-10-31 |
Family
ID=77090516
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110481778.9A Active CN113220020B (zh) | 2021-04-30 | 2021-04-30 | 基于图形标签的无人机任务规划方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113220020B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115331131A (zh) * | 2022-10-17 | 2022-11-11 | 四川腾盾科技有限公司 | 一种无人机任务规划辅助决策方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106197422A (zh) * | 2016-06-27 | 2016-12-07 | 东南大学 | 一种基于二维标签的无人机定位及目标跟踪方法 |
| US20170213062A1 (en) * | 2016-01-22 | 2017-07-27 | International Business Machines Corporation | Optical marker for delivery drone cargo delivery |
| CN108107895A (zh) * | 2017-12-26 | 2018-06-01 | 哈工大机器人（合肥）国际创新研究院 | 一种多机器人路径动态规划方法 |
| CN110989674A (zh) * | 2019-12-16 | 2020-04-10 | 西安因诺航空科技有限公司 | 一种基于ArUco标签的无人机视觉引导降落方法 |
| CN110989661A (zh) * | 2019-11-19 | 2020-04-10 | 山东大学 | 一种基于多个定位二维码的无人机精准降落方法及系统 |
| CN110991207A (zh) * | 2019-11-19 | 2020-04-10 | 山东大学 | 综合H图案识别和AprilTag二维码识别的无人机精准降落方法 |
| CN111137463A (zh) * | 2020-01-15 | 2020-05-12 | 亿航智能设备（广州）有限公司 | 一种无人机降落引导系统及其方法、充电平台、无人机 |
| KR20200083951A (ko) * | 2020-05-26 | 2020-07-09 | 주식회사 메이플테크 | Ｒｆｉｄ 태그 경로를 패트롤하는 카메라와 지향성 스피커를 구비하는 드론의 제어 시스템 및 방법 |
| CN111830461A (zh) * | 2019-04-18 | 2020-10-27 | 中国民航大学 | 一种无人机机载uwb定位方法 |
-
2021
- 2021-04-30 CN CN202110481778.9A patent/CN113220020B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170213062A1 (en) * | 2016-01-22 | 2017-07-27 | International Business Machines Corporation | Optical marker for delivery drone cargo delivery |
| CN106197422A (zh) * | 2016-06-27 | 2016-12-07 | 东南大学 | 一种基于二维标签的无人机定位及目标跟踪方法 |
| CN108107895A (zh) * | 2017-12-26 | 2018-06-01 | 哈工大机器人（合肥）国际创新研究院 | 一种多机器人路径动态规划方法 |
| CN111830461A (zh) * | 2019-04-18 | 2020-10-27 | 中国民航大学 | 一种无人机机载uwb定位方法 |
| CN110989661A (zh) * | 2019-11-19 | 2020-04-10 | 山东大学 | 一种基于多个定位二维码的无人机精准降落方法及系统 |
| CN110991207A (zh) * | 2019-11-19 | 2020-04-10 | 山东大学 | 综合H图案识别和AprilTag二维码识别的无人机精准降落方法 |
| CN110989674A (zh) * | 2019-12-16 | 2020-04-10 | 西安因诺航空科技有限公司 | 一种基于ArUco标签的无人机视觉引导降落方法 |
| CN111137463A (zh) * | 2020-01-15 | 2020-05-12 | 亿航智能设备（广州）有限公司 | 一种无人机降落引导系统及其方法、充电平台、无人机 |
| KR20200083951A (ko) * | 2020-05-26 | 2020-07-09 | 주식회사 메이플테크 | Ｒｆｉｄ 태그 경로를 패트롤하는 카메라와 지향성 스피커를 구비하는 드론의 제어 시스템 및 방법 |
Non-Patent Citations (2)
| Title |
|---|
| 莫浩杰;张靖宇;马溢泽;王启鑫;于宙: "DW1000在无人机集群中的应用及系统设计", 电子世界, no. 012, pages 135 - 137 * |
| 袁苏哲;高嘉瑜;景鑫;李阳: "基于多标签联合定位的自主视觉着陆技术研究", 现代导航, no. 002, pages 109 - 113 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115331131A (zh) * | 2022-10-17 | 2022-11-11 | 四川腾盾科技有限公司 | 一种无人机任务规划辅助决策方法 |
| CN115331131B (zh) * | 2022-10-17 | 2023-02-17 | 四川腾盾科技有限公司 | 一种无人机任务规划辅助决策方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113220020B (zh) | 2023-10-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11709058B2 (en) | Path planning method and device and mobile device | |
| CN108305264B (zh) | 一种基于图像处理的无人机精确着陆方法 | |
| CN106054931B (zh) | 一种基于视觉定位的无人机定点飞行控制系统 | |
| CN104067145B (zh) | 剪枝机器人系统 | |
| CN107194399B (zh) | 一种视觉定标的方法、系统及无人机 | |
| CN109767637A (zh) | 倒计时信号灯识别及处理的方法和装置 | |
| EP3850456B1 (en) | Control and navigation systems, pose optimisation, mapping, and localisation techniques | |
| CN111958592A (zh) | 一种变电站巡检机器人图像语义分析系统及方法 | |
| CN111598952B (zh) | 一种多尺度合作靶标设计与在线检测识别方法及系统 | |
| CN109839945B (zh) | 无人机降落方法、无人机降落装置及计算机可读存储介质 | |
| CN108253987A (zh) | 一种基于a*算法的无人机轨迹规划方法、设备及存储设备 | |
| AU2018410435B2 (en) | Port area monitoring method and system, and central control system | |
| CN113867373A (zh) | 无人机降落方法、装置、停机坪以及电子设备 | |
| CN110986945A (zh) | 基于语义高度地图的局部导航方法和系统 | |
| CN112884900A (zh) | 无人机的降落定位方法、装置、存储介质及无人机机巢 | |
| CN112700498A (zh) | 一种基于深度学习的风力发电机叶尖定位方法及系统 | |
| CN113220020A (zh) | 基于图形标签的无人机任务规划方法 | |
| GB2581403A (en) | Pose optimisation, mapping, and localisation techniques | |
| CN116736259A (zh) | 一种用于塔吊自动驾驶的激光点云坐标标定的方法及装置 | |
| CN116539053A (zh) | 一种实时全局点云地图构建方法、系统、设备及存储介质 | |
| Stokkeland | A computer vision approach for autonomous wind turbine inspection using a multicopter | |
| CN115077563A (zh) | 车辆定位精度评价方法、装置及电子设备 | |
| CN112154395A (zh) | 飞行控制方法、系统、无人飞行器及存储介质 | |
| Shao et al. | Visual Feedback Control Through Real-Time Movie Frames for Quadcopter with Object Count Function and Pick-and-Place Robot With Orientation Estimator | |
| CN117044478B (zh) | 割草机控制方法、装置、割草机、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |