CN112346480A - 一种室内无人机及其控制方法、计算机可读存储介质 - Google Patents
一种室内无人机及其控制方法、计算机可读存储介质 Download PDFInfo
- Publication number
- CN112346480A CN112346480A CN202011297641.XA CN202011297641A CN112346480A CN 112346480 A CN112346480 A CN 112346480A CN 202011297641 A CN202011297641 A CN 202011297641A CN 112346480 A CN112346480 A CN 112346480A
- Authority
- CN
- China
- Prior art keywords
- unmanned aerial
- aerial vehicle
- map
- path
- grid
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 230000008569 process Effects 0.000 claims abstract description 14
- 238000013135 deep learning Methods 0.000 claims abstract description 8
- 230000006870 function Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 7
- 238000012886 linear function Methods 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 2
- 238000013528 artificial neural network Methods 0.000 description 14
- 238000012545 processing Methods 0.000 description 8
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 239000013585 weight reducing agent Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明公开了一种室内无人机及其控制方法、计算机可读存储介质,方法包括:无人机实时拍摄照片并识别照片中的标志性物体,以识别出的标志性物体为基准物估计无人机在地图中的位置;以估计的位置作为无人机的位置,规划从无人机的位置到终点的路径,基于规划的路径控制无人机飞行;在飞行过程中实时拍摄照片并识别,在识别出标志性物体时以新识别的标志性物体为基准物估计无人机在地图中的位置,基于估计的位置对无人机的位置进行修正,并在位置被修正后再次规划从无人机的位置到终点的路径,如此,本发明的可实现自主定位、路径规划,自主飞行;进一步地,本发明还提出基于深度学习框架识别交通标志,其还可帮助修正无人机位置和完善更新地图。
Description
技术领域
本发明涉及无人机领域,尤其涉及一种室内无人机及其控制方法、计算机可读存储介质。
背景技术
目前,无人机的控制系统主要分为机载飞行控制系统和地面控制系统,机载的好处在于可以不依赖地面装置,从而实现自主飞行,机载的难度在于无人机体积和载重有限,无法搭载算力较大的中央处理器或者图形处理器,难以实现自主定位、路径规划、实现视频处理、标志识别等功能。
发明内容
本发明要解决的技术问题在于,针对现有技术的上述无法自主定位、路径规划等缺陷,提供一种室内无人机及其控制方法、计算机可读存储介质。
本发明解决其技术问题所采用的技术方案是:
一方面,构造一种室内无人机控制方法,所述无人机内预存有地图,所述地图上具有多个标志性物体,所述方法包括:
无人机实时拍摄照片并识别照片中的标志性物体,以识别出的标志性物体为基准物估计无人机在地图中的位置;
以估计的位置作为无人机的位置,规划从无人机的位置到终点的路径,基于规划的路径控制无人机飞行;
在飞行过程中实时拍摄照片并识别,在识别出标志性物体时以新识别的标志性物体为基准物估计无人机在地图中的位置,基于估计的位置对无人机的位置进行修正,并在位置被修正后再次规划从无人机的位置到终点的路径。
进一步地,所述地图上具有多个交通标志,所述方法还包括:
在飞行过程中还基于深度学习框架对照片进行识别,在识别出交通标志时,根据交通标志的指示控制飞行,并且判断当前识别出的交通标志是否存在于地图中,如果存在,则以识别出的交通标志为基准物对无人机的位置进行修正,如果不存在,则以无人机的位置为基准物估计交通标志的位置,并将交通标志添加到地图中。
进一步地,所述的估计无人机在地图中的位置,包括:根据基准物的形状轮廓估计得到无人机与基准物在空间上的相对距离,根据基准物在地图中的位置以及基准物与无人机的相对距离,估计得到无人机的位置。
所述的对无人机的位置进行修正,包括:如果本次估计得到的位置与无人机的位置不超过预设误差,则将无人机的位置修正为本次估计得到的位置。
进一步地,所述方法还包括:
如果本次估计得到的位置与无人机的位置超过预设误差,则控制无人机飞行并更换拍摄视野后重新寻找可以作为基准物的对象;
根据新找到的基准物重新估计无人机的位置,如果重新估计得到的位置与无人机的位置未超过预设误差,则将无人机的位置修正为重新估计得到的位置后继续飞行,否则判断出现故障,停止飞行。
进一步地,所述方法还包括:在首次规划路径时,创建第一列表、第二列表和第三列表,将地图上所有的栅格放入第一列表中;
所述的规划从无人机的位置到终点的路径,包括:
以无人机的位置为当前点并放入第三列表中,执行如下寻路方法:在第一列表中搜寻当前点的所有邻近栅格,计算该某个邻近栅格对应的花费后将该某个邻近栅格转移到第二列表,如果第二列表出现终点,则将终点放入第三列表并结束所述寻路方法,否则从搜寻的当前点的所有邻近栅格中选取花费最小的栅格作为新的当前点,将该新的当前点放入第三列表中后再次所述执行寻路方法;
将第三列表中的所有当前点按照放入的先后顺序形成路径。
进一步地,地图上的每一个栅格预先配置有对应的费用,地图上障碍物所在的栅格及其在每个方向向外膨胀预设数量的栅格,均被设置为不可通行的栅格,不可通行的栅格的费用为第一预设值,可通行的栅格的费用设为第二预设值,各种交通标志所在的栅格根据交通标志功能的不同设置位于第一预设值和第二预设值之间的不同的费用,第一预设值大于第二预设值。
其中,所述的计算该某个邻近栅格对应的花费包括:将该某个邻近栅格的费用加上该某个邻近栅格到终点的预估路径上的所有栅格的费用。
进一步地,该某个邻近栅格到终点的预估路径是某个邻近栅格到终点的空间直线路径或者基于所述寻路方法得到的路径。
进一步地,所述的各种交通标志根据其功能的不同设置不同的费用,包括:
停止标志往前第一数量的栅格均设置为第一预设值,
转向标志往前第二数量的栅格均设置为第一预设值,再往前第三数量的栅格的费用为从第一预设值到第二预设值的线性函数,且越靠近转向标志的栅格的费用越高,第一数量大于第二数量。
本发明另一方面还构造了一种室内无人机,包括处理器和存储器,所述存储器存储有计算机程序,所述计算机程序被处理器执行时实现如前任一项所述的方法的步骤。
本发明另一方面还构造了一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时实现如前任一项所述的方法的步骤。
本发明的室内无人机及其控制方法、计算机可读存储介质,具有以下有益效果:本发明中无人机内预存有地图,地图上具有多个标志性物体,控制无人机开机后可以通过拍摄照片,识别照片中的标志性物体,以识别出的标志性物体为基准物估计无人机在地图中的位置作为起点,进而根据无人机的位置规划从无人机的位置到终点的路径,基于规划的路径控制无人机飞行,而且在在飞行过程中,实时拍摄照片并识别,在识别出标志性物体时以新识别的标志性物体为基准物对无人机的位置进行修正,如此,本发明的无人机无需依赖任何辅助,即可实现自主定位、自主路径规划,实现自主飞行;
进一步地,本发明还提出基于深度学习框架识别交通标志,而且一方面可以根据地图中既有的交通标志进行位置修正,另一方面,还可以将新增加的交通标志添加到地图中,完善更新地图。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图:
图1是本发明实施例一的室内无人机控制方法的流程图;
图2是邻近栅格到终点的空间直线路径示意图。
具体实施方式
为了便于理解本发明,下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的典型实施例。但是,本发明可以以许多不同的形式来实现,并不限于本文所描述的实施例。相反地,提供这些实施例的目的是使对本发明的公开内容更加透彻全面。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本发明。
本说明书中使用的“第一”、“第二”等包含序数的术语可用于说明各种构成要素,但是这些构成要素不受这些术语的限定。使用这些术语的目的仅在于将一个构成要素区别于其他构成要素。例如,在不脱离本发明的权利范围的前提下,第一构成要素可被命名为第二构成要素,类似地,第二构成要素也可以被命名为第一构成要素。
参考图1,本发明总的思路是:在所述无人机内预存有地图,所述地图上具有多个标志性物体以及交通标志,无人机开机后通过拍摄照片,识别出图片的标志性物体来估计无人机在地图中的起点,进而规划从无人机的位置到终点的路径,基于规划的路径控制无人机飞行,而且在在飞行过程中如果识别出标志性物体则对无人机的位置进行修正,位置被修正后重新规划路径。进一步地,无人机在飞行过程中还基于深度学习框架识别照片中的交通标志,进而根据交通标志的指示控制飞行,一方面,无人机可以利用地图既有的交通标志进行位置修正,另一方面,可以将新增加的交通标志添加到地图中,更新地图。如此,本发明可以实现真正的自主定位、自主规划路径,自主飞行,而且实现轻量化的神经网络框架,实现交通标志识别,算力需求较低,中央处理单元(CPU)就已经足够,不需要更大体积和重量的GPU。
为了更好的理解上述技术方案,下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明,应当理解本发明实施例以及实施例中的具体特征是对本申请技术方案的详细的说明,而不是对本申请技术方案的限定,在不冲突的情况下,本发明实施例以及实施例中的技术特征可以相互组合。
实施例一
本发明的室内无人机控制方法,可以仅由无人机实现。所述无人机内预存有地图,所述地图上具有多个标志性物体和交通标志,标志性物体和交通标志在地图中都配置了具体的位置信息。
参考图1,所述方法包括:
S101:无人机实时拍摄照片并识别照片中的标志性物体,以识别出的标志性物体为基准物估计无人机在地图中的位置;
标志性物体可以是标志性建筑等易于识别的除了交通标志以外的物体,本实施例中优选为二维码。二维码在各个坐标方向都有明显的特征,便于从各个角度都能准确识别,无人机的操作系统配置有专门的二维码识别包,可以识别每个二维码得到二维码的唯一编号,地图中的二维码都有具体的位置,有了二维码编号就可以在地图中定位到具体是哪个二维码,从而可以确定该二维码对应的位置信息。
可理解的是,无人机可以在每次开机或者重启后,执行该步骤。该步骤中,可以是无人机的操作系统(ROS系统)控制无人机上的镜头采集视频,再从视频中提取照片进行识别。如果拍摄的照片未能识别出标志性物体,则可以通过控制无人机变向或者随意飞行一小段等方式来获取新的视野下的照片,直到拍摄到具有标志性物体的照片。当然,安全起见,在初始放置无人机时,应该尽量包括无人机启动后的视野内有放置标志性物体,以免起飞时因为无正确的路径规划,发生与障碍物的碰撞。
其中,所述的估计无人机在地图中的位置,包括:根据基准物的形状轮廓估计得到无人机与基准物在空间上的相对距离,根据基准物在地图中的位置以及基准物与无人机的相对距离,估计得到无人机的位置。
由于基准物的形状轮廓可以反映拍摄的角度方向和距离,因此可以通过图片识别方式识别出二维码的形状轮廓,根据二维码的形状轮廓估计得到无人机与基准物之间的空间上的相对距离,此相对距离包括方向、长度信息。因为二维码的位置是已经确定的,所以在二维码的位置上加上相对距离即可得到无人机的位置。
S102:以估计的位置作为无人机的位置,规划从无人机的位置到终点的路径,基于规划的路径控制无人机飞行;
具体的,规划从无人机的位置到终点的路径具体是顺序执行如下步骤1)-3):
a1)创建空白的第一列表、第二列表和第三列表,将地图上所有的栅格放入第一列表中;
a2)以无人机的位置为当前点并放入第三列表中,执行如下寻路方法:在第一列表中搜寻当前点的所有邻近栅格,计算该某个邻近栅格对应的花费后将该某个邻近栅格转移到第二列表(所谓转移,可以理解为将某个邻近栅格放入第二列表中,并从第一列表中删除),如果第二列表出现终点,则将终点放入第三列表并结束所述寻路方法进入步骤a3),否则从搜寻的当前点的所有邻近栅格中选取花费最小的栅格作为新的当前点,将该新的当前点放入第三列表中后再次所述执行寻路方法;
a3)将第三列表中的所有当前点按照放入的先后顺序形成路径。
也就是说,一开始所有的栅格都在第一列表中,经过步骤2)的处理会逐渐将遍历过的栅格转移到第二列表中,第二列表中存放的是遍历过了的栅格。并且将路径中的栅格单独存放一份到第三列表,第三列表中的所有栅格即形成最终的路径。
其中,地图上的每一个栅格预先配置有对应的费用,步骤2)中所述的计算该某个邻近栅格对应的花费包括:将该某个邻近栅格的费用加上该某个邻近栅格到终点的预估路径上的所有栅格的费用。而该某个邻近栅格到终点的预估路径,简单的以某个邻近栅格到终点的空间直线路径来估算,如图2所示,图2为便于说明仅以二维平面下的直线路径为例进行说明,三维情况同理,图中P点位当前点,N为邻近栅格,T为终点,则直线距离下经过的栅格是M1、M2、M3、M4、M5,所以N栅格的花费是栅格N、M1、M2、M3、M4、M5的费用之和。当然,在其他实施例中,该某个邻近栅格到终点的预估路径也可以是基于同样的寻路方法得到的路径。
优选的,关于每个栅格的费用,本实施例中是如下定义的:
首先,不可通行的栅格的费用为第一预设值。本实施例中,为了确保不会撞上障碍物,将地图上障碍物所在的栅格及其在每个方向向外膨胀预设数量的栅格,均被设置为不可通行的栅格,例如将障碍物在地图上的每个方向向外膨胀10栅格,不可通行的地图栅格(如障碍物)的费用设为每格100。
其次,可通行的栅格的费用设为第二预设值,第一预设值大于第二预设值;例如,可通行的地图栅格的费用设为每格1。
最后,各种交通标志所在的栅格根据交通标志功能的不同设置位于第一预设值和第二预设值之间的不同的费用。交通标志有多种,比如“停止”、“右转”、“减速”、“悬停”、“限高飞行”等等,不同的交通标志对路径有不同的影响,因此需要根据交通标志功能的不同设置的费用来反应此处的通行花费代价,比如说:停止标志往前第一数量的栅格均设置为第一预设值,转向标志往前第二数量的栅格均设置为第一预设值,再往前第三数量的栅格的费用为从第一预设值到第二预设值的线性函数,且越靠近转向标志的栅格的费用越高,第一数量大于第二数量。例如,在“停止”的交通标志前100栅格的费用设置为每格100,“右转”的交通标志前50个栅格设置为每格100,前50~100个格设置为100~1的递减线性函数。
S103:在飞行过程中实时拍摄照片并识别,在识别出标志性物体时以新识别的标志性物体为基准物估计无人机在地图中的位置,基于估计的位置对无人机的位置进行修正,并在位置被修正后再次规划从无人机的位置到终点的路径;
可以理解的是,此处再次规划从无人机的位置到终点的路径与步骤S102的路径规划同理,所不同的是,因为是在飞行过程中重新规划路径,不是首次规划,所以无需执行步骤S102中的步骤a1),从步骤S102中的步骤a2)开始执行即可。
所述的对无人机的位置进行修正,包括:如果本次估计得到的位置与无人机的位置不超过预设误差,则将无人机的位置修正为本次估计得到的位置。进一步地,如果本次估计得到的位置与无人机的位置超过预设误差,则控制无人机飞行并更换拍摄视野(比如控制掉头以及其他角度的换向等方式都可以更换视野)后重新寻找可以作为基准物的对象(包括标志性物体以及交通标志),并根据新找到的基准物重新估计无人机的位置。如果重新估计得到的位置与无人机的位置未超过预设误差,则将无人机的位置修正为重新估计得到的位置后继续飞行,否则判断出现故障,停止飞行。
需要说明的是,因为运动的不确定性,无人机的位置是一个概率分布,也就是说在每个位置都有一定概率。修正无人机的位置实际上是修正无人机的位置的概率分布,我们认为按照基准物估计的位置是整个概率分布中概率最大的位置,所以当无人机扫描某个二维码之后或者交通标志后进行位置修正,不是将测得的位置的概率修改成100%,而只是增大其概率。
优选地,在飞行过程中,还可以基于深度学习框架对照片进行识别,在识别出交通标志时,根据交通标志的指示控制飞行。具体的,为了实现轻量化,本实施例的交通标志识别过程是:
1)从视频中每0.1秒截取一张图片,将采集的图片进行数据扩张得到更多数量的图片数据。比如说,数据扩张具体包括:图片平移、翻转、加噪声等变换,目的是增加数据集内容,其中噪声为高斯白噪声。最后使用做成Pascol VOC数据格式。此方法可以提供更为精确地提供该场景下需要的数据集。
2)将处理好的图片数据,送往预先训练好的神经网络中进行识别后输出交通标志的类别和边界框;
神经网络内嵌于ROS系统中,由于数据集的量较小,容易产生模型过拟合,因此神经网络中间的隐层网络采用正则化的方法,在损失函数中引入惩罚因子和正则化参数λ,从而增强网络的泛化能力。具体来说,神经网络一般都包括输入层、神经网络、输出层,处理好的图片数据即是送入输入层,输出层即输出交通标志的类别和边界框。神经网络的不同之处主要在隐层网络的设计,Yolov3 tiny的隐层网络采用卷积层来提取图片特征,并采用全连接,卷积层有16层。正则化处理也是在隐层网络的卷积网络中修改损失函数的表达式,即darknet里forward_yolo_layer函数中的l.cost。另外,使用网络剪枝的方法,减去Yolov3中的冗余连接,同时由于检测类别远低于原网络,故减少卷积层和减少其卷积核的个数。故此,完成了神经网络的轻量化处理,可以仅用CPU就完成运行。
当然,该神经网络在投入使用前要先利用大量的样本数据进行训练,神经网络识别图片数据中的文字、图案,就可以关联到具体的类别,比如图片中打叉,表示“停止”类型的交通标志,图片中是一个掉头的箭头则表示“右转”或者“左转”类型的交通标志。当然,还可以是直接识别图片中的文字来判断交通标志的类型。总而言之,只要给够样本将神经网络预先训练好即可。
本实施例中,神经网络的输出包括交通标志的类别和边界框,边界框可以帮助实现交通标志的定位。具体来说,边界框实际上就是交通标志的形状轮廓,根据该边界框,可以估计得到无人机与交通标志在空间上的相对距离(与前面提到的估计无人机与标志性物体的在空间上的相对距离同理),根据无人机的位置以及该相对距离,以无人机的位置为基准物估计交通标志的位置,根据估计的交通标志的位置,再在地图上确定具体是哪个交通标志,而因为交通标志不会很密集,所以即使无人机的位置有偏差导致估计的交通标志的位置有偏差,也是可以准确的定位到具体是哪个交通标志的,定位到该交通标志后,就可以获取到地图中为该交通标志设定的位置。比如说,假设无人机的位置是位置Q,根据飞机的位置Q,估计交通标志在位置A,在地图中寻找位置A附近的交通标志,发现最近的一个交通标志是标志X,就认为识别出的交通标志是标志X,然后获取该标志X在地图中的真正位置是位置B。
优选的,在识别出交通标志后,所以可以进一步判断当前识别出的交通标志是否存在于地图中:
1)如果存在,则以识别出的交通标志为基准物对无人机的位置进行修正(因为绝大部分交通标志是地图中之前就放置的,位置信息是精确的),修正方法同利用二维码进行修正的过程,只是基准物改为交通标志而已,还是延续上述例子,上面无人机在位置Q时,识别出标志X,获取到标志X的位置B,则可以根据位置B来修正无人机的位置Q。
2)如果交通标志不存在于地图中,则以无人机的位置为基准物估计交通标志的位置,并将交通标志添加到地图中。还是延续上述的例子,假设根据飞机的位置Q,估计交通标志在位置A,而地图中在位置A附近的没有交通标志,则我们认为此标志是新添加的,就以位置A作为此标志的位置,将该标志添加到地图中。
本实施例的相比现有技术的有益效果如下:
1)本实施例利用现有地图中的标志性物体实现自主定位,定位精度可以在5cm左右。现有的无人机基于GPS和网络地图的控制方案很少有自主定位、避障功能,GPS能提供的定位误差在5m左右,并且在室内信号条件更差,因此很多在厂区内部或者狭小街道上并不适合使用GPS和网络地图来进行实时路径规划和避障。本实施例的自主定位功能适合于室内无人机使用,较GPS定位更为精确。
2)基于本地地图,结合无人机的和终点的位置进行路径规划和导航,并且在飞行过程中实时修正无人机位置以及重新规划路径,实现自主飞行,而现有技术中要不是需要地面装置辅助进行路径规划,要不是手动操作无人机,本质上自动化程度低,依赖人员的操作熟练度。
3)采用更轻量化的神经网络框架,实现交通标志识别,并且算力需求较低,中央处理单元(CPU)就已经足够,不需要更大体积和重量的图形处理单元(GPU)。现有技术中,一般是基于激光的障碍物检测方法只能检测出离障碍物有多远,无法识别平面上的交通标志并根据标志进行相应操作,即使有基于深度学习的标志识别,也大多需要很大的计算量,对装置的运算能力有较高要求,难以直接搭载在无人机上。本实施例不仅能检测出物体的位置,还能检测出标志的文字图案等,从而使无人机能完成更多功能,如识别交通标志并执行相应的操作,还可以根据这些标志对无人机位置进行修正,或者可对新增加的交通标志,将其加入地图中,自动更新地图。而且由于采用的神经网络经过了轻量化处理,可以在算力较低的中央处理器上完成,可以搭载在无人机上独立运行。
实施例二
基于同一发明构思,本实施例公开一种计算机可读存储介质,其存储有计算机程序,所述计算机程序被处理器执行时实现如实施例一所述的方法的步骤。具体实现过程参考实施例一,此处不再赘述。
实施例三
基于同一发明构思,本实施例公开一种室内无人机,包括处理器和存储器,所述存储器存储有计算机程序,所述计算机程序被处理器执行时实现如实施例一所述的方法的步骤。具体实现过程参考实施例一,此处不再赘述。
综上所述,本发明的室内无人机及其控制方法、计算机可读存储介质,具有以下有益效果:本发明中无人机内预存有地图,地图上具有多个标志性物体,控制无人机开机后可以通过拍摄照片,识别照片中的标志性物体,以识别出的标志性物体为基准物估计无人机在地图中的位置作为起点,进而根据无人机的位置规划从无人机的位置到终点的路径,基于规划的路径控制无人机飞行,而且在在飞行过程中,实时拍摄照片并识别,在识别出标志性物体时以新识别的标志性物体为基准物对无人机的位置进行修正,如此,本发明的无人机无需依赖任何辅助,即可实现自主定位、自主路径规划,实现自主飞行;进一步地,本发明还提出基于深度学习框架识别交通标志,而且一方面可以根据地图中既有的交通标志进行位置修正,另一方面,还可以将新增加的交通标志添加到地图中,完善更新地图。
上面结合附图对本发明的实施例进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保护的范围情况下,还可做出很多形式,这些均属于本发明的保护之内。
Claims (10)
1.一种室内无人机控制方法,其特征在于,所述无人机内预存有地图,所述地图上具有多个标志性物体,所述方法包括:
无人机实时拍摄照片并识别照片中的标志性物体,以识别出的标志性物体为基准物估计无人机在地图中的位置;
以估计的位置作为无人机的位置,规划从无人机的位置到终点的路径,基于规划的路径控制无人机飞行;
在飞行过程中实时拍摄照片并识别,在识别出标志性物体时以新识别的标志性物体为基准物估计无人机在地图中的位置,基于估计的位置对无人机的位置进行修正,并在位置被修正后再次规划从无人机的位置到终点的路径。
2.根据权利要求1所述的室内无人机控制方法,其特征在于,所述地图上具有多个交通标志,所述方法还包括:
在飞行过程中还基于深度学习框架对照片进行识别,在识别出交通标志时,根据交通标志的指示控制飞行,并且判断当前识别出的交通标志是否存在于地图中,如果存在,则以识别出的交通标志为基准物对无人机的位置进行修正,如果不存在,则以无人机的位置为基准物估计交通标志的位置,并将交通标志添加到地图中。
3.根据权利要求1所述的室内无人机控制方法,其特征在于,所述的估计无人机在地图中的位置,包括:根据基准物的形状轮廓估计得到无人机与基准物在空间上的相对距离,根据基准物在地图中的位置以及基准物与无人机的相对距离,估计得到无人机的位置。
所述的对无人机的位置进行修正,包括:如果本次估计得到的位置与无人机的位置不超过预设误差,则将无人机的位置修正为本次估计得到的位置。
4.根据权利要求3所述的室内无人机控制方法,其特征在于,所述方法还包括:
如果本次估计得到的位置与无人机的位置超过预设误差,则控制无人机飞行并更换拍摄视野后重新寻找可以作为基准物的对象;
根据新找到的基准物重新估计无人机的位置,如果重新估计得到的位置与无人机的位置未超过预设误差,则将无人机的位置修正为重新估计得到的位置后继续飞行,否则判断出现故障,停止飞行。
5.根据权利要求1所述的室内无人机控制方法,其特征在于,所述方法还包括:在首次规划路径时,创建第一列表、第二列表和第三列表,将地图上所有的栅格放入第一列表中;
所述的规划从无人机的位置到终点的路径,包括:
以无人机的位置为当前点并放入第三列表中,执行如下寻路方法:在第一列表中搜寻当前点的所有邻近栅格,计算该某个邻近栅格对应的花费后将该某个邻近栅格转移到第二列表,如果第二列表出现终点,则将终点放入第三列表并结束所述寻路方法,否则从搜寻的当前点的所有邻近栅格中选取花费最小的栅格作为新的当前点,将该新的当前点放入第三列表中后再次所述执行寻路方法;
将第三列表中的所有当前点按照放入的先后顺序形成路径。
6.根据权利要求5所述的室内无人机控制方法,其特征在于,地图上的每一个栅格预先配置有对应的费用,地图上障碍物所在的栅格及其在每个方向向外膨胀预设数量的栅格,均被设置为不可通行的栅格,不可通行的栅格的费用为第一预设值,可通行的栅格的费用设为第二预设值,各种交通标志所在的栅格根据交通标志功能的不同设置位于第一预设值和第二预设值之间的不同的费用,第一预设值大于第二预设值。
其中,所述的计算该某个邻近栅格对应的花费包括:将该某个邻近栅格的费用加上该某个邻近栅格到终点的预估路径上的所有栅格的费用。
7.根据权利要求6所述的室内无人机控制方法,其特征在于,该某个邻近栅格到终点的预估路径是某个邻近栅格到终点的空间直线路径或者基于所述寻路方法得到的路径。
8.根据权利要求6所述的室内无人机控制方法,其特征在于,
所述的各种交通标志根据其功能的不同设置不同的费用,包括:
停止标志往前第一数量的栅格均设置为第一预设值,
转向标志往前第二数量的栅格均设置为第一预设值,再往前第三数量的栅格的费用为从第一预设值到第二预设值的线性函数,且越靠近转向标志的栅格的费用越高,第一数量大于第二数量。
9.一种室内无人机,其特征在于,包括处理器和存储器,所述存储器存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1-8任一项所述的方法的步骤。
10.一种计算机可读存储介质,其特征在于,存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1-8任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011297641.XA CN112346480B (zh) | 2020-11-18 | 2020-11-18 | 一种室内无人机及其控制方法、计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011297641.XA CN112346480B (zh) | 2020-11-18 | 2020-11-18 | 一种室内无人机及其控制方法、计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112346480A true CN112346480A (zh) | 2021-02-09 |
CN112346480B CN112346480B (zh) | 2023-03-21 |
Family
ID=74363089
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011297641.XA Active CN112346480B (zh) | 2020-11-18 | 2020-11-18 | 一种室内无人机及其控制方法、计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112346480B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113359836A (zh) * | 2021-06-23 | 2021-09-07 | 广东万嘉通通信科技有限公司 | 一种基于智慧杆的授权轨道与无人机协同方法及系统 |
CN113970321A (zh) * | 2021-10-21 | 2022-01-25 | 北京房江湖科技有限公司 | 一种户型动线的计算方法及装置 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6266442B1 (en) * | 1998-10-23 | 2001-07-24 | Facet Technology Corp. | Method and apparatus for identifying objects depicted in a videostream |
CN105652876A (zh) * | 2016-03-29 | 2016-06-08 | 北京工业大学 | 基于数组地图的移动机器人室内路径规划方法 |
CN106054931A (zh) * | 2016-07-29 | 2016-10-26 | 北方工业大学 | 一种基于视觉定位的无人机定点飞行控制系统 |
WO2017041730A1 (zh) * | 2015-09-09 | 2017-03-16 | 北京进化者机器人科技有限公司 | 一种移动机器人避障导航的方法和系统 |
CN109730590A (zh) * | 2019-01-30 | 2019-05-10 | 深圳飞科机器人有限公司 | 清洁机器人以及清洁机器人自动返回充电的方法 |
CN110632921A (zh) * | 2019-09-05 | 2019-12-31 | 北京百度网讯科技有限公司 | 机器人路径规划方法、装置、电子设备和存储介质 |
CN111727415A (zh) * | 2019-06-12 | 2020-09-29 | 深圳市大疆创新科技有限公司 | 一种无人机的控制方法、终端、无人机及存储介质 |
-
2020
- 2020-11-18 CN CN202011297641.XA patent/CN112346480B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6266442B1 (en) * | 1998-10-23 | 2001-07-24 | Facet Technology Corp. | Method and apparatus for identifying objects depicted in a videostream |
WO2017041730A1 (zh) * | 2015-09-09 | 2017-03-16 | 北京进化者机器人科技有限公司 | 一种移动机器人避障导航的方法和系统 |
CN105652876A (zh) * | 2016-03-29 | 2016-06-08 | 北京工业大学 | 基于数组地图的移动机器人室内路径规划方法 |
CN106054931A (zh) * | 2016-07-29 | 2016-10-26 | 北方工业大学 | 一种基于视觉定位的无人机定点飞行控制系统 |
CN109730590A (zh) * | 2019-01-30 | 2019-05-10 | 深圳飞科机器人有限公司 | 清洁机器人以及清洁机器人自动返回充电的方法 |
CN111727415A (zh) * | 2019-06-12 | 2020-09-29 | 深圳市大疆创新科技有限公司 | 一种无人机的控制方法、终端、无人机及存储介质 |
CN110632921A (zh) * | 2019-09-05 | 2019-12-31 | 北京百度网讯科技有限公司 | 机器人路径规划方法、装置、电子设备和存储介质 |
Non-Patent Citations (3)
Title |
---|
周克旻: "基于Kinect室内四旋翼无人机的定位跟踪与姿态估计", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 * |
张飞; 白伟; 乔耀华; 邢伯阳; 周鹏程: "基于改进D*算法的无人机室内路径规划", 《智能系统学报》 * |
高云园; 韦巍: "基于免疫机理的多机器人未知环境完全探测研究", 《模式识别与人工智能》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113359836A (zh) * | 2021-06-23 | 2021-09-07 | 广东万嘉通通信科技有限公司 | 一种基于智慧杆的授权轨道与无人机协同方法及系统 |
CN113359836B (zh) * | 2021-06-23 | 2022-03-08 | 广东万嘉通通信科技有限公司 | 一种基于智慧杆的授权轨道与无人机协同方法及系统 |
CN113970321A (zh) * | 2021-10-21 | 2022-01-25 | 北京房江湖科技有限公司 | 一种户型动线的计算方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN112346480B (zh) | 2023-03-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110969655B (zh) | 用于检测车位的方法、装置、设备、存储介质以及车辆 | |
CN109724612B (zh) | 一种基于拓扑地图的agv路径规划方法及设备 | |
CN110333714B (zh) | 一种无人驾驶汽车路径规划方法和装置 | |
EP3435035B1 (en) | Route-deviation recognition method, terminal and storage medium | |
US10352711B2 (en) | Computer-implemented method and a system for guiding a vehicle within a scenario with obstacles | |
CN106873630B (zh) | 一种飞行控制方法及装置,执行设备 | |
CN109491375A (zh) | 用于自动驾驶车辆的基于驾驶场景的路径规划 | |
CN110389583A (zh) | 生成自动驾驶车辆的轨迹的方法 | |
CN112660148B (zh) | 确定车辆的调头路径的方法、装置、设备和介质 | |
CN110119140A (zh) | 用于加速曲线投影的系统和方法 | |
CN109828607A (zh) | 一种面向不规则障碍物的无人机路径规划方法及系统 | |
CN110325935A (zh) | 用于自动驾驶车辆的路径规划的基于驾驶场景的车道引导线 | |
CN109491377A (zh) | 用于自动驾驶车辆的基于dp和qp的决策和规划 | |
CN110823240A (zh) | 一种具有航向约束的跟随机器人路径规划方法及系统 | |
CN112346480B (zh) | 一种室内无人机及其控制方法、计算机可读存储介质 | |
CN110096054A (zh) | 用于使用多个线程生成用于自动驾驶车辆的参考线的方法和系统 | |
CN112595337A (zh) | 避障路径规划方法、装置、电子装置、车辆及存储介质 | |
US9410807B2 (en) | Method for determining an offset lateral trajectory for an aircraft | |
WO2016103921A1 (ja) | 情報処理装置 | |
CN110376605A (zh) | 地图构建方法、导航方法和装置 | |
CN113008260A (zh) | 一种导航信息处理方法、装置、电子设备及存储介质 | |
CN115061499A (zh) | 无人机控制方法及无人机控制装置 | |
CN113587937A (zh) | 车辆的定位方法、装置、电子设备和存储介质 | |
CN118392202A (zh) | 一种全局最优路径规划方法、电子设备及介质 | |
KR20220095620A (ko) | 무인기 제어 장치 및 방법, 컴퓨터 프로그램 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |