CN112381953B - 三维空间无人机集群的快速选择方法 - Google Patents
三维空间无人机集群的快速选择方法 Download PDFInfo
- Publication number
- CN112381953B CN112381953B CN202011167819.9A CN202011167819A CN112381953B CN 112381953 B CN112381953 B CN 112381953B CN 202011167819 A CN202011167819 A CN 202011167819A CN 112381953 B CN112381953 B CN 112381953B
- Authority
- CN
- China
- Prior art keywords
- bounding box
- unmanned aerial
- aerial vehicle
- stereoscopic
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010187 selection method Methods 0.000 title claims abstract description 10
- 238000000034 method Methods 0.000 claims abstract description 65
- 230000003190 augmentative effect Effects 0.000 claims abstract description 18
- 230000008569 process Effects 0.000 claims description 29
- 230000008859 change Effects 0.000 claims description 26
- 238000013507 mapping Methods 0.000 claims description 16
- 238000005516 engineering process Methods 0.000 claims description 14
- 230000003068 static effect Effects 0.000 claims description 4
- 230000003993 interaction Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 13
- 239000013598 vector Substances 0.000 description 9
- 239000007787 solid Substances 0.000 description 7
- 230000002452 interceptive effect Effects 0.000 description 6
- 230000001788 irregular Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 210000003811 finger Anatomy 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 210000003813 thumb Anatomy 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提出了三维空间无人机集群的快速选择方法,包括:显示无人机集群的虚拟场景,通过增强现实设备感知集群的位置信息;立体包围盒根据未选中的无人机子集群的飞行情况,动态改变自身的包围条件,保持立体包围盒与未选中无人机子集群之间的相对距离;通过手势控制立体包围盒的控制点,改变立体包围盒的形状,形成用户目标包围条件;判断场景中的无人机群与包围盒的位置,确定用户选择的目标子集群。本发明通过改变立体包围盒的包围情况,实现任意形状分布子集群的选择,并提高对选择区域的边缘物体的判定速度和精确度,对于具有一定飞行速度的物体,立体包围盒的包围情况可以根据物体进行一定的自适应调整,最大限度降低用户的操作复杂度。
Description
技术领域
本发明涉及增强现实交互技术领域,具体涉及三维空间无人机集群的快速选择方法。
背景技术
随着增强现实技术的不断发展,利用增强现实场景替换传统的二维GUI(Graphical User Interface)界面已经成为一种非常重要的方式,相对于传统GUI界面,增强现实能给与用户带来更加真实的交互体验。而且随着增强现实技术的广泛应用,对高效交互技术的需求也越来越高。
人机交互中关键的步骤之一就是确定交互对象,在一个增强现实场景中,用户可以与场景中的任意虚拟对象进行交互,前提是确定交互的特定目标。对于在增强现实场景中确定交互目标的方式已经存在多种技术,对于单个目标的选取,目前主要存在直接抓取法,射线法,圆锥法,象限法以及栅格图形法等;对于多目标选取,目前主要存在的是二维套索法,立体矩形法等。随着机器人的发展,越来越多的机器人系统不仅限于一个机器人,而是多个机器人协同工作,从而提高任务的完成效率,而在集群交互系统中,都是同时与多个目标进行交互,基于单个目标选取的方式,虽然准确度高,但是效率低,不适合集群系统的交互过程。目前存在的多目标交互系统集群选择方式中,二维套索法使用投影的方式,在三维空间中缺少深度信息,而立体矩形法中创建的立体矩形只能通过定义长宽高以及位置来确定选择的子集群,对操作对象的位置分布具有较高的要求,而对于具有一定移动速度的集群的选取过程会加重用户的交互负担。
总而言之,集群系统的交互效率的提高大部分依赖于交互目标的选取过程,但是目前存在的多目标选取方法在精度以及效率上都比较低,而且大部分高精度的选择方法都体现在单目标的选取方式上,多目标选取方法仍然比较有限。
发明内容
本发明的目的是为了解决现有技术中的上述缺陷,提供一种三维空间集群快速选择的方法,提高三维空间中物体选择的效率,并且能够降低用户在选择具有一定移动速度子群体的操作复杂度。
为实现本发明的目的,采取如下技术方案:
一种三维空间无人机集群的快速选择方法,该选择方法包括以下步骤:
S1、通过增强现实技术显示无人机群体的虚拟场景,用户感知集群的位置信息,确定待交互集群分布情况;
S2、通过手势创建立体包围盒,确定立体包围盒的初始的位置,大小,旋转角度信息;
S3、立体包围盒根据未选中的无人机子集群的飞行情况,动态改变自身的包围条件,保持立体包围盒与未选中无人机子集群之间的相对距离;
S4、通过手势控制立体包围盒的控制点,改变立体包围盒的形状,形成用户目标包围条件;
S5、判断场景中的无人机群与包围盒的位置,确定用户选择的目标子集群。
进一步地,所述的步骤S1中增强现实技术显示的无人机群体的虚拟场景包括:投影地图、虚拟无人机集群,其中,虚拟无人机集群依附于投影地图,无人机集群中的个体状态依附于对应虚拟无人机。
进一步地,虚拟场景的显示采用三维注册技术,实时检测摄像头相对于真实环境的位置姿态来确定虚拟场景的投影角度和虚拟无人机群的虚拟坐标。三维注册技术使用户能够在移动过程中能充分感知虚拟无人机集群的三维位置信息。
进一步地,步骤S2中,所述立体包围盒为长方体,所述立体包围盒的信息特征包括多个控制点以及多个三角面,根据所述多个控制点获得三角面索引数组,通过所述三角面索引数组连接所述控制点形成具有多个三角面的封闭立体包围盒。
进一步地,步骤S3中,立体包围盒上的控制点根据动态变化的约束条件和就近原则跟随未选中的无人机子集群,所述动态变化的约束条件包括不能缩小用户原目标集群的立体包围盒的包围范围和必须保证立体包围盒动态改变的过程中仅能存在一个封闭的空间,所述就近原则指立体包围盒上的控制点跟随最近的未选择的无人机做相对静止的跟随运动。区别于传统的静态选择,能根据未选择的无人机子群的运动情况自适应地改变包围条件,控制点可以自动跟随无人机,保持立体包围盒与未选择并处于飞行中的无人机子群的相对位置,降低用户下一步选择操作的复杂度。
进一步地,步骤S4中,在满足立体包围盒的控制点变化约束条件基础上,用户通过手势拖拽立体包围盒的控制点进行来完成立体包围盒的变化过程。
进一步地,步骤S4中,建立用户操作立体包围盒的映射,用户通过操作所述映射来操作立体包围盒本体,映射的控制点与立体包围盒本体一一对应,任何对映射的操作实时反映在立体包围盒本体上。
进一步地,所述步骤S5中,采用射线法判断虚拟无人机是否在立体包围盒中。
进一步地,所述的射线法为三维空间内的射线法,通过从虚拟无人机位置沿x轴方向的射线与立体包围盒所创建的三角面的交点的个数判断虚拟无人机是否处于立体包围盒内部。
进一步地,所述步骤S5中,当虚拟无人机处理立体包围盒的边缘区域时,以虚拟无人机为对象创建一个OBB包围盒,在所述OBB包围盒上选取多个位置点,通过判断所述位置点在立体包围盒中的覆盖数量来判定边缘虚拟无人机子群是否处于立体包围盒中。
本发明相对于现有技术具有有益效果:
本发明提供三维空间无人机集群的快速选择方法。本发明能够对在三维空间分布的不规则无人机目标子集群进行快速选取。本发明提出的立体包围盒能直观地展示给用户三维空间中交互无人机与立体包围盒的位置关系,而不仅仅是二维套索投影的方式。本发明能够快速选择分布体积较大的无人机目标子集群,立体包围盒的三角面变化保证了立体包围盒在表达用户包含意图时的灵活性,能够通过三角面的变化适应不同分布集群的选择,并且建立了立体包围盒的映射,因此对于分布体积较大的集群也能够通过操作小体积的映射来快速选择。本发明能够对处于立体包围盒边缘的模糊无人机进行准确率更高的包含判定,对位于包围盒内部和包围盒边缘的不同虚拟无人机进行不同的包含判定,位于内部的虚拟无人机直接通过三维空间射线法将虚拟无人机压缩为一个位置点进行判定,而位于边缘的虚拟无人机则通过虚拟无人机自身的OBB包围盒的覆盖范围进行判定,因为位于边缘的虚拟无人机不能忽略碰撞体积,通过OBB包围盒的覆盖率能够更精确地判断位于立体包围盒边缘的模糊无人机是否能够纳入用户的包含意图中。本发明能够提高用户对具有一定速度的无人机集群的选取效率,在选择具有移动速度的无人机时,立体包围盒通过动态跟随的方式改变自身的状态,保持与周围最近移动无人机的相对位置不变,此时用户只需要通过改变立体包围盒与移动虚拟无人机之间的相对位置,不需要考虑移动无人机的移动方向和距离,大大降低了用户在操作立体包围盒时的复杂度,从而提高对具有一定速度无人机集群的选取效率。本发明的操作过程全部基于用户的手势,使用户在交互过程更加自然高效。
附图说明
图1立体包围盒的位置点与三角面信息示意图。
图2虚拟无人机OBB包围盒上的位置点示意图。
图3用户拖拽顶点修改立体包围盒包含条件示意图。
图4不同形状的立体包围盒对虚拟对象的包含情况示意图。
图5位置点约束约束情况示意图。
图6用户通过操作映射包围盒来操作本体包围盒的示意图。
图7虚拟无人机位于立体包围盒边缘示意图。
图8立体包围盒动态变化示意图。
图9立体包围盒状态变化流程图。
图10三维空间集群快速选择方法的流程图。
图11创建初始立体包围盒流程图。
图12虚拟对象包含判定流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。
实施例
本实施例提供的一种在三维空间中快速确定具有一定飞行速度无人机集群的方法,该选择方法包括以下步骤:
S1、通过增强现实技术显示无人机群系统虚拟场景,用户感知集群的位置信息,确定待交互集群分布情况。
在步骤S1中增强现实技术用于显示虚拟交互集群在真实位置上的映射,投影的虚拟交互集群与真实无人机集群具有一一对应的关系,虚拟无人机的位置关系依附于虚拟投影地图,虚拟无人机在虚拟地图上的位置信息根据真实无人机的经纬度信息计算得到,并以一定缩放比例呈现在虚拟地图中,虚拟无人机集群的分布情况能够很好地体现出真实无人机集群的分布情况。增强现实场景中还包括用户的虚拟手势信息,通过建立用户的手势模型,由传感器获得用户的手势信息,实时显示用户的虚拟手于交互的场景中。用户的虚拟手的投影给予用户交互过程中的视觉反馈,让用户确切感受到操作的是一个立体包围盒对象。虚拟无人机的状态包括被选中与未被选中两种状态,两种状态以不同的颜色加以区分。
用户通过头戴增强现实设备,设备自带摄像头用于实现三维注册技术,将真实无人机的经纬度进行坐标转换后显示在用户的头戴增强现实眼镜中,用户的移动会带动设备的摄像头移动,设备摄像头的移动可以实时观察到真实无人机的三维分布情况,实时检测周围环境与用户的相对位置关系,用户在移动的过程中能充分感知虚拟集群的分布情况,从不同的角度对集群的观察有助于用户确定创建的立体包围盒的大小和位置。虚拟无人机本身带有颜色信息,用户可以通过颜色信息来判断特定的虚拟无人对象是否被选取。用户通过固定比例尺缩放的投影地图能直观地了解无人机分布的范围的大小,为后续创建立体包围盒的尺寸做出预估。
S2、通过手势创建初始立体包围盒,确定立体包围盒初始的位置,大小和旋转角度信息。
在步骤S2中,用户通过手势创建初始的立体包围盒,本实施例中初始立体包围盒的形状为长方体,有利于用户通过手势快速创建指定大小和指定位置的立体包围盒,长方体的立体包围盒包括长宽高、旋转角度和位置信息,这些信息通过手势就可以快速进行表示,实现步骤如下:
(1)用户左手的食指与拇指之间的距离确定立体包围盒的宽;
(2)用户右手的食指与拇指之间的距离确定立体包围盒的高;
(3)用户左右两只手手掌心的距离确定立体包围盒的长;
(4)用户左手手掌的旋转角度指定立体包围盒的旋转角度。
如图11创建初始立体包围盒流程图所示,其中k为缩放系数,允许用户通过较小的手势变化,加上一定的缩放系数达到比较舒适的操作过程。
在步骤S2中,通过传感器采集的用户手势信息具有一定的噪声,会导致创建的立体包围盒的精度较低,因此采用卡尔曼滤波的方式对手势信息进行平滑,消除由于用户创建立体包围盒的过程中手势抖动导致立体包围盒位置发生偏移或尺寸与预期产生较大偏差,使创建的初始立体包围盒尺寸更加精确。
在步骤S2中,创建的立体包围盒包括26个控制点以及48个三角面信息,如图1立体包围盒的位置点与三角面信息示意图所示,为立体包围盒的信息特征,其中26个控制点取自呈长方体的立体包围盒的8个顶点、12条棱的中点以及各面的中心点。每个面根据相对棱的中点连线以及对角连线可获得8个三角面,即最终可获得48个三角面。48个三角面信息通过三角面索引数组以顺时针的方式进行连接,顺时针的方向作为三角面的正面,三角面的法向量指向立体包围盒的外部。立体包围盒的26个控制点集合为P={p0,p1,p2,p3,...,p25},三角面索引数组为长度48*3的索引,索引值为控制点集合P的下标,三角面索引数组集合为T={[index0,index1,index2]0,...,[index0,index1,index2]47},通过控制点集合和索引数组集合创建立方体包围盒。通过三角面信息创建mesh collider碰撞体,贴合立体包围盒,并随着立体包围盒的形状而发生变化,用于判断处于立体包围盒边缘的模糊虚拟无人机。
S3、立体包围盒跟随未选中的群体的运动情况,动态改变自身的包围条件,保持立体包围盒与未选中群体之间的相对距离。
在步骤S3中,立体包围盒动态变化前需要确定26个控制点跟随的无人机集群中的个体。根据集群的特征,一个集群中的个体一般呈现聚集分布,因此跟随可以采用就近原则,立体包围盒的某个控制点可以跟随最近的未选择的无人机做相对静止的跟随运动,并在跟随的过程中如果出现另一个最近的无人机,则改变跟随的对象为当前出现的另一个最近的无人机,因为此时说明之前跟随的无人机可能不属于用户的目标子集群中的无人机,而新出现的最近的无人机才有可能是用户的目标子集群中的无人机,或者出现未选择子集群中离立体包围盒更近的另一架无人机,也需要更换跟随目标为当前最近的目标。若立体包围盒某个控制点跟随的无人机与控制点的连线会穿过立体包围盒的某一个三角面,则说明当前无人机与控制点不在立体包围盒的同一侧,此时若改变该控制点用于包围跟随无人机必定会使立体包围盒出现多个封闭空间,导致立体包围盒的包围出现二义性,并且必定存在另一侧的顶点更加接近跟随目标,所以当前顶点不能跟随上述的无人机动态变化。只有满足上述条件的无人机才能作为顶点跟随的目标。
在步骤S3中,为了保证立体包围盒的动态变化能够降低用户下一步操作的复杂度,立体包围盒控制点跟随最近未选择的无人机做相对静止运动,保证用户的下一步操作不需要关心目标子集群的运动状态。假设包围盒控制点的位置为A,跟随目标无人机的位置为B,那么A与B之间的距离Distance可以表示为B-A,跟随的目的就是保证Distance的大小不变,这样的好处是用户下一次操作想选中目标无人机B时,操作的距离为固定值Distance,而不会随着目标无人机的运动而需要操作多余的无人机运动的距离,从而降低用户操作的复杂度。
在步骤S3中,立体包围盒动态变化的过程需要满足以下两个约束条件:不能缩小用户原目标集群的立体包围盒的包围范围;必须保证立体包围盒动态改变的过程中仅能存在一个封闭的空间。第一个条件是为了保证用户通过立体包围盒产生的包围范围不会因为立体包围盒的动态变化而出现收缩的情况,因为包围范围的收缩可能会导致用户原本选择的目标子集群中的个别对象由被选中状态变为未选中状态,改变了用户的交互意图。若在立体包围盒的动态变化过程中出现了两个封闭的区间,此时会导致立体包围盒的包围范围不明确,因此,应该保证当前的立体包围盒只能存在一个封闭空间。立体包围盒跟随具有一定飞行速度无人机的动态变化过程如图8立体包围盒动态变化示意图所示,动态变化的过程中保证未选中无人机和立体包围盒之间的相对距离不变。
S4、通过手势控制立体包围盒的控制点,改变立体包围盒的形状,形成用户目标包围条件。
在步骤S4中,用户可以通过手势拖拽立体包围盒的控制点集合P来改变立体包围盒的包围情况。如图3用户拖拽控制点修改立体包围盒包含条件示意图所示,区别固定大小的包围盒,通过拖拽控制点可以实现对不同分布情况的集群进行包围,虽然初始化创建的是一个立体矩形,但是因为可拖拽的控制点存在,实际上是一个可变的不规则立方体,不仅能够适应矩形分布的集群对象,还能够适应圆形分布,甚至是任意分布的集群对象。如图3用户拖拽控制点修改立体包围盒包含条件示意图所示,通过操作三个控制点的位置,改变了原有的立体包围盒的分布情况,形成了一个新的不规则的立体包围盒。用户也可以一次操作多个控制点来完成对一个平面的拖拽过程,而不仅局限于一个控制点的变化,使交互过程的效率更高。如图4不同形状的立体包围盒对虚拟对象的包含情况示意图所示,通过改变立体包围盒的控控制点位置,生成的立体包围盒虚拟对象的包围情况能够满足用户对目标子集群的选择要求,对象(图中的大圆点)开始存在于立体包围盒中,即选中状态,通过改变侧面控制点的位置,可以使其变为未选中状态,此过程更加直观地反映出虚拟物体与立体包围盒的位置关系。拖拽过程使用卡尔曼滤波减小用户的手势抖动,使拖拽过程的变化更加精确。
在步骤S4中,拖拽的立体包围盒的控制点位置变化需要满足以下的约束条件,即三角面形成的索引数组在面向用户方向为顺时针的连接方向,如[index0,index1,index2]三个位置点形成的三角面,从左到右的连接方式必须为顺时针的连接方向,保证生成的三角面的法向量的朝向为立体包围盒的外部,如图5控制点约束情况示意图所示的三个控制点A、B和C形成的三角面,A在x方向上的拖拽过程中,A点x坐标的约束条件为A.x<B.x,如果A点的x坐标不满足约束条件,根据索引数组,A、B和C三点形成的三角面则变为逆时针连接,导致法向量朝向立体包围盒内部,出现多个闭合空间导致立体包围盒的包围空间出现歧义。
步骤S3与步骤S4的两种改变包围盒的状态的方式共同影响包围盒的状态变化,动态包围盒自身跟随未选中虚拟无人机的运动变化并不会改变用户的包含意图,而是通过跟随无人机来减少用户需要主动拖拽时的偏移量,因此这两个过程是相互叠加的,用户下一步交互的操作中部分操作过程已经由动态包围盒的动态跟随完成,因此能够减少用户选择移动无人机的操作复杂度。假设动态包围盒的控制点跟随未选中无人机的偏移量为y,偏移量y同时也代表了用户在当前选择过程中无人机的移动距离,用户主动拖拽的偏移量为x,因此用户在主动拖拽时不需要考虑偏移量y,即无人机的运动,只需要专注自己的拖拽偏移量x即可完成下一步的交互操作。步骤S3与步骤S4的流程图如图9立体包围盒状态变化流程图所示。
在步骤S4中,用户想要选取的虚拟集群在三维空间分布的体积可能会很大,在三维空间中,用户可能无法直接操作巨大的立体包围盒,所以通过建立一个用户操作立体图形的映射,以一定的比例呈现在用户方便操作的位置,用户对该映射立体图形的操作过程能够实时反映在真正用于包围对象的立体图形上,如图6用户通过操作映射包围盒来操作立体包围盒本体的示意图所示,用户只需要操作立体包围盒本体的映射,就可以操作巨大的立体包围盒本体,其好处是用户的目标子集群分布较广的情况下,用户只需要拖拽映射的控制点,通过缩放比例计算本体的变化,就可以实现规模较大的集群的快速选择。
S5、判断场景中的无人机与包围盒的位置,确定用户选择的目标子集群。
在步骤S5中,采用射线法判断虚拟无人机对象是否处于立体包围盒中,射线法的定义通过二维空间的射线法扩展到三维空间中,在增强现实场景中,以虚拟无人机位置为起点,沿x轴方向引导一条射线,射线与立体包围盒的交点的个数为偶数,则说明虚拟无人机位于立体包围盒之外,标记为未选中状态,否则虚拟无人机位于立体包围盒内部,标记为选中状态。
在步骤S5中,射线法与立体包围盒的相交点的判断方法通过空间射线与三角面的相交判断来实现。具体计算过程如下:
假设虚拟无人机位置点为P,x轴方向向量为L向量,则从虚拟无人机沿x轴方向产生的射线可以表示为
其中d≥0,因为射线方向只能朝一个方向延伸,不能朝相反的方向延伸。空间中三角面的三个顶点表示为A、B、C,以顺时针的连接方式形成一个三角面。该三角面的法向量为
根据左手定则,法向量的方向朝向立体包围盒的外部。假设射线与三角面的交点为K,交点K也处于三角面所在的平面上,因此有
交点K位于直线上,因此K点可以通过(1)式进行表示,此时未知量为d,联立(1)式(3)式可以求得d从而得到K点的位置。K点位于三角面所处的平面,但不一定位于三角面内,根据向量的平行四边形法则得即平面中的向量可以表示为任意两个不平行向量之和,其中v和u为两个未知参数,如果点K位于三角形内部,则v和u应该满足以下的约束条件:
1.v≥0;
2.u≥0;
3.v+u≤1;
根据向量的投影法则,其中为向量/>在/>方向上的投影,/>为/>在/>方向上的投影,通过投影公式可得
通过(4)(5)计算得到v和u两个三个,在根据v和u的约束条件判断K点的位置。若点K位于三角面内部,则说明此为射线与立体包围盒的交点。
在步骤S5中,有可能存在部分虚拟无人机对象处于立体包围盒的边缘区域,虚拟无人机一部分位于立体包围盒外部,一部分位于立体包围盒内部,如图2虚拟无人机OBB包围盒上的位置点示意图所示。系统为虚拟无人机对象创建一个OBB(Oriented BoundingBox)包围盒,取包围盒上14个位置点(包围盒的8个顶点和6个面的中心点),位于边缘的虚拟无人机通过计算14个位置点的包围率来判定位于边缘的虚拟无人机是否判定为目的子集群的一个个体。若14个位置点中超过7个位置点处于立体包围盒内,即包围率大于50%,则说明位于边缘的虚拟无人机是用户目的包含的子集群中的一个个体。其好处是位于边缘的虚拟对象不仅仅通过自身的坐标判断,而是通过OBB包围盒的位置点进行判断,从而提高了包含的精准度。
本实施例提供的一种适用于大规模集群环境中,用户快速确定具有一定飞行速度的目标子集群的方法,通过改变立体包围盒的包围情况,实现任意形状分布的子集群的选择,并提高对选择区域的边缘物体的判定速度和精确度,对于具有一定飞行速度的物体,立体包围盒的包围情况可以根据物体进行一定的自适应调整,最大限度第降低用户的操作复杂度,提高用户的交互效率和交互体验。
显然,本发明的上述实施例仅仅是为清楚地说明本发明所作的举例,而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明权利要求的保护范围之内。
Claims (7)
1.三维空间无人机集群的快速选择方法,其特征在于,包括以下步骤:
S1、通过增强现实技术显示无人机群体的虚拟场景,用户感知集群的位置信息,确定待交互集群分布情况;
S2、通过手势创建立体包围盒,确定立体包围盒初始的位置、大小和旋转角度信息;
S3、立体包围盒根据未选中的无人机子集群的飞行情况,动态改变自身的包围条件,保持立体包围盒与未选中无人机子集群之间的相对距离;
S4、通过手势控制立体包围盒的控制点,改变立体包围盒的形状,形成用户目标包围条件;
S5、判断场景中的无人机群与包围盒的位置,确定用户选择的目标子集群;
步骤S2中,所述立体包围盒的信息特征包括多个控制点以及多个三角面,根据所述多个控制点获得三角面索引数组,通过所述三角面索引数组连接所述控制点形成具有多个三角面的封闭立体包围盒;
步骤S3中,立体包围盒上的控制点根据动态变化时的约束条件和就近原则跟随未选中的无人机子集群,所述动态变化的约束条件包括不能缩小用户原目标集群的立体包围盒的包围范围和必须保证立体包围盒动态改变的过程中仅能存在一个封闭的空间,所述就近原则指立体包围盒上的控制点跟随最近的未选择的无人机做相对静止的跟随运动;
步骤S4中,在满足立体包围盒的控制点变化约束条件基础上,用户通过手势拖拽立体包围盒的控制点来完成立体包围盒的变化过程;
步骤S4中,建立用户操作立体包围盒的映射,用户通过操作所述映射来操作立体包围盒本体,映射的控制点与立体包围盒本体一一对应,任何对映射的操作实时反映在立体包围盒本体上。
2.根据权利要求1所述的三维空间无人机集群的快速选择方法,其特征在于:所述的步骤S1中增强现实技术显示的无人机群体的虚拟场景包括:投影地图、虚拟无人机集群,其中,虚拟无人机集群依附于投影地图,无人机集群中的个体状态依附于对应虚拟无人机。
3.根据权利要求1所述的三维空间无人机集群的快速选择方法,其特征在于:虚拟场景的显示采用三维注册技术,实时检测摄像头相对于真实环境的位置姿态来确定虚拟场景的投影角度和虚拟无人机群的虚拟坐标。
4.根据权利要求1所述的三维空间无人机集群的快速选择方法,其特征在于:步骤S2中,所述立体包围盒为长方体。
5.根据权利要求1所述的三维空间无人机集群的快速选择方法,其特征在于:所述步骤S5中,采用射线法判断虚拟无人机是否在立体包围盒中。
6.根据权利要求5所述的三维空间无人机集群的快速选择方法,其特征在于:所述的射线法为三维空间内的射线法,通过从虚拟无人机位置沿x轴方向的射线与立体包围盒所创建的三角面的交点的个数判断虚拟无人机是否处于立体包围盒内部。
7.根据权利要求1-6任一所述的三维空间无人机集群的快速选择方法,其特征在于:步骤S5中,当虚拟无人机处于立体包围盒的边缘区域时,以虚拟无人机为对象创建一个OBB包围盒,在所述OBB包围盒上选取多个位置点,通过判断所述位置点在立体包围盒中的覆盖数量来判定边缘虚拟无人机子群是否处于立体包围盒中。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011167819.9A CN112381953B (zh) | 2020-10-28 | 2020-10-28 | 三维空间无人机集群的快速选择方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011167819.9A CN112381953B (zh) | 2020-10-28 | 2020-10-28 | 三维空间无人机集群的快速选择方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112381953A CN112381953A (zh) | 2021-02-19 |
CN112381953B true CN112381953B (zh) | 2024-04-02 |
Family
ID=74577771
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011167819.9A Active CN112381953B (zh) | 2020-10-28 | 2020-10-28 | 三维空间无人机集群的快速选择方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112381953B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117021117B (zh) * | 2023-10-08 | 2023-12-15 | 电子科技大学 | 一种基于混合现实的移动机器人人机交互与定位方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104143009A (zh) * | 2014-08-22 | 2014-11-12 | 河海大学 | 基于动态包围盒最大间隙切分的竞争合作聚类方法 |
CN105912122A (zh) * | 2016-04-15 | 2016-08-31 | 济南大学 | 一种用于虚拟装配的隐式交互方法 |
CN110047143A (zh) * | 2019-03-04 | 2019-07-23 | 南昌大学 | 一种基于空间细分与动态包围盒的连续碰撞检测方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10488938B2 (en) * | 2017-06-30 | 2019-11-26 | Intel Corporation | Adaptive cursor technology |
-
2020
- 2020-10-28 CN CN202011167819.9A patent/CN112381953B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104143009A (zh) * | 2014-08-22 | 2014-11-12 | 河海大学 | 基于动态包围盒最大间隙切分的竞争合作聚类方法 |
CN105912122A (zh) * | 2016-04-15 | 2016-08-31 | 济南大学 | 一种用于虚拟装配的隐式交互方法 |
CN110047143A (zh) * | 2019-03-04 | 2019-07-23 | 南昌大学 | 一种基于空间细分与动态包围盒的连续碰撞检测方法 |
Non-Patent Citations (2)
Title |
---|
A Human-swarm Interaction Method Based on Augmented Reality;Chen M 等;2018 WRC Symposium on Advanced Robotics and Automation (WRC SARA). IEEE;20181231;108-114 * |
Automatic mutual localization of swarm robot using a particle filter;Lee Y W;Journal of information and communication convergence engineering;20121231;第10卷(第4期);390-395 * |
Also Published As
Publication number | Publication date |
---|---|
CN112381953A (zh) | 2021-02-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112509151B (zh) | 一种教学场景中虚拟对象的真实感生成方法 | |
US7042449B2 (en) | Push-tumble three dimensional navigation system | |
US7755608B2 (en) | Systems and methods of interfacing with a machine | |
US8989876B2 (en) | Situational awareness for teleoperation of a remote vehicle | |
JP2006293792A (ja) | 立体映像生成装置 | |
CN107015654A (zh) | 基于增强现实的导航方法及装置 | |
US10372288B2 (en) | Selection of objects in a three-dimensional virtual scene | |
KR102158324B1 (ko) | 점군 정보 생성 장치 및 방법 | |
CN105808071A (zh) | 一种显示控制方法、装置和电子设备 | |
CN108629799B (zh) | 一种实现增强现实的方法及设备 | |
CN112381953B (zh) | 三维空间无人机集群的快速选择方法 | |
CN110689611A (zh) | 一种空间遥操作中基于实时重建模型的预测显示方法 | |
CN107102750B (zh) | 一种基于笔式交互系统的虚拟三维空间中目标的选择方法 | |
Angelopoulos et al. | Drone brush: Mixed reality drone path planning | |
Lee et al. | A study on recognizing multi-real world object and estimating 3D position in augmented reality | |
CN105427371B (zh) | 一种三维透视投影场景中保持图形对象等像素面积显示的方法 | |
US12001615B2 (en) | Integration of a two-dimensional input device into a three-dimensional computing environment | |
EP4167068A1 (en) | Integration of a two-dimensional input device into a three-dimensional computing environment | |
CN112306231B (zh) | 一种基于半轮廓高亮的凌空徒手三维目标选择方法 | |
KR102314578B1 (ko) | 가상 현실에서 3d 물체 조작을 위한 보조 카메라 위치 최적화 장치 및 방법 | |
KR102392675B1 (ko) | 3차원 스케치를 위한 인터페이싱 방법 및 장치 | |
Alleaume et al. | Introduction to AR-Bot, an AR system for robot navigation | |
EP3926432A1 (en) | Touch control of unmanned aerial vehicles | |
Ren et al. | Real-Time 3D Tele-operation of Unmanned Ground Vehicles | |
US20220335676A1 (en) | Interfacing method and apparatus for 3d sketch |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |