CN117075725A - 一种基于增强现实的人—集群交互方法及系统 - Google Patents
一种基于增强现实的人—集群交互方法及系统 Download PDFInfo
- Publication number
- CN117075725A CN117075725A CN202310947075.XA CN202310947075A CN117075725A CN 117075725 A CN117075725 A CN 117075725A CN 202310947075 A CN202310947075 A CN 202310947075A CN 117075725 A CN117075725 A CN 117075725A
- Authority
- CN
- China
- Prior art keywords
- unmanned aerial
- aerial vehicle
- real
- cluster
- operation instruction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 44
- 238000000034 method Methods 0.000 title claims abstract description 34
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 28
- 230000002452 interceptive effect Effects 0.000 claims abstract description 45
- 238000013507 mapping Methods 0.000 claims abstract description 12
- 210000003811 finger Anatomy 0.000 claims description 99
- 230000006870 function Effects 0.000 claims description 46
- 230000009471 action Effects 0.000 claims description 30
- 210000004247 hand Anatomy 0.000 claims description 23
- 230000004044 response Effects 0.000 claims description 18
- 210000003813 thumb Anatomy 0.000 claims description 15
- 238000001514 detection method Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 5
- 210000001503 joint Anatomy 0.000 claims description 4
- 239000000203 mixture Substances 0.000 claims description 4
- 238000005452 bending Methods 0.000 claims description 3
- 230000001276 controlling effect Effects 0.000 claims description 3
- 230000007613 environmental effect Effects 0.000 claims description 3
- 210000001145 finger joint Anatomy 0.000 claims description 3
- 230000001105 regulatory effect Effects 0.000 claims description 2
- 229940088594 vitamin Drugs 0.000 claims description 2
- 229930003231 vitamin Natural products 0.000 claims description 2
- 235000013343 vitamin Nutrition 0.000 claims description 2
- 239000011782 vitamin Substances 0.000 claims description 2
- 150000003722 vitamin derivatives Chemical class 0.000 claims description 2
- 230000002776 aggregation Effects 0.000 claims 1
- 238000004220 aggregation Methods 0.000 claims 1
- 238000005516 engineering process Methods 0.000 description 5
- 230000001960 triggered effect Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 210000002478 hand joint Anatomy 0.000 description 2
- 238000007654 immersion Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了一种基于增强现实的人—集群交互方法及系统，包括如下步骤：获取自定义的手部姿态，将手部姿态映射到真实无人机集群以生成真实集群的手部操作指令，基于手部操作指令引导真实无人机集群按照手部操作指令完成任务，或者：获取真实集群的交互操作指令，基于交互操作指令引导真实无人机集群按照交互操作指令完成任务，或者：获取真实集群的区域操作指令，基于区域操作指令引导真实无人机集群到区域操作指令对应的区域聚集以完成任务；该交互方法及系统将物理世界和虚拟世界融合，可以提供更加自然、多样的交互方式。
Description
技术领域
本发明涉及增强现实技术领域，尤其涉及一种基于增强现实的人—集群交互方法及系统。
背景技术
增强现实(Augmented Reality,AR)技术是一种基于计算机实时计算和多传感器融合，将现实世界与虚拟信息结合起来的技术。该技术通过对人的视觉、听觉、嗅觉、触觉等感受进行模拟和再输出，并将虚拟信息叠加到真实信息上，给人提供超越真实世界感受的体验。Hololens是微软在2016年开发的最先进的头戴式AR设备，允许用户使用全息图与环境交互。其功能比传统AR设备更先进，增加了三维显示、凝视设计、手势设计等功能。
人—集群交互是指人与机器之间进行信息交换的过程，人—集群交互的目标是通过适当的隐喻，将用户的行为和状态(输入)转变成一种机器能够理解和操作的表示，并把机器的行为和状态(输出)转换为一种人能够理解和操作的表示并反馈给人。传统的人—集群交互方式比较单一，需要依赖机器语言，通过键盘、鼠标等中间设备进行交互。
发明内容
基于背景技术存在的技术问题，本发明提出了一种基于增强现实的人—集群交互方法及系统，将物理世界和虚拟世界融合，可以提供更加自然、多样的交互方式。
本发明提出的一种基于增强现实的人—集群交互方法，包括如下步骤：
获取自定义的手部姿态，将手部姿态映射到真实无人机集群以生成真实集群的手部操作指令，基于手部操作指令引导真实无人机集群按照手部操作指令完成任务，所述手部姿态响应于通过Hololens2设备检测并跟踪双手的关节点，基于关节点确定手部姿态；或者：
获取真实集群的交互操作指令，基于交互操作指令引导真实无人机集群按照交互操作指令完成任务，所述交互操作指令响应于在现实场景中添加虚拟无人机集群并获取虚拟无人机集群的位姿状态，通过真实无人机集群与虚拟无人机集群的交互生成交互操作指令；或者：
获取真实集群的区域操作指令，基于区域操作指令引导真实无人机集群到区域操作指令对应的区域聚集以完成任务，所述区域操作指令响应于通过改变真实无人机集群工作环境中的参数信息，向真实无人机集群传达真实环境中各个位置的重要程度以生成区域操作指令。
进一步地，在获取自定义的手部姿态，将手部姿态映射到真实无人机集群以生成真实集群的手部操作指令，基于手部操作指令引导真实无人机集群按照手部操作指令完成任务，所述手部姿态响应于通过Hololens2设备检测并跟踪双手的关节点，基于关节点确定手部姿态中，具体包括：
(A1)利用增强现实设备Hololens2对视野内的手部图像进行逐帧检测；
(A2)从(A1)的手部图像中提取手部骨架节点的三维坐标和手部数目N映射到渲染后的数字手部模型中；
(A3)基于手部骨架节点的三维坐标计算手势几何特征，基判断手部数目N是否大于2，如是进入(A4)，若否进入(A5)；
(A4)当前为无效手势；
(A5)如果手部数目N等于2，则采用双手手势识别算法，根据所述手势几何特征对双手手势进行识别，获得手势识别动作；如果手部数目小于2，且检测到的手部为右手，则说明是无效手势，反之则采用单手手势识别算法，根据所述手势几何特征对单手手势进行识别，获得手势识别动作；
(A6)基于手势几何特征定义特殊手势；
(A7)使用隔空敲击的方式选中虚拟目标无人机对象，在手指关节的关键部位绑定要素，当要素被激活，触发手部操作指令。
进一步地，所述(A3)中的手势几何特征包括每根手指的指尖坐标P.tip，每根手指的中关节坐标P.middle，掌心坐标Ppalm，掌心前向向量Lforward，手指弯曲角度阈值θcurl，手指伸直角度阈值θstraight，手掌向上的法线与摄像头前向射线之间的夹角θpalm，camera，手心朝向摄像头时手掌向上的法线与摄像头前向射线之间的夹角阈值θfacing，手掌打开阈值θflat，同一只手的食指指尖与中指指尖的距离dindex，middle。
进一步地，在步骤(A6)中，具体为：
若所有手指均伸直，掌心面向摄像头，则手势识别动作为“掌心向内”，真实无人机操作指令为“起飞”；
若所有手指均伸直，手背面向摄像头，则手势识别动作为“掌心向外”，真实无人机操作指令为“降落”；
若大拇指伸直向上，剩余手指弯曲向掌心，掌心面向摄像头，且检测到的手部为左手，则手势识别动作为“竖起一个大拇指”，真实无人机操作指令为“向左”；
若大拇指伸直向上，剩余手指弯曲向掌心，掌心面向摄像头，且检测到的手部为左手和右手，则手势识别动作为“竖起两个大拇指”，真实无人机操作指令为“向右”；
若食指和中指伸直，剩余手指弯曲，食指指尖和中指指尖的距离大于4厘米，且检测到的手部为左手，则手势识别动作为“一个胜利手势”，真实无人机操作指令为“向上”；
若食指和中指伸直，剩余手指弯曲，食指指尖和中指指尖的距离大于4厘米，且检测到的手部为左手和右手，则手势识别动作为“两个胜利手势”，真实无人机操作指令为“向下”；
若食指伸直，剩余手指弯曲，且检测到的手部为左手，则手势识别动作为“单根手指”，真实无人机操作指令为“向前”；
若食指伸直，剩余手指弯曲，且检测到的手部为左手和右手，则手势识别动作为“两根手指”，真实无人机操作指令为“向后”；
进一步地，步骤(A7)使用隔空敲击的方式选中虚拟目标无人机对象中，具体为：使用射线瞄准虚拟目标无人机，射线轨迹在虚拟场景中显示，若射线瞄准虚拟无人机的同时，食指和大拇指短暂触碰后分开，则该无人机即为选中状态，选中的虚拟无人机配合高亮显示。
进一步地，在获取真实集群的交互操作指令，基于交互操作指令引导真实无人机集群按照交互操作指令完成任务，所述交互操作指令响应于在现实场景中添加虚拟无人机集群并获取虚拟无人机集群的位姿状态，通过真实无人机集群与虚拟无人机集群的交互生成交互操作指令中，具体包括：
(B1)制作并添加虚拟无人机模型到设定场景，为虚拟无人机集群制作动画；
(B2)设计UI界面，通过UI界面访问虚拟无人机集群的位姿状态，所述位姿状态包括无人机坐标、无人机姿态、无人机轨迹、抬头显示、飞行画面、环境信息；
(B3)通过抓取、拖拽方式操作虚拟无人机集群绘制期望路径，记录并保存期望路径的关键点；
(B4)基于位姿状态和期望路径的关键点，对真实无人机集群与虚拟无人机集群进行交互以生成交互操作指令，引导真实无人机集群按照交互操作指令完成任务。
进一步地，在获取真实集群的区域操作指令，基于区域操作指令引导真实无人机集群到区域操作指令对应的区域聚集以完成任务，所述区域操作指令响应于通过改变真实无人机集群工作环境中的参数信息，向真实无人机集群传达真实环境中各个位置的重要程度以生成区域操作指令中，具体包括：
(C1)根据现实场景的真实环境创建二维场景地图，真实无人机集群在二维场景地图上的工作域用表示，密度函数φ(q，t)表示在t时刻点q∈D的重要程度，其中，R表示实数域，D表示真实无人机工作的二维场景地图，q表示二维场景地图上的任一点；
(C2)在二维场景地图上点击感兴趣的区域，将被点击区域的密度函数值调高；
(C3)使用固定权重和形状的高斯混合模型将被点击的区域转变成二维场景地图上的实时密度函数，根据实时密度函数更新真实无人机集群的控制率，将控制率作为区域操作指令以引导真实无人机集群向指定区域聚集以完成任务。
进一步地，密度函数φ(q，t)、控制率的公式如下：
其中，ε0表示正常数，μi(t)表示第i个高斯函数的中心位置，表示μi(t)的导数，ri(t)表示点击位置，τi，1表示第i个高斯函数加入的时间，τi，2表示第i个高斯函数离开的时间，H(p，t)表示代价函数，Vi(p)表示第i个虚拟无人机负责的维诺单元，mi和ci是第i个维诺单元的质量和质心，pi∈D表示第i个无人机的位置，R表示用户敲击的手指个数，q表示二维场景地图上的任一点，p表示真实无人机的位置，li(t)表示第i个高斯函数的权重，T表示矩阵的转置，n表真实集群中的无人机数目，K是为了补偿建模误差引入的比例项，α为用来调控li(t)变化速率的一个参数，/>表示c对p的偏导，/>表示c对t的偏导，I表示单位矩阵。
一种基于增强现实的人一集群交互系统，包括第一获取执行模块、第二获执行模块和第三获取执行模块；
所述第一获取执行模块用于获取自定义的手部姿态，将手部姿态映射到真实无人机集群以生成真实集群的手部操作指令，基于手部操作指令引导真实无人机集群按照手部操作指令完成任务，所述手部姿态响应于通过Hololens2设备检测并跟踪双手的关节点，基于关节点确定手部姿态；
所述第二获执行模块用于获取真实集群的交互操作指令，基于交互操作指令引导真实无人机集群按照交互操作指令完成任务，所述交互操作指令响应于在现实场景中添加虚拟无人机集群并获取虚拟无人机集群的位姿状态，通过真实无人机集群与虚拟无人机集群的交互生成交互操作指令；
所述第三获取执行模块用于获取真实集群的区域操作指令，基于区域操作指令引导真实无人机集群到区域操作指令对应的区域聚集以完成任务，所述区域操作指令响应于通过改变真实无人机集群工作环境中的参数信息，向真实无人机集群传达真实环境中各个位置的重要程度以生成区域操作指令。
一种计算机可读储存介质，所述计算机可读储存介质上存储有若干程序，所述若干程序用于被处理器调用并执行如上所述的人-集群交互方法。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
本发明提供的一种基于增强现实的人-集群交互方法及系统的优点在于：本发明结构中提供的一种基于增强现实的人-集群交互方法及系统，通过对真实环境中添加虚拟集群对象，将不可直接操作的真实无人机集群与可直接操作的虚拟无人机集群联系，实现虚拟信息和真实世界的联动，为用户提供自沉浸式的交互；同时，为操作虚拟集群机器人设计的手势易于理解和实现，符合用户的使用习惯，使交互更加自然。因而本申请提出的交互方式将现实世界和虚拟信息结合起来的同时，提供了多样且效率高、应用灵活的交互方式。
附图说明
图1为本发明的流程示意图；
图2为本发明的结构示意图；
图3为渲染的手部关节模型图。
具体实施方式
下面，通过具体实施例对本发明的技术方案进行详细说明，在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其他方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施的限制。
如图1至3所示，本发明提出的一种基于增强现实的人—集群交互方法，包括如下步骤：
(A)获取自定义的手部姿态，将手部姿态映射到真实无人机集群以生成真实集群的手部操作指令，基于手部操作指令引导真实无人机集群按照手部操作指令完成任务，所述手部姿态响应于通过Hololens2设备检测并跟踪双手的关节点，基于关节点确定手部姿态；或者：
(B)获取真实集群的交互操作指令，基于交互操作指令引导真实无人机集群按照交互操作指令完成任务，所述交互操作指令响应于在现实场景中添加虚拟无人机集群并获取虚拟无人机集群的位姿状态，通过真实无人机集群与虚拟无人机集群的交互生成交互操作指令；或者：
(C)获取真实集群的区域操作指令，基于区域操作指令引导真实无人机集群到区域操作指令对应的区域聚集以完成任务，所述区域操作指令响应于通过改变真实无人机集群工作环境中的参数信息，向真实无人机集群传达真实环境中各个位置的重要程度以生成区域操作指令。
通过(A)至(C)提供了三种人—集群手势交互方式，通过对真实环境中添加虚拟集群对象，将不可直接操作的真实无人机集群与可直接操作的虚拟无人机集群联系，实现虚拟信息和真实世界的联动，为用户提供自沉浸式的交互；同时，为操作虚拟集群机器人设计的手势易于理解和实现，符合用户的使用习惯，使交互更加自然。因而本申请提出的交互方式将现实世界和虚拟信息结合起来的同时，提供了多样且效率高、应用灵活的交互方式。
以下分别对(A)、(B)、(C)三种交互方式进行详细说明。
针对(A)，具体包括：
(A1)利用增强现实设备Hololens2对视野内的手部图像进行逐帧检测；
通过Hololens2采集环境的图像信息，具体使用第四代Kinect传感器，采用ToF(Time of Flight，飞行时间)技术，构建用户所处的实景环境数据；Kinect利用正对前方的信号发生器进行深度感应，向下倾斜的精度更高的信号发生器用于追踪手势。
(A2)从(A1)的手部图像中提取手部骨架节点的三维坐标和手部数目N映射到渲染后的数字手部模型中；
渲染一个双手的数字手部模型，将每只手用26个关节点表示，具体如图3所示，采用小方块、三轴坐标系、小球分别表示关节、掌心、指尖，重点关注食指指尖与掌心的位姿；
(A3)基于手部骨架节点的三维坐标计算手势几何特征，基判断手部数目N是否大于2，如是进入(A4)，若否进入(A5)；
(A4)当前为无效手势；
(A5)如果手部数目N等于2，则采用双手手势识别算法，根据所述手势几何特征对双手手势进行识别，获得手势识别动作；如果手部数目小于2，且检测到的手部为右手，则说明是无效手势，反之则采用单手手势识别算法，根据所述手势几何特征对单手手势进行识别，获得手势识别动作；
(A6)基于手势几何特征定义特殊手势；
虽然Hololens2预置了点击、隔空敲击等手势，但这些手势无法自然地与虚拟目标无人机集群的操作指令进行绑定。所以本实施例自定义了多种手势，用作与集群交互，主要思路是先通过IMixedRealityHand接口从设备请求关节数据，再对关节位姿进行逻辑判断，满足某种逻辑即为手势发生。
手势几何特征具体包括：每根手指的指尖坐标P.tip，每根手指的中关节坐标P.middle，掌心坐标Ppalm，掌心前向向量Lforward，手指弯曲角度阈值θcurl，手指伸直角度阈值θstraight，手掌向上的法线与摄像头前向射线之间的夹角θpalm，camera，手心朝向摄像头时手掌向上的法线与摄像头前向射线之间的夹角阈值θfacing，手掌打开阈值θflat，同一只手的食指指尖与中指指尖的距离dindex，middle；根据手势几何特征计算如下参数：
每根手指的指向向量L：
L.＝P.middle-P.tip (1)
掌心到食指指尖的向量Lpalm，index：
Lpalm，index＝Pindex.tip-Tpalm (2)
食指指尖到无名指指尖的向量Lring，index：
Lring，index＝Pring.tip-Pindex.tip (3)
(2)式与(3)式的向量叉乘得到参考向量Lcross：
Lcross＝Lpalm，index×Lring，index (4)
若当前检测到得手部为右手则(4)式结果不变，若为左手，则公式(4)乘以-1。参考向量Lcross与掌心前向向量Lforward的夹角为θ：
根据上述手势几何特征信息进行逻辑判断，定义特殊手势，具体包括：
(A6-1)若所有手指均伸直，掌心面向摄像头，则手势识别动作为“掌心向内”，真实无人机操作指令为“起飞”，具体满足的公式为：
(A6-2)若所有手指均伸直，手背面向摄像头，则手势识别动作为“掌心向外”，真实无人机操作指令为“降落”，具体满足的公式为：
(A6-3)若大拇指伸直向上，剩余手指弯曲向掌心，掌心面向摄像头，且检测到的手部为左手，则手势识别动作为“竖起一个大拇指”，真实无人机操作指令为“向左”，具体满足的公式为：
(A6-4)若大拇指伸直向上，剩余手指弯曲向掌心，掌心面向摄像头，且检测到的手部为左手和右手，则手势识别动作为“竖起两个大拇指”，真实无人机操作指令为“向右”，具体满足的公式同(8)式；
(A6-5)若食指和中指伸直，剩余手指弯曲，食指指尖和中指指尖的距离大于4厘米，且检测到的手部为左手，则手势识别动作为“一个胜利手势”，真实无人机操作指令为“向上”，具体满足的公式为：
(A6-6)若食指和中指伸直，剩余手指弯曲，食指指尖和中指指尖的距离大于4厘米，且检测到的手部为左手和右手，则手势识别动作为“两个胜利手势”，真实无人机操作指令为“向下”，具体满足的公式同(9)式；
(A6-7)若食指伸直，剩余手指弯曲，手背面向摄像头，且检测到的手部为左手，则手势识别动作为“单根手指”，真实无人机操作指令为“向前”，具体满足的公式为：
(A6-8)若食指伸直，剩余手指弯曲，手背面向摄像头，且检测到的手部为左手和右手，则手势识别动作为“两根手指”，真实无人机操作指令为“向后”，具体满足的公式同(10)式；
本实施例设计了多种简单、识别准确率高的手势((A6-1)至(A6-8))，将手势与复杂的集群操作指令形成映射，从而降低交互难度，当Hololens2检测(A6-1)至(A6-8)中任一设置的有效手势时，触发手部操作指令，引导真实无人机集群按照交互操作指令完成任务。
(A7)使用隔空敲击的方式选中虚拟目标无人机对象，在手指关节的关键部位绑定要素，当要素被激活，触发手部操作指令，以引导真实无人机集群按照手部操作指令完成任务。
使用隔空敲击的方式在悉尼场景下选中虚拟目标无人机对象，用户使用射线瞄准虚拟目标无人机，射线轨迹在场景中显示，若射线瞄准虚拟目标无人机的同时，食指和大拇指短暂触碰后分开，则该无人机即为选中状态，选中的虚拟目标无人机配合高亮显示。同时，在手部关节的关键部位绑定一些要素，当这些要素被激活，触发操作指令，其中要素包括点击掌心位置出现用户界面，展示真实无人机集群信息。
本实施例将自定义手势映射到真实无人机集群的手部操作命令，主要通过HandConstraint解算器实现，该解算器包含OnHandActivate，OnHandDeactivate，OnFirstHandDetected，OnLastHandLost四种事件，分别在满足所有手势时触发，手势条件从满足到不满足时触发，检测到第1个手势时触发，检测到的手势全部丢失时触发。将触发事件定义为发送相应的操作指令代码，即可实现手势到操作指令的映射。
针对(B)，具体包括。
(B1)制作并添加虚拟无人机模型到设定场景，为虚拟无人机集群制作动画，该动画包括旋翼转动、无人机飞行等动画，以增强交互的真实感。
(B2)设计UI界面，通过UI界面访问虚拟无人机集群的位姿状态，所述位姿状态包括无人机坐标、无人机姿态、无人机轨迹、抬头显示、飞行画面、环境信息；
虚拟无人机是真实无人机在场景中的一种表现，真实无人机的位姿等信息的变化体现在虚拟无人机上，用户能够通过直接观察虚拟无人机的表现形态直观自然地掌握真实无人机的状态。其中UI界面包括预设轨迹、模式选择、轨迹回放、添加设备等多种功能，并实时传回飞行画面，监测集群位姿，使用户实时方便的获取到所有目标的状态。
(B3)通过抓取、拖拽方式操作虚拟无人机集群绘制期望路径，记录并保存期望路径的关键点；
具体为：使用隔空敲击选中虚拟目标无人机，拖拽选中的无人机并在空中绘制轨迹，轨迹使用鲜明的颜色显示在虚拟场景中，将轨迹中的关键点高亮显示并保存。
(B4)基于位姿状态和期望路径的关键点，对真实无人机集群与虚拟无人机集群进行交互以生成交互操作指令，引导真实无人机集群按照交互操作指令完成任务。
通过(B1)至(B4)将真实无人机直接与虚拟无人机对象交互，再将信息传输给真实集群并更新，进而实现间接与真实集群交互的方式。首先在真实场景中添加虚拟对象，然后通过近距离的点击和拖拽或者远距离的射线检测选择，将虚拟对象放置在期望的位置或者绘制期望轨迹，最后将关键位置数据记录并发送给真实集群。
针对(C)：通过实时改变二维场景地图上的密度函数φ(q,t)，向真实集群传达区域重要程度的信息，引导集群快速聚集到指定区域，具体包括：
(C1)根据现实场景的真实环境创建二维场景地图，真实无人机集群在二维场景地图上的工作域用表示，密度函数φ(q，t)表示在t时刻点q∈D的重要程度，其中，R表示用户敲击的手指个数，D表示真实无人机工作的二维场景地图，q表示二维场景地图上的任一点；
(C2)在二维场景地图上点击感兴趣的区域，将被点击区域的密度函数值调高；
用户通过在二维场景地图上点击感兴趣的区域，将该区域的密度函数值调高，点击时间越长密度函数值越大，该区域越重要，即用户通过手指在二维场景地图上敲击感兴趣区域，改变密度函数。
(C3)使用固定权重和形状的高斯混合模型将被点击的区域转变成二维场景地图上的实时密度函数，根据实时密度函数更新真实无人机集群的控制率，将控制率作为区域操作指令以引导真实无人机集群向指定区域聚集以完成任务。
高斯混合模型(GMM)用k个高斯函数的线性组合来近似任意形状的密度函数，实现直观区域到数值函数的转换，为了简化计算，将高斯函数的权重和形状固定，得到密度函数的具体公式：
其中，ε0是一个很小的正常数，保证在没有输入的情况下密度函数φ(q，t)＞0，∑是协方差，决定了高斯函数的形状，R表示用户敲击的手指个数，μi(t)是高斯函数的中心，q表示二维场景地图上的任一点，p表示真实无人机的位置，li(t)表示第i个高斯函数的权重，T表示矩阵的转置，表示μi(t)的导数。
为了让高斯函数的中心渐进的接近敲击位置ri(t)，K是为了补偿建模误差引入的比例项，具体满足的公式为
li(t)第i个高斯函数的权重，决定了每个高斯函数的权重，用户点击的时间越长，权重应该越大，因此具体满足的公式：
其中，τi，1表示第i个高斯函数加入的时间，τi，2表示第i个高斯函数离开的时间，α是用来调控li(t)变化速率的一个参数，决定了li(t)的变化速率。
为了让真实无人机集群对密度函数的覆盖性能最优，引入位置代价函数H(p，t)，具体公式如下，其中二维工作域是凸域，pi∈D表示第i个无人机的位置，Vi(p)是第i个无人机负责的维诺单元，mi和ci是第i个维诺单元的质量和质心：
通过梯度下降法得到H(p，t)最小时，I表示单位矩阵，真实无人机集群的控制率为：
当用户通过点击改变密度函数时，真实无人机集群的维诺图发生变化，式(17)所示的控制率将引导集群以最优的方式接近用户的感兴趣区域。
本实施例使用Socket通信，将HoloLens设备作为客户端，控制真实集群的设备作为服务端，将二者的IP地址与端口号设定好并连接成功后便可以进行数据的双向传输。其具体的工作过程为：服务端程序将一个套接字绑定到一个指定的地址和端口，并通过此套接字等待和监听客户的连接请求。客户程序向服务端程序绑定服务端的地址和端口发出连接请求。服务端接受连接请求，并获得一个新的套接字。服务端通过读、写新的套接字与客户端进行通信。
本实施例在获取手部操作指令或者交互操作指令或者区域操作指令后，将对应的操纵指令通过socket接口传送到真实集群中，以控制真实集群按照对应操作指令完成任务，操纵指令的具体传送过程为：建立起增强现实交互设备与无人机控制端的通信，所述增强现实设备与无人机控制端均处于同一局域网内；创建一个用于监听连接的socket对象，与真实无人机集群控制端地址及端口进行绑定，真实无人机控制端作为服务端，增强现实设备Hololens2作为客户端；Hololens2创建socket与真实无人机集群控制端进行连接，发送指令数据；控制端接收操作指令并处理，并将响应数据发送给Hololens2端。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种基于增强现实的人—集群交互方法，其特征在于，包括如下步骤：
获取自定义的手部姿态，将手部姿态映射到真实无人机集群以生成真实集群的手部操作指令，基于手部操作指令引导真实无人机集群按照手部操作指令完成任务，所述手部姿态响应于通过Hololens2设备检测并跟踪双手的关节点，基于关节点确定手部姿态；或者：
获取真实集群的交互操作指令，基于交互操作指令引导真实无人机集群按照交互操作指令完成任务，所述交互操作指令响应于在现实场景中添加虚拟无人机集群并获取虚拟无人机集群的位姿状态，通过真实无人机集群与虚拟无人机集群的交互生成交互操作指令；或者：
获取真实集群的区域操作指令，基于区域操作指令引导真实无人机集群到区域操作指令对应的区域聚集以完成任务，所述区域操作指令响应于通过改变真实无人机集群工作环境中的参数信息，向真实无人机集群传达真实环境中各个位置的重要程度以生成区域操作指令。
2.根据权利要求1所述的基于增强现实的人—集群交互方法，其特征在于，在获取自定义的手部姿态，将手部姿态映射到真实无人机集群以生成真实集群的手部操作指令，基于手部操作指令引导真实无人机集群按照手部操作指令完成任务，所述手部姿态响应于通过Hololens2设备检测并跟踪双手的关节点，基于关节点确定手部姿态中，具体包括：
(A1)利用增强现实设备Hololens2对视野内的手部图像进行逐帧检测；
(A2)从(A1)的手部图像中提取手部骨架节点的三维坐标和手部数目N映射到渲染后的数字手部模型中；
(A3)基于手部骨架节点的三维坐标计算手势几何特征，基判断手部数目N是否大于2，如是进入(A4)，若否进入(A5)；
(A4)当前为无效手势；
(A5)如果手部数目N等于2，则采用双手手势识别算法，根据所述手势几何特征对双手手势进行识别，获得手势识别动作；如果手部数目小于2，且检测到的手部为右手，则说明是无效手势，反之则采用单手手势识别算法，根据所述手势几何特征对单手手势进行识别，获得手势识别动作；
(A6)基于手势几何特征定义特殊手势；
(A7)使用隔空敲击的方式选中虚拟目标无人机对象，在手指关节的关键部位绑定要素，当要素被激活，触发手部操作指令。
3.根据权利要求2所述的基于增强现实的人—集群交互方法，其特征在于，所述(A3)中的手势几何特征包括每根手指的指尖坐标P.tip，每根手指的中关节坐标P.middle，掌心坐标Ppalm，掌心前向向量Lforward，手指弯曲角度阈值θcurl，手指伸直角度阈值θstraight，手掌向上的法线与摄像头前向射线之间的夹角θpalm,camera，手心朝向摄像头时手掌向上的法线与摄像头前向射线之间的夹角阈值θfacing，手掌打开阈值θflat，同一只手的食指指尖与中指指尖的距离dindex,middle。
4.根据权利要求3所述的基于增强现实的人—集群交互方法，其特征在于，在步骤(A6)中，具体为：
若所有手指均伸直，掌心面向摄像头，则手势识别动作为“掌心向内”，真实无人机操作指令为“起飞”；
若所有手指均伸直，手背面向摄像头，则手势识别动作为“掌心向外”，真实无人机操作指令为“降落”；
若大拇指伸直向上，剩余手指弯曲向掌心，掌心面向摄像头，且检测到的手部为左手，则手势识别动作为“竖起一个大拇指”，真实无人机操作指令为“向左”；
若大拇指伸直向上，剩余手指弯曲向掌心，掌心面向摄像头，且检测到的手部为左手和右手，则手势识别动作为“竖起两个大拇指”，真实无人机操作指令为“向右”；
若食指和中指伸直，剩余手指弯曲，食指指尖和中指指尖的距离大于4厘米，且检测到的手部为左手，则手势识别动作为“一个胜利手势”，真实无人机操作指令为“向上”；
若食指和中指伸直，剩余手指弯曲，食指指尖和中指指尖的距离大于4厘米，且检测到的手部为左手和右手，则手势识别动作为“两个胜利手势”，真实无人机操作指令为“向下”；
若食指伸直，剩余手指弯曲，且检测到的手部为左手，则手势识别动作为“单根手指”，真实无人机操作指令为“向前”；
若食指伸直，剩余手指弯曲，且检测到的手部为左手和右手，则手势识别动作为“两根手指”，真实无人机操作指令为“向后”。
5.根据权利要求3所述的基于增强现实的人—集群交互方法，其特征在于，步骤(A7)使用隔空敲击的方式选中虚拟目标无人机对象中，具体为：使用射线瞄准虚拟目标无人机，射线轨迹在虚拟场景中显示，若射线瞄准虚拟无人机的同时，食指和大拇指短暂触碰后分开，则该无人机即为选中状态，选中的虚拟无人机配合高亮显示。
6.根据权利要求1所述的基于增强现实的人—集群交互方法，其特征在于，在获取真实集群的交互操作指令，基于交互操作指令引导真实无人机集群按照交互操作指令完成任务，所述交互操作指令响应于在现实场景中添加虚拟无人机集群并获取虚拟无人机集群的位姿状态，通过真实无人机集群与虚拟无人机集群的交互生成交互操作指令中，具体包括：
(B1)制作并添加虚拟无人机模型到设定场景，为虚拟无人机集群制作动画；
(B2)设计UI界面，通过UI界面访问虚拟无人机集群的位姿状态，所述位姿状态包括无人机坐标、无人机姿态、无人机轨迹、抬头显示、飞行画面、环境信息；
(B3)通过抓取、拖拽方式操作虚拟无人机集群绘制期望路径，记录并保存期望路径的关键点；
(B4)基于位姿状态和期望路径的关键点，对真实无人机集群与虚拟无人机集群进行交互以生成交互操作指令，引导真实无人机集群按照交互操作指令完成任务。
7.根据权利要求1所述的基于增强现实的人一集群交互方法，其特征在于，在获取真实集群的区域操作指令，基于区域操作指令引导真实无人机集群到区域操作指令对应的区域聚集以完成任务，所述区域操作指令响应于通过改变真实无人机集群工作环境中的参数信息，向真实无人机集群传达真实环境中各个位置的重要程度以生成区域操作指令中，具体包括：
(C1)根据现实场景的真实环境创建二维场景地图，真实无人机集群在二维场景地图上的工作域用密度函数φ(q，t)表示在t时刻点q∈D的重要程度，其中，R表示实数域，D表示真实无人机工作的二维场景地图，q表示二维场景地图上的任一点；
(C2)在二维场景地图上点击感兴趣的区域，将被点击区域的密度函数值调高；
(C3)使用固定权重和形状的高斯混合模型将被点击的区域转变成二维场景地图上的实时密度函数，根据实时密度函数更新真实无人机集群的控制率，将控制率作为区域操作指令以引导真实无人机集群向指定区域聚集以完成任务。
8.根据权利要求7所述的基于增强现实的人一集群交互方法，其特征在于，密度函数φ(q，t)、控制率的公式如下：
其中，ε0表示正常数，μi(t)表示第i个高斯函数的中心位置，表示μi(t)的导数，ri(t)表示点击位置，τi，1表示第i个高斯函数加入的时间，τi，2表示第i个高斯函数离开的时间，H(p，t)表示代价函数，Vi(p)表示第i个真实无人机负责的维诺单元，mi和ci是第i个维诺单元的质量和质心，pi∈D表示第i个真实无人机的位置，R表示用户敲击的手指个数，q表示二维场景地图上的任一点，p表示真实无人机的位置，li(t)表示第i个高斯函数的权重，T表示矩阵的转置，n表真实集群中的无人机数目，K是为了补偿建模误差引入的比例项，α为用来调控li(t)变化速率的一个参数，I表示单位矩阵。
9.一种基于增强现实的人-集群交互系统，其特征在于，包括第一获取执行模块、第二获执行模块和第三获取执行模块；
所述第一获取执行模块用于获取自定义的手部姿态，将手部姿态映射到真实无人机集群以生成真实集群的手部操作指令，基于手部操作指令引导真实无人机集群按照手部操作指令完成任务，所述手部姿态响应于通过Hololens2设备检测并跟踪双手的关节点，基于关节点确定手部姿态；
所述第二获执行模块用于获取真实集群的交互操作指令，基于交互操作指令引导真实无人机集群按照交互操作指令完成任务，所述交互操作指令响应于在现实场景中添加虚拟无人机集群并获取虚拟无人机集群的位姿状态，通过真实无人机集群与虚拟无人机集群的交互生成交互操作指令；
所述第三获取执行模块用于获取真实集群的区域操作指令，基于区域操作指令引导真实无人机集群到区域操作指令对应的区域聚集以完成任务，所述区域操作指令响应于通过改变真实无人机集群工作环境中的参数信息，向真实无人机集群传达真实环境中各个位置的重要程度以生成区域操作指令。
10.一种计算机可读储存介质，其特征在于，所述计算机可读储存介质上存储有若干程序，所述若干程序用于被处理器调用并执行如权利要求1至8任一所述的人一集群交互方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310947075.XA CN117075725A (zh) | 2023-07-27 | 2023-07-27 | 一种基于增强现实的人—集群交互方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310947075.XA CN117075725A (zh) | 2023-07-27 | 2023-07-27 | 一种基于增强现实的人—集群交互方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117075725A true CN117075725A (zh) | 2023-11-17 |
Family
ID=88701426
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310947075.XA Pending CN117075725A (zh) | 2023-07-27 | 2023-07-27 | 一种基于增强现实的人—集群交互方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117075725A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118377312A (zh) * | 2024-06-24 | 2024-07-23 | 南京信息工程大学 | 一种基于虚拟现实的无人机集群控制方法 |
-
2023
- 2023-07-27 CN CN202310947075.XA patent/CN117075725A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118377312A (zh) * | 2024-06-24 | 2024-07-23 | 南京信息工程大学 | 一种基于虚拟现实的无人机集群控制方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11960706B2 (en) | Item selection using enhanced control | |
| TWI690842B (zh) | 基於手勢辨認的互動顯示方法和裝置 | |
| KR101546654B1 (ko) | 웨어러블 증강현실 환경에서 증강현실 서비스 제공 방법 및 장치 | |
| Song et al. | GaFinC: Gaze and Finger Control interface for 3D model manipulation in CAD application | |
| JP4489825B2 (ja) | ジェスチャ入力システム、方法及びプログラム | |
| KR101531363B1 (ko) | 이차원 인터랙티브 디스플레이에서 가상 객체 또는 시점을 제어하는 방법 | |
| Kumar et al. | Hand data glove: A new generation real-time mouse for human-computer interaction | |
| CN108182728A (zh) | 一种基于Leap Motion的在线体感三维建模方法及系统 | |
| US20120235904A1 (en) | Method and System for Ergonomic Touch-free Interface | |
| Smith et al. | Digital foam interaction techniques for 3D modeling | |
| CN111665933A (zh) | 虚拟或者增强现实中的对象操作方法及装置 | |
| CN114529691A (zh) | 一种窗口控制方法、电子设备及计算机可读存储介质 | |
| CN116974373A (zh) | 人机交互方法及装置、存储介质及电子设备 | |
| Bai et al. | Asymmetric Bimanual Interaction for Mobile Virtual Reality. | |
| CN113467625A (zh) | 虚拟现实的控制设备、头盔和交互方法 | |
| CN117075725A (zh) | 一种基于增强现实的人—集群交互方法及系统 | |
| Liu et al. | COMTIS: Customizable touchless interaction system for large screen visualization | |
| CN114995635A (zh) | 一种基于混合现实桌面手势交互方法 | |
| KR101962464B1 (ko) | 손동작 매크로 기능을 이용하여 다중 메뉴 및 기능 제어를 위한 제스처 인식 장치 | |
| Lemoine et al. | Interaction techniques: 3d menus-based paradigm | |
| Zhi et al. | A survey of Interactive Technology in Augmented Reality | |
| KR101605740B1 (ko) | 스마트폰 사용자의 개인화된 동작인식 방법 및 이를 이용한 게임방법 | |
| WO2023207226A1 (zh) | 操作界面的生成方法、控制方法和装置 | |
| Tao et al. | Human-Computer Interaction Using Fingertip Based on Kinect | |
| WO2024131405A1 (zh) | 对象移动控制方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |