CN113805742A - 无人机的触摸控制 - Google Patents

无人机的触摸控制 Download PDF

Info

Publication number
CN113805742A
CN113805742A CN202110660746.5A CN202110660746A CN113805742A CN 113805742 A CN113805742 A CN 113805742A CN 202110660746 A CN202110660746 A CN 202110660746A CN 113805742 A CN113805742 A CN 113805742A
Authority
CN
China
Prior art keywords
uav
symbol
target
view
symbology
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110660746.5A
Other languages
English (en)
Inventor
B·伯克姆
F·蒂姆
P·戈尔
D·格里帕里斯
A·佳格
T·奥伯豪泽尔
M·潘杰克
L·施密德
P·思特普莱尔
M·威泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hexcon Earth System Service Public Co ltd
Original Assignee
Hexcon Earth System Service Public Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hexcon Earth System Service Public Co ltd filed Critical Hexcon Earth System Service Public Co ltd
Publication of CN113805742A publication Critical patent/CN113805742A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0038—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0044—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement by providing the operator with a computer generated representation of the environment of the vehicle, e.g. virtual reality, maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/003—Flight plan management
    • G08G5/0034—Assembly of a flight plan
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047—Navigation or guidance aids for a single aircraft
    • G08G5/0069—Navigation or guidance aids for a single aircraft specially adapted for an unmanned aircraft

Abstract

无人机的触摸控制。本发明涉及一种计算机实现的UAV控制方法，该方法在目标选择模式下包括以下步骤：在触敏显示器上显示UAV的环境的3D视图；将可移动的目标指示符号叠加到所述环境的3D视图，其中，所述目标指示符号能够通过触摸输入在所述3D视图中移动；在移动所述目标指示符号的同时，连续地确定所述目标指示符号在3D视图中的位置，并动态地改变所述目标指示符号的外观，使得产生这样的效果：所述目标指示符号被显示为处于与位于所述目标指示符号下方的面的取向匹配的取向，其中，相应面的取向是从存储的3D数据或者从3D视图得出的；以及基于所述目标指示符号的位置来选择目标。

Description

无人机的触摸控制
技术领域
本公开涉及用于对无人机(UAV)进行触摸控制的计算机实现的方法。
背景技术
UAV(特别是旋翼无人机类型的UAV)已经大量涌入消费者和服务市场，并且正在发展以管理技术领域和非技术领域中的各种各样的任务。典型任务涉及例如记录电影场景、货运、建筑物/技术设施的检查、对物理环境进行勘测/数字化等。UAV的功能正在迅速增加，而可管理的任务的复杂性也在迅速增加。UAV在消费者市场上成功的关键因素在于其远程可控性，该远程可控性必须对于几乎任何人可行。特别地，随着UAV必须执行的任务的复杂性的增加，提供直观、简单和可靠的可控性可能是具有挑战性的。远程控制UAV通常是基于使用控制系统、环境传感器系统和运动生成系统的，其中，这些系统至少在通信上是互连的。控制系统至少控制UAV的推进单元。环境传感器系统通常布置在UAV上，并感测飞行中的UAV的环境。感测通常涉及检测UAV的环境中的障碍物以避免碰撞。运动生成系统基于用户输入和环境传感器系统的感测信号来生成控制命令，其中，这些控制命令被控制系统接收。通常通过图形用户界面(GUI)接收用户输入，其中，GUI呈现可由用户触发的高级控制命令。触发高级控制命令通常会导致控制系统执行众多复杂的控制命令，最终引导UAV的移动。为了呈现具有直观的顶层控制命令的易于掌握的GUI，GUI通常从UAV的由机载摄像头在实时流中生成的视角示出UAV的物理环境的三维视图(3D视图)，例如三维似的表示。GUI然后例如在计算设备的屏幕的二维显示平面上显示UAV的物理环境的3D视图。由此，由UAV的摄像头生成的简单图像代表了物理环境的3D视图——因为它提供了立体图并由此包括深度信息——例如环境的3D模型，其包括具有三维坐标信息的环境的模型点。计算设备可以是例如平板计算机、移动设备/电话等。
发明内容
UAV通常执行这样的任务：在这些任务中，UAV与其环境中的物理对象专门进行交互，这些物理对象可以是被密集地建造和居住的。因此，UAV需要是可以可靠且直观地远程控制的，以便有效地执行其任务并避免与障碍物碰撞和人身事故。需要允许基于显示UAV的物理环境的3D视图来可靠且直观地远程控制UAV的方法。
本发明的目的是提供这种UAV控制方法。
本文介绍了一种用于使UAV在其三维(3D)物理环境中更可靠且更直观地远程可控的计算机实现的UAV控制方法。该方法对于控制这样的UAV而言显得特别重要：这些UAV依赖与其物理环境中的物理对象的交互来完成其指定任务。
典型的UAV可以在地面上方的3D空间中沿着多个轴线移动。这些轴线通常是通过控制UAV的推进单元和UAV的倾斜度来定义的。根据UAV的类型，可以通过控制推进单元来直接控制倾斜度。然后，可通过仅控制推进单元来控制UAV的移动所沿的轴线。使UAV沿着轴线移动是一项复杂的操作，由于移动是从远程位置远程控制的，这一事实使操作变得更加复杂。因此，远程控制UAV已经简化到这样的水平：用户可以将航路点或目标指示给UAV。然后，UAV自主飞行到所指示的航路点或目标。由此，运动生成系统基于UAV的实际位置和所指示的航路点或目标来生成控制命令。控制命令被UAV的控制系统接收，基于控制命令，UAV的移动被触发。在飞行中，运动生成系统基于从UAV的环境传感器系统接收到的输入，利用控制命令来持续地更新控制系统。
基于指示UAV可自主移动到的目标或航路点来对UAV进行导航是一种直观的原理，并且通常应用于远程控制UAV中。由此，向UAV指示目标或航路点是用户要采取的关键动作之一。为了使这种UAV导航直观、可靠和简单，向UAV指示航路点或目标必须直观、可靠和简单。
本文公开了一种允许用户基于使目标或航路点可直观、可靠地被选择并且可被指示给UAV来远程控制UAV的计算机实现的UAV控制方法。由此，可以在目标选择模式内在UAV的环境的显示3D视图中选择目标或航路点，其中，3D视图被显示在触敏屏幕上。
本发明涉及一种计算机实现的UAV控制方法，所述方法在目标选择模式下包括以下步骤：
ο在触敏显示器上显示UAV的环境的3D视图，
ο将可移动的目标指示符号叠加到所述环境的所述3D视图，所述目标指示符号能够通过触摸输入在所述3D视图中移动，以及
ο在移动所述目标指示符号的同时
ο连续地确定所述目标指示符号在所述3D视图中的位置，并且
ο动态地改变所述目标指示符号的外观，使得产生这样的效果：所述目标指示符号被显示为处于与位于所述目标指示符号下方的面的取向匹配的取向，所述面的取向是从存储的3D数据或者从所述3D视图得出的，以及
ο基于所述目标指示符号的位置来选择目标。
该计算机实现的UAV控制方法在由计算设备执行后使UAV的控制成为可能。UAV控制方法的步骤可以有利地在GUI的一般框架内或者换句话说作为GUI的一部分来实现。GUI通常呈现用于接收用户输入的界面，并且是包括控制系统、环境传感器系统和运动生成系统在内的UAV控制设备设置的一部分，其中，这些系统是至少在通信上互连的。这种典型的UAV控制设备设置基于上述原理来起作用。
根据本发明，UAV控制方法所包括的步骤可以在目标选择模式内实现。目标选择模式可以是除了多个其他控制模式之外的可选控制模式。目标选择模式提供专门与目标或航路点的选择有关的功能，并向UAV提供关于所选目标或航路点的信息。
触敏显示器是诸如移动电话、平板计算机、膝上型计算机等的计算设备的一部分。该计算设备在通信上连接至UAV。该通信连接通常是使得能够实现使用空气/真空作为传输介质的数据传输的无线连接。
3D视图涉及UAV周围的物理环境的三维似的表示。UAV的位置参照3D视图。由此，3D视图中的对象、目标或航路点的定位或位置可以直接转换成它们在UAV的物理环境中的对应定位或位置。该三维似的表示显示在计算设备屏幕的二维显示平面上。3D视图可以是例如由UAV上的摄像头提供的摄像头图像，或者可以例如基于来自UAV上的摄像头的实时视频流或基于携带UAV周围环境的三维信息的3D点云来生成，该三维信息例如是UAV周围的环境的点的三维坐标形式的。这具有如下优点：例如GPS或数字地图导航应用中已知的已经很常见的触摸输入(例如触摸手势)可用于与UAV的显示环境进行交互。
在目标选择模式内，目标指示符号被叠加到UAV的环境的所显示的3D视图。目标指示符号通过其在3D视图中的外观和位置来指示(如以下进一步说明的那样)位于下面的可选目标或航路点。目标指示符号被叠加到3D视图，这意味着它在显示器上被布置成看起来在所显示的3D视图上方。目标指示符号可通过触摸输入在3D视图内移动。触摸输入可以涉及例如这样的触摸手势：通过该触摸手势，用手指触摸目标指示符号并将其从3D视图内的第一位置拖动到第二位置。触摸输入还可以涉及触摸并由此激活所显示的虚拟控制按钮，从而实现目标指示符号在3D视图内的移动。
例如基于来自UAV的机载摄像头的实时视频流的图像生成的以3D视图表示的物理环境通常可以包括静态对象(例如自然景观元素、建筑物、技术设施、道路、古迹(monument)等)，以及移动对象(例如行驶的车辆或飞行器、人、动物等)。通过应用常见的特征识别算法，可以自动识别和标识3D视图中的各种对象类型。基于此，对象的几何特征也是可确定的。在诸如建筑物、技术设施或古迹之类的静态对象的情况下，可确定的几何特征可以涉及例如轮廓、形成该对象的面、这种面和对象的取向、面的纹理等。例如，通过使用常见的特征识别算法，可以自动识别和标识包括屋顶和带有窗户的墙壁的房屋。然后，可以确定各个识别出的墙壁在3D视图内的取向，以及房屋的例如关于屋脊的取向。
另选地，可以基于存储的3D数据(例如，基于包括3D点云数据的3D点云，其中，各个点至少包括三维坐标信息)来生成3D视图。在这种情况下，可以直接从与点云一起存储的点云数据中得出3D视图中的对象的几何特征，或者可以将特征识别算法应用于3D点云数据来自动识别和标识这些几何特征。
在目标指示符号的移动期间，其在3D视图中的位置被计算设备连续地确定并记录。由此，连续地确定位置可以意味着以给定的速率/频率(例如，频率在1到500Hz的范围内)确定位置。确定本身是离散事件，但不断重复。这也可能意味着位置是连贯地确定的，其中，不同确定事件之间的间隔不是恒定的。所公开的“连续”的含义在整个公开中是有效的。基于目标指示符号的所确定的位置，可以识别位于目标指示符号下面的对象。由此，可以获得位于目标指示符号下面的对象的几何特征，以基于几何特征来动态地改变目标指示符号的外观。根据本发明，目标指示符号的外观是动态变化的，以便产生使其取向适应或匹配被目标指示符号暂时覆盖的面的取向的效果。
基于目标指示符号在3D视图中的位置及其外观，可以选择与目标指示符号的位置相关联的目标或航路点。目标可以是例如对象的一部分，例如建筑物的墙壁或房屋的屋顶。目标也可以是例如对象的点/区域或对象的一部分的点/区域，例如地面上的点/区域。
基于在GUI中显示UAV的环境的3D视图来向UAV指示目标或航路点的已知原理依赖于这样的UAV控制方法：该UAV控制方法识别用户输入并基于所识别的用户输入来选择目标或航路点。由此，用户在执行输入期间不会接收到与可选目标或航路点有关的反馈。因此，根据已知原理在3D视图(在二维显示平面上表示真正的三维物理环境)上执行用户输入，通常会导致执行多次重复的用户输入，直到选择了正确的目标或航路点为止。
已经认识到，如果仅在完成用于选择目标或航路点的输入之后才向用户呈现目标或航路点的选择，则这是不利的。为了克服该缺点，根据本发明的方法在执行输入期间(例如在计算设备的触摸屏上执行触摸手势期间)向用户提供关于可选目标或航路点的反馈，以便选择目标或航路点。本文公开的方法通过将可移动的目标指示符号叠加到3D视图，通过连续地确定目标指示符号的位置以及根据目标指示符号要叠加到的对象的几何特征动态地改变目标指示符号的外观来向用户提供反馈。由此，在执行触摸输入期间，利用与标识可选目标或航路点有关的反馈来为用户不断提供更新，以便选择目标或航路点。这有助于用户在第一次尝试时选择正确的目标或航路点，并由此提高了效率，同时提高了选择目标或航路点并向UAV指示目标或航路点的直观性和可靠性。
根据本发明的实施方式，所述计算机实现的UAV控制方法包括以下步骤：动态地改变所述目标指示符号的外观，使得所述目标指示符号还基于所述面的纹理来改变其形状和/或颜色。
例如，在几何特征与面的纹理有关的情况下，可以基于位于目标指示符号下面的面的纹理来改变目标指示符号的外观。由此，目标指示符号可以产生使其取向适应或匹配被目标指示符号暂时覆盖的面的取向并且根据位于下面的面的纹理来改变其形状和/或颜色的效果。由此，可以向用户指示目标指示符号是否叠加到例如屋顶或建筑物的立面。
根据本发明的特定实施方式，所述计算机实现的UAV控制方法还包括以下步骤：
ο在所述目标指示符号静态地位于面的上方的同时，将可致动的目标确认符号叠加到所述3D视图，
ο在致动所述目标确认符号后
■基于所述目标指示符号的位置来选择所述目标，以及
■指示包含具有水平取向的视场的测距模块的所述UAV
·飞行到与所述目标具有预定相对位置关系的目标位置，以及
·使所述UAV朝向所述目标取向，使得所述测量视场面向所述目标。
本文公开的控制方法显得特别有利于应用于控制这样的UAV：这些UAV依赖与它们的环境中的物理对象的交互来完成它们的指定的任务。这样的UAV可以具有例如布置在其前部的测距模块，并且具有例如将场景或景观或勘测对象数字化的任务。测距模块可以是例如光检测和测距(激光雷达)模块，并且使得能够通过确定到UAV的物理环境的点的距离和方向来测量用于确定这些点的坐标(例如3D坐标)的坐标信息。测距模块具有测量视场，使得在该测量视场内的UAV的物理环境的点是可测量的。测距模块被布置成使得测量视场是水平取向的。UAV处的测距模块的布置会影响UAV在飞行期间相对于例如要勘测或数字化的对象或场景的取向。使用本文公开的方法来控制这种UAV允许用户直观且可靠地选择可以与例如必须被测量或数字化的建筑物的墙壁有关的目标或航路点。为了进一步提高选择正确的目标或航路点的可靠性，可以在目标指示符号静态地位于代表可选目标的面的上方的同时，将可致动的目标确认符号叠加到3D视图。可致动的目标确认符号可以是例如对勾形的符号，并且通过被触摸来使先前指示的可选目标或航路点的选择生效。在选择了目标或航路点(例如，位于3D视图中代表建筑物墙壁的面上)之后，UAV的运动生成系统会指示其飞行到目标位置，该目标位置与所选的目标或航路点具有预定位置关系。例如，如果所选的目标涉及要测量的建筑物的墙壁，则目标位置可以位于墙壁前面的位置处，例如距墙壁特定距离，并且位于与高于地面的高度有关的特定竖向位置处。由此，可以基于用户输入来预定与目标的预定相对位置关系，或者可以例如通过运动生成系统、基于与UAV要完成的任务有关的参数/标准来自动预定与目标的预定义相对位置关系，例如，在UAV具有测量对象的面的任务的情况下，可以基于所得测量结果的期望分辨率来预定该预定相对位置关系。此外，UAV被定向为面向目标，使得水平定向的测量视场也面向目标。UAV被定位并定向在目标定位处的目标前面的情形可以通过遵循自动生成的飞行路径图案来呈现UAV沿着所述面(例如，沿着建筑物的墙壁)飞行的起始点。由此，建筑物的墙壁可自主地数字化或勘测。
根据本发明的特定实施方式，产生以与位于所述目标指示符号下方的面的取向匹配的取向被显示的效果的步骤是基于将所述目标指示符号投影到所述面上并且显示所述目标指示符号的投影。
根据本发明的另一实施方式，所述目标指示符号可以是环形符号。取决于目标指示符号所叠加到的面的取向，环形符号的外观可以从未变形的圆形环形符号变为任何一种变形的椭圆形环形符号。
根据本发明的另一特定实施方式，所述3D数据是从由所述UAV的摄像头在所述环境的实时取景中提供的二维图像得出的。UAV通常配备有摄像头，该摄像头以给定的帧率生成UAV的物理环境的二维图像。UAV的位置以及其取向和/或摄像头的视角是可确定和可跟踪的。在飞行中，物理环境的相同区域是从不同的位置和不同的视角成像的。对于各个二维图像，可以指派UAV/摄像头的实际位置和实际视角。基于此，可以确定物理环境的3D数据。另选地，可以应用称为视觉同步定位和地图构建(vSLAM)算法的算法，以根据二维图像从UAV的物理环境生成3D数据。
根据本发明的另一特定实施方式，所述3D数据是基于3D点云的，该3D点云至少包括所述UAV的环境的对象点的测得的3D坐标。对象点的3D坐标可通过利用常见的大地勘测设备(例如全站仪、经纬仪、激光扫描仪等)进行测量得出。
根据另一特定实施方式，所述对象点的所述3D坐标是由所述UAV的所述测距模块测量的。例如，在第一次探索性飞行中，UAV可以穿过必须被勘测或数字化的区域。在探索性飞行期间，以粗略的分辨率测量环境点的3D坐标，以便主要捕捉对象或景观元素的轮廓。基于环境中的对象的所捕捉的轮廓，可以存储用于根据本发明来控制UAV的3D数据。
根据本发明的另一实施方式，基于所述目标指示符号的位置来选择目标是指选择位于所述目标指示符号下方的面作为目标。然后，所述控制方法还包括以下步骤：
ο确定沿着所选的面延伸并与所选的面相距预定距离的飞行路径，以及
ο进一步指示所述UAV在所述测量视场面向所选的面的同时沿着所述飞行路径飞行。
由此，飞行路径可以沿着所选的面延伸，例如与所选的面相距恒定的预定距离。可以基于用户输入来预定义该距离。另选地，飞行路径到所述面的距离可以基于预定的参数/标准沿着飞行路径改变。然后，可以基于与UAV要完成的任务有关的标准/参数来自动预定义到所述面的变化距离，例如，在UAV具有测量对象的面的任务的情况下，可以基于所得的测量结果的期望分辨率来自动预定义(例如，通过运动生成系统)该变化距离。
本发明的另一方面涉及另一控制方法，其步骤可在另一可选UAV操纵模式内实现。
由此，本发明涉及一种计算机实现的UAV控制方法，所述方法在UAV操纵模式下包括以下步骤：
ο在触敏显示器上显示UAV的环境的3D视图，
ο显示UAV符号，该UAV符号在所述3D视图中表示所述UAV及所述UAV在所述环境中的位置和取向，
ο在三个移动模式中的至少两个移动模式下，在所述3D视图中提供所述UAV符号的移动性，
■第一移动模式，其提供了所述UAV符号在水平面中的受限移动性，
■第二移动模式，其提供了所述UAV符号沿着垂直于所述水平面的竖轴的受限移动性，以及
■第三移动模式，其提供了所述UAV符号绕所述UAV符号的偏航轴的受限移动性，
其中
■在所述移动模式中的各个移动模式下，所述UAV符号能够通过触摸输入进行移动，
■所述移动模式中的各个移动模式能够通过触摸输入单独选择，并且
■提供了所述移动模式之间的可切换性，以及
ο在移动所述UAV符号的同时，连续地确定所述UAV符号在所述3D视图中的位置和取向。
可在UAV操纵模式内实现的控制方法的步骤可以有利地在提供与目标选择模式的有关的控制方法的可实现性的同一GUI的一般框架内(或者换句话说，作为同一GUI的一部分)实现。
UAV符号被显示在UAV的环境的所显示的3D视图中/叠加到UAV的环境的显示3D视图。UAV符号在显示3D视图中通过其位置和取向(特别地，通过其形状和外观)来表示具有在物理环境中的位置和取向的UAV。UAV的位置被参照到3D视图。由此，UAV符号或对象在3D视图中的定位或位置可直接转换成它们在UAV的物理环境中的对应定位或位置。用户可以选择三个移动模式，例如，通过经由触摸输入来致动GUI的或叠加到3D视图的虚拟模式选择按钮，在各移动模式内向UAV符号提供受限的移动性。第一移动模式提供了UAV符号在3D视图中的限于水平面的移动性。例如，基于触摸输入，UAV符号只能被拖动到位于水平面中的位置。基于此，可以提供UAV在二维显示平面的模拟深度平面中的直观可控性。第二移动模式提供了UAV符号的限于沿着竖轴移动的移动性。竖轴是垂直于水平面布置的。例如，基于触摸输入，UAV符号只能被拖动到位于竖轴上的位置。基于此，可以提供UAV的与其在地面上的高度有关的竖向位置的直观可控性。第三移动模式提供了UAV符号的限于UAV符号绕其偏航轴旋转的移动性。例如，基于触摸输入，可以通过仅绕其偏航轴旋转UAV符号来改变UAV符号的取向。基于此，可以提供UAV在水平面中的取向的直观可控性。在UAV符号的所有移动期间，将确定并跟踪其在3D视图内的定位和取向。可以将UAV符号的所跟踪的定位/位置和取向直接提供给UAV的运动生成系统，以便按照UAV符号在3D视图中的移动来指示UAV在其物理环境中移动。
基于在GUI上显示UAV的环境的3D视图来在UAV的物理环境中对其进行导航的已知原理依赖于这样的UAV控制方法：该UAV控制方法识别用户输入并基于所识别的用户输入来指示UAV进行移动。在完成输入之后，UAV的实际移动被触发。由此，在执行输入期间，用户不会接收到与UAV被指示要移动到的位置/定位有关或与UAV将采取的取向有关的反馈。因此，根据已知原理对在二维显示平面上表示真正的三维物理环境的3D视图执行用户输入，通常会导致执行多次重复的用户输入，直到将UAV移动到期望的位置/定位或沿期望的方向定向为止。此外，这样的原理具有较高的碰撞风险。
已经认识到，如果在执行用户输入以便使UAV移动期间未向用户提供视觉反馈，则这是不利的。
由此，所述方法在执行输入以便使UAV移动期间(例如，在计算设备的触摸屏上执行触摸手势期间)向用户提供关于UAV符号的定位/位置和取向的视觉反馈。通过显示可移动UAV符号/将可移动UAV符号叠加到3D视图，通过连续地确定UAV符号的定位以及根据UAV符号在3D视图中的定位/位置和取向动态地改变UAV符号的外观来向用户提供反馈。由此，在执行触摸输入以便使UAV移动期间，利用与掌握UAV符号在3D视图中的定位/位置和取向有关的反馈来为用户不断提供更新。这有助于用户在UAV的三维环境中安全地对UAV进行导航。由此，降低了碰撞风险，其中，提高了对UAV进行远程控制的效率，同时提高了对UAV进行远程控制的直观性和可靠性。
根据本发明的另选实施方式，所述UAV符号是可致动的，并且所述方法还包括以下步骤：
o在致动所述UAV符号后，在所述3D视图中显示另一UAV符号，该另一UAV符号在所述3D视图中静态地表示所述UAV及所述UAV在所述环境中的位置和取向，同时所述UAV符号能够在所述三个移动模式中的各个移动模式内移动。
然后可以例如基于触摸输入(例如，通过触摸UAV符号)来致动UAV符号。然后，UAV符号可以采取UAV重影(ghost)符号的形式，并且通常表现出一定程度的透明度，以使3D视图保持整洁。该另一UAV符号在所显示的3D视图中在其位置/定位处保持静态，同时UAV重影符号可在3D视图中移动至期望的位置/定位和取向。例如，基于使用UAV重影符号和另一静态UAV符号，使用户能够在运动生成系统将对应的移动指示给UAV之前在3D视图中对重影符号进行定位和定向。
根据本发明的另选实施方式，所述方法还包括以下步骤：
ο当所述UAV符号不移动时，将可致动的UAV位置和取向确认符号叠加到所述3D视图，以及
ο在致动所述UAV位置和取向确认符号后，指示所述UAV基于所述UAV符号在所述3D视图中的所确定的位置和取向来改变其位置和取向。
为了进一步提高对UAV进行定位和定向的可靠性，可以在UAV符号静态地位于3D视图中的同时，将可致动的UAV位置和取向确认符号叠加到3D视图。可致动的UAV位置和取向确认符号可以是例如对勾形的符号，并且基于触摸输入(例如通过被触摸)，实现通过运动生成系统指示UAV移动到一位置并按照UAV符号的位置和取向对其自身进行定向。
根据特定实施方式，所述方法还包括：显示两个箭头形的可致动符号，在所述可致动符号致动后，所述UAV符号能够在所述第一移动模式内沿对应的箭头方向在水平面上移动
根据另一特定实施方式，所述方法还包括以下步骤：将所述UAV符号的可致动的竖向偏航轴作为竖轴叠加到所述3D视图，在所述竖向偏航轴致动后，所述UAV符号能够在所述第二移动模式内沿着所述竖向偏航轴移动。
根据另选实施方式，所述方法还包括以下步骤：提供所述UAV符号的可致动的前部，在所述前部致动后，所述UAV符号能够在所述第三移动模式内绕其偏航轴旋转，和/或为所述UAV符号提供环绕所述UAV符号的可致动的环形符号，在所述环形符号致动后，所述UAV符号能够在所述第三移动模式内绕其偏航轴旋转，其中，所述UAV符号基于所述环形符号上的所致动的定位/位置，绕其偏航轴旋转。
根据另一实施方式，所述方法在所述第二移动模式内还包括以下步骤：
ο在所述3D视图中显示所述UAV符号的竖向位置处的水平网格平面，该水平网格平面具有水平网格，所述网格平面将其竖向位置动态地调整到所述UAV符号的竖向位置，特别地，所述网格平面在距所述UAV符号的预定距离之后逐渐消失，
和/或
ο在所述3D视图中动态地突出显示所述水平网格与对象相遇处的点，
和/或
ο显示并动态地调整对象的贯穿所述水平网格平面的贯穿曲线，
其中，突出显示的点和/或显示的贯穿曲线使得当所述UAV符号沿着所述竖轴移动时，能够向用户指示所述UAV符号的竖向位置。
由此，在移动UAV符号期间，向用户提供了关于UAV符号的竖向位置的反馈。这使得能够简单地控制与UAV的高度有关的竖向位置，特别是在提供在触敏显示器的二维显示平面上的3D视图中。
本发明还涉及一种计算机程序产品，其包括指令，当程序由计算机执行时，该指令使计算机执行根据本发明的UAV控制方法。
由此，计算机可以包括多个计算子单元，其中，这些子单元在执行指令时进行协作。
附图说明
仅通过示例的方式，下文将参照附图更全面地描述本发明的实施方式，其中：
图1示出了可能的GUI并且在其中集成了与目标选择模式和UAV操纵模式的方法步骤有关的发明构思；
图2示出了可能的GUI并且在其中集成了与UAV操纵模式的方法步骤有关的发明构思；以及
图3示出了可能的GUI并且在其中集成了与目标选择模式和UAV操纵模式的方法步骤有关的发明构思。
具体实施方式
图1示出了平板计算机形式的移动计算设备。该平板计算机具有用于接收用户输入/触摸输入的触敏显示器1，该用户输入/触摸输入基于用一个或更多个手指或触摸笔触摸显示器。UAV的物理环境的3D视图2显示在触敏显示器的二维显示平面上。3D视图2是UAV的物理环境的渲染。渲染通常基于点云数据，该点云数据包括UAV的物理环境的点的至少三维坐标信息。另选地，可以通过显示由UAV的机载摄像头记录的图像来提供3D视图。
环形的目标指示符号3被叠加到3D视图。目标指示符号3表现出一定程度的透明度，以使目标指示符号3所叠加到的3D视图的特征保持可见。目标指示符号3可基于用户输入在所显示的3D视图中移动。用户输入通常与用手指或触摸笔触摸目标指示符号以及将其拖动到3D视图中的期望位置有关。在将目标指示符号拖动到期望位置期间，其外观将被动态地调整，使得产生这样的效果：目标指示符号的取向与暂时位于下面的面(例如，面4)的取向匹配。在将目标指示符号3放置在3D视图中的期望位置处之后，可以将目标确认符号5叠加到3D视图，例如，在目标指示符号附近，如图1所示。然后，向用户提供了通过致动目标确认符号或例如目标拒绝符号来确认或拒绝目标选择的可能性。在图1所示的情形的情况下，例如通过用手指或触摸笔触摸目标确认符号，基于触摸输入来确认目标选择，选择了房屋的墙壁4作为目标。然后将目标选择指示给UAV的运动生成系统。运动生成系统(其在通信上连接到平板计算机、UAV的控制系统和UAV的环境传感器系统)然后可以基于预定的标准自动确定目标位置。然后，由运动生成系统将所确定的目标位置指示给UAV的控制系统。控制系统(其接收并执行来自运动生成系统的命令)使UAV移动到所确定的目标位置。根据图1所示的情形，目标位置被确定为在房屋墙壁4的前面，并且距房屋墙壁4预定距离且在地面之上。配备有测距模块(例如在其前部)的UAV被移动到目标位置并朝向房屋墙壁4定向，使得测量视场面向房屋墙壁4。然后，该情形可以成为对房屋墙壁4执行勘测/扫描/数字化任务的起始点。然后，可基于用于渲染场景的3D数据自动确定沿着房屋墙壁4的飞行路径。面向房屋墙壁4的UAV(以及测量视场)能够通过遵循所确定的飞行路径来自主地测量房屋墙壁4。
UAV符号6被叠加到图1的3D视图。UAV符号6通过其定位/位置和外观来表示要控制的UAV。该UAV符号还指示包括测距模块10的前部。UAV符号6在3D视图内的位置以真实比例的方式表示UAV在其物理环境中的实际位置。此外，3D视图中的位置/定位被参照到它们在物理环境中的实际对应位置。图1进一步例示了与UAV操纵模式有关的特征，这些特征使得对UAV的控制变得直观而简单。用户可以在三种不同的移动模式之一之间进行选择和切换。在第一移动模式下，用户只能基于触摸输入在UAV符号所位于的水平面7内移动UAV符号。在第二移动模式下，用户只能沿着竖轴8类似地移动UAV符号，该竖轴可以是UAV符号的偏航轴9。在第三移动模式下，用户只能绕着UAV符号的偏航轴9旋转UAV符号。UAV的定位/位置和取向是连续地确定和跟踪的，并且可以由运动生成系统进行处理，以便通过控制系统指示UAV按照UAV符号的移动来移动。用户可以通过改变UAV符号的位置/定位和取向来操纵UAV符号。此外，一旦UAV符号静态地位于3D视图中，就可以将可致动的位置和取向确认符号叠加到3D视图，例如在UAV符号附近。通过致动位置和取向确认符号，UAV符号的位置和取向被传送到运动生成系统，指示UAV在其物理环境中飞行到对应的位置并根据UAV符号的取向对其自身进行定向。
图2示出了具有UAV的物理环境的3D视图2的GUI。物理环境的3D视图2显示在触敏显示器1的二维显示平面上。3D视图2是UAV的物理环境的三维表示并且基于点云数据，该点云数据包括UAV的物理环境的点的至少三维坐标信息。
UAV符号6显示在图2的3D视图中。UAV符号6通过其外观来表示要控制的UAV。UAV符号6还指示包括例如测距模块的前部。在3D视图中，显示了另一UAV符号6'。3D视图内的该另一UAV符号6'以真实比例的方式表示UAV在其物理环境中的实际位置。此外，3D视图中的位置/定位是参照它们在物理环境中的实际对应位置。
图2进一步例示了与第二移动模式有关的特征，在第二移动模式下，用户只能沿着竖轴8移动UAV符号6，该竖轴8可以是UAV符号6的偏航轴9。UAV 6的定位/位置和取向是连续地确定和跟踪的，并且可以由运动生成系统进行处理，以便通过控制系统来指示UAV按照UAV符号6的移动进行移动。用户可以通过改变UAV符号沿着轴线8、9的位置/定位来操纵UAV符号。此外，一旦UAV符号静态地位于3D视图中，就可以将可致动的位置确认符号叠加到3D视图，例如在UAV符号6附近。通过致动位置确认符号，UAV符号6在轴线8、9上的位置被传送到运动生成系统，指示UAV在其物理环境中飞行到对应的位置。
在图2的3D视图中，第一移动模式(其提供了UAV符号6的限于水平面7的移动性)被指示为未被激活。例如，基于触摸输入，UAV符号6只能被拖动到位于水平面7中的位置。基于此，可以提供UAV在二维显示平面的模拟深度平面中的直观可控性。
在图2的3D视图中，与第三移动模式有关的特征被指示为未被激活。可致动的环形符号12环绕另一UAV符号6'，在其致动后，在第三移动模式内UAV符号6可绕其偏航轴9旋转，其中，UAV符号6基于环形符号12上的所致动的定位/位置来绕其偏航轴旋转。
在图2的3D视图中，显示了另一UAV符号6'的竖向位置处的水平网格平面13，该水平网格平面13具有水平网格14。在图2所示的示例中，网格平面13指示另一UAV符号6'的竖向位置。有利地，网格平面13将其竖向位置调整到UAV符号6的竖向位置，由此使得可向用户指示UAV符号6的竖向位置。此外，网格平面13在距另一UAV符号6'的预定距离之后逐渐消失。
在图2的3D视图中，突出显示了动态突出显示的点15，在点15处，水平网格14与对象(这里是建筑物的立面)相遇。此外，显示了对象(这里是建筑物)的贯穿水平网格平面13的贯穿曲线16。突出显示的点和/或显示的贯穿曲线使另一UAV符号6'的竖向位置可指示。有利地，突出显示的点和/或所显示的贯穿曲线与UAV符号6一起沿着竖轴移动，由此在UAV符号6沿着竖轴移动时使得可向用户指示UAV符号6的竖向位置。
环形的目标指示符号3被叠加到图3的3D视图。在将目标指示符号3拖动到期望位置期间，其外观会被动态调整，使得产生这样的效果：目标指示符号3的取向与暂时位于下面的面(例如，面4)的取向匹配。目标确认符号5被叠加到3D视图，例如在目标指示符号附近。

Claims (17)

1.一种计算机实现的UAV控制方法，所述计算机实现的UAV控制方法在目标选择模式下包括以下步骤：
在触敏显示器(1)上显示UAV的环境的3D视图(2)；
将能够移动的目标指示符号(3)叠加到所述环境的所述3D视图，所述目标指示符号能够通过触摸输入在所述3D视图中移动；
在移动所述目标指示符号的同时：
连续地确定所述目标指示符号在所述3D视图中的位置；以及
动态地改变所述目标指示符号的外观，使得产生所述目标指示符号被显示为处于与位于所述目标指示符号下方的面(4)的取向相匹配的取向的效果，所述面的取向是从所存储的3D数据或者从所述3D视图得出的；以及
基于所述目标指示符号的位置来选择目标。
2.根据权利要求1所述的计算机实现的UAV控制方法，其中，动态地改变所述目标指示符号的外观的步骤使得所述目标指示符号还基于所述面的纹理来改变其形状和/或颜色。
3.根据权利要求1所述的计算机实现的UAV控制方法，所述计算机实现的UAV控制方法包括以下步骤：
在所述目标指示符号静态地位于一面的上方的同时，将能够致动的目标确认符号(5)叠加到所述3D视图；
在致动所述目标确认符号后：
基于所述目标指示符号的位置来选择所述目标；以及
指示具有测距模块的所述UAV执行以下操作，其中，所述测距模块具有水平取向的测量视场：
飞行到与所述目标具有预定的相对位置关系的目标位置；以及
使所述UAV朝向所述目标定向，使得所述测量视场面向所述目标。
4.根据权利要求1至3中任一项所述的计算机实现的UAV控制方法，其中，产生所述目标指示符号被显示为处于与位于所述目标指示符号下方的面(4)的取向匹配的取向的效果的步骤是基于以下操作的：将所述目标指示符号投影到所述面上并且显示所述目标指示符号的投影。
5.根据权利要求1至4中任一项所述的计算机实现的UAV控制方法，其中，所述目标指示符号(4)是环形符号。
6.根据权利要求1至5中任一项所述的计算机实现的UAV控制方法，其中，所述3D数据是从由所述UAV的摄像头在对所述环境进行实时取景时提供的二维图像得出的。
7.根据权利要求1至6中任一项所述的计算机实现的UAV控制方法，其中，所述3D数据是基于3D点云的，所述3D点云至少包括所述UAV的环境的对象点的测得的3D坐标。
8.根据权利要求7所述的计算机实现的UAV控制方法，其中，所述对象点的所述3D坐标是由所述UAV的所述测距模块测量的。
9.根据权利要求3至8中任一项所述的计算机实现的UAV控制方法，其中：
基于所述目标指示符号(3)的位置来选择目标是指选择位于所述目标指示符号下方的所述面(4)作为目标，并且
所述控制方法还包括以下步骤：
确定沿着所选择的面延伸并与所选择的面相距预定距离的飞行路径；以及
进一步指示所述UAV在所述测量视场面向所选择的面的同时沿着所述飞行路径飞行。
10.一种计算机实现的UAV控制方法，所述计算机实现的UAV控制方法在UAV操纵模式下包括以下步骤：
在触敏显示器(1)上显示UAV的环境的3D视图(2)；
显示UAV符号(6)，所述UAV符号(6)在所述3D视图中表示所述UAV及所述UAV在所述环境中的位置和取向；
在三个移动模式中的至少两个移动模式下，在所述3D视图中提供所述UAV符号的移动性，
第一移动模式，其提供了所述UAV符号(6)在水平面(7)中的受限移动性，
第二移动模式，其提供了所述UAV符号(6)沿着垂直于所述水平面(7)的竖轴(8)的受限移动性，以及
第三移动模式，其提供了所述UAV符号(6)围绕所述UAV符号的偏航轴(9)的受限移动性，
其中，
在所述移动模式中的各个移动模式下，所述UAV符号能够通过触摸输入进行移动，
所述移动模式中的各个移动模式能够通过触摸输入单独选择，并且
提供了所述移动模式之间的可切换性，以及
在移动所述UAV符号的同时，连续地确定所述UAV符号在所述3D视图中的位置和取向。
11.根据权利要求10所述的计算机实现的UAV控制方法，其中，
所述UAV符号(6)是能够致动的，并且
所述计算机实现的UAV控制方法还包括以下步骤：
在致动所述UAV符号(6)后，在所述3D视图中显示另一UAV符号(6')，所述另一UAV符号在所述3D视图中静态地表示所述UAV及所述UAV在所述环境中的位置和取向，同时所述UAV符号(6)能够在所述三个移动模式中的各个移动模式中移动。
12.根据权利要求10或11所述的计算机实现的UAV控制方法，所述计算机实现的UAV控制方法还包括以下步骤：
当所述UAV符号(6)不移动时，将能够致动的UAV位置和取向确认符号叠加到所述3D视图；以及
在致动所述UAV位置和取向确认符号后，指示所述UAV基于所述UAV符号在所述3D视图中的确定的位置和取向来改变所述UAV的位置和取向。
13.根据权利要求10至12中任一项所述的计算机实现的UAV控制方法，所述计算机实现的UAV控制方法还包括以下步骤：
显示两个箭头形的可致动符号(11、11')，在所述可致动符号(11、11')致动后，所述UAV符号能够在所述第一移动模式内在水平面(7)上沿着对应的箭头方向移动。
14.根据权利要求10至13中任一项所述的计算机实现的UAV控制方法，所述计算机实现的UAV控制方法还包括以下步骤：
将所述UAV符号的能够致动的竖向偏航轴(9)作为竖轴(8)叠加到所述3D视图，在所述竖向偏航轴(9)致动后，所述UAV符号能够在所述第二移动模式内沿着所述竖向偏航轴(9)移动。
15.根据权利要求10至14中任一项所述的计算机实现的UAV控制方法，所述计算机实现的UAV控制方法还包括以下步骤：
提供所述UAV符号(6)的能够致动的前部(10)，在所述前部(10)致动后，所述UAV符号能够在所述第三移动模式内围绕所述UAV符号的偏航轴(9)旋转，
和/或
为所述UAV符号(6)提供环绕所述UAV符号(6)的能够致动的环形符号(12)，在所述环形符号(12)致动后，所述UAV符号能够在所述第三移动模式内绕所述UAV符号的偏航轴(9)旋转，其中，所述UAV符号基于所述环形符号上的被致动的定位/位置，围绕所述UAV符号的偏航轴旋转。
16.根据权利要求10至15中任一项所述的计算机实现的UAV控制方法，所述计算机实现的UAV控制方法在所述第二移动模式内还包括以下步骤：
在所述3D视图中显示所述UAV符号(6)的竖向位置处的水平网格平面(13)，所述水平网格平面(13)具有水平网格(14)，所述网格平面将其竖向位置动态地调整到所述UAV符号的竖向位置，特别地，所述网格平面在距所述UAV符号预定距离之后逐渐消失，
和/或
在所述3D视图中动态地突出显示所述水平网格与一对象相遇处的点(15)，
和/或
显示并动态地调整对象的贯穿所述水平网格平面的贯穿曲线(16)，
其中，所突出显示的点和/或显示的贯穿曲线使得当所述UAV符号(6)沿着所述竖轴移动时，能够向用户指示所述UAV符号(6)的竖向位置。
17.一种计算机程序产品，所述计算机程序产品包含指令，当所述程序由计算机执行时，所述指令使所述计算机执行根据权利要求1至16中任一项所述的UAV控制方法。
CN202110660746.5A 2020-06-16 2021-06-15 无人机的触摸控制 Pending CN113805742A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP20180301.2A EP3926432A1 (en) 2020-06-16 2020-06-16 Touch control of unmanned aerial vehicles
EP20180301.2 2020-06-16

Publications (1)

Publication Number Publication Date
CN113805742A true CN113805742A (zh) 2021-12-17

Family

ID=71105251

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110660746.5A Pending CN113805742A (zh) 2020-06-16 2021-06-15 无人机的触摸控制

Country Status (3)

Country Link
US (1) US20210397202A1 (zh)
EP (1) EP3926432A1 (zh)
CN (1) CN113805742A (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110288695A1 (en) * 2010-05-18 2011-11-24 Clearpath Robotics, Inc. Control interface for unmanned vehicles
US20160370971A1 (en) * 2014-09-18 2016-12-22 Google Inc. Dress form for three-dimensional drawing inside virtual reality environment
US20170031560A1 (en) * 2009-03-31 2017-02-02 Google Inc. System and Method of Indicating the Distance or the Surface of an Image of a Geographical Object
US9563201B1 (en) * 2014-10-31 2017-02-07 State Farm Mutual Automobile Insurance Company Feedback to facilitate control of unmanned aerial vehicles (UAVs)
US20170185081A1 (en) * 2015-12-27 2017-06-29 Spin Master Ltd. Remotely controlled motile device system
EP3222051A1 (en) * 2014-11-17 2017-09-27 LG Electronics Inc. Mobile terminal and controlling method thereof
CN108351649A (zh) * 2015-09-15 2018-07-31 深圳市大疆创新科技有限公司 用于uav交互指令和控制的系统和方法
US20180217589A1 (en) * 2015-07-30 2018-08-02 Lg Electronics Inc. Mobile terminal and method of controlling same
US20190220002A1 (en) * 2016-08-18 2019-07-18 SZ DJI Technology Co., Ltd. Systems and methods for augmented stereoscopic display
US20190250601A1 (en) * 2018-02-13 2019-08-15 Skydio, Inc. Aircraft flight user interface

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2957266B1 (fr) * 2010-03-11 2012-04-20 Parrot Procede et appareil de telecommande d'un drone, notamment d'un drone a voilure tournante.
JP5800501B2 (ja) * 2010-03-12 2015-10-28 任天堂株式会社 表示制御プログラム、表示制御装置、表示制御システム、及び、表示制御方法
US9372593B2 (en) * 2011-11-29 2016-06-21 Apple Inc. Using a three-dimensional model to render a cursor
ES2684643T3 (es) * 2014-01-10 2018-10-03 Pictometry International Corp. Sistema y procedimiento de evaluación de estructura mediante aeronave no tripulada
CN112859899A (zh) * 2014-10-31 2021-05-28 深圳市大疆创新科技有限公司 用于利用视觉标记进行监视的系统和方法
US10606260B2 (en) * 2017-09-27 2020-03-31 Intel IP Corporation Ocular navigation of unmanned aerial vehicle
JP6496955B1 (ja) * 2017-12-19 2019-04-10 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 制御装置、システム、制御方法、及びプログラム
US11493938B1 (en) * 2019-09-20 2022-11-08 Amazon Technologies, Inc. Computer vision wind direction for unmanned aerial vehicle (UAV) applications

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170031560A1 (en) * 2009-03-31 2017-02-02 Google Inc. System and Method of Indicating the Distance or the Surface of an Image of a Geographical Object
US20110288695A1 (en) * 2010-05-18 2011-11-24 Clearpath Robotics, Inc. Control interface for unmanned vehicles
US20160370971A1 (en) * 2014-09-18 2016-12-22 Google Inc. Dress form for three-dimensional drawing inside virtual reality environment
US9563201B1 (en) * 2014-10-31 2017-02-07 State Farm Mutual Automobile Insurance Company Feedback to facilitate control of unmanned aerial vehicles (UAVs)
EP3222051A1 (en) * 2014-11-17 2017-09-27 LG Electronics Inc. Mobile terminal and controlling method thereof
US20180217589A1 (en) * 2015-07-30 2018-08-02 Lg Electronics Inc. Mobile terminal and method of controlling same
CN108351649A (zh) * 2015-09-15 2018-07-31 深圳市大疆创新科技有限公司 用于uav交互指令和控制的系统和方法
US20170185081A1 (en) * 2015-12-27 2017-06-29 Spin Master Ltd. Remotely controlled motile device system
US20190220002A1 (en) * 2016-08-18 2019-07-18 SZ DJI Technology Co., Ltd. Systems and methods for augmented stereoscopic display
US20190250601A1 (en) * 2018-02-13 2019-08-15 Skydio, Inc. Aircraft flight user interface

Also Published As

Publication number Publication date
EP3926432A1 (en) 2021-12-22
US20210397202A1 (en) 2021-12-23

Similar Documents

Publication Publication Date Title
US20190250601A1 (en) Aircraft flight user interface
US11861892B2 (en) Object tracking by an unmanned aerial vehicle using visual sensors
CN112567201B (zh) 距离测量方法以及设备
US20240062663A1 (en) User Interaction With An Autonomous Unmanned Aerial Vehicle
US20200302804A1 (en) Method and device for setting a flight route
CN109556577B (zh) 用于空中非破坏性检查的定位系统
EP3368957B1 (en) Systems and methods for uav path planning and control
CN107402000B (zh) 用于将显示装置相对于测量仪器相互关联的方法和系统
US20240053771A1 (en) Objective-Based Control Of An Autonomous Unmanned Aerial Vehicle
US9947230B2 (en) Planning a flight path by identifying key frames
JP5503052B2 (ja) 移動ロボットを遠隔操作するための方法およびシステム
KR101894907B1 (ko) 이미지 내에서 선택 부호를 제어하는 디스플레이 시스템
EP2267409B1 (en) System and method for displaying information on a display element
US20140226024A1 (en) Camera control in presence of latency
JP2017503226A (ja) 目標追跡システム、デバイスおよび方法
Lan et al. XPose: Reinventing User Interaction with Flying Cameras.
EP3799618B1 (en) Method of navigating a vehicle and system thereof
CN108450032B (zh) 飞行控制方法和装置
KR101657086B1 (ko) 고정 카메라를 장착한 무인 항공기의 영상기반 유도 제어시스템
JP2018129063A (ja) 無人航空機を制御するための方法、無人航空機、及び無人航空機を制御するためのシステム
KR101076240B1 (ko) 증강현실을 이용한 방공 전장상황 제공 장치 및 방법
CN111164958A (zh) 用于基于姿态信息处理和显示图像数据的系统及方法
CN113805742A (zh) 无人机的触摸控制
US20220166917A1 (en) Information processing apparatus, information processing method, and program
KR20170093389A (ko) 무인 비행체 제어 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination