CN117693663A - 控制方法、头戴式显示设备、控制系统及存储介质 - Google Patents
控制方法、头戴式显示设备、控制系统及存储介质 Download PDFInfo
- Publication number
- CN117693663A CN117693663A CN202280049705.5A CN202280049705A CN117693663A CN 117693663 A CN117693663 A CN 117693663A CN 202280049705 A CN202280049705 A CN 202280049705A CN 117693663 A CN117693663 A CN 117693663A
- Authority
- CN
- China
- Prior art keywords
- orientation
- yaw orientation
- deviation
- image
- identifier
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 238000003384 imaging method Methods 0.000 claims abstract description 154
- 239000003550 marker Substances 0.000 claims description 123
- 238000012937 correction Methods 0.000 claims description 31
- 230000001276 controlling effect Effects 0.000 claims description 23
- 230000000694 effects Effects 0.000 claims description 21
- 230000002596 correlated effect Effects 0.000 claims description 15
- 230000000875 corresponding effect Effects 0.000 claims description 14
- 230000004044 response Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 7
- 238000004891 communication Methods 0.000 claims description 4
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 230000001133 acceleration Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 241000669069 Chrysomphalus aonidum Species 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000003238 somatosensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
Landscapes
- Manipulator (AREA)
- Forklifts And Lifting Vehicles (AREA)
Abstract
一种头戴式显示设备(400)的控制方法,包括:获取机头的基准偏航朝向(OA,OA1)(S110);获取成像装置(130)的实际偏航朝向(OB,OB1,OB2,OB3)(S120);根据基准偏航朝向(OA,OA1)和实际偏航朝向(OB,OB1,OB2,OB3)显示标识(10,11,12,20,30,40,41,42,50,60,70,80,90,102,103,104,105),标识(10,11,12,20,30,40,41,42,50,60,70,80,90,102,103,104,105)用于指示基准偏航朝向(OA,OA1)和/或实际偏航朝向(OB,OB1,OB2,OB3)与基准偏航朝向(OA,OA1)之间的偏差(S130);其中,基准偏航朝向(OA,OA1)为控制终端(200,300)对可移动设备的水平移动控制的移动方向基准。本申请能够防止用户(101)出现方向迷失而影响对可移动设备的操控。还提供了头戴式显示设备(400)、控制系统和存储介质。
Description
本申请涉及控制领域,尤其涉及一种控制方法、头戴式显示设备、控制系统及存储介质。
可移动设备(诸如无人飞行器、水下/水上无人机器人、地面智能小车等)上可以搭载用于拍摄图像的成像装置,用户通过控制终端(如遥控器)对可移动设备进行操控,使得成像装置能够拍摄到不同的图像,成像装置拍摄到的图像能够被传输至控制终端的显示装置中供用户参考,从而帮助用户进一步对可移动设备进行操控。
在传统的可移动设备的控制模式中,可移动设备的水平移动控制是以机头的偏航朝向为移动方向基准的,可移动设备的机头的偏航朝向与成像装置的偏航朝向是相同或者大致相同的,用户可以通过观察成像装置拍摄到的图像即可知道机头的偏航朝向,从而对可移动设备进行操控。然而,随着可移动设备的新的控制模式的出现,该移动方向基准可能与机头的偏航朝向不同,此时,虽然用户可以借助头戴式显示设备观看可移动设备搭载的成像装置拍摄的图像,但却无法在使用控制终端时知晓对可移动设备的水平移动控制的移动方向基准,进而使得用户无法对可移动设备进行准确操控。
发明内容
基于此,本申请提供了一种控制方法、头戴式显示设备、控制系统及存储介质,旨在解决可移动设备水平移动控制时的移动方向基准可能与机头的偏航朝向不同时,用户使用控制终端时无法知晓可移动设备的水平移动基准而无法对可移动设备进行准确操控等技术问题。
第一方面,本申请实施例提供了一种头戴式显示设备的控制方法,所述头戴式显示设备用于显示可移动设备承载的成像装置拍摄的图像,所述可移动设备包括机身,所述机身包括机头,所述方法包括:
获取所述机头的基准偏航朝向;
获取所述成像装置的实际偏航朝向;
根据所述基准偏航朝向和所述实际偏航朝向显示标识,所述标识用于指示所述基准偏航朝向和/或所述实际偏航朝向与所述基准偏航朝向之间的偏差;
其中,所述基准偏航朝向为控制终端对所述可移动设备的水平移动控制的移动方向基准。
第二方面,本申请实施例提供了一种头戴式显示设备,包括:
显示装置,至少用于显示可移动设备承载的成像装置拍摄的图像,所述可移动设备包括机身,所述机身包括机头;
一个或多个处理器,单独地或共同地工作,用于执行如下步骤:
获取所述机头的基准偏航朝向;
获取所述成像装置的实际偏航朝向;
根据所述基准偏航朝向和所述实际偏航朝向显示标识,所述标识用于指示所述基准偏航朝向和/或所述实际偏航朝向与所述基准偏航朝向之间的偏差;
其中,所述基准偏航朝向为控制终端对所述可移动设备的水平移动控制的移动方向基准。
第三方面,本申请实施例提供了一种控制系统,包括:
可移动设备,所述可移动设备包括机身,所述机身包括机头;
前述的头戴式显示设备;
控制终端;
所述头戴式显示设备及所述控制终端与所述可移动设备通信连接。
第四方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时使所述处理器实现上述方法的步骤。
本申请实施例提供了一种头戴式显示设备及其控制方法、存储介质和存储介质,方法包括:获取可移动设备的机头的基准偏航朝向;获取可移动设备承载的成像装置的实际偏航朝向;根据所述基准偏航朝向和所述实际偏航朝向显 示标识,所述标识用于指示所述基准偏航朝向和/或所述实际偏航朝向与所述基准偏航朝向之间的偏差;其中,所述基准偏航朝向为控制终端对所述可移动设备的水平移动控制的移动方向基准,以便用户在可移动设备水平移动控制时的移动方向基准可能与机头的偏航朝向不同时,通过显示的标识至少获知可移动设备的基准偏航朝向,便于用户使用控制终端对可移动设备进行准确操控;当所述标识用于指示所述实际偏航朝向与所述基准偏航朝向之间的偏差时,还可以便于用户对成像装置的实际偏航朝向进行操控。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请实施例的公开内容。
为了更清楚地说明本申请实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种头戴式显示设备的控制方法的流程示意图;
图2是本申请实施例提供的一实施方式中控制系统的结构示意图;
图3A是本申请实施例提供的一实施方式中的无人飞行器的结构示意图;
图3B是本申请实施例提供的一实施方式中的无人飞行器的云台的结构示意图;
图4A是本申请实施例提供的一种无人飞行器的姿态及其基准偏航朝向和实际偏航朝向的示意图;
图4B是本申请实施例提供的一种根据图4A所示的基准偏航朝向和实际偏航朝向在头戴式显示设备上显示标识的示意图;
图4C是本申请实施例提供的另一种无人飞行器的姿态及其基准偏航朝向和实际偏航朝向的示意图;
图4D是本申请实施例提供的一种根据图4C所示的基准偏航朝向和实际偏航朝向在头戴式显示设备上显示标识的示意图;
图4E是本申请实施例提供的再一种无人飞行器的姿态及其基准偏航朝向 和实际偏航朝向的示意图;
图4F是本申请实施例提供的一种根据图4E所示的基准偏航朝向和实际偏航朝向在头戴式显示设备上显示标识的示意图;
图4G是本申请实施例提供的再另一种无人飞行器的姿态及其基准偏航朝向和实际偏航朝向的示意图;
图4H是本申请实施例提供的一种根据图4G所示的基准偏航朝向和实际偏航朝向在头戴式显示设备上显示标识的示意图;
图5A是本申请实施例提供的一种无人飞行器的姿态及其基准偏航朝向和实际偏航朝向的示意图;
图5B是本申请实施例提供的一种根据图5A所示的基准偏航朝向和实际偏航朝向在头戴式显示设备上显示另一种标识的示意图;
图5C是本申请实施例提供的另一种无人飞行器的姿态及其基准偏航朝向和实际偏航朝向的示意图;
图5D是本申请实施例提供的一种根据图5C所示的基准偏航朝向和实际偏航朝向在头戴式显示设备上显示另一种标识的示意图;
图5E是本申请实施例提供的再一种无人飞行器的姿态及其基准偏航朝向和实际偏航朝向的示意图;
图5F是本申请实施例提供的一种根据图5E所示的基准偏航朝向和实际偏航朝向在头戴式显示设备上显示另一种标识的示意图;
图6是本申请实施例提供的一些实施方式中在头戴式显示设备上显示多种标识的示意图;
图7是本申请实施例提供的一种根据图4C所示的基准偏航朝向和实际偏航朝向在头戴式显示设备上显示再一种标识的示意图;
图8是本申请实施例提供的一种根据图4E所示的基准偏航朝向和实际偏航朝向在头戴式显示设备上显示再一种标识的示意图;
图9是本申请实施例提供的一种根据图4E所示的基准偏航朝向和实际偏航朝向在头戴式显示设备上显示再另一种标识的示意图;
图10是本申请实施例提供的一实施方式中控制终端控制无人飞行器偏转的场景示意图;
图11是本申请实施例提供的另一实施方式中控制终端控制无人飞行器偏 转的场景示意图;
图12是本申请实施例提供的又一实施方式中控制终端控制无人飞行器偏转的场景示意图;
图13是本申请实施例提供的一实施方式中头戴式显示设备的虚拟环境的示意图;
图14是本申请实施例提供的一实施方式中俯视状态显示的标识的示意图;
图15A和图15B是本申请实施例提供的一实施方式中基准偏航朝向校准的场景示意图;
图16是本申请实施例提供的一种头戴式显示设备的示意性框图。
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
附图中所示的流程图仅是示例说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解、组合或部分合并,因此实际执行的顺序有可能根据实际情况改变。
可移动设备,诸如无人飞行器、水下/水上无人机器人及地面智能小车等可移动机器人,可以搭载用于拍摄图像的成像装置,用户通过控制终端(如遥控器)可以对可移动设备进行操控,从而使得成像装置能够拍摄到不同的图像。
在传统的可移动设备的控制模式中,可移动设备的水平移动控制是以机头的偏航朝向为移动方向基准的,可移动设备的机头的偏航朝向与成像装置的偏航朝向是相同或者大致相同的,用户可以通过观察成像装置拍摄到的图像即可知道机头的偏航朝向。然而,随着可移动设备的新的控制模式的出现,例如,可移动设备可以响应至少两个控制终端(遥控器和头戴式显示设备)发送的偏航控制指令来控制可移动设备的机身偏转,进而调节机头的偏航朝向。通过在头戴式显示设备的指令控制所述机身偏航转动时保持移动方向基准不变,在头遥控器的指令控制所述机身偏航转动时更新所述移动方向基准,可以防止头戴 式显示设备改变水平方向的移动方向基准而干扰控制终端对可移动设备的操控。然而,可移动设备水平移动控制时的移动方向基准可能与机头的偏航朝向不同,虽然用户可以借助头戴式显示设备观看可移动设备搭载的成像装置拍摄的画面,但在使用控制终端时,却无法知晓对可移动设备的水平移动控制的移动方向基准,进而使得用户无法对可移动设备进行准确操控。
下面结合附图,对本申请的一些实施方式作详细说明。在不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。
为便于说明,本申请实施方式主要以无人飞行器对可移动设备的上述原理进行说明,其中,可移动设备中的移动动作对应无人飞行器的飞行动作,即在无人飞行器的具体应用场景下,移动方向对应为飞行方向。针对其余可移动机器人,其实现原理类似,将不再赘述。
请参阅图1,图1是本申请实施例提供的一种头戴式显示设备的控制方法的流程示意图。所述方法可以应用在头戴式显示设备中,至少用于根据无人飞行器机头的基准偏航朝向和无人飞行器搭载的成像装置的实际偏航朝向显示标识等过程。
可选的,无人飞行器也称无人机,可以包括旋翼型无人机,例如四旋翼无人机、六旋翼无人机、八旋翼无人机,也可以是固定翼无人机,还可以是旋翼型与固定翼无人机的组合,本申请实施例对此不作具体限定。
在一些实施方式中,头戴式显示设备可以包括虚拟现实(VR,virtual reality)显示设备或第一人称视角(FPV,first person view)显示设备;当然也不限于此,例如头戴式显示设备包括飞行控制眼镜、智能头盔、智能头带设备。头戴式显示设备例如可以为眼镜式显示设备或者头盔式显示设备等。
本申请实施例还提供了一种控制系统,请参阅图2,控制系统包括无人飞行器100、第一控制终端200和第二控制终端300,无人飞行器100可以与第一控制终端200和第二控制终端300通信连接。第一控制终端200和第二控制终端300均用于控制无人飞行器100。其中,第一控制终端200可以包括遥控器、智能手机、平板电脑中的至少一种,第二控制终端300可以包括前述头戴式显示设备,还可以包括遥控器、智能手机、平板电脑中的至少一种。需要说明的是,图2仅仅是本申请实施例提供的一实施方式中控制系统的结构的一种可能形式,本领域技术人员可以根据需要,使用多个控制终端对无人飞行器进行控 制,多个控制终端中的至少一个包括本申请实施例中的头戴式显示设备即可。
在一些实施例中,无人飞行器100包括机身110、动力系统120、成像装置130和控制装置(图2中未示出)。该机身110可以包括机头。在某些实施例中,所述无人飞行器100还包括机臂,其中,所述机臂与机身110连接,所述机臂用于安装所述动力系统,在某些实施例中,所述动力系统120可以直接安装在所述机身110上。
该动力系统120用于为无人飞行器提供飞行动力,所述动力系统120可以包括电机和安装在所述电机上并由所述电机驱动的螺旋桨。所述动力系统120可以带动无人飞行器100的机身110围绕一个或多个旋转轴转动。例如,上述旋转轴可以包括横滚轴、偏航轴和俯仰轴。当动力系统120带动机身110围绕偏航轴转动,此时机身的机头的偏航朝向就会改变,即可以通过控制动力系统120控制所述机身110偏航转动。应理解,电机可以是直流电机,也可以交流电机。另外,电机可以是无刷电机,也可以是有刷电机。
成像装置130直接承载或者通过云台承载于机身110,用于拍摄图像,图像可以是图片和/或视频。由于成像装置130与机身110的连接方式不同,会使得控制成像装置的实际偏航朝向的实现方式有所不同,进而使得获取成像装置的实际偏航朝向的步骤有所不同,后续将结合成像装置130与机身110的连接方式不同,展示如何获得成像装置的实际偏航朝向,从而在头戴式显示设备上显示对应的标识,在此暂不赘述。
在一些实施方式中,第一控制终端200可以包括输入装置,其中,所述输入装置可以检测第一控制终端的用户的控制操作(俯仰控制操作和/或横滚控制操作),第一控制终端可以根据输入装置检测到的用户的控制操作生成对无人飞行器的控制指令(俯仰控制指令和/或横滚控制指令),第一控制终端可以将控制指令发送给无人飞行器以使得无人飞行器可以根据该控制指令来进行飞行水平,可以理解的,第一控制终端还可以根据输入装置检测到的第一控制终端的用户的偏航控制操作生成第一偏航控制指令,第一控制终端可以将第一偏航控制指令发送给无人飞行器。具体的,输入装置可以包括按键、摇杆、拨轮、触控显示屏中的至少一种。例如,输入装置为摇杆,摇杆安装于遥控器的本体上,遥控器感测用户对摇杆的偏航控制操控生成对应的第一偏航控制指令,再通过第一控制终端的通信装置发送至无人飞行器,以控制无人飞行器100调整 控制所述机身偏航转动以调节机头的偏航朝向。
在一些实施方式中,第二控制终端300可以包括输入装置,其中,所述输入装置可以检测第二控制终端的用户的控制操作,第二控制终端可以根据输入装置检测到的用户的控制操作生成对无人飞行器的控制指令。在一些实施例中,第二控制终端300设置有运动传感器,根据该运动传感器感测的第二控制终端300的运动生成对应的控制指令,以控制无人飞行器100执行对应的操作,例如,运动传感器感测的第二控制终端300的运动(例如偏航转动)生成第二偏航控制指令,以控制无人飞行器100的机身偏航转动以调整机头的偏航朝向。第一控制终端的用户可以与第二控制终端的用户相同,在某些情况中,第一控制终端的用户可以与第二控制终端的用户可以不同。具体的,第二控制终端300的输入装置可以与第一控制终端200的输入装置相同,也可以不同。
无人飞行器可以响应第一控制终端200和第二控制终端300发送的偏航控制指令来控制无人飞行器100的机身110偏转,进而调节机头的偏航朝向。目前,无人飞行器100的水平飞行控制是以无人飞行器100的机头的偏航朝向为飞行方向基准的。在一些实施方式中,当第一控制终端200和第二控制终端300均可以改变无人飞行器100的机头的偏航朝向,第一控制终端200对无人飞行器的水平飞行控制会被第二控制终端300所干扰,因为第二控制终端300调节无人飞行器100的机头的偏航朝向时会改变第一控制终端200对无人飞行器100的水平飞行控制的飞行方向基准这样会影响第一控制终端200对无人机飞行器100的连续水平飞行控制,用户体验不好。本申请实施例可以通过在获取第二控制终端300的第二偏航控制指令时,根据所述第二偏航控制指令控制所述机身110偏航转动并保持无人飞行器100水平飞行控制的飞行方向基准(可以称为基准偏航朝向)不变,从而解决第一控制终端200对无人飞行器100的水平飞行控制时会被第二控制终端300所干扰的问题。
在一些实施例中,第二控制终端300可以接收无人飞行器100传输的成像装置拍摄的图像,并在显示装置上进行显示,该显示装置可以集成于第二控制终端300,或该显示装置与第二控制终端300分离设置,并与第二控制终端300通信连接,该通信连接的方式可以通过有线连接方式或无线连接方式,在此不做限制。
例如,第二控制终端300为前述头戴式显示设备,第二控制终端300的显 示装置可以集成于该头戴式显示设备的本体上,或者通过数据线与头戴式显示设备通信连接。
在一些实施方式中,第一控制终端的第一偏航控制指令用于控制无人飞行器的机身偏航转动并对所述基准偏航朝向进行更新以获取更新后的基准偏航朝向。示例性的,所述无人飞行器可以接收第一控制终端生成并发送的第一偏航控制指令,无人飞行器可以根据所述第一偏航控制指令控制所述机身偏航转动,当机身偏航转动时,机头的实际偏航朝向就会随之改变。另外,无人飞行器会根据所述第一偏航控制指令对所述基准偏航朝向进行更新以获取更新后的基准偏航朝向,即无人飞行器会根据所述第一偏航控制指令和所述基准偏航朝向确定一个新的机头的基准偏航朝向,并用确定的新的机头的基准偏航朝向对所述基准偏航朝向进行更新,这里确定的新的机头的基准偏航朝向即为更新后的机头的基准偏航朝向。
在一些实施方式中,以所述第一偏航控制指令对应的机身偏航转动的角度,对所述基准偏航朝向进行更新。所述更新后的机头的基准偏航朝向可以为所述机头的基准偏航朝向生叠加所述机身偏航转动的角度而得到的偏航朝向。所述第一偏航控制指令对应的机身偏航转动的角度可以是根据无人飞行器的传感器输出的机身的传传感数据。在一些实施方式中,如前所述传感器可以包括以下至少之一:惯性测量单元(Inertial Measurement Unit,简称IMU)、指南针和陀螺仪组合单元。所述传感数据可以用于确定感测所述无人飞行器的机身在偏航方向上的转动信息(例如所述机身的实际姿态、机身的角速度和角加速度中的至少一种)。
由于基准偏航朝向可以进行更新,当用户无法知晓对无人飞行器的水平飞行控制的飞行方向基准,即基准偏航朝向时,容易迷失无人飞行器的飞行方向基准而影响对无人飞行器的操控。例如在用户通过头戴式显示设备观看无人飞行器承载的成像装置拍摄的图像时,更容易迷失无人飞行器的飞行方向基准,也即,用户操控无人飞行器向前飞行时,其看到的画面可能并非是向前飞行时成像装置拍摄的图像。
本申请实施例可以通过根据机头的基准偏航朝向和成像装置的实际偏航朝向显示标识,所述标识用于指示所述基准偏航朝向和/或所述实际偏航朝向与所述基准偏航朝向之间的偏差,以便用户在无人飞行器水平飞行控制时的飞行方 向基准与机头的偏航朝向不同时,通过显示的标识至少获知无人飞行器的基准偏航朝向,便于用户使用控制终端对无人飞行器进行操控,如进行对无人飞行器的水平飞行控制;当所述标识用于指示所述实际偏航朝向与所述基准偏航朝向之间的偏差时,还可以便于用户对成像装置的实际偏航朝向进行操控。
为便于说明,本申请实施例主要以第一控制终端为遥控器、第二控制终端为头戴式显示设备为例进行说明。
如图1所示,本申请实施例的头戴式显示设备的控制方法包括步骤S110至步骤S130。所述头戴式显示设备用于显示无人飞行器承载的成像装置拍摄的图像,所述无人飞行器包括机身,所述机身包括机头。
S110、获取所述机头的基准偏航朝向。
其中,所述基准偏航朝向为控制终端对所述无人飞行器的水平飞行控制的飞行方向基准,其中,控制终端为前述的第一控制终端,如遥控器,优选的,为体感遥控器。
所述基准偏航朝向是第一控制终端控制无人飞行器的水平飞行的飞行方向是的基准。例如第一控制终端可以向无人飞行器发送水平控制指令(包括俯仰控制指令和横滚控制指令中的至少一种)以控制无人飞行器水平飞行,无人飞行器可以接收到的第一控制终端发送的水平飞行控制指令,无人飞行器响应于所述水平控制来进行水平飞行时,需要以基准偏航朝向来确定水平飞行的飞行方向。
示例性的,头戴式显示设备可以从无人飞行器或者第一控制终端获取机头的基准偏航朝向。无人飞行器的机头的基准偏航朝向可以存储在存储装置中,所述存储装置可以是无人飞行器的本地存储装置,或者所述存储装置可以是设置在无人飞行器之外的存储装置,例如,所述存储装置可以是设置在第一控制终端的存储装置,无人飞行器可以获取第一控制终端发送所述机头的基准偏航朝向。在一些实施方式中,机头的基准偏航朝向可以是无人飞行器当前的基准偏航朝向。可选的,无人飞行器当前的基准偏航朝向可以是根据第一控制终端的第一偏航控制指令更新后的基准偏航朝向。具体的,无人飞行器当前的基准偏航朝向是当前的基准偏航朝向还是更新后的基准偏航朝向的详细示例将在后续介绍,在此暂不赘述。而无论无人飞行器当前的基准偏航朝向是当前的基准偏航朝向还是更新后的基准偏航朝向对于本申请实施方式中在头戴式显示设备 上显示标识的原理无影响,为便于说明,以下主要以基准偏航朝向为当前的基准偏航朝向为例进行说明,无人飞行器当前的基准偏航朝向为根据第一控制终端的第一偏航控制指令更新后的基准偏航朝向的原理类似,此处不再赘述。
S120、获取所述成像装置的实际偏航朝向。
示例性的,无人飞行器根据第一控制终端发送的第一偏航控制指令,和/或第二控制终端发送的第二偏航控制指令,调整所述成像装置的实际偏航朝向。
例如,头戴式显示设备的偏航控制指令,即第二偏航控制指令可以用于控制无人飞行器的机身偏航转动,以调整与机身固定连接的成像装置的实际偏航朝向;或者头戴式显示设备的偏航控制指令可以控制云台偏航转动,以调整成像装置的实际偏航朝向;或者头戴式显示设备的偏航控制指令可以控制无人飞行器的机身偏航转动以及云台偏航转动,以调整成像装置的实际偏航朝向,可以理解,无论是成像装置与机身固定连接,还是通过云台活动连接,该成像装置的实际偏航朝向均与所述机身(机头)的实际偏航朝向实时相同或者经过调整后相同,故机身的实际偏航朝向可以用来表示成像装置的实际偏航朝向。
在一些实施方式中,头戴式显示设备的偏航控制指令用于控制无人飞行器调整所述成像装置的实际偏航朝向,以及保持所述机头的基准偏航朝向不变;以防止遥控器等控制终端对无人飞行器的水平飞行控制时会被头戴式显示设备所干扰的问题。
示例性的,头戴式显示设备检测用户头部的运动(例如姿态、角速度或者角加速度)而生成所述偏航控制指令。在一些实施例中,头戴式显示设备设置有运动传感器,头戴式显示设备根据运动传感器感测的头戴式显示设备的运动生成所述偏航控制指令。
在一些实施例中,头戴式显示设备获取无人飞行器承载的成像装置拍摄到的图像,以及通过显示装置显示成像装置拍摄到的图像。用户可以根据成像装置拍摄到的图像,调整头部的姿态,以使头戴式显示设备检测用户头部的运动而生成所述偏航控制指令。例如用户对图像中左侧的目标感兴趣时,可以将头向左转,以使头戴式显示设备显示用户感兴趣的目标的图像。
成像装置130直接承载或者通过云台承载于机身110,用于拍摄图像,图像可以是图片和/或视频。在偏航方向上,所述成像装置130的偏航转动和机身110的偏航转动是关联的。进一步地,所述成像装置130跟随机身110的偏航 转动而偏航转动,或者所述机身110跟随成像装置130的偏航转动而偏航转动。
在一些实施例中,头戴式显示设备向无人飞行器发送第二偏航控制指令,无人飞行器可以根据第二偏航控制指令指令控制机身偏航转动。其中,根据第二偏航控制指令控制机身偏航转动的方式可以包括如下方式中的任一种:
一种方式,如图3A所示,在偏航方向上,成像装置130与机身110固定连接,具体地,需要调整成像装置130的实际偏航朝向时,可以调整机身110的偏航朝向,从而使得成像装置130跟随机身110转动进行偏航朝向的调整,以获得所需的偏航朝向;
另一种方式,如图2和图3B所示,在偏航方向上,成像装置130和机身110是活动连接的,所述无人飞行器可以包括云台140,成像装置130安装在云台140上,所述云台140与所述机身110连接。云台140能够控制成像装置130偏航转动以调节成像装置130的实际偏航朝向,具体地,云台140可以包括偏航电机141,所述偏航电机141用于控制成像装置130偏航转动。在某些实施例中,无人飞行器控制机身110偏航转动,无人飞行器可以获取机身110偏航转动的转动信息(例如偏航姿态、偏航角速度或角加速度),并根据所述转动信息控制云台140偏航转动以控制成像装置130偏航转动,在这种情况中,所述成像装置130跟随机身110的偏航转动而偏航转动;
另一种方式,如前所述,在偏航方向上,成像装置130和机身110是活动连接的,所述机身110跟随成像装置130的偏航转动而偏航转动,无人飞行器根据所述第二偏航控制指令控制云台转动,云台140控制成像装置130偏航转动,无人飞行器可以获取成像装置偏航转动的转动信息(例如偏航姿态、偏航角速度或角加速度)并根据所述转动信息控制机身110偏航转动(例如根据所述转动信息控制动力系统以控制机身110偏航转动)。
在某些实施例中,云台140能够控制成像装置130俯仰转动和/或横滚转动以调节成像装置130的俯仰朝向和/或横滚转动,具体地,云台140可以包括俯仰电机和/或横滚电机,所述俯仰电机和/或横滚电机用于控制成像装置130俯仰转动和/或横滚转动。
在一些实施方式中,第一控制终端向无人飞行器发送第一偏航控制指令,无人飞行器可以根据第一偏航控制指令控制机身偏航转动。无人飞行器可以根据第一偏航控制指令控制机身偏航转动的方式可以与无人飞行器可以根据第二 偏航控制指令控制机身偏航转动的方式相同。在某些情况中,无人飞行器可以根据第一偏航控制指令控制机身偏航转动的方式可以与无人飞行器可以根据第二偏航控制指令控制机身偏航转动的方式也可以不同。
S130、根据所述基准偏航朝向和所述实际偏航朝向显示标识,所述标识用于指示所述基准偏航朝向和/或所述实际偏航朝向与所述基准偏航朝向之间的偏差。
所述基准偏航朝向与无人机飞行器的飞行方向基准相关,所述实际偏航朝向与成像装置在空间中的拍摄方向,也即,用户的视线方向相关,通过将无人飞行器的飞行方向基准和成像装置的拍摄方向解耦,例如可以实现无人机飞行器飞行时,成像装置可以向更多的方向进行拍摄,如向左侧或右侧拍摄或者向上侧或下侧拍摄;可以在无人飞行器飞行时进行更多种类的航拍运镜,例如环绕拍摄目标飞行的同时成像装置的拍摄方向朝向拍摄目标的中心点(环绕运镜,或者称为刷锅),或者可以在环绕拍摄目标飞行时向后飞、侧飞等。
通过显示标识,指示所述基准偏航朝向和/或所述实际偏航朝向与所述基准偏航朝向之间的偏差,以便用户在无人飞行器水平飞行控制时的飞行方向基准可能与机头的偏航朝向不同时,通过显示的标识至少获知无人飞行器的基准偏航朝向,进而便于用户使用控制终端(遥控器)对无人飞行器进行操控,如进行对无人飞行器的水平飞行控制;当所述标识用于指示所述实际偏航朝向与所述基准偏航朝向之间的偏差时,还可以便于用户对成像装置的实际偏航朝向进行操控。例如可以防止用户在观看成像装置拍摄的图像时,不了解无人飞行器的飞行方向基准;如用户操控无人飞行器向前飞时,用户看到的画面有些情况下不是向飞行方向的前方拍摄的,容易出现方向迷失,例如在用户在左右旋转身体后会迷失无人飞行器的飞行方向基准;通过显示所述标识,可以帮助用户辅助判断无人飞行器的飞行方向基准和成像装置的拍摄方向,防止出现方向迷失而影响对无人飞行器的操控。
也即,本申请实施方式能够在无人飞行器以预定速度及方向飞行的同时,根据头戴式显示设备的姿态调整搭载于无人飞行器上的成像装置的姿态(如上述成像装置与无人飞行器固定连接时,调整无人飞行器的姿态;或成像装置与无人飞行器通过云台活动连接时,调整无人飞行器或云台的姿态)以调整成像装置的拍摄角度,同时保持预定速度及方向飞行,并将拍摄画面实时发送给头 戴式显示设备,从而使头戴式显示设备能够模拟转头的场景,并通过在头戴式显示设备上(如头戴式显示设备显示的成像装置发送的图像上或者头戴式显示设备的显示装置的图形用户界面上))显示标识,以防止用户转头后迷失方向,使得用户体验更为真实。
在一些实施方式中,根据所述基准偏航朝向和所述实际偏航朝向显示标识,所述标识用于指示所述基准偏航朝向,请参阅图4A和4B,所述标识包括第一标识10。示例性的,可以根据所述基准偏航朝向与所述实际偏航朝向,确定所述第一标识在所述图像中的位置;根据所述第一标识在所述图像中的位置在所述图像中显示所述第一标识。具体的,图4A中的OA为无人飞行器的机头的基准偏航朝向,OB为成像装置的实际偏航朝向,根据无人飞行器的机头的基准偏航朝向OA和成像装置的实际偏航朝向OB,能够确定如图4B所示的第一标识10在头戴式显示设备显示成像装置拍摄的图像中的位置,由于所述图像对应的视角与成像装置的实际偏航朝向OB相关,例如用户观察图像的图像中心时的视线方向与成像装置的实际偏航朝向相同,因此,通过第一标识在图像中的位置与图像中心的位置关系,可以将无人飞行器的机头的基准偏航朝向示意给用户。也即,第一标识10可以指示在无人飞行器所在空间中的基准偏航朝向。
示例性的,如图4B所示,所述方法还包括:在所述图像中显示第三标识20,所述第三标识20用于指示所述图像中心的位置。用户可以根据所述第三标识20确定成像装置的实际偏航朝向,以便于用户实时知晓当前的成像装置的实际偏航朝向,从而操控无人飞行器。
可选地,请参阅图4A和图4B,当所述基准偏航朝向OA与所述实际偏航朝向OB重合时,所述第一标识10在所述图像中的水平位置与所述图像的图像中心的水平位置相同。第一标识可以为十字、圆、弧线、圆点、方点等中的一种或多种,只要能够起到标识作用的形状均可。可以理解,第一标识10在图像中的位置为第一标识10的几何中心在图像中的位置,例如,当第一标识10在图像中的中心的位置可以与所述图像中心在水平位置相同和/或在竖直位置上相同时,可以提示用户当前成像装置的拍摄方向与无人飞行器的飞行方向基准相同;如图4A和图4B,第一标识10关于图像中心左右对称,以及上下对称。本申请实施例主要以第一标识在所述图像中的水平位置与所述图像的图像中心的水平位置相同为例进行说明,可以理解,第一标识在所述图像中的竖直位置与 所述图像的图像中心的竖直位置相同的原理类似,在此不做赘述。
可选地,所述根据所述基准偏航朝向与所述实际偏航朝向,确定所述第一标识在所述图像中的位置,包括:确定所述基准偏航朝向OA与所述实际偏航朝向之间OB的朝向偏差;根据所述朝向偏差确定所述第一标识10与所述图像中心的位置偏差;根据所述第一标识10与所述图像中心的位置偏差,确定所述第一标识10在所述图像中的位置。例如,图4C中,实际偏航朝向OB1位于基准偏航朝向OA的左侧的预设角度处,因此,可以确定第一标识10在图像中的位置位于图像的中心位置的右边预设距离,第一标识10可以指示机头的基准偏航朝向OA,所述图像中心可以指示成像装置的实际偏航朝向OB1,通过所述朝向偏差确定所述第一标识与所述图像中心的位置偏差,可以使所述第一标识能够指示所述基准偏航朝向和/或所述实际偏航朝向与所述基准偏航朝向之间的偏差。
在一些实施方式中,OA与OB的朝向偏差包括偏差方位和/或偏差角度,第一标识10与图像的中心位置的位置偏差包括偏差方位和/或偏差距离,根据OA与OB的朝向偏差中的偏差方位,可以确定所述第一标识相对于所述图像中心的偏差方位,根据OA与OB的朝向偏差中的偏差角度,可以确定所述第一标识与所述图像中心之间的偏差距离。
可选的,基准偏航朝向OA和所述实际偏航朝向OB之间的偏差方位和所述第一标识与所述图像中心之间的偏差方位相同。请继续参照图4C和图4D,当所述基准偏航朝向OA位于所述实际偏航朝向OB1的右侧时,所述第一标识10相对于所述图像中心向右偏;当所述基准偏航朝向OA位于所述实际偏航朝向OB1的左侧时,所述第一标识相对于所述图像中心向左偏。可以理解的,根据所述第一标识相对于所述图像中心的偏差方位可以确定所述基准偏航朝向OA与所述实际偏航朝向OB之间的朝向偏差,进而帮助用户在不迷失的情况下操控无人飞行器。
可选的,所述基准偏航朝向OA和所述实际偏航朝向OB之间的偏差角度和所述第一标识相对于所述图像中心的偏差距离正相关。示例性的,请参阅图4E和图4F,当所述实际偏航朝向OB与基准偏航朝向OA之间的角度变大时(也即OB2与OA之间的角度大于OB1与OA之间的角度),第一标识(本实施例中,为第一标识的几何中心)相对于所述图像中心的偏差距离越大(参考图4F与图 4D中第一标识10与图像中心的偏差距离的大小),也即,用户可以根据所述第一标识相对于所述图像中心的偏差距离确定机头的基准偏航朝向与成像装置的实际偏航朝向之间的偏差角度,进而调整用户自身对无人飞行器的控制方式。
示例性的,请参阅图4F-4H,当所述基准偏航朝向和所述实际偏航朝向之间的偏差角度超过预设偏差角度阈值时,所述第一标识10位于所述图像之外或者所述第一标识10的部分标识位于所述图像之外,例如,头戴式显示设备的显示装置的图形用户界面之内,但是位于显示的图像以外。
请参阅图4F,当所述基准偏航朝向和所述实际偏航朝向之间的偏差角度超过第一偏差角度阈值时,所述第一标识10的部分标识位于所述图像之外;请参阅图4H,当所述基准偏航朝向OA和所述实际偏航朝向OB3之间的偏差角度超过第二偏差角度阈值时,所述第一标识10整体位于所述图像之外;其中,第二偏差角度阈值大于所述第一偏差角度阈值。在第一标识10的至少部分位于所述图像之外时,用户可以了解所述基准偏航朝向和所述实际偏航朝向之间的偏差角度较大。
可选地,预设偏差角度阈值可以根据云台控制成像装置偏航转动的范围确定。可选地,在云台左右偏转的角度达到限位后,还可以通过控制所述机身偏航转动,以及保持所述基准偏航朝向不变调整所述成像装置的实际偏航朝向,所述预设偏差角度阈值,如所述第二偏差角度阈值可以超过云台控制成像装置偏航转动的范围。
可选地,在第一标识的至少部分位于所述图像之外时,用户可以控制成像装置的实际偏航朝向向所述基准偏航朝向偏移。
可选的,请参阅图4D、4F和图4H,在第一标识的至少部分位于所述图像之外时,在所述图像中显示第三标识20,所述第三标识20用于指示所述图像中心的位置。帮助用户了解此时的观看图像的视角方向的中心点。
可选的,请参阅图4G和4H,当所述基准偏航朝向OA和所述实际偏航朝向OB3之间的偏差角度超过预设偏差角度阈值,所述第一标识10或者所述第一标识10的部分标识位于所述图像之外时,还可以在所述图像上显示第四标识30,所述第四标识30用于指示所述第一标识10与所述图像的偏差方位。通过在第一标识10位于所述图像之外时,显示第四标识30提示用户所述基准偏航朝向和所述实际偏航朝向之间的偏差方位。
在一些实施方式中,可以根据所述基准偏航朝向和所述实际偏航朝向之间的偏移方向确定所述第四标识在所述图像中的位置,根据所述图像中的位置显示第四标识30。例如第四标识30位于图像的一侧边缘,所述一侧边缘与所述第一标识与所述图像中心的相对方位对应。请参阅图4H,所述第一标识10相对于图像中心向右位于图像之外,可以在图像的右侧显示所述第四标识,第四标识为指向右侧的箭头,可以提示用户所述基准偏航朝向位于所述实际偏航朝向的右侧。
在一些实施方式中,如图5A及图5B所示,所述第一标识10包括第一左侧标识11和第一右侧标识12。在一些实施方式中,如图5B所示,第一标识10包括第一左侧标识11和第一右侧标识12。可以理解,本实施方式中的第一标识不同于图4A-4H中的第一标识的形状不同,但是其显示的原理一致,均通过显示第一标识10帮助用户辅助判断无人飞行器的水平飞行方向的基准。
在一些实施方式中,第一左侧标识的外观不同于第一右侧标识的外观,以便用户区分出是左侧标识还是右侧标识;如图5B所示,第一左侧标识11为左括弧,第二左侧标识12为右括弧,当然也不限于此。可选的,第一左侧标识和所述第一右侧标识左右对称,以便用户根据第一左侧标识和所述第一右侧标识的对称线与图像中心之间的偏差方位和偏差距离,或者根据第一左侧标识距离图像的左侧边缘的偏差距离和/或第一右侧标识距离图像的右侧边缘的偏差距离,确定所述基准偏航朝向与所述实际偏航朝向之间的偏差方位和/或偏差角度。
示例性的,如图5A所示,当所述实际偏航朝向与所述基准偏航朝向重合时,所述图5B中的所述第一左侧标识11和所述第一右侧标识12分别对称地位于所述图像的图像中心的两侧,图像中心位于第一左侧标识11和所述第一右侧标识12的对称线上。
可以理解,实际偏航朝向与所述基准偏航朝向重合中的重合为成像装置的实际偏航朝向与所述机头的基准偏航朝向的朝向方位大致重合,朝向角度大致为0。
可选的,当所述实际偏航朝向与所述基准偏航朝向重合时,第一左侧标识和第一右侧标识分别位于所述图像的左侧边缘和右侧边缘。可以降低第一左侧标识和第一右侧标识对用户观察图像的影响。
示例性的,所述第一标识在所述图像中的位置包括被选中的目标标识在所 述图像中的位置。
可选的,所述根据所述基准偏航朝向OA与所述实际偏航朝向OB,确定所述第一标识在所述图像中的位置,包括:确定所述基准偏航朝向与所述实际偏航朝向之间的朝向偏差,所述朝向偏差包括偏差方位和/或偏差角度;根据所述朝向偏差中的偏差方位,从所述第一左侧标识和第一右侧标识中选中将要被显示的目标标识;根据所述朝向偏差中的偏差角度确定所述目标标识在所述图像中的位置。通过在第一左侧标识和第一右侧标识中选中目标标识,以及显示所述目标标识,可以便于用户根据显示的目标标识的类型至少确定所述基准偏航朝向与所述实际偏航朝向之间的偏差方位。
可选的,如图5A和图5B所示,当所述实际偏航朝向与所述基准偏航朝向重合时,所述第一左侧标识和第二右侧标识均被选中为所述目标标识。当第一左侧标识和第二右侧标识均被选中为所述目标标识时,用户可以确定所述实际偏航朝向与所述基准偏航朝向之间的朝向偏差较小,如所述实际偏航朝向与所述基准偏航朝向大致重合。
在一些实施方式中,如图5C和5D所示,当所述实际偏航朝向OB1位于所述基准偏航朝向OA的左侧时,所述第一左侧标识被选中为所述目标标识;当所述实际偏航朝向OB1位于所述基准偏航朝向OA的右侧时,所述第一右侧标识被选中为所述目标标识。如图5C和5D所示,第一左侧标识11被选中为所述目标标识,在显示所述第一左侧标识11而不显示第一右侧标识12时,用户可以确定所述基准偏航朝向位于所述实际偏航朝向的左侧。
示例性的,可以根据所述朝向偏差中的偏差角度确定所述目标标识在所述图像中的位置。在一些实施方式中,请参考图5C-5F,当所述第一左侧标识被选中为所述目标标识时,所述第一左侧标识在图像中的位置与所述图像的左侧边缘之间的偏差距离和所述实际偏航朝向与所述基准偏航朝向之间的偏差角度正相关,也即,由于图5C中所述实际偏航朝向OB1与所述基准偏航朝向OA之间的偏差角度小于图5E中所述实际偏航朝向OB2与所述基准偏航朝向OA之间的偏差角度,故图5D中第一左侧标识11在图像中的位置与所述图像的左侧边缘之间的偏差距离小于图5F中第一左侧标识11在图像中的位置与所述图像的左侧边缘之间的偏差距离。在一些实施方式中,当所述第一右侧标识被选中为所述目标标识时,所述第一右侧标识在图像中的位置与所述图像的右侧边缘之间 的偏差距离和所述实际偏航朝向与所述基准偏航朝向之间的偏差角度正相关,该部分与第一左侧标识被选中为目标标识类似,在此不再赘述。
如图5A-5F所示,第一左侧标识11与所述图像的左侧边缘之间的偏差距离越大,即第一左侧标识11越靠近所述图像的右侧边缘,则可以确定所述实际偏航朝向与所述基准偏航朝向之间的偏差角度越大。通过上述方案,能够帮助用户根据被选中为目标标识的第一左侧标识或者第一右侧标识判断当前的基准偏航朝向和实际偏航朝向,有利于用户对无人飞行器的控制。
可以理解,当所述基准偏航朝向和所述实际偏航朝向之间的偏差角度超过预设偏差角度阈值时,第一左侧标识和第一左侧标识的呈现与图4E-4H的呈现原理类似,在此不再赘述。
在一些实施方式中,根据所述基准偏航朝向和所述实际偏航朝向显示标识,所述标识至少用于指所述实际偏航朝向与所述基准偏航朝向之间的偏差,如图6至图9所示,所述标识包括第二标识40,所述第二标识40包括第二基准标识41和第二活动标识42。由于第二标识40可以用于指示所述实际偏航朝向与所述基准偏航朝向之间的偏差,为节省篇幅,一并引入图4A、4C和图4E的无人飞行器的姿态,其中,图4A所示的无人飞行器的姿态与图6所示的头戴式显示设备上显示标识的示意图对应,图4C所示的无人飞行器的姿态与图7所示的头戴式显示设备上显示标识的示意图对应,图4E所示的无人飞行器的姿态与图8或图9所示的头戴式显示设备上显示标识的示意图对应。
在一些实施方式中,如图6及图7所示,第二基准标识41为包括刻度的标尺,第二活动标识42可以称为游码;第二活动标识42在第二基准标识41,也即所述标尺上的位置可以指示所述实际偏航朝向OB与所述基准偏航朝向OA之间的偏差。当然也不限于此,如图9所示,可以通过第二活动标识42相对于所述第二基准标识41的偏差角度指示所述实际偏航朝向与所述基准偏航朝向之间的偏差。
可选的,所述第二基准标识41指示所述基准偏航朝向OA,所述第二活动标识指示所述实际偏航朝向OB;或者所述第二活动标识指示所述基准偏航朝向OA,所述第二基准标识指示所述实际偏航朝向OB。本申请实施例主要以所述第二基准标识41指示所述基准偏航朝向OA,所述第二活动标识42指示所述实际偏航朝向OB为例进行说明。
示例性的,所述根据所述基准偏航朝向和所述实际偏航朝向显示标识,包括:显示所述第二基准标识;根据所述基准偏航朝向与所述实际偏航朝向之间的偏差,显示所述第二活动标识。例如根据图4A中所述基准偏航朝向OA,显示第二基准标识41,也即,将第二基准标识41的作为基准偏航朝向和实际偏航朝向之间偏差的偏差基准,根据图4A中所述基准偏航朝向OA与所述实际偏航朝向OB之间的偏差,确定所述第二活动标识42和所述第二基准标识41的位置关系,以便用户根据所述第二活动标识42和所述第二基准标识41的位置关系确定所述基准偏航朝向OA与所述实际偏航朝向OB之间的偏差。
示例性的,所述根据所述基准偏航朝向与所述实际偏航朝向之间的偏差,显示所述第二活动标识,包括:确定所述实际偏航朝向与所述基准偏航朝向之间的朝向偏差;根据所述实际偏航朝向与所述基准偏航朝向之间的朝向偏差确定所述第二活动标识与所述第二基准标识之间的偏差;根据所述第二活动标识与所述第二基准标识之间的偏差,显示所述第二活动标识。
可选的,所述实际偏航朝向与所述基准偏航朝向之间的朝向偏差包括偏差方位和/或偏差角度,所述第二活动标识与所述第二基准标识之间的偏差包括偏差方位以及偏差角度或偏差距离。
在一些实施方式中,所述朝向偏差中的偏差方位用于确定所述第二活动标识与所述第二基准标识之间的偏差方位。例如,当所述第二基准标识41指示所述基准偏航朝向,所述第二活动标识42指示所述实际偏航朝向时,所述实际偏航朝向和所述基准偏航朝向之间的偏差方位和所述第二活动标识42相对于所述第二基准标识41的偏差方位相同。如图4C、图7所示,当所述实际偏航朝向OB1位于所述基准偏航朝向OA的左侧时,所述第二活动标识42位于所述第二基准标识41的左侧;当所述实际偏航朝向OB1位于所述基准偏航朝向的右侧时,所述第二活动标识42位于所述第二基准标识41的右侧。
在一些实施方式中,请参阅4C、4E、图7及图8,所述朝向偏差中的偏差角度用于确定所述第二活动标识42与所述第二基准标识41之间的偏差距离。例如,第二基准标识41包括标尺,第二活动标识42包括游码,所述实际偏航朝向OB和所述基准偏航朝向OA之间的偏差角度,与所述游码到所述标尺的中心的偏差距离正相关。所述实际偏航朝向OB和所述基准偏航朝向OA之间的偏差角度和所述第二活动标识相对于所述第二基准标识的偏差距离正相关;举例 而言,图4C中所述实际偏航朝向OB1和所述基准偏航朝向OA之间的偏差角度小于图4E中所述实际偏航朝向OB2和所述基准偏航朝向OA之间的偏差角度,则图7中第二活动标识42相对于所述第二基准标识41的偏差距离小于图8中第二活动标识42相对于所述第二基准标识41的偏差距离。当第二活动标识42位于第二基准标识41的最左侧的刻度时,可以确定所述基准偏航朝向和所述实际偏航朝向之间的偏差角度达到了预设的偏差角度阈值。
在一些实施方式中,请参阅图6至图8,所述第二基准标识41上设置有刻度,所述第二基准标识41与所述第二活动标识42的一侧重合,且所述第二活动标识42指向所述第二基准标识41的刻度。可选的,所述第二基准标识41上的中心刻度用于指示所述基准偏航朝向,所述第二活动标识42指向的刻度用于指示所述实际偏航朝向;或者所述第二基准标识上的中心刻度用于指示所述实际偏航朝向,所述第二活动标识指向的刻度用于指示所述基准偏航朝向。
在一些实施方式中,请参阅图9,所述朝向偏差中的偏差角度用于确定所述第二活动标42与所述第二基准标识41之间的偏差角度。例如通过第二基准标识42与所述第二活动标识41之间的夹角指示所述朝向偏差中的偏差角度;例如,所述实际偏航朝向和所述基准偏航朝向之间的偏差角度和所述第二活动标识42相对于所述第二基准标识41的偏差角度正相关,本实施例的原理与第二基准标识41为包括刻度的标尺,第二活动标识42可以称为游码的实施例原理类似,在此不再赘述。
可选的,当所述实际偏航朝向OB与所述基准偏航朝向OA重合时,所述第二活动标识和所述第二基准标识重合。如图4A中所述实际偏航朝向OA与所述基准偏航朝向OB相同时,所述第二活动标识和所述第二基准标识的位置相同。在一些实施方式中,如图6及7所示,所述第二活动标识42和所述第二基准标识41在图像中的水平位置相同;或者请参阅图9,第二活动标识42和所述第二基准标识41也可以重合,即夹角为0。
需要说明的是,请参阅图8和图9,第二基准标,41和第二活动标识42可以显示在图像中的任意位置,也可以显示在图像的下侧边缘,且居中显示;当然也不限于此,例如也可以显示在显示界面中所述图像之外的区域。
可以理解的是,上述第一标识10和第二标识40可以同时出现,也可以选择使用其中之一对基准偏航朝向和/或基准偏航朝向与实际偏航朝向之间的偏 差进行标识,只要能够起到本申请实施方式提供的实现指示的作用即可。
在一些实施方式中,步骤S130根据所述基准偏航朝向和所述实际偏航朝向显示标识,包括:根据更新后的基准偏航朝向和所述成像装置的实际偏航朝向显示标识。基准偏航朝向例如可以根据第一控制终端的第一偏航控制指令进行更新;或者根据当前的基准偏航朝向和所述成像装置的实际偏航朝向显示标识。基准偏航朝向例如可以为当前的基准偏航朝向。
以成像装置的实际偏航朝向与机头的实际偏航朝向一致为例,如图10所示,无人飞行器的机头的基准偏航朝向为OA和成像装置的实际偏航朝向OB一致,当无人飞行器接收到第一控制终端的第一偏航控制指令,控制无人飞行器的机身在偏航方向上向逆时针偏转C1角度,成像装置的实际偏航朝向调整至OB1;以及根据所述第一偏航控制指令对机头的基准偏航朝向OA进行更新以获取更新后的基准偏航朝向OA1;进一步地,无人飞行器获取所述第一偏航控制指令对应的机身偏航转动的角度C1,根据所述机身偏航转动的角度C1对所述基准偏航朝向进行更新。所述更新后的机头的基准偏航朝0A1向可以为所述机头的基准偏航朝向叠加所述机身偏航转动的角度而得到的偏航朝向。可以根据更新后的基准偏航朝向OA1和成像装置的实际偏航朝向OB1显示所述标识,具体显示标识的方式和前文原理类似,在此不再赘述。
如图11所示,无人飞行器的机头的基准偏航朝向为OA和成像装置的实际偏航朝向OB一致,当无人飞行器接收到头戴式显示设备生成并发送第二偏航控制指令,控制无人飞行器的机身在偏航方向上向逆时针偏转C1角度,成像装置的实际偏航朝向调整至OB1;机头的基准偏航朝向不更新,维持不变OA,即第一偏航控制指令不改变机头的基准偏航朝向。可以根据当前的基准偏航朝向OA和成像装置的实际偏航朝向OB1显示所述标识,具体显示标识的方式和前文原理类似,在此不再赘述。
如图12所示,无人飞行器的机头的基准偏航朝向为OA,无人飞行器的成像装置的实际偏航朝向为OB,当无人飞行器接收到第一控制终端生成并发送第一偏航控制指令,控制无人飞行器的机身在偏航方向上向逆时针偏转C1角度,成像装置的实际偏航朝向调整至OB1,以及根据所述第一偏航控制指令对机头的基准偏航朝向OA进行更新以获取更新后的基准偏航朝向OA1;可以根据更新后的基准偏航朝向OA1和成像装置的实际偏航朝向OB1显示所述标识。以及当 无人飞行器接收到头戴式显示设备生成并发送第二偏航控制指令,控制无人飞行器的机身在偏航方向上向逆时针偏转C2角度,成像装置的实际偏航朝向调整至OB2,机头的基准偏航朝向不更新,维持OA1不变。可以根据当前的基准偏航朝向OA1和成像装置的实际偏航朝向OB2显示所述标识,具体显示标识的方式和前文原理类似,在此不再赘述。
在一些实施方式中,如图6所示,所述方法还包括:在所述图像中显示第五标识50,所述第五标识50用于指示所述无人飞行器的飞行方向。其中,所述无人飞行器的飞行方向可以为无人飞行器的速度方向。例如,根据所述无人飞行器的飞行方向确定所述第五标识50在所述图像中的位置,以及根据所述第五标识在所述图像中的位置显示所述第五标识。在一些实施方式中,第一控制终端可以向无人飞行器发送水平控制指令以控制无人飞行器水平飞行,无人飞行器响应于所述水平控制来进行水平飞行时,以基准偏航朝向来确定水平飞行的飞行方向。
可选的,如图6所示,所述方法还包括:在所述第五标识50上显示第六标识60,所述第六标识60用于指示控制终端的姿态;其中,所述控制终端的姿态用于确定所述控制终端对所述无人飞行发送的控制指令。如图6所示,第五标识50为圆圈,第六标识60为圆圈两侧的斜线。
在一些实施方式中,根据所述控制终端的姿态,确定第六标识在所述第五标识上的姿态,根据所述第六标识在所述第五标识上的姿态显示所述第六标识。
在一些实施方式中,所述控制终端,如第一控制终端设置有运动传感器,该运动传感器感测的第一控制终端的运动,如第一控制终端的偏航姿态和/或俯仰姿态等生成对应的控制指令,以控制无人飞行器以基准偏航朝向来确定水平飞行的飞行方向。控制终端的姿态与向无人飞行器发送的控制指令相关,控制终端左右倾转的角度越大,无人飞行器左右飞行的角速度越大,如控制终端偏航角越大则无人飞行器偏航的角速度越大,第六标识在所述第五标识上的倾斜程度也越大。通过在所述第五标识50上显示第六标识60,可以提示用户所述控制终端的姿态,还可以提示用户接下来的时间无人飞行器的飞行方向将如何调整。
可选的,请参阅图6,所述方法还包括:根据所述无人飞行器的飞行方向预测所述无人飞行器的飞行轨迹;以及根据预测的所述无人飞行器的飞行轨迹, 在所述图像中显示第七标识70,所述第七标识70用于指示预测的所述无人飞行器的飞行轨迹。所述飞行轨迹例如包括无人飞行器在接下来的预设时长内的飞行轨迹,可以辅助用户判断无人飞行器的飞行方向,以便用户根据预测的轨迹对无人飞行器进行控制。
可选的,请参阅图6,所述方法还包括:在所述图像中显示第八标识80,所述第八标识80用于指示所述图像对应的环境的地平线或海平线。可以帮助用户判断此时无人飞行器的水平姿态。
可选的,请参阅图6,所述方法还包括:在所述图像上显示第九标识90,所述第九标识90用于指示所述成像装置的实际偏航朝向。在一些实施方式中,第九标识90可以指示成像装置的实际偏航朝向在空间中的偏航方向;帮助用户了解此时成像装置的拍摄方向在世界坐标系下的方位,如图6所示,此时成像装置的拍摄方向为北(N)。可选的,所述第九标识可以为罗盘形式的标识,当然也不限于此。
在一些实施方式中,请参阅图13和图14,图13为一实施方式中使用头戴式显示设备的用户能够体验到的虚拟环境,其中用户101的正前方显示第一标识10(如包括第一左侧标识11和第一右侧标识12),第一标识10用于指示机头的基准偏航朝向和/或成像装置的实际偏航朝向与所述基准偏航朝向之间的偏差。
示例性的,头戴式显示设备设置有运动传感器,根据该运动传感器感测的头戴式显示设备的运动生成对应的控制指令,如控制调整成像装置的实际偏航朝向;可以实现成像装置的实际偏航朝向跟随用户的头部的偏航朝向,用户体验更真实,有一种自己在自由飞行的感觉。
请参阅图13,在用户101平视时,显示第一标识10和/或第二标识40,以指示机头的基准偏航朝向和/或成像装置的实际偏航朝向与所述基准偏航朝向之间的偏差。可以参见前述对图4至图9的说明,此处不做赘述。
在某些实施例中,云台能够控制成像装置俯仰转动以调节成像装置的俯仰朝向。在某些实施例中,云台能够控制成像装置横滚转动以调节成像装置的横滚朝向。
请参阅图13和图14,在用户101向下俯视时,头戴式显示设备通过云台控制成像装置向下俯视;以及头戴式显示设备可以在成像装置拍摄的图像上显 示第十标识102、第十一标识103、第十二标识104、第十三标识105中的至少一种。其中,第十标志102用于指示用户所在空间的圆形标尺,用户可以根据第十标志102确定自己的朝向。第十一标识103用于指示所述成像装置的实际偏航朝向与所述基准偏航朝向之间的偏差,例如通过数值指示该偏差,在一些实施方式中,在头戴式显示设备的偏航姿态改变,以使成像装置的实际偏航朝向改变时,第十一标识103的数值相应调整。第十二标识104用于指示机头的基准偏航朝向,可以称为机头指示器;例如在头戴式显示设备向左偏航时,第十二标识104向右偏航;示例性的,第十二标识104与第一标识10的功能和显示位置的确定过程类似,可以参照前述第一标识的说明,区别主要在于第一标识10在用户平视或俯仰姿态在一较小范围时显示,第十二标识104在用户俯视姿态超过一定程度时显示;通过根据用户头部的俯仰姿态显示第十二标识104和/或第一标识10,便于用户了解成像装置的实际偏航朝向与所述基准偏航朝向之间的偏差。第十三标识105用于指示用户所在空间的中心点,如用户所处的位置。
在一些实施方式中,所述方法还包括:获取第一校正指令;以及响应于所述第一校正指令,将所述基准偏航朝向调整至所述成像装置的实际偏航朝向;将所述标识中的第一标识在所述图像中的位置调整至所述图像的中心位置或者将所述标识中的第二基准标识调整至所述标识中的第二活动标识的位置;和/或,获取第二校正指令;以及响应于所述第二校正指令,将所述成像装置的实际偏航朝向调整至所述机头的基准偏航朝向;将所述图像的中心位置调整至所述第一标识在所述图像中的位置或者将所述第二活动标识调整至所述第二基准标识的位置。
在无人飞行器的飞行过程中,机头的基准偏航朝向和成像装置的实际偏航朝向是不一致的,用户可能希望成像装置的实际偏航朝向和机头的基准偏航朝向一致,如进行复位操作。无人飞行器可以获取将成像装置的实际偏航朝向和机头的基准偏航朝向调整一致的校正指令。所述校正指令可以包括第一校正指令和/或第二校正指令。无人飞行器在获取到第一校正指令时,可以响应于所述第一校正指令,将无人飞行器的所述机头的基准偏航朝向调整至所述成像装置的实际偏航朝向。在无人飞行器获取到第二校正指令,可以响应于所述第二校正指令,可以将无人飞行器的所述成像装置的实际偏航朝向调整至基准偏航朝 向。
如图15A和图15B所示,机头的基准偏航朝向OA与的成像装置的实际偏航朝向OB之间具有夹角。如图15A所示,无人飞行器响应于所述第一校正指令,将所述基准偏航朝向OA调整至所述成像装置的实际偏航朝向OB;如图15B所示,无人飞行器响应于所述第二校正指令,将所述成像装置的实际偏航朝向OB调整至基准偏航朝向OA。具体的,在调整所述基准偏航朝向OA至所述成像装置的实际偏航朝向OB时,可以对所述基准偏航朝向OA进行更新,以及根据更新后的基准偏航朝向OA和所述实际偏航朝向OB显示所述标识,如对第一标识和第二标识进行更新。或者在调整所述成像装置的实际偏航朝向OB至所述基准偏航朝向OA时,可以根据所述基准偏航朝向OA,以及各时刻所述成像装置的实际偏航朝向OB,对第一标识和第二标志进行更新。所述更新例如为实时更新。
通过在将基准偏航朝向调整至所述成像装置的实际偏航朝向时,将第一标识在所述图像中的位置调整至所述图像的中心位置或者将第二基准标识调整至所述标识中的第二活动标识的位置;或者在将所述成像装置的实际偏航朝向调整至所述机头的基准偏航朝向时,将所述图像的中心位置调整至所述第一标识在所述图像中的位置或者将所述第二活动标识调整至所述第二基准标识的位置;可以实现标识的复位,以使标识准确的指示所述基准偏航朝向和/或所述实际偏航朝向与所述基准偏航朝向之间的偏差。
所述校正指令可以是第一控制终端或第二控制终端生成的,进一步地,所述校正指令可以是第一控制终端通过交互装置检测到的用户的校正操作而生成的,在某些情况中,述校正指令可以是第二控制终端通过交互装置检测到的用户的校正操作而生成的。示例性地,第一校正指令为第一控制终端发送用于调整无人飞行器的基准偏航朝向的指令,第二校正指令为第二控制终端发送用于调整无人飞行器的基准偏航朝向的指令。用户通过操控第一控制终端可以使得第一控制终端输出第一校正指令,通过操控第二控制终端可以使得第二控制终端输出第二校正指令。示例性的,第一控制终端和/或第二控制终端中可以设置复位按键或其他触发器件,如麦克风等,在用户左右转身幅度过大或者想要转身移动位置的情况下,基准偏航朝向与成像装置的实际偏航朝向无法重合,导致无法正常操控。通过触发复位按键等触发器件,可将基准偏航朝向与成像装置的实际偏航朝向复位归零,使用户成像装置的实际偏航朝向与基准偏航朝向 重合,可实现正常操控飞行。
本申请实施例提供的头戴式显示设备的控制方法,包括:获取无人飞行器的机头的基准偏航朝向;获取无人飞行器承载的成像装置的实际偏航朝向;根据所述基准偏航朝向和所述实际偏航朝向显示标识,所述标识用于指示所述基准偏航朝向和/或所述实际偏航朝向与所述基准偏航朝向之间的偏差;其中,所述基准偏航朝向为控制终端对所述无人飞行器的水平飞行控制的飞行方向基准,以便用户在无人飞行器水平飞行控制时的飞行方向基准与成像装置的偏航朝向不同时,通过显示的标识至少获知无人飞行器的基准偏航朝向,便于用户使用控制终端对无人飞行器进行准确操控,如进行对无人飞行器的水平飞行控制;当所述标识用于指示所述实际偏航朝向与所述基准偏航朝向之间的偏差时,还可以便于用户对成像装置的实际偏航朝向进行操控。
请结合上述实施例参阅图16,图16是本申请实施例提供的头戴式显示设备400的示意性框图。
头戴式显示设备400包括显示装置410,显示装置410至少用于显示无人飞行器承载的成像装置拍摄的图像。
该头戴式显示设备400还包括一个或多个处理器401,一个或多个处理器401单独地或共同地工作,用于执行前述头戴式显示设备的控制方法的步骤。
示例性的,头戴式显示设备400还包括存储器402。处理器401和存储器402通过总线403连接,该总线403比如为I2C(Inter-integrated Circuit)总线。
具体地,处理器401可以是微控制单元(Micro-controller Unit,MCU)、中央处理单元(Central Processing Unit,CPU)或数字信号处理器(Digital Signal Processor,DSP)等。
具体地,存储器402可以是Flash芯片、只读存储器(ROM,Read-Only Memory)磁盘、光盘、U盘或移动硬盘等。
其中,所述处理器401用于运行存储在存储器402中的计算机程序,并在执行所述计算机程序时实现前述头戴式显示设备的控制方法的步骤。
示例性的,所述处理器401用于运行存储在存储器402中的计算机程序,并在执行所述计算机程序时实现如下步骤:
获取所述机头的基准偏航朝向;
获取所述成像装置的实际偏航朝向;
根据所述基准偏航朝向和所述实际偏航朝向显示标识,所述标识用于指示所述基准偏航朝向和/或所述实际偏航朝向与所述基准偏航朝向之间的偏差;
其中,所述基准偏航朝向为控制终端对所述无人飞行器的水平飞行控制的飞行方向基准。
本申请实施例提供的头戴式显示设备的具体原理和实现方式均与前述实施例的头戴式显示设备的控制方法类似,此处不再赘述。
本申请实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时使所述处理器实现上述实施例提供的头戴式显示设备的控制方法的步骤。
其中,所述计算机可读存储介质可以是前述任一实施例所述的头戴式显示设备的内部存储单元,例如所述头戴式显示设备的硬盘或内存。所述计算机可读存储介质也可以是所述头戴式显示设备的外部存储设备,例如所述头戴式显示设备上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。
应当理解,在此本申请中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。
还应当理解,在本申请和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。
Claims (60)
- 一种头戴式显示设备的控制方法,其特征在于,所述头戴式显示设备用于显示可移动设备承载的成像装置拍摄的图像,所述可移动设备包括机身,所述机身包括机头,所述方法包括:获取所述机头的基准偏航朝向;获取所述成像装置的实际偏航朝向;根据所述基准偏航朝向和所述实际偏航朝向显示标识,所述标识用于指示所述基准偏航朝向和/或所述实际偏航朝向与所述基准偏航朝向之间的偏差;其中,所述基准偏航朝向为控制终端对所述可移动设备的水平移动控制的移动方向基准。
- 根据权利要求1所述的控制方法,其特征在于,所述标识包括第一标识,所述根据所述基准偏航朝向和所述实际偏航朝向显示标识,包括:根据所述基准偏航朝向与所述实际偏航朝向,确定所述第一标识在所述图像中的位置;根据所述第一标识在所述图像中的位置在所述图像中显示所述第一标识。
- 根据权利要求2所述的控制方法,其特征在于,当所述基准偏航朝向与所述实际偏航朝向重合时,所述第一标识在所述图像中的水平位置与所述图像中心的水平位置相同。
- 根据权利要求2所述的控制方法,其特征在于,所述根据所述基准偏航朝向与所述实际偏航朝向,确定所述第一标识在所述图像中的位置,包括:确定所述基准偏航朝向与所述实际偏航朝向之间的朝向偏差;根据所述朝向偏差确定所述第一标识与所述图像中心的位置偏差;根据所述第一标识与所述图像中心的位置偏差,确定所述第一标识在所述图像中的位置。
- 根据权利要求4所述的控制方法,其特征在于,所述朝向偏差包括偏差方位和/或偏差角度,所述位置偏差包括偏差方位和/或偏差距离,所述朝向偏差中的偏差方位用于确定所述第一标识相对于所述图像中心的偏差方位,所述朝向偏差中的偏差角度用于确定所述第一标识与所述图像中心之间的偏差距离。
- 根据权利要求5所述的控制方法,其特征在于,所述基准偏航朝向和所述实际偏航朝向之间的偏差方位和所述第一标识与所述图像中心之间的偏差方位相同。
- 根据权利要求5所述的控制方法,其特征在于,所述基准偏航朝向和所述实际偏航朝向之间的偏差角度和所述第一标识相对于所述图像中心的偏差距离正相关。
- 根据权利要求5所述的控制方法,其特征在于,当所述基准偏航朝向和所述实际偏航朝向之间的偏差角度超过预设偏差角度阈值时,所述第一标识位于所述图像之外;以及在所述图像上显示第四标识,所述第四标识用于指示所述第一标识与所述图像的偏差方位。
- 根据权利要求1-8中任一项所述的控制方法,其特征在于,所述方法还包括:在所述图像中显示第三标识,所述第三标识用于指示所述图像中心的位置。
- 根据权利要求2-8中任一项所述的控制方法,其特征在于,所述第一标识包括第一左侧标识和第一右侧标识。
- 根据权利要求10所述的控制方法,其特征在于,当所述实际偏航朝向与所述基准偏航朝向重合时,所述第一左侧标识和所述第一右侧标识分别对称地位于所述图像的图像中心的两侧。
- 根据权利要求11所述的控制方法,其特征在于,当所述实际偏航朝向与所述基准偏航朝向重合时,第一左侧标识和第一右侧标识分别位于所述图像的左侧边缘和右侧边缘。
- 根据权利要求10所述的控制方法,其特征在于,第一左侧标识的外观不同于第一右侧标识的外观。
- 根据权利要求10所述的控制方法,其特征在于,所述第一标识在所述图像中的位置包括被选中的目标标识在所述图像中的位置;所述根据所述基准偏航朝向与所述实际偏航朝向,确定所述第一标识在所述图像中的位置,包括:确定所述基准偏航朝向与所述实际偏航朝向之间的朝向偏差,所述朝向偏差包括偏差方位和/或偏差角度;根据所述朝向偏差中的偏差方位,从所述第一左侧标识和第一右侧标识中 选中将要被显示的目标标识;根据所述朝向偏差中的偏差角度确定所述目标标识在所述图像中的位置。
- 根据权利要求14所述的控制方法,其特征在于,所述根据所述朝向偏差中的偏差方位,从所述第一左侧标识和第一右侧标识中选中将要被显示的目标标识,包括:当所述基准偏航朝向位于所述实际偏航朝向的左侧时,所述第一左侧标识被选中为所述目标标识;当所述基准偏航朝向位于所述实际偏航朝向的右侧时,所述第一右侧标识被选中为所述目标标识。
- 根据权利要求14所述的控制方法,其特征在于,所述根据所述朝向偏差中的偏差角度确定所述目标标识在所述图像中的位置,包括:当所述第一左侧标识被选中为所述目标标识时,所述第一左侧标识在图像中的位置与所述图像的左侧边缘之间的偏差距离和所述实际偏航朝向与所述基准偏航朝向之间的偏差角度正相关;当所述第一右侧标识被选中为所述目标标识时,所述第一右侧标识在图像中的位置与所述图像的右侧边缘之间的偏差距离和所述实际偏航朝向与所述基准偏航朝向之间的偏差角度正相关。
- 根据权利要求14所述的控制方法,其特征在于,当所述实际偏航朝向与所述基准偏航朝向重合时,所述第一左侧标识和第二右侧标识均被选中为所述目标标识。
- 根据权利要求1-17中任一项所述的控制方法,其特征在于,所述标识包括第二标识,所述第二标识包括第二基准标识和第二活动标识;所述根据所述基准偏航朝向和所述实际偏航朝向显示标识,包括:显示所述第二基准标识;根据所述基准偏航朝向与所述实际偏航朝向之间的偏差,显示所述第二活动标识。
- 根据权利要求18所述的控制方法,其特征在于,所述根据所述基准偏航朝向与所述实际偏航朝向之间的偏差,显示所述第二活动标识,包括:确定所述实际偏航朝向与所述基准偏航朝向之间的朝向偏差;根据所述实际偏航朝向与所述基准偏航朝向之间的朝向偏差确定所述第二 活动标识与所述第二基准标识之间的偏差;根据所述第二活动标识与所述第二基准标识之间的偏差,显示所述第二活动标识;其中,所述第二基准标识指示所述基准偏航朝向,所述第二活动标识指示所述实际偏航朝向;或者所述第二活动标识指示所述基准偏航朝向,所述第二基准标识指示所述实际偏航朝向。
- 根据权利要求19所述的控制方法,其特征在于,所述实际偏航朝向与所述基准偏航朝向之间的朝向偏差包括偏差方位和/或偏差角度,所述第二活动标识与所述第二基准标识之间的偏差包括偏差方位以及偏差角度或偏差距离;其中,所述朝向偏差中的偏差方位用于确定所述第二活动标识与所述第二基准标识之间的偏差方位,所述朝向偏差中的偏差角度用于确定所述第二活动标识与所述第二基准标识之间的偏差角度或偏差距离。
- 根据权利要求20所述的控制方法,其特征在于,当所述第二基准标识指示所述基准偏航朝向,所述第二活动标识指示所述实际偏航朝向时,所述实际偏航朝向和所述基准偏航朝向之间的偏差方位和所述第二活动标识相对于所述第二基准标识的偏差方位相同。
- 根据权利要求20所述的控制方法,其特征在于,所述实际偏航朝向和所述基准偏航朝向之间的偏差角度和所述第二活动标识相对于所述第二基准标识的偏差角度或偏差距离正相关。
- 根据权利要求19所述的控制方法,其特征在于,当所述实际偏航朝向与所述基准偏航朝向重合时,所述第二活动标识和所述第二基准标识重合。
- 根据权利要求1-23中任一项所述的控制方法,其特征在于,所述方法还包括:在所述图像中显示第五标识,所述第五标识用于指示所述可移动设备的移动方向。
- 根据权利要求24所述的控制方法,其特征在于,所述方法还包括:在所述第五标识上显示第六标识,所述第六标识用于指示所述控制终端的姿态;其中,所述控制终端的姿态用于确定所述控制终端对所述无人移动发送的控制指令。
- 根据权利要求1-23中任一项所述的控制方法,其特征在于,所述方法还包括:根据所述可移动设备的移动方向预测所述可移动设备的移动轨迹;根据预测的所述可移动设备的移动轨迹,在所述图像中显示第七标识,所述第七标识用于指示预测的所述可移动设备的移动轨迹。
- 根据权利要求1-23中任一项所述的控制方法,其特征在于,所述方法还包括:在所述图像中显示第八标识,所述第八标识用于指示所述图像对应的环境的地平线或海平线。
- 根据权利要求1-23中任一项所述的控制方法,其特征在于,所述方法还包括:在所述图像上显示第九标识,所述第九标识用于指示所述实际偏航朝向。
- 根据权利要求1-23中任一项所述的控制方法,其特征在于,所述方法还包括:获取第一校正指令;以及响应于所述第一校正指令,将所述基准偏航朝向调整至所述成像装置的实际偏航朝向;将所述标识中的第一标识在所述图像中的位置调整至所述图像的中心位置或者将所述标识中的第二基准标识调整至所述标识中的第二活动标识的位置;和/或,获取第二校正指令;以及响应于所述第二校正指令,将所述成像装置的实际偏航朝向调整至所述机头的基准偏航朝向;将所述图像的中心位置调整至所述第一标识在所述图像中的位置或者将所述第二活动标识调整至所述第二基准标识的位置。
- 一种头戴式显示设备,其特征在于,包括:显示装置,至少用于显示可移动设备承载的成像装置拍摄的图像,所述可移动设备包括机身,所述机身包括机头;一个或多个处理器,单独地或共同地工作,用于执行如下步骤:获取所述机头的基准偏航朝向;获取所述成像装置的实际偏航朝向;根据所述基准偏航朝向和所述实际偏航朝向显示标识,所述标识用于指示所述基准偏航朝向和/或所述实际偏航朝向与所述基准偏航朝向之间的偏差;其中,所述基准偏航朝向为控制终端对所述可移动设备的水平移动控制的移动方向基准。
- 根据权利要求30所述的头戴式显示设备,其特征在于,所述标识包括第一标识,所述处理器执行所述根据所述基准偏航朝向和所述实际偏航朝向显示标识时,用于:根据所述基准偏航朝向与所述实际偏航朝向,确定所述第一标识在所述图像中的位置;根据所述第一标识在所述图像中的位置在所述图像中显示所述第一标识。
- 根据权利要求31所述的头戴式显示设备,其特征在于,当所述基准偏航朝向与所述实际偏航朝向重合时,所述第一标识在所述图像中的水平位置与所述图像中心的水平位置相同。
- 根据权利要求31所述的头戴式显示设备,其特征在于,所述处理器执行所述根据所述基准偏航朝向与所述实际偏航朝向,确定所述第一标识在所述图像中的位置时,用于:确定所述基准偏航朝向与所述实际偏航朝向之间的朝向偏差;根据所述朝向偏差确定所述第一标识与所述图像中心的位置偏差;根据所述第一标识与所述图像中心的位置偏差,确定所述第一标识在所述图像中的位置。
- 根据权利要求33所述的头戴式显示设备,其特征在于,所述朝向偏差包括偏差方位和/或偏差角度,所述位置偏差包括偏差方位和/或偏差距离,所述朝向偏差中的偏差方位用于确定所述第一标识相对于所述图像中心的偏差方位,所述朝向偏差中的偏差角度用于确定所述第一标识与所述图像中心之间的偏差距离。
- 根据权利要求34所述的头戴式显示设备,其特征在于,所述基准偏航朝向和所述实际偏航朝向之间的偏差方位和所述第一标识与所述图像中心之间的偏差方位相同。
- 根据权利要求34所述的头戴式显示设备,其特征在于,所述基准偏航朝向和所述实际偏航朝向之间的偏差角度和所述第一标识相对于所述图像中心的偏差距离正相关。
- 根据权利要求34所述的头戴式显示设备,其特征在于,当所述基准偏 航朝向和所述实际偏航朝向之间的偏差角度超过预设偏差角度阈值时,所述第一标识位于所述图像之外;以及在所述图像上显示第四标识,所述第四标识用于指示所述第一标识与所述图像的偏差方位。
- 根据权利要求30-37中任一项所述的头戴式显示设备,其特征在于,所述处理器还用于执行:在所述图像中显示第三标识,所述第三标识用于指示所述图像中心的位置。
- 根据权利要求31-37中任一项所述的头戴式显示设备,其特征在于,所述第一标识包括第一左侧标识和第一右侧标识。
- 根据权利要求39所述的头戴式显示设备,其特征在于,当所述实际偏航朝向与所述基准偏航朝向重合时,所述第一左侧标识和所述第一右侧标识分别对称地位于所述图像的图像中心的两侧。
- 根据权利要求40所述的头戴式显示设备,其特征在于,当所述实际偏航朝向与所述基准偏航朝向重合时,第一左侧标识和第一右侧标识分别位于所述图像的左侧边缘和右侧边缘。
- 根据权利要求39所述的头戴式显示设备,其特征在于,第一左侧标识的外观不同于第一右侧标识的外观。
- 根据权利要求39所述的头戴式显示设备,其特征在于,所述第一标识在所述图像中的位置包括被选中的目标标识在所述图像中的位置;所述处理器执行所述根据所述基准偏航朝向与所述实际偏航朝向,确定所述第一标识在所述图像中的位置时,用于:确定所述基准偏航朝向与所述实际偏航朝向之间的朝向偏差,所述朝向偏差包括偏差方位和/或偏差角度;根据所述朝向偏差中的偏差方位,从所述第一左侧标识和第一右侧标识中选中将要被显示的目标标识;根据所述朝向偏差中的偏差角度确定所述目标标识在所述图像中的位置。
- 根据权利要求43所述的头戴式显示设备,其特征在于,所述处理器执行所述根据所述朝向偏差中的偏差方位,从所述第一左侧标识和第一右侧标识中选中将要被显示的目标标识时,用于:当所述基准偏航朝向位于所述实际偏航朝向的左侧时,所述第一左侧标识 被选中为所述目标标识;当所述基准偏航朝向位于所述实际偏航朝向的右侧时,所述第一右侧标识被选中为所述目标标识。
- 根据权利要求43所述的头戴式显示设备,其特征在于,所述处理器执行所述根据所述朝向偏差中的偏差角度确定所述目标标识在所述图像中的位置时,用于:当所述第一左侧标识被选中为所述目标标识时,所述第一左侧标识在图像中的位置与所述图像的左侧边缘之间的偏差距离和所述实际偏航朝向与所述基准偏航朝向之间的偏差角度正相关;当所述第一右侧标识被选中为所述目标标识时,所述第一右侧标识在图像中的位置与所述图像的右侧边缘之间的偏差距离和所述实际偏航朝向与所述基准偏航朝向之间的偏差角度正相关。
- 根据权利要求43所述的头戴式显示设备,其特征在于,当所述实际偏航朝向与所述基准偏航朝向重合时,所述第一左侧标识和第二右侧标识均被选中为所述目标标识。
- 根据权利要求30-46中任一项所述的头戴式显示设备,其特征在于,所述处理器执行所述标识包括第二标识,所述第二标识包括第二基准标识和第二活动标识;所述根据所述基准偏航朝向和所述实际偏航朝向显示标识时,用于:显示所述第二基准标识;根据所述基准偏航朝向与所述实际偏航朝向之间的偏差,显示所述第二活动标识。
- 根据权利要求47所述的头戴式显示设备,其特征在于,所述处理器执行所述根据所述基准偏航朝向与所述实际偏航朝向之间的偏差,显示所述第二活动标识时,用于:确定所述实际偏航朝向与所述基准偏航朝向之间的朝向偏差;根据所述实际偏航朝向与所述基准偏航朝向之间的朝向偏差确定所述第二活动标识与所述第二基准标识之间的偏差;根据所述第二活动标识与所述第二基准标识之间的偏差,显示所述第二活动标识;其中,所述第二基准标识指示所述基准偏航朝向,所述第二活动标识指示 所述实际偏航朝向;或者所述第二活动标识指示所述基准偏航朝向,所述第二基准标识指示所述实际偏航朝向。
- 根据权利要求48所述的头戴式显示设备,其特征在于,所述实际偏航朝向与所述基准偏航朝向之间的朝向偏差包括偏差方位和/或偏差角度,所述第二活动标识与所述第二基准标识之间的偏差包括偏差方位以及偏差角度或偏差距离;其中,所述朝向偏差中的偏差方位用于确定所述第二活动标识与所述第二基准标识之间的偏差方位,所述朝向偏差中的偏差角度用于确定所述第二活动标识与所述第二基准标识之间的偏差角度或偏差距离。
- 根据权利要求49所述的头戴式显示设备,其特征在于,当所述第二基准标识指示所述基准偏航朝向,所述第二活动标识指示所述实际偏航朝向时,所述实际偏航朝向和所述基准偏航朝向之间的偏差方位和所述第二活动标识相对于所述第二基准标识的偏差方位相同。
- 根据权利要求49所述的头戴式显示设备,其特征在于,所述实际偏航朝向和所述基准偏航朝向之间的偏差角度和所述第二活动标识相对于所述第二基准标识的偏差角度或偏差距离正相关。
- 根据权利要求48所述的头戴式显示设备,其特征在于,当所述实际偏航朝向与所述基准偏航朝向重合时,所述第二活动标识和所述第二基准标识重合。
- 根据权利要求30-52中任一项所述的头戴式显示设备,其特征在于,所述处理器还用于执行:在所述图像中显示第五标识,所述第五标识用于指示所述可移动设备的移动方向。
- 根据权利要求53所述的头戴式显示设备,其特征在于,所述处理器还用于执行:在所述第五标识上显示第六标识,所述第六标识用于指示控制终端的姿态;其中,所述控制终端的姿态用于确定所述控制终端对所述无人移动发送的控制指令。
- 根据权利要求30-52中任一项所述的头戴式显示设备,其特征在于,所述处理器还用于执行:根据所述可移动设备的移动方向预测所述可移动设备的移动轨迹;根据预测的所述可移动设备的移动轨迹,在所述图像中显示第七标识,所述第七标识用于指示预测的所述可移动设备的移动轨迹。
- 根据权利要求30-52中任一项所述的头戴式显示设备,其特征在于,所述处理器还用于执行:在所述图像中显示第八标识,所述第八标识用于指示所述图像对应的环境的地平线或海平线。
- 根据权利要求30-52中任一项所述的头戴式显示设备,其特征在于,所述处理器还用于执行:在所述图像上显示第九标识,所述第九标识用于指示所述实际偏航朝向。
- 根据权利要求30-52中任一项所述的头戴式显示设备,其特征在于,所述处理器还用于执行:获取第一校正指令;以及响应于所述第一校正指令,将所述基准偏航朝向调整至所述成像装置的实际偏航朝向;将所述标识中的第一标识在所述图像中的位置调整至所述图像的中心位置或者将所述标识中的第二基准标识调整至所述标识中的第二活动标识的位置;和/或,获取第二校正指令;以及响应于所述第二校正指令,将所述成像装置的实际偏航朝向调整至所述机头的基准偏航朝向;将所述图像的中心位置调整至所述第一标识在所述图像中的位置或者将所述第二活动标识调整至所述第二基准标识的位置。
- 一种控制系统,其特征在于,包括:可移动设备,所述可移动设备包括机身,所述机身包括机头;如权利要求30-58中任一项所述的头戴式显示设备;控制终端;所述头戴式显示设备及所述控制终端与所述可移动设备通信连接。
- 一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时使所述处理器实现:如权利要求1-29中任一项所述的头戴式显示设备的控制方法的步骤。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2022/102015 WO2024000189A1 (zh) | 2022-06-28 | 2022-06-28 | 控制方法、头戴式显示设备、控制系统及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117693663A true CN117693663A (zh) | 2024-03-12 |
Family
ID=89383376
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202280049705.5A Pending CN117693663A (zh) | 2022-06-28 | 2022-06-28 | 控制方法、头戴式显示设备、控制系统及存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN117693663A (zh) |
WO (1) | WO2024000189A1 (zh) |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2988868B1 (fr) * | 2012-03-30 | 2015-04-24 | Parrot | Procede de pilotage d'un drone a voilure tournante a rotors multiples avec estimation et compensation du vent lateral |
KR20180051996A (ko) * | 2016-11-09 | 2018-05-17 | 삼성전자주식회사 | 무인 비행 장치 및 이를 이용한 피사체 촬영 방법 |
CN109074087A (zh) * | 2017-12-25 | 2018-12-21 | 深圳市大疆创新科技有限公司 | 偏航姿态控制方法、无人机、计算机可读存储介质 |
WO2021056503A1 (zh) * | 2019-09-29 | 2021-04-01 | 深圳市大疆创新科技有限公司 | 可移动平台的定位方法、装置、可移动平台及存储介质 |
WO2021237481A1 (zh) * | 2020-05-26 | 2021-12-02 | 深圳市大疆创新科技有限公司 | 无人飞行器的控制方法和设备 |
WO2022061886A1 (zh) * | 2020-09-28 | 2022-03-31 | 深圳市大疆创新科技有限公司 | 无人机的控制方法、装置、无人机、控制终端及系统 |
CN114641743A (zh) * | 2020-12-25 | 2022-06-17 | 深圳市大疆创新科技有限公司 | 无人机及其控制方法、系统、手持控制设备、头戴设备 |
CN112975972B (zh) * | 2021-03-01 | 2022-06-17 | 中电海康集团有限公司 | 一种基于头戴式ar设备和操作手柄的机器人控制方法 |
-
2022
- 2022-06-28 WO PCT/CN2022/102015 patent/WO2024000189A1/zh active Application Filing
- 2022-06-28 CN CN202280049705.5A patent/CN117693663A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
WO2024000189A1 (zh) | 2024-01-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108769531B (zh) | 控制拍摄装置的拍摄角度的方法、控制装置及遥控器 | |
US9886033B2 (en) | System for piloting a drone in immersion | |
US9158305B2 (en) | Remote control system | |
CN111562796B (zh) | 控制方法、控制设备和运载系统 | |
US9738382B2 (en) | Drone immersion-piloting system | |
EP2972462B1 (en) | Digital tethering for tracking with autonomous aerial robot | |
US10678238B2 (en) | Modified-reality device and method for operating a modified-reality device | |
CN104781873B (zh) | 图像显示装置、图像显示方法、移动装置、图像显示系统 | |
JP2728919B2 (ja) | ヘルメット搭載型表示装置及びその表示方法 | |
US9086724B2 (en) | Display control system, display control method, computer-readable storage medium having stored thereon display control program, and display control apparatus | |
JP4012749B2 (ja) | 遠隔操縦システム | |
US20180095469A1 (en) | Autonomous system for shooting moving images from a drone, with target tracking and holding of the target shooting angle | |
US20200304719A1 (en) | Control device, system, control method, and program | |
WO2017169841A1 (ja) | 表示装置および表示制御方法 | |
CN113795803B (zh) | 无人飞行器的飞行辅助方法、设备、芯片、系统及介质 | |
WO2020048365A1 (zh) | 飞行器的飞行控制方法、装置、终端设备及飞行控制系统 | |
US20210034052A1 (en) | Information processing device, instruction method for prompting information, program, and recording medium | |
WO2022193081A1 (zh) | 无人机的控制方法、装置及无人机 | |
WO2022141314A1 (zh) | 航线规划方法、装置、设备、无人机及可读存储介质 | |
US20230341875A1 (en) | Unmanned aerial vehicle, control method and control system thereof, handheld control device, and head-mounted device | |
JP6890759B2 (ja) | 飛行経路案内システム、飛行経路案内装置及び飛行経路案内方法 | |
CN117693663A (zh) | 控制方法、头戴式显示设备、控制系统及存储介质 | |
KR20180060403A (ko) | 영상 기반의 드론 제어장치 | |
CN108319295B (zh) | 避障控制方法、设备及计算机可读存储介质 | |
WO2022094808A1 (zh) | 拍摄控制方法、装置、无人机、设备及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |