CN117678235A - 可移动平台的控制方法、头戴式设备、系统和存储介质 - Google Patents
可移动平台的控制方法、头戴式设备、系统和存储介质 Download PDFInfo
- Publication number
- CN117678235A CN117678235A CN202280049707.4A CN202280049707A CN117678235A CN 117678235 A CN117678235 A CN 117678235A CN 202280049707 A CN202280049707 A CN 202280049707A CN 117678235 A CN117678235 A CN 117678235A
- Authority
- CN
- China
- Prior art keywords
- image
- movable platform
- display device
- head
- displaying
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 80
- 230000000007 visual effect Effects 0.000 claims description 39
- 238000001514 detection method Methods 0.000 claims description 28
- 238000004891 communication Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 7
- 210000003128 head Anatomy 0.000 description 20
- 239000011521 glass Substances 0.000 description 13
- 230000033001 locomotion Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000003190 augmentative effect Effects 0.000 description 8
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000007654 immersion Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
一种可移动平台的控制方法,包括:在头戴式设备的显示装置上显示第一图像和/或第二图像,所述第一图像是所述头戴式设备上的第一拍摄装置拍摄的图像,所述第二图像是所述可移动平台上的第二拍摄装置拍摄的图像(S110);当由在所述显示装置上显示所述第二图像切换至显示所述第一图像时,发送安全操作指令给所述可移动平台,以使所述可移动平台执行对应的安全操作(S120)。本申请能够在通过头戴式设备与可移动平台交互时,当头戴式设备显示的内容变化时较好的保证可移动平台的安全。还提供了头戴式设备、可移动平台系统和存储介质。
Description
本申请涉及可移动平台技术领域,尤其涉及一种可移动平台的控制方法、头戴式设备、系统和存储介质。
头戴式设备是一种可以直接穿戴在使用者身上的便携式设备,它可以通过软件支持、数据交互来实现强大的功能,大大方便了人们的生活、学习与感知。
头戴式设备例如包括增强现实(Augmented Reality,AR)眼镜、虚拟现实(Virtual Reality,VR)眼镜、飞行控制眼镜、智能头盔、智能头带等。头戴式设备可以获取可移动平台拍摄的图像,在其显示装置上显示,使得用户可以以第一视角体验可移动平台的拍摄视角,有身临其境的感觉。有些头戴式设备也可以通过显示头戴式设备的摄像头获取的图像,便于用户了解自身周围的环境,但是在显示内容变化时不能较好的保证可移动平台的安全。
发明内容
本申请提供了一种可移动平台的控制方法、头戴式设备、系统和存储介质,旨在解决通过头戴式设备与可移动平台交互时,在头戴式设备显示的内容变化时不能较好的保证可移动平台的安全。
第一方面,本申请实施例提供了一种可移动平台的控制方法,用于头戴式设备,所述头戴式设备与所述可移动平台通信连接,所述控制方法包括:
在所述头戴式设备的显示装置上显示第一图像和/或第二图像,所述第一图像是所述头戴式设备上的第一拍摄装置拍摄的图像,所述第二图像是所述可移动平台上的第二拍摄装置拍摄的图像;
当由在所述显示装置上显示所述第二图像切换至显示所述第一图像时,发送安全操作指令给所述可移动平台,以使所述可移动平台执行对应的安全操作。
第二方面,本申请实施例提供了一种可移动平台的控制方法,用于头戴式设备,所述头戴式设备与所述可移动平台通信连接,所述控制方法包括:
获取所述可移动平台的工作状态;
根据所述可移动平台的工作状态,在所述头戴式设备的显示装置上显示第一图像和/或第二图像,所述第一图像是所述头戴式设备上的第一拍摄装置拍摄的图像,所述第二图像是所述可移动平台上的第二拍摄装置拍摄的图像;
根据用户的控制操作发送控制指令给所述可移动平台。
第三方面,本申请实施例提供了一种头戴式设备,包括:
第一拍摄装置,能够拍摄第一图像;
通信装置,用于与可移动平台通信连接,以及接收所述可移动平台上的第二拍摄装置拍摄的第二图像;
显示装置,能够显示所述第一图像和/或所述第二图像;
还包括一个或多个处理器,单独地或共同地工作,用于执行如下步骤:
在所述头戴式设备的显示装置上显示第一图像和/或第二图像,所述第一图像是所述头戴式设备上的第一拍摄装置拍摄的图像,所述第二图像是所述可移动平台上的第二拍摄装置拍摄的图像;
当由在所述显示装置上显示所述第二图像切换至显示所述第一图像时,发送安全操作指令给所述可移动平台,以使所述可移动平台执行对应的安全操作。
第四方面,本申请实施例提供了一种头戴式设备,包括:
第一拍摄装置,能够拍摄第一图像;
通信装置,用于与可移动平台通信连接,以及接收所述可移动平台上的第二拍摄装置拍摄的第二图像;
显示装置,能够显示所述第一图像和/或所述第二图像;
还包括一个或多个处理器,单独地或共同地工作,用于执行如下步骤:
获取所述可移动平台的工作状态;
根据所述可移动平台的工作状态,在所述头戴式设备的显示装置上显示所述第一图像和/或所述第二图像;
根据用户的控制操作发送控制指令给所述可移动平台。
第五方面,本申请实施例提供了一种可移动平台系统,包括:
可移动平台;以及
前述的头戴式设备。
第六方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时使所述处理器实现上述的方法的步骤。
本申请实施例提供了一种可移动平台的控制方法、头戴式设备、系统和存储介质,方法包括:在头戴式设备的显示装置上显示第一图像和/或第二图像,第一图像是头戴式设备上的第一拍摄装置拍摄的图像,第二图像是可移动平台上的第二拍摄装置拍摄的图像;当由在显示装置上显示第二图像切换至显示第一图像时,发送安全操作指令给可移动平台,以使可移动平台执行对应的安全操作。通过在头戴式设备的显示装置上显示第一图像和/或第二图像,便于用户在了解自身附近和/或可移动平台附近范围内的环境时,通过控制操作控制可移动平台执行调整位姿等任务,提高用户的安全感;而且在切换至显示第一图像时控制可移动平台执行对应的安全操作,提高可移动平台的安全性。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请实施例的公开内容。
为了更清楚地说明本申请实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种可移动平台的控制方法的流程示意图;
图2是头戴式设备和可移动平台之间进行数据传输的示意图;
图3是一实施方式中显示装置显示第一图像的示意图;
图4是一实施方式中显示装置显示第二图像的示意图;
图5是一实施方式中显示装置显示第一图像和第二图像的示意图;
图6是本申请另一实施例提供的一种可移动平台的控制方法的流程示意图;
图7是本申请实施例提供的一种头戴式设备的示意性框图;
图8是本申请实施例提供的一种可移动平台的示意性框图。
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
附图中所示的流程图仅是示例说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解、组合或部分合并,因此实际执行的顺序有可能根据实际情况改变。
下面结合附图,对本申请的一些实施方式作详细说明。在不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。
请参阅图1,图1是本申请实施例提供的一种可移动平台的控制方法的流程示意图。所述控制方法可以应用在头戴式设备中,用于显示头戴式设备上的第一拍摄装置拍摄的图像,和/或可移动平台上的第二拍摄装置拍摄的图像等过程。
示例性的,头戴式设备包括增强现实(Augmented Reality,AR)眼镜、虚拟现实(Virtual Reality,VR)眼镜、飞行控制眼镜、智能头盔、智能头带等中的至少一种。
示例性的,可移动平台可以包括无人飞行器、无人车、无人船等中的至少一种。进一步而言,无人飞行器可以为旋翼型无人机,例如四旋翼无人机、六旋翼无人机、八旋翼无人机,也可以是固定翼无人机。
进一步而言,头戴式设备和可移动平台通信连接。示例性的,头戴式设备和可移动平台之间通过无线信道传输数据。
示例性的,如图2所示,从可移动平台到头戴式设备的无线信道,称为下行信道,用于传输可移动平台采集到的数据,例如视频、图片、传感器数据、以及可移动平台,如无人机的状态信息(OSD)等遥测数据。
示例性的,如图2所示,从头戴式设备到可移动平台的无线信道,称为上行信道,用于传输遥控数据;例如可移动平台为飞行器时,上行信道用于传输飞控指令以及拍照、录像、返航等控制指令。
在一些实施方式中,如图2所示,头戴式设备和可移动平台可以通过终端设备进行数据传输。示例性的,终端设备包括手机、平板电脑、笔记本电脑、遥控器等中的至少一种,举例而言,可移动平台采集到的数据可以传输给终端设备,终端设备将可移动平台采集到的数据以优先连接方式或无线连接方式发送给头戴式设备;以及头戴式设备的数据可以发送给终端设备,由终端设备将头戴式设备的数据发送给可移动平台。
如图1所示,本申请实施例的可移动平台的控制方法包括步骤S110至步骤S130。
S110、在所述头戴式设备的显示装置上显示第一图像和/或第二图像,所述第一图像是所述头戴式设备上的第一拍摄装置拍摄的图像,所述第二图像是所述可移动平台上的第二拍摄装置拍摄的图像。
请参阅图2,头戴式设备上搭载第一拍摄装置11,第一拍摄装置11能够拍摄头戴式设备前方一定范围内的图像,第一拍摄装置11拍摄的图像可以称为第一图像;可移动平台上搭载第二拍摄装置12,示例性的,第二拍摄装置12通过云台搭载在可移动平台上,可以通过调整云台的姿态,调整第二拍摄装置12的姿态,以调整第二拍摄装置12的朝向,第二拍摄装置12拍摄的图像可以称为第二图像。
示例性的,头戴式设备的显示装置包括一个或多个显示屏,例如包括左目显示屏和右目显示屏。示例性的,左目显示屏和右目显示屏是具有显示功能的显示器,其具体的形状和结构并不限定,例如左目显示屏和右目显示屏可以为LCD显示屏(液晶显示屏),或者,OLED显示屏(有机发光显示屏),当然,左目显示屏和右目显示屏的具体类型也可以为其他类型,并且左目显示屏与右目显示屏两者的类型也可以互不相同。左目显示屏与右目显示屏内所显示的画面各自经过对应的光学镜片的反射后进入人眼中,使得用户能够观看到左目显示屏和右目显示屏中的画面内容,例如,左眼看到左目显示屏上显示的内容,右眼看到右目显示屏上显示的内容,由于两眼视差,可以产生3D的感觉。
在一些实施方式中,可以根据所述可移动平台的工作状态,在所述头戴式设备的显示装置上显示第一图像和/或第二图像。
示例性的,所述可移动平台的工作状态包括以下至少一种:静止状态、启动状态、巡航状态、返航状态。
示例性的,可以根据所述第一图像、所述第二图像、所述可移动平台上的传感器采集的传感器数据中的至少一种,确定所述可移动平台的工作状态。例如根据所述第一图像中可移动平台的区域确定所述可移动平台的工作状态,根据所述第二图像中物体的位置变化确定所述可移动平台的工作状态,或者可以根据所述可移动平台上的位姿传感器采集的数据确定所述可移动平台的工作状态,位姿传感器可以包括但不限于如下至少一种:惯性测量单元IMU与视觉里程计。
举例而言,以可移动平台包括无人飞行器为例,静止状态为无人飞行器未起飞时的状态,例如在静止状态时无人飞行器的用于驱动桨叶转动的电机未解锁;启动状态为无人飞行器起飞,且未进行水平方向上的飞行,或者在水平方向上的移动距离较小时的状态,例如在启动状态时,无人飞行器在垂直方向上向上运动至预设高度;巡航状态为无人飞行器进行水平方向上的飞行时的状态,例如在巡航状态时无人飞行器较起飞点或降落点的距离较远;返航状态为无人飞行器飞回起飞点或者向降落点飞行时的状态,例如在返航状态时无人飞行器较起飞点或降落点的距离较近,如十米内。
举例而言,可移动平台在巡航状态时,与头戴式设备之间的距离大于或等于预设的距离阈值;在静止状态、启动状态或返航状态时,与头戴式设备之间的距离小于所述距离阈值。其中,预设的距离阈值可以为10米,当然也不限于此。
示例性的,当所述可移动平台处于静止状态时,在所述显示装置上显示所述第一图像;和/或当所述可移动平台处于启动状态时,在所述显示装置上显示所述第二图像。
示例性的,请参阅图3(图3中的矩形框表示显示装置的显示界面),可移动平台处于静止状态时,头戴式设备默认显示第一图像,用户可以对自身周边的环境做安全排查,便于用户对外部环境进行观察,增加安全感和便捷性。 例如便于用户了解无人飞行器与自己或其他物体之间的位置关系等,以调整无人飞行器或者其他物体的摆放位置,或者提醒路人注意避让。示例性的,用户可以调整头戴式设备的姿态,如低头,使得第一拍摄装置能够拍摄到用户手持的遥控器,以便用户通过第一图像了解遥控器是否准确佩戴。
示例性的,在检测到起飞指令,无人飞行器上用于驱动桨叶的电机解锁时,可移动平台处于启动状态。
示例性的,请参阅图4(图4中的矩形框表示显示装置的显示界面),可移动平台处于启动状态时,自动切换至在显示装置上显示所述第二图像,如切换至飞行器视角。举例而言,通过显示第二图像,可以便于用户判断无人飞行器的状态,如飞行是否平稳,第二拍摄装置拍摄的画面是否存在抖动等;示例性的,通过显示第二图像还可以便于用户观察无人飞行器附近是否有障碍物以及与障碍物之间的位置关系,例如当判断无人飞行器的前方有障碍物时,可以控制无人飞行器继续上升高度或向左/向右移动,以在飞行时规避障碍物。
在一些实施方式中,所述控制方法还包括:根据用户的控制操作发送控制指令给所述可移动平台。
示例性的,所述用户的控制操作包括头戴式设备检测到的控制操作和/或遥控器等终端设备检测到的控制操作。举例而言,用户的控制操作包括手势控制操作、语音控制操作、操作件控制操作中的至少一项,当然也不限于此。其中操作件例如包括头戴式设备或终端设备上的实体按键或虚拟按键、拨杆等中的至少一项。
具体的,可以通过在所述头戴式设备的显示装置上显示第一图像和/或第二图像,以及根据用户的控制操作发送控制指令给所述可移动平台,便于用户在了解自身附近和/或可移动平台附近范围内的环境时,通过控制操作控制可移动平台执行调整位姿等任务,提高用户的安全感,实现可移动平台的安全控制。
S120、当由在所述显示装置上显示所述第二图像切换至显示所述第一图像时,发送安全操作指令给所述可移动平台,以使所述可移动平台执行对应的安全操作。
在一些实施方式中,发送安全操作指令给所述可移动平台,以使所述可移动平台维持位置不变、降落或返航。
示例性的,当所述可移动平台处于巡航状态或返航状态,且由在所述显示装置上显示所述第二图像切换至显示所述第一图像时,发送安全操作指令给所述可移动平台,以使所述可移动平台执行对应的安全操作。
在头戴式设备的显示装置切换至显示第一图像时,通过使可移动平台执行对应的安全操作,如维持位姿不变或控制无人飞行器刹停,可以防止可移动平台继续运动造成损失,还便于再次切换至显示第二图像时,用户可以快速了解可移动平台的位姿和可移动平台附近的环境,便于继续控制可移动平台移动。
在一些实施方式中,所述在所述头戴式设备的显示装置上显示第一图像和/或第二图像,包括:根据用户的视角切换操作,由在所述显示装置上显示所述第二图像切换至显示所述第一图像,或者由在所述显示装置上显示所述第一图像切换至显示所述第二图像。
示例性的,所述视角切换操作包括以下至少一种:预设的头部姿势调整、对预设操作件的操作、预设的手势、预设的语音。示例性的,头戴式设备可以检测用户的头部姿势,可以将头部姿势的变化映射为视角切换操作,例如低头可以触发视角切换,例如由在所述显示装置上显示所述第二图像切换至显示所述第一图像。示例性的,头戴式设备和/或遥控器等终端设备上设有操作件,当检测到用户操作预设的操作件时,确定检测到视角切换操作。示例性的,可以根据头戴式设备的第一图像检测第一图像中是否有预设的手势,如物质伸开,当检测到预设的手势时,确定检测到视角切换操作。示例性的,头戴式设备和/或遥控器等终端设备上设有麦克风,可以采集声音,通过检测采集的声音中是否有预设的语音判断是否检测到视角切换操作。
示例性的,当所述可移动平台处于启动状态、巡航状态或返航状态时,根据用户的视角切换操作,由在所述显示装置上显示所述第二图像切换至显示所述第一图像,或者由在所述显示装置上显示所述第一图像切换至显示所述第二图像。示例性的,当所述可移动平台处于启动状态时,根据用户的视角切换操作,切换显示所述第二图像或所述第一图像,可以便于用户充分了解自身附近的环境或无人飞行器视角下的环境,增加用户的安全感和提升对可移动平台操作的安全性。
举例而言,当检测到起飞指令时,无人飞行器的电机解锁,头戴式设备自 动切换至飞行器视角,显示第二图像,以便用户判断无人飞行器的状态。在未推油门杆控制无人飞行器进行水平方向上的飞行之前,可以在用户低头时再次触发视角切换,如切换至第一图像,便于用户再次观察无人飞行器做第三视角起飞。
示例性的,当所述可移动平台处于巡航状态或返航状态时,根据用户的视角切换操作,切换显示所述第二图像或所述第一图像,可以便于用户充分了解自身附近的环境或无人飞行器视角下的环境,增加用户的安全感和提升对可移动平台操作的安全性。举例而言,用户摇头可以触发显示装置显示第一图像,再次摇头则切换回显示第二图像,即切换回飞行器视角。
在一些实施方式中,所述在所述头戴式设备的显示装置上显示第一图像和/或第二图像,包括:当所述可移动平台处于巡航状态或返航状态时,根据所述可移动平台与所述头戴式设备之间的距离,在所述显示装置上显示第一图像和/或第二图像。通过根据可移动平台与所述头戴式设备之间的距离,显示第一图像和/或第二图像,便于用户对无人飞行器进行控制,以及了解自身附近和/或无人机附近的环境,提高安全性和安全感。
示例性的,当所述可移动平台处于巡航状态或返航状态,且与所述头戴式设备之间的距离大于第一距离阈值时,显示所述第二图像;和/或当所述可移动平台处于巡航状态或返航状态,且与所述头戴式设备之间距离小于所述第一距离阈值时,显示所述第一图像。
举例而言,当无人飞行器与所述头戴式设备之间的距离大于第一距离阈值时,处于视距范围外,通过显示无人飞行器上的拍摄装置拍摄的第二图像,使得用户可以以无人飞行器的第一视角体验沉浸式的飞行。示例性的,第一距离阈值可以为10米,当然也不限于此。
举例而言,当无人飞行器与所述头戴式设备之间的距离小第一距离阈值时,处于视距范围内时,通过显示头戴式显示设备的拍摄装置拍摄的第一图像,便于用户了解自身附近的环境,和与无人飞行器之间的位置关系,例如可以及时调整无人飞行器的飞行方向、速度等,防止无人飞行器碰到障碍物,甚至伤人。
示例性的,在无人飞行器返航至距离头戴式设备小于10米时,头戴式设备显示第一图像,即切换至第三视角,便于用户观察周边环境,确认安全后,可 以控制无人飞行器安全降落。
在一些实施方式中,所述在所述头戴式设备的显示装置上显示第一图像和/或第二图像,包括:检测所述第一图像中是否存在预设目标区域,所述预设目标区域用于指示所述第一拍摄装置的视野内的目标对象;当所述可移动平台处于巡航状态或返航状态时,根据所述第一图像中是否存在预设目标区域的检测结果,由在所述显示装置上显示所述第二图像切换至显示所述第一图像。
举例而言,所述目标对象包括一下至少一种:行人、动物、车辆、树木、栏杆、楼梯、斜坡。可以理解的,目标对象为对用户移动造成障碍或安全威胁的对象,可以包括动态移动的对象,也可以包括固定不动的对象。
请参阅图5(图5中的矩形框表示显示装置的显示界面),在距离用户L2的位置有人经过,则在头戴式设备拍摄的第一图像中检测到预设目标区域。
在一些实施方式中,所述在所述头戴式设备的显示装置上显示第一图像和/或第二图像,包括:当所述可移动平台处于巡航状态或返航状态,且与所述头戴式设备之间的距离大于第一距离阈值,以及未检测到所述第一图像中存在预设目标区域时,在所述显示装置上显示所述第二图像。举例而言,当未检测到所述第一图像中存在所述预设目标区域时,可以判定至少在用户的前方没有障碍或安全威胁,可以不显示第一图像;通过显示无人飞行器拍摄的第二图像,便于用户以无人飞行器的第一视角体验沉浸式的飞行。
示例性的,当检测到所述第一图像中存在所述预设目标区域时,由在所述显示装置上显示所述第二图像切换至显示所述第一图像。示性的,当在所述显示装置上显示所述第二图像,且检测到所述第一图像中存在所述预设目标区域时,在所述显示装置上至少显示所述第一图像或所述预设目标区域。
请参阅图5,无人飞行器与头戴式设备之间的距离L1大于第一距离阈值,头戴式设备的显示装置显示第二图像(包括树木),使得用户可以以无人飞行器的第一视角体验沉浸式的飞行;在距离用户L2的位置有行人经过时,则在头戴式设备的显示装置上至少显示预设目标区域,该预设目标区域指示所述第一拍摄装置的视野内的行人。举例而言,当检测到所述第一图像中存在所述预设目标区域时,可以判定在用户的前方有障碍或安全威胁,通过在显示装置上显示所述第一图像或所述预设目标区域,提示用户有障碍或安全威胁,例如用户 可以不向前移动,防止碰到障碍。
示例性的,当检测到所述第一图像中存在所述预设目标区域,且所述预设目标区域指示的目标对象与所述头戴式设备之间的距离小于第二距离阈值时,由在所述显示装置上显示所述第二图像切换至显示所述第一图像。举例而言,目标对象与用户之间的距离小于所述第二距离阈值时,可以判定目标对象会对用户的移动造成障碍或安全威胁,通过切换至显示第一图像,提示用户避开障碍或安全威胁。
示例性的,当所述预设目标区域指示的目标对象与所述头戴式设备之间的距离大于或等于第二距离阈值时,在所述显示装置上显示所述第二图像,以及所述第一图像或者所述预设目标区域。举例而言,目标对象与用户之间的距离大于或等于所述第二距离阈值时,可以判定虽然用户前方有目标对象,但是目标对象不足以影响用户的移动,可以继续在显示装置上显示第二图像,便于用户以无人飞行器的第一视角体验沉浸式的飞行,以及同时显示第一图像或者所述预设目标区域,便于用户了解附近的目标对象与自己的位置关系。可以理解的,第二距离阈值可以称为安全距离,例如为2米,当然也不限于此。
举例而言,当所述预设目标区域指示的目标对象与所述头戴式设备之间的距离大于或等于第三距离阈值时,在所述显示装置上显示所述第二图像。当所述预设目标区域指示的目标对象与所述头戴式设备之间的距离大于或等于第二距离阈值,且小于第三距离阈值时,在所述显示装置上显示所述第二图像,以及所述第一图像或者所述预设目标区域。其中,所述第三距离阈值大于所述第二距离阈值。当目标对象与用户的距离大于第三距离阈值时,距离过远,不显示第一图像,防止对用户体验沉浸式的飞行造成干扰。
示例性的,所述控制方法还包括:当检测到所述第一图像中存在所述预设目标区域,且所述预设目标区域指示的目标对象与所述头戴式设备之间的距离大于或等于第三距离阈值时,输出提示信息,所述提示信息包括以下至少一种形式的信息:文字、声音、振动,提示用户前方较远处存在目标对象。
在一些实施方式中,当在所述显示装置上显示所述第二图像时,根据所述可移动平台与所述头戴式设备之间的距离、所述第一图像中是否存在预设目标区域的检测结果、所述预设目标区域指示的目标对象与所述头戴式设备之间的 距离中的至少一项,输出提示信息,以便用户根据所述提示信息进行视角切换操作;当检测到用户的视角切换操作时,由在所述显示装置上显示所述第二图像切换至显示所述第一图像。
示例性的,当所述可移动平台处于巡航状态或返航状态,且与所述头戴式设备之间的距离大于第一距离阈值时,输出提示信息给用户确认是否切换至显示所述第一图像。
示例性的,当在所述显示装置上显示所述第二图像,且检测到所述第一图像中存在所述预设目标区域时,输出提示信息给用户确认是否切换至显示所述第一图像。
示例性的,当在所述显示装置上显示所述第二图像,检测到所述第一图像中存在所述预设目标区域,且所述预设目标区域指示的目标对象与所述头戴式设备之间的距离大于或等于第三距离阈值时,输出提示信息给用户确认是否切换至显示所述第一图像。
本申请实施例提供的可移动平台的控制方法,包括:在头戴式设备的显示装置上显示第一图像和/或第二图像,第一图像是头戴式设备上的第一拍摄装置拍摄的图像,第二图像是可移动平台上的第二拍摄装置拍摄的图像;当由在显示装置上显示第二图像切换至显示第一图像时,发送安全操作指令给可移动平台,以使可移动平台执行对应的安全操作。通过在头戴式设备的显示装置上显示第一图像和/或第二图像,便于用户在了解自身附近和/或可移动平台附近范围内的环境时,通过控制操作控制可移动平台执行调整位姿等任务,提高用户的安全感;而且在切换至显示第一图像时控制可移动平台执行对应的安全操作,提高可移动平台的安全性。
结合前述实施例参阅图6,图6是本申请另一实施例提供的一种可移动平台的控制方法的流程示意图。如图6所示,本申请实施例的可移动平台的控制方法包括步骤S210至步骤S230。
S210、获取所述可移动平台的工作状态。
示例性的,所述可移动平台的工作状态包括以下至少一种:静止状态、启动状态、巡航状态、返航状态。
举例而言,以可移动平台包括无人飞行器为例,静止状态为无人飞行器未 起飞时的状态,例如在静止状态时无人飞行器的用于驱动桨叶转动的电机未解锁;启动状态为无人飞行器起飞,且未进行水平方向上的飞行,或者在水平方向上的移动距离较小时的状态,例如在启动状态时,无人飞行器在垂直方向上向上运动至预设高度;巡航状态为无人飞行器进行水平方向上的飞行时的状态,例如在巡航状态时无人飞行器较起飞点或降落点的距离较远;返航状态为无人飞行器飞回起飞点或者向降落点飞行时的状态,例如在返航状态时无人飞行器较起飞点或降落点的距离较近,如十米内。
举例而言,可移动平台在巡航状态时,与头戴式设备之间的距离大于或等于预设的距离阈值;在静止状态、启动状态或返航状态时,与头戴式设备之间的距离小于所述距离阈值。其中,预设的距离阈值可以为10米,当然也不限于此。
S220、根据所述可移动平台的工作状态,在所述头戴式设备的显示装置上显示第一图像和/或第二图像,所述第一图像是所述头戴式设备上的第一拍摄装置拍摄的图像,所述第二图像是所述可移动平台上的第二拍摄装置拍摄的图像。
请参阅图2,头戴式设备上搭载第一拍摄装置11,第一拍摄装置11能够拍摄头戴式设备前方一定范围内的图像,第一拍摄装置11拍摄的图像可以称为第一图像;可移动平台上搭载第二拍摄装置12,示例性的,第二拍摄装置12通过云台搭载在可移动平台上,可以通过调整云台的姿态,调整第二拍摄装置12的姿态,以调整第二拍摄装置12的朝向,第二拍摄装置12拍摄的图像可以称为第二图像。
示例性的,头戴式设备的显示装置包括一个或多个显示屏,例如包括左目显示屏和右目显示屏。示例性的,左目显示屏和右目显示屏是具有显示功能的显示器,其具体的形状和结构并不限定,例如左目显示屏和右目显示屏可以为LCD显示屏(液晶显示屏),或者,OLED显示屏(有机发光显示屏),当然,左目显示屏和右目显示屏的具体类型也可以为其他类型,并且左目显示屏与右目显示屏两者的类型也可以互不相同。左目显示屏与右目显示屏内所显示的画面各自经过对应的光学镜片的反射后进入人眼中,使得用户能够观看到左目显示屏和右目显示屏中的画面内容,例如,左眼看到左目显示屏上显示的内容,右眼看到右目显示屏上显示的内容,由于两眼视差,可以产生3D的感觉。
在一些实施方式中,所述根据所述可移动平台的工作状态,在所述头戴式设备的显示装置上显示第一图像和/或第二图像,包括以下至少一项:当所述可移动平台处于静止状态时,在所述显示装置上显示所述第一图像;当所述可移动平台处于启动状态时,在所述显示装置上显示所述第二图像。
示例性的,请参阅图3(图3中的矩形框表示显示装置的显示界面),可移动平台处于静止状态时,头戴式设备默认显示第一图像,用户可以对自身周边的环境做安全排查,便于用户对外部环境进行观察,增加安全感和便捷性。例如便于用户了解无人飞行器与自己或其他物体之间的位置关系等,以调整无人飞行器或者其他物体的摆放位置,或者提醒路人注意避让。示例性的,用户可以调整头戴式设备的姿态,如低头,使得第一拍摄装置能够拍摄到用户手持的遥控器,以便用户通过第一图像了解遥控器是否准确佩戴。
示例性的,在检测到起飞指令,无人飞行器上用于驱动桨叶的电机解锁时,可移动平台处于启动状态。
示例性的,请参阅图4(图4中的矩形框表示显示装置的显示界面),可移动平台处于启动状态时,自动切换至在显示装置上显示所述第二图像,如切换至飞行器视角。举例而言,通过显示第二图像,可以便于用户判断无人飞行器的状态,如飞行是否平稳,第二拍摄装置拍摄的画面是否存在抖动等;示例性的,通过显示第二图像还可以便于用户观察无人飞行器附近是否有障碍物以及与障碍物之间的位置关系,例如当判断无人飞行器的前方有障碍物时,可以控制无人飞行器继续上升高度或向左/向右移动,以在飞行时规避障碍物。
在一些实施方式中,所述根据所述可移动平台的工作状态,在所述头戴式设备的显示装置上显示第一图像和/或第二图像,还包括:当所述可移动平台处于启动状态时,根据用户的视角切换操作,由在所述显示装置上显示所述第二图像切换至显示所述第一图像,或者由在所述显示装置上显示所述第一图像切换至显示所述第二图像。
在一些实施方式中,所述视角切换操作包括以下至少一种:预设的头部姿势调整、对预设操作件的操作、预设的手势、预设的语音。示例性的,头戴式设备可以检测用户的头部姿势,可以将头部姿势的变化映射为视角切换操作,例如低头可以触发视角切换,例如由在所述显示装置上显示所述第二图像切换 至显示所述第一图像。示例性的,头戴式设备和/或遥控器等终端设备上设有操作件,当检测到用户操作预设的操作件时,确定检测到视角切换操作。示例性的,可以根据头戴式设备的第一图像检测第一图像中是否有预设的手势,如物质伸开,当检测到预设的手势时,确定检测到视角切换操作。示例性的,头戴式设备和/或遥控器等终端设备上设有麦克风,可以采集声音,通过检测采集的声音中是否有预设的语音判断是否检测到视角切换操作。
示例性的,当所述可移动平台处于启动状态时,根据用户的视角切换操作,切换显示所述第二图像或所述第一图像,可以便于用户充分了解自身附近的环境或无人飞行器视角下的环境,增加用户的安全感和提升对可移动平台操作的安全性。
举例而言,当检测到起飞指令时,无人飞行器的电机解锁,头戴式设备自动切换至飞行器视角,显示第二图像,以便用户判断无人飞行器的状态。在未推油门杆控制无人飞行器进行水平方向上的飞行之前,可以在用户低头时再次触发视角切换,如切换至第一图像,便于用户再次观察无人飞行器做第三视角起飞。
在一些实施方式中,所述根据所述可移动平台的工作状态,在所述头戴式设备的显示装置上显示第一图像和/或第二图像,包括:当所述可移动平台处于巡航状态或返航状态时,根据所述可移动平台与所述头戴式设备之间的距离,在所述显示装置上显示第一图像和/或第二图像。通过根据可移动平台与所述头戴式设备之间的距离,显示第一图像和/或第二图像,便于用户对无人飞行器进行控制,以及了解自身附近和/或无人机附近的环境,提高安全性和安全感。
示例性的,当所述可移动平台处于巡航状态或返航状态,且与所述头戴式设备之间的距离大于第一距离阈值时,显示所述第二图像;和/或当所述可移动平台处于巡航状态或返航状态,且与所述头戴式设备之间距离小于所述第一距离阈值时,显示所述第一图像。
举例而言,当无人飞行器与所述头戴式设备之间的距离大于第一距离阈值时,处于视距范围外,通过显示无人飞行器上的拍摄装置拍摄的第二图像,使得用户可以以无人飞行器的第一视角体验沉浸式的飞行。示例性的,第一距离阈值可以为10米,当然也不限于此。
举例而言,当无人飞行器与所述头戴式设备之间的距离小第一距离阈值时,处于视距范围内时,通过显示头戴式显示设备的拍摄装置拍摄的第一图像,便于用户了解自身附近的环境,和与无人飞行器之间的位置关系,例如可以及时调整无人飞行器的飞行方向、速度等,防止无人飞行器碰到障碍物,甚至伤人。
示例性的,在无人飞行器返航至距离头戴式设备小于10米时,头戴式设备显示第一图像,即切换至第三视角,便于用户观察周边环境,确认安全后,可以控制无人飞行器安全降落。
示例性的,所述根据所述可移动平台的工作状态,在所述显示装置上显示第一图像和/或第二图像,还包括:当所述可移动平台处于巡航状态或返航状态时,根据用户的视角切换操作,由在所述显示装置上显示所述第二图像切换至显示所述第一图像,或者由在所述显示装置上显示所述第一图像切换至显示所述第二图像。
示例性的,当所述可移动平台处于巡航状态或返航状态时,根据用户的视角切换操作,切换显示所述第二图像或所述第一图像,可以便于用户充分了解自身附近的环境或无人飞行器视角下的环境,增加用户的安全感和提升对可移动平台操作的安全性。举例而言,用户摇头可以触发显示装置显示第一图像,再次摇头则切换回显示第二图像,即切换回飞行器视角。
示例性的,所述控制方法还包括:当所述可移动平台处于巡航状态或返航状态,且根据用户的视角切换操作由在所述显示装置上显示所述第二图像切换至显示所述第一图像时,发送位置保持指令给所述可移动平台,以使所述可移动平台维持位置不变。在头戴式设备的显示装置切换至显示第一图像时,通过使可移动平台维持不变,如控制无人飞行器刹停,可以防止可移动平台继续运动造成损失,还便于再次切换至显示第二图像时,用户可以快速了解可移动平台的位姿和可移动平台附近的环境,便于继续控制可移动平台移动。
S230、根据用户的控制操作发送控制指令给所述可移动平台。
示例性的,所述用户的控制操作包括头戴式设备检测到的控制操作和/或遥控器等终端设备检测到的控制操作。举例而言,用户的控制操作包括手势控制操作、语音控制操作、操作件控制操作中的至少一项,当然也不限于此。其中操作件例如包括头戴式设备或终端设备上的实体按键或虚拟按键、拨杆等中的 至少一项。
具体的,可以通过在所述头戴式设备的显示装置上显示第一图像和/或第二图像,以及根据用户的控制操作发送控制指令给所述可移动平台,便于用户在了解自身附近和/或可移动平台附近范围内的环境时,通过控制操作控制可移动平台执行调整位姿等任务,提高用户的安全感,实现可移动平台的安全控制。
在一些实施方式中,所述控制方法还包括:检测所述第一图像中是否存在预设目标区域,所述预设目标区域用于指示所述第一拍摄装置的视野内的目标对象。
举例而言,所述目标对象包括一下至少一种:行人、动物、车辆、树木、栏杆、楼梯、斜坡。可以理解的,目标对象为对用户移动造成障碍或安全威胁的对象,可以包括动态移动的对象,也可以包括固定不动的对象。
请参阅图5(图5中的矩形框表示显示装置的显示界面),在距离用户L2的位置有人经过,则在头戴式设备拍摄的第一图像中检测到预设目标区域。
示例性的,所述根据所述可移动平台的工作状态,在所述显示装置上显示第一图像和/或第二图像,包括:当所述可移动平台处于巡航状态或返航状态时,根据所述第一图像中是否存在预设目标区域的检测结果,在所述显示装置上显示第一图像和/或第二图像。
示例性的,当所述可移动平台处于巡航状态或返航状态,且与所述头戴式设备之间的距离大于第一距离阈值,以及未检测到所述第一图像中存在所述预设目标区域时,在所述显示装置上显示所述第二图像。举例而言,当未检测到所述第一图像中存在所述预设目标区域时,可以判定至少在用户的前方没有障碍或安全威胁,可以不显示第一图像;通过显示无人飞行器拍摄的第二图像,便于用户以无人飞行器的第一视角体验沉浸式的飞行。
示例性的,当在所述显示装置上显示所述第二图像,且检测到所述第一图像中存在所述预设目标区域时,在所述显示装置上至少显示所述第一图像或所述预设目标区域。请参阅图5,无人飞行器与头戴式设备之间的距离L1大于第一距离阈值,头戴式设备的显示装置显示第二图像(包括树木),使得用户可以以无人飞行器的第一视角体验沉浸式的飞行;在距离用户L2的位置有行人经过时,则在头戴式设备的显示装置上至少显示预设目标区域,该预设目标区域 指示所述第一拍摄装置的视野内的行人。举例而言,当检测到所述第一图像中存在所述预设目标区域时,可以判定在用户的前方有障碍或安全威胁,通过在显示装置上显示所述第一图像或所述预设目标区域,提示用户有障碍或安全威胁,例如用户可以不向前移动,防止碰到障碍。
举例而言,当在所述显示装置上显示所述第二图像,且检测到所述第一图像中存在所述预设目标区域,在所述显示装置上显示所述第二图像,以及所述第一图像或者所述预设目标区域。请参阅图5,在头戴式设备的显示装置上显示无人飞行器上的拍摄装置拍摄的树木,以及显示头戴式设备的拍摄装置拍摄的行人。在检测到第一图像中存在所述预设目标区域时,同时显示第二图像以及第一图像或所述预设目标区域,便于用户同时以无人飞行器的第一视角体验沉浸式的飞行,以及了解附近的目标对象是否为障碍或存在安全威胁。
在一些实施方式中,所述在所述显示装置上显示所述第二图像,以及所述第一图像或者所述预设目标区域,包括:当所述预设目标区域指示的目标对象与所述头戴式设备之间的距离大于或等于第二距离阈值时,在所述显示装置上显示所述第二图像,以及所述第一图像或者所述预设目标区域。
举例而言,目标对象与用户之间的距离大于或等于所述第二距离阈值时,可以判定虽然用户前方有目标对象,但是目标对象不足以影响用户的移动,可以继续在显示装置上显示第二图像,便于用户以无人飞行器的第一视角体验沉浸式的飞行,以及同时显示第一图像或者所述预设目标区域,便于用户了解附近的目标对象与自己的位置关系。可以理解的,第二距离阈值可以称为安全距离,例如为2米,当然也不限于此。
举例而言,当所述预设目标区域指示的目标对象与所述头戴式设备之间的距离大于或等于第三距离阈值时,在所述显示装置上显示所述第二图像。当所述预设目标区域指示的目标对象与所述头戴式设备之间的距离大于或等于第二距离阈值,且小于第三距离阈值时,在所述显示装置上显示所述第二图像,以及所述第一图像或者所述预设目标区域。其中,所述第三距离阈值大于所述第二距离阈值。当目标对象与用户的距离大于第三距离阈值时,距离过远,不显示第一图像,防止对用户体验沉浸式的飞行造成干扰。
示例性的,所述控制方法还包括:当检测到所述第一图像中存在所述预设 目标区域,且所述预设目标区域指示的目标对象与所述头戴式设备之间的距离大于或等于第三距离阈值时,输出提示信息,所述提示信息包括以下至少一种形式的信息:文字、声音、振动。提示用户前方较远处存在目标对象。
在一些实施方式中,所述在所述显示装置上显示所述第二图像,以及所述第一图像或者所述预设目标区域,包括:调整所述第一图像或者所述预设目标区域的透明度,在所述显示装置上显示所述第二图像,以及在所述第二图像上叠加显示调整透明度后的第一图像或调整透明度后的预设目标区域。通过将透明度后的第一图像或预设目标区域叠加在第二图像上,以降低对用户体验沉浸式的飞行造成的干扰。
示例性的,在调整所述第一图像或者所述预设目标区域的透明度时,调整后的透明度和所述预设目标区域指示的目标对象与所述头戴式设备之间的距离负相关。图像的透明度可以用Alpha通道(αChannel)的值指示,透明度越小则图像越透明,例如当透明度的范围是0至255时,透明度为255对应于不透明,透明度为0对应于全透明。举例而言,目标对象与所述头戴式设备之间的距离越小,显示的第一图像越不透明,即越明显,以提高对用户的提示作用。
在一些实施方式中,所述在所述显示装置上显示所述第二图像,以及所述第一图像或者所述预设目标区域,包括:在所述显示装置上显示所述第二图像,以及在所述第二图像上叠加显示所述预设目标区域。通过在第二图像的部分区域上叠加显示目标对象对应的预设目标区域,便于用户同时以无人飞行器的第一视角体验沉浸式的飞行,以及了解附近的目标对象是否为障碍或存在安全威胁。示例性的,所述预设目标区域在所述第二图像上叠加的位置与所述预设目标区域在所述第一图像上的位置相同,以便用户了解目标对象与自身的位置关系。
在一些实施方式中,所述在所述显示装置上显示所述第二图像,以及所述第一图像或者所述预设目标区域,包括:在所述显示装置的不同显示区域分别显示所述第一图像和所述第二图像。便于用户同时以无人飞行器的第一视角体验沉浸式的飞行,以及了解附近的目标对象是否为障碍或存在安全威胁。
示例性的,在所述显示装置的不同显示区域分别显示所述第一图像和所述第二图像时,所述第一图像的显示区域的大小和所述预设目标区域指示的目标 对象与所述头戴式设备之间的距离负相关。举例而言,目标对象与所述头戴式设备之间的距离越小,第一图像的显示区域越大,即越明显,以提高对用户的提示作用。
在一些实施方式中,所述在所述显示装置上显示所述第二图像,以及所述第一图像或者所述预设目标区域,包括:当在所述显示装置上显示所述第二图像,且检测到所述第一图像中存在所述预设目标区域,以及所述预设目标区域指示的目标对象与所述头戴式设备之间的距离小于第二距离阈值时,由在所述显示装置上显示所述第二图像切换至显示所述第一图像。
举例而言,目标对象与用户之间的距离小于所述第二距离阈值时,可以判定目标对象会对用户的移动造成障碍或安全威胁,通过切换至显示第一图像,提示用户避开障碍或安全威胁。
示例性的,所述控制方法还包括:当所述可移动平台处于巡航状态或返航状态,且根据所述第一图像中是否存在预设目标区域的检测结果,由在所述显示装置上显示所述第二图像切换至显示所述第一图像时,发送位置保持指令给所述可移动平台,以使所述可移动平台维持位置不变。在头戴式设备的显示装置切换至显示第一图像时,通过使可移动平台维持不变,如控制无人飞行器刹停,可以防止可移动平台继续运动造成损失,还便于再次切换至显示第二图像时,用户可以快速了解可移动平台的位姿和可移动平台附近的环境,便于继续控制可移动平台移动。
示例性的,在目标对象与头戴式设备之间的距离较远(如大于或等于第三距离阈值)时,通过蜂鸣器提示用户注意前方较远处有目标对象;在目标对象与头戴式设备的距离逐渐靠近的过程中,调整所述第一图像或者所述预设目标区域的透明度和所述预设目标区域指示的目标对象与所述头戴式设备之间的距离负相关,以逐渐加强对用户的提示;在目标对象与头戴式设备的距离较近(如小于或等于第二距离阈值)时,完全切换至显示第一图像,防止用户碰到目标对象,通知可以刹停无人飞行器;例如可以实现防护系统的分等级告示警报。
本申请实施例提供的可移动平台的控制方法,包括:获取所述可移动平台的工作状态;根据所述可移动平台的工作状态,在所述头戴式设备的显示装置上显示第一图像和/或第二图像,所述第一图像是所述头戴式设备上的第一拍摄 装置拍摄的图像,所述第二图像是所述可移动平台上的第二拍摄装置拍摄的图像;根据用户的控制操作发送控制指令给所述可移动平台。通过在所述头戴式设备的显示装置上显示第一图像和/或第二图像,以及根据用户的控制操作发送控制指令给所述可移动平台,便于用户在了解自身附近和/或可移动平台附近范围内的环境时,通过控制操作控制可移动平台执行调整位姿等任务,提高用户的安全感,实现可移动平台的安全控制。
在一些实施方式中,通过在视野较为封闭的头戴式设备上安装摄像头,可以切换视角便于用户对外界环境的观察,以及通过对障碍物距离的自动判断,向用户发出相应的提示。实现头戴式设备,如封闭式眼镜对外观察的便捷性,增加用户安全感;头戴式设备的显示的视角可以与可移动平台的运动状态和/或可移动平台与头戴式设备的距离联动,进行相应的视角自动切换;例如可以解决用户穿戴头戴式设备时无人飞行器起飞降落困难等问题,还可以实现用户周围环境的安全等级动态提醒。
在一些实施方式中,在使用头戴式设备时可以不需要手动设定防护区边界,使用更便捷,灵活性更好;而且可以对动态物体进入做比较好的提醒。
请结合上述实施例参阅图7,图7是本申请实施例提供的头戴式设备600的示意性框图。可选的,头戴式设备600可适用于前述的可移动平台的控制方法。
示例性的,头戴式设备600包括增强现实(Augmented Reality,AR)眼镜、虚拟现实(Virtual Reality,VR)眼镜、飞行控制眼镜、智能头盔、智能头带等中的至少一种。
如图7所示,头戴式设备600包括:
第一拍摄装置610,能够拍摄第一图像;
通信装置620,用于与可移动平台通信连接,以及接收所述可移动平台上的第二拍摄装置拍摄的第二图像;
显示装置630,能够显示所述第一图像和/或所述第二图像。
该头戴式设备600还包括一个或多个处理器601,一个或多个处理器601单独地或共同地工作,用于执行前述的可移动平台的控制方法的步骤。
示例性的,头戴式设备600还包括存储器602。
示例性的,处理器601和存储器602通过总线603连接,该总线603比如为I2C(Inter-integrated Circuit)总线。
具体地,处理器601可以是微控制单元(Micro-controller Unit,MCU)、中央处理单元(Central Processing Unit,CPU)或数字信号处理器(Digital Signal Processor,DSP)等。
具体地,存储器602可以是Flash芯片、只读存储器(ROM,Read-Only Memory)磁盘、光盘、U盘或移动硬盘等。
其中,处理器601用于运行存储在存储器602中的计算机程序,并在执行所述计算机程序时实现前述的可移动平台的控制方法的步骤。
在一些实施方式中,处理器601用于运行存储在存储器602中的计算机程序,并在执行所述计算机程序时实现如下步骤:
在所述头戴式设备的显示装置上显示第一图像和/或第二图像,所述第一图像是所述头戴式设备上的第一拍摄装置拍摄的图像,所述第二图像是所述可移动平台上的第二拍摄装置拍摄的图像;
当由在所述显示装置上显示所述第二图像切换至显示所述第一图像时,发送安全操作指令给所述可移动平台,以使所述可移动平台执行对应的安全操作。
可选的,处理器601执行所述发送安全操作指令给所述可移动平台,以使所述可移动平台执行对应的安全操作时,用于:
发送安全操作指令给所述可移动平台,以使所述可移动平台维持位置不变、降落或返航。
可选的,处理器601执行所述当由在所述显示装置上显示所述第二图像切换至显示所述第一图像时,发送安全操作指令给所述可移动平台时,用于:
当所述可移动平台处于巡航状态或返航状态,且由在所述显示装置上显示所述第二图像切换至显示所述第一图像时,发送安全操作指令给所述可移动平台。
可选的,处理器601执行所述在所述头戴式设备的显示装置上显示第一图像和/或第二图像时,用于:
根据用户的视角切换操作,由在所述显示装置上显示所述第二图像切换至显示所述第一图像,或者由在所述显示装置上显示所述第一图像切换至显示所 述第二图像。
可选的,所述视角切换操作包括以下至少一种:预设的头部姿势调整、对预设操作件的操作、预设的手势、预设的语音。
可选的,处理器601执行所述在所述头戴式设备的显示装置上显示第一图像和/或第二图像时,用于:
当所述可移动平台处于巡航状态或返航状态时,根据所述可移动平台与所述头戴式设备之间的距离,在所述显示装置上显示第一图像和/或第二图像。
可选的,处理器601执行所述当所述可移动平台处于巡航状态或返航状态时,根据所述可移动平台与所述头戴式设备之间的距离,在所述显示装置上显示第一图像和/或第二图像时,用于:
当所述可移动平台处于巡航状态或返航状态,且与所述头戴式设备之间的距离大于第一距离阈值时,显示所述第二图像;和/或
当所述可移动平台处于巡航状态或返航状态,且与所述头戴式设备之间距离小于所述第一距离阈值时,显示所述第一图像。
可选的,处理器601执行所述在所述头戴式设备的显示装置上显示第一图像和/或第二图像时,用于:
检测所述第一图像中是否存在预设目标区域,所述预设目标区域用于指示所述第一拍摄装置的视野内的目标对象;
当所述可移动平台处于巡航状态或返航状态时,根据所述第一图像中是否存在预设目标区域的检测结果,由在所述显示装置上显示所述第二图像切换至显示所述第一图像。
可选的,处理器601执行所述根据所述第一图像中是否存在预设目标区域的检测结果,由在所述显示装置上显示所述第二图像切换至显示所述第一图像时,用于:
当检测到所述第一图像中存在所述预设目标区域时,由在所述显示装置上显示所述第二图像切换至显示所述第一图像。
可选的,处理器601执行所述当检测到所述第一图像中存在所述预设目标区域时,由在所述显示装置上显示所述第二图像切换至显示所述第一图像时,用于:
当检测到所述第一图像中存在所述预设目标区域,且所述预设目标区域指示的目标对象与所述头戴式设备之间的距离小于第二距离阈值时,由在所述显示装置上显示所述第二图像切换至显示所述第一图像。
可选的,处理器601执行所述在所述头戴式设备的显示装置上显示第一图像和/或第二图像时,用于:
当在所述显示装置上显示所述第二图像时,根据所述可移动平台与所述头戴式设备之间的距离、所述第一图像中是否存在预设目标区域的检测结果、所述预设目标区域指示的目标对象与所述头戴式设备之间的距离中的至少一项,输出提示信息,以便用户根据所述提示信息进行视角切换操作;
当检测到用户的视角切换操作时,由在所述显示装置上显示所述第二图像切换至显示所述第一图像。
可选的,处理器601执行所述当在所述显示装置上显示所述第二图像时,根据所述可移动平台与所述头戴式设备之间的距离、所述第一图像中是否存在预设目标区域的检测结果、所述预设目标区域指示的目标对象与所述头戴式设备之间的距离中的至少一项,输出提示信息时,用于:
当在所述显示装置上显示所述第二图像,检测到所述第一图像中存在所述预设目标区域,且所述预设目标区域指示的目标对象与所述头戴式设备之间的距离大于或等于第三距离阈值时,输出提示信息。
可选的,处理器601执行所述在所述头戴式设备的显示装置上显示第一图像和/或第二图像时,用于:
当所述可移动平台处于巡航状态或返航状态,且与所述头戴式设备之间的距离大于第一距离阈值,以及未检测到所述第一图像中存在预设目标区域时,在所述显示装置上显示所述第二图像。
可选的,处理器601还用于执行:
根据所述第一图像、所述第二图像、所述可移动平台上的传感器采集的传感器数据中的至少一种,确定所述可移动平台的工作状态。
在一些实施方式中,处理器601用于运行存储在存储器602中的计算机程序,并在执行所述计算机程序时实现如下步骤:
获取所述可移动平台的工作状态;
根据所述可移动平台的工作状态,在所述头戴式设备的显示装置上显示所述第一图像和/或所述第二图像;
根据用户的控制操作发送控制指令给所述可移动平台。例如通过通信装置620发送控制指令给所述可移动平台。或者可以将发送控制指令给遥控器等终端设备,由终端设备发送给可移动平台。
可选的,处理器601执行所述根据所述可移动平台的工作状态,在所述显示装置上显示第一图像和/或第二图像时,用于:当所述可移动平台处于静止状态时,在所述显示装置上显示所述第一图像。
可选的,处理器601执行所述根据所述可移动平台的工作状态,在所述显示装置上显示第一图像和/或第二图像时,用于:当所述可移动平台处于启动状态时,在所述显示装置上显示所述第二图像。
可选的,处理器601执行所述根据所述可移动平台的工作状态,在所述显示装置上显示第一图像和/或第二图像时,还用于执行:当所述可移动平台处于启动状态时,根据用户的视角切换操作,由在所述显示装置上显示所述第二图像切换至显示所述第一图像,或者由在所述显示装置上显示所述第一图像切换至显示所述第二图像。
可选的,处理器601执行所述根据所述可移动平台的工作状态,在所述显示装置上显示第一图像和/或第二图像时,还用于执行:当所述可移动平台处于巡航状态或返航状态时,根据所述可移动平台与所述头戴式设备之间的距离,在所述显示装置上显示第一图像和/或第二图像。
可选的,处理器601执行所述当所述可移动平台处于巡航状态或返航状态时,根据所述可移动平台与所述头戴式设备之间的距离,在所述显示装置上显示第一图像和/或第二图像时,用于:当所述可移动平台处于巡航状态或返航状态,且与所述头戴式设备之间的距离大于第一距离阈值时,显示所述第二图像;和/或当所述可移动平台处于巡航状态或返航状态,且与所述头戴式设备之间距离小于所述第一距离阈值时,显示所述第一图像。
可选的,处理器601执行所述根据所述可移动平台的工作状态,在所述显示装置上显示第一图像和/或第二图像时,还用于执行:当所述可移动平台处于巡航状态或返航状态时,根据用户的视角切换操作,由在所述显示装置上显示 所述第二图像切换至显示所述第一图像,或者由在所述显示装置上显示所述第一图像切换至显示所述第二图像。
可选的,处理器601还用于执行:当所述可移动平台处于巡航状态或返航状态,且根据用户的视角切换操作由在所述显示装置上显示所述第二图像切换至显示所述第一图像时,发送位置保持指令给所述可移动平台,以使所述可移动平台维持位置不变。
可选的,所述视角切换操作包括以下至少一种:预设的头部姿势调整、对预设操作件的操作、预设的手势、预设的语音。
可选的,处理器601还用于执行:检测所述第一图像中是否存在预设目标区域,所述预设目标区域用于指示所述第一拍摄装置的视野内的目标对象;
处理器601执行所述根据所述可移动平台的工作状态,在所述显示装置上显示第一图像和/或第二图像时,用于:当所述可移动平台处于巡航状态或返航状态时,根据所述第一图像中是否存在预设目标区域的检测结果,在所述显示装置上显示第一图像和/或第二图像。
可选的,处理器601执行所述根据所述第一图像中是否存在预设目标区域的检测结果,在所述显示装置上显示第一图像和/或第二图像时,用于:当在所述显示装置上显示所述第二图像,且检测到所述第一图像中存在所述预设目标区域时,在所述显示装置上至少显示所述第一图像或所述预设目标区域。
可选的,处理器601执行所述当在所述显示装置上显示所述第二图像,且检测到所述第一图像中存在所述预设目标区域时,在所述显示装置上至少显示所述第一图像或所述预设目标区域时,用于:当在所述显示装置上显示所述第二图像,且检测到所述第一图像中存在所述预设目标区域,在所述显示装置上显示所述第二图像,以及所述第一图像或者所述预设目标区域。
可选的,处理器601执行所述在所述显示装置上显示所述第二图像,以及所述第一图像或者所述预设目标区域时,用于:当所述预设目标区域指示的目标对象与所述头戴式设备之间的距离大于或等于第二距离阈值时,在所述显示装置上显示所述第二图像,以及所述第一图像或者所述预设目标区域。
可选的,处理器601执行所述在所述显示装置上显示所述第二图像,以及所述第一图像或者所述预设目标区域时,用于:调整所述第一图像或者所述预 设目标区域的透明度,在所述显示装置上显示所述第二图像,以及在所述第二图像上叠加显示调整透明度后的第一图像或调整透明度后的预设目标区域;或者在所述显示装置上显示所述第二图像,以及在所述第二图像上叠加显示所述预设目标区域;或者在所述显示装置的不同显示区域分别显示所述第一图像和所述第二图像。
可选的,在调整所述第一图像或者所述预设目标区域的透明度时,调整后的透明度和所述预设目标区域指示的目标对象与所述头戴式设备之间的距离负相关;或者在所述显示装置的不同显示区域分别显示所述第一图像和所述第二图像时,所述第一图像的显示区域的大小和所述预设目标区域指示的目标对象与所述头戴式设备之间的距离负相关。
可选的,处理器601执行所述当在所述显示装置上显示所述第二图像,且检测到所述第一图像中存在所述预设目标区域时,在所述显示装置上至少显示所述第一图像或所述预设目标区域时,用于:当在所述显示装置上显示所述第二图像,且检测到所述第一图像中存在所述预设目标区域,以及所述预设目标区域指示的目标对象与所述头戴式设备之间的距离小于第二距离阈值时,由在所述显示装置上显示所述第二图像切换至显示所述第一图像。
可选的,处理器601还用于执行:当所述可移动平台处于巡航状态或返航状态,且根据所述第一图像中是否存在预设目标区域的检测结果,由在所述显示装置上显示所述第二图像切换至显示所述第一图像时,发送位置保持指令给所述可移动平台,以使所述可移动平台维持位置不变。
可选的,处理器601执行所述当所述可移动平台处于巡航状态或返航状态时,根据所述第一图像中是否存在预设目标区域的检测结果,在所述显示装置上显示第一图像和/或第二图像时,用于:当所述可移动平台处于巡航状态或返航状态,且与所述头戴式设备之间的距离大于第一距离阈值,以及未检测到所述第一图像中存在所述预设目标区域时,在所述显示装置上显示所述第二图像。
可选的,处理器601还用于执行:当检测到所述第一图像中存在所述预设目标区域,且所述预设目标区域指示的目标对象与所述头戴式设备之间的距离大于或等于第三距离阈值时,输出提示信息,所述提示信息包括以下至少一种形式的信息:文字、声音、振动。
本申请实施例提供的头戴式设备的具体原理和实现方式均与前述实施例的可移动平台的控制方法类似,此处不再赘述。
本申请实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时使所述处理器实现上述实施例提供的可移动平台的控制方法的步骤。
其中,所述计算机可读存储介质可以是前述任一实施例所述的头戴式设备的内部存储单元,例如所述头戴式设备的硬盘或内存。所述计算机可读存储介质也可以是所述头戴式设备的外部存储设备,例如所述头戴式设备上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。
请结合前述实施例参阅图8,图8所示为本申请实施例提供的一种可移动平台系统700的示意图。该可移动平台系统700包括可移动平台710,以及前述的头戴式设备600。
示例性的,头戴式设备600包括增强现实(Augmented Reality,AR)眼镜、虚拟现实(Virtual Reality,VR)眼镜、飞行控制眼镜、智能头盔、智能头带等中的至少一种。
示例性的,可移动平台710包括如下至少一种:无人飞行器、无人车、无人船。进一步而言,无人飞行器可以为旋翼型无人机,例如四旋翼无人机、六旋翼无人机、八旋翼无人机,也可以是固定翼无人机。
头戴式设备600能够和可移动平台710通信连接。示例性的,头戴式设备600和可移动平台710之间通过无线信道传输数据。
在一些实施方式中,可移动平台系统700还包括终端设备,头戴式设备600和可移动平台710可以通过终端设备进行数据传输。示例性的,终端设备包括手机、平板电脑、笔记本电脑、遥控器等中的至少一种,举例而言,可移动平台710采集到的数据可以传输给终端设备,终端设备将可移动平台710采集到的数据以优先连接方式或无线连接方式发送给头戴式设备600;以及头戴式设备600的数据可以发送给终端设备,由终端设备将头戴式设备600的数据发送给可移动平台710。
本申请实施例提供的可移动平台系统的具体原理和实现方式均与前述实施 例的可移动平台的控制方法类似,此处不再赘述。
应当理解,在此本申请中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。
还应当理解,在本申请和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
需要说明的是,在本申请实施例中涉及“第一”、“第二”等的描述仅用于描述目的,而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。
Claims (69)
- 一种可移动平台的控制方法,其特征在于,用于头戴式设备,所述头戴式设备与所述可移动平台通信连接,所述控制方法包括:在所述头戴式设备的显示装置上显示第一图像和/或第二图像,所述第一图像是所述头戴式设备上的第一拍摄装置拍摄的图像,所述第二图像是所述可移动平台上的第二拍摄装置拍摄的图像;当由在所述显示装置上显示所述第二图像切换至显示所述第一图像时,发送安全操作指令给所述可移动平台,以使所述可移动平台执行对应的安全操作。
- 根据权利要求1所述的控制方法,其特征在于,所述发送安全操作指令给所述可移动平台,以使所述可移动平台执行对应的安全操作,包括:发送安全操作指令给所述可移动平台,以使所述可移动平台维持位置不变、降落或返航。
- 根据权利要求1所述的控制方法,其特征在于,所述当由在所述显示装置上显示所述第二图像切换至显示所述第一图像时,发送安全操作指令给所述可移动平台,包括:当所述可移动平台处于巡航状态或返航状态,且由在所述显示装置上显示所述第二图像切换至显示所述第一图像时,发送安全操作指令给所述可移动平台。
- 根据权利要求1-3中任一项所述的控制方法,其特征在于,所述在所述头戴式设备的显示装置上显示第一图像和/或第二图像,包括:根据用户的视角切换操作,由在所述显示装置上显示所述第二图像切换至显示所述第一图像,或者由在所述显示装置上显示所述第一图像切换至显示所述第二图像。
- 根据权利要求4所述的控制方法,其特征在于,所述视角切换操作包括以下至少一种:预设的头部姿势调整、对预设操作件的操作、预设的手势、预设的语音。
- 根据权利要求1-5中任一项所述的控制方法,其特征在于,所述在所述头戴式设备的显示装置上显示第一图像和/或第二图像,包括:当所述可移动平台处于巡航状态或返航状态时,根据所述可移动平台与所述头戴式设备之间的距离,在所述显示装置上显示第一图像和/或第二图像。
- 根据权利要求6所述的控制方法,其特征在于,所述当所述可移动平台处于巡航状态或返航状态时,根据所述可移动平台与所述头戴式设备之间的距离,在所述显示装置上显示第一图像和/或第二图像,包括:当所述可移动平台处于巡航状态或返航状态,且与所述头戴式设备之间的距离大于第一距离阈值时,显示所述第二图像;和/或当所述可移动平台处于巡航状态或返航状态,且与所述头戴式设备之间距离小于所述第一距离阈值时,显示所述第一图像。
- 根据权利要求1-7中任一项所述的控制方法,其特征在于,所述在所述头戴式设备的显示装置上显示第一图像和/或第二图像,包括:检测所述第一图像中是否存在预设目标区域,所述预设目标区域用于指示所述第一拍摄装置的视野内的目标对象;当所述可移动平台处于巡航状态或返航状态时,根据所述第一图像中是否存在预设目标区域的检测结果,由在所述显示装置上显示所述第二图像切换至显示所述第一图像。
- 根据权利要求8所述的控制方法,其特征在于,所述根据所述第一图像中是否存在预设目标区域的检测结果,由在所述显示装置上显示所述第二图像切换至显示所述第一图像,包括:当检测到所述第一图像中存在所述预设目标区域时,由在所述显示装置上显示所述第二图像切换至显示所述第一图像。
- 根据权利要求9所述的控制方法,其特征在于,所述当检测到所述第一图像中存在所述预设目标区域时,由在所述显示装置上显示所述第二图像切换至显示所述第一图像,包括:当检测到所述第一图像中存在所述预设目标区域,且所述预设目标区域指示的目标对象与所述头戴式设备之间的距离小于第二距离阈值时,由在所述显示装置上显示所述第二图像切换至显示所述第一图像。
- 根据权利要求1-10中任一项所述的控制方法,其特征在于,所述在所述头戴式设备的显示装置上显示第一图像和/或第二图像,包括:当在所述显示装置上显示所述第二图像时,根据所述可移动平台与所述头戴式设备之间的距离、所述第一图像中是否存在预设目标区域的检测结果、所述预设目标区域指示的目标对象与所述头戴式设备之间的距离中的至少一项,输出提示信息,以便用户根据所述提示信息进行视角切换操作;当检测到用户的视角切换操作时,由在所述显示装置上显示所述第二图像切换至显示所述第一图像。
- 根据权利要求11所述的控制方法,其特征在于,所述当在所述显示装置上显示所述第二图像时,根据所述可移动平台与所述头戴式设备之间的距离、所述第一图像中是否存在预设目标区域的检测结果、所述预设目标区域指示的目标对象与所述头戴式设备之间的距离中的至少一项,输出提示信息,包括:当在所述显示装置上显示所述第二图像,检测到所述第一图像中存在所述预设目标区域,且所述预设目标区域指示的目标对象与所述头戴式设备之间的距离大于或等于第三距离阈值时,输出提示信息。
- 根据权利要求1-12中任一项所述的控制方法,其特征在于,所述在所述头戴式设备的显示装置上显示第一图像和/或第二图像,包括:当所述可移动平台处于巡航状态或返航状态,且与所述头戴式设备之间的距离大于第一距离阈值,以及未检测到所述第一图像中存在预设目标区域时,在所述显示装置上显示所述第二图像。
- 根据权利要求1-12中任一项所述的控制方法,其特征在于,所述控制方法包括:根据所述第一图像、所述第二图像、所述可移动平台上的传感器采集的传感器数据中的至少一种,确定所述可移动平台的工作状态。
- 一种可移动平台的控制方法,其特征在于,用于头戴式设备,所述头戴式设备与所述可移动平台通信连接,所述控制方法包括:获取所述可移动平台的工作状态;根据所述可移动平台的工作状态,在所述头戴式设备的显示装置上显示第一图像和/或第二图像,所述第一图像是所述头戴式设备上的第一拍摄装置拍摄的图像,所述第二图像是所述可移动平台上的第二拍摄装置拍摄的图像;根据用户的控制操作发送控制指令给所述可移动平台。
- 根据权利要求15所述的控制方法,其特征在于,所述根据所述可移动平台的工作状态,在所述显示装置上显示第一图像和/或第二图像,包括:当所述可移动平台处于静止状态时,在所述显示装置上显示所述第一图像。
- 根据权利要求15所述的控制方法,其特征在于,所述根据所述可移动平台的工作状态,在所述显示装置上显示第一图像和/或第二图像,包括:当所述可移动平台处于启动状态时,在所述显示装置上显示所述第二图像。
- 根据权利要求17所述的控制方法,其特征在于,所述根据所述可移动平台的工作状态,在所述显示装置上显示第一图像和/或第二图像,还包括:当所述可移动平台处于启动状态时,根据用户的视角切换操作,由在所述显示装置上显示所述第二图像切换至显示所述第一图像,或者由在所述显示装置上显示所述第一图像切换至显示所述第二图像。
- 根据权利要求15所述的控制方法,其特征在于,所述根据所述可移动平台的工作状态,在所述显示装置上显示第一图像和/或第二图像,还包括:当所述可移动平台处于巡航状态或返航状态时,根据所述可移动平台与所述头戴式设备之间的距离,在所述显示装置上显示第一图像和/或第二图像。
- 根据权利要求19所述的控制方法,其特征在于,所述当所述可移动平台处于巡航状态或返航状态时,根据所述可移动平台与所述头戴式设备之间的距离,在所述显示装置上显示第一图像和/或第二图像,包括:当所述可移动平台处于巡航状态或返航状态,且与所述头戴式设备之间的距离大于第一距离阈值时,显示所述第二图像;和/或当所述可移动平台处于巡航状态或返航状态,且与所述头戴式设备之间距离小于所述第一距离阈值时,显示所述第一图像。
- 根据权利要求19或20所述的控制方法,其特征在于,所述根据所述可移动平台的工作状态,在所述显示装置上显示第一图像和/或第二图像,还包括:当所述可移动平台处于巡航状态或返航状态时,根据用户的视角切换操作,由在所述显示装置上显示所述第二图像切换至显示所述第一图像,或者由在所述显示装置上显示所述第一图像切换至显示所述第二图像。
- 根据权利要求18或21所述的控制方法,其特征在于,所述控制方法还包括:当所述可移动平台处于巡航状态或返航状态,且根据用户的视角切换操作由在所述显示装置上显示所述第二图像切换至显示所述第一图像时,发送位置保持指令给所述可移动平台,以使所述可移动平台维持位置不变。
- 根据权利要求18或21所述的控制方法,其特征在于,所述视角切换操作包括以下至少一种:预设的头部姿势调整、对预设操作件的操作、预设的手势、预设的语音。
- 根据权利要求15-23中任一项所述的控制方法,其特征在于,所述控制方法还包括:检测所述第一图像中是否存在预设目标区域,所述预设目标区域用于指示所述第一拍摄装置的视野内的目标对象;所述根据所述可移动平台的工作状态,在所述显示装置上显示第一图像和/或第二图像,包括:当所述可移动平台处于巡航状态或返航状态时,根据所述第一图像中是否存在预设目标区域的检测结果,在所述显示装置上显示第一图像和/或第二图像。
- 根据权利要求24所述的控制方法,其特征在于,所述根据所述第一图像中是否存在预设目标区域的检测结果,在所述显示装置上显示第一图像和/或第二图像,包括:当在所述显示装置上显示所述第二图像,且检测到所述第一图像中存在所述预设目标区域时,在所述显示装置上至少显示所述第一图像或所述预设目标区域。
- 根据权利要求25所述的控制方法,其特征在于,所述当在所述显示装置上显示所述第二图像,且检测到所述第一图像中存在所述预设目标区域时,在所述显示装置上至少显示所述第一图像或所述预设目标区域,包括:当在所述显示装置上显示所述第二图像,且检测到所述第一图像中存在所述预设目标区域,在所述显示装置上显示所述第二图像,以及所述第一图像或者所述预设目标区域。
- 根据权利要求26所述的控制方法,其特征在于,所述在所述显示装置上显示所述第二图像,以及所述第一图像或者所述预设目标区域,包括:当所述预设目标区域指示的目标对象与所述头戴式设备之间的距离大于或 等于第二距离阈值时,在所述显示装置上显示所述第二图像,以及所述第一图像或者所述预设目标区域。
- 根据权利要求26或27所述的控制方法,其特征在于,所述在所述显示装置上显示所述第二图像,以及所述第一图像或者所述预设目标区域,包括:调整所述第一图像或者所述预设目标区域的透明度,在所述显示装置上显示所述第二图像,以及在所述第二图像上叠加显示调整透明度后的第一图像或调整透明度后的预设目标区域;或者在所述显示装置上显示所述第二图像,以及在所述第二图像上叠加显示所述预设目标区域;或者在所述显示装置的不同显示区域分别显示所述第一图像和所述第二图像。
- 根据权利要求28所述的控制方法,其特征在于,在调整所述第一图像或者所述预设目标区域的透明度时,调整后的透明度和所述预设目标区域指示的目标对象与所述头戴式设备之间的距离负相关;或者在所述显示装置的不同显示区域分别显示所述第一图像和所述第二图像时,所述第一图像的显示区域的大小和所述预设目标区域指示的目标对象与所述头戴式设备之间的距离负相关。
- 根据权利要求25所述的控制方法,其特征在于,所述当在所述显示装置上显示所述第二图像,且检测到所述第一图像中存在所述预设目标区域时,在所述显示装置上至少显示所述第一图像或所述预设目标区域,包括:当在所述显示装置上显示所述第二图像,且检测到所述第一图像中存在所述预设目标区域,以及所述预设目标区域指示的目标对象与所述头戴式设备之间的距离小于第二距离阈值时,由在所述显示装置上显示所述第二图像切换至显示所述第一图像。
- 根据权利要求30所述的控制方法,其特征在于,所述控制方法还包括:当所述可移动平台处于巡航状态或返航状态,且根据所述第一图像中是否存在预设目标区域的检测结果,由在所述显示装置上显示所述第二图像切换至显示所述第一图像时,发送位置保持指令给所述可移动平台,以使所述可移动平台维持位置不变。
- 根据权利要求24所述的控制方法,其特征在于,所述当所述可移动平 台处于巡航状态或返航状态时,根据所述第一图像中是否存在预设目标区域的检测结果,在所述显示装置上显示第一图像和/或第二图像,包括:当所述可移动平台处于巡航状态或返航状态,且与所述头戴式设备之间的距离大于第一距离阈值,以及未检测到所述第一图像中存在所述预设目标区域时,在所述显示装置上显示所述第二图像。
- 根据权利要求24所述的控制方法,其特征在于,所述控制方法还包括:当检测到所述第一图像中存在所述预设目标区域,且所述预设目标区域指示的目标对象与所述头戴式设备之间的距离大于或等于第三距离阈值时,输出提示信息,所述提示信息包括以下至少一种形式的信息:文字、声音、振动。
- 一种头戴式设备,其特征在于,包括:第一拍摄装置,能够拍摄第一图像;通信装置,用于与可移动平台通信连接,以及接收所述可移动平台上的第二拍摄装置拍摄的第二图像;显示装置,能够显示所述第一图像和/或所述第二图像;还包括一个或多个处理器,单独地或共同地工作,用于执行如下步骤:在所述头戴式设备的显示装置上显示第一图像和/或第二图像,所述第一图像是所述头戴式设备上的第一拍摄装置拍摄的图像,所述第二图像是所述可移动平台上的第二拍摄装置拍摄的图像;当由在所述显示装置上显示所述第二图像切换至显示所述第一图像时,发送安全操作指令给所述可移动平台,以使所述可移动平台执行对应的安全操作。
- 根据权利要求34所述的头戴式设备,其特征在于,所述处理器执行所述发送安全操作指令给所述可移动平台,以使所述可移动平台执行对应的安全操作时,用于:发送安全操作指令给所述可移动平台,以使所述可移动平台维持位置不变、降落或返航。
- 根据权利要求34所述的头戴式设备,其特征在于,所述处理器执行所述当由在所述显示装置上显示所述第二图像切换至显示所述第一图像时,发送安全操作指令给所述可移动平台时,用于:当所述可移动平台处于巡航状态或返航状态,且由在所述显示装置上显示 所述第二图像切换至显示所述第一图像时,发送安全操作指令给所述可移动平台。
- 根据权利要求34-36中任一项所述的头戴式设备,其特征在于,所述处理器执行所述在所述头戴式设备的显示装置上显示第一图像和/或第二图像时,用于:根据用户的视角切换操作,由在所述显示装置上显示所述第二图像切换至显示所述第一图像,或者由在所述显示装置上显示所述第一图像切换至显示所述第二图像。
- 根据权利要求37所述的头戴式设备,其特征在于,所述视角切换操作包括以下至少一种:预设的头部姿势调整、对预设操作件的操作、预设的手势、预设的语音。
- 根据权利要求34-38中任一项所述的头戴式设备,其特征在于,所述处理器执行所述在所述头戴式设备的显示装置上显示第一图像和/或第二图像时,用于:当所述可移动平台处于巡航状态或返航状态时,根据所述可移动平台与所述头戴式设备之间的距离,在所述显示装置上显示第一图像和/或第二图像。
- 根据权利要求39所述的头戴式设备,其特征在于,所述处理器执行所述当所述可移动平台处于巡航状态或返航状态时,根据所述可移动平台与所述头戴式设备之间的距离,在所述显示装置上显示第一图像和/或第二图像时,用于:当所述可移动平台处于巡航状态或返航状态,且与所述头戴式设备之间的距离大于第一距离阈值时,显示所述第二图像;和/或当所述可移动平台处于巡航状态或返航状态,且与所述头戴式设备之间距离小于所述第一距离阈值时,显示所述第一图像。
- 根据权利要求34-40中任一项所述的头戴式设备,其特征在于,所述处理器执行所述在所述头戴式设备的显示装置上显示第一图像和/或第二图像时,用于:检测所述第一图像中是否存在预设目标区域,所述预设目标区域用于指示所述第一拍摄装置的视野内的目标对象;当所述可移动平台处于巡航状态或返航状态时,根据所述第一图像中是否存在预设目标区域的检测结果,由在所述显示装置上显示所述第二图像切换至显示所述第一图像。
- 根据权利要求41所述的头戴式设备,其特征在于,所述处理器执行所述根据所述第一图像中是否存在预设目标区域的检测结果,由在所述显示装置上显示所述第二图像切换至显示所述第一图像时,用于:当检测到所述第一图像中存在所述预设目标区域时,由在所述显示装置上显示所述第二图像切换至显示所述第一图像。
- 根据权利要求42所述的头戴式设备,其特征在于,所述处理器执行所述当检测到所述第一图像中存在所述预设目标区域时,由在所述显示装置上显示所述第二图像切换至显示所述第一图像时,用于:当检测到所述第一图像中存在所述预设目标区域,且所述预设目标区域指示的目标对象与所述头戴式设备之间的距离小于第二距离阈值时,由在所述显示装置上显示所述第二图像切换至显示所述第一图像。
- 根据权利要求34-43中任一项所述的头戴式设备,其特征在于,所述处理器执行所述在所述头戴式设备的显示装置上显示第一图像和/或第二图像时,用于:当在所述显示装置上显示所述第二图像时,根据所述可移动平台与所述头戴式设备之间的距离、所述第一图像中是否存在预设目标区域的检测结果、所述预设目标区域指示的目标对象与所述头戴式设备之间的距离中的至少一项,输出提示信息,以便用户根据所述提示信息进行视角切换操作;当检测到用户的视角切换操作时,由在所述显示装置上显示所述第二图像切换至显示所述第一图像。
- 根据权利要求44所述的头戴式设备,其特征在于,所述处理器执行所述当在所述显示装置上显示所述第二图像时,根据所述可移动平台与所述头戴式设备之间的距离、所述第一图像中是否存在预设目标区域的检测结果、所述预设目标区域指示的目标对象与所述头戴式设备之间的距离中的至少一项,输出提示信息时,用于:当在所述显示装置上显示所述第二图像,检测到所述第一图像中存在所述 预设目标区域,且所述预设目标区域指示的目标对象与所述头戴式设备之间的距离大于或等于第三距离阈值时,输出提示信息。
- 根据权利要求34-45中任一项所述的头戴式设备,其特征在于,所述处理器执行所述在所述头戴式设备的显示装置上显示第一图像和/或第二图像时,用于:当所述可移动平台处于巡航状态或返航状态,且与所述头戴式设备之间的距离大于第一距离阈值,以及未检测到所述第一图像中存在预设目标区域时,在所述显示装置上显示所述第二图像。
- 根据权利要求34-45中任一项所述的头戴式设备,其特征在于,所述处理器还用于执行:根据所述第一图像、所述第二图像、所述可移动平台上的传感器采集的传感器数据中的至少一种,确定所述可移动平台的工作状态。
- 一种头戴式设备,其特征在于,包括:第一拍摄装置,能够拍摄第一图像;通信装置,用于与可移动平台通信连接,以及接收所述可移动平台上的第二拍摄装置拍摄的第二图像;显示装置,能够显示所述第一图像和/或所述第二图像;还包括一个或多个处理器,单独地或共同地工作,用于执行如下步骤:获取所述可移动平台的工作状态;根据所述可移动平台的工作状态,在所述头戴式设备的显示装置上显示所述第一图像和/或所述第二图像;根据用户的控制操作发送控制指令给所述可移动平台。
- 根据权利要求48所述的头戴式设备,其特征在于,所述处理器执行所述根据所述可移动平台的工作状态,在所述显示装置上显示第一图像和/或第二图像时,用于:当所述可移动平台处于静止状态时,在所述显示装置上显示所述第一图像。
- 根据权利要求48所述的头戴式设备,其特征在于,所述处理器执行所述根据所述可移动平台的工作状态,在所述显示装置上显示第一图像和/或第二图像时,用于:当所述可移动平台处于启动状态时,在所述显示装置上显示所述第二图像。
- 根据权利要求50所述的头戴式设备,其特征在于,所述处理器执行所述根据所述可移动平台的工作状态,在所述显示装置上显示第一图像和/或第二图像时,还用于执行:当所述可移动平台处于启动状态时,根据用户的视角切换操作,由在所述显示装置上显示所述第二图像切换至显示所述第一图像,或者由在所述显示装置上显示所述第一图像切换至显示所述第二图像。
- 根据权利要求48所述的头戴式设备,其特征在于,所述处理器执行所述根据所述可移动平台的工作状态,在所述显示装置上显示第一图像和/或第二图像时,还用于执行:当所述可移动平台处于巡航状态或返航状态时,根据所述可移动平台与所述头戴式设备之间的距离,在所述显示装置上显示第一图像和/或第二图像。
- 根据权利要求52所述的头戴式设备,其特征在于,所述处理器执行所述当所述可移动平台处于巡航状态或返航状态时,根据所述可移动平台与所述头戴式设备之间的距离,在所述显示装置上显示第一图像和/或第二图像时,用于:当所述可移动平台处于巡航状态或返航状态,且与所述头戴式设备之间的距离大于第一距离阈值时,显示所述第二图像;和/或当所述可移动平台处于巡航状态或返航状态,且与所述头戴式设备之间距离小于所述第一距离阈值时,显示所述第一图像。
- 根据权利要求52或53所述的头戴式设备,其特征在于,所述处理器执行所述根据所述可移动平台的工作状态,在所述显示装置上显示第一图像和/或第二图像时,还用于执行:当所述可移动平台处于巡航状态或返航状态时,根据用户的视角切换操作,由在所述显示装置上显示所述第二图像切换至显示所述第一图像,或者由在所述显示装置上显示所述第一图像切换至显示所述第二图像。
- 根据权利要求51或54所述的头戴式设备,其特征在于,所述处理器还用于执行:当所述可移动平台处于巡航状态或返航状态,且根据用户的视角切换操作 由在所述显示装置上显示所述第二图像切换至显示所述第一图像时,发送位置保持指令给所述可移动平台,以使所述可移动平台维持位置不变。
- 根据权利要求51或54所述的头戴式设备,其特征在于,所述视角切换操作包括以下至少一种:预设的头部姿势调整、对预设操作件的操作、预设的手势、预设的语音。
- 根据权利要求48-56中任一项所述的头戴式设备,其特征在于,所述处理器还用于执行:检测所述第一图像中是否存在预设目标区域,所述预设目标区域用于指示所述第一拍摄装置的视野内的目标对象;所述处理器执行所述根据所述可移动平台的工作状态,在所述显示装置上显示第一图像和/或第二图像时,用于:当所述可移动平台处于巡航状态或返航状态时,根据所述第一图像中是否存在预设目标区域的检测结果,在所述显示装置上显示第一图像和/或第二图像。
- 根据权利要求57所述的头戴式设备,其特征在于,所述处理器执行所述根据所述第一图像中是否存在预设目标区域的检测结果,在所述显示装置上显示第一图像和/或第二图像时,用于:当在所述显示装置上显示所述第二图像,且检测到所述第一图像中存在所述预设目标区域时,在所述显示装置上至少显示所述第一图像或所述预设目标区域。
- 根据权利要求58所述的头戴式设备,其特征在于,所述处理器执行所述当在所述显示装置上显示所述第二图像,且检测到所述第一图像中存在所述预设目标区域时,在所述显示装置上至少显示所述第一图像或所述预设目标区域时,用于:当在所述显示装置上显示所述第二图像,且检测到所述第一图像中存在所述预设目标区域,在所述显示装置上显示所述第二图像,以及所述第一图像或者所述预设目标区域。
- 根据权利要求59所述的头戴式设备,其特征在于,所述处理器执行所述在所述显示装置上显示所述第二图像,以及所述第一图像或者所述预设目标区域时,用于:当所述预设目标区域指示的目标对象与所述头戴式设备之间的距离大于或等于第二距离阈值时,在所述显示装置上显示所述第二图像,以及所述第一图像或者所述预设目标区域。
- 根据权利要求59或60所述的头戴式设备,其特征在于,所述处理器执行所述在所述显示装置上显示所述第二图像,以及所述第一图像或者所述预设目标区域时,用于:调整所述第一图像或者所述预设目标区域的透明度,在所述显示装置上显示所述第二图像,以及在所述第二图像上叠加显示调整透明度后的第一图像或调整透明度后的预设目标区域;或者在所述显示装置上显示所述第二图像,以及在所述第二图像上叠加显示所述预设目标区域;或者在所述显示装置的不同显示区域分别显示所述第一图像和所述第二图像。
- 根据权利要求61所述的头戴式设备,其特征在于,在调整所述第一图像或者所述预设目标区域的透明度时,调整后的透明度和所述预设目标区域指示的目标对象与所述头戴式设备之间的距离负相关;或者在所述显示装置的不同显示区域分别显示所述第一图像和所述第二图像时,所述第一图像的显示区域的大小和所述预设目标区域指示的目标对象与所述头戴式设备之间的距离负相关。
- 根据权利要求58所述的头戴式设备,其特征在于,所述处理器执行所述当在所述显示装置上显示所述第二图像,且检测到所述第一图像中存在所述预设目标区域时,在所述显示装置上至少显示所述第一图像或所述预设目标区域时,用于:当在所述显示装置上显示所述第二图像,且检测到所述第一图像中存在所述预设目标区域,以及所述预设目标区域指示的目标对象与所述头戴式设备之间的距离小于第二距离阈值时,由在所述显示装置上显示所述第二图像切换至显示所述第一图像。
- 根据权利要求63所述的头戴式设备,其特征在于,所述处理器还用于执行:当所述可移动平台处于巡航状态或返航状态,且根据所述第一图像中是否 存在预设目标区域的检测结果,由在所述显示装置上显示所述第二图像切换至显示所述第一图像时,发送位置保持指令给所述可移动平台,以使所述可移动平台维持位置不变。
- 根据权利要求57所述的头戴式设备,其特征在于,所述处理器执行所述当所述可移动平台处于巡航状态或返航状态时,根据所述第一图像中是否存在预设目标区域的检测结果,在所述显示装置上显示第一图像和/或第二图像时,用于:当所述可移动平台处于巡航状态或返航状态,且与所述头戴式设备之间的距离大于第一距离阈值,以及未检测到所述第一图像中存在所述预设目标区域时,在所述显示装置上显示所述第二图像。
- 根据权利要求57所述的头戴式设备,其特征在于,所述处理器还用于执行:当检测到所述第一图像中存在所述预设目标区域,且所述预设目标区域指示的目标对象与所述头戴式设备之间的距离大于或等于第三距离阈值时,输出提示信息,所述提示信息包括以下至少一种形式的信息:文字、声音、振动。
- 一种可移动平台系统,其特征在于,包括:可移动平台;以及如权利要求34-47中任一项所述的头戴式设备,或者如权利要求48-66中任一项所述的头戴式设备。
- 根据权利要求67所述的可移动平台系统,其特征在于,所述可移动平台包括如下至少一种:无人飞行器、无人车、无人船。
- 一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时使所述处理器实现:如权利要求1-14中任一项所述的可移动平台的控制方法的步骤;和/或如权利要求15-33中任一项所述的可移动平台的控制方法的步骤。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2022/073545 WO2023137758A1 (zh) | 2022-01-24 | 2022-01-24 | 可移动平台的控制方法、头戴式设备、系统和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117678235A true CN117678235A (zh) | 2024-03-08 |
Family
ID=87347528
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202280049707.4A Pending CN117678235A (zh) | 2022-01-24 | 2022-01-24 | 可移动平台的控制方法、头戴式设备、系统和存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN117678235A (zh) |
WO (1) | WO2023137758A1 (zh) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105572870A (zh) * | 2014-11-05 | 2016-05-11 | 优利科技有限公司 | 头戴式显示设备 |
JP6682379B2 (ja) * | 2015-08-06 | 2020-04-15 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 無人飛行体、飛行制御方法、飛行制御プログラム及び操縦器 |
JP6540572B2 (ja) * | 2016-03-29 | 2019-07-10 | ブラザー工業株式会社 | 表示装置および表示制御方法 |
FR3065544A1 (fr) * | 2017-04-19 | 2018-10-26 | Parrot Drones | Procede de pilotage d'un drone a voilure tournante, programme d'ordinateur, appareil electronique et drone associes |
WO2021134575A1 (zh) * | 2019-12-31 | 2021-07-08 | 深圳市大疆创新科技有限公司 | 显示控制方法和设备 |
WO2021237625A1 (zh) * | 2020-05-28 | 2021-12-02 | 深圳市大疆创新科技有限公司 | 一种图像处理方法、头戴式显示设备及存储介质 |
-
2022
- 2022-01-24 CN CN202280049707.4A patent/CN117678235A/zh active Pending
- 2022-01-24 WO PCT/CN2022/073545 patent/WO2023137758A1/zh active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2023137758A1 (zh) | 2023-07-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11235871B2 (en) | Control method, control system, and smart glasses for first person view unmanned aerial vehicle flight | |
RU2646360C2 (ru) | Устройство и способ отображения изображения, мобильное устройство, система отображения изображения и компьютерная программа | |
US9756319B2 (en) | Virtual see-through instrument cluster with live video | |
CN111344644B (zh) | 用于基于运动的自动图像捕获的技术 | |
EP2869115A1 (en) | 3d video observation device and transmittance control method | |
US11393177B2 (en) | Information processing apparatus, information processing method, and program | |
CN110998666B (zh) | 信息处理装置、信息处理方法以及程序 | |
US11156844B2 (en) | Information processing apparatus, information processing method, and program | |
CN107205111B (zh) | 摄像装置、移动装置、摄像系统、摄像方法和记录介质 | |
JP6540572B2 (ja) | 表示装置および表示制御方法 | |
US20190064528A1 (en) | Information processing device, information processing method, and program | |
CN114648623A (zh) | 信息处理装置、信息处理方法以及计算机可读介质 | |
US10771707B2 (en) | Information processing device and information processing method | |
JP6831949B2 (ja) | 表示制御システム、表示制御装置及び表示制御方法 | |
US11004273B2 (en) | Information processing device and information processing method | |
CN117678235A (zh) | 可移动平台的控制方法、头戴式设备、系统和存储介质 | |
US20240174174A1 (en) | Information processing apparatus, information processing method, program, and information processing system | |
US11492115B2 (en) | Unmanned aerial vehicle display control system, display control device and display control method | |
WO2021220407A1 (ja) | ヘッドマウントディスプレイ装置および表示制御方法 | |
WO2023130435A1 (zh) | 交互方法、头戴式显示设备、系统及存储介质 | |
KR20210072607A (ko) | 360도 입체 스마트폰 카메라 케이스 | |
CN115437390A (zh) | 无人机的控制方法及控制系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |