CN117389338B - 无人机的多视角交互方法、装置及存储介质 - Google Patents

无人机的多视角交互方法、装置及存储介质 Download PDF

Info

Publication number
CN117389338B
CN117389338B CN202311696104.6A CN202311696104A CN117389338B CN 117389338 B CN117389338 B CN 117389338B CN 202311696104 A CN202311696104 A CN 202311696104A CN 117389338 B CN117389338 B CN 117389338B
Authority
CN
China
Prior art keywords
real
time
unmanned aerial
angle
aerial vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311696104.6A
Other languages
English (en)
Other versions
CN117389338A (zh
Inventor
陈方平
贺鹏
高明
李世琳
徐林飞
赵瑞祥
杜志超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Yunsheng Intelligent Technology Co ltd
Original Assignee
Tianjin Yunsheng Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Yunsheng Intelligent Technology Co ltd filed Critical Tianjin Yunsheng Intelligent Technology Co ltd
Priority to CN202311696104.6A priority Critical patent/CN117389338B/zh
Publication of CN117389338A publication Critical patent/CN117389338A/zh
Application granted granted Critical
Publication of CN117389338B publication Critical patent/CN117389338B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D3/00Control of position or direction
    • G05D3/12Control of position or direction using feedback
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供了一种无人机的多视角交互方法、装置及存储介质,获取无人机的第一实时位置、第一实时航向角和第一实时俯仰角以及相应的第一建模数据;在无人机的飞行视角为第一人称视角时,获取图像采集设备采集到的实时视频并通过头显进行播放,基于头显的视场角范围以及第一建模数据构建相应的第一虚拟场景并通过头显进行显示;响应于针对头显的第一视角切换操作,切换飞行视角至第三人称视角,基于无人机的机身尺寸参数将第一实时位置偏移至第一虚拟场景中的第一目标位置;基于第一实时航向角和第一实时俯仰角生成无人机的第一孪生无人机模型并通过头显在第一目标位置进行显示。采用本发明可以满足多个不同视角的飞行体验需求。

Description

无人机的多视角交互方法、装置及存储介质
技术领域
本发明涉及无人机技术领域,尤其是涉及一种无人机的多视角交互方法、装置及存储介质。
背景技术
随着无人机技术的不断发展,不同视角的飞行体验需求越来越强烈,现有无人机用头显通常仅支持第一人称视角的无人机飞行体验,显示形式比较单一,视角会受到相机参数和无人机姿态的限制,用户很难在体验第一人称视角飞行的同时全局查看无人机周围环境,因而难以满足不同视角的飞行体验需求。
发明内容
有鉴于此,本发明的目的在于提供一种无人机的多视角交互方法、装置及存储介质,以缓解相关技术中存在的上述问题,从而满足多个不同视角的飞行体验需求。
第一方面,本发明实施例提供了一种无人机的多视角交互方法,所述无人机的吊舱上安装有图像采集设备;所述方法包括:获取所述无人机的第一实时位置、第一实时航向角和第一实时俯仰角以及所述第一实时位置所对应第一目标区域的第一建模数据;在所述无人机的飞行视角为第一人称视角时,获取所述图像采集设备采集到的实时视频并通过所述无人机对应的头显进行播放,基于所述头显的视场角范围以及所述第一建模数据构建所述第一目标区域的第一虚拟场景并通过所述头显进行显示;响应于针对所述头显的第一视角切换操作,将所述飞行视角由所述第一人称视角切换至第三人称视角,基于所述无人机的机身尺寸参数将所述第一实时位置偏移至所述第一虚拟场景中的第一目标位置;基于所述第一实时航向角和所述第一实时俯仰角生成所述无人机的第一孪生无人机模型,通过所述头显在所述第一目标位置显示所述第一孪生无人机模型。
第二方面,本发明实施例还提供了一种无人机的多视角交互方法,所述无人机的吊舱上安装有图像采集设备;所述方法包括:获取所述无人机的第一实时位置、第一实时航向角和第一实时俯仰角以及所述第一实时位置所对应第一目标区域的第一建模数据;在所述无人机的飞行视角为无人机第一人称视角时,获取所述图像采集设备采集到的实时视频并通过所述无人机对应的头显进行播放,基于所述头显的视场角范围以及所述第一建模数据构建所述第一目标区域的第一虚拟场景并通过所述头显进行显示;响应于针对所述头显的第三视角切换操作,将所述飞行视角由所述无人机第一人称视角切换至吊舱第一人称视角,获取所述吊舱的第二实时航向角和第二实时俯仰角,基于所述第二实时航向角和所述第二实时俯仰角将所述第一实时位置偏移至第二实时位置;获取所述第二实时位置所对应第二目标区域的第二建模数据,基于所述视场角范围以及所述第二建模数据构建所述第二目标区域的第二虚拟场景并通过所述头显进行显示。
第三方面,本发明实施例还提供一种无人机的多视角交互装置,所述无人机的吊舱上安装有图像采集设备;所述装置包括:第一获取模块,用于获取所述无人机的第一实时位置、第一实时航向角和第一实时俯仰角以及所述第一实时位置所对应第一目标区域的第一建模数据;第一处理显示模块,用于在所述无人机的飞行视角为第一人称视角时,获取所述图像采集设备采集到的实时视频并通过所述无人机对应的头显进行播放,基于所述头显的视场角范围以及所述第一建模数据构建所述第一目标区域的第一虚拟场景并通过所述头显进行显示;第一视角切换模块,用于响应于针对所述头显的第一视角切换操作,将所述飞行视角由所述第一人称视角切换至第三人称视角,基于所述无人机的机身尺寸参数将所述第一实时位置偏移至所述第一虚拟场景中的第一目标位置;第二处理显示模块,用于基于所述第一实时航向角和所述第一实时俯仰角生成所述无人机的第一孪生无人机模型,通过所述头显在所述第一目标位置显示所述第一孪生无人机模型。
第四方面,本发明实施例还提供一种无人机的多视角交互装置,所述无人机的吊舱上安装有图像采集设备;所述装置包括:第二获取模块,用于获取所述无人机的第一实时位置、第一实时航向角和第一实时俯仰角以及所述第一实时位置所对应第一目标区域的第一建模数据;第三处理显示模块,用于在所述无人机的飞行视角为无人机第一人称视角时,获取所述图像采集设备采集到的实时视频并通过所述无人机对应的头显进行播放,基于所述头显的视场角范围以及所述第一建模数据构建所述第一目标区域的第一虚拟场景并通过所述头显进行显示;第二视角切换模块,用于响应于针对所述头显的第三视角切换操作,将所述飞行视角由所述无人机第一人称视角切换至吊舱第一人称视角,获取所述吊舱的第二实时航向角和第二实时俯仰角,基于所述第二实时航向角和所述第二实时俯仰角将所述第一实时位置偏移至第二实时位置;第四处理显示模块,用于获取所述第二实时位置所对应第二目标区域的第二建模数据,基于所述视场角范围以及所述第二建模数据构建所述第二目标区域的第二虚拟场景并通过所述头显进行显示。
第五方面,本发明实施例还提供一种计算机存储介质,用于存储为上述第一方面所述方法或上述第二方面所述方法所用的计算机软件指令。
本发明实施例提供的一种无人机的多视角交互方法、装置及存储介质,获取无人机的第一实时位置、第一实时航向角和第一实时俯仰角以及相应的第一建模数据;在无人机的飞行视角为第一人称视角时,获取图像采集设备采集到的实时视频并通过头显进行播放,基于头显的视场角范围以及第一建模数据构建相应的第一虚拟场景并通过头显进行显示;响应于针对头显的第一视角切换操作,切换飞行视角至第三人称视角,基于无人机的机身尺寸参数将第一实时位置偏移至第一虚拟场景中的第一目标位置;基于第一实时航向角和第一实时俯仰角生成无人机的第一孪生无人机模型并通过头显在第一目标位置进行显示。采用上述技术,可以在用户进行第一人称视角飞行体验时呈现实时视频画面并通过头显呈现无人机周围环境的虚拟场景,还可以通过头显由第一人称视角切换至第三人称视角并通过位置偏移和生成孪生无人机模型进行无人机相关信息的呈现,从而满足不同视角的飞行体验。
本发明的其他特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例中一种无人机的多视角交互方法的流程示意图;
图2为本发明实施例中另一种无人机的多视角交互方法的流程示意图;
图3为本发明实施例中VR设备、VR三维全息管控平台、后台管理系统以及无人机之间数据交互的示例图;
图4为本发明实施例中视角控制界面的示例图;
图5为本发明实施例中VR视角相机节点、俯仰角旋转节点、偏航旋转节点和实时位置节点的层级关系示例图;
图6为本发明实施例中无人机第一人称视角的示例图;
图7为本发明实施例中吊舱第一人称视角的示例图;
图8为本发明实施例中无人机第三人称视角的示例图;
图9为本发明实施例中吊舱第三人称视角的示例图;
图10为本发明实施例中一种无人机的多视角交互装置的结构示意图;
图11为本发明实施例中另一种无人机的多视角交互装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合实施例对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
随着无人机技术的不断发展,不同视角的飞行体验需求越来越强烈,现有无人机用头显通常仅支持第一人称视角的无人机飞行体验,显示形式比较单一,视角会受到相机参数和无人机姿态的限制,用户很难在体验第一人称视角飞行的同时全局查看无人机周围环境,因而难以满足不同视角的飞行体验需求。
基于此,本发明实施提供的一种无人机的多视角交互方法、装置及存储介质,可以缓解相关技术中存在的上述问题,从而满足多个不同视角的飞行体验需求。
为便于对本实施例进行理解,首先对本发明实施例所公开的一种无人机的多视角交互方法进行详细介绍,无人机的吊舱上安装有图像采集设备,参见图1所示的一种无人机的多视角交互方法的流程示意图,该方法可以包括以下步骤:
步骤S102,获取无人机的第一实时位置、第一实时航向角和第一实时俯仰角以及第一实时位置所对应第一目标区域的第一建模数据。
对于某个无人机来说,在得到该无人机的实时位置、实时航向角和实时俯仰角后,还可额外获取该无人机的实时位置周围一定范围内的点云和倾斜模型作为建模数据,以便后续在用户体验第一人称视角飞行时可利用获取到的建模数据构建该无人机周围环境的虚拟场景并通过头显呈现给用户。
步骤S104,在无人机的飞行视角为第一人称视角时,获取图像采集设备采集到的实时视频并通过无人机对应的头显进行播放,基于头显的视场角范围以及第一建模数据构建第一目标区域的第一虚拟场景并通过头显进行显示。
对于某个无人机来说,在用户进行该无人机的第一人称视角飞行体验时,可通过该无人机吊舱上的图像采集设备在无人机飞行过程中进行实时视频采集,进而将采集到的实时视频传输给头显进行播放,以通过头显向用户呈现实时视频画面;同时还可利用该无人机的实时位置周围一定范围内的建模数据构建出该无人机周围环境的虚拟场景,并通过头显将其视场角范围内的全部或部分虚拟场景呈现给用户,从而使用户在通过头显所呈现出的实时视频画面体验第一人称视角飞行的同时也能够通过头显所呈现的虚拟场景获知该无人机周围环境的信息。
步骤S106,响应于针对头显的第一视角切换操作,将飞行视角由第一人称视角切换至第三人称视角,将第一实时位置偏移至第一虚拟场景中的第一目标位置。
上述第一视角切换操作可以包括用户操纵头显上的部件(如按钮、触控面板等)的操作、用户操纵与头显连接的配套设备(如遥控器、手柄等)的操作、用户进行的与头显交互的操作(如指定动作、指定语音内容输入等)、其他自定义操作等,对此不进行限定。
在用户针对头显进行第一视角切换操作触发无人机的飞行视角由第一人称视角切换至第三人称视角后,可将该无人机的实时位置偏移至该无人机周围环境的虚拟场景中相应位置,以便后续头显在该位置为用户呈现该无人机的数字孪生模型,从而满足用户的第三人称视角飞行体验需求。
步骤S108,基于第一实时航向角和第一实时俯仰角生成无人机的第一孪生无人机模型,通过头显在第一目标位置显示第一孪生无人机模型。
接续前例,可预先按照无人机的外形、结构、机身尺寸参数等相关信息为无人机构建相应的数字孪生模型并存储至指定存储空间内,在将无人机的实时位置偏移至该无人机周围环境的虚拟场景中相应位置后,可直接从指定存储空间获取该无人机的数字孪生模型,并将该数字孪生模型与该无人机的实时航向角和实时俯仰角绑定,从而通过头显在该位置为用户呈现绑定后的数字孪生模型,以实现第三人称视角飞行的模拟。
本发明实施例提供的一种无人机的多视角交互方法,获取无人机的第一实时位置、第一实时航向角和第一实时俯仰角以及相应的第一建模数据;在无人机的飞行视角为第一人称视角时,获取图像采集设备采集到的实时视频并通过头显进行播放,基于头显的视场角范围以及第一建模数据构建相应的第一虚拟场景并通过头显进行显示;响应于针对头显的第一视角切换操作,切换飞行视角至第三人称视角,基于无人机的机身尺寸参数将第一实时位置偏移至第一虚拟场景中的第一目标位置;基于第一实时航向角和第一实时俯仰角生成无人机的第一孪生无人机模型并通过头显在第一目标位置进行显示。采用上述技术,可以在用户进行第一人称视角飞行体验时呈现实时视频画面并通过头显呈现无人机周围环境的虚拟场景,还可以通过头显由第一人称视角切换至第三人称视角并通过位置偏移和生成孪生无人机模型进行无人机相关信息的呈现,从而满足不同视角的飞行体验。
作为一种可能的实施方式,上述第三人称视角可以包括无人机第三人称视角和吊舱第三人称视角,无人机第三人称视角为以无人机作为第三人称的飞行视角,吊舱第三人称视角为以吊舱作为第三人称的飞行视角;基于此,上述无人机的多视角交互方法还可以包括:在飞行视角为无人机第三人称视角时,响应于针对头显的第二视角切换操作,将飞行视角由无人机第三人称视角切换至吊舱第三人称视角,获取吊舱的第二实时航向角和第二实时俯仰角,基于第二实时航向角和第二实时俯仰角将第一目标位置偏移至第一虚拟场景中的第二目标位置,基于第二实时航向角和第二实时俯仰角生成无人机的第二孪生无人机模型,通过头显在第二目标位置显示第二孪生无人机模型。
上述第二视角切换操作与上述第一视角切换操作类似,对此不进行赘述。
接续前例,在用户进行某个无人机的无人机第三人称视角飞行体验时,若用户针对头显进行第三视角切换操作则会触发飞行视角由无人机第三人称视角切换至吊舱第三人称视角;可直接从指定存储空间获取该无人机的数字孪生模型,并将该数字孪生模型与吊舱的实时航向角和实时俯仰角绑定,从而通过头显在该无人机周围环境的虚拟场景中与该吊舱对应的第二目标位置为用户呈现绑定后的数字孪生模型,以实现吊舱第三人称视角飞行的模拟。
作为一种可能的实施方式,上述步骤S106中将第一实时位置偏移至第一虚拟场景中的第一目标位置可以包括:基于无人机的机身尺寸参数,将第一实时位置偏移至第一目标位置。
示例性地,机身尺寸参数可以包括机身长度(即身最大边缘长度方向尺寸)、机身宽度(即身最大边缘宽度方向尺寸)和机身高度(即身最大边缘高度方向尺寸);在此基础上,可以定义无人机航向角为前,定义无人机航向角的反方向为后,定义第一实时位置的向后偏移值=机身长度值/2+可配置的第一偏移值,定义第一实时位置的向上偏移值=机身高度值/2+可配置的第二偏移值,则将第一实时位置偏移至第一目标位置的操作方式可以为:以第一实时位置的向后偏移值大小作为偏移量对第一实时位置进行向后偏移,并以第一实时位置的向上偏移值大小作为偏移量对由第一实时位置经过向后偏移得到的位置进行向上偏移,进而将由第一实时位置依次经过向后偏移和向上偏移后得到的位置作为第一目标位置。
作为一种可能的实施方式,上述步骤S108中基于第一实时航向角和第一实时俯仰角生成无人机的第一孪生无人机模型可以包括:获取无人机的初始孪生无人机模型;将初始孪生无人机模型的航向角调整为第一实时航向角,并将初始孪生无人机模型的俯仰角调整为第一实时俯仰角,得到第一孪生无人机模型。相应地,上述基于第二实时航向角和第二实时俯仰角生成无人机的第二孪生无人机模型的步骤可以包括:将初始孪生无人机模型的航向角调整为第二实时航向角,并将初始孪生无人机模型的俯仰角调整为第二实时俯仰角,得到第二孪生无人机模型。
接续前例,上述初始孪生无人机模型可以为前述相关内容中预先构建并存储至指定存储空间内的数字孪生模型,上述初始孪生无人机模型也可以具有相应的初始航向角(一般为0)和初始俯仰角(一般为0)。在将无人机的实时位置偏移至该无人机周围环境的虚拟场景中相应位置后,可直接从指定存储空间获取该无人机的初始孪生无人机模型,并将该初始孪生无人机模型的初始航向角调整为该无人机的实时航向角,以及将该初始孪生无人机模型的初始俯仰角调整为该无人机的实时俯仰角,进而将调整后的孪生无人机模型作为第一孪生无人机模型,以便后续可通过头显在该位置为用户呈现第一孪生无人机模型,以实现第三人称视角飞行的模拟。在将无人机所对应的第一目标位置偏移至该无人机周围环境的虚拟场景中与该无人机的吊舱对应的第二目标位置后,可将该初始孪生无人机模型的初始航向角调整为该吊舱的实时航向角,并将该初始孪生无人机模型的初始俯仰角调整为该吊舱的实时俯仰角,进而将调整后的孪生无人机模型作为第二孪生无人机模型,以便后续可通过头显在该第二目标位置为用户呈现第二孪生无人机模型,以实现吊舱第三人称视角飞行的模拟。
作为一种可能的实施方式,上述步骤S104中基于头显的视场角范围以及第一建模数据构建第一目标区域的第一虚拟场景并通过头显进行显示可以包括:基于第一建模数据构建第一目标区域的第一虚拟空间,将第一虚拟空间中位于视场角范围内的部分确定为第一虚拟场景并通过头显进行显示。
接续前例,可利用无人机的实时位置周围一定范围内的建模数据构建出该无人机周围环境的虚拟场景作为第一虚拟空间,并将第一虚拟空间中位于头显视场角范围内的部分确定为第一虚拟场景,以通过头显将第一虚拟场景呈现给用户,从而使用户可通过查看第一虚拟场景的方式获知无人机周围环境的信息。
作为一种可能的实施方式,上述无人机的多视角交互方法还包括:响应于针对头显的第一视角跟随操作,确定第一虚拟空间中与第一实时位置对应的第一基准位置,基于第一实时航向角和第一实时俯仰角将第一基准位置偏移至第一虚拟空间中的第三目标位置,并将头显的虚拟相机中心位置设置为第三目标位置。
上述第一视角跟随操作与上述第一视角切换操作和上述第二视角切换操作类似,对此不进行赘述。
由于头显是通过虚拟相机进行虚拟场景采集进而进行虚拟场景呈现的,且无人机周围环境的虚拟场景(即第一虚拟空间)是利用无人机周围环境一定范围内的建模数据构建而成,因而第一虚拟空间实际上可以被认为是对无人机周围环境的映射,可在第一虚拟空间中找到相应的位置与无人机的实时位置所对应。在用户针对头显进行第一视角跟随操作的触发作用下,可调用头显的相关接口从第一虚拟空间中找出与无人机实时位置所对应的位置作为第一基准位置,并基于该无人机的实时航向角和实时俯仰角将第一基准位置偏移至第一虚拟空间中相应位置作为第三目标位置,进而将头显的虚拟相机中心位置设置为第三目标位置,从而使头显所呈现虚拟场景内容随着无人机的实时位置、实时航向角和实时俯仰角同步发生变化。此外,在用户未针对头显进行第一视角跟随操作时,用户可通过头显随意查看各个方向的虚拟场景,进而结合虚拟场景和实时视频画面进行无人机飞行过程中相关情况的预判。
接续前例,可采用无人机中心位置作为无人机的实时位置,在从该无人机周围环境的虚拟场景中找出与无人机中心位置对应的第一基准位置后,可利用无人机的实时航向角定义第一基准位置与该实时航向角对应的偏移值(简称为“第一航向角偏移值”),利用无人机的实时俯仰角定义第一基准位置与该实时俯仰角对应的偏移值(简称为“第一俯仰角偏移值”),则将第一基准位置偏移至第三目标位置的操作方式可以为:以第一航向角偏移值大小作为偏移量对第一基准位置进行偏移,并以第一俯仰角偏移值大小作为偏移量对由第一基准位置经过上次偏移得到的位置进行偏移,进而将由第一基准位置依次经过两次偏移后得到的位置作为第三目标位置。
作为一种可能的实施方式,上述无人机的多视角交互方法还可以包括:响应于针对头显的视频隐藏操作,使头显停止播放实时视频并取消显示实时视频的画面。
上述视频隐藏操作与上述第一视角切换操作、上述第二视角切换操作和上述第一视角跟随操作类似,对此不进行赘述。
接续前例,在用户不需要查看无人机飞行过程中的实时视频画面时,用户可针对头显进行视频隐藏操作以触发头显隐藏实时视频画面,从而避免头显由于呈现实时视频画面而对其所呈现的其他内容造成遮挡,例如在用户需要查看全局虚拟场景时隐藏实时视频画面可以避免实时视频画面遮挡头显所呈现的虚拟场景,从而提升用户的体验。
基于上述无人机的多视角交互方法,本发明实施例还提供另一种无人机的多视角交互方法,参见图2所示,该方法可以包括:
步骤S202,获取无人机的第一实时位置、第一实时航向角和第一实时俯仰角以及第一实时位置所对应第一目标区域的第一建模数据。
步骤S204,在无人机的飞行视角为无人机第一人称视角时,获取图像采集设备采集到的实时视频并通过无人机对应的头显进行播放,基于头显的视场角范围以及第一建模数据构建第一目标区域的第一虚拟场景并通过头显进行显示。
步骤S206,响应于针对头显的第三视角切换操作,将飞行视角由无人机第一人称视角切换至吊舱第一人称视角,获取吊舱的第二实时航向角和第二实时俯仰角,基于第二实时航向角和第二实时俯仰角将第一实时位置偏移至第二实时位置。
其中,无人机第一人称视角为以无人机作为第一人称的飞行视角,吊舱第一人称视角为以无人机的吊舱作为第一人称的飞行视角。
上述第三视角切换操作与上述第一视角切换操作、上述第二视角切换操作、上述第一视角跟随操作和上述视频隐藏操作类似,对此不进行赘述。
步骤S208,获取第二实时位置所对应第二目标区域的第二建模数据,基于视场角范围以及第二建模数据构建第二目标区域的第二虚拟场景并通过头显进行显示。
在用户进行某个无人机的吊舱第一人称视角飞行体验时,若用户针对头显进行第二视角切换操作则会触发飞行视角由无人机第一人称视角切换至吊舱第一人称视角;可获取吊舱的实时航向角和实时俯仰角,并基于该吊舱与该无人机之间的相对位置关系将该无人机的实时位置偏移至该吊舱的实时位置,之后获取该吊舱的实时位置周围一定范围内的点云和倾斜模型作为建模数据,并利用该吊舱的实时位置周围一定范围内的建模数据构建出该吊舱周围环境的虚拟场景,以及通过头显将该虚拟场景中位于头显视场角范围内的部分呈现给用户,从而使用户在通过头显观看实时视频画面的同时也能够通过头显所呈现的虚拟场景获知吊舱周围环境的信息,提高了用户体验吊舱第一视角飞行的信息丰富性,利于用户对无人机飞行过程中可能发生的状况进行更全面的把控。
作为一种可能的实施方式,上述步骤S206中基于第二实时航向角和第二实时俯仰角将第一实时位置偏移至第二实时位置可以包括:基于无人机与吊舱之间的相对位置关系,将第一实时位置偏移至第一候选位置,基于第二实时航向角和第二实时俯仰角,将第一候选位置偏移至第二实时位置。
上述相对位置关系由吊舱在无人机上的安装位置决定,可以采用无人机中心位置作为无人机的实时位置,并采用吊舱中心位置作为吊舱的实时位置,根据无人机与吊舱之间的相对位置关系可计算出吊舱中心位置与无人机中心位置之间的位置偏差,进而利用该位置偏差在前后方向上的偏差值定义第一实时位置的向后偏移值,以及利用该位置偏差在上下方向上的偏差值定义第一实时位置的向上偏移值,则将第一实时位置偏移至第一候选位置的操作方式可以为:以第一实时位置的向后偏移值大小作为偏移量对第一实时位置进行向后偏移,并以第一实时位置的向上偏移值大小作为偏移量对由第一实时位置经过向后偏移得到的位置进行向上偏移,进而将由第一实时位置依次经过向后偏移和向上偏移后得到的位置作为第一候选位置。
接续前例,采用吊舱中心位置作为吊舱的实时位置,在确定吊舱中心位置(即吊舱的实时位置)后,可利用吊舱的实时航向角定义第一候选位置与该实时航向角对应的偏移值(简称为“第二航向角偏移值”),利用吊舱的实时俯仰角定义第一候选位置与该实时俯仰角对应的偏移值(简称为“第二俯仰角偏移值”),则将第一候选位置偏移至第二实时位置的操作方式可以为:以第二航向角偏移值大小作为偏移量对第一候选位置进行偏移,并以第二俯仰角偏移值大小作为偏移量对由第一候选位置经过上次偏移得到的位置进行偏移,偏移后得到第二实时位置。
作为一种可能的实施方式,基于视场角范围以及第二建模数据构建第二目标区域的第二虚拟场景并通过头显进行显示,可以包括:基于第二建模数据构建第二目标区域的第二虚拟空间,将第二虚拟空间中位于视场角范围内的部分确定为第二虚拟场景并通过头显进行显示。
接续前例,可利用吊舱的实时位置周围一定范围内的建模数据构建出该吊舱周围环境的虚拟场景作为第二虚拟空间,并将第二虚拟空间中位于头显视场角范围内的部分确定为第二虚拟场景,以通过头显将第二虚拟场景呈现给用户,从而使用户可通过头显查看第二虚拟场景获知吊舱周围环境的信息。
作为一种可能的实施方式,上述无人机的多视角交互方法还可以包括:响应于针对头显的第二视角跟随操作,确定第二虚拟空间中与第二实时位置对应的第二基准位置,基于第二实时航向角和第二实时俯仰角将第二基准位置偏移至第二虚拟空间中的第四目标位置,并将头显的虚拟相机中心位置设置为第四目标位置。
上述第二视角跟随操作与上述第一视角切换操作、上述第二视角切换操作、上述第一视角跟随操作和上述头显的视频隐藏操作类似,对此不进行赘述。
接续前例,由于吊舱周围环境的虚拟场景(即第二虚拟空间)是利用吊舱周围环境一定范围内的建模数据构建而成,因而第二虚拟空间实际上可以被认为是对吊舱周围环境的映射,可在第二虚拟空间中找到相应的位置与吊舱的实时位置所对应。在用户针对头显进行第二视角跟随操作的触发作用下,可调用头显的相关接口从第二虚拟空间中找出与吊舱实时位置所对应的第二基准位置,并基于该吊舱的实时航向角和实时俯仰角将第二基准位置偏移至第二虚拟空间中的第四目标位置,进而将头显的虚拟相机中心位置设置为第四目标位置,从而使头显所呈现虚拟场景内容随着吊舱的实时位置、实时航向角和实时俯仰角同步发生变化。用户还可在未针对头显进行第二视角跟随操作时通过头显随意查看各个方向的虚拟场景,进而根据头显所呈现的虚拟场景和实时视频画面进行相关预判。
为了便于理解,在此以具体应用为例对上述无人机的多视角交互方法的操作方式进行示例性描述如下。
参见图3所示,采用VR设备作为上述头显,VR设备为用于相关内容可视化显示和交互的硬件设备;并由VR设备、VR三维全息管控平台、后台管理系统以及吊舱上安装有相机的无人机之间的数据交互来实现上述无人机的多视角交互方法;VR三维全息管控平台可利用地图引擎(如Cesium等)、倾斜模型、点云等资源构建虚拟环境(即虚拟场景),实现虚拟环境中反映无人机周围环境信息及无人机相关状态信息(即无人机或吊舱的实时位置、实时航向角和实时俯仰角)的前端业务;后台管理系统可通过提供相关服务对VR三维全息管控平台的各类数据进行处理,相关服务可以包括视频流服务、IOT服务和航线管理服务,其中,视频流服务用于对相机拍摄的实时视频进行传输,IOT服务用于在物联网中对无人机进行飞行控制,航线管理服务用于规划无人机的航线并提供航线上各航点的位置数据;无人机是VR三维全息管控平台关键数据的提供者和业务的执行者。结合图2,上述无人机的多视角交互方法的具体过程可以分为以下三部分完成:
(1)VR三维全息管控平台构建虚拟环境。
VR三维全息管控平台可预先存储有预设区域范围内的点云(可由雷达获取得到)和倾斜模型(即附着纹理的三角面片网格模型,可由雷达或相机拍摄得到的图像生成得到);VR三维全息管控平台可选择同步设备(即VR设备),并加载对应无人机及其机库周围一定区域的点云和倾斜模型进行虚拟环境的构建。
(2)操纵VR设备的手柄进行视角切换。
VR设备配套有手柄,手柄上有视角控制界面,用户可通过操作视角控制界面的方式实现无人机的飞行视角切换以及其他相关功能。参见图4所示,该视角控制界面设置有第一视角选择开关(其左侧和右侧分别有字样“第一视角”和“第三视角”)和第二视角选择开关(其左侧和右侧分别有字样“飞机视角”和“吊舱视角”),其中一个视角选择开关用于进行第一视角(即第一人称视角)与第三视角(即第三人称视角)之间的切换,另一个视角选择开关用于进行飞机视角(即无人机视角)与吊舱视角(即吊舱视角)之间的切换,用户可通过使第一视角选择开关和第二视角选择开关处于指定档位的方式控制飞行视角为无人机第一人称视角、无人机第三人称视角、吊舱第一人称视角和吊舱第三人称视角这四种飞行视角中之一。
用户可通过手指点击第一视角选择开关或第二视角选择开关触发VR三维全息管控平台通过后台管理系统实时获取无人机相关状态信息(包括无人机或吊舱的经纬高位置信息和姿态信息)以及视频流地址,进而通过视频流地址实时查看相机所拍摄实时视频的画面;VR三维全息管控平台可将经纬高位置信息转换为地图引擎坐标系下的xyz坐标信息,并利用xyz坐标信息和姿态信息设置VR视角组件(用于VR设备呈现虚拟内容)和视频框组件(用于VR设备呈现相机所拍摄实时视频的画面)以实现VR设备相关内容的呈现。
第一人称视角与第三人称视角的切换可通过对实时位置进行偏移并设置给VR视角组件的方式来实现。以无人机第一人称视角切换至无人机第三人称视角为例,具体实现方式可以为:定义无人机实时航向角反方向的向后偏移值=机身最大边缘长度方向尺寸/2+第一偏移值,定义无人机实时位置的向上偏移值=机身最大边缘高度方向尺寸/2+第二偏移值,以该向后偏移值大小和该向上偏移值各自作为偏移量依次对无人机实时位置进行向后偏移和向上偏移,从而将无人机实时位置偏移至虚拟环境中对应位置;在无人机实时位置所偏移至的位置显示孪生无人机模型,并为该孪生无人机模型设置无人机的经纬高位置信息和姿态信息,以使该孪生无人机模型能够实时同步展示无人机的位姿。吊舱第一人称视角切换至吊舱第三人称视角的方式与上述方式类似,对此不再赘述。
为了实现无人机视角与吊舱视角之间的切换,需要从后台管理系统获取吊舱的实时姿态信息,在无人机实时状态信息(包括无人机的经纬高位置信息和姿态信息)的基础上进行偏移。实现无人机视角与吊舱视角之间切换需要对VR视角组件进行预制设置,预制设置方式可以包括:为VR设备的虚拟相机创建用于控制虚拟相机中心位置的VR视角相机节点,设置俯仰角旋转节点作为VR视角相机节点的父节点,设置偏航旋转节点作为俯仰角旋转节点的父节点,设置实时位置节点作为偏航旋转节点的父节点,具体节点层级关系如图5所示;每个节点各自具有相应的偏移参数。
在无人机视角(即无人机第一人称视角或无人机第三人称视角)下,所有节点的偏移参数(包括表征位置偏移的Position向量和表征旋转偏移的Rotation向量)均为0,仅为VR视角相机节点设置无人机实时状态信息,从而使VR设备的虚拟相机中心位置能够实时同步无人机实时状态信息。
在吊舱视角下,对所有节点的偏移参数进行赋值;具体赋值方式可以为:为实时位置节点设置与无人机实时位置对应一致的水平y方向值、水平x方向值和竖直z方向值组成该节点的Position向量,并为实时位置节点设置与无人机实时姿态对应一致的Rotation向量,以使实时位置节点能够同步无人机的实时位置和实时姿态;为偏航旋转节点旋转设置与吊舱实时航向角对应一致的水平y方向值和水平x方向值作为偏移参数的非零值,以使偏航旋转节点位置能够同步吊舱的实时航向角及其旋转轴;为俯仰角旋转节点设置与吊舱实时俯仰角对应一致的竖直z方向值作为偏移参数的非零值,以使俯仰角旋转节点能够同步吊舱的实时俯仰角及其旋转轴;为VR视角相机节点设置虚拟相机中心位置,以使VR设备的虚拟相机中心位置能够实时同步吊舱的实时姿态。按照由父节点到子节点的顺序依次以各节点偏移参数的赋值大小作为偏移量大小进行偏移,可以实现由无人机视角切换至吊舱视角。
(3)操纵VR设备的手柄进行视频显隐。
参见图4所示,VR设备的手柄所提供的视角控制界面还设置有视频显示按钮,视频显示按钮用于控制VR设备显示或隐藏实时视频。用户可通过手指点击视频显示按钮的方式触发视频框组件的显示或隐藏,以控制VR设备是否向用户呈现相机所拍摄实时视频的画面。
(4)操纵VR设备的手柄进行视角跟随。
参见图4所示,VR设备的手柄所提供的视角控制界面还设置有视角跟随按钮,视角跟随按钮用于控制VR设备所呈现虚拟环境是否随相应飞行视角下无人机相关实时状态同步变化;用户可通过手指点击视角跟随按钮的方式触发VR视角组件调用相应接口获取或释放VR设备虚拟相机的控制权,以控制VR设备向用户呈现的虚拟环境内容是否随当前飞行视角所对应实时位置、实时航向角和实时俯仰角同步变化;其中,VR设备获取VR视角组件(即虚拟相机)的控制权即为关闭视角跟随,VR设备所呈现虚拟环境内容不随当前飞行视角所对应位姿同步变化,用户可通过VR设备随意查看各方向的虚拟环境以便进行相关预判;VR设备放弃VR视角组件(即虚拟相机)的控制权即为开启视角跟随,强制VR设备所呈现虚拟环境内容随当前飞行视角所对应位姿同步变化,从而满足用户在当前飞行视角下进行飞行体验的需求。
图6至图9分别展示了上述四种不同飞行视角的示例图。
图6展示了无人机第一人称视角的示例图。图6中,视频框组件所提供的视频框位于VR设备所呈现内容的固定位置,VR视角组件所提供的VR视角默认随无人机位姿同步变化,用户可通过点击图4中的视频显示按钮控制视频框显示或隐藏,用户还可通过点击图4中的视角跟随按钮关闭视角跟随以通过VR视角随头变化全局查看虚拟环境。
图7展示了吊舱第一人称视角的示例图。图7中,VR视角将虚拟环境中的无人机实时位置点(与无人机实时位置对应)偏移到虚拟环境中的吊舱实时位置点(与吊舱实时位置对应),并调整视场角与虚拟环境匹配,从而呈现出相应的虚拟环境内容;VR视角默认随无人机位姿同步变化,用户可通过点击上述视频显示按钮控制视频框显示或隐藏,用户还可通过点击上述视角跟随按钮关闭视角跟随以通过VR视角随头变化全局查看虚拟环境。
图8展示了无人机第三人称视角的示例图。图8中,视频框所呈现画面与上述图6相同,在根据无人机的机身尺寸参数配置偏移参数对无人机实时位置点进行偏移后,VR视角除了呈现偏移后位置所对应虚拟环境内容以外还会在偏移后位置处呈现孪生飞机模型(即无人机的孪生无人机模型),该孪生飞机模型还可以绑定有无人机的实时位置、实时航向角、实时俯仰角等信息。
图9展示了吊舱第三人称视角的示例图。图9中,视频框所呈现画面与上述图7相同,在根据无人机的机身尺寸参数配置偏移参数对吊舱实时位置点进行偏移后,VR视角所呈现的内容包括偏移后位置所对应的虚拟环境内容以及偏移后位置处的孪生飞机模型,该孪生飞机模型还可以绑定有无人机的实时位置、实施航向角、实时俯仰角等信息。
上述无人机的多视角交互方法能够在现有无人机用头显仅支持用户体验第一人称视角飞行体验的基础上,支持第一人称视角与第三人称视角之间以及无人机视角与吊舱视角之间的自由切换;增加了虚拟环境内容的呈现,相比于现有无人机头显仅呈现相机画面的方式能够为用户提供飞行过程中更全面的信息;且第三人称视角的内容呈现方式充分考虑了无人机或吊舱的实时状态,利于用户在进行飞行体验时根据无人机或吊舱的实时状态进行更合理的预判。
基于上述无人机的多视角交互方法,本发明实施例还提供一种无人机的多视角交互装置,参见图10所示,该装置可以包括以下模块:
第一获取模块1002,用于获取所述无人机的第一实时位置、第一实时航向角和第一实时俯仰角以及所述第一实时位置所对应第一目标区域的第一建模数据。
第一处理显示模块1004,用于在所述无人机的飞行视角为第一人称视角时,获取所述图像采集设备采集到的实时视频并通过所述无人机对应的头显进行播放,基于所述头显的视场角范围以及所述第一建模数据构建所述第一目标区域的第一虚拟场景并通过所述头显进行显示。
第一视角切换模块1006,用于响应于针对所述头显的第一视角切换操作,将所述飞行视角由所述第一人称视角切换至第三人称视角,将所述第一实时位置偏移至所述第一虚拟场景中的第一目标位置。
第二处理显示模块1008,用于基于所述第一实时航向角和所述第一实时俯仰角生成所述无人机的第一孪生无人机模型,通过所述头显在所述第一目标位置显示所述第一孪生无人机模型。
本发明实施例提供的一种无人机的多视角交互装置,可以在用户进行第一人称视角飞行体验时呈现实时视频画面并通过头显呈现无人机周围环境的虚拟场景,还可以通过头显由第一人称视角切换至第三人称视角并通过位置偏移和生成孪生无人机模型进行无人机相关信息的呈现,从而满足不同视角的飞行体验。
上述第二处理显示模块1008还可以用于:在所述飞行视角为所述无人机第一人称视角时,响应于针对所述头显的第二视角切换操作,将所述飞行视角由所述无人机第三人称视角切换至所述吊舱第三人称视角,获取所述吊舱的第二实时航向角和第二实时俯仰角,基于所述第二实时航向角和所述第二实时俯仰角将所述第一目标位置偏移至所述第一虚拟场景中的第二目标位置,基于所述第二实时航向角和所述第二实时俯仰角生成所述无人机的第二孪生无人机模型,通过所述头显在所述第二目标位置显示所述第二孪生无人机模型。
上述第一视角切换模块1006还可以用于:基于所述无人机的机身尺寸参数,将所述第一实时位置偏移至所述第一目标位置。
上述第二处理显示模块1008还可以用于:获取所述无人机的初始孪生无人机模型;将所述初始孪生无人机模型的航向角调整为所述第一实时航向角,并将所述初始孪生无人机模型的俯仰角调整为所述第一实时俯仰角,得到所述第一孪生无人机模型。
上述第二处理显示模块1008还可以用于:将所述初始孪生无人机模型的航向角调整为所述第二实时航向角,并将所述初始孪生无人机模型的俯仰角调整为所述第二实时俯仰角,得到所述第二孪生无人机模型。
上述第一处理显示模块1004还可以用于:基于所述第一建模数据构建所述第一目标区域的第一虚拟空间,将所述第一虚拟空间中位于所述视场角范围内的部分确定为所述第一虚拟场景并通过所述头显进行显示。
参见图10所示,该装置还可以包括:
第一视角跟随模块1010,用于响应于针对所述头显的第一视角跟随操作,确定所述第一虚拟空间中与所述第一实时位置对应的第一基准位置,基于所述第一实时航向角和所述第一实时俯仰角将所述第一基准位置偏移至所述第一虚拟空间中的第三目标位置,将所述头显的虚拟相机中心位置设置为所述第三目标位置。
第一视频隐藏模块1012,用于响应于针对所述头显的视频隐藏操作,使所述头显停止播放所述实时视频并取消显示所述实时视频的画面。
基于上述图10所示的无人机的多视角交互装置,本发明实施例还提供一种无人机的多视角交互装置,参见图11所示,该装置可以包括以下模块:
第二获取模块1102,用于获取所述无人机的第一实时位置、第一实时航向角和第一实时俯仰角以及所述第一实时位置所对应第一目标区域的第一建模数据。
第三处理显示模块1104,用于在所述无人机的飞行视角为无人机第一人称视角时,获取所述图像采集设备采集到的实时视频并通过所述无人机对应的头显进行播放,基于所述头显的视场角范围以及所述第一建模数据构建所述第一目标区域的第一虚拟场景并通过所述头显进行显示。
第二视角切换模块1106,用于响应于针对所述头显的第三视角切换操作,将所述飞行视角由所述无人机第一人称视角切换至吊舱第一人称视角,获取所述吊舱的第二实时航向角和第二实时俯仰角,基于所述第二实时航向角和所述第二实时俯仰角将所述第一实时位置偏移至第二实时位置。
第四处理显示模块1108,用于获取所述第二实时位置所对应第二目标区域的第二建模数据,基于所述视场角范围以及所述第二建模数据构建所述第二目标区域的第二虚拟场景并通过所述头显进行显示。
上述第二视角切换模块1106还可以用于:基于所述无人机与所述吊舱之间的相对位置关系,将所述第一实时位置偏移至第一候选位置;基于所述第二实时航向角和所述第二实时俯仰角,将所述第一候选位置偏移至第二实时位置。
上述第四处理显示模块1108还可以用于:基于所述第二建模数据构建所述第二目标区域的第二虚拟空间,将所述第二虚拟空间中位于所述视场角范围内的部分确定为所述第二虚拟场景并通过所述头显进行显示。
参见图11所示,该装置还可以包括:
第二视角跟随模块1110,用于响应于针对所述头显的第二视角跟随操作,确定所述第二虚拟空间中与所述第二实时位置对应的第二基准位置,基于所述第二实时航向角和所述第二实时俯仰角将所述第二基准位置偏移至所述第二虚拟空间中的第四目标位置,将所述头显的虚拟相机中心位置设置为所述第四目标位置。
第二视频隐藏模块1112,用于响应于针对所述头显的视频隐藏操作,使所述头显停止播放所述实时视频并取消显示所述实时视频的画面。
本发明实施例所提供的无人机的多视角交互装置,其实现原理及产生的技术效果和前述无人机的多视角交互方法实施例相同,为简要描述,装置实施例部分未提及之处,可参考前述方法实施例中相应内容。
本发明实施例还提供一种计算机存储介质,用于存储为上述无人机的多视角交互方法所用的计算机软件指令,具体实现可参见前述方法实施例,在此不再赘述。
本发明实施例所提供的无人机的多视角交互方法和装置的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行前面方法实施例中所述的无人机的多视角交互方法,具体实现可参见方法实施例,在此不再赘述。
除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本发明的范围。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本发明的描述中,需要说明的是,术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。

Claims (13)

1.一种无人机的多视角交互方法,其特征在于,所述无人机的吊舱上安装有图像采集设备;所述方法包括:
获取所述无人机的第一实时位置、第一实时航向角和第一实时俯仰角以及所述第一实时位置所对应第一目标区域的第一建模数据;所述第一建模数据为点云和倾斜模型;
在所述无人机的飞行视角为第一人称视角时,获取所述图像采集设备采集到的实时视频并通过所述无人机对应的头显进行播放,基于所述头显的视场角范围以及所述第一建模数据构建所述第一目标区域的第一虚拟场景并通过所述头显进行显示;
响应于针对所述头显的第一视角切换操作,将所述飞行视角由所述第一人称视角切换至第三人称视角,基于所述无人机的机身尺寸参数将所述第一实时位置偏移至所述第一虚拟场景中的第一目标位置;
基于所述第一实时航向角和所述第一实时俯仰角生成所述无人机的第一孪生无人机模型,通过所述头显在所述第一目标位置显示所述第一孪生无人机模型;所述第一孪生无人机模型绑定有所述第一实时航向角和所述第一实时俯仰角;
所述机身尺寸参数包括机身长度和机身高度;基于所述无人机的机身尺寸参数将所述第一实时位置偏移至所述第一虚拟场景中的第一目标位置,包括:基于所述机身长度值和所述机身高度值,确定所述第一实时位置的向后偏移值和向上偏移值;以所述向后偏移值大小作为偏移量对所述第一实时位置进行向后偏移,并以所述向上偏移值大小作为偏移量对由所述第一实时位置经过向后偏移得到的位置进行向上偏移,之后将由所述第一实时位置依次经过向后偏移和向上偏移后得到的位置作为所述第一目标位置。
2.根据权利要求1所述的方法,其特征在于,所述第三人称视角包括无人机第三人称视角和吊舱第三人称视角;所述方法还包括:
在所述飞行视角为所述无人机第三人称视角时,响应于针对所述头显的第二视角切换操作,将所述飞行视角由所述无人机第三人称视角切换至所述吊舱第三人称视角,获取所述吊舱的第二实时航向角和第二实时俯仰角,基于所述第二实时航向角和所述第二实时俯仰角将所述第一目标位置偏移至所述第一虚拟场景中的第二目标位置,基于所述第二实时航向角和所述第二实时俯仰角生成所述无人机的第二孪生无人机模型,通过所述头显在所述第二目标位置显示所述第二孪生无人机模型。
3.根据权利要求2所述的方法,其特征在于,基于所述第一实时航向角和所述第一实时俯仰角生成所述无人机的第一孪生无人机模型,包括:
获取所述无人机的初始孪生无人机模型;
将所述初始孪生无人机模型的航向角调整为所述第一实时航向角,并将所述初始孪生无人机模型的俯仰角调整为所述第一实时俯仰角,得到所述第一孪生无人机模型;
基于所述第二实时航向角和所述第二实时俯仰角生成所述无人机的第二孪生无人机模型,包括:
将所述初始孪生无人机模型的航向角调整为所述第二实时航向角,并将所述初始孪生无人机模型的俯仰角调整为所述第二实时俯仰角,得到所述第二孪生无人机模型。
4.根据权利要求1所述的方法,其特征在于,基于所述头显的视场角范围以及所述第一建模数据构建所述第一目标区域的第一虚拟场景并通过所述头显进行显示,包括:
基于所述第一建模数据构建所述第一目标区域的第一虚拟空间,将所述第一虚拟空间中位于所述视场角范围内的部分确定为所述第一虚拟场景并通过所述头显进行显示。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
响应于针对所述头显的第一视角跟随操作,确定所述第一虚拟空间中与所述第一实时位置对应的第一基准位置,基于所述第一实时航向角和所述第一实时俯仰角将所述第一基准位置偏移至所述第一虚拟空间中的第三目标位置,将所述头显的虚拟相机中心位置设置为所述第三目标位置。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
响应于针对所述头显的视频隐藏操作,使所述头显停止播放所述实时视频并取消显示所述实时视频的画面。
7.一种无人机的多视角交互方法,其特征在于,所述无人机的吊舱上安装有图像采集设备;所述方法包括:
获取所述无人机的第一实时位置、第一实时航向角和第一实时俯仰角以及所述第一实时位置所对应第一目标区域的第一建模数据;所述第一建模数据为点云和倾斜模型;
在所述无人机的飞行视角为无人机第一人称视角时,获取所述图像采集设备采集到的实时视频并通过所述无人机对应的头显进行播放,基于所述头显的视场角范围以及所述第一建模数据构建所述第一目标区域的第一虚拟场景并通过所述头显进行显示;
响应于针对所述头显的第三视角切换操作,将所述飞行视角由所述无人机第一人称视角切换至吊舱第一人称视角,获取所述吊舱的第二实时航向角和第二实时俯仰角,基于所述无人机与所述吊舱之间的相对位置关系将所述第一实时位置偏移至第一候选位置,基于所述第二实时航向角和所述第二实时俯仰角将所述第一候选位置偏移至第二实时位置;
获取所述第二实时位置所对应第二目标区域的第二建模数据,基于所述视场角范围以及所述第二建模数据构建所述第二目标区域的第二虚拟场景并通过所述头显进行显示;所述第二建模数据为点云和倾斜模型;
基于所述无人机与所述吊舱之间的相对位置关系将所述第一实时位置偏移至第一候选位置,包括:基于所述相对位置关系确定所述第一实时位置的向后偏移值和向上偏移值;以所述向上偏移值大小作为偏移量对由所述第一实时位置经过向后偏移得到的位置进行向上偏移,并将由所述第一实时位置依次经过向后偏移和向上偏移后得到的位置作为所述第一候选位置;
基于所述第二实时航向角和所述第二实时俯仰角将所述第一候选位置偏移至第二实时位置,包括:基于所述第二实时航向角和所述第二实时俯仰角,确定所述第一候选位置分别与所述第二实时航向角和所述第二实时俯仰角对应的第二航向角偏移值和第二俯仰角偏移值;以所述第二航向角偏移值大小作为偏移量对所述第一候选位置进行偏移,并以所述第二俯仰角偏移值大小作为偏移量对由所述第一候选位置经过上次偏移得到的位置进行偏移,偏移后得到所述第二实时位置。
8.根据权利要求7所述的方法,其特征在于,基于所述视场角范围以及所述第二建模数据构建所述第二目标区域的第二虚拟场景并通过所述头显进行显示,包括:
基于所述第二建模数据构建所述第二目标区域的第二虚拟空间,将所述第二虚拟空间中位于所述视场角范围内的部分确定为所述第二虚拟场景并通过所述头显进行显示。
9.根据权利要求8所述的方法,其特征在于,所述方法还包括:
响应于针对所述头显的第二视角跟随操作,确定所述第二虚拟空间中与所述第二实时位置对应的第二基准位置,基于所述第二实时航向角和所述第二实时俯仰角将所述第二基准位置偏移至所述第二虚拟空间中的第四目标位置,将所述头显的虚拟相机中心位置设置为所述第四目标位置。
10.根据权利要求7所述的方法,其特征在于,所述方法还包括:
响应于针对所述头显的视频隐藏操作,使所述头显停止播放所述实时视频并取消显示所述实时视频的画面。
11.一种无人机的多视角交互装置,其特征在于,所述无人机的吊舱上安装有图像采集设备;所述装置包括:
第一获取模块,用于获取所述无人机的第一实时位置、第一实时航向角和第一实时俯仰角以及所述第一实时位置所对应第一目标区域的第一建模数据;所述第一建模数据为点云和倾斜模型;
第一处理显示模块,用于在所述无人机的飞行视角为第一人称视角时,获取所述图像采集设备采集到的实时视频并通过所述无人机对应的头显进行播放,基于所述头显的视场角范围以及所述第一建模数据构建所述第一目标区域的第一虚拟场景并通过所述头显进行显示;
第一视角切换模块,用于响应于针对所述头显的第一视角切换操作,将所述飞行视角由所述第一人称视角切换至第三人称视角,基于所述无人机的机身尺寸参数,将所述第一实时位置偏移至所述第一虚拟场景中的第一目标位置;
第二处理显示模块,用于基于所述第一实时航向角和所述第一实时俯仰角生成所述无人机的第一孪生无人机模型,通过所述头显在所述第一目标位置显示所述第一孪生无人机模型;所述第一孪生无人机模型绑定有所述第一实时航向角和所述第一实时俯仰角;
所述机身尺寸参数包括机身长度和机身高度;所述第一视角切换模块还用于:基于所述机身长度值和所述机身高度值,确定所述第一实时位置的向后偏移值和向上偏移值;以所述向后偏移值大小作为偏移量对所述第一实时位置进行向后偏移,并以所述向上偏移值大小作为偏移量对由所述第一实时位置经过向后偏移得到的位置进行向上偏移,之后将由所述第一实时位置依次经过向后偏移和向上偏移后得到的位置作为所述第一目标位置。
12.一种无人机的多视角交互装置,其特征在于,所述无人机的吊舱上安装有图像采集设备;所述装置包括:
第二获取模块,用于获取所述无人机的第一实时位置、第一实时航向角和第一实时俯仰角以及所述第一实时位置所对应第一目标区域的第一建模数据;所述第一建模数据为点云和倾斜模型;
第三处理显示模块,用于在所述无人机的飞行视角为无人机第一人称视角时,获取所述图像采集设备采集到的实时视频并通过所述无人机对应的头显进行播放,基于所述头显的视场角范围以及所述第一建模数据构建所述第一目标区域的第一虚拟场景并通过所述头显进行显示;
第二视角切换模块,用于响应于针对所述头显的第三视角切换操作,将所述飞行视角由所述无人机第一人称视角切换至吊舱第一人称视角,获取所述吊舱的第二实时航向角和第二实时俯仰角,基于所述无人机与所述吊舱之间的相对位置关系将所述第一实时位置偏移至第一候选位置,基于所述第二实时航向角和所述第二实时俯仰角将所述第一候选位置偏移至第二实时位置;
第四处理显示模块,用于获取所述第二实时位置所对应第二目标区域的第二建模数据,基于所述视场角范围以及所述第二建模数据构建所述第二目标区域的第二虚拟场景并通过所述头显进行显示;所述第二建模数据为点云和倾斜模型;
所述第二视角切换模块还用于:基于所述相对位置关系确定所述第一实时位置的向后偏移值和向上偏移值;以所述向上偏移值大小作为偏移量对由所述第一实时位置经过向后偏移得到的位置进行向上偏移,并将由所述第一实时位置依次经过向后偏移和向上偏移后得到的位置作为所述第一候选位置;基于所述第二实时航向角和所述第二实时俯仰角,确定所述第一候选位置分别与所述第二实时航向角和所述第二实时俯仰角对应的第二航向角偏移值和第二俯仰角偏移值;以所述第二航向角偏移值大小作为偏移量对所述第一候选位置进行偏移,并以所述第二俯仰角偏移值大小作为偏移量对由所述第一候选位置经过上次偏移得到的位置进行偏移,偏移后得到所述第二实时位置。
13.一种计算机存储介质,其特征在于,用于存储为权利要求1至10任一项所述方法所用的计算机软件指令。
CN202311696104.6A 2023-12-12 2023-12-12 无人机的多视角交互方法、装置及存储介质 Active CN117389338B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311696104.6A CN117389338B (zh) 2023-12-12 2023-12-12 无人机的多视角交互方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311696104.6A CN117389338B (zh) 2023-12-12 2023-12-12 无人机的多视角交互方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN117389338A CN117389338A (zh) 2024-01-12
CN117389338B true CN117389338B (zh) 2024-03-08

Family

ID=89468755

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311696104.6A Active CN117389338B (zh) 2023-12-12 2023-12-12 无人机的多视角交互方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN117389338B (zh)

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106125747A (zh) * 2016-07-13 2016-11-16 国网福建省电力有限公司 基于vr交互的无人机机载第一视角随动吊舱系统
CN106131488A (zh) * 2016-07-12 2016-11-16 北京仿真中心 一种基于无人机的增强现实方法
CN107703956A (zh) * 2017-09-28 2018-02-16 山东鲁能智能技术有限公司 一种基于惯性捕捉技术的虚拟交互系统及其工作方法
KR20190063883A (ko) * 2017-11-30 2019-06-10 로보웍스(주) 드론을 이용한 증강현실 인터렉티브 게임 컨텐츠의 제공 시스템
CN110189578A (zh) * 2019-05-20 2019-08-30 北京悉见科技有限公司 一种基于增强现实进行飞行员训练的方法和装置
CN111443723A (zh) * 2020-04-07 2020-07-24 中国航空无线电电子研究所 一种无人机第三视角视景生成和显示程序
CN111651036A (zh) * 2020-04-27 2020-09-11 国网江苏省电力有限公司技能培训中心 用于电力巡检的无人机模拟训练系统及方法
CN113485392A (zh) * 2021-06-17 2021-10-08 广东工业大学 基于数字孪生的虚拟现实交互方法
CN113515137A (zh) * 2021-04-09 2021-10-19 北京三快在线科技有限公司 一种无人机控制方法、装置、存储介质及电子设备
CN113721479A (zh) * 2021-08-10 2021-11-30 海创飞龙(福建)科技有限公司 一种无人机模拟训练系统
CN216291234U (zh) * 2021-12-01 2022-04-12 北京中科优辰星宇科技有限责任公司 第三人称视角拍摄系统
CN115407678A (zh) * 2022-08-20 2022-11-29 西安翔腾微电子科技有限公司 一种智能空战虚拟现实场景仿真系统
CN115691230A (zh) * 2022-11-03 2023-02-03 成都沃飞天驭科技有限公司 飞行显示方法、装置、飞行器及存储介质
CN115688286A (zh) * 2022-11-14 2023-02-03 北京航空航天大学 一种快速构建航空装备数字孪生的系统和方法
EP4187207A1 (en) * 2021-11-19 2023-05-31 Honeywell International Inc. Apparatuses, computer-implemented methods, and computer program product to assist aerial vehicle pilot for vertical landing and/or takeoff

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9317108B2 (en) * 2004-11-02 2016-04-19 Pierre A. Touma Hand-held wireless electronic device with accelerometer for interacting with a display
US11023095B2 (en) * 2019-07-12 2021-06-01 Cinemoi North America, LLC Providing a first person view in a virtual world using a lens
US20220143502A1 (en) * 2020-11-11 2022-05-12 Activision Publishing, Inc. Systems and Methods for Procedurally Animating a Virtual Camera Associated with Player-Controlled Avatars in Video Games
TWI802115B (zh) * 2021-11-30 2023-05-11 仁寶電腦工業股份有限公司 無人機的控制裝置及其控制方法

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106131488A (zh) * 2016-07-12 2016-11-16 北京仿真中心 一种基于无人机的增强现实方法
CN106125747A (zh) * 2016-07-13 2016-11-16 国网福建省电力有限公司 基于vr交互的无人机机载第一视角随动吊舱系统
CN107703956A (zh) * 2017-09-28 2018-02-16 山东鲁能智能技术有限公司 一种基于惯性捕捉技术的虚拟交互系统及其工作方法
KR20190063883A (ko) * 2017-11-30 2019-06-10 로보웍스(주) 드론을 이용한 증강현실 인터렉티브 게임 컨텐츠의 제공 시스템
CN110189578A (zh) * 2019-05-20 2019-08-30 北京悉见科技有限公司 一种基于增强现实进行飞行员训练的方法和装置
CN111443723A (zh) * 2020-04-07 2020-07-24 中国航空无线电电子研究所 一种无人机第三视角视景生成和显示程序
CN111651036A (zh) * 2020-04-27 2020-09-11 国网江苏省电力有限公司技能培训中心 用于电力巡检的无人机模拟训练系统及方法
CN113515137A (zh) * 2021-04-09 2021-10-19 北京三快在线科技有限公司 一种无人机控制方法、装置、存储介质及电子设备
CN113485392A (zh) * 2021-06-17 2021-10-08 广东工业大学 基于数字孪生的虚拟现实交互方法
CN113721479A (zh) * 2021-08-10 2021-11-30 海创飞龙(福建)科技有限公司 一种无人机模拟训练系统
EP4187207A1 (en) * 2021-11-19 2023-05-31 Honeywell International Inc. Apparatuses, computer-implemented methods, and computer program product to assist aerial vehicle pilot for vertical landing and/or takeoff
CN216291234U (zh) * 2021-12-01 2022-04-12 北京中科优辰星宇科技有限责任公司 第三人称视角拍摄系统
CN115407678A (zh) * 2022-08-20 2022-11-29 西安翔腾微电子科技有限公司 一种智能空战虚拟现实场景仿真系统
CN115691230A (zh) * 2022-11-03 2023-02-03 成都沃飞天驭科技有限公司 飞行显示方法、装置、飞行器及存储介质
CN115688286A (zh) * 2022-11-14 2023-02-03 北京航空航天大学 一种快速构建航空装备数字孪生的系统和方法

Also Published As

Publication number Publication date
CN117389338A (zh) 2024-01-12

Similar Documents

Publication Publication Date Title
CN105354820B (zh) 调整虚拟现实图像的方法及装置
RU2621644C2 (ru) Мир массового одновременного удаленного цифрового присутствия
KR101722177B1 (ko) 하이브리드 방식으로 vr 컨텐츠를 디스플레이하는 방법 및 장치
CN110874818B (zh) 图像处理和虚拟空间构建方法、装置、系统和存储介质
US20190088025A1 (en) System and method for authoring and viewing augmented reality content with a drone
CN108629830A (zh) 一种三维环境信息显示方法及设备
EP2629265A1 (en) Method and system for driving simulated virtual environments with real data
Veas et al. Extended overview techniques for outdoor augmented reality
CN106296783A (zh) 一种结合空间全局3d视图和全景图片的空间展示方法
EP2175636A1 (en) Method and system for integrating virtual entities within live video
CN114401414B (zh) 沉浸式直播的信息显示方法及系统、信息推送方法
EP2930671A1 (en) Dynamically adapting a virtual venue
US9025007B1 (en) Configuring stereo cameras
KR102022902B1 (ko) 가상현실 콘텐츠 생성방법 및 프로그램
Chen et al. ARPilot: designing and investigating AR shooting interfaces on mobile devices for drone videography
CN113066189B (zh) 一种增强现实设备及虚实物体遮挡显示方法
US20230359198A1 (en) Unmanned aerial vehicle, control method thereof, and storage medium
CN117389338B (zh) 无人机的多视角交互方法、装置及存储介质
JP2023171298A (ja) 拡張現実及び複合現実のための空間とコンテンツの適合
WO2023015868A1 (zh) 图像背景生成方法及装置、计算机可读存储介质
CN115619990A (zh) 一种基于虚拟现实技术的三维态势显示方法及系统
US11948257B2 (en) Systems and methods for augmented reality video generation
CN113870345B (zh) 基于三维场景的飞行定位方法以及装置、存储介质、电子装置
US20200410734A1 (en) Spatial reproduction method and spatial reproduction system
US20240112394A1 (en) AI Methods for Transforming a Text Prompt into an Immersive Volumetric Photo or Video

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant