CN112669469B - 基于无人机和全景相机的发电厂虚拟漫游系统及方法 - Google Patents

基于无人机和全景相机的发电厂虚拟漫游系统及方法 Download PDF

Info

Publication number
CN112669469B
CN112669469B CN202110023710.6A CN202110023710A CN112669469B CN 112669469 B CN112669469 B CN 112669469B CN 202110023710 A CN202110023710 A CN 202110023710A CN 112669469 B CN112669469 B CN 112669469B
Authority
CN
China
Prior art keywords
image
user
image processing
aerial vehicle
unmanned aerial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110023710.6A
Other languages
English (en)
Other versions
CN112669469A (zh
Inventor
李岩
张健
宋士瞻
刘玉娇
康文文
王坤
代二刚
李森
刘振虎
韩锋
杨凤文
燕重阳
张浩伟
庞春江
王新颖
邵绪强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
North China Electric Power University
Zaozhuang Power Supply Co of State Grid Shandong Electric Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
North China Electric Power University
Zaozhuang Power Supply Co of State Grid Shandong Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, North China Electric Power University, Zaozhuang Power Supply Co of State Grid Shandong Electric Power Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN202110023710.6A priority Critical patent/CN112669469B/zh
Publication of CN112669469A publication Critical patent/CN112669469A/zh
Application granted granted Critical
Publication of CN112669469B publication Critical patent/CN112669469B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明适用于虚拟现实领域,提供一种基于无人机和全景相机的发电厂虚拟漫游系统及方法。该系统包括控制设备、无人机、图像处理设备和显示设备。控制设备用于获取用户的状态信息和用户输入的控制信息,并向所述无人机发送所述控制信息,向图像处理设备发送所述状态信息;无人机用于根据所述控制信息进行飞行控制,在飞行过程中采集图像数据,向图像处理设备发送所述图像数据;图像处理设备用于根据所述状态信息和所述图像数据,生成三维场景数据,并向显示设备发送所述三维场景数据;显示设备根据所述三维场景数据,生成并显示三维场景。本发明能够解决现有虚拟漫游系统中通过预先采集图像构建静态场景,场景画面不能及时更新的问题。

Description

基于无人机和全景相机的发电厂虚拟漫游系统及方法
技术领域
本发明属于虚拟现实技术领域,尤其涉及一种基于无人机和全景相机的发电厂虚拟漫游系统及方法。
背景技术
当前,虚拟现实技术飞速发展。虚拟漫游作为虚拟现实技术高速发展的重要体现,是指在由全景图像构建的全景空间里进行虚拟漫游切换,达到浏览各个不同场景的目的,由于其具有沉浸感、交互性和构想性,使得该技术比沿用传统漫游手段的其他漫游技术和方法具有极强的优越性。例如,在发电厂场景仿真技术中应用虚拟漫游技术可以使用户在室内通过漫游系统便可浏览和监控整个电厂。
然而,现有的虚拟漫游通过预先采集图像构建静态场景,在用户使用时场景画面更新不及时。如果真实场景发生变化,而静态场景没有及时更新,会造成用户所处虚拟漫游场景与真实场景不一致。
发明内容
本发明的目的在于提供一种基于无人机和全景相机的发电厂虚拟漫游系统及方法,以解决现有虚拟漫游系统中场景画面不能及时更新的问题。
为实现上述目的,本发明采用的技术方案是:提供一种基于无人机和全景相机的发电厂虚拟漫游系统,包括:
控制设备、无人机、图像处理设备、显示设备;
所述控制设备,用于获取用户的状态信息和用户输入的控制信息,并向所述无人机发送所述控制信息,向图像处理设备发送所述状态信息;
所述无人机,用于根据所述控制信息进行飞行控制,并在飞行过程中采集图像数据,向所述图像处理设备发送所述图像数据;
所述图像处理设备,用于根据所述状态信息和所述图像数据,生成三维场景数据,并向所述显示设备发送所述三维场景数据;
所述显示设备用于根据所述三维场景数据,生成并显示三维场景。
可选的,所述控制设备包括行走控制单元、飞行控制单元和通信单元;
所述行走控制单元用于获取所述状态信息;
所述飞行控制单元用于获取所述控制信息;
所述通信单元用于向所述无人机发送所述控制信息,向图像处理设备发送所述状态信息。
可选的,所述状态信息包括下述至少一项:
用户的位置信息、移动方向、移动速度。
可选的,所述显示设备,还用于:
采集用户头部位置信息,并将所述头部位置信息发送至图像处理设备,其中,所述头部位置信息包括下述至少一项:头部位置坐标和视野朝向;
所述图像处理设备,用于:
根据所述状态信息、所述图像数据和所述头部位置信息,生成所述三维场景数据。
可选的,所述无人机配备有全景相机;
所述无人机,用于:
以所述无人机位置为坐标原点采集所述图像数据。
可选的,所述无人机,还用于:
在向所述图像处理设备发送所述图像数据之前,对所述图像数据进行预处理,其中所述预处理包括以下至少一项:图像校正、噪声抑制和图像增强。
可选的,所述图像数据包括多张图像,所述图像处理设备,具体用于:
针对每张图像,通过均值滤波算法对该图像进行噪声抑制处理,并通过普里姆算法对该图像进行图像锐化处理;获取该图像中的像素灰度梯度,并根据所述像素灰度梯度,计算该图像的灰度梯度矢量;根据所述灰度梯度矢量,提取该图像的特征点;
根据各张图像的特征点,对各张图像进行特征点匹配,根据匹配结果,将各张图像进行融合,并对融合后的图像中的拼接边缘区域进行平滑处理,以得到全景图像;
根据所述全景图像,生成三维场景数据。
可选的,所述图像处理设备,具体用于:
创建三维球体模型;
以所述三维球体模型为容器,根据预设渲染方式将所述全景图像贴于所述三维球体模型内部,以得到所述三维场景数据。
可选的,所述显示设备包括下述至少一项:虚拟现实头盔、虚拟现实眼镜、虚拟现实手机、虚拟现实手表。所述控制设备包括万向行走平台;所述图像处理设备包括终端设备和/或服务器。
可选的,本申请还提供了一种基于无人机和全景相机的发电厂虚拟漫游方法,包括:
控制设备获取用户的状态信息和用户输入的控制信息,并向无人机发送所述控制信息,向图像处理设备发送所述状态信息;
所述无人机根据所述控制信息进行飞行控制,并在飞行过程中采集图像数据,向所述图像处理设备发送所述图像数据;
所述图像处理设备根据所述状态信息和所述图像数据,生成三维场景数据,并向显示设备发送所述三维场景数据;
所述显示设备根据所述三维场景数据,生成并显示三维场景。
本发明与现有技术相比存在的有益效果是:基于无人机和全景相机的发电厂虚拟漫游系统包括控制设备、无人机、图像处理设备、显示设备;控制设备获取用户的状态信息和用户输入的控制信息,并向无人机发送所述控制信息,向图像处理设备发送状态信息;无人机根据控制信息进行飞行控制,并在飞行过程中采集图像数据,向图像处理设备发送图像数据;图像处理设备根据状态信息和图像数据,生成三维场景数据,并向显示设备发送三维场景数据;显示设备根据三维场景数据,生成并显示三维场景,通过无人机与控制设备联动,在用户使用基于无人机和全景相机的发电厂虚拟漫游系统时,根据用户的状态信息和控制信息控制无人机采集图像并生成三维场景,能够实现在用户进行全景漫游体验时快速更新三维场景画面。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于无人机和全景相机的发电厂虚拟漫游系统的结构示意图;
图2为本发明另一实施例提供的基于无人机和全景相机的发电厂虚拟漫游系统的结构示意图;
图3为本发明另一实施例提供的全景相机工作流程图;
图4为本发明另一实施例提供的图像处理设备工作流程图;
图5为本发明另一实施例提供的三维场景生成流程图;
图6为本发明另一实施例提供的基于无人机和全景相机的发电厂虚拟漫游系统的工作流程图;
图7是本发明实施例提供的一种基于无人机和全景相机的发电厂虚拟漫游方法的流程示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本发明实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本发明的描述。
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图通过具体实施例来进行说明。
参见图1,其示出了本发明实施例提供的基于无人机和全景相机的发电厂虚拟漫游系统的结构示意图。该基于无人机和全景相机的发电厂虚拟漫游系统,包括控制设备101、无人机102、图像处理设备103、显示设备104。
控制设备101,用于获取用户的状态信息和用户输入的控制信息,并向无人机102发送控制信息,向图像处理设备103发送状态信息。
无人机102,用于根据接收的控制信息进行飞行控制,并在飞行过程中采集图像数据,向图像处理设备103发送图像数据。
图像处理设备103,用于根据用户的状态信息和无人机103回传图像数据,生成三维场景数据,并向显示设备104发送三维场景数据。
显示设备104,用于根据图像处理设备103发送的三维场景数据,生成并显示三维场景。
本实施例中,用户的状态信息可以包括但不限于下述至少一项:用户的位置信息、移动方向和移动速度。用户的位置信息包括用户所站立位置的实际物理坐标。移动速度为用户的位移速度。
控制信息可以包括但不限于下述至少一项:无人机102飞行的目标位置信息、飞行速度档位、飞行转向信息等。用户通过输入的控制信息可以控制无人机102的飞行。控制设备101、无人机102、图像处理设备103之间可以采用无线方式进行通信。图像处理设备103与显示设备104可以通过无线方式或有线方式进行通信。显示设备104接收到三维场景数据,生成三维场景,然后向用户显示。
本发明实施例中,基于无人机和全景相机的发电厂虚拟漫游系统包括:控制设备101、无人机102、图像处理设备103、显示设备104;控制设备101获取用户的状态信息和用户输入的控制信息,并向无人机102发送所述控制信息,向图像处理设备103发送状态信息;无人机102根据控制信息进行飞行控制,并在飞行过程中采集图像数据,向图像处理设备103发送图像数据;图像处理设备103根据状态信息和图像数据,生成三维场景数据,并向显示设备104发送三维场景数据;显示设备104根据三维场景数据,生成并显示三维场景,通过无人机102与控制设备101联动,在用户使用基于无人机和全景相机的发电厂虚拟漫游系统时,根据用户的状态信息和控制信息控制无人机102采集图像并生成三维场景,能够实现在用户进行全景漫游体验时快速更新三维场景画面。
图2为本发明另一实施例提供的基于无人机和全景相机的发电厂虚拟漫游系统的结构示意图。参照图2,在图1所示实施例的基础上,控制设备101包括行走控制单元201、飞行控制单元202和通信单元203。行走控制单元201用于获取状态信息。飞行控制单元202用于获取控制信息。通信单元203用于向无人机102发送控制信息,向图像处理设备103发送状态信息。本实施例中,通过行走控制单元201、飞行控制单元202和通信单元203共同实现对用户状态信息以及控制信息的采集和发送。
可选的,在本发明实施例中,行走控制单元201可以为万向行走平台。
万向行走平台的结构包括固定底座、电机、支架、移动履带、传感器和腰带。配合万向行走平台使用的外部设备包括飞行控制单元202和显示设备104。万向行走平台通过移动距离计算模块、移动方向感应模块和移动速度计算模块来感知用户的状态。传感器实时计算用户的移动距离、方向和速度,将数据实时传回图像处理设备103。用户初始位置位于虚拟场景的中心处。电机控制移动履带转动,用户在履带上行走模拟在虚拟场景中的移动。腰带用于固定用户,确保用户不会离开万向行走平台。
通过万向行走平台能够实时计算用户的位移变化,驱动用户在虚拟场景中视角和位移的变化,进行实时场景漫游。
可选的,在本发明实施例中,飞行控制单元202可以为控制手柄。控制手柄用于控制无人机102飞行。用户利用控制手柄控制无人机102缓慢移动,保持无人机102位移变化和用户在虚拟场景中的位移变化一致。
可选的,在本发明实施例中,通信单元203用于向无人机102发送控制信息,向图像处理设备103发送状态信息。通信单元203与无人机102之间可以通过PPM(Pulse PositionModulation,脉冲位置调制)、SBUS(Serial Bus,串行总线)或XBUS(扩展总线)等通信协议来传递数据。通信单元203与图像处理设备103之间由高速网络连接,保证数据高速传输。
由行走控制单元201采集用户的状态信息后输入图像处理设备103,用于渲染用户所看到的虚拟现实三维画面。
作为本发明的一种实施方式,在上述任一实施例的基础上,可由显示设备104采集用户头部位置信息,并发送至图像处理设备103。头部位置信息包括头部位置坐标、视野朝向中的至少一项。头部位置信息同样用于渲染用户所看到的虚拟现实三维画面,位置精确度越高,用户对显示设备104的使用感受逼真度会更高。
参照图2,作为本发明的一种实施方式,在上述任一实施例的基础上,无人机102可以搭载全景相机204。无人机102的位移由控制手柄驱动。用户通过控制手柄控制无人机102移动。全景相机204接入无人机102的飞控板,通过飞控程序控制全景相机204的拍摄。
可选的,在本发明实施例中,无人机102包括数据传输模块205,无人机数据传输通讯方式采用无线WIFI(Wireless Fidelity,无线网络模块),利用数据传输模块205可连接控制设备101,以及通过远程通讯将图像数据传回图像处理设备103。
作为本发明的一种实施方式,在上述任一实施例的基础上,无人机102还用于在向图像处理设备103发送图像数据之前,对图像数据进行预处理,其中预处理包括以下至少一项:图像校正、噪声抑制和图像增强。
作为本发明的一种实施方式,在上述任一实施例的基础上,全景相机204以无人机位置为坐标原点实时采集图像数据。全景相机204在其所处位置,即无人机102所处位置,拍摄四周全景照片,照片角度范围大于90度,小于等于360度,所采集所有照片叠加后需保证覆盖四周全部场景。
可选的,在本发明实施例中,参照图3所示的全景相机204工作流程图,全景相机204接入无人机飞控板,全景相机设置为:使用图像不易变形的中焦进行拍摄,途中不改变焦距,将相机图像分辨率和图像质量设置为最高,拍摄途中保持曝光强度不变,并且使用固定白平衡。上述过程完成后全景相机204进行图像数据采集,图像数据格式为JPEG(JointPhotographic Experts Group,联合图像专家组)格式。
作为本发明的一种实施方式,在上述任一实施例的基础上,图像处理设备103对无人机102回传图像进行进一步处理。图像处理设备103工作流程如图4所示。
S401,针对每张图像,通过均值滤波算法对该图像进行噪声抑制处理,并通过普里姆算法对该图像进行图像锐化处理;获取该图像中的像素灰度梯度,并根据像素灰度梯度,计算该图像的灰度梯度矢量。矢量值较大的地方表明具有像素值急剧的从浅色变为深色的特征,由此提取出图像的特征点。
S402,对经过预处理后的照片,计算两组特征点之间的欧氏距离,欧氏距离越小,特征点的相似度越高,当欧氏距离小于设定的阈值时,可以判定为特征点匹配成功,然后对匹配点进行剔除筛选操作,获取优秀有效的匹配点。根据各张图像的特征点,对各张图像进行特征点匹配。
根据匹配结果,将各张图像进行融合,对图像重叠区域的像素按照加权融合的方法生成新的360°全景图片,利用高斯滤波运算处理方法对图像拼接边缘区域进行平滑处理,以得到全景图像。
S403,根据所述全景图像,生成三维场景数据。
根据以上图像处理流程,确保能够快速地、高质量地生成虚拟现实三维场景数据。
作为本发明的一种实施方式,在上述任一实施例的基础上,图像处理设备103进行图像处理的流程还包括创建三维球体模型,以所述三维球体模型为容器,根据预设渲染方式将所述全景图像贴于所述三维球体模型内部,以得到所述三维场景数据。
具体为将全景图像导入Unity3D(游戏制作引擎),利用Unity3D场景搭建功能实时生成三维场景。三维场景生成流程如图5所示。
首先,创建一个三维Sphere球体,作为承载全景图片的容器。然后,创建一个渲染器Shader脚本,在Shader参数列表位图选取中选择全景图片作为位图,通过渲染器改变图片的渲染方式。设置球体贴图材质的渲染方式,根据预设渲染方式将全景图像贴于三维球体模型内部,以得到三维场景数据。该过程生成的三维场景数据在显示设备104中显示时将更加贴近真实场景。
作为本发明的一种实施方式,在上述任一实施例的基础上,显示设备104可以包括但不限于虚拟现实头盔、虚拟现实眼镜、虚拟现实手机或虚拟现实手表中的至少一项。
可选的,控制设备101可以是万向行走平台。
可选的,图像处理设备103可以是终端设备或服务器,也可以同时包含终端设备和服务器。
在本发明实施例中,采用虚拟现实头盔进行,用于根据三维场景数据,生成并显示三维场景。虚拟现实头盔连接图像处理设备103并利用图像渲染技术来显示三维场景视野,用户可在场景中进行漫游。
可选的,虚拟现实头盔安装有红外激光传感器,可利用红外激光跟踪头盔移动来确定头盔物理位置。当用户在三维场景中漫游时,由虚拟现实头盔的红外激光定位系统207对头盔物理位置进行跟踪,根据坐标变换计算头盔在场景中的虚拟位置坐标,并且将用户虚拟位置不断地传递到图像处理设备103,用于图像处理设备103渲染画面,用户头部带动头盔转动可达到在虚拟场景中转动视野的效果。
可选的,虚拟现实头盔包含惯性传感器208和双菲涅尔屏209,利用惯性传感器208和双菲涅尔屏209调整和显示漫游者所看到的虚拟画面效果。
在本发明实施例中,采集图像场景时以无人机102位置为坐标原点,生成三维场景以虚拟现实头盔在场景中的虚拟坐标为原点。根据物理实际坐标系和虚拟场景的坐标系,进行坐标的矩阵计算,即将在物理坐标下的位置变换到虚拟场景的坐标中相应位置。
在本发明实施例中,当红外激光定位系统207检测到用户到达虚拟场景边缘时,全景相机204对下一位置进行图像采集,并实时将图像数据回传,图像处理设备103实时生成三维场景,将用户虚拟位置初始化到新的三维场景空间坐标原点。
在本发明实施例中,无人机102移动的目的是采集不同位置场景的图像。全景相机204在某一位置拍摄一组照片即可通过图像拼接算法搭建出一个全景场景,当无人机102搭载全景相机204移动到下一位置,继续采集下一位置的图像信息,从而合成当前位置的全景场景,进而实现实时的虚拟全景漫游。
作为本发明的一种实施方式,图6为本发明另一实施例提供的基于无人机和全景相机的发电厂虚拟漫游系统的工作流程图,参见图6:
用户进入发电厂虚拟漫游系统后,由红外激光定位系统207跟踪虚拟现实头盔位置,判断用户的当前虚拟位置是否到达已生成虚拟场景的边缘;若是用户到达场景边缘,则全景相机204则对发电厂的下一位置进行拍摄,无人机102将图像数据传回图像处理设备103,并由图像处理设备103创建新的虚拟场景,然后将用户的当前虚拟位置初始化为新场景的空间坐标原点,用户可以继续在发电厂中进行漫游;若用户没有到达场景边缘,则红外激光定位系统207向图像处理设备103传递头盔的位置信息,图像处理设备103渲染画面,保持无人机102位移和用户位移变化一致,用户继续进行漫游。
现有的虚拟漫游通过预先采集图像构建静态场景,在用户使用时场景画面更新不及时,无法实时监控真实场景,不能满足发电厂虚拟漫游系统中虚拟漫游场景及时更新的需求。
以上基于无人机和全景相机的漫游过程持续到对发电厂的各个区域漫游完毕为止,能够实现在发电厂的外部区域甚至在车间内部进行虚拟场景漫游,保障发电厂各区域工作的顺利进行。
由上述描述可知,本发明的基于无人机和全景相机的发电厂虚拟漫游系统及方法能够实现虚拟三维场景在用户使用时的快速更新,能够解决现有虚拟漫游系统中通过三维建模或者全景相机构建静态场景,场景画面不能及时更新的问题。
图7是本发明实施例提供的一种虚拟漫游方法的流程示意图。参照图7,该方法包括:
S701、控制设备101获取用户的状态信息和用户输入的控制信息,并向无人机102发送控制信息,向图像处理设备103发送状态信息。
S702、无人机102根据控制信息进行飞行控制,并在飞行过程中采集图像数据,向图像处理设备103发送图像数据。
S703、图像处理设备103根据状态信息和图像数据,生成三维场景数据,并向显示设备104发送三维场景数据。
S704、显示设备104根据三维场景数据,生成并显示三维场景。
本实施例控制设备101获取用户的状态信息和用户输入的控制信息,并向无人机102发送所述控制信息,向图像处理设备103发送状态信息;无人机102根据控制信息进行飞行控制,并在飞行过程中采集图像数据,向图像处理设备103发送图像数据;图像处理设备103根据状态信息和图像数据,生成三维场景数据,并向显示设备104发送三维场景数据;显示设备104根据三维场景数据,生成并显示三维场景。通过无人机102与控制设备101联动,在用户使用基于无人机和全景相机的发电厂虚拟漫游系统时,根据用户的状态信息和控制信息控制无人机102采集图像并生成三维场景,能够实现在用户进行全景漫游体验时快速更新三维场景画面。
可选地,控制设备101包括行走控制单元201、飞行控制单元202和通信单元203;行走控制单元201获取状态信息;飞行控制单元202获取控制信息;通信单元203向无人机102发送控制信息,向图像处理设备103发送状态信息。
可选的,状态信息包括用户的位置信息、移动方向、移动速度、头部位置信息中的至少一项。
可选的,显示设备104采集用户头部位置信息,并发送至图像处理设备103;头部位置信息包括头部位置坐标、视野朝向中的至少一项。
可选的,无人机102配备有全景相机204,全景相机204以无人机102位置为坐标原点采集图像数据。
可选的,无人机102在向图像处理设备103发送图像数据之前,对图像数据进行预处理,其中预处理包括图像校正、噪声抑制和图像增强中的至少一项。
可选的,图像数据包括多张图像,针对每张图像,图像处理设备103通过均值滤波算法对该图像进行噪声抑制处理,并通过普里姆算法对该图像进行图像锐化处理;获取该图像中的像素灰度梯度,并根据像素灰度梯度,计算该图像的灰度梯度矢量;根据灰度梯度矢量,提取该图像的特征点;
图像处理设备103根据各张图像的特征点,对各张图像进行特征点匹配,根据匹配结果,将各张图像进行融合,并对融合后的图像中的拼接边缘区域进行平滑处理,以得到全景图像;
图像处理设备103根据全景图像,生成三维场景数据。
可选的,图像处理设备103创建三维球体模型,以三维球体模型为容器,根据预设渲染方式将全景图像贴于三维球体模型内部,以得到三维场景数据。
本实施例提供的虚拟漫游方法,与上述的基于无人机和全景相机的发电厂虚拟漫游系统的实现原理和技术效果类似,此处不再赘述。
以上,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。

Claims (5)

1.一种虚拟漫游系统,其特征在于,包括:
控制设备、无人机、图像处理设备和显示设备;
所述控制设备,用于获取用户的状态信息和用户输入的控制信息,并向所述无人机发送所述控制信息,向图像处理设备发送所述状态信息;
所述无人机,用于根据所述控制信息进行飞行控制,并在飞行过程中采集图像数据,向所述图像处理设备发送所述图像数据;
所述显示设备,用于采集用户头部位置信息,并将所述头部位置信息发送至图像处理设备;
所述图像处理设备,用于根据所述状态信息、所述图像数据和所述头部位置信息,生成三维场景数据,并向所述显示设备发送所述三维场景数据;
所述显示设备用于根据所述三维场景数据,生成并显示三维场景;
其中,所述控制设备包括行走控制单元、飞行控制单元和通信单元;所述行走控制单元用于获取所述状态信息;所述飞行控制单元用于获取所述控制信息;所述通信单元用于向所述无人机发送所述控制信息,向图像处理设备发送所述状态信息;
所述状态信息包括下述至少一项:用户的位置信息、移动方向和移动速度;
所述头部位置信息包括下述至少一项:头部位置坐标和视野朝向;所述控制信息包括下述至少一项:无人机飞行的目标位置信息、飞行速度档位和飞行转向信息;
所述图像数据包括多张图像,所述图像处理设备,具体用于:
针对每张图像,通过均值滤波算法对该图像进行噪声抑制处理,并通过普里姆算法对该图像进行图像锐化处理;获取该图像中的像素灰度梯度,并根据所述像素灰度梯度,计算该图像的灰度梯度矢量;根据所述灰度梯度矢量,提取该图像的特征点;
对经过预处理后的照片,计算两组特征点之间的欧氏距离,欧氏距离越小,特征点的相似度越高,当欧氏距离小于设定的阈值时,判定为特征点匹配成功,然后对匹配点进行剔除筛选操作,获取优秀有效的匹配点;根据各张图像的特征点,对各张图像进行特征点匹配,
根据匹配结果,将各张图像进行融合,对图像重叠区域的像素按照加权融合的方法生成新的360°全景图片,利用高斯滤波运算处理方法对图像拼接边缘区域进行平滑处理,以得到全景图像;
根据所述全景图像,生成三维场景数据;
所述图像处理设备的三维场景生成流程,具体用于:
创建一个三维Sphere球体,作为承载全景图片的容器;
创建一个渲染器Shader脚本,在Shader参数列表位图选取中选择全景图片作为位图,通过渲染器改变图片的渲染方式,设置球体贴图材质的渲染方式,根据预设渲染方式将全景图像贴于三维球体模型内部,以得到三维场景数据;
显示设备上安装有红外激光定位系统;由红外激光定位系统跟踪显示设备位置,判断用户的当前虚拟位置是否到达已生成虚拟场景的边缘;若是用户到达场景边缘,则全景相机则对发电厂的下一位置进行拍摄,无人机将图像数据传回图像处理设备,并由图像处理设备创建新的虚拟场景,然后将用户的当前虚拟位置初始化为新场景的空间坐标原点,用户可以继续在发电厂中进行漫游;若用户没有到达场景边缘,则红外激光定位系统向图像处理设备传递显示设备的位置信息,图像处理设备渲染画面,保持无人机位移和用户位移变化一致,用户继续进行漫游。
2.如权利要求1所述的虚拟漫游系统,其特征在于,所述无人机配备有全景相机;
所述无人机,用于:
以所述无人机位置为坐标原点采集所述图像数据。
3.如权利要求1所述的虚拟漫游系统,其特征在于,所述无人机,还用于:
在向所述图像处理设备发送所述图像数据之前,对所述图像数据进行预处理,其中所述预处理包括以下至少一项:图像校正、噪声抑制和图像增强。
4.如权利要求1-3任一项所述的虚拟漫游系统,其特征在于,所述显示设备包括下述至少一项:虚拟现实头盔、虚拟现实眼镜、虚拟现实手机、虚拟现实手表;所述控制设备包括万向行走平台;所述图像处理设备包括终端设备和/或服务器。
5.一种虚拟漫游方法,其特征在于,包括:
控制设备获取用户的状态信息和用户输入的控制信息,并向无人机发送所述控制信息,向图像处理设备发送所述状态信息;
所述无人机根据所述控制信息进行飞行控制,并在飞行过程中采集图像数据,向所述图像处理设备发送所述图像数据;
显示设备采集用户头部位置信息,并将所述头部位置信息发送至图像处理设备;
所述图像处理设备根据所述状态信息、所述图像数据和所述头部位置信息,生成三维场景数据,并向显示设备发送所述三维场景数据;
所述显示设备根据所述三维场景数据,生成并显示三维场景;
其中,所述状态信息包括下述至少一项:用户的位置信息、移动方向和移动速度;所述头部位置信息包括下述至少一项:头部位置坐标和视野朝向;所述控制信息包括下述至少一项:无人机飞行的目标位置信息、飞行速度档位和飞行转向信息;
所述图像数据包括多张图像,所述图像处理设备的工作流程,具体用于:
针对每张图像,通过均值滤波算法对该图像进行噪声抑制处理,并通过普里姆算法对该图像进行图像锐化处理;获取该图像中的像素灰度梯度,并根据所述像素灰度梯度,计算该图像的灰度梯度矢量;根据所述灰度梯度矢量,提取该图像的特征点;
对经过预处理后的照片,计算两组特征点之间的欧氏距离,欧氏距离越小,特征点的相似度越高,当欧氏距离小于设定的阈值时,判定为特征点匹配成功,然后对匹配点进行剔除筛选操作,获取优秀有效的匹配点;根据各张图像的特征点,对各张图像进行特征点匹配,
根据匹配结果,将各张图像进行融合,对图像重叠区域的像素按照加权融合的方法生成新的360°全景图片,利用高斯滤波运算处理方法对图像拼接边缘区域进行平滑处理,以得到全景图像;
根据所述全景图像,生成三维场景数据;
所述图像处理设备的三维场景生成流程,具体用于:
创建一个三维Sphere球体,作为承载全景图片的容器;
创建一个渲染器Shader脚本,在Shader参数列表位图选取中选择全景图片作为位图,通过渲染器改变图片的渲染方式,设置球体贴图材质的渲染方式,根据预设渲染方式将全景图像贴于三维球体模型内部,以得到三维场景数据;
由显示设备上安装的红外激光定位系统跟踪显示设备位置,判断用户的当前虚拟位置是否到达已生成虚拟场景的边缘;若是用户到达场景边缘,则全景相机则对发电厂的下一位置进行拍摄,无人机将图像数据传回图像处理设备,并由图像处理设备创建新的虚拟场景,然后将用户的当前虚拟位置初始化为新场景的空间坐标原点,用户可以继续在发电厂中进行漫游;若用户没有到达场景边缘,则红外激光定位系统向图像处理设备传递显示设备的位置信息,图像处理设备渲染画面,保持无人机位移和用户位移变化一致,用户继续进行漫游。
CN202110023710.6A 2021-01-08 2021-01-08 基于无人机和全景相机的发电厂虚拟漫游系统及方法 Active CN112669469B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110023710.6A CN112669469B (zh) 2021-01-08 2021-01-08 基于无人机和全景相机的发电厂虚拟漫游系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110023710.6A CN112669469B (zh) 2021-01-08 2021-01-08 基于无人机和全景相机的发电厂虚拟漫游系统及方法

Publications (2)

Publication Number Publication Date
CN112669469A CN112669469A (zh) 2021-04-16
CN112669469B true CN112669469B (zh) 2023-10-13

Family

ID=75413825

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110023710.6A Active CN112669469B (zh) 2021-01-08 2021-01-08 基于无人机和全景相机的发电厂虚拟漫游系统及方法

Country Status (1)

Country Link
CN (1) CN112669469B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113658340B (zh) * 2021-07-07 2024-01-02 中国人民解放军火箭军工程大学 一种高超声速飞行器导航和控制系统半实物仿真系统
CN116828132A (zh) * 2023-07-05 2023-09-29 广州磐碟塔信息科技有限公司 一种虚拟摄影的控制方法及其系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105704501A (zh) * 2016-02-06 2016-06-22 普宙飞行器科技(深圳)有限公司 一种基于无人机全景视频的虚拟现实直播系统
CN105739525A (zh) * 2016-02-14 2016-07-06 普宙飞行器科技(深圳)有限公司 一种配合体感操作实现虚拟飞行的系统
CN106131483A (zh) * 2016-06-24 2016-11-16 宇龙计算机通信科技(深圳)有限公司 一种基于虚拟现实的巡检方法及相关设备、系统
CN106131530A (zh) * 2016-08-26 2016-11-16 万象三维视觉科技(北京)有限公司 一种裸眼3d虚拟现实展示系统及其展示方法
CN206193950U (zh) * 2016-08-31 2017-05-24 陈昊 基于增强现实的无人飞行器体验系统
CN106909163A (zh) * 2015-12-22 2017-06-30 深圳信息职业技术学院 沉浸式虚拟现实无人机驾驶系统
CN206421641U (zh) * 2016-08-03 2017-08-18 北京麦课在线教育技术有限责任公司 一种虚拟现实安全体验馆

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109840947B (zh) * 2017-11-28 2023-05-09 广州腾讯科技有限公司 增强现实场景的实现方法、装置、设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106909163A (zh) * 2015-12-22 2017-06-30 深圳信息职业技术学院 沉浸式虚拟现实无人机驾驶系统
CN105704501A (zh) * 2016-02-06 2016-06-22 普宙飞行器科技(深圳)有限公司 一种基于无人机全景视频的虚拟现实直播系统
CN105739525A (zh) * 2016-02-14 2016-07-06 普宙飞行器科技(深圳)有限公司 一种配合体感操作实现虚拟飞行的系统
CN106131483A (zh) * 2016-06-24 2016-11-16 宇龙计算机通信科技(深圳)有限公司 一种基于虚拟现实的巡检方法及相关设备、系统
CN206421641U (zh) * 2016-08-03 2017-08-18 北京麦课在线教育技术有限责任公司 一种虚拟现实安全体验馆
CN106131530A (zh) * 2016-08-26 2016-11-16 万象三维视觉科技(北京)有限公司 一种裸眼3d虚拟现实展示系统及其展示方法
CN206193950U (zh) * 2016-08-31 2017-05-24 陈昊 基于增强现实的无人飞行器体验系统

Also Published As

Publication number Publication date
CN112669469A (zh) 2021-04-16

Similar Documents

Publication Publication Date Title
US11039086B2 (en) Dual lens system having a light splitter
CN112164015B (zh) 单目视觉自主巡检图像采集方法、装置及电力巡检无人机
CN112669469B (zh) 基于无人机和全景相机的发电厂虚拟漫游系统及方法
US10924691B2 (en) Control device of movable type imaging device and control method of movable type imaging device
CN105704501A (zh) 一种基于无人机全景视频的虚拟现实直播系统
CN109358754B (zh) 一种混合现实头戴显示系统
KR20180027361A (ko) 증강 현실 장면을 재생할 때 자동 줌을 위한 방법들, 디바이스들, 및 시스템들
US20210112194A1 (en) Method and device for taking group photo
CN110969905A (zh) 混合现实的远程教学互动、教具互动系统及其互动方法
CN106325511A (zh) 一种虚拟现实实现系统
CN101581874B (zh) 基于多摄像机采集的远程沉浸协同工作装置
CN103873758A (zh) 全景图实时生成的方法、装置及设备
CN107332977B (zh) 增强现实的方法及增强现实设备
CN105847682A (zh) 全景图像的拍摄方法、装置及系统
CN106327583A (zh) 一种实现全景摄像的虚拟现实设备及其实现方法
CN110858414A (zh) 图像处理方法、装置、可读存储介质与增强现实系统
CN109002248B (zh) Vr场景截图方法、设备及存储介质
CN106657792B (zh) 共享式观景装置
CN107703956A (zh) 一种基于惯性捕捉技术的虚拟交互系统及其工作方法
CN110275179A (zh) 一种基于激光雷达以及视觉融合的构建地图方法
CN105892638A (zh) 一种虚拟现实交互方法、装置和系统
CN108700885B (zh) 一种飞行控制方法、遥控装置、遥控系统
CN108564654B (zh) 三维大场景的画面进入方式
CN108364340A (zh) 同步空间扫描的方法及系统
CN113454980A (zh) 全景拍摄方法、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant