CN107005687B - 无人机飞行体验方法、装置、系统以及无人机 - Google Patents

无人机飞行体验方法、装置、系统以及无人机 Download PDF

Info

Publication number
CN107005687B
CN107005687B CN201580065834.3A CN201580065834A CN107005687B CN 107005687 B CN107005687 B CN 107005687B CN 201580065834 A CN201580065834 A CN 201580065834A CN 107005687 B CN107005687 B CN 107005687B
Authority
CN
China
Prior art keywords
video file
unmanned plane
eye stereo
stereo video
filming apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201580065834.3A
Other languages
English (en)
Other versions
CN107005687A (zh
Inventor
赵丛
武燕楠
杨康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Dajiang Innovations Technology Co Ltd
Original Assignee
Shenzhen Dajiang Innovations Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Dajiang Innovations Technology Co Ltd filed Critical Shenzhen Dajiang Innovations Technology Co Ltd
Publication of CN107005687A publication Critical patent/CN107005687A/zh
Application granted granted Critical
Publication of CN107005687B publication Critical patent/CN107005687B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Abstract

一种无人机飞行体验方法，包括：获取设置于无人机上的拍摄装置拍摄的多目立体视频文件(101)；对所述多目立体视频文件进行压缩编码，并生成连续的视频流(104)；将经过编码后的多目立体视频文件传输至接收端(105)；在接收端对接收到的所述多目立体视频文件进行解码，以得到解码后的多目立体视频文件(106)；以及显示解码后的所述多目立体视频文件(107)。本发明还涉及一种无人机飞行体验装置、系统以及无人机。

Description

无人机飞行体验方法、装置、系统以及无人机
技术领域
本发明涉及无人机领域，特别涉及一种无人机飞行体验方法、装置、系统以及无人机。
背景技术
第一人称视角FPV(First-Person View)飞行模式是航拍领域最活跃的方向之一，它可以带给用户飞翔的体验。其应用领域很广，譬如虚实结合的游戏，以及帮助残疾人实现走出去的愿望等等。目前市场上的相关产品均无法提供良好的用户体验。例如，目前的双目立体相机可以拍摄双目立体视频并存在设备上，但是无法实现良好的实时飞行体验。
发明内容
有鉴于此，有必要提出一种无人机飞行体验方法、装置、系统以及无人机，以解决上述问题。
一种无人机飞行体验方法，包括以下步骤：
获取设置于无人机上的拍摄装置拍摄的多目立体视频文件；
对所述多目立体视频文件进行压缩编码，并生成连续的视频流；
将经过编码后的多目立体视频文件传输至接收端；
在接收端接收经过编码后的所述多目立体视频文件，并对接收到的所述多目立体视频文件进行解码，以得到解码后的多目立体视频文件；以及
显示解码后的所述多目立体视频文件。
进一步地，在显示所述多目立体视频文件之前还包括步骤：对所述多目立体视频文件进行视频平滑处理。
进一步地，对所述多目立体视频文件进行视频平滑处理步骤，具体包括：
获取与所述多目立体视频文件关联的所述拍摄装置的姿态信息，并依据所述拍摄装置的姿态信息解算出所述拍摄装置的运动轨迹；
对所述拍摄装置的运动轨迹进行滤波，并拟合出一条平滑变化的虚拟轨迹；以及
根据所述虚拟轨迹对所述多目立体视频文件的视频帧做映射，以实现视频的平滑处理。
进一步地，在对所述多目立体视频文件进行压缩编码步骤之前，对所述多目立体视频文件进行视频平滑处理；或者
在对接收到的所述多目立体视频文件进行解码步骤之后，对所述多目立体视频文件进行视频平滑处理。
进一步地，在显示所述多目立体视频文件之前还包括步骤：基于所述多目立体视频文件计算所述拍摄装置与障碍物之间的距离，以得到视觉深度信息。
进一步地，在对所述多目立体视频文件进行压缩编码步骤之前，基于拍摄到的所述多目立体视频文件计算所述视觉深度信息，并将所述视觉深度信息加载于编码前的所述多目立体视频文件中；或者
在对接收到的所述多目立体视频文件进行解码步骤之后，基于解码后的所述多目立体视频文件计算所述视觉深度信息，并将所述视觉深度信息加载于解码后的所述多目立体视频文件中。
进一步地，所述无人机飞行体验方法还包括：显示所述视觉深度信息。
进一步地，采用高清传输技术传输所述多目立体视频文件。
进一步地，采用多视点视频编码标准对所述多目立体视频文件进行压缩编码以及解码。
进一步地，所述拍摄装置包括云台以及图像获取装置，所述图像获取装置通过所述云台安装于所述无人机上；所述无人机飞行体验方法通过可穿戴式显示设备显示解码后的所述多目立体视频文件；所述无人机飞行体验方法还包括：
获取所述可穿戴式显示设备的姿态信息，并将所述可穿戴式显示设备的姿态信息发送给所述无人机；以及
获取所述拍摄装置的姿态信息，并根据所述拍摄装置的姿态信息以及所述可穿戴式显示设备的姿态信息控制所述云台转动，以调节所述图像获取装置的拍摄角度。
一种无人机飞行体验系统，包括无人机以及设于接收端的无人机飞行体验装置，所述无人机包括：
拍摄装置，用于拍摄多目立体视频文件；
第一图像处理器，与所述拍摄装置连接，用于获取所述拍摄装置拍摄的所述多目立体视频文件，并对所述多目立体视频文件进行压缩编码，并生成连续的视频流；以及
第一图像传输装置，与所述第一图像处理器连接，用于将经过编码后的所述多目立体视频文件传输至接收端；以及
所述无人机飞行体验装置包括：
第二图像传输装置，用于接收所述第一图像传输装置传输的经过压缩编码后的多目立体视频文件；
第二图像处理器，与所述第二图像传输装置连接，用于对接收到的所述多目立体视频文件进行解码，以得到解码后的多目立体视频文件；以及
显示设备，用于显示解码后的所述多目立体视频文件。
进一步地，所述第一图像处理器与所述第二图像处理器中的其中一个还用于对所述多目立体视频文件进行视频平滑处理。
进一步地，所述第一图像处理器与所述第二图像处理器中的其中一个在对所述多目立体视频文件进行视频平滑处理时，具体用于：
获取与所述多目立体视频文件关联的所述拍摄装置的姿态信息，并依据所述拍摄装置的姿态信息解算出所述拍摄装置的运动轨迹；
对所述拍摄装置的运动轨迹进行滤波，并拟合出一条平滑变化的虚拟轨迹；以及
根据所述虚拟轨迹对所述多目立体视频文件的视频帧做映射，以实现视频的平滑处理。
进一步地，所述第一图像处理器在对所述多目立体视频文件进行压缩编码之前，还用于对所述多目立体视频文件进行视频平滑处理；或者
所述第二图像处理器在对接收到的所述多目立体视频文件进行解码之后，还用于对所述多目立体视频文件进行视频平滑处理。
进一步地，所述第一图像处理器与所述第二图像处理器中的其中一个还用于基于所述多目立体视频文件计算所述拍摄装置与障碍物之间的距离，以得到视觉深度信息。
进一步地，所述第一图像处理器在对所述多目立体视频文件进行压缩编码之前，还用于基于拍摄到的所述多目立体视频文件计算所述视觉深度信息，并将所述视觉深度信息加载于所述多目立体视频文件中一并进行压缩编码；或者
所述第二图像处理器在对接收到的所述多目立体视频文件进行解码之后，还用于基于解码后的所述多目立体视频文件计算所述视觉深度信息，并将所述视觉深度信息加载于解码后的所述多目立体视频文件中。
进一步地，所述显示设备还用于显示所述视觉深度信息。
进一步地，所述第一图像传输装置以及所述第二图像传输装置均采用高清传输技术传输所述多目立体视频文件。
进一步地，所述第一图像传输装置与所述第二图像传输装置通过无线网络进行数据传输，所述无线网络包括如下至少一种：高清图传、蓝牙、WIFI、2G网络、3G网络、4G网络、5G网络。
进一步地，所述显示设备与所述第二图像处理器连接，所述第二图像处理器还用于将解码后的多目立体视频文件传输给所述显示设备进行显示；或者
所述第二图像传输装置与所述显示设备通过无线网络进行通信，所述第二图像传输装置还用于通过无线网络将解码后的多目立体视频文件传输给所述显示设备进行显示，所述无线网络包括如下至少一种：蓝牙、红外线、WIFI、Zwave、ZigBee。
进一步地，所述第一图像处理器以及所述第二图像处理器均采用多视点视频编码标准对视频文件进行压缩编码或解码。
进一步地，所述拍摄装置为多目立体视觉相机或摄像头。
进一步地，所述拍摄装置包括云台以及图像获取装置，所述图像获取装置通过所述云台安装于所述无人机上。
进一步地，所述显示设备为可穿戴式显示设备。
进一步地，所述显示设备为沉浸式眼镜。
进一步地，所述无人机飞行体验装置还包括：
设置于所述可穿戴式显示设备上的第一姿态获取单元，用于检测所述可穿戴式显示设备的姿态信息；以及
无线传输装置，用于将所述可穿戴式显示设备的姿态信息发送给所述无人机；
所述拍摄装置包括云台以及图像获取装置，所述图像获取装置通过所述云台安装于所述无人机上；以及
所述无人机还包括：
第二姿态获取单元，用于检测所述拍摄装置的姿态信息；以及
控制器，用于接收所述可穿戴式显示设备的姿态信息，并根据所述拍摄装置的姿态信息以及所述可穿戴式显示设备的姿态信息控制所述云台转动，以调节所述图像获取装置的拍摄角度。
一种无人机飞行体验方法，包括以下步骤：
获取设置于无人机上的拍摄装置拍摄的多目立体视频文件；
对所述多目立体视频文件进行压缩编码，并生成连续的视频流；以及
将经过编码后的多目立体视频文件传输至接收端。
进一步地，在对所述多目立体视频文件进行压缩编码步骤之前，还包括：对所述多目立体视频文件进行视频平滑处理。
进一步地，对所述多目立体视频文件进行视频平滑处理步骤，具体包括：
获取与所述多目立体视频文件关联的所述拍摄装置的姿态信息，并依据所述拍摄装置的姿态信息解算出所述拍摄装置的运动轨迹；
对所述拍摄装置的运动轨迹进行滤波，并拟合出一条平滑变化的虚拟轨迹；以及
根据所述虚拟轨迹对所述多目立体视频文件的视频帧做映射，以实现视频的平滑处理。
进一步地，在对所述多目立体视频文件进行压缩编码步骤之前，还包括：基于拍摄到的所述多目立体视频文件计算所述拍摄装置与障碍物之间的距离，以得到视觉深度信息，并将所述视觉深度信息加载于所述多目立体视频文件中一并进行压缩编码。
进一步地，采用高清传输技术传输所述多目立体视频文件。
进一步地，采用多视点视频编码标准对所述多目立体视频文件进行压缩编码。
进一步地，所述拍摄装置包括云台以及图像获取装置，所述图像获取装置通过所述云台安装于所述无人机上；所述无人机飞行体验方法还包括：
获取所述拍摄装置的姿态信息；以及
接收来自所述接收端的可穿戴式显示设备的姿态信息，并根据所述拍摄装置的姿态信息以及所述可穿戴式显示设备的姿态信息控制所述云台转动，以调节所述图像获取装置的拍摄角度。
一种无人机，包括：
拍摄装置，用于拍摄多目立体视频文件；
图像处理器，与所述拍摄装置连接，用于获取所述拍摄装置拍摄的所述多目立体视频文件，并对所述多目立体视频文件进行压缩编码，并生成连续的视频流；以及
图像传输装置，与所述图像处理器连接，用于将经过编码后的所述多目立体视频文件传输至接收端。
进一步地，所述图像处理器还用于对所述多目立体视频文件进行视频平滑处理。
进一步地，所述图像处理器在对所述多目立体视频文件进行视频平滑处理时，具体用于：
获取与所述多目立体视频文件关联的所述拍摄装置的姿态信息，并依据所述拍摄装置的姿态信息解算出所述拍摄装置的运动轨迹；
对所述拍摄装置的运动轨迹进行滤波，并拟合出一条平滑变化的虚拟轨迹；以及
根据所述虚拟轨迹对所述多目立体视频文件的视频帧做映射，以实现视频的平滑处理。
进一步地，所述图像处理器还用于基于拍摄到的所述多目立体视频文件计算所述拍摄装置与障碍物之间的距离，以得到视觉深度信息，并将所述视觉深度信息加载于所述多目立体视频文件中一并进行压缩编码。
进一步地，所述图像传输装置采用高清传输技术传输所述多目立体视频文件。
进一步地，所述图像传输装置与所述接收端上的另一图像传输装置通过无线网络进行数据传输，所述无线网络包括如下至少一种：高清图传、蓝牙、WIFI、2G网络、3G网络、4G网络、5G网络。
进一步地，所述图像处理器采用多视点视频编码标准对所述多目立体视频文件进行压缩编码。
进一步地，所述拍摄装置为多目立体视觉相机或摄像头。
进一步地，所述拍摄装置包括云台以及图像获取装置，所述图像获取装置通过所述云台通过云台安装于所述无人机上。
进一步地，所述无人机还包括：
姿态获取单元，用于检测所述拍摄装置的姿态信息；以及
控制器，用于接收来自所述接收端的可穿戴式显示设备的姿态信息，并根据所述拍摄装置的姿态信息以及所述可穿戴式显示设备的姿态信息控制所述云台转动，以调节所述图像获取装置的拍摄角度。
一种无人机飞行体验方法，包括以下步骤：
接收无人机传输的经过压缩编码后的多目立体视频文件；
对接收到的所述多目立体视频文件进行解码，以得到解码后的多目立体视频文件；以及
显示解码后的所述多目立体视频文件。
进一步地，在显示解码后的所述多目立体视频文件步骤之前，还包括：对解码后的所述多目立体视频文件进行视频平滑处理。
进一步地，通过设置于无人机上的拍摄装置拍摄所述多目立体视频文件；
对解码后的所述多目立体视频文件进行视频平滑处理步骤，具体包括：
获取与所述多目立体视频文件关联的所述拍摄装置的姿态信息，并依据所述拍摄装置的姿态信息解算出所述拍摄装置的运动轨迹；
对所述拍摄装置的运动轨迹进行滤波，并拟合出一条平滑变化的虚拟轨迹；以及
根据所述虚拟轨迹对所述多目立体视频文件的视频帧做映射，以实现视频的平滑处理。
进一步地，通过设置于无人机上的拍摄装置拍摄所述多目立体视频文件；
在显示解码后的所述多目立体视频文件步骤之前，还包括：基于解码后的所述多目立体视频文件计算所述拍摄装置与障碍物之间的距离，以得到视觉深度信息，并将所述视觉深度信息加载于解码后的所述多目立体视频文件中。
进一步地，所述无人机飞行体验方法还包括步骤：显示所述视觉深度信息。
进一步地，采用高清传输技术传输所述多目立体视频文件。
进一步地，采用多视点视频编码标准对所述多目立体视频文件进行解码。
进一步地，所述无人机飞行体验方法通过可穿戴式显示设备显示解码后的所述多目立体视频文件；所述无人机飞行体验方法还包括：
获取所述可穿戴式显示设备的姿态信息，并将所述可穿戴式显示设备的姿态信息发送给所述无人机，以依据所述姿态信息调节所述无人机上的拍摄装置的拍摄角度。
一种无人机飞行体验装置，包括：
图像传输装置，用于接收无人机传输的经过压缩编码后的多目立体视频文件；
图像处理器，与所述图像传输装置连接，用于对接收到的所述多目立体视频文件进行解码，以得到解码后的多目立体视频文件；以及
显示设备，用于显示解码后的所述多目立体视频文件。
进一步地，所述无人机飞行体验装置为可穿戴式眼镜或遥控器。
进一步地，所述图像处理器还用于对解码后的所述多目立体视频文件进行视频平滑处理。
进一步地，所述多目立体视频文件由设置于无人机上的拍摄装置拍摄；
所述图像处理器在对解码后的所述多目立体视频文件进行视频平滑处理时，具体用于：
获取与所述多目立体视频文件关联的所述拍摄装置的姿态信息，并依据所述拍摄装置的姿态信息解算出所述拍摄装置的运动轨迹；
对所述拍摄装置的运动轨迹进行滤波，并拟合出一条平滑变化的虚拟轨迹；以及
根据所述虚拟轨迹对所述多目立体视频文件的视频帧做映射，以实现视频的平滑处理。
进一步地，所述多目立体视频文件由设置于无人机上的拍摄装置拍摄；
所述图像处理器还用于基于解码后的所述多目立体视频文件计算所述拍摄装置与障碍物之间的距离，以得到视觉深度信息，并将所述视觉深度信息加载于解码后的所述多目立体视频文件中。
进一步地，所述显示设备还用于显示所述视觉深度信息。
进一步地，所述图像传输装置采用高清传输技术传输所述多目立体视频文件。
进一步地，所述图像传输装置与所述无人机上的另一图像传输装置通过无线网络进行数据传输，所述无线网络包括如下至少一种：高清图传、蓝牙、WIFI、2G网络、3G网络、4G网络、5G网络。
进一步地，所述显示设备与所述图像处理器连接，所述图像处理器还用于将解码后的多目立体视频文件传输给所述显示设备进行显示；或者
所述图像传输装置与所述显示设备通过无线网络进行通信，所述图像传输装置还用于通过无线网络将解码后的多目立体视频文件传输给所述显示设备进行显示，所述无线网络包括如下至少一种：蓝牙、红外线、WIFI、Zwave、ZigBee。
进一步地，所述图像处理器采用多视点视频编码标准对所述多目立体视频文件进行解码。
进一步地，所述显示设备为可穿戴式显示设备。
进一步地，所述无人机飞行体验装置还包括：
设置于所述可穿戴式显示设备上的姿态获取单元，用于检测所述可穿戴式显示设备的姿态信息；以及
无线传输装置，用于将所述可穿戴式显示设备的姿态信息发送给所述无人机，以依据所述姿态信息调节所述无人机上的拍摄装置的拍摄角度。
本发明实施例的所述无人机飞行体验方法通过将实时拍摄的多目立体视频文件进行压缩编码后再传回接收端，使得传输码率大大降低，同时还对所述视频文件进行视频平滑处理，使得用户实时感受到的视角变化较为平稳，从而能够获得良好的FPV飞行体验效果。
附图说明
图1是本发明实施例的一种无人机飞行体验方法的流程示意图。
图2是本发明实施例的一种运动轨迹的指示线示意图。
图3是本发明实施例的一种视频显示界面示意图。
图4是本发明实施例的另一种无人机飞行体验方法的流程示意图。
图5是本发明实施例的再一种无人机飞行体验方法的流程示意图。
图6是本发明实施例的一种无人机飞行体验系统的结构示意图。
图7是本发明实施例的一种无人机的结构示意图。
图8是本发明实施例的一种无人机飞行体验装置的结构示意图。
主要元件符号说明
指示线 201、202
无人机飞行体验系统 50
无人机 51
拍摄装置 511
第一图像处理器 512
第一图像传输装置 513
第一姿态获取单元 514
控制器 515
无人机飞行体验装置 52
第二图像传输装置 521
第二图像处理器 522
显示设备 523
第二姿态获取单元 524
无线传输装置 525
方法 100、400、500
步骤 101-107、401-405、501-505
如下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，是本发明实施例的一种无人机飞行体验方法100的流程示意图。在本实施方式中，所述方法100可应用于无人机以及设于接收端的无人机飞行体验装置中，其中，所述无人机上设有拍摄装置，所述拍摄装置用于拍摄多目立体视频文件。应说明的是，本发明实施例的所述方法100并不限于图1所示的流程图中的步骤及顺序。根据不同的实施例，图1所示的流程图中的步骤可以增加、移除、或者改变顺序。在本实施方式中，所述方法100可以从步骤101开始。
步骤101，获取设置于无人机上的拍摄装置拍摄的多目立体视频文件。
步骤102，对所述多目立体视频文件进行视频平滑处理。
在本实施方式中，所述步骤102具体可包括：
获取与所述多目立体视频文件关联的所述拍摄装置的姿态信息，并依据所述拍摄装置的姿态信息解算出所述拍摄装置的运动轨迹；
对所述拍摄装置的运动轨迹进行滤波，并拟合出一条平滑变化的虚拟轨迹；以及
根据所述虚拟轨迹对所述多目立体视频文件的视频帧做映射，以实现视频的平滑处理。
在本实施方式中，与所述多目立体视频文件关联的所述拍摄装置的姿态信息是指所述姿态信息是在所述拍摄装置拍摄时同步检测到的。
所述姿态信息至少包括表示所述拍摄装置、或搭载所述拍摄装置的移动物体在拍摄过程中匀速移动或静止的平稳姿态信息，以及表示所述拍摄装置、或搭载所述拍摄装置的移动物体在拍摄过程中产生了角速度、或者在某个方向上的加速度后的不平稳姿态信息。
如图2所示，在一种表现形式中，所述姿态信息可以是一段用于描述运动轨迹的指示线201，所述平稳姿态信息表现为直线段，所述不平稳姿态信息则表现为曲线段。
在一种实施方式中，对所述拍摄装置的运动轨迹进行滤波，并拟合出一条平滑变化的虚拟轨迹步骤，具体可包括：
对所述拍摄装置的运动轨迹中高频抖动的部分，即曲线段中曲线较密集的部分做编辑处理，例如取中间点、或删除一些曲线段，再将剩余部分的点或线段组合而得到一条平滑变化的虚拟轨迹的指示线202。
在一种实施方式中，对所述多目立体视频文件的视频帧做映射可以包括对所述多目立体视频文件的剪辑处理，具体为：
确定所述拍摄装置的运动轨迹与所述虚拟轨迹中有重叠或交叉的部分对应的时段，保留所述多目立体视频文件中该时段下的视频帧，并删除其他视频帧，即保留影像质量较好的视频片段，删除影像质量不好的视频片段，进而可以合成新的视频文件。
当然，在另一实施方式中，对所述多目立体视频文件的视频帧做映射也可以是复制出所述多目立体视频文件中该时段下的视频帧，组合该复制的视频帧而得到新的视频文件，从而可以保留原始视频文件。
本实施例的所述方法100采用视频平滑技术，通过对拍摄装置的姿态数据进行分析，拟合出一条平滑变化的虚拟相机视角，使得用户感受到的视角变化较为平稳，从而降低由于用户控制云台速度变化或者无人机/云台自身不稳定等因素导致的图像视角变化过快或画质模糊而给用户带来的观看不适感。
步骤103，基于拍摄到的所述多目立体视频文件计算所述拍摄装置与障碍物之间的距离，以得到视觉深度信息，并将所述视觉深度信息加载于所述多目立体视频文件中。
可以理解的是，所述步骤102与所述步骤103的执行顺序可以互换。
步骤104，对所述多目立体视频文件进行压缩编码，并生成连续的视频流。
在本实施方式中，所述步骤104采用多视点视频编码标准(MVC，Multi—viewVideo Coding standard)对所述多目立体视频文件进行压缩编码，通过考虑多路图像之间的相关性来对所述多目立体视频文件进行压缩编码，即进行多目联合编码，从而有效地降低码率，使得多目视频相比单目视频码率增加不大，从而降低信息冗余。
可以理解的是，所述步骤104也可以采用其他现有技术来对所述多目立体视频文件进行压缩编码，以降低码率。
步骤105，将经过编码后的多目立体视频文件传输至接收端。
在本实施方式中，所述方法100采用高清传输技术传输所述多目立体视频文件，从而能够产生高清立体视频，并通过高清图传传回接收端。
步骤106，在接收端接收经过编码后的所述多目立体视频文件，并对接收到的所述多目立体视频文件进行解码，以得到解码后的多目立体视频文件。
在本实施方式中，所述步骤106采用多视点视频编码标准对所述多目立体视频文件进行解码。
在本实施方式中，所述视频平滑处理以及所述视觉深度信息计算均是在所述无人机上进行的，且是在对所述多目立体视频文件进行压缩编码之前完成的，并将所述视觉深度信息加载于编码前的所述多目立体视频文件中。
可选的，在其他实施方式中，所述视频平滑处理以及所述视觉深度信息计算中的一种或两种可在所述接收端对所述多目立体视频文件进行解码之后，由所述接收端完成。
例如，可选的，在所述步骤106之后执行所述步骤102，即，在所述步骤106之后还包括：对所述多目立体视频文件进行视频平滑处理。
可选的，在所述步骤106之后执行所述步骤103，即，在所述步骤106之后，还包括：基于解码后的所述多目立体视频文件计算所述拍摄装置与障碍物之间的距离，以得到视觉深度信息，并将所述视觉深度信息加载于解码后的所述多目立体视频文件中。
步骤107，显示解码后的所述多目立体视频文件以及所述视觉深度信息。
在本实施方式中，所述方法100可通过可穿戴式显示设备，例如沉浸式眼镜显示解码后的所述多目立体视频文件以及所述视觉深度信息。
在本实施方式中，所述拍摄装置包括云台和图像获取装置，所述图像获取装置通过所述云台安装于所述无人机上。在本实施方式中，所述图像获取装置为双目立体摄像头，所述双目立体摄像头可以作为视觉深度计算的输入，所述方法100通过计算深度信息，可将无人机与前方障碍物的距离反馈到可穿戴式显示设备上，例如沉浸式眼镜上，用户看到的图像可如图3所示。
进一步地，所述方法100还包括：
获取所述可穿戴式显示设备的姿态信息，并将所述可穿戴式显示设备的姿态信息发送给所述无人机；以及
获取所述拍摄装置的姿态信息，并根据所述拍摄装置的姿态信息以及所述可穿戴式显示设备的姿态信息控制所述云台转动，以调节所述图像获取装置的拍摄角度。
这样，用户在通过可穿戴式显示设备观看所述视频文件的同时，还可以通过身体，例如头部运动来控制所述拍摄装置的拍摄角度。
具体地，所述可穿戴式显示设备内部集成IMU(Inertial Measurement Unit)、GPS、指南针，其中IMU内部包含三轴陀螺仪和三轴加速度计。所述三轴陀螺仪通过积分获取得到自身的姿态信息，三轴加速度计对陀螺仪积分出来的姿态进行修正，同时融合指南针和GPS的信息，最终获取得到准确的姿态信息。当然，所述可穿戴式显示设备也可以只通过IMU获取得到所述可穿戴式显示设备的姿态信息，从而省去GPS和指南针。所述可穿戴式显示设备内部还有无线传输模块，用于将自身的姿态信息发送给无人机上的云台。
所述云台内部也可集成IMU、GPS、指南针，也能够获取得到自身的姿态，当所述可穿戴式显示设备将自身的姿态信息发送给所述云台之后，所述云台就将所述可穿戴式显示设备作为自己的目标姿态，然后运用自身的控制算法平稳地运动到目标姿态，从而实现体感控制器对所述云台的控制。可以理解的是，所述云台也可以只通过IMU获取得到所述云台的姿态信息，从而省去GPS和指南针。
本发明实施例的所述无人机飞行体验方法100通过将实时拍摄的多目立体视频文件进行压缩编码后再传回接收端，使得传输码率大大降低，同时还对所述视频文件进行视频平滑处理，使得用户实时感受到的视角变化较为平稳，从而能够获得良好的FPV飞行体验效果。
请参阅图4，是本发明实施例的另一种无人机飞行体验方法400的流程示意图。在本实施方式中，所述方法400可应用于无人机中，所述无人机上设有拍摄装置，所述拍摄装置用于拍摄多目立体视频文件。应说明的是，本发明实施例的所述方法并不限于图4所示的流程图中的步骤及顺序。根据不同的实施例，图4所示的流程图中的步骤可以增加、移除、或者改变顺序。在本实施方式中，所述方法400可以从步骤401开始。
步骤401，获取设置于无人机上的拍摄装置拍摄的多目立体视频文件。
步骤402，对所述多目立体视频文件进行视频平滑处理。
在本实施方式中，所述步骤402具体可包括：
获取与所述多目立体视频文件关联的所述拍摄装置的姿态信息，并依据所述拍摄装置的姿态信息解算出所述拍摄装置的运动轨迹；
对所述拍摄装置的运动轨迹进行滤波，并拟合出一条平滑变化的虚拟轨迹；以及
根据所述虚拟轨迹对所述多目立体视频文件的视频帧做映射，以实现视频的平滑处理。
在本实施方式中，与所述多目立体视频文件关联的所述拍摄装置的姿态信息是指所述姿态信息是在所述拍摄装置拍摄时同步检测到的。
所述姿态信息至少包括表示所述拍摄装置、或搭载所述拍摄装置的移动物体在拍摄过程中匀速移动或静止的平稳姿态信息，以及表示所述拍摄装置、或搭载所述拍摄装置的移动物体在拍摄过程中产生了角速度、或者在某个方向上的加速度后的不平稳姿态信息。
如图2所示，在一种表现形式中，所述姿态信息可以是一段用于描述运动轨迹的指示线201，所述平稳姿态信息表现为直线段，所述不平稳姿态信息则表现为曲线段。
在一种实施方式中，对所述拍摄装置的运动轨迹进行滤波，并拟合出一条平滑变化的虚拟轨迹步骤，具体可包括：
对所述拍摄装置的运动轨迹中高频抖动的部分，即曲线段中曲线较密集的部分做编辑处理，例如取中间点、或删除一些曲线段，再将剩余部分的点或线段组合而得到一条平滑变化的虚拟轨迹的指示线202。
在一种实施方式中，对所述多目立体视频文件的视频帧做映射可以包括对所述多目立体视频文件的剪辑处理，具体为：
确定所述拍摄装置的运动轨迹与所述虚拟轨迹中有重叠或交叉的部分对应的时段，保留所述多目立体视频文件中该时段下的视频帧，并删除其他视频帧，即保留影像质量较好的视频片段，删除影像质量不好的视频片段，进而可以合成新的视频文件。
当然，在另一实施方式中，对所述多目立体视频文件的视频帧做映射也可以是复制出所述多目立体视频文件中该时段下的视频帧，组合该复制的视频帧而得到新的视频文件，从而可以保留原始视频文件。
本实施例的所述方法400采用视频平滑技术，通过对拍摄装置的姿态数据进行分析，拟合出一条平滑变化的虚拟相机视角，使得用户感受到的视角变化较为平稳，从而降低由于用户控制云台速度变化或者无人机/云台自身不稳定等因素导致的图像视角变化过快或画质模糊而给用户带来的观看不适感。
步骤403，基于拍摄到的所述多目立体视频文件计算所述拍摄装置与障碍物之间的距离，以得到视觉深度信息，并将所述视觉深度信息加载于所述多目立体视频文件中。
可以理解的是，所述步骤402与所述步骤403的执行顺序可以互换。
步骤404，对所述多目立体视频文件进行压缩编码，并生成连续的视频流。
在本实施方式中，所述步骤404采用多视点视频编码标准对所述多目立体视频文件进行压缩编码，通过考虑多路图像之间的相关性来对所述多目立体视频文件进行压缩编码，即进行多目联合编码，从而有效地降低码率，使得多目视频相比单目视频码率增加不大，从而降低信息冗余。
可以理解的是，所述步骤404也可以采用其他现有技术来对所述多目立体视频文件进行压缩编码，以降低码率。
步骤405，将经过编码后的多目立体视频文件传输至接收端。
在本实施方式中，所述方法400采用高清传输技术传输所述多目立体视频文件，从而能够产生高清立体视频，并通过高清图传传回接收端。
在本实施方式中，所述视频平滑处理以及所述视觉深度信息计算均是在所述无人机上进行的，且是在对所述多目立体视频文件进行压缩编码之前完成的，并将所述视觉深度信息加载于编码前的所述多目立体视频文件中，从而使接收端在显示所述多目立体视频文件的同时还显示所述视觉深度信息。
可选的，在其他实施方式中，所述步骤402及/或步骤403也可以省略，而在所述接收端上执行所述步骤402及/或步骤403，即所述视频平滑处理以及所述视觉深度信息计算中的一种或两种可在所述接收端对所述多目立体视频文件进行解码之后，由所述接收端完成。
在本实施方式中，所述拍摄装置包括云台和图像获取装置，所述图像获取装置通过所述云台安装于所述无人机上。在本实施方式中，所述图像获取装置为双目立体摄像头，所述双目立体摄像头可以作为视觉深度计算的输入，所述方法400通过计算深度信息，可将无人机与前方障碍物的距离反馈到接收端的显示设备上，例如沉浸式眼镜上。
进一步地，所述方法400还包括：
获取所述拍摄装置的姿态信息；以及
接收来自所述接收端的可穿戴式显示设备的姿态信息，并根据所述拍摄装置的姿态信息以及所述可穿戴式显示设备的姿态信息控制所述云台转动，以调节所述图像获取装置的拍摄角度。
具体地，所述可穿戴式显示设备内部集成IMU(Inertial Measurement Unit)、GPS、指南针，其中IMU内部包含三轴陀螺仪和三轴加速度计。所述三轴陀螺仪通过积分获取得到自身的姿态信息，三轴加速度计对陀螺仪积分出来的姿态进行修正，同时融合指南针和GPS的信息，最终获取得到准确的姿态信息。当然，所述可穿戴式显示设备也可以只通过IMU获取得到所述可穿戴式显示设备的姿态信息，从而省去GPS和指南针。所述可穿戴式显示设备内部还有无线传输模块，用于将自身的姿态信息发送给无人机上的云台。
所述云台内部也可集成IMU、GPS、指南针，也能够获取得到自身的姿态，当所述可穿戴式显示设备将自身的姿态信息发送给所述云台之后，所述云台就将所述可穿戴式显示设备作为自己的目标姿态，然后运用自身的控制算法平稳地运动到目标姿态，从而实现体感控制器对所述云台的控制。可以理解的是，所述云台也可以只通过IMU获取得到所述云台的姿态信息，从而省去GPS和指南针。
本发明实施例的所述无人机飞行体验方法400通过将实时拍摄的多目立体视频文件进行压缩编码后再传回接收端，使得传输码率大大降低，同时还对所述视频文件进行视频平滑处理，使得用户实时感受到的视角变化较为平稳，从而能够获得良好的FPV飞行体验效果。
请参阅图5，是本发明实施例的再一种无人机飞行体验方法500的流程示意图。在本实施方式中，所述方法500可应用于可与无人机进行通信的无人机飞行体验装置中。所述无人机飞行体验装置可用于显示多目立体视频文件。应说明的是，本发明实施例的所述方法500并不限于图5所示的流程图中的步骤及顺序。根据不同的实施例，图5所示的流程图中的步骤可以增加、移除、或者改变顺序。在本实施方式中，所述方法500可以从步骤501开始。
步骤501，接收无人机传输的经过压缩编码后的多目立体视频文件。
在本实施方式中，所述方法500采用高清传输技术传输所述多目立体视频文件，从而能够产生高清立体视频。
步骤502，对接收到的所述多目立体视频文件进行解码，以得到解码后的多目立体视频文件。
在本实施方式中，所述方法500采用多视点视频编码标准对所述多目立体视频文件进行解码，通过考虑多路图像之间的相关性来对所述多目立体视频文件进行压缩编码，即多目联合编码，从而有效地降低码率，使得多目视频相比单目视频码率增加不大，从而降低信息冗余。
可以理解的是，所述步骤502也可以采用其他现有技术来对所述多目立体视频文件进行解码。
步骤503，对解码后的所述多目立体视频文件进行视频平滑处理。
在本实施方式中，通过设置于无人机上的拍摄装置拍摄所述多目立体视频文件。所述步骤503具体可包括：
获取与所述多目立体视频文件关联的所述拍摄装置的姿态信息，并依据所述拍摄装置的姿态信息解算出所述拍摄装置的运动轨迹；
对所述拍摄装置的运动轨迹进行滤波，并拟合出一条平滑变化的虚拟轨迹；以及
根据所述虚拟轨迹对所述多目立体视频文件的视频帧做映射，以实现视频的平滑处理。
在本实施方式中，与所述多目立体视频文件关联的所述拍摄装置的姿态信息是指所述姿态信息是在所述拍摄装置拍摄时同步检测到的。
所述姿态信息至少包括表示所述拍摄装置、或搭载所述拍摄装置的移动物体在拍摄过程中匀速移动或静止的平稳姿态信息，以及表示所述拍摄装置、或搭载所述拍摄装置的移动物体在拍摄过程中产生了角速度、或者在某个方向上的加速度后的不平稳姿态信息。
如图2所示，在一种表现形式中，所述姿态信息可以是一段用于描述运动轨迹的指示线201，所述平稳姿态信息表现为直线段，所述不平稳姿态信息则表现为曲线段。
在一种实施方式中，对所述拍摄装置的运动轨迹进行滤波，并拟合出一条平滑变化的虚拟轨迹步骤，具体可包括：
对所述拍摄装置的运动轨迹中高频抖动的部分，即曲线段中曲线较密集的部分做编辑处理，例如取中间点、或删除一些曲线段，再将剩余部分的点或线段组合而得到一条平滑变化的虚拟轨迹的指示线202。
在一种实施方式中，对所述多目立体视频文件的视频帧做映射可以包括对所述多目立体视频文件的剪辑处理，具体为：
确定所述拍摄装置的运动轨迹与所述虚拟轨迹中有重叠或交叉的部分对应的时段，保留所述多目立体视频文件中该时段下的视频帧，并删除其他视频帧，即保留影像质量较好的视频片段，删除影像质量不好的视频片段，进而可以合成新的视频文件。
当然，在另一实施方式中，对所述多目立体视频文件的视频帧做映射也可以是复制出所述多目立体视频文件中该时段下的视频帧，组合该复制的视频帧而得到新的视频文件，从而可以保留原始视频文件。
本实施例的所述方法500采用视频平滑技术，通过对拍摄装置的姿态数据进行分析，拟合出一条平滑变化的虚拟相机视角，使得用户感受到的视角变化较为平稳，从而降低由于用户控制云台速度变化或者无人机/云台自身不稳定等因素导致的图像视角变化过快或画质模糊而给用户带来的观看不适感。
步骤504，基于解码后的所述多目立体视频文件计算所述拍摄装置与障碍物之间的距离，以得到视觉深度信息，并将所述视觉深度信息加载于所述多目立体视频文件中。
可以理解的是，所述步骤503与所述步骤504的执行顺序可以互换。
在本实施方式中，所述视频平滑处理以及所述视觉深度信息计算均是在所述接收端上进行的，且是在对接收到的所述多目立体视频文件进行解码之后完成的，并将所述视觉深度信息加载于解码后的所述多目立体视频文件中。
可选的，在其他实施方式中，所述步骤503及/或步骤504也可以省略，而在所述无人机上执行所述步骤503及/或步骤504，即所述视频平滑处理以及所述视觉深度信息计算中的一种或两种可在所述无人机对所述多目立体视频文件进行压缩编码之前，由所述无人机完成。
步骤505，显示解码后的所述多目立体视频文件以及所述视觉深度信息。
在本实施方式中，所述方法500可通过可穿戴式显示设备，例如沉浸式眼镜显示解码后的所述多目立体视频文件以及所述视觉深度信息。
在本实施方式中，所述拍摄装置包括云台和图像获取装置，所述图像获取装置通过所述云台安装于所述无人机上。在本实施方式中，所述图像获取装置为双目立体摄像头，所述双目立体摄像头可以作为视觉深度计算的输入，所述方法500通过计算深度信息，可将无人机与前方障碍物的距离反馈到可穿戴式显示设备上，例如沉浸式眼镜上。
进一步地，所述方法500还包括：
获取所述可穿戴式显示设备的姿态信息，并将所述可穿戴式显示设备的姿态信息发送给所述无人机，以依据所述姿态信息调节所述无人机上的拍摄装置的拍摄角度。
这样，用户在通过可穿戴式显示设备观看所述视频文件的同时，还可以通过身体，例如头部运动来控制所述拍摄装置的拍摄角度。
具体地，所述可穿戴式显示设备内部集成IMU(Inertial Measurement Unit)、GPS、指南针，其中IMU内部包含三轴陀螺仪和三轴加速度计。所述三轴陀螺仪通过积分获取得到自身的姿态信息，三轴加速度计对陀螺仪积分出来的姿态进行修正，同时融合指南针和GPS的信息，最终获取得到准确的姿态信息。当然，所述可穿戴式显示设备也可以只通过IMU获取得到所述可穿戴式显示设备的姿态信息，从而省去GPS和指南针。所述可穿戴式显示设备内部还有无线传输模块，用于将自身的姿态信息发送给无人机上的云台。
所述云台内部也可集成IMU、GPS、指南针，也能够获取得到自身的姿态，当所述可穿戴式显示设备将自身的姿态信息发送给所述云台之后，所述云台就将所述可穿戴式显示设备作为自己的目标姿态，然后运用自身的控制算法平稳地运动到目标姿态，从而实现体感控制器对所述云台的控制。可以理解的是，所述云台也可以只通过IMU获取得到所述云台的姿态信息，从而省去GPS和指南针。
本发明实施例的所述无人机飞行体验方法500通过将实时拍摄的多目立体视频文件进行压缩编码后再传回接收端，使得传输码率大大降低，同时还对所述视频文件进行视频平滑处理，使得用户实时感受到的视角变化较为平稳，从而能够获得良好的FPV飞行体验效果。
请参见图6，是本发明实施例的一种无人机飞行体验系统50的结构示意图。所述无人机飞行体验系统50包括无人机51以及设于接收端的无人机飞行体验装置52。其中，所述无人机飞行体验装置52为可穿戴式眼镜或遥控器。
请一并参阅图7，所述无人机51包括但不限于，拍摄装置511、第一图像处理器512、第一图像传输装置513。所述拍摄装置511用于拍摄多目立体视频文件。
其中，所述拍摄装置511可为多目立体视觉相机或摄像头。所述拍摄装置511安装于所述无人机51的前视方向，可以直接安装于所述无人机51上，也可以通过云台安装于所述无人机51上，以利于所述拍摄装置511能够拍摄到较稳定的多视角的视频文件。在本实施方式中，所述拍摄装置511包括云台(图未示)以及图像获取装置(图未示)，所述图像获取装置通过所述云台安装于所述无人机51上。在本实施方式中，所述图像获取装置为双目立体视觉相机。
所述第一图像处理器512与所述拍摄装置511连接，用于获取所述拍摄装置511拍摄的所述多目立体视频文件，并对所述多目立体视频文件进行压缩编码，并生成连续的视频流。
所述第一图像传输装置513与所述第一图像处理器512连接，用于将经过编码后的所述多目立体视频文件传输至接收端。
请一并参阅图8，所述无人机飞行体验装置52包括但不限于，第二图像传输装置521、第二图像处理器522以及显示设备523。所述第二图像传输装置521与所述第二图像处理器522连接，用于接收所述第一图像传输装置513传输的经过压缩编码后的多目立体视频文件，并将接收到的视频文件传输给所述第二图像处理器522。
在本实施方式中，所述第一图像传输装置513以及所述第二图像传输装置521均采用高清传输技术传输所述多目立体视频文件，从而能够在所述无人机51上产生高清立体视频，并通过高清图传传回接收端。
在本实施方式中，所述第一图像传输装置513与所述第二图像传输装置521通过无线网络进行数据传输，所述无线网络包括但不限于，高清图传、蓝牙、WIFI、2G网络、3G网络、4G网络、5G网络。
在本实施方式中，所述第二图像处理器522用于对接收到的所述多目立体视频文件进行解码，以得到解码后的多目立体视频文件。
在本实施方式中，所述第一图像处理器512以及所述第二图像处理器522均为视频编解码处理器，且分别采用多视点视频编码标准对视频文件进行压缩编码或解码，通过考虑多路图像之间的相关性来对所述多目立体视频文件进行压缩编码，即多目联合编码，从而有效地降低码率，使得多目视频相比单目视频码率增加不大，从而降低信息冗余。
可以理解的是，所述第一图像处理器512以及所述第二图像处理器522也可以采用其他现有技术来对所述多目立体视频文件进行压缩编码或解码，以降低码率。
在本实施方式中，所述第一图像处理器512与所述第二图像处理器522中的其中一个还用于对所述多目立体视频文件进行视频平滑处理。
在本实施方式中，所述无人机51还包括有第一姿态获取单元514，用于检测所述拍摄装置511的姿态信息。所述第一图像处理器512与所述第二图像处理器522中的其中一个在对所述多目立体视频文件进行视频平滑处理时，具体用于：
获取所述第一姿态获取单元514检测到的与所述多目立体视频文件关联的所述拍摄装置511的姿态信息，并依据所述拍摄装置511的姿态信息解算出所述拍摄装置511的运动轨迹；
对所述拍摄装置511的运动轨迹进行滤波，并拟合出一条平滑变化的虚拟轨迹；以及
根据所述虚拟轨迹对所述多目立体视频文件的视频帧做映射，以实现视频的平滑处理。
在本实施方式中，与所述多目立体视频文件关联的所述拍摄装置的姿态信息是指所述姿态信息是有所述第一姿态获取单元514在所述拍摄装置511拍摄时同步检测到的。
所述姿态信息至少包括表示所述拍摄装置、或搭载所述拍摄装置的移动物体在拍摄过程中匀速移动或静止的平稳姿态信息，以及表示所述拍摄装置、或搭载所述拍摄装置的移动物体在拍摄过程中产生了角速度、或者在某个方向上的加速度后的不平稳姿态信息。
如图2所示，在一种表现形式中，所述姿态信息可以是一段用于描述运动轨迹的指示线201，所述平稳姿态信息表现为直线段，所述不平稳姿态信息则表现为曲线段。
在一种实施方式中，对所述拍摄装置511的运动轨迹进行滤波，并拟合出一条平滑变化的虚拟轨迹步骤，具体可包括：
对所述拍摄装置511的运动轨迹中高频抖动的部分，即曲线段中曲线较密集的部分做编辑处理，例如取中间点、或删除一些曲线段，再将剩余部分的点或线段组合而得到一条平滑变化的虚拟轨迹的指示线202。
在一种实施方式中，对所述多目立体视频文件的视频帧做映射可以包括对所述多目立体视频文件的剪辑处理，具体为：
确定所述拍摄装置511的运动轨迹与所述虚拟轨迹中有重叠或交叉的部分对应的时段，保留所述多目立体视频文件中该时段下的视频帧，并删除其他视频帧，即保留影像质量较好的视频片段，删除影像质量不好的视频片段，进而可以合成新的视频文件。
当然，在另一实施方式中，对所述多目立体视频文件的视频帧做映射也可以是复制出所述多目立体视频文件中该时段下的视频帧，组合该复制的视频帧而得到新的视频文件，从而可以保留原始视频文件。
本实施例的所述第一图像处理器512或所述第二图像处理器522采用视频平滑技术，通过对拍摄装置511的姿态数据进行分析，拟合出一条平滑变化的虚拟相机视角，使得用户感受到的视角变化较为平稳，从而降低由于用户控制云台速度变化或者无人机/云台自身不稳定等因素导致的图像视角变化过快或画质模糊而给用户带来的观看不适感。
在一种实施方式中，所述第一图像处理器512在对所述多目立体视频文件进行压缩编码之前，还用于对所述多目立体视频文件进行视频平滑处理。即，所述视频平滑处理是在所述无人机51上进行的，且是在对所述多目立体视频文件进行压缩编码之前完成的。
可选地，在另一种实施方式中，所述第二图像处理器522在对接收到的所述多目立体视频文件进行解码之后，还用于对所述多目立体视频文件进行视频平滑处理。即，所述视频平滑处理是在所述接收端上进行的，且是在对所述多目立体视频文件进行解码之后完成的。
在本实施方式中，所述第一图像处理器512与所述第二图像处理器522中的其中一个还用于基于所述多目立体视频文件计算所述拍摄装置与障碍物之间的距离，以得到视觉深度信息。
在一种实施方式中，所述第一图像处理器512具体用于基于拍摄到的所述多目立体视频文件计算所述视觉深度信息，并将所述视觉深度信息加载于所述多目立体视频文件中一并进行压缩编码。即，所述视觉深度信息计算是在所述无人机51上进行的，且是在对所述多目立体视频文件进行压缩编码之前完成的。
可选地，在另一种实施方式中，所述第二图像处理器522具体用于基于解码后的所述多目立体视频文件计算所述视觉深度信息，并将所述视觉深度信息加载于解码后的所述多目立体视频文件中。即，所述视觉深度信息计算是在所述接收端上进行的，且是在对所述多目立体视频文件进行解码之后完成的。
所述显示设备523用于显示解码后的所述多目立体视频文件以及所述视觉深度信息。
在一种实施方式中，所述第二图像传输装置521与所述第二图像处理器522可设于所述显示设备523上，并与所述显示设备523连接，所述第二图像处理器522还用于将解码后的多目立体视频文件传输给所述显示设备523进行显示。
可选的，在另一种实施方式中，所述第二图像传输装置521与所述第二图像处理器522可与所述显示设备523分离，所述第二图像传输装置521与所述显示设备523通过无线网络进行通信，所述第二图像传输装置521还用于通过无线网络将解码后的多目立体视频文件传输给所述显示设备523进行显示，所述无线网络包括但不限于，蓝牙、红外线、WIFI、Zwave、ZigBee。
在本实施方式中，所述显示设备523为可穿戴式显示设备，例如为沉浸式眼镜。
在本实施方式中，所述拍摄装置511包括云台和图像获取装置，所述图像获取装置通过所述云台安装于所述无人机上。在本实施方式中，所述图像获取装置为双目立体摄像头，所述双目立体摄像头可以作为视觉深度计算的输入，所述无人机飞行体验装置52通过计算深度信息，可将无人机51与前方障碍物的距离反馈到可穿戴式显示设备上，例如沉浸式眼镜上。
在本实施方式中，所述无人机飞行体验装置52还包括设置于所述可穿戴式显示设备523上的第二姿态获取单元524，所述第二姿态获取单元524用于检测所述可穿戴式显示设备523的姿态信息。
在本实施方式中，所述无人机飞行体验装置52还包括无线传输装置525，用于将所述可穿戴式显示设备的姿态信息发送给所述无人机51。
所述无人机51还包括控制器515，所述控制器515用于接收所述可穿戴式显示设备的姿态信息，并根据所述拍摄装置511的姿态信息以及所述可穿戴式显示设备的姿态信息控制所述云台转动，以调节所述图像获取装置的拍摄角度。
这样，用户在通过可穿戴式显示设备观看所述视频文件的同时，还可以通过身体，例如头部运动来控制所述拍摄装置511的拍摄角度。
具体地，所述可穿戴式显示设备内部集成IMU(Inertial Measurement Unit)、GPS、指南针，其中IMU内部包含三轴陀螺仪和三轴加速度计。所述三轴陀螺仪通过积分获取得到自身的姿态信息，三轴加速度计对陀螺仪积分出来的姿态进行修正，同时融合指南针和GPS的信息，最终获取得到准确的姿态信息。当然，所述可穿戴式显示设备也可以只通过IMU获取得到所述可穿戴式显示设备的姿态信息，从而省去GPS和指南针。所述可穿戴式显示设备内部还有无线传输模块，用于将自身的姿态信息发送给无人机上的云台。
所述云台内部也可集成IMU、GPS、指南针，也能够获取得到自身的姿态，当所述可穿戴式显示设备将自身的姿态信息发送给所述云台之后，所述云台就将所述可穿戴式显示设备作为自己的目标姿态，然后运用自身的控制算法平稳地运动到目标姿态，从而实现体感控制器对所述云台的控制。可以理解的是，所述云台也可以只通过IMU获取得到所述云台的姿态信息，从而省去GPS和指南针。
本发明实施例的所述无人机飞行体验系统50通过将实时拍摄的多目立体视频文件进行压缩编码后再传回接收端，使得传输码率大大降低，同时还对所述视频文件进行视频平滑处理，使得用户实时感受到的视角变化较为平稳，从而能够获得良好的FPV飞行体验效果。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (50)

1.一种无人机飞行体验方法，其特征在于：包括以下步骤：
获取设置于无人机上的拍摄装置拍摄的多目立体视频文件；
对所述多目立体视频文件进行压缩编码，并生成连续的视频流；
将经过编码后的多目立体视频文件传输至接收端；
在接收端接收经过编码后的所述多目立体视频文件，并对接收到的所述多目立体视频文件进行解码，以得到解码后的多目立体视频文件；以及
显示解码后的所述多目立体视频文件，
所述无人机飞行体验方法还包括：在对所述多目立体视频文件进行压缩编码步骤之前，对所述多目立体视频文件进行视频平滑处理；或者
在对接收到的所述多目立体视频文件进行解码步骤之后，对所述多目立体视频文件进行视频平滑处理，
其中，对所述多目立体视频文件进行视频平滑处理步骤，具体包括：
获取与所述多目立体视频文件关联的所述拍摄装置的姿态信息，所述姿态信息由所述拍摄装置拍摄时同步检测得到，所述姿态信息为一段用于描述所述拍摄装置的运动轨迹的指示线，并依据所述拍摄装置的姿态信息解算出所述拍摄装置的运动轨迹；
对所述拍摄装置的运动轨迹进行滤波，并拟合出一条平滑变化的虚拟轨迹；以及
根据所述虚拟轨迹对所述多目立体视频文件的视频帧做映射，以实现视频的平滑处理。
2.如权利要求1所述的无人机飞行体验方法，其特征在于：在显示所述多目立体视频文件之前还包括步骤：基于所述多目立体视频文件计算所述拍摄装置与障碍物之间的距离，以得到视觉深度信息。
3.如权利要求2所述的无人机飞行体验方法，其特征在于：在对所述多目立体视频文件进行压缩编码步骤之前，基于拍摄到的所述多目立体视频文件计算所述视觉深度信息，并将所述视觉深度信息加载于编码前的所述多目立体视频文件中；或者
在对接收到的所述多目立体视频文件进行解码步骤之后，基于解码后的所述多目立体视频文件计算所述视觉深度信息，并将所述视觉深度信息加载于解码后的所述多目立体视频文件中。
4.如权利要求2所述的无人机飞行体验方法，其特征在于：所述无人机飞行体验方法还包括：显示所述视觉深度信息。
5.如权利要求1所述的无人机飞行体验方法，其特征在于：采用高清传输技术传输所述多目立体视频文件。
6.如权利要求1所述的无人机飞行体验方法，其特征在于：采用多视点视频编码标准对所述多目立体视频文件进行压缩编码以及解码。
7.如权利要求1所述的无人机飞行体验方法，其特征在于：所述拍摄装置包括云台以及图像获取装置，所述图像获取装置通过所述云台安装于所述无人机上；所述无人机飞行体验方法通过可穿戴式显示设备显示解码后的所述多目立体视频文件；所述无人机飞行体验方法还包括：
获取所述可穿戴式显示设备的姿态信息，并将所述可穿戴式显示设备的姿态信息发送给所述无人机；以及
获取所述拍摄装置的姿态信息，并根据所述拍摄装置的姿态信息以及所述可穿戴式显示设备的姿态信息控制所述云台转动，以调节所述图像获取装置的拍摄角度。
8.一种无人机飞行体验系统，包括无人机以及设于接收端的无人机飞行体验装置，其特征在于：所述无人机包括：
拍摄装置，用于拍摄多目立体视频文件；
第一图像处理器，与所述拍摄装置连接，用于获取所述拍摄装置拍摄的所述多目立体视频文件，并对所述多目立体视频文件进行压缩编码，并生成连续的视频流；以及
第一图像传输装置，与所述第一图像处理器连接，用于将经过编码后的所述多目立体视频文件传输至接收端；以及
所述无人机飞行体验装置包括：
第二图像传输装置，用于接收所述第一图像传输装置传输的经过压缩编码后的多目立体视频文件；
第二图像处理器，与所述第二图像传输装置连接，用于对接收到的所述多目立体视频文件进行解码，以得到解码后的多目立体视频文件；以及
显示设备，用于显示解码后的所述多目立体视频文件，
其中，所述第一图像处理器与所述第二图像处理器中的其中一个还用于对所述多目立体视频文件进行视频平滑处理；
所述第一图像处理器与所述第二图像处理器中的其中一个在对所述多目立体视频文件进行视频平滑处理时，具体用于：
获取与所述多目立体视频文件关联的所述拍摄装置的姿态信息，所述姿态信息由所述拍摄装置拍摄时同步检测得到，所述姿态信息为一段用于描述所述拍摄装置的运动轨迹的指示线，并依据所述拍摄装置的姿态信息解算出所述拍摄装置的运动轨迹；
对所述拍摄装置的运动轨迹进行滤波，并拟合出一条平滑变化的虚拟轨迹；以及
根据所述虚拟轨迹对所述多目立体视频文件的视频帧做映射，以实现视频的平滑处理。
9.如权利要求8所述的无人机飞行体验系统，其特征在于：所述第一图像处理器在对所述多目立体视频文件进行压缩编码之前，还用于对所述多目立体视频文件进行视频平滑处理；或者
所述第二图像处理器在对接收到的所述多目立体视频文件进行解码之后，还用于对所述多目立体视频文件进行视频平滑处理。
10.如权利要求8所述的无人机飞行体验系统，其特征在于：所述第一图像处理器与所述第二图像处理器中的其中一个还用于基于所述多目立体视频文件计算所述拍摄装置与障碍物之间的距离，以得到视觉深度信息。
11.如权利要求10所述的无人机飞行体验系统，其特征在于：所述第一图像处理器在对所述多目立体视频文件进行压缩编码之前，还用于基于拍摄到的所述多目立体视频文件计算所述视觉深度信息，并将所述视觉深度信息加载于所述多目立体视频文件中一并进行压缩编码；或者
所述第二图像处理器在对接收到的所述多目立体视频文件进行解码之后，还用于基于解码后的所述多目立体视频文件计算所述视觉深度信息，并将所述视觉深度信息加载于解码后的所述多目立体视频文件中。
12.如权利要求10所述的无人机飞行体验系统，其特征在于：所述显示设备还用于显示所述视觉深度信息。
13.如权利要求8所述的无人机飞行体验系统，其特征在于：所述第一图像传输装置以及所述第二图像传输装置均采用高清传输技术传输所述多目立体视频文件。
14.如权利要求8所述的无人机飞行体验系统，其特征在于：所述第一图像传输装置与所述第二图像传输装置通过无线网络进行数据传输，所述无线网络包括如下至少一种：高清图传、蓝牙、WIFI、2G网络、3G网络、4G网络、5G网络。
15.如权利要求8所述的无人机飞行体验系统，其特征在于：所述显示设备与所述第二图像处理器连接，所述第二图像处理器还用于将解码后的多目立体视频文件传输给所述显示设备进行显示；或者
所述第二图像传输装置与所述显示设备通过无线网络进行通信，所述第二图像传输装置还用于通过无线网络将解码后的多目立体视频文件传输给所述显示设备进行显示，所述无线网络包括如下至少一种：蓝牙、红外线、WIFI、Zwave、ZigBee。
16.如权利要求8所述的无人机飞行体验系统，其特征在于：所述第一图像处理器以及所述第二图像处理器均采用多视点视频编码标准对视频文件进行压缩编码或解码。
17.如权利要求8所述的无人机飞行体验系统，其特征在于：所述拍摄装置为多目立体视觉相机或摄像头。
18.如权利要求8所述的无人机飞行体验系统，其特征在于：所述拍摄装置包括云台以及图像获取装置，所述图像获取装置通过所述云台安装于所述无人机上。
19.如权利要求8所述的无人机飞行体验系统，其特征在于：所述显示设备为可穿戴式显示设备。
20.如权利要求19所述的无人机飞行体验系统，其特征在于：所述显示设备为沉浸式眼镜。
21.如权利要求19或20所述的无人机飞行体验系统，其特征在于：所述无人机飞行体验装置还包括：
设置于所述可穿戴式显示设备上的第一姿态获取单元，用于检测所述可穿戴式显示设备的姿态信息；以及
无线传输装置，用于将所述可穿戴式显示设备的姿态信息发送给所述无人机；
所述拍摄装置包括云台以及图像获取装置，所述图像获取装置通过所述云台安装于所述无人机上；以及
所述无人机还包括：
第二姿态获取单元，用于检测所述拍摄装置的姿态信息；以及
控制器，用于接收所述可穿戴式显示设备的姿态信息，并根据所述拍摄装置的姿态信息以及所述可穿戴式显示设备的姿态信息控制所述云台转动，以调节所述图像获取装置的拍摄角度。
22.一种无人机飞行体验方法，其特征在于：包括以下步骤：
获取设置于无人机上的拍摄装置拍摄的多目立体视频文件；
对所述多目立体视频文件进行视频平滑处理；
对所述多目立体视频文件进行压缩编码，并生成连续的视频流；以及
将经过编码后的多目立体视频文件传输至接收端，
其中，对所述多目立体视频文件进行视频平滑处理步骤，具体包括：
获取与所述多目立体视频文件关联的所述拍摄装置的姿态信息，所述姿态信息由所述拍摄装置拍摄时同步检测得到，所述姿态信息为一段用于描述所述拍摄装置的运动轨迹的指示线，并依据所述拍摄装置的姿态信息解算出所述拍摄装置的运动轨迹；
对所述拍摄装置的运动轨迹进行滤波，并拟合出一条平滑变化的虚拟轨迹；以及
根据所述虚拟轨迹对所述多目立体视频文件的视频帧做映射，以实现视频的平滑处理。
23.如权利要求22所述的无人机飞行体验方法，其特征在于：在对所述多目立体视频文件进行压缩编码步骤之前，还包括：基于拍摄到的所述多目立体视频文件计算所述拍摄装置与障碍物之间的距离，以得到视觉深度信息，并将所述视觉深度信息加载于所述多目立体视频文件中一并进行压缩编码。
24.如权利要求22所述的无人机飞行体验方法，其特征在于：采用高清传输技术传输所述多目立体视频文件。
25.如权利要求22所述的无人机飞行体验方法，其特征在于：采用多视点视频编码标准对所述多目立体视频文件进行压缩编码。
26.如权利要求22所述的无人机飞行体验方法，其特征在于：所述拍摄装置包括云台以及图像获取装置，所述图像获取装置通过所述云台安装于所述无人机上；所述无人机飞行体验方法还包括：
获取所述拍摄装置的姿态信息；以及
接收来自所述接收端的可穿戴式显示设备的姿态信息，并根据所述拍摄装置的姿态信息以及所述可穿戴式显示设备的姿态信息控制所述云台转动，以调节所述图像获取装置的拍摄角度。
27.一种无人机，其特征在于：包括：
拍摄装置，用于拍摄多目立体视频文件；
图像处理器，与所述拍摄装置连接，用于获取所述拍摄装置拍摄的所述多目立体视频文件，并对所述多目立体视频文件进行压缩编码，并生成连续的视频流；以及
图像传输装置，与所述图像处理器连接，用于将经过编码后的所述多目立体视频文件传输至接收端，
其中，所述图像处理器还用于对所述多目立体视频文件进行视频平滑处理；
所述图像处理器在对所述多目立体视频文件进行视频平滑处理时，具体用于：
获取与所述多目立体视频文件关联的所述拍摄装置的姿态信息，所述姿态信息由所述拍摄装置拍摄时同步检测得到，所述姿态信息为一段用于描述所述拍摄装置的运动轨迹的指示线，并依据所述拍摄装置的姿态信息解算出所述拍摄装置的运动轨迹；
对所述拍摄装置的运动轨迹进行滤波，并拟合出一条平滑变化的虚拟轨迹；以及
根据所述虚拟轨迹对所述多目立体视频文件的视频帧做映射，以实现视频的平滑处理。
28.如权利要求27所述的无人机，其特征在于：所述图像处理器还用于基于拍摄到的所述多目立体视频文件计算所述拍摄装置与障碍物之间的距离，以得到视觉深度信息，并将所述视觉深度信息加载于所述多目立体视频文件中一并进行压缩编码。
29.如权利要求27所述的无人机，其特征在于：所述图像传输装置采用高清传输技术传输所述多目立体视频文件。
30.如权利要求27所述的无人机，其特征在于：所述图像传输装置与所述接收端上的另一图像传输装置通过无线网络进行数据传输，所述无线网络包括如下至少一种：高清图传、蓝牙、WIFI、2G网络、3G网络、4G网络、5G网络。
31.如权利要求27所述的无人机，其特征在于：所述图像处理器采用多视点视频编码标准对所述多目立体视频文件进行压缩编码。
32.如权利要求27所述的无人机，其特征在于：所述拍摄装置为多目立体视觉相机或摄像头。
33.如权利要求27所述的无人机，其特征在于：所述拍摄装置包括云台以及图像获取装置，所述图像获取装置通过所述云台通过云台安装于所述无人机上。
34.如权利要求33所述的无人机，其特征在于：所述无人机还包括：
姿态获取单元，用于检测所述拍摄装置的姿态信息；以及
控制器，用于接收来自所述接收端的可穿戴式显示设备的姿态信息，并根据所述拍摄装置的姿态信息以及所述可穿戴式显示设备的姿态信息控制所述云台转动，以调节所述图像获取装置的拍摄角度。
35.一种无人机飞行体验方法，其特征在于：包括以下步骤：
接收无人机传输的经过压缩编码后的多目立体视频文件；
对接收到的所述多目立体视频文件进行解码，以得到解码后的多目立体视频文件；
对解码后的所述多目立体视频文件进行视频平滑处理；以及
显示解码后的所述多目立体视频文件，
其中，通过设置于无人机上的拍摄装置拍摄所述多目立体视频文件；
对解码后的所述多目立体视频文件进行视频平滑处理步骤，具体包括：
获取与所述多目立体视频文件关联的所述拍摄装置的姿态信息，所述姿态信息由所述拍摄装置拍摄时同步检测得到，所述姿态信息为一段用于描述所述拍摄装置的运动轨迹的指示线，并依据所述拍摄装置的姿态信息解算出所述拍摄装置的运动轨迹；
对所述拍摄装置的运动轨迹进行滤波，并拟合出一条平滑变化的虚拟轨迹；以及
根据所述虚拟轨迹对所述多目立体视频文件的视频帧做映射，以实现视频的平滑处理。
36.如权利要求35所述的无人机飞行体验方法，其特征在于：通过设置于无人机上的拍摄装置拍摄所述多目立体视频文件；
在显示解码后的所述多目立体视频文件步骤之前，还包括：基于解码后的所述多目立体视频文件计算所述拍摄装置与障碍物之间的距离，以得到视觉深度信息，并将所述视觉深度信息加载于解码后的所述多目立体视频文件中。
37.如权利要求36所述的无人机飞行体验方法，其特征在于：所述无人机飞行体验方法还包括步骤：显示所述视觉深度信息。
38.如权利要求35所述的无人机飞行体验方法，其特征在于：采用高清传输技术传输所述多目立体视频文件。
39.如权利要求35所述的无人机飞行体验方法，其特征在于：采用多视点视频编码标准对所述多目立体视频文件进行解码。
40.如权利要求35所述的无人机飞行体验方法，其特征在于：所述无人机飞行体验方法通过可穿戴式显示设备显示解码后的所述多目立体视频文件；所述无人机飞行体验方法还包括：
获取所述可穿戴式显示设备的姿态信息，并将所述可穿戴式显示设备的姿态信息发送给所述无人机，以依据所述姿态信息调节所述无人机上的拍摄装置的拍摄角度。
41.一种无人机飞行体验装置，其特征在于：包括：
图像传输装置，用于接收无人机传输的经过压缩编码后的多目立体视频文件；
图像处理器，与所述图像传输装置连接，用于对接收到的所述多目立体视频文件进行解码，以得到解码后的多目立体视频文件；以及
显示设备，用于显示解码后的所述多目立体视频文件，
其中，所述图像处理器还用于对解码后的所述多目立体视频文件进行视频平滑处理；
所述多目立体视频文件由设置于无人机上的拍摄装置拍摄；
所述图像处理器在对解码后的所述多目立体视频文件进行视频平滑处理时，具体用于：
获取与所述多目立体视频文件关联的所述拍摄装置的姿态信息，所述姿态信息由所述拍摄装置拍摄时同步检测得到，所述姿态信息为一段用于描述所述拍摄装置的运动轨迹的指示线，并依据所述拍摄装置的姿态信息解算出所述拍摄装置的运动轨迹；
对所述拍摄装置的运动轨迹进行滤波，并拟合出一条平滑变化的虚拟轨迹；以及
根据所述虚拟轨迹对所述多目立体视频文件的视频帧做映射，以实现视频的平滑处理。
42.如权利要求41所述的无人机飞行体验装置，其特征在于：所述无人机飞行体验装置为可穿戴式眼镜或遥控器。
43.如权利要求41所述的无人机飞行体验装置，其特征在于：所述多目立体视频文件由设置于无人机上的拍摄装置拍摄；
所述图像处理器还用于基于解码后的所述多目立体视频文件计算所述拍摄装置与障碍物之间的距离，以得到视觉深度信息，并将所述视觉深度信息加载于解码后的所述多目立体视频文件中。
44.如权利要求43所述的无人机飞行体验装置，其特征在于：所述显示设备还用于显示所述视觉深度信息。
45.如权利要求41所述的无人机飞行体验装置，其特征在于：所述图像传输装置采用高清传输技术传输所述多目立体视频文件。
46.如权利要求41所述的无人机飞行体验装置，其特征在于：所述图像传输装置与所述无人机上的另一图像传输装置通过无线网络进行数据传输，所述无线网络包括如下至少一种：高清图传、蓝牙、WIFI、2G网络、3G网络、4G网络、5G网络。
47.如权利要求41所述的无人机飞行体验装置，其特征在于：所述显示设备与所述图像处理器连接，所述图像处理器还用于将解码后的多目立体视频文件传输给所述显示设备进行显示；或者
所述图像传输装置与所述显示设备通过无线网络进行通信，所述图像传输装置还用于通过无线网络将解码后的多目立体视频文件传输给所述显示设备进行显示，所述无线网络包括如下至少一种：蓝牙、红外线、WIFI、Zwave、ZigBee。
48.如权利要求41所述的无人机飞行体验装置，其特征在于：所述图像处理器采用多视点视频编码标准对所述多目立体视频文件进行解码。
49.如权利要求41所述的无人机飞行体验装置，其特征在于：所述显示设备为可穿戴式显示设备。
50.如权利要求49所述的无人机飞行体验装置，其特征在于：所述无人机飞行体验装置还包括：
设置于所述可穿戴式显示设备上的姿态获取单元，用于检测所述可穿戴式显示设备的姿态信息；以及
无线传输装置，用于将所述可穿戴式显示设备的姿态信息发送给所述无人机，以依据所述姿态信息调节所述无人机上的拍摄装置的拍摄角度。
CN201580065834.3A 2015-12-30 2015-12-30 无人机飞行体验方法、装置、系统以及无人机 Expired - Fee Related CN107005687B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2015/099852 WO2017113183A1 (zh) 2015-12-30 2015-12-30 无人机飞行体验方法、装置、系统以及无人机

Publications (2)

Publication Number Publication Date
CN107005687A CN107005687A (zh) 2017-08-01
CN107005687B true CN107005687B (zh) 2019-07-26

Family

ID=59224128

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580065834.3A Expired - Fee Related CN107005687B (zh) 2015-12-30 2015-12-30 无人机飞行体验方法、装置、系统以及无人机

Country Status (2)

Country Link
CN (1) CN107005687B (zh)
WO (1) WO2017113183A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107360413A (zh) * 2017-08-25 2017-11-17 秦山 一种多目立体图像信号传输方法和系统
WO2019051649A1 (zh) * 2017-09-12 2019-03-21 深圳市大疆创新科技有限公司 图像传输方法、设备、可移动平台、监控设备及系统
WO2019178846A1 (zh) 2018-03-23 2019-09-26 深圳市大疆创新科技有限公司 成像系统
CN108769531B (zh) * 2018-06-21 2020-10-23 深圳市道通智能航空技术有限公司 控制拍摄装置的拍摄角度的方法、控制装置及遥控器
CN109931909B (zh) * 2019-03-29 2023-07-18 大连理工大学 一种基于无人机的海上风机塔柱状态巡检方法和装置
CN111912298B (zh) * 2020-06-30 2021-04-06 日照幕天飞行器开发有限公司 一种基于5g网络的智能反蜂群式无人机方法
CN114185320B (zh) * 2020-09-15 2023-10-24 中国科学院软件研究所 一种无人系统集群的测评方法、装置、系统及存储介质
CN113691867B (zh) * 2021-10-27 2022-01-18 北京创米智汇物联科技有限公司 动作分析方法、装置、电子设备及存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8477188B2 (en) * 2009-10-14 2013-07-02 Harris Corporation Surveillance system for transcoding surveillance image files while retaining geospatial metadata and associated methods
CN202075794U (zh) * 2011-05-24 2011-12-14 段连飞 一种无人机航摄立体成像处理设备
CN104219492B (zh) * 2013-11-14 2017-12-15 成都时代星光科技有限公司 无人机图像传输系统
CN103905790A (zh) * 2014-03-14 2014-07-02 深圳市大疆创新科技有限公司 视频的处理方法、装置及系统
CN104035446B (zh) * 2014-05-30 2017-08-25 深圳市大疆创新科技有限公司 无人机的航向生成方法和系统
CN104811615A (zh) * 2015-04-17 2015-07-29 刘耀 一种体感控制摄像系统及方法
CN104902263A (zh) * 2015-05-26 2015-09-09 深圳市圆周率软件科技有限责任公司 一种图像信息展现系统和方法
CN105141895A (zh) * 2015-08-06 2015-12-09 广州飞米电子科技有限公司 视频处理方法及装置、系统、四轴飞行器
CN105141807B (zh) * 2015-09-23 2018-11-30 北京二郎神科技有限公司 视频信号图像处理方法和装置

Also Published As

Publication number Publication date
CN107005687A (zh) 2017-08-01
WO2017113183A1 (zh) 2017-07-06

Similar Documents

Publication Publication Date Title
CN107005687B (zh) 无人机飞行体验方法、装置、系统以及无人机
US11796309B2 (en) Information processing apparatus, information processing method, and recording medium
EP3414742B1 (en) Optimized object scanning using sensor fusion
US10235560B2 (en) Image processing apparatus, image processing method, and image communication system
JP6642432B2 (ja) 情報処理装置及び情報処理方法、並びに画像表示システム
CN108600733B (zh) 一种基于人眼跟踪的裸眼3d显示方法
CN104010178B (zh) 双目图像视差调节方法及装置和双目相机
KR101734635B1 (ko) 증강된 가상 현실을 사용하는, 원격 참여자들 간의 개선된 통신의 제공
CN104699247B (zh) 一种基于机器视觉的虚拟现实交互系统及方法
EP2939432B1 (en) Display update time reduction for a near-eye display
CN107333121A (zh) 曲面屏幕上移动视点的沉浸式立体渲染投影系统及其方法
CN109358754B (zh) 一种混合现实头戴显示系统
KR20180112756A (ko) 표정 검출 성능을 갖는 머리-장착형 디스플레이
CN104618712A (zh) 一种头戴式虚拟现实设备及包括该设备的虚拟现实系统
US10863210B2 (en) Client-server communication for live filtering in a camera view
CN107167924B (zh) 一种虚拟现实设备和虚拟现实设备的透镜调节方法
WO2016025962A1 (en) Device and method for three-dimensional video communication
CN105898346A (zh) 控制方法、电子设备及控制系统
EP2713614A2 (en) Apparatus and method for stereoscopic video with motion sensors
JP4144492B2 (ja) 画像表示装置
CN205754617U (zh) 一种虚拟现实旅游系统
KR20220070292A (ko) 자동화된 안경류 디바이스 공유 시스템
CN204442580U (zh) 一种头戴式虚拟现实设备及包括该设备的虚拟现实系统
CN107332977B (zh) 增强现实的方法及增强现实设备
US20200062181A1 (en) Immersive display

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190726