CN106162145B - 基于无人机的立体图像生成方法、装置 - Google Patents
基于无人机的立体图像生成方法、装置 Download PDFInfo
- Publication number
- CN106162145B CN106162145B CN201610597552.4A CN201610597552A CN106162145B CN 106162145 B CN106162145 B CN 106162145B CN 201610597552 A CN201610597552 A CN 201610597552A CN 106162145 B CN106162145 B CN 106162145B
- Authority
- CN
- China
- Prior art keywords
- image
- unmanned plane
- eye region
- region image
- right eye
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000012544 monitoring process Methods 0.000 claims abstract description 13
- 238000003384 imaging method Methods 0.000 claims description 34
- 238000012545 processing Methods 0.000 claims description 34
- 238000005520 cutting process Methods 0.000 claims description 10
- 230000000007 visual effect Effects 0.000 claims description 8
- 230000004438 eyesight Effects 0.000 abstract description 19
- 208000002173 dizziness Diseases 0.000 abstract description 11
- 238000005096 rolling process Methods 0.000 abstract description 6
- 230000001133 acceleration Effects 0.000 description 14
- 238000012937 correction Methods 0.000 description 12
- 230000005540 biological transmission Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 10
- 238000003860 storage Methods 0.000 description 10
- 241001300078 Vitrea Species 0.000 description 8
- 230000009466 transformation Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 7
- 210000003128 head Anatomy 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000006978 adaptation Effects 0.000 description 4
- 210000004556 brain Anatomy 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 230000002708 enhancing effect Effects 0.000 description 4
- 238000007654 immersion Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 239000007787 solid Substances 0.000 description 4
- 241000208340 Araliaceae Species 0.000 description 3
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 3
- 235000003140 Panax quinquefolius Nutrition 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 235000008434 ginseng Nutrition 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002955 isolation Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000010267 cellular communication Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
- H04N13/31—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
- H04N13/315—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers the parallax barriers being time-variant
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本发明公开了一种基于无人机的立体图像生成的方法，包括：监测内置于无人机内的传感器的参数，在该参数小于预设值时判定无人机处于水平平稳飞行状态；根据无人机处于水平平稳飞行状态，由双目摄像单元同时采集两幅平面图像，分别生成左眼区域图像和右眼区域图像并传输至显示设备/服务器；否则，由其中一个摄像单元采集的一幅平面图像生成左眼区域图像和右眼区域图像并传输至显示设备/服务器。本发明还提供了一种基于无人机的立体图像生成的装置。由此，所述无人机可根据飞行状态是否平稳控制摄像单元进行双目采集和单目采集，在产生立体视觉的同时有效的避免了因无人机在飞行状态不平稳时生成立体图像带给用户的晕晃感，从而提升用户体验。
Description
技术领域
本发明涉及无人机应用及立体图像领域，更优选地，涉及一种基于无人机的立体图像生成方法及相对应的装置。
背景技术
智能无人机和虚拟现实显示设备是当今科技界最火热的两个电子产品，一款合格的虚拟现实显示设备可以带来强大的沉浸感，而智能无人机作为一种可以在空中飞翔的机器，可以用来拍摄高空的景象。当两种设备结合在一起，将会给无人机带来革命性的改变，同时也给操控者带来全新的视觉体验。
一般地，现有的无人机搭载双目摄像机进行高空航拍时，利用配置在本机上双目摄像装置进行高空拍摄，并通过内置于该无人机中的控制器根据双目立体成像原理对图像信息进行处理，并按照一定精度要求制作，而后传送至虚拟现实设备中进行播放，在用户双眼处产生立体视觉。
但是由于无人机高空飞行时，其飞行状态受高空环境的影响，并不能时刻处于水平平稳飞行的状态，当无人机处于抖动或倾斜飞行时，其采集的图像的质量亦得不到保障，若依旧按双目采集图像并按照立体成像原理处理，用户在观看时会产生强烈的晕晃感。
发明内容
本发明的首要目的旨在提供一种基于无人机的立体图像生成方法及其相应原装置。
为了实现上述目的，第一方面，本发明提供一种基于无人机的立体图像生成的方法，包括：
监测内置于无人机内的传感器的参数，在该参数小于预设值时判定无人机处于水平平稳飞行状态；
根据无人机处于水平平稳飞行状态，由双目摄像单元同时采集两幅平面图像，分别生成左眼区域图像和右眼区域图像并传输至显示设备/服务器；
否则，由其中一个摄像单元采集的一幅平面图像生成左眼区域图像和右眼区域图像并传输至显示设备/服务器。
优选地，所述传感器包括加速度计、陀螺仪和磁力计当中一种或任意多种；
优选地，通过传感器实时采集本机飞行数据，通过解算该数据生成判定无人机处于水平平稳飞行状态的参数；
优选地，通过所述双目摄像单元采集视野部分重叠的两个平面图像。
优选地，通过双目摄像单元采集平面图像并生成左眼区域图像和右眼区域图像传输至显示设备/服务器的具体步骤，包括：
将双目摄像单元所采集的两张平面图像根据双目立体成像原理进行剪裁，分别将两张平面图像中没有重合的部分裁剪掉；
对裁剪后的平面图像进行图像信号处理操作，生成用于立体成像的左眼区域图像和右眼区域图像；
将生成的左眼区域图像和右眼区域图像传输至显示设备/服务器。
优选地，通过单目摄像头采集平面图像并生成左眼区域图像和右眼区域图像传输至显示设备/服务器的具体步骤，包括：
对采集的平面图像进行图像信号处理操作；
对该平面图像进行复制，生成用于立体成像的左眼区域图像和右眼区域图像；
将生成的左眼区域图像和右眼区域图像传输至显示设备/服务器。
优选地，所述显示设备显示区域平均分为左眼显示区域和右眼显示区域，所述左眼区域图像和右眼区域图像对应显示在左眼显示区域和右眼显示区域。
优选地，同一时刻获取并生成的所述左眼区域图像和右眼区域图像合并到同一数据帧中传输至显示设备/服务器。
优选地，所述摄像单元处于摄影模式以实时获取所述平面图像，按照摄像单元在该摄像模式下的帧速率，针对摄像单元获取每一帧平面图像，生成左眼区域图像和右眼区域图像的具体步骤对应循环执行一次。
第二方面，本发明还提供了一种基于无人机的立体图像生成的装置，包括：
监测模块，监测内置于无人机内的传感器的参数，在该参数小于预设值时判定无人机处于水平平稳飞行状态；
双目采集模块，根据无人机处于水平平稳飞行状态，由双目摄像单元同时采集两幅平面图像，分别生成左眼区域图像和右眼区域图像并传输至显示设备/服务器；
单目采集模块，根据无人机不处于水平平稳飞行状态，由其中一个摄像单元采集的一幅平面图像生成左眼区域图像和右眼区域图像并传输至显示设备/服务器。
优选地，所述传感器包括加速度计、陀螺仪和磁力计当中一种或任意多种；
优选地，通过传感器实时采集本机飞行数据，通过解算该数据生成判定无人机处于水平平稳飞行状态的参数；
优选地，通过所述双目摄像单元采集视野部分重叠的两个平面图像。
优选地，双目采集模块具体包括：
裁剪单元，将双目摄像单元所采集的两张平面图像根据双目立体成像原理进行剪裁，分别将两张平面图像中没有重合的部分裁剪掉；
图像信号处理单元，对裁剪后的平面图像进行图像信号处理操作，生成用于立体成像的左眼区域图像和右眼区域图像；
传送单元，将生成的左眼区域图像和右眼区域图像传输至显示设备/服务器。
优选地，单目采集模块具体包括：
图像信号处理单元，对采集的平面图像进行图像信号处理操作；
复制单元，对该平面图像进行复制，生成用于立体成像的左眼区域图像和右眼区域图像；
传送单元，将生成的左眼区域图像和右眼区域图像传输至显示设备/服务器。
优选地，所述显示设备显示区域平均分为左眼显示区域和右眼显示区域，所述左眼区域图像和右眼区域图像对应显示在左眼显示区域和右眼显示区域。
优选地，同一时刻获取并生成的所述左眼区域图像和右眼区域图像合并到同一数据帧中传输至显示设备/服务器。
优选地，所述摄像单元处于摄影模式以实时获取所述平面图像，按照摄像单元在该摄像模式下的帧速率，针对摄像单元获取每一帧平面图像，双目采集模块/单目采集模块对应循环执行一次。
相对于现有技术，本发明提供的方案，无人机上配置有双目摄像单元，无人机搭载所述双目摄像单元在高空采集平面图像，并且可根据无人机的飞行状态控制双目摄像头进行双目采集或单目采集。当无人机平稳飞行时，双目摄像单元中的两个摄像头都开启，采集双目平面图像并进行图像处理，生成左眼区域图像和右眼区域图像后传输到显示设备并对应显示设备的左眼显示区域和右眼显示区域进行播放，从而，在人眼处形成立体图像，给人带来空中飞行的沉浸感以及犹如身临其境的在空中翱翔的体验；当无人机飞行时不平稳，即有抖动情况的时候，双目摄像单元中的任意一个摄像头开启，采集一副平面图像并进行图像处理生成左眼区域图像和右眼区域图像后传输到显示设备中并对应显示设备的左眼显示区域和右眼显示区域，由于所述左眼区域图像和右眼采区域图像均来自于同一个摄像头的同一张平面图像，彼此之间并无视差，不符合人眼立体成像原理，因而在人眼处产生的视觉依然为平面图像，因此，可避免用户在观看时产生晕晃。由此，本发明提供的技术方案可以根据无人机的飞行状态控制双目摄像单元进行双目采集或单目采集，不仅能给用户带来身临其境的高空翱翔的体验，同时解决了因无人机不平稳的飞行状态采集图像，在用户双眼处产生的立体视觉给用户带来的晕晃问题。
本发明的这些方面或其他方面在以下实施例的描述中会更加简明易懂。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例基于无人机的立体图像生成方法的流程图。
图2为本发明一实施例基于无人机的立体图像生成的装置的框图。
图3为本发明一实施例基于无人机的立体图像生成的装置中双目采集模块的具体框图。
图4为本发明一实施例基于无人机采集的立体图像的装置中单目采集模块的具体框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
在本发明的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如101、102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
对于本发明中用到的专有名词解释如下：
传感器：一种检测装置，能感受到被测量的信息，并能将感受到的信息，按一定规律变换成为电信号或其他所需形式的信息输出，以满足信息的传输、处理、存储、显示、记录和控制等要求。
区域图像：本发明中区域图像为摄像单元采集的平面图像经处理后形成的可直接显示在显示平面两端用于立体成像的图像；
服务器：一种提供计算服务的设备；
数据帧：数据链路层的协议数据单元，包括三部分：帧头，数据部分，帧尾。帧头和帧尾包含一些必要的控制信息，比如同步信息、地址信息、差错控制信息等；数据部分则包含网络层传下来的数据，比如IP数据包；
帧速率：指的是每秒所显示的静止帧格数；
实时拍摄模式：本发明中实时拍摄模式是指，看着显示屏幕时摄像单元就可自动开启取景器对目标物进行拍摄的一种模式。
第一方面，在本发明中的一个实施例中，提供了一种基于无人机的立体图像生成的方法，所述方法的流程图参考图1，具体步骤包括：
S110：监测内置于无人机内的传感器的参数，在该参数小于预设值时判定无人机处于水平平稳飞行状态；
本领域内技术人员可以理解，对于本发明中提出的惯性传感器，包括多个传感器，优选为MEMS传感器，既可以各自独立成部件，又可以集成在一起成为一个部件，例如集成在无人机内部的传感器有加速度传感器、陀螺仪、磁力计三个，则三个方位传感器既可以是三个独立的芯片，又可以是设计为一体的MEMS芯片。
具体地，所述传感器包括加速度计、陀螺仪和磁力计当中一种或任意多种；加速度计，用于感知本机飞行过程中的加速度变化值作为所述判定无人机处于水平平稳飞行的参数之一；陀螺仪，用于感知本机飞行过程中的角速率变化值作为所述判定无人机处于水平平稳飞行的参数之一。磁力计，用于定位本机飞行过程中的与东南四北的夹角变化值作为所述判定无人机处于水平平稳飞行的参数之一。
在本实施例中，例如采用陀螺仪和加速度传感器两种惯性传感器，加速度传感器是用来测量设备的加速度，陀螺仪是用来测量设备的角速度，两种传感器可以用来互相补偿误差，使得测试的数据更为准确，轨迹更为精准。优选地，加速度传感器优选为三轴加速度传感器，陀螺仪优选为三轴陀螺仪，三个轴的运动传感数据用来为生成三维的飞行轨迹做支撑，使得测量的飞行状态更为准确。
具体地，通过传感器实时采集本机飞行数据，通过解算该数据生成判定无人机处于水平平稳飞行状态的参数；
本发明中，根据传感器的测量数据对无人机飞行状态和飞行姿态的解算方法为四元素法，无人机在转动过程中，是将其坐标从载体坐标变换到地理坐标系上，变换的四元数可以用来表示该变化，载体坐标系转换到地理坐标系的变换形式为：
由此，可以看出，两种表示形式中的元素是一一对应的，在姿态矩阵中元素已知的情况下，即可通过以下公式得出四元数中的四个参数：
其中，q0、q1、q2、q3为四元数，其中q0表示一个旋转角度，q1、q2、q3表示的是一个空间向量，四元数的物理意义在于物体从姿态原点围绕向量(q1、q2、q3)旋转q0度；γ、θ、ψ为本机的姿态角。在得出四元数参数后，可通过微分方程得到更新的四元数，根据一系列的四元数的起伏变化幅度可判定无人机是否平稳飞行。本发明对判定无人机是否平稳飞行的解算方法不做限定，不排除使用欧拉角法、方向余弦法来解算无人机的飞行姿态。
S120：根据无人机处于水平平稳飞行状态，由双目摄像单元同时采集两幅平面图像，分别生成左眼区域图像和右眼区域图像并传输至显示设备/服务器；
具体地，通过所述双目摄像单元采集视野部分重叠的两个平面图像。
本领域技术人员可以理解，为形成立体图像需要根据三角原理来获得所拍摄图像的三维几何信息，左边摄像单元所采集的平面图像上的任意一点可以在右边摄像单元采集的平面图像的同一水平极线上找到匹配点，构建三角关系，推算出三维空间关系即立体空间关系。
具体地，双目摄像单元采集平面图像并生成左眼区域图像和右眼区域图像传输至显示设备/服务器的具体步骤，包括：
将双目摄像单元所采集的两张平面图像根据双目立体成像原理进行剪裁，分别将两张平面图像中没有重合的部分裁剪掉；
本领域技术人员可以理解，双目立体成像是基于视差的原理，分别用左右两个摄像单元对目标物体的世界坐标系进行摄像机坐标系成像，再利用摄像单元坐标系中相对应的坐标和摄像机的中心点距离、焦距进行数学转换，以此求出目标点真实三维信息。采集目标点时需要用不同的角度，将不同角度拍摄的图像进行距离的探测，最后实现反映目标物体的三维信息。双目图像通常都是由同一个水平的两个摄像单元在不同视差角度下采集一个目标物体的两幅图像。
一般地，双目摄像单元中左侧摄像单元采集的平面图像和右侧摄像单元采集的平面图像有大部分区域都是基本重合的，然而由于左侧摄像单元和右侧摄像单元所在位置的视点不一致，左侧摄像单元采集的平面图像和右侧摄像单元采集的平面图像肯定有一定的偏差，即两图像肯定存在不重合的区域。
通常而言，左侧摄像单元所采集的平面图像的左边缘是右侧摄像单元所采集的平面图像所没有的，而右侧摄像单元所采集的平面图像的右边缘是侧摄像单元所采集的平面图像所没有的，即上述两个边缘部分是不重合的区域，需要剪裁掉，不然后续合成的立体图像两个边缘部分仍然是二维的平面图像。因此，在此实施例中，对同一对摄像单元中的左侧摄像单元和右侧摄像单元所采集的平面图像进行图像剪裁包括：分别将左侧摄像单元采集的平面图像和右侧摄像单元采集的平面图像之间没有重合的部分剪裁掉。剪裁掉的通常是左侧摄像单元采集的平面图像的左边缘部分和右侧摄像单元采集的平面图像的右边缘部分。裁剪后的平面图像分别成为左眼区域图像和右眼区域图像。左眼区域图像和右眼区域图像的视野区域是完全重合的，但是由于左眼区域图像和右眼区域图像分别为同一对摄像单元中的左侧摄像单元和右侧摄像单元采集并生成的，因而左侧摄像单元和右侧摄像单元又具有一定的视差，在显示时将左眼区域图像与有眼区域图像的视线隔离，即左眼只看左眼区域图像，有眼只看右眼区域图像，由此，两幅存在视差的区域图像经过大脑的合成，在用户的双眼处产生立体图像。
对裁剪后的平面图像进行图像信号处理操作，生成用于立体成像的左眼区域图像和右眼区域图像；
本领域技术人员可以理解，无人机搭载摄像单元高空采集平面图像时，受光线、高空环境以及飞行装置的稳定程度等因素的影响使得摄像单元所采集的平面图像的质量得不到保障，进行图像信号处理将有助于所述平面图像得到弥补。可以采取的图像信号处理操作有以下所示：减黑色、透镜滚降校正、通道增益调节、坏像素校正、去马赛克、裁切、按比例缩放、白平衡、色彩校正、亮度适应、色彩转换及增强图像对比度，例如，进行图像增强，图像一般不能增加原图像信息，但是会针对部分成像条件将弱信号凸显，使得图像信息更容易分辨。图像增强包括频域和空域两部分，空域法主要针对图像中的各像素点进行操作；频域法是在图像的一个变换域内修改如傅里叶系数、DTC变换系数对图像进行操作。
将生成的左眼区域图像和右眼区域图像传输至显示设备/服务器。
本领域技术人员可以理解，本发明中无人机搭载摄像单元采集平面图像时处于实时拍摄模式，因此将会产生海量的图像，服务器作为网络的中转点，其具备有存储容量大的特点，将图像传输至服务器存储，有利于图像的管理与数据共享，显示设备可通过发送请求至服务器，服务器将响应其请求传输对应空间方位的区域图像至显示设备中显示。
本领域技术人员可以理解，本发明中无人机搭载摄像单元采集的平面图像可直接传输至显示设备中显示。所述显示设备为虚拟现实头显设备智能手机，所述虚拟现实设备具备独立屏幕，产品结构复杂，技术含量高；所述智能手机需与虚拟现实头戴设备结合使用，所述虚拟现实头戴设备无独立的屏幕，结构简单，以智能手机的屏幕为屏幕。
S130：否则，由其中一个摄像单元采集的一幅平面图像生成左眼区域图像和右眼区域图像并传输至显示设备/服务器。
具体地，由单目摄像头采集平面图像并生成左眼区域图像和右眼区域图像传输至显示设备/服务器的具体步骤，包括：
对采集的平面图像进行图像信号处理操作；
与双目采集图像并生成左眼区域图像和右眼区域图像处理图像方式一致的，无人机搭载摄像单元高空采集平面图像时，受光线、高空环境以及飞行装置的稳定程度等因素的影响使得摄像单元所采集的平面图像的质量得不到保障，进行图像信号处理将有助于所述平面图像得到弥补。可以采取的图像信号处理操作有以下所示：减黑色、透镜滚降校正、通道增益调节、坏像素校正、去马赛克、裁切、按比例缩放、白平衡、色彩校正、亮度适应、色彩转换及增强图像对比度，例如，进行图像增强，图像一般不能增加原图像信息，但是会针对部分成像条件将弱信号凸显，使得图像信息更容易分辨。图像增强包括频域和空域两部分，空域法主要针对图像中的各像素点进行操作；频域法是在图像的一个变换域内修改如傅里叶系数、DTC变换系数对图像进行操作。例如，进行图像增强，图像一般不能增加原图像信息，但是会针对部分成像条件将弱信号凸显，使得图像信息更容易分辨。图像增强包括频域和空域两部分，空域法主要针对图像中的各像素点进行操作；频域法是在图像的一个变换域内修改如傅里叶系数、DTC变换系数对图像进行操作。
将处理后的该平面图像进行复制，生成用于立体成像的左眼区域图像和右眼区域图像；
由于无人机在飞行平稳时采用的是双目摄像头进行图像采集，生成用于产生立体视觉的左眼区域图像和右眼区域图像，为保证用户视觉体验不受影响，采用单目摄像头进行采集时，同样需要生成左眼区域图像和右眼区域图像并对应的在显示设备的左眼显示区域和右眼显示区域显示，以此保证双眼观看的图像的连贯性。
将生成的左眼区域图像和右眼区域图像传输至显示设备/服务器。
本领域技术人员可以理解，本发明中无人机搭载摄像单元采集平面图像时处于实时拍摄模式，因此将会产生海量的图像，服务器作为网络的中转点，其具备有存储容量大的特点，将图像传输至服务器存储，有利于图像的管理与数据共享，显示设备可通过发送请求至服务器，服务器将响应其请求传输对应空间方位的区域图像至显示设备中显示。
本领域技术人员可以理解，本发明中无人机搭载摄像单元采集的平面图像可直接传输至显示设备中显示。所述显示设备为虚拟现实头显设备智能手机，所述虚拟现实设备具备独立屏幕，产品结构复杂，技术含量高；所述智能手机需与虚拟现实头戴设备结合使用，所述虚拟现实头戴设备无独立的屏幕，结构简单，以智能手机的屏幕为屏幕。
具体地，所述显示设备显示区域平均分为左眼显示区域和右眼显示区域，所述左眼区域图像和右眼区域图像对应显示在左眼显示区域和右眼显示区域。本领域技术人员可以理解，本发明采用视差法构建三维立体成像，根据双目立体成像原理，需要将左眼和右眼的视线隔离，使左眼和右眼分别观看具有视差的两幅区域图像，经过大脑合成后，在两眼处产生立体视觉。
具体地，同一时刻获取并生成的所述左眼区域图像和右眼区域图像合并到同一数据帧中传输至显示设备/服务器。本领域技术人员可以理解，将同一时刻的左眼区域图像和右眼区域图像合并到同一数据帧中进行传输有助于提高数据处理速度。
具体地，所述摄像单元处于摄影模式以实时获取所述平面图像，按照摄像单元在该摄像模式下的帧速率，针对摄像单元获取每一帧平面图像，生成左眼区域图像和右眼区域图像的具体步骤对应循环执行一次。本领域技术人员可以理解，典型的帧速率为24帧/秒～30帧/秒，在此帧速率下，能够产生平滑和连续的效果。
本领域技术人员可以理解，当无人机飞行状态平稳时，采用双目摄像单元模拟人类双眼进行图像采集，开阔视野的同时还可根据双目立体成像原理产生立体视觉。通过双目摄像单元能有效的获取不同角度的同一视场范围内的景物的三维位置信息，并通过双目实时深度计算，恢复出三维几何信息，由此在人类双眼处产生立体视觉，带给用户身临其境的感觉。
然而，受高空环境的影响，无人机在高空飞行时会产生抖动或倾斜，此时采集的平面图像的质量得不到保障，若采用双目采集并生成对应的区域图像在人眼处形成立体视觉会将无人机在高空中的抖动会倾斜所见的画面传递给用户，使用户产生晕晃感，此时，可控制双目摄像单元中的其中一个摄像头进行图像采集，由此，在显示设备中显示仍为显示为左眼区域图像和右眼区域图像，但是在人眼处产生的依然是平面视觉，故而可防止因无人机飞行抖动而产生晕晃感。使用户更舒适的观看，有效提升用户体验。
第二方面，本发明还提供了一种基于无人机的立体图像生成装置，所述装置的框图如图2所示，包括：
监测模块210，监测内置于无人机内的传感器的参数，在该参数小于预设值时判定无人机处于水平平稳飞行状态；
本领域内技术人员可以理解，对于本发明中提出的惯性传感器，包括多个传感器，优选为MEMS传感器，既可以各自独立成部件，又可以集成在一起成为一个部件，例如集成在无人机内部的传感器有加速度传感器、陀螺仪、磁力计三个，则三个方位传感器既可以是三个独立的芯片，又可以是设计为一体的MEMS芯片。
具体地，所述传感器包括加速度计、陀螺仪和磁力计当中一种或任意多种；加速度计，用于感知本机飞行过程中的加速度变化值作为所述判定无人机处于水平平稳飞行的参数之一；陀螺仪，用于感知本机飞行过程中的角速率变化值作为所述判定无人机处于水平平稳飞行的参数之一。磁力计，用于定位本机飞行过程中的与东南四北的夹角变化值作为所述判定无人机处于水平平稳飞行的参数之一。
在本实施例中，例如采用陀螺仪和加速度传感器两种惯性传感器，加速度传感器是用来测量设备的加速度，陀螺仪是用来测量设备的角速度，两种传感器可以用来互相补偿误差，使得测试的数据更为准确，轨迹更为精准。优选地，加速度传感器优选为三轴加速度传感器，陀螺仪优选为三轴陀螺仪，三个轴的运动传感数据用来为生成三维的飞行轨迹做支撑，使得测量的飞行状态更为准确。
具体地，通过传感器实时采集本机飞行数据，通过解算该数据生成判定无人机处于水平平稳飞行状态的参数；
本发明中，根据传感器的测量数据对无人机飞行状态和飞行姿态的解算方法为四元素法，无人机在转动过程中，是将其坐标从载体坐标变换到地理坐标系上，变换的四元数可以用来表示该变化，载体坐标系转换到地理坐标系的变换形式为：
由此，可以看出，两种表示形式中的元素是一一对应的，在姿态矩阵中元素已知的情况下，即可通过以下公式得出四元数中的四个参数：
其中，q0、q1、q2、q3为四元数，其中q0表示一个旋转角度，q1、q2、q3表示的是一个空间向量，四元数的物理意义在于物体从姿态原点围绕向量(q1、q2、q3)旋转q0度；γ、θ、ψ为本机的姿态角。在得出四元数参数后，可通过微分方程得到更新的四元数，根据一系列的四元数的起伏变化幅度可判定无人机是否平稳飞行。本发明对判定无人机是否平稳飞行的解算方法不做限定，不排除使用欧拉角法、方向余弦法来解算无人机的飞行姿态。
双目采集模块220，根据无人机处于水平平稳飞行状态，由双目摄像单元同时采集两幅平面图像，分别生成左眼区域图像和右眼区域图像并传输至显示设备/服务器；
具体地，通过所述双目摄像单元采集视野部分重叠的两个平面图像。
本领域技术人员可以理解，为形成立体图像需要根据三角原理来获得所拍摄图像的三维几何信息，左边摄像单元所采集的平面图像上的任意一点可以在右边摄像单元采集的平面图像的同一水平极线上找到匹配点，构建三角关系，推算出三维空间关系即立体空间关系。
具体地，双目采集模块具体框图结构如图3所示，包括：
裁剪单元2201，将双目摄像单元所采集的两张平面图像根据双目立体成像原理进行剪裁，分别将两张平面图像中没有重合的部分裁剪掉；
本领域技术人员可以理解，双目立体成像是基于视差的原理，分别用左右两个摄像单元对目标物体的世界坐标系进行摄像机坐标系成像，再利用摄像单元坐标系中相对应的坐标和摄像机的中心点距离、焦距进行数学转换，以此求出目标点真实三维信息。采集目标点时需要用不同的角度，将不同角度拍摄的图像进行距离的探测，最后实现反映目标物体的三维信息。双目图像通常都是由同一个水平的两个摄像单元在不同视差角度下采集一个目标物体的两幅图像。
一般地，双目摄像单元中左侧摄像单元采集的平面图像和右侧摄像单元采集的平面图像有大部分区域都是基本重合的，然而由于左侧摄像单元和右侧摄像单元所在位置的视点不一致，左侧摄像单元采集的平面图像和右侧摄像单元采集的平面图像肯定有一定的偏差，即两图像肯定存在不重合的区域。
通常而言，左侧摄像单元所采集的平面图像的左边缘是右侧摄像单元所采集的平面图像所没有的，而右侧摄像单元所采集的平面图像的右边缘是侧摄像单元所采集的平面图像所没有的，即上述两个边缘部分是不重合的区域，需要剪裁掉，不然后续合成的立体图像两个边缘部分仍然是二维的平面图像。因此，在此实施例中，对同一对摄像单元中的左侧摄像单元和右侧摄像单元所采集的平面图像进行图像剪裁包括：分别将左侧摄像单元采集的平面图像和右侧摄像单元采集的平面图像之间没有重合的部分剪裁掉。剪裁掉的通常是左侧摄像单元采集的平面图像的左边缘部分和右侧摄像单元采集的平面图像的右边缘部分。裁剪后的平面图像分别成为左眼区域图像和右眼区域图像。左眼区域图像和右眼区域图像的视野区域是完全重合的，但是由于左眼区域图像和右眼区域图像分别为同一对摄像单元中的左侧摄像单元和右侧摄像单元采集并生成的，因而左侧摄像单元和右侧摄像单元又具有一定的视差，在显示时将左眼区域图像与有眼区域图像的视线隔离，即左眼只看左眼区域图像，有眼只看右眼区域图像，由此，两幅存在视差的区域图像经过大脑的合成，在用户的双眼处产生立体图像。
图像信号处理单元2202，对裁剪后的平面图像进行图像信号处理操作，生成用于立体成像的左眼区域图像和右眼区域图像；
本领域技术人员可以理解，无人机搭载摄像单元高空采集平面图像时，受光线、高空环境以及飞行装置的稳定程度等因素的影响使得摄像单元所采集的平面图像的质量得不到保障，进行图像信号处理将有助于所述平面图像得到弥补。可以采取的图像信号处理操作有以下所示：减黑色、透镜滚降校正、通道增益调节、坏像素校正、去马赛克、裁切、按比例缩放、白平衡、色彩校正、亮度适应、色彩转换及增强图像对比度，例如，进行图像增强，图像一般不能增加原图像信息，但是会针对部分成像条件将弱信号凸显，使得图像信息更容易分辨。图像增强包括频域和空域两部分，空域法主要针对图像中的各像素点进行操作；频域法是在图像的一个变换域内修改如傅里叶系数、DTC变换系数对图像进行操作。
传送单元2203，将生成的左眼区域图像和右眼区域图像传输至显示设备/服务器。
本领域技术人员可以理解，本发明中无人机搭载摄像单元采集平面图像时处于实时拍摄模式，因此将会产生海量的图像，服务器作为网络的中转点，其具备有存储容量大的特点，将图像传输至服务器存储，有利于图像的管理与数据共享，显示设备可通过发送请求至服务器，服务器将响应其请求传输对应空间方位的区域图像至显示设备中显示。
本领域技术人员可以理解，本发明中无人机搭载摄像单元采集的平面图像可直接传输至显示设备中显示。所述显示设备为虚拟现实头显设备智能手机，所述虚拟现实设备具备独立屏幕，产品结构复杂，技术含量高；所述智能手机需与虚拟现实头戴设备结合使用，所述虚拟现实头戴设备无独立的屏幕，结构简单，以智能手机的屏幕为屏幕。
单目采集模块230，由其中一个摄像单元采集的一幅平面图像生成左眼区域图像和右眼区域图像并传输至显示设备/服务器。
具体地，单目采集模块230的具体框图如图4所示，包括：
图像信号处理单元2301，对采集的平面图像进行图像信号处理操作；
与双目采集图像并生成左眼区域图像和右眼区域图像处理图像方式一致的，无人机搭载摄像单元高空采集平面图像时，,受光线、高空环境以及飞行装置的稳定程度等因素的影响使得摄像单元所采集的平面图像的质量得不到保障，进行图像信号处理将有助于所述平面图像得到弥补。可以采取的图像信号处理操作有以下所示：减黑色、透镜滚降校正、通道增益调节、坏像素校正、去马赛克、裁切、按比例缩放、白平衡、色彩校正、亮度适应、色彩转换及增强图像对比度，例如，进行图像增强，图像一般不能增加原图像信息，但是会针对部分成像条件将弱信号凸显，使得图像信息更容易分辨。图像增强包括频域和空域两部分，空域法主要针对图像中的各像素点进行操作；频域法是在图像的一个变换域内修改如傅里叶系数、DTC变换系数对图像进行操作。例如，进行图像增强，图像一般不能增加原图像信息，但是会针对部分成像条件将弱信号凸显，使得图像信息更容易分辨。图像增强包括频域和空域两部分，空域法主要针对图像中的各像素点进行操作；频域法是在图像的一个变换域内修改如傅里叶系数、DTC变换系数对图像进行操作。
复制单元2302，将处理后的该平面图像进行复制，生成用于立体成像的左眼区域图像和右眼区域图像；由于无人机在飞行平稳时采用的是双目摄像头进行图像采集，生成用于产生立体视觉的左眼区域图像和右眼区域图像，为保证用户视觉体验不受影响，采用单目摄像头进行采集时，同样需要生成左眼区域图像和右眼区域图像并对应的在显示设备的左眼显示区域和右眼显示区域显示，以此保证双眼观看的图像的连贯性。
传送单元2303，将生成的左眼区域图像和右眼区域图像传输至显示设备/服务器。
本领域技术人员可以理解，本发明中无人机搭载摄像单元采集平面图像时处于实时拍摄模式，因此将会产生海量的图像，服务器作为网络的中转点，其具备有存储容量大的特点，将图像传输至服务器存储，有利于图像的管理与数据共享，显示设备可通过发送请求至服务器，服务器将响应其请求传输对应空间方位的区域图像至显示设备中显示。
本领域技术人员可以理解，本发明中无人机搭载摄像单元采集的平面图像可直接传输至显示设备中显示。所述显示设备为虚拟现实头显设备智能手机，所述虚拟现实设备具备独立屏幕，产品结构复杂，技术含量高；所述智能手机需与虚拟现实头戴设备结合使用，所述虚拟现实头戴设备无独立的屏幕，结构简单，以智能手机的屏幕为屏幕。
具体地，所述显示设备显示区域平均分为左眼显示区域和右眼显示区域，所述左眼区域图像和右眼区域图像对应显示在左眼显示区域和右眼显示区域。本领域技术人员可以理解，本发明采用视差法构建三维立体成像，根据双目立体成像原理，需要将左眼和右眼的视线隔离，使左眼和右眼分别观看具有视差的两幅区域图像，经过大脑合成后，在两眼处产生立体视觉。
具体地，同一时刻获取并生成的所述左眼区域图像和右眼区域图像合并到同一数据帧中传输至显示设备/服务器。本领域技术人员可以理解，将同一时刻的左眼区域图像和右眼区域图像合并到同一数据帧中进行传输有助于提高数据处理速度。
具体地，所述摄像单元处于摄影模式以实时获取所述平面图像，按照摄像单元在该摄像模式下的帧速率，针对摄像单元获取每一帧平面图像，生成左眼区域图像和右眼区域图像的具体步骤对应循环执行一次。本领域技术人员可以理解，典型的帧速率为24帧/秒～30帧/秒，在此帧速率下，能够产生平滑和连续的效果。
本领域技术人员可以理解，当无人机飞行状态平稳时，采用双目摄像单元模拟人类双眼进行图像采集，开阔视野的同时还可根据双目立体成像原理产生立体视觉。通过双目摄像单元能有效的获取不同角度的同一视场范围内的景物的三维位置信息，并通过双目实时深度计算，恢复出三维几何信息，由此在人类双眼处产生立体视觉，带给用户身临其境的感觉。
然而，受高空环境的影响，无人机在高空飞行时会产生抖动或倾斜，此时采集的平面图像的质量得不到保障，若采用双目采集并生成对应的区域图像在人眼处形成立体视觉会将无人机在高空中的抖动会倾斜所见的画面传递给用户，使用户产生晕晃感，此时，可控制双目摄像单元中的其中一个摄像头进行图像采集，由此，在显示设备中显示仍为显示为左眼区域图像和右眼区域图像，但是在人眼处产生的依然是平面视觉，故而可防止因无人机飞行抖动而产生晕晃感。使用户更舒适的观看，有效提升用户体验。
进一步地，所述基于无人机的立体图像采集装置还包括通信模块(未示出，下同)和存储模块(未示出，下同)。
通信模块主要用于执行与显示设备/服务器的数据通信，主要采用无线通信单元，无线通信单元包括近距离通信单元和远距离通信单元，近距离通信单元可以是WiFi通信单元、红外通信单元或蓝牙通信单元中至少一种；远距离通信单元可以是蜂窝通信、3G移动通信单元或4G移动通信单元中至少一种。
存储模块主要包括存储程序区和存储数据区，其中，存储程序区可存储如操作系统；存储数据区可存储根据显示设备的使用所创建的数据(比如音频数据、视频数据等)等。此外，存储模块可以包括高速随机存取存储区，还可以包括非易失性存储区，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁盘或光盘等。
概括的说，本发明提供的技术方案概述如下：
A1、一种基于无人机的立体图像生成的方法，包括：
监测内置于无人机内的传感器的参数，在该参数小于预设值时判定无人机处于水平平稳飞行状态；
根据无人机处于水平平稳飞行状态，由双目摄像单元同时采集两幅平面图像，分别生成左眼区域图像和右眼区域图像并传输至显示设备/服务器；
否则，由其中一个摄像单元采集的一幅平面图像生成左眼区域图像和右眼区域图像并传输至显示设备/服务器。
A2、根据权利要求A1所述的立体图像生成的方法，所述传感器包括加速度计、陀螺仪和磁力计当中一种或任意多种；
A3、根据权利要求A1所述基于无人机的立体图像生成的方法，其特征在于，通过传感器实时采集本机飞行数据，并解算该数据生成判定无人机处于水平平稳飞行状态的参数；
A4、根据权利要求A1所述基于无人机的立体图像生成的方法，通过所述双目摄像单元采集视野部分重叠的两个平面图像。
A5、根据权利要求A1所述基于无人机的立体图像生成的方法，通过双目摄像单元采集平面图像并生成左眼区域图像和右眼区域图像传输至显示设备/服务器的具体步骤，包括：
将双目摄像单元所采集的两张平面图像根据双目立体成像原理进行剪裁，分别将两张平面图像中没有重合的部分裁剪掉；
对裁剪后的平面图像进行图像信号处理操作，生成用于立体成像的左眼区域图像和右眼区域图像；
将生成的左眼区域图像和右眼区域图像传输至显示设备/服务器。
A6、根据权利要求A1所述基于无人机的立体图像生成的方法，过单目摄像头采集平面图像并生成左眼区域图像和右眼区域图像传输至显示设备/服务器的具体步骤，包括：
对采集的平面图像进行图像信号处理操作；
对该平面图像进行复制，生成用于立体成像的左眼区域图像和右眼区域图像；
将生成的左眼区域图像和右眼区域图像传输至显示设备/服务器。
A7、根据权利要求A5和A6任意一项所述的基于无人机的立体图像生成的方法，所述显示设备显示区域平均分为左眼显示区域和右眼显示区域，所述左眼区域图像和右眼区域图像对应显示在左眼显示区域和右眼显示区域。
A8、根据权利要求A5和A6任意一项所述基于无人机的立体图像生成的方法，同一时刻获取并生成的所述左眼区域图像和右眼区域图像合并到同一数据帧中传输至显示设备/服务器。
A9、根据权利要求5和6任意一项所述的基于无人机的立体图像生成的方法，所述摄像单元处于摄影模式以实时获取所述平面图像，按照摄像单元在该摄像模式下的帧速率，针对摄像单元获取每一帧平面图像，生成左眼区域图像和右眼区域图像的具体步骤对应循环执行一次。
B10、一种基于无人机的立体图像生成的装置，包括：
监测模块，监测内置于无人机内的传感器的参数，在该参数小于预设值时判定无人机处于水平平稳飞行状态；
双目采集模块，根据无人机处于水平平稳飞行状态，由双目摄像单元同时采集两幅平面图像，分别生成左眼区域图像和右眼区域图像并传输至显示设备/服务器；
单目采集模块，根据无人机不处于水平平稳飞行状态，由其中一个摄像单元采集的一幅平面图像生成左眼区域图像和右眼区域图像并传输至显示设备/服务器。
B11、根据权利要求B10所述的立体图像生成的装置，所述传感器包括加速度计、陀螺仪和磁力计当中一种或任意多种；
B12、根据权利要求B10所述基于无人机的立体图像生成的装置，通过传感器实时采集本机飞行数据，通过解算该数据生成判定无人机处于水平平稳飞行状态的参数；
B13、根据权利要求B10所述基于无人机的立体图像生成的装置，通过所述双目摄像单元采集视野部分重叠的两个平面图像。
B14、根据权利要求B10所述基于无人机的立体图像生成的装置，双目采集模块具体包括：
裁剪单元，将双目摄像单元所采集的两张平面图像根据双目立体成像原理进行剪裁，分别将两张平面图像中没有重合的部分裁剪掉；
图像信号处理单元，对裁剪后的平面图像进行图像信号处理操作，生成用于立体成像的左眼区域图像和右眼区域图像；
传送单元，将生成的左眼区域图像和右眼区域图像传输至显示设备/服务器。
B15、根据权利要求B10所述基于无人机的立体图像生成的装置，单目采集模块具体包括：
图像信号处理单元，对采集的平面图像进行图像信号处理操作；
复制单元，对该平面图像进行复制，生成用于立体成像的左眼区域图像和右眼区域图像；
传送单元，将生成的左眼区域图像和右眼区域图像传输至显示设备/服务器。
B16、根据权利要求B14和B15任意一项所述的基于无人机的立体图像生成的装置，所述显示设备显示区域平均分为左眼显示区域和右眼显示区域，所述左眼区域图像和右眼区域图像对应显示在左眼显示区域和右眼显示区域。
B17、根据权利要求B14和B15任意一项所述基于无人机的立体图像生成的装置，同一时刻获取并生成的所述左眼区域图像和右眼区域图像合并到同一数据帧中传输至显示设备/服务器。
B18、根据权利要求B14和B15任意一项所述的基于无人机的立体图像生成的装置，所述摄像单元处于摄影模式以实时获取所述平面图像，按照摄像单元在该摄像模式下的帧速率，针对摄像单元获取每一帧平面图像，双目采集模块/单目采集模块对应循环执行一次。
综上所述，本发明提供的方案中，无人机上配置有双目摄像单元，无人机搭载所述双目摄像单元在高空采集平面图像，并且可根据无人机的飞行状态控制双目摄像头进行双目采集或单目采集。当无人机平稳飞行时，双目摄像单元中的两个摄像头都开启，采集双目平面图像并进行图像处理，生成左眼区域图像和右眼区域图像，传输到显示设备并对应在显示设备的左眼显示区域和右眼显示区域播放从而在人眼处形成立体图像，给人带来空中飞行的沉浸感以及犹如身临其境的在空中翱翔的体验；当无人机飞行时不平稳，即有抖动或倾斜的情况的时候，摄像单元采集的图像质量得不到保障，因而上述所描述的沉浸感会使用户产生晕晃的感受，因而采用双目摄像单元中的任意一个摄像头进行图像采集，对采集的一副平面图像进行图像处理生成左眼区域图像和右眼区域图像，而后，传输到显示设备中并对应显示设备的左眼显示区域和右眼显示区域播放，由于所述左眼区域图像和右眼采区域图像均来自于同一个摄像头的同一张平面图像，彼此之间并没有视差，因而在人眼处产生的视觉依然为平面图像，因此，可避免用户在观看时产生晕晃。由此，本发明提供的技术方案可以根据无人机的飞行状态控制双目摄像单元进行双目采集或单目采集，不仅能给用户带来身临其境的高空翱翔的体验，同时解决了因无人机飞行不平稳带来的晕晃问题，有效提升用户的体验。
以上对本发明所提供的一种智能设备进行了详细介绍，对于本领域的一般技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (12)
1.一种基于无人机的立体图像生成的方法，其特征在于，包括：
监测内置于无人机内的传感器的参数，在该参数小于预设值时判定无人机处于水平平稳飞行状态；
根据无人机处于水平平稳飞行状态，由双目摄像单元同时采集视野部分重叠的两幅平面图像，将双目摄像单元所采集的两张平面图像根据双目立体成像原理进行剪裁，分别将两张平面图像中没有重合的部分裁剪掉，对裁剪后的平面图像进行图像信号处理操作，分别生成左眼区域图像和右眼区域图像并传输至显示设备/服务器；
否则，由其中一个摄像单元采集的一幅平面图像，对采集的平面图像进行图像信号处理操作，对该平面图像进行复制，生成左眼区域图像和右眼区域图像并传输至显示设备/服务器。
2.根据权利要求1所述的基于无人机的立体图像生成的方法，其特征在于，所述传感器包括加速度计、陀螺仪和磁力计当中一种或任意多种。
3.根据权利要求1所述基于无人机的立体图像生成的方法，其特征在于，通过传感器实时采集本机飞行数据，并解算该数据生成判定无人机处于水平平稳飞行状态的参数。
4.根据权利要求1所述的基于无人机的立体图像生成的方法，其特征在于，所述显示设备显示区域平均分为左眼显示区域和右眼显示区域，所述左眼区域图像和右眼区域图像对应显示在左眼显示区域和右眼显示区域。
5.根据权利要求1所述基于无人机的立体图像生成的方法，其特征在于，同一时刻获取并生成的所述左眼区域图像和右眼区域图像合并到同一数据帧中传输至显示设备/服务器。
6.根据权利要求1所述的基于无人机的立体图像生成的方法，其特征在于，所述摄像单元处于摄影模式以实时获取所述平面图像，按照摄像单元在该摄像模式下的帧速率，针对摄像单元获取每一帧平面图像，生成左眼区域图像和右眼区域图像的具体步骤对应循环执行一次。
7.一种基于无人机的立体图像生成的装置，其特征在于，包括：
监测模块，监测内置于无人机内的传感器的参数，在该参数小于预设值时判定无人机处于水平平稳飞行状态；
双目采集模块，根据无人机处于水平平稳飞行状态，由双目摄像单元同时采集视野部分重叠的两幅平面图像，将双目摄像单元所采集的两张平面图像根据双目立体成像原理进行剪裁，分别将两张平面图像中没有重合的部分裁剪掉，对裁剪后的平面图像进行图像信号处理操作，分别生成左眼区域图像和右眼区域图像并传输至显示设备/服务器；
单目采集模块，根据无人机不处于水平平稳飞行状态，由其中一个摄像单元采集的一幅平面图像，对采集的平面图像进行图像信号处理操作，对该平面图像进行复制，生成左眼区域图像和右眼区域图像并传输至显示设备/服务器。
8.根据权利要求7所述的基于无人机的立体图像生成的装置，其特征在于，所述传感器包括加速度计、陀螺仪和磁力计当中一种或任意多种。
9.根据权利要求7所述基于无人机的立体图像生成的装置，其特征在于，通过传感器实时采集本机飞行数据，通过解算该数据生成判定无人机处于水平平稳飞行状态的参数。
10.根据权利要求7所述的基于无人机的立体图像生成的装置，其特征在于，所述显示设备显示区域平均分为左眼显示区域和右眼显示区域，所述左眼区域图像和右眼区域图像对应显示在左眼显示区域和右眼显示区域。
11.根据权利要求7所述基于无人机的立体图像生成的装置，其特征在于，同一时刻获取并生成的所述左眼区域图像和右眼区域图像合并到同一数据帧中传输至显示设备/服务器。
12.根据权利要求7所述的基于无人机的立体图像生成的装置，其特征在于，所述摄像单元处于摄影模式以实时获取所述平面图像，按照摄像单元在该摄像模式下的帧速率，针对摄像单元获取每一帧平面图像，双目采集模块/单目采集模块对应循环执行一次。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610597552.4A CN106162145B (zh) | 2016-07-26 | 2016-07-26 | 基于无人机的立体图像生成方法、装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610597552.4A CN106162145B (zh) | 2016-07-26 | 2016-07-26 | 基于无人机的立体图像生成方法、装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106162145A CN106162145A (zh) | 2016-11-23 |
| CN106162145B true CN106162145B (zh) | 2018-06-08 |
Family
ID=58060746
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610597552.4A Active CN106162145B (zh) | 2016-07-26 | 2016-07-26 | 基于无人机的立体图像生成方法、装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106162145B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108616738A (zh) * | 2017-01-16 | 2018-10-02 | 翔升（上海）电子技术有限公司 | 用于无人机的图像处理方法、装置和系统 |
| CN107071389A (zh) * | 2017-01-17 | 2017-08-18 | 亿航智能设备（广州）有限公司 | 航拍方法、装置和无人机 |
| JP6919222B2 (ja) * | 2017-02-27 | 2021-08-18 | セイコーエプソン株式会社 | 表示装置、及び、表示装置の制御方法 |
| WO2019051649A1 (zh) * | 2017-09-12 | 2019-03-21 | 深圳市大疆创新科技有限公司 | 图像传输方法、设备、可移动平台、监控设备及系统 |
| CN109076206B (zh) * | 2017-12-22 | 2021-01-26 | 深圳市大疆创新科技有限公司 | 基于无人机的立体成像方法和装置 |
| WO2019134155A1 (zh) * | 2018-01-07 | 2019-07-11 | 深圳市大疆创新科技有限公司 | 图像数据处理方法、设备、平台及存储介质 |
| WO2020062216A1 (en) * | 2018-09-30 | 2020-04-02 | SZ DJI Technology Co., Ltd. | Apparatus and method for hierarchical wireless video and graphics transmission based on video preprocessing |
| CN110673650B (zh) * | 2019-11-21 | 2022-09-23 | 梅州市晟邦科技有限公司 | 无人机控制方法 |
| CN112684456B (zh) * | 2020-12-22 | 2024-05-17 | 安徽配隆天环保科技有限公司 | 一种无人机超声立体成像模型系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05110930A (ja) * | 1991-10-17 | 1993-04-30 | Sharp Corp | ２画面カメラの信号処理装置 |
| CN203632794U (zh) * | 2013-11-20 | 2014-06-04 | 中国计量学院 | 一种双摄像头自动切换监控系统 |
| CN104168418A (zh) * | 2014-06-30 | 2014-11-26 | 宇龙计算机通信科技(深圳)有限公司 | 一种图像获取装置、图像获取方法及终端 |
| CN204287973U (zh) * | 2014-12-30 | 2015-04-22 | 览意科技（上海）有限公司 | 飞行相机 |
| CN105035322A (zh) * | 2015-07-07 | 2015-11-11 | 范充 | 汽车搭载用飞行装置 |
| CN205263658U (zh) * | 2015-12-21 | 2016-05-25 | 威海三智科技有限公司 | 一种无人机自稳定细分驱动视觉跟踪云台 |
-
2016
- 2016-07-26 CN CN201610597552.4A patent/CN106162145B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05110930A (ja) * | 1991-10-17 | 1993-04-30 | Sharp Corp | ２画面カメラの信号処理装置 |
| CN203632794U (zh) * | 2013-11-20 | 2014-06-04 | 中国计量学院 | 一种双摄像头自动切换监控系统 |
| CN104168418A (zh) * | 2014-06-30 | 2014-11-26 | 宇龙计算机通信科技(深圳)有限公司 | 一种图像获取装置、图像获取方法及终端 |
| CN204287973U (zh) * | 2014-12-30 | 2015-04-22 | 览意科技（上海）有限公司 | 飞行相机 |
| CN105035322A (zh) * | 2015-07-07 | 2015-11-11 | 范充 | 汽车搭载用飞行装置 |
| CN205263658U (zh) * | 2015-12-21 | 2016-05-25 | 威海三智科技有限公司 | 一种无人机自稳定细分驱动视觉跟踪云台 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106162145A (zh) | 2016-11-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106162145B (zh) | 基于无人机的立体图像生成方法、装置 | |
| JP7026214B2 (ja) | ヘッドマウントディスプレイ追跡システム | |
| CN106843456B (zh) | 一种基于姿态追踪的显示方法、装置和虚拟现实设备 | |
| US11257294B2 (en) | Cross reality system supporting multiple device types | |
| CN107431796B (zh) | 全景虚拟现实内容的全方位立体式捕捉和渲染 | |
| CN104699247B (zh) | 一种基于机器视觉的虚拟现实交互系统及方法 | |
| CN106101689B (zh) | 利用手机单目摄像头对虚拟现实眼镜进行增强现实的方法 | |
| CN106385576B (zh) | 立体虚拟现实直播方法、装置及电子设备 | |
| CN110047104A (zh) | 对象检测和跟踪方法、头戴式显示装置和存储介质 | |
| Smolyanskiy et al. | Stereoscopic first person view system for drone navigation | |
| CN106447766B (zh) | 一种基于移动设备单目相机的场景重建方法及装置 | |
| CN104718495B (zh) | 视频观察系统 | |
| CN102281455B (zh) | 图像显示系统、装置以及方法 | |
| CN108629830A (zh) | 一种三维环境信息显示方法及设备 | |
| CN204527663U (zh) | 一种无人驾驶飞行器 | |
| CN106507094A (zh) | 校正全景视频显示视角的方法及装置 | |
| CN104536579A (zh) | 交互式三维实景与数字图像高速融合处理系统及处理方法 | |
| CN106791360A (zh) | 生成全景视频的方法及装置 | |
| Oskiper et al. | Augmented reality binoculars | |
| CN108154533A (zh) | 一种位置姿态确定方法、装置及电子设备 | |
| CN107368192A (zh) | Vr眼镜的实景观测方法及vr眼镜 | |
| CN106791762A (zh) | 立体影像处理方法及系统 | |
| CN108646776B (zh) | 一种基于无人机的成像系统和方法 | |
| JP6518645B2 (ja) | 情報処理装置および画像生成方法 | |
| CN108012141A (zh) | 显示装置、显示系统和显示装置的控制方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220725 Address after: Room 801, 8th floor, No. 104, floors 1-19, building 2, yard 6, Jiuxianqiao Road, Chaoyang District, Beijing 100015 Patentee after: BEIJING QIHOO TECHNOLOGY Co.,Ltd. Address before: 100088 room 112, block D, 28 new street, new street, Xicheng District, Beijing (Desheng Park) Patentee before: BEIJING QIHOO TECHNOLOGY Co.,Ltd. Patentee before: Qizhi software (Beijing) Co.,Ltd. |