CN108496353A - 图像处理方法及无人机 - Google Patents
图像处理方法及无人机 Download PDFInfo
- Publication number
- CN108496353A CN108496353A CN201780005956.2A CN201780005956A CN108496353A CN 108496353 A CN108496353 A CN 108496353A CN 201780005956 A CN201780005956 A CN 201780005956A CN 108496353 A CN108496353 A CN 108496353A
- Authority
- CN
- China
- Prior art keywords
- frame image
- period
- visual angle
- frame
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 13
- 230000000007 visual effect Effects 0.000 claims abstract description 194
- 238000010276 construction Methods 0.000 claims abstract description 47
- 238000000034 method Methods 0.000 claims abstract description 34
- 238000005259 measurement Methods 0.000 claims description 14
- 238000012163 sequencing technique Methods 0.000 claims description 9
- 238000003860 storage Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 22
- 235000013350 formula milk Nutrition 0.000 description 21
- 238000010586 diagram Methods 0.000 description 16
- 238000004422 calculation algorithm Methods 0.000 description 12
- 230000007704 transition Effects 0.000 description 12
- 230000015572 biosynthetic process Effects 0.000 description 7
- 238000001514 detection method Methods 0.000 description 7
- 238000012546 transfer Methods 0.000 description 7
- 230000000875 corresponding effect Effects 0.000 description 6
- 238000003786 synthesis reaction Methods 0.000 description 6
- 230000009466 transformation Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000003442 weekly effect Effects 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 239000000155 melt Substances 0.000 description 3
- 230000002035 prolonged effect Effects 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 241001212149 Cathetus Species 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 240000000972 Agathis dammara Species 0.000 description 1
- 230000000739 chaotic effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 231100000241 scar Toxicity 0.000 description 1
- 238000002187 spin decoupling employing ultra-broadband-inversion sequences generated via simulated annealing Methods 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Studio Devices (AREA)
Abstract
一种图像处理方法及无人机，该方法包括：在N个时间段的每个时间段内均依次按照M个视角进行拍摄以得到N*M张帧图像，该M个视角共同构成全景视角；其中，M和N均为正整数；从所述N*M张帧图像中选择出M张帧图像构成一张全景图像，所述选择出的M张帧图像的拍摄视角各不相同，并且所述N个时间段中每个时间段拍摄的帧图像均至少有一张属于所述选择出的M张帧图像。采用该方法能够丰富图像的显示效果。
Description
本专利文件披露的内容包含受版权保护的材料。该版权为版权所有人所有。版权所有人不反对任何人复制专利与商标局的官方记录和档案中所存在的该专利文件或该专利披露。
技术领域
本发明涉及飞行器技术领域，尤其涉及一种图像处理方法及无人机。
背景技术
全景(Panorama)是把相机多个角度拍摄的多张照片拼接成一张全景图像，以此突破相机本身的视场(field of view，FoV)限制，显示的场景更加丰富。延时摄影又叫缩时摄影(Time-lapse photography)是通过照片串联或是视频抽帧，把几分钟、几小时甚至是几天几年的过程压缩在一个较短的时间内展示。
全景图像对无人机而言尚且可以较为便捷的实现，只需原地转航向yaw并拍摄一系列照片，在机载计算平台或是传输到智能终端(如手机、平板电脑)上即可完成全景拼接即可。但是，延时摄影对无人机而言却不好操作，由于无人机的续航大多在20-40分钟左右，只能受限拍摄一小段时间内的图片，最终反映在作品上就会显得时间跨度不足。如何在无人机上实现具有延时摄影效果的全景图像是本领域的技术人员正在研究的技术问题。
发明内容
有鉴于此，本发明实施例提供一种图像处理方法及无人机，能够丰富图像或者视频的显示效果。
本发明实施例第一方面提供了一种图像处理方法，该方法包括：
在N个时间段的每个时间段内均依次按照M个视角进行拍摄以得到N*M张帧图像，所述M个视角共同构成全景视角；其中，M和N均为正整数；
从所述N*M张帧图像中选择出M张帧图像构成一张全景图像，所述选择出的M张帧图像的拍摄视角各不相同，并且所述N个时间段中每个时间段拍摄的帧图像均至少有一张属于所述选择出的M张帧图像。
本发明实施例第二方面提供了又一种图像处理方法，该方法包括：
在N个时间段的每个时间段内均依次按照M个视角进行拍摄以得到N*M张帧图像；其中，M和N均为正整数；
从所述N*M张帧图像中选择出多张帧图像构成一段视频，所述选择出的多张帧图像的拍摄视角各不相同，并且所述N个时间段中每个时间段拍摄的帧图像均至少有一张属于所述选择出的多张帧图像。
本发明实施例第三方面提供了一种无人机，所述无人机包括存储器和处理器，所述存储器包括程序指令，所述处理器调用所述存储器中的程序指令来执行如下操作：
在N个时间段的每个时间段内均依次按照M个视角进行拍摄以得到N*M张帧图像，所述M个视角共同构成全景视角；其中，M和N均为正整数；
从所述N*M张帧图像中选择出M张帧图像构成一张全景图像，所述选择出的M张帧图像的拍摄视角各不相同，并且所述N个时间段中每个时间段拍摄的帧图像均至少有一张属于所述选择出的M张帧图像。
本发明实施例第四方面提供了又一种无人机，所述无人机包括存储器和处理器，所述存储器包括程序指令，所述处理器调用所述存储器中的程序指令来执行如下操作：
在N个时间段的每个时间段内均依次按照M个视角进行拍摄以得到N*M张帧图像；其中，M和N均为正整数；
从所述N*M张帧图像中选择出多张帧图像构成一段视频，所述选择出的多张帧图像的拍摄视角各不相同，并且所述N个时间段中每个时间段拍摄的帧图像均至少有一张属于所述选择出的多张帧图像。
采用本发明实施例，无人机在N个时间段中每个时间段均在M个视角进行拍摄以获得N*M张帧图像，然后从这N*M张帧图像中选择出部分帧图像构成全景图像或者视频，每个时间段拍摄的帧图像中均有帧图像属于该部分帧图像，且该部分帧图像的拍摄视角各不相同，融入延时摄影的效果，使全景图像或视频可以呈现时光的渐进式变化，丰富了全景图像或者视频的显示效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例的一种无人机的结构示意图；
图2为本发明实施例的一种图像处理方法的流程图；
图3为本发明实施例的一种帧图像选取的场景示意图；
图4为本发明实施例的又一种帧图像选取的场景示意图；
图5为本发明实施例的一种帧图像合成的场景示意图；
图6为本发明实施例的一种帧图像合成的原理示意图；
图7为本发明实施例的又一种帧图像选取的场景示意图；
图8为本发明实施例的又一种帧图像选取的场景示意图；
图9为本发明实施例的又一种图像处理方法的流程图；
图10为本发明实施例的又一种帧图像选取的场景示意图；
图11是本发明实施例的一种计算位资关系的流程示意图；
图12是本发明实施例的一种无人机的结构示意图；
图13是本发明实施例的又一种无人机的结构示意图；
图14是本发明实施例的又一种无人机的结构示意图；
图15是本发明实施例的又一种无人机的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参见图1，图1是本发明实施例提供的一种无人机(Unmanned Aerial Vehicle，UAV)101，例如四旋翼UAV、六旋翼UAV等。可选的，该无人机101上可以搭载云台102，该云台102可以是三轴云台，即该云台102的姿态可以在俯仰pitch、横滚roll以及航向yaw三个轴上进行控制，以便于确定出云台102的朝向，使得配置在云台102上的摄像设备等能够完成相应目标的航拍等任务。
可选的，无人机101中可以包括飞行控制器，飞行控制器通过无线连接方式(例如基于WiFi或射频通信的无线连接方式等)与所述地面控制设备103建立通信连接。所述地面控制设备103可以是带摇杆的控制器，通过杆量来对飞行器进行控制。所述地面控制设备103也可以为智能手机、平板电脑等智能设备，可以通过在用户界面UI上配置飞行轨迹来控制无人机101自动飞行，或者通过体感等方式来控制无人机101自动飞行。
请参见图2，图2是在本发明实施例提供的一种图像处理方法，该方法可以基于图1所示的无人机来实现，该方法包括但不限于如下步骤。
步骤S201：无人机在N个时间段的每个时间段内均依次按照M个视角进行拍摄以得到N*M张帧图像。
具体地，可以预先配置好这M个视角的拍摄信息，为每个拍摄视角配置一份拍摄信息；或者在这N个时间段中第一个进行拍照的时间段记录下M次在不同视角进行拍摄时的拍摄信息，每次拍摄都会产生一份拍摄信息，M次拍摄可以生成M份拍摄信息。每一份拍摄信息都可以包括惯性测量单元(Inertial Measurement Unit，IMU)、视觉里程计(VisualOdometry，VO)和全球定位系统(Global Positioning System，GPS)测量的信息，当然该拍摄信息还可以包括其他信息，以上列举的该拍摄信息所包含的信息是无人机所特有的，因此基于该拍摄信息确定的视角非常精准。该拍摄信息形成后，就可以参照该拍摄信息确定拍摄视角。如果这M份视角信息是预先配置好的，那么，这N个时间段中每个时间段均是按照预先配置的这M份视角信息确定的视角进行拍摄；如果这M份视角信息是由第一个进行拍摄的时间段记录下来的，那么，这N个时间段中后续的N-1个时间段均是按照记录下的这M份视角信息确定的视角进行拍摄。其中，N和N均为正整数。
在本发明实施例中，该N个时间段的间隔可长可短，但是这N个时间段按照时间先后顺序可以能够体现时光的变化，例如，一天中的上午的某个时段、中午的某个时段、下午的某个时段构成该N个时间段，从而体现一天的时光变化；再如，一年中每个季节的一个时间段共四个时间段构成该N个时间段，从而体现一年的时光变化；再如，一年中每个月的一个时间段共12个时间段构成该N个时间段，从而体现一年的时光变化；再如，一年中每周的一个时间段构成该N个时间段，从而体现一年的时光变化；等等。可选的，N个时时间段中任意两个时间段之间的间隔长于任意一个时间段的时间跨度(或说“长度”)。
举例来说，该N个时间段可以包括时间段1、时间段2、时间段3、……、时间段N；该M个视角可以为视角1、视角2、视角3、……、视角M；那么，在时间段1需要分别按照视角1、视角2、视角3、……、视角M进行拍摄可以得到M张帧图像，在时间段2需要分别按照视角1、视角2、视角3、……、视角M进行拍摄也可以得到M张帧图像，在时间段3需要分别按照视角1、视角2、视角3、……、视角M进行拍摄也可以得到M张帧图像，……，在时间段N需要分别按照视角1、视角2、视角3、……、视角M进行拍摄也可以得到M张帧图像，这样一来，在这N个时间段就能拍摄到N*M张帧图像。
步骤S202：该无人机从所述N*M张帧图像中选择出M张帧图像构成一张全景图像。
具体地，该无人机从该N*M张帧图像中选择出M张帧图像构成一张图像，选择其中哪些帧图像构成一张图像此处不限定。可选的，如果该M个视角按照预设规则排列刚好构成一个全景视角，如果这M个视角不按照该预设规则排列则构成的视角就比较混乱，也就不能构成一个全景视角。如果存在M张帧图像(这M张帧图像可以是在相同的时间段拍摄得到也可以是在不同的时间段拍摄得到)为分别基于这M个视角拍摄得到，那么，当该M张帧图像的排列顺序与该M个视角的排列顺序刚好相同或者刚好相反时，这M张帧图像就构成了一个全景图像，当该M张帧图像的排列顺序与该M个视角的排列顺序不是刚好相同也不是刚好相反时，这M张帧图像就不构成一个全景图像。在这种情况下，还可能存在以下列举几种可能的构成一张图像的方案：
方案一，这M张帧图像构成一张全景图像，并且这M张帧图像也刚好是按照拍摄时间段从前往后或者从后往前的顺序排列。这样一来，这M张帧图像构成的图像不仅是一张全景图像，还能够体现时光变化，即缩时摄影效果。
可选的，在从这N*M张帧图像中选择M张帧图像时的选择方式可以是，构建能够表示这N*M张帧图像的二维坐标，通过横轴示意视角渐进变化(按照上述预设规则渐进变化)，以及通过纵轴示意时间段渐进变化(即按照时间段从前往后或者从后往前的顺序渐进变化)，所述二维坐标轴中的任意一个坐标表示为(θ，T)，其中，θ表示拍摄视角，T表示拍摄时间段，所述N*M张帧图像中按视角渐进变化排在所述M个视角中第1个视角，且按照拍摄时间段渐进变化排在所述N个时间段中第1个时间段的帧图像在所述二维坐标轴中的坐标为(θ1，T1)，所述N*M张帧图像中按视角渐进变化排在所述M个视角中第M个视角，且按照拍摄时间段渐进变化排在所述N个时间段中第N个时间段的帧图像在所述二维坐标轴中的坐标为(θM，TN)，所述选择出的M帧张帧图像中每张帧图像到直线(θ-θ1)(θM-θ1)＝(T-T1)(TN-T1)的距离小于预设阈值，该预设阈值的大小可以根据需要预先设置好。以图3为例，这N个时间段具体指四个时间段，这个四个时间段分别处于春夏秋冬四个季节，图3中纵坐标表示时间段的按先后顺序逐渐变化，横坐标表示拍摄视角的逐渐变化(具体以视角由东向西变化进行示意)，方框表示帧图像，图中直线为(θ-θ1)(θM-θ1)＝(T-T1)(TN-T1)。
以生成体现一年的时光变化的全景图像为例，理想情况下，可以在一年内每周都选一个时间段进行拍摄，如图4所示，纵向展示拍摄时间段，横向表示拍摄视角，图中直线经过的方框表示这些方框包含的坐标所表示的帧图像属于上述选择出的M张帧图像，需要用于构建全景图像；对于一年而言每周拍摄一次的频率还比较高，因此，该全景图像展示的时光变化是渐进式的，能够显示比较自然的效果。但是也可以想到，如果拍摄时间间隔太大，例如，一年内四个季节都只选一个时间段进行拍摄，那么分担到每个时间段的景色就越多，意味着每个时间段需要拿出很多张帧图像用于后续构建全景图像，以此带来的问题是两个相邻时间段拍摄的照片之间的色彩差别较大，导致显示效果过渡太明显了，不自然。因此，我们需要进一步的构造一些中间时刻的照片，作为过渡衔接，使构建出的全景图像的显示效果更加自然。具体是针对任意两个相邻的拍摄时间段做如下操作：
假设这任意两个拍摄时间段通过第一拍摄时间段和第二拍摄时间段表示，那么，从第一拍摄时间段拍摄的帧图像中选择一张帧图像，以及从第二拍摄时间段拍摄的帧图像中选择一张帧图像，其中，选择出的这两张帧图像刚好在上述M个拍摄视角按照该预设规则形成的排序中相邻，那么，我们可以先确定目标坐标点，该目标坐标点的横坐标介于这两张帧图像的横坐标之间，该目标坐标点的纵坐标介于这两张帧图像的纵坐标之间。
可以理解的是，该目标坐标点周围会有很多表示帧图像的坐标，本发明实施例会选择出与该目标坐标点的距离d小于预设距离值的坐标，为了便于描述可以称与该目标坐标点的距离小于预设距离值的坐标为参考坐标，该参考坐标的数量通常为多个，这里需要根据该多个参考坐标各自表示的帧图像合成一张新的帧图像，如图5所示，根据帧图像1、帧图像2、帧图像3和帧图像4生成帧图像0，该帧图像0即为合成的新的帧图像。该新的帧图像即作为上述两张帧图像之间的过渡图像，即在生成的全景图像中该新的帧图像处于上述两张帧图像之间。另外，距离该目标坐标点越近的坐标所表示的帧图像对生成该新的帧图像的影响越大。假设该多个参考坐标中的某个参考坐标为(θi，Ti)，该目标坐标点的坐标为(θj，Tj)，那么，该某个参考坐标与该目标坐标点之间的距离di可通过以下公式1-1计算得到。
上述M张帧图像中各个帧图像之间的相对位姿pose关系也能得出，我们这里举例说明只是相机朝向发生了变化，所以只有一个旋转变换Rotation Matrix。正常来说，需要知道点的深度信息才能进行投影变换，具体如变换公式1-2所示：
但我们合成全景图像的时候，只是原地旋转，即只有旋转R而没有位移t，那么存在如下公式1-3所示的关系。
这里可以看出，d的值对最后结果无影响，所以简写成公式1-4：
K为相机内部参数矩阵Intrinsic Matrix，出厂的时候标定好了，具体如公式1-5所示：
p是虚拟渲染图上的点，这里表示虚拟渲染图的相机像素坐标系上的一个点，p’是投影变换后的点，这里表示虚拟渲染图(即上述新的帧图像或者说过渡图像)周围某张帧图像i(坐标为该某个参考坐标(θi，Ti))的相机像素坐标系上，与p对应的点。
p’＝[u,v]T坐标很可能是小数，但是对应的像素坐标系上并无小数，只有整数，这里获取点的色彩信息的时候，需要用到双线性差值(Bilinear Interpolation)，具体如图6所示。
这里选的是与该目标坐标点的距离最近的四个参考坐标各自表示的四张图，那么虚拟渲染图上的一点p，就对应着4个不同的点p′1,p′2,p′3,p′4，通过双线性插值能得到四种色彩信息I′1,I′2,I′3,I′4，这里点p的色彩信息I最终值，还需要融合下I′1,I′2,I′3,I′4，这里通过4个不同的点p′1,p′2,p′3,p′4与点p之间的距离作为权重，换句话说，距离目标坐标点越近的参考坐标所表示的帧图像中的信息用得多一些，距离目标坐标点越远的参考坐标所表示的帧图像中的信息用得少一些。具体把距离值换成权重，这里举例使用Softmax函数，具体如公式1-6：
σ(d)i即为某张帧图像i的权重系数，di为该某个参考坐标到目标坐标点的距离，上文已经计算出，我们这里只用目标坐标点周围最近的四个参考坐标所表示的四张帧图像的话，K＝4，由于距离越大权重越小，所以是负相关，这里e的幂加了负号。所以存在公式1-7所示的关系。
I＝σ1I′1+σ2I′2+σ3I′3+σ4I′4 1-7
对虚拟渲染图的每一点，都求取色彩信息，由此得到虚拟渲染图。
这里说明下，4张图不是必须的，最简单的情况下，也可以只使用上述两张帧图像拼接出该虚拟渲染图。
可以理解的是，本发明实施例将选择出来的M张帧图像和另外合成的新的帧图像(也称过渡图像或者虚拟渲染图)来共同构成该一张全景图像。可选的，上述目标坐标点在所述直线(θ-θ1)(θM-θ1)＝(T-T1)(TN-T1)上。
方案二，这M张帧图像构成一张全景图像，并且这M张帧图像不是按照拍摄时间段从前往后或者从后往前的顺序排列。这样一来，这M张帧图像构成的图像是一张全景图像，但是无法体现时光的渐进式变化，体现出的时光的变化可能比较跳跃。具体如何体现时光的变化可根据用户的需求预先在无人机中配置好策略。
也即是说，无人机可以任意选取每个视角的景色使用哪个时间段拍摄的帧图像合，而不要求选择出的帧图像随时间渐进变化，如图7所示，按照视角的渐进变化(图中以从左到右进行示意以方便理解)选取各时间段景色，选取出来的帧图像通过排列得到如图8所示的效果，此时虽然整体排列可能不是线性组合。需要说明的是，对于拼接一张图像来说，可以基于选择的帧图像在有限的照片中，做出无数种可能的拼接，并不实际受到时间序列，拍摄间隔密集程度的约束。正常来说，拍摄的照片要能够合成，需要时间间隔比较密集，比如一年四季就需要至少一两星期拍一次，但本发明不受到这个限制。
在图2所示的方法中，无人机在N个时间段中每个时间段均在M个视角进行拍摄以获得N*M张帧图像，然后从这N*M张帧图像中选择出部分帧图像构成全景图像，每个时间段拍摄的帧图像中均有帧图像属于该部分帧图像，且该部分帧图像的拍摄视角各不相同，融入延时摄影的效果，使全景图像可以呈现时光的渐进式变化，丰富了全景图像或者视频的显示效果。
请参见图9，图9是在本发明实施例提供的一种图像处理方法，该方法可以基于图1所示的无人机来实现，该方法包括但不限于如下步骤。
步骤S901：无人机在N个时间段的每个时间段内均依次按照M个视角进行拍摄以得到N*M张帧图像。
具体地，可以预先配置好这M个视角的拍摄信息，为每个拍摄视角配置一份拍摄信息；或者在这N个时间段中第一个进行拍照的时间段记录下M次在不同视角进行拍摄时的拍摄信息，每次拍摄都会产生一份拍摄信息，M次拍摄可以生成M份拍摄信息。每一份拍摄信息都可以包括惯性测量单元(Inertial Measurement Unit，IMU)、视觉里程计(VisualOdometry，VO)和全球定位系统(Global Positioning System，GPS)测量的信息，当然该拍摄信息还可以包括其他信息，以上列举的该拍摄信息所包含的信息是无人机所特有的，因此基于该拍摄信息确定的视角非常精准。该拍摄信息形成后，就可以参照该拍摄信息确定拍摄视角。如果这M份视角信息是预先配置好的，那么，这N个时间段中每个时间段均是按照预先配置的这M份视角信息确定的视角进行拍摄；如果这M份视角信息是由第一个进行拍摄的时间段记录下来的，那么，这N个时间段中后续的N-1个时间段均是按照记录下的这M份视角信息确定的视角进行拍摄。其中，N和N均为正整数。
在本发明实施例中，该N个时间段的间隔可长可短，但是这N个时间段按照时间先后顺序可以能够体现时光的变化，例如，一天中的上午的某个时段、中午的某个时段、下午的某个时段构成该N个时间段，从而体现一天的时光变化；再如，一年中每个季节的一个时间段共四个时间段构成该N个时间段，从而体现一年的时光变化；再如，一年中每个月的一个时间段共12个时间段构成该N个时间段，从而体现一年的时光变化；再如，一年中每周的一个时间段构成该N个时间段，从而体现一年的时光变化；等等。可选的，N个时时间段中任意两个时间段之间的间隔长于任意一个时间段的时间跨度(或说“长度”)。
举例来说，该N个时间段可以包括时间段1、时间段2、时间段3、……、时间段N；该M个视角可以为视角1、视角2、视角3、……、视角M；那么，在时间段1需要分别按照视角1、视角2、视角3、……、视角M进行拍摄可以得到M张帧图像，在时间段2需要分别按照视角1、视角2、视角3、……、视角M进行拍摄也可以得到M张帧图像，在时间段3需要分别按照视角1、视角2、视角3、……、视角M进行拍摄也可以得到M张帧图像，……，在时间段N需要分别按照视角1、视角2、视角3、……、视角M进行拍摄也可以得到M张帧图像，这样一来，在这N个时间段就能拍摄到N*M张帧图像。
步骤S902：无人机从该N*M张帧图像中选择出多张帧图像构成一段视频。
具体地，从所述N*M张帧图像中选择出多张帧图像构成一段视频，所述选择出的多张帧图像的拍摄视角各不相同，并且所述N个时间段中每个时间段拍摄的帧图像均至少有一张属于所述选择出的多张帧图像。该无人机从该N*M张帧图像中选择出多张帧图像构成一段视频，选择其中哪些帧图像构成一段视频此处不限定。可以理解的是，这里的一段视频与上面的一张全景图像是有很大区别的，选择出的多张帧图像构成视频时在视频中是按照时间的先后顺序进行呈现的，选择出的多张帧图像构成全景图像时在全景图像中是同时呈现的但是视角范围更广。在本发明实施例中，用于构成该视频的帧图像的拍摄视角各不相同，该M张帧图像的在该视频中的播放顺序与该M个视角渐进变化的顺序刚好相同或者刚好相反。与普通的延时视频不同，本发明所构成的视频可以在视角渐进变化的过程中同时展现时间的渐进变化，例如，四季的渐进变化，或者日夜更替，等等。如图10所示，我们把视频流展开，用实线长方形表示，虚线长方形分别代表了在春夏秋冬不同时间段拍摄的视频流。
当然视频的拼接并不像图片那么简单，首先在之前描述全景图像时，为了简便说明采取了常用的自转方式拍摄，即整个过程中相机只有R旋转变化，而忽略了T位移变化，这使得计算复杂度大大下降，而在视频中，由于无人机是在运动的，甚至不仅仅是自身运动，还有云台的姿态变换，所以这个过程必须考虑R和T的变化；还有就是默认不同时刻的照片直接做了衔接部分，进行拼接，默认多次拍摄的位置角度100％契合，但实际中肯定有偏差。如果直接拼接不同时间段的视频，会造成视频跳变十分明显，过渡很不自然的情况，这主要是色彩明暗变化，以及位置上不能100％对齐导致的。
为了解决视频跳变十分明显，过渡不自然的问题，本发明实施例提出在两个拍摄时间段拍摄的帧图像之间拟合渲染一些虚拟机位(在不同视角拍摄时机位不一样)的帧图像，即过渡图像，使得衔接更加自然。假设上述N个时间段中任意两个相邻的时间段我们描述其中前一个时间段为第一时间段，以及描述其中后一个时间段为第二时间段，那么在构建视频时需要设置第二时间段中最开始拍摄的一张帧图像(可简称为第二帧图像)与该第一时间段中最后拍摄的一张帧图像(可简称为第一帧图像)衔接，而实际上第一帧图像与第二帧图像的衔接可能出现过度太明显，不自然的情况。为了解决这个问题，可以找出第二时间段的开头的一些帧图像，而不是直接使用该第二时间段的中最开始拍摄的一张帧图像，然后，再从找出的这一些帧图像中选择与该第一帧图像最相似的一张帧图像。以下讲述确定最相似的帧图像的相关技术。
1.生成词袋模型(bag-of-words model，BoW model)
(a)在常飞行的地点，或是类似场景，采集帧图像数据。
(b)Feature representation：将所有帧图像用feature descriptors表示。检测特征点feature detection，如，再使用特征描述feature descriptors，如尺度不变特征变换(Scale-invariant feature transform，SIFT)或者是特征提取和特征描述算法(Oriented FAST and rotated BRIEF，ORB)。
(c)Codebook generation：生成密码本。这里我们使用无监督机器学习(Unsupervised ML)中的聚类(Clustering)来将归类得到的特征描述子(featuredescriptors)。举例说明，这里我们使用K-Means++算法(能够保证聚类均匀性的K均值算法)，并用k叉树表示密码本。
(d)调整每个叶子节点的权重，我们这里使用词频-逆文档频率调整每个codebook中每个子节点的权重。
2.词袋模型匹配
(a)备选的帧图像序列，每张提取全图的feature descriptors。
(b)再将feature descriptors每一个通过与codebook的k叉树的中间节点比较，就可已找到对应的叶子节点。
(c)这样每一个feature descriptors都能找到对应的叶子节点，当前时刻这张帧图像就能转为使用词袋模型BoW来描述。
(d)结合子节点的权重，分别计算出当前帧图像与每张候选帧图像的匹配程度，即相似度计算，找最相似，并做验算，从而找到匹配的帧图像。
例如：结合权重后，对面与某张帧图像A，它的特征点可以对应到多个单词，组成它的Bag-of-Words，如公式2-1所示：
这样我们就使用了一个向量vA来描述帧图像A，同样的我们会得到对应帧图像B、C……的Bag-of-Words描述向量vB,vC,…
将当前时刻的帧图像A，与周围机位拍摄的帧图像B、C…(不同机位的拍摄视角各不相同)等比较，计算相似度，这里相似度存在多种定义，举例说明我们使用L1范数形式，具体如公式2-2所示：
计算出最相近的帧图像，即认为是最匹配的帧图像。
由于同时有旋转和位移变换，而且不仅仅是无人机在移动还有云台的姿态变化，这里不能再纯粹靠着无人机的视觉里程计和GPS定位，需要进一步精准算出图像的深度信息。可以使用单目深度算法，或是交叉矩阵结构(Structure from motion，SfM)算法。
这里以单目深度为例：
(a)帧间运动预估，做算法准入判断，涉及算法如下：
vk+1＝vk+(Rwi(am-ba)+g)Δt
Δq＝q{(ω-bω)Δt}
(ba)k+1＝(ba)k
(bω)k+1＝(bω)k
(b)提取关键图像帧Key Frame，如图11所示。
需要满足关系公式2-3和公式2-4的关系：
(c)Feature Extract特征点提取。
一般我们选用角点(Corner detection)，可选的角点检测算法Corner DetectionAlgorithm有：FAST、SUSAN、以及Harris operator等，这里我们以角点检测算法(HarrisCorner Detection Algorithms)为例进行描述，具体如公式2-5所示。
(d)特征跟踪算法(KanadeLucasTomasi feature tracker，KLT)，如公式2-6所示。
(e)集束调整算法(Bundle Adjustment)估算camera pose，但这里可以不用做scalealignment，具体关系如公式2-7所示。
(f)Plane Sweeping计算深度图，如公式2-8所示。
Hi＝A[r1r2zir3+t] 2-8
(g)SGBM做Regularize，如公式2-9和公式2-10所示。
S(D)＝∑p∑rLr(p,Dp) 2-9
(h)交叉验证结果
找到相邻两个时间段拍摄的帧图像的衔接部分，最匹配的两张帧图像后，根据匹配的两张图像的位姿T1＝(R1,t1)与T2＝(R2,t2)做差值，构造出中间的虚拟机位从而得到虚拟帧图像，即过渡图像。旋转R可以拆解成轴角表达如公式2-11和公式2-12所示。
Translation：t＝[tx,ty,tz]T 2-12
那么这里T1与T2的差值可以表达为公式2-13所示。
按照需求构造虚拟机位，比如我们这里按照三张过渡帧来构造，那么三张过渡帧分别如公式2-14、2-15和2-16所示。
当然实际中可以根据ΔT的实际值大小，来决定构造虚拟机位的过渡帧数量，如果衔接部分差距较大，即ΔT比较大，那么就需要多几张过渡帧图像(或者说过渡图像)，反之亦然。
构造出过渡衔接的虚拟机位后，就能知道上述第一时间段拍摄的最后一张帧图像以及对应的第二时间段中拍摄的与该最后一张帧图像最匹配的那一张帧图像，与过渡帧图像之间的相对位姿关系，再根据该位资关系做重投影变换，具体如公式2-17所示。
再双线性差值渲染出虚拟的过渡帧，从而保证衔接过渡自然，具体原理可以参照对上面构建全景图像中的过渡图像的描述。
在图9所示的方法中，无人机在N个时间段中每个时间段均在M个视角进行拍摄以获得N*M张帧图像，然后从这N*M张帧图像中选择出部分帧图像构成视频，每个时间段拍摄的帧图像中均有帧图像属于该部分帧图像，且该部分帧图像的拍摄视角各不相同，融入延时摄影的效果，使视频可以呈现时光的渐进式变化，丰富了视频的显示效果。
以上描述了本发明实施例的方法，下面对本发明实施例的无人机进行说明。
请参见图12，是本发明实施例的一种无人机120的结构示意图，该无人机包括处理器1201、存储器1202、收发器1203和摄像头1204，该存储器1202用于存储程序指令，以及相关数据，例如，该处理器1201运行所需的数据或者该处理器1201运行所产生的数据。该收发器1203用于通过无线的方式(例如，无线保真WiFi网络、蜂窝网络，等等)与其他设备进行通信。该摄像头1204用于拍摄视频或者照片(也称帧图像、图像等等)。该处理器用于调用该存储器中的程序指令来执行如下操作：
在N个时间段的每个时间段内均通过摄像头1204依次按照M个视角进行拍摄以得到N*M张帧图像，所述M个视角共同构成全景视角；其中，M和N均为正整数；
从所述N*M张帧图像中选择出M张帧图像构成一张全景图像，所述选择出的M张帧图像的拍摄视角各不相同，并且所述N个时间段中每个时间段拍摄的帧图像均至少有一张属于所述选择出的M张帧图像。
在又一种可选的方案中，所述选择出的M帧张帧图像在所述全景图像中是按照拍摄时间段从前往后或从后往前的顺序排列。
在又一种可选的方案中，在横轴示意视角渐进变化纵轴示意时间段渐进变化的二维坐标轴中，所述二维坐标轴中的任意一个坐标表示为(θ，T)，其中，θ表示拍摄视角，T表示拍摄时间段，所述N*M张帧图像中按视角渐进变化排在所述M个视角中第1个视角，按照拍摄时间段渐进变化排在所述N个时间段中第1个时间段的帧图像在所述二维坐标轴中的坐标为(θ1，T1)，所述N*M张帧图像中按视角渐进变化排在所述M个视角中第M个视角，按照拍摄时间段渐进变化排在所述N个时间段中第N个时间段的帧图像在所述二维坐标轴中的坐标为(θM，TN)，所述选择出的M帧张帧图像中每张帧图像到直线(θ-θ1θM-θ1＝T-T1TN-T1的距离小于预设阈值。
在又一种可选的方案中，所述处理器从所述N*M张帧图像中选择出M张帧图像构成一张全景图像，具体为：
根据坐标在目标坐标点周围的帧图像生成新的帧图像，所述目标坐标点在所述直线(θ-θ1)(θM-θ1)＝(T-T1)(TN-T1)上；
根据从所述N*M张帧图像中选择出的M张帧图像和所述新的帧图像构成一张全景图像，所述全景图像中依次排列的帧图像的横坐标逐渐增大或者逐渐减小；所述全景图像中依次排列的帧图像的纵坐标逐渐增大或者逐渐减小。
在又一种可选的方案中，离所述目标坐标点越近的坐标所代表的帧图像对生成的所述新的帧图像的影响越大。
在又一种可选的方案中，所述M个视角中每个视角均由拍摄信息确定；所述拍摄信息包括惯性测量单元IMU、视角里程计VO和全球定位系统GPS测量的信息。
图12所示的无人机的实现还可以对应参照图2所示的方法实施例的描述。
图12所示的无人机中，无人机在N个时间段中每个时间段均在M个视角进行拍摄以获得N*M张帧图像，然后从这N*M张帧图像中选择出部分帧图像构成全景图像，每个时间段拍摄的帧图像中均有帧图像属于该部分帧图像，且该部分帧图像的拍摄视角各不相同，融入延时摄影的效果，使全景图像可以呈现时光的渐进式变化，丰富了全景图像的显示效果。
请参见图13，是本发明实施例的一种无人机130的结构示意图，该无人机包括处理器1301、存储器1302、收发器1303和摄像头1304，该存储器1302用于存储程序指令，以及相关数据，例如，该处理器1301运行所需的数据或者该处理器1301运行所产生的数据。该收发器1303用于通过无线的方式(例如，无线保真WiFi网络、蜂窝网络，等等)与其他设备进行通信。该摄像头1304用于拍摄视频或者照片(也称帧图像、图像等等)。该处理器用于调用该存储器中的程序指令来执行如下操作：
在N个时间段的每个时间段内均依次按照M个视角进行拍摄以得到N*M张帧图像；其中，M和N均为正整数；
从所述N*M张帧图像中选择出多张帧图像构成一段视频，所述选择出的多张帧图像的拍摄视角各不相同，并且所述N个时间段中每个时间段拍摄的帧图像均至少有一张属于所述选择出的多张帧图像。
在一种可选的方案中，所述一段视频中任意两张相邻的帧图像的拍摄视角的变化为渐进变化，且所述选择出的多张帧图像在所述一段视频中是按照拍摄时间段从前往后或从后往前的顺序排列。
在又一种可选的方案中，所述从所述N*M张帧图像中选择出多张帧图像构成一段视频，包括：
从第二时间段中确定与第一时间段中的第一帧图像最匹配的第二帧图像，所述第一帧图像为所述第一时间段内最后拍摄的一张帧图像；所述第二时间段与所述第一时间段为所述N个时间段中任意两个相邻的时间段，且所述第二时间段的时间顺序在所述第一时间段的时间顺序之后；
根据多张帧图像构成一段视频，所述多张帧图像包括所述第二帧图像和所述第一帧图像，且在所述一段视频中所述第二帧图像与所述第一帧图像之间间隔的帧图像不超过一个。
在又一种可选的方案中，在所述一段视频中所述第二帧图像与所述第一帧图像之间间隔一个帧图像，间隔的所述一个帧图像为根据所述第二帧图像和所述第一帧图像中的像素点计算得到。
在又一种可选的方案中，所述M个视角中每个视角均由拍摄信息确定；所述拍摄信息包括惯性测量单元IMU、视角里程计VO和全球定位系统GPS测量的信息。
图13所示的无人机的实现还可以对应参照图9所示的方法实施例的描述。
图13所示的无人机中，无人机在N个时间段中每个时间段均在M个视角进行拍摄以获得N*M张帧图像，然后从这N*M张帧图像中选择出部分帧图像构成视频，每个时间段拍摄的帧图像中均有帧图像属于该部分帧图像，且该部分帧图像的拍摄视角各不相同，融入延时摄影的效果，使视频可以呈现时光的渐进式变化，丰富了视频的显示效果。
请参见图14，是本发明实施例的一种无人机140的结构示意图，该无人机140包括拍摄模块1401和合成模块1402，各个单元的描述如下：
拍摄模块1401用于在N个时间段的每个时间段内均依次按照M个视角进行拍摄以得到N*M张帧图像，所述M个视角共同构成全景视角；其中，M和N均为正整数；
合成模块1402用于从所述N*M张帧图像中选择出M张帧图像构成一张全景图像，所述选择出的M张帧图像的拍摄视角各不相同，并且所述N个时间段中每个时间段拍摄的帧图像均至少有一张属于所述选择出的M张帧图像。
在又一种可选的方案中，所述选择出的M帧张帧图像在所述全景图像中是按照拍摄时间段从前往后或从后往前的顺序排列。
在又一种可选的方案中，在横轴示意视角渐进变化纵轴示意时间段渐进变化的二维坐标轴中，所述二维坐标轴中的任意一个坐标表示为(θ，T)，其中，θ表示拍摄视角，T表示拍摄时间段，所述N*M张帧图像中按视角渐进变化排在所述M个视角中第1个视角，按照拍摄时间段渐进变化排在所述N个时间段中第1个时间段的帧图像在所述二维坐标轴中的坐标为(θ1，T1)，所述N*M张帧图像中按视角渐进变化排在所述M个视角中第M个视角，按照拍摄时间段渐进变化排在所述N个时间段中第N个时间段的帧图像在所述二维坐标轴中的坐标为(θM，TN)，所述选择出的M帧张帧图像中每张帧图像到直线(θ-θ1θM-θ1＝T-T1TN-T1的距离小于预设阈值。
在又一种可选的方案中，所述合成模块1402从所述N*M张帧图像中选择出M张帧图像构成一张全景图像，具体为：
根据坐标在目标坐标点周围的帧图像生成新的帧图像，所述目标坐标点在所述直线(θ-θ1)(θM-θ1)＝(T-T1)(TN-T1)上；
根据从所述N*M张帧图像中选择出的M张帧图像和所述新的帧图像构成一张全景图像，所述全景图像中依次排列的帧图像的横坐标逐渐增大或者逐渐减小；所述全景图像中依次排列的帧图像的纵坐标逐渐增大或者逐渐减小。
在又一种可选的方案中，离所述目标坐标点越近的坐标所代表的帧图像对生成的所述新的帧图像的影响越大。
在又一种可选的方案中，所述M个视角中每个视角均由拍摄信息确定；所述拍摄信息包括惯性测量单元IMU、视角里程计VO和全球定位系统GPS测量的信息。
图14所示的无人机的实现还可以对应参照图2所示的方法实施例的描述。
图14所示的无人机中，无人机在N个时间段中每个时间段均在M个视角进行拍摄以获得N*M张帧图像，然后从这N*M张帧图像中选择出部分帧图像构成全景图像，每个时间段拍摄的帧图像中均有帧图像属于该部分帧图像，且该部分帧图像的拍摄视角各不相同，融入延时摄影的效果，使全景图像可以呈现时光的渐进式变化，丰富了全景图像的显示效果。
请参见图15，是本发明实施例的一种无人机150的结构示意图，该无人机150包括拍摄模块1501和合成模块1502，各个单元的描述如下：
拍摄模块1501用于在N个时间段的每个时间段内均依次按照M个视角进行拍摄以得到N*M张帧图像；其中，M和N均为正整数；
合成模块1502用于从所述N*M张帧图像中选择出多张帧图像构成一段视频，所述选择出的多张帧图像的拍摄视角各不相同，并且所述N个时间段中每个时间段拍摄的帧图像均至少有一张属于所述选择出的多张帧图像。
在又一种可选的方案中，所述一段视频中任意两张相邻的帧图像的拍摄视角的变化为渐进变化，且所述选择出的多张帧图像在所述一段视频中是按照拍摄时间段从前往后或从后往前的顺序排列。
在又一种可选的方案中，所述合成模块1502从所述N*M张帧图像中选择出多张帧图像构成一段视频，具体为：
从第二时间段中确定与第一时间段中的第一帧图像最匹配的第二帧图像，所述第一帧图像为所述第一时间段内最后拍摄的一张帧图像；所述第二时间段与所述第一时间段为所述N个时间段中任意两个相邻的时间段，且所述第二时间段的时间顺序在所述第一时间段的时间顺序之后；
根据多张帧图像构成一段视频，所述多张帧图像包括所述第二帧图像和所述第一帧图像，且在所述一段视频中所述第二帧图像与所述第一帧图像之间间隔的帧图像不超过一个。
在又一种可选的方案中，在所述一段视频中所述第二帧图像与所述第一帧图像之间间隔一个帧图像，间隔的所述一个帧图像为根据所述第二帧图像和所述第一帧图像中的像素点计算得到。
在又一种可选的方案中，所述M个视角中每个视角均由拍摄信息确定；所述拍摄信息包括惯性测量单元IMU、视角里程计VO和全球定位系统GPS测量的信息。
图15所示的无人机中，无人机在N个时间段中每个时间段均在M个视角进行拍摄以获得N*M张帧图像，然后从这N*M张帧图像中选择出部分帧图像构成视频，每个时间段拍摄的帧图像中均有帧图像属于该部分帧图像，且该部分帧图像的拍摄视角各不相同，融入延时摄影的效果，使视频可以呈现时光的渐进式变化，丰富了视频的显示效果。本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有程序指令，当所述程序指令由处理器运行时，实现图2所示的方法实施例所描述的方法。
本发明实施例还提供一种计算机程序产品，当所述计算机程序产品在由处理器上运行时，实现图2所示的方法实施例所描述的方法，或者实现图9所示的方法实施例所描述的方法。
可以理解，以上所揭露的仅为本发明实施例的部分实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。
Claims (23)
1.一种图像处理方法，其特征在于，包括：
在N个时间段的每个时间段内均依次按照M个视角进行拍摄以得到N*M张帧图像，所述M个视角共同构成全景视角；其中，M和N均为正整数；
从所述N*M张帧图像中选择出M张帧图像构成一张全景图像，所述选择出的M张帧图像的拍摄视角各不相同，并且所述N个时间段中每个时间段拍摄的帧图像均至少有一张属于所述选择出的M张帧图像。
2.根据权利要求1所述的方法，其特征在于，所述选择出的M帧张帧图像在所述全景图像中是按照拍摄时间段从前往后或从后往前的顺序排列。
3.根据权利要求2所述的方法，其特征在于，在横轴示意视角渐进变化纵轴示意时间段渐进变化的二维坐标轴中，所述二维坐标轴中的任意一个坐标表示为(θ，T)，其中，θ表示拍摄视角，T表示拍摄时间段，所述N*M张帧图像中按视角渐进变化排在所述M个视角中第1个视角，按照拍摄时间段渐进变化排在所述N个时间段中第1个时间段的帧图像在所述二维坐标轴中的坐标为(θ1，T1)，所述N*M张帧图像中按视角渐进变化排在所述M个视角中第M个视角，按照拍摄时间段渐进变化排在所述N个时间段中第N个时间段的帧图像在所述二维坐标轴中的坐标为(θM，TN)，所述选择出的M帧张帧图像中每张帧图像到直线(θ-θ1)(θM-θ1)＝(T-T1)(TN-T1)的距离小于预设阈值。
4.根据权利要求3所述的方法，其特征在于，所述从所述N*M张帧图像中选择出M张帧图像构成一张全景图像，包括：
根据坐标在目标坐标点周围的帧图像生成新的帧图像，所述目标坐标点在所述直线(θ-θ1)(θM-θ1)＝(T-T1)(TN-T1)上；
根据从所述N*M张帧图像中选择出的M张帧图像和所述新的帧图像构成一张全景图像，所述全景图像中依次排列的帧图像的横坐标逐渐增大或者逐渐减小；所述全景图像中依次排列的帧图像的纵坐标逐渐增大或者逐渐减小。
5.根据权利要求4所述的方法，其特征在于，离所述目标坐标点越近的坐标所代表的帧图像对生成的所述新的帧图像的影响越大。
6.根据权利要求1-5任一项所述的方法，其特征在于，所述M个视角中每个视角均由拍摄信息确定；所述拍摄信息包括惯性测量单元IMU、视角里程计VO和全球定位系统GPS测量的信息。
7.一种图像处理方法，其特征在于，包括：
在N个时间段的每个时间段内均依次按照M个视角进行拍摄以得到N*M张帧图像；其中，M和N均为正整数；
从所述N*M张帧图像中选择出多张帧图像构成一段视频，所述选择出的多张帧图像的拍摄视角各不相同，并且所述N个时间段中每个时间段拍摄的帧图像均至少有一张属于所述选择出的多张帧图像。
8.根据权利要求7所述的方法，其特征在于，所述一段视频中任意两张相邻的帧图像的拍摄视角的变化为渐进变化，且所述选择出的多张帧图像在所述一段视频中是按照拍摄时间段从前往后或从后往前的顺序排列。
9.根据权利要求7或8所述的方法，其特征在于，所述从所述N*M张帧图像中选择出多张帧图像构成一段视频，包括：
从第二时间段中确定与第一时间段中的第一帧图像最匹配的第二帧图像，所述第一帧图像为所述第一时间段内最后拍摄的一张帧图像；所述第二时间段与所述第一时间段为所述N个时间段中任意两个相邻的时间段，且所述第二时间段的时间顺序在所述第一时间段的时间顺序之后；
根据多张帧图像构成一段视频，所述多张帧图像包括所述第二帧图像和所述第一帧图像，且在所述一段视频中所述第二帧图像与所述第一帧图像之间间隔的帧图像不超过一个。
10.根据权利要求9所述的方法，其特征在于，在所述一段视频中所述第二帧图像与所述第一帧图像之间间隔一个帧图像，间隔的所述一个帧图像为根据所述第二帧图像和所述第一帧图像中的像素点计算得到。
11.根据权利要求7-10任一项所述的方法，其特征在于，所述M个视角中每个视角均由拍摄信息确定；所述拍摄信息包括惯性测量单元IMU、视角里程计VO和全球定位系统GPS测量的信息。
12.一种无人机，其特征在于，所述无人机包括存储器和处理器，所述存储器包括程序指令，所述处理器调用所述存储器中的程序指令来执行如下操作：
在N个时间段的每个时间段内均依次按照M个视角进行拍摄以得到N*M张帧图像，所述M个视角共同构成全景视角；其中，M和N均为正整数；
从所述N*M张帧图像中选择出M张帧图像构成一张全景图像，所述选择出的M张帧图像的拍摄视角各不相同，并且所述N个时间段中每个时间段拍摄的帧图像均至少有一张属于所述选择出的多M帧图像。
13.根据权利要求12所述的无人机，其特征在于，所述选择出的M帧张帧图像在所述全景图像中是按照拍摄时间段从前往后或从后往前的顺序排列。
14.根据权利要求13所述的无人机，其特征在于，在横轴示意视角渐进变化纵轴示意时间段渐进变化的二维坐标轴中，所述二维坐标轴中的任意一个坐标表示为(θ，T)，其中，θ表示拍摄视角，T表示拍摄时间段，所述N*M张帧图像中按视角渐进变化排在所述M个视角中第1个视角，按照拍摄时间段渐进变化排在所述N个时间段中第1个时间段的帧图像在所述二维坐标轴中的坐标为(θ1，T1)，所述N*M张帧图像中按视角渐进变化排在所述M个视角中第M个视角，按照拍摄时间段渐进变化排在所述N个时间段中第N个时间段的帧图像在所述二维坐标轴中的坐标为(θM，TN)，所述选择出的M帧张帧图像中每张帧图像到直线(θ-θ1)(θM-θ1)＝(T-T1)(TN-T1)的距离小于预设阈值。
15.根据权利要求14所述的无人机，其特征在于，所述处理器从所述N*M张帧图像中选择出M张帧图像构成一张全景图像，具体为：
根据坐标在目标坐标点周围的帧图像生成新的帧图像，所述目标坐标点在所述直线(θ-θ1)(θM-θ1)＝(T-T1)(TN-T1)上；
根据从所述N*M张帧图像中选择出的M张帧图像和所述新的帧图像构成一张全景图像，所述全景图像中依次排列的帧图像的横坐标逐渐增大或者逐渐减小；所述全景图像中依次排列的帧图像的纵坐标逐渐增大或者逐渐减小。
16.根据权利要求15所述的无人机，其特征在于，离所述目标坐标点越近的坐标所代表的帧图像对生成的所述新的帧图像的影响越大。
17.根据权利要求13-16任一项所述的无人机，其特征在于，所述M个视角中每个视角均由拍摄信息确定；所述拍摄信息包括惯性测量单元IMU、视角里程计VO和全球定位系统GPS测量的信息。
18.一种无人机，其特征在于，所述无人机包括存储器和处理器，所述存储器包括程序指令，所述处理器调用所述存储器中的程序指令来执行如下操作：
在N个时间段的每个时间段内均依次按照M个视角进行拍摄以得到N*M张帧图像；其中，M和N均为正整数；
从所述N*M张帧图像中选择出多张帧图像构成一段视频，所述选择出的多张帧图像的拍摄视角各不相同，并且所述N个时间段中每个时间段拍摄的帧图像均至少有一张属于所述选择出的多张帧图像。
19.根据权利要求18所述的无人机，其特征在于，所述一段视频中任意两张相邻的帧图像的拍摄视角的变化为渐进变化，且所述选择出的多张帧图像在所述一段视频中是按照拍摄时间段从前往后或从后往前的顺序排列。
20.根据权利要求18或11所述的无人机，其特征在于，所述从所述N*M张帧图像中选择出多张帧图像构成一段视频，包括：
从第二时间段中确定与第一时间段中的第一帧图像最匹配的第二帧图像，所述第一帧图像为所述第一时间段内最后拍摄的一张帧图像；所述第二时间段与所述第一时间段为所述N个时间段中任意两个相邻的时间段，且所述第二时间段的时间顺序在所述第一时间段的时间顺序之后；
根据多张帧图像构成一段视频，所述多张帧图像包括所述第二帧图像和所述第一帧图像，且在所述一段视频中所述第二帧图像与所述第一帧图像之间间隔的帧图像不超过一个。
21.根据权利要求20所述的无人机，其特征在于，在所述一段视频中所述第二帧图像与所述第一帧图像之间间隔一个帧图像，间隔的所述一个帧图像为根据所述第二帧图像和所述第一帧图像中的像素点计算得到。
22.根据权利要求18-21任一项所述的无人机，其特征在于，所述M个视角中每个视角均由拍摄信息确定；所述拍摄信息包括惯性测量单元IMU、视角里程计VO和全球定位系统GPS测量的信息。
23.一种可读存储介质，其特征在于，所述可读存储介质用于存储程序指令，当所述程序指令被处理器执行时实现权利要求1-11任一项所述的方法。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2017/108354 WO2019084719A1 (zh) | 2017-10-30 | 2017-10-30 | 图像处理方法及无人机 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108496353A true CN108496353A (zh) | 2018-09-04 |
| CN108496353B CN108496353B (zh) | 2021-03-02 |
Family
ID=63344748
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201780005956.2A Expired - Fee Related CN108496353B (zh) | 2017-10-30 | 2017-10-30 | 图像处理方法及无人机 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN108496353B (zh) |
| WO (1) | WO2019084719A1 (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111193865A (zh) * | 2019-12-31 | 2020-05-22 | 维沃移动通信有限公司 | 图像处理方法和装置 |
| CN113160054A (zh) * | 2021-04-01 | 2021-07-23 | 佛山市顺德区美的洗涤电器制造有限公司 | 用于处理图像的方法、控制设备及家用电器 |
| WO2022021128A1 (zh) * | 2020-07-29 | 2022-02-03 | 深圳市大疆创新科技有限公司 | 图像处理方法、电子设备、相机和可读存储介质 |
| WO2023097494A1 (zh) * | 2021-11-30 | 2023-06-08 | 深圳市大疆创新科技有限公司 | 全景图像拍摄方法、装置、无人机、系统及存储介质 |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI649721B (zh) * | 2017-12-06 | 2019-02-01 | 凌通科技股份有限公司 | 無人飛行機之全景拍照方法與使用其之無人飛行機 |
| WO2020102976A1 (zh) * | 2018-11-20 | 2020-05-28 | 深圳市大疆创新科技有限公司 | 云台调整方法、云台调整设备、移动平台及介质 |
| CN113837064B (zh) * | 2021-09-22 | 2023-11-03 | 广州小鹏自动驾驶科技有限公司 | 道路识别方法、系统和可读存储介质 |
| CN115760551A (zh) * | 2022-11-01 | 2023-03-07 | 影石创新科技股份有限公司 | 全景图像处理方法、装置、计算机设备、介质和程序产品 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110164108A1 (en) * | 2009-12-30 | 2011-07-07 | Fivefocal Llc | System With Selective Narrow FOV and 360 Degree FOV, And Associated Methods |
| CN103501409A (zh) * | 2013-10-01 | 2014-01-08 | 中国人民解放军国防科学技术大学 | 一种超高分辨率全景高速球一体机系统 |
| CN105611170A (zh) * | 2015-12-31 | 2016-05-25 | 深圳市道通智能航空技术有限公司 | 一种无人机及其全景拼接方法、装置和系统 |
| US20160198088A1 (en) * | 2014-12-23 | 2016-07-07 | SZ DJI Technology Co., Ltd | Uav panoramic imaging |
| CN106485736A (zh) * | 2016-10-27 | 2017-03-08 | 深圳市道通智能航空技术有限公司 | 一种无人机全景视觉跟踪方法、无人机以及控制终端 |
| CN106993138A (zh) * | 2017-04-25 | 2017-07-28 | 努比亚技术有限公司 | 时间渐变图像拍摄装置及方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3350499A4 (en) * | 2015-09-16 | 2018-08-01 | SZ DJI Osmo Technology Co., Ltd. | System and method for supporting photography with different effects |
-
2017
- 2017-10-30 WO PCT/CN2017/108354 patent/WO2019084719A1/zh active Application Filing
- 2017-10-30 CN CN201780005956.2A patent/CN108496353B/zh not_active Expired - Fee Related
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110164108A1 (en) * | 2009-12-30 | 2011-07-07 | Fivefocal Llc | System With Selective Narrow FOV and 360 Degree FOV, And Associated Methods |
| CN103501409A (zh) * | 2013-10-01 | 2014-01-08 | 中国人民解放军国防科学技术大学 | 一种超高分辨率全景高速球一体机系统 |
| US20160198088A1 (en) * | 2014-12-23 | 2016-07-07 | SZ DJI Technology Co., Ltd | Uav panoramic imaging |
| CN105611170A (zh) * | 2015-12-31 | 2016-05-25 | 深圳市道通智能航空技术有限公司 | 一种无人机及其全景拼接方法、装置和系统 |
| CN106485736A (zh) * | 2016-10-27 | 2017-03-08 | 深圳市道通智能航空技术有限公司 | 一种无人机全景视觉跟踪方法、无人机以及控制终端 |
| CN106993138A (zh) * | 2017-04-25 | 2017-07-28 | 努比亚技术有限公司 | 时间渐变图像拍摄装置及方法 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111193865A (zh) * | 2019-12-31 | 2020-05-22 | 维沃移动通信有限公司 | 图像处理方法和装置 |
| CN111193865B (zh) * | 2019-12-31 | 2021-08-03 | 维沃移动通信有限公司 | 图像处理方法和装置 |
| WO2022021128A1 (zh) * | 2020-07-29 | 2022-02-03 | 深圳市大疆创新科技有限公司 | 图像处理方法、电子设备、相机和可读存储介质 |
| CN113160054A (zh) * | 2021-04-01 | 2021-07-23 | 佛山市顺德区美的洗涤电器制造有限公司 | 用于处理图像的方法、控制设备及家用电器 |
| CN113160054B (zh) * | 2021-04-01 | 2024-04-16 | 佛山市顺德区美的洗涤电器制造有限公司 | 用于处理图像的方法、控制设备及家用电器 |
| WO2023097494A1 (zh) * | 2021-11-30 | 2023-06-08 | 深圳市大疆创新科技有限公司 | 全景图像拍摄方法、装置、无人机、系统及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108496353B (zh) | 2021-03-02 |
| WO2019084719A1 (zh) | 2019-05-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108496353A (zh) | 图像处理方法及无人机 | |
| Mademlis et al. | High-level multiple-UAV cinematography tools for covering outdoor events | |
| CN101283375B (zh) | 用于优化多视角图像生成的方法和系统 | |
| CN111105483B (zh) | 生成商品对象动态图像的方法、装置及电子设备 | |
| US8204299B2 (en) | 3D content aggregation built into devices | |
| EP2225607B1 (en) | Guided photography based on image capturing device rendered user recommendations | |
| CN108702444A (zh) | 一种图像处理方法、无人机及系统 | |
| CN106331508A (zh) | 拍摄构图的方法及装置 | |
| CN109073385A (zh) | 一种基于视觉的定位方法及飞行器 | |
| CN114095662B (zh) | 拍摄指引方法及电子设备 | |
| CN111737518A (zh) | 基于三维场景模型的图像展示方法、装置及电子设备 | |
| CN106611441B (zh) | 三维地图的处理方法和装置 | |
| CN109076173A (zh) | 输出影像生成方法、设备及无人机 | |
| WO2020014949A1 (zh) | 无人机航拍路径生成方法、计算机设备和存储介质 | |
| CN104601978A (zh) | 自由视点图像的获取系统与方法 | |
| CN108513641A (zh) | 无人机拍摄控制方法、无人机拍摄方法、控制终端、无人机控制装置和无人机 | |
| CN110275968A (zh) | 图像数据处理方法和装置 | |
| CN108981706A (zh) | 无人机航拍路径生成方法、装置、计算机设备和存储介质 | |
| JP2019045991A (ja) | 生成装置、生成方法、及びプログラム | |
| Bradley et al. | Image-based navigation in real environments using panoramas | |
| CN109074095A (zh) | 一种飞行轨迹原路复演方法及飞行器 | |
| CN108961423A (zh) | 虚拟信息处理方法、装置、设备及存储介质 | |
| CN106289180A (zh) | 运动轨迹的计算方法及装置、终端 | |
| CN107862652A (zh) | 一种鸟瞰图生成方法及装置 | |
| CN113034681B (zh) | 空间平面关系约束的三维重建方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210302 |