CN112204956A - 拍摄装置及其控制方法、可移动平台 - Google Patents

拍摄装置及其控制方法、可移动平台 Download PDF

Info

Publication number
CN112204956A
CN112204956A CN201980033277.5A CN201980033277A CN112204956A CN 112204956 A CN112204956 A CN 112204956A CN 201980033277 A CN201980033277 A CN 201980033277A CN 112204956 A CN112204956 A CN 112204956A
Authority
CN
China
Prior art keywords
real
time video
video frame
time
path
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980033277.5A
Other languages
English (en)
Other versions
CN112204956B (zh
Inventor
李兵
马骏
杨芳沛
邹文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of CN112204956A publication Critical patent/CN112204956A/zh
Application granted granted Critical
Publication of CN112204956B publication Critical patent/CN112204956B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract

一种拍摄装置及其控制方法、可移动平台，所述方法包括：获取实时视频帧；对所述实时视频帧进行复制，获得两路所述实时视频帧；输出其中一路所述实时视频帧以显示，并对另一路所述实时视频帧进行第一增稳处理；保存所述第一增稳处理后的实时视频帧。本发明通过复制实时视频流，获得两路实时视频帧，分别用于输出以实时显示和进行第一增稳处理并保存第一增稳处理的实时视频帧，通过将实时显示的实时视频帧和存储的实时视频帧分开，减少了实时显示的延时，实现了实时视频帧的及时显示和高质量实时视频帧存储的目的。

Description

拍摄装置及其控制方法、可移动平台
技术领域
本发明涉及图像采集领域，尤其涉及一种拍摄装置及其控制方法、可移动平台。
背景技术
目前，随着消费的升级，近年来生活中注重运动健康的人群也越来越多，很多年轻人都喜欢用运动相机来记录自己户外活动的精彩瞬间，再加上运动相机这类产品的层出不穷，用它来记录自己日常点滴的生活方式也逐渐流行起来，并由此衍生到了我们生活中的方方面面。然而，在运动过程中进行拍摄，面临着由于拍摄装置的抖动而导致图像显示不佳的效果，且对于小巧的运动相机而言，利用云台结构进行增稳，则限制了运动相机的结构设计。而除了增稳的需求，对于用户而言，也期望能够得到及时反馈的图像信息，即能够实现图像信息的实时显示liveview。因此，如何兼具上述的效果，是运动相机在图像处理过程中的难题。
发明内容
本发明提供一种拍摄装置及其控制方法、可移动平台。
具体地，本发明是通过如下技术方案实现的：
根据本发明的第一方面，提供一种拍摄装置的控制方法，所述方法包括：
获取实时视频帧；
对所述实时视频帧进行复制，获得两路所述实时视频帧；
输出其中一路所述实时视频帧以显示，并对另一路所述实时视频帧进行第一增稳处理；
保存所述第一增稳处理后的实时视频帧。
根据本发明的第二方面，提供一种拍摄装置，所述拍摄装置包括：
图像采集模块，用于获取实时视频帧；和
处理器，与所述图像采集模块电连接，所述处理器被配置为用于：
获取实时视频帧；
对所述实时视频帧进行复制，获得两路所述实时视频帧；
输出其中一路所述实时视频帧以显示，并对另一路所述实时视频帧进行第一增稳处理；
保存所述第一增稳处理后的实时视频帧。
根据本发明的第三方面，提供一种可移动平台，包括：
主体；和
本发明第二方面所述的拍摄装置，所述拍摄装置搭载在所述主体上。
根据本发明的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明第一方面所述的拍摄装置的控制方法的步骤。
由以上本发明实施例提供的技术方案可见，本发明通过复制实时视频流，获得两路实时视频帧，分别用于输出以实时显示和进行第一增稳处理并保存第一增稳处理后的实时视频帧，通过将实时显示使用的实时视频帧和存储使用的实时视频帧分开，减少了实时显示的延时，实现了实时视频帧的及时显示和高质量实时视频帧存储的目的。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例中的拍摄装置的控制方法的方法流程图；
图2是本发明另一实施例中的拍摄装置的控制方法的方法流程图；
图3是本发明另一实施例中的拍摄装置的控制方法的方法流程图；
图4是本发明一实施例中的实际姿态和目标姿态的示意图；
图5是本发明一实施例中的目标姿态的示意图；
图6是本发明一实施例中的拍摄装置的结构框图；
图7是本发明一实施例中的可移动平台的结构示意图。
附图标记：100：主体；200：拍摄装置；210：图像采集模块；220：处理器；300：云台。
具体实施方式
由于存储的视频帧一般可以用于回放，对视频帧质量要求较高，而实时显示的视频帧是瞬时性的，对视频帧质量要求相对较低，实际上，存储的视频帧的重要程通常大于实时显示的视频帧的重要程度。
故本发明中，为了确保存储的视频帧为高质量的视频，可以采用电子增稳EIS算法对缓存的实时视频帧进行矫正，存储的视频帧即为使用EIS算法增稳处理后的视频帧。同时，为了避免在拍摄装置实时显示的视频帧为上述增稳处理后的视频帧而导致的实时显示的延时问题，本发明通过复制实时视频流，获得两路实时视频帧，分别用于输出以实时显示和进行第一增稳处理并保存第一增稳处理后的实时视频帧。如此，通过将实时显示使用的实时视频帧和存储使用的实时视频帧分开，减少了实时显示的延时，实现了实时视频帧的及时显示和高质量实时视频帧存储的目的。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明中，在不冲突的情况下，下述的实施例及实施方式中的特征可以相互组合。
图1是本发明一实施例中的拍摄装置的控制方法的方法流程图。该拍摄装置的控制方法可以应用于拍摄装置，例如，(运动)相机、摄像头、手持云台、手机、DV等拍摄装置。参见图1，所述拍摄装置的控制方法可以包括S101～S104。
其中，在S101中，获取实时视频帧。
本实施例中，拍摄装置包括图像采集模块，该图像采集模块用于获取原始图像，实时视频帧即为图像采集模块实时采集的原始图像。其中，图像采集模块可以为CCD图像传感器、摄像头等。
可选地，图像采集模块在采集各帧实时视频帧的过程中，还会获取该各帧实时视频帧的时间标记，例如，时间标记可以为各帧实时视频帧的曝光时刻，还可以为基于曝光时刻，利用预先设置的算法生成，本申请不作限定。后续实施例中时间标记均以曝光时刻为例进行描述。
在S102中，对实时视频帧进行复制，获得两路实时视频帧。
本实施例中，拍摄装置中的处理器可以与图像采集模块进行通信，这样处理器可以从图像采集模块处获取到实时视频帧，然后，处理器会对其获取到的实时视频帧进行复制，获得两路实时视频帧。
在S103中，输出其中一路实时视频帧以显示，并对另一路实时视频帧进行第一增稳处理。
本实施例中，拍摄装置中的处理器输出其中一路实时视频帧以显示，并对另一路实时视频帧进行第一增稳处理。
下述实施例中，将S102中获得的两路实时视频帧分别称作第一路实时视频帧、第二路实时视频帧，其中，处理器输出第一路实时视频帧，并对第二路处理器输出进行第一增稳处理。
可以采用不同的策略对输出的第一路实时视频帧进行实时显示，例如，在一些实施例中，拍摄装置不具备显示模块，处理器可以与外部显示模块进行通信，这样，处理器可以将第一路实时视频帧传输至外部显示模块，通过外部显示模块对第一路实时视频帧进行实时显示。在另一些实施例中，拍摄装置包括显示模块，处理器可以将第一路实时视频帧传输给显示模块，以在显示模块上显示第一路实时视频帧。
在一些实施例中，输出的第一路实时视频帧为未处理的其中一路实时视频帧，处理器在获得第一路实时视频帧后，将第一路实时视频帧直接输出(如图2所示)，使得实时视频帧及时地呈现给用户。而在另一些实施例中，输出的第一路实时视频帧为对S102中获得的第一路实时视频帧进行第二增稳处理后的实时视频帧，也即，输出第一路实时视频帧以显示的实现过程可以包括：对S102中获得的第一路实时视频帧进行第二增稳处理，再输出第二增稳处理后的实时视频帧以显示(如图3所示)。本实施例中，第一增稳处理时使用的拍摄装置的姿态数据的采集时间至少部分晚于第二增稳处理时使用的拍摄装置的姿态数据的采集时间，也即，对于同一视频帧，经第一增稳处理造成的延时大于经第二增稳处理造成的延时，确保了实时视频帧及时、高质量地呈现给用户。
其中，对第一路实时视频帧进行第二增稳处理的实现过程可以包括但不限于如下步骤：
(1)、获取实时视频帧的曝光时刻；
本实施例中，空间姿态传感器的采样频率大于图像采集模块的采样频率，因此，在通过图像采集模块采集一帧实时视频帧的时间段内，空间姿态传感器可以采集到的拍摄装置的实际姿态包括多个，多个实际姿态与实时视频帧中的行区域对应。
(2)、获取曝光时刻之前的拍摄装置的第一姿态数据；
本实施例中，所述方法还包括：获取拍摄装置的姿态数据，姿态数据包括第一姿态数据；并且，姿态数据还包括时间标记，以及与实时视频帧的时间标记相匹配的第二姿态数据。
可选地，拍摄装置中的空间姿态传感器可以周期性地采集拍摄装置在不同时刻的姿态数据，姿态数据可以缓存。其中，空间姿态传感器可以包括三轴陀螺仪、三轴加速度计、三轴电子软盘、GPS等，本领域普通技术人员可以根据具体场景进行选择，在此不作限定。
空间姿态传感器采集姿态数据的周期可以和图像采集模块采集实时图像帧的周期相关联，例如，1秒钟内采集300个姿态数据，采集30帧实时视频帧；当然，空间姿态传感器采集姿态数据的周期也可以与图像采集模块采集实时视频帧的周期无关。本领域普通技术人员可以根据具体场景进行调整，在此不作限定。
本实施例中，空间姿态传感器在采集姿态数据时，同样生成姿态数据的时间标记，如采集时间、基于采集时间利用预先设置的算法生成的标记等，本申请不作限定。
可理解的是，姿态数据内存在一个与各实时视频帧的时间标记相匹配的姿态数据。时间标记匹配是指，时间标记相同或者时间标记的差值小于设定阈值。其中，设定阈值可以根据具体场景进行设置，例如0.01秒，在此不作限定。
本实施例中，处理器可以获取步骤(1)中的曝光时刻，基于曝光时刻获取曝光时刻之前的第一姿态数据。其中，第一姿态数据的数量可以为一个或者多个。
在一些实施例中，处理器可以将第二姿态数据合并到第一姿态数据中，可以将第二姿态数据作为最后一个姿态数据。当然，在第一姿态数据的数量较多时，第一姿态数据也可以不采用第二姿态数据。本领域普通技术人员可以根据具体场景进行调整，在此不作限定。
(3)、根据第一姿态数据，确定拍摄装置在曝光时刻对应的第一目标姿态；
本实施例中，在实现根据第一姿态数据，确定拍摄装置在曝光时刻对应的第一目标姿态的步骤时，具体地，将第一姿态数据进行第一低通滤波处理，以获得第一姿态数据中不超过第一截止频率的第一低频信号；基于第一低频信号，生成第一目标姿态。
可以将第一姿态数据输入预先设置的第一低通滤波器中，由第一低通滤波器对第一姿态数据进行第一低通滤波处理。第一低通滤波器可以滤除第一姿态数据中大于第一截止频率的高频信号，获得第一姿态数据中不超过第一截止频率的第一低频信号。可以理解的是，若第一低通滤波器具有频域变换的功能，则可以将第一姿态数据直接输入到第一低通滤波器；若第一低通滤波器不具有频域变换的功能，则需要对第一姿态数据进行频域变换，再将频域变换后的第一姿态数据输入到第一低通滤波器。其中，频域变换的方法可以参考相关技术，在此不作限定。
该第一低通滤波处理器包括以下至少一种：FIR滤波器、IIR滤波器。需要说明的是，本领域普通技术人员可以根据具体场景选择合适的低通滤波器作为第一低通滤波器，在能够实现频域低通滤波的情况下，相应的滤波器落入本申请的保护范围。
可理解的是，第一截止频率越低，其滤除姿态数据中高频信号的能力越强，所得到的第一目标姿态也就越平滑，即拍摄装置的运动状态越缓慢，对后续显示视频图像的影响越低。可选地，第一截止频率与拍摄装置的抖动幅度正相关，也即，拍摄装置的抖动幅度越小时，第一截止频率也设置得越小。
以拍摄装置单调运动为例，其中单调运动是指拍摄装置朝向一个方向运动，包括匀速、加速、减速等。以匀速运动为例，参见图4，拍摄装置的实际姿态如图4中(a)图所示，其中图4中(a)图中实际曝光点ET，曝光时刻T0，姿态数据包括曝光时刻T0之前第一时间段T1内的第一姿态数据。
参见图4中(b)图，处理器采集第一姿态数据，其中采集、存储和预处理等工作所用时间为Delta-t1，第一姿态数据对应一条实际姿态IT，基于该第一姿态数据可以得到第一目标姿态IE。在采用第一低通滤波处理器为中值滤波器的情况下，第一姿态数据的中值点EE位于T1/2处。后续对实际曝光点ET处第一路实时视频帧采用中值点EE处的数据增稳。
此外，对于采集时间靠前的几帧第一路实时视频帧，如连续采集的实时视频帧1、实时视频帧2、实时视频帧3、实时视频帧4和实时视频帧5，实时视频帧1为图像采集模块首次采集到的实时视频帧，实时视频帧1的曝光时刻至上述实时视频帧2、实时视频帧3、实时视频帧4和实时视频帧5的曝光时刻的时长均小于第一时间段T1对应的时长。对于实时视频帧1，处理器不进行第二增稳处理，而是直接输出以显示；对于实时视频帧2，可以采用实时视频帧1对应的第一姿态数据对实时视频帧2的姿态数据进行第二增稳处理；对于实时视频帧3，可以采用实时视频帧1和实时视频帧2对应的第一姿态数据对实时视频帧3的姿态数据进行第二增稳处理；对于实时视频帧4和实时视频帧5，以此类推。对曝光时刻至首次采集到的实时视频帧的曝光时刻的时长大于或等于第一时间段T1对应的时长的第一路实时视频帧，采用该帧第一路实时视频帧的曝光时刻之前第一时间段T1内的第一姿态数据对该帧第一路实时视频帧的姿态数据进行第二增稳处理。
图5示出了一种实际姿态和第一目标姿态的示意图，参见图5，其中标号1所指代曲线为拍摄装置的实际姿态，标号2所指代曲线为拍摄装置的第一目标姿态。以图5中的2个矩形区域10和20为例，矩形区域10内实际姿态1上存在抖动部分11，经过第二低通滤波后，第一目标姿态2上对应抖动部分11的区域12已经平滑，矩形区域20内标号21和标号22对应的结果类似，在此不再表述。
可理解的是，为保证增稳的效率，在一些实施例中，中值点EE和实际曝光点ET之间的延时不可以超过预先设置的第一延时阈值，即第一目标姿态的零频率与拍摄装置的实际姿态的零频率的延时不超过预先设置的第一延时阈值。其中，第一延时阈值的取值范围大于或等于0秒，且小于或等于0.5秒，可选地，第一延时阈值可以为0.1秒或0.5秒。
(4)、根据第一目标姿态，增稳其中一路实时视频帧，得到第二增稳处理后的实时视频帧。
其中，在根据第一目标姿态，增稳其中一路实时视频帧，得到第二增稳处理后的实时视频帧时，具体地，以第一目标姿态为基准，确定第二增稳处理后的实时视频帧在第一路实时视频帧中的像素区域；根据像素区域对第一路实时视频帧进行裁剪处理，得到第二增稳处理后的实时视频帧。
以第一目标姿态为基准，确定第二增稳处理后的实时视频帧在第一路实时视频帧中的像素区域的实现过程可以包括：以第一目标姿态为基准，确定第二增稳处理后的实时视频帧的预设像素点在第一路实时视频帧中的第一位置；根据第一位置，确定第二增稳处理后的实时视频帧中除预设像素点外的像素点在第一路实时视频帧中的第二位置；根据第一位置以及第二位置，确定第二增稳处理后的实时视频帧在第一路实时视频帧中的像素区域。
在以第一目标姿态为基准，确定第二增稳处理后的实时视频帧的预设像素点在第一路实时视频帧中的第一位置时，首先，可以按照第一预设方式将第一路实时视频帧划分为多个第一图像块；以第一目标姿态为基准，利用反投影确定每个第一图像块中预设像素点在第一路实时视频帧中的第一位置。其中，第一预设方式可以包括以下至少一种：栅格分割、均匀分割。例如，在采用栅格分割第一路实时视频帧时，获得的第一图像块为方形块，预设像素点可以包括第一图像块的四个顶点。本实施例中，由于空间姿态传感器的采样频率、实时视频帧的畸变、拍摄装置的内参等因素，会导致各预设像素点对应的拍摄装置的实际姿态不太一样，因此，在以第一目标姿态为基准，利用反投影确定每个第一图像块中预设像素点在第一路实时视频帧中的第一位置时，根据第一目标姿态和各预设像素点对应的拍摄装置的实际姿态，确定各预设像素点的姿态偏差，接着，根据各预设像素点的姿态偏差，利用反投影确定各预设像素点在第一路实时视频帧中的第一位置。
在根据第一位置，确定第二增稳处理后的实时视频帧中除预设像素点外的像素点在第一路实时视频帧中的第二位置时，对于除预设像素点外的像素点，根据该像素点周围多个预设像素点的第一位置，利用插值算法确定该像素点在第一路实时视频帧中的第二位置。其中，插值算法可以为线性插值算法，也可以为其他插值算法。
本实施例中，先利用反投影确定第一图像块中部分像素点在第一路实时视频帧中的第一位置，再利用插值算法确定第一图像块中除预设像素点外的像素点在第一路实时视频帧中的第二位置，能够降低拍摄装置的计算量。
可理解的是，第二增稳处理后的实时视频帧的尺寸会小于S102获得的第一路实时视频帧的尺寸。换言之，第二增稳处理后的实时视频帧是从S102获得的第一路实时视频帧剪切一部分图像。
需要说明的是，在处理第一路实时视频帧的过程中，第一目标姿态可能靠近S102获得的第一路实时视频帧的边缘，此情况下需要适当平移第一目标姿态，从而保证第二增稳处理后的实时视频帧内不包含S102获得的第一路实时视频帧的边缘区域或者之外的空白区域。
在一示例中，处理器直接根据各第一路实时视频帧的曝光时刻对应的第一目标姿态对第一路实时视频帧进行增稳。
在一示例中，处理器可以获取前一帧第二增稳处理后的实时视频帧，若第二增稳处理后的实时视频帧未超过第一路实时视频帧的边界，则处理器直接对各第一路实时视频帧进行增稳；若第二增稳处理后的实时视频帧的边界与第一路实时视频帧的边界重合，则处理器保持第二增稳处理后的实时视频帧的边界不超过第一路实时视频帧的边界的情况下，对各第一路实时视频帧进行增稳。
可理解的是，本实施例中仅介绍了上述增稳第一路实时视频帧的示例，本领域普通技术人员可以根据具体场景选择合适的增稳第一路实时视频帧的方法，相应方案落入本申请的保护范围。
在一些实施例中，请参见图3，在对另一路实时视频帧进行第一增稳处理之前，所述方法还包括：缓存另一路实时视频帧。本实施例中，拍摄装置中可以设置先入先出存储器(FIFO)，处理器将通过S102所获取的第二路实时视频帧存储到FIFO。具体地，在能够存储预设数量帧的图像的先入先出存储器中存储S102所获取的第二路实时视频帧。
可以理解的是，缓存第二路实时视频帧对应的频率越快，第一增稳处理就可以根据更多帧的第二路实时视频帧进行增稳处理，获得更高质量的实时视频帧。而拍摄装置的运动状态变化越快，对后续显示视频图像的影响越大，需要采用效果更好的增稳方法对实时视频帧进行增稳处理。应当理解的是，保存的第一增稳处理的实时视频帧一般可以用于回放，增稳效果要求比较好，但实时显示的视频是瞬时性的，对增稳效果要求相对较低，确保实时视频帧被及时地显示。可选地，缓存第二路实时视频帧对应的频率与拍摄装置的抖动频率正相关，也即，拍摄装置的抖动频率越大时，缓存第二路实时视频帧对应的频率也设置得越大。
其中，对第二路实时视频帧进行第一增稳处理的实现过程可以包括但不限于如下步骤：
(1)、获取实时视频帧的曝光时刻；
(2)、获取曝光时刻之前的拍摄装置的第三姿态数据和曝光时刻之后的拍摄装置的第四姿态数据；
本实施例中，所述方法还包括：获取拍摄装置的姿态数据，姿态数据包括第三姿态数据和第四姿态数据；并且，姿态数据还包括时间标记，以及与实时视频帧的时间标记相匹配的第五姿态数据(相当于上述第二姿态数据)。
获取拍摄装置的姿态数据的方式与上述实施例中拍摄装置的姿态数据的方式相类似，此处不再赘述。
本实施例中，处理器可以获取步骤(1)中的曝光时刻，基于曝光时刻获取曝光时刻之前的第三姿态数据(相当于上述第一姿态数据)和曝光时刻之后的第四姿态数据。其中，第三姿态数据的数量可以为一个或者多个，第四姿态数据的数量可以为一个或者多个。与第二增稳处理中仅采用曝光时刻之前的姿态(即上述第一姿态数据)相比较，本实施例中在第三姿态数据的基础上增加第四姿态数据，可以增加姿态数据的时间跨度，保证拍摄装置在曝光时刻之后的低频运动不会影响到目标姿态。
在一些实施例中，处理器可以将第五姿态数据合并到第三姿态数据和第四姿态数据中，在第三姿态数据中，第五姿态数据作为最后一个姿态数据，在第四姿态数据中，第五姿态数据作为第一个姿态数据。当然，在第三姿态数据和第四姿态数据的数量较多时，也可以不采用姿态数据。本领域普通技术人员可以根据具体场景进行调整，在此不作限定。
在一些实施例中，第三姿态数据对应第一时间段，第四姿态数据对应第二时间段，其中，第三姿态数据对应的第一时间段是指第三姿态数据内第一个姿态数据和最后一个姿态数据对应时间标记的时间差，第四姿态数据对应的第二时间段是指第四姿态数据内第一个姿态数据和最后一个姿态数据对应时间标记的时间差。需要说明的是，若第三姿态数据或者第四姿态数据仅包括一个姿态数据，则对应一个时刻，此情况下可以将时刻采用一个较小的预设值替代，例如0.01秒。
在一些实施例中，第一时间段和第二时间段的取值范围可以包括0.5秒～1.0秒。考虑到低通滤波的类型及其运行效率，第三姿态数据对应的第一时间段和第四姿态数据对应的第二时间段相同，例如两者均为0.5秒。此情况下，可以采用对称的频域低通滤波器，从而提升滤波速度。
在另一些实施例中，第三姿态数据对应的第一时间段和第四姿态数据对应的第二时间段不相同，可以采用对称的频域低通滤波器，从而提升滤波准确率。
在实际应用中，考虑到每帧第二路实时视频帧对应一组姿态数据(即第三姿态数据和第四姿态数据)，因此在缓存每帧第二路实时视频帧的同时可以将姿态数据的存储地址作为该帧第二路实时视频帧的特征数据，这样处理器在读取各帧第二路实时视频帧时可以从相应的存储地址读取姿态数据，提高读取效率。
在一些实施例中，对于相邻两帧待增稳的第二路实时视频帧，前一帧待增稳的第二路实时视频帧的第六姿态数据与后一帧待增稳的第二路实时视频帧的第七姿态数据部分重合，从而保证后续所得的目标姿态更加平滑。或者，对于相邻两帧待增稳的第二路实时视频帧，前一帧待增稳的第二路实时视频帧的第六姿态数据与后一帧待增稳的第二路实时视频帧的第七姿态数据不重叠，从而减少数据计算量。
(3)、根据第三姿态数据和第四姿态数据，确定拍摄装置在曝光时刻对应的第二目标姿态；
本实施例中，在根据第三姿态数据和第四姿态数据，确定拍摄装置在曝光时刻对应的第二目标姿态时，具体地，将第三姿态数据和第四姿态数据进行第二低通滤波处理，以获得第三姿态数据和第四姿态数据中不超过第二截止频率的第二低频信号；基于第二低频信号，生成第二目标姿态。
可以将第三姿态数据和第四姿态数据输入预先设置的第二低通滤波器中，由第二低通滤波器对第三姿态数据和第四姿态数据进行第二低通滤波处理。第二低通滤波器可以滤除第三姿态数据和第四姿态数据中大于第二截止频率的高频信号，获得第三姿态数据和第四姿态数据中不超过第二截止频率的第二低频信号。可以理解的是，若第二低通滤波器具有频域变换的功能，则可以将第三姿态数据和第四姿态数据直接输入到第二低通滤波器；若第二低通滤波器不具有频域变换的功能，则需要对第三姿态数据和第四姿态数据进行频域变换，再将频域变换后的第三姿态数据和第四姿态数据输入到第二低通滤波器。其中，频域变换的方法可以参考相关技术，在此不作限定。
本实施例中，第二低通滤波器包括以下至少一种：FIR滤波器、IIR滤波器。需要说明的是，本领域普通技术人员可以根据具体场景选择合适的第二低通滤波器，在能够实现低通滤波的情况下，相应的滤波器落入本申请的保护范围。
其中，第二截止频率大于或等于0.5Hz，且小于或等于10Hz。本实施例中，频域低通滤波器的截止频率为0.5Hz。可理解的是，第二截止频率越低，其滤除姿态数据中高频信号的能力越强，所得到的第二目标姿态也就越平滑，即拍摄装置的运动状态越缓慢，对后续显示视频图像的影响越低。
沿用图4所示实施例，图4中(b)图所示的第二增稳处理的实施例，由于后续对实际曝光点ET处第一路视频帧采用中值点EE处的数据增稳，因此在中值点EE和实际曝光点ET之间存在延时Delta-t2，其中，Delta-t2等于T1/2。该延时是由于第一低通滤波器所得到的处理结果即中值点EE与实际曝光点ET的偏差，或者可理解为滤波误差，若拍摄装置在延时Delta-t2期间发生抖动，采用中值点EE处的数据对第一路实时视频帧进行增稳会发生偏差。
参见图4中(c)图，处理器采集第三姿态数据和第四姿态数据，其中第三姿态数据和第四姿态数据采集、存储和预处理等工作所用时间为Delta-t1，第三姿态数据和第四姿态数据对应一条实际姿态IT，以T1和T2相等为例，处理器基于第三姿态数据和第四姿态数据可以得到第二目标姿态IE。在采用第二低通滤波器为中值滤波器的情况下，第三姿态数据和第四姿态数据的中值点EE位于T0处，即与实际曝光点ET重合，从而可以避免出现(b)图中所存在的T1/2的延时Delta-t2，即延时Delta-t2等于0。这样后续对ET处第二路实时视频帧采用中值点EE处的数据增稳时，拍摄装置未发生抖动，这样采用中值点EE处的数据对第二路实时视频帧进行增稳的结果是比较准确的。第二目标姿态的零频率与拍摄装置的实际姿态的零频率的延时不超过预先设置的延时阈值。
此外，对于采集时间靠前的几帧第二路实时视频帧，如连续采集的实时视频帧1、实时视频帧2、实时视频帧3、实时视频帧4和实时视频帧5，实时视频帧1为图像采集模块首次采集到的实时视频帧，实时视频帧1的曝光时刻至上述实时视频帧2、实时视频帧3、实时视频帧4和实时视频帧5的曝光时刻的时长均小于第一时间段T1对应的时长。对于实时视频帧1，处理器仅采用实时视频帧1的曝光时刻之后第二时间段T2内的第四姿态数据对实时视频帧3的姿态数据进行第一增稳处理；对于实时视频帧2，可以采用实时视频帧1对应的第三姿态数据以及实时视频帧2的曝光时刻之后第二时间段T2内的第四姿态数据对实时视频帧2的姿态数据进行第一增稳处理；对于实时视频帧3，可以采用实时视频帧1和实时视频帧2对应的第三姿态数据以及实时视频帧3的曝光时刻之后第二时间段T2内的第四姿态数据对实时视频帧3的姿态数据进行第一增稳处理；对于实时视频帧4和实时视频帧5，以此类推。对曝光时刻至首次采集到的实时视频帧的曝光时刻的时长大于或等于第一时间段T1对应的时长的第二路实时视频帧，采用该帧第二路实时视频帧的曝光时刻之前第一时间段T1内的第三姿态数据、和该帧第一路实时视频帧的曝光时刻之后第一时间段T2内的第四姿态数据对该帧第二路实时视频帧的姿态数据进行第一增稳处理。
第三姿态数据对应的第一时间段与第四姿态数据对应的第二时间段大小可以相等，也可以不相等。需要说明的是，在第一时间段和第二时间段相同时，中值点EE和实际曝光点的位置重合或者接近，即拍摄装置的实际姿态和第二目标姿态是重合的。考虑到处理器获取和存储姿态数据需要延时Delta-t1，实际姿态和第二目标姿态之间的波动可以如图5所示。图5示出了一种实际姿态和第二目标姿态的示意图，参见图5，其中标号1所指代曲线为拍摄装置的实际姿态，标号3所指代曲线为拍摄装置的第二目标姿态。以图5中的2个矩形区域10和20为例，矩形区域10内实际姿态1上存在抖动部分11，经过第二低通滤波后，第二目标姿态3上对应抖动部分11的区域13已经平滑，且区域13的平滑效果优于区域12的平滑效果，也即，第一增稳处理的增稳效果优于第二增稳处理的增稳效果，矩形区域20内标号21和标号23对应的结果类似，在此不再表述。
本实施例中，在第一时间段和第二时间段不同时，随时两者差距越来越大，中值点EE和实际曝光点的位置之间的延时会越来越大。可理解的是，由于增加了第二时间段内的第四姿态数据，中值点EE和实际曝光点的延时仍然会小于(b)图所示中值点EE和实际曝光点ET之间的延时，即(c)图中IE比(b)图中IE要平滑。
可理解的是，为保证第一增稳处理的效率，在一些实施例中，中值点EE和实际曝光点ET之间的延时不可以超过预先设置的第二延时阈值，即第二目标姿态的零频率与拍摄装置的实际姿态的零频率的延时不超过预先设置的第二延时阈值。其中，第二延时阈值的取值范围大于或等于0秒，且小于或等于0.5秒，可选地，延时阈值可以为0.1秒或0.5秒。
此外，沿用处理器在获取一帧第二路实时视频帧之前，先获取图像采集模块所采集的预设数量帧实时视频帧的实施例。本实施例能够保证有足够的延时，方便第二低通滤波器进行滤波。其中，预设数量可以预先设置，例如获取1秒钟时间内的实时视频帧，若图像采集模块的采集频率为30fps，则预设数量为30帧；若图像采集模块的采集频率为60fps，则预设数量为60帧。另外，该预设数量还可以根据拍摄装置中预先设置的第二低通滤波器相关联，例如，若第二低通滤波器对拍摄装置的实际姿态滤波所用时间较短，则可以适当调大预设数量；若第二低通滤波器对拍摄装置的实际姿态滤波所用时间较长，则可以适当调小预设数量。即，本实施例中预设数量可以根据具体场景进行调整，在能够实现第二路实时视频帧缓存的情况下，相应方案落入本申请的保护范围。
(4)、根据第二目标姿态，增稳缓存的另一路实时视频帧，得到第一增稳处理后的实时视频帧。
可以理解，由于第二路实时视频帧进行第二增稳处理时，可以利用其曝光时刻前后的拍摄装置的姿态数据，也即会利用到第二路实时视频帧后的几帧实时视频帧拍摄时的拍摄装置的姿态数据，因此，在采集到第二路实时视频帧后，并不会立即对第二路实时视频帧进行第二增稳处理，而是可以缓存第二路实时视频帧，并在第二路实时视频帧的后几帧视频帧采集后，再从缓存中获取第二路实时视频帧，并对第二路实时视频帧进行第二增稳处理。
需要说明的是，在某些实施例中，在第一路实时视频帧不进行处理即输出时，第二增稳处理可以为第一增稳处理，此时，第二路实时视频帧也可以不进行缓存，如图2所示。
其中，在根据第二目标姿态，增稳缓存的另一路实时视频帧，得到第一增稳处理后的实时视频帧时，具体地，以第二目标姿态为基准，确定第一增稳处理后的实时视频帧在第二路实时视频帧中的像素区域；根据像素区域对第二路实时视频帧进行裁剪处理，得到第一增稳处理后的实时视频帧。
以第二目标姿态为基准，确定第一增稳处理后的实时视频帧在第二路实时视频帧中的像素区域的实现过程可以包括：以第二目标姿态为基准，确定第一增稳处理后的实时视频帧的预设像素点在第二路实时视频帧中的第三位置；根据第三位置，确定第一增稳处理后的实时视频帧中除预设像素点外的像素点在第二路实时视频帧中的第四位置；根据第三位置以及第四位置，确定第一增稳处理后的实时视频帧在第二路实时视频帧中的像素区域。
在以第二目标姿态为基准，确定第一增稳处理后的实时视频帧的预设像素点在第二路实时视频帧中的第三位置时，首先，可以按照第二预设方式将第二路实时视频帧划分为多个第一图像块；以第二目标姿态为基准，利用反投影确定每个第一图像块中预设像素点在第二路实时视频帧中的第三位置。其中，第二预设方式可以包括以下至少一种：栅格分割、均匀分割。例如，在采用栅格分割第二路实时视频帧时，获得的第一图像块为方形块，预设像素点可以包括第一图像块的四个顶点。本实施例中，由于空间姿态传感器的采样频率、实时视频帧的畸变、拍摄装置的内参等因素，会导致各预设像素点对应的拍摄装置的实际姿态不太一样，因此，在以第二目标姿态为基准，利用反投影确定每个第一图像块中预设像素点在第二路实时视频帧中的第三位置时，根据第二目标姿态和各预设像素点对应的拍摄装置的实际姿态，确定各预设像素点的姿态偏差，接着，根据各预设像素点的姿态偏差，利用反投影确定各预设像素点在第二路实时视频帧中的第三位置。
在根据第三位置，确定第一增稳处理后的实时视频帧中除预设像素点外的像素点在第二路实时视频帧中的第四位置时，对于除预设像素点外的像素点，根据该像素点周围多个预设像素点的第三位置，利用插值算法确定该像素点在第二路实时视频帧中的第四位置。其中，插值算法可以为线性插值算法，也可以为其他插值算法。
本实施例中，先利用反投影确定第二图像块中部分像素点在第二路实时视频帧中的第三位置，再利用插值算法确定第二图像块中除预设像素点外的像素点在第二路实时视频帧中的第四位置，能够降低拍摄装置的计算量。可理解的是，第一增稳处理后的实时视频帧的尺寸会小于S102获得的第二路实时视频帧的尺寸。换言之，第一增稳处理后的实时视频帧是从S102获得的第二路实时视频帧剪切一部分图像。
需要说明的是，在对第二路实时视频帧的处理过程中，第二目标姿态可能靠近102获得的第二路实时视频帧的边缘，此情况下需要适当平移第二目标姿态，从而保证第一增稳处理后的实时视频帧内不包含S102获得的第二路实时视频帧的边缘区域或者之外的空白区域。
在一示例中，处理器直接根据各第二路实时视频帧的曝光时刻对应的第二目标姿态对第二路实时视频帧进行增稳。
在一示例中，处理器可以获取前一帧第一增稳处理后的实时视频帧，若第一增稳处理后的实时视频帧未超过第二路实时视频帧的边界，则处理器直接对各第二路实时视频帧进行增稳；若第一增稳处理后的实时视频帧的边界与第二路实时视频帧的边界重合，则处理器保持第一增稳处理后的实时视频帧的边界不超过第二路实时视频帧的边界的情况下，对各第二路实时视频帧进行增稳。
可理解的是，本实施例中仅介绍了上述增稳第二路实时视频帧的示例，本领域普通技术人员可以根据具体场景选择合适的增稳第二路实时视频帧的方法，相应方案落入本申请的保护范围。但应理解，在选择合适的增稳第二路实时视频帧的方法时，第一路实时视频帧要么不做增稳处理，若做增稳处理，则第一路实时视频帧的增稳时长应小于第二路实时视频帧的增稳时长，以使得第一路实时视频帧可以及时显示，尽量避免由于实时视频帧进行第二增稳处理后再输出而造成的时延。
可见，本实施例中通过获取曝光时刻之前的第三姿态数据和所述曝光时刻之后的第四姿态数据，可以利用根据第三姿态数据和第四姿态数据获取拍摄装置所处所述曝光时刻对应的第二目标姿态；之后，可以根据所述第二目标姿态增稳第二路实时图像帧，获得第一增稳处理后的实时视频帧。这样，本实施例中利用第四姿态数据可以确定第二路实时视频帧曝光之后的拍摄装置的运动情况，从而保证对拍摄装置的实际运动滤波后可以得到一条平滑的第二目标姿态，避免第一增稳处理后的实时视频帧出现波动或的现象，有利于提升显示的稳定度和观看体验。
其中，相较第二增稳处理而言，第一增稳处理利用了实时视频帧曝光前后的姿态数据，以对拍摄装置的实际姿态进行低频滤波处理，从而可以得到一条更加平滑的目标姿态，避免由于用户在低通频域滤波处理的时延期间转动拍摄装置而导致的拍摄装置的实际姿态和目标姿态偏差较大的问题，实时视频帧的增稳效果相对来说较佳。
在S104中，保存第一增稳处理后的实时视频帧。
可以将第一增稳处理后的实时视频帧保存至固态硬盘SSD(Solid State Disk)，该固态硬盘SSD可以为拍摄装置的一部分，也可以外接在拍摄装置上。可以理解的是，也可以将第一增稳处理后的实时视频帧保存至其他存储设备中。
对应于上述实施例的拍摄装置的控制方法，本发明实施例还提供一种拍摄装置，请参见图6，所述拍摄装置200可以包括图像采集模块210和处理器220，其中，图像采集模块210用于获取实时视频帧，且图像采集模块210与处理器220电连接。本实施例的图像采集模块210可以为CCD图像传感器、摄像头等。
进一步地，处理器220被配置为用于：获取实时视频帧；对实时视频帧进行复制，获得两路实时视频帧；输出其中一路实时视频帧以显示，并对另一路实时视频帧进行第一增稳处理；保存第一增稳处理后的实时视频帧。
处理器220的实现过程和工作原理可参见上述实施例的拍摄装置的控制方法的描述，此处不再赘述。
本实施例的处理器220可以是中央处理器(central processing unit，CPU)。处理器220还可以包括硬件芯片。上述硬件芯片可以是专用集成电路(application-specificintegrated circuit，ASIC)，可编程逻辑器件(programmable logic device，PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(complex programmable logic device，CPLD)，现场可编程逻辑门阵列(field-programmable gate array，FPGA)，通用阵列逻辑(genericarray logic，GAL)或其任意组合。
本实施例的拍摄装置200可以为相机、手持云台(其中，主体可以为握持部)、航拍无人机(其中，主体可以为机身)或其他具有拍摄功能的装置。
本发明实施例还提供一种可移动平台，请参见图7，所述可移动平台可以包括主体100和上述拍摄装置200，其中，拍摄装置200搭载在主体100上。可选地，通过云台300将拍摄装置200搭载在主体100，以通过云台300对拍摄装置200进行增稳，使得拍摄装置200能够获得高质量的视频或图像。
本实施例可移动平台可以为无人机，也可以为其他可移动设备。
此外，本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述实施例的拍摄装置的控制方法的步骤。
所述计算机可读存储介质可以是前述任一实施例所述的拍摄装置的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是拍摄装置的外部存储设备，例如所述设备上配备的插接式硬盘、智能存储卡(Smart Media Card，SMC)、SD卡、闪存卡(FlashCard)等。进一步的，所述计算机可读存储介质还可以既包括拍摄装置的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述拍摄装置所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所揭露的仅为本发明部分实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (50)

1.一种拍摄装置的控制方法，其特征在于，所述方法包括：
获取实时视频帧；
对所述实时视频帧进行复制，获得两路所述实时视频帧；
输出其中一路所述实时视频帧以显示，并对另一路所述实时视频帧进行第一增稳处理；
保存所述第一增稳处理后的实时视频帧。
2.根据权利要求1所述的方法，其特征在于，在所述对另一路所述实时视频帧进行第一增稳处理之前，所述方法还包括：
缓存另一路所述实时视频帧。
3.根据权利要求2所述的方法，其特征在于，所述缓存另一路所述实时视频帧，包括：
在能够存储预设数量帧的图像的先入先出存储器中存储另一路所述实时视频帧，所述实时视频帧包括时间标记。
4.根据权利要求1所述的方法，其特征在于，所述拍摄装置包括显示模块，所述输出其中一路所述实时视频帧以显示，包括：
在所述显示模块上显示其中一路所述实时视频帧。
5.根据权利要求1所述的方法，其特征在于，所述输出其中一路所述实时视频帧以显示，包括：
输出未处理的其中一路所述实时视频帧以显示。
6.根据权利要求1所述的方法，其特征在于，所述输出其中一路所述实时视频帧以显示，包括：
对其中一路所述实时视频帧进行第二增稳处理；
输出所述第二增稳处理后的实时视频帧以显示；
其中，所述第一增稳处理时使用的所述拍摄装置的姿态数据的采集时间至少部分晚于所述第二增稳处理时使用的所述拍摄装置的姿态数据的采集时间。
7.根据权利要求6所述的方法，其特征在于，所述对其中一路所述实时视频帧进行第二增稳处理，包括：
获取所述实时视频帧的曝光时刻；
获取所述曝光时刻之前的所述拍摄装置的第一姿态数据；
根据所述第一姿态数据，确定所述拍摄装置在所述曝光时刻对应的第一目标姿态；
根据所述第一目标姿态，增稳其中一路所述实时视频帧，得到所述第二增稳处理后的实时视频帧。
8.根据权利要求7所述的方法，其特征在于，所述方法还包括：
获取所述拍摄装置的姿态数据，所述姿态数据包括所述第一姿态数据；
并且，所述姿态数据还包括时间标记，以及与所述实时视频帧的时间标记相匹配的第二姿态数据。
9.根据权利要求7所述的方法，其特征在于，所述根据所述第一姿态数据，确定所述拍摄装置在所述曝光时刻对应的第一目标姿态，包括：
将所述第一姿态数据进行第一低通滤波处理，以获得所述第一姿态数据中不超过第一截止频率的第一低频信号；
基于所述第一低频信号，生成所述第一目标姿态。
10.根据权利要求9所述的方法，其特征在于，所述第一截止频率与所述拍摄装置的抖动幅度正相关。
11.根据权利要求7所述的方法，其特征在于，所述根据所述第一目标姿态，增稳其中一路所述实时视频帧，得到第二增稳处理后的实时视频帧，包括：
以所述第一目标姿态为基准，确定所述第二增稳处理后的实时视频帧在其中一路所述实时视频帧中的像素区域；
根据所述像素区域对其中一路所述实时视频帧进行裁剪处理，得到所述第二增稳处理后的实时视频帧。
12.根据权利要求11所述的方法，其特征在于，所述以所述第一目标姿态为基准，确定所述第二增稳处理后的实时视频帧在其中一路所述实时视频帧中的像素区域，包括：
以所述第一目标姿态为基准，确定所述第二增稳处理后的实时视频帧的预设像素点在其中一路所述实时视频帧中的第一位置；
根据所述第一位置，确定所述第二增稳处理后的实时视频帧中除所述预设像素点外的像素点在其中一路所述实时视频帧中的第二位置；
根据所述第一位置以及所述第二位置，确定所述第二增稳处理后的实时视频帧在其中一路所述实时视频帧中的像素区域。
13.根据权利要求2或3所述的方法，其特征在于，所述对另一路所述实时视频帧进行第一增稳处理，包括：
获取所述实时视频帧的曝光时刻；
获取所述曝光时刻之前的所述拍摄装置的第三姿态数据和所述曝光时刻之后的所述拍摄装置的第四姿态数据；
根据所述第三姿态数据和所述第四姿态数据，确定所述拍摄装置在所述曝光时刻对应的第二目标姿态；
根据所述第二目标姿态，增稳缓存的另一路所述实时视频帧，得到所述第一增稳处理后的实时视频帧。
14.根据权利要求13所述的方法，其特征在于，所述方法还包括：
获取所述拍摄装置的姿态数据，所述姿态数据包括所述第三姿态数据和所述第四姿态数据；
并且，所述姿态数据还包括时间标记，以及与所述实时视频帧的时间标记相匹配的第五姿态数据。
15.根据权利要求13所述的方法，其特征在于，所述第三姿态数据对应的第一时间段与所述第四姿态数据对应的第二时间段大小相等。
16.根据权利要求15所述的方法，其特征在于，对于相邻两帧待增稳的实时视频帧，前一帧待增稳的实时视频帧的第六姿态数据与后一帧待增稳的实时视频帧的第七姿态数据部分重合。
17.根据权利要求13所述的方法，其特征在于，所述根据所述第三姿态数据和所述第四姿态数据，确定所述拍摄装置在所述曝光时刻对应的第二目标姿态，包括：
将所述第三姿态数据和所述第四姿态数据进行第二低通滤波处理，以获得所述第三姿态数据和所述第四姿态数据中不超过第二截止频率的第二低频信号；
基于所述第二低频信号，生成所述第二目标姿态。
18.根据权利要求17所述的方法，其特征在于，所述第二目标姿态的零频率与所述拍摄装置的实际姿态的零频率的延时不超过预先设置的延时阈值。
19.根据权利要求18所述的方法，其特征在于，所述延时阈值的取值范围大于或等于0秒，且小于或等于0.5秒。
20.根据权利要求17所述的方法，其特征在于，所述第二截止频率大于或等于0.5Hz，且小于或等于10Hz。
21.根据权利要求13所述的方法，其特征在于，所述根据所述第二目标姿态，增稳另一路所述实时视频帧，包括：
以所述第二目标姿态为基准，确定所述第一增稳处理后的实时视频帧在另一路所述实时视频帧中的像素区域；
根据所述像素区域对另一路所述实时视频帧进行裁剪处理，得到所述第一增稳处理后的实时视频帧。
22.根据权利要求21所述的方法，其特征在于，所述以所述第二目标姿态为基准，确定所述第一增稳处理后的实时视频帧在另一路所述实时视频帧中的像素区域，包括：
以所述第二目标姿态为基准，确定所述第一增稳处理后的实时视频帧的预设像素点在另一路所述实时视频帧中的第三位置；
根据所述第三位置，确定所述第一增稳处理后的实时视频帧中除所述预设像素点外的像素点在另一路所述实时视频帧中的第四位置；
根据所述第三位置以及所述第四位置，确定所述第一增稳处理后的实时视频帧在另一路所述实时视频帧中的像素区域。
23.根据权利要求2或3所述的方法，其特征在于，所述缓存另一路所述实时视频帧对应的频率与所述拍摄装置的抖动频率正相关。
24.根据权利要求1所述的方法，其特征在于，所述保存所述第一增稳处理后的实时视频帧，包括：
将所述第一增稳处理后的实时视频帧保存至固态硬盘SSD。
25.一种拍摄装置，其特征在于，所述拍摄装置包括：
图像采集模块，用于获取实时视频帧；和
处理器，与所述图像采集模块电连接，所述处理器被配置为用于：
获取实时视频帧；
对所述实时视频帧进行复制，获得两路所述实时视频帧；
输出其中一路所述实时视频帧以显示，并对另一路所述实时视频帧进行第一增稳处理；
保存所述第一增稳处理后的实时视频帧。
26.根据权利要求25所述的拍摄装置，其特征在于，在所述对另一路所述实时视频帧进行第一增稳处理之前，所述处理器还被配置为用于：
缓存另一路所述实时视频帧。
27.根据权利要求26所述的拍摄装置，其特征在于，所述处理器在缓存另一路所述实时视频帧时，具体被配置为用于：
在能够存储预设数量帧的图像的先入先出存储器中存储另一路所述实时视频帧，所述实时视频帧包括时间标记。
28.根据权利要求25所述的拍摄装置，其特征在于，所述拍摄装置包括显示模块，所述显示模块与所述处理器电连接，所述处理器在输出其中一路所述实时视频帧以显示时，具体被配置为用于：
在所述显示模块上显示其中一路所述实时视频帧。
29.根据权利要求25所述的拍摄装置，其特征在于，所述处理器在输出其中一路所述实时视频帧以显示时，具体被配置为用于：
输出未处理的其中一路所述实时视频帧以显示。
30.根据权利要求25所述的拍摄装置，其特征在于，所述处理器在输出其中一路所述实时视频帧以显示时，具体被配置为用于：
对其中一路所述实时视频帧进行第二增稳处理；
输出所述第二增稳处理后的实时视频帧以显示；
其中，所述第一增稳处理时使用的所述拍摄装置的姿态数据的采集时间至少部分晚于所述第二增稳处理时使用的所述拍摄装置的姿态数据的采集时间。
31.根据权利要求30所述的拍摄装置，其特征在于，所述处理器在对其中一路所述实时视频帧进行第二增稳处理时，具体被配置为用于：
获取所述实时视频帧的曝光时刻；
获取所述曝光时刻之前的所述拍摄装置的第一姿态数据；
根据所述第一姿态数据，确定所述拍摄装置在所述曝光时刻对应的第一目标姿态；
根据所述第一目标姿态，增稳其中一路所述实时视频帧，得到所述第二增稳处理后的实时视频帧。
32.根据权利要求31所述的拍摄装置，其特征在于，所述处理器还被配置为用于：
获取所述拍摄装置的姿态数据，所述姿态数据包括所述第一姿态数据；
并且，所述姿态数据还包括时间标记，以及与所述实时视频帧的时间标记相匹配的第二姿态数据。
33.根据权利要求31所述的拍摄装置，其特征在于，所述处理器在根据所述第一姿态数据，确定所述拍摄装置在所述曝光时刻对应的第一目标姿态时，具体被配置为用于：
将所述第一姿态数据进行第一低通滤波处理，以获得所述第一姿态数据中不超过第一截止频率的第一低频信号；
基于所述第一低频信号，生成所述第一目标姿态。
34.根据权利要求33所述的拍摄装置，其特征在于，所述第一截止频率与所述拍摄装置的抖动幅度正相关。
35.根据权利要求31所述的拍摄装置，其特征在于，所述处理器在根据所述第一目标姿态，增稳其中一路所述实时视频帧，得到第二增稳处理后的实时视频帧时，具体被配置为用于：
以所述第一目标姿态为基准，确定所述第二增稳处理后的实时视频帧在其中一路所述实时视频帧中的像素区域；
根据所述像素区域对其中一路所述实时视频帧进行裁剪处理，得到所述第二增稳处理后的实时视频帧。
36.根据权利要求35所述的拍摄装置，其特征在于，所述处理器在以所述第一目标姿态为基准，确定所述第二增稳处理后的实时视频帧在其中一路所述实时视频帧中的像素区域时，具体被配置为用于：
以所述第一目标姿态为基准，确定所述第二增稳处理后的实时视频帧的预设像素点在其中一路所述实时视频帧中的第一位置；
根据所述第一位置，确定所述第二增稳处理后的实时视频帧中除所述预设像素点外的像素点在其中一路所述实时视频帧中的第二位置；
根据所述第一位置以及所述第二位置，确定所述第二增稳处理后的实时视频帧在其中一路所述实时视频帧中的像素区域。
37.根据权利要求26或27所述的拍摄装置，其特征在于，所述处理器在对另一路所述实时视频帧进行第一增稳处理时，具体被配置为用于：
获取所述实时视频帧的曝光时刻；
获取所述曝光时刻之前的所述拍摄装置的第三姿态数据和所述曝光时刻之后的所述拍摄装置的第四姿态数据；
根据所述第三姿态数据和所述第四姿态数据，确定所述拍摄装置在所述曝光时刻对应的第二目标姿态；
根据所述第二目标姿态，增稳缓存的另一路所述实时视频帧，得到所述第一增稳处理后的实时视频帧。
38.根据权利要求37所述的拍摄装置，其特征在于，所述处理器还被配置为用于：
获取所述拍摄装置的姿态数据，所述姿态数据包括所述第三姿态数据和所述第四姿态数据；
并且，所述姿态数据还包括时间标记，以及与所述实时视频帧的时间标记相匹配的第五姿态数据。
39.根据权利要求37所述的拍摄装置，其特征在于，所述第三姿态数据对应的第一时间段与所述第四姿态数据对应的第二时间段大小相等。
40.根据权利要求39所述的拍摄装置，其特征在于，对于相邻两帧待增稳的实时视频帧，前一帧待增稳的实时视频帧的第六姿态数据与后一帧待增稳的实时视频帧的第七姿态数据部分重合。
41.根据权利要求37所述的拍摄装置，其特征在于，所述处理器在根据所述第三姿态数据和所述第四姿态数据，确定所述拍摄装置在所述曝光时刻对应的第二目标姿态时，具体被配置为用于：
将所述第三姿态数据和所述第四姿态数据进行第二低通滤波处理，以获得所述第三姿态数据和所述第四姿态数据中不超过第二截止频率的第二低频信号；
基于所述第二低频信号，生成所述第二目标姿态。
42.根据权利要求41所述的拍摄装置，其特征在于，所述第二目标姿态的零频率与所述拍摄装置的实际姿态的零频率的延时不超过预先设置的延时阈值。
43.根据权利要求42所述的拍摄装置，其特征在于，所述延时阈值的取值范围大于或等于0秒，且小于或等于0.5秒。
44.根据权利要求41所述的拍摄装置，其特征在于，所述第二截止频率大于或等于0.5Hz，且小于或等于10Hz。
45.根据权利要求37所述的拍摄装置，其特征在于，所述处理器在根据所述第二目标姿态，增稳另一路所述实时视频帧时，具体被配置为用于：
以所述第二目标姿态为基准，确定所述第一增稳处理后的实时视频帧在另一路所述实时视频帧中的像素区域；
根据所述像素区域对另一路所述实时视频帧进行裁剪处理，得到所述第一增稳处理后的实时视频帧。
46.根据权利要求45所述的拍摄装置，其特征在于，所述处理器在以所述第二目标姿态为基准，确定所述第一增稳处理后的实时视频帧在另一路所述实时视频帧中的像素区域时，具体被配置为用于：
以所述第二目标姿态为基准，确定所述第一增稳处理后的实时视频帧的预设像素点在另一路所述实时视频帧中的第三位置；
根据所述第三位置，确定所述第一增稳处理后的实时视频帧中除所述预设像素点外的像素点在另一路所述实时视频帧中的第四位置；
根据所述第三位置以及所述第四位置，确定所述第一增稳处理后的实时视频帧在另一路所述实时视频帧中的像素区域。
47.根据权利要求26或27所述的拍摄装置，其特征在于，所述缓存另一路所述实时视频帧对应的频率与所述拍摄装置的抖动频率正相关。
48.根据权利要求25所述的拍摄装置，其特征在于，所述处理器在保存所述第一增稳处理后的实时视频帧时，具体被配置为用于：
将所述第一增稳处理后的实时视频帧保存至固态硬盘SSD。
49.一种可移动平台，其特征在于，包括：
主体；和
权利要求25至48任一项所述的拍摄装置，所述拍摄装置搭载在所述主体上。
50.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至24任一项所述的拍摄装置的控制方法的步骤。
CN201980033277.5A 2019-10-10 2019-10-10 拍摄装置及其控制方法、可移动平台 Active CN112204956B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/110453 WO2021068170A1 (zh) 2019-10-10 2019-10-10 拍摄装置及其控制方法、可移动平台

Publications (2)

Publication Number Publication Date
CN112204956A true CN112204956A (zh) 2021-01-08
CN112204956B CN112204956B (zh) 2023-01-10

Family

ID=74004736

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980033277.5A Active CN112204956B (zh) 2019-10-10 2019-10-10 拍摄装置及其控制方法、可移动平台

Country Status (3)

Country Link
US (1) US20220232164A1 (zh)
CN (1) CN112204956B (zh)
WO (1) WO2021068170A1 (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070212043A1 (en) * 2006-03-10 2007-09-13 Fujifilm Corporation Digital imaging apparatus with camera shake compensation and adaptive sensitivity switching function
US20090067829A1 (en) * 2007-09-07 2009-03-12 Qualcomm Incorporated Method and device for damping lens vibration
CN202334754U (zh) * 2011-11-22 2012-07-11 河南中光学集团有限公司 一种基于无线传输的便携式音视频采集设备
CN104754180A (zh) * 2013-12-26 2015-07-01 智原科技股份有限公司 降低视频画面抖动的方法与装置
CN108007439A (zh) * 2017-11-29 2018-05-08 天津聚飞创新科技有限公司 视频增稳方法、装置及无人机
CN109743495A (zh) * 2018-11-28 2019-05-10 深圳市中科视讯智能系统技术有限公司 视频图像电子增稳方法及装置
JP2019103132A (ja) * 2017-12-07 2019-06-24 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
CN110235431A (zh) * 2019-04-30 2019-09-13 深圳市大疆创新科技有限公司 电子增稳方法、图像采集设备、可移动平台

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005277644A (ja) * 2004-03-24 2005-10-06 Nippon Telegr & Teleph Corp <Ntt> ３次元像表示装置および３次元像表示方法ならびにそのためのプログラム
US20070070069A1 (en) * 2005-09-26 2007-03-29 Supun Samarasekera System and method for enhanced situation awareness and visualization of environments
GB201116566D0 (en) * 2011-09-26 2011-11-09 Skype Ltd Video stabilisation
CN103808723A (zh) * 2014-02-27 2014-05-21 中国科学技术大学 一种柴油车烟气黑度自动检测装置
CN204297111U (zh) * 2014-12-05 2015-04-29 江苏苏科畅联科技有限公司 无人飞行器的综合信息采集系统
CN204258983U (zh) * 2014-12-23 2015-04-08 北京国基科技股份有限公司 视音频记录装置
CN106257911A (zh) * 2016-05-20 2016-12-28 上海九鹰电子科技有限公司 用于视频图像的图像稳定方法和装置
BR112019005759A2 (pt) * 2016-09-23 2019-06-11 Qualcomm Inc processamento de imagem em um veículo autônomo não tripulado

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070212043A1 (en) * 2006-03-10 2007-09-13 Fujifilm Corporation Digital imaging apparatus with camera shake compensation and adaptive sensitivity switching function
US20090067829A1 (en) * 2007-09-07 2009-03-12 Qualcomm Incorporated Method and device for damping lens vibration
CN202334754U (zh) * 2011-11-22 2012-07-11 河南中光学集团有限公司 一种基于无线传输的便携式音视频采集设备
CN104754180A (zh) * 2013-12-26 2015-07-01 智原科技股份有限公司 降低视频画面抖动的方法与装置
CN108007439A (zh) * 2017-11-29 2018-05-08 天津聚飞创新科技有限公司 视频增稳方法、装置及无人机
JP2019103132A (ja) * 2017-12-07 2019-06-24 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
CN109743495A (zh) * 2018-11-28 2019-05-10 深圳市中科视讯智能系统技术有限公司 视频图像电子增稳方法及装置
CN110235431A (zh) * 2019-04-30 2019-09-13 深圳市大疆创新科技有限公司 电子增稳方法、图像采集设备、可移动平台

Also Published As

Publication number Publication date
WO2021068170A1 (zh) 2021-04-15
CN112204956B (zh) 2023-01-10
US20220232164A1 (en) 2022-07-21

Similar Documents

Publication Publication Date Title
US11064110B2 (en) Warp processing for image capture
CN110235431B (zh) 电子增稳方法、图像采集设备、可移动平台
US9762799B2 (en) Received video stabilization
US10560633B2 (en) Apparatus and methods for rolling shutter compensation for multi-camera systems
CN102256061B (zh) 一种二维三维混合的视频稳定方法
JP5499050B2 (ja) 画像処理装置、撮像装置、及び画像処理方法
WO2018053400A1 (en) Improved video stabilization for mobile devices
JP4759524B2 (ja) 電子式手振れ補正方法及びその装置並びに電子式手振れ補正プログラムと撮像装置
CN104065876A (zh) 图像处理装置以及图像处理方法
CN111246089A (zh) 抖动补偿方法和装置、电子设备、计算机可读存储介质
KR20180102639A (ko) 화상 처리 장치, 화상 처리 방법, 화상 처리 프로그램 및 기억 매체
CN104811592A (zh) 摄像装置和摄像控制方法
KR101860310B1 (ko) 무인항공기가 촬영한 동영상을 이용하여 파노라마 이미지를 생성하는 방법 및 장치
KR102003460B1 (ko) 왜곡제거장치 및 방법
US20230109047A1 (en) Methods and apparatus for re-stabilizing video in post-processing
JP2010193476A (ja) 撮像装置及び画像再生装置
US11128814B2 (en) Image processing apparatus, image capturing apparatus, video reproducing system, method and program
CN112204956B (zh) 拍摄装置及其控制方法、可移动平台
WO2021138768A1 (zh) 图像处理方法、设备、可移动平台、成像装置及存储介质
CN112752086B (zh) 用于环境映射的图像信号处理器、方法和系统
US20170091905A1 (en) Information Handling System Defocus Tracking Video
CN111949114A (zh) 图像处理方法、装置及终端
WO2018084051A1 (ja) 情報処理装置、ヘッドマウントディスプレイ、情報処理システム、および情報処理方法
CN115706856A (zh) 视频防抖的方法、装置、电子设备及存储介质
CN118212137A (zh) 一种视频处理方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant