CN113395454A - 图像拍摄的防抖方法与装置、终端及可读存储介质 - Google Patents

图像拍摄的防抖方法与装置、终端及可读存储介质 Download PDF

Info

Publication number
CN113395454A
CN113395454A CN202110763324.0A CN202110763324A CN113395454A CN 113395454 A CN113395454 A CN 113395454A CN 202110763324 A CN202110763324 A CN 202110763324A CN 113395454 A CN113395454 A CN 113395454A
Authority
CN
China
Prior art keywords
motion
scene
acquiring
acceleration
frame image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110763324.0A
Other languages
English (en)
Other versions
CN113395454B (zh
Inventor
周阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202110763324.0A priority Critical patent/CN113395454B/zh
Publication of CN113395454A publication Critical patent/CN113395454A/zh
Application granted granted Critical
Publication of CN113395454B publication Critical patent/CN113395454B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本申请公开了一种图像拍摄的防抖方法、图像拍摄的防抖装置、终端及非易失性计算机可读存储介质。图像拍摄的防抖方法包括：获取拍摄设备拍摄当前帧图像时的运动场景；获取在运动场景下拍摄设备的运动姿态；选取与运动场景对应的滤波器；采用滤波器对运动姿态进行滤波处理以获取拍摄设备的补偿姿态；及根据补偿姿态及当前帧图像获取目标图像。本申请实施方式的图像拍摄的防抖方法、图像拍摄的防抖装置及终端中，能够根据拍摄设备拍摄当前帧图像时的运动场景和选取在该运动场景下效果最优的滤波器对拍摄设备的运动姿态进行滤波处理，利用滤波后的补偿姿态获取稳定的目标图像，以使目标图像在各种不同的运动场景均具有较佳的防抖效果。

Description

图像拍摄的防抖方法与装置、终端及可读存储介质
技术领域
本申请涉及图像处理技术领域，特别涉及一种图像拍摄的防抖方法、图像拍摄的防抖装置、终端及非易失性计算机可读存储介质。
背景技术
手机等手持设备在视频录制时，由于拍摄方式的不同容易引入不同程度的外部抖动，导致生成的视频画面稳定度不佳，为了解决这一问题业内通常会对视频进行防抖处理。在实际拍摄时，拍摄者的运动模式是多种多样的，对应的姿态噪声特点也不同。目前的视频防抖方法往往难以适应不同的运动场景，当拍摄者的运动场景发生变化时难以在不同的运动模式均达到较优的防抖效果。
发明内容
本申请实施方式提供了一种图像拍摄的防抖方法、图像拍摄的防抖装置、终端及非易失性计算机可读存储介质。
本申请实施方式的图像拍摄的防抖方法包括：获取拍摄设备拍摄当前帧图像时的运动场景；获取在所述运动场景下所述拍摄设备的运动姿态；选取与所述运动场景对应的滤波器；采用所述滤波器对所述运动姿态进行滤波处理以获取所述拍摄设备的补偿姿态；及根据所述补偿姿态及所述当前帧图像获取目标图像。
本申请实施方式的图像拍摄的防抖装置包括运动检测模块、姿态获取模块、选取模块、姿态补偿模块及图像处理模块。所述运动检测模块用于获取拍摄设备拍摄当前帧图像时的运动场景。所述姿态获取模块用于获取在所述运动场景下所述拍摄设备的运动姿态。所述选取模块用于选取与所述运动场景对应的滤波器。所述姿态补偿模块用于采用所述滤波器对所述运动姿态进行滤波处理以获取所述拍摄设备的补偿姿态。所述图像处理模块用于根据所述补偿姿态及所述当前帧图像获取目标图像。
本申请实施方式的终端包括一个或多个处理器、存储器和一个或多个程序。其中，所述一个或多个程序被存储在所述存储器中，并且被所述一个或多个处理器执行，所述程序包括用于执行本申请实施方式所述的图像拍摄的防抖方法的指令。图像拍摄的防抖方法包括：获取拍摄设备拍摄当前帧图像时的运动场景；获取在所述运动场景下所述拍摄设备的运动姿态；选取与所述运动场景对应的滤波器；采用所述滤波器对所述运动姿态进行滤波处理以获取所述拍摄设备的补偿姿态；及根据所述补偿姿态及所述当前帧图像获取目标图像。
本申请实施方式的一种包含计算机程序的非易失性计算机可读存储介质，当所述计算机程序被一个或多个处理器执行时，使得所述处理器实现本申请实施方式所述的图像拍摄的防抖方法。图像拍摄的防抖方法包括：获取拍摄设备拍摄当前帧图像时的运动场景；获取在所述运动场景下所述拍摄设备的运动姿态；选取与所述运动场景对应的滤波器；采用所述滤波器对所述运动姿态进行滤波处理以获取所述拍摄设备的补偿姿态；及根据所述补偿姿态及所述当前帧图像获取目标图像。
本申请实施方式的图像拍摄的防抖方法、图像拍摄的防抖装置及终端中，能够根据拍摄设备拍摄当前帧图像时的运动场景和选取在该运动场景下效果最优的滤波器对拍摄设备的运动姿态进行滤波处理，利用滤波后的补偿姿态获取稳定的目标图像，以使目标图像在各种不同的运动场景均具有较佳的防抖效果。
本申请实施方式的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请的上述和/或附加的方面和优点可以从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：
图1是本申请某些实施方式的图像拍摄的防抖方法的流程示意图；
图2是本申请某些实施方式的图像拍摄的防抖方法的流程示意图；
图3是本申请某些实施方式的终端的结构示意图；
图4是本申请某些实施方式的图像拍摄的防抖装置的结构示意图；
图5是本申请某些实施方式的图像拍摄的防抖方法的流程示意图；；
图6是本申请某些实施方式的角速度、加速度、重力加速度的波形图；
图7是本申请某些实施方式的图像拍摄的防抖方法的流程示意图；
图8是本申请某些实施方式的图像拍摄的防抖方法的流程示意图；
图9是本申请某些实施方式的图像拍摄的防抖方法的流程示意图；
图10是本申请某些实施方式的图像拍摄的防抖方法的流程示意图；
图11是本申请某些实施方式的图像拍摄的防抖方法的流程示意图；
图12是本申请某些实施方式的图像拍摄的防抖方法的流程示意图；
图13是本申请某些实施方式的图像拍摄的防抖方法的流程示意图；
图14是本申请某些实施方式的图像拍摄的防抖方法的流程示意图；
图15是本申请某些实施方式的图像拍摄的防抖方法的流程示意图；
图16是本申请某些实施方式的图像拍摄的防抖方法的流程示意图；
图17是本申请某些实施方式的图像拍摄的防抖方法的流程示意图；
图18是本申请某些实施方式的计算机可读存储介质与处理器的连接关系示意图。
具体实施方式
下面详细描述本申请的实施方式，所述实施方式的示例在附图中示出，其中，相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本申请的实施方式，而不能理解为对本申请的实施方式的限制。
本申请实施方式提供一种图像拍摄的防抖方法。请参阅图1，本申请实施方式的图像拍摄的防抖方法包括以下步骤：
01：获取拍摄设备拍摄当前帧图像时的运动场景；
02：获取在运动场景下拍摄设备的运动姿态；
03：选取与运动场景对应的滤波器；
04：采用滤波器对运动姿态进行滤波处理以获取拍摄设备的补偿姿态；及
05：根据补偿姿态及当前帧图像获取目标图像。
其中，拍摄设备拍摄当前帧图像时的运动场景是指拍摄设备在拍摄图像时的状态，例如运动场景包括固定机位脚架拍摄场景、固定机位手持拍摄场景、摇臂移动拍摄场景、步行拍摄场景、跑动拍摄场景、车载拍摄场景等等，在此不一一列举。
运动姿态是拍摄设备在拍摄图像时的姿态数据，例如姿态数据为拍摄设备的内参、外参、平移数据、旋转数据、欧拉角、轴角、四元数、重力加速度等数据中的一种或多种，在此不一一列举。在一些实施例中，姿态数据还可包括拍摄设备所在地的地磁场数据，以获取拍摄设备在地面坐标系的绝对姿态。需要说明的是，“运动姿态”并非限定拍摄设备在运动状态的姿态，当拍摄设备在固定机位拍摄场景下拍摄时仍然具有运动姿态。
滤波器用于根据输入的运动姿态(姿态数据)获取拍摄设备的补偿姿态。具体地，滤波器对输入的运动姿态做平滑滤波处理，获取的补偿姿态是输入的运动姿态理想化的平滑姿态，即在输入的运动姿态的基础上平滑化的姿态，即消除抖动后的姿态。相应地，补偿姿态可以为拍摄设备的内参、外参、平移数据、旋转数据、欧拉角、轴角、四元数、重力加速度等数据中的一种或多种，在此不一一列举。
请结合图2，根据补偿姿态及当前帧图像可获取目标图像，目标图像是经过本申请实施方式的防抖方法处理后获取的平滑图像，即理论上消除了拍摄图像时拍摄设备的抖动后拍摄的图像。在某些实施方式中，根据补偿姿态可以生成补偿网格，根据补偿网格对当前帧图像进行渲染处理能够生成目标图像。在一个实施例中，渲染处理可包括对图像或图像中的部分区域的缩放、平移、旋转、裁剪、替换、着色等处理方法中的一种或多种，在此不一一列举。
拍摄设备在不同的运动场景下对应的抖动情况不同，噪声信号也不同。基于此，本申请实施方式的图像拍摄的防抖方法能够选取与运动场景对应的滤波器40，采用被选取的滤波器对运动姿态进行滤波处理以获取拍摄设备的补偿姿态，从而根据补偿姿态及当前帧图像获取目标图像。如此，使滤波器的滤波效果达到最优，从而获取更准确的补偿姿态，以获取该场景下最稳定的目标图像。
在某些实施方式中，根据本申请实施方式的图像拍摄的防抖方法能够用于视频拍摄的防抖。在一个实施例中，拍摄设备拍摄一段初始视频，初始视频由多帧初始图像组成，根据多帧初始图像对应的补偿姿态可以生成多个补偿网格，每个补偿网格对应一帧初始图像。根据多个补偿网格分别对对应的多帧图像进行渲染能够生成目标视频，目标视频由多帧目标图像组成，是基于初始视频的平滑化视频，即在初始视频的基础上消除抖动后的视频。
请参阅图3，本申请实施方式还提供一种终端100，本申请实施方式的图像拍摄的防抖方法可应用于终端100。其中，本申请实施方式的终端100可以作为01：获取拍摄设备拍摄当前帧图像时的运动场景中的“拍摄设备”。终端100包括一个或多个处理器30、存储器20、和一个或多个程序。其中一个或多个程序被存储在存储器20中，并且被一个或多个处理器30执行，程序包括用于执行本申请实施方式的图像拍摄的防抖方法的指令。即，处理器30执行程序时，处理器30可以实现步骤01、02、03、04、及05中的方法。即，处理器30可以用于：获取拍摄设备拍摄当前帧图像时的运动场景；获取在运动场景下拍摄设备的运动姿态；选取与运动场景对应的滤波器40；采用滤波器40对运动姿态进行滤波处理以获取拍摄设备的补偿姿态；及根据补偿姿态及当前帧图像获取目标图像。终端100还可包括图像采集装置，用于拍摄图像。
请参阅图3，在一个实施例中，终端100还可包括多个滤波器40，滤波器40内置于终端100内部，用于对运动姿态进行滤波处理以获取拍摄设备的补偿姿态。在另一个实施例中，终端100和滤波器独立设置(图未示出)，滤波器外置于终端100，例如位于云端服务器附近，终端100可将运动姿态传输至滤波器进行滤波处理，及接收自滤波器滤波处理后获取的补偿姿态。
具体地，终端100可以是手机、照相机、摄影机、平板电脑、显示设备、笔记本电脑、智能手表、头显设备、游戏机、可移动平台等具有拍摄功能的终端100设备，在此不一一列举。如图3所示，本申请实施方式以终端100是手机为例进行说明，可以理解，终端100的具体形式并不限于手机。
请参阅图3及图4，本申请实施方式的图像拍摄的防抖装置10可应用于终端100。图像拍摄的防抖装置10包括运动检测模块11、姿态获取模块12、选取模块13、姿态补偿模块14及图像处理模块15。运动检测模块11可用于实现步骤01中的方法，姿态获取模块12可用于实现步骤02中的方法，选取模块13可用于实现步骤03中的方法，姿态补偿模块14可用于实现步骤04中的方法，图像处理模块15可用于实现步骤05中的方法。即，运动检测模块11可用于：获取拍摄设备拍摄当前帧图像时的运动场景。姿态获取模块12可用于获取在运动场景下拍摄设备的运动姿态。选取模块13可用于选取与运动场景对应的滤波器40。图像处理模块15可用于采用滤波器40对运动姿态进行滤波处理以获取拍摄设备的补偿姿态。姿态获取模块12可用于根据补偿姿态及当前帧图像获取目标图像。
本申请实施方式的图像拍摄的防抖方法、图像拍摄的防抖装置10及终端100中，能够根据拍摄设备拍摄当前帧图像时的运动场景和选取在该运动场景下效果最优的滤波器40对拍摄设备的运动姿态进行滤波处理，利用滤波后的补偿姿态获取稳定的目标图像，以使目标图像在各种不同的运动场景均具有较佳的防抖效果。
下面结合附图做进一步说明。
请参阅图1，01：获取拍摄设备拍摄当前帧图像时的运动场景。在一个实施例中，可由用于从多个预设的运动场景中选择一个作为运动场景。请结合图2，例如拍摄设备为终端100，终端100还包括显示屏50，在终端100显示屏50的显示窗口提示用户从多个预设的运动场景中选择当前拍摄的运动场景。预设的运动场景包括固定机位脚架拍摄场景、固定机位手持拍摄场景、摇臂移动拍摄场景、步行拍摄场景、跑动拍摄场景、车载拍摄场景等等。处理器30根据用户输入的选项获取拍摄设备拍摄当前帧图像时的运动场景。
在另一个实施例中，可根据拍摄设备的运动参数获取图像拍摄时拍摄设备的运动场景。其中，运动参数可包括加速度、角速度及重力加速度等。运动场景除了前文列举的运动场景外，还可以是按照抖动类型划分的场景，例如小幅度低频率抖动场景、小幅度高频率抖动场景、大幅度低频率抖动场景、大幅度高频率抖动场景等，在此不一一列举。
请参阅图1及图5，在某些实施方式中，01：获取拍摄设备拍摄当前帧图像时的运动场景，包括：
011：获取拍摄设备的加速度、拍摄设备的角速度及拍摄设备的重力加速度；
012：根据加速度、角速度及重力加速度确定场景置信度，场景置信度是当前的运动场景属于预设的运动场景的概率；及
013：根据场景置信度获取拍摄设备拍摄当前帧图像时的运动场景。
请结合图3，在某些实施方式中，处理器30还可以用于实现步骤011、012及013中的方法。即，处理器30还可以用于：获取拍摄设备的加速度、拍摄设备的角速度及拍摄设备的重力加速度；根据加速度、角速度及重力加速度确定场景置信度；及根据场景置信度获取图像拍摄时拍摄设备的运动场景。
请结合图4，在某些实施方式中，运动检测模块11还可以用于实现步骤011、012及013中的方法。即，运动检测模块11还可以用于：获取拍摄设备的加速度、拍摄设备的角速度及拍摄设备的重力加速度；根据加速度、角速度及重力加速度确定场景置信度；及根据场景置信度获取图像拍摄时拍摄设备的运动场景。
具体地，请参阅图3及图6，以拍摄设备为终端100为例。在某些实施方式中，终端100还可包括加速度计60、陀螺仪70及重力传感器80。加速度计60用于采集终端100的加速度，陀螺仪70用于采集终端100的角速度，重力传感器80用于采集终端100的重力加速度。在一个实施例中，加速度计60、陀螺仪70及重力传感器80中的一个或多个可集成在惯性传感器IMU(Inertial Measurement Unit，IMU)，例如终端100设有九轴IMU，九轴IMU包括三轴加速度计60、三轴陀螺仪70及三轴重力传感器80。
图6示意一段时间内终端100的加速度、角速度及重力加速度的波形图。波形图的横轴表示时间，纵轴表示数据的大小，例如加速度的大小、角速度的大小、重力加速度的大小。波形图中加速度、角速度、重力加速度的波动程度能够反映终端100的抖动情况。在终端100拍摄一帧图像的同时，终端100记录拍摄这一帧图像的时刻的时间戳。波形图中的时刻能够与终端100拍摄图像的时间戳对应，以确定拍摄图像的时刻对应的终端100的加速度、角速度及重力加速度。
进一步地，在011：获取拍摄设备的加速度、拍摄设备的角速度及拍摄设备的重力加速度之前，还可包括：对拍摄设备的加速度的时间戳和当前帧图像的帧时间戳进行同步；对拍摄设备的角速度的时间戳和当前帧图像的帧时间戳进行同步；及对拍摄设备的重力加速度的时间戳和当前帧图像的帧时间戳进行同步。如此，根据任意帧时间戳能够确定与该帧时间戳同步的加速度、角速度及重力加速度；同理，根据任意加速度所在的时刻能够确定在该时刻采集的角速度及重力加速度，以及该时刻对应的帧时间戳；同理，根据任意角速度所在的时刻能够确定在该时刻采集的加速度及重力加速度，以及该时刻对应的帧时间戳；同理，根据任意重力加速度所在的时刻能够确定在该时刻采集的角速度及加速度，以及该时刻对应的帧时间戳。
请参阅图5，012：根据加速度、角速度及重力加速度确定场景置信度，在一个实施例中，可根据在拍摄当前帧图像的时刻拍摄设备的加速度、角速度及重力加速度确定场景置信度。相较于根据在拍摄多帧图像的时刻拍摄设备的多个加速度、多个角速度及多个重力加速度获取的场景置信度，仅根据在拍摄当前帧图像的时刻拍摄设备的加速度、角速度及重力加速度确定场景置信度的方式能够通过较少的数据量快速确定场景置信度，提高获取运动场景的效率。
在另一个实施例中，可根据预设时段内的加速度、角速度及重力加速度确定场景置信度。以在一个时间段的尺度判断运动场景的类型，相较于在拍摄单帧图像的时刻拍摄设备的加速度、角速度及重力加速度确定场景置信度的方式能够进一步确保场景置信度准确可靠，避免持续时间较短的突发性运动影响对运动场景的判断。例如，当用户在步行拍摄的过程中打了喷嚏，产生一个时间较短的突发性的抖动，若仅根据用户打喷嚏时拍摄设备的加速度、角速度及重力加速度确定场景置信度，则很可能判断当前的运动场景为剧烈运动的场景，导致发生运动场景的误判。根据本实施例的确定场景置信度的方式能够避免持续时间较短的突发性运动影响对运动场景的判断。其中，预设时段是当前帧图像之前M帧至当前帧图像之后N帧的图像对应的时间段，以综合考虑当前帧图像前后时间段内拍摄设备的运动情况确定当前帧图像对应的场景置信度。故在此之前，需要获取预设时段内的加速度、角速度及重力加速度。
具体地，请参阅图7，在某些实施方式中，011：获取拍摄设备的加速度、拍摄设备的角速度及拍摄设备的重力加速度，包括：
0111：获取当前时刻；
0112：根据当前时刻获取第一时间段，第一时间段包括在当前时刻之前的时间段及在当前时刻之后的时间段；及
0113：获取在第一时间段内采集的加速度、角速度及重力加速度。
请结合图3，在某些实施方式中，处理器30还可以用于实现步骤0111、0112及0113中的方法。即，处理器30还可以用于：获取当前时刻；根据当前时刻获取第一时间段，第一时间段包括在当前时刻之前的时间段及在当前时刻之后的时间段；及获取在第一时间段内采集的加速度、角速度及重力加速度。
请结合图4，在某些实施方式中，运动检测模块11还可以用于实现步骤0111、0112及0113中的方法。即，运动检测模块11还可以用于：获取当前时刻；根据当前时刻获取第一时间段，第一时间段包括在当前时刻之前的时间段及在当前时刻之后的时间段；及获取在第一时间段内采集的加速度、角速度及重力加速度。
请结合图6，预设时段即为第一时间段。当前时刻t1是拍摄设备拍摄当前帧图像对应的时刻。在一个实施例中，拍摄设备自t0时刻至t1时刻拍摄了包括当前帧图像在内的M+1帧图像，拍摄设备自t1时刻至t2时刻拍摄了包括当前帧图像在内的N+1帧图像。第一时间段是自t0时刻至t2时刻之间的时间段。
其中，N和M均为大于或等于1的自然数。在一个实施例中，N大于M，即拍摄设备在当前帧未来的运动参数对场景置信度的影响比重较大，场景置信度更多依据拍摄设备的运动趋势判断当前的运动场景。在又一个实施例中，N小于M，即拍摄设备在当前帧过去的运动参数对场景置信度的影响比重较大，场景置信度更多依据拍摄设备的历史运动情况判断当前的运动场景。在再一个实施例中，N等于M，即拍摄设备在当前帧过去的运动参数和在当前帧未来的运动参数对场景置信度的影响比重相同，场景置信度均衡地依据拍摄设备的运动趋势和历史运动情况判断当前的运动场景。
以此类推，当在时刻t1的后一时刻t1’拍摄新一帧的当前图像时，获取在时刻t1’对应的第一时间段内，即自t0’时刻至t2’时刻之间的时间段内采集的加速度、角速度及重力加速度，以根据自t0’时刻至t2’时刻之间的时间段内采集的加速度、角速度及重力加速度确定场景置信度，以获取拍摄设备拍摄新一帧的当前图像时拍摄设备的运动场景。
请参阅图8，在某些实施方式中，012：根据加速度、角速度及重力加速度确定场景置信度，包括：
0121：获取加速度的加速度统计量、角速度的角速度统计量及重力加速度的重力加速度统计量；
0122：根据加速度统计量、角速度统计量及重力加速度统计量确定第一特征分量；
0123：根据角速度及单位矩阵确定第二特征分量；
0124：对加速度、角速度及重力加速度进行频谱分析，确定加速度主频率、角速度主频率及重力加速度主频率；
0125：根据加速度主频率、角速度主频率及重力加速度主频率确定第三特征分量；
0126：根据第一特征分量、第二特征分量及第三特征分量确定特征向量；及
0127：根据特征向量确定场景置信度。
请结合图3，在某些实施方式中，处理器30还可以用于实现步骤0121、0122、0123、0124、0125、0126及0127中的方法。即，处理器30还可以用于：获取加速度的加速度统计量、角速度的角速度统计量及重力加速度的重力加速度统计量；根据加速度统计量、角速度统计量及重力加速度统计量确定第一特征分量；根据角速度及单位矩阵确定第二特征分量；对加速度、角速度及重力加速度进行频谱分析，确定加速度主频率、角速度主频率及重力加速度主频率；根据加速度主频率、角速度主频率及重力加速度主频率确定第三特征分量；根据第一特征分量、第二特征分量及第三特征分量确定特征向量；及根据特征向量确定场景置信度。
请结合图4，在某些实施方式中，运动检测模块11还可以用于实现步骤0121、0122、0123、0124、0125、0126及0127中的方法。即，运动检测模块11还可以用于：获取加速度的加速度统计量、角速度的角速度统计量及重力加速度的重力加速度统计量；根据加速度统计量、角速度统计量及重力加速度统计量确定第一特征分量；根据角速度及单位矩阵确定第二特征分量；对加速度、角速度及重力加速度进行频谱分析，确定加速度主频率、角速度主频率及重力加速度主频率；根据加速度主频率、角速度主频率及重力加速度主频率确定第三特征分量；根据第一特征分量、第二特征分量及第三特征分量确定特征向量；及根据特征向量确定场景置信度。
其中，统计量是统计理论中用来对数据进行分析、检验的变量。具体地，统计量可包括平均数、众数、中位数、方差、标准差等，在此不一一列举。请结合图6，例如加速度统计量可包括第一时间段内采集的多个加速度的平均数、众数、中位数、方差、或标准差。类似地，根据第一时间段内采集的多个角速度可以获取角速度统计量；根据第一时间段内采集的多个重力加速度可以获取重力加速度统计量。对加速度统计量、角速度统计量及重力加速度统计量进行编码和归一化处理后得到第一特征分量F1，F1＝[s1,s2,s3]。其中，S1是归一化的加速度统计量，S2是归一化的角速度统计量，S3是归一化的重力加速度统计量。
第二特征分量F2可由下式确定：
Figure BDA0003150783460000091
其中，v是当前帧图像的时间戳对应的角速度，I是单位矩阵，||v||是角速度v的范数，||I||是单位矩阵I的范数，||Iv||是角速度v与单位矩阵I的积范数。第二特征分量F2表征当前帧图像的时间戳对应的角速度向量v与拍摄设备的坐标系的三轴之间的距离，即F2＝[dx,dy,dz]，其中dx是角速度向量v与拍摄设备的坐标系的x轴之间的距离，dy是角速度向量v与拍摄设备的坐标系的y轴之间的距离，dz是角速度向量v与拍摄设备的坐标系的z轴之间的距离。
请结合图6，以加速度的波动曲线为例，第一时间段的多个加速度组成的波动曲线是一段频率，对第一时间段的多个加速度组成的波动曲线进行频谱分析后能够获取第一时间段对应的加速度主频率。类似地，可通过频谱分析发分别获取第一时间段的角速度主频率及重力加速度主频率。对加速度主频率、角速度主频率及重力加速度主频率进行编码和归一化处理后得到第三特征分量F3，F3＝[f1,f2,f3]。其中，f1是归一化的加速度主频率，f2是归一化的角速度主频率，f3是归一化的重力加速度主频率。
特征向量F可由下式确定：
Figure BDA0003150783460000092
其中，ω1、ω2、ω3分别是第一特征分量F1、第二特征分量F2、第三特征分量F3在特征向量F中的预设权重。0≤ω1≤1，0≤ω2≤1，0≤ω3≤1。例如，可增大ω1，提高第一特征分量F1的权重，使运动参数的统计量对特征向量F的影响力增大。类似地，再例如，可减小ω2，减小第二特征分量F2的权重，使角速度向量v与拍摄设备的坐标系的三轴之间的距离对特征向量F的影响力减小。
请结合图3，在某些实施方式中，终端100还可包括分类器，例如SVM分类器(support vector machine，SVM)。在一个实施例中，如图3所示，终端100的处理器30内置有分类器31；在另一个实施例中，分类器与处理器30独立设置(图未示出)，在此不作限制。分类器用于根据特征向量确定场景置信度。
请结合图4，在某些实施方式中，运动检测模块11可包括分类模块111。分类模块111用于根据特征向量确定场景置信度。
请结合图5，场景置信度表征当前的运动场景属于预设的运动场景的概率，013：根据场景置信度获取图像拍摄时拍摄设备的运动场景，在某些实施方式中，将场景置信度中最高概率对应的预设的运动场景确定为拍摄设备当前的运动场景。例如，预设的运动场景包括步行拍摄场景、跑动拍摄场景、车载拍摄场景，场景置信度P＝[P1,P2,P3]，其中，P1是步行拍摄场景的概率，P2是跑动拍摄场景的概率，P3是车载拍摄场景的概率。设根据特征向量F获取的场景置信度P中，P1＝30％，P2＝80％，P3＝88％，则将最高概率P3＝88％对应的车载拍摄场景确定为拍摄设备当前的运动场景。
请参阅图9，在某些实施方式中，01：获取拍摄设备拍摄当前帧图像时的运动场景，还可包括：
014：获取加速度的加速度统计量、角速度的角速度统计量、重力加速度的重力加速度统计量及地磁场向量；及
015：根据加速度、角速度、重力加速度及地磁场向量确定场景置信度。
请结合图3，在某些实施方式中，处理器30还可以用于实现步骤014及015中的方法。即，处理器30还可以用于：获取加速度的加速度统计量、角速度的角速度统计量、重力加速度的重力加速度统计量及地磁场向量；及根据加速度、角速度、重力加速度及地磁场向量确定场景置信度。
请结合图4，在某些实施方式中，运动检测模块11还可以用于实现步骤014及015中的方法。即，运动检测模块11还可以用于：获取加速度的加速度统计量、角速度的角速度统计量、重力加速度的重力加速度统计量及地磁场向量；及根据加速度、角速度、重力加速度及地磁场向量确定场景置信度。
请结合图3，在某些实施方式中，终端100还可包括磁力计90。磁力计90可用于采集拍摄设备所在位置的地磁场向量。
在加速度、角速度、重力加速度的基础上获取的场景置信度是根据拍摄设备自身的运动状态获取的场景置信度，反映拍摄设备自身的运动情况与运动场景之间的关系。在加速度、角速度、重力加速度的基础上结合地磁场向量确定场景置信度，能够根据拍摄设备在地面坐标系的运动状态确定场景置信度，能够反映拍摄设备在地面坐标系中的运动情况与运动场景之间的关系，可以更准确地获取运动的拍摄设备拍摄当前帧图像时的运动场景。
请参阅图1及图2，运动场景能够作为选取滤波器40的参考依据。滤波器40可包括低通滤波器40、高斯滤波器40、均值滤波器40、中值滤波器40等，在此不一一列举。以低通滤波器40为例，相同带宽的低通滤波器40对不同的运动场景下拍摄设备的运动姿态的滤波效果可能不同，同一运动场景下拍摄设备的运动姿态经过不同带宽的低通滤波器40滤波后的平滑效果可能不同。在某些实施方式中，04：选取与运动场景对应的滤波器40，具体地，与运动场景对应的滤波器40是在该运动场景下拍摄设备的运动姿态经过滤波后平滑效果最佳的滤波器40。如此，本申请实施方式的图像拍摄的防抖方法能够适应不同的运动场景，在拍摄设备拍摄图像时的运动场景发生变化时能够选取与运动场景对应的滤波器40对拍摄设备的运动姿态进行滤波处理，以确保拍摄设备在不同的运动场景下拍摄的图像均能达到最佳的防抖效果。
在一个实施例中，不同的运动场景与不同的滤波器40对应，以确保每个运动场景下获取的图像均能达到最佳的防抖效果。在又一个实施例中，同一滤波器40可对应不同的运动场景，以使有限数量的滤波器40应用于尽可能多种类的运动场景。在再一个实施例中，同一运动场景可对应不同的滤波器40，以通过多种滤波器40的组合对同一运动场景下拍摄设备的运动姿态进行滤波处理获取最佳的防抖效果，或者在同一运动场景对应的一个滤波器40出现故障时利用该运动场景对应的另一个滤波器40对拍摄设备的运动姿态进行滤波处理，以确保能够获取补偿姿态。
请结合图2，例如，运动场景可包括第一运动场景、第二运动场景、第三运动场景，第一运动场景、第二运动场景、第三运动场景互不相同；滤波器40可包括第一滤波器、第二滤波器、第三滤波器，第一滤波器、第二滤波器、第三滤波器互不相同。在一个实施例中，第一运动场景与第一滤波器对应、第二运动场景与第二滤波器对应、第三运动场景与第三滤波器对应，以确保每个运动场景下获取的图像均能达到最佳的防抖效果。在又一个实施例中，第一滤波器与第一运动场景、第二运动场景、第三运动场景均对应，如此，无需设置第二滤波器和第三滤波器，能够节省成本。在再一个实施例中，第一运动场景对应第一滤波器和第二滤波器，在第一运动场景的运动姿态依次经由第一滤波器和第二滤波器进行滤波处理后生成补偿姿态，以达到最佳的滤波效果，使根据补偿姿态及当前帧图像获取的目标图像达到最佳的防抖效果。在再一个实施例中，第一运动场景对应第一滤波器和第二滤波器，在第一运动场景的运动姿态可由第一滤波器或第二滤波器中的任意一个进行滤波处理，当第一滤波器故障或报错时可使用第二滤波器获取补偿姿态，当第二滤波器故障或报错时可使用第一滤波器获取补偿姿态，以确保能够获取补偿姿态。
请参阅图2及图6，在某些实施方式中，滤波器40对根据第一时间段内的运动参数获取的运动姿态进行滤波处理。结合前文所述，运动场景是根据加速度计60、陀螺仪70、重力传感器80等传感器在第一时间段内采集的运动参数分析获取的，第一时间段对应当前帧图像。因此，根据第一时间段内的运动参数获取的运动姿态即为当前帧图像对应的运动场景下拍摄设备的运动姿态。在根据当前帧图像对应的运动场景选取了对应的最优的滤波器40后，采用该滤波器40对当前帧图像对应的第一时间段内拍摄设备的运动姿态进行滤波处理，能够达到最佳的平滑滤波效果，从而获取防抖效果最佳的目标图像。
其中，运动姿态可根据拍摄设备的加速度、角速度、重力加速度等运动参数中的一种或多种获取。
请参阅图10，在某些实施方式中，运动姿态包括相对拍摄设备的平移量，02：获取在运动场景下拍摄设备的运动姿态，包括：
021：根据拍摄设备的加速度获取拍摄设备的相对平移量。
请结合图3，在某些实施方式中，处理器30还可以用于实现步骤021中的方法。具体地，处理器30还可以包括积分器32，积分器32可用于实现步骤021中的方法。即，积分器32还可以用于：根据拍摄设备的加速度获取拍摄设备的相对平移量。
请结合图4，在某些实施方式中，姿态获取模块12包括积分模块121，积分模块121可以用于实现步骤021中的方法。即，积分模块121可以用于：根据拍摄设备的加速度获取拍摄设备的相对平移量。
请结合图6，例如，对第一时间段内采集的设备的加速度积分获取拍摄设备在第一时间段的相对平移量，以相对平移量作为拍摄设备拍摄当前帧图像时的运动姿态，能够反映拍摄设备的平移运动情况。
请结合图1及图2，在一个实施例中，可以将相对平移量作为拍摄设备拍摄当前帧图像时的运动姿态，利用与运动场景对应的滤波器40对相对平移量进行滤波获取补偿姿态，从而根据补偿姿态及当前帧图像获取目标图像。
进一步地，请参阅图11，在某些实施方式中，运动姿态包括拍摄设备的绝对平移量，02：获取在运动场景下拍摄设备的运动姿态，还可包括：
022：采用磁力计获取拍摄设备所处位置的地磁场向量；及
023：根据地磁场向量及相对平移量获取拍摄设备的绝对平移量。
请结合图3，在某些实施方式中，处理器30还可以用于实现步骤022及023中的方法。即，处理器30还可以用于：控制采用磁力90计获取拍摄设备所处位置的地磁场向量；及根据地磁场向量及相对平移量获取拍摄设备的绝对平移量。
请结合图4，在某些实施方式中，姿态获取模块12还可以用于实现步骤022及023中的方法。即，姿态获取模块12还可以用于：控制采用磁力计获取拍摄设备所处位置的地磁场向量；及根据地磁场向量及相对平移量获取拍摄设备的绝对平移量。
请结合图10，根据地磁场向量可以获取拍摄设备自身的坐标系与地面坐标系之间的转化关系。因此，在021：根据拍摄设备的加速度获取拍摄设备的相对平移量，的基础上结合拍摄设备自身的坐标系与地面坐标系之间的转化关系能够获取拍摄设备在地面坐标系的绝对平移量，以提高运动姿态对拍摄设备的平移运动描述的准确度，进而能够获取更为准确的补偿姿态，以提升图像的防抖效果。
请参阅图12，在某些实施方式中，运动姿态包括相对拍摄设备的旋转量，02：获取在运动场景下拍摄设备的运动运动姿态，包括：
024：根据拍摄设备的角速度获取拍摄设备的相对旋转量。
请结合图3，在某些实施方式中，积分器32还可以用于实现步骤024中的方法。即，积分器32还可以用于：根据拍摄设备的角速度获取拍摄设备的相对旋转量。
请结合图4，在某些实施方式中，积分模块121，积分模块121还可以用于实现步骤024中的方法。即，积分模块121可以用于：根据拍摄设备的角速度获取拍摄设备的相对旋转量。
请结合图6，例如，对第一时间段内采集的设备的角速度积分获取拍摄设备在第一时间段的相对旋转量，以相对旋转量作为拍摄设备拍摄当前帧图像时的运动姿态，能够反映拍摄设备的旋转运动情况。
请结合图1及图2，在一个实施例中，可以将相对旋转量作为拍摄设备拍摄当前帧图像时的运动姿态，利用与运动场景对应的滤波器40对相对旋转量进行滤波获取补偿姿态，从而根据补偿姿态及当前帧图像获取目标图像。
进一步地，请参阅图13，在某些实施方式中，运动姿态包括拍摄设备的绝对旋转量，02：获取在运动场景下拍摄设备的姿态，还可包括：
025：采用磁力计获取拍摄设备所处位置的地磁场向量；及
026：根据地磁场向量及相对旋转量获取拍摄设备的绝对旋转量。
请结合图3，在某些实施方式中，处理器30还可以用于实现步骤025及026中的方法。即，处理器30还可以用于：控制采用磁力计90获取拍摄设备所处位置的地磁场向量；及根据地磁场向量及相对平移量获取拍摄设备的绝对旋转量。
请结合图4，在某些实施方式中，姿态获取模块12还可以用于实现步骤025及026中的方法。即，姿态获取模块12可以用于：控制采用磁力计获取拍摄设备所处位置的地磁场向量；及根据地磁场向量及相对平移量获取拍摄设备的绝对旋转量。
请结合图12，根据地磁场向量可以获取拍摄设备自身的坐标系与地面坐标系之间的转化关系。因此，在024：根据拍摄设备的角速度获取拍摄设备的相对旋转量的基础上结合拍摄设备自身的坐标系与地面坐标系之间的转化关系能够获取拍摄设备在地面坐标系的绝对旋转量，以提高运动姿态对拍摄设备的旋转运动描述的准确度，进而能够获取更为准确的补偿姿态，以提升图像的防抖效果。
请参阅图10及图12，在某些实施方式中，运动姿态可包括平移量及旋转量。请结合图6，例如，对第一时间段内采集的设备的加速度和角速度分别积分，以获取拍摄设备在第一时间段的相对平移量及相对旋转量，以相对平移量及相对旋转量作为拍摄设备拍摄当前帧图像时的运动姿态，能够反映拍摄设备的平移运动情况及旋转运动情况。
请参阅图11及图13，在某些实施方式中，运动姿态可包括绝对平移量及绝对旋转量。以绝对平移量及绝对旋转量作为拍摄设备拍摄当前帧图像时的运动姿态，能够提高运动姿态对拍摄设备的平移运动和旋转运动描述的准确度，进而能够获取更为准确的补偿姿态，以提升图像的防抖效果。
请参阅图14，在某些实施方式中，运动姿态可包括平移量、旋转量及重力加速度分量，02：获取在运动场景下拍摄设备的运动姿态，还可包括：
027：根据拍摄设备的加速度获取拍摄设备的相对平移量；
028：根据拍摄设备的角速度获取拍摄设备的相对旋转量；及
029：根据拍摄设备的重力加速度获取拍摄设备的重力加速度分量。
请结合图3，在某些实施方式中，积分器32还可以用于实现步骤027及028中的方法。即，积分器32还可以用于：根据拍摄设备的加速度获取拍摄设备的相对平移量；及根据拍摄设备的角速度获取拍摄设备的相对旋转量。处理器30还可用于实现步骤029中的方法。即，处理器30还可用于：根据拍摄设备的重力加速度获取拍摄设备的重力加速度分量。
请结合图4，在某些实施方式中，积分模块121，积分模块121还可以用于实现步骤027及028中的方法。即，积分模块121可以用于：根据拍摄设备的加速度获取拍摄设备的相对平移量；及根据拍摄设备的角速度获取拍摄设备的相对旋转量。姿态获取模块12还可用于实现步骤029中的方法。即，姿态获取模块12还可用于：根据拍摄设备的重力加速度获取拍摄设备的重力加速度分量。
请结合图6，例如，对第一时间段内采集的设备的加速度和角速度分别积分，以获取拍摄设备在第一时间段的相对平移量及相对旋转量，并且，获取第一时间段内拍摄设备的重力加速度，并根据拍摄设备的重力加速度获取拍摄设备的重力加速度分量。重力加速度分量能够反映拍摄设备自身坐标系正交的三个坐标轴与重力加速度矢量之间的角度和距离关系，根据平移量、旋转量及重力加速度分量可以获取拍摄设备的姿态角。其中，拍摄设备的姿态角包括拍摄设备的俯仰角、横滚角及偏航角。也即是说，在本实施例中，运动姿态包括用于获取拍摄设备的姿态角的参数，其中，用于获取拍摄设备的姿态角的参数包括平移量、旋转量及重力加速度分量。
请结合图1及图2，在一个实施例中，对平移量、旋转量及重力加速度分量进行滤波处理后，滤波后获取的补偿姿态包括滤波后的平移量、滤波后的旋转量及滤波后的重力加速度分量获取的补偿姿态。根据补偿姿态可获取补偿姿态角，补偿姿态角能够反映拍摄设备拍摄当前帧图像时的理想平滑姿态，即消除抖动后的姿态。可根据补偿姿态角及当前帧图像获取目标图像。
请结合图1及图2，在另一个实施例中，在运动姿态包括平移量、旋转量及重力加速度分量时，运动姿态已经能够描述拍摄设备的平移运动、旋转运动、以及拍摄设备与重力加速度方向的角度关系。同理，补偿姿态已经能够描述拍摄设备的平移运动、旋转运动、以及拍摄设备与重力加速度方向的角度关系，无需根据补偿姿态获取补偿姿态角，可根据补偿姿态及当前帧图像获取目标图像。
进一步地，在某些实施方式中，运动姿态可包括平移量、旋转量、重力加速度分量及地磁场向量。根据地磁场向量可以获取拍摄设备自身的坐标系与地面坐标系之间的转化关系。仅根据平移量、旋转量、及重力加速度分量获取的姿态角是基于拍摄设备与水平地面平行的姿态角。实际拍摄过程中，拍摄设备不一定始终保持与水平地面平行。根据平移量、旋转量、重力加速度分量及地磁场向量获取的姿态角能够准确地描述拍摄设备相对水平地面倾斜时的姿态，因此包括平移量、旋转量、重力加速度分量及地磁场向量的运动姿态对拍摄设备的旋转运动描述的准确度较高。
请结合图1及图2，在一个实施例中，对平移量、旋转量、重力加速度分量及地磁场向量进行滤波处理后，滤波后获取的补偿姿态包括滤波后的平移量、滤波后的旋转量、滤波后的重力加速度分量及滤波后的地磁场向量。根据补偿姿态可获取补偿姿态角，补偿姿态角能够反映拍摄设备拍摄当前帧图像时的理想平滑姿态，即消除抖动后的姿态。可根据补偿姿态角及当前帧图像获取目标图像。
请结合图1及图2，在另一个实施例中，在运动姿态包括平移量、旋转量、重力加速度分量及地磁场向量时，运动姿态已经能够描述拍摄设备的平移运动、旋转运动、以及拍摄设备与重力加速度方向的角度关系。同理，补偿姿态已经能够描述拍摄设备的平移运动、旋转运动、以及拍摄设备与重力加速度方向的角度关系，无需根据补偿姿态获取补偿姿态角，可根据补偿姿态及当前帧图像获取目标图像。
请结合图11及图13，在某些实施方式中，运动姿态可包括绝对平移量、绝对旋转量及重力加速度分量。即不对地磁场向量进行滤波处理，而是根据地磁场向量及相对平移量获取拍摄设备的绝对平移量，及根据地磁场向量及相对旋转量获取拍摄设备的绝对旋转量，对绝对平移量、绝对旋转量及重力加速度分量进行滤波处理以获取补偿姿态。
综上，本申请实施方式的图像拍摄的防抖方法、图像拍摄的防抖装置10及终端100中，能够根据拍摄设备拍摄当前帧图像时的运动场景和选取在该运动场景下效果最优的滤波器40对拍摄设备的运动姿态进行滤波处理，以适应各种不同的运动场景利用滤波后的补偿姿态获取稳定的目标图像。
进一步地，当拍摄设备拍摄相邻两帧图像时的运动场景变化时，本申请实施方式的图像拍摄的防抖方法、图像拍摄的防抖装置10及终端100能够确保根据邻两帧图获取的相邻两帧目标图像的画面过渡平滑，避免在相邻两帧图像时的运动场景变化时因相邻两帧目标图像的防抖效果差异较大导致相邻两帧目标图像的画面过渡不平滑。
具体地，请参阅图15及图16，在某些实施方式中，运动场景可包括第一场景和第二场景，第一场景与当前帧图像对应，第二场景与当前帧图像的上一帧图像对应，防抖方法还包括：
06：比较第一场景和第二场景的类型；
在第一场景和第二场景的类型不同时，05根据补偿姿态及当前帧图像获取目标图像，包括：
051：获取场景切换的平滑因子，平滑因子用于表征上一帧图像的最终姿态在当前帧图像的最终姿态中所占比重；
052：根据补偿姿态、上一帧图像的最终姿态、及平滑因子获取当前帧图像的最终姿态；及
053：根据当前帧图像的最终姿态及当前帧图像获取目标图像。
请结合图3，在某些实施方式中，处理器30还可用于实现步骤06、051、052及053中的方法。即，处理器30还可用于：比较第一场景和第二场景的类型；获取场景切换的平滑因子；根据补偿姿态、上一帧图像的最终姿态、及平滑因子获取当前帧图像的最终姿态；及根据当前帧图像的最终姿态及当前帧图像获取目标图像。
请结合图4，在某些实施方式中，图像拍摄的防抖装置10还可包括比较模块16。比较模块16可以用于实现步骤06中的方法，图像处理模块15还可以用于实现步骤051、052及053中的方法。即，比较模块16可以用于：比较第一场景和第二场景的类型。图像处理模块15还可以用于：获取场景切换的平滑因子；根据补偿姿态、上一帧图像的最终姿态、及平滑因子获取当前帧图像的最终姿态；及根据当前帧图像的最终姿态及当前帧图像获取目标图像。
在拍摄设备拍摄当前帧图像时的运动场景与拍摄设备拍摄当前帧图像的上一帧图像时的运动场景的类型不同时，即在第一场景和第二场景的类型不同时，使用的滤波器40可能不同，对运动姿态的滤波效果可能不同，导致相邻两帧图像对应的运动场景不同时，相邻两帧图像利用滤波后的补偿姿态获取的相邻两帧目标图像的防抖效果差异较大，可能引起帧间跳变。本申请实施方式的防抖方法在第一场景和第二场景的类型不同时，根据(当前帧图像的)补偿姿态、上一帧图像的最终姿态、及平滑因子获取当前帧图像的最终姿态，以根据当前帧图像的最终姿态及当前帧图像获取目标图像。即，当前帧图像的最终姿态综合考虑了对当前帧图像的运动姿态的滤波效果及对上一帧图像的运动姿态的滤波效果，引入平滑因子确定上一帧图像的最终姿态在当前帧图像的最终姿态中所占比重，从而使根据当前帧图像的最终姿态获取的目标图像的防抖效果，与上一帧图像的目标图像的防抖效果之间的过渡平滑，以避免帧间跳变的产生或降低帧间跳变的幅度，从而确保相邻两帧目标图像的过渡平滑，视觉效果流畅。
具体地，前帧图像的最终姿态
Figure BDA0003150783460000171
可由下式确定：
Figure BDA0003150783460000172
其中，α是平滑因子，
Figure BDA0003150783460000173
是上一帧图像的最终姿态，
Figure BDA0003150783460000174
是当前帧图像的补偿姿态。若上一帧图像对应的运动场景的类型与上两帧(再上一帧)图像的运动场景的类型相同，则上一帧图像的最终姿态是上一帧图像的补偿姿态。若上一帧图像对应的运动场景的类型与上两帧(再上一帧)图像的运动场景的类型不同，则上一帧图像的最终姿态是根据上一帧图像的补偿姿态、上两帧图像的最终姿态、及平滑因子获取的最终姿态。以此类推，若相邻两帧图像对应的运动场景的类型相同，则两帧图像中后一帧图像的最终姿态为后一帧图像的补偿姿态。若相邻两帧图像对应的运动场景的类型不同，则两帧图像中后一帧图像的最终姿态为根据公式
Figure BDA0003150783460000175
确定的最终姿态。
在某些实施方式中，可用四元数做最终姿态的姿态解算：
Figure BDA0003150783460000176
其中，qτ＝(0,ωx,ωy,ωz)，而ωx、ωy、及ωz是上一帧图像的角速度，Δt是上一帧图像与当前帧图像的时间间隔。
请参阅图17，在某些实施方式中，051：获取场景切换的平滑因子，包括：
0511：获取当前帧图像的第一运动状态统计量和上一帧图像的第二运动状态统计量；及
0512：根据第一运动状态统计量和第二运动状态统计量获取平滑因子。
请结合图3，在某些实施方式中，处理器30还可用于实现步骤0511及0512中的方法。即，处理器30还可用于：获取当前帧图像的第一运动状态统计量和上一帧图像的第二运动状态统计量；及根据第一运动状态统计量和第二运动状态统计量获取平滑因子。
请结合图4，在某些实施方式中，图像处理模块15还可以用于实现步骤0511及0512中的方法。即，图像处理模块15还可以用于：获取当前帧图像的第一运动状态统计量和上一帧图像的第二运动状态统计量；及根据第一运动状态统计量和第二运动状态统计量获取平滑因子。
具体地，平滑因子可由下式计算：
Figure BDA0003150783460000181
其中，Sn是第一运动状态统计量，Sn-1是第二运动状态统计量。请结合图8，第一运动状态统计量可以是当前帧图像的加速度统计量、角速度统计量、或重力加速度统计量中的一种。类似地，第二运动状态统计量可以是当前帧图像的上一帧图像的加速度统计量、角速度统计量、或重力加速度统计量中的一种。需要说明的是，第一运动状态统计量和第二运动状态统计量是同一种运动状态的统计量，例如，当第一运动状态统计量是当前帧图像的加速度统计量时，第二运动状态统计量则是当前帧图像的上一帧图像的加速度统计量。当第一运动状态统计量是当前帧图像的角速度统计量时，第二运动状态统计量则是当前帧图像的上一帧图像的角速度统计量。当第一运动状态统计量是当前帧图像的重力加速度统计量时，第二运动状态统计量则是当前帧图像的上一帧图像的重力加速度统计量。
在获取当前帧图像的最终姿态后，可根据最终姿态生成补偿网格，根据补偿网格对当前帧图像进行渲染处理能够生成目标图像。当前帧图像的最终姿态综合考虑了针对当前帧图像和当前帧图像的上一帧图像的运动场景所对应的滤波效果，使根据当前帧图像的最终姿态获取的目标图像的防抖效果与当前帧图像的上一帧图像的目标图像的防抖效果之间的过渡平滑，以避免帧间跳变的产生或降低帧间跳变的幅度，从而确保相邻两帧目标图像的过渡平滑，视觉效果流畅。
请参阅图18，本申请实施方式的一个或多个包含计算机程序301的非易失性计算机可读存储介质300，当计算机程序301被一个或多个处理器30执行时，使得处理器30可执行上述任一实施方式的图像拍摄的防抖方法，例如实现步骤01、02、03、04、05、06、011、012、013、014、015、0121、0122、0123、0124、0125、0126、0127、021、022、023、024、025、026、027、028、029、051、052、053、0511及0512中的一项或多项步骤。
例如，当计算机程序301被一个或多个处理器30执行时，使得处理器30执行以下步骤：
01：获取拍摄设备拍摄当前帧图像时的运动场景；
02：获取在运动场景下拍摄设备的运动姿态；
03：选取与运动场景对应的滤波器40；
04：采用滤波器40对运动姿态进行滤波处理以获取拍摄设备的补偿姿态；及
05：根据补偿姿态及当前帧图像获取目标图像。
再例如，在计算机程序301被一个或多个处理器30执行时，使得处理器30执行以下步骤：
01：获取拍摄设备拍摄当前帧图像时的运动场景；
02：获取在运动场景下拍摄设备的运动姿态；
03：选取与运动场景对应的滤波器40；
04：采用滤波器40对运动姿态进行滤波处理以获取拍摄设备的补偿姿态；
06：比较第一场景和第二场景的类型；
051：获取场景切换的平滑因子，平滑因子用于表征上一帧图像的最终姿态在当前帧图像的最终姿态中所占比重；
052：根据补偿姿态、上一帧图像的最终姿态、及平滑因子获取当前帧图像的最终姿态；及
053：根据当前帧图像的最终姿态及当前帧图像获取目标图像。
在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本邻域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术邻域的技术人员所理解。
尽管上面已经示出和描述了本申请的实施方式，可以理解的是，上述实施方式是示例性的，不能理解为对本申请的限制，本邻域的普通技术人员在本申请的范围内可以对上述实施方式进行变化、修改、替换和变型。

Claims (12)

1.一种图像拍摄的防抖方法，其特征在于，包括：
获取拍摄设备拍摄当前帧图像时的运动场景；
获取在所述运动场景下所述拍摄设备的运动姿态；
选取与所述运动场景对应的滤波器；
采用所述滤波器对所述运动姿态进行滤波处理以获取所述拍摄设备的补偿姿态；及
根据所述补偿姿态及所述当前帧图像获取目标图像。
2.根据权利要求1所述的防抖方法，其特征在于，所述获取拍摄设备拍摄当前帧图像时的运动场景，包括：
获取拍摄设备的加速度、拍摄设备的角速度及拍摄设备的重力加速度；
根据所述加速度、所述角速度及所述重力加速度确定场景置信度，所述场景置信度是当前的运动场景属于预设的运动场景的概率；及
根据所述场景置信度获取拍摄设备拍摄当前帧图像时的运动场景。
3.根据权利要求2所述的防抖方法，其特征在于，所述根据所述加速度、所述角速度及所述重力加速度确定场景置信度，包括：
获取所述加速度的加速度统计量、所述角速度的角速度统计量及所述重力加速度的重力加速度统计量；
根据所述加速度统计量、所述角速度统计量及所述重力加速度统计量确定第一特征分量；
根据所述角速度及单位矩阵确定第二特征分量；
对所述加速度、所述角速度及所述重力加速度进行频谱分析，确定加速度主频率、角速度主频率及重力加速度主频率；
根据所述加速度主频率、角速度主频率及重力加速度主频率确定第三特征分量；
根据所述第一特征分量、所述第二特征分量及所述第三特征分量确定特征向量；及
根据所述特征向量确定所述场景置信度。
4.根据权利要求1所述的防抖方法，其特征在于，所述运动姿态包括相对所述拍摄设备的平移量，所述获取在所述运动场景下所述拍摄设备的运动姿态，包括：
根据所述拍摄设备的加速度获取所述拍摄设备的相对平移量。
5.根据权利要求4所述的防抖方法，其特征在于，所述获取在所述运动场景下所述拍摄设备的运动姿态，还包括：
采用磁力计获取所述拍摄设备所处位置的地磁场向量；及
根据所述地磁场向量及所述相对平移量获取所述拍摄设备的绝对平移量。
6.根据权利要求1所述的防抖方法，其特征在于，所述运动姿态包括相对所述拍摄设备的旋转量，所述获取在所述运动场景下所述拍摄设备的运动姿态，包括：
根据所述拍摄设备的角速度获取所述拍摄设备的相对旋转量。
7.根据权利要求6所述的防抖方法，其特征在于，所述获取在所述运动场景下所述拍摄设备的运动姿态，还包括：
采用磁力计获取所述拍摄设备所处位置的地磁场向量；及
根据所述地磁场向量及所述相对旋转量获取所述拍摄设备的绝对旋转量。
8.根据权利要求1所述的防抖方法，其特征在于，所述运动场景包括第一场景和第二场景，所述第一场景与所述当前帧图像对应，所述第二场景与所述当前帧图像的上一帧图像对应，所述防抖方法还包括：
在所述第一场景和所述第二场景的类型不同时，所述根据所述补偿姿态及所述当前帧图像获取目标图像，包括：
获取场景切换的平滑因子，所述平滑因子用于表征所述上一帧图像的最终姿态在所述当前帧图像的最终姿态中所占比重；
根据所述补偿姿态、所述上一帧图像的最终姿态、及所述平滑因子获取所述当前帧图像的最终姿态；及
根据所述当前帧图像的最终姿态及所述当前帧图像获取所述目标图像。
9.根据权利要求8所述的防抖方法，其特征在于，所述获取场景切换的平滑因子，包括：
获取所述当前帧图像的第一运动状态统计量和所述上一帧图像的第二运动状态统计量；及
根据所述第一运动状态统计量和所述第二运动状态统计量获取平滑因子。
10.一种图像拍摄的防抖装置，其特征在于，包括：
运动检测模块，所述运动检测模块用于获取拍摄设备拍摄当前帧图像时的运动场景；
姿态获取模块，所述姿态获取模块用于获取在所述运动场景下所述拍摄设备的运动姿态；
选取模块，所述选取模块用于选取与所述运动场景对应的滤波器；
姿态补偿模块，所述姿态补偿模块用于采用所述滤波器对所述运动姿态进行滤波处理以获取所述拍摄设备的补偿姿态；及
图像处理模块，所述图像处理模块用于根据所述补偿姿态及所述当前帧图像获取目标图像。
11.一种终端，其特征在于，所述终端包括：
一个或多个处理器、存储器；和
一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被所述一个或多个处理器执行，所述程序包括用于执行权利要求1至9任意一项所述的防抖方法的指令。
12.一种包含计算机程序的非易失性计算机可读存储介质，当所述计算机程序被一个或多个处理器执行时，使得所述处理器实现权利要求1至9中任意一项所述的防抖方法。
CN202110763324.0A 2021-07-06 2021-07-06 图像拍摄的防抖方法与装置、终端及可读存储介质 Active CN113395454B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110763324.0A CN113395454B (zh) 2021-07-06 2021-07-06 图像拍摄的防抖方法与装置、终端及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110763324.0A CN113395454B (zh) 2021-07-06 2021-07-06 图像拍摄的防抖方法与装置、终端及可读存储介质

Publications (2)

Publication Number Publication Date
CN113395454A true CN113395454A (zh) 2021-09-14
CN113395454B CN113395454B (zh) 2023-04-25

Family

ID=77625269

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110763324.0A Active CN113395454B (zh) 2021-07-06 2021-07-06 图像拍摄的防抖方法与装置、终端及可读存储介质

Country Status (1)

Country Link
CN (1) CN113395454B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113891000A (zh) * 2021-11-02 2022-01-04 维沃移动通信有限公司 拍摄方法、装置和电子设备
CN115049697A (zh) * 2022-05-24 2022-09-13 咪咕文化科技有限公司 视觉测速方法、装置、设备和存储介质
CN115086553A (zh) * 2022-06-07 2022-09-20 Oppo广东移动通信有限公司 防抖控制方法、防抖控制装置、电子设备及存储介质
CN115103120A (zh) * 2022-06-30 2022-09-23 Oppo广东移动通信有限公司 拍摄场景检测方法、装置、电子设备和存储介质
CN115396594A (zh) * 2022-08-02 2022-11-25 黑芝麻智能科技(成都)有限公司 视频拍摄的方法、装置、电子设备
CN116095487A (zh) * 2021-11-05 2023-05-09 Oppo广东移动通信有限公司 图像防抖方法、装置、电子设备及计算机可读存储介质
CN116300294A (zh) * 2022-10-25 2023-06-23 荣耀终端有限公司 一种模拟人体抖动的方法和装置
CN117221727A (zh) * 2023-10-09 2023-12-12 深圳市启惠智能科技有限公司 运动相机稳像控制方法及相关设备

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101502099A (zh) * 2006-05-09 2009-08-05 Nxp股份有限公司 具有抖动提取的处理设备和包括这种设备的装备
CN101795358A (zh) * 2009-01-30 2010-08-04 佳能株式会社 摄像设备及其控制方法
CN104902142A (zh) * 2015-05-29 2015-09-09 华中科技大学 一种移动终端视频的电子稳像方法
CN106257911A (zh) * 2016-05-20 2016-12-28 上海九鹰电子科技有限公司 用于视频图像的图像稳定方法和装置
CN107454303A (zh) * 2016-05-31 2017-12-08 宇龙计算机通信科技(深圳)有限公司 一种视频防抖方法及终端设备
CN108600622A (zh) * 2018-04-12 2018-09-28 联想(北京)有限公司 一种视频防抖的方法及装置
WO2019080748A1 (zh) * 2017-10-25 2019-05-02 深圳岚锋创视网络科技有限公司 一种全景视频防抖的方法、装置及便携式终端
CN109963081A (zh) * 2019-03-26 2019-07-02 Oppo广东移动通信有限公司 视频处理方法和装置、电子设备、计算机可读存储介质
CN110519507A (zh) * 2019-07-23 2019-11-29 深圳岚锋创视网络科技有限公司 一种相机镜头平滑处理方法、装置及便携式终端
CN111355888A (zh) * 2020-03-06 2020-06-30 Oppo广东移动通信有限公司 视频拍摄方法、装置、存储介质以及终端
CN111526285A (zh) * 2020-04-15 2020-08-11 浙江大华技术股份有限公司 一种图像防抖方法及电子设备、计算机可读存储介质
CN112135051A (zh) * 2020-09-24 2020-12-25 维沃移动通信有限公司 防抖控制方法及装置
CN112166597A (zh) * 2019-08-22 2021-01-01 深圳市大疆创新科技有限公司 图像处理方法、设备和可移动平台
CN112689853A (zh) * 2020-04-28 2021-04-20 深圳市大疆创新科技有限公司 图像处理方法、装置、拍摄设备、可移动平台和存储介质

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101502099A (zh) * 2006-05-09 2009-08-05 Nxp股份有限公司 具有抖动提取的处理设备和包括这种设备的装备
CN101795358A (zh) * 2009-01-30 2010-08-04 佳能株式会社 摄像设备及其控制方法
CN104902142A (zh) * 2015-05-29 2015-09-09 华中科技大学 一种移动终端视频的电子稳像方法
CN106257911A (zh) * 2016-05-20 2016-12-28 上海九鹰电子科技有限公司 用于视频图像的图像稳定方法和装置
CN107454303A (zh) * 2016-05-31 2017-12-08 宇龙计算机通信科技(深圳)有限公司 一种视频防抖方法及终端设备
WO2019080748A1 (zh) * 2017-10-25 2019-05-02 深圳岚锋创视网络科技有限公司 一种全景视频防抖的方法、装置及便携式终端
CN108600622A (zh) * 2018-04-12 2018-09-28 联想(北京)有限公司 一种视频防抖的方法及装置
CN109963081A (zh) * 2019-03-26 2019-07-02 Oppo广东移动通信有限公司 视频处理方法和装置、电子设备、计算机可读存储介质
CN110519507A (zh) * 2019-07-23 2019-11-29 深圳岚锋创视网络科技有限公司 一种相机镜头平滑处理方法、装置及便携式终端
WO2021012998A1 (zh) * 2019-07-23 2021-01-28 影石创新科技股份有限公司 一种相机镜头平滑处理方法及便携式终端
CN112166597A (zh) * 2019-08-22 2021-01-01 深圳市大疆创新科技有限公司 图像处理方法、设备和可移动平台
CN111355888A (zh) * 2020-03-06 2020-06-30 Oppo广东移动通信有限公司 视频拍摄方法、装置、存储介质以及终端
CN111526285A (zh) * 2020-04-15 2020-08-11 浙江大华技术股份有限公司 一种图像防抖方法及电子设备、计算机可读存储介质
CN112689853A (zh) * 2020-04-28 2021-04-20 深圳市大疆创新科技有限公司 图像处理方法、装置、拍摄设备、可移动平台和存储介质
CN112135051A (zh) * 2020-09-24 2020-12-25 维沃移动通信有限公司 防抖控制方法及装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113891000A (zh) * 2021-11-02 2022-01-04 维沃移动通信有限公司 拍摄方法、装置和电子设备
CN116095487A (zh) * 2021-11-05 2023-05-09 Oppo广东移动通信有限公司 图像防抖方法、装置、电子设备及计算机可读存储介质
CN115049697A (zh) * 2022-05-24 2022-09-13 咪咕文化科技有限公司 视觉测速方法、装置、设备和存储介质
CN115086553A (zh) * 2022-06-07 2022-09-20 Oppo广东移动通信有限公司 防抖控制方法、防抖控制装置、电子设备及存储介质
CN115103120A (zh) * 2022-06-30 2022-09-23 Oppo广东移动通信有限公司 拍摄场景检测方法、装置、电子设备和存储介质
CN115396594A (zh) * 2022-08-02 2022-11-25 黑芝麻智能科技(成都)有限公司 视频拍摄的方法、装置、电子设备
CN115396594B (zh) * 2022-08-02 2024-04-05 黑芝麻智能科技(成都)有限公司 视频拍摄的方法、装置、电子设备
CN116300294A (zh) * 2022-10-25 2023-06-23 荣耀终端有限公司 一种模拟人体抖动的方法和装置
CN116300294B (zh) * 2022-10-25 2024-04-12 荣耀终端有限公司 一种模拟人体抖动的方法和装置
CN117221727A (zh) * 2023-10-09 2023-12-12 深圳市启惠智能科技有限公司 运动相机稳像控制方法及相关设备
CN117221727B (zh) * 2023-10-09 2024-08-13 深圳市启惠智能科技有限公司 运动相机稳像控制方法及相关设备

Also Published As

Publication number Publication date
CN113395454B (zh) 2023-04-25

Similar Documents

Publication Publication Date Title
CN113395454B (zh) 图像拍摄的防抖方法与装置、终端及可读存储介质
US10484606B1 (en) Stabilization of low-light video
CN104349044B (zh) 全景图像的拍摄方法及电子设备
Hanning et al. Stabilizing cell phone video using inertial measurement sensors
US10404915B1 (en) Method and system for panoramic video image stabilization
WO2017090458A1 (ja) 撮影装置、および撮影方法、並びにプログラム
CN107111885A (zh) 用于确定便携式设备的位置的方法
CN114419073B (zh) 一种运动模糊生成方法、装置和终端设备
CN110248048A (zh) 一种视频抖动的检测方法及装置
US11671707B2 (en) Systems and methods for dynamic stabilization adjustment
CN114339102B (zh) 一种录像方法及设备
CN108462827B (zh) 一种获取影像数据的方法及装置
WO2017112800A1 (en) Macro image stabilization method, system and devices
WO2016187411A1 (en) Systems and methods for storing images and sensor data
EP2680567A1 (en) Video noise reduction
CN112672050A (zh) 基于云台的拍摄方法、装置及电子设备
CN110771143A (zh) 手持云台的控制方法及手持云台、手持设备
CN111480176B (zh) 图像处理设备，图像处理系统，图像处理方法和记录介质
CN106231192B (zh) 一种图像采集方法和装置
CN113438409B (zh) 延迟校准方法、装置、计算机设备和存储介质
US20230362317A1 (en) Method for generating rotation direction of gyroscope and computer device
CN104866809B (zh) 画面播放方法和装置
CN107743190A (zh) 视频防抖方法
WO2019176177A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN115379115B (zh) 视频拍摄的方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant