CN107534722B - 一种终端设备和拍照的方法 - Google Patents

一种终端设备和拍照的方法 Download PDF

Info

Publication number
CN107534722B
CN107534722B CN201580078479.3A CN201580078479A CN107534722B CN 107534722 B CN107534722 B CN 107534722B CN 201580078479 A CN201580078479 A CN 201580078479A CN 107534722 B CN107534722 B CN 107534722B
Authority
CN
China
Prior art keywords
frame
image
frame image
terminal device
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580078479.3A
Other languages
English (en)
Other versions
CN107534722A (zh
Inventor
陈刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN107534722A publication Critical patent/CN107534722A/zh
Application granted granted Critical
Publication of CN107534722B publication Critical patent/CN107534722B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6845—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6815—Motion detection by distinguishing pan or tilt from motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明实施例提供了一种拍照方法，包括：终端设备采集被拍摄物体的M帧图像数据并处理得到M帧图像，M为正整数且M≥2；当采集被拍摄物体的所述M帧图像数据的每一帧图像数据时，所述终端设备获取所述终端设备在X、Y和Z轴方向的角加速度；所述终端设备将获取的所述每一帧图像数据时间段内的角加速度处理为抖动信息；所述终端设备从所述M帧图像中选取一帧作为基准图像，将(M‑1)帧中每一帧图像基于所述基准图像、所述抖动信息和预设的位移矢量表进行配准，并将配准后的图像进行融合；所述终端设备将融合后的图像进行压缩并显示。这种方式可以有效地提高图像配准的效率和质量，提升终端设备的拍照性能。

Description

一种终端设备和拍照的方法
技术领域
本发明涉及通信领域，尤其涉及一种终端设备和拍照的方法。
背景技术
随着移动终端的拍照功能越来越流行，人们对拍照效果的要求也越来越高。然而当拍照者手持移动终端进行拍照时，由于身体自然律动等因素，会有手抖的情况。手抖会导致拍照得到的图像模糊，尤其是在曝光时间较长或者抖动较大的时候，模糊问题更加严重。
目前最常见的防抖办法为光学防抖(Optical Image Stabilization，OIS)和电子防抖(Electronic Image Stabilization，EIS)。EIS通过降低曝光时间，采用多帧技术来达到防抖的目的。EIS需要进行软件配准，软件配准所需的时间和配准精度以及帧数成正比。所述配准是指将多帧图像进行匹配的过程。为了保证一定的防抖效果，EIS需要较高的配准精度，因此导致拍照时间较长，用户拍照体验较差。OIS通过移动镜头/模组补偿手机抖动的方式来达到防抖的目的。由于工艺、设计原理等因素，在一定的防抖性能要求下，OIS支持的抖动量和曝光时间是有限制的，这限制了OIS在高抖动场景和需要长曝光场景下的使用。
因此，针对上述情况，目前还没有有效的解决方案。
发明内容
本发明实施例提出了一种终端设备和拍照的方法，可以提升终端设备的拍照性能。
第一方面，本发明实施例一种终端设备，所述终端设备包括镜头模组、图像信号处理器、中央处理器CPU和显示屏，所述镜头模组包括图像传感器、陀螺仪传感器和处理器，其中：
所述图像信号处理器，用于基于当前拍照的场景确定拍照的采集参数，其中所述采集参数包括采集图像的帧数M、每一帧图像的曝光时间和每一帧图像的感光度，其中M为正整数且M≥2；
所述图像传感器，用于根据所述曝光时间和所述感光度，采集被拍摄物体的M帧图像数据；
所述图像信号处理器，还用于对所述图像传感器采集的所述M帧图像数据进行处理，得到处理后的M帧图像；
所述陀螺仪传感器，用于当采集被拍摄物体的M帧图像数据的每一帧图像数据时，获取所述终端设备在X、Y和Z轴方向的角加速度；
所述处理器，用于将获取的所述每一帧图像数据时间段内的角加速度处理为抖动信息；
所述中央处理器CPU，用于从所述处理后的M帧图像中选取一帧作为基准图像，将M-1帧中每一帧图像基于所述基准图像、所述抖动信息和预设的位移矢量表进行配准，并将配准后的图像进行融合；
所述中央处理器CPU，还用于对融合后的图像进行压缩处理，生成预定格式的压缩图像；
所述显示屏，用于显示所述压缩图像。
结合第一方面，在第一方面的第一种实现方式中，所述中央处理器CPU，用于将所述M-1帧中每一帧图像基于所述基准图像、所述抖动信息和预设的位移矢量表进行配准，具体为：
所述中央处理器，用于：
根据所述处理器处理得到的所述M-1帧中每一帧图像的抖动信息和所述M-1帧中每一帧图像相对于所述基准图像的时间，计算所述M-1帧中每一帧图像相对所述基准图像的相对抖动信息；
根据所述相对抖动信息、所述M-1帧中每一帧图像的曝光时间以及所述预设的位移矢量表确定所述M-1帧中每一帧图像相对于所述基准图像的位移矢量；
根据所述位移矢量，对所述M-1帧中每一帧图像进行配准。
结合第一方面，在第一方面的第二种实现方式中，所述终端设备还包括距离传感器，所述距离传感器，用于获取深度。
结合第一方面的第二种实现方式，在第一方面的第三种实现方式中，所述中央处理器CPU，用于将所述M-1帧中每一帧图像基于所述基准图像、所述抖动信息和预设的位移矢量表进行配准，具体为：
所述中央处理器CPU，用于将所述M-1帧中每一帧图像基于所述基准图像、所述抖动信息、所述深度和所述预设的位移矢量表进行配准。
结合第一方面，在第一方面的第四种实现方式中，所述中央处理器，用于将所述M-1帧中每一帧图像基于所述基准图像、所述抖动信息和预设的位移矢量表进行配准，包括：
所述中央处理器，用于：
根据所述处理器处理得到的所述M-1帧中每一帧图像的抖动信息和所述M-1帧中每一帧图像相对于所述基准图像的时间，计算所述M-1帧中每一帧图像相对所述基准图像的相对抖动信息；
根据所述相对抖动信息、所述M-1帧中每一帧图像的曝光时间以及所述预设的位移矢量表查找与所述M-1帧中每一帧图像相对于所述基准图像的相关位移矢量；
基于所述相关位移矢量搜索其附近的位移矢量；
依据匹配准则在所述相关位移矢量和所述搜索的其附近的位移矢量，计算所述M-1帧中每一帧图像与基准图像的匹配度，基于其中匹配度高的位移矢量对所述M-1帧中每一帧图像进行配准。
结合第一方面及第一方面的第一至第四种实现方式的任意一种实现方式，在第一方面的第五种实现方式中，所述图像信号处理器和所述中央处理器CPU集成为一体。
结合第一方面及第一方面的第一至第四种实现方式的任意一种实现方式，在第一方面的第六种实现方式中，所处中央处理器CPU和所述处理器集成为一体。
结合第一方面及第一方面的第一至第四种实现方式的任意一种实现方式，在第一方面的第七种实现方式中，所述图像信号处理器、所述处理器和所述中央处理器CPU集成为一体。
结合第一方面及第一方面的第一至第四种实现方式的任意一种实现方式，在第一方面的第八种实现方式中，所述图像信号处理器和所述处理器集成为一体。
第二方面，本发明实施例提供了一种拍照方法，所述方法包括：
终端设备采集被拍摄物体的M帧图像数据并处理得到M帧图像，M为正整数且M≥2；
当采集被拍摄物体的所述M帧图像数据的每一帧图像数据时，所述终端设备获取所述终端设备在X、Y和Z轴方向的角加速度；
所述终端设备将获取的所述每一帧图像数据时间段内的角加速度处理为抖动信息；
所述终端设备从所述M帧图像中选取一帧作为基准图像，将M-1帧中每一帧图像基于所述基准图像、所述抖动信息和预设的位移矢量表进行配准，并将配准后的图像进行融合；
所述终端设备将融合后的图像进行压缩并显示。
结合第二方面，在第二方面的第一种实现方式中，所述方法还包括：
所述无线终端识别当前拍照场景，并基于所述当前拍照的场景确定拍照的采集参数，所述采集参数包括采集图像的帧数M、每一帧图像的曝光时间和每一帧图像的感光度；
所述终端设备采集被拍摄物体的M帧图像数据的步骤，包括：所述终端设备根据所述曝光时间和所述感光度，采集被拍摄物体的M帧图像数据。
结合第二方面的第一种实现方式，在第二方面的第二种实现方式中，所述终端设备将M-1帧中每一帧图像基于所述基准图像、所述抖动信息和预设的位移矢量表进行配准的步骤，包括：
所述终端设备根据所述M-1帧中每一帧图像的抖动信息和所述M-1帧中每一帧图像相对于所述基准图像的时间，计算所述M-1帧中每一帧图像相对所述基准图像的相对抖动信息；
根据所述相对抖动信息、所述M-1帧中每一帧图像的曝光时间以及所述预设的位移矢量表确定所述M-1帧中每一帧图像相对于所述基准图像的位移矢量；
根据所述位移矢量，对所述M-1帧中每一帧图像进行配准。
结合第二方面或第二方面的第一种实现方式，在第二方面的第三种实现方式中，所述终端设备还获取深度；
所述终端设备将M-1帧中每一帧图像基于所述基准图像、所述抖动信息和预设的位移矢量表进行配准的步骤，包括：
所述终端设备将所述M-1帧中每一帧图像基于所述基准图像、所述抖动信息、所述深度和预设的位移矢量表进行配准。
结合第二方面的第一种实现方式，在第二方面的第四种实现方式中，所述终端设备将所述M-1帧中每一帧图像基于所述基准图像、所述抖动信息和预设的位移矢量表进行配准的步骤，包括：
所述终端设备根据所述M-1帧中每一帧图像的抖动信息和所述M-1帧中每一帧图像相对于所述基准图像的时间，计算所述M-1帧中每一帧图像相对所述基准图像的相对抖动信息；
根据所述相对抖动信息、所述M-1帧中每一帧图像的曝光时间以及所述预设的位移矢量表查找与所述M-1帧中每一帧图像相对于所述基准图像的相关位移矢量；
基于所述相关位移矢量搜索其附近的位移矢量；
依据匹配准则在所述相关位移矢量和所述搜索的其附近的位移矢量，计算所述M-1帧中每一帧图像与基准图像的匹配度，基于其中匹配度高的位移矢量对所述M-1帧中每一帧图像进行配准。
第三方面，本发明实施例提供了一种终端设备，所述终端设备包括第一处理器、中央处理器CPU、显示屏、图像传感器和陀螺仪传感器，其中：
所述图像传感器，用于采集被拍摄物体的M帧图像数据，其中M为正整数且M≥2；
所述第一处理器，用于对所述图像传感器采集的所述M帧图像数据进行处理，得到处理后的M帧图像；
所述陀螺仪传感器，用于当采集被拍摄物体的M帧图像数据的每一帧图像数据时，获取所述终端设备在X、Y和Z轴方向的角加速度；
所述第一处理器，还用于将获取的所述每一帧图像数据时间段内的角加速度处理为抖动信息；
所述中央处理器CPU，用于从所述处理后的M帧图像中选取一帧作为基准图像，将M-1帧中每一帧图像基于所述基准图像、所述抖动信息和预设的位移矢量表进行配准，并将配准后的图像进行融合；
所述中央处理器CPU，还用于对融合后的图像进行压缩处理；
所述显示屏，用于显示所述压缩图像。
结合第三方面，在第三方面的第一种实现方式中，所述第一处理器，还用于：
识别当前拍照场景，并基于所述当前拍照的场景确定拍照的采集参数，所述采集参数包括采集图像的帧数M、每一帧图像的曝光时间和每一帧图像的感光度。
结合第三方面或第三方面的第一种实现方式，在第三方面的第二种实现方式中，所述第一处理器为图像信号处理器。
结合第三方面或第三方面的第一种实现方式或第三方面的第二种实现方式，在第三方面的第三种实现方式中，所述中央处理器CPU，用于将所述M-1帧中每一帧图像基于所述基准图像、所述抖动信息和预设的位移矢量表进行配准，具体为：
所述中央处理器，用于：
根据所述M-1帧中每一帧图像的抖动信息和所述M-1帧中每一帧图像相对于所述基准图像的时间，计算所述M-1帧中每一帧图像相对所述基准图像的相对抖动信息；
根据所述相对抖动信息、所述M-1帧中每一帧图像的曝光时间以及所述预设的位移矢量表确定所述M-1帧中每一帧图像相对于所述基准图像的位移矢量；
根据所述位移矢量，对所述M-1帧中每一帧图像进行配准。
结合第三方面或第三方面的第一种实现方式或第三方面的第二种实现方式，在第三方面的第四种实现方式中，所述终端设备还包括距离传感器，所述距离传感器用于获取深度。
结合第三方面的第四种实现方式，在第三方面的第五种实现方式中，所述中央处理器CPU，用于将所述M-1帧中每一帧图像基于所述基准图像、所述抖动信息和预设的位移矢量表进行配准，具体为：
所述中央处理器CPU，用于将所述M-1帧中每一帧图像基于所述基准图像、所述抖动信息、所述深度和所述预设的位移矢量表进行配准。
结合第三方面或第三方面的第一种实现方式或第三方面的第二种实现方式，在第三方面的第六种实现方式中，所述中央处理器CPU，用于将所述M-1帧中每一帧图像基于所述基准图像、所述抖动信息和预设的位移矢量表进行配准，具体为：
所述中央处理器，用于：
根据所述M-1帧中每一帧图像的抖动信息和所述M-1帧中每一帧图像相对于所述基准图像的时间，计算所述M-1帧中每一帧图像相对所述基准图像的相对抖动信息；
根据所述相对抖动信息、所述M-1帧中每一帧图像的曝光时间以及所述预设的位移矢量表查找与所述M-1帧中每一帧图像相对于所述基准图像的相关位移矢量；
基于所述相关位移矢量搜索其附近的位移矢量；
依据匹配准则在相关位移矢量和所述搜索的其附近的位移矢量，计算所述M-1帧中每一帧图像与基准图像的匹配度，基于其中匹配度高的位移矢量对所述M-1帧中每一帧图像进行配准。
第四方面，本发明实施例提供了一种终端设备，所述终端设备包括第一处理器、图像传感器、陀螺仪传感器、处理器和显示屏，其中：
所述图像传感器，用于采集被拍摄物体的M帧图像数据，其中M为正整数且M≥2；
所述第一处理器，用于对所述图像传感器采集的所述M帧图像数据进行处理，得到处理后的M帧图像；
所述陀螺仪传感器，用于当采集被拍摄物体的M帧图像数据的每一帧图像数据时，获取所述终端设备在X、Y和Z轴方向的角加速度；
所述处理器，用于将获取的所述每一帧图像数据时间段内的角加速度处理为抖动信息；
所述第一处理器，还用于从所述处理后的M帧图像中选取一帧作为基准图像，将M-1帧中每一帧图像基于所述基准图像、所述抖动信息和预设的位移矢量表进行配准，并将配准后的图像进行融合；
所述第一处理器，还用于对融合后的图像进行压缩处理；
所述显示屏，用于显示所述压缩图像。
结合第四方面，在第四方面的第一种实现方式中，所述第一处理器，还用于：
基于识别的当前拍照的场景确定拍照的采集参数，所述采集参数包括采集图像的帧数M、每一帧图像的曝光时间和每一帧图像的感光度。
结合第三方面或第三方面的第一种实现方式，在第三方面的第二种实现方式中，所述第一处理器，用于将所述M-1帧中每一帧图像基于所述基准图像、所述抖动信息和预设的位移矢量表进行配准，具体为：
所述第一处理器，用于：
根据所述M-1帧中每一帧图像的抖动信息和所述M-1帧中每一帧图像相对于所述基准图像的时间，计算所述M-1帧中每一帧图像相对所述基准图像的相对抖动信息；
根据所述相对抖动信息、所述M-1帧中每一帧图像的曝光时间以及所述预设的位移矢量表确定所述M-1帧中每一帧图像相对于所述基准图像的位移矢量；
根据所述位移矢量，对所述M-1帧中每一帧图像进行配准。
结合第四方面或第四方面的第一种实现方式或第四方面的第二种实现方式，在第四方面的第三种实现方式中，所述终端设备还包括距离传感器，所述距离传感器用于获取深度。
结合第四方面的第三种实现方式，在第四方面的第四种实现方式中，所述第一处理器，用于将所述M-1帧中每一帧图像基于所述基准图像、所述抖动信息和预设的位移矢量表进行配准，具体为：
所述第一处理器，用于将所述M-1帧中每一帧图像基于所述基准图像、所述抖动信息、所述深度和所述预设的位移矢量表进行配准。
结合第四方面或第四方面的第一种实现方式，在第四方面的第五种实现方式中，所述第一处理器，用于将所述M-1帧中每一帧图像基于所述基准图像、所述抖动信息和预设的位移矢量表进行配准，具体为：
所述第一处理器，用于：
根据所述M-1帧中每一帧图像的抖动信息和所述M-1帧中每一帧图像相对于所述基准图像的时间，计算所述M-1帧中每一帧图像相对所述基准图像的相对抖动信息；
根据所述相对抖动信息、所述M-1帧中每一帧图像的曝光时间以及所述预设的位移矢量表查找与所述M-1帧中每一帧图像相对于所述基准图像的相关位移矢量；
基于所述相关位移矢量搜索其附近的位移矢量；
依据匹配准则在相关位移矢量和所述搜索的其附近的位移矢量，计算所述M-1帧中每一帧图像与基准图像的匹配度，基于其中匹配度高的位移矢量对所述M-1帧中每一帧图像进行配准。
结合第四方面或第四方面的第一种实现方式至第四方面的第五种实现方式中的任一实现方式，在第四方面的第六种实现方式中，所述第一处理器为应用处理器。
结合第四方面或第四方面的第一种实现方式至第四方面的第五种实现方式中的任一实现方式，在第四方面的第七种实现方式中，所述第一处理器为图像信号处理器。
由上可以看出，本发明实施例中提供的方案，根据采集M帧图像数据时，终端设备基于采集M帧图像数据时的角加速度得到每帧图像的抖动信息，并基于基准图像和其他帧图像相对基准图像的抖动信息配准。这种方式可以有效地提高图像的质量，从而提升终端设备的拍照性能。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例公开的一种手机的结构示意图；
图2是本发明实施例公开的图像数据的曝光时间；
图3是本发明实施例公开的标定图；
图4是本发明实施例公开的静止状态下的部分拍摄图；
图5是本发明实施例公开的抖动状态下的部分拍摄图；
图6是本发明实施例公开的抖动状态下拍摄图的垂直方向的部分图；
图7是本发明实施例公开的抖动状态下拍摄图的水平方向的部分图；
图8是本发明实施例公开的位移矢量表的示意图；
图9是本发明实施例公开的全局位移矢量表的示意图；
图10是本发明实施例公开的一种拍照方法的流程示意图；
图11为本发明实施例公开的一种终端设备的一种可能的结构示意图；
图12为本发明实施例公开的一种终端设备的另一种可能的结构示意图；
图13为本发明实施例公开的一种终端设备的又一种可能的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式做出进一步地详细描述。对于本领域普通技术人员在没有付出创造性劳动的前提下所获得的其它所有实施例，都属于本发明保护的范围。
需要说明的是，本发明实施例中所涉及的终端设备可以为具有摄像头的设备，包括但不限于照相机(例如数码相机)、摄像机、手机(例如智能手机)、平板电脑、个人数字助理(Personal Digital Assistant，PDA)、便携设备(例如，便携式计算机)、可穿戴设备等，本发明实施例对此不做具体限定。
总体概述：
本发明实施例的终端设备可以应用在拍照过程中，用户拍照完成后，呈现给用户质量好的图像，例如提升图像的动态范围、信噪比、清晰度或色彩保真度。
请参考图1，终端设备可以为手机，下面以手机为例对本发明实施例进行阐述。
手机包括镜头模组102，图像信号处理器(Image Signal Processing，ISP)104、中央处理器(Central Processing Unit，CPU)106和显示屏108。该镜头模组102、ISP104、CPU106和显示屏108可以通过总线连接。其中，ISP104可用于基于当前拍照的场景确定拍照的采集参数，例如采集图像的帧数、每帧图像的曝光时间和感光度等；该镜头模组包括陀螺仪传感器1022、处理器1024和图像传感器1026，该图像传感器1026可用于根据采集参数采集被拍摄物体的M帧图像数据，其中，M为正整数且M≥2；在图像传感器1026采集被拍摄物体的M帧图像数据时，该陀螺仪传感器1022可用于在采集被拍摄物体的M帧图像数据的每一帧图像数据时，获取手机在X、Y和Z轴方向的角加速度；该处理器1024可用于将陀螺仪传感器1022获取的每一帧图像数据时间段内的角加速度处理为抖动信息，该抖动信息可用于对手机采集的图像进行配准；ISP104还可用于对图像传感器采集的图像数据进行处理，得到处理后的图像；CPU106可用于从所述M帧图像中选取一帧作为基准图像，将(M-1)帧中每一帧图像基于所述基准图像、所述抖动信息和预设的位移矢量表进行配准，并将配准后的图像进行融合；CPU106还可对融合后的图像进行压缩处理，生成预定格式的图像，如JPEG格式的图像；显示屏可用于显示该预定格式的图像。
例如，当用手机进行拍照时，用户可以先打开手机上的一个拍照应用，所述拍照应用可以是一个独立的拍照应用，也可以是集成在其他应用程序中的拍照应用，如微信应用中的拍照功能。
用户打开拍照应用后，将手机摄像头对准被拍摄物体。手机可识别当前拍照的场景，例如手机可基于图像传感器1026传入的信号通过软件计算来识别当前拍照的场景。该识别当前拍照的场景，可以由CPU106来实现，或由ISP104来实现，或由CPU106和ISP104之外的其他独立芯片来实现，本发明实施例不作限制。ISP104可以基于识别的当前拍照的场景确定本次拍照的采集参数，如本次拍照需采集图像的帧数、每帧图像的曝光时间和每帧图像的感光度等。确定当前拍照的场景可以是打开拍照应用到执行拍照前的过程的某一时刻获取，比如：可以是在对被拍摄物体对焦时获取；也可以是对被拍摄物体对焦后到执行拍照前的任一时刻获取；还可以是手机运动幅度较小时获取，如手机已初步对准被拍摄物体，但还未对焦的某一时刻。手机执行拍照可以是检测到点击拍照按钮，也可以是检测到触发拍照的语音控制等。
可选的，手机也可不检测场景，ISP104可以针对所有场景设置相同的采集参数。手机也可以针对不同的拍照模式设置有相应的采集参数。例如当用户选择好拍照模式时，ISP104就已设置好针对该模式的采集参数，在这种情况下，手机可不用检测场景类型。该拍照模式是指曝光的模式，对应光圈和快门的控制方式。常用的曝光模式有：夜景拍摄模式、人像拍摄模式、风景拍摄模式、全自动模式等，此处不作限定。
ISP104确定本次拍照的采集参数后，图像传感器1026根据采集参数采集M帧图像数据，M为正整数且M≥2。当采集被拍摄物体的M帧图像数据时，陀螺仪传感器1022可获取手机在X、Y和Z轴方向的角加速度，ISP104可控制和记录获取每一帧图像的时间。镜头模组102中的处理器1024可以将采集每一帧图像时间段内的角加速度处理为抖动信息，所述抖动信息包括抖动幅度和抖动频率。具体的，镜头模组102中的处理器1024可结合陀螺仪传感器1022获取的手机在X、Y和Z轴方向的角加速度和每一帧图像的曝光时间，将获取每一帧图像对应的时间段内，手机在X、Y和Z轴方向的角加速度处理为抖动信息。
例如：如图2所示，若ISP记录0时刻到T1时刻为获取第一帧图像的曝光时间，T1时刻到T2时刻为获取第二帧图像的曝光时间，T2时刻到T3时刻为获取第三帧图像的曝光时间，依此类推，T(M-1)时刻到TM时刻为获取第M帧图像的曝光时间。那么镜头模组中的处理器1024可以将0到T1时间段内陀螺仪传感器1022获取的角加速度处理为第一帧图像的抖动信息，将T1到T2时间段内陀螺仪传感器1022获取的角加速度处理为第二帧图像的抖动信息，将T2到T3时间段内陀螺仪传感器1022获取的角加速度处理为第三帧图像的抖动信息，依此类推，将T(M-1)到TM时间段内陀螺仪传感器1022获取的角加速度处理为第M帧图像的抖动信息。
在图像传感器1026采集M帧图像数据后，ISP104可对该M帧图像数据进行处理，得到处理后的M帧图像。具体的，图像传感器1026在采集M帧图像时，接收到折射过来的光信号，可产生M帧RAW格式的数字图像，即M帧未被处理的图像数据。ISP104可对该M帧RAW格式的图像数据进行处理，生成M帧YUV格式或RGB格式的图像数据，即ISP104处理后的M帧图像。ISP104将RAW格式的图像数据处理为YUV格式或RGB格式的图像数据可包括：坏点修补、白平衡、锐利度、插值、校正等的一种或多种。
CPU106在获取ISP104处理后的M帧图像后，可选取其中一张作为基准图像。选取的基准图像可以是第一帧图像，也可以是M帧图像中被拍摄物体的特征最清晰的一帧图像，还可以是随机选取或根据设定的算法确定的M帧图像中的某一帧图像。对于具体如何选取基准图像，本发明实施例对此不作限定。
在选取基准图像后，CPU106将其他(M-1)帧中每一帧图像基于所述基准图像进行配准。CPU106可将其他(M-1)帧中每一帧图像基于所述基准图像、处理器1024得到的抖动信息和预设的位移矢量表进行配准。其中，位移矢量表可以存储在存储器中。
例如，CPU106可根据处理器1024处理得到的该(M-1)帧中每一帧图像的抖动信息和该(M-1)帧中每一帧图像相对于基准图像的曝光时间，计算该(M-1)帧中每一帧图像相对所述基准图像的相对抖动信息；根据该相对抖动信息、该(M-1)帧中每一帧的曝光时间以及预设的位移矢量表确定该(M-1)帧中每一帧图像相对于所述基准图像的位移矢量；根据所述位移矢量，对所述(M-1)帧中每一帧图像进行配准。
其中，确定相对抖动信息的具体方法可为：
例如，以图2为例进行说明，若选取第二帧图像为基准图像，那么第一帧图像相对基准图像的相对抖动信息为T2到T1时间段内镜头模组102中的处理器1024根据陀螺仪传感器1022获取的手机在X、Y和Z轴方向的角加速度得到的抖动信息，即T2到T1时间段内的抖动信息，也即第二帧图像的抖动信息的矢量值的相反值；第三帧图像相对基准图像的相对抖动信息为T2到T3时间段内处理器1024根据陀螺仪传感器1022获取的手机在X、Y和Z轴方向的角加速度得到的抖动信息，也即第三帧图像的抖动信息的矢量值；依此类推，第M帧图像相对基准图像的相对抖动信息为T2到TM的抖动信息，也即第三帧图像的抖动信息到第M帧图像的抖动信息的矢量值的叠加。
具体的，预设的位移矢量表的获取方法可以为：
(1)先确定一标定图像。可选取如图3所示的标定图像，该标定图像包括黑色小格和白色线条，白色线条将黑色小格分隔开来。将该标定图像分成N个区域，N为正整数，其中，每个区域可以包括四个两两相邻的黑色小格，以及一段水平白色线条和一段垂直白色线条，此两条线条构成一个“十字”，具体的划分方法可如图3中的虚线所示。具体的拍摄过程，以手机为例，将手机放置在拍照台上，固定拍照台，在静止状态下拍摄标定图像，分别计算拍摄图像的N个区域中水平和垂直两个方向白色线条的宽度。例如，如图4所示，区域i(1≤i≤N)，也即第i(1≤i≤N)个区域，中水平和垂直两个方向白色线条的宽度分别可用(WH)i和(WV)i表示。
(2)拍照台可模仿人拍照时手抖的情形，设置拍照台的震动参数，可使放置在拍照台的手机有抖动。因此，可通过设置拍照台的震动参数，在手机ISP104设置的曝光时间为T0时，使手机在抖动幅度为M0、抖动频率为F0的情况下拍摄标定图像，得到标定图像的拍摄图像。该拍摄图像的局部图像，如第i(1≤i≤N)个区域的图像可如图5所示。可选的，设置的拍照台的震动参数还可包括拍照的深度，即在手机ISP设置的曝光时间为T0时，手机在抖动幅度为M0、抖动频率为F0、深度为D0的情况下拍摄标定图像，得到标定图像的拍摄图像。其中，拍照的深度，简称深度，是指拍照时，手机与被拍摄物之间的距离。
(3)为了便于描述，将图5分解为图6和图7，其中图5为第i(1≤i≤N)个区域的图像，图6和图7为截取的部分图。
如图6所示，在垂直方向，两条灰色边界之间的距离为(WV0)i，则该区域对应的像素在垂直方向的位移矢量(WVV0)i为：
(WVV0)i＝(WV0)i-(WV)i；
其中，(WV)i为静止状态下拍摄标定图像得到的拍摄图像中，第i(1≤i≤N)个区域中垂直方向白色线条的宽度。
若拍照的镜头模组为OIS镜头模组，在检测到抖动后，镜头模组中的补偿镜片组会根据镜头的抖动情况加以补偿。此时，该区域对应的像素在垂直方向的位移矢量(WVV0)i为：
(WVV0)i＝(WV0)i-(WV)i-(OISV)i；
其中，(OISV)i为OIS镜头模组在第i(1≤i≤N)个区域的垂直方向的补偿量；(WV)i为静止状态下拍摄标定图像得到的拍摄图像中，第i(1≤i≤N)个区域中垂直方向白色线条的宽度。
同样，如图7所示，在水平方向计算两条灰色边界之间的距离为(WH0)i，则该区域对应的像素在水平方向的位移矢量(WVH0)i为：
(WVH0)i＝(WH0)i-(WH)i；
其中，(WH)i为静止状态下拍摄标定图像得到的拍摄图像中，第i(1≤i≤N)个区域中水平方向白色线条的宽度。
若拍照的镜头模组为OIS镜头模组，该区域对应的像素在水平方向的位移矢量(WVH0)i为：
(WVH0)i＝(WH0)i-(WH)i-(OISH)i；
其中，(OISH)i为OIS镜头模组在第i(1≤i≤N)个区域的水平方向的补偿量；(WH)i为静止状态下拍摄标定图像得到的拍摄图像中，第i(1≤i≤N)个区域中水平方向白色线条的宽度。
可选的，设置的拍照台的震动参数还可包括深度，即手机可在曝光时间为T0、抖动幅度为M0、抖动频率为F0、深度为D0时，拍摄标定图像，得到标定图像的拍摄图像。不同的深度，可能使得各个区域对应的像素在水平和垂直方向上的位移矢量不一样。例如，若手机在曝光时间为T0、抖动幅度为M0、抖动频率为F0、深度为D0时得到的标定图像的拍摄图像，第i(1≤i≤N)个区域中垂直方向两条灰色边界之间的距离为(WH0)i，那么该区域对应的像素在垂直方向的位移矢量(WVV0)i为：(WVV0)i＝(WV0)i-(WV)i；手机在曝光时间为T0、抖动幅度为M0、抖动频率为F0、深度为D0′时得到的标定图像的拍摄图像，第i(1≤i≤N)个区域中垂直方向两条灰色边界之间的距离为(WH0)i′，那么该区域对应的像素在垂直方向的位移矢量(WVV0)i′为：(WVV0)i′＝(WV0)i′-(WV)i。由于(WH0)i和(WH0)i′可能不一样，所以(WVV0)i和(WVV0)i′可能是不一样的，即在相同的曝光时间、相同的抖动幅度、相同的抖动频率和不同的深度的情况下，得到的第i(1≤i≤N)个区域对应的像素在垂直方向的位移矢量可能是不一样的。同理，第i(1≤i≤N)个区域对应的像素在水平方向的位移矢量可能是不一样的。
(4)对于图3所示的图像的每个区域参考(3)中的操作，获得手机抖动幅度为M0，抖动频率为F0，曝光时间为T0时的图像的位移矢量表(Motion Vector Table，MVT)。或者，可获得手机抖动幅度为M0，抖动频率为F0，深度为D0，曝光时间为T0时的图像的MVT。
当抖动较大，图像中每个区域的位移矢量不全相同，这时图像的位移矢量表可称为局部位移矢量表(Local Motion Vector Table，LMVT)；当抖动比较小、曝光时间比较短时，图像中每个区域的位移矢量相同，这时图像位移矢量表为全局位移矢量表(GlobalMotion Vector Table，GMVT)。
(5)设置不同的拍照台的震动参数，使手机在不同的抖动幅度、抖动频率和曝光时间下拍摄图3中的标定图像，参考(3)～(4)的操作，可以获得不同抖动信息、不同曝光时间下图像的位移矢量表。或者，也可以设置不同的拍照台的震动参数，使手机在不同的抖动幅度、抖动频率、曝光时间和深度下拍摄图3中的标定图像，参考(3)～(4)的操作，可以获得不同抖动信息、不同曝光时间以及不同深度下图像的位移矢量表，如图8所示。若为全局位移矢量表，图8的位移矢量表也可表示为如图9所示的位移矢量表。
CPU106在确定基准图像以及其他(M-1)帧中每一帧图像的相对抖动信息后，根据该(M-1)帧中每一帧图像的相对抖动信息以及曝光时间查找预设的位移矢量表得到该(M-1)帧中每一帧图像的N个区域相对基准图像在水平和垂直方向的位移矢量。CPU106基于基准图像和查表得到的水平和垂直方向的位移矢量对该(M-1)帧中每一帧图像进行位移配准。
可选的，手机还可检测深度，根据该(M-1)帧中每一帧图像的相对抖动信息、深度以及曝光时间查找预设的位移矢量表得到该(M-1)帧中每一帧图像的N个区域相对基准图像在水平和垂直方向的位移矢量。其中，手机检测深度的方法可有多种实现方式，如：通过距离传感器测量手机与被拍摄物体之间的距离，即深度；或可通过多摄像头采集的图像数据计算深度等，本发明实施例对此不作限制。
在另一种可选的实施方式中，CPU106也可先对相对抖动信息进行判断。例如：CPU106可先判断某帧图像相对基准图像的相对抖动信息是否小于阈值，若是，可认为手机的抖动是简单的平移运动，那么CPU106可从全局位移矢量表中选择整帧图像的全局位移矢量对该帧图像进行整体配准；若否，CPU106从局部位移矢量表中选择N个区域的各自对应的位移矢量对该帧图像进行配准。抖动信息包括抖动幅度和抖动频率，CPU106判断抖动信息是否小于阈值，可以是判断抖动幅度小于幅度阈值且抖动频率小于频率阈值，或抖动幅度和抖动频率小于某一阈值。CPU106判断某帧图像的抖动信息是否小于阈值的方式可根据具体情况而定，此处不作限定。
可选的，CPU106将所述(M-1)帧中每一帧图像基于所述基准图像、所述抖动信息和预设的位移矢量表进行配准，还可有其他的实现方式。
例如，CPU106根据处理得到的所述(M-1)帧中每一帧图像的抖动信息和所述(M-1)帧中每一帧图像相对于所述基准图像的时间，计算所述(M-1)帧中每一帧图像相对所述基准图像的相对抖动信息后，对于需配准的(M-1)帧中每一帧图像，以其中任意一帧为例，CPU106先根据该帧图像的相对抖动信息、曝光时间以及预设的位移矢量表查找该帧图像相对于基准图像的相关位移矢量；然后CPU106将该帧图像基于该相关位移矢量进行平移。对于平移后的图像，基于一定的搜索规则以平移后的位置为起始点搜索附近其他位置，并在起始点和该搜索的其他位置上计算该帧图像相对基准图像的匹配度，选择其中匹配度最高的位置进行配准，以进一步提高配准的准确度。具体的，可采用块匹配算法，基于一定的位移量搜索(M-1)帧中每一帧图像的起始点附近的位置，并在起始点和该搜索的位置上计算该帧图像相对基准图像的匹配度。衡量匹配度的可用匹配准则包括：绝对品均误差函数(MAD)、绝对差值和(SAD)、归一化相关函数(NCFF)、均方误差函数(MSE)、最大误差最小函数(MME)、最大匹配像素(MPC)中的一种或多种，本发明实施例对此不作限定。可选的，具体的实现过程中，CPU可对(M-1)帧中每一帧图像都先进行平移，然后依次搜索每一帧图像起始点附近其他位置，并在起始点和搜索的其他位置上计算该帧图像相对基准图像的匹配程度，选择匹配度最高的位置进行配准；CPU106也可先对(M-1)帧中的一帧图像进行平移，该帧图像平移后以当前位置为起始点搜索该帧图像附近其他位置，并在起始点和搜索的其他位置上计算该帧图像相对基准图像的匹配程度，选择匹配程度最高的位置进行配准，然后再平移下一帧图像，进行上述处理，此处不再赘述。
若抖动较大，每帧图像相对基准图像进行配准的N个区域的位移矢量不全相同，在查表得到每一帧图像的N个区域的位移矢量后，可参照上述方法，分别基于块匹配算法搜索N个区域中的每一个区域的起始点附近的其他位置，并在N个区域中的每一个区域的起始点和该搜索的其他位置上计算相对基准图像的匹配度，选择其中匹配程度最高的位移矢量对该N个区域中的每一个区域进行位移配准。
在基于基准图像进行配准后，CPU106可以将配准后的M帧图像融合成一帧图像。可选的，CPU106可根据检测的场景采用不同的融合方法将配准后的M帧图像进行融合。
如：若检测的场景是夜景，或者是其他光线较弱的场景，手机可采用加权平均的方法对多帧图像进行融合。融合的权重可以相同，也可以不同；融合图像的N个区域的权重可以相同，也可以根据图像的局部内容对局部区域的权重进行调整。可选的，对于具有OIS镜头模组的手机，相比普通镜头模组的手机，在相同的抖动模糊量下，手机采集的M帧图像的曝光时间可以更长。所以，在夜景下，在相同曝光时间下，具有OIS镜头模组的手机采集的图像效果可以更好。
若检测的场景是室外，或者是其他光线比较充足、对比度比较高的其他场景，手机采集图像时可采集到多帧不同曝光时间的图像。这种情况下，手机可采用高动态范围(High-Dynamic Range，HDR)融合的融合方法对M帧图像进行融合，提升场景动态范围，恢复图像亮暗区域的细节信息和色彩信息。可选的，对于具有OIS镜头模组的手机，相比普通镜头模组的手机，在相同的抖动模糊量下，手机采集的M帧图像之间的曝光范围可以更大，从而合成出来的图像质量可以更高。
CPU106将配准后的M帧图像融合成一帧图像后，可将该融合后的图像进行压缩处理，生成预定格式的图像，如JPEG格式的图像。具体的，CPU106进行融合后的图像可为YUV格式或RGB格式的图像，CPU106可通过预设的压缩算法对该YUV格式或RGB格式的图像进行压缩处理，将YUV格式或RGB格式的图像处理为预定格式的压缩图像，如JPEG格式的图像。
显示屏108可以显示压缩后的图像。
需要说明的是，CPU106可以是手机的应用处理器(Application Processor，简称AP)。ISP104与CPU106可集成在一起，例如ISP104的功能可以设置于CPU106中。
CPU106也可以与处理器1024集成为一体。ISP104也可以与处理器1024集成为一体。可选的，CPU106、ISP104和处理器1024也可以集成为一体。
应理解，图中仅示出了实现本发明实施例方案的各部件之间的基本连接关系。各部件之间还可有其他连接关系，例如：图像传感器1026可以与陀螺仪传感器1022或处理器1024连接，处理器1024也可与ISP104连接等。
由上可以看出，本发明实施例中提供的一种终端设备，根据采集M帧图像数据时，终端设备基于采集M帧图像数据时的角加速度得到每帧图像的抖动信息，并基于基准图像和其他帧图像相对基准图像的抖动信息配准。这种方式可以有效地提高图像的质量，从而提升终端设备的拍照性能。
方法实施例：
如图10所示，本发明实施例提供了一种拍照的方法，所述方法200包括：
S202，终端设备采集被拍摄物体的M帧图像数据并处理得到M帧图像，M为正整数且M≥2；
终端设备的图像传感器可根据设置的采集参数采集被拍摄物体的M帧图像数据，其中该采集参数可包括采集图像的帧数M、每一帧图像的曝光时间和每一帧图像的感光度。在采集图像数据的过程中，终端设备的图像传感器接收到光信号，可产生M帧RAW格式的数字图像，即M帧未被处理的图像数据。终端设备可对该M帧RAW格式的图像数据进行处理，生成M帧YUV格式或RGB格式的图像数据，即终端设备采集并处理得到的M帧图像。
S204，当采集被拍摄物体的M帧图像数据的每一帧图像数据时，所述终端设备获取所述终端设备在X、Y和Z轴方向的角加速度；
终端设备包括陀螺仪传感器。陀螺仪传感器可获取任意时刻该终端设备在X、Y和Z轴方向的角加速度。在图像传感器采集被拍摄物体的M帧图像数据时，陀螺仪传感器可获取该终端设备在X、Y和Z轴方向的角加速度。
S206，所述终端设备将获取的所述每一帧图像数据时间段内的角加速度处理为抖动信息；
终端设备可根据采集M帧图像数据时每一帧图像的曝光时间将陀螺仪传感器获取的该终端设备在X、Y和Z轴方向的角加速度处理为每一帧图像的抖动信息。
应理解，S206与S202中终端设备处理得到M帧图像没有明显的时序关系，两者可独立执行。即S206可与S202中终端设备处理得到M帧图像同时执行，S206也可先于S202中终端设备处理得到M帧图像，S206也可后于S202中终端设备处理得到M帧图像。
S208，所述终端设备从所述M帧图像中选取一帧作为基准图像，将(M-1)帧中每一帧图像基于所述基准图像、所述抖动信息和预设的位移矢量表进行配准，并将配准后的图像进行融合；
终端设备从处理后的M帧图像中选取一帧作为基准图像。该基准图像可以是第一帧图像，也可以是M帧图像中被拍摄物体的特征最清晰的一帧图像，还可以是随机选取或根据设定的算法确定的M帧图像中的某一帧图像。对于具体如何选取基准图像，本发明实施例对此不作限定。
终端设备选取基准图像后，根据处理得到的其他(M-1)帧中每一帧图像的抖动信息和该(M-1)帧中每一帧图像相对于基准图像的时间，计算该(M-1)帧中每一帧图像相对所述基准图像的相对抖动信息。具体的计算方法可参见“总体概述”部分，此处不再赘述。
终端设备可根据计算得到的相对抖动信息、(M-1)帧中每一帧的曝光时间以及预设的位移矢量表确定所述(M-1)帧中每一帧图像相对于所述基准图像的位移矢量。
可选的，终端设备还可获取深度。终端设备可根据计算得到的相对抖动信息、(M-1)帧中每一帧的曝光时间、深度以及预设的位移矢量表确定该(M-1)帧中每一帧图像相对于基准图像的位移矢量。
终端设备根据上述确定的位移矢量，对该(M-1)帧中每一帧图像进行配准。
可选的，终端设备将所述(M-1)帧中每一帧图像基于所述基准图像、所述抖动信息和预设的位移矢量表进行配准，可包括：
终端设备根据处理得到的除基准图像外的(M-1)帧中每一帧图像的抖动信息和该(M-1)帧中每一帧图像相对于所述基准图像的时间，计算该(M-1)帧中每一帧图像相对基准图像的相对抖动信息；
根据该相对抖动信息、该(M-1)帧中每一帧的曝光时间以及预设的位移矢量表查找与该(M-1)帧中每一帧图像相对于所述基准图像的相关位移矢量；
基于该相关位移矢量搜索其附近的位移矢量；
依据匹配准则在相关位移矢量和该搜索的其附近的位移矢量处，计算该(M-1)帧中每一帧图像与基准图像的匹配度，基于其中匹配度高的位移矢量对该(M-1)帧中每一帧图像进行配准。
上述的预设的位移矢量表获取可有多种实现方式，可参见“总体概述”的描述。
在配准后，终端设备可将配准的M帧图像进行融合，融合成一帧图像。该融合后的图像可为YUV格式或RGB格式的图像。
S210，所述终端设备将融合后的图像进行压缩并显示。
终端设备可将融合后的YUV格式或RGB格式的图像按预定的压缩算法进行压缩处理，生成预定格式的压缩图像，如：JPEG格式的图像。
终端设备显示该压缩图像。
在本发明的一个可选的实施例中，在S202之前，该拍照方法还可以包括：
所述终端设备识别当前拍照的场景，并基于所述当前拍照的场景确定拍照的采集参数，其中所述采集参数可包括采集图像的帧数M、每一帧图像的曝光时间和每一帧图像的感光度；
S202具体可包括：所述终端设备根据所述曝光时间和所述感光度，采集被拍摄物体的M帧图像数据。
可选的，在S208中，终端设备将配准后的图像进行融合，具体可为：终端设备根据识别的当前拍照的场景，选择相应的融合方法对M帧图像进行融合。具体的融合方法可参见“总体概述”部分。
由上可以看出，本发明实施例中提供的一种拍照方法，根据采集M帧图像数据时，终端设备基于采集M帧图像数据时的角加速度得到每帧图像的抖动信息，并基于基准图像和其他帧图像相对基准图像的抖动信息配准。这种方式可以有效地提高图像的质量，从而提升终端设备的拍照性能。
装置实施例：
如图11所示，本发明实施例提供了一种终端设备，所示终端设备300可以包括：镜头模组302、中央处理器304、图像信号处理器306、显示屏308和总线312。终端设备还可以包括存储器310。其中，镜头模组302、中央处理器304、图像信号处理器306、显示屏308、存储器310可以通过总线312连接。
在本实施例中，镜头模组302包括图像传感器3022、陀螺仪传感器3024和处理器3026。图像传感器3022，或称感光元件，是一种将光学图像转换成电子信号的设备，它被广泛地应用在数码相机和其他电子光学设备中。目前，图像传感器主要分为感光耦合元件(charge-coupled device，CCD)和互补式金属氧化物半导体有源像素传感器(CMOS Activepixel sensor)两种。终端设备可通过图像传感器3022采集图像数据。陀螺仪传感器3024是一种用来传感与维持方向的装置，是基于角动量守恒理论设计出来的。陀螺仪传感器主要是由一个位于轴心且可旋转的转子构成，可获取终端设备在X、Y和Z轴方向的角加速度。处理器3026可用于处理陀螺仪传感器3024的角加速度。具体的，处理器3026可基于每帧图像的曝光时间和陀螺仪传感器3024获取的终端设备在X、Y和Z轴方向的角加速度，计算终端设备在采集每帧图像数据时的抖动信息。
中央处理器304为终端设备的控制中心，利用各种接口和线路连接整个终端设备的各个部分，通过运行或执行存储在存储器内的软件程序和/或模块，以及调用存储在存储器内的数据，以执行终端设备的各种功能和/或处理数据。中央处理器304可以由集成电路(Integrated Circuit，简称IC)组成，例如可以由单颗封装的IC所组成，也可以由连接多颗相同功能或不同功能的封装IC而组成。
图像信号处理器306，可以是一种专用数字集成电路，对从图像传感器3022中输出的图像数据进行处理，如：坏点修补、白平衡、锐利度、修正、颜色插值等，得到处理后的数字图像。在本发明实施例中，图像信号处理器306可将RAW格式的图像数据处理为YUV或RGB格式的图像数据。图像信号处理器306还可设置采集图像的参数，如采集图像的帧数、每一帧图像的曝光时间和每一帧图像的感光度等，用于控制图像传感器3022采集图像数据。
存储器310可用于存储软件程序和数据信息。存储器主要包括程序存储区和数据存储区，其中，程序存储区可存储操作系统、至少一个功能所需的应用程序，比如拍照程序等；数据存储区可存储根据终端设备的使用所创建的数据、位移矢量表等。
显示屏308，可用于显示文字、图片和/或视频。显示屏可包括显示面板，例如采用LCD(Liquid Crystal Display，液晶显示器)、OLED(Organic Light-Emitting Diode，有机发光二极管)、场发射显示器(field emission display，简称FED)等形式来配置的显示面板。或者显示屏可以包括反射式显示器，例如电泳式(electrophoretic)显示器，或利用光干涉调变技术(Interferometric Modulation of Light)的显示器。
具体的，在本终端设备的一种实施例中，所述终端设备包括：
图像传感器3022，可用于采集被拍摄物体的M帧图像数据，其中M为正整数且M≥2；
陀螺仪传感器3024，可用于当采集被拍摄物体的M帧图像数据的每一帧图像数据时，获取所述终端设备在X、Y和Z轴方向的角加速度；
处理器3026，可用于将获取的所述每一帧图像数据时间段内的角加速度处理为抖动信息；
图像信号处理器306，可用于对所述图像传感器3022采集的图像数据进行处理，得到处理后的M帧图像；
中央处理器304，可用于：
从所述处理后的M帧图像中选取一帧作为基准图像；
将处理后的(M-1)帧中每一帧图像基于所述基准图像、所述抖动信息和预设的位移矢量表进行配准，并将配准后的图像进行融合；
显示屏308，用于显示融合后的图像。
可选的，中央处理器304还用于对融合后的图像进行压缩处理，生成预定格式的压缩图像，如JPEG格式的图像；
显示屏308具体用于显示该预定格式的压缩图像，即融合后并进行了压缩处理的图像。
在一种可选的实施方式中，中央处理器304将(M-1)帧中每一帧图像基于所述基准图像、所述抖动信息和预设的位移矢量表进行配准，包括：
中央处理器304根据处理得到的所述(M-1)帧中每一帧图像的抖动信息和所述(M-1)帧中每一帧图像相对于所述基准图像的时间，计算所述(M-1)帧中每一帧图像相对所述基准图像的相对抖动信息；
根据所述相对抖动信息、所述(M-1)帧中每一帧的曝光时间以及所述预设的位移矢量表确定所述(M-1)帧中每一帧图像相对于所述基准图像的位移矢量；
根据所述位移矢量，对所述(M-1)帧中每一帧图像进行配准。
在一种可选的实施方式中，所述终端设备还可包括距离传感器，用于获取深度。
中央处理器304将(M-1)帧中每一帧图像基于所述基准图像、所述抖动信息和预设的位移矢量表进行配准，包括：
中央处理器304将所述(M-1)帧中每一帧图像基于所述基准图像、所述抖动信息、所述深度和预设的位移矢量表进行配准。也即：
中央处理器304根据处理得到的所述(M-1)帧中每一帧图像的抖动信息和所述(M-1)帧中每一帧图像相对于所述基准图像的时间，计算所述(M-1)帧中每一帧图像相对所述基准图像的相对抖动信息；
根据所述相对抖动信息、所述(M-1)帧中每一帧的曝光时间、所述深度以及所述预设的位移矢量表确定所述(M-1)帧中每一帧图像相对于所述基准图像的位移矢量；
根据所述位移矢量，对所述(M-1)帧中每一帧图像进行配准。
在一种可选的方式中，中央处理器304将所述(M-1)帧中每一帧图像基于所述基准图像、所述抖动信息和预设的位移矢量表进行配准，包括：
中央处理器304根据处理得到的所述(M-1)帧中每一帧图像的抖动信息和所述(M-1)帧中每一帧图像相对于所述基准图像的时间，计算所述(M-1)帧中每一帧图像相对所述基准图像的相对抖动信息；
根据所述相对抖动信息、所述(M-1)帧中每一帧的曝光时间以及所述预设的位移矢量表查找与所述(M-1)帧中每一帧图像相对于所述基准图像的相关位移矢量；
基于所述相关位移矢量搜索其附近的位移矢量；
依据匹配准则在相关位移矢量和所述搜索的其附近的位移矢量处，计算所述(M-1)帧中每一帧图像与基准图像的匹配度，基于其中匹配度高的位移矢量对所述(M-1)帧中每一帧图像进行配准。
具体的，中央处理器304将(M-1)帧中每一帧图像基于所述基准图像、所述抖动信息和预设的位移矢量表进行配准，可参见“总体概述”部分，此处不再赘述。
可选的，在图像传感器3022采集M帧图像数据之前，该终端设备还可识别当前拍照的场景。该识别当前拍照的场景，可以由中央处理器304来实现，或由图像信号处理器306来实现，或由中央处理器304和图像信号处理器306之外的其他独立芯片来实现，本发明实施例不作限制。
图像信号处理器306可基于识别的当前拍照的场景确定拍照的采集参数，其中所述采集参数包括采集图像的帧数M、每一帧图像的曝光时间和每一帧图像的感光度；
图像传感器3022采集M帧图像数据，具体包括：图像传感器3022根据所述曝光时间和所述感光度，采集被拍摄物体的M帧图像数据。
可选的，中央处理器304将配准后的图像进行融合，具体可为：中央处理器304根据识别的当前拍照的场景，对M帧图像进行融合。具体的融合请参见“总体概述”部分，此处不再赘述。
可选的，上述终端设备中，图像信号处理器306和所述中央处理器304可集成为一体，即用一个处理器完成上述图像信号处理器306和中央处理器304的功能；或者，上述终端设备中，中央处理器304和处理器3026可集成为一体，即用一个处理器完成上述中央处理器304和处理器3026的功能；或者，上述终端设备中，图像信号处理器306和处理器3026可集成为一体，即用一个处理器完成上述图像信号处理器306和中央处理器304的功能。
需要说明的是，终端设备可以为手机，中央处理器304可以为应用处理器AP。
由上可以看出，本发明实施例中提供的一种终端设备，本发明实施例中提供的一种终端设备，根据采集M帧图像数据时，终端设备基于采集M帧图像数据时的角加速度得到每帧图像的抖动信息，并基于基准图像和其他帧图像相对基准图像的抖动信息配准。这种方式可以有效地提高图像的质量，从而提升终端设备的拍照性能。
如图12所示，本发明实施例提供了一种终端设备，所示终端设备400包括：镜头模组402、中央处理器404、第一处理器406、显示屏408和总线412。终端设备还可以包括存储器410。其中，镜头模组402、中央处理器404、第一处理器406、显示屏408、存储器410可以通过总线412连接。
在本实施例中，镜头模组402包括图像传感器4022和陀螺仪传感器4024。图像传感器4022可用于采集图像数据。陀螺仪传感器4024可用于获取终端设备在X、Y和Z轴方向的角加速度。
第一处理器406可用于处理陀螺仪传感器4024的角加速度。具体的，第一处理器406可基于每帧图像的曝光时间和陀螺仪传感器4024获取的终端设备在X、Y和Z轴方向的角加速度，将获取的所述每一帧图像数据时间段内的角加速度处理为抖动信息。
存储器410可用于存储软件程序和数据信息。存储器主要包括程序存储区和数据存储区，其中，程序存储区可存储操作系统、至少一个功能所需的应用程序，比如拍照程序等；数据存储区可存储根据终端设备的使用所创建的数据、位移矢量表等。
显示屏408，可用于显示文字、图片和/或视频。
图11与本实施例相同或相似的硬件结构均适用本实施例，不再详细赘述。
具体的，在本终端设备的一种实施例中，所述终端设备包括：
图像传感器4022，可用于采集被拍摄物体的M帧图像，其中M为正整数且M≥2；
第一处理器406，用于对所述图像传感器4022采集的所述M帧图像数据进行处理，得到处理后的M帧图像；
陀螺仪传感器4024，可用于当采集被拍摄物体的M帧图像数据的每一帧图像数据时，获取所述终端设备在X、Y和Z轴方向的角加速度；
第一处理器406，还可用于将获取的所述每一帧图像数据时间段内的角加速度处理为抖动信息；
中央处理器CPU404，用于从所述处理后的M帧图像中选取一帧作为基准图像，将(M-1)帧中每一帧图像基于所述基准图像、所述抖动信息和预设的位移矢量表进行配准，并将配准后的图像进行融合；
中央处理器CPU404，还用于对融合后的图像进行压缩处理；
显示屏408，用于显示所述压缩图像。
在一种可选的实施方式中，中央处理器CPU404将(M-1)帧中每一帧图像基于所述基准图像、所述抖动信息和预设的位移矢量表进行配准，包括：
第一处理器406根据处理得到的所述(M-1)帧中每一帧图像的抖动信息和所述(M-1)帧中每一帧图像相对于所述基准图像的时间，计算所述(M-1)帧中每一帧图像相对所述基准图像的相对抖动信息；
根据所述相对抖动信息、所述(M-1)帧中每一帧的曝光时间以及所述预设的位移矢量表确定所述(M-1)帧中每一帧图像相对于所述基准图像的位移矢量；
根据所述位移矢量，对所述(M-1)帧中每一帧图像进行配准。
在一种可选的实施方式中，所述终端设备还可包括距离传感器，用于获取深度；
中央处理器404将(M-1)帧中每一帧图像基于所述基准图像、所述抖动信息和预设的位移矢量表进行配准，包括：
中央处理器404将所述(M-1)帧中每一帧图像基于所述基准图像、所述抖动信息、所述深度和预设的位移矢量表进行配准。也即：
中央处理器404根据处理得到的所述(M-1)帧中每一帧图像的抖动信息和所述(M-1)帧中每一帧图像相对于所述基准图像的时间，计算所述(M-1)帧中每一帧图像相对所述基准图像的相对抖动信息；
根据所述相对抖动信息、所述(M-1)帧中每一帧的曝光时间、所述深度以及所述预设的位移矢量表确定所述(M-1)帧中每一帧图像相对于所述基准图像的位移矢量；
根据所述位移矢量，对所述(M-1)帧中每一帧图像进行配准。
在一种可选的方式中，中央处理器404将所述(M-1)帧中每一帧图像基于所述基准图像、所述抖动信息和预设的位移矢量表进行配准，包括：
中央处理器404根据处理得到的所述(M-1)帧中每一帧图像的抖动信息和所述(M-1)帧中每一帧图像相对于所述基准图像的时间，计算所述(M-1)帧中每一帧图像相对所述基准图像的相对抖动信息；
根据所述相对抖动信息、所述(M-1)帧中每一帧的曝光时间以及所述预设的位移矢量表查找与所述(M-1)帧中每一帧图像相对于所述基准图像的相关位移矢量；
基于所述相关位移矢量搜索其附近的位移矢量；
依据匹配准则在相关位移矢量和所述搜索的其附近的位移矢量处，计算所述(M-1)帧中每一帧图像与基准图像的匹配度，基于其中匹配度高的位移矢量对所述(M-1)帧中每一帧图像进行配准。
具体的，中央处理器404将(M-1)帧中每一帧图像基于所述基准图像、所述抖动信息和预设的位移矢量表进行配准，可参见“总体概述”部分，此处不再赘述。
可选的，在图像传感器4022采集M帧图像之前，该终端设备还可识别当前拍照的场景。具体的，可以由中央处理器404来实现，或由第一处理器406来实现，或由中央处理器404和第一处理器406之外的其他独立芯片来实现，本发明实施例不作限制。
可选的，第一处理器406可基于所述当前拍照的场景确定拍照的采集参数，其中所述采集参数包括采集图像的帧数M、每一帧图像的曝光时间和每一帧图像的感光度；
图像传感器4022采集M帧图像，具体包括：图像传感器4022根据所述曝光时间和所述感光度，采集被拍摄物体的M帧图像数据。
可选的，中央处理器404将配准后的图像进行融合，具体可为：中央处理器404根据识别的当前拍照的场景，对M帧图像进行融合。具体请参见“总体概述”，此处不再赘述。
需要说明的是，第一处理器406可以为图像信号处理器。若终端设备为手机，中央处理器404可以为AP。
由上述可知，本发明实施例中提供的一种终端设备，根据采集M帧图像数据时，终端设备基于采集M帧图像数据时的角加速度得到每帧图像的抖动信息，并基于基准图像和其他帧图像相对基准图像的抖动信息配准。这种方式可以有效地提高图像的质量，从而提升终端设备的拍照性能。
如图13所示，本发明实施例提供了一种用于拍照的终端设备，所示终端设备500包括：镜头模组502、第一处理器504、显示屏506和总线510。终端设备还可以包括存储器508。其中，镜头模组502、第一处理器504、显示屏506、存储器508通过总线510进行电性连接。
在本实施例中，镜头模组502包括图像传感器5022、陀螺仪传感器5024和处理器5026。图像传感器5022可用于采集图像数据。陀螺仪传感器5024可用于获取终端设备在X、Y和Z轴方向的角加速度。处理器5026可用于处理陀螺仪传感器5024的角加速度。具体的，处理器5026可基于每帧图像的曝光时间和陀螺仪传感器5024获取的终端设备在X、Y和Z轴方向的角加速度，将获取的所述每一帧图像数据时间段内的角加速度处理为抖动信息。
存储器508可用于存储软件程序和数据信息。存储器主要包括程序存储区和数据存储区，其中，程序存储区可存储操作系统、至少一个功能所需的应用程序，比如拍照程序等；数据存储区可存储根据终端设备的使用所创建的数据、位移矢量表等。
显示屏510，可用于显示文字、图片和/或视频。
图11和图12对应的实施例中与本实施例相同或相似的硬件结构均适用本实施例，不再详细赘述。
具体的，在本终端设备的一种实施例中，所述终端设备包括：
图像传感器5022，可用于采集被拍摄物体的M帧图像，其中M为正整数且M≥2；
陀螺仪传感器5024，可用于当采集被拍摄物体的M帧图像数据的每一帧图像数据时，获取所述终端设备在X、Y和Z轴方向的角加速度；
处理器5026，可用于将获取的所述每一帧图像数据时间段内的角加速度处理为抖动信息；
第一处理器504，可用于对所述图像传感器5022采集的所述M帧图像数据进行处理，得到处理后的M帧图像；
第一处理器504，还可用于从所述处理后的M帧图像中选取一帧作为基准图像，将(M-1)帧中每一帧图像基于所述基准图像、所述抖动信息和预设的位移矢量表进行配准，并将配准后的图像进行融合；
第一处理器504，还可用于对融合后的图像进行压缩处理；
显示屏506，可用于显示所述压缩图像。
在一种可选的实施方式中，第一处理器504将(M-1)帧中每一帧图像基于所述基准图像、所述抖动信息和预设的位移矢量表进行配准，包括：
第一处理器504根据处理得到的所述(M-1)帧中每一帧图像的抖动信息和所述(M-1)帧中每一帧图像相对于所述基准图像的时间，计算所述(M-1)帧中每一帧图像相对所述基准图像的相对抖动信息；
根据所述相对抖动信息、所述(M-1)帧中每一帧的曝光时间以及所述预设的位移矢量表确定所述(M-1)帧中每一帧图像相对于所述基准图像的位移矢量；
根据所述位移矢量，对所述(M-1)帧中每一帧图像进行配准。
在一种可选的实施方式中，所述终端设备还可包括距离传感器，用于获取深度；
第一处理器504将(M-1)帧中每一帧图像基于所述基准图像、所述抖动信息和预设的位移矢量表进行配准，包括：
第一处理器504将所述(M-1)帧中每一帧图像基于所述基准图像、所述抖动信息、所述深度和预设的位移矢量表进行配准。也即：
第一处理器504根据处理得到的所述(M-1)帧中每一帧图像的抖动信息和所述(M-1)帧中每一帧图像相对于所述基准图像的时间，计算所述(M-1)帧中每一帧图像相对所述基准图像的相对抖动信息；
根据所述相对抖动信息、所述(M-1)帧中每一帧的曝光时间、所述深度以及所述预设的位移矢量表确定所述(M-1)帧中每一帧图像相对于所述基准图像的位移矢量；
根据所述位移矢量，对所述(M-1)帧中每一帧图像进行配准。
在一种可选的方式中，第一处理器504将所述(M-1)帧中每一帧图像基于所述基准图像、所述抖动信息和预设的位移矢量表进行配准，包括：
第一处理器504根据处理得到的所述(M-1)帧中每一帧图像的抖动信息和所述(M-1)帧中每一帧图像相对于所述基准图像的时间，计算所述(M-1)帧中每一帧图像相对所述基准图像的相对抖动信息；
根据所述相对抖动信息、所述(M-1)帧中每一帧的曝光时间以及所述预设的位移矢量表查找与所述(M-1)帧中每一帧图像相对于所述基准图像的相关位移矢量；
基于所述相关位移矢量搜索其附近的位移矢量；
依据匹配准则在相关位移矢量和所述搜索的其附近的位移矢量处，计算所述(M-1)帧中每一帧图像与基准图像的匹配度，基于其中匹配度高的位移矢量对所述(M-1)帧中每一帧图像进行配准。
具体的，第一处理器504将(M-1)帧中每一帧图像基于所述基准图像、所述抖动信息和预设的位移矢量表进行配准，可参见“总体概述”部分，此处不再赘述。
可选的，在图像传感器5022采集M帧图像之前，该终端设备还可识别当前拍照的场景。具体的，可以由第一处理器504来实现，或由第一处理器504之外的其他独立芯片来实现，本发明实施例不作限制。
可选的，第一处理器504可基于所述当前拍照的场景确定拍照的采集参数，其中所述采集参数包括采集图像的帧数M、每一帧图像的曝光时间和每一帧图像的感光度；
图像传感器5022采集M帧图像，具体包括：图像传感器5022根据所述曝光时间和所述感光度，采集被拍摄物体的M帧图像数据。
可选的，第一处理器504将配准后的图像进行融合，具体可为：第一处理器504根据识别的当前拍照的场景，对M帧图像进行融合。具体的融合请参见“总体概述”，此处不再赘述。
需要说明的是，第一处理器504可以为终端设备的中央处理器CPU。第一处理器504也可以为AP。
由上述可知，本发明实施例中提供的一种终端设备，根据采集M帧图像数据时，终端设备基于采集M帧图像数据时的角加速度得到每帧图像的抖动信息，并基于基准图像和其他帧图像相对基准图像的抖动信息配准。这种方式可以有效地提高图像的质量，从而提升终端设备的拍照性能。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的终端设备或拍照方法，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域的普通技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (13)

1.一种终端设备，其特征在于，所述终端设备包括镜头模组、图像信号处理器、中央处理器CPU和显示屏，所述镜头模组包括图像传感器、陀螺仪传感器和处理器，其中：
所述图像信号处理器，用于基于当前拍照的场景确定拍照的采集参数，其中所述采集参数包括采集图像的帧数M、每一帧图像的曝光时间和每一帧图像的感光度，其中M为正整数且M≥2；
所述图像传感器，用于根据所述曝光时间和所述感光度，采集被拍摄物体的M帧图像数据；
所述图像信号处理器，还用于对所述图像传感器采集的所述M帧图像数据进行处理，得到处理后的M帧图像；
所述陀螺仪传感器，用于当采集被拍摄物体的M帧图像数据的每一帧图像数据时，获取所述终端设备在X、Y和Z轴方向的角加速度；
所述处理器，用于将获取的所述每一帧图像数据时间段内的角加速度处理为抖动信息；
所述中央处理器CPU，用于从所述处理后的M帧图像中选取一帧作为基准图像，将M-1帧中每一帧图像基于所述基准图像、所述抖动信息和预设的位移矢量表进行配准，并将配准后的图像进行融合；
所述中央处理器CPU，还用于对融合后的图像进行压缩处理，生成预定格式的压缩图像；
所述显示屏，用于显示所述压缩图像；
其中，所述中央处理器CPU，用于将所述M-1帧中每一帧图像基于所述基准图像、所述抖动信息和预设的位移矢量表进行配准，具体为：
所述中央处理器，用于：
根据所述处理器处理得到的所述M-1帧中每一帧图像的抖动信息和所述M-1帧中每一帧图像相对于所述基准图像的时间，计算所述M-1帧中每一帧图像相对所述基准图像的相对抖动信息；
根据所述相对抖动信息、所述M-1帧中每一帧图像的曝光时间以及所述预设的位移矢量表确定所述M-1帧中每一帧图像相对于所述基准图像的位移矢量；
根据所述位移矢量，对所述M-1帧中每一帧图像进行配准。
2.根据权利要求1所述的终端设备，其特征在于，所述终端设备还包括距离传感器，所述距离传感器，用于获取深度。
3.根据权利要求1或2所述的终端设备，其特征在于，所述图像信号处理器和所述中央处理器CPU集成为一体。
4.根据权利要求1或2所述的终端设备，其特征在于，所述中央处理器CPU和所述处理器集成为一体。
5.根据权利要求1或2所述的终端设备，其特征在于，所述图像信号处理器、所述处理器和所述中央处理器CPU集成为一体。
6.根据权利要求1或2所述的终端设备，其特征在于，所述图像信号处理器和所述处理器集成为一体。
7.一种拍照方法，其特征在于，所述方法包括：
终端设备采集被拍摄物体的M帧图像数据并处理得到M帧图像，M为正整数且M≥2；
当采集被拍摄物体的所述M帧图像数据的每一帧图像数据时，所述终端设备获取所述终端设备在X、Y和Z轴方向的角加速度；
所述终端设备将获取的所述每一帧图像数据时间段内的角加速度处理为抖动信息；
所述终端设备从所述M帧图像中选取一帧作为基准图像，将M-1帧中每一帧图像基于所述基准图像、所述抖动信息和预设的位移矢量表进行配准，并将配准后的图像进行融合；
所述终端设备将融合后的图像进行压缩并显示；
所述终端设备将M-1帧中每一帧图像基于所述基准图像、所述抖动信息和预设的位移矢量表进行配准的步骤，包括：
所述终端设备根据所述M-1帧中每一帧图像的抖动信息和所述M-1帧中每一帧图像相对于所述基准图像的时间，计算所述M-1帧中每一帧图像相对所述基准图像的相对抖动信息；
根据所述相对抖动信息、所述M-1帧中每一帧图像的曝光时间以及所述预设的位移矢量表确定所述M-1帧中每一帧图像相对于所述基准图像的位移矢量；
根据所述位移矢量，对所述M-1帧中每一帧图像进行配准。
8.根据权利要求7所述的方法，其特征在于，所述方法还包括：
所述终端设备识别当前拍照场景，并基于所述当前拍照的场景确定拍照的采集参数，所述采集参数包括采集图像的帧数M、每一帧图像的曝光时间和每一帧图像的感光度；
所述终端设备采集被拍摄物体的M帧图像数据的步骤，包括：所述终端设备根据所述曝光时间和所述感光度，采集被拍摄物体的M帧图像数据。
9.一种终端设备，其特征在于，所述终端设备包括第一处理器、图像传感器、陀螺仪传感器、处理器和显示屏，其中：
所述图像传感器，用于采集被拍摄物体的M帧图像数据，其中M为正整数且M≥2；
所述第一处理器，用于对所述图像传感器采集的所述M帧图像数据进行处理，得到处理后的M帧图像；
所述陀螺仪传感器，用于当采集被拍摄物体的M帧图像数据的每一帧图像数据时，获取所述终端设备在X、Y和Z轴方向的角加速度；
所述处理器，用于将获取的所述每一帧图像数据时间段内的角加速度处理为抖动信息；
所述第一处理器，还用于从所述处理后的M帧图像中选取一帧作为基准图像，将M-1帧中每一帧图像基于所述基准图像、所述抖动信息和预设的位移矢量表进行配准，并将配准后的图像进行融合；
所述第一处理器，还用于对融合后的图像进行压缩处理；
所述显示屏，用于显示所述压缩图像；
其中，所述第一处理器，用于将所述M-1帧中每一帧图像基于所述基准图像、所述抖动信息和预设的位移矢量表进行配准，具体为：
所述第一处理器，用于：
根据所述M-1帧中每一帧图像的抖动信息和所述M-1帧中每一帧图像相对于所述基准图像的时间，计算所述M-1帧中每一帧图像相对所述基准图像的相对抖动信息；
根据所述相对抖动信息、所述M-1帧中每一帧图像的曝光时间以及所述预设的位移矢量表确定所述M-1帧中每一帧图像相对于所述基准图像的位移矢量；
根据所述位移矢量，对所述M-1帧中每一帧图像进行配准。
10.根据权利要求9所述的终端设备，其特征在于，所述第一处理器，还用于：
基于识别的当前拍照的场景确定拍照的采集参数，所述采集参数包括采集图像的帧数M、每一帧图像的曝光时间和每一帧图像的感光度。
11.根据权利要求9或10任一所述的终端设备，其特征在于，所述终端设备还包括距离传感器，所述距离传感器用于获取深度。
12.根据权利要求9或10任一所述的终端设备，其特征在于，所述第一处理器为应用处理器。
13.根据权利要求9或10任一所述的终端设备，其特征在于，所述第一处理器为图像信号处理器。
CN201580078479.3A 2015-03-31 2015-03-31 一种终端设备和拍照的方法 Active CN107534722B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2015/075450 WO2016154873A1 (zh) 2015-03-31 2015-03-31 一种终端设备和拍照的方法

Publications (2)

Publication Number Publication Date
CN107534722A CN107534722A (zh) 2018-01-02
CN107534722B true CN107534722B (zh) 2019-09-20

Family

ID=57006448

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580078479.3A Active CN107534722B (zh) 2015-03-31 2015-03-31 一种终端设备和拍照的方法

Country Status (4)

Country Link
US (1) US10547785B2 (zh)
EP (1) EP3267675B1 (zh)
CN (1) CN107534722B (zh)
WO (1) WO2016154873A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108391059A (zh) 2018-03-23 2018-08-10 华为技术有限公司 一种图像处理的方法和装置
CN111357273A (zh) * 2019-02-21 2020-06-30 深圳市大疆创新科技有限公司 拍摄参数的调整方法、拍摄设备以及可移动平台
CN110290323B (zh) * 2019-06-28 2021-09-07 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
WO2021102893A1 (zh) * 2019-11-29 2021-06-03 Oppo广东移动通信有限公司 视频防抖优化处理方法和装置、电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1798263A (zh) * 2004-12-27 2006-07-05 佳能株式会社 摄像装置和控制方法
CN103051836A (zh) * 2012-12-14 2013-04-17 中兴通讯股份有限公司 移动终端防抖动拍照方法和装置
CN203365875U (zh) * 2012-02-01 2013-12-25 宾得理光映像有限公司 平台装置以及相机抖动校正装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4181923B2 (ja) 2003-05-29 2008-11-19 キヤノン株式会社 撮像装置および撮像装置の制御方法
JP2008042659A (ja) * 2006-08-08 2008-02-21 Sony Corp 画像処理装置および方法、プログラム、並びにプログラム格納媒体
JP4825093B2 (ja) 2006-09-20 2011-11-30 富士通株式会社 手ぶれ補正機能付き撮像装置、手ぶれ補正方法、および、手ぶれ補正処理プログラム
JP2009296561A (ja) * 2008-05-02 2009-12-17 Olympus Imaging Corp 撮像装置及び撮像方法
JP5643563B2 (ja) * 2010-07-22 2014-12-17 キヤノン株式会社 画像処理装置及びその制御方法
KR101220413B1 (ko) * 2010-10-15 2013-01-09 중앙대학교 산학협력단 다중 컬러-필터 조리개를 이용하여 촬영된 영상의 화질 개선 장치 및 방법
US20120208454A1 (en) * 2011-02-10 2012-08-16 Cassis International Pte Ltd. System and method for detecting and communicating with diverse near field communications adaptors
US9371294B2 (en) * 2011-04-12 2016-06-21 Chong Kun Dang Pharmaceutical Corp. Cycloalkenyl aryl derivatives for CETP inhibitor
WO2013076350A1 (en) 2011-11-23 2013-05-30 Nokia Corporation Optical image stabilization
US9230306B2 (en) * 2012-02-07 2016-01-05 Semiconductor Components Industries, Llc System for reducing depth of field with digital image processing
US9134503B2 (en) 2012-07-06 2015-09-15 Apple Inc. VCM OIS actuator module
JP6124538B2 (ja) * 2012-09-06 2017-05-10 キヤノン株式会社 撮像装置、撮像装置の制御方法、およびプログラム
JP6332996B2 (ja) * 2013-04-17 2018-05-30 キヤノン株式会社 動画像処理装置および撮像装置、動画像処理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1798263A (zh) * 2004-12-27 2006-07-05 佳能株式会社 摄像装置和控制方法
CN203365875U (zh) * 2012-02-01 2013-12-25 宾得理光映像有限公司 平台装置以及相机抖动校正装置
CN103051836A (zh) * 2012-12-14 2013-04-17 中兴通讯股份有限公司 移动终端防抖动拍照方法和装置

Also Published As

Publication number Publication date
US20180077353A1 (en) 2018-03-15
EP3267675A1 (en) 2018-01-10
EP3267675B1 (en) 2019-08-07
US10547785B2 (en) 2020-01-28
CN107534722A (zh) 2018-01-02
WO2016154873A1 (zh) 2016-10-06
EP3267675A4 (en) 2018-01-10

Similar Documents

Publication Publication Date Title
US9558543B2 (en) Image fusion method and image processing apparatus
US9692975B2 (en) Motion blur-free capture of low light high dynamic range images
US10027909B2 (en) Imaging device, imaging method, and image processing device
WO2019129061A1 (zh) 一种镜头模组和镜头模组的控制方法
CN111034170A (zh) 具有稳定曝光或白平衡的图像捕获装置
KR20190073518A (ko) 광학 촬영 방법 및 장치
CN107534722B (zh) 一种终端设备和拍照的方法
JP5799178B2 (ja) 撮像装置及び合焦制御方法
US20240056685A1 (en) Image photographing method, device, storage medium, and program product
CN110266966A (zh) 图像生成方法和装置、电子设备、计算机可读存储介质
JP7060634B2 (ja) 撮像装置及び画像処理方法
JP2017108374A (ja) 画像処理装置、画像処理方法及びプログラム
JP7112529B2 (ja) 撮像装置、撮像方法、及びプログラム
JP6534780B2 (ja) 撮像装置、撮像方法、およびプログラム
CN115802158A (zh) 切换摄像头的方法与电子设备
CN109257540A (zh) 多摄镜头组的摄影校正方法及摄影装置
CN114449151A (zh) 一种图像处理方法及相关装置
JP5800600B2 (ja) 撮像装置、撮像方法およびプログラム
US9456140B2 (en) Optimized image stabilization
WO2014097792A1 (ja) 撮像装置、信号処理方法、信号処理プログラム
CN204291156U (zh) 具有自动影像校正的照相模块的手持式电子装置
JP5540899B2 (ja) 撮像装置，これを搭載する携帯端末機，撮像装置の制御方法，およびプログラム
JP5928228B2 (ja) 被写体検出装置、被写体検出方法及びプログラム
JP2011234173A (ja) 撮像装置
CN204347398U (zh) 具有震动补偿功能的照相模块的手持式电子装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant