CN109040521B - 图像处理方法、装置、电子设备及计算机可读存储介质 - Google Patents

图像处理方法、装置、电子设备及计算机可读存储介质 Download PDF

Info

Publication number
CN109040521B
CN109040521B CN201710428920.7A CN201710428920A CN109040521B CN 109040521 B CN109040521 B CN 109040521B CN 201710428920 A CN201710428920 A CN 201710428920A CN 109040521 B CN109040521 B CN 109040521B
Authority
CN
China
Prior art keywords
frame image
motion
target frame
image
fluctuation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710428920.7A
Other languages
English (en)
Other versions
CN109040521A (zh
Inventor
王艺伟
梁玲燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to CN201710428920.7A priority Critical patent/CN109040521B/zh
Priority to US15/924,428 priority patent/US10674086B2/en
Priority to EP18163522.8A priority patent/EP3413555B1/en
Priority to JP2018075854A priority patent/JP6593484B2/ja
Publication of CN109040521A publication Critical patent/CN109040521A/zh
Application granted granted Critical
Publication of CN109040521B publication Critical patent/CN109040521B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6815—Motion detection by distinguishing pan or tilt from motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种图像处理方法、装置、电子设备及计算机可读存储介质，涉及图像处理技术领域，用以提高获得的视频序列的稳像效果。本发明的图像处理方法包括：获取目标帧图像；对所述目标帧图像进行运动估计，获得运动路径；根据所述运动路径确定所述目标帧图像中是否存在符合预定要求的波动；若所述目标帧图像中存在符合预定要求的波动，则利用所述目标帧图像作为参考帧图像，所述参考帧图像用于对获取的各帧图像进行帧间运动估计。本发明能够提高获得的稳像结果的效果。

Description

图像处理方法、装置、电子设备及计算机可读存储介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种图像处理方法、装置、电子设备及计算机可读存储介质。
背景技术
随着技术的发展，内置摄像头的手持设备或者移动平台变得越来越普及。然而，通过这种设备获得的视频序列通常存在抖动。
为了解决上述问题，在现有技术中，为了获得平稳的视频序列，通常有以下两种方法：基于真实运动路径处理；基于相对运动路径处理。
基于真实运动路径处理的方法，通过计算手持设备在世界坐标系中的位姿(例如通过陀螺仪获得位姿参数)，并将其变换至垂直状态以得到稳像后的视频序列。然而，这种方法在本质上只是做了一次垂直变换，得到所谓的稳像序列由于存在计算误差依然会存在抖动。
基于相对运动路径处理的方法，通过将当前每一帧图像的位姿变换至与参考帧图像的位姿一致的方式，来得到稳像后的视频序列。所谓的稳像指的是，去除图像中的抖动而保留主运动的过程。由于这种方法采用了帧间运动估计，因而减弱了计算误差带来的影响，但是仍存在累积误差，因而获得的视频序列的稳像效果较差。
发明内容
有鉴于此，本发明提供一种图像处理方法、装置、电子设备及计算机可读存储介质，用以提高获得的视频序列的稳像效果。
为解决上述技术问题，一方面，本发明实施例提供一种图像处理方法，包括：
获取目标帧图像；
对所述目标帧图像进行运动估计，获得运动路径；
根据所述运动路径确定所述目标帧图像中是否存在符合预定要求的波动；
若所述目标帧图像中存在符合预定要求的波动，则利用所述目标帧图像作为参考帧图像，所述参考帧图像用于对获取的各帧图像进行帧间运动估计。
其中，所述对所述目标帧图像进行运动估计，获得运动路径的步骤，包括：
分别对所述目标帧图像进行帧间运动估计和真实运动估计，获得帧间运动轨迹和真实运动轨迹。
其中，所述根据所述运动路径确定所述目标帧图像中是否存在符合预定要求的波动的步骤，包括：
判断所述帧间运动轨迹和所述真实运动轨迹中是否存在符合预定要求的波动。
其中，在所述根据所述运动路径确定所述目标帧图像中是否存在符合预定要求的波动的步骤之后，所述方法还包括：
若所述帧间运动轨迹和所述真实运动轨迹中存在符合预定要求的波动，分别获取所述波动在所述帧间运动轨迹和所述真实运动轨迹中的第一持续时间和第二持续时间；
所述利用所述目标帧图像作为参考帧图像，具体为：
若所述第一持续时间和所述第二持续时间均大于预设阈值，则利用所述目标帧图像作为参考帧图像。
其中，所述根据所述运动路径确定所述目标帧图像中是否存在符合预定要求的波动的步骤，包括：
判断所述真实运动轨迹中是否存在符合预定要求的波动。
其中，在所述根据所述运动路径确定所述目标帧图像中是否存在符合预定要求的波动的步骤之后，所述方法还包括：
若所述真实运动轨迹中存在符合预定要求的波动，获取所述波动在所述真实运动轨迹中的持续时间；
所述利用所述目标帧图像作为参考帧图像，具体为：
若所述持续时间大于预设阈值，则利用所述目标帧图像作为参考帧图像。
其中，所述方法还包括：
对所述参考帧图像进行垂直矫正，垂直矫正后的参考帧图像用于对获取的各帧图像进行帧间运动估计；
对所述运动路径进行平滑处理；
根据平滑处理后的运动路径进行运动补偿。
其中，所述对所述参考帧图像进行垂直矫正的步骤，包括：
确定所述真实运动轨迹中每一采样时间段内的平均运动水平参数；
获取所述参考帧图像对应的3D参考帧图像；
根据所述平均运动水平参数，旋转所述3D参考帧图像，使得旋转后的3D参考帧图像对应的2D展开图垂直于用户视线。
其中，所述对所述运动路径进行平滑处理的步骤，包括：
利用中值滤波的方法对所述运动路径进行平滑处理。
其中，所述根据平滑处理后的运动路径进行运动补偿的步骤，包括：
将所述目标帧图像投影到三维球体坐标系中，获得三维球体图像；
将所述三维球体图像中的像素点，进行坐标变换，获得稳像后的三维球体图像；
将所述稳像后的三维球体图像转换为二维图像。
第二方面，本发明实施例提供一种图像处理装置，包括：
图像获取模块，用于获取目标帧图像；
运动估计模块，用于对所述目标帧图像进行运动估计，获得运动路径；
确定模块，用于根据所述运动路径确定所述目标帧图像中是否存在符合预定要求的波动；
选择模块，用于若所述目标帧图像中存在符合预定要求的波动，则利用所述目标帧图像作为参考帧图像。
其中，所述运动估计模块包括：
帧间运动估计子模块，用于对所述目标帧图像进行帧间运动估计，获得帧间运动轨迹；
真实运动估计子模块，用于对所述目标帧图像进行真实运动估计，获得真实运动轨迹。
其中，所述确定模块具体用于，判断所述帧间运动轨迹和所述真实运动轨迹中是否存在符合预定要求的波动。
其中，所述装置还包括：
第一时间获取模块，用于若所述帧间运动轨迹和所述真实运动轨迹中存在符合预定要求的波动，分别获取所述波动在所述帧间运动轨迹和所述真实运动轨迹中的第一持续时间和第二持续时间；
所述选择模块具体用于，若所述第一持续时间和所述第二持续时间均大于预设阈值，则利用所述目标帧图像作为参考帧图像。
其中，所述确定模块具体用于，判断所述真实运动轨迹中是否存在符合预定要求的波动。
其中，所述装置还包括：
第二时间获取模块，用于若所述真实运动轨迹中存在符合预定要求的波动，获取所述波动在所述真实运动轨迹中的持续时间；
所述选择模块具体用于，若所述持续时间大于预设阈值，则利用所述目标帧图像作为参考帧图像。
其中，所述装置还包括：
图像矫正模块，用于对所述参考帧图像进行垂直矫正，并利用垂直矫正后的参考帧图像和获取的各帧图像进行帧间运动估计；
平滑处理模块，用于对所述运动路径进行平滑处理；
运动补偿模块，用于根据平滑处理后的运动路径进行运动补偿。
其中，所述图像矫正模块包括：
确定子模块，用于确定所述真实运动轨迹中每一采样时间段内的平均运动水平参数；
获取子模块，用于获取所述参考帧图像对应的3D参考帧图像；
处理子模块，用于根据所述平均运动水平参数，旋转所述3D参考帧图像，使得旋转后的3D参考帧图像对应的2D展开图垂直于用户视线。
其中，所述平滑处理模块具体用于，利用中值滤波的方法对所述运动路径进行平滑处理。
其中，所述运动补偿模块包括：
图像获取子模块，用于将所述目标帧图像投影到三维球体坐标系中，获得三维球体图像；
坐标变换子模块，用于将所述三维球体图像中的像素点，进行坐标变换，获得稳像后的三维球体图像；
运动补偿模子模块，用于将所述稳像后的三维球体图像转换为二维图像。
第三方面，本发明实施例提供一种电子设备，包括：处理器和存储器；在所述存储器中存储有计算机程序指令；
其中，在所述计算机程序指令被所述处理器运行时，使得所述处理器执行以下步骤：
获取目标帧图像；
对所述目标帧图像进行运动估计，获得运动路径；
根据所述运动路径确定所述目标帧图像中是否存在符合预定要求的波动；
若所述目标帧图像中存在符合预定要求的波动，则利用所述目标帧图像作为参考帧图像；
对所述参考帧图像进行垂直矫正，并利用垂直矫正后的参考帧图像和获取的各帧图像进行帧间运动估计。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器运行时，使得所述处理器执行以下步骤：
获取目标帧图像；
对所述目标帧图像进行运动估计，获得运动路径；
根据所述运动路径确定所述目标帧图像中是否存在符合预定要求的波动；
若所述目标帧图像中存在符合预定要求的波动，则利用所述目标帧图像作为参考帧图像；
对所述参考帧图像进行垂直矫正，并利用垂直矫正后的参考帧图像和获取的各帧图像进行帧间运动估计。
本发明的上述技术方案的有益效果如下：
在本发明实施例中，对目标帧图像进行判断以确定目标帧图像是否为参考帧图像。由于参考帧图像中存在符合预定要求的波动，因此，利用参考帧图像为基准进行帧间运动估计，可减弱较大波动对稳像结果的影响，从而提高获得的稳像结果的效果。
附图说明
图1为本发明实施例的图像处理方法的流程图；
图2(a)-图2(d)为帧间运动轨迹和真实运动轨迹的示意图；
图3(a)-图3(d)为手持设备姿态变化引起的帧间运动轨迹波动变化和真实运动轨迹波动变化示意图；
图4为本发明实施例的图像处理方法的流程图；
图5(a)-图5(e)为垂直矫正的示意图；
图6为运动轨迹平滑处理前和平滑处理后的对比示意图；
图7(a)和图7(b)为稳像前和稳像后的示意图；
图8为本发明实施例的图像处理装置的示意图；
图9为本发明实施例的运动估计模块的示意图；
图10为本发明实施例的图像处理装置的又一示意图；
图11为本发明实施例的图像处理装置的又一示意图；
图12为本发明实施例的图像处理装置的又一示意图；
图13为本发明实施例的图像矫正模块的示意图；
图14为本发明实施例的运动补偿模块的示意图；
图15为本发明实施例电子设备的示意图。
具体实施方式
下面将结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
如图1所示，本发明实施例的图像处理方法，包括：
步骤101、获取目标帧图像。
在此，所述目标帧图像指的是输入的第二帧以后的任意一帧图像。对于第一帧图像，在下述步骤中可仅对其做真实运动估计。
步骤102、对所述目标帧图像进行运动估计，获得运动路径。
在本发明实施例中，分别对所述目标帧图像进行帧间运动估计和真实运动估计，获得帧间运动轨迹和真实运动轨迹。
其中，帧间运动估计的过程，指的是以某一帧图像为参考图像，评估后续的各帧参考图像相对于该参考图像的旋转角度的过程。例如，以第一帧为参考图像为例，计算输入的第二帧、第三帧图像等相对于第一帧的旋转角度。如图2(a)和图2(b)所示，为获得的帧间运动轨迹的示意图。基于参考帧计算得到的帧间运动路径能够减弱计算误差的影响，但却引入了累积误差。
真实运动估计有两种方法，一种是通过获取传感器参数，一种是通过算法估计，例如采用消失点估计和无限单应性相结合的方法。真实运动参数反应了手持设备在世界坐标系下的位姿，计算时通常会出现计算误差，但是不会出现累积误差。如图2(c)和图2(d)，为获得的真实运动轨迹的示意图。
步骤103、根据所述运动路径确定所述目标帧图像中是否存在符合预定要求的波动。
在本发明实施例中，可通过如下方式判断所述目标帧图像中是否存在符合预定要求的波动。
(1)判断所述帧间运动轨迹和所述真实运动轨迹中是否存在符合预定要求的波动。
(2)判断所述真实运动轨迹中是否存在符合预定要求的波动。
其中，所述符合预定要求的波动可以为波动幅度大小超过某个预设值的波动。其中，该预设值可为±5°。例如，如果在某个运动轨迹内，如果当前时间段内的运动轨迹和前一时间段内的运动轨迹相比，有超过5°的波动，那么就可认为在该运动轨迹内有符合预定要求的波动。
在上述基础上，为了进一步提高判断的准确性，在本发明实施例中，当在上述方式(1)和方式(2)中确定出运动轨迹中存在有符合预定要求的波动时，那么，对于方式(1)，还可分别获取所述波动在所述帧间运动轨迹和所述真实运动轨迹中的第一持续时间和第二持续时间；对于方式(2)，还可获取所述波动在所述真实运动轨迹中的持续时间。从而通过波动的大小和持续时间的长短，进一步确定轨迹中存在的波动是否满足要求。
步骤104、若所述目标帧图像中存在符合预定要求的波动，则利用所述目标帧图像作为参考帧图像，所述参考帧图像用于对获取的各帧图像进行帧间运动估计。
若所述目标帧图像中存在符合预定要求的波动，则利用所述目标帧图像作为参考帧图像。
在上述基础上，为了进一步提高判断的准确性，在本发明实施例中，对于步骤103中的方式(1)，若所述第一持续时间和所述第二持续时间均大于预设阈值，则利用所述目标帧图像作为参考帧图像。对于步骤103中的方式(2)，若所述持续时间大于预设阈值，则利用所述目标帧图像作为参考帧图像。
其中，该预设值可以任意设置，例如设置为30帧图像处理的时间。
对于手持设备，用户无意识的短促的波动并不影响稳像的效果，而如果是用户有意调整设备的位姿，则需要针对这种情况适时更新参考帧，减弱累积误差。
图3(a)-图3(d)示出了，当手持设备的位姿由图3(a)所示状态变换到图3(c)所示状态时，则在真实运动轨迹(图3(d))和帧间运动轨迹(图3(b))中出现的波动示意图。以图3b)为例，运动轨迹在前一时刻由波峰的位置变化到波谷的位置，波峰和波谷之间的角度差小于(-5)度，所以，认为在图3(b)中出现了符合预定要求的波动。
在确定了参考帧图像后，可利用参考帧图像对获取的各帧图像进行帧间运动估计。
在上述过程中，对于获得的每个目标帧图像，都可按照上述方式确定其是否能作为参考帧图像，从而可不断的对参考帧图像进行更新。
由上可以看出，在本发明实施例中，对目标帧图像进行判断以确定目标帧图像是否为参考帧图像。由于参考帧图像中存在符合预定要求的波动，因此，利用参考帧图像为基准进行帧间运动估计，可减弱较大波动对稳像结果的影响，从而提高获得的稳像结果的效果。
如图4所示，本发明实施例的图像处理方法，包括：
步骤201、获取目标帧图像。
步骤202、对所述目标帧图像进行运动估计，获得运动路径。
步骤203、根据所述运动路径确定所述目标帧图像中是否存在符合预定要求的波动。
步骤204、若所述目标帧图像中存在符合预定要求的波动，则利用所述目标帧图像作为参考帧图像。
其中，步骤201-204的过程可参照前述图1所示的实施例的描述。
步骤205、对所述参考帧图像进行垂直矫正，垂直矫正后的参考帧图像用于对获取的各帧图像进行帧间运动估计。
具体的，在此过程中，确定所述真实运动轨迹中每一采样时间段内的平均运动水平参数，获取所述参考帧图像对应的3D参考帧图像，根据所述平均运动水平参数，旋转所述3D参考帧图像，使得旋转后的3D参考帧图像对应的2D展开图垂直于用户视线。这里的每一采样时间段指的是指手持设备的摆动角度不超过一定范围所对应的时长。在每一采样时间段内，手持设备的平均运动水平参数代表了手持设备在这个阶段内的基本的位姿，如果有抖动发生，那么抖动也只是发生在该基本位姿的附近。对这一时间段内手持设备的旋转角度求取平均值，然后根据该平均值，将手持设备的位姿逆变换到垂直于地面的位姿，则得到的视频序列就不会出现较大的扭曲。
手持设备的抖动是以一个位置为中心的，该中心则代表了此时手持设备的基准位姿，图5(b)中的虚线1表示图5(a)的图像所示的抖动的基准，虚线2表示图5(c)的图像所示的抖动的基准。图中的箭头是基准所在的位置，根据这些基准，可以把手持设备的位姿调整到垂直地面的状态(如图5(d)、图5(e)所示)。
步骤206、对所述运动路径进行平滑处理。
在此步骤中，利用中值滤波的方法对所述运动路径进行平滑处理，也即利用中值滤波的方法对帧间运动轨迹和真实运动轨迹进行平滑处理。
如图6所示，曲线1为计算得到的手持设备的运动轨迹，经平滑处理后，运动轨迹如图中曲线2所示。平滑后的轨迹保留了手持设备的主运动并去除了抖动。
步骤207、根据平滑处理后的运动路径进行运动补偿。
在此步骤中，将所述目标帧图像投影到三维球体坐标系中，获得三维球体图像，然后，将所述三维球体图像中的像素点，按照下述公式进行坐标变换，获得稳像后的三维球体图像。
Stable(Image)＝Rsmooth*Rnoise*Unstable(Image)+T
其中，Stable(Image)表示稳像后的三维球体图像，Rsmooth是平滑后的运动路径，Rnoise是未经平滑的运动路径，T表示平移矩阵，Unstable(Image)表示输入的图像。
最后，将所述稳像后的三维球体图像经逆变换，转换为二维图像。
按照上述方式获得稳像序列。
图7(a)和图7(b)分别示出了稳像前的图像(左侧)和稳像后的图像(右侧)。由图可以看出，稳像后的图像更符合用户的视野。
本发明在运动估计阶段通过适时更新参考帧来减弱较大波动对稳像结果的影响，同时矫正手持设备的位姿以确保稳像后的视频垂直用户视线。最终，本发明达到的效果是为用户提供平稳且符合视野感受的稳像结果。
如图8所示，本发明实施例的图像处理装置，包括：
图像获取模块801，用于获取目标帧图像；运动估计模块802，用于对所述目标帧图像进行运动估计，获得运动路径；确定模块803，用于根据所述运动路径确定所述目标帧图像中是否存在符合预定要求的波动；选择模块804，用于若所述目标帧图像中存在符合预定要求的波动，则利用所述目标帧图像作为参考帧图像。
如图9所示，所述运动估计模块802包括：帧间运动估计子模块8021，用于对所述目标帧图像进行帧间运动估计，获得帧间运动轨迹；真实运动估计子模块8022，用于对所述目标帧图像进行真实运动估计，获得真实运动轨迹。
具体的，所述确定模块803具体用于，判断所述帧间运动轨迹和所述真实运动轨迹中是否存在符合预定要求的波动。此时，如图10所示，所述装置还包括：
第一时间获取模块805，用于若所述帧间运动轨迹和所述真实运动轨迹中存在符合预定要求的波动，分别获取所述波动在所述帧间运动轨迹和所述真实运动轨迹中的第一持续时间和第二持续时间；所述选择模块804具体用于，若所述第一持续时间和所述第二持续时间均大于预设阈值，则利用所述目标帧图像作为参考帧图像。
具体的，所述确定模块803具体用于，判断所述真实运动轨迹中是否存在符合预定要求的波动。此时，如图11所示，所述装置还包括：第二时间获取模块806，用于若所述真实运动轨迹中存在符合预定要求的波动，获取所述波动在所述真实运动轨迹中的持续时间；所述选择模块804具体用于，若所述持续时间大于预设阈值，则利用所述目标帧图像作为参考帧图像。
如图12所示，为了进一步提高获得的视频的效果，在图8-图11的基础上，所述装置还可包括：
图像矫正模块808，用于对所述参考帧图像进行垂直矫正，并利用垂直矫正后的参考帧图像和获取的各帧图像进行帧间运动估计；平滑处理模块809，用于对所述运动路径进行平滑处理；运动补偿模块8010，用于根据平滑处理后的运动路径进行运动补偿。
如图13所示，所述图像矫正模块808包括：
确定子模块8081，用于确定所述真实运动轨迹中每一采样时间段内的平均运动水平参数；获取子模块8082，用于获取所述参考帧图像对应的3D参考帧图像；处理子模块8083，用于根据所述平均运动水平参数，旋转所述3D参考帧图像，使得旋转后的3D参考帧图像对应的2D展开图垂直于用户视线。
其中，所述平滑处理模块809具体用于，利用中值滤波的方法对所述运动路径进行平滑处理。
如图14所示，所述运动补偿模块8010包括：
图像获取子模块80101，用于将所述目标帧图像投影到三维球体坐标系中，获得三维球体图像；坐标变换子模块80102，用于将所述三维球体图像中的像素点，进行坐标变换，获得稳像后的三维球体图像；运动补偿模子模块80103，用于将所述稳像后的三维球体图像转换为二维图像。
由上可以看出，在本发明实施例中，对目标帧图像进行判断以确定目标帧图像是否为参考帧图像，当确定目标帧图像为参考帧图像时，对所述参考帧图像进行垂直矫正，并利用垂直矫正后的参考帧图像和获取的各帧图像进行帧间运动估计。由于参考帧图像中存在符合预定要求的波动，因此，利用垂直矫正后的参考帧图像为基准进行帧间运动估计，可减弱较大波动对稳像结果的影响，从而提高获得的稳像结果的效果。同时，还可矫正手持设备的位姿以确保稳像后的视频垂直用户视线，最终为用户提供平稳且符合视野感受的稳像结果。
如图15所示，本发明实施例提供了一种电子设备，本实施例包括：处理器1501和存储器1502，在所述存储器1502中存储有计算机程序指令，其中，在所述计算机程序指令被所述处理器运行时，使得所述处理器1501执行以下步骤：
获取目标帧图像；对所述目标帧图像进行运动估计，获得运动路径；根据所述运动路径确定所述目标帧图像中是否存在符合预定要求的波动；若所述目标帧图像中存在符合预定要求的波动，则利用所述目标帧图像作为参考帧图像，所述参考帧图像用于对获取的各帧图像进行帧间运动估计。
进一步地，如图15所示，电子设备还包括网络接口1503、输入设备1504、硬盘1505、和显示设备1506。
上述各个接口和设备之间可以通过总线架构互连。总线架构可以是可以包括任意数量的互联的总线和桥。具体由处理器1501代表的一个或者多个中央处理器(CPU)，以及由存储器1502代表的一个或者多个存储器的各种电路连接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其它电路连接在一起。可以理解，总线架构用于实现这些组件之间的连接通信。总线架构除包括数据总线之外，还包括电源总线、控制总线和状态信号总线，这些都是本领域所公知的，因此本文不再对其进行详细描述。
所述网络接口1503，可以连接至网络(如因特网、局域网等)，从网络中获取相关数据，并可以保存在硬盘1505中。
所述输入设备1504，可以接收操作人员输入的各种指令，并发送给处理器1501以供执行。所述输入设备1504可以包括键盘或者点击设备(例如，鼠标，轨迹球(trackball)、触感板或者触摸屏等。
所述显示设备1506，可以将处理器1501执行指令获得的结果进行显示。
所述存储器1502，用于存储操作系统运行所必须的程序和数据，以及处理器1501计算过程中的中间结果等数据。
可以理解，本发明实施例中的存储器1502可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)或闪存。易失性存储器可以是随机存取存储器(RAM)，其用作外部高速缓存。本文描述的装置和方法的存储器1502旨在包括但不限于这些和任意其它适合类型的存储器。
在一些实施方式中，存储器1502存储了如下的元素，可执行模块或者数据结构，或者他们的子集，或者他们的扩展集：操作系统15021和应用程序15015。
其中，操作系统15021，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序15015，包含各种应用程序，例如浏览器(Browser)等，用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序15015中。
上述处理器1501，当调用并执行所述存储器1502中所存储的应用程序和数据，具体的，可以是应用程序15015中存储的程序或指令时，获取目标帧图像；对所述目标帧图像进行运动估计，获得运动路径；根据所述运动路径确定所述目标帧图像中是否存在符合预定要求的波动；若所述目标帧图像中存在符合预定要求的波动，则利用所述目标帧图像作为参考帧图像，所述参考帧图像用于对获取的各帧图像进行帧间运动估计。
本发明上述实施例揭示的方法可以应用于处理器1501中，或者由处理器1501实现。处理器1501可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器1501中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1501可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器1502，处理器1501读取存储器1502中的信息，结合其硬件完成上述方法的步骤。
可以理解的是，本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(ASIC)、数字信号处理器DSP)、数字信号处理设备(DSPD)、可编程逻辑设备(PLD)、现场可编程门阵列(FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。
对于软件实现，可通过执行本文所述功能的模块(例如过程、函数等)来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
具体地，处理器1501分别对所述目标帧图像进行帧间运动估计和真实运动估计，获得帧间运动轨迹和真实运动轨迹。
具体地，处理器1501判断所述帧间运动轨迹和所述真实运动轨迹中是否存在符合预定要求的波动。
具体地，处理器1501若所述帧间运动轨迹和所述真实运动轨迹中存在符合预定要求的波动，分别获取所述波动在所述帧间运动轨迹和所述真实运动轨迹中的第一持续时间和第二持续时间；若所述第一持续时间和所述第二持续时间均大于预设阈值，则利用所述目标帧图像作为参考帧图像。
具体地，处理器1501判断所述真实运动轨迹中是否存在符合预定要求的波动。
具体地，处理器1501若所述真实运动轨迹中存在符合预定要求的波动，获取所述波动在所述真实运动轨迹中的持续时间；若所述持续时间大于预设阈值，则利用所述目标帧图像作为参考帧图像。
具体地，处理器1501对所述参考帧图像进行垂直矫正，垂直矫正后的参考帧图像用于对获取的各帧图像进行帧间运动估计；对所述运动路径进行平滑处理；根据平滑处理后的运动路径进行运动补偿。
具体地，处理器1501确定所述真实运动轨迹中每一采样时间段内的平均运动水平参数；获取所述参考帧图像对应的3D参考帧图像；根据所述平均运动水平参数，旋转所述3D参考帧图像，使得旋转后的3D参考帧图像对应的2D展开图垂直于用户视线。
具体地，处理器1501利用中值滤波的方法对所述运动路径进行平滑处理。
具体地，处理器1501将所述目标帧图像投影到三维球体坐标系中，获得三维球体图像；将所述三维球体图像中的像素点，进行坐标变换，获得稳像后的三维球体图像；将所述稳像后的三维球体图像转换为二维图像。
本发明所述装置的工作原理可参照前述方法实施例的描述。
本发明实施例还提供了一种计算机可读存储介质，用于存储计算机程序，所述计算机程序可被处理器执行以实现以下步骤：获取目标帧图像；对所述目标帧图像进行运动估计，获得运动路径；根据所述运动路径确定所述目标帧图像中是否存在符合预定要求的波动；若所述目标帧图像中存在符合预定要求的波动，则利用所述目标帧图像作为参考帧图像，所述参考帧图像用于对获取的各帧图像进行帧间运动估计。
其中，所述对所述目标帧图像进行运动估计，获得运动路径的步骤，包括：
分别对所述目标帧图像进行帧间运动估计和真实运动估计，获得帧间运动轨迹和真实运动轨迹。
其中，所述根据所述运动路径确定所述目标帧图像中是否存在符合预定要求的波动的步骤，包括：
判断所述帧间运动轨迹和所述真实运动轨迹中是否存在符合预定要求的波动。
其中，在所述根据所述运动路径确定所述目标帧图像中是否存在符合预定要求的波动的步骤之后，所述方法还包括：
若所述帧间运动轨迹和所述真实运动轨迹中存在符合预定要求的波动，分别获取所述波动在所述帧间运动轨迹和所述真实运动轨迹中的第一持续时间和第二持续时间；
所述利用所述目标帧图像作为参考帧图像，具体为：
若所述第一持续时间和所述第二持续时间均大于预设阈值，则利用所述目标帧图像作为参考帧图像。
其中，所述根据所述运动路径确定所述目标帧图像中是否存在符合预定要求的波动的步骤，包括：
判断所述真实运动轨迹中是否存在符合预定要求的波动。
其中，在所述根据所述运动路径确定所述目标帧图像中是否存在符合预定要求的波动的步骤之后，所述方法还包括：
若所述真实运动轨迹中存在符合预定要求的波动，获取所述波动在所述真实运动轨迹中的持续时间；
所述利用所述目标帧图像作为参考帧图像，具体为：
若所述持续时间大于预设阈值，则利用所述目标帧图像作为参考帧图像。
其中，所述方法还包括：
对所述参考帧图像进行垂直矫正，垂直矫正后的参考帧图像用于对获取的各帧图像进行帧间运动估计；
对所述运动路径进行平滑处理；
根据平滑处理后的运动路径进行运动补偿。
其中，所述对所述参考帧图像进行垂直矫正的步骤，包括：
确定所述真实运动轨迹中每一采样时间段内的平均运动水平参数；
获取所述参考帧图像对应的3D参考帧图像；
根据所述平均运动水平参数，旋转所述3D参考帧图像，使得旋转后的3D参考帧图像对应的2D展开图垂直于用户视线。
其中，所述对所述运动路径进行平滑处理的步骤，包括：
利用中值滤波的方法对所述运动路径进行平滑处理。
其中，所述根据平滑处理后的运动路径进行运动补偿的步骤，包括：
将所述目标帧图像投影到三维球体坐标系中，获得三维球体图像；
将所述三维球体图像中的像素点，进行坐标变换，获得稳像后的三维球体图像；
将所述稳像后的三维球体图像转换为二维图像。
在本申请所提供的几个实施例中，应该理解到，所揭露方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理包括，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述收发方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种图像处理方法，其特征在于，包括：
获取目标帧图像；
对所述目标帧图像进行运动估计，获得运动路径；
根据所述运动路径确定所述目标帧图像中是否存在符合预定要求的波动；
若所述目标帧图像中存在符合预定要求的波动，则利用所述目标帧图像作为参考帧图像，所述参考帧图像用于对获取的各帧图像进行帧间运动估计；
其中，所述对所述目标帧图像进行运动估计，获得运动路径的步骤，包括：分别对所述目标帧图像进行帧间运动估计和真实运动估计，获得帧间运动轨迹和真实运动轨迹；
所述根据所述运动路径确定所述目标帧图像中是否存在符合预定要求的波动的步骤，包括：判断所述帧间运动轨迹和所述真实运动轨迹中是否存在符合预定要求的波动；
在所述根据所述运动路径确定所述目标帧图像中是否存在符合预定要求的波动的步骤之后，所述方法还包括：
若所述帧间运动轨迹和所述真实运动轨迹中存在符合预定要求的波动，分别获取所述波动在所述帧间运动轨迹和所述真实运动轨迹中的第一持续时间和第二持续时间；
所述利用所述目标帧图像作为参考帧图像，具体为：
若所述第一持续时间和所述第二持续时间均大于预设阈值，则利用所述目标帧图像作为参考帧图像。
2.根据权利要求1所述的方法，其特征在于，所述根据所述运动路径确定所述目标帧图像中是否存在符合预定要求的波动的步骤，包括：
判断所述真实运动轨迹中是否存在符合预定要求的波动。
3.根据权利要求2所述的方法，其特征在于，在所述根据所述运动路径确定所述目标帧图像中是否存在符合预定要求的波动的步骤之后，所述方法还包括：
若所述真实运动轨迹中存在符合预定要求的波动，获取所述波动在所述真实运动轨迹中的持续时间；
所述利用所述目标帧图像作为参考帧图像，具体为：
若所述持续时间大于预设阈值，则利用所述目标帧图像作为参考帧图像。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对所述参考帧图像进行垂直矫正，垂直矫正后的参考帧图像用于对获取的各帧图像进行帧间运动估计；
对所述运动路径进行平滑处理；
根据平滑处理后的运动路径进行运动补偿。
5.根据权利要求4所述的方法，其特征在于，所述对所述参考帧图像进行垂直矫正的步骤，包括：
确定所述真实运动轨迹中每一采样时间段内的平均运动水平参数；
获取所述参考帧图像对应的3D参考帧图像；
根据所述平均运动水平参数，旋转所述3D参考帧图像，使得旋转后的3D参考帧图像对应的2D展开图垂直于用户视线。
6.根据权利要求4所述的方法，其特征在于，所述对所述运动路径进行平滑处理的步骤，包括：
利用中值滤波的方法对所述运动路径进行平滑处理。
7.根据权利要求4所述的方法，其特征在于，所述根据平滑处理后的运动路径进行运动补偿的步骤，包括：
将所述目标帧图像投影到三维球体坐标系中，获得三维球体图像；
将所述三维球体图像中的像素点，进行坐标变换，获得稳像后的三维球体图像；
将所述稳像后的三维球体图像转换为二维图像。
8.一种图像处理装置，其特征在于，包括：
图像获取模块，用于获取目标帧图像；
运动估计模块，用于对所述目标帧图像进行运动估计，获得运动路径；
确定模块，用于根据所述运动路径确定所述目标帧图像中是否存在符合预定要求的波动；
选择模块，用于若所述目标帧图像中存在符合预定要求的波动，则利用所述目标帧图像作为参考帧图像，所述参考帧图像用于对获取的各帧图像进行帧间运动估计；
其中，所述运动估计模块进一步用于：分别对所述目标帧图像进行帧间运动估计和真实运动估计，获得帧间运动轨迹和真实运动轨迹；
所述确定模块进一步用于：判断所述帧间运动轨迹和所述真实运动轨迹中是否存在符合预定要求的波动；
所述确定模块在所述根据所述运动路径确定所述目标帧图像中是否存在符合预定要求的波动的步骤之后，进一步用于：
若所述帧间运动轨迹和所述真实运动轨迹中存在符合预定要求的波动，分别获取所述波动在所述帧间运动轨迹和所述真实运动轨迹中的第一持续时间和第二持续时间；
所述选择模块利用所述目标帧图像作为参考帧图像，具体为：
若所述第一持续时间和所述第二持续时间均大于预设阈值，则利用所述目标帧图像作为参考帧图像。
9.一种电子设备，其特征在于，包括：处理器和存储器；在所述存储器中存储有计算机程序指令；
其中，在所述计算机程序指令被所述处理器运行时，使得所述处理器执行以下步骤：
获取目标帧图像；
对所述目标帧图像进行运动估计，获得运动路径；
根据所述运动路径确定所述目标帧图像中是否存在符合预定要求的波动；
若所述目标帧图像中存在符合预定要求的波动，则利用所述目标帧图像作为参考帧图像；
对所述参考帧图像进行垂直矫正，并利用垂直矫正后的参考帧图像和获取的各帧图像进行帧间运动估计；
其中，所述对所述目标帧图像进行运动估计，获得运动路径的步骤，包括：分别对所述目标帧图像进行帧间运动估计和真实运动估计，获得帧间运动轨迹和真实运动轨迹；
所述根据所述运动路径确定所述目标帧图像中是否存在符合预定要求的波动的步骤，包括：判断所述帧间运动轨迹和所述真实运动轨迹中是否存在符合预定要求的波动；
在所述根据所述运动路径确定所述目标帧图像中是否存在符合预定要求的波动的步骤之后，还包括：
若所述帧间运动轨迹和所述真实运动轨迹中存在符合预定要求的波动，分别获取所述波动在所述帧间运动轨迹和所述真实运动轨迹中的第一持续时间和第二持续时间；
所述利用所述目标帧图像作为参考帧图像，具体为：
若所述第一持续时间和所述第二持续时间均大于预设阈值，则利用所述目标帧图像作为参考帧图像。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器运行时，使得所述处理器执行以下步骤：
获取目标帧图像；
对所述目标帧图像进行运动估计，获得运动路径；
根据所述运动路径确定所述目标帧图像中是否存在符合预定要求的波动；
若所述目标帧图像中存在符合预定要求的波动，则利用所述目标帧图像作为参考帧图像；
对所述参考帧图像进行垂直矫正，并利用垂直矫正后的参考帧图像和获取的各帧图像进行帧间运动估计；
其中，所述对所述目标帧图像进行运动估计，获得运动路径的步骤，包括：分别对所述目标帧图像进行帧间运动估计和真实运动估计，获得帧间运动轨迹和真实运动轨迹；
所述根据所述运动路径确定所述目标帧图像中是否存在符合预定要求的波动的步骤，包括：判断所述帧间运动轨迹和所述真实运动轨迹中是否存在符合预定要求的波动；
在所述根据所述运动路径确定所述目标帧图像中是否存在符合预定要求的波动的步骤之后，还包括：
若所述帧间运动轨迹和所述真实运动轨迹中存在符合预定要求的波动，分别获取所述波动在所述帧间运动轨迹和所述真实运动轨迹中的第一持续时间和第二持续时间；
所述利用所述目标帧图像作为参考帧图像，具体为：
若所述第一持续时间和所述第二持续时间均大于预设阈值，则利用所述目标帧图像作为参考帧图像。
CN201710428920.7A 2017-06-08 2017-06-08 图像处理方法、装置、电子设备及计算机可读存储介质 Active CN109040521B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201710428920.7A CN109040521B (zh) 2017-06-08 2017-06-08 图像处理方法、装置、电子设备及计算机可读存储介质
US15/924,428 US10674086B2 (en) 2017-06-08 2018-03-19 Image processing method and device and non-transitory computer-readable medium
EP18163522.8A EP3413555B1 (en) 2017-06-08 2018-03-23 Image processing method and device as well as computer program and non-transitory computer-readable medium
JP2018075854A JP6593484B2 (ja) 2017-06-08 2018-04-11 画像処理方法及び装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710428920.7A CN109040521B (zh) 2017-06-08 2017-06-08 图像处理方法、装置、电子设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN109040521A CN109040521A (zh) 2018-12-18
CN109040521B true CN109040521B (zh) 2020-11-13

Family

ID=61912956

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710428920.7A Active CN109040521B (zh) 2017-06-08 2017-06-08 图像处理方法、装置、电子设备及计算机可读存储介质

Country Status (4)

Country Link
US (1) US10674086B2 (zh)
EP (1) EP3413555B1 (zh)
JP (1) JP6593484B2 (zh)
CN (1) CN109040521B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9961261B2 (en) * 2016-06-20 2018-05-01 Gopro, Inc. Image alignment using a virtual gyroscope model
CN110493488B (zh) 2018-05-15 2021-11-26 株式会社理光 视频稳像方法、视频稳像装置和计算机可读存储介质
CN110401796B (zh) * 2019-07-05 2020-09-29 浙江大华技术股份有限公司 一种图像采集装置的抖动补偿方法和装置
JP6977812B2 (ja) 2019-07-24 2021-12-08 株式会社リコー ローリングシャッター現象の補正方法、装置、及びコンピュータが読み取り可能な記録媒体
CN112750088B (zh) * 2020-12-16 2022-07-26 北京大学 基于线性规划的视频图像自动扭正和稳像的方法
WO2022141376A1 (zh) * 2020-12-31 2022-07-07 华为技术有限公司 一种位姿估计方法及相关装置
CN112733795B (zh) * 2021-01-22 2022-10-11 腾讯科技（深圳）有限公司 人脸图像的视线矫正方法、装置、设备及存储介质
US11729505B2 (en) 2021-02-10 2023-08-15 Samsung Electronics Co., Ltd. Image signal processor, electronic device, and image stabilization method

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9160897B2 (en) * 2007-06-14 2015-10-13 Fotonation Limited Fast motion estimation method
JP2006285655A (ja) * 2005-03-31 2006-10-19 Seiko Epson Corp 画像処理装置、画像処理方法及び画像処理プログラム
JP4620607B2 (ja) * 2006-02-24 2011-01-26 株式会社モルフォ 画像処理装置
JP4947060B2 (ja) 2007-01-18 2012-06-06 富士通株式会社 画像合成装置、画像合成方法、プログラム
WO2008114264A2 (en) 2007-03-21 2008-09-25 Mantis Vision Ltd A method and apparatus for video image stabilization
JP4377932B2 (ja) * 2007-07-26 2009-12-02 株式会社モルフォ パノラマ画像生成装置およびプログラム
JP2011204118A (ja) 2010-03-26 2011-10-13 Konica Minolta Opto Inc 三次元画像作成システムおよび三次元画像作成方法
WO2012064106A2 (en) * 2010-11-12 2012-05-18 Samsung Electronics Co., Ltd. Method and apparatus for video stabilization by compensating for view direction of camera
JP2012151796A (ja) * 2011-01-21 2012-08-09 Sony Corp 画像処理装置と画像処理方法およびプログラム
US9013617B2 (en) 2012-10-12 2015-04-21 Qualcomm Incorporated Gyroscope conditioning and gyro-camera alignment
WO2014068779A1 (ja) * 2012-11-05 2014-05-08 株式会社モルフォ 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体
US9055223B2 (en) 2013-03-15 2015-06-09 Samsung Electronics Co., Ltd. Digital image stabilization method and imaging device using the same
US9692975B2 (en) 2013-04-10 2017-06-27 Microsoft Technology Licensing, Llc Motion blur-free capture of low light high dynamic range images
KR101883481B1 (ko) * 2013-07-12 2018-07-31 한화에어로스페이스 주식회사 영상 안정화 장치 및 방법

Also Published As

Publication number Publication date
EP3413555A1 (en) 2018-12-12
EP3413555B1 (en) 2020-08-05
CN109040521A (zh) 2018-12-18
JP6593484B2 (ja) 2019-10-23
US10674086B2 (en) 2020-06-02
JP2018206365A (ja) 2018-12-27
US20180359418A1 (en) 2018-12-13

Similar Documents

Publication Publication Date Title
CN109040521B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN109040575B (zh) 全景视频的处理方法、装置、设备、计算机可读存储介质
CN108537721B (zh) 全景图像的处理方法、装置及电子设备
CN108805917B (zh) 空间定位的方法、介质、装置和计算设备
JP5859958B2 (ja) 画像処理装置、画像処理方法、およびプログラム
CN110310326B (zh) 一种视觉定位数据处理方法、装置、终端及计算机可读存储介质
CN110335317B (zh) 基于终端设备定位的图像处理方法、装置、设备和介质
CN102256061B (zh) 一种二维三维混合的视频稳定方法
KR102236222B1 (ko) 중첩영역의 제어점들을 이용한 시차 최소화 스티칭 장치 및 방법
WO2014200625A1 (en) Systems and methods for feature-based tracking
KR20160003066A (ko) 일반적인 카메라 움직임 및 파노라마 카메라 움직임을 갖는 단안 시각 slam
CN111325798B (zh) 相机模型纠正方法、装置、ar实现设备及可读存储介质
WO2014145322A1 (en) Systems and methods for tracking camera orientation and mapping frames onto a panoramic canvas
CN109035134B (zh) 全景图像拼接方法、装置、电子设备及存储介质
CN109690611B (zh) 一种图像校正方法及装置
CN112396558A (zh) 图像处理方法、装置及计算机可读存储介质
CN111179309B (zh) 一种跟踪方法及设备
CN110111364B (zh) 运动检测方法、装置、电子设备及存储介质
CN112150550B (zh) 一种融合定位方法及装置
CN113112412B (zh) 垂直校正矩阵的生成方法、装置及计算机可读存储介质
US10715725B2 (en) Method and system for handling 360 degree image content
JP4017578B2 (ja) 手ぶれ補正装置、手ぶれ補正方法および手ぶれ補正プログラムを記録した記録媒体
CN114095659B (zh) 一种视频防抖方法、装置、设备及存储介质
CN109426775B (zh) 一种检测人脸图像中网纹的方法、装置及设备
CN112601029B (zh) 一种已知背景先验信息的视频分割方法、终端和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant