CN113436113A - 防抖动的图像处理方法、装置、电子设备和存储介质 - Google Patents

防抖动的图像处理方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN113436113A
CN113436113A CN202110832559.0A CN202110832559A CN113436113A CN 113436113 A CN113436113 A CN 113436113A CN 202110832559 A CN202110832559 A CN 202110832559A CN 113436113 A CN113436113 A CN 113436113A
Authority
CN
China
Prior art keywords
image
current frame
current
original image
actual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110832559.0A
Other languages
English (en)
Other versions
CN113436113B (zh
Inventor
袁振威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Black Sesame Intelligent Technology Co ltd
Original Assignee
Black Sesame Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Black Sesame Intelligent Technology Co ltd filed Critical Black Sesame Intelligent Technology Co ltd
Priority to CN202110832559.0A priority Critical patent/CN113436113B/zh
Publication of CN113436113A publication Critical patent/CN113436113A/zh
Priority to US17/829,903 priority patent/US11770613B2/en
Application granted granted Critical
Publication of CN113436113B publication Critical patent/CN113436113B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6845—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/689—Motion occurring during a rolling shutter mode
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种防抖动的图像处理方法、装置、电子设备和存储介质。方法包括获取在拍摄当前帧原始图像的当前拍摄时刻时成像设备的当前实际姿态，以及在拍摄当前帧原始图像的相邻多帧原始图像的多个拍摄时刻时成像设备的多个参考实际姿态；基于当前实际姿态和多个参考实际姿态，执行路径平滑处理，以确定当前拍摄时刻的路径平滑后的当前虚拟姿态；在像素坐标系下将处于当前实际姿态拍摄的当前帧原始图像执行坐标转换至若处于当前虚拟姿态下拍摄时当前帧原始图像估计处于的位置处，以得到当前帧第一校正图像；基于当前帧第一校正图像，确定当前帧结果图像。上述方法具有低成本、高效率和校正效果稳定的优势。

Description

防抖动的图像处理方法、装置、电子设备和存储介质
技术领域
本申请涉及防抖动的图像处理技术领域，特别是涉及一种防抖动的图像处理方法、装置、电子设备和存储介质。
背景技术
在日常生活中，手持、穿戴或者车载等移动电子设备在拍摄视频时，会不可避免地由于电子设备的抖动而导致拍摄的视频图像模糊等不良状况，使得拍摄视频的显示画面观感不佳，甚至影响后续对视频图像的分析和识别。为了降低或消除电子设备抖动对所拍摄视频的影响，当前已发展了许多视频防抖技术。
目前主流的视频防抖技术可以分为机械防抖、光学防抖、电子防抖及数字防抖等类别。机械防抖通过将拍摄设备架设在稳定云台来改善拍摄效果，例如户外拍摄常用的手持云台，虽然该技术效果显著，但是云台设备价格一般较为昂贵，因此通常仅应用在专业的摄影领域。光学防抖可以通过电子设备内置可移动式的部件，如微云台，对发生抖动的光路进行补偿，从而减轻拍摄画面中由于抖动导致的模糊，这种防抖技术效果稳定，但是也是需要设备硬件支持因此成本较高。数字防抖可以仅利用数字图像处理技术，对采集后的图像序列进行操作，通过图像特征匹配、运动信息提取、图像变换方式实现防抖，但是图像特征匹配受限于图像内容，对于处理拍摄清晰，运动幅度小的场景可以得到较良好的处理结果，但是一旦画面内容单一，画面模糊，匹配就容易发生错误，导致处理效果不佳，因此该技术存在稳定性不高的缺陷。
目前本领域仍然存在对视频防抖技术的改进需求。
发明内容
基于此，有必要针对上述技术问题，提供一种能够低成本而高效地减轻成像设备抖动对拍摄的视频图像影响的防抖动的图像处理方法、装置、电子设备和存储介质。
一种防抖动的图像处理方法，所述方法包括：
获取在拍摄当前帧原始图像的当前拍摄时刻时成像设备的当前实际姿态，以及在拍摄所述当前帧原始图像的相邻多帧原始图像的多个拍摄时刻时所述成像设备的多个参考实际姿态；
基于所述当前实际姿态和所述多个参考实际姿态，执行路径平滑处理，以确定当前拍摄时刻的路径平滑后的当前虚拟姿态；
在像素坐标系下将处于所述当前实际姿态拍摄的所述当前帧原始图像执行坐标转换至若处于所述当前虚拟姿态下拍摄时所述当前帧原始图像估计处于的位置处，以得到当前帧第一校正图像；
基于所述当前帧第一校正图像，确定当前帧结果图像。
一种防抖动的图像处理装置，所述装置包括：
姿态获取模块，用于获取在拍摄当前帧原始图像的当前拍摄时刻时成像设备的当前实际姿态，以及在拍摄所述当前帧原始图像的相邻多帧原始图像的多个拍摄时刻时所述成像设备的多个参考实际姿态；
路径平滑模块，用于基于所述当前实际姿态和所述多个参考实际姿态，执行路径平滑处理，以确定当前拍摄时刻的路径平滑后的当前虚拟姿态；
第一图像校正模块，用于在像素坐标系下将处于所述当前实际姿态拍摄的所述当前帧原始图像执行坐标转换至若处于所述当前虚拟姿态下拍摄时所述当前帧原始图像估计处于的位置处，以得到当前帧第一校正图像；
第一结果图像确定模块，用于基于所述当前帧第一校正图像，确定当前帧结果图像。
一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取在拍摄当前帧原始图像的当前拍摄时刻时成像设备的当前实际姿态，以及在拍摄所述当前帧原始图像的相邻多帧原始图像的多个拍摄时刻时所述成像设备的多个参考实际姿态；
基于所述当前实际姿态和所述多个参考实际姿态，执行路径平滑处理，以确定当前拍摄时刻的路径平滑后的当前虚拟姿态；
在像素坐标系下将处于所述当前实际姿态拍摄的所述当前帧原始图像执行坐标转换至若处于所述当前虚拟姿态下拍摄时所述当前帧原始图像估计处于的位置处，以得到当前帧第一校正图像；
基于所述当前帧第一校正图像，确定当前帧结果图像。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取在拍摄当前帧原始图像的当前拍摄时刻时成像设备的当前实际姿态，以及在拍摄所述当前帧原始图像的相邻多帧原始图像的多个拍摄时刻时所述成像设备的多个参考实际姿态；
基于所述当前实际姿态和所述多个参考实际姿态，执行路径平滑处理，以确定当前拍摄时刻的路径平滑后的当前虚拟姿态；
在像素坐标系下将处于所述当前实际姿态拍摄的所述当前帧原始图像执行坐标转换至若处于所述当前虚拟姿态下拍摄时所述当前帧原始图像估计处于的位置处，以得到当前帧第一校正图像；
基于所述当前帧第一校正图像，确定当前帧结果图像。
上述防抖动的图像处理方法、装置、电子设备和存储介质，利用设备内部传感器获取设备实际姿态，进而对设备实际姿态进行平滑补偿得到虚拟姿态，将拍摄的原始图像校正到平滑补偿后的虚拟姿态中，达到使拍摄画面平稳的目的，具有低成本、高效率和校正效果稳定的优势。
附图说明
图1为一个实施例中电子设备的示意图；
图2为一个实施例中防抖动的图像处理方法的流程示意图；
图3为一个实施例中路径平滑处理前后的姿态路径示意图；
图4A-4F为一个实施例中在防抖动的图像处理方法执行过程中从原始图像至结果图像的变化示意图；
图5为一个实施例中防抖动的图像处理方法的流程示意图；
图6为一个实施例中防抖动的图像处理方法的流程示意图；
图7为一个实施例中防抖动的图像处理方法的流程示意图；
图8A-8D为一个实施例中在防抖动的图像处理方法执行过程中从原始图像网格至结果图像网格的变化示意图；
图9为一个实施例中防抖动的图像处理方法的流程示意图；
图10为一个实施例中防抖动的图像处理方法的流程示意图；
图11为一个实施例中防抖动的图像处理装置的结构框图；
图12为一个实施例中电子设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供了一种防抖动的图像处理方法，可以利用移动设备的内部的传感器，获取设备的运动姿态，以根据该运动姿态对拍摄的图像进行防抖动校正处理，具有精度高、成本低和运行稳定等优势。
本申请提供的防抖动的图像处理方法，可以应用于如图1所示的电子设备10中，该电子设备10可以但不限于各种智能手机、数码相机、个人计算机、笔记本电脑、平板电脑等。该电子设备10上可以装载有相机101，该电子设备300可以通过相机101实时拍摄得到视频数据，或将先前拍摄的视频数据存储于本端；或者，该电子设备10可以经由有线或无线通信方式从其他外部设备获取视频数据然后存储于本端。该视频数据包括按照拍摄时序排列的连续多帧原始图像。电子设备10可以对实时拍摄或存储于本端的视频数据中的每帧原始图像执行本申请实施例的防抖动的图像处理方法，对该视频数据中的每帧原始图像进行校正，以减少或消除由于拍摄该视频数据的成像设备在拍摄过程中抖动，而对拍摄图像造成的不利影响，得到校正后的结果图像。该电子设备300上还可以装载有显示屏102，从而该电子设备10可以将得到的校正后的结果图像显示在该显示屏102上以供用户查看。
在一个实施例中，如图2所示，提供了一种防抖动的图像处理方法，以该方法由图1中的电子设备10执行为例进行说明，包括以下步骤S100-S400：
步骤S100，获取在拍摄当前帧原始图像的当前拍摄时刻时成像设备的当前实际姿态，以及在拍摄当前帧原始图像的相邻多帧原始图像的多个拍摄时刻时成像设备的多个参考实际姿态。
可以理解，本申请实施例中所述的原始图像，其不必然是原始拍摄的未经处理的图像，而是除了可以是未经处理的原始图像以外，也可以是基于未经处理的原始图像经过例如分辨率转换、切割、特征提取等等处理后得到的能够代表原始图像的信息的代表图像或代表数据。例如，如在后续实施例中将提到的，为了提升图像处理效率，可以使用基于原始图像生成的原始图像网格来替代该原始图像以执行后续图像处理，并在得到与结果图像对应的结果图像网格后，结合结果图像网格和原始图像来生成最终的结果图像。
本申请实施例的成像设备，是指拍摄视频的设备，当视频由电子设备10自身拍摄时，成像设备即指代该电子设备10，而当视频由电子设备10之外的外部设备拍摄时，成像设备则指代该外部设备。
在本步骤中，原始图像成像时的实际姿态可以通过成像设备内置的加速度传感器(G-sensor)或者陀螺仪传感器(Gyro-sensor)得到。在成像设备以预定帧率在多个拍摄时刻拍摄连续多帧原始图像时，成像设备内置的加速度传感器还按照预定采集率采集多个采集时刻的实际姿态。但是采集时刻与拍摄时刻往往不是完全对准的，因此对于每一帧原始图像的拍摄时刻，可以根据该拍摄时刻接近的一个、两个或多个采集时刻的实际姿态来估计在该拍摄时刻的实际姿态。
加速度传感器或者陀螺仪传感器获得的每一拍摄时刻t的实际姿态Pr(t)可以用欧拉角(X，Y，Z)表示，其中，X、Y、Z分别代表姿态中的俯仰角(pitch)(即成像设备绕世界坐标系或成像设备的物体坐标系x轴的旋转角度)、偏航角(yaw)(即成像设备绕世界坐标系或物体坐标系y轴的旋转角度)、横滚角(row)(即成像设备绕世界坐标系或物体坐标系z轴的旋转角度)。
为了避免在后续计算中出现万向节死锁的问题，可以将欧拉角(X，Y，Z)转换为四元数(w，x，y，z)，其中：
Figure BDA0003176058980000051
步骤S200，基于当前实际姿态和多个参考实际姿态，执行路径平滑处理，以确定当前拍摄时刻的路径平滑后的当前虚拟姿态。
成像设备每个拍摄时刻t的实际姿态Pr(t)组成了一条姿态路径，相机抖动会造成这条姿态路径的不平滑。为了对该姿态路径执行平滑处理，可以对当前时刻t建立有对应的帧缓存池Ωt，该帧缓存池用于存储当前拍摄时刻t的实际姿态(当前实际姿态)，以及当前拍摄时刻之前的p个在先拍摄时刻的p个虚拟姿态和/或实际姿态(参考虚拟姿态和/或参考实际姿态)，以及当前拍摄时刻之后的q个在后拍摄时刻的q个实际姿态(参考实际姿态)，以方便利用帧缓存池内的当前实际姿态和多个参考实际姿态执行路径平滑处理，以确定在执行路径平滑后的虚拟路径中当前拍摄时刻t对应的当前虚拟姿态Pv(t)。
其中，p或q的取值可以根据实际需求合理设置，例如可以约取15～30。可以理解，p或q取值越大，平滑强度可能越高，相应的占据的运算资源则越多。
本申请方案可以在成像设备拍摄视频的同时执行实时处理，或者也可以对已经拍摄完成了的视频数据执行非实时处理。
在实时处理的情况下，帧缓存池Ωt中一般仅能存储到当前拍摄时刻t的当前实际姿态，以及当前拍摄时刻t以前的p个在先拍摄时刻的p个参考实际姿态和/或参考虚拟姿态，而可能尚未能得到当前拍摄时刻t之后的在后拍摄时刻的实际姿态，在此情况下，可以建立如下第一优化目标函数O1(Pv(t))：
Figure BDA0003176058980000061
在非实时处理的情况下，帧缓存池Ωt中可以存储有当前拍摄时刻t的实际姿态、当前拍摄时刻t之前的p个在先拍摄时刻的参考虚拟姿态和/或参考实际姿态以及当前拍摄时刻之后的q个在后拍摄时刻的参考实际姿态，在此情况下，可以建立如下第二优化目标函数O2(Pv(t))：
Figure BDA0003176058980000062
其中，r代表时刻r，λt、λ′t、wr、w′r均为平滑参数，λt、λ′t的初始默认取值可以根据实际需要设置，例如λt和λ′t均可以初始化为1，wr、w′r为各个时刻r所占的权重，例如wr、w′r可以采用高斯权重。
根据上述第一优化目标函数O1(Pv(t))即可建立第一最优化公式，其最优化目标是使O1(Pv(t))最小。同理地，根据上述第二优化目标函数O2(Pv(t))即可建立第二最优化公式，其最优化目标是使O2(Pv(t))最小。第一最优化公式或第二最优化公式可以通过雅克比(Jacobi)迭代法求解，从而解得路径平滑后的当前拍摄时刻t的当前虚拟姿态Pv(t)。
第一优化目标函数和第二优化目标函数的等式右侧的第一项的作用在于保证虚拟姿态与实际姿态接近，即运动的跟随性，第二项的作用在于保证当前拍摄时刻t的虚拟姿态与在先拍摄时刻r＜t的虚拟姿态相接近，即运动的稳定性，第二优化目标函数等式右侧的第三项的作用在于保证时刻t的虚拟姿态与在后拍摄时刻r≥t的实际姿态相接近，也即运动的稳定性。通过调节平滑参数λt(和λ′t)的取值大小，可以控制第一项与第二项(和第三项)之间的平衡，即在运动的跟随性和稳定性之间进行合理取舍。
从而对于实时处理，利用拍摄时刻t以前的姿态信息(...Pv(t-2)，Pv(t-1)，Pr(t))对拍摄时刻t的实际姿态Pr(t)进行平滑，得到平滑虚拟姿态Pv(t)。而对于非实时处理，则可以利用拍摄时刻t以前的姿态信息(...Pv(t-2)，Pv(t-1)，Pr(t))和拍摄时刻t以后的姿态信息(Pr(t+1)，Pr(t+2)，...)对拍摄时刻t的实际姿态Pr(t)进行平滑，得到平滑虚拟姿态Pv(t)。
图3是一个执行路径平滑处理的示例，横坐标代表的是第几帧原始图像，纵坐标代表的是四元数的x项，虚线代表平滑前的姿态路径，实线代表平滑后的姿态路径。可以理解，图3仅示出了对四元数的x项的平滑处理，而实际上上述路径平滑处理对四元数的四个项均进行了平滑处理，以四元数y、z、w项作为纵坐标，以帧数作为横坐标也可以示出类似的示意图。
步骤S300，在像素坐标系下，将处于当前实际姿态拍摄的当前帧原始图像执行坐标转换至若处于当前虚拟姿态下拍摄时当前帧原始图像估计处于的位置处，以得到当前帧第一校正图像。
通过步骤S200，可以得到每一拍摄时刻t的虚拟姿态，为了使得视频的显示画面更稳定，减少抖动对画面的影响，可以在像素坐标系下，将每一帧原始图像中的各个像素由在实际姿态Pr(t)下拍摄该像素所处的像素坐标变换到若在其虚拟姿态Pv(t)下拍摄时该像素应当处于的像素坐标。
其中，像素坐标系是表征图像中各个像素在图像中的位置的坐标系。参见图4A所示，示例地，成像设备中的像素坐标系可以是以该成像设备拍摄的原始图像401的左上角为原点并以像素为单位建立的直角坐标系u-v，像素的横坐标u与纵坐标v分别代表该像素在图像中所在的列数与所在行数。图4A中示出了原始图像401中某一像素点pi在像素坐标系下的坐标为
Figure BDA0003176058980000071
可以通过四元数的运算表达姿态之间的变换，如下式所示，四元数T表示从实际姿态Pr(t)向虚拟姿态Pv(t)的变换。
T＝Pr(t)·Pv(t)-1＝(wT，xT，yT，zT)
为了将四元数T的变换应用到对应的图像中各个像素的像素坐标的变换中去，可以将四元数T转换为旋转矩阵MR，如下式所示：
Figure BDA0003176058980000072
然后根据旋转矩阵MR计算出图像的单应性变换矩阵MT，如下式所示：
Figure BDA0003176058980000081
其中MK为相机内参矩阵，其可以通过对拍摄该原始图像的相机进行标定获得。
利用该矩阵MT就可以将原始图像中的每个像素的原始像素坐标(u，v)进行坐标变换为变换后的像素坐标(u′，v′)，如下式所示，从而得到坐标变换后的第一校正图像。
Figure BDA0003176058980000082
参见图4B所示，在当前虚拟姿态不等于当前实际姿态的情况下，经过本步骤的坐标转换之后，得到的第一校正图像402在像素坐标系中相对于原始图像401发生了偏移，第一校正图像402中像素点pi的像素坐标变换成了
Figure BDA0003176058980000083
步骤S400，基于当前帧第一校正图像，确定当前帧结果图像。
在一个实施例中，步骤S400可以包括步骤S410和步骤S420：
步骤S410，基于当前帧第一校正图像，确定当前帧校正图像。
本申请方案可以应用于全局快门(Global shutter)方式拍摄的视频，或者也可以应用于卷帘快门(Rolling shutter)拍摄的视频。不同方式拍摄的视频在确定了当前帧第一校正图像之后对应可以具有不同的后续处理方式。
在一个实施例中，如图5所示，当当前帧原始图像是由成像设备采用全局快门方式拍摄时，步骤S410包括步骤S411：步骤S411，将当前帧第一校正图像作为当前帧校正图像。
全局快门方式是通过整幅场景在同一时间曝光实现的，图像传感器的所有像素点同时收集光线，同时曝光，不需要执行果冻效应消除的步骤，因此可以直接将当前帧第一校正图像作为当前帧校正图像。
在另一个实施例中，如图6所示，当当前帧原始图像是由成像设备采用卷帘快门方式拍摄时，步骤S410包括步骤S412-S413：步骤S412，对当前帧第一校正图像执行果冻效应校正处理，以得到校正后的当前帧第二校正图像；步骤S413，将当前帧第二校正图像作为当前帧校正图像。
互补金属氧化物半导体(Complementary Metal Oxide Semiconductor，CMOS)相机一般采用卷帘快门方式拍照。卷帘快门方式是通过图像传感器的每行像素点逐行曝光的方式实现的。在曝光开始的时候，图像传感器的像素点逐行扫描逐行进行曝光，直至所有像素点都被曝光。所以在拍摄时成像设备晃动频率较高时，常会产生画面内容扭曲的效应，被称为果冻(Rolling Shutter)效应，简称RS效应。因此对应卷帘快门的方式拍摄的图像，在得到当前帧第一校正图像后，可以额外执行果冻效应校正处理，以减少果冻效应对图像产生的影响。
进一步的，本申请还提出了利用平滑后的虚拟姿态来对图像的果冻效应进行校正。在一个实施例中，步骤S412包括步骤S4121-S4124：
步骤S4121，将当前帧第一校正图像分割成与卷帘快门的扫描像素行平行的多个子图像条。
参见图4C所示，当卷帘快门是以平行于u轴的像素行方向逐行扫描像素时，平行于u轴的同一像素行内各个像素的曝光时间相同，不同像素行间的像素的曝光时间不同。在此步骤中，可以将第一校正图像分割成m个子图像条，每个子图像条的像素长度方向与u轴平行。每个子图像条的像素宽度h可以根据实际情况设置，例如h可以设置为8或者16像素。当图像在v轴方向上的总像素高度为H时，一般有h＝H/m。
在图4C中，第一校正图像402分割成了多条子图像条403。
步骤S4122，获取成像多个子图像条的对应多个成像时刻时成像设备的多个子图像实际姿态；
成像设备的卷帘快门对于扫描每一帧原始图像具有固定的扫描周期Ts，该扫描周期Ts为从扫描一帧原始图像中的第一行像素点开始至完成对该帧原始图像中的最后一行像素点为止所需花费的时间。电子设备10可以获得当前帧原始图像的时间戳为t，该时间戳t一般即可作为前文所述的当前帧原始图像的拍摄时刻。时间戳t一般为扫描第一行像素点的时间，由于加速度/陀螺仪传感器的刷新率一般很高，一帧原始图像的扫描时间内可能包括很多帧加速度/陀螺仪传感器的姿态数据，则可以将每一个子图像条的成像时刻tj通过如下表达式算得：
Figure BDA0003176058980000091
其中，j代表第j个子图像条，1≤j≤m，k代表果冻效应校正处理的校正参数。在针对每一帧原始图像首次执行步骤S412时，可以将果冻效应校正处理的校正参数k初始化为Ts。
得到成像时刻tj之后，可以在加速度/陀螺仪传感器的姿态数据流中找到与tj最接近的前后一个或多个姿态数据采样时刻，根据这些采样时刻的姿态数据，通过线性插值就能估计成像时刻tj的子图像实际姿态P′r(tj)。
步骤S4123，在像素坐标系下将处于多个子图像实际姿态拍摄的多个子图像条分别执行坐标转换至若处于当前虚拟姿态下拍摄时多个子图像条估计处于的位置处，以得到多个校正子图像条；
在本步骤中，可以将子图像实际姿态P′r(tj)转换为相应的四元数形式的P′r(t)，然后以与步骤S200中类似的姿态变换方法，将每一个子图像条中的各个像素由在子图像实际姿态P′r(tj)下拍摄该像素所处的像素坐标变换到若在其虚拟姿态Pv(t)下拍摄时该像素应当处于的像素坐标。当时间戳t为扫描第一行像素点的时间时，在本步骤执行时第一个子图像条的子图像实际姿态P′r(tj)已与虚拟姿态Pv(t)相等，因此可以省略对第一个子图像条的姿态变换，而仅对后续其余子图像条执行姿态变换。
可以对后续其余每一子图像条执行如下姿态变换：
如下式所示，四元数T′表示从子图像实际姿态P′r(t)向虚拟姿态Pv(t)的变换。
T′＝P′r(tj)·Pv(t)-1＝(wT，xT，yT，zT)
为了将四元数T′的变换应用到对应的图像中各个像素的像素坐标的变换中去，可以将四元数T′转换为旋转矩阵M′R，如下式所示：
Figure BDA0003176058980000101
然后根据旋转矩阵M′R计算出图像的单应性变换矩阵M′T，如下式所示：
Figure BDA0003176058980000102
其中MK为相机内参矩阵，其可以通过对拍摄原始图像的相机进行标定获得。
利用该矩阵M′T就可以将每一子图像条中的每个像素当前的像素坐标(u′，v′)进行坐标变换为变换后的像素坐标(u″，v″)，如下式所示，从而得到坐标变换后的校正子图像条。
Figure BDA0003176058980000103
参见图4D所示，经过本步骤的坐标转换之后，得到的多个校正子图像条404在像素坐标系中相对于校正前的子图像条403发生了偏移，多个校正子图像条404中像素点pi的像素坐标变换成了
Figure BDA0003176058980000104
步骤S4124，结合多个校正子图像条，得到校正后的当前帧第二校正图像。
参见图4E所示，结合多个校正子图像条404可以得到当前帧第二校正图像405。
步骤S420，从当前帧校正图像中截取处于感兴趣区域中的图像，以确定当前帧结果图像。
在执行完成S400后，通过路径平滑方法校正后的当前帧校正图像在像素坐标系中的位置可能经过了大幅调整，而调整后的虚拟姿态指向的画面是不曾拍摄的，因此原始图像所处的画面区域中出现了大片的无内容区域，本申请实施例还可以从当前帧校正图像中截取处于感兴趣区域中的图像，裁剪掉边缘部分，以除去边缘的无内容区域，保持显示画面完整。
在一个实施例中，如图5和图6所示，无论当前帧原始图像是否由成像设备采用全局快门方式拍摄，步骤S420均可包括步骤S421-S423：
步骤S421，获取预设的感兴趣区域。
感兴趣区域(Region of Interest，ROI)可以在执行步骤S420之前预先设置，感兴趣区域可以以预定的尺寸设置在像素坐标系中的预定位置处，其可以由电子设备默认设置或者也可以由用户输入设置。
参见图4A-4E所示，在像素坐标系中，感兴趣区域410可以设置在原始图像所在区域的中心位置处，感兴趣区域410的尺寸例如可以设置为占据原始图像尺寸的60％、70％、80％或其他尺寸。在图4A-4E中，感兴趣区域410为矩形，但是感兴趣区域410也可以是圆形、椭圆形、不规则形状或其他形状。
步骤S422，判断感兴趣区域是否被当前帧校正图像完全覆盖。
当步骤S422判定感兴趣区域被当前帧校正图像完全覆盖时，执行步骤S423，从当前帧校正图像中截取处于感兴趣区域中的图像，以得到当前帧结果图像。
参见图4E所示，在感兴趣区域410被当前帧校正图像405完全覆盖时，可以从当前帧校正图像405中截取处于感兴趣区域410中的结果图像406。
在成像设备的运动幅度较大时，当前帧校正图像中的无内容区域很容易出现在感兴趣区域中，如果继续对图像进行裁剪，可能导致裁剪后得到的图像不能满足显示需求。本申请中，可以在识别到无内容区域出现在感兴趣区域中时，执行画面出界保护，以保证感兴趣区域在当前帧校正图像之内时，才进行图像截取。画面出现保护可以通过以下实施例实现。
在一个实施例中，当当前帧原始图像是由成像设备采用全局快门方式拍摄时，如图5所示，步骤S420还可以包括：
当步骤S422判定感兴趣区域中的至少一部分区域未被当前帧校正图像覆盖时，执行步骤S424，调节路径平滑处理中的平滑参数以降低路径平滑处理的平滑强度，并返回步骤S200。
具体地，当感兴趣区域中的至少一部分区域未被当前帧校正图像覆盖时，则对于第一优化目标函数可以适当调小平滑参数λt和/或wr的值，而对于第二优化目标函数可以适当调小平滑参数λt、λ′t、wr、w′r中的一个或多个的值，然后返回步骤S200利用调小后的平滑参数对实际姿态重新执行步骤S200的路径平滑处理。
在另一个实施例中，当当前帧原始图像是由成像设备采用卷帘快门方式拍摄时，如图6所示，步骤S420还可以包括：
当步骤S422判定感兴趣区域中的至少一部分区域未被当前帧校正图像覆盖时，执行步骤S425，判断最近执行的步骤S200中算得的当前虚拟姿态是否等于当前实际姿态；
当步骤S425判定当前虚拟姿态不等于当前实际姿态时，执行步骤S424，调节路径平滑处理中的平滑参数以降低路径平滑处理的平滑强度，并返回步骤S200；
其中，此处步骤S424中对平滑参数的具体调节可以同理地参见上一实施例的步骤S424。
当步骤S425判定当前虚拟姿态等于当前实际姿态时，执行步骤S426，调节果冻效应校正处理中的校正参数以降低果冻效应校正处理的校正强度，并返回步骤S412。
步骤S200算得的虚拟姿态与实际姿态的差别越大，要做的图像变换程度就越大，原始画面中出现的无内容区域就越大，则无内容区域越容易落入感兴趣区域中。因此，当感兴趣区域中的至少一部分区域未被当前帧校正图像覆盖时，即存在无内容区域出现在感兴趣区域中时，在步骤S424中，可以调节路径平滑参数，以降低路径平滑的强度，通过不断的调节调节路径平滑参数并重新执行路径平滑处理，直到变换生成的当前校正图像能够完全覆盖感兴趣区域后，再执行步骤S420中的结果图像截取操作，从而可以有效避免最终生成的结果图像中出现无内容区域。
进一步地，在采用卷帘快门方式拍摄的情况下，在运动特别剧烈时，果冻效应校正也可能会导致无内容区域出现在感兴趣区域中。因此当感兴趣区域中的至少一部分区域未被当前帧校正图像覆盖时，而步骤S200算得的虚拟姿态与实际姿态相同，即实际上未执行路径平滑时，进一步通过逐渐在步骤S426中降低校正参数k的取值并返回S412重新执行果冻效应校正处理，直到变换生成的当前校正图像能够完全覆盖感兴趣区域，以避免最终生成的结果图像中出现无内容区域。
上述防抖动的图像处理方法，利用成像设备内部的加速度传感器和/或陀螺仪传感器获取成像设备实际姿态，进而对成像设备实际姿态进行平滑补偿得到虚拟姿态，将拍摄的原始图像校正到平滑补偿后的虚拟姿态中，达到使拍摄画面平稳的目的，具有低成本、高效率和校正效果稳定的优势。进一步的，也可以将本申请的防抖动的图像处理方法与光学防抖技术相结合，进一步提高防抖的效果。
对于使用卷帘快门方式曝光的CMOS传感器的成像设备拍摄的视频，本申请上述一些实施例还提出了利用平滑补偿后的虚拟姿态对图像的果冻效应进行校正，以及对由于曝光时间长而导致的抖动进行补偿。本申请实施例的防抖动的图像处理方法可以广泛应用于各种类型的电子设备中。
为了对图像进行变换，理论上，需要对原始图像中的每个像素点都执行如上步骤S300和S400的变换，然而每个像素点都进行这样的变换会导致计算复杂度很高，因此，在实际应用中，可以根据原始图像尺寸生成代表原始图像的信息的原始图像网格，原始图像网格中的每个网格点分别对应于原始图像中的一个像素。从而可以利用该原始图像网格替代原始图像来执行后续步骤S300和S400的变换，并在S400生成了与结果图像对应的结果图像网格之后，利用结果图像网格对原始图像执行映射和插值处理以得到结果图像，从而有效降低运算过程中的运算量。
为了使利用网格执行防抖动的图像处理方法的方案更加清晰，以下步骤S100-S200以及S500-S800对利用网格执行防抖动的图像处理方法的方案进行了具体说明，但是应当理解，下述实施例仅是为了说明目地，前述步骤S100-S400与以下步骤S100-S200以及S500-S800是对应的，因此除了在以下另有说明的内容以外，以上对前述步骤S100-S400的描述均可以同理地适用于以下步骤S100-S200以及S500-S800。本申请旨在将以下步骤S100-S200以及S500-S800作为前述步骤S100-S400的可选具体实施方式而涵盖于前述步骤S100-S400的保护范围内，而不应当将步骤S100-S200以及S500-S800排除于前述步骤S100-S400的保护范围之外。
在一个实施例中，如图7所示，提供了一种防抖动的图像处理方法，以该方法由图1中的电子设备10执行为例进行说明，包括以下步骤S100-S200以及S500-S800：
步骤S100，获取在拍摄当前帧原始图像的当前拍摄时刻时成像设备的当前实际姿态，以及在拍摄当前帧原始图像的相邻多帧原始图像的多个拍摄时刻时成像设备的多个参考实际姿态。
步骤S200，基于当前实际姿态和多个参考实际姿态，执行路径平滑处理，以确定当前拍摄时刻的路径平滑后的当前虚拟姿态。
步骤S500，基于当前帧原始图像，确定当前帧原始图像网格；当前帧原始图像网格包括与当前帧原始图像中矩阵分布的多个像素点一一对应的矩阵分布的多个网格点。
参见图8A所示，本步骤中可以生成与原始图像401对应的原始图像网格801。原始图像网格801的边界与原始图像401的边界重合，原始图像网格801的每个网格单元的大小为l×l，每个网格单元四角具有四个网格点，原始图像网格中的每个网格点i分别对应于原始图像中的一个像素i。
对于采用卷帘快门方式拍摄的视频，在需要利用S7121-S7123来执行果冻效应校正的情况下，本步骤中生成的原始图像网格的网格单元边长l可以与子图像条的宽度h相同，从而在步骤S7121中可以方便地沿着网格单元在u坐标轴方向的边来分割第一校正图像网格得到多个子图像条网格。
步骤S600，在像素坐标系下将处于当前实际姿态拍摄的当前帧原始图像对应的当前帧原始图像网格执行坐标转换至若处于当前虚拟姿态下拍摄时当前帧原始图像对应的当前帧原始图像网格估计处于的位置处，以得到当前帧第一校正图像网格。
参见图8B所示，本步骤中可以生成与第一校正图像402对应的第一校正图像网格802。经过本步骤的坐标转换之后，得到的第一校正图像网格802在像素坐标系中相对于原始图像网格801发生了偏移，第一校正图像网格802中像素点pi的像素坐标变换成了
Figure BDA0003176058980000141
步骤S700，基于当前帧第一校正图像网格，确定当前帧结果图像网格；
在一个实施例中，步骤S700包括步骤S710和步骤S720：
步骤S710，基于当前帧第一校正图像网格，确定当前帧校正图像网格；
在一个实施例中，如图9所示，当当前帧原始图像是由成像设备采用全局快门方式拍摄时，步骤S710包括步骤S711：步骤S711，将当前帧第一校正图像网格作为当前帧校正图像网格。
在另一个实施例中，如图10所示，当当前帧原始图像是由成像设备采用卷帘快门方式拍摄时，步骤S710包括步骤S712-S713：步骤S712，对当前帧第一校正图像网格执行果冻效应校正处理，以得到校正后的当前帧第二校正图像网格；步骤S713，将当前帧第二校正图像网格作为当前帧校正图像网格。
在一个实施例中，步骤S712包括步骤S7121-S7124：
步骤S7121，将当前帧第一校正图像网格分割成与卷帘快门的扫描像素行平行的多个子图像条网格；
步骤S7122，获取成像多个子图像条网格对应的多个子图像条的对应多个成像时刻时成像设备的多个子图像实际姿态；
步骤S7123，在像素坐标系下将处于多个子图像实际姿态拍摄的多个子图像条对应的多个子图像条网格分别执行坐标转换至若处于当前虚拟姿态下拍摄时多个子图像条对应的多个子图像条网格估计处于的位置处，以得到多个校正子图像条网格；
参见图8C所示，本步骤中可以生成与多个校正子图像条404对应的多个校正子图像条网格804。多个校正子图像条网格804在像素坐标系中相对于校正前的子图像条网格发生了偏移，多个校正子图像条网格804中像素点pi的像素坐标变换成了
Figure BDA0003176058980000151
步骤S7124，结合多个校正子图像条网格，得到当前帧校正图像网格。
步骤S720，从当前帧校正图像网格中截取感兴趣区域，以确定当前帧结果图像网格。
在一个实施例中，如图9和图10所示，无论当前帧原始图像是否由成像设备采用全局快门方式拍摄，步骤S720均可包括步骤S721-S723：
步骤S721，获取预设的感兴趣区域；
步骤S722，判断感兴趣区域是否被当前帧校正图像网格完全覆盖；
当步骤S722判定感兴趣区域被当前帧校正图像网格完全覆盖时，执行步骤S723，从当前帧校正图像网格中截取处于感兴趣区域中的图像网格，以得到当前帧结果图像网格。
参见图8D所示，本步骤中可以生成与结果图像406对应的结果图像网格806。
在一个实施例中，当当前帧原始图像是由成像设备采用全局快门方式拍摄时，如图9所示，步骤S720还可以包括：
当步骤S722判定感兴趣区域中的至少一部分区域未被当前帧校正图像网格覆盖时，执行步骤S724，调节路径平滑处理中的平滑参数以降低路径平滑处理的平滑强度，并返回步骤S200。
在另一个实施例中，当当前帧原始图像是由成像设备采用卷帘快门方式拍摄时，如图10所示，步骤S720还包括：
当步骤S722判定感兴趣区域中的至少一部分区域未被当前帧校正图像网格覆盖时，执行步骤S725，判断当前虚拟姿态是否等于当前实际姿态；
当步骤S725判定当前虚拟姿态不等于当前实际姿态时，执行步骤S724，调节路径平滑处理中的平滑参数以降低路径平滑处理的平滑强度，并返回步骤S200；
当步骤S725判定当前虚拟姿态等于当前实际姿态时，执行步骤S726，调节果冻效应校正处理中的校正参数以降低果冻效应校正处理的校正强度，并返回步骤S712。
步骤S800，利用当前帧结果图像网格，对当前帧原始图像执行映射处理，以得到当前帧结果图像。
步骤S722中生成的结果图像网格806中的每个网格点i，其具有对应的像素点pi变换后的像素坐标
Figure BDA0003176058980000161
的信息，而其对应的像素pi变换前的原始像素坐标
Figure BDA0003176058980000162
是已知的，从而可以得到结果图像网格806中每个网格点处的像素点的从
Figure BDA0003176058980000163
至
Figure BDA0003176058980000164
的映射关系。然后利用每个网格单元四个角处的四个网格点的映射关系执行线性插值或双线性插值，即可得到处于网格单元内其他像素点的映射关系。利用得到的每个像素点的映射关系，对当前帧原始图像执行映射处理，将原始图像中对应的每个像素从
Figure BDA0003176058980000165
处转换至
Figure BDA0003176058980000166
处，从而得到结果图像406。
本实施例中对图7、9、10中所示的防抖动的图像处理方法的具体限定，可以同理地参见对图2、5、6中所示的防抖动的图像处理方法的具体限定，再次不再赘述。
应该理解的是，虽然图2、5、6、7、9、10的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、5、6、7、9、10中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图11所示，提供了一种防抖动的图像处理装置1100，包括：
姿态获取模块1110，用于获取在拍摄当前帧原始图像的当前拍摄时刻时成像设备的当前实际姿态，以及在拍摄当前帧原始图像的相邻多帧原始图像的多个拍摄时刻时成像设备的多个参考实际姿态；
路径平滑模块1120，用于基于当前实际姿态和多个参考实际姿态，执行路径平滑处理，以确定当前拍摄时刻的路径平滑后的当前虚拟姿态；
第一图像校正模块1130，用于在像素坐标系下将处于当前实际姿态拍摄的当前帧原始图像执行坐标转换至若处于当前虚拟姿态下拍摄时当前帧原始图像估计处于的位置处，以得到当前帧第一校正图像；
第一结果图像确定模块1140，用于基于当前帧第一校正图像，确定当前帧结果图像。
在另一个实施例中，提供了一种防抖动的图像处理装置1100，包括：
姿态获取模块1110，用于获取在拍摄当前帧原始图像的当前拍摄时刻时成像设备的当前实际姿态，以及在拍摄当前帧原始图像的相邻多帧原始图像的多个拍摄时刻时成像设备的多个参考实际姿态；
路径平滑模块1120，用于基于当前实际姿态和多个参考实际姿态，执行路径平滑处理，以确定当前拍摄时刻的路径平滑后的当前虚拟姿态；
原始网格生成模块1150，用于基于当前帧原始图像，确定当前帧原始图像网格；当前帧原始图像网格包括与当前帧原始图像中矩阵分布的多个像素点一一对应的矩阵分布的多个网格点；
第二图像校正模块1160，用于在像素坐标系下将处于当前实际姿态拍摄的当前帧原始图像对应的当前帧原始图像网格执行坐标转换至若处于当前虚拟姿态下拍摄时当前帧原始图像对应的当前帧原始图像网格估计处于的位置处，以得到当前帧第一校正图像网格；
结果图像网格确定模块1170，用于基于当前帧第一校正图像网格，确定当前帧结果图像网格；
第二结果图像确定模块1180，用于利用当前帧结果图像网格，对当前帧原始图像执行映射处理，以得到当前帧结果图像。
关于防抖动的图像处理装置1100的具体限定可以参见上文中对于防抖动的图像处理方法的限定，在此不再赘述。上述防抖动的图像处理装置1100中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于电子设备中的处理器中，也可以以软件形式存储于电子设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，如图12所示，提供了一种电子设备1200，包括存储器1201和处理器1202，存储器1201与处理器1202连接，存储器1201中存储有计算机程序，该处理器1202执行计算机程序时实现以下步骤：
获取在拍摄当前帧原始图像的当前拍摄时刻时成像设备的当前实际姿态，以及在拍摄当前帧原始图像的相邻多帧原始图像的多个拍摄时刻时成像设备的多个参考实际姿态；
基于当前实际姿态和多个参考实际姿态，执行路径平滑处理，以确定当前拍摄时刻的路径平滑后的当前虚拟姿态；
在像素坐标系下将处于当前实际姿态拍摄的当前帧原始图像执行坐标转换至若处于当前虚拟姿态下拍摄时当前帧原始图像估计处于的位置处，以得到当前帧第一校正图像；
基于当前帧第一校正图像，确定当前帧结果图像。
在一个实施例中，如图12所示，电子设备1200还可以包括相机1203，相机1203与处理器1202连接；相机1203用于拍摄原始图像，并将原始图像传输至处理器1202；处理器1202从相机1203接收原始图像。
在一个实施例中，如图12所示，电子设备1200还可以包括加速度传感器1204和/或陀螺仪传感器1205。加速度传感器1204和/或陀螺仪传感器1205与处理器1202连接；加速度传感器1204和/或陀螺仪传感器1205用于在拍摄原始图像的同时检测电子设备1200的实际姿态，并将检测到的实际姿态传输至处理器1202；处理器1202从加速度传感器1204和/或陀螺仪传感器1205接收实际姿态。
在一个实施例中，如图12所示，电子设备1200还可以包括显示器1206，显示器1206与处理器1202连接；处理器1202执行计算机程序时，还控制显示器1206显示结果图像。
在其他实施例中，处理器1202执行计算机程序时还实现本申请上述各个实施例的图像畸变校正方法的步骤，并具有相应的有益效果。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取在拍摄当前帧原始图像的当前拍摄时刻时成像设备的当前实际姿态，以及在拍摄当前帧原始图像的相邻多帧原始图像的多个拍摄时刻时成像设备的多个参考实际姿态；
基于当前实际姿态和多个参考实际姿态，执行路径平滑处理，以确定当前拍摄时刻的路径平滑后的当前虚拟姿态；
在像素坐标系下将处于当前实际姿态拍摄的当前帧原始图像执行坐标转换至若处于当前虚拟姿态下拍摄时当前帧原始图像估计处于的位置处，以得到当前帧第一校正图像；
基于当前帧第一校正图像，确定当前帧结果图像。
在其他实施例中，计算机程序被处理器执行时还实现本申请上述各个实施例的防抖动的图像处理方法的步骤，并具有相应的有益效果。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (11)

1.一种防抖动的图像处理方法，所述方法包括：
获取在拍摄当前帧原始图像的当前拍摄时刻时成像设备的当前实际姿态，以及在拍摄所述当前帧原始图像的相邻多帧原始图像的多个拍摄时刻时所述成像设备的多个参考实际姿态和/或参考虚拟姿态；
基于所述当前实际姿态和所述多个参考实际姿态和/或参考虚拟姿态，执行路径平滑处理，以确定当前拍摄时刻的路径平滑后的当前虚拟姿态；
在像素坐标系下将处于所述当前实际姿态拍摄的所述当前帧原始图像执行坐标转换至若处于所述当前虚拟姿态下拍摄时所述当前帧原始图像估计处于的位置处，以得到当前帧第一校正图像；
基于所述当前帧第一校正图像，确定当前帧结果图像。
2.根据权利要求1所述的方法，其特征在于，所述基于所述当前帧第一校正图像，确定当前帧结果图像包括：
基于所述当前帧第一校正图像，确定当前帧校正图像；
从所述当前帧校正图像中截取感兴趣区域中的图像，以确定当前帧结果图像。
3.根据权利要求2所述的方法，其特征在于，当所述当前帧原始图像是由所述成像设备采用全局快门方式拍摄时，所述基于所述当前帧第一校正图像，确定当前帧校正图像，包括：将所述当前帧第一校正图像作为当前帧校正图像；
或者
当所述当前帧原始图像是由所述成像设备采用卷帘快门方式拍摄时，所述基于所述当前帧第一校正图像，确定当前帧校正图像，包括：对所述当前帧第一校正图像执行果冻效应校正处理，以得到校正后的当前帧第二校正图像；将所述当前帧第二校正图像作为当前帧校正图像。
4.根据权利要求3所述的方法，其特征在于，所述对所述当前帧第一校正图像执行果冻效应校正处理，以得到校正后的当前帧第二校正图像，包括：
将所述当前帧第一校正图像分割成与所述卷帘快门的扫描像素行平行的多个子图像条；
获取成像所述多个子图像条的对应多个成像时刻时所述成像设备的多个子图像实际姿态；
在像素坐标系下将处于所述多个子图像实际姿态拍摄的所述多个子图像条分别执行坐标转换至若处于所述当前虚拟姿态下拍摄时所述多个子图像条估计处于的位置处，以得到多个校正子图像条；
结合所述多个校正子图像条，得到校正后的当前帧第二校正图像。
5.根据权利要求4所述的方法，其特征在于，从所述当前帧校正图像中截取感兴趣区域中的图像以确定当前帧结果图像，包括：
获取预设的感兴趣区域；
当所述感兴趣区域被所述当前帧校正图像完全覆盖时，从所述当前帧校正图像中截取处于所述感兴趣区域中的图像，以得到当前帧结果图像。
6.根据权利要求5所述的方法，其特征在于，当所述当前帧原始图像是由所述成像设备采用全局快门方式拍摄时，所述从所述当前帧校正图像中截取感兴趣区域中的图像以确定当前帧结果图像，还包括：
当所述感兴趣区域中的至少一部分区域未被所述当前帧校正图像覆盖时，调节所述路径平滑处理中的平滑参数以降低所述路径平滑处理的平滑强度，并返回执行所述基于所述当前实际姿态和所述多个参考实际姿态，执行路径平滑优化处理，以确定当前拍摄时刻的优化后的当前虚拟姿态的步骤。
7.根据权利要求5所述的方法，其特征在于，当所述当前帧原始图像是由所述成像设备采用卷帘快门方式拍摄时，所述从所述当前帧校正图像中截取感兴趣区域中的图像以确定当前帧结果图像还包括：
当所述感兴趣区域中的至少一部分区域未被所述当前帧校正图像覆盖，且所述当前虚拟姿态不等于所述当前实际姿态时，调节所述路径平滑处理中的平滑参数以降低所述路径平滑处理的平滑强度，并返回执行所述基于所述当前实际姿态和所述多个参考实际姿态，执行路径平滑处理，以确定当前拍摄时刻的优化后的当前虚拟姿态的步骤；
当所述感兴趣区域中的至少一部分区域未被所述当前帧校正图像覆盖，且所述当前虚拟姿态等于所述当前实际姿态时，调节所述果冻效应校正处理中的校正参数以降低所述果冻效应校正处理的校正强度，并返回执行所述对所述当前帧第一校正图像执行果冻效应校正处理，以得到校正后的当前帧第二校正图像的步骤。
8.根据权利要求1所述的方法，其特征在于，在像素坐标系下将处于所述当前实际姿态拍摄的所述当前帧原始图像执行坐标转换至若处于所述当前虚拟姿态下拍摄时所述当前帧原始图像估计处于的位置处，以得到当前帧第一校正图像；基于所述当前帧第一校正图像，确定当前帧结果图像，包括：
基于所述当前帧原始图像，确定当前帧原始图像网格；所述当前帧原始图像网格包括与所述当前帧原始图像中矩阵分布的多个像素点一一对应的矩阵分布的多个网格点；
在像素坐标系下将处于所述当前实际姿态拍摄的所述当前帧原始图像对应的所述当前帧原始图像网格执行坐标转换至若处于所述当前虚拟姿态下拍摄时所述当前帧原始图像对应的所述当前帧原始图像网格估计处于的位置处，以得到当前帧第一校正图像网格；
基于所述当前帧第一校正图像网格，确定当前帧结果图像网格；
利用所述当前帧结果图像网格，对所述当前帧原始图像执行映射处理，以得到当前帧结果图像。
9.一种防抖动的图像处理装置，其特征在于，所述装置包括：
姿态获取模块，用于获取在拍摄当前帧原始图像的当前拍摄时刻时成像设备的当前实际姿态，以及在拍摄所述当前帧原始图像的相邻多帧原始图像的多个拍摄时刻时所述成像设备的多个参考实际姿态；
路径平滑模块，用于基于所述当前实际姿态和所述多个参考实际姿态，执行路径平滑处理，以确定当前拍摄时刻的路径平滑后的当前虚拟姿态；
第一图像校正模块，用于在像素坐标系下将处于所述当前实际姿态拍摄的所述当前帧原始图像执行坐标转换至若处于所述当前虚拟姿态下拍摄时所述当前帧原始图像估计处于的位置处，以得到当前帧第一校正图像；
第一结果图像确定模块，用于基于所述当前帧第一校正图像，确定当前帧结果图像。
10.一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述方法的步骤。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。
CN202110832559.0A 2021-07-22 2021-07-22 防抖动的图像处理方法、装置、电子设备和存储介质 Active CN113436113B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110832559.0A CN113436113B (zh) 2021-07-22 2021-07-22 防抖动的图像处理方法、装置、电子设备和存储介质
US17/829,903 US11770613B2 (en) 2021-07-22 2022-06-01 Anti-shake image processing method, apparatus, electronic device and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110832559.0A CN113436113B (zh) 2021-07-22 2021-07-22 防抖动的图像处理方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN113436113A true CN113436113A (zh) 2021-09-24
CN113436113B CN113436113B (zh) 2023-04-18

Family

ID=77761408

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110832559.0A Active CN113436113B (zh) 2021-07-22 2021-07-22 防抖动的图像处理方法、装置、电子设备和存储介质

Country Status (2)

Country Link
US (1) US11770613B2 (zh)
CN (1) CN113436113B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114040113A (zh) * 2021-11-26 2022-02-11 维沃移动通信有限公司 图像处理方法及其装置
CN114390197A (zh) * 2021-12-27 2022-04-22 维沃移动通信有限公司 拍摄方法和装置、电子设备及可读存储介质
CN114531545A (zh) * 2022-02-11 2022-05-24 维沃移动通信有限公司 图像处理方法和装置
CN115379115A (zh) * 2022-07-29 2022-11-22 黑芝麻智能科技(成都)有限公司 视频拍摄的方法、装置及电子设备
CN115412683A (zh) * 2022-08-30 2022-11-29 豪威科技(上海)有限公司 在线视频稳定方法
CN116095487A (zh) * 2021-11-05 2023-05-09 Oppo广东移动通信有限公司 图像防抖方法、装置、电子设备及计算机可读存储介质
CN116095484A (zh) * 2021-10-29 2023-05-09 华为技术有限公司 一种视频防抖方法、装置及电子设备
CN116137666A (zh) * 2021-11-17 2023-05-19 Oppo广东移动通信有限公司 视频匀速显示方法及装置、计算机可读介质和电子设备
CN116797497A (zh) * 2023-08-24 2023-09-22 摩尔线程智能科技(北京)有限责任公司 一种图像处理方法、装置、设备及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116506732B (zh) * 2023-06-26 2023-12-05 浙江华诺康科技有限公司 一种图像抓拍防抖的方法、装置、系统和计算机设备

Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101308641A (zh) * 2007-05-18 2008-11-19 株式会社半导体能源研究所 液晶显示装置的驱动方法
CN101329767A (zh) * 2008-07-11 2008-12-24 西安交通大学 基于学习的视频中显著物体序列自动检测方法
US20090213234A1 (en) * 2008-02-18 2009-08-27 National Taiwan University Method of full frame video stabilization
US20100053347A1 (en) * 2008-08-28 2010-03-04 Agarwala Aseem O Content-Aware Video Stabilization
US20120105654A1 (en) * 2010-10-28 2012-05-03 Google Inc. Methods and Systems for Processing a Video for Stabilization and Retargeting
CN103810725A (zh) * 2014-03-12 2014-05-21 北京理工大学 一种基于全局优化的视频稳定方法
CN105163046A (zh) * 2015-08-17 2015-12-16 成都鹰眼视觉科技有限公司 一种基于网格吸点非参数化运动模型的视频防抖方法
CN106101535A (zh) * 2016-06-21 2016-11-09 北京理工大学 一种基于局部及整体运动差异补偿的视频稳定方法
CN106507094A (zh) * 2016-10-31 2017-03-15 北京疯景科技有限公司 校正全景视频显示视角的方法及装置
CN106851102A (zh) * 2017-02-24 2017-06-13 北京理工大学 一种基于捆绑测地线路径优化的视频稳像方法
CN108234859A (zh) * 2017-08-30 2018-06-29 珠海市魅族科技有限公司 视频防抖控制方法、装置、计算机装置及可读存储介质
WO2018120735A1 (zh) * 2016-12-29 2018-07-05 东莞前沿技术研究院 定位方法及装置
CN108462838A (zh) * 2018-03-16 2018-08-28 深圳岚锋创视网络科技有限公司 一种全景视频防抖方法、装置及便携式终端
CN110660090A (zh) * 2019-09-29 2020-01-07 Oppo广东移动通信有限公司 主体检测方法和装置、电子设备、计算机可读存储介质
CN110753181A (zh) * 2019-09-29 2020-02-04 湖北工业大学 一种基于特征跟踪和网格路径运动的视频稳像方法
CN111147741A (zh) * 2019-12-27 2020-05-12 Oppo广东移动通信有限公司 基于对焦处理的防抖方法和装置、电子设备、存储介质
CN111372000A (zh) * 2020-03-17 2020-07-03 Oppo广东移动通信有限公司 视频防抖方法和装置、电子设备及计算机可读存储介质
CN112509047A (zh) * 2020-12-10 2021-03-16 北京地平线信息技术有限公司 基于图像的位姿确定方法、装置、存储介质及电子设备
CN112734659A (zh) * 2020-12-29 2021-04-30 维沃移动通信（杭州）有限公司 图像校正方法、装置及电子设备
CN113066050A (zh) * 2021-03-10 2021-07-02 天津理工大学 一种基于视觉的空投货台航向姿态解算方法

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101308641A (zh) * 2007-05-18 2008-11-19 株式会社半导体能源研究所 液晶显示装置的驱动方法
US20090213234A1 (en) * 2008-02-18 2009-08-27 National Taiwan University Method of full frame video stabilization
CN101329767A (zh) * 2008-07-11 2008-12-24 西安交通大学 基于学习的视频中显著物体序列自动检测方法
US20100053347A1 (en) * 2008-08-28 2010-03-04 Agarwala Aseem O Content-Aware Video Stabilization
US20120105654A1 (en) * 2010-10-28 2012-05-03 Google Inc. Methods and Systems for Processing a Video for Stabilization and Retargeting
CN103810725A (zh) * 2014-03-12 2014-05-21 北京理工大学 一种基于全局优化的视频稳定方法
CN105163046A (zh) * 2015-08-17 2015-12-16 成都鹰眼视觉科技有限公司 一种基于网格吸点非参数化运动模型的视频防抖方法
CN106101535A (zh) * 2016-06-21 2016-11-09 北京理工大学 一种基于局部及整体运动差异补偿的视频稳定方法
CN106507094A (zh) * 2016-10-31 2017-03-15 北京疯景科技有限公司 校正全景视频显示视角的方法及装置
WO2018120735A1 (zh) * 2016-12-29 2018-07-05 东莞前沿技术研究院 定位方法及装置
CN106851102A (zh) * 2017-02-24 2017-06-13 北京理工大学 一种基于捆绑测地线路径优化的视频稳像方法
CN108234859A (zh) * 2017-08-30 2018-06-29 珠海市魅族科技有限公司 视频防抖控制方法、装置、计算机装置及可读存储介质
CN108462838A (zh) * 2018-03-16 2018-08-28 深圳岚锋创视网络科技有限公司 一种全景视频防抖方法、装置及便携式终端
CN110660090A (zh) * 2019-09-29 2020-01-07 Oppo广东移动通信有限公司 主体检测方法和装置、电子设备、计算机可读存储介质
CN110753181A (zh) * 2019-09-29 2020-02-04 湖北工业大学 一种基于特征跟踪和网格路径运动的视频稳像方法
CN111147741A (zh) * 2019-12-27 2020-05-12 Oppo广东移动通信有限公司 基于对焦处理的防抖方法和装置、电子设备、存储介质
CN111372000A (zh) * 2020-03-17 2020-07-03 Oppo广东移动通信有限公司 视频防抖方法和装置、电子设备及计算机可读存储介质
CN112509047A (zh) * 2020-12-10 2021-03-16 北京地平线信息技术有限公司 基于图像的位姿确定方法、装置、存储介质及电子设备
CN112734659A (zh) * 2020-12-29 2021-04-30 维沃移动通信（杭州）有限公司 图像校正方法、装置及电子设备
CN113066050A (zh) * 2021-03-10 2021-07-02 天津理工大学 一种基于视觉的空投货台航向姿态解算方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
M. MOHAN M.R. ET AL.: "Going Unconstrained with Rolling Shutter Deblurring", 《2017 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION》 *
李农舞: "视频防抖技术的研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116095484B (zh) * 2021-10-29 2024-04-09 华为技术有限公司 一种视频防抖方法、装置及电子设备
CN116095484A (zh) * 2021-10-29 2023-05-09 华为技术有限公司 一种视频防抖方法、装置及电子设备
CN116095487A (zh) * 2021-11-05 2023-05-09 Oppo广东移动通信有限公司 图像防抖方法、装置、电子设备及计算机可读存储介质
CN116137666A (zh) * 2021-11-17 2023-05-19 Oppo广东移动通信有限公司 视频匀速显示方法及装置、计算机可读介质和电子设备
CN114040113A (zh) * 2021-11-26 2022-02-11 维沃移动通信有限公司 图像处理方法及其装置
CN114390197A (zh) * 2021-12-27 2022-04-22 维沃移动通信有限公司 拍摄方法和装置、电子设备及可读存储介质
CN114531545A (zh) * 2022-02-11 2022-05-24 维沃移动通信有限公司 图像处理方法和装置
CN115379115A (zh) * 2022-07-29 2022-11-22 黑芝麻智能科技(成都)有限公司 视频拍摄的方法、装置及电子设备
CN115379115B (zh) * 2022-07-29 2024-05-14 黑芝麻智能科技(成都)有限公司 视频拍摄的方法、装置及电子设备
CN115412683A (zh) * 2022-08-30 2022-11-29 豪威科技(上海)有限公司 在线视频稳定方法
CN115412683B (zh) * 2022-08-30 2024-08-20 豪威科技(上海)有限公司 在线视频稳定方法
CN116797497A (zh) * 2023-08-24 2023-09-22 摩尔线程智能科技(北京)有限责任公司 一种图像处理方法、装置、设备及存储介质
CN116797497B (zh) * 2023-08-24 2023-11-14 摩尔线程智能科技(北京)有限责任公司 一种图像处理方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN113436113B (zh) 2023-04-18
US11770613B2 (en) 2023-09-26
US20230036081A1 (en) 2023-02-02

Similar Documents

Publication Publication Date Title
CN113436113B (zh) 防抖动的图像处理方法、装置、电子设备和存储介质
CN111147741B (zh) 基于对焦处理的防抖方法和装置、电子设备、存储介质
CN111246089B (zh) 抖动补偿方法和装置、电子设备、计算机可读存储介质
CN110473159B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
US9639913B2 (en) Image processing device, image processing method, image processing program, and storage medium
JP4377932B2 (ja) パノラマ画像生成装置およびプログラム
CN110430365B (zh) 防抖方法、装置、计算机设备和存储介质
CN113132612B (zh) 一种图像稳像处理方法、终端拍摄方法、介质及系统
JP2017505004A (ja) 画像生成方法及びデュアルレンズ装置
CN113556464B (zh) 拍摄方法、装置及电子设备
CN109660718A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
US20240187736A1 (en) Image anti-shake method and electronic device
CN115701125A (zh) 图像防抖方法与电子设备
CN111712857A (zh) 图像处理方法、装置、云台和存储介质
WO2016154873A1 (zh) 一种终端设备和拍照的方法
CN113438421A (zh) 图像处理方法、装置、终端和可读存储介质
JP6231816B2 (ja) 撮像装置およびその制御方法、プログラム並びに記憶媒体
CN110784642B (zh) 图像处理装置及其控制方法以及存储介质、摄像装置
KR20100046544A (ko) 영상 왜곡 보정 방법 및 장치
CN115174878B (zh) 投影画面校正方法、装置和存储介质
CN114785957A (zh) 拍摄方法及其装置
CN113329164B (zh) 一种镜头校正方法、装置、拍摄终端及存储介质
JP2011182084A (ja) 画像処理装置および画像処理プログラム
JP7013205B2 (ja) 像振れ補正装置およびその制御方法、撮像装置
CN115278071B (zh) 图像处理方法、装置、电子设备和可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant