CN110610465A - 图像校正方法和装置、电子设备、计算机可读存储介质 - Google Patents
图像校正方法和装置、电子设备、计算机可读存储介质 Download PDFInfo
- Publication number
- CN110610465A CN110610465A CN201910790658.XA CN201910790658A CN110610465A CN 110610465 A CN110610465 A CN 110610465A CN 201910790658 A CN201910790658 A CN 201910790658A CN 110610465 A CN110610465 A CN 110610465A
- Authority
- CN
- China
- Prior art keywords
- image frame
- information
- initial image
- target
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000003702 image correction Methods 0.000 title claims abstract description 45
- 238000012545 processing Methods 0.000 claims description 59
- 238000013507 mapping Methods 0.000 claims description 47
- 239000011159 matrix material Substances 0.000 claims description 47
- 230000001133 acceleration Effects 0.000 claims description 20
- 238000001914 filtration Methods 0.000 claims description 20
- 238000013519 translation Methods 0.000 claims description 15
- 238000004422 calculation algorithm Methods 0.000 claims description 14
- 238000006243 chemical reaction Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 11
- 238000012937 correction Methods 0.000 claims description 11
- 230000004927 fusion Effects 0.000 claims description 7
- 230000002194 synthesizing effect Effects 0.000 claims description 7
- 230000000694 effects Effects 0.000 abstract description 12
- 230000036544 posture Effects 0.000 description 98
- 230000006870 function Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 11
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 5
- 238000007499 fusion processing Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 238000003705 background correction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000005355 Hall effect Effects 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000007620 mathematical function Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000011343 solid material Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
Abstract
本申请涉及一种图像校正方法和装置、电子设备、计算机可读存储介质，该图像校正方法包括：获取初始图像帧对应的云台的姿态信息、摄像头的姿态信息和所述摄像头镜头的运动信息；获取时延信息，将所述时延信息、所述云台的姿态信息、所述摄像头的姿态信息和所述摄像头镜头的运动信息进行融合处理，得到所述初始图像帧的当前姿态；将所述初始图像帧的当前姿态转换为目标姿态；根据所述目标姿态对所述初始图像帧中的像素点进行校正处理，得到所述目标姿态对应的目标图像帧。采用本方案可得到稳定的图像帧，提高图像的防抖效果。
Description
技术领域
本申请涉及计算机设备，特别是涉及一种图像校正方法、装置、电子设备、计算机可读存储介质。
背景技术
随着计算机技术的发展，越来越多人使用终端设备采集图像和拍摄视频。由于用户手持终端设备进行拍摄时容易发生抖动，抖动会导致成像不清晰、不完整，影响图像的质量。
发明内容
本申请实施例提供一种图像校正方法、装置、电子设备、计算机可读存储介质，可以提高图像拍摄的防抖效果。
一种图像校正方法，包括：
获取初始图像帧对应的云台的姿态信息、摄像头的姿态信息和所述摄像头镜头的运动信息；
获取时延信息，将所述时延信息、所述云台的姿态信息、所述摄像头的姿态信息和所述摄像头镜头的运动信息进行融合处理，得到所述初始图像帧的当前姿态；
将所述初始图像帧的当前姿态转换为目标姿态；
根据所述目标姿态对所述初始图像帧中的像素点进行校正处理，得到所述目标姿态对应的目标图像帧。
一种图像校正装置，包括：
获取模块，用于获取初始图像帧对应的云台的姿态信息、摄像头的姿态信息和所述摄像头镜头的运动信息；
融合模块，用于获取时延信息，将所述时延信息、所述云台的姿态信息、所述摄像头的姿态信息和所述摄像头镜头的运动信息进行融合处理，得到所述初始图像帧的当前姿态；
转换模块，用于将所述初始图像帧的当前姿态转换为目标姿态；
校正模块，用于根据所述目标姿态对所述初始图像帧中的像素点进行校正处理，得到所述目标姿态对应的目标图像帧。
一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行任一项所述方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现任一项所述方法的步骤。
上述图像校正方法和装置、电子设备、计算机可读存储介质，通过获取初始图像帧对应的云台的姿态信息、摄像头的姿态信息和摄像头镜头的运动信息，获取时延信息，将时延信息、云台的姿态信息、摄像头的姿态信息和摄像头镜头的运动信息进行融合处理，得到初始图像帧的当前姿态，根据多种信息融合能够更准确的确定图像帧的当前姿态。将初始图像帧的当前姿态转换为目标姿态，根据目标姿态对初始图像帧中的像素点进行校正处理，得到目标姿态对应的目标图像帧，从而得到稳定的图像帧，提高了图像的防抖效果。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一个实施例中电子设备的内部结构框图；
图2为一个实施例中图像校正方法的流程图；
图3为一个实施例中获取初始图像帧对应的摄像头镜头的运动信息的步骤的流程图；
图4为一个实施例中获取时延信息的步骤的流程图；
图5为一个实施例中计算损失误差的步骤的流程图；
图6为一个实施例中根据目标姿态对初始图像帧中的像素点进行校正处理的步骤的流程图；
图7为一个实施例中图像校正方法的原理图；
图8为一个实施例中图像校正装置的结构框图；
图9为一个实施例中电子设备的内部结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例中的图像校正方法可应用于电子设备。该电子设备可为带有摄像头的计算机设备、个人数字助理、平板电脑、智能手机、穿戴式设备等。
在一个实施例中，上述电子设备中可包括图像处理电路，图像处理电路可以利用硬件和/ 或软件组件实现，可包括定义ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。图1为一个实施例中图像处理电路的示意图。如图1所示，为便于说明，仅示出与本申请实施例相关的图像处理技术的各个方面。
如图1所示，图像处理电路包括第一ISP处理器130、第二ISP处理器140和控制逻辑器150。第一摄像头110包括一个或多个第一透镜112和第一图像传感器114。第一图像传感器114可包括色彩滤镜阵列(如Bayer滤镜)，第一图像传感器114可获取用第一图像传感器114的每个成像像素捕捉的光强度和波长信息，并提供可由第一ISP处理器130处理的一组图像数据。第二摄像头120包括一个或多个第二透镜122和第二图像传感器124。第二图像传感器124可包括色彩滤镜阵列(如Bayer滤镜)，第二图像传感器124可获取用第二图像传感器124的每个成像像素捕捉的光强度和波长信息，并提供可由第二ISP处理器140处理的一组图像数据。
第一摄像头110采集的第一图像传输给第一ISP处理器130进行处理，第一ISP处理器 130处理第一图像后，可将第一图像的统计数据(如图像的亮度、图像的反差值、图像的颜色等)发送给控制逻辑器150，控制逻辑器150可根据统计数据确定第一摄像头110的控制参数，从而第一摄像头110可根据控制参数进行自动对焦、自动曝光等操作。第一图像经过第一ISP处理器130进行处理后可存储至图像存储器160中，第一ISP处理器130也可以读取图像存储器160中存储的图像以对进行处理。另外，第一图像经过ISP处理器130进行处理后可直接发送至显示器170进行显示，显示器170也可以读取图像存储器160中的图像以进行显示。
其中，第一ISP处理器130按多种格式逐个像素地处理图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，第一ISP处理器130可对图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。
图像存储器160可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。
当接收到来自第一图像传感器114接口时，第一ISP处理器130可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器160，以便在被显示之前进行另外的处理。第一ISP处理器130从图像存储器160接收处理数据，并对所述处理数据进行RGB和YCbCr颜色空间中的图像数据处理。第一ISP处理器130处理后的图像数据可输出给显示器170，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，第一ISP处理器130的输出还可发送给图像存储器160，且显示器170可从图像存储器160读取图像数据。在一个实施例中，图像存储器160可被配置为实现一个或多个帧缓冲器。
第一ISP处理器130确定的统计数据可发送给控制逻辑器150。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、第一透镜112阴影校正等第一图像传感器114统计信息。控制逻辑器150可包括执行一个或多个例程(如固件)的处理器和/ 或微控制器，一个或多个例程可根据接收的统计数据，确定第一摄像头110的控制参数及第一ISP处理器130的控制参数。例如，第一摄像头110的控制参数可包括增益、曝光控制的积分时间、防抖参数、闪光控制参数、第一透镜112控制参数(例如聚焦或变焦用焦距)、或这些参数的组合等。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间) 的增益水平和色彩校正矩阵，以及第一透镜112阴影校正参数。
同样地，第二摄像头120采集的第二图像传输给第二ISP处理器140进行处理，第二ISP 处理器140处理第一图像后，可将第二图像的统计数据(如图像的亮度、图像的反差值、图像的颜色等)发送给控制逻辑器150，控制逻辑器150可根据统计数据确定第二摄像头120的控制参数，从而第二摄像头120可根据控制参数进行自动对焦、自动曝光等操作。第二图像经过第二ISP处理器140进行处理后可存储至图像存储器160中，第二ISP处理器140也可以读取图像存储器160中存储的图像以对进行处理。另外，第二图像经过ISP处理器140 进行处理后可直接发送至显示器170进行显示，显示器170也可以读取图像存储器160中的图像以进行显示。第二摄像头120和第二ISP处理器140也可以实现如第一摄像头110和第一ISP处理器130所描述的处理过程。
在一个实施例中，第一摄像头110可为彩色摄像头，第二摄像头120可为TOF(TimeOf Flight，飞行时间)摄像头或结构光摄像头。TOF摄像头可获取TOF深度图，结构光摄像头可获取结构光深度图。第一摄像头110和第二摄像头120可均为彩色摄像头。通过两个彩色摄像头获取双目深度图。第一ISP处理器130和第二ISP处理器140可为同一ISP处理器。
第一摄像头110进行拍摄时，可将采集的初始图像帧发送给ISP处理器。ISP处理器可获取该第一摄像头110采集该初始图像帧时对应的云台的姿态信息、摄像头的姿态信息和摄像头镜头的运动信息。ISP处理器获取时延信息，将时延信息、云台的姿态信息、摄像头的姿态信息和摄像头镜头的运动信息进行融合处理，得到初始图像帧的当前姿态。将初始图像帧的当前姿态转换为目标姿态，根据目标姿态对初始图像帧中的像素点进行校正处理，得到目标姿态对应的目标图像帧。通过确定摄像头采集初始图像帧时的当前姿态下，并将当前姿态下的初始图像帧的转换为目标姿态下的目标图像帧，从而可对每个初始图像帧的像素点进行校正处理，提高了图像防抖的防抖效果。
图2为一个实施例中图像校正方法的流程图。本实施例中的图像校正方法，以运行于图 1中的电子设备上为例进行描述。如图2所示，该图像校正方法包括：
步骤202，获取初始图像帧对应的云台的姿态信息、摄像头的姿态信息和该摄像头镜头的运动信息。
其中，云台的姿态信息是指用于表征云台当前姿态的信息。摄像头的姿态信息是指用于表征摄像头当前姿态的信息。摄像头镜头的运动信息是指用于表征摄像头镜片当前姿态的信息。
具体地，电子设备在拍摄图像过程中，电子设备的ISP处理器或中央处理器通过摄像头采集图像，得到初始图像帧。并且，电子设备的ISP处理器或中央处理器可通过云台内部的传感器获取电子设备的摄像头采集初始图像帧时云台的当前姿态信息。接着，电子设备的ISP 处理器或中央处理器可获取摄像头采集初始图像帧时的角速度，并通过角速度和时间的关系获得角度信息。通过检测摄像头在采集初始图像帧时的加速度，并通过加速度和时间的关系获得位置信息。再根据摄像头的角度信息和位置信息可到摄像头采集初始图像帧时该摄像头对应的姿态信息。电子设备的ISP处理器或中央处理器获取该摄像头采集初始图像帧时镜头的运动信息。
步骤204，获取时延信息，将时延信息、云台的姿态信息、摄像头的姿态信息和摄像头镜头的运动信息进行融合处理，得到该初始图像帧的当前姿态。
其中，时延信息是指获取云台的姿态信息、摄像头的姿态信息和摄像头镜头的运动信息这些信息时的延时信息。例如，摄像头采集初始图像帧的时刻为0.1t，获取得到该初始图像帧对应的云台的姿态信息、摄像头的姿态信息和摄像头镜头的运动信息的时刻为0.13t，则表示采集这些信息的时刻有0.03t的延迟，该0.03t即可作为时延信息。
具体地，电子设备的ISP处理器或中央处理器获取时延信息，将时延信息、云台的姿态信息、摄像头的姿态信息和摄像头镜头的运动信息进行融合处理，可得到该初始图像帧的当前姿态。
在本实施例中，云台的姿态信息、摄像头的姿态信息和摄像头镜头的运动信息可分别对应各自的时延信息。例如，云台的姿态信息对应第一时延信息、摄像头的姿态信息对应第二时延信息，摄像头镜头的运动信息对应第三时延信息。则电子设备的ISP处理器或中央处理器将云台的姿态信息、摄像头的姿态信息和摄像头镜头的运动信息分别与各自对应时延信息进行首次融合，再将融合后的三种信息再次融合，从而得到该初始图像帧的当前姿态。
例如，可通过下列公式(1)实现时延信息、云台的姿态信息、摄像头的姿态信息和摄像头镜头的运动信息的融合处理：
R(t；Δt1,Δt2,Δt3)＝RC(t；Δt1)+RG(t；Δt2)+RO(t；Δt3) (1)
其中，RC(t；Δt1)为云台的姿态信息、RG(t；Δt2)为摄像头的姿态信息、RO(t；Δt3)为摄像头镜头的运动信息。Δt1,Δt2,Δt3分别为云台的姿态信息、摄像头的姿态信息和摄像头镜头的运动信息对应的时延参数。R(t；Δt1,Δt2,Δt3)为初始图像帧的当前姿态矩阵，用于表征初始图像帧的当前姿态。
步骤206，将该初始图像帧的当前姿态转换为目标姿态。
其中，目标姿态是指根据初始图像帧的当前姿态进行预测得到的摄像头处于稳定状态时的姿态。
具体地，电子设备的ISP处理器或中央处理器得到初始图像帧的当前姿态信息后，可根据当前姿态进行预测，确定当前姿态对应的目标姿态。进一步地，可通过目标姿态预测算法将初始图像帧的当前姿态转换为目标姿态。
步骤208，根据目标姿态对初始图像帧中的像素点进行校正处理，得到目标姿态对应的目标图像帧。
其中，目标图像帧是指将初始图像帧中的像素点从当前姿态转换到目标姿态后得到的像素点所组成的图像帧。
具体地，电子设备的ISP处理器或中央处理器可将当前姿态下的初始图像帧中的每个像素点转换到目标姿态下，得到初始图像帧对应的目标姿态下的每个像素点。输出初始图像帧在目标姿态下的每个像素点，可得到目标图像帧。
本实施例中的图像校正方法，通过获取初始图像帧对应的云台的姿态信息、摄像头的姿态信息和摄像头镜头的运动信息，获取时延信息，将时延信息、云台的姿态信息、摄像头的姿态信息和摄像头镜头的运动信息进行融合处理，得到初始图像帧的当前姿态，根据多种信息融合能够更准确的确定图像帧的当前姿态。将初始图像帧的当前姿态转换为目标姿态，根据目标姿态对初始图像帧中的像素点进行校正处理，得到目标姿态对应的目标图像帧，从而得到稳定的图像帧，提高了图像的防抖效果。
在一个实施例中，该获取初始图像帧对应的云台的姿态信息，包括：
获取初始图像帧对应的云台的三轴角速度信息，将该三轴角速度信息转换为第一旋转矩阵，该第一旋转矩阵用于表征该云台的姿态信息。
具体地，在采集初始图像帧时，云台可通过内部的传感器检测自身的三轴角速度，例如，通过云台内部的陀螺仪等检测云台的三轴角速度。并将各轴的分量在时间维度上进行积分处理可得到该初始图像帧对应的三轴角速度信息并输出。电子设备的ISP处理器或中央处理器可获取云台输出的三轴角速度信息。接着，将各轴的旋转角度转换为第一旋转矩阵，该第一旋转矩阵用于表征该初始图像帧对应的云台的姿态信息。通过获取初始图像帧对应的云台的三轴角速度信息，可确定云台的姿态信息，从而可得到确定初始图像帧的当前姿态的其中一个参考信息，将云台的姿态信息与其它信息结合可更准确确定初始图像帧的当前姿态。
在一个实施例中，获取初始图像帧对应的摄像头的姿态信息，包括：
获取初始图像帧对应的摄像头的三轴角速度信息，将该三轴角速度信息转换为第二旋转矩阵；获取该初始图像帧对应的摄像头的三轴加速度信息，将该三轴加速度信息转换为第二平移矩阵，该第二旋转矩阵和该第二平移矩阵用于表征该摄像头的姿态信息。
具体地，电子设备的ISP处理器或中央处理器通过陀螺仪输出三轴角速度，并将各轴的分量在时间维度上进行积分处理可得到变成三轴角速度信息。接着，可通过左手坐标系或右手坐标系将各轴的旋转角度转换为第二旋转矩阵。具体地，电子设备的ISP处理器或中央处理器通过加速度计输出三轴加速度，并将各轴的分量在时间维度上进行积分处理可得到变成三轴加速度信息。接着，可通过左手坐标系或右手坐标系将各轴的加速度信息转换为第二平移矩阵。可以理解的是，第二旋转矩阵和第二平移矩阵分别为角速度信息和加速度信息通过左手坐标系或右手坐标系中的一种坐标系下进行转换得到。该第二旋转矩阵和该第二平移矩阵用于表征该摄像头的当前姿态。
本实施例中的图像校正方法，通过获取初始图像帧对应的摄像头的三轴角速度信息，将该三轴角速度信息转换为第二旋转矩阵，获取该初始图像帧对应的摄像头的三轴加速度信息，将该三轴加速度信息转换为第二平移矩阵，该第二旋转矩阵和该第二平移矩阵用于表征该摄像头的姿态信息，从而可将摄像头的姿态信息作为确定初始图像帧的当前姿态的一个参考量，并结合其它信息以能够更准确地确定初始图像帧的当前姿态。
在一个实施例中，如图3所示，该运动信息包括摄像头的焦距值和该摄像头镜头的偏移量；获取初始图像帧对应的该摄像头镜头的运动信息，包括：
步骤302，确定摄像头拍摄初始图像帧时马达所处的位置。
步骤304，根据马达所处的位置获取摄像头的焦距值。
其中，马达的位置为采集初始图像帧时，马达驱动摄像头的镜头进行对焦时马达所处的位置。
具体地，电子设备的ISP处理器或中央处理器可确定采集初始图像帧时马达驱动镜头进行对焦后的马达所处的位置，并根据预设的马达所处的位置与焦距值之间的对应关系，获取采集初始图像帧时马达所处的位置对应的焦距值，该焦距值即为摄像头采集初始图像帧时的焦距值。
步骤306，基于霍尔传感器的霍尔值确定摄像头镜头的偏移量。
其中，霍尔传感器(Hall sensor)是根据霍尔效应制作的一种磁场传感器，霍尔效应从本质上讲是运动的带电粒子在磁场中受洛仑兹力作用引起的偏转。当带电粒子(电子或空穴)被约束在固体材料中，这种偏转就导致在垂直电流和磁场的方向上产生正负电荷的聚积，从而形成附加的横向电场。
具体地，电子设备可以通过霍尔传感器记录摄像头的镜头在XY平面上的偏移刻度，并记录偏移刻度的同时，还可以记录偏移的方向，根据每个刻度对应的距离，以及偏移方向，继而得到镜头偏移(cx,cy)。在本申请实施例中，已知霍尔传感器采集的霍尔值的大小，即可唯一确定出当前时刻该镜头偏移的大小。其中，陀螺仪传感器采集的角速度信息与霍尔传感器采集的霍尔值在时序上相对应。
本实施例中的图像校正方法，可根据预设的马达所处的位置与焦距值的对应关系得到采集初始图像帧时马达所处的位置对应的焦距值，基于霍尔传感器的霍尔值确定摄像头镜头的偏移量，从而可采集到初始图像帧对应的摄像头镜头的运动信息。
在一个实施例中，该根据马达所处的位置获取摄像头的焦距值，包括：
获取关系映射表，从该关系映射表中获取该马达所处的位置对应的焦距值，该关系映射表中记录马达的位置和焦距值之间的映射关系。
其中，关系映射表为预先设置的马达所处的位置与对焦值之间的对应关系的表，用于记录马达所处的位置和焦距值之间的映射关系。
具体地，电子设备的ISP处理器或中央处理器可获取关系映射表，将该采集初始图像帧时马达所处的位置与关系映射表中马达所处的位置一一对比，确定该关系映射表中的与初始图像帧对应的马达所处的位置相同的位置。接着，可获取该关系映射表中相同的马达所处的位置对应的焦距值，则该焦距值即为采集该初始图像帧时摄像头对应的焦距值。通过关系映射表可快速简单的得到采集初始图像帧时摄像头对应的焦距值。
在一个实施例中，如图4所示，该时延信息包括目标时延参数，该获取时延信息，包括：
步骤402，获取初始图像帧的前向图像帧序列。
步骤404，将前向图像帧序列和初始图像帧组成图像帧集合，将图像帧集合中的各个图像帧进行像素点匹配，得到匹配像素点序列。
其中，前向图像帧序列是指初始图像帧之前的图像帧序列。匹配像素点序列是指多帧图像帧中的相匹配的多个像素点，多帧是指至少两帧，多个像素点为至少两个。例如，图像帧集合共有5帧图像帧，这5帧图像帧中相匹配的像素点组成匹配像素点序列。
具体地，电子设备的ISP处理器或中央处理器获取初始图像帧之前的每一图像帧，得到前向图像帧序列，并将获取的前向图像帧序列和初始图像帧组成图像帧集合。接着，电子设备的ISP处理器或中央处理器将图像帧集合中的各个图像帧进行像素点匹配，得到各个图像帧中相匹配的像素点，从而得到匹配像素点序列。
在本实施例中，可使用特征点匹配方法如Harris(角点检测算法)、SIFT (Scale-invariant feature transform，尺度不变特征转换)、SURF(Speeded Up RobustFeatures，加速稳健特征)、FAST(Features from accelerated segment test，角点检测算法)等算法获取匹配像素点对；也可以使用基于稀疏或稠密光流匹配的光流匹配算法获得光流一致的像素点对；还可以使用基于Lucas-Kanade光流法和前后向匹配误差联合的前后向目标跟踪方法获取稳定的像素点对。
步骤406，根据当前时延参数和图像帧集合中任意相邻两个图像帧对应的匹配像素点计算得到损失误差。
其中，当前时延参数是指待标定的时延参数。
具体地，电子设备的ISP处理器或中央处理器从图像帧集合中获取任意相邻的两个图像帧，并从匹配像素点序列中获取该两个图像帧匹配的像素点。获取损失函数，根据当前时延参数计算两个图像帧对应的匹配像素点之间的损失误差。根据损失函数计算得到的值即为损失误差。进一步地，电子设备的ISP处理器或中央处理器计算出图像帧集合中所有任意相邻两个图像帧对应的匹配像素点的损失误差。
步骤408，根据损失误差和匹配像素点序列计算代价误差，当代价误差满足预设条件时，将满足预设条件时的时延参数作为目标时延参数。
其中，代价误差是指所有样本的损失误差的平均。在本实施例中，代价误差是指所有相邻两个图像帧对应的匹配像素点的损失误差的平均。预设条件是指迭代得到的代价误差达到最小值，或者迭代的次数达到预设次数。
具体地，电子设备的ISP处理器或中央处理器获取代价函数，将匹配像素点的损失误差和匹配像素点序列对应的像素坐标代入代价函数，从而计算出代价误差。进一步地，电子设备的ISP处理器或中央处理器将匹配像素点的损失误差和匹配像素点序列代入代价函数后，对该代价函数不断迭代，并得到每次迭代的代价误差，以及每次迭代得到的代价误差对应的时延参数。当迭代的代价误差满足预设条件时，获取代价误差满足预设条件时的时延参数，当该时延参数作为目标时延参数。将代价误差满足预设条件时的时延参数作为目标时延参数，此时得到的时延参数更为准确。
例如，可根据下列公式(2)(3)(4)计算得到目标时延参数：
其中，E(xi,xj)为相匹配的像素点坐标xi和xj的损失误差，Δt为时延参数，k为缩放参数。xi和xj为相邻两个图像帧中相匹配的像素点x的像素坐标。PN为匹配像素点序列。R为姿态矩阵。J为代价函数，通过代价函数公式(3)可求出代价误差，当代价误差最小时，即根据公式(4)可迭代计算出代价误差最小时的时延参数Δt，该Δt包括Δt1,Δt2,Δt3。
在一个实施例中，如图5所示，该根据当前时延参数和该图像帧集合中任意相邻两个图像帧对应的匹配像素点计算得到损失误差，包括：
步骤502，获取图像帧集合中任意相邻两个图像帧对应的匹配像素点的像素坐标。
具体地，电子设备的ISP处理器或中央处理器从图像帧集合中任意获取两个相邻的图像帧，并获取两个相邻的图像帧中对应的匹配像素点的像素坐标。
步骤504，确定匹配像素点的像素坐标的映射关系。
具体地，电子设备的ISP处理器或中央处理器可获取两个相邻的图像帧中每个图像帧对应的云台的姿态信息、摄像头的姿态信息和摄像头镜头的运动信息。获取映射函数，将该两个相邻的图像帧中每个图像帧对应的云台的姿态信息、摄像头的姿态信息和摄像头镜头的运动信息代入该映射函数，并将该匹配像素点对应的像素坐标代入该映射函数，可确定匹配像素点的像素坐标的映射关系。该匹配像素点的像素坐标的映射关系即为相邻的两个图像帧之间的映射关系。
例如，云台的姿态信息、摄像头的姿态信息和摄像头镜头的运动信息分别记为：RC(t；Δt1)、RG(t；Δt2)、RO(t；Δt3)，其中，Δt1,Δt2,Δt3分别为云台的姿态信息、摄像头的姿态信息和摄像头镜头的运动信息对应的时延参数。
相邻两个图像帧的匹配像素点的像素坐标之间的映射关系如公式(5)：
xj＝S(tj,ti,Δt)xi (5)
S(tj,ti,Δt)＝KR(tj+Δt)RT(ti+Δt)K-1 (6)
其中，xi为前一图像帧中的像素点x在i时刻的像素坐标。xj为后一图像帧中的像素点x 在j时刻的像素坐标。j时刻为i时刻的后一时刻。相邻两个图像帧为在不同时刻采集的同一场景的图像帧。S(tj,ti,Δt)为相邻两个图像帧的匹配像素点x的像素坐标xi和xj之间的映射关系，也可以称为相邻两个图像帧之间的映射关系。K为相机内参，R为j时刻得到的图像帧对应的姿态矩阵，RT为i时刻得到的图像帧对应的姿态矩阵的转置矩阵，Δt为时延参数，包括Δt1,Δt2,Δt3。
步骤506，获取当前时延参数，根据当前时延参数、匹配像素点的像素坐标和映射关系计算得到损失误差。
具体地，电子设备的ISP处理器或中央处理器可获取当前时延参数，并获取损失函数。将当前时延参数、匹配像素点的像素坐标和映射关系计算得到损失误差。
例如，通过上述公式(2)计算损失误差：
本实施例中的图像校正方法，获取图像帧集合中任意相邻两个图像帧对应的匹配像素点的像素坐标，确定匹配像素点的像素坐标的映射关系、获取当前时延参数，根据当前时延参数、匹配像素点的像素坐标和映射关系能够快速计算出损失误差。
在一个实施例中，该将该初始图像帧的当前姿态转换为目标姿态，包括：
对该初始图像帧的当前姿态进行低通滤波处理，得到该初始图像帧对应的目标姿态。
具体地，电子设备的ISP处理器或中央处理器将初始图像帧的当前姿态信息经过低通滤波处理，可去除初始图像帧中的高频量，保留低频量，从而保留初始图像帧中的关键信息，滤波后可得到初始图像帧对应的目标姿态。进一步地，可对初始图像帧的当前姿态进行高斯滤波处理，得到目标姿态。通过对该初始图像帧的当前姿态进行低通滤波处理，可以预测出初始图像帧在稳定状态下的目标姿态。
在本实施例中，当使用电子设备拍摄视频时，对拍摄的每帧初始图像帧的当前姿态进行高斯平滑处理，得到每帧初始图像帧对应的目标姿态。
在一个实施例中，对该初始图像帧的当前姿态进行低通滤波处理，得到该初始图像帧的目标姿态，包括：
将该初始图像帧的当前姿态转换到频域空间；将该频域空间的当前姿态进行低通滤波处理；将经过低通滤波处理后的当前姿态转换到时域空间，得到该初始图像帧对应的目标姿态。
其中，时域即时间域，是描述数学函数或物理信号对时间的关系，例如一个信号的时域波形可以表达信号随时间的变化。频域即频率域，频域的自变量是频率，即横轴是频率，纵轴是该频率信号的幅度，也就是频谱图。频谱图描述了信号的频率结构及频率与该频率信号幅度的关系。
具体地，ISP处理器或中央处理器通过陀螺仪获取角速度，并通过加速度计获取加速度。将角速度和加速度通过时域上的积分，将该角速度和加速度转换为当前姿态。接着，ISP处理器或中央处理器可将时域空间上的当前姿态转换到频域空间。接着，ISP处理器或中央处理器将该当前姿态进行低通滤波，去除该当前姿态中的高频量，保留当前姿态中的低频量。接着，ISP处理器或中央处理器经过低通滤波处理后的当前姿态再转换到时域空间，经过低通滤波处理后的从频域空间转换到时域空间后得到的姿态即为目标姿态。
本实施例中的图像校正方法，通过将该当前姿态转换到频域空间，使得初始图像帧的能量主要集中在低频，将该频域空间的当前姿态进行低通滤波处理，可去除初始图像帧中的高频量，保留低频量，从而保留初始图像帧中的关键，使得初始图像帧的更直观。将经过低通滤波处理后的当前姿态转换到时域空间，得到目标姿态，可将当前姿态准确转换为目标姿态，从而可以预测出初始图像帧在稳定状态下的姿态，即目标姿态。
在一个实施例中，如图6所示，该根据该目标姿态对该初始图像帧中的像素点进行校正处理，得到该目标姿态对应的目标图像帧，包括：
步骤602，获取初始图像帧中各像素点对应的初始像素坐标。
其中，初始像素坐标是指初始图像帧中的各像素点在当前姿态下的像素坐标。
具体地，电子设备的ISP处理器或中央处理器获取在该当前姿态下该初始图像帧中各像素点的像素坐标，即初始像素坐标。
步骤604，采用坐标转换算法将初始像素坐标转换为目标像素坐标，该目标像素坐标为初始图像帧中各像素点在目标姿态下的像素坐标。
步骤606，输出目标像素坐标，生成目标姿态对应的目标图像帧。
具体地，通过坐标转换算法将当前姿态下的各像素点对应的初始像素坐标转换为目标姿态下的目标像素坐标。进一步地，该目标像素坐标为在该目标姿态下该初始图像帧中各像素点的像素坐标。通过坐标转换算法可将初始图像帧中的每个像素点的像素坐标从当前姿态转换到目标姿态，从而实现每个像素点的校正处理。
本实施例中的图像校正方法，通过采用坐标转换算法将当前姿态下的初始图像帧中的各像素点的坐标转换目标姿态下的对应坐标，从而可针对性的对每个像素点进行校正。
例如，可通过下列公式(7)(8)对像素点进行校正处理：
x′＝S(t)x (7)
S(t)＝KR′(t)RT(t)K-1 (8)
其中，x为当前姿态下的初始图像帧中的像素点的像素坐标，即初始像素坐标。x′为目标姿态下的初始图像帧中的像素点的像素坐标，即目标像素坐标。K为相机内参，S(t)为当前姿态与目标姿态的映射关系，R′为目标姿态的姿态矩阵，RT为当前姿态的姿态矩阵的转置矩阵。
在一个实施例中，当使用该摄像头拍摄视频时，该方法还包括：
获取每帧初始图像帧对应的目标图像帧；将该每帧初始图像帧对应的目标图像帧按照该每帧初始图像帧的拍摄顺序进行合成，得到目标视频。
具体地，该图像校正方法可应用于视频拍摄场景。当用户使用电子设备拍摄视频时，电子设备的ISP处理器或图像处理器采集每帧图像，并将采集到的每帧图像帧作为初始图像帧，并获取电子设备的摄像头采集每帧初始图像帧时对应的云台的姿态信息、摄像头的姿态信息和所述摄像头镜头的运动信息。获取时延信息，将每帧初始图像帧对应的云台的姿态信息、摄像头的姿态信息、摄像头镜头的运动信息和该时延信息进行融合处理，得到每帧初始图像帧的当前姿态。将每帧初始图像帧的当前姿态转换为目标姿态，得到每帧初始图像帧分别对应的目标姿态。根据每帧初始图像帧对应的目标姿态分别对对应的初始图像帧中的像素点进行校正处理，得到每个目标姿态对应的目标图像帧。该目标图像帧即为初始图像帧在目标姿态下对应的图像帧。
接着，电子设备的ISP处理器或中央处理器可确定每帧初始图像帧的拍摄顺序，并将每帧初始图像帧对应的目标图像帧按照该拍摄顺序进行合成。当完成最后一帧初始图像帧对应的目标图像帧的合成处理后，可得到目标视频。
上述图像校正方法，可将拍摄视频时采集的图像帧按照该图像处理方法进行校正，得到校正后的各帧目标图像帧，并将各帧目标图像帧按照初始图像帧的采集顺序进行合成，得到校正后的目标视频，从而在拍摄过程中避免了水纹效应，实现了视频拍摄的防抖。
如图7所示，为一个实施例中图像校正方法的原理图。电子设备的ISP处理器获取初始图像帧，并采集初始图像帧对应的云台的姿态信息、摄像头的姿态信息和摄像头镜头的运动信息。通过云台内部的姿态传感器采集云台的姿态信息，通过摄像头姿态传感器采集摄像头的姿态信息，通过OIS采集摄像头镜头的运动信息。对时延参数进行标定，得到标定后的目标时延参数。将目标时延参数、云台的姿态信息、摄像头的姿态信息和摄像头镜头的运动信息进行融合处理，得到初始图像帧的运动序列曲线。然后对得到的运动序列曲线进行滤波，得到理想运动曲线，利用理想运动信息将图片传感器输出的初始图像帧序列映射到稳定的运动平面，从而去除水纹效应，将映射到稳定的运动平面的图像帧序列进行合成得到稳定的目标图像帧，将稳定的目标图像帧合成可得到去除水纹效应的目标视频。
在一个实施例中，提供了一种图像校正方法，包括：
步骤(a1)，获取初始图像帧；获取初始图像帧对应的云台的三轴角速度信息，将三轴角速度信息转换为第一旋转矩阵，第一旋转矩阵用于表征云台的姿态信息。
步骤(a2)，获取初始图像帧对应的摄像头的三轴角速度信息，将三轴角速度信息转换为第二旋转矩阵。
步骤(a3)，获取初始图像帧对应的摄像头的三轴加速度信息，将三轴加速度信息转换为第二平移矩阵，第二旋转矩阵和第二平移矩阵用于表征摄像头的姿态信息。
步骤(a4)，摄像头镜头的运动信息包括摄像头的焦距值和摄像头镜头的偏移量；确定摄像头拍摄初始图像帧时马达所处的位置；获取关系映射表，从关系映射表中获取马达所处的位置对应的焦距值，关系映射表中记录马达的位置和焦距值之间的映射关系。
步骤(a5)，基于霍尔传感器的霍尔值确定摄像头镜头的偏移量。
步骤(a6)，获取初始图像帧的前向图像帧序列。
步骤(a7)，将前向图像帧序列和初始图像帧组成图像帧集合，将图像帧集合中的各个图像帧进行像素点匹配，得到匹配像素点序列。
步骤(a8)，获取图像帧集合中任意相邻两个图像帧对应的匹配像素点的像素坐标，确定匹配像素点的像素坐标的映射关系。
步骤(a9)，获取当前时延参数，根据当前时延参数、匹配像素点的像素坐标和映射关系计算得到损失误差。
步骤(a10)，根据损失误差和匹配像素点序列计算代价误差，当代价误差满足预设条件时，将满足预设条件时的时延参数作为目标时延参数。
步骤(a11)，将目标时延参数、云台的姿态信息、摄像头的姿态信息和摄像头镜头的运动信息进行融合处理，得到初始图像帧的当前姿态。
步骤(a12)，对初始图像帧的当前姿态进行高斯滤波处理，得到初始图像帧对应的目标姿态。
步骤(a13)，获取初始图像帧中各像素点对应的初始像素坐标。
步骤(a14)，采用坐标转换算法将初始像素坐标转换为目标像素坐标，目标像素坐标为初始图像帧中各像素点在目标姿态下的像素坐标。
步骤(a15)，输出目标像素坐标，生成目标姿态对应的目标图像帧。
步骤(a16)，获取每帧初始图像帧对应的目标图像帧；将每帧初始图像帧对应的目标图像帧按照每帧初始图像帧的拍摄顺序进行合成，得到目标视频。
上述图像校正方法，通过获取初始图像帧对应的云台的姿态信息、摄像头的姿态信息和摄像头镜头的运动信息，获取时延信息，将时延信息、云台的姿态信息、摄像头的姿态信息和摄像头镜头的运动信息进行融合处理，得到初始图像帧的当前姿态，根据多种信息融合能够更准确的确定图像帧的当前姿态。通过对该初始图像帧的当前姿态进行低通滤波处理，可以预测出初始图像帧在稳定状态下的目标姿态。采用坐标转换算法将初始图像帧中各像素点的初始像素坐标转换为目标像素坐标，目标像素坐标为初始图像帧中各像素点在目标姿态下的像素坐标。实现对初始图像帧中的像素点的校正处理，得到目标姿态对应的目标图像帧，从而得到稳定的图像帧，提高了图像的防抖效果。将各帧目标图像帧按照初始图像帧的采集顺序进行合成，得到校正后的目标视频，从而在拍摄过程中避免了水纹效应，实现了视频拍摄的防抖。
应该理解的是，虽然图2-图6的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-图6中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
图8为一个实施例的图像校正装置的结构框图。如图8所示，该图像校正装置包括：
获取模块802，用于获取初始图像帧对应的云台的姿态信息、摄像头的姿态信息和摄像头镜头的运动信息。
融合模块804，用于获取时延信息，将时延信息、云台的姿态信息、摄像头的姿态信息和摄像头镜头的运动信息进行融合处理，得到初始图像帧的当前姿态。
转换模块806，用于将初始图像帧的当前姿态转换为目标姿态。
校正模块808，用于根据目标姿态对初始图像帧中的像素点进行校正处理，得到目标姿态对应的目标图像帧。
本实施例中的图像校正装置，通过获取初始图像帧对应的云台的姿态信息、摄像头的姿态信息和摄像头镜头的运动信息，获取时延信息，将时延信息、云台的姿态信息、摄像头的姿态信息和摄像头镜头的运动信息进行融合处理，得到初始图像帧的当前姿态，根据多种信息融合能够更准确的确定图像帧的当前姿态。将初始图像帧的当前姿态转换为目标姿态，根据目标姿态对初始图像帧中的像素点进行校正处理，得到目标姿态对应的目标图像帧，从而得到稳定的图像帧，提高了图像的防抖效果。
在一个实施例中，该获取模块802还用于：获取初始图像帧对应的云台的三轴角速度信息，将该三轴角速度信息转换为第一旋转矩阵，该第一旋转矩阵用于表征该云台的姿态信息。通过获取初始图像帧对应的云台的三轴角速度信息，可确定云台的姿态信息，从而可得到确定初始图像帧的当前姿态的其中一个参考信息，将云台的姿态信息与其它信息结合可更准确确定初始图像帧的当前姿态。
在一个实施例中，该获取模块802还用于：获取初始图像帧对应的摄像头的三轴角速度信息，将该三轴角速度信息转换为第二旋转矩阵；获取该初始图像帧对应的摄像头的三轴加速度信息，将该三轴加速度信息转换为第二平移矩阵，该第二旋转矩阵和该第二平移矩阵用于表征该摄像头的姿态信息。
本实施例中的图像校正装置，通过获取初始图像帧对应的摄像头的三轴角速度信息，将该三轴角速度信息转换为第二旋转矩阵，获取该初始图像帧对应的摄像头的三轴加速度信息，将该三轴加速度信息转换为第二平移矩阵，该第二旋转矩阵和该第二平移矩阵用于表征该摄像头的姿态信息，从而可将摄像头的姿态信息作为确定初始图像帧的当前姿态的一个参考量，并结合其它信息以能够更准确地确定初始图像帧的当前姿态。
在一个实施例中，该获取模块802还用于：确定该摄像头拍摄该初始图像帧时马达所处的位置；根据该马达所处的位置获取该摄像头的焦距值；基于霍尔传感器的霍尔值确定该摄像头镜头的偏移量。
本实施例中的图像校正装置，可根据预设的马达所处的位置与焦距值的对应关系得到采集初始图像帧时马达所处的位置对应的焦距值，基于霍尔传感器的霍尔值确定摄像头镜头的偏移量，从而可采集到初始图像帧对应的摄像头镜头的运动信息。
在一个实施例中，该获取模块802还用于：获取关系映射表，从该关系映射表中获取该马达所处的位置对应的焦距值，该关系映射表中记录马达的位置和焦距值之间的映射关系。通过关系映射表可快速简单的得到采集初始图像帧时摄像头对应的焦距值。
在一个实施例中，该获取模块802还用于：获取该初始图像帧的前向图像帧序列；将该前向图像帧序列和该初始图像帧组成图像帧集合，将该图像帧集合中的各个图像帧进行像素点匹配，得到匹配像素点序列；根据当前时延参数和该图像帧集合中任意相邻两个图像帧对应的匹配像素点计算得到损失误差；根据该损失误差和该匹配像素点序列计算代价误差，当该代价误差满足预设条件时，将满足预设条件时的时延参数作为目标时延参数。将代价误差满足预设条件时的时延参数作为目标时延参数，此时得到的时延参数更为准确。
在一个实施例中，该获取模块802还用于：获取该图像帧集合中任意相邻两个图像帧对应的匹配像素点的像素坐标；确定该匹配像素点的像素坐标的映射关系；获取当前时延参数，根据该当前时延参数、该匹配像素点的像素坐标和该映射关系计算得到损失误差。
本实施例中的图像校正装置，获取图像帧集合中任意相邻两个图像帧对应的匹配像素点的像素坐标，确定匹配像素点的像素坐标的映射关系、获取当前时延参数，根据当前时延参数、匹配像素点的像素坐标和映射关系能够快速计算出损失误差。
在一个实施例中，该转换模块806还用于：对该初始图像帧的当前姿态进行低通滤波处理，得到该初始图像帧对应的目标姿态。通过对该初始图像帧的当前姿态进行低通滤波处理，可以预测出初始图像帧在稳定状态下的目标姿态。
在一个实施例中，校正模块808还用于：获取该初始图像帧中各像素点对应的初始像素坐标；采用坐标转换算法将该初始像素坐标转换为目标像素坐标，该目标像素坐标为该初始图像帧中各像素点在该目标姿态下的像素坐标；输出该目标像素坐标，生成该目标姿态对应的目标图像帧。通过采用坐标转换算法将当前姿态下的初始图像帧中的各像素点的坐标转换目标姿态下的对应坐标，从而可针对性的对每个像素点进行校正。
在一个实施例中，当使用该摄像头拍摄视频时，该装置还包括：合成模块。该合成模块用于：获取每帧初始图像帧对应的目标图像帧；将该每帧初始图像帧对应的目标图像帧按照该每帧初始图像帧的拍摄顺序进行合成，得到目标视频。
上述图像校正装置，可将拍摄视频时采集的图像帧按照该图像处理方法进行校正，得到校正后的各帧目标图像帧，并将各帧目标图像帧按照初始图像帧的采集顺序进行合成，得到校正后的目标视频，从而在拍摄过程中避免了水纹效应，实现了视频拍摄的防抖。
上述图像校正装置中各个模块的划分仅用于举例说明，在其他实施例中，可将图像校正装置按照需要划分为不同的模块，以完成上述图像校正装置的全部或部分功能。
图9为一个实施例中电子设备的内部结构示意图。如图9所示，该电子设备包括通过系统总线连接的处理器和存储器。其中，该处理器用于提供计算和控制能力，支撑整个电子设备的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种图像校正方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。该电子设备可以是手机、平板电脑或者个人数字助理或穿戴式设备等。
本申请实施例中提供的图像校正装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行图像校正方法的步骤。
一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行图像校正方法。
本申请实施例所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (13)
1.一种图像校正方法，其特征在于，包括：
获取初始图像帧对应的云台的姿态信息、摄像头的姿态信息和所述摄像头镜头的运动信息；
获取时延信息，将所述时延信息、所述云台的姿态信息、所述摄像头的姿态信息和所述摄像头镜头的运动信息进行融合处理，得到所述初始图像帧的当前姿态；
将所述初始图像帧的当前姿态转换为目标姿态；
根据所述目标姿态对所述初始图像帧中的像素点进行校正处理，得到所述目标姿态对应的目标图像帧。
2.根据权利要求1所述的方法，其特征在于，所述获取初始图像帧对应的云台的姿态信息，包括：
获取初始图像帧对应的云台的三轴角速度信息，将所述三轴角速度信息转换为第一旋转矩阵，所述第一旋转矩阵用于表征所述云台的姿态信息。
3.根据权利要求1所述的方法，其特征在于，获取初始图像帧对应的摄像头的姿态信息，包括：
获取初始图像帧对应的摄像头的三轴角速度信息，将所述三轴角速度信息转换为第二旋转矩阵；
获取所述初始图像帧对应的摄像头的三轴加速度信息，将所述三轴加速度信息转换为第二平移矩阵，所述第二旋转矩阵和所述第二平移矩阵用于表征所述摄像头的姿态信息。
4.根据权利要求1至3中任一项所述的方法，其特征在于，所述运动信息包括摄像头的焦距值和所述摄像头镜头的偏移量；获取初始图像帧对应的所述摄像头镜头的运动信息，包括：
确定所述摄像头拍摄所述初始图像帧时马达所处的位置；
根据所述马达所处的位置获取所述摄像头的焦距值；
基于霍尔传感器的霍尔值确定所述摄像头镜头的偏移量。
5.根据权利要求4所述的方法，其特征在于，所述根据所述马达所处的位置获取所述摄像头的焦距值，包括：
获取关系映射表，从所述关系映射表中获取所述马达所处的位置对应的焦距值，所述关系映射表中记录马达的位置和焦距值之间的映射关系。
6.根据权利要求1所述的方法，其特征在于，所述时延信息包括目标时延参数，所述获取时延信息，包括：
获取所述初始图像帧的前向图像帧序列；
将所述前向图像帧序列和所述初始图像帧组成图像帧集合，将所述图像帧集合中的各个图像帧进行像素点匹配，得到匹配像素点序列；
根据当前时延参数和所述图像帧集合中任意相邻两个图像帧对应的匹配像素点计算得到损失误差；
根据所述损失误差和所述匹配像素点序列计算代价误差，当所述代价误差满足预设条件时，将满足预设条件时的时延参数作为目标时延参数。
7.根据权利要求6所述的方法，其特征在于，所述根据当前时延参数和所述图像帧集合中任意相邻两个图像帧对应的匹配像素点计算得到损失误差，包括：
获取所述图像帧集合中任意相邻两个图像帧对应的匹配像素点的像素坐标；
确定所述匹配像素点的像素坐标的映射关系；
获取当前时延参数，根据所述当前时延参数、所述匹配像素点的像素坐标和所述映射关系计算得到损失误差。
8.根据权利要求1所述的方法，其特征在于，所述将所述初始图像帧的当前姿态转换为目标姿态，包括：
对所述初始图像帧的当前姿态进行低通滤波处理，得到所述初始图像帧对应的目标姿态。
9.根据权利要求1所述的方法，其特征在于，所述根据所述目标姿态对所述初始图像帧中的像素点进行校正处理，得到所述目标姿态对应的目标图像帧，包括：
获取所述初始图像帧中各像素点对应的初始像素坐标；
采用坐标转换算法将所述初始像素坐标转换为目标像素坐标，所述目标像素坐标为所述初始图像帧中各像素点在所述目标姿态下的像素坐标；
输出所述目标像素坐标，生成所述目标姿态对应的目标图像帧。
10.根据权利要求1所述的方法，其特征在于，当使用所述摄像头拍摄视频时，所述方法还包括：
获取每帧初始图像帧对应的目标图像帧；
将所述每帧初始图像帧对应的目标图像帧按照所述每帧初始图像帧的拍摄顺序进行合成，得到目标视频。
11.一种图像校正装置，其特征在于，包括：
获取模块，用于获取初始图像帧对应的云台的姿态信息、摄像头的姿态信息和所述摄像头镜头的运动信息；
融合模块，用于获取时延信息，将所述时延信息、所述云台的姿态信息、所述摄像头的姿态信息和所述摄像头镜头的运动信息进行融合处理，得到所述初始图像帧的当前姿态；
转换模块，用于将所述初始图像帧的当前姿态转换为目标姿态；
校正模块，用于根据所述目标姿态对所述初始图像帧中的像素点进行校正处理，得到所述目标姿态对应的目标图像帧。
12.一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至10中任一项所述方法的步骤。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至10中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910790658.XA CN110610465B (zh) | 2019-08-26 | 2019-08-26 | 图像校正方法和装置、电子设备、计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910790658.XA CN110610465B (zh) | 2019-08-26 | 2019-08-26 | 图像校正方法和装置、电子设备、计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110610465A true CN110610465A (zh) | 2019-12-24 |
| CN110610465B CN110610465B (zh) | 2022-05-17 |
Family
ID=68890547
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910790658.XA Active CN110610465B (zh) | 2019-08-26 | 2019-08-26 | 图像校正方法和装置、电子设备、计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110610465B (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111627048A (zh) * | 2020-05-19 | 2020-09-04 | 浙江大学 | 多摄像机的协同目标搜索方法 |
| CN112788236A (zh) * | 2020-12-31 | 2021-05-11 | 维沃移动通信有限公司 | 视频帧处理方法、装置、电子设备和可读存储介质 |
| CN112884813A (zh) * | 2021-02-18 | 2021-06-01 | 北京小米松果电子有限公司 | 图像处理方法、装置及存储介质 |
| WO2021138768A1 (zh) * | 2020-01-06 | 2021-07-15 | 深圳市大疆创新科技有限公司 | 图像处理方法、设备、可移动平台、成像装置及存储介质 |
| CN113132612A (zh) * | 2019-12-31 | 2021-07-16 | 华为技术有限公司 | 一种图像稳像处理方法、终端拍摄方法、介质及系统 |
| CN113240615A (zh) * | 2021-05-20 | 2021-08-10 | 北京城市网邻信息技术有限公司 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
| CN113489879A (zh) * | 2021-07-29 | 2021-10-08 | Oppo广东移动通信有限公司 | 信息同步方法、电子设备和计算机可读存储介质 |
| CN114004890A (zh) * | 2021-11-04 | 2022-02-01 | 北京房江湖科技有限公司 | 姿态确定方法、装置、电子设备和存储介质 |
| CN114339102A (zh) * | 2020-09-29 | 2022-04-12 | 华为技术有限公司 | 一种录像方法及设备 |
| CN114556879A (zh) * | 2020-12-16 | 2022-05-27 | 深圳市大疆创新科技有限公司 | 延时检测方法、装置、系统、可移动平台和存储介质 |
| WO2022166432A1 (zh) * | 2021-02-05 | 2022-08-11 | 歌尔科技有限公司 | 摄像头的控制方法、装置、电子设备及存储介质 |
| CN115953328A (zh) * | 2023-03-13 | 2023-04-11 | 天津所托瑞安汽车科技有限公司 | 一种目标矫正方法、系统及电子设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104486543A (zh) * | 2014-12-09 | 2015-04-01 | 北京时代沃林科技发展有限公司 | 智能终端触控方式控制云台摄像头的设备和方法 |
| CN105791986A (zh) * | 2014-12-23 | 2016-07-20 | 中国移动通信集团公司 | 视频时延的检测方法及装置 |
| CN106796420A (zh) * | 2016-05-31 | 2017-05-31 | 深圳市大疆灵眸科技有限公司 | 图像稳定装置控制方法和图像稳定装置 |
| CN106954024A (zh) * | 2017-03-28 | 2017-07-14 | 成都通甲优博科技有限责任公司 | 一种无人机及其电子稳像方法、系统 |
| CN109348125A (zh) * | 2018-10-31 | 2019-02-15 | Oppo广东移动通信有限公司 | 视频校正方法、装置、电子设备和计算机可读存储介质 |
| CN110166695A (zh) * | 2019-06-26 | 2019-08-23 | Oppo广东移动通信有限公司 | 摄像头防抖方法、装置、电子设备和计算机可读存储介质 |
-
2019
- 2019-08-26 CN CN201910790658.XA patent/CN110610465B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104486543A (zh) * | 2014-12-09 | 2015-04-01 | 北京时代沃林科技发展有限公司 | 智能终端触控方式控制云台摄像头的设备和方法 |
| CN105791986A (zh) * | 2014-12-23 | 2016-07-20 | 中国移动通信集团公司 | 视频时延的检测方法及装置 |
| CN106796420A (zh) * | 2016-05-31 | 2017-05-31 | 深圳市大疆灵眸科技有限公司 | 图像稳定装置控制方法和图像稳定装置 |
| CN106954024A (zh) * | 2017-03-28 | 2017-07-14 | 成都通甲优博科技有限责任公司 | 一种无人机及其电子稳像方法、系统 |
| CN109348125A (zh) * | 2018-10-31 | 2019-02-15 | Oppo广东移动通信有限公司 | 视频校正方法、装置、电子设备和计算机可读存储介质 |
| CN110166695A (zh) * | 2019-06-26 | 2019-08-23 | Oppo广东移动通信有限公司 | 摄像头防抖方法、装置、电子设备和计算机可读存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| HOAI-NAM NGUYEN ET AL.: "A Variational Method for Dejittering Large Fluorescence Line Scanner Images", 《 IEEE TRANSACTIONS ON COMPUTATIONAL IMAGING》 * |
| 尹雅楠: "视频监控图像去抖动视觉监测算法优化仿真", 《计算机仿真》 * |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113132612A (zh) * | 2019-12-31 | 2021-07-16 | 华为技术有限公司 | 一种图像稳像处理方法、终端拍摄方法、介质及系统 |
| WO2021138768A1 (zh) * | 2020-01-06 | 2021-07-15 | 深圳市大疆创新科技有限公司 | 图像处理方法、设备、可移动平台、成像装置及存储介质 |
| CN111627048A (zh) * | 2020-05-19 | 2020-09-04 | 浙江大学 | 多摄像机的协同目标搜索方法 |
| CN114339102A (zh) * | 2020-09-29 | 2022-04-12 | 华为技术有限公司 | 一种录像方法及设备 |
| CN114339102B (zh) * | 2020-09-29 | 2023-06-02 | 华为技术有限公司 | 一种录像方法及设备 |
| CN114556879A (zh) * | 2020-12-16 | 2022-05-27 | 深圳市大疆创新科技有限公司 | 延时检测方法、装置、系统、可移动平台和存储介质 |
| WO2022126436A1 (zh) * | 2020-12-16 | 2022-06-23 | 深圳市大疆创新科技有限公司 | 延时检测方法、装置、系统、可移动平台和存储介质 |
| CN112788236A (zh) * | 2020-12-31 | 2021-05-11 | 维沃移动通信有限公司 | 视频帧处理方法、装置、电子设备和可读存储介质 |
| WO2022166432A1 (zh) * | 2021-02-05 | 2022-08-11 | 歌尔科技有限公司 | 摄像头的控制方法、装置、电子设备及存储介质 |
| CN112884813A (zh) * | 2021-02-18 | 2021-06-01 | 北京小米松果电子有限公司 | 图像处理方法、装置及存储介质 |
| CN113240615A (zh) * | 2021-05-20 | 2021-08-10 | 北京城市网邻信息技术有限公司 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
| CN113489879A (zh) * | 2021-07-29 | 2021-10-08 | Oppo广东移动通信有限公司 | 信息同步方法、电子设备和计算机可读存储介质 |
| CN114004890A (zh) * | 2021-11-04 | 2022-02-01 | 北京房江湖科技有限公司 | 姿态确定方法、装置、电子设备和存储介质 |
| CN114004890B (zh) * | 2021-11-04 | 2023-03-24 | 如你所视(北京)科技有限公司 | 姿态确定方法、装置、电子设备和存储介质 |
| CN115953328A (zh) * | 2023-03-13 | 2023-04-11 | 天津所托瑞安汽车科技有限公司 | 一种目标矫正方法、系统及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110610465B (zh) | 2022-05-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110610465B (zh) | 图像校正方法和装置、电子设备、计算机可读存储介质 | |
| CN111246089B (zh) | 抖动补偿方法和装置、电子设备、计算机可读存储介质 | |
| CN110536057B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| CN110166695B (zh) | 摄像头防抖方法、装置、电子设备和计算机可读存储介质 | |
| CN111147741B (zh) | 基于对焦处理的防抖方法和装置、电子设备、存储介质 | |
| CN110473159B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| CN109712192B (zh) | 摄像模组标定方法、装置、电子设备及计算机可读存储介质 | |
| WO2020259474A1 (zh) | 追焦方法、装置、终端设备、计算机可读存储介质 | |
| CN110290323B (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
| CN109600548B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| CN110278360B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| CN113875219B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| CN110475067B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| CN109598764B (zh) | 摄像头标定方法和装置、电子设备、计算机可读存储介质 | |
| CN109660718B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| CN111246100B (zh) | 防抖参数的标定方法、装置和电子设备 | |
| CN111932587A (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| CN109559353B (zh) | 摄像模组标定方法、装置、电子设备及计算机可读存储介质 | |
| CN109951641B (zh) | 图像拍摄方法和装置、电子设备、计算机可读存储介质 | |
| CN109559352B (zh) | 摄像头标定方法、装置、电子设备和计算机可读存储介质 | |
| CN109584312B (zh) | 摄像头标定方法、装置、电子设备和计算机可读存储介质 | |
| CN110493522A (zh) | 防抖方法和装置、电子设备、计算机可读存储介质 | |
| CN110035206A (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| CN112866553B (zh) | 对焦方法和装置、电子设备、计算机可读存储介质 | |
| CN109584311B (zh) | 摄像头标定方法、装置、电子设备和计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |