CN109410130A - 图像处理方法和图像处理装置 - Google Patents
图像处理方法和图像处理装置 Download PDFInfo
- Publication number
- CN109410130A CN109410130A CN201811138769.4A CN201811138769A CN109410130A CN 109410130 A CN109410130 A CN 109410130A CN 201811138769 A CN201811138769 A CN 201811138769A CN 109410130 A CN109410130 A CN 109410130A
- Authority
- CN
- China
- Prior art keywords
- image
- coordinates
- targets
- shooting
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 132
- 238000003672 processing method Methods 0.000 title claims abstract description 44
- 238000000034 method Methods 0.000 claims description 68
- 230000008569 process Effects 0.000 claims description 50
- 239000011159 matrix material Substances 0.000 claims description 43
- 238000004422 calculation algorithm Methods 0.000 claims description 34
- 102000008297 Nuclear Matrix-Associated Proteins Human genes 0.000 claims description 29
- 108010035916 Nuclear Matrix-Associated Proteins Proteins 0.000 claims description 29
- 210000000299 nuclear matrix Anatomy 0.000 claims description 29
- 238000013519 translation Methods 0.000 claims description 15
- 238000010606 normalization Methods 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 12
- 230000006870 function Effects 0.000 description 23
- 238000001514 detection method Methods 0.000 description 22
- 230000002452 interceptive effect Effects 0.000 description 16
- 238000012937 correction Methods 0.000 description 8
- 238000001914 filtration Methods 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 7
- 238000005457 optimization Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 201000004569 Blindness Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003707 image sharpening Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
本申请提供一种图像处理方法和图像处理装置。该图像处理方法和图像处理装置中，根据待处理图像之前和之后获取的两个短曝光之间的特征点对的坐标值，来消除拍摄模块在拍摄待处理图像的过程中，因平移对待处理图像中的像素点的运动坐标的影响，从而可以提高根据该运动坐标得到的模糊核的准确度，从而可以提高待处理图像的去模糊效果。
Description
技术领域
本申请涉及图像处理领域，并且更具体地，涉及图像处理方法和图像处理装置。
背景技术
在拍摄设备进行拍摄的过程中，由于使用者手部的抖动或者其他原因，在曝光过程中，成像系统存在着抖动的情况。若曝光过程较长或者成像系统抖动程度较大，成像系统获得的图像会产生模糊。
拍摄设备上的陀螺仪和加速度计等姿态传感器模组能在一定程度上记录曝光过程中的运动信息。结合成像系统的内部参数以及自动对焦过程中得到的理想焦距，可以对模糊图像进行去模糊处理，以获得清晰度提高后的图像。
模糊图像的数学模型可以看成是清晰图像被一个点扩散函数作用后附加上加性噪声退化而成的。这个点扩散函数被称为“模糊核”。当模糊图像的模糊核在各个区域相等时，可以用“卷积”来表示这个作用过程。因此，图像去模糊也被称为图像去卷积。当成像系统在成像过程中存在旋转时，图像不同区域的模糊核是不相同的，但其变化较缓慢。一般是将图像按照区域位置分块成多个子图像，认为子图像内各个像素点模糊核相同，再进行去卷积操作。
通常，图像去模糊工作的首要的任务是获得造成模糊的模糊核。传统的利用模糊图像中的边缘信息来获得模糊核的方法效果受限于拍摄的场景。当模糊图像中纹理信息复杂或者模糊图像移动量较大时，模糊核估计的效果较差。
因此提出了一种利用传感器数据来估计模糊核的图像处理方法。利用传感器数据来估计模糊核的图像处理方法，对图像内容的依赖性小。
现有的一种利用传感器信息进行图像去模糊的方法包括如下步骤：
(1)获得陀螺仪信号和加速度计信号，利用“互补滤波”的方法消除噪声，累加角速度信息获得旋转角度序列；
(2)利用旋转角度序列、加速度计信号以及初始的成像系统内参矩阵，计算由旋转造成的图像坐标相对位移初始估计；
(3)提取图像特征点，并代入步骤(2)得到的位移估计值，建立最优化方程，优化成像系统的内参矩阵；
(4)用旋转角度序列和优化后的内参矩阵计算图像旋转模糊核；
(5)用旋转角度的变化剧烈程度估计离焦模糊核，并与旋转模糊核相加，作为最终的模糊核；
(6)用维纳滤波进行图像去模糊，得到最终的清晰图像。
该方法没有考虑图像平移对图像坐标相对位移产生的估计误差，使得计算得到的图像坐标相对位移的精确度不够，从而影响计算的模糊核的精确度不够，最终导致去模糊效果较差。
发明内容
本申请提供一种图像处理方法和图像处理装置，有助于提高去模糊处理所使用的模糊核的精确度，从而可以提高去模糊效果，最终可以提高图像的清晰度。
第一方面，本申请提供了一种图像处理方法，该图像处理方法包括：获取第一图像、第二图像和第三图像，其中，所述第一图像是在拍摄所述第二图像之前拍摄的，所述第三图像是在拍摄所述第二图像之后拍摄的，所述第一图像和所述第三图像为短曝光的图像，所述第二图像为长曝光的图像；获取所述第二图像中的第一像素点的多个运动坐标，所述多个运动坐标与所述第二图像的拍摄过程中的多个时刻一一对应；获取所述第一图像与所述第三图像的多个特征点对；根据所述多个特征点对中每个特征点对的坐标值计算所述拍摄设备在所述第二图像的拍摄过程中的平移量；根据所述平移量消除所述拍摄设备在所述第二图像的拍摄过程中的平移对所述多个运动坐标的影响，得到与所述多个运动坐标一一对应的多个目标坐标；根据所述多个目标坐标计算模糊核；使用所述模糊核对所述第二图像进行去模糊处理。
该图像处理方法中，根据第二图像之前短曝光得到的第一图像和第二图像之后短曝光得到的第三图像之间的特征点对的坐标值来计算用于消除拍摄模块在拍摄第二图像的过程中因平移对第二图像中的像素点的运动坐标的影响的平移量，从而可以提高根据该运动坐标得到的模糊核的准确度，从而可以提高第二图像的去模糊效果。
此外，根据第二图像之前短曝光得到的第一图像和第二图像之后短曝光得到的第三图像之间的特征点对的坐标值来计算用于消除拍摄模块在拍摄第二图像的过程中因平移对第二图像中的像素点的运动坐标的影响的平移量，不依赖于图像内容本身，可以使得该去模糊的方法可以应用于近景图像和远景图像的去模糊处理。
在一种可能的实现方式中，所述根据所述多个特征点对中每个特征点对的坐标值计算所述拍摄设备在所述第二图像的拍摄过程中的平移量，包括：计算所述多个特征点中的每个特征点对所包括的像素点之间的坐标差值，作为所述拍摄设备在所述第二图像的拍摄过程中的平移量。
在一种可能的实现方式中，所述根据所述平移量消除所述拍摄设备在所述第二图像的拍摄过程中的平移对所述多个运动坐标的影响，得到与所述多个运动坐标一一对应的多个目标坐标，包括：
通过公式计算得到所述多个目标坐标，其中，Ct*表示所述多个目标坐标按照时序排列组成的目标坐标序列，τt表示Ct*的轨迹在法向方向上变化的剧烈程度，κt表示Ct*在切向方向变化的剧烈程度，C0*表示所述目标坐标序列中的第0个元素，表示所述目标坐标序列中的最后一个元素，CFB表示所述第一图像和所述第三图像的特征点对的坐标偏差的均值，α、β、γ为预先设定的常数，Ct是指所述多个运动坐标按照时序排列组成的相对运动坐标序列。
在一种可能的实现方式中，所述根据所述多个目标坐标计算模糊核，包括：
通过公式计算得到第一模糊核，其中，Kernel(u,v)表示所述模糊核的二维矩阵，u为所述模糊核在x轴方向上的大小，v为所述模糊核在y轴方向上的大小，Ck为归一化系数，是指所述多个目标坐标中的x坐标按照时序排列组成的第一子坐标序列，是指所述多个目标坐标中的y坐标按照时序排列组成的第二子坐标序列，σ为常量，Nt是指所述多个目标坐标按照时序排列组成的目标坐标序列的长度；
对所述第一模糊核进行优化，得到所述模糊核。
在一种可能的实现方式中，所述对所述第一模糊核进行优化，得到所述模糊核，包括：
通过公式和对所述第一模糊核进行优化，得到所述模糊核，其中，Kernel表示模糊核矩阵，I为利用所述模糊核矩阵对所述第二图像去模糊处理后得到的清晰图像，表示卷积运算，B表示所述第二图像，λ为预先设定的正则化系数，Δ表示求梯度运算，|| ||α运算表示求矩阵的第α阶范数运算。
在一种可能的实现方式中，所述使用所述模糊核对所述第二图像进行去模糊处理，包括：
通过公式对所述第二图像进行去模糊处理，其中，M中的每个元素表示该元素对应的像素点为“非奇异点”的概率，Kernel表示模糊核矩阵，I为利用所述模糊核矩阵对所述第二图像去模糊处理后得到的清晰图像，表示卷积运算，B表示所述第二图像，λ为预先设定的正则化系数，Δ表示求梯度运算，|| ||α运算表示求矩阵的第α阶范数运算。
在一种可能的实现方中，所述获取所述第二图像中的第一像素点的多个运动坐标，包括：获取拍摄装置在拍摄所述第一图像、所述第二图像和所述第三图像的过程中的角速度；根据所述角速度获取所述拍摄装置在所述第一图像、所述第二图像和所述第三图像的拍摄过程中的旋转角度；根据所述拍摄装置的内参矩阵、所述旋转角度和所述第二图像中的第一像素点的起始坐标，计算所述多个运动坐标，所述第一像素点的起始坐标是指所述拍摄装置开始拍摄所述第二图像时所述第一像素点的坐标。
可选地，根据所述角速度获取所述拍摄装置在所述第一图像、所述第二图像和所述第三图像的拍摄过程中的旋转角度，可以包括：对所述角速度组成的角速度序列进行插值扩充处理，得到扩充后的角速度序列；根据所述扩充后的角速度序列获取所述拍摄装置在所述第一图像、所述第二图像和所述第三图像的拍摄过程中的旋转角度。
这样可以提高模糊核的准确度，从而可以提高对第一图像的去模糊效果。
在一种可能的实现方式中，所述第二图像为待处理图像所包括的多个子图像中的一个，所述待处理图像为所述拍摄装置在拍摄所述第一图像之后、且在拍摄所述第三图像之前拍摄的图像，所述待处理图像为长曝光的图像。相应地，所述图像处理方法还包括：将所述第二图像与所述多个子图像中其他每个图像去模糊处理后得到的图像合并处理，以得到所述待处理图像进行去模糊处理后的目标图像。
这样可以提高去模糊的效果，同时可以提高去模糊的效率。
在一种可能的实现方式中，所述第一像素点为所述第二图像中心位置的像素点。该实现方式可以提高模糊核的准确度，减少获取模糊核的计算量。
第二方面，本申请提供了一种图像处理装置，该图像处理装置包括：获取模块，用于获取第一图像、第二图像和第三图像，其中，所述第一图像是在拍摄所述第二图像之前拍摄的，所述第三图像是在拍摄所述第二图像之后拍摄的，所述第一图像和所述第三图像为短曝光的图像，所述第二图像为长曝光的图像；所述获取模块还用与获取所述第二图像中的第一像素点的多个运动坐标，所述多个运动坐标与所述第二图像的拍摄过程中的多个时刻一一对应；所述获取模块还用于获取所述第一图像与所述第三图像的多个特征点对；计算模块，用于根据所述多个特征点对中每个特征点对的坐标值计算所述拍摄设备在所述第二图像的拍摄过程中的平移量；误差消除模块，用于根据所述平移量消除所述拍摄设备在所述第二图像的拍摄过程中的平移对所述多个运动坐标的影响，得到与所述多个运动坐标一一对应的多个目标坐标；所述计算模块还用于根据所述多个目标坐标计算模糊核；去模糊模块，用于使用所述模糊核对所述第二图像进行去模糊处理。
在一种可能的实现方式中，所述计算模块具体用于：计算所述多个特征点中的每个特征点对所包括的像素点之间的坐标差值，作为所述拍摄设备在所述第二图像的拍摄过程中的平移量。
在一种可能的实现方式中，所述误差消除模块具体用于：
通过公式计算得到所述多个目标坐标，其中，Ct*表示所述多个目标坐标按照时序排列组成的目标坐标序列，τt表示Ct*的轨迹在法向方向上变化的剧烈程度，κt表示Ct*在切向方向变化的剧烈程度，C0*表示所述目标坐标序列中的第0个元素，表示所述目标坐标序列中的最后一个元素，CFB表示所述第一图像和所述第三图像的特征点对的坐标偏差的均值，α、β、γ为预先设定的常数，Ct是指所述多个运动坐标按照时序排列组成的相对运动坐标序列。
在一种可能的实现方式中，所述计算模块具体用于：
通过公式计算得到第一模糊核，其中，Kernel(u,v)表示所述模糊核的二维矩阵，u为所述模糊核在x轴方向上的大小，v为所述模糊核在y轴方向上的大小，Ck为归一化系数，是指所述多个目标坐标中的x坐标按照时序排列组成的第一子坐标序列，是指所述多个目标坐标中的y坐标按照时序排列组成的第二子坐标序列，σ为常量，Nt是指所述多个目标坐标按照时序排列组成的目标坐标序列的长度；
对所述第一模糊核进行优化，得到所述模糊核。
在一种可能的实现方式中，所述计算模块具体用于：
通过公式和对所述第一模糊核进行优化，得到所述模糊核，其中，Kernel表示模糊核矩阵，I为利用所述模糊核矩阵对所述第二图像去模糊处理后得到的清晰图像，表示卷积运算，B表示所述第二图像，λ为预先设定的正则化系数，Δ表示求梯度运算，|| ||α运算表示求矩阵的第α阶范数运算。
在一种可能的实现方式中，所述去模糊模块具体用于：
通过公式对所述第二图像进行去模糊处理，其中，M中的每个元素表示该元素对应的像素点为“非奇异点”的概率，Kernel表示模糊核矩阵，I为利用所述模糊核矩阵对所述第二图像去模糊处理后得到的清晰图像，表示卷积运算，B表示所述第二图像，λ为预先设定的正则化系数，Δ表示求梯度运算，|| ||α运算表示求矩阵的第α阶范数运算。
在一种可能的实现方式中，所述获取模块具体用于：获取拍摄装置在拍摄所述第一图像、所述第二图像和所述第三图像的过程中的角速度；根据所述角速度获取所述拍摄装置在所述第一图像、所述第二图像和所述第三图像的拍摄过程中的旋转角度；根据所述拍摄装置的内参矩阵、所述旋转角度和所述第二图像中的第一像素点的起始坐标，计算所述多个运动坐标，所述第一像素点的起始坐标是指所述拍摄装置开始拍摄所述第二图像时所述第一像素点的坐标。
在一种可能的实现方式中，所述第二图像为待处理图像所包括的多个子图像中的一个，所述待处理图像为所述拍摄装置在拍摄所述第一图像之后、且在拍摄所述第三图像之前拍摄的图像，所述待处理图像为长曝光的图像；其中，所述图像处理装置还包括：合并模块，用于将所述第二图像与所述多个子图像中其他每个图像去模糊处理后得到的图像合并处理，以得到所述待处理图像进行去模糊处理后的目标图像。
第三方面，本申请提供了一种图像处理装置，该图像处理装置与存储器耦合的处理器，所述处理器用于执行程序指令，以实现：获取第一图像、第二图像和第三图像，其中，所述第一图像是在拍摄所述第二图像之前拍摄的，所述第三图像是在拍摄所述第二图像之后拍摄的，所述第一图像和所述第三图像为短曝光的图像，所述第二图像为长曝光的图像；获取所述第二图像中的第一像素点的多个运动坐标，所述多个运动坐标与所述第二图像的拍摄过程中的多个时刻一一对应；获取所述第一图像与所述第三图像的多个特征点对；根据所述多个特征点对中每个特征点对的坐标值计算所述拍摄设备在所述第二图像的拍摄过程中的平移量；根据所述平移量消除所述拍摄设备在所述第二图像的拍摄过程中的平移对所述多个运动坐标的影响，得到与所述多个运动坐标一一对应的多个目标坐标；根据所述多个目标坐标计算模糊核；使用所述模糊核对所述第二图像进行去模糊处理。
在一种可能的实现方式中，所述处理器具体用于实现：计算所述多个特征点中的每个特征点对所包括的像素点之间的坐标差值，作为所述拍摄设备在所述第二图像的拍摄过程中的平移量。
在一种可能的实现方式中，所述处理器具体用于实现：
通过公式计算得到所述多个目标坐标，其中，Ct*表示所述多个目标坐标按照时序排列组成的目标坐标序列，τt表示Ct*的轨迹在法向方向上变化的剧烈程度，κt表示Ct*在切向方向变化的剧烈程度，C0*表示所述目标坐标序列中的第0个元素，表示所述目标坐标序列中的最后一个元素，CFB表示所述第一图像和所述第三图像的特征点对的坐标偏差的均值，α、β、γ为预先设定的常数，Ct是指所述多个运动坐标按照时序排列组成的相对运动坐标序列。
在一种可能的实现方式中，所述处理器具体用于实现：
通过公式计算得到第一模糊核，其中，Kernel(u,v)表示所述模糊核的二维矩阵，u为所述模糊核在x轴方向上的大小，v为所述模糊核在y轴方向上的大小，Ck为归一化系数，是指所述多个目标坐标中的x坐标按照时序排列组成的第一子坐标序列，是指所述多个目标坐标中的y坐标按照时序排列组成的第二子坐标序列，σ为常量，Nt是指所述多个目标坐标按照时序排列组成的目标坐标序列的长度；
对所述第一模糊核进行优化，得到所述模糊核。
在一种可能的实现方式中，所述处理器具体用于实现：
通过公式和对所述第一模糊核进行优化，得到所述模糊核，其中，Kernel表示模糊核矩阵，I为利用所述模糊核矩阵对所述第二图像去模糊处理后得到的清晰图像，表示卷积运算，B表示所述第二图像，λ为预先设定的正则化系数，Δ表示求梯度运算，|| ||α运算表示求矩阵的第α阶范数运算。
在一种可能的实现方式中，所述处理器具体用于实现：
通过公式对所述第二图像进行去模糊处理，其中，M的每个元素表示该元素对应的像素点为“非奇异点”的概率，Kernel表示模糊核矩阵，I为利用所述模糊核矩阵对所述第二图像去模糊处理后得到的清晰图像，表示卷积运算，B表示所述第二图像，λ为预先设定的正则化系数，Δ表示求梯度运算，|| ||α运算表示求矩阵的第α阶范数运算。
在一种可能的实现方式中，所述处理器具体用于实现：获取拍摄装置在拍摄所述第一图像、所述第二图像和所述第三图像的过程中的角速度；根据所述角速度获取所述拍摄装置在所述第一图像、所述第二图像和所述第三图像的拍摄过程中的旋转角度；根据所述拍摄装置的内参矩阵、所述旋转角度和所述第二图像中的第一像素点的起始坐标，计算所述多个运动坐标，所述第一像素点的起始坐标是指所述拍摄装置开始拍摄所述第二图像时所述第一像素点的坐标。
在一种可能的实现方式中，所述第二图像为待处理图像所包括的多个子图像中的一个，所述待处理图像为所述拍摄装置在拍摄所述第一图像之后、且在拍摄所述第三图像之前拍摄的图像，所述待处理图像为长曝光的图像；其中，所述处理器还用于实现将所述第二图像与所述多个子图像中其他每个图像去模糊处理后得到的图像合并处理，以得到所述待处理图像进行去模糊处理后的目标图像。
可选地，该图像处理装置还可以包括存储器，用于存储处理器执行的程序代码或处理器执行程序指令的过程中涉及的数据。
可选地，该图像处理装置可以是芯片。这种情况下，该图像处理装置还可以包括通信接口，用于与其他装置或设备通信。
可选地，该图像处理装置可以是包括图像处理功能的设备。这种情况下，该图像处理装置还可以包括图像采集装置(例如摄像头)、各种运动信息采集传感器(例如陀螺仪)、显示器等。
第四方面，本申请提供了一种计算机可读存储介质。该计算机可读存储介质中存储用于图像处理装置执行的程序代码。该程序代码包括用于执行第一方面或所述第一个方面中的任意一种可能的实现方式中的图像处理方法的指令。
第五方面，本申请提供了一种包含指令的计算机程序产品。当该计算机程序产品在图像处理装置上运行时，使得该图像处理装置执行第一方面或所述第一方面中的任意一种可能的实现方式中的图像处理方法。
附图说明
图1是可以应用本申请实施例的图像处理方法的图像处理系统100的示例性架构图；
图2是本申请一个实施例的图像处理方法的示意性流程图；
图3是本申请另一个实施例的图像处理方法的示意性流程图；
图4是本申请另一个实施例的图像处理方法的示意性流程图；
图5是本申请另一个实施例的图像处理方法的示意性流程图；
图6是本申请一个实施例的图像处理装置的示意性结构图；
图7是本申请另一个实施例的图像处理装置的示意性结构图。
具体实施方式
本申请实施例中的图像处理方法可以应用于图像配准、图像超分辨处理、图像去模糊、图像降噪、图像锐化、全景图像构建、视频稳像或同步定位与地图重构等领域。
本申请实施例中的图像处理方法可以应用于虚拟现实(virtual reality，VR)设备、增强现实(augmented reality，AR)设备、无人机，无人车、数码相机、智能手机、智能机器人或相关军工设备、医疗设备等。
本申请实施例中，时间长于1/4秒的曝光可以称为长曝光；时间小于或等于1/4秒的曝光可以称为短曝光。
下面将结合附图，对本申请中的技术方案进行描述。
可以应用本申请实施例的图像处理方法的图像处理系统100的一种示例性架构图如图1所示。应理解，本申请实施例的图像处理方法并不限于图1所示的系统架构中。
可以应用本申请实施例的图像处理方法的图像处理系统中可以包括更多或更少的模块。例如，可以应用本申请实施例的图像处理方法的图像处理系统中可以不包括用户交互模块、拍摄场景检测模块或拍摄模式设置模块。
图1中的模块可以是硬件，也可以是从功能上划分的软件，或者可以是硬件和软件二者的结合。图1中的模块之间可以通过通信接口通信。
其中，用户交互模块110是指获取或接受用户向图像处理系统100输入的信息的模块。例如，用户可以在用户交互模块110上输入期望的拍摄模式信息，用户交互模块110接收用户输入的该拍摄模式信息。用户交互模块110的一种示例为触摸屏，当然也可以是具有与触摸屏相同或相似功能的装置。
拍摄场景检测模块120可以检测当前的拍摄场景是否为暗场景，即检测在当前的拍摄场景下拍摄图像时是否需要对图像进行长曝光。拍摄场景检测模块120的一种示例为。
拍摄场景检测模块120检测拍摄场景的一种示例为：在正式拍摄图像前先预拍摄一张像素规模较小的图像，并通过计算图像的平均亮度，判断是否是暗场景，如果是暗场景，则需要在后续正式拍摄图像时进行长曝光。拍摄场景检测模块120检测拍摄场景的另一种示例为：在正式拍摄图像前先利用光敏传感器测量场景的平均光强，根据该平均光强判断是否是暗场景，如果是暗场景，则需要在后续正式拍摄图像时进行长曝光。
拍摄模式设置模块130可以根据用户交互模块110接收的拍摄模式信息或拍摄场景检测模块120检测到的拍摄场景信息，将图像处理系统100的拍摄模式设置为短-长-短拍摄模式。拍摄模式设置模块130的一种示例为处理器。拍摄模式设置模块130将图像处理系统100的拍摄模式设置为短-长-短拍摄模式的一种示例为在图像处理系统100配置一个配置信息，该配置信息记录图像处理系统100的拍摄模式为短-长-短拍摄模式。
本申请实施例中，为了描述方便，将长曝光的图像称为长曝光图像，将短曝光的图像称为短曝光图像。
短-长-短拍摄模式是指在拍摄长曝光的图像之前和在拍摄长曝光图像之后拍摄短曝光的图像。应理解，短-长-短拍摄模式只是一种示例性名称，该拍摄模式也可以命名为其他名称，本申请实施例对此并不限制。
拍摄模块140用于获取图像信息。拍摄模块140的一种示例为摄像头。
姿态传感器模块150用于记录拍摄模块140在拍摄图像的过程中的姿态，即用于记录拍摄模块140在拍摄图像的过程中的运动信息。姿态传感器模块150可以包括陀螺仪等。
图像处理模块160用于根据姿态传感器模块150记录的运动信息，对拍摄模块140拍摄的图像进行处理。图像处理模块160可以包括处理器。
显示模块170用于显示拍摄模块140拍摄的图像和/或用于显示图像处理模块160处理后的图像。显示模块170可以包括显示屏。
存储模块180用于存储上述各个模块中一个或模块获取的或处理后的信息。存储模块180可以包括存储器。
本申请一个实施例的图像处理方法的示意性流程图如图2所示。应理解，图2示出了该图像处理方法的步骤或操作，但这些步骤或操作仅是示例，本申请实施例还可以执行其他操作或者图2中的各个操作的变形。
S205，用户交互模块110接收用户输入的拍摄模式信息，或拍摄场景检测模块120检测拍摄场景。
例如，显示模块170可以向用户显示图像处理系统100支持的各种拍摄模式，并提示用户输入用户期望的拍摄模式为这些拍摄模式中的哪种拍摄模式。用户可以在显示模块170显示的拍摄模式中选择期望的拍摄模式，并通过用户交互模块110输入选择的拍摄模式的信息。相应地，用户交互模块110接收用户输入的拍摄模式信息。
例如，在拍摄模块140正式拍摄图像之前，拍摄场景检测模块120可以先控制拍摄模块140执行快速试拍操作，并根据拍摄模块140拍摄的结果确定当前拍摄场景适合使用什么样的曝光参数和对焦参数等。这些“试拍操作”可以被称为自动对焦和自动曝光技术。也就是说，在正式拍摄之前，拍摄场景检测模块120可以通过自动对焦和自动曝光技术检测拍摄场景的类型。
应理解，用户交互模块110接收用户输入的拍摄模式信息，和拍摄场景检测模块120检测拍摄场景这两个操作均可以执行。
S210，拍摄模式设置模块130根据用户交互模块110接收的拍摄模式信息和/或拍摄场景检测模块120检测到的拍摄场景设置拍摄模式。
例如，用户交互模块110接收到的拍摄模式信息指示的拍摄模式为短-长-短拍摄模式时，拍摄模式设置模块将拍摄模式设置为短-长-短拍摄模式。
例如，拍摄场景检测模块120检测到的拍摄场景为暗场景时，拍摄模式设置模块120将拍摄模式设置为短-长-短拍摄模式。
若用户交互模块110接收到拍摄模式信息，与拍摄场景检测模块120检测拍摄场景这两个操作均被执行，且，用户交互模块110接收的拍摄模式信息指示的拍摄模式与拍摄场景检测模块120检测到的拍摄场景对应的拍摄模式不同，则拍摄模式设置模块130可以根据预先设置的规则来设置拍摄模式，例如，优先根据拍摄场景检测模块120检测的拍摄场景来设置拍摄模式。
S215，拍摄模块140拍摄长曝光图像，并在长曝光图像之前和在长曝光图像之后各拍摄一帧短曝光图像。
应理解，此处所述的在长曝光图像之前和在长曝光图像之后各拍摄一帧短曝光图像只是一种示例，本申请实施例中并不限定在拍摄长曝光图像之前拍摄的短曝光图像和在拍摄短曝光图像之后拍摄的短曝光图像的数量。
例如，在用户设备按下拍摄开关，控制拍摄模块140开始拍摄图像之后，拍摄模块140先拍摄一帧短曝光图像，再拍摄一帧长曝光图像，然后再拍摄一帧短曝光图像。
本申请实施例中，这个长曝光图像可以认为是由多帧离散时刻拍摄的短曝光图像融合形成的，拍摄组成该长曝光图像的多帧离散短曝光图像的多个时刻可以称为该长曝光图像的多个时刻，该长曝光图像中的像素点在这多个时刻中的每个时刻的坐标可以称为该时刻对应的运动坐标，多个时刻则对应多个运动坐标。
为了后续描述方便，将先拍摄的短曝光图像称为第一图像，将长曝光图像称为第二图像，将后拍摄的短曝光图像称为第三图像。
其中，第一图像、第二图像和第三图像可以存储在存储模块180中。
S220，姿态传感器模块150测量拍摄模块140拍摄第一图像、第二图像和第三图像的过程中拍摄模块140的角速度。拍摄模块140的角速度也可以称为拍摄模块140所在的拍摄设备，例如手机的角速度。
姿态传感器模块150测量得到的角速度信息可以存储在存储模块180中。
姿态传感器模块150测量得到的角速度通常为一个序列。例如，拍摄模块140拍摄第一图像、第二图像和第三图像的总时长为TL，图像处理模块160采集姿态传感器模块150测量的角速度的时间间隔为dT，则图像处理模块160最终采集到的角速度序列中可以包括TL/dT组角速度，每组角速度可以包括三个值，这三个值分别为拍摄模块140在x轴、y轴和z轴方向上的角速度。
其中，TL/dT可以记为Nt，Nt表示采集的角速度的数量，或者说表示采集的角速度的时刻的数量，或者说表示角速度序列的长度。
例如，拍摄模块140拍摄第一图像、第二图像和第三图像的总时长为1/2秒时，若姿态传感器模块150每隔1/160秒测量或者说采集一次拍摄模块的角速度，则在这1/2秒中，姿态传感器模块150可以在80个时刻采集拍摄模块的角速度，可以采集得到80组角速度。这80个时刻与这80组角速度一一对应。其中，TL为1/2秒，TL/dT为80，dT为1/160秒。
图像处理模块160采集到的角速度序列可以记为{gyrox,y,z(t)}，其中，gyrox,y,z(t)包括拍摄模块140在t时刻，分别绕x轴、y轴、z轴逆时针旋转的角速度。
S225，图像处理模块160根据角速度序列获得拍摄模块140在第一图像、第二图像和第三图像的拍摄过程中的旋转角度序列。
拍摄模块140的旋转角度序列也可以称为拍摄模块140所属的拍摄装置，例如手机的旋转角度序列。
可以根据公式(1)计算旋转角度序列：
其中，θx,y,z(n)表示旋转角度序列中的第n组旋转角度，θx,y,z(n)中包括拍摄模块140在1至Nt中的第n个时刻相对于1至Nt中的第1个时刻(即拍摄第一图像的初始时刻)，分别绕x轴、y轴、z轴逆时针转过的旋转角度。这Nt个旋转角度与与S220中的Nt个时刻一一对应。
本申请实施例中，不限制获取旋转角度序列的方式。例如，本申请实施例中可以不包括S225，而是利用另一个辅助摄像头或者辅助视频流获取的数据来获取旋转角度序列。
S230，图像处理模块160根据内参矩阵获取第二图像中位于中心位置的像素点在前述Nt个时刻中每个时刻的坐标相对于该像素点的初始坐标的相对坐标值。该像素点可以称为第一像素点。
第二图像中位于中心位置的像素点在前述Nt个时刻中每个时刻的坐标相对于该像素点的初始坐标的相对坐标值可以称为该像素点在该时刻的运动坐标。Nt个时刻对应Nt个运动坐标。Nt个运动坐标组成的序列可以相对运动坐标序列。
内参矩阵是指三维世界坐标系上的坐标点和二维图像坐标系上的坐标点的转换矩阵。内参矩阵的一种示例如下：
其中，fx、fy分别表示拍摄模块沿着x轴和y轴的焦距，du、dv分别表示单个像素点的实际尺寸的长和宽，U0表示第二图像在x轴方向上的像素总数目的一半，V0表示第二图像在y轴方向的像素总数目的一半。
例如，第二图像的像素为600*600，则U0为300，V0为300。
根据内参矩阵获取第二图像中位于中心位置的像素点的相对运动坐标序列时，可以根据公式(2)来计算：
Ct＝KR(θx,y,z(n))K-1C0,n＝1,2,…Nt (2)
其中，Ct表示第二图像中位于中心位置的像素点的相对运动坐标序列，K表示内参矩阵，θx,y,z(n)表示第n个时刻的旋转角度，C0表示该像素点的初始坐标，R为旋转矩阵函数，该旋转矩阵函数是几何变换的一个固定函数。
理论上，n的取值从1至Nt时，得到的相对运动坐标序列中包括了第一图像和第三图像位于中心位置的像素点的相对运动坐标，但是由于第一图像和第三图像的拍摄时间很短，所以可以忽略该第一图像和第三图像位于中心位置的像素点的相对运动坐标的影响。当然，也可以去除该相对运动坐标序列中包括的第一图像和第三图像位于中心位置的像素点的相对运动坐标，从而得到第二图像中位于中心位置的像素点的相对运动坐标序列。本申请实施例对比不作限制。
应理解，本申请实施例中并不限定一定是获取第二图像中位于中心位置的像素点的相对运动坐标序列，也可以获取第二图像中其他位置的一个或多个像素点的相对运动坐标序列。但是，获取第二图像中位于中心位置的像素点的相对运动坐标序列相对于获取其他像素点的相对运动坐标序列而言，后续处理得到的模糊核的精确度更高。
S235，图像处理模块160获取第一图像和第三图像的一个或多个特征点对，并获取该多个特征点对中每个特征点对的坐标差值，将这多个特征点对中的特征点对的坐标差值作为拍摄模块在所述第二图像的拍摄过程中的平移量。其中，每个特征点对的坐标差值是指每个特征点对所包括的像素点之间的坐标差值。
该步骤可以参考现有的图像配准技术来实现。为了简洁，此处不再赘述。例如，可以利用特征点获取算法，如SUFRF、SIFT或ORB等算法分别获取第一图像和第三图像的特征点，再利用如RANSAC等匹配算法将第一图像和第三图像的特征点对进行匹配，获得匹配后的特征点对。
S240，图像处理模块160根据第一图像和第三图像的一个或多个特征点对中每个特征点对的坐标差值，对第二图像中心位置的像素点的相对运动坐标序列进行矫正和补偿，消除因为拍摄模块平移造成的估计误差。
相对运动坐标序列中的Nt个运动坐标进行矫正和补偿后得到Nt个目标坐标，这Nt个目标坐标与这Nt个运动坐标一一对应。
例如，可以根据公式(3)对第二图像中心位置的像素点的相对运动坐标序列进行矫正和补偿，以得到矫正和补偿后的相对运动坐标序列：
其中，Ct*表示矫正和补偿后得到的相对运动坐标序列，τt表示Ct*的轨迹在法向方向上变化的剧烈程度，κt表示Ct*在切向方向变化的剧烈程度，C0*表示待矫正和补偿的相对运动坐标序列中的第0个元素，表示待矫正和补偿的相对运动坐标序列中的最后一个元素，CFB表示第一图像和第三图像的特征点对的坐标偏差的均值，α，β，γ为拉格朗日乘子，是预先设定的参数，Ct表示第二图像中心位置的像素点没有做过矫正和补偿的相对运动坐标序列。
具体而言，上面这个公式是一个最小化函数。可以通过改变该函数右边表达式中的Ct*的值，使得该函数右边表达式的值最小，使得该函数右边表达式的值最小的Ct*即为最终矫正和补偿后得到的相对运动坐标序列。
例如，初始时，可以取Ct*等于Ct，并将Ct*代入后面的表达式并计算该表达式的值：然后调整Ct*的值，将调整后的Ct*再代入前面的表达式并计算该表达式的值；不断执行前面的这个步骤，直到调整后Ct*代入前面表达式后计算得到的值最小。
应理解，该步骤中找到使得上述表达式的值最小的Ct*最为矫正和补偿后最终得到的相对运动坐标序列只是一种示例。例如，可以找到使得上述表达式的值小于或等于预设的阈值的Ct*最为矫正和补偿后最终得到的相对运动坐标序列。
此外，应理解，上述优化算法仅是一种示例，例如也可以使用拟牛顿法、梯度下降法等优化方法来对Ct进行矫正和补偿。
本申请实施例中，根据第二图像之前短曝光得到的第一图像和第二图像之后短曝光得到的第三图像之间的特征点对的坐标差值来消除拍摄模块在拍摄第二图像的过程中因平移对第二图像中的像素点的运动坐标的影响，从而可以提高根据该运动坐标得到的模糊核的准确度，从而可以提高第二图像的去模糊效果，同时，还可以使得该去模糊的方法可以应用于近景图像和远景图像的处理。
应理解，这里所述的将第一图像和第三图像的多个特征点对中的特征点对的坐标差值作为拍摄模块在第二图像的拍摄过程中的平移量，并根据该坐标差值消除拍摄模块在第二图像的拍摄过程中的平移的影响，仅是一种示例。本申请实施例中可以通过其他方式，利用第一图像和第三图像的多个特征点对中的特征点对的坐标来计算拍摄模块在第二图像的拍摄过程中的平移量。例如，可以计算第一图像和第三图像的多个特征点对中的特征点对的坐标之间的均方差或平方差等来作为拍摄模块在第二图像的拍摄过程中的平移量。
S245，图像处理模块160利用矫正和补偿后的相对运动坐标序列初步估计模糊核。
例如，可以通过下面的高斯函数公式来估计模糊核：
其中，Kerneli(u,v)表示模糊核二维矩阵，u、v为自变量，i表示第i个图像分块，Ck为归一化系数，T/dT表示相对运动坐标序列的长度，是矫正和补偿后的相对运动时间序列的x坐标和y坐标，σ为控制高斯函数形状粗细的系数，可以设置为1。
应理解，该步骤中根据矫正和补偿后的相对运动坐标序列和公式(4)来初步估计模糊核仅是一种示例，可以提高估计的模糊核的准确度。本申请实施例中也可以使用其他方式，根据矫正和补偿后的相对运动坐标序列来初步估计模糊核。例如，可以使用现有的公式来估计模糊核。
可选地，Ck的一种计算方法为：设Ck的值为1，计算公式(4)，再将获得的模糊核二维矩阵中的各个元素相加，得到的结果取倒数得到的值即为Ck。
S250，图像处理模块160对初步估计得到的模糊核进行优化，获的精细的模糊核。
例如，可以利用半盲复原依次迭代公式(5)和公式(6)中的最优化函数，获得精细的模糊核：
其中，I为利用模糊核去模糊处理后期望得到的清晰图像，标识卷积运算，Kernel表示模糊核矩阵，B表示第二图像，λ为预先设定的正则化系数，Δ表示求梯度运算，‖‖α运算表示求矩阵的第α阶范数运算。λ的预设取值的示例为1或2等。
上述迭代公式中，I的初始值可以取第二图像，Kernel的初始值可以取S245中初步估计得到的模糊核。
应理解，公式(5)和公式(6)所示的优化函数取最小值仅是一种示例，本申请对此不作限制。例如，公式(5)和公式(6)所示的优化函数可以取预设的阈值。
应理解，该步骤中根据公式(5)以及公式(6)来细化模糊核仅是一种示例，可以提高细化后的模糊核的准确度。本申请实施例中也可以使用其他方式来细化模糊核。例如，可以利用现有的公式来优化模糊核。
本申请实施例中，S245和S250可以统称为根据第二图像中的第一像素点的运动坐标经过矫正和补偿后得到的多个目标计算模糊核。
S255，图像处理模块160利用细化后的模糊核，对第二图像进行模糊处理，获得第二图像的去模糊结果。
例如，可以利用细化后的模糊核，采用非盲复原算法求解公式(7)中的最优化函数进行去复原，获得第二图像的去模糊结果I:
也就是说，求解得到满足公式(7)的I即为第二图像去模糊之后的清晰图像。应理解，公式(7)与公式(5)和公式(6)中相同的参数表示相同的含义，此处不再赘述。
公式(7)中，M是一个和图像I规模一样二维矩阵，M中的每个元素取值范围为0到1，表示该元素为“非奇异点”的概率。当该元素对应的像素点的值为奇异点(过曝光的点或非加性噪声点)时，M对应位置上的元素值趋向于1。M的计算方法可以参考现有技术，此处不再赘述。
应理解，公式(7)所示的优化函数取最小值仅是一种示例，本申请对此不作限制。例如，公式(7)所示的优化函数可以取预设的阈值。
应理解，该步骤中公式(7)来对第二图像进行去模糊仅是一种示例，可以提高去模糊的准确度。本申请实施例中也可以使用其他方式来对第二图像进行去模糊。例如，可以将细化后的模糊核代入现有的去模糊公式中，然后用该去模糊公式对第二图像进行去模糊处理。
本申请实施例中的图像处理方法，可选地，如图3所示，在S220与S225之间，还可以包括S222，图像处理模块160对姿态传感器模块150测量得到的角速度序列进行插值扩充以及滤波处理。
例如，图像处理模块160对S320中得到的角速度序列进行三次插值扩充处理，得到三次插值扩充序列，记为{gyrox,y,z(i)},i＝1,2,…Nt，其中，Nt表示扩充后的序列的长度。
应理解，插值扩充处理并不一定是必须的。例如，S300中得到角速度序列长度接近预设的长度阈值时，可以不对角速度序列进行插值扩充。
需要对角速度序列进行插值扩充的情况下，具体进行几次插值扩充可以根据S320中得到的角速度序列长度与预设的角速度序列长度期望值来确定。进行插值扩充，可以使得角速度序列更平滑连续。
例如，预设的角速度序列长度期望值为60，而S220中得到的角速度序列的长度为20，则可以进行三次插值扩充。
对角速度序列进行插值扩充，可以使得最终估计得到的模糊核更精细，更反映真实的模糊状态。
对插值扩充序列进行滤波处理时，可以使用卡尔曼滤波等方法，当然也可以使用其他滤波方法，本申请实施例对此不限制，只要能虑去高频噪声即可。
进一步的，滤波处理不是必须的。例如，传感器性能比较好的情况下，可以不进行滤波处理。
相应地，S225中是根据S222处理得到的角速度序列来获取旋转角度序列。
例如，将S225中的Nt替换为S222中进行插值扩充处理后得到的角速度序列的长度即可。
本申请另一个实施例的图像处理方法的示意性流程图如图4所示。应理解，图4示出了该图像处理方法的步骤或操作，但这些步骤或操作仅是示例，本申请实施例还可以执行其他操作或者图4中的各个操作的变形。
S405，用户交互模块110接收用户输入的拍摄模式信息，或拍摄场景检测模块120检测拍摄场景。
S410，拍摄模式设置模块130根据用户交互模块110接收的拍摄模式信息和/或拍摄场景检测模块120检测到的拍摄场景设置拍摄模式。
S415，拍摄模块140在长曝光图像之前和在长曝光图像之后各拍摄一帧短曝光图像。
本申请实施例中，这个长曝光图像可以由多帧离散时刻拍摄的短曝光图像融合形成，拍摄组成该长曝光图像的多帧离散短曝光图像的多个时刻可以称为该长曝光图像的多个时刻，该长曝光图像中的像素点在这多个时刻中的每个时刻的坐标可以称为该时刻对应的运动坐标，多个时刻则对应多个运动坐标。
S420，姿态传感器模块150测量拍摄模块140拍摄第一图像、待处理图像和第三图像的过程中拍摄模块140的角速度。
S425，图像处理模块160根据角速度序列获得拍摄模块140在第一图像、待处理图像和第三图像的拍摄过程中的旋转角度序列。
S405至S425可以分别参考S205至S225中相关的步骤，只需将S205至S225中的第二图像替换为待处理图像即可，此处不再赘述。
S428，图像处理模块160将待处理图像划分为一个或多个子图像，每个子图像可以称为第二图像。当划分为一个子图像时，该子图像即为该待处理图像。
例如，待处理图像的规模过大时，可以将待处理图像划分为大小相同的矩形状的子图像。
待处理图像的像素大小超过图像处理模块160一次能够处理的像素大小时，可以确定待处理图像的规模过大。例如，图像处理模块160一次能够处理的像素大小为600*600时，若待处理图像的像素超过600*600，则可以将待处理图像划分为两个或多个子图像，每个子图像的像素不超过600*600。
待处理图像划分得到的子图像可以记为{bξ},ξ＝1,2,…NB，其中，NB表示待处理图像的子图像的数量，bξ表示第ξ个子图像。
S430，图像处理模块160根据内参矩阵获取位于每个第二图像的中心位置的像素点在Nt个时刻中每个时刻的坐标相对于该像素点的初始坐标的相对坐标值。每个第二图像的中心位置的像素点可以称为第一像素点。
S435，图像处理模块160获取第一图像和第三图像的一个或多个特征点对，并获取该多个特征点对中每个特征点对的坐标差值。
S440，图像处理模块160根据第一图像和第三图像的一个或多个特征点对中每个特征点对的坐标差值，对每个第二图像中心位置的像素点的相对运动坐标序列进行矫正和补偿，消除因为拍摄模块平移造成的估计误差。
S445，图像处理模块160利用每个第二图像矫正和补偿后的相对运动坐标序列初步估计每个第二图像对应的模糊核。
S450，图像处理模块160对每个第二图像初步估计得到的模糊核进行优化，获得每个第二图像对应的精细模糊核。
S455，图像处理模块160利用每个第二图像对应的精细模糊核，对该第二图像进行模糊处理，获得该第二图像的去模糊结果。此处所述的模糊处理也可以称为复原处理。
本申请实施例中，S430至S455可以参考S230至S255中分别对应的步骤。具体地说，可以对本申请实施例中待处理图像划分得到的每个第二图像执行S230至255所描述的操作。
S460，图像处理模块160将所有第二图像的去模糊结果，合并得到待处理图像的去模糊图像。
本申请实施例中，将待处理模块划分为多个子图像，再分别获取每个子图像的模糊核，并利用每个子图像对应的模糊核对该子图像进行去模糊处理，最后再将复员后的多个子图像合并得到待处理图像对应的清晰图像，可以提高待处理图像的恢复效果。
此外，根据第二图像之前短曝光得到的第一图像和第二图像之后短曝光得到的第三图像之间的特征点对的坐标差值来消除拍摄模块在拍摄第二图像的过程中因平移对第二图像中的像素点的运动坐标的影响，从而可以提高根据该运动坐标得到的模糊核的准确度，从而可以提高第二图像的去模糊效果，最终可以提高待处理图像的去模糊效果。同时，还可以使得该去模糊的方法可以应用于近景图像和远景图像的处理。
本申请实施例中的图像处理方法，可选地，如图5所示，在S420与S425之间，还可以包括S422，图像处理模块160对姿态传感器模块150测量得到的角速度序列进行插值扩充以及滤波处理。该步骤可以参考S222，此处不再赘述。
相应地，S425中是根据S422处理得到的角速度序列来获取旋转角度序列。
例如，将S425中的Nt替换为S422中进行插值扩充处理后得到的角速度序列的长度即可。
图6是本申请一个实施例的图像处理装置的示意性结构图。应理解，图6示出的图像处理装置800仅是示例，本申请实施例的图像处理装置还可包括其他模块或单元，或者包括与图6中的各个模块的功能相似的模块，或者并非要包括图6中所有模块。图像处理装置600包括的各个模块可以通过软件和/或硬件方式实现。
获取模块610，用于获取第一图像、第二图像和第三图像，其中，所述第一图像是在拍摄所述第二图像之前拍摄的，所述第三图像是在拍摄所述第二图像之后拍摄的，所述第一图像和所述第三图像为短曝光的图像，所述第二图像为长曝光的图像。
所述获取模块610还用与获取所述第二图像中的第一像素点的多个运动坐标，所述多个运动坐标与所述第二图像的拍摄过程中的多个时刻一一对应.
所述获取模块610还用于获取所述第一图像与所述第三图像的多个特征点对.
计算模块620，用于根据所述多个特征点对中每个特征点对的坐标值计算所述拍摄设备在所述第二图像的拍摄过程中的平移量.
误差消除模块630，用于根据所述平移量消除所述拍摄设备在所述第二图像的拍摄过程中的平移对所述多个运动坐标的影响，得到与所述多个运动坐标一一对应的多个目标坐标；所述计算模块还用于根据所述多个目标坐标计算模糊核.
去模糊模块640，用于使用所述模糊核对所述第二图像进行去模糊处理。
可选地，所述计算模块具体用于：计算所述多个特征点中的每个特征点对所包括的像素点之间的坐标差值，作为所述拍摄设备在所述第二图像的拍摄过程中的平移量。
可选地，所述误差消除模块具体用于：
通过公式计算得到所述多个目标坐标，其中，Ct*表示所述多个目标坐标按照时序排列组成的目标坐标序列，τt表示Ct*的轨迹在法向方向上变化的剧烈程度，κt表示Ct*在切向方向变化的剧烈程度，C0*表示所述目标坐标序列中的第0个元素，表示所述目标坐标序列中的最后一个元素，CFB表示所述第一图像和所述第三图像的特征点对的坐标偏差的均值，α、β、γ为预先设定的常数，Ct是指所述多个运动坐标按照时序排列组成的相对运动坐标序列。
可选地，所述计算模块具体用于：
通过公式计算得到第一模糊核，其中，Kernel(u,v)表示所述模糊核的二维矩阵，u为所述模糊核在x轴方向上的大小，v为所述模糊核在y轴方向上的大小，Ck为归一化系数，是指所述多个目标坐标中的x坐标按照时序排列组成的第一子坐标序列，是指所述多个目标坐标中的y坐标按照时序排列组成的第二子坐标序列，σ为常量，Nt是指所述多个目标坐标按照时序排列组成的目标坐标序列的长度；
对所述第一模糊核进行优化，得到所述模糊核。
可选地，所述计算模块具体用于：
通过公式和对所述第一模糊核进行优化，得到所述模糊核，其中，Kernel表示模糊核矩阵，I为利用所述模糊核矩阵对所述第二图像去模糊处理后得到的清晰图像，表示卷积运算，B表示所述第二图像，λ为预先设定的正则化系数，Δ表示求梯度运算，|| ||α运算表示求矩阵的第α阶范数运算。
可选地，所述去模糊模块具体用于：
通过公式对所述第二图像进行去模糊处理，其中，M中的每个元素表示该元素对应的像素点为“非奇异点”的概率，Kernel表示模糊核矩阵，I为利用所述模糊核矩阵对所述第二图像去模糊处理后得到的清晰图像，表示卷积运算，B表示所述第二图像，λ为预先设定的正则化系数，Δ表示求梯度运算，|| ||α运算表示求矩阵的第α阶范数运算。
可选地，所述获取模块具体用于：获取拍摄装置在拍摄所述第一图像、所述第二图像和所述第三图像的过程中的角速度；根据所述角速度获取所述拍摄装置在所述第一图像、所述第二图像和所述第三图像的拍摄过程中的旋转角度；根据所述拍摄装置的内参矩阵、所述旋转角度和所述第二图像中的第一像素点的起始坐标，计算所述多个运动坐标，所述第一像素点的起始坐标是指所述拍摄装置开始拍摄所述第二图像时所述第一像素点的坐标。
可选地，所述第二图像为待处理图像所包括的多个子图像中的一个，所述待处理图像为所述拍摄装置在拍摄所述第一图像之后、且在拍摄所述第三图像之前拍摄的图像，所述待处理图像为长曝光的图像。
其中，所述图像处理装置600还包括：合并模块，用于将所述第二图像与所述多个子图像中其他每个图像去模糊处理后得到的图像合并处理，以得到所述待处理图像进行去模糊处理后的目标图像。
图像处理装置600可以用于执行图2至图5中任意一个所描述的图像处理方法中由图像处理模块160执行的各个步骤，甚至可以用于执行图2至图5中任意一个所描述的图像处理方法中由其他各个模块执行的各个步骤，此处不再赘述。
图7是本申请一个实施例的图像处理装置的示意性结构图。应理解，图7示出的图像处理装置700仅是示例，本申请实施例的图像处理装置还可包括其他模块或单元，或者包括与图7中的各个模块的功能相似的模块，或者并非要包括图7中所有模块。
该图像处理装置700包括与存储器耦合的处理器710，所述处理器用于执行程序指令，以实现：获取第一图像、第二图像和第三图像，其中，所述第一图像是在拍摄所述第二图像之前拍摄的，所述第三图像是在拍摄所述第二图像之后拍摄的，所述第一图像和所述第三图像为短曝光的图像，所述第二图像为长曝光的图像；获取所述第二图像中的第一像素点的多个运动坐标，所述多个运动坐标与所述第二图像的拍摄过程中的多个时刻一一对应；获取所述第一图像与所述第三图像的多个特征点对；根据所述多个特征点对中每个特征点对的坐标值计算所述拍摄设备在所述第二图像的拍摄过程中的平移量；根据所述平移量消除所述拍摄设备在所述第二图像的拍摄过程中的平移对所述多个运动坐标的影响，得到与所述多个运动坐标一一对应的多个目标坐标；根据所述多个目标坐标计算模糊核；使用所述模糊核对所述第二图像进行去模糊处理。
在一种可能的实现方式中，所述处理器具体用于实现：计算所述多个特征点中的每个特征点对所包括的像素点之间的坐标差值，作为所述拍摄设备在所述第二图像的拍摄过程中的平移量。
在一种可能的实现方式中，所述处理器具体用于实现：
通过公式计算得到所述多个目标坐标，其中，Ct*表示所述多个目标坐标按照时序排列组成的目标坐标序列，τt表示Ct*的轨迹在法向方向上变化的剧烈程度，κt表示Ct*在切向方向变化的剧烈程度，C0*表示所述目标坐标序列中的第0个元素，表示所述目标坐标序列中的最后一个元素，CFB表示所述第一图像和所述第三图像的特征点对的坐标偏差的均值，α、β、γ为预先设定的常数，Ct是指所述多个运动坐标按照时序排列组成的相对运动坐标序列。
在一种可能的实现方式中，所述处理器具体用于实现：
通过公式计算得到第一模糊核，其中，Kernel(u,v)表示所述模糊核的二维矩阵，u为所述模糊核在x轴方向上的大小，v为所述模糊核在y轴方向上的大小，Ck为归一化系数，是指所述多个目标坐标中的x坐标按照时序排列组成的第一子坐标序列，是指所述多个目标坐标中的y坐标按照时序排列组成的第二子坐标序列，σ为常量，Nt是指所述多个目标坐标按照时序排列组成的目标坐标序列的长度；
对所述第一模糊核进行优化，得到所述模糊核。
在一种可能的实现方式中，所述处理器具体用于实现：
通过公式和对所述第一模糊核进行优化，得到所述模糊核，其中，Kernel表示模糊核矩阵，I为利用所述模糊核矩阵对所述第二图像去模糊处理后得到的清晰图像，表示卷积运算，B表示所述第二图像，λ为预先设定的正则化系数，Δ表示求梯度运算，|| ||α运算表示求矩阵的第α阶范数运算。
在一种可能的实现方式中，所述处理器具体用于实现：
通过公式对所述第二图像进行去模糊处理，其中，M中的每个元素表示该元素对应的像素点为“非奇异点”的概率，Kernel表示模糊核矩阵，I为利用所述模糊核矩阵对所述第二图像去模糊处理后得到的清晰图像，表示卷积运算，B表示所述第二图像，λ为预先设定的正则化系数，Δ表示求梯度运算，|| ||α运算表示求矩阵的第α阶范数运算。
在一种可能的实现方式中，所述处理器具体用于实现：获取拍摄装置在拍摄所述第一图像、所述第二图像和所述第三图像的过程中的角速度；根据所述角速度获取所述拍摄装置在所述第一图像、所述第二图像和所述第三图像的拍摄过程中的旋转角度；根据所述拍摄装置的内参矩阵、所述旋转角度和所述第二图像中的第一像素点的起始坐标，计算所述多个运动坐标，所述第一像素点的起始坐标是指所述拍摄装置开始拍摄所述第二图像时所述第一像素点的坐标。
在一种可能的实现方式中，所述第二图像为待处理图像所包括的多个子图像中的一个，所述待处理图像为所述拍摄装置在拍摄所述第一图像之后、且在拍摄所述第三图像之前拍摄的图像，所述待处理图像为长曝光的图像；其中，所述处理器还用于实现将所述第二图像与所述多个子图像中其他每个图像去模糊处理后得到的图像合并处理，以得到所述待处理图像进行去模糊处理后的目标图像。
可选地，该图像处理装置还可以包括存储器，用于存储处理器执行的程序代码或处理器执行程序指令的过程中涉及的数据。
可选地，该图像处理装置可以是芯片。这种情况下，该图像处理装置还可以包括通信接口，用于与其他装置或设备通信。
图像处理装置700可以用于执行图2至图5中任意一个所描述的图像处理方法中的各个步骤，此处不再赘述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
应理解，本申请实施例中的处理器可以为中央处理单元(central processingunit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(digital signalprocessor，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现场可编程门阵列(field programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
应理解，本申请中的“/”表示“或”的意思。其中“和/或”可以包括三种并列的方案。例如“A和/或B”可以包括：A，B，A和B。应理解，本申请中的“A或B”可以包括：A，B，A和B。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。
Claims (16)
1.一种图像处理方法，其特征在于，包括：
获取第一图像、第二图像和第三图像，其中，所述第一图像是在拍摄所述第二图像之前拍摄的，所述第三图像是在拍摄所述第二图像之后拍摄的，所述第一图像和所述第三图像为短曝光的图像，所述第二图像为长曝光的图像；
获取所述第二图像中的第一像素点的多个运动坐标，所述多个运动坐标与所述第二图像的拍摄过程中的多个时刻一一对应；
获取所述第一图像与所述第三图像的多个特征点对；
根据所述多个特征点对中每个特征点对的坐标值计算所述拍摄设备在所述第二图像的拍摄过程中的平移量；
根据所述平移量消除所述拍摄设备在所述第二图像的拍摄过程中的平移对所述多个运动坐标的影响，得到与所述多个运动坐标一一对应的多个目标坐标；
根据所述多个目标坐标计算模糊核；
使用所述模糊核对所述第二图像进行去模糊处理。
2.根据权利要求1所述的图像处理方法，其特征在于，所述根据所述多个特征点对中每个特征点对的坐标值计算所述拍摄设备在所述第二图像的拍摄过程中的平移量，包括：
计算所述多个特征点中的每个特征点对所包括的像素点之间的坐标差值，作为所述拍摄设备在所述第二图像的拍摄过程中的平移量。
3.根据权利要求2所述的图像处理方法，其特征在于，所述根据所述平移量消除所述拍摄设备在所述第二图像的拍摄过程中的平移对所述多个运动坐标的影响，得到与所述多个运动坐标一一对应的多个目标坐标，包括：
通过公式计算得到所述多个目标坐标，其中，Ct*表示所述多个目标坐标按照时序排列组成的目标坐标序列，τt表示Ct*的轨迹在法向方向上变化的剧烈程度，κt表示Ct*在切向方向变化的剧烈程度，C0*表示所述目标坐标序列中的第0个元素，表示所述目标坐标序列中的最后一个元素，CFB表示所述第一图像和所述第三图像的特征点对的坐标偏差的均值，α、β、γ为预先设定的常数，Ct是指所述多个运动坐标按照时序排列组成的相对运动坐标序列。
4.根据权利要求1至3中任一项所述的图像处理方法，其特征在于，所述根据所述多个目标坐标计算模糊核，包括：
通过公式计算得到第一模糊核，其中，Kernel(u,v)表示所述模糊核的二维矩阵，u为所述模糊核在x轴方向上的大小，v为所述模糊核在y轴方向上的大小，Ck为归一化系数，是指所述多个目标坐标中的x坐标按照时序排列组成的第一子坐标序列，是指所述多个目标坐标中的y坐标按照时序排列组成的第二子坐标序列，σ为常量，Nt是指所述多个目标坐标按照时序排列组成的目标坐标序列的长度；
对所述第一模糊核进行优化，得到所述模糊核。
5.根据权利要求4所述的图像处理方法，其特征在于，所述对所述第一模糊核进行优化，得到所述模糊核，包括：
通过公式和对所述第一模糊核进行优化，得到所述模糊核，其中，Kernel表示模糊核矩阵，I为利用所述模糊核矩阵对所述第二图像去模糊处理后得到的清晰图像，表示卷积运算，B表示所述第二图像，λ为预先设定的正则化系数，Δ表示求梯度运算，|| ||α运算表示求矩阵的第α阶范数运算。
6.根据权利要求1至5中任一项所述的图像处理方法，其特征在于，所述使用所述模糊核对所述第二图像进行去模糊处理，包括：
通过公式对所述第二图像进行去模糊处理，其中，M中的每个元素表示所述元素对应的像素点为“非奇异点”的概率，Kernel表示模糊核矩阵，I为利用所述模糊核矩阵对所述第二图像去模糊处理后得到的清晰图像，表示卷积运算，B表示所述第二图像，λ为预先设定的正则化系数，Δ表示求梯度运算，|| ||α运算表示求矩阵的第α阶范数运算。
7.根据权利要求1至6中任一项所述的图像处理方法，其特征在于，所述获取所述第二图像中的第一像素点的多个运动坐标，包括：
获取拍摄装置在拍摄所述第一图像、所述第二图像和所述第三图像的过程中的角速度；
根据所述角速度获取所述拍摄装置在所述第一图像、所述第二图像和所述第三图像的拍摄过程中的旋转角度；
根据所述拍摄装置的内参矩阵、所述旋转角度和所述第二图像中的第一像素点的起始坐标，计算所述多个运动坐标，所述第一像素点的起始坐标是指所述拍摄装置开始拍摄所述第二图像时所述第一像素点的坐标。
8.根据权利要求1至7中任一项所述的图像处理方法，其特征在于，所述第二图像为待处理图像所包括的多个子图像中的一个，所述待处理图像为所述拍摄装置在拍摄所述第一图像之后、且在拍摄所述第三图像之前拍摄的图像，所述待处理图像为长曝光的图像；
其中，所述图像处理方法还包括：
将所述第二图像与所述多个子图像中其他每个图像去模糊处理后得到的图像合并处理，以得到所述待处理图像进行去模糊处理后的目标图像。
9.一种图像处理装置，其特征在于，包括：
获取模块，用于获取第一图像、第二图像和第三图像，其中，所述第一图像是在拍摄所述第二图像之前拍摄的，所述第三图像是在拍摄所述第二图像之后拍摄的，所述第一图像和所述第三图像为短曝光的图像，所述第二图像为长曝光的图像；
所述获取模块还用与获取所述第二图像中的第一像素点的多个运动坐标，所述多个运动坐标与所述第二图像的拍摄过程中的多个时刻一一对应；
所述获取模块还用于获取所述第一图像与所述第三图像的多个特征点对；
计算模块，用于根据所述多个特征点对中每个特征点对的坐标值计算所述拍摄设备在所述第二图像的拍摄过程中的平移量；
误差消除模块，用于根据所述平移量消除所述拍摄设备在所述第二图像的拍摄过程中的平移对所述多个运动坐标的影响，得到与所述多个运动坐标一一对应的多个目标坐标；
所述计算模块还用于根据所述多个目标坐标计算模糊核；
去模糊模块，用于使用所述模糊核对所述第二图像进行去模糊处理。
10.根据权利要求9所述的图像处理方法，其特征在于，所述计算模块具体用于：
计算所述多个特征点中的每个特征点对所包括的像素点之间的坐标差值，作为所述拍摄设备在所述第二图像的拍摄过程中的平移量。
11.根据权利要求10所述的图像处理装置，其特征在于，所述误差消除模块具体用于：
通过公式计算得到所述多个目标坐标，其中，Ct*表示所述多个目标坐标按照时序排列组成的目标坐标序列，τt表示Ct*的轨迹在法向方向上变化的剧烈程度，κt表示Ct*在切向方向变化的剧烈程度，C0*表示所述目标坐标序列中的第0个元素，表示所述目标坐标序列中的最后一个元素，CFB表示所述第一图像和所述第三图像的特征点对的坐标偏差的均值，α、β、γ为预先设定的常数，Ct是指所述多个运动坐标按照时序排列组成的相对运动坐标序列。
12.根据权利要求9至11中任一项所述的图像处理装置，其特征在于，所述计算模块具体用于：
通过公式计算得到第一模糊核，其中，Kernel(u,v)表示所述模糊核的二维矩阵，u为所述模糊核在x轴方向上的大小，v为所述模糊核在y轴方向上的大小，Ck为归一化系数，是指所述多个目标坐标中的x坐标按照时序排列组成的第一子坐标序列，是指所述多个目标坐标中的y坐标按照时序排列组成的第二子坐标序列，σ为常量，Nt是指所述多个目标坐标按照时序排列组成的目标坐标序列的长度；
对所述第一模糊核进行优化，得到所述模糊核。
13.根据权利要求12所述的图像处理装置，其特征在于，所述计算模块具体用于：
通过公式和对所述第一模糊核进行优化，得到所述模糊核，其中，Kernel表示模糊核矩阵，I为利用所述模糊核矩阵对所述第二图像去模糊处理后得到的清晰图像，表示卷积运算，B表示所述第二图像，λ为预先设定的正则化系数，Δ表示求梯度运算，|| ||α运算表示求矩阵的第α阶范数运算。
14.根据权利要求9至13中任一项所述的图像处理装置，其特征在于，所述去模糊模块具体用于：
通过公式对所述第二图像进行去模糊处理，其中，M中的每个元素表示所述每个元素对应的像素点为“非奇异点”的概率，Kernel表示模糊核矩阵，I为利用所述模糊核矩阵对所述第二图像去模糊处理后得到的清晰图像，表示卷积运算，B表示所述第二图像，λ为预先设定的正则化系数，Δ表示求梯度运算，||||α运算表示求矩阵的第α阶范数运算。
15.根据权利要求9至14中任一项所述的图像处理装置，其特征在于，所述获取模块具体用于：
获取拍摄装置在拍摄所述第一图像、所述第二图像和所述第三图像的过程中的角速度；
根据所述角速度获取所述拍摄装置在所述第一图像、所述第二图像和所述第三图像的拍摄过程中的旋转角度；
根据所述拍摄装置的内参矩阵、所述旋转角度和所述第二图像中的第一像素点的起始坐标，计算所述多个运动坐标，所述第一像素点的起始坐标是指所述拍摄装置开始拍摄所述第二图像时所述第一像素点的坐标。
16.根据权利要求9至15中任一项所述的图像处理装置，其特征在于，所述第二图像为待处理图像所包括的多个子图像中的一个，所述待处理图像为所述拍摄装置在拍摄所述第一图像之后、且在拍摄所述第三图像之前拍摄的图像，所述待处理图像为长曝光的图像；
其中，所述图像处理装置还包括：
合并模块，用于将所述第二图像与所述多个子图像中其他每个图像去模糊处理后得到的图像合并处理，以得到所述待处理图像进行去模糊处理后的目标图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811138769.4A CN109410130B (zh) | 2018-09-28 | 2018-09-28 | 图像处理方法和图像处理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811138769.4A CN109410130B (zh) | 2018-09-28 | 2018-09-28 | 图像处理方法和图像处理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109410130A true CN109410130A (zh) | 2019-03-01 |
| CN109410130B CN109410130B (zh) | 2020-12-04 |
Family
ID=65466514
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811138769.4A Active CN109410130B (zh) | 2018-09-28 | 2018-09-28 | 图像处理方法和图像处理装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109410130B (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110062164A (zh) * | 2019-04-22 | 2019-07-26 | 深圳市商汤科技有限公司 | 视频图像处理方法及装置 |
| CN110121016A (zh) * | 2019-05-08 | 2019-08-13 | 北京航空航天大学 | 一种基于双重曝光先验的视频去模糊方法及装置 |
| CN110189285A (zh) * | 2019-05-28 | 2019-08-30 | 北京迈格威科技有限公司 | 一种多帧图像融合方法及装置 |
| CN110619606A (zh) * | 2019-09-19 | 2019-12-27 | 浙江大搜车软件技术有限公司 | 全景图像的确定方法、装置、计算机设备和存储介质 |
| CN111464755A (zh) * | 2020-04-20 | 2020-07-28 | 北京理工大学 | 星载相机短曝光图像序列信噪比实时处理方法及系统 |
| CN111724421A (zh) * | 2020-06-29 | 2020-09-29 | 深圳市慧鲤科技有限公司 | 图像处理方法及装置、电子设备及存储介质 |
| CN111881982A (zh) * | 2020-07-30 | 2020-11-03 | 北京环境特性研究所 | 一种无人机目标识别方法 |
| CN112053304A (zh) * | 2020-09-08 | 2020-12-08 | 哈尔滨工业大学 | 一种全切片数字成像单次拍照快速准焦复原方法 |
| CN112335224A (zh) * | 2019-08-30 | 2021-02-05 | 深圳市大疆创新科技有限公司 | 可移动平台的图像采集方法、设备及存储介质 |
| WO2022007396A1 (zh) * | 2020-07-09 | 2022-01-13 | 北京迈格威科技有限公司 | 图像抖动校正方法、装置、计算机设备、存储介质及产品 |
| CN114820590A (zh) * | 2022-06-06 | 2022-07-29 | 北京医准智能科技有限公司 | 图像处理方法、装置、电子设备及介质 |
| CN115147415A (zh) * | 2022-09-02 | 2022-10-04 | 山东微山湖酒业有限公司 | 基于图像处理的酒盒缺陷检测方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110122296A1 (en) * | 2009-11-20 | 2011-05-26 | Hon Hai Precision Industry Co., Ltd. | System and method for deblurring motion blurred images |
| CN103685951A (zh) * | 2013-12-06 | 2014-03-26 | 华为终端有限公司 | 一种图像处理方法、装置及终端 |
| CN104112261A (zh) * | 2014-07-17 | 2014-10-22 | 五邑大学 | 基于范数比值正则化的快速图像盲去模糊方法 |
| CN104639920A (zh) * | 2013-11-13 | 2015-05-20 | 上海微锐智能科技有限公司 | 基于单帧双次曝光模式的宽动态融合方法 |
| CN105049706A (zh) * | 2015-06-26 | 2015-11-11 | 深圳市金立通信设备有限公司 | 一种图像处理方法及终端 |
| CN107370941A (zh) * | 2017-06-29 | 2017-11-21 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
| CN108564544A (zh) * | 2018-04-11 | 2018-09-21 | 南京邮电大学 | 基于边缘感知的图像盲去模糊组合稀疏优化方法 |
-
2018
- 2018-09-28 CN CN201811138769.4A patent/CN109410130B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110122296A1 (en) * | 2009-11-20 | 2011-05-26 | Hon Hai Precision Industry Co., Ltd. | System and method for deblurring motion blurred images |
| CN104639920A (zh) * | 2013-11-13 | 2015-05-20 | 上海微锐智能科技有限公司 | 基于单帧双次曝光模式的宽动态融合方法 |
| CN103685951A (zh) * | 2013-12-06 | 2014-03-26 | 华为终端有限公司 | 一种图像处理方法、装置及终端 |
| CN104112261A (zh) * | 2014-07-17 | 2014-10-22 | 五邑大学 | 基于范数比值正则化的快速图像盲去模糊方法 |
| CN105049706A (zh) * | 2015-06-26 | 2015-11-11 | 深圳市金立通信设备有限公司 | 一种图像处理方法及终端 |
| CN107370941A (zh) * | 2017-06-29 | 2017-11-21 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
| CN108564544A (zh) * | 2018-04-11 | 2018-09-21 | 南京邮电大学 | 基于边缘感知的图像盲去模糊组合稀疏优化方法 |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110062164A (zh) * | 2019-04-22 | 2019-07-26 | 深圳市商汤科技有限公司 | 视频图像处理方法及装置 |
| CN110062164B (zh) * | 2019-04-22 | 2021-10-26 | 深圳市商汤科技有限公司 | 视频图像处理方法及装置 |
| CN110121016A (zh) * | 2019-05-08 | 2019-08-13 | 北京航空航天大学 | 一种基于双重曝光先验的视频去模糊方法及装置 |
| CN110189285A (zh) * | 2019-05-28 | 2019-08-30 | 北京迈格威科技有限公司 | 一种多帧图像融合方法及装置 |
| CN110189285B (zh) * | 2019-05-28 | 2021-07-09 | 北京迈格威科技有限公司 | 一种多帧图像融合方法及装置 |
| CN112335224A (zh) * | 2019-08-30 | 2021-02-05 | 深圳市大疆创新科技有限公司 | 可移动平台的图像采集方法、设备及存储介质 |
| CN110619606A (zh) * | 2019-09-19 | 2019-12-27 | 浙江大搜车软件技术有限公司 | 全景图像的确定方法、装置、计算机设备和存储介质 |
| CN111464755A (zh) * | 2020-04-20 | 2020-07-28 | 北京理工大学 | 星载相机短曝光图像序列信噪比实时处理方法及系统 |
| CN111464755B (zh) * | 2020-04-20 | 2021-06-18 | 北京理工大学 | 星载相机短曝光图像序列信噪比实时处理方法及系统 |
| CN111724421A (zh) * | 2020-06-29 | 2020-09-29 | 深圳市慧鲤科技有限公司 | 图像处理方法及装置、电子设备及存储介质 |
| CN111724421B (zh) * | 2020-06-29 | 2024-01-09 | 深圳市慧鲤科技有限公司 | 图像处理方法及装置、电子设备及存储介质 |
| WO2022007396A1 (zh) * | 2020-07-09 | 2022-01-13 | 北京迈格威科技有限公司 | 图像抖动校正方法、装置、计算机设备、存储介质及产品 |
| CN111881982A (zh) * | 2020-07-30 | 2020-11-03 | 北京环境特性研究所 | 一种无人机目标识别方法 |
| CN112053304A (zh) * | 2020-09-08 | 2020-12-08 | 哈尔滨工业大学 | 一种全切片数字成像单次拍照快速准焦复原方法 |
| CN114820590A (zh) * | 2022-06-06 | 2022-07-29 | 北京医准智能科技有限公司 | 图像处理方法、装置、电子设备及介质 |
| CN115147415A (zh) * | 2022-09-02 | 2022-10-04 | 山东微山湖酒业有限公司 | 基于图像处理的酒盒缺陷检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109410130B (zh) | 2020-12-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109410130A (zh) | 图像处理方法和图像处理装置 | |
| Hansen et al. | Real-time scene stabilization and mosaic construction | |
| Su et al. | Rolling shutter motion deblurring | |
| Tuytelaars et al. | Synchronizing video sequences | |
| Lee et al. | Simultaneous localization, mapping and deblurring | |
| CN105141807B (zh) | 视频信号图像处理方法和装置 | |
| CN106296598B (zh) | 三维姿态处理方法、系统及拍摄终端 | |
| JP2009124597A (ja) | 防振画像処理装置及び防振画像処理方法 | |
| Albl et al. | From two rolling shutters to one global shutter | |
| CN109029425B (zh) | 一种采用区域滤波的模糊星图复原方法 | |
| WO2024045632A1 (zh) | 基于双目视觉和imu的水下场景三维重建方法及设备 | |
| CN109743495A (zh) | 视频图像电子增稳方法及装置 | |
| CN112183506A (zh) | 一种人体姿态生成方法及其系统 | |
| CN113240597B (zh) | 基于视觉惯性信息融合的三维软件稳像方法 | |
| Deschenes et al. | An unified approach for a simultaneous and cooperative estimation of defocus blur and spatial shifts | |
| US10764500B2 (en) | Image blur correction device and control method | |
| CN116596794A (zh) | 一种基于事件相机的联合去运动模糊和视频插帧方法 | |
| CN107395961A (zh) | 一种图像数据的复原方法和装置 | |
| Zhen et al. | Multi-image motion deblurring aided by inertial sensors | |
| CN109379532B (zh) | 一种计算成像系统及方法 | |
| Im et al. | Robust depth estimation from auto bracketed images | |
| CN110475071A (zh) | 相位对焦方法、装置、电子设备和机器可读存储介质 | |
| Doner et al. | FPGA-based infrared image deblurring using angular position of IR detector | |
| Zhen et al. | Inertial sensor aided multi-image nonuniform motion blur removal based on motion decomposition | |
| Crinon et al. | Adaptive model-based motion estimation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |