CN111479035A - 图像处理方法、电子装置及计算机可读存储介质 - Google Patents

图像处理方法、电子装置及计算机可读存储介质 Download PDF

Info

Publication number
CN111479035A
CN111479035A CN202010285767.9A CN202010285767A CN111479035A CN 111479035 A CN111479035 A CN 111479035A CN 202010285767 A CN202010285767 A CN 202010285767A CN 111479035 A CN111479035 A CN 111479035A
Authority
CN
China
Prior art keywords
image
corrected
motion
information
local
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010285767.9A
Other languages
English (en)
Other versions
CN111479035B (zh
Inventor
李逸超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202010285767.9A priority Critical patent/CN111479035B/zh
Publication of CN111479035A publication Critical patent/CN111479035A/zh
Priority to PCT/CN2021/075089 priority patent/WO2021208569A1/zh
Application granted granted Critical
Publication of CN111479035B publication Critical patent/CN111479035B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/76Circuitry for compensating brightness variation in the scene by influencing the image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种图像处理方法、电子装置及计算机可读存储介质。图像处理方法包括:获取待校正图像中的运动区域的运动信息;根据运动信息确定所述运动区域在单位时间内的偏移信息;及根据偏移信息校正待校正图像以获得校正图像。本申请还公开了一种电子装置及计算机可读存储介质。本申请实施方式的图像处理方法、电子装置及计算机可读存储介质可以减少行曝光带来的图像错位、倾斜等问题,减小图像中的物体的变形,提升图像与用户所观看到的画面的一致性,提升用户的视觉感受。

Description

图像处理方法、电子装置及计算机可读存储介质
技术领域
本申请涉及图像处理技术领域,特别涉及一种图像处理方法、电子装置及计算机可读存储介质。
背景技术
图像传感器的曝光控制通常包括全局快门和卷帘快门两种。其中,全局曝光是通过控制像素阵列中的所有感光元件同时曝光实现的,所有感光元件均在同一时间段内进行曝光;卷帘快门是通过控制像素阵列中的感光元件逐行曝光实现的,同一行的感光元件在同一时间段内进行曝光,不同行的感光元件在不同的时间段内进行曝光。在使用卷帘快门进行曝光控制时,若拍摄场景中存在运动物体,则可能会出现图像错位、倾斜等问题,影响成像效果。
发明内容
本申请实施方式提供了一种图像处理方法、电子装置及计算机可读存储介质。
本申请实施方式的图像处理方法包括:获取待校正图像中的运动区域的运动信息;根据所述运动信息确定所述运动区域在单位时间内的偏移信息;及根据所述偏移信息校正所述待校正图像以获得校正图像。
本申请实施方式的电子装置包括处理器。所述处理器用于:获取待校正图像中的运动区域的运动信息;根据所述运动信息确定所述运动区域在单位时间内的偏移信息;及根据所述偏移信息校正所述待校正图像以获得校正图像。
本申请实施方式的计算机可读存储介质存储有计算机程序。所述计算机程序被处理器执行时实现以下图像处理方法:获取待校正图像中的运动区域的运动信息;根据所述运动信息确定所述运动区域在单位时间内的偏移信息;及根据所述偏移信息校正所述待校正图像以获得校正图像。
本申请实施方式的图像处理方法、电子装置及计算机可读存储介质,通过获取待校正图像中的运动区域的运动信息,并根据运动信息确定运动区域在单位时间内的偏移量,从而可以根据偏移量对运动区域进行补偿,以减少行曝光带来的图像错位、倾斜等问题,减小图像中的物体的变形,提升图像与用户所观看到的画面的一致性,提升用户的视觉感受。
本申请实施方式的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实践了解到。
附图说明
本申请的上述和/或附加的方面和优点可以从结合下面附图对实施方式的描述中将变得明显和容易理解,其中:
图1是本申请某些实施方式的图像处理方法的流程示意图;
图2是本申请某些实施方式的电子装置的示意图;
图3是本申请某些实施方式的图像处理方法的流程示意图;
图4是本申请某些实施方式的图像处理方法的流程示意图;
图5是本申请某些实施方式的图像处理方法的流程示意图;
图6是本申请某些实施方式的图像处理方法的场景示意图;
图7是本申请某些实施方式的图像处理方法的流程示意图;
图8是本申请某些实施方式的图像处理方法的流程示意图;
图9是本申请某些实施方式的图像处理方法的场景示意图;
图10是本申请某些实施方式的图像处理方法的流程示意图;
图11是本申请某些实施方式的图像处理方法的流程示意图;
图12是本申请某些实施方式的图像处理方法的流程示意图;
图13是本申请实施方式的计算机可读存储介质电子装置交互的示意图。
具体实施方式
下面详细描述本申请的实施方式,所述实施方式的示例在附图中示出,其中,相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的,仅用于解释本申请的实施方式,而不能理解为对本申请的实施方式的限制。
请参阅图1,本申请实施方式提供一种图像处理方法。图像处理方法包括:
01:获取待校正图像中的运动区域的运动信息;
02:根据运动信息确定运动区域在单位时间内的偏移信息;及
03:根据偏移信息校正待校正图像以获得校正图像。
请参阅图2,本申请实施方式还提供一种电子装置100。本申请实施方式的图像处理方法可以由本申请实施方式的电子装置100实现。电子装置100包括处理器10。步骤01、步骤02及步骤03均可由处理器10实现。也即是说,处理器10可以用于获取待校正图像中的运动区域的运动信息、根据运动信息确定运动区域在单位时间内的偏移信息、根据偏移信息校正待校正图像以获得校正图像。
在某些实施方式中,电子装置100包括手机、平板电脑、笔记本电脑、智能穿戴设备(如智能眼镜、智能手环、智能手表、智能头盔)、相机(如单反相机、无反相机)等,在此不作任何限制。在本申请的具体实施例中,电子装置100为手机。
可以理解,电子装置100的图像传感器可以采用卷帘快门进行曝光控制。卷帘快门是通过控制像素阵列中的感光元件逐行曝光实现的,同一行的感光元件在同一时间段内进行曝光,不同行的感光元件在不同的时间段内进行曝光。在使用卷帘快门进行曝光控制时,若拍摄场景中存在运动物体,则可能会出现图像错位、倾斜等问题,影响成像效果。
本申请实施方式的图像处理方法及电子装置100,通过获取待校正图像中的运动区域的运动信息,并根据运动信息确定运动区域在单位时间内的偏移量,从而可以根据偏移量对运动区域进行补偿,以减少行曝光方式带来的图像错位、倾斜等问题,减小图像中的物体的变形,提升图像与用户所观看到的画面的一致性,提升用户的视觉感受。
请参阅图3,在某些实施方式中,步骤03根据偏移信息校正待校正图像以获得校正图像,包括:
031:根据偏移信息确定运动区域内每个图像像素在第一方向的第一偏移量及在第二方向上的第二偏移量,第一方向与第二方向不同;
032:根据第一偏移量和第二偏移量对每个图像像素在待校正图像中的位置进行校正以获得校正图像。
请再参阅图2,在某些实施方式中,步骤03可以由处理器10实现。也即是说,处理器10可以用于根据偏移信息确定运动区域内每个图像像素在第一方向的第一偏移量及在第二方向上的第二偏移量,第一方向与第二方向不同。处理器10还可以用于根据第一偏移量和第二偏移量对每个图像像素在待校正图像中的位置进行校正以获得校正图像。
具体地,假设运动区域在ΔT时间段内的向右移动了S1个图像像素,向下移动了S2个图像像素,即运动区域的运动信息为(S1,S2,ΔT),则处理器10可以根据运动信息(S1,S2,ΔT)计算出运动区域在单位时间内的偏移信息ΔS1和ΔS2,其中,ΔS1=S1/ΔT,ΔS2=S2/ΔT。随后,处理器10可以根据局部偏移信息ΔS1和ΔS2计算运动区域内每个图像像素在第一方向上的第一偏移量及在第二方向上的第二偏移量,其中,第一方向例如为行方向(左右方向),第二方向例如为列方向(上下方向),行方向可以与列方向相交并垂直,但并不限于此。示例地,假设待校正图像包括0,1,2,…N行图像像素,且包括0,1,2…,N列图像像素,运动区域位内的多个像素位于第M行至第M+5行之间,且位于第P列至第P+3列之间,则对于第M行第P列的图像像素,其第一偏移量为M*ΔS1,第二偏移量为P*ΔS2,处理器10需要将第M行第P列的图像像素向左移动M*ΔS1个图像像素,并向上移动P*ΔS2个图像像素,从而使得第M行第P列的图像像素的位置得到校正。同样地,对于第M+2行第P+1列的图像像素,其第一偏移量为(M+2)*ΔS1,第二偏移量为(P+1)*ΔS2,处理器10需要将第(M+2)行第(P+1)列的图像像素向左移动(M+2)*ΔS1个图像像素,并向上移动(P+1)*ΔS2个图像像素,从而使得第(M+2)行第(P+1)列的图像像素的位置得到校正。运动区域内的其他图像像素的校正方式依此类推,在此不再赘述。如此,通过对运动区域内的每个图像像素的像素位置进行校正,消除了行曝光导致的像素位置偏移的影响,极大地改善了图像的成像质量。
需要说明的是,在上述实施例中,对于运动区域内的处于第M行第P列图像像素的偏移量的计算,均是基于运动区域在ΔT时间段内是匀速运动为前提计算得到的。然而,在某些情况下,运动区域在ΔT时间段内可能不是匀速运动的。因此,在其他实施例中,处理器10可以首先获得多帧(大于2帧)图像,并分别检测出每帧图像中的运动区域所在位置。随后,处理器10根据多帧图像中的运动区域的位置拟合出运动区域的运动曲线。随后,处理器10根据拟合出来的运动曲线确定运动区域在ΔT时间段内的运动信息,并根据运动信息确定运动区域在单位时间内的偏移信息。随后,处理器10根据偏移信息确定每个图像像素在第一方向上的偏移量及在第二方向上的偏移量。以运动区域内的处于第M行第P列图像像素为例,其第一偏移量为a*M*ΔS1,第二偏移量为b*P*ΔS2,其中a和b均为根据运动曲线确定出来的系数。当运动区域在ΔT时间段内为匀速运动时,a和b均为1,当运动区域在ΔT时间段内不为匀速运动时,a和b不为1。如此,对于运动区域的运动是曲线运动的情况,可以更加精准地对每个图像像素进行像素偏移的校正,改善校正图像的质量。
请参阅图4和图5,在某些实施方式中,图像处理方法还包括:
04:检测电子装置100与拍摄场景之间的相对位移;
05:在相对位移小于预定位移时,检测待校正图像中是否存在局部运动区域;
在待校正图像中存在局部运动区域时,步骤01获取待校正图像中的运动区域的运动信息,包括:
011:获取待校正图像中的局部运动区域的局部运动信息;
步骤02根据运动信息确定运动区域在单位时间内的偏移信息,包括:
021:根据局部运动信息确定局部运动区域在单位时间内的局部偏移信息;
步骤03根据偏移信息校正待校正图像以获得校正图像,包括:
033:根据局部偏移信息校正待校正图像以获得校正图像。
步骤033根据局部偏移信息校正待校正图像以获得校正图像,包括:
0331:根据局部偏移信息确定局部运动区域内每个图像像素在第一方向的第一偏移量及在第二方向上的第二偏移量,第一方向与第二方向不同;
0332:根据第一偏移量和第二偏移量对每个图像像素在待校正图像中的位置进行校正以获得校正图像。
请再参阅图2,在某些实施方式中,步骤04、步骤05、步骤011、步骤021、步骤033、步骤0331及步骤0332均可以由处理器10实现。也即是说,处理器10可以用于检测电子装置100与拍摄场景之间的相对位移,并在相对位移小于第一位移时,检测待校正图像中是否存在局部运动区域。在待校正图像中存在局部运动区域时,处理器10用于获取待校正图像中的局部运动区域的局部运动信息、根据局部运动信息确定局部运动区域在单位时间内的局部偏移信息、及根据局部偏移信息校正待校正图像以获得校正图像。处理器10用于局部偏移信息校正待校正图像以获得校正图像时,具体用于根据局部偏移信息确定局部运动区域内每个图像像素在第一方向的第一偏移量及在第二方向上的第二偏移量,以及根据第一偏移量和第二偏移量对每个图像像素在待校正图像中的位置进行校正以获得校正图像。其中,第一方向与第二方向不同。
可以理解,使用电子装置100进行拍摄场景的拍摄时可能存在局部运动和整体运动两种情况。其中局部运动是指电子装置100与拍摄场景间不存在相对位移,此时,拍摄场景整体静止,仅拍摄场景中的部分区域运动。整体运动是指电子装置100和拍摄场景之间存在相对移动,此时,对于电子装置100而言,拍摄场景整体发生了运动。由于拍摄场景的运动方式不同会导致补偿方式上的差异,因此,需要检测电子装置100与拍摄场景之间的相对位移,来判断画面是整体运动还是局部运动。具体地,当检测到相对位移小于或等于预定位移,说明电子装置100与拍摄场景未发生相对位移,即拍摄场景整体静止;若检测到相对位移大于预定位移,说明电子装置100与拍摄场景发生了相对位移,即拍摄场景整体发生了运动。
在一个例子中,可以使用电子装置100中的陀螺仪来检测电子装置100的抖动情况。陀螺仪能检测和感应电子装置100在三维空间中的运动,可以提供电子装置100在俯仰方向(pitch)、偏航方向(yaw)、横滚方向(roll)这三个方向上的角速度。处理器10可以根据陀螺仪检测到的角速度数据判断电子装置100与拍摄场景之间的相对位移情况。
在另一个例子中,可以通过帧间差分法来检测电子装置100与拍摄场景之间的相对位移情况。帧间差分法是一种通过对图像序列中相邻两帧图像作差分运算来获得运动目标轮廓的方法。当电子装置100与拍摄场景之间出现相对位移时,帧与帧之间会出现较为明显的差别。因此,处理器10可以对电子装置100获取的两帧图像进行相减,具体地,处理器10计算两帧图像中位置相对应的两个图像像素(位置相对应的两个图像像素简称为第一图像像素对)的像素值的差值的绝对值,以得到多个差分值,处理器判断差分值大于预定差分值的第一图像像素对的数量占总的第一图像像素对的数量的比值,若该比值大于预定比值,则处理器10判定电子装置100与拍摄场景之间出现了相对位移;若该比值小于或等于预定比值,则处理器10判定电子装置100与拍摄场景之间未出现相对位移。
在再一个例子中,可以通过光流法来检测电子装置100与拍摄场景之间的相对位移情况。示例地,处理器10可以处理连续的多帧图像来建立整个画面的光流场。如果整个画面中大部分的光流场都出现一个方向的移动,则处理器10可以判定电子装置100与拍摄场景之间出现相对位移。
当然,在其他例子中,还可以通过深度学习来检测电子装置100与拍摄场景之间的相对位移情况等,在此不作限制。
在处理器10判定拍摄场景整体静止时,处理器10需要进一步检测拍摄场景中是否存在局部运动。其中,处理器10同样可以使用帧间差分法、光流法或深度学习等进行局部运动区域的检测。
如若不存在局部运动,则电子装置100拍摄的图像不会发生像素偏移,不需要进行像素偏移的补偿,此时直接将待校正图像提供给用户。
如若检测到图像中存在局部运动,说明图像中存在局部运动区域,则电子装置100拍摄的图像中可能发生了像素偏移,需要进行像素偏移的补偿。
图6为一个实施例的待校正图像中局部运动区域校正的场景示意图。假设电子装置100与拍摄场景之间的相对位移小于预定位移,但拍摄场景中存在向右移动的运动物体,则电子装置100在T1时刻和T2时刻分别拍摄到如图6所示的图像I1和图像I2,图像I1和图像I2中均存在发生了像素偏移的局部运动区域,且图像I1中的局部运动区域所处位置与图像I2中的局部运动区域所处位置不同。两局部运动区域存在特征点相对应的多对第二图像像素对。
当运动物体为刚性物体时,处理器10可以直接计算两局部运动区域中任意一对第二图像像素对之间的移动量,例如计算图像I1中的图像像素P(0,2)与图像I2中的图像像素P(0,4)之间的移动量,该移动量为(0,2,ΔT),其中ΔT=T2-T1。处理器10可以直接将该移动量(0,2)作为局部运动区域的局部运动信息(0,2,ΔT)。随后,处理器10可以根据局部运动信息(0,2,ΔT)计算局部运动区域在单位时间内的局部偏移信息,以根据局部偏移信息计算局部运动区域内各图像像素在第一方向和第二方向上的偏移量,并根据该偏移量对各图像像素进行校正。该具体校正过程与前述的图3所示实施例中的校正过程相同,在此不再详细展开。
当运动物体为非刚性物体时,处理器10需要计算两局部运动区域中所有的第二图像像素对之间的移动量以得到多个移动量的数据。处理器10再计算多个移动量的均值以将该均值作为局部运动区域的局部运动信息。随后,处理器10根据局部偏移信息计算局部运动区域内各图像像素在第一方向和第二方向上的偏移量,并根据该偏移量对各图像像素进行校正。同样地,该具体校正过程与前述的图3所示实施例中的校正过程相同,在此不再详细展开。
需要说明的是,处理器10可以将T1时刻下获得的图像I1作为待校正图像进行校正(如图6所示),也可将T2时刻下获得的图像I2作为待校正图像进行校正(图未示),在此不作限制。此外,待校正图像中的局部运动区域可能为一个或多个,处理器10需要对一个或多个的局部运动区域均进行校正。如此,通过对待校正图像中局部运动区域的像素偏移的校正,减小局部运动区域中的物体的变形,提高图像的成像质量。
请参阅图7和图8,在某些实施方式中,在相对位移大于预定位移时,步骤01获取待校正图像中的运动区域的运动信息,包括:
012:获取待校正图像中的全局运动区域的全局运动信息;
步骤02根据运动信息确定运动区域在单位时间内的偏移信息,包括:
022:根据全局运动信息确定全局运动区域在单位时间内的全局偏移信息;
步骤03根据偏移信息校正待校正图像以获得校正图像,包括:
034:根据全局偏移信息校正待校正图像以获得初始校正图像。
步骤034根据全局偏移信息校正待校正图像以获得初始校正图像,包括:
0341:根据全局偏移信息确定全局运动区域内每个图像像素在第一方向的第一偏移量及在第二方向上的第二偏移量,第一方向与第二方向不同;
0342:根据第一偏移量和第二偏移量对每个图像像素在待校正图像中的位置进行校正以获得初始校正图像。
请再参阅图2,在某些实施方式中,步骤012、步骤022、步骤034、步骤0341和步骤0342均可以由处理器10实现。也即是说,处理器10可以用于在相对位移大于第一位移时,获取待校正图像中的全局运动区域的全局运动信息、根据全局运动信息确定全局运动区域在单位时间内的全局偏移信息、及根据全局偏移信息校正待校正图像以获得初始校正图像。处理器10用于全局偏移信息校正待校正图像以获得初始校正图像时,具体用于根据全局偏移信息确定全局运动区域内每个图像像素在第一方向的第一偏移量及在第二方向上的第二偏移量,以及根据第一偏移量和第二偏移量对每个图像像素在待校正图像中的位置进行校正以获得初始校正图像。其中,第一方向与第二方向不同。
可以理解,当检测到相对位移大于预定位移,说明电子装置100与拍摄场景发生了相对位移,即拍摄场景整体发生了运动。此时需要获取整个图像的全局运动信息,根据全局运动信息计算单位时间内全局偏移信息来校正待校正图像以获得初始校正图像。
图9为一个实施例的拍摄场景发生了整体运动的场景示意图。假设电子装置100与拍摄场景之间的相对位移大于预定位移,此时电子装置100与被拍摄场景产生了一个向右移动的全局位移,则电子装置100在T1时刻和T2时刻分别拍摄到如图9所示的图像H1和图像H2,图像H1和图像H2中均发生了全局的像素偏移。处理器10需要对图像H1和图像H2中的至少一帧做全局的像素偏移的校正。
具体地,处理器10可以直接将检测到的电子装置100与拍摄场景之间的相对位移作为全局运动区域的全局运动信息,例如,假设电子装置100与拍摄场景之间的相对位移为(0,1),则处理器10可以直接将该相对位移(0,1)作为全局运动区域的全局运动信息(0,1,ΔT),其中ΔT=T2-T1。随后,处理器10可以根据全局运动信息(0,1,ΔT)计算全局运动区域在单位时间内的全局偏移信息,以根据全局偏移信息计算全局运动区域内各图像像素在第一方向和第二方向上的偏移量,并根据该偏移量对各图像像素进行校正。该具体校正过程与前述的图3所示实施例中的校正过程相同,在此不再详细展开。
需要说明的是,由于需要对初始校正图像进行是否存在局部运动区域的判定,因此,在本申请的实施例中,处理器10需要对图像H1进行全局的像素偏移的校正以获得初始校正图像H1’,同时需要对图像H2进行全局的像素偏移的校正以获得初始校正图像H2’(如图9所示)。如此,通过对多帧待校正图像中全局运动区域的像素偏移的校正,以获得多帧的初始校正图像,为进一步判断是否进行局部运动区域的校正做准备。
请参阅图10,在某些实施方式中,图像处理方法还包括:
06:检测初始校正图像是否存在局部运动区域;
07:在初始校正图像中不存在局部运动区域时,确认初始校正图像为校正图像。
请再参阅图2,在某些实施方式中,步骤06及步骤07均可以由处理器10实现。也即是说,处理器10可以用于检测初始校正图像是否存在局部运动区域;在初始校正图像中不存在局部运动区域时,确认初始校正图像为校正图像。
可以理解,当电子装置100与拍摄场景发生了相对位移,处理器10通过全局运动区域的补偿(即全局的像素偏移的校正)获得了初始校正图像后,处理器10还需进一步判断,在整体运动中是否还存在局部运动。如若不存在局部运动,那么补偿就此结束,处理器10获得的初始校正图像(可以是初始校正图像H1’或初始校正图像H2’)就是不存在像素偏移的图像,处理器10可以将该初始校正图像作为校正图像直接提供给用户;如若存在局部运动,则还需要继续进行局部运动区域的补偿,以解决图像中的像素偏移、错位等问题。其中,处理器10同样可以使用帧间差分法、光流法或深度学习等方法处理初始校正图像H1’和初始校正图像H2’以进行局部运动区域的检测。
请参阅图11和图12,在某些实施方式中,在初始校正图像中存在局部运动区域时,步骤01获取待校正图像中的运动区域的运动信息,包括:
013:获取初始校正图像中的局部运动区域的局部运动信息;
步骤02根据运动信息确定运动区域在单位时间内的偏移信息,包括:
023:根据局部运动信息确定局部运动区域在单位时间内的局部偏移信息;
步骤03根据偏移信息校正待校正图像以获得校正图像,包括:
035:根据局部偏移信息校正初始校正图像以获得校正图像。
步骤035根据局部偏移信息校正初始待校正图像以获得校正图像,包括:
0351:根据局部偏移信息确定初始校正图像的局部运动区域内每个图像像素在第一方向的第一偏移量及在第二方向上的第二偏移量,第一方向与第二方向不同;
0352:根据第一偏移量和第二偏移量对每个图像像素在初始校正图像中的位置进行校正以获得校正图像。
请再参阅图2,在某些实施方式中,步骤013、步骤023、步骤035、步骤0351和步骤0352均可以由处理器10实现。也即是说,处理器10可以用于在初始校正图像中存在局部运动区域时,获取初始校正图像中的局部运动区域的局部运动信息。处理器10还可以用于根据局部运动信息确定局部运动区域在单位时间内的局部偏移信息、及根据局部偏移信息校正初始校正图像以获得校正图像。处理器10还可以用于根据局部偏移信息确定初始校正图像的局部运动区域内每个图像像素在第一方向的第一偏移量及在第二方向上的第二偏移量,并根据第一偏移量和第二偏移量对每个图像像素在待校正图像中的位置进行校正以获得校正图像。其中,第一方向与第二方向不同。
请再参阅图9,在图9所示的实施例中,除了电子装置100与拍摄场景之间的相对位移大于预定位移外,拍摄场景中还存在向右移动的运动物体,也即初始校正图像中还存在局部运动区域。具体地,如图9所示,初始校正图像H1’和初始校正图像H2’均存在发生了像素偏移的局部运动区域,且初始校正图像H1’中的局部运动区域所处位置与初始校正图像H2’中的局部运动区域所处位置不同。两局部运动区域存在特征点相对应的多对第二图像像素对。处理器10可以根据初始校正图像中的第二图像像素对计算出初始校正图像中的局部运动区域的局部运动信息,其具体计算过程与处理器10根据待校正图像中的多对第二图像像素对计算出待校正图像中的局部运动区域的局部运动信息的过程一致,在此不再详细展开。在获得局部运动信息后,处理器10根据初始校正图像中的局部运动信息确定该局部运动信息在单位时间内的局部偏移信息,其具体计算过程与处理器10根据待校正图像中的局部运动信息确定该局部运动信息在单位时间内的局部偏移信息的过程一致,在此也不再详细展开。在获得局部偏移信息后,处理器10即可根据局部偏移信息校正初始校正图像以获得校正图像,其具体校正过程与图3所示实施例中的校正过程相同,在此也不再详细展开。
在某些实施方式中,在获得校正图像后,处理器10还可以对校正图像做进一步的修正。可以理解,在对存在像素偏移的区域进行像素偏移的校正后,可能会出现校正后的图像中部分线条不连贯的问题。因此,处理器10可以对图像中线条不连贯的区域进行修正。作为一个示例,在校正图像为对待校正图像进行局部运动区域的像素偏移校正后得到时,处理器10可以对校正图像中局部运动区域内的一个或多个物体进行识别,并基于识别出来的一个或多个物体,进行与各物体对应的形状的拟合,以对局部运动区域内的一个或多个物体进行修正,解决局部运动区域内的物体线条不连贯的问题;在校正图像为对待校正图像进行全局运动区域的像素偏移校正后得到时,处理器10可以对初始校正图像(即校正图像)中全局运动区域内的一个或多个物体进行识别,并基于识别出来的一个或多个物体形状,进行与各物体对应的形状的拟合,以对全局运动区域内的一个或多个物体进行修正,解决全局运动区域内的物体线条不连贯的问题;在校正图像为先对待校正图像进行全局运动区域的像素偏移校正得到初始校正图像,并对初始校正图像进行局部运动区域的像素偏移校正后得到时,处理器10对校正图像中局部运动区域内的一个或多个物体进行识别,并基于识别出来的一个或多个物体,进行与各物体对应的形状的拟合,以对局部运动区域内的一个或多个的物体进行修正,解决校正图像中局部运动区域内的物体线条不连贯的问题。
请参阅图13,本申请实施方式还提供一种计算机可读存储介质20。计算机可读存储介质20可与本申请实施方式的电子装置100相连接。计算机可读存储介质20存储有计算机程序。计算机程序被处理器10执行时实现上述任意一项实施方式所述的图像处理方法。
例如,请结合图1和图13,计算机程序被处理器10执行时实现以下步骤:
01:获取待校正图像中的运动区域的运动信息;
02:根据运动信息确定运动区域在单位时间内的偏移信息;及
03:根据偏移信息校正待校正图像以获得校正图像。
再例如,请结合图3和图13,计算机程序被处理器10执行时实现以下步骤:
031:根据偏移信息确定运动区域内每个图像像素在第一方向的第一偏移量及在第二方向上的第二偏移量,第一方向与第二方向不同;
032:根据第一偏移量和第二偏移量对每个图像像素在待校正图像中的位置进行校正以获得校正图像。
在本说明书的描述中,参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本申请的实施例所属技术领域的技术人员所理解。
尽管上面已经示出和描述了本申请的实施方式,可以理解的是,上述实施方式是示例性的,不能理解为对本申请的限制,本领域的普通技术人员在本申请的范围内可以对上述实施方式进行变化、修改、替换和变型。

Claims (13)

1.一种图像处理方法,其特征在于,所述图像处理方法包括:
获取待校正图像中的运动区域的运动信息;
根据所述运动信息确定所述运动区域在单位时间内的偏移信息;及
根据所述偏移信息校正所述待校正图像以获得校正图像。
2.根据权利要求1所述的图像处理方法,其特征在于,所述图像处理方法应用于电子装置,所述图像处理方法还包括:
检测所述电子装置与拍摄场景之间的相对位移;
在所述相对位移小于预定位移时,检测所述待校正图像中是否存在局部运动区域;
在所述待校正图像中存在所述局部运动区域时,所述获取待校正图像中的运动区域的运动信息,包括:
获取所述待校正图像中的所述局部运动区域的局部运动信息;
所述根据所述运动信息确定所述运动区域在单位时间内的偏移信息,包括:
根据所述局部运动信息确定所述局部运动区域在单位时间内的局部偏移信息;
所述根据所述偏移信息校正所述待校正图像以获得校正图像,包括:
根据所述局部偏移信息校正所述待校正图像以获得所述校正图像。
3.根据权利要求2所述的图像处理方法,其特征在于,在所述相对位移大于所述预定位移时,所述获取待校正图像中的运动区域的运动信息,包括:
获取所述待校正图像中的全局运动区域的全局运动信息;
所述根据所述运动信息确定所述运动区域在单位时间内的偏移信息,包括:
根据所述全局运动信息确定所述全局运动区域在单位时间内的全局偏移信息;
所述根据所述偏移信息校正所述待校正图像以获得校正图像,包括:
根据所述全局偏移信息校正所述待校正图像以获得初始校正图像。
4.根据权利要求3所述的图像处理方法,其特征在于,所述图像处理方法还包括:
检测所述初始校正图像是否存在局部运动区域;及
在所述初始校正图像中不存在所述局部运动区域时,确认所述初始校正图像为所述校正图像。
5.根据权利要求4所述的图像处理方法,其特征在于,在所述初始校正图像中存在所述局部运动区域时,所述获取待校正图像中的运动区域的运动信息,包括:
获取所述初始校正图像中的所述局部运动区域的局部运动信息;
所述根据所述运动信息确定所述运动区域在单位时间内的偏移信息,包括:
根据所述局部运动信息确定所述局部运动区域在单位时间内的局部偏移信息;
所述根据所述偏移信息校正所述待校正图像以获得校正图像,包括:
根据所述局部偏移信息校正所述初始校正图像以获得所述校正图像。
6.根据权利要求1所述的图像处理方法,其特征在于,所述根据所述偏移信息校正所述待校正图像以获得校正图像,包括:
根据所述偏移信息确定所述运动区域内每个图像像素在第一方向的第一偏移量及在第二方向上的第二偏移量,所述第一方向与所述第二方向不同;及
根据所述第一偏移量和所述第二偏移量对每个所述图像像素在所述待校正图像中的位置进行校正以获得所述校正图像。
7.一种电子装置,其特征在于,所述电子装置包括处理器,所述处理器用于:
获取待校正图像中的运动区域的运动信息;
根据所述运动信息确定所述运动区域在单位时间内的偏移信息;及
根据所述偏移信息校正所述待校正图像以获得校正图像。
8.根据权利要求7所述的电子装置,其特征在于,所述处理器还用于:
检测所述电子装置与拍摄场景之间的相对位移;
在所述相对位移小于预定位移时,检测所述待校正图像中是否存在局部运动区域;
在所述待校正图像中存在所述局部运动区域时,获取所述待校正图像中的所述局部运动区域的局部运动信息;
根据所述局部运动信息确定所述局部运动区域在单位时间内的局部偏移信息;及
根据所述局部偏移信息校正所述待校正图像以获得所述校正图像。
9.根据权利要求8所述的电子装置,其特征在于,所述处理器还用于:
在所述相对位移大于所述预定位移时,获取所述待校正图像中的全局运动区域的全局运动信息;
根据所述全局运动信息确定所述全局运动区域在单位时间内的全局偏移信息;
根据所述全局偏移信息校正所述待校正图像以获得初始校正图像。
10.根据权利要求9所述的电子装置,其特征在于,所述处理器还用于:
检测所述初始校正图像是否存在局部运动区域;及
在所述初始校正图像中不存在所述局部运动区域时,确认所述初始校正图像为所述校正图像。
11.根据权利要求10所述的电子装置,其特征在于,所述处理器还用于:
在所述初始校正图像中存在所述局部运动区域时,获取所述初始校正图像中的所述局部运动区域的局部运动信息;
根据所述局部运动信息确定所述局部运动区域在单位时间内的局部偏移信息;及
根据所述局部偏移信息校正所述初始校正图像以获得所述校正图像。
12.根据权利要求7所述的电子装置,其特征在于,所述处理器还用于:
根据所述偏移信息确定所述运动区域内每个图像像素在第一方向的第一偏移量及在第二方向上的第二偏移量,所述第一方向与所述第二方向不同;
根据所述第一偏移量和所述第二偏移量对每个所述图像像素在所述待校正图像中的位置进行校正以获得所述校正图像。
13.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-6中任意一项所述的图像处理方法。
CN202010285767.9A 2020-04-13 2020-04-13 图像处理方法、电子装置及计算机可读存储介质 Active CN111479035B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010285767.9A CN111479035B (zh) 2020-04-13 2020-04-13 图像处理方法、电子装置及计算机可读存储介质
PCT/CN2021/075089 WO2021208569A1 (zh) 2020-04-13 2021-02-03 图像处理方法、电子装置及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010285767.9A CN111479035B (zh) 2020-04-13 2020-04-13 图像处理方法、电子装置及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111479035A true CN111479035A (zh) 2020-07-31
CN111479035B CN111479035B (zh) 2022-10-18

Family

ID=71752225

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010285767.9A Active CN111479035B (zh) 2020-04-13 2020-04-13 图像处理方法、电子装置及计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN111479035B (zh)
WO (1) WO2021208569A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021208569A1 (zh) * 2020-04-13 2021-10-21 Oppo广东移动通信有限公司 图像处理方法、电子装置及计算机可读存储介质
CN113658053A (zh) * 2021-07-04 2021-11-16 浙江大华技术股份有限公司 图像校正方法、装置、电子设备、计算机可读存储介质
CN114205525A (zh) * 2021-12-02 2022-03-18 信利光电股份有限公司 一种卷帘曝光的图像修正方法、装置及可读存储介质
CN115086517A (zh) * 2022-05-26 2022-09-20 联宝(合肥)电子科技有限公司 一种图像采集方法、装置、电子设备及存储介质
CN114205525B (zh) * 2021-12-02 2024-05-31 信利光电股份有限公司 一种卷帘曝光的图像修正方法、装置及可读存储介质

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060241371A1 (en) * 2005-02-08 2006-10-26 Canesta, Inc. Method and system to correct motion blur in time-of-flight sensor systems
CN101180652A (zh) * 2005-04-11 2008-05-14 爱肯公司 用于捕捉和分析运动物体的热成像图像的方法和装置
CN101193208A (zh) * 2006-11-30 2008-06-04 索尼株式会社 图像拍摄装置、图像处理装置、方法以及程序
CN101305396A (zh) * 2005-07-12 2008-11-12 Nxp股份有限公司 用于去除运动模糊效应的方法和装置
CN101485199A (zh) * 2006-06-30 2009-07-15 摩托罗拉公司 用于静态相机运动的视频校正的方法和设备
CN101610349A (zh) * 2008-06-20 2009-12-23 索尼株式会社 用于处理图像的装置、方法和程序
CN102780848A (zh) * 2011-05-11 2012-11-14 佳能株式会社 利用卷帘快门方法来执行摄像的摄像装置及其控制方法
CN103973999A (zh) * 2013-02-01 2014-08-06 佳能株式会社 摄像装置及其控制方法
CN107403413A (zh) * 2017-04-14 2017-11-28 杭州当虹科技有限公司 一种视频多帧去噪及增强方法
US20180020164A1 (en) * 2016-07-13 2018-01-18 Canon Kabushiki Kaisha Image stabilization apparatus, control method thereof, and image capture apparatus
CN108337428A (zh) * 2017-01-20 2018-07-27 佳能株式会社 图像稳定设备及其控制方法、摄像设备和存储介质
CN108605098A (zh) * 2016-05-20 2018-09-28 深圳市大疆创新科技有限公司 用于卷帘快门校正的系统和方法
CN109462717A (zh) * 2018-12-12 2019-03-12 深圳市至高通信技术发展有限公司 电子稳像方法及终端
CN110692235A (zh) * 2017-05-17 2020-01-14 株式会社克利普顿 图像处理装置、图像处理程序及图像处理方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4509917B2 (ja) * 2005-11-21 2010-07-21 株式会社メガチップス 画像処理装置及びカメラシステム
JP4509925B2 (ja) * 2005-12-27 2010-07-21 株式会社メガチップス 画像処理装置及びカメラシステム並びに画像処理方法及び動画像表示方法
JP6008317B2 (ja) * 2012-10-04 2016-10-19 パナソニックIpマネジメント株式会社 画像処理装置及び画像処理方法
CN103856711A (zh) * 2012-12-05 2014-06-11 联咏科技股份有限公司 滚动快门的校正方法与图像处理装置
JP6385212B2 (ja) * 2014-09-09 2018-09-05 キヤノン株式会社 画像処理装置及び方法、撮像装置、及び画像生成装置
CN111479035B (zh) * 2020-04-13 2022-10-18 Oppo广东移动通信有限公司 图像处理方法、电子装置及计算机可读存储介质

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060241371A1 (en) * 2005-02-08 2006-10-26 Canesta, Inc. Method and system to correct motion blur in time-of-flight sensor systems
CN101180652A (zh) * 2005-04-11 2008-05-14 爱肯公司 用于捕捉和分析运动物体的热成像图像的方法和装置
CN101305396A (zh) * 2005-07-12 2008-11-12 Nxp股份有限公司 用于去除运动模糊效应的方法和装置
CN101485199A (zh) * 2006-06-30 2009-07-15 摩托罗拉公司 用于静态相机运动的视频校正的方法和设备
CN101193208A (zh) * 2006-11-30 2008-06-04 索尼株式会社 图像拍摄装置、图像处理装置、方法以及程序
CN101610349A (zh) * 2008-06-20 2009-12-23 索尼株式会社 用于处理图像的装置、方法和程序
CN102780848A (zh) * 2011-05-11 2012-11-14 佳能株式会社 利用卷帘快门方法来执行摄像的摄像装置及其控制方法
CN103973999A (zh) * 2013-02-01 2014-08-06 佳能株式会社 摄像装置及其控制方法
CN108605098A (zh) * 2016-05-20 2018-09-28 深圳市大疆创新科技有限公司 用于卷帘快门校正的系统和方法
US20180020164A1 (en) * 2016-07-13 2018-01-18 Canon Kabushiki Kaisha Image stabilization apparatus, control method thereof, and image capture apparatus
CN108337428A (zh) * 2017-01-20 2018-07-27 佳能株式会社 图像稳定设备及其控制方法、摄像设备和存储介质
CN107403413A (zh) * 2017-04-14 2017-11-28 杭州当虹科技有限公司 一种视频多帧去噪及增强方法
CN110692235A (zh) * 2017-05-17 2020-01-14 株式会社克利普顿 图像处理装置、图像处理程序及图像处理方法
CN109462717A (zh) * 2018-12-12 2019-03-12 深圳市至高通信技术发展有限公司 电子稳像方法及终端

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021208569A1 (zh) * 2020-04-13 2021-10-21 Oppo广东移动通信有限公司 图像处理方法、电子装置及计算机可读存储介质
CN113658053A (zh) * 2021-07-04 2021-11-16 浙江大华技术股份有限公司 图像校正方法、装置、电子设备、计算机可读存储介质
CN114205525A (zh) * 2021-12-02 2022-03-18 信利光电股份有限公司 一种卷帘曝光的图像修正方法、装置及可读存储介质
CN114205525B (zh) * 2021-12-02 2024-05-31 信利光电股份有限公司 一种卷帘曝光的图像修正方法、装置及可读存储介质
CN115086517A (zh) * 2022-05-26 2022-09-20 联宝(合肥)电子科技有限公司 一种图像采集方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN111479035B (zh) 2022-10-18
WO2021208569A1 (zh) 2021-10-21

Similar Documents

Publication Publication Date Title
CN111479035B (zh) 图像处理方法、电子装置及计算机可读存储介质
US9743001B1 (en) Method of stabilizing a sequence of images
CN109194876B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
US10848676B2 (en) Semiconductor device and electronic device
US8767036B2 (en) Panoramic imaging apparatus, imaging method, and program with warning detection
CN108702450B (zh) 用于图像捕获设备的相机模块
US10750090B2 (en) Semiconductor device and electronic device
US20130010139A1 (en) Image capturing apparatus and image processing method
JP5932045B2 (ja) 立体視画像ペアの条件付き表示のための方法及び装置
CN101715053A (zh) 成像设备、成像方法和程序
CN105191283A (zh) 摄像装置、固体摄像元件、相机模块、电子设备及摄像方法
CN113508573B (zh) 一种在具有可调整镜头的相机组件中提供同步光学图像稳定的方法和装置
US20180063454A1 (en) Method and apparatus for correcting fixed pattern noise of an infrared image
US11477382B2 (en) Method of stabilizing a sequence of images
US7031544B2 (en) Image restoration apparatus
US10972665B2 (en) Imaging apparatus and image blurring amount calculation method therefor
JP5279453B2 (ja) 画像振れ補正装置、撮像装置及び画像振れ補正方法
JP6602089B2 (ja) 画像処理装置及びその制御方法
JP6257289B2 (ja) 画像処理装置およびそれを備えた撮像装置、画像処理方法
CN115812307A (zh) 图像处理装置、图像显示系统、方法以及程序
US10074189B2 (en) Image processing apparatus, image processing method, and storage medium
JP6516574B2 (ja) 像ブレ補正装置、撮像装置、像ブレ補正方法
JP4919165B2 (ja) 画像合成装置及びプログラム
US10776927B2 (en) Image processing apparatus, image processing method, and program
JP2021118523A (ja) 画像処理装置及び画像処理方法、プログラム、記憶媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant