CN113284080A - 图像处理方法及装置、电子设备及存储介质 - Google Patents
图像处理方法及装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113284080A CN113284080A CN202110671246.1A CN202110671246A CN113284080A CN 113284080 A CN113284080 A CN 113284080A CN 202110671246 A CN202110671246 A CN 202110671246A CN 113284080 A CN113284080 A CN 113284080A
- Authority
- CN
- China
- Prior art keywords
- image
- processing
- image area
- area
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 41
- 230000033001 locomotion Effects 0.000 claims abstract description 133
- 238000012545 processing Methods 0.000 claims abstract description 122
- 238000000034 method Methods 0.000 claims abstract description 24
- 230000011218 segmentation Effects 0.000 claims description 29
- 238000000605 extraction Methods 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 230000007704 transition Effects 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 39
- 230000003993 interaction Effects 0.000 abstract description 9
- 238000010586 diagram Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 10
- 241000282472 Canis lupus familiaris Species 0.000 description 9
- 230000002452 interceptive effect Effects 0.000 description 9
- 238000013135 deep learning Methods 0.000 description 4
- 238000003709 image segmentation Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
本申请公开了一种图像处理方法，包括：对输入图像进行处理得到第一图像区域及第二图像区域，然后对第二图像区域进行加运动模糊处理得到模糊图像区域，并将第一图像区域与模糊图像区域进行组合以得到运动图像。本申请实施方式的图像处理方法，可以使得包含运动主体的第一图像区域清晰以及剩余部分图像区域的第二图像区域运动模糊的动感特效，如主体清晰，背景模糊。同时，用户可以根据需要交互式地调节所需的模糊程度以得到合适的运动特效，在一定程度上增加了用户互动，提升了用户体验。本申请还公开了一种图像处理装置、电子设备及存储介质。
Description
技术领域
本申请涉及图像技术领域，特别涉及一种图像处理方法、图像处理装置、电子设备及存储介质。
背景技术
随着图像处理技术的发展，人们越来越热衷于各种特殊的图像处理效果。尤其是对包含有运动对象的图像处理。例如背景模糊人物清晰的处理方式。目前因包含有运动对象的图像处理较普通图像处理更为复杂，要求用户反应迅速，拍摄时确定主体后，迅速对焦并追焦主体，移动相机，与主体行进方向保持一致且速度相同，如此能拍出背景模糊，人物清晰的画面。但这对于用户来说需要较高的专业度，尤其在手机照相领域，很难通过用户手动操作得到上述第一类运动特效。
发明内容
有鉴于此，本申请的实施例提供了一种图像处理方法、图像处理装置、电子设备及存储介质。
本申请第一方面提供了一种图像处理方法，包括：
对输入图像进行处理得到第一图像区域及第二图像区域；
对所述第二图像区域进行加运动模糊处理得到模糊图像区域；
将所述第一图像区域与所述模糊图像区域进行组合以得到运动图像。
本申请第二方面还提供了一种图像处理装置，包括：
第一处理模块，用于对输入图像进行处理得到第一图像区域及第二图像区域；
模糊模块，用于对所述第二图像区域进行加运动模糊处理得到模糊图像区域；
组合模块，用于将所述第一图像区域与所述模糊图像区域进行组合以得到运动图像。
本申请第三方面提供了一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，实现上述实施方式的图像处理方法。
本申请第四方面提供了一种计算机程序的非易失性计算机可读存储介质，当所述计算机程序被一个或多个处理器执行时，实现上述图像处理方法。
如此，本申请实施方式的图像处理方法、图像处理装置、电子设备及存储介质中，通过对输入图像进行处理得到第一图像区域及第二图像区域，然后对第二图像区域进行加运动模糊处理得到模糊图像区域，并将第一图像区域与模糊图像区域进行组合以得到运动图像。可以使得包含运动主体的第一图像区域清晰以及剩余部分图像区域的第二图像区域运动模糊的动感特效，如主体清晰，背景模糊。同时，用户可以根据需要交互式地调节所需的模糊程度以得到合适的运动特效，在一定程度上增加了用户互动，提升了用户体验。
附图说明
本申请的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解。
图1是本申请某些实施方式的图像处理方法流程示意图；
图2是本申请某些实施方式的图像处理装置模块图；
图3是本申请某些实施方式的图像处理方法流程示意图；
图4是本申请某些实施方式的图像处理方法示例图；
图5是本申请某些实施方式的图像处理方法流程示意图；
图6是本申请某些实施方式的图像处理方法流程示意图；
图7是本申请某些实施方式的图像处理方法示例图；
图8是本申请某些实施方式的图像处理方法流程示意图；
图9是本申请某些实施方式的图像处理方法流程示意图；
图10是本申请某些实施方式的图像处理方法模块图；
图11-a、11-b、11-c是本申请某些实施方式的图像处理方法示例图；
图12-a、12-b、12-c是本申请某些实施方式的图像处理方法示例图；
图13是本申请某些实施方式的图像处理方法流程示意图；
图14是本申请某些实施方式的图像处理方法模块图；
图15是本申请某些实施方式的图像处理装置流程示意图；
图16是本申请某些实施方式的图像处理方法流程示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
请参阅图1，本申请提供了一种图像处理方法，其特征在于，包括：
S10：对输入图像进行处理得到第一图像区域及第二图像区域；
S20：对第二图像区域进行加运动模糊处理得到模糊图像区域；
S30：将第一图像区域与模糊图像区域进行组合以得到运动图像。
相应地，请参阅图2，本申请实施方式还提供了一种图像处理装置100，本申请实施方式的图像处理方法可以由图像处理装置100实现。图像处理装置100包括第一处理模块110、模糊模块120及组合模块130。S10可以由第一处理模块110实现，S20可以由模糊模块120实现，S30可以由组合模块130实现。或者说，第一处理模块110用于对输入图像进行处理得到第一图像区域及第二图像区域。模糊模块120用于对第二图像区域进行加运动模糊处理得到模糊图像区域。组合模块130用于将第一图像区域与模糊图像区域进行组合以得到运动图像。
本申请实施方式还提供了一种电子设备。电子设备包括存储器和处理器。存储器中存储有计算机程序，处理器用于对输入图像进行处理得到第一图像区域及第二图像区域，然后对第二图像区域进行加运动模糊处理得到模糊图像区域，并将第一图像区域与模糊图像区域进行组合以得到运动图像。
需要说明的是，输入图像的来源包括但不限于单摄手机、多摄手机、可穿戴设备、相机、摄像机等电子设备获取的照片或视频截取的图像等。图像色彩模式不受限制，包括但不限于RGB、Mono、RGB+Mono等。
具体地，在步骤S10中，对输入图像进行处理得到第一图像区域及第二图像区域。其中，处理包括但不限于通过分割处理、运动像素提取或通过运动区域自动识别等方式将图像分出第一图像区域及第二图像区域。其中，第一图像区域与第二图像区域均包括至少一个对象，即第一图像区域与第二图像区域均可包括一个对象，或多个对象。例如，一张输入图像内容为一个人与两只狗在跑步，根据图像前后多帧识别到人与狗处于运动状态，当需要处理时，则可将一个人与两只狗自动识别为第一图像区域，其余对象为第二图像区域。
在某些实施方式中，对输入图像进行处理包括对图像进行分割得到第一图像区域及第二图像区域。其中，图像分割包括根据灰度、彩色、空间纹理、几何形状等特征将图像划分成若干个互不相交的图像区域，使得这些特征在同一区域内表现出一致性或相似性，而在不同区域间表现出明显的不同。根据实际应用情况，分割包括但不限于语义分割、实例分割等分割。其分割可通过基于深度学习分割如区域选择分割、基于主动轮廓模型的分割方法或基于边缘检测的分割等。
在一个例子中，一张输入图像内容为一个人或多个人在跑步，则可进行语义分割将人与背景分割开来，进一步地将一个人或多个人分割确定为第一图像区域，将其余图像区域的背景分割确定为第二图像区域。
在另外一个例子中，一张输入图像内容为路人甲在跑步，路人乙和路人丙在散步，则可进行实例分割将每个人与每个背景的对象分割开来，进一步地可将路人甲分割确定为第一图像区域，将路人乙、路人丙及每个背景分割确定为第二图像区域。
如此，通过图像分割的方法将图像进行处理以得到第一图像区域及第二图像区域，因其算法较为成熟，相较于运动区域识别等方法可较为清楚地区分第一图像区域及第二图像区域，图像区域分开的效果较好。且可根据实际业务应用进行不同图像分割处理，应用较为广泛。
优选地，请参阅图3，在某些实施方式中，步骤S10包括：
S11：对输入图像进行语义分割得到第一主体与第一背景，其中，第一主体包括一个或多个运动对象；
S12：将第一主体所在区域确定为第一图像区域，及第一背景区域确定为第二图像区域。
在某些实施方式中，S11和S12可以由第一处理模块110来实现。或者说，第一处理模块110用于对输入图像进行语义分割得到第一主体与第一背景，其中，第一主体包括一个或多个运动对象，将第一主体所在区域确定为第一图像区域，及第一背景区域确定为第二图像区域。
在某些实施方式中，处理器用于对输入图像进行语义分割得到第一主体与第一背景，其中，第一主体包括一个或多个运动对象，将第一主体所在区域确定为第一图像区域，及第一背景区域确定为第二图像区域。
具体地，语义分割是在像素级别上的分类，属于同一类的像素被归为一类。可对图像进行语义分割为第一主体与第一背景。例如，请参阅图4，一张输入图像内容为一个人在跑步，则可进行语义分割将人确定为第一主体，其余图像区域确定为第一背景。进一步地，将第一主体人确定为第一图像区域，将其余图像区域的第一背景确定为第二图像区域。
需要说明的是，上述“第一主体”与“第一背景”为公知含义的语义分割中的主体与背景，“第一”为与其余分割方式的主体与背景区别开来，并无先后顺序的限制。
如此，对于某些应用场景，如同一类对象的运动状态一致，或单一主体，通过语义分割将图像进行处理为第一图像区域和第二图像区域，相较于其它分割方式，数据标注成本较低，图像处理的效率更高。
请参阅图5，在某些实施方式中，步骤S10还包括：
S13：对输入图像进行运动像素提取以得到第二主体，其中，第二主体包括一个或多个运动对象；
S14：将第二主体所在区域确定为第一图像区域；及
S15：将输入图像中除第二主体外的第二背景区域确定为第二图像区域。
在某些实施方式中，S13-S15可以由第一处理模块110来实现。或者说，第一处理模块110用于对输入图像进行运动像素提取以得到第二主体，其中，第二主体包括一个或多个运动对象，将第二主体所在区域确定为第一图像区域；及将输入图像中除第二主体外的第二背景区域确定为第二图像区域。
在某些实施方式中，处理器用于对输入图像进行运动像素提取以得到第二主体，其中，第二主体包括一个或多个运动对象，将第二主体所在区域确定为第一图像区域；及将输入图像中除第二主体外的第二背景区域确定为第二图像区域。
具体地，对输入图像进行运动像素提取以得到第二主体。其中，运动像素提取方法为通常含义，包括通过预设的前后帧位置条件筛选确定运动像素，或通过轮廓区域匹配以确定运动像素等方法。
进一步地，当提取到了运动像素后，将包含一个或多个运动像素的运动对象确定为第二主体，进而将第二主体所在区域确定为第一图像区域，其余图像区域可确定为第二图像区域。
在一个例子中，一张输入图像内容为路人甲与两只狗在跑步，另外两个人路人乙与路人丙在走路，则通过运动像素提取可确定路人甲与两只狗为运动主体，路人甲与两只狗为第一图像区域。而路人乙与路人丙不包含运动像素，可与其余图像区域一起确定为第二图像区域。
如此，通过运动像素提取可实时检测到多个运动对象，相较于分割，可处理较复杂的图像如背景杂乱，运动对象较多时的应用场景。
在某些实施方式中，还可将分割与运动像素提取结合，如先通过实例分割将各对象分割开来，再将分割的各对象进行运动像素提取，具有运动像素的运动对象确定为第一图像区域，其余对象确定为第二图像区域。
进一步地，在步骤S20中，对第二图像区域进行加运动模糊处理得到模糊图像区域。其中，加运动模糊处理为对第二图像区域进行模糊化处理，处理方法包括通过模糊核进行卷积处理、滤波器如高斯滤波进行模糊化处理等。
在某些实施方式中，第二图像区域包括多个对象，或者多个类型的对象，则可通过进一步分割或识别对多个对象或多个类型的对象进行不同的加运动模糊处理，如通过高斯滤波进行模糊时，对于不同的对象可进行不同的模糊程度的模糊化处理。当通过模糊核进行模糊处理时，还可根据方向进行不同方向的模糊处理，以得到不同的运动特效。
优选地，请参阅图6，在某些实施方式中，步骤S20包括：
S21：获取输入图像对应的多帧图像，其中，多帧图像为拍摄的输入图像的前后多帧图像；
S22：根据多帧图像确定第一主体中的运动对象或第二主体中的运动对象的运动方向及运动速度；
S23：根据运动方向及运动速度确定运动模糊核；
S24：根据运动模糊核对第二图像区域进行卷积处理以得到模糊图像区域。
在某些实施方式中，S21-S24可以由模糊模块120来实现。或者说，模糊模块120用于获取输入图像对应的多帧图像，根据多帧图像确定第一主体中的运动对象或第二主体中的运动对象的运动方向及运动速度，然后根据运动方向及运动速度确定运动模糊核，以及根据运动模糊核对第二图像区域进行卷积处理以得到模糊图像区域。
在某些实施方式中，处理器用于获取输入图像对应的多帧图像，根据多帧图像确定第一主体中的运动对象或第二主体中的运动对象的运动方向及运动速度，然后根据运动方向及运动速度确定运动模糊核，以及根据运动模糊核对第二图像区域进行卷积处理以得到模糊图像区域。
具体地，输入图像包括多帧图像，多帧图像为拍摄的输入图像的前后多帧图像。可通过拍摄预览中前后多帧计算出光流，对光流矢量图进行求和平均进而得到第一图像区域中对象的运动方向和运动速度。然后根据运动方向及运动速度确定运动模糊核，请参阅图7a-d，图为估计的运动模糊核的示意图，从左至右分别为自右下角到左上角移动、自左上角到右下角移动、自左下角到右下角且水平向右偏移移动移动、自左下角到右上角移动且水平向右偏移移动。例如当运动方向是从右下角到左上角移动时，运动模糊核可为左上角的权值较大，越往右下角权值越小的核。同理其它方向。
进一步地，当确定运动模糊核后，根据运动模糊核对第二图像区域进行卷积处理将第二图像区域模糊化处理得到模糊图像区域。其中，所述模糊核的尺寸为可变尺寸，即就是模糊程度为可调整的，包括但不限于设置为系统自动调整、或用户通过相关控件操作交互式地调整模糊程度以达到合适的运动特效。
如此，根据第一图像区域的运动方向及速度确定模糊核从而进行加运动模糊处理，可以使得第二图像区域模糊处理的效果与第一图像区域的运动更为协调。
优选地，请参阅图8，在某些实施方式中，步骤S20还包括：
S25：获取用户输入的模糊程度；
相应地，步骤S23包括：
S231：根据模糊程度、运动方向及运动速度确定运动模糊核；
在某些实施方式中，S25可以由模糊模块120来实现。或者说，模糊模块120还用于获取用户输入的模糊程度，并根据模糊程度、运动方向及运动速度确定运动模糊核。
在某些实施方式中，处理器用于获取用户输入的模糊程度，并根据模糊程度、运动方向及运动速度确定运动模糊核。
具体地，用户可通过界面控件对模糊程度进行交互式手动调节，并可获取用户每一次调节的模糊程度并根据此模糊程度确定运动模糊核的尺寸，同时结合运动方向及运动速度确定运动模糊核的其它参数。并将最终加运动模糊的结果实时反映给用户，以使得用户可根据实时结果可进一步调节。
如此，用户可通过交互式手动调节模糊程度，使得用户可根据所需的模糊程度得到合适的运动特效，增加了用户互动，在一定程度上提升了用户体验。
进一步地，在步骤S30中，将第一图像区域与模糊图像区域进行组合以得到运动图像。当第二图像区域通过加运动模糊处理得到模糊图像区域后，可将第一图像区域与模糊图像区域进行组合，如此实现了图像处理得到所需的具有一定程度运动特效的运动图像。其中，组合包括但不限于直接按照原始图像分割之前第一图像区域及第二图像区域位置将第一图像区域与模糊图像区域直接组合，或进行适当的调整如光线、滤镜、特效组合等方式对第一图像区域与模糊图像区域进行调整然后进行组合。调整也可设置为系统自动调整，或用户手动交互式调整。
本申请通过对输入图像进行处理得到第一图像区域及第二图像区域，然后对第二图像区域进行加运动模糊处理得到模糊图像区域，并将第一图像区域与模糊图像区域进行组合得到处理后的运动图像，可以使得包含运动主体的第一图像区域清晰以及剩余部分图像区域的第二图像区域运动模糊的动感特效，如主体清晰，背景模糊。同时，用户可以根据需要交互式地调节所需的模糊程度以得到合适的运动特效，在一定程度上增加了用户互动，提升了用户体验。
请参阅图9，在某些实施方式中，步骤S10之前还包括：
S01：获取原始图像并检测原始图像的图像质量；
S02：当原始图像的检测结果为模糊时，将原始图像进行去运动模糊处理以得到全图清晰的输入图像；
S03：当原始图像的检测结果为全图清晰时，将原始图像作为输入图像。
相应地，请参阅图10，图像处理装置100还包括检测模块140。S01-S03可以由检测模块140实现。或者说，检测模块140用于获取原始图像并检测原始图像的图像质量，当原始图像的检测结果为模糊时，将原始图像进行去运动模糊处理以得到全图清晰的输入图像，当原始图像的检测结果为全图清晰时，将原始图像作为输入图像。
在某些实施方式中，处理器用于获取原始图像并检测原始图像的图像质量，当原始图像的检测结果为模糊时，将原始图像进行去运动模糊处理以得到全图清晰的输入图像，当原始图像的检测结果为全图清晰时，将原始图像作为输入图像。
可以理解，当拍摄对象处于运动中时，最终获取的原始图像可能是全图清晰，也可能存在不同情况的模糊，包括主体和背景都存在不同程度的运动模糊即全图运动模糊图像，或主体存在运动模糊，背景清晰即部分模糊图像等。如此，可在进行图像分割处理之前对图像进行预处理。预处理包括检测原始图像是否清晰。
当检测原始图像为全图运动模糊图像时，将原始图像进行去运动模糊处理以得到全图清晰的图像。其中，去运动模糊处理可采用state-of-the-art的基于深度学习的去模糊算法等。请参阅图11a-c，图11-a为全模糊图像，经过state-of-the-art的基于深度学习的去模糊算法的去运动模糊处理后成为图11-b的清晰图像。然后再继续对图像进行处理以得到第一图像区域及第二图像区域，并对第二图像区域进行加运动模糊处理得到模糊图像区域，然后将第一图像区域与模糊图像区域进行组合得到处理后的运动图像，如图11-c。
当检测原始图像为部分模糊图像时，将原始图像进行去运动模糊处理以得到全图清晰的图像。其中，部分模糊图像包括部分对象为模糊，另一部分对象为清晰的图像。例如主体模糊背景清晰，或主体清晰背景模糊，或任意部分模糊另一部分清晰等情况。去运动模糊处理可采用state-of-the-art的基于深度学习的去模糊算法等。请参阅图12，图12-a为运动主体模糊图像，经过state-of-the-art的基于深度学习的去模糊算法的去运动模糊处理后成为图12-b的清晰图像。然后再继续、对图像进行处理以得到第一图像区域及第二图像区域，并对第二图像区域进行加运动模糊处理得到模糊图像区域，然后将第一图像区域与模糊图像区域进行组合得到处理后的运动图像，如图12-c。
当检测原始图像为全图清晰图像时，将原始图像确定为输入图像。在某些实施方式中，为便于统一处理，也可对上述各种模糊情况的图像进行统一的去模糊的预处理。
如此，通过对多种模糊情况的原始图像进行去运动模糊处理，可以增强输入图像的清晰度，从而在进行第一图像区域及第二图像区域区分时，可以提高其区分度。同时，对于模糊的图像进行去模糊处理可提高最终的动感特效的效果。进一步地，对于任意一张模糊的图片，或者说用户直观上“拍废”的图片，通过本申请的图像处理方法可最终生成一张具有动感特效的图片，有效地增强了图像处理能力，在一定程度上提升了用户的体验。
请参阅图13，在某些实施方式中，本申请的图像处理方法还包括：
S40：对第一图像区域按照预定策略进行处理以得到处理图像区域；
相应地，S30包括：
S32：将处理图像区域与模糊图像区域进行组合得到处理后的运动图像。
相应地，请参阅图14，图像处理装置100还包括第二处理模块150。S40可以由第二处理模块150实现。或者说，第二处理模块150用于对第一图像区域按照预定策略进行处理以得到处理图像区域，组合模块130用于将处理图像区域与模糊图像区域进行组合得到处理后的运动图像。
在某些实施方式中，处理器用于对第一图像区域按照预定策略进行处理以得到处理图像区域及将处理图像区域与模糊图像区域进行组合得到处理后的运动图像。
具体地，对输入图像按照预定策略进行处理得到第一图像区域及第二图像区域，然后对第二图像区域进行加运动模糊处理得到模糊图像区域，同时，第一图像区域也进行处理得到处理图像区域。其中，预定策略包括但不限于特效处理如锐化、风格化等滤镜处理，再次去运动模糊处理等方式。可设置为系统自动处理，或用户手动交互式调整。
进一步地，将处理后得到的处理图像区域与模糊图像区域进行组合得到处理后的运动图像。
如此，根据特效需要，对第一图像区域进行特效处理，可进一步提高最终生成的运动图像的特效效果。当设置为用户调整时，用户有更多特效的选择，在一定程度上增加了用户互动，提升了用户体验。
请参阅图15，在某些实施方式中，步骤S40还包括：
S41：当第一图像区域包括多个运动对象时，根据运动对象对第一图像区域进行分割以得到多个子图像区域，其中子图像区域包括一个或多个运动对象；
S42：根据预定规则对多个子图像区域分别进行处理以得到多个处理子图像区域；
S43：根据多个处理子图像区域确定处理图像区域。
在某些实施方式中，S41-S43可以由第二处理模块150来实现。或者说，第二处理模块150用于当第一图像区域包括多个运动对象时，根据运动对象对第一图像区域进行分割以得到多个子图像区域，并根据预定规则对多个子图像区域分别进行处理以得到多个处理子图像区域，以及根据多个处理子图像区域确定处理图像区域。
在某些实施方式中，处理器用于当第一图像区域包括多个运动对象时，根据运动对象对第一图像区域进行分割以得到多个子图像区域，并根据预定规则对多个子图像区域分别进行处理以得到多个处理子图像区域，以及根据多个处理子图像区域确定处理图像区域。
具体地，第一图像区域为包含运动对象的图像区域，当第一图像区域包括多个运动对象时，对第一图像区域进行分割得到多个子图像区域，即就是将第一图像区域内的运动对象进行分割如实例分割为多个运动对象，每一个或多个运动对象为一个子图像区域。例如一幅图像的内容为路人甲、路人乙与一只狗在跑步，运动主体包括路人甲、路人乙与一只狗三个对象。将其分割为三个子图像区域，分别为路人甲子图像区域、路人乙子图像区域、一只狗子图像区域。
进一步地，根据预定规则对多个子图像区域分别进行处理以得到多个处理子图像区域。其中，预定规则包括但不限于对多个子图像区域分别进行不同的特效处理、如锐化、风格化、光影等滤镜处理，渲染处理、或不同程度再次去运动模糊处理，或不同程度加运动模糊处理等。可通过系统自动调节，或用户手动交互式输入调节。
在一个例子中，一副图像的内容包含路人甲、路人乙、路人丙及多个观众，其中，路人甲以最快速度跑步，其次为路人乙、路人丙，观众为几乎静止状态，则路人甲、路人乙、路人丙确定为第一图像区域，观众及背景为第二图像区域。对第一图像区域进行实例分割得到三个子图像区域包括：路人甲、路人乙及路人丙。进一步地，可计算每个子图像区域的运动速度，即路人甲、路人乙及路人丙的运动速度v1、v2、v3，可知v1>v2>v3，预设的预定规则为系统自动对不同速度进行不同程度特效渲染，如最快速度v1的路人甲保留清晰图像，对v2速度的路人乙及v3速度的路人丙进行较小程度加运动模糊处理，其中，路人丙的模糊程度大于路人乙，路人丙与路人乙的加运动模糊程度均小于第二图像区域的加运动模糊程度。如此，得到的运动效果为突出最快速度的运动主体，其余运动主体进行较小程度模糊化处理。
在另一个例子中，图像内容同上述实施例，即路人甲、路人乙、路人丙及多个观众，其中，路人甲以最快速度跑步，其次为路人乙、路人丙，观众为几乎静止状态。预设的预定规则为根据用户手动交互式输入进行相应调节。则将第一图像区域进行分割后得到的多个子图像区域提供给用户，用户可针对每一个子图像区域进行特效处理，当完成用户手动交互式输入调节后，得到多个处理子图像区域，则多个处理子图像区域为处理图像区域，进一步地，处理图像区域与第二模糊图像处理区域进行组合以生成运动图像。
如此，当第一图像区域包括多个运动对象时，根据运动对象将一个或多个运动对象确定为子图像区域，并可对每个子图像区域进行特效等处理，相较于仅对第二图像区域进行加模糊运动处理，一方面，在某些应用场景下同时对子图像区域进行特效处理，如突出，渲染等处理，可以提高运动特效的视觉效果。另外一方面，通过用户交互式调整子图像区域，可以增强用户互动，提高用户体验。
优选地，请参阅图16，在某些实施方式中，步骤S30还包括：
S31：将处理图像区域与模糊图像区域进行边缘羽化过渡处理以得到处理后的运动图像。
在某些实施方式中，S31可以由组合模块130来实现。或者说，组合模块130用于将处理图像区域与模糊图像区域进行边缘羽化过渡处理以得到处理后的运动图像。
在某些实施方式中，处理器用于将处理图像区域与模糊图像区域进行边缘羽化过渡处理以得到处理后的运动图像。
如此，通过边缘羽化过渡处理可以使得处理图像区域与模糊图像区域可以更自然地过渡拼接组合，从而在一定程度上提高了运动图像的运动特效的直观效果。
综上所述，本申请实施方式的图像处理方法、图像处理装置、电子设备及存储介质中，通过对输入图像进行处理得到第一图像区域及第二图像区域，然后对第二图像区域进行加运动模糊处理得到模糊图像区域，并将第一图像区域与模糊图像区域进行组合以得到运动图像。至少具有以下有益效果：
一、可以使得包含运动主体的第一图像区域清晰以及剩余部分图像区域的第二图像区域运动模糊的动感特效，如主体清晰，背景模糊。
二、用户可以根据需要交互式地调节所需的模糊程度以得到合适的运动特效，在一定程度上增加了用户互动，提升了用户体验。
三、通过边缘羽化过渡处理可以使得处理图像区域与模糊图像区域可以更自然地过渡拼接组合，从而在一定程度上提高了运动图像的运动特效的直观效果。
四、用户可通过交互式手动调节模糊程度，使得用户可根据所需的模糊程度得到合适的运动特效，增加了用户互动，在一定程度上提升了用户体验。
五、通过对多种模糊情况的原始图像进行去运动模糊处理，可以增强输入图像的清晰度，从而在进行第一图像区域及第二图像区域区分时，可以提高其区分度。同时，对于模糊的图像进行去模糊处理可提高最终的动感特效的效果。进一步地，对于任意一张模糊的图片，或者说用户直观上“拍废”的图片，通过本申请的图像处理方法可最终生成一张具有动感特效的图片，有效地增强了图像处理能力，在一定程度上提升了用户的体验。
六、当第一图像区域包括多个对象时，将一个或多个对象确定为子图像区域，并可对每个子图像区域进行特效等处理，相较于仅对第二图像区域进行加模糊运动处理，一方面，在某些应用场景下同时对子图像区域进行特效处理，如突出，渲染等处理，可以提高运动特效的视觉效果。另外一方面，通过用户交互式调整子图像区域，可以增强用户互动，提高用户体验。
本申请实施方式还提供了一种计算机可读存储介质。一个或多个存储有计算机程序的非易失性计算机可读存储介质，当计算机程序被一个或多个处理器执行时，实现上述任一实施方式的图像处理方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的软件来完成。程序可存储于一非易失性计算机可读存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (12)
1.一种图像处理方法，其特征在于，包括：
对输入图像进行处理得到第一图像区域及第二图像区域；
对所述第二图像区域进行加运动模糊处理得到模糊图像区域；
将所述第一图像区域与所述模糊图像区域进行组合以得到运动图像。
2.根据权利要求1所述的图像处理方法，其特征在于，所述对输入图像进行处理得到第一图像区域及第二图像区域前还包括：
获取原始图像并检测所述原始图像的图像质量；
当所述原始图像的检测结果为模糊时，将所述原始图像进行去运动模糊处理以得到全图清晰的所述输入图像；
当所述原始图像的检测结果为全图清晰时，将所述原始图像作为所述输入图像。
3.根据权利要求1所述的图像处理方法，其特征在于，所述对输入图像进行处理得到第一图像区域及第二图像区域包括：
对所述输入图像进行语义分割得到第一主体与第一背景，其中，所述第一主体包括一个或多个运动对象；
将所述第一主体所在区域确定为所述第一图像区域，及所述第一背景区域确定为所述第二图像区域。
4.根据权利要求1所述的图像处理方法，其特征在于，所述对输入图像进行处理得到第一图像区域及第二图像区域还包括：
对所述输入图像进行运动像素提取以得到第二主体，其中，所述第二主体包括一个或多个运动对象；
将所述第二主体所在区域确定为所述第一图像区域；及
将所述输入图像中除所述第二主体外的第二背景区域确定为所述第二图像区域。
5.根据权利要求3或4所述的图像处理方法，其特征在于，所述对所述第二图像区域进行加运动模糊处理得到模糊图像区域包括：
获取所述输入图像对应的多帧图像，其中，所述多帧图像为拍摄的所述输入图像的前后多帧图像；
根据所述多帧图像确定所述第一主体中的运动对象或所述第二主体中的运动对象的运动方向及运动速度；
根据所述运动方向及所述运动速度确定运动模糊核；
根据所述运动模糊核对所述第二图像区域进行卷积处理以得到所述模糊图像区域。
6.根据权利要求5所述的图像处理方法，其特征在于，所述对所述第二图像区域进行加运动模糊处理得到模糊图像区域还包括：
获取用户输入的模糊程度；
所述根据所述运动方向及所述运动速度确定运动模糊核包括：
根据所述模糊程度、所述运动方向及所述运动速度确定所述运动模糊核。
7.根据权利要求1所述的图像处理方法，其特征在于，所述图像处理方法还包括：
对所述第一图像区域按照预定策略进行处理以得到处理图像区域；
所述将所述第一图像区域与所述模糊图像区域进行组合以得到处理后的运动图像包括：
将所述处理图像区域与所述模糊图像区域进行组合得到处理后的运动图像。
8.根据权利要求7所述的图像处理方法，其特征在于，所述对所述第一图像区域进行处理以得到处理图像区域包括：
当所述第一图像区域包括多个运动对象时，根据所述运动对象对所述第一图像区域进行分割以得到多个子图像区域，其中所述子图像区域包括一个或多个所述运动对象；
根据预定规则对所述多个子图像区域分别进行处理以得到多个处理子图像区域；
根据所述多个处理子图像区域确定所述处理图像区域。
9.根据权利要求7所述的图像处理方法，其特征在于，所述将所述第一图像区域与所述模糊图像区域进行组合得到处理后的运动图像包括：
将所述处理图像区域与所述模糊图像区域进行边缘羽化过渡处理以得到处理后的运动图像。
10.一种图像处理装置，其特征在于，包括：
第一处理模块，用于对输入图像进行处理得到第一图像区域及第二图像区域；
模糊模块，用于对所述第二图像区域进行加运动模糊处理得到模糊图像区域；
组合模块，用于将所述第一图像区域与所述模糊图像区域进行组合以得到运动图像。
11.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，实现权利要求1-9任一项所述的图像方法。
12.一种计算机程序的非易失性计算机可读存储介质，其特征在于，当所述计算机程序被一个或多个处理器执行时，实现权利要求1-9任一项所述的图像方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110671246.1A CN113284080A (zh) | 2021-06-17 | 2021-06-17 | 图像处理方法及装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110671246.1A CN113284080A (zh) | 2021-06-17 | 2021-06-17 | 图像处理方法及装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113284080A true CN113284080A (zh) | 2021-08-20 |
Family
ID=77284793
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110671246.1A Pending CN113284080A (zh) | 2021-06-17 | 2021-06-17 | 图像处理方法及装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113284080A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114119428A (zh) * | 2022-01-29 | 2022-03-01 | 深圳比特微电子科技有限公司 | 一种图像去模糊方法和装置 |
| CN114339448A (zh) * | 2021-12-31 | 2022-04-12 | 深圳万兴软件有限公司 | 光束视频特效的制作方法、装置、计算机设备及存储介质 |
| CN116993620A (zh) * | 2023-08-31 | 2023-11-03 | 荣耀终端有限公司 | 一种去模糊方法和电子设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106683147A (zh) * | 2017-01-23 | 2017-05-17 | 浙江大学 | 一种图像背景虚化的方法 |
| CN110298327A (zh) * | 2019-07-03 | 2019-10-01 | 北京字节跳动网络技术有限公司 | 一种视觉特效处理方法及装置、存储介质与终端 |
| CN111860143A (zh) * | 2020-06-10 | 2020-10-30 | 北京航空航天大学 | 一种面向巡检机器人的火焰实时检测方法 |
| CN112215773A (zh) * | 2020-10-12 | 2021-01-12 | 新疆大学 | 基于视觉显著性的局部运动去模糊方法、装置及存储介质 |
| CN112261320A (zh) * | 2020-09-30 | 2021-01-22 | 北京市商汤科技开发有限公司 | 图像处理方法和相关产品 |
| CN112868050A (zh) * | 2018-10-15 | 2021-05-28 | 华为技术有限公司 | 一种图像处理方法、装置与设备 |
-
2021
- 2021-06-17 CN CN202110671246.1A patent/CN113284080A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106683147A (zh) * | 2017-01-23 | 2017-05-17 | 浙江大学 | 一种图像背景虚化的方法 |
| CN112868050A (zh) * | 2018-10-15 | 2021-05-28 | 华为技术有限公司 | 一种图像处理方法、装置与设备 |
| CN110298327A (zh) * | 2019-07-03 | 2019-10-01 | 北京字节跳动网络技术有限公司 | 一种视觉特效处理方法及装置、存储介质与终端 |
| CN111860143A (zh) * | 2020-06-10 | 2020-10-30 | 北京航空航天大学 | 一种面向巡检机器人的火焰实时检测方法 |
| CN112261320A (zh) * | 2020-09-30 | 2021-01-22 | 北京市商汤科技开发有限公司 | 图像处理方法和相关产品 |
| CN112215773A (zh) * | 2020-10-12 | 2021-01-12 | 新疆大学 | 基于视觉显著性的局部运动去模糊方法、装置及存储介质 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114339448A (zh) * | 2021-12-31 | 2022-04-12 | 深圳万兴软件有限公司 | 光束视频特效的制作方法、装置、计算机设备及存储介质 |
| CN114339448B (zh) * | 2021-12-31 | 2024-02-13 | 深圳万兴软件有限公司 | 光束视频特效的制作方法、装置、计算机设备及存储介质 |
| CN114119428A (zh) * | 2022-01-29 | 2022-03-01 | 深圳比特微电子科技有限公司 | 一种图像去模糊方法和装置 |
| CN116993620A (zh) * | 2023-08-31 | 2023-11-03 | 荣耀终端有限公司 | 一种去模糊方法和电子设备 |
| CN116993620B (zh) * | 2023-08-31 | 2023-12-15 | 荣耀终端有限公司 | 一种去模糊方法和电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Lv et al. | MBLLEN: Low-light image/video enhancement using cnns. | |
| Hyun Kim et al. | Online video deblurring via dynamic temporal blending network | |
| Zhang et al. | Kindling the darkness: A practical low-light image enhancer | |
| Galdran | Image dehazing by artificial multiple-exposure image fusion | |
| CN113284080A (zh) | 图像处理方法及装置、电子设备及存储介质 | |
| US9639956B2 (en) | Image adjustment using texture mask | |
| US8488896B2 (en) | Image processing apparatus and image processing method | |
| Ye et al. | Blurriness-guided unsharp masking | |
| EP1274251A2 (en) | Method and apparatus for segmenting a pixellated image | |
| EP2034436A1 (en) | Method for non-photorealistic rendering | |
| Kim et al. | Low-light image enhancement based on maximal diffusion values | |
| CN109785264B (zh) | 图像增强方法、装置及电子设备 | |
| Im et al. | Dark channel prior-based spatially adaptive contrast enhancement for back lighting compensation | |
| US9338354B2 (en) | Motion blur estimation and restoration using light trails | |
| Nah et al. | Clean images are hard to reblur: Exploiting the ill-posed inverse task for dynamic scene deblurring | |
| Park et al. | Nighttime image dehazing with local atmospheric light and weighted entropy | |
| WO2022066726A1 (en) | Saliency based capture or image processing | |
| Choudhury et al. | Perceptually motivated automatic sharpness enhancement using hierarchy of non-local means | |
| US20240153097A1 (en) | Methods and Systems for Automatically Generating Backdrop Imagery for a Graphical User Interface | |
| Motohashi et al. | A study on blind image restoration of blurred images using R-map | |
| Wu et al. | Reflectance-guided, contrast-accumulated histogram equalization | |
| Du et al. | Perceptually optimized generative adversarial network for single image dehazing | |
| CN116612263B (zh) | 一种感知潜视觉合成一致性动态拟合的方法及装置 | |
| Xue | Blind image deblurring: a review | |
| Goel et al. | The implementation of image enhancement techniques on color n gray scale IMAGEs |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |