CN113298829A - 图像处理方法、装置、电子设备及计算机可读存储介质 - Google Patents

图像处理方法、装置、电子设备及计算机可读存储介质 Download PDF

Info

Publication number
CN113298829A
CN113298829A CN202110659083.5A CN202110659083A CN113298829A CN 113298829 A CN113298829 A CN 113298829A CN 202110659083 A CN202110659083 A CN 202110659083A CN 113298829 A CN113298829 A CN 113298829A
Authority
CN
China
Prior art keywords
image
background
processed
area
object region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110659083.5A
Other languages
English (en)
Other versions
CN113298829B (zh
Inventor
内山寛之
刘锴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202110659083.5A priority Critical patent/CN113298829B/zh
Publication of CN113298829A publication Critical patent/CN113298829A/zh
Application granted granted Critical
Publication of CN113298829B publication Critical patent/CN113298829B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例公开了一种图像处理方法、装置、电子设备及计算机可读存储介质。该方法包括：识别待处理图像中包含的目标对象，并生成第一对象区域图像，所述第一对象区域图像用于描述所述目标对象在所述待处理图像中的初始对象区域；根据所述待处理图像及所述第一对象区域图像确定所述待处理图像对应的背景属性信息；基于所述背景属性信息对所述第一对象区域图像进行校正，得到第二对象区域图像，所述第二对象区域图像用于描述所述目标对象在所述待处理图像中校正后的对象区域。上述的图像处理方法、装置、电子设备及计算机可读存储介质，能够更加准确地确定目标对象在图像中的对象区域。

Description

图像处理方法、装置、电子设备及计算机可读存储介质
技术领域
本申请涉及影像技术领域，具体涉及一种图像处理方法、装置、电子设备及计算机可读存储介质。
背景技术
在影像技术领域中，对于图像中的前景区域及背景区域进行分离是比较常见的一种图像处理过程，该前景区域通常为图像中关注的目标对象所在的区域，而背景区域则是除目标对象以外的区域。通过将前景区域及背景区域进行分离，可以方便后续对图像中的前景区域和/或背景区域做进一步的图像处理。若是图像中确定的前景区域及背景区域不够准确，会影响后续的图像处理效果。因此，如何更加准确地确定图像中目标对象所在的区域成了亟需解决的技术问题。
发明内容
本申请实施例公开了一种图像处理方法、装置、电子设备及计算机可读存储介质，能够更加准确地确定目标对象在图像中的对象区域。
本申请实施例公开了一种图像处理方法，包括：
识别待处理图像中包含的目标对象，并生成第一对象区域图像，所述第一对象区域图像用于描述所述目标对象在所述待处理图像中的初始对象区域；
根据所述待处理图像及所述第一对象区域图像确定所述待处理图像对应的背景属性信息；
基于所述背景属性信息对所述第一对象区域图像进行校正，得到第二对象区域图像，所述第二对象区域图像用于描述所述目标对象在所述待处理图像中校正后的对象区域。
本申请实施例公开了一种图像处理装置，包括：
识别模块，用于识别待处理图像中包含的目标对象，并生成第一对象区域图像，所述第一对象区域图像用于描述所述目标对象在所述待处理图像中的初始对象区域；
背景信息确定模块，用于根据所述待处理图像及所述第一对象区域图像确定所述待处理图像对应的背景属性信息；
校正模块，用于基于所述背景属性信息对所述第一对象区域图像进行校正，得到第二对象区域图像，所述第二对象区域图像用于描述所述目标对象在所述待处理图像中校正后的对象区域。
本申请实施例公开了一种电子设备，包括存储器及处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现如上所述的方法。
本申请实施例公开了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的方法。
本申请实施例公开的图像处理方法、装置、电子设备及计算机可读存储介质，识别待处理图像中包含的目标对象，并生成第一对象区域图像，该第一对象区域图像用于描述目标对象在待处理图像中的初始对象区域，根据待处理图像及对象区域图像确定待处理图像对应的背景属性信息，再基于背景属性信息对第一对象区域图像进行校正，得到第二对象区域图像，能够基于待处理图像的背景属于信息对目标对象的初始对象区域进行校正，以得到更加准确、细致的校正后的对象区域，利用该第二对象区域图像可准确确定目标对象在待处理图像中的对象区域，可提高后续对待处理图像进行前景、背景分离等图像处理时的图像处理效果。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一个实施例中图像处理电路的框图；
图2为一个实施例中图像处理方法的流程图；
图3A为一个实施例中生成第一对象区域图像的示意图；
图3B为另一个实施例中生成第一对象区域图像的示意图；
图4为一个实施例中计算背景复杂度图像的流程图；
图5为一个实施例中计算背景复杂度的示意图；
图6为一个实施例中将腐蚀处理前的第一对象区域图像与腐蚀处理后的第一对象区域图像进行融合的示意图；
图7为一个实施例中基于背景复杂度调整阶调曲线的示意图；
图8为一个实施例中生成背景过曝图像的示意图；
图9为一个实施例中得到背景过曝图像的示意图；
图10为另一个实施例中图像处理方法的流程图；
图11为一个实施例中对基于第二对象区域图像对待处理图像进行虚化处理的示意图；
图12为一个实施例中图像处理装置的框图；
图13为一个实施例中电子设备的结构框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本申请实施例及附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一对象区域图像称为第二对象区域图像，且类似地，可将第二对象区域图像称为第一对象区域图像。第一对象区域图像和第二对象区域图像两者都是对象区域图像，但其不是同一对象区域图像。
本申请实施例提供一种电子设备。该电子设备中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。图1为一个实施例中图像处理电路的框图。为便于说明，图1仅示出与本申请实施例相关的图像处理技术的各个方面。
如图1所示，图像处理电路包括ISP处理器140和控制逻辑器150。成像设备110捕捉的图像数据首先由ISP处理器140处理，ISP处理器140对图像数据进行分析以捕捉可用于确定成像设备110的一个或多个控制参数的图像统计信息。成像设备110可包括一个或多个透镜112和图像传感器114。图像传感器114可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器114可获取每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器140处理的一组原始图像数据。姿态传感器120(如三轴陀螺仪、霍尔传感器、加速度计等)可基于姿态传感器120接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器140。姿态传感器120接口可以采用SMIA(Standard Mobile Imaging Architecture，标准移动成像架构)接口、其它串行或并行摄像头接口或上述接口的组合。
需要说明的是，虽然图1中仅示出了一个成像设备110，但是在本申请实施例中，可包括至少两个成像设备110，每个成像设备110可分别对应一个图像传感器114，也可多个成像设备110对应一个图像传感器114，在此不作限定。每个成像设备110的工作过程可参照上述所描述的内容。
此外，图像传感器114也可将原始图像数据发送给姿态传感器120，姿态传感器120可基于姿态传感器120接口类型把原始图像数据提供给ISP处理器140，或者姿态传感器120将原始图像数据存储到图像存储器130中。
ISP处理器140按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器140可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。
ISP处理器140还可从图像存储器130接收图像数据。例如，姿态传感器120接口将原始图像数据发送给图像存储器130，图像存储器130中的原始图像数据再提供给ISP处理器140以供处理。图像存储器130可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。
当接收到来自图像传感器114接口或来自姿态传感器120接口或来自图像存储器130的原始图像数据时，ISP处理器140可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器130，以便在被显示之前进行另外的处理。ISP处理器140从图像存储器130接收处理数据，并对该处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器140处理后的图像数据可输出给显示器160，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，ISP处理器140的输出还可发送给图像存储器130，且显示器160可从图像存储器130读取图像数据。在一个实施例中，图像存储器130可被配置为实现一个或多个帧缓冲器。
ISP处理器140确定的统计数据可发送给控制逻辑器150。例如，统计数据可包括陀螺仪的振动频率、自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜112阴影校正等图像传感器114统计信息。控制逻辑器150可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的统计数据，确定成像设备110的控制参数及ISP处理器140的控制参数。例如，成像设备110的控制参数可包括姿态传感器120控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、照相机防抖位移参数、透镜112控制参数(例如聚焦或变焦用焦距)或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及透镜112阴影校正参数。
示例性地，结合图1的图像处理电路，对本申请实施例所提供的图像处理方法进行说明。ISP处理器140可从成像设备110或图像存储器130中获取待处理图像，可识别待处理图像中包含的目标对象，并生成第一对象区域图像，该第一对象区域图像用于描述目标对象在待处理图像中的初始对象区域。ISP处理器140可根据待处理图像及第一对象区域图像确定待处理图像对应的背景属性信息，并基于背景属性信息对第一对象区域图像进行校正，得到第二对象区域图像，该第二对象区域图像用于描述目标对象在待处理图像中校正后的对象区域。
在一些实施例中，ISP处理器140得到第二对象区域图像，可根据该第二对象区域图像精准地确定待处理图像中的对象区域，并利用该第二对象区域图像对待处理图像进行前景区域及背景区域的分离。可选地，还可分别对分离后的背景区域或前景区域等进行图像处理，例如对背景区域进行虚化处理，对前景区域进行美化处理(如提高亮度、人像美白、去雾处理等)等，但不限于此。ISP处理器140可将处理后的图像发送到图像存储器130进行存储，也可将处理后的图像发送到显示器160进行显示，以方便用户通过显示器160观察处理后的图像。
如图2所示，在一个实施例中，提供一种图像处理方法，可应用于上述的电子设备，该电子设备可包括但不限于手机、智能可穿戴设备、平板电脑、PC(Personal Computer，个人计算机)、车载终端、数码相机等，本申请实施例对此不作限定。该图像处理方法可包括以下步骤：
步骤210，识别待处理图像中包含的目标对象，并生成第一对象区域图像。
待处理图像可以是需要进行前景的对象区域与背景区域分离的图像。待处理图像中可包含有目标对象，该目标对象可为待处理图像中关注的对象，例如，待处理图像可为人物图像，则目标对象可为人物图像中的人像，待处理图像可为动物图像，则目标对象可为动物图像中的动物等人；可选地，目标对象也可为待处理图像中关注对象的部分，例如，待处理图像可为人物图像，则目标对象可为人像的头发等，在此不作限定。
待处理图像可为彩色图像，例如可以是RGB(Red Green Blue，红绿蓝)格式的图像或YUV(Y表示明亮度，U和V表示色度)格式的图像等。待处理图像可以是预先存储在电子设备的存储器中的图像，也可以是电子设备通过摄像头实时采集到的图像。
在本申请实施例中，电子设备可采用多种不同的方式识别待处理图像中包含的目标对象，以生成第一对象区域图像，该第一对象区域图像可用于描述目标对象在待处理图像中的初始对象区域。作为一种实施方式，待处理图像中前景的对象区域与背景区域对应的深度信息差别较大，深度信息可用于表征被拍摄物体与摄像头之间的距离，深度信息越大可表示距离越远。因此，可利用待处理图像中各个像素点对应的深度信息对待处理图像中的对象区域及背景区域进行划分，例如，该背景区域可以是深度信息大于第一阈值的像素点组成的区域，该对象区域可以是深度信息小于第二阈值的像素点组成的区域等。
作为另一种实施方式，电子设备也可采用神经网络生成第一对象区域图像，可将待处理图像输入预先训练得到的对象分割模型，并通过该对象分割模型识别待处理图像中包含的目标对象，得到第一对象区域图像。该图像处理模型可以是根据多组样本训练图像进行训练得到的，每一组样本训练图像可包括样本图像，每一样本图像可标注有对象区域。该图像分割模型可包括但不限于基于deeplab语义分割算法的网络、U-Net网络结构、FCN(Fully Convolutional Networks，全卷积神经网络)等，在此不作限定。
在其它的实施例中，电子设备也可采用其它方式生成第一对象区域图像，例如，电子设备可提取待处理图像的图像特征，并对该图像特征进行分析，以确定对象区域。可选地，该图像特征可包括但不限于边缘特征、颜色特征、位置特征等。本申请实施例对生成第一对象区域图像的具体方式不作限定。
在一个实施例中，上述的第一对象区域图像可以是灰度图像，该第一对象区域图像中的各个像素点可分别对应有属于对象区域的概率值，该概率值可为0～1的值，概率值越大，表示像素点属于对象区域的可能性越高，可将第一对象区域图像中概率值大于概率阈值(例如0.5、0.6、0.8等的值)的像素点所组成的区域确定为初始对象区域。
进一步地，第一对象区域可为二值化的对象掩膜，该对象掩膜可用第一颜色表示待处理图像中的对象区域(即前景区域)，可用第二颜色表示待处理图像中除对象区域以外的区域(即背景区域)，例如，用黑色表示对象区域，用白色表示背景区域等，但不限于此。
图3A为一个实施例中生成第一对象区域图像的示意图。如图3A所示，待处理图像310为人像图像，目标对象为人像，可识别待处理图像310中的人像，以得到第一对象区域图像320，该第一对象区域图像320可包括待处理图像310中的人像区域信息。
图3B为另一个实施例中生成第一对象区域图像的示意图。如图3B所示，待处理图像310为人像图像，目标对象为人像的头发，可识别待处理图像310中的头发，以得到第一对象区域图像330，该第一对象区域图像330可包括待处理图像310中的头发区域信息。
步骤220，根据待处理图像及第一对象区域图像确定待处理图像对应的背景属性信息。
背景属性信息可指的是用于表征待处理图像的背景区域的属性的相关信息，该背景属性信息可包括但不限于背景复杂度、背景曝光度、背景颜色信息等中的一种或多种，其中，背景复杂度可用于描述待处理图像中的背景区域的复杂程度，背景区域包含的图像特征越丰富，对应的复杂度可越高。
根据第一对象区域图像可确定待处理图像中的初始对象区域及背景区域，可根据背景区域的图像特征确定待处理图像对应的背景属性信息。
步骤230，基于背景属性信息对第一对象区域图像进行校正，得到第二对象区域图像。
第一对象区域图像中的初始对象区域为对待处理图像中的目标对象进行识别后，初步得到的对象区域，较为粗糙，可能存在不准确的问题，因此，在本申请实施例中，可基于待处理图像对应的背景属性信息对第一对象区域图像进行校正，优化第一对象区域图像中的初始对象区域，以得到更加精确、细致的第二对象区域图像，该第二对象区域图像可用于描述目标对象在待处理图像中校正后的对象区域。
在一些实施例中，对第一对象区域图像进行校正可包括但不限于腐蚀处理、增强处理、填充处理等，以对第一对象区域图像中的初始对象区域进行优化，减少了对象区域中包含不属于目标对象的图像区域的情况。在电子设备得到第二对象区域图像后，可基于该第二对象区域图像准确将对象区域与背景区域进行分离，提高图像分离的准确性。
在将待处理图像中的对象区域与背景区域进行分离后，可进一步对分离的对象区域和/或背景区域进行处理。例如，可对背景区域进行虚化处理，调节对象区域的亮度、调节对象区域的白平衡参数等，本申请实施例对分离后进行的图像处理不作限定。
在本申请实施例中，识别待处理图像中包含的目标对象，并生成第一对象区域图像，该第一对象区域图像用于描述目标对象在待处理图像中的初始对象区域，根据待处理图像及对象区域图像确定待处理图像对应的背景属性信息，再基于背景属性信息对第一对象区域图像进行校正，得到第二对象区域图像，能够基于待处理图像的背景属于信息对目标对象的初始对象区域进行校正，以得到更加准确、细致的校正后的对象区域，利用该第二对象区域图像可准确确定目标对象在待处理图像中的对象区域，可提高后续对待处理图像进行前景、背景分离等图像处理时的图像处理效果。
在一个实施例中，上述的背景属性信息可包括背景复杂度图像，背景复杂度图像可包括待处理图像的背景复杂度。如图4所示，步骤根据待处理图像及第一对象区域图像确定待处理图像对应的背景属性信息，可包括以下步骤：
步骤402，对待处理图像进行边缘检测，得到第一边缘图像。
电子设备可采用Canny边缘检测算子、Laplacian检测算子、DoG检测算子、索菲尔检测算子等对待处理图像进行边缘检测，得到包含待处理图像中所有边缘信息的第一边缘图像。需要说明的是，本申请实施例不对具体的边缘检测算法进行限定。
在一些实施例中，电子设备可先获取待处理图像对应的灰度图像，并对灰度图像进行边缘检测，得到第一边缘图像。其中，灰度图像为每个像素只有一个采样颜色的图像，该灰度图像显示为从黑色到白色的灰度。电子设备的存储器可预先存储有待处理图像对应的灰度图像，作为另一种实施方式，电子设备也可在获取待处理图像后，将待处理图像从RGB格式或YUV格式等转换成灰度图像。
步骤404，根据第一对象区域图像去除第一边缘图像中的目标对象的边缘，得到第二边缘图像。
可根据第一对象区域图像确定第一边缘图像中的对象区域，并去除第一边缘图像中处于对象区域的边缘，得到保留除对象区域以外的边缘的第二边缘图像。去除第一边缘图像中的目标对象的边缘，可以防止因目标对象的边缘对背景区域的边缘产生影响，导致背景复杂度计算不准确的情况。由于本申请针对的是对象区域的准确定位的方案，因此利用第一对象区域图像去除第一边缘图像中的目标对象的边缘，可使得计算得到的背景复杂度更加准确，且更贴合对象区域的准确定位的方案。
步骤406，对第二边缘图像进行膨胀处理及模糊处理，以得到背景复杂度图像。
电子设备可对第二边缘图像中的边缘进行膨胀处理及模糊处理，以扩大第二边缘图中的边缘，使边缘特征更加明显，提高背景复杂度计算的准确性。其中，膨胀处理是一种局部求最大值的操作，可利用核与第二边缘图像中的边缘进行卷积，计算该核所覆盖的像素点，使得边缘增长。模糊处理可采用高斯模糊、均值模糊、中值模糊等处理方式，具体的膨胀处理方式及模糊处理方式在本申请实施例中不作限定。
可根据膨胀处理及模糊处理后的第二边缘图像计算背景复杂度，得到相应的背景复杂度图像。作为一种具体实施方式，可根据膨胀处理及模糊处理后的第二边缘图像中处于背景区域的边缘计算背景复杂度，包含更多边缘的背景区域对应的背景复杂度较高，包含较少边缘的背景区域对应的背景复杂度较低。
图5为一个实施例中计算背景复杂度的示意图。如图5所示，电子设备可对待处理图像510进行边缘检测，得到第一边缘图像520，再利用第一对象区域图像530去除第一边缘图像520中属于人像区域的边缘，得到第二边缘图像540，该第二边缘图像540中保留除人像区域以外的边缘。可对第二边缘图像540进行膨胀及模糊处理，再基于膨胀及模糊处理后的第二边缘图像计算背景复杂度，得到背景复杂度图像550。利用边缘特征计算背景复杂度，可提高背景复杂度的准确性，且可进一步提后后续利用背景复杂度修正第一对象区域图像的准确性。
在一个实施例中，步骤基于背景属性信息对第一对象区域图像进行校正，得到第二对象区域图像，可包括：根据背景复杂度图像对第一对象区域图像进行腐蚀处理，得到第二对象区域图像。
电子设备在得到背景复杂度图像之后，可根据背景复杂度图像对第一对象区域图像进行腐蚀处理，得到第二对象区域图像。作为一种具体实施方式，可根据背景复杂度图像，确定第一对象区域图像中复杂度大于复杂度阈值的背景复杂区域，并对第一对象区域图像中处于背景复杂区域周围的对象区域进行腐蚀处理。
可选地，背景复杂度图像中可通过不同的值表示背景复杂区域及背景简单区域，例如，可利用不同的灰度值表示，灰度值为255的区域表示背景简单区域，灰度值为0的区域表示背景复杂区域，也可用不同的颜色值表示，白色表示背景简单区域，黑色表示背景复杂区域，但不限于此。
由于背景复杂区域包含的图像内容较为丰富，因此很容易被误认为前景区域，导致第一对象区域图像中的对象区域不准确。可对第一对象区域图像中处于背景复杂区域周围的对象区域进行腐蚀处理，以对处于背景复杂区域周围的对象区域进行缩减，改善背景区域被误认为前景区域的情况。其中，腐蚀处理是一种局部求最小值的操作，可从背景复杂区域确定一个模板，利用该模板与第一对象区域图像中处于背景复杂区域周围的对象区域进行计算，保留覆盖该模板的像素点，即实现利用背景复杂区域对周围的对象区域进行腐蚀的效果。可选地，可直接将腐蚀处理后的第一对象区域图像作为第二对象区域图像。
作为另一种实施方式，在对第一对象区域图像进行腐蚀处理后，可将腐蚀处理前的第一对象区域图像(即初始得到的第一对象区域图像)与腐蚀处理后的第一对象区域图像进行融合，得到第二对象区域图像。可选地，该融合的方式可包括但不限于取均值进行融合、分配不同权重系数融合等。
具体地，可根据背景复杂度图像确定腐蚀处理后的第一对象区域图像对应的融合权重，并基于融合权重对腐蚀处理前的第一对象区域图像与腐蚀处理后的第一对象区域图像进行融合处理，得到第二对象区域图像。可将腐蚀处理前的第一对象区域图像与腐蚀处理后的第一对象区域图像进行Alpha融合处理，Alpha融合处理可为腐蚀处理前的第一对象区域图像及腐蚀处理后的第一对象区域图像中的每个像素点分别赋予一个Alpha值，使得腐蚀处理前的第一对象区域图像与腐蚀处理后的第一对象区域图像具有不同的透明度。该融合权重可包括Alpha值。
作为一种实施方式，可将背景复杂度图像作为腐蚀处理后的第一对象区域图像的Alpha值，根据背景复杂度图像对腐蚀处理前的第一对象区域图像与腐蚀处理后的第一对象区域图像中的每对匹配像素点进行融合，得到第二对象区域图像。
图6为一个实施例中将腐蚀处理前的第一对象区域图像与腐蚀处理后的第一对象区域图像进行融合的示意图。如图6所示，可将腐蚀处理前的第一对象区域图像与腐蚀处理后的第一对象区域图像进行Alpha融合处理，Alpha融合处理的公式可如式(1)所示：
I＝αI1+(1-α)I2 式(1)；
其中，I1表示腐蚀处理后的第一对象区域图像610，I2表示腐蚀处理前的第一对象区域图像620，α表示腐蚀处理后的第一对象区域图像610的Alpha值，I表示融合得到的第二对象区域图像640。可将背景复杂度图像630作为腐蚀处理后的第一对象区域图像610的Alpha值，并对腐蚀处理后的第一对象区域图像610及腐蚀处理前的第一对象区域图像620进行Alpha融合处理，得到第二对象区域图像640。将腐蚀处理前的第一对象区域图像与腐蚀处理后的第一对象区域图像进行融合，且利用背景复杂度图像作为Alpha值进行融合，可提高得到的第二对象区域图像的准确性，改善背景区域被误认为前景区域的情况，提高后续的图像处理效果。
在一个实施例中，步骤基于背景属性信息对第一对象区域图像进行校正，得到第二对象区域图像，可包括：根据背景复杂度图像对第一对象区域图像的阶调曲线进行调整，以得到第二对象区域图像。
第一对象区域图像的阶调曲线(tone curve)可用于反映第一对象区域图像的明暗或颜色深浅变化，根据背景复杂度调整阶调曲线，可对第一对象区域图像中各个像素点的像素强度进行调整，从而调整各个像素点对划分到对象区域的概率，可选地，像素点的像素强度可与划分到对象区域的概率呈正相关关系，像素强度越大的像素点，表示属于对象区域的概率越大。像素强度可用各个像素点对应的灰度值进行表示。
作为一种具体实施方式，可按照负相关关系式及背景复杂度图像，对第一对象区域图像的阶调曲线进行调整。在背景复杂度较高时，可降低阶调曲线，在背景复杂度较低时，可提高阶调曲线，从而可使得第一对象区域图像中在背景复杂度较低的背景简单区域周围的对象区域的强度值变大，以提高接近背景简单区域的对象区域的概率，使得第一对象区域图像中在背景复杂度较高的背景复杂区域周围的对象区域的强度值变小，以降低接近背景复杂区域的对象区域的概率。
在一个实施例中，阶调曲线sigmoid函数曲线，背景复杂度与阶调曲线的负相关关系式可如式(2)所示：
Figure BDA0003114591990000111
其中，f(x)表示阶调曲线，a和b为预先设定的参数，c为背景复杂度图像。图7为一个实施例中基于背景复杂度调整阶调曲线的示意图。如图7所示，曲线710为第一对象区域图像对应的初始的阶调曲线，曲线720为在背景复杂度较高时对应的阶调曲线，曲线730为在背景复杂度较低时对应的阶调曲线。需要说明的是，阶调曲线除了以sigmoid函数进行表示外，还可采用其它函数进行表示，例如线性函数、分段式线性函数等，在此不作限定。利用背景复杂度图像对第一对象区域的阶调函数进行调整，从而可降低背景区域被误认为前景区域的可能性，提高了确定的对象区域的准确性。
需要说明的是，电子设备可基于背景复杂度图像对第一对象区域图像进行腐蚀处理，或对第一对象区域图像的阶调曲线进行调整，也可在利用背景复杂度图像对第一对象区域图像进行腐蚀处理的同时，对第一对象区域图像的阶调曲线，以得到第二对象区域图像，其处理的顺序先后在此不作限定。
在本申请实施例中，可利用背景复杂度图像对第一对象区域图像进行修正，以可降低背景区域被误认为对象区域的可能性，从而可更加准确地确定目标对象在待处理图像中的对象区域。
在一个实施例中，上述的背景属性信息可包括背景过曝图像，该背景过曝图像包括待处理图像的背景区域中曝光值大于曝光阈值的过曝背景区域。如图8所示，步骤根据待处理图像及第一对象区域图像确定待处理图像对应的背景属性信息，可包括以下步骤：
步骤802，确定待处理图像中曝光值大于曝光阈值的过曝区域，生成第一过曝图像。
电子设备可获取待处理图像中各个像素点对应的曝光值，通常在摄像头采集待处理图像时，进光量越大，像素点接收到的光线越多，则对应的曝光值可越大。可选地，也可通过获取各个像素点对应的亮度值，并根据该亮度值确定各个像素点对应的曝光值，亮度值越大，对应的曝光值可越大，或是像素点的亮度值与相邻相像素的亮度值之间的对比度越大，对应的曝光值可越大等。
可将各个像素点的曝光值与曝光阈值进行比较，并选择曝光值大于曝光阈值的像素点，该曝光值大于曝光阈值的像素点组成的区域即可作为过曝区域，该第一过曝图像中可包括待处理图像中的过曝区域信息。
步骤804，根据第一对象区域图像去除第一过曝图像中的对象过曝区域，得到第二过曝图像。
可根据第一对象区域图像确定过曝图像中的对象区域，并对除对象过曝区域中处于对象区域的过曝区域，也即去除过曝图像中的对象过曝区域，以得到保留除对象区域以外的过曝区域的第二过曝图像，也即，第二过曝图像中仅包含过曝背景区域。
步骤806，对第二过曝图像进行膨胀处理及模糊处理，以得到背景过曝图像。
电子设备可对第二过曝图像中的过曝区域进行膨胀处理及模糊处理，以扩大第二过曝图像中的过曝背景区域，使得得到的背景过曝图像中的过曝背景区域更为明显及准确，保证背景过曝图像的准确性。
图9为一个实施例中得到背景过曝图像的示意图。如图9所示，电子设备可确定待处理图像910中曝光值大于曝光阈值的过曝区域，生成第一过曝图像920，并根据第一对象区域图像930去除第一过曝图像920中的人像过曝区域，得到第二过曝图像940，再对第二过曝图像940进行膨胀处理及模糊处理，以得到背景过曝图像950。利用第一对象区域图像去除第一过曝图像中的对象过曝区域，可使得背景过曝图像中的过曝背景区域更加准确，可提高后续对第一对象区域图像进行调整的准确性。
在一个实施例中，步骤基于背景属性信息对第一对象区域图像进行校正，得到第二对象区域图像，可包括：基于背景过曝图像，对第一对象区域图像中处于过曝背景区域周围的对象区域边缘进行模糊处理，得到第二对象区域图像。
如果待处理图像中的背景区域曝光过度，就会导致前景的对象区域在后续的图像处理中出现不自然的情况，例如在利用确定的对象区域对待处理图像进行背景虚化时，由于背景区域曝光过度，会导致前景的对象区域的边缘清晰度很高，从而导致虚化后的边缘看起来不自然，影响图像处理效果。因此，在本申请实施例中，可对第一对象区域图像中处于过曝背景区域周围的对象区域边缘进行模糊处理，使得对象区域的边缘与过曝背景区域之间过渡自然，可提高后续图像处理的处理效果。
可选地，模糊处理可采用高斯滤波、均值滤波、中值滤波等处理方式，在此不作限定。
在本申请实施例中，可利用背景过曝图像对第一对象区域图像进行修正，使得前景的对象区域的边缘与过曝的背景区域之间过渡更加自然，以提高后续图像虚化等的图像处理效果。
如图10所示，在一个实施例，提供另一种图像处理方法，可应用于上述的电子设备，该方法可包括以下步骤：
步骤1010，识别待处理图像中包含的目标对象，并生成第一对象区域图像。
步骤1020，根据待处理图像及第一对象区域图像确定待处理图像对应的背景属性信息。
步骤1030，基于背景属性信息对第一对象区域图像进行校正，得到第二对象区域图像。
步骤1010～1030可参考上述各实施例中的相关描述，在此不再一一进行赘述。需要说明的是，背景属性信息除了上述的背景复杂度图像及背景过曝图像以外，还可以是其它属性信息，例如背景颜色信息，可降低待处理图像中初始对象区域中，与背景区域颜色较为接近的像素点在第一对象区域中的概率值，从而可防止背景区域被误认为前景区域的情况等，在此不作限定。电子设备可根据一种或多种(指两种或两种以上)的背景属性信息对第一对象区域图像进行校正。
步骤1040，在第二对象区域图像的图像尺寸与待处理图像的图像尺寸不一致的情况下，基于背景属性信息对第二对象区域图像进行上采样滤波处理，得到与待处理图像匹配的第三对象区域图像。
在一些实施例中，会出现第一对象区域图像的图像尺寸与待处理图像的图像尺寸不一致的情况，从而导致修正得到的第二对象区域图像的图像尺寸也与待处理图像的图像尺寸不一致的情况。例如，在利用图像分割模型对待处理图像进行处理，以得到第一对象区域图像时，可能会先对第一对象区域进行旋转、裁剪等预处理，以使得预处理后的第一对象区域图像符合图像分割模型所规定的输入图像尺寸。因此，在第二对象区域图像的图像尺寸与待处理图像的图像尺寸不一致的情况下，可对第二对象区域图像进行上采样滤波处理，得到与待处理图像匹配的第三对象区域图像，从而可利用该第三区域图像对待处理图像中的对象区域进行精准定位。
在一个实施例中，可将待处理图像的灰度图像作为引导滤波器的引导图像，通过引导滤波器对第二对象区域图像进行上采样滤波处理，得到第三对象区域图像。引导滤波器在对第二对象区域图像进行上采样滤波处理时，可参考待处理图像的灰度图像的图像信息，能够使得输出的第三对象区域图像的纹理及边缘等特征与灰度图像相似。
在一些实施例中，电子设备也可根据待处理图像的背景复杂度，对第二对象区域图像进行上采样滤波处理。在待处理图像的背景复杂度较低的情况下，说明待处理图像的背景较简单，则可利用引导滤波器对第二对象区域图像进行上采样滤波处理；在待处理图像的背景复杂度较高的情况下，说明待处理图像的背景较复杂，则可直接利用双线性插值算法对第二对象区域图像进行上采样滤波处理。这样可以防止出现在待处理图像的背景比较复杂的情况下，背景区域被误认为对象区域的问题，提高上采样后的第三对象区域图像的准确性。
作为一种具体实施方式，电子设备可先根据待处理图像的背景复杂度图像对第二对象区域图像进行区域划分，得到背景简单区域及背景复杂区域，该背景简单区域为复杂度低于或等于复杂度阈值的背景区域，背景复杂区域为复杂度高于复杂度阈值的背景区域。
可针对背景简单区域及背景复杂区域，分别采用不同的滤波方法进行上采样滤波处理。对于背景简单区域，通过引导滤波器对第二对象区域图像中处于背景简单区域周围的对象区域进行上采样滤波处理，得到第一滤波结果。
对于背景复杂区域，可采用双线性插值算法对第二对象区域图像中处于背景复杂区域周围的对象区域进行上采样滤波处理，得到第二滤波结果。双线性插值算法是有两个变量的插值函数的线性插值扩展，其核心思想是在两个方向分别进行一次线性插值，双线性插值算法是利用第二对象区域图像中的已知像素点对放大后的未知像素点进行插值，对于每个需要插值的像素点，可根据四个已知像素点进行计算。
在得到第一滤波结果与第二滤波结果后，电子设备可将第一滤波结果及第二滤波结果进行融合，得到第三对象区域图像。作为一种实施方式，可将第一滤波结果及第二滤波结果进行Alpha融合处理，可将背景复杂度图像作为第二滤波结果的Alpha值，利用背景复杂度图像对第一滤波结果及第二滤波结果进行Alpha融合处理，得到第三对象区域图像。
针对第二对象区域图像在不同复杂度的背景区域周围的对象区域，可分别采用不同的上采样滤波方式，可减少出现背景区域被误认为对象区域的情况，提高确定的对象区域的准确性。需要说明的是，也可采用其它上采样滤波处理方式，例如双立方插值算法、最近邻插值算法等，本申请实施例对此不作限定。
在一些实施例中，在电子设备得到第二对象区域图像后，可根据第二对象区域图像对待处理图像进行虚化处理，得到目标图像。作为一种实施方式，可根据第二对象区域图像确定待处理图像的对象区域，从而可准确确定对象区域，并实现对象区域与背景区域的分离。可对分离后的背景区域进行虚化处理，再将虚化处理后的背景区域与对象区域进行拼接，得到目标图像，对背景区域进行虚化处理后，可突出对象区域。
作为另一种实施方式，可对待处理图像进行虚化处理，得到虚化图像，并基于第二对象区域图像，将待处理图像及虚化图像进行融合，得到目标图像。电子设备可对整张待处理图像进行虚化处理，并将虚化处理后的图像(即虚化图像)与虚化处理前的图像(即待处理图像)进行融合。具体地，该融合可以是Alpha融合处理，可将第二对象区域图像作为虚化图像对应的Alpha值，基于该第二对象区域将待处理图像及虚化图像进行融合，得到目标图像。
图11为一个实施例中对基于第二对象区域图像对待处理图像进行虚化处理的示意图。如图11所示，电子设备可对待处理图像1110进行虚化处理，得到虚化图像1120，并将第二对象区域图像1130作为虚化图像1120的Alpha值，基于该第二对象区域1130将待处理图像1110及虚化图像1120进行融合，得到目标图像1130。利用第二对象区域图像对待处理图像及虚化图像进行融合，可提高前景与背景分离的准确性，使得虚化处理后得到的目标人物图像更加自然，提高了图像的背景虚化效果。
在一些实施例中，若是对第二对象区域图像进行上采样滤波处理，得到第三对象区域图像，则可根据第三对象区域图像对待处理图像进行虚化处理，得到目标图像。利用第三对象区域图像对待处理图像进行虚化处理，得到目标图像的方式可与上述实施例中利用第二对象区域图像对待处理图像进行虚化处理的方式一致，在此不再重复赘述。
在本申请实施例中，可对第二对象区域图像进行上采样滤波处理，能够得到更高分辨率的第三对象区域图像，使得确定的对象区域的精细度及准确度更高。
如图12所示，在一个实施例中，提供一种图像处理装置1200，可应用于上述的电子设备，该图像处理装置1200包括识别模块1210、背景信息确定模块1220及校正模块1230。
识别模块1210，用于识别待处理图像中包含的目标对象，并生成第一对象区域图像，第一对象区域图像用于描述目标对象在待处理图像中的初始对象区域。
背景信息确定模块1220，用于根据待处理图像及第一对象区域图像确定待处理图像对应的背景属性信息。
校正模块1230，用于基于背景属性信息对第一对象区域图像进行校正，得到第二对象区域图像，第二对象区域图像用于描述目标对象在待处理图像中校正后的对象区域。
在本申请实施例中，识别待处理图像中包含的目标对象，并生成第一对象区域图像，该第一对象区域图像用于描述目标对象在待处理图像中的初始对象区域，根据待处理图像及对象区域图像确定待处理图像对应的背景属性信息，再基于背景属性信息对第一对象区域图像进行校正，得到第二对象区域图像，能够基于待处理图像的背景属于信息对目标对象的初始对象区域进行校正，以得到更加准确、细致的校正后的对象区域，利用该第二对象区域图像可准确确定目标对象在待处理图像中的对象区域，可提高后续对待处理图像进行前景、背景分离等图像处理时的图像处理效果。
在一个实施例中，背景属性信息包括背景复杂度图像。背景信息确定模块1220，还用于对待处理图像进行边缘检测，得到第一边缘图像；根据第一对象区域图像去除第一边缘图像中的目标对象的边缘，得到第二边缘图像；以及对第二边缘图像进行膨胀处理及模糊处理，以得到背景复杂度图像。
在一个实施例中，校正模块1230，还用于根据背景复杂度图像对第一对象区域图像进行腐蚀处理，得到第二对象区域图像。
在一个实施例中，校正模块1230，还用于根据背景复杂度图像，确定第一对象区域图像中复杂度大于复杂度阈值的背景复杂区域；对第一对象区域图像中处于背景复杂区域周围的对象区域进行腐蚀处理；以及将腐蚀处理前的第一对象区域图像与腐蚀处理后的第一对象区域图像进行融合，得到第二对象区域图像。
在一个实施例中，校正模块1230，还用于根据背景复杂度图像确定腐蚀处理后的第一对象区域图像对应的融合权重；以及基于融合权重对腐蚀处理前的第一对象区域图像与腐蚀处理后的第一对象区域图像进行融合处理，得到第二对象区域图像。
在一个实施例中，校正模块1230，还用于根据背景复杂度图像对第一对象区域图像的阶调曲线进行调整，以得到第二对象区域图像。
在一个实施例中，校正模块1230，还用于按照负相关关系式及背景复杂度图像，对第一对象区域图像的阶调曲线进行调整。
在本申请实施例中，可利用背景复杂度图像对第一对象区域图像进行修正，以可降低背景区域被误认为对象区域的可能性，从而可更加准确地确定目标对象在待处理图像中的对象区域。
在一个实施例中，背景属性信息包括背景过曝图像，背景过曝图像包括待处理图像的背景区域中曝光值大于曝光阈值的过曝背景区域。
背景信息确定模块1220，还用于确定待处理图像中曝光值大于曝光阈值的过曝区域，生成第一过曝图像；根据第一对象区域图像去除第一过曝图像中的对象过曝区域，得到第二过曝图像；以及对第二过曝图像进行膨胀处理及模糊处理，以得到背景过曝图像。
在一个实施例中，校正模块1230，还用于基于背景过曝图像，对第一对象区域图像中处于过曝背景区域周围的对象区域边缘进行模糊处理，得到第二对象区域图像。
在本申请实施例中，可利用背景过曝图像对第一对象区域图像进行修正，使得前景的对象区域的边缘与过曝的背景区域之间过渡更加自然，以提高后续图像虚化等的图像处理效果。
在一个实施例中，上述的图像处理装置1200除了包括识别模块1210、背景信息确定模块1220及校正模块1230，还包括滤波模块。
滤波模块，用于在第二对象区域图像的图像尺寸与待处理图像的图像尺寸不一致的情况下，基于背景属性信息对第二对象区域图像进行上采样滤波处理，得到与待处理图像匹配的第三对象区域图像。
在一个实施例中，背景属性信息包括背景复杂度图像。滤波模块，包括划分单元、第一滤波单元、第二滤波单元及融合单元。
划分单元，用于根据背景复杂度图像对第二对象区域图像进行区域划分，得到背景简单区域及背景复杂区域，背景简单区域为复杂度低于或等于复杂度阈值的背景区域，背景复杂区域为复杂度高于复杂度阈值的背景区域。
第一滤波单元，用于通过引导滤波器对第二对象区域图像中处于背景简单区域周围的对象区域进行上采样滤波处理，得到第一滤波结果。
第二滤波单元，采用双线性插值算法对第二对象区域图像中处于背景复杂区域周围的对象区域进行上采样滤波处理，得到第二滤波结果。
融合单元，用于将第一滤波结果及第二滤波结果进行融合，得到第三对象区域图像。
在一个实施例中，上述的图像处理装置1200，还包括虚化模块。
虚化模块，用于对待处理图像进行虚化处理，得到虚化图像，并基于第二对象区域图像，将待处理图像及虚化图像进行融合，得到目标图像。
在本申请实施例中，可对第二对象区域图像进行上采样滤波处理，能够得到更高分辨率的第三对象区域图像，使得确定的对象区域的精细度及准确度更高。
图13为一个实施例中电子设备的结构框图。如图13所示，电子设备1300可以包括一个或多个如下部件：处理器1310、与处理器1310耦合的存储器1320，其中存储器1320可存储有一个或多个计算机程序，一个或多个计算机程序可以被配置为由一个或多个处理器1310执行时实现如上述各实施例描述的方法。
处理器1310可以包括一个或者多个处理核。处理器1310利用各种接口和线路连接整个电子设备1300内的各个部分，通过运行或执行存储在存储器1320内的指令、程序、代码集或指令集，以及调用存储在存储器1320内的数据，执行电子设备1300的各种功能和处理数据。可选地，处理器1310可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现。处理器1310可集成中央处理器(Central Processing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器1310中，单独通过一块通信芯片进行实现。
存储器1320可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory，ROM)。存储器1320可用于存储指令、程序、代码、代码集或指令集。存储器1320可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等。存储数据区还可以存储电子设备1300在使用中所创建的数据等。
可以理解地，电子设备1300可包括比上述结构框图中更多或更少的结构元件，例如，包括电源模块、物理按键、WiFi(Wireless Fidelity，无线保真)模块、扬声器、蓝牙模块、传感器等，还可在此不进行限定。
本申请实施例公开一种计算机可读存储介质，其存储计算机程序，其中，该计算机程序被处理器执行时实现如上述实施例描述的方法。
本申请实施例公开一种计算机程序产品，该计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，且该计算机程序可被处理器执行时实现如上述各实施例描述的方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、ROM等。
如此处所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括ROM、可编程ROM(Programmable ROM，PROM)、可擦除PROM(Erasable PROM，EPROM)、电可擦除PROM(Electrically ErasablePROM，EEPROM)或闪存。易失性存储器可包括随机存取存储器(random access memory，RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM可为多种形式，诸如静态RAM(Static RAM，SRAM)、动态RAM(Dynamic Random Access Memory，DRAM)、同步DRAM(synchronous DRAM，SDRAM)、双倍数据率SDRAM(Double Data Rate SDRAM，DDR SDRAM)、增强型SDRAM(Enhanced Synchronous DRAM，ESDRAM)、同步链路DRAM(Synchlink DRAM，SLDRAM)、存储器总线直接RAM(Rambus DRAM，RDRAM)及直接存储器总线动态RAM(DirectRambus DRAM，DRDRAM)。
应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定特征、结构或特性可以以任意适合的方式结合在一个或多个实施例中。本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在本申请的各种实施例中，应理解，上述各过程的序号的大小并不意味着执行顺序的必然先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可位于一个地方，或者也可以分布到多个网络单元上。可根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本申请各实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上对本申请实施例公开的一种图像处理方法、装置、电子设备及计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (15)

1.一种图像处理方法，其特征在于，包括：
识别待处理图像中包含的目标对象，并生成第一对象区域图像，所述第一对象区域图像用于描述所述目标对象在所述待处理图像中的初始对象区域；
根据所述待处理图像及所述第一对象区域图像确定所述待处理图像对应的背景属性信息；
基于所述背景属性信息对所述第一对象区域图像进行校正，得到第二对象区域图像，所述第二对象区域图像用于描述所述目标对象在所述待处理图像中校正后的对象区域。
2.根据权利要求1所述的方法，其特征在于，所述背景属性信息包括背景复杂度图像；所述基于所述背景属性信息对所述第一对象区域图像进行校正，得到第二对象区域图像，包括：
根据所述背景复杂度图像对所述第一对象区域图像进行腐蚀处理，得到第二对象区域图像。
3.根据权利要求2所述的方法，其特征在于，所述根据所述背景复杂度对所述第一对象区域图像进行腐蚀处理，得到第二对象区域图像，包括：
根据所述背景复杂度图像，确定所述第一对象区域图像中复杂度大于复杂度阈值的背景复杂区域；
对所述第一对象区域图像中处于所述背景复杂区域周围的对象区域进行腐蚀处理；
将腐蚀处理前的第一对象区域图像与腐蚀处理后的第一对象区域图像进行融合，得到第二对象区域图像。
4.根据权利要求3所述的方法，其特征在于，所述将腐蚀处理前的第一对象区域图像与腐蚀处理后的第一对象区域图像进行融合，得到第二对象区域图像，包括：
根据所述背景复杂度图像确定腐蚀处理后的第一对象区域图像对应的融合权重；
基于所述融合权重对腐蚀处理前的第一对象区域图像与腐蚀处理后的第一对象区域图像进行融合处理，得到第二对象区域图像。
5.根据权利要求1所述的方法，其特征在于，所述基于所述背景属性信息对所述第一对象区域图像进行校正，得到第二对象区域图像，包括：
根据所述背景复杂度图像对所述第一对象区域图像的阶调曲线进行调整，以得到第二对象区域图像。
6.根据权利要求5所述的方法，其特征在于，根据所述背景复杂度图像对所述第一对象区域图像的阶调曲线进行调整，以得到第二对象区域图像，包括：
按照负相关关系式及所述背景复杂度图像，对所述第一对象区域图像的阶调曲线进行调整。
7.根据权利要求2～6任一所述的方法，其特征在于，所述根据所述待处理图像及所述第一对象区域图像确定所述待处理图像对应的背景属性信息，包括：
对所述待处理图像进行边缘检测，得到第一边缘图像；
根据所述第一对象区域图像去除所述第一边缘图像中的目标对象的边缘，得到第二边缘图像；
对所述第二边缘图像进行膨胀处理及模糊处理，以得到背景复杂度图像。
8.根据权利要求1所述的方法，其特征在于，所述背景属性信息包括背景过曝图像，所述背景过曝图像包括所述待处理图像的背景区域中曝光值大于曝光阈值的过曝背景区域；所述基于所述背景属性信息对所述第一对象区域图像进行校正，得到第二对象区域图像，包括：
基于所述背景过曝图像，对所述第一对象区域图像中处于所述过曝背景区域周围的对象区域边缘进行模糊处理，得到第二对象区域图像。
9.根据权利要求8所述的方法，其特征在于，所述根据所述待处理图像及所述第一对象区域图像确定所述待处理图像对应的背景属性信息，包括：
确定所述待处理图像中曝光值大于曝光阈值的过曝区域，生成第一过曝图像；
根据所述第一对象区域图像去除所述第一过曝图像中的对象过曝区域，得到第二过曝图像；
对所述第二过曝图像进行膨胀处理及模糊处理，以得到背景过曝图像。
10.根据权利要求1所述的方法，其特征在于，在所述得到第二对象区域图像之后，所述方法还包括：
在所述第二对象区域图像的图像尺寸与所述待处理图像的图像尺寸不一致的情况下，基于所述背景属性信息对所述第二对象区域图像进行上采样滤波处理，得到与所述待处理图像匹配的第三对象区域图像。
11.根据权利要求10所述的方法，其特征在于，所述背景属性信息包括背景复杂度图像；所述对所述第二对象区域图像进行上采样滤波处理，得到与所述待处理图像匹配的第三对象区域图像，包括：
根据所述背景复杂度图像对所述第二对象区域图像进行区域划分，得到背景简单区域及背景复杂区域，所述背景简单区域为复杂度低于或等于复杂度阈值的背景区域，所述背景复杂区域为复杂度高于所述复杂度阈值的背景区域；
通过引导滤波器对所述第二对象区域图像中处于所述背景简单区域周围的对象区域进行上采样滤波处理，得到第一滤波结果；
采用双线性插值算法对所述第二对象区域图像中处于所述背景复杂区域周围的对象区域进行上采样滤波处理，得到第二滤波结果；
将所述第一滤波结果及第二滤波结果进行融合，得到第三对象区域图像。
12.根据权利要求1～6、8～11任一所述的方法，其特征在于，所述方法还包括：
对所述待处理图像进行虚化处理，得到虚化图像；
基于所述第二对象区域图像，将所述待处理图像及虚化图像进行融合，得到目标图像。
13.一种图像处理装置，其特征在于，包括：
识别模块，用于识别待处理图像中包含的目标对象，并生成第一对象区域图像，所述第一对象区域图像用于描述所述目标对象在所述待处理图像中的初始对象区域；
背景信息确定模块，用于根据所述待处理图像及所述第一对象区域图像确定所述待处理图像对应的背景属性信息；
校正模块，用于基于所述背景属性信息对所述第一对象区域图像进行校正，得到第二对象区域图像，所述第二对象区域图像用于描述所述目标对象在所述待处理图像中校正后的对象区域。
14.一种电子设备，其特征在于，包括存储器及处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现如权利要求1至12任一所述的方法。
15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至15任一所述的方法。
CN202110659083.5A 2021-06-15 2021-06-15 图像处理方法、装置、电子设备及计算机可读存储介质 Active CN113298829B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110659083.5A CN113298829B (zh) 2021-06-15 2021-06-15 图像处理方法、装置、电子设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110659083.5A CN113298829B (zh) 2021-06-15 2021-06-15 图像处理方法、装置、电子设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN113298829A true CN113298829A (zh) 2021-08-24
CN113298829B CN113298829B (zh) 2024-01-23

Family

ID=77328156

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110659083.5A Active CN113298829B (zh) 2021-06-15 2021-06-15 图像处理方法、装置、电子设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN113298829B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114885104A (zh) * 2022-05-06 2022-08-09 北京银河方圆科技有限公司 摄像机自适应调节的方法、可读存储介质和导航系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101183421A (zh) * 2006-11-15 2008-05-21 佳能株式会社 图像处理装置、图像形成装置和图像处理方法
CN101615252A (zh) * 2008-06-25 2009-12-30 中国科学院自动化研究所 一种自适应图像文本信息提取方法
WO2016127883A1 (zh) * 2015-02-12 2016-08-18 阿里巴巴集团控股有限公司 一种图像区域检测方法及装置
WO2020001197A1 (zh) * 2018-06-29 2020-01-02 Oppo广东移动通信有限公司 图像处理方法、电子设备、计算机可读存储介质
CN110766639A (zh) * 2019-10-30 2020-02-07 北京迈格威科技有限公司 图像增强方法、装置、移动设备及计算机可读存储介质
CN111242843A (zh) * 2020-01-17 2020-06-05 深圳市商汤科技有限公司 图像虚化方法、图像虚化装置、设备及存储装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101183421A (zh) * 2006-11-15 2008-05-21 佳能株式会社 图像处理装置、图像形成装置和图像处理方法
CN101615252A (zh) * 2008-06-25 2009-12-30 中国科学院自动化研究所 一种自适应图像文本信息提取方法
WO2016127883A1 (zh) * 2015-02-12 2016-08-18 阿里巴巴集团控股有限公司 一种图像区域检测方法及装置
WO2020001197A1 (zh) * 2018-06-29 2020-01-02 Oppo广东移动通信有限公司 图像处理方法、电子设备、计算机可读存储介质
CN110766639A (zh) * 2019-10-30 2020-02-07 北京迈格威科技有限公司 图像增强方法、装置、移动设备及计算机可读存储介质
CN111242843A (zh) * 2020-01-17 2020-06-05 深圳市商汤科技有限公司 图像虚化方法、图像虚化装置、设备及存储装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114885104A (zh) * 2022-05-06 2022-08-09 北京银河方圆科技有限公司 摄像机自适应调节的方法、可读存储介质和导航系统
CN114885104B (zh) * 2022-05-06 2024-04-26 北京银河方圆科技有限公司 摄像机自适应调节的方法、可读存储介质和导航系统

Also Published As

Publication number Publication date
CN113298829B (zh) 2024-01-23

Similar Documents

Publication Publication Date Title
CN111402135B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN110149482B (zh) 对焦方法、装置、电子设备和计算机可读存储介质
CN110428366B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN113313661B (zh) 图像融合方法、装置、电子设备及计算机可读存储介质
CN110473185B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
EP3480784B1 (en) Image processing method, and device
CN113766125B (zh) 对焦方法和装置、电子设备、计算机可读存储介质
CN107730444B (zh) 图像处理方法、装置、可读存储介质和计算机设备
CN110572573B (zh) 对焦方法和装置、电子设备、计算机可读存储介质
WO2021057474A1 (zh) 主体对焦方法、装置、电子设备和存储介质
CN113888437A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN113658197B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN111028137A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
WO2022261828A1 (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN110881103B (zh) 对焦控制方法和装置、电子设备、计算机可读存储介质
CN110121031B (zh) 图像采集方法和装置、电子设备、计算机可读存储介质
CN110650288B (zh) 对焦控制方法和装置、电子设备、计算机可读存储介质
CN113674303B (zh) 图像处理方法、装置、电子设备及存储介质
CN113313626A (zh) 图像处理方法、装置、电子设备及存储介质
CN110365897B (zh) 图像修正方法和装置、电子设备、计算机可读存储介质
CN113673474B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN107578372B (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN113610884B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN112581481B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN113298829B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant