CN112258527A - 图像处理方法、装置、电子设备和计算机可读存储介质 - Google Patents

图像处理方法、装置、电子设备和计算机可读存储介质 Download PDF

Info

Publication number
CN112258527A
CN112258527A CN202011203524.2A CN202011203524A CN112258527A CN 112258527 A CN112258527 A CN 112258527A CN 202011203524 A CN202011203524 A CN 202011203524A CN 112258527 A CN112258527 A CN 112258527A
Authority
CN
China
Prior art keywords
frame
target
polishing
value
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011203524.2A
Other languages
English (en)
Other versions
CN112258527B (zh
Inventor
王顺飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202011203524.2A priority Critical patent/CN112258527B/zh
Publication of CN112258527A publication Critical patent/CN112258527A/zh
Application granted granted Critical
Publication of CN112258527B publication Critical patent/CN112258527B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种图像处理方法、装置、电子设备和计算机可读存储介质。所述方法包括：获取电子设备当前的目标资源占用率；根据所述目标资源占用率确定第一抛帧值；获取当前图像帧的目标场景复杂度；根据所述目标场景复杂度确定第二抛帧值；根据所述第一抛帧值和第二抛帧值确定目标抛帧值；对所述当前图像帧进行图像分割处理，得到所述当前图像帧的当前图像分割结果；基于所述当前图像分割结果，获得当前图像帧与所述目标抛帧值对应的目标图像帧之间的图像帧的图像分割结果。采用本申请的方法能够降低电子设备的功耗。

Description

图像处理方法、装置、电子设备和计算机可读存储介质
技术领域
本申请涉及计算机计算领域，特别是涉及一种图像处理方法、装置、电子设备和计算机可读存储介质。
背景技术
目前的人像区域的生成方法，通过采用人像分割或者人像抠图的方式得到人像区域。而在预览模式或者视频模式中，需要对每一帧图像处理得到每一帧的人像区域。而传统的图像处理方式，存在功耗大的问题。
发明内容
本申请实施例提供了一种图像处理方法、装置、电子设备、计算机可读存储介质，可以降低电子设备的功耗。
一种图像处理方法，包括：
获取电子设备当前的目标资源占用率；
根据所述目标资源占用率确定第一抛帧值；
获取当前图像帧的目标场景复杂度；
根据所述目标场景复杂度确定第二抛帧值；
根据所述第一抛帧值和第二抛帧值确定目标抛帧值；
对所述当前图像帧进行图像分割处理，得到所述当前图像帧的当前图像分割结果；
基于所述当前图像分割结果，获得当前图像帧与所述目标抛帧值对应的目标图像帧之间的图像帧的图像分割结果。
一种图像处理装置，包括：
目标资源占用率获取模块，用于获取电子设备当前的目标资源占用率；
第一抛帧值确定模块，用于根据所述目标资源占用率确定第一抛帧值；
目标场景复杂度获取模块，用于获取当前图像帧的目标场景复杂度；
第二抛帧值确定模块，用于根据所述目标场景复杂度确定第二抛帧值；
目标抛帧值确定模块，用于根据所述第一抛帧值和第二抛帧值确定目标抛帧值；
图像分割模块，用于对所述当前图像帧进行图像分割处理，得到所述当前图像帧的当前图像分割结果；
图像分割结果获得模块，用于基于所述当前图像分割结果，获得当前图像帧与所述目标抛帧值对应的目标图像帧之间的图像帧的图像分割结果。
一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：
获取电子设备当前的目标资源占用率；
根据所述目标资源占用率确定第一抛帧值；
获取当前图像帧的目标场景复杂度；
根据所述目标场景复杂度确定第二抛帧值；
根据所述第一抛帧值和第二抛帧值确定目标抛帧值；
对所述当前图像帧进行图像分割处理，得到所述当前图像帧的当前图像分割结果；
基于所述当前图像分割结果，获得当前图像帧与所述目标抛帧值对应的目标图像帧之间的图像帧的图像分割结果。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如下步骤：
获取电子设备当前的目标资源占用率；
根据所述目标资源占用率确定第一抛帧值；
获取当前图像帧的目标场景复杂度；
根据所述目标场景复杂度确定第二抛帧值；
根据所述第一抛帧值和第二抛帧值确定目标抛帧值；
对所述当前图像帧进行图像分割处理，得到所述当前图像帧的当前图像分割结果；
基于所述当前图像分割结果，获得当前图像帧与所述目标抛帧值对应的目标图像帧之间的图像帧的图像分割结果。
上述图像处理方法、装置、电子设备和计算机可读存储介质，获取电子设备当前的目标资源占用率，根据目标资源占用率确定第一抛帧值，则将资源占用率作为抛帧值确定时的一个重要因素；获取当前图像帧的目标场景复杂度，根据目标场景复杂度确定第二抛帧值，则将目标场景复杂度作为抛帧值确定时的另一个重要因素；根据第一抛帧值和第二抛帧值确定目标抛帧值，则能够基于图像帧的变化以及电子设备的资源占用率变化动态改变抛帧值，使得得到的抛帧值更加准确；并且基于当前图像分割结果，获取当前图像帧与目标抛帧值对应的目标图像帧之间的图像帧的图像分割结果，即当前图像帧和目标图像帧之间的图像帧不需要进行图像分割处理即可得到图像分割结果，能够在合理抛帧的情况下同时降低电子设备的功耗。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一个实施例中图像处理方法的流程图；
图2为一个实施例中图像处理方法的原理示意图；
图3为另一个实施例中图像处理方法的原理示意图；
图4为另一个实施例中图像处理方法的流程示意图；
图5为一个实施例中图像处理装置的结构框图；
图6为一个实施例中电子设备的内部结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种数据，但这些数据不受这些术语限制。这些术语仅用于将第一个数据与另一个数据区分。举例来说，在不脱离本申请的范围的情况下，可以将第一抛帧值称为第二抛帧值，且类似地，可将第二抛帧值称为第一抛帧值。第一抛帧值和第二抛帧值两者都是抛帧值，但其不是同一抛帧值。但第一抛帧值和第二抛帧值的数值可以相同。
图1为一个实施例中图像处理方法的流程图。本实施例中的图像处理方法，以运行于电子设备上为例进行描述。该电子设备可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。如图1所示，图像处理方法包括步骤102至步骤106。
步骤102，获取电子设备当前的目标资源占用率。
具体地，资源占用率是指电子设备的硬件资源占用率。目标资源占用率可以是指电子设备的某一指定硬件的资源占用率，还可以是将各资源占用率中资源占用率最高值作为目标资源占用率。当前的目标资源占用率即在与当前图像帧的获取时间在预设时长范围内的时间所得到的目标资源占用率。例如，当前图像帧获取时间为18时00分00秒000毫秒，目标资源占用率的获取时间为18时00分00秒123毫秒，即当前图像帧的获取时间和目标资源占用率的获取时间之间可存在误差。电子设备获取自身的当前的目标资源占用率。目标资源占用率指的是一个值。
步骤104，根据目标资源占用率确定第一抛帧值。
其中，抛帧值是指帧与帧之间的间隔值。在抛帧值所对应的视频帧不需要进行图像分割处理。第一抛帧值是基于目标资源占用率确定的。目标资源占用率与第一抛帧值呈正相关。即目标资源占用率越大，第一抛帧值越大；目标资源占用率越小，第一抛帧值越小。
具体地，资源占用率与第一抛帧值之间可以存在第一映射关系。那么电子设备可根据资源占用率与第一抛帧值之间的第一映射关系，获取目标资源占用率对应的第一抛帧值。或者，资源占用参数与第一抛帧参数存在正相关函数关系，因此电子设备可根据目标资源占用率和第一正相关函数关系式确定第一抛帧值。
步骤106，获取当前图像帧的目标场景复杂度。
其中，当前图像帧可以是处于预览模式下的当前的图像帧，也可以是指目标视频中的当前的待处理图像帧。该视频可以是预先拍摄完成的，也可以是正在拍摄的。当前图像帧可以是raw图(原始图像)、YUV图、RGB(Red Green Blue,红绿蓝)图、深度图像等。目标场景复杂度用于表征图像帧的场景复杂程度。例如，图像帧中的物体或者人越多，则图像的场景复杂度越高；图像帧中的物体或者人越少，图像的场景复杂度越低。目标场景复杂度是一个值。具体地，电子设备可基于图像的梯度值确定当前图像帧的目标场景复杂度。
步骤108，根据目标场景复杂度确定第二抛帧值。
其中，第二抛帧值是基于目标场景复杂度确定的。并且第二抛帧值与目标场景复杂度呈正相关。目标场景复杂度越高，第二抛帧值越大；目标场景复杂度越小，第二抛帧值越小。
具体地，场景复杂度与第二抛帧值可具有第二映射关系。那么电子设备可根据场景复杂度与第二抛帧值之间的第二映射关系，获取目标场景复杂度所对应的第二抛帧值。或者，场景复杂度参数与第二抛帧参数之间存在第二正相关函数关系，那么电子设备可根据目标场景复杂度和第二正相关函数关系式，确定第二抛帧值。
步骤110，根据第一抛帧值和第二抛帧值确定目标抛帧值。
其中，目标抛帧值是指不进行图像分割处理的图像帧的数量。具体目标抛帧值是指在当前图像帧之后的、与当前图像帧在时间上相邻的不进行图像分割处理的图像帧的数量。例如目标抛帧值为5，即表示当前图像帧之后的5帧图像帧不进行图像分割处理。
具体地，电子设备可从第一抛帧值和第二抛帧值中选取一个抛帧值作为目标抛帧值。或者，电子设备可确定第一抛帧值和第二抛帧值的平均值，将平均值作为目标抛帧值等不限于此。
步骤112，对当前图像帧进行图像分割处理，得到当前图像帧的当前图像分割结果。
其中，图像分割就是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程。图像分割结果即将图像帧中的一部分与另一部分分割开。图像分割结果具体可以是人像掩膜图。该人像掩膜图可用于将人像部分与背景部分区分开。例如人像部分的像素值为255，背景部分的像素值为0。
具体地，电子设备可将当前图像帧输入到图像分割网络中，得到当前图像帧的图像分割结果。其中，图像分割网络可以是由包含主体的图片以及对应的主体标注和背景标注训练而成的。图像分割网络可采用深度学习类算法得到，例如CNN(ConvolutionalNeural Networks，卷积神经网络)、U-Net算法、FCN(Fully Convolutional NeuralNetworks，全卷积神经网络)等。上述步骤202、步骤206和步骤212的执行顺序不限。
步骤114，基于当前图像分割结果，获得当前图像帧与目标抛帧值对应的目标图像帧之间的图像帧的图像分割结果。
其中，目标抛帧值对应的目标图像帧是指在当前图像帧之后，且间隔目标抛帧值的图像帧。例如，当前图像帧是第1帧，目标抛帧值为9，那么目标图像帧就是第10帧。而当前图像帧与目标图像帧之间的图像帧则包括第2帧、第3帧、第4帧、第5帧、第6帧、第7帧、第8帧和第9帧。
具体地，电子设备将当前图像分割结果，作为当前图像帧与目标图像帧之间的每个图像帧的图像分割结果，其中，目标图像帧与目标抛帧值相对应。或者，电子设备根据当前图像帧和目标图像帧中主体的运动轨迹，确定当前图像分割结果在当前图像帧与目标图像帧之间的每个图像帧中的位置，得到每个图像帧的图像分割结果。
上述图像处理方法，获取电子设备当前的目标资源占用率，根据目标资源占用率确定第一抛帧值，则将资源占用率作为抛帧值确定时的一个重要因素；获取当前图像帧的目标场景复杂度，根据目标场景复杂度确定第二抛帧值，则将目标场景复杂度作为抛帧值确定时的另一个重要因素；根据第一抛帧值和第二抛帧值确定目标抛帧值，则能够基于图像帧的变化以及电子设备的资源占用率变化动态改变抛帧值，使得得到的抛帧值更加准确；并且基于当前图像分割结果，获取当前图像帧与目标抛帧值对应的目标图像帧之间的图像帧的图像分割结果，即当前图像帧和目标图像帧之间的图像帧不需要进行图像分割处理即可得到图像分割结果，能够在合理抛帧的情况下同时降低电子设备的功耗；此外还可以避免固定抛帧策略不能有效利用资源占用率和场景复杂度，从而导致的图像分割效果差，本申请实施例可以提高图像分割效果。
在一个实施例中，如图2所示，为一个实施例中图像处理方法的原理示意图。图中包括当前视频帧202、当前图像分割结果204和目标图像帧206，并且图中对应的目标抛帧值为4。那么在当前图像帧202和目标图像帧206之间的4个图像帧均可以当前图像分割结果204作为这之间的每个图像帧所对应的图像分割结果。
在一个实施例中，获取电子设备当前的目标资源占用率，包括：获取电子设备当前的不同硬件的资源占用率；将资源占用率中的最大资源占用率作为目标资源占用率。
其中，电子设备中包含一些硬件。例如，CPU(Central Processing Unit，中央处理器)、GPU(Graphics Processing Unit，图形处理器)、DSP(Digital Signal Processor，数字信号处理器)、NPU(Neural-network Processing Unit，网络处理器)、VPU(VideoProcessing Unit，视频处理单元)中至少一种。
CPU(Central Processing Unit，中央处理器)作为计算机系统的运算和控制核心，是信息处理、程序运行的最终执行单元。
GPU(Graphics Processing Unit，图形处理器)又称显示核心、视觉处理器、显示芯片，是一种专门在个人电脑、工作站、游戏机和一些移动设备(如平板电脑、智能手机等)上做图像和图形相关运算工作的微处理器。
DSP(Digital Signal Processor，数字信号处理器)是由大规模或超大规模集成电路芯片组成的用来完成数字信号处理任务的处理器。
NPU(Neural-network Processing Unit，网络处理器)擅长处理视频、图像类的海量多媒体数据。
VPU(Video Processing Unit，视频处理单元)是一种全新的视频处理平台核心引擎，具有硬解码功能以及减少CPU负荷的能力。
具体地，电子设备获取电子设备当前的不同硬件的资源占用率，并对不同硬件的资源占用率按照从大到小的顺序进行排列，将资源占用率中的最大资源占用率作为目标资源占用率。
本实施例中的图像处理方法，获取电子设备当前的不同硬件的资源占用率，将资源占用率中的最大资源占用率作为目标资源占用率，则取的是最大资源占用率，能够避免电子设备出现无法处理图像分割的问题，提高图像处理的流畅度。
在一个实施例中，基于目标资源占用率确定第一抛帧值，包括：获取资源占用参数与第一抛帧参数之间的第一正相关函数关系式；根据目标资源占用率和第一正相关函数关系式，确定第一抛帧值。
其中，资源占用参数是一个变量。第一抛帧参数也是一个变量。第一正相关函数关系式可以是正相关线性函数关系式，也可以是正相关非线性函数关系式。例如，正相关线性函数关系式为N1＝aR+b。其中N1为第一抛帧参数，R为资源占用参数，a和b均为系数，a和b可根据实际需求取值，并且a>0。或者，正相关非线性函数关系式为N1＝√(aR2+b)等不限于此。进一步地，由于抛帧值应当是一个整数，因此N1＝取整(aR+b)。那么N1与R成正相关关系。
具体地，电子设备获取资源占用参数与第一抛帧参数之间的第一正相关函数关系式。将目标资源占用率输入至第一正相关函数关系式中，计算得到第一抛帧值。例如，资源占用参数与第一抛帧参数之间的第一正相关函数关系式为N1＝aR。其中a为最大抛帧值。而当R＝50％时，得到N1＝a/2。
本实施例中的图像处理方法，获取资源占用参数与第一抛帧参数之间的第一正相关函数关系式，根据目标资源占用率和第一正相关函数关系式确定第一抛帧值，即当资源占用参数取值越小，表示当前硬件计算资源相对空闲，可以减小抛帧数，让图像分割结果尽快更新；而资源占用参数越大，表示当前硬件计算资源被占用越严重，越接近高负荷运行，第一抛帧参数取值越大，即当电子设备本身的资源占用率比较高时，即功耗比较高时，通过将抛帧值增大以降低图像处理给电子设备增加的功耗。
在一个实施例中，获取当前图像帧的场景复杂度，包括：获取当前图像帧中每个像素点的梯度值；基于每个像素点的梯度值之和得到当前图像帧的目标场景复杂度。
其中，像素点的梯度值用于表示该像素点的灰度变化。梯度算子包括但不限于sobel算子、log算子、prewitt算子、canny算子、laplacian算子。当梯度值大时，说明灰度变化大；当梯度值小时，说明灰度变化小。并且梯度值越大，场景复杂度越高；梯度值越小，场景复杂度越低。
具体地，电子设备获取当前图像帧每个像素点的梯度值，基于每个像素点的梯度值之和得到当前图像帧的场景复杂度。例如，当前图像帧有100个像素点，那么计算每个像素点的梯度值，并将这100个像素点相加得到场景复杂度。
本实施例中，电子设备获取当前图像帧每个像素点的梯度值，基于每个像素点的梯度值之和与当前图像帧中的像素点的数量计算得到当前图像帧的平均梯度值，将平均梯度值作为当前图像帧的场景复杂度。
本实施例中的图像处理方法，获取当前图像帧中每个像素点的梯度值，基于每个像素点的梯度值之和得到当前图像帧的场景复杂度，则能够准确确定图像帧的复杂度，从而动态调整抛帧值。
在一个实施例中，基于目标场景复杂度确定第二抛帧值，包括：获取场景复杂度参数与第二抛帧参数之间的第二正相关函数关系式；根据目标场景复杂度和第二正相关函数关系式，确定第二抛帧值。
其中，场景复杂度参数是一个变量。第二抛帧参数也是一个变量。第二正相关函数关系式可以是正相关线性函数关系式，也可以是正相关非线性函数关系式。例如，正相关线性函数关系式为N2＝c×S+d。其中N2为第二抛帧参数，S为场景复杂度参数，c和d均为系数，c和d可根据实际需求取值，并且c>0。或者，正相关非线性函数关系式为N2＝√(c×S2+d)等不限于此。进一步地，由于抛帧值应当是一个整数，因此N2＝取整(c×S+d)。那么N2与S成正相关关系。或者可对(c×S+d)对应的值进行进一操作。
具体地，电子设备获取场景复杂度参数与第二抛帧参数之间的第二正相关函数关系式。将目标场景复杂度输入至第二正相关函数关系式中，计算得到第二抛帧值。例如，场景复杂度参数与第二抛帧参数之间的第二正相关函数关系式为N2＝c×S。
本实施例中的图像处理方法，获取场景复杂度参数与第二抛帧参数之间的第二正相关函数关系式，根据目标场景复杂度和第二正相关函数关系式确定第二抛帧值，即当场景复杂度参数取值越小，表示当前场景越简单，当前图像分割所需要的计算量越小，可以减小抛帧数，让图像分割结果尽快更新；而当场景复杂度参数越大，表示当前场景越复杂，当前图像分割所需要的计算量越大，因此第二抛帧参数取值越大，即需要占用的电子设备的资源更多，通过将抛帧值增大以降低图像处理给电子设备增加的功耗。
在一个实施例中，根据第一抛帧值和第二抛帧值确定目标抛帧值，包括：将第一抛帧值和第二抛帧值中的较大抛帧值作为目标抛帧值。
本实施例中的图像处理方法，将第一抛帧值和第二抛帧值中的较大抛帧值作为目标抛帧值，即每隔更长时间对图像帧进行图像分割处理，降低电子设备的功耗。
在一个实施例中，对所述当前图像帧进行图像分割处理，得到所述当前图像帧的当前图像分割结果，包括：获取场景复杂度阈值；当目标场景复杂度大于场景复杂度阈值时，将当前图像帧输入至第一图像分割网络中，得到当前图像帧的当前图像分割结果；当目标场景复杂度小于或等于场景复杂度阈值时，将当前图像帧输入至第二图像分割网络中，得到当前图像帧的当前图像分割结果；第一图像分割网络的图像处理尺寸大于第二图像分割网络的图像处理尺寸。
其中，场景复杂度阈值用于评价目标场景复杂度。第一图像分割网络和第二图像分割网络均可采用深度学习类类算法得到，例如CNN(Convolutional Neural Networks，卷积神经网络)、U-Net算法、FCN(Fully Convolutional Neural Networks，全卷积神经网络)等。该类算法通常包括Encoder特征编码模块和Decoder目标模板生成模块。该模型的训练数据由人像数据集构成，人的身体是一种类别，背景是一种类别。第一图像分割网络的图像处理尺寸大于第二图像分割网络的图像处理尺寸。例如，第一图像分割网络的图像处理尺寸是320×320，第二图像分割网络的图像处理尺寸是224×224。
具体地，当目标场景复杂度大于场景复杂度阈值时，电子设备将当前图像帧输入至第一图像分割网络中，具体可通过第一图像分割网络将当前图像帧的尺寸调整为该第一图像分割网络所适配的图像处理尺寸，并对适配图像处理尺寸后的当前图像帧进行编码和解码，得到当前图像帧的当前图像分割结果。或者，电子设备将当前图像帧的尺寸调整为该第一图像分割网络所适配的图像处理尺寸，将适配图像处理尺寸后的当前图像帧输入至第一图像分割网络中，通过第一图像分割网络进行编码和解码，得到当前图像帧的当前图像分割结果。
当目标场景复杂度小于或等于场景复杂度阈值时，电子设备将当前图像帧输入至第二图像分割网络中，具体可通过第二图像分割网络将当前图像帧的尺寸调整为该第二图像分割网络所适配的图像处理尺寸，并对适配图像处理尺寸后的当前图像帧进行编码和解码，得到当前图像帧的当前图像分割结果。或者，电子设备将前图像帧的尺寸调整为该第二图像分割网络所适配的图像处理尺寸，并将适配图像处理尺寸后的当前图像帧输入第二图像分割网络中，通过第二图像分割网络对当前图像帧进行编码和解码，得到当前图像帧的当前图像分割结果，有效提升了简单场景或者复杂场景下的图像分割效果。
本实施例中的图像处理方法，当目标场景复杂度大于场景复杂度阈值时，表示当前场景较复杂，需要图像分割网络有较大的解析处理能力，因此需要输入至图像处理尺寸较大的第一图像分割网络中，以提高处理效率；而当目标场景复杂度小于或等于场景复杂度阈值时，表示当前场景较简单，不需要图像分割网络有较大的解析处理能力，因此需要将当前图像帧输入至图像处理尺寸较小的第二图像分割网络中，以保证图像分割效果的情况下同时降低终端的功耗。
在一个实施例中，该图像方法还包括：对于目标视频，获取与当前图像帧间隔目标抛帧值的目标图像帧，将目标图像帧作为当前图像帧，执行获取电子设备当前的目标资源占用率的步骤，直至目标视频处理结束，得到目标视频中每个图像帧所对应的图像分割结果。
其中，目标视频中包括至少两个图像帧。目标视频具体可以是电子设备实时采集的实时视频，也可以是某个电子设备预先采集的离线视频，本申请实施例对此不作限定。目标视频处理结束是指获得目标视频中预设百分比的图像帧的图像分割结果。预设百分比可依据情况设置。如预设百分比可为100％、95％等不限于此。例如，目标视频中95％的图像帧均有对应的图像分割结果。
具体地，与当前图像帧间隔目标抛帧值的目标图像帧，即与目标抛帧值对应的目标图像帧。对于目标视频，电子设备获取与当前图像帧间隔目标抛帧值的目标图像帧，将目标图像帧作为当前图像帧，执行获取电子设备当前的目标资源占用率的操作。即电子设备获取目标图像帧的当前的目标资源占用率；根据目标资源占用率确定第一抛帧值；获取目标图像帧的当前的目标场景复杂度；根据目标场景复杂度确定第二抛帧值；根据第一抛帧值和第二抛帧值确定目标抛帧值；对目标图像帧进行图像分割处理，得到目标图像帧的目标图像分割结果；基于目标图像分割结果，获取目标图像帧与目标抛帧值对应的图像帧之间的每个图像帧的图像分割结果。如此循环，直至目标视频处理结束，得到目标视频中每个图像帧所对应的图像分割结果。
本实施例中的图像处理方法，对于目标视频，获取与当前图像帧间隔目标抛帧值的目标图像帧，将目标图像帧作为当前图像帧，执行获取电子设备当前的目标资源占用率的步骤，即基于目标图像帧再计算一次第一抛帧值、第二抛帧值和目标抛帧值，以及再进行一次图像分割，直至目标视频处理结束，能够得到目标视频中图像帧所对应的图像分割结果，能够依据图像帧的图像分割结果对整个图像进行进一步处理。
在一个实施例中，该图像处理方法还包括：对于目标视频中的每个图像帧，基于各图像帧的图像分割结果确定相应图像帧中的背景区域；基于背景区域在相应图像帧中的位置，对每个图像帧的背景区域进行虚化处理，得到虚化处理后的目标视频。
具体地，图像分割结果可用于分割前景区域和背景区域。而对于各图像帧的图像分割结果确定相应图像帧中的背景区域。基于背景区域在相应图像帧中的位置，电子设备对每个图像帧的背景区域进行虚化处理，得到虚化处理后的每个图像帧，从而得到虚化处理后的目标视频。其中，在得到图像帧的图像分割结果后，则能够确定该图像帧中的背景区域。
本实施例中的图像处理方法，对于目标视频中的每个图像帧，基于各图像帧的图像分割结果确定相应图像帧中的背景区域，基于背景区域在相应图像帧中的位置，对每个图像帧的背景区域进行虚化处理，得到虚化处理后的目标视频，能够在降低功耗的情况下得到虚化处理后的目标视频。
在一个实施例中，如图3所示，为另一个实施例中图像处理方法的原理示意图。其中包括目标视频300、当前图像帧302、当前图像分割结果304、目标图像帧306和目标图像帧对应的图像分割结果308以及目标视频的最后一帧的图像分割结果310。具体地，电子设备获得当前图像帧302的当前图像分割结果304，并计算得到当前图像帧302对应的目标抛帧值为2，因此将当前图像分割结果304作为当前图像帧302之后2帧的图像分割结果。那么电子设备此时应当处于目标图像帧306，将目标图像帧306作为当前处理的图像帧，对目标图像帧306进行图像分割处理得到目标图像帧的图像分割结果308，并且计算得到目标图像帧306对应的目标抛帧数为5，那么将目标图像帧的图像分割结果308作为目标图像帧306后的5帧图像帧的图像分割结果。电子设备继续处理，直至处理得到目标视频300的最后一帧的图像分割结果310。如此，得到目标视频中每个图像帧的图像分割结果。
在一个实施例中，在对当前图像进行图像分割处理，得到当前图像帧的当前图像分割结果之后，该方法还包括：基于当前图像分割结果确定当前图像帧中的背景区域，基于背景区域在当前图像帧中的位置，对当前图像帧的背景区域进行虚化处理，得到虚化处理后的当前图像帧。上述实施例中，能够基于相应帧的图像分割结果进行虚化处理，能够实现虚化处理的同时降低电子设备功耗。
在一个实施例中，如图4所示，为另一个实施例中图像处理方法的流程示意图，包括：
步骤402，输入当前图像帧。
其中，当前图像帧可以但不限于raw图、YUV图、RGB图和深度图。
步骤404，获取当前的目标资源占用率。
具体地，分别获取电子设备的当前的不同硬件的资源占用率。硬件资源包括不限于CPU，GPU，DSP，NPU，VPU等。电子设备取各硬件资源占用率的最大值，作为目标资源占用率，记为R。
步骤406，计算第一抛帧值N1。
具体地，根据目标资源占用率R，求取第一抛帧值N1。具体思路是，R越大，表示当前硬件计算资源被占用越严重，越接近高负荷运行，可以加大抛帧值。R越小，表示当前硬件计算资源相对空闲，可以减小抛帧值，让人像掩膜图尽快更新。可以将两者设置为包括但不限于线性关系，即
N1＝取整(a×R+b)。a,b均为系数，可以根据实际情况进行求取。(a×R+b)每次计算的值，需要进行取整操作，赋值给N1。这边a>0,表示N1与R成正比例关系。
步骤408，计算目标场景复杂度。
具体地，计算当前帧图像上的梯度值之和，作为目标场景复杂度，记为S_grad。梯度算子包括不限于，sobel、log、prewitt、canny、laplacian等。
步骤410，计算第二抛帧值N2。
具体地，根据目标场景复杂度S_grad，求取第二抛帧值N2。具体思路是，S_grad越大，表示场景越复杂，当前人像分割所需要的计算量越大，可以加大抛帧值。S_grad越小，表示场景越简单，当前人像分割所需要的计算量越小，可以减小抛帧值，让人像掩膜图尽快更新。可以将两者设置为包括但不限于线性关系，即
N2＝取整(c×S_grad+d)。c,d均为系数，可以根据实际情况进行求取。(c×S_grad+d)每次计算的值，需要进行取整操作，赋值给N2。这边c>0,表示N2与S_grad成正比例关系。
步骤412，目标抛帧数＝MAX(N1，N2)。
具体地，抛帧数N取N1和N2的较大值。
步骤414，每N帧运行多尺寸人像分割网络，输出人像掩膜图。
其中，人像分割网络是图像分割网络中的一种。人像掩膜图是图像分割结果中的一种。
具体地，人像分割网络，可以是但不限于deeplab系列分割算法、U-Net、FCN等。该类算法通常包括编码器特征编码模块和解码器目标模板生成模块。该模型的训练数据由人像数据集构成，人的身体是一种类别，背景是一种类别。
多尺寸人像分割网络的输入通常有大于1种图像输入尺寸。比如，在训练时候用两种尺寸训练，224x224和320x320。则在部署到电子设备上时，也可以用这两种尺寸。
设置阈值Ther,当S_grad大于Ther，则表示当前场景较复杂，需要网络有较大的解析处理能力，每N帧跑较大尺度人像分割网络，如第一人像分割网络。当S_grad小于或等于Ther，则表示当前场景相对简单，不需要网络有较大的解析处理能力，每N帧跑较小尺度人像分割网络，如第二人像分割网络。
本申请实施例结合场景复杂度和硬件资源占用率，采用动态抛帧的方式更新人像掩膜图，避免了每帧更新人像掩膜图带来的实时性和功耗问题，同时避免了固定抛帧策略不能有效利用硬件资源占用率和场景复杂度，带来的综合效果较差；本申请实施例提高了虚化前置预览的实时性和复杂场景下人像掩膜图的精度，从而提升了后续人像虚化等应用的效果。
在一个实施例中，一种图像处理方法，包括：
步骤(a1)，获取电子设备当前的不同硬件的资源占用率。
步骤(a2)，将资源占用率中的最大资源占用率作为目标资源占用率。
步骤(a3)，获取资源占用参数与第一抛帧参数之间的第一正相关函数关系式。
步骤(a4)，根据目标资源占用率和第一正相关函数关系式，确定第一抛帧值。
步骤(a5)，获取当前图像帧中每个像素点的梯度值。
步骤(a6)，基于每个像素点的梯度值之和得到当前图像帧的场景复杂度。
步骤(a7)，获取场景复杂度参数与第二抛帧参数之间的第二正相关函数关系式。
步骤(a8)，根据目标场景复杂度和第二正相关函数关系式，确定第二抛帧值。
步骤(a9)，将第一抛帧值和第二抛帧值中的较大抛帧值作为目标抛帧值。
步骤(a10)，获取场景复杂度阈值。
步骤(a11)，当目标场景复杂度大于场景复杂度阈值时，将当前图像帧输入至第一图像分割网络中，得到当前图像帧的当前图像分割结果。
步骤(a12)，当目标场景复杂度小于或等于场景复杂度阈值时，将当前图像帧输入至第二图像分割网络中，得到当前图像帧的当前图像分割结果。第一图像分割网络的图像处理尺寸大于第二图像分割网络的图像处理尺寸。
步骤(a13)，基于当前图像分割结果，获得当前图像帧与目标抛帧值对应的目标图像帧之间的图像帧的图像分割结果。
步骤(a14)，对于目标视频，获取与当前图像帧间隔目标抛帧值的目标图像帧，将目标图像帧作为当前图像帧，执行获取电子设备当前的目标资源占用率的步骤，直至目标视频处理结束，得到目标视频中每个图像帧所对应的图像分割结果。
步骤(a15)，对于目标视频中的每个图像帧，基于各图像帧的图像分割结果确定相应图像帧中的背景区域。
步骤(a16)，基于背景区域在相应图像帧中的位置，对每个图像帧的背景区域进行虚化处理，得到虚化处理后的目标视频。
上述图像处理方法，将资源占用率作为抛帧值确定时的一个重要因素，将目标场景复杂度作为抛帧值确定时的另一个重要因素，将第一抛帧值和第二抛帧值中较大抛帧值作为目标抛帧值，则能够基于图像帧的变化以及电子设备的资源占用率变化动态改变抛帧值，使得得到的抛帧值更加准确；并且基于当前图像分割结果，获取当前图像帧与目标抛帧值对应的目标图像帧之间的图像帧的图像分割结果，即当前图像帧和目标图像帧之间的图像帧不需要进行图像分割处理即可得到图像分割结果，能够在合理抛帧的情况下同时降低电子设备的功耗；此外还可以避免固定抛帧策略不能有效利用资源占用率和场景复杂度，从而导致的图像分割效果差，本申请实施例可以提高图像分割效果；并且对于目标视频中的每个图像帧，基于各图像帧的图像分割结果确定相应图像帧中的背景区域，基于背景区域在相应图像帧中的位置，对每个图像帧的背景区域进行虚化处理，得到虚化处理后的目标视频，能够在降低功耗的情况下得到虚化处理后的目标视频。
应该理解的是，虽然图1和4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1和4中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
图5为一个实施例的图像处理装置的结构框图。如图5所示，一种图像处理装置，包括目标资源占用率获取模块502、第一抛帧值确定模块504、目标场景复杂度获取模块506、第二抛帧值确定模块508、目标抛帧值确定模块510、图像分割模块512和图像分割结果获得模块514，包括：
目标资源占用率获取模块502，用于获取电子设备当前的目标资源占用率；
第一抛帧值确定模块504，用于根据目标资源占用率确定第一抛帧值；
目标场景复杂度获取模块506，用于获取当前图像帧的目标场景复杂度；
第二抛帧值确定模块508，用于根据目标场景复杂度确定第二抛帧值；
目标抛帧值确定模块510，用于根据第一抛帧值和第二抛帧值确定目标抛帧值；
图像分割模块512，用于对当前图像帧进行图像分割处理，得到当前图像帧的当前图像分割结果；
图像分割结果获得模块514，用于基于当前图像分割结果，获得当前图像帧与目标抛帧值对应的目标图像帧之间的图像帧的图像分割结果。
上述图像处理装置，获取电子设备当前的目标资源占用率，根据目标资源占用率确定第一抛帧值，则将资源占用率作为抛帧值确定时的一个重要因素；获取当前图像帧的目标场景复杂度，根据目标场景复杂度确定第二抛帧值，则将目标场景复杂度作为抛帧值确定时的另一个重要因素；根据第一抛帧值和第二抛帧值确定目标抛帧值，则能够基于图像帧的变化以及电子设备的资源占用率变化动态改变抛帧值，使得得到的抛帧值更加准确；并且基于当前图像分割结果，获取当前图像帧与目标抛帧值对应的目标图像帧之间的图像帧的图像分割结果，即当前图像帧和目标图像帧之间的图像帧不需要进行图像分割处理即可得到图像分割结果，能够在合理抛帧的情况下同时降低电子设备的功耗；此外还可以避免固定抛帧策略不能有效利用资源占用率和场景复杂度，从而导致的图像分割效果差，本申请实施例可以提高图像分割效果。
在一个实施例中，目标资源占用率获取模块502用于获取电子设备当前的不同硬件的资源占用率；将资源占用率中的最大资源占用率作为目标资源占用率。
本实施例中的图像处理装置，获取电子设备当前的不同硬件的资源占用率，将资源占用率中的最大资源占用率作为目标资源占用率，则取的是最大资源占用率，能够避免电子设备出现无法处理图像分割的问题，提高图像处理的流畅度。
在一个实施例中，第一抛帧值获取模块用于获取资源占用参数与第一抛帧参数之间的第一正相关函数关系式；根据目标资源占用率和第一正相关函数关系式，确定第一抛帧值。
本实施例中的图像处理装置，获取资源占用参数与第一抛帧参数之间的第一正相关函数关系式，根据目标资源占用率和第一正相关函数关系式确定第一抛帧值，即当资源占用参数取值越小，表示当前硬件计算资源相对空闲，可以减小抛帧数，让图像分割结果尽快更新；而资源占用参数越大，表示当前硬件计算资源被占用越严重，越接近高负荷运行，第一抛帧参数取值越大，即当电子设备本身的资源占用率比较高时，即功耗比较高时，通过将抛帧值增大以降低图像处理给电子设备增加的功耗。
在一个实施例中，场景复杂度获取模块用于获取当前图像帧中每个像素点的梯度值；基于每个像素点的梯度值之和得到当前图像帧的目标场景复杂度。
本实施例中的图像处理装置，获取当前图像帧中每个像素点的梯度值，基于每个像素点的梯度值之和得到当前图像帧的场景复杂度，则能够准确确定图像帧的复杂度，从而动态调整抛帧值。
在一个实施例中，第二抛帧值获取模块用于获取场景复杂度参数与第二抛帧参数之间的第二正相关函数关系式；根据目标场景复杂度和第二正相关函数关系式，确定第二抛帧值。
本实施例中的图像处理装置，获取场景复杂度参数与第二抛帧参数之间的第二正相关函数关系式，根据目标场景复杂度和第二正相关函数关系式确定第二抛帧值，即当场景复杂度参数取值越小，表示当前场景越简单，当前图像分割所需要的计算量越小，可以减小抛帧数，让图像分割结果尽快更新；而当场景复杂度参数越大，表示当前场景越复杂，当前图像分割所需要的计算量越大，因此第二抛帧参数取值越大，即需要占用的电子设备的资源更多，通过将抛帧值增大以降低图像处理给电子设备增加的功耗。
在一个实施例中，目标抛帧值确定模块510用于将第一抛帧值和第二抛帧值中的较大抛帧值作为目标抛帧值。
本实施例中的图像处理装置，将第一抛帧值和第二抛帧值中的较大抛帧值作为目标抛帧值，即每隔更长时间对图像帧进行图像分割处理，降低电子设备的功耗。
在一个实施例中，图像分割模块512用于获取场景复杂度阈值；当目标场景复杂度大于场景复杂度阈值时，将当前图像帧输入至第一图像分割网络中，得到当前图像帧的当前图像分割结果；当目标场景复杂度小于或等于场景复杂度阈值时，将当前图像帧输入至第二图像分割网络中，得到当前图像帧的当前图像分割结果；第一图像分割网络的图像处理尺寸大于第二图像分割网络的图像处理尺寸。
本实施例中的图像处理装置，当目标场景复杂度大于场景复杂度阈值时，表示当前场景较复杂，需要图像分割网络有较大的解析处理能力，因此需要输入至图像处理尺寸较大的第一图像分割网络中，以提高处理效率；而当目标场景复杂度小于或等于场景复杂度阈值时，表示当前场景较简单，不需要图像分割网络有较大的解析处理能力，因此需要将当前图像帧输入至图像处理尺寸较小的第二图像分割网络中，以保证图像分割效果的情况下同时降低终端的功耗。
在一个实施例中，该图像处理装置还包括当前图像帧获取模块，当前图像帧获取模块还用于对于目标视频，获取与当前图像帧间隔目标抛帧值的目标图像帧，将目标图像帧作为当前图像帧；图像分割结果获得模块514还用于直至目标视频处理结束，得到目标视频中每个图像帧所对应的图像分割结果。
本实施例中的图像处理装置，对于目标视频，获取与当前图像帧间隔目标抛帧值的目标图像帧，将目标图像帧作为当前图像帧，执行获取电子设备当前的目标资源占用率的步骤，即基于目标图像帧再计算一次第一抛帧值、第二抛帧值和目标抛帧值，以及再进行一次图像分割，直至目标视频处理结束，能够得到目标视频中图像帧所对应的图像分割结果，能够依据图像帧的图像分割结果对整个图像进行进一步处理。
在一个实施例中，该图像处理装置还包括虚化模块，虚化模块用于对于目标视频中的每个图像帧，基于各图像帧的图像分割结果确定相应图像帧中的背景区域；基于背景区域在相应图像帧中的位置，对每个图像帧的背景区域进行虚化处理，得到虚化处理后的目标视频。
本实施例中的图像处理装置，对于目标视频中的每个图像帧，基于各图像帧的图像分割结果确定相应图像帧中的背景区域，基于背景区域在相应图像帧中的位置，对每个图像帧的背景区域进行虚化处理，得到虚化处理后的目标视频，能够在降低功耗的情况下得到虚化处理后的目标视频。
上述图像处理装置中各个模块的划分仅用于举例说明，在其他实施例中，可将图像处理装置按照需要划分为不同的模块，以完成上述图像处理装置的全部或部分功能。
关于图像处理装置的具体限定可以参见上文中对于图像处理方法的限定，在此不再赘述。上述图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
图6为一个实施例中电子设备的内部结构示意图。如图6所示，该电子设备包括通过系统总线连接的处理器和存储器。其中，该处理器用于提供计算和控制能力，支撑整个电子设备的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种图像处理方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。该电子设备可以是手机、平板电脑、PDA(Personal Digital Assistant，个人数字助理)、POS(Point of Sales，销售终端)、车载电脑、穿戴式设备等任意终端设备。
本申请实施例中提供的图像处理装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在电子设备的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行图像处理方法的步骤。
一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行图像处理方法。
本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (12)

1.一种图像处理方法，其特征在于，包括：
获取电子设备当前的目标资源占用率；
根据所述目标资源占用率确定第一抛帧值；
获取当前图像帧的目标场景复杂度；
根据所述目标场景复杂度确定第二抛帧值；
根据所述第一抛帧值和第二抛帧值确定目标抛帧值；
对所述当前图像帧进行图像分割处理，得到所述当前图像帧的当前图像分割结果；
基于所述当前图像分割结果，获得所述当前图像帧与所述目标抛帧值对应的目标图像帧之间的图像帧的图像分割结果。
2.根据权利要求1所述的方法，其特征在于，所述获取电子设备当前的目标资源占用率，包括：
获取电子设备当前的不同硬件的资源占用率；
将所述资源占用率中的最大资源占用率作为目标资源占用率。
3.根据权利要求1所述的方法，其特征在于，所述根据所述目标资源占用率确定第一抛帧值，包括：
获取资源占用参数与第一抛帧参数之间的第一正相关函数关系式；
根据所述目标资源占用率和所述第一正相关函数关系式，确定第一抛帧值。
4.根据权利要求1所述的方法，其特征在于，所述获取当前图像帧的目标场景复杂度，包括：
获取所述当前图像帧中每个像素点的梯度值；
基于每个像素点的梯度值之和得到所述当前图像帧的目标场景复杂度。
5.根据权利要求1所述的方法，其特征在于，所述基于所述目标场景复杂度确定第二抛帧值，包括：
获取场景复杂度参数与第二抛帧参数之间的第二正相关函数关系式；
根据所述目标场景复杂度和所述第二正相关函数关系式，确定第二抛帧值。
6.根据权利要求1所述的方法，其特征在于，所述根据所述第一抛帧值和第二抛帧值确定目标抛帧值，包括：
将所述第一抛帧值和所述第二抛帧值中的较大抛帧值作为目标抛帧值。
7.根据权利要求1所述的方法，其特征在于，所述对所述当前图像帧进行图像分割处理，得到所述当前图像帧的当前图像分割结果，包括：
获取场景复杂度阈值；
当所述目标场景复杂度大于所述场景复杂度阈值时，将所述当前图像帧输入至第一图像分割网络中，得到所述当前图像帧的当前图像分割结果；
当所述目标场景复杂度小于或等于所述场景复杂度阈值时，将所述当前图像帧输入至第二图像分割网络中，得到所述当前图像帧的当前图像分割结果；所述第一图像分割网络的图像处理尺寸大于第二图像分割网络的图像处理尺寸。
8.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对于目标视频，获取与所述当前图像帧间隔所述目标抛帧值的目标图像帧，将所述目标图像帧作为当前图像帧，执行所述获取电子设备当前的目标资源占用率的步骤，直至所述目标视频处理结束，得到所述目标视频中每个图像帧所对应的图像分割结果。
9.根据权利要求8所述的方法，其特征在于，所述方法还包括：
对于目标视频中的每个图像帧，基于各图像帧的图像分割结果确定相应图像帧中的背景区域；
基于所述背景区域在相应图像帧中的位置，对每个图像帧的背景区域进行虚化处理，得到虚化处理后的目标视频。
10.一种图像处理装置，其特征在于，包括：
目标资源占用率获取模块，用于获取电子设备当前的目标资源占用率；
第一抛帧值确定模块，用于根据所述目标资源占用率确定第一抛帧值；
目标场景复杂度获取模块，用于获取当前图像帧的目标场景复杂度；
第二抛帧值确定模块，用于根据所述目标场景复杂度确定第二抛帧值；
目标抛帧值确定模块，用于根据所述第一抛帧值和第二抛帧值确定目标抛帧值；
图像分割模块，用于对所述当前图像帧进行图像分割处理，得到所述当前图像帧的当前图像分割结果；
图像分割结果获得模块，用于基于所述当前图像分割结果，获得当前图像帧与所述目标抛帧值对应的目标图像帧之间的图像帧的图像分割结果。
11.一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至9中任一项所述的图像处理方法的步骤。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至9中任一项所述的方法的步骤。
CN202011203524.2A 2020-11-02 2020-11-02 图像处理方法、装置、电子设备和计算机可读存储介质 Active CN112258527B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011203524.2A CN112258527B (zh) 2020-11-02 2020-11-02 图像处理方法、装置、电子设备和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011203524.2A CN112258527B (zh) 2020-11-02 2020-11-02 图像处理方法、装置、电子设备和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN112258527A true CN112258527A (zh) 2021-01-22
CN112258527B CN112258527B (zh) 2024-07-16

Family

ID=74268482

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011203524.2A Active CN112258527B (zh) 2020-11-02 2020-11-02 图像处理方法、装置、电子设备和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN112258527B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113963000A (zh) * 2021-10-21 2022-01-21 北京字节跳动网络技术有限公司 图像分割方法、装置、电子设备及程序产品
CN114387577A (zh) * 2021-06-09 2022-04-22 深圳市速腾聚创科技有限公司 数据处理方法、装置及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150348276A1 (en) * 2014-05-27 2015-12-03 Nokia Technologies Oy Method and apparatus for processing a video frame in a video file
US20180082404A1 (en) * 2016-09-20 2018-03-22 Gopro, Inc. Apparatus and methods for video image post-processing for segmentation-based interpolation
CN107948514A (zh) * 2017-11-30 2018-04-20 广东欧珀移动通信有限公司 图像虚化处理方法、装置及移动设备
CN110458218A (zh) * 2019-07-31 2019-11-15 北京市商汤科技开发有限公司 图像分类方法及装置、分类网络训练方法及装置
CN111629262A (zh) * 2020-05-08 2020-09-04 Oppo广东移动通信有限公司 视频图像处理方法和装置、电子设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150348276A1 (en) * 2014-05-27 2015-12-03 Nokia Technologies Oy Method and apparatus for processing a video frame in a video file
US20180082404A1 (en) * 2016-09-20 2018-03-22 Gopro, Inc. Apparatus and methods for video image post-processing for segmentation-based interpolation
CN107948514A (zh) * 2017-11-30 2018-04-20 广东欧珀移动通信有限公司 图像虚化处理方法、装置及移动设备
CN110458218A (zh) * 2019-07-31 2019-11-15 北京市商汤科技开发有限公司 图像分类方法及装置、分类网络训练方法及装置
CN111629262A (zh) * 2020-05-08 2020-09-04 Oppo广东移动通信有限公司 视频图像处理方法和装置、电子设备及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114387577A (zh) * 2021-06-09 2022-04-22 深圳市速腾聚创科技有限公司 数据处理方法、装置及存储介质
CN113963000A (zh) * 2021-10-21 2022-01-21 北京字节跳动网络技术有限公司 图像分割方法、装置、电子设备及程序产品
CN113963000B (zh) * 2021-10-21 2024-03-15 抖音视界有限公司 图像分割方法、装置、电子设备及程序产品

Also Published As

Publication number Publication date
CN112258527B (zh) 2024-07-16

Similar Documents

Publication Publication Date Title
Lim et al. DSLR: Deep stacked Laplacian restorer for low-light image enhancement
EP4198875A1 (en) Image fusion method, and training method and apparatus for image fusion model
CN111629262B (zh) 视频图像处理方法和装置、电子设备及存储介质
CN113034358B (zh) 一种超分辨率图像处理方法以及相关装置
CN108765425B (zh) 图像分割方法、装置、计算机设备和存储介质
CN111192292A (zh) 基于注意力机制与孪生网络的目标跟踪方法及相关设备
CN112258527A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
Wu et al. FW-GAN: Underwater image enhancement using generative adversarial network with multi-scale fusion
CN112991227A (zh) 基于U-net++网络的弱光图像增强方法和装置
CN112950497A (zh) 图像处理方法、装置、电子设备及存储介质
Ma et al. RetinexGAN: Unsupervised low-light enhancement with two-layer convolutional decomposition networks
CN115131229A (zh) 图像降噪、滤波数据处理方法、装置和计算机设备
CN115471413A (zh) 图像处理方法及装置、计算机可读存储介质和电子设备
US11948245B2 (en) Relighting images and video using learned lighting and geometry
CN116263942A (zh) 一种调整图像对比度的方法、存储介质及计算机程序产品
CN113592965B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN111369478A (zh) 人脸图像增强方法、装置、计算机设备和存储介质
CN107909551A (zh) 图像处理方法、装置、计算机装置及计算机可读存储介质
Gao et al. Real-time image enhancement with attention aggregation
Tian et al. Deformable convolutional network constrained by contrastive learning for underwater image enhancement
CN117911370A (zh) 一种皮肤图像质量评估方法、装置、电子设备及存储介质
CN113674232A (zh) 图像噪声预估方法、装置、电子设备和存储介质
Peng et al. MND-GAN: A research on image deblurring algorithm based on generative adversarial network
CN115830362A (zh) 图像处理方法、装置、设备、介质及产品
CN111754412A (zh) 构建数据对的方法、装置及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant