CN117409449A - 图像处理方法、装置、电子设备以及存储介质 - Google Patents

图像处理方法、装置、电子设备以及存储介质 Download PDF

Info

Publication number
CN117409449A
CN117409449A CN202210788135.3A CN202210788135A CN117409449A CN 117409449 A CN117409449 A CN 117409449A CN 202210788135 A CN202210788135 A CN 202210788135A CN 117409449 A CN117409449 A CN 117409449A
Authority
CN
China
Prior art keywords
image
candidate
region
subject
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210788135.3A
Other languages
English (en)
Inventor
徐晶
彭昊
李鹏
李国盛
汪轩然
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Mobile Software Co Ltd
Original Assignee
Beijing Xiaomi Mobile Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Mobile Software Co Ltd filed Critical Beijing Xiaomi Mobile Software Co Ltd
Priority to CN202210788135.3A priority Critical patent/CN117409449A/zh
Publication of CN117409449A publication Critical patent/CN117409449A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及图像处理技术领域,具体提供了一种图像处理方法、装置、电子设备以及存储介质。一种图像处理方法,包括:基于待处理图像的显著度,从所述待处理图像中确定至少一个候选主体区域;从所述至少一个候选主体区域中确定得到目标主体;基于预设处理算法对所述目标主体和/或非主体区域进行处理,得到目标图像。本公开实施方式,基于显著度确定候选主体区域,在保证目标主体检测精度的同时,提高图像处理效率,并且从候选主体区域中确定得到目标主体,提高成像质量,提高拍照或者视频录制的效率和效果。

Description

图像处理方法、装置、电子设备以及存储介质
技术领域
本公开涉及图像处理技术领域,具体涉及一种图像处理方法、装置、电子设备以及存储介质。
背景技术
随着电子设备的影像系统的发展,人们对利用电子设备拍照或者摄像的功能要求也越来越高。在一些拍摄场景中,人们只关注于被拍摄的目标主体,背景区域是不重要的,因此,往往期望于得到的图像中弱化背景区域的图像信息,突出目标主体。
相关技术中,针对目标主体的图像或者视频拍摄效果不佳,难以满足使用需求。
发明内容
为提高图像处理效果,本公开实施方式提供了一种图像处理方法、装置、电子设备以及存储介质。
第一方面,本公开实施方式提供了一种图像处理方法,包括:
基于待处理图像的显著度,从所述待处理图像中确定至少一个候选主体区域;
从所述至少一个候选主体区域中确定得到目标主体;
基于预设处理算法对所述目标主体和/或非主体区域进行处理,得到目标图像;所述非主体区域是所述待处理图像中除所述目标主体之外的区域。
在一些实施方式中,所述基于待处理图像的显著度,从所述待处理图像中确定至少一个候选主体区域,包括:
根据所述待处理图像,得到所述待处理图像对应的显著度矩阵;所述显著度矩阵中的每个元素表示所述待处理图像中对应位置的像素的显著度值;
根据所述显著度矩阵中每个元素的显著度值,确定至少一个显著区域;
将所述至少一个显著区域所对应的待处理图像的图像区域,确定为所述候选主体区域。
在一些实施方式中,所述根据所述待处理图像,得到所述待处理图像对应的显著度矩阵,包括:
对所述待处理图像进行特征提取,得到所述待处理图像对应的特征图;
根据所述特征图进行显著度预测,得到所述待处理图像对应的所述显著度矩阵。
在一些实施方式中,所述根据所述显著度矩阵中每个元素的显著度值,确定至少一个显著区域,包括:
对于任意一个元素,响应于所述元素的显著度值不小于预设显著度阈值,将所述元素确定为候选元素;
根据各个所述候选元素,确定得到所述至少一个显著区域。
在一些实施方式中,所述根据所述显著度矩阵中每个元素的显著度值,确定至少一个显著区域,包括:
根据所述显著度矩阵中每个元素的显著度值由高到低进行排序,得到显著度排序列表;
将所述显著度排序列表中前预设数量的元素,确定为候选元素;
根据各个所述候选元素,确定得到所述至少一个显著区域。
在一些实施方式中,所述根据所述显著度矩阵中每个元素的显著度值,确定至少一个显著区域,包括:
以预设矩形框对所述显著度矩阵进行划分,得到多个矩阵单元;所述矩阵单元中至少包括两个元素;
对于每个矩阵单元,根据包括的各个元素的显著度值,确定候选矩阵单元;
根据各个所述候选矩阵单元,确定得到所述至少一个显著区域。
在一些实施方式中,所述将所述至少一个显著区域所对应的待处理图像的图像区域,确定为所述候选主体区域,包括:
对于每个显著区域,响应于该显著区域包括的元素数量不小于预设数量阈值,将所述显著区域所对应的待处理图像的图像区域,确定为所述候选主体区域。
在一些实施方式中,所述从所述至少一个候选主体区域中确定得到目标主体,包括:
对每个所述候选主体区域进行人脸检测;
对于任意一个候选主体区域,响应于所述候选主体区域包括人脸区域,确定所述候选主体区域为第一候选区域;
响应于所述至少一个候选主体区域中仅包括一个所述第一候选区域,将所述第一候选区域确定为目标主体区域,并根据所述目标主体区域得到所述目标主体;
响应于所述至少一个候选主体区域中包括多个所述第一候选区域,根据每个第一候选区域的深度信息和/或图像位置,从多个所述第一候选区域中确定目标主体区域,并根据所述目标主体区域得到所述目标主体;
响应于所述至少一个候选主体区域中不包括所述第一候选区域,根据每个候选主体区域的深度信息和/或图像位置,从多个所述候选主体区域中确定目标主体区域,并根据所述目标主体区域得到所述目标主体。
在一些实施方式中,响应于所述至少一个候选主体区域中不包括所述第一候选区域,根据每个候选主体区域的深度信息,从多个所述候选主体区域中确定目标主体区域,包括:
响应于所述至少一个候选主体区域中不包括所述第一候选区域,根据每个候选主体区域的深度信息,确定深度信息最小的候选主体区域为第二候选区域;
响应于所述第二候选区域的深度信息不位于电子设备当前的对焦景深范围内,将深度信息次小的候选主体区域确定为所述第二候选区域,直至所述第二候选区域的深度信息位于所述对焦景深范围内;
响应于所述第二候选区域的深度信息位于电子设备当前的对焦景深范围内,确定所述第二候选区域为所述目标主体区域。
在一些实施方式中,所述从所述至少一个候选主体区域中确定得到目标主体,包括:
从所述至少一个候选主体区域中确定得到目标主体区域;
基于图像分割算法对所述目标主体区域进行图像分割,或者,基于所述待处理图像的深度地图对所述目标主体区域进行处理,得到所述目标主体区域包括的所述目标主体。
在一些实施方式中,所述从所述至少一个候选主体区域中确定得到目标主体,包括:
获取用户操作指令,根据所述用户操作指令从所述至少一个候选主体区域中确定所述目标主体;所述用户操作指令是根据用户在电子设备的显示屏上的控制操作生成的指令。
在一些实施方式中,所述待处理图像为视频流序列中的帧图像;在所述基于待处理图像的显著度,从所述待处理图像中确定至少一个候选主体区域之前,所述方法还包括:
获取视频流序列,将所述视频流序列中的每一帧图像确定为所述待处理图像,或者,将所述视频流序列中间隔预设数量帧的图像确定为所述待处理图像。
在一些实施方式中,本公开所述的方法,还包括:
在将所述视频流序列中间隔预设数量帧的图像确定为所述待处理图像的情况下,响应于检测到当前帧图像发生图像变化,将所述当前帧图像确定为所述待处理图像。
在一些实施方式中,所述基于预设处理算法对所述目标主体和/或非主体区域进行处理的过程,包括以下中至少之一:
对所述非主体区域进行虚化处理;
对所述目标主体进行美颜处理;
对所述目标主体和/或所述非主体区域进行去畸变处理;
对所述目标主体和/或所述非主体区域进行色彩处理;
对所述目标主体和/或所述非主体区域进行亮度处理。
在一些实施方式中,在基于预设处理算法对所述目标主体和/或非主体区域进行处理,得到目标图像之后,所述方法还包括:
在电子设备的显示屏上输出显示所述目标图像;
和/或,
将所述待处理图像、所述至少一个候选主体区域、所述目标主体以及所述目标图像按照目标格式压缩并存储。
第二方面,本公开实施方式提供了一种图像处理装置,包括:
候选确定模块,被配置为基于待处理图像的显著度,从所述待处理图像中确定至少一个候选主体区域;
目标主体模块,被配置为从所述至少一个候选主体区域中确定得到目标主体;
图像处理模块,被配置为基于预设处理算法对所述目标主体和/或非主体区域进行处理,得到目标图像;所述非主体区域是所述待处理图像中除所述目标主体之外的区域。
在一些实施方式中,所述候选确定模块被配置为:
根据所述待处理图像,得到所述待处理图像对应的显著度矩阵;所述显著度矩阵中的每个元素表示所述待处理图像中对应位置的像素的显著度值;
根据所述显著度矩阵中每个元素的显著度值,确定至少一个显著区域;
将所述至少一个显著区域所对应的待处理图像的图像区域,确定为所述候选主体区域。
在一些实施方式中,所述候选确定模块被配置为:
对所述待处理图像进行特征提取,得到所述待处理图像对应的特征图;
根据所述特征图进行显著度预测,得到所述待处理图像对应的所述显著度矩阵。
在一些实施方式中,所述候选确定模块被配置为:
对于任意一个元素,响应于所述元素的显著度值不小于预设显著度阈值,将所述元素确定为候选元素;
根据各个所述候选元素,确定得到所述至少一个显著区域。
在一些实施方式中,所述候选确定模块被配置为:
根据所述显著度矩阵中每个元素的显著度值由高到低进行排序,得到显著度排序列表;
将所述显著度排序列表中前预设数量的元素,确定为候选元素;
根据各个所述候选元素,确定得到所述至少一个显著区域。
在一些实施方式中,所述候选确定模块被配置为:
以预设矩形框对所述显著度矩阵进行划分,得到多个矩阵单元;所述矩阵单元中至少包括两个元素;
对于每个矩阵单元,根据包括的各个元素的显著度值,确定候选矩阵单元;
根据各个所述候选矩阵单元,确定得到所述至少一个显著区域。
在一些实施方式中,所述候选确定模块被配置为:
对于每个显著区域,响应于该显著区域包括的元素数量不小于预设数量阈值,将所述显著区域所对应的待处理图像的图像区域,确定为所述候选主体区域。
在一些实施方式中,所述目标主体模块被配置为:
对每个所述候选主体区域进行人脸检测;
对于任意一个候选主体区域,响应于所述候选主体区域包括人脸区域,确定所述候选主体区域为第一候选区域;
响应于所述至少一个候选主体区域中仅包括一个所述第一候选区域,将所述第一候选区域确定为目标主体区域,并根据所述目标主体区域得到所述目标主体;
响应于所述至少一个候选主体区域中包括多个所述第一候选区域,根据每个第一候选区域的深度信息和/或图像位置,从多个所述第一候选区域中确定目标主体区域,并根据所述目标主体区域得到所述目标主体;
响应于所述至少一个候选主体区域中不包括所述第一候选区域,根据每个候选主体区域的深度信息和/或图像位置,从多个所述候选主体区域中确定目标主体区域,并根据所述目标主体区域得到所述目标主体。
在一些实施方式中,所述目标主体模块被配置为:
响应于所述至少一个候选主体区域中不包括所述第一候选区域,根据每个候选主体区域的深度信息,确定深度信息最小的候选主体区域为第二候选区域;
响应于所述第二候选区域的深度信息不位于电子设备当前的对焦景深范围内,将深度信息次小的候选主体区域确定为所述第二候选区域;
响应于所述第二候选区域的深度信息位于电子设备当前的对焦景深范围内,确定所述第二候选区域为所述目标主体区域。
在一些实施方式中,所述目标主体模块被配置为:
根据每个候选主体区域的图像特征信息,从所述至少一个候选主体区域中确定得到目标主体区域;
基于图像分割算法对所述目标主体区域进行图像分割,或者,基于所述待处理图像的深度地图对所述目标主体区域进行处理,得到所述目标主体区域包括的所述目标主体。
在一些实施方式中,所述目标主体模块被配置为:
获取用户操作指令,根据所述用户操作指令从所述至少一个候选主体区域中确定所述目标主体;所述用户操作指令是根据用户在电子设备的显示屏上的控制操作生成的指令。
在一些实施方式中,所述待处理图像为视频流序列中的帧图像,所述装置还包括:
帧图像确定模块,被配置为获取视频流序列,将所述视频流序列中的每一帧图像确定为所述待处理图像,或者,将所述视频流序列中间隔预设数量帧的图像确定为所述待处理图像。
在一些实施方式中,所述帧图像确定模块,被配置为:
在将所述视频流序列中间隔预设数量帧的图像确定为所述待处理图像的情况下,响应于检测到当前帧图像发生图像变化,将所述当前帧图像确定为所述待处理图像。
在一些实施方式中,所述图像处理模块被配置为以下中至少之一:
对所述非主体区域进行虚化处理;
对所述目标主体进行美颜处理;
对所述目标主体和/或所述非主体区域进行去畸变处理;
对所述目标主体和/或所述非主体区域进行色彩处理;
对所述目标主体和/或所述非主体区域进行亮度处理。
在一些实施方式中,本公开所述的装置还包括:
显示模块,被配置为在电子设备的显示屏上输出显示所述目标图像;
存储模块,被配置为将所述待处理图像、所述至少一个候选主体区域、所述目标主体以及所述目标图像按照目标格式压缩并存储。
第三方面,本公开实施方式提供了一种电子设备,包括:
处理器;和
存储器,存储有计算机指令,所述计算机指令用于使处理器执行根据第一方面任意实施方式所述的方法。
第四方面,本公开实施方式提供了一种存储介质,存储有计算机指令,所述计算机指令用于使计算机执行根据第一方面任意实施方式所述的方法。
本公开实施方式的图像处理方法,包括基于待处理图像的显著度从待处理图像中确定至少一个候选主体区域,从至少一个候选主体区域中确定目标主体,基于预设处理算法对目标主体和/或非主体区域进行处理得到目标图像。本公开实施方式中,基于图像特征信息从待处理图像包括的候选主体区域中确定目标主体,无需用户手动选择拍摄主体,提高拍照或者视频录制的效率和效果。而且,基于待处理图像的显著度确定待处理图像中包括的各个候选主体区域,可以从待处理图像中准确分割出显著度较高的图像区域,而无需关心显著度较低的图像区域中存在的目标对象,在保证目标主体检测精度的同时,提高图像处理效率。另外,可以基于目标主体和非主体区域分别进行不同的图像处理,提高成像质量。
附图说明
为了更清楚地说明本公开具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本公开的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据本公开一些实施方式中图像处理方法的流程图。
图2是根据本公开一些实施方式中图像处理方法的流程图。
图3是根据本公开一些实施方式中图像处理方法的原理图。
图4是根据本公开一些实施方式中图像处理方法的流程图。
图5是根据本公开一些实施方式中图像处理方法的流程图。
图6是根据本公开一些实施方式中图像处理方法的流程图。
图7是根据本公开一些实施方式中图像处理方法的原理图。
图8是根据本公开一些实施方式中图像处理方法的流程图。
图9是根据本公开一些实施方式中图像处理方法的流程图。
图10是根据本公开一些实施方式中图像处理方法的流程图。
图11是根据本公开一些实施方式中图像处理方法的流程图。
图12是根据本公开一些实施方式中图像处理装置的结构框图。
图13是根据本公开一些实施方式中电子设备的结构框图。
具体实施方式
下面将结合附图对本公开的技术方案进行清楚、完整地描述,显然,所描述的实施方式是本公开一部分实施方式,而不是全部的实施方式。基于本公开中的实施方式,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式,都属于本公开保护的范围。此外,下面所描述的本公开不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
随着电子设备影像技术的发展,人们对于移动终端拍照和视频录制的要求也越来越高,期望于通过移动终端可以随手拍出专业相机的成像效果。例如在一些拍摄场景中,用户期望于仅突出被拍摄主体,对于不重要的背景信息进行模糊虚化,从而使得图像呈现出被拍摄主体清晰、背景模糊的虚化效果。
相关技术中,一般是通过由用户在预览界面手动选择拍摄主体,然后将被拍摄主体作为对焦平面,依据景深信息识别背景区域和目标主体区域,对背景区域进行虚化处理。但是,用户手动点击操作繁琐,而且在视频录制场景中,在画面变化导致丢失焦点之后,还需要用户再次点击目标手动完成对焦,操作更为繁琐,而且频繁丢焦、对焦导致录制视频效果很差,用户手动对焦也容易造成画面抖动,严重时导致录制视频完全不可用。
为实现拍摄主体的准确识别,部分相关技术中,利用红外传感器来捕捉拍摄者眼球信息,其认为拍摄者视线位置即为拍摄者感兴趣的目标主体。这种方式需要额外增加捕捉人眼的红外传感器等硬件结构,导致成本和设备体积增高,对于手机等紧凑型设备难以适用。另外,容易受环境中红外线成分干扰,导致识别精度较差,最终成像效果不佳。
基于上述相关技术中存在的缺陷,本公开实施方式提供了一种图像处理方法、装置、电子设备以及存储介质,旨在准确识别拍摄图像中的目标主体,对目标主体和背景区域分别进行图像处理,提高成像质量。
第一方面,本公开实施方式提供了一种图像处理方法,该方法可应用于电子设备。本公开所述的电子设备可以是任何适于实施的设备类型,例如智能手机、平板电脑、可穿戴设备等,本公开对此不作限制。
如图1所示,在一些实施方式中,本公开示例的图像处理方法,包括:
S110、基于待处理图像的显著度,从待处理图像中确定至少一个候选主体区域。
本公开实施方式中,待处理图像是指需要通过本公开方法进行处理的图像。待处理图像可以是通过电子设备的相机模组采集的图像,也可以是电子设备接收的其他设备发送的图像。例如一个示例中,待处理图像可以是智能手机通过相机模组实时采集到的场景图像。例如另一个示例中,待处理图像可以是智能手机接收的其他设备发送的图像。本公开对此不作限制。
本公开实施方式中,待处理图像可以是相机模组采集的单张图像,也可以是相机模组采集的视频流序列中的帧图像。以智能手机为例,在一个示例中,用户可以通过智能手机的相机拍摄一张场景图像,该场景图像即可作为本公开所述的待处理图像。在另一个示例中,用户可以通过智能手机的相机拍摄视频,视频对应的视频流序列包括多帧连续图像,从而待处理图像即可以是视频流序列中任意一帧图像。本公开对此不作限制。
本公开实施方式中,待处理图像可以是拍摄自然场景得到的图像,从而待处理图像中包括一个或者多个目标对象。目标对象可以是任何可以被识别且区别于背景的对象类型,例如人体、动物、物品等,本公开对于目标对象的具体类型不作限制。
本公开实施方式中,通过对待处理图像进行处理,可以得到待处理图像上包括的每个目标对象的图像区域,定义这些图像区域为候选主体区域。可以理解,待处理图像中可能包括一个目标对象,也可能包括多个目标对象,从而处理得到的候选主体区域可能是一个,也可能是多个;而且一个候选主体区域可能仅包括一个目标对象,也可能同时包括多个目标对象。
例如一个示例中,待处理图像以人像场景为例,待处理图像中仅包括一个人物,其余图像区域均为不构成完整对象的背景。从而在S110中对待处理图像处理之后,即可得到人物区域对应的一个候选主体区域。
例如另一个示例中,待处理图像为人流场景,待处理图像中包括很多个人物,从而在S110中对待处理图像处理之后,即可得到每个人物区域对应的一个候选主体区域,也即,共得到多个候选主体区域。
例如又一个示例中,待处理图像为两个人合影场景,其余图像区域均为不构成完整对象的背景。在两个人体存在互相遮挡的情况下,两个人体即可能对应同一个候选主体区域,也即,一个候选主体区域中包括多个目标对象。
上述示例场景,仅作为本公开实施方式场景的示例性说明,本领域技术人员的对此可以理解,本公开不再一一枚举。
本公开实施方式中,可以基于待处理图像的显著度,从待处理图像中确定得到候选主体区域。待处理图像的显著度,是指反映待处理图像中每个像素显著度的矩阵图,每个像素的显著度可以理解为该像素的重要程度,像素对应的显著度值越高,说明该像素的重要程度越高,其属于目标主体区域的可能性越大。
在一些实施方式中,可以基于待处理图像的显著度矩阵,从显著度矩阵中得到若干显著区域,每个显著区域映射至待处理图像中即为候选主体区域,本公开下文实施方式进行说明,在此暂不详述。
S120、从至少一个候选主体区域中确定得到目标主体。
可以理解,在待处理图像包括多个候选主体区域的情况下,用户期望突出呈现的往往只是一个目标主体。例如人像场景中,被拍摄人体A位于前景,但是背景部分还包括人体B、人体C和人体D,这些人体区域均会被识别为候选主体区域,而对于用户而言,所期望突出的只有人体A,其余人体B、C和D均为背景,需要模糊虚化处理。因此,本公开实施方式中,即需要从得到的候选主体区域中确定目标主体。
在一些实施方式中,可以基于每个候选主体区域的图像特征信息,从候选主体区域中确定得到目标主体。候选主体区域的图像特征信息是指能够反映候选主体区域为目标主体区域概率高低的图像特征,例如可包括显著度特征信息、人脸特征信息、深度特征信息以及位置特征信息中的一种或多种。本公开下文实施方式中分别进行说明,在此暂不详述。
值得说明的是,目标主体区域是指从多个候选主体区域中确定得到的一个候选主体区域。候选主体区域可以理解为对待处理图像进行粗分割得到的图像区域,因此在一些实施方式中,在确定目标主体区域之后,为准确对目标主体区域中包括的目标主体进行抠图,可以进一步采用图像分割算法或者景深分割算法对目标主体区域进行精细化的图像分割,得到具有精细轮廓的目标主体。本公开下文实施方式进行说明,在此暂不详述。
S130、基于预设处理算法对目标主体和/或非主体区域进行处理,得到目标图像。
可以理解,基于前述过程可以从待处理图像中得到目标主体,目标主体可以理解为需要突出呈现的图像区域,因而目标主体之外的其他图像区域,即可定义为非主体区域。也即,目标主体和非主体区域共同组成完整的待处理图像。
本公开实施方式中,在得到待处理图像包括的目标主体和非主体区域之后,即可基于预设处理算法对目标主体和/或非主体区域进行相应的图像处理操作,从而得到目标图像。
预设处理算法可以是根据摄像环境、目标主体类型、用户选择等一种或多种影响因素预先设置的多种算法,从而在不同的情况下,可以选择不同的处理算法对目标主体和/或非主体区域进行图像处理。
例如一个示例中,在目标主体的类型为人体时,预设处理算法可以是:对目标主体不进行虚化处理,对非主体区域进行虚化处理。当然,虚化处理算法也可以包括多种不同的虚化算法,从而实现不同的虚化效果,本公开下文实施方式进行具体说明。
例如另一个示例中,在目标主体的类型为人体/人脸时,预设处理算法可以是:对目标主体进行美颜处理,对非主体区域进行虚化处理。当然,美颜处理算法也可以包括多种不同的美颜算法,从而实现不同的美颜效果,本公开下文实施方式进行具体说明。
例如又一个示例中,在用户选择显示屏上的“黑白艺术”功能时,预设处理算法可以是:保留目标主体色彩,将非主体区域的色彩转换为黑白;或者,将目标主体的色彩转换为黑白,保留非主体区域的色彩。
例如再一个示例中,在当前摄影环境为逆光拍摄时,预设处理算法可以是:对目标主体的亮度进行提亮,非主体区域不进行提亮处理。当然,逆光处理算法也可以是其他处理方式,本公开下文实施方式进行说明。
总而言之,本公开实施方式中,在得到待处理图像包括的目标主体和非主体区域之后,可以采用任意的处理算法对目标主体和/或非主体区域进行相应的处理,并不局限于上述示例。从而,可以得到具有相应效果的处理图像,也即本公开所述的目标图像。
通过上述可知,本公开实施方式中,基于图像特征信息从待处理图像包括的候选主体区域中确定目标主体,无需用户手动选择拍摄主体,提高拍照或者视频录制的效率和效果。而且,基于待处理图像的显著度确定待处理图像中包括的各个候选主体区域,可以从待处理图像中准确分割出显著度较高的图像区域,而无需关心显著度较低的图像区域中存在的目标对象,在保证目标主体检测精度的同时,提高图像处理效率。另外,可以基于目标主体和非主体区域分别进行不同的图像处理,提高成像质量。
如图2所示,在一些实施方式中,本公开示例的图像处理方法,对待处理图像进行处理,得到候选主体区域的过程,包括:
S210、根据待处理图像,得到待处理图像对应的显著度矩阵。
本公开实施方式中,显著度矩阵是指反映待处理图像中每个像素显著度的矩阵图,每个像素的显著度可以理解为该像素的重要程度,像素对应的显著度值越高,说明该像素的重要程度越高,其属于目标主体区域的可能性越大。
例如图3示出了待处理图像对应的显著度矩阵,显著度矩阵的尺度与待处理图像的分辨率相同,从而,显著度矩阵中的每个元素均可以对应到待处理图像上相同位置的像素点。例如一个示例中,待处理图像的分辨率为1920像素*1080像素,根据待处理图像得到的显著度矩阵也为1920*1080大小,从而显著度矩阵中的每个元素均与待处理图像中的像素点相对应。
参见图3所示,显著度矩阵中的每个元素的显著度值,表示的是对应像素的显著程度,也即该像素属于目标主体区域的可能性高低。本公开示例中,可以将所有元素的显著度值约束在[0,1]范围内,降低计算量。从而,若某个像素的显著度值越靠近1,表示该像素属于目标主体区域的可能性越大;反之,若某个像素的显著度值越靠近0,则表示该像素属于目标主体区域的可能性越小。
基于前述可以理解,显著度矩阵反映的是待处理图像上每个像素的显著程度,从而,在一些实施方式中,在根据待处理图像得到对应的显著度矩阵时,可以充分结合可能影响像素显著度的因素,计算得到每个像素对应的显著度值,从而得到待处理图像对应的显著度矩阵。
例如,像素的亮度值越高表示该像素的显著程度越高,像素越靠近图像中心表示该像素的显著程度越高,从而可以基于像素的亮度值、像素坐标等信息设置对应的像素权重,基于像素权重分别计算得到每个像素对应的显著度值,从而得到待处理图像对应的显著度矩阵。本领域技术人员对此可以理解并充分实现,本公开对此不再赘述。
在另一些实施方式中,可以采用基于深度神经网络(DNN,Deep Neural Networks)的显著度检测网络,基于待处理图像预测得到各个像素的显著度值,从而得到待处理图像对应的显著度矩阵。
显著度检测网络可以是任何适于实施的神经网络模型,例如基于RCNN(Regionproposals Convolutional Neural Network,区域卷积神经网络)、Faster RCNN等网络架构的神经网络模型。
可以将待处理图像输入预先训练的显著度检测网络中,显著度检测网络包括的多个卷积层即可依次对待处理图像进行纹理和语义特征提取,得到待处理图像的特征图,然后全连接层基于特征图预测得到待处理图像中每个像素对应的显著度值,从而得到显著度矩阵。在一个示例中,待处理图像对应的显著度矩阵可以如图3所示。
值得说明的是,显著度矩阵的尺度可以与待处理图像的分辨率尺度相同,例如待处理图像的分辨率为1920像素*1080像素,对应的显著度矩阵同样为1920*1080大小,这样每个像素均对应一个显著度值,但是,由于需要计算每个像素的显著度值,运算量很大。
因此,在另一些实施方式中,显著度矩阵的尺度也可以与待处理图像的分辨率尺度不同。例如待处理图像的分辨率为1920像素*1080像素,对应的显著度矩阵尺度为960*540,也即显著度矩阵尺度为待处理图像的1/4,也即,每2*2个像素块对应一个显著度值,这样,运算量可以减少为原本的1/4。本领域技术人员对此可以理解并充分实现,本公开对此不再赘述。
S220、根据显著度矩阵中每个元素的显著度值,确定至少一个显著区域。
可以理解,本公开实施方式中,显著度矩阵可以反映待处理图像中每个像素的显著程度,从而在得到待处理图像的显著度矩阵之后,可以根据显著度矩阵中每个元素对应的显著度值,从显著度矩阵中确定得到至少一个显著区域。
显著区域可以理解为显著度矩阵中,显著度值较高的元素所组成的区域,显著区域映射至待处理图像上,即为本公开实施方式所述的候选主体区域。
如图4所示,在一些实施方式中,本公开示例的图像处理方法,根据显著度矩阵确定显著区域的过程包括:
S221-1、对于任意一个元素,响应于元素的显著度值不小于预设显著度阈值,将该元素确定为候选元素。
S221-2、根据各个候选元素,确定得到至少一个显著区域。
可以理解,显著度矩阵的每个元素表示所对应像素的显著度值,从而,可以预先设置预设显著度阈值,预设显著度阈值表示某个像素属于候选主体区域的临界值。
在一些实施方式中,当显著度矩阵中某个元素的显著度值不小于预设显著度阈值,表示该元素对应的像素属于候选主体区域,从而可以将该元素确定为候选元素。
在另一些实施方式中,当显著度矩阵中某个元素的显著度值小于预设显著度阈值,表示该元素对应的像素不属于候选主体区域,从而可以将该元素不作为候选元素。
本公开实施方式中,预设显著度阈值的具体取值可以根据应用场景进行选取,本公开并不作具体限制。例如图3示例中,预设显著度阈值可以设置为0.7,从而显著度矩阵中,显著度值大于或等于0.7的元素均为候选元素。
所有候选元素组成的区域,即可以作为本公开所述的显著区域,例如图7所示,根据图3所示的显著度矩阵确定得到的显著区域,即可为图7中的虚线区域。
如图5所示,在一些实施方式中,本公开示例的图像处理方法,根据显著度矩阵确定显著区域的过程包括:
S222-1、根据显著度矩阵中每个元素的显著度值由高到低进行排序,得到显著度排序列表。
S222-2、将显著度排序列表中前预设数量的元素,确定为候选元素。
S222-3、根据各个候选元素,确定得到至少一个显著区域。
本公开实施方式中,在得到显著度矩阵之后,可以将显著度矩阵包括的全部元素的显著度值,由高到低进行排序,从而可以得到显著度排序列表。
可以理解,显著度排序列表是基于各个元素的显著度值排序得到,而每个元素的显著度值表示该元素的重要程度,从而显著度排序列表中,越靠前的元素重要程度也越高,越靠后的元素重要程度越低。
因此,在一些实施方式中,可以将显著度排序列表中排序靠前的预设数量的元素确定为候选元素。例如一个示例中,可以将显著度排序列表中前30%的元素确定为候选元素。
所有候选元素组成的区域,即可以作为本公开所述的显著区域,例如图7所示,根据图3所示的显著度矩阵确定得到的显著区域,即可为图7中的虚线区域。
如图6所示,在一些实施方式中,本公开示例的图像处理方法,根据显著度矩阵确定显著区域的过程包括:
S223-1、以预设矩形框对显著度矩阵进行划分,得到多个矩阵单元。
S223-2、对于每个矩阵单元,根据包括的各个元素的显著度值,确定候选矩阵单元。
S223-3、根据各个候选矩阵单元,确定得到至少一个显著区域。
结合图3所示可知,待处理图像对应的显著度矩阵为包括m*n个元素的矩阵,本公开一些实施方式中,可以按照预设大小的矩形框范围将显著度矩阵划分为多个矩阵单元。
例如一个示例中,预设矩形框的尺度为4*4大小,从而将显著度矩阵依次划分为若干个4*4大小的矩阵单元,每个矩阵单元中即共包括4*4=16个元素。例如显著度矩阵尺度为1920*1080,经过预设矩形框划分之后,即可得到共480*270个矩阵单元,每个矩阵单元中共包括4*4=16个元素。
当然,本领域技术人员可以理解,预设矩形框的尺度并不局限于上述示例的4*4,还可以是其他任何适于实施的尺度大小,例如2*2、8*8等,本公开对此不作限制。
在对显著度矩阵进行划分之后,需要分别计算得到每个矩阵单元所对应的显著度值。
例如一个示例中,以一个矩阵单元为例,该矩阵单元共包括4*4=16个元素,从而可以计算得到16个元素的显著度值的总和,将所有元素的显著度值的总和,作为该矩阵单元的显著度值。
例如另一个示例中,以一个矩阵单元为例,该矩阵单元共包括4*4=16个元素,从而可以计算得到16个元素的显著度值的平均值,将所有元素的显著度值的平均值,作为该矩阵单元的显著度值。
通过上述任一示例方法得到每个矩阵单元的显著度值之后,即可根据各个矩阵单元的显著度值,从所有矩阵单元中确定候选矩阵单元。其方法同样可以是,选择显著度值排序靠前的预设数量的矩阵单元作为候选矩阵单元,或者选择显著度值不小于预设阈值的矩阵单元作为候选矩阵单元,等。本领域技术人员对此毫无疑问可以理解并充分实施,本公开在此不再赘述。
在确定得到候选矩阵单元之后,即可将所有候选矩阵单元对应的区域作为显著区域,例如图7所示,根据图3所示的显著度矩阵确定得到的显著区域,即可为图7中的虚线区域。
通过上述可知,本公开实施方式中,通过对显著度矩阵以预设矩形框尺度进行划分,无需逐像素对显著度值进行对比判断,可以减小计算量,提高处理效率。
S230、将至少一个显著区域所对应的待处理图像的图像区域,确定为候选主体区域。
本公开实施方式中,在得到一个或多个显著区域之后,即可将每个显著区域所对应的待处理图像上的图像区域作为候选主体区域。
例如图7示例中,基于显著度矩阵得到如图所示的两个显著区域,从而将两个显著区域映射到待处理图像上,得到每个显著区域对应至待处理图像上的图像区域,将两个图像区域确定为本公开所述的候选主体区域。
通过上述可知,本公开实施方式中,基于显著度矩阵确定待处理图像中包括的各个候选主体区域,可以从待处理图像中准确分割出显著度较高的图像区域,而无需关心显著度较低的图像区域中存在的目标对象,在保证目标主体检测精度的同时,提高图像处理效率。
值得说明的是,通过前述过程得到的多个显著区域,可能会出现显著区域所包括的元素数量很少的情况,极端情况甚至出现某个显著区域仅包括孤立的一个元素。基于图像处理场景可知,目标主体在待处理图像上的占比范围一般较大,因此,对于仅包括很少元素的显著区域,可以确定其不可能包括目标主体。
因此,在一些实施方式中,在得到多个显著区域之后,可以根据每个显著区域所包括的元素数量,对显著区域进行筛选,筛除掉占比较小的显著区域。
例如一个示例中,可以预设设置显著区域的元素数量不低于10*10,从而在得到多个显著区域之后,可以判断每个显著区域的元素数量是否不低于10*10,将元素数量低于10*10的显著区域进行筛除,仅将元素数量不低于10*10的显著区域对应的图像区域作为候选主体区域。
通过上述可知,本公开实施方式中,可以基于图像范围大小对候选主体区域进行筛除,一方面可以过滤掉图像范围较小的噪声,降低对图像处理过程的干扰,提高图像处理精度;另一方面可以减少候选主体区域数量,降低计算量,提高图像处理效率。
本公开实施方式中,在得到待处理图像包括的候选主体区域之后,即可从多个候选主体区域中确定得到用户所期望突出呈现的目标主体,下文实施方式将对此过程进行说明。
在一些实施方式中,同样可以基于显著度特征信息,由多个候选主体区域中确定目标主体,下面结合图8实施方式进行说明。
如图8所示,在一些实施方式中,本公开示例的图像处理方法,从而多个候选主体区域得到目标主体的过程,包括:
S810、根据待处理图像对应的显著度矩阵,得到每个候选主体区域对应的显著特征图。
本公开实施方式中,待处理图像对应的显著度矩阵参见前述即可理解,也即例如图3所示的显著度矩阵。
本公开实施方式中,在得到待处理图像包括的各个候选主体区域之后,即可将候选主体区域对应的图像区域映射到显著度矩阵中,从而得到每个候选主体区域对应的显著度矩阵中的范围,定义该范围即为候选主体区域对应的显著特征图。
可以理解,每个候选主体区域对应的显著特征图,均是显著度矩阵中的一部分区域,因此显著特征图可以理解为包括部分元素显著度值的特征图。例如一个示例中,候选主体区域对应的显著特征图即为图7中虚线所示的部分。
S820、对于任意一个候选主体区域,根据对应的显著特征图中每个元素的显著度值,确定候选主体区域的显著度参数。
本公开实施方式中,在得到每个候选主体区域对应的显著特征图之后,可以基于显著特征图中每个元素的显著度值计算得到候选主体区域的显著度参数。
以一个显著特征图为例,显著特征图中包括若干个元素,每个元素对应一个显著度值。本公开实施方式中,可以基于显著特征图包括的所有元素的显著度值,计算得到该显著特征图对应的显著度参数,该显著度参数即可反映对应的候选主体区域的显著程度。
在一些实施方式中,可以计算显著特征图包括的所有元素的显著度值的总和,将该总和值作为显著度特征图对应的显著度参数,也即对应的候选主体区域对应的显著度参数。
在另一些实施方式中,也可以计算显著特征图包括的所有元素的显著度值的平均值,将该均值作为显著度特征图对应的显著度参数,也即对应的候选主体区域对应的显著度参数。
通过上述任意方式可以计算得到每个候选主体区域对应的显著度参数,该显著度参数即可反映候选主体区域的显著程度。
S830、基于每个候选主体区域的显著度参数,从至少一个候选主体区域中确定得到目标主体。
基于前述可知,候选主体区域的显著度参数,表示的是该候选主体区域的显著程度。从而,在得到每个候选主体区域的显著度参数之后,即可根据显著度参数将显著程度最高的候选主体区域确定为目标主体区域,从而基于目标主体区域得到目标主体。
通过上述可知,本公开实施方式中,可以基于显著度矩阵从候选主体区域中得到目标主体,也即依据候选主体区域的显著程度得到目标主体,可以更为准确地识别目标主体,提高图像处理精度。
在一些实施方式中,区别于图8实施方式,可以基于人脸特征信息、深度特征信息以及位置特征信息中的一种或者多种,由多个候选主体区域中确定目标主体,下面结合图9实施方式进行说明。
如图9所示,在一些实施方式中,本公开示例的图像处理方法,从而多个候选主体区域得到目标主体的过程,包括:
S910、对每个候选主体区域进行人脸检测。
S920、对于任意一个候选主体区域,响应于候选主体区域包括人脸区域,确定候选主体区域为第一候选区域。
S930、响应于至少一个候选主体区域中仅包括一个第一候选区域,将第一候选区域确定为目标主体区域,并根据目标主体区域得到目标主体。
S940、响应于至少一个候选主体区域中包括多个第一候选区域,根据每个第一候选区域的深度信息和/或图像位置,从多个第一候选区域中确定目标主体区域,并根据目标主体区域得到目标主体。
S950、响应于至少一个候选主体区域中不包括第一候选区域,根据每个候选主体区域的深度信息和/或图像位置,从多个候选主体区域中确定目标主体区域,并根据目标主体区域得到目标主体。
可以理解,对于移动终端的拍照和视频录制场景来说,拍摄人像的场景占比极高,因此,可以将人脸和人体作为较高优先级的目标对象。因此,本公开实施方式中,在得到候选主体区域之后,可以基于人脸检测,确定候选主体区域中是否包含人脸。
本公开实施方式中,可以通过人脸检测算法,对每个候选主体区域进行人脸检测,从而确定每个候选主体区域中是否包括人脸区域。对于具体的人脸检测算法,本领域技术人员参照相关技术即可理解并实现,本公开对此无需赘述。
对各个候选主体区域进行人脸检测得到的检测结果,会包括以下三种情况:
1)仅有一个候选主体区域中包括人脸区域。
2)存在两个及两个以上的候选主体区域中包括人脸区域。
3)所有候选主体区域均不包括人脸区域。
从而,本公开实施方式中,在检测到某个候选主体区域包括人脸区域的情况下,可将该候选主体区域确定为第一候选区域。
在一些实施方式中,在所有候选主体区域中仅包括一个第一候选区域的情况下,表示所有候选主体区域中仅有一个候选主体区域检测到人脸区域,执行S930的过程。
具体而言,在S930中,考虑到人脸区域相较于其他区域具有更高的优先级,因此在仅有一个候选主体区域检测到人脸区域的情况下,可以将该候选主体区域确定为目标主体区域。也即,将唯一的第一候选区域确定为目标主体区域。
在另一些实施方式中,在所有候选主体区域中包括两个及两个以上第一候选区域的情况下,表示所有候选主体区域中有多个候选主体区域检测到人脸区域,执行S940的过程。
具体而言,在S940中,若所有候选主体区域中包括多个第一候选区域,则需要对多个第一候选区域进一步筛选判断,从而进一步从多个第一候选区域中确定目标主体区域。
在一些示例中,在候选主体区域中包括多个第一候选区域的情况下,可以获取每个第一候选区域的深度信息。
深度信息是指图像上主体到相机成像平面的景深信息,获取深度信息的方法有很多,包括但不限于单目景深算法、双目景深算法、ToF(Time of flight,飞行时间)传感器以及结构光传感器等方法,本领域技术人员对此可以理解并充分实现,本公开对此不再赘述。
可以理解,深度信息反映的是目标对象与相机之间的景深,景深越靠前的人体作为目标主体的可能性也越大。因此,本公开实施方式中,在得到每个第一候选区域的深度信息之后,可以根据深度信息,将景深最靠近相机的第一候选区域确定为目标主体区域。
在一些示例中,在候选主体区域中包括多个第一候选区域的情况下,可以获取每个第一候选区域的图像位置。
图像位置是指第一候选区域在待处理图像中的位置,可以理解,每个第一候选区域均为待处理图像上的局部图像,其对应的图像位置不同,越靠近图像中心的人体作为目标主体的可能性也越大。因此,本公开实施方式中,在得到每个第一候选区域的图像位置之后,可以计算各个第一候选区域的图像位置与图像中心的距离,将最靠近图像中心位置的第一候选区域确定为目标主体区域。
基于上述可知,在S940中,在包括多个第一候选区域的情况下,既可以基于深度信息进一步得到目标主体区域,也可以基于图像位置进一步得到目标主体区域。本领域技术人员可以理解,在一些实施方式中,还可以同时结合深度信息和图像位置,从而得到目标主体区域。
例如一个示例中,在基于深度信息对第一候选区域筛选的过程中,若存在两个第一候选区域景深相同且均最靠近相机,可以进一步结合图像位置从两者中得到目标主体区域。例如另一个示例中,在基于图像位置对第一候选区域筛选的过程中,若存在两个第一候选区域距离图像中心距离相同且最近,可以进一步结合深度信息从两者中得到目标主体区域。例如又一个示例中,也可以对深度信息和图像位置设置权重值,以加权求和的方式得到目标主体区域。本领域技术人员对此毫无疑问可以理解并充分实现,本公开对此不再赘述。
在又一些实施方式中,在所有候选主体区域中均不包括第一候选区域的情况下,表示所有候选主体区域中均未检测到人脸区域,执行S950的过程。
在一些示例中,在S950中,考虑到所有候选主体区域中均不包括人脸区域,因此,可以基于前述的深度信息和/或图像位置,确定目标主体区域。例如,基于深度信息将最靠近相机的候选主体区域作为目标主体区域;又例如,基于图像位置将最靠近图像中心的候选主体区域作为目标主体区域;在例如,基于深度信息和图像位置加权计算得到目标主体区域。本领域技术人员基于前述即可理解,本公开对此不再赘述。
但是,通过上述示例得到的目标主体区域均有可能在一些场景下出现检测不准确的现象。例如基于深度信息将最靠近相机的候选主体区域作为目标主体区域的情况下,在目标对象过于靠近相机时,可能会导致目标对象景深超出对焦景深范围,从而目标对象成像不清晰,若将不清晰的目标对象作为目标主体,显然是不准确的。
因此,本公开一些实施方式中,在候选主体区域未检测到人脸区域的情况下,可以基于各个候选主体区域的深度信息与当前对焦景深范围关系,得到目标主体区域,下面结合图10实施方式进行说明。
如图10所示,在一些实施方式中,本公开示例的图像处理方法,确定目标主体区域的过程,包括:
S951、响应于至少一个候选主体区域中不包括第一候选区域,根据每个候选主体区域的深度信息,确定深度信息最小的候选主体区域为第二候选区域。
本公开实施方式中,在所有候选主体区域中不包括第一候选区域的情况下,说明各个候选主体区域中均不包括人脸区域,从而可以获取各个候选主体区域的深度信息。获取深度信息的方法参见前述即可,本公开不再赘述。
基于前述可知,深度信息反映的是目标对象与相机之间的景深,深度信息越小,说明目标对象越靠近相机,从而该目标对象作为目标主体的可能性也越大。因此,本公开实施方式中,在得到每个候选主体区域的深度信息之后,可以将深度信息最小的候选主体区域确定为第二候选区域。
S952、响应于第二候选区域的深度信息不位于电子设备当前的对焦景深范围内,将深度信息次小的候选主体区域确定为第二候选区域。
值得说明的是,相机在成像时,对焦点附近是成像清晰的区域,而在对焦点前或者后的影像均不清晰,从而该对焦点附近的清晰成像范围,即为本公开实施方式所述的对焦景深范围。
当目标对象的深度信息位于该对焦景深范围内时,目标对象的成像应当是清晰的。而当目标对象的深度信息位于该对焦景深范围之外,例如距离相机过近或者过远的情况下,目标对象的成像应当是模糊的,从而模糊的目标对象不应当作为目标主体。
基于此,对于S951中得到的深度信息最小的第二候选区域,并非直接作为目标主体区域,这是因为第二候选区域的景深可能过于靠近相机,导致第二候选区域的深度信息位于对焦景深范围之外,此时即不可以将该第二候选区域作为目标主体区域。
因此,本公开实施方式中,将第二候选区域的深度信息与当前相机的对焦景深范围进行对比判断,若第二候选区域的深度信息不位于对焦景深范围内时,表示该第二候选区域不能作为目标主体区域,从而将深度信息次小的候选主体区域确定为第二候选区域。然后基于深度信息次小的候选主体区域的景深信息与对焦景深范围对比判断,直至第二候选区域的景深信息位于对焦景深范围内。
S953、响应于第二候选区域的深度信息位于电子设备当前的对焦景深范围内,确定第二候选区域为目标主体区域。
本公开实施方式中,当第二候选区域的深度信息位于对焦景深范围内时,说明此时的第二候选区域同时满足深度信息较小且景深信息位于对焦景深范围,从而确定当前的第二候选区域作为目标主体区域。
通过上述可知,本公开实施方式中,基于候选主体区域与对焦景深范围确定目标主体区域,避免将位于模糊区域的目标对象确定为目标主体,提高图像处理精度和效果。
值得说明的是,通过本公开上述方法过程可知,本公开一些实施方式中,首先从待处理图像中得到候选主体区域,然后基于候选主体区域从中确定目标主体区域。
得到候选主体区域可以理解为对待处理图像的粗分割,这是由于在此过程中并不关注目标对象的精细轮廓和目标类型,只需要快速从待处理图像中识别得到可能会作为目标主体的候选主体区域,抛除掉背景部分即可。
而从候选主体区域中确定目标主体区域的过程,可以理解为对待处理图像的精分割,也即,在已经粗分割出多个候选主体区域的情况下,针对候选主体区域的图像特征信息筛选出其中包括的目标主体区域。
可以理解,在精分割的过程中,由于已经粗分割得到多个候选主体区域,因此只需要针对候选主体区域的图像特征信息筛选得到目标主体区域即可,候选主体区域中的图像特征信息更加具有针对性,从而不会受到无关背景信息的干扰,可以大大提高图像处理的精度和效率。
通过上述可知,本公开实施方式中,基于粗分割得到候选主体区域和进一步精分割得到目标主体的过程,提高对待处理图像处理得到目标主体的精度和效率,进而提高图像处理的效果,缩短图像处理时间,尤其利于视频处理场景。
在一些实施方式中,在确定候选主体区域之后,也可以由用户在电子设备的显示屏上手动选择目标主体区域。例如一个示例中,用户在利用电子设备相机拍摄时,可以通过触摸、滑动、点击等操作,在显示屏的预览界面上选择期望突出呈现的目标主体区域。
从而本公开实施方式中,可以监听用户操作指令,用户操作指令是指用户在显示屏上选择目标主体区域的操作指令。在检测到用户操作指令时,根据该操作指令将用户选择的候选主体区域确定为目标主体区域。
本领域技术人员对此毫无疑问可以理解并充分实现,本公开对此不再赘述。
通过上述实施方式过程,可以得到候选主体区域中的目标主体区域。值得说明的是,在一些实施方式中,目标主体区域可以包括目标主体,也可能还包括有目标主体周围的图像信息。
例如图7所示的虚线区域,其仅是对于待处理图像进行粗分割得到的图像区域,并非目标对象的精细轮廓。因此,本公开一些实施方式中,在从候选主体区域中确定得到目标主体区域之后,还可以对目标主体区域进行图像分割,从而由目标主体区域中分割出目标主体的精细轮廓,下面结合图11实施方式进行说明。
如图11所示,在一些实施方式中,本公开示例的图像处理方法,得到目标主体的过程包括:
S1110、从至少一个候选主体区域中确定得到目标主体区域。
S1120、基于图像分割算法对目标主体区域进行图像分割,或者,基于待处理图像的深度地图对目标主体区域进行处理,得到目标主体区域包括的目标主体。
本公开实施方式中,由候选主体区域中确定得到目标主体区域的过程,本领域技术人员参照前述实施方式即可理解并充分实现,本公开对此不再赘述。
在得到目标主体区域之后,在一些实施方式中,可以基于图像分割算法对目标主体区域进行图像分割,从而可以从目标主体区域中分割出目标主体的精细轮廓,得到目标主体。本公开示例中,图像分割算法可以是任何适于实施的算法,例如基于深度神经网络的图像分割模型等,本公开对此不再赘述。
在另一些实施方式中,也可以基于深度地图(Depth Map)对目标主体区域进行图像分割。深度地图是指用来反映图像中像素深度信息的特征图,本公开实施方式中,可以基于待处理图像的深度信息,得到待处理图像对应的深度地图,深度地图中可以反映出不同深度信息的图像区域。
以目标主体区域为例,目标主体区域中的目标主体以及目标主体之外的背景区域,两者的深度信息应当是不同的,从而基于深度地图可以从目标主体区域中,将目标主体及目标主体之外的背景进行精细的轮廓分割,得到目标主体。
通过上述可知,本公开实施方式中,在得到目标主体区域之后,进一步对目标主体区域进行图像分割得到目标主体,提高目标主体的分割效果,提高成像质量。
本公开实施方式中,在得到待处理图像中包括的目标主体之后,即可对目标主体以及目标主体之外的非主体区域进行图像处理,得到处理后的目标图像。
本公开实施方式中,对目标主体和非主体区域进行图像处理的方式,可以是任何适于实施的方式,本公开对此不作限制。下面以几种拍照场景为例,对图像处理的方式分别示例性说明。
1)对非主体区域进行虚化处理。
在得到目标主体和非主体区域之后,可以仅对非主体区域进行虚化处理,无需对主体区域进行虚化处理,从而可以得到目标主体突出、背景虚化的图像效果。
例如以人像拍照场景为例,目标主体即为人像,非主体区域即为人像之外的背景区域。本示例中,可以对人像之外的背景区域进行虚化处理,从而突出前景的人像。
本公开实施方式中,对非主体区域进行虚化处理的效果也不作限制。例如一个示例中,可以对非主体区域进行统一的虚化效果。例如另一个示例中,可以基于非主体区域的图像位置,从图像中心向四周虚化程度线性或者非线性地增加。例如又一个示例中,可以基于非主体区域的深度信息,从近景至远景虚化程度线性或者非线性地增加。
对于实现虚化效果的滤波处理算法,本公开也不作限制,可以采用任何适于实施的滤波处理算法,例如高斯滤波、均值滤波等。
2)对目标主体进行美颜处理。
在目标主体为人脸或人体时,可以对目标主体进行美颜处理,从而进一步提高目标主体的成像效果,突出目标主体。美颜处理的具体处理方式本公开不作限制,例如可以包括但不限于美白、磨皮、瘦脸、瘦身等。
当然,本领域技术人员可以理解,在目标主体为人脸或人体时,可以对目标主体进行美颜处理的同时,对非主体区域进行虚化处理,本公开不再赘述。
3)对目标主体和/或非主体区域进行去畸变处理。
在一些实施方式中,在目标主体位于图像边缘的情况下,目标主体成像效果可能出现较为严重的畸变,从而可以对目标主体进行去畸变处理。去畸变算法本公开不做限制,可以是任何适于实施的去畸变算法,例如基于Mesh网格的去畸变算法。
当然,可以理解,本公开实施方式中,可以仅对目标主体进行去畸变处理,也可以仅对非主体区域进行去畸变处理,还可以同时对目标主体和非主体区域进行去畸变处理,本公开对此不作限制。
4)对目标主体和/或非主体区域进行色彩处理。
在一些实施方式中,在得到目标主体和非主体区域之后,可以对目标主体保留色彩,更改非主体区域的色彩。例如,可以将非主体区域色彩丢弃,仅保留灰度信息,从而目标图像呈现出目标主体为彩色、背景区域为黑白的效果。
在另一些实施方式中,在得到目标主体和非主体区域之后,可以更改目标主体色彩,保留非主体区域的色彩。例如,可以将目标主体色彩丢弃,仅保留灰度信息,从而目标图像呈现出目标主体为黑白、背景区域为彩色的效果。
当然,可以理解,也可以同时对目标主体和非主体区域进行不同方式的色彩处理,本公开对此不作限制。
通过对目标主体和/或非主体区域进行色彩处理,可以提高目标图像的艺术氛围,使得目标图像呈现出电影质感。
5)对目标主体和/或非主体区域进行亮度处理。
以逆光人像场景为例,在逆光场景下,人像区域往往偏暗,背景区域光线较亮。因此,本公开实施方式中,可以仅对目标主体进行亮度增加,也可以仅对非主体区域进行亮度降低,还可以既增加目标主体亮度同时降低非主体区域亮度。
在一些实施方式中,在对非主体区域进行亮度调整时,还可以根据非主体区域的距离图像中心的位置进行线性或非线性的亮度调整,本公开不再赘述。
本公开实施方式中,通过对目标区域和非主体区域进行不同的亮度调整,可以避免在逆光场景下对图像整体提亮导致图像背景过曝的问题。
当然,本领域技术人员可以理解,上述示例的几种预设处理算法可以任意组合实现,本公开对此不再赘述。并且,本公开实施方式所述的预设处理算法并不局限于上述示例,还可以包括其他任何适于实现的处理方式,本公开对此不再枚举。
通过上述可知,本公开实施方式中,在得到目标主体之后,可以分别对目标主体和非主体区域进行多种图像处理方式,从而使得目标图像呈现出丰富的图像效果,提高成像效果。
本公开实施方式中,上述图像处理方法的应用场景可以是拍照场景,也可以是视频录制场景。
例如以移动终端拍照场景为例,移动终端可以通过相机采集到单张照片,该照片即为本公开所述的待处理图像,从而通过本公开上述的图像处理方法,对该照片进行处理,可以得到具有各种图像效果的目标图像。
而对于视频录制场景,移动终端可以通过相机采集连续的视频流序列,对于视频流序列,可以将每一帧图像均作为待处理图像,也即每一帧图像均进行上述图像处理方法过程,得到对应的目标图像。
但是,目前移动终端录制视频的分辨率越来越高,图像数据也越来越多,若是每一帧图像均进行处理,对移动终端的运算能力要求非常高,难以实时在预览界面上呈现目标图像效果。
因此,在一些实施方式中,在录制视频的过程中,可以间隔若干帧图像确定一帧待处理图像。例如一个示例中,视频录制的帧率为30FPS,也即每秒输出30帧图像,从而可以每10帧图像确定一帧待处理图像,也即每秒处理3帧图像,大大降低运算量。
可以理解,在视频录制过程中,在拍摄的自然场景不发生变化或者变化很小的情况下,每间隔10帧进行的图像处理过程中的数据也几乎没有发生变化,从而呈现在预览界面上的视频效果也不会产生明显变差,但是却大大降低了后台图像处理的运算量,提高视频处理效率。
但是,若在间隔帧图像过程中,视频录制的画面发生较为明显的变化,例如用户移动相机位置、缩放拍摄焦距、被拍摄物体发生移动等情况下,视频录制的画面会发生明显变化,此时,前一帧待处理图像的处理数据将不再适用。
从而,在一些实施方式中,可以检测当前帧图像是否发生变化,若当前帧图像发生变化,则可以将当前帧确定为待处理图像,从而执行上述的图像处理过程。若当前帧图像未发生变化,则可以按照每10帧确定一帧待处理图像的方式执行上述图像处理过程。本公开对此不再赘述。
对于检测当前帧图像变化的方法,可以采用相关技术中的运动检测方法实现,本领域技术人员基于相关技术毫无疑问可以理解并充分实施,本公开对此不再赘述。
通过上述可知,本公开实施方式中,可以实现视频录制过程中针对目标主体的处理,突出目标主体,提高视频呈现效果。并且,基于结合间隔帧处理和运动检测的过程,可以在保证视频处理效果的情况下,大大降低运算量,提高视频处理效率。
在通过本公开上述实施方式过程,得到目标图像之后,即可将目标图像在电子设备的显示屏上输出呈现。例如以移动终端为例,用户使用移动终端录制视频时,经过本公开方法处理后的视频流序列即可在移动终端的显示屏的预览界面中输出呈现,用户即可在预览界面中观察到具有更好效果的视频流。
在一些实施方式中,还可以将图像处理过程中的所有数据进行存储,例如以一帧待处理图像为例,在通过上述图像处理方法得到目标图像之后,可以将待处理图像、目标图像以及中间过程得到的候选主体区域、目标主体等数据,打包压缩为一个文件,并将压缩后的文件存储在电子设备中。文件的格式可以是例如JPEG、HEIC格式等,本公开不作限制。
可以理解,本公开实施方式中,存储有待处理图像对应的所有中间数据,因此便于对待处理图像进行后处理操作。例如一个示例中,用户录制一段视频流,但是对视频流效果不满意,期望于利用更专业的设备对视频流进行后处理操作,从而即可读取存储的压缩文件,得到待处理图像对应的所有数据,便于用户后处理操作,提高视频制作效率。
上述以一帧待处理图像为例进行说明,若待处理图像为视频流序列的帧图像,在得到视频流序列之后,也可以将整个视频流序列打包压缩为一个视频文件,视频文件的格式可以是例如MP4、HEIF格式等,本公开对此不作限制。
通过上述可知,本公开实施方式中,存储有待处理图像对应的所有中间数据,便于用户后处理操作,提高视频制作效率。
第二方面,本公开实施方式提供了一种图像处理装置,该装置可应用于电子设备。本公开所述的电子设备可以是任何适于实施的设备类型,例如智能手机、平板电脑、可穿戴设备等,本公开对此不作限制。
如图12所示,在一些实施方式中,本公开示例的图像处理装置,包括:
候选确定模块10,被配置为基于待处理图像的显著度,从所述待处理图像中确定至少一个候选主体区域;
目标主体模块20,被配置为从所述至少一个候选主体区域中确定得到目标主体;
图像处理模块30,被配置为基于预设处理算法对所述目标主体和/或非主体区域进行处理,得到目标图像;所述非主体区域是所述待处理图像中除所述目标主体之外的区域。
通过上述可知,本公开实施方式中,基于图像特征信息从待处理图像包括的候选主体区域中确定目标主体,无需用户手动选择拍摄主体,提高拍照或者视频录制的效率和效果。而且,基于待处理图像的显著度确定待处理图像中包括的各个候选主体区域,可以从待处理图像中准确分割出显著度较高的图像区域,而无需关心显著度较低的图像区域中存在的目标对象,在保证目标主体检测精度的同时,提高图像处理效率。另外,可以基于目标主体和非主体区域分别进行不同的图像处理,提高成像质量。
在一些实施方式中,所述候选确定模块10被配置为:
根据所述待处理图像,得到所述待处理图像对应的显著度矩阵;所述显著度矩阵中的每个元素表示所述待处理图像中对应位置的像素的显著度值;
根据所述显著度矩阵中每个元素的显著度值,确定至少一个显著区域;
将所述至少一个显著区域所对应的待处理图像的图像区域,确定为所述候选主体区域。
在一些实施方式中,所述候选确定模块10被配置为:
对所述待处理图像进行特征提取,得到所述待处理图像对应的特征图;
根据所述特征图进行显著度预测,得到所述待处理图像对应的所述显著度矩阵。
在一些实施方式中,所述候选确定模块10被配置为:
对于任意一个元素,响应于所述元素的显著度值不小于预设显著度阈值,将所述元素确定为候选元素;
根据各个所述候选元素,确定得到所述至少一个显著区域。
在一些实施方式中,所述候选确定模块10被配置为:
根据所述显著度矩阵中每个元素的显著度值由高到低进行排序,得到显著度排序列表;
将所述显著度排序列表中前预设数量的元素,确定为候选元素;
根据各个所述候选元素,确定得到所述至少一个显著区域。
在一些实施方式中,所述候选确定模块10被配置为:
以预设矩形框对所述显著度矩阵进行划分,得到多个矩阵单元;所述矩阵单元中至少包括两个元素;
对于每个矩阵单元,根据包括的各个元素的显著度值,确定候选矩阵单元;
根据各个所述候选矩阵单元,确定得到所述至少一个显著区域。
通过上述可知,本公开实施方式中,基于显著度矩阵确定待处理图像中包括的各个候选主体区域,可以从待处理图像中准确分割出显著度较高的图像区域,而无需关心显著度较低的图像区域中存在的目标对象,在保证目标主体检测精度的同时,提高图像处理效率。
在一些实施方式中,所述候选确定模块10被配置为:
对于每个显著区域,响应于该显著区域包括的元素数量不小于预设数量阈值,将所述显著区域所对应的待处理图像的图像区域,确定为所述候选主体区域。
通过上述可知,本公开实施方式中,可以基于图像范围大小对候选主体区域进行筛除,一方面可以过滤掉图像范围较小的噪声,降低对图像处理过程的干扰,提高图像处理精度;另一方面可以减少候选主体区域数量,降低计算量,提高图像处理效率。
在一些实施方式中,所述目标主体模块20被配置为:
对每个所述候选主体区域进行人脸检测;
对于任意一个候选主体区域,响应于所述候选主体区域包括人脸区域,确定所述候选主体区域为第一候选区域;
响应于所述至少一个候选主体区域中仅包括一个所述第一候选区域,将所述第一候选区域确定为目标主体区域,并根据所述目标主体区域得到所述目标主体;
响应于所述至少一个候选主体区域中包括多个所述第一候选区域,根据每个第一候选区域的深度信息和/或图像位置,从多个所述第一候选区域中确定目标主体区域,并根据所述目标主体区域得到所述目标主体;
响应于所述至少一个候选主体区域中不包括所述第一候选区域,根据每个候选主体区域的深度信息和/或图像位置,从多个所述候选主体区域中确定目标主体区域,并根据所述目标主体区域得到所述目标主体。
在一些实施方式中,所述目标主体模块20被配置为:
响应于所述至少一个候选主体区域中不包括所述第一候选区域,根据每个候选主体区域的深度信息,确定深度信息最小的候选主体区域为第二候选区域;
响应于所述第二候选区域的深度信息不位于电子设备当前的对焦景深范围内,将深度信息次小的候选主体区域确定为所述第二候选区域;
响应于所述第二候选区域的深度信息位于电子设备当前的对焦景深范围内,确定所述第二候选区域为所述目标主体区域。
通过上述可知,本公开实施方式中,基于候选主体区域与对焦景深范围确定目标主体区域,避免将位于模糊区域的目标对象确定为目标主体,提高图像处理精度和效果。
在一些实施方式中,所述目标主体模块20被配置为:
根据每个候选主体区域的图像特征信息,从所述至少一个候选主体区域中确定得到目标主体区域;
基于图像分割算法对所述目标主体区域进行图像分割,或者,基于所述待处理图像的深度地图对所述目标主体区域进行处理,得到所述目标主体区域包括的所述目标主体。
通过上述可知,本公开实施方式中,在得到目标主体区域之后,进一步对目标主体区域进行图像分割得到目标主体,提高目标主体的分割效果,提高成像质量。
在一些实施方式中,所述目标主体模块20被配置为:
获取用户操作指令,根据所述用户操作指令从所述至少一个候选主体区域中确定所述目标主体;所述用户操作指令是根据用户在电子设备的显示屏上的控制操作生成的指令。
在一些实施方式中,所述待处理图像为视频流序列中的帧图像,所述装置还包括:
帧图像确定模块,被配置为获取视频流序列,将所述视频流序列中的每一帧图像确定为所述待处理图像,或者,将所述视频流序列中间隔预设数量帧的图像确定为所述待处理图像。
在一些实施方式中,所述帧图像确定模块,被配置为:
在将所述视频流序列中间隔预设数量帧的图像确定为所述待处理图像的情况下,响应于检测到当前帧图像发生图像变化,将所述当前帧图像确定为所述待处理图像。
通过上述可知,本公开实施方式中,可以实现视频录制过程中针对目标主体的处理,突出目标主体,提高视频呈现效果。并且,基于结合间隔帧处理和运动检测的过程,可以在保证视频处理效果的情况下,大大降低运算量,提高视频处理效率。
在一些实施方式中,所述图像处理模块被配置为以下中至少之一:
对所述非主体区域进行虚化处理;
对所述目标主体进行美颜处理;
对所述目标主体和/或所述非主体区域进行去畸变处理;
对所述目标主体和/或所述非主体区域进行色彩处理;
对所述目标主体和/或所述非主体区域进行亮度处理。
通过上述可知,本公开实施方式中,在得到目标主体之后,可以分别对目标主体和非主体区域进行多种图像处理方式,从而使得目标图像呈现出丰富的图像效果,提高成像效果。
在一些实施方式中,本公开所述的装置还包括:
显示模块,被配置为在电子设备的显示屏上输出显示所述目标图像;
存储模块,被配置为将所述待处理图像、所述至少一个候选主体区域、所述目标主体以及所述目标图像按照目标格式压缩并存储。
通过上述可知,本公开实施方式中,存储有待处理图像对应的所有中间数据,便于用户后处理操作,提高视频制作效率。
第三方面,本公开实施方式提供了一种电子设备,包括:
处理器;和
存储器,存储有计算机指令,所述计算机指令用于使处理器执行根据第一方面任意实施方式所述的方法。
第四方面,本公开实施方式提供了一种存储介质,存储有计算机指令,所述计算机指令用于使计算机执行根据第一方面任意实施方式所述的方法。
图13中示出了本公开一些实施方式中的电子设备的结构框图,下面结合图13对本公开一些实施方式的电子设备及存储介质相关原理进行说明。
参照图13,电子设备1800可以包括以下一个或多个组件:处理组件1802,存储器1804,电源组件1806,多媒体组件1808,音频组件1810,输入/输出(I/O)接口1812,传感器组件1816,以及通信组件1818。
处理组件1802通常控制电子设备1800的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件1802可以包括一个或多个处理器1820来执行指令。此外,处理组件1802可以包括一个或多个模块,便于处理组件1802和其他组件之间的交互。例如,处理组件1802可以包括多媒体模块,以方便多媒体组件1808和处理组件1802之间的交互。又如,处理组件1802可以从存储器读取可执行指令,以实现电子设备相关功能。
存储器1804被配置为存储各种类型的数据以支持在电子设备1800的操作。这些数据的示例包括用于在电子设备1800上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器1804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件1806为电子设备1800的各种组件提供电力。电源组件1806可以包括电源管理系统,一个或多个电源,及其他与为电子设备1800生成、管理和分配电力相关联的组件。
多媒体组件1808包括在所述电子设备1800和用户之间的提供一个输出接口的显示屏。在一些实施例中,多媒体组件1808包括一个前置摄像头和/或后置摄像头。当电子设备1800处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件1810被配置为输出和/或输入音频信号。例如,音频组件1810包括一个麦克风(MIC),当电子设备1800处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1804或经由通信组件1818发送。在一些实施例中,音频组件1810还包括一个扬声器,用于输出音频信号。
I/O接口1812为处理组件1802和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件1816包括一个或多个传感器,用于为电子设备1800提供各个方面的状态评估。例如,传感器组件1816可以检测到电子设备1800的打开/关闭状态,组件的相对定位,例如所述组件为电子设备1800的显示器和小键盘,传感器组件1816还可以检测电子设备1800或电子设备1800一个组件的位置改变,用户与电子设备1800接触的存在或不存在,电子设备1800方位或加速/减速和电子设备1800的温度变化。传感器组件1816可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1816还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件1816还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件1818被配置为便于电子设备1800和其他设备之间有线或无线方式的通信。电子设备1800可以接入基于通信标准的无线网络,如Wi-Fi,2G,3G,4G,5G或6G,或它们的组合。在一个示例性实施例中,通信组件1818经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件1818还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,电子设备1800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现。
显然,上述实施方式仅仅是为清楚地说明所作的举例,而并非对实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本公开创造的保护范围之中。

Claims (18)

1.一种图像处理方法,其特征在于,包括:
基于待处理图像的显著度,从所述待处理图像中确定至少一个候选主体区域;
从所述至少一个候选主体区域中确定得到目标主体;
基于预设处理算法对所述目标主体和/或非主体区域进行处理,得到目标图像;所述非主体区域是所述待处理图像中除所述目标主体之外的区域。
2.根据权利要求1所述的方法,其特征在于,所述基于待处理图像的显著度,从所述待处理图像中确定至少一个候选主体区域,包括:
根据所述待处理图像,得到所述待处理图像对应的显著度矩阵;所述显著度矩阵中的每个元素表示所述待处理图像中对应位置的像素的显著度值;
根据所述显著度矩阵中每个元素的显著度值,确定至少一个显著区域;
将所述至少一个显著区域所对应的待处理图像的图像区域,确定为所述候选主体区域。
3.根据权利要求2所述的方法,其特征在于,所述根据所述待处理图像,得到所述待处理图像对应的显著度矩阵,包括:
对所述待处理图像进行特征提取,得到所述待处理图像对应的特征图;
根据所述特征图进行显著度预测,得到所述待处理图像对应的所述显著度矩阵。
4.根据权利要求2所述的方法,其特征在于,所述根据所述显著度矩阵中每个元素的显著度值,确定至少一个显著区域,包括:
对于任意一个元素,响应于所述元素的显著度值不小于预设显著度阈值,将所述元素确定为候选元素;
根据各个所述候选元素,确定得到所述至少一个显著区域。
5.根据权利要求2所述的方法,其特征在于,所述根据所述显著度矩阵中每个元素的显著度值,确定至少一个显著区域,包括:
根据所述显著度矩阵中每个元素的显著度值由高到低进行排序,得到显著度排序列表;
将所述显著度排序列表中前预设数量的元素,确定为候选元素;
根据各个所述候选元素,确定得到所述至少一个显著区域。
6.根据权利要求2所述的方法,其特征在于,所述根据所述显著度矩阵中每个元素的显著度值,确定至少一个显著区域,包括:
以预设矩形框对所述显著度矩阵进行划分,得到多个矩阵单元;所述矩阵单元中至少包括两个元素;
对于每个矩阵单元,根据包括的各个元素的显著度值,确定候选矩阵单元;
根据各个所述候选矩阵单元,确定得到所述至少一个显著区域。
7.根据权利要求2至6任一项所述的方法,其特征在于,所述将所述至少一个显著区域所对应的待处理图像的图像区域,确定为所述候选主体区域,包括:
对于每个显著区域,响应于该显著区域包括的元素数量不小于预设数量阈值,将所述显著区域所对应的待处理图像的图像区域,确定为所述候选主体区域。
8.根据权利要求1至7任一项所述的方法,其特征在于,所述从所述至少一个候选主体区域中确定得到目标主体,包括:
对每个所述候选主体区域进行人脸检测;
对于任意一个候选主体区域,响应于所述候选主体区域包括人脸区域,确定所述候选主体区域为第一候选区域;
响应于所述至少一个候选主体区域中仅包括一个所述第一候选区域,将所述第一候选区域确定为目标主体区域,并根据所述目标主体区域得到所述目标主体;
响应于所述至少一个候选主体区域中包括多个所述第一候选区域,根据每个第一候选区域的深度信息和/或图像位置,从多个所述第一候选区域中确定目标主体区域,并根据所述目标主体区域得到所述目标主体;
响应于所述至少一个候选主体区域中不包括所述第一候选区域,根据每个候选主体区域的深度信息和/或图像位置,从多个所述候选主体区域中确定目标主体区域,并根据所述目标主体区域得到所述目标主体。
9.根据权利要求8所述的方法,其特征在于,响应于所述至少一个候选主体区域中不包括所述第一候选区域,根据每个候选主体区域的深度信息,从多个所述候选主体区域中确定目标主体区域,包括:
响应于所述至少一个候选主体区域中不包括所述第一候选区域,根据每个候选主体区域的深度信息,确定深度信息最小的候选主体区域为第二候选区域;
响应于所述第二候选区域的深度信息不位于电子设备当前的对焦景深范围内,将深度信息次小的候选主体区域确定为所述第二候选区域,直至所述第二候选区域的深度信息位于所述对焦景深范围内;
响应于所述第二候选区域的深度信息位于电子设备当前的对焦景深范围内,确定所述第二候选区域为所述目标主体区域。
10.根据权利要求1至9任一项所述的方法,其特征在于,所述从所述至少一个候选主体区域中确定得到目标主体,包括:
从所述至少一个候选主体区域中确定得到目标主体区域;
基于图像分割算法对所述目标主体区域进行图像分割,或者,基于所述待处理图像的深度地图对所述目标主体区域进行处理,得到所述目标主体区域包括的所述目标主体。
11.根据权利要求1至7任一项所述的方法,其特征在于,所述从所述至少一个候选主体区域中确定得到目标主体,包括:
获取用户操作指令,根据所述用户操作指令从所述至少一个候选主体区域中确定所述目标主体;所述用户操作指令是根据用户在电子设备的显示屏上的控制操作生成的指令。
12.根据权利要求1至11任一项所述的方法,其特征在于,所述待处理图像为视频流序列中的帧图像;在所述基于待处理图像的显著度,从所述待处理图像中确定至少一个候选主体区域之前,所述方法还包括:
获取视频流序列,将所述视频流序列中的每一帧图像确定为所述待处理图像,或者,将所述视频流序列中间隔预设数量帧的图像确定为所述待处理图像。
13.根据权利要求12所述的方法,其特征在于,还包括:
在将所述视频流序列中间隔预设数量帧的图像确定为所述待处理图像的情况下,响应于检测到当前帧图像发生图像变化,将所述当前帧图像确定为所述待处理图像。
14.根据权利要求1至13任一项所述的方法,其特征在于,所述基于预设处理算法对所述目标主体和/或非主体区域进行处理的过程,包括以下中至少之一:
对所述非主体区域进行虚化处理;
对所述目标主体进行美颜处理;
对所述目标主体和/或所述非主体区域进行去畸变处理;
对所述目标主体和/或所述非主体区域进行色彩处理;
对所述目标主体和/或所述非主体区域进行亮度处理。
15.根据权利要求1至14任一项所述的方法,其特征在于,在基于预设处理算法对所述目标主体和/或非主体区域进行处理,得到目标图像之后,所述方法还包括:
在电子设备的显示屏上输出显示所述目标图像;
和/或,
将所述待处理图像、所述至少一个候选主体区域、所述目标主体以及所述目标图像按照目标格式压缩并存储。
16.一种图像处理装置,其特征在于,包括:
候选确定模块,被配置为基于待处理图像的显著度,从所述待处理图像中确定至少一个候选主体区域;
目标主体模块,被配置为从所述至少一个候选主体区域中确定得到目标主体;
图像处理模块,被配置为基于预设处理算法对所述目标主体和/或非主体区域进行处理,得到目标图像;所述非主体区域是所述待处理图像中除所述目标主体之外的区域。
17.一种电子设备,其特征在于,包括:
处理器;和
存储器,存储有计算机指令,所述计算机指令用于使处理器执行根据权利要求1至15任一项所述的方法。
18.一种存储介质,其特征在于,存储有计算机指令,所述计算机指令用于使计算机执行根据权利要求1至15任一项所述的方法。
CN202210788135.3A 2022-07-04 2022-07-04 图像处理方法、装置、电子设备以及存储介质 Pending CN117409449A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210788135.3A CN117409449A (zh) 2022-07-04 2022-07-04 图像处理方法、装置、电子设备以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210788135.3A CN117409449A (zh) 2022-07-04 2022-07-04 图像处理方法、装置、电子设备以及存储介质

Publications (1)

Publication Number Publication Date
CN117409449A true CN117409449A (zh) 2024-01-16

Family

ID=89494900

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210788135.3A Pending CN117409449A (zh) 2022-07-04 2022-07-04 图像处理方法、装置、电子设备以及存储介质

Country Status (1)

Country Link
CN (1) CN117409449A (zh)

Similar Documents

Publication Publication Date Title
CN111586282B (zh) 拍摄方法、装置、终端及可读存储介质
CN110572584B (zh) 图像处理方法、装置、存储介质及电子设备
RU2628494C1 (ru) Способ и устройство для генерирования фильтра изображения
CN108154465B (zh) 图像处理方法及装置
CN106131441B (zh) 拍照方法及装置、电子设备
KR20140016401A (ko) 이미지 촬상 방법 및 장치
CN107948510B (zh) 焦距调整的方法、装置及存储介质
CN108040204B (zh) 一种基于多摄像头的图像拍摄方法、装置及存储介质
JP2022103020A (ja) 写真撮影の方法及び装置、端末、記憶媒体
CN108259767B (zh) 图像处理方法、装置、存储介质及电子设备
CN111586280B (zh) 拍摄方法、装置、终端及可读存储介质
CN117441341A (zh) 图像处理方法、装置、移动终端及存储介质
CN117409449A (zh) 图像处理方法、装置、电子设备以及存储介质
CN111586296B (zh) 图像拍摄方法、图像拍摄装置及存储介质
CN117409184A (zh) 图像处理方法、装置、电子设备以及存储介质
CN114979455A (zh) 拍摄方法、装置以及存储介质
CN114339017B (zh) 远景对焦方法、装置及存储介质
EP4304188A1 (en) Photographing method and apparatus, medium and chip
CN116051368B (zh) 图像处理方法及其相关设备
CN109447929B (zh) 图像合成方法及装置
CN116263946A (zh) 图像处理方法、装置、电子设备以及存储介质
CN117319812A (zh) 图像处理方法及装置、移动终端、存储介质
CN116634281A (zh) 高动态范围图像拍照方法、装置及存储介质
CN110706163A (zh) 图像处理方法、终端及计算机存储介质
CN118014873A (zh) 图像的处理方法、装置、图像采集装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination