CN111539960B - 图像处理方法以及相关设备 - Google Patents

图像处理方法以及相关设备 Download PDF

Info

Publication number
CN111539960B
CN111539960B CN201910230214.0A CN201910230214A CN111539960B CN 111539960 B CN111539960 B CN 111539960B CN 201910230214 A CN201910230214 A CN 201910230214A CN 111539960 B CN111539960 B CN 111539960B
Authority
CN
China
Prior art keywords
target
image
background
color image
portrait
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910230214.0A
Other languages
English (en)
Other versions
CN111539960A (zh
Inventor
肖喜中
魏哲
李宗原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201910230214.0A priority Critical patent/CN111539960B/zh
Priority to EP20776790.6A priority patent/EP3937129A4/en
Priority to PCT/CN2020/081129 priority patent/WO2020192692A1/zh
Publication of CN111539960A publication Critical patent/CN111539960A/zh
Priority to US17/484,063 priority patent/US20220012851A1/en
Application granted granted Critical
Publication of CN111539960B publication Critical patent/CN111539960B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20004Adaptive image processing
    • G06T2207/20012Locally adaptive
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种图像处理方法,该方法包括:获取包含目标人像的彩色图像;其中,所述彩色图像包括前景和背景,所述目标人像对应于前景;在所述彩色图像中确定出目标发丝,所述目标发丝包括所述目标人像的发丝与所述背景相交叠的部分;对所述彩色图像进行虚化处理,得到目标图像;其中,所述目标发丝被虚化的程度小于所述背景被虚化的程度,所述目标人像被虚化的程度小于所述背景被虚化的程度。这种图像处理方法可以实现将人像的细节更加突出表现,使散落在背景中的发丝等细节不会被当做背景而被虚化,提升拍摄人像的体验。

Description

图像处理方法以及相关设备
技术领域
本发明涉及图像处理领域,尤其涉及一种图像处理方法以及相关设备。
背景技术
在拍照领域或图像处理领域,一个图像可以包括前景和背景,前景通常可以对应图像中需要突出表现或重点表现的主体对象,而背景是图像中衬托主体对象的部分。例如人像摄影中以人像为主体对象,为了突出人像会布置背景板或取景一些场景作为衬托的背景。在拍摄获得图像后,常常需要进一步对图像进行处理,获得更好的表现效果。例如:在背景虚化功能,可以突出主体。目前的背景虚化功能的实现方式大致包括三种。
一种是单反拍照虚化,然而单反拍照虚化的过程是严格的光学过程,具有明确的物理意义,细节效果表现力自然丰富。但是,这种表现力是建立在笨重的光学模组和机身的基础上,与消费者越来越追求轻便快捷又效果细腻的趋势是相背离的。
另一种是手机双摄拍照虚化,现存手机端双摄拍照虚化,主要依靠了立体匹配。对于一对已经校正好的两幅图,从第一幅图中任意选取出一个图像块,在某一个预设的方向上,搜索到第二幅图中对应的图像块。两个图像块相互匹配,两者在两个图像上的上述预设方向的中心坐标差异,称之为视差。视差越大,表示距离越近。虚化过程利用该信息后,即可实现拍照虚化效果。现存手机端拍照虚化技术方案依赖双摄图匹配分辨率大小和匹配算法的鲁棒性,受限于运算性能,以及匹配算法的块匹配基础,难以计算出发束/发丝级细节的视差结果。
此外,还有一种是手机单摄虚化,例如以纯单RGB图作为输入,主要依靠语义分割得出人体区域。人体前景保留,后景/背景则作为远景虚化,整个图片等效为两层深度。
在实际应用中,图像中的主体对象的边缘与背景存在交界区域,交界区域常存在主体对象的丝状物与背景交叠的现象,表现为成像时主体对象边缘的丝状物延伸或散落在背景之中,导致主体对象的边缘与背景的交界区域中即存在丝状物的像素,同时也存在背景的像素。也可以说图像中主体对象的丝状物类的细节与背景之间存在交叠的情况。主体对象与背景存在交叠较多出现在主体对象与背景之间的边缘区域,也有存在于主体对象中间区域的情况。在交叠区域中,由于丝状物十分细小,所占有的像素数量较少,受限于语义分割的精度,在现有技术的图像处理时,丝状物的像素会被误判为背景。如人体的发丝等丝状物区域常常延展到背景中,处于前景和后景/背景的交界区域,语义分割时,人像边缘的毛发常常会被现有的分割技术误判为背景,进而图像虚化处理时发丝与背景一同被虚化模糊,以至于在拍照虚化后发丝细节完全消失,使得人像质量变差,导致拍照效果失真欠佳。
发明内容
本发明主要解决的是,利用轻便式便携终端,如手机端拍摄RGB图像,实现发束发丝级分割,达到相应的发束发丝级虚化效果
本发明提供了一种图像处理方法以及相关设备,能够从彩图中精确地确定出背景中的“发丝级”的主体细节,使其在背景被虚化时不被当做背景虚化,可以提高虚化处理的效果。
第一方面,本发明实施例提供了一种图像处理方法,包括:
获取包含目标人像的彩色图像;其中,所述彩色图像包括前景和背景,所述目标人像对应于前景;在所述彩色图像中确定出目标发丝,所述目标发丝包括所述目标人像的发丝与所述背景相交叠的部分;对所述彩色图像进行虚化处理,得到目标图像;其中,所述目标发丝被虚化的程度小于所述背景被虚化的程度,所述目标人像被虚化的程度小于所述背景被虚化的程度。
第二方面,本发明实施例提供了一种图像处理装置,包括:图像获取单元,用于获取包含目标人像的彩色图像;其中,所述彩色图像包括前景和背景,所述目标人像对应于前景;发丝确定单元,用于在所述彩色图像中确定出目标发丝,所述目标发丝包括所述目标人像的发丝与所述背景相交叠的部分;虚化处理单元,用于对所述彩色图像进行虚化处理,得到目标图像;其中,所述目标发丝被虚化的程度小于所述背景被虚化的程度,所述目标人像被虚化的程度小于所述背景被虚化的程度。
通常来说,虚化处理的应用场景包括背景虚化。通过上述方法和装置,能够从彩图中精确地确定出背景中的“发丝级”的人像细节,使发丝与背景交叠区域中的发丝在人物的背景被虚化时不被当做背景虚化,可以提高虚化处理的效果,突出目标主体更多的细节,达到“超级人像”的目的。
根据第一方面或者第二方面,在一种可能的设计中,在获取包含目标人像的彩色图像之前还包括:接收目标对焦指令,所述目标对焦指令能够对焦所述目标人像;或者,根据指令进入目标拍照模式,所述目标拍照模式能够自动对焦所述目标人像。相应的,上述装置还包括指令接收单元,这一方法步骤可以由指令接收单元来执行。可选的,手动对焦或者自动对焦可以作为触发上述方法的条件。
根据第一方面或者第二方面,在一种可能的设计中,在获取包含目标人像的彩色图像之前还包括:进入默认的或特定的拍照模式、或者图像软件处理图像时输入背景虚化指令等。其中前者可以应用在拍摄照片的场景下,后者可以应用于拍摄照片以及照片已经拍摄完成后的图像处理。
根据第一方面或者第二方面,在一种可能的设计中,所述对所述彩色图像进行虚化处理,得到目标图像包括:获取所述彩色图像对应的深度图;根据所述深度图和所述彩色图像,得到虚化图和前景概率图;将所述前景概率图中目标发丝的像素属于前景的概率提高,得到目标前景概率图;根据所述目标前景概率图将所述虚化图和所述彩色图像融合,得到目标图像。对应地,这一步骤可以由虚化处理单元执行。彩色图像的深度图可以通过摄像头在取景时调整光圈来获得更多的深度信息。彩色图像的深度图可以采用多摄像头的拍摄方法或者深度摄像头(包括TOF或者结构光等器件)拍摄场景得到该场景的深度信息。
根据第一方面或者第二方面,在一种可能的设计中,对于虚化后的图像,还可以执行人像和发丝增强等各种图像的后期处理,本发明实施例对此不作唯一性限定。
该过程中深度图包含彩色图像中各像素的深度信息;前景概率图包含彩色图像中各像素属于前景的概率的信息;由于目标前景概率图中目标发丝像素属于前景的概率被提升了,因此这些在背景中被识别出来的发丝在融合过程中的虚化程度会被降低,或者不被虚化,达到了突出人像的目的。这一步相对于现有技术,可以大大减少目标发丝的虚化程度。
根据第一方面或者第二方面,在一种可能的设计中,所述在所述彩色图像中确定出目标发丝包括:对所述彩色图像进行语义分割,得到第一掩模区域;其中,所述第一掩模区域包括出现在背景中的发丝以及所述出现在背景中的发丝附近的背景;若所述第一掩模区域对应的图像为强纹理;使用预设神经网络对所述彩色图像进行人像分割,得到第一人像区域;其中,所述第一人像区域对应所述目标人像;所述第一人像区域包括所述出现在背景中的发丝;根据所述第一掩模区域和所述第一人像区域确定目标发丝。对应地,这一步骤可以由发丝确定单元执行。
可选的,在使用语义分割或人像分割等算法之前,可以对彩色图像进行预处理强化特征使主体对象与背景之间的边缘特征更为明显。
根据第一方面或者第二方面,在一种可能的设计中,所述在所述彩色图像中确定出目标发丝包括:对所述彩色图像进行语义分割,得到第一掩模区域;其中,所述第一掩模区域包括出现在背景中的发丝以及所述出现在背景中的发丝附近的背景;若所述第一掩模区域对应的图像为弱纹理;对所述彩色图像进行人像抠图处理,得到第一人像区域;其中,所述第一人像区域对应所述目标人像;所述第一人像区域包括所述出现在背景中的发丝;根据所述第一掩模区域和所述第一人像区域确定目标发丝。对应地,这一步骤可以由发丝确定单元执行。本实施例中的抠图算法在场景简单,尤其是纹理信息简单的情况下,可以在计算量较小的情况下具备精确分割出发丝细节的能力。
上述两种可能的设计方式是对于图像的场景进行感知,复杂度用于表征彩色图像中的细节被区分出来的难度,该复杂度可以通过分析交叠区域的纹理复杂度来确定,该交叠区域的纹理复杂度越高则表示该复杂度越高。在区分彩色图像中的细节被区分出来的难度确定以后,可以用于指导如何用更好的方法分割出人像区域,进而更准确地确定出目标发丝。
通常来说复杂度越高,那么与复杂度匹配的算法可以选择得越精细,例如:场景复杂的情况下,使用深度学习型的图像分割算法,例如:FCN算法;在场景不复杂的情况下,可以使用深度学习型之外的其他算法,例如包括抠图算法、图割算法,超像素分割算法,聚类算法在内的图像分割算法。
更具体地,上述任意可能的技术实现可以由处理器调用存储器中的程序与指令进行相应的处理,如算法实现,信号获取,图像采集等。
第三方面,本发明实施例提供了一种图像处理方法,包括:
获取包含目标对象的彩色图像;其中,所述彩色图像包括前景和背景,所述目标对象对应于前景;
在所述彩色图像中确定出目标细节,所述目标丝状物包括所述目标对象的边缘丝状物与所述背景相交叠的部分;
对所述彩色图像进行虚化处理,得到目标图像;其中,所述目标丝状物被虚化的程度小于所述背景被虚化的程度,所述目标对象被虚化的程度小于所述背景被虚化的程度。
第四方面,本发明实施例提供了一种图像处理装置,包括:图像获取单元,用于获取包含目标对象的彩色图像;其中,所述彩色图像包括前景和背景,所述目标对象对应于前景;发丝确定单元,用于在所述彩色图像中确定出目标丝状物,所述目标丝状物包括所述目标对象的边缘丝状物与所述背景相交叠的部分;虚化处理单元,用于对所述彩色图像进行虚化处理,得到目标图像;其中,所述目标丝状物被虚化的程度小于所述背景被虚化的程度,所述目标对象被虚化的程度小于所述背景被虚化的程度。
通过上述方法和装置,能够从彩图中精确地确定出背景中的目标对象的“丝状物”细节,使丝状物与背景交叠区域中的丝状物在背景被虚化时不被虚化,可以提高图像虚化处理的效果,突出目标对象更多的细节。
根据第三方面或者第四方面,在一种可能的设计中,在获取包含目标对象的彩色图像之前还包括:接收目标对焦指令,所述目标对焦指令能够对焦所述目标对象;或者,根据指令进入目标拍照模式,所述目标拍照模式能够自动对焦所述目标对象。相应的,上述装置还包括指令接收单元,这一方法步骤可以由指令接收单元来执行。可选的,手动对焦或者自动对焦可以作为触发上述方法的条件。
根据第三方面或者第四方面,在一种可能的设计中,在获取包含目标对象的彩色图像之前还包括:进入默认的或特定的拍照模式、或者图像软件处理图像时输入背景虚化指令等。其中前者可以应用在拍摄照片的场景下,后者可以应用于拍摄照片以及照片已经拍摄完成后的图像处理。
根据第三方面或者第四方面,在一种可能的设计中,所述对所述彩色图像进行虚化处理,得到目标图像包括:获取所述彩色图像对应的深度图;根据所述深度图和所述彩色图像,得到虚化图和前景概率图;将所述前景概率图中目标发丝的像素属于前景的概率提高,得到目标前景概率图;根据所述目标前景概率图将所述虚化图和所述彩色图像融合,得到目标图像。对应地,这一步骤可以由虚化处理单元执行。彩色图像的深度图可以通过摄像头在取景时调整光圈来获得更多的深度信息。彩色图像的深度图可以采用多摄像头的拍摄方法或者深度摄像头(包括TOF或者结构光等器件)拍摄场景得到该场景的深度信息。
根据第三方面或者第四方面,在一种可能的设计中,所述在所述彩色图像中确定出目标丝状物包括:对所述彩色图像进行语义分割,得到第一掩模区域;其中,所述第一掩模区域包括出现在背景中的丝状物以及所述出现在背景中的丝状物附近的背景;若所述第一掩模区域对应的图像为强纹理;使用预设神经网络对所述彩色图像进行主体和背景分割,得到第一目标对象区域和背景;其中,所述第一目标对象区域对应所述目标对象;所述第一目标对象区域包含所述出现在背景中的丝状物;根据所述第一掩模区域和所述第一目标对象区域确定目标丝状物。对应地,这一步骤可以由发丝确定单元执行。
根据第三方面或者第四方面,在一种可能的设计中,所述在所述彩色图像中确定出目标丝状物包括:对所述彩色图像进行语义分割,得到第一掩模区域;其中,所述第一掩模区域包括出现在背景中的丝状物以及所述出现在背景中的丝状物附近的背景;若所述第一掩模区域对应的图像为弱纹理;对所述彩色图像进行主体抠图处理,得到第一目标对象区域和背景;其中,所述第一目标对象区域对应所述目标对象;所述第一目标对象区域包括所述出现在背景中的丝状物;根据所述第一掩模区域和所述第一目标对象区域确定目标发丝状物。对应地,这一步骤可以由发丝确定单元执行。本实施例中的抠图算法在场景简单,尤其是纹理信息简单的情况下,可以在计算量较小的情况下具备精确分割出丝状物细节的能力。
更具体地,上述任意可能的技术实现可以由处理器调用存储器中的程序与指令进行相应的处理,如算法实现,信号获取,图像采集等。
第五方面,本发明实施例还提供了一种处理图像细节的方法,其特征在于,包括:
当彩色图像中的主体对象的丝状物与背景存在交叠时,确定所述丝状物与所述背景之间的交叠区域;其中,所述交叠区域中丝状物的像素与背景像素;
在所述交叠区域中确定丝状物的像素和背景像素;
对彩色图像进行虚化处理,其中所述丝状物像素被虚化的程度小于所述背景像素被虚化的程度。
根据第五方面,在一种可能的设计中,彩色图像中的主体对象与背景是否存在交叠,可以由拍摄系统根据设定好的识别算法进行确定;可以在设备接收到要执行例如:背景虚化,局部增强等指令时,即可触发相应的判断。
在本实施例中,获得彩色图像中主体对象所在区域的手段可以参考使用语义分割的方式,或者其他能够获得该主体对象的手段。在本实施例中,主体对象可以仅包含主体对象,也可以包含主体对象、和与主体对象交叠导致难以区分的区域,例如发丝与背景发生交叠的区域,在该交叠的区域内既有发丝,也有背景。在本实施例中,若用于人像摄影,人像可以作为主体对象,发丝可以作为主体对象的细节;背景可以是单色背景、也可以是复杂的景色、办公场所等。本实施例中,细节识别结果用于表示在交叠区域内属于主体对象的像素。
第六方面,本发明实施例还提供了一种处理图像细节的装置,所述装置包括:
第一确定模块,用于当彩色图像中的主体对象的丝状物与背景存在交叠时,确定所述丝状物与所述背景之间的交叠区域;其中,所述交叠区域中丝状物的像素与背景像素;
第二确定模块,用于在所述交叠区域中确定丝状物的像素和背景像素;
虚化模块,用于对彩色图像进行虚化处理,其中所述丝状物像素被虚化的程度小于所述背景像素被虚化的程度。
应理解,第五方面和第六方面中的子步骤,可以参照前述相关的实现方法实现。
第七方面,本发明实施例还提供了一种图像处理设备,包括:存储器、处理器、总线、摄像头;所述存储器、所述处理器和所述摄像头通过所述总线相连;所述存储器用于存储计算机程序和指令;所述摄像头用于采集图像;所述处理器用于控制所述摄像头采集图像,还用于调用所述存储器中存储的所述计算机程序和指令,并用于执行本发明任何可能的设计方法和实例。
根据第七方面,在一种可能的设计中,所述终端设备还包括天线系统、所述天线系统在处理器的控制下,收发无线通信信号实现与移动通信网络的无线通信;所述移动通信网络包括以下的一种或多种:GSM网络、CDMA网络、3G网络、4G网络、5G网络、FDMA、TDMA、PDC、TACS、AMPS、WCDMA、TDSCDMA、WIFI以及LTE网络。
第八方面,本发明实施例还提供了一种计算机存储介质,所述计算机超出介质中包括指令,当所述指令在硬件设备上运行时,使得所述硬件设备执行本发明任何可能的设计方法和实例。
第九方面,本发明实施例提供了一种计算机程序产品;该计算机程序产品包括程序指令,当该计算机程序产品被计算设备的处理器执行时,该处理器执行本发明任何可能的设计方法和实例。该计算机程序产品可以为一个软件安装包,在需要使用前述的任一种可能的设计提供的方法的情况下,可以下载该计算机程序产品并在处理器上执行该计算机程序产品,以实现相应方法。
应理解,对于上述任何一种可能的设计中的技术方案,在不违背自然规律的前提下,可以进行方案之间或步骤之间的自由组合和互相参照。
附图说明
为了更清楚地说明本发明实施例或背景技术中的技术方案,下面将对本发明实施例或背景技术中所需要使用的附图进行说明。
图1为本发明实施例中一种终端结构示意图;
图2为本发明实施例中一种终端系统的示例性操作环境示意图;
图3为本发明实施例中一种终端操作系统示意图;
图4A、4B、4C、4D是本发明实施例的一种应用场景示意图;
图5A、5B、5C是本发明实施例一种终端应用操作界面示意图;
图6A是本发明实施例中一种图像处理方法流程示意图;
图6B是本发明实施例中一种确定目标发丝区域的方法流程示意图;
图6C是本发明实施例中一种背景虚化方法流程示意图;
图7A是本发明实施例中一种发丝区域分割的掩模示意图;
图7B是本发明实施例中一种人像分割示意图;
图7C是本发明实施例中一种确定目标发丝的图像区域示意图;
图7D是现有技术中一种虚化掉发丝的示意图;
图8为本发明实施例一种图像处理装置示意图;
图9为本发明实施例一种发丝确定单元示意图;
图10为本发明实施例一种虚化处理单元示意图。
具体实施方式
下面结合本发明实施例中的附图对本发明实施例进行描述。本发明的实施方式部分使用的术语仅用于对本发明的具体实施例进行解释,而非旨在限定本发明。显然,所描述的实施例仅仅是本发明一部分实施例,并不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例中,终端,可以是向用户提供拍摄视频和/或数据连通性的设备,具有无线连接功能的手持式设备、或连接到无线调制解调器的其他处理设备,比如:数码相机、单反相机、移动电话(或称为“蜂窝”电话)、智能手机,可以是便携式、袖珍式、手持式、可穿戴设备(如智能手表等)、平板电脑、个人电脑(PC,Personal Computer)、PDA(PersonalDigital Assistant,个人数字助理)、车载电脑、无人机、航拍器等。
图1示出了终端100的一种可选的硬件结构示意图。
参考图1所示,终端100可以包括射频单元110、存储器120、输入单元130、显示单元140、摄像头150、音频电路160(包含扬声器161、麦克风162)、处理器170、外部接口180、电源190等部件。本领域技术人员可以理解,图1仅仅是智能终端或多功能设备的举例,并不构成对智能终端或多功能设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件。如,至少存在存储器120、处理器170、摄像头150。
摄像头150用于采集图像或视频,可以通过应用程序指令触发开启,实现拍照或者摄像功能,如拍摄获取任意场景的图片或视频。摄像头可以包括成像镜头,滤光片,图像传感器等部件。物体发出或反射的光线进入成像镜头,通过滤光片,最终汇聚在图像传感器上。成像镜头主要是用于对拍照视角中的所有物体(也可称为待拍摄场景、目标场景,也可以理解为用户期待拍摄的场景图像)发出或反射的光汇聚成像;滤光片主要是用于将光线中的多余光波(例如除可见光外的光波,如红外)滤去;图像传感器主要是用于对接收到的光信号进行光电转换,转换成电信号,并输入到处理器170进行后续处理。其中,摄像头可以位于终端设备的前面,也可以位于终端设备的背面,摄像头具体个数以及排布方式可以根据设计者或厂商策略的需求灵活确定,本申请不做限定。
输入单元130可用于接收输入的数字或字符信息,以及产生与所述便携式多功能装置的用户设置以及功能控制有关的键信号输入。具体地,输入单元130可包括触摸屏131和/或其他输入设备132。所述触摸屏131可收集用户在其上或附近的触摸操作(比如用户使用手指、关节、触笔等任何适合的物体在触摸屏上或在触摸屏附近的操作),并根据预先设定的程序驱动相应的连接装置。触摸屏可以检测用户对触摸屏的触摸动作,将所述触摸动作转换为触摸信号发送给所述处理器170,并能接收所述处理器170发来的命令并加以执行;所述触摸信号至少包括触点坐标信息。所述触摸屏131可以提供所述终端100和用户之间的输入界面和输出界面。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触摸屏。除了触摸屏131,输入单元130还可以包括其他输入设备。具体地,其他输入设备132可以包括但不限于物理键盘、功能键(比如音量控制按键132、开关按键133等)、轨迹球、鼠标、操作杆等中的一种或多种。可选的,所述触摸屏131可以包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给所述处理器170,并能接收所述处理器170发来的命令并加以执行。
所述显示单元140可用于显示由用户输入的信息或提供给用户的信息、终端100的各种菜单、交互界面、文件显示和/或任意一种多媒体文件的播放,也可用于呈现界面,实现人机交互。在本发明实施例中,显示单元还用于显示设备利用摄像头150获取到的图像/视频,可以包括某些拍摄模式下的预览图像/视频、拍摄的初始图像/视频以及拍摄后经过一定算法处理后的目标图像/视频。
进一步的,触摸屏131可覆盖显示面板141,当触摸屏131检测到在其上或附近的触摸操作后,传送给处理器170以确定触摸事件的类型,随后处理器170根据触摸事件的类型在显示面板141上提供相应的视觉输出。在本实施例中,触摸屏与显示单元可以集成为一个部件而实现终端100的输入、输出、显示功能;为便于描述,本发明实施例以触摸显示屏代表触摸屏和显示单元的功能集合;在某些实施例中,触摸屏与显示单元也可以作为两个独立的部件。可选的,所述显示面板141可以采用液晶显示屏(Liquid Crystal Display,LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置。进一步的,所述触摸屏131可覆盖所述显示面板141,当所述触摸屏131检测到在其上或附近的触摸操作后,传送给所述处理器170以确定触摸事件的类型,随后所述处理器170根据触摸事件的类型在所述显示面板141上提供相应的视觉输出。
所述存储器120可用于存储指令和数据,存储器120可主要包括存储指令区和存储数据区,存储数据区可存储各种数据,如多媒体文件、文本等;存储指令区可存储操作系统、应用、至少一个功能所需的指令等软件单元,或者他们的子集、扩展集。还可以包括非易失性随机存储器;向处理器170提供包括管理计算处理设备中的硬件、软件以及数据资源,支持控制软件和应用。还用于多媒体文件的存储,以及运行程序和应用的存储。可选的,所述存储器120可以主要包括存储程序区和存储数据区。其中,存储程序区可存储操作系统、各种应用程序(比如通信应用),本发明实施例中各方法涉及到的相关程序或指令等等;存储数据区可存储根据所述终端设备的使用所创建的数据(比如各种图片、视频文件等多媒体文件)等。所述存储器120可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器170是终端100的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在存储器120内的指令以及调用存储在存储器120内的数据,执行终端100的各种功能和处理数据,从而对手机进行整体控制。可选的,处理器170可包括一个或多个处理单元;优选的,处理器170可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器170中。在一些实施例中,处理器、存储器、可以在单一芯片上实现,在一些实施例中,他们也可以在独立的芯片上分别实现。处理器170还可以用于产生相应的操作控制信号,发给计算处理设备相应的部件,读取以及处理软件中的数据,尤其是读取和处理存储器120中的数据和程序,以使其中的各个功能模块执行相应的功能,从而控制相应的部件按指令的要求进行动作。
所述射频单元110可用于收发信息或通话过程中信号的接收和发送,例如,将基站的下行信息接收后,给处理器170处理;另外,将设计上行的数据发送给基站。通常,RF电路包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low NoiseAmplifier,LNA)、双工器等。此外,射频单元110还可以通过无线通信与网络设备和其他设备通信。所述无线通信可以使用任一通信标准或协议,包括但不限于全球移动通讯系统(Global System of Mobile communication,GSM)、通用分组无线服务(General PacketRadio Service,GPRS)、码分多址(Code Division Multiple Access,CDMA)、宽带码分多址(Wideband Code Division Multiple Access,WCDMA)、长期演进(Long Term Evolution,LTE)、电子邮件、短消息服务(Short Messaging Service,SMS)等。
音频电路160、扬声器161、麦克风162可提供用户与终端100之间的音频接口。音频电路160可将接收到的音频数据转换为电信号,传输到扬声器161,由扬声器161转换为声音信号输出;另一方面,麦克风162用于收集声音信号,还可以将收集的声音信号转换为电信号,由音频电路160接收后转换为音频数据,再将音频数据输出处理器170处理后,经射频单元110以发送给比如另一终端,或者将音频数据输出至存储器120以便进一步处理,音频电路也可以包括耳机插孔163,用于提供音频电路和耳机之间的连接接口。扬声器、麦克风的具体个数以及排布方式可以根据设计者或厂商策略的需求灵活确定,本申请不做限定。
终端100还包括给各个部件供电的电源190(比如电池),优选的,电源可以通过电源管理系统与处理器170逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
终端100还包括外部接口180,所述外部接口可以是标准的Micro USB接口,也可以是多针连接器等通信接口,可以用于连接终端100与其他装置进行物理连接以及通信,也可以用于连接充电器为终端100充电。可选的,所述外部接口180与所述其他设备的通信接口通过电缆连接,实现所述终端设备100和其他设备之间的数据传输。
尽管未示出,终端100还可以包括闪光灯、无线保真(wireless fidelity,WiFi)模块、蓝牙模块、不同功能的传感器等,其中WiFi技术属于短距离无线传输技术,所述终端设备100通过WiFi模块可以连接接入点(Access Point,AP),从而实现数据网络的访问,所述WiFi模块190可用于通信过程中,数据的接收和发送。例如,当所述终端设备100为手机时,所述终端设备100可以包含所述射频电路110,还可以包含WiFi模块;当所述终端设备100为计算机时,所述终端设备100可以包含所述外部接口180,还可以包含所述WiFi模块;当所述终端设备100为平板电脑时,所述终端设备100可以包含WiFi模块。其他模块在此不再赘述。下文中描述的部分或全部方法都可以应用在如图1所示的终端中。
图2示出本发明终端系统的一种示例性操作环境。操作环境200可以包括一个服务器202(server)、网关204(gateway)、一个公共交换电话网络(“PSTN”)206和/或其他网络,如因特网208(intemet)、蜂窝网络、卫星网络和/或类似物。终端设备100可在操作环境200使用一个以上所描述的硬件和/或软件组件的一个或多个操作。终端设备100可以与服务器202经由无线和/或有线网络进行通信,例如,服务器202可以有线连接和/或通过无线蜂窝网络连接到终端设备100进行通信。此外,服务器202可连接终端设备100到PSTN206上,该连接可以使终端设备100能够发起和/或接收电话呼叫。服务器202还可以连接终端设备100在网关204上,该连接可以使终端设备100访问一个广域网,例如因特网208。上述图1从硬件组成角度的终端设备的结构框架,下图3以操作系统为移动终端上的Android系统为例,介绍本发明实施例的方法所涉及的软件操作系统的系统框架。需要说明的是,本发明实施例涉及的方法,可以适用于安卓(Android)系统、OS系统、Darwin系统、RTXC系统、Linux系统、Unix系统、WindowS系统、嵌入式操作系统例如VxWorks等操作系统。
具体的,Android是一种开源的移动操作系统,作为一个移动设备平台,其层次结构包含了一个操作系统,中间件(Middle Ware)和应用程序(Application),如图3所示,Android操作系统分为如下几个层次:
(1)应用程序层(Application)
开发人员可以基于安卓软件开发工具包(Software Development Kit,简称SDK)开发应用程序,同时操作系统本身也包含了一些基础应用,例如短信、电话、图片查看器、网页(Web)浏览器等系统级应用。
(2)应用程序框架层(Application Framework)
Android的应用程序框架层为应用层提供各种应用编程接口(ApplicationProgramming Interface,简称API),它包含了用户界面(User Interface,简称UI)程序中所需的各种控件,例如:Views(视图组件)包括TextView(文本控件)、ListView(列表)、Buttons(按钮)、WebView(网页浏览器控件)。
(3)系统库和运行时环境层(Libraries&Android Runtime)
这一层包括各种库和运行时环境两部分,各种库主要是C库、多媒体库、图形处理引擎等;运行时环境主要是Dalvik虚拟机,它和标准的JAVA虚拟机不同,它执行的是.dex文件,是针对移动设备进行过裁剪和优化的虚拟机。
(4)Linux内核层(Kernel)
Android是基于Linux内核开发,其核心系统服务、内存管理、进程管理、网络协议及驱动都依赖于Linux内核。该Linux内核层的下方即就是图2介绍的手机的硬件层。
本发明可应用于具有拍摄功能的终端设备,落地产品形态可以是智能终端,如手机、平板、DV、摄像机、照相机、便携电脑、笔记本电脑、智能机器人、电视、安防系统、无人机等安装有摄像头的产品。具体地,本发明的功能模块可以部署在相关设备的DSP芯片上,具体的可以是其中的应用程序或软件;本发明部署在终端设备上,通过软件安装或升级,通过硬件的调用配合,提供图像处理功能。
图4A表现了本发明实施例中一些可能的应用场景示意图,最右侧虚线框示意了一些可能的被拍摄的主体对象,可以包括人、动物、植物,这些主体对象还可以包括发丝、配饰等细节;这些细节在拍摄图像时属于主体对象同时也可能会出现在背景之中。中间虚线框内示意了主体对象的拍摄设备,可以包括:手机、相机等各种具有图像拍摄功能的设备;另外,摄像设备可以认为是拍摄设备的一个分支,例如本实施例对图像的处理,也可以应用于视频图像中单帧图像的处理。左侧虚线框示意了包括:手机、平板电脑、笔记本电脑在内的具有图像处理功能的设备。本发明实施例提供处理图像细节的方法,可以应用于左侧虚线框内的设备,也可以应用于中间虚线框内的设备。
具体地,请参阅图4B、图4C以及图4D所示,它们表现了一些可能的主体对象与背景存在交叠细节的几种应用场景。其中,在图4B、图4C以及图4D中虚线区域示意了主体对象与背景之间存在交叠情况,示意虚线区域仅为交叠区域的一部分,并不是交叠区域的全部。另外,图4B、图4C、图4D界面中的图像,在实际应用中可以为彩色图像或单色图像。应理解,本申请中所谓的主体与背景的交叠是指主体对象与背景在成像时在成像区域的交叠。
具体地,图4B所示的图像可以表示是人像作为主体对象,即作为整个图像中的前景,图像中人像以外的区域可以理解为背景,虚线框可以表示主体对象/前景与背景的部分交叠区域,例如人的一部分发丝虽然属于人像主体,但是成像时同时与背景出现了交叠的现象。对应地,在交叠的区域内像素也并非全部为发丝丝的像素,中间也夹杂着一部分背景的像素。应理解,图中的交叠区域仅仅为示例,并不做大小和形状的限定。
具体地,图4C所示的图像可以表示蒲公英作为主体对象,即作为整个图像中的前景,该图中黑色部分为背景,图中右下出圆形虚线区域表示主体对象/前景与背景的一处交叠区域。可见蒲公英与背景交叠的区域会有很多处。在成像时,蒲公英的纤细绒毛与背景会出现交叠,对应地,在交叠的区域内像素并非全部为蒲公英绒毛的像素,中间也夹杂着一部分背景的像素。应理解,图中的交叠区域仅仅为示例,并不做大小和形状的限定。
具体地,图4D所示的图像可以表示小动物为主体对象,即作为整个图像中的前景,图像中小动物以外的区域可以理解为背景,虚线框可以表示主体对象/前景与背景的一处交叠区域,如小动物主体边缘的毛发与背景出现了交叠。对应地,在交叠的区域内像素并非全部为小动物毛发的像素,中间也夹杂着一部分背景的像素。应理解,图中的交叠区域仅仅为示例,并不做大小和形状的限定。
应理解,主体对象的细节与背景存在交叠区域较多出现在主体对象的边界附近,边界可以包括主体对象的外部边界、内部边界或中间的镂空边界。如图4B和图4D所示,主体对象的内部区域全部都属于主体对象,主体对象的边缘存在与背景交叠的情况;也有交叠区域存在于主体对象中间区域的情况,如图4C中,较多出现在具有镂空、通透效果的主体对象中,图4C中的蒲公英,主体对象的边缘也存在主体对象与中间区域交叠的情况。另外,还可以看出图4C是背景纹理简单的情况,图4B和图4D是纹理相对复杂一点的情况。
本发明可以适用于两种图像处理的场景;一种是即时拍照,另一种图像的后期处理。
即时拍照
可选的,如图5A所示,图5A表示一个可能的终端操作界面的示意图。用户使用手机即时拍摄,摄像头首先获得了彩色图像,如果用户在拍摄时选择了特定模式,如“超级人像”模式(仅作举例,并不限定),那么终端能够自动对焦确定目标主体(如人像),并执行本发明实施例的方法,并在出片时直接显示出“目标主体突出,背景虚化”的照片。
可选的,如图5B所示,图5B表示一个可能的终端操作界面的示意图。用户在进入拍摄界面后,对焦人像,并选择背景虚化的功能;终端可以在获取得到人像摄像的原始彩色图像后,将背景虚化后的图像显示在界面中。即拍照之前的预览图中就可以显示出“目标主体突出,背景虚化”的照片。
可选的,如图5C所示,图5C表示一个可能的终端操作界面的示意图。用户在进入拍摄界面后,选择人像的拍摄功能,再选择背景虚化的功能;手机可以在拍摄得到人像摄像的原始彩色图像后,将背景虚化后的图像显示在界面中。即拍照之前的预览图中就可以显示出“目标主体突出,背景虚化”的照片。图5A、图5B和图5C作为可能的操作场景示例,不应理解为对手机拍摄功能界面、背景虚化菜单位置等的限定。
后期处理
本发明实施例所称的后期处理,可以指对出片之后的图像执行后期处理。例如:使用利用拍摄到的原始图像或调用本地图像,在相机等应用程序内执行“背景虚化,主体对象效果增强”的处理等;也可以是原始图像或者被相机处理过的图像,被传递到另一设备中,在该另一设备中执行“背景虚化,主体对象效果增强”的处理等。本发明不予以穷举。
下面以示例的方式对本发明的图像处理方法进行详细说明。
示例1---拍摄人像,呈现清晰发丝
本实施例可以发生在用户实时拍照的过程中,或者一些图像后期处理的过程中。
可选的,以用户拍摄人像为例,用户拍照时,终端可以接收用户对焦指令,在拍照的预览图中,对焦位置对应于要拍摄的目标人像,并能在生成实时拍照预览流或出图时执行下列步骤S1-S3;或者,终端根据用户的选择或者按照默认方式进入到目标拍照模式,该目标拍照模式能够自动对焦到要拍摄的人,并能在生成预览流或出图时执行下列步骤S1-S3。
可选的,用户还可以应用某软件处理图像,处理图像时输入一定的指令或操作可以使终端来执行下列步骤S1-S3。
其中,预览图或出图时显示的图像为“突出人像,背景被虚化模糊,出现在背景中的发丝没有与背景一同被虚化模糊”,达到“超级人像的效果”。
请参阅图6A,图6A为本发明实施例提供的一种图像处理方法,该方法包括下列步骤S1-S3。
S1:获取包含目标人像的彩色图像;其中,所述彩色图像包括前景和背景,所述目标人像对应于前景。
目标人像为成像时欲突出表现的主体对象。
可选的,若图像中存在多个人物,则对焦指令对应的人物为目标人像。
具体地,用户可以在进入拍照功能后触发终端采集RGB图像。如图5A或5B或5C或其他方式。
另外,获取图像还可以指终端从其他设备或本地获得RGB图像,例如:从网络侧下载RGB图像,从设备本地的存储器中读取RGB图像等;然后用户输入操作指令实现人像的背景虚化后期处理功能。
在本实施例中,彩色图像包括但不限于任意格式的彩色图像,例如:联合图像专家组(joint photographic experts group,jpg)格式,位图(bitmap,bmp)格式等。
应理解,本发明除了可以应用于包括RGB彩色图像外,还可以应用于包括单色的彩色图像,以及黑白图等;例如:灰度图、红色图等图像。
对于图像而言,其背景可以有很多,例如:纹理简单的背景,纹理复杂的背景;其中纹理简单的背景包括但不限于单色背景,更具体地例如:证件照;纹理复杂的背景包括但不限于:以自然风光、动植物、办公场所等复杂场景下的背景。
S2:在所述彩色图像中确定出目标发丝,所述目标发丝包括所述目标人像的发丝与所述背景相交叠的部分。
可选地,S2可以包括以下步骤(step21-step26),可参与图6B。
step21:图像预处理:进行图像增强、归一化等预处理。图像预处理属于成熟的现有技术,本实施例中不予以赘述。预处理可以对彩色图像进行特征强化,使主体对象与背景之间的边缘特征更为明显,从而提高获图像分割或分析的准确性。语意分析时可以更准确地对图像进行分割。例如对于人物图像预处理可以滤除一部分背景对发丝细节的干扰,使发丝细节更为突出。
step22:对于预处理后的彩色图像,利用一个预设的FCN进行语义分割,得到第一掩模区域(maskl),本发明终掩模区域也可以叫做包络蒙版mask,第一掩模区域对应于“发丝区域”的包络,自然也就了包括图像中出现在背景中的发丝(例如头像边缘处出现在背景中的发丝)以及附近的背景;即第一掩模区域包括了“人物与背景交叠的发丝”;第一掩模区域如图7A中白色区域所示。
图7A可以表示经过语义分割后的二值化图,黑色部分表示“非发丝区域”,“非发丝区域”中的像素要么是目标人物的非发丝区域要么是在背景,如中间黑色区域对应人像的非发丝区域,外围黑色区域对应背景区域;其中的每个像素的灰度值可以用N1表示;白色区域表示“发丝区域”,其中的每个像素的灰度值可以用N2表示;N1不等于N2。可选的,N1为0,N2为255,本实施例并不对N1和N2的值进行限定,任意不等的数对均可以,本发明中不予以穷举。
可以理解,“发丝区域”几乎包括了人像中的绝大部分发丝甚至所有的发丝。
这一步中,可以确定出整体的发丝区域,但还无法精确地确定出微米级的发丝。
step23:根据step21得到的预处理后RGB图像,以及step22获得的maskl;在预处理后RGB图像中确定出maskl对应区域的RGB图,并对maskl对应区域的RGB图进行场景理解。
具体过程是,对该maskl区域的RGB图像的纹理信息(诸如图像对比度、图像梯度等)的复杂度进行判断分类。
更具体的,可以理解为是对maskl对应区域的RGB图像中的背景进行分析,判断这部分背景是强纹理还是弱纹理。强纹理表示图像复杂度较高,例如灌木丛、树丛、等内容杂乱的场景;弱纹理表示图像复杂度低,例如蓝天,白墙,沙漠等内容较为简单的场景。如果是弱纹理,可以执行步骤step241或步骤step242;如果是强纹理,可以执行步骤step242。
step241:基于抠图(Matting)算法对step21得到的预处理后RGB图像进行“发丝级”人像分割;得到目标人像区域(第一人像区域),以及背景区域。其中目标人像区域可以如图7B的白色区域所示,白色区域对应于人像主体,黑色部分对应于背景。其中,黑色部分表示该区域的任一像素一定是背景,其中的每个像素可以用N3表示;白色区域表示该区域的任一像素都可能是人像,其中的每个像素的灰度值可以用(N3,N4]或者[N4,N3)中的任意一个值表示,取值越接近N4,表示该像素为人像的概率越高,如果取值为N4,表示该像素一定为人像主体的像素。可选的,N3小于N4,N3为0,N4为255。应理解,本实施例并不对N3和N4的具体值以及大小关系进行限定,任意不等的数对均可以,本发明中不予以穷举。
step242:采用全卷积网络(Fully Convolutional Networks,FCN)算法,对step21得到的预处理后RGB图像进行发丝级的人像分割,得到目标人像区域(第一人像区域)和背景区域,其中,所述目标人像区域包含所述出现在背景中的发丝。目标人像可以如图7B的白色区域示例,图7B可以表示经过全卷积网络/神经网络处理得到的概率图,白色区域对应于人像主体,黑色部分对应于背景。其中,黑色部分表示该区域的任一像素一定是背景,其中的每个像素的灰度值可以用N3表示;白色区域表示该区域的任一像素都可能是人像,其中的每个像素可以用(N3,N4]或者[N4,N3)中的任意一个值表示,取值越接近N4,表示该像素为人像的概率越高,如果取值为N4,表示该像素一定为人像的像素。可选的,N3小于N4,N3为0,N4为255。应理解,本实施例并不对N3和N4的具体值以及大小关系进行限定,任意不等的数对均可以,本发明中不予以穷举。
根据step241和step242可以看出,在一个可选的实现方式中,本实施例提供了以发丝区域中的背景纹理复杂度为依据指导如何获得分割人像背景的方案。通常来说复杂度越高,那么与复杂度匹配的算法可以选择得越精细,在场景不复杂的情况下,可以使用深度学习型之外的其他算法,例如包括matting算法、图割算法,超像素分割算法或者聚类算法等图像分割算法。另外,图像的不同区域,纹理复杂度也可能会有区别,因此可以包括三种可选的实现方式:
第一种情形,发丝区域中整个背景区域的纹理复杂度差别不大,则整个图像可以只根据ste241或者只根据step242进行人像分割。
第二种情形,发丝区域中部分背景区域纹理复杂,部分背景区域纹理简单,则可以对整个发丝区域的背景复杂度进行整体评估,并根据整体的复杂度评估结果选择执行step241或者step242进行人像分割。
第三种情形,发丝区域中部分背景区域纹理复杂,部分背景区域纹理简单,则可以让分不同区域使用相应匹配的算法执行图像分割,再进行拼接,得到人像和背景。
可选的,一种FCN的训练方法简要说明如下:
1)生成一张与RGB图像尺寸一致的mask。生成mask的方式是:对于RGB图像中的任意像素点,判断该点是否属于人像区域。如果属于,就将mask中对应的像素的值设定为1,如果该点不属于,就将mask中对应像素值设定为0。然后将所有彩图的长宽统一缩放为640*480,最后将mask的大小统一缩放为80*60。
2)将卷积神经网络的层数设置为9层,具体为:第1层为输入层,接受大小为640*480的RGB图像作为输入;第2层是卷积层,包含32个大小为320*240的特征映射图,所用卷积核大小为5*5,采样的间隔为2;第3层为下采样层,将第2层的2*2的邻域下采样为一个像素,采样的间隔为2;第4层包含64个160*120的特征映射图;第5层为卷积层,包含64个大小为160*120的特征映射图;第6层为下采样层,将第5层的2*2的邻域下采样为一个像素,采样的间隔为2,第7层包含128个80*60的特征映射图;第8层为卷积层,包含256个大小为80*60的特征映射图;第9层是输出层,包含1个大小为80*60的二值mask。
其中,得到上述卷积神经网络的第9层的方法具体为:针对80*60的mask上的每个像素点,训练1个逻辑回归,然后用逻辑回归预测每个像素点属于人体区域还是非人体区域。
其中,训练逻辑回归的方法具体为:把第8层的256张特征映射图上相同位置的点作为一个逻辑回归的输入,训练一个257维的逻辑回归,逻辑回归的标签就是mask上对应像素点的值。在预测像素点属于人体区域还是非人体区域时,如果某个像素点对应的逻辑回归的输出大于0.5,就将该像素点判定为人体区域点,将该像素点的值设定为1,否则判定为背景像素点,将像素值设定为0。
以上作为一个举例,具体的图像分辨率取值,卷积网络层数设置及各层大小的取值以及训练样本,可以依据需要进行设定,本发明实施例不作限定。
step25:基于step241或step242中得到的人像分割结果,将整个图像的像素灰度进行二值化。具体操作是,将灰度值在(N3,N4)像素的灰度值统一修改为N6,这部分像素理论上属于不确定区域,即不确定一定是背景也不确定一定是人像,这部分在实际内容中基本对应于图像中人像边界与背景的交叠区域,也就基本包括了人像与背景交叠的发丝或其他细节,因此可以将无法准确确定是背景或是人像的像素逻辑标记为“是发丝”,即将发丝与背景交叠的这些像素逻辑上标记为“是发丝”;应理解,这并非指实际的发丝像素,而是一种理论假设逻辑。另外,具体的,可以将灰度值等于N3或N4的像素的灰度值统一修改为N5,即将确定是人像和确定是背景的像素逻辑上标记为“不是发丝”;应理解这是一种假设性的逻辑性赋值,而并非实际内容的改换。二值化后,所有标记为N6的像素组成区域可以表示逻辑上的另一个“发丝区域”,即第二掩模区域mask2。
可选地,还可以对mask2进行膨胀,如将被标记为N6的像素周围的若干个“不是发丝”的像素从N5修改为N6,此时所有N6表示的像素组成的新区域可以表示逻辑上的又一个“发丝区域”,即第三掩模区域mask3。
可选的,N5小于N6;N5为0,N6为255;本实施例并不对N5和N6的值进行限定,任意不等的数对均可以,本发明中不予以穷举。应理解,得到mask2或mask3是为了后续更准确地确定出人像与背景交叠的那部分真实的发丝区域。
step26:将step25中得到的mask2或mask3与step22中得到的mask1的进行同位置像素的逻辑与运算并取交集,得到目标发丝区域mask4。mask4比前面得到的mask1或mask2或mask3都更加精准地对应于人像与背景交叠的发丝。
采用mask3得到mask4,可以使图像中真实的发丝像素以及发丝附近的较少背景像素逻辑上被标记为前景;因此在后续虚化后,发丝附近的背景像素也会被较小程度虚化,而发丝像素被虚化的程度更小或者不虚化,因此交叠区域中的发丝与背景之间的过渡更为自然,并且保留更多的发丝细节。
其中,N1,N2,N3,N4,N5以及N6无论为何取值,逻辑运算时的逻辑意义为真或假(如,N1、N3和N5表示假,N2、N4和N6表示真)。N1,N2,N3,N4,N5以及N6用来表征像素灰度或者概率的大小。
为了方便说明,假设N1,N3和N5均为0,对应逻辑意义为“假”;N2,N4和N6均为255,对应逻辑意义为“真”。mask2或mask3与maskl的任一相同位置的像素进行逻辑与运算时,像素灰度值同为255会被判定为“真”,即该像素逻辑结果上确实是“发丝像素”,整个图像中相与结果为真的所有像素组成的区域为目标发丝区域,目标发丝区域对应的图像内容中的目标发丝。如图7C所示,黑色虚线框内的区域示例性地对应于目标发丝区域(应理解,虚线区域仅作大体示意,不构成任何限定)。
应理解,目标发丝大致可以对应于交叠区域中的发丝,目标发丝既属于人像,同时出现在背景中;由于发丝本身的形态表现就非常的繁杂,因此目标发丝在图像中对应的内容可以是背景中的全部发丝,也可以是背景中的部分发丝,目标发丝也可以包含蔓延到人脸中的全部或部分发丝,本领域技术人员应当理解本发明场景相当丰富,本发明并不对目标发丝所处的位置以及表现形式构成任何限定。
还应理解,step22-step26中的逻辑运算仅仅是确定目标发丝众多实现方法中的一种可选方法,由于人像和背景的分割方式、逻辑真假表达方式、以及逻辑运算方式的多样性,导致本领域能够组合起来的方法和表述更会千差万别,本发明实施例无法通过穷举的方式一一论述。总之无论是通过何种方式,只要是能在图像中确定出包括主体对象与背景交叠的细节(如毛发)的方法,都应属于本发明的实现方法与保护范围。
S3:对所述彩色图像进行虚化处理,得到目标图像;其中,所述目标发丝被虚化的程度小于所述背景被虚化的程度,所述目标人像被虚化的程度小于所述背景被虚化的程度。应理解,目标发丝或目标人像的被虚化程度可以为0,即不被虚化。
另外本领域技术人员应理解,类似“第一区域被虚化的程度小于第二区域被虚化的程度”这种表述中,第一区域和第二区域指的是一个整体的概念,而并非限制第一区域或第二区域中具体的像素或全部像素,表达的是整体水平或者平均水平;即实际要表达的意思的是指“第一区域整体被虚化的程度小于第二区域整体被虚化的程度;或者第一区域像素平均被虚化的程度小于第二区域像素平均被虚化的程度”。本领域技术人员也应当理解,目标图像的直观体现中,也可以表现为目标图像中的目标发丝的模糊程度小于背景模糊的程度,人像的模糊程度小于背景模糊的程度。
在具体实现中,背景虚化时可能也存在小部分前景像素被虚化的可能性,但前景虚化的程度会低于背景虚化的程度;因此前景可以不虚化、或者虚化程度弱于背景;背景虚化的结果是能够突出前景,如突出人像。
可选的,S3可以包括但不限于以下几个步骤,可参阅图6C。
step31:获取所述彩色图像对应的深度图。
这里的“对应”可以指的是图像场景对应,也可以指像素位置对应;分辨率也可以相同。
具体实现过程中,深度图的获得可以用TOF、结构光、双摄、或双像素(dual pixel)等方式来实现。例如双彩色摄像头对某一场景同时采集图像,根据采集的图像通过现有技术的算法得到深度图。可选的,图像的分辨率可以相同,例如都是720p;本发明中并不对镜头的分辨率以及出图方式进行限定,本领域技术人员能够想到的不违背自然规律的拍摄模组都应属于本发明中保护范围内,本实施例中不予以穷举。
可选的,深度图可以是即时拍摄的,也可以是历史拍摄得到存储下来的。
step32:根据所述深度图和所述彩色图像,得到虚化图和前景概率图。
虚化的手段可以包括但不限于圆形滤波虚化。例如,一种可能的实现方式是根据深度和当前的光圈转换成对应的滤波半径,对彩图进行低通滤波,即圆形滤波,得到虚化图。
一种可能的实现方式中,可以根据深度、当前的光圈和对焦位置得到前景概率图,前景概率图的形式可以是一个与图像像素对应的矩阵,矩阵中每一个元素表示该元素对应的像素属于前景的概率大小。其中,对焦位置可以是用户来点选或者拍照系统自动对焦的位置。
step33:将所述前景概率图中目标发丝的像素属于前景的概率提高,得到目标前景概率图。
目的是为了在对图像进行虚化处理时,尽量不虚化目标发丝的像素或减小对目标发丝的虚化程度,即尽量避免目标发丝被模糊虚化。
可选的,可以将目标发丝属于前景的概率提高到1(100%)。
step34:根据所述目标前景概率图将所述虚化图和所述彩色图像融合,得到目标图像。
不难理解,目标前景概率图、虚化图和彩色图像的像素都是一一对应的。可选的,对于任一位置像素的融合过程,可以如下:
目标图像对应位置像素=前景概率*彩色图像对应位置像素+(1---前景概率)*虚化图像对应位置像素。
可见交叠区域中,发丝像素整体被虚化的程度小于背景像素整体被虚化的程度,突出了发丝细节。
应理解,整个图像中,被识别为背景的像素的前景概率可以等于或接近于0;被识别为前景的像素的前景概率可以等于或接近于1。应理解,为了图像的流畅过度,虚化时并不会将所有的像素单一地只判定为前景和背景,因此会存在一些中间过度区域,即图像中部分像素的前景概率介于0~1之间。
背景虚化过程中,由于精确地分辨出了交叠区域中背景和发丝,因此可以使虚化过度效果更好,减少发丝背景中错误漫出的光晕,使得发丝和背景过度更为自然,提高了细节虚化效果。如图7D为现有技术处理人像时发丝背景中错误漫出光晕导致发丝与背景过度不自然的示例,相比于本发明拍摄效果的图4B而言,交叠区域内的发丝细节也被虚化处理了。可见,本发明提高了细节虚化的准确性,突出主体,为用户带来了良好的拍照体验。
可选的,在S3之后,终端的显示界面中可以只显示目标图像;或者可以同时显示目标图像和原图,这样可以直观地给用户带来视觉上的感知,由用户来决定保存哪一张;或者终端还可以将目标图像和原图都保存在相册中。
示例2---拍摄主体,突出主体在背景中交叠的细节
对于很多场景中,图像中目标主体的细节与背景之间可能存在交叠的情况,具体表现为:目标主体的像素与背景的像素均存在于一个区域内,且由于细节的像素数量较少,因此图像处理时,细节的像素究竟属于前景还是背景的区分难度较大,例如毛发常常会被现有的分割技术判定为背景,进而图像虚化处理时发丝虚化会出现误判使得图像质量变差。
示例1中的方法仅仅是一种实现方式,而本发明的思路和技术还可以应用与更为广阔的场景。拍摄主体,保留主体在背景中交叠的细节。
可选的,拍照过程中或后期虚化处理图像的过程中,拍照系统或图像软件可以先识别出来当前的目标主体属于什么类型,对应不同的类型,可以应用不同的神经网络或算法来进行不同粒度的图像分割;通过逻辑算法确定出主体在背景中交叠的细节,在预览图或出图时显示的图像表现为“突出主体,背景被虚化模糊,而主体在背景中交叠的细节没有被虚化或虚化程度较弱”。
相比于示例1,示例2提供一个更为通用的图像处理方法,该方法包括下列步骤S5-S7。
S5:获取包括目标主体(也可叫做目标对象)的彩色图像;其中,所述彩色图像包括前景和背景,所述目标主体对应于前景。
前景可以包括目标人像,应理解,目标人像并不特指某一人像,此外,前景还可以对应于指彩色图像中虚化处理时需要突出呈现的对象(如动物或其他主体对象),即不被虚化或虚化程度很弱的主体图像。目标主体可以包括但不限于:蒲公英、蒲苇、兔尾草这些植物,博美、萨摩耶、猫等小动物,毛围巾等等配饰,还有其他无法穷举的彩色图像都可以存在主体对象的细节与背景交叠的情况。在实际应用中只要主体对象的细节与背景存在交叠的情况,都可以使用本发明实施例的技术方案。
S6:在所述彩色图像中确定出目标丝状物,所述目标丝状物包括所述目标主体的丝状物与所述背景相交叠的部分。
可选地,S2可以包括以下步骤(step61-step66)。
step61:图像预处理:进行图像增强、归一化等预处理。图像预处理属于成熟的现有技术,本实施例中不予以赘述。预处理可以对彩色图像进行特征强化,使主体对象与背景之间的边缘特征更为明显,从而提高获图像分割或分析的准确性。
step62:对于预处理后的彩色图像,利用一个预设的FCN进行语义分割,得到丝状物区域,同时也得到了非丝状物区域。丝状物区域可以对应第五掩模区域(mask5)。非丝状物区域的每个像素的灰度值可以用N1表示;丝状物区域的每个像素的灰度值可以用N2表示;N1不等于N2。
step63:对第五掩模区域对应的彩色图像部分进行场景分析,如果第五掩模区域对应的RGB图像中的背景是弱纹理,可以执行步骤step641或步骤step642;如果第五掩模区域对应的RGB图像中的背景是强纹理,可以执行步骤step642。
step641:基于抠图(Matting)算法对step61得到的预处理后RGB图像进行主体分割;得到主体对象和背景。主体区域中的每个像素的灰度值可以用(N3,N4]或者[N4,N3)中的任意一个值表示,取值越接近N4,表示该像素为主体对象的概率越高,如果取值为N4,表示该像素一定为主体对象的像素。背景中的每个像素可以用N3表示。可选的,N3小于N4,N3为0,N4为255。
step642:基于预设的全卷积网络对step61得到的预处理后RGB图像进行主体分割;得到主体对象和背景。主体区域中的每个像素的灰度值可以用(N3,N4]或者[N4,N3)中的任意一个值表示,取值越接近N4,表示该像素为主体对象的概率越高,如果取值为N4,表示该像素一定为主体对象的像素。背景中的每个像素可以用N3表示。可选的,N3小于N4,N3为0,N4为255。
step65:基于step641或step642中得到的主体对象分割结果,将整个图像的像素灰度进行二值化。具体地,将100%确定是主体对象或100%确定是背景的像素逻辑上全部标记为N5,将不完全确定是主体对象或背景的像素全部标记为N6。二值化后,所有N6表示的像素组成区域可以表示逻辑上的另一个“丝状物区域”,即第六掩模区域mask6。
可选地,还可以对mask6进行膨胀,如将已是N6的像素的周围的若干个像素从N5修改为N6,此时所有N6表示的像素组成的新区域可以表示逻辑上的另一个“丝状物区域”,即第七掩模区域mask7。
可选的,N5小于N6;N5为0,N6为255;本实施例并不对N5和N6的值进行限定,任意不等的数对均可以,本发明中不予以穷举。应理解,得到mask6或mask7是为了后续更准确地确定出主体对象与背景交叠的那部分真实的丝状物。
step66:将step65中得到的mask2或mask3与step62中得到的mask5的进行同位置像素的逻辑与运算并取交集,即所有逻辑运算结果为真的像素组成的区域为目标丝状物区域mask8。mask8是比前面得到的mask5或mask6或mask7都更加精准地对应于与背景交叠的丝状物。
采用mask6得到mask8,可以使丝状物和丝状物附近的较少像素被确认为前景;在后续虚化后,丝状物附近的像素被较小程度虚化,丝状物被虚化的程度更小或者不虚化,因此丝状物与背景之间的过渡更为自然,并且保留更多的丝状物细节。
其中,N1,N2,N3,N4,N5以及N6无论为何取值,逻辑运算时的逻辑意义为真或假(如,N1、N3和N5表示假,N2、N4和N6表示真)。N1,N2,N3,N4,N5以及N6用来表征像素灰度或者概率的大小。
由于逻辑运算和图像分割的多样化,无论是通过何种方式,只要是能在图像中确定出包括目标对象与背景交叠的丝状物,都应属于本发明的实现方法与保护范围。
S7:对所述彩色图像进行虚化处理,得到目标图像;其中,所述目标丝状物被虚化的程度小于所述背景被虚化的程度,所述目标对象被虚化的程度小于所述背景被虚化的程度。
可选的,S7可以包括但不限于以下几个步骤。
step71:获取所述彩色图像对应的深度图。同步骤step31或等同替代方法。
step72:根据所述深度图和所述彩色图像,得到虚化图和前景概率图。同步骤step32或等同替代方法。
step73:将所述前景概率图中目标丝状物的像素属于前景的概率提高,得到目标前景概率图。
step74:根据所述目标前景概率图将所述虚化图和所述彩色图像融合,得到目标图像。
应理解,示例1是示例2的特殊场景,即主体对象和图像的分割方式会略有不同。而整个图像处理思路都是相同的。因此,一些方法的实现、相关术语的解释、或场景的扩展或技术的发散在本领域人技术人员可以理解的范围内,也可以适应性地参照示例1的相关部分;例如S5、S6、S7可以对应参照S1、S2、S3,step61-66对应参照step21-26,step71-74对应参照step31-34;另外相关步骤前后可能的其他实现操作也均可参照,更多的实现和细节此处不再赘述。
本发明提供了一种图像处理方法,能够从彩图中精确地确定出交叠区域中出现在背景中的“发丝级”的主体细节,使其在背景被虚化时不被当做背景虚化,可以提高虚化处理的效果。
基于上述方法的发明构思,如图8所示,本发明实施例还提供了一种图像处理装置,包括:
图像获取单元701,用于获取包含目标人像的彩色图像;其中,所述彩色图像包括前景和背景,所述目标人像对应于前景。该单元具体用于执行上述示例中S1中所提到的相关方法以及可以等同替换的方法;该单元可以由处理器调用存储器中相应的程序指令来实现。
发丝确定单元702,用于在彩色图像中确定出目标发丝,目标发丝包括目标人像的发丝与所述背景相交叠的部分。该单元具体用于执行上述示例中S2中所提到的相关方法以及可以等同替换的方法;该单元可以由处理器调用存储器中相应的程序指令来实现。
虚化处理单元703,用于对所述彩色图像进行虚化处理,得到目标图像;其中,所述目标发丝被虚化的程度小于所述背景被虚化的程度,所述目标人像被虚化的程度小于所述背景被虚化的程度。该单元具体用于执行上述示例中S3中所提到的相关方法以及可以等同替换的方法;该单元可以由处理器调用存储器中相应的程序指令来实现。
在一个可选的实现方式中,所述图像处理装置还可以包括:指令接收单元704,用于在所述图像获取单元701获取包含目标人像的彩色图像之前,接收目标对焦指令,所述目标对焦指令能够对焦所述目标人像;或者,根据指令进入目标拍照模式,所述目标拍照模式能够自动对焦所述目标人像。该单元可以由处理器调用存储器中相应的程序指令或者对外部输入指令进行响应来实现。
对应于示例2,图像获取单元701、发丝确定单元702、虚化处理单元703还可以分别执行上述示例中S5、S6和S7中所提到的相关方法以及可以等同替换的方法。
可选的,如图9所示,本发明提供了一种发丝确定单元702的实现方式,发丝确定单元702包括:
预处理模块7021,用于对图像做预处理。该模块可以具体用于执行上述示例中step21或step61中所提到的相关方法以及可以等同替换的方法;该模块可以由处理器调用存储器中相应的程序指令来实现。
第一分割模块7022,用于对于预处理后的彩色图像,利用一个预设的FCN进行语义分割,得到丝状物区域对应的包络掩模区域。该模块可以具体用于执行上述示例中step22或step62中所提到的相关方法以及可以等同替换的方法;该模块可以由处理器调用存储器中相应的程序指令来实现。
纹理判断模块7023,用于对丝状物掩模区域对应的彩色图像部分进行场景分析。该模块可以具体用于执行上述示例中step23或step63中所提到的相关方法以及可以等同替换的方法;该模块可以由处理器调用存储器中相应的程序指令来实现。
第二分割模块7024,用于如果场景分析结果是弱纹理,基于抠图(Matting)算法对预处理后图像进行主体分割;得到主体对象;如果场景分析结果是强纹理,基于预设的全卷积网络对预处理后图像进行主体分割;得到主体对象。该模块可以具体用于执行上述示例中step241、step242、step641或step642中所提到的相关方法以及可以等同替换的方法;该模块可以由处理器调用存储器中相应的程序指令来实现。
重标记模块7025,用于基于得到的主体对象分割结果,将整个图像的像素灰度进行二值化。该模块可以具体用于执行上述示例中step25或step65中所提到的相关方法以及可以等同替换的方法;该模块可以由处理器调用存储器中相应的程序指令来实现。
逻辑模块7026,用于根据二值化后的图像以及丝状物掩模区域得到目标丝状物。该模块可以具体用于执行上述示例中step26或step66中所提到的相关方法以及可以等同替换的方法;该模块可以由处理器调用存储器中相应的程序指令来实现。
可选的,如图10所示,本发明提供了一种虚化处理单元703的实现方式,虚化处理单元703包括:
深度信息获取模块7031,用于获取彩色图像对应的深度图。该模块可以具体用于执行上述示例中step31或step71中所提到的相关方法以及可以等同替换的方法;该模块可以由处理器调用存储器中相应的程序指令来实现。
第一计算模块7032,用于根据所述深度图和所述彩色图像,得到虚化图和前景概率图。该模块可以具体用于执行上述示例中step32或step72中所提到的相关方法以及可以等同替换的方法;该模块可以由处理器调用存储器中相应的程序指令来实现。
第二计算模块7033,用于将所述前景概率图中目标丝状物的像素属于前景的概率提高,得到目标前景概率图。该模块可以具体用于执行上述示例中step33或step73中所提到的相关方法以及可以等同替换的方法;该模块可以由处理器调用存储器中相应的程序指令来实现。
融合模块7034,用于根据所述目标前景概率图将所述虚化图和所述彩色图像融合,得到目标图像。该模块可以具体用于执行上述示例中step34或step74中所提到的相关方法以及可以等同替换的方法;该模块可以由处理器调用存储器中相应的程序指令来实现。
其中,上述具体的方法示例以及实施例中技术特征的解释、表述、以及多种实现形式的扩展也适用于装置中相应的方法执行,装置实施例中不予以赘述。
应理解以上装置中的各个模块的划分仅仅是一种逻辑功能的划分,实际实现时可以全部或部分集成到一个物理实体上,也可以物理上分开。例如,以上各个模块可以为单独设立的处理元件,也可以集成在终端的某一个芯片中实现,此外,也可以以程序代码的形式存储于控制器的存储元件中,由处理器的某一个处理元件调用并执行以上各个模块的功能。此外各个模块可以集成在一起,也可以独立实现。这里所述的处理元件可以是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。该处理元件可以是通用处理器,例如中央处理器(英文:central processing unit,简称:CPU),还可以是被配置成实施以上方法的一个或多个集成电路,例如:一个或多个特定集成电路(英文:application-specific integrated circuit,简称:ASIC),或,一个或多个微处理器(英文:digital signal processor,简称:DSP),或,一个或者多个现场可编程门阵列(英文:field-programmable gate array,简称:FPGA)等。
应理解本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的部分实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括已列举实施例以及落入本发明范围的所有变更和修改。显然,本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也包含这些改动和变型在内。

Claims (15)

1.一种图像处理方法,其特征在于,所述方法包括:
获取包含目标人像的彩色图像;其中,所述彩色图像包括前景和背景,所述目标人像对应于前景;
在所述彩色图像中确定出目标发丝,所述目标发丝包括所述目标人像的发丝与所述背景相交叠的部分;所述在所述彩色图像中确定出目标发丝包括:对所述彩色图像进行语义分割,得到第一掩模区域;其中,所述第一掩模区域包括出现在背景中的发丝以及所述出现在背景中的发丝附近的背景;对所述彩色图像进行处理,得到第一人像区域;其中,所述第一人像区域包括所述出现在背景中的发丝;根据所述第一掩模区域和所述第一人像区域确定所述目标发丝;
对所述彩色图像进行虚化处理,得到目标图像;其中,所述目标发丝被虚化的程度小于所述背景被虚化的程度,所述目标人像被虚化的程度小于所述背景被虚化的程度。
2.根据权利要求1所述方法,其特征在于,所述获取包含目标人像的彩色图像之前还包括:
接收目标对焦指令,所述目标对焦指令能够对焦所述目标人像;或者,
根据指令进入目标拍照模式,所述目标拍照模式能够自动对焦所述目标人像。
3.根据权利要求1或2所述方法,其特征在于,所述对所述彩色图像进行虚化处理,得到目标图像包括:
获取所述彩色图像对应的深度图;
根据所述深度图和所述彩色图像,得到虚化图和前景概率图;
将所述前景概率图中目标发丝的像素属于前景的概率提高,得到目标前景概率图;
根据所述目标前景概率图将所述虚化图和所述彩色图像融合,得到目标图像。
4.根据权利要求3所述方法,其特征在于,若所述第一掩模区域对应的图像为强纹理,所述强纹理为图像复杂度较高的纹理,所述对所述彩色图像进行处理,得到第一人像区域,包括:
使用预设神经网络对所述彩色图像进行人像分割,得到第一人像区域;其中,所述第一人像区域对应所述目标人像。
5.根据权利要求3所述方法,其特征在于,若所述第一掩模区域对应的图像为弱纹理,所述弱纹理为图像复杂度较低的纹理,所述对所述彩色图像进行处理,得到第一人像区域,包括:
对所述彩色图像进行人像抠图处理,得到第一人像区域。
6.一种图像处理装置,其特征在于,包括:
图像获取单元,用于获取包含目标人像的彩色图像;其中,所述彩色图像包括前景和背景,所述目标人像对应于前景;
发丝确定单元,用于在所述彩色图像中确定出目标发丝,所述目标发丝包括所述目标人像的发丝与所述背景相交叠的部分;所述发丝确定单元,用于对所述彩色图像进行语义分割,得到第一掩模区域;其中,所述第一掩模区域包括出现在背景中的发丝以及所述出现在背景中的发丝附近的背景;对所述彩色图像进行处理,得到第一人像区域;其中,所述第一人像区域包括所述出现在背景中的发丝;根据所述第一掩模区域和所述第一人像区域确定所述目标发丝;
虚化处理单元,用于对所述彩色图像进行虚化处理,得到目标图像;其中,所述目标发丝被虚化的程度小于所述背景被虚化的程度,所述目标人像被虚化的程度小于所述背景被虚化的程度。
7.根据权利要求6所述图像处理装置,其特征在于,所述图像处理设备还包括:
指令接收单元,用于在所述图像获取单元获取包含目标人像的彩色图像之前,接收目标对焦指令,所述目标对焦指令能够对焦所述目标人像;或者,根据指令进入目标拍照模式,所述目标拍照模式能够自动对焦所述目标人像。
8.根据权利要求6或7所述图像处理装置,其特征在于,所述虚化处理单元具体用于:
获取所述彩色图像对应的深度图;
根据所述深度图和所述彩色图像,得到虚化图和前景概率图;
将所述前景概率图中目标发丝的像素属于前景的概率提高,得到目标前景概率图;
根据所述目标前景概率图将所述虚化图和所述彩色图像融合,得到目标图像。
9.根据权利要求8所述图像处理装置,其特征在于,若所述第一掩模区域对应的图像为强纹理,所述强纹理为图像复杂度较高的纹理,所述发丝确定单元具体用于:
使用预设神经网络对所述彩色图像进行人像分割,得到第一人像区域;其中,所述第一人像区域对应所述目标人像。
10.根据权利要求8所述图像处理装置,其特征在于,若所述第一掩模区域对应的图像为弱纹理,所述弱纹理为图像复杂度较低的纹理,所述发丝确定单元具体用于:
对所述彩色图像进行人像抠图处理,得到第一人像区域。
11.一种终端设备,其特征在于,所述终端设备包括存储器、处理器、总线、摄像头;所述存储器、所述处理器和所述摄像头通过所述总线相连;
所述存储器用于存储计算机程序和指令;
所述摄像头用于采集图像;
所述处理器用于控制所述摄像头采集图像,还用于调用所述存储器中存储的所述计算机程序和指令,并用于执行如权利要求1~5中任一项所述方法。
12.如权利要求11所述的终端设备,所述终端设备还包括天线系统、所述天线系统在处理器的控制下,收发无线通信信号实现与移动通信网络的无线通信;所述移动通信网络包括以下的一种或多种:GSM网络、CDMA网络、3G网络、4G网络、5G网络、FDMA、TDMA、PDC、TACS、AMPS、WCDMA、TDSCDMA、WIFI以及LTE网络。
13.一种计算机存储介质,其特征在于,所述计算机超出介质中包括指令,当所述指令在硬件设备上运行时,使得所述硬件设备执行如权利要求1至5任一权利要求所述的方法。
14.一种图像处理方法,其特征在于,所述方法包括:
获取包含目标对象的彩色图像;其中,所述彩色图像包括前景和背景,所述目标对象对应于前景;
在所述彩色图像中确定出目标丝状物,所述目标丝状物包括所述目标对象的边缘的丝状物与所述背景相交叠的部分;所述在所述彩色图像中确定出目标丝状物包括:对所述彩色图像进行语义分割,得到第五掩模区域;对所述彩色图像进行处理,得到主体对象分割结果;根据所述主体对象分割结果和所述第五掩模区域确定所述目标丝状物;
对所述彩色图像进行虚化处理,得到目标图像;其中,所述目标丝状物被虚化的程度小于所述背景被虚化的程度,所述目标对象被虚化的程度小于所述背景被虚化的程度。
15.一种图像处理装置,其特征在于,所述装置包括:
图像获取单元,用于获取包含目标对象的彩色图像;其中,所述彩色图像包括前景和背景,所述目标对象对应于前景;
发丝确定单元,用于在所述彩色图像中确定出目标丝状物,所述目标丝状物包括所述目标对象的边缘丝状物与所述背景相交叠的部分;所述发丝确定单元,用于:对所述彩色图像进行语义分割,得到第五掩模区域;对所述彩色图像进行处理,得到主体对象分割结果;根据所述主体对象分割结果和所述第五掩模区域确定所述目标丝状物;
虚化处理单元,用于对所述彩色图像进行虚化处理,得到目标图像;其中,所述目标丝状物被虚化的程度小于所述背景被虚化的程度,所述目标对象被虚化的程度小于所述背景被虚化的程度。
CN201910230214.0A 2019-03-25 2019-03-25 图像处理方法以及相关设备 Active CN111539960B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201910230214.0A CN111539960B (zh) 2019-03-25 2019-03-25 图像处理方法以及相关设备
EP20776790.6A EP3937129A4 (en) 2019-03-25 2020-03-25 IMAGE PROCESSING METHOD AND IMAGE DEVICE
PCT/CN2020/081129 WO2020192692A1 (zh) 2019-03-25 2020-03-25 图像处理方法以及相关设备
US17/484,063 US20220012851A1 (en) 2019-03-25 2021-09-24 Image processing method and related device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910230214.0A CN111539960B (zh) 2019-03-25 2019-03-25 图像处理方法以及相关设备

Publications (2)

Publication Number Publication Date
CN111539960A CN111539960A (zh) 2020-08-14
CN111539960B true CN111539960B (zh) 2023-10-24

Family

ID=71974890

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910230214.0A Active CN111539960B (zh) 2019-03-25 2019-03-25 图像处理方法以及相关设备

Country Status (4)

Country Link
US (1) US20220012851A1 (zh)
EP (1) EP3937129A4 (zh)
CN (1) CN111539960B (zh)
WO (1) WO2020192692A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114520866B (zh) * 2020-11-19 2024-06-07 深圳市万普拉斯科技有限公司 图像散景处理方法、电子设备和存储介质
CN112651931B (zh) * 2020-12-15 2024-04-26 浙江大华技术股份有限公司 建筑物变形监测方法、装置和计算机设备
CN115379194B (zh) * 2021-05-19 2024-06-04 北京小米移动软件有限公司 深度图像的量化方法及装置、终端设备、存储介质
CN113342396B (zh) * 2021-06-07 2023-05-05 金陵科技学院 Android系统图像识别中目标可前置选择的方法
CN114677291B (zh) * 2022-02-25 2023-05-12 荣耀终端有限公司 一种图像处理方法、装置及相关设备
CN117099124A (zh) * 2022-03-16 2023-11-21 谷歌有限责任公司 使用机器学习的选择性图像模糊
CN116051362B (zh) * 2022-08-24 2023-09-15 荣耀终端有限公司 图像处理方法及电子设备
CN117218042B (zh) * 2023-11-09 2024-02-20 广东蛟龙电器有限公司 一种发质类型视觉分析检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102103690A (zh) * 2011-03-09 2011-06-22 南京邮电大学 一种自动的头发区域分割方法
CN104417246A (zh) * 2013-09-06 2015-03-18 上海汽车集团股份有限公司 具有立体金属质感拉丝纹的饰件及其制备方法
CN104978708A (zh) * 2015-04-24 2015-10-14 云南大学 交互式绝版套色木刻数字合成技术
CN105139438A (zh) * 2014-09-19 2015-12-09 电子科技大学 视频人脸卡通动画生成方法
CN107977940A (zh) * 2017-11-30 2018-05-01 广东欧珀移动通信有限公司 背景虚化处理方法、装置及设备
CN109285178A (zh) * 2018-10-25 2019-01-29 北京达佳互联信息技术有限公司 图像分割方法、装置及存储介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8659697B2 (en) * 2010-11-11 2014-02-25 DigitalOptics Corporation Europe Limited Rapid auto-focus using classifier chains, MEMS and/or multiple object focusing
AU2014229498B2 (en) * 2013-03-13 2018-07-05 Fdna Inc. Systems, methods, and computer-readable media for identifying when a subject is likely to be affected by a medical condition
CN103473780B (zh) * 2013-09-22 2016-05-25 广州市幸福网络技术有限公司 一种人像背景抠图的方法
US9105088B1 (en) * 2013-10-04 2015-08-11 Google Inc. Image blur with preservation of detail
US9131150B1 (en) * 2014-06-06 2015-09-08 Amazon Technologies, Inc. Automatic exposure control and illumination for head tracking
US10217195B1 (en) * 2017-04-17 2019-02-26 Amazon Technologies, Inc. Generation of semantic depth of field effect
CN108053363A (zh) * 2017-11-30 2018-05-18 广东欧珀移动通信有限公司 背景虚化处理方法、装置及设备
US10535141B2 (en) * 2018-02-06 2020-01-14 Google Llc Differentiable jaccard loss approximation for training an artificial neural network
KR102192899B1 (ko) * 2018-08-16 2020-12-18 주식회사 날비컴퍼니 이미지에 보케 효과를 적용하는 방법 및 기록매체
US11315298B2 (en) * 2019-03-25 2022-04-26 Disney Enterprises, Inc. Personalized stylized avatars
US11195283B2 (en) * 2019-07-15 2021-12-07 Google Llc Video background substraction using depth
US11954828B2 (en) * 2021-10-14 2024-04-09 Lemon Inc. Portrait stylization framework using a two-path image stylization and blending

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102103690A (zh) * 2011-03-09 2011-06-22 南京邮电大学 一种自动的头发区域分割方法
CN104417246A (zh) * 2013-09-06 2015-03-18 上海汽车集团股份有限公司 具有立体金属质感拉丝纹的饰件及其制备方法
CN105139438A (zh) * 2014-09-19 2015-12-09 电子科技大学 视频人脸卡通动画生成方法
CN104978708A (zh) * 2015-04-24 2015-10-14 云南大学 交互式绝版套色木刻数字合成技术
CN107977940A (zh) * 2017-11-30 2018-05-01 广东欧珀移动通信有限公司 背景虚化处理方法、装置及设备
CN109285178A (zh) * 2018-10-25 2019-01-29 北京达佳互联信息技术有限公司 图像分割方法、装置及存储介质

Also Published As

Publication number Publication date
EP3937129A1 (en) 2022-01-12
EP3937129A4 (en) 2022-05-04
CN111539960A (zh) 2020-08-14
US20220012851A1 (en) 2022-01-13
WO2020192692A1 (zh) 2020-10-01

Similar Documents

Publication Publication Date Title
CN111539960B (zh) 图像处理方法以及相关设备
CN109816663B (zh) 一种图像处理方法、装置与设备
CN109961453B (zh) 一种图像处理方法、装置与设备
CN111885294B (zh) 一种拍摄方法、装置与设备
US9451173B2 (en) Electronic device and control method of the same
US11410344B2 (en) Method for image generation, electronic device, and storage medium
CN110264473B (zh) 基于多帧图像的图像处理方法、装置及电子设备
US20240153209A1 (en) Object Reconstruction Method and Related Device
CN113810588B (zh) 一种图像合成方法、终端及存储介质
CN115131419A (zh) 一种形成丁达尔光效的图像处理方法及电子设备
CN110072057B (zh) 图像处理方法及相关产品
US11403788B2 (en) Image processing method and apparatus, electronic device, and storage medium
CN117061861B (zh) 一种拍摄方法、芯片系统和电子设备
CN114418914A (zh) 图像处理方法、装置、电子设备及存储介质
CN116363017B (zh) 图像处理方法及装置
CN111325148A (zh) 遥感影像的处理方法、装置、设备和存储介质
RU2791810C2 (ru) Способ, аппаратура и устройство для обработки и изображения
CN114245011B (zh) 图像处理方法、用户界面及电子设备
RU2794062C2 (ru) Устройство и способ обработки изображения и оборудование
CN112116523B (zh) 针对人像头发的图像处理方法、装置、终端及介质
CN114998957A (zh) 自动曝光数据处理方法、装置、设备及系统
CN117271817A (zh) 生成分享素材的方法及装置、设备、存储介质
CN117119318A (zh) 图像处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant