CN117859150A - 图像处理方法及装置、电子设备、存储介质 - Google Patents
图像处理方法及装置、电子设备、存储介质 Download PDFInfo
- Publication number
- CN117859150A CN117859150A CN202280004313.7A CN202280004313A CN117859150A CN 117859150 A CN117859150 A CN 117859150A CN 202280004313 A CN202280004313 A CN 202280004313A CN 117859150 A CN117859150 A CN 117859150A
- Authority
- CN
- China
- Prior art keywords
- image
- sub
- blurring
- facula
- spot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 13
- 230000000694 effects Effects 0.000 claims abstract description 82
- 238000000034 method Methods 0.000 claims abstract description 63
- 238000012545 processing Methods 0.000 claims abstract description 63
- 230000004927 fusion Effects 0.000 claims abstract description 61
- 230000000875 corresponding effect Effects 0.000 claims description 19
- 230000002596 correlated effect Effects 0.000 claims description 6
- 238000000926 separation method Methods 0.000 claims description 5
- 239000000758 substrate Substances 0.000 claims 2
- 238000009877 rendering Methods 0.000 description 35
- 230000008569 process Effects 0.000 description 29
- 238000010586 diagram Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 230000002776 aggregation Effects 0.000 description 3
- 238000004220 aggregation Methods 0.000 description 3
- 238000007499 fusion processing Methods 0.000 description 3
- 238000007500 overflow downdraw method Methods 0.000 description 3
- 238000011282 treatment Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 125000001475 halogen functional group Chemical group 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 235000021453 onion ring Nutrition 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
一种图像处理方法及装置、电子设备、存储介质。该方法包括:获取原始图像的光斑子图像和非光斑子图像,该光斑子图像包含位于光斑区域的画面内容、该非光斑子图像包含位于非光斑区域的画面内容(102);对该光斑子图像和该非光斑子图像分别进行图像模糊,并对经由模糊处理的光斑子图像和经由模糊处理的非光斑子图像进行图像融合,得到具备柔焦效果的图像(104)。
Description
本公开涉及终端技术领域,尤其涉及一种图像处理方法及装置、电子设备、存储介质。
柔焦效果是一种营造唯美、旖旎氛围的图像效果,深受用户的喜爱。
在相关技术中,用户通常通过在摄像头的拍摄端装配柔焦镜片的方式,在图像中实现柔焦效果。该方式依赖于实体配件,需要用户随身携带相应的柔焦镜片,否则将无法在图像中实现柔焦效果。
发明内容
本公开提供一种图像处理方法及装置、电子设备、存储介质,能够在不借助任何配件的情况下,实现柔焦效果。
根据本公开的第一方面,提供一种图像处理方法,包括:
获取原始图像的光斑子图像和非光斑子图像,所述光斑子图像包含位于光斑区域的画面内容、所述非光斑子图像包含位于非光斑区域的画面内容;
对所述光斑子图像和所述非光斑子图像分别进行图像模糊,并对经由模糊处理的光斑子图像和经由模糊处理的非光斑子图像进行图像融合,得到具备柔焦效果的图像。
根据本公开的第二方面,提供一种图像处理装置,包括:
获取单元,获取原始图像的光斑子图像和非光斑子图像,所述光斑子图像包含位于光斑区域的画面内容、所述非光斑子图像包含位于非光斑区域的画面内容;
模糊单元,对所述光斑子图像和所述非光斑子图像分别进行图像模糊,并对经 由模糊处理的光斑子图像和经由模糊处理的非光斑子图像进行图像融合,得到具备柔焦效果的图像。
根据本公开的第三方面,提供一种电子设备,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器通过运行所述可执行指令以实现如第一方面所述的方法。
根据本公开的第四方面,提供一种计算机可读存储介质,其上存储有计算机指令,该指令被处理器执行时实现如第一方面所述方法的步骤。
在本公开的技术方案中,在获取原始图像之后,可以进一步获取原始图像的光斑子图像和非光斑子图像。在此基础上,即可对光斑子图像和非光斑子图像分别进行图像模糊,并对经由模糊处理的光斑子图像和经由模糊处理的非光斑子图像进行图像融合,以得到具备柔焦效果的图像。
应当理解的是,光斑子图像展现的为光斑所在区域的画面内容,而非光斑子图像展现的为光斑以外的其他区域的画面内容,对两者分别进行图像模糊,相当于对光斑所在区域进行了针对性的模糊处理,使通过图像融合得到图像中呈现柔焦效果,避免了相关技术中需要额外携带配件,才能够实现柔焦效果的问题。
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
图1是本公开一示例性实施例示出的一种图像处理方法的流程图;
图2是本公开一示例性实施例示出的一种图像处理过程中执行各个图像处理操作的示意图;
图3A是本公开一示例性实施例示出的一种方形模糊核的示意图;
图3B是本公开一示例性实施例示出的一种双环形模糊核以及核环形模糊核的示意图;
图4是本公开一示例性实施例示出的一种图像处理装置的框图;
图5是本公开一示例性实施例示出的另一种图像处理装置的框图;
图6是本公开一示例性实施例中一种电子设备的结构示意图。
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在本公开使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本公开可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本公开范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
柔焦效果是一种营造唯美、旖旎氛围的图像效果。相关技术为了在图像中实现柔焦效果,通常采用前期或后期两种方式。
其中,在采用前期方式时,用户需要额外准备柔焦镜片这一拍摄配件,并在进行图像拍摄之前,将其装配于摄像头的拍摄端。在实际拍摄过程中,即可通过柔焦镜片改变光线的光路,使得最终成像呈现出柔焦效果。
而在采用后期方式时,用户在拍摄得到原始图像后,还需将原始图像导入相应的图像处理软件,如PS(Photoshop)中,通过该软件中的各种修图工具,对原始图像进行调整,以使调整后的图像产生柔焦效果。
不难看出,相关技术在采用前期方式实现柔焦效果时,需要额外携带配件,不仅增加了拍摄成本,且柔焦效果取决于原始图像的成像数据,后期调整空间较小。而在采用后期方式实现柔焦效果时,不仅需要额外借助图像处理软件,且用户需要额外执行图像导入、修图等操作,操作极为繁琐。
为此,本公开提出了一种图像处理方法,能够在无需用户执行额外处理的前提 下,实现柔焦效果。
图1为本公开一示例性实施例示出的一种图像处理方法。如图1所示,该方法可以包括以下步骤:
步骤102,获取原始图像的光斑子图像和非光斑子图像,所述光斑子图像包含位于光斑区域的画面内容、所述非光斑子图像包含位于非光斑区域的画面内容。
由上述介绍可知,相关技术无论是采用前期方式,还是后期方式实现柔焦效果,均需要用户进行额外的操作,如在采用前期方式时,需要携带并装配柔焦滤镜;而在采用后期方式时,则需要进行图像导入、修图等操作。
有鉴于此,本公开既不采用装配柔焦镜片的方式实现柔焦效果,又不采用后期修图的方式实现柔焦效果。
在本公开中,在获取原始图像的基础上,还可以进一步获取该原始图像的光斑子图像和非光斑子图像,其中,光斑子图像包含原始图像中位于光斑区域的画面内容,而非光斑子图像包含原始图像中位于非光斑区域的画面内容。
在获得光斑子图像和非光斑子图像之后,即可对两者分别进行图像模糊,以使两者均出现朦胧的观感。其中,由于光斑区域亮度较高,因而在对光斑子图像进行模糊处理后,即可使光斑子图像产生高光晕染的效果。在此基础上,对经由模糊处理的光斑子图像和非光斑子图像进行图像融合后,在融合得到的图像中,光斑区域呈现高光晕染的效果,而非光斑区域呈现朦胧的效果,两者形成对比,实现了柔焦效果。
应当理解的是,本公开在实现柔焦效果的过程中,既无需借助任何实体配件,又无需用户进行额外的操作,避免了相关技术在实现柔焦效果时,需要用户进行额外操作的问题。
在本公开中,可以通过多种方式获取原始图像的光斑子图像和非光斑子图像。在一实施例中,可以优先获取用于表征光斑区域在原始图像中所处位置的光斑掩膜图像,再基于该光斑掩膜图像对原始图像进行图像分离,以得到光斑子图像和非光斑子图像。应当理解的是,光斑所处位置相较于其他位置的亮度是存在差异的,因此,可以根据原始图像中各个像素的亮度值,生成该光斑掩膜图像,例如,可以优先获取原始图像的亮度图,再基于亮度图中各个像素点的亮度值生成光斑掩膜图像。
当然,该举例仅是示意性的,具体如何获取光斑子图像和非光斑子图像,可由本领域技术人员根据实际需求确定,例如,在算法足够成熟的情况下,也可以直接基 于原始图像、或原始图像的亮度图计算得到光斑子图像和非光斑子图像,本公开对此不作限制。
步骤104,对所述光斑子图像和所述非光斑子图像分别进行图像模糊,并对经由模糊处理的光斑子图像和经由模糊处理的非光斑子图像进行图像融合,得到具备柔焦效果的图像。
在本公开中,在分离得到光斑子图像和非光斑子图像后,即可分别对光斑子图像和非光斑子图像进行模糊处理。
在本公开中,可以采用不同的模糊策略对光斑子图像和非光斑子图像进行图像模糊。应当理解的是,由于采用了不同的模糊策略,使得光斑子图像和非光斑子图像在经由模糊处理后,模糊效果存在一定差异,两者形成对比。具体的,由于光斑区域的亮度高于非光斑区域,因此,可以达到从视觉上凸显光斑的效果,加强了柔焦效果。
在一实施例中,光斑子图像和非光斑子图像采用的不同模糊策略可以为:不同的模糊核(也可以称作模糊窗口)。换言之,在进行图像模糊之前,本公开可以优先为光斑子图像和非光斑子图像配置不同的模糊核,再基于配置的模糊核为光斑子图像和非光斑子图像进行图像模糊。
在本实施例中,可以根据实际需求为光斑子图像和非光斑子图像配置不同的模糊核。例如,为光斑子图像和非光斑子图像配置的模糊核可以为:不同的模糊核形状,如菱形、圆形、环形、方形等;再例如,为光斑子图像和非光斑子图像配置模糊核可以为:不同的模糊核尺寸,即两子图像采用的模糊核大小不同。当然,为光斑子图像和非光斑子图像配置的模糊核也可以在形状、尺寸两个维度上均存在不同,具体如何配置可由本领域技术人员根据实际情况确定,本公开对此不作限制。
应当理解的是,光晕的形状(在光斑区域即为光斑的形状)取决于模糊操作时采用的模糊核形状,因此,通过为光斑子图像和非光斑子图像配置不同形状的模糊核的方式,能够使光斑区域的光斑形状与非光斑区域的光晕形状(也可以视为亮度较小的光斑,其相较于背景画面亮度较高,但相较于光斑亮度又较小,因此,通常不会被识别为光斑区域)形成对比,达到凸显光斑形状的效果。
在本实施例中,在为光斑子图像和非光斑子图像配置不同模糊核时,实际可以为光斑子图像和非光斑子图像中的各个像素点均配置一模糊核。而光斑子图像中的像素点的模糊核的形状可以与非光斑子图像中的像素点的模糊核存在差别。例如,可以 将光斑子图像中的像素点的模糊核配置为双环形模糊核,将非光斑子图像中的像素点的模糊核配置为环形模糊核,其中,对于光斑子图像中的任一像素点,可以优先确定该任一像素点的第一模糊半径、第二模糊半径,以及第三模糊半径,且第一模糊半径大于第二模糊半径、第二模糊半径大于第三模糊半径,以基于三个模糊半径决定该任一像素点的双环形模糊核;而对于非光斑子图像中的任一像素点,可以优先确定该任一像素点的第四模糊半径和第五模糊半径,且第四模糊半径大于第五模糊半径,以基于两个模糊半径决定该任一像素点的环形模糊核。在应用中,可以通过多种方式确定上述多个模糊半径,例如,在光斑子图像中,可以为各个像素点配置模糊半径R,一方面将该模糊半径R作为相应像素点的第一模糊半径,另一方面将(R-1)作为相应像素点的第二模糊半径、将(R-2)作为相应像素点的第三模糊半径;相类似的,在非光斑子图像中,也可以为各个像素点配置模糊半径R,一方面将该模糊半径R作为相应像素点的第四模糊半径,另一方面将(R-1)作为相应像素点的第五模糊半径。当然,该举例仅是示意性的,具体如何确定双环形模糊核和环形模糊核的多个模糊半径,可由本领域技术人员根据实际情况确定,本公开对此不作限制。
在另一实施例中,光斑子图像和非光斑子图像采用的不同模糊策略可以为:不同的模糊算法,换言之,可以对光斑子图像和非光斑子图像分别采用不同的模糊算法进行图像模糊。其中,光斑子图像采用的模糊算法的模糊效果,可以优于所述非光斑子图像采用的模糊算法。应当理解的是,图像的柔焦效果多体现于光斑所在区域,因此,采用模糊效果相对优秀的模糊算法对光斑子图像进行图像模糊,能够保证最终得到的柔焦效果。
在本实施例中,由于算法原理及算法复杂程度的影响,通常情况下,模糊效果的优劣程度,通常与模糊算法的功耗呈负相关,因此,本实施例中光斑子图像采用的模糊算法的功耗,通常高于非光斑子图像采用的模糊算法。应当理解的是,对于柔焦效果体现不明显的非光斑区域,即便采用效果较差的模糊算法,已然能够使最终图像呈现较好的柔焦效果,因此,通过该方式,可以在保证柔焦效果的前提下,避免模糊操作功耗过高的问题。
在本实施例中,由于光斑所在区域一般为无纹理区域,而打散模糊算法相较于聚集模糊算法,在对无纹理区域进行图像模糊时,具有更优的鲁棒性,因此,采用打散模糊算法对光斑子图像进行模糊处理,相较于采用聚集模糊算法对光斑子图像进行模糊处理,模糊效果更佳。与此相对应的是,聚集模糊算法相较于打散模糊算法,并 行性更好,可以移植至低功耗平台运行,致使聚集模糊算法相较于打散模糊算法功耗更低。鉴于此,本实施例中光斑子图像采用的模糊算法可以为打散模糊算法,而非光斑子图像采用的模糊算法可以为聚集模糊算法。当然,该举例仅是示意性的,光斑子图像和非光斑子图像分别采用何种模糊算法,可由本领域技术人员根据实际需求确定,本公开对此不作限制。
在又一实施例中,光斑子图像和非光斑子图像采用的不同模糊策略可以为:不同的模糊权重。换言之,可以采用不同的模糊权重对光斑子图像和非光斑子图像分别进行图像模糊。其中,任一像素点的模糊权重用于表征该任一像素点的像素值对自身及其邻域像素点的模糊操作的影响程度。在本实施例中,光斑子图像中采用的模糊权重可以大于非光斑子图像采用的模糊权重。例如,可以将光斑子图像中的像素点的模糊权重配置为400,而将非光斑子图像的像素点的模糊权重配置为10。
应当理解的是,任一像素点的模糊权重用于表征该任一像素点的像素值对自身及其邻域像素点的模糊操作的影响程度,意味着经由模糊处理后的像素点的像素值,受到所采用的模糊核内权重更高的像素点的像素值影响更大。因此,为光斑子图像配置更高的模糊权重,相当于在图像模糊过程中,增强了光斑所在区域的像素点的像素值,对自身及其邻域像素点的像素值的影响程度,从视觉角度上能够凸显光斑的形状,进而加强柔焦效果。
在本公开中,在进行图像模糊之前,可以优先确定出被摄主体在原始图像中的目标区域,以根据该目标区域确定各个像素点的模糊核。例如,在确定出目标区域后,可以进一步获取原始图像中各个像素点与该目标区域的深度信息差值,并基于该深度信息差值确定相应像素点的模糊核。在此基础上,即可基于光斑区域中的像素点的模糊核,对光斑子图像进行图像模糊;以及,基于非光斑区域中的像素点的模糊核,对非光斑子图像进行图像模糊。其中,任一像素点的模糊核尺寸,可以与该任一像素点和目标区域的深度信息差值呈正相关。
应当理解的是,在图像模糊处理的过程中,任一像素点的模糊核尺寸直接决定了该任一像素点的模糊程度,且模糊程度与模糊核尺寸呈正相关。因此,为上述深度信息差值更大的像素点配置更大的模糊核尺寸,意味着与被摄主体的物理距离越远的区域,模糊程度越高,实现了模糊程度随景深增大而不断增大的效果。
在实际配置的过程中,可以约束模糊核的形状为环形或圆形,在该情况下,只需根据各个像素点与目标区域的深度信息差值,为相应像素点配置模糊半径即可。其 中,在约束的形状为环形时,可以使具备柔焦效果的图像中的光斑呈现环形,或者说洋葱圈形,较好地还原了相关技术中通过柔焦镜片实现的柔焦效果。
在本公开中,可以通过多种方式确定出上述目标区域。例如,可以获取原始图像中各个像素点的深度信息,以根据该深度信息确定出该目标区域,需要声明的是,本实施例可以采用任一种方式,获取原始图像中各个像素点的深度信息,本公开对此不作限制。再例如,可以对原始图像进行内容识别,以确定出目标区域,譬如,当原始图像为人像图像时,可以对原始图像进行人像识别,以确定出目标区域。当然,上述确定目标区域的方式均是示意性的,具体如何确定目标区域,可由本领域技术人员根据实际情况确定,本公开对此不作限制。
在本公开中,在对光斑子图像和非光斑子图像均进行图像模糊之后,即可对两者进行图像融合,以得到具备柔焦效果的图像。
在一种情况下,在分别对光斑子图像和非光斑子图像进行图像模糊后,本公开既可以直接对经由模糊处理得到的光斑子图像和经由模糊处理的非光斑子图像进行图像融合,以得到具备柔焦效果的图像,换言之,可以在不对经由模糊处理的光斑子图像和经由模糊处理的非光斑子图像做任何额外处理的情况下,便进行图像融合,并将融合得到的图像作为图像处理得到的图像。
在另一种情况下,可以在对经由模糊处理后的光斑子图像和非光斑子图像进行额外处理后,再对处理后的图像进行图像融合。例如,本公开可以将上文所述的针对光斑子图像和非光斑子图像分别执行的模糊处理称作初次模糊处理。那么,在对两子图像完成初次模糊处理后,一方面,可以对经由初次模糊处理的光斑子图像和经由初次模糊处理的非光斑子图像进行图像融合,以得到第一融合图像;另一方面,可以对经由初次模糊处理的非光斑子图像进行二次图像模糊,再将经由二次模糊处理的非光斑子图像与经由初次模糊处理的光斑子图像进行图像融合,得到第二融合图像。在此基础上,再对第一融合图像和第二融合图像进行柔焦融合,以得到柔焦图像。应当理解的是,在该情况下,针对光斑子图像和非光斑子图像进行初次图像模糊时,可以如上文所述,采用不同的模糊策略。
在该情况下,在第一融合图像中,无论是光斑区域还是非光斑区域,均未执行额外的图像模糊操作;在第二融合图像中,光斑所在区域未执行额外的图像模糊操作,而非光斑区域则额外进行了一次图像模糊操作。应当理解的是,光斑区域的高光晕染效果,需要非光斑区域的朦胧感衬托,才能够展现柔焦效果,因此,为非光斑区域额 外执行一次图像模糊操作,可以提高非光斑区域的朦胧感,强化柔焦效果。而光斑区域的亮度较高,边缘存在一定的锐度,若对其也进行额外的图像模糊操作,将削弱光斑区域的锐度,不仅无法凸显光斑形状,且易破坏高光晕染的效果。可见,通过该图像融合方式,能够在强化柔焦效果的同时,避免光斑区域的锐度被弱化。
在本公开中,在图像融合得到柔焦图像时,可以根据实际情况采用任一种图像融合方式。在实际应用中,为了达到较好的柔焦效果,可以采用柔焦融合的方式进行图像融合,例如,可以在调整透明度、饱和度等参数后,再进行图像融合;再例如,可以采用滤色融合、正片叠底等融合方式进行图像融合。当然,该举例仅是示意性的,具体采用何种图像融合方式,可由本领域技术人员根据实际情况确定,本公开对此不作限制。
需要声明的是,本公开中的目标区域、光斑区域并不存在绝对的关联关系。目标区域既有可能存在重叠,又有可能完全不相关。
还需声明的是,本公开技术方案的执行主体可以为任一类型的电子设备,例如,该电子设备可以为智能手机、平板电脑等移动终端,也可以为智能电视、PC(个人计算机,Personal Computer)等固定终端。应当理解的是,只需具备数据处理能力的的电子设备均可作为本公开的执行主体,具体将哪一种类型的电子设备作为本公开技术方案的执行主体,可以由本领域技术人员根据实际需求确定,本公开对此不作限制。
由上述技术方案可知,本公开在获取原始图像的基础上,还可以进一步获取原始图像的光斑子图像和非光斑子图像,并对光斑子图像和非光斑子图像分别进行图像模糊,以使两者均出现朦胧的观感。在此基础上,即可对经由模糊处理的光斑子图像和非光斑子图像进行图像融合,以得到具备柔焦效果的图像。
应当理解的是,本公开在实现柔焦效果的过程中,既无需借助任何实体配件和图像处理软件,又无需用户进行额外的操作,避免了相关技术在实现柔焦效果时,需要用户进行额外操作的问题。除此之外,本公开是在获取原始图像的基础上,再进行处理,避免了相关技术在通过柔焦镜头实现柔焦效果时,由于柔焦镜头对原始图像的成像数据产生了影响,而导致后期空间较小的问题。
进一步的,本公开还可以采用不同的模糊策略对光斑子图像和非光斑子图像进行图像模糊,以使光斑子图像和非光斑子图像在经由模糊处理后,具有不同的模糊效果,进而使两者形成对比,强化柔焦效果。
再进一步的,本公开可以根据各个像素点与目标区域的深度信息差值,为相应像素点配置模糊核,且任一像素点的模糊核尺寸与相应的深度信息差值呈正相关。由于各个像素点的模糊程度与相应像素点的模糊核尺寸呈正相关,因此,通过该方式可以实现随景深增大,模糊程度不断增大的效果。
又进一步的,本公开对光斑子图像和非光斑子图像采用了不同的模糊算法。其中,光斑子图像采用的模糊算法的模糊效果优于非光斑子图像采用的模糊算法,但功耗高于非光斑子图像采用的模糊算法。该方式在保证柔焦效果的同时,避免了对所有画面均采用优质模糊算法,而功耗过高的问题。
下面,以执行主体为智能手机为例,对本公开的技术方案进行介绍。
图2为本公开一示例性实施例示出的一种图像处理过程中执行的各个图像处理操作的示意图。本公开将结合图2对图像处理过程中的各个处理进行说明,以方便理解各个操作之间的递进关系。
一、图像获取:
在进行图像处理之前,除了需要拍摄得到原始图像之外,还需获取该原始图像的光斑掩膜图像和模糊半径图像,并将原始图像、光斑掩膜图像、模糊半径图像三者作为入参,以输出具有柔焦效果的渲染图像。
本实施例在获取模糊半径图像时,可以包含下述步骤:
步骤1,调用摄像头对被摄主体进行图像拍摄,得到原始图像。
在本实施例中,用户可以启动智能手机中预先装配的相机软件,以通过该相机软件调用摄像头,对被摄主体进行图像拍摄,得到原始图像。
步骤2,获取原始图像中各个像素点的深度信息。
在本实施例中,在调用摄像头进行图像拍摄的同时,可以调用深度传感器,对被摄主体及其附近区域进行深度检测,得到与原始图像对应的深度图像,该深度图像中记录了原始图像中各个像素点的深度信息。
步骤3,基于各个像素点的深度信息生成与被摄主体对应的模糊半径图。
在本实施例中,在获得上述深度图像后,即可基于深度图像中各个像素点的深度信息,大致确定出被摄主体所处的目标区域,并根据各个像素点与该目标区域的深度信息差值确定出各个像素点的模糊半径。其中,深度信息差值越大的像素点,其模 糊半径越大。
例如,在某一区域内的各个像素点的深度信息较为接近,且与其他区域的深度信息相差较大时,即可将该区域确定为目标区域;或者,在某一区域的各个像素点的深度信息在预设的深度范围内时,即可将该区域确定为目标区域。当然,该举例仅是示意性的,具体如何根据深度信息确定目标区域,可由本领域技术人员根据实际情况确定,本实施例对此不作限制。
需要声明的是,本实施例确定出的模糊半径图中的各个像素点的像素值,用于表征原始图像中相应像素点的模糊核的半径。由于模糊核的形状是预设的,因此,只需确定出各个像素点的模糊核的半径,即可确定模糊核的尺寸。可见,得到模糊半径图相当于确定了各个像素点的模糊核尺寸。为表征方便,后文中将模糊核的半径简称为模糊半径。
本实施例在获取光斑掩膜图像的过程中(对应于图2中由原始图像指向光斑掩膜图像的箭头),可以包含下述步骤:
步骤1,确定出原始图像的亮度图。
在本实施例中,在获取到原始图像后,即可基于该原始图像确定出其亮度图,以根据该亮度图得到光斑掩膜图像。
步骤2,对亮度图进行解析,以得到光斑掩膜图像。
如上文所述,光斑掩膜图像用于表征光斑在原始图像中的位置,而光斑所在区域的亮度与其他区域存在显著差异,因此,可以对亮度图进行解析,以得到光斑掩膜图像。
二、图像模糊:
在获取到光斑掩膜图像和模糊半径图像之后,即可基于光斑掩膜图像和模糊半径图像对原始图像进行图像模糊,该过程中可以包含以下步骤:
步骤1A,基于光斑掩膜图像对原始图像进行图像分离,以得到光斑图层和非光斑图层。
在本实施例中,一方面可以基于光斑掩膜图像对原始图像进行图像分离,以得到光斑图层和非光斑图层(即上文所述光斑子图像和非光斑子图像);另一方面,可以基于光斑掩膜图像生成模糊权重图,该模糊权重图中各个像素点的像素值用于表征: 为原始图像中相应像素点分配的模糊权重。
举例而言,可以根据预设数值为属于和不属于光斑区域的像素点赋予模糊权重。例如,可以为属于光斑区域的像素点赋予一个固定的模糊权重,而为不属于光斑区域的像素点赋予另一个固定的模糊权重,譬如,前者可以为400,而后者可以为10。
步骤1B,基于光斑掩膜图像生成模糊权重图。
步骤2,基于模糊权重图分别对光斑图层、非光斑图层进行像素加权,得到加权光斑图层、加权非光斑图层。
在本实施例中,在得到光斑图像、非光斑图层,以及模糊权重图后,即可基于模糊权重图中各个像素点的模糊权重,分别对光斑图层和非光斑图层进行加权,以得到加权光斑图层和加权非光斑图层。
承接上述举例,可以采用点乘的方式,对光斑图层和非光斑图层的像素点的像素值进行调整,如,对于光斑图层中的像素点,可以对每一像素点的像素值乘400;而对于非光斑图层中的像素点,可以对每一像素点的像素值乘10。
步骤3,基于模糊半径图对加权光斑图层进行打散模糊,得到光斑渲染图像S;基于模糊半径图对加权非光斑图层进行聚集模糊,得到非光斑渲染图像B。
在本实施例中,打散模糊的模糊效果优于聚集模糊。对光斑图层进行打散模糊,能够保证光斑所处区域的光晕效果,而非光斑区域并非柔焦效果的重点区域,用户通常不会着重关注,模糊要求本就较低,对其采用聚集模糊能够在保证达到柔焦效果的同时,减少模糊操作的功耗。
在本实施例中,在得到加权光斑图层和加权非光斑图层后,即可基于模糊半径图对两者分别执行打散模糊和加权模糊。不难看出,本实施例中的打散模糊和聚集模糊即为上文所述的针对光斑子图像和非光斑子图像的初次图像模糊。
为方便理解,以均值模糊为例,对模糊原理进行解释:假设任一像素点的模糊核为如图3A所示的3*3的方形模糊核,那么,经由模糊处理后像素点的像素值x
5=(A
1x
1+A
2x
2+A
3x
3+A
4x
4+A
5x
5+A
6x
6+A
7x
7+A
8x
8+A
9x
9)/(A
1+A
2+A
3+A
4+A
5+A
6+A
7+A
8+A
9)。其中,A
1~9用于表征模糊核中各个像素点的模糊权重,x
1~9表征模糊核中各个像素点的像素值。若承接上述举例, 且x
1~9均处于光斑区域,那么,A
1~9均为400。不难看出,任一像素点经由模糊处理后的像素值,与其周围8个像素点以及自身的像素值之和相关,即与该像素点的模糊核中各个像素点的像素值之和相关。因此,在实际模糊的过程中,只需求得其模糊核所覆盖的像素点的像素值之和,即可得到各个像素点经由模糊处理后的像素值。
承接上述举例,假设本实施例为光斑区域设置的模糊核为上述双环形模糊核,而为非光斑区域设置的模糊核为环形模糊核。两形状的模糊核可参照附图3B。其中,
在对加权光斑图层中的任一像素点进行图像模糊时,若基于模糊半径图确定该任一像素点的模糊半径为R,那么,可以将R作为双环形的最外圈的模糊半径,而中间圈的模糊半径和最里圈的模糊半径可以为(R-1)和(R/2)中任一,具体的,两者中较大的为中间圈的模糊半径、较小的为最里圈模糊半径。那么,对于加权光斑图层中的任一像素点,其模糊核的所覆盖的像素点的像素值之和可以为:S
spot=Nf(R)-Mf(R-1)-(N-M)f(R/2);其中,f(R)表征模糊半径为R的圆形区域内的像素点的像素值之和,f(R-1)和f(R/2)的含义也是类似,在此不再赘述;M、N均为标量,且N大于M,具体为何值可由本领域技术人员根据实际需求确定,本实施例对此不作限制。
而在对加权非光斑图层中的任一像素点进行图像模糊时,若基于模糊半径图确定该任一像素点的模糊半径为R,那么,可以将R作为环形外圈的模糊半径,将R/2作为环形内圈的模糊半径。该任一像素的模糊核的所覆盖的像素点的像素值之和可以为:S
back=f(R)-f(R/2);其中,f(R)表征模糊半径为R的圆形区域内的像素点的像素值之和。
需要声明的是,本实施例的模糊操作,是在图像渲染的过程中执行,因此,通过模糊处理得到的图像可以被称作:光斑渲染图像S和非光斑渲染图像B。
三、图像融合
在对光斑图层和非光斑图层进行图像模糊之后,即可对两者进行图像融合,以得到具有柔焦效果的柔焦图像。在本实施例中,为达到较为优质的柔焦效果,在最终得到柔焦图像之前,进行了多次图像融合,并针对不同的图像融合进行了不同的处理。具体的图像融合过程可以包含下述步骤:
步骤1A、对光斑渲染图像S和非光斑渲染图像B进行图像融合,得到渲染子图像R1。
在本实施例中,在得到光斑渲染图像S和非光斑渲染图像B后,可以直接对两者进行图像融合,得到渲染子图像R1。在该渲染子图像R1中,可以保证整张图像的画面内容较为清晰。
在实际的融合过程中,还可以为非光斑渲染图像B中的各个像素点分配渲染权重值,各个像素点的渲染权重值组成非光斑渲染权重图像S
w;相类似的,也可以为光斑渲染图像S中的各个像素点分配渲染权重值,各个像素点的渲染权重值组成光斑渲染权重图像S
w。那么,图像融合公式可以为:R1
i=(S
i+B
i)/(S
wi+B
wi)。其中,i表征像素点的序号,R1
i表征该像素点在融合得到的图像中的像素值,B
i表征该像素点在非光斑渲染图像B中的像素值,其他参数也是类似,在此不再赘述。
步骤1B,对非光斑渲染图像B进行高斯模糊,得到非光斑高斯模糊渲染图像B’。
在本实施例中,由于非光斑渲染图像B用于表征不属于光斑的区域,因此,可以对其进行进一步高斯模糊,以增加非光斑区域的朦胧感。在此基础上,再将高斯模糊得到的非光斑高斯模糊渲染图像B’与光斑渲染图像S进行图像融合,以得到高斯渲染子图像R2。在该高斯渲染子图像R2中,能够保证光斑区域画面相对清晰,而非光斑区域画面内容较为模糊。不难看出,本实施例中的高斯模糊即为上文所述的针对非光斑子图像的二次图像模糊。
步骤2B,对非光斑高斯模糊渲染图像B’和光斑渲染图像S进行图像融合,得到高斯渲染子图像R2。
与上述融合过程类似的,可以获取非光斑高斯模糊渲染图像B’的非光斑高斯模糊渲染权重图像B′
w。那么,图像融合公式可以为:R2
i=(B′
i+S
i)/(B′
wi+S
wi)。
步骤3,对渲染子图像R1和高斯渲染子图像R2进行柔焦融合,得到柔焦图像。
在得到渲染子图像R1和高斯渲染图像R2后,即可对两者进行柔焦融合,以得到渲染图像R。例如,在实际执行柔焦融合的操作中,可以分别对渲染子图像R1和高斯渲染图像R2的RGB三个通道分别进行滤色融合,最终得到柔焦图像。该融合方式能够较好地保留图像的细节,提高柔焦图像的画质。当然,该柔焦融合操作仅是示意性的,具体采用何种方式进行柔焦融合,可由本领域技术人员根据实际需求确定,本实施例对此不作限制。在实际应用中,柔焦融合的融合公式可以为:R
i=1- (1-s
1*R1
i)(1-s
2*R2
i)。其中,s
1和s
2均是标量超参数,可由本领域技术人员根据实际情况确定,本实施例对此不作限制。
应当理解的是,在该渲染图像R中,由于渲染子图像R1未作进一步高斯模糊,而高斯渲染图像R2中的非光斑区域经由高斯模糊,因此,渲染图像R可以在加深非光斑区域的朦胧质感的基础上,避免光斑区域被过度模糊,而出现光斑区域锐度不足的问题。
由上述技术方案可知,通过本实施例的技术方案,能够在图像渲染过程中,对图像进行图像模糊,以使得到的柔焦图像中,光斑所在区域呈现光斑晕染的效果,其中,光晕呈现洋葱圈形。除此之外,还能够保留光斑区域内画面内容的锐度,避免光斑区域被过度模糊,而导致清晰度下降的问题。
图4是本公开一示例性实施例示出的一种图像处理装置的框图。参照图4,该装置包括:获取单元401和模糊单元402。
获取单元401,获取原始图像的光斑子图像和非光斑子图像,所述光斑子图像包含位于光斑区域的画面内容、所述非光斑子图像包含位于非光斑区域的画面内容;
模糊单元402,对所述光斑子图像和所述非光斑子图像分别进行图像模糊,并对经由模糊处理的光斑子图像和经由模糊处理的非光斑子图像进行图像融合,得到具备柔焦效果的图像。
可选的,模糊单元402被进一步用于:
对所述光斑子图像和所述非光斑子图像分别进行初次模糊处理;
对经由初次模糊处理的光斑子图像和经由初次模糊处理的非光斑子图像进行图像融合,得到第一融合图像;对经由初次模糊处理的非光斑图像进行二次图像模糊,并将经由二次模糊处理的非光斑图像与经由初次模糊处理的光斑子图像进行图像融合,得到第二融合图像;以及,对所述第一融合图像和所述第二融合图像进行柔焦融合,得到具备柔焦效果的图像。
可选的,模糊单元402被进一步用于:
采用不同的模糊策略对所述光斑子图像和非光斑子图像进行图像模糊。
可选的,模糊单元402被进一步用于:
为所述光斑子图像和所述非光斑子图像配置不同模糊核;
基于配置的模糊核分别对所述光斑子图像和所述非光斑子图像进行图像模糊。
可选的,为所述光斑子图像和所述非光斑子图像配置的模糊核在下述至少一个维度存在区别:
模糊核形状、模糊核尺寸。
可选的,
所述光斑子图像中任一像素点的模糊核为:基于该任一像素点的第一模糊半径、小于该第一模糊半径的第二模糊半径,以及小于该第二模糊半径的第三模糊半径决定的双环形模糊核;
所述非光斑子图像中任一像素点的模糊核为:基于该任一像素点的第四模糊半径,以及小于该第四模糊半径的第五模糊半径决定的环形模糊核;
可选的,模糊单元402被进一步用于:
采用不同的模糊算法对所述光斑子图像和所述非光斑子图像分别进行图像模糊;
其中,所述光斑子图像采用的模糊算法的模糊效果,优于所述非光斑子图像采用的模糊算法。
可选的,所述光斑子图像采用打散模糊算法,所述非光斑子图像采用聚集模糊算法。
可选的,模糊单元402被进一步用于:
采用不同的模糊权重对所述光斑子图像和所述非光斑子图像分别进行图像模糊;所述光斑子图像采用的模糊权重,大于所述非光斑子图像采用的模糊权重;
其中,任一像素点的模糊权重用于表征所述任一像素点的像素值对自身及其邻域像素点的模糊操作的影响程度。
可选的,所述模糊核的形状为环形。
可选的,获取单元401被进一步用于:
获取原始图像的光斑掩膜图像,所述光斑掩膜图像用于表征所述光斑区域所处的位置;
基于所述光斑掩膜图像对所述原始图像进行图像分离,得到所述光斑子图像和 非光斑子图像。
如图5所示,图5是本公开一示例性实施例示出的另一种图像处理装置的框图,该实施例在前述图4所示实施例的基础上,还包括:确定单元403。
可选的,
还包括:确定单元403,确定被摄主体在所述原始图像中的目标区域,并基于所述原始图像中各个像素点与所述目标区域的深度信息差值,确定相应像素点的模糊核;其中,任一像素点的模糊核尺寸,与所述任一像素点和所述目标区域的深度信息差值呈正相关;
模糊单元402被进一步用于:基于所述光斑区域中的像素点的模糊核,对所述光斑子图像进行图像模糊;以及,基于所述非光斑区域中的像素点的模糊核,对所述非光斑子图像进行图像模糊。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本公开方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
相应的,本公开还提供一种图像处理装置,包括:处理器;用于存储处理器可执行指令的存储器;其中,所述处理器被配置为实现如上述实施例中任一所述的图像处理方法,比如该方法可以包括:获取原始图像的光斑子图像和非光斑子图像,所述光斑子图像包含位于光斑区域的画面内容、所述非光斑子图像包含位于非光斑区域的画面内容;对所述光斑子图像和所述非光斑子图像分别进行图像模糊,并对经由模糊处理的光斑子图像和经由模糊处理的非光斑子图像进行图像融合,得到具备柔焦效果的图像。
相应的,本公开还提供一种电子设备,所述电子设备包括有存储器,以及一个或者一个以上的程序,其中一个或者一个以上程序存储于存储器中,且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于实现如上述实施例中任一所述的图像处理方法的指令,比如该方法可以包括:获取原始图像的光斑子图像和非光斑子图像,所述光斑子图像包含位于光斑区域的画面内容、所述非光斑子图像 包含位于非光斑区域的画面内容;对所述光斑子图像和所述非光斑子图像分别进行图像模糊,并对经由模糊处理的光斑子图像和经由模糊处理的非光斑子图像进行图像融合,得到具备柔焦效果的图像。
图6是根据一示例性实施例示出的一种用于实现图像处理方法的装置600的框图。例如,装置600可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
参照图6,装置600可以包括以下一个或多个组件:处理组件602,存储器604,电源组件606,多媒体组件608,音频组件610,输入/输出(I/O)的接口612,传感器组件614,以及通信组件616。
处理组件602通常控制装置600的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件602可以包括一个或多个处理器620来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件602可以包括一个或多个模块,便于处理组件602和其他组件之间的交互。例如,处理组件602可以包括多媒体模块,以方便多媒体组件608和处理组件602之间的交互。
存储器604被配置为存储各种类型的数据以支持在装置600的操作。这些数据的示例包括用于在装置600上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器604可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件606为装置600的各种组件提供电力。电源组件606可以包括电源管理系统,一个或多个电源,及其他与为装置600生成、管理和分配电力相关联的组件。
多媒体组件608包括在所述装置600和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件608包括一个前置摄像头和/或后置摄像头。当装置600处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以 接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件610被配置为输出和/或输入音频信号。例如,音频组件610包括一个麦克风(MIC),当装置600处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器604或经由通信组件616发送。在一些实施例中,音频组件610还包括一个扬声器,用于输出音频信号。
I/O接口612为处理组件602和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件614包括一个或多个传感器,用于为装置600提供各个方面的状态评估。例如,传感器组件614可以检测到装置600的打开/关闭状态,组件的相对定位,例如所述组件为装置600的显示器和小键盘,传感器组件614还可以检测装置600或装置600一个组件的位置改变,用户与装置600接触的存在或不存在,装置600方位或加速/减速和装置600的温度变化。传感器组件614可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件614还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件614还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件616被配置为便于装置600和其他设备之间有线或无线方式的通信。装置600可以接入基于通信标准的无线网络,如WiFi,2G或3G,4G LTE、5G NR(New Radio)或它们的组合。在一个示例性实施例中,通信组件616经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件616还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,装置600可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器604,上述指令可由装置600的处理器620执行以完成上述方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的公开后,将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
以上所述仅为本公开的较佳实施例而已,并不用以限制本公开,凡在本公开的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本公开保护的范围之内。
Claims (15)
- 一种图像处理方法,其特征在于,包括:获取原始图像的光斑子图像和非光斑子图像,所述光斑子图像包含位于光斑区域的画面内容、所述非光斑子图像包含位于非光斑区域的画面内容;对所述光斑子图像和所述非光斑子图像分别进行图像模糊,并对经由模糊处理的光斑子图像和经由模糊处理的非光斑子图像进行图像融合,得到具备柔焦效果的图像。
- 根据权利要求1所述的方法,其特征在于,所述对所述光斑子图像和所述非光斑子图像分别进行图像模糊,包括:对所述光斑子图像和所述非光斑子图像分别进行初次模糊处理;所述对经由模糊处理的光斑子图像和非光斑子图像进行图像融合,包括:对经由初次模糊处理的光斑子图像和经由初次模糊处理的非光斑子图像进行图像融合,得到第一融合图像;对经由初次模糊处理的非光斑子图像进行二次图像模糊,并将经由二次模糊处理的非光斑图像与经由初次模糊处理的光斑子图像进行图像融合,得到第二融合图像;以及,对所述第一融合图像和所述第二融合图像进行柔焦融合,得到具备柔焦效果的图像。
- 根据权利要求1所述的方法,其特征在于,所述对所述光斑子图像和所述非光斑子图像分别进行图像模糊,包括:采用不同的模糊策略对所述光斑子图像和非光斑子图像进行图像模糊。
- 根据权利要求3所述的方法,其特征在于,所述采用不同的模糊策略对所述光斑子图像和非光斑子图像进行图像模糊,包括:为所述光斑子图像和所述非光斑子图像配置不同模糊核;基于配置的模糊核分别对所述光斑子图像和所述非光斑子图像进行图像模糊。
- 根据权利要求4所述的方法,其特征在于,为所述光斑子图像和所述非光斑子图像配置的模糊核在下述至少一个维度存在区别:模糊核形状、模糊核尺寸。
- 根据权利要求4所述的方法,其特征在于,所述光斑子图像中任一像素点的模糊核为:基于该任一像素点的第一模糊半径、小于该第一模糊半径的第二模糊半径,以及小于该第二模糊半径的第三模糊半径决定的双环形模糊核;所述非光斑子图像中任一像素点的模糊核为:基于该任一像素点的第四模糊半径,以及小于该第四模糊半径的第五模糊半径决定的环形模糊核。
- 根据权利要求3所述的方法,其特征在于,所述采用不同的模糊策略对所述光斑子图像和非光斑子图像进行图像模糊,包括:采用不同的模糊算法对所述光斑子图像和所述非光斑子图像分别进行图像模糊;其中,所述光斑子图像采用的模糊算法的模糊效果,优于所述非光斑子图像采用的模糊算法。
- 根据权利要求7所述的方法,其特征在于,所述光斑子图像采用打散模糊算法,所述非光斑子图像采用聚集模糊算法。
- 根据权利要求3所述的方法,其特征在于,所述对所述光斑子图像和所述非光斑子图像分别进行图像模糊,包括:采用不同的模糊权重对所述光斑子图像和所述非光斑子图像分别进行图像模糊;所述光斑子图像采用的模糊权重,大于所述非光斑子图像采用的模糊权重;其中,任一像素点的模糊权重用于表征所述任一像素点的像素值对自身及其邻域像素点的模糊操作的影响程度。
- 根据权利要求1所述的方法,其特征在于,还包括:确定被摄主体在所述原始图像中的目标区域,并基于所述原始图像中各个像素点与所述目标区域的深度信息差值,确定相应像素点的模糊核;其中,任一像素点的模糊核尺寸,与所述任一像素点和所述目标区域的深度信息差值呈正相关;所述对所述光斑子图像和所述非光斑子图像分别进行图像模糊,包括:基于所述光斑区域中的像素点的模糊核,对所述光斑子图像进行图像模糊;以及,基于所述非光斑区域中的像素点的模糊核,对所述非光斑子图像进行图像模糊。
- 根据权利要求10所述的方法,其特征在于,所述模糊核的形状为环形。
- 根据权利要求1所述的方法,其特征在于,所述获取原始图像的光斑子图像和非光斑子图像,包括:获取原始图像的光斑掩膜图像,所述光斑掩膜图像用于表征所述光斑区域所处的位置;基于所述光斑掩膜图像对所述原始图像进行图像分离,得到所述光斑子图像和非光斑子图像。
- 一种图像处理装置,其特征在于,包括:获取单元,获取原始图像的光斑子图像和非光斑子图像,所述光斑子图像包含位于光斑区域的画面内容、所述非光斑子图像包含位于非光斑区域的画面内容;模糊单元,对所述光斑子图像和所述非光斑子图像分别进行图像模糊,并对经由 模糊处理的光斑子图像和经由模糊处理的非光斑子图像进行图像融合,得到具备柔焦效果的图像。
- 一种电子设备,其特征在于,包括:处理器;用于存储处理器可执行指令的存储器;其中,所述处理器通过运行所述可执行指令以实现如权利要求1-12中任一项所述的方法。
- 一种计算机可读存储介质,其上存储有计算机指令,其特征在于,该指令被处理器执行时实现如权利要求1-12中任一项所述方法的步骤。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2022/099927 WO2023245363A1 (zh) | 2022-06-20 | 2022-06-20 | 图像处理方法及装置、电子设备、存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117859150A true CN117859150A (zh) | 2024-04-09 |
Family
ID=89378999
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202280004313.7A Pending CN117859150A (zh) | 2022-06-20 | 2022-06-20 | 图像处理方法及装置、电子设备、存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN117859150A (zh) |
WO (1) | WO2023245363A1 (zh) |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5676972B2 (ja) * | 2010-08-20 | 2015-02-25 | キヤノン株式会社 | 画像処理装置、画像処理方法、画像処理プログラム及び記憶媒体 |
JP5930245B1 (ja) * | 2015-01-23 | 2016-06-08 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
CN106504220B (zh) * | 2016-08-19 | 2019-07-23 | 华为机器有限公司 | 一种图像处理方法及装置 |
CN106600559B (zh) * | 2016-12-21 | 2019-08-23 | 东方网力科技股份有限公司 | 模糊核获取以及图像去模糊方法及装置 |
JP2019047204A (ja) * | 2017-08-30 | 2019-03-22 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
CN112561777A (zh) * | 2019-09-25 | 2021-03-26 | 北京迈格威科技有限公司 | 图像添加光斑的方法及装置 |
CN113421211B (zh) * | 2021-06-18 | 2024-03-12 | Oppo广东移动通信有限公司 | 光斑虚化的方法、终端设备及存储介质 |
-
2022
- 2022-06-20 CN CN202280004313.7A patent/CN117859150A/zh active Pending
- 2022-06-20 WO PCT/CN2022/099927 patent/WO2023245363A1/zh active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2023245363A1 (zh) | 2023-12-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108898546B (zh) | 人脸图像处理方法、装置及设备、可读存储介质 | |
CN110400266B (zh) | 一种图像矫正的方法及装置、存储介质 | |
CN108154465B (zh) | 图像处理方法及装置 | |
CN110958401B (zh) | 一种超级夜景图像颜色校正方法、装置和电子设备 | |
CN108154466B (zh) | 图像处理方法及装置 | |
CN107967459B (zh) | 卷积处理方法、装置及存储介质 | |
CN107015648B (zh) | 图片处理方法及装置 | |
EP4020371A1 (en) | Photographing method, terminal, and storage medium | |
CN112614064B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
EP3816927B1 (en) | Method and apparatus for training image processing models, and storage medium | |
EP3813010B1 (en) | Facial image enhancement method, device and electronic device | |
CN107507128B (zh) | 图像处理方法及设备 | |
CN109167921B (zh) | 拍摄方法、装置、终端及存储介质 | |
CN108961156B (zh) | 人脸图像处理的方法及装置 | |
CN107730443B (zh) | 图像处理方法、装置及用户设备 | |
CN111355879B (zh) | 包含特效图案的图像获取方法、装置和电子设备 | |
CN116866495A (zh) | 图像获取方法、装置、终端设备及存储介质 | |
CN117859150A (zh) | 图像处理方法及装置、电子设备、存储介质 | |
CN114070998B (zh) | 一种拍摄月亮的方法、装置、电子设备及介质 | |
CN111835977B (zh) | 图像传感器、图像生成方法及装置、电子设备、存储介质 | |
CN114338956A (zh) | 图像处理方法、图像处理装置及存储介质 | |
CN114418865A (zh) | 图像处理方法、装置、设备及存储介质 | |
CN106874444B (zh) | 图片处理方法及装置 | |
WO2023231009A1 (zh) | 一种对焦方法、装置及存储介质 | |
CN113254118B (zh) | 肤色显示及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |