CN113766090A - 一种图像处理方法、终端以及存储介质 - Google Patents

一种图像处理方法、终端以及存储介质 Download PDF

Info

Publication number
CN113766090A
CN113766090A CN202010490306.5A CN202010490306A CN113766090A CN 113766090 A CN113766090 A CN 113766090A CN 202010490306 A CN202010490306 A CN 202010490306A CN 113766090 A CN113766090 A CN 113766090A
Authority
CN
China
Prior art keywords
image
depth map
processed
blurring
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010490306.5A
Other languages
English (en)
Other versions
CN113766090B (zh
Inventor
李鹏
刘阳兴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan TCL Group Industrial Research Institute Co Ltd
Original Assignee
Wuhan TCL Group Industrial Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan TCL Group Industrial Research Institute Co Ltd filed Critical Wuhan TCL Group Industrial Research Institute Co Ltd
Priority to CN202010490306.5A priority Critical patent/CN113766090B/zh
Publication of CN113766090A publication Critical patent/CN113766090A/zh
Application granted granted Critical
Publication of CN113766090B publication Critical patent/CN113766090B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226Determination of depth image, e.g. for foreground/background separation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/958Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种图像处理方法、终端及存储介质,在对图像进行虚化处理的过程中,是提取待处理图像的深度图,根据图像处理命令处理待处理的图像的深度图,并使用根据图像处理命令处理后的深度图的像素值对待处理图像进行像素值处理,不需要对待处理的图像进行分割,运行时间稳定,应用在图像预览虚化场景下,可以使得显示预览虚化图像的时间稳定,提升用户使用体验。

Description

一种图像处理方法、终端以及存储介质
技术领域
本发明涉及图像处理技术领域,特别涉及一种图像处理方法、终端以及存储介质。
背景技术
在手机拍照功能中,背景虚化功能已逐渐成为标配,在用户使用背景虚化功能时,需要提供虚化效果的预览图,以使得用户了解当前虚化设置下的拍摄效果,目前,预览虚化技术主要是采用分割的方式,将用户选择的非虚化区域以及虚化区域分割出来进行相应的虚化操作,而基于分割的运行时间与拍摄场景有很大关系,导致预览虚化图像的时间不稳定,对于复杂的场景,预览虚化图像的时间会比较长,用户体验不佳。
因此,现有技术还有待改进和提高。
发明内容
本发明要解决的技术问题在于,针对现有技术的上述缺陷,提供一种图像处理方法、终端及存储介质,旨在解决现有技术中的在预览虚化图像的过程中对图像进行分割导致的耗时不稳定的问题。
为了解决上述技术问题,本发明所采用的技术方案如下:
一种图像处理方法,其中,所述图像处理方法包括:
接收图像处理命令以及待处理图像,根据所述待处理图像获取所述待处理图像对应的深度图;
根据所述图像处理命令对所述深度图中的各个第一像素点进行处理,生成中间深度图;
根据所述图像处理命令对所述待处理图像进行虚化,生成中间图像;
根据所述中间深度图以及所述中间图像对所述待处理图像进行处理,生成目标图像。
所述的图像处理方法,其中,所述待处理图像为第一摄像头拍摄的第一图像,所述根据所述待处理图像获取对应的深度图包括:
获取第二摄像头拍摄的第二图像;
根据所述第一图像和所述第二图像生成所述深度图。
所述的图像处理方法,其中,所述图像处理命令中包括焦点坐标以及前景虚化选择信息,所述根据所述图像处理命令对所述深度图中的各个第一像素点的初始像素值进行处理,生成中间深度图包括:
根据所述焦点坐标获取在所述深度图中所述焦点坐标对应的像素点的焦点初始像素值;
根据所述前景虚化选择信息确定所述前景虚化选择信息对应的第一预设公式;
根据所述第一预设公式以及所述焦点初始像素值对所述各个第一像素点的初始像素值进行处理,生成各个第一像素点分别对应的各个第一像素值;
根据所述各个第一像素值生成所述中间深度图。
所述的图像处理方法,其中,所述根据所述前景虚化选择信息确定所述前景虚化选择信息对应的第一预设公式包括:
当所述前景虚化选择信息为选择前景不虚化时,所述前景虚化选择信息对应的所述第一预设公式为:
Figure BDA0002520820830000021
Figure BDA0002520820830000022
当所述前景虚化选择信息为选择前景虚化时,所述前景虚化选择信息对应的所述第一预设公式为:
Figure BDA0002520820830000031
其中,depthVal'i,j为坐标为(i,j)的第一像素点对应的第一像素值,temp_depthVali,j为计算中间项,depthVali,j为坐标为(i,j)的第一像素点的初始像素值,focus_dpethVal为所述焦点初始像素值,C、Var为常数。
所述的图像处理方法,其中,所述图像处理命令中包括虚化强度,所述根据所述图像处理命令对所述待处理图像进行虚化包括:
根据所述虚化强度生成所述虚化强度对应的模糊核;
根据所述模糊核对所述待处理图像进行虚化。
所述的图像处理方法,其中,所述根据所述中间深度图以及所述中间图像对所述待处理图像进行处理,生成目标图像包括:
根据所述中间深度图中各个第二像素点分别对应的各个第二像素值以及所述中间图像中各个第三像素点分别对应的各个第三像素值对所述待处理图像进行处理,生成目标图像。
所述的图像处理方法,其中,所述根据所述中间深度图中各个第二像素点分别对应的各个第二像素值以及所述中间图像中各个第三像素点分别对应的各个第三像素值对所述待处理图像进行处理,生成目标图像包括:
根据第二预设公式、所述各个第二像素值以及所述各个第三像素值分别对所述待处理图像中的各个第四像素点分别对应的各个第四像素值进行处理,生成所述目标图像的各个第五像素点分别对应的各个第五像素值。
所述的图像处理方法,其中,所述第二预设公式为:
Figure BDA0002520820830000032
其中,Main_pixelVal′m,n为所述目标图像中坐标为(m,n)的第五像素点的第五像素值,Main_pixelValm,n为所述待处理图像中坐标为(m,n)的第三像素点的第三像素值,BokehedMain_pixelValm,n为所述中间图像中坐标为(m,n)的第三像素点的第三像素值,weightm,n为所述中间深度图中与所述待处理图像中坐标为(m,n)的像素点对应的第二像素点的第二像素值。
一种终端,其中,所述终端包括:处理器、与处理器通信连接的存储介质,所述存储介质适于存储多条指令,所述处理器适于调用所述存储介质中的指令,以执行实现上述任一项所述的图像处理方法的步骤。
一种存储介质,其中,所述存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现上述任一项所述的图像处理方法的步骤。
有益效果:与现有技术相比,本发明提供了一种图像处理方法、终端及存储介质,所述图像处理方法在对图像进行虚化处理的过程中,是提取待处理图像的深度图,根据图像处理命令处理待处理的图像的深度图,并使用根据图像处理命令处理后的深度图的像素值对待处理图像进行像素值处理,不需要对待处理的图像进行分割,运行时间稳定,应用在图像预览虚化场景下,可以使得显示预览虚化图像的时间稳定,提升用户使用体验。
附图说明
图1为本发明提供的图像处理方法的实施例的流程图;
图2为本发明提供的图像处理方法中生成的深度图的示例图;
图3为本发明提供的图像处理方法中选择前景不虚化时的处理效果示例图;
图4为本发明提供的图像处理方法中选择前景虚化时的处理效果示例图;
图5为本发明提供的图像处理方法中选择前景不虚化时不同的常数对生成中间深度图的运算中间项的影响示意图;
图6为本发明提供的图像处理方法中选择前景虚化时不同的常数对生成中间深度图的运算中间项的影响示意图;
图7为本发明提供的图像处理方法中选择前景不虚化时生成的中间深度图的示例图;
图8为本发明提供的图像处理方法中选择前景虚化时生成的中间深度图的示例图;
图9为本发明提供的终端的较佳实施例的结构原理图。
具体实施方式
为使本发明的目的、技术方案及效果更加清楚、明确,以下参照附图并举实施例对本发明进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
本发明提供的一种图像处理方法,是可以应用在终端中,终端可以但不限于是各种个人计算机、笔记本电脑、手机、平板电脑、车载电脑和便携式可穿戴设备。所述终端在获取到待处理图像后,可以根据本发明提供的图像处理方法对待处理图像进行处理。
实施例一
请参照图1,图1为本发明提供的图像处理方法的实施例一的流程图。
所述图像处理方法包括步骤:
S100、接收图像处理命令以及待处理图像,根据所述待处理图像获取所述待处理图像对应的深度图。
具体地,所述图像处理命令可以是用户通过操作终端而发出,例如,当所述图像处理方法应用于手机上时,用户可以打开手机的拍摄功能,并选择虚化从而发出所述图像处理命令,在本领域中,深度图是包括拍摄场景中各点相对摄像头的距离信息的图像,也就是说,所述待处理图像对应的深度图中包括了所述待处理图像对应的场景的各个点相对拍摄所述待处理图像的摄像头的距离信息。在一种可能的实现方式中,所述待处理图像对应的深度图可以通过两个摄像头拍摄的图像来获取,所述根据所述待处理图像获取对应的深度图包括:
S110、获取第二摄像头拍摄的第二图像;
S120、根据所述第一图像和所述第二图像生成所述深度图。
采集所述待处理图像的终端上可以设置有两个摄像头,例如,市场上的双摄手机,在手机的背部设置有两个摄像头,所述待处理图像为第一摄像头拍摄的第一图像,在获取所述待处理图像时,也获取第二摄像头拍摄的第二图像,也就是说,第一图像和第二图像分别为不同的摄像头对同一场景拍摄得到的图像。
在获取到所述第一图像和所述第二图像后,可以根据所述第一图像和所述第二图像获取所述第一图像对应的深度图,即,所述待处理图像对应的所述深度图。
在一种可能的实现方式中,在获取到所述第一图像和所述第二图像后,可对所述第一图像和所述第二图像的尺寸进行缩减,例如,按照预设的倍数对所述第一图像和所述第二图像进行缩减,如缩减至原图像的1/2,或者将所述第一图像和所述第二图像缩减至预设尺寸,如244*244等,再根据缩减后的图像获取所述深度图,具体地,在本实施例中,是采用立体匹配算法(也称双目匹配算法,一种通过匹配两幅或者多幅图像获得视差并得到相应深度信息的技术)获取所述深度图,当然,本领域中还有其他可以获取深度图的方式,例如SGBM(Semi-Global Block Matching)算法、BM(Block Matching)算法等,本领域技术人员可以按照实际情况进行选择,本发明对此不作具体的限定。在一种可能的实现方式中,为了防止对所述待处理图像进行处理后生成的目标图像存在毛边、闪烁等缺陷,在根据所述第一图像和所述第二图像获取所述深度图的过程中,可以是先根据预设的算法获取所述第一图像对应的原始深度图,再对所述原始深度图进行滤波生成所述深度图以提升所述深度图的均匀性和边缘平滑性,在本实施例中,是采用加权最小二乘滤波和自适应中值滤波的方式对所述原始深度图进行滤波以提升所述深度图的均匀性和边缘平滑性,如图2所示,图2是经过滤波后的深度图的示例图,可以看出,经过滤波后的深度图中同一个平面的物体的深度差异基本一致,一个物体的边缘比较平滑,即,均匀性和边缘平滑性都较好。当然,本领域中还有其他可以用于提升图片的均匀性和边缘平滑性的滤波方式,本领域技术人员可以根据实际情况进行选择。
请再次参照图1,所述图像处理方法还包括步骤:
S200、根据所述图像处理命令对所述深度图中的各个第一像素点进行处理,生成中间深度图。
在本实施例中,在获取到所述待处理图像对应的深度图后,可以通过图像处理命令对所述深度图进行处理,生成用于虚化所述待处理图像的中间深度图,所述根据所述图像处理命令对所述深度图中的各个第一像素点进行处理,生成中间深度图包括:
S210、根据所述焦点坐标获取在所述深度图中所述焦点坐标对应的像素点的焦点初始像素值。
所述各个第一像素点是所述深度图中的各个像素点,所述初始像素值是在根据所述图像处理命令对所述深度图进行处理前所述深度图中各个像素点的像素值。具体地,所述图像处理命令中包括焦点坐标以及前景虚化选择信息,所述焦点坐标是指对所述待处理图像进行虚化处理时的焦点的坐标,例如,当用户打开拍照功能时,一般会选择一个焦点或摄像头默认选择焦点进行对焦,一般来说,焦点处的图像最清晰,如图3和图4所示,图3和图4中的圆圈处就是焦点位置。不难看出,所述焦点坐标反映了用户对图像虚化处理的虚化区域的位置。所述前景虚化选择信息包括前景虚化和前景不虚化,前景虚化是很多具备虚化功能的终端提供的一种选项,用户可以选择前景虚化或前景不虚化来选择是否对图像的前景进行虚化,如图3和图4所示,图3为前景不虚化的效果图,图4为前景虚化的效果图。不难看出,所述焦点坐标和所述前景虚化选择信息共同反映了用户在图像虚化处理中选择的清晰区域和虚化区域的位置,用户可以在打开虚化功能后,点击屏幕选择焦点,即发出所述焦点坐标,并根据前景虚化选择菜单发出所述前景虚化选择信息。
前面已经说明,所述深度图包括了场景中的各个点相对于摄像头的距离信息,所述深度图的每个像素点的像素值即为每个像素点的深度值,即反映了每个像素点相对于摄像头的距离。在获取到所述焦点坐标后,获取所述深度图中所述焦点坐标对应的像素点的像素值作为所述焦点初始像素值。
S220、根据所述前景虚化选择信息确定所述前景虚化选择信息对应的第一预设公式。
在本实施例中,在根据所述图像处理命令对所述深度图进行处理时,是预先设置不同的所述前景虚化选择信息对应的公式,根据公式对所述深度图中的各个像素值进行处理。具体地,所述根据所述前景虚化选择信息确定所述前景虚化选择信息对应的第一预设公式包括:
当所述前景虚化选择信息为选择前景不虚化时,所述前景虚化选择信息对应的所述第一预设公式为:
Figure BDA0002520820830000081
当所述前景虚化选择信息为选择前景虚化时,所述前景虚化选择信息对应的所述第一预设公式为:
Figure BDA0002520820830000091
在公式(1)和公式(2)中,depthVal'i,j为坐标为(i,j)的第一像素点对应的第一像素值,temp_depthVali,j为计算中间项,depthVali,j为坐标为(i,j)的第一像素点的初始像素值,focus_dpethVal为所述焦点初始像素值,C、Var为常数。具体地,C、Var可以根据不同的虚化效果需求来确定,例如,根据希望得到的图像模糊程度,可以通过试验确定不同的C和Var,如图5-图6所示,图5和图6示出了不同的C和Var在前景不虚化和前景虚化时对temp_depthVali,j的影响的差异。
值得说明的是,公式(1)和公式(2)中的运算关系以及常数是根据多次试验得出的,本领域技术人员完全可以根据本发明的思想,基于不同的图像处理需求(例如不同的预览时间、虚化程度需求等)得到不同的公式,本发明并不限定于上述公式。
S230、根据所述第一预设公式以及所述焦点初始像素值对所述各个第一像素点的初始像素值进行处理,生成各个第一像素点分别对应的各个第一像素值。
在获取到所述焦点初始像素值和所述第一预设公式后,可以根据所述第一预设公式以及所述焦点初始像素值对所述各个第一像素点的初始像素值进行处理,不难看出,对于每一个所述第一像素点,都会生成一个新的像素值(所述第一像素值)。
S240、根据所述各个第一像素值生成所述中间深度图。
在获取所述深度图中的所述各个第一像素点对应的所述各个第一像素值后,将所述各个第一像素点分别对应的所述各个第一像素值替代所述各个第一像素点分别对应的初始像素值,这样,就将所述深度图转换为一张新的图像(下面称为第一深度图),也就是说,第一深度图中的像素点与所述深度图中的像素点一一对应,且第一深度图中各个像素点的像素值分别为各个所述第一像素点对应的所述第一像素值。
在一种可能的实现方式中,所述第一深度图即为所述中间深度图,在另一种可能的实现方式中,为了使得所述中间深度图不存在毛边,具有更高的边缘平滑性,从而使得根据所述中间深度图最终生成目标图像不存在边缘突兀或闪烁的现象,在获取到所述第一深度图后,还可以对所述深度图进行滤波,在本实施例中,是进行中值滤波,生成所述中间深度图,去除所述第一深度图中可能存在的边缘毛边,保证用于虚化所述待处理图像的所述中间深度图的边缘平滑性,如图7-图8所示,图7-图8示出了利用本实施例提供的图像处理方法对于同一幅图片进行处理时选择前景不虚化和前景虚化时分别对应的所述中间深度图。
请再次参阅图1,所述图像处理方法还包括:
S300、根据所述图像处理命令对所述待处理图像进行虚化,生成中间图像。
所述图像处理命令中还包括虚化强度,具体地,所述虚化强度可以是由用户的选择所确定,终端中也可以设置虚化强度的默认值,当用户没有选择时,使用默认值,所述根据所述图像处理命令对所述待处理图像进行虚化包括:
S310、根据所述虚化强度生成所述虚化强度对应的模糊核;
S320、根据所述模糊核对所述待处理图像进行虚化。
模糊核是一种用于虚化图像的卷积核,使用模糊核对图像中的像素点的像素值进行卷积,生成较模糊的图像,实现对图像进行虚化的目的。模糊核的尺寸与虚化效果相关,模糊核的尺寸越大,虚化效果越模糊,在本实施例中,根据所述虚化强度确定所述模糊核的尺寸,具体地,所述模糊核的尺寸为(2*bokeh_level+1)*(2*bokeh_level+1),其中,bokeh_level为所述虚化强度,不难看出,根据实际的应用场景,本领域技术人员可以设置不同的虚化强度和模糊核的尺寸的对应关系,例如需要更模糊的虚化效果,那么可以设置更大尺寸的模糊核,如(3*bokeh_level+1)*(3*bokeh_level+1)等。
在生成所述模糊核后,使用所述模糊核对所述待处理图像进行虚化,即使用所述模糊核对所述待处理图像中的像素点的像素值进行卷积,生成所述中间图像。
在获取到所述中间图像之后,所述图像处理方法还包括:
S400、根据所述中间深度图以及所述中间图像对所述待处理图像进行处理,生成目标图像。
从前面的说明不难看出,所述中间深度图是结合用户选择的焦点以及是否前景虚化而生成的,也就是说,所述中间深度图反映了用于对于虚化区域的选择,而所述中间图像反映了在不区分虚化区域的情况下对所述待处理图像进行虚化的结果,在本实施例中,将所述中间深度图和所述中间图像结合起来,共同用于处理所述待处理图像。具体地,所述根据所述中间深度图以及所述中间图像对所述待处理图像进行处理,生成目标图像包括:
根据所述中间深度图中各个第二像素点分别对应的各个第二像素值以及所述中间图像中各个第三像素点分别对应的各个第三像素值对所述待处理图像进行处理,生成目标图像。
在根据所述中间深度图和所述中间图像对所述待处理图像进行处理时,是根据所述中间深度图的各个像素点的像素值和所述中间图像的各个像素点的像素值对所述待处理图像的各个像素点的像素值进行处理,具体地,所述根据所述中间深度图中各个第二像素点分别对应的第二像素值以及所述中间图像中各个第三像素点分别对应的各个第三像素值对所述待处理图像进行处理,生成目标图像包括:
根据第二预设公式、所述各个第二像素值以及所述各个第三像素值分别对所述待处理图像中的各个第四像素点的第四像素值进行处理,生成所述目标图像的各个第五像素点分别对应的各个第五像素值。
具体地,是通过所述中间深度图的各个像素点分别对应的各个像素值和所述中间图像中的各个像素点的像素值对所述待处理图像的各个像素点的像素值进行处理(为了便于区分,以第二像素点表示所述中间深度图中的像素点,以第二像素值表示所述中间深度图中的像素点的像素值,以第三像素点表示所述中间图像中的像素点,以第三像素值表示所述中间图像中的像素点的像素值,以第四像素点表示所述待处理图像中的像素点,以第四像素值表示所述待处理图像中的像素点的像素值),生成目标图像。在本实施例中,是预先设置所述第二预设公式,将各个第四像素值以及各个第四像素值分别对应的第二像素值和第三像素值分别带入所述第二预设公式,计算得到所述各个第四像素值分别对应的各个第五像素值,所述各个第五像素值即为所述目标图像中各个像素点的像素值。也就是说,根据所述中间深度图中各个像素点的像素值以及所述中间图像中各个像素点的像素值对所述中间图像中的各个像素点的像素值进行更新,生成所述目标图像。
由于所述中间图像是根据所述待处理图像进行模糊核卷积计算后得到的图像,因此,所述中间图像与所述待处理图像的像素点为一一对应的关系,而对于所述中间深度图来说,由于在生成所述中间深度图的过程中,可以对所述待处理图像进行了尺寸的缩减,因此,所述中间深度图中的像素点可能少于所述待处理图像中的像素点,而对图像进行尺寸缩减的过程是下采样的过程,那么,可以建立所述中间深度图中的像素点与所述待处理图像的像素点之间的1对多的关系,也就是说,所述待处理图像中的多个像素点对应所述中间深度图中的一个像素点。
所述第二预设公式为:
Figure BDA0002520820830000131
Figure BDA0002520820830000132
其中,Main_pixelVal′m,n为所述目标图像中坐标为(m,n)的第五像素点的第五像素值,Main_pixelValm,n为所述待处理图像中坐标为(m,n)的第三像素点的第三像素值,BokehedMain_pixelValm,n为所述中间图像中坐标为(m,n)的第三像素点的第三像素值,weightm,n为所述中间深度图中与所述待处理图像中坐标为(m,n)的像素点对应的第二像素点的第二像素值。
值得说明的是,公式(3)中的运算关系以及常数是根据多次试验得出的,本领域技术人员完全可以根据本发明的思想,基于不同的图像处理需求(例如不同的预览时间需求、虚化程度需求)得到不同的公式,本发明并不限定于上述公式。
从上述公式可以看出,对于所述待处理图像中的每一个所述第四像素点,都可以生成一个对应的所述第五像素值,用各个第五像素值更新对应的第四像素值,即生成了所述目标图像。
综上所述,本实施例提供一种图像处理方法,在对图像进行虚化处理的过程中,通过提取待处理图像的深度图,根据图像处理命令处理待处理的图像的深度图,并使用根据图像处理命令处理后的深度图的像素值对待处理图像进行像素值处理,不需要对待处理的图像进行分割,运行时间稳定,应用在图像预览虚化场景下,可以使得显示预览虚化图像的时间稳定,提升用户使用体验。如图3-图4所示,图3和图4是使用本实施例提供的图像处理方法进行虚化后的预览效果图,可以看出,图3和图4的图像虚化效果良好,而在试验中,图3和图4中的预览时间基本一致,说明了本实施例具有提升图像虚化预览时间的稳定性的效果。
应该理解的是,虽然本发明说明书附图中给出的的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
实施例二
基于上述实施例,本发明还提供了一种终端,其原理框图可以如图9所示。该终端包括通过系统总线连接的处理器、存储器、网络接口、显示屏、温度传感器。其中,该终端的处理器用于提供计算和控制能力。该终端的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该终端的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像处理方法。该终端的显示屏可以是液晶显示屏或者电子墨水显示屏,该终端的温度传感器是预先在终端内部设置,用于检测内部设备的当前运行温度。
本领域技术人员可以理解,图9中示出的原理框图,仅仅是与本发明方案相关的部分结构的框图,并不构成对本发明方案所应用于其上的终端的限定,具体的终端可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种终端,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时至少可以实现以下步骤:
接收图像处理命令以及待处理图像,根据所述待处理图像获取所述待处理图像对应的深度图;
根据所述图像处理命令对所述深度图中的各个第一像素点进行处理,生成中间深度图;
根据所述图像处理命令对所述待处理图像进行虚化,生成中间图像;
根据所述中间深度图以及所述中间图像对所述待处理图像进行处理,生成目标图像。其中,所述待处理图像为第一摄像头拍摄的第一图像,所述根据所述待处理图像获取对应的深度图包括:
获取第二摄像头拍摄的第二图像;
根据所述第一图像和所述第二图像生成所述深度图。
其中,所述图像处理命令中包括焦点坐标以及前景虚化选择信息,所述根据所述图像处理命令对所述深度图中的各个第一像素点的初始像素值进行处理,生成中间深度图包括:
根据所述焦点坐标获取在所述深度图中所述焦点坐标对应的像素点的焦点初始像素值;
根据所述前景虚化选择信息确定所述前景虚化选择信息对应的第一预设公式;
根据所述第一预设公式以及所述焦点初始像素值对所述各个第一像素点的初始像素值进行处理,生成各个第一像素点分别对应的各个第一像素值;
根据所述各个第一像素值生成所述中间深度图。
其中,所述图像处理命令中包括虚化强度,所述根据所述图像处理命令对所述待处理图像进行虚化包括:
根据所述虚化强度生成所述虚化强度对应的模糊核;
根据所述模糊核对所述待处理图像进行虚化。
其中,所述根据所述中间深度图以及所述中间图像对所述待处理图像进行处理,生成目标图像包括:
根据所述中间深度图中各个第二像素点分别对应的各个第二像素值以及所述中间图像中各个第三像素点分别对应的各个第三像素值对所述待处理图像进行处理,生成目标图像。
其中,所述根据所述中间深度图中各个第二像素点分别对应的各个第二像素值以及所述中间图像中各个第三像素点分别对应的各个第三像素值对所述待处理图像进行处理,生成目标图像包括:
根据第二预设公式、所述各个第二像素值以及所述各个第三像素值分别对所述待处理图像中的各个第四像素点分别对应的各个第四像素值进行处理,生成所述目标图像的各个第五像素点分别对应的各个第五像素值。
实施例三
本发明还提供了一种存储介质,所述存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现上述实施例所述的图像处理方法的步骤。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种图像处理方法,其特征在于,所述图像处理方法包括:
接收图像处理命令以及待处理图像,根据所述待处理图像获取所述待处理图像对应的深度图;
根据所述图像处理命令对所述深度图中的各个第一像素点进行处理,生成中间深度图;
根据所述图像处理命令对所述待处理图像进行虚化,生成中间图像;
根据所述中间深度图以及所述中间图像对所述待处理图像进行处理,生成目标图像。
2.根据权利要求1所述的图像处理方法,其特征在于,所述待处理图像为第一摄像头拍摄的第一图像,所述根据所述待处理图像获取对应的深度图包括:
获取第二摄像头拍摄的第二图像;
根据所述第一图像和所述第二图像生成所述深度图。
3.根据权利要求1所述的图像处理方法,其特征在于,所述图像处理命令中包括焦点坐标以及前景虚化选择信息,所述根据所述图像处理命令对所述深度图中的各个第一像素点的初始像素值进行处理,生成中间深度图包括:
根据所述焦点坐标获取在所述深度图中所述焦点坐标对应的像素点的焦点初始像素值;
根据所述前景虚化选择信息确定所述前景虚化选择信息对应的第一预设公式;
根据所述第一预设公式以及所述焦点初始像素值对所述各个第一像素点的初始像素值进行处理,生成各个第一像素点分别对应的各个第一像素值;
根据所述各个第一像素值生成所述中间深度图。
4.根据权利要求3所述的图像处理方法,其特征在于,所述根据所述前景虚化选择信息确定所述前景虚化选择信息对应的第一预设公式包括:
当所述前景虚化选择信息为选择前景不虚化时,所述前景虚化选择信息对应的所述第一预设公式为:
Figure FDA0002520820820000021
Figure FDA0002520820820000022
当所述前景虚化选择信息为选择前景虚化时,所述前景虚化选择信息对应的所述第一预设公式为:
Figure FDA0002520820820000023
其中,depthVal′i,j为坐标为(i,j)的第一像素点对应的第一像素值,temp_depthVali,j为计算中间项,depthVali,j为坐标为(i,j)的第一像素点的初始像素值,focus_dpethVal为所述焦点初始像素值,C、Var为常数。
5.根据权利要求1所述的图像处理方法,其特征在于,所述图像处理命令中包括虚化强度,所述根据所述图像处理命令对所述待处理图像进行虚化包括:
根据所述虚化强度生成所述虚化强度对应的模糊核;
根据所述模糊核对所述待处理图像进行虚化。
6.根据权利要求1所述的图像处理方法,其特征在于,所述根据所述中间深度图以及所述中间图像对所述待处理图像进行处理,生成目标图像包括:
根据所述中间深度图中各个第二像素点分别对应的各个第二像素值以及所述中间图像中各个第三像素点分别对应的各个第三像素值对所述待处理图像进行处理,生成目标图像。
7.根据权利要求6所述的图像处理方法,其特征在于,所述根据所述中间深度图中各个第二像素点分别对应的各个第二像素值以及所述中间图像中各个第三像素点分别对应的各个第三像素值对所述待处理图像进行处理,生成目标图像包括:
根据第二预设公式、所述各个第二像素值以及所述各个第三像素值分别对所述待处理图像中的各个第四像素点分别对应的各个第四像素值进行处理,生成所述目标图像的各个第五像素点分别对应的各个第五像素值。
8.根据权利要求7所述的图像处理方法,其特征在于,所述第二预设公式为:
Figure FDA0002520820820000031
其中,Main_pixelVal′m,n为所述目标图像中坐标为(m,n)的第五像素点的第五像素值,Main_pixelValm,n为所述待处理图像中坐标为(m,n)的第三像素点的第三像素值,BokehedMain_pixelValm,n为所述中间图像中坐标为(m,n)的第三像素点的第三像素值,weightm,n为所述中间深度图中与所述待处理图像中坐标为(m,n)的像素点对应的第二像素点的第二像素值。
9.一种终端,其特征在于,所述终端包括:处理器、与处理器通信连接的存储介质,所述存储介质适于存储多条指令,所述处理器适于调用所述存储介质中的指令,以执行实现上述权利要求1-8任一项所述的图像处理方法的步骤。
10.一种存储介质,其特征在于,所述存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现如权利要求1-8任一项所述的图像处理方法的步骤。
CN202010490306.5A 2020-06-02 2020-06-02 一种图像处理方法、终端以及存储介质 Active CN113766090B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010490306.5A CN113766090B (zh) 2020-06-02 2020-06-02 一种图像处理方法、终端以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010490306.5A CN113766090B (zh) 2020-06-02 2020-06-02 一种图像处理方法、终端以及存储介质

Publications (2)

Publication Number Publication Date
CN113766090A true CN113766090A (zh) 2021-12-07
CN113766090B CN113766090B (zh) 2023-08-01

Family

ID=78782842

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010490306.5A Active CN113766090B (zh) 2020-06-02 2020-06-02 一种图像处理方法、终端以及存储介质

Country Status (1)

Country Link
CN (1) CN113766090B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070147520A1 (en) * 2005-12-23 2007-06-28 Qinghua Li Techniques to time vary pilot locations in wireless networks
US20100080448A1 (en) * 2007-04-03 2010-04-01 Wa James Tam Method and graphical user interface for modifying depth maps
CN104333700A (zh) * 2014-11-28 2015-02-04 广东欧珀移动通信有限公司 一种图像虚化方法和图像虚化装置
JP2015099975A (ja) * 2013-11-18 2015-05-28 シャープ株式会社 画像処理装置
US20160232694A1 (en) * 2015-02-09 2016-08-11 Hisense Mobile Communications Technology Co., Ltd. Method and apparatus for processing image data
CN106530241A (zh) * 2016-10-31 2017-03-22 努比亚技术有限公司 一种图像虚化处理方法和装置
CN107426493A (zh) * 2017-05-23 2017-12-01 深圳市金立通信设备有限公司 一种虚化背景的拍摄方法及终端
CN108234865A (zh) * 2017-12-20 2018-06-29 深圳市商汤科技有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
CN109685853A (zh) * 2018-11-30 2019-04-26 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
WO2019105262A1 (zh) * 2017-11-30 2019-06-06 Oppo广东移动通信有限公司 背景虚化处理方法、装置及设备
CN110211057A (zh) * 2019-05-15 2019-09-06 武汉Tcl集团工业研究院有限公司 一种基于全卷积网络的图像处理方法、装置和计算机设备

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070147520A1 (en) * 2005-12-23 2007-06-28 Qinghua Li Techniques to time vary pilot locations in wireless networks
US20100080448A1 (en) * 2007-04-03 2010-04-01 Wa James Tam Method and graphical user interface for modifying depth maps
JP2015099975A (ja) * 2013-11-18 2015-05-28 シャープ株式会社 画像処理装置
CN104333700A (zh) * 2014-11-28 2015-02-04 广东欧珀移动通信有限公司 一种图像虚化方法和图像虚化装置
US20160232694A1 (en) * 2015-02-09 2016-08-11 Hisense Mobile Communications Technology Co., Ltd. Method and apparatus for processing image data
CN106530241A (zh) * 2016-10-31 2017-03-22 努比亚技术有限公司 一种图像虚化处理方法和装置
CN107426493A (zh) * 2017-05-23 2017-12-01 深圳市金立通信设备有限公司 一种虚化背景的拍摄方法及终端
WO2019105262A1 (zh) * 2017-11-30 2019-06-06 Oppo广东移动通信有限公司 背景虚化处理方法、装置及设备
CN108234865A (zh) * 2017-12-20 2018-06-29 深圳市商汤科技有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
CN109685853A (zh) * 2018-11-30 2019-04-26 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
CN110211057A (zh) * 2019-05-15 2019-09-06 武汉Tcl集团工业研究院有限公司 一种基于全卷积网络的图像处理方法、装置和计算机设备

Also Published As

Publication number Publication date
CN113766090B (zh) 2023-08-01

Similar Documents

Publication Publication Date Title
CN108230333B (zh) 图像处理方法、装置、计算机程序、存储介质和电子设备
US20160301868A1 (en) Automated generation of panning shots
CN108234858B (zh) 图像虚化处理方法、装置、存储介质及电子设备
CN115052104B (zh) 图像处理方法、电子装置及非易失性计算机可读存储介质
CN107749944A (zh) 一种拍摄方法及装置
CN111062881A (zh) 图像处理方法及装置、存储介质、电子设备
CN110611767B (zh) 图像处理方法、装置和电子设备
US20140368506A1 (en) Depth-aware stereo image editing method apparatus and computer-readable medium
JP7412545B2 (ja) 画像処理方法、画像処理装置、及びそれを応用する電子機器
WO2022116397A1 (zh) 虚拟视点深度图处理方法、设备、装置及存储介质
CN107633497A (zh) 一种图像景深渲染方法、系统及终端
CN113793257B (zh) 图像处理方法及装置、电子设备、计算机可读存储介质
CN104994280A (zh) 一种预览图像处理方法及用户终端
CN112598571B (zh) 一种图像缩放方法、装置、终端及存储介质
CN108810326B (zh) 一种拍照方法、装置及移动终端
CN115170383A (zh) 一种图像虚化方法、装置、存储介质及终端设备
CN116456191A (zh) 图像生成方法、装置、设备及计算机可读存储介质
CN105007410A (zh) 一种大视角摄像头控制方法及用户终端
CN113938578A (zh) 一种图像虚化方法、存储介质及终端设备
CN113766090B (zh) 一种图像处理方法、终端以及存储介质
CN115134532A (zh) 图像处理方法、装置、存储介质及电子设备
CN115379075A (zh) 月亮拍摄方法、装置、存储介质及拍摄设备
CN113395434A (zh) 一种预览图像虚化方法、存储介质及终端设备
CN112911130A (zh) 辅助取景方法、装置、终端和存储介质
CN114143442B (zh) 图像虚化方法、计算机设备、计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant