CN106558089B - 图像景深绘制方法及装置 - Google Patents

图像景深绘制方法及装置 Download PDF

Info

Publication number
CN106558089B
CN106558089B CN201510603895.2A CN201510603895A CN106558089B CN 106558089 B CN106558089 B CN 106558089B CN 201510603895 A CN201510603895 A CN 201510603895A CN 106558089 B CN106558089 B CN 106558089B
Authority
CN
China
Prior art keywords
image
pixel
diffusion
scale image
scale
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510603895.2A
Other languages
English (en)
Other versions
CN106558089A (zh
Inventor
陈敏杰
郭春磊
李昂
林福辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Spreadtrum Communications Shanghai Co Ltd
Original Assignee
Spreadtrum Communications Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Spreadtrum Communications Shanghai Co Ltd filed Critical Spreadtrum Communications Shanghai Co Ltd
Priority to CN201510603895.2A priority Critical patent/CN106558089B/zh
Publication of CN106558089A publication Critical patent/CN106558089A/zh
Application granted granted Critical
Publication of CN106558089B publication Critical patent/CN106558089B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

图像景深绘制方法及装置，所述方法包括：采用预设的模式对原始图像进行绘制生成全对焦图像和深度图像；对全对焦图像进行高光效果补偿，并逐层降采样得到多个尺度图像；根据深度图像和对焦位置，计算各像素的弥散圈半径，并确定各像素在预设位序之后的尺度图像上对应的扩散核；根据各像素在预设位序之后的尺度图像上对应的扩散核，对各个像素在扩散核对应的扩散半径范围内的像素点进行扩散；将经过扩散操作和未经过扩散操作的尺度图像，及经过高光效果补偿的全对焦图像，分别进行向上重采样得到多个重建图像；采用预设的权重系数对多个重建图像进行融合并进行逆高光效果补偿。上述的方案，可以简化图像景深绘制的计算，提高景深绘制的速度。

Description

图像景深绘制方法及装置
技术领域
本发明涉及图像处理技术领域，特别是涉及一种图像景深绘制方法及装置。
背景技术
景深效果，是指相机镜头能够对物体成清晰像的物距范围，在该物距范围之外，包括前景和背景，相机镜头对物体成模糊像。景深效果是相机镜头的重要光学特性，用于强调所拍摄的对象，以增强图像的真实感。目前，关于景深效果的绘制的技术已经成为计算机图像学中的重要研究方向。
现有技术中的一种景深绘制方法为前向映射法，使用源图像中的颜色、深度信息，根据镜头孔径尺寸、镜头焦距和对焦距离计算所述源图像中不同位置的像素的弥散圈大小，并确定合适的强度分布函数，根据弥散圈大小和强度分布函数，对源图像中的像素进行模糊处理，并在目标图像中以一定的方式进行混合以累计源图像的模糊处理效果，最终生成含有景深效果的图像。
但是，这种方法在景深绘制时，需要为源图像中的每个像素计算对应的扩散半径并进行扩散操作，因此，存在着计算复杂度高的问题。
发明内容
本发明实施例解决的技术问题是如何简化图像景深绘制的计算，提高景深绘制的速度。
为解决上述问题，本发明实施例提供了一种图像景深绘制方法，所述方法包括：
采用预设的模式对原始图像进行绘制生成对应的全对焦图像和深度图像；
对所述全对焦图像进行高光效果补偿；
对经过高光效果补偿的全对焦图像进行逐层降采样得到按照顺序排列的多个尺度图像；
根据所述深度图像和对焦位置，计算各像素的弥散圈半径；
根据各个尺度图像所选取的预设的扩散核，确定各像素在预设位序之后的尺度图像上对应的扩散核；
根据所确定的各像素在预设位序之后的尺度图像上对应的扩散核，对各个像素在扩散核对应的扩散半径范围内的像素点进行扩散；
将经过扩散操作的所述预设位序之后的各个尺度图像和未经过扩散操作的所述预设位序之前的各个尺度图像，以及所述经过高光效果补偿的全对焦图像，分别进行向上重采样得到对应的多个重建图像；
采用预设的权重系数对所述多个重建图像中的像素进行融合得到融合图像；
对所述融合图像进行逆高光效果补偿，得到含有景深效果的图像。
可选地，采用如下的公式对所述全对焦图像进行高光效果补偿，并采用如下的公式的反函数对所述融合图像进行逆高光效果补偿：
其中，y*表示对所述全对焦图像进行高光效果补偿后得到的Y通道数据，y表示所述全对焦图像的Y通道数据，λ表示所述全对焦图像的Y通道数据的高光效果补偿阈值，g、β分别表示预设的数值。
可选地，采用如下的公式执行所述根据所述深度图像和对焦位置，计算各像素的弥散圈半径的操作：
j＝argminj|c-2sKs,j|；
其中，c∈(Ls，Hs)，Ls＝2s-1Ks-1,ns，Hs＝2s+1Ks+1,1，j表示第s个尺度图像的扩散核，Ks，j所述第s个尺度图像的第j个扩散核，Ks-1，ns表示第s-1个尺度图像的第ns个扩散核，Ks+1，1表示第s+1个尺度图像的第1个扩散核，ns为第s个尺度图像的扩散核的数目，c为计算得到的各个尺度图像的像素点(x,y)在像平面的弥散圈像素。
可选地，采用如下的公式执行所述根据所确定的各像素在预设位序之后的尺度图像上对应的扩散核，对各个像素在扩散核对应的扩散半径范围内的像素点进行扩散的操作：
Iout(x,y)＝Iacc(x,y)/Inor(x,y)，且：
Ibuf(x+1+r(k),y+k)＝Ibuf(x+1+r(k),y+k)-wI(x,y)；
Ibuf(x-r(k),y+k)＝Ibuf(x-r(k),y+k)+wI(x,y)；
Ibufnor(x+1+r(k),y+k)＝Ibufnor(x+1+r(k),y+k)-w；
Ibufnor(x-r(k),y+k)＝Ibufnor(x-r(k),y+k)+w；
其中，Iout表示所述含有景深效果的图像中(x,y)的数值，Iacc(x,y)表示当前像素(x,y)的扩散累计值，Inor(x,y)表示当前像素(x,y)的扩散归一化的数值，Iacc(x-1,y)表示像素(x-1,y)的扩散累计值，Ibuf(x,y)表示表示像素(x-1,y)的扩散归一化的数值，Ibufnor(x-1,y)表示，Ibuf(x+1+r(k),y+k)表示像素(x+1+r(k),y+k)的扩散归一化的数值，Iacc(x+1+r(k),y+k)表示像素(x+1+r(k),y+k)的扩散累计至值，Ibufnor(x+1+r(k),y+k)表示像素(x+1+r(k),y+k)的差分累计扩散值，Ibufnor(x-r(k),y+k)表示像素(x-r(k),y+k)的差分累计归一化扩散值，w表示当前扩散核包括的像素点个数的倒数，k的取值范围由当前尺度图像中当前像素的扩散核的大小决定。
可选地，所述对各个尺度图像中的像素采用预设的扩散核进行扩散操作，包括：
根据所确定各像素的弥散圈扩散半径以及当前尺度图像的预设扩散核，获取当前尺度图像中在所述扩散核对应的扩散半径范围内的像素点；
当确定所述扩散半径范围内的像素点在当前尺度图像中处于扩散状态时，则采用所述像素点进行扩散更新。
可选地，所述预设的权重系数采用如下的公式确定：
其中，wc,0表示所述经过高光效果补偿的全对焦图像，wc,rec表示对所述经过高光效果补偿的全对焦图像进行向上重采样得到的图像，表示对所述多个尺度图像中第一位序的尺度图像向上重采样得到的重建图像，wc,s表示对第s个尺度图像进行向上重采样得到的重建图像，W(c,x,y)表示权重计算公式。
可选地，所述权重计算公式为：
或，
本发明实施例还提供了一种图像景深绘制装置，所述装置包括：
绘制生成单元，适于采用预设的模式对原始图像进行绘制生成对应的全对焦图像和深度图像，所述全对焦图像中包括颜色和深度的信息；
高光效果补偿单元，适于对所述全对焦图像进行高光效果补偿；
降采样单元，适于对经过高光效果补偿的全对焦图像进行逐层降采样得到按照顺序排列的多个尺度图像；
弥散圈半径计算单元，适于根据所述深度图像和对焦位置，计算各像素的弥散圈半径；
扩散核确定单元，适于根据各个尺度图像所选取的预设的扩散核，确定各像素在预设位序之后的尺度图像上对应的扩散核；
扩散单元，适于根据所确定的各像素在预设位序之后的尺度图像上对应的扩散核，对各个像素在扩散核对应的扩散半径范围内的像素点进行扩散；
重建单元，适于将经过扩散操作的所述预设位序之后的各个尺度图像和未经过扩散操作的所述预设位序之前的各个尺度图像，以及所述经过高光效果补偿的全对焦图像，分别进行向上重采样得到对应的多个重建图像；
融合单元，适于采用预设的权重系数对所述多个重建图像中的像素进行融合得到融合图像；
逆高光效果补偿单元，适于对所述融合图像进行逆高光效果补偿，得到含有景深效果的图像。
可选地，所述高光效果补偿单元适于采用如下的公式执行所述对所述全对焦图像进行高光效果补偿的操作，且所述逆高光效果补偿单元适于采用如下的公式的反函数执行所述对所述融合图像进行逆高光效果补偿的操作：
其中，y*表示对所述全对焦图像进行高光效果补偿后得到的Y通道数据，y表示所述全对焦图像的Y通道数据，λ表示所述全对焦图像的Y通道数据的高光效果补偿阈值，g、β分别表示预设的数值。
可选地，所述扩散核确定单元适于采用如下的公式执行所述根据各个尺度图像所选取的预设的扩散核，确定各像素在预设位序之后的尺度图像上对应的扩散核的操作：
j＝argminj|c-2sKs,j|；
其中，c∈(Ls，Hs)，Ls＝2s-1Ks-1,ns，Ls＝2s+1Ks+1,1，j表示第s个尺度图像的扩散核，Ks，j所述第s个尺度图像的第j个扩散核，Ks-1，ns表示第s-1个尺度图像的第ns个扩散核，Ks+1，1表示第s+1个尺度图像的第1个扩散核，ns为第s个尺度图像的扩散核的数目，c为计算得到的各个尺度图像的像素点(x,y)在像平面的弥散圈像素。
可选地，所述扩散单元适于采用如下的公式执行所述根据所确定的各像素在预设位序之后的尺度图像上对应的扩散核，对各个像素在扩散核对应的扩散半径范围内的像素点进行扩散的操作：
Iout(x,y)＝Iacc(x,y)/Inor(x,y)，且：
Ibuf(x+1+r(k),y+k)＝Ibuf(x+1+r(k),y+k)-wI(x,y)；
Ibuf(x-r(k),y+k)＝Ibuf(x-r(k),y+k)+wI(x,y)；
Ibufnor(x+1+r(k),y+k)＝Ibufnor(x+1+r(k),y+k)-w；
Ibufnor(x-r(k),y+k)＝Ibufnor(x-r(k),y+k)+w；
其中，Iout表示所述含有景深效果的图像中(x,y)的数值，Iacc(x,y)表示当前像素(x,y)的扩散累计值，Inor(x,y)表示当前像素(x,y)的扩散归一化的数值，Iacc(x-1,y)表示像素(x-1,y)的扩散累计值，Ibuf(x,y)表示表示像素(x-1,y)的扩散归一化的数值，Ibufnor(x-1,y)表示，Ibuf(x+1+r(k),y+k)表示像素(x+1+r(k),y+k)的扩散归一化的数值，Iacc(x+1+r(k),y+k)表示像素(x+1+r(k),y+k)的扩散累计至值，Ibufnor(x+1+r(k),y+k)表示像素(x+1+r(k),y+k)的差分累计扩散值，Ibufnor(x-r(k),y+k)表示像素(x-r(k),y+k)的差分累计归一化扩散值，w表示当前扩散核包括的像素点个数的倒数，k的取值范围由当前尺度图像中当前像素的扩散核的大小决定。
可选地，所述扩散单元适于根据所确定的扩散核，获取当前尺度图像中与当前像素的距离在所述扩散核对应的扩散半径内的像素点；当根据所述扩散半径内的像素点的弥散圈像素确定所述扩散半径内的像素点在当前尺度图像中处于扩散状态时，则采用所述像素点对当前像素进行更新。
可选地，所述融合单元适于采用如下的公式确定预设的权重系数：
其中，wc,0表示所述经过高光效果补偿的全对焦图像，wc,rec表示对所述经过高光效果补偿的全对焦图像进行向上重采样得到的图像，表示对所述多个尺度图像中第一位序的尺度图像向上重采样得到的重建图像，wc,s表示对第s个尺度图像进行向上重采样得到的重建图像，W(c,x,y)表示权重计算公式。
可选地，所述权重计算公式为：
或，
与现有技术相比，本发明的技术方案具有以下的优点：
上述的方案，通过采用预设的扩散核对多个尺度图像中预设位序之后的尺度图像中的像素进行扩散操作，而无需对每个尺度图像均进行扩散操作，且无需为各个像素分别计算扩散半径并进行扩散操作，可以减少计算量，进而可以提高景深绘制的速度。
进一步地，在将全对焦图像进行降采样之前，对全对焦图像进行高光效果补偿，可以对高光效果进行模拟，使得最终生成的图像更加真实。
进一步地，在对预设位序之后的尺度图像中的像素进行扩散操作时，对于预设的扩散核，通过在缓存空间上更新扩散核对应的每一行的差分数值来对扩散核对应的每一行的像素进行更新，可以便于像素的扩散操作。
进一步地，在对预设位序之后的尺度图像中的像素进行扩散操作时，在扩散核已知的情况下，通过当前像素的扩散半径内的所有像素的弥散圈像素，确定所述扩散半径内的像素点是否扩散到当前像素，当所述扩散半径内的像素点扩散到当前像素时，直接采用扩散到当前像素的像素点对当前像素进行更新，由于在当前像素的更新过程中，仅需要缓存扩散半径内的像素点的弥散圈像素，因此，节约存储资源。
附图说明
图1是本发明实施例中的图像景深绘制方法的流程图；
图2是本发明实施例中的进行扩散操作时采用的扩散核的示意图；
图3是本发明实施例中的图像景深绘制装置的结构示意图。
具体实施方式
现有技术中，在采用前向映射的景深绘制方法进行景深绘制时，需要为源图像中的每个像素计算对应的扩散半径并进行扩散操作，因此，存在着计算复杂度高的问题。
为解决现有技术中存在的上述问题，本发明实施例采用的技术方案通过采用预设的扩散核对多个尺度图像中预设位序之后的尺度图像中的像素进行扩散操作，可以减少计算量，提高景深绘制的速度。
为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
图1示出了本发明实施例中的一种图像景深绘制方法的流程图。如图1所述的图像景深绘制方法，可以包括：
步骤S101：采用预设的模式对原始图像进行绘制生成对应的全对焦图像和深度图像。
在具体实施中，可以采用任意模式，如双目视觉深度估计，对原始图像进行绘制生成对应的全对焦图像(yuv图像)和深度图像。其中，所述全对焦图像中包括颜色和色度的信息。
步骤S102：对所述全对焦图像进行高光效果补偿。
在具体实施中，为了补偿光源区域在未对焦时的高光效果，可以采用如下的公式对生成的全对焦图像进行高光效果补偿：
其中，y*表示对所述全对焦图像进行高光效果补偿后得到的Y通道数据，y表示所述全对焦图像的Y通道数据，λ表示所述全对焦图像的Y通道数据的高光效果补偿阈值，g、β分别表示预设的数值。
步骤S103：对经过高光效果补偿的全对焦图像进行逐层降采样得到按照顺序排列的多个尺度图像。
在具体实施中，在对生成的全对焦图像进行高光效果补偿之后，对所述经过高光效果补偿后的全对焦图像进行逐层降采样得到多个尺度图像。
其中，所述进行逐层降采样是指，首先对经过高光效果补偿的全对焦图像进行降采样得到1/2尺度图像，对得到的1/2尺度图像进行降采样得到1/4尺度图像，对得到的1/4尺度图像进行降采样得到1/8尺度图像，再对得到的1/8尺度图像进行降采样得到1/16尺度图像等等，以此类推。因此，对经过高光效果补偿的全对焦图像进行逐层降采样得到的多个尺度图像的排列顺序依次为1/2尺度图像、1/4尺度图像、1/8尺度图像、1/16尺度图像等。
步骤S104：根据所述深度图像和对焦位置，计算各像素的弥散圈半径。
在具体实施中，可以通过下述的公式计算不同物距在像平面的弥散圈(Circle ofConfusion，CoC)像素：
其中，K(z)表示不同物距在像平面的CoC像素，z0表示对焦物平面到镜头的距离，b0表示物距，f/N表示透镜的光圈大小，Cz表示计算得到的CoC像素，Kmaxf、Kmaxb分别表示最大的前景和最大的背景对应的CoC像素，s表示扩散半径偏移参数。
步骤S105：根据各个尺度图像所选取的预设的扩散核，确定各像素在预设位序之后的尺度图像上对应的扩散核。
在具体实施中，根据透镜的特点，各个尺度图像中可以选择性的采用5*5、7*7、9*9等圆形的均匀扩散核进行扩散操作。例如，请参见图2所示，其中示出了对1/8尺度图像进行扩散操作时所采用的7*7的圆形扩散核。其中，为了运算的方便，可以将第s个尺度图像中所采用的扩散核中的像素点的数目可以近似估计为2sKs,j，其中，Ks,j为所选择的扩散核的直径。当然，所采用的扩散核也可以其他的形状，本发明在此不做限制。
在具体实施中，当计算得到不同物距在像平面的CoC像素之后，本发明实施例并不是在原始图像上直接根据得到的CoC像素进行前向映射，因为这样做计算复杂度将会变得非常高，这在实时系统中是不能接受的。
在本发明实施例中，在各个尺度图像可以将计算得到的各个像素对应的CoC像素进行上下缩放。具体而言，可以根据各个尺度图像所选取的预设的扩散核，通过采用以下的方式确定各像素在对应尺度图像上的扩散核：
j＝argminj|c-2sKs,j| (5)
其中，c∈(Ls，Hs)，Ls＝2s-1Ks-1,ns，Ls＝2s+1Ks+1,1，j表示第s个尺度图像的扩散核，Ks，j所述第s个尺度图像的第j个扩散核的大小，Ks-1，ns表示第s-1个尺度图像的第ns个扩散核的大小，Ks+1，1表示第s+1个尺度图像的第1个扩散核的大小，ns为第s个尺度图像的扩散核的数目，c为计算得到的各个尺度图像的像素点(x,y)在像平面的CoC像素。
例如，当根据计算得到原始图像中像素点的CoC像素确定当前像素点的扩散核中像素的数目为30，为了节约计算量而不对1/2尺度图像进行扩散操作，且各个尺度图像所选取的扩散核的数目为1个时，则1/4尺度图像中当前像素可以选择采用5*5的扩散核，而1/8尺度图像中当前像素将可以采用7*7的扩散核。
当然，当对1/2、1/4和1/8尺度图像均进行扩散操作时，1/2尺度图像中当前像素可以采用3*3的扩散核，1/4尺度图像中当前像素可以选择采用5*5的扩散核，而1/8尺度图像中当前像素将可以采用7*7的扩散核。
采用上述的方式确定的扩散核对各个尺度的图像中的像素点进行扩散核的选取，可以避免由于对所述生成的深度图像进行上下采样再经过CoC像素映射而产生的CoC像素值不稳定的问题。
步骤S106：根据所确定的各像素在预设位序之后的尺度图像上对应的扩散核，对各个像素在扩散核对应的扩散半径范围内的像素点进行扩散。
在具体实施中，在对各个尺度图像进行扩散操作时，同一个尺度图像所采用的扩散核以及不同尺度图像所采用的扩散核按照各个尺度图像排列的位序可以采取递增的方式进行，以提高融合得到的图像的鲁棒性，并降低计算的复杂度。
其中，为了进一步降低计算的复杂度，在本发明一实施例中，各个尺度图像所采用的扩散核的数目为1，且各个尺度的图像所采用的扩散核的大小递增。
在具体实施中，在确定各个尺度图像所采用的扩散核之后，可以对各个像素在扩散核对应的扩散半径范围内的像素点进行扩散。
在本发明一实施例中，在当前尺度图像的扩散核已知的情况下，可以首先在缓存空间上更新当前尺度图像上与扩散核对应的每一行像素的差分数值，当与扩散核对应的每一行像素的差分数值更新完成之后，通过递归的方式对当前尺度图像中的各个像素通过累计计算进行更新并输出。
具体而言，扩散核对应的每一行像素的差分数值可以采用如下的公式进行更新：
Ibuf(x+1+r(k),y+k)＝Ibuf(x+1+r(k),y+k)-wI(x,y) (6)
Ibuf(x-r(k),y+k)＝Ibuf(x-r(k),y+k)+wI(x,y) (7)
Ibufnor(x+1+r(k),y+k)＝Ibufnor(x+1+r(k),y+k)-w (8)
Ibufnor(x-r(k),y+k)＝Ibufnor(x-r(k),y+k)+w (9)
其中，Ibuf(x,y)表示当前像素(x,y)的差分累计扩散值，Ibuf(x+1+r(k),y)表示像素(x+1+r(k),y)的差分累计扩散值，Ibuf(x-r(k),y+k)表示像素(x-r(k),y+k)的差分累计扩散值，bufnor(x+1+r(k),y+k)表示像素(x+1+r(k),y+k)的差分累计归一化扩散值，Ibufnor(x-r(k),y+k)表示像素(x-r(k),y+k)的差分累计归一化扩散值，w表示当前扩散核包括的像素点个数的倒数，k的取值范围由当前尺度图像中当前像素的扩散核的大小决定。
在采用公式(6)、(7)、(8)、(9)更新差分数据完成之后，为了进一步节省缓存资源，通过递归形式，更新累计和和输出最终当前尺度扩散结果形式如下：可以采用如下的公式通过递归的方式对当前尺度中的各个像素进行更新：
Iout(x,y)＝Iacc(x,y)/Inor(x,y) (12)
其中，Iout表示当前尺度图像中像素(x,y)经过扩散操作后的值，Iacc(x,y)表示当前像素(x,y)的累计扩散值，Inor(x,y)表示当前像素(x,y)的归一化扩散值，Inor(x-1,y)表示像素(x-1,y)的归一化扩散值，Ibufnor(x,y)表示当前像素(x,y)的差分累计归一化扩散值。
在本发明另一实施例中，为了进一步节约缓存资源，在计算各个尺度图像的像素(x,y)扩散后的值Iout时，在所采用的扩散核已知的情况下，可以获取与当前像素(x,y)的距离在预设的扩散核对应的扩散半径之内的所有像素点，并根据所述扩散半径内所有的像素点，当确定所述扩散半径内像素点的CoC像素在[Ls，Hs]之间，也即是确定所述扩散半径内像素点在当前尺度图像中处于扩散状态时，则采用所述扩散半径内在当前尺度图像中处于扩散状态的像素点的值对当前像素(x,y)的Iacc(x,y)和Inor(x,y)进行更新，得到扩散以后当前像素(x,y)对应的像素Iout。因此，采用这种方法对各个尺度图像中的像素进行扩散操作时，只需要缓存扩散半径以内的像素点的CoC像素，因此，可以在很大程度上节省缓存资源。
在具体实施中，为了进一步降低运算量，可以对位序排列在前的数个尺度的图像不进行扩散操作，例如，可以不对1/2尺度图像进行扩散操作，从1/4尺度图像开始对1/4尺度图像及其之后的尺度图像进行扩散操作，或者，也可以不对1/2尺度图像和1/4尺度图像进行扩散操作，而对1/8尺度图像及其之后的尺度图像进行扩散操作，本领域的技术人员可以根据实际的需要进行设置，本发明对此不作限制。
步骤S107：将经过扩散操作的所述预设位序之后的各个尺度图像和未经过扩散操作的所述预设位序之前的各个尺度图像，以及所述经过高光效果补偿的全对焦图像，分别进行向上重采样得到对应的多个重建图像。
在具体实施中，当对预设位序之后的尺度图像经过扩散操作之后，可以通过向上重采样对经过扩散操作之后的各个尺度图像进行重建。同时，分别对未经过扩散操作的预设位序及其之前的尺度图像，以及经过高光效果补偿的全对焦图像通过向上重采样进行重建，得到对应的重建图像。
步骤S108：采用预设的权重系数对所述多个重建图像中的像素进行融合得到融合图像。
在具体实施中，在对各个重建图像进行融合操作时，由于同一个像素在不同的尺度图像中可能存在同时处于被扩散到的状态，因此，在进行融合时，可以根据计算得到的对应的CoC像素，采用如下的方式计算对应的权重系数：
其中，wc,0表示所述经过高光效果补偿的全对焦图像，wc,rec表示对所述经过高光效果补偿的全对焦图像进行向上重采样得到的图像，表示对所述多个尺度图像中第一位序的尺度图像向上重采样得到的重建图像，wc,s表示对第s个尺度图像进行向上重采样得到的重建图像，W(c,x,y)表示权重计算公式。
在具体实施中，权重计算公式W(c,x,y)可以采用线性或者对数线性的方式计算得到：
这里需要指出的是，当预设位序之后的尺度图像在进行扩散操作时所采用的扩散核的数目为1时，公式(13)对应的权重计算方式也可以进行适应性地简化，在此不做赘述。
步骤S109：对所述融合图像进行逆高光效果补偿，得到含有景深效果的图像。
在具体实施中，可以当采用公式(1)对生成的全对焦图像进行高光效果补偿时，在对所述融合图像进行逆高光效果补偿时，则可以公式(1)的反函数对所述融合图像进行逆高光效果补偿。
图3示出了本发明实施例中的一种图像景深绘制装置的结构示意图。如图3所示的图像景深绘制装置300，可以包括绘制生成单元301、高光效果补偿单元302、降采样单元303、弥散圈半径计算单元304、扩散核确定单元305、扩散单元306、重建单元307、融合单元308和逆高光效果补偿单元309，其中：
绘制生成单元301，适于采用预设的模式对原始图像进行绘制生成对应的全对焦图像和深度图像，所述全对焦图像中包括颜色和深度的信息。
高光效果补偿单元302，适于对所述全对焦图像进行高光效果补偿。
在具体实施中，所述高光效果补偿单元302适于采用如下的公式执行所述对所述全对焦图像进行高光效果补偿的操作，且所述逆高光效果补偿单元适于采用如下的公式的反函数执行所述对所述融合图像进行逆高光效果补偿的操作：
其中，y*表示对所述全对焦图像进行高光效果补偿后得到的Y通道数据，y表示所述全对焦图像的Y通道数据，λ表示所述全对焦图像的Y通道数据的高光效果补偿阈值，g、β分别表示预设的数值。
降采样单元303，适于对经过高光效果补偿的全对焦图像进行逐层降采样得到按照顺序排列的多个尺度图像。
弥散圈半径计算单元304，适于根据所述深度图像和对焦位置，计算各像素的弥散圈半径。
扩散核确定单元305，适于根据各个尺度图像所选取的预设的扩散核，确定各像素在预设位序之后的尺度图像上对应的扩散核。
在具体实施中，所述扩散核确定单元305适于采用如下的公式执行所述根据各个尺度图像所选取的预设的扩散核，确定各像素在预设位序之后的尺度图像上对应的扩散核的操作：
j＝argminj|c-2sKs,j|；其中，c∈(Ls，Hs)，Ls＝2s-1Ks-1,ns，Ls＝2s+1Ks+1,1，j表示第s个尺度图像的扩散核，Ks,j所述第s个尺度图像的第j个扩散核，Ks-1,ns表示第s-1个尺度图像的第ns个扩散核，Ks+1,1表示第s+1个尺度图像的第1个扩散核，ns为第s个尺度图像的扩散核的数目，c为计算得到的各个尺度图像的像素点(x,y)在像平面的弥散圈像素。
扩散单元306，适于根据所确定的各像素在预设位序之后的尺度图像上对应的扩散核，对各个像素在扩散核对应的扩散半径范围内的像素点进行扩散。
在本发明一实施例中，所述扩散单元306适于采用如下的公式执行所述根据所确定的各像素在预设位序之后的尺度图像上对应的扩散核，对各个像素在扩散核对应的扩散半径范围内的像素点进行扩散的操作：
Iout(x,y)＝Iacc(x,y)/Inor(x,y)，且：
Ibuf(x+1+r(k),y+k)＝Ibuf(x+1+r(k),y+k)-wI(x,y)；
Ibuf(x-r(k),y+k)＝Ibuf(x-r(k),y+k)+wI(x,y)；
Ibufnor(x+1+r(k),y+k)＝Ibufnor(x+1+r(k),y+k)-w；
Ibufnor(x-r(k),y+k)＝Ibufnor(x-r(k),y+k)+w；
其中，Iout表示所述含有景深效果的图像中(x,y)的数值，Iacc(x,y)表示当前像素(x,y)的扩散累计值，Inor(x,y)表示当前像素(x,y)的扩散归一化的数值，Ibuf(x,y)表示像素(x,y)的差分累计扩散值，Ibufnor(x,y)表示当前像素(x,y)的差分累计归一化扩散值，w表示当前扩散核包括的像素点个数的倒数，k的取值范围由当前尺度图像中当前像素的扩散核的大小决定。
在本发明另一实施例中，所述扩散单元306适于根据所确定的扩散核，获取当前尺度图像中与当前像素的距离在所述扩散核对应的扩散半径内的像素点；当根据所述扩散半径内的像素点的弥散圈像素确定所述扩散半径内的像素点在当前尺度图像中处于扩散状态时，则采用所述像素点对当前像素进行更新。
本实施例中的扩散单元306在计算各个尺度图像的像素(x,y)扩散后的值Iout时，在所采用的扩散核已知的情况下，可以获取与当前像素(x,y)的距离在预设的扩散核对应的扩散半径之内的所有像素点，并根据所述扩散半径内所有的像素点，当确定所述扩散半径内像素点的CoC像素在[Ls，Hs]之间，也即是确定所述扩散半径内像素点在当前尺度图像中处于扩散状态时，则采用所述扩散半径内在当前尺度图像中处于扩散状态的像素点的值对当前像素(x,y)的Iacc(x,y)和Inor(x,y)进行更新，得到扩散以后当前像素(x,y)对应的像素Iout。因此，采用这种方法对各个尺度图像中的像素进行扩散操作时，只需要缓存扩散半径以内的像素点的CoC像素，因此，可以在很大程度上节省缓存资源。
重建单元307，适于将经过扩散操作的所述预设位序之后的各个尺度图像和未经过扩散操作的所述预设位序之前的各个尺度图像，以及所述经过高光效果补偿的全对焦图像，分别进行向上重采样得到对应的多个重建图像。
融合单元308，适于采用预设的权重系数对所述多个重建图像中的像素进行融合得到融合图像。
在具体实施中，所述融合单元308适于采用如下的公式确定预设的权重系数：
其中，wc,0表示所述经过高光效果补偿的全对焦图像，wc,rec表示对所述经过高光效果补偿的全对焦图像进行向上重采样得到的图像，表示对所述多个尺度图像中第一位序的尺度图像向上重采样得到的重建图像，wc,s表示对第s个尺度图像进行向上重采样得到的重建图像，W(c,x,y)表示权重计算公式。
在具体实施中，所述权重计算公式为：
或，
逆高光效果补偿单元309，适于对所述融合图像进行逆高光效果补偿，得到含有景深效果的图像。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。以上对本发明实施例的方法及系统做了详细的介绍，本发明并不限于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (7)

1.一种图像景深绘制方法，其特征在于，包括：
采用预设的模式对原始图像进行绘制生成对应的全对焦图像和深度图像；
对所述全对焦图像进行高光效果补偿；
对经过高光效果补偿的全对焦图像进行逐层降采样得到按照顺序排列的多个尺度图像；
根据所述深度图像和对焦位置，计算各像素的弥散圈半径；
根据各个尺度图像所选取的预设的扩散核，确定各像素在预设位序之后的尺度图像上对应的扩散核；
根据所确定的各像素在预设位序之后的尺度图像上对应的扩散核，对各个像素在扩散核对应的扩散半径范围内的像素点进行扩散；
将经过扩散操作的所述预设位序之后的各个尺度图像和未经过扩散操作的所述预设位序之前的各个尺度图像，以及所述经过高光效果补偿的全对焦图像，分别进行向上重采样得到对应的多个重建图像；
采用预设的权重系数对所述多个重建图像中的像素进行融合得到融合图像；
对所述融合图像进行逆高光效果补偿，得到含有景深效果的图像。
2.根据权利要求1所述的图像景深绘制方法，其特征在于，采用如下的公式执行所述对所述全对焦图像进行高光效果补偿的操作，并采用如下的公式的反函数执行所述对所述融合图像进行逆高光效果补偿的操作：
其中，y*表示对所述全对焦图像进行高光效果补偿后得到的Y通道数据，y表示所述全对焦图像的Y通道数据，λ表示所述全对焦图像的Y通道数据的高光效果补偿阈值，g、β分别表示预设的数值。
3.根据权利要求1所述的图像景深绘制方法，其特征在于，采用如下的公式确定各像素在对应尺度图像上对应的扩散核：
j＝argminj|c-2sKs,j|；
其中，c∈(Ls，Hs)，Ls＝2s-1Ks-1,ns，Hs＝2s+1Ks+1,1，Ks，j表示第s个尺度图像的第j个扩散核，Ks-1，ns表示第s-1个尺度图像的第ns个扩散核，Ks+1，1表示第s+1个尺度图像的第1个扩散核，ns为第s个尺度图像的扩散核的数目，c为计算得到的各个尺度图像的像素点(x,y)在像平面的弥散圈像素。
4.一种图像景深绘制装置，其特征在于，包括：
绘制生成单元，适于采用预设的模式对原始图像进行绘制生成对应的全对焦图像和深度图像，所述全对焦图像中包括颜色和色度的信息；
高光效果补偿单元，适于对所述全对焦图像进行高光效果补偿；
降采样单元，适于对经过高光效果补偿的全对焦图像进行逐层降采样得到按照顺序排列的多个尺度图像；
弥散圈半径计算单元，适于根据所述深度图像和对焦位置，计算各像素的弥散圈半径；
扩散核确定单元，适于根据各个尺度图像所选取的预设的扩散核，确定各像素在预设位序之后的尺度图像上对应的扩散核；
扩散单元，适于根据所确定的各像素在预设位序之后的尺度图像上对应的扩散核，对各个像素在扩散核对应的扩散半径范围内的像素点进行扩散；
重建单元，适于将经过扩散操作的所述预设位序之后的各个尺度图像和未经过扩散操作的所述预设位序之前的各个尺度图像，以及所述经过高光效果补偿的全对焦图像，分别进行向上重采样得到对应的多个重建图像；
融合单元，适于采用预设的权重系数对所述多个重建图像中的像素进行融合得到融合图像；
逆高光效果补偿单元，适于对所述融合图像进行逆高光效果补偿，得到含有景深效果的图像。
5.根据权利要求4所述的图像景深绘制装置，其特征在于，所述高光效果补偿单元适于采用如下的公式对所述全对焦图像进行高光效果补偿，且所述逆高光效果补偿单元适于采用如下的公式的反函数对所述融合图像进行逆高光效果补偿：
其中，y*表示对所述全对焦图像进行高光效果补偿后得到的Y通道数据，y表示所述全对焦图像的Y通道数据，λ表示所述全对焦图像的Y通道数据的高光效果补偿阈值，g、β分别表示预设的数值。
6.根据权利要求4所述的图像景深绘制装置，其特征在于，各像素在预设位序之后的尺度图像上对应的扩散核通过如下公式确定：
j＝argminj|c-2sKs,j|；
其中，c∈(Ls，Hs)，Ls＝2s-1Ks-1,ns，Ls＝2s+1Ks+1,1，Ks，j表示第s个尺度图像的第j个扩散核，Ks-1，ns表示第s-1个尺度图像的第ns个扩散核，Ks+1，1表示第s+1个尺度图像的第1个扩散核，ns为第s个尺度图像的扩散核的数目，c为计算得到的各个尺度图像的像素点(x,y)在像平面的弥散圈像素。
7.根据权利要求6所述的图像景深绘制装置，其特征在于，所述扩散单元适于根据所确定的扩散核，获取当前尺度图像中与当前像素的距离在所述扩散核对应的扩散半径内的像素点；当根据所述扩散半径内的像素点的弥散圈像素确定所述扩散半径内的像素点在当前尺度图像中处于扩散状态时，则采用所述像素点对当前像素进行更新。
CN201510603895.2A 2015-09-21 2015-09-21 图像景深绘制方法及装置 Active CN106558089B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510603895.2A CN106558089B (zh) 2015-09-21 2015-09-21 图像景深绘制方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510603895.2A CN106558089B (zh) 2015-09-21 2015-09-21 图像景深绘制方法及装置

Publications (2)

Publication Number Publication Date
CN106558089A CN106558089A (zh) 2017-04-05
CN106558089B true CN106558089B (zh) 2019-11-01

Family

ID=58414909

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510603895.2A Active CN106558089B (zh) 2015-09-21 2015-09-21 图像景深绘制方法及装置

Country Status (1)

Country Link
CN (1) CN106558089B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108335323B (zh) * 2018-03-20 2020-12-29 厦门美图之家科技有限公司 一种图像背景的虚化方法及移动终端
CN110008955B (zh) * 2019-04-01 2020-12-15 中国计量大学 一种汽车刹车片表面字符压印质量检验方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102750726A (zh) * 2011-11-21 2012-10-24 新奥特（北京）视频技术有限公司 一种基于OpenGL实现景深效果的方法
CN103093416A (zh) * 2013-01-28 2013-05-08 成都索贝数码科技股份有限公司 一种基于图形处理器分区模糊的实时景深模拟方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9418400B2 (en) * 2013-06-18 2016-08-16 Nvidia Corporation Method and system for rendering simulated depth-of-field visual effect

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102750726A (zh) * 2011-11-21 2012-10-24 新奥特（北京）视频技术有限公司 一种基于OpenGL实现景深效果的方法
CN103093416A (zh) * 2013-01-28 2013-05-08 成都索贝数码科技股份有限公司 一种基于图形处理器分区模糊的实时景深模拟方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Depth-of-Field Rendering with Multiview Synthesis;Sungkil Lee等;《ACM Transactions on Graphics (TOG)》;20091231;第28卷(第5期);第134:1-134:6页 *
基于后处理的实时景深模拟与应用;曹彦珏 等;《计算机应用》;20150510;第35卷(第5期);第1439-1443页 *

Also Published As

Publication number Publication date
CN106558089A (zh) 2017-04-05

Similar Documents

Publication Publication Date Title
CN103218778B (zh) 一种图像和视频的处理方法及装置
CN110379020B (zh) 一种基于生成对抗网络的激光点云上色方法和装置
CN106127688B (zh) 一种超分辨率图像重建方法及其系统
Singh et al. Defogging of road images using gain coefficient-based trilateral filter
Ikoma et al. A convex 3D deconvolution algorithm for low photon count fluorescence imaging
CN112652046B (zh) 游戏画面的生成方法、装置、设备及存储介质
US20130108151A1 (en) Recovering 3d structure using blur and parallax
CN103413339B (zh) 十亿像素高动态范围图像重建与显示的方法
Luo et al. Bokeh rendering from defocus estimation
CN110827218A (zh) 基于图像hsv透射率加权校正的机载图像去雾方法
CN106558089B (zh) 图像景深绘制方法及装置
CN111914938B (zh) 一种基于全卷积二分支网络的图像属性分类识别方法
JP2018133110A (ja) 画像処理装置及び画像処理プログラム
CN114255285B (zh) 视频与城市信息模型三维场景融合方法、系统及存储介质
Zhao et al. Quantitatively mapping local quality of super-resolution microscopy by rolling Fourier ring correlation
CN107993198A (zh) 优化对比度增强的图像去雾方法及系统
JP2014078799A (ja) 画像処理装置及び画像処理方法
Zhai et al. Image real-time augmented reality technology based on spatial color and depth consistency
US7991225B2 (en) Methods and systems for dynamic color equalization
Qi et al. Multi-exposure x-ray image fusion quality evaluation based on CSF and gradient amplitude similarity
CN114372931A (zh) 一种目标对象虚化方法、装置、存储介质及电子设备
CN115358959A (zh) 特效图的生成方法、装置、设备及存储介质
CN115100731A (zh) 一种质量评价模型训练方法、装置、电子设备及存储介质
WO2021212435A1 (zh) 红外图像处理方法、装置、可移动平台与计算机可读介质
CN104077741B (zh) 一种基于渲染到纹理的三维场景无损放大方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant