CN113538338B - 一种基于限制性预测滤波的图像散景渲染方法及系统 - Google Patents

一种基于限制性预测滤波的图像散景渲染方法及系统 Download PDF

Info

Publication number
CN113538338B
CN113538338B CN202110672308.0A CN202110672308A CN113538338B CN 113538338 B CN113538338 B CN 113538338B CN 202110672308 A CN202110672308 A CN 202110672308A CN 113538338 B CN113538338 B CN 113538338B
Authority
CN
China
Prior art keywords
picture
rendering
filter
limiting
filtering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110672308.0A
Other languages
English (en)
Other versions
CN113538338A (zh
Inventor
陈泉
郑博仑
颜成钢
孙垚棋
张继勇
李宗鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN202110672308.0A priority Critical patent/CN113538338B/zh
Publication of CN113538338A publication Critical patent/CN113538338A/zh
Application granted granted Critical
Publication of CN113538338B publication Critical patent/CN113538338B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明公开了一种基于限制性预测滤波的图像散景渲染方法及系统，首先准备数据集并对数据进行预处理；构建基于限制性预测滤波的图像散景渲染网络；图像散景渲染网络包括限制性预测滤波模块和显著性检测模块，其中显著性检测模块用于检测输入全聚焦图片中的显著性特征，限制性预测滤波模块用于保留显著性检测模块检测到的显著性特征，并对输入图片的其他部分进行限制性滤波操作，模糊图片内容从而产生散景渲染效果；通过数据集训练图像散景渲染网络模型。本发明方法使用三种参数类型的限制性预测滤波核对图片进行自适应滤波，从而实现散景渲染处理，创新的提出了一种限制性预测滤波模块用于实现图像的散景渲染处理。

Description

一种基于限制性预测滤波的图像散景渲染方法及系统
技术领域
本发明属于图像处理技术领域，具体涉及一种基于限制性预测滤波的图像散景渲染方法及系统。
技术背景
散景渲染在摄影领域是一项常用的拍摄技巧，通常拍摄者将相机设置为大光圈拍摄模式进行图像拍摄从而将图像中的不感兴趣的部分模糊处理即散景渲染。
现有的技术可以分成两大类：基于硬件的实现方法以及基于软件的实现方法。基于硬件层面的实现方法有GooglePixel手机使用双摄像头拍摄的数据进行散景估计；而iphone7+使用双镜头估计场景深度，从而对拍摄的图像选择性地模糊背景。而基于软件层面的实现方法多数都是采用基于深度学习技术，搭建端到端的网络实现图像的散景效果渲染。第一类方法的实现依赖于特殊设备，直接增加制造成本。而第二类方法受限于深度学习可解释性差的问题，缺乏对散景渲染内容的原理解释。
发明内容
针对上述的基于硬件实现方法成本高，基于软件实现方法可解释性差的问题，本发明提出了一种基于限制性预测滤波的图像散景渲染方法。进一步的提出了一种实现上述方法的系统。
实现步骤：本发明的第一方面，提出了一种基于限制性预测滤波的图像散景渲染方法，其基本步骤为:
步骤1：准备数据集并对数据进行预处理；
步骤2：构建基于限制性预测滤波的图像散景渲染网络；
首先建立基本的图像散景渲染任务的理论模型，将图像散景渲染任务分成两个子任务，一个子任务是对输入图片进行显著部分内容保留，另一个子任务是对输入图片进行自适应的散景模糊处理。
所述的基于限制性预测滤波的图像散景渲染网络包括限制性预测滤波模块和显著性检测模块，其中显著性检测模块用于检测输入全聚焦图片中的显著性特征，用于辅助后续限制性预测滤波模块F的工作，而限制性预测滤波模块用于保留显著性检测模块检测到的显著性特征，并对输入图片的其他部分进行限制性滤波操作，模糊图片内容从而产生散景渲染效果。
步骤3：通过数据集训练图像散景渲染网络模型：
步骤4：经过训练的神经网络模型接收需要进行散景渲染处理的图片，完成散景渲染处理后将图片输出；
步骤1具体步骤如下；
步骤1.1：建立网络训练需要的数据集，数据集包括不同场景下拍摄的图像数据，所述的图像数据包括成对图片，分别为原始全聚焦图片和带有散景渲染效果的图片。其中数据集中的全聚焦图片Iorg作为模型训练过程中的输入数据，数据集中的具有真实散景渲染效果的图片Igt作为模型训练过程中的用于与模型输出图片进行对比的对比数据。
步骤1.2：对数据集的所有图片利用双三次插值方法缩放到1024×1536的尺寸，减少训练网络所需要的成本。
步骤2具体方法如下；
步骤2.1：建立基本的图像散景渲染任务的理论模型。全聚焦图片Iorg和真实散景渲染效果的图片Igt具有相同的清晰的显著部分Ifocus；全聚焦图片除去清晰的显著部分后剩余的部分Idefocus需要进行散景渲染处理。所以，将图像散景渲染任务分成两个子任务，一个子任务是对输入图片进行显著部分内容保留，另一个子任务是对输入图片进行自适应的散景模糊处理。图像图像散景渲染任务的理论模型公式表示如下：
其中ψ表示针对全聚焦图片Iorg的显著性内容检测函数；表示对图片进行模糊处理的模糊函数。
步骤2.2：针对图像散景渲染任务，推导基于限制性预测滤波的图像散景渲染模型。构建限制性预测滤波模块F，所述的限制性预测滤波模块包括限制性预测滤波器生成模块FG和自适应滤波模块FV。
限制性预测滤波器生成模块FG用于生成一个对输入图片X的每个像素均具有特定滤波核参数的滤波器f，即：
fθ(i，j)＝FG(X(i，j))
其中θ(i，j)表示对应于输入图片X的(i，j)像素的滤波核参数，而k表示滤波核的尺寸。
自适应滤波模块FV使用由限制性预测滤波器生成模块FG生成的滤波器f对输入图片X进行自适应滤波操作。在限制性预测滤波器生成模块FG中，生成的滤波器f的滤波核参数θ利用Softmax函数进行限制，从而滤波器f的滤波核参数被限制为三种类型：用于邻域模糊的滤波核KB，用于像素平移的滤波核KD以及用于像素保留的滤波核KR。其中用于邻域模糊的滤波核KB的参数总和为1，且每个元素值均属于0到1之间；用于像素平移的滤波核KD的参数只有一个非中心元素的值为1，其他元素值均为0；用于像素保留的滤波核KR的参数只有中心元素的值为1，其他元素值均为0。因此，在限制性预测滤波模块F的作用下，基于限制性预测滤波的图像散景渲染任务的模型可以用公式表示为：
Ibokeh(i，j)＝FV(Iorg(i，j)，fθ(i，j))
其中，Iorg表示全聚焦图片，f表示由限制性预测滤波器生成模块FG生成的滤波器，θ(i，j)表示特定于输入图片Iorg的第(i，j)个像素生成的滤波核参数，其属于三种核参数KR，KB，KD类型中的一种，Ibokeh表示基于限制性预测滤波算法得到的具有散景渲染效果的输出图片。
与步骤2.1中的图像散景渲染任务的理论模型对比看出，本发明提出的基于限制性预测滤波的图像散景渲染模型将图像散景渲染任务的理论模型中提出的两个子任务(子任务一是对输入图片进行显著部分内容保留，子任务二是对输入图片进行自适应的散景模糊处理)用统一的限制性预测滤波模块F完成。
步骤2.3：构建显著性检测模块。从理论上来讲，本发明只需要使用限制性预测滤波模块F就可以完成对单张输入图像的散景渲染处理。但是为了获得更加精准的自适应滤波效果，保证输入图片的显著部分不被模糊，构建显著性检测模块G，用于检测输入全聚焦图片Iorg中的显著性特征，辅助限制性预测滤波模块F从而实现精准的自适应滤波。
步骤2.4：构建基于限制性预测滤波的图像散景渲染网络，并通过数据集进行训练。
所述的图像散景渲染网络模型包括显著性检测模块G和限制性预测滤波模块F。其中显著性检测模块G用于检测输入全聚焦图片Iorg中的显著性特征，用于辅助后续限制性预测滤波模块F的工作，而限制性预测滤波模块F用于保留显著性检测模块G检测到的显著性特征，并对输入图片Iorg的其他部分进行限制性滤波操作，模糊图片内容从而产生散景渲染效果。
步骤3具体方法如下：
首先将步骤1中建立数据集中的全聚焦图片Iorg输入图像散景渲染网络；通过显著性检测模块G和限制性预测滤波模块F进行图像的显著性特征保留和背景模糊；最后，利用损失函数不断优化模型输出的具有散景渲染的图片Ibokeh，使其逐渐相似于步骤1构建的数据集中的具有真实散景渲染效果的图片Igt。
训练过程中，损失函数L采用L1函数和LS函数的结合，提高模型输出图片Ibokeh与对比图片Igt之间的结构相似性，并利用深度学习的反向传播，不断减小模型输出图片Ibokeh和对比图片Igt之间的差异，从而实现模型输出的具有散景渲染的图片Ibokeh的优化，其具体表示为：
L＝L1(Ibokeh，Igt)+LS(Ibokeh，Igt)
其中L1(Ibokeh，Igt)表示模型输出的具有散景渲染的图片Ibokeh与对比图片Igt的重构函数，具体如下：
L1(Ibokeh，Igt)＝||Ibokeh-Igt||1
而LS(Ibokeh，Igt)表示模型输出的具有散景渲染的图片Ibokeh与对比图片Igt的轮廓相似函数，具体如下：
其中Sobel代表对图片进行水平和竖直方向的梯度计算，用于计算图片内容的轮廓结构，N代表图片的像素点个数总和，即图片的宽W×高H。
步骤4具体方法如下；
首先，对需要进行散景渲染处理的图片进行预处理，利用双三次插值方法缩放到1024×1536的尺寸，然后将处理后的图片输入至训练好的图像散景渲染网络中，依次经过显著性检测模块G和限制性预测滤波模块F，得到具有散景渲染效果的模型输出图片Ibokeh。
本发明的第二方面，提出了一种实现基于限制性预测滤波的图像散景渲染的系统，包括数据预处理模块、显著性检测模块和限制性预测滤波模块：
所述的数据预处理模块用于对需要进行散景渲染处理的图片进行预处理，利用双三次插值方法缩放到1024×1536的尺寸。
所述的显著性检测模块用于对数据预处理模块处理后的图像的显著性特征的检测。
所述的所述的限制性预测滤波模块包括限制性预测滤波器生成模块FG和自适应滤波模块FV。
限制性预测滤波器生成模块FG用于生成一个对输入图片X的每个像素均具有特定滤波核参数的滤波器f。
自适应滤波模块FV使用由限制性预测滤波器生成模块FG生成的滤波器f对输入图片X进行自适应滤波操作。在限制性预测滤波器生成模块FG中，生成的滤波器f的滤波核参数θ利用Softmax函数进行限制，从而滤波器f的滤波核参数被限制为三种类型：用于邻域模糊的滤波核KB，用于像素平移的滤波核KD以及用于像素保留的滤波核KR。其中用于邻域模糊的滤波核KB的参数总和为1，且每个元素值均属于0到1之间；用于像素平移的滤波核KD的参数只有一个非中心元素的值为1，其他元素值均为0；用于像素保留的滤波核KR的参数只有中心元素的值为1，其他元素值均为0。
本发明有益效果如下：
1.创新的提出了一种基于限制性预测滤波的图像散景渲染方法，该方法具有很强的理论可解释性。该方法提出使用三种参数类型的限制性预测滤波核对图片进行自适应滤波，从而实现散景渲染处理。
2.创新的提出了一种限制性预测滤波模块用于实现图像的散景渲染处理，该模块由限制性预测滤波器生成模块和自适应滤波模块组成。其中限制性预测滤波器生成模块用于生成针对输入图片不同像素值的具有不同参数滤波器，自适应滤波模块用于使用生成的滤波器对输入图片进行自适应滤波处理，实现散景渲染效果。
3.创新的提出了一种实现上述方法的系统，该系统包括数据集模块，网络模块核散景渲染模块。
附图说明
图1为本发明的方法流程示意图；
图2为基本的图像散景渲染任务的理论模型；
图3为基于限制性预测滤波的图像散景渲染模型；
图4为基于限制性预测滤波的图像散景渲染的网络模型；
图5为花朵产生散景渲染的效果图；
图6为路标产生散景渲染的效果图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明首先进行以下定义及说明：
Iorg：表示全聚焦图片；
Igt：表示真实的散景渲染图片；
Ibokeh：表示具有散景渲染效果的模型输出图片；
G：表示显著性检测模块；
F：表示限制性预测滤波模块；
f：表示限制性预测滤波器生成模块FG生成的限制性预测滤波器；
KR，KB，KD：表示本发明设计的三种类型的限制性预测滤波核；
本发明提出了一种基于限制性预测滤波的图像散景渲染方法，其基本步骤如图1所示，包括：
步骤1：准备数据集并对数据进行预处理；
步骤1.1：建立网络训练需要的数据集，数据集包括不同场景下拍摄的图像数据，所述的图像数据包括成对图片，分别为原始全聚焦图片和带有散景渲染效果的图片。其中数据集中的全聚焦图片Iorg作为模型训练过程中的输入数据，数据集中的具有真实散景渲染效果的图片Igt作为模型训练过程中的用于与模型输出图片进行对比的对比数据。
步骤1.2：对数据集的所有图片利用双三次插值方法缩放到1024×1536的尺寸，减少训练网络所需要的成本。
步骤2：构建基于限制性预测滤波的图像散景渲染网络；
步骤2.1：建立基本的图像散景渲染任务的理论模型。全聚焦图片Iorg和真实散景渲染效果的图片Igt具有相同的清晰的显著部分Ifocus；全聚焦图片除去清晰的显著部分后剩余的部分Idefocus需要进行散景渲染处理。所以，将图像散景渲染任务分成两个子任务，一个子任务是对输入图片进行显著部分内容保留，另一个子任务是对输入图片进行自适应的散景模糊处理。
如图2所示，图像图像散景渲染任务的理论模型公式表示如下：
其中ψ表示针对全聚焦图片Iorg的显著性内容检测函数；表示对图片进行模糊处理的模糊函数。
步骤2.2：针对图像散景渲染任务，推导基于限制性预测滤波的图像散景渲染模型，如图3所示。构建限制性预测滤波模块F，所述的限制性预测滤波模块包括限制性预测滤波器生成模块FG和自适应滤波模块FV。
限制性预测滤波器生成模块FG用于生成一个对输入图片X的每个像素均具有特定滤波核参数的滤波器f，即：
fθ(i，j)＝FG(X(i，j))
其中θ(i，j)表示对应于输入图片X的(i，j)像素的滤波核参数，而k表示滤波核的尺寸。
自适应滤波模块FV使用由限制性预测滤波器生成模块FG生成的滤波器f对输入图片X进行自适应滤波操作。在限制性预测滤波器生成模块FG中，生成的滤波器f的滤波核参数θ利用Softmax函数进行限制，从而滤波器f的滤波核参数被限制为三种类型：用于邻域模糊的滤波核KB，用于像素平移的滤波核KD以及用于像素保留的滤波核KR。其中用于邻域模糊的滤波核KB的参数总和为1，且每个元素值均属于0到1之间；用于像素平移的滤波核KD的参数只有一个非中心元素的值为1，其他元素值均为0；用于像素保留的滤波核KR的参数只有中心元素的值为1，其他元素值均为0。因此，在限制性预测滤波模块F的作用下，基于限制性预测滤波的图像散景渲染任务的模型可以用公式表示为：
Ibokeh(i，j)＝FV(Iorg(i，j)，fθ(i，j))
其中，Iorg表示全聚焦图片，f表示由限制性预测滤波器生成模块FG生成的滤波器，θ(i，j)表示特定于输入图片Iorg的第(i，j)个像素生成的滤波核参数，其属于三种核参数KR，KB，KD类型中的一种，Ibokeh表示基于限制性预测滤波算法得到的具有散景渲染效果的输出图片。
与步骤2.1中的图像散景渲染任务的理论模型对比看出，本发明提出的基于限制性预测滤波的图像散景渲染模型将图像散景渲染任务的理论模型中提出的两个子任务(子任务一是对输入图片进行显著部分内容保留，子任务二是对输入图片进行自适应的散景模糊处理)用统一的限制性预测滤波模块F完成。
步骤2.3：构建显著性检测模块。从理论上来讲，本发明只需要使用限制性预测滤波模块F就可以完成对单张输入图像的散景渲染处理。但是为了获得更加精准的自适应滤波效果，保证输入图片的显著部分不被模糊，构建显著性检测模块G，用于检测输入全聚焦图片Iorg中的显著性特征，辅助限制性预测滤波模块F从而实现精准的自适应滤波。
步骤2.4：构建基于限制性预测滤波的图像散景渲染网络，并通过数据集进行训练。
如图4所示，所述的图像散景渲染网络模型包括显著性检测模块G和限制性预测滤波模块F。其中显著性检测模块G用于检测输入全聚焦图片Iorg中的显著性特征，用于辅助后续限制性预测滤波模块F的工作，而限制性预测滤波模块F用于保留显著性检测模块G检测到的显著性特征，并对输入图片Iorg的其他部分进行限制性滤波操作，模糊图片内容从而产生散景渲染效果。
步骤3：训练图像散景渲染网络模型：
首先将步骤1中建立数据集中的全聚焦图片Iorg输入图像散景渲染网络；通过显著性检测模块G和限制性预测滤波模块F进行图像的显著性特征保留和背景模糊；最后，利用损失函数不断优化模型输出的具有散景渲染的图片Ibokeh，使其逐渐相似于步骤1构建的数据集中的具有真实散景渲染效果的图片Igt。
训练过程中，损失函数L采用L1函数和LS函数的结合，提高模型输出图片Ibokeh与对比图片Igt之间的结构相似性，并利用深度学习的反向传播，不断减小模型输出图片Ibokeh和对比图片Igt之间的差异，从而实现模型输出的具有散景渲染的图片Ibokeh的优化，其具体表示为：
L＝L1(Ibokeh，Igt)+LS(Ibokeh，Igt)
其中L1(Ibokeh，Igt)表示模型输出的具有散景渲染的图片Ibokeh与对比图片Igt的重构函数，具体如下：
L1(Ibokeh，Igt)＝||Ibokeh-Igt||1
而LS(Ibokeh，Igt)表示模型输出的具有散景渲染的图片Ibokeh与对比图片Igt的轮廓相似函数，具体如下：
其中Sobel代表对图片进行水平和竖直方向的梯度计算，用于计算图片内容的轮廓结构，N代表图片的像素点个数总和，即图片的宽W×高H。
步骤4：经过训练的神经网络模型接收需要进行散景渲染处理的图片，完成散景渲染处理后将图片输出；
首先，对需要进行散景渲染处理的图片进行预处理，利用双三次插值方法缩放到1024×1536的尺寸，然后将处理后的图片输入至训练好的图像散景渲染网络中，依次经过显著性检测模块G和限制性预测滤波模块F，得到具有散景渲染效果的模型输出图片Ibokeh。
图5为花朵产生散景渲染的效果图；
图6为路标产生散景渲染的效果图。
本发明的第二方面，提出了一种实现基于限制性预测滤波的图像散景渲染的系统，包括数据预处理模块、显著性检测模块和限制性预测滤波模块：
所述的数据预处理模块用于对需要进行散景渲染处理的图片进行预处理，利用双三次插值方法缩放到1024×1536的尺寸。
所述的显著性检测模块用于对数据预处理模块处理后的图像的显著性特征的检测。
所述的所述的限制性预测滤波模块包括限制性预测滤波器生成模块FG和自适应滤波模块FV。
限制性预测滤波器生成模块FG用于生成一个对输入图片X的每个像素均具有特定滤波核参数的滤波器f，即：
fθ(i，j)＝FG(X(i，j))
其中θ(i，j)表示对应于输入图片X的(i，j)像素的滤波核参数，而k表示滤波核的尺寸。
自适应滤波模块FV使用由限制性预测滤波器生成模块FG生成的滤波器f对输入图片X进行自适应滤波操作。在限制性预测滤波器生成模块FG中，生成的滤波器f的滤波核参数θ利用Softmax函数进行限制，从而滤波器f的滤波核参数被限制为三种类型：用于邻域模糊的滤波核KB，用于像素平移的滤波核KD以及用于像素保留的滤波核KR。其中用于邻域模糊的滤波核KB的参数总和为1，且每个元素值均属于0到1之间；用于像素平移的滤波核KD的参数只有一个非中心元素的值为1，其他元素值均为0；用于像素保留的滤波核KR的参数只有中心元素的值为1，其他元素值均为0。因此，在限制性预测滤波模块F的作用下，基于限制性预测滤波的图像散景渲染任务的模型可以用公式表示为：
Ibokeh(i，j)＝FV(Iorg(i，j)，fθ(i，j))
其中，Iorg表示全聚焦图片，f表示由限制性预测滤波器生成模块FG生成的滤波器，θ(i，j)表示特定于输入图片Iorg的第(i，j)个像素生成的滤波核参数，其属于三种核参数KR，KB，KD类型中的一种，Ibokeh表示基于限制性预测滤波算法得到的具有散景渲染效果的输出图片。

Claims (4)

1.一种基于限制性预测滤波的图像散景渲染方法，其特征在于，步骤如下:
步骤1：准备数据集并对数据进行预处理；
步骤2：构建基于限制性预测滤波的图像散景渲染网络；
首先建立基本的图像散景渲染任务的理论模型，将图像散景渲染任务分成两个子任务，一个子任务是对输入图片进行显著部分内容保留，另一个子任务是对输入图片进行自适应的散景模糊处理；
所述的基于限制性预测滤波的图像散景渲染网络包括限制性预测滤波模块和显著性检测模块，其中显著性检测模块用于检测输入全聚焦图片中的显著性特征，用于辅助后续限制性预测滤波模块F的工作，而限制性预测滤波模块用于保留显著性检测模块检测到的显著性特征，并对输入图片的其他部分进行限制性滤波操作，模糊图片内容从而产生散景渲染效果；
步骤3：通过数据集训练图像散景渲染网络模型：
步骤4：经过训练的神经网络模型接收需要进行散景渲染处理的图片，完成散景渲染处理后将图片输出；
步骤1具体步骤如下；
步骤1.1：建立网络训练需要的数据集，数据集包括不同场景下拍摄的图像数据，所述的图像数据包括成对图片，分别为原始全聚焦图片和带有散景渲染效果的图片；其中数据集中的全聚焦图片Iorg作为模型训练过程中的输入数据，数据集中的具有真实散景渲染效果的图片Igt作为模型训练过程中的用于与模型输出图片进行对比的对比数据；
步骤1.2：对数据集的所有图片利用双三次插值方法缩放到1024×1536的尺寸，减少训练网络所需要的成本；
步骤2具体方法如下；
步骤2.1：建立基本的图像散景渲染任务的理论模型；全聚焦图片Iorg和真实散景渲染效果的图片Igt具有相同的清晰的显著部分Ifocus；全聚焦图片除去清晰的显著部分后剩余的部分Idefocus需要进行散景渲染处理；所以，将图像散景渲染任务分成两个子任务，一个子任务是对输入图片进行显著部分内容保留，另一个子任务是对输入图片进行自适应的散景模糊处理；图像图像散景渲染任务的理论模型公式表示如下：
其中ψ表示针对全聚焦图片Iorg的显著性内容检测函数；表示对图片进行模糊处理的模糊函数；
步骤2.2：针对图像散景渲染任务，推导基于限制性预测滤波的图像散景渲染模型；构建限制性预测滤波模块F，所述的限制性预测滤波模块包括限制性预测滤波器生成模块FG和自适应滤波模块FV；
限制性预测滤波器生成模块FG用于生成一个对输入图片X的每个像素均具有特定滤波核参数的滤波器f，即：
fθ(i,j)＝FG(X(i,j))
其中θ(i,j)表示对应于输入图片X的(i,j)像素的滤波核参数，而k表示滤波核的尺寸；
自适应滤波模块FV使用由限制性预测滤波器生成模块FG生成的滤波器f对输入图片X进行自适应滤波操作；在限制性预测滤波器生成模块FG中，生成的滤波器f的滤波核参数θ利用Softmax函数进行限制，从而滤波器f的滤波核参数被限制为三种类型：用于邻域模糊的滤波核KB，用于像素平移的滤波核KD以及用于像素保留的滤波核KR；其中用于邻域模糊的滤波核KB的参数总和为1，且每个元素值均属于0到1之间；用于像素平移的滤波核KD的参数只有一个非中心元素的值为1，其他元素值均为0；用于像素保留的滤波核KR的参数只有中心元素的值为1，其他元素值均为0；因此，在限制性预测滤波模块F的作用下，基于限制性预测滤波的图像散景渲染任务的模型可以用公式表示为：
Ibokeh(i,j)＝FV(Iorg(i,j),fθ(i,j))
其中，Iorg表示全聚焦图片，f表示由限制性预测滤波器生成模块FG生成的滤波器，θ(i,j)表示特定于输入图片Iorg的第(i,j)个像素生成的滤波核参数，其属于三种核参数KR,KB,KD类型中的一种，Ibokeh表示基于限制性预测滤波算法得到的具有散景渲染效果的输出图片；
限制性预测滤波的图像散景渲染模型将图像散景渲染任务的理论模型中提出的两个子任务用统一的限制性预测滤波模块F完成，其中，子任务一是对输入图片进行显著部分内容保留，子任务二是对输入图片进行自适应的散景模糊处理；
步骤2.3：构建显著性检测模块；构建显著性检测模块G，用于检测输入全聚焦图片Iorg中的显著性特征，辅助限制性预测滤波模块F从而实现精准的自适应滤波；
步骤2.4：构建基于限制性预测滤波的图像散景渲染网络，并通过数据集进行训练；
所述的图像散景渲染网络模型包括显著性检测模块G和限制性预测滤波模块F；其中显著性检测模块G用于检测输入全聚焦图片Iorg中的显著性特征，用于辅助后续限制性预测滤波模块F的工作，而限制性预测滤波模块F用于保留显著性检测模块G检测到的显著性特征，并对输入图片iorg的其他部分进行限制性滤波操作，模糊图片内容从而产生散景渲染效果。
2.根据权利要求1所述的一种基于限制性预测滤波的图像散景渲染方法，其特征在于，步骤3具体方法如下：
首先将步骤1中建立数据集中的全聚焦图片iorg输入图像散景渲染网络；通过显著性检测模块G和限制性预测滤波模块F进行图像的显著性特征保留和背景模糊；最后，利用损失函数不断优化模型输出的具有散景渲染的图片Ibokeh，使其逐渐相似于步骤1构建的数据集中的具有真实散景渲染效果的图片Igt；
训练过程中，损失函数L采用L1函数和LS函数的结合，提高模型输出图片Ibokeh与对比图片Igt之间的结构相似性，并利用深度学习的反向传播，不断减小模型输出图片Ibokeh和对比图片Igt之间的差异，从而实现模型输出的具有散景渲染的图片Ibokeh的优化，其具体表示为：
L＝L1(Ibokeh,Igt)+LS(Ibokeh,Igt)
其中L1(Ibokeh,Igt)表示模型输出的具有散景渲染的图片Ibokeh与对比图片Igt的重构函数，具体如下：
L1(Ibokeh,Igt)＝||Ibokeh-Igt||1
而LS(Ibokeh,Igt)表示模型输出的具有散景渲染的图片Ibokeh与对比图片Igt的轮廓相似函数，具体如下：
其中Sobel代表对图片进行水平和竖直方向的梯度计算，用于计算图片内容的轮廓结构，N代表图片的像素点个数总和，即图片的宽W×高H。
3.根据权利要求2所述的一种基于限制性预测滤波的图像散景渲染方法，其特征在于，步骤4具体方法如下；
首先，对需要进行散景渲染处理的图片进行预处理，利用双三次插值方法缩放到1024×1536的尺寸，然后将处理后的图片输入至训练好的图像散景渲染网络中，依次经过显著性模块G和限制性预测滤波模块F，得到具有散景渲染效果的模型输出图片Ibokeh。
4.一种实现基于限制性预测滤波的图像散景渲染的系统，包括数据预处理模块、显著性检测模块和限制性预测滤波模块:
所述的数据预处理模块用于对需要进行散景渲染处理的图片进行预处理，利用双三次插值方法缩放到1024×1536的尺寸；
所述的显著性检测模块用于对数据预处理模块处理后的图像的显著性特征的检测；
所述的限制性预测滤波模块包括限制性预测滤波器生成模块FG和自适应滤波模块FV；
限制性预测滤波器生成模块FG用于生成一个对输入图片X的每个像素均具有特定滤波核参数的滤波器f；
自适应滤波模块FV使用由限制性预测滤波器生成模块FG生成的滤波器f对输入图片X进行自适应滤波操作；在限制性预测滤波器生成模块FG中，生成的滤波器f的滤波核参数θ利用Softmax函数进行限制，从而滤波器f的滤波核参数被限制为三种类型：用于邻域模糊的滤波核KB，用于像素平移的滤波核KD以及用于像素保留的滤波核KR；其中用于邻域模糊的滤波核KB的参数总和为1，且每个元素值均属于0到1之间；用于像素平移的滤波核KD的参数只有一个非中心元素的值为1，其他元素值均为0；用于像素保留的滤波核KR的参数只有中心元素的值为1，其他元素值均为0。
CN202110672308.0A 2021-06-17 2021-06-17 一种基于限制性预测滤波的图像散景渲染方法及系统 Active CN113538338B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110672308.0A CN113538338B (zh) 2021-06-17 2021-06-17 一种基于限制性预测滤波的图像散景渲染方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110672308.0A CN113538338B (zh) 2021-06-17 2021-06-17 一种基于限制性预测滤波的图像散景渲染方法及系统

Publications (2)

Publication Number Publication Date
CN113538338A CN113538338A (zh) 2021-10-22
CN113538338B true CN113538338B (zh) 2024-04-02

Family

ID=78125062

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110672308.0A Active CN113538338B (zh) 2021-06-17 2021-06-17 一种基于限制性预测滤波的图像散景渲染方法及系统

Country Status (1)

Country Link
CN (1) CN113538338B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103561194A (zh) * 2013-09-16 2014-02-05 湖南大学 一种基于自适应滤波的扫描图像去网纹方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103561194A (zh) * 2013-09-16 2014-02-05 湖南大学 一种基于自适应滤波的扫描图像去网纹方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Depth-Guided Dense Dynamic Filtering Network for Bokeh Effect Rendering;Kuldeep Purohit 等;2019 IEEE/CVF International Conference on Computer Vision Workshop (ICCVW);第1-10页 *
Image Demoireing with Learnable Bandpass Filters;Bolun Zheng 等;2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR);第1-10页 *
Kuldeep Purohit 等.Depth-Guided Dense Dynamic Filtering Network for Bokeh Effect Rendering.2019 IEEE/CVF International Conference on Computer Vision Workshop (ICCVW).2019,第1-10页. *

Also Published As

Publication number Publication date
CN113538338A (zh) 2021-10-22

Similar Documents

Publication Publication Date Title
Yang et al. Sparse gradient regularized deep retinex network for robust low-light image enhancement
Lim et al. DSLR: Deep stacked Laplacian restorer for low-light image enhancement
CN109671023B (zh) 一种人脸图像超分辨率二次重建方法
Chen et al. Reblur2deblur: Deblurring videos via self-supervised learning
CN111275626B (zh) 一种基于模糊度的视频去模糊方法、装置及设备
US9615039B2 (en) Systems and methods for reducing noise in video streams
Tran et al. GAN-based noise model for denoising real images
CN107025660B (zh) 一种确定双目动态视觉传感器图像视差的方法和装置
CN112507617B (zh) 一种SRFlow超分辨率模型的训练方法及人脸识别方法
CN112541877B (zh) 基于条件生成对抗网络的去模糊方法、系统、设备及介质
CN111091503A (zh) 基于深度学习的图像去失焦模糊方法
CN112164011B (zh) 基于自适应残差与递归交叉注意力的运动图像去模糊方法
Li et al. Learning to see through turbulent water
CN104867111A (zh) 一种基于分块模糊核集的非均匀视频盲去模糊方法
Zhao et al. Legacy photo editing with learned noise prior
CN112419191A (zh) 基于卷积神经网络的图像运动模糊去除方法
Zhang et al. Deep motion blur removal using noisy/blurry image pairs
de Stoutz et al. Fast perceptual image enhancement
Chen et al. Pixstabnet: Fast multi-scale deep online video stabilization with pixel-based warping
Tseng et al. Depth image super-resolution via multi-frame registration and deep learning
Pan et al. Cascaded deep video deblurring using temporal sharpness prior and non-local spatial-temporal similarity
CN113538338B (zh) 一种基于限制性预测滤波的图像散景渲染方法及系统
CN113810597B (zh) 一种基于半预测滤波的快速图像散景渲染方法
Paliwal et al. Multi-stage raw video denoising with adversarial loss and gradient mask
CN115914834A (zh) 视频处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant