CN110120009B - 基于显著物体检测和深度估计算法的背景虚化实现方法 - Google Patents

基于显著物体检测和深度估计算法的背景虚化实现方法 Download PDF

Info

Publication number
CN110120009B
CN110120009B CN201910382558.3A CN201910382558A CN110120009B CN 110120009 B CN110120009 B CN 110120009B CN 201910382558 A CN201910382558 A CN 201910382558A CN 110120009 B CN110120009 B CN 110120009B
Authority
CN
China
Prior art keywords
depth
decoder
training
network
encoder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910382558.3A
Other languages
English (en)
Other versions
CN110120009A (zh
Inventor
韩军伟
张妮
刘念
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Weizhi Zhongxiang Technology Co.,Ltd.
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN201910382558.3A priority Critical patent/CN110120009B/zh
Publication of CN110120009A publication Critical patent/CN110120009A/zh
Application granted granted Critical
Publication of CN110120009B publication Critical patent/CN110120009B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种本发明提出的一种基于显著物体检测和深度估计算法的背景虚化实现方法，输入一张单摄像头手机拍摄图像，通过显著性物体检测和深度估计得到显著图和距离拍摄镜头远近的深度图，根据背景区域不同深度来决定虚化程度，从而得到最终的背景虚化图。本发明中编码器采用的轻量化网络，在手机上的存储与计算相较于传统网络有所降低。设计的两个解码器用于分别进行显著物体检测和深度估计，可满足单摄像头手机拍摄图像实现背景虚化的需求。相较于已有的背景虚化方法，本方法根据背景区域不同深度来决定虚化程度，可获得质量更高的背景虚化图。

Description

基于显著物体检测和深度估计算法的背景虚化实现方法
技术领域
本发明属于计算机视觉算法研究领域，涉及一种基于显著物体检测和深度估计算法的背景虚化实现方法。
背景技术
随着移动互联网的快速发展，用户对手机拍照功能的需求日益增长。通过对手机拍摄图像的背景进行虚化，使得主体突出，可达到提升照片美感的效果。然而手机摄像头本身光圈小、焦距短，难以拍出背景虚化的照片。目前，已有厂商通过给手机设置双摄像头，充分利用两颗摄像头的像差来判断背景和被摄物，实现背景虚化技术。但是双摄像头成本较高，在多数智能手机中还未普及。因此，基于单摄像头的背景虚化实现方法具有重大应用价值。
目前已存在的背景虚化方法，对图像中的显著物体进行检测后，直接对背景进行模糊处理。该类方法存在以下缺点：生成的虚化图背景模糊无层次感，效果不理想。
发明内容
要解决的技术问题
为了避免现有技术的不足之处，本发明提出一种基于显著物体检测和深度估计算法的背景虚化实现方法，应用于单摄像头拍摄图像，达到背景虚化效果佳的目的。
技术方案
一种基于显著物体检测和深度估计算法的背景虚化实现方法，其特征在于步骤如下：
步骤1、构建深度神经网络结构并初始化参数：采用带跨越连接的编码器解码器的网络结构来同时进行显著物体检测和深度估计，得到神经网络参数；
所述网络结构包含一个编码器和两个解码器，编码器采用MobileNetV2轻量化网络结构提供预训练模型来初始化编码器参数；两个解码器U-Net网络结构
步骤2、构建训练数据集：利用DUTS-TR数据集来构建显著物体检测训练数据，利用NYU-Depth、ReDWeb和DIW数据集来构建深度估计训练数据；
步骤3：利用步骤2所构建的训练数据集在Tensorflow平台上对步骤1所构建的神经网络参数进行训练，微调参数后得到训练完备的网络模型：
步骤3a、固定编码器参数，单独训练其中一个解码器：利用步骤2中构建的显著物体检测训练数据训练其中一个解码器，训练的条件是设置网络的损失函数为交叉熵损失函数，设置优化算法为随机梯度下降算法，得到训练好的第一解码器；
步骤3b、固定编码器参数，单独训练另一个解码器：利用步骤2中构建的深度估计训练数据中的NYU-Depth来单独训练另一个解码器，训练的条件是设置网络的损失函数为欧氏距离损失函数，设置优化算法为随机梯度下降算法；再利用步骤2中构建的深度估计训练数据中的ReDWeb来微调这个解码器，训练的条件是设置网络的损失函数为优化排序损失函数，设置优化算法为随机梯度下降算法；最后利用步骤2中构建的深度估计训练数据中的DIW继续微调这个解码器，训练的条件是设置网络的损失函数为排序损失函数，设置优化算法为随机梯度下降算法，得到训练好的第二解码器；
步骤3c、使用步骤2中构建的显著物体检测训练数据DUTS-TR和步骤2中构建的深度估计训练数据中的DIW数据集交替微调编码器、步骤a训练好的第一解码器和步骤b训练好的第二解码器；过程中：每一步先使用一个批次的DUTS-TR数据在交叉熵损失函数下更新一次编码器和第一解码器，然后使用一个批次的DIW数据在排序损失函数下更新一次编码器和第二解码器，最终得到训练完备的网络模型；
步骤4、使用步骤3训练完备的网络模型结果进行背景虚化：
步骤4a：将图像I缩放至网络输入大小后，然后将其输入步骤3训练完备的网络模型：缩放至网络输入大小的图像I经过编码器和第一解码器得到一副显著图m，缩放至网络输入大小的图像I经过编码器和第二解码器得到一副深度图d；使用阈值t对显著图m进行二值化操作，即对于显著图m上的每个像素点，大于阈值的置为255，小于阈值的置为0，从而得到二值图s；
步骤4b：利用二值图和深度图得到显著物体所有像素点的深度值，然后将所有属于显著物体的像素点的深度值除以所有显著物体的像素点总个数得到显著物体的平均深度zs，即使用公式
Figure BDA0002053807780000031
计算，其中，s和z分别为步骤a得到的二值图和深度图；i表示像素点的索引；
步骤4c：对每一个属于背景区域的像素点，减去步骤4b中得到的显著物体的平均深度值，再对其求绝对值得到该像素点的绝对深度差。对所有像素点循环操作后得到所有背景区域与显著物体的绝对深度差
Figure BDA0002053807780000032
即使用公式
Figure BDA0002053807780000033
计算。
步骤4d：利用下述公式计算高斯低通滤波器的标准差
Figure BDA0002053807780000034
其中，
Figure BDA0002053807780000035
为步骤c计算的绝对深度差；i表示像素点的索引；
步骤4e：利用公式wi＝int(6σi+1)计算高斯低通滤波器的窗口大小，其中，σi为步骤d计算的标准差；i为像素点的索引；int为取整操作；
步骤4f：对图像I的每个像素点i，使用窗口大小为wi，标准差为σi高斯低通滤波器进行滤波，将所有的像素点滤波后即得到合成的背景虚化图像。
所述MobileNetV2轻量化网络结构采用Mark Sandler等人在2017年的工作“MobileNetV2:Inverted Residuals and Linear Bottlenecks”中所提出的MobileNetV2轻量化网络结构。
所述U-Net网络结构采用Olaf Ronneberger等人在2015年的工作“U-Net:Convolutional Networks for Biomedical Image Segmentation”中所提出的U-Net网络结构。
所述优化排序损失函数为Ke Xian等人在2018年的工作Monocular RelativeDepth Perception with Web Stereo Data Supervision中提出的优化排序损失函数。
所述排序损失函数为Weifeng Chen等人在2016年的工作Single-Image DepthPerception in the Wild中排序损失函数。
所述步骤4a的阈值t＝0.5。
有益效果
本发明提出的一种基于显著物体检测和深度估计算法的背景虚化实现方法，基本思想是：输入一张单摄像头手机拍摄图像，通过显著性物体检测和深度估计得到显著图和距离拍摄镜头远近的深度图，根据背景区域不同深度来决定虚化程度，从而得到最终的背景虚化图。
本发明是在给定输入和期望情况下，让网络自动去学习显著物体和图像深度概念，是一种端到端的训练方式。本发明中编码器采用的轻量化网络，在手机上的存储与计算相较于传统网络有所降低。设计的两个解码器用于分别进行显著物体检测和深度估计，可满足单摄像头手机拍摄图像实现背景虚化的需求。相较于已有的背景虚化方法，本方法根据背景区域不同深度来决定虚化程度，可获得质量更高的背景虚化图。
附图说明
图1是本发明方法的流程图。
图2是本方法的整体网络结构图。
图3是本发明方法的实验结果图。
具体实施方式
现结合实施例、附图对本发明作进一步描述：
用于实施的计算机硬件环境是：因特尔Xeon E5-2640v3@2.6GHz 32-核CPU处理器，64GB内存，配备GeForce GTX TITAN X GPU。运行的软件环境是：Linux 14.0464位操作系统。运用python语言在pycharm-community-2016.3.2软件中实现发明中提出的方法。
参照图1方法流程图，本发明具体实施方式如下：
步骤1、构建深度神经网络结构并初始化参数。采用带跨越连接的编码器解码器的网络结构来同时进行显著物体检测和深度估计。网络结构包含一个编码器和两个解码器，如图2所示。编码器使用Mark Sandler等人在2017年的工作MobileNetV2:InvertedResiduals and Linear Bottlenecks[C].Proceedings of the IEEE Conference onComputer Vision and Pattern Recognition.2018:4510-4520中所提出的MobileNetV2轻量化网络结构。解码器1和解码器2均使用Olaf Ronneberger等人在2015年的工作U-Net:Convolutional Networks for Biomedical Image Segmentation[C].InternationalConference on Medical Image Computing and Computer-AssistedIntervention.2015:234-241.中所提出的U-Net网络结构。使用MobilenetV2网络官方提供预训练模型来初始化编码器参数。
本实例中的预训练模型来源于：
https://storage.googleapis.com/mobilenet_v2/checkpoints/mobilenet_v2_ 1.0_224.tgz。
步骤2、构建训练数据集。训练数据集包括原始图像和对应人工标注的真值图像。本实例中利用DUTS-TR数据集来构建显著物体检测训练数据，数据集来源于http:// saliencydetection.net/duts/#outline-container-orgab269ec。利用NYU-Depth、ReDWeb和DIW数据集来构建深度估计训练数据。NYU-Depth数据来源于https://cs.nyu.edu/～ silberman/datasets/nyu_depth_v2.html，ReDWeb数据库来源于http:// sites.google.com/site/redwebcvpr18，DIW数据来源于http://www- personal.umich.edu/～wfchen/depth-in-the-wild/。将所有的训练数据中的自然图像及其对应的真值图像缩放至256×256尺寸大小。
步骤3、利用步骤2所构建的训练数据集在Tensorflow平台上对步骤1所构建的神经网络参数进行训练，微调参数后得到训练完备的网络模型。
步骤a：固定编码器参数，单独训练其中一个解码器：利用步骤2中构建的显著物体检测训练数据训练其中一个解码器，训练的条件是设置网络的损失函数为交叉熵损失函数，设置优化算法为随机梯度下降算法，得到训练好的第一解码器；
本实例中参数设置为：第一解码器初始学习率设置为0.01，并在训练到20000步和30000步时以0.1的系数线性衰减，同时设置编码器学习率为0，共计训练40000步，得到训练好的解码器1。
步骤b：固定编码器参数，单独训练另一个解码器：利用步骤2中构建的深度估计训练数据中的NYU-Depth来单独训练另一个解码器，训练的条件是设置网络的损失函数为欧氏距离损失函数，设置优化算法为随机梯度下降算法；再利用步骤2中构建的深度估计训练数据中的ReDWeb来微调这个解码器，训练的条件是设置网络的损失函数为优化排序损失函数，设置优化算法为随机梯度下降算法；最后利用步骤2中构建的深度估计训练数据中的DIW继续微调这个解码器，训练的条件是设置网络的损失函数为排序损失函数，设置优化算法为随机梯度下降算法，得到训练好的第二解码器；
本实例中参数设置为：第二解码器初始学习率设置为0.01，并每训练7000步对其以0.1的系数线性衰减，同时设置编码器学习率为0，共计训练20000步。接着利用步骤2中构建的深度估计训练数据中的ReDWeb来微调解码器2，使用Ke Xian等人在2018年的工作Monocular Relative Depth Perception with Web Stereo Data Supervision[C].Proceedings of the IEEE Conference on Computer Vision and PatternRecognition.2018:311-320中提出的优化排序损失函数来训练网络，采用随机梯度下降算法优化网络参数。本实例中参数设置为：解第二码器学习率为0.001，共计训练20000步。最后利用步骤2中构建的深度估计训练数据中的DIW继续微调解码器2，使用Weifeng Chen等人在2016年的工作Single-Image Depth Perception in the Wild[C].Proceedings ofAdvances in Neural Information Processing Systems.2016:730-738中排序损失函数来训练网络，采用随机梯度下降算法优化网络参数，本实例中设置解码器2学习率为0.0001，共计训练20000步，得到训练好的解码器2。
步骤c：使用步骤2中构建的显著物体检测训练数据DUTS-TR和步骤2中构建的深度估计训练数据中的DIW数据集交替微调编码器、步骤a训练好的第一解码器和步骤b训练好的第二解码器；过程中：每一步先使用一个批次的DUTS-TR数据在交叉熵损失函数下更新一次编码器和第一解码器，然后使用一个批次的DIW数据在排序损失函数下更新一次编码器和第二解码器，最终得到训练完备的网络模型；
本实例中设置编码器、第一解码器、第二解码器的学习率分别为0.0001，0.001和0.001。每一步先使用一个批次的DUTS-TR数据在交叉熵损失函数下更新一次编码器和解码器1，然后使用一个批次的DIW数据在排序损失函数下更新一次编码器和解码器2，每训练7000步将它们的学习率以0.1的系数线性衰减，共计训练20000步，最终得到训练完备的网络模型。
步骤4、使用步骤3训练完备的网络模型结果进行背景虚化：
步骤a：将单摄像头手机拍摄图像I缩放至网络输入大小256×256，输入步骤3训练完备的网络模型经过编码器和解码器1得到一副显著图m，经过编码器和解码器2得到一副深度图d，如图3所示。使用阈值t对显著图m进行二值化操作，即对于显著图m上的每个像素点，大于阈值的置为255，小于阈值的置为0，从而得到二值图s，本实例中t＝0.5。
步骤b：利用二值图和深度图得到显著物体所有像素点的深度值，然后将所有属于显著物体的像素点的深度值除以所有显著物体的像素点总个数得到显著物体的平均深度zs，即使用公式
Figure BDA0002053807780000081
计算，其中，s和z分别为步骤a得到的二值图和深度图；i表示像素点的索引；
步骤c：对每一个属于背景区域的像素点，减去步骤4b中得到的显著物体的平均深度值，再对其求绝对值得到该像素点的绝对深度差。对所有像素点循环操作后得到所有背景区域与显著物体的绝对深度差
Figure BDA0002053807780000082
即使用公式
Figure BDA0002053807780000083
计算。
步骤d：利用下述公式计算高斯低通滤波器的标准差，
Figure BDA0002053807780000084
其中，
Figure BDA0002053807780000085
为步骤c计算的绝对深度差；i表示像素点的索引；
步骤e：利用公式wi＝int(6σi+1)计算高斯低通滤波器的窗口大小。其中，σi为步骤d计算的标准差；i为像素点的索引；int为取整操作；
步骤f：对于单摄像头手机拍摄图像I的每个像素点i，使用窗口大小为wi，标准差为σi高斯低通滤波器进行滤波，得到合成的背景虚化图像，如图3所示。其中，wi由步骤e计算得到，σi由步骤d计算得到，i为像素点的索引。由于根据深度的不同，来决定高斯低通滤波器的窗口大小和标准差，即虚化的程度。故可解决已存在的背景。

Claims (2)

1.一种基于显著物体检测和深度估计算法的背景虚化实现方法，其特征在于步骤如下：
步骤1、构建深度神经网络结构并初始化参数：采用带跨越连接的编码器解码器的网络结构来同时进行显著物体检测和深度估计，得到神经网络参数；所述网络结构包含一个编码器和两个解码器，编码器采用MobileNetV2轻量化网络结构提供预训练模型来初始化编码器参数；两个解码器U-Net网络结构；
步骤2、构建训练数据集：利用DUTS-TR数据集来构建显著物体检测训练数据，利用NYU-Depth、ReDWeb和DIW数据集来构建深度估计训练数据；
步骤3：利用步骤2所构建的训练数据集在Tensorflow平台上对步骤1所构建的神经网络参数进行训练，微调参数后得到训练完备的网络模型：
步骤3a、固定编码器参数，单独训练其中一个解码器：利用步骤2中构建的显著物体检测训练数据训练其中一个解码器，训练的条件是设置网络的损失函数为交叉熵损失函数，设置优化算法为随机梯度下降算法，得到训练好的第一解码器；
步骤3b、固定编码器参数，单独训练另一个解码器：利用步骤2中构建的深度估计训练数据中的NYU-Depth来单独训练另一个解码器，训练的条件是设置网络的损失函数为欧氏距离损失函数，设置优化算法为随机梯度下降算法；再利用步骤2中构建的深度估计训练数据中的ReDWeb来微调这个解码器，训练的条件是设置网络的损失函数为优化排序损失函数，设置优化算法为随机梯度下降算法；最后利用步骤2中构建的深度估计训练数据中的DIW继续微调这个解码器，训练的条件是设置网络的损失函数为排序损失函数，设置优化算法为随机梯度下降算法，得到训练好的第二解码器；
步骤3c、使用步骤2中构建的显著物体检测训练数据DUTS-TR和步骤2中构建的深度估计训练数据中的DIW数据集交替微调编码器、步骤a训练好的第一解码器和步骤b训练好的第二解码器；过程中：每一步先使用一个批次的DUTS-TR数据在交叉熵损失函数下更新一次编码器和第一解码器，然后使用一个批次的DIW数据在排序损失函数下更新一次编码器和第二解码器，最终得到训练完备的网络模型；
步骤4、使用步骤3训练完备的网络模型结果进行背景虚化：
步骤4a：将图像I缩放至网络输入大小后，然后将其输入步骤3训练完备的网络模型：缩放至网络输入大小的图像I经过编码器和第一解码器得到一副显著图m，缩放至网络输入大小的图像I经过编码器和第二解码器得到一副深度图d；使用阈值t对显著图m进行二值化操作，即对于显著图m上的每个像素点，大于阈值的置为255，小于阈值的置为0，从而得到二值图s；
步骤4b：利用二值图和深度图得到显著物体所有像素点的深度值，然后将所有属于显著物体的像素点的深度值除以所有显著物体的像素点总个数得到显著物体的平均深度zs，即使用公式
Figure FDA0003554177260000021
计算，其中，s和z分别为步骤a得到的二值图和深度图；i表示像素点的索引；
步骤4c：对每一个属于背景区域的像素点，减去步骤4b中得到的显著物体的平均深度值，再对其求绝对值得到该像素点的绝对深度差，对所有像素点循环操作后得到所有背景区域与显著物体的绝对深度差
Figure FDA0003554177260000022
即使用公式
Figure FDA0003554177260000023
计算；
步骤4d：利用下述公式计算高斯低通滤波器的标准差
Figure FDA0003554177260000024
其中，
Figure FDA0003554177260000025
为步骤4c计算的绝对深度差；i表示像素点的索引；
步骤4e：利用公式wi＝int(6σi+1)计算高斯低通滤波器的窗口大小，其中，σi为步骤d计算的标准差；i为像素点的索引；int为取整操作；
步骤4f：对图像I的每个像素点i，使用窗口大小为wi，标准差为σi高斯低通滤波器进行滤波，将所有的像素点滤波后即得到合成的背景虚化图像。
2.根据权利要求1所述基于显著物体检测和深度估计算法的背景虚化实现方法，其特征在于：所述步骤4a的阈值t＝0.5。
CN201910382558.3A 2019-05-09 2019-05-09 基于显著物体检测和深度估计算法的背景虚化实现方法 Active CN110120009B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910382558.3A CN110120009B (zh) 2019-05-09 2019-05-09 基于显著物体检测和深度估计算法的背景虚化实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910382558.3A CN110120009B (zh) 2019-05-09 2019-05-09 基于显著物体检测和深度估计算法的背景虚化实现方法

Publications (2)

Publication Number Publication Date
CN110120009A CN110120009A (zh) 2019-08-13
CN110120009B true CN110120009B (zh) 2022-06-07

Family

ID=67521936

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910382558.3A Active CN110120009B (zh) 2019-05-09 2019-05-09 基于显著物体检测和深度估计算法的背景虚化实现方法

Country Status (1)

Country Link
CN (1) CN110120009B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112184586A (zh) * 2020-09-29 2021-01-05 中科方寸知微(南京)科技有限公司 基于深度感知的单目视觉图像背景快速虚化的方法及系统
CN113096001A (zh) * 2021-04-01 2021-07-09 咪咕文化科技有限公司 图像处理方法、电子设备及可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103810503A (zh) * 2013-12-26 2014-05-21 西北工业大学 一种基于深度学习的自然图像中显著区域的检测方法
CN103955936A (zh) * 2014-05-13 2014-07-30 西北工业大学 一种基于堆栈式去噪自编码机的显著性物体检测方法
CN105787930A (zh) * 2016-02-17 2016-07-20 上海文广科技（集团）有限公司 基于锐利度的针对虚化图像的显著性检测方法及系统
CN108475330A (zh) * 2015-11-09 2018-08-31 港大科桥有限公司 用于有伪像感知的视图合成的辅助数据
WO2018176929A1 (zh) * 2017-03-27 2018-10-04 华为技术有限公司 一种图像背景虚化方法及装置
CN108664967A (zh) * 2018-04-17 2018-10-16 上海交通大学 一种多媒体页面视觉显著性预测方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103810503A (zh) * 2013-12-26 2014-05-21 西北工业大学 一种基于深度学习的自然图像中显著区域的检测方法
CN103955936A (zh) * 2014-05-13 2014-07-30 西北工业大学 一种基于堆栈式去噪自编码机的显著性物体检测方法
CN108475330A (zh) * 2015-11-09 2018-08-31 港大科桥有限公司 用于有伪像感知的视图合成的辅助数据
CN105787930A (zh) * 2016-02-17 2016-07-20 上海文广科技（集团）有限公司 基于锐利度的针对虚化图像的显著性检测方法及系统
WO2018176929A1 (zh) * 2017-03-27 2018-10-04 华为技术有限公司 一种图像背景虚化方法及装置
CN108664967A (zh) * 2018-04-17 2018-10-16 上海交通大学 一种多媒体页面视觉显著性预测方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
DHSNet: Deep Hierarchical Saliency Network for Salient Object Detection;Nian Liu等;《IEEE》;20161212;678-686 *
基于双层多尺度神经网络的显著性对象检测算法;李鑫等;《微电子学与计算机》;20181105(第11期);7-13 *
深度学习在基于单幅图像的物体三维重建中的应用;陈加等;《自动化学报》;20181128(第04期);23-34 *

Also Published As

Publication number Publication date
CN110120009A (zh) 2019-08-13

Similar Documents

Publication Publication Date Title
Van Den Oord et al. Pixel recurrent neural networks
CN108596841B (zh) 一种并行实现图像超分辨率及去模糊的方法
CN109087255B (zh) 一种基于混合损失的轻量级深度图像去噪方法
CN112541877B (zh) 基于条件生成对抗网络的去模糊方法、系统、设备及介质
CN112419191B (zh) 基于卷积神经网络的图像运动模糊去除方法
CN111259940A (zh) 一种基于空间注意力地图的目标检测方法
CN111695421B (zh) 图像识别方法、装置及电子设备
CN111091503A (zh) 基于深度学习的图像去失焦模糊方法
TWI770432B (zh) 圖像復原方法、電子設備、儲存介質
CN115393396B (zh) 一种基于掩码预训练的无人机目标跟踪方法
CN111079764A (zh) 一种基于深度学习的低照度车牌图像识别方法及装置
CN112634163A (zh) 基于改进型循环生成对抗网络去图像运动模糊方法
CN112200057A (zh) 人脸活体检测方法、装置、电子设备及存储介质
CN110889370A (zh) 基于条件生成对抗网络的端对端的侧面人脸合成正脸的系统及方法
CN110120009B (zh) 基于显著物体检测和深度估计算法的背景虚化实现方法
CN114331913B (zh) 基于残差注意力块的运动模糊图像复原方法
CN116309135A (zh) 扩散模型处理方法及装置、图片处理方法及装置
CN113838102B (zh) 一种基于各向异性稠密卷积的光流确定方法和系统
CN111724306B (zh) 一种基于卷积神经网络的图像缩小方法及系统
CN116310105B (zh) 基于多视图的物体三维重建方法、装置、设备及存储介质
CN115937121A (zh) 基于多维度特征融合的无参考图像质量评价方法及系统
CN114943655A (zh) 基于循环深度卷积生成对抗网络结构的图像修复系统
Zhang et al. Adaptive coding unit size convolutional neural network for fast 3D-HEVC depth map intracoding
CN115311149A (zh) 图像去噪方法、模型、计算机可读存储介质及终端设备
Tian et al. A modeling method for face image deblurring

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240424

Address after: Room 531, 5th Floor, Building A3A4, Phase I of Chuanggu Science and Technology Park, No. 900 Wangjiang West Road, High tech Zone, Hefei City, Anhui Province, 230088

Patentee after: Hefei Weizhi Zhongxiang Technology Co.,Ltd.

Country or region after: China

Address before: 710072 No. 127 Youyi West Road, Shaanxi, Xi'an

Patentee before: Northwestern Polytechnical University

Country or region before: China