CN108668069B - 一种图像背景虚化方法及装置 - Google Patents

一种图像背景虚化方法及装置 Download PDF

Info

Publication number
CN108668069B
CN108668069B CN201710189167.0A CN201710189167A CN108668069B CN 108668069 B CN108668069 B CN 108668069B CN 201710189167 A CN201710189167 A CN 201710189167A CN 108668069 B CN108668069 B CN 108668069B
Authority
CN
China
Prior art keywords
image
depth
reference image
determining
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201710189167.0A
Other languages
English (en)
Other versions
CN108668069A (zh
Inventor
宋明黎
李欣
黄一宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201710189167.0A priority Critical patent/CN108668069B/zh
Priority to PCT/CN2017/117180 priority patent/WO2018176929A1/zh
Publication of CN108668069A publication Critical patent/CN108668069A/zh
Application granted granted Critical
Publication of CN108668069B publication Critical patent/CN108668069B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/04—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability

Abstract

本申请实施例公开了一种图像背景虚化方法及装置，该方法包括：按照图像提取规则在目标视频中提取一个参考图像和m个非参考图像；利用参考图像构建第一图像金字塔，利用m个非参考图像构建m个第二图像金字塔；利用第一图像金字塔和m个第二图像金字塔确定参考图像的场景深度图；利用场景深度图将参考图像的像素点划分到n个深度层；在参考图像中确定目标位置；从n个深度层中确定出目标位置对应的像素点所在的目标深度层；将待处理像素点进行模糊处理。因此，本申请实施例可以将n个深度层中除目标深度层以外的深度层中所包含的待处理像素点进行模糊处理，以得到目标深度层的像素点清晰且待处理像素点模糊的图像。

Description

一种图像背景虚化方法及装置
技术领域
本申请实施例涉及图像处理技术领域，更具体的说，涉及图像背景虚化方法及装置。
背景技术
图像的背景虚化，是指在一个图像中让焦点聚集在主题上，并且模糊非主题元素的拍摄手段。例如，我们拍摄一张山水照时，我们要将山体作为整个图像的主题，就可以将相机的焦点对准山体，此时山体的成像就会变得清晰，而水面就会变得模糊；如果我们要将水面作为整个图像的主题，就需要将相机的焦点对准水面，此时水面的成像就会变得清晰，而山体就会变得模糊。
目前，拍摄背景虚化效果的照片通常需要使用具备大光圈的单反相机，而目前被广泛使用的智能手机由于受到体积、成本和使用环境等限制，其搭配的镜头基本属于光圈小的类型，所以具备数码拍照功能的智能手机由于硬件限制无法使图像达到背景虚化的效果。
因此，如何利用利用智能手机拍摄出一张前景清晰且背景模糊的表达视觉美感的图像，成为目前亟需解决的技术问题。
发明内容
本申请实施例提供一种图像背景虚化方法及装置，以使移动终端可以拍摄出前景清晰且背景模糊的图像。
本申请实施例是这样实现的：
第一方面，本申请实施例提供了一种图像背景虚化方法，该方法包括：
按照图像提取规则在目标视频中提取一个参考图像和m个非参考图像；利用参考图像构建第一图像金字塔，利用m个非参考图像构建m个第二图像金字塔；利用第一图像金字塔和m个第二图像金字塔确定参考图像的场景深度图；利用场景深度图将参考图像的像素点划分到n个深度层；在参考图像中确定目标位置；从n个深度层中确定出目标位置对应的像素点所在的目标深度层；将待处理像素点进行模糊处理。
其中，目标视频为利用移动终端按照预定轨迹拍摄的视频，预定轨迹可以被预先设定，预定轨迹为在同一个平面上的移动轨迹。预定轨迹可以为在同一个平面上由左到右的移动轨迹，预定轨迹也可以为在同一个平面上由右到左的移动轨迹，预定轨迹还可以为在同一个平面上由上到下的移动轨迹，预定轨迹还可以为在同一个平面上由下到上的移动轨迹。
图像提取规则为预先设定好的规则，图像提取规则可以为根据目标视频的播放时长在目标视频中选择一个参考图像和m个非参考图像，m为大于等于1的正整数。
参考图像和非参考图像均为在目标视频中从不同时刻提取出来的图像，而且参考图像与非参考图像的拍摄场景是相同的，但是，拍摄参考图像的视角与拍摄非参考图像的位置是不同的。
移动终端在利用参考图像构建第一图像金字塔的过程中，移动终端会以参考图像作为第一图像金字塔的底层图像。然后，将第一图像金字塔的底层图像的分辨率缩小至一半作为第一图像金字塔的底层图像的上一层图像，并不断的重复此步骤，不断的获得第一图像金字塔的上一层图像。最后，重复若干次便可得到一个具有不同分辨率的参考图像的第一图像金字塔。
参考图像的场景深度图表示参考图像中的任意像素点与移动终端之间的相对距离，场景深度图中的像素点的像素值表示像素点所在的实际位置与移动终端的相对距离。
移动终端可以获取到预先设定好的n和划分深度层的方式，从而可以得知深度层的数量以及每个深度层的深度范围。
在参考图像中确定目标位置的方式有很多种，下面简要来介绍这几种方式。
第一种方式，根据控制指令在参考图像中确定目标位置。其中，控制指令可以为用户利用手指在移动终端的触摸屏幕上输入的指令。
第二种方式，将参看图像中的特定位置确定为目标位置。其中，参看图像中的特定位置为预先被指定的位置。
第三种方式，识别参考图像中的人脸图像，将参考图像中的人脸图像所在的位置确定为目标位置。
其中，n大于等于2，待处理像素点为n个深度层中除目标深度层以外的深度层中所包含的像素点。
在第一方面中，本申请实施例利用得到的场景深度图将参考图像的每个像素点划分到n个深度层，再利用确定出的参考图像的目标位置，在n个深度层中确定该目标位置的像素点所在的目标深度层，因此，本申请实施例可以将n个深度层中除目标深度层以外的深度层中所包含的待处理像素点进行模糊处理，以得到目标深度层的像素点清晰且待处理像素点模糊的图像。
在一种可能的实现方式中，利用第一图像金字塔和m个第二图像金字塔确定参考图像的场景深度图包括：
根据第一图像金字塔的顶层图像和m个第二图像金字塔的顶层图像确定参考图像的初步深度图，第一图像金字塔和m个第二图像金字塔均包括顶层图像和下层图像；根据初步深度图、第一图像金字塔的下层图像和m个第二图像金字塔的下层图像，确定参考图像的场景深度图。
其中，在第一图像金字塔和m个第二图像金字塔中对不同分辨率下的参考图像进行深度采样，利用低分辨率的初步深度图推导出高分辨率的场景深度图，从而加快了深度恢复的速度，所以本申请实施例可以利用图像金字塔更加快速的生成参考图像的场景深度图。
在一种可能的实现方式中，根据第一图像金字塔的顶层图像和m个第二图像金字塔的顶层图像确定参考图像的初步深度图包括：
根据第一图像金字塔的顶层图像和m个第二图像金字塔的顶层图像，计算第一匹配损失体；根据第一匹配损失体构建马尔科夫随机场模型进行全局匹配损失优化，得到参考图像的初步深度图。
其中，可以先根据第一图像金字塔的顶层图像和m个第二图像金字塔的顶层图像，计算第一匹配损失体；然后，再根据第一匹配损失体构建MRF模型进行全局匹配损失优化，从而可以得到细节平滑的参考图像的初步深度图。
在一种可能的实现方式中，根据第一图像金字塔的顶层图像和m个第二图像金字塔的顶层图像，计算第一匹配损失体包括：
获取参考图像和m个非参考图像所在的视角下的移动终端的相机外参和相机内参；根据特征点提取规则确定参考图像中的特征点；获取参考图像的特征点的三维坐标；根据参考图像的特征点的三维坐标确定参考图像所在场景内的最小深度值和最大深度值；在最小深度值和最大深度值之间确定多个深度平面；利用相机内参、相机外参和直接线性变换算法，计算多个深度平面由参考图像所在的平面到m个非参考图像所在的平面映射的第一单应性矩阵；利用平面扫描算法和第一单应性矩阵，将第一图像金字塔的顶层图像的每个像素点以多个深度平面投影到m个第二图像金字塔的顶层图像所在的平面上，得到每个像素点投影后的参数值；根据第一图像金字塔的顶层图像的每个像素点的参数值和每个像素点投影后的参数值，确定每个像素点在深度值上的匹配损失；将第一图像金字塔的顶层图像的每个像素点在多个深度平面的匹配损失确定为第一匹配损失体。
其中，通过获得多个深度平面，再利用重投影计算匹配损失，这样在深度恢复时能更好的适应参考图像和m个非参考图像对应视角的相机位姿变化，提高深度恢复方法的可靠性。
在一种可能的实现方式中，在最小深度值和最大深度值之间确定多个深度平面包括：
利用相机内参、相机外参和直接线性变换算法，计算最小深度值所在的第一深度平面由参考图像平面到m个非参考图像平面映射的第二单应性矩阵；利用相机内参、相机外参和直接线性变换算法，计算最大深度值所在的第二深度平面由参考图像平面到m个非参考图像平面映射的第三单应性矩阵；将参考图像中的一个像素点按照第二单应性矩阵投影到m个非参考图像所在的平面上，得到第一投影点；将参考图像中的一个像素点按照第三单应性矩阵投影到m个非参考图像所在的平面上，得到第二投影点；在第一投影点与第二投影点之间构成的直线上均匀取样得到多个采样点；将多个采样点反向投影到参考图像所在视角的三维空间中，得到与多个采样点的深度值对应的多个深度平面。
其中，在计算参考图像的像素按照一个深度平面的匹配损失时，需要将该像素重投影到m个非参考图像平面上，在采集到多个深度平面重投影后，在m个非参考图像中的位置是等间距的，所以本申请实施例有助于后续步骤更高效地提取参考图像与m个非参考图像之间的像素匹配信息，进而提升了场景深度图的精度。
在一种可能的实现方式中，根据初步深度图、第一图像金字塔的下层图像和m个第二图像金字塔的下层图像，确定参考图像的场景深度图包括：
确定与第一图像金字塔的顶层图像的像素点对应的第一图像金字塔的下层图像的像素点；确定与m个第二图像金字塔的顶层图像的像素点对应的m个第二图像金字塔的下层图像的像素点；根据初步深度图确定第一图像金字塔的下层图像的像素点的估计深度值；根据估计深度值确定第一图像金字塔的下层图像的像素点的最小深度值和最大深度值；在最小深度值和最大深度值之间确定第一图像金字塔的下层图像的多个深度平面；利用平面扫描算法和多个深度平面，计算第一图像金字塔的下层图像和m个第二图像金字塔的下层图像对应的第二匹配损失体；以第一图像金字塔的下层图像作为引导图像，利用引导滤波算法对第二匹配损失体进行局部优化得到第三匹配损失体；根据第三匹配损失体，为第一图像金字塔的下层图像的每个像素点选取第二匹配损失体中匹配损失最小的深度值，得到参考图像的场景深度图。
其中，利用初步深度图估计第一图像金字塔的下层图像的像素点的最小深度值和最大深度值，进而确定一个比较小的深度搜索区间，从而降低了计算量并提高了深度恢复方法对图像噪声等干扰的鲁棒性。
在一种可能的实现方式中，从n个深度层中确定出目标位置对应的像素点所在的目标深度层包括：
获取参考图像的目标位置的指定像素点；在场景深度图中确定与指定像素点对应的像素值；根据指定像素点对应的像素值在n个深度层中确定指定像素点所在的目标深度层。
其中，移动终端在参考图像中确定目标位置以后，便可以直接过去到目标位置的指定像素点，然后，在场景深度图中确定与指定像素点对应的像素值，便可以得知该像素值对应的目标深度层，此时，便可以在n个深度层中确定出目标位置对应的像素点所在的目标深度层。
在一种可能的实现方式中，将待处理像素点进行模糊处理包括：
确定待处理像素点所在的L个深度层，L大于等于2且小于n；计算L个深度层与目标深度层的深度差；根据深度差将L个深度层中的每个深度层的像素点进行预设比例的模糊处理，L个深度层中的每个深度层的像素点的模糊程度与深度差成正比。
其中，由于目标深度层和L个深度层都是可以得到的，所以便可以计算L个深度层与目标深度层的深度差，然后，移动终端便可根据深度差将L个深度层中的每个深度层的像素点进行预设比例的模糊处理。L个深度层中的每个深度层的像素点的模糊程度与深度差成正比，如果L个深度层中的深度层与目标深度层的深度差越大，那么该深度层中的像素点的模糊程度越大；如果L个深度层中的深度层与目标深度层的深度差越小，那么该深度层中的像素点的模糊程度越小，从而可以体现出参考图像中的不同距离的层次感。
第二方面，本申请实施例提供了一种图像背景虚化装置，该装置包括：
提取模块，用于按照图像提取规则在目标视频中提取一个参考图像和m个非参考图像，目标视频为利用移动终端按照预定轨迹拍摄的视频，m大于等于9；
构建模块，用于利用参考图像构建第一图像金字塔，利用m个非参考图像构建m个第二图像金字塔；
第一确定模块，用于利用第一图像金字塔和m个第二图像金字塔确定参考图像的场景深度图，参考图像的场景深度图表示参考图像中的任意像素点与移动终端之间的相对距离；
划分模块，用于利用场景深度图将参考图像的像素点划分到n个深度层，其中，不同深度层中的像素点对应的物体到移动终端的深度不同，其中n大于等于2；
第二确定模块，用于在参考图像中确定目标位置；
第三确定模块，用于从n个深度层中确定出目标位置对应的像素点所在的目标深度层；
模糊处理模块，用于将待处理像素点进行模糊处理，待处理像素点为n个深度层中除目标深度层以外的深度层中所包含的像素点。
在第二方面中，本申请实施例利用得到的场景深度图将参考图像的每个像素点划分到n个深度层，再利用确定出的参考图像的目标位置，在n个深度层中确定该目标位置的像素点所在的目标深度层，因此，本申请实施例可以将n个深度层中除目标深度层以外的深度层中所包含的待处理像素点进行模糊处理，以得到目标深度层的像素点清晰且待处理像素点模糊的图像。
在一种可能的实现方式中，第一确定模块，具体用于根据第一图像金字塔的顶层图像和m个第二图像金字塔的顶层图像确定参考图像的初步深度图，第一图像金字塔和m个第二图像金字塔均包括顶层图像和下层图像；根据初步深度图、第一图像金字塔的下层图像和m个第二图像金字塔的下层图像，确定参考图像的场景深度图。
其中，在第一图像金字塔和m个第二图像金字塔中对不同分辨率下的参考图像进行深度采样，利用低分辨率的初步深度图推导出高分辨率的场景深度图，从而加快了深度恢复的速度，所以本申请实施例可以利用图像金字塔更加快速的生成参考图像的场景深度图。
在一种可能的实现方式中，第一确定模块，具体用于根据第一图像金字塔的顶层图像和m个第二图像金字塔的顶层图像，计算第一匹配损失体；根据第一匹配损失体构建马尔科夫随机场模型进行全局匹配损失优化，得到参考图像的初步深度图。
其中，可以先根据第一图像金字塔的顶层图像和m个第二图像金字塔的顶层图像，计算第一匹配损失体；然后，再根据第一匹配损失体构建MRF模型进行全局匹配损失优化，从而可以得到细节平滑的参考图像的初步深度图。
在一种可能的实现方式中，第一确定模块，具体用于获取参考图像和m个非参考图像所在的视角下的移动终端的相机外参和相机内参；根据特征点提取规则确定参考图像中的特征点；获取参考图像的特征点的三维坐标；根据参考图像的特征点的三维坐标确定参考图像所在场景内的最小深度值和最大深度值；在最小深度值和最大深度值之间确定多个深度平面；利用相机内参、相机外参和直接线性变换算法，计算多个深度平面由参考图像所在的平面到m个非参考图像所在的平面映射的第一单应性矩阵；利用平面扫描算法和第一单应性矩阵，将第一图像金字塔的顶层图像的每个像素点以多个深度平面投影到m个第二图像金字塔的顶层图像所在的平面上，得到每个像素点投影后的参数值；根据第一图像金字塔的顶层图像的每个像素点的参数值和每个像素点投影后的参数值，确定每个像素点在深度值上的匹配损失；将第一图像金字塔的顶层图像的每个像素点在多个深度平面的匹配损失确定为第一匹配损失体。
其中，通过获得多个深度平面，再利用重投影计算匹配损失，这样在深度恢复时能更好的适应参考图像和m个非参考图像对应视角的相机位姿变化，提高深度恢复方法的可靠性。
在一种可能的实现方式中，第一确定模块，具体用于利用相机内参、相机外参和直接线性变换算法，计算最小深度值所在的第一深度平面由参考图像平面到m个非参考图像平面映射的第二单应性矩阵；利用相机内参、相机外参和直接线性变换算法，计算最大深度值所在的第二深度平面由参考图像平面到m个非参考图像平面映射的第三单应性矩阵；将参考图像中的一个像素点按照第二单应性矩阵投影到m个非参考图像所在的平面上，得到第一投影点；将参考图像中的一个像素点按照第三单应性矩阵投影到m个非参考图像所在的平面上，得到第二投影点；在第一投影点与第二投影点之间构成的直线上均匀取样得到多个采样点；将多个采样点反向投影到参考图像所在视角的三维空间中，得到与多个采样点的深度值对应的多个深度平面。
其中，在计算参考图像的像素按照一个深度平面的匹配损失时，需要将该像素重投影到m个非参考图像平面上，在采集到多个深度平面重投影后，在m个非参考图像中的位置是等间距的，所以本申请实施例有助于后续步骤更高效地提取参考图像与m个非参考图像之间的像素匹配信息，进而提升了场景深度图的精度。
在一种可能的实现方式中，第一确定模块，具体用于确定与第一图像金字塔的顶层图像的像素点对应的第一图像金字塔的下层图像的像素点；确定与m个第二图像金字塔的顶层图像的像素点对应的m个第二图像金字塔的下层图像的像素点；根据初步深度图确定第一图像金字塔的下层图像的像素点的估计深度值；根据估计深度值确定第一图像金字塔的下层图像的像素点的最小深度值和最大深度值；在最小深度值和最大深度值之间确定第一图像金字塔的下层图像的多个深度平面；利用平面扫描算法和多个深度平面，计算第一图像金字塔的下层图像和m个第二图像金字塔的下层图像对应的第二匹配损失体；以第一图像金字塔的下层图像作为引导图像，利用引导滤波算法对第二匹配损失体进行局部优化得到第三匹配损失体；根据第三匹配损失体，为第一图像金字塔的下层图像的每个像素点选取第二匹配损失体中匹配损失最小的深度值，得到参考图像的场景深度图。
其中，利用初步深度图估计第一图像金字塔的下层图像的像素点的最小深度值和最大深度值，进而确定一个比较小的深度搜索区间，从而降低了计算量并提高了深度恢复方法对图像噪声等干扰的鲁棒性。
在一种可能的实现方式中，第三确定模块，具体用于获取参考图像的目标位置的指定像素点；在场景深度图中确定与指定像素点对应的像素值；根据指定像素点对应的像素值在n个深度层中确定指定像素点所在的目标深度层。
其中，移动终端在参考图像中确定目标位置以后，便可以直接过去到目标位置的指定像素点，然后，在场景深度图中确定与指定像素点对应的像素值，便可以得知该像素值对应的目标深度层，此时，便可以在n个深度层中确定出目标位置对应的像素点所在的目标深度层。
在一种可能的实现方式中，模糊处理模块，具体用于确定待处理像素点所在的L个深度层，L大于等于2且小于n；计算L个深度层与目标深度层的深度差；根据深度差将L个深度层中的每个深度层的像素点进行预设比例的模糊处理，L个深度层中的每个深度层的像素点的模糊程度与深度差成正比。
其中，由于目标深度层和L个深度层都是可以得到的，所以便可以计算L个深度层与目标深度层的深度差，然后，移动终端便可根据深度差将L个深度层中的每个深度层的像素点进行预设比例的模糊处理。L个深度层中的每个深度层的像素点的模糊程度与深度差成正比，如果L个深度层中的深度层与目标深度层的深度差越大，那么该深度层中的像素点的模糊程度越大；如果L个深度层中的深度层与目标深度层的深度差越小，那么该深度层中的像素点的模糊程度越小，从而可以体现出参考图像中的不同距离的层次感。
第三方面，本申请实施例提供了一种图像背景虚化装置，该装置包括：处理器和存储器，其中，存储器内存储有处理器能够执行的操作指令，处理器读取存储器内的操作指令用于实现以下方法：
按照图像提取规则在目标视频中提取一个参考图像和m个非参考图像，目标视频为利用移动终端按照预定轨迹拍摄的视频，m大于等于1；利用参考图像构建第一图像金字塔，利用m个非参考图像构建m个第二图像金字塔；利用第一图像金字塔和m个第二图像金字塔确定参考图像的场景深度图，参考图像的场景深度图表示参考图像中的任意像素点与移动终端之间的相对距离；利用场景深度图将参考图像的像素点划分到n个深度层，其中，不同深度层中的像素点对应的物体到移动终端的深度不同，其中n大于等于2；在参考图像中确定目标位置；从n个深度层中确定出目标位置对应的像素点所在的目标深度层；将待处理像素点进行模糊处理，待处理像素点为n个深度层中除目标深度层以外的深度层中所包含的像素点。
在第三方面中，本申请实施例利用得到的场景深度图将参考图像的每个像素点划分到n个深度层，再利用确定出的参考图像的目标位置，在n个深度层中确定该目标位置的像素点所在的目标深度层，因此，本申请实施例可以将n个深度层中除目标深度层以外的深度层中所包含的待处理像素点进行模糊处理，以得到目标深度层的像素点清晰且待处理像素点模糊的图像。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1所示的为本申请实施例提供的一种图像背景虚化方法的流程图；
图2所示的为本申请实施例提供的另一种图像背景虚化方法的流程图；
图3所示的为本申请实施例提供的又一种图像背景虚化方法的流程图；
图4所示的为本申请实施例提供的又一种图像背景虚化方法的流程图；
图5所示的为本申请实施例提供的又一种图像背景虚化方法的流程图；
图6所示的为本申请实施例提供的又一种图像背景虚化方法的流程图；
图7所示的为本申请实施例提供的一种图像背景虚化装置的示意图；
图8所示的为本申请实施例提供的又一种图像背景虚化装置的示意图；
图9所示的为本申请实施例提供的一种图像背景虚化装置的设计结构的示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
图1所示的为本申请实施例提供的一种图像背景虚化方法的流程图。图1所示的图像背景虚化方法可以使移动终端拍摄出前景清晰且背景模糊的图像。该方法包括以下步骤。
步骤S11、按照图像提取规则在目标视频中提取一个参考图像和m个非参考图像，目标视频为利用移动终端按照预定轨迹拍摄的视频，m大于等于1。
其中，本申请实施例提供的方法可以应用于移动终端内，移动终端可以为智能手机等设备。
目标视频为利用移动终端按照预定轨迹拍摄的视频，预定轨迹可以被预先设定，预定轨迹为在同一个平面上的移动轨迹。例如，预定轨迹可以为在同一个平面上由左到右的移动轨迹，预定轨迹也可以为在同一个平面上由右到左的移动轨迹，预定轨迹还可以为在同一个平面上由上到下的移动轨迹，预定轨迹还可以为在同一个平面上由下到上的移动轨迹。当然，无论按照哪种预定轨迹拍摄视频，移动终端的摄像头均需要始终对准需要拍摄的位置。
在利用移动终端拍摄目标视频时，用户需要拿着移动终端单方向、缓慢且平稳的移动，移动距离可以在20cm-30cm。用户在拿着移动终端移动的过程中，移动终端可以根据陀螺仪来判断移动的距离，并在目标视频中选择合适的参考图像和非参考图像。
图像提取规则为预先设定好的规则，图像提取规则可以为根据目标视频的播放时长在目标视频中选择一个参考图像和m个非参考图像，m为大于等于1的正整数。例如，假设目标视频的长度为20秒，图像提取规则可以为在目标视频中选择1个参考图像和4个非参考图像，且将目标视频中第10秒的图像确定为参考图像，将第1秒、第3秒、第18秒和第20秒作为非参考图像。
当然，本申请实施例并不限制非参考图像的数量，例如，非参考图像的数量可以为3个，非参考图像的数量也可以为4个，非参考图像的数量可以为5个。
参考图像和非参考图像均为在目标视频中从不同时刻提取出来的图像，而且参考图像与非参考图像的拍摄场景是相同的，但是，拍摄参考图像的视角与拍摄非参考图像的位置是不同的。例如，用户利用移动终端拍摄了一段10秒的目标视频，目标视频的拍摄场景是植物A和植物B，用于预先将图像提取规则设定为在目标视频中提取第5秒的图像作为参考图像，在目标视频中提取第1秒、第3秒、第8秒和第10秒的4个图像作为非参考图像，参考图像和非参考图像的拍摄场景都是植物A和植物B，但是，拍摄参考图像和非参考图像的位置是不同的。
步骤S12、利用参考图像构建第一图像金字塔，利用m个非参考图像构建m个第二图像金字塔。
其中，移动终端在目标视频中提取参考图像和非参考图像以后，便可以利用一个参考图像构建一个第一图像金字塔，利用m个非参考图像构建m个第二图像金字塔。第一图像金字塔和第二图像金字塔中的“第一”和“第二”仅用于区别由不同图像构建的图像金字塔，第一图像金字塔仅代表由参考图像构建的图像金字塔，第二图像金字塔仅代表由非参考图像构建的图像金字塔。
移动终端在利用参考图像构建第一图像金字塔的过程中，移动终端会以参考图像作为第一图像金字塔的底层图像。然后，将第一图像金字塔的底层图像的分辨率缩小至一半作为第一图像金字塔的底层图像的上一层图像，并不断的重复此步骤，不断的获得第一图像金字塔的上一层图像。最后，重复若干次便可得到一个具有不同分辨率的参考图像的第一图像金字塔。
下面通过例子来简要介绍第一图像金字塔的构建过程。例如，预先将第一图像金字塔的层数限制为三层，且参考图像的分辨率为1000×1000，那么移动终端会以参考图像作为第一图像金字塔的第三层图像，那么第一图像金字塔的第三层图像的分辨率为1000×1000；然后，将第一图像金字塔的第三层图像的分辨率缩小至一半作为第一图像金字塔的第二层图像，那么第一图像金字塔的第二层图像的分辨率为500×500；最后，将第一图像金字塔的第二层图像的分辨率再缩小至一半作为第一图像金字塔的第三层图像，那么第一图像金字塔的第三层图像的分辨率为250×250。此时，第一图像金字塔包括三层图像，这三层图像为分辨率不同的参考图像，第一层图像是分辨率为250×250的参考图像，第二层图像是分辨率为500×500的参考图像，第三层图像是分辨率为1000×1000的参考图像。
当然，第二图像金字塔的构建过程与第一图像金字塔的构建过程相同，而且第二图像金字塔与第一图像金字塔的层数也是相同的，可以根据实际情况来限定第一图像金字塔和第二图像金字塔的层数。
步骤S13、利用第一图像金字塔和m个第二图像金字塔确定参考图像的场景深度图。
其中，在一个第一图像金字塔和m个第二图像金字塔被构建好以后，便可以利用第一图像金字塔和m个第二图像金字塔确定参考图像的场景深度图。
参考图像的场景深度图表示参考图像中的任意像素点与移动终端之间的相对距离，场景深度图中的像素点的像素值表示像素点所在的实际位置与移动终端的相对距离。为了更好的阐述场景深度图，下面通过例子简要说明。例如，假设参考图像的分辨率为100×100，那么参考图像拥有的像素点为10000个，在利用第一图像金字塔和m个第二图像金字塔确定出参考图像的场景深度图以后，场景深度图中的10000个像素点的像素值表示10000个像素点所在的实际位置与移动终端的相对距离。
步骤S14、利用场景深度图将参考图像的像素点划分到n个深度层。
其中，不同深度层中的像素点对应的物体到移动终端的深度不同，其中n大于等于2，每个深度层均具有一个深度范围，例如，某个深度层的深度范围可以为10米至20米。n个深度层组成参考图像的场景深度，场景深度为移动终端与参考图像中最远的像素点所在位置之间的距离，例如，场景深度可以为0米至30米。
移动终端可以获取到预先设定好的n和划分深度层的方式，从而可以得知深度层的数量以及每个深度层的深度范围。在得到参考图像的场景深度图以后，场景深度图中的像素点的像素值便可以确定。由于场景深度图中的像素点的像素值表示像素点所在的实际位置与移动终端的相对距离，所以移动终端可以按照场景深度图的像素点的像素值将参考图像的每个像素点划分到n个深度层中。
例如，假设参考图像的分辨率为100×100，那么参考图像拥有的像素点为10000个，场景深度图中的10000个像素点的像素值表示10000个像素点所在的实际位置与移动终端的相对距离。假设参考图像的场景深度为0米至30米，移动终端按照预先设定好的规则将参考图像的场景深度平均的划分3个深度层，那么第一个深度层的深度范围为0米至10米，第二个深度层的深度范围为10米至20米，第三个深度层的深度范围为20米至30米。假设参考图像中的像素点A所在的实际位置与移动终端的相对距离为15米，那么像素点A就会被划分到第二个深度层；假设参考图像中的像素点B所在的实际位置与移动终端的相对距离为25米，那么像素点B就会被划分到第三个深度层；假设参考图像中的像素点C所在的实际位置与移动终端的相对距离为5米，那么像素点C就会被划分到第一个深度层。
步骤S15、在参考图像中确定目标位置。
其中，在参考图像中确定目标位置的方式有很多种，下面简要来介绍这几种方式。
第一种方式，根据控制指令在参考图像中确定目标位置。其中，控制指令可以为用户利用手指在移动终端的触摸屏幕上输入的指令。例如，用户利用手指在移动终端的触摸屏幕上显示的参考图像中点击某一个位置，移动终端便将用户点击的位置确定为目标位置。
第二种方式，将参看图像中的特定位置确定为目标位置。其中，参看图像中的特定位置为预先被指定的位置。例如，预先将参考图像的中心点确定为特定位置，那么移动终端便可以将参考图像的中心点确定为目标位置。又如，预先将参考图像中距离移动终端最近的位置确定为特定位置，那么移动终端便可以将参考图像中距离移动终端最近的位置确定为目标位置。
第三种方式，识别参考图像中的人脸图像，将参考图像中的人脸图像所在的位置确定为目标位置。由于参考图像中的人脸图像不一定会在参考图像的哪个位置，所以移动终端需要先识别出参考图像中的人脸图像。在识别出参考图像中的人脸图像以后，便确定人脸图像所在的位置，再将人脸图像所在的位置确定为目标位置。
当然，本申请实施例并不局限于以上几种方式，还可以采用其他的方式在参考图像中确定目标位置。
步骤S16、从n个深度层中确定出目标位置对应的像素点所在的目标深度层。
其中，由于从n个深度层中确定出目标位置对应的像素点所在的目标深度层的方式有很多种，下面简要介绍一种方式。
可选的，从n个深度层中确定出目标位置对应的像素点所在的目标深度层可以包括以下步骤：第一步，获取参考图像的目标位置的指定像素点；第二步，在场景深度图中确定与指定像素点对应的像素值；第三步，根据指定像素点对应的像素值在n个深度层中确定指定像素点所在的目标深度层。
其中，移动终端在参考图像中确定目标位置以后，便可以直接过去到目标位置的指定像素点，然后，在场景深度图中确定与指定像素点对应的像素值，便可以得知该像素值对应的目标深度层，此时，便可以在n个深度层中确定出目标位置对应的像素点所在的目标深度层。
例如，假设参考图像的场景深度为0米至30米，移动终端按照预先设定好的规则将参考图像的场景深度平均的划分3个深度层，那么第一个深度层的深度范围为0米至10米，第二个深度层的深度范围为10米至20米，第三个深度层的深度范围为20米至30米。假设参考图像的目标位置的指定像素点为像素点A，在场景深度图中确定与像素点A对应的像素值为15米，那么便可以得知该像素值15米对应的目标深度层为第二个深度层，因为该像素值15米落入了第二个深度层的深度范围10米至20米中，所以像素点A所在的目标深度层为第二个深度层。
目标深度层对应的像素点可能为一个物体的像素点，目标深度层对应的像素点也有可能为多个物体的像素点。例如，目标深度层对应的像素点构成的物体仅为一朵花。又如，目标深度层对应的像素点构成的物体包括一朵花和一棵树。再如，目标深度层对应的像素点构成的物体为一棵树的一部分。再如，目标深度层对应的像素点构成的物体包括一朵花的一部分和一棵树的一部分。
步骤S17、将待处理像素点进行模糊处理。
其中，待处理像素点为n个深度层中除目标深度层以外的深度层中所包含的像素点。
移动终端从n个深度层中确定出目标位置对应的像素点所在的目标深度层以后，便可以得知目标深度层中的像素点需要保持清晰，而n个深度层中除目标深度层以外的深度层中所包含的像素点均需要模糊处理，而待处理像素点即为需要模糊处理的像素点，所以将待处理像素点进行模糊处理。在对待处理像素点模糊处理以后，由于目标深度层所在的像素点均为清晰的，所以参考图像就变成了目标深度层的像素点清晰且待处理像素点模糊的图像。
将待处理像素点进行模糊处理的方式有很多种，例如，可以采用高斯模糊算法将待处理像素点进行模糊处理。当然，还可以采用其他模糊算法进行处理。
例如，假设参考图像的场景深度为0米至30米，移动终端按照预先设定好的规则将参考图像的场景深度平均的划分3个深度层，那么第一个深度层的深度范围为0米至10米，第二个深度层的深度范围为10米至20米，第三个深度层的深度范围为20米至30米。假设参考图像的目标位置的指定像素点为像素点A，在场景深度图中确定与像素点A对应的像素值为15米，那么便可以得知该像素值15米对应的目标深度层为第二个深度层，所以需要模糊处理的为第一个深度层和第三个深度层包含的待处理像素点，第二个深度层中的像素点需要保持清晰。在将第一个深度层和第三个深度层包含的待处理像素点进行模糊处理以后，所以参考图像就变成了第二个深度层的像素点清晰，且第一个深度层和第三个深度层的待处理像素点模糊的图像。
可选的，在步骤S17中，为了使待处理像素点模糊程度不同，从而体现出参考图像中的距离的层次感，可以采用以下方式来实现。所以步骤S17还可以包括以下步骤：第一步，确定待处理像素点所在的L个深度层，L大于等于2且小于n；第二步，计算L个深度层与目标深度层的深度差；第三步，根据深度差将L个深度层中的每个深度层的像素点进行预设比例的模糊处理，L个深度层中的每个深度层的像素点的模糊程度与深度差成正比。
其中，由于待处理像素点会分布在不同的深度层中，所以需要确定待处理像素点所在的L个深度层，然后再计算L个深度层与目标深度层的深度差。
深度差为两个深度层之间的距离，例如，第一个深度层的深度范围是0米至10米，第二个深度层的深度范围是10米至20米，第三个深度层的深度范围是20米至30米，那么第一个深度层与第二个深度层的深度差之10米，第一个深度层与第三个深度层的深度差为20米。
在得到L个深度层与目标深度层的深度差以后，便可以根据深度差将L个深度层中的每个深度层的像素点进行预设比例的模糊处理。例如，假设第一个深度层为目标深度层，第二个深度层和第三个深度层为待处理像素点所在的2个深度层，且第一个深度层与第二个深度层的深度差为10米，第一个深度层与第三个深度层的深度差为20米，那么将第二个深度层的像素点按照25％的比例进行模糊处理，将第三个深度层的像素点按照50％的比例进行模糊处理。
由于目标深度层和L个深度层都是可以得到的，所以便可以计算L个深度层与目标深度层的深度差，然后，移动终端便可根据深度差将L个深度层中的每个深度层的像素点进行预设比例的模糊处理。L个深度层中的每个深度层的像素点的模糊程度与深度差成正比，如果L个深度层中的深度层与目标深度层的深度差越大，那么该深度层中的像素点的模糊程度越大；如果L个深度层中的深度层与目标深度层的深度差越小，那么该深度层中的像素点的模糊程度越小，从而可以体现出参考图像中的不同距离的层次感。
在图1所示的实施例中，本申请实施例利用得到的场景深度图将参考图像的每个像素点划分到n个深度层，再利用确定出的参考图像的目标位置，在n个深度层中确定该目标位置的像素点所在的目标深度层，所以本申请实施例可以n个深度层中除目标深度层以外的深度层中所包含的待处理像素点进行模糊处理，以得到目标深度层的像素点清晰且待处理像素点模糊的图像。因此，本申请实施例可以使移动终端拍摄出前景清晰且背景模糊的图像。
请参见图2所示，图2所示的为本申请实施例提供的另一种图像背景虚化方法的流程图。图2所示的实施例为基于图1中步骤S12细化的实施例，所以与图1相同的内容可参见图1所示的实施例。图2所示方法包括以下步骤。
步骤S21、根据第一图像金字塔的顶层图像和m个第二图像金字塔的顶层图像确定参考图像的初步深度图，第一图像金字塔和m个第二图像金字塔均包括顶层图像和下层图像。
本申请实施例中，将第一图像金字塔的第一层图像称为顶层图像，将第一图像金字塔的第二层图像至最后一层图像统称称为下层图像，将第一图像金字塔的最后一层图像称为底层图像。将第二图像金字塔的第一层图像称为顶层图像，将第二图像金字塔的第二层图像至最后一层图像统称称为下层图像，将第二图像金字塔的最后一层图像称为底层图像。
由于根据第一图像金字塔的顶层图像和m个第二图像金字塔的顶层图像确定参考图像的初步深度图的方式有很多，下面会介绍一种实现方式，在此先不做赘述。
步骤S22、根据初步深度图、第一图像金字塔的下层图像和m个第二图像金字塔的下层图像，确定参考图像的场景深度图。
其中，由于根据初步深度图、第一图像金字塔的下层图像和m个第二图像金字塔的下层图像的方式有很多，下面会介绍一种实现方式，在此先不做赘述。
在图2所示的实施例中，在第一图像金字塔和m个第二图像金字塔中对不同分辨率下的参考图像进行深度采样，利用低分辨率的初步深度图推导出高分辨率的场景深度图，从而加快了深度恢复的速度，所以本申请实施例可以利用图像金字塔更加快速的生成参考图像的场景深度图。
请参见图3所示，图3所示的为本申请实施例提供的又一种图像背景虚化方法的流程图。图3所示的实施例为基于图2中步骤S21的细化的实施例，所以与图2相同的内容可参见图2所示的实施例。图3所示方法包括以下步骤。
步骤S31、根据第一图像金字塔的顶层图像和m个第二图像金字塔的顶层图像，计算第一匹配损失体。
其中，计算第一匹配损失体的具体细节会在后续的步骤中详细描述，在此不再赘述。
步骤S32、根据第一匹配损失体构建MRF(Markov Random Field，马尔科夫随机场)模型进行全局匹配损失优化，得到参考图像的初步深度图。
其中，由于得到参考图像的初步深度图的细节不够平滑且不够精细，所以还需要后续步骤对参考图像的初步深度图进行平滑处理。
在图3所示的实施例中，给出了一种具体生成参考图像的初步深度图的方式，当然，还可以采用其他手段来生成参考图像的初步深度图，在此不作赘述。通过图3所示的实施例，可以先根据第一图像金字塔的顶层图像和m个第二图像金字塔的顶层图像，计算第一匹配损失体；然后，再根据第一匹配损失体构建MRF模型进行全局匹配损失优化，从而可以得到细节平滑的参考图像的初步深度图。
请参见图4所示，图4所示的为本申请实施例提供的又一种图像背景虚化方法的流程图。图4所示的实施例为基于图3中步骤S31的细化的实施例，所以与图3相同的内容可参见图3所示的实施例。图4所示方法包括以下步骤。
步骤S41、获取参考图像和m个非参考图像所在的视角下的移动终端的相机外参和相机内参。
其中，其中，移动终端可以参考图像和非参考图像的特征点的坐标、特征点的对应关系和SFM(Structure from Motion，从运动信息中恢复场景三维结构)算法，计算参考图像和非参考图像所在视角下对应的移动终端的相机外参，移动终端的相机外参包括相机光学中心坐标和相机光轴朝向。相机内参为预先通过相机标定得到。例如，移动终端可以通过棋盘格特征利用相机定标工具箱确定相机内参。
步骤S42、根据特征点提取规则确定参考图像中的特征点。
步骤S43、获取参考图像的特征点的三维坐标。
其中，移动终端可以对目标视频利用KLT(Kanade Lucas Tomasi FeatureTracker，特征点跟踪的光流法)算法进行特征点跟踪，以获取得到参考图像的若干个特征点和若干个特征点的三维坐标。
步骤S44、根据参考图像的特征点的三维坐标确定参考图像所在场景内的最小深度值和最大深度值。
其中，可以先根据该三维坐标确定出参考图像中特征点的最小深度值和最大深度值；然后，再对特征点的最小深度值和最大深度值构成的深度范围扩大预设值，以得到参考图像所在场景内的最小深度值和最大深度值。预设值可以为预先确定的经验值。
步骤S45、在最小深度值和最大深度值之间采集多个深度平面。
其中，可以预先设定好需要采集的深度平面的数量，以及采集深度平面的方式。例如，在最小深度值和最大深度值之间均匀的采集11个深度平面。
步骤S46、利用相机内参、相机外参和直接线性变换算法，计算多个深度平面由参考图像所在的平面到m个非参考图像所在的平面映射的第一单应性矩阵。
其中，第一单应性矩阵的数量与计算的情况有关，所以此处会得到多个第一单应性矩阵。
步骤S47、利用Ps(Plane sweep，平面扫描)算法和第一单应性矩阵，将第一图像金字塔的顶层图像的每个像素点以多个深度平面投影到m个第二图像金字塔的顶层图像所在的平面上，得到每个像素点投影后的参数值。
其中，参数值可以为每个像素点的颜色与纹理。
步骤S48、根据第一图像金字塔的顶层图像的每个像素点的参数值和每个像素点投影后的参数值，确定每个像素点在深度值上的匹配损失。
其中，匹配损失可以被定义为重投影前后参数值的绝对差，参数值可以为像素颜色梯度。
步骤S49、将第一图像金字塔的顶层图像的每个像素点在多个深度平面的匹配损失确定为第一匹配损失体。
在图4所示的实施例中，给出了一种具体生成第一匹配损失体的方式，当然，还可以采用其他手段来生成参考图像的初步深度图，在此不作赘述。本实施例没有采用传统方法在计算匹配损失之前先对图像进行校正，而是获得多个深度平面，再利用重投影计算匹配损失，这样在深度恢复时能更好的适应参考图像和m个非参考图像对应视角的相机位姿变化，提高深度恢复方法的可靠性。
请参见图5所示，图5所示的为本申请实施例提供的又一种图像背景虚化方法的流程图。图5所示的实施例为基于图4中步骤S45的细化的实施例，所以与图4相同的内容可参见图4所示的实施例。图5所示方法包括以下步骤。
步骤S51、利用相机内参、相机外参和DLT(Direct Linear Transform，直接线性变换)算法，计算最小深度值所在的第一深度平面由参考图像平面到m个非参考图像平面映射的第二单应性矩阵。
步骤S52、利用相机内参、相机外参和直接线性变换算法，计算最大深度值所在的第二深度平面由参考图像平面到m个非参考图像平面映射的第三单应性矩阵。
其中，第二单应性矩阵的数量与计算的情况有关，所以此处会得到多个第二单应性矩阵。
步骤S53、将参考图像中的一个像素点按照第二单应性矩阵投影到m个非参考图像所在的平面上，得到第一投影点。
步骤S54、将参考图像中的一个像素点按照第三单应性矩阵投影到m个非参考图像所在的平面上，得到第二投影点。
步骤S55、在第一投影点与第二投影点之间构成的直线上均匀取样得到多个采样点。
步骤S56、将多个采样点反向投影到参考图像所在视角的三维空间中，得到与多个采样点的深度值对应的多个深度平面。
在图5所示的实施例中，在计算参考图像的像素按照一个深度平面的匹配损失时，需要将该像素重投影到m个非参考图像平面上，在采集到多个深度平面重投影后，在m个非参考图像中的位置是等间距的，所以本申请实施例有助于后续步骤更高效地提取参考图像与m个非参考图像之间的像素匹配信息，进而提升了场景深度图的精度。
请参见图6所示，图6所示的为本申请实施例提供的又一种图像背景虚化方法的流程图。图6所示的实施例为基于图2中步骤S22的细化的实施例，所以与图2相同的内容可参见图2所示的实施例。图6所示方法包括以下步骤。
步骤S61、确定与第一图像金字塔的顶层图像的像素点对应的第一图像金字塔的下层图像的像素点。
步骤S62、确定与m个第二图像金字塔的顶层图像的像素点对应的m个第二图像金字塔的下层图像的像素点。
步骤S63、根据初步深度图确定第一图像金字塔的下层图像的像素点的估计深度值。
步骤S64、根据估计深度值确定第一图像金字塔的下层图像的像素点的最小深度值和最大深度值。
步骤S65、在最小深度值和最大深度值之间确定第一图像金字塔的下层图像的多个深度平面。
其中，关于如何在最小深度值和最大深度值之间确定第一图像金字塔的下层图像的多个深度平面的具体实现方式，可以参见图4所示的实施例即可，在此不再赘述。
步骤S66、利用平面扫描算法和多个深度平面，计算第一图像金字塔的下层图像和m个第二图像金字塔的下层图像对应的第二匹配损失体。
步骤S67、以第一图像金字塔的下层图像作为引导图像，利用引导滤波算法对第二匹配损失体进行局部优化得到第三匹配损失体。
步骤S68、根据第三匹配损失体，为第一图像金字塔的下层图像的每个像素点选取第二匹配损失体中匹配损失最小的深度值，得到参考图像的场景深度图。
在图6所示的实施例中，利用初步深度图估计第一图像金字塔的下层图像的像素点的最小深度值和最大深度值，进而确定一个比较小的深度搜索区间，从而降低了计算量并提高了深度恢复方法对图像噪声等干扰的鲁棒性。
图7所示的为本申请实施例提供的一种图像背景虚化装置的示意图。图7为图1对应的装置实施例，图7中与图1相同的内容请参见图1对应的实施例即可。参照图7，该终端设备包括以下模块：
提取模块11，用于按照图像提取规则在目标视频中提取一个参考图像和m个非参考图像，目标视频为利用移动终端按照预定轨迹拍摄的视频，m大于等于9；
构建模块12，用于利用参考图像构建第一图像金字塔，利用m个非参考图像构建m个第二图像金字塔；
第一确定模块13，用于利用第一图像金字塔和m个第二图像金字塔确定参考图像的场景深度图，参考图像的场景深度图表示参考图像中的任意像素点与移动终端之间的相对距离；
划分模块14，用于利用场景深度图将参考图像的像素点划分到n个深度层，其中，不同深度层中的像素点对应的物体到移动终端的深度不同，其中n大于等于2；
第二确定模块15，用于在参考图像中确定目标位置；
第三确定模块16，用于从n个深度层中确定出目标位置对应的像素点所在的目标深度层；
模糊处理模块17，用于将待处理像素点进行模糊处理，待处理像素点为n个深度层中除目标深度层以外的深度层中所包含的像素点。
可选的，第一确定模块13，具体用于根据第一图像金字塔的顶层图像和m个第二图像金字塔的顶层图像确定参考图像的初步深度图，第一图像金字塔和m个第二图像金字塔均包括顶层图像和下层图像；根据初步深度图、第一图像金字塔的下层图像和m个第二图像金字塔的下层图像，确定参考图像的场景深度图。
可选的，第一确定模块13，具体用于根据第一图像金字塔的顶层图像和m个第二图像金字塔的顶层图像，计算第一匹配损失体；根据第一匹配损失体构建马尔科夫随机场模型进行全局匹配损失优化，得到参考图像的初步深度图。
可选的，第一确定模块13，具体用于获取参考图像和m个非参考图像所在的视角下的移动终端的相机外参和相机内参；根据特征点提取规则确定参考图像中的特征点；获取参考图像的特征点的三维坐标；根据参考图像的特征点的三维坐标确定参考图像所在场景内的最小深度值和最大深度值；在最小深度值和最大深度值之间确定多个深度平面；利用相机内参、相机外参和直接线性变换算法，计算多个深度平面由参考图像所在的平面到m个非参考图像所在的平面映射的第一单应性矩阵；利用平面扫描算法和第一单应性矩阵，将第一图像金字塔的顶层图像的每个像素点以多个深度平面投影到m个第二图像金字塔的顶层图像所在的平面上，得到每个像素点投影后的参数值；根据第一图像金字塔的顶层图像的每个像素点的参数值和每个像素点投影后的参数值，确定每个像素点在深度值上的匹配损失；将第一图像金字塔的顶层图像的每个像素点在多个深度平面的匹配损失确定为第一匹配损失体。
可选的，第一确定模块13，具体用于利用相机内参、相机外参和直接线性变换算法，计算最小深度值所在的第一深度平面由参考图像平面到m个非参考图像平面映射的第二单应性矩阵；利用相机内参、相机外参和直接线性变换算法，计算最大深度值所在的第二深度平面由参考图像平面到m个非参考图像平面映射的第三单应性矩阵；将参考图像中的一个像素点按照第二单应性矩阵投影到m个非参考图像所在的平面上，得到第一投影点；将参考图像中的一个像素点按照第三单应性矩阵投影到m个非参考图像所在的平面上，得到第二投影点；在第一投影点与第二投影点之间构成的直线上均匀取样得到多个采样点；将多个采样点反向投影到参考图像所在视角的三维空间中，得到与多个采样点的深度值对应的多个深度平面。
可选的，第一确定模块13，具体用于确定与第一图像金字塔的顶层图像的像素点对应的第一图像金字塔的下层图像的像素点；确定与m个第二图像金字塔的顶层图像的像素点对应的m个第二图像金字塔的下层图像的像素点；根据初步深度图确定第一图像金字塔的下层图像的像素点的估计深度值；根据估计深度值确定第一图像金字塔的下层图像的像素点的最小深度值和最大深度值；在最小深度值和最大深度值之间确定第一图像金字塔的下层图像的多个深度平面；利用平面扫描算法和多个深度平面，计算第一图像金字塔的下层图像和m个第二图像金字塔的下层图像对应的第二匹配损失体；以第一图像金字塔的下层图像作为引导图像，利用引导滤波算法对第二匹配损失体进行局部优化得到第三匹配损失体；根据第三匹配损失体，为第一图像金字塔的下层图像的每个像素点选取第二匹配损失体中匹配损失最小的深度值，得到参考图像的场景深度图。
可选的，第三确定模块16，具体用于获取参考图像的目标位置的指定像素点；在场景深度图中确定与指定像素点对应的像素值；根据指定像素点对应的像素值在n个深度层中确定指定像素点所在的目标深度层。
可选的，模糊处理模块17，具体用于确定待处理像素点所在的L个深度层，L大于等于2且小于n；计算L个深度层与目标深度层的深度差；根据深度差将L个深度层中的每个深度层的像素点进行预设比例的模糊处理，L个深度层中的每个深度层的像素点的模糊程度与深度差成正比。
图8所示的为本申请实施例提供的又一种图像背景虚化装置的示意图。参照图8，该装置包括：处理器21和存储器22，其中，存储器22内存储有处理器21能够执行的操作指令，处理器21读取存储器22内的操作指令用于实现上述各方法实施例中的方法。
图9所示的为本申请实施例提供的一种图像背景虚化装置的设计结构的示意图。图像背景虚化装置包括发射器1101，接收器1102，控制器/处理器1103，存贮器1104和调制解调处理器1105。
发射器1101调节(例如，模拟转换、滤波、放大和上变频等)该输出采样并生成上行链路信号，该上行链路信号经由天线发射给基站。在下行链路上，天线接收基站发射的下行链路信号。接收器1102调节(例如，滤波、放大、下变频以及数字化等)从天线接收的信号并提供输入采样。在调制解调处理器1105中，编码器1106接收要在上行链路上发送的业务数据和信令消息，并对业务数据和信令消息进行处理(例如，格式化、编码和交织)。调制器1107进一步处理(例如，符号映射和调制)编码后的业务数据和信令消息并提供输出采样。解调器1109处理(例如，解调)该输入采样并提供符号估计。解码器1108处理(例如，解交织和解码)该符号估计并提供发送给终端的已解码的数据和信令消息。编码器1106、调制器1107、解调器1109和解码器1108可以由合成的调制解调处理器1105来实现。这些单元根据无线接入网采用的无线接入技术(例如，LTE及其他演进系统的接入技术)来进行处理。
控制器/处理器1103，用于按照图像提取规则在目标视频中提取一个参考图像和m个非参考图像，目标视频为利用移动终端按照预定轨迹拍摄的视频，m大于等于1；利用参考图像构建第一图像金字塔，利用m个非参考图像构建m个第二图像金字塔；利用第一图像金字塔和m个第二图像金字塔确定参考图像的场景深度图，参考图像的场景深度图表示参考图像中的任意像素点与移动终端之间的相对距离；利用场景深度图将参考图像的像素点划分到n个深度层，其中，不同深度层中的像素点对应的物体到移动终端的深度不同，其中n大于等于2；在参考图像中确定目标位置；从n个深度层中确定出目标位置对应的像素点所在的目标深度层；将待处理像素点进行模糊处理，待处理像素点为n个深度层中除目标深度层以外的深度层中所包含的像素点。
需要说明的是，本申请提供实施例只是本申请所介绍的可选实施例，本领域技术人员在此基础上，完全可以设计出更多的实施例，因此不在此处赘述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (13)

1.一种图像背景虚化方法，其特征在于，所述方法包括：
按照图像提取规则在目标视频中提取一个参考图像和m个非参考图像，所述目标视频为利用移动终端按照预定轨迹拍摄的视频，m大于等于1；
利用所述参考图像构建第一图像金字塔，利用所述m个非参考图像构建m个第二图像金字塔；
根据所述第一图像金字塔的顶层图像和所述m个第二图像金字塔的顶层图像计算第一匹配损失体，所述第一图像金字塔和所述m个第二图像金字塔均包括顶层图像和下层图像；
根据所述第一匹配损失体构建马尔科夫随机场模型进行全局匹配损失优化，得到所述参考图像的初步深度图；
根据所述初步深度图、所述第一图像金字塔的下层图像和所述m个第二图像金字塔的下层图像，确定所述参考图像的场景深度图，所述参考图像的场景深度图表示所述参考图像中的任意像素点与所述移动终端之间的相对距离；
利用所述场景深度图将所述参考图像的像素点划分到n个深度层，其中，不同深度层中的像素点对应的物体到所述移动终端的深度不同，其中n大于等于2；
在所述参考图像中确定目标位置；
从所述n个深度层中确定出所述目标位置对应的像素点所在的目标深度层；
将待处理像素点进行模糊处理，所述待处理像素点为所述n个深度层中除所述目标深度层以外的深度层中所包含的像素点。
2.根据权利要求1所述的图像背景虚化方法，其特征在于，根据所述第一图像金字塔的顶层图像和所述m个第二图像金字塔的顶层图像，计算第一匹配损失体包括：
获取所述参考图像和所述m个非参考图像所在的视角下的所述移动终端的相机外参和相机内参；
根据特征点提取规则确定所述参考图像中的特征点；
获取所述参考图像的特征点的三维坐标；
根据所述参考图像的特征点的三维坐标确定所述参考图像所在场景内的最小深度值和最大深度值；
在所述最小深度值和所述最大深度值之间确定多个深度平面；
利用所述相机内参、所述相机外参和直接线性变换算法，计算所述多个深度平面由所述参考图像所在的平面到所述m个非参考图像所在的平面映射的第一单应性矩阵；
利用平面扫描算法和所述第一单应性矩阵，将所述第一图像金字塔的顶层图像的每个像素点以所述多个深度平面投影到所述m个第二图像金字塔的顶层图像所在的平面上，得到所述每个像素点投影后的参数值；
根据所述第一图像金字塔的顶层图像的每个像素点的参数值和所述每个像素点投影后的参数值，确定所述每个像素点在深度值上的匹配损失；
将所述第一图像金字塔的顶层图像的每个像素点在所述多个深度平面的匹配损失确定为第一匹配损失体。
3.根据权利要求2所述的图像背景虚化方法，其特征在于，在所述最小深度值和所述最大深度值之间确定多个深度平面包括：
利用所述相机内参、所述相机外参和直接线性变换算法，计算所述最小深度值所在的第一深度平面由所述参考图像平面到所述m个非参考图像平面映射的第二单应性矩阵；
利用所述相机内参、所述相机外参和所述直接线性变换算法，计算所述最大深度值所在的第二深度平面由所述参考图像平面到所述m个非参考图像平面映射的第三单应性矩阵；
将所述参考图像中的一个像素点按照所述第二单应性矩阵投影到所述m个非参考图像所在的平面上，得到第一投影点；
将所述参考图像中的一个像素点按照所述第三单应性矩阵投影到所述m个非参考图像所在的平面上，得到第二投影点；
在所述第一投影点与所述第二投影点之间构成的直线上均匀取样得到多个采样点；
将所述多个采样点反向投影到所述参考图像所在视角的三维空间中，得到与所述多个采样点的深度值对应的多个深度平面。
4.根据权利要求1所述的图像背景虚化方法，其特征在于，根据所述初步深度图、所述第一图像金字塔的下层图像和所述m个第二图像金字塔的下层图像，确定所述参考图像的场景深度图包括：
确定与所述第一图像金字塔的顶层图像的像素点对应的所述第一图像金字塔的下层图像的像素点；
确定与所述m个第二图像金字塔的顶层图像的像素点对应的所述m个第二图像金字塔的下层图像的像素点；
根据所述初步深度图确定所述第一图像金字塔的下层图像的像素点的估计深度值；
根据所述估计深度值确定所述第一图像金字塔的下层图像的像素点的最小深度值和最大深度值；
在所述最小深度值和所述最大深度值之间确定所述第一图像金字塔的下层图像的多个深度平面；
利用平面扫描算法和所述多个深度平面，计算所述第一图像金字塔的下层图像和所述m个第二图像金字塔的下层图像对应的第二匹配损失体；
以所述第一图像金字塔的下层图像作为引导图像，利用引导滤波算法对所述第二匹配损失体进行局部优化得到第三匹配损失体；
根据所述第三匹配损失体，为所述第一图像金字塔的下层图像的每个像素点选取所述第二匹配损失体中匹配损失最小的深度值，得到所述参考图像的场景深度图。
5.根据权利要求1至4任意一项所述的图像背景虚化方法，其特征在于，从所述n个深度层中确定出所述目标位置对应的像素点所在的目标深度层包括：
获取所述参考图像的目标位置的指定像素点；
在所述场景深度图中确定与所述指定像素点对应的像素值；
根据所述指定像素点对应的像素值在所述n个深度层中确定所述指定像素点所在的目标深度层。
6.根据权利要求1至4任意一项所述的图像背景虚化方法，其特征在于，将待处理像素点进行模糊处理包括：
确定待处理像素点所在的L个深度层，L大于等于2且小于n；
计算所述L个深度层与所述目标深度层的深度差；
根据所述深度差将所述L个深度层中的每个深度层的像素点进行预设比例的模糊处理，所述L个深度层中的每个深度层的像素点的模糊程度与所述深度差成正比。
7.一种图像背景虚化装置，其特征在于，所述装置包括：
提取模块，用于按照图像提取规则在目标视频中提取一个参考图像和m个非参考图像，所述目标视频为利用移动终端按照预定轨迹拍摄的视频，m大于等于9；
构建模块，用于利用所述参考图像构建第一图像金字塔，利用所述m个非参考图像构建m个第二图像金字塔；
第一确定模块，用于利用所述第一图像金字塔和所述m个第二图像金字塔确定所述参考图像的场景深度图，所述参考图像的场景深度图表示所述参考图像中的任意像素点与所述移动终端之间的相对距离；
划分模块，用于利用所述场景深度图将所述参考图像的像素点划分到n个深度层，其中，不同深度层中的像素点对应的物体到所述移动终端的深度不同，其中n大于等于2；
第二确定模块，用于在所述参考图像中确定目标位置；
第三确定模块，用于从所述n个深度层中确定出所述目标位置对应的像素点所在的目标深度层；
模糊处理模块，用于将待处理像素点进行模糊处理，所述待处理像素点为所述n个深度层中除所述目标深度层以外的深度层中所包含的像素点；
所述第一确定模块，具体用于根据所述第一图像金字塔的顶层图像和所述m个第二图像金字塔的顶层图像计算第一匹配损失体，所述第一图像金字塔和所述m个第二图像金字塔均包括顶层图像和下层图像；根据所述第一匹配损失体构建马尔科夫随机场模型进行全局匹配损失优化，得到所述参考图像的初步深度图；根据所述初步深度图、所述第一图像金字塔的下层图像和所述m个第二图像金字塔的下层图像，确定所述参考图像的场景深度图。
8.根据权利要求7所述的图像背景虚化装置，其特征在于：
所述第一确定模块，具体用于获取所述参考图像和所述m个非参考图像所在的视角下的所述移动终端的相机外参和相机内参；根据特征点提取规则确定所述参考图像中的特征点；获取所述参考图像的特征点的三维坐标；根据所述参考图像的特征点的三维坐标确定所述参考图像所在场景内的最小深度值和最大深度值；在所述最小深度值和所述最大深度值之间确定多个深度平面；利用所述相机内参、所述相机外参和直接线性变换算法，计算所述多个深度平面由所述参考图像所在的平面到所述m个非参考图像所在的平面映射的第一单应性矩阵；利用平面扫描算法和所述第一单应性矩阵，将所述第一图像金字塔的顶层图像的每个像素点以所述多个深度平面投影到所述m个第二图像金字塔的顶层图像所在的平面上，得到所述每个像素点投影后的参数值；根据所述第一图像金字塔的顶层图像的每个像素点的参数值和所述每个像素点投影后的参数值，确定所述每个像素点在深度值上的匹配损失；将所述第一图像金字塔的顶层图像的每个像素点在所述多个深度平面的匹配损失确定为第一匹配损失体。
9.根据权利要求8所述的图像背景虚化装置，其特征在于：
所述第一确定模块，具体用于利用所述相机内参、所述相机外参和直接线性变换算法，计算所述最小深度值所在的第一深度平面由所述参考图像平面到所述m个非参考图像平面映射的第二单应性矩阵；利用所述相机内参、所述相机外参和所述直接线性变换算法，计算所述最大深度值所在的第二深度平面由所述参考图像平面到所述m个非参考图像平面映射的第三单应性矩阵；将所述参考图像中的一个像素点按照所述第二单应性矩阵投影到所述m个非参考图像所在的平面上，得到第一投影点；将所述参考图像中的一个像素点按照所述第三单应性矩阵投影到所述m个非参考图像所在的平面上，得到第二投影点；在所述第一投影点与所述第二投影点之间构成的直线上均匀取样得到多个采样点；将所述多个采样点反向投影到所述参考图像所在视角的三维空间中，得到与所述多个采样点的深度值对应的多个深度平面。
10.根据权利要求7所述的图像背景虚化装置，其特征在于：
所述第一确定模块，具体用于确定与所述第一图像金字塔的顶层图像的像素点对应的所述第一图像金字塔的下层图像的像素点；确定与所述m个第二图像金字塔的顶层图像的像素点对应的所述m个第二图像金字塔的下层图像的像素点；根据所述初步深度图确定所述第一图像金字塔的下层图像的像素点的估计深度值；根据所述估计深度值确定所述第一图像金字塔的下层图像的像素点的最小深度值和最大深度值；在所述最小深度值和所述最大深度值之间确定所述第一图像金字塔的下层图像的多个深度平面；利用平面扫描算法和所述多个深度平面，计算所述第一图像金字塔的下层图像和所述m个第二图像金字塔的下层图像对应的第二匹配损失体；以所述第一图像金字塔的下层图像作为引导图像，利用引导滤波算法对所述第二匹配损失体进行局部优化得到第三匹配损失体；根据所述第三匹配损失体，为所述第一图像金字塔的下层图像的每个像素点选取所述第二匹配损失体中匹配损失最小的深度值，得到所述参考图像的场景深度图。
11.根据权利要求7至10任意一项所述的图像背景虚化装置，其特征在于：
所述第三确定模块，具体用于获取所述参考图像的目标位置的指定像素点；在所述场景深度图中确定与所述指定像素点对应的像素值；根据所述指定像素点对应的像素值在所述n个深度层中确定所述指定像素点所在的目标深度层。
12.根据权利要求7至10任意一项所述的图像背景虚化装置，其特征在于：
所述模糊处理模块，具体用于确定待处理像素点所在的L个深度层，L大于等于2且小于n；计算所述L个深度层与所述目标深度层的深度差；根据所述深度差将所述L个深度层中的每个深度层的像素点进行预设比例的模糊处理，所述L个深度层中的每个深度层的像素点的模糊程度与所述深度差成正比。
13.一种图像背景虚化装置，其特征在于，包括：处理器和存储器，其中，存储器内存储有处理器能够执行的操作指令，处理器读取存储器内的操作指令用于实现以下方法：
按照图像提取规则在目标视频中提取一个参考图像和m个非参考图像，所述目标视频为利用移动终端按照预定轨迹拍摄的视频，m大于等于1；利用所述参考图像构建第一图像金字塔，利用所述m个非参考图像构建m个第二图像金字塔；根据所述第一图像金字塔的顶层图像和所述m个第二图像金字塔的顶层图像计算第一匹配损失体，所述第一图像金字塔和所述m个第二图像金字塔均包括顶层图像和下层图像；根据所述第一匹配损失体构建马尔科夫随机场模型进行全局匹配损失优化，得到所述参考图像的初步深度图；根据所述初步深度图、所述第一图像金字塔的下层图像和所述m个第二图像金字塔的下层图像，确定所述参考图像的场景深度图，所述参考图像的场景深度图表示所述参考图像中的任意像素点与所述移动终端之间的相对距离；利用所述场景深度图将所述参考图像的像素点划分到n个深度层，其中，不同深度层中的像素点对应的物体到所述移动终端的深度不同，其中n大于等于2；在所述参考图像中确定目标位置；从所述n个深度层中确定出所述目标位置对应的像素点所在的目标深度层；将待处理像素点进行模糊处理，所述待处理像素点为所述n个深度层中除所述目标深度层以外的深度层中所包含的像素点。
CN201710189167.0A 2017-03-27 2017-03-27 一种图像背景虚化方法及装置 Expired - Fee Related CN108668069B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710189167.0A CN108668069B (zh) 2017-03-27 2017-03-27 一种图像背景虚化方法及装置
PCT/CN2017/117180 WO2018176929A1 (zh) 2017-03-27 2017-12-19 一种图像背景虚化方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710189167.0A CN108668069B (zh) 2017-03-27 2017-03-27 一种图像背景虚化方法及装置

Publications (2)

Publication Number Publication Date
CN108668069A CN108668069A (zh) 2018-10-16
CN108668069B true CN108668069B (zh) 2020-04-14

Family

ID=63674131

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710189167.0A Expired - Fee Related CN108668069B (zh) 2017-03-27 2017-03-27 一种图像背景虚化方法及装置

Country Status (2)

Country Link
CN (1) CN108668069B (zh)
WO (1) WO2018176929A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110120009B (zh) * 2019-05-09 2022-06-07 西北工业大学 基于显著物体检测和深度估计算法的背景虚化实现方法
CN110910304B (zh) * 2019-11-08 2023-12-22 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及介质
CN110992412B (zh) * 2019-12-09 2023-02-28 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN111222514B (zh) * 2019-12-31 2023-06-27 上海星思半导体有限责任公司 一种基于视觉定位的局部地图优化方法
CN115760986B (zh) * 2022-11-30 2023-07-25 北京中环高科环境治理有限公司 基于神经网络模型的图像处理方法及装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102156997A (zh) * 2010-01-19 2011-08-17 索尼公司 图像处理设备和图像处理方法
US8284258B1 (en) * 2008-09-18 2012-10-09 Grandeye, Ltd. Unusual event detection in wide-angle video (based on moving object trajectories)
CN102801910A (zh) * 2011-05-27 2012-11-28 三洋电机株式会社 摄像装置
CN103037075A (zh) * 2011-10-07 2013-04-10 Lg电子株式会社 移动终端及其离焦图像生成方法
CN104424640A (zh) * 2013-09-06 2015-03-18 格科微电子（上海）有限公司 对图像进行虚化处理的方法和装置
CN105578026A (zh) * 2015-07-10 2016-05-11 宇龙计算机通信科技(深圳)有限公司 一种拍摄方法及用户终端
CN106060423A (zh) * 2016-06-02 2016-10-26 广东欧珀移动通信有限公司 虚化照片生成方法、装置和移动终端
CN106331492A (zh) * 2016-08-29 2017-01-11 广东欧珀移动通信有限公司 一种图像处理方法及终端
CN106530241A (zh) * 2016-10-31 2017-03-22 努比亚技术有限公司 一种图像虚化处理方法和装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8284258B1 (en) * 2008-09-18 2012-10-09 Grandeye, Ltd. Unusual event detection in wide-angle video (based on moving object trajectories)
CN102156997A (zh) * 2010-01-19 2011-08-17 索尼公司 图像处理设备和图像处理方法
CN102801910A (zh) * 2011-05-27 2012-11-28 三洋电机株式会社 摄像装置
CN103037075A (zh) * 2011-10-07 2013-04-10 Lg电子株式会社 移动终端及其离焦图像生成方法
CN104424640A (zh) * 2013-09-06 2015-03-18 格科微电子（上海）有限公司 对图像进行虚化处理的方法和装置
CN105578026A (zh) * 2015-07-10 2016-05-11 宇龙计算机通信科技(深圳)有限公司 一种拍摄方法及用户终端
CN106060423A (zh) * 2016-06-02 2016-10-26 广东欧珀移动通信有限公司 虚化照片生成方法、装置和移动终端
CN106331492A (zh) * 2016-08-29 2017-01-11 广东欧珀移动通信有限公司 一种图像处理方法及终端
CN106530241A (zh) * 2016-10-31 2017-03-22 努比亚技术有限公司 一种图像虚化处理方法和装置

Also Published As

Publication number Publication date
CN108668069A (zh) 2018-10-16
WO2018176929A1 (zh) 2018-10-04

Similar Documents

Publication Publication Date Title
CN108668069B (zh) 一种图像背景虚化方法及装置
US9900510B1 (en) Motion blur for light-field images
CN107705333B (zh) 基于双目相机的空间定位方法及装置
US9558557B2 (en) Online reference generation and tracking for multi-user augmented reality
US9898856B2 (en) Systems and methods for depth-assisted perspective distortion correction
Lei et al. Depth map super-resolution considering view synthesis quality
EP2992508B1 (en) Diminished and mediated reality effects from reconstruction
US9589319B2 (en) Method, system and apparatus for forming a high resolution depth map
CN108833785B (zh) 多视角图像的融合方法、装置、计算机设备和存储介质
KR20110078175A (ko) 영상 데이터 생성 방법 및 장치
KR102141319B1 (ko) 다시점 360도 영상의 초해상화 방법 및 영상처리장치
US20210383166A1 (en) Method and apparatus for context-embedding and region-based object detection
JP2009139995A (ja) ステレオ画像対における画素のリアルタイムマッチングのための装置及びプログラム
CN107820019B (zh) 虚化图像获取方法、装置及设备
KR102416523B1 (ko) 다시점 카메라로부터 획득된 조인트 기반의 캘리브레이션을 이용한 3차원 스켈레톤 생성 방법
CN110211169B (zh) 基于多尺度超像素和相位相关的窄基线视差的重构方法
CN112085031A (zh) 目标检测方法及系统
CN111598777A (zh) 天空云图的处理方法、计算机设备和可读存储介质
CN112313706A (zh) 用于计算感兴趣区域的空间坐标点的方法和系统，以及非暂时性计算机可读记录介质
CN107038758A (zh) 一种基于orb算子的增强现实三维注册方法
EP2800055A1 (en) Method and system for generating a 3D model
CN108961182B (zh) 针对视频图像的竖直方向灭点检测方法及视频扭正方法
CN104104911A (zh) 全景图像生成过程中的时间戳消除和重置方法及系统
CN116823611A (zh) 基于多聚焦图像的有参考超分辨率方法
US20220319026A1 (en) Imaging system and method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200414

CF01 Termination of patent right due to non-payment of annual fee