CN112967365A - 一种基于用户感知优化的深度图生成方法 - Google Patents

一种基于用户感知优化的深度图生成方法 Download PDF

Info

Publication number
CN112967365A
CN112967365A CN202110163213.6A CN202110163213A CN112967365A CN 112967365 A CN112967365 A CN 112967365A CN 202110163213 A CN202110163213 A CN 202110163213A CN 112967365 A CN112967365 A CN 112967365A
Authority
CN
China
Prior art keywords
depth
depth map
weight
image
ith
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110163213.6A
Other languages
English (en)
Other versions
CN112967365B (zh
Inventor
杨昌源
李如诗
陈鹏
孙凌云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202110163213.6A priority Critical patent/CN112967365B/zh
Publication of CN112967365A publication Critical patent/CN112967365A/zh
Application granted granted Critical
Publication of CN112967365B publication Critical patent/CN112967365B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation

Abstract

本发明公开了一种基于用户感知优化的深度图生成方法，包括以下步骤：输入一张平面或2D图像，利用神经网络算法生成粗略深度图，利用神经网络算法或人工标注出图像中物体的区域并生成分割图，所述物体的区域为分割块；计算图像的特征，结合图像的特征计算注意力分数；通过粗略深度图和注意力分数进行能量函数设计，得出优化深度图；对所述优化深度图进行迭代调整，解决分割块的边界深度差异的矛盾，并输出所得的深度图。本发明无需立体摄像机，够输入一张普通平面图片，生成一张效果更佳的深度图，实现立体的图像显示，降低了立体的图像出图的成本；采用基于用户感知优化的方法，解决了立体图生成方法中产出的深度图模糊、效果不佳的问题。

Description

一种基于用户感知优化的深度图生成方法
技术领域
本发明涉及图像处理技术领域，特别是涉及一种基于用户感知优化的深度图生成方法。
背景技术
裸眼立体图像提供了一个额外的深度维度，有望更好的展现数据、结构等，已被用于医疗诊断、可视化等领域。例如，裸眼立体图像在手术中能够帮助医生更好的理解人体结构、加快手术速度。已有研究证实，相对于平面的显示方式，立体图像可提供一个更沉浸式的环境，激发积极情感。
现有方法未考虑用户查看裸眼立体内容时的认知特征，例如用户的深度分辨率、用户对图像内容的注意区域等，使得裸眼立体显示的内容尚依靠人工制作，难以直接采用计算机生成，阻碍了裸眼立体图像的大规模应用。
传统深度估计方法采用几何视角等估计深度。随着深度学习方法的出现，深度估计也有了新的解决思路。深度学习方法通过训练神经网络，学习图像中物体间的相对深度或估计室内场景中物体的深度信息。
尽管深度估计取得了巨大进展，现阶段深度估计算法尚不能满足立体图像呈现的需要。这种差距主要来源于两个方面：第一，现有深度估计算法产出的深度图仍相对模糊，场景内物体难以区分，难以满足立体图像生成的需求；第二，人的立体感受受到自身感知特征影响，现有算法仅对图片内容的深度进行估计，难以产生真实、有吸引力的立体图像效果，例如，人存在深度感知的舒适区、感知受深度分辨率的影响等。
公开号为CN108718392A的发明公开了一种用以融合多深度图的深度图产生装置。所述深度图产生装置包含二图像获取器、一深度图产生器及一混合器。所述二图像获取器是用以产生二第一图像；所述深度图产生器耦接于所述二图像获取器，其中所述深度图产生器根据所述二第一图像，产生一第一深度图和一第二深度图；所述混合器耦接于所述深度图产生器，用以融合所述第一深度图和所述第二深度图以产生一最终深度图，其中所述第一深度图和所述第二深度图具有不同的特性，该发明主要是基于多图像的深度图生成方法。
公开号为CN103391446A的发明公开了一种基于自然场景统计的深度图优化方法，包括：提供平面图像及其初始深度图，并提取平面图像的亮度信息；对亮度信息进行域变换滤波；分别对滤波后的亮度信息和初始深度图进行小波分解；对亮度小波金字塔构造高斯模型，并估算形状参数和伸展参数；对深度小波金字塔和形状参数和伸展参数构造能量函数，并对能量函数进行极小化得到优化后的深度小波金字塔；对优化后的深度小波金字塔进行小波合成得到优化后的深度图。该发明采用小波分解进行深度图优化，但并未考虑用户注意力与深度的感知特征。
发明内容
本发明的目的在于提出了一种基于用户感知优化的深度图生成方法，能够由一张普通的平面图片生成一张效果显著的深度图，实现了立体的图像显示。
一种基于用户感知优化的深度图生成方法，包括以下步骤：
(1)输入一张平面或2D图像，利用神经网络算法生成粗略深度图，利用神经网络算法或人工标注出图像中物体的区域并生成分割图，所述物体的区域为分割块；
(2)基于步骤(1)计算图像的特征，结合图像的特征计算注意力分数；
(3)通过粗略深度图和注意力分数进行能量函数设计，得出优化深度图；
(4)对所述优化深度图进行迭代调整，解决分割块的边界深度差异的矛盾，并输出所得的深度图。
所述步骤1中，采用“Learning single-view depth prediction from internetphotos”(InProceedings of the IEEE Conference on Computer Visionand PatternRecognition,pages 2041–2050,2018)所公布的方法进行基于神经网络算法的计算，输入照片生成初步深度图。
所述的图像的特征由高级特征和低级特征组成，所述高级特征包括显著度和物体语义信息；所述低级特征包括颜色、布局和深度信息。
高层特征采用分割块的权重Hi来表示，其计算方法具体如下：
(I)显著度的计算，采用“Mask r-cnn”(In Proceedings of the IEEEinternational conference on computer vision,pp.2961–2969)所公布的方法进行计算；考虑到计算所得的显著度并不是完全集中在一个物体上，而是分散在它周围，导致在背景中出现不正确的高显著度的可能性；
(II)采用图像目标识别模型引入物体的语义信息；
(III)对特定像素在显著度的基础上线性加权所述特定像素被识别为物体的识别率，得到分割块的权重Hi：
sx,y＝(ri+a)ln(ex,y+1)(x,y)∈Ri (1)
Figure BDA0002936362260000031
其中：Ri为第i个分割块的像素集合，ex,y表示显著度图中(x,y)像素的显著值，ri表示第i个分割块的识别率，sx,y为结合像素注意值及其识别率的过渡中间变量，常数a用于在ri＝0，即没有识别时，保持ex,y的效果。
所述低级特征中，通过计算分割块之间的颜色差值、分割块在整个图像中的面积占比、分割块之间的距离来计算每个分割块相对于其他分割块的颜色权重；通过分割块与图像中心的距离来计算布局权重。
颜色布局权重Li，由颜色权重和布局权重计算得出，具体计算步骤如下：
Li＝ci×hi (3)
其中，ci和hi分别是第i个分割块的颜色和布局特征；
Figure BDA0002936362260000032
其中，pi和pj分别为区域Ri和Rj的平均颜色，ω(Rj)是第j个分割块在图像中的像素占比，φ(i,j)衡量第i个和j个分割块之间的距离，代表分割块越近，φ(i,j)的值越高，设定为exp(-‖oi-oj‖2)，oi和oj分别代表两个分割块的中心坐标；
ci表示为第i个分割块与其他大面积分割块颜色差异越大、距离越近，则颜色权重越大。
Figure BDA0002936362260000041
其中，oi为第个i分割块的中心坐标，
Figure BDA0002936362260000042
为图像的中心坐标；
hi表示为分割块离图像中心越近，布局权重越大。
所述低级特征中，通过初步深度图的深度信息来计算深度权重Di，离用户越近，深度权重Di越大，具体计算步骤如下：
Di＝exp(b×di)-1 (6)
其中di为第i个分割块的平均深度，b为常数.
为强调更容易吸引注意力的近处物体，公式(6)中使用指数变换代替线性变换。
注意力权重由每个分割块的权重Hi、颜色布局权重Li和深度权重Di计算所得，计算公式为：
Figure BDA0002936362260000043
其中Fi为第i个分割块的注意力分数，参数λ用来控制分割块的权重Hi的权重。
注意力权重的计算使显著的物体得到的注意力分数高，前景物体得到的注意力分数高、颜色突出、布局中心的物体得到的注意力分数高。
所述步骤3中，所述能量函数设计指在保持尽可能小的深度变化的情况下，增加高注意力分数的分割块的深度范围，拉近深度，使其更贴近观看者。因此算法对分割块的限制随着分割块的注意力分数的降低而增加，使得到的优化深度图在保持深度分布的同时，突出有吸引力的物体。
所述能量函数设计的具体计算步骤如下：
首先根据注意力分数对N个分割块按升序重新排序，使Fi≤Fi+1，i＝1,...,N-1，
Figure BDA0002936362260000051
表示输入的粗略深度图中第i个分割块的平均深度，则能量函数E(m,mo,F)的定义如下：
E(m,mo,F)＝-L1(m)-δ1L2(m,mo,F)+δ2A(m,mo,F) (8)
Figure BDA0002936362260000052
其中，mo和m*分别为所述粗略深度图和优化深度图中分割块的平均深度集合，m为优化过程中的取值，其优化完成后的值为m*；F是分割块的注意力分数的集合，L1(m)、L2(m,mo,F)和A(m,mo,F)分别表示深度顺序、深度数据和深度差的项式；δ1和δ2为参数，分别控制深度数据和深度差的权重；
Figure BDA0002936362260000053
Figure BDA0002936362260000054
其中，mi为优化后第i个分割块的平均深度，权重exp(-αFi)控制第i个分割块的深度变化损失，根据Fi的取值，权重exp(-αFi)处于[0,1]范围；
L1(m)确保分割块之间的深度顺序保持一致，L2(m,mo,F)使得注意力分数高的分割块深度变动小；
f(Fi)＝exp(βFi) (12)
Figure BDA0002936362260000055
其中：
Figure BDA0002936362260000056
f(Fi)是第i个分割块的权重；分割块注意力分数越高，权重越大；用于衡量深度差的A(m,mo,F)是惩罚项式，当深度差小于阈值γ时惩罚呈指数增长，当深度差大于阈值时，奖励随着深度差的增大而增大，最终收敛到一个固定的值。
采用动态规划的方法来确定m*，在动态规划中根据预先确定的深度顺序进行动态规划，以确保深度顺序项式始终为0；
通过的得到的m*粗略深度图更新如下：
Figure BDA0002936362260000057
其中Vx,y,V′x,y分别表示深度图中坐标为(x,y)像素在优化前后的深度值。
所述步骤4中，由于步骤3中计算的是分割块平均深度的差异，而不是分割块边界的差异，故这在保证分割块的平均深度有序的同时忽视了分割块边界，使得分割块边界的深度存在矛盾。采用减少灰色区域来解决分割块边界的差异的深度矛盾问题，迭代调整的方法包括：保持冲突分割块的平均深度并减少其方差和改变分割块的深度。
所述保持冲突分割块的平均深度并减少其方差的具体步骤如下：设第i个分割块的区域为Ri，Vx,y表示上一阶段获取的深度图中坐标为(x,y)像素的深度值，V′x,y为坐标(x,y)像素的调整后的深度值，则
V′x,y＝(1-exp(-Fi))·(Vx,y-mi)+mi(x,y)∈Ri (15)
其中，mi为第i个分割块的平均深度。
所述公式(15)中，利用Fi来控制调节程度，分割块注意分数越高，调整越少，越能保持最优解。
所述通过轻微的移动增加两个深度分布之间的距离，来改变分割块的深度的具体步骤如下：
V′x,y＝Vx,y+(-1)t·exp(-Fi)(x,y)∈Ri (16)
其中t根据具体的冲突决定是增加深度还是减少深度。
在这两种操作的基础上，采用迭代的方法不断更新深度图，直到所有分割块没有冲突为止。
所述迭代调整的算法具体如下：每次迭代枚举深度图中的所有分割块，以检查是否存在冲突；如果分割块有冲突，则执行一个操作来调整其深度，直到所有的分割块没有冲突。
本发明相比现有技术，其优点在于：
1.无需立体摄像机，够输入一张普通平面图片，生成一张效果更佳的深度图，实现立体的图像显示，降低了立体的图像出图的成本。
2.采用基于用户感知优化的方法，解决了基于单张图片的立体图生成方法中产出的深度图模糊、效果不佳的问题。
附图说明
图1为本发明实施例基于基于用户感知优化的深度图生成方法的整体流程示意图。
图2为本发明实施例注意力计算所用图像特征；
图3(a)为本发明实施例深度冲突的举例示意图；
图3(b)为图3(a)中的深度分布示意图；
图3(c)为图3(a)中迭代调整的保持冲突分割块的平均深度并减少其方差的方法的示意图；
图3(d)为图3(a)中迭代调整的通过移动增加两个深度分布之间的距离的方法的示意图。
具体实施方式
如图1所示，基于用户感知优化的深度图生成方法，包括以下步骤：
S1输入一张平面或2D图像，利用神经网络算法生成粗略深度图，利用神经网络算法或人工标注出图像中物体的区域并生成分割图，物体的区域为分割块；
S2基于步骤S1计算图像的特征，结合图像的特征计算注意力分数；
S3通过粗略深度图和注意力分数进行能量函数设计，得出优化深度图；
S4对所述优化深度图进行迭代调整，解决分割块的边界深度差异的矛盾，并输出所得的深度图。
基于用户感知优化的深度图生成方法，具体实施例如下：
进行S1，采用“Learningsingle-view depth prediction from internetphotos”(InProceedings of the IEEE Conference on Computer Visionand PatternRecognition,pages 2041–2050,2018.)所公布的方法进行基于神经网络算法的计算，输入照片生成初步深度图，可处理大部分种类的照片。
进行S2，图像的特征由高级特征和低级特征组成，高级特征包括显著度和物体语义信息；低级特征包括颜色、布局和深度信息。
高层特征采用分割块的权重Hi来表示，其计算方法如下：
(I)显著度的计算，K.He,G.Gkioxari,P.Doll′ar,and R.Girshick,“Mask r-cnn,”in Proceedings of the IEEE，考虑到这样生成的显著度并不是完全集中在一个物体上，而是分散在它周围，这就导致了在背景中出现不正确的高显著度的可能性。
(II)采用图像目标识别模型引入物体的语义信息，由于像素对应的分割块识别率越高，像素的显著度越可信。
(III)对特定像素在显著度的基础上线性加权所述特定像素被识别为物体的识别率，得到分割块的权重Hi：
sx,y＝(ri+a)ln(ex,y+1)(x,y)∈Ri (1)
Figure BDA0002936362260000081
其中：Ri为第i个分割块的像素集合，ex,y表示显著度图中(x,y)像素的显著值，ri表示第i个分割块的识别率，如图2所示，人的识别率为0.93，sx,y为结合像素注意值及其识别率的过渡中间变量，常数a用于在ri＝0，即没有识别时，保持ex,y的效果。
低级特征中，通过计算分割块之间的颜色差值、分割块在整个图像中的面积占比、分割块之间的距离来计算每个分割块相对于其他分割块的颜色权重；通过分割块与图像中心的距离来计算布局权重。
颜色布局权重Li，由颜色权重和布局权重计算得出，具体计算步骤如下：
Li＝ci×hi (3)
其中ci和hi分别是第i个分割块的颜色和布局特征；
Figure BDA0002936362260000082
其中，pi和pj分别为区域Ri和Rj的平均颜色，ω(Rj)是第j个分割块在图像中的像素占比，φ(i,j)衡量第i个和j个分割块之间的距离，设定为exp(-‖oi-oj‖2)，oi和oj分别代表两个分割块的中心坐标；φ(i,j)代表分割块越近，值越高。
ci的效果是，第i个分割块与其他大面积分割块颜色差异越大、距离越近，则颜色权重越大。
Figure BDA0002936362260000091
其中，oi为第个i分割块的中心坐标，
Figure BDA0002936362260000092
为图像的中心坐标。
hi的效果是，分割块离图像中心越近，布局权重越大。
所述低级特征中，通过初步深度图的深度信息来计算深度权重Di，离用户越近，深度权重Di越大，具体计算步骤如下：
Di＝exp(b×di)-1 (6)
其中di为第i个分割块的平均深度，b为常数.
为强调更容易吸引注意力的近处物体，公式(6)中使用指数变换代替线性变换。
注意力权重由每个分割块的权重Hi、颜色布局权重Li和深度权重Di计算所得，计算公式为：
Figure BDA0002936362260000093
其中Fi为第i个分割块的注意力分数，参数λ用来控制分割块的权重Hi的权重。
如图2所示，注意力权重的计算使显著的物体得到的注意力分数高、前景物体得到的注意力分数高、颜色突出、布局中心的物体得到的注意力分数高。
进行S3，能量函数设计指在保持尽可能小的深度变化的情况下，增加高注意力分数的分割块的深度范围，拉近深度，使其更贴近观看者。因此算法对分割块的限制随着分割块的注意力分数的降低而增加，使得到的优化深度图在保持深度分布的同时，突出有吸引力的物体。
所述能量函数设计的具体计算步骤如下：
首先根据注意力分数对N个分割块按升序重新排序，使Fi≤Fi+1，i＝1,...,N-1，
Figure BDA0002936362260000101
表示输入的粗略深度图中第i个分割块的平均深度，则能量函数E(m,mo,F)的定义如下：
E(m,mo,F)＝-L1(m)-δ1L2(m,mo,F)+δ2A(m,mo,F) (8)
Figure BDA0002936362260000102
其中，mo和m*分别为所述粗略深度图和优化深度图中分割块的平均深度集合，m为优化过程中的取值，其优化完成后的值为m*；F是分割块的注意力分数的集合，L1(m)、L2(m,mo,F)和A(m,mo,F)分别表示深度顺序、深度数据和深度差的项式；δ1和δ2为参数，分别控制深度数据和深度差的权重。
Figure BDA0002936362260000103
Figure BDA0002936362260000104
其中，mi为优化后第i个分割块的平均深度，权重exp(-αFi)控制第i个分割块的深度变化损失，根据Fi的取值，权重exp(-αFi)处于[0,1]范围；
L1(m)确保分割块之间的深度顺序保持一致，L2(m,mo,F)使得注意力分数高的分割块深度变动小。
f(Fi)＝exp(βFi) (12)
Figure BDA0002936362260000105
其中：
Figure BDA0002936362260000106
f(Fi)是第i个分割块的权重；分割块注意力分数越高，权重越大；用于衡量深度差的A(m,mo,F)是惩罚项式，当深度差小于阈值γ时惩罚呈指数增长，当深度差大于阈值时，奖励随着深度差的增大而增大，最终收敛到一个固定的值。
采用动态规划的方法来确定m*，在动态规划中根据预先确定的深度顺序进行动态规划，以确保深度顺序项式始终为0；
通过的得到的m*粗略深度图更新如下：
Figure BDA0002936362260000107
其中Vx,y,V′x,y分别表示深度图中坐标为(x,y)像素在优化前后的深度值。
进行S4，由于S3中计算的是分割块平均深度的差异，而不是分割块边界的差异，故这在保证分割块的平均深度有序的同时忽视了分割块边界，使得分割块边界的深度存在矛盾。
如图3(a)所示，在两只长颈鹿的边界处，深度图显示左长颈鹿比右长颈鹿远，这违反了深度的顺序，实际上左边的长颈鹿更近，如图3(b)所示。
采用减少灰色区域来解决分割块边界的差异的深度矛盾问题，迭代调整的方法包括：保持冲突分割块的平均深度并减少其方差和改变分割块的深度。
如图3(c)所示，保持冲突分割块的平均深度并减少其方差的具体步骤如下：设第i个分割块的区域为Ri，Vx,y表示上一阶段获取的深度图中坐标为(x,y)像素的深度值，V′x,y为坐标(x,y)像素的调整后的深度值，则
V′x,y＝(1-exp(-Fi))·(Vx,y-mi)+mi(x,y)∈Ri (15)
其中，mi为第i个分割块的平均深度。
所述公式(15)中，利用Fi来控制调节程度，分割块注意分数越高，调整越少，越能保持最优解。
如图3(d)所示，通过轻微的移动增加两个深度分布之间的距离，来改变分割块的深度的具体步骤如下：
V′x,y＝Vx,y+(-1)t·exp(-Fi)(x,y)∈Ri (16)
其中t根据具体的冲突决定是增加深度还是减少深度。
在这两种操作的基础上，采用迭代的方法不断更新深度图，直到所有分割块没有冲突为止。
进行S5，迭代调整的算法具体如下：每次迭代枚举深度图中的所有分割块，以检查是否存在冲突；如果分割块有冲突，则执行一个操作来调整其深度，直到所有的分割块没有冲突。

Claims (10)

1.一种基于用户感知优化的深度图生成方法，其特征在于，包括以下步骤：
(1)输入一张平面或2D图像，利用神经网络算法生成粗略深度图，利用神经网络算法或人工标注出图像中物体的区域并生成分割图，所述物体的区域为分割块；
(2)基于步骤(1)计算图像的特征，结合图像的特征计算注意力分数；
(3)通过粗略深度图和注意力分数进行能量函数设计，得出优化深度图；
(4)对所述优化深度图进行迭代调整，解决分割块的边界深度差异的矛盾，并输出所得的深度图。
2.如权利要求1所述的基于用户感知优化的深度图生成方法，其特征在于，所述的图像的特征由高级特征和低级特征组成，所述高级特征包括显著度和物体语义信息；所述低级特征包括颜色、布局和深度信息。
3.如权利要求2所述的基于用户感知优化的深度图生成方法，其特征在于，高层特征采用分割块的权重Hi来表示，其计算方法具体如下：
(I)显著度的计算；
(II)采用图像目标识别模型引入物体的语义信息；
(III)对特定像素在显著度的基础上线性加权所述特定像素被识别为物体的识别率，得到分割块的权重Hi：
sx，y＝(ri+a)ln(ex，y+1)(x，y)∈Ri (1)
Figure FDA0002936362250000011
其中，Ri为第i个分割块的像素集合，ex，y表示显著度图中(x，y)像素的显著值，ri表示第i个分割块的识别率，sx，y为结合像素注意值及其识别率的过渡中间变量，常数a用于ri＝0时，保持ex，y的效果。
4.如权利要求2所述的基于用户感知优化的深度图生成方法，其特征在于，所述低级特征中，通过计算分割块之间的颜色差值、分割块在整个图像中的面积占比和分割块之间的距离来计算每个分割块相对于其他分割块的颜色权重；通过分割块与图像中心的距离来计算布局权重。
5.如权利要求4所述的基于用户感知优化的深度图生成方法，其特征在于，颜色布局权重Li，由颜色权重和布局权重计算得出，具体计算步骤如下：
Li＝ci×hi (3)
其中ci和hi分别是第i个分割块的颜色和布局特征；
Figure FDA0002936362250000021
其中，pi和pj分别为区域Ri和Rj的平均颜色，ω(Rj)是第j个分割块在图像中的像素占比，φ(i，j)衡量第i个和j个分割块之间的距离，设定为exp(-||oi-oj||2)，oi和oj分别代表两个分割块的中心坐标；
Figure FDA0002936362250000022
其中，oi为第个i分割块的中心坐标，
Figure FDA0002936362250000023
为图像的中心坐标。
6.如权利要求4所述的基于用户感知优化的深度图生成方法，其特征在于，所述低级特征中，通过初步深度图的深度信息来计算深度权重Di，具体计算步骤如下：
Di＝exp(b×di)-1 (6)
其中di为第i个分割块的平均深度，b为常数。
7.如权利要求1所述的基于用户感知优化的深度图生成方法，其特征在于，注意力分数由注意力权重计算得出，注意力权重由每个分割块的权重Hi、颜色布局权重Li和深度权重Di计算所得，计算公式为：
Figure FDA0002936362250000024
其中Fi为第i个分割块的注意力分数，参数λ用来控制分割块的权重Hi的权重。
8.如权利要求1所述的基于用户感知优化的深度图生成方法，其特征在于，所述步骤3中，所述能量函数设计的具体计算步骤如下：
首先根据注意力分数对N个分割块按升序重新排序，使Fi≤Fi+1，i＝1，...，N-1，
Figure FDA0002936362250000031
表示输入的粗略深度图中第i个分割块的平均深度，则能量函数E(m，mo，F)的定义如下：
E(m，mo，F)＝-L1(m)-δ1L2(m，mo，F)+δ2A(m，mo，F) (8)
Figure FDA0002936362250000032
其中，mo和m*分别为所述粗略深度图和优化深度图中分割块的平均深度集合，m为优化过程中的取值，F是分割块的注意力分数的集合，L1(m)、L2(m，mo，F)和A(m，mo，F)分别表示深度顺序、深度数据和深度差的项式；δ1和δ2为参数，分别控制深度数据和深度差的权重；
Figure FDA0002936362250000033
Figure FDA0002936362250000034
其中，mi为优化后第i个分割块的平均深度，权重exp(-αFi)控制第i个分割块的深度变化损失，根据Fi的取值，权重exp(-αFi)处于[0，1]范围；
f(Fi)＝exp(βFi) (12)
Figure FDA0002936362250000035
其中：
Figure FDA0002936362250000036
F＝{Fi|i＝1，...N}，
Figure FDA0002936362250000037
f(Fi)是第i个分割块的权重；
采用动态规划的方法来确定m*，在动态规划中根据预先确定的深度顺序进行动态规划，以确保深度顺序项式始终为0；
通过的得到的m*粗略深度图更新如下：
Figure FDA0002936362250000038
其中Vx，y，V′x，y分别表示深度图中坐标为(x，y)像素在优化前后的深度值。
9.如权利要求1所述的基于用户感知优化的深度图生成方法，其特征在于，迭代调整的方法包括保持冲突分割块的平均深度并减少其方差，其具体步骤如下：设第i个分割块的区域为Ri，Vx，y表示上一阶段获取的深度图中坐标为(x，y)像素的深度值，V′x，y为坐标(x，y)像素的调整后的深度值，则
V′x，y＝(1-exp(-Fi))·(Vx，y-m’i)+m’i(x，y)∈Ri (15)
其中，m’i为第i个分割块的平均深度。
10.如权利要求1所述的基于用户感知优化的深度图生成方法，其特征在于，迭代调整的方法还包括所述通过移动增加两个深度分布之间的距离，其具体计算步骤如下：
V′x，y＝Vx，y+(-1)t·exp(-Fi)(x，y)∈Ri (16)
其中t值根据具体的冲突决定。
CN202110163213.6A 2021-02-05 2021-02-05 一种基于用户感知优化的深度图生成方法 Active CN112967365B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110163213.6A CN112967365B (zh) 2021-02-05 2021-02-05 一种基于用户感知优化的深度图生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110163213.6A CN112967365B (zh) 2021-02-05 2021-02-05 一种基于用户感知优化的深度图生成方法

Publications (2)

Publication Number Publication Date
CN112967365A true CN112967365A (zh) 2021-06-15
CN112967365B CN112967365B (zh) 2022-03-15

Family

ID=76274669

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110163213.6A Active CN112967365B (zh) 2021-02-05 2021-02-05 一种基于用户感知优化的深度图生成方法

Country Status (1)

Country Link
CN (1) CN112967365B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114005077A (zh) * 2021-12-30 2022-02-01 浙江大学 观众评价数据驱动的无声产品视频创作辅助方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2747028A1 (en) * 2012-12-18 2014-06-25 Universitat Pompeu Fabra Method for recovering a relative depth map from a single image or a sequence of still images
WO2018053952A1 (zh) * 2016-09-26 2018-03-29 浙江工商大学 一种基于场景样本库的影视图像深度提取方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2747028A1 (en) * 2012-12-18 2014-06-25 Universitat Pompeu Fabra Method for recovering a relative depth map from a single image or a sequence of still images
WO2018053952A1 (zh) * 2016-09-26 2018-03-29 浙江工商大学 一种基于场景样本库的影视图像深度提取方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
李宗民等: "条件随机场像素建模与深度特征融合的目标区域分割算法", 《计算机辅助设计与图形学学报》 *
陈裕如等: "基于自适应像素级注意力模型的场景深度估计", 《应用光学》 *
黄军等: "单目深度估计技术进展综述", 《中国图象图形学报》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114005077A (zh) * 2021-12-30 2022-02-01 浙江大学 观众评价数据驱动的无声产品视频创作辅助方法及装置
CN114005077B (zh) * 2021-12-30 2022-05-27 浙江大学 观众评价数据驱动的无声产品视频创作辅助方法及装置

Also Published As

Publication number Publication date
CN112967365B (zh) 2022-03-15

Similar Documents

Publication Publication Date Title
US11017586B2 (en) 3D motion effect from a 2D image
CN112887698B (zh) 基于神经辐射场的高质量人脸语音驱动方法
CN108875935B (zh) 基于生成对抗网络的自然图像目标材质视觉特征映射方法
Ward et al. Depth director: A system for adding depth to movies
CN102663766B (zh) 一种基于非真实感的艺术插画效果绘制方法
CN108830913B (zh) 基于用户颜色引导的语义级别线稿上色方法
CN102098528B (zh) 一种平面图像的立体转换方法及装置
CN105374007A (zh) 融合骨架笔画和纹理特征的铅笔画生成方法和装置
Panetta et al. Tmo-net: A parameter-free tone mapping operator using generative adversarial network, and performance benchmarking on large scale hdr dataset
EP3961573A2 (en) Uv mapping on 3d objects with the use of artificial intelligence
CN106651853A (zh) 基于先验知识和深度权重的3d显著性模型的建立方法
CN106709933B (zh) 一种基于非监督学习的运动估计方法
JP2009104570A (ja) 画像の形成用のデータ構造及び画像の形成方法
CN112967365B (zh) 一种基于用户感知优化的深度图生成方法
JP2021077365A (ja) 畳み込みニューラルネットワークスタイル転送を使用したグラフィックデザインの作成の自動化
CN115482323A (zh) 一种基于神经辐射场的立体视频视差控制与编辑方法
CN112541856B (zh) 一种结合马尔科夫场和格拉姆矩阵特征的医学类图像风格迁移方法
CN111405264B (zh) 一种基于深度调整的3d视频舒适度改善方法
Guo et al. Adaptive estimation of depth map for two-dimensional to three-dimensional stereoscopic conversion
CN116310005A (zh) 全息柜、动态虚拟形象视频处理方法及图像处理方法
Hu Visual health analysis of print advertising graphic design based on image segmentation and few-shot learning
Everingham et al. Head-mounted mobility aid for low vision using scene classification techniques
Wang et al. Computer-Aided Traditional Art Design Based on Artificial Intelligence and Human-Computer Interaction
CN108769644B (zh) 一种基于深度学习的双目动画风格化渲染方法
CN113242419A (zh) 基于静态建筑的2d转3d方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant