CN107507206A - 一种基于显著性检测的深度图提取方法 - Google Patents

一种基于显著性检测的深度图提取方法 Download PDF

Info

Publication number
CN107507206A
CN107507206A CN201710430239.6A CN201710430239A CN107507206A CN 107507206 A CN107507206 A CN 107507206A CN 201710430239 A CN201710430239 A CN 201710430239A CN 107507206 A CN107507206 A CN 107507206A
Authority
CN
China
Prior art keywords
image
depth
depth map
landscape
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710430239.6A
Other languages
English (en)
Other versions
CN107507206B (zh
Inventor
杨依忠
胡雄楼
伍能举
汪鹏飞
徐栋
荣燊
解光军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN201710430239.6A priority Critical patent/CN107507206B/zh
Publication of CN107507206A publication Critical patent/CN107507206A/zh
Application granted granted Critical
Publication of CN107507206B publication Critical patent/CN107507206B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20061—Hough transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于显著性检测的深度图提取方法：把输入的图像转换到HSI彩色空间的图像；判定图像属于风景图、特写镜头还是线性透视图；再针对不同类型的图像分别处理。最后，对得到的不同类型图像的深度图进行双边滤波的后处理。有益的技术效果：本发明的提取深度信息的过程更为准确、适用场景更为多样、方法更加新颖。

Description

一种基于显著性检测的深度图提取方法
技术领域
本发明属于3D显示技术领域，具体涉及一种基于显著性检测的深度图提取方法，是一种能够准确提取深度信息的方法。
背景技术
目前，3D显示技术基本是利用视差原理来实现的，分别提供给左眼以及右眼两幅不同的图像，来模拟平时观察者观察外界事物的特征，使观察者在适当的角度观看画面时产生三维立体空间感。在合成双目图像之前需要计算每个像素点的深度信息，即图像中物体的前后距离关系。各个像素点的深度信息即构成了深度图。在产生的深度图的基础上，就能够将双视角立体影片合成为三维立体影片。
深度图的产生是3D显示技术中至为重要的一步，在产生深度图的过程中，准确性和速度是必修要考虑的两个重要因素。图像中每一个像素点所对应的深度信息是非常重要的，一旦深度值有误差，将会导致产生的立体图像出现失真，从而造成让观看者无法正常观赏的后果。对于速度，深度图的产生是一个复杂的计算过程，一般方法需要较长的时间来完成，这对于实时显示技术而言是一个巨大的挑战。
在现今的实现技术中，典型的深度图提取方法是由三星的Yong Ju Jung等人提出的相对高度深度线索的算法，但是这种方法对于图像的线性要求特别高，图像的左右方向必须有很强的线性感，才能对图像有很好的分割并赋深度图值，因此对于视频图像的处理能力是很具有局限性的。而且这种线性检测技术是相当耗时的。
为了得到准确、快速的深度图提取方法，图像分割是深度图提取中至关重要的一步，为了得到很好的分割效果，Jui-Sheng Lee等人提出的3D深度图提取算法中用到了k-means算法进行图像分割。这种方法的确使得深度图的提取更为快速，但是由于k-means算法是以图像灰度图的差值大小作为相似性依据，再对同一类赋予相同的深度值,这种方法的确能够对图像进行初步的分割，但是其分割的种类是由设定的k值所确定的。然而一幅图像里面所包含的信息量和种类远 远大于k,这种算法的结果会导致得到的深度图的信息不准确。
鉴于以上情况，业界需要一种既能快速产生深度图信息，同时又能确保得到的深度图的信息准确的方法，这也是目前3D显示技术需要努力实现的目标之一。
发明内容
本发明的目的在于提供一种基于显著性检测的深度图提取方法，这种方法既能适应于多种场景的深度图的生成，同时又能得到具有很高准确度的深度图。
基于这样的目的，本发明采用的技术方案是：
一种基于显著性检测的深度图提取方法，该方法具体包括以下步骤：
步骤(A)把输入的图像转换为HSI彩色空间的图像；
步骤(B)对HSI彩色空间的图像的像素进行风景图类的物理元素(物理元素包括天空、大地、其他)的判定，然后计算整幅图像风景图类元素的比例，并给出判别的经验阈值，比较这一比例和阈值判别出图像是否属于风景图：如属于，则进入步骤(C)；如不属于，则进入步骤(D)；
步骤(C)对于属于风景图类型的图像，首先给定全局的深度梯度图模型，然后计算出风景图的三类物理元素，并给三种元素赋自上而下的等差灰度值，最后将两种深度线索的深度图进行加权融合；随后，进入步骤(G)；
步骤(D)如果图像不属于风景图，则对其进行霍夫变换检测出图像中的直线段，并给出判别的经验阈值：
如果由霍夫变换检测出的直线段的数量小于本步骤的阈值，则将其归为特写镜头类图像，并转入步骤(E)；
如果由霍夫变换检测出的直线段的数量不小于本步骤的阈值，则通过计算直线段交叉点所在区域范围的方式，将图像归为线性透视图或特写镜头类图像；如果满归类为线性透视图，则转入步骤(F)，如果归类为特写镜头类图像，则转入步骤(E)；
步骤(E)对于特写镜头类图像，对其进行显著性检测，然后对检测得到的图像进行二值化处理以分离出前景图像和背景图像，再与相应的全局深度图加权计算得到此种类型图像的深度图，随后转入步骤(G)；
步骤(F)对于线性透视图类的图像，先将得到的主要直线的交叉点作为消 失点，然后将消失点作为最远点，再按照图像中某个像素和该像素的距离与消失点和图中距消失点最远的像素的距离的比例赋深度值，最后与YCrCb彩色空间的Cr、Cb通道的图像进行加权融合得到此类图像的深度图，随后转入步骤(G)；
步骤(G)对得到的深度图进行双边滤波的后处理，输出结果。
进一步说，在步骤(B)中,对图像元素进行分类时，由于HSI模型完全反映了人感知颜色的基本属性，与人感知颜色的结果一一对应，因此，HSI模型常应用于图像表示和处理。具体流程如下：
步骤(1)图像中某一像素点(x,y)在HSI彩色空间中表示出来，HSI分别代表色调H(x,y)、饱和度S(x,y)和强度I(x,y)；
步骤(2)计算风景图类型的图像的物理元素(包括天空、大地、其他)所含有的数量，计算公式如下：
其中，LS(x,y)表示图像中像素点(x,y)在图像中是否属于风景元素，如果为1，表示属于风景类像素；为0，则表示不属于风景类像素。
步骤(3)计算出风景图类物理元素占整个图像像素总数的比例，并与设定的阈值δ比较，如果这一比例大于该阈值，则判定该图像Img属于风景类图像，否则进行步骤(D)的处理。具体公式如下：
其中，TLS表示图像中属于风景类像素的总的数量，η表示该图像风景类像素的比例，h和w表示图像的高度和宽度，Img表示图像。
进一步说，在步骤(C)中，由于风景图类的图像里的景物很多是从上到下符合由远及近的规则，因此可以按如下步骤实施：
步骤(1)先对风景图自上而下进行深度梯度的预先赋值，其公式如下：
B＝255-klog(h)
其中，Dglobal(x,y)表示全局深度梯度，Xg_min表示“大地”区域的行像素的最小值，也就是在图像中“大地”区域离图像底部的最大处，h为图像的高度，C和k是常量；
步骤(2)图像中某一像素点在RGB彩色空间中表示出来，RGB分别代表红色、绿色和蓝色；同时，将图像在HSI彩色空间、RGB彩色空间中分成不同的语义区域(天空、大地、其他),分割的公式如下：
Ground:80≤S(x,y)≤255&&20≤H(x,y)≤100
其中对于“天空”区域，只需满足a,b,c,d条件之一即可，并按照自上而下的方法对其赋不同的灰度值，其中，天空的灰度值赋0，其他的灰度值赋值为128，大地的灰度值赋255；
步骤(3)通过语义线索的深度信息和全局深度梯度的深度图，提取出一种线性融合的深度图，公式如下：
Dls＝αDglobal+βDc
其中，Dls表示风景图类型图像的融合深度图，Dglobal和Dc分别表示全局深度梯度的深度图和根据语义线索的深度图，α和β是和为1的加权常数。
进一步说，在步骤(D)中，对图像进行分类时，为了检测出图像中主要的直线，先采用Sobel边缘检测算子对图像进行检测得到图像的边缘图，即二值图，然后再进行霍夫变换，其具体步骤如下：
步骤(1)首先将图像由彩色图转换为灰度图并用Sobel边缘接触算子检测，并得到二值化的边缘图像；
步骤(2)对边缘检测后的二值图像进行霍夫变换，检测出图像里面的直线段，并根据一定的阈值比例(本发明采用图像对角线的长度的四分之一)选出其 中的主要直线，如果不存在主要直线，则将图像分类为特写镜头类的图像；
步骤(3)如果存在主要的直线，计算出主要直线的交叉点，以及这些交叉点之间的距离关系，如果该距离大于一定的阈值，则将图像分类为特写镜头类的图像，否则将其归类为线性透视图类型的图像。
进一步说，在步骤(E)中，首先对图像进行显著性检测，显著性检测最终目的是寻求一幅图像的显著性区域，被称之为显著性区域就是指图像中最能引起人们注意的一些区域，因此可以用于提取出前景的目标，具体步骤是：
步骤(1)假设图像F中的每一个像素点x的特征为F(x)，F(x)∈QF(x)，QF(x)是包含不同特征的特征空间，F(x)是RGB彩色空间R、G、B通道及亮度的任意特征之一，用一个矩形的窗口W并将其分成内核部分K和外边界部分B，假定K是显著的而B是背景，矩形W内的随机变量Z，则显著性公式如下：
S0(x)＝P(Z∈K|F(Z)∈QF(x))
如果S0(x)接近于数值1，那么x像素是在特征QF(x)下是显著的；
步骤(2)基于贝叶斯公式P(A|B)＝P(B|A)P(A)/P(B)和假设
H0:Z∈K,H1:Z∈B,F(x):F(Z)∈QF(x)，则显著性公式化为：
同时在均匀分布的K和B上的条件概率分布为p(x)＝p0/|K|，x∈K；
p(x)＝(1-p0)/|B|，x∈B，那么在K上的条件概率为：
同样，在B上的条件概率记为：
hB(x)＝P(F(x)|H1)，显著性化为：
步骤(3)K和B上的条件概率的规则化：通过高斯函数和 将K和B上的条件概率化为：
和hB,α，再根据x的特征F(x)在CIELab彩色空间中
F(x)＝(L(x),a(x),b(x))的形式，显著性公式化为：
步骤(4)通过将能量函数最小化，计算出最后的显著性图，然后二值化显著图以提取出前景图Ds，再与相应的全局深度图Dg、灰度图Dy线性融合为特写镜头的深度图，公式如下：
Df＝αDg+βDs+(1-α-β)Dy
其中，显著图为s＝(s1,...,sN)，sN为第N个像素的显著性，c＝(c1,...,cN)表示图像且cn＝(Ln,an,bn)是CIELab彩色空间的向量，σ＝(σ1,...,σN)是显著性的二值化标记值，σn∈{0,1}，σn是1表示为第n个像素是显著的，E1(σ,c,s)是能量函数，US用于削弱被标记为显著的非显著像素，UC用于加强被标记为非显著的显著像素，V用于支持空间连续性的函数。
进一步说，其在步骤(F)中，由于各种场景中大量存在着消失线和消失点(如当你沿着铁路线去看两条铁轨，沿着公路线去看两边排列整齐的树木时，两条平行的铁轨或两排树木连线交与很远很远的某一点，这点在透视图中叫做消失点。)基于消失点是图像中最远的像素点的假设，本发明先建立一个深度梯度模型以估计深度值。首先用Sobel边缘检测算子对从彩色图转换的灰度图进行检测，再利用霍夫变换检测图像中存在的直线段，然后再利用检测到的直线计算出交叉点作为消失点，根据检测出的两条最长的消失线将图像分成四个平面，交叉线上面和下面的作为垂直梯度平面，交叉线左边和右边的作为水平梯度平面，图像中 某个像素再根据与消失点之间的距离计算出相应的深度值，最后与YCrCb彩色空间的Cr、Cb通道的图像进行加权融合得到此类图像的深度图，具体公式如下：
水平梯度平面：
垂直梯度平面：
其中，分别表示在图像的垂直方向和水平方向上与消失点最大的距离，xVP和yVP是消失点的坐标位置，D(x，y)是位置点(x,y)处的灰度值。
本发明中，物理元素包括天空、大地和/或其他。语义区域为天空、大地和/或其他。“其他”专指除天空、大地之外的物理元素，以及除天空、大地之外的场景图像语义区域。
本发明的优点是：
本发明中，提取深度信息的过程更为准确、适用场景更为多样、方法更加新颖，主要体现在：第一，本发明首先使用了一种简洁而易于实现的场景分类方法将未知图像分类成三种模型确定的场景，相比于许多处理特定场景的深度图提取算法，再对不同的场景采用不同的模型计算深度值，本发明获得的深度图信息更加准确，且更具有通用性；第二，本发明采用了显著性检测的方法提取图像中前景目标，这样可以准确地区分出图像中的前景目标和背景目标，且这种方法在深度图提取方法里极少应用，具有一定的创新性；第三，本发明所采用的深度图提取方法经过后续的立体图合成后可以取得良好的效果。
附图说明
图1为本发明所提供的深度图提取方法的总流程图，摘要附图。
图2为本发明中对风景类图像处理方法的流程图。
图3为本发明中对特写镜头类图像处理方法的流程图。
图4为本发明中对线性透视图类图像的处理方法的流程图。
图5为待处理的一幅风景类图片。
图6为应用本发明方法得到的一幅风景类图片的深度图。
图7为应用本发明方法得到的一幅风景类图片的深度图基础上合成的3D图像。
图8为待处理的一幅特写镜头类图片。
图9为应用本发明方法得到的一幅特写镜头类图片的深度图。
图10为应用本发明方法得到的一幅特写镜头类图片的深度图的基础上合成的3D图像。
图11为待处理的一幅线性透视图类图片。
图12为应用本发明方法得到的一幅线性透视图类图片的深度图。
图13为应用本发明方法得到的一幅线性透视图类图片的深度图的基础上合成的3D图像。
具体实施方式
为使本发明的目的、优点以及技术方案更加清楚，利用所给附图以及结合具体事例，对本发明进一步详细说明。
图1为本发明的深度图生成的方法的总流程示意图。具体的实施步骤包括以下几个步骤。
步骤S101：把输入的图像转换为HSI彩色空间的图像；
步骤S102：对HSI彩色空间的图像的像素进行风景图类的物理元素(包括天空、大地、其他)的判定，然后计算整幅图像风景图类元素的比例，再根据一定的阈值，判别出图像是否属于风景图；
步骤S103：对于属于风景图类型的图像，首先给定全局的深度梯度图模型，然后计算出风景图的三类物理元素，并给三种元素赋自上而下的等差灰度值，最后将两种深度线索的深度图进行加权融合；
步骤S104：如果图像不属于风景图，对其进行霍夫变换检测出图像中主要的直线段，如果满足一定条件的线段数小于一定阈值，将其归为特写镜头类图像，否则计算其线段交叉点所在区域范围，如果满足条件，归类为线性透视图类型，如果不满足条件，则归类为特写镜头类图像；
步骤S105：对于特写镜头类图像，先对其进行显著性检测，对检测得到的 图像进行二值化处理以分离出前景图像和背景图像，然后再与相应的全局深度图加权计算得到此类型图像的深度图；
步骤S106：对于线性透视图类的图像，先将得到的主要直线的交叉点作为消失点，然后将消失点作为最远点，再按照图像中某个像素和该像素的距离与消失点和图中距消失点最远的像素的距离的比例赋深度值，最后与YCrCb彩色空间的Cr、Cb通道的图像进行加权融合得到此类图像的深度图；
步骤S107：对得到的深度图进行双边滤波的后处理。
首先，在步骤S101中，由于HIS模型反映了人感知颜色的基本属性，与人感知颜色的结果一一对应，因此，HSI模型被广泛应用于人的视觉系统感知的图像表示和处理系统中。
在步骤S102中，在HSI彩色空间中，首先统计风景类图像像素的数量，将这个数值除以图像像素的总数，得到一个比值，再将这个比值和一定的阈值比较大小，如果大于这一阈值，则被认为是风景类图像，否则不是；
在步骤S103中，由于风景类场景的图像很多从上而下是自远及近的距离关系，采用自上而下的全局深度赋值并将图像中的目标分成几个大的目标再进行赋值是合理的，具体的流程如下：
步骤S1031：先对风景图自上而下进行深度梯度的预先赋值，其公式如下：
B＝255-klog(h)
其中，Dglobal(x,y)表示全局深度梯度，Xg_min表示“大地”区域的行像素的最小值，也就是在图像中“大地”区域离图像底部的最大处，h为图像的高度，C和k是常量；
步骤S1032：将图像在HSI彩色空间、RGB彩色空间中分成不同的语义区域(天空、大地、其他),分割的公式如下：
Ground:80≤S(x,y)≤255&&20≤H(x,y)≤100
其中，对于“天空”区域，只需满足a,b,c,d条件之一即可，并按照自上而下的方法对其赋不同的灰度值，其中，天空的灰度值赋0，其他的灰度值赋值为128，大地的灰度值赋255；
步骤S1033：计算出风景图类物理元素占整个图像像素总数的比例，并与设定的阈值δ比较，如果这一比例大于该阈值，则判定该图像Img属于风景类图像，否则进行步骤(D)的处理。具体公式如下：
其中，TLS表示图像中属于风景类像素的总的数量，η表示该图像风景类像素的比例，h和w表示图像的高度和宽度，Img表示图像。
在步骤S104中，对步骤S103所得的图像进行霍夫变换检测出图像中主要的直线段，如果满足一定条件的线段数小于一定阈值，将其归为特写镜头类图像，否则再计算其线段交叉点所在区域范围，如果满足条件，则归类为线性透视图类型，具体流程如下：
步骤S1041：首先将图像由彩色图变换为灰度图并用Sobel边缘接触算子检测，并得到二值化的边缘图像；
步骤S1042：对边缘检测后的二值图像作霍夫变换，检测出图像里面的直线段，并根据一定的阈值比例(本发明采用图像对角线的长度的四分之一)选出其中的主要直线，如果不存在主要直线，则将图像分类为特写镜头类的图像；
步骤S1043：如果存在主要的直线，计算出主要直线的交叉点，然后计算主要交叉点之间的距离关系，如果这些交叉点的距离大于一定的阈值，则将图像分类为特写镜头类的图像，否则将其归类为线性透视图类型的图像。
在步骤S105中，对于特写镜头类图像，先对其进行显著性检测，然后对检测得到的图像进行二值化处理以分离出前景图像和背景图像，再与相应的全局深度图加权计算得到此种类型图像的深度图，具体流程如下：
步骤S1051：假设图像F中的每一个像素点x的特征为F(x)，F(x)∈QF(x)， QF(x)是包含不同特征的特征空间，F(x)是RGB彩色空间R、G、B通道及亮度的任意特征之一，用一个矩形的窗口W并将其分成内核部分K和外边界部分B在整个图像中滑动计算，假定K是显著的而B是背景，矩形W内的随机变量Z，则显著性公式如下：
S0(x)＝P(Z∈K|F(Z)∈QF(x))
如果S0(x)接近于数值1，那么x像素是在特征QF(x)下是显著的；
步骤S1052：基于贝叶斯公式P(A|B)＝P(B|A)P(A)/P(B)和假设
H0:Z∈K,H1:Z∈B,F(x):F(Z)∈QF(x)，则显著性公式化为：
同时在均匀分布的K和B上的条件概率分布为p(x)＝p0/|K|，x∈K；
p(x)＝(1-p0)/|B|，x∈B，那么在K上的条件概率为：
同样，在B上的条件概率记为：
hB(x)＝P(F(x)|H1)，显著性化为：
步骤S1053：K和B上的条件概率的规则化：通过高斯函数和将K和B上的条件概率化为：
和hB,α，再根据x的特征F(x)在CIELab彩色空间中
F(x)＝(L(x),a(x),b(x))的形式，显著性公式化为：
步骤S1054：通过将能量函数最小化，计算出最后的显著性图；
步骤S1055：二值化显著图提取出前景图Ds，再与相应的全局深度图Dg、灰度图Dy(增加图像的纹理特征)线性融合为特写镜头的深度图，公式如下：
Df＝αDg+βDs+(1-α-β)Dy
其中，显著图为s＝(s1,...,sN)，sN为第N个像素的显著性，c＝(c1,...,cN)表示图像且cn＝(Ln,an,bn)是Lab彩色空间的向量，σ＝(σ1,...,σN)是显著性的二值化标记值，σn∈{0,1}，σn是1表示为第n个像素是显著的，E1(σ,c,s)是能量函数，US用于削弱被标记为显著的非显著像素，UC用于加强被标记为非显著的显著像素，V用于支持空间连续性的函数。
在步骤S106中，对步骤S104得到的线性透视图类的图像，先将得到的主要直线的交叉点作为消失点，然后将消失点作为最远点，再按照图像中某个像素和该像素的距离与消失点和图中距消失点最远的像素的距离的比例赋深度值，最后与YCrCb彩色空间的Cr、Cb通道的图像进行加权融合得到此类图像的深度图，具体流程如下：
步骤S1061：先将步骤(D)中的彩色图转换为灰度图；
步骤S1062：用Sobel边缘检测算子检测灰度图中的边缘，并将得到的边缘图进行二值化处理；
步骤S1063：再利用霍夫变换检测步骤(2)图像中存在的直线段；
步骤S1064：选出直线段最长的两条线段作为消失线，将图像分成四个平面，交叉线上面和下面的作为垂直梯度平面，交叉线左边和右边的作为水平梯度平面，
步骤S1065：图像中某个像素根据其与消失点之间的距离计算出相应的深度值，具体公式如下：
水平梯度平面：
垂直梯度平面：
其中，分别表示在图像的垂直方向和水平方向上与消失点最大的距离，xVP和yVP是消失点的坐标位置，D(x,y)是位置点(x,y)处的灰度值。
步骤S1066：最后与YCrCb彩色空间的Cr、Cb通道的图像进行加权融合得到此类图像的深度图；
在步骤S107中，为了达到消除深度图噪声的同时又能保留深度图中存在的突变大的边缘，并且可以平滑深度图，对得到的深度图进行双边滤波的后处理以便更好地应用于后面的左右视点的合成。

Claims (10)

1.一种基于显著性检测的深度图提取方法，其特点在于，该方法具体包括以下步骤：
步骤(A)把输入的图像转换为HSI彩色空间的图像；
步骤(B)对HSI彩色空间的图像的像素进行风景图类的物理元素的判定，然后计算整幅图像风景图类元素的比例，并给出判别的经验阈值，比较这一比例和阈值判别出图像是否属于风景图：如属于，则进入步骤(C)；如不属于，则进入步骤(D)；
步骤(C)对于属于风景图类型的图像，首先给定全局的深度梯度图模型，然后计算出风景图的三类物理元素，并给三种元素赋自上而下的等差灰度值，最后将两种深度线索的深度图进行加权融合；随后，进入步骤(G)；
步骤(D)如果图像不属于风景图，则对其进行霍夫变换检测出图像中的直线段，并给出判别的经验阈值：
如果由霍夫变换检测出的直线段的数量小于本步骤的阈值，则将其归为特写镜头类图像，并转入步骤(E)；
如果由霍夫变换检测出的直线段的数量不小于本步骤的阈值，则通过计算直线段交叉点所在区域范围的方式，将图像归为线性透视图或特写镜头类图像；如果满归类为线性透视图，则转入步骤(F)，如果归类为特写镜头类图像，则转入步骤(E)；
步骤(E)对于特写镜头类图像，对其进行显著性检测，然后对检测得到的图像进行二值化处理以分离出前景图像和背景图像，再与相应的全局深度图加权计算得到此种类型图像的深度图，随后转入步骤(G)；
步骤(F)对于线性透视图类的图像，先将得到的主要直线的交叉点作为消失点，然后将消失点作为最远点，再按照图像中某个像素和该像素的距离与消失点和图中距消失点最远的像素的距离的比例赋深度值，最后与YCrCb彩色空间的Cr、Cb通道的图像进行加权融合得到此类图像的深度图，随后转入步骤(G)；
步骤(G)对得到的深度图进行双边滤波的后处理，输出结果。
2.根据权利要求1所述的深度图提取方法，其特征在于，其中在步骤(B),对图像元素进行分类时，由于HSI模型完全反映了人感知颜色的基本属性，与人感知 颜色的结果一一对应，因此，HSI模型常应用于图像表示和处理。具体流程如下：
(1)图像中某一像素点(x,y)在HSI彩色空间中表示出来，HSI分别代表色调H(x,y)、饱和度S(x,y)和强度I(x,y)；
(2)计算风景图类型的图像的物理元素所含有的数量，计算公式如下：
其中，LS(x,y)表示图像中像素点(x,y)在图像中是否属于风景元素，如果为1，表示属于风景类像素；为0，则表示不属于风景类像素；
(3)计算出风景图类物理元素占整个图像像素总数的比例，并与设定的阈值δ比较，如果这一比例大于该阈值，则判定该图像Img属于风景类图像，否则进行步骤(D)的处理；具体公式如下：
其中，TLS表示图像中属于风景类像素的总的数量，η表示该图像风景类像素的比例，h和w表示图像的高度和宽度，Img表示图像。
3.根据权利要求1所述的深度图提取方法，其特征在于，其中在步骤(C)，由于风景图类的图像里的景物很多是从上到下符合由远及近的规则，因此可以按如下步骤实施：
(1)先对风景图自上而下进行深度梯度的预先赋值，其公式如下：
B＝255-klog(h)
其中，Dglobal(x,y)表示全局深度梯度，Xg_min表示“大地”区域的行像素的最小值，也就是在图像中“大地”区域离图像底部的最大处，h为图像的高度，C和 k是常量；
(2)图像中某一像素点在RGB彩色空间中表示出来，RGB分别代表红色、绿色和蓝色；同时，将图像在HSI彩色空间、RGB彩色空间中分成不同的语义区域,分割的公式如下：
Ground:80≤S(x,y)≤255&&20≤H(x,y)≤100
其中对于“天空”区域，只需满足a,b,c,d条件之一即可，并按照自上而下的方法对其赋不同的灰度值，其中，天空的灰度值赋0，其他的灰度值赋值为128，大地的灰度值赋255；
(3)通过语义线索的深度信息和全局深度梯度的深度图，提取出一种线性融合的深度图，公式如下：
Dls＝αDglobal+βDc
其中，Dls表示风景图类型图像的融合深度图，Dglobal和Dc分别表示全局深度梯度的深度图和根据语义线索的深度图，α和β是和为1的加权常数。
4.根据权利要求1所述的深度图提取方法，其特征在于，在步骤(D)中，对图像进行分类时，为了检测出图像中主要的直线，先采用Sobel边缘检测算子对图像进行检测得到图像的边缘图，即二值图，然后再进行霍夫变换，其具体步骤如下：
(1)首先将图像由彩色图转换为灰度图并用Sobel边缘接触算子检测，并得到二值化的边缘图像；
(2)对边缘检测后的二值图像进行霍夫变换，检测出图像里面的直线段，并根据一定的阈值比例选出其中的主要直线，如果不存在主要直线，则将图像分类为特写镜头类的图像；
(3)如果存在主要的直线，计算出主要直线的交叉点，以及这些交叉点之间的距离关系，如果该距离大于一定的阈值，则将图像分类为特写镜头类的图像，否则将其归类为线性透视图类型的图像。
5.根据权利要求1所述的深度图提取方法，其特征在于，在步骤(E)中，首先对图像进行显著性检测，显著性检测目的是寻求一幅图像的显著性区域，被称之为显著性区域就是指图像中最能引起人们注意的一些区域，因此可以用于提取出前景的目标，具体步骤是：
(1)假设图像F中的每一个像素点x的特征为F(x)，F(x)∈QF(x)，QF(x)是包含不同特征的特征空间，F(x)是RGB彩色空间R、G、B通道及亮度的任意特征之一，用一个矩形的窗口W并将其分成内核部分K和外边界部分B，假定K是显著的而B是背景，矩形W内的随机变量Z，则显著性公式如下：
S0(x)＝P(Z∈K|F(Z)∈QF(x))
如果S0(x)接近于数值1，那么x像素是在特征QF(x)下是显著的；
(2)基于贝叶斯公式P(A|B)＝P(B|A)P(A)/P(B)和假设H0:Z∈K,H1:Z∈B,F(x):F(Z)∈QF(x)，则显著性公式化为：
同时在均匀分布的K和B上的条件概率分布为p(x)＝p0/|K|，x∈K；
p(x)＝(1-p0)/|B|，x∈B，那么在K上的条件概率为：
同样，在B上的条件概率记为：
hB(x)＝P(F(x)|H1)，显著性化为：
(3)K和B上的条件概率的规则化：通过高斯函数和将K和B上的条件概率化为：
和hB,α，再根据x的特征F(x)在CIELab彩色空间 中F(x)＝(L(x),a(x),b(x))的形式，显著性公式化为：
(4)通过将能量函数最小化，计算出最后的显著性图，然后二值化显著图以提取出前景图Ds，再与相应的全局深度图Dg、灰度图Dy线性融合为特写镜头的深度图，公式如下：
Df＝αDg+βDs+(1-α-β)Dy
其中，显著图为s＝(s1,...,sN)，sN为第N个像素的显著性，c＝(c1,...,cN)表示图像且cn＝(Ln,an,bn)是CIELab彩色空间的向量，σ＝(σ1,...,σN)是显著性的二值化标记值，σn∈{0,1}，σn是1表示为第n个像素是显著的，E1(σ,c,s)是能量函数，US用于削弱被标记为显著的非显著像素，UC用于加强被标记为非显著的显著像素，V用于支持空间连续性的函数。
6.根据权利要求1所述的深度图提取方法，其特征在于，其中在步骤(F)，由于各种场景中大量存在着消失线和消失点；基于消失点是图像中最远的像素点的假设，本发明先建立一个深度梯度模型以估计深度值；
(1)先将步骤(D)中的彩色图转换为灰度图；
(2)用Sobel边缘检测算子检测灰度图中的边缘，并将得到的边缘图进行二值化处理；
(3)利用霍夫变换检测步骤(2)图像中存在的直线段；
(4)选出直线段最长的两条线段作为消失线，将图像分成四个平面，交叉线上面和下面的作为垂直梯度平面，交叉线左边和右边的作为水平梯度平面，
(5)图像中某个像素根据其与消失点之间的距离计算出相应的深度值，具体公式如下：
水平梯度平面：
垂直梯度平面：
其中，分别表示在图像的垂直方向和水平方向上与消失点最大的距离，xVP和yVP是消失点的坐标位置，D(x,y)是位置点(x,y)处的灰度值；
(6)最后与YCrCb彩色空间的Cr、Cb通道的图像进行加权融合得到此类图像的深度图。
7.根据权利要求1所述的深度图提取方法，其特征在于，物理元素包括天空、大地和/或其他。
8.根据权利要求4所述的深度图提取方法，其特征在于，一定的阈值比例是指采用图像对角线的长度值的四分之一。
9.根据权利要求3所述的深度图提取方法，其特征在于，步骤(2)中的语义区域为天空、大地和/或其他。
10.根据权利要求7、8或9任一所述的深度图提取方法，其特征在于，其他是指除天空、大地之外的情况。
CN201710430239.6A 2017-06-09 2017-06-09 一种基于显著性检测的深度图提取方法 Active CN107507206B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710430239.6A CN107507206B (zh) 2017-06-09 2017-06-09 一种基于显著性检测的深度图提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710430239.6A CN107507206B (zh) 2017-06-09 2017-06-09 一种基于显著性检测的深度图提取方法

Publications (2)

Publication Number Publication Date
CN107507206A true CN107507206A (zh) 2017-12-22
CN107507206B CN107507206B (zh) 2021-08-20

Family

ID=60679345

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710430239.6A Active CN107507206B (zh) 2017-06-09 2017-06-09 一种基于显著性检测的深度图提取方法

Country Status (1)

Country Link
CN (1) CN107507206B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108508023A (zh) * 2018-03-30 2018-09-07 深圳市益鑫智能科技有限公司 一种铁路接触网中接触端部顶紧螺栓的缺陷检测系统
CN108550167A (zh) * 2018-04-18 2018-09-18 北京航空航天大学青岛研究院 深度图像生成方法、装置及电子设备
CN110223296A (zh) * 2019-07-08 2019-09-10 山东建筑大学 一种基于机器视觉的螺纹钢表面缺陷检测方法及系统
CN110378945A (zh) * 2019-07-11 2019-10-25 Oppo广东移动通信有限公司 深度图处理方法、装置和电子设备
CN110458797A (zh) * 2019-06-18 2019-11-15 南开大学 一种基于深度图过滤器的显著性物体检测方法
CN110838131A (zh) * 2019-11-04 2020-02-25 网易（杭州）网络有限公司 自动抠图的实现方法、装置、电子设备以及介质
CN112104856A (zh) * 2020-11-18 2020-12-18 基腾(成都)科技有限公司 低复杂度二维影像视讯转换成三维影像视讯的方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102802005A (zh) * 2011-04-26 2012-11-28 李国君 三维视频内容产生方法
CN103220539A (zh) * 2012-01-21 2013-07-24 瑞昱半导体股份有限公司 图像深度产生装置及其方法
CN106331680A (zh) * 2016-08-10 2017-01-11 清华大学深圳研究生院 一种手机端2d转3d自适应云卸载方法和系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102802005A (zh) * 2011-04-26 2012-11-28 李国君 三维视频内容产生方法
CN103220539A (zh) * 2012-01-21 2013-07-24 瑞昱半导体股份有限公司 图像深度产生装置及其方法
CN106331680A (zh) * 2016-08-10 2017-01-11 清华大学深圳研究生院 一种手机端2d转3d自适应云卸载方法和系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HAO DONG ET.AL: "An automatic depth map generation method by image classification", 《2015 IEEE INTERNATIONAL CONFERENCE ON CONSUMER ELECTRONICS (ICCE)》 *
SHOUYI YIN ET.AL: "A Novel 2D-to-3D Video Conversion Method Using Time-Coherent Depth Maps", 《SENSORS 2015》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108508023A (zh) * 2018-03-30 2018-09-07 深圳市益鑫智能科技有限公司 一种铁路接触网中接触端部顶紧螺栓的缺陷检测系统
CN108508023B (zh) * 2018-03-30 2021-06-04 苏州阚创检测有限公司 一种铁路接触网中接触端部顶紧螺栓的缺陷检测系统
CN108550167A (zh) * 2018-04-18 2018-09-18 北京航空航天大学青岛研究院 深度图像生成方法、装置及电子设备
CN110458797A (zh) * 2019-06-18 2019-11-15 南开大学 一种基于深度图过滤器的显著性物体检测方法
CN110223296A (zh) * 2019-07-08 2019-09-10 山东建筑大学 一种基于机器视觉的螺纹钢表面缺陷检测方法及系统
CN110223296B (zh) * 2019-07-08 2021-06-11 山东建筑大学 一种基于机器视觉的螺纹钢表面缺陷检测方法及系统
CN110378945A (zh) * 2019-07-11 2019-10-25 Oppo广东移动通信有限公司 深度图处理方法、装置和电子设备
CN110838131A (zh) * 2019-11-04 2020-02-25 网易（杭州）网络有限公司 自动抠图的实现方法、装置、电子设备以及介质
CN110838131B (zh) * 2019-11-04 2022-05-17 网易（杭州）网络有限公司 自动抠图的实现方法、装置、电子设备以及介质
CN112104856A (zh) * 2020-11-18 2020-12-18 基腾(成都)科技有限公司 低复杂度二维影像视讯转换成三维影像视讯的方法

Also Published As

Publication number Publication date
CN107507206B (zh) 2021-08-20

Similar Documents

Publication Publication Date Title
CN107507206B (zh) 一种基于显著性检测的深度图提取方法
US9426449B2 (en) Depth map generation from a monoscopic image based on combined depth cues
CN104850850B (zh) 一种结合形状和颜色的双目立体视觉图像特征提取方法
Recky et al. Windows detection using k-means in cie-lab color space
CN105005766B (zh) 一种车身颜色识别方法
CN108537782B (zh) 一种基于轮廓提取的建筑物图像匹配与融合的方法
CN109086724B (zh) 一种加速的人脸检测方法及存储介质
CN104517095B (zh) 一种基于深度图像的人头分割方法
CN109033972A (zh) 一种目标检测方法、装置、设备及存储介质
Nedović et al. Stages as models of scene geometry
CN105184808B (zh) 一种光场图像前后景自动分割方法
KR20090084563A (ko) 비디오 영상의 깊이 지도 생성 방법 및 장치
CN102609950B (zh) 一种二维视频深度图的生成方法
CN105184308B (zh) 一种基于全局优化决策的遥感图像建筑物检测分类方法
Küchhold et al. Scale-adaptive real-time crowd detection and counting for drone images
CN102663723A (zh) 一种基于颜色样本与电场模型的图像分割方法
CN108038458B (zh) 基于特征摘要图的视频中的户外场景文本自动获取方法
CN110516629A (zh) 一种基于多云层特征的云层检测及分类方法
CN108154150A (zh) 一种基于背景先验的显著性检测方法
CN113095332B (zh) 一种基于特征学习的显著性区域检测方法
Tao et al. An efficient neural network based indoor-outdoor scene classification algorithm
CN106446832B (zh) 一种基于视频的实时检测行人的方法
CN107122714B (zh) 一种基于边缘约束的实时行人检测方法
CN106203447B (zh) 一种基于像素遗传的前景目标提取方法
CN106340038B (zh) 一种基于单目图像中物体的深度次序推理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant