CN111932601B - 一种基于YCbCr颜色空间光场数据的稠密深度重建方法 - Google Patents

一种基于YCbCr颜色空间光场数据的稠密深度重建方法 Download PDF

Info

Publication number
CN111932601B
CN111932601B CN202010766902.1A CN202010766902A CN111932601B CN 111932601 B CN111932601 B CN 111932601B CN 202010766902 A CN202010766902 A CN 202010766902A CN 111932601 B CN111932601 B CN 111932601B
Authority
CN
China
Prior art keywords
light field
color space
field data
pixel
ycbcr color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010766902.1A
Other languages
English (en)
Other versions
CN111932601A (zh
Inventor
邱钧
刘畅
陈平
史立根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
North University of China
Beijing Information Science and Technology University
Original Assignee
North University of China
Beijing Information Science and Technology University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by North University of China, Beijing Information Science and Technology University filed Critical North University of China
Publication of CN111932601A publication Critical patent/CN111932601A/zh
Application granted granted Critical
Publication of CN111932601B publication Critical patent/CN111932601B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于YCbCr颜色空间光场数据的稠密深度重建方法，该方法包括以下步骤：步骤1，获取YCbCr颜色空间光场数据；步骤2，在Y通道标记平滑区域；步骤3，在CbCr通道进行语义分割；步骤4，在Y通道进行区域匹配；步骤5，优化匹配视差，并计算场景深度。通过采用本发明提供的方法，能够在四维光场理论下实现高精度的深度重建。

Description

一种基于YcbCr颜色空间光场数据的稠密深度重建方法
技术领域
本发明涉及计算机视觉与数字图像处理领域，尤其涉及一种基于YCbCr颜色空间光场数据的稠密深度重建方法。
背景技术
光场包含光线的空间和角度信息，是对场景中光线的辐照度刻画，广泛应用于场景渲染、深度信息获取、计算摄影与三维重构。七维全光函数
Figure SMS_1
最早被提出用来形式化描述光场，描述了空间中任意时刻任意波长的光线辐照度信息。Levoy，Gortler等人提出了光场的双平面参数化表示，即四维光场L(x，y，u，v)。基于四维光场的理论，Ng和Levoy等人设计基于微透镜阵列采集系统的手持相机，实现了单次曝光下的四维光场数据采集和重聚焦成像。
由光场数据获取场景深度信息当前有三类方法。基于多视点像素匹配的深度获取方法，基于极线图的深度获取方法和基于聚焦堆栈深度获取方法。光场可以看作一组不同视点下的透视图，基于多视点像素匹配的深度获取方法通过像素匹配获取任意物点在所有视点下的视差信息。基于极线图的深度获取方法计算梯度方向或者尺度变换求极值得到极线图中直线的斜率。基于聚焦堆栈深度获取方法通过清晰度评价和聚焦堆栈的其它特性估计深度。
高精度的深度重建方法可用于光场相机的深度信息获取，以及为三维场景重构提供精确的深度信息。但是，现有技术中缺少高精度的深度重建方法。
发明内容
本发明的目的在于提供一种基于YCbCr颜色空间光场数据的稠密深度重建方法，为基于光场的数字重聚焦和三维场景重构提供高精度的深度信息。
为实现上述目的，本发明提供一种基于YCbCr颜色空间光场数据的稠密深度重建方法，该方法包括以下步骤：
步骤1，获取YCbCr颜色空间光场数据；
步骤2，在Y通道标记平滑区域；
步骤3，在CbCr通道进行语义分割；
步骤4，在Y通道进行区域匹配；
步骤5，优化匹配视差，并计算场景深度。
进一步地，步骤2包括：
步骤21，在Y通道上，计算以待匹配像素点为中心、预设面积的矩形窗口区域内各像素点的像素值的均方差值；
Figure SMS_2
式中，f表示矩形窗口区域内像素点的像素值，
Figure SMS_3
良示矩形窗口区域内像素点的像素值的平均值，N表示矩形窗口区域内像素点的个数；
步骤22，比较式(1)计算得到均方差值σ2与设定的平滑区域阈值ξ，σ2＜ξ时，则步骤21中的待匹配像素点被判定为平滑区域。
进一步地，步骤3具体包括：
步骤31，在YCbCr颜色空间光场数据的中心视图的CbCr通道通过区域生长二分法进行语义分割，此时场景被分成若干个色度块；
步骤32，遮挡发生在色度块的边缘，提取色度块的边缘，该边缘为边界遮挡区域。
进一步地，步骤31建立下式(2)提供的关于颜色距离和空间结构相关的区域生长能量函数Ek(x，y)：
Figure SMS_4
Figure SMS_5
当Ek(x，y)＜τ(x，y)，表示区域停止增长；
τ(x，y)＝(Cb(x，y)-Cbn)2+(Cr(x，y)-Crn)2 (4)
(Cbn，Crn)＝argminx，y||(x-xi)+(y-yi)||L2 (5)
式中，Cb(x，y)、Cr(x，y)分别表示像素点(x，y)的Cb值、Cr值，Dk表示第k个色度块，γ表示权重因子，
Figure SMS_6
表示Dk中的Cb，Cr的均值，
Figure SMS_7
表示中心视图的像素点(x，y)的梯度，Y(x+1，y)、Y(x-1，y)、Y(x，y+1)、Y(x，y-1)分别表示Y通道中坐标(x+1，y)、(x-1，y)、(x，y+1)、(x，y-1)的像素值，Cbn、Crn分别表示距离像素点(x，y)最近的背景点(xi，yi)的Cb，Cr值，τ(x，y)表示分割的阈值函数，||(x-xi)+(y-yi)||L2表示定义的像素点(x，y)与背景点(xi，yi)之间的距离。
进一步地，步骤4包括：
步骤41，定义基于区域匹配的距离测度函数；
步骤42，求解视差。
进一步地，步骤41中，使匹配窗口内只包含同一类型的色度块，设匹配点(x，y)的属于第k个色度块Dk，则匹配窗口描述为下式(8)：
Figure SMS_8
基于区域匹配的距离测度函数
Figure SMS_9
描述为式(9)：
Figure SMS_10
其中，H与wx，y都是大小为d的矩阵，
Figure SMS_11
表示二维高斯函数，d为匹配窗口的大小，
Figure SMS_12
表示中心视图中像素点(x，y)深度d(x+m，y+n)在视点(u0，v0)下的坐标，
Pu，v，Y(d(x+m+ux·s，y+n+vy·s))表示点(x，y)深度d(x+m+ux·s，y+n+vy·s)在视点(u，v)下的坐标，ux，vy分别为点(x，y)在视点(u，v)下在x方向和y方向的相邻视差s的倍数。
进一步地，步骤42采用线搜索求解初步视差图s*(x，y)：
Figure SMS_13
Figure SMS_14
式中，E(x，y)(s)表示为视差距离测度，Φ表示YCbCr颜色空间光场数据所有视点的集合，
Figure SMS_15
表示最小化视差距离测度反求出对应的相邻视点的视差，
Figure SMS_16
表示物点(x，y)在(u0，v0)和(u，v)两个视点下的视差。
进一步地，步骤5具体包括：
步骤51，对平滑区域处的初步视差图s*(x，y)进行优化；
步骤52，根据步骤51优化得到的视差图，计算场景的深度。
进一步地，步骤51采用式(12)优化得到视差图μ(X)：
Figure SMS_17
式中，
Figure SMS_18
为视差图μ(X)的梯度，λ为设定的权重系数，Ω表示步骤2标记的平滑区域。
通过采用本发明提供的方法，能够在四维光场理论下实现高精度的深度重建。
附图说明
当结合附图考虑时，通过参照下面的详细描述，能够更完整更好地理解本发明以及容易得知其中许多伴随的优点，但此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定，其中：
图1是本发明实施例提供的基于YcbCr颜色空间光场数据的稠密深度重建方法的流程图。
图2是光场中视差与深度的关系示意图。
图3是场景平滑区域的提取示意图。
图4a是语义分割中的种子点选取示意图。
图4b是语义分割中的背景点选取示意图。
图4c是根据图4a和图4b中的语义分割后的结果示意图。
图5a是灯罩所在区域示意图。
图5b是被灯罩遮挡的不可见的圆点所在的区域示意图。
图6是场景匹配窗口的选取示意图。
图7是本发明提供的方法重建场景的视差图。
具体实施方式
在附图中，使用相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。为使上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
术语解释：YcbCr是色彩空间的一种，通常会用于影片中的影像连续处理，或是数字摄影系统中。Y是指亮度分量，亮度描述物体纹理信息；Cb指蓝色色度分量，Cr指红色色度分量，色度描述物体颜色信息。YCbCr颜色空间将亮度参量和色度参量分开表示，可以避免相互干扰。
本发明提供的方法欲利用纹理和颜色信息，将RGB转化为YCbCr 4：4：4的形式，而并不涉及YCbCr图像的压缩存储处理。
如图1所示，本发明实施例提供的基于YCbCr颜色空间光场数据的稠密深度重建方法包括以下步骤：
步骤1，读取RGB颜色空间下的光场数据，并转化为YCbCr颜色空间下的光场数据，该光场数据在文中简称为“YCbCr颜色空间光场数据”。
步骤2，在YCbCr颜色空间光场数据的中心视图的Y通道标记平滑区域。
步骤3，在YCbCr颜色空间光场数据的中心视图的CbCr进行语义分割。
步骤4，在YCbCr颜色空间光场数据的Y通道进行区域匹配，求解视差。
步骤5，优化匹配视差，并计算场景深度。
在一个实施例中，步骤2包括：
步骤21，在Y通道上，计算以待匹配像素点为中心、预设面积的矩形窗口区域内各像素点的像素值的均方差值，如式(1)中左侧等号提供的计算公式。其中，待匹配像素点指中心视图中的每一个像素点，也就是说，本实施例需要对中心视图中的每个像素点进行匹配。待匹配像素点的像素值为其在Y通道的像素值。预设面积可以是7*7，也可以是5*5，还可以根据实际需求进行选取。
Figure SMS_19
式中，f表示矩形窗口区域内像素点的像素值，
Figure SMS_20
表示矩形窗口区域内像素点的像素值的平均值，N表示矩形窗口区域内像素点的个数，ξ表示设定的判断平滑区域的阈值，该阈值可以通过实验得到，比如0.2或其它数值。
步骤22，比较式(1)计算得到均方差值与设定的判断平滑区域的阈值ξ，如式(1)中右侧小于号提供的部分，在计算得到均方差值小于ξ的情形下，则步骤21中的待匹配像素点被判定为平滑区域，获得的平滑区域记为Ω。
步骤22提供的平滑区域的判断方法也可以采用下面方法实现：
比如：统计预设面积的矩形窗口内相同的像素与该窗口内全部像素的比例，如果占比多的话，该点则可以标记为平滑区域。
在一个实施例中，场景中的物体所在区域通常具有色度一致性，也具有深度一致性。也就是说，物体所在区域内的物点通常具有空间连续性、深度信息变化平滑。而物体边界点通常是场景深度的跳跃点，而且，其遮挡存在于物体的边界轮廓处。
具体地，遮挡区域分为遮挡物体区域与被遮挡物体区域。结合图5a和图5b，说明遮挡物体区域与被遮挡物体区域的区分原则：由于视点的坐标不同，导致场景中的一些物体在一部分视点下可见，另一部分视点下不可见，这些不可见视点的所在区域称为被遮挡物体区域，如图5b中示出的被灯罩遮挡的不可见的圆点所在的区域。相应地，遮挡被遮挡物体区域的区域为遮挡物体区域。如图5a示出的灯罩所在区域。
鉴于此，步骤3欲通过在YCbCr颜色空间光场数据的中心视图的CbCr进行语义分割，将场景分成若干个色度块，并提取色度块的边缘即为边界遮挡区域。作为步骤3的一种优选实现方式，其可以包括：
步骤31，在YCbCr颜色空间光场数据的中心视图的CbCr通道通过区域生长二分法进行语义分割，此时场景被分成若干个色度块。其中，场景指的是YCbCr颜色空间光场数据的中心视图。
具体的，在区域生长的基础上采用二分类方法解决阈值难确定的问题。确定种子点，该种子点一般选取在单个物体的中心。比如：图4a示出了三个六边形的物体，也就是说，步骤3是将种子点选取在每一个物体的几何中心，如图4a中的“十”字型标记。在物体的边界外选取背景点，如图4b示出的三个六边形的物体之外的区域中的圆圈。建立如下式(2)提供的关于颜色距离和空间结构相关的区域生长能量函数Ek(x，y)：
Figure SMS_21
式中，Cb(x，y)表示像素点(x，y)的Cb色度值，Cr(x，y)表示像素点(x，y)的Cr色度值，Dk表示第k个色度块，γ表示权重因子，其为具体实验，在Cb，Cr通道和梯度图进行归一化，其权重因子取值0.1；
Figure SMS_22
表示第k个色度块Dk中的Cb，Cr的均值，该值根据色度块Dk的坐标，在Cb或Cr通道上提取灰度值，该灰度值是Cb，Cr的色度值，然后将该色度块Dk所有的色度值相加，再除以该色度块Dk的像素的个数，则为可以获得
Figure SMS_23
的值；
Figure SMS_24
表示中心视图的像素点(x，y)的梯度，用于防止区域生长超越边界，表示为式(3)：
Figure SMS_25
式中，Y(x+1，y)表示Y通道中坐标(x+1，y)的像素值，Y(x-1，y)表示表示Y通道中坐标(x-1，y)的像素值，Y(x，y+1)表示表示Y通道中坐标(x，y+1)的像素值，Y(x，y-1)表示表示Y通道中坐标(x，y-1)的像素值。
分割的阈值函数表示为式(4)：
τ(x，y)＝(Cb(x，y)-Cbn)2+(Cr(x，y)-Crn)2 (4)
式中，Cbn、Crn分别表示距离像素点(x，y)最近的背景点(xi，yi)的Cb，Cr值，其计算公式为式(5)。
(Cbn，Crn)＝argminx，y||(x-xi)+(y-yi)||L2 (5)
当Ek(x，y)＜τ(x，y)，表示区域停止增长。图4c示出的是分割的结果，k＝3。
步骤32，遮挡发生在色度块的边缘，因此，提取色度块的边缘即为边界遮挡区域。通过边缘检测方法可以提取边缘信息，边缘检测方法比如：Canny，Roberts，Prewitt，Sobel等。
上述实施例中，步骤3中的语义分割方法还可以采用基于区域的语义分割R-CNN、全卷积网络语义分割、以及弱监督语义分割等等。
在一个实施例中，步骤4具体包括：
步骤41，在光场重建场景深度问题中，可将求解场景深度问题转化为求解视差问题。因此对于场景中的物点p，对应中心视图中的像素点(x，y)，其深度记为d(x，y)，该物点在(u0，v0)和(u，v)两个视点下的视差表示为式(6)：
Figure SMS_26
式中，在RGB颜色空间下color对应图像的R、G、B三个通道，Pu，v，color(d(x，y))为物点p在视点(u，v)下color通道亚光圈图像中的图像坐标，
Figure SMS_27
为物点p在视点(u0，v0)下color通道亚光圈图像中的图像坐标，
Figure SMS_28
表示物点p对应的中心视图的像素点(x，y)在视点(u，v)与视点(u0，v0)下的视差，|| ||表示2范数。
在自然场景，物体纹理信息主要由辐亮度描述，物体颜色信息主要由色度描述。在R、G、B三个通道做区域匹配近似于在纹理通道(Y通道)做区域匹配，消除匹配中的颜色计算冗余。于是，式(6)提供的视差可以定义为：
Figure SMS_29
式中，
Figure SMS_30
表示中心视图中像素点(x，y)深度d(x，y)在视点(u0，v0)下的坐标，Pu，v，Y(d(x，y))表示中心视图中像素点(x，y)深度d(x，y)在视点(u，v)下的坐标。
通过区域匹配代替单像素点匹配，来提高算法的鲁棒性。本实施例给出自适应匹配窗口，这样可以使匹配窗口内只包含同一类型的色度块，如图6所示，进而解决边界遮挡区域存在误匹配的问题。
设匹配点(x，y)的属于第k个色度块Dk，则匹配窗口可以描述如下：
Figure SMS_31
式中，σ的取值通过实验获得，比如1.5。设d＝3，其坐标表示如下表所示：
(-1，-1) (-1，0) (-1，1)
(0，-1) (0，0) (0，1)
(1，-1) (1，0) (1，1)
匹配窗口内的坐标与匹配点被相同的色度标记时，其值为高斯权重，非相同色度标记的为0。
根据式(8)，基于区域匹配的距离测度函数
Figure SMS_32
描述为式(9)：
Figure SMS_33
其中，H与wx，y都是大小为d的矩阵，
Figure SMS_34
表示二维高斯函数，d为匹配窗口的大小，
Figure SMS_35
表示中心视图中像素点(x，y)深度d(x+m，y+n)在视点(u0，v0)下的坐标，
Pu，v，Y(d(x+m+ux·s，y+n+vy·s))表示点(x，y)深度d(x+m+ux·s，y+n+vy·s)在视点(u，v)下的坐标，ux，vy分别为点(x，y)在视点(u，v)下在x方向和y方向的相邻视差s的倍数。
步骤42，求解视差方法包括：
在光场重建场景深度问题中，求解场景深度转化为极小化视差的问题。
Figure SMS_36
式中，E(x，y)(s)表示为视差距离测度，Φ表示YCbCr颜色空间光场数据所有视点的集合。
采用线搜索求解最优视差，即初步视差图s*(x，y)：
Figure SMS_37
在一个实施例中，步骤5具体包括：
步骤51，采用式(12)表示的全变分TV模型对平滑区域处的初步视差图s*(x，y)进行优化，通过TV模型可以起到平滑滤波的作用，还能较好的保证边缘结构。
Figure SMS_38
式中，(X)由(x，y)简化得到，μ(X)表示利用式(11)计算出的视差图s*(X)优化后得到的估计结果，
Figure SMS_39
为视差图μ(X)的梯度，λ为设定的权重系数，该取值判断依据在于初始视差图的稀疏性，即：如果初始视差图的平滑区域匹配的精度较高，则λ取值较大，接近1；如果初始视差图的平滑区域匹配的精度较低，则λ取值小于1，大于0.5。Ω表示标记的平滑区域。第一项为保真项，保证估计出的视差图与计算出的视差图之间的联系，第二项为平滑项，在视差图中起平滑作用。其最小化使得在对视差图进行平滑的同时，保证输入与输出结果之间差异性最小。
步骤51中，还可以采用曲率滤波或L0范数滤波等优化初步视差图。
步骤52，计算场景的深度。
如图2所示，在图2中，u1，u2为(u，v)平面上的视点，v为0，B为视点距离，A1为物点A对应的像素点，s为物点A在视点u1，u2下在(x，y)成像平面上的视差。
利用式(13)，将步骤51优化后的视差图μ(X)转换为深度图z，也就是说，光场相机单次曝光时，微透镜阵列与主透镜之间的距离F、聚焦面的深度Z0以及相邻视点之间的距离B皆为固定值，根据式(12)得到的视差μ(X)，其表示为式(13)中的μ，则可以计算得到深度Z：
Figure SMS_40
式(13)中，z0表示聚焦面的深度，F表示主透镜到成像面之间的距离，B表示相邻视点之间的距离，z表示空间场景的深度。
通过采用本发明提供的方法，能够在四维光场理论下实现高精度的深度重建。如图7的(a)、(b)、(c)、(d)这四项中，每一项的左侧是原场景示意图，右侧是利用本发明方法获得的相应视差图。
最后需要指出的是：以上实施例仅用以说明本发明的技术方案，而非对其限制。本领域的普通技术人员应当理解：可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (5)

1.一种基于YCbCr颜色空间光场数据的稠密深度重建方法，其特征在于，包括以下步骤：
步骤1，获取YCbCr颜色空间光场数据；
步骤2，在Y通道标记平滑区域；
步骤3，在CbCr通道进行语义分割；
步骤4，在Y通道进行区域匹配；
步骤5，优化匹配视差，并计算场景深度；
步骤2包括：
步骤21，在Y通道上，计算以待匹配像素点为中心、预设面积的矩形窗口区域内各像素点的像素值的均方差值；
Figure FDA0004196532770000011
式中，f表示矩形窗口区域内像素点的像素值，
Figure FDA0004196532770000012
表示矩形窗口区域内像素点的像素值的平均值，N表示矩形窗口区域内像素点的个数；
步骤22，比较式(1)计算得到均方差值σ2与设定的平滑区域阈值ξ，σ2<ξ时，则步骤21中的待匹配像素点被判定为平滑区域；
步骤3具体包括：
步骤31，在YCbCr颜色空间光场数据的中心视图的CbCr通道通过区域生长二分法进行语义分割，此时场景被分成若干个色度块；
步骤32，遮挡发生在色度块的边缘，提取色度块的边缘，该边缘为边界遮挡区域；
步骤4包括：
步骤41，定义基于区域匹配的距离测度函数；
步骤42，求解视差；
步骤5具体包括：
步骤51，对平滑区域处的初步视差图s*(x，y)进行优化；
步骤52，根据步骤51优化得到的视差图，计算场景的深度。
2.如权利要求1所述的基于YCbCr颜色空间光场数据的稠密深度重建方法，其特征在于，步骤31建立下式(2)提供的关于颜色距离和空间结构相关的区域生长能量函数Ek(x，y)：
Figure FDA0004196532770000021
Figure FDA0004196532770000022
当Ek(x，y)＜τ(x，y)，表示区域停止增长；
τ(x，y)＝(Cb(x，y)-Cbn)2+(Cr(x，y)-Crn)2 (4)
(Cbn，Crn)＝argminx，y||(x-xi)+(y-yi)||L2 (5)
式中，Cb(x，y)、Cr(x，y)分别表示像素点(x，y)的Cb值、Cr值，Dk表示第k个色度块，γ表示权重因子，
Figure FDA0004196532770000023
表示Dk中的Cb，Cr的均值，
Figure FDA0004196532770000024
表示中心视图的像素点(x，y)的梯度，Y(x+1，y)、Y(x-1，y)、Y(x，y+1)、Y(x，y-1)分别表示Y通道中坐标(x+1，y)、(x-1，y)、(x，y+1)、(x，y-1)的像素值，Cbn、Crn分别表示距离像素点(x，y)最近的背景点(xi，yi)的Cb，Cr值，τ(x，y)表示分割的阈值函数，||(x-xi)+(y-yi)||L2表示定义的像素点(x，y)与背景点(xi，yi)之间的距离。
3.如权利要求1所述的基于YCbCr颜色空间光场数据的稠密深度重建方法，其特征在于，步骤41中，使匹配窗口内只包含同一类型的色度块，设匹配点(x，y)的属于第k个色度块Dk，则匹配窗口描述为下式(8)：
Figure FDA0004196532770000025
基于区域匹配的距离测度函数
Figure FDA0004196532770000026
描述为式(9)：
Figure FDA0004196532770000027
其中，H与wx，y都是大小为d的矩阵，
Figure FDA0004196532770000031
表示二维高斯函数，d为匹配窗口的大小，
Figure FDA0004196532770000032
表示中心视图中像素点(x，y)深度d(x+m，y+n)在视点(u0，v0)下的坐标，
Pu，v，Y(d(x+m+ux·s，y+n+vy·s))表示点(x，y)深度d(x+m+ux·s，y+n+vy·s)在视点(u，v)下的坐标，ux，vy分别为点(x，y)在视点(u，v)下在x方向和y方向的相邻视差s的倍数。
4.如权利要求3所述的基于YCbCr颜色空间光场数据的稠密深度重建方法，其特征在于，步骤42采用线搜索求解初步视差图s*(x，y)：
Figure FDA0004196532770000033
Figure FDA0004196532770000034
式中，E(x，y)(s)表示为视差距离测度，Φ表示YCbCr颜色空间光场数据所有视点的集合，
Figure FDA0004196532770000035
表示最小化视差距离测度反求出对应的相邻视点的视差，
Figure FDA0004196532770000036
表示物点(x，y)在(u0，v0)和(u，v)两个视点下的视差。
5.如权利要求1所述的基于YCbCr颜色空间光场数据的稠密深度重建方法，其特征在于，步骤51采用式(12)优化得到视差图μ(X)：
Figure FDA0004196532770000037
式中，
Figure FDA0004196532770000038
为视差图μ(X)的梯度，λ为设定的权重系数，Ω表示步骤2标记的平滑区域。
CN202010766902.1A 2019-09-27 2020-08-03 一种基于YCbCr颜色空间光场数据的稠密深度重建方法 Active CN111932601B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910924454 2019-09-27
CN2019109244540 2019-09-27

Publications (2)

Publication Number Publication Date
CN111932601A CN111932601A (zh) 2020-11-13
CN111932601B true CN111932601B (zh) 2023-06-06

Family

ID=73306429

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010766902.1A Active CN111932601B (zh) 2019-09-27 2020-08-03 一种基于YCbCr颜色空间光场数据的稠密深度重建方法

Country Status (1)

Country Link
CN (1) CN111932601B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110827338B (zh) * 2019-10-31 2022-08-16 山东黄河三角洲国家级自然保护区管理委员会 一种分区域自适应匹配的光场数据深度重建方法
CN112669355B (zh) * 2021-01-05 2023-07-25 北京信息科技大学 基于rgb-d超像素分割的聚焦堆栈数据拼接融合的方法及系统
CN113192046B (zh) * 2021-05-14 2022-03-25 中北大学 一种径向分布函数图自动识别方法
CN114266803A (zh) * 2021-12-21 2022-04-01 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN115307577B (zh) * 2022-08-09 2024-09-13 中北大学 一种目标三维信息测量方法和系统
CN116721142B (zh) * 2023-08-10 2023-10-20 山东黄河三角洲国家级自然保护区管理委员会 基于区域匹配正则化的由光场数据估计视差的方法及应用

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011081646A1 (en) * 2009-12-15 2011-07-07 Thomson Licensing Stereo-image quality and disparity/depth indications
CN106023189A (zh) * 2016-05-17 2016-10-12 北京信息科技大学 一种基于匹配优化的光场数据深度重建方法
CN108230223A (zh) * 2017-12-28 2018-06-29 清华大学 基于卷积神经网络的光场角度超分辨率方法及装置
CN108615221A (zh) * 2018-04-10 2018-10-02 清华大学 基于剪切二维极线平面图的光场角度超分辨率方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8472699B2 (en) * 2006-11-22 2013-06-25 Board Of Trustees Of The Leland Stanford Junior University Arrangement and method for three-dimensional depth image construction

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011081646A1 (en) * 2009-12-15 2011-07-07 Thomson Licensing Stereo-image quality and disparity/depth indications
CN106023189A (zh) * 2016-05-17 2016-10-12 北京信息科技大学 一种基于匹配优化的光场数据深度重建方法
CN108230223A (zh) * 2017-12-28 2018-06-29 清华大学 基于卷积神经网络的光场角度超分辨率方法及装置
CN108615221A (zh) * 2018-04-10 2018-10-02 清华大学 基于剪切二维极线平面图的光场角度超分辨率方法及装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Light Field Reconstruction Using Deep Convolutional Network on EPI;Gaochang Wu 等;《2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)》;6319-6327 *
基于4D光场数据的深度信息获取;陈佃文;《中国优秀硕士学位论文全文数据库 信息科技辑》(第8期);I138-1349 *
基于YCbCr 光场数据的视差重建算法;史立根 等;《激光与光电子学进展》;第59卷(第2期);0211002-1：12 *
采用桌面视觉系统实现深度测量的方法;刘曦 等;《激光与光电子学进展》;121501-1:9 *

Also Published As

Publication number Publication date
CN111932601A (zh) 2020-11-13

Similar Documents

Publication Publication Date Title
CN111932601B (zh) 一种基于YCbCr颜色空间光场数据的稠密深度重建方法
CN107862698B (zh) 基于k均值聚类的光场前景分割方法及装置
CN111127318B (zh) 一种机场环境下的全景图像拼接方法
CN107277491B (zh) 生成图像的深度图的方法及相关存储介质
US8494297B2 (en) Automatic detection and mapping of symmetries in an image
CN113192179B (zh) 一种基于双目立体视觉的三维重建方法
WO2018082185A1 (zh) 图像处理方法和装置
CN111107337B (zh) 深度信息补全方法及其装置、监控系统和存储介质
CN110853151A (zh) 一种基于视频的三维立体点集恢复方法
US9401027B2 (en) Method and apparatus for scene segmentation from focal stack images
CN106023189B (zh) 一种基于匹配优化的光场数据深度重建方法
CN106530336B (zh) 基于色彩信息和图割理论的立体匹配方法
CN106257537B (zh) 一种基于光场信息的空间深度提取方法
CN108462866A (zh) 一种基于匹配和优化的3d立体图像颜色校正方法
CN105701813A (zh) 一种光场图像的显著性检测方法
Steffens et al. Deep learning based exposure correction for image exposure correction with application in computer vision for robotics
CN110188640B (zh) 人脸识别方法、装置、服务器和计算机可读介质
CN106415596B (zh) 基于分割的图像变换
CN110827338B (zh) 一种分区域自适应匹配的光场数据深度重建方法
CN111630569B (zh) 双目匹配的方法、视觉成像装置及具有存储功能的装置
Zheng et al. Color correction for stereoscopic image based on matching and optimization
CN115239886A (zh) 一种遥感uav-mvs影像点云数据处理方法、装置、设备及介质
CN110490877B (zh) 基于Graph Cuts的双目立体图像对目标分割方法
Alasal et al. Improving passive 3D model reconstruction using image enhancement
CN111862184A (zh) 一种基于极面图像颜色差异的光场相机深度估测系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant