CN107103620B - 一种基于独立相机视角下空间采样的多光编码相机的深度提取方法 - Google Patents
一种基于独立相机视角下空间采样的多光编码相机的深度提取方法 Download PDFInfo
- Publication number
- CN107103620B CN107103620B CN201710247657.1A CN201710247657A CN107103620B CN 107103620 B CN107103620 B CN 107103620B CN 201710247657 A CN201710247657 A CN 201710247657A CN 107103620 B CN107103620 B CN 107103620B
- Authority
- CN
- China
- Prior art keywords
- depth
- camera
- point
- pixel point
- neighborhood
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005070 sampling Methods 0.000 title claims abstract description 22
- 238000000605 extraction Methods 0.000 title claims abstract description 15
- 238000000034 method Methods 0.000 claims abstract description 30
- 230000000007 visual effect Effects 0.000 claims abstract description 14
- 238000012360 testing method Methods 0.000 claims description 42
- 238000003384 imaging method Methods 0.000 claims description 19
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims 1
- 230000003287 optical effect Effects 0.000 abstract description 5
- 238000004364 calculation method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种基于独立相机视角下空间采样的多光编码相机的深度提取方法,应用于以多深度少纹理为基础的多视点采集和重建架构。本发明从独立的光编码深度相机视角出发,通过对采集场景进行空间分层采样的方式解决多光编码相机系统存在相互干扰的问题,从而获得无干扰的场景深度图。本发明与基于结构光及多视点立体的平面扫描方法相比,可有效降低多光编码相机间的干扰,在获得精确深度信息的同时能够更好地保留场景的形状信息,为三维场景重建提供高质量、高精度的深度图像。
Description
技术领域
本发明属于融合多深度信息的复杂场景采样与重建领域,特别涉及多光编码深度相机间的干扰消除与深度提取。
背景技术
近年来,随着数字电视技术和显示技术的不断发展,从多角度身临其境地观看场景的立体视频正逐渐成为人们的迫切需求。传统的2D视频由于缺少景物的深度信息,剥夺了观察者的视觉立体感受;而且人们不能根据自身的喜好编辑、操作视听对象,使用户失去了交互操作的权利。为了让观察者能够感知立体视觉效果,基于多视点的3D视频应运而生。本质上,2D与3D视频的区别就在于深度信息。由于3D视频蕴含丰富的深度信息,使其在自然场景的表征上更具立体感,进而增强了用户的自然感知能力。
由于深度图获取的难度大、精度差、价格高,传统的多视点数据采集系统大都是基于纹理相机的。2008年以前没有深度相机,人们通过立体匹配等估计方法间接地获取场景深度。这些方法不仅计算复杂度高难以实时,而且复杂场景下对于遮挡、纹理重复等区域的匹配结果不准确。2011年微软推出的光编码深度相机Kinect打破了这一格局。它给出了一种实时的场景深度图像提取方法;并且以低廉的价格和可开发性吸引着越来越多的计算机视觉研发人员。随着Kinect深度相机的广泛推广,使基于多深度的多视点视频研究和应用成为可能,并将具有巨大的发展和应用前景。
然而当多台Kinect同时工作在同一场景下时,由于不同红外投影机发射的散斑在空间内叠加,使每台Kinect在匹配时受到来自其它深度相机信号的干扰,无法区分自身的投影散斑,导致深度计算出现错误,从而严重地影响了深度图的进一步应用。这也是目前正在使用的光编码深度相机面临的致命问题。
研究人员在多光编码深度相机的干扰消除上尝试了许多方法。理论上,时分复用与频分复用都可以用来解决信号间干扰,但对于多光编码深度相机并不适用。时分复用需要严格的同步机制,很难被应用在大规模的采集系统中,而且对于运动场景的捕捉具有很大的困难;频分复用需要对不同的深度相机进行不同的频率定制,这很难在有限的红外频段下实现。基于结构光及多视点立体的平面扫描方法可以有效地减小多光编码深度相机间的干扰。通过考虑投影机与相机及相机与相机间的光强度相关性,该方法可以恢复任意视点下散斑重叠区域的深度信息,获得无干扰的深度图。但是由于相机约束条件的限制,在某些遮挡情况下被重建物体的形状会产生畸变。被遮挡处的物体深度与背景深度混淆,导致深度提取出现错误。基于以上分析,现有方法或多或少都存在一些不足。
发明内容
本发明的目的是为了解决现有技术的不足,提出一种基于独立相机视角下空间采样的多光编码相机的深度提取方法,目的在于消除多个光编码深度相机间的干扰,同时避免因相机约束条件所导致的被遮挡物体深度与背景深度混淆的问题,可以在多深度相机同时工作的情况下,获得准确的场景深度信息。
一种基于独立相机视角下空间采样的多光编码相机的深度提取方法,包括如下步骤:
(1)将某独立相机视角下的拍摄空间划分为若干深度测试平面;
(2)在某一确定的测试平面下,将该相机成像平面中的某一待测像素点重投影到各投影机的视点下;
(3)分别在各重投影像素点周围取邻域,估算这些邻域的线性组合与相机成像平面中待测像素点邻域相等时的线性权值;
(4)利用已求出的线性权值,计算重投影像素点邻域的线性组合与待测像素点邻域的相似度;
(5)为抵消干扰的影响,遍历所有测试平面,以具有最高相似度的深度为当前待测像素点的深度;
(6)遍历整个相机的成像平面,获得该深度相机视角下的无干扰的深度图。
优选地,所述步骤1)中,深度测试平面与该独立相机的成像平面平行。
优选地,所述步骤2)中,各投影机与相机事先已标定完成。
优选地,所述步骤3)中,利用最小二乘拟合的方法计算各线性权值系数。
优选地,所述步骤4)中,利用去均值互相关准则计算二者的邻域相似性。
本发明的优点在于:
(1)本方法实现的基于独立深度相机视角下空间采样的深度估计,可以正常提取场景的深度信息;
(2)本方法可以去除相机约束条件,避免因被遮挡物体深度与背景深度混淆而产生的深度计算错误;
(3)本方法可利用多组投影散斑获得高质量、高精度的场景深度图像,适用于精确的三维场景重建技术;
(4)本方法中多光编码深度相机间无需通信,降低了计算成本。
附图说明
图1是本发明的一种基于独立相机视角下空间采样的多光编码相机的深度提取方法的原理示意图;
图2是本发明的一种实施例的一种基于独立相机视角下空间采样的多光编码相机的深度提取方法中左相机拍摄到的场景图像;
图3是本发明的一种实施例的一种基于独立相机视角下空间采样的多光编码相机的深度提取方法中某待测像素点在所有深度测试平面下的相似度曲线;
图4是本发明的一种实施例的一种基于独立相机视角下空间采样的多光编码相机的深度提取方法中左相机生成的无干扰的深度图。
具体实施方式
下面将结合附图和实施例对本发明作进一步的详细说明。
本发明是一种基于独立相机视角下空间采样的多光编码相机的深度提取方法:首先将某独立相机视角下的拍摄空间划分为与深度成像平面平行的若干测试平面;其次,依据已知测试平面,将相机中待测像素点重投影到各投影机视点下。通过比较待测像素点邻域与各重投影像素点邻域线性组合的相似度,估计出待测像素点的深度值。其中,以具有最高相似度的深度作为当前待测像素点的深度值,而相似度的计算则采用去均值互相关的方式进行。最后,遍历相机成像平面的所有像素,获得该独立相机视角下的无干扰的深度图。具体实现步骤如下:
步骤一,对拍摄空间进行采样:
假设场景中包含M个红外投影机P1P2…PM及N个相机C1C2…CN。以某独立相机Ci为例,i∈{1,2,…,N},将该视角下的拍摄空间划分为与其深度成像平面平行的若干测试平面Z1Z2…ZL,其中Z1距离相机位置最近,ZL距离相机位置最远,并且这L个深度测试平面按等间隔的顺序排列,如图1所示。
步骤二,依据某一确定的测试平面,将待测像素点重投影到各个投影机视角:
取深度值为Zh的测试平面并给定相机Ci成像平面上的待测像素点x,h∈{1,2,…,L}。由于各投影机和相机事先已标定完成,它们各自的投影矩阵已知。记第j台投影机的投影矩阵为第i台相机的投影矩阵为利用这些已知的投影矩阵,可以将像素点x分别重投影到投影机P1P2…PM视角下。具体的重投影过程分为如下两步:
(1)将x重投影到深度测试平面Zh
假设X是待测像素点x重投影到深度测试平面Zh上的空间点的行向量坐标。由相机空间与场景空间的几何投影关系,可以得到空间点X与待测像素点x坐标间的关系(x同样以行向量坐标表示):
(2)将深度测试平面Zh上的点投影到各投影机视角
通过上述公式,可以获得在测试平面Zh下,深度相机中待测点x重投影到各投影机视角下的像素点的具体位置。
步骤三,取像素点周围邻域,估算各投影机内重投影点的线性加权系数:
其中,是对的估计,αj表示第j台投影机内重投影像素点邻域的加权系数,其值依赖于当前所选定的深度测试平面及待测物体表面取向等因素。注意到对于只被某些投影机所投影的区域来说,该公式同样适用。通过这种方式,可以很好地避免前景物体亮度与背景亮度混淆的问题,消除相机约束条件所带来的歧义性。
步骤四,计算重投影像素点邻域的线性组合与待测像素点邻域的相似度:
步骤五,逐个扫描所有测试平面,获得深度相机内待测像素点的深度值:
为了消除干扰的影响,遍历所有的测试平面,以具有最高相似度的深度作为相机Ci中待测像素点x的深度值,即:
Zd=argmaxh∈L{L(Zh)}
步骤六,遍历整个相机的成像平面,获得该相机视角下的深度图:
为了获得相机Ci视角下的深度图,需要遍历整个相机成像平面上的像素点,对每一个待测像素点依次重复步骤二到步骤五的操作并将所估算出的深度结果存储起来。最后,通过线性变换将求得的深度值转换为灰度值并生成相机Ci的深度图。
实施例
以下将结合附图,对本发明的一个实施例进行进一步详细说明。该实施例中,利用POV-Ray仿真软件在合成场景前摆放两台投影机与两台相机,它们的图像分辨率均为640*480。每台投影机均被放置在其所属相机左侧7.2cm处,这样的一组投影机相机组合构成一个光编码深度相机。为了简便,将两台光编码深度相机放置在同一水平线上并使它们平行地拍摄场景物体,同时设置这两台光编码深度相机之间的基线距离为25cm。
步骤一,对拍摄空间进行采样:
在具体实施过程中,两台投影机向场景中投射随机、时不变的散斑模板,而两台相机则同时接收被干扰散斑覆盖的场景物体。以左光编码深度相机为例,其相机拍摄到的场景如图2所示。将该相机视角下的拍摄空间划分为与其深度成像平面平行的250个测试平面Z1Z2…Z250,其中Z1距离相机为30cm,Z250距离相机位置为55cm,并且这250个深度测试平面按0.1cm精度等间隔的排列。
步骤二,依据某一确定的测试平面,将待测像素点重投影到各个投影机视角:
由于两台光编码深度相机事先已通过软件标定完成,它们各自包含的投影机及相机的投影矩阵已知。在软件中,规定仿真投影机与相机的测量单位为unit(1unit=5cm),并且它们的焦距均被设置为0.2units(即1cm)。此外,为了对像素坐标进行转换,规定1unit=3200pixels。
给定左相机成像平面上的某一待测像素点(250,90)(以像素为单位)并选取深度值为Z1的测试平面。首先通过重投影公式将待测像素点重投影到该深度测试平面下,得到重投影点的3D坐标为(-6.89,7.11,30.22)(以unit为单位)。其次,将该3D坐标分别映射到两台投影机的视角下,得到左投影机的投影点坐标为(280,90)(以像素为单位),右投影机的投影点坐标为(153,90)(以像素为单位)。这样便得到在测试平面Z1下,左相机中待测像素点(250,90)重投影到两台投影机视角下的重投影像素点的具体位置。
步骤三,取像素点周围邻域,估算各投影机内重投影点的线性加权系数:
分别提取左相机中待测像素点及其两个重投影像素点周围的邻域(分别记为IC、),邻域大小设置为11*11。根据待测点邻域与重投影点邻域线性组合的关系,有利用最小二乘拟合的方法,可以进一步估算出α1与α2的取值,分别记为和
步骤四,计算重投影像素点邻域的线性组合与待测像素点邻域的相似度:
依据步骤三中求得的与的值,得到在深度测试平面Z1下,两重投影像素点邻域的最佳线性组合利用去均值互相关准则(MRCC)计算与IC之间的相似程度,将结果记为L(Z1)并存储在内存中。L(Z1)的取值将作为判断Z1是否为待测像素点(250,90)真实深度的依据。
步骤五,逐个扫描所有测试平面,获得深度相机内待测像素点的深度值:
遍历所有250个深度测试平面,以具有最高MRCC相似度的深度作为待测像素点(250,90)的深度值。图3给出了在该待测点下,所有250个深度测试平面的相似度曲线。可以看出,深度平面Z2具有最高相似度值,故选取Z2作为像素点(250,90)的最终深度值。
步骤六,遍历整个相机的成像平面,获得该相机视角下的深度图:
对左相机图像平面内每一个待测像素点依次重复步骤二到步骤五的操作并将所估算出的深度结果存储起来。通过线性变换将求得的深度值转换为灰度值并生成无干扰的深度图,如图4所示。
Claims (7)
1.一种基于独立相机视角下空间采样的多光编码相机的深度提取方法,包括如下步骤:
(1)将某独立相机视角下的拍摄空间划分为若干深度测试平面;
(2)在某一确定的测试平面下,将该相机成像平面中的某一待测像素点重投影到各投影机的视点下;
具体包括:
取深度测试平面Zh并给定相机Ci成像平面上的待测像素点x,h∈{1,2,…,L},设各投影机和相机已标定完成,各自的投影矩阵已知,记第j台投影机的投影矩阵为第i台相机的投影矩阵为将像素点x分别重投影到投影机P1P2…PM视角下,具体的重投影过程分为如下两步:
(1)将x重投影到深度测试平面Zh
假设X是待测像素点x重投影到深度测试平面Zh上的空间点,由相机空间与场景空间的几何投影关系,得到空间点X与待测像素点x坐标间的关系:
通过上式计算出空间点X的坐标;
(2)将深度测试平面Zh上的点投影到各投影机视角
通过上式,获得在测试平面Zh下,深度相机中待测点x重投影到各投影机视角下的像素点的具体位置;
(3)分别在各重投影像素点周围取邻域,估算邻域的线性组合与相机成像平面中待测像素点邻域相等时的线性权值;
(4)利用已求出的线性权值,计算重投影像素点邻域的线性组合与待测像素点邻域的相似度;
(5)遍历所有测试平面,设置最高相似度的深度为当前待测像素点的深度;
(6)遍历整个相机的成像平面,获得该深度相机视角下的无干扰的深度图。
2.根据权利要求1所述的一种基于独立相机视角下空间采样的多光编码相机的深度提取方法,所述的步骤(1)中深度测试平面与该独立相机的成像平面平行,具体的:
假设场景中包含M个红外投影机P1P2…PM及N个相机C1C2…CN,对某个独立相机Ci,i∈{1,2,…,N},将该视角下的拍摄空间划分为与其深度成像平面平行的若干测试平面Z1Z2…ZL,其中Z1距离相机位置最近,ZL距离相机位置最远,并且这L个深度测试平面按等间隔的顺序排列。
3.根据权利要求1所述的一种基于独立相机视角下空间采样的多光编码相机的深度提取方法,所述的步骤(3)中,利用最小二乘拟合的方法计算各线性权值系数。
5.根据权利要求1所述的一种基于独立相机视角下空间采样的多光编码相机的深度提取方法,所述的步骤(4)采用去均值互相关准则计算重投影像素点邻域的线性组合与待测像素点邻域的相似度。
7.根据权利要求1所述的一种基于独立相机视角下空间采样的多光编码相机的深度提取方法,所述的步骤(5)中,遍历所有的测试平面,以具有最高相似度的深度作为相机Ci中待测像素点x的深度值,即:
Zd=argmaxh∈L{L(Zh)}
其中:Zd表示令L(Zh)取得最大值时的深度值,也即待测像素点x的最终深度值;深度测试平面为Zh。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710247657.1A CN107103620B (zh) | 2017-04-17 | 2017-04-17 | 一种基于独立相机视角下空间采样的多光编码相机的深度提取方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710247657.1A CN107103620B (zh) | 2017-04-17 | 2017-04-17 | 一种基于独立相机视角下空间采样的多光编码相机的深度提取方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107103620A CN107103620A (zh) | 2017-08-29 |
CN107103620B true CN107103620B (zh) | 2020-01-07 |
Family
ID=59675560
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710247657.1A Active CN107103620B (zh) | 2017-04-17 | 2017-04-17 | 一种基于独立相机视角下空间采样的多光编码相机的深度提取方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107103620B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108683918B (zh) * | 2018-04-26 | 2022-03-22 | 长春理工大学 | 基于彩色结构光的多源时序分层编码方法 |
CN113077505B (zh) * | 2021-04-19 | 2023-11-17 | 大连理工大学人工智能大连研究院 | 一种基于对比学习的单目深度估计网络的优化方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101354728A (zh) * | 2008-09-26 | 2009-01-28 | 中国传媒大学 | 一种基于区间权值的相似性度量方法 |
CN103561257A (zh) * | 2013-11-01 | 2014-02-05 | 北京航空航天大学 | 一种基于深度参考平面的无干扰的光编码深度提取方法 |
WO2016167814A1 (en) * | 2015-04-17 | 2016-10-20 | Pelican Imaging Corporation | Systems and methods for performing high speed video capture and depth estimation using array cameras |
CN106056622A (zh) * | 2016-08-17 | 2016-10-26 | 大连理工大学 | 一种基于Kinect相机的多视点深度视频复原方法 |
-
2017
- 2017-04-17 CN CN201710247657.1A patent/CN107103620B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101354728A (zh) * | 2008-09-26 | 2009-01-28 | 中国传媒大学 | 一种基于区间权值的相似性度量方法 |
CN103561257A (zh) * | 2013-11-01 | 2014-02-05 | 北京航空航天大学 | 一种基于深度参考平面的无干扰的光编码深度提取方法 |
WO2016167814A1 (en) * | 2015-04-17 | 2016-10-20 | Pelican Imaging Corporation | Systems and methods for performing high speed video capture and depth estimation using array cameras |
CN106056622A (zh) * | 2016-08-17 | 2016-10-26 | 大连理工大学 | 一种基于Kinect相机的多视点深度视频复原方法 |
Non-Patent Citations (1)
Title |
---|
基于全向图与编码结构光的深度信息提取方法研究与实现;周忠选;《中国优秀硕士学位论文全文数据库 信息科技辑》;20160815(第8期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN107103620A (zh) | 2017-08-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11354840B2 (en) | Three dimensional acquisition and rendering | |
CN108734776B (zh) | 一种基于散斑的三维人脸重建方法及设备 | |
CN110728671B (zh) | 基于视觉的无纹理场景的稠密重建方法 | |
CN101729920B (zh) | 一种自由视角立体视频显示方法 | |
US20130095920A1 (en) | Generating free viewpoint video using stereo imaging | |
CN107967697B (zh) | 基于彩色随机二元编码结构照明的三维测量方法和系统 | |
JP3524147B2 (ja) | 3次元画像表示装置 | |
CN102572486A (zh) | 立体视频的采集系统及方法 | |
US8577202B2 (en) | Method for processing a video data set | |
CN106170086B (zh) | 绘制三维图像的方法及其装置、系统 | |
WO2020075252A1 (ja) | 情報処理装置、プログラム及び情報処理方法 | |
JP5852093B2 (ja) | 映像処理装置、映像処理方法、プログラム | |
CN101916455A (zh) | 一种高动态范围纹理三维模型的重构方法及装置 | |
JPH05303629A (ja) | 形状合成方法 | |
WO2020184174A1 (ja) | 画像処理装置および画像処理方法 | |
Yamaguchi et al. | Computer generated hologram from full-parallax 3D image data captured by scanning vertical camera array | |
CN113643436A (zh) | 一种深度数据拼接融合方法及装置 | |
JP6285686B2 (ja) | 視差画像生成装置 | |
CN107103620B (zh) | 一种基于独立相机视角下空间采样的多光编码相机的深度提取方法 | |
CN114935316B (zh) | 基于光学跟踪与单目视觉的标准深度图像生成方法 | |
Ishihara et al. | Integrating both parallax and latency compensation into video see-through head-mounted display | |
CN104463958A (zh) | 基于视差图融合的三维超分辨率方法 | |
Knorr et al. | From 2D-to stereo-to multi-view video | |
JP6595878B2 (ja) | 要素画像群生成装置及びそのプログラム | |
Skuratovskyi et al. | Outdoor mapping framework: from images to 3d model |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |