CN106952299B - 一种适用于智能移动设备的三维光场技术实现方法 - Google Patents

一种适用于智能移动设备的三维光场技术实现方法 Download PDF

Info

Publication number
CN106952299B
CN106952299B CN201710150006.0A CN201710150006A CN106952299B CN 106952299 B CN106952299 B CN 106952299B CN 201710150006 A CN201710150006 A CN 201710150006A CN 106952299 B CN106952299 B CN 106952299B
Authority
CN
China
Prior art keywords
image
point
camera
characteristic point
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710150006.0A
Other languages
English (en)
Other versions
CN106952299A (zh
Inventor
朴永日
张淼
仲昭龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian University of Technology
Original Assignee
Dalian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian University of Technology filed Critical Dalian University of Technology
Priority to CN201710150006.0A priority Critical patent/CN106952299B/zh
Publication of CN106952299A publication Critical patent/CN106952299A/zh
Application granted granted Critical
Publication of CN106952299B publication Critical patent/CN106952299B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20068—Projection on vertical or horizontal image axis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种适用于智能移动设备的三维光场技术实现方法，首先提出了对于旋转及尺度变换具有很强鲁棒性的ORB特征提取方法，利用穷举匹配算法来估计智能移动设备的移动轨迹。由于ORB特征不仅可靠性高，计算速度相对于当前其他主流特征提取算法有着很大的优势，因此实现智能移动设备的轨迹标定能满足实时处理的要求。最后，标定智能移动设备的相对位置后，本发明提出了单相机成像光路可逆算法重建三维光场信息，重建的过程是基元图像之间的位移叠加过程，无需传统光场重建方式的尺度变化过程，这使得重建速度进一步提高。本发明不仅具有对成像设备要求低、成像规则灵活等特点，而且适应于当前所有主流智能移动设备上三维光场技术的实现。

Description

一种适用于智能移动设备的三维光场技术实现方法
技术领域
本发明涉及到计算机视觉、三维成像及光场技术领域。具体涉及一种利用智能移动设备记录真实复杂三维场景，并进行光场重建的方法。
背景技术
光场成像的雏形可以追溯到1903年Ives发明的双目视差显示系统中运用的针孔成像技术，通过在主透镜的像面处放置针孔面阵列，从而使原像面处的光辐射按角度进行重分布后记录在光探测器上，避免了视差信息的丢失。1908年，Lippman发明集成照相术(integral photography，IP)，后来被广泛运用于三维全息成像。通过用微透镜阵列代替针孔面阵列，在底片上接收到有微小差别的一系列基元图像，有效地消除了Ives装置中的弥散斑。
Gershun在1936年提出光场的概念，将其定义为光辐射在空间各个位置向各个方向的传播。他认为，到达空间不同点处的光辐射量连续变化，能够通过几何分析进而积分的方法来计算像面上每点的光辐射量。但是，由于计算量庞大，能够进行高次运算的计算机尚未出现，所以当时未能对其理论进行验证。20世纪六七十年代，Okoshi、Dudnikov、Dudley、Montebello等学者对集成成像技术进行了不断的改进，微透镜阵列在成像方面的作用也得以凸显。随着计算机技术的不断发展和微透镜制作精度的提高，Adelson于1992年将光场理论成功运用到计算机视觉，并提出全光场理论(Plenoptic theory)。
基于微透镜阵列传统方式获取的光场信息，因微透镜的孔径和焦距等物理局限，在视角和空间分辨率等方面有着很大的缺陷。针对这一缺点，研究人员提出了合成孔径集成成像技术，它是通过排列在空间的相机阵列，可同时记录一系列具有视差信息的基元图像，以此来重构出光场数据。其经典的模型有：斯坦福大学的128相机阵列，采用不同空间排列，能够获得一些异于普通相机的特性，包括空间分辨率、动态范围、景深、帧速、光谱敏感性等。其中大尺度空间排布的相机阵列主要用于合成孔径成像实现“透视”监测，或通过拼接实现大视角全景成像，而紧密排布型则主要用于获取高性能的动态场景。然而，采用相机阵列获取光场信息的缺点是成像设备复杂、笨重和高成本。此后，Isaksen提出了一种单相机扫描系统，是通过相机在空间中特定轨迹精密移动获取光场信息，具有结构简单、便捷、成本低等优点。然而，基于智能移动设备上的单相机扫描系统在实际记录过程中无法实现精确的移动轨迹，所采集的每一帧基元图像间的相对位置未经过标定，还存在不同程度的物理偏差。这些问题，在实际智能移动设备上实现光场信息的采集和重建是一个很大的挑战。
发明内容
为解决现有技术存在的上述问题，本发明要设计一种能在实际记录过程中实现移动轨迹的精确计算，并减少物理偏差的适用于智能移动设备的三维光场技术实现方法。
为了实现上述目的，本发明的技术方案如下：一种适用于智能移动设备的三维光场技术实现方法，包括以下步骤：
A、采集元素图像
利用智能移动设备对场景随机拍摄10～20幅图像形成图像阵列；
B、基于ORB算法提取图像特征点
ORB为Oriented FAST and Rotated BRIEF的简称；
B1、提取图像特征点
B11、对图像进行粗提取：在图像上任意选取一点p，以点p为中心画一个半径为r的圆并命名为特征点圆周，比较点p与圆周上的灰度值，如存在连续有n个点的灰度值大于点p的灰度值，则认为点p是图像特征点；
B12、使用ID3算法即迭代二叉树3代算法训练一个决策树，将特征点圆周上的像素输入决策树中，以此筛选出最优的FAST图像特征点；针对筛选出的图像特征点采用非极大值抑制去除局部较密集图像特征点；
B13、建立金字塔模型实现尺度不变性；
B14、使用矩法即momen法决定FAST图像特征点的方向，使得ORB算法具有方向不变性；
B2、描述图像特征点
使用BRIEF算法得到的是一个二进制的描述符，在一个图像特征点的邻域内选择w个像素点对pi,qi,i＝1,2,…,w，比较每个象素点对的灰度值的大小；如果
I(pi)>I(qi)
则生成二进制串中的1，否则为0；式中，I表示一幅图像，I(p)就是像素点p处的像素值；对所有图像特征点进行比较，生成长度为l的二进制串；为了使BRIEF图像特征描述算法具有更强的抗噪性，采用统计学习策略选择点对集合，具体步骤如下：
B21、建立300k个图像特征点的测试集，对测试集中每个图像特征点考虑其31×31邻域，在300k图像特征点的每个31×31邻域内按N种方法取点对，比较点对大小并形成一个300k×N的二进制矩阵Q；
B22、对矩阵Q的每一列求取平均值，按照平均值到0.5的距离大小重新对矩阵Q的列向量排序形成矩阵T；
B23、将矩阵T的第一列向量放到矩阵U中，取矩阵T的下一列向量和矩阵U中的所有列向量计算相关性，若相关系数小于设定的阈值，将矩阵T中的该列向量移至矩阵U中，不断进行操作直到矩阵U中的向量数量为L；这时向量数量L即为ORB图像特征点数；
C、基于穷举法匹配图像特征点
根据步骤B获得的图像序列的ORB图像特征点，利用穷举法分别计算图像之间图像特征点的相似度，这里用汉明距离表示图像特征点的相似度，对计算得到的图像特征点之间的距离进行排序，选取一定百分比数量的图像特征点作为匹配成功的图像特征点；具体步骤如下：
C1、设置图像阵列中的任意两个相邻位置作为参考位置；
C2、利用穷举法获得两幅已知位置图像的匹配点；对于一幅图像的每一个图像特征点跟另一幅图像的所有图像特征点计算距离，选最小距离的点作为匹配结果点；然后，对所有匹配点按匹配距离进行升序排序，选取15％-20％的匹配点作为最终匹配结果；
C3、利用穷举法获得其他所有未知相机位置图像与两幅参考位置图像间的匹配点；按照步骤C2的策略分别获得第一幅，第二幅与待求图像的匹配点；然后，两组匹配点求交集获得匹配结果；对所有未知相机位置图像执行本步骤，获得所有图像相对于两幅已知相机位置图像的匹配点；
D、标定智能移动设备轨迹
假设智能移动设备的相机为针孔相机，利用相机投影几何获得相机位置；具体包括以下步骤：
D1、根据图像特征点获得图像特征点对应世界坐标点
在欧几里得框架下，一个相机模型由投影方程来表示
m∝K[R,t]M (1)
其中，M＝[X,Y,Z,1]T和m＝[u,v,1]T分别代表同一坐标系下的世界坐标点和图像点，[R,t]是一个3×4的转移矩阵，R是一个方向矩阵，t是平移向量；K表示相机的内参矩阵：
其中，fx和fy分别为相机的横向焦距和纵向焦距，为简化计算，令fx等于fy，ax和ay分别是相机横向和纵向主点坐标，s是旋转项，s设置为零；
假设内参矩阵已知，而且所有相机序列中的两个相机位置已知，以已知位置相机中的一个作为参考坐标系，则根据相机分布情况和投影模型得到投影方程:
其中，m1i,m2i是步骤C中得到的匹配点,Mi是世界坐标点；
根据假设，Sx2,Sy2为已知量，根据三角测量原理以及利用最小二乘法计算匹配点对应的世界坐标点；
D2、根据世界坐标点获得其他相机相对于第一个相机的位置
根据步骤D1获得了匹配点的世界坐标点，下面利用世界坐标点和其对应的其他未知相机位置的图像的匹配点来求得相机位置；假设第k幅图像对应的相机位置为Sk:(Sxk,Syk,0)，根据投影方程(1)：
其中mki＝[uki,vki,1]T代表Mi对应第k幅图像匹配点的坐标；
对公式(5)进行改写如下：
对于方程(6)，未知量为Sxk,Syk，其是一个二元一次方程，理论上用一对图像特征点求解方程；由于图像特征点i＝1,...,L，由ORB算法得到的图像特征点L大于10，因此利用公式(6)获得若干个解；为了提高位置估算的精度，对这若干个解采用截断均值算法得到一个更加精确解，这个解就是最终求得的智能移动设备轨迹；
E、重建三维光场
根据步骤D得到的相机位置是针对一个已知参考相机的相对位置，把已知相机位置的图像命名为参考基元图像，利用相对位置的相机图像重建不同深度下的光场图像；设所采集的基元图像总个数为Ne，则在某一深度为z0下的重建的三维光场图像表示为：
其中，N(x,y)为重建图像在(x,y)处叠加的次数，offsetxk和offsetyk为第k个基元图像相对于参考基元图像的位移，且与重建深度成反比，由几何投影得到：
其中，f是相机的焦距，δ为元素图像一个像素的大小。
进一步地，所述的智能移动设备包括Android平台下的带摄像头手机或Pad设备。
进一步地，步骤B中所述的r取值为3，n取值为12。
进一步地，步骤B中所述的L取128、256或512。
进一步地，步骤B中所述的L取256。
与现有技术相比，本发明具有以下有益效果：
本发明从单相机扫描结构获取光场信息方面入手，提出了一种可适用于市面上主流智能移动设备实现光场信息获取及重建的方法。该方法有效解决了智能移动设备运动轨迹不精确问题。首先，本发明提出对于旋转及尺度变换具有很强鲁棒性的ORB(OrientedFAST and Rotated BRIEF)特征提取方法，利用穷举匹配算法来估计智能移动设备的移动轨迹。由于ORB特征不仅可靠性高，计算速度相对于当前其他主流特征提取算法有着很大的优势，因此实现智能移动设备的轨迹标定能满足实时处理的要求。最后，标定智能移动设备的相对位置后，本发明提出了单相机成像光路可逆算法重建三维光场信息，重建的过程是基元图像之间的位移叠加过程，无需传统光场重建方式的尺度变化过程，这使得重建速度进一步提高。本发明提出的准确、快速的三维光场技术，不仅具有对成像设备要求低、成像规则灵活等特点，而且适应于当前所有主流智能移动设备上三维光场技术的实现。
附图说明
图1是本发明提出的利用智能移动设备记录光场信息及重建方法的整体流程图。
图2是ORB图像特征点提取原理图之FAST图像特征点判断。
图3是ORB图像特征点提取原理图之BRIEF图像特征点描述。
图4是获取的光场图之一。
图5是获取的光场图之二。
图6是ORB图像特征点匹配结果。
图7是光场重建原理图。
图8是某一深度下重建的光场重聚焦图像之一。
图9是某一深度下重建的光场重聚焦图像之二。
具体实施方式
为使本发明的具体实施方式更加清楚明白，以下结合本发明的技术方案与附图，对本发明包含的5个步骤分别进行详细完整的描述。
A、采集元素图像
利用智能移动设备对场景随机拍摄10～20幅图像形成图像阵列。
B、基于ORB(Oriented FAST and Rotated BRIEF)的特征提取
ORB(Oriented FAST and Rotated BRIEF)是由改进的FAST(oFAST)特征点提取和改进的BRIEF(rBRIEF)组成的。其具体实施方案包含以下两个部分：
B1、提取图像特征点
本方法针对FAST特征提取进行改进，加入了方向信息，以此实现图像特征点方向不变性，称为oFAST。
B11、对图像进行粗提取，如图2所示：在图像上任意选取一点p，以p点为中心画一个半径为r的圆并命名为特征点圆周，比较p点与圆周上的灰度值，如存在连续有n个点的灰度值大于p点的灰度值，则认为p是图像特征点；
B12、使用ID3(迭代二叉树3代)算法训练一个决策树，特征点圆周上的像素输入决策树中，以此来筛选出最优的FAST(加速分割测试的特征)图像特征点。针对筛选出的图像特征点采用非极大值抑制去除局部较密集图像特征点；
B13、建立金字塔模型实现尺度不变性；
B14、使用矩(moment)法来决定FAST图像特征点的方向，使得Oriented FAST andRotated BRIEF算法具有方向不变性。
B2、图像特征点描述
使用BRIEF算法得到的是一个二进制的描述符，在一个图像特征点的邻域内选择w个像素点对pi,qi,i＝1,2,…,w，比较每个象素点对的灰度值的大小(如图3所示)；如果I(pi)>I(qi)，则生成二进制串中的1，否则为0。对所有图像特征点进行比较生成长度为l的二进制串；为了使BRIEF图像特征描述算法具有更强的抗噪性，采用统计学习策略选择点对集合，具体步骤如下：
B21、建立300k个图像特征点的测试集，对测试集中每个图像特征点考虑其31×31邻域，在300k图像特征点的每个31×31邻域内按L(L一般取值为256)种方法取点对，比较点对大小并形成一个300k×L的二进制矩阵Q；
B22、对矩阵Q的每一列求取平均值，按照平均值到0.5的距离大小重新对矩阵Q的列向量排序形成矩阵T；
B23、将矩阵T的第一列向量放到矩阵U中，取矩阵T的下一列向量和矩阵U中的所有列向量计算相关性，若相关系数小于设定的阈值，将矩阵T中的该列向量移至矩阵U中，不断进行操作直到矩阵U中的向量数量为L。
本发明针对BRIEF算法进行改进，使得BRIEF算法具有旋转不变性，称为rBRIEF。
C、基于穷举法匹配图像特征点
根据步骤B获得的图像序列的ORB图像特征点，利用穷举法分别计算图像之间图像特征点的相似度，这里用汉明距离来表示图像特征点的相似度，对计算得到的图像特征点之间的距离进行排序，选取一定百分比数量的图像特征点作为匹配成功的图像特征点。具体步骤如下：
C1、设置图像阵列中的任意两个相邻位置作为参考位置,如图4-5所示；
C2、利用穷举法获得两幅已知位置图像的匹配点。对于一幅图像的每一个图像特征点跟另一幅图像的所有图像特征点计算距离，选最小距离的点作为匹配结果点。然后，对所有匹配点按匹配距离进行升序排序，选取15％-20％的匹配点作为最终匹配结果(如图6所示)。
C3、利用穷举法获得其他所有未知相机位置图像与两幅参考位置图像间的匹配点。按照步骤C2的策略分别获得第一幅，第二幅与待求图像的匹配点。然后，两组匹配点求交集获得匹配结果。对所有未知相机位置图像执行本步骤，获得所有图像相对于两幅已知相机位置图像的匹配点。
D、标定智能移动设备轨迹
假设智能移动设备的相机为针孔相机，利用相机投影几何获得相机位置。具体包括以下步骤：
D1、根据图像特征点获得图像特征点对应世界坐标点
在欧几里得框架下，一个相机模型由投影方程来表示
m∝K[R,t]M (1)
其中，M＝[X,Y,Z,1]T和m＝[u,v,1]T分别代表同一坐标系下的世界坐标点和图像点，[R,t]是一个3×4的转移矩阵，R是一个方向矩阵，t是平移向量。K表示相机的内参矩阵：
其中，fx和fy为相机的横向焦距和纵向焦距，为简化计算，令fx等于fy，ax和ay是相机横向和纵向主点坐标，s是旋转项，s设置为零。
假设内参矩阵已知，而且所有相机序列中的两个相机位置已知，以已知位置相机中的一个作为参考坐标系，则根据相机分布情况和投影模型得到投影方程:
其中，m1i,m2i是步骤C中得到的匹配点,Mi是世界坐标点。
根据假设，Sx2,Sy2为已知量，根据三角测量原理以及利用最小二乘法计算匹配点对应的世界坐标点。
D2、根据世界坐标点获得其他相机相对于第一个相机的位置
根据步骤D1获得了匹配点的世界坐标点，下面利用世界坐标点和其对应的其他未知相机位置的图像的匹配点来求得相机位置。假设第k幅图像对应的相机位置为Sk:(Sxk,Syk,0)，根据投影方程(1)：
其中mki＝[uki,vki,1]T代表Mi对应第k幅图像匹配点的坐标。
对公式(5)进行改写如下：
对于方程(6)，未知量为Sxk,Syk，其是一个二元一次方程，理论上用一对图像特征点即可求解方程。由于图像特征点i＝1,...,n，由ORB算法得到的图像特征点n一般情况下大于10，因此本发明利用公式(6)可以获得若干解，为了提高位置估算的精度，本发明对这若干个解采用截断均值算法得到一个更加精确解，这个解就是最终求得的智能移动设备轨迹。
E、重建三维光场
根据步骤D得到的相机位置是针对一个已知参考相机的相对位置，把已知相机位置的图像命名为参考基元图像，利用相对位置的相机图像重建不同深度下的光场图像。如图7所示，根据本发明获取光场信息的方式相对应，本发明改进了传统的光场光场重聚焦算法。光场重建的过程是一个基元图像的一个位移叠加过程，无需传统光场重建方式的尺度变化过程，进一步实现了三维光场的快速重建。设所采集的基元图像总个数为Ne，则在某一深度为z0下的重建的三维光场图像(如图8-9所示)表示为：
其中，N(x,y)为重建图像在(x,y)处叠加的次数，offsetxk和offsetyk为第k个基元图像相对于参考基元图像的位移，且与重建深度成反比，由几何投影得到：
其中，f是相机的焦距，δ为元素图像一个像素的大小。
进一步地，步骤B中的L取128、256或512。
进一步地，步骤B中的L取256。
本发明不局限于本实施例，任何在本发明披露的技术范围内的等同构思或者改变，均列为本发明的保护范围。

Claims (5)

1.一种适用于智能移动设备的三维光场技术实现方法，其特征在于：包括以下步骤：
A、采集元素图像
利用智能移动设备对场景随机拍摄10～20幅图像形成图像阵列；
B、基于ORB算法提取图像特征点
ORB为Oriented FAST and Rotated BRIEF的简称；
B1、提取图像特征点
B11、对图像进行粗提取：在图像上任意选取一点p，以点p为中心画一个半径为r的圆并命名为特征点圆周，比较点p与圆周上的灰度值，如存在连续有n个点的灰度值大于点p的灰度值，则认为点p是图像特征点；
B12、使用ID3算法即迭代二叉树3代算法训练一个决策树，将特征点圆周上的像素输入决策树中，以此筛选出最优的FAST图像特征点；针对筛选出的图像特征点采用非极大值抑制去除局部较密集图像特征点；
B13、建立金字塔模型实现尺度不变性；
B14、使用矩法即momen法决定FAST图像特征点的方向，使得ORB算法具有方向不变性；
B2、描述图像特征点
使用BRIEF算法得到的是一个二进制的描述符，在一个图像特征点的邻域内选择w个像素点对pi,qi,i＝1,2,…,w，比较每个象素点对的灰度值的大小；如果
I(pi)>I(qi)
则生成二进制串中的1，否则为0；式中，I表示一幅图像，I(p)就是像素点p处的像素值；对所有图像特征点进行比较，生成长度为l的二进制串；为了使BRIEF图像特征描述算法具有更强的抗噪性，采用统计学习策略选择点对集合，具体步骤如下：
B21、建立300k个图像特征点的测试集，对测试集中每个图像特征点考虑其31×31邻域，在300k图像特征点的每个31×31邻域内按N种方法取点对，比较点对大小并形成一个300k×N的二进制矩阵Q；
B22、对矩阵Q的每一列求取平均值，按照平均值到0.5的距离大小重新对矩阵Q的列向量排序形成矩阵T；
B23、将矩阵T的第一列向量放到矩阵U中，取矩阵T的下一列向量和矩阵U中的所有列向量计算相关性，若相关系数小于设定的阈值，将矩阵T中的该列向量移至矩阵U中，不断进行操作直到矩阵U中的向量数量为L；这时向量数量L即为ORB图像特征点数；
C、基于穷举法匹配图像特征点
根据步骤B获得的图像序列的ORB图像特征点，利用穷举法分别计算图像之间图像特征点的相似度，这里用汉明距离表示图像特征点的相似度，对计算得到的图像特征点之间的距离进行排序，选取一定百分比数量的图像特征点作为匹配成功的图像特征点；具体步骤如下：
C1、设置图像阵列中的任意两个相邻位置作为参考位置；
C2、利用穷举法获得两幅已知位置图像的匹配点；对于一幅图像的每一个图像特征点跟另一幅图像的所有图像特征点计算距离，选最小距离的点作为匹配结果点；然后，对所有匹配点按匹配距离进行升序排序，选取15％-20％的匹配点作为最终匹配结果；
C3、利用穷举法获得其他所有未知相机位置图像与两幅参考位置图像间的匹配点；按照步骤C2的策略分别获得第一幅，第二幅与待求图像的匹配点；然后，两组匹配点求交集获得匹配结果；对所有未知相机位置图像执行本步骤，获得所有图像相对于两幅已知相机位置图像的匹配点；
D、标定智能移动设备轨迹
假设智能移动设备的相机为针孔相机，利用相机投影几何获得相机位置；具体包括以下步骤：
D1、根据图像特征点获得图像特征点对应世界坐标点
在欧几里得框架下，一个相机模型由投影方程来表示
m∝K[R,t]M (1)
其中，M＝[X,Y,Z,1]T和m＝[u,v,1]T分别代表同一坐标系下的世界坐标点和图像点，[R,t]是一个3×4的转移矩阵，R是一个方向矩阵，t是平移向量；K表示相机的内参矩阵：
其中，fx和fy分别为相机的横向焦距和纵向焦距，为简化计算，令fx等于fy，ax和ay分别是相机横向和纵向主点坐标，s是旋转项，s设置为零；
假设内参矩阵已知，而且所有相机序列中的两个相机位置已知，以已知位置相机中的一个作为参考坐标系，则根据相机分布情况和投影模型得到投影方程:
其中，m1i,m2i是步骤C中得到的匹配点,Mi是世界坐标点；
根据假设，Sx2,Sy2为已知量，根据三角测量原理以及利用最小二乘法计算匹配点对应的世界坐标点；
D2、根据世界坐标点获得其他相机相对于第一个相机的位置
根据步骤D1获得了匹配点的世界坐标点，下面利用世界坐标点和其对应的其他未知相机位置的图像的匹配点来求得相机位置；假设第k幅图像对应的相机位置为Sk:(Sxk,Syk,0)，根据投影方程(1)：
其中mki＝[uki,vki,1]T代表Mi对应第k幅图像匹配点的坐标；
对公式(5)进行改写如下：
对于方程(6)，未知量为Sxk,Syk，其是一个二元一次方程，理论上用一对图像特征点求解方程；由于图像特征点i＝1,...,L，由ORB算法得到的图像特征点L大于10，因此利用公式(6)获得若干个解；为了提高位置估算的精度，对这若干个解采用截断均值算法得到一个更加精确解，这个解就是最终求得的智能移动设备轨迹；
E、重建三维光场
根据步骤D得到的相机位置是针对一个已知参考相机的相对位置，把已知相机位置的图像命名为参考基元图像，利用相对位置的相机图像重建不同深度下的光场图像；设所采集的基元图像总个数为Ne，则在某一深度为z0下的重建的三维光场图像表示为：
其中，N(x,y)为重建图像在(x,y)处叠加的次数，offsetxk和offsetyk为第k个基元图像相对于参考基元图像的位移，且与重建深度成反比，由几何投影得到：
其中，f是相机的焦距，δ为元素图像一个像素的大小。
2.根据权利要求1所述的一种适用于智能移动设备的三维光场技术实现方法，其特征在于：所述的智能移动设备包括Android平台下的带摄像头手机或Pad设备。
3.根据权利要求1所述的一种适用于智能移动设备的三维光场技术实现方法，其特征在于：步骤B中所述的r取值为3，n取值为12。
4.根据权利要求1所述的一种适用于智能移动设备的三维光场技术实现方法，其特征在于：步骤B中所述的L取128、256或512。
5.根据权利要求1所述的一种适用于智能移动设备的三维光场技术实现方法，其特征在于：步骤B中所述的L取256。
CN201710150006.0A 2017-03-14 2017-03-14 一种适用于智能移动设备的三维光场技术实现方法 Active CN106952299B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710150006.0A CN106952299B (zh) 2017-03-14 2017-03-14 一种适用于智能移动设备的三维光场技术实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710150006.0A CN106952299B (zh) 2017-03-14 2017-03-14 一种适用于智能移动设备的三维光场技术实现方法

Publications (2)

Publication Number Publication Date
CN106952299A CN106952299A (zh) 2017-07-14
CN106952299B true CN106952299B (zh) 2019-07-16

Family

ID=59467537

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710150006.0A Active CN106952299B (zh) 2017-03-14 2017-03-14 一种适用于智能移动设备的三维光场技术实现方法

Country Status (1)

Country Link
CN (1) CN106952299B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107610176B (zh) * 2017-09-15 2020-06-26 斯坦德机器人（深圳）有限公司 一种基于Kinect的栈板动态识别与定位方法、系统及介质
CN109959885B (zh) * 2017-12-26 2021-04-30 深圳先进技术研究院 一种基于二元决策树的成像方法及其装置和储存介质
CN110044374B (zh) * 2018-01-17 2022-12-09 宽衍(北京)科技发展有限公司 一种基于图像特征的单目视觉测量里程的方法及里程计
CN108984648A (zh) * 2018-06-27 2018-12-11 武汉大学深圳研究院 数字动画的主特征提取及动画视频的检索和篡改检测方法
CN111121743B (zh) * 2018-10-30 2023-11-24 阿里巴巴集团控股有限公司 位置标定方法、装置及电子设备
CN109711398B (zh) * 2018-12-29 2021-02-19 联想(北京)有限公司 传感器空间关系获取方法、装置和电子设备
CN110197506B (zh) * 2019-05-30 2023-02-17 大连理工大学 一种基于可变高度旋转平行四边形的光场深度估计方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102506757A (zh) * 2011-10-10 2012-06-20 南京航空航天大学 双目立体测量系统多视角测量中的自定位方法
CN103106688A (zh) * 2013-02-20 2013-05-15 北京工业大学 基于双层配准方法的室内三维场景重建方法
CN105427302A (zh) * 2015-11-17 2016-03-23 中国科学院自动化研究所 一种基于移动稀疏相机采集阵列的三维采集及重建系统
CN106919944A (zh) * 2017-01-20 2017-07-04 南京航空航天大学 一种基于orb算法的大视角图像快速识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102506757A (zh) * 2011-10-10 2012-06-20 南京航空航天大学 双目立体测量系统多视角测量中的自定位方法
CN103106688A (zh) * 2013-02-20 2013-05-15 北京工业大学 基于双层配准方法的室内三维场景重建方法
CN105427302A (zh) * 2015-11-17 2016-03-23 中国科学院自动化研究所 一种基于移动稀疏相机采集阵列的三维采集及重建系统
CN106919944A (zh) * 2017-01-20 2017-07-04 南京航空航天大学 一种基于orb算法的大视角图像快速识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Research on three dimensional reconstruction based on light field focus stack";Liu X;《3d Image Acquisition & Display: Technology, Perception & Applications》;20161231;全文
"基于阵列图像的自适应光场三维重建算法研究";丁立伟 等，;《仪器仪表学报》;20161106;第37卷(第9期);全文

Also Published As

Publication number Publication date
CN106952299A (zh) 2017-07-14

Similar Documents

Publication Publication Date Title
CN106952299B (zh) 一种适用于智能移动设备的三维光场技术实现方法
Wang et al. Frustum convnet: Sliding frustums to aggregate local point-wise features for amodal 3d object detection
CN106651942B (zh) 基于特征点的三维旋转运动检测与旋转轴定位方法
Mehta et al. Structured adversarial training for unsupervised monocular depth estimation
Ni et al. Out-of-core bundle adjustment for large-scale 3d reconstruction
Leroy et al. Shape reconstruction using volume sweeping and learned photoconsistency
CN104539928B (zh) 一种光栅立体印刷图像合成方法
CN104065947B (zh) 一种集成成像系统的深度图获取方法
CN106683173A (zh) 一种基于邻域块匹配提高三维重建点云稠密程度的方法
CN109360235A (zh) 一种基于光场数据的混合深度估计方法
CN106485690A (zh) 基于点特征的点云数据与光学影像的自动配准融合方法
CN110084243A (zh) 一种基于二维码和单目相机的档案识别与定位方法
CN111563952B (zh) 基于相位信息与空间纹理特征实现立体匹配方法及系统
CN103299343A (zh) 距离图像像素匹配方法
CN111028273B (zh) 一种基于多流卷积神经网络的光场深度估计方法及其实现系统
CN102982334A (zh) 基于目标边缘特征与灰度相似性的稀疏视差获取方法
CN107036579A (zh) 一种基于单目液透镜变焦光学系统的目标相对定位方法
CN109949354A (zh) 一种基于全卷积神经网络的光场深度信息估计方法
CN105352482B (zh) 基于仿生复眼微透镜技术的3‑3‑2维目标检测方法及系统
CN103033166B (zh) 一种基于合成孔径聚焦图像的目标测距方法
JP2015019346A (ja) 視差画像生成装置
Yong-guo et al. The navigation of mobile robot based on stereo vision
CN108090930A (zh) 基于双目立体相机的障碍物视觉检测系统及方法
Chen et al. A learning-based framework for hybrid depth-from-defocus and stereo matching
Harisankar et al. Unsupervised depth estimation from monocular images for autonomous vehicles

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant