CN112288669B - 一种基于光场成像的点云地图获取方法 - Google Patents
一种基于光场成像的点云地图获取方法 Download PDFInfo
- Publication number
- CN112288669B CN112288669B CN202011235114.6A CN202011235114A CN112288669B CN 112288669 B CN112288669 B CN 112288669B CN 202011235114 A CN202011235114 A CN 202011235114A CN 112288669 B CN112288669 B CN 112288669B
- Authority
- CN
- China
- Prior art keywords
- image
- point cloud
- light field
- depth image
- refocusing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 17
- 238000000034 method Methods 0.000 title claims abstract description 16
- 238000000605 extraction Methods 0.000 claims abstract description 8
- 238000011156 evaluation Methods 0.000 claims description 5
- 238000009499 grossing Methods 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 238000005457 optimization Methods 0.000 abstract description 6
- 238000006243 chemical reaction Methods 0.000 abstract description 4
- 230000000007 visual effect Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 2
- 241000274965 Cyrestis thyodamas Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10052—Images from lightfield camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于光场成像的点云地图获取方法,首先根据canny算子和角度区域划分对原始图像的边缘进行提取并获取初步深度图像,再利用遮挡线索提取和马尔科夫优化的方式来优化深度图像使图像中深度的表示更为清晰;然后利用原始图像、深度图像及点云图像之间的转换关系生成点云图像;最后生成多幅点云图像,利用ICP算法对点云图像进行拼接。本发明可以满足无人机在进行自主飞行时对轻量的要求,且光场相机的微透镜阵列不同于传统的RGB‑D相机,拍摄出来的场景不会产生桶形失真,能够简化后续的图像处理步骤,使无人机在自主飞行时的快速性得到满足。
Description
技术领域
本发明属于图像处理技术领域,具体涉及一种点云地图获取方法。
背景技术
在全球卫星系统失效或者导航精度不足的情况下,常常使用信息量大且准确、协同干扰小及实时性强的视觉导航作为传统导航的辅助系统。利用视觉信息进行自主导航是无人机智能化的重要标志,在完全未知的环境中,通过图像传感器来构建所处环境的地图实现自主飞行的SLAM(即时定位与地图构建)技术逐渐变成目前的主流定位技术。准确的地图模型建立是无人机实现自主飞行的基础,现有环境地图主要分为几何地图、栅格地图和点云地图三类,其中点云地图由于对环境的显示和描述较为直观、易于生成及与其他地图转换方便等优点成为视觉SLAM中较为常用的地图形式。视觉SLAM按照视觉传感器的类别分成单目SLAM、双目SLAM和RGBD-SLAM三类,其中RGBD-SLAM同时生成的RGB图像和深度图像经过相机标定后便可以获得三维点云数据。而现有的RGB-D相机体积较大,难以满足无人机在自主飞行时对轻量的要求,且RGB-D相机在获取图像时会产生桶形失真,增加后续处理的步骤。
光场成像的原理是在传统相机的主透镜和传感器平面之间加入微透镜阵列,该阵列使得通过主透镜的光线发生二次折射,在记录二维空间信息的基础上添加了二维角度信息。四维数据使光场相机具有重聚焦功能、且在获得RGB图像的基础上,可以根据重聚焦特性来获取深度图像。深度图像和RGB图像的结合可以获取拍摄场景的点云数据。
发明内容
为了克服现有技术的不足,本发明提供了一种基于光场成像的点云地图获取方法,首先根据canny算子和角度区域划分对原始图像的边缘进行提取并获取初步深度图像,再利用遮挡线索提取和马尔科夫优化的方式来优化深度图像使图像中深度的表示更为清晰;然后利用原始图像、深度图像及点云图像之间的转换关系生成点云图像;最后生成多幅点云图像,利用ICP算法对点云图像进行拼接。本发明可以满足无人机在进行自主飞行时对轻量的要求,且光场相机的微透镜阵列不同于传统的RGB-D相机,拍摄出来的场景不会产生桶形失真,能够简化后续的图像处理步骤,使无人机在自主飞行时的快速性得到满足。
本发明解决其技术问题所采用的技术方案包括以下步骤:
步骤1:采用canny算子对光场相机拍摄图像进行边缘提取;设置重聚焦系数,对光场相机拍摄图像进行重聚焦;将边缘提取得到的图像和重聚焦得到的图像融合获得初步深度图像;
步骤2:采用基于梯度、方差、均值三种评价指标的遮挡线索方法对步骤1中提取的边缘进行增强;
步骤3:利用马尔科夫随机场,构建基于像素值和遮挡线索值的能量函数,见下式:
其中|Z1-Z2|为初始深度图像相邻像素点的差值,|W1-W2|为初始深度图像相邻像素点遮挡线索的差值,(x,y)为像素空间坐标;
遍历所有像素点,对初始深度图像进行平滑,使能量函数最小,得到优化深度图像;
步骤4:将光场相机拍摄图像与优化深度图像进行融合得到多幅点云图像,利用ICP算法对多幅点云图像进行拼接生成点云地图。
有益效果:
由于采用了本发明提出的一种基于光场成像的点云地图获取方法,可以满足无人机在进行自主飞行时对轻量的要求,且光场相机的微透镜阵列不同于传统的RGB-D相机,拍摄出来的场景不会产生桶形失真,能够简化后续的图像处理步骤,使无人机在自主飞行时的快速性得到满足。
附图说明
图1为本发明中构建的重聚焦模型示意图。
图2为本发明实施例中通过canny算子和角度区域分割得到的初步深度图像。
图3为本发明实施例中通过遮挡线索提取和马尔科夫的奥的优化深度图像。
图4为本发明实施例光场相机拍摄图像。
图5为本发明实施例最终获得的点云图像。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
一种基于光场成像的点云地图获取方法,包括如下步骤:
步骤1:采用canny算子对光场相机拍摄图像进行边缘提取;设置重聚焦系数,对光场相机拍摄图像进行重聚焦;将边缘提取得到的图像和重聚焦得到的图像融合获得初步深度图像;
步骤2:采用基于梯度、方差、均值三种评价指标的遮挡线索方法对步骤1中提取的边缘进行增强;
步骤3:利用马尔科夫随机场,构建基于像素值和遮挡线索值的能量函数,见下式:
其中|Z1-Z2|为初始深度图像相邻像素点的差值,|W1-W2|为初始深度图像相邻像素点遮挡线索的差值,(x,y)为像素空间坐标;
遍历所有像素点,对初始深度图像进行平滑,使能量函数最小,得到优化深度图像;
步骤4:将光场相机拍摄图像与优化深度图像进行融合得到多幅点云图像,利用ICP算法对多幅点云图像进行拼接生成点云地图。
具体实施例:
本发明目的在于为无人机在自主飞行时同一种生成点云地图的新思路,传统RGB-D相机相对于无人机来说体积及重量较大,而本发明基于光场成像的原理,仅在主透镜和传感器之间增加微透镜阵列,从一定程度上可以更好地满足自主飞行中无人机对轻量的要求。
本发明的思路是利用主透镜、微透镜阵列、传感器平面及成像平面之间的三角关系搭建重聚焦模型并基于此推出重聚焦公式以及重聚焦系数其中,F为主透镜到传感器平面的距离,F'为主透镜到重聚焦平面的距离;根据canny算子和角度区域划分的优化对光场相机拍摄图像的边缘进行提取并获取初步深度图像,再利用遮挡线索提取和马尔科夫优化的方式来优化深度图像使图像中深度的表示更为清晰;利用光场相机拍摄图像、优化深度图像及点云图像之间的转换关系生成多幅点云图像;再利用ICP算法对点云图像进行拼接。
具体过程如下:
1、如图1所示,光场相机图像用4D的光场信息L(x,y,u,v)来表征,其中(u,v)为二维角度信息、(x,y)为二维空间信息。在构建重聚焦模型时为了简化主透镜、传感器、微透镜阵列、成像平面和光线之间的线面三角关系将L(x,y,u,v)压缩成2D的形式L(x,u),如图1所示,根据成像平面和光线之间的三角相似关系可以得出在仅用二维数据来表征光场信息的情况下,光场相机传感器平面上的成像点和重聚焦平面上的成像点之间的位置关系,如式(1)所示:
其中,为光场相机传感器平面上的成像点,x′2u为重聚焦平面上的成像点,定义为距离系数,/>定义为重聚焦系数,F为主透镜到传感器平面的距离,F′为主透镜到重聚焦平面的距离,m为预设参数,f光场相机传感器焦距。
将2D的光场信息扩展成4D,则扩展后的重聚焦公式如(2)所示:
其中,(x′,y′)为扩展后的二维空间信息,L0(·)为扩展函数。
将光场的所有角度信息经过相加后得到(3)式即为光场的重聚焦公式:
通过(3)式可得将4D光场信息中所有角度像素对应的空间像素求和,则可获得在重聚焦平面上每点的像素值,即重聚焦后的二维图像。由此可知,通过改变聚焦系数α可以使不同目标物体达到其正确聚焦深度。
由(3)式可知重聚焦后各个点的像素值可以根据该点的角度信息求和得到,遍历所有像素点后即可得到重聚焦后的二维图像,即重聚焦系数可以改变聚焦深度。光线聚焦至像素点的正确深度时,该位置在图像中最为清晰,且满足以下关系:
其中,object表示物体和相机之间的相对距离,image表示成像距离,f为重聚焦模型中主透镜与微透镜阵的焦距,由重聚焦系数和式(4)的关系可知,聚焦系数α和object之间的关系成负相关,即用聚焦系数组成的灰度图像可看作是深度图像。
2、遍历所有像素点,提取每个像素点的所有角度信息组成角度区域并截取原图中同样大小的空间区域作为对照,根据两图像的梯度划分边缘的角度,若两图像角度一致则表示该区域没有遮挡物,即实现了深度同一,反之则存在遮挡。根据角度区域划分的结果及canny算子边缘提取的结果来进行深度估计。利用方差的大小来表示像素点之间差异的大小,没被遮挡的区域由于像素变化较为平缓方差也相应的较小,方差计算如式(5):
其中为在聚焦系数αj下区域内像素的均值,Nj为第j个角度区域的值。
利用聚焦的发散程度同样可以作为判断区域是否存在遮挡的依据,建立散焦响应:
将方差和散焦响应相加结合构成新的评价指标:
当评价指标达到最小时意味着该像素点聚焦至正确深度。
3、使用梯度作为描述图像边缘的参考线索,对已初步获取的深度图像求梯度,并为了保证整体差异性不要过大导致其余遮挡线索值过小而被忽略,将梯度值与该点的像素值相除获得第一个遮挡线索值:
式中,表示像素点梯度值,Z(x,y)表示像素值。
由于未被遮挡的区域像素变化平缓所得方差值较小,而有遮挡的区域相反,所以将区域间的方差值作为第二个遮挡线索值:
同理,可将区域间的均值作为第三个遮挡线索值:
将三个遮挡线索值归一化如式(11)所示,并设定阈值为0.1来将图像的边缘更为清晰的提取出来。
W(x,y)=N(Wc(x,y))·N(WV(x,y))·N(WA(x,y)) (11)
将归一化的遮挡线索值W(x,y)和初始深度图像一起利用马尔科夫随机场进行平滑优化,其实质是利用聚类的思想,基于图像中各个像素点属于不同类别的概率进行分类:
其中,U为像素点集合,V为分类结果,由于在优化之前并不知道类别的数量,则构造概率密度函数:
P(V)=z-1e-E(V) (13)
其中E(V)为根据初始深度图像构建能量函数:
其中|Z1-Z2|为原始深度图像相邻像素点的差值,该值越小表示平滑度越高,|W1-W2|为相邻像素点遮挡线索的差值,该值越大表明遮挡线索的可信度越高,由此可知能量函数E越小越好,即变为最小化问题。
遍历所有像素点,对初始深度图像进行平滑,使能量函数E最小,得到优化深度图像;
将光场相机拍摄图像与优化深度图像进行融合得到多幅点云图像,利用ICP算法对多幅点云图像进行拼接生成点云地图。
Claims (1)
1.一种基于光场成像的点云地图获取方法,其特征在于,包括以下步骤:
步骤1:采用canny算子对光场相机拍摄图像进行边缘提取;设置重聚焦系数,对光场相机拍摄图像进行重聚焦;将边缘提取得到的图像和重聚焦得到的图像融合获得初步深度图像;
步骤2:采用基于梯度、方差、均值三种评价指标的遮挡线索方法对步骤1中提取的边缘进行增强;
步骤3:利用马尔科夫随机场,构建基于像素值和遮挡线索值的能量函数,见下式:
其中|Z1-Z2|为初始深度图像相邻像素点的差值,|W1-W2|为初始深度图像相邻像素点遮挡线索的差值,(x,y)为像素空间坐标;
遍历所有像素点,对初始深度图像进行平滑,使能量函数最小,得到优化深度图像;
步骤4:将光场相机拍摄图像与优化深度图像进行融合得到多幅点云图像,利用ICP算法对多幅点云图像进行拼接生成点云地图。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011235114.6A CN112288669B (zh) | 2020-11-08 | 2020-11-08 | 一种基于光场成像的点云地图获取方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011235114.6A CN112288669B (zh) | 2020-11-08 | 2020-11-08 | 一种基于光场成像的点云地图获取方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112288669A CN112288669A (zh) | 2021-01-29 |
CN112288669B true CN112288669B (zh) | 2024-01-19 |
Family
ID=74351637
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011235114.6A Active CN112288669B (zh) | 2020-11-08 | 2020-11-08 | 一种基于光场成像的点云地图获取方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112288669B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113298943A (zh) * | 2021-06-10 | 2021-08-24 | 西北工业大学 | 一种基于光场成像的esdf地图构建方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102509119A (zh) * | 2011-09-30 | 2012-06-20 | 北京航空航天大学 | 一种基于分类器的图像场景分层与对象遮挡处理方法 |
CN105701823A (zh) * | 2016-01-14 | 2016-06-22 | 无锡北邮感知技术产业研究院有限公司 | 由遮挡关系恢复深度次序的方法 |
WO2016184099A1 (zh) * | 2015-05-15 | 2016-11-24 | 清华大学深圳研究生院 | 基于光场数据分布的深度估计方法 |
CN109064505A (zh) * | 2018-07-26 | 2018-12-21 | 清华大学深圳研究生院 | 一种基于滑动窗口张量提取的深度估计方法 |
CN109255809A (zh) * | 2018-09-26 | 2019-01-22 | 郑州云海信息技术有限公司 | 一种光场图像深度估计方法及装置 |
CN111351446A (zh) * | 2020-01-10 | 2020-06-30 | 奕目(上海)科技有限公司 | 一种用于三维形貌测量的光场相机校准方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7085426B2 (en) * | 2001-10-15 | 2006-08-01 | Jonas August | Volterra filters for enhancement of contours in images |
-
2020
- 2020-11-08 CN CN202011235114.6A patent/CN112288669B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102509119A (zh) * | 2011-09-30 | 2012-06-20 | 北京航空航天大学 | 一种基于分类器的图像场景分层与对象遮挡处理方法 |
WO2016184099A1 (zh) * | 2015-05-15 | 2016-11-24 | 清华大学深圳研究生院 | 基于光场数据分布的深度估计方法 |
CN105701823A (zh) * | 2016-01-14 | 2016-06-22 | 无锡北邮感知技术产业研究院有限公司 | 由遮挡关系恢复深度次序的方法 |
CN109064505A (zh) * | 2018-07-26 | 2018-12-21 | 清华大学深圳研究生院 | 一种基于滑动窗口张量提取的深度估计方法 |
CN109255809A (zh) * | 2018-09-26 | 2019-01-22 | 郑州云海信息技术有限公司 | 一种光场图像深度估计方法及装置 |
CN111351446A (zh) * | 2020-01-10 | 2020-06-30 | 奕目(上海)科技有限公司 | 一种用于三维形貌测量的光场相机校准方法 |
Non-Patent Citations (1)
Title |
---|
基于遮挡场景的光场图像深度估计方法;刘晓旻;杜梦珠;马治邦;朱云飞;陈澎勃;马凤英;;光学学报(05);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN112288669A (zh) | 2021-01-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10353271B2 (en) | Depth estimation method for monocular image based on multi-scale CNN and continuous CRF | |
CN110036410B (zh) | 用于从视图中获得距离信息的设备和方法 | |
CN109064505B (zh) | 一种基于滑动窗口张量提取的深度估计方法 | |
CN111107337B (zh) | 深度信息补全方法及其装置、监控系统和存储介质 | |
CN113052066B (zh) | 三维目标检测中基于多视图和图像分割的多模态融合方法 | |
WO2020207172A1 (zh) | 基于三维光场技术的光学无人机监测方法及系统 | |
CN111209840B (zh) | 一种基于多传感器数据融合的3d目标检测方法 | |
CN112132900B (zh) | 一种视觉重定位方法及系统 | |
CN113298947A (zh) | 一种基于多源数据融合的变电站三维建模方法介质及系统 | |
CN117036300A (zh) | 基于点云-rgb异源图像多级配准映射的路面裂缝识别方法 | |
Shi et al. | An improved lightweight deep neural network with knowledge distillation for local feature extraction and visual localization using images and LiDAR point clouds | |
CN112288669B (zh) | 一种基于光场成像的点云地图获取方法 | |
CN110443228B (zh) | 一种行人匹配方法、装置、电子设备及存储介质 | |
Yang et al. | Raindrop removal with light field image using image inpainting | |
CN118429524A (zh) | 基于双目立体视觉的车辆行驶环境建模方法及系统 | |
CN112132771B (zh) | 一种基于光场成像的多聚焦图像融合方法 | |
CN117934708A (zh) | 基于神经网络的光场三维成像方法和系统 | |
WO2016056202A1 (en) | Image processing apparatus, image processing method, and program | |
CN107256563B (zh) | 基于差异液位图像序列的水下三维重建系统及其方法 | |
CN116362318B (zh) | 基于自适应深度修正的纯视觉三维目标检测方法和系统 | |
CN113096016A (zh) | 一种低空航拍图像拼接方法和系统 | |
CN112002008A (zh) | 一种整合光学和视觉智能技术的三维物体检测装置和方法 | |
CN112950698B (zh) | 基于双目散焦图像的深度估计方法、装置、介质和设备 | |
CN114663599A (zh) | 一种基于多视图的人体表面重建方法及系统 | |
CN113298943A (zh) | 一种基于光场成像的esdf地图构建方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |