CN112288669A - 一种基于光场成像的点云地图获取方法 - Google Patents

一种基于光场成像的点云地图获取方法 Download PDF

Info

Publication number
CN112288669A
CN112288669A CN202011235114.6A CN202011235114A CN112288669A CN 112288669 A CN112288669 A CN 112288669A CN 202011235114 A CN202011235114 A CN 202011235114A CN 112288669 A CN112288669 A CN 112288669A
Authority
CN
China
Prior art keywords
image
point cloud
light field
depth image
refocusing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011235114.6A
Other languages
English (en)
Other versions
CN112288669B (zh
Inventor
闫斌斌
张通
江奕蕾
刘双喜
庞明慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN202011235114.6A priority Critical patent/CN112288669B/zh
Publication of CN112288669A publication Critical patent/CN112288669A/zh
Application granted granted Critical
Publication of CN112288669B publication Critical patent/CN112288669B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于光场成像的点云地图获取方法，首先根据canny算子和角度区域划分对原始图像的边缘进行提取并获取初步深度图像，再利用遮挡线索提取和马尔科夫优化的方式来优化深度图像使图像中深度的表示更为清晰；然后利用原始图像、深度图像及点云图像之间的转换关系生成点云图像；最后生成多幅点云图像，利用ICP算法对点云图像进行拼接。本发明可以满足无人机在进行自主飞行时对轻量的要求，且光场相机的微透镜阵列不同于传统的RGB‑D相机，拍摄出来的场景不会产生桶形失真，能够简化后续的图像处理步骤，使无人机在自主飞行时的快速性得到满足。

Description

一种基于光场成像的点云地图获取方法
技术领域
本发明属于图像处理技术领域，具体涉及一种点云地图获取方法。
背景技术
在全球卫星系统失效或者导航精度不足的情况下，常常使用信息量大且准确、协同干扰小及实时性强的视觉导航作为传统导航的辅助系统。利用视觉信息进行自主导航是无人机智能化的重要标志，在完全未知的环境中，通过图像传感器来构建所处环境的地图实现自主飞行的SLAM(即时定位与地图构建)技术逐渐变成目前的主流定位技术。准确的地图模型建立是无人机实现自主飞行的基础，现有环境地图主要分为几何地图、栅格地图和点云地图三类，其中点云地图由于对环境的显示和描述较为直观、易于生成及与其他地图转换方便等优点成为视觉SLAM中较为常用的地图形式。视觉SLAM按照视觉传感器的类别分成单目SLAM、双目SLAM和RGBD-SLAM三类，其中RGBD-SLAM同时生成的RGB图像和深度图像经过相机标定后便可以获得三维点云数据。而现有的RGB-D相机体积较大，难以满足无人机在自主飞行时对轻量的要求，且RGB-D相机在获取图像时会产生桶形失真，增加后续处理的步骤。
光场成像的原理是在传统相机的主透镜和传感器平面之间加入微透镜阵列，该阵列使得通过主透镜的光线发生二次折射，在记录二维空间信息的基础上添加了二维角度信息。四维数据使光场相机具有重聚焦功能、且在获得RGB图像的基础上，可以根据重聚焦特性来获取深度图像。深度图像和RGB图像的结合可以获取拍摄场景的点云数据。
发明内容
为了克服现有技术的不足，本发明提供了一种基于光场成像的点云地图获取方法，首先根据canny算子和角度区域划分对原始图像的边缘进行提取并获取初步深度图像，再利用遮挡线索提取和马尔科夫优化的方式来优化深度图像使图像中深度的表示更为清晰；然后利用原始图像、深度图像及点云图像之间的转换关系生成点云图像；最后生成多幅点云图像，利用ICP算法对点云图像进行拼接。本发明可以满足无人机在进行自主飞行时对轻量的要求，且光场相机的微透镜阵列不同于传统的RGB-D相机，拍摄出来的场景不会产生桶形失真，能够简化后续的图像处理步骤，使无人机在自主飞行时的快速性得到满足。
本发明解决其技术问题所采用的技术方案包括以下步骤：
步骤1：采用canny算子对光场相机拍摄图像进行边缘提取；设置重聚焦系数，对光场相机拍摄图像进行重聚焦；将边缘提取得到的图像和重聚焦得到的图像融合获得初步深度图像；
步骤2：采用基于梯度、方差、均值三种评价指标的遮挡线索方法对步骤1中提取的边缘进行增强；
步骤3：利用马尔科夫随机场，构建基于像素值和遮挡线索值的能量函数，见下式：
Figure BDA0002766557550000021
其中|Z1-Z2|为初始深度图像相邻像素点的差值，|W1-W2|为初始深度图像相邻像素点遮挡线索的差值，(x,y)为像素空间坐标；
遍历所有像素点，对初始深度图像进行平滑，使能量函数最小，得到优化深度图像；
步骤4：将光场相机拍摄图像与优化深度图像进行融合得到多幅点云图像，利用ICP算法对多幅点云图像进行拼接生成点云地图。
有益效果：
由于采用了本发明提出的一种基于光场成像的点云地图获取方法，可以满足无人机在进行自主飞行时对轻量的要求，且光场相机的微透镜阵列不同于传统的RGB-D相机，拍摄出来的场景不会产生桶形失真，能够简化后续的图像处理步骤，使无人机在自主飞行时的快速性得到满足。
附图说明
图1为本发明中构建的重聚焦模型示意图。
图2为本发明实施例中通过canny算子和角度区域分割得到的初步深度图像。
图3为本发明实施例中通过遮挡线索提取和马尔科夫的奥的优化深度图像。
图4为本发明实施例光场相机拍摄图像。
图5为本发明实施例最终获得的点云图像。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
一种基于光场成像的点云地图获取方法，包括如下步骤：
步骤1：采用canny算子对光场相机拍摄图像进行边缘提取；设置重聚焦系数，对光场相机拍摄图像进行重聚焦；将边缘提取得到的图像和重聚焦得到的图像融合获得初步深度图像；
步骤2：采用基于梯度、方差、均值三种评价指标的遮挡线索方法对步骤1中提取的边缘进行增强；
步骤3：利用马尔科夫随机场，构建基于像素值和遮挡线索值的能量函数，见下式：
Figure BDA0002766557550000031
其中|Z1-Z2|为初始深度图像相邻像素点的差值，|W1-W2|为初始深度图像相邻像素点遮挡线索的差值，(x,y)为像素空间坐标；
遍历所有像素点，对初始深度图像进行平滑，使能量函数最小，得到优化深度图像；
步骤4：将光场相机拍摄图像与优化深度图像进行融合得到多幅点云图像，利用ICP算法对多幅点云图像进行拼接生成点云地图。
具体实施例：
本发明目的在于为无人机在自主飞行时同一种生成点云地图的新思路，传统RGB-D相机相对于无人机来说体积及重量较大，而本发明基于光场成像的原理，仅在主透镜和传感器之间增加微透镜阵列，从一定程度上可以更好地满足自主飞行中无人机对轻量的要求。
本发明的思路是利用主透镜、微透镜阵列、传感器平面及成像平面之间的三角关系搭建重聚焦模型并基于此推出重聚焦公式以及重聚焦系数
Figure BDA0002766557550000032
其中，F为主透镜到传感器平面的距离，F'为主透镜到重聚焦平面的距离；根据canny算子和角度区域划分的优化对光场相机拍摄图像的边缘进行提取并获取初步深度图像，再利用遮挡线索提取和马尔科夫优化的方式来优化深度图像使图像中深度的表示更为清晰；利用光场相机拍摄图像、优化深度图像及点云图像之间的转换关系生成多幅点云图像；再利用ICP算法对点云图像进行拼接。
具体过程如下：
1、如图1所示，光场相机图像用4D的光场信息L(x,y,u,v)来表征，其中(u,v)为二维角度信息、(x,y)为二维空间信息。在构建重聚焦模型时为了简化主透镜、传感器、微透镜阵列、成像平面和光线之间的线面三角关系将L(x,y,u,v)压缩成2D的形式L(x,u)，如图1所示，根据成像平面和光线之间的三角相似关系可以得出在仅用二维数据来表征光场信息的情况下，光场相机传感器平面上的成像点和重聚焦平面上的成像点之间的位置关系，如式(1)所示：
Figure BDA0002766557550000041
其中，
Figure BDA0002766557550000042
为光场相机传感器平面上的成像点，x′2u为重聚焦平面上的成像点，
Figure BDA0002766557550000043
定义为距离系数，
Figure BDA0002766557550000044
定义为重聚焦系数，F为主透镜到传感器平面的距离，F′为主透镜到重聚焦平面的距离，m为预设参数，f光场相机传感器焦距。
将2D的光场信息扩展成4D，则扩展后的重聚焦公式如(2)所示：
Figure BDA0002766557550000045
其中，(x′,y′)为扩展后的二维空间信息，L0(·)为扩展函数。
将光场的所有角度信息经过相加后得到(3)式即为光场的重聚焦公式：
Figure BDA0002766557550000046
通过(3)式可得将4D光场信息中所有角度像素对应的空间像素求和，则可获得在重聚焦平面上每点的像素值，即重聚焦后的二维图像。由此可知，通过改变聚焦系数α可以使不同目标物体达到其正确聚焦深度。
由(3)式可知重聚焦后各个点的像素值可以根据该点的角度信息求和得到，遍历所有像素点后即可得到重聚焦后的二维图像，即重聚焦系数可以改变聚焦深度。光线聚焦至像素点的正确深度时，该位置在图像中最为清晰，且满足以下关系：
Figure BDA0002766557550000047
其中，object表示物体和相机之间的相对距离，image表示成像距离，f为重聚焦模型中主透镜与微透镜阵的焦距，由重聚焦系数和式(4)的关系可知，聚焦系数α和object之间的关系成负相关，即用聚焦系数组成的灰度图像可看作是深度图像。
2、遍历所有像素点，提取每个像素点的所有角度信息组成角度区域并截取原图中同样大小的空间区域作为对照，根据两图像的梯度划分边缘的角度，若两图像角度一致则表示该区域没有遮挡物，即实现了深度同一，反之则存在遮挡。根据角度区域划分的结果及canny算子边缘提取的结果来进行深度估计。利用方差的大小来表示像素点之间差异的大小，没被遮挡的区域由于像素变化较为平缓方差也相应的较小，方差计算如式(5)：
Figure BDA0002766557550000051
其中
Figure BDA0002766557550000052
为在聚焦系数αj下区域内像素的均值，Nj为第j个角度区域的值。
利用聚焦的发散程度同样可以作为判断区域是否存在遮挡的依据，建立散焦响应：
Figure BDA0002766557550000053
将方差和散焦响应相加结合构成新的评价指标：
Figure BDA0002766557550000054
当评价指标达到最小时意味着该像素点聚焦至正确深度。
3、使用梯度作为描述图像边缘的参考线索，对已初步获取的深度图像求梯度，并为了保证整体差异性不要过大导致其余遮挡线索值过小而被忽略，将梯度值与该点的像素值相除获得第一个遮挡线索值：
Figure BDA0002766557550000055
式中，
Figure BDA0002766557550000056
表示像素点梯度值，Z(x,y)表示像素值。
由于未被遮挡的区域像素变化平缓所得方差值较小，而有遮挡的区域相反，所以将区域间的方差值作为第二个遮挡线索值：
Figure BDA0002766557550000057
同理，可将区域间的均值作为第三个遮挡线索值：
Figure BDA0002766557550000058
将三个遮挡线索值归一化如式(11)所示，并设定阈值为0.1来将图像的边缘更为清晰的提取出来。
W(x,y)＝N(Wc(x,y))·N(WV(x,y))·N(WA(x,y)) (11)
将归一化的遮挡线索值W(x,y)和初始深度图像一起利用马尔科夫随机场进行平滑优化，其实质是利用聚类的思想，基于图像中各个像素点属于不同类别的概率进行分类：
Figure BDA0002766557550000061
其中，U为像素点集合，V为分类结果，由于在优化之前并不知道类别的数量，则构造概率密度函数：
P(V)＝z-1e-E(V) (13)
其中E(V)为根据初始深度图像构建能量函数：
Figure BDA0002766557550000062
其中|Z1-Z2|为原始深度图像相邻像素点的差值，该值越小表示平滑度越高，|W1-W2|为相邻像素点遮挡线索的差值，该值越大表明遮挡线索的可信度越高，由此可知能量函数E越小越好，即变为最小化问题。
遍历所有像素点，对初始深度图像进行平滑，使能量函数E最小，得到优化深度图像；
将光场相机拍摄图像与优化深度图像进行融合得到多幅点云图像，利用ICP算法对多幅点云图像进行拼接生成点云地图。

Claims (1)

1.一种基于光场成像的点云地图获取方法，其特征在于，包括以下步骤：
步骤1：采用canny算子对光场相机拍摄图像进行边缘提取；设置重聚焦系数，对光场相机拍摄图像进行重聚焦；将边缘提取得到的图像和重聚焦得到的图像融合获得初步深度图像；
步骤2：采用基于梯度、方差、均值三种评价指标的遮挡线索方法对步骤1中提取的边缘进行增强；
步骤3：利用马尔科夫随机场，构建基于像素值和遮挡线索值的能量函数，见下式：
Figure FDA0002766557540000011
其中|Z1-Z2|为初始深度图像相邻像素点的差值，|W1-W2|为初始深度图像相邻像素点遮挡线索的差值，(x,y)为像素空间坐标；
遍历所有像素点，对初始深度图像进行平滑，使能量函数最小，得到优化深度图像；
步骤4：将光场相机拍摄图像与优化深度图像进行融合得到多幅点云图像，利用ICP算法对多幅点云图像进行拼接生成点云地图。
CN202011235114.6A 2020-11-08 2020-11-08 一种基于光场成像的点云地图获取方法 Active CN112288669B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011235114.6A CN112288669B (zh) 2020-11-08 2020-11-08 一种基于光场成像的点云地图获取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011235114.6A CN112288669B (zh) 2020-11-08 2020-11-08 一种基于光场成像的点云地图获取方法

Publications (2)

Publication Number Publication Date
CN112288669A true CN112288669A (zh) 2021-01-29
CN112288669B CN112288669B (zh) 2024-01-19

Family

ID=74351637

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011235114.6A Active CN112288669B (zh) 2020-11-08 2020-11-08 一种基于光场成像的点云地图获取方法

Country Status (1)

Country Link
CN (1) CN112288669B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113298943A (zh) * 2021-06-10 2021-08-24 西北工业大学 一种基于光场成像的esdf地图构建方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030156762A1 (en) * 2001-10-15 2003-08-21 Jonas August Volterra filters for enhancement of contours in images
CN102509119A (zh) * 2011-09-30 2012-06-20 北京航空航天大学 一种基于分类器的图像场景分层与对象遮挡处理方法
CN105701823A (zh) * 2016-01-14 2016-06-22 无锡北邮感知技术产业研究院有限公司 由遮挡关系恢复深度次序的方法
WO2016184099A1 (zh) * 2015-05-15 2016-11-24 清华大学深圳研究生院 基于光场数据分布的深度估计方法
CN109064505A (zh) * 2018-07-26 2018-12-21 清华大学深圳研究生院 一种基于滑动窗口张量提取的深度估计方法
CN109255809A (zh) * 2018-09-26 2019-01-22 郑州云海信息技术有限公司 一种光场图像深度估计方法及装置
CN111351446A (zh) * 2020-01-10 2020-06-30 奕目(上海)科技有限公司 一种用于三维形貌测量的光场相机校准方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030156762A1 (en) * 2001-10-15 2003-08-21 Jonas August Volterra filters for enhancement of contours in images
CN102509119A (zh) * 2011-09-30 2012-06-20 北京航空航天大学 一种基于分类器的图像场景分层与对象遮挡处理方法
WO2016184099A1 (zh) * 2015-05-15 2016-11-24 清华大学深圳研究生院 基于光场数据分布的深度估计方法
CN105701823A (zh) * 2016-01-14 2016-06-22 无锡北邮感知技术产业研究院有限公司 由遮挡关系恢复深度次序的方法
CN109064505A (zh) * 2018-07-26 2018-12-21 清华大学深圳研究生院 一种基于滑动窗口张量提取的深度估计方法
CN109255809A (zh) * 2018-09-26 2019-01-22 郑州云海信息技术有限公司 一种光场图像深度估计方法及装置
CN111351446A (zh) * 2020-01-10 2020-06-30 奕目(上海)科技有限公司 一种用于三维形貌测量的光场相机校准方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘晓?;杜梦珠;马治邦;朱云飞;陈澎勃;马凤英;: "基于遮挡场景的光场图像深度估计方法", 光学学报, no. 05 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113298943A (zh) * 2021-06-10 2021-08-24 西北工业大学 一种基于光场成像的esdf地图构建方法

Also Published As

Publication number Publication date
CN112288669B (zh) 2024-01-19

Similar Documents

Publication Publication Date Title
US10353271B2 (en) Depth estimation method for monocular image based on multi-scale CNN and continuous CRF
CN108596961B (zh) 基于三维卷积神经网络的点云配准方法
CN107833181B (zh) 一种基于变焦立体视觉的三维全景图像生成方法
CN108981672A (zh) 基于单目机器人与测距传感器结合的舱门实时定位方法
CN111107337B (zh) 深度信息补全方法及其装置、监控系统和存储介质
CN113985445A (zh) 一种基于相机与激光雷达数据融合的3d目标检测算法
CN113052066B (zh) 三维目标检测中基于多视图和图像分割的多模态融合方法
CN111209840B (zh) 一种基于多传感器数据融合的3d目标检测方法
CN112419497A (zh) 基于单目视觉的特征法与直接法相融合的slam方法
CN109064505A (zh) 一种基于滑动窗口张量提取的深度估计方法
CN112132900B (zh) 一种视觉重定位方法及系统
Shi et al. An improved lightweight deep neural network with knowledge distillation for local feature extraction and visual localization using images and LiDAR point clouds
CN117036300A (zh) 基于点云-rgb异源图像多级配准映射的路面裂缝识别方法
CN110443228B (zh) 一种行人匹配方法、装置、电子设备及存储介质
Yang et al. Raindrop removal with light field image using image inpainting
CN112132771B (zh) 一种基于光场成像的多聚焦图像融合方法
CN112288669B (zh) 一种基于光场成像的点云地图获取方法
CN114298151A (zh) 一种基于点云数据与图像数据融合的3d目标检测方法
CN113947724A (zh) 一种基于双目视觉的线路覆冰厚度自动测量方法
Jisen A study on target recognition algorithm based on 3D point cloud and feature fusion
CN116704307A (zh) 基于图像虚拟点云与激光点云融合的目标检测方法及系统
CN112002008A (zh) 一种整合光学和视觉智能技术的三维物体检测装置和方法
WO2021111482A1 (en) Method to determine the depth from images by self-adaptive learning of a neural network and system thereof
CN113298943A (zh) 一种基于光场成像的esdf地图构建方法
Ikehata et al. Confidence-based refinement of corrupted depth maps

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant