CN111127572A - 基于轴向采集方式的集成成像深度图获取方法 - Google Patents

基于轴向采集方式的集成成像深度图获取方法 Download PDF

Info

Publication number
CN111127572A
CN111127572A CN202010000443.6A CN202010000443A CN111127572A CN 111127572 A CN111127572 A CN 111127572A CN 202010000443 A CN202010000443 A CN 202010000443A CN 111127572 A CN111127572 A CN 111127572A
Authority
CN
China
Prior art keywords
image
point
camera
depth
acquired
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010000443.6A
Other languages
English (en)
Inventor
杨絮
杨金晓
王宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun University of Science and Technology
Original Assignee
Changchun University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun University of Science and Technology filed Critical Changchun University of Science and Technology
Priority to CN202010000443.6A priority Critical patent/CN111127572A/zh
Publication of CN111127572A publication Critical patent/CN111127572A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开一种轴向采集方式的集成成像深度图获取方法。主要包括两个步骤：根据轴向采集方式设置的参数以及采集的元素图像间同名像点距离的比例关系，计算三维物体点在元素图像中的同名像点坐标；根据同名像点颜色值的误差最小值，计算该点深度。传统集成成像系统获取深度图的方法利用微透镜阵列采集元素图像，由于尺寸的限制，采集到的元素图像分辨率非常低，所获取的深度图质量较差。本发明采用轴向分布相机采集，只需要一台相机沿光轴移动，运动简单并且可以采集到高分辨率的元素图像，充分利用了元素图像的纵向视差信息，可以有效的提取准确的深度图。

Description

基于轴向采集方式的集成成像深度图获取方法
技术领域
本发明涉及一种三维深度信息获取方法，特别涉及一种利用轴向采集方式的集成成像系统中获取深度图的方法。
背景技术
三维场景深度信息在无人驾驶、机器人视觉、机器人避障、虚拟现实等领域有着广泛的应用。目前深度图的获取主要有两种方式，一种是通过深度相机进行拍摄获取，一种是通过从不同视点拍摄的两幅或更多幅图像来获取场景的深度信息。由于深度相机价格昂贵且获取的深度图分辨率较低，所以第二种方式成为获取深度图的主要手段。
集成成像(Integral Imaging，简称II),是一种用微透镜阵列来记录和显示空间场景信息的全真三维显示技术。采集时，3D物空间场景通过微透镜阵列被CCD相机采集，每个微透镜都从不同的方向记录一部分物体空间，生成的小图被称为元素图像。集成成像能够通过记录3D物体的不同视角来提取深度信息，目前已被用于深度图的获取。
但是传统集成成像系统获取深度图的方法也存在需要解决的问题，因为每个微透镜采集的元素图像分辨率非常低，获取的深度图质量较差。为了克服这个问题，可以使用多个相机或者移动相机代替微透镜阵列来采集场景信息，从而获得高分辨率图像。其中，2D相机阵列、单个相机沿水平和垂直方向移动的集成成像系统结构比较复杂，而轴向采集方式(一个相机沿光轴方向单向运动)结构简单，是一种比较有吸引力的集成成像系统获取深度图的方法。采集结构如图1所示，相机在距离物体一定位置处沿着相机光轴方向移动，每移动固定距离后拍摄一次，即可采集一幅元素图像，通过这种方式采集的多幅元素图像中含有三维场景的纵向透视信息，可以用来获取深度图。
因此，在采用轴向采集方式的集成成像系统中，研究如何获取深度图的方法，具有重要的应用价值。
发明内容
本发明提出了一种利用轴向移动相机的集成成像技术获取空间场景深度图的方法。首先相机在距离物体一定位置处沿着相机光轴方向移动，间隔固定的距离采集多幅高分辨率元素图像。已知某物体点的空间坐标，可以计算其在每幅元素图像中的投影点坐标。这里将物体点在各幅元素图像中对应的一系列投影点称为同名像点。只有在物体点的正确深度位置时，所计算的各个元素图像中的同名像点颜色值高度相似，即同名像点颜色值的统计误差最小。根据这一原理，可以针对三维物体深度范围内的不同深度值，分别计算某物体点在各个元素图像中同名像点颜色值的统计误差，误差最小值所对应的深度即为该物体点的深度。按照此方法能够获得三维物体的深度图。
本发明采取的技术方案包括下列步骤：
(一)、相机在距离三维物体一定距离处，沿着光轴方向以步距Δz的距离逐渐靠近物体采集元素图像，设相机的焦距为g,轴向移动N-1次，采集到N幅元素图像记为En(n＝1,2,…N)。若三维物体点位于相机光轴上，N幅元素图像不能提供该点深度信息，所以物体应该与相机光轴具有一定的垂直距离；
(二)、计算三维物体点在En中的同名像点坐标；
根据透镜成像原理可知，在轴向分布采集系统中，三维物体的任意一个物点经透镜成像，都可以在轴向分布的元素图像上得到该物点所成的一系列像点，即同名像点。如图2所示，由轴向分布相机采集的元素图像间同名像点距离的比例关系，可以得到任一物体点在采集的一系列元素图像中的同名像点坐标，详细步骤如下：
1.设三维物体某一点到相机光轴的垂直距离为H,与相机的初始位置距离为L。沿光轴方向采集的元素图像En中，该物体点的同名像点与图像中心的垂直距离分别为hn。根据图2所示三角关系可推出h1与hn(n＝1,2…N)的关系式：
Figure BDA0002353035900000021
2.设第一幅元素图像E1某像素点行坐标为
Figure BDA0002353035900000022
列坐标为
Figure BDA0002353035900000023
采集的元素图像大小为p(行)×q(列)，则可以计算在其余N-1幅元素图像En(n＝2,3…N)中对应的同名像点坐标
Figure BDA0002353035900000031
Figure BDA0002353035900000032
Figure BDA0002353035900000033
(三)、针对元素图像E1中某像素点，根据同名像点颜色值的SAD最小值，计算该点深度；
利用式(2)～(3)，计算得到E1中任一像素点在其他元素图像中的一系列同名像点。因为只有在物体点的正确深度位置时，所计算的各个元素图像中的同名像点颜色值高度相似，即同名像点颜色值的统计误差最小，所以本发明采用绝对值差之和(SAD)方法统计同名像点间的颜色值误差，SAD是一种局部图像匹配算法，常用于图像块匹配，评估图像块的相似度。设某物体点与相机初始位置(相机第一次拍摄位置)的距离为L，该物体点在E1中的投影点与其在En(n＝2,3…N)中同名像点颜色值的绝对值差之和表示为SADL，根据式(4)计算：
Figure BDA0002353035900000034
其中b×b代表匹配的窗口大小，N为轴向采集的元素图像个数，En(x',y')是E1(x,y)对应的同名像点的颜色值。
对于三维物体深度范围内的不同L取值，分别计算SADL，当SAD取值最小的L值即为该物体点的深度
Figure BDA0002353035900000035
Figure BDA0002353035900000036
(四)、对元素图像E1中每一个像素点重复上述(二)～(三)操作即可得到E1对应的深度图。
本发明提出一种轴向采集方式的集成成像深度图获取方法，与传统的集成成像采集方式中获得深度信息的方式相比，本发明的深度图获取方式具有显著的技术效果：
(1)传统集成成像系统获取深度图的方法利用微透镜阵列采集元素图像，由于尺寸的限制，每个微透镜实际相当于一台分辨率非常低的相机，采集到的元素图像分辨率非常低，所获取的深度图质量较差。本发明采用轴向分布相机采集，只需要一台相机沿光轴移动，运动简单并且可以采集到高分辨率的元素图像，充分利用了元素图像的纵向视差信息；
(2)利用采集到的多幅高分辨率元素图像的纵向视差信息，对物体点的一系列同名像点颜色值进行误差统计来提取深度信息。考虑到物体点周围局部区域中像素强度的空间变化，单独利用一个像素点颜色相似性提取深度信息会产生噪声，所以结合SAD局部窗口匹配算法，利用像素点周围局部窗口内的颜色相似性搜索该点深度信息，增强了算法的鲁棒性，可以有效提高深度图的准确性。
附图说明
图1是轴向采集方式的结构示意图；
图2是轴向采集方式的同名像点关系原理图；
图3a是轴向采集的第1幅元素图像E1；
图3b是轴向采集的第21幅元素图像E21；
图3c是轴向采集的第41幅元素图像E41；
图4是本发明提取的深度图；
上述附图中的图示标号为：
1.相机，2.三维物体，3.相机光轴,4.相机移动方向。
应该理解上述附图只是示意性的，并没有按比例绘制。
具体实施方式
(一)、本发明实施例中采用的三维物体是两个同样的玩具模型，与光轴垂直距离70mm。两个玩具模型前后相距150mm放置，前一个玩具模型与初始相机位置距离350mm，后一个玩具模型与初始相机位置距离500mm。相机的焦距g＝40mm，相机沿着光轴以步距Δz＝3mm的距离逐渐靠近物体采集元素图像，相机轴向移动40次，总位移120mm，采集到41幅元素图像，分辨率为3872×2592像素。采集到的第1幅元素图像E1如图3(a)所示,第21幅元素图像E21如图3(b)所示,第41幅元素图像E41如图3(c)所示；
(二)、根据式(2)～(3)计算三维物体点在E1～E41中的同名像点坐标；
(三)、针对元素图像E1中某像素点，根据同名像点颜色值的SAD最小值，计算该点深度；
设三维物体深度L搜索范围为300mm到600mm，深度步距为10mm。SAD方法统计同名像点间的误差窗口大小为8×8，由式(4)计算得到在不同深度的同名像点的颜色值误差SADL。根据式(5)，对于三维物体深度范围内的不同L取值，当SAD取值最小的L值即为该物体点的深度。
(四)、对元素图像E1中每一个像素点重复上述(二)～(三)操作即可得到E1对应的深度图。深度图如图4所示，图中深色表示深度值较小，浅色表示深度值较大。

Claims (1)

1.一种基于轴向采集方式的集成成像深度图获取方法，其特征在于包括下列步骤：
(一)、相机在距离三维物体一定距离处，沿着光轴方向以步距Δz的距离逐渐靠近物体采集元素图像，设相机的焦距为g,轴向移动N-1次，采集到N幅元素图像记为En(n＝1,2,…N)。若三维物体点位于相机光轴上，N幅元素图像不能提供该点深度信息，所以物体应该与相机光轴具有一定的垂直距离；
(二)、计算三维物体点在En中的同名像点坐标；
根据透镜成像原理可知，在轴向分布采集系统中，三维物体的任意一个物点经透镜成像，都可以在轴向分布的元素图像上得到该物点所成的一系列像点，即同名像点。由轴向分布相机采集的元素图像间同名像点距离的比例关系，可以得到任一物体点在采集的一系列元素图像中的同名像点坐标，详细步骤如下：
(1)设三维物体某一点到相机光轴的垂直距离为H,与相机的初始位置距离为L。沿光轴方向采集的元素图像En中，该物体点的同名像点与图像中心的垂直距离分别为hn。可推出h1与hn(n＝1,2…N)的关系式：
Figure FDA0002353035890000011
(2)设第一幅元素图像E1某像素点行坐标为
Figure FDA0002353035890000012
列坐标为
Figure FDA0002353035890000013
采集的元素图像大小为p(行)×q(列)，则可以计算在其余N-1幅元素图像En(n＝2,3…N)中对应的同名像点坐标
Figure FDA0002353035890000014
Figure FDA0002353035890000015
Figure FDA0002353035890000016
(三)、针对元素图像E1中某像素点，根据同名像点颜色值的SAD最小值，计算该点深度；
利用式(2)～(3)，计算得到E1中任一像素点在其他元素图像中的一系列同名像点。因为只有在物体点的正确深度位置时，所计算的各个元素图像中的同名像点颜色值高度相似，即同名像点颜色值的统计误差最小，所以本发明采用绝对值差之和(SAD)方法统计同名像点间的颜色值误差，SAD是一种局部图像匹配算法，常用于图像块匹配，评估图像块的相似度。设某物体点与相机初始位置(相机第一次拍摄位置)的距离为L，该物体点在E1中的投影点与其在En(n＝2,3…N)中同名像点颜色值的绝对值差之和表示为SADL，根据式(4)计算：
Figure FDA0002353035890000021
其中b×b代表匹配的窗口大小，N为轴向采集的元素图像个数，En(x',y')是E1(x,y)对应的同名像点的颜色值。
对于三维物体深度范围内的不同L取值，分别计算SADL，当SAD取值最小的L值即为该物体点的深度
Figure FDA0002353035890000022
Figure FDA0002353035890000023
(四)、对元素图像E1中每一个像素点重复上述(二)～(三)操作即可得到E1对应的深度图。
CN202010000443.6A 2020-01-06 2020-01-06 基于轴向采集方式的集成成像深度图获取方法 Pending CN111127572A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010000443.6A CN111127572A (zh) 2020-01-06 2020-01-06 基于轴向采集方式的集成成像深度图获取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010000443.6A CN111127572A (zh) 2020-01-06 2020-01-06 基于轴向采集方式的集成成像深度图获取方法

Publications (1)

Publication Number Publication Date
CN111127572A true CN111127572A (zh) 2020-05-08

Family

ID=70507329

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010000443.6A Pending CN111127572A (zh) 2020-01-06 2020-01-06 基于轴向采集方式的集成成像深度图获取方法

Country Status (1)

Country Link
CN (1) CN111127572A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113129350A (zh) * 2021-04-12 2021-07-16 长春理工大学 一种基于相机阵列的深度提取方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102164298A (zh) * 2011-05-18 2011-08-24 长春理工大学 全景成像系统中基于立体匹配的元素图像获取方法
CN104065947A (zh) * 2014-06-18 2014-09-24 长春理工大学 一种集成成像系统的深度图获取方法
US20180088041A1 (en) * 2016-09-27 2018-03-29 Purdue Research Foundation Depth-resolved mid-infrared photothermal imaging of living cells and organisms with sub-mciron spatial resolution
CN109472822A (zh) * 2018-12-29 2019-03-15 上海大学 基于深度图像处理的物体尺寸测量方法
US20190188874A1 (en) * 2017-12-18 2019-06-20 Ningbo YX Information Technology Co., Ltd. Self-correction Method and Device for Structured Light Depth Camera of Smart Phone

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102164298A (zh) * 2011-05-18 2011-08-24 长春理工大学 全景成像系统中基于立体匹配的元素图像获取方法
CN104065947A (zh) * 2014-06-18 2014-09-24 长春理工大学 一种集成成像系统的深度图获取方法
US20180088041A1 (en) * 2016-09-27 2018-03-29 Purdue Research Foundation Depth-resolved mid-infrared photothermal imaging of living cells and organisms with sub-mciron spatial resolution
US20190188874A1 (en) * 2017-12-18 2019-06-20 Ningbo YX Information Technology Co., Ltd. Self-correction Method and Device for Structured Light Depth Camera of Smart Phone
CN109472822A (zh) * 2018-12-29 2019-03-15 上海大学 基于深度图像处理的物体尺寸测量方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王东敏;彭永胜;李永乐;: "视觉与激光点云融合的深度图像获取方法", 军事交通学院学报 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113129350A (zh) * 2021-04-12 2021-07-16 长春理工大学 一种基于相机阵列的深度提取方法

Similar Documents

Publication Publication Date Title
US10742957B2 (en) Three-dimensional imaging system
EP3516626B1 (en) Device and method for obtaining distance information from views
CN102164298B (zh) 全景成像系统中基于立体匹配的元素图像获取方法
US9602805B2 (en) Systems and methods for estimating depth using ad hoc stereo array cameras
CN104539928B (zh) 一种光栅立体印刷图像合成方法
JP5762211B2 (ja) 画像処理装置および画像処理方法、プログラム
US20110249341A1 (en) Super light-field lens with doublet lenslet array element
CN102494609A (zh) 一种基于激光探针阵列的三维摄影方法及装置
US9063323B2 (en) Super light-field lens and image processing methods
CN109712232B (zh) 一种基于光场的物体表面轮廓三维成像方法
CN101551907B (zh) 一种多照相机自动化高精度标定方法
CN105184784A (zh) 基于运动信息的单目相机获取深度信息的方法
CN114359406A (zh) 自动对焦双目摄像头的标定、3d视觉及深度点云计算方法
CN108596960B (zh) 一种光场相机的子孔径图像对齐方法
Wenzel et al. High-resolution surface reconstruction from imagery for close range cultural Heritage applications
CN108805921A (zh) 图像获取系统及方法
CN111127572A (zh) 基于轴向采集方式的集成成像深度图获取方法
JP7300895B2 (ja) 画像処理装置および画像処理方法、プログラム、並びに記憶媒体
CN108090930A (zh) 基于双目立体相机的障碍物视觉检测系统及方法
CN110290373B (zh) 一种增大视角的集成成像计算重构方法
JP5088973B2 (ja) 立体撮像装置およびその撮像方法
Ortiz-Coder et al. Accurate 3d reconstruction using a videogrammetric device for heritage scenarios
Yang et al. 3D integral imaging display processing using the similarity of corresponding points in axially recorded images
CN113129350B (zh) 一种基于相机阵列的深度提取方法
Aondoakaa et al. 3D depth estimation from a holoscopic 3D image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned

Effective date of abandoning: 20240112

AD01 Patent right deemed abandoned