CN106204707B - 一种单目时域拓扑匹配三维成像方法 - Google Patents
一种单目时域拓扑匹配三维成像方法 Download PDFInfo
- Publication number
- CN106204707B CN106204707B CN201610564944.0A CN201610564944A CN106204707B CN 106204707 B CN106204707 B CN 106204707B CN 201610564944 A CN201610564944 A CN 201610564944A CN 106204707 B CN106204707 B CN 106204707B
- Authority
- CN
- China
- Prior art keywords
- frame image
- matching
- characteristic point
- image
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Graphics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
一种单目时域拓扑匹配三维成像方法,对目标采集A、B帧图像,其中A、B帧图像中具有重叠的影像部分;对A、B帧图像分别进行特征点提取及特征描述;利用双向特征匹配对A、B帧图像进行特征匹配得到特征点对;根据匹配得到的特征点对依次对A、B帧图像构建拓扑结构;对A、B帧图像进行拓扑匹配,对B帧图像进行几何修正,得到A、B帧图像像素一一对应的重叠区域;对A、B帧图像的重叠区域进行超分辨率三维重建,实现目标的三维成像,该方法对搭载平台运动稳定性要求不高,适用性好。
Description
技术领域
本发明涉及三维成像技术领域,具体涉及一种基于时域信息的单目拓扑匹配的三维成像方法。
背景技术
距离选通三维成像是一种主动照明的三维成像技术,可广泛用于车辆自主导航和三维场景重建等领域。距离选通中的超分辨率三维成像利用回波展宽效应构造满足特定几何形状的距离能量包络,通过两幅图像反演获得目标的三维信息,具有实时性好、距离分辨率高、作用距离远等特点,根据距离能量包络的几何形状可分为矩形距离能量包络(Laurenzis M,Christnacher F,Monnin D.Long-range three-dimensional activeimagingwith superresolution depth mapping[J].Optics Letters,2007,32(21):3146-3148.)和三角形距离能量包络(Wang Xinwei,Li Youfu,Zhou Yan.Triangular-range-intensity profile spatial -correlation method for 3D supper-resolution range-gated imaging[J].Applied Optics,2013,52(30):7399-7046.)。但是,超分辨三维成像方法使用的两幅图像需满足像素一一对应,这要求采集图像过程中需保持目标与成像系统间处于相对静止状态。如图1所示,在动平台或动目标条件下采集的两幅图像中的目标会出现位置变化及畸变现象,两幅图像中目标无法满足像素一一对应条件,导致在进行超分辨率三维重建过程中,回波展宽效应构造的距离能量包络无法作用在同一目标位置处,求取错误的目标三维信息。因此,针对动平台或动目标条件下的超分辨率三维成像无法得到准确的目标三维信息,无法实现三维重建工作。
发明内容
(一)要解决的技术问题
鉴于上述技术问题,为了克服上述现有技术的不足,本发明提出了一种单目时域拓扑匹配三维成像方法。
(二)技术方案
根据本发明的一个方面,提供了一种单目时域拓扑匹配三维成像方法,对目标采集A、B帧图像,其中A、B帧图像中具有重叠的影像部分;对A、B帧图像分别进行特征点提取及特征描述;利用双向特征匹配对A、B帧图像进行特征匹配得到特征点对;根据匹配得到的特征点对依次对A、B帧图像构建拓扑结构;对A、B帧图像进行拓扑匹配,对B帧图像进行几何修正,得到A、B帧图像像素一一对应的重叠区域;对A、B帧图像的重叠区域进行超分辨率三维重建,实现目标的三维成像。
(三)有益效果
从上述技术方案可以看出,本发明具有以下有益效果:
(1)采用特征匹配及特征点构建的拓扑结构对图像进行匹配,实现单目时域信息不同的两幅图像的全局匹配,对匹配得到两幅图像进行三维重建,获得目标三维图像,对搭载平台运动稳定性要求不高,适用性好;
(2)特征匹配采用双向特征匹配方法,提高特征点对匹配鲁棒性。
附图说明
图1a为本发明实施例中平台运动情况下采集图像的示意图;
图1b为本发明实施例中动目标情况下采集图像的示意图;
图1c为图1a或图1b的情况下三维成像的示意图;
图2为本发明实施例中单目时域拓扑匹配三维成像方法流程图;
图3为图2所示流程中特征点对构建拓扑结构及拓扑子区域匹配实现图像匹配示意图;
图4a为图1b中采集的实物A、B帧灰度图像;
图4b为图1b中单目时域拓扑匹配前后的超分辨三维成像的三维图像。
【主要元件】
1-成像系统;2-目标;3-平台。
具体实施方式
本发明某些实施例于后方将参照所附附图做更全面性地描述,其中一些但并非全部的实施例将被示出。实际上,本发明的各种实施例可以许多不同形式实现,而不应被解释为限于此数所阐述的实施例;相对地,提供这些实施例使得本发明满足适用的法律要求。
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明进一步详细说明。
本发明中图像采集所用成像系统1搭载在平台3上,主要由脉冲激光器、选通成像器件和时序控制器组成。其中脉冲激光器可以为半导体激光器、固体激光器等激光器,优选半导体激光器,选通成像器件可以为ICCD、ICMOS等,优选为ICCD。脉冲激光器发射激光脉冲,对目标进行照明,形成反向传播的回波信号,通过时序控制器控制脉冲激光器和选通成像器件,选择合适的工作时序,利用选通成像器件采集回波信号,得到两帧图像,两帧图像中具有重叠的影像部分。
在平台3运动或目标2运动条件下,如图1a和1b所示,目标2与成像系统1间的相对运动会产生目标2位移,导致两帧图像间像素不一一对应。针对两帧图像利用特征匹配及拓扑结构匹配实现两幅图像全局匹配,得到像素一一对应的两幅图像,进而对两幅图像的重叠区域进行超分辨率三维成像算法获取目标三维信息,实现三维重建,图1c示出了在平台3运动或目标2运动下三维成像的示意图。
具体的,如附图2所示,针对平台3运动或目标2运动条件下,本发明提供的单目时域拓扑匹配三维成像方法具体为:
步骤A:利用成像系统1采集A、B帧图像;
成像系统1中的脉冲激光器发射激光脉冲,对目标进行照明,形成后向传播的回波信号,通过时序控制器控制成像系统1中的脉冲激光器和选通成像器件,选择合适的工作时序,利用选通成像器件采集回波信号,得到A、B帧图像。
步骤B:对A、B帧图像分别进行特征点提取及特征描述;
首先,分别对A、B帧图像提取特征点,特征点的提取采用具有空间尺度不变性的surf(Speeded Up Robust Features)方法,该方法对光照变换和空间变换具有较强的鲁棒性;
欲进行特征点的匹配,必须提取出特征点的特征向量并利用两个向量的相似程度判断两个点是否为相互对应的点,特征向量用于对特征点进行特征描述,利用特征向量的方向和模来确定特征点与邻域的灰度梯度大小和方向。
步骤C:利用双向特征匹配对A、B帧图像进行特征匹配得到特征点对;
采用特征向量的欧氏距离(Euclidean Distance)作为两幅图像特征点的相似性度量,进行特征匹配,特征匹配优选采用双向匹配方法,可以得到鲁棒性强的特征点对,双向特征匹配方法为如下:
步骤C1:以A帧图像中的特征点作为基准,寻找B帧图像中与A帧图像中的特征点匹配的特征点,得到A向B的特征点对;
步骤C2:以B帧图像中的特征点作为基准,寻找A帧图像中与B帧图像中的特征点匹配的特征点,得到B向A的特征点对;
步骤C3:对C1、C2中两次单向匹配中的特征点对进行筛选,提取公共特征点对作为最终的匹配特征点对,提高特征点对匹配鲁棒性。
步骤D:根据匹配得到的特征点对依次对A、B帧图像构建拓扑结构;
图3给出了构建拓扑结构及拓扑匹配的示意图,在A帧图像中,以匹配得到的特征点为结点,连接近邻结点构成三角形拓扑子区域,对子区域进行编号,构建整幅图像的拓扑结构,并按照拓扑结构进行拓扑分割,三角形拓扑子区域构建的原则如下:
a:三角形区域内无结点,
b:三角形区域三条边上无结点,
c:三角形内无其他三角形边穿过。
B帧图像中的拓扑结构依据得到的匹配特征点对一一对应的关系构建与A图中一一对应的拓扑结构。
步骤E:对A、B帧图像进行拓扑匹配,对B帧图像进行几何修正,得到A、B帧图像像素一一对应的重叠区域;
构建一一对应的拓扑结构后,对A、B帧图像中目标产生的位置变换和几何变化进行修正,按照拓扑子区域的编号依次选择两幅图像中一一对应的拓扑子区域,以A帧图像为基准,利用拓扑子区域的三角形结构对B帧图像中对应的拓扑子区域进行几何变换,使得两个子区域具有相同的几何形状及灰度分布,几何变换过程中需增加或删除部分像素点,其中增加的像素点灰度信息需满足如下条件:
a:增加的像素点的灰度信息参考邻域像素灰度信息进行插值,
b:增加的像素点的灰度信息与其邻域像素点的灰度信息关系与A帧图中该对应像素邻域灰度信息变化关系一致。
修正两幅图像拓扑子区域的几何形状和灰度信息分布关系后,需保证对应拓扑子区域在两幅图像中具有相同的位置信息,这一步同样以A帧图像为基准,依次将匹配后的B帧图像拓扑子区域按相应A帧图像子区域的位置信息进行排放,得到拓扑子区域位置信息一致的A、B两幅图像。通过以上处理,两幅图像实现全区域匹配,得到重叠区域像素的一一对应关系。
步骤F:对A、B帧图像重叠区域进行超分辨率三维重建,由公式(1)获得目标的三维图像;
最后对两幅图像的重叠区域利用三角形或梯形超分辨率三维成像算法获取目标三维信息。超分辨率三维成像是通过回波展宽效应构造满足特定几何形状的距离能量包络,通过两幅空间交叠的切片图像间的距离能量相关性建立像素灰度比与距离能量比的映射关系,利用三维反演算法获取目标距离信息,而后根据几何透射投影理论便可反演获得每个像素对应的空间单元的三维空间信息,进而实现三维重建。
上述的获得目标三维距离后,根据几何透射投影理论便可反演获得每个像素对应的空间单元的三维空间信息为:
公式(1)中,f为成像系统的焦距,该焦距可由成像镜头的出场参数获得,xi和yj为选通图像中第i行第j列像素在像平面坐标系下的x轴和y轴像素坐标,Xi、Yj和Zi,j为选通图像中第i行第j列像素在摄像机坐标系下对应的空间单元的三维空间坐标,ri,j为选通图像中第i行第j列像素对应的空间距离,I为总行数,J为总列数。
步骤G:完毕,输出目标的三维图像。
为了验证本发明的有效性,以下对图2中所示的方法进行了实例验证。图4a为在动平台条件下利用图像采集系统拍摄实物的A、B帧灰度图,B帧图像中目标相对于A帧图像中目标位置角度发生变化。图4b为拓扑匹配前后A、B帧图像使用超分辨率三维成像得到的三维图像,从图中可以看出因像素不一一对应,拓扑匹配前无法得到目标有效三维信息;利用特征匹配、拓扑结构匹配对A、B帧图像进行全局匹配后,获得的重叠区域像素一一对应,可得到目标三维有效信息,目标距离成像设备的距离为34m。从图4a及图4b中看出,利用单目时域拓扑匹配成像方法可用于可动平台或动目标的高分辨率三维成像工作。
本领域技术人员应当理解,尽管本发明实施例中步骤4、5以A帧图像为基准,对B帧图像相应构建拓扑结构及进行几何变换,本发明同样可以B帧图像为基准,对B帧图像相应构建拓扑结构及进行几何变换。
应注意,附图中各部件的形状和尺寸不反映真实大小和比例,而仅示意本发明实施例的内容。
实施例中提到的方向用语,例如“上”、“下”、“前”、“后”、“左”、“右”等,仅是参考附图的方向,并非用来限制本发明的保护范围。并且上述实施例可基于设计及可靠度的考虑,彼此混合搭配使用或与其他实施例混合搭配使用,即不同实施例中的技术特征可以自由组合形成更多的实施例。
需要说明的是,在附图或说明书正文中,未绘示或描述的实现方式,均为所属技术领域中普通技术人员所知的形式,并未进行详细说明。此外,上述对各元件和方法的定义并不仅限于实施例中提到的各种具体结构、形状或方式,本领域普通技术人员可对其进行简单地更改或替换。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (8)
1.一种单目时域拓扑匹配三维成像方法,其特征在于,包括以下步骤:
步骤A:对目标(2)采集A、B帧图像,其中A、B帧图像中具有重叠的影像部分;
步骤B:对A、B帧图像分别进行特征点提取及特征描述;
步骤C:利用双向特征匹配对A、B帧图像进行特征匹配得到特征点对;
步骤D:根据匹配得到的特征点对依次对A、B帧图像构建拓扑结构;
步骤E:对A、B帧图像进行拓扑匹配,对B帧图像进行几何修正,得到A、B帧图像像素一一对应的重叠区域;
步骤F:对A、B帧图像的重叠区域进行超分辨率三维重建,实现目标(2)的三维成像,
所述步骤D包括:
步骤D1:在A帧图像中,以匹配得到的特征点对的特征点为结点,连接近邻结点构成三角形拓扑子区域,对所述拓扑子区域进行编号,构建整幅图像的拓扑结构;
步骤D2:在B帧图像中依据得到的匹配特征点对一一对应的关系构建具有与A帧图像中一一对应拓扑子区域的拓扑结构;
所述步骤E包括:
步骤E1:按照拓扑子区域的编号依次选择A、B幅图像中一一对应的拓扑子区域,以A帧图像为基准,利用拓扑子区域的三角形结构对B帧图像中对应的拓扑子区域进行几何变换,使得两个对应拓扑子区域具有相同的几何形状及灰度分布;
步骤E2:以A帧图像为基准,依次将几何变换后B帧图像拓扑子区域按相应A帧图像拓扑子区域的位置信息进行排放,得到对应拓扑子区域位置信息一致的A、B两幅图像。
2.根据权利要求1所述的单目时域拓扑匹配三维成像方法,其特征在于,步骤C包括:
步骤C1:以A帧图像中的特征点作为基准,寻找B帧图像中与A帧图像中的特征点匹配的特征点,得到A帧图形向B帧图像的特征点对;
步骤C2:以B帧图像中的特征点作为基准,寻找A帧图像中与B帧图像中的特征点匹配的特征点,得到B帧图形向A帧图形的特征点对;
步骤C3:对步骤C1和步骤C2中两次单向匹配中的特征点对进行筛选,提取公共特征点对作为最终的匹配特征点对。
3.根据权利要求1所述的单目时域拓扑匹配三维成像方法,其特征在于,步骤F包括:
步骤F1:通过所述步骤E中得到的具有像素一一对应的重叠区域的A、B帧图像间的距离能量相关性建立像素灰度比与距离能量比的映射关系,利用三维反演算法获取目标距离信息;
步骤F2:根据几何透射投影理论反演获得每个像素对应的空间单元的三维空间信息,实现三维重建。
4.根据权利要求3所述的单目时域拓扑匹配三维成像方法,其特征在于,步骤F2中采用如下公式获得每个像素对应的空间单元的三维空间信息:
其中,f为成像系统的焦距,xi和yj为选通图像中第i行第j列像素在像平面坐标系下的x轴和y轴像素坐标,Xi、Yj和Zi,j为选通图像中第i行第j列像素在摄像机坐标系下对应的空间单元的三维空间坐标,ri,j为选通图像中第i行第j列像素对应的空间距离,I为总行数,J为总列数。
5.根据权利要求1-4中任一所述的单目时域拓扑匹配三维成像方法,其特征在于,步骤A中通过单目的成像系统(1)采集A帧图像和B帧图像,所述成像系统(1)搭载在平台(3)上,所述平台(3)相对于目标(2)旋转平移。
6.根据权利要求5所述的单目时域拓扑匹配三维成像方法,其特征在于:所述成像系统(1)包括脉冲激光器、选通成像器件和时序控制器,所述脉冲激光器发射激光脉冲,对目标(2)进行照明,形成反向传播的回波信号,所述选通成像器件采集回波信号,得到A帧图像和B帧图像,所述时序控制器控制脉冲激光器和选通成像器件,选择工作时序。
7.根据权利要求6所述的单目时域拓扑匹配三维成像方法,其特征在于:
所述脉冲激光器为半导体激光器或固体激光器,和/或,
所述选通成像器件为ICCD或ICMOS。
8.根据权利要求1-4中任一所述的单目时域拓扑匹配三维成像方法,其特征在于,步骤F之后还包括:
步骤G:输出目标(2)的三维图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610564944.0A CN106204707B (zh) | 2016-07-18 | 2016-07-18 | 一种单目时域拓扑匹配三维成像方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610564944.0A CN106204707B (zh) | 2016-07-18 | 2016-07-18 | 一种单目时域拓扑匹配三维成像方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106204707A CN106204707A (zh) | 2016-12-07 |
CN106204707B true CN106204707B (zh) | 2019-02-15 |
Family
ID=57493702
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610564944.0A Active CN106204707B (zh) | 2016-07-18 | 2016-07-18 | 一种单目时域拓扑匹配三维成像方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106204707B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106846378B (zh) * | 2017-01-23 | 2019-12-03 | 中山大学 | 一种结合时空拓扑估计的跨摄像机目标匹配与跟踪方法 |
CN107977991B (zh) * | 2017-11-30 | 2019-07-09 | 齐鲁工业大学 | 基于空间距离与数据分布相似性度量的医学图像配准方法 |
CN110197104B (zh) * | 2018-02-27 | 2022-03-29 | 杭州海康威视数字技术股份有限公司 | 基于车辆的测距方法及装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103604417A (zh) * | 2013-11-15 | 2014-02-26 | 南京师范大学 | 物方信息约束的多视影像双向匹配策略 |
US20160148427A1 (en) * | 2012-05-17 | 2016-05-26 | Disney Enterprises, Inc. | Techniques for processing reconstructed three-dimensional image data |
-
2016
- 2016-07-18 CN CN201610564944.0A patent/CN106204707B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160148427A1 (en) * | 2012-05-17 | 2016-05-26 | Disney Enterprises, Inc. | Techniques for processing reconstructed three-dimensional image data |
CN103604417A (zh) * | 2013-11-15 | 2014-02-26 | 南京师范大学 | 物方信息约束的多视影像双向匹配策略 |
Non-Patent Citations (2)
Title |
---|
基于拓扑及三角剖分的无约束场景特征匹配;曾丹 等;《计算机辅助设计与图像学学报》;20150531;第27卷(第5期);正文第1-2节 * |
心血管三维重建的拓扑匹配方法;吕鹏;《生物医学工程学杂志》;20110228;第28卷(第1期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN106204707A (zh) | 2016-12-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Waechter et al. | Let there be color! Large-scale texturing of 3D reconstructions | |
Yang et al. | Color-guided depth recovery from RGB-D data using an adaptive autoregressive model | |
Bao et al. | Instereo2k: a large real dataset for stereo matching in indoor scenes | |
CN104574393B (zh) | 一种三维路面裂缝图像生成系统和方法 | |
CN110060202A (zh) | 一种单目slam算法的初始化方法及系统 | |
CN106204707B (zh) | 一种单目时域拓扑匹配三维成像方法 | |
CN109087394A (zh) | 一种基于低成本rgb-d传感器的实时室内三维重建方法 | |
CN101853528A (zh) | 一种手持式三维型面信息提取方法及其提取仪 | |
CN104021588A (zh) | 一种实时恢复车辆三维真实模型的系统及方法 | |
Bu et al. | Pedestrian planar LiDAR pose (PPLP) network for oriented pedestrian detection based on planar LiDAR and monocular images | |
CN106023080A (zh) | 一种车载全景图像无缝拼接处理系统 | |
Zhu et al. | Monocular 3d vehicle detection using uncalibrated traffic cameras through homography | |
CN107527366A (zh) | 一种面向深度相机的相机跟踪方法 | |
Zhao et al. | A unified framework for automated registration of point clouds, mesh surfaces and 3D models by using planar surfaces | |
CN105976324A (zh) | 一种车载图像拼接方法 | |
JPWO2011039977A1 (ja) | 横断歩道標示検出方法および横断歩道標示検出装置 | |
Kinzig et al. | Real-time seamless image stitching in autonomous driving | |
Kwon et al. | Neural image-based avatars: Generalizable radiance fields for human avatar modeling | |
Parmehr et al. | Automatic registration of optical imagery with 3d lidar data using local combined mutual information | |
CN103325140B (zh) | 一种三维重建方法及系统 | |
Tang et al. | Content-based 3-D mosaics for representing videos of dynamic urban scenes | |
CN107305252A (zh) | 主动提取目标深度细节的快速成像方法 | |
Zhang et al. | Pseudo-LiDAR point cloud magnification | |
CN110148168B (zh) | 一种基于大小双基线的三目相机深度图像处理方法 | |
WO2018059632A1 (de) | Detektion und validierung von objekten aus sequentiellen bildern einer kamera mittels homographien |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |