CN109801314A - 一种基于深度学习的双目动态视觉传感器立体匹配方法 - Google Patents
一种基于深度学习的双目动态视觉传感器立体匹配方法 Download PDFInfo
- Publication number
- CN109801314A CN109801314A CN201910044239.1A CN201910044239A CN109801314A CN 109801314 A CN109801314 A CN 109801314A CN 201910044239 A CN201910044239 A CN 201910044239A CN 109801314 A CN109801314 A CN 109801314A
- Authority
- CN
- China
- Prior art keywords
- event
- dynamic visual
- visual sensor
- binocular
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 32
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000013135 deep learning Methods 0.000 title claims abstract description 14
- 239000007787 solid Substances 0.000 title claims abstract description 13
- 238000013528 artificial neural network Methods 0.000 claims abstract description 22
- 238000012549 training Methods 0.000 claims abstract description 20
- 239000013598 vector Substances 0.000 claims description 23
- 238000012512 characterization method Methods 0.000 claims description 17
- 238000010606 normalization Methods 0.000 claims description 5
- 241000208340 Araliaceae Species 0.000 claims description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 claims description 2
- 235000008434 ginseng Nutrition 0.000 claims description 2
- 230000001537 neural effect Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000004218 nerve net Anatomy 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于深度学习的双目动态视觉传感器立体匹配方法,包括以下步骤:1)根据双目事件相机数据集中的深度信息生成训练点对;2)构建适用于动态视觉传感器事件流中事件的表征方式;3)根据表征方式对事件训练点对进行表征,并送入孪生神经网络进行训练,并根据训练结果进行立体匹配。与现有技术相比,本发明具有匹配精度高、匹配速度快等优点。
Description
技术领域
本发明涉及图像匹配技术领域,尤其是涉及一种基于深度学习的双目动态视觉传感器立体匹配方法。
背景技术
动态视觉传感器通过检测图像亮度的对数强度的变化来输出事件流,其中每个事件都具有位置、极性和时间戳信息。与传统相机相比,其具有延迟低,时间分辨率高,动态范围大等优势。
在传统图像处理技术中,双目立体匹配技术是获得图像深度信息的重要途径。但因传统视觉传感器输出数据量大,耗费资源高,因此传统双目立体匹配技术在移动端的应用受到很大的限制。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于深度学习的双目动态视觉传感器立体匹配方法。
本发明的目的可以通过以下技术方案来实现:
一种基于深度学习的双目动态视觉传感器立体匹配方法,包括以下步骤:
1)根据双目事件相机数据集中的深度信息生成训练点对;
2)构建适用于动态视觉传感器事件流中事件的表征方式;
3)根据表征方式对事件训练点对进行表征,并送入孪生神经网络进行训练,并根据训练结果进行立体匹配。
所述的步骤1)具体包括以下步骤:
11)在左侧动态视觉传感器视域范围内,随机选取一个事件作为兴趣点;
12)根据该兴趣点在左侧传感器内的位置信息及真实深度信息,以极线为限制,将其投影到右侧动态视觉传感器上,获得该兴趣点在右侧传感器内的位置坐标信息,形成训练点对。
所述的步骤12)中,兴趣点在右侧传感器内的位置坐标(xR,yR)的计算式为:
其中,(xL,yL)为兴趣点在左侧传感器内的位置坐标,d为视差值,z为对应的深度信息,b和f为该双目动态视觉传感器的基线距离与焦距。
所述的步骤2)中,构建事件的表征方式具体为:
21)以表征点为几何中心,建立边长为L并与传感器视角对齐的正方形区域,将此正方形区域划分为相等的N*N个正方形小区域,N为奇数;
22)选取连续S(S为偶数)个时间间隔Δt,使得表征点的事件时间戳位于处,统计每个时间间隔Δt内,各小正方形区域内产生的事件数目ci;
23)将不同时间间隔Δt内,每个小正方形内的事件数进行归一化,作为该小正方形的值,则有:
cmax=max(ci)
其中,mi为归一化后的值,cmax为在不同时间间隔Δt内,统计的各小正方形内事件数最大值;
24)将归一化后的值mi从小至大的排序,形成N*N*S维表征向量。
所述的步骤3)中,采用孪生神经网络训练事件训练点对具体包括以下步骤:
31)将匹配的训练点对的表征向量送入孪生神经网络,输出其各自的M维描述向量;
32)计算生成的M维描述向量间的欧几里得距离,并调整孪生神经网络的参数,缩小距离值;
33)将不匹配的两个事件点的表征向量送入调整参数后的孪生神经网络,输出各自的M维描述向量;
34)计算不匹配的两个事件点生成的M维描述向量间的欧几里得距离,调整神经网络参数,扩大其距离值;
35)进行立体匹配。
所述的步骤4)中,匹配与不匹配事件点对的表征送入孪生神经网络的数量相等。
与现有技术相比,本发明具有以下优点:
一、本发明能够有效解决针对动态视觉传感器立体匹配的问题,其直接对生成的事件流进行数据处理,可以有效减少计算量,降低所需计算资源,提升匹配速度,易于在移动端进行实现。
二、本发明使用兴趣点周围事件分布信息对兴趣点进行表征,所用信息丰富,稳定性好。并应用大量数据对神经网络进行训练,以基于深度学习的方式进行立体匹配,可以使匹配方法具有较强的鲁棒性,提升匹配准确度。
附图说明
图1为本发明的立体匹配流程图。
图2为表征方法平面示意图。
图3为局部表征示意图。
图4为孪生神经网络示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。
实施例
本发明提供了一种基于深度学习的双目动态视觉传感器立体匹配的方法,该方法能够对左右动态视觉传感器输出的事件流进行表征,并通过训练好的神经网络进行匹配,提高匹配准确率的同时提升匹配速度。该方法包括如下步骤:
(1)根据已有双目事件相机的数据集,以其提供的深度信息为基础,生成训练点对;
(2)构建适用于动态视觉传感器事件流事件的表征方法;
(3)用构建的表征方法对事件训练点对进行表征,并送入神经网络进行训练。
在步骤(1)中,事件训练点对的生成方式如下:
(2-1)在左侧动态视觉传感器视域范围内,随机选取一个事件作为兴趣点。
(2-2)以传感器左上角顶点为原点,以正右与正下方向分别为x,y正半轴,记录该兴趣点的位置信息(xL,yL)。根据双目相机投影原理,其右侧对应点的坐标(xR,yR)应满足:
其中,d为视差值,计算公式为:
其中z为该事件点对应的深度信息,b和f为该双目动态视觉传感器的基线距离与焦距,为已知量。
在步骤(2)中,事件的表征构建方法如下:
(3-1)以表征点为几何中心,建立边长为L并与传感器视角对齐的正方形,将此正方形划分为相等的N*N个正方形小区域,如图2所示。此实施例中,边长L取33个像素值,N取值为11,即存在121个小正方形,每个小正方形的边长为3个像素值。
(3-2)取连续S个时间间隔Δt,使所选取的事件时间戳位于处,统计每个时间间隔Δt内,各小正方形区域内产生的事件数目ci,示意图如图3所示。
(3-3)将不同时间间隔Δt内,每个小正方形内的事件数进行归一化,作为该小正方形的值。归一化公式为:
cmax=max(ci)
其中,mi为归一化后的值,cmax为在不同时间间隔Δt内,统计的各小正方形内事件数最大值。
(3-4)将mi从小至大的排序,形成一个N*N*S维表征向量。
在步骤(3)中,对表征的训练方法如下:
(4-1)运用步骤(1)所述方法,在现有双目事件相机数据集上,取多个不同时间点,并在每一个时间点不同位置处生成多个事件点对,对每一个事件点分别进行表征,获得N*N*S维表征向量,送入到孪生神经网络中,输出M维描述向量。本实施例中,神经网络如图4所示。
(4-2)计算对应点对所生成的M维描述向量间的欧几里得距离,调整神经网络参数,使得其距离值缩小。
(4-3)同理,将不匹配的两个事件点的表征送入上述神经网络,输出各自的M维描述向量。
(4-4)计算不匹配点对两个向量间的欧几里得距离,调整神经网络参数,扩大其距离值,训练过程中,匹配与不匹配事件点对的表征送入孪生神经网络的数量相等。
(4-5)进行立体匹配。
针对左侧动态视觉传感器每一个新生成的事件,建立表征,并送入训练好的神经网络生成描述向量。同时,对右侧传感器中同一极线上的所有位置依次建立表征,送入神经网络生成描述向量,计算两侧表征所生成描述向量间的欧几里得距离并进行比较,取其距离最小者,将该右侧描述向量所对应的位置作为匹配点。
上述的对实施例的描述是为便于该技术领域的普通技术人员能理解和应用本发明。熟悉本领域技术的人员显然可以容易地对这些实施例做出各种修改,并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此,本发明不限于这里的实施例,本领域技术人员根据本发明的揭示,不脱离本发明范畴所做出的改进和修改都应该在本发明的保护范围之内。
Claims (6)
1.一种基于深度学习的双目动态视觉传感器立体匹配方法,其特征在于,包括以下步骤:
1)根据双目事件相机数据集中的深度信息生成训练点对;
2)构建适用于动态视觉传感器事件流中事件的表征方式;
3)根据表征方式对事件训练点对进行表征,并送入孪生神经网络进行训练,并根据训练结果进行立体匹配。
2.根据权利要求1所述的一种基于深度学习的双目动态视觉传感器立体匹配方法,其特征在于,所述的步骤1)具体包括以下步骤:
11)在左侧动态视觉传感器视域范围内,随机选取一个事件作为兴趣点;
12)根据该兴趣点在左侧传感器内的位置信息及真实深度信息,以极线为限制,将其投影到右侧动态视觉传感器上,获得该兴趣点在右侧传感器内的位置坐标信息,形成训练点对。
3.根据权利要求2所述的一种基于深度学习的双目动态视觉传感器立体匹配方法,其特征在于,所述的步骤12)中,兴趣点在右侧传感器内的位置坐标(xR,yR)的计算式为:
其中,(xL,yL)为兴趣点在左侧传感器内的位置坐标,d为视差值,z为对应的深度信息,b和f为该双目动态视觉传感器的基线距离与焦距。
4.根据权利要求1所述的一种基于深度学习的双目动态视觉传感器立体匹配方法,其特征在于,所述的步骤2)中,构建事件的表征方式具体为:
21)以表征点为几何中心,建立边长为L并与传感器视角对齐的正方形区域,将此正方形区域划分为相等的N*N个正方形小区域;
22)选取连续S个时间间隔Δt,使得表征点的事件时间戳位于处,统计每个时间间隔Δt内,各小正方形区域内产生的事件数目ci;
23)将不同时间间隔Δt内,每个小正方形内的事件数进行归一化,作为该小正方形的值,则有:
cmax=max(ci)
其中,mi为归一化后的值,cmax为在不同时间间隔Δt内,统计的各小正方形内事件数最大值;
24)将归一化后的值mi从小至大的排序,形成N*N*S维表征向量。
5.根据权利要求1所述的一种基于深度学习的双目动态视觉传感器立体匹配方法,其特征在于,所述的步骤3)中,采用孪生神经网络训练事件训练点对具体包括以下步骤:
31)将匹配的训练点对的表征向量送入孪生神经网络,输出其各自的M维描述向量;
32)计算生成的M维描述向量间的欧几里得距离,并调整孪生神经网络的参数,缩小距离值;
33)将不匹配的两个事件点的表征向量送入调整参数后的孪生神经网络,输出各自的M维描述向量;
34)计算不匹配的两个事件点生成的M维描述向量间的欧几里得距离,调整神经网络参数,扩大其距离值;
35)进行立体匹配。
6.根据权利要求5所述的一种基于深度学习的双目动态视觉传感器立体匹配方法,其特征在于,所述的步骤4)中,匹配与不匹配事件点对的表征送入孪生神经网络的数量相等。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910044239.1A CN109801314B (zh) | 2019-01-17 | 2019-01-17 | 一种基于深度学习的双目动态视觉传感器立体匹配方法 |
PCT/CN2019/130224 WO2020147574A1 (zh) | 2019-01-17 | 2019-12-31 | 一种基于深度学习的双目动态视觉传感器立体匹配方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910044239.1A CN109801314B (zh) | 2019-01-17 | 2019-01-17 | 一种基于深度学习的双目动态视觉传感器立体匹配方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109801314A true CN109801314A (zh) | 2019-05-24 |
CN109801314B CN109801314B (zh) | 2020-10-02 |
Family
ID=66559622
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910044239.1A Expired - Fee Related CN109801314B (zh) | 2019-01-17 | 2019-01-17 | 一种基于深度学习的双目动态视觉传感器立体匹配方法 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN109801314B (zh) |
WO (1) | WO2020147574A1 (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110399908A (zh) * | 2019-07-04 | 2019-11-01 | 西北工业大学 | 基于事件型相机的分类方法和装置、存储介质、电子装置 |
CN110414558A (zh) * | 2019-06-24 | 2019-11-05 | 武汉大学 | 基于事件相机的特征点匹配方法 |
CN110599414A (zh) * | 2019-08-28 | 2019-12-20 | 武汉大学 | 一种面向事件相机数据处理的时空归一化方法 |
CN111127532A (zh) * | 2019-12-31 | 2020-05-08 | 成都信息工程大学 | 基于深度学习特征光流的医学图像形变配准方法及系统 |
WO2020147574A1 (zh) * | 2019-01-17 | 2020-07-23 | 同济大学 | 一种基于深度学习的双目动态视觉传感器立体匹配方法 |
CN111696143A (zh) * | 2020-06-16 | 2020-09-22 | 清华大学 | 一种事件数据的配准方法与系统 |
CN113222945A (zh) * | 2021-05-19 | 2021-08-06 | 西安电子科技大学 | 基于双目事件相机的深度信息测量方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107180215A (zh) * | 2017-05-31 | 2017-09-19 | 同济大学 | 基于库位和二维码的停车场自动建图与高精度定位方法 |
US20170278221A1 (en) * | 2016-03-22 | 2017-09-28 | Samsung Electronics Co., Ltd. | Method and apparatus of image representation and processing for dynamic vision sensor |
CN108073929A (zh) * | 2016-11-15 | 2018-05-25 | 北京三星通信技术研究有限公司 | 基于动态视觉传感器的物体检测方法及设备 |
CN108369646A (zh) * | 2015-07-16 | 2018-08-03 | 博拉斯特运动有限公司 | 多传感器事件检测和标记系统 |
CN108986223A (zh) * | 2017-05-31 | 2018-12-11 | 上海拆名晃信息科技有限公司 | 一种三维场景重建的方法与装置 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10043064B2 (en) * | 2015-01-14 | 2018-08-07 | Samsung Electronics Co., Ltd. | Method and apparatus of detecting object using event-based sensor |
CN110692083B (zh) * | 2017-05-29 | 2024-01-05 | 苏黎世大学 | 用于动态视觉传感器的块匹配光流和立体视觉 |
CN107403154B (zh) * | 2017-07-20 | 2020-10-16 | 四川大学 | 一种基于动态视觉传感器的步态识别方法 |
CN109801314B (zh) * | 2019-01-17 | 2020-10-02 | 同济大学 | 一种基于深度学习的双目动态视觉传感器立体匹配方法 |
-
2019
- 2019-01-17 CN CN201910044239.1A patent/CN109801314B/zh not_active Expired - Fee Related
- 2019-12-31 WO PCT/CN2019/130224 patent/WO2020147574A1/zh active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108369646A (zh) * | 2015-07-16 | 2018-08-03 | 博拉斯特运动有限公司 | 多传感器事件检测和标记系统 |
US20170278221A1 (en) * | 2016-03-22 | 2017-09-28 | Samsung Electronics Co., Ltd. | Method and apparatus of image representation and processing for dynamic vision sensor |
CN108073929A (zh) * | 2016-11-15 | 2018-05-25 | 北京三星通信技术研究有限公司 | 基于动态视觉传感器的物体检测方法及设备 |
CN107180215A (zh) * | 2017-05-31 | 2017-09-19 | 同济大学 | 基于库位和二维码的停车场自动建图与高精度定位方法 |
CN108986223A (zh) * | 2017-05-31 | 2018-12-11 | 上海拆名晃信息科技有限公司 | 一种三维场景重建的方法与装置 |
Non-Patent Citations (2)
Title |
---|
MOHSEN FIROUZI• JÖRG CONRADT: ""Asynchronous Event-based Cooperative Stereo Matching Using Neuromorphic Silicon Retinas"", 《NEURAL PROCESS LETT》 * |
P. BRANDAO1, E. MAZOMENOS1, A. RAU1, M. JANATKA1, D. STOYANOV: ""Widening Siamese Neural Networks for Stereo Matching in Colonoscopy"", 《7TH JOINT WORKSHOP ON NEW TECHNOLOGIES FOR COMPUTER/ROBOT ASSISTED SURGERY》 * |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020147574A1 (zh) * | 2019-01-17 | 2020-07-23 | 同济大学 | 一种基于深度学习的双目动态视觉传感器立体匹配方法 |
CN110414558A (zh) * | 2019-06-24 | 2019-11-05 | 武汉大学 | 基于事件相机的特征点匹配方法 |
CN110399908A (zh) * | 2019-07-04 | 2019-11-01 | 西北工业大学 | 基于事件型相机的分类方法和装置、存储介质、电子装置 |
CN110399908B (zh) * | 2019-07-04 | 2021-06-08 | 西北工业大学 | 基于事件型相机的分类方法和装置、存储介质、电子装置 |
CN110599414A (zh) * | 2019-08-28 | 2019-12-20 | 武汉大学 | 一种面向事件相机数据处理的时空归一化方法 |
CN110599414B (zh) * | 2019-08-28 | 2021-08-03 | 武汉大学 | 一种面向事件相机数据处理的时空归一化方法 |
CN111127532A (zh) * | 2019-12-31 | 2020-05-08 | 成都信息工程大学 | 基于深度学习特征光流的医学图像形变配准方法及系统 |
CN111696143A (zh) * | 2020-06-16 | 2020-09-22 | 清华大学 | 一种事件数据的配准方法与系统 |
CN111696143B (zh) * | 2020-06-16 | 2022-11-04 | 清华大学 | 一种事件数据的配准方法与系统 |
CN113222945A (zh) * | 2021-05-19 | 2021-08-06 | 西安电子科技大学 | 基于双目事件相机的深度信息测量方法 |
CN113222945B (zh) * | 2021-05-19 | 2024-02-09 | 西安电子科技大学 | 基于双目事件相机的深度信息测量方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2020147574A1 (zh) | 2020-07-23 |
CN109801314B (zh) | 2020-10-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109801314A (zh) | 一种基于深度学习的双目动态视觉传感器立体匹配方法 | |
CN105528785B (zh) | 一种双目视觉图像立体匹配方法 | |
CN110991266B (zh) | 一种双目人脸活体检测方法及装置 | |
CN104899563B (zh) | 一种二维人脸关键特征点定位方法及系统 | |
CN105956539B (zh) | 一种应用背景建模和双目视觉原理的人体身高测量方法 | |
CN110599540A (zh) | 多视点相机下的实时三维人体体型与姿态重建方法及装置 | |
CN105139420B (zh) | 一种基于粒子滤波和感知哈希的视频目标跟踪方法 | |
CN105096269A (zh) | 基于畸变直线结构检测的图像径向畸变矫正的方法及系统 | |
CN104881642A (zh) | 一种内容推送方法、装置及设备 | |
CN103530599A (zh) | 一种真实人脸和图片人脸的区别方法和系统 | |
CN102609941A (zh) | 基于ToF深度相机的三维注册方法 | |
CN109147012B (zh) | 图像处理方法和装置 | |
CN104021533B (zh) | 一种实时图像降噪方法及装置 | |
CN103325120A (zh) | 一种快速自适应支持权值双目视觉立体匹配方法 | |
CN110418146A (zh) | 应用于直播场景的换脸方法、存储介质、电子设备及系统 | |
CN103996173A (zh) | 一种基于变长轴椭圆拟合的鱼眼图像校正方法 | |
CN104299220A (zh) | 一种对Kinect深度图像中的空洞进行实时填充的方法 | |
CN110187336A (zh) | 一种基于分布式phd的多站雷达站址定位和联合跟踪方法 | |
CN107580203A (zh) | 沉浸式主动立体投影透视变换矩阵求解方法 | |
CN106033614A (zh) | 一种强视差下的移动相机运动目标检测方法 | |
CN107339938A (zh) | 一种用于单目立体视觉自标定的异型标定块及标定方法 | |
CN110348344B (zh) | 一种基于二维和三维融合的特殊人脸表情识别的方法 | |
CN104038752B (zh) | 基于三维高斯混合模型的多视点视频直方图颜色校正 | |
CN109241822A (zh) | 一种基于mtcnn的多方位人脸检测方法及系统 | |
CN106952231B (zh) | 一种基于手机平台的图像实时校正方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20201002 |
|
CF01 | Termination of patent right due to non-payment of annual fee |