CN109801314B - 一种基于深度学习的双目动态视觉传感器立体匹配方法 - Google Patents
一种基于深度学习的双目动态视觉传感器立体匹配方法 Download PDFInfo
- Publication number
- CN109801314B CN109801314B CN201910044239.1A CN201910044239A CN109801314B CN 109801314 B CN109801314 B CN 109801314B CN 201910044239 A CN201910044239 A CN 201910044239A CN 109801314 B CN109801314 B CN 109801314B
- Authority
- CN
- China
- Prior art keywords
- event
- training
- stereo matching
- sensor
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000013135 deep learning Methods 0.000 title claims abstract description 13
- 238000013528 artificial neural network Methods 0.000 claims abstract description 27
- 238000012512 characterization method Methods 0.000 claims abstract description 24
- 230000000007 visual effect Effects 0.000 claims abstract description 11
- 239000013598 vector Substances 0.000 claims description 25
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于深度学习的双目动态视觉传感器立体匹配方法，包括以下步骤：1)根据双目事件相机数据集中的深度信息生成训练点对；2)构建适用于动态视觉传感器事件流中事件的表征方式；3)根据表征方式对事件训练点对进行表征，并送入孪生神经网络进行训练，并根据训练结果进行立体匹配。与现有技术相比，本发明具有匹配精度高、匹配速度快等优点。
Description
技术领域
本发明涉及图像匹配技术领域，尤其是涉及一种基于深度学习的双目动态视觉传感器立体匹配方法。
背景技术
动态视觉传感器通过检测图像亮度的对数强度的变化来输出事件流，其中每个事件都具有位置、极性和时间戳信息。与传统相机相比，其具有延迟低，时间分辨率高，动态范围大等优势。
在传统图像处理技术中，双目立体匹配技术是获得图像深度信息的重要途径。但因传统视觉传感器输出数据量大，耗费资源高，因此传统双目立体匹配技术在移动端的应用受到很大的限制。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于深度学习的双目动态视觉传感器立体匹配方法。
本发明的目的可以通过以下技术方案来实现：
一种基于深度学习的双目动态视觉传感器立体匹配方法，包括以下步骤：
1)根据双目事件相机数据集中的深度信息生成训练点对；
2)构建适用于动态视觉传感器事件流中事件的表征方式；
3)根据表征方式对事件训练点对进行表征，并送入孪生神经网络进行训练，并根据训练结果进行立体匹配。
所述的步骤1)具体包括以下步骤：
11)在左侧动态视觉传感器视域范围内，随机选取一个事件作为兴趣点；
12)根据该兴趣点在左侧传感器内的位置信息及真实深度信息，以极线为限制，将其投影到右侧动态视觉传感器上，获得该兴趣点在右侧传感器内的位置坐标信息，形成训练点对。
所述的步骤12)中，兴趣点在右侧传感器内的位置坐标(xR，yR)的计算式为：
其中，(xL，yL)为兴趣点在左侧传感器内的位置坐标，d为视差值，z为对应的深度信息，b和f为该双目动态视觉传感器的基线距离与焦距。
所述的步骤2)中，构建事件的表征方式具体为：
21)以表征点为几何中心，建立边长为L并与传感器视角对齐的正方形区域，将此正方形区域划分为相等的N*N个正方形小区域，N为奇数；
22)选取连续S(S为偶数)个时间间隔Δt，使得表征点的事件时间戳位于
处，统计每个时间间隔Δt内，各小正方形区域内产生的事件数目ci；
23)将不同时间间隔Δt内，每个小正方形内的事件数进行归一化，作为该小正方形的值，则有：
cmax＝max(ci)
其中，mi为归一化后的值，cmax为在不同时间间隔Δt内，统计的各小正方形内事件数最大值；
24)将归一化后的值mi从小至大的排序，形成N*N*S维表征向量。
所述的步骤3)中，采用孪生神经网络训练事件训练点对具体包括以下步骤：
31)将匹配的训练点对的表征向量送入孪生神经网络，输出其各自的M维描述向量；
32)计算生成的M维描述向量间的欧几里得距离，并调整孪生神经网络的参数，缩小距离值；
33)将不匹配的两个事件点的表征向量送入调整参数后的孪生神经网络，输出各自的M维描述向量；
34)计算不匹配的两个事件点生成的M维描述向量间的欧几里得距离，调整神经网络参数，扩大其距离值；
35)进行立体匹配。
所述的步骤4)中，匹配与不匹配事件点对的表征送入孪生神经网络的数量相等。
与现有技术相比，本发明具有以下优点：
一、本发明能够有效解决针对动态视觉传感器立体匹配的问题，其直接对生成的事件流进行数据处理，可以有效减少计算量，降低所需计算资源，提升匹配速度，易于在移动端进行实现。
二、本发明使用兴趣点周围事件分布信息对兴趣点进行表征，所用信息丰富，稳定性好。并应用大量数据对神经网络进行训练，以基于深度学习的方式进行立体匹配，可以使匹配方法具有较强的鲁棒性，提升匹配准确度。
附图说明
图1为本发明的立体匹配流程图。
图2为表征方法平面示意图。
图3为局部表征示意图。
图4为孪生神经网络示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。
实施例
本发明提供了一种基于深度学习的双目动态视觉传感器立体匹配的方法，该方法能够对左右动态视觉传感器输出的事件流进行表征，并通过训练好的神经网络进行匹配，提高匹配准确率的同时提升匹配速度。该方法包括如下步骤：
(1)根据已有双目事件相机的数据集，以其提供的深度信息为基础，生成训练点对；
(2)构建适用于动态视觉传感器事件流事件的表征方法；
(3)用构建的表征方法对事件训练点对进行表征，并送入神经网络进行训练。
在步骤(1)中，事件训练点对的生成方式如下：
(2-1)在左侧动态视觉传感器视域范围内，随机选取一个事件作为兴趣点。
(2-2)以传感器左上角顶点为原点，以正右与正下方向分别为x，y正半轴，记录该兴趣点的位置信息(xL，yL)。根据双目相机投影原理，其右侧对应点的坐标(xR，yR)应满足：
其中，d为视差值，计算公式为：
其中z为该事件点对应的深度信息，b和f为该双目动态视觉传感器的基线距离与焦距，为已知量。
在步骤(2)中，事件的表征构建方法如下：
(3-1)以表征点为几何中心，建立边长为L并与传感器视角对齐的正方形，将此正方形划分为相等的N*N个正方形小区域，如图2所示。此实施例中，边长L取33个像素值，N取值为11，即存在121个小正方形，每个小正方形的边长为3个像素值。
(3-2)取连续S个时间间隔Δt，使所选取的事件时间戳位于
处，统计每个时间间隔Δt内，各小正方形区域内产生的事件数目ci，示意图如图3所示。
(3-3)将不同时间间隔Δt内，每个小正方形内的事件数进行归一化，作为该小正方形的值。归一化公式为：
cmax＝max(ci)
其中，mi为归一化后的值，cmax为在不同时间间隔Δt内，统计的各小正方形内事件数最大值。
(3-4)将mi从小至大的排序，形成一个N*N*S维表征向量。
在步骤(3)中，对表征的训练方法如下：
(4-1)运用步骤(1)所述方法，在现有双目事件相机数据集上，取多个不同时间点，并在每一个时间点不同位置处生成多个事件点对，对每一个事件点分别进行表征，获得N*N*S维表征向量，送入到孪生神经网络中，输出M维描述向量。本实施例中，神经网络如图4所示。
(4-2)计算对应点对所生成的M维描述向量间的欧几里得距离，调整神经网络参数，使得其距离值缩小。
(4-3)同理，将不匹配的两个事件点的表征送入上述神经网络，输出各自的M维描述向量。
(4-4)计算不匹配点对两个向量间的欧几里得距离，调整神经网络参数，扩大其距离值，训练过程中，匹配与不匹配事件点对的表征送入孪生神经网络的数量相等。
(4-5)进行立体匹配。
针对左侧动态视觉传感器每一个新生成的事件，建立表征，并送入训练好的神经网络生成描述向量。同时，对右侧传感器中同一极线上的所有位置依次建立表征，送入神经网络生成描述向量，计算两侧表征所生成描述向量间的欧几里得距离并进行比较，取其距离最小者，将该右侧描述向量所对应的位置作为匹配点。
上述的对实施例的描述是为便于该技术领域的普通技术人员能理解和应用本发明。熟悉本领域技术的人员显然可以容易地对这些实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于这里的实施例，本领域技术人员根据本发明的揭示，不脱离本发明范畴所做出的改进和修改都应该在本发明的保护范围之内。
Claims (5)
1.一种基于深度学习的双目动态视觉传感器立体匹配方法，其特征在于，包括以下步骤：
1)根据双目事件相机数据集中的深度信息生成训练点对；
2)构建适用于动态视觉传感器事件流中事件的表征方式，构建事件的表征方式具体为：
21)以表征点为几何中心，建立边长为L并与传感器视角对齐的正方形区域，将此正方形区域划分为相等的N*N个正方形小区域；
22)选取连续S个时间间隔Δt，使得表征点的事件时间戳位于
处，统计每个时间间隔Δt内，各小正方形区域内产生的事件数目ci；
23)将不同时间间隔Δt内，每个小正方形内的事件数进行归一化，作为该小正方形的值，则有：
cmax＝max(ci)
其中，mi为归一化后的值，cmax为在不同时间间隔Δt内，统计的各小正方形内事件数最大值；
24)将归一化后的值mi从小至大的排序，形成N*N*S维表征向量；
3)根据表征方式对事件训练点对进行表征，并送入孪生神经网络进行训练，并根据训练结果进行立体匹配。
2.根据权利要求1所述的一种基于深度学习的双目动态视觉传感器立体匹配方法，其特征在于，所述的步骤1)具体包括以下步骤：
11)在左侧动态视觉传感器视域范围内，随机选取一个事件作为兴趣点；
12)根据该兴趣点在左侧传感器内的位置信息及真实深度信息，以极线为限制，将其投影到右侧动态视觉传感器上，获得该兴趣点在右侧传感器内的位置坐标信息，形成训练点对。
3.根据权利要求2所述的一种基于深度学习的双目动态视觉传感器立体匹配方法，其特征在于，所述的步骤12)中，兴趣点在右侧传感器内的位置坐标(xR,yR)的计算式为：
其中，(xL,yL)为兴趣点在左侧传感器内的位置坐标，d为视差值，z为对应的深度信息，b和f为该双目动态视觉传感器的基线距离与焦距。
4.根据权利要求1所述的一种基于深度学习的双目动态视觉传感器立体匹配方法，其特征在于，所述的步骤3)中，采用孪生神经网络训练事件训练点对具体包括以下步骤：
31)将匹配的训练点对的表征向量送入孪生神经网络，输出其各自的M维描述向量；
32)计算生成的M维描述向量间的欧几里得距离，并调整孪生神经网络的参数，缩小距离值；
33)将不匹配的两个事件点的表征向量送入调整参数后的孪生神经网络，输出各自的M维描述向量；
34)计算不匹配的两个事件点生成的M维描述向量间的欧几里得距离，调整神经网络参数，扩大其距离值；
35)进行立体匹配。
5.根据权利要求4所述的一种基于深度学习的双目动态视觉传感器立体匹配方法，其特征在于，所述的步骤4)中，匹配与不匹配事件点对的表征送入孪生神经网络的数量相等。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910044239.1A CN109801314B (zh) | 2019-01-17 | 2019-01-17 | 一种基于深度学习的双目动态视觉传感器立体匹配方法 |
| PCT/CN2019/130224 WO2020147574A1 (zh) | 2019-01-17 | 2019-12-31 | 一种基于深度学习的双目动态视觉传感器立体匹配方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910044239.1A CN109801314B (zh) | 2019-01-17 | 2019-01-17 | 一种基于深度学习的双目动态视觉传感器立体匹配方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109801314A CN109801314A (zh) | 2019-05-24 |
| CN109801314B true CN109801314B (zh) | 2020-10-02 |
Family
ID=66559622
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910044239.1A Expired - Fee Related CN109801314B (zh) | 2019-01-17 | 2019-01-17 | 一种基于深度学习的双目动态视觉传感器立体匹配方法 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN109801314B (zh) |
| WO (1) | WO2020147574A1 (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109801314B (zh) * | 2019-01-17 | 2020-10-02 | 同济大学 | 一种基于深度学习的双目动态视觉传感器立体匹配方法 |
| CN110414558B (zh) * | 2019-06-24 | 2021-07-20 | 武汉大学 | 基于事件相机的特征点匹配方法 |
| CN110399908B (zh) * | 2019-07-04 | 2021-06-08 | 西北工业大学 | 基于事件型相机的分类方法和装置、存储介质、电子装置 |
| CN110599414B (zh) * | 2019-08-28 | 2021-08-03 | 武汉大学 | 一种面向事件相机数据处理的时空归一化方法 |
| CN111127532B (zh) * | 2019-12-31 | 2020-12-22 | 成都信息工程大学 | 基于深度学习特征光流的医学图像形变配准方法及系统 |
| CN111696143B (zh) * | 2020-06-16 | 2022-11-04 | 清华大学 | 一种事件数据的配准方法与系统 |
| CN113222945B (zh) * | 2021-05-19 | 2024-02-09 | 西安电子科技大学 | 基于双目事件相机的深度信息测量方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107180215A (zh) * | 2017-05-31 | 2017-09-19 | 同济大学 | 基于库位和二维码的停车场自动建图与高精度定位方法 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10043064B2 (en) * | 2015-01-14 | 2018-08-07 | Samsung Electronics Co., Ltd. | Method and apparatus of detecting object using event-based sensor |
| WO2017011814A1 (en) * | 2015-07-16 | 2017-01-19 | Blast Motion Inc. | Multi-sensor event detection and tagging system |
| US9934557B2 (en) * | 2016-03-22 | 2018-04-03 | Samsung Electronics Co., Ltd | Method and apparatus of image representation and processing for dynamic vision sensor |
| CN108073929B (zh) * | 2016-11-15 | 2023-11-24 | 北京三星通信技术研究有限公司 | 基于动态视觉传感器的物体检测方法及设备 |
| CN110692083B (zh) * | 2017-05-29 | 2024-01-05 | 苏黎世大学 | 用于动态视觉传感器的块匹配光流和立体视觉 |
| CN108986223A (zh) * | 2017-05-31 | 2018-12-11 | 上海拆名晃信息科技有限公司 | 一种三维场景重建的方法与装置 |
| CN107403154B (zh) * | 2017-07-20 | 2020-10-16 | 四川大学 | 一种基于动态视觉传感器的步态识别方法 |
| CN109801314B (zh) * | 2019-01-17 | 2020-10-02 | 同济大学 | 一种基于深度学习的双目动态视觉传感器立体匹配方法 |
-
2019
- 2019-01-17 CN CN201910044239.1A patent/CN109801314B/zh not_active Expired - Fee Related
- 2019-12-31 WO PCT/CN2019/130224 patent/WO2020147574A1/zh active Application Filing
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107180215A (zh) * | 2017-05-31 | 2017-09-19 | 同济大学 | 基于库位和二维码的停车场自动建图与高精度定位方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109801314A (zh) | 2019-05-24 |
| WO2020147574A1 (zh) | 2020-07-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109801314B (zh) | 一种基于深度学习的双目动态视觉传感器立体匹配方法 | |
| CN102609941A (zh) | 基于ToF深度相机的三维注册方法 | |
| CN110569875A (zh) | 一种基于特征复用的深度神经网络目标检测方法 | |
| CN106340045B (zh) | 三维人脸重建中基于双目立体视觉的标定优化方法 | |
| CN104463108A (zh) | 一种单目实时目标识别及位姿测量方法 | |
| CN108305277B (zh) | 一种基于直线段的异源图像匹配方法 | |
| CN106225676B (zh) | 三维测量方法、装置及系统 | |
| CN103325120A (zh) | 一种快速自适应支持权值双目视觉立体匹配方法 | |
| CN113763269B (zh) | 一种用于双目图像的立体匹配方法 | |
| CN109410266A (zh) | 基于四模Census变换和离散视差搜索的立体匹配算法 | |
| CN103617615A (zh) | 径向畸变参数获取方法及获取装置 | |
| CN107396095A (zh) | 一种无参考三维图像质量评价方法 | |
| CN106033614B (zh) | 一种强视差下的移动相机运动目标检测方法 | |
| CN101650828A (zh) | 摄像机标定中减少圆形目标定位随机误差的方法 | |
| CN109724537B (zh) | 一种双目三维成像方法及系统 | |
| CN112001973B (zh) | 基于数字散斑相关的快速三维人头测量方法 | |
| CN104123725B (zh) | 一种单线阵相机单应性矩阵h的计算方法 | |
| CN113393524A (zh) | 一种结合深度学习和轮廓点云重建的目标位姿估计方法 | |
| CN116503836A (zh) | 一种基于深度补全和图像分割的3d目标检测方法 | |
| CN116310131A (zh) | 一种考虑多视图融合策略的三维重建方法 | |
| US20240020866A1 (en) | A three-dimensional measurement method based on end-to-end deep learning for speckle projection | |
| CN1987893A (zh) | 一种面向摄像整纬器的织物纹理图像识别方法 | |
| CN106595595A (zh) | 一种基于深度传感器的室内机器人定向方法 | |
| CN105678775A (zh) | 一种基于机器学习的颜色校正评估方法 | |
| TW201715882A (zh) | 深度估測裝置及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20201002 |