CN113222945A - 基于双目事件相机的深度信息测量方法 - Google Patents

基于双目事件相机的深度信息测量方法 Download PDF

Info

Publication number
CN113222945A
CN113222945A CN202110543405.XA CN202110543405A CN113222945A CN 113222945 A CN113222945 A CN 113222945A CN 202110543405 A CN202110543405 A CN 202110543405A CN 113222945 A CN113222945 A CN 113222945A
Authority
CN
China
Prior art keywords
event
matrix
parallax
depth information
binocular
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110543405.XA
Other languages
English (en)
Other versions
CN113222945B (zh
Inventor
李甫
姚放
张天娇
尚旭东
牛毅
石光明
张利剑
陈远方
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202110543405.XA priority Critical patent/CN113222945B/zh
Publication of CN113222945A publication Critical patent/CN113222945A/zh
Application granted granted Critical
Publication of CN113222945B publication Critical patent/CN113222945B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于双目事件相机的深度信息测量方法，主要解决现有方法难以测量出准确、稠密的场景深度信息的问题。其实现方案为：构建基于双目事件相机的视差计算网络；通过从数据集中获取事件流和视差真值矩阵，对事件流进行归纳表示、注意力聚合和双目匹配，得到视差矩阵并最小化其与视差真值矩阵的差异，实现对视差计算网络的训练；搭建由双目相机组、场景和计算机组成的深度信息测量系统；用训练好的视差计算网络和搭建的深度信息测量系统，测量实际场景的深度信息。本发明能有效提取事件流的时空信息和聚合特征，使得对噪声更加鲁棒，测出的稠密深度信息更加准确，可应用于工业监控、医学科学、人机交互、虚拟现实、现实增强和自动驾驶。

Description

基于双目事件相机的深度信息测量方法
技术领域
本发明属于测量技术领域，主要涉及一种深度信息的测量方法，可应用于工业监控、医学科学、人机交互、虚拟现实、现实增强、以及自动驾驶场景。
背景技术
传统采集设备从场景中采集到的信号仅包含空间域上的二维信息，不含三维深度信息。而仅靠场景的二维信息已经无法满足实际生产生活需要。如何从场景中高效获取三维深度信息已成为当前研究的热点。
目前，深度信息测量技术仍然主要使用标准相机。标准相机以固定时间间隔生成绝对强度图像帧，耗能较多且容易产生运动模糊，难以应对高速移动或照明剧烈变化的场景。
近年来，基于事件的相机，简称为事件相机，已开始用于深度信息测量。事件相机是受生物启发的视觉传感器，典型的事件相机包括动态视觉传感器DVS、动态主动像素视觉传感器DAVIS等。事件相机捕获场景中的动态变化，按微秒级时间分辨率输出稀疏、异步的事件流。事件相机的每个像素独立工作，当检测到像素亮度变化超过阈值时产生信息，称为“事件”。输出事件流包括亮度变化像素的坐标、变化极性和时间戳。事件相机具有很高的动态范围、极低的延迟、高时间分辨率，对数据存储和计算资源的要求非常低。在标准相机难以应对的场景中，事件相机展现出极大的应用潜力。
然而，传统的深度信息测量算法仅适用于处理稠密的图像帧，事件相机输出的异步、稀疏数据无法直接通过传统方法进行处理。在采用事件相机测量深度信息的过程中，如何充分利用事件相机的特点与优势，来以较高效率获取准确的深度信息，仍是当前研究的重点与难点。
截至目前，国内外提出的基于事件相机的深度信息测量方法仍比较少，该内容仍属于一个新兴研究方向。
Zhu等人在Unsupervised event-based learning of optical flow,depth,andegomotion论文中提出了基于事件相机的无监督深度信息估计方法，该方法对事件进行光流估计和去模糊处理，通过最大化左右视图处理结果的相似性来计算深度，但该方法只能得到半稠密的深度结果，难以满足实际应用需求。
Tulyakov等人在Learning an event sequence embedding for dense event-based deep stereo论文中提出了基于事件相机的有监督深度信息测量方法，该方法将事件转化为四维张量，利用连续全连接网络提取事件的时间特征，对特征进行双目匹配来计算深度，但该方法测量深度信息的准确性仍有提升空间。
发明内容
本发明的目的在于针对上述现有基于事件相机的深度信息测量方法的不足，提出一种基于双目事件相机的深度信息测量方法，以充分利用事件的时空特性，获得更加准确的稠密深度信息，满足实际应用需求。
为实现上述目的，本发明的技术方案包括如下：
(1)构建基于双目事件相机的视差计算网络A，其依次包括两个不同的多层感知机、两个权重共享的带有残差模块的卷积层、空间金字塔池化层和编解码卷积器；
(2)从事件相机数据集中获取左、右两个事件流εl、εr和视差真值矩阵DG，将其作为训练数据，端到端地对(1)构建的网络进行训练，得到训练好的视差计算网络A′：
(2a)将事件相机数据集中的左、右两个事件流εl和εr中的每个事件表示为ei，并将这两个事件流εl和εr输入到(1)构建的网络中，其中：ei＝(xi,yi,ti,pi)，i为事件流中事件的序数，(xi,yi)为事件ei的坐标，ti为事件ei的时间戳，pi∈{-1,1}为事件ei的极性；
(2b)计算出每个事件ei对应的局部事件子集Ei，并根据每个局部事件子集Ei计算其对应的子集位置向量
Figure BDA0003072636310000021
Figure BDA0003072636310000022
其中，
Figure BDA0003072636310000023
是级联运算符，R(·)为事件与其邻域点的欧式距离，cosd(·)为事件与其邻域点的余弦距离，vi为事件ei的坐标，k为事件ei的邻域点序数，
Figure BDA0003072636310000024
为事件ei的第k个邻域点坐标；
(2c)将子集位置向量
Figure BDA0003072636310000025
送入(1)中的第一个多层感知机，输出归纳表示向量
Figure BDA0003072636310000026
并根据归纳表示向量
Figure BDA0003072636310000027
分别计算出左、右两个事件邻近特征流
Figure BDA0003072636310000028
和
Figure BDA0003072636310000029
(2d)计算每个归纳表示向量
Figure BDA00030726363100000210
的注意力得分wi：
Figure BDA0003072636310000031
其中，mlp(·)表示用(1)中的第二个多层感知机进行的运算，exp(·)表示指数函数，N表示每个事件邻近特征流
Figure BDA0003072636310000032
或
Figure BDA0003072636310000033
中归纳表示向量
Figure BDA0003072636310000034
的个数；
(2e)根据注意力得分wi，分别计算出左、右两个事件聚合特征Il和Ir，通过对左、右两个事件聚合特征Il和Ir进行双目匹配，计算出视差矩阵D；
(2f)迭代最小化事件相机数据集中的视差真值矩阵DG和(2d)中视差矩阵D的差值，更新基于双目事件相机的视差计算网络A的参数，直到迭代次数达到设定的22轮，得到训练好的视差计算网络A′；
(3)搭建一个包括双目相机组V、场景S和计算机C的双目事件相机深度信息测量系统，该双目相机组V由左、右两个事件相机组成；
(4)利用上述训练好的视差计算网络A′和深度信息测量系统，测量场景的深度信息：
(4a)用双目相机组V捕获场景S，得到场景S的左、右两个事件流εl s和εr s，并传输到计算机C；
(4b)计算机C将场景S的左、右两个事件流εl s和εr s送入训练好的视差计算网络A′，计算出场景S的视差矩阵Ds；
(4c)利用三角测量原理，从场景S的视差矩阵Ds计算出场景S的深度信息矩阵DF。
本发明现有技术相比具有以下优点：
第一，本发明由于构建了基于双目事件相机的视差计算网络，并通过从事件相机数据集中获取左、右两个事件流εl、εr和视差真值矩阵DG对其进行训练，因而不仅能够得到稠密的深度信息，更加符合实际应用需求，而且能够有效提取事件流的时空信息并更加有效地聚合事件特征，提高了测量结果的准确性。
第二，本发明由于能更加有效地聚合事件特征，相比于简单累加事件特征的方法，本发明对噪声具有更高的鲁棒性。
第三，本发明由于搭建了双目事件相机深度信息测量系统，能够获取实际场景的左、右两个事件流εl s和εr s，并结合训练好的视差计算网络，能够测量出实际场景的深度信息，因而具有更广泛的实用性。
附图说明
图1为本发明的实现总流程图；
图2为本发明中构建的网络结构框图；
图3为本发明中搭建的测量系统框图；
图4为本发明的网络输出结果图；
图5为用本发明对实际场景进行测量深度的结果图。
具体实施方式
下面结合附图，对本发明的实施例和效果作进一步详细描述。
参照图1，本实例基于双目事件相机的深度信息测量方法，实施步骤如下：
步骤1，构建基于双目事件相机的视差计算网络。
参照图2，本步骤构建的双目事件相机的视差计算网络，其依次包括两个不同的多层感知机、两个权重共享的带有残差模块的卷积层、空间金字塔池化层和编解码卷积器。该第一个多层感知机用于对事件特征进行归纳表示，第二个多层感知机用于对事件特征进行聚合；该两个权重共享的带有残差模块的卷积层和空间金字塔池化层用于双目匹配过程中计算匹配代价；该编解码卷积器用于双目匹配过程中聚合匹配代价。
步骤2，对步骤1构建的视差计算网络进行端到端训练，得到训练好的视差计算网络A′。
2.1)从多车立体声事件摄像机数据集MVSEC中获取左、右两个事件流εl、εr和视差真值图DG，并将这两个事件流εl和εr中的每个事件表示为ei：
ei＝(xi,yi,ti,pi)，
其中，i为事件流中事件的序数，(xi,yi)为事件ei的坐标，ti为事件ei的时间戳，pi∈{-1,1}为事件ei的极性。
2.2)将左、右两个事件流εl、εr和视差真值图DG作为训练数据输入到(1)构建的网络中，并对事件流εl、εr分别进行归纳表示，得到左、右两个事件邻近特征流
Figure BDA0003072636310000041
和
Figure BDA0003072636310000042
2.2.1)计算事件ei所有的邻域点
Figure BDA0003072636310000043
Figure BDA0003072636310000044
其中，kneighbour(·)表示K邻近算法；
2.2.2)计算出每个事件ei对应的局部事件子集Ei：
Figure BDA0003072636310000045
2.2.3)计算每个局部事件子集Ei对应的子集位置向量
Figure BDA0003072636310000051
Figure BDA0003072636310000052
其中，
Figure BDA0003072636310000053
是级联运算符，R(·)为事件与其邻域点的欧式距离，cosd(·)为事件与其邻域点的余弦距离，vi为事件ei的坐标，k为事件ei的邻域点序数，
Figure BDA0003072636310000054
为事件ei的第k个邻域点坐标，k和
Figure BDA0003072636310000055
由局部事件子集Ei确定；
2.2.4)将子集位置向量
Figure BDA0003072636310000056
送入步骤1中的第一个多层感知机，输出归纳表示向量
Figure BDA0003072636310000057
2.2.5)根据归纳表示向量
Figure BDA0003072636310000058
分别计算出左、右两个事件邻近特征流
Figure BDA0003072636310000059
和
Figure BDA00030726363100000510
Figure BDA00030726363100000511
Figure BDA00030726363100000512
2.3)分别对左、右两个事件邻近特征流
Figure BDA00030726363100000513
和
Figure BDA00030726363100000514
进行注意力聚合，得到左、右两个事件聚合特征Il和Ir：
2.3.1)计算每个归纳表示向量
Figure BDA00030726363100000515
的注意力得分wi：
Figure BDA00030726363100000516
其中，mlp(·)表示用(1)中的第二个多层感知机进行的运算，exp(·)表示指数函数，N表示每个事件邻近特征流
Figure BDA00030726363100000517
或
Figure BDA00030726363100000518
中归纳表示向量
Figure BDA00030726363100000519
的个数；
2.3.2)根据注意力得分wi，分别计算出左、右两个事件聚合特征Il和Ir：
Figure BDA00030726363100000520
Figure BDA00030726363100000521
其中，I为事件聚合特征，σ(·)表示非线性处理，b为偏置。
2.4)对左、右两个事件聚合特征Il和Ir进行双目匹配，计算出视差矩阵D：
2.4.1)分别将左、右两个事件聚合特征Il和Ir送入步骤1中的两个权重共享的带有残差模块的卷积层和空间金字塔池化层，输出左、右两个匹配特征矩阵fl和fr；
2.4.2)用左、右两个匹配特征矩阵fl和fr，通过如下函数分别计算匹配代价矩阵M中每个元素M(p,q,d)的值，得到匹配代价矩阵M：
Figure BDA0003072636310000061
其中，(p,q)为左、右两个匹配特征矩阵fl和fr中的像素坐标，W为以坐标(p,q)为中心的小窗，a为小窗W中像素的纵向序数，b小窗W中像素的横向序数，d∈(0,dmax)为视差偏移量，设置最大视差值dmax为191；
2.4.3)将匹配代价矩阵M送入步骤1中的编解码卷积器，输出聚合代价矩阵M′；
2.4.4)根据聚合代价矩阵M′，采用softargmin(·)函数，计算出视差矩阵D：
D＝softargmin(M′)，
其中，
Figure BDA0003072636310000062
softmax(·)为归一化指数函数，d∈(0,dmax)为视差偏移量，设置最大视差值dmax为191；
2.5)迭代最小化视差真值矩阵DG和视差矩阵D的差值，更新视差计算网络A的参数，得到训练好的视差计算网络A′：
2.5.1)计算视差真值矩阵DG和视差矩阵D的差值L：
Figure BDA0003072636310000063
其中，函数
Figure BDA0003072636310000064
J是视差真值矩阵DG中有真值标签的像素元素数量。
2.5.2)迭代最小化差值L，在每一次迭代过程中，利用RMSProp优化器更新基于双目事件相机的视差计算网络A的参数，直到迭代次数达到设定的22轮，得到训练好的视差计算网络A′。
步骤3，搭建深度信息测量系统。
参照图3，本步骤的搭建深度信息测量系统，包括双目相机组V、场景S和计算机C。场景S为待测量的实际场景；双目相机组V由左、右两个事件相机组成，用于捕获场景S并输出场景S的左、右两个事件流εl s和εr s；计算机C用于构建、训练视差计算网络，并计算出场景S的视差、深度信息。
步骤4，利用训练好的视差计算网络A′和深度信息测量系统，测量场景的深度信息。
4.1)用双目相机组V捕获场景S，得到场景S的左、右两个事件流εl s和εr s，并传输到计算机C；
4.2)计算机C将场景S的左、右两个事件流εl s和εr s送入到训练好的视差计算网络A′，计算出场景S的视差矩阵Ds；
4.3)利用三角测量原理，根据场景S的视差矩阵Ds计算出场景S的深度信息矩阵DF：
Figure BDA0003072636310000071
其中，f为双目相机组V中事件相机的焦距，B为双目相机组V中两个事件相机的基线距离。
本发明的效果可通过以下仿真和测试实验进一步说明：
仿真实验1，从事件相机数据集获取一对左右事件流，用本发明中训练好的视差计算网络计算出视差矩阵D，对其进行可视化得到网络输出视差图，如图4(a)所示。
仿真实验2，从事件相机数据集获取与上述一对左右事件流对应的视差真值矩阵DG，对其进行可视化，得到视差真值图，如图4(b)所示。
通过对比图4(a)和图4(b)可知，本发明网络输出视差图与视差真值图的差异较小，说明利用本发明构建的网络和提出的训练方法可以计算出较为准确的视差信息。
测试实验3，在如图5(a)所示的实际场景S下，用本发明测量出实际场景S的深度信息矩阵DF，对其进行可视化得到测量深度图，如图5(b)所示。
测试实验4，用现有的深度采集器RealSense测量出5(a)所示实际场景S的深度信息矩阵DRS，对其进行可视化得到深度真值图，如图5(c)所示。
对比图5(a)和图5(b)可知，本发明测量的深度图较好地反映了实际场景中的物体轮廓等信息；且由图5(b)可知，本发明测量出的深度信息是稠密的；
通过对比图5(b)和图5(c)可知，本发明测量的深度图与深度真值图的差异较小，说明本发明可以较为准确地测量出实际场景的稠密深度信息。
以上描述仅为本发明的一个具体实例，不构成对本发明的任何限制。显然对于本领域的专业人员来说，在了解本发明的内容和原理后，都可以在不背离本发明原理、结构的情况下，进行形式和细节上的各种修正和改变。这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。

Claims (7)

1.一种基于双目事件相机的深度信息测量方法，其特征在于，包括如下：
(1)构建基于双目事件相机的视差计算网络A，其依次包括两个不同的多层感知机、两个权重共享的带有残差模块的卷积层、空间金字塔池化层和编解码卷积器；
(2)从事件相机数据集中获取左、右两个事件流εl、εr和视差真值矩阵DG，将其作为训练数据，端到端地对(1)构建的网络进行训练，得到训练好的视差计算网络A′：
(2a)将事件相机数据集中的左、右两个事件流εl和εr中的每个事件表示为ei，并将这两个事件流εl和εr输入到(1)构建的网络中，其中：ei＝(xi,yi,ti,pi)，i为事件流中事件的序数，(xi,yi)为事件ei的坐标，ti为事件ei的时间戳，pi∈{-1,1}为事件ei的极性；
(2b)计算出每个事件ei对应的局部事件子集Ei，并根据局部事件子集Ei计算其对应的子集位置向量
Figure FDA0003072636300000011
Figure FDA0003072636300000012
其中，
Figure FDA0003072636300000013
是级联运算符，R(·)为事件与其邻域点的欧式距离，cosd(·)为事件与其邻域点的余弦距离，vi为事件ei的坐标，k为事件ei的邻域点序数，
Figure FDA0003072636300000014
为事件ei的第k个邻域点坐标，k和
Figure FDA0003072636300000015
由局部事件子集Ei确定；
(2c)将子集位置向量
Figure FDA0003072636300000016
送入(1)中的第一个多层感知机，输出归纳表示向量
Figure FDA0003072636300000017
并根据归纳表示向量
Figure FDA0003072636300000018
分别计算出左、右两个事件邻近特征流
Figure FDA0003072636300000019
和
Figure FDA00030726363000000110
(2d)计算每个归纳表示向量
Figure FDA00030726363000000111
的注意力得分wi：
Figure FDA00030726363000000112
其中，mlp(·)表示用(1)中的第二个多层感知机进行的运算，exp(·)表示指数函数，N表示每个事件邻近特征流
Figure FDA00030726363000000113
或
Figure FDA00030726363000000114
中归纳表示向量
Figure FDA00030726363000000115
的个数；
(2e)根据注意力得分wi，分别计算出左、右两个事件聚合特征Il和Ir，通过对左、右两个事件聚合特征Il和Ir进行双目匹配，计算出视差矩阵D；
(2f)迭代最小化事件相机数据集中的视差真值矩阵DG和(2d)中视差矩阵D的差值，更新基于双目事件相机的视差计算网络A的参数，直到迭代次数达到设定的22轮，得到训练好的视差计算网络A′；
(3)搭建一个包括双目相机组V、场景S和计算机C的双目事件相机深度信息测量系统，该双目相机组V由左、右两个事件相机组成；
(4)利用上述训练好的视差计算网络A′和深度信息测量系统，测量场景的深度信息：
(4a)用双目相机组V捕获场景S，得到场景S的左、右两个事件流εl s和εr s，并传输到计算机C；
(4b)计算机C将场景S的左、右两个事件流εl s和εr s送入训练好的视差计算网络A′，计算出场景S的视差矩阵Ds；
(4c)利用三角测量原理，从场景S的视差矩阵Ds计算出场景S的深度信息矩阵DF。
2.根据权利要求1所述的方法，其特征在于，(2b)中计算出每个事件ei对应的局部事件子集Ei，是先用K邻近算法计算事件ei所有的邻域点
Figure FDA0003072636300000021
再通过下式计算出每个事件ei对应的局部事件子集Ei：
Figure FDA0003072636300000022
3.根据权利要求1所述的方法，其特征在于，(2c)中根据归纳表示向量
Figure FDA0003072636300000023
分别计算出左、右两个事件邻近特征流
Figure FDA0003072636300000024
和
Figure FDA0003072636300000025
实现如下：
Figure FDA0003072636300000026
Figure FDA0003072636300000027
其中，
Figure FDA0003072636300000028
为事件ei所有的邻域点。
4.根据权利要求1所述的方法，其特征在于，(2e)中根据注意力得分wi，分别计算出左、右两个事件聚合特征Il和Ir，实现如下：
Figure FDA0003072636300000029
Figure FDA00030726363000000210
其中，I为事件聚合特征，σ(·)表示非线性处理，b为偏置。
5.根据权利要求1所述的方法，其特征在于，(2e)中对左、右两个事件聚合特征Il和Ir进行双目匹配，计算出视差矩阵D，实现如下：
(2e1)分别将左、右两个事件聚合特征Il和Ir送入(1)中的两个权重共享的带有残差模块的卷积层和空间金字塔池化层，输出左、右两个匹配特征矩阵fl和fr；
(2e2)用左、右两个匹配特征矩阵fl和fr，计算出匹配代价矩阵M；
(2e3)将匹配代价矩阵M送入(1)中的编解码卷积器，输出聚合代价矩阵M′；
(2e4)采用softargmin(·)函数，计算出视差矩阵D：
D＝softargmin(M′)，
其中，
Figure FDA0003072636300000031
softmax(·)为归一化指数函数，d∈(0,dmax)为视差偏移量，dmax为最大视差值。
6.根据权利要求5所述的方法，其特征在于，(2e2)中用左、右两个匹配特征矩阵fl和fr，计算出匹配代价矩阵M，是按如下函数分别计算匹配代价矩阵M中每个元素M(p,q,d)的值：
Figure FDA0003072636300000032
其中，(p,q)为左、右两个匹配特征矩阵fl和fr中的像素坐标，W为以坐标(p,q)为中心的小窗，a为小窗W中像素的纵向序数，b小窗W中像素的横向序数，d∈(0,dmax)为视差偏移量，dmax为最大视差值。
7.根据权利要求1所述的方法，其特征在于，(4c)中利用三角测量原理，从场景S的视差矩阵Ds计算出场景S的深度信息矩阵DF，公式如下：
Figure FDA0003072636300000033
其中，f为双目相机组V中事件相机的焦距，B为双目相机组V中两个事件相机的基线距离。
CN202110543405.XA 2021-05-19 2021-05-19 基于双目事件相机的深度信息测量方法 Active CN113222945B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110543405.XA CN113222945B (zh) 2021-05-19 2021-05-19 基于双目事件相机的深度信息测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110543405.XA CN113222945B (zh) 2021-05-19 2021-05-19 基于双目事件相机的深度信息测量方法

Publications (2)

Publication Number Publication Date
CN113222945A true CN113222945A (zh) 2021-08-06
CN113222945B CN113222945B (zh) 2024-02-09

Family

ID=77092859

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110543405.XA Active CN113222945B (zh) 2021-05-19 2021-05-19 基于双目事件相机的深度信息测量方法

Country Status (1)

Country Link
CN (1) CN113222945B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113781470A (zh) * 2021-09-24 2021-12-10 商汤集团有限公司 视差信息获取方法、装置、设备及双目摄像系统
CN115880344A (zh) * 2022-11-18 2023-03-31 浙江大学 一种双目立体匹配数据集视差真值获取方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170091496A (ko) * 2016-02-01 2017-08-09 삼성전자주식회사 양안 시차 영상의 처리 방법 및 장치
CN109801314A (zh) * 2019-01-17 2019-05-24 同济大学 一种基于深度学习的双目动态视觉传感器立体匹配方法
CN110517309A (zh) * 2019-07-19 2019-11-29 沈阳工业大学 一种基于卷积神经网络的单目深度信息获取方法
US20200265590A1 (en) * 2019-02-19 2020-08-20 The Trustees Of The University Of Pennsylvania Methods, systems, and computer readable media for estimation of optical flow, depth, and egomotion using neural network trained using event-based learning
CN112365585A (zh) * 2020-11-24 2021-02-12 革点科技(深圳)有限公司 一种基于事件相机的双目结构光三维成像方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170091496A (ko) * 2016-02-01 2017-08-09 삼성전자주식회사 양안 시차 영상의 처리 방법 및 장치
CN109801314A (zh) * 2019-01-17 2019-05-24 同济大学 一种基于深度学习的双目动态视觉传感器立体匹配方法
US20200265590A1 (en) * 2019-02-19 2020-08-20 The Trustees Of The University Of Pennsylvania Methods, systems, and computer readable media for estimation of optical flow, depth, and egomotion using neural network trained using event-based learning
CN110517309A (zh) * 2019-07-19 2019-11-29 沈阳工业大学 一种基于卷积神经网络的单目深度信息获取方法
CN112365585A (zh) * 2020-11-24 2021-02-12 革点科技(深圳)有限公司 一种基于事件相机的双目结构光三维成像方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘建国;冯云剑;纪郭;颜伏伍;朱仕卓;: "一种基于PSMNet改进的立体匹配算法", 华南理工大学学报(自然科学版), no. 01 *
李鸣翔;贾云得;: "基于自适应聚合的立体视觉合作算法", 软件学报, no. 07 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113781470A (zh) * 2021-09-24 2021-12-10 商汤集团有限公司 视差信息获取方法、装置、设备及双目摄像系统
CN115880344A (zh) * 2022-11-18 2023-03-31 浙江大学 一种双目立体匹配数据集视差真值获取方法

Also Published As

Publication number Publication date
CN113222945B (zh) 2024-02-09

Similar Documents

Publication Publication Date Title
Zeng et al. Multi-scale convolutional neural networks for crowd counting
Eldesokey et al. Propagating confidences through cnns for sparse data regression
Gehrig et al. Combining events and frames using recurrent asynchronous multimodal networks for monocular depth prediction
Aleotti et al. Generative adversarial networks for unsupervised monocular depth prediction
CN111985343A (zh) 一种行为识别深度网络模型的构建方法及行为识别方法
Kim et al. Deep stereo confidence prediction for depth estimation
CN113222945B (zh) 基于双目事件相机的深度信息测量方法
Uddin et al. Unsupervised deep event stereo for depth estimation
CN117372706A (zh) 一种多尺度可变形的人物交互关系检测方法
Cao et al. Monocular depth estimation with augmented ordinal depth relationships
CN116468769A (zh) 一种基于图像的深度信息估计方法
CN112288778A (zh) 一种基于多帧回归深度网络的红外小目标检测方法
Niu et al. Boundary-aware RGBD salient object detection with cross-modal feature sampling
Wang et al. Recurrent neural network for learning densedepth and ego-motion from video
Yang et al. SAM-Net: Semantic probabilistic and attention mechanisms of dynamic objects for self-supervised depth and camera pose estimation in visual odometry applications
CN117132651A (zh) 一种融合彩色图像和深度图像的三维人体姿态估计方法
CN115861384A (zh) 基于生成对抗和注意力机制的光流估计方法及系统
CN115496859A (zh) 基于散乱点云交叉注意学习的三维场景运动趋势估计方法
Tighkhorshid et al. Car depth estimation within a monocular image using a light CNN
Yang et al. Stereo Matching Algorithm Based on Improved Census Transform
Howells et al. Depth maps comparisons from monocular images by MiDaS convolutional neural networks and dense prediction transformers
Farooq et al. A Review of Monocular Depth Estimation Methods Based on Deep Learning
CN111539988B (zh) 一种视觉里程计实现方法、装置和电子设备
US20240169567A1 (en) Depth edges refinement for sparsely supervised monocular depth estimation
Vasudevan et al. An adaptive chromosome based cost aggregation approach for developing a high quality stereo vision model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant