CN114708478B - 事件相机与标准相机的数据融合方法、装置、设备及介质 - Google Patents

事件相机与标准相机的数据融合方法、装置、设备及介质 Download PDF

Info

Publication number
CN114708478B
CN114708478B CN202210630032.4A CN202210630032A CN114708478B CN 114708478 B CN114708478 B CN 114708478B CN 202210630032 A CN202210630032 A CN 202210630032A CN 114708478 B CN114708478 B CN 114708478B
Authority
CN
China
Prior art keywords
information
probability
event
point cloud
cloud block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210630032.4A
Other languages
English (en)
Other versions
CN114708478A (zh
Inventor
邓涛
张晟东
张立华
古家威
李志建
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ji Hua Laboratory
Original Assignee
Ji Hua Laboratory
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ji Hua Laboratory filed Critical Ji Hua Laboratory
Priority to CN202210630032.4A priority Critical patent/CN114708478B/zh
Publication of CN114708478A publication Critical patent/CN114708478A/zh
Application granted granted Critical
Publication of CN114708478B publication Critical patent/CN114708478B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及机器人视觉技术领域，具体公开了一种事件相机与标准相机的数据融合方法、装置、设备及介质，其中，方法包括以下步骤：根据事件信息的分辨率将深度图像信息划分为多个点云块信息；根据点云块信息和事件信息的概率密度获取前向概率信息和后向概率信息，前向概率信息和后向概率信息分别为事件信息迁移至一点云块信息位置的前向概率和后向概率；根据前向概率信息和后向概率信息获取点云块信息与事件信息的相关性信息；根据相关性信息和全概率公式获取事件信息与点云块信息的条件概率；根据最大化的条件概率融合点云块信息与事件信息；该方法具有匹配精度高、计算量小、融合效率高的特点。

Description

事件相机与标准相机的数据融合方法、装置、设备及介质
技术领域
本申请涉及机器人视觉技术领域，具体而言，涉及一种事件相机与标准相机的数据融合方法、装置、设备及介质。
背景技术
常见的室外机器人有无人车、无人机和四足机器人等，这一室外移动机器人通常被用来承担巡检、目标追踪和搬运等任务。在完成上述任务的过程中，作为机器人的“眼睛”的视觉识别功能起着极为重要的作用。
室外机器人一般依赖各类视觉传感器获取图像并以分析后的图像数据充当环境识别结果，图像质量的好坏直接影响到机器人在室外实现自主导航、目标追踪、姿态识别和三维重建等功能的效果，所以如何解决或改善这些图像问题具有重要的意义和实用价值。
其中，事件相机通过感知场景光强的动态变化来获取信息，具有高时间分辨率、低延时特性（微秒级）、高动态范围（140Db相比于标准相机60dB）和低功耗等特点；事件相机应用在室外机器人时，常通过输出事件信息以与标准相机获取的图像数据进行融合获取高精度的融合数据，现有的事件相机和标准相机的数据融合方式普遍存在数据处理的计算量大、融合效率低、精度低等缺点。
针对上述问题，目前尚未有有效的技术解决方案。
发明内容
本申请的目的在于提供一种事件相机与标准相机的数据融合方法、装置、设备及介质，以提高事件相机与标准相机的数据匹配精度、减少数据融合处理的计算量、并提高融合效率。
第一方面，本申请提供了一种事件相机与标准相机的数据融合方法，用于融合标准相机生成的深度图像信息和事件相机生成的事件信息，所述方法包括以下步骤：
根据所述事件信息的分辨率将所述深度图像信息划分为多个点云块信息；
根据所述点云块信息和所述事件信息的概率密度获取前向概率信息和后向概率信息，所述前向概率信息和所述后向概率信息分别为所述事件信息迁移至一所述点云块信息位置的前向概率和后向概率；
根据所述前向概率信息和所述后向概率信息获取所述点云块信息与所述事件信息的相关性信息；
根据所述相关性信息和全概率公式获取所述事件信息与所述点云块信息的条件概率；
根据最大化的所述条件概率融合所述点云块信息与所述事件信息。
所述的事件相机与标准相机的数据融合方法，其中，所述根据所述事件信息的分辨率将所述深度图像信息划分为多个点云块信息的步骤包括：
根据所述事件信息的分辨率在所述深度图像信息矩阵排列多个选框以将所述深度图像信息分割为多个选区，将所述深度图像信息对应的所有点云划分在各个选区中以构成多个所述点云块信息。
本申请的方法能基于最大化的条件概率融合点云块信息与事件信息以获取位置最匹配的事件信息和点云块信息，大大地降低了全概率计算的实时计算量，使得事件信息能快速地与点云块信息进行位置匹配，即确定了事件信息在对应的深度图像信息中的位置，以之指导事件相机和标准相机进行数据融合，具有匹配精度高、计算量小、融合效率高的特点。
所述的事件相机与标准相机的数据融合方法，其中，所述根据所述点云块信息和所述事件信息的概率密度获取前向概率信息和后向概率信息的步骤包括：
根据每个所述点云块信息中的点云聚类中心与各个点云的关系获取点云内部概率密度信息；
根据所述事件信息中的事件聚类中心与各个事件点的关系获取事件内部概率密度信息；
根据所述点云内部概率密度信息和所述事件内部概率密度信息的概率密度获取所述前向概率信息和所述后向概率信息。
在该示例中，点云块信息和事件信息均以聚类中心和各个数据点的关系建立对应的概率密度函数，大大地降低了噪声的干扰，尤其是降低了无用事件点对事件信息的干扰，使得后续数据融合更准确；在别的实施方式中，点云块信息和事件信息还可以用其他滤波手段设定核心来获取概率密度函数。
所述的事件相机与标准相机的数据融合方法，其中，所述根据所述点云内部概率密度信息和所述事件内部概率密度信息的概率密度获取所述前向概率信息和所述后向概率信息的步骤包括：
根据所述事件内部概率密度信息获取迁移概率信息，所述迁移概率信息为所述事件信息迁移至一所述点云块信息位置的概率；
根据所述迁移概率信息及所述点云内部概率密度信息获取所述前向概率信息和所述后向概率信息。
该示例的方法将点云块信息的排列顺序定义为前后顺序，使得针对于一个点云块信息的位置而言，事件信息可以是从该点云块信息前面滑动而来，还可以是从该点云块信息后面滑动而来，故利用前向概率信息和后向概率信息便能评价事件信息的所有滑动方式，简化算法逻辑，从而降低数据融合的计算量。
所述的事件相机与标准相机的数据融合方法，其中，所述根据所述事件内部概率密度信息获取迁移概率信息的步骤包括：
根据所述事件信息朝不重复方向进行转移的转移概率信息和所述事件内部概率密度信息获取所述迁移概率信息。
所述的事件相机与标准相机的数据融合方法，其中，所述前向概率信息的前向顺序为多个所述点云块信息在所述深度图像信息中从左上角到右下角的排列顺序。
所述的事件相机与标准相机的数据融合方法，其中，所述根据最大化的所述条件概率融合所述点云块信息与所述事件信息的步骤包括：
获取所述条件概率最大化时的目标点云块信息及与之对应的目标事件信息；
融合所述目标点云块信息中的点云与所述目标事件信息中的事件点以获取融合点云。
第二方面，本申请还提供了一种事件相机与标准相机的数据融合装置，用于融合标准相机生成的深度图像信息和事件相机生成的事件信息，所述装置包括：
分块模块，用于根据所述事件信息的分辨率将所述深度图像信息划分为多个点云块信息；
中转概率计算模块，用于根据所述点云块信息和所述事件信息的概率密度获取前向概率信息和后向概率信息，所述前向概率信息和所述后向概率信息分别为所述事件信息迁移至一所述点云块信息位置的前向概率和后向概率；
相关性模块，用于根据所述前向概率信息和所述后向概率信息获取所述点云块信息与所述事件信息的相关性信息；
条件概率模块，用于根据所述相关性信息和全概率公式获取所述事件信息与所述点云块信息的条件概率；
融合模块，用于根据最大化的所述条件概率融合所述点云块信息与所述事件信息。
本申请的装置能基于最大化的条件概率融合点云块信息与事件信息以获取位置最匹配的事件信息和点云块信息，大大地降低了全概率计算的实时计算量，使得事件信息能快速地与点云块信息进行位置匹配，即确定了事件信息在对应的深度图像信息中的位置，以之指导事件相机和标准相机进行数据融合，具有匹配精度高、计算量小、融合效率高的特点。
第三方面，本申请还提供了一种电子设备，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如上述第一方面提供的所述方法中的步骤。
第四方面，本申请还提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时运行如上述第一方面提供的所述方法中的步骤。
由上可知，本申请提供了一种事件相机与标准相机的数据融合方法、装置、设备及介质，其中，方法基于该相似程度建立的前向概率信息和后向概率信息表征了事件信息从两个方向上转移到特定点云块信息位置上的概率，基于最大化的条件概率融合点云块信息与事件信息以获取位置最匹配的事件信息和点云块信息，大大地降低了全概率计算的实时计算量，使得事件信息能快速地与点云块信息进行位置匹配，即确定了事件信息在对应的深度图像信息中的位置，以之指导事件相机和标准相机进行数据融合，具有匹配精度高、计算量小、融合效率高的特点；其次，基于点云块信息和事件信息的概率密度获取前向概率信息和后向概率信息的过程实质为计算对应信息的内部各点的关系，实现了信息滤波处理，大大地降低了噪声对事件信息的干扰，使得后续利用条件概率获取点云块信息与事件信息匹配关系时精度更高，确保融合后的数据更准确。
附图说明
图1为本申请实施例提供的事件相机与标准相机的数据融合方法的流程图。
图2为本申请实施例提供的事件相机与标准相机的数据融合装置的结构示意图。
图3为本申请实施例提供的电子设备的结构示意图。
附图标记：201、分块模块；202、中转概率计算模块；203、相关性模块；204、条件概率模块；205、融合模块；301、处理器；302、存储器；303、通信总线。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
第一方面，请参照图1，图1是本申请一些实施例中的一种事件相机与标准相机的数据融合方法，用于融合标准相机生成的深度图像信息和事件相机生成的事件信息，方法包括以下步骤：
S1、根据事件信息的分辨率将深度图像信息划分为多个点云块信息；
具体地，本申请实施例的方法主要应用在室外移动机器人的视觉处理中，室外移动机器人依赖多种视觉传感器获取数据来获取外界环境信息，在本申请实施例中，视觉传感器至少包括事件相机和标准相机。
更具体地，本申请实施例中的事件相机获取的事件信息的分辨率小于标准相机获取的深度图像信息的分辨率，因此，步骤S1可以根据事件信息的分辨率（图像大小）将深度图像信息划分为多个区域图像，每个图像中的所有点云构成该对应位置的点云块信息。
更具体地，事件相机的采样频率远远高于标准相机的采样频率，即在标准相机获取两个图像帧的深度图像信息之间，事件相机采集了对应于多个时刻的多个图像帧的事件信息；室外机器人常常在移动过程中获取事件信息和深度图像信息，移动过程中产生的两个图像帧的深度图像信息之间产生了多个图像帧的事件信息，这就需要确定这些事件信息与某一图像帧的深度图像信息的位置关系才能指导两种数据进行融合，本申请实施例中将深度图像信息划分为多个点云块信息为后续数据融合建立位置配对基础，使事件信息能与其中一个点云块信息进行融合。
更具体地，在本申请实施例中，室外机器人具有多个事件相机以同时获取多个朝向位置的事件信息，来与分辨率较大的深度图像信息进行融合；本申请实施例的方法旨在解析一个事件相机与标准相机的数据融合过程。
更具体地，事件相机可以为现有的各类事件相机，在本申请实施例中，优选为DVS事件相机，该DVS事件相机只用于输出事件信息，且为异步输出。
更具体地，本申请实施例的方法旨在融合事件相机和标准相机采集的数据，使得最终输出的结果具备更多特征信息来分析或评价外界环境信息，因此，本申请实施例的标准相机优选为能获取深度图像信息，使得其采集的图像具备深度特征；标准相机可以为各类能获取深度特性的图像采集相机，在本申请实施例中，优选为RGB-D相机，使得获取的图像中的每个像素点具备深度信息以能作为点云使用，从而确保深度图像信息能被划分为多个点云块信息。
S2、根据点云块信息和事件信息的概率密度获取前向概率信息和后向概率信息，前向概率信息和后向概率信息分别为事件信息迁移至一点云块信息位置的前向概率和后向概率；
具体地，前向概率信息表征了事件信息由位于该点云块信息的前面的点云块信息的位置转移至该点云块信息位置的概率，后向概率信息表征了事件信息由位于该点云块信息的后面的点云块信息的位置转移至该点云块信息位置的概率，结合前向概率信息和后向概率信息能综合反映事件信息转移至该点云块信息的可能性。
更具体地，该概率密度一般用于描述变量的输出值，在申请实施例中，点云块信息和事件信息的概率密度分别用于反映对应的点云块信息内部各点云的关系和反映对应的事件信息的内部各事件点的关系，基于该概率密度可以初步判断点云块信息和事件信息的相关性，故能基于两者的概率密度分析出事件信息移动至对应的点云块信息的前向概率信息和后向概率信息，即获取了假定存在于各个位置的事件信息转移至某一点云块信息位置的概率，其中，位于该点云块信息位置前面进行转移的事件信息对应的概率为前向概率信息，位于该点云块信息位置后面进行转移的事件信息对应的概率为后向概率信息。
S3、根据前向概率信息和后向概率信息获取点云块信息与事件信息的相关性信息；
具体地，该相关性信息为利用前向概率信息和后向概率信息进行建立，而前向概率信息和后向概率信息则为利用点云块信息和事件信息的概率密度建立，使得该相关性信息能用于描述在给定事件信息的前提下点云块信息与该事件信息位置相同的概率，能作为后续步骤中全概率公式的似然函数进行使用。
S4、根据相关性信息和全概率公式获取事件信息与点云块信息的条件概率；
具体地，全概率公式为基于贝叶斯公式转换而成的概率公式，为通过似然函数及先验概率来计算后验概率的概率计算手段，后验概率为在考虑了一个事实之后的条件概率，即在全概率公式中固定先验概率后，可将条件概率视为后验概率；在本申请实施例中，固定先验概率相当于固定一个点云块信息，即在指定一个点云块信息后，条件概率能反映不同位置的事件信息转移至该点云块信息位置的概率，从而反映出该点云块信息与事件信息的配对关系，故该条件概率可视为用于表征点云块信息与事件信息之间相关性的对应率。
更具体地，条件概率的值越大表明对应的事件信息和点云块信息对应率越高、相关性越强。
S5、根据最大化的条件概率融合点云块信息与事件信息。
具体地，该步骤为通过代入不同的点云块信息和不同时刻的事件信息求取不同大小的条件概率，其中，最大化的条件概率表明了最匹配的点云块信息和事件信息，可视为该点云块信息与事件信息对应，即视为点云块信息与事件信息成功配对，故执行步骤S5能将完成配对的事件相机与标准相机的数据进行融合。
更具体地，针对某一选定的点云块信息而言，该条件概率转化为后验概率，条件概率的最大值为考虑不同事件信息与点云块信息配对情况中配对最合适的最大概率，在本申请实施例中，可以通过代入不同点云块信息计算对应不同的点云块信息与不同时刻事件信息对应的后验概率，然后将所有计算获取的后验概率中的最大的后验概率视为该条件概率的最大值，该最大化的条件概率表征了对应时刻的事件信息与点云块信息匹配度、相关性最高，在本申请实施例中，将该时刻的事件信息视为与该点云块信息匹配成功，并将两种信息进行点云融合，使得融合后的点云具备更多特征信息。
更具体地，事件信息中的事件点的格式表现为
Figure DEST_PATH_IMAGE001
，其中，
Figure DEST_PATH_IMAGE002
为事件点的二维像素坐标，
Figure DEST_PATH_IMAGE003
为时间戳，
Figure DEST_PATH_IMAGE004
为极性，i为事件点编号；点云块信息中的点云的格式表现为
Figure DEST_PATH_IMAGE005
，即为三维像素坐标，i为点云编号。
更具体地，点云块信息与事件信息的融合过程为利用最大化的条件概率确定需要融合的点云块信息和事件信息，进而根据点云块信息中的点云与事件信息中的事件点的坐标关系，将事件点的极性和时间戳特征添加到点云中以形成融合点云，使融合后生成的融合点云具有时间戳和极性特征，即将与
Figure DEST_PATH_IMAGE006
一致的
Figure DEST_PATH_IMAGE007
对应的
Figure 379437DEST_PATH_IMAGE003
和
Figure 890052DEST_PATH_IMAGE004
添加到点云中。
更具体地，由于每两个图像帧的深度图像信息之间产生了多个图像帧的事件信息，本申请实施例的方法旨在将两个图像帧的深度图像信息之间的至少一个图像帧的事件信息的时间戳和极性特征融合到在前和/或在后的图像帧的深度图像信息中，在本申请实施例中，优选为融合到在前的图像帧的深度图像信息中。
本申请实施例的方法，基于点云块信息和事件信息的概率密度能获知点云块信息和事件信息的相似程度，基于该相似程度建立的前向概率信息和后向概率信息表征了事件信息从两个方向上转移到特定点云块信息位置上的概率，基于前向概率信息和后向概率信息获取的相关性信息建立的条件概率能直接反映事件信息与点云块信息配对程度，本申请实施例的方法能基于最大化的条件概率融合点云块信息与事件信息以获取位置最匹配的事件信息和点云块信息，大大地降低了全概率计算的实时计算量，使得事件信息能快速地与点云块信息进行位置匹配，即确定了事件信息在对应的深度图像信息中的位置，以之指导事件相机和标准相机进行数据融合，具有匹配精度高、计算量小、融合效率高的特点；其次，基于点云块信息和事件信息的概率密度获取前向概率信息和后向概率信息的过程实质为计算对应信息的内部各点的关系，实现了信息滤波处理，大大地降低了噪声对事件信息的干扰，使得后续利用条件概率获取点云块信息与事件信息匹配关系时精度更高，确保融合后的数据更准确；此外，两种相机融合的数据具备三维坐标、极性、时间戳特征，使得应用该方法进行数据融合的室外机器人对高频、高动态信息具有极强的处理能力。
在一些优选的实施方式中，根据事件信息的分辨率将深度图像信息划分为多个点云块信息的步骤包括：
S11、根据事件信息的分辨率在深度图像信息矩阵排列多个选框以将深度图像信息分割为多个选区，将深度图像信息对应的所有点云划分在各个选区中以构成多个点云块信息。
具体地，步骤S5的融合过程为将事件信息的事件点与对应点云块信息内的点云进行融合，故需要确保两者的图像大小一致、元素数量相当，因此，步骤S11为基于事件信息的图像大小（分辨率）将深度图像信息划分为多个图像大小与事件信息的图像大小一致的区域图像，每个图像中的所有点云构成该对应位置的点云块信息。
更具体地，选框的大小为事件信息的图像边框大小，矩阵排列的多个选框可有效覆盖整个深度图像信息并将之划分出多个大小一致的点云块信息。
更具体地，由于点云块信息的图像大小与事件信息的图像大小一致，因此，可以将事件信息视为一个滑块，步骤S2则为计算该滑块滑动到某一点云块信息对应位置的前向概率和后向概率，步骤S3-S5则为判断该滑块最有可能存在的位置来确定将该滑块的事件点与对应位置的点云进行融合。
在对深度图像信息进行划分的过程中，深度图像信息的图像大小不一定是事件信息的图像大小的整倍数，从而引起部分划分用的选框凸出于深度图像信息的边缘，因此，在一些优选的实施方式中，步骤S11包括：
S111、根据事件信息的分辨率在深度图像信息矩阵排列多个选框以将深度图像信息分割为多个选区，对选框中超出图像深度信息的部分进行补零处理，将深度图像信息对应的所有点云和补零数据划分在对应的选区中以构成多个点云块信息。
具体地，选框能以任意位置为基准进行矩阵排列，在本申请实施例中，优选为从深度图像信息的左上角到右下角进行排列（即以深度图像信息左上角的角点为基准），因此，超出深度图像信息的边缘的选框在深度图像信息中的右侧和/或下侧，补零处理为对这些选框中超出深度图像信息的边缘的区域填入补零数据。
更具体地，概率密度、前向概率信息和后向概率信息均需以整个点云块信息内所有点云和事件信息内所有事件点作为计算数据，超出深度图像信息的边缘的选框对应的点云块信息缺少了相当数量的计算数据，会影响上述数据的计算精度，因此，需要对这些选框进行补零处理以使对应的点云块信息具有与其他的点云块信息一致数量的点云数据，确保后续计算过程顺利进行。
更具体地，补零数据为零数据，为最终融合后的点云中可以去除的数据，因此，不会影响点云的融合结果。
在一些优选的实施方式中，根据点云块信息和事件信息的概率密度获取前向概率信息和后向概率信息的步骤包括：
S21、根据每个点云块信息中的点云聚类中心与各个点云的关系获取点云内部概率密度信息；
具体地，点云聚类中心为该点云块信息中所有点云的聚类中心，可通过现有的各种用于数据点的聚类手段进行获取；该步骤以点云聚类中心作为核心计算不同点云与核心的关系来获取点云内部概率密度信息，即对该点云块信息中所有点云进行滤波处理而获得能表征该点云块信息概率密度的点云内部概率密度信息。
更具体地，在本申请实施例中，点云内部概率密度信息为一个概率密度函数，能作为构建充当似然函数的相关性信息的函数基础。
S22、根据事件信息中的事件聚类中心与各个事件点的关系获取事件内部概率密度信息；
具体地，事件聚类中心为该事件信息中所有事件点的聚类中心，可通过现有的各种用于数据点的聚类手段进行获取；该步骤以事件聚类中心作为核心计算不同事件点与核心的关系来获取事件内部概率密度信息，即对该事件信息中所有事件点进行滤波处理而获得能表征该事件信息概率密度的事件内部概率密度信息。
更具体地，在本申请实施例中，事件内部概率密度信息为一个概率密度函数，能作为构建充当似然函数的相关性信息的函数基础。
S23、根据点云内部概率密度信息和事件内部概率密度信息的概率密度获取前向概率信息和后向概率信息。
具体地，步骤S21和步骤S22可独立进行或同步进行，两个步骤之间不会产生相互影响，步骤S23为在步骤S21和步骤S22完成后执行。
更具体地，前向概率信息和后向概率信息均为概率函数，分别用于表征两个方向上被视为滑块的事件信息滑动到对应点云块信息位置的变化概率。
更具体地，在本申请实施例中，点云块信息和事件信息均以聚类中心和各个数据点的关系建立对应的概率密度函数，大大地降低了噪声的干扰，尤其是降低了无用事件点对事件信息的干扰，使得后续数据融合更准确；在别的实施方式中，点云块信息和事件信息还可以用其他滤波手段设定核心来获取概率密度函数。
在一些优选的实施方式中，根据点云内部概率密度信息和事件内部概率密度信息的概率密度获取前向概率信息和后向概率信息的步骤包括：
S231、根据事件内部概率密度信息获取迁移概率信息，迁移概率信息为事件信息迁移至一点云块信息位置的概率；
具体地，由前述内容可知，事件信息相当于一个在深度图像信息上进行滑动的滑块，因此，在获取前向概率信息和后向概率信息的过程中，需要考虑事件信息可进行的滑动行为及对应滑动行为的出现概率，该出现概率即为迁移概率信息。
更具体地，以一点云块信息为滑动终点，事件信息可以是从不同位置滑动抵达的，因此，不同起始位置的事件信息具有不同的迁移概率。
S232、根据迁移概率信息及点云内部概率密度信息获取前向概率信息和后向概率信息。
具体地，本申请实施例的方法将点云块信息的排列顺序定义为前后顺序，使得针对于一个点云块信息的位置而言，事件信息可以是从该点云块信息前面滑动而来，还可以是从该点云块信息后面滑动而来，故利用前向概率信息和后向概率信息便能评价事件信息的所有滑动方式，简化算法逻辑，从而降低数据融合的计算量。
更具体地，步骤S232结合点云内部概率密度信息和步骤S231获取的迁移概率信息，能构建出关于不同点云块信息对应的前向概率信息和后向概率信息，即构建出不同事件信息滑动至不同点云块信息的概率函数。
在一些优选的实施方式中，根据事件内部概率密度信息获取迁移概率信息的步骤包括：
S2311、根据事件信息朝不重复方向进行转移的转移概率信息和事件内部概率密度信息获取迁移概率信息。
具体地，事件信息可执行的滑动行为是有限的，为区分事件信息的不同滑动行为，步骤S2311为根据事件信息朝不重复方向进行转移的转移概率信息和事件内部概率密度信息获取迁移概率信息，从而确保本申请实施例的方法能充分且不重复地考虑事件信息的滑动情况。
更具体地，转移概率信息为事件信息执行某一滑动方向滑动行为的出现概率。
更具体地，对于深度图像信息而言，划分出不同数量的点云块信息，事件信息的可执行的滑动行为数量不同，因此转移概率信息需要根据具体深度图像信息的具体划分手段及点云块信息的具体数量来进行设定，故本申请实施例的方法不对转移概率信息进行具体数值的限定。
更具体地，在本申请实施例中，转移概率信息定义为
Figure DEST_PATH_IMAGE008
，则迁移概率信息的表达式为：
Figure DEST_PATH_IMAGE009
（1）
其中，
Figure DEST_PATH_IMAGE010
为迁移概率信息，
Figure DEST_PATH_IMAGE011
为事件内部概率密度信息，
Figure DEST_PATH_IMAGE012
为t时刻的事件信息，满足：
Figure DEST_PATH_IMAGE013
（2）
即式（2）表示了t时刻的事件信息包含了n个事件点，即式（2）中右侧每一行数据相当于前述中的一个事件点
Figure DEST_PATH_IMAGE014
。
在t给定后，事件内部概率密度信息
Figure 921987DEST_PATH_IMAGE011
满足：
Figure DEST_PATH_IMAGE015
（3）
其中，m D 、n D 分别为事件信息的图像长度和图像宽度，h 2 为第二带宽系数，第二带宽系数为根据运行需求进行设定，在本申请实施例中，优选设定为10；
Figure DEST_PATH_IMAGE016
，表示
Figure DEST_PATH_IMAGE017
的任一元素，即为t时刻事件信息中的任一个事件点，
Figure DEST_PATH_IMAGE018
表示事件聚类中心，l和q分别为事件点在图像长度中的位置值和图像宽度中的位置值。
同理，对于点云内部概率密度信息
Figure DEST_PATH_IMAGE019
，满足：
Figure DEST_PATH_IMAGE020
（4）
Figure DEST_PATH_IMAGE021
（5）
其中，
Figure DEST_PATH_IMAGE022
为第i个点云块信息，即式（5）表示了该点云块信息其包含了m个点云，h 1 为第一带宽系数，第一带宽系数为根据运行需求进行设定，在本申请实施例中，也优选设定为10；
Figure DEST_PATH_IMAGE023
表示中
Figure 628781DEST_PATH_IMAGE022
的任一元素，即为该点云块信息中的任一点云，定义为
Figure DEST_PATH_IMAGE024
，该处l和q分别为点云在图像长度中的位置值和图像宽度中的位置值，由于点云块信息根据事件信息分辨率进行划分，故可采用同样的l和q作为位置值标记。
本申请实施例中，将前向概率信息定义为
Figure DEST_PATH_IMAGE025
，满足：
Figure DEST_PATH_IMAGE026
（6）
其中，i为第i个点云块信息的标号，j为第j个点云块信息的标号，满足j=1，…，N，且j≤i，在式（6）中表征了事件信息迁移前所在的点云块信息的位置，同时，该前向概率信息的初值定义为
Figure DEST_PATH_IMAGE027
，即确定前向迁移至第一个点云块信息的概率为第一个点云块信息的点云内部概率密度信息，即式（6）表达了事件信息从所有在前点云块信息的位置迁移至第i个点云块信息（前向迁移）的叠加概率。
本申请实施例中，将后向概率信息定义为
Figure DEST_PATH_IMAGE028
，满足：
Figure DEST_PATH_IMAGE029
（7）
其中，i为第i个点云块信息的标号，j为第j个点云块信息的标号，满足j=1，…，N，且j≤i，同时，该后向概率信息的初始定义为
Figure DEST_PATH_IMAGE030
，
Figure DEST_PATH_IMAGE031
表示t+1时刻事件信息迁移至第j个点云块信息的概率，即式（7）表达了时间信息后向迁移的叠加概率。
在一些优选的实施方式中，前向概率信息的前向顺序为多个点云块信息在深度图像信息中从左上角到右下角的排列顺序；反之，后向概率信息的后向顺序为多个点云块信息在深度图像信息中从右下角到左下角的排列顺序。
具体地，根据上述顺序进行划分后，对于一个点云块信息而言，位于该点云块信息同一行左侧的点云块信息属于前向点云块信息，位于该点云块信息所在行之上的点云块信息也属于前向点云块信息，反之，位于该点云块信息同一行右侧的点云块信息属于后向点云块信息，位于该点云块信息所在行之下的点云块信息也属于后向点云块信息；基于上述划分逻辑，可将事件信息迁移简化为两个方向的迁移问题，有效降低数据融合的计算量。
在一些优选的实施方式中，根据最大化的条件概率融合点云块信息与事件信息的步骤包括：
S51、获取条件概率最大化时的目标点云块信息及与之对应的目标事件信息；
S52、融合目标点云块信息中的点云与目标事件信息中的事件点以获取融合点云。
具体地，由于本申请实施例旨在针对一个事件信息获取对应的点云块信息进行数据融合，因此目标事件信息为已知的事件信息，故步骤S51为获取该目标事件信息匹配的目标点云块信息。
在一些优选的实施方式中，步骤S4的相关性信息定义为
Figure DEST_PATH_IMAGE032
，满足：
Figure DEST_PATH_IMAGE033
（8）
步骤S4的全概率公式为：
Figure DEST_PATH_IMAGE034
Figure DEST_PATH_IMAGE035
（9）
其中，
Figure DEST_PATH_IMAGE036
为条件概率，相关性信息
Figure DEST_PATH_IMAGE037
在全概率公式中作为似然函数使用，
Figure DEST_PATH_IMAGE038
为证据因子，满足：
Figure DEST_PATH_IMAGE039
（10）
其中，
Figure DEST_PATH_IMAGE040
为先验概率，本申请实施例过程为拟定一个点云块信息进行条件概率计算，即将
Figure 834083DEST_PATH_IMAGE040
视为1，再使条件概率作为后验概率进行计算，因此，公式（9）可简化为：
Figure DEST_PATH_IMAGE041
Figure DEST_PATH_IMAGE042
（11）
因此，对于所有点云块信息而言，满足：
Figure DEST_PATH_IMAGE043
（12）
其中，
Figure DEST_PATH_IMAGE044
为
Figure DEST_PATH_IMAGE045
的集合。
步骤S51最大化条件概率的过程为将事件信息和不同点云块信息置入下式中：
Figure DEST_PATH_IMAGE046
（13）
其中，
Figure DEST_PATH_IMAGE047
为目标点云块信息，即对于t时刻的事件信息而言，
Figure 905813DEST_PATH_IMAGE047
与之最为匹配，故可将两者数据进行融合。
更具体地，在本申请实施例中，融合点云表现为
Figure DEST_PATH_IMAGE048
，其中，x、y、 z为融合点云的三维坐标，对应于
Figure 704005DEST_PATH_IMAGE047
中点云的三维坐标，k为融合点云的极性，t为融合点云的时间戳，分别对应于t时刻事件信息中事件点的极性和时间戳。
第二方面，请参照图2，图2是本申请一些实施例中提供的一种事件相机与标准相机的数据融合装置，用于融合标准相机生成的深度图像信息和事件相机生成的事件信息，装置包括：
分块模块201，用于根据事件信息的分辨率将深度图像信息划分为多个点云块信息；
中转概率计算模块202，用于根据点云块信息和事件信息的概率密度获取前向概率信息和后向概率信息，前向概率信息和后向概率信息分别为事件信息迁移至一点云块信息位置的前向概率和后向概率；
相关性模块203，用于根据前向概率信息和后向概率信息获取点云块信息与事件信息的相关性信息；
条件概率模块204，用于根据相关性信息和全概率公式获取事件信息与点云块信息的条件概率；
融合模块205，用于根据最大化的条件概率融合点云块信息与事件信息。
本申请实施例的装置能基于最大化的条件概率融合点云块信息与事件信息以获取位置最匹配的事件信息和点云块信息，大大地降低了全概率计算的实时计算量，使得事件信息能快速地与点云块信息进行位置匹配，即确定了事件信息在对应的深度图像信息中的位置，以之指导事件相机和标准相机进行数据融合，具有匹配精度高、计算量小、融合效率高的特点。
在一些优选的实施方式中，本申请实施例的事件相机与标准相机的数据融合装置用于执行上述第一方面提供的事件相机与标准相机的数据融合方法。
第三方面，请参照图3，图3为本申请实施例提供的一种电子设备的结构示意图，本申请提供一种电子设备，包括：处理器301和存储器302，处理器301和存储器302通过通信总线303和/或其他形式的连接机构（未标出）互连并相互通讯，存储器302存储有处理器301可执行的计算机程序，当计算设备运行时，处理器301执行该计算机程序，以执行时执行上述实施例的任一可选的实现方式中的方法。
第四方面，本申请实施例提供一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，执行上述实施例的任一可选的实现方式中的方法。其中，存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（Static Random Access Memory, 简称SRAM），电可擦除可编程只读存储器（ElectricallyErasable Programmable Read-Only Memory, 简称EEPROM），可擦除可编程只读存储器（Erasable Programmable Read Only Memory, 简称EPROM），可编程只读存储器（Programmable Red-Only Memory, 简称PROM），只读存储器（Read-Only Memory, 简称ROM），磁存储器，快闪存储器，磁盘或光盘。
综上，本申请实施例提供了一种事件相机与标准相机的数据融合方法、装置、设备及介质，其中，方法基于点云块信息和事件信息的概率密度能获知点云块信息和事件信息的相似程度，基于该相似程度建立的前向概率信息和后向概率信息表征了事件信息从两个方向上转移到特定点云块信息位置上的概率，基于前向概率信息和后向概率信息获取的相关性信息建立的条件概率能直接反映事件信息与点云块信息配对程度，本申请实施例的方法能基于最大化的条件概率融合点云块信息与事件信息以获取位置最匹配的事件信息和点云块信息，大大地降低了全概率计算的实时计算量，使得事件信息能快速地与点云块信息进行位置匹配，即确定了事件信息在对应的深度图像信息中的位置，以之指导事件相机和标准相机进行数据融合，具有匹配精度高、计算量小、融合效率高的特点；其次，基于点云块信息和事件信息的概率密度获取前向概率信息和后向概率信息的过程实质为计算对应信息的内部各点的关系，实现了信息滤波处理，大大地降低了噪声对事件信息的干扰，使得后续利用条件概率获取点云块信息与事件信息匹配关系时精度更高，确保融合后的数据更准确。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (7)

1.一种事件相机与标准相机的数据融合方法，用于融合标准相机生成的深度图像信息和事件相机生成的事件信息，其特征在于，所述方法包括以下步骤：
根据所述事件信息的分辨率将所述深度图像信息划分为多个点云块信息；
根据所述点云块信息和所述事件信息的概率密度获取前向概率信息和后向概率信息，所述前向概率信息和所述后向概率信息分别为所述事件信息迁移至一所述点云块信息位置的前向概率和后向概率；
根据所述前向概率信息和所述后向概率信息获取所述点云块信息与所述事件信息的相关性信息；
根据所述相关性信息和全概率公式获取所述事件信息与所述点云块信息的条件概率；
根据最大化的所述条件概率融合所述点云块信息与所述事件信息；
所述根据所述点云块信息和所述事件信息的概率密度获取前向概率信息和后向概率信息的步骤包括：
根据每个所述点云块信息中的点云聚类中心与各个点云的关系获取点云内部概率密度信息；
根据所述事件信息中的事件聚类中心与各个事件点的关系获取事件内部概率密度信息；
根据所述点云内部概率密度信息和所述事件内部概率密度信息的概率密度获取所述前向概率信息和所述后向概率信息；
所述根据所述点云内部概率密度信息和所述事件内部概率密度信息的概率密度获取所述前向概率信息和所述后向概率信息的步骤包括：
根据所述事件内部概率密度信息获取迁移概率信息，所述迁移概率信息为所述事件信息迁移至一所述点云块信息位置的概率；
根据所述迁移概率信息及所述点云内部概率密度信息获取所述前向概率信息和所述后向概率信息；
所述根据所述事件内部概率密度信息获取迁移概率信息的步骤包括：
根据所述事件信息朝不重复方向进行转移的转移概率信息和所述事件内部概率密度信息获取所述迁移概率信息。
2.根据权利要求1所述的事件相机与标准相机的数据融合方法，其特征在于，所述根据所述事件信息的分辨率将所述深度图像信息划分为多个点云块信息的步骤包括：
根据所述事件信息的分辨率在所述深度图像信息矩阵排列多个选框以将所述深度图像信息分割为多个选区，将所述深度图像信息对应的所有点云划分在各个选区中以构成多个所述点云块信息。
3.根据权利要求1所述的事件相机与标准相机的数据融合方法，其特征在于，所述前向概率信息的前向顺序为多个所述点云块信息在所述深度图像信息中从左上角到右下角的排列顺序。
4.根据权利要求1所述的事件相机与标准相机的数据融合方法，其特征在于，所述根据最大化的所述条件概率融合所述点云块信息与所述事件信息的步骤包括：
获取所述条件概率最大化时的目标点云块信息及与之对应的目标事件信息；
融合所述目标点云块信息中的点云与所述目标事件信息中的事件点以获取融合点云。
5.一种事件相机与标准相机的数据融合装置，用于融合标准相机生成的深度图像信息和事件相机生成的事件信息，其特征在于，所述装置包括：
分块模块，用于根据所述事件信息的分辨率将所述深度图像信息划分为多个点云块信息；
中转概率计算模块，用于根据所述点云块信息和所述事件信息的概率密度获取前向概率信息和后向概率信息，所述前向概率信息和所述后向概率信息分别为所述事件信息迁移至一所述点云块信息位置的前向概率和后向概率；
相关性模块，用于根据所述前向概率信息和所述后向概率信息获取所述点云块信息与所述事件信息的相关性信息；
条件概率模块，用于根据所述相关性信息和全概率公式获取所述事件信息与所述点云块信息的条件概率；
融合模块，用于根据最大化的所述条件概率融合所述点云块信息与所述事件信息；
所述根据所述点云块信息和所述事件信息的概率密度获取前向概率信息和后向概率信息的步骤包括：
根据每个所述点云块信息中的点云聚类中心与各个点云的关系获取点云内部概率密度信息；
根据所述事件信息中的事件聚类中心与各个事件点的关系获取事件内部概率密度信息；
根据所述点云内部概率密度信息和所述事件内部概率密度信息的概率密度获取所述前向概率信息和所述后向概率信息；
所述根据所述点云内部概率密度信息和所述事件内部概率密度信息的概率密度获取所述前向概率信息和所述后向概率信息的步骤包括：
根据所述事件内部概率密度信息获取迁移概率信息，所述迁移概率信息为所述事件信息迁移至一所述点云块信息位置的概率；
根据所述迁移概率信息及所述点云内部概率密度信息获取所述前向概率信息和所述后向概率信息；
所述根据所述事件内部概率密度信息获取迁移概率信息的步骤包括：
根据所述事件信息朝不重复方向进行转移的转移概率信息和所述事件内部概率密度信息获取所述迁移概率信息。
6.一种电子设备，其特征在于，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如权利要求1-4任一项所述方法中的步骤。
7.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时运行如权利要求1-4任一项所述方法中的步骤。
CN202210630032.4A 2022-06-06 2022-06-06 事件相机与标准相机的数据融合方法、装置、设备及介质 Active CN114708478B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210630032.4A CN114708478B (zh) 2022-06-06 2022-06-06 事件相机与标准相机的数据融合方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210630032.4A CN114708478B (zh) 2022-06-06 2022-06-06 事件相机与标准相机的数据融合方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN114708478A CN114708478A (zh) 2022-07-05
CN114708478B true CN114708478B (zh) 2022-09-02

Family

ID=82177631

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210630032.4A Active CN114708478B (zh) 2022-06-06 2022-06-06 事件相机与标准相机的数据融合方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN114708478B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106575363A (zh) * 2014-07-24 2017-04-19 苏黎世大学 用于追踪场景中的关键点的方法
CN110689572A (zh) * 2019-08-13 2020-01-14 中山大学 一种三维空间中移动机器人定位系统及方法
US10627512B1 (en) * 2018-11-29 2020-04-21 Luminar Technologies, Inc. Early fusion of lidar return data with camera information
CN112116019A (zh) * 2020-09-27 2020-12-22 四川大学 一种多传感器Vine Copula异构信息决策融合方法
CN112346073A (zh) * 2020-09-25 2021-02-09 中山大学 一种动态视觉传感器与激光雷达数据融合方法
CN112525202A (zh) * 2020-12-21 2021-03-19 北京工商大学 一种基于多传感器融合的slam定位导航方法及系统
CN112631314A (zh) * 2021-03-15 2021-04-09 季华实验室 基于多线激光雷达与事件相机slam的机器人控制方法、系统
CN112683286A (zh) * 2021-03-16 2021-04-20 季华实验室 拓扑路网地图的建立方法、系统、存储介质及电子设备
CN113837938A (zh) * 2021-07-28 2021-12-24 北京大学 基于动态视觉传感器重建潜在图像的超分辨率方法
CN114071114A (zh) * 2022-01-17 2022-02-18 季华实验室 事件相机、深度事件点图获取方法、装置、设备及介质
CN114140365A (zh) * 2022-01-27 2022-03-04 荣耀终端有限公司 基于事件帧的特征点匹配方法及电子设备
CN114169362A (zh) * 2021-11-15 2022-03-11 上海大学 一种基于时空相关滤波的事件流数据去噪方法
CN114187464A (zh) * 2021-11-22 2022-03-15 南京理工大学 复杂环境下激光雷达与视觉融合的多周期目标识别方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190119454A (ko) * 2018-04-12 2019-10-22 주식회사 넥슨코리아 가챠 시스템의 확률 정보를 획득하는 방법, 장치 및 컴퓨터 프로그램
CN109146929B (zh) * 2018-07-05 2021-12-31 中山大学 一种基于事件触发相机与三维激光雷达融合系统下的物体识别与配准方法
CN109120336B (zh) * 2018-09-29 2021-03-09 合肥工业大学 基于相位敏感光时域反射传感器的防误警漏警方法
CN114494085B (zh) * 2022-04-14 2022-07-15 季华实验室 一种视频流复原方法、系统、电子设备及存储介质

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106575363A (zh) * 2014-07-24 2017-04-19 苏黎世大学 用于追踪场景中的关键点的方法
US10627512B1 (en) * 2018-11-29 2020-04-21 Luminar Technologies, Inc. Early fusion of lidar return data with camera information
CN110689572A (zh) * 2019-08-13 2020-01-14 中山大学 一种三维空间中移动机器人定位系统及方法
CN112346073A (zh) * 2020-09-25 2021-02-09 中山大学 一种动态视觉传感器与激光雷达数据融合方法
CN112116019A (zh) * 2020-09-27 2020-12-22 四川大学 一种多传感器Vine Copula异构信息决策融合方法
CN112525202A (zh) * 2020-12-21 2021-03-19 北京工商大学 一种基于多传感器融合的slam定位导航方法及系统
CN112631314A (zh) * 2021-03-15 2021-04-09 季华实验室 基于多线激光雷达与事件相机slam的机器人控制方法、系统
CN112683286A (zh) * 2021-03-16 2021-04-20 季华实验室 拓扑路网地图的建立方法、系统、存储介质及电子设备
CN113837938A (zh) * 2021-07-28 2021-12-24 北京大学 基于动态视觉传感器重建潜在图像的超分辨率方法
CN114169362A (zh) * 2021-11-15 2022-03-11 上海大学 一种基于时空相关滤波的事件流数据去噪方法
CN114187464A (zh) * 2021-11-22 2022-03-15 南京理工大学 复杂环境下激光雷达与视觉融合的多周期目标识别方法
CN114071114A (zh) * 2022-01-17 2022-02-18 季华实验室 事件相机、深度事件点图获取方法、装置、设备及介质
CN114140365A (zh) * 2022-01-27 2022-03-04 荣耀终端有限公司 基于事件帧的特征点匹配方法及电子设备

Also Published As

Publication number Publication date
CN114708478A (zh) 2022-07-05

Similar Documents

Publication Publication Date Title
CN110781262B (zh) 基于视觉slam的语义地图的构建方法
CN113593017B (zh) 露天矿地表三维模型构建方法、装置、设备及存储介质
CN108961327A (zh) 一种单目深度估计方法及其装置、设备和存储介质
WO2021051344A1 (zh) 高精度地图中车道线的确定方法和装置
CN110969648B (zh) 一种基于点云序列数据的3d目标跟踪方法及系统
CN112712596B (zh) 一种密集匹配点云建筑物结构化模型精细重建方法
CN111340922A (zh) 定位与地图构建的方法和电子设备
US11145127B2 (en) System and method for mapping
CN111882611A (zh) 一种地图构建方法及装置
CN114140527A (zh) 一种基于语义分割的动态环境双目视觉slam方法
CN113111751A (zh) 一种自适应融合可见光与点云数据的三维目标检测方法
CN112233148A (zh) 目标运动的估计方法、设备及计算机存储介质
CN110136174A (zh) 一种目标对象跟踪方法和装置
CN114611635B (zh) 一种对象的识别方法、装置、存储介质及电子装置
CN117036300A (zh) 基于点云-rgb异源图像多级配准映射的路面裂缝识别方法
CN104463962B (zh) 基于gps信息视频的三维场景重建方法
CN115410167A (zh) 目标检测与语义分割方法、装置、设备及存储介质
CN115421509A (zh) 一种无人机飞行拍摄规划方法、装置及存储介质
WO2022099620A1 (zh) 三维点云分割方法和装置、可移动平台
CN114708478B (zh) 事件相机与标准相机的数据融合方法、装置、设备及介质
CN115965961B (zh) 局部到全局的多模态融合方法、系统、设备及存储介质
CN111899277A (zh) 运动目标检测方法及装置、存储介质、电子装置
CN114648639B (zh) 一种目标车辆的检测方法、系统及装置
Leite et al. Dense disparity maps from RGB and sparse depth information using deep regression models
CN116824433A (zh) 基于自监督神经网络的视觉-惯导-雷达融合自定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant