CN114140365A - 基于事件帧的特征点匹配方法及电子设备 - Google Patents

Abstract

本申请提供了一种基于事件帧的特征点匹配方法及电子设备。本方法应用于包含事件相机的电子设备中。在该方法中，事件相机输出事件流，并积累一定数量的事件流生成事件帧。电子设备获得第一事件帧和第二事件帧后形成一对事件帧后，分别从第一事件帧和第二事件帧中提取特征点，将第一事件帧中所有特征点与第二事件帧中的所有特征点进行点集匹配，以获得粗仿射变换参数P1。然后根据P1获取第一事件帧中的每个特征点在第二事件帧中对应的粗匹配点。之后，将每个特征点的邻域与对应的粗匹配点邻域进行模板匹配，以获得精仿射变换参数P2。此外，还可以滤除基于P2获取的精匹配点对集合中错误的匹配点对，以获取到最终的特征点匹配对的集合。

Description

基于事件帧的特征点匹配方法及电子设备

技术领域

本申请涉及图像处理领域，尤其涉及一种基于事件帧的特征点匹配方法及电子设备。

背景技术

随着传感器技术和计算机视觉技术的快速发展，增强现实（Augmented reality，AR）、虚拟现实（Virtual reality，VR）和自动驾驶等越来越多地被应用。从运动中恢复结构(Structure from motion，SFM)和同时定位与建图(Simultaneous localization andmapping，SLAM)作为AR、VR和自动驾驶等的核心技术，起着关键的作用。SFM和SLAM等技术可以实现通过对环境的观测确定相机的运动轨迹，同时构建出环境的地图。其中，具体涉及从图像中提取特征点，对不同图像之间的特征点进行匹配，进而对匹配的特征点对做后续操作，例如估算相机的运动轨迹构建出环境的地图等。目前，采用标准相机拍摄图像时，存在运动模糊、过爆、欠爆以及时延高等问题，导致输出图像帧效果不佳，进一步会导致特征点的提取以及特征点匹配存在极大的困难。为了避开标准相机的缺陷，可以采用事件相机代替标准相机。

因此，如何实现基于事件帧进行特征点匹配，则是目前亟待解决的问题。

发明内容

本申请提供了一种基于事件帧的特征点匹配方法及电子设备，该方法可以实现：电子设备通过事件相机输出的事件积累一定数量的事件流生成事件帧。电子设备分别从第一事件帧和第二事件帧中提取特征点，将第一事件帧中所有特征点与第二事件帧中的所有特征点进行点集匹配，以获得粗仿射变换参数P1。然后根据P1获取第一事件帧中的每个特征点在第二事件帧中对应的粗匹配点。之后，将每个特征点的邻域与对应的粗匹配点邻域进行模板匹配，以获得精仿射变换参数P2。此外，还可以滤除基于P2获取的精匹配点对集合中错误的匹配点对，以获取到最终的特征点匹配对的集合。

第一方面，本申请提供了一种基于事件帧的特征点匹配方法，该方法应用于电子设备中，该方法包括：该电子设备通过事件相机获取第一事件流和第二事件流，基于该第一事件流生成第一事件帧，基于该第二事件流生成第二事件帧；该电子设备从该第一事件帧中提取多个第一特征点，从该第二事件帧中提取多个第二特征点；该电子设备基于多个该第一特征点和多个该第二特征点进行点集匹配，以获取该第一特征点在该第二事件帧中对应的第一匹配点；该电子设备基于该第一特征点和该第一匹配点进行模板匹配，以获取该第一特征点在该第二事件帧中对应的第二匹配点。

实施第一方面提供的方法后，电子设备可以考虑到事件帧的全局特征，具体通过对事件帧中的全部特征点进行整体匹配，得到粗匹配点即第一匹配点，然后在整体匹配的基础上，聚焦到每一个特征点和对应的粗匹配点，进行局部匹配，以得到精匹配点即第二匹配点，从而提高特征匹配的准确性。

结合第一方面提供的方法，该电子设备获取该第一特征点在该第二事件帧中对应的第二匹配点之后，该方法还包括：该电子设备滤除多个该第一特征点中位于该第一事件帧边缘的第一特征点对应的第二匹配点，获取剩余多个该特征点分别对应的该第二匹配点。

这样，在得到精匹配点之后，电子设备可以删除精匹配点中错误的匹配点，具体的，可以使用RANSAC算法检测错误匹配点对，滤除该错误的匹配点对，进而得到更加精确的匹配结果。

结合第一方面提供的方法，在电子设备获取剩余多个特征点分别对应的第二匹配点之后，该方法还包括：该电子设备根据该剩余多个该特征点分别对应的该第二匹配点，获取该事件相机的运动轨迹；该电子设备根据该运动轨迹执行以下任意一项操作：从运动中恢复结构SFM和即时定位与地图构建SLAM。

这样，电子设备可以根据获取到的匹最终配点对，实现SFM和SLAM，进而应用在自动驾驶、AR/VR场景中。

结合第一方面提供的方法，该电子设备从该第一事件帧中提取多个第一特征点，具体包括：该电子设备根据角点特征、颜色特征、灰度特征、纹理特征、轮廓或者光流特征中任意一项或多项特征，从该第一事件帧中提取多个该第一特征点。

这样，电子设备可以通过多种方式实现特征点的提取，从而提高本申请的可实施性。

结合第一方面提供的方法，当该电子设备根据该角点特征从该第一事件帧中提取多个该第一特征点时，该电子设备具体使用Harris角点算法获取多个该第一特征点。

这样，电子设备可以通过Harris角点算法，提高角点提取的准确性，进一步提高本申请的可实施性。

结合第一方面提供的方法，该电子设备从该第一事件帧中提取多个第一特征点，具体包括：该电子设备根据角点特征、颜色特征、灰度特征、纹理特征、轮廓或者光流特征中任意一项或多项特征，从该第一事件帧中提取多个特征点；该电子设备从多个该特征点中选取像素值大于阈值的多个该第一特征点。

结合第一方面提供的方法，该电子设备从多个该特征点中选取像素值大于阈值的多个该第一特征点具体包括：该电子设备对多个该特征点进行基于该阈值的二值化处理，获取大于该阈值的多个该第一特征点。

这样，电子设备可以对事件帧进行二值化，然后，在二值化后的事件帧中选取特征点中像素值大于阈值的特征点，也可以称为亮点，二值化后可以减少图像处理的复杂度，选取其中的亮点可以提高基于亮点匹配的鲁棒性。

结合第一方面提供的方法，该电子设备对多个该第一特征点和多个该第二特征点进行点集匹配，具体包括：该电子设备获取第一仿射变换参数，该第一仿射变换参数用于作用于多个该第一特征点，以获取该第一特征点在该第二事件帧中对应的该第一匹配点。

这样，电子设备可以通过点集匹配获取到粗仿射变换参数即第一仿射变换参数，然后将该粗仿射变换参数作用于第一特征点，便可以获取到对应的粗匹配点。

结合第一方面提供的方法，该电子设备对该第一特征点和该第一匹配点进行模板匹配，具体包括：该电子设备对该第一特征点的第一邻域，和，该第一匹配点的第二邻域，进行模板匹配。

这样，电子设备可以根据每个特征点对应的粗匹配点聚焦到包含该粗匹配点的局部区域，以进行局部匹配即模板匹配，从而进一步提高匹配的准确性。

结合第一方面提供的方法，该电子设备基于该第一特征点和该第一匹配点进行模板匹配之前，该方法还包括：该电子设备对该第一特征点的第三邻域进行形态学膨胀，得到膨胀后的第一事件帧，该第三邻域和该第一邻域的大小、位置相同；该第一邻域为该膨胀后的第一事件帧中该第一特征点的邻域；该电子设备对该第一特征点对应的该第一匹配点的第四邻域进行形态学膨胀，得到膨胀后的第二事件帧，该第四邻域和该第二邻域的大小、位置相同；该第二邻域为该膨胀后的第二事件帧中该第一匹配点的邻域。

这样，电子设备可以对原始的事件帧进行形态学膨胀，从而改善事件帧中存在的纹理不清、边缘毛刺的情况，提高后续模板匹配的鲁棒性。

结合第一方面提供的方法，该第四邻域为该电子设备以该第一匹配点为中心获取的邻域。

这样，电子设备进行模板匹配时，所选择的模板更加具有代表性，提高本申请的可实施性。

结合第一方面提供的方法，该电子设备基于该第一特征点和该第一匹配点进行模板匹配，具体包括：该电子设备获取第二仿射变换参数，该第二仿射变换参数用于作用于该第一特征点，以获取该第一特征点在该第二事件帧中对应的该第二匹配点。

结合第一方面提供的方法，该事件相机配置在该电子设备中，或者，该事件相机独立于该电子设备。

第二方面，本申请提供了一种芯片，该芯片应用于电子设备，该芯片包括一个或多个处理器，该处理器用于调用计算机指令以使得该电子设备执行如第一方面中任一项描述的方法。

第三方面，本申请提供了一种计算机可读存储介质，该计算机可读存储介质包括指令，当该指令在电子设备上运行时，使得该电子设备执行如第一方面中任一项描述的方法。

第四方面，本申请提供了一种电子设备，该电子设备包括一个或多个处理器和一个或多个存储器；其中，该一个或多个存储器与该一个或多个处理器耦合，该一个或多个存储器用于存储计算机程序代码，该计算机程序代码包括计算机指令，当该一个或多个处理器执行该计算机指令时，使得该电子设备执行如第一方面中任一项描述的方法。

附图说明

图1为本申请实施例提供的一种电子设备硬件架构示意图；

图2为本申请实施例提供的一种电子设备软件架构示意图；

图3为本申请实施例提供的一种基于事件帧的特征点匹配方法流程图；

图4为本申请实施例提供的一对事件帧示意图；

图5A-图5C为本申请实施例提供的一组角点特征提取方法示意图；

图6为本申请实施例提供的第一事件帧的角点示意图；

图7为本申请实施例提供的一对经二值化处理后的事件帧示意图；

图8为本申请实施例提供的第一事件帧的亮点示意图；

图9为本申请实施例提供的一种粗匹配结果示意图；

图10为本申请实施例提供的一组形态学膨胀方法示意图；

图11为本申请实施例提供的一对经膨胀处理后的二值事件帧示意图；

图12为本申请实施例提供的精匹配方法示意图；

图13为本申请实施例提供的精匹配结果示意图；

图14为本申请实施例提供的从精匹配结果中滤除错误匹配的最终匹配结果示意图。

具体实施方式

下面将结合附图对本申请实施例中的技术方案进行清楚、详尽地描述。其中，在本申请实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B；文本中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。

以下，术语“第一”、“第二”仅用于描述目的，而不能理解为暗示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征，在本申请实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。

在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本申请所描述的实施例可以与其它实施例相结合。

本申请以下实施例中的术语“用户界面（user interface，UI）”，是应用程序或操作系统与用户之间进行交互和信息交换的介质接口，它实现信息的内部形式与用户可以接受形式之间的转换。用户界面是通过java、可扩展标记语言（extensible markuplanguage，XML）等特定计算机语言编写的源代码，界面源代码在电子设备上经过解析，渲染，最终呈现为用户可以识别的内容。用户界面常用的表现形式是图形用户界面（graphicuser interface，GUI），是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的文本、图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素。

事件相机可以应用于增强现实（Augmented reality，AR）、虚拟现实（Virtualreality，VR）和自动驾驶等场景中，具体可以实现三维场景重建、目标跟踪以及目标识别等等。

在介绍本申请涉及的事件相机之前，先简单介绍标准相机。

标准相机是以恒定的帧率拍摄图像。具体的，在离散时间，标准相机拍摄环境亮度的绝对值，输出图像帧。标准相机输出的信息是同步的，所谓同步，就是在某一时刻，相机通过曝光，把这一时刻所有的像素填在一个矩阵里，以输出一帧图像。对于视频来说，则是很多帧的图像的组合，相邻图像帧间的时间间隔便是帧率，也称为时延。

可见，标准相机存在以下问题：

（1）标准相机由于帧率这一固有属性，所以存在一定的时延问题。

（2）标准相机必须通过一定时间的曝光，使感光器件积累一定的光子后才能成像，在曝光时间内，如果物体在高速运动，则成像效果差，也就是说拍摄到的图像会模糊。

（3）标准相机由于拍摄的是环境亮度的绝对值，因此在环境光亮度极强或极弱时，拍摄得到的图像出现过爆或欠爆的情况，也就是说图像中的部信息丢失。

（4）当环境亮度没有发生变化时，标准相机继续以恒定的帧率输出图像帧。也就是说，标准相机在静态场景中会产生冗余信息，这不仅导致存储资源的浪费，而且会在后续的图像处理过程中消耗大量额外的计算资源。

事件相机是以高帧率拍摄事件。具体的，在连续时刻内持续通过感光器件获取所有像素点的亮度值变化，当某个像素所处位置的亮度值发生变化，且亮度变化达到一定阈值后时，相机就会输出一个事件。当场景中有物体运动或光照改变造成大量像素亮度变化时，则会产生一系列的事件，这些事件以事件流(Events stream)方式输出。当事件流积累一定数量之后，可以生成事件帧。与标准相机输出的图像帧对比来看，以红绿蓝（RGB）色彩模式为例，图像帧中每个像素点的色彩由R、G、B三个分量共同决定的彩色图像，而事件帧中的每个像素点仅有一个分量来决定（相当于R=G=B），像素为0-255的256阶灰度图像。

其中，像素亮度的阈值为事件相机的固有属性。事件具有以下要素：x，y，t，p。其中，“x，y”为事件发生的位置即像素坐标、“t”为事件发生的时刻戳，“P”为极性，“P”可以用“0、1”或者“-1、1”来表征，0或-1表示亮度由高到低变化；1则表示亮度是由低到高变化。总之，（x，y，t，p）可以表示“在什么时刻，哪个像素点，发生了亮度的增加或减小”。

可见，事件相机具有以下优势：

（1）具有低时延特性。事件相机输出的事件流的数据量远小于传统相机输出的图像帧的数据，且事件流不是以固定频率输出，事件流没有最小时间单位，所以事件相机具有低延迟特性。

（2）防止运动模糊。由于事件相机拍摄的是亮度相对变化情况，而非像传统相机拍摄的绝对亮度，因此，当场景中有物体运动，也不会出现图像模糊现象。

（3）具有高动态范围特性。由于事件相机拍摄的是亮度相对变化情况，而非像传统相机拍摄的绝对亮度，因此，无论环境光亮度过强还是过暗，都不影响事件相机采集亮度变化信息。

（4）具有极低功耗特性。由于事件相机输出的信息的异步的，也就是说，不同于标准相机同时地输出所有像素值。当环境亮度发生变化时，事件相机输出的事件流的时刻是不同的。当环境亮度没有发生变化时，则无事件流输出。因此，可以降低相机功耗。

由于，标准相机和事件相机的工作原理完全不同，传统的基于标准相机的特征点匹配（又称特征点跟踪）算法不再适用于事件相机。其中，传统相机的特征点可以理解为图像帧中的一个像素点，事件相机中的特征点可以理解为事件帧中的一个像素点。

目前，基于事件相机的特征点匹配方法具体如下：

基于模板（Patch）的特征点匹配算法。该类算法主要思想是将当前场景中的特征点所在区域的图像块作为目标模板，将目标模板与下一场景的图像中所有可能的位置进行相关匹配，匹配度最高的地方即为特征点所在的位置。基于模板的最常用的算法包括EKLT算法和EM算法等。其中，EKLT算法具体可以参考文章《Asynchronous Photometric FeatureTracking Using Events andFrames》；EM算法具体可以参考文章《Event-based featuretracking with probabilistic data association》。

可见，基于模板的特征点匹配算法，采用了特征点的所在区域进行跟踪，导致跟踪点数有限，跟踪结果不精确。并且，当场景中的物体运动或光照改变较慢时，则特征点匹配耗时较长，当场景中的物体运动或光照改变较快时，则特征点匹配较短，从而导致特征点匹配耗时不稳定。

基于事件流的特征点匹配方法。该类算法主要思想是从场景中提取具有显著特征的特征点，并通过逐流跟踪，在事件流中找到该特征点匹配的点，具体可以参考文章《multi-Hypothesis Asynchronous Speeded-up Tracking of Events》。

可见，基于事件流的特征点匹配方法不考虑场景的整体特征，因此当场景被部分遮挡时，虽然可以利用另一部分可见特征完成跟踪任务，但是，当场景中有物体运动或光照改变造成大量像素变化时，这样跟踪过程中容易出现漂移，也就是说，特征点匹配鲁棒性差。例如，将当前场景中的桌子角匹配到下一场景中的地板。

为了解决上述问题，本申请提供了一种基于事件帧的特征点匹配方法及电子设备。本方法应用于包含事件相机的电子设备中。在该方法中，事件相机输出事件流，电子设备积累一定数量的事件流生成事件帧。电子设备获得第一事件帧和第二事件帧后形成一对事件帧后，分别从第一事件帧和第二事件帧中提取特征点，将第一事件帧中所有特征点与第二事件帧中的所有特征点进行点集匹配，以获得粗仿射变换参数P1。然后根据P1获取第一事件帧中的每个特征点在第二事件帧中对应的粗匹配点。之后，将每个特征点的邻域与对应的粗匹配点邻域进行模板匹配，以获得精仿射变换参数P2。此外，还可以滤除基于P2获取的精匹配点对集合中错误的匹配点对，以获取到最终的特征点对的集合，实现了第一事件帧与第二事件帧的特征点的匹配。

上述特征点是指，能够在多个含有相同场景或目标的相似图像中，以一种具有代表性的形式来表示该场景或目标。也就是说，在事件相机在移动过程中，拍摄同一个物体或场景获得多个事件帧，如果该物体或场景中实际相同的地方能够从事件帧中被识别出来，则这些相同的地方在事件帧中对应的像素点可以称为特征点。

上述提取特征点、以及对提取到的特征点进行点集匹配和模板匹配的具体实现方法可以参考后文的方法流程，在此暂不赘述。

可见，本申请提供的基于事件帧的特征点匹配方法，具有以下优点：

首先，考虑到事件帧的全局特征，具体通过对事件帧中的全部特征点进行整体匹配，而不是仅对事件帧中的局部即模板中的特征点进行粗匹配，从而优化了特征点在事件帧中的分布，提高了特征点的匹配数目，当事件帧中部分信息丢失的情况下，仍然可以采用事件帧中的其余信息完成特征匹配，从而提高特征匹配的准确性。

其次，考虑到事件帧中每个特征点个性，在基于粗匹配的条件下，根据特征点对应的粗匹配点选取该粗匹配点的邻域（即模板），然后将特征点与模板中的所有像素点进行匹配，进而确定特征点对应的精匹配点，进一步提高每个特征点的匹配精确度。

最后，本申请提供的基于事件帧的特征点匹配方法，结合了点集匹配和模板匹配的算法思想，构建了由粗匹配到精匹配的算法框架。该方法同时适用于宽基线和窄基线的事件帧的特征点匹配。

上述宽基线是指，事件相机在拍摄事件过程中可以任意移动，从而导致第一事件帧中的景物在第二事件帧上可能被遮挡或部分遮挡。也就是说，第一事件帧中的一个像素点，在第二事件帧中对应像素点可能为任意位置。因此，针对宽基线的事件帧来说，第一事件帧中特征点，与第二事件帧中粗匹配点的邻域有相似的地方，但由于事件相机位置的变化及环境光亮度的变化，单依靠邻域的相似不能得到正确的匹配。因此要考虑事件帧的全局特性，所以本申请提供的方法先采用基于事件帧全局特征的匹配方法，提高宽基线的事件帧的特征点匹配准确性。

上述窄基线是指，事件相机在拍摄事件过程中可以任意距离小，从而导致第一事件帧中的景物在第二事件帧上也存在，只是景物在第二事件帧的位置与在第一事件帧中的位置有轻微变化。因此，仅依靠基于事件帧的全局特性进行特征匹配，不能得到正确的匹配点。因此，本申请提供的方法还采用了模板匹配，即对第一事件帧中的特征点在第二事件帧中对应粗匹配点的邻域内的所有像素点进行匹配，进而找到最接近第一特征点的精匹配点。

接下来先介绍本申请提供的基于事件帧的特征点匹配方法，所应用的电子设备。

在本申请实施例中，电子设备的形态可以是增强现实（augmented reality，AR）设备、虚拟现实（virtual reality，VR）设备、人工智能(artificial intelligence, AI)设备、可穿戴式设备、车载设备、智能家居设备和/或智慧城市设备、手机、平板电脑、桌面型计算机、膝上型计算机、手持计算机、笔记本电脑、超级移动个人计算机（ultra-mobilepersonal computer，UMPC）、上网本，以及个人数字助理（personal digital assistant，PDA等等），本申请实施例对该电子设备的具体类型不作特殊限制。

图1示出了电子设备硬件架构示意图。

电子设备100可以包括：处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。

可以理解的是，本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

其中，控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。

在本申请实施例中，处理器110可以控制摄像头193拍摄事件，并根据摄像头193输出的事件流生成事件帧，在获取到一对事件帧后（包括第一事件帧和第二事件帧），分别从第一事件帧和第二事件帧中提取特征点，将第一事件帧中所有特征点与第二事件帧中的所有特征点进行点集匹配，以获得粗仿射变换参数P1。然后根据P1获取第一事件帧中的第一特征点在第二事件帧中对应的粗匹配点1。之后，根据粗匹配点1确定包含该粗匹配点1的第一模板。最后，将该第一特征点的邻域，与，第一模板中的所有像素点分别进行匹配，获得该特征点1对应的精匹配点。遍历第一事件帧中所有特征点，获取对应的精匹配点，点，从而生成匹配点对的集合，实现了特征点的匹配。

在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universal serial bus，USB)接口等。

I2C接口是一种双向同步串行总线，包括一根串行数据线(serial data line，SDA)和一根串行时钟线(derail clock line，SCL)。在一些实施例中，处理器110可以包含多组I2C总线。处理器110可以通过不同的I2C总线接口分别耦合触摸传感器180K，充电器，闪光灯，摄像头193等。例如：处理器110可以通过I2C接口耦合触摸传感器180K，使处理器110与触摸传感器180K通过I2C总线接口通信，实现电子设备100的触摸功能。

I2S接口可以用于音频通信。在一些实施例中，处理器110可以包含多组I2S总线。处理器110可以通过I2S总线与音频模块170耦合，实现处理器110与音频模块170之间的通信。在一些实施例中，音频模块170可以通过I2S接口向无线通信模块160传递音频信号，实现通过蓝牙耳机接听电话的功能。

PCM接口也可以用于音频通信，将模拟信号抽样，量化和编码。在一些实施例中，音频模块170与无线通信模块160可以通过PCM总线接口耦合。在一些实施例中，音频模块170也可以通过PCM接口向无线通信模块160传递音频信号，实现通过蓝牙耳机接听电话的功能。所述I2S接口和所述PCM接口都可以用于音频通信。

UART接口是一种通用串行数据总线，用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中，UART接口通常被用于连接处理器110与无线通信模块160。例如：处理器110通过UART接口与无线通信模块160中的蓝牙模块通信，实现蓝牙功能。在一些实施例中，音频模块170可以通过UART接口向无线通信模块160传递音频信号，实现通过蓝牙耳机播放音乐的功能。

MIPI接口可以被用于连接处理器110与显示屏194，摄像头193等外围器件。MIPI接口包括摄像头串行接口(camera serial interface，CSI)，显示屏串行接口(displayserial interface，DSI)等。在一些实施例中，处理器110和摄像头193通过CSI接口通信，实现电子设备100的拍摄功能。处理器110和显示屏194通过DSI接口通信，实现电子设备100的显示功能。

GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号，也可被配置为数据信号。在一些实施例中，GPIO接口可以用于连接处理器110与摄像头193，显示屏194，无线通信模块160，音频模块170，传感器模块180等。GPIO接口还可以被配置为I2C接口，I2S接口，UART接口，MIPI接口等。

USB接口130是符合USB标准规范的接口，具体可以是Mini USB接口，Micro USB接口，USB Type C接口等。USB接口130可以用于连接充电器为电子设备100充电，也可以用于电子设备100与外围设备之间传输数据。也可以用于连接耳机，通过耳机播放音频。该接口还可以用于连接其他电子设备，例如AR设备等。

可以理解的是，本申请实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备100的结构限定。在本申请另一些实施例中，电子设备100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。

充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中，充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时，还可以通过电源管理模块141为电子设备供电。

电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，外部存储器，显示屏194，摄像头193，和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量，电池循环次数，电池健康状态(漏电，阻抗)等参数。在其他一些实施例中，电源管理模块141也可以设置于处理器110中。在另一些实施例中，电源管理模块141和充电管理模块140也可以设置于同一个器件中。

电子设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。

天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。

移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，LNA)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中，移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。

调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A，受话器170B等)输出声音信号，或通过显示屏194显示图像或视频。在一些实施例中，调制解调处理器可以是独立的器件。在另一些实施例中，调制解调处理器可以独立于处理器110，与移动通信模块150或其他功能模块设置在同一个器件中。

无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号解调以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。

在一些实施例中，电子设备100的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications，GSM)，通用分组无线服务(general packet radio service，GPRS)，码分多址接入(codedivision multiple access，CDMA)，宽带码分多址(wideband code division multipleaccess，WCDMA)，时分码分多址(time-division code division multiple access，TD-SCDMA)，长期演进(long term evolution，LTE)，BT，GNSS，WLAN，NFC ，FM，和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system ，GPS)，全球导航卫星系统(global navigation satellite system，GLONASS)，北斗卫星导航系统(beidounavigation satellite system，BDS)，准天顶卫星系统(quasi-zenith satellitesystem，QZSS)和/或星基增强系统(satellite based augmentation systems，SBAS)。

电子设备100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)。显示屏面板还可以采用有机发光二极管(organic light-emitting diode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode，AMOLED)，柔性发光二极管(flexlight-emitting diode，FLED)，miniled，microLed，micro-oled，量子点发光二极管(quantum dot light emitting diodes，QLED)等制造。在一些实施例中，电子设备100可以包括1个或N个显示屏194，N为大于1的正整数。

在本申请实施例中，显示屏194可用于显示事件帧。

电子设备100可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。

ISP 用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头193中。

在本申请实施例中，电子设备可以包括1个或N个摄像头193，N为大于1的正整数。摄像头193的类型为事件相机，事件相机用于捕获“事件”，“事件”可以简单理解为“像素亮度的变化”，即事件相机输出的是像素亮度的变化情况。事件相机的每一个感光单元（像素）下面有一个计算电路，该电路可以将感光元件检测到的光强转换为电压值，当电压值达到阈值之后会触发事件相机输出信号，即事件流。之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成事件帧格式对应的图像信号。

可以理解的是，上述事件相机不仅可以部署在电子设备中，也可能独立于电子设备。当事件相机独立于电子设备时，仍然可以与电子设备建立连接，用于向电子设备传输事件流。

在本申请另一些实施例中，当电子设备可以包括多个摄像头193时，摄像头193还可以包含标准相机，即用于捕获静态图像或视频。具体的，物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，电子设备100可以包括1个或N个摄像头193，N为大于1的正整数。

数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。

视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样，电子设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1，MPEG2，MPEG3，MPEG4等。

NPU为神经网络(neural-network ，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。

内部存储器121可以包括一个或多个随机存取存储器（random access memory，RAM ）和一个或多个非易失性存储器（non-volatile memory， NVM）。

随机存取存储器可以包括静态随机存储器（static random-access memory，SRAM）、动态随机存储器（dynamic random access memory， DRAM）、同步动态随机存储器（synchronous dynamic random access memory, SDRAM）、双倍资料率同步动态随机存取存储器（double data rate synchronous dynamic random access memory, DDR SDRAM，例如第五代DDR SDRAM一般称为DDR5 SDRAM）等；

非易失性存储器可以包括磁盘存储器件、快闪存储器（flash memory）。

快闪存储器按照运作原理划分可以包括NOR FLASH、NAND FLASH、3D NAND FLASH等，按照存储单元电位阶数划分可以包括单阶存储单元（single-level cell,SLC）、多阶存储单元（multi-level cell,MLC）、三阶储存单元（triple-level cell, TLC）、四阶储存单元（quad-level cell, QLC）等，按照存储规范划分可以包括通用闪存存储（英文：universal flash storage，UFS）、嵌入式多媒体存储卡（embedded multi media Card，eMMC）等。

随机存取存储器可以由处理器110直接进行读写，可以用于存储操作系统或其他正在运行中的程序的可执行程序（例如机器指令），还可以用于存储用户及应用程序的数据等。

非易失性存储器也可以存储可执行程序和存储用户及应用程序的数据等，可以提前加载到随机存取存储器中，用于处理器110直接进行读写。

外部存储器接口120可以用于连接外部的非易失性存储器，实现扩展电子设备100的存储能力。外部的非易失性存储器通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部的非易失性存储器中。

在本申请实施例中，上述存储器用于存储根据摄像头193输出的事件流所生成的事件帧，从事件帧中提取的特征点以及基于事件帧获取到的特征点匹配的结果等。

电子设备100可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。

音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中，音频模块170可以设置于处理器110中，或将音频模块170的部分功能模块设置于处理器110中。

扬声器170A，也称“喇叭”，用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170A收听音乐，或收听免提通话。

受话器170B，也称“听筒”，用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时，可以通过将受话器170B靠近人耳接听语音。

麦克风170C，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风170C发声，将声音信号输入到麦克风170C。电子设备100可以设置至少一个麦克风170C。在另一些实施例中，电子设备100可以设置两个麦克风170C，除了采集声音信号，还可以实现降噪功能。在另一些实施例中，电子设备100还可以设置三个，四个或更多麦克风170C，实现采集声音信号，降噪，还可以识别声音来源，实现定向录音功能等。

耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130，也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform，OMTP)标准接口，美国蜂窝电信工业协会(cellular telecommunications industry association of the USA，CTIA)标准接口。

压力传感器180A用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多，如电阻式压力传感器，电感式压力传感器，电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180A，电极之间的电容改变。电子设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194，电子设备100根据压力传感器180A检测所述触摸操作强度。电子设备100也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中，作用于相同触摸位置，但不同触摸操作强度的触摸操作，可以对应不同的操作指令。例如：当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时，执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时，执行新建短消息的指令。

陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中，可以通过陀螺仪传感器180B确定电子设备100围绕三个轴(即，x，y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。示例性的，当按下快门，陀螺仪传感器180B检测电子设备100抖动的角度，根据角度计算出镜头模组需要补偿的距离，让镜头通过反向运动抵消电子设备100的抖动，实现防抖。陀螺仪传感器180B还可以用于导航，体感游戏场景。

气压传感器180C用于测量气压。在一些实施例中，电子设备100通过气压传感器180C测得的气压值计算海拔高度，辅助定位和导航。

磁传感器180D包括霍尔传感器。电子设备100可以利用磁传感器180D检测翻盖皮套的开合。在一些实施例中，当电子设备100是翻盖机时，电子设备100可以根据磁传感器180D检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态，设置翻盖自动解锁等特性。

加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态，应用于横竖屏切换，计步器等应用。

距离传感器180F，用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中，拍摄场景，电子设备100可以利用距离传感器180F测距以实现快速对焦。

接近光传感器180G可以包括例如发光二极管(LED)和光检测器，例如光电二极管。发光二极管可以是红外发光二极管。电子设备100通过发光二极管向外发射红外光。电子设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时，可以确定电子设备100附近有物体。当检测到不充分的反射光时，电子设备100可以确定电子设备100附近没有物体。电子设备100可以利用接近光传感器180G检测用户手持电子设备100贴近耳朵通话，以便自动熄灭屏幕达到省电的目的。接近光传感器180G也可用于皮套模式，口袋模式自动解锁与锁屏。

环境光传感器180L用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合，检测电子设备100是否在口袋里，以防误触。

指纹传感器180H用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁，访问应用锁，指纹拍照，指纹接听来电等。

温度传感器180J用于检测温度。在一些实施例中，电子设备100利用温度传感器180J检测的温度，执行温度处理策略。例如，当温度传感器180J上报的温度超过阈值，电子设备100执行降低位于温度传感器180J附近的处理器的性能，以便降低功耗实施热保护。在另一些实施例中，当温度低于另一阈值时，电子设备100对电池142加热，以避免低温导致电子设备100异常关机。在其他一些实施例中，当温度低于又一阈值时，电子设备100对电池142的输出电压执行升压，以避免低温导致的异常关机。

触摸传感器180K，也称“触控面板”。触摸传感器180K可以设置于显示屏194，由触摸传感器180K与显示屏194组成触摸屏，也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器180K也可以设置于电子设备100的表面，与显示屏194所处的位置不同。

骨传导传感器180M可以获取振动信号。在一些实施例中，骨传导传感器180M可以获取人体声部振动骨块的振动信号。骨传导传感器180M也可以接触人体脉搏，接收血压跳动信号。在一些实施例中，骨传导传感器180M也可以设置于耳机中，结合成骨传导耳机。音频模块170可以基于所述骨传导传感器180M获取的声部振动骨块的振动信号，解析出语音信号，实现语音功能。应用处理器可以基于所述骨传导传感器180M获取的血压跳动信号解析心率信息，实现心率检测功能。

按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入，产生与电子设备100的用户设置以及功能控制有关的键信号输入。

马达191可以产生振动提示。马达191可以用于来电振动提示，也可以用于触摸振动反馈。例如，作用于不同应用(例如拍照，音频播放等)的触摸操作，可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作，马达191也可对应不同的振动反馈效果。不同的应用场景(例如：时间提醒，接收信息，闹钟，游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。

指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。

SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195，或从SIM卡接口195拔出，实现和电子设备100的接触和分离。电子设备100可以支持1个或N个SIM卡接口，N为大于1的正整数。SIM卡接口195可以支持Nano SIM卡，Micro SIM卡，SIM卡等。同一个SIM卡接口195可以同时插入多张卡。所述多张卡的类型可以相同，也可以不同。SIM卡接口195也可以兼容不同类型的SIM卡。SIM卡接口195也可以兼容外部存储卡。电子设备100通过SIM卡和网络交互，实现通话以及数据通信等功能。在一些实施例中，电子设备100采用eSIM，即：嵌入式SIM卡。eSIM卡可以嵌在电子设备100中，不能和电子设备100分离。

电子设备可以是搭载iOS®、Android®、Microsoft®或者其它操作系统的终端设备，本申请实施例对电子设备搭载的操作系统不作限制。

电子设备的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本申请实施例以分层架构的Android®系统为例，示例性说明电子设备的软件结构。

图2是本申请实施例的电子设备的软件架构示意图。

分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将Android®系统分为四层，从上至下分别为应用程序层，应用程序框架层，安卓运行时(Android runtime)和系统库，以及内核层。

应用程序层可以包括一系列应用程序包。

如图2所示，应用程序包可以包括相机，图库，日历，通话，地图，导航，WLAN，蓝牙，音乐，视频，短信息等应用程序。

应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface，API)和编程框架。应用程序框架层包括一些预先定义的函数。

如图2所示，应用程序框架层可以包括窗口管理器，内容提供器，视图系统，电话管理器，资源管理器，通知管理器等。

窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。

内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。所述数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。

视图系统包括可视控件，例如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。

电话管理器用于提供电子设备的通信功能。例如通话状态的管理(包括接通，挂断等)。

资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。

通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如通知管理器被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知，例如后台运行的应用程序的通知，还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息，发出提示音，电子设备振动，指示灯闪烁等。

Android runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。

核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。

应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。

系统库可以包括多个功能模块。例如：表面管理器(surface manager)，媒体库(Media Libraries)，三维图形处理库(例如：OpenGL ES)，2D图形引擎(例如：SGL)等。

表面管理器用于对显示子系统进行管理，并且为多个应用程序提供了2D和3D图层的融合。

媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如: MPEG4，H.264，MP3，AAC，AMR，JPG，PNG等。

三维图形处理库用于实现三维图形绘图，图像渲染，合成，和图层处理等。

2D图形引擎是2D绘图的绘图引擎。

内核层是硬件和软件之间的层。内核层至少包含显示驱动，摄像头驱动，音频驱动，传感器驱动。

下面结合捕获拍照场景，示例性说明电子设备软件以及硬件的工作流程。

当电子设备接收到按压按键或者触摸控件的操作，相应的硬件中断被发给内核层。内核层将按压操作或触摸操作加工成原始输入事件(包括触摸坐标，触摸操作的时间戳等信息)。原始输入事件被存储在内核层。应用程序框架层从内核层获取原始输入事件，识别该输入事件所对应的按键或控件。以该按压操作或触摸操作为用于事件相机进行拍摄的操作为例，相机应用调用应用框架层的接口，启动相机应用，进而通过调用内核层启动摄像头驱动，通过摄像头193拍摄事件。

基于上文对本申请涉及的电子设备的软硬件的介绍，接下来将结合附图详细介绍本申请提供的基于事件帧的特征点匹配方法流程。

如图3所示，图3示例性示出基于事件帧的特征点匹配方法流程。该流程包括如下步骤：

阶段1（S301）：电子设备通过事件相机拍摄事件并输出事件流，当电子设备积累一定数量的事件流后，该电子设备可以生成一对事件帧即前后两个事件帧。

也就是说，在事件相机和拍摄的物体或场景在相对移动过程中，可以从不同视角拍摄同一个物体或场景，最终获得多个事件帧，本申请将每两个连续得到的事件帧定义为一对事件帧。其中，事件相机和拍摄的物体或场景的相对移动可以包括：物体或场景不动但事件相机在移动，物体或场景移动但事件相机不动和事件相机和拍摄的物体或场景的异步移动。

S301，电子设备从事件相机中获取事件流，并基于事件流生成一对事件帧。

具体的，在AR/VR、无人驾驶等等场景中，AR/VR或者车载电脑可以控制事件相机启动，事件相机上电后可用于拍摄事件。当事件相机拍摄到某个像素的亮度变化达到一定阈值时，事件相机就会输出一个事件，一个事件可以表示“在t时刻，在（x，y）像素点，发生了亮度的增加（即P=1）或减小(P即=-1)”。当环境中的光强发生变化或者事件相机移动时，会使得许多个像素所处位置的亮度值发生变化，则事件相机将会输出事件流，该事件流是指在连续时刻内，事件相机所拍摄的一系列事件。关于事件相机的工作原理具体可以参考上文的详细描述，在此暂不赘述。

当电子设备积累了时刻t0到时刻t1的事件流后，可以将这些事件流叠加以生成一个事件帧，可以用F（T0）来表示，也可以称为第一事件帧，该第一事件帧可以理解为事件相机在第一视角下获取的物体或者场景的图像。然后，电子设备从时刻t1之后继续积累事件流，假设从t1时刻到时刻t2电子设备积累的事件流足够叠加以生成另一个事件帧，可以用F（T1）来表示，也可以称为第二事件帧，该第二事件帧可以理解为事件相机在第二视角下获取同一物体或者同一场景的图像。因此第一事件帧和第二事件帧中都包含有实际场景的部分特征信息。

可以理解的是，时刻t0到时刻t1之间的时间段，与，时刻t1到时刻t2之间的时间段可能相同也可能不同。也就说，电子设备生成一个事件帧所需要积累的事件流的时间不是固定的，具体取决于一段时间内像素变化的多少，当像素变化多时，则生成一个事件帧所需积累事件流的时间较短；否则，生成一个事件帧所需积累事件流的时间较长。

具体的，电子设备从积累的事件流中叠加后获得的原始事件帧通常为一个灰度图像，该灰度图像的尺寸或大小（即像素点的个数）由事件相机的参数决定。该图像包括物体和背景。其中，物体是指，事件相机拍摄到的在一段时间内，场景中反射到感光单元（像素点）处的光强发生变化，且变化值超过阈值的部分；背景，是指事件相机拍摄到的在一段时间内，场景中反射到感光单元（像素点）处的光强发生变化且变化值没有阈值，以及没有发生变化的部分。此外，该原始事件帧中的物体还会出现纹理不清晰以及物体边缘有毛刺等情况。其中，灰度图像是指每个像素只需一个字节存放灰度值（又称强度值、亮度值），灰度值的范围为0-255，这样可以有256级灰度。当事件帧中某个像素点积累的事件越多，则灰度值越大，当某个像素点积累的事件越少，则灰度值越低。其中，物体纹理不清和物体边缘有毛刺等情况是事件相机的固有属性带来的问题，后文步骤S306将详细给出解决上述问题的方法。

参考图4，图4示例性示出电子设备获取的一对事件帧。

如图4所示，第一事件帧即上文所示的从时刻t0到时刻t1积累事件流得到的事件帧，第二事件帧即上文所示的从时刻t1到时刻t2积累事件流得到的事件帧。这两个事件帧中包含的像素点的像素值的范围为0-255。例如，这两个事件帧中的背景的灰度值最低，具体可以低至0而呈现黑色；而除了背景外的物体例如多边形物体、平行四边形物体等对应的灰度值最高，具体可以高至255而呈现白色；例如还有一些物体例如三角形物体对应的灰度值则较高高而呈现灰白色。此外，图4中还可能出现物体纹理不清以及边缘毛刺的情况，例如多边形物体则存在纹理不清、边缘毛刺等问题。

可以理解的是，图4仅仅示例性示出电子设备获取的一对事件帧的示意图，可以理解的是。事件帧中还可以包含更多或者更少的像素值，事件帧中还可能包括更多或者更少的物体纹理不清、边缘毛刺的情况。本申请实施例多次不作限制。

阶段2（S302-S304）：电子设备分别对该一对事件帧进行特征点提取，进而获取到同一场景在不同视角下，所具备的稳定特征。

特征点提取是指从目标或场景所在事件帧中提取合适的描绘性特征。这些特征不仅可以明确的区分目标和背景，而且在应对目标尺度伸缩、目标形状变化、目标遮挡等情况具有鲁棒性。因此，目标的特征点的类型可以包括角点特征、颜色特征、灰度特征、纹理特征、轮廓以及光流特征等，本申请实施例对特征点的类型不作限制。

S302，电子设备分别从一对事件帧中提取特征点。

电子设备可以采用算法提取具有以下任意一项多多项特征的特征点：角点特征、颜色特征、灰度特征、纹理特征、轮廓或者光流特征等。具体的，电子设备可以根据特征点的不同类型，采用对应的不同算法提取包含对应特性的特征点。例如，当电子设备想要提取具有角点特征的特征点时，则可以采用角点算法来提取特征点，其中角点算法包括：Harris角点算法、FAST角点算法SIFT角点算法或者SURF算法等等。

在本申请实施例中，事件中的特征点的像素值为0-255中任意一个值，即可能是事件帧中物体对应的像素点，也可能是背景对应的像素点。

在实际生活中，角点对应于桌子、建筑物等的拐角，道路的十字路口、丁字路口处等。而在图像处理领域，角点则具有以下两种定义：（1）角点可以是两条及两条以上边缘的交点，例如物体的拐角处对应的像素点；（2）角点可以是事件帧中一阶导数最大二阶导数为零的像素点，指示物体边缘变化不连续的地方。

可见，角点在保留图像图形重要特征的同时，可以有效地减少信息的数据量，有效地提高了计算的速度，有利于图像的可靠匹配，使得AR/VR场景中涉及的实时图像处理成为可能。最重要的是，事件相机在移动过程中，从不同视角拍摄同一场景得到的前后事件帧中通常具备稳定性质的特征，该稳定性质的特征即角点。我们可以利用这一稳定的性质将角点应用三维场景重建运动估计，目标跟踪、目标识别、图像配准与匹配等计算机视觉领域。

由于角点是图像中很重要的特征，对图像图形的理解和分析有巨大作用，因此，本申请仅以角点特征为例，来详细介绍特采用Harris角点算法分别从该一对事件帧中提取特征点：

具体的，Harris角点算法存储在开源计算机视觉库即OpenCV中，电子设备可以通过对应的接口函数调用Harris角点算法，来提取第一事件帧中的角点和第二事件帧中的角点。

在本申请实施例中，通常一个事件帧中可以提取到多个角点。这些角点，可以用像素点的坐标在事件帧中进行定位。

参考图5A-图5C，图5A-图5C示例性示出本申请提供的一组角点特征提取方法示意图。

该Harris角点检测算法基本思想是：使用一个固定大小的窗口（即取某个像素的一个邻域窗口）在事件帧上进行任意方向上的滑动，比较滑动前与滑动后该窗口所框取的像素的灰度变化程度，如果该窗口在各个方向上移动时，窗口内像素的灰度没有发生变化，那么窗口中就不存在角点。如果该窗口在任意方向滑动，窗口所框取的像素都有着较大灰度变化，则认为该窗口中存在角点。

如图5A所示，图5A仅仅示例性示出事件帧中的小块区域，和用于提取该事件帧中的角点的窗口。该窗口的初始化位置例如为该事件帧的中心。之后，窗口基于该初始化位置在事件帧上进行任意方向上的滑动，比较滑动前与滑动后该窗口所框取的像素的灰度变化程度。直至遍历完事件帧中所有像素点，以获得该事件帧的所有角点。

如图5B所示，假设该窗口从所在实当前位置（实线位置）处向周围任意方向（即虚线位置）滑动一定数目的像素点，窗口内像素的灰度没有发生变化，则认为该窗口框取的实线位置处的所有像素点内没有角点。

如图5C所示，假设该窗口从所在实当前位置（实线位置）处向周围任意方向（即虚线位置）滑动一定数目的像素点，窗口内像素的灰度在有的方向都有发生变化，则认为该窗口框取的实线位置处的所有像素点内有角点。

基于图5A-图5C介绍的Harris角点算法的具体实现过程，可以获取到第一事件帧和第二事件帧中所包含的所有角点。

参考图6，图6示例性示出第一事件帧的角点。

如图6所示，第一事件帧包含的角点有：角点1、角点2、角点3和角点4等。并且，角点1、角点2、角点3和角点4的像素值可以是0到255中的任意一个（包含0和255）。

图6仅仅示例性示出从第一事件帧包含的部分角点，第一事件帧帧可以包含更多的角点，这里仅示例性示出三个，可以理解的是，图6不应构成对本申请的限制。

同理，关于从第二事件帧中提取到的角点的UI与图6类似，在此省略。

S303，电子设备对该一对事件帧进行二值化，获取一对二值事件帧。

在本申请实施例中，原始的事件帧为灰度图像。将灰度图像进行二值化具体是指，将像素范围为0-255灰度图像转化为像素值仅有0和255的二值图像。其中，像素值为0像素点显示黑色，像素值为255的像素点显示白色，也就是让整个事件帧呈现只有黑和白的效果。

二值化的主要方法是先获取一个最优阈值，然后将事件帧对应的像素值矩阵中，大于最优阈值的像素值调整为255，将小于等于最优阈值的像素值调整为0。

参考图7，图7示例性示出经过二值化处理后的事件帧。

如图7所示，第一事件帧和第二事件帧经过二值化处理后得到的图像的像素值仅有0和255两个值。具体可以对比图4中的三角形物体，图4中三角形物体的像素值介于0到255之间。假设在二值化处理中选取的最优阈值小于该三角形物体的像素值，则将三角形物体对应的像素值调整为255，因此呈现纯白色。并且，经过二值化处理后的事件帧中的角点所对应的像素值只能为0或者255。例如，上述角点1、角点2、角点3和角点4经过二值化处理后，角点1、角点2和角点4处的像素值为255呈现白色，而角点3处的像素值则为0呈现黑色。

可以理解的是，步骤S303为本申请的可选步骤，在本申请实施例中，由于对原始的事件帧进行二值化，可以提高后续特征点匹配的鲁棒性，具体体现在，可以模糊像素点处积累事件的次数，仅关注像素点处时否发生过变化，从而使得事件帧中边缘清晰明朗不再模糊，将场景中感兴趣目标和背景分离。此外，直接基于灰度图像进行后续的图像处理所耗时间较长。因此，先将原始的一对事件帧进行二值化处理后，提高后续进行特征点匹配的鲁棒性，且降低特征点匹配时延。在本申请另一些实施例中，电子设备也可以不执行步骤S303。

S304，电子设备分别从一对二值事件帧中选取特征点中的亮点。

具体的，在二值化后的事件帧中，特征点对应的像素值可能是0也可能是255，0则代表该像素点处没有是事件发生，255则代表该像素点处有事件发生。电子设备选取从二值化后的事件帧中选取像素值为255的角点作为亮点，以进行后续的特征点匹配。

参考图8，图8示例性示出第一事件帧的亮点。

如图8所示，第一事件帧包含的亮点有：亮点1、亮点2和亮点3等。亮点的像素值是将角点的像素值经过二值化处理后的到的像素值，即255。由于，经过二值化处理后的角点1、角点2和角点4处的像素值为255呈现白色，因此角点1、角点2和角点4对应的像素点是亮点，分别为亮点1、亮点2和亮点3。但是，经过二值化处理后角点3处的像素值为0呈现黑色，因此角点3处的像素点不是亮点。

图8仅仅示例性示出从第一事件帧包含的部分亮点，当第一事件帧帧包含更多的角点时，则选择的亮点可以更多，可以理解的是，图8不应构成对本申请的限制。

同理，关于从第二事件帧中选取到的亮点的UI与图8类似，在此省略。

可以理解的是，步骤S304为本申请的可选步骤，在本申请实施例中，电子设备可以不对特征点做出进一步筛选。或者在本申请另一些实施例中，当电子设备不执行步骤S303但执行步骤S304时，则电子设备会基于原始的事件帧例如图6多事的事件帧选取特征点（例如角点）中的亮点，此时的亮点则是像素值大于阈值的特征点，不一定只是像素值为255的特征点。

基于上文步骤S302-S304所述的提取特征点的方法后，可知本申请所述的特征点、角点以及亮点，这些概念有细节上的不同。在此，对上述涉及的特征点、角点以及亮点进行总结，具体如下：

特征点是指，用于描述图像中具有某种特征的点，特征可以包括：角点特征、颜色特征、灰度特征、纹理特征、轮廓以及光流特征等等；角点是指，具有角点特征的特征点；亮点是指，在二值化后的事件帧中，角点中像素值为255的像素点。

可见，特征点、角点、亮点等都具有统一特性，即，能够在多个含有相同场景或目标的相似图像中，以一种具有代表性的形式来表示该场景或目标。也就是说，在事件相机在移动过程中，拍摄同一个物体或场景获得多个事件帧，如果该物体或场景中实际相同的地方能够从事件帧中被识别出来，则这些相同的地方在事件帧中对应的像素点可以称为特征点。而角点和亮点则是在处理特征点时，所涉及更加具体的概念。因此角点、亮点仍然属于特征点，因此，本申请实施例还可以将角点和亮点统一称为特征点，在本申请另一些实施例中特征点还可以被称为关键点，其名称仅为示例，不具有任何限定意义。

阶段3（S305-S306）：电子设备基于该一对事件帧中第一事件帧中的特征点，和第二事件帧中的特征点，进行特征点匹配，获取第一事件帧中与第二事件帧中匹配的特征点对的集合。

具体的，首先，电子设备基于第一事件帧中所有特征点构成的点集与第二事件帧中所有特征点构成的点集，采用点集匹配算法实现第一事件帧和第二事件帧之间的整体匹配，进而获得第一事件帧到第二事件帧的粗仿射变换参数。之后，基于该粗仿射变换参数，锁定第一事件帧中每个特征点在第二事件帧中分别对应的粗匹配点，进而确定该粗匹配点的邻域以作为模板，并基于第一事件帧中每个特征点的邻域与对应在第一事件帧中的邻域，采用模板匹配算法实现第一事件帧和第二事件帧之间的局部匹配，进而得到第一事件帧到第二事件帧的精仿射变换参数。此外，还可以滤除基于精仿射变换参数获取的精匹配点对中错误的匹配点对，以获取到第一事件帧中与第二事件帧中匹配的特征点对的集合。

在本申请实施例中，粗匹配点还可以称为第一匹配点，粗仿射变换参数还可以称为第一仿射变换参数。精匹配点还可以称为第二匹配点，精仿射变换参数还可以称为第二仿射变换参数。滤除基于精仿射变换参数获取的精匹配点对后，获取到的最终匹配点还可以称为第三匹配点。

接下来具体介绍阶段3涉及的详细步骤：

S305，电子设备对第一事件帧中的亮点集合与第二事件帧中的亮点集合进行点集匹配，获取粗仿射变换参数。

点集匹配技术主要目的是，查找两个点集对齐的空间变换关系，即第一事件帧到第二事件帧的仿射变换参数。也就是说，将仿射变换参数作用于第一事件帧的亮点集合，即在第一事件帧的亮点集合的基础上乘以仿射变换参数，得到的结果接近第二事件帧的亮点集合。

上述点集匹配技术所采用的算法可以是以下任意一种：一致性点漂移算法(Coherent point drift，CPD)、迭代最近点算法（Iterative closest point，ICP）、固点匹配算法（Robust point matching，RPM）以及核心相关算法（kernel correlation，KC）等等。本申请实施例对点集匹配具体采用的算法不作限制。

这里仅以CPD算法为例介绍本申请提供的粗匹配方法，采用CPD算法的主要思想如下：

具体的，通过将第一事件帧中所有亮点合并为第一点集（还可称为点云）以作为一个全局模型，将第二事件帧中所有亮点合并为第二点集以作为另一个全局模型，然后对两个全局模型进行整体匹配。

例如{M，S}是某个空间中的两个点集，这里的M相当于上述第一点集，S相当于上述第二点集。CPD算法通过将点集配准问题转换为概率密度估计问题，即，将第一点集M的分布表示成混合高斯模型，并用似然函数表示该混合高斯模型与变换参数的关系，在将第一点集M与第二点集S配准时，当似然函数达到最大时的变换参数即求取的粗仿射变换参数P1。

求取到的粗仿射变换参数P1满足以下条件：将该粗仿射变换参数作用于第一点集M后，可以使得变换后的第一点集M和第二点集S之间的差异最小。

参考图9，图9示例性示出粗匹配结果示意图。

如图9所示，该粗匹配结果示例性示出第一事件帧中亮点在第二事件帧中的对应的粗匹配点。例如，根据粗仿射变换参数P1，可以获取到第一事件帧中的亮点1在第二事件帧中匹配的点为粗匹配点1；第一事件帧中的亮点2在第二事件帧中匹配的点为粗匹配点2；第一事件帧中的亮点3在第二事件帧中匹配的点为粗匹配点3。

可以理解的是，图9仅仅示例性示出部分亮点对应的粗匹配点，当第一事件帧帧包含更多的亮点时，则还可能包含更多亮点对应的粗匹配点。因此，图9不应构成对本申请的限制。

可以理解的是，步骤S305所述的采用点集匹配方法还可以称为粗匹配，这里的粗匹配，通过粗匹配获取的粗仿射变换参数以及粗匹配点，仅为匹配过程中方便使用的名词，并非特指该匹配方法不够精确。

此外，通过上述步骤S305的详细介绍，可以知道点集匹配将事件帧中的所有亮点合并构成一个全局模型进行匹配，能够得到符合全局特征的一个相对比较平均的粗仿射变换参数P1，这边满足了事件帧的全局特征的匹配要求。避免在仅仅使用局部匹配的过程中，假设第一事件帧中包含两个类似物体例如两部手机，在第二事件帧中也包含该两部手机，若不考虑整个事件帧的全局特性，容易将第一事件帧中的其中一个手机与第二事件帧中不同的手机匹配。从而导致不赔结果失准的问题。

S306，电子设备基于粗仿射变换参数获取第一事件帧中每个亮点与第二事件帧中满足粗匹配关系的粗匹配点，将第一事件帧中的每个亮点所在邻域和对应粗匹配点所在邻域进行形态学膨胀，以获取膨胀后的一对二值事件帧。

具体的，基于上文对图4中的电子设备获取的原始事件帧的介绍，可以知道，事件帧中存在物体纹理不清晰或者物体的边缘有毛刺的情况，进过二值化处理后的事件帧仅仅是将像素值压缩了，但是事件帧还是会存在纹理不清晰或者物体的边缘有毛刺的问题，也就是说，事件帧中的物体中亮点的邻域有断开的地方，所谓的断开就是像素值为0而呈现黑色的像素点。这会进一步影响后续基于亮点的邻域进行模板匹配的准确性。因此，通过对亮点的邻域进行形态学膨胀，可以改善纹理不清的问题，提高基于亮点的邻域进行模板匹配的鲁棒性。

形态学膨胀主要通过是将事件帧中每个亮点的邻域与核进行卷积得到的结果则为形态学膨胀后的图像，具体实现方法如下：

参考图10，图10示例性示出一组形态学膨胀方法示意图。

如图10所示，图中左侧为亮点（例如亮点1）的邻域（还可称为结构A），中间为核（还可称为结构B），右侧为膨胀后的亮点的邻域。其中，亮点1的邻域还可以称为第三邻域。亮点1对应的粗匹配点，在膨胀之前的事件帧中的邻域可以称为第四邻域。

其中，结构B仅仅是白色像素点所组成的结构。将结构B的原点（还可以称为锚点）在结构A中的每个亮点（呈现白色像素点）的位置处以一个像素单位依次移动，将结构B覆盖的所有像素点的像素值都转化为255，即呈现白色，当遍历完结构A中的所有彩色像素点后得到的结果便是膨胀后的结果。

上述，结构B仅仅为本申请提供的一个示例，在本申请另一些实施例中，结构B还可以是任何的形状和大小，本申请实施例对此不作限制。

参考图11，图11示例性示出经膨胀处理后的二值事件帧。

如图11所示，亮点所在的邻域经过膨胀后，没有边缘毛刺、纹理不清、中断等问题。具体的，对比图7中的多边形物体和图11中的对变形物体，可以明显看到，该多变形物体断开的地方被连接，并且边缘毛刺也得到了改善。

S307，电子设备基于膨胀后的二值事件帧，对膨胀后的二值第一事件帧中每个亮点的邻域和膨胀后的二值第二事件帧中对应粗匹配点的邻域进行模板匹配，获取精仿射变换参数，进而获得精匹配点对。

具体的，在膨胀后的二值第一事件帧中选择每个亮点的邻域，然后在膨胀后的二值第二事件帧中选择每个亮点对应的粗匹配点的邻域（作为模板），将亮点的邻域与对应的粗匹配点的邻域（即模板），采用例如Fast match算法进行模板匹配，获取到精仿射变换参数，同理，采用该算法遍历完所有亮点，即可以得到每个亮点的精仿射变换参数P2，P2实际为一个变换矩阵。将该变换矩阵作用于第一事件帧的亮点集合中便可以得到对应的精匹配点集合。

值得注意的是，上述膨胀后的二值第二事件帧中，粗匹配点的邻域选取方法可以包含多种，例如可以选取以粗匹配点为中心的邻域等。

参考图12，图12示例性示出精匹配方法示意图。

如图12所示，左图中膨胀后的二值第一事件帧的亮点1的粗匹配点为右图中膨胀后的二值第二事件帧中的粗匹配点1，选取亮点1的邻域，和粗匹配点1的邻域作为模板，然后采用Fast match算法，获取亮点1的精匹配参数。进而可以基于粗仿射变换结果，进一步得到跟精确的匹配点。其中，亮点1的邻域还可以称为第一邻域。亮点1对应的粗匹配点1，在膨胀之后的二值事件帧中的邻域可以称为第二邻域。

参考图13，图13示例性示出精匹配结果示意图。

如图13所示，该精匹配结果示例性示出第一事件帧中亮点在第二事件帧中的对应的精匹配点。例如，根据粗仿射变换参数P1，可以获取到第一事件帧中的亮点1在第二事件帧中匹配的点为精匹配点1；第一事件帧中的亮点2在第二事件帧中匹配的点为精匹配点2；第一事件帧中的亮点3在第二事件帧中匹配的点为精匹配点3。

将图13所示的精匹配结果与图9所示的粗匹配结果进行对比，可以知道在粗匹配的基础上，将每个亮点对应的匹配点聚焦在粗匹配的邻域内，然后对该邻域进行局部匹配从而能校准粗匹配结果，得到更加准确的对应关系。

可以理解的是，图13仅仅示例性示出部分亮点对应的精匹配点，当第一事件帧帧包含更多的亮点时，则还可能包含更多亮点对应的精匹配点。因此，图13不应构成对本申请的限制。

值得注意的是，步骤S306为可选步骤，也就是说在本申请一些实施例中，电子设备可以直接采用二值第一事件帧中每个亮点所在邻域和对应在二值第二事件帧中的粗匹配点所在邻域进行模板匹配，无需先对二值事件帧进行膨胀。

S308，电子设备滤除精匹配点对中错误匹配点对，得到最终的匹配结果。

具体的，电子设备可以使用基础矩阵或者单应性矩阵的RANSAC算法，滤除错误的匹配点对。其中，基础矩阵和单应性矩阵描述的是针对同一事物，在不同的视角下拍摄的两幅图像之间的关系，该单应性矩阵也就是上文所述的地第一事件帧中的所有亮点与第二事件帧中的所有精匹配点的对应关系即精仿射变化参数P2的另一种表达形式。

关于RANSAC算法的具体实现可以参考现有技术，在此暂不赘述。

参考图14，图14示例性示出从精匹配结果中滤除错误匹配后的最终匹配结果示意图。

如图14所示，亮点3与精匹配点3经过RANSAC算法检测后，其不满足匹配关系，则被滤除。因为亮点3为第一事件帧中的边缘点，该亮点3对应的精配参数为该亮点3的邻域内所有像素点的平均匹配参数，因此很可能通过亮点3对应的精配参数获取到的精匹配点3是错误的匹配对，因此，可以采用RANSAC算法检测第一事件帧中的亮点与对应的精匹配点是否为正确的匹配对，若不是，则滤除，以获取更加准确的匹配对。

上述步骤S308为可选步骤，在本申请另一些实施例中，电子设备在S306中获取的精匹配点对也可以是最终结果。

可选的，电子设备还会执行后续步骤：

S309，电子设备基于最终的匹配结果获取事件相机的运动轨迹。

具体的，电子设备可以通过分析第一事件帧中的亮点与对应在第二事件帧中的精匹配点的像素点坐标，获取相机的运动轨迹。例如，参考图14，可以看出亮点1的像素点坐标，在对应的精匹配点1的像素点坐标相比，坐标下移；亮点2的像素点坐标和对应的精匹配点2的像素点坐标相比，坐标下移。可以知道，在场景或者物体保持不动的情况下，相机的运动轨迹则是上移。

可见，实施本申请提供的基于事件帧的特征点匹配方法及电子设备后，具有以下有益效果：

首先，考虑到事件帧的全局特征，具体通过对事件帧中的全部特征点进行整体匹配，而不是仅对事件帧中的局部即模板中的特征点进行粗匹配，从而优化了特征点在事件帧中的分布，提高了特征点的匹配数目，当事件帧中部分信息丢失的情况下，仍然可以采用事件帧中的其余信息完成特征匹配，从而提高特征匹配的准确性。

其次，考虑到事件帧中每个特征点个性，在基于粗匹配的条件下，根据特征点对应的粗匹配点选取该粗匹配点的邻域（即模板），然后将特征点与模板中的所有像素点进行匹配，进而确定特征点对应的精匹配点，进一步提高每个特征点的匹配精确度。

最后，本申请提供的基于事件帧的特征点匹配方法，结合了点集匹配和模板匹配的算法思想，构建了由粗匹配到精匹配的算法框架。该方法同时适用于宽基线和窄基线的事件帧的特征点匹配。

上述宽基线是指，事件相机在拍摄事件过程中可以任意移动，从而导致第一事件帧中的景物在第二事件帧上可能被遮挡或部分遮挡。也就是说，第一事件帧中的一个像素点，在第二事件帧中对应像素点可能为任意位置。因此，针对宽基线的事件帧来说，第一事件帧中特征点，与第二事件帧中粗匹配点的邻域有相似的地方，但由于事件相机位置的变化及环境光亮度的变化，单依靠邻域的相似不能得到正确的匹配。因此要考虑事件帧的全局特性，所以本申请提供的方法先采用基于事件帧全局特征的匹配方法，提高宽基线的事件帧的特征点匹配准确性。

上述窄基线是指，事件相机在拍摄事件过程中可以任意距离小，从而导致第一事件帧中的景物在第二事件帧上也存在，只是景物在第二事件帧的位置与在第一事件帧中的位置有轻微变化。因此，仅依靠基于事件帧的全局特性进行特征匹配，不能得到正确的匹配点。因此，本申请提供的方法还采用了模板匹配，即对第一事件帧中的特征点在第二事件帧中对应粗匹配点的邻域内的所有像素点进行匹配，进而找到最接近第一特征点的精匹配点。

本申请的各实施方式可以任意进行组合，以实现不同的技术效果。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线（例如同轴电缆、光纤、数字用户线）或无线（例如红外、无线、微波等）方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，（例如，软盘、硬盘、磁带）、光介质（例如， DVD）、或者半导体介质（例如固态硬盘 SolidState Disk）等。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，该流程可以由计算机程序来指令相关的硬件完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。而前述的存储介质包括：ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储程序代码的介质。

总之，以上所述仅为本发明技术方案的实施例而已，并非用于限定本发明的保护范围。凡根据本发明的揭露，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (16)

1.一种基于事件帧的特征点匹配方法，其特征在于，所述方法应用于电子设备中，所述方法包括：

所述电子设备通过事件相机获取第一事件流和第二事件流，基于所述第一事件流生成第一事件帧，基于所述第二事件流生成第二事件帧；

所述电子设备从所述第一事件帧中提取多个第一特征点，从所述第二事件帧中提取多个第二特征点；

所述电子设备基于多个所述第一特征点和多个所述第二特征点进行点集匹配，以获取所述第一特征点在所述第二事件帧中对应的第一匹配点；

所述电子设备基于所述第一特征点和所述第一匹配点进行模板匹配，以获取所述第一特征点在所述第二事件帧中对应的第二匹配点。

2.根据权利要求1所述的方法，其特征在于，所述电子设备获取所述第一特征点在所述第二事件帧中对应的第二匹配点之后，所述方法还包括：

所述电子设备滤除多个所述第一特征点中位于所述第一事件帧边缘的第一特征点对应的第二匹配点，获取剩余多个所述特征点分别对应的所述第二匹配点。

3.根据权利要求2所述的方法，其特征在于，在所述电子设备获取剩余多个所述特征点分别对应的所述第二匹配点之后，所述方法还包括：

所述电子设备根据所述剩余多个所述特征点分别对应的所述第二匹配点，获取所述事件相机的运动轨迹；

所述电子设备根据所述运动轨迹执行以下任意一项操作：从运动中恢复结构SFM和即时定位与地图构建SLAM。

4.根据权利要求1-3中任一项所述的方法，其特征在于，所述电子设备从所述第一事件帧中提取多个第一特征点，具体包括：

所述电子设备根据角点特征、颜色特征、灰度特征、纹理特征、轮廓或者光流特征中任意一项或多项特征，从所述第一事件帧中提取多个所述第一特征点。

5.根据权利要求4所述的方法，其特征在于，当所述电子设备根据所述角点特征从所述第一事件帧中提取多个所述第一特征点时，所述电子设备具体使用Harris角点算法获取多个所述第一特征点。

6.根据权利要求5所述的方法，其特征在于，所述电子设备从所述第一事件帧中提取多个第一特征点，具体包括：

所述电子设备根据角点特征、颜色特征、灰度特征、纹理特征、轮廓或者光流特征中任意一项或多项特征，从所述第一事件帧中提取多个特征点；

所述电子设备从多个所述特征点中选取像素值大于阈值的多个所述第一特征点。

7.根据权利要求6所述的方法，其特征在于，所述电子设备从多个所述特征点中选取像素值大于阈值的多个所述第一特征点具体包括：

所述电子设备对多个所述特征点进行基于所述阈值的二值化处理，获取大于所述阈值的多个所述第一特征点。

8.根据权利要求7所述的方法，其特征在于，所述电子设备对多个所述第一特征点和多个所述第二特征点进行点集匹配，具体包括：

所述电子设备获取第一仿射变换参数，所述第一仿射变换参数用于作用于多个所述第一特征点，以获取所述第一特征点在所述第二事件帧中对应的所述第一匹配点。

9.根据权利要求8所述的方法，其特征在于，所述电子设备对所述第一特征点和所述第一匹配点进行模板匹配，具体包括：

所述电子设备对所述第一特征点的第一邻域，和，所述第一匹配点的第二邻域，进行模板匹配。

10.根据权利要求9所述的方法，其特征在于，所述电子设备基于所述第一特征点和所述第一匹配点进行模板匹配之前，所述方法还包括：

所述电子设备对所述第一特征点的第三邻域进行形态学膨胀，得到膨胀后的第一事件帧，所述第三邻域和所述第一邻域的大小、位置相同；所述第一邻域为所述膨胀后的第一事件帧中所述第一特征点的邻域；

所述电子设备对所述第一特征点对应的所述第一匹配点的第四邻域进行形态学膨胀，得到膨胀后的第二事件帧，所述第四邻域和所述第二邻域的大小、位置相同；所述第二邻域为所述膨胀后的第二事件帧中所述第一匹配点的邻域。

11.根据权利要求10所述的方法，其特征在于，所述第四邻域为所述电子设备以所述第一匹配点为中心获取的邻域。

12.根据权利要求11所述的方法，其特征在于，所述电子设备基于所述第一特征点和所述第一匹配点进行模板匹配，具体包括：

所述电子设备获取第二仿射变换参数，所述第二仿射变换参数用于作用于所述第一特征点，以获取所述第一特征点在所述第二事件帧中对应的所述第二匹配点。

13.根据权利要求12所述的方法，其特征在于，所述事件相机配置在所述电子设备中，或者，所述事件相机独立于所述电子设备。

14.一种芯片，所述芯片应用于电子设备，所述芯片包括一个或多个处理器，所述处理器用于调用计算机指令以使得所述电子设备执行如权利要求1-13中任一项所述的方法。

15.一种计算机可读存储介质，包括指令，其特征在于，当所述指令在电子设备上运行时，使得所述电子设备执行如权利要求1-13中任一项所述的方法。

16.一种电子设备，其特征在于，所述电子设备包括一个或多个处理器和一个或多个存储器；其中，所述一个或多个存储器与所述一个或多个处理器耦合，所述一个或多个存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，当所述一个或多个处理器执行所述计算机指令时，使得所述电子设备执行如权利要求1-13中任一项所述的方法。

Images