CN107562660B - 一种视觉slam的片上系统及数据处理方法 - Google Patents

Abstract

一种视觉SLAM的片上系统及数据处理方法，片上系统包括分别与片上总线相连接的输入/输出模块、DMA模块、第一计算加速单元、特征缓存模块和多核处理器单元。由于输入/输出模块在接收图像数据的同时，通过片上总线以中断的方式通知多核处理器单元分配相应的读写地址空间，并利用DMA模块根据该读写地址空间，通过片上总线采用DMA方式对第一计算加速单元进行读写操作，使得第一计算加速单元可直接获取输入/输出模块接收的图像数据；又由于第一计算加速单元提取的图像特征可存入片内的特征缓存模块中，而不再需要如现有技术那样存入片外的内存中，从而减少了内存的拷贝过程和片内外的数据交互，节约了不必要的功耗和延时开销，提高了数据传输的效率。

Description

一种视觉SLAM的片上系统及数据处理方法

技术领域

本发明涉及数据处理领域，具体涉及一种视觉SLAM的片上系统及数据处理方法。

背景技术

同时定位与地图构建(Simultaneous localization and mapping，SLAM)问题是移动机器人研究领域的基本问题之一，是移动机器人在未知环境中实现自主导航与自主控制的关键。SLAM问题可以描述为:机器人在未知环境中从一个未知位置开始移动，在移动过程中根据位置估计和地图进行自身定位，同时在自身定位的基础上建造增量式地图，实现机器人的自主定位和导航。

视觉SLAM，简称VSLAM，就是基于视觉的定位与建图，主要是通过摄像头来采集数据信息。VSLAM包括：基于深度摄像机的VSLAM和基于单目、鱼眼相机的VSLAM，前者通过收集到的点云数据，能直接计算障碍物距离，进行定位与地图构建；后者利用多帧图像来估计自身的位姿变化，再通过累计位姿变化来计算距离物体的距离，进行定位与地图构建。

视觉SLAM的一般处理流程包括：特征提取、地图构建和位置更新。为了满足实时性和低功耗的需求，现有片上视觉SLAM处理器往往采用异构片上系统架构，由嵌入式处理器、计算加速单元(DSP或GPU)、片上总线以及输入/输出模块构成。相对于同构片上系统，异构片上系统通过将计算密集型任务分配给计算加速单元实现加速关键计算，计算密集型任务被分配给硬件加速单元，可明显降低延时和功耗。对于现有的异构片上系统，其以共享内存的方式实现数据在各个处理单元间的传输，摄像头采集的图像数据由输入/输出模块进入系统，以中断的方式通知嵌入式处理器，嵌入式处理器响应中断并将图像存入内存，供后续特征提取算法使用。由于特征提取过程需要处理图像的所有像素，其计算量较大，异构片上系统通过使用硬件计算加速单元实现特征提取算法，从而降低延时和功耗。

对于现有片上异构系统，图像数据由输入/输出模块进入系统后需要先暂时存放于内存中，然后再供特征提取计算加速单元使用，数据在特征提取计算加速单元和嵌入式处理器间通过共享内存的方式传递，其特征提取的流程为：图像数据由输入/输出模块进入系统被暂存到内存，计算加速单元从内存中取出图像数据计算其特征，再将计算得到的特征结果放回到内存，供嵌入式处理器等计算模块使用。由此可见，输入/输出模块不能直接将数据传输给计算加速单元，输入系统的图像数据需要先存入内存，再由计算加速单元从内存中提取图像，计算加速单元提取的特征结果也需要先存入内存，才能被嵌入式处理器读取使用，数据需经内存来回拷贝实现几个模块间的传输，增加了不必要的功耗和延时开销，导致数据传输效率低，数据传输成本高。

发明内容

本申请提供一种视觉SLAM的片上系统及数据处理方法，以解决现有片上系统数据传输需经内存中转、拷贝，传输成本高、传输效率低的问题。

根据第一方面，一种实施例中提供一种视觉SLAM的片上系统，其外部设置有用于拍摄图像的摄像头和用于存储系统执行程序的内存，该片上系统包括分别与片上总线相连接的输入/输出模块、DMA模块、第一计算加速单元、特征缓存模块和多核处理器单元；

所述输入/输出模块与所述摄像头相连接，接收摄像头以一定频率传输而来的图像数据，将接收的图像数据传输至片上总线，同时，以中断的方式通知多核处理器单元，使得所述多核处理器单元分配相应的读写地址空间；

所述DMA模块通过片上总线获取所述读写地址空间，再根据该读写地址空间，采用直接内存存取方式通过片上总线对第一计算加速单元进行读写操作，使得第一计算加速单元直接获取输入/输出模块接收的所述图像数据；

所述第一计算加速单元用于根据获取的图像数据，提取其图像特征，再将所述图像特征通过片上总线写入特征缓存模块，同时，通过片上总线向多核处理器单元发送表示图像特征准备就绪的中断请求；

所述特征缓存模块用于缓存所述第一计算加速单元提取到的所述图像特征；

所述多核处理器单元用于通过片上总线接收所述中断请求，读取特征缓存模块缓存的所述图像特征，根据该图像特征，构建地图和更新位置。

根据第二方面，一种实施例中提供一种视觉SLAM的片上系统数据处理方法，该方法包括：

图像数据接收步骤，输入/输出模块接收摄像头以一定频率传输而来的图像数据，将接收的图像数据传输至片上总线，同时，以中断的方式通知多核处理器单元，使得所述多核处理器单元分配相应的读写地址空间；

读写操作步骤，根据所述读写地址空间，采用直接内存存取方式对第一计算加速单元进行读写操作，使得第一计算加速单元直接获取输入/输出模块接收的所述图像数据；

特征提取步骤，第一计算加速单元根据获取的所述图像数据，提取其图像特征，再将图像特征通过片上总线写入特征缓存模块，同时发送表示图像特征准备就绪的中断请求；

特征处理步骤，接收所述中断请求，读取特征缓存模块中的图像特征，根据所述图像特征，构建地图和更新位置。

依据上述实施例，由于输入/输出模块在接收图像数据的同时，以中断的方式通知多核处理器单元分配相应的读写地址空间，并利用DMA模块根据该读写地址空间，通过片上总线采用DMA方式对第一计算加速单元进行读写操作，使得第一计算加速单元可直接获取输入/输出模块接收的所述图像数据，不再需要如现有技术那样将图像数据存入片外的内存中后再来回拷贝；又由于本申请增加了特征缓存模块，使得第一计算加速单元提取的图像特征可存入片内的特征缓存模块中被多核处理器单元直接读取使用，而不需要如现有技术那样先存入片外的内存再被读取，由此可见，本申请减少了内存的拷贝过程和片内外的数据交互，节约了不必要的功耗和延时开销，提高了数据传输的效率。

附图说明

图1为一种实施例的一种视觉SLAM的片上系统结构图；

图2为另一种实施例的一种视觉SLAM的片上系统结构图；

图3为一种实施例的一种视觉SLAM的片上系统数据处理方法流程图。

具体实施方式

下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。

另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。

本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。

在本发明实施例中，针对现有视觉SLAM处理器，数据需经内存来回拷贝，其输入/输出模块不能直接将数据传输给计算加速单元和计算加速单元提取的图像特征需先存入片外的内存才能被嵌入式处理器读取的问题，本申请提供了一种视觉SLAM的片上系统，该片上系统的输入/输出模块可直接将输入的图像传输给计算加速单元，计算加速单元提取的图像特征可存放在片内的特征缓存模块，从而减少了内存的拷贝过程和片内外的数据交互，数据传输效率更高。

请参考图1，为本申请提供的一种视觉SLAM的片上系统，其外部设置有用于拍摄图像的摄像头1和用于存储系统执行程序的内存3，该片上系统包括：分别与片上总线20相连接的输入/输出模块21、DMA模块22、第一计算加速单元23、特征缓存单元24和多核处理器单元25。

输入/输出模块21与摄像头1相连接，接收摄像头1以一定频率传输而来的图像数据，将接收的图像数据传输至片上总线20，同时，以中断的方式通知多核处理器单元25，使得多核处理器单元25分配相应的读写地址空间。

DMA模块22通过片上总线20获取该读写地址空间信息，再根据该读写地址空间，采用直接内存存取方式(即DMA方式)通过片上总线20对第一计算加速单元23进行读写操作，使得第一计算加速单元23可直接获取输入/输出模块21接收的图像数据，输入/输出模块21接收的图像数据不再需要先存入片外(即片上系统外部)的内存3，再由第一计算加速单元23从内存3中提取，减少了内存3的拷贝过程和片内外的数据交互，节约了不必要的功耗和延时开销，提高了数据传输的效率。

不同于通用硬件加速单元，本申请的第一计算加速单元23属于专用硬件加速单元，该第一计算加速单元23用于根据获取的图像数据，提取其图像特征，再将图像特征通过片上总线20输出至特征缓存单元24，同时，通过片上总线20向多核处理器单元25输出表示图像特征准备就绪的中断请求。具体地，第一计算加速单元23包括：总线接口231、暂存单元232和特征提取单元233，第一计算加速单元23通过总线接口231与片上总线20相连接，使得多核处理器单元25可通过片上总线20为暂存单元232分配相应的读写地址空间，DMA模块24可通过片上总线20采用直接内存存取方式(即DMA方式)对第一计算加速单元23进行读写操作。其中，该读写操作包括：根据读写地址空间将输入/输出模块21接收的图像数据暂存到暂存单元232，以及将暂存单元232暂存的图像数据发送至特征提取单元233。特征提取单元233用于对接收到的图像数据进行图像特征提取，并将图像特征通过片上总线20输出至特征缓存单元24。

特征缓存单元24用于缓存第一计算加速单元23提取到的图像特征。由于第一计算加速单元23提取的图像特征存放在处于片内(即片上系统内部)的特征缓存单元24中，使得第一计算加速单元23提取的图像特征不再需要存入片外(即片上系统外部)的内存3，减少了内存3的拷贝过程。

多核处理器单元25用于通过片上总线20接收表示图像特征准备就绪的中断请求，执行对应的中断处理程序，读取特征缓存单元24缓存的图像特征，并根据该图像特征，利用现有的处理算法，构建地图和更新位置。具体地，多核处理器单元25包括多核处理器和处理器缓存模块250，处理器缓存模块250用于缓存从征缓存模块读取的图像特征，多核处理器包括N个内核，N为大于1的整数，多核处理器用于根据读取的图像特征，利用现有的处理算法，构建地图和更新位置。由此可见，多核处理器单元25可直接读取片内征缓存模块24中缓存的图像特征，而不再需要如现有技术那样从片外的内存3中读取图像特征，减少了内存3的拷贝过程和片内外的数据交互，节约了不必要的功耗和延时开销，使得数据传输效率更高。

需要指出的是，在一些实施例，特征缓存单元24与处理器缓存模块250的存储层次相同，多核处理器可直接从特征缓存单元24中读取图像特征数据。

具体实施时，由于第一计算加速单元23提取图像特征的速率与多核处理器单元25读取图像特征的速率不同，特征缓存单元24采用乒乓架构匹配第一计算加速单元23和多核处理器单元25的吞吐率差异。在一些实施例，采用乒乓架构的特征缓存单元24由两个相同的特征缓存模块组成，第一计算加速单元23往其中一个特征缓存模块中写入图像特征的同时，多核处理器单元2从另一个特征缓存模块读取图像特征。

本申请的片上系统还包括：内存控制器27，内存控制器27分别与片上总线20和内存3相连接，用于实现片上系统对内存3的数据读写。

参考图2，在一些实施例，在第一计算加速单元23提取了图像特征之后，为了加快图像特征的处理，片上系统还包括：第二计算加速单元26。第二计算加速单元26与片上总线20相连接，可根据多核处理器单元25通过片上总线20发送的某些控制指令，读取特征缓存单元24缓存的图像特征，并根据该图像特征，加速构建地图和更新位置，从而加快图像特征的处理进程。其中，该某些控制指令由多核处理器单元25基于第一计算加速单元23输出的上述中断请求的发出。

参考图3，基于上述片上系统，本申请还提供了视觉SLAM的片上系统数据处理方法，该方法包括：

图像数据接收步骤100，输入/输出模块21接收摄像头1以一定频率传输而来的图像数据，将接收的图像数据传输至片上总线20，同时，以中断的方式通知多核处理器单元25，使得多核处理器单元25分配相应的读写地址空间；

读写操作步骤200，根据该读写地址空间，采用直接内存存取方式(即DMA方式)对第一计算加速单元23进行读写操作，使得第一计算加速单元23直接获取输入/输出模块21接收的所述图像数据；

特征提取步骤300，第一计算加速单元23根据获取的图像数据，提取其图像特征，再将图像特征通过片上总线20写入特征缓存单元24，同时输出表示图像特征准备就绪的中断请求；

特征处理步骤400，接收该中断请求，读取特征缓存单元24中的图像特征，根据图像特征，构建地图和更新位置。

具体地，读写操作步骤200包括：

根据该读写地址空间采用直接内存存取方式将输入/输出模块21接收的图像数据暂存到暂存单元232，以及将暂存单元232暂存的图像数据发送至特征提取单元233。

在一些实施例，由于特征缓存单元24采用乒乓架构，特征缓存单元24由两个相同的特征缓存模块组成，在执行读写操作步骤200的同时也执行特征提取步骤300，即第一计算加速单元23往其中一个特征缓存模块中写入图像特征的同时，多核处理器单元2从另一个特征缓存模块读取图像特征。

在另一些实施例，特征处理步骤400可利用多核处理器单元24或/和第二计算加速单元26执行。

本领域技术人员可以理解，上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现，也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘、光盘、硬盘等，通过计算机执行该程序以实现上述功能。例如，将程序存储在设备的存储器中，当通过处理器执行存储器中程序，即可实现上述全部或部分功能。另外，当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中，通过下载或复制保存到本地设备的存储器中，或对本地设备的系统进行版本更新，当通过处理器执行存储器中的程序时，即可实现上述实施方式中全部或部分功能。

以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。

Claims (10)

1.一种视觉SLAM的片上系统，其外部设置有用于拍摄图像的摄像头和用于存储系统执行程序的内存，其特征在于，该片上系统包括分别与片上总线相连接的输入/输出模块、DMA模块、第一计算加速单元、特征缓存单元和多核处理器单元；

所述输入/输出模块与所述摄像头相连接，接收摄像头以一定频率传输而来的图像数据，将接收的图像数据传输至片上总线，同时，以中断的方式通知多核处理器单元，使得所述多核处理器单元分配相应的读写地址空间；

所述DMA模块通过片上总线获取所述读写地址空间，再根据该读写地址空间，采用直接内存存取方式通过片上总线对第一计算加速单元进行读写操作，使得第一计算加速单元直接获取输入/输出模块接收的所述图像数据；

所述第一计算加速单元用于根据获取的图像数据，提取其图像特征，再将所述图像特征通过片上总线写入特征缓存单元，同时，通过片上总线向多核处理器单元输出表示图像特征准备就绪的中断请求；

所述特征缓存单元用于缓存所述第一计算加速单元提取到的所述图像特征；

所述多核处理器单元用于通过片上总线接收所述中断请求，读取特征缓存单元缓存的所述图像特征，根据该图像特征，构建地图和更新位置。

2.如权利要求1所述的片上系统，其特征在于，所述第一计算加速单元包括：总线接口、暂存单元和特征提取单元，

所述第一计算加速单元通过总线接口与片上总线相连接，所述多核处理器单元通过片上总线为暂存单元分配相应的读写地址空间，DMA模块可通过片上总线采用直接内存存取方式对第一计算加速单元进行读写操作；所述读写操作包括：根据所述读写地址空间将输入/输出模块接收的图像数据暂存到暂存单元，以及将所述暂存单元暂存的图像数据发送至特征提取单元；

所述特征提取单元用于对接收到的图像数据进行图像特征提取，再将图像特征通过片上总线输出至特征缓存单元。

3.如权利要求1所述的片上系统，其特征在于，所述多核处理器单元包括多核处理器和处理器缓存模块，所述处理器缓存模块用于缓存从特征缓存单元读取的图像特征，所述多核处理器用于根据所述图像特征，构建地图和更新位置。

4.如权利要求3所述的片上系统，其特征在于，所述特征缓存单元与所述处理器缓存模块的存储层次相同，所述多核处理器可直接从所述特征缓存单元中读取图像特征数据。

5.如权利要求1所述的片上系统，其特征在于，所述片上系统还包括：第二计算加速单元，所述第二计算加速单元与片上总线相连接，用于读取所述图像特征，根据该图像特征，加速构建地图和更新位置。

6.如权利要求1所述的片上系统，其特征在于，所述特征缓存单元采用乒乓架构，由两个相同的特征缓存模块组成，所述第一计算加速单元往其中一个特征缓存模块中写入图像特征的同时，所述多核处理器单元从另一个特征缓存模块读取图像特征。

7.如权利要求1-6任一项所述的片上系统，其特征在于，还包括：内存控制器，所述内存控制器分别与片上总线和所述内存相连接，用于实现所述片上系统对内存数据的读写。

8.一种视觉SLAM的片上系统数据处理方法，其特征在于，该方法包括：

图像数据接收步骤，输入/输出模块接收摄像头以一定频率传输而来的图像数据，将接收的图像数据传输至片上总线，同时，以中断的方式通知多核处理器单元，使得所述多核处理器单元分配相应的读写地址空间；

读写操作步骤，根据所述读写地址空间，采用直接内存存取方式对第一计算加速单元进行读写操作，使得第一计算加速单元直接获取输入/输出模块接收的所述图像数据；

特征提取步骤，第一计算加速单元根据获取的所述图像数据，提取其图像特征，再将图像特征通过片上总线写入特征缓存单元，同时输出表示图像特征准备就绪的中断请求；

特征处理步骤，接收所述中断请求，读取特征缓存单元中的图像特征，根据所述图像特征，构建地图和更新位置。

9.如权利要求8所述的方法，其特征在于，所述读写操作步骤包括：根据所述读写地址空间采用直接内存存取方式将输入/输出模块接收的图像数据暂存到暂存单元，以及将所述暂存单元暂存的图像数据发送至特征提取单元。

10.如权利要求8所述的方法，其特征在于，所述特征处理步骤可利用多核处理器单元或/和第二计算加速单元执行。

Images