CN112000225B - 一种定位建图优化方法、装置及定位建图优化芯片 - Google Patents

Abstract

本发明适用于头戴显示设备技术领域，提供了一种定位建图优化方法、装置及定位建图优化芯片，方法包括：响应于定位建图指令，调用第一传输模块获取输入图像和深度图像，调用第二传输模块获取传感器数据；将输入图像发送至图像处理模块，以使图像处理模块根据输入图像计算特征描述子；数据打包模块中，调用时戳产生模块在特征描述子中添加第一时间标签，在深度图像中添加第二时间标签，在传感器数据中添加第三时间标签；调用数据打包模块根据第一时间标签、第二时间标签和第三时间标签对齐特征描述子、深度图像和传感器数据，并将对齐的数据包装后输出，以通过SLAM算法执行定位建图指令。通过本发明可以减轻SLAM算法执行时的计算负荷。

Description

一种定位建图优化方法、装置及定位建图优化芯片

技术领域

本发明涉及头戴显示设备技术领域，尤其涉及一种定位建图优化方法、装置及定位建图优化芯片。

背景技术

头戴显示设备是AR(Augmented Reality Technique，增强现实技术)的最佳运用环境，其能将虚拟信息通过头戴设备窗口呈现在真实环境中。目前的AR产品有一体式AR眼镜，其内置有电池，包含完整的计算处理单元和所有电子器件，能够独立工作并满足AR功能需求。

上述的计算处理单元中通常结合SLAM(Simultaneous Localization andMapping，即时定位与地图构建)技术实现视觉定位和地图构建，但一般采用通用CPU芯片来计算，计算负荷大，延时大，多路数据难以同步。

发明内容

本发明的主要目的在于提出一种定位建图优化方法、装置及定位建图优化芯片，以解决现有技术中一体式AR眼镜所使用的处理芯片计算负荷大，有较高延时，数据同步难的问题。

为实现上述目的，本发明实施例第一方面提供一种定位建图优化方法，应用于第一传输模块、第二传输模块、图像处理模块、数据打包模块、时戳产生模块构成的定位建图优化芯片，方法包括：

响应于定位建图指令，调用所述第一传输模块获取输入图像和深度图像，同时调用所述第二传输模块获取传感器数据；

将所述输入图像发送至所述图像处理模块，以使所述图像处理模块根据所述输入图像计算特征描述子；

将所述特征描述子、所述深度图像和所述传感器数据发送至数据打包模块；

在所述数据打包模块中，调用所述时戳产生模块在所述特征描述子中添加第一时间标签，在所述深度图像中添加第二时间标签，在所述传感器数据中添加第三时间标签；

调用所述数据打包模块根据所述第一时间标签、所述第二时间标签和所述第三时间标签对齐所述特征描述子、所述深度图像和所述传感器数据，并将对齐的所述特征描述子、所述深度图像和所述传感器数据包装后输出，以通过SLAM算法执行所述定位建图指令。

结合本发明第一方面，本发明第一实施方式中，调用所述第一传输模块获取输入图像和深度图像，包括：

调用所述第一传输模块从双目彩色摄像头获取左眼彩色图像和右眼彩色图像，所述左眼彩色图像和所述右眼彩色图像均为所述输入图像；

调用所述第一传输模块从深度摄像头获取所述深度图像。

结合本发明第一方面第一实施方式，本发明第二实施方式中，将所述输入图像发送至所述图像处理模块，以使所述图像处理模块根据所述输入图像计算特征描述子，包括：

分别将所述左眼彩色图像和所述右眼彩色图像作为输入图像，分别发送至所述图像处理模块；

所述图像处理模块根据所述输入图像计算特征描述子，包括：

对所述输入图像进行处理，获得N层处理图像和计算描述子；

计算第i层处理图像的像素的角点值；

根据所述角点值在第i层所述处理图像中筛选角点，获得基于N层所述处理图像的特征角点，其中，N为正整数，i为小于N的正整数；

计算所述特征角点的角点方向，根据所述角点方向和所述计算描述子输出基于所述输入图像的特征描述子。

结合本发明第一方面第二实施方式，本发明第三实施方式中，对所述输入图像进行处理，获得N层处理图像和计算描述子，包括：

对所述输入图像进行滤波处理，获得所述计算描述子；

对所述输入图像进行N次图像插值处理，获得N层所述处理图像。

结合本发明第一方面，本发明第四实施方式中，所述调用第二传输模块获取传感器数据，包括：

调用所述第二传输模块从九轴传感器中读取传感器数据，并将所述传感器数据转换为预设格式的数据包。

结合本发明第一方面，本发明第五实施方式中，调用所述数据打包模块将对齐的所述特征描述子、所述深度图像和所述传感器数据包装后输出，以通过SLAM算法执行所述定位建图指令之前，包括：

检测对齐的所述特征描述子、所述深度图像和所述传感器数据的时间标签；

若所述时间标签之间存在差异，则根据所述第一时间标签、第二时间标签和第三时间标签仲裁输出顺序。

本发明实施例第二方面提供一种定位建图优化装置，应用于第一传输模块、第二传输模块、图像处理模块、数据打包模块、时戳产生模块构成的定位建图优化芯片，装置包括：

数据获取模块，用于响应于定位建图指令，调用所述第一传输模块获取输入图像和深度图像，同时调用所述第二传输模块获取传感器数据；

特征描述子计算模块，用于将所述输入图像发送至所述图像处理模块，以使所述图像处理模块根据所述输入图像计算特征描述子；

数据传输模块，用于将所述特征描述子、所述深度图像和所述传感器数据发送至数据打包模块；

时间戳模块，用于在所述数据打包模块中，调用所述时戳产生模块在所述特征描述子中添加第一时间标签，在所述深度图像中添加第二时间标签，在所述传感器数据中添加第三时间标签；

数据输出模块，用于调用所述数据打包模块根据所述第一时间标签、所述第二时间标签和所述第三时间标签对齐所述特征描述子、所述深度图像和所述传感器数据，并将对齐的所述特征描述子、所述深度图像和所述传感器数据包装后输出，以通过SLAM算法执行所述定位建图指令。

本发明实施例第二方面提供一种定位建图优化芯片，包括第一传输模块、第二传输模块、图像处理模块、数据打包模块、时戳产生模块；

所述数据打包模块分别与所述第一传输模块、第二传输模块、图像处理模块、和时戳产生模块连接，所述第一传输模块还与所述图像处理模块连接，所述数据打包模块还与外部USB连接；

所述第一传输模块，用于获取输入图像和深度图像；

所述第二传输模块，用于获取传感器数据；

所述图像处理模块，用于根据所述输入图像计算特征描述子；

所述时戳产生模块，用于在所述特征描述子中添加第一时间标签，在所述深度图像中添加第二时间标签，在所述传感器数据中添加第三时间标签；

所述数据打包模块，用于根据所述第一时间标签、所述第二时间标签和所述第三时间标签对齐所述特征描述子、所述深度图像和所述传感器数据，并将对齐的所述特征描述子、所述深度图像和所述传感器数据包装后输出，以通过SLAM算法执行所述定位建图指令。

本发明实施例的第四方面提供了一种终端设备，包括存储器、处理器以及存储在上述存储器中并可在上述处理器上运行的计算机程序，上述处理器执行上述计算机程序时实现如上第一方面所提供的方法的步骤。

本发明实施例的第五方面提供了一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述计算机程序被处理器执行时实现如上第一方面所提供的方法的步骤。

本发明实施例提出一种定位建图优化方法，通过第一传输模块获取输入图像和深度图像，通过第二传输模块获取传感器数据，并通过图像处理对输入图像进行处理获得特征描述子，然后将上述的特征描述子、深度图像及传感器数据发送至数据打包模块，数据打包模块获取到特征描述子、深度图像和传感器数据后，利用时戳产生模块为特征描述子、深度图像和传感器数据添加的第一时间标签、第二时间标签和第三时间标签，将上述数据对齐，然后将对齐后的数据包装后输出，以通过SLAM算法执行定位建图指令。在上述过程中，第一传输模块和图像处理模块处理了图像数据，第二传输模块处理了传感器数据，而数据打包模块和时戳产生模块将处理完成的特征描述子、深度图像和传感器数据对齐后打包输出，解决了多路数据传输时难以同步的问题，还简化了后续执行定位建图指令时，SLAM算法的计算复杂程度，减轻了SLAM算法执行时的计算负荷，降低上述各数据传输及计算的延时。

附图说明

图1为本发明实施例提供的定位建图优化方法的实现流程示意图；

图2为本发明实施例提供的定位建图优化装置的组成结构示意图；

图3为本发明实施例提供的定位建图优化芯片的组成结构示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

需要说明的是，在本文中，术语“包括”、“包含”或者任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

在本文中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身并没有特定的意义。因此，"模块"与"部件"可以混合地使用。

如图1所示，本发明实施例提供了一种定位建图优化方法，用于简化通过SLAM算法执行定位建图指令时的计算复杂程度，减少指令执行主体的计算负荷，其应用于第一传输模块、第二传输模块、图像处理模块、数据打包模块、时戳产生模块构成的定位建图优化芯片，包括但不限于如下步骤：

S101、响应于定位建图指令，调用所述第一传输模块获取输入图像和深度图像，同时调用所述第二传输模块获取传感器数据。

S102、将所述输入图像发送至所述图像处理模块，以使所述图像处理模块根据所述输入图像计算特征描述子。

S103、将所述特征描述子、所述深度图像和所述传感器数据发送至数据打包模块。

在上述步骤S101至步骤S103中，当将特征描述子、深度图像和传感器数据发送至数据打包模块时，特征描述子由图像处理模块输出，深度图像由第一传输模块输出，传感器数据由第二传输模块输出。

其中，第二传输模块获取到原始传感数据发送后，还对原始传感数据进行格式转换，方便数据传输和数据的统一处理。

在本发明实施例中，上述步骤S101中的调用第一传输模块获取输入图像和深度图像的实现方式可以为：

S10111、调用所述第一传输模块从双目彩色摄像头获取左眼彩色图像和右眼彩色图像，所述左眼彩色图像和所述右眼彩色图像均为所述输入图像；

S10112、调用所述第一传输模块从深度摄像头获取所述深度图像。

在本发明实施例中，上述步骤S101中的调用第二传输模块获取传感器数据，包括：

S10121、调用所述第二传输模块从九轴传感器中读取传感器数据。

其中，第二传输模块在九轴传感器中获取到的数据为原始传感数据，第二传输模块还对原始传感数据进行格式转换，获得上述的传感器数据，方便数据传输和数据的统一处理。

可见，输入图像应当包括左眼彩色图像和右眼彩色图像，则上述步骤S102中，将所述输入图像发送至所述图像处理模块，以使所述图像处理模块根据所述输入图像计算特征描述子的详细实现流程为：分别将所述左眼彩色图像和所述右眼彩色图像作为输入图像，分别发送至所述图像处理模块。

其中，图像处理模块根据所述输入图像计算特征描述子，包括：

S1021、对所述输入图像进行处理，获得N层处理图像和计算描述子；

S1022、计算第i层处理图像的像素的角点值；

S1023、根据所述角点值在第i层所述处理图像中筛选角点，获得基于N层所述处理图像的特征角点；

S1024、计算所述特征角点的角点方向，根据所述角点方向和所述计算描述子输出基于所述彩色图像的特征描述子。

在上述步骤S1021至步骤S1024中，由于分别将左眼彩色图像和右眼彩色图像作为输入图像，并分别发送至图像处理模块，因此，将获得基于左眼彩色图像的计算描述子和基于右眼图像的计算描述子，以及基于左眼彩色图像的N层处理图像、基于右眼彩色图像的N层处理图像，最终获得的基于输入图像的特征描述子，实际上则为基于左眼彩色图像特征描述子和基于右眼彩色图像的特征描述子。

在一个实施例中，上述步骤S1021中，对所述输入图像进行处理，获得N层处理图像和计算描述子的实现方式可以包括：

S10211、对所述输入图像进行滤波处理，获得所述计算描述子；

S10212、对所述输入图像进行N次图像插值处理，获得N层所述处理图像。

在具体应用中，假设输入图像为第一层处理图像，则对此输入图像做图像插值可以得到第二层处理图像，对第二层处理图像做图像插值可以得到第三层处理图像，以此类推，直到得到第N层处理图像，共N层处理图像。

在本发明实施例中，共产生八层处理图像。

在具体应用中，上述步骤S1022和步骤S1023所计算的像素多，则角点筛选的基础数目也比较大，因此，可以降低计算量，减少计算资源占用。

在一个实施例中，上述步骤S1022的计算第i层处理图像的像素的角点值之前，还可以包括：

遍历第i层所述处理图像的像素；

若第i层所述处理图像的像素满足角点条件，则计算第i层所述处理图像的像素的角点值。

S104、在所述数据打包模块中，调用所述时戳产生模块在所述特征描述子中添加第一时间标签，在所述深度图像中添加第二时间标签，在所述传感器数据中添加第三时间标签。

在上述步骤S104中，时戳产生模块在特征描述子中添加第一时间标签的依据为第一传输模块获取到彩色图像的时间，在深度图像中添加第二时间标签的依据为第一传输模块获取到深度图像的时间，在传感器数据中添加第三时间标签的依据为第二传输模块获取到传感器数据的时间。

S105、调用所述数据打包模块根据所述第一时间标签、所述第二时间标签和所述第三时间标签对齐所述特征描述子、所述深度图像和所述传感器数据，并将对齐的所述特征描述子、所述深度图像和所述传感器数据包装后输出，以通过SLAM算法执行所述定位建图指令。

在上述步骤S105中，数据打包模块将数据输出时，不仅需要将特征描述子、深度图像和传感器数据同步输出，在特征描述子、深度图像和传感器数据具有多组时，也将同一组的特征描述子、深度图像和传感器数据同步输出，因此，在一个实施例中，上述步骤S105包括：

S1051、检测对齐的所述特征描述子、所述深度图像和所述传感器数据的时间标签。

S1052、若所述时间标签之间存在差异，则根据所述第一时间标签、第二时间标签和第三时间标签仲裁输出顺序。

在实际应用中，定位建图优化芯片与主机连接，详细地，为数据打包模块和主机通过USB接口连接，因此，数据打包模块中，将对齐的特征描述子、深度图像和传感器数据包装为满足USB传输协议的数据格式后输出。

如图2所示，本发明实施例还提供一种定位建图优化装置20，应用于第一传输模块、第二传输模块、图像处理模块、数据打包模块、时戳产生模块构成的定位建图优化芯片，装置包括：

数据获取模块21，用于响应于定位建图指令，调用第一传输模块获取输入图像和深度图像，同时调用第二传输模块获取传感器数据；

特征描述子计算模块22，用于将输入图像发送至图像处理模块，以使图像处理模块根据输入图像计算特征描述子；

数据传输模块23，用于将特征描述子、深度图像和传感器数据发送至数据打包模块；

时间戳模块24，用于调用时戳产生模块在特征描述子中添加第一时间标签，在深度图像中添加第二时间标签，在传感器数据中添加第三时间标签；

数据输出模块25，用于调用数据打包模块根据第一时间标签、第二时间标签和第三时间标签对齐特征描述子、深度图像和传感器数据，并将对齐的特征描述子、深度图像和传感器数据包装后输出，以通过SLAM算法执行定位建图指令。

基于上述图1所示的定位建图优化方法和图2所示的定位建图优化装置，如图3所示，本发明实施例提供一种定位建图优化芯片30，包括第一传输模块31、第二传输模块32、图像处理模块33、数据打包模块34和时戳产生模块35。

其中，数据打包模块34分别与第一传输模块31、第二传输模块32、图像处理模块33、时戳产生模块35连接，第一传输模块31还与图像处理模块33连接，数据打包模块34还与外部USB连接。

在本发明实施例中，第一传输模块31与双目彩色摄像头和深度摄像头连接，第二传输模块32与九轴传感器连接。

其中，由于第二传输模块获取到原始传感数据，还对原始传感数据进行格式转换，因此，可以想到的是，第二传输模块32包括处理器单元和传感器连接单元，传感器连接单元与九轴传感器连接，获取九轴传感器中的原始传感数据，并将原始传感数据发送至处理器单元，通过处理器单元对原始传感数据进行格式转换，最终发送上述的传感器数据给数据打包模块34。

在本发明实施例中，第一传输模块31，用于获取输入图像和深度图像。

第二传输模块32，用于获取传感器数据。

图像处理模块33，用于根据输入图像计算特征描述子。

时戳产生模块34，用于在特征描述子中添加第一时间标签，在深度图像中添加第二时间标签，在传感器数据中添加第三时间标签。

数据打包模块35，用于根据第一时间标签、第二时间标签和第三时间标签对齐特征描述子、深度图像和传感器数据，并将对齐的特征描述子、深度图像和传感器数据包装后输出，以通过SLAM算法执行定位建图指令。

本发明实施例还提供一种终端设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现上述实施例中所述的定位建图优化方法中的各个步骤。

本发明实施例还提供一种存储介质，所述存储介质为计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现上述实施例中所述的定位建图优化方法中的各个步骤。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种定位建图优化方法，其特征在于，应用于第一传输模块、第二传输模块、图像处理模块、数据打包模块、时戳产生模块构成的定位建图优化芯片，方法包括：

响应于定位建图指令，调用所述第一传输模块获取输入图像和深度图像，同时调用所述第二传输模块从九轴传感器中读取传感器数据；

将所述输入图像发送至所述图像处理模块，以使所述图像处理模块根据所述输入图像计算特征描述子；

将所述特征描述子、所述深度图像和所述传感器数据发送至数据打包模块；

在所述数据打包模块中，调用所述时戳产生模块在所述特征描述子中添加第一时间标签，在所述深度图像中添加第二时间标签，在所述传感器数据中添加第三时间标签；

调用所述数据打包模块根据所述第一时间标签、所述第二时间标签和所述第三时间标签对齐所述特征描述子、所述深度图像和所述传感器数据，并将对齐的所述特征描述子、所述深度图像和所述传感器数据包装后输出，以通过SLAM算法执行所述定位建图指令。

2.如权利要求1所述的定位建图优化方法，其特征在于，调用所述第一传输模块获取输入图像和深度图像，包括：

调用所述第一传输模块从双目彩色摄像头获取左眼彩色图像和右眼彩色图像，所述左眼彩色图像和所述右眼彩色图像均为所述输入图像；

调用所述第一传输模块从深度摄像头获取所述深度图像。

3.如权利要求2所述的定位建图优化方法，其特征在于，将所述输入图像发送至所述图像处理模块，以使所述图像处理模块根据所述输入图像计算特征描述子，包括：

分别将所述左眼彩色图像和所述右眼彩色图像作为输入图像，分别发送至所述图像处理模块；

所述图像处理模块根据所述输入图像计算特征描述子，包括：

对所述输入图像进行处理，获得N层处理图像和计算描述子；

计算第i层处理图像的像素的角点值；

根据所述角点值在第i层所述处理图像中筛选角点，获得基于N层所述处理图像的特征角点，其中，N为正整数，i为小于N的正整数；

计算所述特征角点的角点方向，根据所述角点方向和所述计算描述子输出基于所述输入图像的特征描述子。

4.如权利要求3所述的定位建图优化方法，其特征在于，对所述输入图像进行处理，获得N层处理图像和计算描述子，包括：

对所述输入图像进行滤波处理，获得所述计算描述子；

对所述输入图像进行N次图像插值处理，获得N层所述处理图像。

5.如权利要求1所述的定位建图优化方法，其特征在于，所述调用第二传输模块获取传感器数据，包括：

调用所述第二传输模块从九轴传感器中读取传感器数据，并将所述传感器数据转换为预设格式的数据包。

6.如权利要求1所述的定位建图优化方法，其特征在于，调用所述数据打包模块将对齐的所述特征描述子、所述深度图像和所述传感器数据包装后输出，以通过SLAM算法执行所述定位建图指令之前，包括：

检测对齐的所述特征描述子、所述深度图像和所述传感器数据的时间标签；

若所述时间标签之间存在差异，则根据所述第一时间标签、第二时间标签和第三时间标签仲裁输出顺序。

7.一种定位建图优化装置，其特征在于，应用于第一传输模块、第二传输模块、图像处理模块、数据打包模块、时戳产生模块构成的定位建图优化芯片，装置包括：

数据获取模块，用于响应于定位建图指令，调用所述第一传输模块获取输入图像和深度图像，同时调用所述第二传输模块从九轴传感器中读取传感器数据；

特征描述子计算模块，用于将所述输入图像发送至所述图像处理模块，以使所述图像处理模块根据所述输入图像计算特征描述子；

数据传输模块，用于将所述特征描述子、所述深度图像和所述传感器数据发送至数据打包模块；

时间戳模块，用于在所述数据打包模块中，调用所述时戳产生模块在所述特征描述子中添加第一时间标签，在所述深度图像中添加第二时间标签，在所述传感器数据中添加第三时间标签；

数据输出模块，用于调用所述数据打包模块根据所述第一时间标签、所述第二时间标签和所述第三时间标签对齐所述特征描述子、所述深度图像和所述传感器数据，并将对齐的所述特征描述子、所述深度图像和所述传感器数据包装后输出，以通过SLAM算法执行所述定位建图指令。

8.一种定位建图优化芯片，其特征在于，包括第一传输模块、第二传输模块、图像处理模块、数据打包模块、时戳产生模块；

所述数据打包模块分别与所述第一传输模块、第二传输模块、图像处理模块、和时戳产生模块连接，所述第一传输模块还与所述图像处理模块连接，所述数据打包模块还与外部USB连接；

所述第一传输模块，用于获取输入图像和深度图像；

所述第二传输模块，用于从九轴传感器中读取传感器数据；

所述图像处理模块，用于根据所述输入图像计算特征描述子；

所述时戳产生模块，用于在所述特征描述子中添加第一时间标签，在所述深度图像中添加第二时间标签，在所述传感器数据中添加第三时间标签；

所述数据打包模块，用于根据所述第一时间标签、所述第二时间标签和所述第三时间标签对齐所述特征描述子、所述深度图像和所述传感器数据，并将对齐的所述特征描述子、所述深度图像和所述传感器数据包装后输出，以通过SLAM算法执行所述定位建图指令。

9.一种终端设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1至7任一项所述的定位建图优化方法中的各个步骤。

10.一种存储介质，所述存储介质为计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1至7任一项所述的定位建图优化方法中的各个步骤。

Images