CN112000225A - 一种定位建图优化方法、装置及定位建图优化芯片 - Google Patents

一种定位建图优化方法、装置及定位建图优化芯片 Download PDF

Info

Publication number
CN112000225A
CN112000225A CN202010868069.1A CN202010868069A CN112000225A CN 112000225 A CN112000225 A CN 112000225A CN 202010868069 A CN202010868069 A CN 202010868069A CN 112000225 A CN112000225 A CN 112000225A
Authority
CN
China
Prior art keywords
module
image
data
sensor data
transmission module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010868069.1A
Other languages
English (en)
Other versions
CN112000225B (zh
Inventor
姜爱鹏
朱猛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Weixi Technology Co ltd
Original Assignee
Weixi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Weixi Technology Co ltd filed Critical Weixi Technology Co ltd
Priority to CN202010868069.1A priority Critical patent/CN112000225B/zh
Publication of CN112000225A publication Critical patent/CN112000225A/zh
Application granted granted Critical
Publication of CN112000225B publication Critical patent/CN112000225B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明适用于头戴显示设备技术领域，提供了一种定位建图优化方法、装置及定位建图优化芯片，方法包括：响应于定位建图指令，调用第一传输模块获取输入图像和深度图像，调用第二传输模块获取传感器数据；将输入图像发送至图像处理模块，以使图像处理模块根据输入图像计算特征描述子；数据打包模块中，调用时戳产生模块在特征描述子中添加第一时间标签，在深度图像中添加第二时间标签，在传感器数据中添加第三时间标签；调用数据打包模块根据第一时间标签、第二时间标签和第三时间标签对齐特征描述子、深度图像和传感器数据，并将对齐的数据包装后输出，以通过SLAM算法执行定位建图指令。通过本发明可以减轻SLAM算法执行时的计算负荷。

Description

一种定位建图优化方法、装置及定位建图优化芯片
技术领域
本发明涉及头戴显示设备技术领域，尤其涉及一种定位建图优化方法、装置及定位建图优化芯片。
背景技术
头戴显示设备是AR(Augmented Reality Technique，增强现实技术)的最佳运用环境，其能将虚拟信息通过头戴设备窗口呈现在真实环境中。目前的AR产品有一体式AR眼镜，其内置有电池，包含完整的计算处理单元和所有电子器件，能够独立工作并满足AR功能需求。
上述的计算处理单元中通常结合SLAM(Simultaneous Localization andMapping，即时定位与地图构建)技术实现视觉定位和地图构建，但一般采用通用CPU芯片来计算，计算负荷大，延时大，多路数据难以同步。
发明内容
本发明的主要目的在于提出一种定位建图优化方法、装置及定位建图优化芯片，以解决现有技术中一体式AR眼镜所使用的处理芯片计算负荷大，有较高延时，数据同步难的问题。
为实现上述目的，本发明实施例第一方面提供一种定位建图优化方法，应用于第一传输模块、第二传输模块、图像处理模块、数据打包模块、时戳产生模块构成的定位建图优化芯片，方法包括：
响应于定位建图指令，调用所述第一传输模块获取输入图像和深度图像，同时调用所述第二传输模块获取传感器数据；
将所述输入图像发送至所述图像处理模块，以使所述图像处理模块根据所述输入图像计算特征描述子；
将所述特征描述子、所述深度图像和所述传感器数据发送至数据打包模块；
在所述数据打包模块中，调用所述时戳产生模块在所述特征描述子中添加第一时间标签，在所述深度图像中添加第二时间标签，在所述传感器数据中添加第三时间标签；
调用所述数据打包模块根据所述第一时间标签、所述第二时间标签和所述第三时间标签对齐所述特征描述子、所述深度图像和所述传感器数据，并将对齐的所述特征描述子、所述深度图像和所述传感器数据包装后输出，以通过SLAM算法执行所述定位建图指令。
结合本发明第一方面，本发明第一实施方式中，调用所述第一传输模块获取输入图像和深度图像，包括：
调用所述第一传输模块从双目彩色摄像头获取左眼彩色图像和右眼彩色图像，所述左眼彩色图像和所述右眼彩色图像均为所述输入图像；
调用所述第一传输模块从深度摄像头获取所述深度图像。
结合本发明第一方面第一实施方式，本发明第二实施方式中，将所述输入图像发送至所述图像处理模块，以使所述图像处理模块根据所述输入图像计算特征描述子，包括：
分别将所述左眼彩色图像和所述右眼彩色图像作为输入图像，分别发送至所述图像处理模块；
所述图像处理模块根据所述输入图像计算特征描述子，包括：
对所述输入图像进行处理，获得N层处理图像和计算描述子；
计算第i层处理图像的像素的角点值；
根据所述角点值在第i层所述处理图像中筛选角点，获得基于N层所述处理图像的特征角点，其中，N为正整数，i为小于N的正整数；
计算所述特征角点的角点方向，根据所述角点方向和所述计算描述子输出基于所述输入图像的特征描述子。
结合本发明第一方面第二实施方式，本发明第三实施方式中，对所述输入图像进行处理，获得N层处理图像和计算描述子，包括：
对所述输入图像进行滤波处理，获得所述计算描述子；
对所述输入图像进行N次图像插值处理，获得N层所述处理图像。
结合本发明第一方面，本发明第四实施方式中，所述调用第二传输模块获取传感器数据，包括：
调用所述第二传输模块从九轴传感器中读取传感器数据，并将所述传感器数据转换为预设格式的数据包。
结合本发明第一方面，本发明第五实施方式中，调用所述数据打包模块将对齐的所述特征描述子、所述深度图像和所述传感器数据包装后输出，以通过SLAM算法执行所述定位建图指令之前，包括：
检测对齐的所述特征描述子、所述深度图像和所述传感器数据的时间标签；
若所述时间标签之间存在差异，则根据所述第一时间标签、第二时间标签和第三时间标签仲裁输出顺序。
本发明实施例第二方面提供一种定位建图优化装置，应用于第一传输模块、第二传输模块、图像处理模块、数据打包模块、时戳产生模块构成的定位建图优化芯片，装置包括：
数据获取模块，用于响应于定位建图指令，调用所述第一传输模块获取输入图像和深度图像，同时调用所述第二传输模块获取传感器数据；
特征描述子计算模块，用于将所述输入图像发送至所述图像处理模块，以使所述图像处理模块根据所述输入图像计算特征描述子；
数据传输模块，用于将所述特征描述子、所述深度图像和所述传感器数据发送至数据打包模块；
时间戳模块，用于在所述数据打包模块中，调用所述时戳产生模块在所述特征描述子中添加第一时间标签，在所述深度图像中添加第二时间标签，在所述传感器数据中添加第三时间标签；
数据输出模块，用于调用所述数据打包模块根据所述第一时间标签、所述第二时间标签和所述第三时间标签对齐所述特征描述子、所述深度图像和所述传感器数据，并将对齐的所述特征描述子、所述深度图像和所述传感器数据包装后输出，以通过SLAM算法执行所述定位建图指令。
本发明实施例第二方面提供一种定位建图优化芯片，包括第一传输模块、第二传输模块、图像处理模块、数据打包模块、时戳产生模块；
所述数据打包模块分别与所述第一传输模块、第二传输模块、图像处理模块、和时戳产生模块连接，所述第一传输模块还与所述图像处理模块连接，所述数据打包模块还与外部USB连接；
所述第一传输模块，用于获取输入图像和深度图像；
所述第二传输模块，用于获取传感器数据；
所述图像处理模块，用于根据所述输入图像计算特征描述子；
所述时戳产生模块，用于在所述特征描述子中添加第一时间标签，在所述深度图像中添加第二时间标签，在所述传感器数据中添加第三时间标签；
所述数据打包模块，用于根据所述第一时间标签、所述第二时间标签和所述第三时间标签对齐所述特征描述子、所述深度图像和所述传感器数据，并将对齐的所述特征描述子、所述深度图像和所述传感器数据包装后输出，以通过SLAM算法执行所述定位建图指令。
本发明实施例的第四方面提供了一种终端设备，包括存储器、处理器以及存储在上述存储器中并可在上述处理器上运行的计算机程序，上述处理器执行上述计算机程序时实现如上第一方面所提供的方法的步骤。
本发明实施例的第五方面提供了一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述计算机程序被处理器执行时实现如上第一方面所提供的方法的步骤。
本发明实施例提出一种定位建图优化方法，通过第一传输模块获取输入图像和深度图像，通过第二传输模块获取传感器数据，并通过图像处理对输入图像进行处理获得特征描述子，然后将上述的特征描述子、深度图像及传感器数据发送至数据打包模块，数据打包模块获取到特征描述子、深度图像和传感器数据后，利用时戳产生模块为特征描述子、深度图像和传感器数据添加的第一时间标签、第二时间标签和第三时间标签，将上述数据对齐，然后将对齐后的数据包装后输出，以通过SLAM算法执行定位建图指令。在上述过程中，第一传输模块和图像处理模块处理了图像数据，第二传输模块处理了传感器数据，而数据打包模块和时戳产生模块将处理完成的特征描述子、深度图像和传感器数据对齐后打包输出，解决了多路数据传输时难以同步的问题，还简化了后续执行定位建图指令时，SLAM算法的计算复杂程度，减轻了SLAM算法执行时的计算负荷，降低上述各数据传输及计算的延时。
附图说明
图1为本发明实施例提供的定位建图优化方法的实现流程示意图；
图2为本发明实施例提供的定位建图优化装置的组成结构示意图；
图3为本发明实施例提供的定位建图优化芯片的组成结构示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
需要说明的是，在本文中，术语“包括”、“包含”或者任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
在本文中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身并没有特定的意义。因此，"模块"与"部件"可以混合地使用。
如图1所示，本发明实施例提供了一种定位建图优化方法，用于简化通过SLAM算法执行定位建图指令时的计算复杂程度，减少指令执行主体的计算负荷，其应用于第一传输模块、第二传输模块、图像处理模块、数据打包模块、时戳产生模块构成的定位建图优化芯片，包括但不限于如下步骤：
S101、响应于定位建图指令，调用所述第一传输模块获取输入图像和深度图像，同时调用所述第二传输模块获取传感器数据。
S102、将所述输入图像发送至所述图像处理模块，以使所述图像处理模块根据所述输入图像计算特征描述子。
S103、将所述特征描述子、所述深度图像和所述传感器数据发送至数据打包模块。
在上述步骤S101至步骤S103中，当将特征描述子、深度图像和传感器数据发送至数据打包模块时，特征描述子由图像处理模块输出，深度图像由第一传输模块输出，传感器数据由第二传输模块输出。
其中，第二传输模块获取到原始传感数据发送后，还对原始传感数据进行格式转换，方便数据传输和数据的统一处理。
在本发明实施例中，上述步骤S101中的调用第一传输模块获取输入图像和深度图像的实现方式可以为：
S10111、调用所述第一传输模块从双目彩色摄像头获取左眼彩色图像和右眼彩色图像，所述左眼彩色图像和所述右眼彩色图像均为所述输入图像；
S10112、调用所述第一传输模块从深度摄像头获取所述深度图像。
在本发明实施例中，上述步骤S101中的调用第二传输模块获取传感器数据，包括：
S10121、调用所述第二传输模块从九轴传感器中读取传感器数据。
其中，第二传输模块在九轴传感器中获取到的数据为原始传感数据，第二传输模块还对原始传感数据进行格式转换，获得上述的传感器数据，方便数据传输和数据的统一处理。
可见，输入图像应当包括左眼彩色图像和右眼彩色图像，则上述步骤S102中，将所述输入图像发送至所述图像处理模块，以使所述图像处理模块根据所述输入图像计算特征描述子的详细实现流程为：分别将所述左眼彩色图像和所述右眼彩色图像作为输入图像，分别发送至所述图像处理模块。
其中，图像处理模块根据所述输入图像计算特征描述子，包括：
S1021、对所述输入图像进行处理，获得N层处理图像和计算描述子；
S1022、计算第i层处理图像的像素的角点值；
S1023、根据所述角点值在第i层所述处理图像中筛选角点，获得基于N层所述处理图像的特征角点；
S1024、计算所述特征角点的角点方向，根据所述角点方向和所述计算描述子输出基于所述彩色图像的特征描述子。
在上述步骤S1021至步骤S1024中，由于分别将左眼彩色图像和右眼彩色图像作为输入图像，并分别发送至图像处理模块，因此，将获得基于左眼彩色图像的计算描述子和基于右眼图像的计算描述子，以及基于左眼彩色图像的N层处理图像、基于右眼彩色图像的N层处理图像，最终获得的基于输入图像的特征描述子，实际上则为基于左眼彩色图像特征描述子和基于右眼彩色图像的特征描述子。
在一个实施例中，上述步骤S1021中，对所述输入图像进行处理，获得N层处理图像和计算描述子的实现方式可以包括：
S10211、对所述输入图像进行滤波处理，获得所述计算描述子；
S10212、对所述输入图像进行N次图像插值处理，获得N层所述处理图像。
在具体应用中，假设输入图像为第一层处理图像，则对此输入图像做图像插值可以得到第二层处理图像，对第二层处理图像做图像插值可以得到第三层处理图像，以此类推，直到得到第N层处理图像，共N层处理图像。
在本发明实施例中，共产生八层处理图像。
在具体应用中，上述步骤S1022和步骤S1023所计算的像素多，则角点筛选的基础数目也比较大，因此，可以降低计算量，减少计算资源占用。
在一个实施例中，上述步骤S1022的计算第i层处理图像的像素的角点值之前，还可以包括：
遍历第i层所述处理图像的像素；
若第i层所述处理图像的像素满足角点条件，则计算第i层所述处理图像的像素的角点值。
S104、在所述数据打包模块中，调用所述时戳产生模块在所述特征描述子中添加第一时间标签，在所述深度图像中添加第二时间标签，在所述传感器数据中添加第三时间标签。
在上述步骤S104中，时戳产生模块在特征描述子中添加第一时间标签的依据为第一传输模块获取到彩色图像的时间，在深度图像中添加第二时间标签的依据为第一传输模块获取到深度图像的时间，在传感器数据中添加第三时间标签的依据为第二传输模块获取到传感器数据的时间。
S105、调用所述数据打包模块根据所述第一时间标签、所述第二时间标签和所述第三时间标签对齐所述特征描述子、所述深度图像和所述传感器数据，并将对齐的所述特征描述子、所述深度图像和所述传感器数据包装后输出，以通过SLAM算法执行所述定位建图指令。
在上述步骤S105中，数据打包模块将数据输出时，不仅需要将特征描述子、深度图像和传感器数据同步输出，在特征描述子、深度图像和传感器数据具有多组时，也将同一组的特征描述子、深度图像和传感器数据同步输出，因此，在一个实施例中，上述步骤S105包括：
S1051、检测对齐的所述特征描述子、所述深度图像和所述传感器数据的时间标签。
S1052、若所述时间标签之间存在差异，则根据所述第一时间标签、第二时间标签和第三时间标签仲裁输出顺序。
在实际应用中，定位建图优化芯片与主机连接，详细地，为数据打包模块和主机通过USB接口连接，因此，数据打包模块中，将对齐的特征描述子、深度图像和传感器数据包装为满足USB传输协议的数据格式后输出。
如图2所示，本发明实施例还提供一种定位建图优化装置20，应用于第一传输模块、第二传输模块、图像处理模块、数据打包模块、时戳产生模块构成的定位建图优化芯片，装置包括：
数据获取模块21，用于响应于定位建图指令，调用第一传输模块获取输入图像和深度图像，同时调用第二传输模块获取传感器数据；
特征描述子计算模块22，用于将输入图像发送至图像处理模块，以使图像处理模块根据输入图像计算特征描述子；
数据传输模块23，用于将特征描述子、深度图像和传感器数据发送至数据打包模块；
时间戳模块24，用于调用时戳产生模块在特征描述子中添加第一时间标签，在深度图像中添加第二时间标签，在传感器数据中添加第三时间标签；
数据输出模块25，用于调用数据打包模块根据第一时间标签、第二时间标签和第三时间标签对齐特征描述子、深度图像和传感器数据，并将对齐的特征描述子、深度图像和传感器数据包装后输出，以通过SLAM算法执行定位建图指令。
基于上述图1所示的定位建图优化方法和图2所示的定位建图优化装置，如图3所示，本发明实施例提供一种定位建图优化芯片30，包括第一传输模块31、第二传输模块32、图像处理模块33、数据打包模块34和时戳产生模块35。
其中，数据打包模块34分别与第一传输模块31、第二传输模块32、图像处理模块33、时戳产生模块35连接，第一传输模块31还与图像处理模块33连接，数据打包模块34还与外部USB连接。
在本发明实施例中，第一传输模块31与双目彩色摄像头和深度摄像头连接，第二传输模块32与九轴传感器连接。
其中，由于第二传输模块获取到原始传感数据，还对原始传感数据进行格式转换，因此，可以想到的是，第二传输模块32包括处理器单元和传感器连接单元，传感器连接单元与九轴传感器连接，获取九轴传感器中的原始传感数据，并将原始传感数据发送至处理器单元，通过处理器单元对原始传感数据进行格式转换，最终发送上述的传感器数据给数据打包模块34。
在本发明实施例中，第一传输模块31，用于获取输入图像和深度图像。
第二传输模块32，用于获取传感器数据。
图像处理模块33，用于根据输入图像计算特征描述子。
时戳产生模块34，用于在特征描述子中添加第一时间标签，在深度图像中添加第二时间标签，在传感器数据中添加第三时间标签。
数据打包模块35，用于根据第一时间标签、第二时间标签和第三时间标签对齐特征描述子、深度图像和传感器数据，并将对齐的特征描述子、深度图像和传感器数据包装后输出，以通过SLAM算法执行定位建图指令。
本发明实施例还提供一种终端设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现上述实施例中所述的定位建图优化方法中的各个步骤。
本发明实施例还提供一种存储介质，所述存储介质为计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现上述实施例中所述的定位建图优化方法中的各个步骤。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种定位建图优化方法，其特征在于，应用于第一传输模块、第二传输模块、图像处理模块、数据打包模块、时戳产生模块构成的定位建图优化芯片，方法包括：
响应于定位建图指令，调用所述第一传输模块获取输入图像和深度图像，同时调用所述第二传输模块获取传感器数据；
将所述输入图像发送至所述图像处理模块，以使所述图像处理模块根据所述输入图像计算特征描述子；
将所述特征描述子、所述深度图像和所述传感器数据发送至数据打包模块；
在所述数据打包模块中，调用所述时戳产生模块在所述特征描述子中添加第一时间标签，在所述深度图像中添加第二时间标签，在所述传感器数据中添加第三时间标签；
调用所述数据打包模块根据所述第一时间标签、所述第二时间标签和所述第三时间标签对齐所述特征描述子、所述深度图像和所述传感器数据，并将对齐的所述特征描述子、所述深度图像和所述传感器数据包装后输出，以通过SLAM算法执行所述定位建图指令。
2.如权利要求1所述的定位建图优化方法，其特征在于，调用所述第一传输模块获取输入图像和深度图像，包括：
调用所述第一传输模块从双目彩色摄像头获取左眼彩色图像和右眼彩色图像，所述左眼彩色图像和所述右眼彩色图像均为所述输入图像；
调用所述第一传输模块从深度摄像头获取所述深度图像。
3.如权利要求2所述的定位建图优化方法，其特征在于，将所述输入图像发送至所述图像处理模块，以使所述图像处理模块根据所述输入图像计算特征描述子，包括：
分别将所述左眼彩色图像和所述右眼彩色图像作为输入图像，分别发送至所述图像处理模块；
所述图像处理模块根据所述输入图像计算特征描述子，包括：
对所述输入图像进行处理，获得N层处理图像和计算描述子；
计算第i层处理图像的像素的角点值；
根据所述角点值在第i层所述处理图像中筛选角点，获得基于N层所述处理图像的特征角点，其中，N为正整数，i为小于N的正整数；
计算所述特征角点的角点方向，根据所述角点方向和所述计算描述子输出基于所述输入图像的特征描述子。
4.如权利要求3所述的定位建图优化方法，其特征在于，对所述输入图像进行处理，获得N层处理图像和计算描述子，包括：
对所述输入图像进行滤波处理，获得所述计算描述子；
对所述输入图像进行N次图像插值处理，获得N层所述处理图像。
5.如权利要求1所述的定位建图优化方法，其特征在于，所述调用第二传输模块获取传感器数据，包括：
调用所述第二传输模块从九轴传感器中读取传感器数据，并将所述传感器数据转换为预设格式的数据包。
6.如权利要求1所述的定位建图优化方法，其特征在于，调用所述数据打包模块将对齐的所述特征描述子、所述深度图像和所述传感器数据包装后输出，以通过SLAM算法执行所述定位建图指令之前，包括：
检测对齐的所述特征描述子、所述深度图像和所述传感器数据的时间标签；
若所述时间标签之间存在差异，则根据所述第一时间标签、第二时间标签和第三时间标签仲裁输出顺序。
7.一种定位建图优化装置，其特征在于，应用于第一传输模块、第二传输模块、图像处理模块、数据打包模块、时戳产生模块构成的定位建图优化芯片，装置包括：
数据获取模块，用于响应于定位建图指令，调用所述第一传输模块获取输入图像和深度图像，同时调用所述第二传输模块获取传感器数据；
特征描述子计算模块，用于将所述输入图像发送至所述图像处理模块，以使所述图像处理模块根据所述输入图像计算特征描述子；
数据传输模块，用于将所述特征描述子、所述深度图像和所述传感器数据发送至数据打包模块；
时间戳模块，用于在所述数据打包模块中，调用所述时戳产生模块在所述特征描述子中添加第一时间标签，在所述深度图像中添加第二时间标签，在所述传感器数据中添加第三时间标签；
数据输出模块，用于调用所述数据打包模块根据所述第一时间标签、所述第二时间标签和所述第三时间标签对齐所述特征描述子、所述深度图像和所述传感器数据，并将对齐的所述特征描述子、所述深度图像和所述传感器数据包装后输出，以通过SLAM算法执行所述定位建图指令。
8.一种定位建图优化芯片，其特征在于，包括第一传输模块、第二传输模块、图像处理模块、数据打包模块、时戳产生模块；
所述数据打包模块分别与所述第一传输模块、第二传输模块、图像处理模块、和时戳产生模块连接，所述第一传输模块还与所述图像处理模块连接，所述数据打包模块还与外部USB连接；
所述第一传输模块，用于获取输入图像和深度图像；
所述第二传输模块，用于获取传感器数据；
所述图像处理模块，用于根据所述输入图像计算特征描述子；
所述时戳产生模块，用于在所述特征描述子中添加第一时间标签，在所述深度图像中添加第二时间标签，在所述传感器数据中添加第三时间标签；
所述数据打包模块，用于根据所述第一时间标签、所述第二时间标签和所述第三时间标签对齐所述特征描述子、所述深度图像和所述传感器数据，并将对齐的所述特征描述子、所述深度图像和所述传感器数据包装后输出，以通过SLAM算法执行所述定位建图指令。
9.一种终端设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1至7任一项所述的定位建图优化方法中的各个步骤。
10.一种存储介质，所述存储介质为计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1至7任一项所述的定位建图优化方法中的各个步骤。
CN202010868069.1A 2020-08-25 2020-08-25 一种定位建图优化方法、装置及定位建图优化芯片 Active CN112000225B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010868069.1A CN112000225B (zh) 2020-08-25 2020-08-25 一种定位建图优化方法、装置及定位建图优化芯片

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010868069.1A CN112000225B (zh) 2020-08-25 2020-08-25 一种定位建图优化方法、装置及定位建图优化芯片

Publications (2)

Publication Number Publication Date
CN112000225A true CN112000225A (zh) 2020-11-27
CN112000225B CN112000225B (zh) 2021-06-25

Family

ID=73471940

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010868069.1A Active CN112000225B (zh) 2020-08-25 2020-08-25 一种定位建图优化方法、装置及定位建图优化芯片

Country Status (1)

Country Link
CN (1) CN112000225B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114199235A (zh) * 2021-11-29 2022-03-18 珠海一微半导体股份有限公司 一种基于扇面深度相机的定位系统及定位方法
CN117392518A (zh) * 2023-12-13 2024-01-12 南京耀宇视芯科技有限公司 一种低功耗的视觉定位和建图芯片及其方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103901774A (zh) * 2012-12-28 2014-07-02 联想(北京)有限公司 高效鲁棒的基于多传感器的slam协调方法及系统
CN104616243A (zh) * 2015-01-20 2015-05-13 北京大学 一种高效的gpu三维视频融合绘制方法
CN104717426A (zh) * 2015-02-28 2015-06-17 深圳市德赛微电子技术有限公司 一种基于外部传感器的多摄像机视频同步装置及方法
US20160131761A1 (en) * 2014-11-10 2016-05-12 Valve Corporation Positional tracking systems and methods
CN106546238A (zh) * 2016-10-26 2017-03-29 北京小鸟看看科技有限公司 可穿戴设备及在可穿戴设备中确定用户位移的方法
CN106898019A (zh) * 2017-02-21 2017-06-27 广西大学 基于尺度不变Harris特征的图像配准方法和装置
CN107004273A (zh) * 2014-12-12 2017-08-01 高通股份有限公司 用于彩色与深度视频的同步的方法、设备和媒体
CN107172320A (zh) * 2017-06-21 2017-09-15 成都理想境界科技有限公司 数据同步方法及摄像设备
CN108028902A (zh) * 2015-07-16 2018-05-11 博拉斯特运动有限公司 集成传感器和视频运动分析方法
CN109978931A (zh) * 2019-04-04 2019-07-05 北京悉见科技有限公司 三维场景重建方法及设备、存储介质
CN110517216A (zh) * 2019-08-30 2019-11-29 的卢技术有限公司 一种基于多类型相机的slam融合方法及其系统
CN111415388A (zh) * 2020-03-17 2020-07-14 Oppo广东移动通信有限公司 一种视觉定位方法及终端

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103901774A (zh) * 2012-12-28 2014-07-02 联想(北京)有限公司 高效鲁棒的基于多传感器的slam协调方法及系统
US20160131761A1 (en) * 2014-11-10 2016-05-12 Valve Corporation Positional tracking systems and methods
CN107004273A (zh) * 2014-12-12 2017-08-01 高通股份有限公司 用于彩色与深度视频的同步的方法、设备和媒体
CN104616243A (zh) * 2015-01-20 2015-05-13 北京大学 一种高效的gpu三维视频融合绘制方法
CN104717426A (zh) * 2015-02-28 2015-06-17 深圳市德赛微电子技术有限公司 一种基于外部传感器的多摄像机视频同步装置及方法
CN108028902A (zh) * 2015-07-16 2018-05-11 博拉斯特运动有限公司 集成传感器和视频运动分析方法
CN106546238A (zh) * 2016-10-26 2017-03-29 北京小鸟看看科技有限公司 可穿戴设备及在可穿戴设备中确定用户位移的方法
CN106898019A (zh) * 2017-02-21 2017-06-27 广西大学 基于尺度不变Harris特征的图像配准方法和装置
CN107172320A (zh) * 2017-06-21 2017-09-15 成都理想境界科技有限公司 数据同步方法及摄像设备
CN109978931A (zh) * 2019-04-04 2019-07-05 北京悉见科技有限公司 三维场景重建方法及设备、存储介质
CN110517216A (zh) * 2019-08-30 2019-11-29 的卢技术有限公司 一种基于多类型相机的slam融合方法及其系统
CN111415388A (zh) * 2020-03-17 2020-07-14 Oppo广东移动通信有限公司 一种视觉定位方法及终端

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
蒋树强: ""面向智能交互的图像识别技术综述与展望"", 《计算机研究与发展》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114199235A (zh) * 2021-11-29 2022-03-18 珠海一微半导体股份有限公司 一种基于扇面深度相机的定位系统及定位方法
CN114199235B (zh) * 2021-11-29 2023-11-03 珠海一微半导体股份有限公司 一种基于扇面深度相机的定位系统及定位方法
CN117392518A (zh) * 2023-12-13 2024-01-12 南京耀宇视芯科技有限公司 一种低功耗的视觉定位和建图芯片及其方法
CN117392518B (zh) * 2023-12-13 2024-04-09 南京耀宇视芯科技有限公司 一种低功耗的视觉定位和建图芯片及其方法

Also Published As

Publication number Publication date
CN112000225B (zh) 2021-06-25

Similar Documents

Publication Publication Date Title
US11429852B2 (en) Convolution acceleration and computing processing method and apparatus, electronic device, and storage medium
CN112000225B (zh) 一种定位建图优化方法、装置及定位建图优化芯片
CN101295206B (zh) 用于立体观察的系统
CN104820418B (zh) 一种针对机械臂的嵌入式视觉系统及其使用方法
CN108228309B (zh) 基于虚拟机的数据包发送和接收方法及装置
CN102402413A (zh) 和影像传感器通讯的电子系统、控制器及控制方法
CN108563517A (zh) 系统接口的调用方法及装置
CN109634751B (zh) 一种利用electron框架实现应用层和底层通信的方法
CN111191582B (zh) 三维目标检测方法、检测装置、终端设备及计算机可读存储介质
US10810024B2 (en) Redirection method and apparatus, and system
KR20220079978A (ko) 보정 방법 및 장치, 프로세서, 전자 기기, 저장 매체
CN107220208A (zh) 一种图像处理系统及方法
WO2021083031A1 (zh) 一种时延误差校正方法、终端设备、服务器及存储介质
CN114002701A (zh) 一种实时渲染点云的方法、装置、电子设备及系统
CN102880454A (zh) 医学三维模型的网页显示的方法及其系统
CN114399035A (zh) 搬运数据的方法、直接存储器访问装置以及计算机系统
CN111324395B (zh) 调用方法、装置和计算机可读存储介质
CN116048668B (zh) 基于web操作系统的应用插件通信系统
CN112711984B (zh) 注视点定位方法、装置和电子设备
CN112235411B (zh) 基于ai的rpa流程控制端的服务器通信方法、装置、设备及介质
CN113242398A (zh) 一种三维标注的音视频通话方法和系统
CN114399034B (zh) 用于直接存储器访问装置的数据搬运方法
CN106375750B (zh) 一种影像显示方法及显示装置
CN115391019B (zh) 数据采集方法、装置、可读存储介质与芯片
CN113191934A (zh) 一种向上层引擎提供骨骼点数据的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant