CN113160270A - 视觉地图生成方法、装置、终端及存储介质 - Google Patents

视觉地图生成方法、装置、终端及存储介质 Download PDF

Info

Publication number
CN113160270A
CN113160270A CN202110205579.5A CN202110205579A CN113160270A CN 113160270 A CN113160270 A CN 113160270A CN 202110205579 A CN202110205579 A CN 202110205579A CN 113160270 A CN113160270 A CN 113160270A
Authority
CN
China
Prior art keywords
information
image frame
key image
acquiring
terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110205579.5A
Other languages
English (en)
Inventor
刘毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Shiyuan Electronics Thecnology Co Ltd
Original Assignee
Guangzhou Shiyuan Electronics Thecnology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Shiyuan Electronics Thecnology Co Ltd filed Critical Guangzhou Shiyuan Electronics Thecnology Co Ltd
Priority to CN202110205579.5A priority Critical patent/CN113160270A/zh
Publication of CN113160270A publication Critical patent/CN113160270A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Remote Sensing (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请属于终端技术领域，具体而言，涉及一种视觉地图生成方法、装置、终端及存储介质。一种视觉地图生成方法，应用于具有双目摄像头的终端，所述方法包括：获取所述双目摄像头采集的目标区域的图像；获取所述图像中的关键图像帧，获取每帧所述关键图像帧的特征点；基于所述关键图像帧的约束信息和所述特征点的参数表达式信息，生成所述目标区域对应的视觉地图。采用本申请可以提高视觉地图生成的准确性。

Description

视觉地图生成方法、装置、终端及存储介质
技术领域
本申请属于终端技术领域，具体而言，涉及一种视觉地图生成方法、装置、终端及存储介质。
背景技术
随着终端技术的不断发展，终端支持的功能也越来越多。在基于构建视觉地图领域中，如何提高视觉地图构建的准确性成为用户关注的焦点。终端可以使用单目或者双目相机采集目标场景的图像数据。终端可以以采集到的视频流或者图片作为输入数据，使用视觉SLAM(Simultaneous Localization and Mapping，同步定位与地图构建)技术或者SFM(Structure From Motion，运动恢复结构)算法构建目标场景的视觉地图。
发明内容
本申请实施例提供一种视觉地图生成方法、装置、终端及存储介质，可以提高视觉地图生成的准确性。本申请实施例的技术方案如下：
第一方面，本申请实施例提供一种视觉地图生成方法，应用于具有双目摄像头的终端，所述方法包括：
获取所述双目摄像头采集的目标区域的图像；
获取所述图像中的关键图像帧，获取每帧所述关键图像帧的特征点；
基于所述关键图像帧的约束信息和所述特征点的参数表达式信息，生成所述目标区域对应的视觉地图。
第二方面，本申请实施例提供一种视觉地图生成装置，所述装置包括：
图像获取单元，用于获取所述双目摄像头采集的目标区域的图像；
特征点获取单元，用于获取所述图像中的关键图像帧，获取每帧所述关键图像帧的特征点；
地图生成单元，用于基于所述关键图像帧的约束信息和所述特征点的参数表达式信息，生成所述目标区域对应的视觉地图。
第三方面，一种终端，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面任一项所述的方法。
第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一项所述的方法。
第五方面，本申请实施例提供一种计算机程序产品，其中，上述计算机程序产品包括存储计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
本申请一些实施例提供的技术方案带来的有益效果至少包括：
在本申请一个或多个实施例中，通过获取双目摄像头采集的目标区域的图像，获取图像中的关键图像帧和获取每帧关键图像帧的特征点，并基于关键图像帧的约束信息和特征点的参数表达式信息，生成目标区域对应的视觉地图。因此终端可以在目标区域的纹理区分度较低时，可以基于关键图像帧的约束信息和特征点的参数表达式信息生成目标区域的视觉地图，减少仅基于视觉信息导致生成的目标区域的视觉地图的准确性较低的情况，可以提高视觉地图生成的准确性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出应用于本申请实施例的一种视觉地图生成方法的背景示意图；
图2示出应用于本申请实施例的一种视觉地图生成方法的光束调整因子效果图示意图；
图3示出应用于本申请实施例的一种视觉地图生成方法的系统架构图；
图4示出本申请实施例的一种视觉地图生成方法的流程示意图；
图5示出本申请实施例的一种视觉地图生成方法的流程示意图；
图6示出本申请实施例的一种视觉地图生成方法的流程示意图；
图7示出本申请实施例的一种视觉地图生成方法的流程示意图；
图8示出本申请实施例的一种视觉地图生成方法的光束调整因子效果图示意图；
图9示出本申请实施例的一种双目摄像头采集的图像的举例示意图；
图10示出本申请实施例的一种视觉地图的举例示意图；
图11示出本申请实施例的一种视觉地图的举例示意图；
图12示出本申请实施例的一种双目摄像头采集的图像的举例示意图；
图13示出本申请实施例的一种视觉地图的举例示意图；
图14示出本申请实施例的一种视觉地图的举例示意图；
图15示出本申请实施例的一种视觉地图生成装置的结构示意图；
图16示出本申请实施例的一种视觉地图生成装置的结构示意图；
图17示出本申请实施例的一种视觉地图生成装置的结构示意图；
图18示出本申请实施例的一种视觉地图生成装置的结构示意图；
图19示出本申请实施例的一种视觉地图生成装置的结构示意图；
图20示出本申请实施例的一种终端的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅为本申请实施例的一部分，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。在本申请的描述中，需要说明的是，除非另有明确的规定和限定，“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。此外，在本申请的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
随着科学技术的发展，视觉地图的构建受到越来越多的关注。图1示出应用于本申请实施例的一种视觉地图生成方法的背景示意图。如图1所示，在地图构建领域中，终端可以获取不同图像帧大量的特征点。通过对不同图像帧中相同的特征点的匹配，终端可以得到与各图像帧对应的特征轨迹。例如终端通过相邻图像帧的2D-2D匹配可以的可以得到与各图像帧对应的特征轨迹。通过特征轨迹推算出摄像头的运动状态，然后基于特征点的位置信息和摄像头的运动状态，终端可以获取到特征点的三维坐标，进而可以得到对应的一系列三维点。基于得到的三维点，终端可以构成的三维空间图像，即终端可以构建目标区域的视觉地图的雏形。终端可以构建目标区域的视觉地图的雏形时，终端还可以用刚过词汇树检测是否出现闭环。终端得到三维空间图像时，终端可以通过闭环来优化位姿和合并相似的三维点，再进行全局位姿和三维点联合优化，即可得到目标区域的视觉地图。图1所示的技术方案得到的光束调整因子效果图可以如图2所示。
易于理解的是，图1所示的技术方案中仅单纯的依赖于视觉信息构建视觉地图。当目标区域中存在纹理区分度较低的场景时，无法提取到太多的特征点，采用图1所示的技术方案即仅基于视觉信息构建视觉地图，会出现建立的视觉地图的准确性较低的问题。例如，目标区域为室内，对该室内进行视觉地图构建时，由于白墙或者玻璃的纹理区分度较低，无法对白墙或者玻璃提取出较多的特征点，因此，终端对该室内建立的视觉地图的准确性较低。
根据一些实施例，图3示出应用于本申请实施例的一种视觉地图生成方法的系统架构图。如图3所示，本申请实施例的执行主体是终端，该终端具有双目摄像头的终端，该终端包括但不限于：机器人、可穿戴设备、手持设备、个人电脑、平板电脑、车载设备、智能手机、计算设备或连接到无线调制解调器的其它处理设备等。在不同的网络中终端设备可以叫做不同的名称，例如：电子设备、用户设备、接入终端、用户单元、用户站、移动站、移动台、远方站、远程终端、移动设备、用户终端、终端、无线通信设备、用户代理或用户装置、蜂窝电话、无绳电话、个人数字处理(personal digital assistant，PDA)、第五代移动通信技术(5th generation mobile networks，5G)网络或未来演进网络中的终端设备等。终端上设置可以运行在终端上的操作系统，是管理和控制终端硬件和终端应用的程序，是终端不可或缺的系统应用。该操作系统包括担不限于安卓Android系统、IOS系统、Windows phone(WP)系统和Ubuntu移动版操作系统等。
本申请中的终端10包括双目摄像头100和处理器200，终端10通过获取双目摄像头100采集的目标区域的图像，终端的处理器200可以获取图像中的关键图像帧和获取每帧关键图像帧的特征点。在获取到图像中的关键图像帧和获取每帧关键图像帧的特征点时，终端的处理器200可以获取关键图像帧的约束信息和特征点的参数表达式信息。终端的处理器200可以基于关键图像帧的约束信息和特征点的参数表达式信息生成目标区域对应的视觉地图。因此终端可以在目标区域的纹理区分度较低时，可以基于少量的特征点、关键图像帧的约束信息和特征点的参数表达式信息生成目标区域的视觉地图，减少仅基于视觉信息导致生成的目标区域的视觉地图的准确性较低的情况，可以提高视觉地图生成的准确性。
下面结合具体的实施例对本申请进行详细说明。
在一个实施例中，如图4所示，提出了一种视觉地图生成方法，该方法可依赖于计算机程序实现，可运行于基于具有双目摄像头的终端上。该计算机程序可集成在应用中，也可作为独立的工具类应用运行。
具体的，该视觉地图生成方法包括：
S101，获取双目摄像头采集的目标区域的图像；
根据一些实施例，本申请实施例的执行主体为终端，该终端为具有双目摄像头的终端。双目摄像头是指两个平行放置的摄像头，可以模拟人眼工作，因此这两个平行放置的摄像头拍摄到的图像可以认为是人眼看到的视野范围内的景象。
易于理解的是，目标区域是指图像对应的区域，该目标区域并不特指某一固定区域。该目标区域例如可以是基于用户输入的区域更改指令进行更改，还可以基于终端设置的区域更改方式进行更改。用户输入的区域更改指令包括但不限于语音更改指令、点击更改指令、定时更改指令等。终端设置的区域更改方式包括但不限于定时更改方式、在上一区域的视觉地图生成时更改目标区域的方式、在检测到进入未知区域时将该未知区域确定为目标区域的方式等等。
根据一些实施例，当终端生成目标区域的视觉地图时，终端可以获取双目摄像头采集的目标区域的图像。其中，该图像可以是终端直接控制摄像头采集得到的，还可以是终端预先控制摄像头采集得到图像，该图像例如可以存储在终端的存储器中。
易于理解的是，该图像可以包括多帧图像帧。多帧图像帧例如可以是包括目标区域中不同特征点的图像帧。多帧图像帧还可以是具有重复特征点的图像帧。终端获取双目摄像头采集的图像例如可以是A图像帧、B图像帧、C图像帧、D图像帧、E图像帧和F图像帧。
S102，获取图像中的关键图像帧，获取每帧关键图像帧的特征点；
根据一些实施例，关键图像帧是指图像中用于生成视觉地图的图像帧。该关键图像帧并不特指某一个固定关键图像帧。例如当目标区域发生变化时，该关键图像帧也会相应变化。当终端获取图像中的关键图像帧的方法发生变化时，该关键图像帧也会相应变换。
易于理解的是，关键图像帧的特征点是指每帧关键图像帧上的特征点，该特征点可以用于表示每帧关键图像帧所包括的对象。该对象为目标区域中的存在的对象。其中，每帧关键图像帧的特征点的数量为至少一个。该特征点并不特指某一固定特征点，当关键图像帧发生变化时，该特征点也会相应变化。当终端获取到的图像发生变化时，该特征点也会相应变化。当目标区域发生变化时，该特征点也会相应变化。
根据一些实施例，当终端获取到双目摄像头采集的目标区域的图像时，终端可以获取图像中的关键图像帧。例如终端可以采用图像识别算法对双目摄像头采集的目标区域的图像进行识别得到关键图像帧。该关键图像帧的数量至少为一个。例如终端获取双目摄像头采集Q目标区域的图像例如可以是A图像帧、B图像帧、C图像帧、D图像帧、E图像帧和F图像帧。终端采用图像识别算法得到的图像中的关键图像帧例如可以是A图像帧、B图像帧、C图像帧和D图像帧。
易于理解的是，当终端获取到图像中的关键图像帧时，终端可以获取每帧关键图像帧的特征点。例如终端获取到的图像中的关键图像帧例如可以是A图像帧、B图像帧、C图像帧和D图像帧。终端获取到A图像帧的特征点例如可以是a1特征点、a2特征点和a3特征点；B图像帧的特征点例如可以是a1特征点、a4特征点和a5特征点；C图像帧的特征点例如可以是a3特征点、a2特征点和a6特征点和D图像帧的特征点例如可以是a6特征点、a4特征点和a5特征点。
S103，基于关键图像帧的约束信息和特征点的参数表达式信息，生成目标区域对应的视觉地图。
根据一些实施例，约束信息是指关键图像帧的约束信息。该约束信息并不特指某一固定约束信息，该约束信息可以基于关键图像帧的数量信息确定，该约束信息还可以基于终端基于预先设置的约束算法得到的。当关键图像帧发生变化时，该约束信息也会相应变化。参数表达式信息用于表示特征点的参数化表达形式。
可选的，视觉地图是指终端从图像中恢复场景结构得到的针对目标区域的地图。该视觉地图并不特指某一固定视觉地图。当目标区域发生变化时，该视觉地图也会相应变化。
根据一些实施例，终端获取到图像中的关键图像帧和获取到每帧关键图像帧的特征点时，终端可以获取关键图像帧的约束信息和特征点的参数表达式信息。当终端获取到关键图像帧的约束信息和特征点的参数表达式信息时，终端可以生成目标区域对应的视觉地图。
易于理解的是，例如终端获取到Q目标区域的图像中的关键图像帧例如可以是A图像帧、B图像帧、C图像帧和D图像帧。终端获取到A图像帧的特征点例如可以是a1特征点、a2特征点和a3特征点；B图像帧的特征点例如可以是a1特征点、a4特征点和a5特征点；C图像帧的特征点例如可以是a3特征点、a2特征点和a6特征点和D图像帧的特征点例如可以是a6特征点、a4特征点和a5特征点。终端可以获取A图像帧、B图像帧、C图像帧和D图像帧的约束信息和每帧关键图像帧上特征点的参数表达式信息。基于A图像帧、B图像帧、C图像帧和D图像帧的约束信息和每帧关键图像帧上特征点的参数表达式信息，终端可以生成Q目标区域的视觉地图。
在本申请一个或多个实施例中，通过获取双目摄像头采集的目标区域的图像，获取图像中的关键图像帧和获取每帧关键图像帧的特征点，并基于关键图像帧的约束信息和特征点的参数表达式信息，生成目标区域对应的视觉地图。因此终端可以在目标区域的纹理区分度较低时，可以基于关键图像帧的约束信息和特征点的参数表达式信息生成目标区域的视觉地图，减少仅基于视觉信息导致生成的目标区域的视觉地图的准确性较低的情况，可以提高视觉地图生成的准确性。
请参见图5，为本申请实施例提供了一种视觉地图生成方法的流程示意图。如图5所示，该方法包括以下步骤S201-S209。
S201，对双目摄像头的时间信息进行标定并同步；
根据一些实施例，时间信息是指双目摄像头的时间，该时间信息可以用于表示采集目标区域的图像的采集时间。当终端获取双目摄像头采集的目标区域的图像之前，终端可以对双目摄像头的时间信息进行标定并同步，使得双目摄像头的时间信息保持一致，可以提高目标区域图像获取的准确性，进而可以提高视觉地图生成的准确性。
易于理解的是，当终端对双目摄像头的时间信息进行标定和同步时，终端可以获取当前绝对时间信息，该当前绝对时间例如可以是UNIX(Unix epoch)时间戳，即该当前时刻距UNIX时间基准1970年7月1日00:00:00的相对时间，精确到秒。终端获取到的双目摄像头中第一摄像头的时间信息例如可以是2020年5月15日12:00:00和第二摄像头的时间信息例如可以是2020年5月15日12:00:05。当终端获取到的而当前绝对时间为2020年5月15日12:00:02时，可以对第一摄像头的时间信息和第二摄像头的时间信息进行标定，并将第一摄像头的时间信息和第二摄像头的时间信息同步为2020年5月15日12:00:02。
可选的，当终端对双目摄像头的时间信息进行标定和同步时，终端可以基于双目摄像头中第一摄像头的时间信息对第二摄像头的时间信息进行标定，并将第二摄像头的时间信息同步为第一摄像头的时间信息。例如终端获取到的双目摄像头中第一摄像头的时间信息例如可以是2020年5月15日12:00:00和第二摄像头的时间信息例如可以是2020年5月15日12:00:05。终端可以将第二摄像头的时间信息2020年5月15日12:00:05同步为第一摄像头的时间信息2020年5月15日12:00:00。
S202，获取双目摄像头采集的目标区域的图像；
S203，获取采样间隔时长；
根据一些实施例，采样间隔时长是指终端获取关键图像帧的间隔时长。该采样间隔时长并不特指某一固定时长。该采样间隔时长例如可以基于用户的时长修改指令进行修改。该时长修改指令包括但不限于语音时长修改指令、点击时长修改指令、定时时长修改指令、区域时长修改指令等等。区域时长修改指令即不同的区域对应不同的采样间隔时长。
易于理解的是，当终端获取到双目摄像头采集的目标区域的图像时，终端可以获取采样间隔时长。终端获取到的采样间隔时长例如可以是1s。
S204，基于采样间隔时长，获取图像中的关键图像帧；
根据一些实施例，当终端获取到双目摄像头采集的目标区域的图像和采样间隔时长时，终端可以基于采样间隔时长，获取图像中的关键图像帧。终端基于采样间隔时长获取图像中的关键图像帧可以减少图像在终端存储空间的占用率，可以节约存储空间。
易于理解的是，终端获取到的采样间隔时长例如可以是1s。当终端获取到双目摄像头采集的目标区域的图像时，终端可以基于该采样间隔时长1s，获取图像中的关键图像帧。终端获取到的关键图像帧例如可以是A图像帧、B图像帧、C图像帧和D图像帧。
S205，获取图像中的关键图像帧，获取每帧关键图像帧的特征点；
S206，获取关键图像帧的约束信息；
根据一些实施例，约束信息用于约束关键图像帧。约束信息包括第一约束信息和第二约束信息，第一约束信息为相邻两帧关键图像帧的相对姿态约束信息，第二约束信息为一帧关键图像帧的roll-pitch约束信息。
易于理解的是，当终端获取图像中的关键图像帧之后，终端可以获取关键图像帧的约束信息。例如终端可以相邻两帧关键图像帧的相对姿态约束信息和一帧关键图像帧的roll-pitch约束信息。终端获取到关键图像帧的约束信息例如可以是公式(1)。
Figure BDA0002950382110000091
其中，Efs表示关键图像帧的约束信息；
rij表示关于i时刻与j时刻姿态的相对姿态约束；
ri表示关键帧姿态的roll-pitch约束；
手写体的
Figure BDA0002950382110000092
表示观测上存在关联的两张关键帧构成的组合；
Figure BDA0002950382110000093
表示单张关键帧构成的集合；
rij表示相对关键帧之间的相对姿态约束rrel；
ri表示单张关键帧的roll-pitch约束rrp；
Hij和Hi表示这些约束的协方差矩阵。。
S207，获取特征点的视觉因子；
根据一些实施例，当终端获取到每帧关键图像帧的特征点时，终端可以获取特征点的视觉因子。该视觉因子用于获取该特征点的参数表达式信息。
根据一些实施例，图6示出本申请实施例的一种视觉地图生成方法的流程示意图。如图6所示，本申请实施例的所述方法获取特征点的视觉因子可以包括以下步骤S301-步骤S304。S301，获取当前关键图像帧上特征点的坐标信息；S302，获取特征点相对于初始关键图像帧的深度信息；S303，获取初始关键图像帧的第一姿态信息和当前关键图像帧的第二姿态信息；S304，基于坐标信息、深度信息、第一姿态信息和第二姿态信息，生成特征点的视觉因子。
根据一些实施例，当终端获取特征点的视觉因子时，终端可以获取当前关键帧上特征点的坐标信息。终端还可以获取该特征点相对于初始关键图像帧的深度信息。终端还可以获取初始关键图像帧的第一姿态信息和当前关键图像帧的第二姿态信息。其中，坐标信息为特征点在初始关键图像帧上的平面坐标信息，初始关键图像帧为第一次观测特征点的图像帧。
可选的，第一姿态信息用于表示初始关键图像帧的姿态，该第一姿态信息并不特指某一固定姿态信息。当初始关键图像帧发生变化或者初始关键帧的姿态发生变化时，该第一姿态信息都会相应变化。该第二姿态信息并不特指某一固定姿态信息。当当前关键图像帧发生变化或者当前关键帧的姿态发生变化时，该第二姿态信息都会相应变化。
易于理解的是，终端获取当前关键图像帧上特征点的坐标信息、获取特征点相对于初始关键图像帧的深度信息和获取初始关键图像帧的第一姿态信息和当前关键图像帧的第二姿态信息的先后顺序不作限定。例如终端可以先获取当前关键图像帧上特征点的坐标信息、再获取特征点相对于初始关键图像帧的深度信息，最后获取初始关键图像帧的第一姿态信息和当前关键图像帧的第二姿态信息。终端还可以先获取特征点相对于初始关键图像帧的深度信息、再获取当前关键图像帧上特征点的坐标信息，最后获取初始关键图像帧的第一姿态信息和当前关键图像帧的第二姿态信息。
根据一些实施例，当终端获取到当前关键图像帧上特征点的坐标信息、特征点相对于初始关键图像帧的深度信息以及初始关键图像帧的第一姿态信息和当前关键图像帧的第二姿态信息时，终端可以基于坐标信息、深度信息、第一姿态信息和第二姿态信息，生成特征点的视觉因子。终端生成的视觉因子可以如公式(2)所示。
Figure BDA0002950382110000101
其中，(u,v)表示特征点在初始关键图像帧上，所观测的图像平面坐标信息；
d表示特征点相对于初始关键图像帧的深度信息；
Th是表示初始关键图像帧的第一姿态信息；
Tt表示当前关键图像帧的第二姿态信息；
zit表示从当前关键图像帧的第二姿态信息中计算出来的观测。
易于理解的是，例如终端获取到的图像中的关键图像帧例如可以是A图像帧、B图像帧、C图像帧和D图像帧。终端获取到A图像帧的特征点例如可以是a1特征点、a2特征点和a3特征点；B图像帧的特征点例如可以是a1特征点、a4特征点和a5特征点；C图像帧的特征点例如可以是a3特征点、a2特征点和a6特征点和D图像帧的特征点例如可以是a6特征点、a4特征点和a5特征点。终端获取B图像帧上a1特征点的视觉因子时，终端可以获取a1特征点在A图像帧上的坐标信息、a1特征点相对于A图像帧的深度信息、A图像帧的第一姿态信息和B图像帧的第二姿态信息。终端可以基于a1特征点在A图像帧上的坐标信息、a1特征点相对于A图像帧的深度信息、A图像帧的第一姿态信息和B图像帧的第二姿态信息生成a1特征点的视觉因子。
根据一些实施例，图7示出本申请实施例的一种视觉地图生成方法的流程示意图。如图7所示，本申请实施例的所述方法获取当前关键图像帧上特征点的坐标信息可以包括以下步骤S401-步骤S402。S401，获取当前关键图像帧上特征点的通用极球面投影信息；S402，基于通用极球面投影信息，计算特征点的坐标信息。
根据一些实施例，当终端获取当前关键图像帧上特征点的坐标信息时，终端可以获取当前关键帧上特征点的通用极球面投影信息。当终端获取到通用极球面投影信息时，终端可以基于通用极球面投影信息，计算特征点的坐标信息。由于逆深度的参数化形式不考虑bearing vector的误差，会选择固定的bearing vector，出现特征点的参数表达式信息不准确的情况。因此，终端基于通用极球面投影信息，计算特征点的坐标信息，可以提高特征点的参数表达式信息获取的准确性，可以提高视觉地图生成的准确性。
易于理解的是，终端可以采用公式(3)计算特征点的坐标信息。
Figure BDA0002950382110000111
其中，
Figure BDA0002950382110000112
对应一个物理世界的点，小写的是bearing vector。
S208，基于特征点的视觉因子，生成特征点的参数表达式信息；
根据一些实施例，参数表达式信息用于表示特征点的参数化表达形式。该参数表达式信息例如可以是stereographic参数化形式信息。当终端获取到特征点的视觉因子时，终端可以基于特征点的视觉因子，生成特征点的参数表达式信息。例如，终端获取到特征点的视觉因子为公式(2)时，终端基于该特征点的视觉因子生成的特征点的参数表达式信息可以如公式(4)所示。
Figure BDA0002950382110000113
S209，基于关键图像帧的约束信息和特征点的参数表达式信息，生成目标区域对应的视觉地图。
具体过程如上所述，此处不再赘述。
根据一些实施例，当终端获取到关键图像帧的约束信息和特征点的参数表达式信息时，终端可以生成目标函数。当终端生成目标函数时，终端可以基于该目标函数，生成目标区域的视觉地图。终端采用本技术方案的光束调整因子效果图可以如图8所示。例如，终端获取到的关键图像帧的约束信息例如可以是
Figure BDA0002950382110000121
Figure BDA0002950382110000122
终端获取到的特征点的参数表达式信息例如可以是
Figure BDA0002950382110000123
终端生成的目标区域的目标函数例如可以如公式(5)所示。
Figure BDA0002950382110000124
易于理解的是，终端在生成办公室1的视觉地图时，终端获取的双目摄像头采集的图像例如可以如图9所示。终端没有采用本技术方案生成的办公室1的视觉地图可以如图10所示，终端采用本技术方案生成的办公室1的视觉地图可以如图11所示。如图10所示，生成的办公室1的视觉地图较为散乱，生成的办公室1的视觉地图的准确性较低。如图11所示，终端采用本技术方案生成的办公室1的视觉地图较为规整，生成的办公室1的视觉地图的准确性较高。
可选的，终端在生成办公室2的视觉地图时，终端获取的双目摄像头采集的图像例如可以如图12所示。终端没有采用本技术方案生成的办公室2的视觉地图可以如图13所示，终端采用本技术方案生成的办公室2的视觉地图可以如图14所示。如图13所示，生成的办公室2的视觉地图中存在多个散点，生成的办公室2的视觉地图的准确性较低。如图14所示，终端采用本技术方案生成的办公室2的视觉地图较为规整，生成的办公室2的视觉地图的准确性较高。
在本申请一个或多个实施例中，对双目摄像头的时间信息进行标定并同步，使得双目摄像头的时间信息保持一致，可以提高目标区域图像获取的准确性，进而可以提高视觉地图生成的准确性。其次，终端通过获取采样间隔时长，可以基于采样间隔时长，获取图像中的关键图像帧，可以减少图像在终端存储空间的占用率，可以节约存储空间。另外，通过获取关键图像帧的约束信息，并基于特征点的视觉因子，生成特征点的参数表达式信息，可以生成目标区域的视觉地图，减少仅基于视觉信息导致生成的目标区域的视觉地图的准确性较低的情况，可以提高视觉地图生成的准确性。
下面将结合附图15-19，对本申请实施例提供的视觉地图生成装置进行详细介绍。需要说明的是，附图15-19所示的视觉地图生成装置，用于执行本申请图4-图14所示实施例的方法，为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，请参照本申请图4-图14所示的实施例。
请参见图15，其示出本申请实施例的视觉地图生成装置的结构示意图。该视觉地图生成装置1500可以通过软件、硬件或者两者的结合实现成为用户终端的全部或一部分。
根据一些实施例，该视觉地图生成装置1500包括图像获取单元1501、特征点获取单元1502和地图生成单元1503，具体用于：
图像获取单元1501，用于获取双目摄像头采集的目标区域的图像；
特征点获取单元1502，用于获取图像中的关键图像帧，获取每帧关键图像帧的特征点；
地图生成单元1503，用于基于关键图像帧的约束信息和特征点的参数表达式信息，生成目标区域对应的视觉地图。
根据一些实施例，图16示出本申请实施例的一种视觉地图生成装置的结构示意图。该视觉地图生成装置1500还包括信息获取单元1504，用于基于关键图像帧的约束信息和特征点的参数表达式信息，生成目标区域对应的视觉地图之前，获取关键图像帧的约束信息；约束信息包括第一约束信息和第二约束信息，第一约束信息为相邻两帧关键图像帧的相对姿态约束信息，第二约束信息为一帧关键图像帧的roll-pitch约束信息。
根据一些实施例，图17示出本申请实施例的一种视觉地图生成装置的结构示意图。该视觉地图生成装置1500还包括信息生成单元1505，用于基于关键图像帧的约束信息和特征点的参数表达式信息，生成目标区域对应的视觉地图之前，获取特征点的视觉因子；
基于特征点的视觉因子，生成特征点的参数表达式信息。
根据一些实施例，图18示出本申请实施例的一种视觉地图生成装置的结构示意图。信息生成单元1505包括坐标信息获取子单元1515、深度信息获取子单元1525、姿态信息获取子单元1535和视觉因子生成子单元1545，用于获取特征点的视觉因子时，具体用于：
坐标信息获取子单元1515，用于获取当前关键图像帧上特征点的坐标信息；坐标信息为特征点在初始关键图像帧上的平面坐标信息，初始关键图像帧为第一次观测特征点的图像帧；
深度信息获取子单元1525，用于获取特征点相对于初始关键图像帧的深度信息；
姿态信息获取子单元1535，用于获取初始关键图像帧的第一姿态信息和当前关键图像帧的第二姿态信息；
视觉因子生成子单元1545，用于基于坐标信息、深度信息、第一姿态信息和第二姿态信息，生成特征点的视觉因子。
根据一些实施例，坐标信息获取子单元1515，用于获取当前关键图像帧上特征点的坐标信息时：
获取当前关键图像帧上特征点的通用极球面投影信息；
基于通用极球面投影信息，计算特征点的坐标信息。
根据一些实施例，特征点获取单元1502，用于获取图像中的关键图像帧时，具体用于：
获取采样间隔时长；
基于采样间隔时长，获取图像中的关键图像帧。
根据一些实施例，19示出本申请实施例的一种视觉地图生成装置的结构示意图。该视觉地图生成装置1500还包括信息标定单元1506，用于获取双目摄像头采集的目标区域的图像之前，对双目摄像头的时间信息进行标定并同步。
在本申请一个或多个实施例中，通过获取双目摄像头采集的目标区域的图像，获取图像中的关键图像帧和获取每帧关键图像帧的特征点，并基于关键图像帧的约束信息和特征点的参数表达式信息，生成目标区域对应的视觉地图。因此视觉地图生成装置可以在目标区域的纹理区分度较低时，可以基于关键图像帧的约束信息和特征点的参数表达式信息生成目标区域的视觉地图，减少仅基于视觉信息导致生成的目标区域的视觉地图的准确性较低的情况，可以提高视觉地图生成的准确性。
请参见图20，为本申请实施例提供的一种终端的结构示意图。如图20所示，所述终端2000可以包括：至少一个处理器2001，至少一个网络接口2004，用户接口2003，存储器2005，至少一个通信总线2002。
其中，通信总线2002用于实现这些组件之间的连接通信。
其中，用户接口2003可以包括双目摄像头，可选用户接口2003还可以包括标准的有线接口、无线接口。
其中，网络接口2004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。
其中，处理器2001可以包括一个或者多个处理核心。处理器2001利用各种借口和线路连接整个终端2000内的各个部分，通过运行或执行存储在存储器2005内的指令、程序、代码集或指令集，以及调用存储在存储器2005内的数据，执行终端2000的各种功能和处理数据。可选的，处理器2001可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现。处理器2001可集成中央处理器(Central Processing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器2001中，单独通过一块芯片进行实现。
其中，存储器2005可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。可选的，该存储器2005包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器2005可用于存储指令、程序、代码、代码集或指令集。存储器2005可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器2005可选的还可以是至少一个位于远离前述处理器2001的存储装置。如图20所示，作为一种计算机存储介质的存储器2005中可以包括操作系统、网络通信模块、用户接口模块以及用于视觉地图生成的应用程序。
在图20所示的终端2000中，用户接口2003主要用于为用户提供输入的接口，获取用户输入的数据；而处理器2001可以用于调用存储器2005中存储的视觉地图生成的应用程序，并具体执行以下操作：
获取双目摄像头采集的目标区域的图像；
获取图像中的关键图像帧，获取每帧关键图像帧的特征点；
基于关键图像帧的约束信息和特征点的参数表达式信息，生成目标区域对应的视觉地图。
根据一些实施例，处理器2001执行基于关键图像帧的约束信息和特征点的参数表达式信息，生成目标区域对应的视觉地图之前，还具体执行以下操作：
获取关键图像帧的约束信息；约束信息包括第一约束信息和第二约束信息，第一约束信息为相邻两帧关键图像帧的相对姿态约束信息，第二约束信息为一帧关键图像帧的roll-pitch约束信息。
根据一些实施例，处理器2001执行基于关键图像帧的约束信息和特征点的参数表达式信息，生成目标区域对应的视觉地图之前，还具体执行以下操作：
获取特征点的视觉因子；
基于特征点的视觉因子，生成特征点的参数表达式信息。
根据一些实施例，处理器2001执行获取特征点的视觉因子时，具体执行以下操作：
获取当前关键图像帧上特征点的坐标信息；坐标信息为特征点在初始关键图像帧上的平面坐标信息，初始关键图像帧为第一次观测特征点的图像帧；
获取特征点相对于初始关键图像帧的深度信息；
获取初始关键图像帧的第一姿态信息和当前关键图像帧的第二姿态信息；
基于坐标信息、深度信息、第一姿态信息和第二姿态信息，生成特征点的视觉因子。
根据一些实施例，处理器2001执行获取当前关键图像帧上特征点的坐标信息时，具体执行以下操作：
获取当前关键图像帧上特征点的通用极球面投影信息；
基于通用极球面投影信息，计算特征点的坐标信息。
根据一些实施例，处理器2001执行获取图像中的关键图像帧时，具体执行以下操作：
获取采样间隔时长；
基于采样间隔时长，获取图像中的关键图像帧。
根据一些实施例，处理器2001执行获取双目摄像头采集的目标区域的图像之前，还具体执行以下操作：
对双目摄像头的时间信息进行标定并同步。
在本申请一个或多个实施例中，通过获取双目摄像头采集的目标区域的图像，获取图像中的关键图像帧和获取每帧关键图像帧的特征点，并基于关键图像帧的约束信息和特征点的参数表达式信息，生成目标区域对应的视觉地图。因此终端可以在目标区域的纹理区分度较低时，可以基于关键图像帧的约束信息和特征点的参数表达式信息生成目标区域的视觉地图，减少仅基于视觉信息导致生成的目标区域的视觉地图的准确性较低的情况，可以提高视觉地图生成的准确性。
本申请还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法的步骤。其中，计算机可读存储介质可以包括但不限于任何类型的盘，包括软盘、光盘、DVD、CD-ROM、微型驱动器以及磁光盘、ROM、RAM、EPROM、EEPROM、DRAM、VRAM、闪速存储器设备、磁卡或光卡、纳米系统(包括分子存储器IC)，或适合于存储指令和/或数据的任何类型的媒介或设备。
本申请实施例还提供一种计算机程序产品，该计算机程序产品包括存储计算机程序的非瞬时性计算机可读存储介质，该计算机程序可操作来使计算机执行如上述方法实施例中记载的任何一种视觉地图生成方法的部分或全部步骤。
本领域的技术人员可以清楚地了解到本申请的技术方案可借助软件和/或硬件来实现。本说明书中的“单元”和“模块”是指能够独立完成或与其他部件配合完成特定功能的软件和/或硬件，其中硬件例如可以是现场可编程门阵列(Field－ProgrammaBLE GateArray，FPGA)、集成电路(Integrated Circuit，IC)等。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些服务接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通进程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(Random AccessMemory，RAM)、磁盘或光盘等。
以上所述者，仅为本公开的示例性实施例，不能以此限定本公开的范围。即但凡依本公开教导所作的等效变化与修饰，皆仍属本公开涵盖的范围内。本领域技术人员在考虑说明书及实践这里的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未记载的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的范围和精神由权利要求限定。

Claims (10)

1.一种视觉地图生成方法，其特征在于，应用于具有双目摄像头的终端，所述方法包括：
获取所述双目摄像头采集的目标区域的图像；
获取所述图像中的关键图像帧，获取每帧所述关键图像帧的特征点；
基于所述关键图像帧的约束信息和所述特征点的参数表达式信息，生成所述目标区域对应的视觉地图。
2.根据权利要求1所述的方法，其特征在于，所述基于所述关键图像帧的约束信息和所述特征点的参数表达式信息，生成所述目标区域对应的视觉地图之前，还包括：
获取所述关键图像帧的约束信息；所述约束信息包括第一约束信息和第二约束信息，所述第一约束信息为相邻两帧关键图像帧的相对姿态约束信息，所述第二约束信息为一帧关键图像帧的roll-pitch约束信息。
3.根据权利要求1所述的方法，其特征在于，所述基于所述关键图像帧的约束信息和所述特征点的参数表达式信息，生成所述目标区域对应的视觉地图之前，还包括：
获取所述特征点的视觉因子；
基于所述特征点的视觉因子，生成所述特征点的参数表达式信息。
4.根据权利要求3所述的方法，其特征在于，所述获取所述特征点的视觉因子，包括：
获取当前关键图像帧上特征点的坐标信息；所述坐标信息为所述特征点在初始关键图像帧上的平面坐标信息，所述初始关键图像帧为第一次观测所述特征点的图像帧；
获取所述特征点相对于所述初始关键图像帧的深度信息；
获取所述初始关键图像帧的第一姿态信息和所述当前关键图像帧的第二姿态信息；
基于所述坐标信息、所述深度信息、所述第一姿态信息和所述第二姿态信息，生成所述特征点的视觉因子。
5.根据权利要求4所述的方法，其特征在于，所述获取当前关键图像帧上特征点的坐标信息，包括：
获取所述当前关键图像帧上特征点的通用极球面投影信息；
基于所述通用极球面投影信息，计算所述特征点的坐标信息。
6.根据权利要求1所述的方法，其特征在于，所述获取所述图像中的关键图像帧，包括：
获取采样间隔时长；
基于所述采样间隔时长，获取所述图像中的关键图像帧。
7.根据权利要求1所述的方法，其特征在于，所述获取所述双目摄像头采集的目标区域的图像之前，还包括：
对所述双目摄像头的时间信息进行标定并同步。
8.一种视觉地图生成装置，其特征在于，所述装置包括：
图像获取单元，用于获取所述双目摄像头采集的目标区域的图像；
特征点获取单元，用于获取所述图像中的关键图像帧，获取每帧所述关键图像帧的特征点；
地图生成单元，用于基于所述关键图像帧的约束信息和所述特征点的参数表达式信息，生成所述目标区域对应的视觉地图。
9.一种终端，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，其特征在于，处理器执行计算机程序时实现上述权利要求1-7中任一项方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现上述权利要求1-7中任一项方法。
CN202110205579.5A 2021-02-24 2021-02-24 视觉地图生成方法、装置、终端及存储介质 Pending CN113160270A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110205579.5A CN113160270A (zh) 2021-02-24 2021-02-24 视觉地图生成方法、装置、终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110205579.5A CN113160270A (zh) 2021-02-24 2021-02-24 视觉地图生成方法、装置、终端及存储介质

Publications (1)

Publication Number Publication Date
CN113160270A true CN113160270A (zh) 2021-07-23

Family

ID=76883401

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110205579.5A Pending CN113160270A (zh) 2021-02-24 2021-02-24 视觉地图生成方法、装置、终端及存储介质

Country Status (1)

Country Link
CN (1) CN113160270A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113689485A (zh) * 2021-08-25 2021-11-23 北京三快在线科技有限公司 无人机深度信息的确定方法、装置、无人机及存储介质
CN114619453A (zh) * 2022-05-16 2022-06-14 深圳市普渡科技有限公司 机器人、地图构建方法及计算机可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106910217A (zh) * 2017-03-17 2017-06-30 驭势科技（北京）有限公司 视觉地图建立方法、计算装置、计算机存储介质和智能车辆
CN109920055A (zh) * 2019-03-08 2019-06-21 视辰信息科技(上海)有限公司 三维视觉地图的构建方法、装置与电子设备
CN111127584A (zh) * 2019-11-19 2020-05-08 奇点汽车研发中心有限公司 建立视觉地图的方法和装置、电子设备和存储介质
CN111664845A (zh) * 2019-03-05 2020-09-15 千寻位置网络有限公司 交通标志定位、视觉地图制作方法及装置、定位系统
CN111780764A (zh) * 2020-06-30 2020-10-16 杭州海康机器人技术有限公司 一种基于视觉地图的视觉定位方法、装置
CN111780763A (zh) * 2020-06-30 2020-10-16 杭州海康机器人技术有限公司 一种基于视觉地图的视觉定位方法、装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106910217A (zh) * 2017-03-17 2017-06-30 驭势科技（北京）有限公司 视觉地图建立方法、计算装置、计算机存储介质和智能车辆
CN111664845A (zh) * 2019-03-05 2020-09-15 千寻位置网络有限公司 交通标志定位、视觉地图制作方法及装置、定位系统
CN109920055A (zh) * 2019-03-08 2019-06-21 视辰信息科技(上海)有限公司 三维视觉地图的构建方法、装置与电子设备
CN111127584A (zh) * 2019-11-19 2020-05-08 奇点汽车研发中心有限公司 建立视觉地图的方法和装置、电子设备和存储介质
CN111780764A (zh) * 2020-06-30 2020-10-16 杭州海康机器人技术有限公司 一种基于视觉地图的视觉定位方法、装置
CN111780763A (zh) * 2020-06-30 2020-10-16 杭州海康机器人技术有限公司 一种基于视觉地图的视觉定位方法、装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李承;胡钊政;王相龙;黄刚;蔡浩;: "面向智能车定位的道路环境视觉地图构建", 中国公路学报, no. 11, 15 November 2018 (2018-11-15) *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113689485A (zh) * 2021-08-25 2021-11-23 北京三快在线科技有限公司 无人机深度信息的确定方法、装置、无人机及存储介质
CN114619453A (zh) * 2022-05-16 2022-06-14 深圳市普渡科技有限公司 机器人、地图构建方法及计算机可读存储介质
CN114619453B (zh) * 2022-05-16 2022-09-20 深圳市普渡科技有限公司 机器人、地图构建方法及计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN110555883B (zh) 相机姿态追踪过程的重定位方法、装置及存储介质
US10460512B2 (en) 3D skeletonization using truncated epipolar lines
US9576183B2 (en) Fast initialization for monocular visual SLAM
JP2021526698A (ja) 画像生成方法および装置、電子機器、並びに記憶媒体
CN106462937B (zh) 图像处理装置以及图像显示装置
KR102169492B1 (ko) 평면의 자연스러운 특성 타겟들의 인시츄 생성
CN112270754B (zh) 局部网格地图构建方法及装置、可读介质和电子设备
WO2023093217A1 (zh) 数据标注方法、装置、计算机设备、存储介质和程序
WO2021244140A1 (zh) 物体测量、虚拟对象处理方法及装置、介质和电子设备
US20220375258A1 (en) Image processing method and apparatus, device and storage medium
CN109754464B (zh) 用于生成信息的方法和装置
CN112581358B (zh) 图像处理模型的训练方法、图像处理方法及装置
WO2022068326A1 (zh) 一种图像帧预测的方法及电子设备
CN113160270A (zh) 视觉地图生成方法、装置、终端及存储介质
US11978232B2 (en) Method for displaying three-dimensional augmented reality
CN109981989B (zh) 渲染图像的方法、装置、电子设备和计算机可读存储介质
CN113610702B (zh) 一种建图方法、装置、电子设备及存储介质
CN114581525A (zh) 姿态确定方法及装置、电子设备和存储介质
CN113379896A (zh) 三维重建方法及装置、电子设备和存储介质
CN112714337A (zh) 视频处理方法、装置、电子设备和存储介质
CN115908120B (zh) 图像处理方法和电子设备
CN110084306B (zh) 用于生成动态图像的方法和装置
CN109816791B (zh) 用于生成信息的方法和装置
CN116563740A (zh) 基于扩展现实的控制方法、装置、电子设备和存储介质
CN114201028B (zh) 扩增实境系统与其锚定显示虚拟对象的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination