CN111950642B - 一种重定位方法及电子设备 - Google Patents

一种重定位方法及电子设备 Download PDF

Info

Publication number
CN111950642B
CN111950642B CN202010825941.4A CN202010825941A CN111950642B CN 111950642 B CN111950642 B CN 111950642B CN 202010825941 A CN202010825941 A CN 202010825941A CN 111950642 B CN111950642 B CN 111950642B
Authority
CN
China
Prior art keywords
image
information
determining
feature point
point information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010825941.4A
Other languages
English (en)
Other versions
CN111950642A (zh
Inventor
刘万凯
盛兴东
陆柳慧
高立鑫
张曙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Beijing Ltd
Original Assignee
Lenovo Beijing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Beijing Ltd filed Critical Lenovo Beijing Ltd
Priority to CN202010825941.4A priority Critical patent/CN111950642B/zh
Publication of CN111950642A publication Critical patent/CN111950642A/zh
Application granted granted Critical
Publication of CN111950642B publication Critical patent/CN111950642B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种重定位方法及电子设备，通过第一图库中第二图像的相关信息确定第一图像的初始姿态信息，并基于第二图像的不少于一个第一3D特征点信息确定多个关联的第三图像的图像信息，从而对第一图像的初始姿态信息进行调整，以提高第一图像的姿态信息的精确度，保证了在重定位过程中基于多个图像的关联关系进行计算，使得计算得到的姿态信息精确度更高。

Description

一种重定位方法及电子设备
技术领域
本申请涉及虚拟现实技术领域，尤其涉及一种重定位方法及电子设备。
背景技术
用户在使用AR设备时，通常全局地图精度对用户的使用体验的影响并不明显，而对虚拟物体相对当前局部环境的位姿较为敏感。
目前，通常采用ORB算法搜索匹配关键帧的方案进行重定位，以确定设备当前位姿，该方案仅利用了图像的匹配信息，忽略了空间上的联系，导致重定位的精确度低。
发明内容
有鉴于此，本申请提供一种重定位方法及电子设备，其具体方案如下：
一种重定位方法，包括：
基于电子设备采集的第一图像，确定第一图库中的第二图像，所述第二图像与所述第一图像的相似度大于所述第一图库中除所述第二图像外的其他图像与所述第一图像的相似度；
获取所述第二图像的第一姿态信息，将所述第二图像的第一姿态信息确定为所述第一图像的初始姿态信息；
基于所述第一图像确定所述第二图像的不少于一个第一3D特征点信息，其中，所述第二图像的不少于一个第一3D特征点信息为所述第二图像与所述第一图像匹配的不少于一个特征点的3D特征点信息；
基于所述不少于一个第一3D特征点信息确定所述第一图库中的包括任意一个第一3D特征点信息的多个第三图像的图像信息，所述第三图像的图像信息至少包括：第三图像的帧图片及获取所述帧图片的姿态信息；
基于每一个所述第一3D特征点信息及每一个所述第三图像的帧图片的姿态信息，依据相机姿态参数及历史第一3D特征点参数的函数关系对所述第一图像的初始姿态信息进行调整，确定所述第一图像的第二姿态信息。
进一步的，所述基于所述第一图像确定所述第二图像的不少于一个第一3D特征点信息，包括：
基于所述第一图像确定所述第二图像中与所述第一图像匹配的不少于一个第一2D特征点信息；
基于所述第二图像中与所述第一图像匹配的不少于一个第一2D特征点信息确定所述第二图像中与每一个所述第一2D特征点信息对应的第一3D特征点信息。
进一步的，所述获取电子设备采集的第一图像，包括：
获取电子设备采集的第一图像，确定所述电子设备获取所述第一图像时，所述电子设备与预设中心点的距离是否小于第一预设值；
若获取所述第一图像时，所述电子设备与所述预设中心点的距离小于所述第一预设值，则确定所述第一图像满足处理条件，继续执行后续处理。
进一步的，所述确定第一图库中的第二图像，包括：
确定所述第一图库中是否包括与所述第一图像的相似度大于第二预设值的图像；
若确定所述第一图库中未包括与所述第一图像的相似度大于第二预设值的图像，则对所述第一图像进行建图；
若确定所述第一图库中包括与所述第一图像的相似度大于第二预设值的图像，则确定第二图像，所述第二图像为所述第一图库中与所述第一图像的相似度大于所述第一图库中除所述第二图像外的其他图像与所述第一图像的相似度的图像。
进一步的，所述对所述第一图像进行建图，包括：
确定所述第一图像的不少于一个第二3D特征点信息；
若确定所述第一图库中未包括与所述第一图像的第二3D特征点信息匹配的图像，则建立新的3D特征点索引，并将所述第一图像及所述新的3D特征点索引存储至所述第一图库，所述新的3D特征点索引至少包括：所述第一图像的第二3D特征点的标识信息及所述第一图像的帧信息。
进一步的，还包括：
基于每一个所述第一3D特征点信息及每一个所述第三图像的帧图片的姿态信息，依据相机姿态参数及历史第一3D特征点参数的函数关系对所述第一图像的每一个第一3D特征点信息进行调整，确定所述第一图像的第三3D特征点信息。
进一步的，所述基于每一个所述第一3D特征点信息及每一个所述第三图像的帧图片的姿态信息，依据相机姿态参数及历史第一3D特征点参数的函数关系对所述第一图像的初始姿态信息进行调整，确定所述第一图像的第二姿态信息，包括：
确定相机姿态参数及历史第一3D特征点参数的函数关系；
依次将每一个所述第一3D特征点信息及所述每一个所述3D特征点信息分别对应的第三图像的姿态信息迭代至所述函数关系，得到对所述第一图像的初始姿态信息进行调整后的第二姿态信息。
一种电子设备，包括：
图像采集装置，用于采集图像；
处理器，用于基于所述图像采集装置采集的第一图像，确定第一图库中的第二图像，所述第二图像与所述第一图像的相似度大于第一图库中除所述第二图像外的其他图像与所述第一图像的相似度；获取所述第二图像的第一姿态信息，将所述第二图像的第一姿态信息确定为所述第一图像的初始姿态信息；基于所述第一图像确定所述第二图像的不少于一个第一3D特征点信息，其中，所述第二图像的不少于一个第一3D特征点信息为所述第二图像与所述第一图像匹配的不少于一个特征点的3D特征点信息；基于所述不少于一个第一3D特征点信息确定所述第一图库中的包括任意一个第一3D特征点信息的多个第三图像的图像信息，所述第三图像的图像信息至少包括：第三图像的帧图片及获取所述帧图片的姿态信息；基于每一个所述第一3D特征点信息及每一个所述第三图像的帧图片的姿态信息，依据相机姿态参数及历史第一3D特征点参数的函数关系对所述第一图像的初始姿态信息进行调整，确定所述第一图像的第二姿态信息。
进一步的，所述处理器基于所述第一图像确定所述第二图像的不少于一个第一3D特征点信息，包括：
所述处理器基于所述第一图像确定所述第二图像中与所述第一图像匹配的不少于一个第一2D特征点信息；基于所述第二图像中与所述第一图像匹配的不少于一个第一2D特征点信息确定所述第二图像中与每一个所述第一2D特征点信息对应的第一3D特征点信息。
进一步的，所述处理器获取所述图像采集装置采集的第一图像，包括：
所述处理器获取所述图像采集装置采集的第一图像，确定所述图像采集装置获取所述第一图像时，所述电子设备与预设中心点的距离是否小于第一预设值；若获取所述第一图像时，所述电子设备与所述预设中心点的距离小于所述第一预设值，则确定所述第一图像满足处理条件，继续执行后续处理。
从上述技术方案可以看出，本申请公开的重定位方法及电子设备，基于电子设备采集的第一图像，确定第一图库中的第二图像，第二图像与第一图像的相似度大于第一图库中除第二图像外的其他图像与第一图像的相似度，获取第二图像的第一姿态信息，将第二图像的第一姿态信息确定为第一图像的初始姿态信息，基于第一图像确定第二图像的不少于一个第一3D特征点信息，第二图像的不少于一个第一3D特征点信息为第二图像与第一图像匹配的不少于一个特征点的3D特征点信息；基于不少于一个第一3D特征点信息确定第一图库中的包括任意一个第一3D特征点信息的多个第三图像的图像信息，第三图像的图像信息至少包括：第三图像的帧图片及获取帧图片的姿态信息，基于每一个第一3D特征点信息及每一个第三图像的帧图片的姿态信息，依据相机姿态参数及历史第一3D特征点参数的函数关系对第一图像的初始姿态信息进行调整，确定第一图像的第二姿态信息。本方案通过第一图库中第二图像的相关信息确定第一图像的初始姿态信息，并基于第二图像的不少于一个第一3D特征点信息确定多个关联的第三图像的图像信息，从而对第一图像的初始姿态信息进行调整，以提高第一图像的姿态信息的精确度，保证了在重定位过程中基于多个图像的关联关系进行计算，使得计算得到的姿态信息精确度更高。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例公开的一种重定位方法的流程图；
图2为本申请实施例公开的一种重定位方法的流程图；
图3为本申请实施例公开的一种重定位方法的流程图；
图4为本申请实施例公开的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请公开了一种重定位方法，其流程图如图1所示，包括：
步骤S11、基于电子设备采集的第一图像，确定第一图库中的第二图像，第二图像与第一图像的相似度大于第一图库中除第二图像外的其他图像与第一图像的相似度；
步骤S12、获取第二图像的第一姿态信息，将第二图像的第一姿态信息确定为第一图像的初始姿态信息；
电子设备可以为AR设备，在AR设备的使用过程中，需要对设备采集到的图像进行3D图形的建立，以及对当前位姿进行重定位，其中，当前位姿可以为电子设备采集当前图像时的姿态。
电子设备的图像采集装置采集图像，电子设备在本次使用过程中会生成一个第一图库，该第一图库用于存储电子设备使用过程中采集到的各个图像，以及每个图像对应的相关信息，第一图库中存储的每个图像的相关信息可以包括：第一3D特征点信息，获取该图像时的姿态信息等。
在电子设备的图像采集装置获取到第一图像之后，从第一图库中选取一个图像作为第二图像，选取的该图像是第一图库中与第一图像的相似度最大的图像，即第一图库中第二图像与第一图像的相似度大于第一图库中除第二图像外的其他图像与第一图像的相似度，即从第一图库中选取一个与当前获取到的第一图像最相似的图像，并将选取出的第二图像的第一姿态信息确定为第一图像的初始姿态信息。
第二图像的第一姿态信息即第一图库中记录的获取第二图像时电子设备的姿态信息，由于在电子设备的本次使用过程中所采集到的所有图像中只有第二图像与第一图像是最相似的，因此，将最相似的第二图像的姿态信息确定为第一图像的初始姿态信息，以便能够对初始姿态信息进行修正，从而得到精确的第一图像的姿态信息。
步骤S13、基于第一图像确定第二图像的不少于一个第一3D特征点信息，其中，第二图像的不少于一个第一3D特征点信息为第二图像与第一图像匹配的不少于一个特征点的3D特征点信息；
步骤S14、基于不少于一个第一3D特征点信息确定第一图库中的包括任意一个第一3D特征点信息的多个第三图像的图像信息，第三图像的图像信息至少包括：第三图像的帧图片及获取帧图片的姿态信息；
由于第二图像是第一图库中与第一图像的相似度最大的图像，那么，第二图像必然是有与第一图像相同的特征点的，确定第二图像中与第一图像相同的特征点。例如：第二图像与第一图像中均包括有同一个建筑，那么，第二图像与第一图像中与这同一个建筑相关的特征点中是有完全匹配的特征点的，将这些完全匹配的特征点确定为第一特征点。
确定第二图像中的第一特征点，其实际确定的是第二图像中的第一3D特征点，即确定的是第一特征点的3D特征点信息，即第一3D特征点信息，以便能够基于第二图像中的不少于一个第一3D特征点信息确定其他图像中与任意一个第一3D特征点信息匹配的3D特征点信息。
由于第一图库中除包括第二图像外，还包括多个其他图像，在确定第二图像中的不少于一个第一3D特征点信息之后，从第一图库中查找图像，以使查找到的图像中包括第二图像中的至少任意一个第一3D特征点信息，那么，从第一图库中查找到的图像可以为多个，这多个图像中每个图像中可能仅与不少于一个第一3D特征点信息中的一个第一3D特征点信息匹配，也可能与不少于一个第一3D特征点信息中的多个第一3D特征点信息匹配；并且，从第一图库中查找到的多个图像中任意两个图像可能有特征点与同一个第一3D特征点信息匹配，也可能没有特征点与同一个第一3D特征点信息匹配。
例如：第二图像中确定了3个第一3D特征点信息，从第一图库中查找到4个图像，其中，第一个图像中有1个特征点与3个第一3D特征点信息匹配，并且是与3个第一3D特征点中的第一个特征点匹配；第二个图像中有2个特征点与3个第一3D特征点信息匹配，并且是与3个第一3D特征点信息中的第一个特征点和第二个特征点匹配；第三个图像中有2个特征点与3个第一3D特征点信息匹配，并且是与3个第一3D特征点信息中的第一个特征点和第三个特征点匹配；第四个图像中有1个特征点与3个第一3D特征点信息匹配，并且是与3个第一3D特征点中的第三个特征点匹配。
将从第一图库中查找到的与至少任意一个第一3D特征点信息匹配的多个图像确定为多个第三图像，确定多个第三图像的图像信息，图像信息至少包括：第三图像的帧图片及获取该帧图片时的姿态信息，即确定的第三图像的图像信息不仅包括第三图像的帧图片本身，也包括获取该帧图片时的姿态信息，以便能够基于多个第三图像的姿态信息对第一图像的初始姿态信息进行修正。
步骤S15、基于每一个第一3D特征点信息及每一个第三图像的帧图片的姿态信息，依据相机姿态参数及历史第一3D特征点参数的函数关系对第一图像的初始姿态信息进行调整，确定第一图像的第二姿态信息。
预先设置相机姿态参数及历史第一3D特征点参数的函数关系，基于该函数关系，以及确定的每一个第一3D特征点信息、每一个第三图像的帧图片的姿态信息，对第一图像的初始姿态信息进行调整。
具体的，依次将每一个第一3D特征点信息及每一个第一3D特征点信息分别对应的第三图像的姿态信息迭代至该函数关系中，从而得到对第一图像的初始姿态信息进行调整后的第二姿态信息。
其中，该函数关系可以为：雅克比行列式，基于第一图像的初始姿态信息与雅克比行列式与步长的乘积相加的和得到经过第一次迭代后的第一图像的姿态信息，之后将经过第一次迭代后的第一图像的姿态信息与雅克比行列式与步长的乘积相加的和得到经过第二次迭代后的第一图像的姿态信息，依此类推，直至最终迭代之后得到的第一图像的姿态信息满足条件，则确定当前的第一图像的姿态信息为第二姿态信息，获取该第一图像时电子设备的姿态信息。
其中，满足条件可以为：重投影误差低于预设值。
其中，雅克比行列式可以为：
其中，J[0]为重投影误差关于第i帧图像的姿态信息的雅克比结果；J[1]为重投影误差关于第j帧图像的姿态信息的雅克比结果；J[2]为重投影误差关于相机姿态到惯性测量单元IMU的位移量的雅克比结果；J[3]为重投影误差关于3D特征点深度的雅克比结果。δ表示微小扰动，表示第i帧惯性测量单元IMU在世界坐标系下的位移量，/>表示第i帧惯性测量单元IMU在世界坐标系下的旋转量，/>表示相机到IMU的位移量，/>表示相机到IMU的旋转量，λl表示3D特征点的深度，rC表示视觉重投影误差。
其中，及/>表示初始姿态信息，上述行列式中，/>表示相机到IMU的旋转向量，而/>表示相机到IMU的旋转矩阵，/>表示第i帧惯性测量单元IMU在世界坐标系下的旋转向量，同理，/>表示第i帧惯性测量单元IMU在世界坐标系下的旋转矩阵。
本实施例公开的重定位方法，基于电子设备采集的第一图像，确定第一图库中的第二图像，第二图像与第一图像的相似度大于第一图库中除第二图像外的其他图像与第一图像的相似度，获取第二图像的第一姿态信息，将第二图像的第一姿态信息确定为第一图像的初始姿态信息，基于第一图像确定第二图像的不少于一个第一3D特征点信息，第二图像的不少于一个第一3D特征点信息为第二图像与第一图像匹配的不少于一个特征点的3D特征点信息；基于不少于一个第一3D特征点信息确定第一图库中的包括任意一个第一3D特征点信息的多个第三图像的图像信息，第三图像的图像信息至少包括：第三图像的帧图片及获取帧图片的姿态信息，基于每一个第一3D特征点信息及每一个第三图像的帧图片的姿态信息，依据相机姿态参数及历史第一3D特征点参数的函数关系对第一图像的初始姿态信息进行调整，确定第一图像的第二姿态信息。本方案通过第一图库中第二图像的相关信息确定第一图像的初始姿态信息，并基于第二图像的不少于一个第一3D特征点信息确定多个关联的第三图像的图像信息，从而对第一图像的初始姿态信息进行调整，以提高第一图像的姿态信息的精确度，保证了在重定位过程中基于多个图像的关联关系进行计算，使得计算得到的姿态信息精确度更高。
本实施例公开了一种重定位方法，其流程图如图2所示，包括：
步骤S21、基于电子设备采集的第一图像，确定第一图库中的第二图像，第二图像与第一图像的相似度大于第一图库中除第二图像外的其他图像与第一图像的相似度；
步骤S22、获取第二图像的第一姿态信息，将第二图像的第一姿态信息确定为第一图像的初始姿态信息；
步骤S23、基于第一图像确定第二图像中与第一图像匹配的不少于一个第一2D特征点信息；
步骤S24、基于第二图像中与第一图像匹配的不少于一个第一2D特征点信息确定第二图像中与每一个第一2D特征点信息对应的第一3D特征点信息；
步骤S25、基于不少于一个第一3D特征点信息确定第一图库中的包括任意一个第一3D特征点信息的多个第三图像的图像信息，第三图像的图像信息至少包括：第三图像的帧图片及获取帧图片的姿态信息；
步骤S26、基于每一个第一3D特征点信息及每一个第三图像的帧图片的姿态信息，依据相机姿态参数及历史第一3D特征点参数的函数关系对第一图像的初始姿态信息进行调整，确定第一图像的第二姿态信息。
基于第一图像确定第一图库中的第二图像，是基于第一图库中的图像与第一图像的相似度来实现的，具体的，可以为：确定第一图库中的每一个图像与第一图像中具有的相同特征点的数量，将与第一图像中具有的相同的特征点的数量最多的图像确定为第二图像，即与第一图像相似度最大的图像。
另外，在确定第二图像的不少于一个第一3D特征点信息时，由于图像采集装置采集到的第一图像中仅包括帧图像。因此，电子设备从该第一图像的帧图像中仅能获取到2D特征点，则直接基于第一图像的2D特征点确定第二图像中与第一图像的2D特征点匹配的第一2D特征点信息。
而第一图库中存储的图像不仅包括有2D特征点还包括有3D特征点，那么，在由第一图像确定第二图像中与第一图像的2D特征点匹配的第一2D特征点信息之后，还能够直接基于第二图像的第一2D特征点信息确定对应的第一3D特征点信息，避免了在确定特征点时直接就确定3D特征点导致的数据处理难度的增加，以及数据处理速度的降低，并提高了确定特征点的精确度。
进一步的，还包括：
基于每一个第一3D特征点信息及每一个第三图像的帧图片的姿态信息，依据相机姿态参数及历史第一3D特征点参数的函数关系对第一图像的每一个第一3D特征点信息进行调整，确定第一图像的第三3D特征点信息。
在基于上述函数关系对第一初始姿态信息进行调整的过程中，由于需要经过雅克比行列式的迭代，以使得重投影误差减小，重投影误差减小，能够保证对第一图像的初始姿态信息得到修正，在迭代的过程中，还能够使得第一图库中的多个第三图像中的多个第一3D特征点信息的位置得到修正，从而使第一图像中的特征点的位置得以修正，在修正之后能够确定第一图像的多个3D特征点信息，将其确定为多个第三3D特征点信息，之后将第一图像的相关信息存储至第一图库，以作为历史帧图像便于设备在后续定位过程中的使用。其中，第一图像的相关信息包括：第一图像的2D特征点信息，还包括第一图像的第三3D特征点信息，以及第一图像的第二姿态信息。
本实施例公开的重定位方法，基于电子设备采集的第一图像，确定第一图库中的第二图像，第二图像与第一图像的相似度大于第一图库中除第二图像外的其他图像与第一图像的相似度，获取第二图像的第一姿态信息，将第二图像的第一姿态信息确定为第一图像的初始姿态信息，基于第一图像确定第二图像的不少于一个第一3D特征点信息，第二图像的不少于一个第一3D特征点信息为第二图像与第一图像匹配的不少于一个特征点的3D特征点信息；基于不少于一个第一3D特征点信息确定第一图库中的包括任意一个第一3D特征点信息的多个第三图像的图像信息，第三图像的图像信息至少包括：第三图像的帧图片及获取帧图片的姿态信息，基于每一个第一3D特征点信息及每一个第三图像的帧图片的姿态信息，依据相机姿态参数及历史第一3D特征点参数的函数关系对第一图像的初始姿态信息进行调整，确定第一图像的第二姿态信息。本方案通过第一图库中第二图像的相关信息确定第一图像的初始姿态信息，并基于第二图像的不少于一个第一3D特征点信息确定多个关联的第三图像的图像信息，从而对第一图像的初始姿态信息进行调整，以提高第一图像的姿态信息的精确度，保证了在重定位过程中基于多个图像的关联关系进行计算，使得计算得到的姿态信息精确度更高。
本实施例公开了一种重定位方法，其流程图如图3所示，包括：
步骤S31、获取电子设备采集的第一图像，确定电子设备获取第一图像时，电子设备与预设中心点的距离是否小于第一预设值；
步骤S32、若获取第一图像时，电子设备与预设中心点的距离小于第一预设值，则确定第一图像满足处理条件，基于第一图像，确定第一图库中的第二图像，第二图像与第一图像的相似度大于第一图库中除第二图像外的其他图像与第一图像的相似度；
步骤S33、获取第二图像的第一姿态信息，将第二图像的第一姿态信息确定为第一图像的初始姿态信息；
步骤S34、基于第一图像确定第二图像的不少于一个第一3D特征点信息，其中，第二图像的不少于一个第一3D特征点信息为第二图像与第一图像匹配的不少于一个特征点的3D特征点信息；
步骤S35、基于不少于一个第一3D特征点信息确定第一图库中的包括任意一个第一3D特征点信息的多个第三图像的图像信息，第三图像的图像信息至少包括：第三图像的帧图片及获取帧图片的姿态信息；
步骤S36、基于每一个第一3D特征点信息及每一个第三图像的帧图片的姿态信息，依据相机姿态参数及历史第一3D特征点参数的函数关系对第一图像的初始姿态信息进行调整，确定第一图像的第二姿态信息。
当电子设备采集到第一图像时，需要基于电子设备采集第一图像时的位置确定是否进行后续处理，即基于电子设备采集第一图像时的位置确定是否对采集第一图像时电子设备的姿态信息进行确定。
具体的，若获取第一图像时，电子设备与预设中心点间的距离小于第一预设值，则确定第一图像满足处理条件，能够继续执行后续处理；若获取第一图像时，电子设备与预设中心点间的距离不小于第一预设值，则可直接舍弃第一图像，不对其进行处理，或者，仅不对第一图像进行姿态的获取。
其中，对第一图像进行后续处理不仅包括确定采集第一图像时电子设备的姿态信息，还可以包括对第一图像进行建图。
其中，对第一图像进行建图，包括：
确定第一图像的不少于一个第二3D特征点信息；若确定第一图库中未包括与第一图像的第二3D特征点信息匹配的图像，则建立新的3D特征点索引，并将第一图像及新的3D特征点索引存储至第一图库，新的3D特征点索引至少包括：第一图像的第二3D特征点的标识信息及第一图像的帧信息。
对第一图像进行建图，其实际是将第一图像的帧图像的相关信息以及第一图像的3D特征点索引存储至第一图库中，以便后续能够直接基于索引从第一图库中查找到第一图像。
第一图像的不少于一个第二3D特征点信息，即第一图像上包括的3D点云，如果第一图库中没有出现包括3D点云的id，即第一图库中未包括与第一图像的第二3D特征点信息匹配的图像，则建立新的哈希索引，完成第一图像的建图；
如果第一图库中已存储有包括该3D点云的id，即第一图库中包括与第一图像的第二3D特征点信息匹配的图像，则在该索引上添加第一图像的关键帧信息，以表明该第二3D特征点信息也在第一图像中出现，通过该3D点云的id也能够查找到第一图像。
其中，第一图像的索引不仅包括3D特征点索引，还可以包括2D特征点索引，从而实现能够基于2D特征点信息或者3D特征点信息均能够查找到第一图库中的第一图像。
进一步的，确定第一图库中的第二图像，包括：
确定第一图库中是否包括与第一图像的相似度大于第二预设值的图像；若确定第一图库中未包括与第一图像的相似度大于第二预设值的图像，则对第一图像进行建图；若确定第一图库中包括与第一图像的相似度大于第二预设值的图像，则确定第二图像，第二图像为第一图库中与第一图像的相似度大于第一图库中除第二图像外的其他图像与第一图像的相似度的图像。
在基于第一图像确定第二图像时，是基于第一图库中的图像与第一图像的相似度确定的，首先判断第一图库中是否有图像与第一图像的相似度达到或大于第二预设值，如果有，则将其确定为第二图像，如果没有，则直接从第一图库中选择与第一图像的相似度最大的图像作为第二图像。
其中，若第一图库中有图像与第一图像的相似度大于第二预设值，且与第一图像的相似度大于第二预设值的图像仅有一个，则直接将这一个图像确定为第二图像；如果第一图库中有图像与第一图像的相似度大于第二预设值，且与第一图像的相似度大于第二预设值的图像不少于两个，则从不少于两个图像中确定与第一图像的相似度最大的图像作为第二图像，或者，从不少于两个图像中选取任意一个图像作为第二图像。
本实施例公开的重定位方法，基于电子设备采集的第一图像，确定第一图库中的第二图像，第二图像与第一图像的相似度大于第一图库中除第二图像外的其他图像与第一图像的相似度，获取第二图像的第一姿态信息，将第二图像的第一姿态信息确定为第一图像的初始姿态信息，基于第一图像确定第二图像的不少于一个第一3D特征点信息，第二图像的不少于一个第一3D特征点信息为第二图像与第一图像匹配的不少于一个特征点的3D特征点信息；基于不少于一个第一3D特征点信息确定第一图库中的包括任意一个第一3D特征点信息的多个第三图像的图像信息，第三图像的图像信息至少包括：第三图像的帧图片及获取帧图片的姿态信息，基于每一个第一3D特征点信息及每一个第三图像的帧图片的姿态信息，依据相机姿态参数及历史第一3D特征点参数的函数关系对第一图像的初始姿态信息进行调整，确定第一图像的第二姿态信息。本方案通过第一图库中第二图像的相关信息确定第一图像的初始姿态信息，并基于第二图像的不少于一个第一3D特征点信息确定多个关联的第三图像的图像信息，从而对第一图像的初始姿态信息进行调整，以提高第一图像的姿态信息的精确度，保证了在重定位过程中基于多个图像的关联关系进行计算，使得计算得到的姿态信息精确度更高。
本实施例公开了一种电子设备，其结构示意图如图4所示，包括：
图像采集装置41及处理器42。
其中，图像采集装置41用于采集图像；
处理器42用于基于图像采集装置采集的第一图像，确定第一图库中的第二图像，第二图像与第一图像的相似度大于第一图库中除第二图像外的其他图像与第一图像的相似度；获取第二图像的第一姿态信息，将第二图像的第一姿态信息确定为第一图像的初始姿态信息；基于第一图像确定第二图像的不少于一个第一3D特征点信息，其中，第二图像的不少于一个第一3D特征点信息为第二图像与第一图像匹配的不少于一个特征点的3D特征点信息；基于不少于一个第一3D特征点信息确定第一图库中的包括任意一个第一3D特征点信息的多个第三图像的图像信息，第三图像的图像信息至少包括：第三图像的帧图片及获取帧图片的姿态信息；基于每一个第一3D特征点信息及每一个第三图像的帧图片的姿态信息，依据相机姿态参数及历史第一3D特征点参数的函数关系对第一图像的初始姿态信息进行调整，确定第一图像的第二姿态信息。
电子设备可以为AR设备，在AR设备的使用过程中，需要对设备采集到的图像进行3D图形的建立，以及对当前位姿进行重定位，其中，当前位姿可以为电子设备采集当前图像时的姿态。
电子设备的图像采集装置采集图像，电子设备在本次使用过程中会生成一个第一图库，该第一图库用于存储电子设备使用过程中采集到的各个图像，以及每个图像对应的相关信息，第一图库中存储的每个图像的相关信息可以包括：第一3D特征点信息，获取该图像时的姿态信息等。
在电子设备的图像采集装置获取到第一图像之后，从第一图库中选取一个图像作为第二图像，选取的该图像是第一图库中与第一图像的相似度最大的图像，即第一图库中第二图像与第一图像的相似度大于第一图库中除第二图像外的其他图像与第一图像的相似度，即从第一图库中选取一个与当前获取到的第一图像最相似的图像，并将选取出的第二图像的第一姿态信息确定为第一图像的初始姿态信息。
第二图像的第一姿态信息即第一图库中记录的获取第二图像时电子设备的姿态信息，由于在电子设备的本次使用过程中所采集到的所有图像中只有第二图像与第一图像是最相似的，因此，将最相似的第二图像的姿态信息确定为第一图像的初始姿态信息，以便能够对初始姿态信息进行修正，从而得到精确的第一图像的姿态信息。
由于第二图像是第一图库中与第一图像的相似度最大的图像，那么，第二图像必然是有与第一图像相同的特征点的，确定第二图像中与第一图像相同的特征点。例如：第二图像与第一图像中均包括有同一个建筑，那么，第二图像与第一图像中与这同一个建筑相关的特征点中是有完全匹配的特征点的，将这些完全匹配的特征点确定为第一特征点。
确定第二图像中的第一特征点，其实际确定的是第二图像中的第一3D特征点，即确定的是第一特征点的3D特征点信息，即第一3D特征点信息，以便能够基于第二图像中的不少于一个第一3D特征点信息确定其他图像中与任意一个第一3D特征点信息匹配的3D特征点信息。
由于第一图库中除包括第二图像外，还包括多个其他图像，在确定第二图像中的不少于一个第一3D特征点信息之后，从第一图库中查找图像，以使查找到的图像中包括第二图像中的至少任意一个第一3D特征点信息，那么，从第一图库中查找到的图像可以为多个，这多个图像中每个图像中可能仅与不少于一个第一3D特征点信息中的一个第一3D特征点信息匹配，也可能与不少于一个第一3D特征点信息中的多个第一3D特征点信息匹配；并且，从第一图库中查找到的多个图像中任意两个图像可能有特征点与同一个第一3D特征点信息匹配，也可能没有特征点与同一个第一3D特征点信息匹配。
例如：第二图像中确定了3个第一3D特征点信息，从第一图库中查找到4个图像，其中，第一个图像中有1个特征点与3个第一3D特征点信息匹配，并且是与3个第一3D特征点中的第一个特征点匹配；第二个图像中有2个特征点与3个第一3D特征点信息匹配，并且是与3个第一3D特征点信息中的第一个特征点和第二个特征点匹配；第三个图像中有2个特征点与3个第一3D特征点信息匹配，并且是与3个第一3D特征点信息中的第一个特征点和第三个特征点匹配；第四个图像中有1个特征点与3个第一3D特征点信息匹配，并且是与3个第一3D特征点中的第三个特征点匹配。
将从第一图库中查找到的与至少任意一个第一3D特征点信息匹配的多个图像确定为多个第三图像，确定多个第三图像的图像信息，图像信息至少包括：第三图像的帧图片及获取该帧图片时的姿态信息，即确定的第三图像的图像信息不仅包括第三图像的帧图片本身，也包括获取该帧图片时的姿态信息，以便能够基于多个第三图像的姿态信息对第一图像的初始姿态信息进行修正。
预先设置相机姿态参数及历史第一3D特征点参数的函数关系，基于该函数关系，以及确定的每一个第一3D特征点信息、每一个第三图像的帧图片的姿态信息，对第一图像的初始姿态信息进行调整。
具体的，依次将每一个第一3D特征点信息及每一个第一3D特征点信息分别对应的第三图像的姿态信息迭代至该函数关系中，从而得到对第一图像的初始姿态信息进行调整后的第二姿态信息。
其中，该函数关系可以为：雅克比行列式，基于第一图像的初始姿态信息与雅克比行列式与步长的乘积相加的和得到经过第一次迭代后的第一图像的姿态信息，之后将经过第一次迭代后的第一图像的姿态信息与雅克比行列式与步长的乘积相加的和得到经过第二次迭代后的第一图像的姿态信息，依此类推，直至最终迭代之后得到的第一图像的姿态信息满足条件，则确定当前的第一图像的姿态信息为第二姿态信息，获取该第一图像时电子设备的姿态信息。
其中，满足条件可以为：重投影误差低于预设值。
其中，雅克比行列式可以为：
/>
其中，J[0]为重投影误差关于第i帧图像的姿态信息的雅克比结果；J[1]为重投影误差关于第j帧图像的姿态信息的雅克比结果；J[2]为重投影误差关于相机姿态到惯性测量单元IMU的位移量的雅克比结果；J[3]为重投影误差关于3D特征点深度的雅克比结果。δ表示微小扰动，表示第i帧惯性测量单元IMU在世界坐标系下的位移量，/>表示第i帧惯性测量单元IMU在世界坐标系下的旋转量，/>表示相机到IMU的位移量，/>表示相机到IMU的旋转量，λl表示3D特征点的深度，rC表示视觉重投影误差。
其中，及/>表示初始姿态信息，上述行列式中，/>表示相机到IMU的旋转向量，而/>表示相机到IMU的旋转矩阵，/>表示第i帧惯性测量单元IMU在世界坐标系下的旋转向量，同理，/>表示第i帧惯性测量单元IMU在世界坐标系下的旋转矩阵。
进一步的，处理器42基于第一图像确定第二图像的不少于一个第一3D特征点信息，包括：
处理器42基于第一图像确定第二图像中与第一图像匹配的不少于一个第一2D特征点信息；基于第二图像中与第一图像匹配的不少于一个第一2D特征点信息确定第二图像中与每一个第一2D特征点信息对应的第一3D特征点信息。
基于第一图像确定第一图库中的第二图像，是基于第一图库中的图像与第一图像的相似度来实现的，具体的，可以为：确定第一图库中的每一个图像与第一图像中具有的相同特征点的数量，将与第一图像中具有的相同的特征点的数量最多的图像确定为第二图像，即与第一图像相似度最大的图像。
另外，在确定第二图像的不少于一个第一3D特征点信息时，由于图像采集装置采集到的第一图像中仅包括帧图像。因此，电子设备从该第一图像的帧图像中仅能获取到2D特征点，则直接基于第一图像的2D特征点确定第二图像中与第一图像的2D特征点匹配的第一2D特征点信息。
而第一图库中存储的图像不仅包括有2D特征点还包括有3D特征点，那么，在由第一图像确定第二图像中与第一图像的2D特征点匹配的第一2D特征点信息之后，还能够直接基于第二图像的第一2D特征点信息确定对应的第一3D特征点信息，避免了在确定特征点时直接就确定3D特征点导致的数据处理难度的增加，以及数据处理速度的降低，并提高了确定特征点的精确度。
进一步的，还包括：
基于每一个第一3D特征点信息及每一个第三图像的帧图片的姿态信息，依据相机姿态参数及历史第一3D特征点参数的函数关系对第一图像的每一个第一3D特征点信息进行调整，确定第一图像的第三3D特征点信息。
在基于上述函数关系对第一初始姿态信息进行调整的过程中，由于需要经过雅克比行列式的迭代，以使得重投影误差减小，重投影误差减小，能够保证对第一图像的初始姿态信息得到修正，在迭代的过程中，还能够使得第一图库中的多个第三图像中的多个第一3D特征点信息的位置得到修正，从而使第一图像中的特征点的位置得以修正，在修正之后能够确定第一图像的多个3D特征点信息，将其确定为多个第三3D特征点信息，之后将第一图像的相关信息存储至第一图库，以作为历史帧图像便于设备在后续定位过程中的使用。其中，第一图像的相关信息包括：第一图像的2D特征点信息，还包括第一图像的第三3D特征点信息，以及第一图像的第二姿态信息。
进一步的，处理器42获取图像采集装置采集的第一图像，包括：
处理器42获取图像采集装置采集的第一图像，确定电子设备获取第一图像时，电子设备与预设中心点的距离是否小于第一预设值；若获取第一图像时，电子设备与预设中心点的距离小于第一预设值，则确定第一图像满足处理条件，继续执行后续处理。
当电子设备采集到第一图像时，需要基于电子设备采集第一图像时的位置确定是否进行后续处理，即基于电子设备采集第一图像时的位置确定是否对采集第一图像时电子设备的姿态信息进行确定。
具体的，若获取第一图像时，电子设备与预设中心点间的距离小于第一预设值，则确定第一图像满足处理条件，能够继续执行后续处理；若获取第一图像时，电子设备与预设中心点间的距离不小于第一预设值，则可直接舍弃第一图像，不对其进行处理，或者，仅不对第一图像进行姿态的获取。
其中，对第一图像进行后续处理不仅包括确定采集第一图像时电子设备的姿态信息，还可以包括对第一图像进行建图。
其中，对第一图像进行建图，包括：
确定第一图像的不少于一个第二3D特征点信息；若确定第一图库中未包括与第一图像的第二3D特征点信息匹配的图像，则建立新的3D特征点索引，并将第一图像及新的3D特征点索引存储至第一图库，新的3D特征点索引至少包括：第一图像的第二3D特征点的标识信息及第一图像的帧信息。
对第一图像进行建图，其实际是将第一图像的帧图像的相关信息以及第一图像的3D特征点索引存储至第一图库中，以便后续能够直接基于索引从第一图库中查找到第一图像。
第一图像的不少于一个第二3D特征点信息，即第一图像上包括的3D点云，如果第一图库中没有出现包括3D点云的id，即第一图库中未包括与第一图像的第二3D特征点信息匹配的图像，则建立新的哈希索引，完成第一图像的建图；
如果第一图库中已存储有包括该3D点云的id，即第一图库中包括与第一图像的第二3D特征点信息匹配的图像，则在该索引上添加第一图像的关键帧信息，以表明该第二3D特征点信息也在第一图像中出现，通过该3D点云的id也能够查找到第一图像。
其中，第一图像的索引不仅包括3D特征点索引，还可以包括2D特征点索引，从而实现能够基于2D特征点信息或者3D特征点信息均能够查找到第一图库中的第一图像。
进一步的，确定第一图库中的第二图像，包括：
确定第一图库中是否包括与第一图像的相似度大于第二预设值的图像；若确定第一图库中未包括与第一图像的相似度大于第二预设值的图像，则对第一图像进行建图；若确定第一图库中包括与第一图像的相似度大于第二预设值的图像，则确定第二图像，第二图像为第一图库中与第一图像的相似度大于第一图库中除第二图像外的其他图像与第一图像的相似度的图像。
在基于第一图像确定第二图像时，是基于第一图库中的图像与第一图像的相似度确定的，首先判断第一图库中是否有图像与第一图像的相似度达到或大于第二预设值，如果有，则将其确定为第二图像，如果没有，则直接从第一图库中选择与第一图像的相似度最大的图像作为第二图像。
其中，若第一图库中有图像与第一图像的相似度大于第二预设值，且与第一图像的相似度大于第二预设值的图像仅有一个，则直接将这一个图像确定为第二图像；如果第一图库中有图像与第一图像的相似度大于第二预设值，且与第一图像的相似度大于第二预设值的图像不少于两个，则从不少于两个图像中确定与第一图像的相似度最大的图像作为第二图像，或者，从不少于两个图像中选取任意一个图像作为第二图像。
本实施例公开的电子设备，处理器基于电子设备采集的第一图像，确定第一图库中的第二图像，第二图像与第一图像的相似度大于第一图库中除第二图像外的其他图像与第一图像的相似度，获取第二图像的第一姿态信息，将第二图像的第一姿态信息确定为第一图像的初始姿态信息，基于第一图像确定第二图像的不少于一个第一3D特征点信息，第二图像的不少于一个第一3D特征点信息为第二图像与第一图像匹配的不少于一个特征点的3D特征点信息；基于不少于一个第一3D特征点信息确定第一图库中的包括任意一个第一3D特征点信息的多个第三图像的图像信息，第三图像的图像信息至少包括：第三图像的帧图片及获取帧图片的姿态信息，基于每一个第一3D特征点信息及每一个第三图像的帧图片的姿态信息，依据相机姿态参数及历史第一3D特征点参数的函数关系对第一图像的初始姿态信息进行调整，确定第一图像的第二姿态信息。本方案通过第一图库中第二图像的相关信息确定第一图像的初始姿态信息，并基于第二图像的不少于一个第一3D特征点信息确定多个关联的第三图像的图像信息，从而对第一图像的初始姿态信息进行调整，以提高第一图像的姿态信息的精确度，保证了在重定位过程中基于多个图像的关联关系进行计算，使得计算得到的姿态信息精确度更高。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种重定位方法，包括：
基于电子设备采集的第一图像，确定第一图库中的第二图像，所述第二图像与所述第一图像的相似度大于所述第一图库中除所述第二图像外的其他图像与所述第一图像的相似度；
获取所述第二图像的第一姿态信息，将所述第二图像的第一姿态信息确定为所述第一图像的初始姿态信息，所述第二图像的第一姿态信息为所述第一图库中记录的获取第二图像时所述电子设备的姿态信息；
基于所述第一图像确定所述第二图像的不少于一个第一3D特征点信息，其中，所述第二图像的不少于一个第一3D特征点信息为所述第二图像与所述第一图像匹配的不少于一个特征点的3D特征点信息；
基于所述不少于一个第一3D特征点信息确定所述第一图库中的包括任意一个第一3D特征点信息的多个第三图像的图像信息，所述第三图像的图像信息至少包括：第三图像的帧图片及获取所述帧图片的姿态信息；
基于每一个所述第一3D特征点信息及每一个所述第三图像的帧图片的姿态信息，依据相机姿态参数及历史第一3D特征点参数的函数关系对所述第一图像的初始姿态信息进行调整，确定所述第一图像的第二姿态信息。
2.根据权利要求1所述的方法，其中，所述基于所述第一图像确定所述第二图像的不少于一个第一3D特征点信息，包括：
基于所述第一图像确定所述第二图像中与所述第一图像匹配的不少于一个第一2D特征点信息；
基于所述第二图像中与所述第一图像匹配的不少于一个第一2D特征点信息确定所述第二图像中与每一个所述第一2D特征点信息对应的第一3D特征点信息。
3.根据权利要求1所述的方法，其中，在基于电子设备采集的第一图像，确定第一图库中的第二图像之前，所述方法还包括：获取电子设备采集的第一图像，其中，所述获取电子设备采集的第一图像，包括：
获取电子设备采集的第一图像，确定所述电子设备获取所述第一图像时，所述电子设备与预设中心点的距离是否小于第一预设值；
若获取所述第一图像时，所述电子设备与所述预设中心点的距离小于所述第一预设值，则确定所述第一图像满足处理条件，继续执行后续处理。
4.根据权利要求3所述的方法，其中，所述确定第一图库中的第二图像，包括：
确定所述第一图库中是否包括与所述第一图像的相似度大于第二预设值的图像；
若确定所述第一图库中未包括与所述第一图像的相似度大于第二预设值的图像，则对所述第一图像进行建图；
若确定所述第一图库中包括与所述第一图像的相似度大于第二预设值的图像，则确定第二图像，所述第二图像为所述第一图库中与所述第一图像的相似度大于所述第一图库中除所述第二图像外的其他图像与所述第一图像的相似度的图像。
5.根据权利要求4所述的方法，其中，所述对所述第一图像进行建图，包括：
确定所述第一图像的不少于一个第二3D特征点信息；
若确定所述第一图库中未包括与所述第一图像的第二3D特征点信息匹配的图像，则建立新的3D特征点索引，并将所述第一图像及所述新的3D特征点索引存储至所述第一图库，所述新的3D特征点索引至少包括：所述第一图像的第二3D特征点的标识信息及所述第一图像的帧信息。
6.根据权利要求1所述的方法，其中，还包括：
基于每一个所述第一3D特征点信息及每一个所述第三图像的帧图片的姿态信息，依据相机姿态参数及历史第一3D特征点参数的函数关系对所述第一图像的每一个第一3D特征点信息进行调整，确定所述第一图像的第三3D特征点信息。
7.根据权利要求1所述的方法，其中，所述基于每一个所述第一3D特征点信息及每一个所述第三图像的帧图片的姿态信息，依据相机姿态参数及历史第一3D特征点参数的函数关系对所述第一图像的初始姿态信息进行调整，确定所述第一图像的第二姿态信息，包括：
确定相机姿态参数及历史第一3D特征点参数的函数关系；
依次将每一个所述第一3D特征点信息及所述每一个所述3D特征点信息分别对应的第三图像的姿态信息迭代至所述函数关系，得到对所述第一图像的初始姿态信息进行调整后的第二姿态信息。
8.一种电子设备，包括：
图像采集装置，用于采集图像；
处理器，用于基于所述图像采集装置采集的第一图像，确定第一图库中的第二图像，所述第二图像与所述第一图像的相似度大于第一图库中除所述第二图像外的其他图像与所述第一图像的相似度；获取所述第二图像的第一姿态信息，将所述第二图像的第一姿态信息确定为所述第一图像的初始姿态信息，所述第二图像的第一姿态信息为所述第一图库中记录的获取第二图像时所述电子设备的姿态信息；基于所述第一图像确定所述第二图像的不少于一个第一3D特征点信息，其中，所述第二图像的不少于一个第一3D特征点信息为所述第二图像与所述第一图像匹配的不少于一个特征点的3D特征点信息；基于所述不少于一个第一3D特征点信息确定所述第一图库中的包括任意一个第一3D特征点信息的多个第三图像的图像信息，所述第三图像的图像信息至少包括：第三图像的帧图片及获取所述帧图片的姿态信息；基于每一个所述第一3D特征点信息及每一个所述第三图像的帧图片的姿态信息，依据相机姿态参数及历史第一3D特征点参数的函数关系对所述第一图像的初始姿态信息进行调整，确定所述第一图像的第二姿态信息。
9.根据权利要求8所述的电子设备，其中，所述处理器基于所述第一图像确定所述第二图像的不少于一个第一3D特征点信息，包括：
所述处理器基于所述第一图像确定所述第二图像中与所述第一图像匹配的不少于一个第一2D特征点信息；基于所述第二图像中与所述第一图像匹配的不少于一个第一2D特征点信息确定所述第二图像中与每一个所述第一2D特征点信息对应的第一3D特征点信息。
10.根据权利要求8所述的电子设备，其中，所述处理器获取所述图像采集装置采集的第一图像，包括：
所述处理器获取所述图像采集装置采集的第一图像，确定所述图像采集装置获取所述第一图像时，所述电子设备与预设中心点的距离是否小于第一预设值；若获取所述第一图像时，所述电子设备与所述预设中心点的距离小于所述第一预设值，则确定所述第一图像满足处理条件，继续执行后续处理。
CN202010825941.4A 2020-08-17 2020-08-17 一种重定位方法及电子设备 Active CN111950642B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010825941.4A CN111950642B (zh) 2020-08-17 2020-08-17 一种重定位方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010825941.4A CN111950642B (zh) 2020-08-17 2020-08-17 一种重定位方法及电子设备

Publications (2)

Publication Number Publication Date
CN111950642A CN111950642A (zh) 2020-11-17
CN111950642B true CN111950642B (zh) 2024-06-21

Family

ID=73343477

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010825941.4A Active CN111950642B (zh) 2020-08-17 2020-08-17 一种重定位方法及电子设备

Country Status (1)

Country Link
CN (1) CN111950642B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108615247A (zh) * 2018-04-27 2018-10-02 深圳市腾讯计算机系统有限公司 相机姿态追踪过程的重定位方法、装置、设备及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108489482B (zh) * 2018-02-13 2019-02-26 视辰信息科技(上海)有限公司 视觉惯性里程计的实现方法及系统
CN108615248B (zh) * 2018-04-27 2022-04-05 腾讯科技（深圳）有限公司 相机姿态追踪过程的重定位方法、装置、设备及存储介质
CN108682037B (zh) * 2018-04-27 2022-03-08 腾讯科技（深圳）有限公司 相机姿态追踪过程的重定位方法、装置、设备及存储介质
CN110310333B (zh) * 2019-06-27 2021-08-31 Oppo广东移动通信有限公司 定位方法及电子设备、可读存储介质
CN111144349B (zh) * 2019-12-30 2023-02-24 中国电子科技集团公司信息科学研究院 一种室内视觉重定位方法及系统
CN111105462B (zh) * 2019-12-30 2024-05-28 联想(北京)有限公司 位姿确定方法及装置、增强现实设备和可读存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108615247A (zh) * 2018-04-27 2018-10-02 深圳市腾讯计算机系统有限公司 相机姿态追踪过程的重定位方法、装置、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
融合直接法与特征法的快速双目SLAM算法;张国良;姚二亮;林志林;徐慧;;机器人(第06期);第113-122页 *

Also Published As

Publication number Publication date
CN111950642A (zh) 2020-11-17

Similar Documents

Publication Publication Date Title
CN110866496B (zh) 基于深度图像的机器人定位与建图方法和装置
CN107990899B (zh) 一种基于slam的定位方法和系统
CN103440318B (zh) 移动终端的景观识别系统
EP3309751A1 (en) Image processing device, method, and program
JP7131994B2 (ja) 自己位置推定装置、自己位置推定方法、自己位置推定プログラム、学習装置、学習方法及び学習プログラム
CN109919971B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN107687841A (zh) 一种测距方法及装置
US10235800B2 (en) Smoothing 3D models of objects to mitigate artifacts
JP2011508323A (ja) 不変の視覚場面及び物体の認識
CN113190120B (zh) 位姿获取方法、装置、电子设备及存储介质
WO2023050634A1 (zh) 定位方法及装置、设备、存储介质及计算机程序产品
CN112733641B (zh) 物体尺寸测量方法、装置、设备及存储介质
US20200005078A1 (en) Content aware forensic detection of image manipulations
CN110390639A (zh) 正射影像的处理拼接方法、装置、设备及存储介质
US20220375164A1 (en) Method and apparatus for three dimensional reconstruction, electronic device and storage medium
CN109858402B (zh) 一种图像检测方法、装置、终端以及存储介质
CN113240806B (zh) 信息处理方法、装置、电子设备及存储介质
CN112991441A (zh) 相机定位方法、装置、电子设备及存储介质
JP2018173882A (ja) 情報処理装置、方法、及びプログラム
CN111950642B (zh) 一种重定位方法及电子设备
CN113033578B (zh) 基于多尺度特征匹配的图像校准方法、系统、终端及介质
CN113920196A (zh) 视觉定位方法、装置及计算机设备
CN113847907A (zh) 定位方法及装置、设备、存储介质
CN112614166A (zh) 基于cnn-knn的点云匹配方法和装置
WO2020197495A1 (en) Method and system for feature matching

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant