CN115953471A - 室内场景多尺度矢量图像检索与定位方法、系统及介质 - Google Patents

Abstract

本发明公开了一种室内场景多尺度矢量图像检索与定位方法、系统及介质，本发明方法包括获取在室内中间位置对环境周围进行全景拍摄得到的室内全景图像；对室内全景图像分别进行切片和立方体贴图空间变换；分别对切片和立方体贴图空间变换得到的结果提取切片图像特征；对任意待定位位置拍摄的目标图像提取目标图像特征，根据目标图像特征、切片图像特征两者的关联度确定待定位目标图像对应的目标位置。本发明针对现有的室内场景下基于配准的定位方法对数据质量的高需求，以及对计算资源的高需求难以实际落地工程化应用的情况，能够基于全景图像的立方体切片进行粗定位，并基于全景图的切片进行精定位，能够实现实时环境下的高速图像定位。

Description

室内场景多尺度矢量图像检索与定位方法、系统及介质

技术领域

本发明涉及计算机视觉领域，具体涉及一种室内场景多尺度矢量图像检索与定位方法、系统及介质。

背景技术

基于图像的定位算法作为一门融合计算机视觉、机器学习、多视图几何、图像检索等众多科研领域的交叉性学科技术,在机器人导航定位、现实增强、三维重建、地标识别等领域有着关阔的应用前景和巨大的研究价值。基于图像的定位技术也是高层次图像处理任务不可缺少的组成部分。目前定位主要采用以下两种方式：点云配准：点云配准(PointCloud Registration),又名点云拼接、点云注册，对于两帧有重叠信息的点云，通过求解变换矩阵(旋转矩阵R和平移矩阵T)，使得重叠部分点云变换到同一个统一的坐标系下。但是由于实际场景中难以获得完整场景以及待配准目标的三维点云模型，以及点云庞大的数据量给配准带来极大的计算量，导致基于点云配准的定位方法难以在实际工程中应用；图像配准：图像配准(Image registration)就是将不同时间、不同传感器(成像设备)或不同条件下(天候、照度、摄像位置和角度等)获取的两幅或多幅图像进行匹配、叠加的过程，它已经被广泛地应用于遥感数据分析、计算机视觉、图像处理等领域。流程配准技术的流程如下：首先对两幅图像进行特征提取得到特征点；通过进行相似性度量找到匹配的特征点对；然后通过匹配的特征点对得到图像空间坐标变换参数；最后由坐标变换参数进行图像配准。但实际应用时会消耗较大的计算资源，难以进行实际使用。但是无论是点云配准还是图像配准，其对计算资源的需求使得难以在实际工程中应用，对数据准确性的要求更是限制了其常规应用。

发明内容

本发明要解决的技术问题：针对现有的基于配准的对数据质量的高需求，以及对计算资源的高需求难以实际落地工程化应用的情况，本发明提供一种基于图像检索的定位方法，基于全景图像的立方体切片进行粗定位，并基于全景图的切片进行精定位，能够实现在实时环境下的高速图像定位。

为了解决上述技术问题，本发明采用的技术方案为：

一种室内场景多尺度矢量图像检索与定位方法，包括：

S101，获取在室内中间位置对环境周围进行全景拍摄得到的室内全景图像；

S102，对室内全景图像分别进行切片和立方体贴图空间变换；

S103，分别对切片和立方体贴图空间变换得到的结果提取切片图像特征；

S104，对任意待定位位置拍摄的目标图像提取目标图像特征，根据目标图像特征、切片图像特征两者的关联度确定待定位目标图像对应的目标位置。

可选地，步骤S101中的室内全景图像为以圆柱体投影模型拍摄获得的尺寸为H×W的全景图像P。

可选地，步骤S102包括：以水平和竖直作为切片轴，将尺寸为H×W的全景图像P进行切片，获得n个尺寸为h₁×w₁的图像切片P₁～P_n；将尺寸为H×W的全景图像P进行立方体贴图变换，将360°视角的全景图像P按照前、后、左、右、上、下六面变换为6个尺寸为h₂×w₂的单视角图像C₁～C₆。

可选地，步骤S103包括：分别对n个尺寸为h₁×w₁的图像切片P₁～P_n进行图像特征提取，得到n个尺寸为1×C的图像切片特征向量；分别对6个尺寸为h₂×w₂的单视角图像C₁～C₆进行图像特征提取，得到6个尺寸为6的单视角特征向量。

可选地，步骤S104中的目标图像为在任意期望定位的位置通过单目相机拍摄得到的目标图像I。

可选地，步骤S104中提取目标图像特征是指针对目标图像I进行图像特征提取，得到1个尺寸为1×C的特征向量。

可选地，步骤S104中根据目标图像特征、切片图像特征两者的关联度确定待定位目标图像对应的目标位置包括：

S201，针对目标图像I的1个尺寸为1×C的特征向量，分别计算与n个尺寸为1×C的图像切片特征向量之间的距离，得到n个切片特征距离d_1,1～d_1,n；针对目标图像I的1个尺寸为1×C的特征向量，分别计算与6个尺寸为6的单视角特征向量之间的距离，得到6个单视角特征距离d_2,1～d_2,6；

S202，在n个切片特征距离d_1,1～d_1,n中找出最小的切片特征距离d_p，确定最小的切片特征距离d_p所对应的图像切片P_p；在6个单视角特征距离d_2,1～d_2,6中找出最小的单视角特征距离d_q，确定最小的单视角特征距离d_q所对应的单视角图像C_q；

S203，计算找到的图像切片P_p、单视角图像C_q之间的距离ds；

S204，若距离ds小于预设阈值s成立，则判定待定位目标图像对应的目标位置属于图像切片P_p，若不成立则判定待定位目标图像对应的目标位置不属于图像切片P_p；若最终找不到所属的图像切片，则判定待定位目标图像对应的目标位置定位失败。

可选地，步骤S201和S203中的距离均为欧氏距离。

此外，本发明还提供一种室内场景多尺度矢量图像检索与定位系统，包括相互连接的微处理器和存储器，所述微处理器被编程或配置以执行所述室内场景多尺度矢量图像检索与定位方法。

此外，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序用于被微处理器编程或配置以执行所述室内场景多尺度矢量图像检索与定位方法。

和现有技术相比，本发明主要具有下述优点：本发明包括获取在室内中间位置对环境周围进行全景拍摄得到的室内全景图像；对室内全景图像分别进行切片和立方体贴图空间变换；分别对切片和立方体贴图空间变换得到的结果提取切片图像特征；对任意待定位位置拍摄的目标图像提取目标图像特征，根据目标图像特征、切片图像特征两者的关联度确定待定位目标图像对应的目标位置。本发明针对现有的室内场景下基于配准的定位方法对数据质量的高需求，以及对计算资源的高需求难以实际落地工程化应用的情况，能够基于全景图像的立方体切片进行粗定位，并基于全景图的切片进行精定位，能够实现实时环境下的高速图像定位。

附图说明

图1为本发明实施例方法的基本流程示意图。

图2为本发明实施例的输入示意图。

图3为本发明实施例的输出定位结果示意图。

具体实施方式

如图1所示，本实施例室内场景多尺度矢量图像检索与定位方法包括：

S101，获取在室内中间位置对环境周围进行全景拍摄得到的室内全景图像，如图2所示；

S102，对室内全景图像分别进行切片和立方体贴图空间变换；

S103，分别对切片和立方体贴图空间变换得到的结果提取切片图像特征；

S104，对任意待定位位置拍摄的目标图像提取目标图像特征，根据目标图像特征、切片图像特征两者的关联度确定待定位目标图像对应的目标位置，如图3所示。

本实施例步骤S101中的室内全景图像为以圆柱体投影模型拍摄获得的尺寸为H×W的全景图像P。在室内中间位置对环境周围进行全景拍摄时，尽量选择场景空间的中间位置对环境周围进行全景拍摄，以圆柱体投影模型拍摄获得该室内空间的尺寸为H×W的全景图像P。

本实施例中步骤S102包括：以水平和竖直作为切片轴，将尺寸为H×W的全景图像P进行切片，获得n个尺寸为h₁×w₁的图像切片P₁～P_n；将尺寸为H×W的全景图像P进行立方体贴图变换，将360°视角的全景图像P按照前、后、左、右、上、下六面变换为6个尺寸为h₂×w₂的单视角图像C₁～C₆。

本实施例中，步骤S103包括：分别对n个尺寸为h₁×w₁的图像切片P₁～P_n进行图像特征提取，得到n个尺寸为1×C的图像切片特征向量；分别对6个尺寸为h₂×w₂的单视角图像C₁～C₆进行图像特征提取，得到6个尺寸为6的单视角特征向量。需要说明的是，对n个尺寸为h₁×w₁的图像切片P₁～P_n进行图像特征提取可根据需要采用所需的卷积神经网络，例如作为一种可选的实施方式，本实施例中进行图像特征提取的步骤包括：使用ResNet对尺寸为H×W的输入图像进行基础特征提取，经过3层卷积层，获得H/8×W/8*512的特征图。然后，以H/8×W/8*512的特征图为输入，经过2层卷积层以及通道平均层，获得H/16×W/16*1的特征图；然后，通过构建卷积层和训练计算，以H/16×W/16*1的特征图为输入，获得1×HW/256的特征向量，作为检索特征。

本实施例中，步骤S104中的目标图像为在任意期望定位的位置通过单目相机拍摄得到的目标图像I。对任意待定位位置拍摄的目标图像使用任意相机进行单目拍摄，记为I，以备在步骤S104中使用。

本实施例中，步骤S104中提取目标图像特征是指针对目标图像I进行图像特征提取，得到1个尺寸为1×C的特征向量。

本实施例中，步骤S104中根据目标图像特征、切片图像特征两者的关联度确定待定位目标图像对应的目标位置包括：

S201，针对目标图像I的1个尺寸为1×C的特征向量，分别计算与n个尺寸为1×C的图像切片特征向量之间的距离，得到n个切片特征距离d_1,1～d_1,n；针对目标图像I的1个尺寸为1×C的特征向量，分别计算与6个尺寸为6的单视角特征向量之间的距离，得到6个单视角特征距离d_2,1～d_2,6；

S202，在n个切片特征距离d_1,1～d_1,n中找出最小的切片特征距离d_p，确定最小的切片特征距离d_p所对应的图像切片P_p；在6个单视角特征距离d_2,1～d_2,6中找出最小的单视角特征距离d_q，确定最小的单视角特征距离d_q所对应的单视角图像C_q；

S203，计算找到的图像切片P_p、单视角图像C_q之间的距离ds；

S204，若距离ds小于预设阈值s成立，则判定待定位目标图像对应的目标位置属于图像切片P_p，若不成立则判定待定位目标图像对应的目标位置不属于图像切片P_p；若最终找不到所属的图像切片，则判定待定位目标图像对应的目标位置定位失败。本实施例中，步骤S201和S203中的距离均为欧氏距离，此外也可以根据需要采用其他几何距离来替代欧氏距离。

综上所述，包括获取在室内中间位置对环境周围进行全景拍摄得到的室内全景图像；对室内全景图像分别进行切片和立方体贴图空间变换；分别对切片和立方体贴图空间变换得到的结果提取切片图像特征；对任意待定位位置拍摄的目标图像提取目标图像特征，根据目标图像特征、切片图像特征两者的关联度确定待定位目标图像对应的目标位置。本发明针对现有的室内场景下基于配准的定位方法对数据质量的高需求，以及对计算资源的高需求难以实际落地工程化应用的情况，能够基于全景图像的立方体切片进行粗定位，并基于全景图的切片进行精定位，能够实现实时环境下的高速图像定位。

此外，本实施例还提供一种室内场景多尺度矢量图像检索与定位用于室内场景的图像定位系统，包括相互连接的微处理器和存储器，该微处理器被编程或配置以执行该室内场景多尺度矢量图像检索与定位方法。此外，本实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，该计算机程序用于被微处理器编程或配置以执行该室内场景多尺度矢量图像检索与定位方法。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种室内场景多尺度矢量图像检索与定位方法，其特征在于，包括：

S101，获取在室内中间位置对环境周围进行全景拍摄得到的室内全景图像；

S102，对室内全景图像分别进行切片和立方体贴图空间变换；

S103，分别对切片和立方体贴图空间变换得到的结果提取切片图像特征；

S104，对任意待定位位置拍摄的目标图像提取目标图像特征，根据目标图像特征、切片图像特征两者的关联度确定待定位目标图像对应的目标位置。

2.根据权利要求1所述的室内场景多尺度矢量图像检索与定位方法，其特征在于，步骤S101中的室内全景图像为以圆柱体投影模型拍摄获得的尺寸为H×W的全景图像P。

3.根据权利要求2所述的室内场景多尺度矢量图像检索与定位方法，其特征在于，步骤S102包括：以水平和竖直作为切片轴，将尺寸为H×W的全景图像P进行切片，获得n个尺寸为h₁×w₁的图像切片P₁～P_n；将尺寸为H×W的全景图像P进行立方体贴图变换，将360°视角的全景图像P按照前、后、左、右、上、下六面变换为6个尺寸为h₂×w₂的单视角图像C₁～C₆。

4.根据权利要求3所述的室内场景多尺度矢量图像检索与定位方法，其特征在于，步骤S103包括：分别对n个尺寸为h₁×w₁的图像切片P₁～P_n进行图像特征提取，得到n个尺寸为1×C的图像切片特征向量；分别对6个尺寸为h₂×w₂的单视角图像C₁～C₆进行图像特征提取，得到6个尺寸为6的单视角特征向量。

5.根据权利要求4所述的室内场景多尺度矢量图像检索与定位方法，其特征在于，步骤S104中的目标图像为在任意期望定位的位置通过单目相机拍摄得到的目标图像I。

6.根据权利要求5所述的室内场景多尺度矢量图像检索与定位方法，其特征在于，步骤S104中提取目标图像特征是指针对目标图像I进行图像特征提取，得到1个尺寸为1×C的特征向量。

7.根据权利要求6所述的室内场景多尺度矢量图像检索与定位方法，其特征在于，步骤S104中根据目标图像特征、切片图像特征两者的关联度确定待定位目标图像对应的目标位置包括：

S201，针对目标图像I的1个尺寸为1×C的特征向量，分别计算与n个尺寸为1×C的图像切片特征向量之间的距离，得到n个切片特征距离d_1,1～d_1,n；针对目标图像I的1个尺寸为1×C的特征向量，分别计算与6个尺寸为6的单视角特征向量之间的距离，得到6个单视角特征距离d_2,1～d_2,6；

S202，在n个切片特征距离d_1,1～d_1,n中找出最小的切片特征距离d_p，确定最小的切片特征距离d_p所对应的图像切片P_p；在6个单视角特征距离d_2,1～d_2,6中找出最小的单视角特征距离d_q，确定最小的单视角特征距离d_q所对应的单视角图像C_q；

S203，计算找到的图像切片P_p、单视角图像C_q之间的距离ds；

S204，若距离ds小于预设阈值s成立，则判定待定位目标图像对应的目标位置属于图像切片P_p，若不成立则判定待定位目标图像对应的目标位置不属于图像切片P_p；若最终找不到所属的图像切片，则判定待定位目标图像对应的目标位置定位失败。

8.根据权利要求7所述的室内场景多尺度矢量图像检索与定位方法，其特征在于，步骤S201和S203中的距离均为欧氏距离。

9.一种室内场景多尺度矢量图像检索与定位用于室内场景的图像定位系统，包括相互连接的微处理器和存储器，其特征在于，所述微处理器被编程或配置以执行权利要求1～8中任意一项所述室内场景多尺度矢量图像检索与定位方法。

10.一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其特征在于，所述计算机程序用于被微处理器编程或配置以执行权利要求1～8中任意一项所述室内场景多尺度矢量图像检索与定位方法。

Images