CN116630598A - 大场景下的视觉定位方法、装置、电子设备及存储介质 - Google Patents
大场景下的视觉定位方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN116630598A CN116630598A CN202310884422.9A CN202310884422A CN116630598A CN 116630598 A CN116630598 A CN 116630598A CN 202310884422 A CN202310884422 A CN 202310884422A CN 116630598 A CN116630598 A CN 116630598A
- Authority
- CN
- China
- Prior art keywords
- dimensional model
- feature
- dimensional
- point cloud
- oblique
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 86
- 238000000034 method Methods 0.000 title claims abstract description 76
- 238000000605 extraction Methods 0.000 claims abstract description 45
- 238000012545 processing Methods 0.000 claims abstract description 33
- 238000013507 mapping Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 13
- 230000004807 localization Effects 0.000 claims description 10
- 230000011218 segmentation Effects 0.000 claims description 7
- 239000013598 vector Substances 0.000 description 16
- 238000004422 calculation algorithm Methods 0.000 description 15
- 238000011084 recovery Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 8
- 230000009286 beneficial effect Effects 0.000 description 5
- 238000010276 construction Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 230000007812 deficiency Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/54—Extraction of image or video features relating to texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Artificial Intelligence (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种大场景下的视觉定位方法、装置、电子设备及存储介质，涉及定位技术领域。该方法包括：对目标影像进行特征提取处理，获取特征点数据；将特征点数据与三维模型特征库进行匹配，获取匹配点的三维点云坐标；基于匹配点的三维点云坐标和目标影像对应的相机参数，获取拍摄目标影像的位置；三维模型特征库基于目标区域的倾斜摄影三维模型构建。本发明提供的大场景下的视觉定位方法、装置、电子设备及存储介质，基于利用已有的倾斜摄影三维模型构建三维模型特征库，结合视觉主动定位手段，建立目标影像的特征点数据和三维模型特征库之间的匹配关系，能解决在卫星信号拒止条件下又无法利用移动采集车等构建特征库或地图的区域的定位问题。
Description
技术领域
本发明涉及定位技术领域，尤其涉及一种大场景下的视觉定位方法、装置、电子设备及存储介质。
背景技术
定位技术被广泛应用于日常生活的各方面，例如智能手机、机器人以及自动驾驶等都需要定位才能实现相应功能。北斗等卫星导航系统（Global Navigation SatelliteSystem，GNSS）、激光雷达或惯性测量单元（Inertial Measurement Unit ，IMU）等都可以提供定位服务，但不同的定位方法都具有各自的局限性。
为了弥补不同的定位方法的不足，视觉定位方法得到越来越多的应用。视觉定位不需要依赖外来信号，可实现自主定位，弥补卫星信号拒止条件下的定位需求,当定位信息丢失时，视觉定位可以通过利用图像重新实现定位，获取当前位置信息。视觉定位，又称视觉主动定位，是指用户主动拍照，通过后台计算实现的定位方式。该定位方式通常需要提前建立定位区域的影像特征库。
现有的视觉主动定位方法需要依赖构建好的特征库或地图。特征库通常是通过车载移动采集设备或者手持移动设备采集原始数据，基于上述数据构建特征库。地图构建方式有很多，一般利用从运动恢复结构（Structure from motion，SFM）或定位过程中同步定位与地图构建（Simultaneous Localization and Mapping ，SLAM）实现。上述两种地图构建方式也需要通过车载或手持采集设备进行原始数据采集。车载或手持采集方式决定了构建特征库或地图的区域必须是车或人能进入的区域，对于比较危险区域无法进行特征库或地图的构建，而这些区域迫切需要视觉定位弥补卫星定位。并且，利用车载或移动采集设备进行数据采集造成了数据重复采集和资源浪费，也不利于视觉主动定位的大范围应用推广，尤其对于采集数据困难的地区。再有，对于小场景，提前建立特征库或地图的方式是可取的。但在大场景下，建立特征库或地图的代价较大。
综上，现有视觉定位方法无法在卫星信号拒止条件下又无法利用移动采集车等构建特征库或地图的区域（例如深山或森林等）进行定位。
发明内容
本发明提供一种大场景下的视觉定位方法、装置、电子设备及存储介质，用以解决现有技术中在卫星信号拒止条件下又无法利用移动采集车等构建特征库或地图的区域进行定位的缺陷，实现在卫星信号拒止条件下又无法利用移动采集车等构建特征库或地图的区域进行定位。
本发明提供一种大场景下的视觉定位方法，包括：
获取目标影像；
对所述目标影像进行特征提取处理，获取特征点数据；
将所述特征点数据与三维模型特征库进行匹配，获取匹配点的三维点云坐标；
基于所述匹配点的三维点云坐标和所述目标影像对应的相机参数，获取拍摄所述目标影像的位置；
其中，所述三维模型特征库是基于目标区域的倾斜摄影三维模型构建的。
根据本发明提供的一种大场景下的视觉定位方法，所述将所述特征点数据与三维模型特征库进行匹配，获取匹配点的三维点云坐标之前，还包括：
获取所述目标区域的倾斜摄影三维模型；
基于所述倾斜摄影三维模型，恢复所述倾斜摄影三维模型对应的点云数据和特征点信息；
基于所述倾斜摄影三维模型对应的点云数据和特征点信息，构建所述三维模型特征库。
根据本发明提供的一种大场景下的视觉定位方法，所述基于所述倾斜摄影三维模型，恢复所述倾斜摄影三维模型对应的点云数据和特征点信息，包括：
获取所述倾斜摄影三维模型的几何特征和纹理特征；
基于所述几何特征和所述纹理特征，获取所述倾斜摄影三维模型对应的点云数据和特征点信息。
根据本发明提供的一种大场景下的视觉定位方法，所述基于所述几何特征和所述纹理特征，获取所述倾斜摄影三维模型对应的点云数据和特征点信息，包括：
基于所述几何特征及所述倾斜摄影三维模型的共面属性，恢复所述倾斜摄影三维模型的三维点云信息，作为所述点云数据，并基于所述几何特征和所述纹理特征，对所述倾斜摄影三维模型的每个面进行二维图像的特征提取处理，获取所述特征点信息。
根据本发明提供的一种大场景下的视觉定位方法，所述基于所述几何特征及所述倾斜摄影三维模型的共面属性，恢复所述倾斜摄影三维模型的三维点云信息，作为所述点云数据，包括：
基于所述几何特征及所述倾斜摄影三维模型的共面属性，对所述倾斜摄影三维模型的每个面进行点云内插处理，得到所述倾斜摄影三维模型每个平面的像素级三维点云信息，作为所述特征点信息。
根据本发明提供的一种大场景下的视觉定位方法，所述基于所述几何特征和所述纹理特征，对所述倾斜摄影三维模型的每个面进行二维图像的特征提取处理，获取所述特征点信息，包括：
根据三维模型面域分割原理，基于所述几何特征和所述纹理特征，对所述倾斜摄影三维模型的每个面进行分割；
对分割得到的各二维图像进行二维图像的特征提取处理，获取所述特征点信息。
根据本发明提供的一种大场景下的视觉定位方法，所述基于所述倾斜摄影三维模型对应的点云数据和特征点信息，构建所述三维模型特征库，包括：
基于像素的坐标，建立所述点云数据和所述特征点信息之间的映射关系；
基于所述映射关系，构建所述三维模型特征库。
本发明还提供一种大场景下的视觉定位装置，包括：
影像获取模块，用于获取目标影像；
提取模块，用于对所述目标影像进行特征提取处理，获取特征点数据；
匹配模块，用于将所述特征点数据与三维模型特征库进行匹配，获取匹配点的三维点云坐标；
定位模块，用于基于所述匹配点的三维点云坐标和所述目标影像对应的相机参数，获取拍摄所述目标影像的位置；
其中，所述三维模型特征库是基于目标区域的倾斜摄影三维模型构建的。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述大场景下的视觉定位方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述大场景下的视觉定位方法。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述大场景下的视觉定位方法。
本发明提供的大场景下的视觉定位方法、装置、电子设备及存储介质，基于利用已有的倾斜摄影三维模型构建的三维模型特征库，结合视觉主动定位手段，建立目标影像的特征点数据和三维模型特征库之间的匹配关系，充分利用现有的大数据进而实现大场景下的基于三维模型的视觉主动定位，能解决在卫星信号拒止条件下又无法利用移动采集车等构建特征库或地图的区域的定位问题。并且，充分利用已有三维模型数据，能实现已有倾斜三维模型数据由于矢量化程度低而无法充分发挥价值的一大使用途径，提高倾斜三维模型数据的应用范围；由于无需视觉主动定位首先必须进行数据采集的重复过程，能降低数据采集的成本；重点可以为大型景区或森林公园等容易发生事故区域提供另一种自主定位手段，能弥补卫星定位的不足，能在应急救援等行业发挥极大的作用。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的大场景下的视觉定位方法的流程示意图之一；
图2是本发明提供的大场景下的视觉定位方法的流程示意图之二；
图3是本发明提供的大场景下的视觉定位系统的结构示意图；
图4是本发明提供的大场景下的视觉定位装置的结构示意图；
图5是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明实施例的描述中，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性，且不涉及顺序。
下面结合图1至图5描述本发明提供的大场景下的视觉定位方法、装置、电子设备及存储介质。
图1是本发明提供的大场景下的视觉定位方法的流程示意图之一。如图1所示，本发明实施例提供的大场景下的视觉定位方法的执行主体可以为大场景下的视觉定位装置，该方法包括：步骤101、步骤102、步骤103和步骤104。
步骤101、获取目标影像。
具体地，目标影像可以是在需要确定位置的地点拍摄的影像。
可选地，目标影像，可以是通过相机或者终端的相机程序进行拍摄得到的。
可以通过通信网络或其他数据传输方式，获取目标影像。
步骤102、对目标影像进行特征提取处理，获取特征点数据。
具体地，可以采用常用的特征提取算法中的任一种或者至少两种的结合，对目标影像进行特征提取处理，获取特征点数据。
上述特征点数据可以包括特征点、描述子和特征向量。即通过对目标影像进行特征提取处理，可以获取特征点、描述子和特征向量；获取特征点、描述子和特征向量之后，可以将特征点、描述子和特征向量构建为特征点数据。
步骤103、将特征点数据与三维模型特征库进行匹配，获取匹配点的三维点云坐标；其中，三维模型特征库是基于目标区域的倾斜摄影三维模型构建的。
具体地，可以采用常用的任一种点匹配算法，对特征点数据与三维模型特征库进行匹配，将匹配成功的点作为匹配点，从而可以获取三维模型特征库中各匹配点的三维点云坐标。
需要说明的是，倾斜摄影三维模型是利用目前非常成熟的无人机倾斜摄影建立的三维模型。目前，各国均已经构建有大场景下的倾斜摄影三维模型，作为大区域已经构建的倾斜摄影三维模型。
本发明实施例利用已构建完成的倾斜摄影三维模型，为充分说明本发明实施例的创新性和必要性，假设倾斜摄影的原始影像数据和构建过程中点云过程数据已无法使用。
可以通过技术手段，对目标区域的倾斜摄影三维模型进行恢复，恢复出目标区域的倾斜摄影三维模型的点云数据、拓扑关系、纹理信息和特征点等信息，构建出大场景下的三维模型特征库。目标区域是拍摄目标影像的位置所属的区域。
步骤104、基于匹配点的三维点云坐标和目标影像对应的相机参数，获取拍摄目标影像的位置。
具体地，可以利用任一种二维-三维匹配算法，基于匹配点的三维点云坐标和目标影像对应的相机参数，进行目标影像的拍摄瞬间的定位位置解算，得到拍摄目标影像的位置，即实现视觉主动定位。
可选地，二维-三维匹配算法，可以为任一种PNP（Perspective-n-Points）算法（n点透视法）等。
本发明实施例基于利用已有的倾斜摄影三维模型构建的三维模型特征库，结合视觉主动定位手段，建立目标影像的特征点数据和三维模型特征库之间的匹配关系，充分利用现有的大数据进而实现大场景下的基于三维模型的视觉主动定位，能解决在卫星信号拒止条件下又无法利用移动采集车等构建特征库或地图的区域的定位问题。并且，充分利用已有三维模型数据，能实现已有倾斜三维模型数据由于矢量化程度低而无法充分发挥价值的一大使用途径，提高倾斜三维模型数据的应用范围；由于无需视觉主动定位首先必须进行数据采集的重复过程，能降低数据采集的成本；重点可以为大型景区或森林公园等容易发生事故区域提供另一种自主定位手段，能弥补卫星定位的不足，能在应急救援等行业发挥极大的作用。
基于上述任一实施例的内容，将特征点数据与三维模型特征库进行匹配，获取匹配点的三维点云坐标之前，还包括：获取目标区域的倾斜摄影三维模型。
具体地，步骤103之前，可以先获取已构建完成的倾斜摄影三维模型中目标区域的倾斜摄影三维模型。
基于倾斜摄影三维模型，恢复倾斜摄影三维模型对应的点云数据和特征点信息。
具体地，可以采用基于倾斜摄影影像构建三维模型的算法的逆向算法，对该倾斜摄影三维模型进行信息恢复，从而得到倾斜摄影三维模型对应的点云数据和特征点信息。
倾斜摄影三维模型对应的点云数据，即可以用于构建该倾斜摄影三维模型的点云数据。
倾斜摄影三维模型对应的特征点信息，即可以用于构建该倾斜摄影三维模型的特征点的信息。
基于倾斜摄影三维模型对应的点云数据和特征点信息，构建三维模型特征库。
具体地，可以基于倾斜摄影三维模型对应的点云数据，构建三维模型点云库，并可以基于倾斜摄影三维模型对应的特征点信息，构建图像特征库。
可选地，该三维模型点云库中存储数据可以包括点云三维坐标、和对应的像素的坐标。
可选地，该图像特征点库中存储数据可以包括特征点、描述子、特征向量以及对应的像素的坐标。
构建三维模型点云库和图像特征库之后，可以建立同一个点在三维模型点云库中的数据和在图像特征库中的数据之间的联系，从而将三维模型点云库和图像特征库合并为三维模型特征库。
本发明实施例通过恢复三维模型数据的三维模型点云库并构建图像特征库，基于三维模型点云库和图像特征库，构建三维模型特征库，能实现基于三维模型的视觉主动定位，能解决在卫星信号拒止条件下又无法利用移动采集车等构建特征库或地图的区域的定位问题。
基于上述任一实施例的内容，基于倾斜摄影三维模型，恢复倾斜摄影三维模型对应的点云数据和特征点信息，包括：获取倾斜摄影三维模型的几何特征和纹理特征。
具体地，可以对倾斜摄影三维模型进行信息恢复，获取倾斜摄影三维模型的几何特征和纹理特征。
可选地，可以提取倾斜摄影三维模型的顶点的坐标和顶点的法向量。提取倾斜摄影三维模型的顶点坐标和顶点法向量之后，可以基于顶点坐标和顶点法向量，获取倾斜摄影三维模型的几何特征和纹理特征。
可选地，可以首先确定倾斜摄影三维模型的某一点，在一定区域范围内进行直线拟合，再通过相邻两条线相交确定顶点，从而获取倾斜摄影三维模型中顶点的坐标和顶点的法向量。
基于几何特征和纹理特征，获取倾斜摄影三维模型对应的点云数据和特征点信息。
具体地，可以基于几何特征和纹理特征，恢复倾斜摄影三维模型对应的点云数据，并提取倾斜摄影三维模型对应的特征点信息。
基于上述任一实施例的内容，基于几何特征和纹理特征，获取倾斜摄影三维模型对应的点云数据和特征点信息，包括：基于几何特征及倾斜摄影三维模型的共面属性，恢复倾斜摄影三维模型的三维点云信息，作为点云数据，并基于几何特征和纹理特征，对倾斜摄影三维模型的每个面进行二维图像的特征提取处理，获取特征点信息。
具体地，可以基于倾斜摄影三维模型的几何特征及倾斜摄影三维模型的共面属性，恢复倾斜摄影三维模型的三维点云信息，作为倾斜摄影三维模型对应的点云数据。
可以基于倾斜摄影三维模型的几何特征和纹理特征，对倾斜摄影三维模型的每个面进行二维图像的特征提取处理，获取特征点信息。
对倾斜摄影三维模型的每个面进行二维图像的特征提取处理，可以采用与对目标影像进行特征提取处理相同的方法。
基于上述任一实施例的内容，基于几何特征及倾斜摄影三维模型的共面属性，恢复倾斜摄影三维模型的三维点云信息，作为点云数据，包括：基于几何特征及倾斜摄影三维模型的共面属性，对倾斜摄影三维模型的每个面进行点云内插处理，得到倾斜摄影三维模型每个平面的像素级三维点云信息，作为特征点信息。
具体地，可以进行特征点内插，达到特征点信息。
可选地，可以基于几何特征及三维模型共面属性，进行点云内插，恢复倾斜摄影三维模型每一个面像素级的点云信息，构建丰富的点云数据，形成三维点云模型库。
基于上述任一实施例的内容，基于几何特征和纹理特征，对倾斜摄影三维模型的每个面进行二维图像的特征提取处理，获取特征点信息，包括：根据三维模型面域分割原理，基于几何特征和纹理特征，对倾斜摄影三维模型的每个面进行分割。
具体地，基于三维模型面域分割原理，对倾斜摄影三维模型的每一个平面进行分割，得到分割后的图像。
对分割得到的各二维图像进行二维图像的特征提取处理，获取特征点信息。
具体地，可以对分割后的图像进行特征提取处理，获得特征点、描述子及特征向量，构建图像特征点库。
对分割后的图像进行特征提取处理，可以采用与对目标影像进行特征提取处理相同的方法。
基于上述任一实施例的内容，基于倾斜摄影三维模型对应的点云数据和特征点信息，构建三维模型特征库，包括：基于像素的坐标，建立点云数据和特征点信息之间的映射关系。
具体地，可以基于像素的坐标，建立同一像素的点云数据和特征点信息之间的联系，从而建立点云数据和特征点信息之间的映射关系。
基于映射关系，构建三维模型特征库。
具体地，可以基于上述映射关系，将同一像素的点云数据和特征点信息合并为一条数据，从而将三维模型点云库和图像特征库合并为三维模型特征库，构建像素级的三维模型特征库。三维模型特征库存储的数据可以包括像素级的特征点、特征向量、描述子及点云三维坐标。
为了便于对本发明上述各实施例的理解，下面通过一个实例对大场景下的视觉定位方法的实施过程进行说明。
图2是本发明提供的大场景下的视觉定位方法的流程示意图之二。如图2所示，大场景下的视觉定位方法的流程可以包括以下步骤：
步骤201、提取倾斜摄影三维模型的顶点坐标及顶点法向量，以恢复倾斜摄影三维模型的几何特征和纹理特征等。
进行三维模型信息恢复。可以首先确定三维模型某一点，在一定区域范围内进行直线拟合，再通过相邻两条线相交确定物体的顶点，获取倾斜摄影三维模型的顶点坐标。
步骤201之后，可以执行步骤202和步骤203。步骤202和步骤203的执行顺序可以不固定，即可以先执行步骤202后执行步骤203，或者可以先执行步骤203后执行步骤202，或者可以并行（同时）执行步骤202和步骤203。
步骤202、以几何特征及共面属性为前提，恢复每一个平面的像素级的三维点云信息，构建三维模型点云库。
构建三维模型点云库。可以对步骤201中的顶点坐标进行面拟合，得到物体的多个关键面。以像素为单位，内插每一个平面的点坐标，以恢复三维模型完整点云，形成三维模型点云库。该三维模型点云库中存储数据为点云三维坐标和像素坐标。
步骤203、基于三维模型面域分割原理，对分割后的图像进行特征提取，构建图像特征点库。
构建图像特征点库。对步骤202中多个关键面进行二维图像特征提取，获取特征点、描述子及特征向量，形成图像特征点库。该图像特征点库中存储数据为特征点、描述子、特征向量以及对应像素坐标。
其中，特征提取算法不限于一种，可多种特征提取算法同时使用，并将提取结果都存入图像特征点库中。
若先执行步骤203后执行步骤202，可以在步骤203中先对步骤201中的顶点坐标进行面拟合，得到物体的多个关键面；步骤202中可直接进行对步骤203中多个关键面点云内插。
步骤204、通过像素坐标建立三维模型点云库与图像特征点库的映射关系，从而构建像素级的三维模型特征库。
构建三维模型特征库。通过像素坐标的匹配，建立三维模型点云库和图像特征点库的映射关系，进而构建三维模型特征库。该特征库存储数据为特征点、描述子、特征向量、像素坐标以及对应的点云三维坐标。
步骤205、对用户拍照影像进行特征提取，构建特征点数据。
可以利用用户手机对需定位周围环境进行拍照，对拍照后的影像（即用户拍照影像）使用与步骤203相同的特征提取算法进行特征提取，包括特征点、描述子以及特征向量。
步骤206、对特征点数据与三维模型特征库进行特征匹配，获取匹配点的三维点云坐标。
对步骤205构建的特征点数据与步骤204构建的三维模型数据库进行特征匹配，从而获取匹配点的点云三维坐标。
步骤207、利用PNP算法，进行用户拍照瞬间定位位置解算，即实现视觉主动定位。
位置解算。可以采用PNP算法，利用步骤206的匹配点的点云三维坐标以及用户手机的相机参数，解算用户拍照瞬间位置，即实现视觉主动定位。
图3是本发明提供的大场景下的视觉定位系统的结构示意图。上述大场景下的视觉定位方法可以基于如图3所示的大场景下的视觉定位系统。该系统主要包括三维模型存储器、三维模型处理器、用户终端以及云端服务器。
三维模型存储器，可以用于存储各区域的倾斜摄影三维模型。
三维模型处理器，可以用于基于倾斜摄影三维模型，构建三维模型特征库。
用户终端，可以用于拍摄目标影像。
云端服务器，可以用于基于目标影像和三维模型特征库，执行本申请上述任一实施例提供的大场景下的视觉定位方法。
下面对本发明提供的大场景下的视觉定位装置进行描述，下文描述的大场景下的视觉定位装置与上文描述的大场景下的视觉定位方法可相互对应参照。
图4是本发明提供的大场景下的视觉定位装置的结构示意图。基于上述任一实施例的内容，如图4所示，该装置包括影像获取模块401、提取模块402、匹配模块403和定位模块404，其中：
影像获取模块401，用于获取目标影像；
提取模块402，用于对目标影像进行特征提取处理，获取特征点数据；
匹配模块403，用于将特征点数据与三维模型特征库进行匹配，获取匹配点的三维点云坐标；
定位模块404，用于基于匹配点的三维点云坐标和目标影像对应的相机参数，获取拍摄目标影像的位置；
其中，三维模型特征库是基于目标区域的倾斜摄影三维模型构建的。
具体地，影像获取模块401、提取模块402、匹配模块403和定位模块404可以顺次电连接。
影像获取模块401可以通过通信网络或其他数据传输方式，获取目标影像。
提取模块402可以采用常用的特征提取算法中的任一种或者至少两种的结合，对目标影像进行特征提取处理，获取特征点数据。
匹配模块403可以采用常用的任一种点匹配算法，对特征点数据与三维模型特征库进行匹配，将匹配成功的点作为匹配点，从而可以获取三维模型特征库中各匹配点的三维点云坐标。
定位模块404可以利用任一种二维-三维匹配算法，基于匹配点的三维点云坐标和目标影像对应的相机参数，进行目标影像的拍摄瞬间的定位位置解算，得到拍摄目标影像的位置，即实现视觉主动定位。
可选地，该大场景下的视觉定位装置，还可以包括：
模型获取模块，用于获取目标区域的倾斜摄影三维模型；
恢复模块，用于基于倾斜摄影三维模型，恢复倾斜摄影三维模型对应的点云数据和特征点信息；
特征库构建模块，用于基于倾斜摄影三维模型对应的点云数据和特征点信息，构建三维模型特征库。
可选地，恢复模块，可以包括：
特征获取单元，用于获取倾斜摄影三维模型的几何特征和纹理特征；
数据恢复单元，用于基于几何特征和纹理特征，获取倾斜摄影三维模型对应的点云数据和特征点信息。
可选地，数据恢复单元，可以包括：
点云恢复子单元，用于基于几何特征及倾斜摄影三维模型的共面属性，恢复倾斜摄影三维模型的三维点云信息，作为点云数据；
特征提取子单元，用于基于几何特征和纹理特征，对倾斜摄影三维模型的每个面进行二维图像的特征提取处理，获取特征点信息。
可选地，点云恢复子单元，可以具体用于基于几何特征及倾斜摄影三维模型的共面属性，对倾斜摄影三维模型的每个面进行点云内插处理，得到倾斜摄影三维模型每个平面的像素级三维点云信息，作为特征点信息。
可选地，特征提取子单元，可以具体用于：
根据三维模型面域分割原理，基于几何特征和纹理特征，对倾斜摄影三维模型的每个面进行分割；
对分割得到的各二维图像进行二维图像的特征提取处理，获取特征点信息。
可选地，特征库构建模块，可以具体用于：
基于像素的坐标，建立点云数据和特征点信息之间的映射关系；
基于映射关系，构建三维模型特征库。
本发明实施例提供的大场景下的视觉定位装置，用于执行本发明上述大场景下的视觉定位方法，其实施方式与本发明提供的大场景下的视觉定位方法的实施方式一致，且可以达到相同的有益效果，此处不再赘述。
该大场景下的视觉定位装置用于前述各实施例的大场景下的视觉定位方法。因此，在前述各实施例中的大场景下的视觉定位方法中的描述和定义，可以用于本发明实施例中各执行模块的理解。
本发明实施例基于利用已有的倾斜摄影三维模型构建的三维模型特征库，结合视觉主动定位手段，建立目标影像的特征点数据和三维模型特征库之间的匹配关系，充分利用现有的大数据进而实现大场景下的基于三维模型的视觉主动定位，能解决在卫星信号拒止条件下又无法利用移动采集车等构建特征库或地图的区域的定位问题。并且，充分利用已有三维模型数据，能实现已有倾斜三维模型数据由于矢量化程度低而无法充分发挥价值的一大使用途径，提高倾斜三维模型数据的应用范围；由于无需视觉主动定位首先必须进行数据采集的重复过程，能降低数据采集的成本；重点可以为大型景区或森林公园等容易发生事故区域提供另一种自主定位手段，能弥补卫星定位的不足，能在应急救援等行业发挥极大的作用。
图5是本发明提供的电子设备的结构示意图，如图5所示，该电子设备可以包括：处理器（processor）510、通信接口（Communications Interface）520、存储器（memory）530和通信总线540，其中，处理器510，通信接口520，存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令，以执行大场景下的视觉定位方法，该方法包括：获取目标影像；对目标影像进行特征提取处理，获取特征点数据；将特征点数据与三维模型特征库进行匹配，获取匹配点的三维点云坐标；基于匹配点的三维点云坐标和目标影像对应的相机参数，获取拍摄目标影像的位置；其中，三维模型特征库是基于目标区域的倾斜摄影三维模型构建的。
此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
本申请实施例提供的电子设备中的处理器510可以调用存储器530中的逻辑指令，其实施方式与本申请提供的大场景下的视觉定位方法的实施方式一致，且可以达到相同的有益效果，此处不再赘述。
另一方面，本发明还提供一种计算机程序产品，计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当程序指令被计算机执行时，计算机能够执行上述各方法所提供的大场景下的视觉定位方法，该方法包括：获取目标影像；对目标影像进行特征提取处理，获取特征点数据；将特征点数据与三维模型特征库进行匹配，获取匹配点的三维点云坐标；基于匹配点的三维点云坐标和目标影像对应的相机参数，获取拍摄目标影像的位置；其中，三维模型特征库是基于目标区域的倾斜摄影三维模型构建的。
本申请实施例提供的计算机程序产品被执行时，实现上述大场景下的视觉定位方法，其具体的实施方式与前述方法的实施例中记载的实施方式一致，且可以达到相同的有益效果，此处不再赘述。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的大场景下的视觉定位方法，该方法包括：获取目标影像；对目标影像进行特征提取处理，获取特征点数据；将特征点数据与三维模型特征库进行匹配，获取匹配点的三维点云坐标；基于匹配点的三维点云坐标和目标影像对应的相机参数，获取拍摄目标影像的位置；其中，三维模型特征库是基于目标区域的倾斜摄影三维模型构建的。
本申请实施例提供的非暂态计算机可读存储介质上存储的计算机程序被执行时，实现上述大场景下的视觉定位方法，其具体的实施方式与前述方法的实施例中记载的实施方式一致，且可以达到相同的有益效果，此处不再赘述。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种大场景下的视觉定位方法，其特征在于，包括：
获取目标影像；
对所述目标影像进行特征提取处理，获取特征点数据；
将所述特征点数据与三维模型特征库进行匹配，获取匹配点的三维点云坐标；
基于所述匹配点的三维点云坐标和所述目标影像对应的相机参数，获取拍摄所述目标影像的位置；
其中，所述三维模型特征库是基于目标区域的倾斜摄影三维模型构建的。
2.根据权利要求1所述的大场景下的视觉定位方法，其特征在于，所述将所述特征点数据与三维模型特征库进行匹配，获取匹配点的三维点云坐标之前，还包括：
获取所述目标区域的倾斜摄影三维模型；
基于所述倾斜摄影三维模型，恢复所述倾斜摄影三维模型对应的点云数据和特征点信息；
基于所述倾斜摄影三维模型对应的点云数据和特征点信息，构建所述三维模型特征库。
3.根据权利要求2所述的大场景下的视觉定位方法，其特征在于，所述基于所述倾斜摄影三维模型，恢复所述倾斜摄影三维模型对应的点云数据和特征点信息，包括：
获取所述倾斜摄影三维模型的几何特征和纹理特征；
基于所述几何特征和所述纹理特征，获取所述倾斜摄影三维模型对应的点云数据和特征点信息。
4.根据权利要求3所述的大场景下的视觉定位方法，其特征在于，所述基于所述几何特征和所述纹理特征，获取所述倾斜摄影三维模型对应的点云数据和特征点信息，包括：
基于所述几何特征及所述倾斜摄影三维模型的共面属性，恢复所述倾斜摄影三维模型的三维点云信息，作为所述点云数据，并基于所述几何特征和所述纹理特征，对所述倾斜摄影三维模型的每个面进行二维图像的特征提取处理，获取所述特征点信息。
5.根据权利要求4所述的大场景下的视觉定位方法，其特征在于，所述基于所述几何特征及所述倾斜摄影三维模型的共面属性，恢复所述倾斜摄影三维模型的三维点云信息，作为所述点云数据，包括：
基于所述几何特征及所述倾斜摄影三维模型的共面属性，对所述倾斜摄影三维模型的每个面进行点云内插处理，得到所述倾斜摄影三维模型每个平面的像素级三维点云信息，作为所述特征点信息。
6.根据权利要求4所述的大场景下的视觉定位方法，其特征在于，所述基于所述几何特征和所述纹理特征，对所述倾斜摄影三维模型的每个面进行二维图像的特征提取处理，获取所述特征点信息，包括：
根据三维模型面域分割原理，基于所述几何特征和所述纹理特征，对所述倾斜摄影三维模型的每个面进行分割；
对分割得到的各二维图像进行二维图像的特征提取处理，获取所述特征点信息。
7.根据权利要求3至6任一项所述的大场景下的视觉定位方法，其特征在于，所述基于所述倾斜摄影三维模型对应的点云数据和特征点信息，构建所述三维模型特征库，包括：
基于像素的坐标，建立所述点云数据和所述特征点信息之间的映射关系；
基于所述映射关系，构建所述三维模型特征库。
8.一种大场景下的视觉定位装置，其特征在于，包括：
影像获取模块，用于获取目标影像；
提取模块，用于对所述目标影像进行特征提取处理，获取特征点数据；
匹配模块，用于将所述特征点数据与三维模型特征库进行匹配，获取匹配点的三维点云坐标；
定位模块，用于基于所述匹配点的三维点云坐标和所述目标影像对应的相机参数，获取拍摄所述目标影像的位置；
其中，所述三维模型特征库是基于目标区域的倾斜摄影三维模型构建的。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述大场景下的视觉定位方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述大场景下的视觉定位方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310884422.9A CN116630598B (zh) | 2023-07-19 | 2023-07-19 | 大场景下的视觉定位方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310884422.9A CN116630598B (zh) | 2023-07-19 | 2023-07-19 | 大场景下的视觉定位方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116630598A true CN116630598A (zh) | 2023-08-22 |
| CN116630598B CN116630598B (zh) | 2023-09-29 |
Family
ID=87638509
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310884422.9A Active CN116630598B (zh) | 2023-07-19 | 2023-07-19 | 大场景下的视觉定位方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116630598B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117351306A (zh) * | 2023-12-04 | 2024-01-05 | 齐鲁空天信息研究院 | 三维点云投影位姿求解器训练方法、确定方法及装置 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111415388A (zh) * | 2020-03-17 | 2020-07-14 | Oppo广东移动通信有限公司 | 一种视觉定位方法及终端 |
| CN111862337A (zh) * | 2019-12-18 | 2020-10-30 | 北京嘀嘀无限科技发展有限公司 | 视觉定位方法、装置、电子设备和计算机可读存储介质 |
| CN112927360A (zh) * | 2021-03-24 | 2021-06-08 | 广州蓝图地理信息技术有限公司 | 一种基于倾斜模型与激光点云数据融合的三维建模方法和系统 |
| CN113706698A (zh) * | 2021-10-25 | 2021-11-26 | 武汉幻城经纬科技有限公司 | 实景三维道路重建方法及装置、存储介质、电子设备 |
| WO2022078240A1 (zh) * | 2020-10-14 | 2022-04-21 | 佳都科技集团股份有限公司 | 一种应用于电子地图中的摄像头精准定位方法及处理终端 |
| WO2022088982A1 (zh) * | 2020-10-30 | 2022-05-05 | 京东方科技集团股份有限公司 | 三维场景构建方法、装置、系统和存储介质 |
| WO2022206255A1 (zh) * | 2021-03-29 | 2022-10-06 | Oppo广东移动通信有限公司 | 视觉定位方法、视觉定位装置、存储介质与电子设备 |
| CN115329111A (zh) * | 2022-10-11 | 2022-11-11 | 齐鲁空天信息研究院 | 一种基于点云与影像匹配的影像特征库构建方法及系统 |
| CN116051785A (zh) * | 2023-02-08 | 2023-05-02 | 广州市城市规划勘测设计研究院 | 城市实景三维模型的构建方法、装置、设备及存储介质 |
-
2023
- 2023-07-19 CN CN202310884422.9A patent/CN116630598B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111862337A (zh) * | 2019-12-18 | 2020-10-30 | 北京嘀嘀无限科技发展有限公司 | 视觉定位方法、装置、电子设备和计算机可读存储介质 |
| CN111415388A (zh) * | 2020-03-17 | 2020-07-14 | Oppo广东移动通信有限公司 | 一种视觉定位方法及终端 |
| WO2022078240A1 (zh) * | 2020-10-14 | 2022-04-21 | 佳都科技集团股份有限公司 | 一种应用于电子地图中的摄像头精准定位方法及处理终端 |
| WO2022088982A1 (zh) * | 2020-10-30 | 2022-05-05 | 京东方科技集团股份有限公司 | 三维场景构建方法、装置、系统和存储介质 |
| CN112927360A (zh) * | 2021-03-24 | 2021-06-08 | 广州蓝图地理信息技术有限公司 | 一种基于倾斜模型与激光点云数据融合的三维建模方法和系统 |
| WO2022206255A1 (zh) * | 2021-03-29 | 2022-10-06 | Oppo广东移动通信有限公司 | 视觉定位方法、视觉定位装置、存储介质与电子设备 |
| CN113706698A (zh) * | 2021-10-25 | 2021-11-26 | 武汉幻城经纬科技有限公司 | 实景三维道路重建方法及装置、存储介质、电子设备 |
| CN115329111A (zh) * | 2022-10-11 | 2022-11-11 | 齐鲁空天信息研究院 | 一种基于点云与影像匹配的影像特征库构建方法及系统 |
| CN116051785A (zh) * | 2023-02-08 | 2023-05-02 | 广州市城市规划勘测设计研究院 | 城市实景三维模型的构建方法、装置、设备及存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| 吴铮铮;寇展;: "基于单目多视角影像的场景三维重建", 光学与光电技术, no. 05 * |
| 张春森;王西旗;郭丙轩;: "城市环境下基于C/S架构的影像空间定位", 武汉大学学报(信息科学版), no. 07 * |
| 李佩峻;柴壮壮;: "基于低空倾斜影像的三维建模研究", 甘肃科学学报, no. 06 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117351306A (zh) * | 2023-12-04 | 2024-01-05 | 齐鲁空天信息研究院 | 三维点云投影位姿求解器训练方法、确定方法及装置 |
| CN117351306B (zh) * | 2023-12-04 | 2024-03-22 | 齐鲁空天信息研究院 | 三维点云投影位姿求解器训练方法、确定方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116630598B (zh) | 2023-09-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111325796B (zh) | 用于确定视觉设备的位姿的方法和装置 | |
| CN112085844B (zh) | 面向野外未知环境的无人机影像快速三维重建方法 | |
| US10445924B2 (en) | Method and device for processing DVS events | |
| CN109683699B (zh) | 基于深度学习实现增强现实的方法、装置及移动终端 | |
| CN112085845A (zh) | 基于无人机影像的室外场景快速三维重建装置 | |
| US20170076499A1 (en) | Markerless Multi-User, Multi-Object Augmented Reality on Mobile Devices | |
| CN114565863B (zh) | 无人机图像的正射影像实时生成方法、装置、介质及设备 | |
| CN111829532B (zh) | 一种飞行器重定位系统和重定位方法 | |
| CN111582022B (zh) | 一种移动视频与地理场景的融合方法、系统及电子设备 | |
| CN116630598B (zh) | 大场景下的视觉定位方法、装置、电子设备及存储介质 | |
| US20240029297A1 (en) | Visual positioning method, storage medium and electronic device | |
| CN112269851A (zh) | 地图数据更新方法、装置、存储介质与电子设备 | |
| CN110858414A (zh) | 图像处理方法、装置、可读存储介质与增强现实系统 | |
| CN115272494B (zh) | 相机与惯性测量单元的标定方法、装置和计算机设备 | |
| CN112270709B (zh) | 地图构建方法及装置、计算机可读存储介质和电子设备 | |
| CN111062875B (zh) | 一种用于空中全景漫游数据的坐标转换方法及装置 | |
| CN115329111B (zh) | 一种基于点云与影像匹配的影像特征库构建方法及系统 | |
| CN112270755A (zh) | 三维场景构建方法、装置、存储介质与电子设备 | |
| CN113723317A (zh) | 3d人脸的重建方法、装置、电子设备和存储介质 | |
| CN117876608B (zh) | 三维图像重建方法、装置、计算机设备及存储介质 | |
| CN114299230A (zh) | 一种数据生成方法、装置、电子设备及存储介质 | |
| CN117274605A (zh) | 一种从无人机拍摄的照片中提取水域轮廓的方法及装置 | |
| CN113129422A (zh) | 一种三维模型构建方法、装置、存储介质和计算机设备 | |
| US20230053952A1 (en) | Method and apparatus for evaluating motion state of traffic tool, device, and medium | |
| CN111417016A (zh) | 一种姿态估计方法、服务器和网络设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |