CN111862199B - 定位方法、装置、电子设备和存储介质 - Google Patents
定位方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN111862199B CN111862199B CN202010555228.2A CN202010555228A CN111862199B CN 111862199 B CN111862199 B CN 111862199B CN 202010555228 A CN202010555228 A CN 202010555228A CN 111862199 B CN111862199 B CN 111862199B
- Authority
- CN
- China
- Prior art keywords
- dimensional
- signboard
- matched
- boundary information
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 84
- 239000011159 matrix material Substances 0.000 claims description 33
- 230000015654 memory Effects 0.000 claims description 19
- 238000006073 displacement reaction Methods 0.000 claims description 15
- 230000000007 visual effect Effects 0.000 abstract description 11
- 238000012423 maintenance Methods 0.000 abstract description 5
- 230000003190 augmentative effect Effects 0.000 abstract description 4
- 238000013135 deep learning Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 15
- 238000004590 computer program Methods 0.000 description 9
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000012015 optical character recognition Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/148—Segmentation of character regions
- G06V30/153—Segmentation of character regions using recognition of characters or words
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/09—Recognition of logos
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
Abstract
本申请公开了一种定位方法、装置、电子设备和存储介质，涉及视觉定位、智能交通、深度学习及增强现实技术领域，可以应用在计算机视觉领域相关的室内场景中。具体实现方案为：获取待定位图像；获取待定位图像中待匹配标识牌的描述子和二维边界信息；根据待匹配标识牌的描述子从三维基准地图中获取与待匹配标识牌对应的目标标识牌；获取三维基准地图中目标标识牌的三维边界信息；以及根据待匹配标识牌的二维边界信息和目标标识牌的三维边界信息确定待定位图像的位姿。由此，本申请能够基于特征更加稳定且空间位置信息更加确定的室内标识牌，进行待定位图像的定位，不仅提高了定位结果的准确性，还能够降低视觉地图的构建及后期维护的成本。
Description
技术领域
本申请的实施例总体上涉及计算机技术领域，并且更具体地涉及计算机视觉技术领域。
背景技术
在室内定位领域中，视觉定位方法因其精度较高、成本低廉等优势，逐渐成为了最受青睐的手段之一。基于视觉定位方法进行室内定位，能够实现人员、物体在室内空间中的位置监控，从而解决了卫星信号到达地面时信号较弱、无法穿透建筑物的问题。因此，如何确保基于视觉定位方法进行室内定位过程中的准确性，已成为了重要的研究方向之一。
发明内容
本申请提供了一种定位方法、装置、电子设备和存储介质。
根据第一方面，提供了一种定位方法，包括：
获取待定位图像；
获取所述待定位图像中待匹配标识牌的描述子和二维边界信息；
根据所述待匹配标识牌的描述子从三维基准地图中获取与所述待匹配标识牌对应的目标标识牌；
获取所述三维基准地图中所述目标标识牌的三维边界信息；以及
根据所述待匹配标识牌的二维边界信息和所述目标标识牌的三维边界信息确定所述待定位图像的位姿。
根据第二方面，提供了一种定位装置，包括：
第一获取模块，用于获取待定位图像；
第二获取模块，用于获取所述待定位图像中待匹配标识牌的描述子和二维边界信息；
第三获取模块，用于根据所述待匹配标识牌的描述子从三维基准地图中获取与所述待匹配标识牌对应的目标标识牌；
第四获取模块，用于获取所述三维基准地图中所述目标标识牌的三维边界信息；以及
确定模块，用于根据所述待匹配标识牌的二维边界信息和所述目标标识牌的三维边界信息确定所述待定位图像的位姿。
根据第三方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请第一方面所述的定位方法。
根据第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本申请第一方面所述的定位方法。
根据第五方面，提供了一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现本申请第一方面所述的定位方法。
本申请提供的实施例，至少具有如下有益技术效果：
根据本申请实施例的定位方法，可通过获取待定位图像，并获取待定位图像中待匹配标识牌的描述子和二维边界信息，再根据待匹配标识牌的描述子获取与待匹配标识牌对应的目标标识牌，并获取三维基准地图中目标标识牌的三维边界信息，进而根据待匹配标识牌的二维边界信息和目标标识牌的三维边界信息，确定待定位图像的位姿。由此，本申请能够基于特征更加稳定且空间位置信息更加确定的室内标识牌，进行待定位图像的定位，提高了定位结果的准确性。
应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是根据本申请第一实施例的示意图；
图2是一种待定位图像的示意图；
图3是另一种待定位图像的示意图；
图4是根据本申请第二实施例的示意图；
图5是根据本申请第三实施例的示意图；
图6是根据本申请第四实施例的示意图；
图7是根据本申请第五实施例的示意图；
图8是根据本申请第六实施例的示意图；
图9是根据本申请第七实施例的示意图；
图10是根据本申请第八实施例的示意图；
图11是根据本申请第九实施例的示意图；
图12是根据本申请第十实施例的示意图；
图13是根据本申请第十一实施例的示意图；
图14是用来实现本申请实施例的定位方法的定位装置的框图；
图15是用来实现本申请实施例的定位方法的定位装置的框图；
图16是用来实现本申请实施例的定位方法的定位电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
下面参考附图描述本申请实施例的定位方法、装置、电子设备和存储介质。
图1是根据本申请第一实施例的示意图。其中，需要说明的是，本实施例的定位方法的执行主体为定位装置，定位装置具体可以为硬件设备，或者硬件设备中的软件等。其中，硬件设备例如终端设备、服务器等。如图1所示，本实施例提出的定位方法，包括如下步骤：
S101、获取待定位图像。
在本申请的实施例中，可以对室内环境中出现的、尚未被定位或者需要重新定位的图像进行定位。
其中，待定位图像，可以是从记录有室内连续行走内容的任一视频中提取的、包含有待匹配标识牌的任一图像。例如，可以从于商场内拍摄到的视频中提取如图2中所示的店铺甲标识牌图像，将其作为待定位图像；又例如，可以从于室内停车场内拍摄到的视频中提取如图3中所示的安全提示标识牌图像，将其作为待定位图像。
S102、获取待定位图像中待匹配标识牌的描述子和二维边界信息。
其中，待匹配标识牌的描述子，包括：标识牌文本信息和标识牌设定范围内的语义标签。
其中，二维边界信息可以为待定位图像中待匹配标识牌的边界形状及参考点信息集合。
可选地，可以根据获取到的待定位图像，提取待匹配标识牌，进而提取该待匹配标识牌的标识牌文本信息和标识牌设定范围内的语义标签。
举例而言，可以根据获取到的如图2所示的待定位图像，提取待匹配标识牌，进而提取店铺名称（即“店铺甲”）作为该待匹配标识牌的标识牌文本信息，并提取桌子、门和窗户作为该待匹配标识牌的标识牌设定范围内的语义标签。由此，店铺名称（即“店铺甲”）、桌子、门和窗户构建成了待匹配标识牌的描述子。
需要说明的是，为了提高待匹配标识牌的二维边界信息获取结果的准确性，可以对待定位图像进行滤波、降噪处理，并依据在滤波及降噪处理后得到的图像数据提取待匹配标识牌的二维边界信息。
S103、根据待匹配标识牌的描述子从三维基准地图中获取与待匹配标识牌对应的目标标识牌。
其中，三维基准地图中存储有多个三维标识牌。
可选地，可以以待匹配标识牌的描述子为依据，通过查询三维基准地图，获取与待匹配标识牌对应的标识牌，并将其标记为目标标识牌。
举例而言，可以根据待匹配标识牌甲的描述子，查询三维基准地图，获取与待匹配标识牌甲对应的标识牌乙，并将标识牌乙标记为目标标识牌。
S104、获取三维基准地图中目标标识牌的三维边界信息。
其中，三维基准地图中目标标识牌的三维边界信息，可以为三维基准地图中目标标识牌的边界形状及参考点信息集合。
需要说明的是，在试图获取三维基准地图中目标标识牌的三维边界信息时，可以对目标标识牌进行滤波、降噪处理，并依据在滤波及降噪处理后得到的目标标识牌数据提取目标标识牌的三维边界信息。
S105、根据待匹配标识牌的二维边界信息和目标标识牌的三维边界信息确定待定位图像的位姿。
其中，待定位图像的位姿，包括：待定位图像的位置及待定位图像的姿势；待定位图像的姿势，包括：待定位图像的坐标、旋转角度。
根据本申请实施例的定位方法，可通过获取待定位图像，并获取待定位图像中待匹配标识牌的描述子和二维边界信息，再根据待匹配标识牌的描述子获取与待匹配标识牌对应的目标标识牌，并获取三维基准地图中目标标识牌的三维边界信息，进而根据待匹配标识牌的二维边界信息和目标标识牌的三维边界信息，确定待定位图像的位姿。由此，本申请能够基于特征更加稳定且空间位置信息更加确定的室内标识牌，进行待定位图像的定位，不仅提高了定位结果的准确性，还能够降低视觉地图的构建及后期维护的成本。
需要说明的是，本申请中，在试图获取待定位图像中待匹配标识牌的描述子时，可以进行语义特征及标识牌特征的提取，以获取到待匹配标识牌设定范围内的语义特征的语义标签和待匹配标识牌的标识牌文本信息，进而生成待匹配标识牌的描述子。
作为一种可能的实现方式，如图4所示，在上述实施例的基础上，上述步骤S102中获取待定位图像中待匹配标识牌的描述子和二维边界信息的过程，具体包括以下步骤：
S201、对待定位图像进行语义特征提取，以获取语义特征的二维边界信息和语义标签。
其中，每个语义特征均带有一个语义标签，例如行人、桌子、窗户等，以及一个相对不准确的二维边界信息。
需要说明的是，在试图对待定位图像进行语义特征提取时，可以采用已有开源的目标检测方法，例如，可以采用基于快速区域的卷积神经网络（Fast RegionConvolutional Neural Networks，简称Fast R-CNN）方法，对待定位图像进行语义特征提取，以获取语义特征的二维边界信息和语义标签。其中，Fast R-CNN方法的具体检测方式为现有技术，此处不再进行赘述。
S202、对待定位图像进行标识牌提取，以获取待匹配标识牌的二维边界信息和标识牌文本信息。
其中，每个标识牌均带有一个文本信息，例如店铺甲、店铺乙等，以及一个相对准确的二维边界信息。
需要说明的是，在试图对待定位图像进行标识牌提取时，可以采用已有识别方法，例如，可以采用光学字符识别（Optical Character Recognition，简称OCR）方法，对待定位图像进行标识牌提取，以获取待匹配标识牌的二维边界信息和标识牌文本信息。其中，OCR方法的具体识别方式为现有技术，此处不再进行赘述。
S203、根据语义特征的二维边界信息和待匹配标识牌的二维边界信息确定待匹配标识牌设定范围内的语义特征。
本申请实施例中，在对待定位图像进行语义特征及待定位图像进行标识牌提取后，可以根据获取到的语义特征的二维边界信息和待匹配标识牌的二维边界信息，生成一个与定位相关的视觉词汇表，以确定待匹配标识牌设定范围内的语义特征。其中，设定范围可以根据实际情况进行设定。
S204、根据待匹配标识牌设定范围内的语义特征的语义标签和待匹配标识牌的标识牌文本信息，生成待匹配标识牌的描述子。
本申请实施例中，可以根据待匹配标识牌设定范围内的语义特征的语义标签和待匹配标识牌的标识牌文本信息，构建待匹配标识牌的描述子。
举例而言，获取到待匹配标识牌设定范围内的语义特征的语义标签为桌子和窗户，获取到待匹配标识牌的标识牌文本信息为店铺甲，则可以生成待匹配标识牌的描述子为桌子、窗户和店铺甲。
根据本申请实施例的定位方法，可通过进行语义特征及标识牌特征的提取，以获取到待匹配标识牌设定范围内的语义特征的语义标签和待匹配标识牌的标识牌文本信息，进而生成待匹配标识牌的描述子。由此，本申请以待匹配标识牌为基准特征，其二维边界信息作为特征位置，然后以标识牌文本信息为主特征，标识牌周围的语义特征为辅特征，生成待匹配标识牌的描述子，确保了不同位置的相同标识牌也具有可区分的描述信息，进一步提高了定位结果的准确性。
需要说明的是，本申请中，在试图根据待匹配标识牌的描述子从三维基准地图中获取与待匹配标识牌对应的目标标识牌时，可以通过进行标识牌匹配，确定目标标识牌。
作为一种可能的实现方式，如图5所示，在上述实施例的基础上，上述步骤S103中根据待匹配标识牌的描述子从三维基准地图中获取与待匹配标识牌对应的目标标识牌的过程，具体包括以下步骤：
S301、获取三维基准地图中三维标识牌的描述子。
其中，三维基准地图中三维标识牌的描述子，包括：三维标识牌文本信息和三维标识牌设定范围内的语义标签。
可选地，可以根据获取到的三维基准地图，提取三维标识牌，进而提取该三维标识牌的三维标识牌文本信息和三维标识牌设定范围内的语义标签。
S302、若三维标识牌的描述子与待匹配标识牌的描述子中的标识牌文本信息相同，且三维标识牌的描述子与待匹配标识牌的描述子中相同语义标签的数量超过第一设定数量阈值，则将三维标识牌确定为目标标识牌。
本申请实施例中，在获取到三维标识牌的描述子后，可以将三维标识牌的描述子与待匹配标识牌的描述子进行比较，若三维标识牌的描述子与待匹配标识牌的描述子中的标识牌文本信息相同，且三维标识牌的描述子与待匹配标识牌的描述子中相同语义标签的数量超过第一设定数量阈值，则将三维标识牌确定为目标标识牌；若三维标识牌的描述子与待匹配标识牌的描述子中的标识牌文本信息不相同，或者三维标识牌的描述子与待匹配标识牌的描述子中相同语义标签的数量未超过第一设定数量阈值，则确定三维标识牌非目标标识牌。
其中，第一设定数量阈值可以根据实际情况进行设定，例如，可以设定第一设定数量阈值为待匹配标识牌的描述子中语义标签数量的1/2。
举例而言，获取到三维标识牌的描述子为：标识牌文本1、周围语义标签11、周围语义标签12......，获取到待匹配标识牌的描述子为：标识牌文本2、周围语义标签21、周围语义标签22......，且标识牌文本1与标识牌文本2相同，且周围语义标签11、周围语义标签12......与周围语义标签21、周围语义标签22......中相同语义标签的数量超过5个，则将三维标识牌确定为目标标识牌。
根据本申请实施例的定位方法，可通过获取三维基准地图中三维标识牌的描述子，并将其与待匹配标识牌的描述子进行比较，并在识别三维标识牌的描述子与待匹配标识牌的描述子中的标识牌文本信息相同，且三维标识牌的描述子与待匹配标识牌的描述子中相同语义标签的数量超过第一设定数量阈值时，将三维标识牌确定为目标标识牌。由此，本申请通过将三维标识牌的描述子与待匹配标识牌的描述子进行匹配，能够准确、合理地确定与待匹配标识牌对应的目标标识牌，进而确保了待定位图像定位结果的准确性。
需要说明的是，本申请中，在试图根据待匹配标识牌的二维边界信息和目标标识牌的三维边界信息确定待定位图像的位姿时，可以根据目标标识牌进行位姿估计，以确定待定位图像的位姿。
作为一种可能的实现方式，如图6所示，在上述实施例的基础上，上述步骤S105中根据待匹配标识牌的二维边界信息和目标标识牌的三维边界信息确定待定位图像的位姿的过程，具体包括以下步骤：
S401、获取三维基准地图中能观测到目标标识牌的目标图像的位姿。
其中，目标图像的位姿，包括：目标图像的位置及目标图像的姿势；目标图像的姿势，包括：目标图像的坐标、旋转角度。
需要说明的是，三维基准地图中每张标识牌的图像都拥有三维空间中的位姿，而且三维基准地图中的每个标识牌都会被三维基准地图中的多张标识牌的图像观测到。
S402、根据目标图像的位姿和目标标识牌的三维边界信息获取目标标识牌的二维边界信息。
本申请实施例中，在获取到目标图像的位姿后，可以根据目标图像的位姿和目标标识牌的三维边界信息，从三维基准地图中估计出目标标识牌的二维图像序列，以获取目标标识牌的二维边界信息。
S403、根据目标图像的位姿、待匹配标识牌的二维边界信息和目标标识牌的二维边界信息确定待定位图像的位姿。
作为一种可能的实现方式，如图7所示，在上述实施例的基础上，上述步骤S403中根据目标图像的位姿、待匹配标识牌的二维边界信息和目标标识牌的二维边界信息确定待定位图像的位姿的过程，具体包括以下步骤：
S501、根据待匹配标识牌的二维边界信息和目标标识牌的二维边界信息计算待匹配标识牌的中心坐标和目标标识牌的中心坐标之间的距离。
本申请实施例中，可以假设三维基准地图中每张观测到的标识牌的图像的位姿与待定位图像的位姿近似相同，然后根据待匹配标识牌的二维边界信息和目标标识牌的二维边界信息，将目标标识牌的二维边界信息投影到待定位图像平面上，并计算待匹配标识牌的中心坐标与目标标识牌的中心坐标之间的距离。
S502、根据待匹配标识牌的中心坐标和目标标识牌的中心坐标之间的距离确定待定位图像的位姿。
本申请实施例中，在获取到待匹配标识牌的中心坐标和目标标识牌的中心坐标之间的距离后，可以遍历三维基准地图中所有观测到的标识牌的图像位姿，并选取距离最小的位姿，作为待定位图像的定位结果。
由此，本申请能够根据室内场景中，特别是商场等室内环境中的室内标识牌，以及三维基准地图中的标识牌信息，对待定位图像进行定位，提高了定位结果的准确性。
下面针对三维基准地图的构建过程进行解释说明。
作为一种可能的实现方式，如图8所示，在上述实施例的基础上，本申请实施例的定位方法还包括以下步骤：
S601、获取多个样本图像。
其中，样本图像可以预先收集，以便后续生成三维基准地图。样本图像的数量可以预先设定，例如可以设定获取100个样本图像。
S602、获取样本图像中二维标识牌的描述子和二维边界信息。
其中，样本图像中二维标识牌的描述子，包括：样本图像中二维标识牌的文本信息和样本图像中二维标识牌设定范围内的语义标签。
其中，二维边界信息可以为样本图像中二维标识牌的边界形状及参考点信息集合。
可选地，可以根据获取到的样本图像，提取二维标识牌，进而提取该样本图像中二维标识牌的文本信息和样本图像中二维标识牌设定范围内的语义标签。
本申请实施例中，同样可以采用Fast R-CNN方法对样本图像进行语义特征提取，并采用OCR方法对样本图像进行标识牌提取。其中，Fast R-CNN方法及OCR方法的具体计算方式为现有技术，此处不再进行赘述。
S603、获取样本图像中特征点的描述子和二维坐标。
需要说明的是，在试图获取样本图像中特征点的描述子和二维坐标时，可以采用已有的获取方法，例如，可以采用尺度不变特征变换（Scale-Invariant FeatureTransform，简称SIFT）方法，对样本图像进行点特征提取，以获取样本图像中特征点的描述子和二维坐标。其中，SIFT方法的具体计算方式为现有技术，此处不再进行赘述。
S604、根据二维标识牌的二维边界信息和特征点的描述子和二维坐标，生成二维标识牌的三维边界信息。
作为一种可能的实现方式，如图9所示，在上述实施例的基础上，上述步骤S604中根据二维标识牌的二维边界信息和特征点的描述子和二维坐标，生成二维标识牌的三维边界信息的过程，具体包括以下步骤：
S701、根据相邻两张样本图像中二维标识牌的二维边界信息和特征点的描述子和二维坐标，获取相邻两张样本图像中匹配的二维标识牌和匹配的二维标识牌中匹配的特征点。
本申请实施例中，可以根据相邻两张样本图像中二维标识牌的二维边界信息和特征点的描述子和二维坐标，确定二维标识牌中的特征点。进一步地，根据二维标识牌中特征点的描述子，确定匹配的二维标识牌中匹配的特征点确定为匹配的特征点。
S702、根据匹配的特征点的二维坐标获取相邻两张样本图像的位姿。
本申请实施例中，可以根据匹配的特征点的二维坐标生成相对基础矩阵，并根据获取到的相对基础矩阵生成相对旋转矩阵和相对位移，进而根据相对旋转矩阵和相对位移，生成相邻两张样本图像的位姿。
S703、根据匹配的特征点的二维坐标、相邻两张样本图像的位姿和匹配的二维标识牌的二维边界信息，生成二维标识牌的三维边界信息。
本申请实施例中，可以根据匹配的特征点的二维坐标和相邻两张样本图像的位姿生成匹配的特征点的三维坐标，并根据匹配的特征点的三维坐标生成匹配的二维标识牌的平面方程，进而可以根据平面方程、相邻两张样本图像的位姿和匹配的二维标识牌的二维边界信息，生成二维标识牌的三维边界信息。
S605、根据二维标识牌的三维边界信息和二维标识牌的描述子生成三维基准地图。
本申请实施例中，可以根据二维标识牌的三维边界信息和二维标识牌的描述子估计出三维结构，以生成三维基准地图。
根据本申请实施例的定位方法，可通过获取多个样本图像，并获取样本图像中二维标识牌的描述子和二维边界信息及样本图像中特征点的描述子和二维坐标，再根据二维标识牌的二维边界信息和特征点的描述子和二维坐标，生成二维标识牌的三维边界信息，进而根据二维标识牌的三维边界信息和二维标识牌的描述子，生成三维基准地图。由此，本申请能够基于多个样本图像中二维标识牌的特征点，准确、合理地进行建图，确保了根据室内标识牌及三维基准地图中的标识牌信息，提高了待定位图像进行定位过程中的准确性。
下面针对生成二维标识牌的三维边界信息的过程进行解释说明。
作为一种可能的实现方式，如图10所示，在上述实施例的基础上，上述步骤S701中根据相邻两张样本图像中二维标识牌的二维边界信息和特征点的描述子和二维坐标，获取相邻两张样本图像中匹配的二维标识牌和匹配的二维标识牌中匹配的特征点的过程，具体包括以下步骤：
S801、根据样本图像中二维标识牌的二维边界信息和特征点的二维坐标，确定二维标识牌中的特征点。
S802、根据二维标识牌中特征点的描述子，将相邻两张样本图像中特征点匹配数量超过第二设定数量阈值的两个二维标识牌，确定为匹配的二维标识牌，并将匹配的二维标识牌中匹配的特征点确定为匹配的特征点。
其中，第二设定数量阈值可以根据实际情况进行设定，例如，可以设定第二设定数量阈值为5个。
进一步地，本申请中，在确定了匹配的特征点后，可以根据匹配的特征点的二维坐标获取相邻两张样本图像的位姿。
作为一种可能的实现方式，如图11所示，在上述实施例的基础上，上述步骤S702中根据匹配的特征点的二维坐标获取相邻两张样本图像的位姿的过程，具体包括以下步骤：
S901、根据匹配的特征点的二维坐标生成相对基础矩阵。
本申请实施例中，可以根据相邻两张样本图像匹配的特征点的二维坐标，生成相对基础矩阵（Fundamental Matrix，简称F矩阵）。
需要说明的是，本申请对F矩阵的生成方式不作限定，可以根据实际情况进行选择。例如，可以通过8点算法（Eight-Point Algorithm）、最小二乘法等方式生成F矩阵。
S902、根据相对基础矩阵生成相对旋转矩阵和相对位移。
本申请实施例中，可以对F矩阵进行分解，以生成相对旋转矩阵（Rotation）和相对位移（Translation）。
S903、根据相对旋转矩阵和相对位移生成相邻两张样本图像的位姿。
本申请实施例中，相对于原点的坐标系，经过相对旋转矩阵和相对位移，得到一个新的坐标系，此时相对旋转矩阵和相对位移便可以生成相邻两张样本图像的位姿。此时，两张样本图像的位姿是相对于原点的。
进一步地，本申请中，在生成相邻两张样本图像的位姿后，可以根据匹配的特征点的二维坐标、相邻两张样本图像的位姿和匹配的二维标识牌的二维边界信息，生成二维标识牌的三维边界信息。
作为一种可能的实现方式，如图12所示，在上述实施例的基础上，上述步骤S703中根据匹配的特征点的二维坐标、相邻两张样本图像的位姿和匹配的二维标识牌的二维边界信息，生成二维标识牌的三维边界信息的过程，具体包括以下步骤：
S1001、根据匹配的特征点的二维坐标和相邻两张样本图像的位姿生成匹配的特征点的三维坐标。
需要说明的是，每组匹配的二维标识牌的二维边界信息内都会存在匹配的特征点，因此可以根据匹配的特征点的二维坐标和相邻两张样本图像的位姿，将这些匹配的特征点进行三角化，得到位于二维标识牌内的特征点空间位置，即匹配的特征点的三维坐标。
S1002、根据匹配的特征点的三维坐标生成匹配的二维标识牌的平面方程。
需要说明的是，由于二维标识牌在三维坐标系中是一个平面，因此可以使用位于二维标识牌上的三维点的三维坐标拟合平面，从而生成匹配的二维标识牌的平面方程。
S1003、根据平面方程、相邻两张样本图像的位姿和匹配的二维标识牌的二维边界信息，生成二维标识牌的三维边界信息。
本申请实施例中，可以根据匹配的二维标识牌的平面方程，将匹配的二维标识牌的二维边界信息二维坐标反投影至三维坐标系中，从而生成二维标识牌的三维边界信息。
需要说明的是，在三维基准地图的构建过程中，特征点仅用于辅助构建标识牌的空间位置，并不参与后续定位过程。
图13是根据本申请第十一实施例的示意图。如图13所示，在上述实施例的基础上，本实施例提出的定位方法，包括如下步骤：
S1101、获取多个样本图像。
S1102、获取样本图像中二维标识牌的描述子和二维边界信息。
S1103、获取样本图像中特征点的描述子和二维坐标。
S1104、根据样本图像中二维标识牌的二维边界信息和特征点的二维坐标，确定二维标识牌中的特征点。
S1105、根据二维标识牌中特征点的描述子，将相邻两张样本图像中特征点匹配数量超过第二设定数量阈值的两个二维标识牌，确定为匹配的二维标识牌，并将匹配的二维标识牌中匹配的特征点确定为匹配的特征点。
S1106、根据匹配的特征点的二维坐标生成相对基础矩阵。
S1107、根据相对基础矩阵生成相对旋转矩阵和相对位移。
S1108、根据相对旋转矩阵和相对位移生成相邻两张样本图像的位姿。
S1109、根据匹配的特征点的二维坐标和相邻两张样本图像的位姿生成匹配的特征点的三维坐标。
S1110、根据匹配的特征点的三维坐标生成匹配的二维标识牌的平面方程。
S1111、根据平面方程、相邻两张样本图像的位姿和匹配的二维标识牌的二维边界信息，生成二维标识牌的三维边界信息。
S1112、根据二维标识牌的三维边界信息和二维标识牌的描述子生成三维基准地图。
S1113、获取待定位图像。
S1114、对待定位图像进行语义特征提取，以获取语义特征的二维边界信息和语义标签。
S1115、对待定位图像进行标识牌提取，以获取待匹配标识牌的二维边界信息和标识牌文本信息。
S1116、根据语义特征的二维边界信息和待匹配标识牌的二维边界信息确定待匹配标识牌设定范围内的语义特征。
S1117、根据待匹配标识牌设定范围内的语义特征的语义标签和待匹配标识牌的标识牌文本信息，生成待匹配标识牌的描述子。
S1118、获取三维基准地图中三维标识牌的描述子。
S1119、若三维标识牌的描述子与待匹配标识牌的描述子中的标识牌文本信息相同，且三维标识牌的描述子与待匹配标识牌的描述子中相同语义标签的数量超过第一设定数量阈值，则将三维标识牌确定为目标标识牌。
S1120、获取三维基准地图中目标标识牌的三维边界信息。
S1121、获取三维基准地图中能观测到目标标识牌的目标图像的位姿。
S1122、根据目标图像的位姿和目标标识牌的三维边界信息获取目标标识牌的二维边界信息。
S1123、根据待匹配标识牌的二维边界信息和目标标识牌的二维边界信息计算待匹配标识牌的中心坐标和目标标识牌的中心坐标之间的距离。
S1124、根据待匹配标识牌的中心坐标和目标标识牌的中心坐标之间的距离确定待定位图像的位姿。
需要说明的是，关于步骤S1101~S1124的介绍可参见上述实施例中的相关记载，此处不再赘述。
需要说明的是，本申请提出的定位方法，可以运用于多种计算机视觉领域相关的室内场景中。
针对商场应用场景，可以获取用户当前所处位置附近的商铺图像，并从商铺图像中提取商铺标识牌作为待匹配标识牌，进而通过与三维基准地图中的标识牌信息进行匹配，对获取到的商铺图像进行定位。由此，根据用户拍摄的商铺图像以及三维基准地图中的标识牌信息，能够准确地对商铺图像进行定位，提高了用户体验。
进一步地，在商场场景内，还可以通过为商家店铺标识牌添加增强现实（Augmented Reality，简称AR）内容，以结合深度学习及增强现实技术帮助商家进行宣传。
针对地下车库应用场景，可以获取用户当前所处位置附近的安全指示标识牌图像，并从安全指示标识牌图像中提取安全指示标识牌作为待匹配标识牌，进而通过与三维基准地图中的标识牌信息进行匹配，对获取到的安全指示标识牌图像进行定位。由此，根据用户拍摄的安全指示标识牌图像以及三维基准地图中的标识牌信息，能够准确地对安全指示标识牌进行定位，便于用户快速、准确地得知自己当前所处的位置，进而能够便于用户寻到自己的车辆。
进一步地，在地下车库场景内，还可以结合智能交通、自动驾驶技术，实现自动寻车，以在获取到用户当前所处位置附近的安全指示标识牌图像后，车辆可以行驶至用户当前所处位置预设范围内。
根据本申请实施例的定位方法，能够基于多个样本图像中二维标识牌的特征点，准确、合理地进行建图，进而根据特征更加稳定且空间位置信息更加确定的室内标识牌，及三维基准地图中的标识牌信息，进行待定位图像的定位，不仅提高了定位结果的准确性，还能够降低视觉地图的构建及后期维护的成本。
与上述几种实施例提供的定位方法相对应，本申请的一个实施例还提供一种定位装置，由于本申请实施例提供的定位装置与上述几种实施例提供的定位方法相对应，因此在定位方法的实施方式也适用于本实施例提供的定位装置，在本实施例中不再详细描述。图14~图15是根据本申请一个实施例的定位装置的结构示意图。
如图14所示，该定位装置2000，包括：第一获取模块100、第二获取模块200、第三获取模块300、第四获取模块400和确定模块500。其中：
第一获取模块100，用于获取待定位图像；
第二获取模块200，用于获取待定位图像中待匹配标识牌的描述子和二维边界信息；
第三获取模块300，用于根据待匹配标识牌的描述子从三维基准地图中获取与待匹配标识牌对应的目标标识牌；
第四获取模块400，用于获取三维基准地图中目标标识牌的三维边界信息；以及
确定模块500，用于根据待匹配标识牌的二维边界信息和目标标识牌的三维边界信息确定待定位图像的位姿。
在本申请的实施例中，如图15所示，图14中的第二获取模块200，用于获取待匹配标识牌的描述子，包括获取标识牌文本信息和标识牌设定范围内的语义标签。
在本申请的实施例中，如图15所示，图14中的第二获取模块200，包括：第一获取单元210，用于对待定位图像进行语义特征提取，以获取语义特征的二维边界信息和语义标签；第二获取单元220，用于对待定位图像进行标识牌提取，以获取待匹配标识牌的二维边界信息和标识牌文本信息；第一确定单元230，用于根据语义特征的二维边界信息和待匹配标识牌的二维边界信息确定待匹配标识牌设定范围内的语义特征；以及第一生成单元240，用于根据待匹配标识牌设定范围内的语义特征的语义标签和待匹配标识牌的标识牌文本信息，生成待匹配标识牌的描述子。
在本申请的实施例中，如图15所示，图14中的第三获取模块300，包括：第三获取单元310，用于获取三维基准地图中三维标识牌的描述子；以及第二确定单元320，用于若三维标识牌的描述子与待匹配标识牌的描述子中的标识牌文本信息相同，且三维标识牌的描述子与待匹配标识牌的描述子中相同语义标签的数量超过第一设定数量阈值，则将三维标识牌确定为目标标识牌。
在本申请的实施例中，如图15所示，图14中的确定模块500，包括：第四获取单元510，用于获取三维基准地图中能观测到目标标识牌的目标图像的位姿；第五获取单元520，用于根据目标图像的位姿和目标标识牌的三维边界信息获取目标标识牌的二维边界信息；以及第三确定单元530，用于根据目标图像的位姿、待匹配标识牌的二维边界信息和目标标识牌的二维边界信息确定待定位图像的位姿。
在本申请的实施例中，如图15所示，第三确定单元530，包括：第一计算子单元531，用于：根据待匹配标识牌的二维边界信息和目标标识牌的二维边界信息计算待匹配标识牌的中心坐标和目标标识牌的中心坐标之间的距离；以及第一确定子单元532，用于根据待匹配标识牌的中心坐标和目标标识牌的中心坐标之间的距离确定待定位图像的位姿。
如图15所示，图14中的定位装置2000，还包括：第五获取模块600、第六获取模块700、第七获取模块800、第一生成模块900和第二生成模块1000。其中：
第五获取模块600，用于获取多个样本图像；
第六获取模块700，用于获取样本图像中二维标识牌的描述子和二维边界信息；
第七获取模块800，用于获取样本图像中特征点的描述子和二维坐标；
第一生成模块900，用于根据二维标识牌的二维边界信息和特征点的描述子和二维坐标，生成二维标识牌的三维边界信息；以及
第二生成模块1000，用于根据二维标识牌的三维边界信息和所述二维标识牌的描述子生成三维基准地图。
在本申请的实施例中，如图15所示，第一生成模块900，包括：第六获取单元910，用于根据相邻两张样本图像中二维标识牌的二维边界信息和特征点的描述子和二维坐标，获取相邻两张样本图像中匹配的二维标识牌和匹配的二维标识牌中匹配的特征点；第七获取单元920，用于根据匹配的特征点的二维坐标获取相邻两张样本图像的位姿；以及第二生成单元930，用于根据匹配的特征点的二维坐标、相邻两张样本图像的位姿和匹配的二维标识牌的二维边界信息，生成二维标识牌的三维边界信息。
在本申请的实施例中，如图15所示，第六获取单元910，包括：第二确定子单元911，用于根据样本图像中二维标识牌的二维边界信息和特征点的二维坐标，确定二维标识牌中的特征点；以及第三确定子单元912，用于根据二维标识牌中特征点的描述子，将相邻两张样本图像中特征点匹配数量超过第二设定数量阈值的两个二维标识牌，确定为匹配的二维标识牌，并将匹配的二维标识牌中匹配的特征点确定为匹配的特征点。
在本申请的实施例中，如图15所示，第七获取单元920，包括：第一生成子单元921，用于根据匹配的特征点的二维坐标生成相对基础矩阵；第二生成子单元922，用于根据相对基础矩阵生成相对旋转矩阵和相对位移；以及第三生成子单元923，用于根据相对旋转矩阵和相对位移生成相邻两张样本图像的位姿。
在本申请的实施例中，如图15所示，第二生成单元930，包括：第四生成子单元931，用于根据匹配的特征点的二维坐标和相邻两张样本图像的位姿生成匹配的特征点的三维坐标；第五生成子单元932，用于根据匹配的特征点的三维坐标生成匹配的二维标识牌的平面方程；以及第六生成子单元933，用于根据平面方程、相邻两张样本图像的位姿和匹配的二维标识牌的二维边界信息，生成二维标识牌的三维边界信息。
根据本申请实施例的定位装置，可通过获取待定位图像，并获取待定位图像中待匹配标识牌的描述子和二维边界信息，再根据待匹配标识牌的描述子获取与待匹配标识牌对应的目标标识牌，并获取三维基准地图中目标标识牌的三维边界信息，进而根据待匹配标识牌的二维边界信息和目标标识牌的三维边界信息，确定待定位图像的位姿。由此，本申请能够基于特征更加稳定且空间位置信息更加确定的室内标识牌，进行待定位图像的定位，不仅提高了定位结果的准确性，还能够降低视觉地图的构建及后期维护的成本。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图16所示，是根据本申请实施例的定位方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图16所示，该电子设备包括：一个或多个处理器1100、存储器1200，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置（诸如，耦合至接口的显示设备）上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作（例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统）。图16中以一个处理器1100为例。
存储器1200即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的定位方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的定位方法。
存储器1200作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的定位方法对应的程序指令/模块（例如，附图14所示的第一获取模块100、第二获取模块200、第三获取模块300、第四获取模块400和确定模块500）。处理器1100通过运行存储在存储器1200中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的定位方法。
存储器1200可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据定位电子设备的使用所创建的数据等。此外，存储器1200可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器1200可选包括相对于处理器1100远程设置的存储器，这些远程存储器可以通过网络连接至定位电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
定位方法的电子设备还可以包括：输入装置1300和输出装置1400。处理器1100、存储器1200、输入装置1300和输出装置1400可以通过总线或者其他方式连接，图16中以通过总线连接为例。
输入装置1300可接收输入的数字或字符信息，以及产生与定位电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置1400可以包括显示设备、辅助照明装置（例如，LED）和触觉反馈装置（例如，振动电机）等。该显示设备可以包括但不限于，液晶显示器（LCD）、发光二极管（LED）显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC（专用集成电路）、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序（也称作程序、软件、软件应用、或者代码）包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置（例如，磁盘、光盘、存储器、可编程逻辑装置（PLD）），包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置（例如，CRT（阴极射线管）或者LCD（液晶显示器）监视器）；以及键盘和指向装置（例如，鼠标或者轨迹球），用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈（例如，视觉反馈、听觉反馈、或者触觉反馈）；并且可以用任何形式（包括声输入、语音输入或者、触觉输入）来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统（例如，作为数据服务器）、或者包括中间件部件的计算系统（例如，应用服务器）、或者包括前端部件的计算系统（例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互）、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信（例如，通信网络）来将系统的部件相互连接。通信网络的示例包括：局域网（LAN）、广域网（WAN）、互联网以及区块链网络。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
本申请还提供一种计算机程序产品，当所述计算机程序产品中的指令处理器执行时，实现如上所述的定位方法。
根据本申请实施例的定位方法，可通过获取待定位图像，并获取待定位图像中待匹配标识牌的描述子和二维边界信息，再根据待匹配标识牌的描述子获取与待匹配标识牌对应的目标标识牌，并获取三维基准地图中目标标识牌的三维边界信息，进而根据待匹配标识牌的二维边界信息和目标标识牌的三维边界信息，确定待定位图像的位姿。由此，本申请能够基于特征更加稳定且空间位置信息更加确定的室内标识牌，进行待定位图像的定位，不仅提高了定位结果的准确性，还能够降低视觉地图的构建及后期维护的成本。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。
Claims (20)
1.一种定位方法，包括：
获取待定位图像；
获取所述待定位图像中待匹配标识牌的描述子和二维边界信息；其中，所述待匹配标识牌的描述子包括标识牌文本信息和标识牌设定范围内的语义标签；
根据所述待匹配标识牌的描述子从三维基准地图中获取与所述待匹配标识牌对应的目标标识牌；
获取所述三维基准地图中所述目标标识牌的三维边界信息；以及
根据所述待匹配标识牌的二维边界信息和所述目标标识牌的三维边界信息确定所述待定位图像的位姿；
其中，所述根据所述待匹配标识牌的描述子从三维基准地图中获取与所述待匹配标识牌对应的目标标识牌，包括：
获取所述三维基准地图中三维标识牌的描述子；以及
若所述三维标识牌的描述子与所述待匹配标识牌的描述子中的标识牌文本信息相同，且所述三维标识牌的描述子与所述待匹配标识牌的描述子中相同语义标签的数量超过第一设定数量阈值，则将所述三维标识牌确定为所述目标标识牌。
2.根据权利要求1所述的定位方法，其中，所述获取所述待定位图像中待匹配标识牌的描述子和二维边界信息，包括：
对所述待定位图像进行语义特征提取，以获取所述语义特征的二维边界信息和语义标签；
对所述待定位图像进行标识牌提取，以获取所述待匹配标识牌的二维边界信息和标识牌文本信息；
根据所述语义特征的二维边界信息和所述待匹配标识牌的二维边界信息确定所述待匹配标识牌设定范围内的所述语义特征；以及
根据所述待匹配标识牌设定范围内的所述语义特征的所述语义标签和所述待匹配标识牌的所述标识牌文本信息，生成所述待匹配标识牌的描述子。
3.根据权利要求1所述的定位方法，其中，所述根据所述待匹配标识牌的二维边界信息和所述目标标识牌的三维边界信息确定所述待定位图像的位姿，包括：
获取所述三维基准地图中能观测到所述目标标识牌的目标图像的位姿；
根据所述目标图像的位姿和所述目标标识牌的三维边界信息获取所述目标标识牌的二维边界信息；以及
根据所述目标图像的位姿、所述待匹配标识牌的二维边界信息和所述目标标识牌的二维边界信息确定所述待定位图像的位姿。
4. 根据权利要求3所述的定位方法，其中，所述根据所述目标图像的位姿、所述待匹配标识牌的二维边界信息和所述目标标识牌的二维边界信息确定所述待定位图像的位姿，包括：
根据所述待匹配标识牌的二维边界信息和所述目标标识牌的二维边界信息计算所述待匹配标识牌的中心坐标和所述目标标识牌的中心坐标之间的距离；以及
根据所述待匹配标识牌的中心坐标和所述目标标识牌的中心坐标之间的距离确定所述待定位图像的位姿。
5.根据权利要求1所述的定位方法，还包括：
获取多个样本图像；
获取所述样本图像中二维标识牌的描述子和二维边界信息；
获取所述样本图像中特征点的描述子和特征点的二维坐标；
根据所述二维标识牌的二维边界信息和所述特征点的描述子和二维坐标，生成所述二维标识牌的三维边界信息；以及
根据所述二维标识牌的三维边界信息和所述二维标识牌的描述子生成所述三维基准地图。
6.根据权利要求5所述的定位方法，其中，所述根据所述二维标识牌的二维边界信息和所述特征点的描述子和二维坐标，生成所述二维标识牌的三维边界信息，包括：
根据相邻两张样本图像中所述二维标识牌的二维边界信息和所述特征点的描述子和二维坐标，获取所述相邻两张样本图像中匹配的二维标识牌和所述匹配的二维标识牌中匹配的特征点；
根据所述匹配的特征点的二维坐标获取所述相邻两张样本图像的位姿；以及
根据所述匹配的特征点的二维坐标、所述相邻两张样本图像的位姿和所述匹配的二维标识牌的二维边界信息，生成所述二维标识牌的三维边界信息。
7. 根据权利要求6所述的定位方法，其中，所述根据相邻两张样本图像中所述二维标识牌的二维边界信息和所述特征点的描述子和特征点的二维坐标，获取所述相邻两张样本图像中匹配的二维标识牌和所述匹配的二维标识牌中匹配的特征点，包括：
根据所述样本图像中所述二维标识牌的二维边界信息和所述特征点的二维坐标，确定所述二维标识牌中的特征点；以及
根据所述二维标识牌中所述特征点的描述子，将所述相邻两张样本图像中特征点匹配数量超过第二设定数量阈值的两个所述二维标识牌，确定为所述匹配的二维标识牌，并将所述匹配的二维标识牌中匹配的特征点确定为所述匹配的特征点。
8.根据权利要求6所述的定位方法，其中，所述根据所述匹配的特征点的二维坐标获取所述相邻两张样本图像的位姿，包括：
根据所述匹配的特征点的二维坐标生成相对基础矩阵；
根据所述相对基础矩阵生成相对旋转矩阵和相对位移；以及
根据所述相对旋转矩阵和所述相对位移生成所述相邻两张样本图像的位姿。
9.根据权利要求6所述的定位方法，其中，所述根据所述匹配的特征点的二维坐标、所述相邻两张样本图像的位姿和所述匹配的二维标识牌的二维边界信息，生成所述二维标识牌的三维边界信息，包括：
根据所述匹配的特征点的二维坐标和所述相邻两张样本图像的位姿生成所述匹配的特征点的三维坐标；
根据所述匹配的特征点的三维坐标生成所述匹配的二维标识牌的平面方程；以及
根据所述平面方程、所述相邻两张样本图像的位姿和所述匹配的二维标识牌的二维边界信息，生成所述二维标识牌的三维边界信息。
10.一种定位装置，包括：
第一获取模块，用于获取待定位图像；
第二获取模块，用于获取所述待定位图像中待匹配标识牌的描述子和二维边界信息；其中，所述待匹配标识牌的描述子包括标识牌文本信息和标识牌设定范围内的语义标签；
第三获取模块，用于根据所述待匹配标识牌的描述子从三维基准地图中获取与所述待匹配标识牌对应的目标标识牌；
第四获取模块，用于获取所述三维基准地图中所述目标标识牌的三维边界信息；以及
确定模块，用于根据所述待匹配标识牌的二维边界信息和所述目标标识牌的三维边界信息确定所述待定位图像的位姿；
其中，所述第三获取模块，包括：
第三获取单元，用于获取所述三维基准地图中三维标识牌的描述子；以及
第二确定单元，用于若所述三维标识牌的描述子与所述待匹配标识牌的描述子中的标识牌文本信息相同，且所述三维标识牌的描述子与所述待匹配标识牌的描述子中相同语义标签的数量超过第一设定数量阈值，则将所述三维标识牌确定为所述目标标识牌。
11.根据权利要求10所述的装置，所述第二获取模块，包括：
第一获取单元，用于对所述待定位图像进行语义特征提取，以获取所述语义特征的二维边界信息和语义标签；
第二获取单元，用于对所述待定位图像进行标识牌提取，以获取所述待匹配标识牌的二维边界信息和标识牌文本信息；
第一确定单元，用于根据所述语义特征的二维边界信息和所述待匹配标识牌的二维边界信息确定所述待匹配标识牌设定范围内的所述语义特征；以及
第一生成单元，用于根据所述待匹配标识牌设定范围内的所述语义特征的所述语义标签和所述待匹配标识牌的所述标识牌文本信息，生成所述待匹配标识牌的描述子。
12.根据权利要求10所述的装置，所述确定模块，包括：
第四获取单元，用于获取所述三维基准地图中能观测到所述目标标识牌的目标图像的位姿；
第五获取单元，用于根据所述目标图像的位姿和所述目标标识牌的三维边界信息获取所述目标标识牌的二维边界信息；以及
第三确定单元，用于根据所述目标图像的位姿、所述待匹配标识牌的二维边界信息和所述目标标识牌的二维边界信息确定所述待定位图像的位姿。
13. 根据权利要求12所述的装置，所述第三确定单元，包括：
第一计算子单元，用于根据所述待匹配标识牌的二维边界信息和所述目标标识牌的二维边界信息计算所述待匹配标识牌的中心坐标和所述目标标识牌的中心坐标之间的距离；以及
第一确定子单元，用于根据所述待匹配标识牌的中心坐标和所述目标标识牌的中心坐标之间的距离确定所述待定位图像的位姿。
14.根据权利要求10所述的装置，还包括：
第五获取模块，用于获取多个样本图像；
第六获取模块，用于获取所述样本图像中二维标识牌的描述子和二维边界信息；
第七获取模块，用于获取所述样本图像中特征点的描述子和特征点的二维坐标；
第一生成模块，用于根据所述二维标识牌的二维边界信息和所述特征点的描述子和二维坐标，生成所述二维标识牌的三维边界信息；以及
第二生成模块，用于根据所述二维标识牌的三维边界信息和所述二维标识牌的描述子生成所述三维基准地图。
15.根据权利要求14所述的装置，所述第一生成模块，包括：
第六获取单元，用于根据相邻两张样本图像中所述二维标识牌的二维边界信息和所述特征点的描述子和特征点的二维坐标，获取所述相邻两张样本图像中匹配的二维标识牌和所述匹配的二维标识牌中匹配的特征点；
第七获取单元，用于根据所述匹配的特征点的二维坐标获取所述相邻两张样本图像的位姿；以及
第二生成单元，用于根据所述匹配的特征点的二维坐标、所述相邻两张样本图像的位姿和所述匹配的二维标识牌的二维边界信息，生成所述二维标识牌的三维边界信息。
16. 根据权利要求15所述的装置，所述第六获取单元，包括：
第二确定子单元，用于根据所述样本图像中所述二维标识牌的二维边界信息和所述特征点的二维坐标，确定所述二维标识牌中的特征点；以及
第三确定子单元，用于根据所述二维标识牌中所述特征点的描述子，将所述相邻两张样本图像中特征点匹配数量超过第二设定数量阈值的两个所述二维标识牌，确定为所述匹配的二维标识牌，并将所述匹配的二维标识牌中匹配的特征点确定为所述匹配的特征点。
17.根据权利要求15所述的装置，所述第七获取单元，包括：
第一生成子单元，用于根据所述匹配的特征点的二维坐标生成相对基础矩阵；
第二生成子单元，用于根据所述相对基础矩阵生成相对旋转矩阵和相对位移；以及
第三生成子单元，用于根据所述相对旋转矩阵和所述相对位移生成所述相邻两张样本图像的位姿。
18.根据权利要求15所述的装置，所述第二生成单元，包括：
第四生成子单元，用于根据所述匹配的特征点的二维坐标和所述相邻两张样本图像的位姿生成所述匹配的特征点的三维坐标；
第五生成子单元，用于根据所述匹配的特征点的三维坐标生成所述匹配的二维标识牌的平面方程；以及
第六生成子单元，用于根据所述平面方程、所述相邻两张样本图像的位姿和所述匹配的二维标识牌的二维边界信息，生成所述二维标识牌的三维边界信息。
19. 一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-9中任一项所述的定位方法。
20.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行权利要求1-9中任一项所述的定位方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010555228.2A CN111862199B (zh) | 2020-06-17 | 2020-06-17 | 定位方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010555228.2A CN111862199B (zh) | 2020-06-17 | 2020-06-17 | 定位方法、装置、电子设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111862199A CN111862199A (zh) | 2020-10-30 |
| CN111862199B true CN111862199B (zh) | 2024-01-09 |
Family
ID=72987411
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010555228.2A Active CN111862199B (zh) | 2020-06-17 | 2020-06-17 | 定位方法、装置、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111862199B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112381877B (zh) * | 2020-11-09 | 2023-09-01 | 北京百度网讯科技有限公司 | 定位融合、室内定位方法、装置、设备及介质 |
| CN112634366B (zh) * | 2020-12-23 | 2023-10-17 | 北京百度网讯科技有限公司 | 位置信息的生成方法、相关装置及计算机程序产品 |
| CN112802097A (zh) * | 2020-12-30 | 2021-05-14 | 深圳市慧鲤科技有限公司 | 一种定位方法、装置、电子设备及存储介质 |
| CN113095184B (zh) * | 2021-03-31 | 2023-01-31 | 上海商汤临港智能科技有限公司 | 定位方法、行驶控制方法、装置、计算机设备及存储介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20050020350A (ko) * | 2003-08-22 | 2005-03-04 | 김영모 | 스테레오 비전을 이용한 자동차 번호판 추출 및 인식시스템 및 그 방법 |
| JP2015111128A (ja) * | 2014-12-19 | 2015-06-18 | キヤノン株式会社 | 位置姿勢計測装置、位置姿勢計測方法、およびプログラム |
| CN105447462A (zh) * | 2015-11-20 | 2016-03-30 | 小米科技有限责任公司 | 人脸姿态估计方法及装置 |
| CN106052646A (zh) * | 2015-04-02 | 2016-10-26 | 佳能株式会社 | 信息处理装置及信息处理方法 |
| CN106485744A (zh) * | 2016-10-10 | 2017-03-08 | 成都奥德蒙科技有限公司 | 一种同步定位与地图构建方法 |
| CN109325978A (zh) * | 2017-07-31 | 2019-02-12 | 深圳市腾讯计算机系统有限公司 | 增强现实显示的方法、姿态信息的确定方法及装置 |
| US10304191B1 (en) * | 2016-10-11 | 2019-05-28 | Zoox, Inc. | Three dimensional bounding box estimation from two dimensional images |
| JP2019125227A (ja) * | 2018-01-18 | 2019-07-25 | 光禾感知科技股▲ふん▼有限公司 | 屋内測位方法及びシステム、ならびにその屋内マップを作成するデバイス |
| CN111127422A (zh) * | 2019-12-19 | 2020-05-08 | 北京旷视科技有限公司 | 图像标注方法、装置、系统及主机 |
| CN111260786A (zh) * | 2020-01-06 | 2020-06-09 | 南京航空航天大学 | 一种智能超声多模态导航系统及方法 |
-
2020
- 2020-06-17 CN CN202010555228.2A patent/CN111862199B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20050020350A (ko) * | 2003-08-22 | 2005-03-04 | 김영모 | 스테레오 비전을 이용한 자동차 번호판 추출 및 인식시스템 및 그 방법 |
| JP2015111128A (ja) * | 2014-12-19 | 2015-06-18 | キヤノン株式会社 | 位置姿勢計測装置、位置姿勢計測方法、およびプログラム |
| CN106052646A (zh) * | 2015-04-02 | 2016-10-26 | 佳能株式会社 | 信息处理装置及信息处理方法 |
| CN105447462A (zh) * | 2015-11-20 | 2016-03-30 | 小米科技有限责任公司 | 人脸姿态估计方法及装置 |
| CN106485744A (zh) * | 2016-10-10 | 2017-03-08 | 成都奥德蒙科技有限公司 | 一种同步定位与地图构建方法 |
| US10304191B1 (en) * | 2016-10-11 | 2019-05-28 | Zoox, Inc. | Three dimensional bounding box estimation from two dimensional images |
| CN109325978A (zh) * | 2017-07-31 | 2019-02-12 | 深圳市腾讯计算机系统有限公司 | 增强现实显示的方法、姿态信息的确定方法及装置 |
| JP2019125227A (ja) * | 2018-01-18 | 2019-07-25 | 光禾感知科技股▲ふん▼有限公司 | 屋内測位方法及びシステム、ならびにその屋内マップを作成するデバイス |
| CN111127422A (zh) * | 2019-12-19 | 2020-05-08 | 北京旷视科技有限公司 | 图像标注方法、装置、系统及主机 |
| CN111260786A (zh) * | 2020-01-06 | 2020-06-09 | 南京航空航天大学 | 一种智能超声多模态导航系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111862199A (zh) | 2020-10-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111862199B (zh) | 定位方法、装置、电子设备和存储介质 | |
| CN112270669B (zh) | 人体3d关键点检测方法、模型训练方法及相关装置 | |
| CN111782977B (zh) | 兴趣点处理方法、装置、设备及计算机可读存储介质 | |
| CN112132829A (zh) | 车辆信息的检测方法、装置、电子设备和存储介质 | |
| EP3876150A2 (en) | Vehicle tracking method and apparatus | |
| CN111462029B (zh) | 视觉点云与高精地图融合方法、装置和电子设备 | |
| CN112241716B (zh) | 训练样本的生成方法和装置 | |
| US11423650B2 (en) | Visual positioning method and apparatus, and computer-readable storage medium | |
| US20210390732A1 (en) | Indoor positioning method and apparatus, electronic device and storage medium | |
| KR102566300B1 (ko) | 실내 측위 방법, 장치, 장비 및 저장 매체 | |
| CN111666876A (zh) | 用于检测障碍物的方法、装置、电子设备和路侧设备 | |
| CN111311743B (zh) | 三维重建精度测试方法、测试装置和电子设备 | |
| CN113673281B (zh) | 限速信息确定方法、装置、设备以及存储介质 | |
| CN111695516B (zh) | 热力图的生成方法、装置及设备 | |
| CN113705390B (zh) | 定位方法、装置、电子设备和存储介质 | |
| KR102432561B1 (ko) | 에지를 기반으로 하는 증강현실 3차원 추적 등록 방법, 장치 및 전자 기기 | |
| CN113361303B (zh) | 临时交通标志牌识别方法、装置及设备 | |
| CN112488126A (zh) | 特征图处理方法、装置、设备以及存储介质 | |
| CN111400537B (zh) | 一种道路元素信息获取方法、装置和电子设备 | |
| CN114674328B (zh) | 地图生成方法、装置、电子设备、存储介质、及车辆 | |
| CN112558810B (zh) | 检测指尖位置的方法、装置、设备和存储介质 | |
| CN112200190B (zh) | 兴趣点的位置确定方法、装置、电子设备和存储介质 | |
| CN112381877B (zh) | 定位融合、室内定位方法、装置、设备及介质 | |
| CN111966432B (zh) | 验证码处理方法、装置、电子设备以及存储介质 | |
| CN111339344B (zh) | 室内图像检索方法、装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |