CN110298269B - 场景图像定位方法、装置、设备及可读存储介质 - Google Patents

场景图像定位方法、装置、设备及可读存储介质 Download PDF

Info

Publication number
CN110298269B
CN110298269B CN201910509722.2A CN201910509722A CN110298269B CN 110298269 B CN110298269 B CN 110298269B CN 201910509722 A CN201910509722 A CN 201910509722A CN 110298269 B CN110298269 B CN 110298269B
Authority
CN
China
Prior art keywords
map
image
target
scene
positioning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910509722.2A
Other languages
English (en)
Other versions
CN110298269A (zh
Inventor
王颢星
张永杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201910509722.2A priority Critical patent/CN110298269B/zh
Publication of CN110298269A publication Critical patent/CN110298269A/zh
Application granted granted Critical
Publication of CN110298269B publication Critical patent/CN110298269B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Navigation (AREA)

Abstract

本发明提供一种场景图像定位方法、装置、设备及可读存储介质，通过从用户端接收定位请求，其中，所述定位请求包括目标场景图像；对所述目标场景图像进行场景识别，获取目标场景特征；在预存储的至少一个地图中，确定与所述目标场景特征匹配的目标地图，其中，所述至少一个地图是根据所述用户端发送的初始图像构建的；根据所述目标场景图像和所述目标地图，向所述用户端发送定位数据，实现根据用户提供数据建立用户专有的地图，提高定位的可靠性，并在以图像比对进行精准定位之前确定目标地图，提高定位的速度和效率。

Description

场景图像定位方法、装置、设备及可读存储介质
技术领域
本发明涉及定位技术领域，尤其涉及一种场景图像定位方法、装置、设备及可读存储介质。
背景技术
随着各种智能设备的发展，在机器人定位、无人车定位以及智能终端定位的各种定位场景中，需要建立更加可靠和快速的定位方案。
现有的定位技术通常是基于第三方地图数据服务商提供的地图数据进行定位。例如第三方地图数据服务商通过卫星地图、实地勘测等方式，获取到地图数据，用户端在需要查询目的地信息时，将目的地名称上传至服务器，由服务器根据目的地信息和第三方地图数据服务商提供的地图数据，向用户端提供定位服务。
然而，现有的定位技术受限于第三方地图数据服务商的地图数据采集的完整性和准确性，对于第三方地图数据服务商无法准确采集地图数据的区域则无法提供可靠的定位服务。
发明内容
本发明实施例提供一种场景图像定位方法、装置、设备及可读存储介质，实现根据用户提供数据建立用户专有的地图，提高定位的可靠性，并在以图像比对进行精准定位之前确定目标地图，提高定位的速度和效率。
本发明实施例的第一方面，提供一种场景图像定位方法，包括：
从用户端接收定位请求，其中，所述定位请求包括目标场景图像；
对所述目标场景图像进行场景识别，获取目标场景特征；
在预存储的至少一个地图中，确定与所述目标场景特征匹配的目标地图，其中，所述至少一个地图是根据所述用户端发送的初始图像构建的；
根据所述目标场景图像和所述目标地图，向所述用户端发送定位数据。
本发明实施例的第二方面，提供一种场景图像定位装置，包括：
接收模块，用于从用户端接收定位请求，其中，所述定位请求包括目标场景图像；
识别模块，用于对所述目标场景图像进行场景识别，获取目标场景特征；
匹配模块，用于在预存储的至少一个地图中，确定与所述目标场景特征匹配的目标地图，其中，所述至少一个地图是根据所述用户端发送的初始图像构建的；
处理模块，用于根据所述目标场景图像和所述目标地图，向所述用户端发送定位数据。
本发明实施例的第三方面，提供一种设备，包括：存储器、处理器以及计算机程序，所述计算机程序存储在所述存储器中，所述处理器运行所述计算机程序执行本发明第一方面所述的场景图像定位方法。
本发明实施例的第四方面，提供一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时用于实现发明第一方面所述的场景图像定位方法。
本发明提供的一种场景图像定位方法、装置、设备及可读存储介质，通过从用户端接收定位请求，其中，所述定位请求包括目标场景图像；对所述目标场景图像进行场景识别，获取目标场景特征；在预存储的至少一个地图中，确定与所述目标场景特征匹配的目标地图，其中，所述至少一个地图是根据所述用户端发送的初始图像构建的；根据所述目标场景图像和所述目标地图，向所述用户端发送定位数据，实现根据用户提供数据建立用户专有的地图，提高定位的可靠性，并在以图像比对进行精准定位之前确定目标地图，提高定位的速度和效率。
附图说明
图1是本发明实施例提供的一种应用场景示意图；
图2是本发明实施例提供的一种场景图像定位方法流程示意图；
图3是本发明实施例提供的另一种场景图像定位方法流程示意图；
图4是本发明实施例提供的一种场景图像定位装置结构示意图；
图5是本发明实施例提供的一种设备的硬件结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，在本发明的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
应当理解，在本发明中，“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解，在本发明中，“多个”是指两个或两个以上。“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。“包含A、B和C”、“包含A、B、C”是指A、B、C三者都包含，“包含A、B或C”是指包含A、B、C三者之一，“包含A、B和/或C”是指包含A、B、C三者中任1个或任2个或3个。
应当理解，在本发明中，“与A对应的B”、“与A相对应的B”、“A与B相对应”或者“B与A相对应”，表示B与A相关联，根据A可以确定B。根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其他信息确定B。A与B的匹配，是A与B的相似度大于或等于预设的阈值。
取决于语境，如在此所使用的“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
参见图1，是本发明实施例提供的一种应用场景示意图。在游乐场、少年宫、博物馆或者私人会所等场景中，用户需要定位服务器。但是非公开区域的地理位置信息在公有地图库中是获取不到的，而本发明实施例中，以用户端上传的图片对这些场景构建了专有的地图数据，用户端1与服务器2通过通信网络(图中未示出)进行定位信息的交互，通信网络可以包括各种连接类型的网络，例如有线网络、无线通信链路网络或者光纤电缆网络等等。用户通过服务器2提供的定位数据实现在游乐场、少年宫、博物馆或者私人会所等场景中的准确定位。例如在服务器2侧预先构建用博物馆的地图数据。用户博物馆的一个场馆入口拍摄周围图片，服务器2在从用户端1接收到携带周围图片的定位请求时，以预存储的地图数据向用户端1提供定位服务，提示用户所在的位置。其中，用户端1例如可以是手机、穿戴设备(例如具有摄像头的手表、手环、眼镜、帽子、耳机或胸针)、个人数字助理(PersonalDigital Assistant，简称：PDA)、平板电脑、便携设备(例如，便携式计算机、袖珍式计算机或手持式计算机)等具有图像采集功能和/或现实增强AR功能的移动设备。服务器2例如是提供各种服务的服务器，例如对用户利用用户端1使用的定位应用程序提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的定位请求等数据进行分析等处理，并将处理结果(例如定位数据--仅为示例)反馈给用户端。本发明实施例对用户端1和服务器2的形式并不限定。
参见图2，是本发明实施例提供的一种场景图像定位方法流程示意图，图2所示方法的执行主体可以是软件和/或硬件装置，硬件装置例如图1所示各种实施例中的用户端1，软件装置例如是安装在图1所示各种用户端1中的软件模块。图2所示方法包括步骤S101至步骤S104，具体如下：
S101，从用户端接收定位请求，其中，所述定位请求包括目标场景图像。
在一些应用场景中，例如是在游乐场、少年宫、博物馆、私人会所等场景中用户需要知道自己的位置或者是其他人的位置，那么，可以将自己所在位置周围的图像，或其他人所在位置周围的图像作为目标场景图像，并向服务器发送包括目标场景图像的定位请求。服务器接收到定位请求后，从定位请求中解析出目标场景图像。
S102，对所述目标场景图像进行场景识别，获取目标场景特征。
定位请求中包含的目标场景图像可以是一张图片中的图像，也可以是多张图片中的图像。服务器根据定位请求中包含的图像场景图像进行场景识别，例如是对用户当前所在位置周围场景进行识别。在上述博物馆的应用场景中，目标场景特征例如是XX类型场馆区场景，或者是餐饮区场景等。
场景识别的实现方式可以有多种，例如是以预设的场景识别模型对所述目标场景图像进行场景识别，获取目标场景特征，其中，所述场景识别模型是以用于构建地图的初始图像为训练样本，学习得到的分类网络模型或回归网络模型。场景识别模型的具体学习方式可以是监督型学习，也可以是无监督型学习，本发明实施例在此不做限制。
S103，在预存储的至少一个地图中，确定与所述目标场景特征匹配的目标地图，其中，所述至少一个地图是根据所述用户端发送的初始图像构建的。
例如，服务器预存储了多个地图，每个地图都对应设置有其地图场景特征。假设一个地图A是XX展馆的场景，另一个地图B是餐厅的场景，那么在目标场景特征为餐厅场景时，可以将地图B作为目标地图。服务器预存储的至少一个地图，可以是相关联的或者位置临近的多个区域的地图，例如一个博物馆内的多个功能区域或多个不同类型展馆。服务器预存储的至少一个地图，也可以是不相关区域的地图，例如私人会所的地图、博物馆的地图以及用户住所的地图。不同地图具有不同的地图场景，通过与目标场景特征的匹配，可以在服务器预存储的大量地图中先粗略选定目标地图，再进行精确定位，从而提高了定位效率，减少了计算量。
在一些实施例中，服务器存储的地图的坐标系是预先与世界坐标系标定的，所述至少一个地图是根据所述用户端发送的初始图像构建的，且所述至少一个地图的坐标系与世界坐标系一致。也就是说，同一个物体在所述至少一个地图中标识的地图位置，与世界坐标系中以经纬度等方式标识的位置一致，也可以理解为与全球定位系统GPS定位的位置一致。为了协助定位，提高定位的效率和精确程度，在这些实施例中定位请求还可以包括GPS位置信息。那么，获取目标地图的方式，可以是在预存储的至少一个地图中，确定与所述目标场景特征和所述GPS位置信息匹配的目标地图。例如，在服务器预存储有多个展馆地图和私人会所地图的场景中，通过GPS位置信息可以定位到与博物馆对应的8个地图，进一步地，通过目标场景特征的匹配，在这8个地图中确定出匹配度最高的XX展馆地图为目标地图。可见，通过引入GPS位置，可以加快目标地图的确定速度。
S104，根据所述目标场景图像和所述目标地图，向所述用户端发送定位数据。
以目标地图对目标场景图像进行定位，可以理解为是用目标场景图像的图像特征与目标地图中的地图图像特征进行比较和匹配，在匹配到一致的地图图像特征时，将匹配一致的地图图像特征所在地图位置作为定位数据发给用户端。也可以是将匹配一致的地图图像特征关联的周围AR数据作为定位数据发给用户端。定位数据中还可以包括语音提示信息等，本实施例在此不做限制。以下通过三种实施例的举例，对定位数据可能的实现方式进行部分介绍。
在一些实施例中，定位数据可以包括：地图位置和/或所述地图位置对应的现实增强AR数据。在用户需要对自己的位置或者其他用户的位置进行定位的场景中，服务器根据所述目标场景图像，在所述目标地图中确定地图位置，然后向所述用户端发送所述地图位置和/或所述地图位置对应的AR数据。用户端在收到地图位置时，可以获知自己或他人的位置，在收到AR数据时，可以通过AR的形式观看自己或他人位置周围的影像，还可以将AR数据发给其他用户端进行AR分享。
在另一些实施例中，服务器向所述用户端发送定位数据之后，还可以从所述用户端接收到对所述定位数据的分享请求，其中，所述分享请求中包括至少一个第二用户端的标识信息。那么，服务器可以响应分享请求，根据所述第二用户端的标识信息，向所述第二用户端发送所述地图位置和/或所述地图位置对应的AR数据。例如用户想要直接向第二用户分享自己所在位置的信息，那么可以向服务器发出分享请求。第二用户端在收到地图位置时，可以获知发起分享请求的用户的位置，在收到AR数据时，可以通过AR的形式观看发起分享请求的用户周围的影像。
在再一些实施例中，目标场景图像可以包括起点目标场景图像和终点目标场景图像。那么服务器可以根据所述起点目标场景图像和与所述起点目标场景图像对应的目标地图，获取起点地图位置，并且根据所述终点目标场景图像和与所述终点目标场景图像对应的目标地图，获取终点地图位置。然后，服务器根据所述起点地图位置、所述终点地图位置以及所述预存储的至少一个地图，获取所述从所述起点地图位置到所述终点地图位置的地图导航信息。具体地，起点地图位置、终点地图位置可以是在同一个地图中的地图位置，也可以是在不同地图中的地图位置。如果起点地图位置、终点地图位置是在不同地图中的地图位置，那么服务器预存储的地图之间的位置关系是预先设定的，而导航信息在指示跨越不同地图之间的路径时，以直线路径进行指示导航方向，并可以附加地图区域外的提示信息。服务器根据所述地图导航信息，向所述用户端发送用于指示所述地图导航信息的AR数据。
本实施例提供的一种场景图像定位方法，通过从用户端接收定位请求，其中，所述定位请求包括目标场景图像；对所述目标场景图像进行场景识别，获取目标场景特征；在预存储的至少一个地图中，确定与所述目标场景特征匹配的目标地图，其中，所述至少一个地图是根据所述用户端发送的初始图像构建的；根据所述目标场景图像和所述目标地图，向所述用户端发送定位数据，实现根据用户提供数据建立用户专有的地图，提高定位的可靠性，并在以图像比对进行精准定位之前确定目标地图，提高定位的速度和效率。
在上述实施例的基础上，还可以在服务器中预先构建至少一个地图，或者是对服务器中预先构建的地图进行更新维护。参见图3，是本发明实施例提供的另一种场景图像定位方法流程示意图，图3所示方法包括步骤S201至步骤S207，具体如下：
S201，从所述用户端接收多个初始图像。
例如从用户端接收到连续的影像数据(例如视频数据中的视频图像帧)，或者接收到拍摄的照片，将这些影像数据或者照片都作为初始图像。在一些实施例中，用户端上传的初始图像还可以具有位置属性，例如用户上传自己住所周围的照片，并对照片中的物体添加GPS位置标签和/或名称标签。名称标签例如是R学校、Q医院、P的家等等。
S202，根据所述多个初始图像，构建或更新至少一个地图。
在用户端不断上传初始图像的场景中，在获取到大量的初始图像后，可以得到大量的图像特征来构建和更新地图。然而，不同初始图像所提供的图像特征的有效性可能存在差异。对于新上传的初始图像，如果发现新的初始图像中的图像特征是服务器未存储的新区域的图像特征，可以直接保存这些初始图像以构建新的地图，如果发现新的初始图像中的图像特征是已有地图的图像特征，例如在某些场所重新装修改建后，新上传的初始图像与旧的初始图像存在差异，本实施例可以通过重要性机制来确定更为准确的图像特征，以实现地图的自动更新和扩展。例如，在服务器构建或更新至少一个地图之后，还从所述用户端获取到新的初始图像；则服务器判断所述至少一个地图对应地图场景特征中，是否包含所述新的初始图像对应的场景特征；若是，则根据所述新的初始图像，更新所述至少一个地图；若后，则根据所述新的初始图像，构建地图。
在一些实施例中，服务器可以获取各所述初始图像的图像特征。图像特征例如是初始图像中物体的图像特征。然后，服务器确定各所述图像特征的重要程度，并将各所述图像特征按所述重要程度从高到低进行排序，清除所述重要程度低于预设重要性阈值的或者排序在预设序号之后的所述图像特征。由此实现图像特征的更新。最后，服务器根据剩余的所述图像特征，构建或更新至少一个地图。
其中，服务器确定各所述图像特征的重要程度的方式可以有多种，例如可以是获取各图像特征的属性信息，所述属性信息包括采集时间、显著程度和/或在所述多个初始图像对应的所有图像特征中重复的次数，然后根据各所述图像特征的属性信息，确定各所述图像特征的重要程度。例如，采集时间较早的图像特征重要性较低，显著程度较差的图像特征重要性较低，被重复观测的次数较少的图像特征重要性较低(在重定位中很少被重复匹配的图像特征)。
在一些实施例中，在上述重要性机制构建或更新地图的实施例中，服务器存储的所述至少一个地图还可以是具有季节特性的地图，例如对同一个位置存储有夏季和冬季两种季节类型的地图图像特征，可以根据用户请求定位服务的时间，来向用户提供相应季节的定位数据，例如是AR数据，从而提高用户体验。那么，服务器在构建或更新地图时，可以先获取剩余图像特征的采集时间，然后根据所述采集时间，确定各所述剩余图像特征的季节类型。最后，服务器根据所述剩余图像特征，构建或更新至少一个地图，其中，每个所述地图包含与多个重叠地图，每个重叠地图对应一个所述季节类型。
S203，对各所述地图对应的初始图像进行场景识别，对每个所述地图确定至少一个地图场景特征。
服务器可以是以所述场景识别模型对各所述地图对应的初始图像进行场景识别，对每个所述地图确定至少一个地图场景特征。场景识别模型是以所述初始图像为训练样本学习得到的分类网络模型或回归网络模型。
S204，从用户端接收定位请求，其中，所述定位请求包括目标场景图像。
S205，对所述目标场景图像进行场景识别，获取目标场景特征。
本实施例中步骤S204至步骤S205的实现原理和技术效果与图2所示步骤S102至步骤S102类似，此处不再赘述。
S206，在预存储的至少一个地图中，将所述地图场景特征包含所述目标场景特征的地图，作为所述目标地图。
S207，根据所述目标场景图像和所述目标地图，向所述用户端发送定位数据。
在上述服务器存储的所述至少一个地图还可以是具有季节特性的地图的实施例中，服务器可以根据所述定位请求的发送时间或者所述目标场景图像的采集时间，确定目标季节类型；然后根据所述目标季节类型，在所述目标地图对应的重叠地图中确定目标重叠地图；最后根据所述目标场景图像和所述目标重叠地图，向所述用户端发送与所述目标季节类型对应的定位数据。例如，用户在冬天发出定位请求，那么服务器反馈的定位数据中，例如包括AR数据，该AR数据呈现的效果就是由冬季的地图重叠地图得到的AR图像，而不会出现夏季的AR图像，尤其在一些风景区中的定位，不同季节的场景内容相差较大，通过根据用户发出定位请求的季节或者拍摄目标场景图像的季节而提供相应季节类型的定位数据，实现定位数据与用户当前的环境匹配，可以提高用户体验。
本发明还提供实现上述各种方法实施例的装置，参见图4，是本发明实施例提供的一种场景图像定位装置结构示意图。图4所示的场景图像定位装置40包括：
接收模块41，用于从用户端接收定位请求，其中，所述定位请求包括目标场景图像。
识别模块42，用于对所述目标场景图像进行场景识别，获取目标场景特征。
匹配模块43，用于在预存储的至少一个地图中，确定与所述目标场景特征匹配的目标地图，其中，所述至少一个地图是根据所述用户端发送的初始图像构建的。
处理模块44，用于根据所述目标场景图像和所述目标地图，向所述用户端发送定位数据。
本实施例提供的一种场景图像定位装置，通过从用户端接收定位请求，其中，所述定位请求包括目标场景图像；对所述目标场景图像进行场景识别，获取目标场景特征；在预存储的至少一个地图中，确定与所述目标场景特征匹配的目标地图，其中，所述至少一个地图是根据所述用户端发送的初始图像构建的；根据所述目标场景图像和所述目标地图，向所述用户端发送定位数据，实现根据用户提供数据建立用户专有的地图，提高定位的可靠性，并在以图像比对进行精准定位之前确定目标地图，提高定位的速度和效率。
可选地，处理模块44还用于从所述用户端接收多个初始图像；根据所述多个初始图像，构建或更新至少一个地图；对各所述地图对应的初始图像进行场景识别，对每个所述地图确定至少一个地图场景特征。
相应地，所述匹配模块43，用于在预存储的至少一个地图中，将所述地图场景特征包含所述目标场景特征的地图，作为所述目标地图。
可选地，所述识别模块42，用于以预设的场景识别模型对所述目标场景图像进行场景识别，获取目标场景特征，其中，所述场景识别模型是以所述初始图像为训练样本学习得到的分类网络模型或回归网络模型。
相应地，所述处理模块44用于以所述场景识别模型对各所述地图对应的初始图像进行场景识别，对每个所述地图确定至少一个地图场景特征。
可选地，所述处理模块44用于获取各所述初始图像的图像特征；确定各所述图像特征的重要程度；将各所述图像特征按所述重要程度从高到低进行排序，并清除所述重要程度低于预设重要性阈值的或者排序在预设序号之后的所述图像特征；根据剩余图像特征，构建或更新至少一个地图。
可选地，所述处理模块44用于获取各图像特征的属性信息，所述属性信息包括采集时间、显著程度和/或在所述多个初始图像对应的所有图像特征中重复的次数；根据各所述图像特征的属性信息，确定各所述图像特征的重要程度。
可选地，所述处理模块44用于获取剩余图像特征的采集时间；根据所述采集时间，确定各所述剩余图像特征的季节类型；根据所述剩余图像特征，构建或更新至少一个地图，其中，每个所述地图包含与多个重叠地图，每个重叠地图对应一个所述季节类型；
以及，根据所述定位请求的发送时间或者所述目标场景图像的采集时间，确定目标季节类型；根据所述目标季节类型，在所述目标地图对应的重叠地图中确定目标重叠地图；根据所述目标场景图像和所述目标重叠地图，向所述用户端发送与所述目标季节类型对应的定位数据。
可选地，所述处理模块44在所述根据所述多个初始图像，构建或更新至少一个地图之后，还用于从所述用户端获取到新的初始图像；判断所述至少一个地图对应地图场景特征中，是否包含所述新的初始图像对应的场景特征；若是，则根据所述新的初始图像，更新所述至少一个地图；若后，则根据所述新的初始图像，构建地图。
可选地，所述定位数据包括：地图位置和/或所述地图位置对应的现实增强AR数据。
相应地，所述处理模块44用于根据所述目标场景图像，在所述目标地图中确定地图位置；向所述用户端发送所述地图位置和/或所述地图位置对应的AR数据。
可选地，所述处理模块44在所述根据所述目标场景图像和所述目标地图，向所述用户端发送定位数据之后，还用于从所述用户端接收到对所述定位数据的分享请求，其中，所述分享请求中包括至少一个第二用户端的标识信息；根据所述第二用户端的标识信息，向所述第二用户端发送所述地图位置和/或所述地图位置对应的AR数据。
可选地，所述目标场景图像包括起点目标场景图像和终点目标场景图像。
相应地，所述处理模块44用于根据所述起点目标场景图像和与所述起点目标场景图像对应的目标地图，获取起点地图位置；根据所述终点目标场景图像和与所述终点目标场景图像对应的目标地图，获取终点地图位置；根据所述起点地图位置、所述终点地图位置以及所述预存储的至少一个地图，获取所述从所述起点地图位置到所述终点地图位置的地图导航信息；根据所述地图导航信息，向所述用户端发送用于指示所述地图导航信息的AR数据。
可选地，所述定位请求还包括全球定位系统GPS位置信息。
相应地，所述匹配模块43，用于在预存储的至少一个地图中，确定与所述目标场景特征和所述GPS位置信息匹配的目标地图，其中，所述至少一个地图是根据所述用户端发送的初始图像构建的，且所述至少一个地图的坐标系与世界坐标系一致。
参见图5，是本发明实施例提供的一种设备的硬件结构示意图，该设备50包括：处理器51、存储器52和计算机程序；其中
存储器52，用于存储所述计算机程序，该存储器还可以是闪存(flash)。所述计算机程序例如是实现上述方法的应用程序、功能模块等。
处理器51，用于执行所述存储器存储的计算机程序，以实现上述场景图像定位方法中服务器执行的各个步骤。具体可以参见前面方法实施例中的相关描述。
可选地，存储器52既可以是独立的，也可以跟处理器51集成在一起。
当所述存储器52是独立于处理器51之外的器件时，所述设备还可以包括：
总线53，用于连接所述存储器52和处理器51。图5的设备还可以进一步包括发送器(图中未画出)，用于向服务器发送处理器51生成的定位数据。
本发明还提供一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时用于实现上述的各种实施方式提供的场景图像定位方法。
其中，可读存储介质可以是计算机存储介质，也可以是通信介质。通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。计算机存储介质可以是通用或专用计算机能够存取的任何可用介质。例如，可读存储介质耦合至处理器，从而使处理器能够从该可读存储介质读取信息，且可向该可读存储介质写入信息。当然，可读存储介质也可以是处理器的组成部分。处理器和可读存储介质可以位于专用集成电路(ApplicationSpecific Integrated Circuits，简称：ASIC)中。另外，该ASIC可以位于用户设备中。当然，处理器和可读存储介质也可以作为分立组件存在于通信设备中。可读存储介质可以是只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本发明还提供一种程序产品，该程序产品包括执行指令，该执行指令存储在可读存储介质中。设备的至少一个处理器可以从可读存储介质读取该执行指令，至少一个处理器执行该执行指令使得设备实施上述的各种实施方式提供的场景图像定位方法。
在上述设备的实施例中，应理解，处理器可以是中央处理单元(英文：CentralProcessing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：DigitalSignal Processor，简称：DSP)、专用集成电路(英文：Application Specific IntegratedCircuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (14)

1.一种场景图像定位方法，其特征在于，包括：
从用户端接收定位请求，其中，所述定位请求包括目标场景图像；
对所述目标场景图像进行场景识别，获取目标场景特征；
在预存储的至少一个地图中，确定与所述目标场景特征匹配的目标地图，其中，所述至少一个地图是根据所述用户端发送的初始图像构建的；
根据所述目标场景图像和所述目标地图，向所述用户端发送定位数据；
所述在预存储的至少一个地图中，确定与所述目标场景特征匹配的目标地图，包括：
在预存储的至少一个地图中，将地图场景特征包含所述目标场景特征的地图，作为所述目标地图。
2.根据权利要求1所述的方法，其特征在于，还包括：
从所述用户端接收多个初始图像；
根据所述多个初始图像，构建或更新至少一个地图；
对各所述地图对应的初始图像进行场景识别，对每个所述地图确定至少一个地图场景特征。
3.根据权利要求2所述的方法，其特征在于，所述对所述目标场景图像进行场景识别，获取目标场景特征，包括：
以预设的场景识别模型对所述目标场景图像进行场景识别，获取目标场景特征，其中，所述场景识别模型是以所述初始图像为训练样本学习得到的分类网络模型或回归网络模型；
所述对各所述地图对应的初始图像进行场景识别，对每个所述地图确定至少一个地图场景特征，包括：
以所述场景识别模型对各所述地图对应的初始图像进行场景识别，对每个所述地图确定至少一个地图场景特征。
4.根据权利要求2所述的方法，其特征在于，所述根据所述多个初始图像，构建或更新至少一个地图，包括：
获取各所述初始图像的图像特征；
确定各所述图像特征的重要程度；
将各所述图像特征按所述重要程度从高到低进行排序，并清除所述重要程度低于预设重要性阈值的或者排序在预设序号之后的所述图像特征；
根据剩余图像特征，构建或更新至少一个地图。
5.根据权利要求4所述的方法，其特征在于，所述确定各所述图像特征的重要程度，包括：
获取各图像特征的属性信息，所述属性信息包括采集时间、显著程度和/或在所述多个初始图像对应的所有图像特征中重复的次数；
根据各所述图像特征的属性信息，确定各所述图像特征的重要程度。
6.根据权利要求4所述的方法，其特征在于，所述根据剩余图像特征，构建或更新至少一个地图，包括：
获取剩余图像特征的采集时间；
根据所述采集时间，确定各所述剩余图像特征的季节类型；
根据所述剩余图像特征，构建或更新至少一个地图，其中，每个所述地图包含与多个重叠地图，每个重叠地图对应一个所述季节类型；
所述根据所述目标场景图像和所述目标地图，向所述用户端发送定位数据，包括：
根据所述定位请求的发送时间或者所述目标场景图像的采集时间，确定目标季节类型；
根据所述目标季节类型，在所述目标地图对应的重叠地图中确定目标重叠地图；
根据所述目标场景图像和所述目标重叠地图，向所述用户端发送与所述目标季节类型对应的定位数据。
7.根据权利要求4所述的方法，其特征在于，在所述根据所述多个初始图像，构建或更新至少一个地图之后，还包括：
从所述用户端获取到新的初始图像；
判断所述至少一个地图对应地图场景特征中，是否包含所述新的初始图像对应的场景特征；
若是，则根据所述新的初始图像，更新所述至少一个地图；
若后，则根据所述新的初始图像，构建地图。
8.根据权利要求1所述的方法，其特征在于，所述定位数据包括：地图位置和/或所述地图位置对应的现实增强AR数据；
所述根据所述目标场景图像和所述目标地图，向所述用户端发送定位数据，包括：
根据所述目标场景图像，在所述目标地图中确定地图位置；
向所述用户端发送所述地图位置和/或所述地图位置对应的AR数据。
9.根据权利要求8所述的方法，其特征在于，在所述根据所述目标场景图像和所述目标地图，向所述用户端发送定位数据之后，还包括：
从所述用户端接收到对所述定位数据的分享请求，其中，所述分享请求中包括至少一个第二用户端的标识信息；
根据所述第二用户端的标识信息，向所述第二用户端发送所述地图位置和/或所述地图位置对应的AR数据。
10.根据权利要求8所述的方法，其特征在于，所述目标场景图像包括起点目标场景图像和终点目标场景图像；
所述根据所述目标场景图像和所述目标地图，向所述用户端发送定位数据，包括：
根据所述起点目标场景图像和与所述起点目标场景图像对应的目标地图，获取起点地图位置；
根据所述终点目标场景图像和与所述终点目标场景图像对应的目标地图，获取终点地图位置；
根据所述起点地图位置、所述终点地图位置以及所述预存储的至少一个地图，获取从所述起点地图位置到所述终点地图位置的地图导航信息；
根据所述地图导航信息，向所述用户端发送用于指示所述地图导航信息的AR数据。
11.根据权利要求1至10任一所述的方法，其特征在于，
所述定位请求还包括全球定位系统GPS位置信息；
所述在预存储的至少一个地图中，确定与所述目标场景特征匹配的目标地图，其中，所述至少一个地图是根据所述用户端发送的初始图像构建的，包括：
在预存储的至少一个地图中，确定与所述目标场景特征和所述GPS位置信息匹配的目标地图，其中，所述至少一个地图是根据所述用户端发送的初始图像构建的，且所述至少一个地图的坐标系与世界坐标系一致。
12.一种场景图像定位装置，其特征在于，包括：
接收模块，用于从用户端接收定位请求，其中，所述定位请求包括目标场景图像；
识别模块，用于对所述目标场景图像进行场景识别，获取目标场景特征；
匹配模块，用于在预存储的至少一个地图中，确定与所述目标场景特征匹配的目标地图，其中，所述至少一个地图是根据所述用户端发送的初始图像构建的；
处理模块，用于根据所述目标场景图像和所述目标地图，向所述用户端发送定位数据；
所述匹配模块，具体用于在预存储的至少一个地图中，将地图场景特征包含所述目标场景特征的地图，作为所述目标地图。
13.一种电子设备，其特征在于，包括：存储器、处理器以及计算机程序，所述计算机程序存储在所述存储器中，所述处理器运行所述计算机程序执行权利要求1至11任一所述的场景图像定位方法。
14.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时用于实现权利要求1至11任一所述的场景图像定位方法。
CN201910509722.2A 2019-06-13 2019-06-13 场景图像定位方法、装置、设备及可读存储介质 Active CN110298269B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910509722.2A CN110298269B (zh) 2019-06-13 2019-06-13 场景图像定位方法、装置、设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910509722.2A CN110298269B (zh) 2019-06-13 2019-06-13 场景图像定位方法、装置、设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN110298269A CN110298269A (zh) 2019-10-01
CN110298269B true CN110298269B (zh) 2021-11-02

Family

ID=68027982

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910509722.2A Active CN110298269B (zh) 2019-06-13 2019-06-13 场景图像定位方法、装置、设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN110298269B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111603100B (zh) * 2020-05-08 2022-04-22 美智纵横科技有限责任公司 扫地机清扫地图的存储和复用方法、及存储和复用装置
CN111665943B (zh) * 2020-06-08 2023-09-19 浙江商汤科技开发有限公司 一种位姿信息展示方法及装置
CN112015937B (zh) * 2020-08-31 2024-01-19 核工业北京地质研究院 一种图片地理定位方法及系统
CN112432637B (zh) * 2020-11-30 2023-04-07 浙江商汤科技开发有限公司 定位方法及装置、电子设备和存储介质
CN112432636B (zh) * 2020-11-30 2023-04-07 浙江商汤科技开发有限公司 定位方法及装置、电子设备和存储介质
CN112927293A (zh) * 2021-03-26 2021-06-08 深圳市慧鲤科技有限公司 Ar场景展示方法及装置、电子设备和存储介质
CN113329207B (zh) * 2021-05-26 2022-03-29 北京远度互联科技有限公司 基于飞行器拍摄的辅助追踪方法、系统和计算机存储介质
CN115565057B (zh) * 2021-07-02 2024-05-24 北京小米移动软件有限公司 地图生成方法、装置、足式机器人及存储介质
CN113509722B (zh) * 2021-07-13 2022-09-23 上海哔哩哔哩科技有限公司 数据处理方法及装置
CN114297534B (zh) * 2022-02-28 2022-07-22 京东方科技集团股份有限公司 交互式寻找目标对象的方法、系统和存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103424113A (zh) * 2013-08-01 2013-12-04 毛蔚青 移动终端基于图像识别技术的室内定位与导航方法
WO2015157344A2 (en) * 2014-04-07 2015-10-15 Digitalglobe, Inc. Systems and methods for large scale crowdsourcing of map data location, cleanup, and correction
CN105333878A (zh) * 2015-11-26 2016-02-17 深圳如果技术有限公司 一种路况视频导航系统及方法
CN105973236A (zh) * 2016-04-26 2016-09-28 乐视控股（北京）有限公司 室内定位或导航方法、装置以及地图数据库生成方法
CN107016877A (zh) * 2017-05-25 2017-08-04 北京小米移动软件有限公司 用于在停车场内进行车辆定位的方法及装置
CN107045844A (zh) * 2017-04-25 2017-08-15 张帆 一种基于增强现实技术的景观导视方法
CN107967457A (zh) * 2017-11-27 2018-04-27 全球能源互联网研究院有限公司 一种适应视觉特征变化的地点识别与相对定位方法及系统
CN109460484A (zh) * 2018-11-08 2019-03-12 广州市增城区城乡规划与测绘地理信息研究院 一种基于微信的地理信息数据众包采集系统及方法
CN109540122A (zh) * 2018-11-14 2019-03-29 中国银联股份有限公司 一种构建地图模型的方法及装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5066539B2 (ja) * 2009-01-26 2012-11-07 株式会社デンソーアイティーラボラトリ 機器操作制御装置、機器操作制御方法およびプログラム
CN104036786B (zh) * 2014-06-25 2018-04-27 青岛海信电器股份有限公司 一种语音降噪的方法及装置
US9373190B2 (en) * 2014-07-09 2016-06-21 Google Inc. High-quality stereo reconstruction featuring depth map alignment and outlier identification
US9264861B1 (en) * 2015-01-29 2016-02-16 Ringcentral, Inc. Generating spatial models using crowdsourcing
CN105974357A (zh) * 2016-04-29 2016-09-28 北京小米移动软件有限公司 终端的定位方法及装置
US10037611B2 (en) * 2016-06-16 2018-07-31 Andromeda Holding B.V. Method and apparatus for generating map data from images
CN106096192B (zh) * 2016-06-27 2019-05-28 百度在线网络技术（北京）有限公司 一种无人驾驶车辆的测试场景的构建方法和装置
CN109032344A (zh) * 2018-07-04 2018-12-18 Oppo（重庆）智能科技有限公司 定位处理方法及相关产品
CN109272854A (zh) * 2018-08-17 2019-01-25 广州城市信息研究所有限公司 一种地图地址匹配方法、装置、终端设备及存储介质
CN109443345B (zh) * 2018-10-29 2023-12-26 温州大学 用于监控导航的定位方法及系统
CN109708644B (zh) * 2019-01-21 2020-11-27 北京旷视机器人技术有限公司 移动机器人导航方法、装置和移动机器人

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103424113A (zh) * 2013-08-01 2013-12-04 毛蔚青 移动终端基于图像识别技术的室内定位与导航方法
WO2015157344A2 (en) * 2014-04-07 2015-10-15 Digitalglobe, Inc. Systems and methods for large scale crowdsourcing of map data location, cleanup, and correction
CN105333878A (zh) * 2015-11-26 2016-02-17 深圳如果技术有限公司 一种路况视频导航系统及方法
CN105973236A (zh) * 2016-04-26 2016-09-28 乐视控股（北京）有限公司 室内定位或导航方法、装置以及地图数据库生成方法
CN107045844A (zh) * 2017-04-25 2017-08-15 张帆 一种基于增强现实技术的景观导视方法
CN107016877A (zh) * 2017-05-25 2017-08-04 北京小米移动软件有限公司 用于在停车场内进行车辆定位的方法及装置
CN107967457A (zh) * 2017-11-27 2018-04-27 全球能源互联网研究院有限公司 一种适应视觉特征变化的地点识别与相对定位方法及系统
CN109460484A (zh) * 2018-11-08 2019-03-12 广州市增城区城乡规划与测绘地理信息研究院 一种基于微信的地理信息数据众包采集系统及方法
CN109540122A (zh) * 2018-11-14 2019-03-29 中国银联股份有限公司 一种构建地图模型的方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于WalkSLAM的Radio Map众包建立算法研究;房天阳;《中国优秀硕士学位论文全文数据库信息科技辑》;20190115;第I136-760页 *

Also Published As

Publication number Publication date
CN110298269A (zh) 2019-10-01

Similar Documents

Publication Publication Date Title
CN110298269B (zh) 场景图像定位方法、装置、设备及可读存储介质
US8472664B1 (en) Inferring locations from an image
US9805065B2 (en) Computer-vision-assisted location accuracy augmentation
EP2851811B1 (en) Method and device for achieving augmented reality application
US7474959B2 (en) Method for providing recommendations using image, location data, and annotations
CN104202396A (zh) 一种信息分享方法、装置、服务器、终端设备及系统
WO2018072207A1 (zh) 一种信息推送方法、装置和系统
WO2012166874A2 (en) Computer-vision-assisted location check-in
WO2012126381A1 (zh) 一种用于获取与现实场景相关的共享对象的设备和方法
CN109492122A (zh) 商家信息的获取方法、装置、终端及计算机可读存储介质
TW201814553A (zh) 適地性空間物件遠距管理方法與系統
CN108020231A (zh) 一种基于视频的地图系统及导航方法
CN109029466A (zh) 室内导航方法和装置
US10102675B2 (en) Method and technical equipment for determining a pose of a device
CN111788606A (zh) 位置估计装置，跟踪器，位置估计方法和程序
CN108989312B (zh) 基于地理位置的认证方法和设备
US20230366695A1 (en) Systems and methods for vacant property identification and display
US9307349B2 (en) Communication terminal, place management server, and method of detecting place information thereof
JP6066824B2 (ja) 投稿情報表示システム、サーバ、端末装置、投稿情報表示方法およびプログラム
JP6755728B2 (ja) コンテンツ出力システム及び方法
CN110196891B (zh) 街区类型的确定方法、装置、存储介质及电子装置
CN110719324A (zh) 信息推送方法和设备
CN112417323A (zh) 基于兴趣点信息的到达行为检测方法、装置及计算机设备
KR20140019119A (ko) 위치 기반 콘텐츠 제공 방법
CN112882569B (zh) Ar交互方法、终端设备及云端地图管理系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant