CN112435338B - 电子地图的兴趣点的位置获取方法、装置及电子设备 - Google Patents

电子地图的兴趣点的位置获取方法、装置及电子设备 Download PDF

Info

Publication number
CN112435338B
CN112435338B CN202011306338.1A CN202011306338A CN112435338B CN 112435338 B CN112435338 B CN 112435338B CN 202011306338 A CN202011306338 A CN 202011306338A CN 112435338 B CN112435338 B CN 112435338B
Authority
CN
China
Prior art keywords
coordinate system
image
sequence
point
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011306338.1A
Other languages
English (en)
Other versions
CN112435338A (zh
Inventor
宋孟肖
金永庆
梅树起
岳大威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202011306338.1A priority Critical patent/CN112435338B/zh
Publication of CN112435338A publication Critical patent/CN112435338A/zh
Application granted granted Critical
Publication of CN112435338B publication Critical patent/CN112435338B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05Geographic models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29Geographical information databases

Abstract

本申请提供了电子地图的兴趣点的位置获取方法、装置及电子设备,涉及计算机视觉技术领域。该方法包括:获取通过移动终端连续拍摄得到的序列图像,确定序列图像上的兴趣点所在的目标区域;对序列图像进行视觉图像三维重建,根据视觉图像三维重建结果得到在相机坐标系下的目标区域第一像素坐标和序列图像的相对位置信息;根据相对位置信息、拍摄序列图像时的移动终端的定位信息和磁力计信息,计算得到相机坐标系相对于地理坐标系下的修正参数;利用修正参数对第一像素坐标进行修正,得到目标区域在地理坐标系下的第二像素坐标,进而得到兴趣点在地理坐标系下的定位位置。本实施例提高了电子地图上的兴趣点位置获取的准确性。

Description

电子地图的兴趣点的位置获取方法、装置及电子设备
技术领域
本申请涉及计算机视觉技术领域,具体而言,本申请涉及一种电子地图的兴趣点的位置获取方法、装置及电子设备,还涉及一种计算机可读存储介质。
背景技术
随着科技的进步和移动互联网的日益发展,用户对地图产品的使用量逐年上升。其中,用户在使用地图产品时的兴趣点(PointofInterest,POI)是一个重要的地图数据,例如:大型商场、高级酒店、交通枢纽、城市公园、名胜古迹、休闲场馆、医院、大厦和小区等。在实际应用中,用户经常会使用这些POI数据作为行程的导航。可见,POI数据的准确性是非常重要的。
在相关的POI坐标获取技术中,主要从手机记录的单张地图图像中确定POI,并依据手机的GPS(GlobalPositioningSystem,全球定位系统)信息和朝向信息推算出最终的POI坐标。但是通过手机GPS传感器获得的GPS位置容易出现偏移,朝向信息也可以因为磁力计受到环境干扰产生波动,影响POI坐标的推算;另一方面,利用单张地图图像难以准确得出手机拍摄时的位置与POI之间的实际距离,导致最终得到的POI坐标产生偏差,影响了POI定位数据的准确性。
发明内容
本申请的目的旨在至少能解决上述的技术缺陷之一,特别是POI定位数据的准确性低的技术缺陷。
第一方面,提供了一种电子地图的兴趣点的位置获取方法,包括:
获取通过移动终端连续拍摄得到的序列图像,确定序列图像上的兴趣点所在的目标区域;
对序列图像进行视觉图像三维重建,根据视觉图像三维重建结果得到在相机坐标系下的目标区域第一像素坐标和序列图像的相对位置信息;
在相机坐标系下的序列图像的相对位置信息、拍摄序列图像时的移动终端的定位信息和移动终端内的磁力计信息,计算得到相机坐标系相对于地理坐标系下的修正参数;
利用修正参数对第一像素坐标进行修正,得到目标区域在地理坐标系下的第二像素坐标,根据第二像素坐标得到兴趣点在地理坐标系下的定位位置。
在一种可能的实现方式中,对序列图像进行视觉图像三维重建的步骤包括:
利用尺度不变特征变换方式对序列图像进行关键点检测和特征匹配,得到移动终端拍摄序列图像时的位姿信息;
根据序列图像的位姿信息对序列图像进行视觉图像三维重建。
在一种可能的实现方式中,根据视觉图像三维重建结果得到在相机坐标系下的目标区域第一像素坐标的步骤包括:
确定目标区域内的各特征点的二维像素坐标;
利用多视角几何方法将二维像素坐标转换为对应的基于相机坐标系下的三维像素坐标,以得到在相机坐标系下的目标区域的第一像素坐标。
在一种可能的实现方式中,根据相对位置信息、拍摄序列图像时的移动终端的定位信息和移动终端内的磁力计信息,计算得到相机坐标系相对于地理坐标系下的修正参数的步骤包括:
获取基于视觉图像三维重建结果下的拍摄序列图像时的移动终端在相机坐标系下的位置坐标和第一朝向信息;
根据位置坐标、第一朝向信息、拍摄序列图像时的移动终端的定位信息和利用移动终端内的磁力计得到第二朝向信息,计算得到相机坐标系相对于地理坐标系下的修正参数。
在一种可能的实现方式中,修正参数包括:旋转角修正参数、平移量修正参数和尺度修正参数中的至少一者;
利用修正参数对第一像素坐标进行修正,得到目标区域在地理坐标系下的第二像素坐标的步骤包括:
利用旋转角修正参数、平移量修正参数和尺度修正参数中的至少一者对各特征点的三维像素坐标进行转换,得到目标区域在地理坐标系下的三维定位坐标。
在一种可能的实现方式中,根据第二像素坐标得到兴趣点在地理坐标系下的定位位置的步骤包括:
计算目标区域内的各特征点的三维定位坐标的平均值,将平均值作为兴趣点在地理坐标系下的定位位置。
在一种可能的实现方式中,确定序列图像上的兴趣点所在的目标区域的步骤包括:
识别序列图像上的文本信息;
确定文本信息在序列图像上对应的二维包围框,将二维包围框所在区域作为兴趣点的目标区域。
第二方面,提供了一种电子地图的兴趣点的位置获取装置,装置包括:
目标区域获取模块,用于获取通过移动终端连续拍摄得到的序列图像,确定序列图像上的兴趣点所在的目标区域;
图像三维重建模块,用于对序列图像进行视觉图像三维重建,根据纯视觉图像三维重建结果得到在相机坐标系下的目标区域的第一像素坐标和序列图像的相对位置信息;
修正参数计算模块,用于在相机坐标系下的序列图像的相对位置信息、拍摄序列图像时的移动终端的定位信息和移动终端内磁力计信息,计算得到相机坐标系相对于地理坐标系下的修正参数;
定位位置得到模块,用于利用修正参数对第一像素坐标进行修正,得到目标区域在地理坐标系下的第二像素坐标,根据第二像素坐标得到兴趣点在地理坐标系下的定位位置。
第三方面,提供了一种电子设备,电子设备包括:
一个或多个处理器;
存储器;
一个或多个应用程序,其中一个或多个应用程序被存储在存储器中并被配置为由一个或多个处理器执行,一个或多个程序配置用于:执行任一项的电子地图的兴趣点的位置获取方法。
第四方面,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现任一项的电子地图的兴趣点的位置获取方法。
本申请提供的技术方案带来的有益效果是:
通过获取通过移动终端连续拍摄得到的序列图像,确定序列图像上的兴趣点所在的目标区域;对序列图像进行视觉图像三维重建,根据视觉图像三维重建结果得到在相机坐标系下的目标区域第一像素坐标和序列图像的相对位置信息;根据在相机坐标系下的序列图像的相对位置信息、拍摄序列图像时的移动终端的定位信息和移动终端内的磁力计信息,计算得到相机坐标系相对于地理坐标系下的修正参数;利用修正参数对第一像素坐标进行修正,得到目标区域在地理坐标系下的第二像素坐标,进而得到兴趣点在地理坐标系下的定位位置,以通过利用移动终端在拍摄序列图像时对应的基于地理坐标系的定位位置和磁力计信息,对基于相机坐标系下的兴趣点的定位位置进行修正,将与兴趣点相关的特征点在相机坐标系下的位置坐标转换为在地理坐标系下的位置坐标,得到基于地理坐标系下的兴趣点的位置坐标,从而提高电子地图上的兴趣点位置获取的准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对本申请实施例描述中所需要使用的附图作简单地介绍。
图1是本申请一实施例提供的在电子地图上搜索兴趣点的界面示意图;
图2是本申请一实施例提供的一种电子地图的兴趣点的位置获取方法的流程图;
图3是本申请一实施例提供的序列图像采集的示意图;
图4是本申请一实施例提供的序列图像对应的位姿关系示意图;
图5是本申请一实施例提供的对序列图像进行图像三维重建获取兴趣点位置的方法流程图;
图6是本申请一实施例提供的一种电子地图的兴趣点的位置获取装置的结构示意图;
图7为本申请一实施例提供的一种用于电子地图的兴趣点的位置获取的电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例,实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本申请,而不能解释为对本发明的限制。
本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本申请的说明书中使用的措辞“包括”是指存在特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解,当我们称元件被“连接”或“耦接”到另一元件时,它可以直接连接或耦接到其他元件,或者也可以存在中间元件。此外,这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR(Optical Character Recognition,光学字符识别)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
相机内外参数,是指相机内参数和相机外参数。在图像测量过程以及计算机视觉应用中,为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系,必须建立相机成像的几何模型,这些几何模型参数就是相机参数,即相机内外参数。相机内参数是与相机自身特性相关的参数,如相机焦距、中心点偏移、像素大小和畸变系数,是相机的内在属性,相机内参数是不随相机的运动发生变化。相机外参数用来确定相机在某个三维空间中的位置和朝向,一般由旋转量和平移量表示。
稀疏三维重建:三维重建的一种,以重建出空间中的少量特征点为目标,与之相对应的是稠密三维重建,稠密三维重建以获取稠密三维点为目的,结果中既包含空间中的关键点也包括非关键点。
SIFT(Scale-invariant feature transform,尺度不变特征变换),是一种成熟的图像特征点提取算法,能够提取到影像中具有显著特征的点,即SIFT特征点,能适应尺度变化且匹配精度高。SIFT特征点是基于物体上的一些局部外观的兴趣点而与影像的大小和旋转无关,且对于光线、噪声、微视角改变的容忍度也相当高。因此,SIFT特征点是高度显著而且相对容易撷取,在母数庞大的特征数据库中,很容易辨识物体而且鲜有误认。使用SIFT特征点描述对于部分物体遮蔽的侦测率也相当高,甚至只需要3个以上的SIFT特征点就足以计算出位置与方位。
OCR(Optical Character Recognition,光学字符识别),是指对文本资料的图像文件进行分析识别处理,获取文字及版面信息的过程。
POI(Pointof Interest/Pointof Information,兴趣点),泛指电子地图上的有意义的点。对于地图产品而言,某个地理位置周边的信息可以称之为POI,比如商店、酒吧、加油站。在电子地图表达中,一个POI可代表一栋大厦、一家商铺、一处景点等等。通过POI搜索,可以寻找附近的餐馆、景点、超市和酒店等功能。
下面对本申请实施例所可能涉及的应用场景进行说明。
图1是本申请一实施例提供的在电子地图上搜索兴趣点的界面示意图,当用户打开电子地图应用程序,如腾讯地图,想搜索附近的美食,如图1所示,则可以在应用程序首页的页面顶部的搜索栏中直接输入兴趣点POI,如:“沙县小吃”进行搜索,或者点击电子地图应用程序首页的“周边”按钮,点击即可看到电子地图为我们提供的周边数据,展示附近的POI类型,如美食、酒店、银行、超市、商场等,进一步的,还可以对餐厅、酒店、银行、超市、商场等进行细分,如餐厅细分为:川菜馆、粤菜馆、西北菜馆等。若用户选择某一POI类型,如餐厅,则会搜索用户附近的餐厅,并在电子地图上进行标注展示,以提供用户附近餐厅的位置和名称等。
基于上述的应用场景,则需要对POI进行精准定位才能更好地为用户提供服务。然而,相关技术中的POI位置坐标的获取准确率低,导致难以向用户提供准确的POI坐标。
本申请提供的电子地图的兴趣点的位置获取方法、装置及电子设备,从地图数据生产角度出来,提高POI坐标获取的准确性,解决现有技术的如上技术问题。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。
下面将结合附图,对本申请的实施例进行描述。
图2是本申请一实施例提供的一种电子地图的兴趣点的位置获取方法的流程图,该电子地图的兴趣点的位置获取方法可以执行于服务器。
如图2所示,该电子地图的兴趣点的位置获取方法可以包括以下步骤:
S210、获取通过移动终端连续拍摄得到的序列图像,确定序列图像上的兴趣点所在的目标区域。
通过移动终端对道路两旁的街景进行连续拍摄得到多帧街景图像,将这些街景图像按照拍照顺序进行排列得到序列图像。在本实施例中,可以是利用同一移动终端在连续拍摄过程中的不同位置拍摄同一物体,得到一组序列图像。
在一实施例中,服务器获取移动终端实时发送的连续拍摄得到的序列图像,也可以是服务获取移动终端预先拍摄得到存储下来的连续拍摄得到的序列图像。其中,移动终端可以包括摄像机、智能手机、智能平板和车载终端等具有摄像功能的设备。
如图3所示,图3是本申请一实施例提供的序列图像采集的示意图,在本实施例中,可以在移动过程中通过移动终端进行连续拍照,得到位于不同拍摄角度和地点上对同一POI进行拍摄得到的序列图像。例如沿着某一街道通过移动终端进行连续拍照,所得到的序列图像中存在着在不同视角下对同一物体,如某一POI的多帧图像。进一步的,可以对序列图像中的每一帧图像进行图像识别处理,识别出每一帧图像上的POI。
在一实施例中,确定序列图像上的兴趣点所在的目标区域可以包括以下步骤:
S2101、识别序列图像上的文本信息。
在本实施例中,可以通过光学符号识别(Optical Character Recognition,OCR)识别出序列图像上的文本信息,如序列图像上存在“沙县小吃”文字,则可以识别出“沙县小吃”的文本信息。
S2202、确定文本信息在序列图像上对应的二维包围框,将二维包围框所在区域作为兴趣点的目标区域。
对于二维包围圈,是指包围文字信息的虚拟文本框,被二维包围框圈住的区域可以认为是POI所在的目标区域。
在本实施例中,可以将序列图像按序逐帧输入到预先训练好的兴趣点标注模型中,经过兴趣点标注模型的处理,输出标注到目标区域的序列图像。其中,兴趣点标注模型可以通过以下方式训练得到:
获取预先标注好的若干帧样本图像,该样本图像均标注有二维包围框表示兴趣点所在的目标区域,基于这些样本图像进行学习和训练,得到能够对未标注的序列图像自动识别出兴趣点所在的目标区域。如图3所示,“沙县小吃”文字所在的方框则为该POI所在的目标区域。
S220、对序列图像进行视觉图像三维重建,根据视觉图像三维重建结果得到目标区域在相机坐标系下的第一像素坐标和序列图像的相对位置信息。
对于相机坐标系,是指以相机的聚焦中心为原点,以光轴为Z轴建立的三维直角坐标系。相机坐标系并不是一个“稳定”的坐标系,其会随着相机的移动而改变坐标的原点和各个坐标轴的方向。
在本实施例中,序列图像是基于二维平面的图像,为了更准确地标定POI在现实中的位置,对序列图像进行视觉图像三维重建处理,以重建出序列图像上的POI的三维形貌。视觉图像三维重建所得到的三维图像中的各特征点的坐标是基于相机坐标系下的位置坐标。
根据视觉图像三维重建结果得到基于相机坐标系下的目标区域上的特征点的第一像素坐标以及序列图像上的每一帧图像在相机坐标系下相对位置信息,其中,序列图像在相机坐标系下的相对位置信息可以用移动终端在拍摄序列图像时对应在相机坐标系下的位姿来表征,位姿可以理解为位置和姿势。
如图4所示,图4是本申请一实施例提供的序列图像对应的位姿关系示意图,序列图像为不同视角下对某一POI进行拍摄得到的连续图像,不同的图像对应其在拍摄时的移动终端的位姿,如第一帧图像距离POI最近,相对位置信息为位姿1,第二帧图像距离POI稍远,其在相机坐标系下的相对位置关系为位姿2,以此类推,第n帧图像距离POI最远,其在相机坐标系下的相对位置关系为位姿N。在本实施例中,移动终端在相机坐标系的位姿,即位置和姿势可以用位置信息和朝向信息来表示,如旋转量和平移量等。
S230、根据在相机坐标系下的序列图像的相对位置信息、拍摄序列图像时的移动终端的定位信息和移动终端内的磁力计信息,计算得到相机坐标系相对于地理坐标系下的修正参数。
由于利用视觉三维重建得到的相机坐标系并不是一个“稳定”的坐标系,其会随着相机的移动而改变坐标的原点和各个坐标轴的方向,用相机坐标系下坐标进行计算容易造成定位不准确,在本实施例中,将基于相机坐标系的第一像素坐标修正为基于地理坐标系上的坐标,地理坐标系是稳定不变坐标系,通过基于地理坐标系上的坐标对兴趣点进行位置表示能够提高定位的准确性。其中,地理坐标系可以是GPS定位所用的坐标系,如WGS84坐标系、GCJ02坐标系和BD09坐标系等。
为了得到基于地理坐标系上的兴趣点的坐标,需要计算出相机坐标系相对于地理坐标系的修正参数。
在本实施例中,通过拍摄序列图像时的移动终端的定位信息(该定位信息为基于地理坐标下的定位信息)和移动终端内的磁力计信息,对视觉图像三维重建结果所得到的在相机坐标系下的序列图像的相对位置信息,如位置和姿势进行坐标修正,使得基于相机坐标系上的位置信息能够转换为基于地理坐标系下的位置信息。
由于相机坐标系和地理坐标系的原点、朝向和尺度可能存在差异,在本实例中,可以通过对比同一物体在相机坐标系下的位置和朝向以及该物体地理坐标系下的位置和朝向,得到关于相机坐标系相对于地理坐标系下相关优化方程,进而根据优化得到相机坐标系下的定位位置转换为地理坐标系的定位位置的修正参数。
S240、利用修正参数对第一像素坐标进行修正,得到目标区域在地理坐标系下的第二像素坐标,根据第二像素坐标得到兴趣点在地理坐标系下的定位位置。
在本实施例中,修正参数包括旋转角修正参数、平移量修正参数和尺度修正参数中的至少一者。
由于相机坐标系和地理坐标系的原点不一致,朝向也可能不同,在一些情况下,尺度也存在差异,因此需要通过平移量修正参数、旋转角修正参数和尺度修正参数中的至少一者对相机坐标系进行平移、旋转和尺度等变换以使得相机坐标系的原点、朝向和尺度与地理坐标系的保持一致,得到地理坐标系下的目标区域的第二像素坐标。
在一实施例中,相机坐标系下和地理坐标系下的原点、朝向和尺度均不相同,则利用平移量修正参数、旋转角修正参数和尺度修正参数同时对基于相机坐标系下的目标区域的第一像素坐标进行修正,对目标区域内的各特征点的三维像素坐标进行转换,得到目标区域在地理坐标系下的三维定位坐标。
在另一实施例中,相机坐标系下和地理坐标系下的尺度相同,原点和朝向不相同,则利用平移量修正参数和旋转角修正参数对基于相机坐标系下的目标区域的第一像素坐标进行修正,将基于相机坐标系下的第一像素坐标转换为基于地理坐标系下的第二像素坐标,得到目标区域在地理坐标系下的三维定位坐标。例如,设Pc是特征点P在相机坐标系下的第一像素坐标,Pw是特征点P对应在地理坐标系下的第二像素坐标,可以使用旋转角修正参数和平移量修正参数,将Pc变换为Pw,即:
Pw=R·Pc+t,
其中,R是3×3的旋转矩阵,t是3×1的平移向量。
在本申请方案中,兴趣点对应的目标区域内存在多个特征点,每个特征点在地理坐标系下均存在唯一的位置坐标,因此需要综合考虑特征点之间的位置信息,计算出用于表征兴趣点在地理坐标系下的唯一的定位位置。
在本实施例中,将各个特征点在地理坐标系下的三维定位坐标进行相加,计算目标区域内的各特征点在地理坐标系下的三维定位坐标的平均值,将平均值对应的三维定位坐标作为兴趣点在地理坐标系下的定位位置。可选的,还可以根据各个特征点的重要程度设置不同的权重,计算目标区域内的各特征点在地理坐标系下的三维定位坐标的加权平均值,将加权平均值对应的三维定位坐标作为兴趣点在地理坐标系下的定位位置。
在另一实施例中,还可以根据目标区域内的各个特征点之间的位置关联关系,从特征点中筛选出最有价值的特征点,将该最有价值的特征点作为兴趣点在地理坐标系的唯一的位置坐标。
本实施例通过获取通过移动终端连续拍摄得到的序列图像,确定序列图像上的兴趣点所在的目标区域;对序列图像进行视觉图像三维重建,根据视觉图像三维重建结果得到在相机坐标系下的目标区域第一像素坐标和序列图像的相对位置信息;在相机坐标系下的序列图像的相对位置信息、拍摄序列图像时的移动终端的定位信息和移动终端内的磁力计信息,计算得到相机坐标系相对于地理坐标系下的修正参数;利用修正参数对第一像素坐标进行修正,得到目标区域在地理坐标系下的第二像素坐标,进而得到兴趣点在地理坐标系下的定位位置,从而提高电子地图上的兴趣点位置获取的准确性。
在相关技术中,通过移动终端拍摄的单张图像,根据移动终端拍摄该单张图像时在地理坐标系下的定位位置,结合拍摄该单张图像时的移动终端的朝向和根据该单张图像确定的移动终端与兴趣点之间的距离,计算出兴趣点在地理坐标系下的定位位置,由于移动终端的磁力计容易受到环境干扰影响朝向的准确性,且依靠单张图像和移动终端的定位位置难以准确计算出兴趣点和移动终端之间的距离,从而使得推算出来的兴趣点定位位置存在偏差。本实施例的方案通过计算出兴趣点在相机坐标系下的定位位置,利用计算出来的相机坐标系和地理坐标系之间的修正参数对兴趣点在相机坐标系下的定位位置进行转换修正,得到兴趣点在地理坐标系下的定位位置,从而提高了兴趣点定位的准确性。
为了更清楚的阐述本申请的技术方案,下面结合图5针对电子地图的兴趣点的位置获取方法的多个步骤进行进一步说明,图5是本申请实施例提供的对序列图像进行图像三维重建获取兴趣点位置的方法流程图。
在一实施例中,步骤S220中的对序列图像进行视觉图像三维重建,可以通过以下方式来实现:
S2201、利用尺度不变特征变换方式对序列图像进行关键点检测和特征匹配,得到移动终端拍摄序列图像时的位姿信息。
尺度不变特征转换(Scale-invariant feature transform,SIFT)是一种机器视觉的算法用来侦测与描述影像中的局部性特征,它在空间尺度中寻找极值点,并提取出其位置、尺度、旋转不变数。
如图5所示,具体的,(一)利用SIFT算法提取关键点:
其中,SIFT算法提取关键点可以分为四个步骤:
(1)首先利用高斯差分(DoG)以及影像金字塔找出尺度空间中的极值点;
(2)求亚像素精度的极值点。由于DoG算子会产生边缘响应,还要去除低对比度的关键点和不稳定的边缘响应点;
(3)将剩余的极值点定义为关键点后,开启一窗口,利用窗口内的影像梯度和幅值定义出特征点的方向;
(4)按方向进行旋转,生成SIFT特征向量。SIFT向量去除了尺度变化、旋转等几何变形因素的影响,如归一化特征向量,进一步减弱光照变化的影响。
(二)对关键点特征匹配
在本实施例中,采用最近邻和次近邻的距离比例作为判断准则。最近邻特征点指与样本特征点欧式距离最短的特征点,次近邻特征点是具有只比最近邻距离大的欧式距离(即距离第二小)的特征点。
计算欧式距离最近点与次近点的距离比值与设定阈值进行比较,判断SIFT特征点对的相似程度,若比例小于设定阈值则SIFT特征点对匹配成功,反之,则该SIFT特征点对匹配失败,得到最终匹配点对集合。
(三)利用投影矩阵,结合最终匹配点对集合计算出移动终端拍摄序列图像时的位姿信息。
其中,位姿信息包括位置和姿势。位置可以用基于相机坐标系下的位置坐标来表示,姿势可以用基于相机坐标系下的朝向信息来表示。
以此类推,执行上述步骤,得到移动终端拍摄序列图像上的每一帧图像的位姿信息,位姿信息包括移动终端拍摄一帧图像时的位置和姿势,也可以理解为相机位于相机坐标系内的坐标与旋转角度。
继续参考图5,根据移动终端在拍摄序列图像时的不同视角下的位姿信息,对序列图像进行视觉三维重建。
S2202、根据序列图像的位姿信息对序列图像进行视觉图像三维重建。
视觉图像三维重建是指基于对环境或者物体的一系列不同角度的照片,通过一系列的处理,获得环境或物体的三维模型。
在本实施例中,根据序列图像的位姿信息得到移动终端拍摄序列图像是的相机外参数,得到移动终端的相机参数模型,进而根据相机参数模型将多个视角下拍摄的序列图像对应的匹配点连接,恢复匹配点在相机坐标系下的三维位置,从而依据不同角度拍摄的序列图像进行视觉图像三维重建,得到三维图像模型。
在一实施例中,步骤S220中的根据视觉图像三维重建结果得到目标区域在相机坐标系下的第一像素坐标,可以包括以下步骤:
S2201、确定目标区域内的各特征点的二维像素坐标。
由于每一帧序列图像均有无数个像素点组成,从序列图像中提取出用来进行三维匹配的特征点,得到序列图像的稀疏特征点。根据目标区域在序列图像上的位置和区域,从序列图像的稀疏特征点中确定目标区域内的各特征点,确定这些目标区域内的各特征点的二维像素坐标。
在本实施例中,二维像素坐标是基于影像坐标系确定的,影像坐标系是以二维影像为基本建立的坐标系,描述像素点在影像上的位置,分为以像素为单位的uv坐标系。uv坐标系以图像左上角为原点,u轴和v轴分别平行于图像平面的两条垂直边(u轴朝右,v轴朝下)。
S2202、利用多视角几何方法将二维像素坐标转换为对应的基于相机坐标系下的三维像素坐标,以得到目标区域在相机坐标系下的第一像素坐标。
在本实施例中,第一像素坐标是指多个特征点的像素坐标的集合,二维像素坐标是基于影像坐标系下的二维位置坐标,三维像素坐标是基于相机坐标系上的三维位置坐标,将二维像素坐标转换为对应的三维像素坐标实质是影像坐标系与相机坐标系之间的转换。在本实施例中,利用现有的多视角几何方法将二维像素坐标转换为对应的基于相机坐标系下的三维像素坐标,多视图几何方法是基于几何的方法利用若干幅二维图像来恢复三维物体的空间结构的三维重建方法,具体操作方法相关领域技术人员能够知晓,在此不详细叙述。
重建后所得到的三维空间模型是基于视觉角度下的相机坐标系下的三维空间模型,相对应的,经过三维空间转换后,特征点在二维平面上的二维像素坐标可以转换为基于视觉图像三维重建后的相机坐标系下的三维坐标。
在一实施例中,S230中的根据在相机坐标系下的序列图像的相对位置信息、拍摄序列图像时的移动终端的定位信息和移动终端内的磁力计信息,计算得到相机坐标系相对于地理坐标系下的修正参数的步骤包括:
S2301、获取基于视觉图像三维重建结果下的拍摄序列图像时的移动终端的位置坐标和第一朝向信息。
在本实施例中,根据视觉图像三维重建结果获取到相机坐标系上移动终端拍摄序列图像时的位置坐标和第一朝向信息,可以用平移量和旋转角度来表示。
S2302、根据位置坐标、第一朝向信息、拍摄序列图像时的移动终端的定位信息和利用移动终端内的磁力计得到第二朝向信息,计算得到相机坐标系相对于地理坐标系下的修正参数。
在本实施例中,当移动终端拍摄序列图像中的每一帧图像时均记录拍摄移动终端的定位信息和磁力计的第二朝向信息。其中,移动终端的定位信息和磁力计的第二朝向信息是基于现实世界的地理坐标系下的定位信息和第二朝向信息。
在本实施例中,可以是利用移动终端的陀螺仪或磁力计技术。陀螺仪或磁力计用于测量物理量偏转、倾斜时的转动角速度。应用在移动终端上,磁力计可以对转动、偏转等动作做很好的测量,这样就可以精确分析判断出使用者的实际动作。根据使用者的实际动作,可以对手机做相应的操作。在本实施例中,第二朝向信息具体包括俯仰角和偏航角。俯仰角是指以水平线为基准线,朝上朝下产生的偏离水平线的角度,例如水平为0度,向上角度减小,头顶对应-90度;向下角度增加,脚底对应90度等。偏航角指的是在从上至下俯视的情况下,以正北为基准线,顺时针的偏离角度,例如,正北对应的偏航角为0度,正东对应的偏航角为90度,正南对应的偏航角为180度,正西对应的偏航角为270度等。
在本实施例中,通过移动终端中安装的磁力计及相关软件,利用现有的技术方案即可得到移动终端拍摄序列图像时的俯仰角和偏航角,即得到移动终端拍摄序列图像时的第二朝向信息。
进一步的,在本实施例中,关于相机坐标系相对于地理坐标系下相关优化方程可以为:
argmin∑(sR(Pimage-T)|-PGPS)+δ(RRimage-Rrtv)
其中,Pimage表示视觉图像三维重建结果中的影像坐标,也即是视觉图像三维重建结果下的移动终端的位置坐标,Rimage表示视觉图像三维重建结果中影像的朝向,也即是视觉图像三维重建结果下的移动终端的第一朝向信息,PGPS表示该影像的GPS坐标,Rrtv代表由磁力计信息得到的影像朝向,δ为磁力计参数的权重,该参数为经验值。通过优化该方程使得该方程的值最小时对应的修正参数R,T,s,即为符合条件的修正参数,其中,R表示旋转角修正参数,T表示平移量修正参数,s表示尺度修正参数。
继续参考图5,计算得到相机坐标系相对于地理坐标系下的修正参数,利用修改参数对相机坐标系上的特征点进行坐标转换,得到兴趣点在地理坐标系上的定位位置,即利用旋转角修正参数、平移量修正参数和尺度修正参数,对相机坐标系进行平移、旋转和尺度等变换以使得相机坐标系的原点、朝向和尺度与地理坐标系的保持一致,对基于相机坐标系下的目标区域的第一像素坐标进行修正,将第一像素坐标转换为基于地理坐标系下的第二像素坐标,得到目标区域上的各特征点基于地理坐标系下的三维定位坐标,进而计算得到兴趣点基于地理坐标系下的定位位置。
本实施例提供的电子地图的兴趣点的位置获取,通过SIFT算法对序列图像的关键点进行检测和特征匹配,得到移动终端拍摄序列图像时的位姿信息,对序列图像进行视觉图像三维重建,根据视觉图像三维重建结果得到拍摄序列图像时的移动终端在相机坐标系下的位置坐标和第一朝向信息,根据拍摄序列图像时的移动终端的定位信息和利用移动终端内的磁力计得到第二朝向信息,计算得到相机坐标系相对于地理坐标系下的修正参数,利用修正参数对相机坐标系的目标区域内的特征点进行坐标转换,计算得到兴趣点基于地理坐标系下的定位位置,提高了兴趣点定位的准确性。
以上示例仅用于辅助阐述本公开技术方案,其涉及的图示内容及具体流程不构成对本公开技术方案的使用场景的限定。
下面对电子地图的兴趣点的位置获取装置的相关实施例进行详细阐述。
图6是本申请实施例提供的一种电子地图的兴趣点的位置获取装置的结构示意图,如图6所示,该电子地图的兴趣点的位置获取装置200可以包括目标区域获取模块210、图像三维重建模块220、修正参数计算模块230和定位位置得到模块240,其中:
目标区域获取模块210,用于获取通过移动终端连续拍摄得到的序列图像,确定序列图像上的兴趣点所在的目标区域;
图像三维重建模块220,用于对序列图像进行视觉图像三维重建,根据纯视觉图像三维重建结果得到在相机坐标系下的目标区域的第一像素坐标和移动终端的相对位置信息;
修正参数计算模块230,用于根据相对位置信息、拍摄序列图像时的移动终端的定位信息和移动终端内磁力计信息,计算得到相机坐标系相对于地理坐标系下的修正参数;
定位位置得到模块240,用于利用修正参数对第一像素坐标进行修正,得到目标区域在地理坐标系下的第二像素坐标,根据第二像素坐标得到兴趣点在地理坐标系下的定位位置。
本实施例提供的电子地图的兴趣点的位置获取装置,通过目标区域获取模块210获取通过移动终端连续拍摄得到的序列图像,确定序列图像上的兴趣点所在的目标区域;图像三维重建模块220对序列图像进行视觉图像三维重建,根据视觉图像三维重建结果得到在相机坐标系下的目标区域第一像素坐标和序列图像的相对位置信息;修正参数计算模块230根据在相机坐标系下的序列图像的相对位置信息、拍摄序列图像时的移动终端的定位信息和移动终端内的磁力计信息,计算得到相机坐标系相对于地理坐标系下的修正参数;定位位置得到模块240利用修正参数对第一像素坐标进行修正,得到目标区域在地理坐标系下的第二像素坐标,进而得到兴趣点在地理坐标系下的定位位置,从而提高电子地图上的兴趣点位置获取的准确性。
在一种可能的实现方式中,图像三维重建模块220包括:位姿信息生成单元和图像三维重建单元;
其中,位姿信息生成单元,用于利用尺度不变特征变换方式对序列图像进行关键点检测和特征匹配,得到移动终端拍摄序列图像时的位姿信息;图像三维重建单元,用于根据序列图像的位姿信息对序列图像进行视觉图像三维重建。
在一种可能的实现方式中,图像三维重建模块220包括:二维像素坐标确定单元和三维像素坐标转换单元;
其中,二维像素坐标确定单元,用于确定目标区域内的各特征点的二维像素坐标;三维像素坐标转换单元,用于利用多视角几何方法将二维像素坐标转换为对应的基于相机坐标系下的三维像素坐标,以得到在相机坐标系下的目标区域的第一像素坐标。
在一种可能的实现方式中,修正参数计算模块230的步骤包括:位置信息获取单元和修正参数计算单元;
其中,位置信息获取单元,用于获取基于视觉图像三维重建结果下的拍摄序列图像时的移动终端在相机坐标系下的位置坐标和第一朝向信息;修正参数计算单元,用于根据位置坐标、第一朝向信息、拍摄序列图像时的移动终端的定位信息和利用移动终端内的磁力计得到第二朝向信息,计算得到相机坐标系相对于地理坐标系下的修正参数。
在一种可能的实现方式中,修正参数包括:旋转角修正参数、平移量修正参数和尺度修正参数中的至少一者;
定位位置得到模块240包括:三维定位坐标得到单元,用于利用旋转角修正参数、平移量修正参数和尺度修正参数中的至少一者对各特征点的三维像素坐标进行转换,得到目标区域在地理坐标系下的三维定位坐标。
在一种可能的实现方式中,定位位置得到模块240包括:定位位置计算单元,用于计算目标区域内的各特征点的三维定位坐标的平均值,将平均值作为兴趣点在地理坐标系下的定位位置。
在一种可能的实现方式中,目标区域获取模块210包括:文本信息识别单元和目标区域确定单元;
其中,文本信息识别单元,用于识别序列图像上的文本信息;目标区域确定单元,用于确定文本信息在序列图像上对应的二维包围框,将二维包围框所在区域作为兴趣点的目标区域。
本实施例的电子地图的兴趣点的位置获取装置可执行本申请前述实施例所示的电子地图的兴趣点的位置获取方法,其实现原理相类似,此处不再赘述。
本申请实施例中提供了一种电子设备,该电子设备包括:存储器和处理器;至少一个程序,存储于存储器中,用于被处理器执行时,与现有技术相比可实现:提高电子地图上的兴趣点位置获取的准确性。
在一个可选实施例中提供了一种电子设备,如图7所示,图7所示的电子设备4000包括:处理器4001和存储器4003。其中,处理器4001和存储器4003相连,如通过总线4002相连。可选地,电子设备4000还可以包括收发器4004,收发器4004可以用于该电子设备与其他电子设备之间的数据交互,如数据的发送和/或数据的接收等。需要说明的是,实际应用中收发器4004不限于一个,该电子设备4000的结构并不构成对本申请实施例的限定。
处理器4001可以是CPU(Central Processing Unit,中央处理器),通用处理器,DSP(Digital Signal Processor,数据信号处理器),ASIC(Application SpecificIntegrated Circuit,专用集成电路),FPGA(FieldProgrammable Gate Array,现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框,模块和电路。处理器4001也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,DSP和微处理器的组合等。
总线4002可包括一通路,在上述组件之间传送信息。总线4002可以是PCI(Peripheral Component Interconnect,外设部件互连标准)总线或EISA(ExtendedIndustry Standard Architecture,扩展工业标准结构)总线等。总线4002可以分为地址总线、数据总线、控制总线等。为便于表示,图7中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
存储器4003可以是ROM(Read Only Memory,只读存储器)或可存储静态信息和指令的其他类型的静态存储设备,RAM(Random Access Memory,随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备,也可以是EEPROM(Electrically ErasableProgrammable Read Only Memory,电可擦可编程只读存储器)、CD-ROM(Compact DiscReadOnly Memory,只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。
存储器4003用于存储执行本申请方案的应用程序代码,并由处理器4001来控制执行。处理器4001用于执行存储器4003中存储的应用程序代码,以实现前述方法实施例所示的内容。
其中,电子设备包括但不限于:移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图7示出的电子设备仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
本申请实施例提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,当其在计算机上运行时,使得计算机可以执行前述方法实施例中相应内容。与现有技术相比,本申请实施例实现了通过计算出兴趣点在相机坐标系下的定位位置,利用计算出来的相机坐标系和地理坐标系之间的修正参数对兴趣点在相机坐标系下的定位位置进行转换修正,得到兴趣点在地理坐标系下的定位位置,从而提高了兴趣点定位的准确性。
本申请实施例提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备,如电子设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行时实现如下情况:
获取通过移动终端连续拍摄得到的序列图像,确定序列图像上的兴趣点所在的目标区域;
对序列图像进行视觉图像三维重建,根据视觉图像三维重建结果得到在相机坐标系下的目标区域第一像素坐标和序列图像的相对位置信息;
根据在相机坐标系下的序列图像的相对位置信息、拍摄序列图像时的移动终端的定位信息和移动终端内的磁力计信息,计算得到相机坐标系相对于地理坐标系下的修正参数;
利用修正参数对第一像素坐标进行修正,得到目标区域在地理坐标系下的第二像素坐标,根据第二像素坐标得到兴趣点在地理坐标系下的定位位置。
需要说明的是,本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备执行上述实施例所示的方法。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码,上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的模块可以通过软件的方式实现,也可以通过硬件的方式来实现。其中,模块的名称在某种情况下并不构成对该模块本身的限定,例如,目标区域获取模块还可以被描述为“获取目标区域的模块”。
应该理解的是,虽然附图的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,其可以以其他的顺序执行。而且,附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,其执行顺序也不必然是依次进行,而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上仅是本发明的部分实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种电子地图的兴趣点的位置获取方法,其特征在于,包括:
获取通过移动终端连续拍摄得到的序列图像,确定所述序列图像上的兴趣点所在的目标区域;
对所述序列图像进行视觉图像三维重建,根据视觉图像三维重建结果得到在相机坐标系下的所述目标区域的第一像素坐标和所述序列图像的相对位置信息;
根据在所述相机坐标系下的所述序列图像的相对位置信息、拍摄所述序列图像时的移动终端的定位信息以及所述移动终端内的磁力计信息,计算得到所述相机坐标系相对于地理坐标系下的修正参数;
利用所述修正参数对所述第一像素坐标进行修正,得到所述目标区域在所述地理坐标系下的第二像素坐标,根据所述第二像素坐标得到所述兴趣点在所述地理坐标系下的定位位置。
2.根据权利要求1所述的电子地图的兴趣点的位置获取方法,其特征在于,所述对所述序列图像进行视觉图像三维重建的步骤包括:
利用尺度不变特征变换方式对所述序列图像进行关键点检测和特征匹配,得到所述移动终端拍摄所述序列图像时的位姿信息;
根据所述序列图像的位姿信息对所述序列图像进行视觉图像三维重建。
3.根据权利要求1-2任一所述的电子地图的兴趣点的位置获取方法,其特征在于,所述根据视觉图像三维重建结果得到在相机坐标系下的所述目标区域第一像素坐标的步骤包括:
确定所述目标区域内的各特征点的二维像素坐标;
利用多视角几何方法将所述二维像素坐标转换为对应的基于相机坐标系下的三维像素坐标,以得到在相机坐标系下的所述目标区域的第一像素坐标。
4.根据权利要求1所述的电子地图的兴趣点的位置获取方法,其特征在于,所述根据在相机坐标系下的所述序列图像的相对位置信息、拍摄所述序列图像时的移动终端的定位信息和所述移动终端内的磁力计信息,计算得到所述相机坐标系相对于地理坐标系下的修正参数的步骤包括:
获取基于所述视觉图像三维重建结果下的拍摄所述序列图像时的移动终端在相机坐标系下的位置坐标和第一朝向信息;
根据所述位置坐标、第一朝向信息、拍摄所述序列图像时的移动终端的定位信息和利用所述移动终端内的磁力计得到第二朝向信息,计算得到所述相机坐标系相对于地理坐标系下的修正参数。
5.根据权利要求3所述的电子地图的兴趣点的位置获取方法,其特征在于,所述修正参数包括旋转角修正参数、平移量修正参数和尺度修正参数中的至少一者;
所述利用所述修正参数对所述第一像素坐标进行修正,得到所述目标区域在所述地理坐标系下的第二像素坐标的步骤包括:
利用所述旋转角修正参数、所述平移量修正参数和所述尺度修正参数中的至少一者对各所述特征点的三维像素坐标进行转换,得到所述目标区域在所述地理坐标系下的三维定位坐标。
6.根据权利要求5所述的电子地图的兴趣点的位置获取方法,其特征在于,所述根据所述第二像素坐标得到所述兴趣点在所述地理坐标系下的定位位置的步骤包括:
计算所述目标区域内的各特征点的三维定位坐标的平均值,将所述平均值作为所述兴趣点在所述地理坐标系下的定位位置。
7.根据权利要求1所述的电子地图的兴趣点的位置获取方法,其特征在于,所述确定所述序列图像上的兴趣点所在的目标区域的步骤包括:
识别所述序列图像上的文本信息;
确定所述文本信息在所述序列图像上对应的二维包围框,将所述二维包围框所在区域作为兴趣点的目标区域。
8.一种电子地图的兴趣点的位置获取装置,其特征在于,所述装置包括:
目标区域获取模块,用于获取通过移动终端连续拍摄得到的序列图像,确定所述序列图像上的兴趣点所在的目标区域;
图像三维重建模块,用于对所述序列图像进行视觉图像三维重建,根据纯视觉图像三维重建结果得到在相机坐标系下的所述目标区域的第一像素坐标和所述序列图像的相对位置信息;
修正参数计算模块,用于在所述相机坐标系下的所述序列图像的相对位置信息、拍摄所述序列图像时的移动终端的定位信息以及所述移动终端内的磁力计信息,计算得到所述相机坐标系相对于地理坐标系下的修正参数;
定位位置得到模块,用于利用所述修正参数对所述第一像素坐标进行修正,得到所述目标区域在所述地理坐标系下的第二像素坐标,根据所述第二像素坐标得到所述兴趣点在所述地理坐标系下的定位位置。
9.一种电子设备,其特征在于,所述电子设备包括:
一个或多个处理器;
存储器;
一个或多个应用程序,其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序配置用于:执行根据权利要求1-7任一项所述的电子地图的兴趣点的位置获取方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-7任一项所述的电子地图的兴趣点的位置获取方法。
CN202011306338.1A 2020-11-19 2020-11-19 电子地图的兴趣点的位置获取方法、装置及电子设备 Active CN112435338B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011306338.1A CN112435338B (zh) 2020-11-19 2020-11-19 电子地图的兴趣点的位置获取方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011306338.1A CN112435338B (zh) 2020-11-19 2020-11-19 电子地图的兴趣点的位置获取方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN112435338A CN112435338A (zh) 2021-03-02
CN112435338B true CN112435338B (zh) 2022-05-24

Family

ID=74692780

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011306338.1A Active CN112435338B (zh) 2020-11-19 2020-11-19 电子地图的兴趣点的位置获取方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN112435338B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113286076B (zh) * 2021-04-09 2022-12-06 华为技术有限公司 拍摄方法及相关设备
CN113763561B (zh) * 2021-08-19 2022-08-02 北京三快在线科技有限公司 Poi数据生成方法、装置、存储介质及电子设备
CN113836249B (zh) * 2021-09-02 2024-03-19 深圳市慧鲤科技有限公司 地图信息点的管理方法和相关装置、设备
CN114579808B (zh) * 2022-01-17 2022-11-29 深圳市慧视通科技股份有限公司 目标所处位置的索引方法、装置和电子设备
CN115439536B (zh) * 2022-08-18 2023-09-26 北京百度网讯科技有限公司 视觉地图更新方法、装置及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107291717A (zh) * 2016-03-30 2017-10-24 高德软件有限公司 确定兴趣点的位置的方法及装置
CN109543680A (zh) * 2018-11-19 2019-03-29 百度在线网络技术(北京)有限公司 兴趣点的位置确定方法、装置设备和介质
CN110321885A (zh) * 2018-03-30 2019-10-11 高德软件有限公司 一种兴趣点的获取方法及装置
CN111787489A (zh) * 2020-07-17 2020-10-16 北京百度网讯科技有限公司 实采兴趣点的位置确定方法、装置、设备和可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107291717A (zh) * 2016-03-30 2017-10-24 高德软件有限公司 确定兴趣点的位置的方法及装置
CN110321885A (zh) * 2018-03-30 2019-10-11 高德软件有限公司 一种兴趣点的获取方法及装置
CN109543680A (zh) * 2018-11-19 2019-03-29 百度在线网络技术(北京)有限公司 兴趣点的位置确定方法、装置设备和介质
CN111787489A (zh) * 2020-07-17 2020-10-16 北京百度网讯科技有限公司 实采兴趣点的位置确定方法、装置、设备和可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Application of Voronoi diagrams and multiangle measurable image in the urban POI location and site generation;Qiu Man等;《Proceedings of the IET International Conference on Information Science and Control Engineering 2012 (ICISCE 2012)》;20140130;1-5 *
采用Oracle的Google地图兴趣点抓取和发布的WebGIS系统;章欣欣等;《华侨大学学报(自然科学版)》;20151130;第36卷(第6期);659-662 *

Also Published As

Publication number Publication date
CN112435338A (zh) 2021-03-02

Similar Documents

Publication Publication Date Title
US11393173B2 (en) Mobile augmented reality system
CN112435338B (zh) 电子地图的兴趣点的位置获取方法、装置及电子设备
US11003956B2 (en) System and method for training a neural network for visual localization based upon learning objects-of-interest dense match regression
CN111199564B (zh) 智能移动终端的室内定位方法、装置与电子设备
Chen et al. City-scale landmark identification on mobile devices
CN110866953B (zh) 地图构建方法及装置、定位方法及装置
JP5905540B2 (ja) 画像の少なくとも1つの特徴として記述子を提供する方法及び特徴をマッチングする方法
EP3502621B1 (en) Visual localisation
CN111652934A (zh) 定位方法及地图构建方法、装置、设备、存储介质
CN106407978B (zh) 一种结合似物度的无约束视频中显著物体检测方法
Cheng et al. Extracting three-dimensional (3D) spatial information from sequential oblique unmanned aerial system (UAS) imagery for digital surface modeling
Gao et al. Local feature performance evaluation for structure-from-motion and multi-view stereo using simulated city-scale aerial imagery
CN110926478A (zh) 一种ar导航路线纠偏方法、系统及计算机可读存储介质
Zhao et al. Fast georeferenced aerial image stitching with absolute rotation averaging and planar-restricted pose graph
CN113190120B (zh) 位姿获取方法、装置、电子设备及存储介质
CN114185073A (zh) 一种位姿显示方法、装置及系统
CN117132649A (zh) 人工智能融合北斗卫星导航的船舶视频定位方法及装置
CN113096104A (zh) 目标分割模型的训练方法及装置和目标分割方法及装置
KR20220062709A (ko) 모바일 디바이스 영상에 기반한 공간 정보 클러스터링에 의한 재난 상황 인지 시스템 및 방법
Li et al. TextSLAM: Visual SLAM With Semantic Planar Text Features
CN112927291B (zh) 三维物体的位姿确定方法、装置及电子设备和存储介质
Sun et al. Joint detection and tracking of independently moving objects in stereo sequences using scale-invariant feature transform features and particle filter
KR102249380B1 (ko) 기준 영상 정보를 이용한 cctv 장치의 공간 정보 생성 시스템
Skulimowski et al. Verification of visual odometry algorithms with an OpenGL-based software tool
Diskin et al. 3D scene reconstruction for aiding unmanned vehicle navigation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40040675

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant