CN111353011A - 地点数据集及其建立方法和装置、数据处理方法和装置 - Google Patents

地点数据集及其建立方法和装置、数据处理方法和装置 Download PDF

Info

Publication number
CN111353011A
CN111353011A CN202010123514.1A CN202010123514A CN111353011A CN 111353011 A CN111353011 A CN 111353011A CN 202010123514 A CN202010123514 A CN 202010123514A CN 111353011 A CN111353011 A CN 111353011A
Authority
CN
China
Prior art keywords
data
place
location data
target
location
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010123514.1A
Other languages
English (en)
Other versions
CN111353011B (zh
Inventor
黄怀毅
章余琪
郭正奎
黄青虬
刘子纬
林达华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN202010123514.1A priority Critical patent/CN111353011B/zh
Publication of CN111353011A publication Critical patent/CN111353011A/zh
Application granted granted Critical
Publication of CN111353011B publication Critical patent/CN111353011B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29Geographical information databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/215Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/284Relational databases
    • G06F16/288Entity relationship models

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本说明书实施例提供一种地点数据集及其建立方法和装置、数据处理方法和装置,采集地点数据,将所述地点数据划分为多个类别,其中,第i+1类别的每条地点数据从属于第i类别的一条地点数据,每条地点数据分别对应一个地理区域,第i+1类别的第一地点数据对应的地理区域为第i类别的第二地点数据对应的地理区域的子区域;其中,所述第一地点数据从属于所述第二地点数据,i为正整数;采集至少一个地理区域的特征信息和图像;分别将所述特征信息和图像与对应的地点数据相关联,并根据各个地点数据及其所属的类别以及相关联的特征信息和图像,建立地点数据集。

Description

地点数据集及其建立方法和装置、数据处理方法和装置
技术领域
本公开涉及数据处理技术领域,尤其涉及地点数据集及其建立方法和装置、 数据处理方法和装置。
背景技术
在日常生活中,常常需要获取地点数据或者与地点数据相关的信息。例如, 给定某个建筑物的照片,需要确定照片中的地点的功能(例如,餐馆或者商店), 文化类型(例如,亚式风格或者欧式风格)以及经济类型(例如,工业型或者 旅游型)。上述过程称为地点理解。地点理解一般是基于预先建立的地点数据 集进行的,因此,地点数据集会对地点理解效果产生重要影响。然而,传统的 地点数据集一般是基于特定的任务建立的,适用范围窄。
发明内容
本公开提供一种地点数据集及其建立方法和装置、数据处理方法和装置。
根据本公开实施例的第一方面,提供一种地点数据集建立方法,所述方法 包括:采集地点数据,将所述地点数据划分为多个类别,其中,第i+1类别的每 条地点数据从属于第i类别的一条地点数据,每条地点数据分别对应一个地理区 域,第i+1类别的第一地点数据对应的地理区域为第i类别的第二地点数据对应 的地理区域的子区域;其中,所述第一地点数据从属于所述第二地点数据,i为 正整数;采集至少一个地理区域的特征信息和图像;分别将所述特征信息和图 像与对应的地点数据相关联,并根据各个地点数据及其所属的类别以及相关联 的特征信息和图像,建立地点数据集。
在一些实施例中,所述采集多个类别的地点数据,包括:采集原始数据; 从所述原始数据中过滤掉非地点数据,得到所述多个类别的地点数据。
在一些实施例中,所述从所述原始数据中过滤掉非地点数据,包括:在所 述原始数据中不包括地理位置信息的情况下,和/或,在所述原始数据对应的实 体识别结果指示所述原始数据对应的目标对象不属于地点类别的实体对象的情 况下,过滤掉述目标对象对应的原始数据。
在一些实施例中,所述方法还包括:在分别将所述特征信息和图像与对应 的地点数据相关联之前,对所述图像进行去重处理。
在一些实施例中,所述对所述图像进行去重处理,包括:获取至少部分图 像的哈希值;根据所述至少部分图像的哈希值对所述至少部分图像进行去重处 理。
在一些实施例中,各个类别的地点数据对应的地理区域包括洲、国家、地 区、省、州、市、县、镇中的一者;和/或第j类别的地点数据对应的地理区域 的特征信息包括以下至少一项:国内生产总值、人口密度信息、人口总数信息、 海拔信息、时区信息、面积信息、陆域信息、海域信息、第一地理位置信息、 建立时间信息;和/或第k类别的地点数据对应的地理区域的特征信息包括以下 至少一项:访问时间信息、第二地理位置信息、描述信息、消费信息、功能信 息;其中,j与k为小于类别总数的正整数,且j小于k。
根据本公开实施例的第二方面,提供一种地点数据集,所述地点数据集基 于任一用于建立地点数据集的方法实施例中所述的方法而建立。
根据本公开实施例的第三方面,提供一种数据处理方法,所述方法包括: 将待处理数据输入预先训练的地点数据处理模型;通过所述地点数据处理模型 对所述待处理数据进行处理,得到处理结果;其中,所述地点数据处理模型根 据从预先建立的地点数据集中获取的训练样本数据训练得到,并基于预先确定 的任务类型对所述待处理数据进行处理;所述地点数据集中包括多个类别的地 点数据,第i+1类别的每条地点数据从属于第i类别的一条地点数据,每条地点 数据对应一个地理区域,第i+1类别的第一地点数据对应的地理区域为第i类别 的第二地点数据对应的地理区域的子区域;其中,所述第一地点数据从属于所 述第二地点数据,至少一个类别的地点数据与对应地理区域的特征信息和图像相关联,i为正整数。
在一些实施例中,所述任务类型包括:地点检索任务,地点分类任务,地 点功能分类任务或者地点识别任务中的至少一项。
在一些实施例中,所述方法还包括:根据基于所述任务类型而确定的评估 参数,对所述地点数据处理模型的处理结果的准确率进行评估。
在一些实施例中,在所述任务类型包括地点检索任务的情况下,所述评估 参数包括所述地点数据处理模型的检索准确率;和/或在所述任务类型包括地点 分类任务的情况下,所述评估参数包括所述地点数据处理模型的分类准确率; 和/或在所述任务类型包括地点功能分类任务的情况下,所述评估参数包括所述 地点数据处理模型的分类准确率;和/或在所述任务类型包括地点识别任务的情 况下,所述评估参数包括所述地点数据处理模型的识别准确率。
根据本公开实施例的第四方面,提供一种数据处理方法,所述方法包括: 从地点数据集中采集多个目标地理区域对应的目标地点数据;对于每个目标地 理区域对应的目标地点数据,根据与所述目标地点数据相关联的特征信息以及 从属于所述目标地点数据的地点数据的图像,对所述目标地理区域进行向量化 处理,得到所述目标地理区域的表示向量;根据所述多个目标地理区域对应的 表示向量确定所述多个目标地理区域之间的关联关系;其中,所述地点数据集 基于任一地点数据集建立方法而建立。
在一些实施例中,所述根据与所述目标地点数据相关联的特征信息以及从 属于所述目标地点数据的地点数据的图像,对所述目标地理区域进行向量化处 理,得到所述目标地理区域的表示向量,包括:将与所述目标地点数据相关联 的特征信息以及从属于所述目标地点数据的地点数据的图像分别输入预先建立 的地点数据处理模型,并获取所述地点数据处理模型输出的所述目标地理区域 的表示向量。
在一些实施例中,所述地点数据处理模型通过以下方式获取所述目标地理 区域的表示向量:获取所述目标地点数据相关联的特征信息对应的特征向量; 将所述特征向量作为所述目标地理区域的表示向量;或者获取从属于所述目标 地点数据的地点数据的图像对应的图像向量;将所述图像向量作为所述目标地 理区域的表示向量;或者获取所述目标地点数据相关联的特征信息对应的特征 向量,以及从属于所述目标地点数据的地点数据的图像对应的图像向量;根据 所述特征向量和图像向量生成所述目标地理区域的表示向量。
在一些实施例中,所述根据所述特征向量和图像向量生成所述目标地理区 域的表示向量,包括:获取各个图像向量的平均向量;根据所述特征向量和平 均向量生成所述目标地理区域的表示向量。
根据本公开实施例的第五方面,提供一种地点数据集建立装置,所述装置 包括:第一采集模块,用于采集地点数据,将所述地点数据划分为多个类别, 其中,第i+1类别的每条地点数据从属于第i类别的一条地点数据,每条地点数 据分别对应一个地理区域,第i+1类别的第一地点数据对应的地理区域为第i类 别的第二地点数据对应的地理区域的子区域;其中,所述第一地点数据从属于 所述第二地点数据,i为正整数;第二采集模块,用于采集至少一个地理区域的 特征信息和图像;建立模块,用于分别将所述特征信息和图像与对应的地点数 据相关联,并根据各个地点数据及其所属的类别以及相关联的特征信息和图像, 建立地点数据集。
根据本公开实施例的第六方面,提供一种数据处理装置,所述装置包括: 输入模块,用于将待处理数据输入预先训练的地点数据处理模型;任务处理模 块,用于通过所述地点数据处理模型对所述待处理数据进行处理,得到处理结 果;其中,所述地点数据处理模型根据从预先建立的地点数据集中获取的训练 样本数据训练得到,并基于预先确定的任务类型对所述待处理数据进行处理; 所述地点数据集中包括多个类别的地点数据,第i+1类别的每条地点数据从属于 第i类别的一条地点数据,每条地点数据对应一个地理区域,第i+1类别的第一 地点数据对应的地理区域为第i类别的第二地点数据对应的地理区域的子区域; 其中,所述第一地点数据从属于所述第二地点数据,至少一个类别的地点数据 与对应地理区域的特征信息和图像相关联,i为正整数。
根据本公开实施例的第七方面,提供一种数据处理装置,所述装置包括: 第三采集模块,用于从地点数据集中采集多个目标地理区域对应的目标地点数 据;向量化处理模块,用于对于每个目标地理区域对应的目标地点数据,根据 与所述目标地点数据相关联的特征信息以及从属于所述目标地点数据的地点数 据的图像,对所述目标地理区域进行向量化处理,得到所述目标地理区域的表 示向量;确定模块,用于根据所述多个目标地理区域对应的表示向量确定所述 多个目标地理区域之间的关联关系;其中,所述地点数据集基于任一地点数据 集建立方法而建立。
根据本公开实施例的第八方面,提供一种计算机可读存储介质,其上存储 有计算机程序,该程序被处理器执行时实现任一实施例所述的方法。
根据本公开实施例的第九方面,提供一种计算机设备,包括存储器、处理 器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述 程序时实现任一实施例所述的方法。
本公开实施例构建的地点数据集中同时包括地点数据、图像以及特征信息, 且通过划分地点数据的类别将地点数据分为多个层级,能够适用于不同的任务, 适用范围广。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的, 而非限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,这些附图示出了符 合本公开的实施例,并与说明书一起用于说明本公开的技术方案。
图1是本公开实施例的地点数据集建立方法的流程图。
图2是本公开实施例的地点数据的层级结构示意图。
图3是本公开实施例的地点数据集的示意图。
图4是本公开实施例的地点数据集与传统的地点数据集的比较示意图。
图5是本公开实施例的数据处理方法的流程图。
图6A是本公开实施例的地点功能的示意图。
图6B是本公开实施例的地点类别的示意图。
图7是本公开实施例的任务处理模型的结构示意图。
图8是本公开另一些实施例的数据处理方法的流程图。
图9是本公开实施例的向量化处理过程的示意图。
图10是本公开实施例的向量化处理结果的示意图。
图11是本公开实施例的地点数据集建立装置的框图。
图12是本公开实施例的数据处理装置的框图。
图13是本公开另一些实施例的数据处理装置的框图。
图14是本公开实施例的计算机设备的示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描 述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。 以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方 式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一 致的装置和方法的例子。
在本公开使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本 公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该” 也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中 使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能 组合。另外,本文中术语“至少一种”表示多种中的任意一种或多种中的至少 两种的任意组合。
应当理解,尽管在本公开可能采用术语第一、第二、第三等来描述各种信 息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区 分开。例如,在不脱离本公开范围的情况下,第一信息也可以被称为第二信息, 类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如 果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
为了使本技术领域的人员更好的理解本公开实施例中的技术方案,并使本 公开实施例的上述目的、特征和优点能够更加明显易懂,下面结合附图对本公 开实施例中的技术方案作进一步详细的说明。
在日常生活中,常常需要获取地点数据或者与地点数据相关的各方面信息。 给定某个建筑物的照片,需要确定照片中的地点的功能(例如,餐馆或者商店), 文化类型(例如,亚式风格或者欧式风格)以及经济类型(例如,工业型或者 旅游型)。上述过程称为地点理解。地点理解一般是基于预先建立的地点数据 集进行的,因此,地点数据集会对地点理解效果产生重要影响。然而,传统的 地点数据集往往是为实现某一类型的任务而建立的,并且,在传统的数据集中, 地点数据的层级结构单一,只适用于特定的任务,适用范围较窄。显然,这些 数据集由于其规模、多样性以及丰富程度的限制,无法支持综合地点理解的发 展。
基于此,本公开实施例提供了一种地点数据集建立方法,如图1所示,所 述方法包括:
步骤101:采集地点数据,将所述地点数据划分为多个类别,其中,第i+1 类别的每条地点数据从属于第i类别的一条地点数据,每条地点数据分别对应一 个地理区域,第i+1类别的第一地点数据对应的地理区域为第i类别的第二地点 数据对应的地理区域的子区域;其中,所述第一地点数据从属于所述第二地点 数据,i为正整数;
步骤102:采集至少一个地理区域的特征信息和图像;
步骤103:分别将所述特征信息和图像与对应的地点数据相关联,并根据各 个地点数据及其所属的类别以及相关联的特征信息和图像,建立地点数据集。
在步骤101中,地点数据可以是地点名称(例如,北京、纽约)或者地点 代码(例如,邮政编码、区号)等用于唯一标识一个地点(place)的数据。地 点数据可以从与地点相关的网页或者应用程序等数据源获取,用于获取地点数 据的数据源可以是单一数据源,也可以是多个数据源。例如,所述网页可以是 维基导游,所述应用程序可以是地图类应用程序。可以通过爬虫从第一数据源 爬取所述地点数据。
地点数据的类别用于表征地点数据对应的地理区域的层级,即,该地点数 据对应的地理区域的覆盖范围。例如,洲级的地点类别对应数据源中的洲级地 点信息,该类别的地点数据对应的地理区域为一个洲;又例如,国家级的地点 类别对应数据源中的国家级地点信息,该类别的地点数据对应的地理区域为一 个国家。
在一些实施例中,所述地点数据的类别根据地点数据对应的地理区域从小 到大可依次分为“地点”(place)、“区(district)”、“村(village)”、“镇 (town)”、“市(city)”、“省(province)或者州(state)”、“国家(country)”、 “洲(continent)”。其中,“地点”可以是卢浮宫、白宫等建筑物。
根据这些地点数据及其对应的地理区域,可以生成一定的数据结构,用于 对这些地点数据进行存储。如图2所示,是一些实施例的地点数据对应的树形 数据结构的示意图。图中示出了两个层级(不包括根节点),最上面的节点为 根节点,即“世界”;第1层节点(根节点的子节点)即第1类别,该类别为 “洲”类别,包括“亚洲”、“欧洲”等七个洲的地点数据,第1类别的地点 数据对应的地理区域包括亚洲区域、欧洲区域等七个区域;第2层节点即第2 类别,该类别为“国家”类别,其中,第2类别中从属于“亚洲”的地点数据 包括“中国”、“日本”、“韩国”等,第2类别的地点数据对应的地理区域 包括中国区域、日本区域、韩国区域等。本领域技术人员可以理解,上述结构 仅为示例性说明,数据结构的构建方式不限于此,并且,本公开也可以采用其 他类型的数据结构,此处不再赘述。
地理区域的特征信息可以从第二数据源获取,第二数据源也可以是网页或 者应用程序等数据源,第二数据源可以是单一数据源,也可以是多个数据源。 所述特征信息可以是文本类型的信息,也可以是其他类型的信息。在一些实施 例中,第j类别的地点数据对应的地理区域的特征信息包括以下至少一项:国内 生产总值(Gross Domestic Product,GDP)、人口密度信息、人口总数信息、海 拔信息、时区信息、面积信息、陆域信息、海域信息、第一地理位置信息、建 立时间信息。在另一些实施例中,第k类别的地点数据对应的地理区域的特征 信息包括以下至少一项:访问时间信息、第二地理位置信息、描述信息、消费 信息、功能信息。其中,j与k为小于类别总数的正整数,且j小于k。
所述国内生产总值是指在一定时期内(例如,一个季度或一年),所述地 理区域内的经济中所生产出的全部最终产品和劳务的价值。所述人口密度信息 是指所述地理区域内单位面积上的人口数量。所述人口总数信息是指所述地理 区域内的人口总数。所述海拔信息是指所述地理区域的海拔高度。所述时区信 息是指所述地理区域所处的时区。所述面积信息是指所述地理区域的面积。所 述陆域信息和海域信息分别是指所述地理区域中的陆地区域和海洋区域。所述 第一地理位置信息是指所述地理区域所在的物理位置。所述建立时间信息是指 所述地理区域建立的时间。
所述访问时间信息是指访问所述地理区域的时间,对于国家或者地区等类 别对应的地理区域而言,该时间可以是该地理区域的推荐旅游时间,对于地点 类别对应的地理区域而言,该时间可以是该地理区域的开放时间。所述第二地 理位置信息是指所述地理区域所在的物理位置。所述描述信息是指对所述地理 区域的概括性综述。所述消费信息用于表示在所述地理区域内的消费水平,可 以是一个国家或城市的消费者物价指数(ConsumerPrice Index,CPI),也可以 是一个地点的门票。所述功能信息是指所述地理区域的功能,例如,旅游、购 物等。
每个地理区域的特征信息可以是从上述特征信息中随机确定一项或多项特 征信息,也可以是按照一定的规则确定,即,在满足某种规则时确定一项或多 项特征信息,在满足另一种规则时确定另外一项或多项特征信息。所述规则可 以根据实际应用场景设置。
在一些实施例中,第N类别的地点数据为“地点”,第1类别至第N-1类 别的地点数据为包括“地点”的地理区域对应的地点数据,例如,“城市”或 者“国家”等。在这种情况下,第1类别至第N-1类别的地点数据对应的地理 区域的特征信息可以包括但不限于国内生产总值、人口密度信息、人口总数信 息、海拔信息、时区信息、面积信息、陆域信息、海域信息、第一地理位置信 息、建立时间信息等信息中的至少一者,第N类别的地点数据对应的地理区域 的特征信息可以包括但不限于:访问时间信息、第二地理位置信息、描述信息、 消费信息、功能信息中的至少一者。所述第一地理位置信息以及所述第二地理 位置信息可以是相同类型的信息,例如,都是经纬度坐标,也可以是不同类型 的信息,例如,第一地理位置信息为经纬度坐标,第二地理位置信息为地址。
在实际应用中,第j类别的地点数据对应的地理区域的特征信息(即上述国 内生产总值、人口密度信息等)可以从维基百科中获取,第k类别的地点数据 对应的地理区域的特征信息(即上述访问时间信息、第二地理位置信息等)可 以从维基导游中获取。
地理区域的图像可以从第三数据源获取,第三数据源也可以是网页或者应 用程序等数据源,第三数据源可以是单一数据源,也可以是多个数据源。在实 际应用中,第三数据源可以是谷歌图像。从第三数据源获取的图像的数量可以 是多张,例如,几千张,可以包括各个时间段(例如,白天和夜晚)、各个角 度(例如,俯视角度、仰视角度)、各个位置(例如,内部和外部)、各种天 气(例如,晴天、雨天)的图像。
在实际应用中,上述第一数据源、第二数据源和第三数据源可以相同,也 可以部分相同或者完全不同,本公开对此不作限制。在采集完地点数据、特征 信息以及图像之后,可以将特征信息和图像分别与相应的地点数据相关联,并 建立地点数据集。
在一些实施例中,所述地点数据集中的各个类别的地点数据均存在对应的 特征信息,但只有第N类别的地点数据存在对应的图像信息。第N类别的地点 数据可以是“地点”,例如,白宫、埃菲尔铁塔等。
如图3所示,是本公开实施例的地点数据集的示意图。图中示出了四个类 别的地点数据,包括“国家”类别(法国)、“城市”类别(巴黎)、“区” 类别(第一区、第七区)和“地点”类别(卢浮宫、埃菲尔铁塔)。其中,“城 市”类别的地点数据与城市区域的特征信息相关联,“地点”类别的地点数据 与地点区域的特征信息相关联,地点区域的地点数据还与地点区域的图像相关 联。本领域技术人员可以理解,图3仅为示例性说明,“国家”类别的地点数据和“区”类别的地点数据也可以与相应区域的特征信息相关联。
在一些实施例中,所述采集多个类别的地点数据,包括:采集原始数据; 从所述原始数据中过滤掉非地点数据,得到所述多个类别的地点数据。原始数 据中既可能包括地点数据,又可能包括非地点数据,通过对原始数据进行过滤, 能够去除其中的非地点数据。
在一些实施例中,地点数据中会携带该地点对应地理区域的位置信息(例 如,经纬度坐标或者地址),举例来说,巴黎的经纬度为北纬48.86,东经2.35; 卢浮宫的地址在卡鲁索广场。因此,若所述原始数据中不包括地理位置信息, 则可以将所述原始数据判定为非地点数据并过滤掉。在另一些实施例中,可以 通过诸如谷歌实体识别算法或者斯坦福实体识别算法等方式,来识别原始数据 是否为地点数据。因此,可以在所述原始数据对应的实体识别结果指示所述原 始数据对应的目标对象不属于地点类别的实体对象的情况下,将对应的原始数 据判定为非地点数据并过滤掉。原始数据只要满足以上至少一项,就可以认为 是地点数据,如果以上均不满足,则认为不是地点数据并过滤掉。
由于图像可能会有重复,因此,在分别将所述特征信息和图像与对应的地 点数据相关联之前,对所述图像进行去重处理。在一些实施例中,可以获取至 少部分图像的哈希值;根据所述至少部分图像的哈希值对所述至少部分图像进 行去重处理。如果多张图像的哈希值相同,则认为是同一张图像,可以仅保留 其中一张,并将其余的都删除掉。
在对所述图像进行去重处理之后,可以进一步过滤掉与每条地点数据不相 关的图像,例如,获取到的“北京”对应的图像包括长城的图像以及埃菲尔铁 塔的图像,由于埃菲尔铁塔的图像与“北京”不相关,因此,可以将埃菲尔铁 塔的图像从“北京”对应的图像中删除。
通过本公开实施例的方式构建的地点数据集中同时包括地点数据、图像以 及特征信息,且通过划分地点数据的类别将地点数据分为多个层级,能够适用 于不同的任务,适用范围广。如图4所示,是本公开实施例的地点数据集与传 统的地点数据集的比较示意图。可以看出,相比于传统的Google Landmarks、 Places365等数据集,通过本公开实施例的方法构建的数据集无论是地点数据的 数量,还是与地点数据相关联的图像的数量都远胜于传统的地点数据集,且通 过本公开实施例的方法构建的数据集中各个地点数据的层级结构清晰,同时包 括多种特征信息。
本公开实施例还提供一种地点数据集,所述地点数据集基于以上任一实施 例所述的地点数据集建立方法而建立。
如图5所示,本公开实施例还提供一种数据处理方法,所述方法包括:
步骤501:将待处理数据输入预先训练的地点数据处理模型;
步骤502:通过所述地点数据处理模型对所述待处理数据进行处理,得到处 理结果;
其中,所述地点数据处理模型根据从预先建立的地点数据集中获取的训练 样本数据训练得到,并基于预先确定的任务类型对所述待处理数据进行处理;
所述地点数据集中包括多个类别的地点数据,第i+1类别的每条地点数据从 属于第i类别的一条地点数据,每条地点数据对应一个地理区域,第i+1类别的 第一地点数据对应的地理区域为第i类别的第二地点数据对应的地理区域的子 区域;其中,所述第一地点数据从属于所述第二地点数据,至少一个类别的地 点数据与对应地理区域的特征信息和图像相关联,i为正整数。
本公开实施例所述的地点数据集可以是通过以上任一地点数据集建立方法 建立的数据集。在一些实施例中,可以通先从所述地点数据集中确定一个子集, 将所述子集中的地点数据划分为三部分,一部分地点数据作为训练样本数据, 用于确定所述地点数据处理模型的若干组模型参数;另一部分地点数据作为验 证数据,用于对所述若干组模型参数进行验证,以从所述若干组模型参数中选 取最优模型参数。所述子集中的最后一部分数据可作为测试数据,用于在将所 述最优模型参数作为所述地点数据处理模型的模型参数之后,对所述地点数据 处理模型进行测试。所述子集中的数据量可以根据实际需要而确定。模型训练 过程中可以采用不同的损失函数(例如,triplet损失函数、focal损失函数)和池化方法(例如,平均池化,最大池化,空间金字塔池化等)。
待处理数据是与地点相关的数据,例如,可以包括地点数据、地点数据对 应的地理区域和/或地点数据对应的图像。地点数据处理模型用于对与地点相关 的数据进行处理,从而执行与地点相关的任务,并到任务处理结果。所述地点 数据处理模型可以是PlaceNet模型、CNN(Convolutional Neural Networks,卷积 神经网络)模型或者其他类型的机器学习模型。
所述任务可以是地点检索任务、地点分类任务、地点功能分类任务或者地 点识别任务。其中,地点检索任务是指确定与一张或多张输入图像关联于同一 地点数据的图像。例如,输入图像为“卢浮宫”这一地点数据关联的图像,根 据该图像检索到与“卢浮宫”关联的其他图像,如卢浮宫内的展品的图像(比 如,达芬奇的画作《蒙娜丽莎的微笑》的图像);又例如,输入图像为“埃菲 尔铁塔”这一地点数据对应的图像,根据该图像检索到与“埃菲尔铁塔”关联 的其他图像。
地点分类任务是指对确定与一张或多张输入图像对应的地点数据的类别, 所述类别可以包括博物馆、公园、教堂等。例如,输入为“卢浮宫”的图像, 输出为“卢浮宫”对应的类别,即,博物馆。
地点功能分类任务是指确定与一张或多张输入图像对应的地点数据的功能 类别。在一些实施例中,如图6A所示,所述功能可包括观看(see)、住宿(sleep)、 用餐(eat)、游览(do)、饮用(drink)、购物(buy)、抵达(get in)、出 行(get around)、其他(others)和学习(learn)类别等;在另一些实施例中, 如图6B所示,每一功能还可进一步细化,例如,住宿功能可分为低档酒店(budget hotel)、中档酒店(mid-range hotel)、高档酒店(splurgehotel)等;出行功能 可分为机场(airport)、公交车站(bus station)、火车站(trainstation)等,图 中的纵坐标为地点数据的数量。本领域技术人员可以理解,也可以采用其他的 功能划分方式对各类地点数据对应的功能进行划分,本公开对此不作限制。
地点识别任务是指确定一张或多张输入图像对应的地点数据。例如,确定 埃菲尔铁塔的图像对应的地点数据为“埃菲尔铁塔”。
在训练出地点数据处理模型之后,可以根据预先建立的评估参数对所述地 点数据处理模型的处理结果进行评估,所述评估参数基于所述任务类型而确定。 在一些实施例中,可以根据所述地点数据处理模型获取的任务处理结果的准确 率(例如,top k处理准确率)来对所述任务处理结果进行评估。所述top k处理 准确率用于表示所述地点数据处理模型获取的概率最高的k个任务处理结果中 是否包括真实结果。假设输入的地点数据共X1条,分别采用所述地点数据处理 模型对这X1条地点数据进行处理,得到每条地点数据的top k任务处理结果, 其中,Y1条地点数据的top k任务处理结果中包括真实结果,则将所述地点数 据处理模型的top k处理准确率记为Y1/X1,Y1小于X1,且X1和Y1均为整数。
在所述任务为地点检索任务的情况下,所述任务评价指标为所述地点数据 处理模型的top k检索准确率,即,所述地点数据处理模型根据输入图像检索到 的概率最大的k个输出图像中是否包括与所述输入图像关联于同一地点数据的 图像。例如,假设k的值为3,将与“北京”这一地点数据相关联的一张图像输 入所述地点数据处理模型,所述地点数据处理模型输出的概率最高的3个检索 结果包括:与“北京”相关联的另一张图像、与“东京”相关联的图像以及与 “南京”相关联的图像,则top3检索结果中包括真实的检索结果(即,与“北 京”相关联的另一张图像)。因此,所述地点数据处理模型的top3检索准确率 为100%。
在所述任务为地点分类任务的情况下,所述任务评价指标为所述地点数据 处理模型的topk分类准确率,即,所述地点数据处理模型对输入图像相关联的 地点数据进行分类得到的概率最大的k个类别是否包括所述地点数据对应的真 实类别。例如,将与“卢浮宫”相关联的图像输入所述地点数据处理模型,所 述地点数据处理模型输出的概率最高的3个类别分别为“博物馆”、“寺庙” 和“教堂”,则top3分类结果中包括真实的分类结果(即,“博物馆”)。因 此,所述地点数据处理模型的top3分类准确率为100%。
在所述任务为地点功能分类任务的情况下,所述任务评价指标为所述地点 数据处理模型的top k分类准确率,即,所述地点数据处理模型对输入图像相关 联的地点数据的功能进行分类得到的概率最大的k个类别是否包括所述地点数 据对应的真实功能类别。例如,将一地点数据输入所述地点数据处理模型,所 述地点数据处理模型输出的概率最高的3个功能类别分别为“观看”、“购物” 和“住宿”,若top3功能分类结果中不包括真实的功能分类结果(真实的功能 分类结果为“游览”),则所述地点数据处理模型的top3功能分类准确率为0。
在所述任务为地点识别任务的情况下,所述任务评价指标为所述地点数据 处理模型的top k识别准确率,即,所述地点数据处理模型对输入图像进行识别, 以确定与所述输入图像相关联的概率最大的k条地点数据是否包括所述图像相 关联的真实的地点数据。例如,将埃菲尔铁塔的图像输入所述地点数据处理模 型后得到的概率最高的3条地点数据分别为“北京”、“南京”和“西安”, 则top3识别结果中不包括真实的识别结果(真实的识别结果为“巴黎”)。因 此,所述地点数据处理模型的top3地点识别准确率为0。
除了以上四类任务之外,所述地点数据处理模型还可以用于进行城市向量 化处理,或者用于处理其他任务。对应的任务评价指标可以根据实际处理的任 务而确定,此处不再赘述。
如图7所示,是一些实施例的任务处理模型的结构示意图。所述任务处理 模型依次包括卷积层、池化层和全连接层,可采用残差网络的第四个卷积层/池 化层/全连接层来实现所述任务处理模型。将残差网络的第四个卷积层/池化层/ 全连接层复制多份,以分别用于处理多个任务,比如,在结合实际识别需求, 复制五份,分别用于处理五个任务,包括地点检索、地点分类、功能分类、地 点识别和城市向量化处理。
如图8所示,本公开实施例还提供一种数据处理方法,所述方法包括:
步骤801:从地点数据集中采集多个目标地理区域对应的目标地点数据;
步骤802:对于每个目标地理区域对应的目标地点数据,根据与所述目标地 点数据相关联的特征信息以及从属于所述目标地点数据的地点数据的图像,对 所述目标地理区域进行向量化处理,得到所述目标地理区域的表示向量;
根据所述多个目标地理区域对应的表示向量确定所述多个目标地理区域之 间的关联关系。
本公开实施例中所使用的地点数据集可以基于以上任一实施例的地点数据 集建立方法而建立。
目标地理区域可以是一个国家、一个省或者一个城市。在一些实施例中, 所述根据与所述目标地点数据相关联的特征信息以及从属于所述目标地点数据 的地点数据的图像,对所述目标地理区域进行向量化处理,得到所述目标地理 区域的表示向量,包括:将与所述目标地点数据相关联的特征信息以及从属于 所述目标地点数据的地点数据的图像分别输入预先建立的地点数据处理模型, 并获取所述地点数据处理模型输出的所述目标地理区域的表示向量。
所述地点数据处理模型可以基于以上用于建立地点数据集的任一方法实施 例而建立。所述从属于可以是直接从属于,或者间接从属于。其中,地点数据A 间接从属于地点数据B是指地点数据A直接从属于地点数据C,而地点数据C 直接从属于地点数据B。
以所述目标地理区域是城市(例如,巴黎),从属于所述目标地点数据的 地点数据是该城市中的景点(例如,埃菲尔铁塔)为例,可以获取与巴黎相关 联的特征信息,并获取与埃菲尔铁塔相关联的图像,将与巴黎相关联的特征信 息以及与埃菲尔铁塔相关联的图像输入地点数据处理模型,并获取所述地点数 据处理模型输出的巴黎这一地理区域的表示向量。所述表示向量可以是一个多 维的向量,例如,1024维。
所述地点数据处理模型可以获取所述目标地点数据相关联的特征信息对应 的特征向量;将所述特征向量作为所述目标地理区域的表示向量;或者获取从 属于所述目标地点数据的地点数据的图像对应的图像向量;将所述图像向量作 为所述目标地理区域的表示向量;或者获取所述目标地点数据相关联的特征信 息对应的特征向量,以及从属于所述目标地点数据的地点数据的图像对应的图 像向量;根据所述特征向量和图像向量生成所述目标地理区域的表示向量。
例如,所述地点数据处理模型可以获取与巴黎相关联的特征信息对应的特 征向量,并获取与埃菲尔铁塔相关联的图像对应的图像向量,然后,根据与巴 黎相关联的特征信息对应的特征向量以及与埃菲尔铁塔相关联的图像对应的图 像向量生成巴黎的表示向量。
由于从属于一个目标地理区域的地点数据的数量往往大于1,因此,可以获 取各个图像向量的平均向量;根据所述特征向量和平均向量生成所述目标地理 区域的表示向量,或者直接将所述平均向量作为所述表示向量。其中,获取各 个图像向量的平均向量即对各个图像向量的相应元素求平均值。例如,图像向 量P1为{x1,x2,x3},图像向量P2为{y1,y2,y3},则平均向量为{(x1+y1)/2, (x2+y2)/2,(x2+y2)/2}。
如图9所示,是本公开实施例的向量化处理过程的示意图。所述地点数据 处理模型可以包括第一处理模型、第二处理模型和第三处理模型,所述第一处 理模型可以包括卷积层、池化层和全连接层,可采用残差网络的最后一个卷积 层/池化层/全连接层来实现所述第一处理模型。所述第二处理模型可采用BERT 模型。所述第三处理模型可包括两层全连接层。首先,可以将图像和特征信息 分别输入第一处理模型和第二处理模型,得到图像向量和特征向量,并将所述 图像向量和特征向量输入所述第三处理模型,最后得到所述表示向量。
所述多个目标地理区域之间的关联关系可以是所述多个目标地理区域之间 的相似关系,所述多个目标地理区域之间的相似关系可以用所述多个目标地理 区域之间的相似度表示。所述多个目标地理区域之间的相似度可以根据所述多 个目标地理区域对应的表示向量之间的距离来确定,距离较近的多个目标地理 区域的相似度较高,距离较远的多个目标地理区域的相似度较低。
在实际应用中,可以根据所述多个目标地理区域之间的相似关系,对所述 多个目标地理区域的区域规划方案进行调整。以目标地理区域是城市为例,假 设城市A与城市B的相似度较高,则可以根据城市A的城市规划方案(例如,GDP调整方案、道路规划方案等)来对城市B的城市规划方案进行调整,例如, 可以直接将城市A的城市规划方案作为城市B的城市规划方案。
还可以根据所述多个目标地理区域之间的相似关系,向目标用户推荐目标 地理区域。例如,在目标用户选择旅游的目的城市的过程中,考虑到目标用户 可能更期望抵达不同类型的城市去感受城市文化等,因此,可以根据多个城市 与城市A(可以是目标用户曾经去过的城市)之间的相似度,将与城市A相似 度较低的城市推荐给目标用户。这样可以有效节省目标用户挑选旅行目的地所 耗费的时间。当然,目标用户可以预先设置自己的需求、喜好等,从而实现基 于多个目标地理区域之间的相似关系来为目标用户提供更多合理的选项。
在对目标区域进行向量化处理之后,还可以对目标区域的表示向量进行降 维处理,得到二维向量,并将所述二维向量展示在二维空间上。如图10所示, 是本公开实施例的向量化处理结果的示意图。图中的每个点代表一个目标区域 对应的二维向量,各个二维向量之间的距离表示对应目标区域之间的相似度。 这里的每个目标区域为一个城市。
本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写 顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执 行顺序应当以其功能和可能的内在逻辑确定。
如图11所示,本公开还提供一种地点数据集建立装置,所述装置包括:
第一采集模块1101,用于采集地点数据,将所述地点数据划分为多个类别, 其中,第i+1类别的每条地点数据从属于第i类别的一条地点数据,每条地点数 据分别对应一个地理区域,第i+1类别的第一地点数据对应的地理区域为第i类 别的第二地点数据对应的地理区域的子区域;其中,所述第一地点数据从属于 所述第二地点数据,i为正整数;
第二采集模块1102,用于采集至少一个地理区域的特征信息和图像;
建立模块1103,用于分别将所述特征信息和图像与对应的地点数据相关联, 并根据各个地点数据及其所属的类别以及相关联的特征信息和图像,建立地点 数据集。
如图12所示,本公开还提供另一种数据处理装置,所述装置包括:
输入模块1201,用于将待处理数据输入预先训练的地点数据处理模型;
任务处理模块1202,用于通过所述地点数据处理模型对所述待处理数据进 行处理,得到处理结果;
其中,所述地点数据处理模型根据从预先建立的地点数据集中获取的训练 样本数据训练得到,并基于预先确定的任务类型对所述待处理数据进行处理;
所述地点数据集中包括多个类别的地点数据,第i+1类别的每条地点数据从 属于第i类别的一条地点数据,每条地点数据对应一个地理区域,第i+1类别的 第一地点数据对应的地理区域为第i类别的第二地点数据对应的地理区域的子 区域;其中,所述第一地点数据从属于所述第二地点数据,至少一个类别的地 点数据与对应地理区域的特征信息和图像相关联,i为正整数。
如图13所示,本公开还提供再一种数据处理装置,所述装置包括:
第三采集模块1301,用于从地点数据集中采集多个目标地理区域对应的目 标地点数据;
向量化处理模块1302,用于对于每个目标地理区域对应的目标地点数据, 根据与所述目标地点数据相关联的特征信息以及从属于所述目标地点数据的地 点数据的图像,对所述目标地理区域进行向量化处理,得到所述目标地理区域 的表示向量;
确定模块1303,用于根据所述多个目标地理区域对应的表示向量确定所述 多个目标地理区域之间的关联关系;
其中,所述地点数据集基于上述任一实施例的地点数据集建立方法而获取。
在一些实施例中,本公开实施例提供的装置具有的功能或包含的模块可以 用于执行上文方法实施例描述的方法,其具体实现可以参照上文方法实施例的 描述,为了简洁,这里不再赘述。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的 模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也 可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络模块上。 可以根据实际的需要选择其中的部分或者全部模块来实现本说明书方案的目的。 本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
本说明书装置的实施例可以应用在计算机设备上,例如服务器或终端设备。 装置实施例可以通过软件实现,也可以通过硬件或者软硬件结合的方式实现。 以软件实现为例,作为一个逻辑意义上的装置,是通过其所在文件处理的处理 器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬 件层面而言,如图14所示,为本说明书装置所在计算机设备的一种硬件结构图, 除了图14所示的处理器1401、内存1402、网络接口1403、以及非易失性存储 器1404之外,实施例中装置所在的服务器或电子设备,通常根据该计算机设备 的实际功能,还可以包括其他硬件,对此不再赘述。
相应地,本公开实施例还提供一种计算机存储介质,其上存储有计算机程 序,该程序被处理器执行时实现任一实施例所述的方法。
相应地,本公开实施例还提供一种计算机设备,包括存储器、处理器及存 储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时 实现任一实施例所述的方法。
本公开可采用在一个或多个其中包含有程序代码的存储介质(包括但不限 于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。 计算机可用存储介质包括永久性和非永久性、可移动和非可移动媒体,可以由 任何方法或技术来实现信息存储。信息可以是计算机可读命令、数据结构、程 序的模块或其他数据。计算机的存储介质的例子包括但不限于:相变内存 (PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类 型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器 (EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数 字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性 存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。
本领域技术人员在考虑说明书及实践这里公开的说明书后,将容易想到本 公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变 化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未 公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示 例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结 构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的 权利要求来限制。
以上所述仅为本公开的较佳实施例而已,并不用以限制本公开,凡在本公 开的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本公 开保护的范围之内。
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处,其相同 或相似之处可以互相参考,为了简洁,本文不再赘述。

Claims (20)

1.一种地点数据集建立方法,其特征在于,所述方法包括:
采集地点数据,将所述地点数据划分为多个类别,其中,第i+1类别的每条地点数据从属于第i类别的一条地点数据,每条地点数据分别对应一个地理区域,第i+1类别的第一地点数据对应的地理区域为第i类别的第二地点数据对应的地理区域的子区域;其中,所述第一地点数据从属于所述第二地点数据,i为正整数;
采集至少一个地理区域的特征信息和图像;
分别将所述特征信息和图像与对应的地点数据相关联,并根据各个地点数据及其所属的类别以及相关联的特征信息和图像,建立地点数据集。
2.根据权利要求1所述的方法,其特征在于,所述采集地点数据,包括:
采集原始数据;
从所述原始数据中过滤掉非地点数据,得到所述多个类别的地点数据。
3.根据权利要求2所述的方法,其特征在于,所述从所述原始数据中过滤掉非地点数据,包括:
在所述原始数据中不包括地理位置信息的情况下,和/或,在所述原始数据对应的实体识别结果指示所述原始数据对应的目标对象不属于地点类别的实体对象的情况下,过滤掉述目标对象对应的原始数据。
4.根据权利要求1至3任意一项所述的方法,其特征在于,所述方法还包括:
在分别将所述特征信息和图像与对应的地点数据相关联之前,对所述图像进行去重处理。
5.根据权利要求4所述的方法,其特征在于,所述对所述图像进行去重处理,包括:
获取至少部分图像的哈希值;
根据所述至少部分图像的哈希值对所述至少部分图像进行去重处理。
6.根据权利要求1至5任意一项所述的方法,其特征在于,各个类别的地点数据对应的地理区域包括洲、国家、地区、省、州、市、县、镇中的一者;和/或
第j类别的地点数据对应的地理区域的特征信息包括以下至少一项:国内生产总值、人口密度信息、人口总数信息、海拔信息、时区信息、面积信息、陆域信息、海域信息、第一地理位置信息、建立时间信息;和/或
第k类别的地点数据对应的地理区域的特征信息包括以下至少一项:访问时间信息、第二地理位置信息、描述信息、消费信息、功能信息;
其中,j与k为小于类别总数的正整数,且j小于k。
7.一种地点数据集,其特征在于,所述地点数据集基于权利要求1至6任意一项所述的方法而建立。
8.一种数据处理方法,其特征在于,所述方法包括:
将待处理数据输入预先训练的地点数据处理模型;
通过所述地点数据处理模型对所述待处理数据进行处理,得到处理结果;
其中,所述地点数据处理模型根据从预先建立的地点数据集中获取的训练样本数据训练得到,并基于预先确定的任务类型对所述待处理数据进行处理;
所述地点数据集中包括多个类别的地点数据,第i+1类别的每条地点数据从属于第i类别的一条地点数据,每条地点数据对应一个地理区域,第i+1类别的第一地点数据对应的地理区域为第i类别的第二地点数据对应的地理区域的子区域;其中,所述第一地点数据从属于所述第二地点数据,至少一个类别的地点数据与对应地理区域的特征信息和图像相关联,i为正整数。
9.根据权利要求8所述的方法,其特征在于,所述任务类型包括:地点检索任务,地点分类任务,地点功能分类任务或者地点识别任务中的至少一项。
10.根据权利要求8或9所述的方法,其特征在于,所述方法还包括:
根据基于所述任务类型而确定的评估参数,对所述地点数据处理模型的处理结果的准确率进行评估。
11.根据权利要求10所述的方法,其特征在于,在所述任务类型包括地点检索任务的情况下,所述评估参数包括所述地点数据处理模型的检索准确率;和/或
在所述任务类型包括地点分类任务的情况下,所述评估参数包括所述地点数据处理模型的分类准确率;和/或
在所述任务类型包括地点功能分类任务的情况下,所述评估参数包括所述地点数据处理模型的分类准确率;和/或
在所述任务类型包括地点识别任务的情况下,所述评估参数包括所述地点数据处理模型的识别准确率。
12.一种数据处理方法,其特征在于,所述方法包括:
从地点数据集中采集多个目标地理区域对应的目标地点数据;
对于每个目标地理区域对应的目标地点数据,根据与所述目标地点数据相关联的特征信息以及从属于所述目标地点数据的地点数据的图像,对所述目标地理区域进行向量化处理,得到所述目标地理区域的表示向量;
根据所述多个目标地理区域对应的表示向量确定所述多个目标地理区域之间的关联关系;
其中,所述地点数据集基于权利要求1至6任意一项所述的方法获取。
13.根据权利要求12所述的方法,其特征在于,所述根据与所述目标地点数据相关联的特征信息以及从属于所述目标地点数据的地点数据的图像,对所述目标地理区域进行向量化处理,得到所述目标地理区域的表示向量,包括:
将与所述目标地点数据相关联的特征信息以及从属于所述目标地点数据的地点数据的图像分别输入预先建立的地点数据处理模型,并获取所述地点数据处理模型输出的所述目标地理区域的表示向量。
14.根据权利要求13所述的方法,其特征在于,所述地点数据处理模型通过以下方式获取所述目标地理区域的表示向量:
获取所述目标地点数据相关联的特征信息对应的特征向量;
将所述特征向量作为所述目标地理区域的表示向量;
或者
获取从属于所述目标地点数据的地点数据的图像对应的图像向量;
将所述图像向量作为所述目标地理区域的表示向量;
或者
获取所述目标地点数据相关联的特征信息对应的特征向量,以及从属于所述目标地点数据的地点数据的图像对应的图像向量;
根据所述特征向量和图像向量生成所述目标地理区域的表示向量。
15.根据权利要求14所述的方法,其特征在于,所述根据所述特征向量和图像向量生成所述目标地理区域的表示向量,包括:
获取各个图像向量的平均向量;
根据所述特征向量和平均向量生成所述目标地理区域的表示向量。
16.一种地点数据集建立装置,其特征在于,所述装置包括:
第一采集模块,用于采集地点数据,将所述地点数据划分为多个类别,其中,第i+1类别的每条地点数据从属于第i类别的一条地点数据,每条地点数据分别对应一个地理区域,第i+1类别的第一地点数据对应的地理区域为第i类别的第二地点数据对应的地理区域的子区域;其中,所述第一地点数据从属于所述第二地点数据,i为正整数;
第二采集模块,用于采集至少一个地理区域的特征信息和图像;
建立模块,用于分别将所述特征信息和图像与对应的地点数据相关联,并根据各个地点数据及其所属的类别以及相关联的特征信息和图像,建立地点数据集。
17.一种数据处理装置,其特征在于,所述装置包括:
输入模块,用于将待处理数据输入预先训练的地点数据处理模型;
任务处理模块,用于通过所述地点数据处理模型对所述待处理数据进行处理,得到处理结果;
其中,所述地点数据处理模型根据从预先建立的地点数据集中获取的训练样本数据训练得到,并基于预先确定的任务类型对所述待处理数据进行处理;
所述地点数据集中包括多个类别的地点数据,第i+1类别的每条地点数据从属于第i类别的一条地点数据,每条地点数据对应一个地理区域,第i+1类别的第一地点数据对应的地理区域为第i类别的第二地点数据对应的地理区域的子区域;其中,所述第一地点数据从属于所述第二地点数据,至少一个类别的地点数据与对应地理区域的特征信息和图像相关联,i为正整数。
18.一种数据处理装置,其特征在于,所述装置包括:
第三采集模块,用于从地点数据集中采集多个目标地理区域对应的目标地点数据;
向量化处理模块,用于对于每个目标地理区域对应的目标地点数据,根据与所述目标地点数据相关联的特征信息以及从属于所述目标地点数据的地点数据的图像,对所述目标地理区域进行向量化处理,得到所述目标地理区域的表示向量;
确定模块,用于根据所述多个目标地理区域对应的表示向量确定所述多个目标地理区域之间的关联关系;
其中,所述地点数据集基于权利要求1至6任意一项所述的方法获取。
19.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1至13任意一项所述的方法。
20.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1至13任意一项所述的方法。
CN202010123514.1A 2020-02-27 2020-02-27 地点数据集及其建立方法和装置、数据处理方法和装置 Active CN111353011B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010123514.1A CN111353011B (zh) 2020-02-27 2020-02-27 地点数据集及其建立方法和装置、数据处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010123514.1A CN111353011B (zh) 2020-02-27 2020-02-27 地点数据集及其建立方法和装置、数据处理方法和装置

Publications (2)

Publication Number Publication Date
CN111353011A true CN111353011A (zh) 2020-06-30
CN111353011B CN111353011B (zh) 2024-05-17

Family

ID=71195927

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010123514.1A Active CN111353011B (zh) 2020-02-27 2020-02-27 地点数据集及其建立方法和装置、数据处理方法和装置

Country Status (1)

Country Link
CN (1) CN111353011B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112287186A (zh) * 2020-12-24 2021-01-29 北京数字政通科技股份有限公司 一种用于城市管理的智能分类方法及其系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1967537A (zh) * 2005-11-14 2007-05-23 富士胶片株式会社 地标搜索系统、地图数据以及分类图像数据的方法
CN102024024A (zh) * 2010-11-10 2011-04-20 百度在线网络技术(北京)有限公司 地址数据库的建构方法及装置
CN102047249A (zh) * 2008-05-27 2011-05-04 高通股份有限公司 用于聚合和呈现与地理位置相关联的数据的方法和设备
CN102402621A (zh) * 2011-12-27 2012-04-04 浙江大学 一种基于图像分类的图像检索方法
US20120114178A1 (en) * 2010-11-09 2012-05-10 Juri Platonov Vision system and method of analyzing an image
CN103609178A (zh) * 2011-06-17 2014-02-26 微软公司 地点辅助的识别
CN103870599A (zh) * 2014-04-02 2014-06-18 联想(北京)有限公司 一种拍摄数据的归集方法、装置和电子设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1967537A (zh) * 2005-11-14 2007-05-23 富士胶片株式会社 地标搜索系统、地图数据以及分类图像数据的方法
CN102047249A (zh) * 2008-05-27 2011-05-04 高通股份有限公司 用于聚合和呈现与地理位置相关联的数据的方法和设备
US20120114178A1 (en) * 2010-11-09 2012-05-10 Juri Platonov Vision system and method of analyzing an image
CN102024024A (zh) * 2010-11-10 2011-04-20 百度在线网络技术(北京)有限公司 地址数据库的建构方法及装置
CN103609178A (zh) * 2011-06-17 2014-02-26 微软公司 地点辅助的识别
CN102402621A (zh) * 2011-12-27 2012-04-04 浙江大学 一种基于图像分类的图像检索方法
CN103870599A (zh) * 2014-04-02 2014-06-18 联想(北京)有限公司 一种拍摄数据的归集方法、装置和电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112287186A (zh) * 2020-12-24 2021-01-29 北京数字政通科技股份有限公司 一种用于城市管理的智能分类方法及其系统
CN112287186B (zh) * 2020-12-24 2021-03-26 北京数字政通科技股份有限公司 一种用于城市管理的智能分类方法及其系统

Also Published As

Publication number Publication date
CN111353011B (zh) 2024-05-17

Similar Documents

Publication Publication Date Title
Tang et al. Improving image classification with location context
CN109446186B (zh) 一种基于移动轨迹的社会关系判断方法
Pijanowski et al. Modelling urbanization patterns in two diverse regions of the world
CN110263117B (zh) 一种用于确定兴趣点poi数据的方法与装置
US20070226187A1 (en) Context hierarchies for address searching
Pei et al. Big geodata mining: Objective, connotations and research issues
CN113918837B (zh) 城市兴趣点类别表示的生成方法及系统
CN111125553B (zh) 一种支持多源数据的城市建成区智能提取方法
Eum et al. Vehicle detection from airborne LiDAR point clouds based on a decision tree algorithm with horizontal and vertical features
Choi et al. Multimodal location estimation of consumer media: Dealing with sparse training data
CN108549649B (zh) 一种基于季节特征和位置特征的乡村旅游推荐方法与系统
CN111353011B (zh) 地点数据集及其建立方法和装置、数据处理方法和装置
Lu et al. Online spatial data analysis and visualization system
Nuzir et al. Dynamic Land-Use Map Based on Twitter Data.
KR102215100B1 (ko) 공간 지식 그래프를 이용하여 공간 엔티티의 지역 유사성을 측정하는 장치 및 방법
Alfarrarjeh et al. A data-centric approach for image scene localization
Vaziri et al. Discovering tourist attractions of cities using Flickr and OpenStreetMap data
Wang et al. Urban function zoning using geotagged photos and openstreetmap
Hecht et al. Crowd-sourced data collection to support automatic classification of building footprint data
Yang et al. Study on the spatial heterogeneity of the POI quality in OpenStreetMap
Yabe et al. Unsupervised translation via hierarchical anchoring: functional mapping of places across cities
CN114820137A (zh) 产品推荐方法、装置、处理器及电子设备
CN107463560A (zh) 用于垂直搜索的企业位置信息获取分析及存储方法
CN111581754A (zh) 滨水景点网络生成方法、系统、计算机设备及存储介质
Deeksha et al. A spatial clustering approach for efficient landmark discovery using geo-tagged photos

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant