CN111052105B - 可缩放的空间-时间密度数据融合 - Google Patents

可缩放的空间-时间密度数据融合 Download PDF

Info

Publication number
CN111052105B
CN111052105B CN201880052272.2A CN201880052272A CN111052105B CN 111052105 B CN111052105 B CN 111052105B CN 201880052272 A CN201880052272 A CN 201880052272A CN 111052105 B CN111052105 B CN 111052105B
Authority
CN
China
Prior art keywords
data
format
grid
vector
file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880052272.2A
Other languages
English (en)
Other versions
CN111052105A (zh
Inventor
C·阿尔布雷克特
M·O·弗赖塔格
H·哈曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of CN111052105A publication Critical patent/CN111052105A/zh
Application granted granted Critical
Publication of CN111052105B publication Critical patent/CN111052105B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/17Details of further file system functions
    • G06F16/173Customisation support for file systems, e.g. localisation, multi-language support, personalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/13File access structures, e.g. distributed indices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29Geographical information databases

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Instructional Devices (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一种数据库系统,包括:处理子系统,其具有电子硬件控制器,该电子硬件控制器接收第一格式化数据;以及电子文件格式化子系统,其具有电子硬件控制器,该电子硬件控制器将对应于第二数据格式的坐标值分配给第一格式化数据。文件格式化子系统生成双格式数据文件,该双格式数据文件将第一格式化数据与对应于第二数据格式的坐标值融合在一起。该数据库系统还包括存储子系统,其具有经配置以存储双格式数据文件的数据存储单元。

Description

可缩放的空间-时间密度数据融合
技术领域
本发明一般涉及数据库系统,尤其涉及在数据库系统中处理大量数据。
背景技术
空间数据集可以表示地理实体(例如,建筑物、湖泊、山地或乡镇等)的属性,诸如位置、相关联的时间戳、大小等。此外,诸如例如温度、风、速度等的连续量可以在空间和时间上进行索引。可以将地理空间数据分类为两种类型:“栅格”和“向量”。前者对应于地理空间坐标的(规则)网格,其具有与例如卫星图像的光反射强度相关联的对应值。后者是指具有相关值的单个坐标,或线性、不规则、开放/封闭序列,例如测量温度的不规则分布的气象站、具有给定交通密度的道路或具有给定(平均)人口密度的县。
空间数据系统(例如地理信息系统(GIS))可以采用具有不同投影和分辨率的地理或空间数据集(在栅格数据的情况下),并且将它们显示为重叠层。通常对数据集的多个层执行若干计算迭代和再投影以获得重叠对准。然后,将重叠的数据集存储在硬盘驱动器上或关系数据库中,其可以快速地被大量数据填充。对如此大量的数据的分析,尤其是对它们在空间和时间上的互相关系的分析,有时被称为“大(地理空间)数据分析”。
由于格式的差异和需要管理的大量数据,管理这样的数据是有问题的。因此,在本领域中需要解决上述问题。
发明内容
从第一方面来看,本发明提供了一种数据库系统,包括:处理子系统,其包括接收第一格式化数据的电子硬件控制器;电子文件格式化子系统,其包括电子硬件控制器,该电子硬件控制器将对应于第二数据格式的坐标值分配给第一格式化数据,并生成将第一格式化数据与对应于第二数据格式的坐标值融合在一起的双格式数据文件;以及存储子系统,其包括经配置以存储所述双格式数据文件的数据存储单元。
从另一方面来看,本发明提供了一种操作数据库系统的计算机实现的方法,该计算机实现的方法包括:在包括电子硬件控制器的处理子系统处接收第一格式化数据;使用电子文件格式化子系统将对应于第二数据格式的坐标值分配给第一格式化数据;使用所述文件格式化子系统生成使所述第一格式化数据与对应于第二数据格式的所述坐标值相关的双格式数据文件;以及在数据存储单元中存储所述双格式数据文件。
从另一方面来看,本发明提供了一种操作数据库系统以生成查询结果的计算机实现的方法,该方法包括:经由包括电子硬件控制器的文件格式化子系统将对应于第一数据格式(栅格)的坐标值分配给具有不同于第一数据格式的第二数据格式(向量)的初始数据集中所包括的数据对象;使用所述文件格式化子系统生成双格式数据文件,所述双格式数据文件使具有所述第二数据格式的所述数据对象与对应于所述第一数据格式的所述坐标值相关以生成双格式数据文件;将所述双格式数据文件存储在数据存储单元中;接收对被包括在初始数据集中的至少一个数据对象的查询,所述至少一个数据对象具有第二数据格式;从存储在所述数据存储单元中的多个双数据文件中标识包括具有所述第二数据格式的所述至少一个数据对象的至少一个双格式数据文件;以及基于存储在该至少一个双格式数据文件中的对应坐标值来输出该至少一个数据对象。
从另一方面来看,本发明提供了一种操作数据库系统以生成查询结果的计算机实现的方法,该方法包括:使用包括电子硬件控制器的处理子系统将多个栅格网格单元覆盖在初始向量数据集上,每个栅格网格单元具有分配给其的网格坐标集;经由以电子硬件控制器实现的文件格式化子系统生成融合数据文件,所述融合数据文件包括对应于覆盖所述向量数据集中所包括的向量对象的至少一个栅格网格单元的所选网格坐标集合及标识所述向量对象的对象标识信息两者;接收对被包括在向量数据集中的至少一个目标向量对象的查询;经由包括电子硬件控制器的处理子系统执行图像识别操作,所述图像识别操作基于所述目标向量对象来确定参考向量对象,并且基于所述参考向量对象与所述多个网格单元之间的比较来确定对应于所述向量对象的至少一个网格坐标集合;以及从存储所选择的网格坐标集合的融合数据文件输出对象标识信息。
从另一方面来看,本发明提供了一种操作数据库系统以生成查询结果的计算机实现的方法,该方法包括:经由包括电子硬件控制器的处理子系统生成包括多个网格单元的网格系统,并且将所述网格单元覆盖在具有第一数据格式的初始数据集上,每个网格单元表示具有第二数据格式的数据并且具有分配给其的网格坐标集合;经由包括电子硬件控制器的文件格式化子系统将对应于所述第二数据格式的坐标值分配给被包括在具有所述第一数据格式的初始数据集中的数据对象;在双格式数据文件中存储具有所述第一格式的所选数据对象的标识信息,所述标识信息具有对应于覆盖于所述所选数据对象上的所选网格单元的所选坐标集合;接收对具有第二数据格式的至少一个目标数据对象的查询,并且基于该查询生成具有第一数据格式的参考数据对象;以及基于所述参考数据对象与所述多个网格单元之间的比较而输出具有所述第二数据格式的所述至少一个目标数据对象。
从另一方面来看,本发明提供了一种用于操作数据库的计算机程序产品,该计算机程序产品包括计算机可读存储介质,该计算机可读存储介质由处理电路可读取并且存储由处理电路执行以执行用于执行本发明的步骤的方法的指令。
从另一方面来看,本发明提供了一种被存储在计算机可读介质上并且可加载到数字计算机的内部存储器中的计算机程序,包括软件代码部分,当所述程序在计算机上运行时,用于执行本发明的步骤。
本发明的实施例涉及一种数据库系统。该数据库系统包括具有接收第一格式化数据的电子硬件控制器的处理子系统,以及具有向第一格式化数据分配对应于第二数据格式的坐标值的电子硬件控制器的电子文件格式化子系统。文件格式化子系统生成双格式数据文件,该双格式数据文件将第一格式化数据与对应于第二数据格式的坐标值融合在一起。所述数据库系统还包括具有经配置以存储所述双格式数据文件的数据存储单元的存储子系统。本发明的实施例涉及一种操作数据库系统的计算机实现的方法。
一种操作数据库系统的非限制性示例计算机实现的方法包括:在包括电子硬件控制器的处理子系统处接收第一格式化数据;以及使用电子文件格式化子系统将与第二数据格式相对应的坐标值分配给第一格式化数据。该方法还包括:使用该文件格式化子系统生成将该第一格式化数据与对应于第二数据格式的坐标值相关的双格式数据文件,以及在数据存储单元中存储该双格式数据文件。
提供了另一种非限制性的计算机实现的操作数据库系统的方法,以生成查询结果。该方法包括:经由包括电子硬件控制器的文件格式化子系统,将对应于第一数据格式(栅格)的坐标值分配给被包括在具有不同于第一数据格式的第二数据格式(向量)的初始数据集中的数据对象。该方法还包括:使用将具有第二数据格式的数据对象与对应于第一数据格式的坐标值相关以生成双格式数据文件的文件格式化子系统来生成双格式数据文件。该方法还包括:在数据存储单元中存储该双格式数据文件,以及接收对该初始数据集中所包括的至少一个数据对象的查询。所述至少一个数据对象具有第二数据格式。该方法还包括:从被存储在该数据存储单元中的多个双数据文件中标识包括具有该第二数据格式的该至少一个数据对象的至少一个双格式数据文件,以及基于被存储在该至少一个双格式数据文件中的该对应坐标值输出该至少一个数据对象。
提供了操作数据库系统以生成查询结果的另一非限制性计算机实现的方法。该方法包括使用包括电子硬件控制器的处理子系统在初始向量数据集上覆盖多个栅格网格单元。每个栅格网格单元具有分配给其的网格坐标集合。该方法还包括经由用电子硬件控制器实现的文件格式化子系统生成融合数据文件,该融合数据文件包括与覆盖向量数据集中所包括的向量对象的至少一个栅格网格单元相对应的所选栅格坐标集合和标识向量对象的对象标识信息两者。该方法还包括接收对被包括在向量数据集中的至少一个目标向量对象的查询。该方法还包括:经由包括电子硬件控制器的处理子系统执行图像识别操作,该图像识别操作基于目标向量对象来确定参考向量对象,并且基于参考向量对象与多个网格单元之间的比较来确定与向量对象相对应的至少一个网格坐标集合。该方法还包括从存储所选择的网格坐标集合的融合数据文件输出对象标识信息。
提供了操作数据库以生成查询结果的另一非限制性计算机实现的方法。该方法包括:经由包括电子硬件控制器的处理子系统生成包括多个网格单元的网格系统,以及将网格单元覆盖在具有第一数据格式的初始数据集上。每个网格单元表示具有第二数据格式的数据,并且具有分配给其的网格坐标集合。该方法还包括:经由包括电子硬件控制器的文件格式化子系统将对应于第二数据格式(栅格)的坐标值分配给具有第一数据格式(向量)的初始数据集中所包括的数据对象。该方法还包括:在双格式数据文件中存储具有第一格式的所选数据对象的标识信息,其中所选坐标集合对应于覆盖所选数据对象的所选网格单元。该方法还包括:接收对具有第二数据格式的至少一个目标数据对象的查询,并基于该查询生成具有第一数据格式的参考数据对象。所述方法还包括基于所述参考数据对象与所述多个网格单元之间的比较而输出具有所述第二数据格式的所述至少一个目标数据对象。
另一非限制性实施例提供一种用于操作数据库系统的计算机程序产品。该计算机程序产品包括具有用其实施程序指令的计算机可读存储介质。程序指令由处理电路可执行以致使处理电路将经格式化数据接收到包括电子硬件控制器的处理子系统,并且使用电子文件格式化子系统经由文件格式化子系统将对应于第二数据格式的坐标值分配给第一格式化数据。所述指令还可执行以使用所述文件格式化子系统生成使所述第一格式化数据与对应于第二数据格式的所述坐标值相关的双格式数据文件,并且将所述双格式数据文件存储在数据存储单元中。
通过本发明的技术实现了附加的技术特征和益处。本发明的实施例和方面在本文中详细描述,并且被认为是所要求保护的主题的一部分。为了更好地理解,参考详细描述和附图。
附图说明
在说明书的结尾处的权利要求中特别指出并清楚地要求了本文描述的专有权的细节。从下面结合附图的详细描述中,本发明的一个或多个实施例的前述和其他特征和优点将变得明显,在附图中:
图1示出了根据本发明实施例的数据库系统的框图;
图2示出了根据本发明的实施例的示意图,该示意图示出了针对空间相对于时间查询的空间-时间密度(ρf)和空间-时间“体积”(dnΔt′)之间的相关性;
图3是示出根据本发明的实施例的将经过滤的栅格数据与向量数据融合在一起的过程的图;
图4A示出了根据本发明的实施例的示出由数据库系统执行的操作的过程流程图,该操作用于从地理参考栅格数据获得“向量化栅格数据”;
图4B是图4A的延续;
图5A示出了根据本发明的实施例的处理流程图,该处理流程图图示了由数据库系统执行的操作,以基于图像识别分析从地理参考栅格数据获得“向量化栅格数据”;
图5B是图5A的延续;
图6A示出了根据本发明的实施例的示出由数据库系统执行的从地理参考向量数据获得“栅格化向量数据”的操作的处理流程图;
图6B是图6A的延续;
图7描述了根据本发明实施例的云计算环境;
图8描述了根据本发明实施例的抽象模型层;以及
图9描述了根据本发明实施例的通信装置。
这里描述的图是说明性的。在不脱离本发明的范围的情况下,可以对其中描述的图或操作进行许多变化。例如,可以以不同的顺序执行动作,或者可以添加、删除或修改动作。此外,术语“耦合”及其变型描述了在两个元件之间具有通信路径,并且不暗示元件之间的直接连接,而在它们之间没有中间元件/连接。所有这些变化都被认为是说明书的一部分。
在附图和以下对所述实施例的详细描述中,附图中所示的各种元件具有两个或三个数字参考标号。除了次要的例外,每个参考数字的最左边的数字对应于其中首先示出其元件的图。
具体实施方式
为了简洁起见,与数据库处理和分析相关的常规技术可以或可以不在本文中详细描述。此外,本文所述的各种操作和过程步骤可以并入到具有本文未详细描述的附加步骤或功能性的更全面程序或过程中。例如,一些数据分析操作,诸如图像识别,是公知的,因此,为了简洁起见,许多常规步骤在此将仅简要提及或将被完全省略,而不提供公知的过程细节。
现在转向与本发明的各种非限制性实施例的各方面更具体相关的技术的概述,来自诸如卫星、气象站、光检测和测距(LiDAR)扫描、勘测等的各种源的地理空间信息的全球分析需要处理大量数据(例如,兆兆字节到千兆兆字节的数据)。例如,美国航空和航天管理局的8颗卫星每天产生大约半个兆兆字节的数据。欧洲南部天文台的Sentinel-2卫星程序可以生成图像分辨率为10米的像素密度,这对应于增加了大约10倍的空间分辨率。DigitalGlobe的卫星,例如WorldView-4,通过提供低至亚米级的图像,可以将空间分辨率提高大约100倍。
空间信息传统上作为基于栅格的数据而被获得,并且伴随有向量格式。栅格数据的示例包括但不限于天气数据、温度数据、土壤数据、地形数据以及电磁频谱的红、绿、蓝或近红外频带的强度。栅格数据可以将地理区域表示为被划分成规则的单元网格的表面。栅格模型对于存储连续变化的数据是有用的,例如在航空照片、卫星图像、化学浓度表面或海拔表面中。
向量数据表示使用点、线和多边形的地理区域中的数据。向量模型对于存储具有离散边界的数据是有用的,所述离散边界例如是国家边界、地块以及街道/道路。
地理或空间集合的源/原始数据(例如,各个数据层)被主存在无数数据库上,其中每一数据库具有其自己的查询语言和数据检索工具。一旦被存储为重叠的空间数据集,就难以使用后续查询来搜索和重新整合各个层。在许多情况下,数据检索导致大量耗时的过程,或者甚至变得不可发现,因此在可以执行新查询之前需要大量准备。
例如,考虑美国全国性土壤数据库(SSURGO),其包含指定的数据提取边界(例如,多边形边界),该数据提取边界包含相对于土壤深度被解析的大量属性。数据库的纯文件大小约为70千兆字节(GB)。为了访问土壤性质,以基于结构化查询语言(SQL)的方式连接数据表,这可以导致信息相对于连接表的数目呈指数增长。在另一个示例中,美国政府以及像OpenStreetMap这样的基于人群的项目频繁地发布与人类基础设施有关的人口普查相关的信息和向量数据。
传统的数据或文档发现依赖于关键词查询搜索。关键词查询搜索和检索过程通常涉及提交关键词的短集合,并返回按与查询的相关性的顺序排序(通常基于流行度和页面排序)的文档列表或数据集。然而,随着数据库中包含的数据量的增加,返回的搜索结果的范围减小。因此,在可以标识目标数据或文档之前,必须执行进一步的分析以缩小搜索结果。
已经开发了问答(QA)系统以便于从包含大量数据的数据库中发现和提取数据。这些QA系统应用高级数据处理技术,包括但不限于自然语言处理、信息检索、知识表示、自动推理和机器学习技术,以标识和提取所请求的数据。与上述传统查询搜索不同,QA系统接收以自然语言表达的输入问题,寻求更详细地理解该问题,并返回对该问题的精确回答。以这种方式,大大减少了随后的数据分析。例如,为了回答输入的问题短语:“哪个土地合法地(例如,人口普查数据)和物理地(例如,土壤数据、天气数据等)有资格种植给定作物(例如,大豆)?”,与输入问题相关联的向量数据和栅格数据被融合在一起,即分层。
现在转到本发明的各方面的概述,本发明的一个或多个实施例通过提供“时间-空间密度”数据库系统来解决现有技术的上述缺点,该“时间-空间密度”数据库系统可以利用诸如例如物理分析集成数据储存库和服务(PAIRS)等大数据分析平台来将向量数据和栅格数据融合在一起。数据库系统被配置成基于地理空间和时间来索引大数据。IBM是国际商业机器公司的商标,在全世界的许多管辖区注册。以这种方式,时间-空间密度系统可以可缩放地支持关于栅格数据和向量数据两者的跨层查询。在本发明的一个或多个非限制性实施例中,地理空间系统实现分布式文件系统,诸如由ApacheTM/>提供的Hadoop分布式文件系统(HDFSTM)。分布式文件系统可以将数据文件分割成大块,并将它们分布在集群中的节点上,并且可以将打包的代码传送到节点中以并行处理数据,从而利用节点可以操纵它们可以访问的数据局部性。因此,分布式文件系统允许提交单独的栅格查询以获得栅格数据和单独的向量查询,以至少部分地基于MapReduce/ApacheTM/>和Apache HbaseTM和Apache SparkTM获得向量数据。
根据本发明的一个或多个非限制性实施例的数据库系统还能够融合栅格数据和向量数据格式。栅格数据和向量数据的融合提供了跨两种数据格式类型(即,栅格格式和向量格式)的多个数据集执行分析的链接。例如,可以分析初始栅格数据集并将其向量化以生成“向量化栅格”数据结果。换言之,可以基于初始栅格数据集来生成向量数据解。类似地,可以分析和栅格化初始向量数据集以生成“栅格化向量”数据结果。即,可以基于初始向量数据集生成栅格数据解(solution)。因此,提供了一种独特的数据生态系统,其能够从包含大量数据的数据库中提取根据两种数据格式分层的地理空间数据。
现在转到本发明的各方面的更详细描述,图1描绘了根据本发明的实施例的空间-时间密度数据库系统100。数据库系统100包括存储子系统102、处理子系统104、应用子系统106和文件格式化子系统108。子系统102、104、106和108的数目和布置作为示例示出,并且决不意味着将数据库系统100限制于任何特定布置和/或子系统的数目。
存储子系统102包括分布式文件系统110和分布式数据库112。存储子系统102可以与文件格式化子系统108一起操作,以根据各种文件格式来加载或存储数据。在本发明的一个或多个实施例中,ASCII文件生成器生成ASCII基本文件。不是直接采用纯ASCII文本文件,而是通过将纯ASCII文本文件附加到HDFSTM 110中的现有文件来实现数据上载。ASCII基本文件可以经由列组织的Apache ParquetTM文件格式生成器111被转换成基于列的数据文件,并且可以根据HDFSTM框架从Apache ParquetTM文件加载数据帧。另外,Apache ParquetTM文件可以使用PySparkTM采用的SQL查询来直接访问,这允许对向量数据执行附加的数据分析。
分布式文件系统110包括例如通过同时安装在多个服务器上而能够共享的集群化文件系统。在本发明的一个或多个实施例中,分布式文件系统110被实现为根据ApacheTM 架构框架的HDFSTM
当根据HDFSTM实现分布式文件系统110时,例如,遵循文件名约定“<ma>_<n>-<Z>-<t>.pvd”创建对应的HDFS文件,其中扩展名“PVD”指示新定义的“PAIRS向量数据”文件类型:此后简称“PVD”。参数“<ma>”表示我们将所有向量数据,例如街道、房屋、推特等分类到的主要属性。参数“<n>”表示给定的“虚拟”分辨率层。参数“<Z>”用作地理空间区域的索引。参数“<t>”表示按照Unix时元时间的网格化时间戳(t′),例如,从1970年1月1日零时am(0时,0分,0秒)起经过的秒。例如,具有精确时间戳t的数据可以作为字典参数(参见等式1)被存储,使得t在时间间隔[t′,t′+Δt′)内。时间间隔长度Δt′是根据数据的类型而固定的参数。
在本发明的一个或多个实施例中,参数“<Z>”可以由给定分辨率层<n>处的地理空间索引(Zn)的(无符号)整数表示代替。分辨率层<n>处的地理空间索引(Zn)定义了纬度-经度空间(x,y)中的地理空间正方形,即,对于给定分辨率(dn),例如“半度经度/纬度”,xn<x<xn+dn,并且yn<y<yn+dn。不同地表述它:每个Zn可以唯一地与两个地理空间坐标(xn,yn)相关联,并且索引n指定对应的唯一分辨率dn。因此,融合的栅格-向量相关性可以通过将向量数据存储在上面指定的HDFS文件(即,<ma>_<n>-<Z>-<t>.pvd)中来建立。
根据本发明的一个或多个实施例,基于ASCII的PVD文本文件的每行将向量数据表示为python对象。因此,基于ASCII的PVD文本文件遵循以下数据结构:
R={"i":id,"g":P,"a":A,"q":Q} [等式1]
参数“R”引用Python字典参数。使用单个字符来减少存储。参数“i”表示向量数据标识符。参数“g”表示地理空间向量数据。参数“a”表示可选的向量数据属性。参数“q”表示可选的树数据结构参数,诸如例如四叉树结构数据参数。参数“id”是标识合并多个文件的副本的唯一对象标识符。
PVD文本文件基于Zn的定义提供用于在分布式文件系统110中存储向量数据的不同选项。根据第一选项,与关联于Zn的“虚拟”区域/正方形重叠的并且其分配的时间戳落在由PVD文件名参数<t>表示的网格化时间戳t′的时间间隔[t,t+Δt′)内的所有边界提取形状(例如,多边形)被存储在PVD文本文件中。这个过程复制边界提取形状。根据第二选项,将数据裁剪到虚拟区域/正方形的边界。在两种情况下,来自等式1的唯一id是反转该操作所需要的。
第一种选择对于多边形形状的提取边界是有用的,其典型面积(a)与边界框面积(aB)的比接近一,即a/aB≈1。此外,与多边形的面积的平均值(a′)相比,面积的变化(δa)应该是轻微的,或至少更小,即δa/a′<1。这通常适用于有组织的固定装置形状,例如房屋和建筑物。
例如,假设一个有组织的固定物区域,诸如以平方单位(例如ft2)测量的房屋面积(a′),以速率(f)建立,并且在线数(NS)方面给出最大文件尺寸限制,分辨率层“<n>”可以根据下面的表达式来确定:
dn 2=a′·NS/f·Δt′ [等式2]
当第一选项的参数未知时,可以使用第二选项。一个示例可以包括蜿蜒穿过乡间的道路。在最坏的情况下,它在给定的分辨率层<n>互连所有的Zn,使得复制变得最大。使用上述选项2切割所有向量数据,使得不创建副本。然而,当查询包含多个Zn的面积时,必须重建原始的线/多边形。为此,“id”参数可以标识重复的数据元素。
在本发明的一个或多个实施例中,密度数据可以用于确定每单位面积的对象的平均或估计数目。密度数据可以根据以下等式确定:
ρ=Ns/dn 2f·Δt′ [等式3]
就表示房屋或建筑物的数据而言,多边形的区域(a′)可以被标识为逆密度,即,例如,当假设房屋通常在空间上不重叠时,每个房屋区域一个房屋。
在栅格数据和向量数据之间建立链接提供了向量数据的地理空间划分/索引。以这种方式,减少了要分析的数据量,同时还提供了给定时间间隔内的感兴趣的地理空间区域。实质上,文件名约定定义了一个空间-时间体积,它可以表示为:
dn 2Δt′ [等式4]
在如下所述建立最佳系统性能的适当PVD文件大小(与NS成比例)的约束下,t′和dn可以变化,使得它们的乘积保持恒定。当给定ρ和f时,例如,可以生成对应于向量数据的固定空间-时间密度,其又可以用于基于以下表达式来确定最大文件大小限制(NS):
NS=ρf dn 2Δt′~dn 2Δt′=恒定值,[等式5]
其中ρf是对应于向量数据的给定或固定的空间-时间密度。
给定固定乘积ρf(这里称为“空间-时间密度”)是已知的,并且根据对于向量数据所期望的查询,Δt′和dn可以变化以调整向量数据在PVD文件上的划分。如果ρ和f分别已知,对于fΔt′比ρdn 2大得多的情况(给定约束等式5),PVD文件将主要包含空间上彼此接近的时间序列数据。或者,如果fΔt′比ρdn 2小得多,则由对应的PVD文件累积数据的空间快照。然而,空间-时间密度本身可以用于根据等式5关联dn和Δt′。这例如对于与诸如汽车的移动对象相关联的向量数据提供了用处。应当理解,系统100可以被操作以提供上述两种查询类型之间的折衷,即当fΔt′~ρdn 2时。
图2是示出空间-时间密度(ρf)200如何能够建立与用于空间相对于时间查询的一维空间-时间体积(dnΔt′)的链接(即相关性)的示意图。各个数据点202的路径可以表示移动向量对象206(例如汽车)的轨迹204。数据文件覆盖区域208确定给定的ρf 200是否被给定的HDFS数据文件覆盖。然而,应当理解,图2所示的示例不限于点数据。
回到图1,分布式数据库112可以包括不共享物理组件的若干独立数据存储站点。数据可以从不同的存储站点提取并组合以提供结果。存储站点可以在位于同一物理位置的多个计算机、数据服务器等中使用,或者可以分散在互连的计算机网络上。因此,单独的数据存储站点的网络可以定义分布式数据库110。与处理器紧密耦合并构成单个数据库系统的并行系统不同,分布式数据库112可以被实现为不共享物理组件的松散耦合的站点。以这种方式,可以跨多个物理位置或存储站点分布(例如,在数据库中的)大量数据集合。
在本发明的一个或多个实施例中,分布式数据库112被实现为Apache HbaseTM112,并且当其被实现为HDFSTM时,与分布式文件系统110一起运行。HbaseTM 112是一个面向列的键值分布式数据库。HbaseTM 112中的表可以经由被包括在应用子系统106中的web接口115和/或各种API 117(例如,PAIRS API)来访问。HbaseTM 112非常适合于对具有高吞吐量和低输入/输出时延的大数据集进行更快的读和写操作。以这种方式,HbaseTM 112可以提供一种存储大量的稀疏数据的容错的方式。稀疏数据被称为在空的或不重要的数据的大集合内捕捉到的少量信息,有时被称为“噪声”。稀疏数据的示例包括标识2个十亿记录的组中的50个最大项,或确定表示小于巨大数据集合的0.1%的非零项。在本发明的一个或多个实施例中,HbaseTM 112包括具有SQL查询引擎的结构化查询语言(SQL)层,以及诸如JavaTM数据库连接性(JDBC)驱动器之类的数据库连接API,其可以与各种分析和商业智能应用集成。Java和所有基于Java的商标和标志是Oracle和/或其分支机构的商标或注册商标。
处理子系统104包括并行向量数据(PVD)处理器114、MapReduce处理器116和数据融合处理器118。PVD处理器114、MapReduce处理器116和数据融合处理器118中的任何一个可以被构造为电子硬件控制器,其包括存储器和被配置为执行算法和存储在存储器中的计算机可读程序指令的处理器。
PVD处理器114可以根据分布式计算和集群计算框架来构造,该框架包括用于以隐式数据并行性和容错性对整个集群(例如,计算机集群)进行编程的接口。在本发明的一个或多个实施例中,PVD处理器112根据Apache SparkTM/PySparkTM框架来实现。因此,PVD处理器112可以提供以称为弹性分布式数据集(RDD)115的数据结构为中心的应用程序编程接口。RDD 115是分布在机器集群上的数据项的只读多重集,并且可以以容错方式来维护。作为可扩展的平台,PVD处理器114可以将RDD 115加载到计算集群的存储器(例如,分布式存储器)中。当PVD处理器114根据Apache SparkTM框架实现时,作用于给定RDD的变换序列({f1,f2,…fn})可以被定义为:
RDD→f1(RDD)→f2(f1(RDD))→...[等式6]
可以从各种源加载一个或多个RDD 115。一种选择是结合ASCII文本文件,其使用分布式文件系统110(例如HDFS)在集群节点之间分布。因此,PVD处理器114可以单独地作用于文本的每一行并应用序列{fn}。文本的行可以包括例如在等式1中定义的数据结构的JSON表示,其定义了边界形状,例如具有对应属性的多边形。
当根据Apache SparkTM框架实现时,PVD处理器114还包括脚本语言API,例如PySparkTM。PySparkTM API允许访问各种地理空间包,这些地理空间包允许通过SQL操作来对数据表(即,数据帧)进行操作。利用SQL操作的能力还允许直接访问列定向数据库管理系统(DBMS),例如Apache ParquetTM文件格式生成器111。
MapReduce处理器116被配置为利用集群上的并行分布式算法来处理和生成大数据集。MapReduce处理器116被配置为执行映射过程和约简过程。映射过程(例如,算法)执行过滤和排序,例如,按姓将学生排序到队列中,每个姓名一个队列。约简过程执行汇总操作,例如,对每个队列中的学生数目进行计数,产生姓名频率。因此,MapReduce处理器116可以通过执行各种操作来处理数据,所述操作包括但不限于编组分布式服务器、并行运行各种任务、管理系统的各个部分之间的所有通信和数据传输、以及提供冗余和容错。
数据融合处理器118被配置为获得经过滤的栅格数据,并将经过滤的栅格数据与向量数据的集合融合在一起(例如,分层)。在本发明的一个或多个实施例中,数据融合处理器118根据由提供的PAIRS来实现。因为栅格数据与向量数据融合在一起,所以数据融合处理器118可以接收向量查询,对融合的数据进行栅格化,并生成栅格数据结果。数据融合处理器118可以将数据作为纯ASCII存储在HDFS中(如果它们被向量化),但是在标准操作模式中,查询结果被转发到115或117,作为例如GeoJSON(向量数据)和GeoTiff(栅格数据)以用于进一步的消费。
数据融合处理器118还可以接收栅格查询、向量化经融合的数据、并生成向量数据结果。下面描述关于从地理参考栅格数据获得“向量化栅格数据”和从地理参考向量数据获得“栅格化向量数据”的能力的进一步细节。在本发明的一个或多个实施例中,数据融合处理器118将时空栅格数据与向量格式对象链接。由数据融合处理器处理的向量数据包括:(1)点,(2)线,以及(3)边界形状。该点包括单个地理空间坐标(x,y),例如地理标记的推特、商店的位置等。该线包括地理空间坐标序列{(xn,yn)}n=1...N,其中(x1,y1)不等于(xN,yN),其表示例如街道、河流、移动轨迹等。例如,诸如多边形的边界形状类似于线,但是包括匹配的最后和第一坐标,其指示例如建筑物、湖等。此外,可以有序列{(x′n,y′n)}n=1...M,其中(x′1,y′1)=(x′M,y′M),对应于表示孔的内部坐标。将时空栅格数据链接到向量格式对象的过程包括将过滤的栅格数据与向量数据一起融合(即分层)。
转到图3,该图示出了根据本发明的一个或多个非限制性实施例的将经过滤的栅格数据与向量数据一起融合(即,分层)的过程。数据融合处理器118生成对应于由PVD文件(例如,<ma>_<n>-<Z>-<t>.pvd)定义的虚拟网格110的栅格网格300。栅格网格300包括多个栅格单元(Z1)302。每个栅格单元302可以由对应的坐标集合(例如,纬度坐标、经度坐标)来标识。包含向量对象(例如,点、线、边界形状等)的栅格单元被标识,并且向所包含的向量对象分配给定栅格单元的坐标。相应地,向量数据(即,非栅格化的数据)与空间栅格数据相关。
在本发明的一个或多个实施例中,基于一个或多个栅格单元302相对于向量对象或向量对象的一部分的对准而向向量数据分配网格坐标信息。例如,接收初始向量数据集,其包括至少一个向量对象,诸如,例如点、线和/或边界形状(例如,多边形)。栅格网格300覆盖在向量数据集上以定义多个单元302。栅格网格300包括分配给网格水平轴的一系列纬度坐标(m-2、m-1、m、m+1等)和分配给网格垂直轴的一系列经度坐标(n-2、n-1、n、n+1等)。纬度和经度坐标集合(例如,m+1;n-2)定义了多个单元中的一个单元。以此方式,可以标识包含向量对象或向量数据的至少一部分(例如,306a)的给定单元(例如,m+1;n-2)。然后,向量对象或其部分被分配给定单元的纬度和经度坐标的集合。
每个PVD文件以设定的分辨率级别(例如,级别l)被分配至给定的栅格单元302。因此,点304a、304b、304c...、304n被自动链接到网格300。共享多个栅格单元302的线306和边界形状308(例如,多边形)被分割成多个向量对象(参见线段306a和306b)或者在文件中被复制(参见复制的边界形状308a和308b)。可以使用被包括在上述基于ASCII的PVD文本文件(即,R={"i":id,"g":P,"a":A,"q":Q})中的“id”参数来标识重复的元素(例如,308a和308b)。
图4A和图4B中所示的过程流程图示出了空间-时间密度数据库系统100从地理参考栅格数据获得“向量化栅格数据”的能力。转到操作400,数据库系统100基于栅格数据接收对向量化数据结果的查询。从对栅格数据进行向量化获得的向量化数据在此被称为“向量化栅格数据”。响应于接收到向量化数据查询,数据库系统100从栅格数据源获得地理参考栅格数据。栅格数据源包括例如卫星图像、2维(2-D)天气映射数据等。栅格数据420包括多个单独的像素422a、422b、422c、422d、422n。像素可以表示被包括在栅格数据420中的各种元素或对象。例如,第一像素422b可以表示房屋。第二组像素422c可以表示河流。第三组像素422d可以表示森林或林区。栅格数据420可以在各种地理空间投影中给出,包括但不限于UTM(通用横向墨卡托)、BNG(英国国家电网)和USNG(美国国家电网)。栅格数据420还可以包括时间戳信息,诸如例如,由栅格数据源捕获图像的时间和/或日期。
转到操作402,数据库系统100执行地理空间网格再投影,其在像素422a至422n上覆盖网格系统424,如操作404中所示。因此,基于像素422a-422n与网格系统424的对准,为它们分配值。例如,在本发明的一个或多个实施例中,根据诸如四叉树数据结构的树数据结构来划分网格系统424,并且向其分配纬度坐标m-1、m+1、m+2等以及纬度坐标n、n+1、n+2等。以这种方式,像素422a-422n根据网格系统424的坐标进行索引。
转到操作406,根据查询,栅格数据420的空时信息被用来过滤栅格数据420。因此,如操作408所示,从初始栅格数据集420标识并提取一个或多个过滤的像素422a′和422c′,以生成栅格数据查询结果(即,过滤的栅格数据)。在操作410,对过滤的像素422a′和422c′进行向量化,以生成向量数据。提供向量化栅格数据426和428,其表示栅格数据查询结果,即,如操作412所示的过滤后的像素422a′和422c′。例如,向量形状426和428表示可以基于从初始栅格数据集420提取的过滤的栅格像素422a′和422c′生成的栅格数据查询结果。以这种方式,数据库系统100从初始地理参考栅格数据集420生成“向量化栅格数据”426和428。
图5A和图5B中所示的过程流程图示出了空时密度数据库系统100基于图像识别分析从地理参考栅格数据获得“向量化栅格数据”的能力。操作500、502和504类似于上面关于图4A-图4B描述的操作,因此将不重复它们的描述。转到操作506,接收空间-时间查询,并且数据库系统100对在操作504中生成的像素422a、422b、422c和422的地理空间网格再投影执行各种图像识别分析过程。数据库系统100可以实现各种深度学习算法和图像识别算法,以从初始栅格数据集420中标识场景、对象和元素。例如,查询可以用于从栅格数据集中标识一个或多个目标对象(例如,房屋、河流、森林等)。在操作508处,基于该查询,数据库系统100将图像识别过程应用于栅格数据,标识与查询相对应的对象,并且将图像识别结果生成为“向量化栅格数据”。向量化栅格数据表示满足输入查询的一个或多个识别对象520a、520b、520c。以这种方式,数据库系统100基于图像识别分析从地理参考栅格数据420生成“向量化栅格数据”520。
图6A和图6B中所示的处理流程图示出了数据库系统100从地理参考向量数据获得“栅格化向量数据”的能力。在操作600,数据库系统100基于初始向量数据集接收对栅格化数据结果的查询。从对向量数据进行栅格化获得的栅格化数据在此被称为“栅格化向量数据”。响应于接收到栅格化数据查询,数据库系统100从向量数据源,诸如例如OpenStreetMap,获得地理参考向量数据。向量数据源包括例如点620、线622和/或边界形状624(例如多边形)。例如,向量点620可以表示房屋,向量线622可以表示河流,并且多边形624可以表示居民区。向量数据620、622和624可以在各种地理空间投影中给出,包括但不限于UTM、BNG和USNG。向量数据620、622和624还可以包括时间戳信息,例如定义邻域边界的日期或构建街道的日期。
转到操作602,数据库系统100执行地理空间网格重投影,其将网格系统626覆盖在向量数据620、622和624上,如操作604中所示。因此,基于向量数据620、622和624与网格系统424的对准,为它们分配值。例如,在本发明的一个或多个实施例中,网格系统626根据诸如四叉树数据结构之类的树数据结构来划分,并且被分配纬度坐标m-1、m+1、m+2等以及纬度坐标n、n+1、n+2等。以这种方式,向量数据620、622和624根据网格系统626进行索引。然后,索引的向量数据620、622和624作为PVD文件的单行被存储在分布式文件系统110(例如,HDFSTM)中。在本发明的一个或多个实施例中,当穿过多个网格单元626时,向量对象(例如,线622)被分割成单独的子元素622a和622b(例如,线段)。
转到操作606,选择与输入查询的时间和空间覆盖范围相对应的一个或多个PVD文件。在操作608,从PVD文件提取索引数据,并且PVD处理器112提供对应于弹性分布式数据集(RDD)115居中的应用编程接口。在操作610,根据输入查询过滤与所选择的ASCII文件相对应的向量数据620、622和624,并且在操作612生成过滤的向量查询结果。在图6A-图6B所示的示例中,过滤的向量查询结果提供边界形状624(例如,多边形)。在操作614,过滤的向量查询结果被转换成在设定分辨率级别的树数据结构(例如四叉树)表示。因此,在操作616生成栅格化向量数据,其包括由过滤的向量查询结果,即过滤多边形624,限定的栅格化数据像素628。
可以理解,这里所陈述的教导的实现不限于任何特定的计算环境。相反,本发明的实施例能够结合现在已知或以后开发的任何其他类型的计算环境来实现。
例如,本发明的一个或多个实施例可以在云计算系统中被实现。云计算是一种服务交付模式,用于对共享的可配置计算资源池进行方便、按需的网络访问,可配置计算资源是能够以最小的管理成本或与服务提供者进行最少的交互就能快速供应和释放的资源,例如可以是网络、网络带宽、服务器、处理、内存、存储、应用、虚拟机和服务。这种云模式可以包括至少五个特征、至少三个服务模型和至少四个部署模型。
特征如下:
按需自助式服务:云的消费者在无需与服务提供者进行人为交互的情况下能够单方面自动地按需供应诸如服务器时间和网络存储等的计算能力。
广泛的网络接入:计算能力可以通过标准机制在网络上获取,这种标准机制促进了通过不同种类的瘦客户机平台或厚客户机平台(例如移动电话、膝上型电脑、个人数字助理PDA)对云的使用。
资源池:提供者的计算资源被归入资源池并通过使用多租户(multi-tenant)模式服务于多重消费者,其中按需将不同的物理资源和虚拟资源动态地分配和再分配。一般情况下,消费者不能控制或甚至并不知晓所提供的资源的确切位置,但可以在较高抽象程度上指定位置(例如国家、州或数据中心),因此具有位置无关性。
迅速弹性:能够迅速、有弹性地(有时是自动地)供应计算能力,以实现快速扩展,并且能迅速释放来快速缩小。在消费者看来,可用于供应的可用计算能力往往显得是无限的,并能在任意时候都能获取任意数量的计算能力。
可测量的服务:云系统通过利用适于服务类型(例如存储、处理、带宽和活跃用户帐号)的某种抽象程度的计量能力,自动地控制和优化资源效用。可以监测、控制和报告资源使用情况,为服务提供者和消费者双方提供对所利用的资源的透明度。
服务模型如下:
软件即服务(SaaS):向消费者提供的能力是使用提供者在云基础架构上运行的应用。可以通过诸如网络浏览器(例如基于网络的电子邮件)的瘦客户机接口从各种客户机设备访问应用。除了有限的特定于用户的应用配置设置外,消费者既不管理也不控制包括网络、服务器、操作系统、存储、乃至单独应用能力等的底层云基础架构。
平台即服务(PaaS):向消费者提供的能力是在云基础架构上部署消费者创建或获得的应用,这些应用利用提供者支持的程序设计语言和工具创建。消费者既不管理也不控制包括网络、服务器、操作系统或存储的底层云基础架构,但对其部署的应用具有控制权,并且对托管环境配置的应用可能也具有控制权。
基础架构即服务(IaaS):向消费者提供的能力是消费者能够在其中供应并运行包括操作系统和应用的任意软件的处理、存储、网络和其他基础计算资源。消费者既不管理也不控制底层的云基础架构,但是对操作系统、存储和其部署的应用具有控制权,对选择的网络组件(例如主机防火墙)可能具有有限的控制权。
部署模型如下:
私有云:云基础架构单独为某个组织运行。云基础架构可以由该组织或第三方管理并且可以存在于该组织内部或外部。
共同体云:云基础架构被若干组织共享并支持有共同利害关系(例如任务使命、安全要求、政策和合规考虑)的特定共同体。共同体云可以由共同体内的多个组织或第三方管理并且可以存在于该共同体内部或外部。
公共云:云基础架构向公众或大型产业群提供并由出售云服务的组织拥有。
混合云:云基础架构由两个或更多部署模型的云(私有云、共同体云或公共云)组成,这些云依然是独特的实体,但是通过使数据和应用能够移植的标准化技术或私有技术(例如用于云之间的负载平衡的云突发流量分担技术)绑定在一起。
云计算环境是面向服务的,特点集中在无状态性、低耦合性、模块性和语义的互操作性。云计算的核心是包括互连节点网络的基础架构。
现在参考图7,其中显示了示例性的云计算环境50。如图所示,云计算环境50包括云计算消费者使用的本地计算设备可以与其相通信的一个或者多个云计算节点10,本地计算设备例如可以是个人数字助理(PDA)或移动电话54A,台式电脑54B、笔记本电脑54C和/或汽车计算机系统54N。云计算节点10之间可以相互通信。可以在包括但不限于如上所述的私有云、共同体云、公共云或混合云或者它们的组合的一个或者多个网络中将云计算节点10进行物理或虚拟分组(图中未显示)。这样,云的消费者无需在本地计算设备上维护资源就能请求云计算环境50提供的基础架构即服务(IaaS)、平台即服务(PaaS)和/或软件即服务(SaaS)。应当理解,图7显示的各类计算设备54A-N仅仅是示意性的,并且云计算节点10以及云计算环境50可以与任意类型网络和/或网络可寻址连接上的任意类型的计算设备(例如使用网络浏览器)通信。
现在参考图8,其中显示了云计算环境50(图7)提供的功能抽象层的集合。预先应当理解,图8所示的组件、层以及功能都仅仅是示意性的,本发明的实施例不限于此。如所描绘的,提供下列层和对应功能:
硬件和软件层60包括硬件和软件组件。硬件组件的示例包括:主机61;基于RISC(精简指令集计算机)体系结构的服务器62;服务器63;刀片服务器64;存储设备65;以及网络和网络组件66。在一些实施例中,软件组件的示例包括:网络应用服务器软件67以及数据库软件68。
虚拟层70提供一个抽象层,该层可以提供下列虚拟实体的示例:虚拟服务器71、虚拟存储装置72、虚拟网络73(包括虚拟私有网络)、虚拟应用和操作系统74,以及虚拟客户端75。
在一个示例中,管理层80可以提供下述功能:资源供应功能81:提供用于在云计算环境中执行任务的计算资源和其他资源的动态获取。计量和定价功能82:在云计算环境内对资源的使用进行成本跟踪,并为其提供帐单和发票。在一个示例中,这些资源可以包括应用软件许可。安全功能:为云的消费者和任务提供身份认证,以及为数据和其他资源提供保护。用户门户功能83:为消费者和系统管理员提供对云计算环境的访问。服务水平管理功能84:提供云计算资源的分配和管理,以便满足必需的服务水平。服务水平协议(SLA)计划和履行功能85:为根据SLA预测的对云计算资源未来需求提供预先安排和供应。
工作负载层90提供云计算环境可能实现的功能性的示例。在该层中,可以提供的工作负载或功能的示例包括:地图绘制与导航91;软件开发及生命周期管理92;虚拟教室的教学提供93;数据分析处理94;交易处理95;以及输入数据分析96。
现在参考图9,根据本发明的一个或多个实施例,图示了能够将栅格数据与向量数据一起融合的计算系统900。计算系统900可以包括计算机,诸如服务器、膝上型计算机、平板计算机、电话等。
除了其他组件之外,计算系统900包括:处理器905;被耦合至存储器控制器915的存储器910;以及一个或多个输入设备945和/或输出设备940,诸如外围设备或控制设备,其经由本地I/O控制器935被通信地耦合。例如,这些设备940和945可以包括:电池传感器、位置传感器(高度计40、加速计42、GPS44)、指示灯/标识灯等。诸如常规键盘950和鼠标955的输入设备可以被耦合至I/O控制器935。I/O控制器935可以是例如,一个或多个总线或其他有线连接或无线连接,如本领域中已知的。I/O控制器935可以具有附加的元件(其出于简洁而被省略),诸如控制器、缓冲器(高速缓存)、驱动器、中继器以及收发器,用以实现通信。
I/O设备940、945还可以包括传送输入和输出两者的设备,例如磁盘和磁带存储装置,网络接口卡(NIC)或调制器/解调器(用于访问其他文件、设备、系统或网络)、射频(RF)或其他收发器、电话接口、桥接器、路由器等。
处理器905是用于执行硬件指令或软件(特别是那些被存储在存储器910中的那些)的硬件设备。处理器905可以是定制的或商购的处理器,中央处理单元(CPU),与计算系统900相关联的多个处理器之中的辅助处理器,基于半导体的微处理器(以微芯片或芯片组的形式)、大处理器或用于执行指令的其他设备。处理器905包括告诉缓存970,其可以包括但不限于:用以加快可执行指令取回速度的指令高速缓存,用以加快数据取回和存储的数据高速缓存,以及用于加快针对可执行指令和数据两者的虚拟到物理地址转换的转换查找缓冲器(TLB)。高速缓存970可以被组织成更多高速缓存级别(L1,L9等)的层级结构。
存储器910可以包括以下中的一项或其组合:易失性存储器元件(例如,随机存取存储器,RAM,诸如DRAM、SRAM、SDRAM)和非易失性存储器元件(例如,ROM,可擦除可编程只读存储器(EPROM),电可擦除可编程只读存储器(EEPROM),可编程只读存储器(PROM),磁带,压缩盘只读存储器(CD-ROM),磁盘,磁碟,盒式磁带,磁带盒等)。此外,存储器910可以合并电学、磁性、光学或其他类型的存储介质。注意,存储器910可以具有分布式架构,其中各种组件彼此远离但是可以由处理器905访问。
存储器910中的指令可以包括一个或多个单独程序,每个程序包括用于实现逻辑功能的可执行指令的经排序的列表。在图9的示例中,存储器910中的指令包括合适的操作系统(O/S)911。O/S 911本质上可以控制其他计算机程序的执行,并且提供调度、输入输出控制、文件和数据管理、存储器管理、通信控制和相关服务。
包括例如用于处理器905的指令或其他可取回信息的附加数据可以被存储在存储装置990中,该存储装置990可以是存储设备,诸如硬盘驱动器或固态驱动器。存储器910或存储装置990中所存储的指令可以包括那些使得处理器能够执行本文所描述的系统和方法的一个或多个方面的指令。
计算系统900还可以包括被耦合到用户界面的显示控制器995或显示器930。在一些实施例中,显示器930可以是LCD屏幕。在其他实施例中,显示器930可以包括多个LED状态灯。在一些实施例中,计算系统900还可以包括用于耦合至网络965的网络接口960。网络965可以是基于IP的网络,其用于计算系统900与外部服务器、客户端等之间的经由宽带连接的通信。在实施例中,网络965可以是卫星网络。网络965传送和接收计算系统900和外部系统之间的数据。在一些实施例中,网络965可以是由服务提供者管理的受管理的IP网络。网络965可以按照无线的方式被实现,例如使用无线协议和技术,诸如WiFi、WiMax、卫星等。网络965还可以是分组交换网络,诸如局域网、广域网、城域网、因特网或其他类似类型的网络环境。网络965可以是固定无线网络,无线局域网(LAN),无线广域网(WAN),个人局域网(PAN),虚拟专用网(VPN),内联网或其他合适的网络系统,并且可以包括用于接收和传送信号的设备。
本发明的各种实施例在本文中参考相关附图进行描述。备选实施例可以在不脱离本发明的范围的情况下被设计。尽管在以下描述和附图中在元件之间阐述了各种连接和位置关系(例如,在上方,在下方,相邻等),但是本领域技术人员将认识到,即使定向被改变,但在保持所描述的功能性时,本文描述的许多位置关系都与定向无关。除非另有说明,否则这些连接和/或位置关系可以是直接的或间接的,并且本发明并不旨在这方面进行限制。因此,实体的耦合可以指直接或间接耦合,并且实体之间的位置关系可以是直接或间接的位置关系。作为间接位置关系的示例,在本说明书中对在层“B”上形成层“A”的引用包括以下情况:其中一个或多个中间层(例如,层“C”)在层“A”与层“B”之间,只要中间层基本上不改变层“A”和层“B”的相关特征和功能性。
以下定义和缩写被用于解释权利要求和说明书。如本文所用,术语“包括(comprise)”、“包括(comprising)”、“具有(has)”、“具有(having)”、“包含(contain)”或“包含(containing)”或者其任何其他变型旨在涵盖非排他性内容。例如,包括一系列元素的组合物、混合物、过程、方法、物品或设备不一定仅限于那些元素,而是可以包括未明确列出或此类组合物、混合物、过程、方法、物品或设备所固有的其他元素。
附加地,术语“示例性”在本文中被用来表示“充当示例、实例或说明”。本文中被描述为“示例性”的任何实施例或设计不必被解释为比其他实施例或设计更优选或有利。术语“至少一个”和“一个或多个”应理解为包括大于或等于一的任何整数,即一、二、三、四等。术语“多个”应理解为包括大于或等于二的任何整数,即二、三、四、五等。术语“连接”可以包括间接“连接”和直接“连接”。
说明书中对“一个实施例”、“实施例”、“示例实施例”等的引用指示所描述的实施例可以包括特定的特征、结构或特性,但是每个实施例可以包括或可以不包括特定特征、结构或特性。此外,这样的短语不一定指相同的实施例。另外,当结合实施例描述特定特征、结构或特性时,应当认为,无论是否明确描述,结合其他实施例来影响这样的特征、结构或特性在本领域技术人员的知识范围内。
为了下文的描述,术语“上部”,“下部”,“右侧”,“左侧”,“垂直”,“水平”,“顶部”,“底部”及其派生词应与所描述的结构和方法相关,如附图所示。术语“覆盖”,“顶部”,“在顶部”,“位于...之上”或“位于顶部”是指第一元件(诸如第一结构)存在于第二元件(诸如第二结构)上,其中在第一元件和第二元件之间可以存在诸如界面结构的中间元件。术语“电通信”是指将电信号从第一节点传输到第二节点的任何方式,包括但不限于有线连接和/或无线连接。术语“大约(about)”、“基本上”、“大概(approximately)”及其变化形式旨在包括与基于提交申请时可用的设备的特定数量的测量相关的误差程度。例如,“大约”可以包括给定值的±8%或5%或2%的范围。
为了简洁起见,与数据库存储和处理相关的技术可能会在此处进行详细描述,也可能不会进行详细描述。例如,特定的图像识别算法和/或学习算法可以由地理空间数据库系统实现,以执行各种数据查询和分析。尽管可以单独知道用于实现本发明的一个或多个实施例的特定分析算法操作,但是所描述的本发明的操作和/或所得到结构的组合是独特的。因此,根据本发明结合地理空间数据分析所描述的操作的独特组合可以实现各种单独已知的数据处理和分析操作,以下段落将对其中一些进行说明,同时仍提供一个独特而新颖的系统。
在任何可能的技术细节结合层面,本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质,其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的示例(非穷举的列表)包括:便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身,诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如,通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备,或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令,并转发该计算机可读程序指令,以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、集成电路配置数据或者以一种或多种编程语言的任意组合编写的源代码或目标代码,所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等,以及过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中,通过利用计算机可读程序指令的状态信息来个性化定制电子电路,例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA),该电子电路可以执行计算机可读程序指令,从而实现本发明的各个方面。
这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解,流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合,都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以被提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器,从而生产出一种机器,使得这些指令在通过计算机或其他可编程数据处理装置的处理器执行时,产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中,这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作,从而,存储有指令的计算机可读介质则包括一个制造品,其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其他可编程数据处理装置、或其他设备上,使得在计算机、其他可编程数据处理装置或其他设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机、其他可编程数据处理装置、或其他设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分,所述模块、程序段或指令的一部分包括一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本发明的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是明显的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进,或者使本技术领域的其他普通技术人员能理解本文披露的各实施例。

Claims (24)

1.一种数据库系统,包括:
处理子系统,其包括接收第一格式化数据的电子硬件控制器;
电子文件格式化子系统,其包括电子硬件控制器,所述电子硬件控制器将对应于第二数据格式的坐标值分配给所述第一格式化数据,并且生成双格式数据文件,所述双格式数据文件将所述第一格式化数据与对应于第二数据格式的所述坐标值融合在一起;以及
存储子系统,其包括经配置以存储所述双格式数据文件的数据存储单元,
其中所述第一格式化数据是向量数据,并且所述第二数据格式是包括对应于地理空间坐标的多个栅格像素的栅格数据格式;以及
其中所述地理空间坐标包括地理空间索引Zn,所述地理空间索引与指示所述栅格数据的所述栅格像素的分辨率dn的分辨率层n相对应,使得在给定分辨率层n处的给定地理空间索引Zn将纬度-经度空间(x,y)中的对应地理空间位置定义为给定分辨率dn的xn<x<xn+dn和yn<y<yn+dn。
2.如权利要求1所述的数据库系统,其特征在于,所述文件格式化子系统被配置成通过执行以下操作来分配所述坐标值:
接收具有向量格式并且包括至少一个向量对象的所述第一格式化数据;
由所述处理子系统将网格系统覆盖在所述第一格式化数据上以定义多个单元,所述网格系统包括被分配给所述网格系统的水平轴的一系列纬度坐标和被分配给所述网格系统的垂直轴的一系列经度坐标,其中纬度和经度坐标的集合定义所述多个单元之中的单元;
标识包含所述至少一个向量对象的至少一部分的所选单元;以及将所述所选单元的纬度和经度坐标的所述集合分配给所述至少一个向量对象。
3.如权利要求2所述的数据库系统,其中:
所述处理子系统确定所述至少一个向量对象的时间戳数据;以及
所述文件格式化子系统将所述时间戳数据存储在所述双格式数据文件中。
4.如权利要求3所述的数据库系统,其特征在于,所选时间戳和所选纬度和经度坐标的集合定义所述多个单元与所述第一格式化数据之间的空间-时间密度关系。
5.一种操作数据库系统的计算机实现的方法,所述计算机实现的方法包括:
在包括电子硬件控制器的处理子系统处接收第一格式化数据;
使用电子文件格式化子系统将对应于第二数据格式的坐标值分配给所述第一格式化数据;
使用所述文件格式化子系统生成双格式数据文件,所述双格式数据文件使所述第一格式化数据与对应于第二数据格式的所述坐标值相关;以及
将所述双格式数据文件存储在数据存储单元中,
其中所述第一格式化数据是向量数据,并且所述第二数据格式是包括对应于地理空间坐标的多个栅格像素的栅格数据格式;以及
其中所述地理空间坐标包括地理空间索引Zn,所述地理空间索引与指示所述栅格数据的所述栅格像素的分辨率dn的分辨率层n相对应,使得在给定分辨率层n处的给定地理空间索引Zn将纬度-经度空间(x,y)中的对应地理空间位置定义为给定分辨率dn的xn<x<xn+dn和yn<y<yn+dn。
6.根据权利要求5所述的计算机实现的方法,其中分配所述坐标值包括:
接收具有向量格式并且包括至少一个向量对象的所述第一格式化数据;
使用包括电子硬件控制器的处理子系统将网格系统覆盖在所述第一格式化数据上以定义多个单元,所述网格系统包括被分配给所述网格系统的水平轴的一系列纬度坐标和被分配给所述网格系统的垂直轴的一系列经度坐标,其中纬度和经度坐标的集合定义所述多个单元中的单元;
使用包括电子硬件控制器的所述处理子系统来标识包含所述至少一个向量对象的至少一部分的所选单元;以及
使用文件格式化子系统将所述所选单元的纬度和经度坐标的所述集合分配给所述至少一个向量对象。
7.根据权利要求6所述的计算机实现的方法,还包括:
经由所述处理子系统确定所述至少一个向量对象的时间戳数据;以及
将所述时间戳数据存储在所述双格式数据文件中。
8.根据权利要求7所述的计算机实现的方法,还包括基于所选时间戳和所选纬度和经度坐标的集合来定义所述多个单元与所述第一格式化数据之间的空间-时间密度关系。
9.一种操作数据库系统以生成查询结果的计算机实现的方法,所述方法包括:
经由包括电子硬件控制器的文件格式化子系统将对应于第一数据格式的坐标值分配给具有第二数据格式的初始数据集中所包括的数据对象,所述第一数据格式是栅格数据格式,所述第二数据格式是向量数据,所述第二数据格式不同于所述第一数据格式;
使用所述文件格式化子系统生成双格式数据文件,所述双格式数据文件使具有所述第二数据格式的所述数据对象与对应于所述第一数据格式的所述坐标值相关以生成双格式数据文件;
将所述双格式数据文件存储在数据存储单元中;
接收对被包括在所述初始数据集中的至少一个数据对象的查询,所述至少一个数据对象具有所述第二数据格式;
从被存储在所述数据存储单元中的多个双数据文件中标识包括具有所述第二数据格式的所述至少一个数据对象的至少一个双格式数据文件;以及
基于被存储在所述至少一个双格式数据文件中的对应的所述坐标值来输出所述至少一个数据对象。
10.根据权利要求9所述的计算机实现的方法,其中所述第一数据格式是栅格数据格式,并且所述第二数据格式是向量数据格式。
11.如权利要求10所述的计算机实现的方法,其中所述至少一个数据对象是从包括点、线和边界形状的组中选择的向量对象。
12.根据权利要求11所述的计算机实现的方法,其中所述坐标值包括纬度和经度坐标的集合,纬度和经度坐标的所述集合将所述初始数据集索引到定义多个栅格单元的栅格网格系统。
13.根据权利要求12所述的计算机实现的方法,其中响应于所述查询,所选择的纬度和经度坐标的集合被确定,以标识包含所述至少一个数据对象的所选择的栅格单元。
14.一种操作数据库系统以生成查询结果的计算机实现的方法,所述方法包括:
使用包括电子硬件控制器的处理子系统将多个栅格网格单元覆盖在初始向量数据集上,每个栅格网格单元具有分配给其的网格坐标集合;
经由以电子硬件控制器实现的文件格式化子系统生成融合数据文件,所述融合数据文件包括对应于覆盖所述向量数据集中所包括的向量对象的至少一个栅格网格单元的所选栅格坐标集合及标识所述向量对象的对象标识信息两者;
接收对被包括在向量数据集中的至少一个目标向量对象的查询;
经由包括电子硬件控制器的处理子系统执行图像识别操作,所述图像识别操作基于所述目标向量对象来确定参考向量对象,并且基于所述参考向量对象与所述多个网格单元之间的比较来确定对应于所述向量对象的至少一个网格坐标集合;以及
从存储所选择的所述网格坐标集合的所述融合数据文件输出所述对象标识信息。
15.如权利要求14所述的计算机实现的方法,其中所述向量对象包括从包括点、线和边界形状的组中选择的对象。
16.根据权利要求15所述的计算机实现的方法,其中所述对象标识信息包括选自包括房屋、建筑物、河流、街道、湖泊及地块的组的属性。
17.根据权利要求16所述的计算机实现的方法,其中所述坐标包括将所述初始向量数据集索引到所述网格单元的纬度和经度坐标的集合。
18.根据权利要求17所述的计算机实现的方法,其中所述图像识别操作还包括:
确定具有由至少一个网格单元定义的栅格形状的栅格对象;
比较所述栅格形状与由所述参考向量对象定义的向量形状;以及
当所述栅格形状匹配所述向量形状时,确定所述至少一个网格坐标集合。
19.一种操作数据库系统以生成查询结果的计算机实现的方法,所述方法包括:
经由包括电子硬件控制器的处理子系统生成包括多个网格单元的网格系统,并且将所述网格单元覆盖在具有第一数据格式的初始数据集上,每个网格单元表示具有第二数据格式并且具有分配给其的网格坐标集的数据;
经由包括电子硬件控制器的文件格式化子系统将对应于所述第二数据格式的坐标值分配给被包括在具有所述第一数据格式的初始数据集中的数据对象;
在双格式数据文件中存储具有所述第一数据格式的所选数据对象的标识信息,所述标识信息具有对应于覆盖所述所选数据对象的所选网格单元的所选坐标集合;
接收对具有第二数据格式的至少一个目标数据对象的查询,并且基于所述查询生成具有所述第一数据格式的参考数据对象;以及
基于所述参考数据对象与所述多个网格单元之间的比较而输出具有所述第二数据格式的所述至少一个目标数据对象。
20.根据权利要求19所述的计算机实现的方法,其中所述第一数据格式是向量数据格式,并且所述第二数据格式是栅格数据格式。
21.根据权利要求20所述的计算机实现的方法,其中所述参考数据对象由参考网格坐标的至少一个集合定义,并且经由所述处理子系统输出所述多个网格单元之中的对应于所述参考网格坐标的单独网格单元。
22.根据权利要求21所述的计算机实现的方法,其中参考网格单元的所述至少一个集合定义边界形状,并且所述处理子系统输出所述边界形状内所包含的所述单独网格单元。
23.根据权利要求21或22所述的计算机实现的方法,其中所述单独网格单元表示从包括以下各项的组中选择的栅格数据:人口普查数据、天气数据、温度数据、土壤数据、地形数据、土壤数据和能谱数据。
24.一种用于操作数据库系统的计算机可读存储介质,其能够由处理电路读取并且存储指令,所述指令用于由所述处理电路执行用于执行根据权利要求5至23中任一项所述的方法。
CN201880052272.2A 2017-08-18 2018-08-15 可缩放的空间-时间密度数据融合 Active CN111052105B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US15/680,850 2017-08-18
US15/680,850 US11204896B2 (en) 2017-08-18 2017-08-18 Scalable space-time density data fusion
US15/816,357 2017-11-17
US15/816,357 US11210268B2 (en) 2017-08-18 2017-11-17 Scalable space-time density data fusion
PCT/IB2018/056117 WO2019034999A2 (en) 2017-08-18 2018-08-15 SPEEDABLE SPATIAL-TEMPORAL DENSITY DATA FUSION

Publications (2)

Publication Number Publication Date
CN111052105A CN111052105A (zh) 2020-04-21
CN111052105B true CN111052105B (zh) 2023-09-01

Family

ID=65361217

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880052272.2A Active CN111052105B (zh) 2017-08-18 2018-08-15 可缩放的空间-时间密度数据融合

Country Status (6)

Country Link
US (2) US11204896B2 (zh)
JP (1) JP7300797B2 (zh)
CN (1) CN111052105B (zh)
DE (1) DE112018004214T5 (zh)
GB (1) GB2579331A (zh)
WO (1) WO2019034999A2 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11204896B2 (en) 2017-08-18 2021-12-21 International Business Machines Corporation Scalable space-time density data fusion
US10762250B2 (en) * 2018-01-08 2020-09-01 Nuvolo Technologies Corporation Interpreter framework for a computer file
US11360970B2 (en) 2018-11-13 2022-06-14 International Business Machines Corporation Efficient querying using overview layers of geospatial-temporal data in a data analytics platform
CN112015929A (zh) * 2019-05-30 2020-12-01 阿里巴巴集团控股有限公司 栅格数据访问方法、装置、电子设备及计算机存储介质
US11783436B2 (en) * 2019-06-04 2023-10-10 Visa International Service Association Magellan: a context-aware itinerary recommendation system built only using card-transaction data
US11594004B2 (en) * 2019-12-26 2023-02-28 International Business Machines Corporation Distributed vector-raster fusion
CN111274454B (zh) * 2020-01-14 2023-03-21 北京明略软件系统有限公司 时空数据的处理方法、装置、电子设备和存储介质
US11798146B2 (en) * 2020-08-06 2023-10-24 Apple Inc. Image fusion architecture
US11775545B1 (en) * 2020-09-23 2023-10-03 Amazon Technologies, Inc. Cloud-based database for spatial data lifecycle management
CN113886402B (zh) * 2021-12-08 2022-03-15 成都飞机工业(集团)有限责任公司 一种基于分支的航空线束信息集成方法及可读存储介质
CN115510337B (zh) * 2022-09-14 2023-05-09 广西壮族自治区自然资源遥感院 一种三维立体注记调度显示的方法
CN117033366B (zh) * 2023-10-09 2023-12-29 航天宏图信息技术股份有限公司 基于知识图谱的泛在时空数据交叉验证方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5487139A (en) * 1991-09-10 1996-01-23 Niagara Mohawk Power Corporation Method and system for generating a raster display having expandable graphic representations
CN102368272A (zh) * 2011-11-15 2012-03-07 中国科学院地理科学与资源研究所 一种数据库系统实现栅格数据类型的方法及其系统
CN103678442A (zh) * 2012-08-30 2014-03-26 国际商业机器公司 基于用户数据访问模式的数据库表格式转换的方法和系统

Family Cites Families (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06230767A (ja) 1993-01-29 1994-08-19 Hitachi Ltd 情報表示方法
US5761328A (en) * 1995-05-22 1998-06-02 Solberg Creations, Inc. Computer automated system and method for converting source-documents bearing alphanumeric text relating to survey measurements
JP3203379B2 (ja) * 1996-12-09 2001-08-27 松下電器産業株式会社 地図データ
JPH11258976A (ja) 1998-03-13 1999-09-24 Matsushita Electric Ind Co Ltd ラスタ形式地図の格納方法
US6396492B1 (en) 1999-08-06 2002-05-28 Mitsubishi Electric Research Laboratories, Inc Detail-directed hierarchical distance fields
US7426455B1 (en) 1999-09-13 2008-09-16 Science Applications International Corporation Optimal boolean set operation generation among polygon-represented regions
US6674445B1 (en) 1999-10-12 2004-01-06 Autodesk, Inc. Generalized, differentially encoded, indexed raster vector data and schema for maps on a personal digital assistant
JP4093296B2 (ja) 2001-11-19 2008-06-04 財団法人新産業創造研究機構 空間情報データ構造に時間要素を付加した時空間情報システムとそのプログラム
US9280748B2 (en) 2012-06-22 2016-03-08 Knowm Tech, Llc Methods and systems for Anti-Hebbian and Hebbian (AHaH) feature extraction of surface manifolds using
US7107285B2 (en) 2002-03-16 2006-09-12 Questerra Corporation Method, system, and program for an improved enterprise spatial system
JP3961432B2 (ja) * 2003-02-04 2007-08-22 日立ソフトウエアエンジニアリング株式会社 画像処理プログラム
US7254271B2 (en) 2003-03-05 2007-08-07 Seadragon Software, Inc. Method for encoding and serving geospatial or other vector data as images
US7133054B2 (en) 2004-03-17 2006-11-07 Seadragon Software, Inc. Methods and apparatus for navigating an image
US7352892B2 (en) 2003-03-20 2008-04-01 Micron Technology, Inc. System and method for shape reconstruction from optical images
US7966301B2 (en) 2003-05-09 2011-06-21 Planeteye Company Ulc System and method for employing a grid index for location and precision encoding
CA2436312C (en) 2003-08-01 2011-04-05 Perry Peterson Close-packed, uniformly adjacent, multiresolutional, overlapping spatial data ordering
US20050234991A1 (en) * 2003-11-07 2005-10-20 Marx Peter S Automated location indexing by natural language correlation
US8675995B2 (en) 2004-07-09 2014-03-18 Terrago Technologies, Inc. Precisely locating features on geospatial imagery
JP4589159B2 (ja) 2005-03-22 2010-12-01 三菱電機インフォメーションシステムズ株式会社 ラスタ地図検索装置
US20060271281A1 (en) 2005-05-20 2006-11-30 Myron Ahn Geographic information knowledge systems
US7535473B2 (en) 2005-09-20 2009-05-19 Erdas, Inc. Collaborative environments in a graphical information system
US20070226314A1 (en) 2006-03-22 2007-09-27 Sss Research Inc. Server-based systems and methods for enabling interactive, collabortive thin- and no-client image-based applications
US20070253642A1 (en) * 2006-04-27 2007-11-01 Mapinfo Corporation Method and apparatus for indexing, storing and retrieving raster (GRID) data in a combined raster vector system
US7965902B1 (en) 2006-05-19 2011-06-21 Google Inc. Large-scale image processing using mass parallelization techniques
US20080046184A1 (en) 2006-08-16 2008-02-21 Zachary Bortolot Method for estimating forest inventory
US20090022359A1 (en) 2007-07-19 2009-01-22 University Of Delaware Vegetation index image generation methods and systems
US8099264B2 (en) 2007-09-28 2012-01-17 Harris Corporation Geospatial modeling system providing inpainting and error calculation features and related methods
JP2011511358A (ja) 2008-02-01 2011-04-07 ヒューレット−パッカード デベロップメント カンパニー エル.ピー. 自動赤目検出
US9235334B2 (en) 2008-05-09 2016-01-12 Genesis Industries, Llc Managing landbases and machine operations performed thereon
CN102027468B (zh) 2008-05-16 2014-04-23 上海惠普有限公司 提供用于检索的地理图像
US9442960B2 (en) 2008-05-16 2016-09-13 Lawrence Livermore National Security, Llc High performance data layout and processing
US8175332B2 (en) 2008-05-22 2012-05-08 International Business Machines Corporation Upper troposphere and lower stratosphere wind direction, speed, and turbidity monitoring using digital imaging and motion tracking
US8179393B2 (en) 2009-02-13 2012-05-15 Harris Corporation Fusion of a 2D electro-optical image and 3D point cloud data for scene interpretation and registration performance assessment
JP5467829B2 (ja) * 2009-09-18 2014-04-09 株式会社日立ソリューションズ 空中写真検索システム
US20110128288A1 (en) 2009-12-02 2011-06-02 David Petrou Region of Interest Selector for Visual Queries
US8176053B2 (en) 2010-02-17 2012-05-08 Lockheed Martin Corporation Query system for a hybrid voxel and feature database
US9025810B1 (en) 2010-04-05 2015-05-05 Google Inc. Interactive geo-referenced source imagery viewing system and method
US8504393B2 (en) * 2010-09-10 2013-08-06 State Farm Mutual Automobile Insurance Company Systems and methods for grid-based insurance rating
US9082188B2 (en) 2011-04-11 2015-07-14 Hid Global Corporation Optical topographic imaging
US8605998B2 (en) 2011-05-06 2013-12-10 Toyota Motor Engineering & Manufacturing North America, Inc. Real-time 3D point cloud obstacle discriminator apparatus and associated methodology for training a classifier via bootstrapping
US8582808B2 (en) 2011-06-16 2013-11-12 CSC Holdings, LLC Methods for identifying rooftops using elevation data sets
US9046363B2 (en) 2012-04-27 2015-06-02 SATOP GmbH Using multispectral satellite data to determine littoral water depths despite varying water turbidity
US9734220B2 (en) 2012-12-04 2017-08-15 Planet Os Inc. Spatio-temporal data processing systems and methods
US9436784B2 (en) 2013-02-08 2016-09-06 University Of Alaska Fairbanks Validating and calibrating a forecast model
US9710882B2 (en) * 2013-06-25 2017-07-18 Iteris Inc. Data overlay for animated map weather display and method of rapidly loading animated raster data
US20150317511A1 (en) 2013-11-07 2015-11-05 Orbeus, Inc. System, method and apparatus for performing facial recognition
US8761457B1 (en) 2013-11-27 2014-06-24 Google Inc. Aligning ground based images and aerial imagery
US20150371420A1 (en) 2014-06-19 2015-12-24 Samsung Electronics Co., Ltd. Systems and methods for extending a field of view of medical images
US20160379388A1 (en) 2014-07-16 2016-12-29 Digitalglobe, Inc. System and method for combining geographical and economic data extracted from satellite imagery for use in predictive modeling
US9418290B2 (en) 2014-12-12 2016-08-16 Omniearth, Inc. System and method for managing water
CA2892885C (en) 2015-02-20 2020-07-28 Tetra Tech, Inc. 3d track assessment system and method
US10685408B2 (en) 2015-03-27 2020-06-16 Omniearth, Inc. System and method for predicting crop yield
US20160299910A1 (en) 2015-04-09 2016-10-13 Umm Al-Qura University Method and system for querying and visualizing satellite data
US9842282B2 (en) 2015-05-22 2017-12-12 Here Global B.V. Method and apparatus for classifying objects and clutter removal of some three-dimensional images of the objects in a presentation
US10372705B2 (en) 2015-07-07 2019-08-06 International Business Machines Corporation Parallel querying of adjustable resolution geospatial database
SG10201506012SA (en) 2015-07-31 2017-02-27 Accenture Global Services Ltd Inventory, growth, and risk prediction using image processing
CN105787457A (zh) 2016-03-08 2016-07-20 浙江工商大学 一种modis卫星集成dem提高植被分类遥感精度的估算方法
DK3223191T3 (da) 2016-03-23 2021-08-16 Leica Geosystems Ag Skabelse af en 3d-bymodel ud fra skrå billeddannelses- og lidardata
US20170323028A1 (en) 2016-05-04 2017-11-09 Uncharted Software Inc. System and method for large scale information processing using data visualization for multi-scale communities
US10445877B2 (en) 2016-12-30 2019-10-15 International Business Machines Corporation Method and system for crop recognition and boundary delineation
US20180217233A1 (en) 2017-01-31 2018-08-02 Toyota Research Institute, Inc. Systems and methods for estimating objects using deep learning
US10410091B2 (en) 2017-08-10 2019-09-10 International Business Machines Corporation Detecting artifacts based on digital signatures
US11204896B2 (en) 2017-08-18 2021-12-21 International Business Machines Corporation Scalable space-time density data fusion
WO2019115873A1 (en) 2017-12-12 2019-06-20 Oy Arbonaut Ltd. A method to quantify fire risk to structures
CN108681715A (zh) 2018-05-18 2018-10-19 三亚中科遥感研究所 海南热带天然林植被型组分类方法
US10839264B2 (en) 2018-11-09 2020-11-17 International Business Machines Corporation Scalable feature classification for laser scanning data and digital elevation models
US11360970B2 (en) 2018-11-13 2022-06-14 International Business Machines Corporation Efficient querying using overview layers of geospatial-temporal data in a data analytics platform

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5487139A (en) * 1991-09-10 1996-01-23 Niagara Mohawk Power Corporation Method and system for generating a raster display having expandable graphic representations
CN102368272A (zh) * 2011-11-15 2012-03-07 中国科学院地理科学与资源研究所 一种数据库系统实现栅格数据类型的方法及其系统
CN103678442A (zh) * 2012-08-30 2014-03-26 国际商业机器公司 基于用户数据访问模式的数据库表格式转换的方法和系统

Also Published As

Publication number Publication date
GB202003659D0 (en) 2020-04-29
DE112018004214T5 (de) 2020-04-30
WO2019034999A3 (en) 2019-06-27
US11210268B2 (en) 2021-12-28
US11204896B2 (en) 2021-12-21
US20190057110A1 (en) 2019-02-21
JP7300797B2 (ja) 2023-06-30
US20190057109A1 (en) 2019-02-21
CN111052105A (zh) 2020-04-21
GB2579331A (en) 2020-06-17
WO2019034999A2 (en) 2019-02-21
JP2020531970A (ja) 2020-11-05

Similar Documents

Publication Publication Date Title
CN111052105B (zh) 可缩放的空间-时间密度数据融合
Ujjwal et al. Cloud Computing in natural hazard modeling systems: Current research trends and future directions
Wang et al. pipsCloud: High performance cloud computing for remote sensing big data management and processing
US10372705B2 (en) Parallel querying of adjustable resolution geospatial database
Li et al. A general-purpose framework for parallel processing of large-scale LiDAR data
Hongchao et al. Distributed data organization and parallel data retrieval methods for huge laser scanner point clouds
US10558665B2 (en) Network common data form data management
Karmas et al. Geospatial big data for environmental and agricultural applications
Zou et al. MapReduce functions to remote sensing distributed data processing—Global vegetation drought monitoring as example
Olasz et al. A new initiative for tiling, stitching and processing geospatial big data in distributed computing environments
Xu et al. Cloud-based storage and computing for remote sensing big data: a technical review
Karimi et al. Exploring Real‐Time Geoprocessing in Cloud Computing: Navigation Services Case Study
Jhummarwala et al. Parallel and distributed GIS for processing geo-data: an overview
Gao et al. A multi-source spatio-temporal data cube for large-scale geospatial analysis
Alves Peixoto et al. A framework for parallel map-matching at scale using Spark
CN104301354B (zh) 一种基于云计算的空间类业务数据gis化服务的实现方法和系统
US20220156291A1 (en) Geospatial data analytics and visualization platform
Xu et al. Spatial-feature data cube for spatiotemporal remote sensing data processing and analysis
Yan et al. An improved coverage-oriented retrieval algorithm for large-area remote sensing data
Tripathi et al. A comparative analysis of conventional hadoop with proposed cloud enabled hadoop framework for spatial big data processing
US10169083B1 (en) Scalable method for optimizing information pathway
Zhizhin et al. Transparent data cube for spatiotemporal data mining and visualization
Zhou et al. Information intelligent management system based on Hadoop
US20230376651A1 (en) Generating weather simulations based on significant events
Olasz et al. Development of a new framework for Distributed Processing of Geospatial Big Data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant