CN109299060A - 基于影像矩形分块的分布式文件方法及系统 - Google Patents
基于影像矩形分块的分布式文件方法及系统 Download PDFInfo
- Publication number
- CN109299060A CN109299060A CN201811400992.1A CN201811400992A CN109299060A CN 109299060 A CN109299060 A CN 109299060A CN 201811400992 A CN201811400992 A CN 201811400992A CN 109299060 A CN109299060 A CN 109299060A
- Authority
- CN
- China
- Prior art keywords
- image
- data
- image block
- block
- remote sensing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000005192 partition Methods 0.000 claims abstract description 33
- 238000003860 storage Methods 0.000 claims abstract description 29
- 230000000903 blocking effect Effects 0.000 claims abstract description 9
- 238000012545 processing Methods 0.000 abstract description 24
- 230000008447 perception Effects 0.000 abstract description 2
- 238000000638 solvent extraction Methods 0.000 abstract description 2
- 238000010276 construction Methods 0.000 abstract 1
- 238000004422 calculation algorithm Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 5
- 238000013500 data storage Methods 0.000 description 4
- 230000007547 defect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 238000005498 polishing Methods 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 241001269238 Data Species 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000012952 Resampling Methods 0.000 description 2
- 238000000151 deposition Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 229910002056 binary alloy Inorganic materials 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 238000012559 user support system Methods 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种基于影像矩形分块的分布式文件方法及系统，包括几何矩形分块步骤：对遥感影像采用几何矩形方式进行分块，形成多个影像分块，并为每个影像分块进行坐标标识及构建索引；数据索引步骤：对每个影像分块的索引信息进行存储；数据访问步骤：根据所述索引信息对影像分块进行数据访问；语义合并步骤：根据索引信息实现影像分块的合并，形成完整的遥感影像数据。本发明通过自定义分布式文件系统的分块策略，实现了几何矩形分块的遥感影像存储，支持用户或者影像处理任务对数据分块的直接访问和处理；本发明解决分布式文件系统的数据分块的语义问题，为用户提供数据分块位置感知接口以及直接访问数据分块的访问接口。
Description
技术领域
本发明涉及分布式文件系统、遥感影像处理领域，具体地，涉及一种基于影像矩形分块的分布式文件方法及系统。
背景技术
在传统的分布式文件系统中，原始数据是依据数据块大小进行二进制的数据切分，每个数据分块均是大小一致的二进制数据(最后一个分块可能小于其他分块大小)，然后根据一定的存储策略(如容错、网络距离等)分散存储到不同机柜的不同节点中，并形成统一的目录元数据信息，用户基于目录元数据信息进行数据的定位、访问，数据块对用户是透明的。在一些数据密集型和计算密集型混合的任务处理过程中，如高分辨率遥感影像处理，需要反复读写影像，会产生大量的中间文件，如果每次影像读写都需要将影像进行分块、合并，这样势必会导致遥感影像分布式文件系统产生大量的“数据搬移”问题，极易产生网络风暴，造成网络堵塞，从而影响整个遥感影像处理的效率。在遥感影像分布式计算过程中，如何减少“数据搬移”、降低网络压力、充分发挥数据本地化计算的优势，是提高任务处理效率的关键因素。
专利号为CN201510843052的一项发明专利公开了一种基于云平台的地理信息存储系统，采用Hadoop作为基本平台，采用MapReduce和Hadoop分布式文件系统(HDFS)构建地理信息系统。使用MapReduce编程模型并行化解决图像处理问题，同时采用HDFS对图像进行跨多台计算机的数据存储的地理信息存储平台。其中，本发明使用GDAL库对图像进行操作，实现了两种基于HDFS的分布式分块方式：固定分块数分割和固定块大小分割。本发明采用重采样处理方法，即将高分辨率遥感影像中处理得到低分辨率影像。实验将对图像进行不同比例的重采样缩放，且线性拉伸为8位图。但是该发明的缺陷在于：(1)HDFS中NameNode的元数据信息增加，增大了NameNode的内存压力：该发明使用HDFS进行存储N份小图像的时候，在NameNode内存中存储的元数据信息由1份变成N份。而当对较大的遥感影像进行存储的时候，分割的小图像数量较多，则对NameNode的内存将产生较大压力；(2)分割后的图像无法保证独立存储于单个DataNode节点：该发明在将小图像存储到HDFS的时候，仍然需要遵循HDFS的分块及存储原则，即依据设定的数据分块大小BlockSize(例如64M、128M)进行数据存储，当小图像的大小超过了BlockSize的时候，将被分块为若干数据块分别存储在不同的数据节点中。而在对遥感影像进行并行处理的时候，HDFS需要将各个数据块进行合并操作，当遥感影像处理过程较为复杂的时候，将会反复进行数据的分块与合并操作，则会给分布式文件系统带来网络风暴的风险，从而堵塞网络，降低文件访问的效率。
专利号为CN201610893597的一项发明专利公开了一种适用于分布式计算环境的大型遥感影像重构方法，该发明提供了从待上传至HDFS的文件中过滤出需要预处理的大型影像文件；将过滤得到的影像文件通过计算以一定的重叠度裁剪为多个影像切片；对影像切片添加描述信息及尾部空白补齐；合并包含影像切片的文件块，并在尾部追加文件整体描述信息；影像处理过程中从文件块中提取影像切片的方法以及将重构后的文件恢复为原影像文件的方法。但是该发明的缺陷为：(1)影像存储与访问过程中的时间复杂度增加，降低影像存储与访问的效率：该发明在影像存储过程中，需要将原始影像拆分为若干小影像(时间复杂度n)，经过将小影像补齐之后，再合并为新的数据文件(该数据文件已经不具有影像语义了)，再存储HDFS中，由HDFS再次进行数据分块后存储到各个数据节点DataNode中(时间复杂度n)，所以影像存储的整个过程的时间复杂度由n增加为2n，降低影像存储的效率；反之亦然，影像访问的整个过程的时间复杂度也由n增加为2n，降低影像访问的效率。(2)增加影像数据存储的实际存储空间，造成存储空间和存储成本的浪费：该发明在影像存储过程中，需要将分割后的小影像依据HDFS的BlockSize进行空间补齐，而空间补齐的均是无效数据，在影像实际存储的时候，这些无效数据需要占据存储空间，而且HDFS一般采用多副本策略，也为这些无效数据存储了多个副本，更是浪费了大量的存储空间。
专利号为CN201611248310的一项发明专利公开了一种基于分布式存储和分布式计算的影像地图服务发布方法，本发明公开了基于分布式存储和分布式计算的影像地图服务发布方法。该方法包括如下步骤：输出影像金字塔层级范围并进行分层，再对每个层级进行逻辑分块，每个分块对应一个地图处理任务；mapper函数根据分块的范围读取影像的数据，然后输出每个瓦片的内容到数据库中进行存储，并将瓦片的文件信息输出到reduce函数；reduce函数汇总所有瓦片的文件信息并入库到数据库中；生成影像的地图服务配置文件conf.xml与conf.cdi；修改的配置文件，添加新增加的图层信息；重载配置文件，发布入库的影像地图服务。该方法可直接更新或增加新的瓦片内容；提高影像切片的速度，节省存储瓦片的存储空间；可直接为每张瓦片添加水印信息。但是本发明的缺陷包括(1)HDFS中NameNode的元数据信息增加，增大了NameNode的内存压力：该发明是通过修改gdal原生代码，在hdfs文件系统上进行读写，进行影像分块、分层级并行切片以及相同瓦片的合并来实现的，在NameNode内存中存储的元数据信息由1份变成N份，而当对较大的遥感影像进行存储的时候，分割的小图像数量较多，则对NameNode的内存将产生较大压力；(2)分割后的影像无法保证独立存储于单个DataNode节点：该发明使用gdal进行影像拆分后存储到HDFS中，仍然需要遵循HDFS的分块及存储原则，即依据设定的数据分块大小BlockSize(例如64M、128M)进行数据存储，当小影像的大小超过了BlockSize的时候，将被分块为若干数据块分别存储在不同的数据节点中。而在对遥感影像进行并行处理的时候，HDFS需要将各个数据块进行合并操作，当遥感影像处理过程较为复杂的时候，将会反复进行数据的分块与合并操作，则会给分布式文件系统带来网络风暴的风险，从而堵塞网络，降低文件访问的效率。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种基于影像矩形分块的分布式文件方法及系统。
根据本发明提供的一种基于影像矩形分块的分布式文件方法，包括如下步骤：
几何矩形分块步骤：对遥感影像采用几何矩形方式进行分块，形成多个影像分块，并为每个影像分块进行坐标标识及构建索引；
数据索引步骤：对每个影像分块的索引信息进行存储；
数据访问步骤：根据所述索引信息对影像分块进行数据访问；
语义合并步骤：根据索引信息实现影像分块的合并，形成完整的遥感影像数据。
优选地，几何矩形分块步骤包括：
假设a为影像分块的水平长度，b为影像分块的垂直长度，IndexX、IndexY分别为影像分块的坐标编号，则在不考虑冗余存储的情况下，影像分块的矩形左上角起始点坐标为(X，Y)＝(a*IndexX，b*IndexY)；
假设△a为水平冗余像素，△b为垂直冗余像素，则(X，Y)＝(a*IndexX-△a*IndexX，b*IndexY-△b*IndexY)。
优选地，所述索引信息包括影像分块的索引ID、二维坐标或者分块像素。
优选地，所述数据访问步骤包括：
进行数据访问时，通过标准POSIX接口进行数据访问。
优选地，影像分块的数据包括元数据信息和像元数据。
根据本发明提供的一种基于影像矩形分块的分布式文件系统，包括如下模块：
几何矩形分块模块：用于对遥感影像采用几何矩形方式进行分块，形成多个影像分块，并为每个影像分块进行坐标标识及构建索引；
数据索引模块：用于对每个影像分块的索引信息进行存储；
数据访问模块：用于根据所述索引信息对影像分块进行数据访问；
语义合并模块：用于根据索引信息实现影像分块的合并，形成完整的遥感影像数据。
优选地，几何矩形分块模块包括：
假设a为影像分块的水平长度，b为影像分块的垂直长度，IndexX、IndexY分别为影像分块的坐标编号，则在不考虑冗余存储的情况下，影像分块的矩形左上角起始点坐标为(X，Y)＝(a*IndexX，b*IndexY)；
假设△a为水平冗余像素，△b为垂直冗余像素，则(X，Y)＝(a*IndexX-△a*IndexX，b*IndexY-△b*IndexY)。
优选地，所述索引信息包括影像分块的索引ID、二维坐标或者分块像素。
优选地，所述数据访问模块包括：
进行数据访问时，通过标准POSIX接口进行数据访问。
优选地，影像分块的数据包括元数据信息和像元数据。
与现有技术相比，本发明具有如下的有益效果：
(1)本发明通过自定义分布式文件系统的分块策略，实现了几何矩形分块的遥感影像存储，支持用户或者影像处理任务对数据分块的直接访问和处理，避免了在单幅影像过大的情况下加载整幅的资源开销过大的问题；
(2)本发明解决分布式文件系统的数据分块的语义问题，为用户提供数据分块位置感知接口以及直接访问数据分块的访问接口，为以数据为中心的遥感影像的分布式并行计算提供支撑，基于影像处理的“存算一体”模型，将处理任务、处理算法发送到数据分块所在的节点，最大程度的实现数据的本地化处理，提高整幅影像的处理效率。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明的遥感影像矩形分块示意图；
图2为本发明的影像数据分块元数据重建示意图；
图3为本发明的影像数据分布式存储示意图；
图4为本发明的存算一体的影像分布式并行计算示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
如图1至图4所示，本发明提供了一种基于影像矩形分块的分布式文件方法和系统，本发明结合遥感影像的矩形分块策略(如图1所示)和分布式文件系统的数据分块方式(如图2所示)，形成遥感影像数据在分布式文件系统中的分块和存储模式，包含完整元数据信息的原始遥感影像数据经过语义分块之后，生成大小不等的分块数据，每个影像分块数据分别包含了该分块数据的元数据信息及像元数据，能够作为普通遥感影像独立存在，且能够被用户或者影像处理算法识别及处理。用户在导入导出数据的时候可以根据应用需求选择遥感影像语义分块策略(如图3所示)，并且可以设置语义分块的相关分块策略，然后将遥感影像分块存储到各个存储节点中；当遥感影像处理流程结束之后，将各个节点产生的遥感影像分块的产品数据进行语义合并，形成完整的遥感影像产品数据(如图4所示)。
本发明的基于影像矩形分块的分布式文件系统包括几何矩形分块模块、数据分块索引模块、数据访问POSIX接口模块以及数据分块访问接口模块，其中：
几何矩形分块模块具体为：保持影像波段不变，将整个遥感影像按照水平、垂直方向进行划分，影像被划分为了多个矩形块，每个矩形块的波段均与原始影像保持一致。可以假设影像A的分块集合为Ρ，行数为x，列数为y，分块的水平条带数为m，分块的垂直条带数为n，波段为b，则Ρ(A)＝{A1，A2…An}，每个影像分块Ai的行数为x/m，列数为y/n，则Ai＝Ab,x/m,y/n。若考虑各个矩形块之间的关联关系，则在每个矩形块之间增加部分冗余像素，水平方向增加△x，垂直方向增加△y，则Ai＝Ab,x/m+△x,y/n+△y。
对遥感影像采用几何矩形方式进行分块，考虑到数据划分过程对当前行列在数据收集规整时各子图的无缝连接，在每个影像分块的连接处冗余若干行影像数据，作为冗余图像的存储处理。
为每个影像分块进行坐标标识及构建索引，假设a为影像分块的水平长度，b为影像分块的垂直长度，IndexX、IndexY分别为影像分块的坐标编号，则在不考虑冗余存储的情况下，影像分块的矩形左上角起始点坐标为(X，Y)＝(a*IndexX，b*IndexY)；假设△a为水平冗余像素，△b为垂直冗余像素，则(X，Y)＝(a*IndexX-△a*IndexX，b*IndexY-△b*IndexY)。
在传统的分布式文件系统中，数据分块是对原始数据按照数据大小BlockSize进行二进制划分，只需通过文件指针偏移即可实现数据的切分及合并。但在遥感影像分布式文件系统中，数据分块是基于影像几何矩形方式进行划分的，BlockSize和文件指针偏移无法实现数据分块的查找及访问。
在遥感影像分布式文件系统中，数据分块索引模块主要实现各个数据分块的索引ID、二维坐标、分块像素等属性信息的存储，以及数据分块校验，保证数据分块在分布式存储在各个节点之后能够依据索引信息进行合并，并确保合并之后的遥感影像的完整性。
在遥感影像分布式文件系统中，需要兼容历史的影像处理算法以及MPI并行算法等，所以分布式文件系统也需要兼容这些影像处理算法的数据访问方式，而这些影像处理算法通常采用Posix标准的文件访问方式来访问遥感影像，而传统的分布式文件系统只是提供专有的一些访问接口，未提供诸如CreateFile、ReadFile、WriteFile、CloseFile等标准Posix接口。
遥感影像分布式文件系统采用用户空间文件系统技术，通过用户空间文件系统，将分布式文件系统的专用接口进行重新封装，依据Linux/Windows本地文件系统的管理方式，实现将分布文件系统中的文件与目录的相关操作映射为本地文件系统(Linux中能够映射为Ext3、Ext4等，Windows中能够映射为NTFS、Fat32等)，用户或者影像处理算法能够直接通过Posix接口进行文件与目录的操作。
依据用户空间文件系统的接口及实现方式，将分布式文件系统中的文件管理和访问方式转化为本地文件文件系统的访问模式，其主要思路是在用户空间文件系统相关回调函数中(如CreateFile、GetFileInformation、FindFiles、ReadFile、WriteFile、CloseFile等回调函数)，将所有本地文件系统中资源管理器中文件操作通过分布式文件系统接口转化为对分布式文件系统文件和目录的操作。
在传统的分布式文件系统中，数据分块对用户是透明的，不支持用户支持对数据分块进行访问，也没有提供相应的访问接口。但是在遥感影像分布式并行计算过程中，为了减少分布式计算过程中的“数据搬移”，各个算法需要对影像分块进行数据访问操作。遥感影像分布式文件系统在采用几何矩形分块之后，各个数据分块具备独立遥感影像特征，能够支撑基于数据分块的遥感影像分布式并行计算。
遥感影像分布式文件系统基于统一的目录元数据信息以及分布式文件系统专用接口，实现数据分块专用访问接口，依据数据分块的索引ID即可访问相应的数据分块(包含该数据分块的元数据信息及像元信息)。同时，兼容历史算法的POSIX接口的访问模式，结合数据分块专用访问接口与用户空间文件系统技术，在遥感影像分布式文件系统全局目录中，虚拟数据分块影像，构建遥感影像原始数据和数据分块的统一视图，支持采用posix接口方式直接访问数据分块。虚拟分块文件名称通过“原始影像名称&分块ID”进行标识，避免与其他正常文件发生访问冲突。
本发明提供了更加具体的实施例：使用GDAL构建ImageSemanticBlock、ImageSemanticMerge两个函数，用于实现对高分影像数据的语义分块和语义合并功能；在NameNode、Lib分布式文件系统中，重写Write和Read接口函数，集成ImageSemanticBlock、ImageSemanticMerge函数，改造分布式文件系统的分块和合并的机制，并提供能够独立访问分布式文件系统数据块影像的独立接口IndependentBlockRead、IndependentBlockWrite；在数据文件元数据信息中，需添加每个影像分块位于整个影像中的位置信息，在INodeFile类中增加BlockArea信息和getBlockArea函数；在分布式文件系统写入数据块时，会对所有分块计算校验和，并在读取时验证校验和，需在ChecksumFileSystem类中，增加影像分块元数据校验和变量metaDataChecksum和setMetaDataChecksum函数。
在传统分布式文件系统中，数据分块方式是基于行存储的二进制流方式进行分块，依据文件指针偏移量按照分块大小进行文件划分，数据分块不具备几何特征，与大部分遥感影像处理算法是基于影像几何矩形方式不一致，从而导致数据分块无法直接进行影像处理。
本发明针对遥感影像，采用几何矩形方式进行分块，保证数据分块能够符合影像处理的要求。
在传统分布式文件系统中，数据分块方式是直接将原始数据的进行二进制分块，不考虑原始数据的具体语义，而生成的分块数据与原始数据只存在文件指针偏移和文件大小的关联，因此，即使原始数据存在语义特性，例如遥感影像数据，分块后的数据也会丢失原本的语义特性，仅为一般的二进制文件数据，而不能作为遥感影像被影像处理识别。
本发明针对遥感影像，在采用几何矩形分块之后，对每个矩形影像数据分块的元数据进行重建，保证生成的影像分块仍然具备影像语义特征，例如波段、经纬度等，可以被影像处理算法识别及处理。
本发明提出完整影像与分块影像的统一视图技术，将分布式文件系统中的原始影像，以及存储在各个DataNode中的各个小影像统一视图显示，支持专用接口进行完整影像和分块影像的独立访问，并结合用户空间文件系统技术，支持在Windows\Linux中资源管理器的访问。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。
Claims (10)
1.一种基于影像矩形分块的分布式文件方法，其特征在于，包括如下步骤：
几何矩形分块步骤：对遥感影像采用几何矩形方式进行分块，形成多个影像分块，并为每个影像分块进行坐标标识及构建索引；
数据索引步骤：对每个影像分块的索引信息进行存储；
数据访问步骤：根据所述索引信息对影像分块进行数据访问；
语义合并步骤：根据索引信息实现影像分块的合并，形成完整的遥感影像数据。
2.根据权利要求1所述的基于影像矩形分块的分布式文件方法，其特征在于，几何矩形分块步骤包括：
假设a为影像分块的水平长度，b为影像分块的垂直长度，IndexX、IndexY分别为影像分块的坐标编号，则在不考虑冗余存储的情况下，影像分块的矩形左上角起始点坐标为(X，Y)＝(a*IndexX，b*IndexY)；
假设△a为水平冗余像素，△b为垂直冗余像素，则(X，Y)＝(a*IndexX-△a*IndexX，b*IndexY-△b*IndexY)。
3.根据权利要求1所述的基于影像矩形分块的分布式文件方法，其特征在于，所述索引信息包括影像分块的索引ID、二维坐标或者分块像素。
4.根据权利要求1所述的基于影像矩形分块的分布式文件方法，其特征在于，所述数据访问步骤包括：
进行数据访问时，通过标准POSIX接口进行数据访问。
5.根据权利要求1所述的基于影像矩形分块的分布式文件方法，其特征在于，影像分块的数据包括元数据信息和像元数据。
6.一种基于影像矩形分块的分布式文件系统，其特征在于，包括如下模块：
几何矩形分块模块：用于对遥感影像采用几何矩形方式进行分块，形成多个影像分块，并为每个影像分块进行坐标标识及构建索引；
数据索引模块：用于对每个影像分块的索引信息进行存储；
数据访问模块：用于根据所述索引信息对影像分块进行数据访问；
语义合并模块：用于根据索引信息实现影像分块的合并，形成完整的遥感影像数据。
7.根据权利要求6所述的基于影像矩形分块的分布式文件系统，其特征在于，几何矩形分块模块包括：
假设a为影像分块的水平长度，b为影像分块的垂直长度，IndexX、IndexY分别为影像分块的坐标编号，则在不考虑冗余存储的情况下，影像分块的矩形左上角起始点坐标为(X，Y)＝(a*IndexX，b*IndexY)；
假设△a为水平冗余像素，△b为垂直冗余像素，则(X，Y)＝(a*IndexX-△a*IndexX，b*IndexY-△b*IndexY)。
8.根据权利要求6所述的基于影像矩形分块的分布式文件系统，其特征在于，所述索引信息包括影像分块的索引ID、二维坐标或者分块像素。
9.根据权利要求6所述的基于影像矩形分块的分布式文件系统，其特征在于，所述数据访问模块包括：
进行数据访问时，通过标准POSIX接口进行数据访问。
10.根据权利要求6所述的基于影像矩形分块的分布式文件系统，其特征在于，影像分块的数据包括元数据信息和像元数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811400992.1A CN109299060A (zh) | 2018-11-22 | 2018-11-22 | 基于影像矩形分块的分布式文件方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811400992.1A CN109299060A (zh) | 2018-11-22 | 2018-11-22 | 基于影像矩形分块的分布式文件方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109299060A true CN109299060A (zh) | 2019-02-01 |
Family
ID=65144580
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811400992.1A Pending CN109299060A (zh) | 2018-11-22 | 2018-11-22 | 基于影像矩形分块的分布式文件方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109299060A (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111291016A (zh) * | 2020-02-19 | 2020-06-16 | 江苏易图地理信息科技股份有限公司 | 一种海量遥感影像数据分层混合存储与索引方法 |
| CN111654646A (zh) * | 2020-06-09 | 2020-09-11 | 苏州精濑光电有限公司 | 一种影像合成方法、装置、系统及存储介质 |
| CN112307025A (zh) * | 2020-10-29 | 2021-02-02 | 杭州海康威视数字技术股份有限公司 | 一种分布式索引的构建方法及装置 |
| CN112417199A (zh) * | 2020-12-03 | 2021-02-26 | 深圳前海微众银行股份有限公司 | 遥感影像的检索方法、装置、系统及存储介质 |
| WO2021063308A1 (en) * | 2019-10-03 | 2021-04-08 | Huawei Technologies Co., Ltd. | Coding process for geometric partition mode |
| CN112632303A (zh) * | 2020-12-30 | 2021-04-09 | 北京超图软件股份有限公司 | 一种影像数据的分布式存储方法、分析方法及装置 |
| WO2021104433A1 (en) * | 2019-11-30 | 2021-06-03 | Beijing Bytedance Network Technology Co., Ltd. | Simplified inter prediction with geometric partitioning |
| CN113778341A (zh) * | 2021-09-17 | 2021-12-10 | 北京航天泰坦科技股份有限公司 | 遥感数据分布式存储方法和装置及遥感数据读取方法 |
| CN114003755A (zh) * | 2021-10-25 | 2022-02-01 | 中国自然资源航空物探遥感中心 | 多源卫星分景影像数据组织存储与检索方法、系统及设备 |
| CN116188997A (zh) * | 2023-04-24 | 2023-05-30 | 中铁城际规划建设有限公司 | 一种遥感影像元数据处理方法及系统 |
| US11700378B2 (en) | 2019-12-24 | 2023-07-11 | Beijing Bytedance Network Technology Co., Ltd | High level syntax for inter prediction with geometric partitioning |
| WO2024137155A1 (en) * | 2022-12-21 | 2024-06-27 | Sphere Entertainment Group, Llc | Redundant storage of image data in an image recording system |
| CN118708745A (zh) * | 2024-08-27 | 2024-09-27 | 中国四维测绘技术有限公司 | 一种基于分布式文件系统的遥感影像处理方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6014671A (en) * | 1998-04-14 | 2000-01-11 | International Business Machines Corporation | Interactive retrieval and caching of multi-dimensional data using view elements |
| CN103530381A (zh) * | 2013-10-17 | 2014-01-22 | 宁波工程学院 | 一种面向遥感影像邻域处理的并行优化方法 |
| CN105718481A (zh) * | 2014-12-05 | 2016-06-29 | 星际空间（天津）科技发展有限公司 | 一种海量地形数据组织发布方法 |
| CN108664619A (zh) * | 2018-05-14 | 2018-10-16 | 江西理工大学 | 一种类瓦片技术的海量线划地形图本原存储与调度方法 |
-
2018
- 2018-11-22 CN CN201811400992.1A patent/CN109299060A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6014671A (en) * | 1998-04-14 | 2000-01-11 | International Business Machines Corporation | Interactive retrieval and caching of multi-dimensional data using view elements |
| CN103530381A (zh) * | 2013-10-17 | 2014-01-22 | 宁波工程学院 | 一种面向遥感影像邻域处理的并行优化方法 |
| CN105718481A (zh) * | 2014-12-05 | 2016-06-29 | 星际空间（天津）科技发展有限公司 | 一种海量地形数据组织发布方法 |
| CN108664619A (zh) * | 2018-05-14 | 2018-10-16 | 江西理工大学 | 一种类瓦片技术的海量线划地形图本原存储与调度方法 |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11245900B2 (en) | 2019-10-03 | 2022-02-08 | Huawei Technologies Co., Ltd. | Coding process for geometric partition mode |
| US11936862B2 (en) | 2019-10-03 | 2024-03-19 | Huawei Technologies Co., Ltd. | Coding process for geometric partition mode |
| CN115174906B (zh) * | 2019-10-03 | 2023-04-04 | 华为技术有限公司 | 几何分割模式的译码过程 |
| WO2021063308A1 (en) * | 2019-10-03 | 2021-04-08 | Huawei Technologies Co., Ltd. | Coding process for geometric partition mode |
| CN115174906A (zh) * | 2019-10-03 | 2022-10-11 | 华为技术有限公司 | 几何分割模式的译码过程 |
| US11659180B2 (en) | 2019-11-30 | 2023-05-23 | Beijing Bytedance Network Technology Co., Ltd | Simplified inter prediction with geometric partitioning |
| WO2021104433A1 (en) * | 2019-11-30 | 2021-06-03 | Beijing Bytedance Network Technology Co., Ltd. | Simplified inter prediction with geometric partitioning |
| US11700378B2 (en) | 2019-12-24 | 2023-07-11 | Beijing Bytedance Network Technology Co., Ltd | High level syntax for inter prediction with geometric partitioning |
| CN111291016B (zh) * | 2020-02-19 | 2023-05-26 | 江苏易图地理信息科技股份有限公司 | 一种海量遥感影像数据分层混合存储与索引方法 |
| CN111291016A (zh) * | 2020-02-19 | 2020-06-16 | 江苏易图地理信息科技股份有限公司 | 一种海量遥感影像数据分层混合存储与索引方法 |
| CN111654646A (zh) * | 2020-06-09 | 2020-09-11 | 苏州精濑光电有限公司 | 一种影像合成方法、装置、系统及存储介质 |
| CN112307025A (zh) * | 2020-10-29 | 2021-02-02 | 杭州海康威视数字技术股份有限公司 | 一种分布式索引的构建方法及装置 |
| CN112307025B (zh) * | 2020-10-29 | 2024-06-04 | 杭州海康威视数字技术股份有限公司 | 一种分布式索引的构建方法及装置 |
| CN112417199A (zh) * | 2020-12-03 | 2021-02-26 | 深圳前海微众银行股份有限公司 | 遥感影像的检索方法、装置、系统及存储介质 |
| CN112632303A (zh) * | 2020-12-30 | 2021-04-09 | 北京超图软件股份有限公司 | 一种影像数据的分布式存储方法、分析方法及装置 |
| CN113778341A (zh) * | 2021-09-17 | 2021-12-10 | 北京航天泰坦科技股份有限公司 | 遥感数据分布式存储方法和装置及遥感数据读取方法 |
| CN114003755A (zh) * | 2021-10-25 | 2022-02-01 | 中国自然资源航空物探遥感中心 | 多源卫星分景影像数据组织存储与检索方法、系统及设备 |
| WO2024137155A1 (en) * | 2022-12-21 | 2024-06-27 | Sphere Entertainment Group, Llc | Redundant storage of image data in an image recording system |
| CN116188997A (zh) * | 2023-04-24 | 2023-05-30 | 中铁城际规划建设有限公司 | 一种遥感影像元数据处理方法及系统 |
| CN118708745A (zh) * | 2024-08-27 | 2024-09-27 | 中国四维测绘技术有限公司 | 一种基于分布式文件系统的遥感影像处理方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109299060A (zh) | 基于影像矩形分块的分布式文件方法及系统 | |
| US10789231B2 (en) | Spatial indexing for distributed storage using local indexes | |
| CN104376053B (zh) | 一种基于海量气象数据的存储与检索方法 | |
| US11995336B2 (en) | Bucket views | |
| CN102460439B (zh) | 通过条带式文件系统中的容量平衡进行数据分布 | |
| CN103544045A (zh) | 一种基于hdfs的虚拟机镜像存储系统及其构建方法 | |
| CN109918378B (zh) | 一种基于区块链的遥感数据存储方法和存储系统 | |
| CN103955530B (zh) | 一种在线重复数据删除系统的数据重建优化方法 | |
| CN103812939A (zh) | 一种大数据存储系统 | |
| CN111291016A (zh) | 一种海量遥感影像数据分层混合存储与索引方法 | |
| CN103412962A (zh) | 一种海量瓦片数据的存储方法及读取方法 | |
| CN103995861A (zh) | 一种基于空间关联的分布式数据装置、方法及系统 | |
| CN109635068A (zh) | 云计算环境下的海量遥感数据高效组织及快速检索方法 | |
| US20210055885A1 (en) | Enhanced data access using composite data views | |
| CN102411634B (zh) | 一种提升嵌入式数据库实时性的数据存储方法 | |
| US20120191723A1 (en) | Query system for a hybrid voxel and feature database | |
| CN102982151B (zh) | 多个物理文件合并为一个逻辑文件的方法 | |
| CN105045930B (zh) | 一种栅格数据切片生成的方法及系统 | |
| CN105550977A (zh) | 一种并行方式栅格影像切片方法 | |
| CN106503093B (zh) | 一种适用于分布式计算环境的大型遥感影像重构方法 | |
| CN100424699C (zh) | 一种属性可扩展的对象文件系统 | |
| CN111125392A (zh) | 一种基于矩阵对象存储机制的遥感影像存储、查询方法 | |
| CN102196049A (zh) | 适用于存储云内数据安全迁移的方法 | |
| CN104217023A (zh) | 一种利用打包技术解决地图瓦片存储的方法 | |
| CN115238015A (zh) | 一种基于微服务的时空大数据平台 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190201 |