CN104408202A - 面向关系数据库扩展的自适应影像金字塔切片方法 - Google Patents

面向关系数据库扩展的自适应影像金字塔切片方法 Download PDF

Info

Publication number
CN104408202A
CN104408202A CN201410788404.1A CN201410788404A CN104408202A CN 104408202 A CN104408202 A CN 104408202A CN 201410788404 A CN201410788404 A CN 201410788404A CN 104408202 A CN104408202 A CN 104408202A
Authority
CN
China
Prior art keywords
block size
image
image block
self
client
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410788404.1A
Other languages
English (en)
Other versions
CN104408202B (zh
Inventor
孟令奎
胡正华
张文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN201410788404.1A priority Critical patent/CN104408202B/zh
Publication of CN104408202A publication Critical patent/CN104408202A/zh
Application granted granted Critical
Publication of CN104408202B publication Critical patent/CN104408202B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/284Relational databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Transfer Between Computers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种面向关系数据库扩展的自适应影像金字塔切片方法,本发明针对空间数据管理系统发展现状,综合考虑局域网网络带宽和服务器端数据库存储块大小,并结合局域网客户端硬件情况,提出了自适应影像切片模型,根据自适应影像切片模型自适应的选择影像切片尺寸。本发明可在多种不同的数据库、网络和客户端条件下实现影像数据智能化高效存储与访问,为高效的影像数据管理提供了可行的思路和方法,有助于在C/S架构的网络环境下高效存取和管理基于数据库技术的遥感影像数据。

Description

面向关系数据库扩展的自适应影像金字塔切片方法
技术领域
本发明属于遥感影像数据智能管理技术领域,尤其涉及一种面向关系数据库扩展的自适应影像金字塔切片方法。
背景技术
近年来,随着遥感技术的迅猛发展,遥感影像(包括航空摄影像片、卫星遥感影像、地面摄影像片等)的数据量已经达到了TB级,而且还在呈爆炸式的不断增长;而数据生产部门对大影像数据的管理要求,尤其是对影像数据的存储、传输和维护都提出了越来越高的要求。与此同时,随着大型关系型数据库技术的不断完善,空间数据由文件管理方式转为由关系数据库管理的方式,已经成为目前GIS领域的发展趋势。依赖关系型数据库的处理能力来智能和高效地存储影像数据的需求也愈来愈迫切。许多应用都对数据库进行了不同层次的扩展,使其能够满足更多更大数据的存储需求。为oracle添加新的数据类型是一种比较常见的扩展模式,它通过增加一个变长的二进制数据类型,来存放复杂的大数据对象转换过来的二进制数据流。在此基础上,用户能够根据需求,灵活地定义需要的数据类型和方法来支持特定领域的应用,减少了管理单独、分离的专用系统的成本、复杂性和开销。对关系数据库的扩展使得数据库在管理海量遥感影像数据的实现和效率上都有了长足的推进。面对众多的商业化数据库,如何更高效、快捷、有效和智能地管理,尤其是存取这些海量空间数据,是一个值得研究的问题。
利用关系型数据库存储和管理遥感影像数据,主要借助了其对二进制对象存储(BLOB)的支持,即把影像数据分层分块建立金字塔模型后,将金字塔中每一层的影像块转换成字节数组存入数据库。但是大多数关系数据库管理系统并没有考虑基本参数的选择对数据存取效率的影响,而是选择经验值或是大多数数据管理系统使用的默认参数对影像进行存储和管理。事实上,遥感影像数据分块的大小不仅影响底层数据库的读写效率,也关系到客户端的影像渲染效果,数据的读取和显示速度是关系到系统可视化效率的重要问题。
文中涉及如下参考文献:
[1]Ixora Pty Ltd.Oracle Performance Tuning Tips.Database block size=File systembuffer size[EB/OL].[12-10-2007].http://www.ixora.com.au/tips/buffered_block_size.htm.
[2]Gaja Krishna Vaidyanatha,Kirtikumar Deshpande,John A.Kostelac.OraclePerformance Tuning 101[M].McGraw-Hill Osborne Media,2001.
[3]李学国,沈应兰.基于Oracle 11g表性能优化初探[J].河南科技,2013,(14):2+15.
[4]刘慧杰,面向三维可视化的海量、多版本遥感影像数据库管理关键技术研究[D].郑州:河南理工大学,2011.
[5]张勇,遥感影像数据库原型系统的设计与实现[D].郑州:解放军信息工程大学,2008.
[6]李宗华与彭明军.基于关系数据库技术的遥感影像数据建库研究[J].武汉大学学报(信息科学版),2005,30(02):166-169.
[7]黄杰,刘仁义,刘南,等.海量遥感影像管理与可视化系统的研究与实现[J].浙江大学学报(理学版),2008,35(06):701-706.
[8]LEI Xin,LIU Xiuguo,ZHANG Wei,et al.A Method for Real-time Accessing MassiveRemote Sensing Image Data in Three-dimensional GIS[C]//201018th InternationalConference on Geoinformatics,Geoinformatics 2010.Beijing:IEEE,2010:1-4.
[9]Kokoulin,Andrey.Methods for Large Image Distributed Processing and Storage[C]//IEEE EuroCon 2013.Zagreb,Croatia:IEEE,2013:1606-1610.
[10]谭庆全,毕建涛,池天河.一种灵活高效的遥感影像金字塔构建算法[J].计算机系统应用,2008,(4):124-127.
[11]贠建明.基于GIS的海量多源存档影像数据库系统的研究与实践[D].西安:西安科技大学,2008.
发明内容
本发明的目的在于提供一种同时考虑了数据库存储块大小、局域网网络带宽和客户端硬件条件的面向关系数据库扩展的自适应影像金字塔切片方法,以满足海量遥感影像数据网络化快速存取的需求。
为达到上述目的,本发明提供的面向关系数据库扩展的自适应影像金字塔切片方法,包括步骤:
步骤1,构建自适应影像切片模型BlockSize=A×P(T)+B×W(S)+C×C(N),P(T)、W(S)、C(N)分别为客户端内存、网络带宽、数据库存储块大小对应的最优影像分块尺寸,A、B、C为权重;
步骤2,构建最优影像分块尺寸模型,进一步包括:
2.1构建数据库存储块大小对应的最优影像分块尺寸模型:
求解不等式取满足约束条件下最接近约束值的影像分块尺寸经验值作为大小为N的数据库存储块对应的最佳影像分块尺寸,其中,D、width、height分别为影像的数据量、宽度和高度;
2.2构建网络带宽对应的最优影像分块尺寸模型:
预设数据库存储块大小和客户端内存,采用多种影像分块尺寸经验值分别对影像进行分块,在不同网络带宽下将分块后的影像传输至客户端,将各网络带宽下最优传输速率对应的影像分块尺寸经验值作为预设条件下该网络带宽对应的最优影像分块尺寸;
2.3构建客户端内存对应的最优影像分块尺寸模型:
预设数据存储块大小和网络带宽,采用多种影像分块尺寸经验值分别对影像进行分块,并在不同客户端内存下对分块后影像进行渲染,将各客户端内存下最优渲染效率对应的影像分块尺寸经验值作为预设条件下该客户端内存对应的最优影像分块尺寸;
步骤3,基于自适应影像切片模型获得各局域网环境对应的方程,即,令自适应影像切片模型中BlockSize为某一局域网环境下的影像分块尺寸经验值,令P(T)、W(S)、C(N)分别为该局域网环境下客户端内存、网络带宽、数据库存储块大小对应的最优影像分块尺寸,P(T)、W(S)、C(N)从最优影像分块尺寸模型获得;采用最小二乘原理求解各局域网环境对应的方程构成的不相容方程组,获得权重A、B、C;
步骤4,采用自适应影像切片模型获得当前局域网环境下BlockSize,取最接近BlockSize的影像分块尺寸经验值作为自适应影像分块尺寸,采用自适应影像分块尺寸对影像进行切片。
步骤2.2具体为:
预设数据库存储块大小和客户端内存,采用多种影像分块尺寸经验值分别对影像进行分块;
在不同网络带宽下将分块后影像传输至客户端,采集与传输速率相关的参数作为样本数据;所述的与传输速率相关的参数为传输时间;
逐一分析各网络带宽下的样本数据,将最优传输速率对应的影像分块尺寸经验值作为预设数据库存储块大小和客户端内存下该网络带宽对应的最优影像分块尺寸。
步骤2.3具体为:
预设数据存储块大小和网络带宽,采用多种影像分块尺寸经验值分别对影像进行分块;
将分块后的影像传输至客户端,在不同客户端内存下对影像同一区域进行渲染,采集与渲染效率相关的参数作为样本数据;所述的与渲染速率相关的参数为渲染时间;
逐一分析各客户端内存下的样本数据,最优渲染效率对应的影像分块尺寸经验值即预设数据库存储块大小和网络带宽下该客户端内存对应的最优影像分块尺寸。
步骤3进一步包括子步骤:
采集各局域网环境下客户端内存、网络带宽、数据库存储块大小对应的最优影像分块尺寸作为样本数据;
基于自适应影像切片模型和各局域网环境下的样本数据构建方程,即,令自适应影像切片模型中BlockSize、P(T)、W(S)、C(N)分别为该局域网环境下的影像分块尺寸经验值、客户端内存对应的最优影像分块尺寸、网络带宽对应的最优影像分块尺寸、数据库存储块大小对应的最优影像分块尺寸;
将各局域网环境对应的方程构成不相容方程组;
采用最小二乘原理求解不相容方程组获得权重A、B、C。
步骤4具体为:
根据最优影像分块尺寸模型获得当前客户端内存、当前网络带宽和当前数据库存储块大小对应的最优影像分块尺寸;
将当前客户端内存、当前网络带宽和当前数据库存储块大小对应的最优影像分块尺寸输入自适应影像切片模型计算BlockSize;
取最接近BlockSize的影像分块尺寸经验值作为自适应影像分块尺寸;
采用自适应影像分块尺寸进行影像切片。
本发明针对空间数据管理系统的发展现状,综合考虑局域网网络带宽和服务器端数据库存储块大小,并结合局域网客户端硬件情况,自动确定适合当前局域网环境的影像分块大小,并基于该影像块大小对遥感影像进行分块,从而实现遥感影像数据高效智能的存取管理。
与现有技术相比,本发明具有如下特点和有益效果:
1、可在多种不同的数据库、网络和客户端条件下实现影像数据智能化高效存储与访问。
2、为高效的影像数据管理提供了可行的思路和方法,有助于在C/S架构的网络环境下高效存取和管理基于数据库技术的遥感影像数据。
附图说明
图1为传统经验值分块法和本发明方法分块后的遥感影像渲染效果对比。
具体实施方式
本技术领域内影像块尺寸的惯用表示形式为m×m,为方便描述,文中将直接采用m表示影像块尺寸。
为满足海量遥感影像数据网络化快速存取的需求,本发明基于C/S系统架构,利用oracle数据库支持对二进制流存储的特性,分别从数据库存储块大小、局域网网络带宽和客户端硬件条件三个方面研究遥感影像的智能存取策略,提出了一种更能适应局域网环境的自适应的遥感影像数据库存储管理机制,从而实现遥感数据高效智能的存储管理。
下面,将从服务器端数据库存储块大小、局域网网络带宽和客户端硬件设施三个方面分析最优遥感影像分块尺寸的选取。
1、服务器端数据库存储块大小
数据库每次执行I/O操作时,都是以oracle数据库中的数据块为单位。对于不同的硬件环境和操作系统,一般预先设置了不同的数据库存储块大小;设置合理的数据库存储块可有效的节省I/O索引的访问路径。设置较小的数据库存储块,可有效减小数据块间的读写竞争,提高文件系统的访问速率,但当存储相同大小的文件时,需要花费更多的存储空间,对局部块的写入会使数据库进程的工作效率降低。选择较大的数据库存储块,虽然对各存储单元来讲能够存储更多数据,额外开销较小;然而,当读取连续文件系统缓存时,会对其造成不恰当的预读;对于多并发读取,会加重索引页块之间的竞争。
2、局域网网络带宽
通过对遥感影像数据进行分块可有效减少平台前端与数据库端的数据传输量。在网络环境中,针对多用户影像数据服务,瓦片金字塔模型不仅具有良好的数据缓冲特性,而且还具有良好的并行特性。
从理论上讲,网络带宽对影像数据的传输成正相关,即在网络带宽足够大前提下,影像分块尺寸越大,传输效率越高。然而在一般的局域网环境下,网络带宽都受到限制,因此需要通过设置合理的影像分块尺寸,来有效的减小一次网络传输的数据量,从而减轻网络传输的压力。但是随着影像块数目增加,传输的次数也随之增加;因此,过小的影像分块尺寸反而会影响影像的传输效率。
3、客户端内存
无论客户端计算机的CPU和内存有多大,也无法将海量遥感数据全部读取到内存中。而图像的漫游、平移、缩放等操作势必会引起内存与硬盘间数据的频繁交互,导致系统效率下降,甚至出现系统瘫痪。而事实上,客户端实际使用的数据只是原始影像的一小部分,将原始影像整个传输到客户端会导致严重的资源浪费和客户端过长的等待时间。
为了突破计算机硬件的限制,解决遥感影像渲染的效率问题,可通过设置合理的影像分块大小,并结合缓存技术,有效并快速的实现海量数据库影像的实时显示。若影像分块尺寸过大,出现用户查询区域与某些影像块相交后重叠范围过小的可能性也越大,造成无效的渲染区域也越大,占用的系统资源也越多。影像分块尺寸过小,相同大小的影像数据在客户端进行渲染时,需要耗费更多的时间。同时,如果影像分块尺寸过小,尽管减少了多余数据,但却增加了磁盘寻址和读操作次数,造成索引数据的冗余,不利于节省总的读数据时间。
基于上述分析,本发明假设自适应影像分块大小是以上三个因素对应的影像最优分块大小的线性组合,即为各影响因子赋予不同权重,自适应影像分块大小则是这三种影响因子对应的分块大小的加权平均值。
构建自适应影像切片模型:
BlockSize=A×P(T)+B×W(S)+C×C(N)   (1)
式(1)中,P(T)表示客户端内存对应的最优影像分块尺寸,W(S)表示网络带宽对应的最优影像分块尺寸,C(N)表示数据库存储块大小对应的最优影像分块尺寸,A、B、C均为权重。
下面将结合实施例具体说明P(T)、W(S)、C(N)的获得过程。
(1)构建数据库存储块大小对应的最优影像分块尺寸模型。
在预设的网络带宽和客户端内存下,设置不同的数据库存储块大小,并基于不同的影像分块尺寸对遥感影像进行分块,将分块后的遥感影像分别存储于存储块大小不同的数据库中,获得各影像分块尺寸下遥感数据存储于存储块大小不同的数据库所耗费的存储时间。
本实施中,根据影像分块尺寸经验值设置5种影像分块尺寸:128像素*128像素、256像素*256像素、512像素*512像素、1024像素*1024像素、2048像素*2048像素,在各影像分块尺寸下将遥感影像分别存储于存储块大小为2K、4K、8K、16K的数据库中,获得对应的存储时间,见表1。影像分块尺寸经验值为现有遥感影像分块技术中常采用的影像分块尺寸。
表1 不同影像分块尺寸下遥感影像存储于存储块大小不同的数据库的存储时间
由表1可看出,在存储块大小一定的情况下,影像分块尺寸越小,因为增加了磁盘寻址和写操作的次数,花费在建立索引上的时间也增加了,这样就大大降低了入库效率;而影像分块尺寸过大,由于数据不能存储在同一存储块单元中,数据库就需要增加存储块对影像块进行存储,因此也不利于提高存储速率。理论上,影像分块后使每块数据能保存在一个数据库存储块中效率最高,也能提高读取影像的速度。另外,考虑到各影像数据块还要保留10%的空间以备后期数据的更新与维护,所以若要使各影像块存储在一个存储块单元中,可根据公式(2)估算存储块大小(数据库的存储块大小是数据库最小的存储单元,常见的有2K、4K、8K、16K等)为N的数据库下对应的最佳影像分块尺寸:
式(2)中,D为整幅遥感影像的数据量,width为遥感影像的宽,height为遥感影像的高,N表示数据库存储块大小。
求解不等式(2),取满足约束条件下最接近约束值的影像分块尺寸经验值作为该数据库存储块大小对应的最佳影像分块尺寸。
(2)构建网络带宽对应的最优影像分块尺寸模型。
由于关系型数据库管理系统每次从数据库中读取数据量是存储块的整数倍,磁盘I/O对数据库性能的影响非常大。本实施例中,根据影像分块尺寸经验值设置5种影像分块尺寸:128像素*128像素、256像素*256像素、512像素*512像素、1024像素*1024像素、2048像素*2048像素,基于设置的影像分块尺寸对遥感影像进行分块,在预设的存储块大小和客户端内存条件下,将分块后的遥感影像分别在2M、10M、64M、128M网络带宽下传输至客户端,获得各影像分块尺寸下遥感影像在不同网络带宽时的传输速率,见表2。
表2 不同影像块尺寸下遥感影像在不同网络带宽时的传输时间
从表2可以看出,网络带宽不变的前提下,影像分块尺寸越小,虽然在一定程度上能提高传输效率,但是数据库系统将不断地从磁盘中读取数据,增加了磁盘寻道和寻址的时间;如果影像分块尺寸设置得太大,又将加重数据在网络上传输的压力,占用过多局域网的带宽,客户端需要等待的时间也越长。在较小网络带宽下,设置256像素*256像素的影像分块尺寸即可获得较快的传输效率;而在带宽不作为限制条件的情况下,可以设置较大的影像分块尺寸。
通过分析各影像分块尺寸经验值下遥感影像在各网络带宽时的传输速率,选择最优传输速率对应的影像分块尺寸经验值作为该网络带宽的最优影像分块尺寸。
假设S为局域网网络带宽,W(S)为网络带宽S对应的最优影像分块尺寸,下面提供网络带宽S对应的最优影像分块尺寸模型的一种具体形式:
(3)构建客户端内存对应的最优影像分块尺寸模型。
本实施例中,根据影像分块尺寸经验值设置5种影像分块尺寸:128像素*128像素、256像素*256像素、512像素*512像素、1024像素*1024像素、2048像素*2048像素,基于设置的影像分块尺寸对遥感影像进行分块,在各影像分块尺寸下将分块后的遥感影像分别在2G、4G、8G客户端内存下对同一区域进行渲染,并获得各影像分块尺寸下遥感影像在不同客户端内存时的平均渲染时间,见表3。
表3 不同影像块尺寸下遥感影像在不同客户端内存时的渲染时间
从表3中看出,对同一区域进行渲染时,影像分块尺寸太小,因为影像块增多而增加了本地磁盘的读取次数,而且过多的影像块会直接影响查询效率,从而影响渲染速率。但如果影像分块尺寸太大,导致读取过多不在显示范围内的影像数据,所以渲染时间也会有所增加。当客户端内存较小时选择较小的影像分块尺寸(如256像素*256像素)可获得较快的渲染速率,客户端内存较大时可选择较大的影像分块尺寸进行分块。
假设T为客户端内存大小,P(T)为客户端内存T对应的最优影像分块尺寸,下面提供客户端内存T对应的最优影像分块尺寸模型的一种具体形式:
根据表1~3可以看出,当数据库存储块较小时,为减小数据库I/O操作,选择512像素*512像素或者1024像素*1024像素的影像分块尺寸比较理想;随着存储块大小增大,选择大影像分块尺寸所换来的入库效率的提高也不是特别明显。在网络带宽较小的网络环境下,选择256像素*256像素的影像分块尺寸可以有效的减小因带宽限制所带来的传输压力;随着带宽增加,选择更大的影像分块尺寸可以明显的降低数据在网络中的传输时间。当客户端内存较小时,选择小的影像分块尺寸如256像素*256像素可以降低数据在客户端渲染和漫游的时间,获得相对较好的用户交互效果,而随着客户端内存的增大,大的影像分块尺寸更有利于客户端进行连贯的漫游和缩放。
公式(1)中各权重A、B和C可基于最小二乘原理获得,具体为:
采集4组样本数据:
(a)2M局域网网络带宽、2G客户端内存下,逐次改变数据库存储块大小,获得各不同大小数据库存储块对应的最优影像分块尺寸;
(b)8K数据库存储块、2G客户端内存下,逐次改变网络带宽的大小,获得各网络带宽下对应的最优影像分块尺寸;
(c)8K数据库存储块、4G客户端内存下,逐次改变网络带宽的大小,获得各网络带宽下对应的最优影像分块尺寸;
(d)4K数据库存储块、64M网络带宽下,逐次改变客户端内存大小,获得各客户端内存下对应的最优影像分块尺寸。
根据(a)组样本数据和公式(1),可构建如下方程组:
512 = 512 × A + 1024 × B + 256 × C 1024 = 512 × A + 1024 × B + 1024 × C 1024 = 512 × A + 1024 × B + 2048 × C - - - ( 5 )
根据(b)组样本数据和公式(1),可构建如下方程组:
512 = 1024 × A + 512 × B + 512 × C 1024 = 1024 × A + 1024 × B + 512 × C 1024 = 1024 × A + 2048 × B + 512 × C 1024 = 1024 × A + 2048 × B + 1024 × C - - - ( 6 )
根据(c)组样本数据和公式(1),可构建如下方程组:
512 = 1024 × A + 256 × B + 1024 × C 512 = 512 × A + 512 × B + 1024 × C 1024 = 512 × A + 1024 × B + 1024 × C 2048 = 1024 × A + 2048 × B + 1024 × C - - - ( 7 )
根据(d)组样本数据和公式(1),可构建如下方程组:
256 = 512 × A + 256 × B + 256 × C 512 = 1024 × A + 512 × B + 256 × C 512 = 1024 × A + 256 × B + 256 × C 512 = 2048 × A + 256 × B + 256 × C - - - ( 8 )
左侧数据表示各条件对应的影像分块尺寸经验值,即现有遥感影像分块技术中该条件下常采用的影像分块尺寸,这里的“条件”包括网络带宽、客户端内存和数据库存储块大小三个因素。
右侧系数例如公式(5)中,A的系数为该方程对应的客户端内存对应的最佳影像分块尺寸,B的系数为该方程对应的网络带宽下最佳影像分块尺寸,C的系数为该方程对应条件下数据库存储块大小对应的最佳影像分块尺寸。
同理,公式(6)中各方程对应的条件指8K数据库存储块、2G客户端内存和当前网络带宽;公式(7)中各方程对应的条件指8K数据库存储块、4G客户端内存和当前网络带宽;公式(8)中各方程对应的条件指4K数据库存储块、64M网络带宽和当前客户端内存。
利用最小二乘原理求解上述不相容方程组得到自适应影像切片模型:
BlockSize=0.18×P(T)+0.48×W(S)+0.28×C(N)   (9)
取最接近BlockSize的影像分块尺寸经验值作为自适应影像分块尺寸,基于该自适应影像分块尺寸对遥感影像进行分块。大量实验表明本发明自适应影像切片模型能满足海量遥感数据的自适应处理。
根据公式(9)可以看出客户端内存对影像分块尺寸的影响是最小的,数据库存储块大小对影像分块尺寸的影响次之,而局域网带宽对影像分块尺寸的影响相对较大。对于一个C/S架构系统而言,局域网网络带宽对于遥感影像的快速存储、高效传输和渲染有着至关重要的影响,它不仅制约着数据在上传时的传输效率,也关系到数据在下载到客户端缓存时的下载速度。因此当对海量遥感影像进行存储时,首先应考虑当前局域网网络带宽,它是制约影像分块尺寸选择的关键因素。其次,服务器端数据库存储块大小限制了数据在上传过程中写入硬盘的效率,也影响了客户端频繁访问数据时的读取速率,因此也占据了相当的比重,进行自适应分块时,必须考虑到所设置的数据库存储块大小。最后,客户端内存主要影响数据在客户端渲染时的效率,因此其权重相对较低,但为了支持快速的浏览和显示,也必须对它进行综合考虑。
为了证明本发明方法优越性,在多组实验环境下将本发明方法和传统经验值分块方法进行对比试验,结果见表4~6和图1,图1为苏州地区正射影像在8K数据库存储块大小、100M局域网带宽和4G客户端内存下按传统经验值分块法和本发明方法分块后的遥感影像渲染效果对比,其中,图(a)中影像分块尺寸根据经验取为512像素*512像素,图(b)中影像分块尺寸根据本发明自适应影像切片模型获得,为1024像素*1024像素。
表4 8K和16k数据库存储块下不同客户端内存和局域网带宽时的测试数据
表5 2G和4G客户端内存下不同局域网带宽和存储块大小时的测试数据
表6 10M和100M局域网带宽下不同客户端内存和数据块大小时的测试数据
通过上述对比试验,可以看出,常规网络环境下,本发明自适应影像分块的处理效率与传统方法相差不大;但在某些特殊网络环境下(例如较小的网络带宽时),本发明更能适应网络环境,结合服务器端数据库存储块大小和客户端硬件情况,利用自适应影像切片模型计算出更适合该环境下影像分块的大小值,建立最合适的细节层次模型(LoD),对各类大数据量的遥感影像进行有效的存储和管理。
实验证明,当数据库存储块较小时,为避免对数据库频繁的I/O操作,应当选择较小的影像分块尺寸;随着存储块的增大,选择大的影像分块尺寸对入库效率有一定程度的提高。在一个网络带宽较小的环境下,小的影像分块尺寸可以有效的减小因带宽限制所带来的传输压力;随着带宽的增加,选择更大的影像分块尺寸可以明显的降低数据在网络中的传输时间。当客户端内存较小时,选择小的影像分块尺寸可以降低数据在客户端渲染和漫游的时间,获得相对较好的用户交互效果,而随着客户端内存的增大,大的影像分块尺寸也不会对客户端进行连贯的漫游和缩放产生影响。综上,本发明提出的自适应切片机制能够满足对海量遥感数据的高效、智能的存储,是一种可行的影像管理策略。

Claims (5)

1.面向关系数据库扩展的自适应影像金字塔切片方法,其特征在于,包括步骤:
步骤1,构建自适应影像切片模型BlockSize=A×P(T)+B×W(S)+C×C(N),P(T)、W(S)、C(N)分别为客户端内存、网络带宽、数据库存储块大小对应的最优影像分块尺寸,A、B、C为权重;
步骤2,构建最优影像分块尺寸模型,进一步包括:
2.1构建数据库存储块大小对应的最优影像分块尺寸模型:
求解不等式取满足约束条件下最接近约束值的影像分块尺寸经验值作为大小为N的数据库存储块对应的最佳影像分块尺寸,其中,D、width、height分别为影像的数据量、宽度和高度;
2.2构建网络带宽对应的最优影像分块尺寸模型:
预设数据库存储块大小和客户端内存,采用多种影像分块尺寸经验值分别对影像进行分块,在不同网络带宽下将分块后的影像传输至客户端,将各网络带宽下最优传输速率对应的影像分块尺寸经验值作为预设条件下该网络带宽对应的最优影像分块尺寸;
2.3构建客户端内存对应的最优影像分块尺寸模型:
预设数据存储块大小和网络带宽,采用多种影像分块尺寸经验值分别对影像进行分块,并在不同客户端内存下对分块后影像进行渲染,将各客户端内存下最优渲染效率对应的影像分块尺寸经验值作为预设条件下该客户端内存对应的最优影像分块尺寸;
步骤3,基于自适应影像切片模型获得各局域网环境对应的方程,即,令自适应影像切片模型中BlockSize为某一局域网环境下的影像分块尺寸经验值,令P(T)、W(S)、C(N)分别为该局域网环境下客户端内存、网络带宽、数据库存储块大小对应的最优影像分块尺寸,P(T)、W(S)、C(N)从最优影像分块尺寸模型获得;采用最小二乘原理求解各局域网环境对应的方程构成的不相容方程组,获得权重A、B、C;
步骤4,采用自适应影像切片模型获得当前局域网环境下BlockSize,取最接近BlockSize的影像分块尺寸经验值作为自适应影像分块尺寸,采用自适应影像分块尺寸对影像进行切片。
2.如权利要求1所述的面向关系数据库扩展的自适应影像金字塔切片方法,其特征在于:
步骤2.2具体为:
预设数据库存储块大小和客户端内存,采用多种影像分块尺寸经验值分别对影像进行分块;
在不同网络带宽下将分块后影像传输至客户端,采集与传输速率相关的参数作为样本数据;所述的与传输速率相关的参数为传输时间;
逐一分析各网络带宽下的样本数据,将最优传输速率对应的影像分块尺寸经验值作为预设数据库存储块大小和客户端内存下该网络带宽对应的最优影像分块尺寸。
3.如权利要求1所述的面向关系数据库扩展的自适应影像金字塔切片方法,其特征在于:
步骤2.3具体为:
预设数据存储块大小和网络带宽,采用多种影像分块尺寸经验值分别对影像进行分块;
将分块后的影像传输至客户端,在不同客户端内存下对影像同一区域进行渲染,采集与渲染效率相关的参数作为样本数据;所述的与渲染速率相关的参数为渲染时间;
逐一分析各客户端内存下的样本数据,最优渲染效率对应的影像分块尺寸经验值即预设数据库存储块大小和网络带宽下该客户端内存对应的最优影像分块尺寸。
4.如权利要求1所述的面向关系数据库扩展的自适应影像金字塔切片方法,其特征在于:
步骤3进一步包括子步骤:
采集各局域网环境下客户端内存、网络带宽、数据库存储块大小对应的最优影像分块尺寸作为样本数据;
基于自适应影像切片模型和各局域网环境下的样本数据构建方程,即,令自适应影像切片模型中BlockSize、P(T)、W(S)、C(N)分别为该局域网环境下的影像分块尺寸经验值、客户端内存对应的最优影像分块尺寸、网络带宽对应的最优影像分块尺寸、数据库存储块大小对应的最优影像分块尺寸;
将各局域网环境对应的方程构成不相容方程组;
采用最小二乘原理求解不相容方程组获得权重A、B、C。
5.如权利要求1所述的面向关系数据库扩展的自适应影像金字塔切片方法,其特征在于:
步骤4具体为:
根据最优影像分块尺寸模型获得当前客户端内存、当前网络带宽和当前数据库存储块大小对应的最优影像分块尺寸;
将当前客户端内存、当前网络带宽和当前数据库存储块大小对应的最优影像分块尺寸输入自适应影像切片模型计算BlockSize;
取最接近BlockSize的影像分块尺寸经验值作为自适应影像分块尺寸;
采用自适应影像分块尺寸进行影像切片。
CN201410788404.1A 2014-12-17 2014-12-17 面向关系数据库扩展的自适应影像金字塔切片方法 Expired - Fee Related CN104408202B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410788404.1A CN104408202B (zh) 2014-12-17 2014-12-17 面向关系数据库扩展的自适应影像金字塔切片方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410788404.1A CN104408202B (zh) 2014-12-17 2014-12-17 面向关系数据库扩展的自适应影像金字塔切片方法

Publications (2)

Publication Number Publication Date
CN104408202A true CN104408202A (zh) 2015-03-11
CN104408202B CN104408202B (zh) 2017-08-08

Family

ID=52645833

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410788404.1A Expired - Fee Related CN104408202B (zh) 2014-12-17 2014-12-17 面向关系数据库扩展的自适应影像金字塔切片方法

Country Status (1)

Country Link
CN (1) CN104408202B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110533666A (zh) * 2018-05-25 2019-12-03 杭州海康威视数字技术股份有限公司 一种获取数据块尺寸的方法、处理数据的方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101339570A (zh) * 2008-08-12 2009-01-07 北京航空航天大学 一种高效的海量遥感数据分布式组织管理方法
CN101887595A (zh) * 2009-05-14 2010-11-17 武汉如临其境科技创意有限公司 基于四叉树索引的三维数字地球空间数据组织渲染方法
CN103595791A (zh) * 2013-11-14 2014-02-19 中国科学院深圳先进技术研究院 一种海量遥感数据的云存取方法
CN104134214A (zh) * 2014-07-29 2014-11-05 杭州卓腾信息技术有限公司 一种基于影像金字塔分层的数字切片图像存储及显示方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101339570A (zh) * 2008-08-12 2009-01-07 北京航空航天大学 一种高效的海量遥感数据分布式组织管理方法
CN101887595A (zh) * 2009-05-14 2010-11-17 武汉如临其境科技创意有限公司 基于四叉树索引的三维数字地球空间数据组织渲染方法
CN103595791A (zh) * 2013-11-14 2014-02-19 中国科学院深圳先进技术研究院 一种海量遥感数据的云存取方法
CN104134214A (zh) * 2014-07-29 2014-11-05 杭州卓腾信息技术有限公司 一种基于影像金字塔分层的数字切片图像存储及显示方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
李宗华等: "基于关系数据库技术的遥感影像数据建库研究", 《武汉大学学报(信息科学版)》 *
谭庆全等: "一种灵活高效的遥感影像金字塔构建算法", 《计算机系统应用》 *
陈茂霖等: "面向多尺度影像的瓦片金字塔技术研究与实现", 《地理空间信息》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110533666A (zh) * 2018-05-25 2019-12-03 杭州海康威视数字技术股份有限公司 一种获取数据块尺寸的方法、处理数据的方法及装置

Also Published As

Publication number Publication date
CN104408202B (zh) 2017-08-08

Similar Documents

Publication Publication Date Title
CN105589951B (zh) 一种海量遥感影像元数据分布式存储方法及并行查询方法
CN102364474B (zh) 用于机群文件系统的元数据存储系统和管理方法
US9183153B2 (en) Method and system for managing power grid data
CN107423422B (zh) 基于网格的空间数据分布式存储及检索方法和系统
CN111291016A (zh) 一种海量遥感影像数据分层混合存储与索引方法
CN110162528A (zh) 海量大数据检索方法及系统
CN101692229A (zh) 基于数据内容的三维空间数据自适应多级缓存系统
CN105205126A (zh) 一种地图瓦片的存储方法及其存储系统
WO2013152543A1 (zh) 面向列存储数据仓库的多维olap查询处理方法
CN104361113A (zh) 一种内存-闪存混合存储模式下的olap查询优化方法
CN103336772A (zh) 一种新的单景影像瓦片数据组织方法
CN103914449A (zh) 一种多源时间序列数据压缩存储方法
Mitra et al. Stash: Fast hierarchical aggregation queries for effective visual spatiotemporal explorations
CN113032427B (zh) 一种用于cpu和gpu平台的向量化查询处理方法
Du et al. Spatio-temporal data index model of moving objects on fixed networks using hbase
Hu et al. A hierarchical indexing strategy for optimizing Apache Spark with HDFS to efficiently query big geospatial raster data
Tian et al. A survey of spatio-temporal big data indexing methods in distributed environment
CN103200245B (zh) 一种基于Device Mapper的分布式网络缓存方法
CN104375782A (zh) 千万级小文件数据的一种读写解决方法
CN104408202A (zh) 面向关系数据库扩展的自适应影像金字塔切片方法
CN117633105A (zh) 基于时间分区索引的时序数据存储管理方法及系统
Wang et al. Distributed retrieval for massive remote sensing image metadata on spark
He et al. TMan: a high-performance trajectory data management system based on key-value stores
Ge et al. Cinhba: A secondary index with hotscore caching policy on key-value data store
Liu et al. Storing and querying AIS data in HBase

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170808

Termination date: 20211217

CF01 Termination of patent right due to non-payment of annual fee