CN116415159A - 一种海绵城市数据管理方法及系统 - Google Patents

一种海绵城市数据管理方法及系统 Download PDF

Info

Publication number
CN116415159A
CN116415159A CN202310684498.7A CN202310684498A CN116415159A CN 116415159 A CN116415159 A CN 116415159A CN 202310684498 A CN202310684498 A CN 202310684498A CN 116415159 A CN116415159 A CN 116415159A
Authority
CN
China
Prior art keywords
scanning
sequence
data
elements
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310684498.7A
Other languages
English (en)
Other versions
CN116415159B (zh
Inventor
张相忠
张靓
王晋
陈吉升
沈迎捷
王伟
林晓红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Urban Planning And Design Institute
Original Assignee
Qingdao Urban Planning And Design Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Urban Planning And Design Institute filed Critical Qingdao Urban Planning And Design Institute
Priority to CN202310684498.7A priority Critical patent/CN116415159B/zh
Publication of CN116415159A publication Critical patent/CN116415159A/zh
Application granted granted Critical
Publication of CN116415159B publication Critical patent/CN116415159B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Evolutionary Computation (AREA)
  • Educational Administration (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Development Economics (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明涉及数据处理技术领域，具体涉及一种海绵城市数据管理方法及系统。该方法获取优化面积数据序列，通过优化面积数据序列构建二维矩阵，使用多种预设的扫描方法扫描二维矩阵得到对应扫描序列；获取扫描序列的相邻重复值，基于两个元素的差异获取相似度，基于相似度获取扫描序列的相邻相似值和相似长度值，结合扫描序列的相邻重复值、相邻相似值和相似长度值从预设的扫描方式中筛选出最优扫描方式，并用最优扫描方式对海绵城市数据进行压缩存储。本发明选取最优扫描方式不仅考虑连续重复数据的数量，而且同时考虑数据的相似程度，提高了海绵城市信息的管理效率。

Description

一种海绵城市数据管理方法及系统
技术领域
本发明涉及数据处理技术领域，具体涉及一种海绵城市数据管理方法及系统。
背景技术
海绵城市是新一代城市雨洪管理概念，是指城市能够像海水一样在适应环境变化和应对雨水带来的自然灾害等方面具有良好的弹性。海绵城市的核心就是合理地控制城市下垫面上的雨水径流，使雨水就地消纳和吸收利用，因此海绵城市下垫面的面积统计和监测十分重要。由于数据量庞大，监测数据的信息冗余，监测系统在对于面积数据监测和统计时会浪费大量存储空间并降低记录时效，因此在对海绵下垫面数据进行存储管理时一般使用数据压缩进行处理。
现有技术通常使用游程编码进行数据压缩，游程编码针对重复且连续出现多次的数据压缩效果较佳，而对于不存在连续多个重复数据的目标数据集的压缩效果并不佳，甚至可能出现数据膨胀的情况，导致压缩效果较差。
发明内容
为了解决目标数据集中存在较少的连续重复数据，导致数据压缩效率较低的技术问题，本发明的目的在于提供一种海绵城市数据管理方法及系统，所采用的技术方案具体如下：
第一方面，本发明一个实施例提供了一种海绵城市数据管理方法，该方法包括：
获取历史时间段内每年至少两类地物类型的海绵城市下垫面的面积数据集合；每类地物类型的面积数据依据年份，地物类型按照预设的地物类型顺序将所述面积数据集合中面积数据顺序排列，根据每个面积数据与其对应地物类型的面积数据之间的差异顺序排列获取优化面积数据序列；
根据所述优化面积数据序列构建二维矩阵；使用至少两种预设的扫描方式扫描所述二维矩阵得到每种扫描方式下的扫描序列；
对于任意一个扫描序列，根据扫描序列中相邻位置元素的大小获取扫描序列的相邻重复值；基于任意两个元素的差异得到对应两个元素的相似度；依据扫描序列中相邻位置的元素的相似度获取扫描序列的相邻相似值；根据扫描序列中连续相似的元素的数量得到扫描序列的相似长度值；
结合每个扫描序列的所述相邻重复值、相邻相似值和相似长度值，从预设的扫描方式中筛选出最优扫描方式；使用所述最优扫描方式对海绵城市数据进行压缩存储。
进一步地，所述二维矩阵的构建方法，为：
统计所述优化面积数据序列中所有元素的总数量；当所述总数量为质数时，将总数量加1得到有效长度值；当所述总数量不为质数时，将总数量作为有效长度值；将所述有效长度值分解为至少两个因数对；所述因数对内两个因数的乘积等于所述有效长度值；计算每个所述因数对内两个因数的差值绝对值，将差值绝对值最小的所述因数对中最小的因数与最大的因数依次作为二维矩阵的行数和列数；
将所述优化面积数据序列中每个元素转换为二进制数据段；将所述优化面积数据序列中每个所述二进制数据段依次从左到右、从上到下填入二维矩阵；若二维矩阵没有被填满，将未被填的部分补0。
进一步地，所述相邻重复值的获取方法，包括：
对于扫描序列内任意一个目标元素，若目标元素分别与其前后相邻的两个元素的大小均相等，将所述目标元素作为重复元素；统计扫描序列中所有的所述重复元素，将扫描序列中所述重复元素的个数进行归一化的结果作为扫描序列的所述相邻重复值。
进一步地，所述相似度的获取方法，包括：
将扫描序列内任意两个元素对应的二进制数据段进行同或运算，对经过同或运算后得到的二进制数据段的每个数位上数码进行累加，将累加结果作为对应两个元素的所述相似度。
进一步地，所述相邻相似值的获取方法，包括：
设置相似阈值；对于扫描序列内任意一个目标元素，若目标元素分别与其前后相邻的两个元素的所述相似度均大于所述相似阈值，将所述目标元素作为相似元素；
统计扫描序列中所有的所述相似元素，将扫描序列中所述相似元素的个数进行归一化的结果作为扫描序列的所述相邻相似度。
进一步地，所述相似长度值的获取方法，包括：
在扫描序列中从所述目标元素开始，分别在向前和向后的访问方向下逐个顺序访问元素；当每个访问方向下访问的元素与目标元素的所述相似度小于或者等于所述相似阈值时，停止对应访问方向下元素的访问，将所述访问方向下访问过的元素的个数减1作为目标元素在对应访问方向下的访问长度；
若所述目标元素的两个访问方向下的所述访问长度相等，将所述访问长度作为初始相似长度值；若目标元素的两个访问方向下的所述访问长度不相等，将最小的所述访问长度作为初始相似长度值；获取扫描序列中每个元素的所述初始相似长度值，将最大的所述初始相似长度值进行归一化的结果作为扫描序列的所述相似长度值。
进一步地，所述最优扫描方式的获取方法，包括：
将预设第一加权系数作为所述相邻重复值的权重，将预设第二加权系数作为所述相邻相似值与所述相似长度值之和的权重，将所述相邻重复值、所述相邻相似值与所述相似长度值加权求和，得到每个扫描序列的评估值；
将最大的所述评估值的扫描序列对应的扫描方式作为所述最优扫描方式。
进一步地，所述使用所述最优扫描方式对海绵城市数据进行压缩存储的方法，为：
使用所述最优扫描方式扫描二维矩阵中二进制数据段，按照扫描顺序将二维矩阵中二进制数据段纵向顺序排列；使用游程编码按照二进制数据段的数位从高到低依次将相同数位上的数码从上到下进行存储，得到压缩数据。
第二方面，本发明另一个实施例提供了一种海绵城市数据管理系统，该系统包括：存储器、处理器以及存储在所述存储器中并可在处理器上运行的计算机程序，处理器执行所述计算机程序时，实现上述任意一项方法的步骤。
本发明具有如下有益效果：
在本发明实施例中，海绵城市下垫面的任一地物类型的面积数值随年份的逐增会产生较为规律的递增或者递减，根据每个面积数据与其对应地物类型的面积数据之间的差异得到的优化面积数据序列中会产生数据相等重复的情况，进行数据压缩时能减少数据冗余程度且对数据压缩带来更大压缩空间，提高压缩效率；由于优化面积数据序列为一维序列，序列中元素仅与其相邻的元素之间存在关联，为增加优化面积数据序列中数据之间的关联性，将优化面积数据序列转换为二维矩阵；使用每种预设的扫描方式对二维矩阵进行扫描得到对应的扫描序列，由于本发明使用游程编码对数据进行压缩存储，游程编码针对重复且连续出现多次的数据压缩效果较佳，则需要针对扫描序列的数量相似情况进行分析；相邻重复值呈现扫描序列中数据连续重复情况，相邻相似值呈现相似数据的数量，相似长度值表示相似数据的长度，进而体现连续相似情况，三个参数均能反映扫描序列中元素的连续相似情况；结合上述三种参数筛选出的最优扫描方式不仅考虑连续重复数据的数量，而且同时考虑数据的相似程度，通过最优扫描方式对海绵城市数据进行管理，使海绵城市数据的压缩存储的效率更高，降低数据膨胀出现的可能性，提高了海绵城市数据的管理效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明一个实施例所提供的一种海绵城市数据管理方法的步骤流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种海绵城市数据管理方法及系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种海绵城市数据管理方法及系统的具体方案。
请参阅图1，其示出了本发明一个实施例提供的一种海绵城市数据管理方法的步骤流程图，该方法包括：
步骤S1：获取历史时间段内每年至少两类地物类型的海绵城市下垫面的面积数据集合；根据面积数据集合内每类地物类型的面积数据大小和所属年份获取优化面积数据序列。
当前城市副中心区域的房屋建筑区、城市道路区、绿地与广场、水域、透水面和不透水面六类典型下垫面空间分布信息要素；基于地理国情监测获取某海绵城市的下垫面分类以及各分类下下垫面的具体数据，并统计六类下垫面近几年的面积，得到某城市副中心海绵城市下垫面的面积监测信息表，如表1所示：
表1
Figure SMS_1
如表1所示，表1中呈现从2016年至2020年期间，每年的房屋建筑区、城市道路区、绿地与广场、水域、透水面和不透水面六类海绵城市下垫面地物类型的面积。表1中数据构成面积数据集合。面积数据集合中每个面积数据不仅有对应的地物类型，还有对应年份，例如，表1中左上角第一个面积数据42.68，该面积数据的地物类型为房屋建筑区、对应年份为2016年。
以表1中信息进行分析，以地物类型为房屋建筑区为例，房屋建筑区的面积数据依据年份从小到大顺序排列得到序列{2.68，38.67，34.24，28.70，28.32}，其他地物类型的面积数据排列方法与房屋建筑区的排列方法相同；地物类型按照预设的地物类型顺序将所述面积数据集合中面积数据顺序排列，本发明实施例中预设地物类型顺序依次为房屋建筑区、城市道路区、绿地与广场、水域、透水面和不透水面，则面积数值排序后得到的序列为{42.68，38.67，34.24，28.70，28.32，4.73…6.59…11.02…24.10…9.78…10.45…81.75…95.98…73.82…59.59}。
不同地物类型的下垫面的面积数值波动范围较大，若不对面积数据进行处理直接压缩，容易导致数据压缩效果不理想。通过观察表1中数据特征可知，任一地物类型的面积数值随年份的逐增会产生较为规律的递增或者递减，即相邻年份的面积数值差异较小，且某一地物类型各年份的面积较为相近。因此，分别将经过排序后的序列中每类地物类型的面积数值的均值作为地物类型的类型均值，将每类地物类型的每年的面积数据与对应地物类型的类型均值的差值绝对值，作为对应面积数据的波动值。将经过排序后的序列中每个面积数据对应的波动值顺序排列，得到优化面积数据序列。优化面积数据序列中元素的数据的取值范围较小，由于数据较为规律的递增或递减特征，则优化面积数据序列会产生数据相等重复的情况，对数据压缩带来更大压缩空间，提高压缩效率。
将面积数据递减的地物类型的标签值设置为1，面积数据递增的地物类型的标签值设置为0，以便后续对压缩后的面积数据进行数据还原。
步骤S2：根据优化面积数据序列构建二维矩阵；使用至少两种预设的扫描方式扫描二维矩阵得到每种扫描方式下的扫描序列。
具体的，一维的优化面积数据序列中每个面积数据仅与其相邻的面积数据之间存在关联，为了增加海绵城市下垫面的面积数据之间的关联性，将优化面积数据序列转换为二维矩阵。
优选地，本发明实施例中二维矩阵的构建方法具体为：统计优化面积数据序列中所有元素的总数量；当总数量为质数时，将总数量加1得到有效长度值；当总数量不为质数时，将总数量作为有效长度值；将有效长度值分解为至少两个因数对；因数对内两个因数的乘积等于有效长度值；计算每个因数对内两个因数的差值绝对值，将差值绝对值最小的因数对中最小的因数与最大的因数依次作为二维矩阵的行数和列数；将所述优化面积数据序列中每个元素转换为二进制数据段；将优化面积数据序列中每个二进制数据段依次从左到右、从上到下填入二维矩阵；若二维矩阵没有被填满，将未被填的部分补0。
需要说明的是，当优化面积数据序列中元素的总数量为质数时，以总数量构建的二维矩阵会存在较多的空缺，若以特定数据补全二维矩阵容易导致扫描序列内数据的关联性判断存在误差，为降低扫描序列中数据之间关联性的误差，需要以非质数构建二维矩阵。若优化面积数据序列中元素的总数量为质数，将总数量加1作为有效长度值；若不为质数，直接将总数量作为有效长度值；以保证有效长度值为非质数并基于其确定二维矩阵的边长。为了更好地进行扫描的加密或压缩处理，应尽量让二维矩阵的行数和列数接近，因此，将差值绝对值最小的因数对中最小的因数与最大的因数依次作为二维矩阵的行数和列数。为进一步减少面积数据的冗余程度以便更好地进行数据压缩，将优化面积数据序列中每个元素转换为二进制数据段，根据海绵城市下垫面的面积数据的大小，本发明实施例中规定二进制数据段的位数为八位。将优化面积数据序列中二进制数据段按照顺序逐个填入二维矩阵的第一行从左到右，第二行从左到右，直至优化面积数据序列中元素填写完成。若总数量为质数时，二维矩阵会存在一个空缺位置，以0补全二维矩阵。
使用多种预设的扫描方式扫描二维矩阵，每种预设的扫描方式均会得到对应的扫描序列，扫描序列中每个元素均对应一个二进制数据段。本发明实施例中设置预设的扫描方式分别为锯齿扫描、蛇形扫描、希尔伯特扫描和螺旋扫描，实施者可根据实际情况自行设置扫描方式。其中，锯齿扫描、蛇形扫描、希尔伯特扫描和螺旋扫描均为本领域技术人员公知技术，在此不再赘述。
步骤S3：对于任意一个扫描序列，根据扫描序列中相邻位置元素的大小获取扫描序列的相邻重复值；基于任意两个元素的差异得到对应两个元素的相似度；依据扫描序列中相邻位置的元素的相似度获取扫描序列的相邻相似值；根据扫描序列中连续相似的元素的数量得到扫描序列的相似长度值。
具体的，数据之间关联程度越高的扫描序列中，进行数据压缩存储的效率越高。通过判断每个扫描序列中数据之间的关联程度，选取关联程度较高的扫描序列对应的扫描方式进行压缩存储。由于本发明实施例中选用游程编码进行压缩存储，游程编码针对存在多个连续重复数据的压缩效果较佳，则根据扫描序列中数据之间的连续重复程度特点对扫描方式进行判断。其中，游程编码为本领域技术人员公知技术，在此不再赘述。
扫描序列中相邻位置元素的大小能够决定数据连续重复程度，相邻位置元素的大小相等说明元素连续重复，获取扫描序列的相邻重复值。
优选地，相邻重复值的获取方法具体为：对于扫描序列内任意一个目标元素，若目标元素分别与其前后相邻的两个元素的大小均相等，将目标元素作为重复元素；统计扫描序列中所有的重复元素，将扫描序列中重复元素的个数进行归一化的结果作为扫描序列的相邻重复值。
需要说明的是，由于需要将扫描序列中元素与其前后相邻的两个元素的大小进行判断，确定该元素是否为重复元素，则扫描序列中首位和末尾的两个元素不能为重复元素。将扫描序列中重复元素的个数进行归一化处理，本发明实施例中使用归一化函数对扫描序列中重复元素的个数进行归一化处理，在本发明其他实施例中也可以选用其他归一化方法，例如，函数转化、最大最小规范化等归一化方法，在此不做限定。将扫描序列中重复元素的个数归一化的结果作为扫描序列的相邻重复值，记为
Figure SMS_2
。
优选地，相似度的具体获取方法为：将扫描序列内任意两个元素对应的二进制数据段进行同或运算，对经过同或运算后得到的二进制数据段的每个数位上数码进行累加，将累加结果作为对应两个元素的所述相似度。需要说明的是，扫描序列中二进制数据段的位数相同，两个二进制数据段的相同数位上数码相同的越多，说明两个二进制数据段的相似度越大。
作为一个示例，以01001001和01100111两个二进制数据段为例进行分析，二进制数据段仅有0和1构成，经过逻辑运算后判断二进制数据段之间相似度的准确性更高；两个二进制数据经过同或运算后的结果为11010001，将每个数位上的数码进行累加的结果为4，即两个二进制数据的相似度为4。
扫描序列中元素之间的相似情况在一定程度上影响压缩存储效率，数据之间越相似，则扫描序列进行压缩存储的效率越高。相邻相似值呈现相似数据的数量，相似长度值表示相似数据的长度，说明连续相似情况，两个参数均能反映扫描序列中元素的相似情况。下面从元素的相似数据的数量与相似数据的长度两个分别展开进行分析。
（1）从相似数据的数量分析。
优选地，相邻相似值的获取方法具体为：设置相似阈值；对于扫描序列内任意一个目标元素，若目标元素分别与其前后相邻的两个元素的相似度均大于相似阈值，将目标元素作为相似元素；统计扫描序列中所有的相似元素，将扫描序列中相似元素的个数进行归一化的结果作为扫描序列的相邻相似度。
作为一个示例，以数据序列中第j-1个位置的二进制数据段
Figure SMS_3
、第j个位置的二进制数据段/>
Figure SMS_7
与第j+1个位置的二进制数据段/>
Figure SMS_10
为例进行分析，与/>
Figure SMS_5
前后相邻的两个二进制数据段依次为/>
Figure SMS_8
与/>
Figure SMS_11
，分别获取/>
Figure SMS_13
与/>
Figure SMS_4
的相似度，/>
Figure SMS_9
与/>
Figure SMS_12
的相似度，当两个相似度均大于相似阈值，说明存在连续相似的二进制编码，将二进制数据段/>
Figure SMS_14
作为相似二进制数据段。需要说明的是，扫描序列中首位和末尾的二进制数据段不会为相似二进制数据段。统计扫描序列中相似二进制数据段的个数，并将其进行归一化处理，本发明实施例中使用归一化函数对扫描序列中相似二进制数据段的个数进行归一化处理，在本发明其他实施例中也可以选用其他归一化方法，例如，函数转化、最大最小规范化等归一化方法，在此不做限定。将扫描序列中相似二进制数据段的个数归一化的结果作为扫描序列的相邻相似度，记为/>
Figure SMS_6
。
需要说明的是，相似阈值与二进制数据段的位数相关，当海绵城市下垫面的面积数据越大，导致二维矩阵中二进制数据段的位数越多；相似阈值随着二进制数据段的位数的增多而增大，由于本发明中二进制数据段为八位，则本发明实施例中相似阈值取经验值4，具体情况实施者可根据实际情况自行设定。
（2）从相似数据的长度分析。
优选地，相似长度值的获取方法具体为：在扫描序列中从目标元素开始，分别在向前和向后的访问方向下逐个顺序访问元素；当每个访问方向下访问的元素与目标元素的相似度小于或者等于相似阈值时，停止对应访问方向下元素的访问，将访问方向下访问过的元素的个数减1作为目标元素在对应访问方向下的访问长度；若目标元素的两个访问方向下的访问长度相等，将访问长度作为初始相似长度值；若目标元素的两个访问方向下的访问长度不相等，将最小的访问长度作为初始相似长度值；获取扫描序列中每个元素的初始相似长度值，将最小的相似长度值进行归一化的结果作为扫描序列的相似长度值。
作为一个示例，以数据序列中第j-2个位置的二进制数据段
Figure SMS_31
、第j-1个位置的二进制数据段/>
Figure SMS_34
、第j个位置的二进制数据段/>
Figure SMS_37
、第j+1个位置的二进制数据段
Figure SMS_17
与第j+2个位置的二进制数据段/>
Figure SMS_20
为例进行分析，以二进制数据段/>
Figure SMS_24
作为目标二进制数据段，分别在向前和向后的访问方向下逐个顺序访问二进制数据段，即向前的访问方向逐个访问的二进制数据段依次为/>
Figure SMS_28
、/>
Figure SMS_16
，向后的访问方向逐个访问的二进制数据段依次为/>
Figure SMS_19
、/>
Figure SMS_23
。以向前的访问方向下为例，先判断/>
Figure SMS_27
与/>
Figure SMS_18
的相似度，若相似度大于相似阈值，两个二进制数据段的相似程度较大，说明则继续向前进行访问，判断/>
Figure SMS_21
与/>
Figure SMS_25
的相似度；若/>
Figure SMS_29
与/>
Figure SMS_33
的相似度小于或者等于相似阈值，说明两个二进制数据段的相似程度较小，则停止访问。若/>
Figure SMS_36
与/>
Figure SMS_38
的相似度小于或者等于相似阈值停止访问时，此时，访问过的二进制数据段为/>
Figure SMS_39
和/>
Figure SMS_15
，访问过的二进制数据段的个数为2，由于/>
Figure SMS_22
与/>
Figure SMS_26
的相似程度较小，则将访问过的二进制数据段的个数减1即1作为目标二进制数据段/>
Figure SMS_30
在向前的访问方向下的访问长度。向后的访问方向的访问长度的获取方法与向前的访问方向的访问长度的获取方法相同，依据上述获取向前的访问方向的访问长度的方法，获取目标二进制数据段/>
Figure SMS_32
在向后访问方向下的访问长度。若目标二进制数据段的两个访问方向线的访问长度相等，将访问长度作为初始相似长度值；若目标二进制数据段的两个访问方向线的访问长度不相等，将较小的访问长度作为初始相似长度值；扫描序列的首位的末尾的两个二进制数据段的初始相似长度值均为0。本发明实施例中选用二维矩阵的元素的个数对扫描序列中初始相似长度的最大值进行归一化，将归一化的结果作为扫描序列的相似长度值，记为/>
Figure SMS_35
。
步骤S4：结合每个扫描序列的相邻重复值、相邻相似值和相似长度值，从预设的扫描方式中筛选出最优扫描方式；使用最优扫描方式对海绵城市数据进行压缩存储。
相邻重复值呈现扫描序列中数据连续重复程度，相邻相似值呈现相似数据的数量，相似长度值表示相似数据的长度，说明连续相似情况，三个参数均能反映扫描序列中元素的连续重复情况，筛选出的最优扫描方式的压缩存储的效率更高。
优选地，最优扫描方式的具体获取方法为：将预设第一加权系数作为相邻重复值的权重，将预设第二加权系数作为相邻相似值与相似长度值之和的权重，将相邻重复值、相邻相似值与相似长度值加权求和，得到每个扫描序列的评估值；将最大的评估值的扫描序列对应的扫描方式作为最优扫描方式。
需要说明的是，游程编码压缩对连续多个重复数据的压缩效果情况较好，相邻重复值直接体现扫描序列的连续重复数据，相邻相似值和相似长度值均是从元素的相似角度考虑，并不是真的重复，因此，预设第一加权系数应该大于预设第二加权系数。本发明实施例中预设第一加权系数和与预设第二加权系数依次取经验值0.6和0.4，实施者可根据实际情况自行设定。
扫描序列的评估值的计算公式如下：
Figure SMS_40
式中，
Figure SMS_41
为扫描序列的评估值，/>
Figure SMS_42
为将预设第一加权系数，/>
Figure SMS_43
为预设第二加权系数，/>
Figure SMS_44
为相邻重复值，/>
Figure SMS_45
为相邻相似值，/>
Figure SMS_46
为相似长度值。
需要说明的是，相邻重复值直接体现连续重复数据，相邻相似值和相似长度值均是从相似角度考虑，并不是真的重复，则预设第一加权系数
Figure SMS_47
应该大于预设第二加权系数/>
Figure SMS_48
；当相邻重复值/>
Figure SMS_49
越大，说明扫描序列中出现较多的连续重复数据；相邻相似值
Figure SMS_50
和相似长度值/>
Figure SMS_51
越大，该扫描序列进行压缩存储的效率更高。
根据扫描序列的评估值的计算方法，获取每个扫描序列的评估值。扫描序列的评估值越大，说明扫描序列中二进制数据段的连续重复程度越高，则使用扫描序列对应的扫描方式进行压缩的效率越高。将最大的评估值的扫描序列对应的扫描方式作为最优扫描方式。
使用最优扫描方式扫描二维矩阵中二进制数据段，按照扫描顺序将二维矩阵中二进制数据段纵向顺序排列；使用游程编码按照二进制数据段的数位从高到低依次将相同数位上的数码从上到下进行存储，得到压缩数据。
需要说明的是，以使用最优扫描方式扫描二维矩阵中局部数量的二进制数据段为例进行分析，将使用最优扫描方式得到的局部二进制数据段纵向顺序排列为
Figure SMS_52
，使用游程编码存储时，首先将最高数位的数码从上到下扫描得到0011；其次，将次高数位的数码从上到下扫描得到1110，依据二进制数据段的数位从高到低依次进行扫描，根据扫描得到的数据进行存储。
将压缩数据进行游程编码下的数据还原，得到纵向顺序排列的二进制数据段；使用据最优扫描方式将二进制数据段在二维矩阵的位置进行还原，将二维矩阵中每个二进制数据段转换为十进制数据的波动值；根据二维矩阵的构建方法将二维矩阵中波动值还原为优化面积数据序列；获取优化面积数据序列中每类地物类型中两个最小的波动值，将两个波动值的均值作为对应地物类型的基准值，将基准值插入在两个最小的波动值的中间位置。获取步骤S1中设置的每类地物类型的标签值，对于标签值为1的地物类型的波动值，将类型均值分别与基准值的位置之前的每个波动值相加进行面积数据的还原，将类型均值分别与基准值的位置之后的每个波动值相减进行面积数据的还原；对于标签值为0的地物类型的波动值，将类型均值分别与基准值的位置之前的每个波动值相减进行面积数据的还原，将类型均值分别与基准值的位置之后的每个波动值相加进行面积数据的还原；将每个地物类型中插入的基准值去除。
由于海绵城市下垫面的任一地物类型的面积数值随年份的逐增会产生较为规律的递增或者递减，所以任意一类地物类型的面积数据对应的波动值中最多出现两个最小的波动值。因任意地物类型的面积数值不可能为0，若还原得到的序列中最后一个元素的数值为0，则0为二维矩阵中填补的数据，需要将其去除。
至此，本发明完成。
综上所述，本发明实施例中，获取优化面积数据序列，通过优化面积数据序列构建二维矩阵，使用多种预设的扫描方法扫描二维矩阵得到对应扫描序列；获取扫描序列的相邻重复值，基于两个元素的差异获取两个元素的相似度，基于相似度获取扫描序列的相邻相似值和相似长度值，结合扫描序列的相邻重复值、相邻相似值和相似长度值从预设的扫描方式中筛选出最优扫描方式，使用最优扫描方式对海绵城市数据进行压缩存储。本发明选取最优扫描方式不仅考虑连续重复数据的数量，而且同时考虑数据的相似程度，提高了海绵城市信息的管理效率。
基于与上述方法实施例相同的发明构思，本发明实施例还提供了一种海绵城市数据管理系统，该系统包括：存储器、处理器以及存储在所述存储器中并可在处理器上运行的计算机程序，处理器执行所述计算机程序时，实现上述一种海绵城市数据管理方法实施例中的步骤，例如图1所示的步骤。该一种海绵城市数据管理方法在上述实施例中已经详细说明，不再赘述。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种海绵城市数据管理方法，其特征在于，该方法包括：
获取历史时间段内每年至少两类地物类型的海绵城市下垫面的面积数据集合；每类地物类型的面积数据依据年份，地物类型按照预设的地物类型顺序将所述面积数据集合中面积数据顺序排列，根据每个面积数据与其对应地物类型的面积数据之间的差异顺序排列获取优化面积数据序列；
根据所述优化面积数据序列构建二维矩阵；使用至少两种预设的扫描方式扫描所述二维矩阵得到每种扫描方式下的扫描序列；
对于任意一个扫描序列，根据扫描序列中相邻位置元素的大小获取扫描序列的相邻重复值；基于任意两个元素的差异得到对应两个元素的相似度；依据扫描序列中相邻位置的元素的相似度获取扫描序列的相邻相似值；根据扫描序列中连续相似的元素的数量得到扫描序列的相似长度值；
结合每个扫描序列的所述相邻重复值、相邻相似值和相似长度值，从预设的扫描方式中筛选出最优扫描方式；使用所述最优扫描方式对海绵城市数据进行压缩存储。
2.根据权利要求1所述的一种海绵城市数据管理方法，其特征在于，所述二维矩阵的构建方法，为：
统计所述优化面积数据序列中所有元素的总数量；当所述总数量为质数时，将总数量加1得到有效长度值；当所述总数量不为质数时，将总数量作为有效长度值；将所述有效长度值分解为至少两个因数对；所述因数对内两个因数的乘积等于所述有效长度值；计算每个所述因数对内两个因数的差值绝对值，将差值绝对值最小的所述因数对中最小的因数与最大的因数依次作为二维矩阵的行数和列数；
将所述优化面积数据序列中每个元素转换为二进制数据段；将所述优化面积数据序列中每个所述二进制数据段依次从左到右、从上到下填入二维矩阵；若二维矩阵没有被填满，将未被填的部分补0。
3.根据权利要求1所述的一种海绵城市数据管理方法，其特征在于，所述相邻重复值的获取方法，包括：
对于扫描序列内任意一个目标元素，若目标元素分别与其前后相邻的两个元素的大小均相等，将所述目标元素作为重复元素；统计扫描序列中所有的所述重复元素，将扫描序列中所述重复元素的个数进行归一化的结果作为扫描序列的所述相邻重复值。
4.根据权利要求2所述的一种海绵城市数据管理方法，其特征在于，所述相似度的获取方法，包括：
将扫描序列内任意两个元素对应的二进制数据段进行同或运算，对经过同或运算后得到的二进制数据段的每个数位上数码进行累加，将累加结果作为对应两个元素的所述相似度。
5.根据权利要求1所述的一种海绵城市数据管理方法，其特征在于，所述相邻相似值的获取方法，包括：
设置相似阈值；对于扫描序列内任意一个目标元素，若目标元素分别与其前后相邻的两个元素的所述相似度均大于所述相似阈值，将所述目标元素作为相似元素；
统计扫描序列中所有的所述相似元素，将扫描序列中所述相似元素的个数进行归一化的结果作为扫描序列的所述相邻相似度。
6.根据权利要求5所述的一种海绵城市数据管理方法，其特征在于，所述相似长度值的获取方法，包括：
在扫描序列中从所述目标元素开始，分别在向前和向后的访问方向下逐个顺序访问元素；当每个访问方向下访问的元素与目标元素的所述相似度小于或者等于所述相似阈值时，停止对应访问方向下元素的访问，将所述访问方向下访问过的元素的个数减1作为目标元素在对应访问方向下的访问长度；
若所述目标元素的两个访问方向下的所述访问长度相等，将所述访问长度作为初始相似长度值；若目标元素的两个访问方向下的所述访问长度不相等，将最小的所述访问长度作为初始相似长度值；获取扫描序列中每个元素的所述初始相似长度值，将最大的所述初始相似长度值进行归一化的结果作为扫描序列的所述相似长度值。
7.根据权利要求1所述的一种海绵城市数据管理方法，其特征在于，所述最优扫描方式的获取方法，包括：
将预设第一加权系数作为所述相邻重复值的权重，将预设第二加权系数作为所述相邻相似值与所述相似长度值之和的权重，将所述相邻重复值、所述相邻相似值与所述相似长度值加权求和，得到每个扫描序列的评估值；
将最大的所述评估值的扫描序列对应的扫描方式作为所述最优扫描方式。
8.根据权利要求2所述的一种海绵城市数据管理方法，其特征在于，所述使用所述最优扫描方式对海绵城市数据进行压缩存储的方法，为：
使用所述最优扫描方式扫描二维矩阵中二进制数据段，按照扫描顺序将二维矩阵中二进制数据段纵向顺序排列；使用游程编码按照二进制数据段的数位从高到低依次将相同数位上的数码从上到下进行存储，得到压缩数据。
9.一种海绵城市数据管理系统，其特征在于，该系统包括：存储器、处理器以及存储在所述存储器中并可在处理器上运行的计算机程序，处理器执行所述计算机程序时，实现上述权利要求1-8任意一项所述一种海绵城市数据管理方法的步骤。
CN202310684498.7A 2023-06-12 2023-06-12 一种海绵城市数据管理方法及系统 Active CN116415159B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310684498.7A CN116415159B (zh) 2023-06-12 2023-06-12 一种海绵城市数据管理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310684498.7A CN116415159B (zh) 2023-06-12 2023-06-12 一种海绵城市数据管理方法及系统

Publications (2)

Publication Number Publication Date
CN116415159A true CN116415159A (zh) 2023-07-11
CN116415159B CN116415159B (zh) 2023-08-18

Family

ID=87049631

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310684498.7A Active CN116415159B (zh) 2023-06-12 2023-06-12 一种海绵城市数据管理方法及系统

Country Status (1)

Country Link
CN (1) CN116415159B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116861271A (zh) * 2023-09-05 2023-10-10 智联信通科技股份有限公司 基于大数据的数据分析处理方法
CN117153270A (zh) * 2023-10-30 2023-12-01 吉林华瑞基因科技有限公司 一种基因二代测序数据处理方法
CN117235013A (zh) * 2023-11-10 2023-12-15 中科数创(临沂)数字科技有限公司 一种基于人工智能的智慧档案管理方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5517677A (en) * 1993-05-13 1996-05-14 Uniden America Corporation Adaptive weighting of a scanning sequence
CN102708183A (zh) * 2012-05-09 2012-10-03 华为技术有限公司 数据压缩的方法和装置
CN107087184A (zh) * 2017-04-28 2017-08-22 华南理工大学 一种多媒体数据再压缩方法
US20210193261A1 (en) * 2013-01-17 2021-06-24 Illumina, Inc. Genomic Infrastructure for On-Site or Cloud-Based Dna and Rna Processing and Analysis
CN115622570A (zh) * 2022-12-14 2023-01-17 山东融汇通达网络科技有限公司 一种数据高效存储方法
CN115643110A (zh) * 2022-12-22 2023-01-24 河北新龙科技集团股份有限公司 基于运行数据的应用软件安全检测方法
CN115834887A (zh) * 2023-02-17 2023-03-21 济南霍兹信息科技有限公司 一种计算机系统的数据压缩存储方法
CN115952252A (zh) * 2023-03-10 2023-04-11 中国测绘科学研究院 数据处理方法、装置、电子设备和介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5517677A (en) * 1993-05-13 1996-05-14 Uniden America Corporation Adaptive weighting of a scanning sequence
CN102708183A (zh) * 2012-05-09 2012-10-03 华为技术有限公司 数据压缩的方法和装置
US20210193261A1 (en) * 2013-01-17 2021-06-24 Illumina, Inc. Genomic Infrastructure for On-Site or Cloud-Based Dna and Rna Processing and Analysis
CN107087184A (zh) * 2017-04-28 2017-08-22 华南理工大学 一种多媒体数据再压缩方法
CN115622570A (zh) * 2022-12-14 2023-01-17 山东融汇通达网络科技有限公司 一种数据高效存储方法
CN115643110A (zh) * 2022-12-22 2023-01-24 河北新龙科技集团股份有限公司 基于运行数据的应用软件安全检测方法
CN115834887A (zh) * 2023-02-17 2023-03-21 济南霍兹信息科技有限公司 一种计算机系统的数据压缩存储方法
CN115952252A (zh) * 2023-03-10 2023-04-11 中国测绘科学研究院 数据处理方法、装置、电子设备和介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
SANTOS, P等: "Diverging Wave Volumetric Imaging Using Subaperture Beamforming", IEEE *
张相忠 等: "海绵城市的规划方法探索——以青岛市为例", 持续发展 理性规划——2017中国城市规划年会论文集（03城市工程规划） *
李思宇: "基于中间表示的代码相似性检测方法", 电子技术与软件工程 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116861271A (zh) * 2023-09-05 2023-10-10 智联信通科技股份有限公司 基于大数据的数据分析处理方法
CN116861271B (zh) * 2023-09-05 2023-12-08 智联信通科技股份有限公司 基于大数据的数据分析处理方法
CN117153270A (zh) * 2023-10-30 2023-12-01 吉林华瑞基因科技有限公司 一种基因二代测序数据处理方法
CN117153270B (zh) * 2023-10-30 2024-02-02 吉林华瑞基因科技有限公司 一种基因二代测序数据处理方法
CN117235013A (zh) * 2023-11-10 2023-12-15 中科数创(临沂)数字科技有限公司 一种基于人工智能的智慧档案管理方法
CN117235013B (zh) * 2023-11-10 2024-01-30 中科数创(临沂)数字科技有限公司 一种基于人工智能的智慧档案管理方法

Also Published As

Publication number Publication date
CN116415159B (zh) 2023-08-18

Similar Documents

Publication Publication Date Title
CN116415159B (zh) 一种海绵城市数据管理方法及系统
CN115622570B (zh) 一种数据高效存储方法
CN102033854A (zh) 针对稀疏矩阵的数据存储方法及基于该方法的SpMV实现方法
CN116820352B (zh) 一种具有数据容灾功能的病区自助结算系统
CN116032294B (zh) 一种用于大气监测数据的智能处理方法
CN117278054B (zh) 一种智慧电网监控数据存储方法及系统
CN114640356A (zh) 基于神经网络的大数据压缩方法、系统及存储介质
CN106991149A (zh) 一种融合编码和多版本数据的海量空间对象存储方法
CN114266421B (zh) 基于复合气象特征构建与选择的新能源功率预测方法
CN116185971A (zh) 一种电子压力称重数据的智能处理系统
CN115623536A (zh) 一种基于LoRa的传感器信号的高可靠数据传输方法
CN113676187B (zh) 一种哈夫曼修正编码方法、系统及相关组件
CN116847095A (zh) 一种图像压缩方法，图像解压方法和图像处理装置
CN117040542B (zh) 一种智能综合配电箱能耗数据处理方法
CN117278058A (zh) 一种气候投融资项目数据采集处理方法
CN117526965A (zh) 一种银行数据智能压缩存储方法、计算机设备及存储介质
CN115882867B (zh) 一种基于大数据的数据压缩存储方法
US20240132947A1 (en) Optimized clustering of dna strands
CN116596054A (zh) 一种神经网络模型优化方法、平台、设备和存储介质
CN115102934B (zh) 点云数据的解码方法、编码方法、装置、设备及存储介质
CN113708772B (zh) 一种哈夫曼编码方法、系统、装置及可读存储介质
CN110362580B (zh) 一种bim建筑工程数据检索优化归类方法及其系统
CN118568068B (zh) 一种建筑数字孪生数据优化存储方法
CN111988044A (zh) 一种凿孔Polar码的码字构造方法
CN118509608B (zh) 图片压缩方法、装置、计算机设备和可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant