CN105677803A

CN105677803A - 水文时序数据的json格式设定方法

Info

Publication number: CN105677803A
Application number: CN201511031968.1A
Authority: CN
Inventors: 傅汪; 李铁键; 邬涛; 史凯方; 魏加华; 黄跃飞
Original assignee: Tsinghua University
Current assignee: Tsinghua University
Priority date: 2015-12-31
Filing date: 2015-12-31
Publication date: 2016-06-15
Anticipated expiration: 2035-12-31
Also published as: CN105677803B

Abstract

本发明公开了一种水文时序数据的JSON格式设定方法，包括：根据时序属性的步长特征和间隔特征对时序属性进行分类；日期和时间的表示遵守标准GB/T？7408-2005/ISO？8601:2000；按照标称属性所包含不重复值的个数从小到大的顺序对所有标称属性进行排序；主结构是一个JSON对象，所述主结构包含键名分别为nominal,timeseries和data的键值对；原数据根据标称属性的值筛选出不同的数据子集；转换后的JSON格式的原始水文时序数据包含数据值本身的信息和数据的时间信息。本发明具有如下优点：通过高效的组织结构使数据串的总长度尽可能小，提高网络传输效率。

Description

水文时序数据的JSON格式设定方法

技术领域

本发明涉及水文时序数据表示领域，具体涉及一种水文时序数据的JSON格式设定方法。

背景技术

在水利行业的信息化进程中，行业数据的传输问题显得越来越重要。水文时序数据是一类重要的行业数据，若不对数据进行有效组织或压缩，当数据量较大时网络传输将占用大量带宽和时间。

目前水利行业数据表达的通用标准有WaterML。WaterML是水文观测数据的一项开源数据模型，主要提供不同信息化系统之间信息交互的通用手段，而在数据表达上较少考虑数据流的最小化。由于WaterML基于XML语言(ExtensibleMarkupLanguage，可扩展标记语言)，不可避免地继承了XML标签的冗长结构，不利于大量数据的传输。

与XML不同，JSON(JavaScriptObjectNotation)是一种轻量级的数据交换格式，能有效提升网络传输速率。JSON的组织结构非常灵活，若采用高效的组织结构将使数据串得到进一步压缩。目前JSON压缩算法主要有两种：CJSON和Hpack，这两种压缩算法服务于通用数据，并未考虑水文时序数据的特点，压缩效果有限。

发明内容

本发明旨在至少解决上述技术问题之一。

为此，本发明的目的在于提出一种水文时序数据的JSON格式设定方法。

为了实现上述目的，本发明的实施例公开了一种水文时序数据的JSON格式设定方法包括以下规则：规则1：根据时序属性的步长特征和间隔特征对时序属性进行分类；规则2：日期和时间的表示遵守标准GB/T7408-2005/ISO8601:2000，其中时间间隔的表示采用仅由周期标识的时间间隔表示法；规则3：按照标称属性所包含不重复值的个数从小到大的顺序对所有标称属性进行排序；规则4：主结构是一个JSON对象，包含键名分别为nominal,timeseries和data的键值对，分别表示标称属性的名称信息、时序属性的名称及时间特征信息、数据信息；规则5：时序属性元对象包含键名分别为name,type,step,gap,begin的键值对，分别表示时序属性的名称、类型、时间步长、时间间隔、开始时间；规则6：数据主数组利用JSON数组的并列和嵌套关系组织形成树状分支结构，对原数据进行表达；规则7：时序数据数组包含3个元素，每个元素都是一个JSON数组，分别为数据值数组、开始时间数组和时间步长数组。

另外，根据本发明上述实施例的水文时序数据的JSON格式设定方法，还可以具有如下附加的技术特征：

进一步地，还包括：所述规则5的所述时序数据元对象中键名为step,gap,begin的键值对是可选的，根据所述时序数据元对象所对应的时序属性的类型进行选择。

进一步地，还包括：所述规则7的的所述时序数据数组中的开始时间数组和时间步长数组是可选的，根据所述时序数据数组所对应的时序属性的类型进行选择。

进一步地，还包括：规则8：在所述时序数据的数据值数组中，缺失值用JSON的空值表示。

进一步地，还包括：规则9：在所述时序数据的时段长度数组中，若出现连续多个元素表示相同的时间间隔，则采用循环次数和周期的表示形式；在所述时序数据的数据值数组中，若出现连续多个元素表示相同的值，则只保留一个元素，并在所述元素的后面插入一个JSON字符串Rn，其中字符R表示重复标识，n表示循环次数。

根据本发明实施例的水文时序数据的JSON格式设定方法，定义了水文时序数据中时序属性的类别及分类方法，不同类别的时序数据采用不同的表示法，针对性地为各类数据提供最优压缩机制；针对原数据标称属性的重复性特征，利用JSON数据的并列和嵌套关系，采用树状分支结构对数据进行表达，减少标称属性重复值的书写次数，这种树状分支结构也在一定程度上保持了原数据的结构性；按照不重复值个数的顺序对标称属性排序，并按此顺序构造数据主数组的树状分支结构，可以进一步缩短数据串的长度；针对原数据的稀疏性特征，对时序属性中普遍存在的连续重复值定义了简短表示法，能显著缩短数据串的长度。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明一个实施例的水文时序数据的JSON格式设定方法的流程图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

参照下面的描述和附图，将清楚本发明的实施例的这些和其他方面。在这些描述和附图中，具体公开了本发明的实施例中的一些特定实施方式，来表示实施本发明的实施例的原理的一些方式，但是应当理解，本发明的实施例的范围不受此限制。相反，本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。

首先介绍本文涉及的相关词语的解释，具体如下：

需转换成所述格式的原始水文时序数据称为原数据。原数据有以下特征，这些特征是所述格式的设计依据：

结构性：原数据是结构化数据，即可用二维表结构来逻辑表达实现的数据。表结构的每一行是一条数据记录，每一列是一种属性。同一属性的一列数据具有相同的数据类型。

时序性：一般而言，数据属性分为两种类型：数值属性和标称属性。数值属性的值通常为实数，具有顺序关系和距离关系；标称属性的值只表示某种类别、编码或状态，不必具有有意义的序。所述原数据包括这两种属性，并且数值属性都是时序属性，即带有时间信息的属性，可以按时间顺序构成时间序列(或称时序)。例如，河流水位记录的原数据包含3列，分别为测点号(ID)、观测时间(TIME)、河流水位(STAGE)，其中ID为标称属性，STAGE为时序属性，TIME是这项时序属性附带的时间信息。

稀疏性：原数据的时序属性可能存在大量零值，表示物理量的常规状态，例如，对降水数据而言，由于一年中大部分时间是不下雨的，所以降水量大部分是0；另外，由于观测设备、手段的缺陷，原数据的时序属性可能存在数据缺失的情况。

重复性：原数据的标称属性的值大部分是重复的，只存在少数几个不同值，远小于数据记录总数(行数)。例如，逐日降水量数据的雨站点编号属性(ID)中不重复值的个数等于雨量站的数量，远小于数据记录总数。以下结合附图描述根据本发明实施例的水文时序数据的JSON格式设定方法。

图1是本发明一个实施例的水文时序数据的JSON格式设定方法的流程图。请参考图1，本发明实施例的水文时序数据的JSON格式设定方法通过以下规则设定。

规则1：根据时序属性的时段特征和间隔特征对时序属性进行分类。

具体地，根据时序属性的步长特征(step)和间隔特征(gap)对时序属性进行分类。时序属性的类别号用两位数字表示，第一位表示步长特征(step)，第二位表示间隔特征(gap)。

步长特征(step)有以下3种：

step＝0：表示数据序列中每条数据所代表的时段长度都为0，即时刻数据，例如，时刻流量序列中每条数据都是时刻值。

step＝1：表示数据序列中每条数据所代表的时段长度是相同的，例如，逐月平均流量序列中每条数据的时间步长都为1个月。

step＝2：表示数据序列中每条数据所代表的时段长度是不同的，例如，翻斗式雨量计实测降水序列中每条数据的时间步长是不定的。

间隔特征(Gap)有以下3种：

gap＝0：表示数据序列中相邻两条数据之间的时间间隔都为0，例如，每6小时预报降水序列中数据之间不存在时间间隔。

gap＝1：表示数据序列中相邻两条数据之间的时间间隔是相同的，例如，每日8:00实测流量序列中数据之间的时间间隔都为1天。

gap＝2：表示数据序列中相邻两条数据之间的时间间隔是不同的，例如，历史洪峰流量序列中数据之间的时间间隔是不定的。

所以，时序属性一共分为以下8种类型：

类型01：规则时刻数据，如每日8:00实测流量序列；

类型02：不规则时刻数据，如历史洪峰流量序列；

类型10：等时连续时段数据，如每6小时预报降水序列；

类型11：等时规则时段数据，如每日0:00-8:00降水序列；

类型12：等时不规则时段数据；

类型20：不等时连续时段数据；

类型21：不等时规则时段数据；

类型22：不等时不规则时段数据。

规则2：日期和时间的表示遵守标准GB/T7408-2005/ISO8601:2000，其中时间间隔的表示采用仅由周期标识的时间间隔表示法。

规则3：按照标称属性所包含不重复值的个数从小到大的顺序对所有标称属性进行排序。

具体地，按照标称属性所包含不重复值的个数从小到大的顺序对所有标称属性进行排序。例如，原数据包含栅格序号ID和数据发布机构ORIGIN这两项标称属性，其中，ID属性共有1、2、3三种值，ORIGIN属性共有A、B两种值，则排序为ORIGIN>ID。

规则4：主结构是一个JSON对象，包含键名分别为nominal,timeseries和data的键值对，分别表示标称属性的名称信息、时序属性的名称及时间特征信息、数据信息。

具体地，所述格式的主结构是一个JSON对象，称为主对象。主对象包含3条键值对(name/valuepairs)，键名分别为”nominal”,”timeseries”和”data”。主对象的写法如下，其中省略号(…)表示待描述的表达结构：

主对象中键名为”nominal”的键值对存储原数据所包含的标称属性的名称信息，它的值是一个JSON数组，数组中每个元素是表示某项标称属性名称的JSON字符串，并按照规则3中确定的顺序排列。例如，若原数据包含的标称属性及其顺序为：ID>ORIGIN>PUBLISHDATE，则本条键值对的写法为：

“nominal”:[“ID”,“ORIGIN”,“PUBLISHDATE”]

主对象中键名为”timeseries”的键值对存储原数据所包含的时序属性的名称及特征信息，它的值是一个JSON数组，数组中每个元素是表示某项时序属性名称及特征的JSON对象，称为时序属性元对象。时序属性元对象的表示法参见规则5。

主对象中键名为”data”的键值对存储数据信息，它的值是一个JSON数组，称为数据主数组。数据主数组的表示法参见规则6。

规则5：时序属性元对象包含键名分别为name,type,step,gap,begin的键值对，分别表示时序属性的名称、类型、时间步长、时间间隔、开始时间。其中后3条键值对是可选的，根据所述时序属性元对象所对应的时序属性的类型进行选择。

具体地，键名为“name”的键值对的值是一个JSON字符串，表示时序属性的名称。任何时序属性元对象必须包含本条键值对。

键名为“type”的键值对的值是一个JSON字符串，表示时序属性的类型，时序属性的分类参见规则1。任何时序属性元对象必须包含本条键值对。

键名为“step”的键值对的值是一个JSON字符串，表示数据序列中每条数据所代表的时段长度。当时序属性的类型是10、11或12时，时序属性元对象必须包含本条键值对。

键名为“gap”的键值对的值是一个JSON字符串，表示数据序列中相邻两条数据之间的时间间隔。当时序属性的类型是01、11或21时，时序属性元对象必须包含本条键值对。

键名为“begin”的键值对的值是一个JSON字符串，表示数据序列中第一条数据所代表时段的开始时刻。当时序属性的类型是01、10或11时，时序属性元对象必须包含本条键值对。

例如，对于从2015年1月1日开始的逐日降水量序列，其时序属性元对象的写法为：

上例中，“step”的值“P1D”表示长度为1天的一段时间(“P”是时段标记符，“D”指代时间单位天，参见规则2)。

规则6：数据主数组利用JSON数组的并列和嵌套关系组织形成树状分支结构，对原数据进行表达。

具体地，为便于描述，做以下符号说明：

原数据包含的标称属性的个数记作M，时序属性的个数记作N；

按照规则3中确定的顺序，排在第i位的标称属性称为标称属性i，i＝1,2,3,…,M；

标称属性i的不重复值个数记为Cⁱ，不重复值分别记为

首先，原数据根据标称属性1的不同可分为C¹个数据子集，称为1级数据子集。同时，数据主数组用C¹个并列的JSON数组分别表达这些数据子集，称为1级子数组。1级子数组的第1个元素是标称属性1的值，表明所对应的1级数据子集。因此数据主数组的写法为：

[[d_{1}^{1}, ...], [d_{2}^{1}, ...], ..., [d_{C^{1}}^{1}, ...]]

然后，每个1级数据子集又可以根据标称属性2的不同再细分成多个数据子集，称为2级数据子集。同时，1级子数组中除第1个元素外，其余元素是并列的JSON数组，分别与2级数据子集对应，称为2级子数组。2级子数组的第1个元素是标称属性2的值，表明所对应的2级数据子集。

依次类推，每个i级数据子集根据标称属性(i+1)的不同再细化成(i+1)级数据子集，同时i级子数组中除第1个元素外，其余元素是并列的(i+1)级子数组，分别与(i+1)级数据子集对应。(i+1)级子数组的第1个元素是是标称属性(i+1)的值，表明所对应的(i+1)级子数组。

当i＝M时，M级数据子集不能再细化，对应的M级子数组第1个元素是标称属性M的值，其余元素是N个并列的JSON数组，分别表达N个时序属性的数据，称为时序数据数组。所述时序数据数组的表示法参见规则7。

规则7：时序数据数组包含3个元素，每个元素都是一个JSON数组，分别为数据值数组、开始时间数组和时间步长数组。其中开始时间数组和时间步长数组是可选的，根据所述时序数据数组所对应的时序属性的类型进行选择。

具体地，时序数据除包含数据值本身的信息外，还包含数据的时间信息。序列中每条数据的时间信息可以用开始时间(begin)和时间步长(step)这两个量来表示，因此，时序数据可以用3个JSON数组来表示，分别为数据值数组、开始时间数组和时间步长数组。这三个数组的对应元素分别表示一条数据的数据值、开始时间(begin)和时间步长(step)。

所述时序数据数组的完整表达应同时包括上述3个数组，但由于时序属性元对象已经表达了部分时间信息，使得在某些情况下开始时间数组或时间步长数组是可计算的，无需明确给出。因此，所述时序数据数组的表达法与时序属性的类别有关，如下所述：

当时序属性属于类别01、10或11时，时序数据数组直接表示成数据值数组，省略开始时间数组和时间步长数组；

当时序属性属于类别02或12时，时序数据数组包含2个元素，第1个元素是数据值数组，第2个元素是开始时间数据，省略时间步长数组；

当时序属性属于类别20或21时，时序数据数组包含2个元素，第1个元素是数据值数组，第2个元素是时间步长数组，省略开始时间数组；

当时序属性属于类别22时，时序属性数组必须完整表达，即包含3个元素，分别是数据值数组、开始时间数组和时间步长数组。

规则8：在时序数据的数据值数组中，缺失值用JSON空值null表示。

规则9：在时序数据的时间步长数组中，若出现连续多个元素表示相同的时间间隔，则简化表示为循环时间间隔，采用循环次数和周期的表示形式(参见规则2)。在本发明的一个示例中，[…,“P1D”,“P1D”,“P1D”,“P1D”,…]简化表示为[…,“R4/P1D”,…]，表示“P1D”重复4次。在时序数据的数据值数组中，若出现连续多个元素表示相同的值(包括空值null)，则只保留一个元素，并在所述元素的后面插入一个JSON字符串Rn，其中字符R表示重复标识，n表示循环次数。在本发明的一个示例中，[…,0,0,0,0,…]简化表示为[…,0,“R4”,…]，表示0重复4次。

另外，本发明实施例的水文时序数据的JSON格式设定方法的其它构成以及作用对于本领域的技术人员而言都是已知的，为了减少冗余，不做赘述。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同限定。

Claims

1.一种水文时序数据的JSON格式设定方法，其特征在于，包括以下规则：

规则1：根据时序属性的步长特征和间隔特征对时序属性进行分类；

规则2：日期和时间的表示遵守标准GB/T7408-2005/ISO8601:2000，其中时间间隔的表示采用仅由周期标识的时间间隔表示法；

规则3：按照标称属性所包含不重复值的个数从小到大的顺序对所有标称属性进行排序；

规则4：主结构是一个JSON对象，包含键名分别为nominal,timeseries和data的键值对，分别表示标称属性的名称信息、时序属性的名称及时间特征信息、数据信息；

规则5：时序属性元对象包含键名分别为name,type,step,gap,begin的键值对，分别表示时序属性的名称、类型、时间步长、时间间隔、开始时间；

规则6：数据主数组利用JSON数组的并列和嵌套关系组织形成树状分支结构，对原数据进行表达；

规则7：时序数据数组包含3个元素，每个元素都是一个JSON数组，分别为数据值数组、开始时间数组和时间步长数组；

2.根据权利要求1所述的水文时序数据的JSON格式设定方法，其特征在于，所述规则5的所述时序数据元对象中键名为step,gap,begin的键值对是可选的，根据所述时序数据元对象所对应的时序属性的类型进行选择。

3.根据权利要求1所述的水文时序数据的JSON格式设定方法，其特征在于，所述规则7的的所述时序数据数组中的开始时间数组和时间步长数组是可选的，根据所述时序数据数组所对应的时序属性的类型进行选择。

4.根据权利要求1所述的水文时序数据的JSON格式设定方法，其特征在于，还包括：

规则8：在所述时序数据的数据值数组中，缺失值用JSON的空值表示。

5.根据权利要求1所述的水文时序数据的JSON格式设定方法，其特征在于，还包括：

规则9：在所述时序数据的时段长度数组中，若出现连续多个元素表示相同的时间间隔，则采用循环次数和周期的表示形式；在所述时序数据的数据值数组中，若出现连续多个元素表示相同的值，则只保留一个元素，并在所述元素的后面插入一个JSON字符串Rn，其中字符R表示重复标识，n表示循环次数。