CN112364016A - 一种异频数据对象的时间嵌套缓存模型的构建方法 - Google Patents

一种异频数据对象的时间嵌套缓存模型的构建方法 Download PDF

Info

Publication number
CN112364016A
CN112364016A CN202011167425.3A CN202011167425A CN112364016A CN 112364016 A CN112364016 A CN 112364016A CN 202011167425 A CN202011167425 A CN 202011167425A CN 112364016 A CN112364016 A CN 112364016A
Authority
CN
China
Prior art keywords
frequency data
low
time
data
station
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011167425.3A
Other languages
English (en)
Other versions
CN112364016B (zh
Inventor
单新建
郭皓明
张国宏
魏闫艳
刘云华
高志钰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
INSTITUTE OF GEOLOGY CHINA EARTHQUAKE ADMINISTRATION
Original Assignee
INSTITUTE OF GEOLOGY CHINA EARTHQUAKE ADMINISTRATION
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by INSTITUTE OF GEOLOGY CHINA EARTHQUAKE ADMINISTRATION filed Critical INSTITUTE OF GEOLOGY CHINA EARTHQUAKE ADMINISTRATION
Priority to CN202011167425.3A priority Critical patent/CN112364016B/zh
Publication of CN112364016A publication Critical patent/CN112364016A/zh
Application granted granted Critical
Publication of CN112364016B publication Critical patent/CN112364016B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24552—Database cache management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Memory System Of A Hierarchy Structure (AREA)

Abstract

一种异频数据对象的时间嵌套缓存模型的构建方法，将检测台站产生不同频率的位移数据和加速度数据，按照数据时刻根据不同的数据频率，有序写入缓存空间的异频数据对象‑时间层次嵌套缓存模型中的第一层存储结构和第二层存储结构中，保证不同频率数据的实时有效融合；并通过定期维护检测台站的缓存空间，维持缓存空间中数据的强时效性，从而避免持续不断的缓存数据造成资源空间的无效占用，以保证系统的持续稳定运行。

Description

一种异频数据对象的时间嵌套缓存模型的构建方法
技术领域
本发明涉及数据处理领域，尤其涉及一种异频数据对象的时间嵌套缓存模型的构建方法。
背景技术
我国地震监测工作，从单一的观测发展到由测震、电磁、形变和地下流体等多学科、多测项类别的综合观测体系；观测技术逐步实现了从模拟观测向数字化、智能化、网络化等方式的转变；逐步建立了基本覆盖全国及重点区域的地震监测台网。地震监测台站是全国地震监测和地球科学科研体系的基本组成部分，为开展地震监测预报、地球科学与基础研究积累和提供基础数据；承担地球和地震科学综合观测试验研究任务；为国民经济及国防建设和地球科学领域的国际合作服务。并通过地球科学国际合作研究，在我国形成一个参与资源、环境、灾害等全球变化有关问题研究的区域地球科学观测的骨干网络，成为全球地球科学观测网络的重要组成部分，为地球科学研究提供基础观测数据。
现有的地震监测只以加速度数据作为研判依据，其位移计算误差较大，影响后续预警工作开展。北斗卫星网络建设趋于完善，基于北斗卫星导航系统的监测数据更准确，可以弥补现有不足。北斗卫星网络的发展导致现有的预警体系从单一的加速度数据源转变为位移量数据，加速度量数据等多源数据。在这一过程中，由于不同来源数据的测量机制不同，其采样频率存在较大差异。因此需要在多源数据的基础上，结合采集设备的时空属性，有序组织数据缓存，为后续的准确计算提供支撑。
发明内容
本发明的目的在于提供一种异频数据对象的时间嵌套缓存模型的构建方法，从而解决现有技术中存在的前述问题。
为了实现上述目的，本发明采用的技术方案如下：
一种异频数据对象的时间嵌套缓存模型的构建方法，所述异频数据对象的时间嵌套缓存模型包括第一层存储结构和第二层存储结构；所述第一层存储结构为低频数据对象的存储空间，用于存储按照时间顺序排列的所述低频数据对象；所述第二层存储结构为高频数据对象的存储空间，用于存储按照时间嵌套于所述第一层存储结构中的所述低频数据对象中的所述高频数据对象。
异频数据对象的时间嵌套缓存模型的构建方法，包括以下步骤：
S1、设置每一个检测台站唯一的台站编码，每一个所述检测台站均建立有单独的台站缓存空间；
S2、采集低频数据对象，并提取所述低频数据对象的所述检测台站和低频数据时刻，按照所述低频数据时刻的时间顺序，将所述低频数据对象存储至对应的所述台站缓存空间中的所述第一层存储结构，形成低频数据缓存列表；
S3、采集高频数据对象，并提取所述高频数据对象的所述检测台站和高频数据时刻，将所述高频数据对象存储至所述台站编码相同的所述缓存空间中；利用所述高频数据时刻分析出对应的所述低频数据时刻，获取所述低频数据时刻对应的所述低频数据对象；将所述高频数据对象按照时间有序嵌套存储至对应的所述低频数据对象下的所述第二层存储结构中，形成高频数据缓存列表。
优选的，所述低频数据缓存列表的构建步骤如下：
S21、根据所述台站编码，直接获取对应的所述第一层存储结构中的所述低频数据缓存列表，判断所述低频数据缓存列表是否为空；
S22、若所述低频数据缓存列表为空，则直接将当前的低频数据添加至所述低频数据缓存列表中；
S23、若所述低频数据缓存列表不为空，则判断当前的所述低频数据对象的所述低频数据时刻在所述低频数据缓存列表中的是否已经存在；
S24、若所述低频数据缓存列表中在当前的所述低频数据时刻中已经存在实例化数据，则舍弃当前的所述低频数据对象，结束当前的缓存进程；
S25、若所述低频数据缓存列表中在当前的所述低频数据时刻中不存在实例化数据，则将当前的所述低频数据对象按照时间顺序，有序存储至所述低频数据缓存列表中。
优选的，所述高频数据缓存列表的构建步骤如下：
S31、根据所述高频数据时刻分析出对应的所述低频数据时刻，判断所述低频数据缓存列表中当前的所述低频数据时刻是否存在所述低频数据，若不存在，则创建未实例化数据添加到所述低频数据缓存列表中，并将所述高频数据对象缓存至新创建的所述未实例化数据下的所述第二层存储结构中；若存在，则获取所述低频数据时刻对应的所述低频数据对象；
S32、判断所述低频数据对象下挂载所述第二层存储结构中的所述高频数据缓存列表是否为空，若所述高频数据缓存列表为空，则直接将当前的高频数据添加至所述高频数据缓存列表中；
S33、若所述高频数据缓存列表不为空，则判断当前的所述高频数据对象的所述高频数据时刻在所述高频数据缓存列表中的是否已经存在所述高频数据对象；
S34、若存在，则舍弃当前的所述高频数据对象，结束当前的缓存进程；
S35、若不存在，则将当前的所述高频数据对象按照时间顺序，有序存储至所述高频数据缓存列表中。
优选的，所述台站缓存空间中的缓存数据包括台站静态数据和实时动态数据。
优选的，所述台站静态数据包括台站编码、位置信息、初始化时刻、删除时刻和台站状态。
优选的，所述实时动态数据根据数据的频率不同，按照时间层次进行嵌套缓存，包括挂载的台站编号、缓存时长和低频数据缓存列表。
优选的，所述低频数据缓存列表为按照时间有序存储的低频数据构成，包括台站编码、数据时刻、数据项和高频数据缓存列表。
优选的，所述台站缓存空间的维护方法为：设置每一个所述台站缓存空间中的数据缓存的最大时间长度；定期判断所述台站缓存空间中数据缓存的时间长度是否大于所述最大时间长度，若大于所述最大时间长度，则从缓存空间的首部按照时间顺序移除缓存的数据，并释放缓存空间，直至数据缓存的时间长度等于所述最大时间长度；若小于或等于所述最大时间长度，则结束所述台站缓存空间的维护。
本发明的有益效果是：本申请文件公开了一种异频数据对象的时间嵌套缓存模型的构建方法，以地震监测领域中多源大流量数据的缓存管理为应用场景，针对其中异频数据实时有序缓存和数据融合的需求，缓存管理对象主要涉及低频数据和高频数据。在低频数据和高频数据分别接入系统的过程中实现异频数据按照时间有序缓存和高效嵌套融合，本发明提供缓存窗口维护方法，用以维护系统资源占用合理有效，保证系统的长时间稳定有效运行。本申请文件提出基于多源大流量异频数据的缓存组织管理方法，为后续国家地震预警工作的深入开展奠定基础。
附图说明
图1是异频数据对象的时间嵌套缓存模型结构图；
图2是低频数据存储流程图；
图3是高频数据存储流程图；
图4是低频数据缓存列表中特定时刻低频数据获取流程图；
图5是高频数据添加于高频数据缓存列表的流程图；
图6是台站缓存空间维护流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不用于限定本发明。
异频数据对象的时间嵌套缓存模型应用于台站生产数据的实时数据缓存管理中，包括第一层存储结构和第二层存储结构；所述第一层存储结构为低频数据对象的存储空间，用于存储按照时间顺序排列的所述低频数据对象，所述低频数据对象包括实例化数据和未实例化数据，所述实例化数据为所述检测台站中提取的所述低频数据对象，所述未实例化数据为空值的低频数据对象；所述第二层存储结构为高频数据对象的存储空间，用于存储按照时间嵌套于所述第一层存储结构中的所述低频数据对象中的所述高频数据对象。
每一个所述检测台站均设置有单独的台站缓存空间，同一个检测台站采集的所有数据均缓存如所述台站缓存空间中，其中所述第一层存储结构位于所述台站缓存空间中，所述第二层存储结构挂载于所述第一层存储结构中；所述台站缓存空间中存储的数据包括台站静态数据和实时动态数据；所述台站静态数据包括台站编码、位置信息、初始化时刻、删除时刻和台站状态；所述实时动态数据根据数据的频率不同，按照时间层次进行嵌套缓存，包括挂载的台站编号、缓存时长和低频数据缓存列表；所述低频数据缓存列表为按照时间有序存储的低频数据构成，包括台站编码、数据时刻、数据项和高频数据缓存列表。
上述异频数据对象的时间嵌套缓存模型的构建方法，步骤如下：
S1、首先对每一个所述检测台站设置唯一的台站编码，在对应的所述检测台站的所述台站缓存空间中记录所述检测台站的静态数据，并将所述检测台站采集的实时动态数据缓存入所述第一层存储结构中；
S2、提取所述低频数据对象的台站编码和低频数据时刻，按照所述台站编码，将所述低频数据对象存储至对应的所述台站缓存空间中，并根据所述低频数据时刻按照时间顺序存储至所述第一层存储结构中，形成低频数据缓存列表；
S21、根据所述低频数据对象的所述台站编码，获取所述检测台站对应的所述第一层存储结构中的所述低频数据缓存列表，判断所述低频数据缓存列表是否为空；
S22、若所述低频数据缓存列表为空，则直接将所述低频数据对象添加存储至所述低频数据缓存列表中；
S23、若所述低频数据缓存列表不为空，则判断当前的所述低频数据对象是否已经存在于所述低频数据缓存列表中；
S24、若所述低频数据缓存列表中在当前的所述低频数据时刻中已经存在实例化数据，则舍弃当前的所述低频数据对象，结束当前的缓存进程；
S25、若所述低频数据缓存列表中在当前的所述低频数据时刻中不存在实例化数据，则将当前的所述低频数据对象按照时间顺序，有序存储至所述第一层存储结构中，形成低频数据缓存列表。
S3、提取所述高频数据对象的所述台站编码和高频数据时刻，将所述高频数据对象存储至所述台站编码相同的所述缓存空间中；利用所述高频数据时刻分析出对应的所述低频数据时刻，获取所述低频数据时刻对应的所述低频数据对象；将所述高频数据对象按照时间有序嵌套存储至对应的所述高频数据对象下挂载的所述第二层存储结构中，形成高频数据缓存列表。
S31、根据所述高频数据时刻分析出对应的所述低频数据时刻，判断所述低频数据缓存列表中当前的所述低频数据时刻是否存在所述低频数据，若不存在，则创建未实例化数据添加到所述低频数据缓存列表中，并将所述高频数据对象存储至新创建的所述未实例化数据下挂载的所述第二层存储结构中，添加于所述高频数据缓存列表首部；若存在，则获取所述低频数据时刻对应的所述低频数据对象，判断所述低频数据对象下挂载的所述高频数据缓存列表是否为空；
S32、若所述高频数据缓存列表为空，则直接将当前的高频数据添加至所述高频数据缓存列表首部；
S33、若所述高频数据缓存列表不为空，则判断当前的所述高频数据对象的所述高频数据时刻在所述高频数据缓存列表中的是否已经存在所述高频数据对象；
S34、若存在，则舍弃当前的所述高频数据对象，结束当前的缓存进程；
S35、若不存在，则将当前的所述高频数据对象按照时间顺序，有序添加至所述高频数据缓存列表中。
再对所述检测台站的所述台站缓存空间进行维护：设置每一个所述台站缓存空间中的数据缓存的最大时间长度；定期判断所述台站缓存空间中数据缓存的时间长度是否大于所述最大时间长度，若大于所述最大时间长度，则从缓存空间的首部按照时间顺序移除缓存的数据，并释放缓存空间，直至数据缓存的时间长度等于所述最大时间长度；若小于或等于所述最大时间长度，则结束所述检测台站的维护。
实施例
根据上述异频数据对象的时间嵌套缓存模型的构建方法针对地震预警领域的不同频率数据的实施采集；地震监测台站下设GNSS接收机和MEMS网络强震仪。其中，GNSS接收机产生频率为1Hz的低频位移数据，MEMS网络强震仪产生频率为50Hz的高频加速度数据。所述异频数据对象的时间嵌套缓存模型如图1所示，其中所述低频数据缓存列表为异频数据对象的时间嵌套缓存模型的第一层存储结构，高频数据缓存列表为异频数据对象的时间嵌套缓存模型的第二层存储结构；
CacheModel＝{(stID,Station)i|i＝1,2,…n}
其中，Station表示检测台站，stlD表示台站编码；
Station＝{stID,Loc,inTime,outTime,status,DataCache}
其中，Loc表示台站位置坐标；inTime表示台站初始化时刻，即台站首次置为有效台站的时刻；outTime表示台站删除时刻，即台站置为无效台站的时刻；status表示台站的当前状态，DataCache表示数据缓存空间，用于存储当前台站的缓存数据；
Loc＝{longitude,latitude,height}
其中，longitude表示经度，latitude表示纬度，height表示高程；
status＝{valid,invalid}
其中，valid表示当前台站有效，允许台站数据接入；invalid表示当前台站无效，拒绝台站数据接入；
DataCache＝{Station,TW,LFDataList}
其中，TW表示缓存时长、LFDataList表示低频数据缓存列表；
LFData＝{stID,time,dE,dN,dU,isDispExist,HFDataList}
其中，LFData表示低频数据，time表示数据时刻，dE、dN、dU表示数据项，且dE表示东西向位移，dN表示南北向位移，dU表示垂直向位移；HFDataList表示高频数据缓存列表；
HFDataList＝{HFDatai|i＝1,2,…k}
HFData，用于表示MEMS强震仪产生的高频加速度数据：
HFData＝{stID,time,accE,accN,accU}
其中，HFData表示高频数据，time表示高频加速度数据时间，即该数据的产生时刻；accE、accN、accU表示数据项，accE表示东西向加速度，accN表示南北向加速度，accU表示垂直向加速度。
所述异频数据对象的时间嵌套缓存模型的构建方法包括低频数据的存储和低频数据的存储；
其中所述低频数据的存储流程如图2所示，包括以下步骤：
S21、将待缓存数据的数据时刻记为t1。根据台站唯一编码定位缓存空间，获取低频数据缓存列表，判断所述低频数据缓存列表是否为空；
S22、若所述低频数据缓存列表为空，则直接将所述低频位移数据对象添加存储至所述低频数据缓存列表首位；
S23、若所述低频数据缓存列表不为空，则判断当前的所述低频位移数据对象是否已经存在于所述低频数据缓存列表中；
获取所述低频数据缓存列表尾部的所述低频数据时刻，记为t2，将所述t1与t2进行对比得到对比结果cmp，cmp＝t2-t1，
若cmp<0,说明t1时刻为最大数据时刻，则将当前的所述低频位移数据添加至所述低频数据缓存列表尾部，结束当前缓存过程；
若cmp＝0，说明t1时刻与当前低频数据缓存列表最大数据时刻相等，包含两种情况：第一种情况是在所述低频数据时刻t1，所述低频数据为实例化数据，出现数据重复现象，此时舍弃当前所述低频位移数据，结束当前缓存过程；第二种情况是，在t1时刻挂载的高频数据已存在，而所述低频数据为空值，为未实例化数据，此时以当前所述低频位移数据对象实例化所述未实例化数据，实现高低频数据的融合，结束当前缓存过程；
若cmp>0，则说明当前的所述低频数据时刻不是最大数据时刻，此时获取所述低频数据缓存列表首位数据时刻，记为t3；若t3>t1，则说明当前的所述低频数据时刻小于最小数据时刻，其有序位置位于缓存列表首位，则将当前所述低频位移数据添加至所述低频数据缓存列表首位，结束当前缓存过程；若t3＝t1，则说明当前数据时刻位于缓存列表首位，包含两种情况：第一种情况是在所述低频数据时刻t1，所述低频数据为实例化数据，出现数据重复现象，此时舍弃当前所述低频位移数据，结束当前缓存过程；第二种情况是，在t1时刻挂载的高频数据已存在，而所述低频数据为空值，为未实例化数据，此时以当前所述低频位移数据对象实例化所述未实例化数据，实现高低频数据的融合，结束当前缓存过程；若t3<t1，则说明t1时刻介于最大数据时刻和最小数据时刻之间，此时使用倒序遍历缓存列表，找到t1时刻所处缓存列表的位置，判断该位置是否已存在相应的所述低频数据，在所述低频数据已存在的情况下判断其是否已经实例化，若所述低频数据为实例化数据，出现数据重复现象，此时舍弃当前所述低频位移数据，结束当前缓存过程；若在t1时刻不存在所述低频数据，或所述低频数据为未实例化数据，以当前所述低频位移数据对象实例化所述未实例化数据，实现高低频数据的融合，结束当前缓存过程。
所述高频数据的存储流程如图3所示，获取当前高频加速度数据的所述高频数据时刻t1,并计算其所对应的所述低频数据时刻，根据低频数据时刻获取相应的所述低频数据，将所述高频加速度数据对象有序挂载至所述低频数据中的所述高频数据缓存列表中；包括以下步骤：
S31、根据所述台站编码，获取所述台站缓存空间，并获取对应时刻的所述低频数据，如图4所示；判断对应的所述低频数据缓存列表中在时刻是否存在所述低频数据，若不存在，则创建未实例化数据添加到所述低频数据缓存列表中，并将所述高频数据对象添加至新创建的所述未实例化数据下的所述高频数据缓存列表首部；若存在，则获取所述低频数据缓存列表尾部的所述低频数据时刻，与当前的所述低频数据时刻进行对比，得到对比结果cmp，cmp＝所述低频数据缓存列表尾部的所述低频数据时刻-当前的所述低频数据时刻；
若cmp＝＝0，则所述低频数据缓存列表尾部的所述低频数据即为所求，返回尾部低频数据，结束此过程；
若cmp<0，则说明当前的所述低频数据时刻在缓存列表中不存在，则创建未实例化数据添加至低频数据缓存列表尾部，返回所述低频数据；
若cmp>0，则获取所述低频数据缓存列表首部数据时刻，与当前数据时刻进行对比，其对比结果即为cmp，cmp＝所述低频数据缓存列表首部的所述低频数据时刻-当前的所述低频数据时刻。若cmp＝0，则说明首部低频数据即为所求，返回首部低频数据；若cmp>0，则创建未实例化数据，并添加至所述低频数据缓存列表首部，返回所述低频数据；若cmp<0，根据数据特征从后向前遍历所述低频数据缓存列表，找到当前的所述低频数据时刻在所述低频数据缓存列表中的位置，判断当前的所述低频数据时刻的所述低频数据是否已存在，若已存在，直接返回所述低频数据即为所求；若不存在，则创建未实例化数据并添加至所述低频数据缓存列表至对应位置，并返回所述低频数据。
S32、判断步骤S31中返回的所述低频数据下挂载的所述高频数据缓存列表是否为空，并将当前的所述高频加速度数据进行存储，如图5所示；
若所述高频数据缓存列表为空，则直接将当前的高频数据添加至所述高频数据缓存列表首部；
S33、若所述高频数据缓存列表不为空，则获取所述高频数据缓存列表尾部的所述高频数据时刻，并记为t1,与当前的所述高频数据时刻进行对比，得到对比结果cmp，cmp＝当前的所述高频数据时刻-所述高频数据缓存列表尾部的所述高频数据时刻；
若cmp＝0，当前所述高频数据时刻的所述高频加速度数据已存在，出现数据重复现象，则舍弃当前所述高频加速度数据，结束此次缓存过程；
若cmp>0，则将当前的所述高频加速度数据添加至所述高频数据缓存列表尾部，结束此次缓存过程；
若cmp<0，则获取所述高频数据缓存列表首部的所述高频数据时刻，并将当前的所述高频数据时刻与首部的所述高频数据时刻的进行对比，得到对比结果cmp，cmp＝当前的所述高频数据时刻-所述高频数据缓存列表首部的所述高频数据时刻；若cmp<0，则将当前的所述高频加速度数据添加至所述高频数据缓存列表首部，结束此次缓存过程；cmp＝0，则说明当前的所述高频数据时刻的高频数据已存在，出现数据重复现象，此时舍弃当前的所述高频加速度数据，结束此次缓存过程；若cmp>0，采用倒序方式遍历所述高频数据缓存列表，找到当前的所述高频数据时刻在所述高频数据缓存列表中的位置，判断所述位置中是否已存在高频数据，若所述高频数据存在，则舍弃当前待缓存数据，结束此次缓存过程；若所述高频数据不存在，则将当前的所述高频加速度数据添加至所述位置，结束此次缓存过程。
由于在地震预警领域，监测台站实时数据具有强时效性，缓存空间用于缓存近期较短时段内数据以满足应用需求；故而根据上述针对所述台站缓存空间的维护方法，对所述地震的检测台站的缓存空间进行维护，其过程如图6所示，设定所述缓存空间中存储的最大时长为TW，将系统的当前时刻记为t1,所述低频数据缓存列表中最大的低频数据时刻记为t2，顺序扫描所述低频数据缓存列表，将首部的所述低频数据时刻记为t0；若满足条件(t1-t0)>TW或(t2-t0)>TW，则从所述低频数据缓存列表的首部按照时间顺序移除缓存的所述低频位移数据，并释放第一层存储结构的空间，同时删除所述低频位移数据下挂载的所述高频加速度数据，释放所述第二层存储结构的缓存空间，直至数据存储的时间长度等于所述最大时间长度；若小于或等于所述最大时间长度，则结束所述检测台站的维护。
通过采用本发明公开的上述技术方案，得到了如下有益的效果：
本申请文件公开了一种异频数据对象的时间嵌套缓存模型的构建方法，以地震监测领域中多源大流量数据的缓存管理为应用场景，针对其中异频数据实时有序缓存和数据融合的需求，缓存管理对象主要涉及低频数据和高频数据。在低频数据和高频数据分别接入系统的过程中实现异频数据按照时间有序缓存和高效嵌套融合；本发明提供缓存窗口维护方法，用以维护系统资源占用合理有效，保证系统的长时间稳定有效运行。本申请文件提出基于多源大流量异频数据的缓存组织管理方法，为后续国家地震预警工作的深入开展奠定基础。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。

Claims (8)

1.一种异频数据对象的时间嵌套缓存模型的构建方法，其特征在于，所述异频数据对象的时间嵌套缓存模型包括第一层存储结构和第二层存储结构；所述第一层存储结构为低频数据对象的存储空间，用于存储按照时间顺序排列的所述低频数据对象；所述第二层存储结构为高频数据对象的存储空间，用于存储按照时间嵌套于所述第一层存储结构中的所述低频数据对象中的所述高频数据对象。
所述异频数据对象的时间嵌套缓存模型的构建方法，包括以下步骤：
S1、设置每一个检测台站唯一的台站编码，每一个所述检测台站均建立有单独的台站缓存空间；
S2、采集低频数据对象，并提取所述低频数据对象的所述检测台站和低频数据时刻，按照所述低频数据时刻的时间顺序，将所述低频数据对象存储至对应的所述台站缓存空间中的所述第一层存储结构，形成低频数据缓存列表；
S3、采集高频数据对象，并提取所述高频数据对象的所述检测台站和高频数据时刻，将所述高频数据对象存储至所述台站编码相同的所述缓存空间中；利用所述高频数据时刻分析出对应的所述低频数据时刻，获取所述低频数据时刻对应的所述低频数据对象；将所述高频数据对象按照时间有序嵌套存储至对应的所述低频数据对象下的所述第二层存储结构中，形成高频数据缓存列表。
2.根据权利要求1所述的异频数据对象的时间嵌套缓存模型的构建方法，其特征在于，所述低频数据缓存列表的构建步骤如下：
S21、根据所述台站编码，直接获取对应的所述第一层存储结构中的所述低频数据缓存列表，判断所述低频数据缓存列表是否为空；
S22、若所述低频数据缓存列表为空，则直接将当前的低频数据添加至所述低频数据缓存列表中；
S23、若所述低频数据缓存列表不为空，则判断当前的所述低频数据对象的所述低频数据时刻在所述低频数据缓存列表中的是否已经存在；
S24、若所述低频数据缓存列表中在当前的所述低频数据时刻中已经存在实例化数据，则舍弃当前的所述低频数据对象，结束当前的缓存进程；
S25、若所述低频数据缓存列表中在当前的所述低频数据时刻中不存在实例化数据，则将当前的所述低频数据对象按照时间顺序，有序存储至所述低频数据缓存列表中。
3.根据权利要求1所述的异频数据对象的时间嵌套缓存模型的构建方法，其特征在于，所述高频数据缓存列表的构建步骤如下：
S31、根据所述高频数据时刻分析出对应的所述低频数据时刻，判断所述低频数据缓存列表中当前的所述低频数据时刻是否存在所述低频数据，若不存在，则创建未实例化数据添加到所述低频数据缓存列表中，并将所述高频数据对象缓存至新创建的所述未实例化数据下的所述第二层存储结构中；若存在，则获取所述低频数据时刻对应的所述低频数据对象；
S32、判断所述低频数据对象下挂载所述第二层存储结构中的所述高频数据缓存列表是否为空，若所述高频数据缓存列表为空，则直接将当前的高频数据添加至所述高频数据缓存列表中；
S33、若所述高频数据缓存列表不为空，则判断当前的所述高频数据对象的所述高频数据时刻在所述高频数据缓存列表中的是否已经存在所述高频数据对象；
S34、若存在，则舍弃当前的所述高频数据对象，结束当前的缓存进程；
S35、若不存在，则将当前的所述高频数据对象按照时间顺序，有序存储至所述高频数据缓存列表中。
4.根据权利要求1所述的异频数据对象的时间嵌套缓存模型的构建方法，其特征在于，所述台站缓存空间中的缓存数据包括台站静态数据和实时动态数据。
5.根据权利要求1所述的异频数据对象的时间嵌套缓存模型的构建方法，其特征在于，所述台站静态数据包括台站编码、位置信息、初始化时刻、删除时刻和台站状态。
6.根据权利要求1所述的异频数据对象的时间嵌套缓存模型的构建方法，其特征在于，所述实时动态数据根据数据的频率不同，按照时间层次进行嵌套缓存，包括挂载的台站编号、缓存时长和低频数据缓存列表。
7.根据权利要求1所述的异频数据对象的时间嵌套缓存模型的构建方法，其特征在于，所述低频数据缓存列表为按照时间有序存储的低频数据构成，包括台站编码、数据时刻、数据项和高频数据缓存列表。
8.根据权利要求1所述的异频数据对象的时间嵌套缓存模型的构建方法，其特征在于，所述台站缓存空间的维护方法为：设置每一个所述台站缓存空间中的数据缓存的最大时间长度；定期判断所述台站缓存空间中数据缓存的时间长度是否大于所述最大时间长度，若大于所述最大时间长度，则从缓存空间的首部按照时间顺序移除缓存的数据，并释放缓存空间，直至数据缓存的时间长度等于所述最大时间长度；若小于或等于所述最大时间长度，则结束所述台站缓存空间的维护。
CN202011167425.3A 2020-10-27 2020-10-27 一种异频数据对象的时间嵌套缓存模型的构建方法 Active CN112364016B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011167425.3A CN112364016B (zh) 2020-10-27 2020-10-27 一种异频数据对象的时间嵌套缓存模型的构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011167425.3A CN112364016B (zh) 2020-10-27 2020-10-27 一种异频数据对象的时间嵌套缓存模型的构建方法

Publications (2)

Publication Number Publication Date
CN112364016A true CN112364016A (zh) 2021-02-12
CN112364016B CN112364016B (zh) 2021-08-31

Family

ID=74510822

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011167425.3A Active CN112364016B (zh) 2020-10-27 2020-10-27 一种异频数据对象的时间嵌套缓存模型的构建方法

Country Status (1)

Country Link
CN (1) CN112364016B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103136340A (zh) * 2013-02-04 2013-06-05 北京大学 一种在集群中快速迁移海量空间数据的方法
CN105095421A (zh) * 2015-07-14 2015-11-25 南京国电南自美卓控制系统有限公司 一种实时数据库的分布式的存储方法
US9396287B1 (en) * 2011-10-05 2016-07-19 Cumulus Systems, Inc. System for organizing and fast searching of massive amounts of data
CN106126604A (zh) * 2016-06-20 2016-11-16 华南理工大学 一种基于分布式数据仓库的社保数据联机分析处理系统
US20170034299A1 (en) * 2013-12-25 2017-02-02 Nec Corporation Cash management device, cash management method, and program
CN106528604A (zh) * 2016-09-26 2017-03-22 平安科技（深圳）有限公司 数据缓存控制方法及系统
CN107169033A (zh) * 2017-04-17 2017-09-15 东北大学 基于数据模式转换和并行框架的关系数据查询优化方法
CN109168005A (zh) * 2018-09-18 2019-01-08 天津大学 一种提高存储效率的二维离散小波变换结构设计方法
CN109359095A (zh) * 2018-09-11 2019-02-19 东华大学 一种大数据快速读取的dlk方法
CN110018969A (zh) * 2019-03-08 2019-07-16 平安科技（深圳）有限公司 数据缓存方法、装置、计算机设备和存储介质
CN110383319A (zh) * 2017-01-31 2019-10-25 益百利信息解决方案公司 大规模异构数据摄取和用户解析
CN110766501A (zh) * 2018-07-27 2020-02-07 北京京东尚科信息技术有限公司 数据嵌套存储方法、装置、电子设备及计算机可读介质
US10642588B2 (en) * 2011-11-15 2020-05-05 Global Supercomputing Corporation Method and system for converting a single-threaded software program into an application-specific supercomputer

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9396287B1 (en) * 2011-10-05 2016-07-19 Cumulus Systems, Inc. System for organizing and fast searching of massive amounts of data
US10642588B2 (en) * 2011-11-15 2020-05-05 Global Supercomputing Corporation Method and system for converting a single-threaded software program into an application-specific supercomputer
CN103136340A (zh) * 2013-02-04 2013-06-05 北京大学 一种在集群中快速迁移海量空间数据的方法
US20170034299A1 (en) * 2013-12-25 2017-02-02 Nec Corporation Cash management device, cash management method, and program
CN105095421A (zh) * 2015-07-14 2015-11-25 南京国电南自美卓控制系统有限公司 一种实时数据库的分布式的存储方法
CN106126604A (zh) * 2016-06-20 2016-11-16 华南理工大学 一种基于分布式数据仓库的社保数据联机分析处理系统
CN106528604A (zh) * 2016-09-26 2017-03-22 平安科技（深圳）有限公司 数据缓存控制方法及系统
CN110383319A (zh) * 2017-01-31 2019-10-25 益百利信息解决方案公司 大规模异构数据摄取和用户解析
CN107169033A (zh) * 2017-04-17 2017-09-15 东北大学 基于数据模式转换和并行框架的关系数据查询优化方法
CN110766501A (zh) * 2018-07-27 2020-02-07 北京京东尚科信息技术有限公司 数据嵌套存储方法、装置、电子设备及计算机可读介质
CN109359095A (zh) * 2018-09-11 2019-02-19 东华大学 一种大数据快速读取的dlk方法
CN109168005A (zh) * 2018-09-18 2019-01-08 天津大学 一种提高存储效率的二维离散小波变换结构设计方法
CN110018969A (zh) * 2019-03-08 2019-07-16 平安科技（深圳）有限公司 数据缓存方法、装置、计算机设备和存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
SAMIR AMMENOUCHE 等: "On Instruction-Level Method for Reducing Cache Penalties in Embedded VLIW Processors", 《2009 11TH IEEE INTERNATIONAL CONFERENCE ON HIGH PERFORMANCE COMPUTING AND COMMUNICATIONS》 *
单新建 等: "高频GNSS实时地震学与地震预警研究现状", 《地球物理学报》 *
陈亚迷 等: "面向5G基于C-RAN宏微协作的极简数据载波设计", 《中兴通讯技术》 *

Also Published As

Publication number Publication date
CN112364016B (zh) 2021-08-31

Similar Documents

Publication Publication Date Title
CN113065000B (zh) 一种基于地理实体的多源异构数据融合方法
CN107516417B (zh) 一种挖掘时空关联关系的实时高速公路流量估计方法
CN112394372B (zh) 一种基于ads-b记录数据评估多点定位性能的方法及系统
US20030050754A1 (en) Mapping patterns of movement based on the aggregation of spatial information contained in wireless transmissions
CN110461037B (zh) 一种动态格网化网络rtk定位方法及系统
CN110968636A (zh) 面向地震预警的多维大数据分析与处理系统
CN108022006B (zh) 一种数据驱动的可达性概率和区域生成方法
CN111127891B (zh) 一种基于浮动车轨迹大数据的路网核查方法
CN112418556A (zh) 一种基于互联网共享平台下的网格化服务体系
CN112364016B (zh) 一种异频数据对象的时间嵌套缓存模型的构建方法
Tu et al. Quantitative analysis of urban polycentric interaction using nighttime light data: A case study of Shanghai, China
Uhira et al. Earthquake swarms preceding the 2000 eruption of Miyakejima volcano, Japan
Moreira et al. The impact of data quality in the context of pedestrian movement analysis
Soe et al. Haversine formula and RPA algorithm for navigation system
CN112669571A (zh) 一种基于三维gis的实时滑坡预测预警系统
CN117253341A (zh) 基于北斗与高分遥感技术的路域灾害监测预警方法与系统
CN114577191B (zh) 基于地理空间信息数据的测绘数据采集方法及系统
CN111190975A (zh) 一种根据gps数据计算任务轨迹覆盖率的河道巡查方法
WO2018139771A2 (ko) 고정확도의 무선 측위 방법 및 장치
Venezky et al. WOVOdat design document: the schema, table descriptions, and create table statements for the database of worldwide volcanic unrest (WOVOdat version 1.0)
Tian et al. Sunsetting skim matrices
CN112765120A (zh) 一种基于手机信令分析和提取用户移动轨迹的方法
CN109947884B (zh) 一种全球ICESat/GLAS点云的高效组织查询方法
CN113376591A (zh) 一种基于杂波知识的雷达目标恒虚警检测方法
Chang et al. Selecting Sensing Location Leveraging Spatial and Cross-Domain Correlations

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant