CN110704450B - 一种实现数据处理的方法、装置、计算机存储介质及终端 - Google Patents

一种实现数据处理的方法、装置、计算机存储介质及终端 Download PDF

Info

Publication number
CN110704450B
CN110704450B CN201910973407.5A CN201910973407A CN110704450B CN 110704450 B CN110704450 B CN 110704450B CN 201910973407 A CN201910973407 A CN 201910973407A CN 110704450 B CN110704450 B CN 110704450B
Authority
CN
China
Prior art keywords
node
data
query
tree structure
hash
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910973407.5A
Other languages
English (en)
Other versions
CN110704450A (zh
Inventor
郝青生
闫红美
史士龙
吕福健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Helishi System Integration Co ltd
Original Assignee
Beijing Helishi System Integration Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Helishi System Integration Co ltd filed Critical Beijing Helishi System Integration Co ltd
Priority to CN201910973407.5A priority Critical patent/CN110704450B/zh
Publication of CN110704450A publication Critical patent/CN110704450A/zh
Application granted granted Critical
Publication of CN110704450B publication Critical patent/CN110704450B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G06F16/2246—Trees, e.g. B+trees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G06F16/2255—Hash tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种实现数据处理的方法、装置、计算机存储介质及终端，包括：转换原始数据为树形结构数据；将所述树形结构数据的每个节点的数据以哈希表的形式存储；其中，所述原始数据由以下结构的一个或一个以上数据构成：第一节点和第一节点的属性值，和/或第一节点和与第一节点连接的一个或一个以上下级节点及各节点的属性值。本发明实施例基于树形结构数据改善了综合自动化系统(TIAS)的数据处理效率，避免了数据处理对TIAS性能的影响。

Description

一种实现数据处理的方法、装置、计算机存储介质及终端
技术领域
本文涉及但不限于信息处理技术，尤指一种实现数据处理的方法、装置、计算机存储介质及终端。
背景技术
随着科学技术的进步及计算机高度集成应用的发展，轨道交通智能化和网络化等技术被逐步应用到全自动驾驶调度控制系统中。
轨道交通项目中，综合监控系统(ISCS)和列车自动控制系统(ATS)是分立的系统，ISCS主要监视和控制电力设备、火灾报警信息及其设备、环控设备、屏蔽门设备、防淹门设备、电扶梯设备、照明设备、门禁设备、自动售检票设备、广播和闭路电视设备、乘客信息显示系统的播出信息和时钟信息等；ATS主要监视和控制现场信号设备运行状态和列车运行信息，同时辅助操作员编制运营计划并监督计划执行。综合自动化系统(TIAS)由ISCS和ATS深度集成，采用同一套平台实现ISCS和ATS监控功能，是以行车指挥为核心的轨道交通综合自动化系统，通过将ISCS和ATS的实时数据存放在同一个数据库，实现ISCS和ATS的数据共享，减少了命令至执行的中间环节，提高了对轨道交通信号、供电、机电、车辆、站台门、乘客服务等设备进行监控的效率，实现了系统间快速联动和非正常情况下的应急处置，为后期扩展联动功能和决策支持提供技术支撑。
目前，TIAS性能要求与ATS一致，包括数据的读写时间要求为：设备状态变化至ATS界面的显示时间小于1秒，对外部系统的控制输出周期应小于1秒。在读写时间要求下TIAS会出现影响系统性能的数据处理问题，主要包括：1、在系统启动时，由于数据成倍增加，加载静态数据慢，会给用户造成假死现象，在数据加载完成后才能恢复正常；2、目前的ISCS数据为扁平结构，采用排序法从头到尾查找数据，在数据刷新或查询时，频繁、集中地访问大量数据，会导致大量数据堆积，降低数据的查询效率；3、当外部设备大量数据刷新时，由于刷新速度慢导致关键数据未被及时刷新而丢失时，将导致无法查询到丢失的关键数据的历史数据。
发明内容
以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。
本发明实施例提供一种实现数据处理的方法、装置、计算机存储介质及终端，能够避免TIAS出现影响系统性能的数据处理问题。
本发明实施例提供了一种实现数据处理的方法，包括：
转换原始数据为树形结构数据；
将所述树形结构数据的每个节点的数据以哈希表的形式存储；
其中，所述原始数据由以下结构的一个或一个以上数据构成：第一节点和第一节点的属性值，和/或第一节点和与第一节点连接的一个或一个以上下级节点及各节点的属性值。
在一种示例性实施例中，所述将树形结构数据的每个节点的数据以哈希表的形式存储，包括：
在内存中创建与所述树形结构数据的属性值关联的属性值数据区域；
以所述属性值数据区域和所述节点的父节点和子节点的名称作为哈希表值，所述树形结构数据中该节点的名称作为哈希关键字，构建所述哈希表。
在一种示例性实施例中，所述转换原始数据为树形结构数据时，所述方法还包括：
根据所述原始数据的所属业务的信息，设置所述树形结构数据的顶点。
在一种示例性实施例中，所述将树形结构数据的每个节点的数据以哈希表的形式存储之后，所述方法还包括：
将所述哈希表以二进制文件形式存储在本地存储介质上。
在一种示例性实施例中，所述将树形结构数据的每个节点的数据以哈希表的形式存储后，所述方法还包括：
通过预设的第一事务集对所述哈希表进行事务查询。
在一种示例性实施例中，所述通过预设的第一事务集对所述哈希表进行事务查询时，所述方法还包括：
由预设的第二事务集记录事务查询的查询相关信息，并根据记录的查询相关信息生成事务查询的命中率表；
所述查询相关信息包括以下一项或任意组合的信息：各事务查询的频率、各事务查询的耗时、事务查询所对应的属性值数据区域。
在一种示例性实施例中，所述通过预设的第一事务集对所述哈希表进行事务查询，包括：
进行事务查询时，确定所述命中率表中是否包含当前事务查询的已有记录；所述命中率表中包含当前事务查询的已有记录时，直接读取当前事务查询所对应的属性值数据区域；所述命中率表中不包含当前事务查询的已有记录时，通过所述哈希表进行事务查询。
在一种示例性实施例中，所述查询相关信息包括各事务查询的频率和/或各事务查询的耗时，所述方法还包括：
根据所述查询相关信息，对所述命中率表中的记录进行增删。
另一方面，本发明实施例还提供一种实现数据处理的装置，包括：转换单元和存储单元；其中，
转转单元用于：转换原始数据为树形结构数据；
存储单元用于：将所述树形结构数据的每个节点的数据以哈希表的形式存储；
其中，所述原始数据由以下结构的一个或一个以上数据构成：第一节点和第一节点的属性值，和/或第一节点和与第一节点连接的一个或一个以上下级节点及各节点的属性值。
再一方面，本发明实施例还提供一种计算机存储介质，所述计算机存储介质中存储有计算机可执行指令，所述计算机可执行指令用于执行上述实现数据处理的方法。
还一方面，本发明实施例还提供一种终端，包括：存储器和处理器；其中，
处理器被配置为执行存储器中的程序指令；
程序指令在处理器读取执行上述实现数据处理的方法。
与相关技术相比，本申请技术方案包括：转换原始数据为树形结构数据；将所述树形结构数据的每个节点的数据以哈希表的形式存储；其中，所述原始数据由以下结构的一个或一个以上数据构成：第一节点和第一节点的属性值，和/或第一节点和与第一节点连接的一个或一个以上下级节点及各节点的属性值。本发明实施例基于树形结构数据改善了TIAS的数据处理效率，避免了数据处理对TIAS性能的影响。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。
图1为本发明实施例实现数据处理的方法的流程图；
图2为原始数据的组成示意图；
图3为本发明实施例树形结构数据的组成示意图；
图4为本发明实施例哈希表的组成示意图；
图5为本发明实施例实现数据处理的装置的结构框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图1为本发明实施例实现数据处理的方法的流程图，如图1所示，包括：
步骤101、转换原始数据为树形结构数据；
其中，所述原始数据由以下结构的一个或一个以上数据构成：第一节点和第一节点的属性值，和/或第一节点和与第一节点连接的一个或一个以上下级节点及各节点的属性值。
需要说明的是，本发明实施例系统运行时，转换原始数据为树形结构数据之前，可以根据文件后缀确定是否包含树形结构数据，当根据文件后缀确定包含树形结构数据时，表示在前已经完成了将原始数据转换为树形结构数据的转换，如果已经获得树形结构数据，则可以不再进行数据转换。
在一种示例性实施例中，所述转换原始数据为树形结构数据，包括：
根据所述原始数据的结构，确定网络中各第一节点的网络连接信息；
根据确定的各第一节点的网络连接信息，将所述原始数据转换为所述树形结构数据。
本发明实施例原始数据为扁平结构，每个节点都有属性(PV)，如原始数据结构为第一节点+属性值、第一节点+第一节点的下级节点+属性值，本发明实施例下节点还可以包括下节点，即父节点在网络中作为子节点，对原始数据结构进行归类转换，同一类型数据归为一类，并放置树形节点相应位置；图2为原始数据的组成示意图，如图2所示，原始数据包括：D1.PV(这里，D1为第一节点)、D1.P1.PV(D1为第一节点，P1为D1的下级节点)、D1.P1.N1.PV(D1为第一节点，P1为D1的下级节点，N1为P1的下级节点)、D1.P1.N2.PV(D1为第一节点，P1为D1的下级节点，N2为P1的下级节点)、D1.P2.PV(D1为第一节点，P2为D1的下级节点)、D1.P2.N1.PV(D1为第一节点，P2为D1的下级节点，N1为P2的下级节点)、D1.P2.N2.PV(D1为第一节点，P2为D1的下级节点，N2为P2的下级节点)，转化为树形结构时原始数据的所属业务为顶点。图3为本发明实施例树形结构数据的组成示意图，如图3所示，根据原始数据的所属业务设置树形结构数据的顶点，顶点包括节点D1和D2，以节点D1的分支为例，D1的子节点包括P1、P2，P1的子节点包括N1、N2，P2的子节点包括N1、N2；依此类推。在图3中，为便于说明，将第一节点的下级节点定义为第二节点，将第二节点的下级节点定义为第三节点。
在一种示例性实施例中，本发明实施例可以将树形结构数据保存在存储器上。
步骤102、将所述树形结构数据的每个节点的数据以哈希表的形式存储；
本发明实施例将树形结构数据存储为哈希表，可以实现数据的高效查询。
在一种示例性实施例中，所述将树形结构数据的每个节点的数据以哈希表的形式存储，包括：
在内存中创建与所述树形结构数据的属性值关联的属性值数据区域；
以所述属性值数据区域和所述节点的父节点和子节点的名称作为哈希表值，所述树形结构数据中该节点的名称作为哈希关键字，构建节点的所述哈希表。
本发明实施例基于构建的每个节点的哈希表，最终可以形成树形结构的哈希表。
图4为本发明实施例哈希表的组成示意图，如图4所示，每个节点的哈希表以与所述树形结构数据的属性值关联的属性值数据区域和该节点的上下层(如有)，即父节点和子节点的名称作为哈希表值，所述树形结构数据中该节点的名称作为哈希关键字，以原始数据的所属业务作为顶点构建。例如，在D1这个节点中，哈希表值为：D1(顶点，P1，P2，P3，PV)，其中顶点，P1，P2，P3在图4表现为树形结构的上下层关系：D1为该节点的哈希关键字。在P1这个节点中，哈希表值为：P1(D1，N1，N2，PV)，其中D1，N1，N2，在图4表现为树形结构的上下层关系：P1为该节点的哈希关键字。基于上述处理，实现整个树形结构数据包含的每个节点的哈希表构建，最终形成树形哈希表。
在一种示例性实施例中，所述转换原始数据为树形结构数据时，本发明实施例方法还包括：
根据所述原始数据的所属业务的信息，设置所述树形结构数据的顶点。例如、将原始数据的所属业务设置为树形结构数据的顶点；
在一种示例性实施例中，所述将树形结构数据的每个节点的数据以哈希表的形式存储之后，所述方法还包括：
将所述哈希表以二进制文件形式存储在本地存储介质上。
在一种示例性实施例中，本发明实施例可以将哈希表存储在本地硬盘。
在一种示例性实施例中，所述将树形结构数据的每个节点的数据以哈希表的形式存储后，本发明实施例方法还包括：
通过预设的第一事务集对所述哈希表进行事务查询。这里，第一事务集可以包括分布式事务集。
在一种示例性实施例中，所述通过预设的第一事务集对所述哈希表进行事务查询时，本发明实施例方法还包括：
由预设的第二事务集记录事务查询的查询相关信息，并根据记录的查询相关信息生成事务查询的命中率表；
所述查询相关信息包括以下一项或任意组合的信息：各事务查询的频率、各事务查询的耗时、事务查询所对应的属性值数据区域。
在一种示例性实施例中，所述通过预设的第一事务集对所述哈希表进行事务查询，包括：
进行事务查询时，确定所述命中率表中是否包含当前事务查询的已有记录；所述命中率表中包含当前事务查询的已有记录时，直接读取当前事务查询所对应的属性值数据区域；所述命中率表中不包含当前事务查询的已有记录时，通过所述哈希表进行事务查询。
以下以图4的哈希表作为示例，对命中率表中不包含记录的事务查询进行简要说明：在进行事务查询时，根据事务查询的数量创建多个用于查询的分布式的第一事务集，由每个第一事务集对查询的语句进行解析，用解析的关键字在同层和上下层中查找，如：外部应用需要进行的事务查询是查找D1.P1.N2的属性值，那么首先以D1为关键字在顶点所含子节点的Hash表中查找，找到D1后，以P1为关键字在D1所含子节点的Hash表中查找，找到P1后，以N2为关键字在P1所含子节点的Hash表中查找，最终找到N2节点，并从N2哈希表值中获取属性值。
在一种示例性实施例中，所述查询相关信息包括各事务查询的频率和/或各事务查询的耗时，本发明实施例方法还包括：
根据所述查询相关信息，对所述命中率表中的记录进行增删。
本发明实施例设置命中率表可以用于提升事务查询的效率，因此命中率表记录的事务查询的条数可以由本领域技术人员根据经验设置一个数值；鉴于该数值的设置，为进一步提升事务查询的效率，因此对命中率表中的记录进行增删。
在一种示例性实施中，对命中率表中的记录进行增删包括：
当当前事务查询的耗时大于命中率表中记录的事务查询的耗时时，将当前事务查询的查询相关信息添加到命中率表中，删除命中率表中耗时最小的事务查询的查询相关信息。
在一种示例性实施中，对命中率表中的记录进行增删包括：
按照预设周期统计事务查询的查询相关信息；
计算预设周期内各事务查询对应的：事务查询的耗时与事务查询的频次的乘积，获得预设周期内各事件查询的总耗时；
根据获得的预设周期内各事件查询的总耗时，将总耗时排序在前的事件查询的查询相关信息添加到命中率表中。
将树形结构数据加载到内存时，系统读取存储在本地存储介质上的二进制文件，按存储格式构建树形哈希表，加快了数据转换效率。
本发明实施例将扁平结构的原始数据转换为树形结构数据后，在系统加载树形结构数据时，可以提升数据的加载速度，避免系统出现假死；将树形结构数据加载到内存后，以关键字的形式在树形哈希表中进行查询数据时，提升了数据查询速度，即使在进行大批量数据查询时，也不会造成数据堆积；当外部设备数据大量发生变化时，由于数据查询速度提高，不会由数据查询慢而导致数据丢失。
与相关技术相比，本申请技术方案包括：转换原始数据为树形结构数据；将所述树形结构数据的每个节点的数据以哈希表的形式存储；其中，所述原始数据由以下结构的一个或一个以上数据构成：第一节点和第一节点的属性值，和/或第一节点和与第一节点连接的一个或一个以上下节点及各节点的属性值。本发明实施例基于树形结构数据改善了TIAS的数据处理效率，避免了数据处理对TIAS性能的影响。
图5为本发明实施例实现数据处理的装置的结构框图，如图5所示，包括：转换单元和存储单元；其中，
转转单元用于：转换原始数据为树形结构数据；
存储单元用于：将所述树形结构数据的每个节点的数据以哈希表的形式存储；
其中，所述原始数据由以下结构的一个或一个以上数据构成：第一节点和第一节点的属性值，和/或第一节点和与第一节点连接的一个或一个以上下节点及各节点的属性值。
需要说明的是，本发明实施例系统运行时，转换原始数据为树形结构数据之前，可以根据文件后缀确定是否包含树形结构数据，当根据文件后缀确定包含树形结构数据时，表示在前已经完成了将原始数据转换为树形结构数据的转换，如果已经获得树形结构数据，则可以不再进行数据转换。
在一种示例性实施例中，所述转换单元具体用于：
根据所述原始数据的结构，确定网络中各第一节点的网络连接信息；
根据确定的各第一节点的网络连接信息，将所述原始数据转换为所述树形结构数据。
在一种示例性实施例中，所述存储单元具体用于：
在内存中创建与所述树形结构数据的属性值关联的属性值数据区域；
以所述属性值数据区域和所述节点的父节点和子节点的名称作为哈希表值，所述树形结构数据中该节点的名称作为哈希关键字，构建所述哈希表。
在一种示例性实施例中，所述转换单元还用于：
根据所述原始数据的所属业务的信息，设置所述树形结构数据的顶点。
在一种示例性实施例中，将树形结构数据的每个节点的数据以哈希表的形式存储之后，本发明实施例存储单元还用于：
将所述哈希表以二进制文件形式存储在本地存储介质上。
在一种示例性实施例中，本发明实施例装置还包括查询单元，用于：
通过预设的第一事务集对所述哈希表进行事务查询。这里，第一事务集可以包括分布式事务集。
在一种示例性实施例中，所述查询单元还用于：
由预设的第二事务集记录事务查询的查询相关信息，并根据记录的查询相关信息生成事务查询的命中率表；
所述查询相关信息包括以下一项或任意组合的信息：各事务查询的频率、各事务查询的耗时、事务查询所对应的属性值数据区域。
在一种示例性实施例中，查询单元用于通过预设的第一事务集对所述哈希表进行事务查询，包括：
进行事务查询时，确定所述命中率表中是否包含当前事务查询的已有记录；所述命中率表中包含当前事务查询的已有记录时，直接读取当前事务查询所对应的属性值数据区域；所述命中率表中不包含当前事务查询的已有记录时，通过所述哈希表进行事务查询。
在一种示例性实施例中，所述查询单元还用于：
根据所述查询相关信息，对所述命中率表中的记录进行增删。
本发明实施例设置命中率表可以用于提升事务查询的效率，因此命中率表记录的事务查询的条数可以由本领域技术人员根据经验设置一个数值；鉴于该数值的设置，为进一步提升事务查询的效率，因此对命中率表中的记录进行增删。
在一种示例性实施中，查询单元用于对命中率表中的记录进行增删包括：
当当前事务查询的耗时大于命中率表中记录的事务查询的耗时时，将当前事务查询的查询相关信息添加到命中率表中，删除命中率表中耗时最小的事务查询的查询相关信息。
在一种示例性实施中，查询单元用于对命中率表中的记录进行增删包括：
按照预设周期统计事务查询的查询相关信息；
计算预设周期内各事务查询对应的：事务查询的耗时与事务查询的频次的乘积，获得预设周期内各事件查询的总耗时；
根据获得的预设周期内各事件查询的总耗时，将总耗时排序在前的事件查询的查询相关信息添加到命中率表中。
本发明实施例将扁平结构的原始数据转换为树形结构数据，通过树形结构数据可以提升数据的加载速度，避免系统出现假死；将树形结构数据加载到内存时，使用哈希表把树形结构的顶点作为关键字分别存放在哈希表中，加快了数据查询速度，即使在进行大批量数据查询时，也不会造成数据堆积；当外部设备数据大量发生变化时，由于数据查询速度提高，不会由数据查询慢而导致数据丢失。
与相关技术相比，本申请技术方案包括：转换原始数据为树形结构数据；将所述树形结构数据的每个节点的数据以哈希表的形式存储；其中，所述原始数据由以下结构的一个或一个以上数据构成：第一节点和第一节点的属性值，和/或第一节点和与第一节点连接的一个或一个以上下节点及各节点的属性值。本发明实施例基于树形结构数据改善了TIAS的数据处理效率，避免了数据处理对TIAS性能的影响。
本发明实施例还提供一种计算机存储介质，所述计算机存储介质中存储有计算机可执行指令，所述计算机可执行指令用于执行上述实现数据处理的方法。
本发明实施例还提供一种终端，包括：存储器和处理器；其中，
处理器被配置为执行存储器中的程序指令；
程序指令在处理器读取执行上述实现数据处理的方法。
“本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质”。

Claims (7)

1.一种实现数据处理的方法，应用于综合自动化系统TIAS，该TIAS包括综合监控系统ISCS和列车自动控制系统ATS，通过将ISCS和ATS的实时数据存放在同一个数据库，实现ISCS和ATS的数据共享，所述方法包括：
将采用扁平结构的ISCS的实时数据作为原始数据，通过对原始数据结构进行归类转换，将同一类型数据归为一类，放置树形节点相应位置，完成转换原始数据为树形结构数据的操作；
将所述树形结构数据的每个节点的数据以哈希表的形式存储；
其中，所述原始数据由以下结构的一个或一个以上数据构成：第一节点和第一节点的属性值，和/或第一节点和与第一节点连接的一个或一个以上下级节点及各节点的属性值；
其中，所述将树形结构数据的每个节点的数据以哈希表的形式存储，包括：
在内存中创建与所述树形结构数据的属性值关联的属性值数据区域；
以所述属性值数据区域和所述节点的父节点和子节点的名称作为哈希表值，所述树形结构数据中该节点的名称作为哈希关键字，构建所述哈希表；
其中，任一节点的哈希值包括哈希关键字和该节点在属性结构中的上下层关系；其中所述上下层关系表示如下：
顶点，上层节点1，……，上层节点n，下层节点1，……，下层节点m；其中n和m均为正整数；
所述将所述树形结构数据的每个节点的数据以哈希表的形式存储之后，所述方法还包括：
按照预设周期统计事务查询的查询相关信息，其中所述查询相关信息包括各事务查询的频率、各事务查询的耗时、事务查询所对应的属性值数据区域；
计算预设周期内各事务查询对应的事务查询的耗时与事务查询的频次的乘积，获得预设周期内各事件查询的总耗时；
根据获得的预设周期内各事件查询的总耗时，将总耗时排序在前的事件查询的查询相关信息添加到命中率表中；
进行事务查询时，确定所述命中率表中是否包含当前事务查询的已有记录；所述命中率表中包含当前事务查询的已有记录时，直接读取当前事务查询所对应的属性值数据区域；所述命中率表中不包含当前事务查询的已有记录时，解析事务查询的哈希关键字，对哈希关键字中第一个关键字所在层的所有子节点中找到该第一个关键字对应的节点列表；在该第一个关键字对应的节点列表中找到第二个关键字对应的节点列表，以此类推，直到找到最后一个关键字对应的节点，得到对应的属性值数据区域。
2.根据权利要求1所述的方法，其特征在于，所述转换原始数据为树形结构数据时，所述方法还包括：
根据所述原始数据的所属业务的信息，设置所述树形结构数据的顶点。
3.根据权利要求1或2所述的方法，其特征在于，将所述树形结构数据的每个节点的数据以哈希表的形式存储之后，所述方法还包括：
将所述哈希表以二进制文件形式存储在本地存储介质上。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据所述查询相关信息，对所述命中率表中的记录进行增删。
5.一种实现数据处理的装置，应用于TIAS，该TIAS包括ISCS和ATS，通过将ISCS和ATS的实时数据存放在同一个数据库，实现ISCS和ATS的数据共享，所述装置包括：转换单元和存储单元；其中，
转换 单元用于：采用扁平结构的ISCS的实时数据作为原始数据，通过对原始数据结构进行归类转换，将同一类型数据归为一类，放置树形节点相应位置，完成转换原始数据为树形结构数据的操作；
存储单元用于：将所述树形结构数据的每个节点的数据以哈希表的形式存储；
其中，所述原始数据由以下结构的一个或一个以上数据构成：第一节点和第一节点的属性值，和/或第一节点和与第一节点连接的一个或一个以上下级节点及各节点的属性值；
其中，所述将树形结构数据的每个节点的数据以哈希表的形式存储，包括：
在内存中创建与所述树形结构数据的属性值关联的属性值数据区域；
以所述属性值数据区域和所述节点的父节点和子节点的名称作为哈希表值，所述树形结构数据中该节点的名称作为哈希关键字，构建所述哈希表；
其中，任一节点的哈希值包括哈希关键字和该节点在属性结构中的上下层关系；其中所述上下层关系表示如下：
顶点，上层节点1，……，上层节点n，下层节点1，……，下层节点m；其中n和m均为正整数；
所述装置还包括查询单元；其中：
所述查询单元，用于在将所述树形结构数据的每个节点的数据以哈希表的形式存储之后，执行如下操作，包括：
按照预设周期统计事务查询的查询相关信息，其中所述查询相关信息包括各事务查询的频率、各事务查询的耗时、事务查询所对应的属性值数据区域；
计算预设周期内各事务查询对应的事务查询的耗时与事务查询的频次的乘积，获得预设周期内各事件查询的总耗时；
根据获得的预设周期内各事件查询的总耗时，将总耗时排序在前的事件查询的查询相关信息添加到命中率表中；
进行事务查询时，确定所述命中率表中是否包含当前事务查询的已有记录；所述命中率表中包含当前事务查询的已有记录时，直接读取当前事务查询所对应的属性值数据区域；所述命中率表中不包含当前事务查询的已有记录时，解析事务查询的哈希关键字，对哈希关键字中第一个关键字所在层的所有子节点中找到该第一个关键字对应的节点列表；在该第一个关键字对应的节点列表中找到第二个关键字对应的节点列表，以此类推，直到找到最后一个关键字对应的节点，得到对应的属性值数据区域。
6.一种计算机存储介质，所述计算机存储介质中存储有计算机可执行指令，所述计算机可执行指令用于执行权利要求1~4中任一项所述的实现数据处理的方法。
7.一种终端，包括：存储器和处理器；其中，
处理器被配置为执行存储器中的程序指令；
程序指令在处理器读取执行权利要求1~4中任一项所述的实现数据处理的方法。
CN201910973407.5A 2019-10-14 2019-10-14 一种实现数据处理的方法、装置、计算机存储介质及终端 Active CN110704450B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910973407.5A CN110704450B (zh) 2019-10-14 2019-10-14 一种实现数据处理的方法、装置、计算机存储介质及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910973407.5A CN110704450B (zh) 2019-10-14 2019-10-14 一种实现数据处理的方法、装置、计算机存储介质及终端

Publications (2)

Publication Number Publication Date
CN110704450A CN110704450A (zh) 2020-01-17
CN110704450B true CN110704450B (zh) 2023-02-17

Family

ID=69199387

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910973407.5A Active CN110704450B (zh) 2019-10-14 2019-10-14 一种实现数据处理的方法、装置、计算机存储介质及终端

Country Status (1)

Country Link
CN (1) CN110704450B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111271762B (zh) * 2020-03-25 2021-05-11 上海天麦能源科技有限公司 一种热力管网的安全控制方法和系统
CN111538544B (zh) * 2020-04-20 2024-05-14 北京达佳互联信息技术有限公司 配置数据的显示方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104462147A (zh) * 2013-09-25 2015-03-25 天津书生投资有限公司 一种文档的存储方法
CN104915410A (zh) * 2015-06-04 2015-09-16 福建天晴数码有限公司 一种思维导图保存及加载方法、保存及加载系统
CN106339450A (zh) * 2016-08-25 2017-01-18 成都索贝数码科技股份有限公司 一种树形数据的索引方法
CN107092659A (zh) * 2017-03-28 2017-08-25 成都优易数据有限公司 一种通用的树形结构存储解析方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140213638A1 (en) * 2013-01-25 2014-07-31 Duke University Compositions and Biomarkers for Heart Disease, Injury and Failure and Methods of Use
CN103631632B (zh) * 2013-11-29 2017-08-04 华为技术有限公司 移植方法及源到源编译器
CN105959419A (zh) * 2016-07-15 2016-09-21 浪潮(北京)电子信息产业有限公司 基于一致性树的分布式存储结构的构建方法及系统
CN108280229B (zh) * 2018-02-26 2022-01-25 腾讯科技（深圳）有限公司 内存数据读写方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104462147A (zh) * 2013-09-25 2015-03-25 天津书生投资有限公司 一种文档的存储方法
CN104915410A (zh) * 2015-06-04 2015-09-16 福建天晴数码有限公司 一种思维导图保存及加载方法、保存及加载系统
CN106339450A (zh) * 2016-08-25 2017-01-18 成都索贝数码科技股份有限公司 一种树形数据的索引方法
CN107092659A (zh) * 2017-03-28 2017-08-25 成都优易数据有限公司 一种通用的树形结构存储解析方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
扁平对象转为树形对象;hqzh;《https://zhuanlan.zhihu.com/p/41240019》;20180803;1 *

Also Published As

Publication number Publication date
CN110704450A (zh) 2020-01-17

Similar Documents

Publication Publication Date Title
US10949447B2 (en) Blockchain-based data synchronizing and data block parsing method and device
CN105069134A (zh) 一种Oracle统计信息自动收集方法
CN105808633A (zh) 数据归档方法和系统
CN110704450B (zh) 一种实现数据处理的方法、装置、计算机存储介质及终端
US11449509B2 (en) Workflow driven database partitioning
CN110018989A (zh) 一种快照比对的方法和装置
CN113448938A (zh) 数据处理方法、装置、电子设备及存储介质
CN116842055A (zh) 用于物联网数据批流一体处理的系统及方法
CN116166849A (zh) 一种数据管理方法、装置、设备及存储介质
CN109189343B (zh) 一种元数据落盘方法、装置、设备及计算机可读存储介质
CN114328601A (zh) 数据降采样和数据查询方法、系统及存储介质
US11250001B2 (en) Accurate partition sizing for memory efficient reduction operations
CN116301656A (zh) 基于日志结构合并树的数据存储方法、系统及设备
CN116186116A (zh) 一种基于等保测评的资产问题分析方法
CN116820323A (zh) 数据存储方法、装置、电子设备及计算机可读存储介质
EP3550451A1 (en) Data storage and maintenance method and device, and computer storage medium
CN107609038A (zh) 数据清理方法和装置
JP5810937B2 (ja) 管理プログラムおよび装置
CN113190550B (zh) 一种基于树形结构的组织结构权限分配方法
CN111222146B (zh) 权限校验方法、权限校验装置、存储介质与电子设备
CN116257487A (zh) 基于MongoDB索引的用电信息非结构化数据存储方法
US20150106354A1 (en) Automated composition of topical media
CN117194426A (zh) 一种数据分区归档方法、系统、设备和介质
CN112052360A (zh) 企业知识地图的构建方法及相关装置、计算机存储介质
CN117453690A (zh) 电网数据仓库的数据处理方法、装置和计算机介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20211117

Address after: 100176 room 3412, floor 4, building 3, yard 2, Desheng Middle Road, Beijing Economic and Technological Development Zone, Daxing District, Beijing

Applicant after: Beijing Helishi system integration Co.,Ltd.

Address before: 100176 No.2, Disheng Middle Road, Yizhuang Economic and Technological Development Zone, Daxing District, Beijing

Applicant before: BEIJING HOLLYSYS Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant