CN112035551A - 时间序列数据转换方法、系统、计算机设备和存储介质 - Google Patents

时间序列数据转换方法、系统、计算机设备和存储介质 Download PDF

Info

Publication number
CN112035551A
CN112035551A CN202010905655.9A CN202010905655A CN112035551A CN 112035551 A CN112035551 A CN 112035551A CN 202010905655 A CN202010905655 A CN 202010905655A CN 112035551 A CN112035551 A CN 112035551A
Authority
CN
China
Prior art keywords
data
extraction
target attribute
time
service data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010905655.9A
Other languages
English (en)
Inventor
刘忠禹
潘进
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Asset Management Co Ltd
Original Assignee
Ping An Asset Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Asset Management Co Ltd filed Critical Ping An Asset Management Co Ltd
Priority to CN202010905655.9A priority Critical patent/CN112035551A/zh
Publication of CN112035551A publication Critical patent/CN112035551A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2474—Sequence data queries, e.g. querying versioned data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及大数据领域，提供了一种时间序列数据转换方法，所述方法包括：获取业务数据集；根据预先配置好的抽取规则对所述业务数据集进行数据抽取，以得到多个目标属性数据；根据预先配置好的转换规则对每个目标属性数据进行数据转换，以得到多个时间序列数据；及将所述多个时间序列数据加载到时间序列数据库中，并对所述多个时间序列数据进行可视化处理并将多个时间序列数据上传到区块链中。本发明通过抽取规则对业务数据进行数据抽取，再将抽取得到的目标属性数据转换为时间序列数据，提高了时间序列数据的转换效率。

Description

时间序列数据转换方法、系统、计算机设备和存储介质
技术领域
本发明实施例涉及大数据领域，尤其涉及一种时间序列数据转换方法、系统、计算机设备及计算机可读存储介质。
背景技术
随着计算机和信息技术的迅猛发展和普及应用，行业应用系统的规模迅速扩大，行业应用所产生的数据呈爆炸性增长。数据可视化，是将离散分布、无法直观查看使用的数据进行整合。转化成为时间序列的数据进行存储，然后通过前端工具可以做成线性图或状态图等，可以直观展示分散数据的状态、规则、变化以及未来趋势。以此可以为业务流程操作提供判断依据，以及预警等功能。目前市场上没有一个简单易用的关系型数据到时间序列数据的转换工具或者方法，已知工具操作和配置较复杂，过于庞大，扩展性并不强，上手难度较高。基于关系型数据直接展示，数据整合的灵活性比较低。
因此，如何快速的将不同类型关系型数据库中的静态业务指标，转换成时间序列化的数据，进一步的提高时间序列数据的转换效率，成为了当前亟需解决的技术问题之一。
发明内容
有鉴于此，有必要提供一种时间序列数据转换方法、系统、计算机设备及计算机可读存储介质，以解决目前将不同类型关系型数据库中的静态业务指标，转换成时间序列化的数据的效率低的技术问题。
为实现上述目的，本发明实施例提供了一种时间序列数据转换方法，所述方法步骤包括：
获取业务数据集；
根据预先配置好的抽取规则对所述业务数据集进行数据抽取，以得到多个目标属性数据；
根据预先配置好的转换规则对每个目标属性数据进行数据转换，以得到多个时间序列数据；及
将所述多个时间序列数据加载到时间序列数据库中，并对所述多个时间序列数据进行可视化处理。
示例性的，所述抽取规则包括多个抽取逻辑；
所述根据预先设定好的抽取规则对所述业务数据集进行数据抽取，以得到多个目标属性数据，包括：
获取每个业务数据的属性信息，以得到所述业务数据集对应的多个属性信息；
根据所述业务数据集对应的多个属性信息从所述抽取规则确定至少一个抽取逻辑；及
根据至少一个抽取逻辑对每个业务数据进行数据抽取，以得到多个目标属性数据。
示例性的，所述根据至少一个抽取逻辑对每个业务数据进行数据抽取，以得到多个目标属性数据，包括：
根据每个抽取逻辑从对应的业务数据中抽取与所述抽取逻辑对应的目标属性信息，以得到多个目标属性信息；及
将每个目标属性信息作为对应的业务数据的属性标签，以生成多个目标属性数据。
示例性的，所述根据抽取逻辑从所述业务数据中抽取与所述抽取逻辑对应的目标属性信息，包括：
根据每个抽取逻辑生成一个对应的抽取任务；及
通过执行所述抽取任务对所述业务数据集中的每个业务数据进行数据抽取，以得到每个业务数据对应的目标属性信息。
示例性的，还包括：
记录每个抽取任务的任务执行信息，以生成任务执行表，其中，任务执行信息包括每条任务对应执行频率和业务数据的采集过程信息；
将所述任务执行表上传到区块链中。
示例性的，所述根据预先配置好的转换规则对每个目标属性数据进行数据转换，以得到多个时间序列数据，包括：
对多个目标属性数据进行分类，以得到多组目标属性数据；
为每组目标属性数据分配一个对应数据类型格式；及
根据所述数据类型格式将每个目标属性数据转换为时间序列数据，以得到所述多个时间序列数据。
示例性的，还包括：将所述多个时间序列数据上传到区块链中。
为实现上述目的，本发明实施例还提供了一种时间序列数据转换系统，包括：
获取模块，用于获取业务数据集；
抽取模块，用于根据预先配置好的抽取规则对所述业务数据集进行数据抽取，以得到多个目标属性数据；
转换模块，用于根据预先配置好的转换规则对每个目标属性数据进行数据转换，以得到多个时间序列数据；及
加载模块，用于将所述多个时间序列数据加载到时间序列数据库中，并对所述多个时间序列数据进行可视化处理。
为实现上述目的，本发明实施例还提供了一种计算机设备，所述计算机设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被处理器执行时实现如上述的时间序列数据转换方法的步骤。
为实现上述目的，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序可被至少一个处理器所执行，以使所述至少一个处理器执行如上述的时间序列数据转换方法的步骤。
本发明实施例提供的时间序列数据转换方法、系统、计算机设备及计算机可读存储介质，本实施例通过抽取规则对业务数据进行数据抽取，再将抽取得到的目标属性数据转换为时间序列数据，提高了时间序列数据的转换效率；通过对时间序列数据进行可视化处理，实现了对分散不规律数据的整合与可视化展示。
附图说明
图1为本发明实施例时间序列数据转换方法的流程示意图。
图2为本发明时间序列数据转换系统实施例二的程序模块示意图。
图3为本发明计算机设备实施例三的硬件结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
以下实施例中，将以计算机设备2为执行主体进行示例性描述。
实施例一
参阅图1，示出了本发明实施例之时间序列数据转换方法的步骤流程图。可以理解，本方法实施例中的流程图不用于对执行步骤的顺序进行限定。下面以计算机设备2为执行主体进行示例性描述。具体如下。
步骤S100，获取业务数据集。
所述业务数据集可以是计算机设备2从数据源中采集到的N个业务数据，N为大于等于1的整数。所述数据源可以是关系型数据库；所述关系型数据库，是指采用了关系模型来组织数据的数据库，其以行和列的形式存储数据，以便于用户理解，关系型数据库这一系列的行和列被称为表，一组表组成了数据库。
在示例性的实施例中，所述计算机设备2还可以获取每个业务数据的业务数据信息，所述业务数据信息包括所述业务数据的属性信息。其中，所述业务数据信息可以通过预定的通讯接口从多个数据采集终端设备获取得到。所述通讯接口可以是超文本传输协议(HyperText Transfer Protocol，HTTP)接口，传输控制协议(Transmission ControlProtocol，TCP)接口，用户数据报协议(User DatagramProtocol，UDP)接口中任意一种，所述通讯接口还可以是其他通讯协议定义的接口，本申请对此不做具体限定。
在示例性的实施例中，所述业务数据集还可以从其他设备处获取业务数据信息。例如，所述计算机设备2可以从其他设备的数据库获取所述业务数据信息。还可以其他接收终端设备(例如移动手机、膝上计算机等)发送的业务数据，并获取每个业务数据的业务数据信息。
步骤S102，根据预先配置好的抽取规则对所述业务数据集进行数据抽取，以得到多个目标属性数据。
所述计算机设备2可以通过SOURCE_SQL对所述业务数据集进行数据抽取，所述SOURCE_SQL为关系型数据的采集脚本，通过执行采集脚本可以对所述业务数据集进行数据抽取，以得到目标属性数据。所述目标属性数据可以是包括时间和标签的值。其中，TIME代表时间，VALUE代表标签的值，其余每一列代表一个标签。如下表1所示：
Figure BDA0002661334990000061
表1
其中，TIME是“时间”项。是19位的浮点时间格式，用于记录每个数据的时间戳。默认不提供则为当前执行的时间。VALUE是“标签的值”项。假如VALUE代表温度，那么标签可以是“地区”、“海拔”等，VALUE的值就是相应的温度。
除上述的key，其他key属性都是“标签”项。这些key的值都是int型数字，代表SOURCE_SQL结果集中第n列。可以根据实际情景任意设定，只要跟SOURCE_SQL结果集能映射上即满足要求，如：
TIME:1，对应SOURCE_SQL结果集中第1列；userid:2，对应SOURCE_SQL结果集中第2列；以此类推，映射后的数据，通过restfull接口写入关系型数据库，最终完成转换映射。
示例性的，所述抽取规则包括多个抽取逻辑。所述步骤S102还可以进一步的包括步骤S300～S304，其中：步骤S300，获取每个业务数据的属性信息，以得到所述业务数据集对应的多个属性信息；步骤S302，根据所述业务数据集对应的多个属性信息从所述抽取规则确定至少一个抽取逻辑；及步骤S304，根据至少一个抽取逻辑对每个业务数据进行数据抽取，以得到多个目标属性数据。
所述抽取逻辑可以基于所述SOURCE_SQL得到。每个业务数据包括至少一个属性，对于同一属性数据的数据抽取可以通过一个对应的抽取逻辑完成。
在一些实施例中，所述计算机设备2可以获取每个业务数据的属性信息，以得到所述业务数据集对应的多个属性信息。需要解释的是，所述多个属性信息包括所述业务数据集对应的全部属性信息。当所述计算机设备2得到所述业务数据集对应的多个属性信息后，可以根据所述多个属性信息确定与所述多个属性信息对应的一个或多个抽取逻辑，以通过一个或多个抽取逻辑对每个业务数据进行数据抽取，以得到多个目标属性数据。
示例性的，所述步骤S304还可以进一步的包括步骤S400～S402，其中：步骤S400，根据每个抽取逻辑从对应的业务数据中抽取与所述抽取逻辑对应的目标属性信息，以得到多个目标属性信息；及步骤S402，将每个目标属性信息作为对应的业务数据的属性标签，以生成多个目标属性数据。
所述目标属性数据包括业务数据和所述业务数据对应的一个属性数据。所述业务数据对应的一个属性数据是根据所述业务数据的其中一个属性信息生成的数据。所述计算机设备2可以根据所述抽取逻辑从所述业务数据中抽取与所述抽取逻辑对应的目标属性信息；并将每个目标属性信息作为对应的业务数据的属性标签，以生成多个目标属性数据。即所述目标属性数据为携带有属性标签的业务数据。
示例性的，所述步骤S402还可以进一步的包括步骤S500～S502，其中：步骤S500，根据每个抽取逻辑生成一个对应的抽取任务；及步骤S502，通过执行所述抽取任务对所述业务数据集中的每个业务数据进行数据抽取，以得到每个业务数据对应的目标属性信息。
所述抽取任务是调度的单位，是给调度使用的。当所述计算机设备2抽取所述业务数据对应的目标属性信息时，所述计算机设备2可以根据每个抽取逻辑生成一个对应的抽取任务。对同一种属性的抽取可以生成为一种抽取任务，抽取任务可以定义了目标系统的信息和目标数据的本地存储目录；抽取逻辑可以定义了目标数据表信息、抽取类型、过滤条件和下次抽取时间等信息。在本实施例中，所述计算机设备2通过调用所述抽取任务对所述业务数据集中的每个业务数据进行数据抽取，以得到每个业务数据对应的目标属性信息。
其中，抽取任务采用Python开源模块APschedule进行管理，所述APschedule的功能类似linux的crontab，该模块的特点是轻量化，配置较容易，任务扩展十分方便。另外，通过APschedule可以自定义添加想要执行的任务，设定任务的定时或者循环时间，启动后任务会自动转入后台自动运行。期间任务可以动态调整，实时生效。任务配置高效，扩展性较高。任务的维护和管理成本低，容易入手。
另外，所述抽取任务还可以是预先设定的，且抽取规则也可根据实际需要进行设置，本申请对此不作限制。在本实施例中，所述计算机设备2可以调用预先设定的抽取任务，通过所述预先设定的抽取任务对所述业务数据集中的每个业务数据进行数据抽取，以得到每个业务数据对应的目标属性信息。
步骤S104，根据预先配置好的转换规则对每个目标属性数据进行数据转换，以得到多个时间序列数据。
所述计算机设备2可以通过TARGET_SQL对目标属性数据进行数据转换，所述TARGET_SQL为时间序列数据的转换逻辑，通过执行TARGET_SQL可以对所述业务数据集进行数据转换，以得到时间序列数据。
所述转换规则可以基于所述TARGET_SQL得到一种转换逻辑数据结构是dictionary data数据字典，key-value类型数据，key包含4类数据项，“时间序列数据源”、“标签”、“标签的值”、“时间”。其中，TARGET_SQL格式类似如下：
{'db_name':'mydb'，'table_name':'page_performance'，'time':1，'userid':2，'cmbno':3，'pageid':4，'pagename':5，'flag':6，'value':7}。
其中，“db_name”和“table_name”是“时间序列数据源”项。指向关系型数据的库名和表明，是必须提供的属性，用于寻找需要存储到的目标关系型数据。
示例性的，所述步骤S104还可以进一步的包括步骤S600～S604，其中：步骤S600，对多个目标属性数据进行分类，以得到多组目标属性数据；步骤S600，为每组目标属性数据分配一个对应数据类型格式；及步骤S600，根据所述数据类型格式将每个目标属性数据转换为时间序列数据，以得到所述多个时间序列数据。
所述计算机设备2可以根据所述目标属性数据的属性标签，对所述多个目标属性数据进行分类，以得到多组目标属性数据。每组目标属性数据对应一种属性标签。在一实施例中，所述计算机设备2可以预先为每种目标属性数据配置一个对应的数据类型格式。其中，所述根据所述数据类型格式转换后的时间序列数据，并未改变目标属性数据的数据类型和数据内容。
步骤S106，将所述多个时间序列数据加载到时间序列数据库中，并对所述多个时间序列数据进行可视化处理。
所述计算机设备2可以通过HTTP请求实时发送数据到时间序列数据库(influxDB)中。并将转换得到的时间序列数据通过grafana数据可视化图标配置和展示。在本实施例中，所述计算机设备2可以对接Oracle、mysql、PostgreSQL以及odbc等类型的数据库；且任务配置简便，可直接将分散不规律的数据进行整合，并且可以实现可视化展示。
示例性的，所述时间序列数据转换方法还可以进一步的包括步骤S700～S702，其中：步骤S700，记录每个抽取任务的任务执行信息，以生成任务执行表，其中，任务执行信息包括每条任务对应的执行频率和业务数据的采集过程信息；及步骤S702，将所述任务执行表上传到区块链中。
所述计算机设备2还可以记录每个抽取任务对应的执行频率和业务数据的采集过程信息。并将所述记录到的执行频率和业务数据的采集过程信息整理成该条任务对应的一个任务执行表。通过所述任务执行表查每个抽取任务的执行过程。另外，计算机设备2还可以将所述任务执行表上传到区块链中，以确保其安全性和公正透明性。
示例性的，所述时间序列数据转换方法还可以进一步的包括：将所述多个时间序列数据上传到区块链中。
示例性的，将所述多个时间序列数据上传至区块链可保证其安全性和公正透明性。本示例所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
实施例二
图2为本发明时间序列数据转换系统实施例二的程序模块示意图。时间序列数据转换系统20可以包括或被分割成一个或多个程序模块，一个或者多个程序模块被存储于存储介质中，并由一个或多个处理器所执行，以完成本发明，并可实现上述时间序列数据转换方法。本发明实施例所称的程序模块是指能够完成特定功能的一系列计算机程序指令段，比程序本身更适合于描述时间序列数据转换系统20在存储介质中的执行过程。以下描述将具体介绍本实施例各程序模块的功能：
接收模块200，用于获取业务数据集。
抽取模块202，用于根据预先配置好的抽取规则对所述业务数据集进行数据抽取，以得到多个目标属性数据。
示例性的，所述抽取规则包括多个抽取逻辑；所述抽取模块202，还用于：获取每个业务数据的属性信息，以得到所述业务数据集对应的多个属性信息；根据所述业务数据集对应的多个属性信息从所述抽取规则确定至少一个抽取逻辑；及根据至少一个抽取逻辑对每个业务数据进行数据抽取，以得到多个目标属性数据。
示例性的，所述抽取模块202，还用于：根据抽取逻辑从所述业务数据中抽取与所述抽取逻辑对应的目标属性信息；及将所述目标属性信息作为所述业务数据的属性标签，以生成目标属性数据。
示例性的，所述抽取模块202，还用于：根据每个抽取逻辑从对应的业务数据中抽取与所述抽取逻辑对应的目标属性信息，以得到多个目标属性信息；及将每个目标属性信息作为对应的业务数据的属性标签，以生成多个目标属性数据。
转换模块204，用于根据预先配置好的转换规则对每个目标属性数据进行数据转换，以得到多个时间序列数据。
示例性的，所述转换模块204，还用于：对多个目标属性数据进行分类，以得到多组目标属性数据；为每组目标属性数据分配一个对应数据类型格式；及根据所述数据类型格式将每个目标属性数据转换为时间序列数据，以得到所述多个时间序列数据。
加载模块206，用于将所述多个时间序列数据加载到时间序列数据库中，并对所述多个时间序列数据进行可视化处理。
示例性的，所述时间序列数据转换系统20还包括，记录模块，所述记录模块，用于：记录每个抽取任务的任务执行信息，以生成任务执行表，其中，任务执行信息包括每条任务对应的执行频率和业务数据的采集过程信息；及将所述任务执行表上传到区块链中。
示例性的，所述时间序列数据转换系统20还包括，上传模块，所述上传模块，用于：将所述多个时间序列数据上传到区块链中。
实施例三
参阅图3，是本发明实施例三之计算机设备的硬件架构示意图。本实施例中，所述计算机设备2是一种能够按照事先设定或者存储的指令，自动进行数值计算和/或信息处理的设备。该计算机设备2可以是机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。如图所示，所述计算机设备2至少包括，但不限于，可通过系统总线相互通信连接存储器21、处理器22、网络接口23、以及时间序列数据转换系统20。
本实施例中，存储器21至少包括一种类型的计算机可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器21可以是计算机设备2的内部存储单元，例如该计算机设备2的硬盘或内存。在另一些实施例中，存储器21也可以是计算机设备2的外部存储设备，例如该计算机设备2上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。当然，存储器21还可以既包括计算机设备2的内部存储单元也包括其外部存储设备。本实施例中，存储器21通常用于存储安装于计算机设备2的操作系统和各类应用软件，例如实施例二的时间序列数据转换系统20的程序代码等。此外，存储器21还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器22在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器22通常用于控制计算机设备2的总体操作。本实施例中，处理器22用于运行存储器21中存储的程序代码或者处理数据，例如运行时间序列数据转换系统20，以实现实施例一的时间序列数据转换方法。
所述网络接口23可包括无线网络接口或有线网络接口，该网络接口23通常用于在所述计算机设备2与其他电子装置之间建立通信连接。例如，所述网络接口23用于通过网络将所述计算机设备2与外部终端相连，在所述计算机设备2与外部终端之间的建立数据传输通道和通信连接等。所述网络可以是企业内部网(Intranet)、互联网(Internet)、全球移动通讯系统(Global System of Mobile communicatI/On，GSM)、宽带码分多址(WidebandCode DivisI/On Multiple Access，WCDMA)、4G网络、5G网络、蓝牙(Bluetooth)、Wi-Fi等无线或有线网络。
需要指出的是，图3仅示出了具有部件20-23的计算机设备2，但是应理解的是，并不要求实施所有示出的部件，可以替代的实施更多或者更少的部件。
在本实施例中，存储于存储器21中的时间序列数据转换系统20还可以被分割为一个或者多个程序模块，所述一个或者多个程序模块被存储于存储器21中，并由一个或多个处理器(本实施例为处理器22)所执行，以完成本发明。
例如，图2示出了本发明实施例二之所述实现时间序列数据转换系统20的程序模块示意图，该实施例中，所述时间序列数据转换系统20可以被划分为获取模块200、抽取模块202、转换模块204和加载模块206。其中，本发明所称的程序模块是指能够完成特定功能的一系列计算机程序指令段，比程序更适合于描述所述时间序列数据转换系统20在所述计算机设备2中的执行过程。所述程序模块200-206的具体功能在实施例二中已有详细描述，在此不再赘述。
实施例四
本实施例还提供一种计算机可读存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等，其上存储有计算机程序，程序被处理器执行时实现相应功能。本实施例的计算机可读存储介质用于时间序列数据转换系统20，被处理器执行时实现实施例一的时间序列数据转换方法。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种时间序列数据转换方法，其特征在于，所述方法包括：
获取业务数据集；
根据预先配置好的抽取规则对所述业务数据集进行数据抽取，以得到多个目标属性数据；
根据预先配置好的转换规则对每个目标属性数据进行数据转换，以得到多个时间序列数据；及
将所述多个时间序列数据加载到时间序列数据库中，并对所述多个时间序列数据进行可视化处理。
2.如权利要求1所述的时间序列数据转换方法，其特征在于，所述抽取规则包括多个抽取逻辑，所述根据预先设定好的抽取规则对所述业务数据集进行数据抽取，以得到多个目标属性数据，包括：
获取每个业务数据的属性信息，以得到所述业务数据集对应的多个属性信息；
根据所述业务数据集对应的多个属性信息从所述抽取规则确定至少一个抽取逻辑；及
根据至少一个抽取逻辑对每个业务数据进行数据抽取，以得到多个目标属性数据。
3.如权利要求2所述的时间序列数据转换方法，其特征在于，所述根据至少一个抽取逻辑对每个业务数据进行数据抽取，以得到多个目标属性数据，包括：
根据每个抽取逻辑从对应的业务数据中抽取与所述抽取逻辑对应的目标属性信息，以得到多个目标属性信息；及
将每个目标属性信息作为对应的业务数据的属性标签，以生成多个目标属性数据。
4.如权利要求3所述的时间序列数据转换方法，其特征在于，所述根据抽取逻辑从所述业务数据中抽取与所述抽取逻辑对应的目标属性信息，包括：
根据每个抽取逻辑生成一个对应的抽取任务；及
通过执行所述抽取任务对所述业务数据集中的每个业务数据进行数据抽取，以得到每个业务数据对应的目标属性信息。
5.如权利要求4所述的时间序列数据转换方法，其特征在于，还包括：
记录每个抽取任务的任务执行信息，以生成任务执行表，其中，任务执行信息包括每条任务对应的执行频率和业务数据的采集过程信息；及
将所述任务执行表上传到区块链中。
6.如权利要求1所述的时间序列数据转换方法，其特征在于，所述根据预先配置好的转换规则对每个目标属性数据进行数据转换，以得到多个时间序列数据，包括：
对多个目标属性数据进行分类，以得到多组目标属性数据；
为每组目标属性数据分配一个对应数据类型格式；及
根据所述数据类型格式将每个目标属性数据转换为时间序列数据，以得到所述多个时间序列数据。
7.如权利要求1所述的时间序列数据转换方法，其特征在于，还包括：将所述多个时间序列数据上传到区块链中。
8.一种时间序列数据转换系统，其特征在于，包括：
获取模块，用于获取业务数据集；
抽取模块，用于根据预先配置好的抽取规则对所述业务数据集进行数据抽取，以得到多个目标属性数据；
转换模块，用于根据预先配置好的转换规则对每个目标属性数据进行数据转换，以得到多个时间序列数据；及
加载模块，用于将所述多个时间序列数据加载到时间序列数据库中，并对所述多个时间序列数据进行可视化处理。
9.一种计算机设备，所述计算机设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的时间序列数据转换方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序可被至少一个处理器所执行，以使所述至少一个处理器执行如权利要求1至7中任一项所述的时间序列数据转换方法的步骤。
CN202010905655.9A 2020-09-01 2020-09-01 时间序列数据转换方法、系统、计算机设备和存储介质 Pending CN112035551A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010905655.9A CN112035551A (zh) 2020-09-01 2020-09-01 时间序列数据转换方法、系统、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010905655.9A CN112035551A (zh) 2020-09-01 2020-09-01 时间序列数据转换方法、系统、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN112035551A true CN112035551A (zh) 2020-12-04

Family

ID=73590914

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010905655.9A Pending CN112035551A (zh) 2020-09-01 2020-09-01 时间序列数据转换方法、系统、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN112035551A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112685398A (zh) * 2020-12-31 2021-04-20 新奥数能科技有限公司 物联网数据可视化显示方法和装置
CN112698971A (zh) * 2020-12-30 2021-04-23 平安科技（深圳）有限公司 基于规则引擎的参数转换方法、装置、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109299177A (zh) * 2018-09-30 2019-02-01 江苏满运软件科技有限公司 数据抽取方法、装置、存储介质及电子设备
CN109684393A (zh) * 2018-12-11 2019-04-26 中科恒运股份有限公司 数据采集方法、计算机可读存储介质及终端设备
CN111414395A (zh) * 2020-03-27 2020-07-14 中国平安财产保险股份有限公司 数据处理方法、系统和计算机设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109299177A (zh) * 2018-09-30 2019-02-01 江苏满运软件科技有限公司 数据抽取方法、装置、存储介质及电子设备
CN109684393A (zh) * 2018-12-11 2019-04-26 中科恒运股份有限公司 数据采集方法、计算机可读存储介质及终端设备
CN111414395A (zh) * 2020-03-27 2020-07-14 中国平安财产保险股份有限公司 数据处理方法、系统和计算机设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112698971A (zh) * 2020-12-30 2021-04-23 平安科技（深圳）有限公司 基于规则引擎的参数转换方法、装置、设备及介质
CN112698971B (zh) * 2020-12-30 2023-08-18 平安科技（深圳）有限公司 基于规则引擎的参数转换方法、装置、设备及介质
CN112685398A (zh) * 2020-12-31 2021-04-20 新奥数能科技有限公司 物联网数据可视化显示方法和装置

Similar Documents

Publication Publication Date Title
CN112035551A (zh) 时间序列数据转换方法、系统、计算机设备和存储介质
CN111078140A (zh) 核电站文件上传管理方法、装置、终端设备及介质
CN111914277B (zh) 交集数据的生成方法和基于交集数据的联邦模型训练方法
CN112115145A (zh) 数据采集方法、装置、电子设备及存储介质
CN111258799A (zh) 报错信息处理方法、电子装置及计算机可读存储介质
CN112422450A (zh) 计算机设备、服务请求的流量控制方法及装置
CN111159183A (zh) 报表生成方法、电子装置及计算机可读存储介质
CN112000692B (zh) 页面查询反馈方法、装置、计算机设备及可读存储介质
CN111553655A (zh) 经办历史的展现方法及系统
CN112632249A (zh) 产品不同版本信息的展示方法、装置、计算机设备及介质
CN111414395A (zh) 数据处理方法、系统和计算机设备
CN108519984B (zh) 天气数据处理方法、服务器及计算机可读存储介质
CN113886332B (zh) 一种大文件差异对比方法、装置、计算机设备及存储介质
CN115712422A (zh) 表单页面的生成方法、装置、计算机设备及存储介质
CN111309993B (zh) 企业资产数据画像的生成方法及系统
CN112528189B (zh) 基于数据的组件封装方法、装置、计算机设备及存储介质
CN111695441B (zh) 图像文档处理方法、装置及计算机可读存储介质
CN111506543A (zh) 一种m文件生成方法及装置
CN112579571A (zh) 监控数据配置、数据监控方法、装置、设备及存储介质
CN113434365B (zh) 数据特征监控方法、装置、电子设备及存储介质
CN116364223B (zh) 特征处理方法、装置、计算机设备及存储介质
CN112487039B (zh) 一种数据处理方法、装置、设备及可读存储介质
CN113360505B (zh) 基于时序数据的数据处理方法、装置、电子设备及可读存储介质
CN113806372B (zh) 新数据信息构建方法、装置、计算机设备及存储介质
CN117390119A (zh) 任务处理方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination