CN115510091A - 一种话单数据处理方法、装置、电子设备及存储介质 - Google Patents

一种话单数据处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN115510091A
CN115510091A CN202110695761.3A CN202110695761A CN115510091A CN 115510091 A CN115510091 A CN 115510091A CN 202110695761 A CN202110695761 A CN 202110695761A CN 115510091 A CN115510091 A CN 115510091A
Authority
CN
China
Prior art keywords
data
ticket
submission
ticket data
message identifier
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110695761.3A
Other languages
English (en)
Inventor
高文佳
付晶
夏秋爽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ultrapower Software Co ltd
Original Assignee
Ultrapower Software Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ultrapower Software Co ltd filed Critical Ultrapower Software Co ltd
Priority to CN202110695761.3A priority Critical patent/CN115510091A/zh
Publication of CN115510091A publication Critical patent/CN115510091A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2453—Query optimisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24552—Database cache management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2471—Distributed queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提供一种话单数据处理方法、装置、电子设备及存储介质，该方法包括：获取话单数据，话单数据包括：上行数据和下行数据，下行数据包括：提交单和提交单对应的回执单；根据提交单和提交单对应的回执单确定话单数据的消息标识；将消息标识设置为键值对的标识符，并将话单数据设置为键值对的具体值，然后将键值对缓存至内存数据库中，内存数据库用于提取出消息标识对应的话单数据。在上述的实现过程中，由于内存数据库是直接存储在内存中，且内存数据库的访问速度比分布式文件系统的速度快很多，使得数据使用方能够几乎实时地通过消息标识提取出消息标识对应的话单数据，从而有效地提高了对话单数据进行关联的实时性。

Description

一种话单数据处理方法、装置、电子设备及存储介质
技术领域
本申请涉及大数据和云计算的技术领域，具体而言，涉及一种话单数据处理方法、装置、电子设备及存储介质。
背景技术
分布式文件系统(Distributed File System，DFS)，又被称为网络文件系统(Network File System)，是指一种允许文件透过网络在多台主机上分享的文件系统。文件系统管理的物理存储资源通常是通过计算机网络与节点相连；或若干不同的逻辑磁盘分区或卷标组合在一起而形成的完整文件系统。
目前对话单数据的处理方式通常是，在采集完话单数据之后，就将话单数据存储至Hadoop分布式文件系统(Hadoop Distributed File System，HDFS)等等分布式文件系统(DFS)中，然后，再使用消息标识来关联话单数据中的提交单和回执单，以使得数据使用方(例如：客户端或服务器等)能够通过消息标识提取出消息标识对应的话单数据。在具体的实践过程中发现，电信服务器上的能力平台根据业务过程中的提交单生成回执单有一定的时延，在回执单生成且存储至DFS后，再使用消息标识来关联话单数据所产生的时延非常大，也就是说，在回执单生成且存储至DFS后对话单数据进行关联的实时性不高。
发明内容
本申请实施例的目的在于提供一种话单数据处理方法、装置、电子设备及存储介质，用于改善对话单数据进行关联的实时性不高的问题。
本申请实施例提供了一种话单数据处理方法，包括：获取话单数据，话单数据包括：上行数据和下行数据，下行数据包括：提交单和提交单对应的回执单；根据提交单和提交单对应的回执单确定话单数据的消息标识；将消息标识设置为键值对的标识符，并将话单数据设置为键值对的具体值，然后将键值对缓存至内存数据库中，内存数据库用于提取出消息标识对应的话单数据。在上述的实现过程中，通过在获取话单数据之后，直接将关联话单数据中的提交单和回执单的消息标识和话单数据存储至内存数据库中，由于内存数据库是直接存储在内存中，不需要像分布式文件系统一样寻找存储节点再存储，且内存数据库的访问速度比分布式文件系统的速度快很多，使得数据使用方能够几乎实时地通过消息标识提取出消息标识对应的话单数据，从而有效地提高了对话单数据进行关联的实时性。
可选地，在本申请实施例中，在将键值对缓存至内存数据库中之后，还包括：从内存数据中提取出消息标识对应的话单数据，对话单数据进行维度分析，获得维度数据；将维度数据存储至关系型数据或者分布式搜索引擎中。在上述的实现过程中，通过从内存数据中提取出消息标识对应的话单数据，并将话单数据分析出的维度数据存储至关系型数据或者分布式搜索引擎中，从而使得维度数据能够更好地关系型数据或者分布式搜索引擎被查询和使用，有效地提高了话单数据和维度数据的利用效率和被查询的实时性。
可选地，在本申请实施例中，对话单数据进行维度分析，包括：从提交单中获取提交时刻，并从回执单中获取回执时刻；根据回执时刻和提交时刻对话单数据进行时延维度分析。在上述的实现过程中，通过从提交单中获取提交时刻，且从回执单中获取回执时刻，并根据回执时刻和提交时刻对话单数据进行时延维度分析，从而可以根据时延维度分析的结果来提高话单数据相关的时间延迟，有效地提高了话单数据和维度数据的利用效率和实时性。
可选地，在本申请实施例中，在将维度数据存储至关系型数据或者分布式搜索引擎中之后，还包括：接收终端设备发送的数据查询请求；根据数据查询请求对维度数据进行查询，获得数据查询请求对应的查询结果；向终端设备发送查询结果。在上述的实现过程中，通过接收终端设备发送的数据查询请求，并根据数据查询请求对维度数据进行查询，从而使得维度数据能够更好地被查询和使用，有效地提高了话单数据和维度数据的利用效率和被查询的实时性。
可选地，在本申请实施例中，获取话单数据，包括：通过流式处理引擎分别从分布式事件流平台的不同主题中获取上行数据和下行数据。在上述的实现过程中，通过流式处理引擎分别从分布式事件流平台的不同主题中获取上行数据和下行数据，从而改善了传统采集数据过程中的数据离散且数据量大的问题，有效地提高了话单数据处理的实时性。
可选地，在本申请实施例中，根据提交单和提交单对应的回执单确定话单数据的消息标识，包括：判断提交单的预设字段的具体值与回执单的预设字段的具体值是否相同；若是，则将预设字段的具体值确定为话单数据的消息标识。在上述的实现过程中，通过在提交单的预设字段的具体值与回执单的预设字段的具体值的情况下，将提交单和回执单进行关联，即将预设字段的具体值确定为话单数据的消息标识，从而避免了先将话单数据存储至Hadoop分布式文件系统后再行关联的实时性不高的问题，有效地提高了对话单数据进行关联的实时性。
可选地，在本申请实施例中，内存数据库为Redis数据库；在将键值对缓存至内存数据库中之后，还包括：获取待查询消息标识，并从Redis数据库中提取出待查询消息标识对应的话单数据。在上述的实现过程中，通过获取待查询消息标识，并从Redis数据库中提取出待查询消息标识对应的话单数据，从而使得话单数据能够更好地被查询和使用，有效地提高了话单数据和维度数据的利用效率和被查询的实时性。
本申请实施例还提供了一种话单数据处理装置，包括：话单数据获取模块，用于获取话单数据，话单数据包括：上行数据和下行数据，下行数据包括：提交单和提交单对应的回执单；消息标识确定模块，用于根据提交单和提交单对应的回执单确定话单数据的消息标识；话单数据缓存模块，用于将消息标识设置为键值对的标识符，并将话单数据设置为键值对的具体值，然后将键值对缓存至内存数据库中，内存数据库用于提取出消息标识对应的话单数据。
可选地，在本申请实施例中，话单数据处理装置，还包括：维度数据获得模块，用于从内存数据中提取出消息标识对应的话单数据，对话单数据进行维度分析，获得维度数据；维度数据存储模块，用于将维度数据存储至关系型数据或者分布式搜索引擎中。
可选地，在本申请实施例中，维度数据获得模块，包括：时刻数据获取模块，用于从提交单中获取提交时刻，并从回执单中获取回执时刻；时延维度分析模块，用于根据回执时刻和提交时刻对话单数据进行时延维度分析。
可选地，在本申请实施例中，话单数据处理装置，还包括：查询请求接收模块，用于接收终端设备发送的数据查询请求；查询结果获得模块，用于根据数据查询请求对维度数据进行查询，获得数据查询请求对应的查询结果；查询结果发送模块，用于向终端设备发送查询结果。
可选地，在本申请实施例中，话单数据获取模块，包括：流式处理获取模块，用于通过流式处理引擎分别从分布式事件流平台的不同主题中获取上行数据和下行数据。
可选地，在本申请实施例中，消息标识确定模块，包括：预设字段判断模块，用于判断提交单的预设字段的具体值与回执单的预设字段的具体值是否相同；字段标识确定模块，用于若提交单的预设字段的具体值与回执单的预设字段的具体值相同，则将预设字段的具体值确定为话单数据的消息标识。
可选地，在本申请实施例中，内存数据库为Redis数据库；话单数据处理装置，还包括：话单数据查询模块，用于获取待查询消息标识，并从Redis数据库中提取出待查询消息标识对应的话单数据。
本申请实施例还提供了一种电子设备，包括：处理器和存储器，存储器存储有处理器可执行的机器可读指令，机器可读指令被处理器执行时执行如上面描述的方法。
本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上面描述的方法。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出的本申请实施例提供的话单数据处理方法的流程示意图；
图2示出的本申请实施例提供的话单数据维度分析的流程示意图；
图3示出的本申请实施例提供的维度数据处理流程的示意图；
图4示出的本申请实施例提供的从内存数据库中查询话单数据的流程示意图；
图5示出的本申请实施例提供的话单数据处理装置的结构示意图；
图6示出的本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整的描述。
在介绍本申请实施例提供的话单数据处理方法之前，先介绍本申请实施例中所涉及的一些概念：
Apache Spark，又被简称为Spark，是一个基于内存计算的开源的集群计算系统，也是一个开源集群运算框架，使得数据分析更加快速；在把Oracle数据迁移到大数据环境里面的前提下，需要对数据进行分析。
Spark核心是整个项目的基础，提供了分布式任务调度，调度和基本的输入输出(Input Output，IO)功能；而其基础的程序抽象则称为弹性分布式资料集(ResilientDistributed DataSets，RDDs)，是一个可以并行操作、有容错机制的资料集合。
Spark Streaming是能够充分利用Spark核心的快速调度能力来运行流分析的流式处理引擎，Spark Streaming截取小批量的资料并对之运行弹性分布式资料(ResilientDistributed Data，RDD)转换；这种设计使流分析可在同一个引擎内使用同一组为批量分析编写而撰写的应用程序代码。
内存数据库是指基于随机存储记忆体(Random Access Memory，RAM)查找的数据集合，特点为读写速度快，因此也被称为缓存数据库。
需要说明的是，本申请实施例提供的话单数据处理方法可以被电子设备执行，这里的电子设备是指具有执行计算机程序功能的设备终端或者服务器，设备终端例如：智能手机、个人电脑(personal computer，PC)、平板电脑、个人数字助理(personal digitalassistant，PDA)或者移动上网设备(mobile Internet device，MID)等，服务器例如：x86服务器以及非x86服务器，非x86服务器包括：大型机、小型机和UNIX服务器。
在介绍本申请实施例提供的话单数据处理方法之前，先介绍该话单数据处理方法适用的应用场景，这里的应用场景包括但不限于：使用该话单数据处理方法提高大量的短信话单数据的实时性和准确性等，并且还可以使用该话单数据处理方法对话单数据进行多维度处理，从而让话单数据在更多维度上产生更多的业务价值。
请参见图1示出的本申请实施例提供的话单数据处理方法的流程示意图；该话单数据处理方法的主要思路是，通过在获取话单数据之后，直接将关联话单数据中的提交单和回执单的消息标识和话单数据存储至内存数据库中，由于内存数据库是直接存储在内存中，不需要像分布式文件系统一样寻找存储节点再存储，且内存数据库的访问速度比分布式文件系统的速度快很多，使得数据使用方能够几乎实时地通过消息标识提取出消息标识对应的话单数据，从而有效地提高了对话单数据进行关联的实时性；上述话单数据处理方法可以包括：
步骤S110：获取话单数据，话单数据包括：上行数据和下行数据，下行数据包括：提交单和提交单对应的回执单。
话单数据，是指电信行业中产生的短信业务或者通话业务的单据，该话单数据包括：手机号码向服务提供者(Service Provider，SP)号码发送的上行数据和服务提供者号码想手机号码发送的下行数据；此处的服务提供者可以是电信行业的企业，也可以是其它行业的企业。其中，上行数据可以包括D话单，下行数据包括：D话单、提交单(提交的英文是Submit，因此又被简称为S单)和提交单对应的回执单(回执的英文是Receipt，因此又被简称为R单)。
话单数据为通过collect采集程序采集并解析成txt文本上传到分布式事件流平台kafa不同主题topic中的实时话单内容，上述步骤S110的实施方式例如：可以使用采集程序(例如collect程序)来采集三种实时的话单数据(D话单、提交单和回执单)，还可以将这三种原始实时的话单数据解析为纯文本格式(例如TXT格式)的话单数据，然后将TXT格式的话单数据上传至分布式事件流平台(例如Kafka)的不同主题(Topic)中；从而有效地对话单数据进行物理隔离，也减轻了采集程序的压力。通过流式处理引擎(例如SparkStreamming)分别从分布式事件流平台(例如Kafka)的不同主题(Topic)中获取上行数据和下行数据；下行数据需要电信公司的能力平台进行中转，上述的S单是指服务提供者(SP)发送给电信公司的能力平台的单据，而R单是指电信公司的能力平台发送给手机号的单据。
在步骤S110之后，执行步骤S120：根据提交单和提交单对应的回执单确定话单数据的消息标识。
上述步骤S120的实施方式可以包括：
步骤S121：判断提交单的预设字段的具体值与回执单的预设字段的具体值是否相同。
预设字段，是指提交单与回执单中的共有标识字段，如果提交单的预设字段的具体值与回执单的预设字段的具体值是相同的，则说明该提交单和该回执单是同一个话单数据中的，在具体业务中应当将该提交单和该回执单进行关联。
上述步骤S121的实施方式例如：假设提交单的预设字段的具体值是123456，如果回执单的预设字段的具体值是654321，那么很明显提交单的预设字段的具体值与回执单的预设字段的具体值是不相同的；如果回执单的预设字段的具体值也是123456，那么很明显提交单的预设字段的具体值与回执单的预设字段的具体值是相同的。其中，上述的提交单和回执单可以来自分布式事件流平台(例如Kafka)的不同主题(Topic)，也可以来自分布式事件流平台(例如Kafka)的相同主题(Topic)。
步骤S122：若提交单的预设字段的具体值与回执单的预设字段的具体值相同，则将预设字段的具体值确定为话单数据的消息标识。
上述步骤S122的实施方式例如：假设提交单的预设字段的具体值是123456，如果回执单的预设字段的具体值也是123456，很明显地，该提交单的预设字段的具体值与该回执单的预设字段的具体值是相同的，那么就应当将该提交单和该回执单进行关联，即将预设字段的具体值确定为话单数据的消息标识，那么可以将该消息标识找到该话单数据中的提交单和回执单。
在步骤S120之后，执行步骤S130：将消息标识设置为键值对的标识符，并将话单数据设置为键值对的具体值，然后将键值对缓存至内存数据库中，内存数据库用于提取出消息标识对应的话单数据。
上述步骤S130的实施方式例如：将消息标识设置为键值对(Key-Value对)的标识符(即Key)，并将话单数据设置为键值对的具体值(即Value)，然后将键值对缓存至内存数据库中，内存数据库用于提取出消息标识对应的话单数据。其中，内存数据库可以是Redis数据库或者Memcached数据库等等。在将键值对缓存至内存数据库之后，就可以从Redis数据库或者Memcached数据库等等获取到该消息标识(例如123456)的话单数据，该话单数据包括：D话单、提交单和回执单。
在上述的实现过程中，首先，根据提交单和提交单对应的回执单确定话单数据的消息标识，然后，将消息标识设置为键值对的标识符，并将话单数据设置为键值对的具体值，最后，将键值对缓存至内存数据库中。也就是说，通过在获取话单数据之后，直接将关联话单数据中的提交单和回执单的消息标识和话单数据存储至内存数据库中，由于内存数据库是直接存储在内存中，不需要像分布式文件系统一样寻找存储节点再存储，且内存数据库的访问速度比分布式文件系统的速度快很多，使得数据使用方能够几乎实时地通过消息标识提取出消息标识对应的话单数据，从而有效地提高了对话单数据进行关联的实时性。
请参见图2示出的本申请实施例提供的话单数据维度分析的流程示意图；可选地，在本申请实施例中，在将键值对缓存至内存数据库中之后，还可以进行维度分析，维度分析的实施方式可以包括：
步骤S210：电子设备从内存数据中提取出消息标识对应的话单数据，对话单数据进行维度分析，获得维度数据。
上述步骤S210中的从内存数据中提取出消息标识对应的话单数据的实施方式包括：从Redis数据库或者Memcached数据库等等获取到该消息标识(例如123456)的话单数据，该话单数据包括：D话单、提交单和回执单。
上述步骤S210中的对话单数据进行维度分析方式有很多种，包括但不限于如下几种：
第一种维度分析方式，按照时间延迟的维度对话单数据进行时间延迟分析，该维度分析方式可以包括：
步骤S211：从提交单中获取提交时刻，并从回执单中获取回执时刻。
上述步骤S211的实施方式例如：在从内存数据库获取到该消息标识(例如123456)的话单数据之后，可以从提交单中获取提交时刻，又被称为提交时间(SubmitTime)，并从回执单中获取回执时刻，又被称为回执时间(Receipt Time)。
步骤S212：根据回执时刻和提交时刻对话单数据进行时延维度分析。
上述步骤S212的实施方式例如：将回执时刻减去提交时刻，即可获得该话单数据(例如该话单数据是短消息)的时间延迟。在具体的实践过程中，还可以进行其他时延维度分析，具体例如：统计大客户服务提供者(SP)号码的时延的最大值、平均值、中位数、方差和标准差等等统计指标，也可以计算出某个省份的短消息时间延迟的各种统计指标。
第二种维度分析方式，按业务量维度对话单数据进行业务量分析，该维度分析方式例如：业务量维度的分析主要是为了对业务量进行统计，从而为提供更好的服务；具体例如：统计某大客户在某一时间段(例如当日或者当月)内发送短消息的数量，或者，统计某个省份在某一时间段(例如当日或者当月)内发送短消息的数量。
第三种维度分析方式，按状态码维度(又被称为错误码维度)对话单数据进行分析，该维度分析方式例如：在具体的实践过程中，如果服务提供者(SP)向手机号码发送短消息失败了，那么会生成一条错误码消息，就可以统计某大客户或者某个省份在某一时间段(例如当日或者当月)内发送错误码的数量，从而监控大客户或者某个省份出现故障的概率和故障后恢复的平均时长等等。
第四种维度分析方式，按用户数维度对话单数据进行分析，该维度分析方式例如：统计每个大客户(对应的服务提供者)发送的手机号码的数量，以及向这些手机号码发送的短消息数量，具体又可以将手机号码或者短消息按照各种维度进行分类处理，例如按照号码段或者地区分类手机号码等等，具体可以将手机号码进行去重，从而统计处理每个大客户(对应的服务提供者)向多少个手机号码发送了短消息。
第五种维度分析方式，按峰值维度对话单数据进行分析，该维度分析方式例如：在话单数据的处理过程中的每分钟的每一秒都会有秒峰值，在话单数据的处理过程中的每分钟都会有分钟峰值，话单数据的处理过程中的每小时都会有小时峰值，话单数据的处理过程中的每周都会有周峰值，以此类推。具体可以统计某大客户或者某个省份在某一时间段(例如当前小时)内的峰值；从而能够反映出某大客户或者某个省份的业务能力指标。
在步骤S210之后，执行步骤S220：电子设备将维度数据存储至关系型数据或者分布式搜索引擎中。
请参见图3示出的本申请实施例提供的维度数据处理流程的示意图；上述步骤S220的实施方式例如：将上述获得的维度数据存储至关系型数据或者分布式搜索引擎中；其中，可以使用的关系型数据库例如：Mysql、PostgreSQL、Oracle和SQLSever等,分布式搜索引擎可以采用ElasticSearch搜索引擎，ElasticSearch是指分布式、高扩展、高实时的搜索与数据分析引擎，也是一个分布式多用户能力的全文搜索引擎，ElasticSearch能很方便的使大量数据具有搜索、分析和探索的能力，充分利用ElasticSearch的水平伸缩性，能使数据在生产环境变得更有价值。
在上述的实现过程中，通过从内存数据中提取出消息标识对应的话单数据，并将话单数据分析出的维度数据存储至关系型数据或者分布式搜索引擎中，从而使得维度数据能够更好地关系型数据或者分布式搜索引擎被查询和使用，有效地提高了话单数据和维度数据的利用效率和被查询的实时性。
可选地，在本申请实施例中，在将维度数据存储至关系型数据或者分布式搜索引擎中之后，还可以查询维度数据，查询维度数据的实施方式包括：
在步骤S220之后，执行步骤S230：电子设备接收终端设备发送的数据查询请求。
上述步骤S230的实施方式例如：终端设备向电子设备发送数据查询请求，该数据查询请求中包括：需要查询的维度标识和维度参数，电子设备通过超文本传输协议(HyperText Transfer Protocol，HTTP)或者超文本传输安全协议(Hyper Text TransferProtocol Secure，HTTPS)接收终端设备发送的数据查询请求。
在步骤S230之后，执行步骤S240：电子设备根据数据查询请求对维度数据进行查询，获得数据查询请求对应的查询结果。
上述步骤S240的实施方式例如：电子设备在接收终端设备发送的数据查询请求之后，对数据查询请求进行解析，获得需要查询的维度标识和维度参数；然后，根据需要查询的维度标识和维度参数在Mysql、PostgreSQL、Oracle和SQLSever等关系型数据或者分布式搜索引擎(例如ElasticSearch)中对维度数据进行查询，获得数据查询请求对应的查询结果。
在步骤S240之后，执行步骤S250：电子设备向终端设备发送查询结果。
上述步骤S250的实施方式例如：电子设备通过HTTP协议或者HTTPS协议向终端设备发送数据查询请求对应的查询结果，以使终端设备在接收到电子设备发送的查询结果之后，对查询结果进行下一步地处理。
在上述的实现过程中，通过接收终端设备发送的数据查询请求，并根据数据查询请求对维度数据进行查询，从而使得维度数据能够更好地被查询和使用，有效地提高了话单数据和维度数据的利用效率和被查询的实时性。
请参见图4示出的本申请实施例提供的从内存数据库中查询话单数据的流程示意图；可选地，在将键值对缓存至内存数据库中之后，还可以从内存数据库中查询话单数据，查询话单数据的实施方式可以包括：
步骤S310：电子设备获取待查询消息标识。
上述步骤S310中待查询消息标识的获取方式有很多种，包括但不限于：第一种获取方式，接收其它终端设备发送的待查询消息标识，将待查询消息标识存储至文件系统、数据库或移动存储设备中；第二种获取方式，获取其它应用程序预先存储的待查询消息标识，具体例如：从文件系统中获取待查询消息标识，或者从数据库中获取待查询消息标识，或者从移动存储设备中获取待查询消息标识；第三种获取方式，使用应用程序或者软件获取服务器上的待查询消息标识等等。
步骤S320：电子设备从Redis数据库中提取出待查询消息标识对应的话单数据。
上述步骤S320的实施方式例如：电子设备从Redis数据库中提取出待查询消息标识对应的话单数据，并将话单数据发送给其它终端设备，或者，将话单数据存储至文件系统、数据库或移动存储设备中等等。在上述的实现过程中，通过获取待查询消息标识，并从Redis数据库中提取出待查询消息标识对应的话单数据，从而使得话单数据能够更好地被查询和使用，有效地提高了话单数据和维度数据的利用效率和被查询的实时性。
请参见图5示出的本申请实施例提供的话单数据处理装置的结构示意图；本申请实施例提供了一种话单数据处理装置400，包括：
话单数据获取模块410，用于获取话单数据，话单数据包括：上行数据和下行数据，下行数据包括：提交单和提交单对应的回执单。
消息标识确定模块420，用于根据提交单和提交单对应的回执单确定话单数据的消息标识。
话单数据缓存模块430，用于将消息标识设置为键值对的标识符，并将话单数据设置为键值对的具体值，然后将键值对缓存至内存数据库中，内存数据库用于提取出消息标识对应的话单数据。
可选地，在本申请实施例中，话单数据处理装置，还包括：
维度数据获得模块，用于从内存数据中提取出消息标识对应的话单数据，对话单数据进行维度分析，获得维度数据。
维度数据存储模块，用于将维度数据存储至关系型数据或者分布式搜索引擎中。
可选地，在本申请实施例中，维度数据获得模块，包括：
时刻数据获取模块，用于从提交单中获取提交时刻，并从回执单中获取回执时刻。
时延维度分析模块，用于根据回执时刻和提交时刻对话单数据进行时延维度分析。
可选地，在本申请实施例中，话单数据处理装置，还包括：
查询请求接收模块，用于接收终端设备发送的数据查询请求。
查询结果获得模块，用于根据数据查询请求对维度数据进行查询，获得数据查询请求对应的查询结果。
查询结果发送模块，用于向终端设备发送查询结果。
可选地，在本申请实施例中，话单数据获取模块，包括：
流式处理获取模块，用于通过流式处理引擎分别从分布式事件流平台的不同主题中获取上行数据和下行数据。
可选地，在本申请实施例中，消息标识确定模块，包括：
预设字段判断模块，用于判断提交单的预设字段的具体值与回执单的预设字段的具体值是否相同。
字段标识确定模块，用于若提交单的预设字段的具体值与回执单的预设字段的具体值相同，则将预设字段的具体值确定为话单数据的消息标识。
可选地，在本申请实施例中，内存数据库为Redis数据库；话单数据处理装置，还包括：
话单数据查询模块，用于获取待查询消息标识，并从Redis数据库中提取出待查询消息标识对应的话单数据。
应理解的是，该装置与上述的话单数据处理方法实施例对应，能够执行上述方法实施例涉及的各个步骤，该装置具体的功能可以参见上文中的描述，为避免重复，此处适当省略详细描述。该装置包括至少一个能以软件或固件(firmware)的形式存储于存储器中或固化在装置的操作系统(operating system，OS)中的软件功能模块。
请参见图6示出的本申请实施例提供的电子设备的结构示意图。本申请实施例提供的一种电子设备500，包括：处理器510和存储器520，存储器520存储有处理器510可执行的机器可读指令，机器可读指令被处理器510执行时执行如上的方法。
本申请实施例还提供了一种计算机可读存储介质530，该计算机可读存储介质530上存储有计算机程序，该计算机程序被处理器510运行时执行如上的方法。
其中，计算机可读存储介质530可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(Static Random Access Memory,简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read Only Memory,简称EPROM)，可编程只读存储器(Programmable Read-Only Memory,简称PROM)，只读存储器(Read-Only Memory,简称ROM)，磁存储器，快闪存储器，磁盘或光盘。
本申请实施例提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其他的方式实现。以上所描述的装置实施例仅是示意性的，例如，附图中的流程图和框图显示了根据本申请实施例的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以和附图中所标注的发生顺序不同。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这主要根据所涉及的功能而定。
另外，在本申请实施例中的各个实施例的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上的描述，仅为本申请实施例的可选实施方式，但本申请实施例的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请实施例揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请实施例的保护范围之内。

Claims (10)

1.一种话单数据处理方法，其特征在于，包括：
获取话单数据，所述话单数据包括：上行数据和下行数据，所述下行数据包括：提交单和所述提交单对应的回执单；
根据所述提交单和所述提交单对应的回执单确定所述话单数据的消息标识；
将所述消息标识设置为键值对的标识符，并将所述话单数据设置为所述键值对的具体值，然后将所述键值对缓存至内存数据库中，所述内存数据库用于提取出所述消息标识对应的所述话单数据。
2.根据权利要求1所述的方法，其特征在于，在所述将所述键值对缓存至内存数据库中之后，还包括：
从所述内存数据中提取出所述消息标识对应的所述话单数据，对所述话单数据进行维度分析，获得维度数据；
将所述维度数据存储至关系型数据或者分布式搜索引擎中。
3.根据权利要求2所述的方法，其特征在于，所述对所述话单数据进行维度分析，包括：
从所述提交单中获取提交时刻，并从所述回执单中获取回执时刻；
根据所述回执时刻和所述提交时刻对所述话单数据进行时延维度分析。
4.根据权利要求2所述的方法，其特征在于，在所述将所述维度数据存储至关系型数据或者分布式搜索引擎中之后，还包括：
接收终端设备发送的数据查询请求；
根据所述数据查询请求对所述维度数据进行查询，获得所述数据查询请求对应的查询结果；
向所述终端设备发送所述查询结果。
5.根据权利要求1所述的方法，其特征在于，所述话单数据为通过collect采集程序采集并解析成txt文本上传到分布式事件流平台kafa不同主题topic中的实时话单内容，所述获取话单数据，包括：
通过流式处理引擎分别从分布式事件流平台的不同主题中获取所述上行数据和所述下行数据。
6.根据权利要求1所述的方法，其特征在于，所述根据所述提交单和所述提交单对应的回执单确定所述话单数据的消息标识，包括：
判断所述提交单的预设字段的具体值与所述回执单的预设字段的具体值是否相同；
若是，则将所述预设字段的具体值确定为所述话单数据的消息标识。
7.根据权利要求1-6任一所述的方法，其特征在于，所述内存数据库为Redis数据库；在所述将所述键值对缓存至内存数据库中之后，还包括：
获取待查询消息标识，并从所述Redis数据库中提取出所述待查询消息标识对应的话单数据。
8.一种话单数据处理装置，其特征在于，包括：
话单数据获取模块，用于获取话单数据，所述话单数据包括：上行数据和下行数据，所述下行数据包括：提交单和所述提交单对应的回执单；
消息标识确定模块，用于根据所述提交单和所述提交单对应的回执单确定所述话单数据的消息标识；
话单数据缓存模块，用于将所述消息标识设置为键值对的标识符，并将所述话单数据设置为所述键值对的具体值，然后将所述键值对缓存至内存数据库中，所述内存数据库用于提取出所述消息标识对应的所述话单数据。
9.一种电子设备，其特征在于，包括：处理器和存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述机器可读指令被所述处理器执行时执行如权利要求1至7任一所述的方法。
10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至7任一所述的方法。
CN202110695761.3A 2021-06-22 2021-06-22 一种话单数据处理方法、装置、电子设备及存储介质 Pending CN115510091A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110695761.3A CN115510091A (zh) 2021-06-22 2021-06-22 一种话单数据处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110695761.3A CN115510091A (zh) 2021-06-22 2021-06-22 一种话单数据处理方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN115510091A true CN115510091A (zh) 2022-12-23

Family

ID=84500406

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110695761.3A Pending CN115510091A (zh) 2021-06-22 2021-06-22 一种话单数据处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN115510091A (zh)

Similar Documents

Publication Publication Date Title
US10560465B2 (en) Real time anomaly detection for data streams
US11238069B2 (en) Transforming a data stream into structured data
CN109034993B (zh) 对账方法、设备、系统及计算机可读存储介质
EP4099170B1 (en) Method and apparatus of auditing log, electronic device, and medium
CN109947668B (zh) 存储数据的方法和装置
CN107451149B (zh) 流量数据查询任务的监控方法及其装置
US11003731B2 (en) Method and apparatus for generating information
US20200372007A1 (en) Trace and span sampling and analysis for instrumented software
CN106156088B (zh) 一种索引数据处理方法、数据查询方法及装置
CN111740868B (zh) 告警数据的处理方法和装置及存储介质
CN108228322B (zh) 一种分布式链路跟踪、分析方法及服务器、全局调度器
CN111782692A (zh) 一种频率控制方法及装置
CN110727727A (zh) 一种数据库的统计方法及装置
CN111586695B (zh) 短信识别方法及相关设备
CN114398520A (zh) 数据检索方法、系统、装置、电子设备及存储介质
CN106156258B (zh) 一种在分布式存储系统中统计数据的方法、装置及系统
CN113761565A (zh) 数据脱敏方法和装置
CN112052259A (zh) 数据处理方法、装置、设备及计算机存储介质
CN115510091A (zh) 一种话单数据处理方法、装置、电子设备及存储介质
CN112910855B (zh) 一种样例报文处理方法及装置
US20230073627A1 (en) Analytics database and monitoring system for structuring and storing data streams
CN111078975B (zh) 一种多节点增量式数据采集系统及采集方法
US10997156B1 (en) Self-management of data applications
CN113779017A (zh) 数据资产管理的方法和装置
CN116431523B (zh) 一种测试数据管理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination