CN111049846A - 数据处理方法和装置、电子设备及计算机可读存储介质 - Google Patents

Abstract

本申请实施例提供的数据处理方法和装置、电子设备及计算机可读存储介质，涉及数据处理技术领域。在本申请实施例中，首先，通过预设的kafka组件获取待处理的预警数据。其次，对所述预警数据进行预处理，并通过预设的websocket组件将预处理后的预警数据推送至对应的用户。通过上述方法，可以提高数据处理的效率。

Description

数据处理方法和装置、电子设备及计算机可读存储介质

技术领域

本申请涉及数据处理技术领域，具体而言，涉及一种数据处理方法和装置、电子设备及计算机可读存储介质。

背景技术

公安部门在日常工作过程中，需要及时获知重点人、最新指令、通知等预警数据，以做到及时处理和应对，并做出及时的反馈，保证工作的高效稳定进行。

但是，经发明人研究发现，在现有技术中，通过数据轮询获取预警数据进行展示，从而存在着数据处理的效率低的问题。

发明内容

有鉴于此，本申请的目的在于提供一种数据处理方法和装置、电子设备及计算机可读存储介质，以改善现有技术中存在的问题。

为实现上述目的，本申请实施例采用如下技术方案：

一种数据处理方法，包括：

通过预设的kafka组件获取待处理的预警数据；

对所述预警数据进行预处理，并通过预设的websocket组件将预处理后的预警数据推送至对应的用户。

在本申请实施例较佳的选择中，所述通过预设的kafka组件获取待处理的预警数据的步骤，包括：

与预设的kafka组件建立连接；

获取所述kafka组件发送的预警数据。

在本申请实施例较佳的选择中，所述与预设的kafka组件建立连接的步骤，包括：

通过npm组件获取并安装express组件；

通过所述express组件对预设的kafka组件进行侦听处理，以建立连接。

在本申请实施例较佳的选择中，所述获取所述kafka组件发送的预警数据的步骤，包括：

通过npm组件获取并安装kafka-node组件；

获取通过所述kafka-node组件得到并发送的所述预警数据。

在本申请实施例较佳的选择中，所述对所述预警数据进行预处理的步骤，包括：

对所述预警数据进行过滤处理，得到过滤预警数据；

对所述过滤预警数据进行转换处理，得到待推送数据。

在本申请实施例较佳的选择中，所述对所述过滤预警数据进行转换处理，得到待推送数据的步骤，包括：

对所述过滤预警数据进行关联处理，得到关联预警数据；

对所述关联预警数据进行格式化处理，得到待推送数据。

在本申请实施例较佳的选择中，所述websocket组件设置有Socket.io组件，所述通过预设的websocket组件将所述预处理后的预警数据推送至对应的用户的步骤，包括：

通过npm组件获取并安装Socket.io组件；

通过所述Socket.io组件将所述预处理后的预警数据推送至对应的用户。

本申请实施例还提供了一种数据处理装置，包括：

数据获取模块，用于通过预设的kafka组件获取待处理的预警数据；

数据处理模块，用于对所述预警数据进行预处理，并通过预设的websocket组件将预处理后的预警数据推送至对应的用户。

本申请实施例还提供了一种电子设备，包括存储器和处理器，所述处理器用于执行所述存储器中存储的可执行的计算机程序，以实现上述的数据处理方法。

本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被执行时实现上述数据处理方法的步骤。

本申请实施例提供的数据处理方法和装置、电子设备及计算机可读存储介质，可以通过预设的kafka组件实时获取获取并通过预设的websocket组件实时传输数据，以避免现有技术中通过数据轮询获取预警数据进行展示，所导致的数据处理的效率低的问题。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的电子设备的结构框图。

图2为本申请实施例提供的数据处理方法的流程示意图。

图3为本申请实施例提供的步骤S110的流程示意图。

图4为本申请实施例提供的数据处理装置的结构框图。

图标：10-电子设备；12-存储器；14-处理器；100-数据处理装置；110-数据获取模块；120-数据处理模块。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

如图1所示，本申请实施例提供了一种电子设备10。其中，所述电子设备10可以包括存储器12、处理器14和数据处理装置100。

可选地，所述电子设备10的具体类型不受限制，可以根据实际应用需求进行设置。

例如，在一种可以替代的示例中，所述电子设备10可以是服务端设备。

详细地，所述存储器12和处理器14之间直接或间接地电性连接，以实现数据的传输或交互。例如，相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述数据处理装置100包括至少一个可以软件或固件(firmware)的形式存储于所述存储器12中的软件功能模块。所述处理器14用于执行所述存储器12中存储的可执行的计算机程序，例如，所述数据处理装置100所包括的软件功能模块及计算机程序等，以实现数据处理方法。

其中，所述存储器12可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。

所述处理器14可能是一种集成电路芯片，具有信号的处理能力。上述的处理器14可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)、片上系统(System on Chip，SoC)等。

可以理解，图1所示的结构仅为示意，所述电子设备10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

结合图2，本申请实施例还提供一种可应用于上述电子设备10的数据处理方法。其中，所述数据处理方法有关的流程所定义的方法步骤可以由所述电子设备10实现，下面将对图2所示的具体流程进行详细阐述。

步骤S110，通过预设的kafka组件获取待处理的预警数据。

在本申请实施例中，为了得到所述待处理的预警数据，可以通过预设的kafka组件获取所述预警数据。

步骤S120，对所述预警数据进行预处理，并通过预设的websocket组件将预处理后的预警数据推送至对应的用户。

在本申请实施例中，通过步骤S110获取所述待处理的预警数据之后，可以对所述预警数据进行预处理，并通过预设的websocket组件将预处理后的预警数据推送至对应的用户。

通过上述方法，可以通过预设的kafka组件实时获取获取并通过预设的websocket组件实时传输数据，以避免现有技术中通过数据轮询获取预警数据进行展示，所导致的数据处理的效率低的问题。

对于步骤S110，需要说明的是，Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的(partition)、多副本的(replica)，基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务等等，用scala语言编写，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。

Kafka的特性可以包括高吞吐量、低延迟：kafka每秒可以处理几十万条消息，它的延迟最低只有几毫秒，每个topic可以分多个partition，consumergroup对partition进行consume操作。其次，具有可扩展性：kafka集群支持热扩展。然后，具有持久性、可靠性：消息被持久化到本地磁盘，并且支持数据备份防止数据丢失。而且，具有容错性：允许集群中节点失败(若副本数量为n，则允许n-1个节点失败)。最后，还具有高并发特性：支持数千个客户端同时读写。

其中，所述kafka组件的使用场景不受限制，可以根据实际应用需求进行设置。

例如，在一种可以替代的示例中，所述kafka组件的应用场景可以包括日志收集：一个公司通过kafka组件可以收集各种服务的log，通过kafka组件以统一接口服务的方式开放给各种consumer，例如hadoop、Hbase、Solr等。

又例如，在另一种可以替代的示例中，所述kafka组件的应用场景可以包括消息系统：解耦和生产者和消费者、缓存消息等。

又例如，在另一种可以替代的示例中，所述kafka组件的应用场景可以包括用户活动跟踪：kafka组件经常被用来记录web用户或者app用户的各种活动，如浏览网页、搜索、点击等活动，这些活动信息被各个服务器发布到kafka的topic中，然后订阅者通过订阅这些topic来做实时的监控分析，或者装载到hadoop、数据仓库中做离线分析和挖掘。

又例如，在另一种可以替代的示例中，所述kafka组件的应用场景可以包括运营指标：kafka也经常用来记录运营监控数据，包括收集各种分布式应用的数据，生产各种操作的集中反馈，比如报警和报告。

其中，kafka中发布订阅的对象是topic，可以为每类数据创建一个topic，把向topic发布消息的客户端称作producer，从topic订阅消息的客户端称作consumer。Producers和consumers可以同时从多个topic读写数据，一个kafka集群可以由一个或多个broker服务器组成，负责持久化和备份具体的kafka消息。Broker可以指kafka节点，一个Kafka节点就是一个broker，多个broker可以组成一个kafka集群。Topic可以指一类消息，消息存放的目录即主题，例如page view日志、click日志等都可以以topic的形式存在，kafka集群能够同时负责多个topic的分发。Partition是指topic物理上的分组，一个topic可以分为多个partition，每个partition是一个有序的队列。Segment：partition物理上由多个segment组成，每个Segment存着message信息。Producer是指生产message发送到topic。Consumer是指订阅topic消费message，consumer作为一个线程来消费。

详细地，一个Consumer Group包含多个consumer，这个是预先在配置文件中配置好的。各个consumer(consumer线程)可以组成一个组(Consumer group)，partition中的每个message只能被组(Consumer group)中的一个consumer(consumer线程)消费，如果一个message可以被多个consumer(consumer线程)消费的话，那么这些consumer必须在不同的组。kafka不支持一个partition中的message由两个或两个以上的consumer thread来处理，即便是来自不同的consumer group的也不行。kafka为了保证吞吐量，只允许一个consumer线程去访问一个partition。如果觉得效率不高的时候，可以加partition的数量来横向扩展，那么再加新的consumer thread去消费。

需要说明的是，一个消息系统负责将数据从一个应用传递到另外一个应用，应用只需关注于数据，无需关注数据在两个或多个应用间是如何传递的。分布式消息传递基于可靠的消息队列，在客户端应用和消息系统之间异步传递消息。有两种主要的消息传递模式：点对点传递模式、发布-订阅模式，大部分的消息系统选用发布-订阅模式，kafka就是一种发布-订阅模式。所述kafka组件可以实现解耦、冗余、扩展性、灵活性、可恢复性、顺序保证、缓冲和异步通信等功能。

详细地，在项目启动之初来预测将来项目会碰到什么需求，是极其困难的。消息系统在处理过程中间插入了一个隐含的、基于数据的接口层，两边的处理过程都要实现这一接口。这允许独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。

有些情况下，处理数据的过程会失败，除非数据被持久化，否则将造成丢失。消息队列把数据进行持久化直到它们已经被完全处理，通过这一方式规避了数据丢失风险。许多消息队列所采用的“插入-获取-删除”范式中，在把一个消息从队列中删除之前，需要处理系统明确的指出该消息已经被处理完毕，从而确保数据被安全的保存直到使用完毕。

因为消息队列解耦了处理过程，所以增大消息入队和处理的频率是很容易的，只要另外增加处理过程即可，不需要改变代码、不需要调节参数。

在访问量剧增的情况下，应用仍然需要继续发挥作用，但是这样的突发流量并不常见，如果为以能处理这类峰值访问为标准来投入资源随时待命无疑是巨大的浪费。使用消息队列能够使关键组件顶住突发的访问压力，而不会因为突发的超负荷的请求而完全崩溃。

系统的一部分组件失效时，不会影响到整个系统。消息队列降低了进程间的耦合度，所以即使一个处理消息的进程挂掉，加入队列中的消息仍然可以在系统恢复后被处理。

在大多使用场景下，数据处理的顺序都很重要。大部分消息队列本来就是排序的，并且能保证数据会按照特定的顺序来处理，kafka可以保证一个Partition内的消息的有序性。

在任何重要的系统中，都会有需要不同的处理时间的元素。例如，加载一张图片比应用过滤器花费更少的时间。消息队列通过一个缓冲层来帮助任务最高效率的执行——写入队列的处理会尽可能的快速，该缓冲有助于控制和优化数据流经过系统的速度。

很多时候，用户不想也不需要立即处理消息。消息队列提供了异步处理机制，允许用户把一个消息放入队列，但并不立即处理它，想向队列中放入多少消息就放多少，然后在需要的时候再去处理它们。

可选地，所述通过预设的kafka组件获取待处理的预警数据的具体方式不受限制，可以根据实际应用需求进行设置。

例如，在一种可以替代的示例中，结合图3，步骤S110可以包括步骤S111和步骤S112。

步骤S111，与预设的kafka组件建立连接。

步骤S112，获取所述kafka组件发送的预警数据。

对于步骤S111，需要说明的是，所述与预设的kafka组件建立连接的具体方式不受限制，可以根据实际应用需求进行设置。

例如，在一种可以替代的示例中，步骤S111可以包括以下子步骤：

首先，通过npm组件获取并安装express组件。其次，通过所述express组件对预设的kafka组件进行侦听处理，以建立连接。

其中，npm组件为node.js平台的包管理工具，可以借助它来安装其他node.js依赖包(包括express,kafka-node,Socket.io等)。node.js是一个基于Chrome V8引擎的JavaScript运行环境，能够在这个环境下运行javascript代码，使得javascript可以书写服务器端代码。express基于node.js平台，是一种快速、开放、极简的Web开发框架。Socket.io是一个WebSocket库，包括了客户端的js和服务器端的node.js，它的目标是构建可以在不同浏览器和移动设备上使用的实时应用。WebSocket是HTML5开始提供的一种在单个TCP连接上进行全双工通讯的协议。WebSocket可以使得客户端和服务器之间的数据交换变得更加简单，允许服务端主动向客户端推送数据。

详细地，在通过npm组件获取并安装express组件之后，可以在服务端利用所述express组件开始搭建web容器，侦听所述kafka组件所在服务器kafka所用端口(默认为9092端口)，以建立连接。

对于步骤S112，需要说明的是，所述获取所述kafka组件发送的预警数据的具体方式不受限制，可以根据实际应用需求进行设置。

例如，在一种可以替代的示例中，步骤S112可以包括以下子步骤：

首先，通过npm组件获取并安装kafka-node组件；其次，获取通过所述kafka-node组件得到并发送的所述预警数据。

详细地，在通过npm组件获取并安装kafka-node组件之后，可以基于kafka-node组件提供的Consumer对象获取所述预警数据。

其中，所述预警数据的具体类型不受限制，可以根据实际应用需求进行设置。

例如，在一种可以替代的示例中，所述预警数据可以包括铁路购票预警数据。也就是说，重点嫌疑人在购买火车票时就会产生铁路购票预警数据，通过kafka-node的消费者对象Consumer对kafka数据的侦听使得这条预警数据成功被kafka-node组件获取。

又例如，在另一种可以替代的示例中，所述预警数据还可以包括铁路乘车预警数据。也就是说，重点嫌疑人在检票进行铁路乘车时就会产生铁路乘车预警数据，通过kafka-node的消费者对象Consumer对kafka数据的侦听使得这条预警数据成功被kafka-node组件获取。

又例如，在另一种可以替代的示例中，所述预警数据还可以包括卡口摄像头拍摄数据。也就是说，重点嫌疑人在经过摄像头卡口时就会产生卡口摄像头拍摄数据，通过kafka-node的消费者对象Consumer对kafka数据的侦听使得这条预警数据成功被kafka-node组件获取。

又例如，在另一种可以替代的示例中，所述预警数据还可以包括旅店住宿预警数据。也就是说，重点嫌疑人住宿登记时就会产生旅店住宿预警数据，通过kafka-node的消费者对象Consumer对kafka数据的侦听使得这条预警数据成功被kafka-node组件获取。

对于步骤S120，需要说明的是，所述对所述预警数据进行预处理的具体方式不受限制，可以根据实际应用需求进行设置。

例如，在一种可以替代的示例中，步骤S120可以包括以下子步骤：

首先，对所述预警数据进行过滤处理，得到过滤预警数据。其次，对所述过滤预警数据进行转换处理，得到待推送数据。

详细地，在得到所述预警数据之后，可以对所述预警数据进行过滤处理，得到过滤预警数据。例如，对所述预警数据进行过滤处理之后，得到只包括涉毒人员或者涉黑人员预警数据的过滤预警数据。

进一步地，所述对所述过滤预警数据进行转换处理，得到待推送数据的具体方式不受限制，可以根据实际应用需求进行设置。

例如，所述对所述过滤预警数据进行转换处理，得到待推送数据的步骤可以包括以下子步骤：

首先，对所述过滤预警数据进行关联处理，得到关联预警数据。其次，对所述关联预警数据进行格式化处理，得到待推送数据。

详细地，在得到所述过滤预警数据之后，可以对数据进行扩展，例如，将重点嫌疑人的预警数据与该重点嫌疑人的轨迹信息进行关联，得到关联预警数据。进一步地，对所述关联预警数据进行格式化处理，形成统一格式的待推送数据。

进一步地，所述通过预设的websocket组件将所述预处理后的预警数据推送至对应的用户的具体方式不受限制，可以根据实际应用需求进行设置。

例如，在一种可以替代的示例中，步骤S120可以包括以下子步骤：

首先，通过npm组件获取并安装Socket.io组件。其次，通过所述Socket.io组件将所述预处理后的预警数据推送至对应的用户。

需要说明的是，在一种可以替代的示例中，可以在所述步骤S110之前，通过npm组件统一获取并安装express组件、kafka-node组件和Socket.io组件。

其中，所述服务端设备可以通过预设的websocket组件将预处理后的预警数据推送至对应的客户端设备，所述客户端设备在接收到所述预处理后的预警数据后可以显示预警提示框以提示用户。所述客户端设备也可以通过npm组件安装socket.io组件，并通过socket.io全局对象连接服务端设备的websocket地址。

结合图4，本发明实施例还提供了一种数据处理装置100，可以应用于上述的电子设备10。其中，该数据处理装置100可以包括数据获取模块110和数据处理模块120。

所述数据获取模块110，用于通过预设的kafka组件获取待处理的预警数据。在本实施例中，所述数据获取模块110可以用于执行图2所示的步骤S110，关于所述数据获取模块110的相关内容可以参照前文对步骤S110的具体描述。

所述数据处理模块120，用于对所述预警数据进行预处理，并通过预设的websocket组件将预处理后的预警数据推送至对应的用户。在本实施例中，所述所述数据处理模块120可以用于执行图2所示的步骤S120，关于所述数据处理模块120的相关内容可以参照前文对步骤S120的具体描述。

在本申请实施例中，对应于上述的数据处理方法，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，该计算机程序运行时执行上述数据处理方法的各个步骤。

其中，前述计算机程序运行时执行的各步骤，在此不再一一赘述，可参考前文对所述数据处理方法的解释说明。

综上所述，本申请实施例提供的数据处理方法和装置、电子设备及计算机可读存储介质，可以通过预设的kafka组件实时获取获取并通过预设的websocket组件实时传输数据，以避免现有技术中通过数据轮询获取预警数据进行展示，所导致的数据处理的效率低的问题。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种数据处理方法，其特征在于，包括：

通过预设的kafka组件获取待处理的预警数据；

对所述预警数据进行预处理，并通过预设的websocket组件将预处理后的预警数据推送至对应的用户。

2.如权利要求1所述的数据处理方法，其特征在于，所述通过预设的kafka组件获取待处理的预警数据的步骤，包括：

与预设的kafka组件建立连接；

获取所述kafka组件发送的预警数据。

3.如权利要求2所述的数据处理方法，其特征在于，所述与预设的kafka组件建立连接的步骤，包括：

通过npm组件获取并安装express组件；

通过所述express组件对预设的kafka组件进行侦听处理，以建立连接。

4.如权利要求2所述的数据处理方法，其特征在于，所述获取所述kafka组件发送的预警数据的步骤，包括：

通过npm组件获取并安装kafka-node组件；

获取通过所述kafka-node组件得到并发送的所述预警数据。

5.如权利要求1所述的数据处理方法，其特征在于，所述对所述预警数据进行预处理的步骤，包括：

对所述预警数据进行过滤处理，得到过滤预警数据；

对所述过滤预警数据进行转换处理，得到待推送数据。

6.如权利要求5所述的数据处理方法，其特征在于，所述对所述过滤预警数据进行转换处理，得到待推送数据的步骤，包括：

对所述过滤预警数据进行关联处理，得到关联预警数据；

对所述关联预警数据进行格式化处理，得到待推送数据。

7.如权利要求1所述的数据处理方法，其特征在于，所述websocket组件设置有Socket.io组件，所述通过预设的websocket组件将所述预处理后的预警数据推送至对应的用户的步骤，包括：

通过npm组件获取并安装Socket.io组件；

通过所述Socket.io组件将所述预处理后的预警数据推送至对应的用户。

8.一种数据处理装置，其特征在于，包括：

数据获取模块，用于通过预设的kafka组件获取待处理的预警数据；

数据处理模块，用于对所述预警数据进行预处理，并通过预设的websocket组件将预处理后的预警数据推送至对应的用户。

9.一种电子设备，其特征在于，包括存储器和处理器，所述处理器用于执行所述存储器中存储的可执行的计算机程序，以实现权利要求1-7任意一项所述的数据处理方法。

10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，该程序被执行时实现权利要求1-7任意一项所述数据处理方法的步骤。

Images