CN111985568B - 数据处理方法及装置、电子设备 - Google Patents

数据处理方法及装置、电子设备 Download PDF

Info

Publication number
CN111985568B
CN111985568B CN202010848549.1A CN202010848549A CN111985568B CN 111985568 B CN111985568 B CN 111985568B CN 202010848549 A CN202010848549 A CN 202010848549A CN 111985568 B CN111985568 B CN 111985568B
Authority
CN
China
Prior art keywords
base station
current
information
preset
target base
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010848549.1A
Other languages
English (en)
Other versions
CN111985568A (zh
Inventor
陈德祯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Communication Information System Co Ltd
Original Assignee
Inspur Communication Information System Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Communication Information System Co Ltd filed Critical Inspur Communication Information System Co Ltd
Priority to CN202010848549.1A priority Critical patent/CN111985568B/zh
Publication of CN111985568A publication Critical patent/CN111985568A/zh
Application granted granted Critical
Publication of CN111985568B publication Critical patent/CN111985568B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Remote Sensing (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本发明提供了数据处理方法及装置、电子设备，该方法包括：实时获取当前用户的当前通信行为数据，其中，当前通信行为数据包括当前用户所接入的当前基站的当前基站位置信息；将获取的当前通信行为数据写入消息队列Kafka中；利用实时流数据处理框架Sparkstreaming对写入消息队列Kafka中的当前通信行为数据进行实时数据处理，以获取当前基站位置信息；将当前基站位置信息和预设的目标基站位置信息进行比对，确定当前用户是否进入预设危险区域，其中，目标基站位置信息对应的目标基站为预设危险区域所接入的基站；在确定出当前用户进入预设危险区域时，生成第一危险预警信息，其中，第一危险预警信息用于提示当前用户进入预设危险区域。本方案可以及时对数据进行处理。

Description

数据处理方法及装置、电子设备
技术领域
本发明涉及数据处理技术领域，特别涉及数据处理方法及装置、电子设备。
背景技术
随着移动通信技术的迅猛发展和广泛应用，移动终端大量普及于公众，也产生了大量用户信息记录。移动用户行为分析通常是指基于地理信息涉及用户访问网络、通话的行为。运营商通过获取用户访问移动互联网、使用移动应用及通话的行为规律，能够对用户信息进行分析和处理。
现有的数据处理方法是通过大数据处理模型将在线事务处理和离线分析从时序上完全分开，以小时甚至以天为计算周期对当前数据进行累计并批量处理。
然而，现有技术以小时甚至以天为计算周期对当前数据进行累计并批量处理，会导致数据处理不及时。
发明内容
本发明实施例提供了数据处理方法及装置、电子设备，可以及时对数据进行处理。
第一方面，本发明实施例提供了数据处理方法，该方法包括：
针对至少一个用户中的每一个用户，实时获取当前用户的当前通信行为数据，其中，所述当前通信行为数据包括所述当前用户所接入的当前基站对应的当前基站位置信息；
将获取的所述当前通信行为数据写入消息队列Kafka中；
利用实时流数据处理框架Sparkstreaming对写入所述消息队列Kafka中的所述当前通信行为数据进行实时数据处理，以获取所述当前基站位置信息；
将所述当前基站位置信息和预设的目标基站位置信息进行比对，确定所述当前用户是否进入预设危险区域，其中，所述目标基站位置信息对应的目标基站为所述预设危险区域所接入的基站；
在确定出所述当前用户进入所述预设危险区域时，生成第一危险预警信息，其中，所述第一危险预警信息用于提示所述当前用户进入所述预设危险区域。
优选地，
所述当前基站位置信息包括：当前基站的经度信息和当前基站的纬度信息；
所述目标基站位置信息包括：目标基站的经度信息和目标基站的纬度信息；
所述利用实时流数据处理框架Sparkstreaming对所述当前通信行为数据进行实时数据处理，以获取所述当前基站位置信息，包括：
利用Sparkstreaming中的大数据处理组件Hive对所述当前通信行为数据进行实时数据处理，以获取所述当前基站的经度信息和所述当前基站的纬度信息。
优选地，
所述将所述当前基站位置信息和预设的目标基站位置信息进行比对，确定所述当前用户是否进入预设危险区域，包括：
根据所述当前基站经度信息、所述当前基站纬度信息、所述目标基站经度信息、所述目标基站纬度信息，通过下述式子确定当前基站与目标基站之间的直线距离是否超出预设的距离阈值；
其中，L表示所述当前基站与所述目标基站之间的直线距离，x1表示所述当前基站经度信息，y1表示所述当前基站纬度信息，x2表示所述目标基站经度信息，y2表示所述目标基站纬度信息；
在确定出所述当前基站与所述目标基站之间的直线距离未超出所述预设的距离阈值时，确定所述当前用户进入预设危险区域。
优选地，
在所述将获取的所述当前通信行为数据写入消息队列Kafka中之后，在所述利用实时流数据处理框架Sparkstreaming对所述当前通信行为数据进行实时数据处理，以获取所述当前基站位置信息之前，进一步包括：
获取运行所述Sparkstreaming的程序的鉴权文件，其中，所述鉴权文件用于工作人员进入所述Sparkstreaming的程序对数据进行处理；
根据内存系统，通过中央处理器计算设置所述Sparkstreaming的程序的目标节点，其中，所述目标节点为根据所述当前通信行为数据量和所述内存系统对应的内存属性确定的运行节点。
优选地，
进一步包括：
根据所述当前通信行为数据，确定所述当前通信行为数据中所包含的当前人员特征信息；
根据预设规则，确定所述预设规则中所包含的危险人员特征信息；
确定所述当前人员特征信息是否与所述危险人员特征信息相匹配；
在确定出所述当前人员特征信息与所述危险人员特征信息相匹配时，确定所述当前用户为危险人员；
生成第二危险预警信息，其中，所述第二危险预警信息用于提示存在危险人员进入当前基站所覆盖的区域。
第二方面，本发明实施例提供了数据处理装置，包括：
获取模块，用于针对至少一个用户中的每一个用户，实时获取当前用户的当前通信行为数据，其中，所述当前通信行为数据包括所述当前用户所接入的当前基站对应的当前基站位置信息；
数据处理模块，用于将所述获取模块获取到的所述当前通信行为数据写入消息队列Kafka中；利用实时流数据处理框架Sparkstreaming对写入所述消息队列Kafka中的所述当前通信行为数据进行实时数据处理，以获取所述当前基站位置信息；
危险区域预警模块，用于将所述数据处理模块处理得到的所述当前基站位置信息和预设的目标基站位置信息进行比对，确定所述当前用户是否进入预设危险区域，在确定出所述当前用户进入所述预设危险区域时，生成第一危险预警信息，其中，所述目标基站位置信息对应的目标基站为所述预设危险区域所接入的基站；所述第一危险预警信息用于提示所述当前用户进入所述预设危险区域。
优选地，
所述当前基站位置信息包括：当前基站的经度信息和当前基站的纬度信息；
所述目标基站位置信息包括：目标基站的经度信息和目标基站的纬度信息；
所述数据处理模块，用于利用Sparkstreaming中的大数据处理组件Hive对所述当前通信行为数据进行实时数据处理，以获取所述当前基站的经度信息和所述当前基站的纬度信息。
优选地，
所述危险区域预警模块，用于执行：
根据所述当前基站经度信息、所述当前基站纬度信息、所述目标基站经度信息、所述目标基站纬度信息，通过下述式子确定当前基站与目标基站之间的直线距离是否超出预设的距离阈值；
其中，L表示所述当前基站与所述目标基站之间的直线距离，x1表示所述当前基站经度信息，y1表示所述当前基站纬度信息，x2表示所述目标基站经度信息，y2表示所述目标基站纬度信息；
在确定出所述当前基站与所述目标基站之间的直线距离未超出所述预设的距离阈值时，确定所述当前用户进入预设危险区域。
优选地，
进一步包括：部署模块；
所述部署模块，用于获取运行所述Sparkstreaming的程序的鉴权文件，其中，所述鉴权文件用于工作人员进入所述Sparkstreaming的程序对数据进行处理；根据内存系统，通过中央处理器计算设置所述Sparkstreaming的程序的目标节点，其中，所述目标节点为根据所述当前通信行为数据量和所述内存系统对应的内存属性确定的运行节点。
优选地，
进一步包括：危险人员预警模块；
所述危险人员预警模块，用于执行：
根据所述当前通信行为数据，确定所述当前通信行为数据中所包含的当前人员特征信息；
根据预设规则，确定所述预设规则中所包含的危险人员特征信息；
确定所述当前人员特征信息是否与所述危险人员特征信息相匹配；
在确定出所述当前人员特征信息与所述危险人员特征信息相匹配时，确定所述当前用户为危险人员；
生成第二危险预警信息，其中，所述第二危险预警信息用于提示存在危险人员进入当前基站所覆盖的区域。
第三方面，本发明实施例提供了电子设备，包括：至少一个存储器和至少一个处理器；
所述至少一个存储器，用于存储机器可读程序；
所述至少一个处理器，用于调用所述机器可读程序，执行第一方面中任一所述的方法。
第四方面，本发明实施例提供了计算机可读介质，所述计算机可读介质上存储有计算机指令，所述计算机指令在被处理器执行时，使所述处理器执行第一方面中任一所述的方法。
本发明实施例提供了数据处理方法及装置、电子设备，传统的大数据处理方式无法满足数据实时计算的需求，从而会造成数据处理延时，因此，为了实现对数据的及时处理，可以实时获取当前用户的当前通信行为数据，然后利用实时流数据处理框架Sparkstreaming对当前通信行为数据进行分析，以确定当前用户的行为轨迹，并在当前用户进入危险区域时可以及时预警。基于此，可以先将获取到的当前通信行为数据写入消息队列Kafka中，然后通过Sparkstreaming进行数据分析，以获取到当前用户所接入的当前基站位置信息，基于当前基站位置信息和预设的目标基站位置信息，可以确定用户是否进入预设危险区域，并在确定出当前用户进入预设危险区域时，生成第一危险预警信息，以提示当前用户已进入预设危险区域。通过上述方式，无需采用传统的大数据处理模型批量进行数据的处理，可以满足实时计算的需求，从而可以及时地对数据进行处理。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例提供的一种数据处理方法的流程图；
图2是本发明一实施例提供的另一种数据处理方法的流程图；
图3是本发明一实施例提供的一种数据处理装置的示意图；
图4是本发明一实施例提供的另一种数据处理装置的示意图；
图5是本发明一实施例提供的又一种数据处理装置的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明实施例提供了数据处理方法，该方法可以包括以下步骤：
步骤101：针对至少一个用户中的每一个用户，实时获取当前用户的当前通信行为数据，其中，当前通信行为数据包括当前用户所接入的当前基站对应的当前基站位置信息；
步骤102：将获取的当前通信行为数据写入消息队列Kafka中；
步骤103：利用实时流数据处理框架Sparkstreaming对写入消息队列Kafka中的当前通信行为数据进行实时数据处理，以获取当前基站位置信息；
步骤104：将当前基站位置信息和预设的目标基站位置信息进行比对，确定当前用户是否进入预设危险区域，其中，目标基站位置信息对应的目标基站为预设危险区域所接入的基站；
步骤105：在确定出当前用户进入预设危险区域时，生成第一危险预警信息，其中，第一危险预警信息用于提示当前用户进入预设危险区域。
在本发明实施例中，传统的大数据处理方式无法满足数据实时计算的需求，从而会造成数据处理延时，因此，为了实现对数据的及时处理，可以实时获取当前用户的当前通信行为数据，然后利用实时流数据处理框架Sparkstreaming对当前通信行为数据进行分析，以确定当前用户的行为轨迹，并在当前用户进入危险区域时可以及时预警。基于此，可以先将获取到的当前通信行为数据写入消息队列Kafka中，然后通过Sparkstreaming进行数据分析，以获取到当前用户所接入的当前基站位置信息，基于当前基站位置信息和预设的目标基站位置信息，可以确定用户是否进入预设危险区域，并在确定出当前用户进入预设危险区域时，生成第一危险预警信息，以提示当前用户已进入预设危险区域。通过上述方式，无需采用传统的大数据处理模型批量进行数据的处理，可以满足实时计算的需求，从而可以及时地对数据进行处理。
为了对当前用户的行为轨迹进行分析，在本发明一实施例中，上述实施例中的当前基站位置信息包括：当前基站的经度信息和当前基站的纬度信息；
目标基站位置信息包括：目标基站的经度信息和目标基站的纬度信息；
上述实施例中的步骤103利用实时流数据处理框架Sparkstreaming对当前通信行为数据进行实时数据处理，以获取当前基站位置信息，具体可以通过如下方式实现：
利用Sparkstreaming中的大数据处理组件Hive对当前通信行为数据进行实时数据处理，以获取当前基站的经度信息和当前基站的纬度信息。
在本发明实施例中，可以设置当前基站位置信息包括：当前基站的经度信息和当前基站的纬度信息，目标基站位置信息包括：目标基站的经度信息和目标基站的纬度信息，然后利用Sparkstreaming中的大数据处理组件Hive对当前通信行为数据进行实时数据处理，以获取到当前基站的经纬度信息，并基于当前基站的经纬度信息对当前用户的行为轨迹进行分析。
为了确定当前用户是否进入预设危险区域，在本发明一实施例中，上述实施例中的步骤104将当前基站位置信息和预设的目标基站位置信息进行比对，确定当前用户是否进入预设危险区域，具体可以通过如下方式实现：
根据当前基站经度信息、当前基站纬度信息、目标基站经度信息、目标基站纬度信息，通过下述式子确定当前基站与目标基站之间的直线距离是否超出预设的距离阈值；
其中，L表示当前基站与目标基站之间的直线距离，x1表示当前基站经度信息，y1表示当前基站纬度信息，x2表示目标基站经度信息，y2表示目标基站纬度信息；
在确定出当前基站与目标基站之间的直线距离未超出预设的距离阈值时，确定当前用户进入预设危险区域。
在本发明实施例中，为了确定当前用户是否进入预设危险区域，可以基于当前基站位置信息所包括的当前基站经度信息和当前基站纬度信息、目标基站位置信息所包括的目标基站经度信息和目标基站纬度信息，通过上述式子确定当前基站与目标基站之间的直线距离，并在确定出确定出当前基站与目标基站之间的直线距离(比如：50米)未超出预设的距离阈值(比如，100米)时，表明当前用户已进入预设危险区域，需要及时给当前用户预警提示或者向相关系统发送预警提示，以对危险情况进行及时的处理。
为了对sparkstreaming的程序进行快速部署，在本发明一实施例中，上述实施例中在步骤102将获取的当前通信行为数据写入消息队列Kafka中之后，在步骤103利用实时流数据处理框架Sparkstreaming对当前通信行为数据进行实时数据处理，以获取当前基站位置信息之前，进一步包括：
获取运行Sparkstreaming的程序的鉴权文件，其中，鉴权文件用于工作人员进入Sparkstreaming的程序对数据进行处理；
根据内存系统，通过中央处理器计算设置Sparkstreaming的程序的目标节点，其中，目标节点为根据当前通信行为数据量和内存系统对应的内存属性确定的运行节点。
在本发明实施例中，由于本方案需要基于sparkstreaming对当前通信行为数据进行分析，以确定当前用户的行为轨迹，故需要首先对sparkstreaming的程序进行部署，可以获取运行Sparkstreaming的程序的鉴权文件，工作人员有鉴权文件时才可以进入Sparkstreaming的程序对当前通信行为数据进行处理，然后可以根据内存系统，通过中央处理器计算设置Sparkstreaming的程序的目标节点。基于当前通信行为数据量和内存系统对应的内存属性确定的目标节点为Sparkstreaming的程序计算能力最佳的节点，可以提高运行速率，保障数据的实时性，从而实现Sparkstreaming的程序的快速部署。
为了确定危险人员，在本发明一实施例中，上述实施例中进一步包括：
根据当前通信行为数据，确定当前通信行为数据中所包含的当前人员特征信息；
根据预设规则，确定预设规则中所包含的危险人员特征信息；
确定当前人员特征信息是否与危险人员特征信息相匹配；
在确定出当前人员特征信息与危险人员特征信息相匹配时，确定当前用户为危险人员；
生成第二危险预警信息，其中，第二危险预警信息用于提示存在危险人员进入当前基站所覆盖的区域。
在本发明实施例中，可以自定义危险人群进行预警，在服务端可以预设规则，并设置该规则中包含危险人员特征信息，比如，危险人员的姓名、手机号归属地或者职业；然后基于当前用户的当前人员特征信息(比如，当前人员的职业)确定两者是否相匹配，并在当前人员特征信息与危险人员特征信息相匹配时，确定当前用户为危险人员，并生成第二危险预警信息，同时可以将该预警信息发送给相关部门以及时防范危险人员，规避危险的发生。
基于“sparkstreaming”实现特殊区域预警的方法，将行业数据存储于在云端，运营商将自有数据进行存储。然后基于行业数据与运营商数据通过建模分析，可以形成有效的行业数据进行预警。而且传统的大数据处理模型将在线事务处理和离线分析从时序上完全分开，对于数据加工均遵循传统的日清日毕模式，即以小时甚至以天为计算周期对当前数据进行累计并处理。数据处理时延造成的影响对要求苛刻的业务场景会非常明显，例如实时大数据分析、风控预警、实时预测和金融交易等领域。基于“sparkstreaming”可以有效地缩短全链路数据流时延、实时化计算业务逻辑、平摊计算成本，最终有效满足实时处理大数据的业务需求。
如图2所示，为了更加清楚地说明本发明的技术方案及优点，下面对本发明实施例提供了数据处理方法进行详细说明，具体可以包括以下步骤：
步骤201：针对至少一个用户中的每一个用户，实时获取当前用户的当前通信行为数据，其中，当前通信行为数据包括当前用户所接入的当前基站对应的当前基站的经度信息和当前基站的纬度信息。
具体地，当前通信行为数据为该用户的通话行为、上网行为、当前位置信息等所组成的大数据，基于当前通信行为数据可以确定当前用户所接入的当前基站的当前基站位置信息，并基于当前基站的位置信息中所包含的当前基站经度信息和当前基站纬度信息，对用户的行为轨迹进行分析，同时可以利用关系型数据库构建云数据库中心，对用户的行为轨迹进行跟踪。
步骤202：将获取的当前通信行为数据写入消息队列Kafka中。
具体地，Sparkstreaming为实时流数据处理框架，可以对流数据进行实时计算和分析，而Kafka作为一种高吞吐量的分布式发布订阅消息系统，可以提供实时消息，因此，可以先将获取到的当前通信行为数据写入消息队列Kafka中。
步骤203：获取运行Sparkstreaming的程序的鉴权文件，其中，鉴权文件用于工作人员进入Sparkstreaming的程序对数据进行处理。
步骤204：根据内存系统，通过中央处理器计算设置Sparkstreaming的程序的目标节点，其中，目标节点为根据当前通信行为数据量和内存系统对应的内存属性确定的运行节点。
步骤205：利用Sparkstreaming中的大数据处理组件Hive对当前通信行为数据进行实时数据处理，以获取当前基站的经度信息和当前基站的纬度信息。
步骤206：获取目标基站位置信息所包括的目标基站经度信息和目标基站纬度信息，其中，目标基站位置信息对应的目标基站为预设危险区域所接入的基站；
步骤207：确定当前基站与目标基站之间的直线距离是否超出预设的距离阈值，若否，执行步骤208。
举例来说，可以通过下述式子确定当前基站与目标基站之间的直线距离。
其中，L表示当前基站与目标基站之间的直线距离，x1表示当前基站经度信息，y1表示当前基站纬度信息，x2表示目标基站经度信息，y2表示目标基站纬度信息。
步骤208：确定当前用户进入预设危险区域。
步骤209：生成第一危险预警信息，其中，第一危险预警信息用于提示当前用户进入预设危险区域。
步骤210：确定当前通信行为数据中所包含的当前人员特征信息。
步骤211：根据预设规则，确定预设规则中所包含的危险人员特征信息。
步骤212：确定当前人员特征信息是否与危险人员特征信息相匹配，若是，执行步骤213。
步骤213：确定当前用户为危险人员。
步骤214：生成第二危险预警信息，其中，第二危险预警信息用于提示存在危险人员进入当前基站所覆盖的区域。
具体地，通过对用户的通信行为数据的处理，可以形成一个完整的生态链，可以包含所有公共安全所需要的数据，通过点对点或者点对面的分析，对特殊区域或者特定人群进行分析和预警，达到防患于未然的目的，可以在根源上对公共安全问题进行解决。
如图3所示，本发明实施例提供了数据处理装置，包括：
获取模块301，用于针对至少一个用户中的每一个用户，实时获取当前用户的当前通信行为数据，其中，当前通信行为数据包括当前用户所接入的当前基站对应的当前基站位置信息；
数据处理模块302，用于将获取模块301获取到的当前通信行为数据写入消息队列Kafka中；利用实时流数据处理框架Sparkstreaming对写入消息队列Kafka中的当前通信行为数据进行实时数据处理，以获取当前基站位置信息；
危险区域预警模块303，用于将数据处理模块302处理得到的当前基站位置信息和预设的目标基站位置信息进行比对，确定当前用户是否进入预设危险区域，在确定出当前用户进入预设危险区域时，生成第一危险预警信息，其中，目标基站位置信息对应的目标基站为预设危险区域所接入的基站；第一危险预警信息用于提示当前用户进入预设危险区域。
在本发明实施例中，传统的大数据处理方式无法满足数据实时计算的需求，从而会造成数据处理延时，因此，为了实现对数据的及时处理，可以通过获取模块实时获取当前用户的当前通信行为数据，然后通过数据处理模块利用实时流数据处理框架Sparkstreaming对当前通信行为数据进行分析，以确定当前用户的行为轨迹，并在当前用户进入危险区域时可以及时预警。基于此，可以先将获取到的当前通信行为数据写入消息队列Kafka中，然后通过Sparkstreaming进行数据分析，以获取到当前用户所接入的当前基站位置信息，利用危险区域预警模块基于当前基站位置信息和预设的目标基站位置信息，可以确定用户是否进入预设危险区域，并在确定出当前用户进入预设危险区域时，生成第一危险预警信息，以提示当前用户已进入预设危险区域。通过上述方式，无需采用传统的大数据处理模型批量进行数据的处理，可以满足实时计算的需求，从而可以及时地对数据进行处理。
在本发明一实施例中，当前基站位置信息包括：当前基站的经度信息和当前基站的纬度信息；
目标基站位置信息包括：目标基站的经度信息和目标基站的纬度信息；
数据处理模块302，用于利用Sparkstreaming中的大数据处理组件Hive对当前通信行为数据进行实时数据处理，以获取当前基站的经度信息和当前基站的纬度信息。
在本发明一实施例中，危险区域预警模块303，用于执行：
根据当前基站经度信息、当前基站纬度信息、目标基站经度信息、目标基站纬度信息，通过下述式子确定当前基站与目标基站之间的直线距离是否超出预设的距离阈值；
其中，L表示当前基站与目标基站之间的直线距离，x1表示当前基站经度信息，y1表示当前基站纬度信息，x2表示目标基站经度信息，y2表示目标基站纬度信息；
在确定出当前基站与目标基站之间的直线距离未超出预设的距离阈值时，确定当前用户进入预设危险区域。
如图4所示，基于图3所示的数据处理装置，在本发明一实施例中，进一步包括：部署模块304；
部署模块304，用于获取运行Sparkstreaming的程序的鉴权文件，其中，鉴权文件用于工作人员进入Sparkstreaming的程序对数据进行处理；根据内存系统，通过中央处理器计算设置Sparkstreaming的程序的目标节点，其中，目标节点为根据当前通信行为数据量和内存系统对应的内存属性确定的运行节点。
如图5所示，基于图3所示的数据处理装置，在本发明一实施例中，进一步包括：危险人员预警模块305；
危险人员预警模块305，用于执行：
根据当前通信行为数据，确定当前通信行为数据中所包含的当前人员特征信息；
根据预设规则，确定预设规则中所包含的危险人员特征信息；
确定当前人员特征信息是否与危险人员特征信息相匹配；
在确定出当前人员特征信息与危险人员特征信息相匹配时，确定当前用户为危险人员；
生成第二危险预警信息，其中，第二危险预警信息用于提示存在危险人员进入当前基站所覆盖的区域。
可以理解的是，本发明实施例示意的结构并不构成对数据处理装置的具体限定。在本发明的另一些实施例中，数据处理装置可以包括比图示更多或者更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件、软件或者软件和硬件的组合来实现。
上述装置内的各单元之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。
本发明实施例还提供了数据处理装置，包括：至少一个存储器和至少一个处理器；
至少一个存储器，用于存储机器可读程序；
至少一个处理器，用于调用机器可读程序，执行本发明任一实施例中的数据处理方法。
本发明实施例还提供了一种计算机可读介质，计算机可读介质上存储有计算机指令，计算机指令在被处理器执行时，使处理器执行本发明任一实施例中的数据处理方法。
具体地，可以提供配有存储介质的系统或者装置，在该存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统或者装置的计算机(或CPU或MPU)读出并执行存储在存储介质中的程序代码。
在这种情况下，从存储介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此程序代码和存储程序代码的存储介质构成了本发明的一部分。
用于提供程序代码的存储介质实施例包括软盘、硬盘、磁光盘、光盘(如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD+RW)、磁带、非易失性存储卡和ROM。可选择地，可以由通信网络从服务器计算机上下载程序代码。
此外，应该清楚的是，不仅可以通过执行计算机所读出的程序代码，而且可以通过基于程序代码的指令使计算机上操作的操作系统等来完成部分或者全部的实际操作，从而实现上述实施例中任意一项实施例的功能。
此外，可以理解的是，将由存储介质读出的程序代码写到插入计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展单元中设置的存储器中，随后基于程序代码的指令使安装在扩展板或者扩展单元上的CPU等来执行部分和全部实际操作，从而实现上述实施例中任一实施例的功能。
本发明各个实施例至少具有如下有益效果：
1、在本发明实施例中，传统的大数据处理方式无法满足数据实时计算的需求，从而会造成数据处理延时，因此，为了实现对数据的及时处理，可以实时获取当前用户的当前通信行为数据，然后利用实时流数据处理框架Sparkstreaming对当前通信行为数据进行分析，以确定当前用户的行为轨迹，并在当前用户进入危险区域时可以及时预警。基于此，可以先将获取到的当前通信行为数据写入消息队列Kafka中，然后通过Sparkstreaming进行数据分析，以获取到当前用户所接入的当前基站位置信息，基于当前基站位置信息和预设的目标基站位置信息，可以确定用户是否进入预设危险区域，并在确定出当前用户进入预设危险区域时，生成第一危险预警信息，以提示当前用户已进入预设危险区域。通过上述方式，无需采用传统的大数据处理模型批量进行数据的处理，可以满足实时计算的需求，从而可以及时地对数据进行处理；
2、在本发明一实施例中，可以设置当前基站位置信息包括：当前基站的经度信息和当前基站的纬度信息，目标基站位置信息包括：目标基站的经度信息和目标基站的纬度信息，然后利用Sparkstreaming中的大数据处理组件Hive对当前通信行为数据进行实时数据处理，以获取到当前基站的经纬度信息，并基于当前基站的经纬度信息对当前用户的行为轨迹进行分析；
3、在本发明一实施例中，为了确定当前用户是否进入预设危险区域，可以基于当前基站位置信息所包括的当前基站经度信息和当前基站纬度信息、目标基站位置信息所包括的目标基站经度信息和目标基站纬度信息，通过上述式子确定当前基站与目标基站之间的直线距离，并在确定出确定出当前基站与目标基站之间的直线距离未超出预设的距离阈值时，表明当前用户已进入预设危险区域，需要及时给当前用户预警提示或者向相关系统发送预警提示，以对危险情况进行及时的处理。
需要说明的是，上述各流程和各系统结构图中不是所有的步骤和模块都是必须的，可以根据实际的需要忽略某些步骤或模块。各步骤的执行顺序不是固定的，可以根据需要进行调整。上述各实施例中描述的系统结构可以是物理结构，也可以是逻辑结构，即，有些模块可能由同一物理实体实现，或者，有些模块可能分由多个物理实体实现，或者，可以由多个独立设备中的某些部件共同实现。
以上各实施例中，硬件单元可以通过机械方式或电气方式实现。例如，一个硬件单元可以包括永久性专用的电路或逻辑(如专门的处理器，FPGA或ASIC)来完成相应操作。硬件单元还可以包括可编程逻辑或电路(如通用处理器或其它可编程处理器)，可以由软件进行临时的设置以完成相应操作。具体的实现方式(机械方式、或专用的永久性电路、或者临时设置的电路)可以基于成本和时间上的考虑来确定。
上文通过附图和优选实施例对本发明进行了详细展示和说明，然而本发明不限于这些已揭示的实施例，基与上述多个实施例本领域技术人员可以知晓，可以组合上述不同实施例中的代码审核手段得到本发明更多的实施例，这些实施例也在本发明的保护范围之内。

Claims (8)

1.数据处理方法，其特征在于，该方法包括：
针对至少一个用户中的每一个用户，实时获取当前用户的当前通信行为数据，其中，所述当前通信行为数据包括所述当前用户所接入的当前基站对应的当前基站位置信息；
将获取的所述当前通信行为数据写入消息队列Kafka中；
利用实时流数据处理框架Sparkstreaming对写入所述消息队列Kafka中的所述当前通信行为数据进行实时数据处理，以获取所述当前基站位置信息；
将所述当前基站位置信息和预设的目标基站位置信息进行比对，确定所述当前用户是否进入预设危险区域，其中，所述目标基站位置信息对应的目标基站为所述预设危险区域所接入的基站；
在确定出所述当前用户进入所述预设危险区域时，生成第一危险预警信息，其中，所述第一危险预警信息用于提示所述当前用户进入所述预设危险区域；
所述当前基站位置信息包括：当前基站的经度信息和当前基站的纬度信息；
所述目标基站位置信息包括：目标基站的经度信息和目标基站的纬度信息；
所述利用实时流数据处理框架Sparkstreaming对所述当前通信行为数据进行实时数据处理，以获取所述当前基站位置信息，包括：
利用Sparkstreaming中的大数据处理组件Hive对所述当前通信行为数据进行实时数据处理，以获取所述当前基站的经度信息和所述当前基站的纬度信息。
2.根据权利要求1所述的方法，其特征在于，
所述将所述当前基站位置信息和预设的目标基站位置信息进行比对，确定所述当前用户是否进入预设危险区域，包括：
根据所述当前基站经度信息、所述当前基站纬度信息、所述目标基站经度信息、所述目标基站纬度信息，通过下述式子确定当前基站与目标基站之间的直线距离是否超出预设的距离阈值；
其中，L表示所述当前基站与所述目标基站之间的直线距离，x1表示所述当前基站经度信息，y1表示所述当前基站纬度信息，x2表示所述目标基站经度信息，y2表示所述目标基站纬度信息；
在确定出所述当前基站与所述目标基站之间的直线距离未超出所述预设的距离阈值时，确定所述当前用户进入预设危险区域。
3.根据权利要求1-2中任一所述的方法，其特征在于，
在所述将获取的所述当前通信行为数据写入消息队列Kafka中之后，在所述利用实时流数据处理框架Sparkstreaming对所述当前通信行为数据进行实时数据处理，以获取所述当前基站位置信息之前，进一步包括：
获取运行所述Sparkstreaming的程序的鉴权文件，其中，所述鉴权文件用于工作人员进入所述Sparkstreaming的程序对数据进行处理；
根据内存系统，通过中央处理器计算设置所述Sparkstreaming的程序的目标节点，其中，所述目标节点为根据所述当前通信行为数据量和所述内存系统对应的内存属性确定的运行节点；
和/或，
进一步包括：
根据所述当前通信行为数据，确定所述当前通信行为数据中所包含的当前人员特征信息；
根据预设规则，确定所述预设规则中所包含的危险人员特征信息；
确定所述当前人员特征信息是否与所述危险人员特征信息相匹配；
在确定出所述当前人员特征信息与所述危险人员特征信息相匹配时，确定所述当前用户为危险人员；
生成第二危险预警信息，其中，所述第二危险预警信息用于提示存在危险人员进入当前基站所覆盖的区域。
4.数据处理装置，其特征在于，包括：
获取模块，用于针对至少一个用户中的每一个用户，实时获取当前用户的当前通信行为数据，其中，所述当前通信行为数据包括所述当前用户所接入的当前基站对应的当前基站位置信息；
数据处理模块，用于将所述获取模块获取到的所述当前通信行为数据写入消息队列Kafka中；利用实时流数据处理框架Sparkstreaming对写入所述消息队列Kafka中的所述当前通信行为数据进行实时数据处理，以获取所述当前基站位置信息；
危险区域预警模块，用于将所述数据处理模块处理得到的所述当前基站位置信息和预设的目标基站位置信息进行比对，确定所述当前用户是否进入预设危险区域，在确定出所述当前用户进入所述预设危险区域时，生成第一危险预警信息，其中，所述目标基站位置信息对应的目标基站为所述预设危险区域所接入的基站；所述第一危险预警信息用于提示所述当前用户进入所述预设危险区域；
所述当前基站位置信息包括：当前基站的经度信息和当前基站的纬度信息；
所述目标基站位置信息包括：目标基站的经度信息和目标基站的纬度信息；
所述数据处理模块，用于利用Sparkstreaming中的大数据处理组件Hive对所述当前通信行为数据进行实时数据处理，以获取所述当前基站的经度信息和所述当前基站的纬度信息。
5.根据权利要求4所述的装置，其特征在于，
所述危险区域预警模块，用于执行：
根据所述当前基站经度信息、所述当前基站纬度信息、所述目标基站经度信息、所述目标基站纬度信息，通过下述式子确定当前基站与目标基站之间的直线距离是否超出预设的距离阈值；
其中，L表示所述当前基站与所述目标基站之间的直线距离，x1表示所述当前基站经度信息，y1表示所述当前基站纬度信息，x2表示所述目标基站经度信息，y2表示所述目标基站纬度信息；
在确定出所述当前基站与所述目标基站之间的直线距离未超出所述预设的距离阈值时，确定所述当前用户进入预设危险区域。
6.根据权利要求4-5中任一所述的装置，其特征在于，
进一步包括：部署模块；
所述部署模块，用于获取运行所述Sparkstreaming的程序的鉴权文件，其中，所述鉴权文件用于工作人员进入所述Sparkstreaming的程序对数据进行处理；根据内存系统，通过中央处理器计算设置所述Sparkstreaming的程序的目标节点，其中，所述目标节点为根据所述当前通信行为数据量和所述内存系统对应的内存属性确定的运行节点；
和/或，
进一步包括：危险人员预警模块；
所述危险人员预警模块，用于执行：
根据所述当前通信行为数据，确定所述当前通信行为数据中所包含的当前人员特征信息；
根据预设规则，确定所述预设规则中所包含的危险人员特征信息；
确定所述当前人员特征信息是否与所述危险人员特征信息相匹配；
在确定出所述当前人员特征信息与所述危险人员特征信息相匹配时，确定所述当前用户为危险人员；
生成第二危险预警信息，其中，所述第二危险预警信息用于提示存在危险人员进入当前基站所覆盖的区域。
7.电子设备，其特征在于，包括：至少一个存储器和至少一个处理器；
所述至少一个存储器，用于存储机器可读程序；
所述至少一个处理器，用于调用所述机器可读程序，执行权利要求1至3中任一所述的方法。
8.计算机可读介质，其特征在于，所述计算机可读介质上存储有计算机指令，所述计算机指令在被处理器执行时，使所述处理器执行权利要求1至3中任一所述的方法。
CN202010848549.1A 2020-08-21 2020-08-21 数据处理方法及装置、电子设备 Active CN111985568B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010848549.1A CN111985568B (zh) 2020-08-21 2020-08-21 数据处理方法及装置、电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010848549.1A CN111985568B (zh) 2020-08-21 2020-08-21 数据处理方法及装置、电子设备

Publications (2)

Publication Number Publication Date
CN111985568A CN111985568A (zh) 2020-11-24
CN111985568B true CN111985568B (zh) 2024-01-30

Family

ID=73443655

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010848549.1A Active CN111985568B (zh) 2020-08-21 2020-08-21 数据处理方法及装置、电子设备

Country Status (1)

Country Link
CN (1) CN111985568B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017202226A1 (zh) * 2016-05-23 2017-11-30 中兴通讯股份有限公司 人群流量的确定方法及装置
CN111209261A (zh) * 2020-01-02 2020-05-29 邑客得（上海）信息技术有限公司 基于信令大数据的用户出行轨迹提取方法和系统
CN111274340A (zh) * 2020-01-15 2020-06-12 中国联合网络通信集团有限公司 人流密度的监控处理方法、设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017202226A1 (zh) * 2016-05-23 2017-11-30 中兴通讯股份有限公司 人群流量的确定方法及装置
CN111209261A (zh) * 2020-01-02 2020-05-29 邑客得（上海）信息技术有限公司 基于信令大数据的用户出行轨迹提取方法和系统
CN111274340A (zh) * 2020-01-15 2020-06-12 中国联合网络通信集团有限公司 人流密度的监控处理方法、设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
基于Wi-Fi探针的新冠肺炎患者轨迹追溯系统设计;胡佳雄;马敬东;;医疗卫生装备(06);全文 *
基于手机信令数据的大客流监控应用研究;胡忠顺;王进;朱亮;;电信技术(04);全文 *
面向大型装备状态分析的分布式实时数据仓库构建技术;刘彦均;封宇;武千惠;黄必清;;计算机集成制造系统(10);全文 *

Also Published As

Publication number Publication date
CN111985568A (zh) 2020-11-24

Similar Documents

Publication Publication Date Title
CN109816397B (zh) 一种欺诈判别方法、装置及存储介质
CN110390262B (zh) 视频分析方法、装置、服务器及存储介质
CN106982230B (zh) 一种流量检测方法及系统
US11392733B2 (en) Multi-dimensional event model generation
CN108491720B (zh) 一种应用识别方法、系统以及相关设备
CN107886414B (zh) 一种订单合并方法和设备以及计算机存储介质
CN112233428B (zh) 车流量预测方法、装置、存储介质及设备
CN112734046A (zh) 模型训练及数据检测方法、装置、设备及介质
CN112149103A (zh) 基于电子订单处理的电商平台入侵检测方法及计算机设备
CN114445088A (zh) 一种欺诈行为的判定方法、装置、电子设备和存储介质
CN110990455A (zh) 大数据识别房屋性质的方法与系统
CN111985568B (zh) 数据处理方法及装置、电子设备
CN112380993A (zh) 基于目标实时追踪信息的智能违法行为检测系统及方法
CN115223022B (zh) 一种图像处理方法、装置、存储介质及设备
CN116980162A (zh) 云审计的数据检测方法、装置、设备、介质及程序产品
CN115696337A (zh) 一种移动终端安全监测分析方法及装置
CN112565380B (zh) 一种消防物联网数据接入方法及系统
CN113076451B (zh) 异常行为识别和风险模型库的建立方法、装置及电子设备
CN111797181B (zh) 用户职住地的定位方法、装置、控制设备及存储介质
CN114189585A (zh) 骚扰电话异常检测方法、装置及计算设备
CN110717386A (zh) 涉事对象追踪方法及装置、电子设备和非暂态存储介质
CN112533208A (zh) 模型训练方法、虚假终端识别方法和装置、电子设备
CN113490144B (zh) 覆盖空洞处理方法、装置及电子设备
CN113051128B (zh) 功耗检测方法、装置、电子设备及存储介质
CN117113404A (zh) 电力系统的数据共享方法、装置、终端设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 250100 S06 tower, 1036, Chao Lu Road, hi tech Zone, Ji'nan, Shandong.

Applicant after: INSPUR COMMUNICATION AND INFORMATION SYSTEM Co.,Ltd.

Address before: No. 1036, Shandong high tech Zone wave road, Ji'nan, Shandong

Applicant before: Beijing MetarNet Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant