CN117149787A - 基于大数据的关键信息抓取与展示方法 - Google Patents

基于大数据的关键信息抓取与展示方法 Download PDF

Info

Publication number
CN117149787A
CN117149787A CN202311114400.0A CN202311114400A CN117149787A CN 117149787 A CN117149787 A CN 117149787A CN 202311114400 A CN202311114400 A CN 202311114400A CN 117149787 A CN117149787 A CN 117149787A
Authority
CN
China
Prior art keywords
event
information
data generation
data
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311114400.0A
Other languages
English (en)
Other versions
CN117149787B (zh
Inventor
王玉娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Wanrong Data Service Co ltd
Original Assignee
Guangzhou Wanrong Data Service Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Wanrong Data Service Co ltd filed Critical Guangzhou Wanrong Data Service Co ltd
Priority to CN202311114400.0A priority Critical patent/CN117149787B/zh
Publication of CN117149787A publication Critical patent/CN117149787A/zh
Application granted granted Critical
Publication of CN117149787B publication Critical patent/CN117149787B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2379—Updates performed during online database operations; commit processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2433—Query languages
    • G06F16/2435—Active constructs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明提供基于大数据的关键信息抓取与展示方法，分析服务端的大数据对应的数据生成日志，筛选满足条件的数据生成事件，实现对金融交易大数据的初步筛选，还将数据生成事件区分为正常数据生成事件和异常数据生成事件，有效准确甄别线上金融交易行为的正常与否，实现对线上金融交易行为的区分处理；还基于来自用户端的信息抓取请求，确定用户端期望抓取信息的关联事件特征信息，以此准确确定用户端的信息抓取需求，便于后续快速精确准确相应的事件关键信息，提高在大数据库中进行信息抓取的效率；还基于用户端的应用程序的运行状态信息，将抓取得到的事件关键信息推送至应用程序的信息显示队列中，保证对事件关键信息的及时全面显示。

Description

基于大数据的关键信息抓取与展示方法
技术领域
本发明涉及大数据处理的领域，尤其涉及基于大数据的关键信息抓取与展示方法。
背景技术
当用户使用智能手机安装的银行线上应用程序进行转账或者基金买卖等金融交易操作时，与应用程序对应的银行服务器会记录智能手机进行金融交易操作产生的金融交易数据，并将金融交易数据存储在相应的大数据库中，当用户需要查询自身的历史金融交易操作或者银行端发现用户的线上银行账号存在异常金融交易行为时，会向用户的智能手机发送通知消息，从而确保用户能够及时掌握自身的线上金融交易情况。但是上述方式都是基于用户提供的查询条件(比如金融交易操作的发生时间范围等)或者银行端对线上银行账号的主动监测结果来进行通知消息的推送，无法对银行服务器工作过程中形成的金融交易大数据进行全面准确的识别抓取，也不能针对智能手机的实时工作状态向智能手机及时高效推送抓取得到的金融交易信息和保证智能手机对金融交易信息的全面展示。
发明内容
本发明的目的在于提供基于大数据的关键信息抓取与展示方法，其分析服务端的大数据对应的数据生成日志，筛选满足条件的数据生成事件，实现对金融交易大数据的初步筛选，还将数据生成事件区分为正常数据生成事件和异常数据生成事件，有效准确甄别线上金融交易行为的正常与否，实现对线上金融交易行为的区分处理；还基于来自用户端的信息抓取请求，确定用户端期望抓取信息的关联事件特征信息，以此准确确定用户端的信息抓取需求，便于后续快速精确准确相应的事件关键信息，提高在大数据库中进行信息抓取的效率；还基于用户端的应用程序的运行状态信息，将抓取得到的事件关键信息推送至应用程序的信息显示队列中，保证对事件关键信息的及时全面显示，提高金融交易信息的抓取可信度和展示可靠性。
本发明是通过以下技术方案实现：
基于大数据的关键信息抓取与展示方法，包括：
获取服务端的大数据库对应的数据生成日志，对所述数据生成日志进行分析，筛选满足预设事件类型条件的数据生成事件；基于所述数据生成事件的事件属性信息，判断所述数据生成事件是否属于正常数据生成事件还是异常数据生成事件；
对来自用户端的信息抓取请求进行分析，确定所述用户端期望抓取信息的关联事件特征信息；基于所述关联事件特征信息，从相应的数据生成事件存储区间中标定相匹配的正常数据生成事件或异常数据生成事件，并从所述标定的正常数据生成事件或异常数据生成事件中抓取事件关键信息；
基于所述用户端的应用程序的运行状态信息，将所述事件关键信息推送至所述应用程序的信息显示队列中，从而在所述应用程序显示所述事件关键信息。
可选地，获取服务端的大数据库对应的数据生成日志，包括：
对服务端的实时数据生成状态信息进行分析，判断所述服务端当前是否处于正常数据生成状态；其中，所述实时数据生成状态信息包括所述服务端的实时数据生成速度和实时生成数据内容；
若所述服务端处于正常数据生成状态，则直接获取所述服务端的大数据库对应的数据生成日志；
若所述服务端不处于正常数据生成状态，则对所述服务端的大数据库对应的数据生成日志进行异常数据剔除处理，从而获得所需的数据生成日志。
可选地，对服务端的实时数据生成状态信息进行分析，判断所述服务端当前是否处于正常数据生成状态，包括：
步骤S1，利用下面公式(1)，根据所述实时生成数据内容中的结构标识，判断所述实时生成数据内容的结构状态是否正常，
在上述公式(1)中，J表示所述实时生成数据内容的结构状态正常判定值；D16表示所述实时生成数据的16进制形式；len(D16)表示所述实时生成数据的16进制形式中的数据总位数；K1表示16进制标准帧头的数据总位数；K2表示16进制标准帧尾的数据总位数；A16表示16进制标准帧头；E16表示16进制标准帧尾；>>表示右移；<<表示左移；{}10表示将括号内的数据转换成10进制形式；
若J＝1，则表示所述实时生成数据内容的结构状态正常；
若J≠1，则表示所述实时生成数据内容的结构状态不正常；
步骤S2，利用下面公式(2)，根据所述实时生成数据内容中的数据标识判断所述实时生成数据内容的数据状态是否正常，即在所述实时生成数据内容中帧头后边的4位是重要数据内容16进制形式的数据位数，通过检测重要数据内容16进制形式的数据位数是否与帧头后边的4位数据的10进制数值是否一致，判断所述实时生成数据内容的数据状态是否正常，
在上述公式(2)中，S表示所述实时生成数据内容的数据状态正常判定值；
若S＝1，则表示所述实时生成数据内容的数据状态正常；
若S≠1，则表示所述实时生成数据内容的数据状态不正常；
步骤S3，利用下面公式(3)，根据所述服务端的实时数据生成速度、实时生成数据内容的结构状态和数据状态，得到所述服务端当前生成数据的控制指令，
Z＝{F(J＝1)&&F(S＝1),F(v∈[Vmin,Vmax])} (3)
在上述公式(3)中，Z表示所述服务端当前生成数据的控制指令；F()表示判断函数，若括号内的算式成立，则判断函数的函数值为1，若括号内的算式不成立，则判断函数的函数值为0；&&表示逻辑关系与；∈表示属于；[Vmin,Vmax]表示所述服务端的实时数据生成速度的预设范围区间；
若Z＝{1,1}，则表示所述服务端当前处于正常数据生成状态，且生成的数据能够正常使用；
若Z＝{1,0}，则表示所述服务端当前不处于正常数据生成状态，但生成的数据能够正常使用；
若Z＝{0,1}或Z＝{0,0}，均表示所述服务端当前不处于正常数据生成状态，且生成的数据不能够使用。
可选地，对所述数据生成日志进行分析，筛选满足预设事件类型条件的数据生成事件，包括：
从所述数据生成日志中提取所有数据生成事件对应的线上金融交易事件类型信息，将所述线上金融交易事件类型信息与预设事件类型信息白名单进行对比；若所述线上金融交易事件类型信息存在于预设事件类型信息白名单，则确定对应的数据生成事件满足预设事件类型条件；否则，确定对应的数据生成事件不满足预设事件类型条件。
可选地，基于所述数据生成事件的事件属性信息，判断所述数据生成事件是否属于正常数据生成事件还是异常数据生成事件，包括：
从满足预设事件类型条件的数据生成事件中提取事件发生IP地址状态信息，对所述事件发生IP地址状态信息进行分析，得到所述数据生成事件的事件发生IP地址对应地域位置信息和事件发生IP地址变化状态信息；其中，所述事件发生IP地址变化状态信息是指所述数据生成事件在整个事件过程中的事件发生IP地址变化频率信息；
基于所述事件发生IP地址对应地域位置信息和所述事件发生IP地址变化状态信息，判断所述数据生成事件是否属于正常数据生成事件还是异常数据生成事件。
可选地，对来自用户端的信息抓取请求进行分析，确定所述用户端期望抓取信息的关联事件特征信息，包括：
从来自用户端的信息抓取请求中提取所述用户端期望抓取的信息对应的关联事件发生时间信息。
可选地，基于所述关联事件特征信息，从相应的数据生成事件存储区间中标定相匹配的正常数据生成事件或异常数据生成事件，并从所述标定的正常数据生成事件或异常数据生成事件中抓取事件关键信息，包括：
将所述关联事件发生时间信息与所述大数据库中相应的数据生成事件存储区间中所有正常数据生成事件和所有异常数据生成事件各自的发生时间信息进行对比；若所述正常数据生成事件或所述异常数据生成事件的发生时间信息与所述关联事件发生时间信息之间的时间差小于或等于预设时间差阈值，则将对应的正常数据生成事件或异常数据生成事件标定为相匹配的正常数据生成事件或异常数据生成事件；
再从所述标定的正常数据生成事件或异常数据生成事件中抓取数据生成事件包含的金融交易关键信息；其中，所述金融交易关键信息包括数据生成事件对应的金融交易过程中的交易发生时间信息、交易金额信息和交易双方身份信息中的至少一者。
可选地，基于所述用户端的应用程序的运行状态信息，将所述事件关键信息推送至所述应用程序的信息显示队列中，从而在所述应用程序显示所述事件关键信息，包括：
获取所述用户端内部与数据生成事件对应的应用程序的运行任务状态信息；其中，所述运行任务状态信息包括所述应用程序的待处理信息显示任务截止期限时间信息；
将所述事件关键信息打包形成信息显示任务后，基于所述运行任务状态信息，将所述信息显示任务推送至所述应用程序的信息显示队列的相应位置中，从而使所述应用程序显示所述事件关键信息。
可选地，将所述事件关键信息打包形成信息显示任务后，基于所述运行任务状态信息，将所述信息显示任务推送至所述应用程序的信息显示队列的相应位置中，从而使所述应用程序显示所述事件关键信息，包括：
将从所述标定的正常数据生成事件专区的事件关键信息打包形成第一类信息显示任务后，基于所述运行任务状态信息，确定所述应用程序的所有待处理信息显示任务的平均截止期限时间信息；再基于所述平均截止期限时间信息，将所述第一类信息显示任务推送至所述应用程序的信息显示队列的相应位置中，从而使所述应用程序显示所述事件关键信息；
将从所述标定的异常数据生成事件专区的事件关键信息打包形成第二类信息显示任务后，将所述第二类信息显示任务推送至所述应用程序的信息显示队列的最优先位置中，从而使所述应用程序显示所述事件关键信息。
与现有技术相比，本发明具有如下有益效果：
本申请提供的基于大数据的关键信息抓取与展示方法分析服务端的大数据对应的数据生成日志，筛选满足条件的数据生成事件，实现对金融交易大数据的初步筛选，还将数据生成事件区分为正常数据生成事件和异常数据生成事件，有效准确甄别线上金融交易行为的正常与否，实现对线上金融交易行为的区分处理；还基于来自用户端的信息抓取请求，确定用户端期望抓取信息的关联事件特征信息，以此准确确定用户端的信息抓取需求，便于后续快速精确准确相应的事件关键信息，提高在大数据库中进行信息抓取的效率；还基于用户端的应用程序的运行状态信息，将抓取得到的事件关键信息推送至应用程序的信息显示队列中，保证对事件关键信息的及时全面显示，提高金融交易信息的抓取可信度和展示可靠性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
图1为本发明提供的基于大数据的关键信息抓取与展示方法的流程示意图。
具体实施方式
为使本申请的上述目的、特征和优点能够更为明显易懂，下面结合附图，对本申请的具体实施方式做详细的说明。可以理解的是，此处所描述的具体实施例仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部结构。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
本申请中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
请参阅图1所示，本申请一实施例提供的基于大数据的关键信息抓取与展示方法包括：
获取服务端的大数据库对应的数据生成日志，对该数据生成日志进行分析，筛选满足预设事件类型条件的数据生成事件；基于该数据生成事件的事件属性信息，判断该数据生成事件是否属于正常数据生成事件还是异常数据生成事件；
对来自用户端的信息抓取请求进行分析，确定该用户端期望抓取信息的关联事件特征信息；基于该关联事件特征信息，从相应的数据生成事件存储区间中标定相匹配的正常数据生成事件或异常数据生成事件，并从该标定的正常数据生成事件或异常数据生成事件中抓取事件关键信息；
基于该用户端的应用程序的运行状态信息，将该事件关键信息推送至该应用程序的信息显示队列中，从而在该应用程序显示该事件关键信息。
上述实施例的有益效果，该基于大数据的关键信息抓取与展示方法分析服务端的大数据对应的数据生成日志，筛选满足条件的数据生成事件，实现对金融交易大数据的初步筛选，还将数据生成事件区分为正常数据生成事件和异常数据生成事件，有效准确甄别线上金融交易行为的正常与否，实现对线上金融交易行为的区分处理；还基于来自用户端的信息抓取请求，确定用户端期望抓取信息的关联事件特征信息，以此准确确定用户端的信息抓取需求，便于后续快速精确准确相应的事件关键信息，提高在大数据库中进行信息抓取的效率；还基于用户端的应用程序的运行状态信息，将抓取得到的事件关键信息推送至应用程序的信息显示队列中，保证对事件关键信息的及时全面显示，提高金融交易信息的抓取可信度和展示可靠性。
在另一实施例中，获取服务端的大数据库对应的数据生成日志，包括：
对服务端的实时数据生成状态信息进行分析，判断该服务端当前是否处于正常数据生成状态；其中，该实时数据生成状态信息包括该服务端的实时数据生成速度和实时生成数据内容；
若该服务端处于正常数据生成状态，则直接获取该服务端的大数据库对应的数据生成日志；
若该服务端不处于正常数据生成状态，则对该服务端的大数据库对应的数据生成日志进行异常数据剔除处理，从而获得所需的数据生成日志。
上述实施例的有益效果，在实际操作中，服务端可为但不限于是银行端所使用的服务器，用户端可为但不限于是银行用户所使用的智能手机，并且该智能手机内部安装有相应的线上银行应用程序。服务端匹配设置有大数据库，用于存储用户端的线上银行应用程序在进行线上金融交易操作过程中的线上金融交易数据，从而生成相应的数据生成日志。其中，该线上金融交易操作可为但不限于是线上转账或者线上基金买卖等，并且每当服务端连接的用户端进行线上金融交易操作时，该线上金融交易操作作为数据生成事件，在服务端的大数据库生成相应的数据生成日志，从而对线上金融交易操作的整个操作过程关联的数据进行记录。为了保证获取的数据生成日志的正确性，需要对服务端的实时数据生成状态进行识别分析，即获取服务端关于线上金融交易操作关联数据的实时数据生成速度和实时生成数据内容，若该实时数据生成速度小于或等于预设数据生成速度阈值，或者实时生成数据内容包括数据乱码时，表明服务端不处于正常数据生成状态，否则，表明服务端处于正常数据生成状态，从而实现对服务端的数据正常状态正常与否的有效识别区分。当服务端处于正常数据生成状态，则直接获取该服务端的大数据库对应的数据生成日志，这样能够保证数据生成日志的数据全面性；当服务端不处于正常数据生成状态，则该服务端的大数据库对应的数据生成日志进行异常数据剔除处理，从而获得所需的数据生成日志，从而保证数据生成日志的数据准确性；其中，该异常数据剔除处理可包括但不限于是对数据生成日志中的乱码数据进行删除。
在另一实施例中，对服务端的实时数据生成状态信息进行分析，判断该服务端当前是否处于正常数据生成状态，包括：
步骤S1，利用下面公式(1)，根据该实时生成数据内容中的结构标识，判断该实时生成数据内容的结构状态是否正常，
在上述公式(1)中，J表示该实时生成数据内容的结构状态正常判定值；D16表示该实时生成数据的16进制形式；len(D16)表示该实时生成数据的16进制形式中的数据总位数；K1表示16进制标准帧头的数据总位数；K2表示16进制标准帧尾的数据总位数；A16表示16进制标准帧头；E16表示16进制标准帧尾；>>表示右移；<<表示左移；{}10表示将括号内的数据转换成10进制形式；
若J＝1，则表示该实时生成数据内容的结构状态正常；
若J≠1，则表示该实时生成数据内容的结构状态不正常；
步骤S2，利用下面公式(2)，根据该实时生成数据内容中的数据标识判断该实时生成数据内容的数据状态是否正常，即在该实时生成数据内容中帧头后边的4位是重要数据内容16进制形式的数据位数，通过检测重要数据内容16进制形式的数据位数是否与帧头后边的4位数据的10进制数值是否一致，判断该实时生成数据内容的数据状态是否正常，
在上述公式(2)中，S表示该实时生成数据内容的数据状态正常判定值；
若S＝1，则表示该实时生成数据内容的数据状态正常；
若S≠1，则表示该实时生成数据内容的数据状态不正常；
步骤S3，利用下面公式(3)，根据该服务端的实时数据生成速度、实时生成数据内容的结构状态和数据状态，得到该服务端当前生成数据的控制指令，
Z＝{F(J＝1)&&F(S＝1),F(v∈[Vmin,Vmax])} (3)
在上述公式(3)中，Z表示该服务端当前生成数据的控制指令；F()表示判断函数，若括号内的算式成立，则判断函数的函数值为1，若括号内的算式不成立，则判断函数的函数值为0；&&表示逻辑关系与；∈表示属于；[Vmin,Vmax]表示该服务端的实时数据生成速度的预设范围区间；
若Z＝{1,1}，则表示该服务端当前处于正常数据生成状态，且生成的数据能够正常使用；
若Z＝{1,0}，则表示该服务端当前不处于正常数据生成状态，但生成的数据能够正常使用；
若Z＝{0,1}或Z＝{0,0}，均表示该服务端当前不处于正常数据生成状态，且生成的数据不能够使用。
上述实施例的有益效果，利用上述公式(1)，根据该实时生成数据内容中的结构标识，判断该实时生成数据内容的结构状态是否正常，从而统一帧头帧尾检验节省检测时间提高系统的工作效率；再利用上述公式(2)，根据该实时生成数据内容中的数据标识判断该实时生成数据内容的数据状态是否正常，从而以数据自身自带的数据进行自检可以减少数据的使用提取以及计算，减轻了系统的数据分析负担，增加系统使用寿命；最后利用上述公式(3)，根据该服务端的实时数据生成速度、实时生成数据内容的结构状态和数据状态，得到该服务端当前生成数据的控制指令，从而根据控制指令进行相应的分析，并且在服务端当前不处于正常数据生成状态时但是生成的数据可用，也可以继续使用生成的数据，节省系统重新使用的时间以及能耗。
在另一实施例中，对该数据生成日志进行分析，筛选满足预设事件类型条件的数据生成事件，包括：
从该数据生成日志中提取所有数据生成事件对应的线上金融交易事件类型信息，将该线上金融交易事件类型信息与预设事件类型信息白名单进行对比；若该线上金融交易事件类型信息存在于预设事件类型信息白名单，则确定对应的数据生成事件满足预设事件类型条件；否则，确定对应的数据生成事件不满足预设事件类型条件。
上述实施例的有益效果，数据生成日志包括的所有数据生成事件是与相应的线上金融交易事件(即线上金融交易操作)相对应的，从从该数据生成日志中提取所有数据生成事件对应的线上金融交易事件类型信息，将该线上金融交易事件类型信息与预设事件类型信息白名单进行对比，能够准确筛选出页顶类型的事件；其中，该预设事件类型信息白名单可只包括线上转账事件类型或线上基金买卖事件类型。
在另一实施例中，基于该数据生成事件的事件属性信息，判断该数据生成事件是否属于正常数据生成事件还是异常数据生成事件，包括：
从满足预设事件类型条件的数据生成事件中提取事件发生IP地址状态信息，对该事件发生IP地址状态信息进行分析，得到该数据生成事件的事件发生IP地址对应地域位置信息和事件发生IP地址变化状态信息；其中，该事件发生IP地址变化状态信息是指该数据生成事件在整个事件过程中的事件发生IP地址变化频率信息；
基于该事件发生IP地址对应地域位置信息和该事件发生IP地址变化状态信息，判断该数据生成事件是否属于正常数据生成事件还是异常数据生成事件。
上述实施例的有益效果，当服务端所连接的客户端的线上银行应用程序进行相应的线上金融交易操作时，会同步记录该线上金融交易操作发生所在的IP地址。当客户端未被劫持或者未被木马程序入侵时，该线上金融交易操作发生所在的IP地址即为客户端的IP地址；当客户端被劫持或者被木马程序入侵时，该线上金融交易操作发生所在的IP地址会不同于客户端的IP地址，通过对线上金融交易操作发生所在的IP地址进行分析能够准确判断数据生成日志中的数据生成事件(即线上金融交易操作)的正常与否。在实际操作中，从满足预设事件类型条件的数据生成事件中提取的事件发生IP地址对应地域位置信息和数据生成事件在整个事件过程中的事件发生IP地址变化频率信息；若事件发生IP地址对应的地域位置信息不同于用户端的实际所在地域位置信息(该实际所在地域位置信息可由用户端自身的GPS定位设备确定)，或者数据生成事件在整个事件过程中的事件发生IP地址变化频率大于或等于预设频率阈值，则判断数据生成事件属于异常数据生成事件；否则，判断数据生成事件属于正常数据生成事件。当数据生成事件属于异常数据生成事件，表明客户端在进行该数据生成事件对应的线上金融交易操作时存在被劫持或被木马程序入侵的问题。
在另一实施例中，对来自用户端的信息抓取请求进行分析，确定该用户端期望抓取信息的关联事件特征信息，包括：
从来自用户端的信息抓取请求中提取该用户端期望抓取的信息对应的关联事件发生时间信息。
上述实施例的有益效果，对客户端发起的信息抓取请求进行解析，从中提取用户端期望抓取的信息对应的关联事件发生时间信息；其中，该关联事件发生时间信息可为但不限于是用户端期望抓取的信息对应所在的数据发生事件的发生时间信息，从而实现对用户端的信息抓取需求的时间关联标定。
在另一实施例中，基于该关联事件特征信息，从相应的数据生成事件存储区间中标定相匹配的正常数据生成事件或异常数据生成事件，并从该标定的正常数据生成事件或异常数据生成事件中抓取事件关键信息，包括：
将该关联事件发生时间信息与该大数据库中相应的数据生成事件存储区间中所有正常数据生成事件和所有异常数据生成事件各自的发生时间信息进行对比；若该正常数据生成事件或该异常数据生成事件的发生时间信息与该关联事件发生时间信息之间的时间差小于或等于预设时间差阈值，则将对应的正常数据生成事件或异常数据生成事件标定为相匹配的正常数据生成事件或异常数据生成事件；
再从该标定的正常数据生成事件或异常数据生成事件中抓取数据生成事件包含的金融交易关键信息；其中，该金融交易关键信息包括数据生成事件对应的金融交易过程中的交易发生时间信息、交易金额信息和交易双方身份信息中的至少一者。
上述实施例的有益效果，服务端的大数据库中存储的每个数据生成事件均会同步存储有数据生成事件对应的发生时间信息，将该关联事件发生时间信息与该大数据库中相应的数据生成事件存储区间中所有正常数据生成事件和所有异常数据生成事件各自的发生时间信息进行对比，以此判断其中的正常数据生成事件或异常数据生成事件是否属于用户端所需的数据生成事件。在从标定的正常数据生成事件或异常数据生成事件中抓取数据生成事件包含的金融交易关键信息，从而对数据生成事件对应的线上金融交易操作进行关键信息的提取。
在另一实施例中，基于该用户端的应用程序的运行状态信息，将该事件关键信息推送至该应用程序的信息显示队列中，从而在该应用程序显示该事件关键信息，包括：
获取该用户端内部与数据生成事件对应的应用程序的运行任务状态信息；其中，该运行任务状态信息包括该应用程序的待处理信息显示任务截止期限时间信息；
将该事件关键信息打包形成信息显示任务后，基于该运行任务状态信息，将该信息显示任务推送至该应用程序的信息显示队列的相应位置中，从而使该应用程序显示该事件关键信息。
上述实施例的有益效果，客户端的线上银行应用程序在运行过程中需要进行不同信息的显示，为了确保线上银行应用程序对所有信息的正常有序显示，会对线上银行应用程序摄像相应的信息显示队列，该信息显示队列包括若干需要处理的信息显示任务，并且每个待处理的信息显示任务具有相应的截止期限时间信息，即线上银行应用程序对待处理的信息显示任务进行显示操作的最晚实现时间信息。再将该事件关键信息打包形成信息显示任务后，结合该线上银行应用程序的待处理信息显示任务截止期限时间信息，将该信息显示任务推送至该线上银行应用程序的信息显示队列的相应位置中，从而使该应用程序显示该事件关键信息，这样能够保证该线上银行应用程序及时对该事件关键信息打包形成信息显示任务进行显示处理，同时还能够避免该线上银行应用程序耽误对信息显示队列中包含的信息显示任务的显示处理。
在另一实施例中，将该事件关键信息打包形成信息显示任务后，基于该运行任务状态信息，将该信息显示任务推送至该应用程序的信息显示队列的相应位置中，从而使该应用程序显示该事件关键信息，包括：
将从该标定的正常数据生成事件专区的事件关键信息打包形成第一类信息显示任务后，基于该运行任务状态信息，确定该应用程序的所有待处理信息显示任务的平均截止期限时间信息；再基于该平均截止期限时间信息，将该第一类信息显示任务推送至该应用程序的信息显示队列的相应位置中，从而使该应用程序显示该事件关键信息；
将从该标定的异常数据生成事件专区的事件关键信息打包形成第二类信息显示任务后，将该第二类信息显示任务推送至该应用程序的信息显示队列的最优先位置中，从而使该应用程序显示该事件关键信息。
上述实施例的有益效果，在实际信息显示操作中，对于正常数据生成事件和异常数据生成事件各自对应的信息显示任务的显示缓急程度并不相同。通常而言，异常数据生成事件对应的信息显示任务的显示优先级要高于正常数据生成事件对应的信息显示任务的显示优先级，这是由于异常数据生成事件是在客户端被劫持或被木马程序入侵情况下发生的，使得客户端可能发生线上银行账号被窃取的问题继而影响客户端的资金安全。为此，将从该标定的正常数据生成事件专区的事件关键信息打包形成第一类信息显示任务后，基于该运行任务状态信息，确定该应用程序的所有待处理信息显示任务的平均截止期限时间信息；再基于该平均截止期限时间信息，将该第一类信息显示任务推送至该应用程序的信息显示队列的相应位置中，使得在信息显示队列中位于该第一类信息显示任务前面的所有信息显示任务的实际截止时间均小于平均截止期限时间，从而使该应用程序显示该事件关键信息。还将从该标定的异常数据生成事件专区的事件关键信息打包形成第二类信息显示任务后，将该第二类信息显示任务推送至该应用程序的信息显示队列的最优先位置中，从而使该应用程序显示该事件关键信息，确保对第二类信息显示任务的优先显示。
总体而言，该基于大数据的关键信息抓取与展示方法分析服务端的大数据对应的数据生成日志，筛选满足条件的数据生成事件，实现对金融交易大数据的初步筛选，还将数据生成事件区分为正常数据生成事件和异常数据生成事件，有效准确甄别线上金融交易行为的正常与否，实现对线上金融交易行为的区分处理；还基于来自用户端的信息抓取请求，确定用户端期望抓取信息的关联事件特征信息，以此准确确定用户端的信息抓取需求，便于后续快速精确准确相应的事件关键信息，提高在大数据库中进行信息抓取的效率；还基于用户端的应用程序的运行状态信息，将抓取得到的事件关键信息推送至应用程序的信息显示队列中，保证对事件关键信息的及时全面显示，提高金融交易信息的抓取可信度和展示可靠性。
上述仅为本发明的一个具体实施方式，其它基于本发明构思的前提下做出的任何改进都视为本发明的保护范围。

Claims (9)

1.基于大数据的关键信息抓取与展示方法，其特征在于，包括：
获取服务端的大数据库对应的数据生成日志，对所述数据生成日志进行分析，筛选满足预设事件类型条件的数据生成事件；基于所述数据生成事件的事件属性信息，判断所述数据生成事件是否属于正常数据生成事件还是异常数据生成事件；
对来自用户端的信息抓取请求进行分析，确定所述用户端期望抓取信息的关联事件特征信息；基于所述关联事件特征信息，从相应的数据生成事件存储区间中标定相匹配的正常数据生成事件或异常数据生成事件，并从所述标定的正常数据生成事件或异常数据生成事件中抓取事件关键信息；
基于所述用户端的应用程序的运行状态信息，将所述事件关键信息推送至所述应用程序的信息显示队列中，从而在所述应用程序显示所述事件关键信息。
2.如权利要求1所述的基于大数据的关键信息抓取与展示方法，其特征在于：
获取服务端的大数据库对应的数据生成日志，包括：
对服务端的实时数据生成状态信息进行分析，判断所述服务端当前是否处于正常数据生成状态；其中，所述实时数据生成状态信息包括所述服务端的实时数据生成速度和实时生成数据内容；
若所述服务端处于正常数据生成状态，则直接获取所述服务端的大数据库对应的数据生成日志；
若所述服务端不处于正常数据生成状态，则对所述服务端的大数据库对应的数据生成日志进行异常数据剔除处理，从而获得所需的数据生成日志。
3.如权利要求2所述的基于大数据的关键信息抓取与展示方法，其特征在于：
对服务端的实时数据生成状态信息进行分析，判断所述服务端当前是否处于正常数据生成状态，包括：
步骤S1，利用下面公式(1)，根据所述实时生成数据内容中的结构标识，判断所述实时生成数据内容的结构状态是否正常，
在上述公式(1)中，J表示所述实时生成数据内容的结构状态正常判定值；D16表示所述实时生成数据的16进制形式；len(D16)表示所述实时生成数据的16进制形式中的数据总位数；K1表示16进制标准帧头的数据总位数；K2表示16进制标准帧尾的数据总位数；A16表示16进制标准帧头；E16表示16进制标准帧尾；>>表示右移；<<表示左移；{ }10表示将括号内的数据转换成10进制形式；
若J＝1，则表示所述实时生成数据内容的结构状态正常；
若J≠1，则表示所述实时生成数据内容的结构状态不正常；
步骤S2，利用下面公式(2)，根据所述实时生成数据内容中的数据标识判断所述实时生成数据内容的数据状态是否正常，即在所述实时生成数据内容中帧头后边的4位是重要数据内容16进制形式的数据位数，通过检测重要数据内容16进制形式的数据位数是否与帧头后边的4位数据的10进制数值是否一致，判断所述实时生成数据内容的数据状态是否正常，
在上述公式(2)中，S表示所述实时生成数据内容的数据状态正常判定值；
若S＝1，则表示所述实时生成数据内容的数据状态正常；
若S≠1，则表示所述实时生成数据内容的数据状态不正常；
步骤S3，利用下面公式(3)，根据所述服务端的实时数据生成速度、实时生成数据内容的结构状态和数据状态，得到所述服务端当前生成数据的控制指令，
Z＝{F(J＝1)&&F(S＝1),F(v∈[Vmin,Vmax])} (3)
在上述公式(3)中，Z表示所述服务端当前生成数据的控制指令；F()表示判断函数，若括号内的算式成立，则判断函数的函数值为1，若括号内的算式不成立，则判断函数的函数值为0；&&表示逻辑关系与；∈表示属于；[Vmin,Vmax]表示所述服务端的实时数据生成速度的预设范围区间；
若Z＝{1,1}，则表示所述服务端当前处于正常数据生成状态，且生成的数据能够正常使用；
若Z＝{1,0}，则表示所述服务端当前不处于正常数据生成状态，但生成的数据能够正常使用；
若Z＝{0,1}或Z＝{0,0}，均表示所述服务端当前不处于正常数据生成状态，且生成的数据不能够使用。
4.如权利要求2所述的基于大数据的关键信息抓取与展示方法，其特征在于：
对所述数据生成日志进行分析，筛选满足预设事件类型条件的数据生成事件，包括：
从所述数据生成日志中提取所有数据生成事件对应的线上金融交易事件类型信息，将所述线上金融交易事件类型信息与预设事件类型信息白名单进行对比；若所述线上金融交易事件类型信息存在于预设事件类型信息白名单，则确定对应的数据生成事件满足预设事件类型条件；否则，确定对应的数据生成事件不满足预设事件类型条件。
5.如权利要求4所述的基于大数据的关键信息抓取与展示方法，其特征在于：
基于所述数据生成事件的事件属性信息，判断所述数据生成事件是否属于正常数据生成事件还是异常数据生成事件，包括：
从满足预设事件类型条件的数据生成事件中提取事件发生IP地址状态信息，对所述事件发生IP地址状态信息进行分析，得到所述数据生成事件的事件发生IP地址对应地域位置信息和事件发生IP地址变化状态信息；其中，所述事件发生IP地址变化状态信息是指所述数据生成事件在整个事件过程中的事件发生IP地址变化频率信息；
基于所述事件发生IP地址对应地域位置信息和所述事件发生IP地址变化状态信息，判断所述数据生成事件是否属于正常数据生成事件还是异常数据生成事件。
6.如权利要求1所述的基于大数据的关键信息抓取与展示方法，其特征在于：
对来自用户端的信息抓取请求进行分析，确定所述用户端期望抓取信息的关联事件特征信息，包括：
从来自用户端的信息抓取请求中提取所述用户端期望抓取的信息对应的关联事件发生时间信息。
7.如权利要求6所述的基于大数据的关键信息抓取与展示方法，其特征在于：
基于所述关联事件特征信息，从相应的数据生成事件存储区间中标定相匹配的正常数据生成事件或异常数据生成事件，并从所述标定的正常数据生成事件或异常数据生成事件中抓取事件关键信息，包括：
将所述关联事件发生时间信息与所述大数据库中相应的数据生成事件存储区间中所有正常数据生成事件和所有异常数据生成事件各自的发生时间信息进行对比；若所述正常数据生成事件或所述异常数据生成事件的发生时间信息与所述关联事件发生时间信息之间的时间差小于或等于预设时间差阈值，则将对应的正常数据生成事件或异常数据生成事件标定为相匹配的正常数据生成事件或异常数据生成事件；
再从所述标定的正常数据生成事件或异常数据生成事件中抓取数据生成事件包含的金融交易关键信息；其中，所述金融交易关键信息包括数据生成事件对应的金融交易过程中的交易发生时间信息、交易金额信息和交易双方身份信息中的至少一者。
8.如权利要求1所述的基于大数据的关键信息抓取与展示方法，其特征在于：
基于所述用户端的应用程序的运行状态信息，将所述事件关键信息推送至所述应用程序的信息显示队列中，从而在所述应用程序显示所述事件关键信息，包括：
获取所述用户端内部与数据生成事件对应的应用程序的运行任务状态信息；其中，所述运行任务状态信息包括所述应用程序的待处理信息显示任务截止期限时间信息；
将所述事件关键信息打包形成信息显示任务后，基于所述运行任务状态信息，将所述信息显示任务推送至所述应用程序的信息显示队列的相应位置中，从而使所述应用程序显示所述事件关键信息。
9.如权利要求8所述的基于大数据的关键信息抓取与展示方法，其特征在于：
将所述事件关键信息打包形成信息显示任务后，基于所述运行任务状态信息，将所述信息显示任务推送至所述应用程序的信息显示队列的相应位置中，从而使所述应用程序显示所述事件关键信息，包括：
将从所述标定的正常数据生成事件专区的事件关键信息打包形成第一类信息显示任务后，基于所述运行任务状态信息，确定所述应用程序的所有待处理信息显示任务的平均截止期限时间信息；再基于所述平均截止期限时间信息，将所述第一类信息显示任务推送至所述应用程序的信息显示队列的相应位置中，从而使所述应用程序显示所述事件关键信息；将从所述标定的异常数据生成事件专区的事件关键信息打包形成第二类信息显示任务后，将所述第二类信息显示任务推送至所述应用程序的信息显示队列的最优先位置中，从而使所述应用程序显示所述事件关键信息。
CN202311114400.0A 2023-08-31 2023-08-31 基于大数据的关键信息抓取与展示方法 Active CN117149787B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311114400.0A CN117149787B (zh) 2023-08-31 2023-08-31 基于大数据的关键信息抓取与展示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311114400.0A CN117149787B (zh) 2023-08-31 2023-08-31 基于大数据的关键信息抓取与展示方法

Publications (2)

Publication Number Publication Date
CN117149787A true CN117149787A (zh) 2023-12-01
CN117149787B CN117149787B (zh) 2024-03-26

Family

ID=88909472

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311114400.0A Active CN117149787B (zh) 2023-08-31 2023-08-31 基于大数据的关键信息抓取与展示方法

Country Status (1)

Country Link
CN (1) CN117149787B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020016771A1 (en) * 1999-12-14 2002-02-07 Kevin Carothers System and method for managing financial transaction information
CN105430681A (zh) * 2015-11-04 2016-03-23 努比亚技术有限公司 异常自动上传及恢复方法、装置及移动终端
CN106506212A (zh) * 2016-11-04 2017-03-15 上海传英信息技术有限公司 异常信息获取方法及用户终端
CN110399268A (zh) * 2019-07-26 2019-11-01 阿里巴巴集团控股有限公司 一种异常数据检测的方法、装置及设备
CN112306799A (zh) * 2020-10-23 2021-02-02 上海传英信息技术有限公司 异常信息获取方法、终端设备及可读存储介质
CN112631913A (zh) * 2020-12-23 2021-04-09 平安银行股份有限公司 应用程序的运行故障监控方法、装置、设备和存储介质
CN113918937A (zh) * 2021-09-10 2022-01-11 广州博依特智能信息科技有限公司 一种基于大数据的非法事件识别方法及系统
CN115622906A (zh) * 2022-09-08 2023-01-17 中国银行股份有限公司 一种应用日志抓取系统及方法
CN116074095A (zh) * 2023-02-01 2023-05-05 杭州安恒信息技术股份有限公司 一种日志分析方法、装置、设备及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020016771A1 (en) * 1999-12-14 2002-02-07 Kevin Carothers System and method for managing financial transaction information
CN105430681A (zh) * 2015-11-04 2016-03-23 努比亚技术有限公司 异常自动上传及恢复方法、装置及移动终端
CN106506212A (zh) * 2016-11-04 2017-03-15 上海传英信息技术有限公司 异常信息获取方法及用户终端
CN110399268A (zh) * 2019-07-26 2019-11-01 阿里巴巴集团控股有限公司 一种异常数据检测的方法、装置及设备
CN112306799A (zh) * 2020-10-23 2021-02-02 上海传英信息技术有限公司 异常信息获取方法、终端设备及可读存储介质
CN112631913A (zh) * 2020-12-23 2021-04-09 平安银行股份有限公司 应用程序的运行故障监控方法、装置、设备和存储介质
CN113918937A (zh) * 2021-09-10 2022-01-11 广州博依特智能信息科技有限公司 一种基于大数据的非法事件识别方法及系统
CN115622906A (zh) * 2022-09-08 2023-01-17 中国银行股份有限公司 一种应用日志抓取系统及方法
CN116074095A (zh) * 2023-02-01 2023-05-05 杭州安恒信息技术股份有限公司 一种日志分析方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN117149787B (zh) 2024-03-26

Similar Documents

Publication Publication Date Title
US8086018B2 (en) Methods of processing a check in a check stock verification system
US10839328B2 (en) Method and system for risk monitoring in online business
US20080140552A1 (en) Methods of processing a check in an automatic signature verification system
WO2004079508B1 (en) Method and system for monitoring transactions
US11201802B2 (en) Systems and methods for providing infrastructure metrics
US20200051176A1 (en) Analysis system
CN111177250A (zh) 一种异常交易监测方法、系统及存储介质
CN111415255A (zh) 金融量化交易系统
CN110598008B (zh) 录制数据的数据质检方法及装置、存储介质
CN107025601A (zh) 数据核对方法、装置及设备
CN111209213B (zh) 应用程序运行时的异常检测方法及系统、设备及存储介质
CN112463834A (zh) 流式处理中自动实现根因分析的方法、装置及电子设备
CN112287067A (zh) 一种基于语义分析的敏感事件可视化应用实现方法、系统及终端
CN117149787B (zh) 基于大数据的关键信息抓取与展示方法
CN111429256B (zh) 一种风控判断过程中的界面展示方法及系统
CN116755891A (zh) 基于多线程的事件队列处理方法和系统
CN116645082A (zh) 一种系统巡检方法、装置、设备以及存储介质
CN111260460A (zh) 钞箱的管理方法、装置、设备和介质
CN113934727B (zh) 多源异构金融数据的适配性采集与处理系统及其方法
CN104809801A (zh) 一种纸币图像的处理方法
CN114595765A (zh) 数据处理方法、装置、电子设备及存储介质
CN113760669A (zh) 问题数据的告警方法及装置、电子设备、存储介质
CN113887911A (zh) 一种异常身份识别方法及装置
CN113037555A (zh) 风险事件标记方法、风险事件标记装置和电子设备
CN110287699B (zh) 应用程序的特征提取方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant