CN114780584A - 多场景流式数据处理方法、系统、网络设备和存储介质 - Google Patents

多场景流式数据处理方法、系统、网络设备和存储介质 Download PDF

Info

Publication number
CN114780584A
CN114780584A CN202210708889.3A CN202210708889A CN114780584A CN 114780584 A CN114780584 A CN 114780584A CN 202210708889 A CN202210708889 A CN 202210708889A CN 114780584 A CN114780584 A CN 114780584A
Authority
CN
China
Prior art keywords
streaming data
data
data processing
paired
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210708889.3A
Other languages
English (en)
Other versions
CN114780584B (zh
Inventor
王俊月
刘鑫
李盟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Accumulus Technologies Tianjin Co Ltd
Original Assignee
Accumulus Technologies Tianjin Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Accumulus Technologies Tianjin Co Ltd filed Critical Accumulus Technologies Tianjin Co Ltd
Priority to CN202210708889.3A priority Critical patent/CN114780584B/zh
Publication of CN114780584A publication Critical patent/CN114780584A/zh
Application granted granted Critical
Publication of CN114780584B publication Critical patent/CN114780584B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2453Query optimisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2455Query execution
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2455Query execution
    • G06F16/24564Applying rules; Deductive queries

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本申请提供一种多场景流式数据处理方法、系统、网络设备和存储介质,属于计算机技术领域。本申请实施例提供的多场景流式数据处理方法,包括获取目标应用的原始流式数据;根据场景类型,从所述原始流式数据中提取所述场景类型对应的流式数据;获取所述场景类型对应的数据处理规则,所述数据处理规则用于确定成对的流式数据;根据所述数据处理规则,获取所述场景类型对应的流式数据中的成对的流式数据;将获取到的成对的流式数据存储至数据库;通过上述方法实现了对目标应用在多场景下的流式数据获取,并按各个场景的数据处理规则获取承兑的流式数据后,将所有成对的流式数据存入同一数据库中,实现了支持多场景流式数据的处理。

Description

多场景流式数据处理方法、系统、网络设备和存储介质
技术领域
本申请涉及计算机技术领域,尤其涉及一种多场景流式数据处理方法、系统、网络设备和存储介质。
背景技术
目前的社交产品都有各自业务的主要功能,例如语音功能、视频功能、游戏功能。为了完成产品的各功能,通常需要分别每个功能配置一个数据表用以存储数据。当需要分析各个功能产生的使用数据时,使用语音功能时的开麦时间,使用视频功能时的开麦及开摄时间等用户数据时,需要分别在各个数据表上搭建数据看板;当不同数据表对应的功能类似时,搭建数据看板的步骤基本一致,造成搭建过程中一定人力物力的浪费。
在进行数据查询时,目前通常为不同功能分别搭建数据看板以供数据查看,且无法实现跨天数据的直接查询;如面对一定时间范围内的查询、跨天查询等特殊查询场景时;也就导致了无法查询过程繁琐、看板搭建过程冗余、无法适配多种场景也无法实现跨天数据场景等问题。
发明内容
本申请提出了一种多场景流式数据处理方法、系统、网络设备和存储介质,以解决现有技术中数据处理时看板搭建繁琐、查询过程复杂以及不支持多场景处理查询等问题。
为了解决上述技术问题,本申请是这样实现的:
第一方面,本申请实施例提供了一种多场景流式数据处理方法,包括:
获取目标应用的原始流式数据;
根据场景类型,从所述原始流式数据中提取所述场景类型对应的流式数据;
获取所述场景类型对应的数据处理规则,所述数据处理规则用于确定成对的流式数据;
根据所述数据处理规则,获取所述场景类型对应的流式数据中的成对的流式数据;
将获取到的成对的流式数据存储至数据库。
第二方面,本申请实施例提供了一种多场景数据流式处理系统,包括:
原始数据获取模块,用于获取目标应用的原始流式数据;
流式数据提取模块,用于根据场景类型,从所述原始流式数据中提取所述场景类型对应的流式数据;
多场景规则配置模块,用于获取所述场景类型对应的数据处理规则,所述数据处理规则用于确定成对的流式数据;
流式数据处理模块,用于根据所述数据处理规则,获取所述场景类型对应的流式数据中的成对的流式数据;
数据存储模块,用于将获取到的成对的流式数据存储至数据库。
第三方面,本申请实施例提供了一种网络设备,包括:处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序,所述程序被所述处理器执行时实现上述第一方面的多场景流式数据处理方法的步骤。
第四方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面的多场景流式数据处理方法的步骤。
本申请实施例提供的技术方案带来的有益效果至少包括:
本申请提供的多场景流式数据处理方法,包括获取目标应用的原始流式数据;根据场景类型,从所述原始流式数据中提取所述场景类型对应的流式数据;获取所述场景类型对应的数据处理规则,所述数据处理规则用于确定成对的流式数据;根据所述数据处理规则,获取所述场景类型对应的流式数据中的成对的流式数据;将获取到的成对的流式数据存储至数据库;通过上述方法实现了对目标应用在多场景下的流式数据获取,并按各个场景的数据处理规则获取承兑的流式数据后,将所有成对的流式数据存入同一数据库中,实现了支持多场景流式数据的处理。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本申请的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1为本申请实施例提供的一种多场景流式数据处理方法流程图;
图2为本申请实施例提供的一种流式数据跨天处理流程示意;
图3为本申请实施例提供的一种用户的在语音输入下的操作对应的流式数据记录流程示意;
图4为本申请实施例提供的一种多场景数据流式处理系统的结构示意图;
图5为本申请实施例提供的另一种多场景数据流式处理系统的结构示意图;
图6为本申请实施例提供的一种网络设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施,且“第一”、“第二”等所区分的对象通常为一类,并不限定对象的个数,例如第一对象可以是一个,也可以是多个。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”,一般表示前后关联对象是一种“或”的关系。
下面结合附图,通过具体的实施例及其应用场景对本申请实施例提供的多场景流式数据处理方法、系统、网络设备和存储介质等进行详细地说明。
请参考图1,图1示出了本申请实施例提供的一种多场景流式数据处理方法流程图,所述方法包括:
步骤11,获取目标应用的原始流式数据。
具体的,可通过binlog日志来获取流式数据,如开启binlog日志,获取原始流式数据并发送至特定的消息队列;示例性的,可以通过Canal工具来获取binlog日志中的原始流式数据;可以通过kafka消息队列工具来接收Canal获取的binlog日志。通过步骤11能够获取到目标应用的原始流式数据,并发送至特定消息队列处理工具,有助于步骤12中根据场景类型来获取特定场景下可能会生成的流式数据。
步骤12,根据场景类型,从所述原始流式数据中提取所述场景类型对应的流式数据。
具体的,接收kafka队列中的binlog日志,根据场景类型获取流式数据;这里的场景类型可是目标应用下的各业务功能;如,用户使用视频功能时的场景,在此场景类型下用户可以进行开启关闭摄像头及麦克风操作,此时流式数据则为依次出现的开启摄像头、关闭摄像头,以及依次出现的开启麦克风、关闭麦克风操作对应的数据。
具体的,目标应用也可以具备其他业务功能,如音频功能、指纹识别功能、人脸识别功能、支付功能,不同的业务功能(场景类型)下用户能够执行不同的操作类型,每个场景类型下都会因为用户操作类型的不同而生成对应的流式数据。通过步骤12能够根据不同的业务场景类型,提取对应的流式数据,原始流式数据的信息中通常会包含每一条数据产生的业务场景,以及具体的操作类型,通过这种方式能够精准的根据场景类型提取出需要处理的目标场景下目标用户对应的流式数据。
步骤13,获取所述场景类型对应的数据处理规则,所述数据处理规则用于确定成对的流式数据。
具体的,根据业务场景配置对应的数据处理规则,每个场景都对应有各自的流式数据的处理规则,这些数据处理规则能够应用于对流式数据的提取、删减、以及确定成对的流式数据。通过设置业务场景对应的数据处理规则,能够实现统计特定场景下用户的特定操作行为的持续时间,查询每日每周每月的用户操作次数,分析用户行为。特定场景下用户的特定操作行为的持续时间,如视频功能的开启摄像头时间、开启麦克风时间,支付功能的完成支付所需时间。以上的操作行为的持续时间中,一定有操作行为的开始时间和结束时间。而开始时间和结束时间可能存在跨天、连续的开始时间或连续的结束时间,因此需要匹配特定场景类型对应的数据处理规则进行处理,从而获取特定场景对应的成对的流式数据。
步骤14,根据所述数据处理规则,获取所述场景类型对应的流式数据中的成对的流式数据。
具体的,成对的流式数据是根据不同业务场景下用户的操作行为来确定的,如用户在使用不同业务功能时,会出现的开始操作和结束操作,如视频输入功能以后开始录制、结束录制;指纹识别功能中会出现请输入指纹,输入完成,开始识别,识别通过,重新识别等操作;为这些不同的业务场景,设置各自对应的数据处理规则,能够有效的提取出原始流式数据中,目标场景下目标用户执行操作生成的流式数据中的成对的流程数据。
步骤15,将获取到的成对的流式数据存储至数据库。
具体的,所有的成对的流式数据都会被存储到同一个数据库中,构建数据库表,如构建历史表和时长表,其中历史表存储逐条的流式数据,可用于后续的再次校准,包括主键id、业务id、用户id、场景id、行为类型、行为名称、行为时间字段(行为即对应于操作);时长表存储按照规则已构建的成对的流式数据,包括主键id、业务id、用户id、场景id、行为类型、开始id、结束id、开始时间、结束时间、持续时间、创建时间字段,且开始id、开始时间对应于历史表中的开始信息数据,结束id、结束时间对应于历史表中的结束信息数据。查询特定场景特定用户的操作行为时,可以仅用单表查询出用户的每次操作行为时间,用聚合查询功能查询出用户的每天单项操作行为总时间、全部操作行为总时间等。
可选的,在本申请一些实施例中,所述方法还包括:
基于所述数据库中存储的数据对应的场景类型,搭建数据看板,所述数据看板支持所述数据库中所有场景类型的数据的展示;
根据用户发起的查询请求,在所述数据看板上展示对应所述查询请求的数据。
具体的,可使用BI分析工具metabase搭建数据看板,metabase支持连接数据库及数据查询功能。可以根据不同业务场景涉及的功能,将场景和功能作为筛选条件,筛选条件不同会构造不同的搜索语句,如where条件的sql语句;能够使用该sql语句进行数据查询并显示于所述数据看板中。
值得注意的是,只需要搭建一次数据看板,该数据看板就能够支持其对应数据库中所有数据的查询展示,无需因为场景类型不同而为每个场景搭建单独看板,本方案中搭建的数据看板能够兼容目标应用的所有场景,并根据场景类型的不同在响应查询请求时,针对查询信息所属于的场景类型,展示对应场景相关的参数。例如,通过sql查询语句为:
Figure 509823DEST_PATH_IMAGE001
Figure 747032DEST_PATH_IMAGE002
Figure 100653DEST_PATH_IMAGE003
Figure DEST_PATH_IMAGE005
,通过将业务id、用户id、场景id、创建时间作为查询条件,可以支持不同场景不同用户的行为数据。
综上所述,本申请实施例提供的多场景流式数据处理方法,提供了对目标应用的多场景数据流式处理方法,并且能够实现以下有益技术效果:
通过监控流式数据日志及消息队列,实现对成对的流式数据的实时获取;
使用统一的数据库,数据表存储获取到的成对的流式数据;
所有成对的流式数据存储于同一数据库中,无需重复搭建数据看板,提高了数据生成效率。
可选的,在本申请一些实施例中,所述数据处理规则,包括以下至少之一:
根据目标场景类型下目标用户的操作行为,确定成对的流式数据;
根据目标场景类型下目标用户的操作行为对应的时间,确定成对的流式数据;
其中,每一种操作行为包括开始信息和结束信息,同一种操作行为的开始信息和结束信息能够组成一对流式数据。
具体的,用户在使用不同业务功能时,会进行各种不同的操作,如视频输入功能以后开始录制、结束录制;指纹识别功能中会出现请输入指纹,输入完成,开始识别,识别通过,重新识别,识别结束等操作;支付功能中会出现开始付款、请扫付款码、出示付款码、输入付款金额、确定付款、付款结束等操作;语音识别功能中会出现开始识别、输入语音、识别结束等操作;其他的业务场景以此类推。
值得注意的是,这些各个业务场景下,用户执行一个完整的业务功能,都会有开始操作和结束操作,如视频输入功能中的开始录制、结束录制;如指纹识别功能中的开始识别、识别结束;如支付功能中的开始付款、付款结束;如语音识别功能中的开始识别、识别结束;虽然一个业务场景下用户可以执行多种操作,但是完成一个功能必然存在着对应的开始操作和结束信息,本方案中将流式数据中每个场景下用户操作中的开始操作对应的流式数据称之为开始信息、结束操作对应的流式数据称之为结束信息;每一个业务场景下,用户要执行一个业务功能,只要用户的需要的功能得以实现,必然会出现一个开始信息、一个结束信息,因此同一种操作行为的开始信息和结束信息能够组成一对流式数据。通过流式数据的成对,能统计特定场景下用户的特定操作行为的持续时间,查询每日每周每月的用户操作次数,分析用户行为。
可选的,在本申请一些实施例中,根据目标场景类型下目标用户操作行为对应的时间,确定成对的流式数据包括:
当目标用户在预设时间范围内重复出现同一操作行为的多个开始信息或多个结束信息时,以最先出现的开始信息或最先出现的结束信息为准;或者以最后出现的开始信息或最后出现的结束信息为准。
具体的,当用户连续点击同一按钮触发同一个操作,或由于网络延迟等原因,用户点击一个按钮但未及时触发对应操作导致数据未发生变更,针对以上情况,binlog日志连续传递了开始、开始,或结束、结束的开始信息和结束信息不能成对的流式数据,这时,就需要预先设置,当发生这种情况时具体按照前后操作信息的哪个操作信息作为开始信息或结束信息。
例如,使用视频功能点击开始时,由于未知原因已记入数据库触发了binlog日志但实际未开始录制视频,此时用户再次点击更新了数据库再次触发binlog日志且实际开始视频,此时按视频实际开始时间为准,即以最后出现的信息为准;,如在另一种情况下,使用视频功能连续快速多次点击开始时,视频实际在第一次开始时间已开始,此时以最先出现的开始信息为准。各场景的具体确定规则以各场景实际情况确定。
参考图3为用户的在语音输入下的操作对应的流式数据记录流程示意;
用户点击开启麦克风;
数据库设置开始时间;
binlog日志传递开始时间更新的日志1;
保存日志1为开始信息;
用户再次点击麦克风;
数据库更新开始时间;
binlog日志传递开始时间更新的日志2;
按重复操作规则确定日志1和日志2中以哪个开始时间为准,根据判断结果,更新保存的开始信息;
用户点击关闭麦克风;
数据库设置结束时间;
binlog日志传递结束时间更新的日志;
保存该日志结束信息;
匹配成对的流式数据,存储至数据库。
可选的,在本申请一些实施例中,所述根据所述数据处理规则,获取所述场景类型对应的流式数据中的成对的流式数据包括:
根据所述数据处理规则,并根据操作行为的开始信息和操作行为的结束信息匹配成对的流式数据,且按所述数据处理规则生成存储于所述数据库的成对的流式数据对应的实际存储数据。
具体的,匹配并获取到成对的流式数据后,按数据处理规则中包含的数据库表信息,将成对的流式数据进行格式转化,以符合数据库表格式的要求进行存储,这种数据库表格式删除了原始流式数据中的很多冗余信息,能够极大的减轻存储压力,并提炼出成对的流式数据中的一些关键词、或者是设置标签信息,便于此后数据看板的搭建,以及便于响应数据查询请求。
可选的,在本申请一些实施例中,所述数据处理规则还包括跨天数据规则:
若目标成对的流式数据中的开始信息的时间与结束信息的时间跨天,将所述目标成对的流式数据拆分为两对流式数据进行保存;
其中,开始信息至跨天0时信息为一对流式数据,跨天0时信息与结束信息为一对流式数据。具体的,当发生成对的流式数据,如开始信息在20:00,结束信息在下一天的05:00这种情况,开始信息和结束信息所处的时间存在跨天现象;这种情况需要对跨天的成对的流式数据进行跨天存储,将“开始信息在20:00,结束信息在下一天的05:00”的这对流式数据拆分成“开始信息在20:00,下一天0:00”和“下一天0:00,结束信息在下一天的05:00”两对数据来存储。
参考图2为流式数据跨天处理流程示意:
开启binlog日志,获取目标应用的原始流式数据;
根据场景类型,解析对应的流式数据;
根据场景类型对应的数据处理规则,匹配成对的流式数据;
将解析后的流式数据发送至消息队列;
读取场景类型对应的数据处理规则,存在跨天处理规则;
接收消息队列中的解析后的成对的流式数据;
判断成对的流式数据的开始信息和结束信息是否处于不同的日期;
当成对的流式数据存在跨天现象,进行拆分存储;
当成对的流式数据没有跨天现象,按原来的成对信息进行存储;
根据数据库存储的所有场景的数据,搭建数据看板。
可选的,在本申请一些实施例中,所述场景类型包括每条成对的流式数据对应的用户操作场景,至少包括以下之一:
语音信息输入、视频信息输入、人脸识别操作、指纹识别操作、支付操作。
具体的,场景类型还可以包括这些操作场景直播功能、会议、远程辅助、发红包、定位、转发信息、转账、播放音乐、分享文件、发起投票、收款、游戏、画图、笔记,等等各种目标应用所包含的功能对应的场景类型。
综上所述,本申请实施例提供的多场景流式数据处理方法,通过流式数据日志及消息队列,实现对目标场景的成对的流式数据的实时获取;根据场景类型获取各场景对应的数据处理规则,根据数据处理规则确定对应场景类型的原始流式数据中的成对的流式数据,并根据数据处理规则将获取到的数据转化为相应的格式存储至统一的数据库,根据所述数据库中存储的所有场景的数据搭建数据看板,实现了将多个业务场景的流式数据按实际查询需求集成到统一数据库,搭建统一数据看板,完成多场景的数据处理及查询。
请参考图4,本申请实施例提供了一种多场景数据流式处理系统40,包括:
原始数据获取模块41,用于获取目标应用的原始流式数据;
流式数据提取模块42,用于根据场景类型,从所述原始流式数据中提取所述场景类型对应的流式数据;
多场景规则配置模块43,用于获取所述场景类型对应的数据处理规则,所述数据处理规则用于确定成对的流式数据;
流式数据处理模块44,用于根据所述数据处理规则,获取所述场景类型对应的流式数据中的成对的流式数据;
数据存储模块45,用于将获取到的成对的流式数据存储至数据库。
可选的,请参考图5,在本申请一些实施例中,所述系统40还包括:
看板搭建模块46,用于基于所述数据库中存储的数据对应的场景类型,搭建数据看板,所述数据看板支持所述数据库中所有场景类型的数据的展示;
查询模块47,用于根据用户发起的查询请求,在所述数据看板上展示对应所述查询请求的数据。
可选的,在本申请一些实施例中,所述流式数据处理模块44,还用于跨天数据存储:
若目标成对的流式数据中的开始信息的时间与结束信息的时间跨天,将所述目标成对的流式数据拆分为两对流式数据进行保存;
其中,开始信息至跨天0时信息为一对流式数据,跨天0时信息与结束信息为一对流式数据。
可选的,在本申请一些实施例中,所述流式数据处理模块44,还用于:
根据所述数据处理规则,并根据操作行为的开始信息和操作行为的结束信息匹配成对的流式数据,且按所述数据处理规则生成存储于所述数据库的成对的流式数据对应的实际存储数据。
可选的,在本申请一些实施例中,所述流式数据处理模块44,还用于:
当目标用户在预设时间范围内重复出现同一操作行为的多个开始信息或多个结束信息时,以最先出现的开始信息或最先出现的结束信息为准;或者以最后出现的开始信息或最后出现的结束信息为准。
可选的,在本申请一些实施例中,所述数据处理规则,包括以下至少之一:
根据目标场景类型下目标用户的操作行为,确定成对的流式数据;
根据目标场景类型下目标用户的操作行为对应的时间,确定成对的流式数据;
其中,每一种操作行为包括开始信息和结束信息,同一种操作行为的开始信息和结束信息能够组成一对流式数据。
可选的,在本申请一些实施例中,所述场景类型包括每条成对的流式数据对应的用户操作场景,至少包括以下之一:
语音信息输入、视频信息输入、人脸识别操作、指纹识别操作、支付操作。
综上所述,本申请实施例提供的流式数据处理系统40能够实现本申请实施例提供的流式数据处理方法的全部功能和技术效果,此处不再赘述。
请参考图6,本申请实施例还提供一种网络设备60,包括处理器61,存储器62,存储在存储器62上并可在所述处理器61上运行的计算机程序,该计算机程序被处理器61执行时实现上述多场景流式数据处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
本申请实施例还提供一种计算机可读存储介质,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现上述多场景流式数据处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。其中,所述的计算机可读存储介质,如只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random AccessMemory,RAM)、磁碟或者光盘等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。

Claims (10)

1.一种多场景流式数据处理方法,其特征在于,所述方法包括:
获取目标应用的原始流式数据;
根据场景类型,从所述原始流式数据中提取所述场景类型对应的流式数据;
获取所述场景类型对应的数据处理规则,所述数据处理规则用于确定成对的流式数据;
根据所述数据处理规则,获取所述场景类型对应的流式数据中的成对的流式数据;
将获取到的成对的流式数据存储至数据库。
2.根据权利要求1所述的多场景流式数据处理方法,其特征在于,所述方法还包括:
基于所述数据库中存储的数据对应的场景类型,搭建数据看板,所述数据看板支持所述数据库中所有场景类型的数据的展示;
根据用户发起的查询请求,在所述数据看板上展示对应所述查询请求的数据。
3.根据权利要求1所述的多场景流式数据处理方法,其特征在于,所述数据处理规则,包括以下至少之一:
根据目标场景类型下目标用户的操作行为,确定成对的流式数据;
根据目标场景类型下目标用户的操作行为对应的时间,确定成对的流式数据;
其中,每一种操作行为包括开始信息和结束信息,同一种操作行为的开始信息和结束信息能够组成一对流式数据。
4.根据权利要求3所述的多场景流式数据处理方法,其特征在于,根据目标场景类型下目标用户的操作行为对应的时间,确定成对的流式数据包括:
当目标用户在预设时间范围内重复出现同一操作行为的多个开始信息或多个结束信息时,以最先出现的开始信息或最先出现的结束信息为准;或者以最后出现的开始信息或最后出现的结束信息为准。
5.根据权利要求4所述的多场景流式数据处理方法,其特征在于,所述根据所述数据处理规则,获取所述场景类型对应的流式数据中的成对的流式数据包括:
根据所述数据处理规则,并根据操作行为的开始信息和操作行为的结束信息匹配成对的流式数据,且按所述数据处理规则生成存储于所述数据库的成对的流式数据对应的实际存储数据。
6.根据权利要求5所述的多场景流式数据处理方法,其特征在于,所述数据处理规则还包括跨天数据规则:
若目标成对的流式数据中的开始信息的时间与结束信息的时间跨天,将所述目标成对的流式数据拆分为两对流式数据进行保存;
其中,开始信息至跨天0时信息为一对流式数据,跨天0时信息与结束信息为一对流式数据。
7.根据权利要求1所述的多场景流式数据处理方法,其特征在于,所述场景类型包括每条成对的流式数据对应的用户操作场景,至少包括以下之一:
语音信息输入、视频信息输入、人脸识别操作、指纹识别操作、支付操作。
8.一种多场景数据流式处理系统,其特征在于,所述系统包括:
原始数据获取模块,用于获取目标应用的原始流式数据;
流式数据提取模块,用于根据场景类型,从所述原始流式数据中提取所述场景类型对应的流式数据;
多场景规则配置模块,用于获取所述场景类型对应的数据处理规则,所述数据处理规则用于确定成对的流式数据;
流式数据处理模块,用于根据所述数据处理规则,获取所述场景类型对应的流式数据中的成对的流式数据;
数据存储模块,用于将获取到的成对的流式数据存储至数据库;
其中,所述对应的配置信息包括对应于所述场景类型的数据处理规则。
9.一种网络设备,其特征在于,包括:处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序,所述程序被所述处理器执行时实现如权利要求1至7中任一项所述的多场景流式数据处理方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的多场景流式数据处理方法的步骤。
CN202210708889.3A 2022-06-22 2022-06-22 多场景流式数据处理方法、系统、网络设备和存储介质 Active CN114780584B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210708889.3A CN114780584B (zh) 2022-06-22 2022-06-22 多场景流式数据处理方法、系统、网络设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210708889.3A CN114780584B (zh) 2022-06-22 2022-06-22 多场景流式数据处理方法、系统、网络设备和存储介质

Publications (2)

Publication Number Publication Date
CN114780584A true CN114780584A (zh) 2022-07-22
CN114780584B CN114780584B (zh) 2022-09-02

Family

ID=82422518

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210708889.3A Active CN114780584B (zh) 2022-06-22 2022-06-22 多场景流式数据处理方法、系统、网络设备和存储介质

Country Status (1)

Country Link
CN (1) CN114780584B (zh)

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6906646B1 (en) * 2004-03-16 2005-06-14 Palmsource, Inc. Methods and devices for binary object serialization
US20170235779A1 (en) * 2014-09-30 2017-08-17 Hewlett Packard Enterprise Development Lp Processing query of database and data stream
US20170357629A1 (en) * 2016-06-09 2017-12-14 Mastercard International Incorporated Systems and methods for generating a report from stream data
US20190129888A1 (en) * 2015-07-27 2019-05-02 Sas Institute Inc. Distributed data storage grouping
CN109992249A (zh) * 2019-03-06 2019-07-09 北京国舜科技股份有限公司 一种流式数据流程操作方法及系统
CN110555028A (zh) * 2019-08-22 2019-12-10 上海数禾信息科技有限公司 数据展示方法以及装置
CN110609852A (zh) * 2019-07-16 2019-12-24 招联消费金融有限公司 流式数据处理方法、装置、计算机设备和存储介质
CN111090676A (zh) * 2019-12-23 2020-05-01 南京航空航天大学 面向流式数据的分布式自动处理方法及系统
CN111209298A (zh) * 2020-01-06 2020-05-29 平安科技(深圳)有限公司 查询数据库数据的方法、装置、设备和存储介质
CN111858506A (zh) * 2020-06-30 2020-10-30 北京百度网讯科技有限公司 测试数据的处理方法、装置、电子设备及存储介质
CN112182004A (zh) * 2020-09-29 2021-01-05 中国平安人寿保险股份有限公司 实时查看数据方法、装置、计算机设备及存储介质
CN113297279A (zh) * 2021-05-26 2021-08-24 杭州安恒信息技术股份有限公司 一种数据分析及展示方法、系统、设备及存储介质
US20210311958A1 (en) * 2018-07-25 2021-10-07 Make IT Work Pty Ltd Data warehousing system and process
CN113760987A (zh) * 2021-02-04 2021-12-07 北京沃东天骏信息技术有限公司 数据处理方法和数据处理平台
CN114036034A (zh) * 2021-10-27 2022-02-11 北京闪送科技有限公司 一种应用于实时流式计算的性能测试方法
CN114168624A (zh) * 2021-12-08 2022-03-11 掌阅科技股份有限公司 数据分析方法、计算设备及存储介质
CN114265680A (zh) * 2021-12-24 2022-04-01 中电信数智科技有限公司 一种海量数据处理方法、装置、电子设备及存储介质

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6906646B1 (en) * 2004-03-16 2005-06-14 Palmsource, Inc. Methods and devices for binary object serialization
US20170235779A1 (en) * 2014-09-30 2017-08-17 Hewlett Packard Enterprise Development Lp Processing query of database and data stream
US20190129888A1 (en) * 2015-07-27 2019-05-02 Sas Institute Inc. Distributed data storage grouping
US20170357629A1 (en) * 2016-06-09 2017-12-14 Mastercard International Incorporated Systems and methods for generating a report from stream data
US20210311958A1 (en) * 2018-07-25 2021-10-07 Make IT Work Pty Ltd Data warehousing system and process
CN109992249A (zh) * 2019-03-06 2019-07-09 北京国舜科技股份有限公司 一种流式数据流程操作方法及系统
CN110609852A (zh) * 2019-07-16 2019-12-24 招联消费金融有限公司 流式数据处理方法、装置、计算机设备和存储介质
CN110555028A (zh) * 2019-08-22 2019-12-10 上海数禾信息科技有限公司 数据展示方法以及装置
CN111090676A (zh) * 2019-12-23 2020-05-01 南京航空航天大学 面向流式数据的分布式自动处理方法及系统
CN111209298A (zh) * 2020-01-06 2020-05-29 平安科技(深圳)有限公司 查询数据库数据的方法、装置、设备和存储介质
CN111858506A (zh) * 2020-06-30 2020-10-30 北京百度网讯科技有限公司 测试数据的处理方法、装置、电子设备及存储介质
CN112182004A (zh) * 2020-09-29 2021-01-05 中国平安人寿保险股份有限公司 实时查看数据方法、装置、计算机设备及存储介质
CN113760987A (zh) * 2021-02-04 2021-12-07 北京沃东天骏信息技术有限公司 数据处理方法和数据处理平台
CN113297279A (zh) * 2021-05-26 2021-08-24 杭州安恒信息技术股份有限公司 一种数据分析及展示方法、系统、设备及存储介质
CN114036034A (zh) * 2021-10-27 2022-02-11 北京闪送科技有限公司 一种应用于实时流式计算的性能测试方法
CN114168624A (zh) * 2021-12-08 2022-03-11 掌阅科技股份有限公司 数据分析方法、计算设备及存储介质
CN114265680A (zh) * 2021-12-24 2022-04-01 中电信数智科技有限公司 一种海量数据处理方法、装置、电子设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张宇光: "一种融合不同场景的高并发处理分层架构体系", 《通信技术》 *
武珊珊等: "一种支持多目标的数据流操作语言", 《小型微型计算机系统》 *

Also Published As

Publication number Publication date
CN114780584B (zh) 2022-09-02

Similar Documents

Publication Publication Date Title
US10824874B2 (en) Method and apparatus for processing video
CN109873745B (zh) 通信控制方法、装置及存储介质
CN110430476B (zh) 直播间搜索方法、系统、计算机设备和存储介质
WO2020019564A1 (zh) 搜索排序方法、装置、电子设备和存储介质
CN107590267B (zh) 基于图片的信息推送方法及装置、终端和可读存储介质
CN108809809B (zh) 消息发送方法、计算机设备及存储介质
CN111275037B (zh) 票据识别方法及装置
CN109636582B (zh) 信贷信息管理方法、装置、设备和存储介质
EP3996373A2 (en) Method and apparatus of generating bullet comment, device, and storage medium
CN108924381B (zh) 图像处理方法、图像处理装置及计算机可读介质
CN112084756B (zh) 会议文件生成方法、装置及电子设备
US20160171093A1 (en) Email mining system
CN112235470B (zh) 基于语音识别的来电客户跟进方法、装置及设备
CN112182174A (zh) 业务问答知识查询方法、装置、计算机设备和存储介质
CN112925898A (zh) 基于人工智能的问答方法、装置、服务器及存储介质
CN111126071A (zh) 提问文本数据的确定方法、装置和客服群的数据处理方法
CN113051389B (zh) 知识推送方法及装置
CN114780584B (zh) 多场景流式数据处理方法、系统、网络设备和存储介质
CN113407781A (zh) 一种视频搜索方法、系统、服务器和客户端
CN110768896B (zh) 会话信息处理方法、装置、可读存储介质和计算机设备
CN110011905B (zh) 一种通信信息处理方法、装置及设备
WO2021051874A1 (zh) 一种信息推送方法和相关装置
JP2000348142A (ja) 文字認識装置,文字認識方法,および文字認識方法を実行するプログラムを記録した記録媒体
JP2018013819A (ja) ビジネスマッチング支援システムおよびビジネスマッチング支援方法
CN111831683A (zh) 一种基于动态扩展场景匹配的自动化稽核方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant