CN113536088A - 流式系统数据处理方法、装置、电子设备及存储介质 - Google Patents

流式系统数据处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113536088A
CN113536088A CN202110762711.2A CN202110762711A CN113536088A CN 113536088 A CN113536088 A CN 113536088A CN 202110762711 A CN202110762711 A CN 202110762711A CN 113536088 A CN113536088 A CN 113536088A
Authority
CN
China
Prior art keywords
service
data
monitored
business
subclass
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110762711.2A
Other languages
English (en)
Other versions
CN113536088B (zh
Inventor
杨水月
李婧妍
李阳
李秀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202110762711.2A priority Critical patent/CN113536088B/zh
Publication of CN113536088A publication Critical patent/CN113536088A/zh
Application granted granted Critical
Publication of CN113536088B publication Critical patent/CN113536088B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9538—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • G06F16/9566—URL specific, e.g. using aliases, detecting broken or misspelled links
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本公开提供了流式系统数据处理方法、装置、电子设备及存储介质，涉及数据处理技术领域，尤其涉及流式系统数据处理，针对流式系统中的每一业务，根据该业务的预设监控需求，确定该业务中需要监控的业务特征；根据该业务中需要监控的业务特征，确定该业务对应的业务子类，其中，一业务对应至少一业务子类；在该业务对应的业务子类中，确定该业务需要监控的待监控数据所属的业务子类，基于该业务的待监控数据所属的业务子类，对该业务的待监控数据进行处理得到该业务的数据处理结果；将该业务的数据处理结果存储到对应的存储区域中，实现了流式系统中数据的存储，便于数据的统计且实现了分类存储。

Description

流式系统数据处理方法、装置、电子设备及存储介质
技术领域
本公开涉及数据处理技术领域，尤其涉及流式系统数据处理方法、装置、电子设备及存储介质。
背景技术
流式系统是处理源源不断的数据流的分布式的计算系统，针对应用于搜索引擎的流式系统，每天有数以亿计的网页数据经过环路进行各种死链、解析、抓取、动态渲染等处理，最终经过推荐系统分发到用户的面前；因此流式系统在运行过程中会产生海量的数据。
发明内容
本公开提供了一种流式系统数据处理方法、装置、电子设备及存储介质。
根据本公开的一方面，提供了一种流式系统数据处理方法，所述方法包括：
针对流式系统中的每一业务，根据该业务的预设监控需求，确定该业务中需要监控的业务特征；
根据该业务中需要监控的业务特征，确定该业务对应的业务子类，其中，一业务对应至少一业务子类；
在该业务对应的业务子类中，确定该业务需要监控的待监控数据所属的业务子类；
基于该业务的待监控数据所属的业务子类，对该业务的待监控数据进行处理得到该业务的数据处理结果；
将该业务的数据处理结果存储到对应的存储区域中。
根据本公开的另一方面，提供了一种流式系统数据处理装置，所述装置包括：
业务特征确定模块，用于针对流式系统中的每一业务，根据该业务的预设监控需求，确定该业务中需要监控的业务特征；
业务子类确定模块，用于根据该业务中需要监控的业务特征，确定该业务对应的业务子类，其中，一业务对应至少一业务子类；
待监控数据分类模块，用于在该业务对应的业务子类中，确定该业务需要监控的待监控数据所属的业务子类，
数据处理模块，用于基于该业务的待监控数据所属的业务子类，对该业务的待监控数据进行处理得到该业务的数据处理结果；
数据存储模块，用于将该业务的数据处理结果存储到对应的存储区域中。
根据本公开的另一方面，提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开中任一所述的流式系统数据处理方法。
根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行本公开中任一所述的流式系统数据处理方法。
根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现本公开中任一所述的流式系统数据处理方法。
在本公开实施例方案实现了流式系统中数据的存储，便于数据的统计且实现了分类存储。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是根据本公开的流式系统数据处理方法的第一示意图；
图2是根据本公开的一种可能的业务子类划分方式的示意图；
图3是根据本公开的流式系统数据处理方法的第二示意图；
图4a是根据本公开的一种可能的目标节点监控方式的示意图；
图4b是根据本公开的流式系统数据处理方法的实现过程的示意图
图5是根据本公开的步骤S104的一种可能的实现方式的示意图；
图6是根据本公开的流式系统数据处理方法的第三示意图；
图7a-图7f是根据本公开的各业务子类的关键词查询的示意图；
图7g-图7j是根据本公开的可视化查询结果的示意图；
图7k是根据本公开的流式系统数据处理方法中的业务特征的示意图；
图8是根据本公开的流式系统数据处理装置的一示意图；
图9是用来实现本公开实施例的流式系统数据处理方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
本公开实施例提供了一种流式系统数据处理方法，参见图1，该方法包括：
S101，针对流式系统中的每一业务，根据该业务的预设监控需求，确定该业务中需要监控的业务特征。
本公开实施例的流式系统数据处理方法可以通过电子设备实现，具体的，该电子设备可以为流式系统中的一台或多台计算机，也可以为分布式存储系统中的一个或多个存储节点。
流式系统用于实现用户的业务，例如，针对应用于搜索引擎的流式系统，流式系统中的业务可以为用户的搜索业务，搜索业务包括正确处理各个域、站点的各类搜索特征(例如实效性，各类低优质、互动，作者，站点各类指标分，分类等)及处理特征(例如抓取，渲染、死链，屏蔽等)等。
业务的预设监控需求可以根据业务的实际监控需求自定义设置，不同业务的预设监控需求可以相同也可以不同，一个例子中，以应用于搜索引擎的流式系统而言，预设监控需求具有一定的共性，例如可以包括站点的搜索频率及召回率等，还可以包括站点的跳转错误概率、渲染错误概率等；针对不同的业务，预设监控需求具有一定的特性，例如，针对图书类、视频类网站而言，预设监控需求可以包括作者、演员的搜索频率及召回率等。业务特征可以为站点、作者、文章、使用方、建库层级等。
S102，根据该业务中需要监控的业务特征，确定该业务对应的业务子类，其中，一业务对应至少一业务子类。
业务子类为预先设置的类型，每个业务可以对应一个业务子类，也可以对应多个业务子类。业务子类可以根据实际业务的类型进行设置。在一种可能的实施方式中，所述业务子类包括作者体系子类、站点相关子类、质量信号子类、低质信号子类、页面信息子类、搜索结构化子类、搜索视频理解子类中的至少一种。
一个例子中，以Wd(一种环路抓取系统用于抓取在线网页的各个维度的特征)业务为例，如图2所示，示意出了不同业务子类下各业务特征需要关注的筛选维度，例如，Wd业务的作者体系子类对应的业务特征的筛选维度包括作者、文章、站点等，Wd业务的站点相关子类的业务特征的筛选维度包括PC(Personal Computer，个人计算机)、Wise(源环境)、使用方等，Wd业务的质量信号子类的业务特征的筛选维度包括PC、Wise、建库层级等，Wd业务的低质信号子类的业务特征的筛选维度包括类型、自有或非自有等，Wd业务的页面信息子类的业务特征的筛选维度包括建库层级、站点等，Wd业务的搜索结构化子类的业务特征的筛选维度包括站点、PC、Wise等，Wd业务的搜索视频理解子类的业务特征的筛选维度包括站点、PC、Wise等。此外，针对不同的业务子类，图2中还示意给出了数据的时间维度(数据采样周期)及分析维度(数据统计值计算)。
S103，在该业务对应的业务子类中，确定该业务需要监控的待监控数据所属的业务子类。
流式系统中的业务在运行的过程中会产生相应的数据，将这些数据中需要进行监控的部分称为待监控数据，分别确定各待监控数据所属的业务子类，业务中待监控数据所属的业务子类必属于该业务对应的业务子类。
一个例子中，待监控数据可以包括日志、AFS(Andrew File System，安德鲁文件系统)落盘数据、该业务各个子库数据等。AFS落盘数据可以包括业务中指定项目的处理结果，针对处理比较耗时的项目，比如站点等级等，可以通过离线的方式计算处理结果，并存储为AFS落盘数据，然后在写入到实时的流式系统中，从而和实时项目的数据合并使用。子库数据中存储了业务中指定项目的运行结果，例如渲染结果会写入到CCDB(Contractor'sControl Data Bank，承包人控制的数据库)子库中，也会写入到其他的库中，这些库中的数据均需要进行后续的数据处理。
S104，基于该业务的待监控数据所属的业务子类，对该业务的待监控数据进行处理得到该业务的数据处理结果。
每种业务子类的待监控数据均可以对应有相应的处理方式，处理方式具体可以基于业务子类的实际类型进行设置。例如，针对Wd(一种环路抓取系统用于抓取在线网页的各个维度的特征)搜索业务数据，以URL(Uniform Resource Locator，统一资源定位符)数据为主，属于搜索结构化子类，可以以域名为基础的汇聚标准进行汇聚处理，可以将域名相同的汇聚为一类；此外部分URL，例如，文章、视频等数据的URL对应有相应的作者，还属于作者体系子类，因此可以按照所属的作者进行汇聚，针对一些特殊的URL也可能属于其他业务子类等。
S105，将该业务的数据处理结果存储到对应的存储区域中。
可以将待监控数据按照梳理的业务子类的维度进行hadoop分布式计算处理，得到相应的数据处理结果存储到对应的存储区域，例如ES(Embedded Storage，内嵌式存储系统)中。
在本公开实施例中，根据流式系统中业务的预设监控需求，确定该业务中需要监控的业务特征，从而得到该业务对应的业务子类，并基于业务子类完成对待监控数据的处理及存储，实现了流式系统中数据的存储；基于业务子类的数据处理可以保证数据处理结果的指标一致性，从而便于数据的统计且实现了分类存储，并且后续可以基于业务子类快速实现业务数据的查询及统计；此外即使流式系统中上线新的业务，也可以对应到现有的业务子类，只需要针对新上线的业务设置监控需求，就可以快速上线生效，无需针对新上线的业务重新进行开发设计，大大节约了设计成本。
虽然，可以对业务的数据全部进行监控，但是这样会浪费大量的监控资源，因此可以仅选取业务中的一部分数据作为待监控数据。在一种可能的实施方式中，参见图3，在所述在该业务对应的业务子类中，确定该业务需要监控的待监控数据所属的业务子类的步骤之前，所述方法还包括：
S301，在所述流式系统的各节点中，确定用于实现该业务的各执行节点。
业务需要基于流式系统中的节点来实现，在流式系统的各节点中，确定用于实现当前业务的各节点，称为当前业务的执行节点。
S302，按照预设监控逻辑，在该业务的各执行节点中选取需要监控的目标节点。
例如，以流式系统中的渲染业务为例，渲染业务会产出渲染相关的业务数据，这些业务数据在a链路、b存储节点、c存储节点中都有流转和使用，倘若实时监控所有流转相关的节点，会造成监控资源的巨大浪费，因此可以依据一定的监控逻辑来进行选取一部分节点，即目标节点来进行监控。
一个例子中，可以按照执行节点的重要等级来选取目标节点，例如，选取重要等级前n个执行节点作为目标节点，n为正整数。执行节点的重要等级可以根据实际情况自定义设置，例如，在渲染业务的数据在b存储节点中存储的最多，c存储节点中存储的最少时，则针对该渲染业务可以设置b存储节点的重要等级高于c存储节点的重要等级。
一个例子中，可以结合流式系统中其他业务的目标节点或执行节点来选取当前业务的目标节点。在一种可能的实施方式中，所述按照预设监控逻辑，在该业务的各执行节点中选取需要监控的目标节点，包括：
步骤一，获取所述流式系统中除该业务外的其他业务对应的执行节点/目标节点。
一个例子中，在流式系统中的其他业务已经确定了目标节点的情况下，例如该业务为流式系统中新增的业务时，可以基于流式系统中其他业务对应的目标节点来确定该业务的目标节点。
一个例子中，在流式系统中的其他业务尚未确定目标节点的情况下，可以基于流式系统中其他业务对应的执行节点来确定该业务的目标节点。
步骤二，确定其他业务对应的执行节点/目标节点与该业务的执行节点中的公共节点。
在其他业务对应的执行节点/目标节点与该业务的执行节点中，选取公共节点。
步骤三，在所述公共节点选取该业务对应的目标节点。
一个例子中，可以分别计算各公共节点的监控收益及监控代价，并结合公共节点的监控收益得分，选取监控收益得分最高的前n个公共节点作为该业务对应的目标节点。具体的，公共节点的监控收益得分与该公共节点上产生及存储的各业务的数据量正相关，例如，可以表示为：
Figure BDA0003150569330000071
其中，Si表示第i个公共节点的监控收益得分，Dj表示第i个公共节点上针对第j项业务产生及存储的数据量，m为第i个公共节点执行的业务的数量。
此外，还可以考虑各公共节点的监控代价，例如，当该公共节点的网络延时大于预设延时阈值、该公共节点的处理器负载大于预设负载阈值、或该公共节点的剩余带宽小于预设带宽阈值时，直接另该公共节点的监控收益得分为零，以在该公共节点资源不足的情况下，尽量减少监控对该公共节点正常业务的影响。
在公共节点中选取业务的目标节点进行监控，相比于针对每一业务独自选取目标节点进行监控，考虑了不同业务的节点监控的共性，能够增加节点监控的效率，节约节点监控成本。
S303，对该业务对应的目标节点进行监控，得到该业务的待监控数据。
一个例子中，以Wd业务为例，例如图4a所示，Wd业务的目标节点包括Page Server(页面服务)节点、CCDB节点、Tera(垓)节点、建库节点及离线节点，节点下的“筛选维度”表示该节点中需要监控的数据类型，“数据维度”表示数据的抽样周期及抽样概率，“存储”表示数据存储的内容及时长。具体的，本公开实施例的流式系统数据处理方法的实现过程可以如图4b所示。
在本公开实施例中，在业务的各执行节点中选取目标执行节点进行监控，可以减少监控范围，节约监控资源，提高监控效率。
根据业务的待监控数据的数据量的大小，数据量小的数据可以逐个处理并存储，数据量大的数据可以进行的覆盖率、分布值、分段值、区别值、混合特征值等预设指标的计算，然后存储计算得到的指标值，从而节约存储资源。在一种可能的实施方式中，参见图5，所述基于该业务的待监控数据所属的业务子类，对该业务的待监控数据进行处理得到该业务的数据处理结果，包括：
S501，针对该业务中待监控数据的数据量小于或等于预设数据量阈值的业务子类，确定该业务子类中各待监控数据的统一资源定位符URL，为各待监控数据的URL添加相应业务子类的标签，得到该业务的数据处理结果。
数据的量级可以精确到具体站点、域、部分数据可以精确到URL维度，针对数据量小业务定位比较精细的业务子类的待监控数据，可以定位到具体的URL，方便数据的指标分析和问题定位。对低数据量业务子类(该业务中待监控数据的数据量小于或等于预设数据量阈值的业务子类)的待监控数据的值进行解析，得到URL，并对URL添加业务子类的标签，从而得到数据处理结果。
S502，针对该业务中待监控数据的数据量大于预设数据量阈值的业务子类，计算该业务子类的待监控数据的统计值，得到该业务的数据处理结果。
针对数据量大的业务子类的待监控数据，直接存储会占用大量的存储空间，对高数据量业务子类(该业务中待监控数据的数据量大于预设数据量阈值的业务子类)，可以按照业务子类进行待监控数据的统计值的计算，将业务子类对应的统计值作为数据处理结果。
统计值的具体内容可以根据实际的统计需求进行选取，在一种可能的实施方式中，所述统计值包括分布值、分段值、区别值、混合特征值中的至少一种。
例如：针对业务子类A的待监控数据，需要站点+层级维度查询：提取站点URL，解析字段获取层级，站点+层级为主key，满足主key条件的各个数据进行合并统计：
分布值：站点B+层级D的数据的值为a,b,c,d的量级和占比。
分段值：站点B+层级D的数据的值在：0-3，3-6，6-10等范围内的量级和占比。
区别值：站点B+层级D的数据的值在：值a-值b变化量、值a-值c变化量、……、值c-值d变化量的量级和占比。
混合特征：站点B+层级D的数据的最大值作为新的数据，进行如上计算等。
在本公开实施例中，针对数据量小的业务子类的待监控数据可以定位到具体的URL，方便数据的指标分析和问题定位；针对数据量大的业务子类的待监控数据计算统计值作为数据处理结果，可以就节约存储资源，并且后续无需在进行统计值的计算，能够节约计算资源。
对于需求筛选条件灵活的数据，可以构造自定义的Query(搜索)方式，从而支持自定义查询筛选并且可以看到具体URL Case(案例)，对于需求筛选不强需、数据量量级过大的数据，计算好各个筛选下的数据的统计值进行存储。
在一种可能的实施方式中，参见图6，所述方法还包括：
S601，获取待查询关键字，按照所述待查询关键字查询得到相应的数据处理结果。
可以采用redis缓存，Query查询语句的hash作为唯一key，对用户查询进行各种维度的关键词进行汇总，查找到相应的数据处理结果。一个例子中，若数据处理结果为URL，则需要基于URL计算得到统计值；若数据处理结果本身就是统计值，则可以直接获取统计值。
一个例子中，例如图7a-图7d所示，针对低质信号子类，待查询关键字可以包括查询时间及低质类型；针对质量信号子类，待查询关键字可以包括查询时间、库、特征及是否过滤0值；针对作者体系子类，待查询关键字可以包括查询时间、站点名称、特征及是否过滤0值；针对站点相关子类，待查询关键字可以包括查询时间、库、特征及是否过滤0值。建库子类和CCDB子类的待查询关键字可以如图7e及图7f所示；此外，还可以根据业务特征来进行查询，一个例子中，业务特征的类型可以如图7k所示。
S602，根据当前查询到的数据处理结果，生成可视化查询结果并进行展示。
可视化查询结果可以为表格、复合折线、饼图等形式，例如图7g-图7j所示，本公开中不对可视化的形式做具体限定，此外，还可以针对指定的统计值设置报警阈值，从而实现自动报警。
在本公开实施例中，利用待查询关键字查询相应的数据处理结果，并生成可视化查询结果，实现了流式系统中数据的可视化查询，能够满足用户的多种查询需求。
本公开实施例还提供了一种流式系统数据处理装置800，参见图8，所述装置包括：
业务特征确定模块801，用于针对流式系统中的每一业务，根据该业务的预设监控需求，确定该业务中需要监控的业务特征；
业务子类确定模块802，用于根据该业务中需要监控的业务特征，确定该业务对应的业务子类，其中，一业务对应至少一业务子类；
待监控数据分类模块803，用于在该业务对应的业务子类中，确定该业务需要监控的待监控数据所属的业务子类，
数据处理模块804，用于基于该业务的待监控数据所属的业务子类，对该业务的待监控数据进行处理得到该业务的数据处理结果；
数据存储模块805，用于将该业务的数据处理结果存储到对应的存储区域中。
在一种可能的实施方式中，所述装置还包括：
执行节点确定模块，用于在所述流式系统的各节点中，确定用于实现该业务的各执行节点；
目标节点确定模块，用于按照预设监控逻辑，在该业务的各执行节点中选取需要监控的目标节点；
待监控数据确定模块，用于对该业务对应的目标节点进行监控，得到该业务的待监控数据。
在一种可能的实施方式中，所述目标节点确定模块，具体用于：
获取所述流式系统中除该业务外的其他业务对应的执行节点/目标节点；
确定其他业务对应的执行节点/目标节点与该业务的执行节点中的公共节点；
在所述公共节点选取该业务对应的目标节点。
在一种可能的实施方式中，所述数据处理模块，具体用于：
针对该业务中待监控数据的数据量小于或等于预设数据量阈值的业务子类，确定该业务子类中各待监控数据的统一资源定位符URL，为各待监控数据的URL添加相应业务子类的标签，得到该业务的数据处理结果；
针对该业务中待监控数据的数据量大于预设数据量阈值的业务子类，计算该业务子类的待监控数据的统计值，得到该业务的数据处理结果。
在一种可能的实施方式中，所述装置还包括结果展示模块，用于：
获取待查询关键字，按照所述待查询关键字查询得到相应的数据处理结果；
根据当前查询到的数据处理结果，生成可视化查询结果并进行展示。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。其中：
一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开中任一所述的流式系统数据处理方法。
一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行本公开中任一所述的流式系统数据处理方法。
一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现本公开中任一所述的流式系统数据处理方法。
图9示出了可以用来实施本公开的实施例的示例电子设备900的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图9所示，设备900包括计算单元901，其可以根据存储在只读存储器(ROM)902中的计算机程序或者从存储单元908加载到随机访问存储器(RAM)903中的计算机程序，来执行各种适当的动作和处理。在RAM 903中，还可存储设备900操作所需的各种程序和数据。计算单元901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。
设备900中的多个部件连接至I/O接口905，包括：输入单元906，例如键盘、鼠标等；输出单元907，例如各种类型的显示器、扬声器等；存储单元908，例如磁盘、光盘等；以及通信单元909，例如网卡、调制解调器、无线通信收发机等。通信单元909允许设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元901可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元901的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元901执行上文所描述的各个方法和处理，例如方法XXX。例如，在一些实施例中，方法XXX可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元908。在一些实施例中，计算机程序的部分或者全部可以经由ROM 902和/或通信单元909而被载入和/或安装到设备900上。当计算机程序加载到RAM903并由计算单元901执行时，可以执行上文描述的方法XXX的一个或多个步骤。备选地，在其他实施例中，计算单元901可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行方法XXX。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (13)

1.一种流式系统数据处理方法，所述方法包括：
针对流式系统中的每一业务，根据该业务的预设监控需求，确定该业务中需要监控的业务特征；
根据该业务中需要监控的业务特征，确定该业务对应的业务子类，其中，一业务对应至少一业务子类；
在该业务对应的业务子类中，确定该业务需要监控的待监控数据所属的业务子类；
基于该业务的待监控数据所属的业务子类，对该业务的待监控数据进行处理得到该业务的数据处理结果；
将该业务的数据处理结果存储到对应的存储区域中。
2.根据权利要求1所述的方法，在所述在该业务对应的业务子类中，确定该业务需要监控的待监控数据所属的业务子类的步骤之前，所述方法还包括：
在所述流式系统的各节点中，确定用于实现该业务的各执行节点；
按照预设监控逻辑，在该业务的各执行节点中选取需要监控的目标节点；
对该业务对应的目标节点进行监控，得到该业务的待监控数据。
3.根据权利要求2所述的方法，其中，所述按照预设监控逻辑，在该业务的各执行节点中选取需要监控的目标节点，包括：
获取所述流式系统中除该业务外的其他业务对应的执行节点/目标节点；
确定其他业务对应的执行节点/目标节点与该业务的执行节点中的公共节点；
在所述公共节点选取该业务对应的目标节点。
4.根据权利要求1所述的方法，其中，所述基于该业务的待监控数据所属的业务子类，对该业务的待监控数据进行处理得到该业务的数据处理结果，包括：
针对该业务中待监控数据的数据量小于或等于预设数据量阈值的业务子类，确定该业务子类中各待监控数据的统一资源定位符URL，为各待监控数据的URL添加相应业务子类的标签，得到该业务的数据处理结果；
针对该业务中待监控数据的数据量大于预设数据量阈值的业务子类，计算该业务子类的待监控数据的统计值，得到该业务的数据处理结果。
5.根据权利要求1-4任一所述的方法，所述方法还包括：
获取待查询关键字，按照所述待查询关键字查询得到相应的数据处理结果；
根据当前查询到的数据处理结果，生成可视化查询结果并进行展示。
6.一种流式系统数据处理装置，所述装置包括：
业务特征确定模块，用于针对流式系统中的每一业务，根据该业务的预设监控需求，确定该业务中需要监控的业务特征；
业务子类确定模块，用于根据该业务中需要监控的业务特征，确定该业务对应的业务子类，其中，一业务对应至少一业务子类；
待监控数据分类模块，用于在该业务对应的业务子类中，确定该业务需要监控的待监控数据所属的业务子类，
数据处理模块，用于基于该业务的待监控数据所属的业务子类，对该业务的待监控数据进行处理得到该业务的数据处理结果；
数据存储模块，用于将该业务的数据处理结果存储到对应的存储区域中。
7.根据权利要求6所述的装置，所述装置还包括：
执行节点确定模块，用于在所述流式系统的各节点中，确定用于实现该业务的各执行节点；
目标节点确定模块，用于按照预设监控逻辑，在该业务的各执行节点中选取需要监控的目标节点；
待监控数据确定模块，用于对该业务对应的目标节点进行监控，得到该业务的待监控数据。
8.根据权利要求7所述的装置，所述目标节点确定模块，具体用于：
获取所述流式系统中除该业务外的其他业务对应的执行节点/目标节点；
确定其他业务对应的执行节点/目标节点与该业务的执行节点中的公共节点；
在所述公共节点选取该业务对应的目标节点。
9.根据权利要求6所述的装置，所述数据处理模块，具体用于：
针对该业务中待监控数据的数据量小于或等于预设数据量阈值的业务子类，确定该业务子类中各待监控数据的统一资源定位符URL，为各待监控数据的URL添加相应业务子类的标签，得到该业务的数据处理结果；
针对该业务中待监控数据的数据量大于预设数据量阈值的业务子类，计算该业务子类的待监控数据的统计值，得到该业务的数据处理结果。
10.根据权利要求6-9任一所述的装置，所述装置还包括结果展示模块，用于：
获取待查询关键字，按照所述待查询关键字查询得到相应的数据处理结果；
根据当前查询到的数据处理结果，生成可视化查询结果并进行展示。
11.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-5中任一项所述的方法。
12.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-5中任一项所述的方法。
13.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-5中任一项所述的方法。
CN202110762711.2A 2021-07-06 2021-07-06 流式系统数据处理方法、装置、电子设备及存储介质 Active CN113536088B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110762711.2A CN113536088B (zh) 2021-07-06 2021-07-06 流式系统数据处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110762711.2A CN113536088B (zh) 2021-07-06 2021-07-06 流式系统数据处理方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113536088A true CN113536088A (zh) 2021-10-22
CN113536088B CN113536088B (zh) 2024-01-12

Family

ID=78126875

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110762711.2A Active CN113536088B (zh) 2021-07-06 2021-07-06 流式系统数据处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113536088B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106330616A (zh) * 2016-09-13 2017-01-11 通号工程局集团有限公司 一种实现铁路数据业务分类监控的方法
CN106355785A (zh) * 2016-08-29 2017-01-25 广州御银科技股份有限公司 一种状态监控系统
CN108092849A (zh) * 2017-12-06 2018-05-29 链家网（北京）科技有限公司 业务数据监控方法、装置及系统
CN111724063A (zh) * 2020-06-19 2020-09-29 上海商汤智能科技有限公司 一种业务数据处理方法及装置、电子设备和存储介质
WO2021073433A1 (zh) * 2019-10-16 2021-04-22 平安科技（深圳）有限公司 一种监控方法、装置、服务器及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106355785A (zh) * 2016-08-29 2017-01-25 广州御银科技股份有限公司 一种状态监控系统
CN106330616A (zh) * 2016-09-13 2017-01-11 通号工程局集团有限公司 一种实现铁路数据业务分类监控的方法
CN108092849A (zh) * 2017-12-06 2018-05-29 链家网（北京）科技有限公司 业务数据监控方法、装置及系统
WO2021073433A1 (zh) * 2019-10-16 2021-04-22 平安科技（深圳）有限公司 一种监控方法、装置、服务器及存储介质
CN111724063A (zh) * 2020-06-19 2020-09-29 上海商汤智能科技有限公司 一种业务数据处理方法及装置、电子设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
董博;李;刘学敏;董科军;: "基于爬虫的数据监控系统", 计算机系统应用, no. 10 *

Also Published As

Publication number Publication date
CN113536088B (zh) 2024-01-12

Similar Documents

Publication Publication Date Title
CN110866040B (zh) 用户画像生成方法、装置和系统
CN107392259B (zh) 构建不均衡样本分类模型的方法和装置
CN115335821B (zh) 卸载统计收集
CN114116065B (zh) 获取拓扑图数据对象的方法、装置、及电子设备
CN112204543A (zh) 用于分布式系统的频繁模式分析
CN113515545A (zh) 数据查询方法、装置、系统、电子设备以及存储介质
CN107291835B (zh) 一种搜索词的推荐方法和装置
CN109947736B (zh) 实时计算的方法和系统
US20120054181A1 (en) Online management of historical data for efficient reporting and analytics
CN113536088B (zh) 流式系统数据处理方法、装置、电子设备及存储介质
CN113590447B (zh) 埋点处理方法和装置
CN115514618A (zh) 告警事件的处理方法、装置、电子设备和介质
CN114491253A (zh) 观测信息处理方法、装置、电子设备及存储介质
CN113138772B (zh) 数据处理平台的构建方法、装置、电子设备和存储介质
CN113297436A (zh) 基于关系图网络的用户策略分配方法、装置及电子设备
CN113590322A (zh) 一种数据处理方法和装置
CN113792232A (zh) 页面特征计算方法、装置、电子设备、介质及程序产品
CN112887426A (zh) 信息流的推送方法、装置、电子设备以及存储介质
CN112559936A (zh) 社区内容处理方法、装置、电子设备和存储介质
CN112862554A (zh) 一种订单数据的处理方法和装置
CN114996557B (zh) 服务稳定性确定方法、装置、设备以及存储介质
CN113762510B (zh) 针对目标模型的数据处理方法、装置、电子设备和介质
KR102544635B1 (ko) Component와 BaaS 기반의 웹사이트 빌더 서비스를 제공하기 위한 시스템
CN113360765B (zh) 事件信息的处理方法、装置、电子设备和介质
US20220391808A1 (en) Data processing method, electronic device and storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant