CN115994156A - 用于实时分析数据流的方法和系统 - Google Patents

用于实时分析数据流的方法和系统 Download PDF

Info

Publication number
CN115994156A
CN115994156A CN202210723867.4A CN202210723867A CN115994156A CN 115994156 A CN115994156 A CN 115994156A CN 202210723867 A CN202210723867 A CN 202210723867A CN 115994156 A CN115994156 A CN 115994156A
Authority
CN
China
Prior art keywords
analysis
data
data streams
hardware processors
engines
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210723867.4A
Other languages
English (en)
Inventor
维拉·普拉卡什·尚
斯瓦鲁普·查特吉
沙米拉·巴克西
塔玛雅·特瓦里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tata Consultancy Services Ltd
Original Assignee
Tata Consultancy Services Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tata Consultancy Services Ltd filed Critical Tata Consultancy Services Ltd
Publication of CN115994156A publication Critical patent/CN115994156A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0637—Strategic management or analysis, e.g. setting a goal or target of an organisation; Planning actions based on goals; Analysis or evaluation of effectiveness of goals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/765—Media network packet handling intermediate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2308—Concurrency control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24564—Applying rules; Deductive queries
    • G06F16/24565—Triggers; Constraints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24568—Data stream processing; Continuous queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1008—Server selection for load balancing based on parameters of servers, e.g. available memory or workload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/14—Session management
    • H04L67/146—Markers for unambiguous identification of a particular session, e.g. session cookie or URL-encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/55—Push-based network services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/561—Adding application-functional data or data for application control, e.g. adding metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H04L67/61—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources taking into account QoS or priority requirements

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Educational Administration (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Game Theory and Decision Science (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • Computer Hardware Design (AREA)
  • Library & Information Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了用于实时分析数据流的方法和系统。数据分析是从数据中获取重要信息的关键。提供了一种用于分析数据流的实时系统和方法。该系统可以利用许多不同类型的数据格式，例如数字、文本、视频、音频、图像或其组合。使用分析引擎根据需求进行分析，并生成中间输出。使用分布式实时业务规则处理引擎进一步处理中间输出，以确定数据中所需的条件。业务规则包括一个或多个元数据集。在匹配业务规则时，系统触发警报或将所需信息传播到集成解决方案以执行所需操作。所述系统和方法与技术和通信协议无关，并采用高效的负载平衡技术设计，从而促进以最小的延迟进行高并发的数据处理。

Description

用于实时分析数据流的方法和系统
相关申请的交叉引用和优先权
本申请要求2021年10月18日提交的印度申请第202121047290号的优先权。
技术领域
本公开总体涉及数据分析领域，更具体地，涉及用于实时分析多个数据流的方法和系统。
背景技术
在数字化的世界，数据已经成为任何组织最重要的方面。此外，数据分析在各个领域都起着至关重要的作用，可以从数据中获取重要的信息。通信网络中存在着各种类型的数据，如实时数据和复杂数据。复杂数据类型是不同类型数据的嵌套形式，如图像、文本、音频和视频的组合。
有多种应用程序收集关于通信网络的信息并根据需求分析数据。然而，为了有效地利用，信息必须根据数据流和分析系统以适合分析的格式提供。将数据转换为专用或目标平台格式数据的典型方法，使用资源将本地平台专用布局转换为可移植形式，并且可能导致需要额外传输资源的效率较低的格式。特别是当需要分析大量不同类型的数据时，这种方法就变得更加困难。
目前已有几种解决方案，主要是针对实时数据分析，或近实时数据分析。它们采用不同的方式分析数据。随着数据类型的增加，数据分析解决方案的响应性越来越差。
发明内容
发明人认识到在常规系统中的上述技术问题，本发明的实施例中的技术改进作为其中的一者或多者问题的解决方案。例如，在一个实施方式中，提供了一种用于实时分析多个数据流的系统。该系统包括输入/输出接口、一个或多个硬件处理器，以及存储器。输入/输出接口被配置为提供多个数据流作为来自一个或多个源的输入。存储器与一个或多个硬件处理器通信，其中一个或多个第一硬件处理器被配置为执行存储在存储器中的编程指令，用于：分析多个数据流以产生中间输出，其中，中间输出包括元数据；通过集成引擎接收对于分析多个数据流中的一个或多个数据流的请求，其中，集成引擎被配置为根据所接收的请求执行以下动作中的一者或多者：开始数据分析以分析数据流，其中，开始分析接收数据流列表、要执行的分析列表和匹配传播要调用的回调的详细信息作为输入，确定并提供先前开始的数据分析会话的状态，其中，提供会话ID列表作为输入，以及停止数据分析以停止数据分析会话，其中，提供会话ID列表作为输入；工作量管理器检查多个分析引擎中的每个分析引擎的负载；根据检查到的负载确定多个分析引擎中的一个或多个分析引擎；将针对分析的请求分配给所确定的一个或多个分析引擎，其中，一个或多个分析引擎被配置为：输出处理速率生成输出数据流；如果输出处理速率大于或小于预定值，则对一个或多个分析引擎的输出处理速率进行分别地缩减或提升；获得经缩放的数据流；确定需要在经缩放的数据流中检查的业务规则集，其中，业务规则集是基于对元数据与预定义的条件集执行比较来确定的；以及通过对所确定的业务规则集执行查找来触发回调，以促使集成引擎分析多个数据流。
另一方面，提供了一种用于实时分析多个数据流的方法。首先，提供多个数据流作为来自一个或多个源的输入。然后，分析多个数据流以产生中间输出，其中，中间输出包括元数据。进而，集成引擎接收对于分析多个数据流中的一个或多个数据流的请求，其中，集成引擎被配置为根据所接收的请求执行以下一个或多个动作：开始数据分析以分析数据流，其中，开始分析接收数据流列表、要执行的分析列表和匹配传播要调用的回调的详细信息作为输入，确定并提供先前开始的数据分析会话的状态，其中，提供会话ID列表作为输入，以及停止数据分析以停止数据分析会话，其中，提供会话ID列表作为输入。在下一步骤中，由工作量管理器实现在多个分析引擎中检查每个分析引擎的负载。在下一步骤中，根据所检查的负载，从多个分析引擎中确定一个或多个分析引擎。在下一步骤中，将针对分析的请求分配给所确定的一个或多个分析引擎，其中，一个或多个分析引擎被配置为：以输出处理速率生成输出数据流。此外，如果输出处理速率大于或小于预定值，则分别执行一个或多个分析引擎的输出处理速率的缩减或提升中的一个，以获得经缩放的数据流。在下一步骤中，确定需要在经缩放的数据流中检查的业务规则集，其中，基于由执行的元数据与预定义的条件集的比较来确定业务规则集。最后，通过对所确定的业务规则集执行查找来触发回调，以促使集成引擎分析多个数据流。
在又一个方面中，提供了其中包括一个或多个指令的一个或多个非暂时性机器可读信息存储介质，当指令由一个或多个硬件处理器执行时，使得实时分析多个数据流。首先，提供多个数据流作为来自一个或多个源的输入。然后，分析多个数据流以产生中间输出，其中，中间输出包括元数据。进而，集成引擎接收针对分析多个数据流中的一个或多个数据流的请求，其中，集成引擎被配置为根据所接收的请求执行以下一个或多个动作：开始数据分析以分析数据流，其中，开始分析接收数据流列表、要执行的分析列表和为匹配传播要调用的回调的详细信息作为输入，确定并提供先前开始的数据分析会话的状态，其中，提供会话ID的列表作为输入，以及停止数据分析以停止数据分析会话，其中，提供会话ID的列表作为输入。在下一步骤中，由工作量管理器实现在多个分析引擎中检查每个分析引擎的负载。在下一步骤中，根据所检查的负载，从多个分析引擎中确定一个或多个分析引擎。在下一步骤中，将针对分析的请求分配给所确定的一个或多个分析引擎，其中，一个或多个分析引擎被配置为以输出处理速率生成输出数据流。此外，如果输出处理速率大于或小于预定值，则分别执行一个或多个分析引擎的输出处理速率的缩减或提升中的一个，以获得经缩放的数据流。在下一步骤中，确定需要在经缩放的数据流中检查的业务规则集，其中，基于执行的元数据与预定义的条件集的比较来确定业务规则集。最后，通过对所确定的业务规则集执行查找来触发回调，以促使集成引擎分析多个数据流。
应当理解，上述一般描述和下面的详细描述都只是示例性的和说明性的，而不是对所要求的本发明的限制。
附图说明
结合在本公开中且构成本公开的一部分的附图示出了示例性实施方式，并且与描述一起用于解释本公开的原理：
图1示出了根据本公开的一些实施方式的用于实时分析多个数据流的系统的网络示意图。
图2是根据本公开的一些实施方式的用于实时分析多个数据流的系统的框图。
图3是示出根据本公开的一些实施方式的集成引擎的工作流程图。
图4是示出根据本公开的一些实施方式的工作量管理器的工作流程图。
图5是根据本公开的一些实施方式的分析处理组件的框图。
图6是根据本公开的一些实施方式的流订阅配置器的框图。
图7是示出根据本公开的一些实施方式的数据收集器的工作流程图。
图8是示出根据本公开的一些实施方式的数据获取器的工作流程图。
图9是示出根据本公开的一些实施方式的数据处理器的工作流程图。
图10A至10B是根据本公开的一些实施方式的用于实时分析多个数据流的方法的流程图。
具体实施方式
参考附图描述示例性实施方式。在附图中，参考标号最左边的数字标识了该参考标号首次出现的图。方便起见，在整个图纸中使用相同的参考号来表示相同或类似的部件。虽然在此描述了本公开的原理的示例和特征，但在不脱离所公开的实施方式的范围的情况下，可能存在修改、调适和其他实现。
在现今的行业中，有一些解决方案是专门为特定类型的分析而构建的。这些解决方案对于小部分输入或非常具体的用例非常有效。大多数解决方案可以通过在并行分析的数量或分析的持续时间/效率之间建立平衡来适应现实世界的问题。这种权衡或平衡是必需的，因为解决方案只能通过使用专门的硬件或投资于许多现成的硬件来保持高水平的信心，因为单独分析是资源密集型的。对于实时或近实时的解决方案，缺乏通用的、可缩放的、高效的和易于使用的解决方案。现有的系统不能实时或异步地分析复杂的数据类型。而且，现有的解决方案不具备可缩放地处理大量并发数据的能力。
本公开提供了一种用于实时分析多个数据流的方法和系统。系统被配置为处理高并发连续数据负载。多个数据的进一步处理涉及但不限于一组高度计算密集型分析。这些数据可以分布在多个设备上进行分析。单独分析可以在单个设备中运行，也可以跨多个设备运行，或者在同一设备或多个设备中运行一组多重分析。该系统对数据应用一种分析算法，并产生中间输出。使用分布式实时业务规则处理引擎进一步处理中间输出，以确定数据中所需的条件。
本发明还提供了内置灵活性和组件划分，使得系统与通信协议、进程间通信方法和接口技术无关。例如，可以使用HLS、RTMP、RTSP等不同的视频流协议来摄取数据。
现在参考附图，更具体地参考图1至图10B，其中类似的参考标号在整个附图中一致地表示相应的特征，示出了优选实施方式，并且在以下示例性系统和/或方法的上下文中描述这些实施方式。
根据本发明的实施方式，图1示出了系统100的网络示意图，图2示出了用于实时分析多个数据流的系统100的框图。基于所需的用例选择，系统100被配置为使用许多不同类型的数据流格式(数字/文本/视频/音频/图像)中的一种。系统100还被配置为对数据应用一种分析算法并产生中间输出。使用分布式实时业务规则处理引擎进一步处理中间输出，以确定数据中所需的条件。这些业务规则可以有一组或多组可配置的参数/元数据。当业务规则匹配时，系统触发警报或将所需信息传播到集成解决方案以进行所需操作。一组内部或外部系统也可以根据其业务需求或兴趣订阅规则匹配的结果。这种订阅可以是主动的，也可以是被动的。在主动订阅的情况下，系统100轮询规则匹配事件，或者在被动订阅的情况下，系统100注册将在规则匹配事件调用的一组应用可编程接口(API)(基于web或方法)。
可以理解，系统100包括一个或多个计算设备102，例如膝上型计算机、台式计算机、笔记本电脑、工作站、基于云的计算环境等。将理解，可以通过一个或多个输入/输出接口104访问系统100，输入/输出接口104统称为I/O接口104或用户接口104。I/O接口104的示例可包括但不限于用户接口、便携式计算机、个人数字助理、手持式设备、智能手机、平板计算机、工作站等。I/O接口104通过网络106通信耦接到系统100。
在一个实施方式中，网络106可以是无线或有线网络，或其组合。在一个示例中，网络106可以被实现为计算机网络，作为不同类型的网络之一，例如虚拟专用网络(VPN)、内联网、局域网(LAN)、广域网(WAN)、因特网等。网络106可以是专用网络或共享网络，其表示使用各种协议(例如超文本传输协议(HTTP)、传输控制协议/因特网协议(TCP/IP)和无线应用协议(WAP))来彼此通信的不同类型网络的联结。此外，网络106可以包括各种网络设备，包括路由器、桥接器、服务器、计算设备、存储设备。网络106内的网络设备可以通过通信链路与系统100交互。
系统100可以在工作站、大型计算机、服务器和网络服务器中实现。在一个实施方式中，计算设备102还包括一个或多个硬件处理器108、一个或多个存储器110(以下称为存储器110)，以及数据存储库112(例如存储库112)。存储器110与一个或多个硬件处理器108通信，其中一个或多个硬件处理器108被配置为执行存储在存储器110中的编程指令，以执行如本公开的后续所解释的各种功能。存储库112可以存储由系统100处理、接收和生成的数据。存储器110还包括用于执行各种功能的多个单元。多个单元包括集成引擎114、工作量管理器116、多个分析引擎118或分析处理组件118、业务规则处理引擎120和实时分发单元122，如图2的框图所示。
系统100支持各种连接选项，例如蓝牙
Figure BDA0003712610530000081
USB、ZigBee和其他蜂窝服务。网络环境使得能够使用包括因特网、WAN、MAN等的任何通信链路来连接系统100的各种组件。在示例性实施方式中，系统100被实现为独立的设备操作。在另一实施方式中，系统100可被实现为作为与智能计算环境松散耦接的设备工作。进一步详细描述系统100的组件和功能。
根据本发明的实施方式，系统100被配置为从一个或多个数据源124接收多个数据流。应当理解，为了保持本公开中的一致性，术语“多个数据流”或“数据”或“多个数据”或“数据流”是可互换的。有时，多个数据流包含许多不相关的信息，因此通过获得中间输出以从多个数据流中获得相关的信息。系统100被配置为主要处理视频类型数据的高并发连续数据负载，但不限于视频类型。多个数据流也可以是其他数据类型，如数字、文本、音频、图像等。它也可以是这些数据类型的组合。多个数据流可以是实时的或历史的，其可以以同步和异步模式出现。多个数据流可以是实时同步、实时异步、历史异步等任意组合。此外，输入数据流可以是记录流或现场流。根据要调用的分析引擎或计算的性质，多个数据流中的每个数据流可能具有不同的处理需要。当可用计算量低于可用并发时，可基于由用户定义的一组规则来决定多个数据流中数据流的执行优先级。
根据本发明的实施方式，系统100包括集成引擎114。集成引擎114充当一个或多个数据源124与集成解决方案126之间的接口。集成引擎114包括由希望使用系统100的外部代理调用的应用可编程接口(API)端点的实现。这些API并不局限于单一的技术或连接方法。在一个示例中，这些API可以实现为REST API，而在另一个示例中，它们可以为Java API。集成引擎114的工作示于图3的流程图300中。集成引擎114被配置为根据接收到的请求执行以下一个或多个动作：
·开始分析：这个端点用于接受分析数据流的请求。它以以下参数作为输入：
ο数据流列表
ο要执行的分析列表
ο匹配传播要调用的回调的详细信息
API在成功启动分析会话时返回一个会话ID，该会话ID可用于与系统的其他交互，如获取分析状态或停止正在运行的分析。
·获取状态：此端点用于确定和提供以前开始的分析会话的状态。预期作为输入的参数为：
ο会话ID的列表
οAPI返回会话ID和状态的映射。
·停止分析：此端点用于停止分析会话。在预期输入数据流即使在不再需要分析之后仍可使用的情况下，这是最相关的。此端点采用以下输入参数：
ο会话ID的列表
οAPI在成功时返回会话ID和状态的映射。
以上所有API基于两点的元数据查找在内部决定其控制流。第一点是在决定要连接哪个数据源时。不同支持的数据源的连接和交互逻辑可以封装在它们各自的方法/过程中。基于传递给API的输入参数及其对应的元信息来确定要调用的正确方法/过程。第二点是，当查询正确的分析引擎时，会查找必须向其传递控制的正确工作量管理器。此决策同样基于元数据，元数据包含不同分析类型与其相应工作量管理器之间的映射。
根据本发明的实施方式，系统100包括工作量管理器116。工作量管理器116的工作方式在图4的流程图400中示出。工作量管理器116被配置为检查多个分析引擎118中的负载，并根据所检查的负载确定多个分析引擎118中处理负载所需的一个或多个分析引擎。工作量管理器116还被配置为跨多个分析引擎118上接受和分发对多个数据流的分析的请求。工作量管理器116在一次迭代中实现为REST API或方法API。工作量管理器116提供以下功能：
·接受请求：此功能封装了接受请求的能力并将它们存储在内部队列实现中。
·检查状态：此功能检查各种分析引擎中的负载，并确定哪些引擎可用于所请求的分析。
·分配请求：此功能负责将分析请求分配给确定的分析引擎。
根据本发明的实施方式，可以为每个数据流或复合流定义多个分析引擎实例。一个或多个分析引擎的调用可以是同步、异步或混合模式。
根据本发明的实施方式，系统100还包括如图5的框图所示的分析处理组件118。分析处理组件被配置为解析来自一个或多个数据源的多个数据流。分析处理组件118还包括流订阅配置器128、配置数据存储器130、数据收集器132、事件数据存储器136、数据获取器138、数据处理器134和输出流生成器140。
活动数据获取器从队列中的数据存储区读取传入请求，并以负载平衡的方式将其传输到数据处理器池。这有助于以最小的延迟通过并行计算实现高并发性。池大小基于可配置参数，并且可以根据要处理的数据流的预期容量来调整。然后，来自数据处理器的处理后的数据流事件被发送回订阅的系统/应用程序，其可以根据业务需求进一步转换为警报/通知。分析处理组件的各个组成部分解释如下：
·流订阅配置器128——流订阅配置器128被配置为将数据流订阅的配置数据登记到系统100中。
·配置数据存储器130——这是保存所有流订阅的配置数据的存储库。该数据被用于处理数据流或流事件，并将其转发给外部实体。
·数据收集器132——数据收集器132被配置为收集传入的数据流事件，预处理流事件，将其从非结构化格式转换为结构化格式，然后将其推送到配置数据存储器130。
·数据处理器134——数据处理器134被配置为处理数据流事件并将输出转发到输出流生成单元140。
·事件数据存储器136——这是存储库，用于保存输入数据流事件并使其可用于数据处理器134。这是一个队列，允许以先进先出的方式服务于事件。
·数据获取器138——数据获取器138被配置为从数据存储器中获取保存的数据流事件，并将其转发给已订阅该数据流的数据处理器134。
·输出流生成器单元140——输出流生成器140被配置为将输出转换为接收机所需的格式，并将其转发到接收机。它可以连接到实时分发系统中正确的主题/队列，并同时在该系统中发布输出。
分析处理组件也可以通过下面的例子来解释：
Figure BDA0003712610530000121
Figure BDA0003712610530000131
Figure BDA0003712610530000141
根据本发明的实施方式，在图6中示出了流订阅配置器128的框图。流订阅配置器128被配置为配置多个业务规则，这些业务规则定义了应当为多个数据流应用哪条规则。还定义了数据格式，即传入的请求应该被转换成的数据格式以及转发用于数据处理的数据格式。将输出提供给外部实体(应用程序/系统)的要定义的输出事件的格式。所有这些都是配置数据的一部分，并且由流订阅配置器128收集。由流订阅配置器128收集的数据被保存到配置数据存储器130中。数据事件的处理还可能需要使用流订阅配置器128捕获的一些附加配置输入。
根据本发明的实施方式，如图7的流程图700所示，数据收集器132被配置为接收输入请求的端点。数据收集器312被配置为接收事件E(i)，将其转换为E'(i)，并将其保存到事件数据存储器。事件E'(i)具有针对该事件的对应的数据处理器可理解的格式。还针对保存的事件生成请求标识符或令牌。该请求标识符或令牌用于跟踪数据流事件的状态，直到接收到经处理的输出。数据收集器132支持将事件批量接收到系统中，并通过请求标识符或令牌标记它们中的每一个。批量接收事件允许以最小的连接量或网络调用向事件数据存储库136中输入条目。它有重试机制以确保零容错。对于两个独立的事件，生成的请求标识符或令牌不会相同。
根据本发明的实施方式，每个实例都与特定事件类型—数据处理器组合相关联，并且可以作为单独的应用运行。数据获取器138实例被配置为仅从事件数据存储中提取那些与之相联系的事件类型—数据处理器模块组合的事件。数据获取器138的工作方式在图8的流程图800中示出。事件被从事件数据存储器136中批量提取，从而确保从数据获取器138到数据存储器之间具有高度优化的连接数量。数据获取器138被配置为通过有效的负载平衡技术将提取的事件转发到数据处理器池，从而促进具有最小延迟的高度并发的数据处理。
数据获取器138的实例也可以被调度成以预定义的时间间隔运行。可以存在服务于相同事件类型—数据处理器模块组合的数据获取器138的多个实例。但是，在特定事件类型—数据处理器组合的所有实例中，每次只有一个实例处于活动状态。其他实例处于被动模式。这有助于确保不存在相同的事件被两个实例从事件数据存储器中提取进行处理。
根据本发明的实施方式，如图9的流程图900所示，数据处理器134被配置为支持高并发性。存在数据处理器134的多个实例，以支持高并发性。事件被作为数据包批量转发到数据处理器134。存在选项对每次可转发到数据处理器134的数据包的最大数目设置上限。该上限取决于数据处理器134的处理速度。数据处理器134可插入到系统100中，并且可根据需求具有任何定制化的实现。
数据处理器134还被配置为将数据包分解为各独立事件并将其转发到处理器队列。这确保在任何时间点，即使传入数据包的大小不一致，核心处理器引擎也能够被充分利用。并非所有数据包都有相同数量的事件打包到其中。核心处理器引擎从处理器队列中读取一个事件块以并行处理。处理器队列大小等于允许的最大数据包大小。然后，从配置数据存储器130读取配置数据，将核心引擎的经处理的响应转换为经配置的输出数据格式。然后将经转换后事件统一起来，以重建数据包。数据包被转发到输出流生成器140。
根据本发明的实施方式，输出流生成器140被配置为从数据处理器134接收数据包。对注册的REST API或Web服务或订阅的系统/应用程序的直接方法进行回调。这对于通知实体已完成事件处理是必要的。输出流生成器140用生成的请求标识符或令牌取代了繁琐地基于轮询调度器来检查事件请求状态的需要。回调机制有助于避免连接到事件数据存储器136以获取请求状态，而基于轮询的机制需要。如果订阅的系统/应用程序希望继续使用基于调度器的轮询机制，则系统100也支持相同的轮询机制。订阅的系统/应用程序可以是集成解决方案，也可以是某个队列/数据存储器的发布者实例。
根据本发明的实施方式，系统100还包括实时分发单元122。实时分发单元122被配置为：如果输出处理速率大于或小于预定值，则分别对一个或多个分析引擎的输出处理速率进行缩减或提升，以获得经缩放的数据流。一个或多个分析引擎118的输出速率是变化的。这种变化是基于分析类型和数据流。这使得本公开在分析引擎的输出的处理方面可以提升和缩减。实时分发单元122满足该要求。它为数据分发和传输提供了一种简单的发布和订阅机制。在此应用了现有的技术解决方案，例如消息发送队列或企业服务总线作为实时分发单元122。选择的解决方案需要确保支持以下属性：
·消息持久性：传递到系统100中的消息持续存在，并且在重新启动时不会丢失，或者如果没有确认，则自动清理。
·消息确认：实时分发单元122提供了一种机制，通过该机制，消息消费者可以在消息已经被处理时提供确认。然后才将其标记为已处理。
·仅一次传递：此属性相关于确保每个消息仅由一组消费者中的一个消费者接收和处理。从而确保消息只处理一次。
根据本发明的实施方式，业务规则处理引擎120被配置为确定需要在经缩放的数据流中检查的业务规则集，其中业务规则集是基于执行的由元数据与预定义的条件集的比较来确定的。此外，通过在所确定的业务规则集上执行查找来触发回调，以促使集成引擎114分析多个数据流。业务规则处理引擎120负责处理来自分析引擎118的中间输出。该处理包括确定需要检查的业务规则集，检查对其设置的元数据，并确认是否满足其条件。在满足条件的情况下，引擎将执行查找，并触发所需的回调以促使集成解决方案。为了实现其目标，组件的处理可以分为以下几个阶段：
·数据订阅阶段：组件的这个阶段负责将不同队列连接到实时分发系统，并轮询它们以获得新的输出消息。当有新消息可用时，此阶段使用该消息，并使其可用于下一阶段。
·消息解析阶段：此阶段接受输出消息并对其进行解析。一旦提取了分析引擎id，解析器就可以执行查找并确定特定用于该引擎输出格式的解析实现。
·业务规则比较阶段：该阶段接收经解析的输出消息作为输入，然后根据引擎id确定要调用的正确的规则比较器实现。进而，规则比较器实现也可能具有它需要查找以继续处理的元数据。在满足业务规则条件匹配时，触发下一阶段。
·警报生成器：一旦根据分析引擎id满足业务规则条件，就执行查找，并确定需要触发的正确回调。向回调实现提供来自规则匹配的警报详细信息，并触发回调。
表I显示了如何捕获消息解析器实现、业务规则比较器实现和回调实现的详细信息的示例。这些表在运行时用于确定要触发并执行所需处理的正确实现：
Id 引擎ID 消息解析器实现
1 Video_Eng_1 Video_eng_1_parser
2 Image_Eng_1 Image_eng_1_parser
Id 引擎ID 业务规则比较器实现
1 Video_Eng_1 检测人的存在
2 Image_Eng_1 数人
Id 引擎ID 回调实现
1 Video_Eng_1 用于警报传播的REST API
2 Image_Eng_1 用于警报传播的Java API
表I：显示捕获消息解析器实现、业务规则比较器实现和回调实现的详细信息的示例
图10A至10B示出了根据本公开的示例实施方式的用于实时分析多个数据流的方法1000的示例流程图。流程图中描绘的方法1000可以由系统执行，例如，图1的系统100。在示例实施方式中，系统100可以在计算设备中实现。
流程图的操作以及流程图中的操作的组合可以通过各种装置来实现，例如硬件、固件、处理器、电路和/或与包括一个或多个计算机程序指令的软件的执行相关联的其他设备。例如，在各种实施方式中描述的过程中的一者或多者可以由计算机程序指令来实现。在示例性实施方式中，实现各种实施方式中描述的过程的计算机程序指令可由系统的至少一个存储器设备存储，并由系统中的至少一个处理器执行。任何这样的计算机程序指令都可以加载到计算机或其他可编程系统(例如，硬件)上以产生机器，使得所产生的计算机或其他可编程系统作为用于实现流程图中指定的操作的装置。将注意，此处借助系统100描述方法1000的操作。然而，可以通过使用任何其他系统来描述和/或实践方法1000的操作。
首先，在方法1000的步骤1002，提供多个数据流作为来自一个或多个数据源124的输入。在步骤1004，分析多个数据流以生成中间输出，其中，中间输出包括对应于多个数据流的元数据。有时，多个数据流包含许多不相关的信息，因此获得中间输出以从多个数据流中获得相关的信息。
此外，在方法1000的步骤1006，集成引擎114接收针对分析多个数据流中的一个或多个数据流的请求。集成引擎114被配置为根据接收到的请求执行以下一个或多个动作：
·开始数据分析以分析所述数据流，其中，开始分析接收数据流的列表、要执行的分析的列表和为匹配传播要调用的回调的详细信息作为输入。
·确定并提供先前开始的数据分析会话的状态，其中，提供会话ID的列表作为输入。
·停止数据分析以停止数据分析会话，其中，提供会话ID的列表作为输入；
此外，在方法1000的步骤1008，工作量管理器116检查多个分析引擎中的每个分析引擎的负载。步骤1010，根据工作量管理器116检查的负载，从多个分析引擎中确定一个或多个分析引擎。
此外，在方法1000的步骤1012，将针对分析的请求分配给所确定的一个或多个分析引擎，其中，一个或多个分析引擎被配置为以输出处理速率生成输出数据流。在步骤1014，如果一个或多个分析引擎的输出处理速率大于或小于预定值，则分别提升或缩减该一个或多个分析引擎的输出处理速率，以获得经缩放的数据流。
此外，在方法1000的步骤1016，确定需要在经缩放的数据流中检查的业务规则集，其中，基于执行的由元数据与预定义的条件集的比较来确定业务规则集。最后，在步骤1018，通过在所确定的业务规则集上执行查找来触发回调，以促使集成引擎分析多个数据流。
书面描述描述了本发明的主题，以使本领域的任何技术人员能够制作和使用实施方式。主题实施例的范围由权利要求书定义，并且可以包括本领域技术人员所想到的其他修改。如果这些其他修改具有与权利要求书的字面语言没有不同的相似元素，或者如果它们包括与权利要求书的字面语言没有实质性不同的等效元素，则这些其他修改落在权利要求书的范围内。
本发明的实施方式解决了未解决的数据分析问题，而无需在诸如同步、异步、实时、历史等所有类型的数据中花费太多的时间和精力。实施方式因此提供了一种用于实时分析多个数据流的方法和系统。
应当理解，保护的范围扩展到其程序，并且扩展到在其中具有信息的计算机可读装置；这种计算机可读存储装置包含程序代码装置，当程序在服务器或移动设备或任何适当的可编程设备上运行时，该程序代码装置用于实现该方法的一个或多个步骤。硬件设备可以是可编程的任何类型的设备，包括例如任何类型的计算机，如服务器或个人计算机等，或其任何组合。所述设备还可以包括装置，所述装置可以是例如专用集成电路(ASIC)、现场可编程门阵列(FPGA)之类的硬件装置，或者硬件和软件装置的组合，例如ASIC和FPGA，或者至少一个微处理器和至少一个具有位于其中的软件处理组件的存储器。因此，该装置可以包括硬件装置和软件装置。这里描述的方法实施方式可以硬件和软件来实现。设备还可能包括软件手段。或者，实施方式可以在不同的硬件设备上实现，例如使用多个CPU。
这里的实施方式可以包括硬件和软件元件。在软件中实现的实施例包括但不限于固件、驻留软件、微代码等。由本公开描述的各种组件执行的功能可以在其他组件或其他组件的组合中实现。为了本说明的目的，计算机可用或计算机可读介质可以是任何设备，其可以包括、存储、通信、传播或传输程序，以便由指令执行系统、设备或设备使用或与指令执行系统、设备或设备相关联使用。
示出的步骤是为了解释所示的示例性实施方式，并且应该预期正在进行的技术发展将更改执行特定功能的方式。在此提出这些例子是为了说明，而不是限制。此外，为了便于描述，这里任意地定义了功能构建块的边界。只要适当地执行指定的函数及其关系，就可以定义替代边界。基于这里所包含的教导，对于相关领域的技术人员来说，替代方案(包括本公开所描述的那些的同等、扩展、变化、偏差等)将是显而易见的。这些替代方案落入本公开实施例的范围内。此外，“包括”、“具有”、“包含”和“包括”等词和其他类似形式的含义是等同的，并且是开放式的，因为在这些词中任何一个之后的一项或多项并不意味着详尽列出这些项或多项，或仅限于所列出的一项或多项。还必须注意，如本文和所附权利要求中所使用的，单数形式“一”、“一个”和“该”包括复数引用，除非上下文另有明确规定。
此外，一个或多个计算机可读存储介质可用于实现与本公开内容一致的实施例。计算机可读存储介质是指任何类型的物理存储器，其上可以存储处理器可读的信息或数据。因此，计算机可读存储介质可以存储供一个或多个处理器执行的指令，包括用于使处理器执行与这里描述的实施例一致的步骤或阶段的指令。“计算机可读介质”一词应理解为包括有形物品，不包括载波和瞬态信号，即非瞬态信号。示例包括随机存取存储器(RAM)、只读存储器(ROM)、易失性存储器、非易失性存储器、硬盘驱动器、CD ROM、DVD、闪存驱动器、磁盘和任何其他已知的物理存储介质。
本公开和示例仅被认为是示例性的，所公开的实施例的真实范围由权利要求书指示。

Claims (15)

1.一种用于实时分析多个数据流的处理器实现的方法(1000)，所述方法包括：
通过一个或多个硬件处理器提供所述多个数据流作为来自一个或多个源的输入(1002)；
通过所述一个或多个硬件处理器分析所述多个数据流以产生中间输出，其中，所述中间输出包括元数据(1004)；
由所述一个或多个硬件处理器实现的集成引擎接收针对分析所述多个数据流中的一个或多个数据流的请求，其中，所述集成引擎被配置为根据所接收的所述请求执行以下动作中的一者或多者：
开始数据分析以分析所述数据流，其中，开始分析接收数据流的列表、要执行的分析的列表和为匹配传播调用的回调的详细信息作为输入，
确定并提供先前开始的数据分析会话的状态，其中，提供会话ID的列表作为输入，以及
停止数据分析以停止数据分析会话，其中，提供所述会话ID的列表作为输入(1006)；
通过由所述一个或多个硬件处理器实现的工作量管理器，所述一个或多个硬件处理器检查由所述一个或多个硬件处理器实现的多个分析引擎中的每个分析引擎的负载(1008)；
由所述一个或多个硬件处理器，根据检查的所述负载，确定所述多个分析引擎中的一个或多个分析引擎(1010)；
由所述一个或多个硬件处理器向所确定的一个或多个分析引擎分配针对分析的所述请求，其中，所述一个或多个分析引擎被配置为以输出处理速率生成输出数据流(1012)；
如果所述输出处理速率大于或小于预定值，则由所述一个或多个硬件处理器分别执行所述一个或多个分析引擎的输出处理速率的缩减或提升中的一者，以获得经缩放的数据流(1014)；
由所述一个或多个硬件处理器确定需要在所述经缩放的数据流中检查的业务规则集，其中，所述业务规则集是基于由所述元数据执行的与预定义的条件集的比较来确定的(1016)；以及
由所述一个或多个硬件处理器通过对所确定的业务规则集执行查找来触发回调，以促使所述集成引擎分析所述多个数据流(1018)。
2.根据权利要求1所述的方法，还包括：当可用计算量低于可用并发时，基于由用户定义的一组规则决定所述多个数据流中的数据流的执行优先级。
3.根据权利要求1所述的方法，还包括：向所述集成引擎的结果订阅一组工具。
4.根据权利要求1所述的方法，其中，所述多个数据流包括视频数据、数字、文本、音频、图像中的一者或多者。
5.根据权利要求1所述的方法，其中，使用消息传递队列技术或企业服务总线技术之一来执行缩放。
6.根据权利要求1所述的方法，其中，所述业务规则集包括一组或多组可配置参数、元数据或可定制的逻辑代码块。
7.根据权利要求1所述的方法，其中，所述工作量管理器被配置为执行：
接受请求功能，被配置为封装接受请求的能力并将请求存储在内部队列实现中，
检查状态功能，被配置为检查所述多个分析引擎中的负载，并确定所述多个分析引擎中哪个分析引擎能够用于所请求的分析，或者
分配请求功能，被配置为将分析请求分配给所确定的分析引擎。
8.一种用于实时分析多个数据流的系统(100)，所述系统包括：
输入/输出接口(104)，被配置为提供所述多个数据流作为来自一个或多个源的输入；
一个或多个硬件处理器(108)；以及
与所述一个或多个硬件处理器通信的存储器(110)，其中，一个或多个第一硬件处理器被配置为执行存储在所述存储器中的编程指令，以进行以下各项：
分析所述多个数据流以产生中间输出，其中，所述中间输出包括元数据；
由集成引擎(114)接收针对分析所述多个数据流中的一个或多个数据流的请求，其中，所述集成引擎被配置为根据所接收的请求执行以下动作中的一者或多者：
开始数据分析以分析所述数据流，其中，开始分析接收数据流的列表、要执行的分析的列表和为匹配传播调用的回调的详细信息作为输入，
确定并提供先前开始的数据分析会话的状态，其中，提供会话ID的列表作为输入，以及
停止数据分析以停止数据分析会话，其中，提供所述会话ID的列表作为输入；
由工作量管理器(116)检查多个分析引擎(118)中的每个分析引擎的负载；
根据检查的负载，确定所述多个分析引擎中的一个或多个分析引擎；
将针对分析的请求分配给所确定的一个或多个分析引擎，其中，所述一个或多个分析引擎被配置为以输出处理速率生成输出数据流；
如果所述输出处理速率大于或小于预定值，分别执行所述一个或多个分析引擎的输出处理速率的缩减或提升中的一者，以获得经缩放的数据流；
确定需要在所述经缩放的数据流中检查的业务规则集，其中，所述业务规则集是基于由所述元数据执行的与预定义的条件集的比较来确定的；以及
通过对所确定的业务规则集执行查找来触发回调，以促使所述集成引擎分析所述多个数据流。
9.根据权利要求8所述的系统，还被配置为：当可用计算量低于可用并发时，基于由用户定义的一组规则决定所述多个数据流中的数据流的执行优先级。
10.根据权利要求8所述的系统，还被配置为：向所述集成引擎的结果订阅一组工具。
11.根据权利要求8所述的系统，其中，所述多个数据流包括视频数据、数字、文本、音频、图像中的一者或多者。
12.根据权利要求8所述的系统，其中，使用消息传递队列技术或企业服务总线技术之一来执行缩放。
13.根据权利要求8所述的系统，其中，所述业务规则集包括一组或多组可配置参数、元数据或可定制的逻辑代码块。
14.根据权利要求8所述的系统，其中，所述工作量管理器被配置为执行：
接受请求功能，被配置为封装接受请求的能力并将请求存储在内部队列实现中，
检查状态功能，被配置为检查所述多个分析引擎中的负载，并确定所述多个分析引擎中哪个分析引擎能够用于所请求的分析，或者
分配请求功能，被配置为将分析请求分配给所确定的分析引擎。
15.一个或多个非暂时性机器可读信息存储介质，包括一个或多个指令，当由一个或多个硬件处理器执行时，所述指令使得：
提供所述多个数据流作为来自一个或多个源的输入；
通过所述一个或多个硬件处理器分析所述多个数据流以产生中间输出，其中，所述中间输出包括元数据；
由所述一个或多个硬件处理器实现的集成引擎接收针对分析所述多个数据流中的一个或多个数据流的请求，其中，所述集成引擎被配置为根据所接收的所述请求执行以下动作中的一者或多者：
开始数据分析以分析所述数据流，其中，开始分析接收数据流的列表、要执行的分析的列表和为匹配传播调用的回调的详细信息作为输入，
确定并提供先前开始的数据分析会话的状态，其中，提供会话ID的列表作为输入，以及
停止数据分析以停止数据分析会话，其中，提供所述会话ID的列表作为输入；
通过由所述一个或多个硬件处理器实现的工作量管理器，所述一个或多个硬件处理器检查由所述一个或多个硬件处理器实现的多个分析引擎中的每个分析引擎的负载；
由所述一个或多个硬件处理器，根据检查的所述负载，确定所述多个分析引擎中的一个或多个分析引擎；
由所述一个或多个硬件处理器向所确定的一个或多个分析引擎分配针对分析的所述请求，其中，所述一个或多个分析引擎被配置为以输出处理速率生成输出数据流；
如果所述输出处理速率大于或小于预定值，则由所述一个或多个硬件处理器分别执行所述一个或多个分析引擎的输出处理速率的缩减或提升中的一者，以获得经缩放的数据流；
由所述一个或多个硬件处理器确定需要在所述经缩放的数据流中检查的业务规则集，其中，所述业务规则集是基于由所述元数据执行的与预定义的条件集的比较来确定的；以及
由所述一个或多个硬件处理器通过对所确定的业务规则集执行查找来触发回调，以促使所述集成引擎分析所述多个数据流。
CN202210723867.4A 2021-10-18 2022-06-24 用于实时分析数据流的方法和系统 Pending CN115994156A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
IN202121047290 2021-10-18
IN202121047290 2021-10-18

Publications (1)

Publication Number Publication Date
CN115994156A true CN115994156A (zh) 2023-04-21

Family

ID=81749451

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210723867.4A Pending CN115994156A (zh) 2021-10-18 2022-06-24 用于实时分析数据流的方法和系统

Country Status (3)

Country Link
US (1) US11954630B2 (zh)
EP (1) EP4167545A1 (zh)
CN (1) CN115994156A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11762945B2 (en) * 2020-12-10 2023-09-19 International Business Machines Corporation Syncing streams by intelligent collection and analysis

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5765028A (en) * 1996-05-07 1998-06-09 Ncr Corporation Method and apparatus for providing neural intelligence to a mail query agent in an online analytical processing system
EP2416318B1 (en) * 2010-08-04 2016-10-12 Nero Ag Multi-language buffering during media playback
US8762302B1 (en) * 2013-02-22 2014-06-24 Bottlenose, Inc. System and method for revealing correlations between data streams
US9652312B2 (en) 2014-07-03 2017-05-16 FishEye Products, LLC Realtime processing of streaming data
US10027728B2 (en) 2015-03-06 2018-07-17 Ebay Inc. Systems and methods of streaming data
US10146592B2 (en) 2015-09-18 2018-12-04 Salesforce.Com, Inc. Managing resource allocation in a stream processing framework
US10798145B1 (en) * 2017-04-25 2020-10-06 Benjamin J. Garney Analyzing data streams
US20180357486A1 (en) * 2017-06-07 2018-12-13 Satori Worldwide, Llc System and method for analyzing video frames in a messaging system
US10567244B1 (en) * 2018-02-09 2020-02-18 Equinix, Inc. Near real-time feed manager for data center infrastructure monitoring (DCIM) using custom tags for infrastructure assets
WO2020041872A1 (en) 2018-08-30 2020-03-05 Streamworx.Ai Inc. Systems, methods and computer program products for scalable, low-latency processing of streaming data

Also Published As

Publication number Publication date
US20230122597A1 (en) 2023-04-20
US11954630B2 (en) 2024-04-09
EP4167545A1 (en) 2023-04-19

Similar Documents

Publication Publication Date Title
CN109327509B (zh) 一种主/从架构的低耦合的分布式流式计算系统
CN110300056B (zh) 一种实时响应式api网关及其请求处理方法
US20210311781A1 (en) Method and system for scalable job processing
CN110740103A (zh) 业务请求处理方法、装置、计算机设备和存储介质
US20150347305A1 (en) Method and apparatus for outputting log information
CN110413822B (zh) 离线图像结构化分析方法、装置、系统和存储介质
CN111200606A (zh) 深度学习模型任务处理方法、系统、服务器及存储介质
CN114201278B (zh) 任务处理方法、任务处理装置、电子设备以及存储介质
CN110928934A (zh) 一种用于业务分析的数据处理方法和装置
CN111221793A (zh) 数据挖掘方法、平台、计算机设备及存储介质
CN111552577B (zh) 防止出现无效请求的方法、存储介质
CN113687958A (zh) 数据处理方法、系统、计算机设备和存储介质
CN115994156A (zh) 用于实时分析数据流的方法和系统
CN110995801A (zh) 一种服务调用的方法及装置
CN111752728B (zh) 消息传输方法及装置
CN113965628A (zh) 消息调度方法、服务器和存储介质
CN113111666A (zh) 一种实现应用程序的多语言翻译的系统及方法
CN112307046A (zh) 数据采集方法和装置、计算机可读存储介质、电子设备
CN108289165B (zh) 一种基于手机控制相机的实现方法、装置及终端设备
CN116264592A (zh) 虚拟桌面性能探测方法、装置、设备及存储介质
CN110955461A (zh) 计算任务的处理方法、装置、系统、服务器和存储介质
CN113055493B (zh) 数据包处理方法、装置、系统、调度设备和存储介质
CN113779021B (zh) 数据处理方法、装置、计算机系统及可读存储介质
KR20220098317A (ko) 정보 상호작용 방법들, 장치들, 디바이스들, 그리고 시스템들 및 저장 매체
CN113760693A (zh) 用于微服务系统的本地调试的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication