CN112437105A - 用于实时流数据中的间断的基于人工智能的外推模型 - Google Patents

用于实时流数据中的间断的基于人工智能的外推模型 Download PDF

Info

Publication number
CN112437105A
CN112437105A CN202010824708.4A CN202010824708A CN112437105A CN 112437105 A CN112437105 A CN 112437105A CN 202010824708 A CN202010824708 A CN 202010824708A CN 112437105 A CN112437105 A CN 112437105A
Authority
CN
China
Prior art keywords
data
real
time stream
processors
computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010824708.4A
Other languages
English (en)
Inventor
A·塔格拉
S·K·穆哈梅德
A·古普塔
G·萨胡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of CN112437105A publication Critical patent/CN112437105A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2178—Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/17—Function evaluation by approximation methods, e.g. inter- or extrapolation, smoothing, least mean square method
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/046—Forward inferencing; Production systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Signal Processing (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Algebra (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Computer Hardware Design (AREA)
  • Medical Informatics (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明涉及用于实时流数据中的间断的基于人工智能的外推模型。本发明的方面公开了一种用于在间断期间丢失的实时流数据的再生的方法。该方法包括一个或多个处理器识别实时流的数据馈送。该方法还包括将认知模型应用于实时流的数据馈送。该方法还包括至少部分地基于修改后的权重来修改认知模型的参数，其中认知模型至少部分地基于数据馈送的训练数据的集合来执行一个或多个计算以生成修改后的权重。该方法还包括识别实时流的数据馈送中的间断。该方法还包括生成与实时流的数据馈送中的间断对应的数据，其中生成的数据至少部分地基于训练数据的集合的修改后的权重。

Description

用于实时流数据中的间断的基于人工智能的外推模型
技术领域
本发明总体上涉及训练过程领域，更具体地涉及将机器学习用于在间断期间丢失的实时流数据的再生。
背景技术
近年来，嵌入有计算能力的设备的制造的增长为边缘计算应用创造了各种前景。边缘计算是使计算机数据存储更接近源头的分布式计算范式，在源头处分布式系统技术与物理世界交互。虽然边缘计算是指不需要与中心化的云联系的网络的边缘处的去中心化的数据处理。然而，边缘计算能够与中心化的云交互。
分布式计算是研究分布式系统的计算机科学领域，该分布式系统的组件可以位于不同的联网计算机上。这些组件彼此交互，以通过传递消息进行通信并协调它们的动作，从而实现共同的目标。分布式计算提供了解决计算问题的各种方法。
边缘设备是提供进入企业或服务提供者核心网络的入口点的设备。一般而言，边缘设备可以是提供对更快、更高效的核心网络的经认证的访问的路由器。边缘设备的示例包括路由器、路由交换机、集成接入设备、多路复用器和各种广域网(WAN)接入设备。
发明内容
本发明的方面公开了用于在间断(outage)期间丢失的实时流(live stream)数据的再生的方法、计算机程序产品和系统。该方法包括一个或多个处理器识别实时流的数据馈送。该方法还包括一个或多个处理器将认知模型应用于实时流的数据馈送。该方法还包括一个或多个处理器至少部分地基于修改后的权重来修改认知模型的参数，其中认知模型至少部分地基于数据馈送的训练数据的集合来执行一个或多个计算以生成修改后的权重。该方法还包括一个或多个处理器识别实时流的数据馈送中的间断。该方法还包括一个或多个处理器生成与实时流的数据馈送中的间断对应的数据，其中生成的数据至少部分地基于训练数据的集合的修改后的权重。
附图说明
图1是根据本发明的实施例的数据处理环境的功能框图。
图2是描绘根据本发明的实施例的程序的操作步骤的流程图，该程序在图1的数据处理环境内用于在间断期间丢失的实时流数据的再生。
图3是根据本发明的实施例的与实时流数据相关的折线图的示例描绘。
图4是根据本发明的实施例的图1的客户端设备和服务器的组件的框图。
具体实施方式
本发明的实施例使得能够再生在间断期间丢失的实时流数据。本发明的实施例监视实时流的数据，并且连续地修改用于训练模型的数据的权重。本发明的附加实施例识别实时流中的数据间断，并且优化用于训练模型的数据的修改后的权重的存储。
本发明的一些实施例认识到网络中存在各种原因问题，这些问题会造成实时流的数据流中的间断。因此，数据收集时的间断破坏数据的顺序和完整性。因此，数据属性的这种不完整会影响从数据中得出的整体见解(insight)。此外，利用不完整的数据来训练机器学习模型降低了机器学习模型的准确性。忽略间断数据、使用可用数据以及使用平均值或其他线性方程方法的现有方式导致结果不准确，这是由于在机器学习模型的训练期间未考虑间断数据的属性。本发明的各种实施例通过修改对应数据的权重以训练机器学习模型并生成间断数据而解决了这个问题。
本发明的实施例通过利用压缩算法(compressor algorithm)和/或针对网络资源的最优使用而分配的动态缓冲池来减少网络资源的利用。因此，减少了必须传输数据的数据量(即，结果流量(consequent traffic))。此外，本发明的实施例通过减小流量的量和流量必须被传输的距离来减少网络电力资源。本发明的实施例通过创建从中获得见解的更多有顺序且完整的训练数据来提高机器学习模型的准确性。
本发明的实施例的实现可以采取多种形式，并且随后参考附图来讨论示例性实现细节。
现在将参考附图详细描述本发明。图1是图示根据本发明的一个实施例的总体上用100表示的分布式数据处理环境的功能框图。图1仅提供一种实现的图示，并不暗示对可以实现不同实施例的环境的任何限制。本领域技术人员可以对所描绘的环境进行许多修改，而不脱离如权利要求书所陈述的本发明的范围。
本发明的各种实施例可以利用个人数据和/或公共可用信息的可访问源，个人数据可以包括个人设备(例如客户端设备120)社交媒体内容。例如，本发明的实施例可以可选地包括使用户能够选择加入或选择退出暴露个人信息的隐私组件。隐私组件可以使得能够进行对可能已获得的、在维护的和/或可访问的个人信息以及用户信息(诸如跟踪信息)的已授权且安全的处理。可以向用户提供收集个人信息的部分的通知以及加入或退出收集过程的机会。准许(consent)可以采取多种形式。选择加入准许可以在数据被收集之前迫使用户采取肯定行动。可替代地，选择退出准许可以迫使用户采取肯定行动以在数据被收集之前阻止该数据的收集。
数据处理环境100的实施例包括全部通过网络110互连的客户端设备120和服务器140。在一个实施例中，客户端设备120和服务器140通过网络110通信。网络110可以是例如局域网(LAN)、电信网络、诸如互联网的广域网(WAN)或者这三者的任何组合，并且包括有线、无线或光纤连接。一般而言，根据本发明的实施例，网络110可以是将支持客户端设备120和服务器140之间的通信的连接和协议的任何组合。在示例中，客户端设备120经由互联网(例如网络110)向服务器140发送请求，服务器140通过该互联网返回响应。
在本发明的各种实施例中，客户端设备120可以是工作站、个人计算机、数字录像机(DVR)、媒体播放器、个人数字助理、移动电话或者根据本发明的实施例的能够执行计算机可读程序指令的任何其他设备。一般而言，客户端设备120代表能够执行计算机可读程序指令的任何电子设备或电子设备的组合。在一个实施例中，客户端设备120是分布式应用结构(例如客户端-服务器模型)中的客户端。例如，客户端设备120的多个实例可以存在于客户端-服务器模型中。在这个示例中，客户端设备120的一个实例是实时流广播的源头，而客户端设备120的另一个实例从服务器140请求实时流。根据本发明的实施例，客户端设备120可以包括如关于图4所更详细地描绘和描述的组件。
客户端设备120包括用户接口122和应用124。用户接口122是提供客户端设备120的用户与驻留在客户端设备上的多个应用之间的接口的程序。诸如用户接口122的用户接口是指程序呈现给用户的信息(诸如图形、文本和声音)以及用户用来控制程序的控制序列。存在多种类型的用户接口。在一个实施例中，用户接口122是图形用户界面。与基于文本的界面、键入的命令标签或文本导航相对，图形用户界面(GUI)是使得用户能够通过图形图标和视觉指示器(诸如辅助符号(secondary notation))与电子设备(诸如计算机键盘和鼠标)进行交互的一种类型的用户接口。在计算中，引入GUI是响应要求在键盘上键入命令的命令行界面的感知到的陡峭学习曲线。通常通过对图形元素的直接操纵来执行GUI中的动作。在另一个实施例中，用户接口122是脚本或应用程序接口(API)。应用124是被设计为在客户端设备120上运行的计算机程序。应用经常用于向用户提供在个人计算机上访问的类似服务(例如web浏览器、播放音乐或者其他媒体等)。
在本发明的各种实施例中，服务器140可以是台式计算机、计算机服务器或者本领域已知的任何其他计算机系统。在某些实施例中，服务器140表示利用集群计算机和组件(例如数据库服务器计算机、应用服务器计算机等)的计算机系统，这样的计算机系统当被数据处理环境100的元素访问时充当无缝资源的单个池。一般而言，服务器140代表能够执行计算机可读程序指令的任何电子设备或电子设备的组合。根据本发明的实施例，服务器140可以包括如关于图4所更详细地描绘和描述的组件。
服务器140包括存储设备142、数据库144、外推程序200、连续数据观察器模块205和权重重组(realignment)模块210。存储设备142可以用任何类型的存储设备(诸如数据库服务器、硬盘驱动器或闪存)来实现，例如能够存储可以由服务器140和客户端设备120访问和利用的数据的持久存储装置405。在一个实施例中，存储设备142可以表示服务器140内的多个存储设备。在本发明的各种实施例中，存储设备142在数据库144中存储多个信息，诸如连续数据观察器模块205和权重重组模块210的数据。数据库144可以表示从服务器140访问和存储的数据的一个或多个有组织的集合。在一个实施例中，数据库144存储用于训练估计模型的数据。例如，数据库144可以包括用于生成与实时流数据的中断(interruption)对应的数据的时间相关(time-dependent)数据和/或权重矩阵。在另一个实施例中，数据处理环境100可以包括托管经由网络110可访问的附加信息的附加服务器(未示出)。
在本发明的各种实施例中，外推程序200监视客户端设备120和服务器140之间的通信，并且识别实时流数据的间断。在一个实施例中，外推程序200识别实时流的数据中的间断。例如，外推程序200利用连续数据观察器模块205来识别包括实时流的连续数据流的中断的时间段。在这个示例中，实时流是在由提供者递送的同时客户端不断接收的多媒体。在另一个实施例中，外推程序200生成实时流的间断数据。例如，外推程序200利用权重重组模块210来修改用于生成与实时流中的中断对应的数据的数据的权重。在另一个实施例中，可以在客户端设备120上本地访问外推程序200。
外推程序200可以实时或接近实时地识别并生成实时流的错失数据。在一个实施例中，外推程序200利用连续数据观察器132来识别实时流中的间断。在另一个实施例中，外推程序200利用权重重组模块210来修改权重以训练估计模型并生成与实时流的数据间断对应的数据。在又一个实施例中，外推程序200将生成的数据传输到客户端设备120。例如，外推程序200用生成的数据填充所请求的实时流的数据中断。
连续数据观察器模块205是外推程序200的子程序，该子程序监视客户端和服务器之间的通信以识别实时流数据中的间断。在一个实施例中，连续数据观察器模块205监视实时流的数据以识别实时流的数据中的中断。例如，连续数据观察器模块205连续地监视客户端和服务器之间的通信。在这个示例中，连续数据观察器模块205检测实时流的数据中的中断。在另一个实施例中，连续数据观察器模块205发起生成与实时流中的中断对应的数据。例如，连续数据观察器模块205检测实时流的数据中的中断并传送指示该中断的信号，该信号对权重重组模块134进行初始化。在本发明的各种实施例中，连续数据观察器模块205可以在网络110、客户端设备120或服务器140上本地执行。
权重重组模块210是外推程序200的子程序，该子程序生成与实时流中的数据流的打断或间断对应的实时流的数据。在一个实施例中，权重重组模块210修改用于训练数据估计模型的数据的权重。例如，权重重组模块210基于先前的对应数据(例如前一天的对应的定义的时间段的数据)连续地更新用于训练数据估计模型的数据的权重矩阵。在另一个实施例中，权重重组模块210利用数据库144的数据来再生与由连续数据观察器模块205检测到的中断对应的数据。例如，权重重组模块210修改估计模型的训练数据的权重并使用数据库的数据来生成与检测到的实时流数据的中断对应的数据。在本发明的各种实施例中，权重重组模块2010可以在客户端设备120、服务器140或网络110上本地执行。
图2是描绘根据本发明的实施例的外推程序200的操作步骤的流程图，外推程序200是用于在间断期间丢失的实时流数据的再生的程序。在一个实施例中，外推程序200响应于检测到客户端设备120和服务器140之间的通信而开始。例如，外推程序200响应于检测到客户端(例如客户端设备120)对服务器(例如服务器140)的资源的请求而开始。
在步骤202中，外推程序200监视实时流的数据。在本发明的各种实施例中，外推程序200运行多个间歇的网络测试以确定基线性能参数和网络接口的统计数据，诸如平均错误率、时延率、传输开销、上传速率、下载速率以及总体的网络/互联网连接性。在一个实施例中，外推程序200检测、识别并确定可用于计算设备(例如客户端设备120、服务器140等)的一个或多个网络接口和关联的网络的技术和性能参数、细节、统计数据。在另一个实施例中，外推程序200利用错误率测试来测量、确定由于噪声、干扰、失真或位同步错误而已被更改的所传送的位的数量并将该数量存储在数据库144中。
在各种实施例中，外推程序200充当“位居”计算设备和后续计算设备、节点、目的地网络和/或服务器之间的内联代理和/或透明代理。在这个实施例中，去往和来自计算设备的所有网络流量将通过外推程序200进行传输(例如行进)。在另一个实施例中，外推程序200利用连续数据观察器模块205来监视客户端设备120的通信活动以确定数据和/或网络传输和/或请求。此外，响应于外推程序200检测到尝试的数据传输，外推程序200继续监视数据传输。例如，外推程序200检测到客户端(例如客户端设备120)对来自服务器(例如服务器140)的数据库的资源(例如实时流的URL)的请求，并继续监视用于传输对请求的响应的通信。
在步骤204中，外推程序200训练数据估计模型。在本发明的各种实施例中，用于训练数据估计模型的训练数据集(即，用于拟合模型的参数的示例的集合)的特征本质上是固定的、时间相关的和递归的。例如，由于天气模式的连续性和周期性，用于训练数据估计模型的数据可以反映特定地理位置的一段时间内的温度。因此，数据的训练集的特征(例如温度)本质上是固定的，时间相关的和递归的。在一个实施例中，外推程序200利用权重重组模块210来计算训练数据的权重，并利用计算出的权重来生成与估计模型预测的识别出的间断对应的数据。在另一个实施例中，外推程序200利用连续数据观察器模块205来收集客户端设备120和服务器140之间的通信数据，并将收集到的数据存储在数据库144中。例如，连续数据观察器模块205是收集实时流的数据的边缘设备，连续数据观察器205将该实时流的数据存储在服务器数据库(例如数据库144)中。例如，收集到的数据可以包括如图3中所描绘的数据的值。
图3是实时流数据图300的示例描绘，该实时流数据图300是外推程序200用来识别间断、训练数据估计模型并生成与识别出的间断对应的数据的在先前时间帧处的实时流的数据集的图。实时流数据图300包括数据值302、时间间隔304(例如一天的时间)和数据中断306。例如，数据值302代表用于训练估计模型的前一天的连续数据流的一个或多个值。在另一个示例中，时间间隔304是用于识别在数据中断306期间错失的数据值的定义的时段。在又一个示例中，数据中断306代表其中数据值302的一个或多个值不可用的间断的一个或多个时间间隔。在示例实施例中，外推程序200生成数据中断306内的数据。
在另一个实施例中，外推程序200利用数据库144的数据来创建数据的训练集。例如，外推程序200对数据(例如网络时延、比特率、网络错误、吞吐量、时间间隔等)进行向量化来创建包括多个特征的训练集和测试集，这些特征描述在实时流的数据流中断期间该实时流的错失值。此外，外推程序200利用经处理的训练集来执行数据估计模型的受监督的训练。如本领域技术人员将认识到的那样，受监督的训练确定预测与目标之间的差异(即，误差)，并通过各层反向传播该差异，使得数据估计模型进行“学习”。
在示例实施例中，外推程序200可以利用用于数据估计模型的方程，该方程包括：
Figure BDA0002635729520000091
其中“vi”是与当前值的间隔为“i”的实例处的数据值，“n”可配置为机器参数，并且“wi”在以下步骤206中在安全阶段(例如数据流中的中断之前和之后的时间间隔)期间计算。
在步骤206中，外推程序200修改用于训练数据估计模型的数据权重。在一个实施例中，外推程序200利用数据库144的收集到的数据和权重重组模块210来计算收集到的数据的权重，并将计算出的权重存储在存储设备142中。在另一个实施例中，外推程序200利用权重重组模块210来利用连续数据观察器模块205收集到的数据连续地更新数据估计模型的权重。例如，外推程序200将所有权重初始化为一(1)。在示例实施例中，外推程序200可以利用方程进行权重初始化，该方程包括：
Figure BDA0002635729520000092
Figure BDA0002635729520000093
其中“W”是权重矩阵，“wi”是当前数据值之前“i”间隔的数据的权重，
Figure BDA0002635729520000094
是所有“i”值的数学符号，并且“n”是所有间隔的集合(即，“i”的范围是1到“n”)。
此外，外推程序200执行权重矩阵“W”的归一化的扩展。在示例实施例中，外推程序200可以利用用于归一化的扩展的方程，该方程包括：
Figure BDA0002635729520000095
其中，“[w1,w2,…wn]”是所有当前数据值之前“i”间隔的数据的权重的集合，并且“min(W)”是权重矩阵的最小值。
在这个示例中，外推程序200基于目标值与源值之间的计算差异来重组权重。在示例实施例中，外推程序200可以利用用于对权重进行重组的方程，该方程包括：
Figure BDA0002635729520000101
其中“Wnew”是更新后的权重矩阵，“o2,o1”是目标值，并且“Ii2,Ii1”是当前值之前第“i”个间隔中的值的改变。在一个场景中，如果“o2,o1”与“Ii2,Ii1”相比大幅度变化，则“Wnew”被更新为高权重。
在另一个实施例中，外推程序200将更新后的权重矩阵存储在存储设备142中。例如，外推程序200利用压缩算法(例如数据差分)将一个或多个权重矩阵存储在服务器上。在另一个示例中，外推程序200利用针对存储器资源的最优使用而分配的动态缓冲池(例如存储设备142)来存储一个或多个权重矩阵。
在判定步骤208中，外推程序200确定实时流中是否存在数据间断。在本发明的各种实施例中，外推程序200利用连续数据观察器模块205从实时数据流收集到的存储在数据库144中的数据，并确定客户端设备120和服务器140的通信中是否存在连续数据的中断。在一个实施例中，外推程序200利用上面提到的测试来识别和预测数据传输失败(例如间断)。例如，外推程序200可以确定对完成数据传输必不可少的网络资源和计算设备的网络连接性。然后，推断程序200可以将所述数据传输确定和/或分类为失败(例如失败的数据传输)或完成。
在另一个实施例中，外推程序200利用边缘设备来收集数据以确定是否存在实时流的数据流的间断。在示例实施例中，外推程序200利用连续数据观察器模块205来试探测试(ping)客户端设备120，并且如果该试探测试未接收到答复、数据丢失超过预定的丢失阈值(例如，>k/t)，则确定数据传输是否已经失败。
在一个实施例中，如果外推程序200确定为不存在实时流的数据的中断(判定步骤208，“否”分支)，则外推程序200利用连续数据观察器模块205来监视实时流的数据(即，继续基于收集到的数据来更新权重矩阵)(在步骤202中)。例如，外推程序200利用连续数据观察器模块205来试探测试客户端设备120，并且如果该试探测试接收到答复，则确定为不存在实时流中的中断。在这个示例中，外推程序200确定为数据丢失在预定的丢失阈值以下(例如，<k/t)。
在另一个实施例中，如果外推程序200确定为存在实时流的数据的中断(判定步骤208，“是”分支)，则外推程序200配置权重重组模块210以生成与实时流的数据中断的数据对应的数据(在步骤210中)。例如，外推程序200确定为实时流的数据中存在间断，并利用连续数据观察器模块205触发(即，连续数据观察器模块205发送间断信号)外推程序200来配置权重重组模块210，以生成与间断对应的实时流的数据。
在步骤210中，外推程序200生成与实时流的数据间断对应的数据。在一个实施例中，外推程序200将存储设备142的权重导入权重重组模块210以生成与实时流的数据间断对应的数据。例如，外推程序200将来自动态缓冲池(例如存储设备142)的更新后的权重导入数据估计模型。在这个示例中，外推程序200将源值(例如与间断对应的时间间隔)输入到数据估计模型中。此外，外推程序200使用更新后的权重和实时流的先前收集的数据来估计(即再生)实时流的在间断期间丢失的数据值。
在示例实施例中，关于图3，外推程序200生成针对数据中断306的数据值302。在这个示例中，数据值302可以表示前一天的一个或多个时间段(例如时间间隔304)的针对区域的温度读数集合。此外，外推程序200识别前一天的与数据中断306对应的一个或多个时间段，并将该一个或多个时间段用作进入到数据估计模型中的源输入。此外，外推程序200使用更新后的权重来更新数据估计模型，并且估计与对应于数据间断306的一个或多个时间段中的每个时间段对应的温度读数。
在步骤212中，外推程序200将生成的数据传输到服务器。在一个实施例中，外推程序200从权重重组模块210检索生成的数据，并将生成的数据存储在数据库144中。例如，外推程序200检索数据估计模型的生成的数据，并将生成的数据存储在数据库中。在这个示例中，数据库包括提供给客户端的数据的实时流的所有资源。在示例实施例中，外推程序200将针对时间间隔304的数据值302存储在数据库144中。在这个示例中，时间间隔304可以表示涵盖与数据中断306对应的定义的时间段的一个或多个时间段。
图4描绘了根据本发明的说明性实施例的客户端设备120和服务器140的组件的框图。应当认识到的是，图4仅提供了一个实现的图示，并且不暗示关于可以实现不同实施例的环境的任何限制。可以对所描绘的环境进行许多修改。
图3是根据本发明的实施例的与实时流数据相关的折线图的示例描绘。在所描绘的实施例中，图3包括实时流数据图300，该实时流数据图300是(先前关于图2描述的)外推程序200用来识别间断、训练数据估计模型并生成与识别出的间断对应的数据的在先前时间帧处的实时流的数据集的图。实时流数据图300包括数据值302、时间间隔304(例如一天的时间)和数据中断306。
图4包括(一个或多个)处理器401、高速缓存403、存储器402、持久存储装置405、通信单元407、(一个或多个)输入/输出(I/O)接口406以及通信架构404。通信架构404在高速缓存403、存储器402、持久存储装置405、通信单元407和(一个或多个)输入/输出(I/O)接口406之间提供通信。可以使用针对在处理器(诸如微处理器、通信和网络处理器等)、系统存储器、外围设备以及系统内的任何其他硬件组件之间传递数据和/或控制信息而设计的任何体系架构来实现通信架构404。例如，可以使用一个或多个总线或纵横开关来实现通信架构404。
存储器402和持久存储装置405是计算机可读存储介质。在这个实施例中，存储器402包括随机存取存储器(RAM)。一般而言，存储器402可以包括任何合适的易失性或非易失性计算机可读存储介质。高速缓存403是通过保持来自存储器402的最近访问的数据和接近最近访问的数据的数据来增强(一个或多个)处理器401的性能的快速存储器。
用于实践本发明的实施例的程序指令和数据(例如软件和数据410)可以存储在持久存储装置405和存储器402中，以由各个(一个或多个)处理器401中的一个或多个处理器经由高速缓存403执行。在实施例中，持久存储装置405包括磁性硬盘驱动器。可替代地，或除了磁性硬盘驱动器之外，持久存储装置405可以包括固态硬盘驱动器、半导体存储设备、只读存储器(ROM)、可擦可编程只读存储器(EPROM)、闪存存储器或者能够存储程序指令或数字信息的任何其他计算机可读存储介质。
持久存储装置405使用的介质也可以是可移动的。例如，可以将可移动硬盘驱动器用于持久存储装置405。其他示例包括光盘和磁盘、拇指驱动器和智能卡，它们被插入驱动器中以传送到作为持久存储装置405的一部分的另一个计算机可读存储介质上。软件和数据410可以存储在持久存储装置405中，以由各个(一个或多个)处理器401中的一个或多个处理器经由高速缓存403访问和/或执行。关于客户端设备120，软件和数据410包括应用124的数据。关于服务器140，软件和数据410包括外推程序200、连续数据观察器模块205、权重重组模块210以及存储设备142的数据。
在这些示例中，通信单元407提供与其他数据处理系统或设备的通信。在这些示例中，通信单元407包括一个或多个网络接口卡。通信单元407可以通过使用物理和无线通信链路之一或二者来提供通信。可以通过通信单元407将用于实践本发明的实施例的程序指令和数据(例如软件和数据410)下载到持久存储装置405。
(一个或多个)I/O接口406使得能够使用可以连接到每个计算机系统的其他设备进行数据的输入和输出。例如，(一个或多个)I/O接口406可以提供与(一个或多个)外部设备408(诸如键盘、键区、触摸屏和/或一些其他合适的输入设备)的连接。(一个或多个)外部设备408还可以包括便携式计算机可读存储介质，诸如拇指驱动器、便携式光盘或磁盘以及存储卡。用于实践本发明的实施例的程序指令和数据(例如软件和数据410)可以存储在这样的便携式计算机可读存储介质上，并且可以经由(一个或多个)I/O接口406加载到持久存储装置405上。(一个或多个)I/O接口406还连接到显示器409。
显示器409提供向用户显示数据的机制，并且可以是例如计算机监视器。
本文中描述的程序是基于在本发明的具体实施例中实现它们的应用而识别出的。然而，应当认识到的是，本文中的任何特定程序术语仅仅是为了方便而使用的，因此本发明不应当限于仅在由这样的术语识别和/或暗示的任何具体应用中使用。
在任何可能的技术细节结合层面，本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、集成电路配置数据或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。
这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (16)

1.一种方法，包括：
由一个或多个处理器识别实时流的数据馈送；
由一个或多个处理器将认知模型应用于所述实时流的数据馈送，其中，所述认知模型是将源输入映射到目标输出的函数；
由一个或多个处理器至少部分地基于修改后的权重来修改所述认知模型的参数，其中，所述认知模型至少部分地基于所述数据馈送的训练数据的集合来执行一个或多个计算以生成所述修改后的权重；
由一个或多个处理器识别所述实时流的数据馈送中的间断；以及
由一个或多个处理器生成与所述实时流的数据馈送中的间断对应的数据，其中，生成的数据至少部分地基于所述训练数据的集合的所述修改后的权重。
2.如权利要求1所述的方法，还包括：
由一个或多个处理器将与所述实时流的数据馈送中的间断对应的所生成的数据导出到服务器。
3.如权利要求2所述的方法，还包括：
由一个或多个处理器将所生成的数据输入到所述实时流的数据馈送中。
4.如权利要求1所述的方法，其中，至少部分地基于所述修改后的权重来修改所述认知模型的参数还包括：
由一个或多个处理器基于所述实时流的数据馈送来创建一个或多个训练集；
由一个或多个处理器基于所述实时流的数据馈送来创建一个或多个测试集；以及
由一个或多个处理器利用一个或多个受监督的训练方法来训练所述认知模型，其中，所述受监督的训练方法利用创建的所述一个或多个训练集和所述一个或多个测试集。
5.如权利要求4所述的方法，其中，基于所述实时流的数据馈送来创建一个或多个训练集还包括：
由一个或多个处理器以预定的定义的时间段基于所述实时流的数据馈送来创建一个或多个训练集。
6.如权利要求1所述的方法，还包括：
由一个或多个处理器利用数据差分数据压缩来存储所述修改后的权重；
响应于识别出所述实时流的数据馈送中的间断，由一个或多个处理器提取存储的修改后的权重；以及
由一个或多个处理器将所述存储的修改后的权重输入到所述认知模型中。
7.如权利要求1所述的方法，其中，识别所述实时流的数据馈送中的间断还包括：
由一个或多个处理器将所述实时流的数据馈送的当前数据值与和所述实时流的数据馈送相关的数据集的对应时间段的数据值进行比较；
由一个或多个处理器确定所述当前数据值小于所述对应时间段的数据值；以及
由一个或多个处理器使所述认知模型开始生成与所述实时流的数据馈送中的间断对应的数据。
8.一种计算机程序产品，包括：
一个或多个计算机可读存储介质和存储在所述一个或多个计算机可读存储介质上的程序指令，所述程序指令包括：
识别实时流的数据馈送的程序指令；
将认知模型应用于所述实时流的数据馈送的程序指令，其中，所述认知模型是将源输入映射到目标输出的函数；
至少部分地基于修改后的权重来修改所述认知模型的参数的程序指令，其中，所述认知模型至少部分地基于所述数据馈送的训练数据的集合来执行一个或多个计算以生成所述修改后的权重；
识别所述实时流的数据馈送中的间断的程序指令；以及；
生成与所述实时流的数据馈送中的间断对应的数据的程序指令，其中，所生成的数据至少部分地基于所述训练数据的集合的所述修改后的权重。
9.如权利要求8所述的计算机程序产品，还包括存储在所述一个或多个计算机可读存储介质上的执行以下操作的程序指令：
将与所述实时流的数据馈送中的间断对应的所生成的数据导出到服务器。
10.如权利要求8所述的计算机程序产品，还包括存储在所述一个或多个计算机可读存储介质上的执行以下操作的程序指令：
将所生成的数据输入到所述实时流的数据馈送中。
11.如权利要求8所述的计算机程序产品，其中，至少部分地基于所述修改后的权重来修改所述认知模型的参数的程序指令还包括执行以下操作的程序指令：
基于所述实时流的数据馈送来创建一个或多个训练集；
基于所述实时流的数据馈送来创建一个或多个测试集；以及
利用一个或多个受监督的训练方法来训练所述认知模型，其中，所述受监督的训练方法利用创建的所述一个或多个训练集和所述一个或多个测试集。
12.如权利要求11所述的计算机程序产品，其中，基于所述实时流的数据馈送来创建一个或多个训练集的程序指令还包括执行以下操作的程序指令：
以预定的定义的时间段基于所述实时流的数据馈送来创建一个或多个训练集。
13.如权利要求8所述的计算机程序产品，还包括存储在所述一个或多个计算机可读存储介质上的执行以下操作的程序指令：
利用数据差分数据压缩来存储所述修改后的权重；
响应于识别出所述实时流的数据馈送中的间断，提取存储的修改后的权重；以及
将所述存储的修改后的权重输入到所述认知模型中。
14.如权利要求8所述的计算机程序产品，其中，识别所述实时流的数据馈送中的间断的程序指令还包括执行以下操作的程序指令：
将所述实时流的数据馈送的当前数据值与和所述实时流的数据馈送相关的数据集的对应时间段的数据值进行比较；
确定所述当前数据值小于所述对应时间段的数据值；以及
使所述认知模型开始生成与所述实时流的数据馈送中的间断对应的数据。
15.一种计算机系统，包括：
一个或多个计算机处理器；
一个或多个计算机可读存储介质；以及
存储在所述计算机可读存储介质上以由所述一个或多个处理器中的至少一个处理器执行的程序指令，所述程序指令包括执行如权利要求1-7中的任意一项所述的方法中的步骤的程序指令。
16.一种装置，包括被配置为执行如权利要求1-7中的任意一项所述的方法中的步骤的模块。
CN202010824708.4A 2019-08-26 2020-08-17 用于实时流数据中的间断的基于人工智能的外推模型 Pending CN112437105A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/550,909 2019-08-26
US16/550,909 US20210065030A1 (en) 2019-08-26 2019-08-26 Artificial intelligence based extrapolation model for outages in live stream data

Publications (1)

Publication Number Publication Date
CN112437105A true CN112437105A (zh) 2021-03-02

Family

ID=74679896

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010824708.4A Pending CN112437105A (zh) 2019-08-26 2020-08-17 用于实时流数据中的间断的基于人工智能的外推模型

Country Status (2)

Country Link
US (1) US20210065030A1 (zh)
CN (1) CN112437105A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11221934B2 (en) * 2020-01-10 2022-01-11 International Business Machines Corporation Identifying anomalies in data during data outage
CN114449028B (zh) * 2022-02-16 2023-06-06 上海哔哩哔哩科技有限公司 连接断开的处理方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110139509A1 (en) * 2009-12-15 2011-06-16 Halliburton Energy Services, Inc. Pressure and flow control in drilling operations
US20130194436A1 (en) * 2012-01-31 2013-08-01 W. Kyle Unice Method for conditioning a network based video stream and system for transmitting same
US20160286244A1 (en) * 2015-03-27 2016-09-29 Twitter, Inc. Live video streaming services
CN107820138A (zh) * 2017-11-06 2018-03-20 广东欧珀移动通信有限公司 视频播放方法、装置、终端及存储介质
CN108566537A (zh) * 2018-05-16 2018-09-21 中国科学院计算技术研究所 用于对视频帧进行神经网络运算的图像处理装置
CN109308895A (zh) * 2018-12-04 2019-02-05 百度在线网络技术（北京）有限公司 声学模型训练方法、装置、设备及计算机可读介质
US20190164095A1 (en) * 2017-11-27 2019-05-30 International Business Machines Corporation Natural language processing of feeds into functional software input

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11277420B2 (en) * 2017-02-24 2022-03-15 Ciena Corporation Systems and methods to detect abnormal behavior in networks

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110139509A1 (en) * 2009-12-15 2011-06-16 Halliburton Energy Services, Inc. Pressure and flow control in drilling operations
US20130194436A1 (en) * 2012-01-31 2013-08-01 W. Kyle Unice Method for conditioning a network based video stream and system for transmitting same
US20160286244A1 (en) * 2015-03-27 2016-09-29 Twitter, Inc. Live video streaming services
CN107820138A (zh) * 2017-11-06 2018-03-20 广东欧珀移动通信有限公司 视频播放方法、装置、终端及存储介质
US20190164095A1 (en) * 2017-11-27 2019-05-30 International Business Machines Corporation Natural language processing of feeds into functional software input
CN108566537A (zh) * 2018-05-16 2018-09-21 中国科学院计算技术研究所 用于对视频帧进行神经网络运算的图像处理装置
CN109308895A (zh) * 2018-12-04 2019-02-05 百度在线网络技术（北京）有限公司 声学模型训练方法、装置、设备及计算机可读介质

Also Published As

Publication number Publication date
US20210065030A1 (en) 2021-03-04

Similar Documents

Publication Publication Date Title
US11748653B2 (en) Machine learning abstraction
US9747150B2 (en) Two stage log normalization
US9787798B2 (en) Generating collapsed user interface interaction sequence controls in mobile applications
US10976904B2 (en) Graphical chatbot interface facilitating user-chatbot interaction
US10832150B2 (en) Optimized re-training for analytic models
US11269714B2 (en) Performance anomaly detection
US9983769B2 (en) Transitioning browser tabs from one environment context to another
KR20230002702A (ko) 파이프라인 아티팩트들 선정의 동적 자동화
CN112437105A (zh) 用于实时流数据中的间断的基于人工智能的外推模型
CN111340220A (zh) 用于训练预测模型的方法和装置
US11410049B2 (en) Cognitive methods and systems for responding to computing system incidents
US20230040564A1 (en) Learning Causal Relationships
US11334333B1 (en) Generation of adaptive configuration files to satisfy compliance
WO2023077989A1 (en) Incremental machine learning for a parametric machine learning model
US20170024654A1 (en) Predicting capacity based upon database elements
US20220172102A1 (en) Machine learning model trained using features extracted from n-grams of mouse event data
US20220180174A1 (en) Using a deep learning based surrogate model in a simulation
CN113724115A (zh) 基于在线教育的数据处理方法及服务器
US9191267B2 (en) Device management for determining the effects of management actions
US11941438B2 (en) Method, electronic device, and computer program product for using virtual desktop
US20230376825A1 (en) Adaptive retraining of an artificial intelligence model by detecting a data drift, a concept drift, and a model drift
CN115277662B (zh) 代理服务切换测试方法、系统、电子设备及可读介质
US12001310B2 (en) Approximating activity loads in databases using smoothed time series
US20220343211A1 (en) Method, electronic device, and computer program product for training model
US20230139759A1 (en) Data swap prevention in distributed computing environments

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination