CN112867995A - 云和时间序列数据库中物联网系统的分层取证 - Google Patents

Abstract

一种示例性方法包括：创建空的重建流数据库；识别数据时间间隔；识别在数据时间间隔期间存储数据的数据源；从所述数据源读取数据，其中从所述数据源读出的数据与落入所述数据时间间隔内的相应时间戳相关联；将读出的数据插入到空的重建流数据库中，以创建高分辨率数据流，其中根据时间戳在空的重建流数据库中将数据排序；处理高分辨率数据流中的数据；以及基于数据的处理，识别并解决与最初生成数据的操作环境有关的问题。

Description

云和时间序列数据库中物联网系统的分层取证

技术领域

本发明的实施方式大体上涉及数据保护。更具体地，本发明的至少一些实施方式涉及针对以下过程的系统、硬件、软件、计算机可读介质、以及方法，该过程用于使用来自多个不同源的数据来重建时间序列数据流。

背景技术

随着所谓的物联网(Internet of Things，IoT)的普及，由IoT设备生成并传输到本地数据中心或云数据中心的数据流的大小和数量不断增加。在许多情况下，数据流被附加到时间序列数据库中，该时间序列数据库通常仅以最高分辨率保存最近数据，而合并或修剪较旧数据。这种存储数据的方法限制了问题发生后可以在IoT系统中执行的取证的质量，并且还可能负面地影响在丢失数据上的机器学习算法的再训练。

为了说明，当发生影响IoT系统、IoT设备和/或相关联数据的事件时，可能需要能够以相对高的分辨率访问已备份的IoT数据。然而，至少部分地因为数据的多个部分可能存在于各种不同的位置，所以可能难以获取和重建数据。因此，预期存储数据的位置可能不总是具有所需的所有数据。这会发生是由于时间序列数据库中的数据策略，例如导致较旧数据被删除或降采样的策略。相关的问题是，数据策略可能无法提供以高分辨率存储所有数据。

同样，IoT设备通常不具有大的数据存储能力。因此，不能依靠IoT设备来存储大量数据。这又可能是实施诸如降采样的数据策略的原因，如上所述，这些数据策略本身是有问题的。

最后，时间序列DB(数据库)或IoT设备的备份可能不协调。也就是说，时间序列DB备份可能包含较旧的数据，但是运行时系统可能无法访问这些备份。同样，一些较大的设备(例如监控摄像头)甚至可能具有历史数据的备份。然而，再一次，运行时系统通常无法访问该备份数据。

附图说明

为了描述可以获得本发明的至少一些优点和特征的方式，将参考在附图中示出的本发明的特定实施方式来更具体的描述本发明的实施方式。应理解，这些附图仅描绘了本发明的典型实施方式，并且因此不应被认为是对本发明的范围的限制，将通过使用附图用附加的特征和细节来描述和解释本发明的实施方式。

图1公开了本发明的一些实施方式的示例性操作环境的方面。

图2公开了示例性主机配置的方面。

图3是流程图，其公开了根据本发明的各种实施方式的用于重建高分辨率数据流的示例性方法的方面。

具体实施方式

本发明的实施方式大体上涉及数据保护。更具体地，本发明的至少一些实施方式涉及针对如下过程的系统、硬件、软件、计算机可读介质、以及方法，该过程用于使用存在于多个不同源处的数据的多个部分来重建时间序列数据流。数据的各个部分可以与各自不同的分辨率相关联，例如，可以以第一分辨率备份数据的一部分，并以与第一分辨率不同的第二分辨率备份数据的另一部分。

通常，本发明的实施方式将来自多个源的数据拼接在一起，以便以高分辨率重建数据流。无论数据存储在何处或存储的数据的分辨率如何，都可以通过使用元数据(例如，唯一ID(标识符)值或时间戳)以所期望的顺序或次序组合数据来重建数据流。本发明的一些实施方式能够以临时的方式构建任何期望大小的数据流，即使这样的数据流先前并不存在。为了说明，数据库(DB)可能仅足够大以保持1M的样本，但是需要3M的样本用于分析或一些其他目的。在诸如这样的情况下，本发明的实施方式能够构建任何期望大小的数据流(例如3M的样本)，而不受DB的大小的限制。应当注意的是，尽管3M的数据流例如可能从未如此存在于DB中，但是这种数据流在本文中仍可称为已被重建。此外，当重建数据流时，本发明的实施方式可以确保重建的流将能够适合数据库。为此，本发明的实施方式可以在适用时设置或覆盖数据库存储策略，以确保无论是根据磁盘空间、DB记录计数还是任何其他度量来度量的重建数据流都可以被数据库容纳。

于是，有利地，相对于常规系统和方法，本发明的实施方式可以提供各种益处。为了说明，本发明的实施方式使得能够执行取证、故障排除和其他需要高分辨率的数据流以获得最佳结果的过程，例如机器学习算法的再训练。这些取证和故障排除过程的结果可以用于识别和解决系统、应用程序或设备例如在IoT或其他环境中的操作问题。同样，本发明的实施方式包括数据恢复过程，该数据恢复过程采用如本文所公开的已经重建的高分辨率数据流。此外，本发明的实施方式能够重建高分辨率数据流，即使用于重建的数据的某些部分是相对低分辨率的(例如由于降采样或其他缩减(downscaling)过程)和/或被存储在各种不同的位置。同样，本发明的实施方式使得能够构建/重建任何期望大小的数据流。如此，可以根据需要重建在时间上向回追溯很远的数据流。

如前述示例所示，本发明的实施方式可以例如通过减少或消除对大数据库以其整体保持高分辨率数据流的需求或要求来改进计算系统或计算系统的元件的操作。此外，本发明的实施方式通过重建高分辨率数据流，使得能够诊断和解决计算系统中的问题。下面结合各种说明性示例讨论了所公开的过程和方法的其他方面。

A.示例性操作环境的方面

以下是对本发明的各种实施方式的示例性操作环境的方面的讨论。该讨论不旨在以任何方式限制本发明的范围或实施方式的适用性。

可以结合具有一个或多个IoT边缘组件的IoT环境来使用本发明的至少一些特定实施方式，所述IoT边缘组件可包括例如IoT传感器、IoT致动器和/或其他收集和/或生成信息和/或传输有关其所处环境的信息的任何IoT设备，并且IoT环境还可包括对修改其环境的某些方面的命令有响应的IoT设备。为了说明，IoT边缘组件包括用于物理安全和灾难检测的IoT传感器。其他IoT边缘组件包括监控摄像头、运动检测传感器和其他可用于检测入侵者和声音防盗警报的边缘设备。烟雾和气体检测器可用于触发火灾警报并启动灭火器。不管它们的配置或预期用途如何，IoT边缘设备还可配置为可检索地存储有关其环境、操作和/或从外部系统或设备接收的命令的数据。下面提供了有关可以在其中使用IoT边缘设备的示例性操作环境的更多细节。

在执行使用例如重建的高分辨率数据流的数据保护操作、例如备份和/或恢复操作的情况下，可以结合数据保护环境(例如Dell-EMC DataDomain(数据域)环境)来使用至少一些实施方式，所述数据保护环境可以实现备份、存档、恢复和/或灾难复原的功能。然而，本发明的范围不限于该示例性数据保护环境，并且更一般地扩展到与创建、保存、备份和/或恢复数据有关的任何数据保护环境。

数据保护环境可以采取云存储环境、本地存储环境以及包括公共和私有元素的混合存储环境的形式，尽管本发明的范围也扩展到任何其他类型的数据保护环境。这些示例性存储环境中的任一者都可以部分或完全虚拟化。该存储环境可以包括数据中心或由数据中心组成，该数据中心是可操作的以服务由一个或多个客户端发起的读取和写入操作。

除了存储环境之外，操作环境还可以包括一个或多个主机设备、例如客户端，每个主机设备主管一个或多个应用程序。如此，特定客户端可以使用一个或多个应用程序中的每个应用程序的一个或多个实例，或者以其他方式与该一个或多个应用程序中的每个应用程序的一个或多个实例相关联。通常，客户端采用的应用程序不限于任何特定功能或功能类型。例如，一些示例性应用程序和数据包括电子邮件应用程序(例如MS Exchange)、文件系统以及数据库(例如Oracle数据库和SQL Server数据库)。客户端上的应用程序可生成期望被保护的新数据和/或经修改的数据。

操作环境中的任何设备(包括客户端、服务器和主机)都可以采用软件、物理机或虚拟机(VM)的形式、或这些形式的任意组合，尽管任何实施方式都不需要特定的设备实现或配置。类似地，数据保护系统组件(例如数据库、存储服务器、存储卷、存储磁盘、复制服务、备份服务器、恢复服务器、备份客户端和恢复客户端)例如同样可以采用软件、物理机或虚拟机(VM)的形式，尽管任何实施方式都不需要特定的组件实现。在使用VM的情况下，可以使用管理程序或其他虚拟机监视器(VMM)来创建和控制VM。

如本文所使用的，术语“数据”旨在在范围上是广泛的。因此，该术语通过示例而非限制的方式包含(例如可通过数据流分段过程而产生的)数据段、数据分块(data chunk)、数据块(data block)、原子数据、电子邮件、任何类型的对象、文件、联系人、目录、子目录、卷以及前述中的一者或多者的任意组。

本发明的示例性实施方式适用于能够以模拟、数字或其他形式存储和处理各种类型的对象的任何系统。尽管可以通过示例的方式使用诸如文档、文件、块或对象的术语，但是本发明的原理不限于表示和存储数据或其他信息的任何特定形式。而是，这些原理等同地适用于能够表示信息的任何对象。

现在特别注意图1，操作环境100通常可以包括通用IoT系统或由通用IoT系统组成，该通用IoT系统将边缘设备合并到网关，然后合并到完成大多数处理的中央后端。在初始处理后，通常将数据保存在时间序列数据库中用于分析。可以在本发明的实施方式中使用的但不是必需使用的这种时间序列数据库的示例是InfluxDB、Dalmantiner DB和OpenTSDB。

如图1所示，操作环境100可包括系统200，该系统200可包括一个或多个IoT边缘设备202a…202n的阵列202，IoT边缘设备202a…202n中的一者、一些或全部可以是IoT传感器，尽管没有要求所有IoT边缘设备包括传感器或由传感器组成。更一般而言，如本文中所设想的，IoT边缘设备包括但不限于包括电子器件、软件、传感器和联接(connectivity)中的一者、一些或全部的任何物理设备，该联接使IoT边缘设备能够与其他设备(包括但不限于其他IoT边缘设备)连接和交换数据。如此，本文公开的传感器是与使用本发明的实施方式相关的IoT边缘设备的非限制性示例。

继续参考图1，可以使用任何数量的阵列，因此，示例性系统200包括具有一个或多个传感器204a…204n的附加阵列204，传感器204a…204n中的一者、一些或全部可以是IoT传感器。IoT传感器可以替选地称为IoT边缘传感器，并且包括但不限于传感器、致动器或任何其他产生信息和/或对控制其所处环境的命令有响应的设备。如本文所用的，术语传感器包括传感器(例如紧接在下面列出的那些示例)和警报器，并且在本发明范围内的传感器可以自动操作和/或可以手动激活。通常，传感器的类型、数量、位置和组合可基于以下考虑，这些考虑包括但不限于最可能遇到的威胁的(一种或多种)类型和潜在威胁源与数据中心的接近程度，以及一旦识别威胁，实施一个或多个先发动作所需的时间量。

可以与本发明的实施方式结合使用的IoT传感器包括但不限于火灾和烟雾检测器、气体检测器、泄漏和洪水检测器、湿度计、温度计、地震仪、运动检测器、具有自动运动的安全摄像头/威胁检测器、防盗警报器、电压和电流检测器、压力传感器、气流计、噪声检测器、以及化学检测器和传感器。在本发明范围内的其他IoT传感器可以被手动激活，例如是手动激活的火灾警报器，或作为另一示例的入侵者报警器或紧急按钮。可以以任何组合、类型和数量来使用前述和/或其他IoT传感器。

继续参考图1，系统200可以可选地包括一个或多个网关，例如网关206和网关208。可以使用任何数量的“n”个网关。通常，网关是指配置为合并多个边缘设备(例如，IoT传感器阵列202和204中的传感器)的通信和管理的系统和/或设备。在例如边缘设备联网能力本质上是本地的(无论就功率和/或联接而言)并且边缘设备使用该网关来连接到互联网和/或另一通信网络的情况下，可以使用网关。

如图所示，网关可以专用于传感器的特定阵列或组，尽管这不是必需的。在所示示例中，传感器阵列202通过网关206通信，而传感器阵列204通过网关208通信。图2所示元件之间的任何连接都可以是无线或硬连线的连接。还如所指示的，可以称网关(例如网关206和网关208)对应于相应层，例如层1和层“n”。这些层可以是通信配置中的层。此外，在通信配置中的最高层中的网关(例如网关208)可以与较低层中的一个或多个其他网关(例如网关206)通信。同样，网关可以彼此串行布置，尽管这不是必须的，并且还可以使用并行网关布置。在示出的示例性配置中，层“n”网关208合并来自较低层(例如层1)的所有通信。

如图1中进一步指示的，与系统200相关联的数据存储功能可以由数据中心300实现，该数据中心300可以是云数据中心，尽管这不是必需的。数据中心300可以包括存储器400，该存储器400可以包括一个或多个时间序列数据库(DB)和/或数据湖配置，或由其组成，时间序列数据库(DB)和数据湖配置中的一者或两者也可以是数据中心的元素。通常，存储器400包括可操作以用于以高分辨率时间序列存储数据并对读取和写入请求进行响应的任何系统和/或组件。更详细地，在来自IoT传感器阵列202和204中的传感器的至少一些输入数据已经由能够与存储器400通信的处理服务器500处理之后，存储器400可以用于保存这些数据。如本文所述，IoT传感器阵列202和204中的传感器也可以存储数据。

通常，处理服务器500和/或其他组件可以被编程为接收数据形式的传感器输入(例如通过一个或多个网关)，并且针对该传感器数据执行处理和/或分析。即，由传感器提供的原始数据可以由处理服务器500接收和处理。处理服务器500可以但不必须是数据中心300的元素。

通常，并且如本文其他地方更详细地讨论的，处理服务器500可以是可操作的，从而以高分辨率或以尽可能最高的分辨率采样和/或重建数据流。除其他事项外，这种重建可涉及访问存储在IoT传感器阵列中的数据，以及访问存储在一个或多个时间序列数据库中的数据。在一些实施方式，数据流重建和/或数据流采样可以由除处理服务器500之外的实体或与处理服务器500协作的实体来执行。例如，数据流重建和/或数据流采样可以由处理服务器500和存储器400协作执行。

B.示例性主机和服务器配置

现在简要地参考图2，IoT边缘设备202a…202n、204a…204n、网关206、网关208、数据中心300、存储器400和处理服务器500中的任何一者或多者可以采用物理计算设备的形式，或包括物理计算设备，物理计算设备的一个示例以600表示。同样，在任何上述元件包括虚拟机(VM)或由虚拟机(VM)组成的情况下，该VM可以构成图3中公开的物理组件的任何组合的虚拟化。

在图2的示例中，物理计算设备600包括存储器602，该存储器602可以包括随机存取存储器(RAM)、非易失性随机存取存储器(NVRAM)604、只读存储器(ROM)、以及永久性存储器、一个或多个硬件处理器606、非暂时性存储介质608、I/O设备610和数据存储器612中的一者、一些或全部。物理计算设备的存储器组件602中的一者或多者可以采取固态设备(SSD)存储器的形式。同样，提供了一个或多个包括可执行指令的应用程序614。这种可执行指令可以采取各种形式，包括例如可由处理服务器500执行以重建高分辨率数据流的指令。

C.时间序列数据库以及相关操作和数据的方面

继续参考图1的示例，可以采用一个或多个时间序列数据库的形式或包括一个或多个时间序列数据库的存储器400可以在一段时间内(例如几天)以最高分辨率保持一定数量的原始数据。为了最好地使用存储器400的时间序列数据库中的存储空间，处理服务器500可以使用各种数据解析运算器来修剪、即删除较旧的数据和/或减小较旧数据的大小，例如通过降采样、减少每个样本的位数和/或增大图像压缩率来进行。这种过程(包括降采样)是缩减过程的特定示例。

通常，旧数据的缩减反映了以下约定：最新数据是最重要的数据，因此应以尽可能最高的分辨率被保留。然而，经常的情况是，较低分辨率的较旧数据可能有用。例如，在具有重大意义的事件被发现在过去已经发生或发起之后，较旧的数据可用于取证。取决于IoT应用程序，此类事件可以是例如设备故障、代码问题、医疗事件、极端天气情况。在事后发现某个事件并非最初认为的那样之后，较旧的数据也可用于再训练机器学习应用程序。如本文所使用的，取证是指检查存储的数据和/或相关联的数据存储介质，以识别、保存、复原和分析该数据和/或相关联的数据存储介质。

更详细地，时间序列数据库被配置为基于时间的增加按时间顺序存储被提供给时间序列数据库的事件或数据。在例如需要执行查询以确定一个事件相对于另一事件何时发生的情况下，此类功能是有用的。因此，事件的时间顺序(chronology)可以是相对的，而不是绝对的(在绝对的情况下相对于公共时钟来确定事件时间)，尽管这两种时间顺序中的一种/两种都可以反映在存储的数据中。事件之间的时间间隔可以是恒定的和/或可以变化。时间序列数据库可以包括表格或有权访问表格，该表格将事件与其各自的时间戳交叉引用，其中时间戳可以指示涉及数据的特定事件发生的时间和/或事件/数据何时存储在时间序列数据库中。

在某个时刻，时间序列数据库将填满，导致需要缩减，以便能够继续保存新数据而不超过时间序列数据库的存储容量。通常，作为缩减的一个示例的降采样可涉及对数据流的不同部分存储在时间序列数据库中的比率实施一个或多个更改。

为了举例说明，飞机喷气发动机可以具有大约100K个传感器，每个传感器在生成期望保留的数据。因为相关联的数据库具有有限的容量，所以可以将不同的采样率应用于数据流，以确保仍收集有用的数据，但不收集太多的数据而使数据库达到容量。因此，可以对喷气发动机数据流的第一部分采样，即，可以每秒一次将来自数据流的第一部分的数据保存在时间序列数据库中。可以每10秒对在数据库中在时间上比第一部分较晚接收的数据流的第二部分采样一次，并且每分钟对在数据库中在第二部分之后接收的数据流的第三部分仅采样一次。这样，来自喷气发动机的数据将继续采样，但不是全部都以高分辨率采样，因为这样做将迅速耗尽数据库的容量。

从该示例将明显的是，采样数据的分辨率从第一部分中的最大值到第三部分中的最小值减小。数据的各部分可反映特定的时间段。例如，数据的第一部分可以是在最初的一分钟的时间段内到达的数据，而第二部分可以是在随后的五分钟内到达的数据，第三部分可以是在第5分钟和第10分钟之间到达的数据。

时间序列数据库的可用存储容量连同诸如采样率和采样时间表的参数可以用于定义数据流的采样和存储策略。可以但不必一定要计算存储策略以确保至少将高分辨率数据存储在时间序列数据库中。存储策略还可以反映例如先进先出(FIFO)保留策略，以帮助确保仅将最近数据保留在数据库中。

当新数据进入时间序列数据库时，它可替换较旧的数据，较旧的数据可备份到另一数据库/位置。因此，至少在某些情况下，时间序列数据库可以保持数据流的相对较高分辨率的数据，例如上述示例中最近的1分钟的数据，而该数据流的较低分辨率的数据则存储在其他位置。不管采样率或采样间隔如何，数据流中的所有数据即使不被采样也可以被保存，尽管所保存的数据可以散布在各种不同的实体和/或存储位置中，所有这些实体和/或存储位置可以在本文中统称为数据源。例如，即使例如由于定义的采样间隔而没有采样数据流的一个或多个部分，使得这些部分不存在于时间序列数据库中，但仍然备份这些部分。如此，可以从这些数据源复原未采样的数据，并将其用于高分辨率数据流的重建。最后，要注意的是，数据流的各个部分可以具有不同的相应分辨率，其反映了与这些部分中的每一者相关联的(一个或多个)采样率。

D.数据流重建和方法的方面

考虑到前述讨论，现在将注意力转向对数据流重建和相关方法的各个方面的讨论。通常，本发明的实施方式可用于通过协调由各种源生成的和/或存储在各种位置的信息或数据以及将其拼接在一起来以高分辨率形式恢复信息。各种数据部分可具有不同的相应分辨率。可以从任何各种不同的源获取用于重建高分辨率数据流的数据，这些源包括例如保持数据流信息的时间序列数据库、可仍保持相关数据的任何IoT设备和/或网关、DB后端数据保护系统以及IoT设备数据保护系统。这些源中存储的数据可以用于以全分辨率重建旧数据以用于取证、故障排除和其他情况。本发明的实施方式不限于任何特定的某些时间序列DB实现或数据保护应用。

最初，可在数据流重建过程之前进行各种准备。例如，为了促进高分辨率数据流的自动重建，数据备份系统应该对于程序访问是可访问的。缺少这种访问，可能需要执行手动或半手动操作。因此，可以通过提供这种程序访问来改善简单性和恢复时间。

同样，期望时间序列数据库备份在与这些备份相关联的元数据中包括关于高分辨率数据的备份的数据时间间隔的信息。数据时间间隔内的数据顺序可以由例如与备份的数据相关联的时间戳示出或从其得出。为了说明，数据时间间隔可以定义在其期间备份感兴趣数据的时间段。因此，两天的数据时间间隔可以意味着要检索和重建从感兴趣的特定日期/时间倒退两天的时间段内的所有备份的数据。作为另一示例，数据时间间隔可以在最近的数据处结束，并根据期望而在时间上向回延伸到尽可能远。更一般地，数据时间间隔可以具有任何开始日期和任何结束日期。可以独立于数据时间间隔所包含的数据被存储的位置以及独立于数据时间间隔所包含的数据的分辨率来定义数据时间间隔。

通常，高分辨率数据在备份创建日期的时间前后存在。如果不存在间隔元数据，则可以通过将备份恢复到要查询的位置或通过分析备份数据本身来重建该信息。一旦发生这种分析，分析的结果(即，间隔元数据的标识)可以被存储在元数据中用于将来的恢复。

如本文所述，在高分辨率数据流的重建中使用的一些数据可以存在于一个或多个IoT设备上。因此，IoT设备可具有已添加到其的接口，以允许外部各方查询设备上存在的任何数据。不必需包含接口，但是允许将IoT设备用作用于数据流重建过程的附加数据源。通常，IoT设备数据的备份副本可以包括元数据，例如上面结合时间序列数据库所述的元数据。

结合下面对图3的讨论，提供了关于用于数据流重建(在本文中也可简称为“重建”)的特定示例性过程的细节，然而，这里通过介绍提供简要的一般性讨论。通常，数据流重建过程可以在定义了要检索的数据时间间隔时开始。如前所述，在一个说明性示例中，数据时间间隔可以直到最近的数据，并且可以根据需要在时间上向回追溯尽可能远。数据时间间隔也可以根据执行的备份，即一个备份相对于另一备份的时间位置的相对时间位置来定义。例如，数据时间间隔可从最近的数据备份延伸到该数据的两个先前备份中的较早者，而不管这些备份中的任一者发生的实际时间如何。

时间序列数据库(也可称为流数据库，例如本文公开的那些数据库)的属性是每个条目通过元数据而是唯一的，元数据可以在存储或备份期间添加，且例如ID或时间戳。元数据可用于确定备份的哪个数据时间间隔是高分辨率部分。然后通过时间戳或其它数据排序的、数据的其他备份或部分可以基于其相应的时间间隔而被按顺序添加到高分辨率部分。

因此，在数据流重建过程期间，可以容易地解决所存储的数据的源之间的重叠数据，并且插入操作是幂等的，因此即使重叠也不会引起问题。通常，数据流的重建是通过将备份的数据重新插入到流DB中来执行的。注意到，从数据库或数据库备份中检索的数据可以已经被完全时间同步。

从IoT设备或其备份中检索的数据可基于获取样本数据时的时间戳来插入到数据库的数据流中。无需对数据库中的所有数据执行重建。例如，在一些实施方式中，可以针对其数据部分地或完全地存储在数据库中的数据流的子集执行重建。

在一些实施方式中，可以以特定顺序访问存储在数据流的重建中可用的数据的数据源，尽管这不是必需的，在其他实施方式中，访问数据源的顺序可以是任意的。在一个示例性但非限制性的实施方式中，可以按以下访问数据源：第一，活动时间序列DB；第二，(一个或多个)IoT设备中的数据，这些IoT设备可以将尚未发送的数据(即尚未备份的数据)存储到后端DB；第三，从最新到最旧的DB备份；以及第四，从最新(最近)到最旧(最不近)的IoT设备备份。在该示例中，可以基于在重建高分辨率数据流时提供成本/速度最优化的需要来指定备份的排序，因为与较新的备份相比，较旧的备份可能相对较难检索，和/或与较新的备份相比，较旧的备份可能需要相对较长时间的检索。可以使用附加的或替选的标准作为确定访问用于重建高分辨率数据流的备份的顺序的基础。

现在关注图3，提供了用于重建数据流(例如高分辨率数据流)的一些示例性方法的细节，其中一个示例总体上以700表示。通常，示例性方法(例如方法700)可以整体或部分地由处理服务器执行和/或在处理服务器处执行。在其他实施方式中，方法(例如方法700)可以整体或部分地由时间序列数据库执行和/或在时间序列数据库处执行。在其他实施方式中，方法(例如方法700)可以整体或部分地由时间序列数据库和处理服务器执行和/或在时间序列数据库和处理服务器处协作地执行。如此，将理解，图3中公开的功能的分配仅通过示例提供，并且这些功能以及本文中公开的其他功能可以以任何其他合适的方式在所公开的系统和设备之间或之上分配。

如图3的示例所示，方法700可以在创建702空的重建流数据库时开始。空的重建流数据库可以存在于云数据中心处的存储器中、存在于客户端位置处的本地和/或存在于任何其他位置中。空的重建流数据库的创建702可以由用户(例如管理员)使用界面(例如位于处理服务器处的图形用户界面(GUI)或命令行界面(CLI))来发起。在一些实施方式中，空的重建流数据库的创建可以响应于事件的发生而自动发生，事件的示例包括数据高峰、操作错误、或与系统、组件和/或操作环境有关的任何其他问题。空的重建流数据库可以对应于特定的离散数据流，或者可以临时定义。

接下来，识别704数据时间间隔以及相关联的数据源。如本文所公开的，在一些实施方式中，数据时间间隔可以是期望重建高分辨率数据流的一部分的时间段，该部分例如可以是最初由IoT设备创建的相关联数据流的一部分或全部。如此，数据时间间隔限定了将要重建的高分辨率数据流的极限，并且数据时间间隔可以对应于特定的离散数据流，或者可以是临时定义的。数据时间间隔可以跨越发生问题或其他事件的时间段，其中该问题或其他事件例如可以与IoT边缘传感器或其他设备相关联、或可以由IoT边缘传感器或其他设备检测到。

数据时间间隔可以由用户手动指定，或者也可以例如由处理服务器自动指定。结合数据时间间隔的识别，识别在该数据时间间隔期间保持(如果适用的话)存储或备份的数据的(一个或多个)数据源(704)。数据源的示例包括但不限于IoT边缘设备和时间序列数据库。

可以执行检查705以确定是否还有任何其他数据源要识别。如果否，则方法700可以进行到716并停止。另一方面，如果检查705揭示有任何其余的数据源要识别，则方法700进行到706。

特别地，当指定了数据时间间隔并且已知相关联的数据源时，则可以读出706对应于指定了数据时间间隔的这些数据源的数据。如本文所述，在存储/备份时，该数据可以被打上日期戳、或以其他方式用一些类型的元数据唯一地标识，使得当读出706数据时，即使将数据存储在多个源中，每条数据相对于数据流中的其他数据的相关联时间顺序也将是显而易见的。

根据需要/如果需要，可以对准由数据源分配的时间戳以匹配重建708，即，可以按时间顺序将数据对准。在数据被排序708之后，然后可以将该数据插入710到重建流数据库中。

在一些实施方式中，可以针对每个数据源重复过程704…710。因此，可以执行一次或多次检查712，其中确定高分辨率数据流是否已被完全重建，使得不存在与数据时间间隔相关的、且存储的数据尚未从其中检索到的其余数据源。如果尚未完全重建高分辨率数据流，则方法700返回到705。另一方面，如果高分辨率数据流已经被完全重建，则方法700前进到714，指示高分辨率数据流完成。然后，方法700在716处结束。

当方法700完成时，然后可以访问重建的高分辨率数据流，并且针对高分辨率数据流中的数据执行718各种取证、分析和/或其他处理。然后，可以识别和解决720由于分析或其他过程而识别出的问题。

如示例性方法700所指示的，通过组合来自当前无法访问的多个数据源的数据，用元数据修饰该数据并对准数据时间戳，操作本文所公开的示例性系统和方法来以尽可能最高的分辨率重建时间序列数据，即使当时间序列数据库不再包含已定义的与重建流相关的一些或全部的数据时也是如此。高分辨率数据流的数据可以用于例如取证、场景再现和测试。

F.示例性计算设备和相关联的介质

如下文更详细讨论的，本文公开的实施方式可以包括使用包括各种计算机硬件或软件模块的专用或通用计算机。计算机可以包括处理器和承载指令的计算机存储介质，该指令在由处理器执行和/或使得由处理器执行时执行本文公开的方法中的任一者或多者。

如上所述，本发明范围内的实施方式还包括计算机存储介质，该计算机存储介质是用于承载或具有存储在其上的计算机可执行指令或数据结构的物理介质。这种计算机存储介质可以是由通用或专用计算机可访问的任何可用物理介质。

作为示例而非限制，这种计算机存储介质可以包括硬件存储器，例如固态磁盘/设备(SSD)、RAM、ROM、EEPROM、CD-ROM、闪存、相变存储器(“PCM”)或其他光盘存储设备、磁盘存储设备或其他磁性存储设备、或可以用于存储计算机可执行指令或数据结构形式的程序代码的任何其他硬件存储设备，这些代码可以由通用或专用计算机系统访问和执行以实现所公开的本发明的功能。以上各项的组合也应包括在计算机存储介质的范围内。这种介质也是非暂时性存储介质的示例，并且非暂时性存储介质也包括基于云的存储系统和结构，尽管本发明的范围不限于非暂时性存储介质的这些示例。

计算机可执行指令包括例如使通用计算机、专用计算机或专用处理设备执行某些功能或功能组的指令和数据。尽管已经用特定于结构特征和/或方法动作的语言描述了主题，但是应该理解，所附权利要求书中限定的主题不必限于上述特定特征或动作。而是，本文中公开的特定特征和动作被公开为实现权利要求的示例性形式。

如本文所使用的，术语“模块”或“组件”可以指在计算系统上执行的软件对象或例程。本文描述的不同组件、模块、引擎和服务可以被实现为在计算系统上执行的对象或过程，例如，被实现为单独的线程。尽管本文描述的系统和方法可以以软件实现，但是以硬件或软件和硬件的组合实现也是可能的并且是可以预期的。在本发明中，“计算实体”可以是如本文先前定义的任何计算系统，或者可以是在计算系统上运行的任何模块或模块的组合。

在至少一些情况中，提供了一种硬件处理器，其是可操作的以执行用于执行方法或过程(例如本文公开的方法和过程)的可执行指令。硬件处理器可以包括或可以不包括其他硬件元件，例如本文公开的计算设备和系统。

就计算环境而言，本发明的实施方式可以在客户端-服务器环境(无论是在网络环境还是本地环境)中执行，或者在任何其他合适的环境中执行。用于本发明的至少一些实施方式的合适的操作环境包括客户端、服务器或其他机器中的一者或多者可以在云环境中存在并操作的云计算环境。

在不脱离本发明的精神或基本特性的情况下，本发明可以以其他特定形式体现。所描述的实施方式在所有方面仅应被认为是说明性的而非限制性的。因此，本发明的范围由所附权利要求而不是前面的描述指示。落入权利要求等同含义和范围内的所有改变均应包含在其范围之内。

Claims (20)

1.一种方法，包括：

创建空的重建流数据库；

识别数据时间间隔；

识别在所述数据时间间隔期间存储数据的数据源；

从所述数据源读取数据，其中，从所述数据源读出的所述数据与落入所述数据时间间隔内的相应时间戳相关联；

将读出的所述数据插入到所述空的重建流数据库中，以创建高分辨率数据流，其中，根据所述时间戳在所述空的重建流数据库中将所述数据排序；

处理所述高分辨率数据流中的所述数据；以及

基于所述数据的所述处理，识别并解决与最初生成所述数据的操作环境有关的问题。

2.根据权利要求1所述的方法，其中，所述数据源中的一者是IoT边缘设备。

3.根据权利要求2所述的方法，其中，所述IoT边缘设备包括传感器。

4.根据权利要求1所述的方法，其中，存储在所述数据源中的一者中的数据具有与存储在所述数据源中的另一者中的数据的分辨率不同的分辨率。

5.根据权利要求1所述的方法，其中，所述数据源中的一者是时间序列数据库。

6.根据权利要求5所述的方法，其中，存储在所述时间序列数据库中的数据具有比存储在任何其他数据源中的数据的分辨率相对更高的分辨率。

7.根据权利要求1所述的方法，其中，以所述数据源的特定顺序从所述数据源中检索所述数据。

8.根据权利要求1所述的方法，其中，以所述数据源的任意顺序从所述数据源中检索所述数据。

9.根据权利要求1所述的方法，其中，以如下从最初到最后的顺序从所述数据源中检索数据：活动时间序列数据库；IoT设备；从最新到最旧的一个或多个数据库备份；以及从最新到最旧的一个或多个IoT设备备份。

10.根据权利要求1所述的方法，其中，所述数据源中的一者是时间序列数据库，并且存储在所述时间序列数据库中的数据比存储在任何其他数据源中的数据相对更新。

11.一种非暂时性存储介质，所述非暂时性存储介质中存储有计算机可执行指令，所述计算机可执行指令在由一个或多个硬件处理器执行时执行以下操作：

创建空的重建流数据库；

识别数据时间间隔；

识别在所述数据时间间隔期间存储数据的数据源；

从所述数据源读取数据，其中，从所述数据源读出的所述数据与落入所述数据时间间隔内的相应时间戳相关联；

将读出的所述数据插入到所述空的重建流数据库中，以创建高分辨率数据流，其中，根据所述时间戳在所述空的重建流数据库中将所述数据排序；

处理所述高分辨率数据流中的所述数据；以及

基于所述数据的所述处理，识别并解决与最初生成所述数据的操作环境有关的问题。

12.根据权利要求11所述的非暂时性存储介质，其中，所述数据源中的一者是IoT边缘设备。

13.根据权利要求12所述的非暂时性存储介质，其中，所述IoT边缘设备包括传感器。

14.根据权利要求11所述的非暂时性存储介质，其中，存储在所述数据源中的一者中的数据具有与存储在所述数据源中的另一者中的数据的分辨率不同的分辨率。

15.根据权利要求11所述的非暂时性存储介质，其中，所述数据源中的一者是时间序列数据库。

16.根据权利要求15所述的非暂时性存储介质，其中，存储在所述时间序列数据库中的数据具有比存储在任何其他数据源中的数据的分辨率相对更高的分辨率。

17.根据权利要求11所述的非暂时性存储介质，其中，以所述数据源的特定顺序从所述数据源中检索所述数据。

18.根据权利要求11所述的非暂时性存储介质，其中，以所述数据源的任意顺序从所述数据源中检索所述数据。

19.根据权利要求11所述的非暂时性存储介质，其中，以如下从最初到最后的顺序从所述数据源中检索数据：活动时间序列数据库；IoT设备；从最新到最旧的一个或多个数据库备份；以及从最新到最旧的一个或多个IoT设备备份。

20.根据权利要求11所述的非暂时性存储介质，其中，所述数据源中的一者是时间序列数据库，并且存储在所述时间序列数据库中的数据比存储在任何其他数据源中的数据相对更新。

Images