CN114064647A - 一种基于流式处理的数据存储方法、设备及介质 - Google Patents

Abstract

本申请公开了一种基于流式处理的数据存储方法、设备及介质，方法包括：获取物联网设备上传的第一待存储流数据；根据第一待存储流数据的数据来源，确定第一待存储流数据对应的预先构建的配置模型；通过配置模型对第一待存储流数据进行解析，转换第一待存储流数据的数据格式，得到第二待存储流数据；根据配置模型的数据库标识，将第二待存储流数据存储至对应的数据库。通过预先构建的配置模型对第一待存储流数据进行解析，能够实时存储物联网设备上传的第一待存储流数据，不需要在代码里修改，就可以执行流式处理任务，并且根据配置模型的数据库标识，将第二待存储流数据自动存储至对应的数据库，能够提高数据存储的效率。

Description

一种基于流式处理的数据存储方法、设备及介质

技术领域

本申请涉及信息处理技术领域，尤其涉及一种基于流式处理的数据存储方法、设备及介质。

背景技术

随着计算机技术和网络技术的飞速发展，数字化信息呈现指数级增长，海量的数据可供利用。其中，流式数据的应用愈发频繁。

流数据通常表现为一组随着时间序列增长的多维度的数据记录，在数据记录中，既存在着能够直观理解的结构化形式的度量指标，也可能存在着音频、图像之类的非结构化数据。

但是，由于流数据实时产生，并且数据量庞大，导致流数据并不能实时进行存储，因此，如何更高效的存储流数据成为亟待解决的问题。

发明内容

本申请实施例提供一种基于流式处理的数据存储方法、设备及介质，用于解决如何更高效的存储流数据的问题。

本申请实施例采用下述技术方案：

一方面，本申请实施例提供了一种基于流式处理的数据存储方法，该方法包括：获取物联网设备上传的第一待存储流数据；根据所述第一待存储流数据的数据来源，确定所述第一待存储流数据对应的预先构建的配置模型；通过所述配置模型对所述第一待存储流数据进行解析，转换所述第一待存储流数据的数据格式，得到第二待存储流数据；根据所述配置模型的数据库标识，将所述第二待存储流数据存储至对应的数据库。

一个示例中，所述根据所述第一待存储流数据的数据来源，确定所述第一待存储流数据对应的预先构建的配置模型，具体包括：确定设定的初始配置模型；确定所述初始配置模型的属性字段；通过所述属性字段以及所述属性字段的配置条件，构建配置模型，以构建配置模型库；在所述配置模型库中，将多个所述配置模型的数据来源字段的配置条件与所述第一待存储流数据的数据来源进行匹配，确定所述第一待存储流数据对应的配置模型。

一个示例中，所述通过所述配置模型对所述待存储流数据进行解析，转换所述待存储流数据的数据格式，具体包括：确定所述配置模型的源数据格式字段；通过分析所述源数据格式字段的源数据格式与目标数据格式之间的差异，建立数据转换规则，以确定所述源数据格式字段的配置条件；通过所述配置模型的非源数据格式字段的配置条件对所述第一待存储流数据进行解析；根据所述数据转换规则，转换解析后的待存储流数据的数据格式。

一个示例中，所述根据所述配置模型的数据库标识，将所述第二待存储流数据存储至对应的数据库，具体包括：若所述第二待存储流数据的数据类型为结构化数据，则根据所述配置模型的数据库标识确定所述第二待存储流数据对应的键值数据库；确定所述第二待存储流数据对应的二维表；通过横向划分所述二维表，将所述二维表均分为若干区域；分别对所述若干区域中的列数据进行压缩，以将所述第二待存储流数据存储至所述键值数据库。

一个示例中，所述根据所述配置模型的数据库标识，将所述第二待存储流数据存储至对应的数据库之后，所述方法还包括：预先构建所述键值数据库中的全局有序键值模型；获取待检索范围的流数据；通过所述全局有序键值模型对Key值进行全局字典排列，以将所述待检索范围的流数据映射为Key值区间；对所述Key值区间进行扫描，确定各Key值对应的Value值，以获取所述待检索范围的流数据。

一个示例中，所述根据所述配置模型的数据库标识，将所述第二待存储流数据存储至对应的数据库，具体包括：若所述第二待存储流数据的数据类型为非结构化数据，根据所述配置模型的数据库标识确定所述第二待存储流数据对应的数据库；生成所述第二待存储流数据对应的文件块；基于所述文件块，将所述第二待存储流数据对应的文件描述信息确定为Key值，将所述第二待存储流数据对应的文件路径确定为Value值的检索结构，以将所述第二待存储流数据存储至对应的数据库。

一个示例中，所述获取物联网设备上传的第一待存储流数据之后，所述方法还包括：对所述第一存储流数据进行过滤，确定所述第一存储流数据是否异常；若所述第一存储流数据异常，则从所述第二待存储流数据对应的数据库中获取所述物联网设备的预设时间段内的历史第二待存储流数据；对所述历史第二待存储流数据进行转换，确定与所述第一待存储流数据格式相同的第三待存储流数据；对所述第一存储流数据与所述第三存储流数据进行分析，确定所述第一存储流数据的物联网设备的异常。

一个示例中，所述对所述第一存储流数据与所述第三存储流数据进行分析，具体包括：分析所述第一存储流数据与所述第三存储流数据的相关性；若所述第一存储流数据与所述第三存储流数据差异显著，则确定所述物联网设备的预设故障清单；在所述预设故障清单中，对所述第一存储流数据与所述第三存储流数据进行分析，确定所述物联网设备的异常。

另一方面，本申请实施例提供了一种基于流式处理的数据存储设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：获取物联网设备上传的第一待存储流数据；根据所述第一待存储流数据的数据来源，确定所述第一待存储流数据对应的预先构建的配置模型；通过所述配置模型对所述第一待存储流数据进行解析，转换所述第一待存储流数据的数据格式，得到第二待存储流数据；根据所述配置模型的数据库标识，将所述第二待存储流数据存储至对应的数据库。

另一方面，本申请实施例提供了一种基于流式处理的数据存储非易失性计算机存储介质，存储有计算机可执行指令，其特征在于，所述计算机可执行指令设置为：获取物联网设备上传的第一待存储流数据；根据所述第一待存储流数据的数据来源，确定所述第一待存储流数据对应的预先构建的配置模型；通过所述配置模型对所述第一待存储流数据进行解析，转换所述第一待存储流数据的数据格式，得到第二待存储流数据；根据所述配置模型的数据库标识，将所述第二待存储流数据存储至对应的数据库。

本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：

本申请实施例通过预先构建的配置模型对第一待存储流数据进行解析，能够实时存储物联网设备上传的第一待存储流数据，不需要在代码里修改，就可以执行流式处理任务，并且根据配置模型的数据库标识，将第二待存储流数据自动存储至对应的数据库，能够提高数据存储的效率。

附图说明

为了更清楚地说明本申请的技术方案，下面将结合附图来对本申请的部分实施例进行详细说明，附图中：

图1为本申请实施例提供的一种基于流式处理的数据存储方法的流程示意图；

图2为本申请实施例提供的一种基于流式处理的数据存储设备的结构示意图；

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合具体实施例及相应的附图对本申请的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

下面参照附图来对本申请的一些实施例进行详细说明。

图1为本申请实施例提供的一种基于流式处理的数据存储方法的流程示意图。该方法可以应用于不同的业务领域，比如，互联网金融业务领域、电商业务领域、即时通讯业务领域、交通业务领域、公务业务领域等。该流程中的某些输入参数或者中间结果允许人工干预调节，以帮助提高准确性。

该流程可以由相应领域的计算设备(比如，交通业务对应的数据存储服务器或者智能移动终端等)执行，为了方便理解和描述，以下实施例均以服务器为例进行详细描述。

需要说明的是，该服务器可以是单独的一台设备，可以是有多台设备组成的系统，即，分布式服务器，本申请对此不做具体限定。

图1中的流程具体包括以下步骤：

S101：获取物联网设备上传的第一待存储流数据。

其中，流数据的特征是连续、无限增长、无序，并且需要实时响应，即，物联网设备上传的数据是实时产生的。

S102：根据第一待存储流数据的数据来源，确定第一待存储流数据对应的预先构建的配置模型。

在本申请的一些实施例中，服务器预先构建配置模型时，首先基于开发人员的操作，生成初始配置模型。

然后，在初始配置模型上，基于开发人员的操作，生成初始配置模型的属性字段以及属性字段的配置条件。比如，属性字段包括数据来源、源数据格式字段等，数据来源字段的配置条件是指限定数据的实际来源，源数据格式字段是指限定源数据的实际格式，从而通过属性字段以及属性字段的配置条件，构建配置模型，以构建配置模型库。

也就是说，在配置模型库中包括多个配置模型。需要说明的是，不同的数据源对应的不同的配置模型。

具体地，服务器在确定第一待存储流数据对应的配置模型时，首先在配置模型库中，将多个配置模型的数据来源字段的配置条件与第一待存储流数据的数据来源进行匹配，确定第一待存储流数据对应的配置模型。即，对应的配置模型中数据来源字段中限定数据的实际来源与第一待存储流数据的数据来源一致。

S103：通过配置模型对第一待存储流数据进行解析，转换第一待存储流数据的数据格式，得到第二待存储流数据。

在本申请的一些实施例中，服务器预先确定配置模型的源数据格式字段，然后，通过分析源数据格式字段的源数据格式与目标数据格式之间的差异，建立数据转换规则，以确定源数据格式字段的配置条件，通过配置模型的非源数据格式字段的配置条件对第一待存储流数据进行解析，根据数据转换规则，转换解析后的待存储流数据的数据格式。

也就是说，服务器将第一待存储流数据的内容按照配置模型的非源数据格式字段的配置条件进行解析。

S104：根据配置模型的数据库标识，将第二待存储流数据存储至对应的数据库。

通过图1的方法，通过预先构建的配置模型对第一待存储流数据进行解析，能够实时存储物联网设备上传的第一待存储流数据，不需要在代码里修改，就可以执行流式处理任务，并且根据配置模型的数据库标识，将第二待存储流数据自动存储至对应的数据库，能够提高数据存储的效率。

需要说明的是，虽然本申请实施例是参照图1来对步骤S101至步骤S104依次进行介绍说明的，但这并不代表步骤S101至步骤S104必须按照严格的先后顺序执行。本申请实施例之所以按照图1中所示的顺序对步骤S101至步骤S104依次进行介绍说明，是为了方便本领域技术人员理解本申请实施例的技术方案。换句话说，在本申请实施例中，步骤S101至步骤S104之间的先后顺序可以根据实际需要进行适当调整。

基于图1的方法，本申请实施例还提供了该方法的一些具体实施方案和扩展方案，下面继续进行说明。

在本申请的一些实施例中，流数据通常包括结构化数据与非结构化数据，结构化数据是指用二维表结构来逻辑表达实现的数据，非结构化数据是指不方便用二维逻辑表来表现的数据，包括所有格式的办公文档、文本、图片、各类报表、图像和音频/视频信息等等。比如，高速公路上的交通摄像头抓拍数据，对于每一张抓拍的图片则是非结构化数据。

由于结构化的流数据的特征是时序相关、数据结构简单，数据量庞大，因此需要保证高吞吐率和大容量的存储，在结构化数据的存储中，选择键值数据库。

具体地，若第二待存储流数据的数据类型为结构化数据，则根据配置模型的数据库标识确定第二待存储流数据对应的键值数据库，以及在键值数据库中确定第二待存储流数据对应的二维表，通过横向划分二维表，将二维表均分为若干区域，然后分别对若干区域中的列数据进行压缩，以将第二待存储流数据存储至键值数据库。

本申请实施例能够通过行列式混合存储的方式，能够保留了流式数据的相关性特征，支持简单的复合查询，对同一列中上下文关联性强的数据进行压缩，具备较好的压缩效果。

进一步地，基于键值数据库以及行列混合式的数据存储方式，在进行查询时，能够提高检索的效率。

具体地，服务器预先构建键值数据库中的全局有序键值模型，然后获取待检索范围的流数据，通过全局有序键值模型对Key值进行全局字典排列，以将待检索范围的流数据映射为Key值区间，对Key值区间进行扫描，确定各Key值对应的Value值，以获取待检索范围的流数据。

比如，对于超速车辆及对应图片的检索，只需要加载车牌号，速度和存储路径三列数据执行相应的匹配操作，即可生成查询结果。

在本申请的一些实施例中，由于非结构化数据通常以文件的形式进行持久化，在非结构化海量数据时，如何快速地访问文件成为重要的问题。本申请实施例采用了扁平化的数据存储模型。

具体地，若第二待存储流数据的数据类型为非结构化数据，根据配置模型的数据库标识确定第二待存储流数据对应的数据库，生成第二待存储流数据对应的文件块，基于文件块，将第二待存储流数据对应的文件描述信息确定为Key值，将第二待存储流数据对应的文件路径确定为Value值的检索结构，以将第二待存储流数据存储至对应的数据库。

通过生成第二待存储流数据对应的文件块，能有效避免将单个图片或者视频片段存储为一个小文件带来的检索元数据规模庞大、难以被全部加载到内存以及缓存失效率高的问题。

在本申请的一些实施例中，生活的实际场景中，是具有无效数据的，该无效数据可能是由于物联网设备异常导致，为了及时发现物联网设备的异常数据，服务器在获取物联网设备上传的第一待存储流数据之后，对第一待存储流数据进行过滤。

具体地，对第一存储流数据进行过滤，确定第一存储流数据是否异常，若第一存储流数据异常，则从第二待存储流数据对应的数据库中获取物联网设备的预设时间段内的历史第二待存储流数据。反之，若第一存储流数据正常，则进行存储的相关操作。

然后，对历史第二待存储流数据进行转换，确定与第一待存储流数据格式相同的第三待存储流数据，对第一存储流数据与第三存储流数据进行分析，确定第一存储流数据的物联网设备的异常。

进一步地，服务器对第一存储流数据与第三存储流数据进行分析时，首先分析第一存储流数据与第三存储流数据的相关性，若第一存储流数据与第三存储流数据差异显著，则确定物联网设备的预设故障清单，在预设故障清单中，对第一存储流数据与第三存储流数据进行分析，确定物联网设备的异常。其中，预设故障清单中包括物联网设备的异常数据以及引起该异常数据的原因。

反之，若第一存储流数据与第三存储流数据无差异，则直接将第一存储流数据进行舍弃。

基于同样的思路，本申请的一些实施例还提供了上述方法对应的设备和非易失性计算机存储介质。

图2为本申请实施例提供的一种基于流式处理的数据存储设备的结构示意图，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：

获取物联网设备上传的第一待存储流数据；

根据所述第一待存储流数据的数据来源，确定所述第一待存储流数据对应的预先构建的配置模型；

通过所述配置模型对所述第一待存储流数据进行解析，转换所述第一待存储流数据的数据格式，得到第二待存储流数据；

根据所述配置模型的数据库标识，将所述第二待存储流数据存储至对应的数据库。

本申请的一些实施例提供的一种基于流式处理的数据存储非易失性计算机存储介质，存储有计算机可执行指令，所述计算机可执行指令设置为：

获取物联网设备上传的第一待存储流数据；

根据所述第一待存储流数据的数据来源，确定所述第一待存储流数据对应的预先构建的配置模型；

通过所述配置模型对所述第一待存储流数据进行解析，转换所述第一待存储流数据的数据格式，得到第二待存储流数据；

根据所述配置模型的数据库标识，将所述第二待存储流数据存储至对应的数据库。

本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备和介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本申请实施例提供的设备和介质与方法是一一对应的，因此，设备和介质也具有与其对应的方法类似的有益技术效果，由于上面已经对方法的有益技术效果进行了详细说明，因此，这里不再赘述设备和介质的有益技术效果。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他来源的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请技术原理之内所作的任何修改、等同替换、改进等，均应落入本申请的保护范围之内。

Claims (10)

1.一种基于流式处理的数据存储方法，其特征在于，所述方法包括：

获取物联网设备上传的第一待存储流数据；

根据所述第一待存储流数据的数据来源，确定所述第一待存储流数据对应的预先构建的配置模型；

通过所述配置模型对所述第一待存储流数据进行解析，转换所述第一待存储流数据的数据格式，得到第二待存储流数据；

根据所述配置模型的数据库标识，将所述第二待存储流数据存储至对应的数据库。

2.根据权利要求1所述的方法，其特征在于，所述根据所述第一待存储流数据的数据来源，确定所述第一待存储流数据对应的预先构建的配置模型，具体包括：

确定设定的初始配置模型；

确定所述初始配置模型的属性字段；

通过所述属性字段以及所述属性字段的配置条件，构建配置模型，以构建配置模型库；

在所述配置模型库中，将多个所述配置模型的数据来源字段的配置条件与所述第一待存储流数据的数据来源进行匹配，确定所述第一待存储流数据对应的配置模型。

3.根据权利要求2所述的方法，其特征在于，所述通过所述配置模型对所述待存储流数据进行解析，转换所述待存储流数据的数据格式，具体包括：

确定所述配置模型的源数据格式字段；

通过分析所述源数据格式字段的源数据格式与目标数据格式之间的差异，建立数据转换规则，以确定所述源数据格式字段的配置条件；

通过所述配置模型的非源数据格式字段的配置条件对所述第一待存储流数据进行解析；

根据所述数据转换规则，转换解析后的待存储流数据的数据格式。

4.根据权利要求1所述的方法，其特征在于，所述根据所述配置模型的数据库标识，将所述第二待存储流数据存储至对应的数据库，具体包括：

若所述第二待存储流数据的数据类型为结构化数据，则根据所述配置模型的数据库标识确定所述第二待存储流数据对应的键值数据库；

确定所述第二待存储流数据对应的二维表；

通过横向划分所述二维表，将所述二维表均分为若干区域；

分别对所述若干区域中的列数据进行压缩，以将所述第二待存储流数据存储至所述键值数据库。

5.根据权利要求4所述的方法，其特征在于，所述根据所述配置模型的数据库标识，将所述第二待存储流数据存储至对应的数据库之后，所述方法还包括：

预先构建所述键值数据库中的全局有序键值模型；

获取待检索范围的流数据；

通过所述全局有序键值模型对Key值进行全局字典排列，以将所述待检索范围的流数据映射为Key值区间；

对所述Key值区间进行扫描，确定各Key值对应的Value值，以获取所述待检索范围的流数据。

6.根据权利要求1所述的方法，其特征在于，所述根据所述配置模型的数据库标识，将所述第二待存储流数据存储至对应的数据库，具体包括：

若所述第二待存储流数据的数据类型为非结构化数据，根据所述配置模型的数据库标识确定所述第二待存储流数据对应的数据库；

生成所述第二待存储流数据对应的文件块；

基于所述文件块，将所述第二待存储流数据对应的文件描述信息确定为Key值，将所述第二待存储流数据对应的文件路径确定为Value值的检索结构，以将所述第二待存储流数据存储至对应的数据库。

7.根据权利要求1所述的方法，其特征在于，所述获取物联网设备上传的第一待存储流数据之后，所述方法还包括：

对所述第一存储流数据进行过滤，确定所述第一存储流数据是否异常；

若所述第一存储流数据异常，则从所述第二待存储流数据对应的数据库中获取所述物联网设备的预设时间段内的历史第二待存储流数据；

对所述历史第二待存储流数据进行转换，确定与所述第一待存储流数据格式相同的第三待存储流数据；

对所述第一存储流数据与所述第三存储流数据进行分析，确定所述第一存储流数据的物联网设备的异常。

8.根据权利要求7所述的方法，其特征在于，所述对所述第一存储流数据与所述第三存储流数据进行分析，具体包括：

分析所述第一存储流数据与所述第三存储流数据的相关性；

若所述第一存储流数据与所述第三存储流数据差异显著，则确定所述物联网设备的预设故障清单；

在所述预设故障清单中，对所述第一存储流数据与所述第三存储流数据进行分析，确定所述物联网设备的异常。

9.一种基于流式处理的数据存储设备，其特征在于，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：

获取物联网设备上传的第一待存储流数据；

根据所述第一待存储流数据的数据来源，确定所述第一待存储流数据对应的预先构建的配置模型；

通过所述配置模型对所述第一待存储流数据进行解析，转换所述第一待存储流数据的数据格式，得到第二待存储流数据；

根据所述配置模型的数据库标识，将所述第二待存储流数据存储至对应的数据库。

10.一种基于流式处理的数据存储非易失性计算机存储介质，存储有计算机可执行指令，其特征在于，所述计算机可执行指令设置为：

获取物联网设备上传的第一待存储流数据；

根据所述第一待存储流数据的数据来源，确定所述第一待存储流数据对应的预先构建的配置模型；

通过所述配置模型对所述第一待存储流数据进行解析，转换所述第一待存储流数据的数据格式，得到第二待存储流数据；

根据所述配置模型的数据库标识，将所述第二待存储流数据存储至对应的数据库。

Images