CN109564567B - 数据存储方法、装置、电子设备及计算机可读存储介质 - Google Patents

Abstract

本发明实施例公开了一种数据存储方法、装置、电子设备及计算机可读存储介质，所述方法包括：获取待存储数据包，其中，所述待存储数据包包括待存储数据、待存储数据的数据源信息以及待存储数据目标数据库信息；根据所述待存储数据的数据源信息和待存储数据目标数据库信息确定待存储数据存储规则，其中，所述待存储数据存储规则包括待存储数据存储数据源子规则和待存储数据存储数据库子规则；根据所述待存储数据存储规则对于所述待存储数据进行存储。该技术方案能够实现数据的有效存储，提高数据质量，提高存储资源的利用率，节约存储资源。

Description

数据存储方法、装置、电子设备及计算机可读存储介质

技术领域

本发明实施例涉及数据存储技术领域，具体涉及一种数据存储方法、装置、电子设备及计算机可读存储介质。

背景技术

随着数据技术的发展以及社会的进步，大众对于安防系统的要求越来越高，随之需要存储的监控数据的数据量也越来越大，如何从中区分出有效数据，如何对于有效数据进行有效的存储，以提高存储资源的利用率，节约存储资源是业界亟需解决的问题。

发明内容

本发明实施例提供一种数据存储方法、装置、电子设备及计算机可读存储介质。

第一方面，本发明实施例中提供了一种数据存储方法。

具体的，所述数据存储方法，包括：

获取待存储数据包，其中，所述待存储数据包包括待存储数据、待存储数据的数据源信息以及待存储数据目标数据库信息；

根据所述待存储数据的数据源信息和待存储数据目标数据库信息确定待存储数据存储规则，其中，所述待存储数据存储规则包括待存储数据存储数据源子规则和待存储数据存储数据库子规则；

根据所述待存储数据存储规则对于所述待存储数据进行存储。

结合第一方面，本发明实施例在第一方面的第一种实现方式中，所述根据所述待存储数据的数据源信息和待存储数据目标数据库信息确定待存储数据存储规则，包括：

根据所述待存储数据的数据源信息确定所述待存储数据的数据源类别；

根据所述待存储数据的数据源类别确定所述待存储数据存储数据源子规则；

根据所述待存储数据目标数据库信息确定所述待存储数据目标数据库的类别；

根据所述待存储数据目标数据库的类别确定所述待存储数据存储数据库子规则。

结合第一方面和第一方面的第一种实现方式，本发明实施例在第一方面的第二种实现方式中，所述根据所述待存储数据存储规则对于所述待存储数据进行存储，包括：

判断所述待存储数据是否符合所述待存储数据存储规则；

将符合所述待存储数据存储规则的待存储数据存储至所述目标数据库中。

结合第一方面、第一方面的第一种实现方式和第一方面的第二种实现方式，本公开在第一方面的第三种实现方式中，所述待存储数据存储数据源子规则包括以下规则中的一种或多种：数据质量满足预设质量条件、存储时间间隔满足预设间隔条件；和/或，

所述待存储数据存储数据库子规则包括以下规则中的一种或多种：数据相似度满足预设相似度条件、数据大小满足预设大小条件、视频存储条件。

结合第一方面、第一方面的第一种实现方式、第一方面的第二种实现方式和第一方面的第三种实现方式，本公开在第一方面的第四种实现方式中，所述根据所述待存储数据存储规则对于所述待存储数据进行存储，包括：

判断所述待存储数据的质量是否满足所述预设质量条件，并当所述待存储数据的质量不满足所述预设质量条件时，丢弃所述待存储数据；

当所述待存储数据的质量满足所述预设质量条件时，判断所述待存储数据与所述目标数据库之间的相似度是否满足所述预设相似度条件，并当所述待存储数据与所述目标数据库之间的相似度不满足所述预设相似度条件时，新建数据库，将所述待存储数据存入新建数据库中；

当所述待存储数据与所述目标数据库之间的相似度满足所述预设相似度条件时，判断所述待存储数据的存储时间间隔是否满足所述预设间隔条件，并当所述待存储数据的存储时间间隔不满足所述预设间隔条件时，丢弃所述待存储数据；

当所述待存储数据的存储时间间隔满足所述预设间隔条件时，判断所述待存储数据的数据大小是否满足所述预设大小条件，并当所述待存储数据的数据大小不满足所述预设大小条件时，将所述待存储数据的部分数据存入所述目标数据库中；

当所述待存储数据的数据大小满足所述预设大小条件时，将所述待存储数据存入所述目标数据库中。

结合第一方面、第一方面的第一种实现方式、第一方面的第二种实现方式、第一方面的第三种实现方式和第一方面的第四种实现方式，本公开在第一方面的第五种实现方式中，所述当所述待存储数据的数据大小满足所述预设大小条件时，将所述待存储数据存入所述目标数据库中之后，还包括：

获取所述待存储数据的属性信息，并当所述待存储数据的属性信息满足所述视频存储条件时，请求获取所述待存储数据相关的视频数据并对其进行存储。

结合第一方面、第一方面的第一种实现方式、第一方面的第二种实现方式、第一方面的第三种实现方式、第一方面的第四种实现方式和第一方面的第五种实现方式，本公开在第一方面的第六种实现方式中，所述根据所述待存储数据存储规则对于所述待存储数据进行存储之前，还包括：

对于所述待存储数据进行预处理。

第二方面，本发明实施例中提供了一种数据存储装置。

具体的，所述数据存储装置，包括：

获取模块，被配置为获取待存储数据包，其中，所述待存储数据包包括待存储数据、待存储数据的数据源信息以及待存储数据目标数据库信息；

确定模块，被配置为根据所述待存储数据的数据源信息和待存储数据目标数据库信息确定待存储数据存储规则，其中，所述待存储数据存储规则包括待存储数据存储数据源子规则和待存储数据存储数据库子规则；

存储模块，被配置为根据所述待存储数据存储规则对于所述待存储数据进行存储。

结合第二方面，本发明实施例在第二方面的第一种实现方式中，所述确定模块包括：

第一确定子模块，被配置为根据所述待存储数据的数据源信息确定所述待存储数据的数据源类别；

第二确定子模块，被配置为根据所述待存储数据的数据源类别确定所述待存储数据存储数据源子规则；

第三确定子模块，被配置为根据所述待存储数据目标数据库信息确定所述待存储数据目标数据库的类别；

第四确定子模块，被配置为根据所述待存储数据目标数据库的类别确定所述待存储数据存储数据库子规则。

结合第二方面和第二方面的第一种实现方式，本发明实施例在第二方面的第二种实现方式中，所述存储模块包括：

判断子模块，被配置为判断所述待存储数据是否符合所述待存储数据存储规则；

存储子模块，被配置为将符合所述待存储数据存储规则的待存储数据存储至所述目标数据库中。

结合第二方面、第二方面的第一种实现方式和第二方面的第二种实现方式，本公开在第二方面的第三种实现方式中，所述待存储数据存储数据源子规则包括以下规则中的一种或多种：数据质量满足预设质量条件、存储时间间隔满足预设间隔条件；和/或，

所述待存储数据存储数据库子规则包括以下规则中的一种或多种：数据相似度满足预设相似度条件、数据大小满足预设大小条件、视频存储条件。

结合第二方面、第二方面的第一种实现方式、第二方面的第二种实现方式和第二方面的第三种实现方式，本公开在第二方面的第四种实现方式中，所述存储模块被配置为：

判断所述待存储数据的质量是否满足所述预设质量条件，并当所述待存储数据的质量不满足所述预设质量条件时，丢弃所述待存储数据；

当所述待存储数据的质量满足所述预设质量条件时，判断所述待存储数据与所述目标数据库之间的相似度是否满足所述预设相似度条件，并当所述待存储数据与所述目标数据库之间的相似度不满足所述预设相似度条件时，新建数据库，将所述待存储数据存入新建数据库中；

当所述待存储数据与所述目标数据库之间的相似度满足所述预设相似度条件时，判断所述待存储数据的存储时间间隔是否满足所述预设间隔条件，并当所述待存储数据的存储时间间隔不满足所述预设间隔条件时，丢弃所述待存储数据；

当所述待存储数据的存储时间间隔满足所述预设间隔条件时，判断所述待存储数据的数据大小是否满足所述预设大小条件，并当所述待存储数据的数据大小不满足所述预设大小条件时，将所述待存储数据的部分数据存入所述目标数据库中；

当所述待存储数据的数据大小满足所述预设大小条件时，将所述待存储数据存入所述目标数据库中。

结合第二方面、第二方面的第一种实现方式、第二方面的第二种实现方式、第二方面的第三种实现方式和第二方面的第四种实现方式，本公开在第二方面的第五种实现方式中，所述存储模块还被配置为：

当所述待存储数据的数据大小满足所述预设大小条件时，将所述待存储数据存入所述目标数据库中之后，获取所述待存储数据的属性信息，并当所述待存储数据的属性信息满足所述视频存储条件时，请求获取所述待存储数据相关的视频数据并对其进行存储。

结合第二方面、第二方面的第一种实现方式、第二方面的第二种实现方式、第二方面的第三种实现方式、第二方面的第四种实现方式和第二方面的第五种实现方式，本公开在第二方面的第六种实现方式中，还包括：

预处理模块，被配置为对于所述待存储数据进行预处理。

第三方面，本发明实施例提供了一种电子设备，包括存储器和处理器，所述存储器用于存储一条或多条支持数据存储装置执行上述第一方面中数据存储方法的计算机指令，所述处理器被配置为用于执行所述存储器中存储的计算机指令。所述数据存储装置还可以包括通信接口，用于数据存储装置与其他设备或通信网络通信。

第四方面，本发明实施例提供了一种计算机可读存储介质，用于存储数据存储装置所用的计算机指令，其包含用于执行上述第一方面中数据存储方法为数据存储装置所涉及的计算机指令。

本发明实施例提供的技术方案可以包括以下有益效果：

上述技术方案通过分别设定数据源分级存储规则和目标数据库分级存储规则，来实现对于待存储数据的分级存储。该技术方案能够实现数据的有效存储，提高数据质量，提高存储资源的利用率，节约存储资源。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明实施例。

附图说明

结合附图，通过以下非限制性实施方式的详细描述，本发明实施例的其它特征、目的和优点将变得更加明显。在附图中：

图1示出根据本发明一实施方式的数据存储方法的流程图；

图2示出根据图1所示实施方式的数据存储方法的步骤S102的流程图；

图3示出根据图1所示实施方式的数据存储方法的步骤S103的流程图；

图4示出根据本发明另一实施方式的数据存储方法的步骤S103的流程图；

图5示出根据本发明另一实施方式的数据存储方法的流程图；

图6示出根据本发明一实施方式的数据存储装置的结构框图；

图7示出根据图6所示实施方式的数据存储装置的确定模块602的结构框图；

图8示出根据图6所示实施方式的数据存储装置的存储模块603的结构框图；

图9示出根据本发明另一实施方式的数据存储装置的结构框图；

图10示出根据本发明一实施方式的电子设备的结构框图；

图11是适于用来实现根据本发明一实施方式的数据存储方法的计算机系统的结构示意图。

具体实施方式

下文中，将参考附图详细描述本发明实施例的示例性实施方式，以使本领域技术人员可容易地实现它们。此外，为了清楚起见，在附图中省略了与描述示例性实施方式无关的部分。

在本发明实施例中，应理解，诸如“包括”或“具有”等的术语旨在指示本说明书中所公开的特征、数字、步骤、行为、部件、部分或其组合的存在，并且不欲排除一个或多个其他特征、数字、步骤、行为、部件、部分或其组合存在或被添加的可能性。

另外还需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明实施例。

本发明实施例提供的技术方案通过分别设定数据源分级存储规则和目标数据库分级存储规则，来实现对于待存储数据的分级存储。该技术方案能够实现数据的有效存储，提高数据质量，提高存储资源的利用率，节约存储资源。

图1示出根据本发明一实施方式的数据存储方法的流程图，如图1所示，所述数据存储方法包括以下步骤S101-S103：

在步骤S101中，获取待存储数据包，其中，所述待存储数据包包括待存储数据、待存储数据的数据源信息以及待存储数据目标数据库信息；

在步骤S102中，根据所述待存储数据的数据源信息和待存储数据目标数据库信息确定待存储数据存储规则，其中，所述待存储数据存储规则包括待存储数据存储数据源子规则和待存储数据存储数据库子规则；

在步骤S103中，根据所述待存储数据存储规则对于所述待存储数据进行存储。

上文提及，随着数据技术的发展以及社会的进步，大众对于安防系统的要求越来越高，随之需要存储的监控数据的数据量也越来越大，如何从中区分出有效数据，如何对于有效数据进行有效的存储，以提高存储资源的利用率，节约存储资源是业界亟需解决的问题。

考虑到上述问题，在该实施方式中，提出一种数据存储方法，该方法通过分别设定数据源分级存储规则和目标数据库分级存储规则，来实现对于待存储数据的分级存储。该技术方案能够实现数据的有效存储，提高数据质量，提高存储资源的利用率，节约存储资源。

其中，所述待存储数据包可以为任何形式、任何类型、任何大小的数据包，为了便于理解，下文中以监控数据为例对于本发明进行解释和说明。

在本实施例的一个可选实现方式中，所述待存储数据包包括待存储数据、待存储数据的数据源信息以及待存储数据目标数据库信息。

其中，所述待存储数据的数据源信息指的是获取所述待存储数据的数据源的信息，比如，若所述待存储数据为视频监控数据，则其对应的数据源信息指的就是采集所述视频监控数据的摄像机的信息。为了更加有效地实现待存储数据的分级存储，所述待存储数据的数据源信息可包括数据源的级别或类别信息，即事先可按照预设规则对于数据源进行分级或分类，然后再将数据源级别或类别信息携带在数据源信息中进行发送。比如对于采集视频监控数据的摄像机，可根据其设置目的、所在地理位置、所在地理位置的人流量、所在地理位置历史事件发生频次等等因素对于摄像机进行分级或分类，比如，可根据上述分级因素将摄像机分为1-4级，其中，1级表示普通位置，2级表示密集人流位置，3级表示事故高发位置，4级表示重点监控位置。

其中，所述待存储数据目标数据库信息指的是存储待存储数据的数据库的信息，所述待存储数据目标数据库信息可根据所述待存储数据的属性信息预先设定，并将所述目标数据库信息携带在数据源信息中进行发送。为了更加有效地实现待存储数据的分级存储，所述待存储数据的目标数据库信息可包括所述目标数据库的级别或类别信息，即事先可按照预设规则对于用于存储数据的数据库进行分级或分类，比如对于存储监控人员的数据库，可根据监控人员的性质对于数据库进行分级或分类，比如，可将数据库分为1-5级，其中，1级表示普通人员数据库，2级表示重点关注人员数据库，3级表示有犯罪记录人员数据库，4级表示普通在逃人员数据库，5级表示高危涉恐人员数据库。

基于所述数据源和目标数据库的级别或类别信息，后续在对所述待存储数据进行存储时，就可以根据数据源和目标数据库的级别或类别信息确定不同的存储规则，进而实现对于所述待存储数据的分级存储。

在本实施例的一个可选实现方式中，如图2所示，所述步骤S102，即根据所述待存储数据的数据源信息和待存储数据目标数据库信息确定待存储数据存储规则的步骤，包括以下步骤S201-S204：

在步骤S201中，根据所述待存储数据的数据源信息确定所述待存储数据的数据源类别；

在步骤S202中，根据所述待存储数据的数据源类别确定所述待存储数据存储数据源子规则；

在步骤S203中，根据所述待存储数据目标数据库信息确定所述待存储数据目标数据库的类别；

在步骤S204中，根据所述待存储数据目标数据库的类别确定所述待存储数据存储数据库子规则。

为了实现数据的分级存储，真正实现有效数据的有效存储，提高存储资源的利用率，节约存储资源，在该实施方式中，根据数据源和目标数据库的级别或类别信息来确定不同的存储规则。具体地，根据所述待存储数据的数据源信息确定所述待存储数据的数据源类别；再根据所述待存储数据的数据源类别确定所述待存储数据存储数据源子规则；根据所述待存储数据目标数据库信息确定所述待存储数据目标数据库的类别；再根据所述待存储数据目标数据库的类别确定所述待存储数据存储数据库子规则。

在本实施例的一个可选实现方式中，如图3所示，所述步骤S103，即根据所述待存储数据存储规则对于所述待存储数据进行存储的步骤，包括以下步骤S301-S302：

在步骤S301中，判断所述待存储数据是否符合所述待存储数据存储规则；

在步骤S302中，将符合所述待存储数据存储规则的待存储数据存储至所述目标数据库中。

为了切实实现数据的分级存储，提高数据质量，在该实施方式中，将所述待存储数据与确定的存储规则一一进行比对和判断，并将符合所述存储规则的数据存储至目标数据库中。

在本实施例的一个可选实现方式中，对于监控数据，所述待存储数据存储数据源子规则可包括以下规则中的一种或多种：数据质量满足预设质量条件、存储时间间隔满足预设间隔条件。其中，所述预设质量条件是对数据质量提出的要求，比如某一监控图像是否清晰、某一监控图像的分辨率是否达到分辨率要求、某一监控图像是否存在过多的噪声点、某一监控图像是否存在像素缺失等等。其中，所述预设间隔条件是对数据的存储间隔提出的要求，该要求是为了提高待存储数据的有效性，避免出现过多重复信息，比如，判断相邻待存储数据的时间间隔是否大于一时间间隔阈值等等。

在本实施例的一个可选实现方式中，对于监控数据，所述待存储数据存储数据库子规则可包括以下规则中的一种或多种：数据相似度满足预设相似度条件、数据大小满足预设大小条件、视频存储条件。其中，所述预设相似度条件是对待存储数据与目标数据库数据之间的相似度提出的要求，符合相似度条件的待存储数据认为是与目标数据库中的数据具有相似性的数据，是可以存储至所述目标数据库中的数据，否则不能被存储至该数据库。其中，所述预设大小条件指的是对于待存储数据的大小提出的要求，若所述待存储数据过大，则可提取所述待存储数据中的重点数据进行存储，丢弃其他不重要的数据。其中，所述视频存储条件指的是对于是否需要获取和存储与所述被存储数据相关的视频数据提出的要求，比如如果待存储数据是需要被重点关注的人员，则可请求获取并存储与该人员相关的预设时间点和预设时间长度的视频数据，以便后续进行进一步的查看。

需要说明的是，上述具体的待存储数据存储数据源子规则和待存储数据存储数据库子规则与数据源和目标数据库的级别或类别相关，即数据源和目标数据库的级别或类别不同，相应的待存储数据存储数据源子规则和待存储数据存储数据库子规则的内容或者参数也不尽相同，以真正实现数据的分级存储。其中，所述待存储数据存储数据源子规则和待存储数据存储数据库子规则与数据源和目标数据库的级别或类别之间的对应关系可预先存储在存储器或数据库中，以方便具体规则内容的查询和确定。在实际应用中，本领域技术人员可根据实际应用的需要以及待存储数据、数据源和数据库的特点对于规则的具体内容进行设置和实时调整，以上均为示例性说明，不能够被理解为是对本发明的限定。

在本实施例的另一个可选实现方式中，如图4所示，所述步骤S103，即根据所述待存储数据存储规则对于所述待存储数据进行存储的步骤，包括以下步骤S401-S405：

在步骤S401中，判断所述待存储数据的质量是否满足所述预设质量条件，并当所述待存储数据的质量不满足所述预设质量条件时，丢弃所述待存储数据；

在步骤S402中，当所述待存储数据的质量满足所述预设质量条件时，判断所述待存储数据与所述目标数据库之间的相似度是否满足所述预设相似度条件，并当所述待存储数据与所述目标数据库之间的相似度不满足所述预设相似度条件时，新建数据库，将所述待存储数据存入新建数据库中；

在步骤S403中，当所述待存储数据与所述目标数据库之间的相似度满足所述预设相似度条件时，判断所述待存储数据的存储时间间隔是否满足所述预设间隔条件，并当所述待存储数据的存储时间间隔不满足所述预设间隔条件时，丢弃所述待存储数据；

在步骤S404中，当所述待存储数据的存储时间间隔满足所述预设间隔条件时，判断所述待存储数据的数据大小是否满足所述预设大小条件，并当所述待存储数据的数据大小不满足所述预设大小条件时，将所述待存储数据的部分数据存入所述目标数据库中；

在步骤S405中，当所述待存储数据的数据大小满足所述预设大小条件时，将所述待存储数据存入所述目标数据库中。

该实施方式以监控数据为例，对于根据待存储数据存储规则对待存储数据进行存储的步骤进行了详细的描述。具体地，首先判断所述待存储数据的质量是否满足所述预设质量条件，若所述待存储数据的质量不满足所述预设质量条件，可认为所述待存储数据没有存储的价值，为了节约存储资源，可直接对其采取丢弃处理；若所述待存储数据的质量满足所述预设质量条件，继续判断所述待存储数据与所述目标数据库之间的相似度是否满足所述预设相似度条件，若所述待存储数据与所述目标数据库之间的相似度不满足所述预设相似度条件，可认为与所述目标数据库中的数据并无相似性，或者说，所述目标数据库中并未存储有所述待存储数据涉及的监控对象的历史数据，可新建一个数据库，将所述待存储数据存入该新建数据库中；若所述待存储数据与所述目标数据库之间的相似度满足所述预设相似度条件，认为所述待存储数据与所述目标数据库中的数据具有相似性，可将其存储至目标数据库中，然后继续判断所述待存储数据的存储时间间隔是否满足所述预设间隔条件，若所述待存储数据的存储时间间隔不满足所述预设间隔条件，可认为待存储数据间隔较短，重复信息过多，有效信息较少，因此可对其采取丢弃处理，或者为了数据统计的精确性，还可以同时为所述目标数据库的数据处理统计次数增加相应的数值；若所述待存储数据的存储时间间隔满足所述预设间隔条件，则继续判断所述待存储数据的数据大小是否满足所述预设大小条件，若所述待存储数据的数据大小不满足所述预设大小条件，比如所述待存储数据过大，为了节省存储资源，可将所述待存储数据的部分数据存入所述目标数据库中，其他部分丢弃；若所述待存储数据的数据大小满足所述预设大小条件，则可将所述待存储数据存入所述目标数据库中。

需要说明的是，上述对于规则具体内容的判断顺序并不是固定的，本领域技术人员可根据实际应用的需要、待存储数据的特点以及规则的具体内容对于规则判断顺序进行调整，本发明对其不作具体限定。

在本实施例的一个可选实现方式中，所述步骤S405，即当所述待存储数据的数据大小满足所述预设大小条件时，将所述待存储数据存入所述目标数据库中的步骤之后，还可以包括步骤：

获取所述待存储数据的属性信息，并当所述待存储数据的属性信息满足所述视频存储条件时，请求获取所述待存储数据相关的视频数据并对其进行存储。

在该实施方式中，还根据所述待存储数据的属性信息来判断是否需要请求获取所述待存储数据相关的视频数据并对其进行存储，比如如果待存储数据是需要被重点关注的人员，则可请求获取并存储与该人员相关的预设时间点和预设时间长度的视频数据，以便后续进行进一步的查看。其中，所述预设时间点和预设时间长度可根据实际应用的需要进行设置，比如所述预设时间点可设置为所述待存储数据的生成时间，所述预设时间长度可设置为2分钟。

在本实施例的一个可选实现方式中，所述步骤S103，即根据所述待存储数据存储规则对于所述待存储数据进行存储的步骤之前，还包括对于所述待存储数据进行预处理的步骤，即如图5所示，所述方法包括以下步骤S501-S504：

在步骤S501中，获取待存储数据包，其中，所述待存储数据包包括待存储数据、待存储数据的数据源信息以及待存储数据目标数据库信息；

在步骤S502中，根据所述待存储数据的数据源信息和待存储数据目标数据库信息确定待存储数据存储规则，其中，所述待存储数据存储规则包括待存储数据存储数据源子规则和待存储数据存储数据库子规则；

在步骤S503中，对于所述待存储数据进行预处理；

在步骤S504中，根据所述待存储数据存储规则对于所述待存储数据进行存储。

在本实施例的一个可选实现方式中，所述预处理可包括以下处理中的一种或多种：去重处理、去噪处理、压缩处理等等。

在该实施方式中，为了进一步提高数据的有效性，提高数据质量，节省计算资源，在对于所述待存储数据进行存储之前还对所述待存储数据进行去重处理、去噪处理和/或压缩处理等预处理。

下述为本发明装置实施例，可以用于执行本发明方法实施例。

图6示出根据本发明一实施方式的数据存储装置的结构框图，该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。如图6所示，所述数据存储装置包括：

获取模块601，被配置为获取待存储数据包，其中，所述待存储数据包包括待存储数据、待存储数据的数据源信息以及待存储数据目标数据库信息；

确定模块602，被配置为根据所述待存储数据的数据源信息和待存储数据目标数据库信息确定待存储数据存储规则，其中，所述待存储数据存储规则包括待存储数据存储数据源子规则和待存储数据存储数据库子规则；

存储模块603，被配置为根据所述待存储数据存储规则对于所述待存储数据进行存储。

上文提及，随着数据技术的发展以及社会的进步，大众对于安防系统的要求越来越高，随之需要存储的监控数据的数据量也越来越大，如何从中区分出有效数据，如何对于有效数据进行有效的存储，以提高存储资源的利用率，节约存储资源是业界亟需解决的问题。

考虑到上述问题，在该实施方式中，提出一种数据存储装置，该装置通过分别设定数据源分级存储规则和目标数据库分级存储规则，来实现对于待存储数据的分级存储。该技术方案能够实现数据的有效存储，提高数据质量，提高存储资源的利用率，节约存储资源。

其中，所述待存储数据包可以为任何形式、任何类型、任何大小的数据包，为了便于理解，下文中以监控数据为例对于本发明进行解释和说明。

在本实施例的一个可选实现方式中，所述待存储数据包包括待存储数据、待存储数据的数据源信息以及待存储数据目标数据库信息。

其中，所述待存储数据的数据源信息指的是获取所述待存储数据的数据源的信息，比如，若所述待存储数据为视频监控数据，则其对应的数据源信息指的就是采集所述视频监控数据的摄像机的信息。为了更加有效地实现待存储数据的分级存储，所述待存储数据的数据源信息可包括数据源的级别或类别信息，即事先可按照预设规则对于数据源进行分级或分类，然后再将数据源级别或类别信息携带在数据源信息中进行发送。比如对于采集视频监控数据的摄像机，可根据其设置目的、所在地理位置、所在地理位置的人流量、所在地理位置历史事件发生频次等等因素对于摄像机进行分级或分类，比如，可根据上述分级因素将摄像机分为1-4级，其中，1级表示普通位置，2级表示密集人流位置，3级表示事故高发位置，4级表示重点监控位置。

其中，所述待存储数据目标数据库信息指的是存储待存储数据的数据库的信息，所述待存储数据目标数据库信息可根据所述待存储数据的属性信息预先设定，并将所述目标数据库信息携带在数据源信息中进行发送。为了更加有效地实现待存储数据的分级存储，所述待存储数据的目标数据库信息可包括所述目标数据库的级别或类别信息，即事先可按照预设规则对于用于存储数据的数据库进行分级或分类，比如对于存储监控人员的数据库，可根据监控人员的性质对于数据库进行分级或分类，比如，可将数据库分为1-5级，其中，1级表示普通人员数据库，2级表示重点关注人员数据库，3级表示有犯罪记录人员数据库，4级表示普通在逃人员数据库，5级表示高危涉恐人员数据库。

基于所述数据源和目标数据库的级别或类别信息，后续在对所述待存储数据进行存储时，就可以根据数据源和目标数据库的级别或类别信息确定不同的存储规则，进而实现对于所述待存储数据的分级存储。

在本实施例的一个可选实现方式中，如图7所示，所述确定模块602包括：

第一确定子模块701，被配置为根据所述待存储数据的数据源信息确定所述待存储数据的数据源类别；

第二确定子模块702，被配置为根据所述待存储数据的数据源类别确定所述待存储数据存储数据源子规则；

第三确定子模块703，被配置为根据所述待存储数据目标数据库信息确定所述待存储数据目标数据库的类别；

第四确定子模块704，被配置为根据所述待存储数据目标数据库的类别确定所述待存储数据存储数据库子规则。

为了实现数据的分级存储，真正实现有效数据的有效存储，提高存储资源的利用率，节约存储资源，在该实施方式中，根据数据源和目标数据库的级别或类别信息来确定不同的存储规则。具体地，第一确定子模块701根据所述待存储数据的数据源信息确定所述待存储数据的数据源类别；第二确定子模块702根据所述待存储数据的数据源类别确定所述待存储数据存储数据源子规则；第三确定子模块703根据所述待存储数据目标数据库信息确定所述待存储数据目标数据库的类别；第四确定子模块704根据所述待存储数据目标数据库的类别确定所述待存储数据存储数据库子规则。

在本实施例的一个可选实现方式中，如图8所示，所述存储模块603包括：

判断子模块801，被配置为判断所述待存储数据是否符合所述待存储数据存储规则；

存储子模块802，被配置为将符合所述待存储数据存储规则的待存储数据存储至所述目标数据库中。

为了切实实现数据的分级存储，提高数据质量，在该实施方式中，判断子模块801将所述待存储数据与确定的存储规则一一进行比对和判断，存储子模块802将符合所述存储规则的数据存储至目标数据库中。

在本实施例的一个可选实现方式中，对于监控数据，所述待存储数据存储数据源子规则可包括以下规则中的一种或多种：数据质量满足预设质量条件、存储时间间隔满足预设间隔条件。其中，所述预设质量条件是对数据质量提出的要求，比如某一监控图像是否清晰、某一监控图像的分辨率是否达到分辨率要求、某一监控图像是否存在过多的噪声点、某一监控图像是否存在像素缺失等等。其中，所述预设间隔条件是对数据的存储间隔提出的要求，该要求是为了提高待存储数据的有效性，避免出现过多重复信息，比如，判断相邻待存储数据的时间间隔是否大于一时间间隔阈值等等。

在本实施例的一个可选实现方式中，对于监控数据，所述待存储数据存储数据库子规则可包括以下规则中的一种或多种：数据相似度满足预设相似度条件、数据大小满足预设大小条件、视频存储条件。其中，所述预设相似度条件是对待存储数据与目标数据库数据之间的相似度提出的要求，符合相似度条件的待存储数据认为是与目标数据库中的数据具有相似性的数据，是可以存储至所述目标数据库中的数据，否则不能被存储至该数据库。其中，所述预设大小条件指的是对于待存储数据的大小提出的要求，若所述待存储数据过大，则可提取所述待存储数据中的重点数据进行存储，丢弃其他不重要的数据。其中，所述视频存储条件指的是对于是否需要获取和存储与所述被存储数据相关的视频数据提出的要求，比如如果待存储数据是需要被重点关注的人员，则可请求获取并存储与该人员相关的预设时间点和预设时间长度的视频数据，以便后续进行进一步的查看。

需要说明的是，上述具体的待存储数据存储数据源子规则和待存储数据存储数据库子规则与数据源和目标数据库的级别或类别相关，即数据源和目标数据库的级别或类别不同，相应的待存储数据存储数据源子规则和待存储数据存储数据库子规则的内容或者参数也不尽相同，以真正实现数据的分级存储。其中，所述待存储数据存储数据源子规则和待存储数据存储数据库子规则与数据源和目标数据库的级别或类别之间的对应关系可预先存储在存储器或数据库中，以方便具体规则内容的查询和确定。在实际应用中，本领域技术人员可根据实际应用的需要以及待存储数据、数据源和数据库的特点对于规则的具体内容进行设置和实时调整，以上均为示例性说明，不能够被理解为是对本发明的限定。

在本实施例的另一个可选实现方式中，所述存储模块603被配置为：

判断所述待存储数据的质量是否满足所述预设质量条件，并当所述待存储数据的质量不满足所述预设质量条件时，丢弃所述待存储数据；

当所述待存储数据的质量满足所述预设质量条件时，判断所述待存储数据与所述目标数据库之间的相似度是否满足所述预设相似度条件，并当所述待存储数据与所述目标数据库之间的相似度不满足所述预设相似度条件时，新建数据库，将所述待存储数据存入新建数据库中；

当所述待存储数据与所述目标数据库之间的相似度满足所述预设相似度条件时，判断所述待存储数据的存储时间间隔是否满足所述预设间隔条件，并当所述待存储数据的存储时间间隔不满足所述预设间隔条件时，丢弃所述待存储数据；

当所述待存储数据的存储时间间隔满足所述预设间隔条件时，判断所述待存储数据的数据大小是否满足所述预设大小条件，并当所述待存储数据的数据大小不满足所述预设大小条件时，将所述待存储数据的部分数据存入所述目标数据库中；

当所述待存储数据的数据大小满足所述预设大小条件时，将所述待存储数据存入所述目标数据库中。

该实施方式以监控数据为例，对于存储模块603的操作流程进行了详细的描述。具体地，首先判断所述待存储数据的质量是否满足所述预设质量条件，若所述待存储数据的质量不满足所述预设质量条件，可认为所述待存储数据没有存储的价值，为了节约存储资源，可直接对其采取丢弃处理；若所述待存储数据的质量满足所述预设质量条件，继续判断所述待存储数据与所述目标数据库之间的相似度是否满足所述预设相似度条件，若所述待存储数据与所述目标数据库之间的相似度不满足所述预设相似度条件，可认为与所述目标数据库中的数据并无相似性，或者说，所述目标数据库中并未存储有所述待存储数据涉及的监控对象的历史数据，可新建一个数据库，将所述待存储数据存入该新建数据库中；若所述待存储数据与所述目标数据库之间的相似度满足所述预设相似度条件，认为所述待存储数据与所述目标数据库中的数据具有相似性，可将其存储至目标数据库中，然后继续判断所述待存储数据的存储时间间隔是否满足所述预设间隔条件，若所述待存储数据的存储时间间隔不满足所述预设间隔条件，可认为待存储数据间隔较短，重复信息过多，有效信息较少，因此可对其采取丢弃处理，或者为了数据统计的精确性，还可以同时为所述目标数据库的数据处理统计次数增加相应的数值；若所述待存储数据的存储时间间隔满足所述预设间隔条件，则继续判断所述待存储数据的数据大小是否满足所述预设大小条件，若所述待存储数据的数据大小不满足所述预设大小条件，比如所述待存储数据过大，为了节省存储资源，可将所述待存储数据的部分数据存入所述目标数据库中，其他部分丢弃；若所述待存储数据的数据大小满足所述预设大小条件，则可将所述待存储数据存入所述目标数据库中。

需要说明的是，上述对于规则具体内容的判断顺序并不是固定的，本领域技术人员可根据实际应用的需要、待存储数据的特点以及规则的具体内容对于规则判断顺序进行调整，本发明对其不作具体限定。

在本实施例的一个可选实现方式中，所述存储模块还被配置为：当所述待存储数据的数据大小满足所述预设大小条件时，将所述待存储数据存入所述目标数据库中之后，获取所述待存储数据的属性信息，并当所述待存储数据的属性信息满足所述视频存储条件时，请求获取所述待存储数据相关的视频数据并对其进行存储。

在该实施方式中，还根据所述待存储数据的属性信息来判断是否需要请求获取所述待存储数据相关的视频数据并对其进行存储，比如如果待存储数据是需要被重点关注的人员，则可请求获取并存储与该人员相关的预设时间点和预设时间长度的视频数据，以便后续进行进一步的查看。其中，所述预设时间点和预设时间长度可根据实际应用的需要进行设置，比如所述预设时间点可设置为所述待存储数据的生成时间，所述预设时间长度可设置为2分钟。

在本实施例的一个可选实现方式中，所述装置还包括对于所述待存储数据进行预处理的部分，即如图9所示，所述装置包括：

获取模块901，被配置为获取待存储数据包，其中，所述待存储数据包包括待存储数据、待存储数据的数据源信息以及待存储数据目标数据库信息；

确定模块902，被配置为根据所述待存储数据的数据源信息和待存储数据目标数据库信息确定待存储数据存储规则，其中，所述待存储数据存储规则包括待存储数据存储数据源子规则和待存储数据存储数据库子规则；

预处理模块903，被配置为对于所述待存储数据进行预处理

存储模块904，被配置为根据所述待存储数据存储规则对于所述待存储数据进行存储。

在本实施例的一个可选实现方式中，所述预处理可包括以下处理中的一种或多种：去重处理、去噪处理、压缩处理等等。

在该实施方式中，为了进一步提高数据的有效性，提高数据质量，节省计算资源，在对于所述待存储数据进行存储之前还对所述待存储数据进行去重处理、去噪处理和/或压缩处理等预处理。

在一个具体应用场景中，一个部署有100路监控视频的游乐园，需要对100路视频进行人脸实时分析，假设平均每个摄像头同一时刻只抓拍到一个人，那么根据现有技术的存储方案，一年内将会产生并存储百亿级的数据量，即使进行跟踪去重后，也将会产生亿级的数据量，总数据大小达到1000T。而如果采用本发明提出的分级存储技术方案，假设做出以下设置：同一人在10分钟内经过同一摄像头时只计算频次不存储数据；待存储数据涉及逃犯、曾经犯罪人员时才进行视频获取和存储；对其中10个摄像头实施重点监控。那么100路视频一年只会产生大约50T的数据量，即处理数据量整整压缩了20倍。由此可见，本发明技术方案能够实现数据的有效存储，提高数据质量，大大提高存储资源的利用率，节约存储资源。

本发明实施例还公开了一种电子设备，图10示出根据本发明一实施方式的电子设备的结构框图，如图10所示，所述电子设备1000包括存储器1001和处理器1002；其中，

所述存储器1001用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器1002执行以实现上述任一方法步骤。

图11适于用来实现根据本发明实施方式的数据存储方法的计算机系统的结构示意图。

如图11所示，计算机系统1100包括中央处理单元(CPU)1101，其可以根据存储在只读存储器(ROM)1102中的程序或者从存储部分1108加载到随机访问存储器(RAM)1103中的程序而执行上述实施方式中的各种处理。在RAM1103中，还存储有系统1100操作所需的各种程序和数据。CPU1101、ROM1102以及RAM1103通过总线1104彼此相连。输入/输出(I/O)接口1105也连接至总线1104。

以下部件连接至I/O接口1105：包括键盘、鼠标等的输入部分1106；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1107；包括硬盘等的存储部分1108；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1109。通信部分1109经由诸如因特网的网络执行通信处理。驱动器1110也根据需要连接至I/O接口1105。可拆卸介质1111，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1110上，以便于从其上读出的计算机程序根据需要被安装入存储部分1108。

特别地，根据本发明的实施方式，上文描述的方法可以被实现为计算机软件程序。例如，本发明的实施方式包括一种计算机程序产品，其包括有形地包含在及其可读介质上的计算机程序，所述计算机程序包含用于执行所述数据存储方法的程序代码。在这样的实施方式中，该计算机程序可以通过通信部分1109从网络上被下载和安装，和/或从可拆卸介质1111被安装。

附图中的流程图和框图，图示了按照本发明各种实施方式的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，路程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施方式中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。

作为另一方面，本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施方式中所述装置中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本发明实施例的方法。

以上描述仅为本发明的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本发明实施例中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本发明实施例中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (12)

1.一种数据存储方法，其特征在于，包括：

获取待存储数据包，其中，所述待存储数据包包括待存储数据、待存储数据的数据源信息以及待存储数据目标数据库信息；

根据所述待存储数据的数据源信息和待存储数据目标数据库信息确定待存储数据存储规则，其中，所述待存储数据存储规则包括待存储数据存储数据源子规则和待存储数据存储数据库子规则；

所述待存储数据存储数据源子规则包括以下规则中的一种或多种：数据质量满足预设质量条件、存储时间间隔满足预设间隔条件；和/或，

所述待存储数据存储数据库子规则包括以下规则中的一种或多种：数据相似度满足预设相似度条件、数据大小满足预设大小条件、视频存储条件；

根据所述待存储数据存储规则对于所述待存储数据进行存储；

所述根据所述待存储数据存储规则对于所述待存储数据进行存储，包括：

判断所述待存储数据的质量是否满足所述预设质量条件，并当所述待存储数据的质量不满足所述预设质量条件时，丢弃所述待存储数据；

当所述待存储数据的质量满足所述预设质量条件时，判断所述待存储数据与所述目标数据库之间的相似度是否满足所述预设相似度条件，并当所述待存储数据与所述目标数据库之间的相似度不满足所述预设相似度条件时，新建数据库，将所述待存储数据存入新建数据库中；

当所述待存储数据与所述目标数据库之间的相似度满足所述预设相似度条件时，判断所述待存储数据的存储时间间隔是否满足所述预设间隔条件，并当所述待存储数据的存储时间间隔不满足所述预设间隔条件时，丢弃所述待存储数据；

当所述待存储数据的存储时间间隔满足所述预设间隔条件时，判断所述待存储数据的数据大小是否满足所述预设大小条件，并当所述待存储数据的数据大小不满足所述预设大小条件时，将所述待存储数据的部分数据存入所述目标数据库中；

当所述待存储数据的数据大小满足所述预设大小条件时，将所述待存储数据存入所述目标数据库中。

2.根据权利要求1所述的方法，其特征在于，所述根据所述待存储数据的数据源信息和待存储数据目标数据库信息确定待存储数据存储规则，包括：

根据所述待存储数据的数据源信息确定所述待存储数据的数据源类别；

根据所述待存储数据的数据源类别确定所述待存储数据存储数据源子规则；

根据所述待存储数据目标数据库信息确定所述待存储数据目标数据库的类别；

根据所述待存储数据目标数据库的类别确定所述待存储数据存储数据库子规则。

3.根据权利要求1所述的方法，其特征在于，所述根据所述待存储数据存储规则对于所述待存储数据进行存储，包括：

判断所述待存储数据是否符合所述待存储数据存储规则；

将符合所述待存储数据存储规则的待存储数据存储至所述目标数据库中。

4.根据权利要求1所述的方法，其特征在于，所述当所述待存储数据的数据大小满足所述预设大小条件时，将所述待存储数据存入所述目标数据库中之后，还包括：

获取所述待存储数据的属性信息，并当所述待存储数据的属性信息满足所述视频存储条件时，请求获取所述待存储数据相关的视频数据并对其进行存储。

5.根据权利要求1-4任一所述的方法，其特征在于，所述根据所述待存储数据存储规则对于所述待存储数据进行存储之前，还包括：

对于所述待存储数据进行预处理。

6.一种数据存储装置，其特征在于，包括：

获取模块，被配置为获取待存储数据包，其中，所述待存储数据包包括待存储数据、待存储数据的数据源信息以及待存储数据目标数据库信息；

确定模块，被配置为根据所述待存储数据的数据源信息和待存储数据目标数据库信息确定待存储数据存储规则，其中，所述待存储数据存储规则包括待存储数据存储数据源子规则和待存储数据存储数据库子规则；所述待存储数据存储数据源子规则包括以下规则中的一种或多种：数据质量满足预设质量条件、存储时间间隔满足预设间隔条件；和/或，所述待存储数据存储数据库子规则包括以下规则中的一种或多种：数据相似度满足预设相似度条件、数据大小满足预设大小条件、视频存储条件；

存储模块，被配置为根据所述待存储数据存储规则对于所述待存储数据进行存储；

所述存储模块具体被配置为：

判断所述待存储数据的质量是否满足所述预设质量条件，并当所述待存储数据的质量不满足所述预设质量条件时，丢弃所述待存储数据；

当所述待存储数据的质量满足所述预设质量条件时，判断所述待存储数据与所述目标数据库之间的相似度是否满足所述预设相似度条件，并当所述待存储数据与所述目标数据库之间的相似度不满足所述预设相似度条件时，新建数据库，将所述待存储数据存入新建数据库中；

当所述待存储数据与所述目标数据库之间的相似度满足所述预设相似度条件时，判断所述待存储数据的存储时间间隔是否满足所述预设间隔条件，并当所述待存储数据的存储时间间隔不满足所述预设间隔条件时，丢弃所述待存储数据；

当所述待存储数据的存储时间间隔满足所述预设间隔条件时，判断所述待存储数据的数据大小是否满足所述预设大小条件，并当所述待存储数据的数据大小不满足所述预设大小条件时，将所述待存储数据的部分数据存入所述目标数据库中；

当所述待存储数据的数据大小满足所述预设大小条件时，将所述待存储数据存入所述目标数据库中。

7.根据权利要求6所述的装置，其特征在于，所述确定模块包括：

第一确定子模块，被配置为根据所述待存储数据的数据源信息确定所述待存储数据的数据源类别；

第二确定子模块，被配置为根据所述待存储数据的数据源类别确定所述待存储数据存储数据源子规则；

第三确定子模块，被配置为根据所述待存储数据目标数据库信息确定所述待存储数据目标数据库的类别；

第四确定子模块，被配置为根据所述待存储数据目标数据库的类别确定所述待存储数据存储数据库子规则。

8.根据权利要求6所述的装置，其特征在于，所述存储模块包括：

判断子模块，被配置为判断所述待存储数据是否符合所述待存储数据存储规则；

存储子模块，被配置为将符合所述待存储数据存储规则的待存储数据存储至所述目标数据库中。

9.根据权利要求6所述的装置，其特征在于，所述存储模块还被配置为：

当所述待存储数据的数据大小满足所述预设大小条件时，将所述待存储数据存入所述目标数据库中之后，获取所述待存储数据的属性信息，并当所述待存储数据的属性信息满足所述视频存储条件时，请求获取所述待存储数据相关的视频数据并对其进行存储。

10.根据权利要求6-9任一所述的装置，其特征在于，还包括：

预处理模块，被配置为对于所述待存储数据进行预处理。

11.一种电子设备，其特征在于，包括存储器和处理器；其中，

所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现权利要求1-5任一项所述的方法步骤。

12.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该计算机指令被处理器执行时实现权利要求1-5任一项所述的方法步骤。