CN111382146A - 数据存储控制方法、装置、设备以及存储介质 - Google Patents

Abstract

本发明实施例公开了一种数据存储控制方法、装置、设备以及存储介质。所述方法包括：在接收到待存储的目标数据时，根据预设的至少一个过滤类型，获取与所述目标数据匹配的至少一项数据属性信息；采用与所述过滤类型匹配的过滤处理规则对所述数据属性信息进行处理，生成与所述目标数据匹配的过滤比对标识；判断预先建立的标识数据库中是否存储所述过滤比对标识；若是，对所述目标数据进行数据过滤；否则，将所述目标数据存储于目标数据库中，并根据所述过滤比对标识更新所述标识数据库。本发明实施例可以根据用户需求清洗海量数据，同时在存入数据库前过滤数据，节省IO资源，提高数据存储控制性能。

Description

数据存储控制方法、装置、设备以及存储介质

技术领域

本发明实施例涉及数据处理技术，尤其涉及一种数据存储控制方法、装置、设备以及存储介质。

背景技术

随着互联网和各种采集设备的发展，现实社会中越来越多的事物可以通过实时采集其声、光、图像、位置等需要的信息，与互联网形成一个巨大的网络，这种巨型网络被称为物联网。

由于物联网的特性，在采集数据过程中，短时间内很容易产生大量的数据。若将物联网中产生的数据存储在服务器的数据库中，会占用大量的存储资源，同时，上述数据具有数据冗余、重复性高的缺点，鉴于此，需要对数据进行清洗才能有效利用物联网信息。

传统的数据存储控制方式是在物联网数据存入数据库之后，并基于预设的清洗规则进行数据存储控制，该过程中包括大量的I/O操作，而且，需要事先将所有数据均存入数据才能执行清洗操作，占用了大量的存储资源，从而，导致数据存储控制时效率低下，以及数据库服务器性能降低。

发明内容

本发明实施例提供了一种数据存储控制方法、装置、设备以及存储介质，可以根据用户需求清洗海量数据，同时在存入数据库前过滤数据，节省IO资源，提高数据存储控制性能。

第一方面，本发明实施例提供了一种数据存储控制方法，包括：

在接收到待存储的目标数据时，根据预设的至少一个过滤类型，获取与所述目标数据匹配的至少一项数据属性信息；

采用与所述过滤类型匹配的过滤处理规则对所述数据属性信息进行处理，生成与所述目标数据匹配的过滤比对标识；

判断预先建立的标识数据库中是否存储所述过滤比对标识；

若是，对所述目标数据进行数据过滤；否则，将所述目标数据存储于目标数据库中，并根据所述过滤比对标识更新所述标识数据库。

第二方面，本发明实施例还提供了一种数据存储控制装置，包括：

目标数据属性信息获取模块，用于在接收到待存储的目标数据时，根据预设的至少一个过滤类型，获取与所述目标数据匹配的至少一项数据属性信息；

过滤比对标识生成模块，用于采用与所述过滤类型匹配的过滤处理规则对所述数据属性信息进行处理，生成与所述目标数据匹配的过滤比对标识；

过滤比对标识判断模块，用于判断预先建立的标识数据库中是否存储所述过滤比对标识；若是，对所述目标数据进行数据过滤；否则，将所述目标数据存储于目标数据库中，并根据所述过滤比对标识更新所述标识数据库。

第三方面，本发明实施例还提供了一种设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序所述处理器执行所述程序时实现如本发明实施例中任一所述的数据存储控制方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例中任一所述的数据存储控制方法。

本发明实施例通过根据过滤类型获取目标数据匹配的数据属性信息，同时，根据过滤类型匹配的过滤处理规则对该数据属性信息进行处理，生成过滤比对标识，并当在标识数据库中存储有该过滤比对标识时，过滤该目标数据，实现在将目标数据存入目标数据库之前对目标数据进行清洗，解决了现有技术中只有将所有数据存入数据库后才能进行数据清洗操作，以导致占用了大量的存储资源且数据存储效率低下的问题，可减少占据存储资源，减少I/O操作，提高数据存储效率，进而提升数据库服务器性能。

附图说明

图1是本发明实施例一提供的一种数据存储控制方法的流程图；

图2是本发明实施例二提供的一种数据存储控制方法的流程图；

图3是本发明实施例三提供的一种数据存储控制方法的流程图；

图4是本发明实施例四提供的一种数据存储控制装置的结构示意图；

图5是本发明实施例五提供的一种设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1为本发明实施例一提供的一种数据存储控制方法的流程图，本实施例可适用于在获取目标数据之后，并在目标数据入库之前对目标数据进行清洗的情况，该方法可以由本发明实施例提供的数据存储控制装置来执行，该装置可采用软件和/或硬件的方式实现，并一般可集成在提供数据存储服务的设备中，例如，终端设备或服务器，具体是计算机等。

本发明实施例提供的方法可以应用在如下的场景下：物联网中的采集设备在采集数据过程中，短时间内容易产生大量数据，这些数据需要通过物联网进行传输，直至存入目标数据库。由于数据占据的存储空间过大，需要对数据进行去重和/或去无效等数据过滤操作，防止冗余数据存入目标数据库，避免大量占用目标数据库的存储资源，造成存储资源浪费。

现有技术中，例如，采用Spark技术手段进行数据清洗，该方法是针对已经入库的数据，并根据配置的清洗规则，使用弹性分布式数据集(Resilient Distributed Dataset，RDD)算子进行数据清洗，其具体原理是：将数据拆分为若干数据块，将每个数据块的数据清洗操作分别对应初始化为一个任务(task)，加入到工作池(jobpool)并执行，当每个数据块执行完数据清洗任务后，与另外一个完成数据清洗任务的数据块进行比对清洗合并为新的数据块，直至所有数据块最后合并为一个数据块，即完成数据清洗。Spark方法只能在数据入库后才能见数据清洗，增加了磁盘占用，同时，在数据清洗的过程中需要不断的从库中读取数据，并存储数据于库中，每一次读取或存储都需要使用I/O操作，同时会占用大量CPU资源，导致数据库仅能使用少量CPU资源提供数据库基本功能(如数据查询)，形成性能瓶颈。

本发明实施例提供的方法在数据存入数据库之前对数据进行过滤，避免占用存储空间，减少使用I/O操作，同时根据过滤类型获取数据对应的数据属性信息，并基于数据属性信息对数据进行过滤，可以实现按照用户需求过滤数据，提高数据过滤的灵活性，同时，提高用户体验。

如图1所示，本实施例的方法具体包括：

S110，在接收到待存储的目标数据时，根据预设的至少一个过滤类型，获取与所述目标数据匹配的至少一项数据属性信息。

其中，目标数据是由前端设备采集的，需要发送至目标数据库进行存储的数据，同时，该目标数据是在物联网中传输的数据。具体的，可以通过Thrift接口、Restful接口或SQL接口接收由前端设备采集的目标数据。

过滤类型可以是指进行过滤判断的信息类型，该过滤类型可以是由用户设定，具体包括：时间段过滤类型、空间范围过滤类型(如地理位置过滤类型)、发送设备地址过滤类型和发送设备地址类型过滤类型中的至少一种，其中，发送设备地址可以是指媒体访问控制地址(Media Access Control Address，MAC)。示例性的，发送设备地址类型过滤类型具体可以包括发送设备地址优先级类型(如高优先级和低优先级)或发送设备地址告警类型(如低告警级别和高告警级别)。此外，过滤类型还可以包括其他类型，例如数据量大小过滤类型，对此，本发明实施例不做具体限制。

数据属性信息可以是指与过滤类型对应的目标数据的参数信息，例如，当过滤类型为时间过滤信息时，数据属性信息为目标数据的数据采集时间。

S120，采用与所述过滤类型匹配的过滤处理规则对所述数据属性信息进行处理，生成与所述目标数据匹配的过滤比对标识。

过滤处理规则是指根据数据属性信息对目标数据进行过滤筛选遵循的规定。针对不同的过滤类型可以对应设置不同的过滤处理规则。示例性的，当过滤类型为时间过滤信息时，例如5分钟，过滤处理规则对应为每5分钟保留一条数据，具体是检测当前接收到的目标数据的采集时间，以及上一条保留的历史目标数据的采集时间，如果两个采集时间的差值超过5分钟，保留当前目标数据；否则过滤掉当前接收到的目标数据。其中，过滤处理规则可以根据用户需要由用户设定。

过滤比对标识可以是指目标数据的标识信息，用于在过滤处理操作中代表目标数据，以区别其他目标数据。具体的，过滤比对标识可以是字符串，例如，12ljdk443。

S130，判断预先建立的标识数据库中是否存储所述过滤比对标识；若是，执行S140；否则，执行S150。

其中，标识数据库可以是指用于存储过滤比对标识的数据库。示例性的，标识数据库为Redis数据库，Redis数据库是一个key-value数据库，过滤比对标识作为key存储在key-value数据库中。此外，还可以采用Bitmap数据库，但需要用户设计代码实现内存管理。此外，还有其他方式可以实现标识数据库的功能，对此，本发明实施例不作具体限制。

S140，对所述目标数据进行数据过滤。

可以理解的是，当标识数据库中已经存在与目标数据的过滤比对标识相同的过滤比对标识时，表明按照过滤处理规则，与该目标数据重复的数据已存入数据库，因此，该目标数据为冗余数据，进行数据过滤。

需要说明的是，与该目标数据重复的数据并非指完全相同的数据，是指基于过滤处理规则，确定至少一个过滤类型在对应的设定范围内的数据是重复数据。示例性的，过滤处理规则为每5分钟保留一条数据，其中，过滤类型为时间过滤信息，范围是5分钟，即在5分钟内的所有数据确定是重复数据，仅需保留一条。

S150，将所述目标数据存储于目标数据库中，并根据所述过滤比对标识更新所述标识数据库。

目标数据库是指用于存储目标数据的数据库，该数据库具有基本数据库功能，例如数据存取、数据管理、数据定义和数据传输等功能。其他设备可以通过目标数据库获取经过数据清洗后的目标数据，不仅减轻了服务器压力，而且提升了数据质量，对于后期的数据挖掘和运算提供了很好的基础。

如果标识数据库中不存在该过滤比对标识，表明不存在与该目标数据重复的数据，该目标数据不是冗余数据，可以存入目标数据库，同时，该过滤比对标识存入标识数据库，用于过滤后续接收到的冗余数据。

本发明实施例通过根据过滤类型获取目标数据匹配的数据属性信息，同时，根据过滤类型匹配的过滤处理规则对该数据属性信息进行处理，生成过滤比对标识，并当在标识数据库中存储有该过滤比对标识时，过滤该目标数据，实现在将目标数据存入目标数据库之前对目标数据进行清洗，解决了现有技术中只有将所有数据存入数据库后才能进行数据清洗操作，以导致占用了大量的存储资源且数据存储效率低下的问题，可减少占据存储资源，减少I/O操作，提高数据存储效率，进而提升数据库服务器性能。

实施例二

图2为本发明实施例二提供的一种数据存储控制方法的流程图，本实施例以上述实施例为基础进行具体化，在本实施例中，将采用与所述过滤类型匹配的过滤处理规则对所述数据属性信息进行处理，生成与所述目标数据匹配的过滤比对标识，具体为：如果确定生成至少两个与过滤类型分别匹配的过滤比对标识，则按照设定组合策略对生成的所述至少两个过滤比对标识进行合并处理，得到与所述目标数据匹配的新的过滤比对标识。

相应的，本实施例的方法可以包括：

S210，在接收到待存储的目标数据时，根据预设的至少一个过滤类型，获取与所述目标数据匹配的至少一项数据属性信息。

本实施例中的目标数据、过滤类型、数据属性信息、过滤处理规则、过滤比对标识和目标数据库均可以参考上述实施例的描述。

S220，采用与所述过滤类型匹配的过滤处理规则对所述数据属性信息进行处理，生成与所述过滤类型匹配的过滤比对标识。

过滤类型具体可以包括时间段过滤类型、空间范围过滤类型、发送设备地址过滤类型和发送设备地址告警类型过滤类型中的至少一种。

可选的，根据预设的过滤类型，获取与所述目标数据匹配的数据属性信息，可以包括：根据预设的时间段过滤类型，获取与所述目标数据匹配的数据采集时间作为数据属性信息；采用与所述过滤类型匹配的过滤处理规则对所述数据属性信息进行处理，生成与所述目标数据匹配的过滤比对标识，包括：按照预设的时间单位，对所述数据采集时间进行数据转换，得到标准采集时间值；使用所述标准采集时间值除以预设的过滤处理时间段值后，对计算结果向下取整，并将得到的整数作为与所述目标数据匹配的过滤比对标识；其中，所述过滤处理时间段值与所述时间单位相匹配。

具体的，时间段过滤类型用于以设定时间段为基准，将每个设定时间段内的采集到的所有重复的数据过滤为一条目标数据。相应的，数据属性信息为目标数据的采集时间，即采集设备获取该目标数据的时间。标准采集时间值用于表示数据采集时间的标识值。过滤处理时间段值可以是指用于将数据采集时间进行分组的时间段的具体数值，示例性的，可以是300秒。预设的时间单位可以是年、月、日、小时、分钟和秒中的任意一种，通常选择秒作为时间单位。

其中，数据转换可以是指计算采集时间对应的日期(如年、月和日)以及时间(小时、分钟和秒)，自设定时间以来经过的预设时间单位的数值。设定时间可以由用户自己设定，例如，设定为2000年1月1日上午12:00。或者数据转换可以基于预设的时刻中各时间单位与预设时间单位的对应关系，将数据采集时间中各时间单位对应的时间值分别对应转换为匹配的预设时间单位对应的数值，并组合为一个预设时间单位的数值。例如，预设时间单位为秒，1年对应1亿秒，1月对应1万秒，针对2000年2月，2000年对应2千亿秒，2月对应2万秒，示例性的，组合方式为相加，即2000年2月对应2千亿秒与2万秒之和，为2千亿2万秒。

在一个具体的例子中，采集时间分别为：2018/10/23 14:31:33、2018/10/2314:34:33和2018/10/23 14:35:33，对应的秒值分别为：1540276293、1540276473和1540276533，分别除以过滤处理时间段值300秒，并向下取整后的结果(也即过滤比对标识)分别为：5134254、5134254和5134255。由此可知，采集时间2018/10/23 14:31:33和采集时间2018/10/23 14:34:33取值相同，是在同一时间段内，采集时间2018/10/23 14:35:33是在另外的一个时间段内。也即，采集时间2018/10/23 14:31:33和采集时间2018/10/23 14:34:33分别生成的过滤比对标识相同，同时与采集时间2018/10/23 14:35:33生成的过滤比对标识不同。若在采集时间2018/10/23 14:31:33和采集时间2018/10/23 14:34:33所属的时间段内不存在其他采集时间，从而可以将在属于同一时间段内的采集时间分别为2018/10/23 14:31:33、2018/10/23 14:34:33的其中一条数据过滤，只保留该时间段内的其中一条数据，实现将属于该时间段的所有数据过滤为一条数据，从而实现针对目标数据的采集时间达到数据过滤的目标。

通过按照预设的时间单位，将数据采集时间数据转换为标准采集时间值，并将标准采集时间值除以预设的过滤处理时间段值，得到向下取整后结果，实现在同一时间段内的采集时间转换的标准采集时间值相同，从而实现将目标数据按照过滤处理时间段值进行分组，以按照时间区分目标数据，进而实现按照时间对目标数据进行过滤的目的。

可选的，根据预设的过滤类型，获取与所述目标数据匹配的数据属性信息，包括：根据预设的空间范围过滤类型，获取与所述目标数据匹配的经纬度信息作为数据属性信息；采用与所述过滤类型匹配的过滤处理规则对所述数据属性信息进行处理，生成与所述目标数据匹配的过滤比对标识，包括：根据预设的过滤处理距离值，获取经度差值和/或纬度差值；使用所述经纬度信息中的经度值除以所述经度差值，和/或使用所述经纬度信息中的纬度值除以所述纬度差值后，对计算结果向下取整，并将得到的整数作为与所述目标数据匹配的过滤比对标识。

具体的，空间范围过滤类型用于以设定地理空间范围为基准，将每个设定地理空间范围内的采集到的所有数据过滤为一条目标数据。相应的，数据属性信息为目标数据的发送设备的地理位置信息，例如发送设备的经度信息和/或纬度信息。过滤处理距离值可以是指用于将目标数据的发送设备进行空间分组的距离值，示例性的，可以是500米。需要将距离值转换为经纬度信息，可以根据如下公式换算得到：

La＝60*1852*D

Lo＝60*1852*D*cos(La)

其中，La为经度，Lo为纬度，D为距离值。

在一个具体的例子中，过滤处理距离值为500米，相应的，根据上述公式计算得到的，经度差值为0.0055度，纬度差值为0.0045度。经纬度信息分别为：A(121.2345，55.6621)、B(121.2343，55.6625)和C(121.2365，55.6671)，可以将经纬度数值同时扩大1万倍，对应的经纬度信息分别为：A(1212345，556621)、B(1212343，556625)和C(1212365，556671)，相应的，经度差值和纬度差值分别扩大1万倍，分别为55和45。每个经纬度信息分别除以经度差值和纬度差值，并向下取整得到的结果分别为：A(22042，12369)、B(22042，12369)和C(22043，12370)，对应的过滤比对标识分别为：A(22042，12369)、B(22042，12369)和C(22043，12370)，或者也可以将每个经纬度信息分别除以经度差值和纬度差值，并向下取整得到的结果之和作为过滤比对标识，例如A(34411)。由此可知，A(121.2345，55.6621)和B(121.2343，55.6625)是在同一空间区域范围内，C(121.2365，55.6671)是在另外的一个空间区域范围内。也即，经纬度信息A和经纬度信息B分别生成的过滤比对标识相同，同时与经纬度信息C生成的过滤比对标识不同。若在经纬度信息A和经纬度信息B所属的空间区域范围内不存在其他经纬度信息，从而可以将在属于同一空间区域范围内的经纬度信息A和经纬度信息B的其中一条数据过滤，只保留该空间区域范围内的其中一条数据，实现将属于该空间区域范围内的所有数据过滤为一条数据，从而实现针对目标数据的经纬度信息达到数据过滤的目标。

此外，还可以仅计算经纬度信息中经度值对应的结果作为过滤比对标识，或者仅计算经纬度信息中纬度值对应的结果作为过滤比对标识，

通过将预设的过滤处理距离值转换为经度差值和/或纬度差值，并将经纬度信息分别除以经度差值和/或纬度差值，得到向下取整后结果，实现在同一空间区域范围内的经纬度信息生成得到的过滤比对标识相同，从而实现将目标数据按照过滤处理距离值进行分组，以按照空间区分目标数据，进而实现按照空间对目标数据进行过滤的目的。

可选的，根据预设的过滤类型，获取与所述目标数据匹配的数据属性信息，包括：根据预设的发送设备地址过滤类型，获取与所述目标数据匹配的发送设备地址作为数据属性信息；采用与所述过滤类型匹配的过滤处理规则对所述数据属性信息进行处理，生成与所述目标数据匹配的过滤比对标识，包括：根据所述发送设备地址，从预设的发送设备地址与地址标识字符的对应关系中，查询到与所述发送设备地址匹配的地址标识字符，作为与所述目标数据匹配的过滤比对标识。

具体的，发送设备地址具体是指发送设备的MAC地址，MAC地址是由16进制的字符组成，长度是48比特，分为前24位和后24位，示例性的，MAC地址为00-D0-09-A1-D7-B7。地址标识字符用于表示发送设备地址，以区别其他发送设备地址。其中，MAC地址前24位为组织唯一标志符，是由IEEE的注册管理机构给不同厂家分配的代码，区分了不同的厂家。可以通过发送设备地址与地址标识字符的对应关系，将相同厂家的MAC地址对应生成相同的过滤比对标识。例如，MAC地址分别为：00-D0-09-A1-D7-B7和00-D0-09-B1-D7-B7，发送设备地址前24为00-D0-09时对应的地址标识字符为180，则00-D0-09-A1-D7-B7和00-D0-09-B1-D7-B7的过滤比对标识均为180。或者是直接将MAC地址作为地址标识字符，可以针对每个MAC地址仅保留一条数据。此外，发送设备地址与地址标识字符的对应关系还可以是其他情况，对此，本发明实施例不作具体限制。

通过将设置发送设备地址与地址标识字符的对应关系，并根据目标数据对应的发送设备地址，确定地址标识字符，作为与所述目标数据匹配的过滤比对标识，实现通过发送设备地址区分目标数据，进而实现根据发送设备地址对目标数据进行过滤的目的。

可选的，根据预设的过滤类型，获取与所述目标数据匹配的数据属性信息，包括：根据预设的发送设备地址告警类型过滤类型，获取与所述目标数据匹配的发送设备地址告警类型作为数据属性信息；采用与所述过滤类型匹配的过滤处理规则对所述数据属性信息进行处理，生成与所述目标数据匹配的过滤比对标识，包括：根据所述发送设备地址告警类型，从预设的发送设备地址告警类型与告警字符的对应关系中，查询到与所述发送设备地址告警类型匹配的告警字符，作为与所述目标数据匹配的过滤比对标识。

具体的，发送设备地址告警类型是指根据发送设备地址确定的告警级别。例如，发送设备地址告警类型包括正常地区、高危地区和禁行地区。示例性的，发送设备地址告警类型与告警字符的对应关系可以是：正常地区对应的告警字符为0，即过滤比对标识为0；高危地区对应的告警字符为1，即过滤比对标识为1；禁行地区对应的告警字符为2，即过滤比对标识为2。

其中，根据发送设备地址确定告警类型可以是根据发送设备的MAC地址，或者是根据发送设备的地理位置(如经纬度信息)。

通过将设置发送设备地址告警类型和发送设备地址告警类型与告警字符的对应关系，并根据目标数据对应的发送设备地址，确定发送设备地址告警类型，进而确定告警字符，作为与所述目标数据匹配的过滤比对标识，实现通过按照告警级别区分目标设备，进而实现根据发送设备地址的告警级别对目标数据进行过滤的目的。

通过设置多个过滤类型，并分别对应不同的过滤类型采用不同的过滤处理规则对数据属性信息进行处理，实现根据不同的过滤处理规则过滤目标数据，可以根据用户的需求灵活设置数据过滤的条件，即将用户需求转换为过滤条件，提高目标数据过滤的灵活性和针对性，同时根据用户需求提升数据质量，从而，提高用户体验。

S230，判断是否生成至少两个与过滤类型分别匹配的过滤比对标识，如果是，则执行S240；否则执行S250。

具体的，如果存在多个过滤类型，针对每个过滤类型匹配的过滤处理规则对数据属性信息进行处理生成一个过滤比对标识，将多个过滤比对标识进行拼接形成包括多个过滤比对标识的信息的新的过滤比对标识作为目标数据的过滤比对标识。如果仅存在一个过滤类型，则直接将该过滤类型匹配的过滤处理规则对数据属性信息进行处理生成的过滤比对标识作为目标数据的过滤比对标识。

S240，按照设定组合策略对生成的所述至少两个过滤比对标识进行合并处理，得到与所述目标数据匹配的新的过滤比对标识，执行S260。

其中，组合策略可以是指过滤比对标识的组合方法，用于将至少两个过滤比对标识拼接形成一个过滤比对标识。具体的，过滤比对标识为字符串，组合策略可以是将多个过滤比对标识串接在一起。此外，组合策略还可以是其他情况，对此本发明实施例不作具体限制。

S250，将所述过滤类型匹配的过滤比对标识作为与所述目标数据匹配的过滤比对标识。

S260，判断预先建立的标识数据库中是否存储所述过滤比对标识；若是，执行S270；否则，执行S280。

S270，对所述目标数据进行数据过滤，执行S290。

S280，将所述目标数据存储于目标数据库中，并根据所述过滤比对标识更新所述标识数据库。

S290，当所述标识数据库中存储的过滤比对标识满足过期时间条件时，将所述过滤比对标识从所述标识数据库中删除。

过期时间条件可以是指将存储时间超过设定时间阈值的过滤比对标识剔除的条件，用于释放标识数据库的存储资源。设置合理的过期时间可以提高系统资源的效率和利用率。通常过期时间条件的时间阈值大于过滤时间(即过滤处理时间段值)。

需要说明的是，S290可以发生在数据清洗过程中的任意时刻，从而S290可以与S210-S280调换顺序。

本发明实施例通过针对每个过滤类型分别对应生成过滤比对标识并组合生成新的过滤比对标识，可以综合考虑多个过滤类型，实现根据用户需要灵活过滤目标数据，同时通过设定过期时间条件可以及时释放标识数据库的存储资源，实现高效利用系统资源。

实施例三

在图3中示出了本发明实施例提供的一种数据存储控制方法的流程图。将标识数据库具体为Redis数据库，过滤比对标识具体为key。其中，Redis数据库可以是指Redis-cluster的数据库。具体过程为：前端设备通过调用Thrift接口、Restful接口或SQL接口将采集的数据发送至Redis-cluster，根据Redis-cluster的数据库是否存有目标数据对应生成的key，确定是否对该目标数据进行过滤，将未存储在Redis-cluster的数据库中的key所对应的目标数据存入目标数据库。

S310，选择Redis数据库的数据结构类型。

数据结构类型是指存储在数据库中的数据的结构类型。Redis是一个key-value存储系统，可支持存储的value类型包括string(字符串)、list(链表)、set(集合)、zset(sorted set，有序集合)和hash(哈希类型)。具体的，Redis数据库为内存数据库，从而可以减少磁盘的访问次数，并有效利用磁盘的存储空间，提高数据库的性能。

可选的，选择set作为数据结构类型，该集合是String类型的无序集合，集合成员唯一，是由哈希表实现的，添加、删除、查找的时间复杂度都是O(1)。

同时采用SETNX(SET if Not eXists，即只有不存在的时候才设置)方法判断Redis数据库是否存储当前检测的key，并相应返回对应的返回值，示例性的，当Redis数据库中已经存储key时，即为key设置指定的值失败，返回0；当Redis数据库中不存在key时，即可以成功为key设置指定的值，返回1。从而，可以直接根据返回值确定是否将目标数据存储到目标数据库中，从而实现数据清洗。

S320，格式化key。

格式化key是指设置key包括的参数，可以由用户设定，例如，设定key包括时间段过滤类型、空间范围过滤类型、发送设备地址过滤类型和发送设备地址告警类型过滤类型。

示例性的，可以参照如下代码进行设置：

String key＝String.format(redis_key_client，mac_address，Long.parseLong(collect_time)/dedup.time.mac，

longtitude*10000/longtitude.cleam.mac，latitude*10000/latitude.clean.mac，mac_alarm)；

其中，redis_key_client＝％s％d％.4f％.4f％s，用于设置经纬度的聚合精度，第一个％s用于格式化MAC地址，以字符串形式输出，％d用于格式化(标准采集时间值除以过滤处理时间段值的结果)实现时间分段，两个％.4f分别用于格式化经度和纬度，将结果保留到小数点后第四位，第五位四舍五入。第二个％s用于格式化发送设备地址告警类型过滤类型，以字符串形式输出。

mac_address是指发送设备地址。

Long.parseLong(collect_time)是指数据采集时间进行数据转换后得到的标准采集时间值，dedup.time.mac是指过滤处理时间段值。

longtitude*10000/longtitude.cleam.mac是指经度值除以经度差值。

latitude*10000/latitude.clean.mac是指纬度值除以纬度差值。

mac_alarm是指与发送设备地址告警类型匹配的告警字符。

S330，接收目标数据，并根据所述目标数据，确定与所述目标数据匹配的key值。

S340，对与所述目标数据匹配的key值进行加密。

其中，可以通过消息摘要算法(Message Digest Algorithm 5，MD5)对key进行加密，以保证key的安全性，同时，减少key对应的字符的数据量，从而减轻标识数据库的存储压力，释放标识数据库的存储资源。

S350，当确定与所述目标数据匹配的key值存入Redis数据库时，将所述目标数据存入目标数据库。

其中，如果与目标数据匹配的key值无法存入Redis数据库，将该目标数据过滤。

S360，设置key的过期时间，不断更新Redis数据库。

其中，S360可以发生在目标数据过滤过程中的任何时间，从而，S360可以与S310-S350中的任何一步的顺序调换。

具体的，Key值的生命周期可以通过Redis数据库的Expire方法实现，因为Key值是直接写入内存中的，所以设置合理的过期时间对于系统资源的高效利用有着很大的关系。通常过期时间稍大于过滤需要的时间(即过滤处理时间段值)，示例性的，过滤处理时间段值为5分钟，过期时间设置为6分钟。

经试验，本实施例所述的方法中：每秒入库1000条数据条件过滤约耗时300ms，100万Key约占用162M内存。此外，在实际应用中，未开启数据过滤前，一天约5000W数据，开启后一天约3500W数据，每天过滤清洗重复数据约占总量的三分之一。

本发明实施例通过在集群接入数据时，使用Redis-cluster高性能的key-value数据库，针对用户的需求，配置清洗规则，在入库时，通过选择数据结构类型，设计key的各项参数，以及key的过期时间设置，在海量物联网数据接入的同时做到了去重清洗，提升了数据质量，同时，根据用户需求，灵活配置过滤规则，在数据接入的同时做到去重清洗，对于海量物联网数据爆发的时代环境下，不仅减轻了服务器压力，而且智能的提升了数据质量，对于后期的数据挖掘和运算提供了很好的基础。

实施例四

图4是本发明实施例四提供的数据存储控制装置的示意图。实施例四是实现本发明上述实施例提供的数据存储控制方法的相应装置。

具体的，所述数据存储控制装置包括：

目标数据属性信息获取模块410，用于在接收到待存储的目标数据时，根据预设的至少一个过滤类型，获取与所述目标数据匹配的至少一项数据属性信息；

过滤比对标识生成模块420，用于采用与所述过滤类型匹配的过滤处理规则对所述数据属性信息进行处理，生成与所述目标数据匹配的过滤比对标识；

过滤比对标识判断模块430，用于判断预先建立的标识数据库中是否存储所述过滤比对标识；若是，对所述目标数据进行数据过滤；否则，将所述目标数据存储于目标数据库中，并根据所述过滤比对标识更新所述标识数据库。

本发明实施例通过根据过滤类型获取目标数据匹配的数据属性信息，同时，根据过滤类型匹配的过滤处理规则对该数据属性信息进行处理，生成过滤比对标识，并当在标识数据库中存储有该过滤比对标识时，过滤该目标数据，实现在将目标数据存入目标数据库之前对目标数据进行清洗，解决了现有技术中只有将所有数据存入数据库后才能进行数据清洗操作，以导致占用了大量的存储资源且数据存储效率低下的问题，可减少占据存储资源，减少I/O操作，提高数据存储效率，进而提升数据库服务器性能。

进一步的，所述目标数据属性信息获取模块410，具体用于：根据预设的时间段过滤类型，获取与所述目标数据匹配的数据采集时间作为数据属性信息；相应的，所述过滤比对标识生成模块420，具体用于：按照预设的时间单位，对所述数据采集时间进行数据转换，得到标准采集时间值；使用所述标准采集时间值除以预设的过滤处理时间段值后，对计算结果向下取整，并将得到的整数作为与所述目标数据匹配的过滤比对标识；其中，所述过滤处理时间段值与所述时间单位相匹配。

进一步的，所述目标数据属性信息获取模块410，具体用于：根据预设的空间范围过滤类型，获取与所述目标数据匹配的经纬度信息作为数据属性信息；相应的，所述过滤比对标识生成模块420，具体用于：根据预设的过滤处理距离值，获取经度差值和/或纬度差值；使用所述经纬度信息中的经度值除以所述经度差值，和/或使用所述经纬度信息中的纬度值除以所述纬度差值后，对计算结果向下取整，并将得到的整数作为与所述目标数据匹配的过滤比对标识。

进一步的，所述目标数据属性信息获取模块410，具体用于：根据预设的发送设备地址过滤类型，获取与所述目标数据匹配的发送设备地址作为数据属性信息；相应的，所述过滤比对标识生成模块420，具体用于：根据所述发送设备地址，从预设的发送设备地址与地址标识字符的对应关系中，查询到与所述发送设备地址匹配的地址标识字符，作为与所述目标数据匹配的过滤比对标识。

进一步的，所述目标数据属性信息获取模块410，具体用于：根据预设的发送设备地址告警类型过滤类型，获取与所述目标数据匹配的发送设备地址告警类型作为数据属性信息；相应的，所述过滤比对标识生成模块420，具体用于：根据所述发送设备地址告警类型，从预设的发送设备地址告警类型与告警字符的对应关系中，查询到与所述发送设备地址告警类型匹配的告警字符，作为与所述目标数据匹配的过滤比对标识。

进一步的，所述过滤比对标识生成模块420，具体包括：如果确定生成至少两个与过滤类型分别匹配的过滤比对标识，则按照设定组合策略对生成的所述至少两个过滤比对标识进行合并处理，得到与所述目标数据匹配的新的过滤比对标识。

进一步的，所述数据存储控制装置，还包括：当所述标识数据库中存储的过滤比对标识满足过期时间条件时，将所述过滤比对标识从所述标识数据库中删除。

上述数据存储控制装置可执行本发明任意实施例所提供的数据存储控制方法，具备执行的数据存储控制方法相应的功能模块和有益效果。

实施例五

图5为本发明实施例五提供的一种设备的结构示意图。图5示出了适于用来实现本发明实施方式的示例性设备501的框图。图5显示的设备501仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图5所示，设备501以通用计算设备的形式表现。设备501的组件可以包括但不限于：一个或者多个处理器或者处理单元502，系统存储器503，连接不同系统组件(包括系统存储器503和处理单元502)的总线504。

总线504表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture，ISA)总线，微通道体系结构(Micro Channel Architecture，MCA)总线，增强型ISA总线、视频电子标准协会(Video Electronics Standards Association，VESA)局域总线以及外围组件互连(Peripheral Component Interconnect，PCI)总线。

设备501典型地包括多种计算机系统可读介质。这些介质可以是任何能够被设备501访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

系统存储器503可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory，RAM)505和/或高速缓存存储器506。设备501可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统507可以用于读写不可移动的、非易失性磁介质(图5未显示，通常称为“硬盘驱动器”)。尽管图5中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)，数字视盘(Digital Video Disc-Read Only Memory，DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线504相连。存储器503可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块508的程序/实用工具509，可以存储在例如存储器503中，这样的程序模块508包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块508通常执行本发明所描述的实施例中的功能和/或方法。

设备501也可以与一个或多个外部设备510(例如键盘、指向设备、显示器511等)通信，还可与一个或者多个使得用户能与该设备501交互的设备通信，和/或与使得该设备501能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(Input/Output，I/O)接口512进行。并且，设备501还可以通过网络适配器513与一个或者多个网络(例如局域网(Local Area Network，LAN)，广域网(WideArea Network，WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器513通过总线504与设备501的其它模块通信。应当明白，尽管图5中未示出，可以结合设备501使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、磁盘阵列(Redundant Arrays of Inexpensive Disks，RAID)系统、磁带驱动器以及数据备份存储系统等。

处理单元502通过运行存储在系统存储器503中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的一种数据存储控制方法。

也即，所述处理单元执行所述程序时实现：在接收到待存储的目标数据时，根据预设的至少一个过滤类型，获取与所述目标数据匹配的至少一项数据属性信息；采用与所述过滤类型匹配的过滤处理规则对所述数据属性信息进行处理，生成与所述目标数据匹配的过滤比对标识；判断预先建立的标识数据库中是否存储所述过滤比对标识；若是，对所述目标数据进行数据过滤；否则，将所述目标数据存储于目标数据库中，并根据所述过滤比对标识更新所述标识数据库。

实施例六

本发明实施例六提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请所有发明实施例提供的数据存储控制方法：

也即，该程序被处理器执行时实现：在接收到待存储的目标数据时，根据预设的至少一个过滤类型，获取与所述目标数据匹配的至少一项数据属性信息；采用与所述过滤类型匹配的过滤处理规则对所述数据属性信息进行处理，生成与所述目标数据匹配的过滤比对标识；判断预先建立的标识数据库中是否存储所述过滤比对标识；若是，对所述目标数据进行数据过滤；否则，将所述目标数据存储于目标数据库中，并根据所述过滤比对标识更新所述标识数据库。

本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、RAM、只读存储器(Read OnlyMemory，ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式CD-ROM、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、无线电频率(RadioFrequency，RF)等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括LAN或WAN——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本发明中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种数据存储控制方法，其特征在于，包括：

在接收到待存储的目标数据时，根据预设的至少一个过滤类型，获取与所述目标数据匹配的至少一项数据属性信息；

采用与所述过滤类型匹配的过滤处理规则对所述数据属性信息进行处理，生成与所述目标数据匹配的过滤比对标识；

判断预先建立的标识数据库中是否存储所述过滤比对标识；

若是，对所述目标数据进行数据过滤；否则，将所述目标数据存储于目标数据库中，并根据所述过滤比对标识更新所述标识数据库。

2.根据权利要求1所述的方法，其特征在于，所述根据预设的过滤类型，获取与所述目标数据匹配的数据属性信息，包括：

根据预设的时间段过滤类型，获取与所述目标数据匹配的数据采集时间作为数据属性信息；

所述采用与所述过滤类型匹配的过滤处理规则对所述数据属性信息进行处理，生成与所述目标数据匹配的过滤比对标识，包括：

按照预设的时间单位，对所述数据采集时间进行数据转换，得到标准采集时间值；

使用所述标准采集时间值除以预设的过滤处理时间段值后，对计算结果向下取整，并将得到的整数作为与所述目标数据匹配的过滤比对标识；

其中，所述过滤处理时间段值与所述时间单位相匹配。

3.根据权利要求1所述的方法，其特征在于，所述根据预设的过滤类型，获取与所述目标数据匹配的数据属性信息，包括：

根据预设的空间范围过滤类型，获取与所述目标数据匹配的经纬度信息作为数据属性信息；

所述采用与所述过滤类型匹配的过滤处理规则对所述数据属性信息进行处理，生成与所述目标数据匹配的过滤比对标识，包括：

根据预设的过滤处理距离值，获取经度差值和/或纬度差值；

使用所述经纬度信息中的经度值除以所述经度差值，和/或使用所述经纬度信息中的纬度值除以所述纬度差值后，对计算结果向下取整，并将得到的整数作为与所述目标数据匹配的过滤比对标识。

4.根据权利要求1所述的方法，其特征在于，所述根据预设的过滤类型，获取与所述目标数据匹配的数据属性信息，包括：

根据预设的发送设备地址过滤类型，获取与所述目标数据匹配的发送设备地址作为数据属性信息；

所述采用与所述过滤类型匹配的过滤处理规则对所述数据属性信息进行处理，生成与所述目标数据匹配的过滤比对标识，包括：

根据所述发送设备地址，从预设的发送设备地址与地址标识字符的对应关系中，查询到与所述发送设备地址匹配的地址标识字符，作为与所述目标数据匹配的过滤比对标识。

5.根据权利要求1所述的方法，其特征在于，所述根据预设的过滤类型，获取与所述目标数据匹配的数据属性信息，包括：

根据预设的发送设备地址告警类型过滤类型，获取与所述目标数据匹配的发送设备地址告警类型作为数据属性信息；

所述采用与所述过滤类型匹配的过滤处理规则对所述数据属性信息进行处理，生成与所述目标数据匹配的过滤比对标识，包括：

根据所述发送设备地址告警类型，从预设的发送设备地址告警类型与告警字符的对应关系中，查询到与所述发送设备地址告警类型匹配的告警字符，作为与所述目标数据匹配的过滤比对标识。

6.根据权利要求1-5任一项所述的方法，其特征在于，所述采用与所述过滤类型匹配的过滤处理规则对所述数据属性信息进行处理，生成与所述目标数据匹配的过滤比对标识，具体包括：

如果确定生成至少两个与过滤类型分别匹配的过滤比对标识，则按照设定组合策略对生成的所述至少两个过滤比对标识进行合并处理，得到与所述目标数据匹配的新的过滤比对标识。

7.根据权利要求1所述的方法，其特征在于，还包括：

当所述标识数据库中存储的过滤比对标识满足过期时间条件时，将所述过滤比对标识从所述标识数据库中删除。

8.一种数据存储控制装置，其特征在于，包括：

目标数据属性信息获取模块，用于在接收到待存储的目标数据时，根据预设的至少一个过滤类型，获取与所述目标数据匹配的至少一项数据属性信息；

过滤比对标识生成模块，用于采用与所述过滤类型匹配的过滤处理规则对所述数据属性信息进行处理，生成与所述目标数据匹配的过滤比对标识；

过滤比对标识判断模块，用于判断预先建立的标识数据库中是否存储所述过滤比对标识；若是，对所述目标数据进行数据过滤；否则，将所述目标数据存储于目标数据库中，并根据所述过滤比对标识更新所述标识数据库。

9.一种设备，其特征在于，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7任一所述的数据存储控制方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的数据存储控制方法。

Images