CN111767276B - 数据存储方法、装置、电子设备及存储介质 - Google Patents

数据存储方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111767276B
CN111767276B CN202010603258.6A CN202010603258A CN111767276B CN 111767276 B CN111767276 B CN 111767276B CN 202010603258 A CN202010603258 A CN 202010603258A CN 111767276 B CN111767276 B CN 111767276B
Authority
CN
China
Prior art keywords
acquisition
data
record table
equipment
acquired data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010603258.6A
Other languages
English (en)
Other versions
CN111767276A (zh
Inventor
崔轩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202010603258.6A priority Critical patent/CN111767276B/zh
Publication of CN111767276A publication Critical patent/CN111767276A/zh
Application granted granted Critical
Publication of CN111767276B publication Critical patent/CN111767276B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/215Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2282Tablespace storage structures; Management thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K17/00Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本申请公开了数据存储方法、装置、电子设备及存储介质,涉及大数据领域。具体实现方案为:获取第一采集设备的第一采集数据;基于采集数据记录表结构中包含的字段,对所述第一采集设备的所述第一采集数据进行过滤,得到过滤后的第一采集数据;基于过滤后的所述第一采集数据,生成对应的采集数据记录表;对所述第一采集数据对应的采集数据记录表进行存储。

Description

数据存储方法、装置、电子设备及存储介质
技术领域
本申请涉及人工智能领域,尤其涉及大数据领域。本申请提供了一种数据存储方法、装置、电子设备及存储介质。
背景技术
现有技术的某些场景下如公安机关采集的大数据通常存在多种跨媒体数据信息,不同媒体的数据之间记录不同的设备信息,现有技术的处理方案中,通常只能对单个数据源进行处理,不同数据源需要采用多套不同的方案分别处理,如此就给后续使用不同数据源或不同采集设备的采集数据带来了不便。
发明内容
本公开提供了一种数据存储方法、装置、电子设备及存储介质。
根据本公开的一方面,提供了一种数据存储方法,包括:
获取第一采集设备的第一采集数据;
基于采集数据记录表结构中包含的字段,对所述第一采集设备的所述第一采集数据进行过滤,得到过滤后的第一采集数据;
基于过滤后的所述第一采集数据,生成对应的采集数据记录表;
对所述第一采集数据对应的采集数据记录表进行存储。
根据本公开的另一方面,提供了一种数据存储装置,包括:
获取模块,用于获取第一采集设备的第一采集数据;
过滤模块,用于基于采集数据记录表结构中包含的字段,对所述第一采集设备的所述第一采集数据进行过滤,得到过滤后的第一所述采集数据;基于过滤后的所述第一采集数据,生成对应的采集数据记录表;
存储模块,用于对所述第一采集数据对应的所述采集数据记录表进行存储。
根据本公开的一方面,提供了一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行前述方法。
根据本公开的一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行前述方法。
根据本公开的一方面,提供了一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现如上所述的方法。
根据本申请的技术,基于统一的记录表结构对采集数据进行处理并存储,如此,就可以不依赖于采集设备的类型,构建用于多种采集设备或多种数据源的处理方式,将多种采集设备的采集数据进行统一结构的处理,从而为后续使用多个采集设备的采集数据进行处理提供便利。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本申请的限定。其中:
图1是根据本申请实施例的数据存储方法流程示意图一;
图2是根据本申请实施例的数据存储方法流程示意图二;
图3是根据本申请实施例的数据存储方法流程示意图三;
图4是根据本申请实施例的数据存储装置组成结构示意图;
图5是用来实现本申请实施例的数据存储方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明,其中包括本申请实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本申请的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
本申请实施例提供了一种数据存储方法,可以应用于电子设备中,其中所述电子设备可以为服务器。本实施例如图1所示,包括:
S101:获取第一采集设备的第一采集数据;
S102:基于采集数据记录表结构中包含的字段,对所述第一采集设备的所述第一采集数据进行过滤,得到过滤后的第一采集数据;
S103:基于过滤后的所述第一采集数据,生成对应的采集数据记录表;
S104:对所述第一采集数据对应的所述采集数据记录表进行存储。
前述S101中第一采集设备可以为多个采集设备中的一个。可以认为是多个采集设备中的任意一个采集设备将采集到的采集数据发送给服务器,发来采集数据的采集设备即为S101中的第一采集设备。相应的,将本次第一采集设备发来的采集数据称为第一采集数据。
也就是说,虽然本申请仅对一个采集设备的采集数据的处理做了说明,但是在处理多个采集设备的采集数据是均采用相同的方式,只是不再一一赘述。
这里,获取第一采集设备的第一采集数据,可以为第一采集设备根据预设时间间隔,周期性的向服务器主动发送器周期内采集得到的采集数据;
或者,获取第一采集设备的第一采集数据,可以为服务器根据预设的时间间隔周期性的从第一采集设备获取其在该时间间隔内采集得到的采集数据。
S102中,采集数据记录表结构可以为预先设置的,针对不同采集设备的不同的采集数据,可以均采用统一的采集数据记录表结构进行后续的处理。
也就是在执行本实施例前述处理之前,可以预配置或预设采集数据记录表结构。另外,还可以包括预配置或预设采集设备记录表结构。
不同采集设备的采集数据和设备信息均有差异,但是也有相同的部分,比如采集数据一般都有设备id、设备采集时间、设备采集对象id、设备采集经纬度等,本申请通过定义这些相同的字段,然后将不同的字段统一进行序列化处理存到一个其他字段中,从而实现聚合表的结构。
所述采集数据记录表结构,包括以下字段至少之一:采集对象的相关信息、采集设备的相关信息、采集数据的内容、采集数据的资源类型、采集数据的时间相关信息。
其中,采集对象的相关信息,可以包括有采集对象的标识、采集对象的标识类型。其中采集对象的标识具体可以理解为在采集对象的标识类型下的标识。假设采集设备有人脸识别设备、射频识别(RFID,Radio Frequency Identification)设备、其他设备;那么相应的,采集设备得到的采集数据可以为:人脸识别设备记录、RFID设备记录、其他设备记录。举例来说,人脸设备记录,则采集对象的标识类型为人脸标识,采集对象的标识即为在该类设备中的采集对象的该类型下的标识。
所述采集设备的相关信息,可以包括有采集设备的标识、采集设备的标识类型等。类似的,采集设备的标识类型可以为人脸识别设备的类型,具体的采集设备的标识即为人脸识别设备的具体标识。
所述采集数据的内容,可以为采集数据所对应的具体内容。
采集数据的资源类型,可以为采集数据为哪种类型的指示。
采集数据的时间相关信息,可以包括采集开始时间、采集结束时间、采集时间。其中,采集时间可以为采集数据所对应的时间段,比如采集数据在哪天的那个时间内采集的与时间段相关的信息。
参见以下表1为一种采集数据记录表结构的示例:
表1
S102中,服务器在对采集数据存储之前,需要对采集数据进行清洗,也就是通过上述采集数据记录表结构中包含的字段对采集数据进行统一处理。具体来说:
所述第一采集设备的所述第一采集数据采集数据中可以包含有采集设备id、采集时间和采集设备的采集类型以及其他一些字段,需要经过数据清洗,过滤掉采集数据记录表结构中没有的部分字段所对应的内容,或者过滤掉部分内容为空的字段的内容,最终得到处理后的第一采集数据。
然后,执行S103,对过滤后的第一采集数据进行聚合得到第一采集数据所对应的采集数据记录表。
其中需要注意的是不同类型的采集数据(或可以称为媒体记录数据)可能有不同的其他一些字段,为了保留后续兼容性,还可以将这部分字段放在扩展字段中。也就是统一将这些字段以原始的形式,序列化后放入到对应的采集数据记录表的其他字段中。
S104中,所述对所述第一采集数据对应的采集数据记录表进行存储,包括:
基于所述第一采集数据所对应的所述采集数据记录表中的采集数据的时间相关信息以及采集数据的资源类型,确定对应的目标存储分区;
将所述第一采集数据对应的所述采集数据记录表存储至所述目标存储分区。
由于采集数据(或媒体记录数据)一般数据量比较大,并且是源源不断进来的,因此对大数据场景下的记录采集数据需要进行分区处理。
本实施例S104中使用将媒体记录数据按照时间相关信息以及采集数据的资源类型作为分区的索引或作为分区的类型的划分,将第一采集数据放入对应的存储分区中。
也就是,将天、小时、资源类型三者作为分区字段进行分区域的存储的处理,如此,可以便于后续按时间对采集数据进行读取以及使用,也便于服务器中增加存储数据的处理效率。
此外,本实施例还提供对采集设备的设备信息进行记录的方法,如图2所示,可以包括:
S201:获取至少一个采集设备的设备信息;其中,所述至少一个采集设备中包含所述第一采集设备;
S202:基于采集设备记录表结构,将至少一个采集设备中每一个采集设备的设备信息记录在对应的采集设备记录表;
S203:将所述至少一个采集设备中每一个采集设备所对应的采集设备记录表进行存储。
前述S201中,至少一个采集设备的设备信息可以为服务器从采集设备中直接获取的,采集设备的设备信息相对于前述采集数据较为稳定,因此可以是在新增一采集设备的时候,采集设备向服务器上报其设备信息;或者是在某一个采集设备硬件升级或发生改变的时候,采集设备向服务器上报其对应的设备信息。
在执行本实施例S202或S201之前,还可以包括:预配置或预设采集设备记录表结构。
所述采集设备记录表结构包括以下字段至少之一:采集设备的相关信息、采集设备的位置相关信息。
其中,采集设备的相关信息可以包括有采集设备的标识及其对应的标识类型、还可以包括采集设备的名称。关于标识类型以及标识的关系与前述说明类似,这里不再穷举。
采集设备的位置相关信息,可以包括:采集设备安装的经度、维度、具体的地址等内容。
表2是本申请设备采集设备记录表结构的一种示例:
表2
S202中,所述基于采集设备记录表结构,将至少一个采集设备中每一个采集设备的设备信息记录在对应的采集设备记录表,包括:
基于所述采集设备记录表结构中包含的字段,对所述每一个采集设备的设备信息进行过滤,得到处理后的所述每一个采集设备的设备信息;所述采集设备记录表结构包括以下字段至少之一:采集设备的相关信息、采集设备的位置相关信息;
基于处理后的所述每一个采集设备的设备信息,生成所述每一个采集设备所对应的所述采集设备记录表。
也就是说,采集设备的设备信息(或称为媒体设备信息)中包含媒体设备的各种信息,不同设备带有多种不同的额外信息,因此除了对媒体设备数据的字段转换之外,还要将这些额外的信息放在其他字段中,方便后续兼容性处理。同时也要对一些必备字段进行过滤清洗,去除没意义的采集设备的相关记录。
执行S202将聚合处理后的某一个采集设备的设备信息(或称为媒体设备信息)统一存放在一个采集设备所对应的采集设备记录表中,然后执行S203,对采集设备记录表进行存储,比如可以存储在服务器的数据库中,基于这样的方式进行保存可以方便后续统一对采集设备的设备信息进行读取和查询。
综上,本实施例提供的方案可以分为以下几个部分:定义媒体记录数据(或称为采集数据记录表结构)、定义媒体设备数据的聚合表结构(或称为采集设备记录表结构)、媒体记录数据(或采集数据)清洗、媒体记录数据(或采集数据)导入、媒体设备数据(或采集设备的设备信息)清洗、媒体设备数据(或采集设备的设备信息)导入。
结合图3对本申请进行一种示例性说明,假设当前包含的采集设备有人脸设备、RFID设备、其他设备;相应的,上述不同的采集设备的采集数据可以包括:人脸采集记录、RFID采集记录、其他采集记录。
针对采集设备的设备信息,可以通过字段清洗、脏数据过滤等处理后,得到处理之后的采集设备的设备信息,然后将处理后的采集设备的设备信息以采集设备记录表的形式进行导入以供后续应用程序使用。如图3所示,可以分别对人脸设备、RFID设备、其他设备的设备信息进行字段清洗、脏数据过滤等处理后,得到处理之后的采集设备的设备信息,然后将处理后的采集设备的设备信息以采集设备记录表的形式进行导入以供后续应用程序使用。
针对任意一个采集设备的采集数据(或采集记录),同样需要进行字段清洗、脏数据过滤等处理,将处理后的采集数据以采集数据记录表的形式进行记录并导入,以供后续应用程序使用。如图3所示,以不同的采集设备的采集数据分别为人脸采集记录、RFID采集记录、其他采集记录为例,后续对上述人脸采集记录、RFID采集记录、其他采集记录分别进行字段清洗、脏数据过滤得到处理后的人脸采集记录、RFID采集记录、其他采集记录;然后根据不同的采集记录所对应的目标存储分区进行数据分区导入以供后续应用程序使用。
进一步地,基于前述处理后存储的采集数据记录表以及采集设备记录表,供后续应用程序使用的场景可以根据实际情况进行设置,比如,可以用于针对某些类型的用户进行行为习惯的统计,那么可以直接基于以上存储的记录表进行设备的相关信息的获取以及某些时段的用户对应的采集数据进行提取进行后续分析即可。
可见,通过采用上述方案,基于统一的记录表结构对采集数据进行处理并进行存储,如此,就可以不依赖于采集设备的类型,构建可以用于多种采集设备或多种数据源的处理方式,将多种采集设备的采集数据进行统一结构的处理,从而为后续使用多个采集设备的采集数据进行处理提供便利。
本申请实施例还提供一种数据存储装置,如图4所示,包括:
获取模块301,用于获取第一采集设备的第一采集数据;
过滤模块302,用于基于采集数据记录表结构中包含的字段,对所述第一采集设备的所述第一采集数据进行过滤,得到过滤后的第一所述采集数据;基于过滤后的所述第一采集数据,生成对应的采集数据记录表;
存储模块303,用于对所述第一采集数据对应的采集数据记录表进行存储。
其中,所述采集数据记录表结构,包括以下字段至少之一:采集对象的相关信息、采集设备的相关信息、采集数据的内容、采集数据的时间相关信息。
存储模块303,用于基于所述第一采集数据所对应的采集数据记录表中的采集数据的时间相关信息以及采集数据的资源类型,确定对应的目标存储分区;将所述第一采集数据对应的所述采集数据记录表添加至所述目标存储分区。
进一步地,获取模块301,用于获取至少一个采集设备的设备信息;其中,所述至少一个采集设备中包含所述第一采集设备;
过滤模块302,用于基于采集设备记录表结构,将至少一个采集设备中每一个采集设备的设备信息记录在对应的采集设备记录表;
存储模块303,还用于将所述至少一个采集设备中每一个采集设备所对应的采集设备记录表进行存储。
过滤模块302,用于基于采集设备记录表结构,对每一个采集设备的设备信息进行过滤,得到所述采集设备记录表结构中包含的数据作为处理后的每一个采集设备的设备信息;所述采集设备记录表结构包括以下至少之一:采集设备的相关信息、采集设备的位置相关信息;基于处理后的每一个采集设备的设备信息,生成所述每一个采集设备所对应的采集设备记录表。
可见,通过采用上述方案,基于统一的记录表结构对采集数据进行处理并进行存储,如此,就可以不依赖于采集设备的类型,构建可以用于多种采集设备或多种数据源的处理方式,将多种采集设备的采集数据进行统一结构的处理,从而为后续使用多个采集设备的采集数据进行处理提供便利。
根据本申请的实施例,本申请还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
如图5所示,是根据本申请实施例的数据存储方法的电子设备的框图。该电子设备可以为前述部署设备或代理设备。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图5所示,该电子设备包括:一个或多个处理器401、存储器402,以及用于连接各部件的接口,包括高速接口和低速接口。各个部件利用不同的总线互相连接,并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理,包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如,耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中,若需要,可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样,可以连接多个电子设备,各个设备提供部分必要的操作(例如,作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图5中以一个处理器401为例。
存储器402即为本申请所提供的非瞬时计算机可读存储介质。其中,所述存储器存储有可由至少一个处理器执行的指令,以使所述至少一个处理器执行本申请所提供的数据存储方法。本申请的非瞬时计算机可读存储介质存储计算机指令,该计算机指令用于使计算机执行本申请所提供的数据存储方法。
存储器402作为一种非瞬时计算机可读存储介质,可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块,如本申请实施例中的数据存储方法对应的程序指令/模块(例如,获取模块、过滤模块、存储模块)。处理器401通过运行存储在存储器402中的非瞬时软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述方法实施例中的数据存储方法。
存储器402可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据电子设备的使用所创建的数据等。此外,存储器402可以包括高速随机存取存储器,还可以包括非瞬时存储器,例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中,存储器402可选包括相对于处理器401远程设置的存储器,这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
数据存储方法的电子设备还可以包括:输入装置403和输出装置404。处理器401、存储器402、输入装置403和输出装置404可以通过总线或者其他方式连接,图5中以通过总线连接为例。
输入装置403可接收输入的数字或字符信息,以及产生与电子设备的用户设置以及功能控制有关的键信号输入,例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置404可以包括显示设备、辅助照明装置(例如,LED)和触觉反馈装置(例如,振动电机)等。该显示设备可以包括但不限于,液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中,显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令,并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的,术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如,磁盘、光盘、存储器、可编程逻辑装置(PLD)),包括,接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与VPS服务中,存在的管理难度大,业务扩展性弱的缺陷。
根据本申请实施例的技术方案,基于统一的记录表结构对采集数据进行处理并进行存储,如此,就可以不依赖于采集设备的类型,构建可以用于多种采集设备或多种数据源的处理方式,将多种采集设备的采集数据进行统一结构的处理,从而为后续使用多个采集设备的采集数据进行处理提供便利。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本申请公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本申请保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等,均应包含在本申请保护范围之内。

Claims (12)

1.一种数据存储方法,包括:
获取第一采集设备的第一采集数据;
基于采集数据记录表结构中包含的字段,对所述第一采集设备的所述第一采集数据进行过滤,得到过滤后的第一采集数据,所述采集数据记录表结构包括多个第一字段和第二字段;
基于过滤后的所述第一采集数据,生成对应的采集数据记录表,过滤后的所述第一采集数据中与第一字段相关的信息作为所述采集数据记录表中的第一字段的内容,过滤后的所述第一采集数据中的其他信息进行序列化处理后作为所述采集数据记录表中的第二字段的内容;
对所述第一采集数据对应的所述采集数据记录表进行存储。
2.根据权利要求1所述的方法,其中,所述采集数据记录表结构,包括以下字段至少之一:采集对象的相关信息、采集设备的相关信息、采集数据的内容、采集数据的时间相关信息。
3.根据权利要求2所述的方法,其中,所述对所述第一采集数据对应的采集数据记录表进行存储,包括:
基于所述第一采集数据所对应的所述采集数据记录表中的采集数据的时间相关信息以及采集数据的资源类型,确定对应的目标存储分区;
将所述第一采集数据对应的所述采集数据记录表存储至所述目标存储分区。
4.根据权利要求1-3任一项所述的方法,其中,还包括:
获取至少一个采集设备的设备信息;其中,所述至少一个采集设备中包含所述第一采集设备;
基于所述采集设备记录表结构,将所述至少一个采集设备中每一个采集设备的设备信息记录在对应的采集设备记录表;
对所述至少一个采集设备中每一个采集设备所对应的所述采集设备记录表进行存储。
5.根据权利要求4所述的方法,其中,所述基于采集设备记录表结构,将至少一个采集设备中每一个采集设备的设备信息记录在对应的采集设备记录表,包括:
基于所述采集设备记录表结构中包含的字段,对所述每一个采集设备的设备信息进行过滤,得到处理后的所述每一个采集设备的设备信息;所述采集设备记录表结构包括以下字段至少之一:采集设备的相关信息、采集设备的位置相关信息;
基于处理后的所述每一个采集设备的设备信息,生成所述每一个采集设备所对应的所述采集设备记录表。
6.一种数据存储装置,包括:
获取模块,用于获取第一采集设备的第一采集数据;
过滤模块,用于基于采集数据记录表结构中包含的字段,对所述第一采集设备的所述第一采集数据进行过滤,得到过滤后的第一所述采集数据;基于过滤后的所述第一采集数据,生成对应的采集数据记录表,所述采集数据记录表结构包括多个第一字段和第二字段,过滤后的所述第一采集数据中与第一字段相关的信息作为所述采集数据记录表中的第一字段的内容,过滤后的所述第一采集数据中的其他信息进行序列化处理后作为所述采集数据记录表中的第二字段的内容;
存储模块,用于对所述第一采集数据对应的所述采集数据记录表进行存储。
7.根据权利要求6所述的装置,其中,所述采集数据记录表结构,包括以下字段至少之一:采集对象的相关信息、采集设备的相关信息、采集数据的内容、采集数据的时间相关信息。
8.根据权利要求7所述的装置,其中,所述存储模块,用于基于所述第一采集数据所对应的所述采集数据记录表中的采集数据的时间相关信息以及采集数据的资源类型,确定对应的目标存储分区;将所述第一采集数据对应的所述采集数据记录表存储至所述目标存储分区。
9.根据权利要求6-8任一项所述的装置,其中,
所述获取模块,还用于获取至少一个采集设备的设备信息;其中,所述至少一个采集设备中包含所述第一采集设备;
所述过滤模块,还用于基于所述采集设备记录表结构,将所述至少一个采集设备中每一个采集设备的设备信息记录在对应的采集设备记录表;
所述存储模块,还用于对所述至少一个采集设备中每一个采集设备所对应的所述采集设备记录表进行存储。
10.根据权利要求9所述的装置,其中,所述过滤模块,用于基于所述采集设备记录表结构中包含的字段,对所述每一个采集设备的设备信息进行过滤,得到处理后的所述每一个采集设备的设备信息;所述采集设备记录表结构包括以下字段至少之一:采集设备的相关信息、采集设备的位置相关信息;基于处理后的所述每一个采集设备的设备信息,生成所述每一个采集设备所对应的所述采集设备记录表。
11.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-5中任一项所述的方法。
12.一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行权利要求1-5中任一项所述的方法。
CN202010603258.6A 2020-06-29 2020-06-29 数据存储方法、装置、电子设备及存储介质 Active CN111767276B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010603258.6A CN111767276B (zh) 2020-06-29 2020-06-29 数据存储方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010603258.6A CN111767276B (zh) 2020-06-29 2020-06-29 数据存储方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111767276A CN111767276A (zh) 2020-10-13
CN111767276B true CN111767276B (zh) 2024-03-15

Family

ID=72722854

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010603258.6A Active CN111767276B (zh) 2020-06-29 2020-06-29 数据存储方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111767276B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102833320A (zh) * 2012-08-08 2012-12-19 浙江工业大学 Gps车辆监控系统的网页客户端系统
CN107391744A (zh) * 2017-08-10 2017-11-24 东软集团股份有限公司 数据存储、读取方法、装置及其设备
CN108965483A (zh) * 2018-09-28 2018-12-07 武汉慧联无限科技有限公司 物联网系统大量设备的数据存储及推送的系统实现方法
CN110912782A (zh) * 2019-12-17 2020-03-24 锐捷网络股份有限公司 一种数据采集方法、装置及存储介质
CN111081329A (zh) * 2019-12-20 2020-04-28 天津开心生活科技有限公司 临床数据自动录入方法及装置、电子设备、存储介质
CN111125089A (zh) * 2019-11-05 2020-05-08 远景智能国际私人投资有限公司 时序数据存储方法、装置、服务器及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10657115B2 (en) * 2016-03-31 2020-05-19 Mckesson Corporation Methods and apparatuses for improved data modeling using a relational database management system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102833320A (zh) * 2012-08-08 2012-12-19 浙江工业大学 Gps车辆监控系统的网页客户端系统
CN107391744A (zh) * 2017-08-10 2017-11-24 东软集团股份有限公司 数据存储、读取方法、装置及其设备
CN108965483A (zh) * 2018-09-28 2018-12-07 武汉慧联无限科技有限公司 物联网系统大量设备的数据存储及推送的系统实现方法
CN111125089A (zh) * 2019-11-05 2020-05-08 远景智能国际私人投资有限公司 时序数据存储方法、装置、服务器及存储介质
CN110912782A (zh) * 2019-12-17 2020-03-24 锐捷网络股份有限公司 一种数据采集方法、装置及存储介质
CN111081329A (zh) * 2019-12-20 2020-04-28 天津开心生活科技有限公司 临床数据自动录入方法及装置、电子设备、存储介质

Also Published As

Publication number Publication date
CN111767276A (zh) 2020-10-13

Similar Documents

Publication Publication Date Title
US11362923B2 (en) Techniques for infrastructure analysis of internet-based activity
CN111460285B (zh) 信息处理方法、装置、电子设备和存储介质
CN107133309B (zh) 流程实例的存储、查询方法及装置、存储介质及电子设备
CN112115147B (zh) 数据处理的方法、装置、设备和存储介质
CN112328658B (zh) 用户档案数据处理方法、装置、设备及存储介质
CN111090691B (zh) 一种数据处理方法、装置、电子设备和存储介质
CN111625552B (zh) 数据收集方法、装置、设备和可读存储介质
CN112015468B (zh) 一种接口文档处理方法、装置、电子设备以及存储介质
CN112561332B (zh) 模型管理方法、装置、电子设备、存储介质和程序产品
US20240073222A1 (en) Techniques for managing projects and monitoring network-based assets
CN111767321A (zh) 节点关系网络的确定方法、装置、电子设备和存储介质
CN111814067B (zh) 好友推荐方法、装置、设备及存储介质
CN110545324B (zh) 数据处理方法、装置、系统、网络设备和存储介质
EP3933617A1 (en) Method, apparatus, device and storage medium for customizing personalized rules for entities
CN111581049A (zh) 分布式系统运行状态监测方法、装置、设备及存储介质
CN111726402B (zh) 用户行为数据处理方法、装置、电子设备及存储介质
CN111985760B (zh) 数据内容的评价方法、装置、电子设备及存储介质
CN111767276B (zh) 数据存储方法、装置、电子设备及存储介质
CN110995687A (zh) 一种猫池设备识别方法、装置、设备及存储介质
CN112735601B (zh) 利用蓝牙确定传染病密接人群的测试方法、装置及设备
CN110580322B (zh) 独立访客信息处理的方法、装置、电子设备及存储介质
US11675683B2 (en) Method, electronic device, and computer program product for monitoring storage system
CN111597026B (zh) 用于获取信息的方法及装置
CN112486979B (zh) 数据处理方法、装置和系统、电子设备以及计算机可读存储介质
CN112446728B (zh) 广告召回方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant