CN114491137A - 数据存储方法、相关设备及介质 - Google Patents
数据存储方法、相关设备及介质 Download PDFInfo
- Publication number
- CN114491137A CN114491137A CN202210139651.3A CN202210139651A CN114491137A CN 114491137 A CN114491137 A CN 114491137A CN 202210139651 A CN202210139651 A CN 202210139651A CN 114491137 A CN114491137 A CN 114491137A
- Authority
- CN
- China
- Prior art keywords
- data
- target
- attribute
- processed
- index
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013500 data storage Methods 0.000 title claims abstract description 129
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000012545 processing Methods 0.000 claims abstract description 212
- 230000015654 memory Effects 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 13
- 238000004458 analytical method Methods 0.000 description 33
- 238000001914 filtration Methods 0.000 description 10
- 230000007704 transition Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000012795 verification Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000012216 screening Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
- G06F16/61—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
Abstract
本申请实施例公开了一种数据存储方法、相关设备及介质,应用于数据处理技术领域。其中方法包括:获取N个目标数据的属性数据集,将N个属性数据集存储于数据存储空间,从N个属性数据集中确定出每个目标数据的索引数据,将每个索引数据存储于索引存储空间,根据每个索引数据确定待处理目标数据和处理方式,按照处理方式对待处理目标数据进行数据处理得到数据处理结果,在数据存储空间中将数据处理结果添加到待处理目标数据的属性数据集,生成用于指示已进行数据处理的已处理属性数据,在索引存储空间中将已处理属性数据添加到待处理目标数据的索引数据。采用本申请,可以提高存储安全性。本申请涉及区块链技术,如可从区块链获取目标数据。
Description
技术领域
本申请涉及数据处理技术领域,具体涉及一种数据存储方法、相关设备及介质。
背景技术
目前,根据业务需求的不同,通常存在大量数据以及对该数据进行处理后得到的处理结果需要进行存储,例如需要对音频数据以及对音频数据进行音频转义后的转义结果进行存储。因此,如何优化数据存储过程并提高数据存储的安全性成为一个亟待解决的问题。
发明内容
本申请实施例提供了一种数据存储方法、相关设备及介质,可以优化数据存储过程并提高数据存储的安全性。
一方面,本申请实施例提供了一种数据存储方法,该方法包括:
获取N个目标数据中每个目标数据的属性数据集,得到所述N个属性数据集;所述属性数据集包括在M个属性字段下的属性数据,M为正整数,N为正整数;
将所述N个属性数据集存储于数据存储空间;
分别从所述N个属性数据集中确定出所述每个目标数据的索引数据,并将所述每个目标数据的索引数据存储于索引存储空间;所述索引数据包括Z个属性字段下的属性数据,Z为小于或等于M的正整数;
根据所述每个目标数据的索引数据从所述N个目标数据中确定出待处理目标数据以及针对所述待处理目标数据的处理方式,并按照所述处理方式对所述待处理目标数据进行数据处理,得到数据处理结果;
在所述数据存储空间中将所述数据处理结果添加到所述待处理目标数据的属性数据集,以及生成用于指示所述待处理目标数据已进行数据处理的已处理属性数据,并在所述索引存储空间中将所述已处理属性数据添加到所述待处理目标数据的索引数据。
一方面,本申请实施例提供了一种数据存储装置,该装置包括:
获取模块,用于获取N个目标数据中每个目标数据的属性数据集,得到所述N个属性数据集;所述属性数据集包括在M个属性字段下的属性数据,M为正整数,N为正整数;
存储模块,用于将所述N个属性数据集存储于数据存储空间;
所述存储模块,还用于分别从所述N个属性数据集中确定出所述每个目标数据的索引数据,并将所述每个目标数据的索引数据存储于索引存储空间;所述索引数据包括Z个属性字段下的属性数据,Z为小于或等于M的正整数;
处理模块,用于根据所述每个目标数据的索引数据从所述N个目标数据中确定出待处理目标数据以及针对所述待处理目标数据的处理方式,并按照所述处理方式对所述待处理目标数据进行数据处理,得到数据处理结果;
所述存储模块,还用于在所述数据存储空间中将所述数据处理结果添加到所述待处理目标数据的属性数据集,以及生成用于指示所述待处理目标数据已进行数据处理的已处理属性数据,并在所述索引存储空间中将所述已处理属性数据添加到所述待处理目标数据的索引数据。
一方面,本申请实施例提供了一种电子设备,该电子设备包括处理器和存储器,其中,存储器用于存储计算机程序,该计算机程序包括程序指令,处理器被配置用于调用该程序指令,以执行上述方法中的部分或全部步骤。
一方面,本申请实施例提供了一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,该计算机程序包括程序指令,该程序指令被处理器执行时,用于执行上述方法中的部分或全部步骤。
本申请实施例中,可以获取N个目标数据的属性数据集,得到N个属性数据集,将N个属性数据集存储于数据存储空间,分别从N个属性数据集中确定出每个目标数据的索引数据,并将每个目标数据的索引数据存储于索引存储空间,根据每个目标数据的索引数据确定出待处理目标数据以及处理方式,并按照处理方式对待处理目标数据进行数据处理,得到数据处理结果,在数据存储空间中将数据处理结果添加到待处理目标数据的属性数据集,以及生成用于指示已进行数据处理的已处理属性数据,并在索引存储空间中将已处理属性数据添加到待处理目标数据的索引数据。通过上述方法,可以优化数据存储过程,实现分布式存储,并提高数据存储的安全性和可靠性,以及可以根据索引数据确定出需要进行处理的数据,并将处理后得到的结果进行存储,实现数据的智能化处理和存储。
附图说明
为了更清楚地说明本申请实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种应用架构的示意图;
图2为本申请实施例提供的一种数据存储方法的流程示意图;
图3为本申请实施例提供的一种数据存储方法的流程示意图;
图4为本申请实施例提供的一种基于数据存储的框架示意图;
图5为本申请实施例提供的一种数据存储装置的结构示意图;
图6为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。
本申请实施例提出的数据存储方法实现于电子设备,该电子设备可以为终端设备或服务器。其中,终端设备可以为智能手机、平板电脑、笔记本电脑、台式计算机等。服务器可以是独立的服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器,但并不局限于此。本申请涉及区块链技术,电子设备可将涉及的数据如目标数据等写入区块链中,以便于电子设备可以在区块链上获取所需信息,如基于指定目标数据的存储路径在区块链上获取到该指定目标数据等。
请参见图1,图1为本申请实施例提供的一种应用架构的示意图,可以通过该应用架构执行本申请所提出的数据存储方法。具体的,图1可以包括电子设备,数据存储空间、索引存储空间和数据存储系统。其中,电子设备可以通过执行本申请的技术方案,获取待存储数据集并将待存储数据集存储到数据存储系统中,并得到各个待存储数据包含存储路径的属性数据集,并从待存储数据集中确定出后续要进行数据处理得到N个目标数据,以及将N个目标数据的属性数据集存储于数据存储空间,并分别从N个目标数据的属性数据集中确定出每个目标数据的索引数据,将每个目标数据的索引数据存放在索引存储空间中,电子设备可以根据目标数据的索引数据确定出待处理目标数据以及针对待处理目标数据的处理方式,根据待处理目标数据的存储路径从数据存储系统中获取该待处理目标数据,并按照处理方式对待处理目标数据进行数据处理,得到数据处理结果,可以将数据处理结果添加到属性数据集中以及生成已处理属性数据,并将该已处理属性数据添加到索引数据中。
其中,该图1中示出的数据存储空间和索引存储空间可以位于不同的存储设备中。以及,该数据存储空间和索引存储空间可以位于相同的存储设备中,如位于电子设备中,或位于其他设备中。
可以理解的是,图1只是示例性地表征本申请技术方案所提出的应用架构,并不对本申请技术方案的具体架构进行限定,即本申请技术方案还可以提供其他形式的应用架构。
在一些实施例中,电子设备可以根据实际的业务需求,执行该数据存储方法,以提高数据存储安全性。本申请技术方案可以应用于任意数据存储场景中。例如,可以应用于音频数据的存储场景中,此时的目标数据可以是通话过程中录制的音频数据等等,以及属性数据集可以为音频数据的属性(如拨打方向、联系人电话等等),以及针对音频数据的处理方式可以是音频转义等等。又如,可以应用于视频数据的存储场景中,此时的目标数据可以是录制的视频数据等等,以及属性数据集可以为视频数据的属性(如时长、格式等等),以及针对视频数据的处理方式可以是关键帧(如视频封面)提取等等。通过该方法可以优化数据存储过程,实现数据的分布式存储,以及提高存储和处理的智能化。
可以理解的是,上述场景仅是作为示例,并不构成对于本申请实施例提供的技术方案的应用场景的限定,本申请的技术方案还可应用于其他场景。例如,本领域普通技术人员可知,随着系统架构的演变和新业务场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。
基于上述的描述,本申请实施例提出了一种数据存储方法,该方法可以由上述提及的电子设备来执行。如图2所示,本申请实施例的数据存储方法的流程可以包括如下:
S201、获取N个目标数据中每个目标数据的属性数据集,得到N个属性数据集。
其中,属性数据集包括在M个属性字段下的属性数据,M为正整数,N为正整数。
在一些实施例中,目标数据可以是任意类型的数据,例如音频数据、视频数据或图像数据等等,此处对目标数据的具体类型不做限制。属性数据集包括M个属性字段对应的属性数据,该M个属性字段为可以表征目标数据任意属性的字段,例如目标数据为音频数据时,属性字段可以包括音频流水号、拨打方向、业务场景等等,此处对属性字段不做限定。
在一些实施例,该N个目标数据中每个目标数据的属性数据集可以为其他设备传输的数据,或者为电子设备本地存储的数据等等,本申请不做限定。例如,电子设备可以通过启动数据获取程序(如Spring boot程序,一种计算机开发程序)从网关服务器中获取该N个属性数据集,该网关服务器可以用于存放和分发数据(如目标数据以及目标数据的属性数据集)。
在一个可能的实施方式中,电子设备可以获取待存储数据集,并从待存储数据集中确定出N个目标数据,以获取该N个目标数据中每个目标数据的属性数据集。该待存储数据集可以为在不同业务场景下生成的数据(如在贷款前业务场景产生的音频数据或在贷款后业务场景产生的音频数据等),并由其他设备传输至电子设备。其中,电子设备从待存储数据集中确定出N个目标数据具体可以是,按照第一预设策略对待存储数据集中的各个待存储数据集进行处理,得到N个目标数据,和/或,按照第二预设策略对待存储数据集进行筛选,得到N个目标数据。其中,由于待存储数据的类型不同,具体的第一预设策略和第二预设策略会存在不同。即第一预设策略和第二预测策略与待存储数据的类型相关,此处不做限制。电子设备可以同时对待存储数据集执行第一预设策略和第二预设策略,也可以是根据相关业务人员的指示执行一种预设策略。其中,按照第一预设策略和/或第二预设策略确定N个目标数据的具体方式可以参见下述实施例的相关描述。
S202、将N个属性数据集存储于数据存储空间。
在一些实施例中,电子设备可以将该N个属性数据集存储在数据存储空间,后续可以在数据存储空间获取到指定的属性数据集或者基于获取到的属性数据集以确定对应的目标数据。
可选地,在一些实施例中,该数据存储空间可以是数据库,如可以是存储在HBase数据库(Hadoop database,一种针对结构化数据的分布式存储数据库)中。其中,电子设备可以是以HBase表的格式将该N个属性数据集依次存储,即可以是以M个属性字段作为HBase表的列,并将该各个属性数据集包括的属性数据依次放入对应属性字段下,并为每个属性数据集生成唯一标识的主键列,从而可以存储海量的属性数据,提高数据存储可靠性。后续在从HBase表中搜索指定的属性数据集时,可以通过构建针对HBase表的二级索引实现。
S203、分别从N个属性数据集中确定出每个目标数据的索引数据,并将每个目标数据的索引数据存储于索引存储空间。
其中,索引数据包括Z个属性字段下的属性数据,Z为小于或等于M的正整数。
在一些实施例中,电子设备可以从每个目标数据的属性数据集中分别确定出每个目标数据的索引数据,其具体可以是,根据指定的用于建立索引的目标属性字段,分别从N个属性数据集中获取每个目标数据对应的目标属性字段下的属性数据,并将该每个目标数据对应的目标属性字段下的属性数据确定为每个目标数据的索引数据。其中,该指定的目标属性字段可以由相关业务人员根据实际应用场景确定。
可选地,还可以是,获取属性数据集包含的M个属性字段中每个属性字段的字段类型,根据每个属性字段的字段类型确定出目标属性字段,并分别将N个属性数据集中为目标属性字段下的属性数据确定为每个目标数据的索引数据。其中,属性字段的字段类型可以是对应的属性数据的定义类型,如数值类型、文字类型或文本类型等等;该每个属性字段的字段类型可由相关业务人员指定,以及可以通过指定的字段类型并基于每个属性字段的字段类型确定出目标属性字段;该指定的字段类型可以由相关业务人员根据实际应用场景确定。
可选地,同时根据指定的属性字段和指定的字段类型在M个属性字段中确定出目标属性字段,如具体可以是,将M个属性字段中,同时满足指定的属性字段和指定的字段类型的属性字段确定为目标属性字段;或将满足指定的属性字段的属性字段和满足指定的字段类型的属性字段确定为目标属性字段;此处不做限制。
在一些实施例中,由于通过HBase表存储数据时,该HBase不具备全局查询功能,只有主键列是全局查询的唯一标识,在大量属性数据的前提下,想要根据指定的属性字段进行查询,无法通过主键列实现快速查询,从而出现效率低下的情况。因此电子设备可以将每个目标数据的索引数据(即一些属性字段对应的属性数据)存储于索引存储空间,以作为数据存储空间中对应的目标数据的属性数据集的二级索引,即将全部属性数据存放在数据存储空间中,并将属性数据中的索引数据存放在索引存储空间中,从而提高数据查询效率。可选地,在将索引数据存放在索引存储空间中时,还可以将对应属性数据在数据存储空间所对应的主键列作为添加到索引数据中,即索引存储空间中的索引数据中包含对应的属性数据的主键列,当基于查询条件在索引存储空间进行索引数据的查找时,可以将满足查询条件的索引数据所在的主键列进行返回,以根据该主键列从数据存储空间中获取符合查询条件的属性数据。
可选地,该索引存储空间可以是数据库,如可以是Elasticsearch(ES)数据库(一种用于分布式查询的搜索服务器),即可以通过HBase+ES构建数据的二级索引以实现数据的可靠存储和快速查询。其中,数据存储空间和索引存储空间可以为不同的数据库并处于不同的存储设备中,以实现分布式存储,缓解数据存储压力和提高数据存储可靠性。
S204、根据每个目标数据的索引数据从N个目标数据中确定出待处理目标数据以及针对待处理目标数据的处理方式,并按照处理方式对待处理目标数据进行数据处理,得到数据处理结果。
在一些实施例中,索引数据中可以包括针对数据处理的目标字段,以及在该目标字段下的属性数据,该针对数据处理的目标字段标识了一种针对目标数据的处理方式,以及一个属性数据集中的在目标字段下的属性数据可以为已处理属性数据或者未处理属性数据;其中,已处理属性数据可以为第一数值(如1等),用于指示对应的目标数据已进行数据处理,以及未处理属性数据可以为第二数值(如0等),用于指示对应的目标数据未进行数据处理。
因此,电子设备根据每个目标数据的索引数据从N个目标数据中确定出待处理目标数据以及针对待处理目标数据的处理方式可以是,将索引数据中,在目标字段下的属性数据为未处理属性数据的目标数据确定为待处理目标数据,并将目标字段所表征的数据处理方式确定为该针对待处理目标数据的处理方式。后续电子设备可以按照处理方式对待处理目标数据进行数据处理,得到数据处理结果。该处理方式可以是任意数据处理方式,此处不做限制。由此可以自动确定出需要进行处理的待处理目标数据,并将对待处理目标数据进行数据处理后的数据处理结果进行存储,而无需由用户指示,从而可以实现数据的智能处理和存储。
S205、在数据存储空间中将数据处理结果添加到待处理目标数据的属性数据集,以及生成用于指示待处理目标数据已进行数据处理的已处理属性数据,并在索引存储空间中将已处理属性数据添加到待处理目标数据的索引数据。
在一些实施例中,电子设备可以生成针对目标字段的处理结果字段,将数据处理结果作为该处理结果字段下的属性数据,并在数据存储空间中,将该数据处理结果添加到待处理目标数据的属性数据集中,如可以是在Hbase表中为待处理目标数据的属性数据集新增处理结果字段,并将数据处理结果添加到Hbase表中。
在一些实施例中,电子设备在得到数据处理结果之后,生成用于指示待处理目标数据已进行数据处理的已处理属性数据,并在索引存储空间中将已处理属性数据添加到待处理目标数据的索引数据中,即具体可以是,在索引存储空间中,将待处理目标数据的索引数据中的未处理属性数据更新为已处理属性数据。此时标识该目标数据已处理完成。因此电子设备可以检测各个目标数据的索引数据中目标字段下的属性数据确定各个目标数据是否需要进行数据处理。
本申请实施例中,电子设备可以获取N个目标数据中每个目标数据的属性数据集,得到N个属性数据集,将N个属性数据集存储于数据存储空间,分别从N个属性数据集中确定出每个目标数据的索引数据,并将每个目标数据的索引数据存储于索引存储空间,根据每个目标数据的索引数据从N个目标数据中确定出待处理目标数据以及针对待处理目标数据的处理方式,并按照处理方式对待处理目标数据进行数据处理,得到数据处理结果,在数据存储空间中将数据处理结果添加到待处理目标数据的属性数据集,以及生成用于指示待处理目标数据已进行数据处理的已处理属性数据,并在索引存储空间中将已处理属性数据添加到待处理目标数据的索引数据。通过上述方法,可以优化数据存储过程,实现分布式存储,并提高数据存储的安全性和可靠性,以及可以根据索引数据确定出需要进行处理的数据,并将处理后得到的结果进行存储,实现数据的智能化处理和存储。
请参见图3,图3为本申请实施例提供的一种数据存储方法的流程示意图,该方法可以由上述提及的电子设备执行。如图3所示,本申请实施例中数据存储方法的流程可以包括如下:
S301、获取待存储数据集以及待存储数据集中各个待存储数据的属性数据集。
在一些实施例中,电子设备可以为数据存储系统,用于进行数据存储和调度,该数据存储系统为存储数据的数据仓库,可以存储大量待处理的数据(如音频数据等)。电子设备可以从网关服务器中获取待存储数据集,该待存储数据集可以是任意业务场景下产生的业务数据,例如待存储数据为音频数据时,可以是在贷款前业务场景产生的音频数据,也可以是贷款后业务场景产生的音频数据等等。
因此,可以由数据采集系统采集在业务场景下不断生成的待存储数据,并在采集待存储数据时对其进行解析得到待存储数据的初始属性数据集,并将得到的待存储数据的初始属性数据集推送到网关服务器,电子设备可以启动Spring boot程序从网关服务器获取推送的待存储数据,得到待存储数据集。电子设备可以将待存储数据集中的各个待存储数据存储到数据存储系统中,该数据存储系统可以为数据存储卷,即电子设备可以将待存储数据集挂载到数据存储卷中(后续还可以将确定的目标数据挂载到数据存储卷中),该数据存储卷可以是NAS(Network Attached Storage,网络附属存储)卷,可以通过该NAS共享挂载的待存储数据,以及在将待存储数据挂载到数据存储卷中后,会得到每个待存储数据的挂载路径(即存储路径),以提高数据存储的可靠性。
在一些实施例中,电子设备在启动Spring boot程序从网关服务器获取待存储数据时,可以获取初始属性数据集,并生成针对存储路径的存储属性字段,并将每个待存储数据的挂载路径作为在存储属性字段下的属性数据,并将该挂载路径添加到对应的初始属性数据集中,得到待存储数据集中各个待存储数据的属性数据集。可选地,针对数据处理的目标字段可以是原本就属于初始属性数据集包括的属性字段中,也可以是在生成针对存储路径的存储属性字段时,生成该目标字段,并生成未处理属性数据以作为在目标字段下的属性数据,并将该未处理属性数据添加到对应的初始属性数据集中,从而得到属性数据集。其中,每个目标数据的属性数据集中所包括的目标字段所指示的数据处理可以相同也可以不相同,从而可以提高数据调度的灵活性。该针对数据处理的目标字段可以由相关业务人员根据经验值设置。
S302、从待存储数据集中确定N个目标数据,并从各个待存储数据的属性数据集中获取N个目标数据中每个目标数据的属性数据集,得到N个属性数据集。
其中,属性数据集包括在M个属性字段下的属性数据,M为正整数,N为正整数。
在一些实施例中,电子设备从待存储数据集中确定N个目标数据可以是根据待存储数据的所属业务类型确定N个目标数据,如可以是根据指定业务类型和待存储数据的所属业务类型确定出为指定业务类型的待存储数据,以作为N个目标数据,并得到N个属性数据集。该指定业务类型可以由相关业务人员设置。
在一些实施例中,电子设备从待存储数据集中确定N个目标数据还可以是,获取N个待匹配的属性数据子集,将各个待存储数据的属性数据集与N个属性数据子集进行匹配,得到匹配结果,该匹配结果指示了从各个待存储数据的属性数据集中匹配出的N个待存储数据的属性数据集,将该匹配出的N个待存储数据作为N个目标数据,以及将该匹配出的N个待存储数据的属性数据集作为N个目标数据中每个目标数据的属性数据集。该属性数据子集可以为属性数据集中一个或多个属性字段下的属性数据。
可选地,在一些实施例中,电子设备可以启动数据获取程序(如Spark程序,一种计算机开发程序)从大数据处理平台中获取该N个待匹配的属性数据子集,该属性数据子集为一个完整的属性数据集中的部分或全部属性数据,该属性数据子集用于匹配得到后续需要进行处理分析的目标数据以及目标数据的属性数据集。其中,大数据处理平台可以从数据采集系统中获取到需要进行处理的待存储数据,比如指定业务场景下产生的待存储数据等。大数据处理平台可以对获取到的待存储数据进行解析处理,得到对应的属性数据子集。
在一些实施例中,为了便于阐述,此处以待存储数据的类型为音频数据为例进行说明。电子设备从待存储数据集中确定N个目标数据还可以是,按照第一预设策略和/或第二预设策略从待存储数据集中确定N个目标数据。其中,第一预设策略可以包括以下至少一项:音频语音处理、音频剪切处理,或音频合并处理等。其中,音频语音处理可以包括噪音过滤处理、回声消除处理等。
可选地,当第一预设策略为音频语音处理时,电子设备可以按照第一预设策略,对各个待存储数据进行音频语音处理,得到过渡数据。其中,当音频语音处理为噪音过滤处理时,具体可以是,根据待存储数据中的噪声信号与待存储数据中的目标信号在时域波形图和语谱图上的区别对待存储数据进行噪音过滤,得到待存储数据中的目标信号,该目标信号包括待存储数据所表征的目标对象的语音信号(如待存储数据所表征的用户的回访语音等),并将该待存储数据中的目标信号作为过渡数据,从而可以对待存储数据中的背景噪声进行过滤,以避免背景噪声对音频质量的影响。以及,当音频语音处理为回声消除处理时,具体可以是,对待存储数据进行频率补偿处理,将经过频率补偿处理后的待存储数据进行回声消除,将经过回声消除后的待存储数据进行去频率补偿处理,以得到待存储数据中的目标信号,并将该待存储数据中的目标信号作为过渡数据,从而可以对待存储数据中的回声进行消除,以避免音频录制过程中的回声对音频质量的影响。
可选地,当第一预设策略为音频剪切处理时,电子设备可以按照第一预设策略,对各个待存储数据进行音频剪切处理,得到过渡数据。具体可以是,将待存储数据中的表征预设语音信号的位置点进行标记,得到至少一个标记点,并将该至少一个标记点在待存储数据中进行删除,得到过渡数据,并将该待存储数据中的目标信号作为过渡数据,从而可以对待存储数据中的非重要数据进行删除,以提高后续针对待存储数据的存储和处理效率。其中,预设语音信号可以由相关业务人员根据实际应用场景设置,如表征语气词、停顿词等语音信息、表征空白的语音信号等等,此次不做限制。
可选地,当第一预设策略为音频合并处理时,电子设备可以按照第一预设策略,对各个待存储数据进行音频合并处理,得到过渡数据。具体可以是,确定每个待存储数据所表征的目标对象,将为同一表征的目标对象的待存储数据进行合并,得到过渡数据,以及在合并时可以是按照待存储数据的生成时间依次进行合并。
在一些实施例中,电子设备可以将基于待存储数据集得到的各个待存储数据对应的过渡数据作为N个目标数据。以及,上述对第一预设策略中包含的多种处理方式的执行顺序不做限制。即按照第一预设策略处理后得到目标数据可以是一个非完整的待存储数据(即待存储数据与对应的目标数据不视为同一数据)。此时可以将待存储数据集与目标数据建立对应关系,并进行存储,以便后续可以将待存储数据作为对应目标数据的原始数据,可供核对。如可以是基于待存储数据的挂载路径,将对应的目标数据进行存储,后续可以基于该挂载路径获取到所需的目标数据。
在一些实施例中,第二预设策略可以包含多种数据筛选条件,电子设备可以按照第二预设策略对待存储数据集进行筛选,得到N个目标数据,该目标数据可以用于后续分析或处理,以提高获取到的待存储数据的可用性,更利于后期数据分析,提高数据处理效率。其中,数据筛选条件可以包括身份验证、筛选类型等等,此处对具体的数据筛选条件不做限制。
可选地,当待存储数据所表征的目标对象是用户时,数据筛选条件可以包括身份验证,具体可以是,基于用户的获取待存储数据在预设时间段内的音频数据,并将音频数据输入身份验证模型以实现对用户的身份验证。其中,将音频数据输入身份验证模型以实现对用户的身份验证具体可以是,对音频数据进行傅里叶变换得到对应的时域信号数据,并将该时域信号数据输入声纹识别模型,得到目标声纹特征,并与预先存储的该用户的标准声纹特征进行对比,若目标声纹特征与标准声纹特征的相似度值小于声纹相似度阈值,则验证通过。即表示待存储数据与用户身份匹配,该待存储数据符合要求,则将该待存储数据作为筛选出来的目标数据。其中,身份验证模型为预先训练得到的模型。
可选地,数据筛选条件可以包括筛选类型,该筛选类型可以是待存储数据所表征的目标对象的特征,或待存储数据所属业务场景等等,筛选类型可以由相关业务人员根据实际应用场景设置,此处不做限制。电子设备可以基于筛选类型对待存储数据集进行筛选,将满足筛选类型的待存储数据作为筛选出来的目标数据,从而得到N个目标数据。
在一些实施例中,上述按照第二预设策略处理后的得到的目标数据为完整的待存储数据,与对应的待存储数据相同,该目标数据即为完整数据(待存储数据与对应的目标数据视为同一数据)。此时可以在待存储数据集中将筛选出来的目标数据进行标记。
在一些实施例中,电子设备可以生成数据匹配任务将通过Spark程序从大数据处理平台获取到多个属性数据子集和通过Spring boot程序从网关服务器获取多个属性数据集进行匹配,得到匹配成功的N个属性数据集,即若属性数据子集中的所有属性数据与一个属性数据集中包含的对应属性数据一致时,表示该属性数据集匹配成功。其中,该数据匹配任务可以是启动Flink(一种数据流处理框架)任务,可以是生成一个数据匹配任务依次进行匹配,也可以是为每个属性数据子集生成一个数据匹配任务,然后与该多个属性数据集进行匹配。
例如,待匹配的属性数据子集为在标识数据流水号的属性字段下的属性数据,即待匹配的属性数据子集为多个数据流水号,因此利用该多个数据流水号对每个待存储数据的属性数据集进行匹配,得到匹配结果,该匹配结果指示了N个包含前述数据流水号的属性数据集。
S303、将N个属性数据集存储于数据存储空间。
S304、分别从N个属性数据集中确定出每个目标数据的索引数据,并将每个目标数据的索引数据存储于索引存储空间。其中,步骤S303-S304的具体实施方式可以参见上述实施例的相关描述。
S305、根据每个目标数据的索引数据从N个目标数据中确定出待处理目标数据以及针对待处理目标数据的处理方式,并按照处理方式对待处理目标数据进行数据处理,得到数据处理结果。
在一些实施例中,电子设备可以通过检测每个目标数据的索引数据以确定出需要进行处理的目标数据。因此,M个属性字段中可以包括针对数据处理的目标字段;在该目标字段下的属性数据包括已处理属性数据以及未处理属性数据,根据每个目标数据的索引数据从N个目标数据中确定出待处理目标数据以及针对待处理目标数据的处理方式可以是将索引数据中,包含未处理属性数据的目标数据确定为待处理目标数据,该未处理属性数据表示该目标数据未进行该目标字段所指示的数据处理,并将目标字段所表征的数据处理方式确定为针对待处理目标数据的处理方式。
在一些实施例中,待处理目标数据可以为待处理目标音频数据,因此目标字段所表征的数据处理方式可以包括针对待处理目标音频数据的音频转义操作,电子设备按照处理方式对待处理目标数据进行数据处理,得到数据处理结果具体可以是,生成针对待处理目标音频数据的查询指令,基于查询指令获取待处理目标音频数据,将待处理目标音频数据发送至音频转义系统,以使得音频转义系统对待处理目标音频数据进行音频转义操作,得到音频转义结果,并从音频转义系统中获取音频转义结果。其中,电子设备当检测到未处理属性数据时,生成查询指令,该查询指令用于指示查询条件,该查询条件可以是指示查询出未处理属性数据所属属性数据集对应的目标主键列,电子设备可以将该目标主键列作为目标索引数据。
在一些实施例中,属性数据集包括在存储字段下的存储路径,该存储路径为属性数据集对应的目标数据的存储路径。电子设备基于查询指令获取待处理目标音频数据具体可以是,获取查询指令所指示的查询条件,在索引存储空间中,从待处理目标音频数据的索引数据中确定出满足查询条件的目标索引数据,根据目标索引数据从数据存储空间中获取待处理目标音频数据的目标属性数据集,并从目标属性数据中获取待处理目标音频数据的存储路径,基于存储路径获取待处理目标音频数据。该目标索引数据即为目标主键列,电子设备可以通过该目标主键列在数据存储空间查询出该待处理目标数据对应的目标属性数据集。
可以理解的是,此时的查询指令为电子设备生成的,查询指令还可以由用户终端,即当用户终端需要查询数据时,可以基于配置的查询条件生成查询指令时,可以将该查询指令发送至电子设备,电子设备在接收到查询指令后,根据查询条件确定目标索引数据,并根据目标索引数据获取目标属性数据集和/或目标属性数据集对应的目标数据。
在一些实施例中,待处理目标数据可以为待处理目标音频数据,因此目标字段所表征的数据处理方式还可以包括针对待处理目标音频数据的音频质量分析操作,电子设备按照处理方式对待处理目标数据进行数据处理,得到数据处理结果具体可以是,生成针对待处理目标音频数据的查询指令,基于查询指令获取待处理目标音频数据,将待处理目标音频数据发送至质量分析平台,以使得质量分析平台对待处理目标音频数据进行质量分析操作,得到质量分析结果,并从质量分析平台中获取质量分析结果。其中,数据处理不同,对应的目标字段不同,因此表征音频转义的目标字段与表征音频质量分析的目标字段为不同的属性字段。
例如,电子设备可以启动新的数据获取程序(Spring boot程序)接收针对待处理音频数据的查询指令,并根据查询指令所指示的查询条件从索引存储空间中获取目标索引数据,并根据目标索引数据从数据存储空间中获取待处理音频数据的目标属性数据集,从该目标属性数据集中获取存储路径,以根据存储路径获取待处理音频数据,将该待处理音频数据推送到音频转义平台(如ASR(Automatic Speech Recognition,自动语音识别技术)转义平台)进行对待处理音频数据的音频转义操作,在从ASR转义平台接收到音频转义结果之后,将该音频转义结果回写至目标属性数据集中,并同时将索引存储空间中,对应索引数据中的在目标字段下的属性数据进行更新,表示该待处理音频数据以进行音频转义。
又如,电子设备可以启动新的数据获取任务(如Flink任务)接收针对待处理音频数据的查询指令,并根据查询指令所指示的查询条件从索引存储空间中获取目标索引数据,并根据目标索引数据从数据存储空间中获取待处理音频数据的目标属性数据集,从该目标属性数据集中获取存储路径,以根据存储路径获取待处理音频数据,将该待处理音频数据推送到消息队列(例如可以是Kafka(一种分布式发布订阅消息系统)),由质量分析平台(例如可以是AI-Platform(Artificial Intelligence-Platform,人工智能平台))从消息队列中拉取实时推送的待处理音频数据,并对该待处理音频数据进行音频质量分析操作,并将得到的质量分析结果回写至消息队列中,此时电子设备可以通过该Flink任务从消息队列中获取回写的质量分析结果,将该质量分析结果回写至目标属性数据集中,并同时将索引存储空间中,对应索引数据中的在目标字段下的属性数据进行更新,表示该待处理音频数据以进行质量分析。
可以理解的是,针对目标数据的类型不同,对应的数据处理方式可以不同,此处不做限制。
S306、在数据存储空间中将数据处理结果添加到待处理目标数据的属性数据集,以及生成用于指示待处理目标数据已进行数据处理的已处理属性数据,并在索引存储空间中将已处理属性数据添加到待处理目标数据的索引数据。
在一些实施例中,若数据处理为音频转义时,数据处理结果为音频转义结果,因此电子设备在数据存储空间中将数据处理结果添加到待处理目标数据的属性数据集可以为,生成针对音频转义的转义属性字段,并在数据存储空间中,将音频转义结果作为在转义属性字段下的属性数据并添加到待处理目标数据的属性数据集。以及电子设备生成用于指示待处理目标数据已进行音频转义的已处理属性数据,并在索引存储空间中,将对应的索引数据中的未处理属性数据(用于指示待处理目标数据未进行音频转义)更新为已处理属性数据。
在一些实施例中,若数据处理为音频质量分析时,数据处理结果为质量分析结果,因此电子设备在数据存储空间中将数据处理结果添加到待处理目标数据的属性数据集可以为,生成针对音频质量分析的质量分析属性字段,并在数据存储空间中,将质量分析结果作为在质量分析属性字段下的属性数据并添加到待处理目标数据的属性数据集。以及电子设备生成用于指示待处理目标数据已进行音频质量分析的已处理属性数据,并在索引存储空间中,将对应的索引数据中的未处理属性数据(用于指示待处理目标数据未进行音频质量分析)更新为已处理属性数据。
例如,如图4所示,图4为本申请实施例提供的一种基于数据存储的框架示意图;其中:目标数据为音频数据,
(1)数据采集系统将采集到的待存储数据和待存储数据的初始属性数据集推送到网关服务器,数据存储系统(电子设备)从网关服务器中获取待存储数据,得到待存储数据集,并将获取的各个待存储数据挂载到数据存储卷,以得到每个待存储数据的挂载路径;
(2)数据存储系统启动Spring boot程序从网关服务器获取每个待存储数据的初始属性数据集并将每个待存储数据的挂载路径添加到对应的初始属性数据集中,得到每个待存储数据的属性数据集;
(3)数据采集系统将需要进行处理的待存储数据发送到大数据处理平台,由大数据处理平台对需要进行处理的待存储数据进行解析处理,得到N个待匹配的属性数据子集;
(4)数据存储系统从大数据处理平台获取该N个待匹配的属性数据子集,并将各个待存储数据的属性数据集与N个属性数据子集进行匹配,得到匹配成功的N个待存储数据的属性数据集,数据存储系统将该N个待存储数据的属性数据集存放在数据存储空间(如以HBase表的格式存储在HBase数据库),并从该N个待存储的属性数据集中确定出N个待存储数据的索引数据,并将该索引数据存储在索引存储空间(如ES数据库);
(5)数据存储系统可以根据索引数据中在目标字段下的属性数据确定待处理音频数据,即若在目标字段下的属性数据指示目标数据未进行音频转义处理,则将该目标数据确定为需要进行音频转义操作的待处理音频数据,以及若在目标字段下的属性数据指示目标数据未进行音频质量分析处理,则将该目标数据确定为需要进行质量分析操作的待处理音频数据;
(6)当待处理音频数据需要进行音频转义操作时,数据存储系统生成查询指令,根据查询指令所指示的查询条件,从索引存储空间中确定目标索引数据,并根据目标索引数据从数据存储空间中确定待处理音频数据的目标属性数据集,从目标属性数据集确定出待处理音频数据的目标挂载路径,根据目标挂载路径从数据存储卷中获取到待处理音频数据,通过Spring boot程序将待处理音频数据推送到音频转义平台,以获取音频转义结果,在数据存储空间中,生成针对音频转义的转义属性字段,将音频转义结果作为在转义属性字段下的属性数据并添加到目标属性数据集;
(7)当待处理音频数据需要进行音频转义操作时,数据存储系统生成查询指令,根据查询指令所指示的查询条件,从索引存储空间中确定目标索引数据,并根据目标索引数据从数据存储空间中确定待处理音频数据的目标属性数据集,从目标属性数据集确定出待处理音频数据的目标挂载路径,根据目标挂载路径从数据存储卷中获取到待处理音频数据,通过Flink任务将待处理音频数据推送到消息队列,由质量分析平台从消息队列中获取实时的待处理音频数据以得到质量分析结果,数据存储系统从消息队列中拉取由质量分析平台回写的质量分析结果,在数据存储空间中,生成针对音频质量分析的质量分析属性字段,将质量分析结果作为在质量分析属性字段下的属性数据并添加到目标属性数据集;
(8)当数据存储系统接收到用户终端发送的数据查询请求时,该数据查询请求包含查询指令,查询指令包含查询条件,可以根据查询条件从索引存储空间中获取目标索引数据,并根据目标索引数据在数据存储空间中确定出对应的目标属性数据集,以及可以根据数据查询请求的指示将目标属性数据集返回用户终端和/或将基于目标属性数据集中的目标挂载路径所获取到的目标数据返回至用户终端。
本申请实施例中,电子设备可以获取待存储数据集以及待存储数据集中各个待存储数据的属性数据集,从存储数据集中确定N个目标数据,并从各个待存储数据的属性数据集中获取N个目标数据中每个目标数据的属性数据集,得到N个属性数据集,将N个属性数据集存储于数据存储空间,分别从N个属性数据集中确定出每个目标数据的索引数据,并将每个目标数据的索引数据存储于索引存储空间,根据每个目标数据的索引数据从N个目标数据中确定出待处理目标数据以及针对待处理目标数据的处理方式,并按照处理方式对待处理目标数据进行数据处理,得到数据处理结果,在数据存储空间中将数据处理结果添加到待处理目标数据的属性数据集,以及生成用于指示待处理目标数据已进行数据处理的已处理属性数据,并在索引存储空间中将已处理属性数据添加到待处理目标数据的索引数据。通过上述方法,可以优化数据存储过程,实现分布式存储,并提高数据存储的安全性和可靠性,以及可以根据索引数据确定出需要进行处理的数据,并将处理后得到的结果进行存储,实现数据的智能化处理和存储。
请参见图5,图5为本申请提供的一种数据存储装置的结构示意图。需要说明的是,图5所示的数据存储装置,用于执行本申请图2和图3所示实施例的方法,为了便于说明,仅示出了与本申请实施例相关的部分,具体技术细节未揭示,请参照本申请图2和图3所示的实施例。该数据存储装置500可包括:获取模块501、存储模块502、处理模块503。其中:
获取模块501,用于获取N个目标数据中每个目标数据的属性数据集,得到所述N个属性数据集;所述属性数据集包括在M个属性字段下的属性数据,M为正整数,N为正整数;
存储模块502,用于将所述N个属性数据集存储于数据存储空间;
所述存储模块502,还用于分别从所述N个属性数据集中确定出所述每个目标数据的索引数据,并将所述每个目标数据的索引数据存储于索引存储空间;所述索引数据包括Z个属性字段下的属性数据,Z为小于或等于M的正整数;
处理模块503,用于根据所述每个目标数据的索引数据从所述N个目标数据中确定出待处理目标数据以及针对所述待处理目标数据的处理方式,并按照所述处理方式对所述待处理目标数据进行数据处理,得到数据处理结果;
所述存储模块502,还用于在所述数据存储空间中将所述数据处理结果添加到所述待处理目标数据的属性数据集,以及生成用于指示所述待处理目标数据已进行数据处理的已处理属性数据,并在所述索引存储空间中将所述已处理属性数据添加到所述待处理目标数据的索引数据。
在一个可能的实施方式中,所述获取模块501在用于获取N个目标数据中每个目标数据的属性数据集时,具体用于:
获取待存储数据集以及所述待存储数据集中各个待存储数据的属性数据集;
获取N个待匹配的属性数据子集,将所述各个待存储数据的属性数据集与所述N个属性数据子集进行匹配,得到匹配结果;所述匹配结果指示了从所述各个待存储数据的属性数据集中匹配出的N个待存储数据的属性数据集;
将所述匹配出的N个待存储数据的属性数据集作为所述N个目标数据中每个目标数据的属性数据集。
在一个可能的实施方式中,所述属性字段包括针对数据处理的目标字段;在所述目标字段下的属性数据包括所述已处理属性数据以及未处理属性数据;所述未处理属性数据用于指示所述目标数据未进行数据处理;
所述处理模块503在用于根据所述每个目标数据的索引数据从所述N个目标数据中确定出待处理目标数据以及针对所述待处理目标数据的处理方式时,具体用于:
将索引数据中,在所述目标字段下的属性数据为所述未处理属性数据的目标数据确定为所述待处理目标数据;
将所述目标字段所表征的数据处理方式确定为针对所述待处理目标数据的处理方式。
在一个可能的实施方式中,所述处理模块503在用于在所述索引存储空间中将所述已处理属性数据添加到所述待处理目标数据的索引数据时,具体用于:
在所述索引存储空间中,将所述待处理目标数据的索引数据中的所述未处理属性数据更新为已处理属性数据。
在一个可能的实施方式中,所述待处理目标数据为待处理目标音频数据;所述目标字段所表征的数据处理方式包括针对所述待处理目标音频数据的音频转义操作;
所述处理模块503在用于按照所述处理方式对所述待处理目标数据进行数据处理,得到数据处理结果时,具体用于:
生成针对所述待处理目标音频数据的查询指令,基于所述查询指令获取所述待处理目标音频数据;
将所述待处理目标音频数据发送至音频转义系统,以使得所述音频转义系统对所述待处理目标音频数据进行音频转义操作,得到音频转义结果;
从所述音频转义系统中获取所述音频转义结果;
所述存储模块502在用于在所述数据存储空间中将所述数据处理结果添加到所述待处理目标数据的属性数据集时,具体用于:
生成针对音频转义的转义属性字段;
在所述数据存储空间中,将所述音频转义结果作为在所述转义属性字段下的属性数据并添加到所述待处理目标数据的属性数据集。
在一个可能的实施方式中,所述属性数据集包括在存储字段下的存储路径;所述处理模块503在用于基于所述查询指令获取所述待处理目标音频数据时,具体用于:
获取所述查询指令所指示的查询条件;
在所述索引存储空间中,从所述待处理目标音频数据的索引数据中确定出满足所述查询条件的目标索引数据;
根据所述目标索引数据从所述数据存储空间中获取所述待处理目标音频数据的目标属性数据集,并从所述目标属性数据集中获取所述待处理目标音频数据的存储路径;
基于所述存储路径获取所述待处理目标音频数据。
在一个可能的实施方式中,所述存储模块502在用于分别从所述N个属性数据集中确定出所述每个目标数据的索引数据时,具体用于:
获取所述M个属性字段中每个属性字段的字段类型;
根据所述每个属性字段的字段类型确定出目标属性字段;
分别将N个属性数据集中为所述目标属性字段下的属性数据确定为所述每个目标数据的索引数据。
本申请实施例中,获取模块获取N个目标数据中每个目标数据的属性数据集,得到N个属性数据集;存储模块将N个属性数据集存储于数据存储空间;存储模块分别从N个属性数据集中确定出每个目标数据的索引数据,并将每个目标数据的索引数据存储于索引存储空间;处理模块根据每个目标数据的索引数据从N个目标数据中确定出待处理目标数据以及针对待处理目标数据的处理方式,并按照处理方式对待处理目标数据进行数据处理,得到数据处理结果;存储模块在数据存储空间中将数据处理结果添加到待处理目标数据的属性数据集,以及生成用于指示待处理目标数据已进行数据处理的已处理属性数据,并在索引存储空间中将已处理属性数据添加到待处理目标数据的索引数据。通过上述方案,可以优化数据存储过程,实现分布式存储,并提高数据存储的安全性和可靠性,以及可以根据索引数据确定出需要进行处理的数据,并将处理后得到的结果进行存储,实现数据的智能化处理和存储。
在本申请各个实施例中的各功能模块可以集成在一个模块中,也可以是各个模块单独物理存在,也可以是两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现,本申请不做限定。
请参见图6,图6为本申请实施例提供的一种电子设备的结构示意图。如图6所示,该电子设备600包括:至少一个处理器601、存储器602。可选的,该电子设备还可包括网络接口。其中,所述处理器601、存储器602以及网络接口之间可以交互数据,网络接口受所述处理器601的控制用于收发消息,存储器602用于存储计算机程序,所述计算机程序包括程序指令,处理器601用于执行存储器602存储的程序指令。其中,处理器601被配置用于调用所述程序指令执行上述方法。
所述存储器602可以包括易失性存储器(volatile memory),例如随机存取存储器(random-access memory,RAM);存储器602也可以包括非易失性存储器(non-volatilememory),例如快闪存储器(flash memory),固态硬盘(solid-state drive,SSD)等;所述存储器602还可以包括上述种类的存储器的组合。
所述处理器601可以是中央处理器(central processing unit,CPU)。在一个实施例中,所述处理器601还可以是图形处理器(Graphics Processing Unit,GPU)。所述处理器601也可以是由CPU和GPU的组合。
在一个可能的实施方式中,所述存储器602用于存储程序指令,所述处理器601可以调用所述程序指令,执行以下步骤:
获取N个目标数据中每个目标数据的属性数据集,得到所述N个属性数据集;所述属性数据集包括在M个属性字段下的属性数据,M为正整数,N为正整数;
将所述N个属性数据集存储于数据存储空间;
分别从所述N个属性数据集中确定出所述每个目标数据的索引数据,并将所述每个目标数据的索引数据存储于索引存储空间;所述索引数据包括Z个属性字段下的属性数据,Z为小于或等于M的正整数;
根据所述每个目标数据的索引数据从所述N个目标数据中确定出待处理目标数据以及针对所述待处理目标数据的处理方式,并按照所述处理方式对所述待处理目标数据进行数据处理,得到数据处理结果;
在所述数据存储空间中将所述数据处理结果添加到所述待处理目标数据的属性数据集,以及生成用于指示所述待处理目标数据已进行数据处理的已处理属性数据,并在所述索引存储空间中将所述已处理属性数据添加到所述待处理目标数据的索引数据。
在一个可能的实施方式中,所述处理器601在用于获取N个目标数据中每个目标数据的属性数据集时,具体用于:
获取待存储数据集以及所述待存储数据集中各个待存储数据的属性数据集;
获取N个待匹配的属性数据子集,将所述各个待存储数据的属性数据集与所述N个属性数据子集进行匹配,得到匹配结果;所述匹配结果指示了从所述各个待存储数据的属性数据集中匹配出的N个待存储数据的属性数据集;
将所述匹配出的N个待存储数据的属性数据集作为所述N个目标数据中每个目标数据的属性数据集。
在一个可能的实施方式中,所述属性字段包括针对数据处理的目标字段;在所述目标字段下的属性数据包括所述已处理属性数据以及未处理属性数据;所述未处理属性数据用于指示所述目标数据未进行数据处理;
所述处理器601在用于根据所述每个目标数据的索引数据从所述N个目标数据中确定出待处理目标数据以及针对所述待处理目标数据的处理方式时,具体用于:
将索引数据中,在所述目标字段下的属性数据为所述未处理属性数据的目标数据确定为所述待处理目标数据;
将所述目标字段所表征的数据处理方式确定为针对所述待处理目标数据的处理方式。
在一个可能的实施方式中,所述处理器601在用于在所述索引存储空间中将所述已处理属性数据添加到所述待处理目标数据的索引数据时,具体用于:
在所述索引存储空间中,将所述待处理目标数据的索引数据中的所述未处理属性数据更新为已处理属性数据。
在一个可能的实施方式中,所述待处理目标数据为待处理目标音频数据;所述目标字段所表征的数据处理方式包括针对所述待处理目标音频数据的音频转义操作;
所述处理器601在用于按照所述处理方式对所述待处理目标数据进行数据处理,得到数据处理结果时,具体用于:
生成针对所述待处理目标音频数据的查询指令,基于所述查询指令获取所述待处理目标音频数据;
将所述待处理目标音频数据发送至音频转义系统,以使得所述音频转义系统对所述待处理目标音频数据进行音频转义操作,得到音频转义结果;
从所述音频转义系统中获取所述音频转义结果;
所述处理器601在用于在所述数据存储空间中将所述数据处理结果添加到所述待处理目标数据的属性数据集时,具体用于:
生成针对音频转义的转义属性字段;
在所述数据存储空间中,将所述音频转义结果作为在所述转义属性字段下的属性数据并添加到所述待处理目标数据的属性数据集。
在一个可能的实施方式中,所述属性数据集包括在存储字段下的存储路径;所述处理器601在用于基于所述查询指令获取所述待处理目标音频数据时,具体用于:
获取所述查询指令所指示的查询条件;
在所述索引存储空间中,从所述待处理目标音频数据的索引数据中确定出满足所述查询条件的目标索引数据;
根据所述目标索引数据从所述数据存储空间中获取所述待处理目标音频数据的目标属性数据集,并从所述目标属性数据集中获取所述待处理目标音频数据的存储路径;
基于所述存储路径获取所述待处理目标音频数据。
在一个可能的实施方式中,所述处理器601在用于分别从所述N个属性数据集中确定出所述每个目标数据的索引数据时,具体用于:
获取所述M个属性字段中每个属性字段的字段类型;
根据所述每个属性字段的字段类型确定出目标属性字段;
分别将N个属性数据集中为所述目标属性字段下的属性数据确定为所述每个目标数据的索引数据。
具体实现中,本申请实施例中所描述的装置、处理器601、存储器602等可执行上述方法实施例所描述的实现方式,也可执行本申请实施例所描述的实现方式,在此不再赘述。
本申请实施例中还提供一种计算机(可读)存储介质,所述计算机存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令被处理器执行时,使所述处理器可执行上述方法实施例中所执行的部分或全部步骤。可选的,该计算机存储介质可以是易失性的,也可以是非易失性的。所述的计算机可读存储介质可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序等;存储数据区可存储根据区块链节点的使用所创建的数据等。
其中,本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
本申请实施例提供了一种计算机程序产品,该计算机程序产品可包括计算机程序,计算机程序被处理器执行时可实现上述方法中的部分或全部步骤,此处不赘述。
在本文中提及的“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于计算机存储介质中,该计算机存储介质可以为计算机可读存储介质,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。
以上所揭露的仅为本申请的部分实施例而已,当然不能以此来限定本申请之权利范围,本领域普通技术人员可以理解实现上述实施例的全部或部分流程,并依本申请权利要求所作的等同变化,仍属于本申请所涵盖的范围。
Claims (10)
1.一种数据存储方法,其特征在于,所述方法包括:
获取N个目标数据中每个目标数据的属性数据集,得到所述N个属性数据集;所述属性数据集包括在M个属性字段下的属性数据,M为正整数,N为正整数;
将所述N个属性数据集存储于数据存储空间;
分别从所述N个属性数据集中确定出所述每个目标数据的索引数据,并将所述每个目标数据的索引数据存储于索引存储空间;所述索引数据包括Z个属性字段下的属性数据,Z为小于或等于M的正整数;
根据所述每个目标数据的索引数据从所述N个目标数据中确定出待处理目标数据以及针对所述待处理目标数据的处理方式,并按照所述处理方式对所述待处理目标数据进行数据处理,得到数据处理结果;
在所述数据存储空间中将所述数据处理结果添加到所述待处理目标数据的属性数据集,以及生成用于指示所述待处理目标数据已进行数据处理的已处理属性数据,并在所述索引存储空间中将所述已处理属性数据添加到所述待处理目标数据的索引数据。
2.根据权利要求1所述的方法,其特征在于,所述获取N个目标数据中每个目标数据的属性数据集,包括:
获取待存储数据集以及所述待存储数据集中各个待存储数据的属性数据集;
获取N个待匹配的属性数据子集,将所述各个待存储数据的属性数据集与所述N个属性数据子集进行匹配,得到匹配结果;所述匹配结果指示了从所述各个待存储数据的属性数据集中匹配出的N个待存储数据的属性数据集;
将所述匹配出的N个待存储数据的属性数据集作为所述N个目标数据中每个目标数据的属性数据集。
3.根据权利要求1所述的方法,其特征在于,所述属性字段包括针对数据处理的目标字段;在所述目标字段下的属性数据包括所述已处理属性数据以及未处理属性数据;所述未处理属性数据用于指示所述目标数据未进行数据处理;
所述根据所述每个目标数据的索引数据从所述N个目标数据中确定出待处理目标数据以及针对所述待处理目标数据的处理方式,包括:
将索引数据中,在所述目标字段下的属性数据为所述未处理属性数据的目标数据确定为所述待处理目标数据;
将所述目标字段所表征的数据处理方式确定为针对所述待处理目标数据的处理方式。
4.根据权利要求3所述的方法,其特征在于,所述在所述索引存储空间中将所述已处理属性数据添加到所述待处理目标数据的索引数据,包括:
在所述索引存储空间中,将所述待处理目标数据的索引数据中的所述未处理属性数据更新为已处理属性数据。
5.根据权利要求3所述的方法,其特征在于,所述待处理目标数据为待处理目标音频数据;所述目标字段所表征的数据处理方式包括针对所述待处理目标音频数据的音频转义操作;
所述按照所述处理方式对所述待处理目标数据进行数据处理,得到数据处理结果,包括:
生成针对所述待处理目标音频数据的查询指令,基于所述查询指令获取所述待处理目标音频数据;
将所述待处理目标音频数据发送至音频转义系统,以使得所述音频转义系统对所述待处理目标音频数据进行音频转义操作,得到音频转义结果;
从所述音频转义系统中获取所述音频转义结果;
所述在所述数据存储空间中将所述数据处理结果添加到所述待处理目标数据的属性数据集,包括:
生成针对音频转义的转义属性字段;
在所述数据存储空间中,将所述音频转义结果作为在所述转义属性字段下的属性数据并添加到所述待处理目标数据的属性数据集。
6.根据权利要求5所述的方法,其特征在于,所述属性数据集包括在存储字段下的存储路径;所述基于所述查询指令获取所述待处理目标音频数据,包括:
获取所述查询指令所指示的查询条件;
在所述索引存储空间中,从所述待处理目标音频数据的索引数据中确定出满足所述查询条件的目标索引数据;
根据所述目标索引数据从所述数据存储空间中获取所述待处理目标音频数据的目标属性数据集,并从所述目标属性数据集中获取所述待处理目标音频数据的存储路径;
基于所述存储路径获取所述待处理目标音频数据。
7.根据权利要求1所述的方法,其特征在于,所述分别从所述N个属性数据集中确定出所述每个目标数据的索引数据,包括:
获取所述M个属性字段中每个属性字段的字段类型;
根据所述每个属性字段的字段类型确定出目标属性字段;
分别将N个属性数据集中为所述目标属性字段下的属性数据确定为所述每个目标数据的索引数据。
8.一种数据存储装置,其特征在于,所述装置包括:
获取模块,用于获取N个目标数据中每个目标数据的属性数据集,得到所述N个属性数据集;所述属性数据集包括在M个属性字段下的属性数据,M为正整数,N为正整数;
存储模块,用于将所述N个属性数据集存储于数据存储空间;
所述存储模块,还用于分别从所述N个属性数据集中确定出所述每个目标数据的索引数据,并将所述每个目标数据的索引数据存储于索引存储空间;所述索引数据包括Z个属性字段下的属性数据,Z为小于或等于M的正整数;
处理模块,用于根据所述每个目标数据的索引数据从所述N个目标数据中确定出待处理目标数据以及针对所述待处理目标数据的处理方式,并按照所述处理方式对所述待处理目标数据进行数据处理,得到数据处理结果;
所述存储模块,还用于在所述数据存储空间中将所述数据处理结果添加到所述待处理目标数据的属性数据集,以及生成用于指示所述待处理目标数据已进行数据处理的已处理属性数据,并在所述索引存储空间中将所述已处理属性数据添加到所述待处理目标数据的索引数据。
9.一种电子设备,其特征在于,包括处理器和存储器,其中,所述存储器用于存储计算机程序,所述计算机程序包括程序指令,所述处理器被配置用于调用所述程序指令,执行如权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时使所述处理器执行如权利要求1-7任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210139651.3A CN114491137B (zh) | 2022-02-15 | 2022-02-15 | 数据存储方法、相关设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210139651.3A CN114491137B (zh) | 2022-02-15 | 2022-02-15 | 数据存储方法、相关设备及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114491137A true CN114491137A (zh) | 2022-05-13 |
CN114491137B CN114491137B (zh) | 2024-03-26 |
Family
ID=81479551
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210139651.3A Active CN114491137B (zh) | 2022-02-15 | 2022-02-15 | 数据存储方法、相关设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114491137B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106815267A (zh) * | 2015-12-01 | 2017-06-09 | 中兴通讯股份有限公司 | 数据存储方法和装置 |
CN107133111A (zh) * | 2017-04-27 | 2017-09-05 | 努比亚技术有限公司 | 一种消息处理装置及方法 |
CN109656980A (zh) * | 2018-12-27 | 2019-04-19 | Oppo(重庆)智能科技有限公司 | 数据处理方法、电子设备、装置及可读存储介质 |
CN110489380A (zh) * | 2019-08-14 | 2019-11-22 | 腾讯科技(深圳)有限公司 | 一种数据处理方法、装置及设备 |
CN113704242A (zh) * | 2020-05-20 | 2021-11-26 | 北京沃东天骏信息技术有限公司 | 一种数据处理方法和装置 |
CN113949640A (zh) * | 2020-06-29 | 2022-01-18 | 大唐移动通信设备有限公司 | 业务数据处理方法及装置 |
-
2022
- 2022-02-15 CN CN202210139651.3A patent/CN114491137B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106815267A (zh) * | 2015-12-01 | 2017-06-09 | 中兴通讯股份有限公司 | 数据存储方法和装置 |
CN107133111A (zh) * | 2017-04-27 | 2017-09-05 | 努比亚技术有限公司 | 一种消息处理装置及方法 |
CN109656980A (zh) * | 2018-12-27 | 2019-04-19 | Oppo(重庆)智能科技有限公司 | 数据处理方法、电子设备、装置及可读存储介质 |
CN110489380A (zh) * | 2019-08-14 | 2019-11-22 | 腾讯科技(深圳)有限公司 | 一种数据处理方法、装置及设备 |
CN113704242A (zh) * | 2020-05-20 | 2021-11-26 | 北京沃东天骏信息技术有限公司 | 一种数据处理方法和装置 |
CN113949640A (zh) * | 2020-06-29 | 2022-01-18 | 大唐移动通信设备有限公司 | 业务数据处理方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN114491137B (zh) | 2024-03-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11748463B2 (en) | Fraud detection in interactive voice response systems | |
US11522873B2 (en) | Detecting network attacks | |
US10824874B2 (en) | Method and apparatus for processing video | |
CN112819617B (zh) | 数据上链方法及装置、电子设备、存储介质 | |
CN113094434A (zh) | 数据库同步方法、系统、装置、电子设备及介质 | |
CN114647698A (zh) | 数据同步方法、装置及计算机存储介质 | |
CN115174231A (zh) | 一种基于AI Knowledge Base的网络欺诈分析方法及服务器 | |
WO2018027138A1 (en) | Fraud detection in interactive voice response systems | |
CN112559526A (zh) | 数据表导出方法、装置、计算机设备及存储介质 | |
CN109271545A (zh) | 一种特征检索方法及装置、存储介质和计算机设备 | |
CN110851675B (zh) | 一种数据提取方法、装置及介质 | |
CN110955390A (zh) | 数据处理方法、装置和电子设备 | |
CN114491137B (zh) | 数据存储方法、相关设备及介质 | |
CN116308824A (zh) | 基于知识图谱的团伙欺诈风险识别方法及相关设备 | |
CN115051859A (zh) | 情报分析方法、情报分析装置、电子设备及介质 | |
CN114020962A (zh) | 视频系统管理方法、电子设备和计算机可读存储介质 | |
CN114048512A (zh) | 一种处理敏感数据的方法及装置 | |
CN113297498A (zh) | 基于互联网的食品属性挖掘方法及系统 | |
CN115495634B (zh) | 一种基于Elasticsearch插件的变化数据捕获方法及系统 | |
US20170140027A1 (en) | Method and system for classifying queries | |
CN116932025A (zh) | 程序维护方法及装置、电子设备及存储介质 | |
CN113821553A (zh) | 数据导入方法、装置、电子设备及存储介质 | |
CN117271845A (zh) | 参数存储方法、装置、电子设备和计算机可读存储介质 | |
CN114333004A (zh) | 对象识别方法、装置、设备及存储介质 | |
CN117873562A (zh) | 应用程序的组件匹配方法、装置、电子设备、介质及产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |