CN111797175B - 数据存储方法、装置、存储介质及电子设备 - Google Patents
数据存储方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN111797175B CN111797175B CN201910282158.5A CN201910282158A CN111797175B CN 111797175 B CN111797175 B CN 111797175B CN 201910282158 A CN201910282158 A CN 201910282158A CN 111797175 B CN111797175 B CN 111797175B
- Authority
- CN
- China
- Prior art keywords
- data
- list
- database
- characteristic
- basic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003860 storage Methods 0.000 title claims abstract description 81
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000013500 data storage Methods 0.000 title claims abstract description 48
- 238000010801 machine learning Methods 0.000 claims description 31
- 238000004422 calculation algorithm Methods 0.000 claims description 24
- 230000004927 fusion Effects 0.000 claims description 21
- 238000012545 processing Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 14
- 238000012549 training Methods 0.000 claims description 14
- 230000010354 integration Effects 0.000 claims description 8
- 230000006399 behavior Effects 0.000 claims description 7
- 238000002864 sequence alignment Methods 0.000 claims description 6
- 230000006698 induction Effects 0.000 claims description 2
- 238000000605 extraction Methods 0.000 description 28
- 238000010586 diagram Methods 0.000 description 14
- 230000001133 acceleration Effects 0.000 description 12
- 230000000295 complement effect Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 230000007613 environmental effect Effects 0.000 description 5
- 230000001965 increasing effect Effects 0.000 description 5
- 230000036772 blood pressure Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000004140 cleaning Methods 0.000 description 3
- 238000007405 data analysis Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000011084 recovery Methods 0.000 description 3
- 239000000523 sample Substances 0.000 description 3
- 230000001502 supplementing effect Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000009395 breeding Methods 0.000 description 2
- 230000001488 breeding effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013501 data transformation Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000005304 joining Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004806 packaging method and process Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000005355 Hall effect Effects 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000000586 desensitisation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/285—Clustering or classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请实施例公开了一种数据存储方法、装置、存储介质及电子设备,数据存储方法包括:获取多个基础数据,多个基础数据分属于多个类别;将多个基础数据按照分属的类别进行归纳整合,将归纳整合后的多个数据进行第一次存储,存储到对应类别的数据库中;分别对各数据库进行基础数据的特征提取,得到每一个数据库对应的特征数据,进行第二次存储;将特征数据进行融合,得到融合特征数据,进行第三次存储。本申请实施例通过三级存储的方式,将基础数据的关键特征进行提取和融合,能够减少冗余信息。通过存储特征数据以及融合特征数据,能够在操作数据时,避免直接对明文数据进行操作,有效保护系统数据和用户隐私数据的安全性。
Description
技术领域
本申请涉及电子技术领域,特别涉及一种数据存储方法、装置、存储介质及电子设备。
背景技术
随着电子技术的发展,诸如智能手机等电子设备的智能化程度越来越高。电子设备可以通过各种各样的算法模型来进行数据处理,从而为用户提供各种功能。对于需要收集大量数据的电子设备来说,系统数据的安全性和用户隐私数据的安全性都很重要。
发明内容
本申请实施例提供一种数据存储方法、装置、存储介质及电子设备,可以兼顾系统数据的安全性和用户隐私数据的安全性。
本申请实施例提供一种数据存储方法,应用于电子设备,其中,数据存储方法包括:
获取多个基础数据,所述多个基础数据分属于多个类别;
将所述多个基础数据按照分属的类别进行归纳整合,将归纳整合后的所述多个数据进行第一次存储,存储到对应类别的数据库中;
分别对各数据库进行基础数据的特征提取,得到每一个数据库对应的特征数据,将所述特征数据进行第二次存储;
将所述特征数据进行融合,得到融合特征数据,将所述融合特征数据进行第三次存储。
本申请实施例还提供了一种数据存储装置,包括:
获取模块,用于获取多个基础数据,所述多个基础数据分属于多个类别;
第一存储模块,用于将所述多个基础数据按照分属的类别进行归纳整合,将归纳整合后的所述多个数据进行第一次存储,存储到对应类别的数据库中;
第二存储模块,用于分别对各数据库进行基础数据的特征提取,得到每一个数据库对应的特征数据,将所述特征数据进行第二次存储;
第三存储模块,用于将所述特征数据进行融合,得到融合特征数据,将所述融合特征数据进行第三次存储。
本申请实施例还提供一种存储介质,其中,存储介质中存储有计算机程序,当计算机程序在计算机上运行时,使得计算机执行以下步骤:
获取多个基础数据,所述多个基础数据分属于多个类别;
将所述多个基础数据按照分属的类别进行归纳整合,将归纳整合后的所述多个数据进行第一次存储,存储到对应类别的数据库中;
分别对各数据库进行基础数据的特征提取,得到每一个数据库对应的特征数据,将所述特征数据进行第二次存储;
将所述特征数据进行融合,得到融合特征数据,将所述融合特征数据进行第三次存储。
本申请实施例还提供一种电子设备,其中,电子设备包括处理器和存储器,存储器中存储有计算机程序,处理器通过调用存储器中存储的计算机程序,用于执行以下步骤:
获取多个基础数据,所述多个基础数据分属于多个类别;
将所述多个基础数据按照分属的类别进行归纳整合,将归纳整合后的所述多个数据进行第一次存储,存储到对应类别的数据库中;
分别对各数据库进行基础数据的特征提取,得到每一个数据库对应的特征数据,将所述特征数据进行第二次存储;
将所述特征数据进行融合,得到融合特征数据,将所述融合特征数据进行第三次存储。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍。显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的数据存储方法的应用场景示意图。
图2为本申请实施例提供的数据存储方法的第一种流程示意图。
图3为本申请实施例提供的数据存储方法的另一应用场景示意图。
图4为本申请实施例提供的数据存储方法的第二种流程示意图。
图5为本申请实施例提供的数据存储装置的结构示意图。
图6为本申请实施例提供的数据存储装置的另一结构示意图。
图7为本申请实施例提供的数据存储装置的又一结构示意图。
图8为本申请实施例提供的电子设备的第一种结构示意图。
图9为本申请实施例提供的电子设备的第二种结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有付出创造性劳动前提下所获得的所有其他实施例,都属于本申请的保护范围。
参考图1,图1为本申请实施例提供的数据存储方法的应用场景示意图。数据存储方法应用于电子设备。电子设备中设置有全景感知架构。全景感知架构为电子设备中用于实现数据存储方法的硬件和软件的集成。
其中,全景感知架构包括信息感知层、数据处理层、特征抽取层、情景建模层以及智能服务层。
信息感知层用于获取电子设备自身的信息和/或外部环境中的信息。信息感知层可以包括多个传感器。例如,信息感知层包括距离传感器、磁场传感器、光线传感器、加速度传感器、指纹传感器、霍尔传感器、位置传感器、陀螺仪、惯性传感器、姿态感应器、气压计、心率传感器等多个传感器。
其中,距离传感器可以用于检测电子设备与外部物体之间的距离。磁场传感器可以用于检测电子设备所处环境的磁场信息。光线传感器可以用于检测电子设备所处环境的光线信息。加速度传感器可以用于检测电子设备的加速度数据。指纹传感器可以用于采集用户的指纹信息。霍尔传感器是根据霍尔效应制作的一种磁场传感器,可以用于实现电子设备的自动控制。位置传感器可以用于检测电子设备当前所处的地理位置。陀螺仪可以用于检测电子设备在各个方向上的角速度。惯性传感器可以用于检测电子设备的运动数据。姿态感应器可以用于感应电子设备的姿态信息。气压计可以用于检测电子设备所处环境的气压。心率传感器可以用于检测用户的心率信息。
数据处理层用于对信息感知层获取到的数据进行处理。例如,数据处理层可以对信息感知层获取到的数据进行数据清理、数据集成、数据变换、数据归约等处理。
其中,数据清理是指对信息感知层获取到的大量数据进行清理,以剔除无效数据和重复数据。数据集成是指将信息感知层获取到的多个单维度数据集成到一个更高或者更抽象的维度,以对多个单维度的数据进行综合处理。数据变换是指对信息感知层获取到的数据进行数据类型的转换或者格式的转换等,以使变换后的数据满足处理的需求。数据归约是指在尽可能保持数据原貌的前提下,最大限度的精简数据量。
特征抽取层用于对数据处理层处理后的数据进行特征抽取,以提取数据中包括的特征。提取到的特征可以反映出电子设备自身的状态或者用户的状态或者电子设备所处环境的环境状态等。
其中,特征抽取层可以通过过滤法、包装法、集成法等方法来提取特征或者对提取到的特征进行处理。
过滤法是指对提取到的特征进行过滤,以删除冗余的特征数据。包装法用于对提取到的特征进行筛选。集成法是指将多种特征提取方法集成到一起,以构建一种更加高效、更加准确的特征提取方法,用于提取特征。
情景建模层用于根据特征抽取层提取到的特征来构建模型,所得到的模型可以用于表示电子设备的状态或者用户的状态或者环境状态等。例如,情景建模层可以根据特征抽取层提取到的特征来构建关键值模型、模式标识模型、图模型、实体联系模型、面向对象模型等。
智能服务层用于根据情景建模层所构建的模型为用户提供智能化的服务。例如,智能服务层可以为用户提供基础应用服务,可以为电子设备进行系统智能优化,还可以为用户提供个性化智能服务。
此外,全景感知架构中还可以包括多种算法,每一种算法都可以用于对数据进行分析处理,多种算法可以构成算法库。例如,算法库中可以包括马尔科夫算法、隐含狄里克雷分布算法、贝叶斯分类算法、支持向量机、K均值聚类算法、K近邻算法、条件随机场、残差网络、长短期记忆网络、卷积神经网络、循环神经网络等算法。
本申请实施例提供一种数据存储方法,数据存储方法可以应用于电子设备中。电子设备可以是智能手机、平板电脑、游戏设备、AR(Augmented Reality,增强现实)设备、汽车、数据存储装置、音频播放装置、视频播放装置、笔记本、桌面计算设备、可穿戴设备诸如手表、眼镜、头盔、电子手链、电子项链、电子衣物等设备。
参考图2,图2为本申请实施例提供的数据存储方法的第一种流程示意图。其中,数据存储方法包括以下步骤:
110,获取多个基础数据,多个基础数据分属于多个类别。
基础数据可以包括电子设备的运行信息、电子设备的配置信息、用户信息、当前环境信息等。具体的,可以通过一个或多个传感器采集基础数据,也可以为实时采集。例如,通过距离传感器、磁场传感器、光线传感器、加速度传感器、指纹传感器、霍尔传感器、位置传感器、陀螺仪、惯性传感器、姿态感应器、气压计、血压传感器、脉搏传感器、心率传感器等中的至少一个获取当前环境信息和电子设备的相关信息。其中,当前环境信息包括用户的身体信息,如血压、脉搏、心率等。电子设备的相关信息包括电子设备的运行信息、电子设备的配置信息、电子设备内存储的用户信息等。其中,用户信息包括用户的身份信息、个人爱好、浏览记录、个人收藏等人机交互的信息。电子设备的运行信息包括开机时间、关机时间、待机时间、各个时间点的内存使用率、各个时间点的主芯片使用率、当前运行程序信息、后台运行程序信息、各个程序的运行时长、各个程序的下载量等。在一些实施例中,基础数据还可以包括用户操作终端的行为数据、传感器数据和系统运行数据。
120,将多个基础数据按照分属的类别进行归纳整合,将归纳整合后的多个数据进行第一次存储,存储到对应类别的数据库中。
得到多个基础数据后,将其存储在第一存储模块中。如,可以将多个全景感知信息存储在硬盘中。其中,可以设置多个数据库,将其基础数据按照类别存储到对应的数据库中。
对所有基础数据进行聚类,将多个基础数据按照分属的类别进行归纳整合,将同类的基础数据聚合在一起,形成一个数据集合,从而得到多类基础数据的多个数据集合。其中,基础数据可以根据数据的硬件属性进行分类,如主芯片相关的数据、显示屏相关的数据、硬盘相关的数据、内存相关的数据、各类传感器相关的数据等。基础数据还可以根据对应的应用程序进行分类,如系统应用程序相关的数据、安装的应用程序相关的数据;其中安装的应用程序相关的数据又可以根据具体的应用程序进行再分类,如即时通讯应用程序相关的数据、地图应用程序相关的数据、购物应用程序相关的数据等。将基础数据按照类别存储到对应的数据库中,有效地隔离了不相关的数据,使得数据能够独立存放。在一些实施例中,获取对应每个数据库中的时序索引,还能够便于基础数据的索引。
同类型的基础数据存储到同一数据库中。一项基础数据可以存储到一个数据库中,例如,加速度传感器数据只存储到加速度传感器数据库中。一项基础数据也可以存储到多个数据库中,例如,当某项基础数据分属于两种类别时,可以将这项基础数据进行复制,将复制后的基础数据和原基础数据分别存储到两个数据库中,两个数据库分别对应于这项基础数据所属的两种类别。需要说明的是,数据库中不仅可以存储当前获取的基础数据,还可以存储之前获取的基础数据。
130,分别对各数据库进行基础数据的特征提取,得到每一个数据库对应的特征数据,将特征数据进行第二次存储。
对单独的数据库中的数据进行单独的特征提取,得到每一个数据库对应的特征数据。可以设置特征提取层,用多种方式对基础数据进行特征提取,对应于不同的数据可以有不同的特征提取方法。每一种类型的数据格式和数据内容可以不相同,例如传感器数据中wifi连接信息非常有限,在没有连接wifi信号的时候并不会有wifi信息进行存储记录;相对而言,对于IMU数据则是每秒以赫兹的频率进行回传,一天最多可存储高达上G的数据。对数据库进行基础数据的特征提取,一方面有利于减少冗余信息、节省存储空间,另外一方面可以有效提取基础数据中的重要含义。以音频信息为例,音频信息属于时序信息,随着时间的增长,音频信息的数据不断增长,因此需要对数据进行特征提取,减少数据量。以双麦克风通道、32bit的位宽、采样频率为44100的音频信息为例,其5分钟产生的数据大概为1G,经过特征提取后得到每个时间窗口的重要特征,此时特征可以以向量形式进行储存,1G的数据可以压缩至几百k不等。
另外,第一次存储和第二次存储的存储方式可以是触发式的数据回传方法,即步骤110获取多个基础数据时,数据的回传方式可以为触发式回传。例如,对于网络模块来说,其开启WIFI功能的时候会搜索附近可用网络,此时网络模块检测到的数据向系统进行传输,系统在收集基础数据时,对系统通知类消息进行监控和收集。
在一些实施例中,用人工预设的方法对数据库进行基础数据的特征提取,预先设定每一类别的基础数据中的重要特征。将基础数据聚类并存储至相应数据库中,对同一数据库中的基础数据进行相同的重要特征认定,提取预设的重要特征对应到每一项基础数据的具体数据,作为特征数据,将特征数据进行第二次存储。
在一些实施例中,用预先训练机器学习模型的方法对数据库进行基础数据的特征提取,具体可以为:预先训练机器学习模型,得到与基础数据匹配的机器学习模型;将基础数据输入机器学习模型,获取模型输出结果,将模型输出结果作为特征数据。
首先,采集各数据库的基础数据;利用数据处理算法从基础数据中提取出特征数据;基于特征数据,训练并优化机器学习模型;当获取到新的基础数据时,将新的基础数据输入至机器学习模型,得到新的特征数据。
得到每一个数据库对应的特征数据,将特征数据进行第二次存储可以存储在第二存储模块中,第二存储模块中不需要存储大量的原始基础数据,只需要存储对应的特征数据即可。对基础数据进行特征提取,有效地提取出基础数据的重要特征,减少了原始基础数据的冗余信息、节省存储空间。相对于步骤120中的第一次存储,第二次存储中中所存储的数据量大大减少。需要说明的是,对数据库进行基础数据的特征提取,将提取得到的特征数据进行存储,能够避免直接存储原始数据格式,严谨把控信息安全,保护用户隐私。通过对数据库进行基础数据的特征提取,能够对源数据进行脱敏处理,有效地记录经过特征层脱敏的用户数据,减少数据冗余,便于后续使用。
在一些实施例中,还可以获取对应每个数据库中的时序索引,将对应每个数据库的时序索引也存储在第二存储模块(如内存)中,以便系统其他模块根据时序索引在数据库中查找到对应的基础数据。通过聚类的方法对多源异构的基础数据进行时间序列聚类,有效地对原始基础数据进行压缩,减少了基础数据的冗余信息的同时,实现了实时的基础数据的索引和访问。电子设备的运算资源和存储资源有限,合理地对基础数据进行访问和分配,能够加快全景感知信息的检索速度。
140,将特征数据进行融合,得到融合特征数据,将融合特征数据进行第三次存储。
第三次存储前,对第二次存储的内容进行特征数据的融合。具体的,可以使用多表连接的方式对特征数据进行融合,也可以使用时序对齐的方式对特征数据进行融合,还可以使用多表连接与时序对齐的方式共同对特征数据进行融合。由于终端上的数据大部分为时序数据,即不同时间点用户的操作和终端的情景是不相同的,随着时间的改变而改变,因此融合特征数据,可以进一步减少数据之间的不对称性,压缩数据量。
将特征数据进行融合,得到融合特征数据,将融合特征数据进行第三次存储,可以存储到第三存储模块中。在一些实施例中,得到融合特征数据后,第三存储模块中存储有融合后的全景特征信息,通过级联的存储方式有效地对数据进行容灾备份,并且,能够避免对明文数据进行存储和传输,通过特有的特征提取步骤对基础数据提取高纬特征(相当于对基础数据进行加密操作),有效地保护用户隐私信息。
在一些实施例中,该方法还可以包括:把融合特征数据传送到应用服务层或数据处理层,利用融合特征数据进行计算。在一些实施例中,该方法还可以包括:将融合特征信息上传至云端,便于提供给服务器进行数据分析。
在一些实施例中,该方法还可以包括:对融合特征数据进行终端备份,增加数据冗余度。例如,在聚会场所拍照的时候,音频信息可以对当前环境进行判断,判断出当前环境为开心、热闹、或者滋事等,结合图像信息可以判断终端用户房钱更加细粒度的场所。因此,音频信号经历步骤110、120、130和140,特征进行融合后,会比原来产生稍微多一点的冗余信息,这些冗余信息能够补充数据之间的缺失。
终端中关于数据的安全性很重要,本申请实施例不仅照顾到系统数据本身的安全性问题,还照顾到用户隐私数据安全性问题,通过具体细节步骤,能够有效地解决上述缺点。具体而言,对于终端来说(特别地针对全景感知需要收集大量的终端数据),收集大量的数据很容易会造成数据丢失问题,因此通过级联的数据库存储方式能够有效对数据进行容灾备份。其次,对终端来说,通过特征提取,存储特征数据,能够大大降低数据备份存储的压力,有效地减低系统硬盘和I/O(Input/Output,输入/输出)开销。最后,通过特征提取,可以有效地避免对明文数据进行存储和传输,通过特有的特征提取对数据提取高纬特征(相当于对数据进行加密操作),有效地保护用户隐私信息。
参考图3,图3为本申请实施例提供的数据存储方法的另一应用场景图。其中,用户行为数据、传感器数据、…、系统运行数据等为基础数据的来源,具体的,可以通过传感器等获取基础数据。然后,将多个基础数据聚类后,进行一级存储。一级存储层中存储有用户行为数据、传感器数据、…、系统运行数据等基础数据。
随后,特征提取模块对一级存储层中的基础数据进行特征提取,提取出基础数据的重要特征作为特征数据,进行二级存储。二级存储层中存储有行为特征、传感器特征、…、系统特征等特征数据。
三级存储中,对二级存储层的特征数据进行融合,得到融合全景特征,三级存储为融合特征数据的存储。
得到融合特征数据后,可以将融合特征数据上传至云端提供给服务器进行数据分析,也可以将融合特征数据传送给应用服务层或数据处理层,进行计算。此外,还可以对融合全景特征数据库进行冗余备份,增加数据冗余度,有效预防数据丢失。
参考图4,图4为本申请实施例提供的数据存储方法的第二种流程示意图。其中,数据存储方法包括以下步骤:
210,获取多个基础数据,多个基础数据分属于多个类别。
基础数据可以包括电子设备的运行信息、电子设备的配置信息、用户信息、当前环境信息等。具体的,可以通过一个或多个传感器采集基础数据,也可以为实时采集。例如,通过距离传感器、磁场传感器、光线传感器、加速度传感器、指纹传感器、霍尔传感器、位置传感器、陀螺仪、惯性传感器、姿态感应器、气压计、血压传感器、脉搏传感器、心率传感器等中的至少一个获取当前环境信息和电子设备的相关信息。其中,当前环境信息包括用户的身体信息,如血压、脉搏、心率等。电子设备的相关信息包括电子设备的运行信息、电子设备的配置信息、电子设备内存储的用户信息等。其中,用户信息包括用户的身份信息、个人爱好、浏览记录、个人收藏等人机交互的信息。电子设备的运行信息包括开机时间、关机时间、待机时间、各个时间点的内存使用率、各个时间点的主芯片使用率、当前运行程序信息、后台运行程序信息、各个程序的运行时长、各个程序的下载量等。在一些实施例中,基础数据还可以包括用户操作终端的行为数据、传感器数据和系统运行数据。
220,判断各个基础数据的类别,根据判断出的各个基础数据的类别将多个基础数据按照分属的类别进行归纳整合。
归纳整合也可称聚类,聚类是指将物理或抽象对象的集合分成由类似的对象组成的多个类。由聚类所生成的簇是一组数据对象的集合,这些对象与同一个簇中的对象彼此相似,与其他簇中的对象相异。
通过对第一存储模块中的所有基础数据进行聚类,可以将同类的基础数据聚合在一起,形成一个数据集合,从而得到多类基础数据的多个数据集合。其中,基础数据可以根据数据的硬件属性进行分类,如主芯片相关的数据、显示屏相关的数据、硬盘相关的数据、内存相关的数据、各类传感器相关的数据等。基础数据还可以根据对应的应用程序进行分类,如系统应用程序相关的数据、安装的应用程序相关的数据;其中安装的应用程序相关的数据又可以根据具体的应用程序进行再分类,如即时通讯应用程序相关的数据、地图应用程序相关的数据、购物应用程序相关的数据等。将基础数据按照类别存储到对应的数据库中,有效地隔离了不相关的数据,使得数据能够独立存放。在一些实施例中,获取对应每个数据库中的时序索引,还能够便于基础数据的索引。
230,将归纳整合后的多个数据进行第一次存储,存储到对应类别的数据库中。
同类型的基础数据存储到同一数据库中。一项基础数据可以存储到一个数据库中,例如,加速度传感器数据只存储到加速度传感器数据库中。一项基础数据也可以存储到多个数据库中,例如,当某项基础数据分属于两种类别时,可以将这项基础数据进行复制,将复制后的基础数据和原基础数据分别存储到两个数据库中,两个数据库分别对应于这项基础数据所属的两种类别。需要说明的是,数据库中不仅可以存储当前获取的全景感知信息,还可以存储之前存储的全景感知信息。
240,预先训练机器学习模型,根据机器学习模型对各数据库进行基础数据的特征提取,得到每一个数据库对应的特征数据,将特征数据进行第二次存储。
机器学习即计算机模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。它是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习研究如何在经验学习中改善具体算法的性能,能够通过经验自动改进计算机算法。
将基础数据输入机器学习模型,获取模型输出结果,将模型输出结果作为特征数据,将特征数据进行第二次存储。
情景建模层将步骤230中存储的历史基础数据作为训练样本,根据该训练样本对机器学习模型进行训练,得到训练后的机器学习模型,可用作预测模型。首先,采集各数据库的基础数据;利用数据处理算法从基础数据中提取出特征数据;基于特征数据,训练并优化机器学习模型;当获取到新的基础数据时,将新的基础数据输入至机器学习模型,得到新的特征数据。
在一些实施例中,得到训练后的机器学习模型的同时,得到对应各类历史基础数据的重要等级,然后根据重要等级设置各类历史基础数据的采样频率。
在一些实施例中,训练后的机器学习模型用于提取基础数据的特征信息,将基础数据输入机器学习模型,获取模型输出结果,将模型输出结果作为特征数据,将特征数据进行第二次存储。
通过预先训练机器学习模型,可以得到与基础数据匹配的机器学习模型,便于在后续对基础数据进行进一步的处理,机器自动对学习算法进行更新,有效避免预设人工算法的繁琐及不灵活。
251,将特征数据以多表连接的方式进行融合,得到融合特征数据。
在编程术语中,“连接(JOIN)”语句用于将数据库中的两个或多个表组合起来。由"连接"生成的集合,可以被保存为表,或者当成表来使用,而多表连接是一种表与表之间的连接方式。
在一些实施例中,多表连接的具体方式可以采用散列连接技术,散列连接为大数据集连接时的常用方式,优化器使用两个表中较小的数据源利用连接键(JOIN KEY)在内存中建立散列表,将列数据存储到散列表中,然后扫描较大的表,同样对JOIN KEY进行HASH后探测散列表,找出与散列表匹配的行。值得注意的是,具体哪些数据需要对称地进行多表连接由提前设定的程序进行决定,例如对于陀螺仪和加速度传感器的数据,其属于相互补充的传感器,但是其回传数据的频率不同,因此可以采用多表连接的方式。又例如对于加速度和重力传感器,也可以作为多表连接的输入源。
将特征数据以多表连接的方式进行融合,可以具体包括将特征数据以散列连接的方式进行融合。在一些实施例中,将特征数据以散列连接的方式进行融合的步骤,可以具体包括:获取第一列表与第二列表,第一列表与第二列表分别包含两组不同类型的特征数据,第一列表的数据源小于第二列表的数据源;利用连接键为第一列表的数据源建立散列表;提取第一列表的列数据,将第一列表的列数据存储到散列表中;扫描第二列表,获取第二列表中与散列表匹配的行数据,将与散列表匹配的行与第一列表中对应的内容组合成记录放入结果集中。
其中,扫描第二列表,获取第二列表中与散列表匹配的行数据的步骤,可以包括:扫描第二列表,对连接键进行散列映射,检测散列表;当检测出第二列表中存在与散列表相匹配的行数据,获取第二列表中与散射表匹配的行数据。需要说明的是,行数据还与第一列表的列数据相匹配。
252,将特征数据以时序对齐的方式进行融合,得到融合特征数据。
时序即时间顺序,时序对齐即将利用时序对数据进行对齐。
在一些实施例中,将特征数据以时序对齐的方式进行融合的步骤,可以包括:获取两个特征数据库及分别与两个特征数据库对应的两个时序信息;将两个特征数据库中的特征数据分别按照时序信息进行排列;获取两个时序信息中相同的时序,将相同的时序对应的特征数据进行对齐。
需要说明的是,获取两个特征数据库及分别与两个特征数据库对应的两个时序信息,具体为,获取一个特征数据库及与该一个特征数据库对应的时序信息,获取另一个特征数据库及与该另一个特征数据库对应的时序信息。每一个特征数据库包含其对应数据库的全部特征数据
在一些实施例中,获取两个时序信息中相同的时序,将相同的时序对应的特征数据进行对齐之前,还可以包括:当检测出两个时序信息中的时序不能够完全匹配时,获取两个时序信息中无法进行匹配的待操作时序;判断能否对待操作时序进行数据补齐,数据包括特征数据,进行数据补齐的方法包括插值算法;若判断出能够对待操作时序进行数据补齐,补齐待操作时序对应的数据;若判断出无法对待操作时序进行数据补齐,删除待操作时序。
具体而言,例如,某数据的时序信息为A,B,D,F,某数据的时序信息为A,B,C,D,E,F,为了使得两类数据能够匹配上,利用时序上到的数据插值进行对齐,如果某些数据不能通过插值算法得到,则删除多余的时序。通过时序对齐,能够进一步减少数据之间的不对称性,压缩数据量。
253,将特征数据以多表连接和时序对齐的方式进行融合,得到融合特征数据。
在特征数据进行融合时,多表连接和时序对齐这两种方法,可以二者选其一,也可以二者兼并。在一些实施例中,即使用多表连接对特征数据进行融合,又实用时序对齐对特征数据进行融合。
260,将融合特征数据进行第三次存储。
第三存储单元中存储有融合后的特征数据,通过级联的存储方式有效地对数据进行容灾备份,并且,能够避免对明文数据进行存储和传输,通过特有的特征提取步骤对基础数据提取高纬特征(相当于对基础数据进行加密操作),有效地保护用户隐私信息。
270,将融合特征数据在终端进行实时备份。
为了保证待处理数据的安全性,第一存储模块中的基础数据、第二存储模块中的特征数据以及第三存储模块中的融合特征数据都可以在终端进行实时备份。
具体的,可以冗余备份在另一个存储模块中,或第一存储模块、第二存储模块或第三存储模块的另一个地方。
若第一存储模块为硬盘,则将基础数据、特征数据或融合特征数据在第一存储模块进行冗余备份时,可以将硬盘划分为至少两个区域,基础数据存储在其中一个区域,冗余备份在另一个区域。
若第一存储模块为硬盘,电子设备包括至少两个硬盘时,则可以冗余备份在另一硬盘中。其中,两个硬盘可以为相同类型的硬盘,如机械硬盘、固态硬盘、混合硬盘等。两个硬盘也可以为不同类型的硬盘,如机械硬盘、固态硬盘、混合硬盘中的两种等。
需要说明的是,本实施例中的冗余备份可以备份一份,也可以备份多份。其中,备份多份可以使用同一种方式备份,也可以使用不同种方式备份。
将融合特征数据在终端进行实时备份,可以增加数据冗余度,补充数据确实。例如,在聚会场所拍照的时候,音频信息可以对当前环境进行判断,判断出当前环境为开心、热闹、或者滋事等,结合图像信息可以判断终端用户房钱更加细粒度的场所。因此,音频信号经历步骤110、120、130和140,特征进行融合后,会比原来产生稍微多一点的冗余信息,这些冗余信息能够补充数据之间的缺失。并且,在将来基础数据有所丢失时,可以利用这些冗余备份的数据对源数据进行补充。
应当理解,本申请实施例中,诸如术语“第一”、“第二”等仅用于区别类似的对象,而不必用于描述特定的顺序或先后次序,这样描述的对象在适当情况下可以互换。
具体实施时,本申请不受所描述的各个步骤的执行顺序的限制,在不产生冲突的情况下,某些步骤还可以采用其它顺序进行或者同时进行。
由上可知,本申请实施例提供的数据存储方法,首先获取多个基础数据,多个基础数据分属于多个类别;然后将多个基础数据按照分属的类别进行归纳整合,将归纳整合后的多个数据进行第一次存储,存储到对应类别的数据库中;接着分别对各数据库进行基础数据的特征提取,得到每一个数据库对应的特征数据,将特征数据进行第二次存储;最后将特征数据进行融合,得到融合特征数据,将融合特征数据进行第三次存储。通过三级存储的方式,将基础数据的关键特征进行提取和融合,能够减少冗余信息。将提取得到的特征数据以及进一步融合得到的融合特征数据进行存储,能够在操作数据时,避免直接对明文数据进行操作,有效保护系统数据的安全性和用户隐私数据的安全性。
参考图5,图5为本申请实施例提供的数据存储装置的结构示意图。其中,数据存储装置300可以集成在电子设备中,数据存储装置300包括获取模块301、第一存储模块302、第二存储模块303和第三存储模块304。
获取模块301,用于获取多个基础数据,多个基础数据分属于多个类别;
第一存储模块302,用于将多个基础数据按照分属的类别进行归纳整合,将归纳整合后的多个数据进行第一次存储,存储到对应类别的数据库中;
第二存储模块303,用于分别对各数据库进行基础数据的特征提取,得到每一个数据库对应的特征数据,将特征数据进行第二次存储;
第三存储模块304,用于将特征数据进行融合,得到融合特征数据,将融合特征数据进行第三次存储。
请一并参阅图6,图6为本申请实施例提供的数据存储装置的另一结构示意图。
在一些实施例中,第二存储模块303对数据库进行基础数据的特征提取,可以通过机器学习的方法,此时的第二存储模块303可以包括训练单元3031和特征获取单元3032.
训练单元3031,用于预先训练机器学习模型,得到与基础数据匹配的机器学习模型。训练单元3031可以具体用于:采集各数据库的基础数据;利用数据处理算法从基础数据中提取出特征数据;基于特征数据,训练并优化机器学习模型。
特征获取单元3032,用于当获取到新的基础数据时,将新的基础数据输入至机器学习模型,得到新的特征数据;分别对各数据库进行基础数据的特征提取,得到每一个数据库对应的特征数据,将特征数据进行第二次存储。
请一并参阅图7,图7为本申请实施例提供的数据存储装置的又一结构示意图。在一些实施例中,第三存储模块304可以包括多表连接单元3041和/或时序对齐单元3042。
多表连接单元3041用于将特征数据以多表连接的方式进行融合,具体可以以散列连接的方式进行融合,步骤包括:
获取第一列表与第二列表,第一列表与第二列表分别包含两组不同类型的特征数据,第一列表的数据源小于第二列表的数据源;
利用连接键为第一列表的数据源建立散列表;
提取第一列表的列数据,将第一列表的列数据存储到散列表中;
扫描第二列表,获取第二列表中与散列表匹配的行数据,将与散列表匹配的行与第一列表中对应的内容组合成记录放入结果集中。
其中,在扫描第二列表,获取第二列表中与散列表匹配的行数据时,多表连接单元3041还用于:
扫描第二列表,对连接键进行散列映射,检测散列表;
当检测出第二列表中存在与散列表相匹配的行数据,获取第二列表中与散射表匹配的行数据,行数据与第一列表的列数据相匹配。
时序对齐单元3042用于将特征数据以时序对齐的方式进行融合,步骤包括:
获取两个特征数据库及分别与两个特征数据库对应的两个时序信息,每一个特征数据库包含其对应数据库的全部特征数据;
将两个特征数据库中的特征数据分别按照时序信息进行排列;
获取两个时序信息中相同的时序,将相同的时序对应的特征数据进行对齐。
在一些实施例中,获取两个时序信息中相同的时序,将相同的时序对应的特征数据进行对齐之前,时序对齐单元3042还用于:
判断两个时序信息中的时序是否能够完全匹配;
当判断出两个时序信息中的时序能够完全匹配时,将相同的时序对应的特征数据进行对齐;
当检测出两个时序信息中的时序不能够完全匹配时,获取两个时序信息中无法进行匹配的待操作时序;
判断能否对待操作时序进行数据补齐,数据包括特征数据,进行数据补齐的方法包括插值算法;
若判断出能够对待操作时序进行数据补齐,补齐待操作时序对应的数据;
若判断出无法对待操作时序进行数据补齐,删除待操作时序。
在一些实施例中,完全匹配是指两个时序信息中的时序完全相同。
在一些实施例中,装置还可以包括备份模块、传输模块。备份模块用于将融合特征数据在终端进行实时备份。传输模块用于将融合特征数据传输至应用服务层或数据处理层,以便应用服务层或数据处理层利用融合信息特征进行计算;或者,传输模块还可以用于将融合特征数据传输至云端,以便云端服务器进行数据分析。
由上可知,本申请实施例提供了一种数据存储装置,首先获取模块301获取多个基础数据,多个基础数据分属于多个类别;然后第一存储模块302将多个基础数据按照分属的类别进行归纳整合,将归纳整合后的多个数据进行第一次存储,存储到对应类别的数据库中;接着第二存储模块303分别对各数据库进行基础数据的特征提取,得到每一个数据库对应的特征数据,将特征数据进行第二次存储;最后第三存储模块304将特征数据进行融合,得到融合特征数据,将融合特征数据进行第三次存储。通过三级存储的方式,将基础数据的关键特征进行提取和融合,能够减少冗余信息。将提取得到的特征数据以及进一步融合得到的融合特征数据进行存储,能够在操作数据时,避免直接对明文数据进行操作,有效保护系统数据的安全性和用户隐私数据的安全性。
本申请实施例还提供一种电子设备。电子设备可以是智能手机、平板电脑、游戏设备、AR(Augmented Reality,增强现实)设备、汽车、数据存储装置、音频播放装置、视频播放装置、笔记本、桌面计算设备、可穿戴设备诸如手表、眼镜、头盔、电子手链、电子项链、电子衣物等设备。
参考图8,图8为本申请实施例提供的电子设备800的第一种结构示意图。其中,电子设备800包括处理器801和存储器802。处理器801与存储器802电性连接。
处理器801是电子设备800的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或调用存储在存储器802内的计算机程序,以及调用存储在存储器802内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。
在本实施例中,电子设备800中的处理器801会按照如下的步骤,将一个或一个以上的计算机程序的进程对应的指令加载到存储器802中,并由处理器801来运行存储在存储器802中的计算机程序,从而实现各种功能:
获取多个基础数据,多个基础数据分属于多个类别;
将多个基础数据按照分属的类别进行归纳整合,将归纳整合后的多个数据进行第一次存储,存储到对应类别的数据库中;
分别对各数据库进行基础数据的特征提取,得到每一个数据库对应的特征数据,将特征数据进行第二次存储;
将特征数据进行融合,得到融合特征数据,将融合特征数据进行第三次存储。
在一些实施例中,在对各数据库进行基础数据的特征提取,得到每一个数据库对应的特征数据之前,处理器801执行以下步骤:
采集各数据库的基础数据;
利用数据处理算法从基础数据中提取出特征数据;
基于特征数据,训练并优化机器学习模型;
当获取到新的基础数据时,将新的基础数据输入至机器学习模型,得到新的特征数据。
在一些实施例中,将特征数据进行融合时,处理器801执行以下步骤:
将特征数据以多表连接的方式进行融合;
将特征数据以时序对齐的方式进行融合。
其中,将特征数据以多表连接的方式进行融合时,处理器801执行以下步骤:
获取第一列表与第二列表,第一列表与第二列表分别包含两组不同类型的特征数据,第一列表的数据源小于第二列表的数据源;
利用连接键为第一列表的数据源建立散列表;
提取第一列表的列数据,将第一列表的列数据存储到散列表中;
扫描第二列表,获取第二列表中与散列表匹配的行数据,将与散列表匹配的行与第一列表中对应的内容组合成记录放入结果集中。
在一些实施例中,扫描第二列表,获取第二列表中与散列表匹配的行数据时,处理器801执行以下步骤:
扫描第二列表,对连接键进行散列映射,检测散列表;
当检测出第二列表中存在与散列表相匹配的行数据,获取第二列表中与散射表匹配的行数据,行数据与第一列表的列数据相匹配。
在一些实施例中,将特征数据以时序对齐的方式进行融合时,处理器801执行以下步骤:
获取两个特征数据库及分别与两个特征数据库对应的两个时序信息,每一个特征数据库包含其对应数据库的全部特征数据;
将两个特征数据库中的特征数据分别按照时序信息进行排列;
获取两个时序信息中相同的时序,将相同的时序对应的特征数据进行对齐。
在一些实施例中,在获取两个时序信息中相同的时序,将相同的时序对应的特征数据进行对齐之前,处理器801执行以下步骤:
判断两个时序信息中的时序是否能够完全匹配;
当判断出两个时序信息中的时序能够完全匹配时,将相同的时序对应的特征数据进行对齐;
当检测出两个时序信息中的时序不能够完全匹配时,获取两个时序信息中无法进行匹配的待操作时序;
判断能否对待操作时序进行数据补齐,数据包括特征数据,进行数据补齐的方法包括插值算法;
若判断出能够对待操作时序进行数据补齐,补齐待操作时序对应的数据;
若判断出无法对待操作时序进行数据补齐,删除待操作时序。
在一些实施例中,处理器801执行以下步骤:
将融合特征数据在终端进行实时备份。
在一些实施例中,参考图9,图9为本申请实施例提供的电子设备800的第二种结构示意图。
其中,电子设备800还包括:显示屏803、控制电路804、输入单元805、传感器806以及电源807。其中,处理器801分别与显示屏803、控制电路804、输入单元805、传感器806以及电源807电性连接。
显示屏803可用于显示由用户输入的信息或提供给用户的信息以及电子设备的各种图形用户接口,这些图形用户接口可以由图像、文本、图标、视频和其任意组合来构成。
控制电路804与显示屏803电性连接,用于控制显示屏803显示信息。
输入单元805可用于接收输入的数字、字符信息或用户特征信息(例如指纹),以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。其中,输入单元805可以包括指纹识别模组。
传感器806用于采集电子设备自身的信息或者用户的信息或者外部环境信息。例如,传感器806可以包括距离传感器、磁场传感器、光线传感器、加速度传感器、指纹传感器、霍尔传感器、位置传感器、陀螺仪、惯性传感器、姿态感应器、气压计、心率传感器等多个传感器。
电源807用于给电子设备800的各个部件供电。在一些实施例中,电源807可以通过电源管理系统与处理器801逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管图9中未示出,电子设备800还可以包括摄像头、蓝牙模块等,在此不再赘述。
由上可知,本申请实施例提供了一种电子设备,电子设备中的处理器执行以下步骤:首先获取多个基础数据,多个基础数据分属于多个类别;然后将多个基础数据按照分属的类别进行归纳整合,将归纳整合后的多个数据进行第一次存储,存储到对应类别的数据库中;接着分别对各数据库进行基础数据的特征提取,得到每一个数据库对应的特征数据,将特征数据进行第二次存储;最后将特征数据进行融合,得到融合特征数据,将融合特征数据进行第三次存储。通过三级存储的方式,将基础数据的关键特征进行提取和融合,能够减少冗余信息。将提取得到的特征数据以及进一步融合得到的融合特征数据进行存储,能够在操作数据时,避免直接对明文数据进行操作,有效保护系统数据的安全性和用户隐私数据的安全性。
本申请实施例还提供一种存储介质,存储介质中存储有计算机程序,当计算机程序在计算机上运行时,计算机执行上述任一实施例的数据存储方法。
例如,在一些实施例中,当计算机程序在计算机上运行时,计算机执行以下步骤:
获取多个基础数据,多个基础数据分属于多个类别;
将多个基础数据按照分属的类别进行归纳整合,将归纳整合后的多个数据进行第一次存储,存储到对应类别的数据库中;
分别对各数据库进行基础数据的特征提取,得到每一个数据库对应的特征数据,将特征数据进行第二次存储;
将特征数据进行融合,得到融合特征数据,将融合特征数据进行第三次存储。
需要说明的是,本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过计算机程序来指令相关的硬件来完成,计算机程序可以存储于计算机可读存储介质中,存储介质可以包括但不限于:只读存储器(ROM,Read Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁盘或光盘等。
以上对本申请实施例所提供的数据存储方法、装置、存储介质及电子设备进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上,本说明书内容不应理解为对本申请的限制。
Claims (13)
1.一种数据存储方法,其中,所述数据存储方法包括:
获取多个基础数据,所述多个基础数据分属于多个类别;
将所述多个基础数据按照分属的类别进行归纳整合,将归纳整合后的所述多个数据进行第一次存储,存储到对应类别的数据库中;
分别对各数据库进行基础数据的特征提取,得到每一个数据库对应的特征数据,将所述特征数据进行第二次存储;
将所述特征数据进行融合,得到融合特征数据,将所述融合特征数据进行第三次存储;
其中,若将所述特征数据以多表连接的方式进行融合时,包括:
获取第一列表与第二列表,所述第一列表与第二列表分别包含两组不同类型的特征数据,所述第一列表的数据源小于第二列表的数据源;
利用连接键为所述第一列表的数据源建立散列表;
提取所述第一列表的列数据,将所述第一列表的列数据存储到散列表中;
扫描第二列表,获取所述第二列表中与所述散列表匹配的行数据,将所述与所述散列表匹配的行与第一列表中对应的内容组合成记录放入结果集中。
2.根据权利要求1所述的数据存储方法,其中,所述基础数据的类别至少包括用户操作终端的行为数据、传感器数据和系统运行数据。
3.根据权利要求2所述的数据存储方法,其中,所述分别对各数据库进行基础数据的特征提取,得到每一个数据库对应的特征数据之前,还包括:
采集各数据库的基础数据;
利用数据处理算法从所述基础数据中提取出特征数据;
基于所述特征数据,训练并优化机器学习模型;
当获取到新的基础数据时,将所述新的基础数据输入至所述机器学习模型,得到新的特征数据。
4.根据权利要求1所述的数据存储方法,其中,所述将所述特征数据进行融合还包括:
将所述特征数据以时序对齐的方式进行融合。
5.根据权利要求4所述的数据存储方法,其中,所述将所述特征数据以时序对齐的方式进行融合,包括:
获取两个特征数据库及分别与所述两个特征数据库对应的两个时序信息,每一个所述特征数据库包含其对应数据库的全部特征数据;
将两个所述特征数据库中的特征数据分别按照时序信息进行排列;
获取两个时序信息中相同的时序,将所述相同的时序对应的特征数据进行对齐。
6.根据权利要求1所述的数据存储方法,其中,所述获取多个基础数据包括:
实时通过多个不同传感器采集基础数据。
7.根据权利要求1所述的数据存储方法,其中,所述将所述融合特征数据进行第三次存储之后,还包括:
将所述融合特征数据在终端进行实时备份。
8.一种数据存储装置,其中,所述数据存储装置包括:
获取模块,用于获取多个基础数据,所述多个基础数据分属于多个类别;
第一存储模块,用于将所述多个基础数据按照分属的类别进行归纳整合,将归纳整合后的所述多个数据进行第一次存储,存储到对应类别的数据库中;
第二存储模块,用于分别对各数据库进行基础数据的特征提取,得到每一个数据库对应的特征数据,将所述特征数据进行第二次存储;
第三存储模块,用于将所述特征数据进行融合,得到融合特征数据,将所述融合特征数据进行第三次存储;
其中,所述第三存储模块若将所述特征数据以多表连接的方式进行融合时,具体用于获取第一列表与第二列表,所述第一列表与第二列表分别包含两组不同类型的特征数据,所述第一列表的数据源小于第二列表的数据源;利用连接键为所述第一列表的数据源建立散列表;提取所述第一列表的列数据,将所述第一列表的列数据存储到散列表中;扫描第二列表,获取所述第二列表中与所述散列表匹配的行数据,将所述与所述散列表匹配的行与第一列表中对应的内容组合成记录放入结果集中。
9.一种存储介质,其中,所述存储介质中存储有计算机程序,所述计算机程序,当所述计算机程序在计算机上运行时,使得所述计算机执行以下步骤:
获取多个基础数据,所述多个基础数据分属于多个类别;
将所述多个基础数据按照分属的类别进行归纳整合,将归纳整合后的所述多个数据进行第一次存储,存储到对应类别的数据库中;
分别对各数据库进行基础数据的特征提取,得到每一个数据库对应的特征数据,将所述特征数据进行第二次存储;
将所述特征数据进行融合,得到融合特征数据,将所述融合特征数据进行第三次存储;
其中,若将所述特征数据以多表连接的方式进行融合时,包括:
获取第一列表与第二列表,所述第一列表与第二列表分别包含两组不同类型的特征数据,所述第一列表的数据源小于第二列表的数据源;
利用连接键为所述第一列表的数据源建立散列表;
提取所述第一列表的列数据,将所述第一列表的列数据存储到散列表中;
扫描第二列表,获取所述第二列表中与所述散列表匹配的行数据,将所述与所述散列表匹配的行与第一列表中对应的内容组合成记录放入结果集中。
10.一种电子设备,其中,所述电子设备包括处理器和存储器,所述存储器中存储有计算机程序,所述处理器通过调用所述存储器中存储的所述计算机程序,用于执行以下步骤:
获取多个基础数据,所述多个基础数据分属于多个类别;
将所述多个基础数据按照分属的类别进行归纳整合,将归纳整合后的所述多个数据进行第一次存储,存储到对应类别的数据库中;
分别对各数据库进行基础数据的特征提取,得到每一个数据库对应的特征数据,将所述特征数据进行第二次存储;
将所述特征数据进行融合,得到融合特征数据,将所述融合特征数据进行第三次存储;
其中,若将所述特征数据以多表连接的方式进行融合时,包括:
获取第一列表与第二列表,所述第一列表与第二列表分别包含两组不同类型的特征数据,所述第一列表的数据源小于第二列表的数据源;
利用连接键为所述第一列表的数据源建立散列表;
提取所述第一列表的列数据,将所述第一列表的列数据存储到散列表中;
扫描第二列表,获取所述第二列表中与所述散列表匹配的行数据,将所述与所述散列表匹配的行与第一列表中对应的内容组合成记录放入结果集中。
11.根据权利要求10所述的电子设备,其中,所述分别对各数据库进行基础数据的特征提取,得到每一个数据库对应的特征数据之前,还包括:
采集各数据库的基础数据;
利用数据处理算法从所述基础数据中提取出特征数据;
基于所述特征数据,训练并优化机器学习模型;
当获取到新的基础数据时,将所述新的基础数据输入至所述机器学习模型,得到新的特征数据。
12.根据权利要求10所述的电子设备,其中,所述将所述特征数据进行融合还包括:
将所述特征数据以时序对齐的方式进行融合。
13.根据权利要求12所述的电子设备,其中,所述将所述特征数据以时序对齐的方式进行融合,包括:
获取两个特征数据库及分别与所述两个特征数据库对应的两个时序信息,每一个所述特征数据库包含其对应数据库的全部特征数据;
将两个所述特征数据库中的特征数据分别按照时序信息进行排列;
获取两个时序信息中相同的时序,将所述相同的时序对应的特征数据进行对齐。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910282158.5A CN111797175B (zh) | 2019-04-09 | 2019-04-09 | 数据存储方法、装置、存储介质及电子设备 |
PCT/CN2020/081158 WO2020207252A1 (zh) | 2019-04-09 | 2020-03-25 | 数据存储方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910282158.5A CN111797175B (zh) | 2019-04-09 | 2019-04-09 | 数据存储方法、装置、存储介质及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111797175A CN111797175A (zh) | 2020-10-20 |
CN111797175B true CN111797175B (zh) | 2023-12-19 |
Family
ID=72750970
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910282158.5A Active CN111797175B (zh) | 2019-04-09 | 2019-04-09 | 数据存储方法、装置、存储介质及电子设备 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN111797175B (zh) |
WO (1) | WO2020207252A1 (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113701819A (zh) * | 2021-08-31 | 2021-11-26 | 四川省建筑科学研究院有限公司 | 一种建筑结构监测方法、监测装置、监测系统及存储介质 |
CN116048883B (zh) * | 2023-02-20 | 2024-08-06 | 江苏万润数字技术有限公司 | 一种采用人工智能的大数据容灾分析方法及服务器 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104933296A (zh) * | 2015-05-28 | 2015-09-23 | 汤海京 | 一种基于多维数据融合的大数据处理方法和设备 |
CN107103094A (zh) * | 2017-05-18 | 2017-08-29 | 前海梧桐(深圳)数据有限公司 | 基于海量数据的企业间数据关联关系捕捉方法及其系统 |
CN108764372A (zh) * | 2018-06-08 | 2018-11-06 | Oppo广东移动通信有限公司 | 数据集的构建方法和装置、移动终端、可读存储介质 |
CN108961302A (zh) * | 2018-07-16 | 2018-12-07 | Oppo广东移动通信有限公司 | 图像处理方法、装置、移动终端及计算机可读存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6235082B1 (ja) * | 2016-07-13 | 2017-11-22 | ヤフー株式会社 | データ分類装置、データ分類方法、およびプログラム |
-
2019
- 2019-04-09 CN CN201910282158.5A patent/CN111797175B/zh active Active
-
2020
- 2020-03-25 WO PCT/CN2020/081158 patent/WO2020207252A1/zh active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104933296A (zh) * | 2015-05-28 | 2015-09-23 | 汤海京 | 一种基于多维数据融合的大数据处理方法和设备 |
CN107103094A (zh) * | 2017-05-18 | 2017-08-29 | 前海梧桐(深圳)数据有限公司 | 基于海量数据的企业间数据关联关系捕捉方法及其系统 |
CN108764372A (zh) * | 2018-06-08 | 2018-11-06 | Oppo广东移动通信有限公司 | 数据集的构建方法和装置、移动终端、可读存储介质 |
CN108961302A (zh) * | 2018-07-16 | 2018-12-07 | Oppo广东移动通信有限公司 | 图像处理方法、装置、移动终端及计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111797175A (zh) | 2020-10-20 |
WO2020207252A1 (zh) | 2020-10-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7201730B2 (ja) | 意図推薦方法、装置、機器及び記憶媒体 | |
CN111461553A (zh) | 景区舆情监测分析系统和方法 | |
US12056183B2 (en) | Hyperzoom attribute analytics on the edge | |
US11900688B2 (en) | People and vehicle analytics on the edge | |
CN113052079B (zh) | 一种基于人脸聚类的区域客流统计方法、系统、设备和介质 | |
CN111797175B (zh) | 数据存储方法、装置、存储介质及电子设备 | |
CN111798259A (zh) | 应用推荐方法、装置、存储介质及电子设备 | |
CN115114395A (zh) | 内容检索及模型训练方法、装置、电子设备和存储介质 | |
CN111178455B (zh) | 图像聚类方法、系统、设备及介质 | |
CN111767880B (zh) | 一种基于脸部特征的活体身份识别方法、装置和存储介质 | |
US11314793B2 (en) | Query processing | |
CN111797856B (zh) | 建模方法、装置、存储介质及电子设备 | |
CN111797422A (zh) | 数据隐私保护查询方法、装置、存储介质及电子设备 | |
CN112925899A (zh) | 排序模型建立方法、案件线索推荐方法、装置及介质 | |
CN111694979A (zh) | 一种基于图像的档案管理方法、系统、设备和介质 | |
JP2019020820A (ja) | 映像認識システム | |
CN111797303A (zh) | 信息处理方法、装置、存储介质及电子设备 | |
CN115526602A (zh) | 备忘提醒方法、装置、终端及存储介质 | |
CN114973352A (zh) | 人脸识别方法、装置、设备及存储介质 | |
Cao | E-Commerce Big Data Mining and Analytics | |
CN111797227A (zh) | 信息处理方法、装置、存储介质及电子设备 | |
CN115578100A (zh) | 支付验证方式的识别方法、装置、电子设备和存储介质 | |
CN111797875B (zh) | 场景建模方法、装置、存储介质及电子设备 | |
CN111797868B (zh) | 场景识别模型建模方法、装置、存储介质及电子设备 | |
CN111797839A (zh) | 特征提取方法、装置、存储介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |