CN115237355A - 一种基于闪存数据类识别的定向交换方法及系统 - Google Patents
一种基于闪存数据类识别的定向交换方法及系统 Download PDFInfo
- Publication number
- CN115237355A CN115237355A CN202211146966.7A CN202211146966A CN115237355A CN 115237355 A CN115237355 A CN 115237355A CN 202211146966 A CN202211146966 A CN 202211146966A CN 115237355 A CN115237355 A CN 115237355A
- Authority
- CN
- China
- Prior art keywords
- data
- feature
- similarity
- coordinate
- flash memory
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000011156 evaluation Methods 0.000 claims abstract description 59
- 230000002452 interceptive effect Effects 0.000 claims abstract description 52
- 238000013500 data storage Methods 0.000 claims abstract description 34
- 238000000605 extraction Methods 0.000 claims abstract description 29
- 238000012216 screening Methods 0.000 claims abstract description 25
- 230000003993 interaction Effects 0.000 claims description 31
- 238000012512 characterization method Methods 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 10
- 238000005457 optimization Methods 0.000 claims description 6
- 230000007547 defect Effects 0.000 abstract description 5
- 230000008569 process Effects 0.000 description 13
- 238000003066 decision tree Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0604—Improving or facilitating administration, e.g. storage management
- G06F3/0607—Improving or facilitating administration, e.g. storage management by facilitating the process of upgrading existing storage systems, e.g. for improving compatibility between host and storage device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/0671—In-line storage system
- G06F3/0673—Single storage device
- G06F3/0679—Non-volatile semiconductor memory device, e.g. flash memory, one time programmable memory [OTP]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种基于闪存数据类识别的定向交换方法及系统,包括:根据第一闪存装置,获得第一交互指令和第一数据存储列表,其中,所述第一交互指令包括第一交互参考数据集确定第一选定数据类别;对第一选定数据类别进行特征提取,获得第一结构特征和第一内容特征构建相似度评估坐标系;根据相似度评估坐标系和第一数据存储列表,遍历第一数据组集,获得第一相似度集合;根据第一相似度集合对第一数据组集进行优化筛选,获得第一筛选数据集添加进第一交互数据,解决了现有技术基于分组进行数据交换的缺点在于会存在冗杂数据,导致交换数据的冗杂性较高,进而使得闪存数据交换存在准确率较低的技术问题。
Description
技术领域
本发明涉及数据处理相关技术领域,具体涉及一种基于闪存数据类识别的定向交换方法及系统。
背景技术
闪存即为可清除程序化只读存储器的形式,允许在操作中被多次擦或写的存储器,例如存储卡和U盘,自问世以来由于其便携的优点便广受大众喜爱,但随着科技的发展,对应于闪存存储系统的要求逐渐增高,不仅仅要求可以安全快速的存储大量的数据,还要求能够跟外部进行数据交互。
目前已经出现了一些闪存设备之间、闪存设备同其它设备之间的数据交互方法,大都是闪存装置和外部的数据交换是根据存储组别进行交换,但是现有技术基于分组进行数据交换的缺点在于会存在冗杂数据,导致交换数据的冗杂性较高,进而使得闪存数据交换存在准确率较低的技术问题。
发明内容
本申请实施例通过提供了一种基于闪存数据类识别的定向交换方法及系统,解决了现有技术基于分组进行数据交换的缺点在于会存在冗杂数据,导致交换数据的冗杂性较高,进而使得闪存数据交换存在准确率较低的技术问题。
鉴于上述问题,本申请实施例提供了一种基于闪存数据类识别的定向交换方法及系统。
第一方面,本申请实施例提供了一种基于闪存数据类识别的定向交换方法,其中,所述方法应用一闪存装置,所述方法包括:根据第一闪存装置,获得第一交互指令和第一数据存储列表,其中,所述第一交互指令包括第一交互参考数据集;根据所述第一交互参考数据集,确定第一选定数据类别;对所述第一选定数据类别进行特征提取,获得第一结构特征和第一内容特征;根据所述第一结构特征和所述第一内容特征,构建相似度评估坐标系,其中,所述第一结构特征和所述第一内容特征为原点特征;根据所述相似度评估坐标系和所述第一数据存储列表,遍历第一数据组集,获得第一相似度集合;根据所述第一相似度集合对第一数据组集进行优化筛选,获得第一筛选数据集;将所述第一筛选数据集添加进第一交互数据。
另一方面,本申请实施例提供了一种基于闪存数据类识别的定向交换系统,其中,所述系统包括:第一获得单元,用于根据第一闪存装置,获得第一交互指令和第一数据存储列表,其中,所述第一交互指令包括第一交互参考数据集;第一确定单元,用于根据所述第一交互参考数据集,确定第一选定数据类别;第二获得单元,用于对所述第一选定数据类别进行特征提取,获得第一结构特征和第一内容特征;第一构建单元,用于根据所述第一结构特征和所述第一内容特征,构建相似度评估坐标系,其中,所述第一结构特征和所述第一内容特征为原点特征;第三获得单元,用于根据所述相似度评估坐标系和所述第一数据存储列表,遍历第一数据组集,获得第一相似度集合;第四获得单元,用于根据所述第一相似度集合对第一数据组集进行优化筛选,获得第一筛选数据集;第五获得单元,用于将所述第一筛选数据集添加进第一交互数据。
第三方面,本申请实施例提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,所述处理器执行所述程序时实现第一方面任一项所述方法的步骤。
第四方面,本申请实施例提供了一种计算机可读存储介质,其中,所述存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现第一方面任一项所述的方法。
本申请实施例中提供的一个或多个技术方案,至少具有如下技术效果或优点:
由于采用了当闪存装置和待交互设备连通后,根据闪存装置生成交互指令和数据存储列表;交互指令中包括交互参考数据集,从交互参考数据集中选定待交互的数据类别;对待交互的数据类别进行特征提取,得到结构特征和内容特征;根据结构特征和内容特征构建相似度评估坐标系;将数据存储列表表征的数据组集一一输入相似度评估坐标系,得到相似度集合;基于相似度集合对数据组集中的数据进行优化筛选,得到筛选数据集,进而得到可定向数据类型的交互过程的技术方案,通过构建相似度评估坐标系将数据存储列表表征的数据组集和待交互的数据类别的相似度抽象化为坐标,再根据坐标值对数据类型进行识别筛选,从而完成数据的数据类型定向交互,达到了提高闪存数据交互准确性的技术效果。
上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,而可依照说明书的内容予以实施,并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂,以下特举本申请的具体实施方式。
附图说明
图1为本申请实施例提供了一种基于闪存数据类识别的定向交换方法流程示意图;
图2为本申请实施例提供了一种基于闪存数据类识别的定向交换方法中的第一汉明距离集的确定方法流程示意图;
图3为本申请实施例提供了一种基于闪存数据类识别的定向交换系统结构示意图;
图4为本申请实施例示例性电子设备的结构示意图。
附图标记说明:第一获得单元11,第一确定单元12,第二获得单元13,第一构建单元14,第三获得单元15,第四获得单元16,第一添加单元17,电子设备300,存储器301,处理器302,通信接口303,总线架构304。
具体实施方式
本申请实施例通过提供了一种基于闪存数据类识别的定向交换方法及系统,解决了现有技术基于分组进行数据交换的缺点在于会存在冗杂数据,导致交换数据的冗杂性较高,进而使得闪存数据交换存在准确率较低的技术问题。通过构建相似度评估坐标系将数据存储列表表征的数据组集和待交互的数据类别的相似度抽象化为坐标,再根据坐标值对数据类型进行识别筛选,从而完成数据的数据类型定向交互,达到了提高闪存数据交互准确性的技术效果。
申请概述
现有技术中的闪存装置和外部的数据交换是通过组别进行交换,但是基于分组进行数据交换的缺点在于会存在冗杂数据,导致交换数据的冗杂性较高,进而使得闪存数据交换准确率较低。
针对上述技术问题,本申请提供的技术方案总体思路如下:
本申请实施例提供了一种基于闪存数据类识别的定向交换方法及系统。采用了当闪存装置和待交互设备连通后,根据闪存装置生成交互指令和数据存储列表;交互指令中包括交互参考数据集,从交互参考数据集中选定待交互的数据类别;对待交互的数据类别进行特征提取,得到结构特征和内容特征;根据结构特征和内容特征构建相似度评估坐标系;将数据存储列表表征的数据组集一一输入相似度评估坐标系,得到相似度集合;基于相似度集合对数据组集中的数据进行优化筛选,得到筛选数据集,进而得到可定向数据类型的交互过程的技术方案,通过构建相似度评估坐标系将数据存储列表表征的数据组集和待交互的数据类别的相似度抽象化为坐标,再根据坐标值对数据类型进行识别筛选,从而完成数据的数据类型定向交互,达到了提高闪存数据交互准确性的技术效果。
在介绍了本申请基本原理后,下面将结合说明书附图来具体介绍本申请的各种非限制性的实施方式。
实施例一
如图1所示,本申请实施例提供了一种基于闪存数据类识别的定向交换方法,其中,所述方法应用一闪存装置,所述方法包括:
S100:根据第一闪存装置,获得第一交互指令和第一数据存储列表,其中,所述第一交互指令包括第一交互参考数据集;
S200:根据所述第一交互参考数据集,确定第一选定数据类别;
具体而言,闪存装置的数据交互包括闪存装置同闪存装置之间的数据交互,闪存装置同外部设备的交互方式,闪存装置从外部下载数据的技术较为普遍,与此不多加赘述;因此进行数据交互的关键在于闪存装置数据向外部传输的过程,因此本申请实施例仅从闪存装置数据向外部进行数据类型的定向传输方案。
第一闪存装置指的是需要同外界进行数据交互的闪存设备,包括但不限于:U盘、存储卡等闪存设备;第一交互指令指的是当第一闪存装置和外部设备连接后,第一闪存装置生成的控制指令;第一交互参考数据集指的是存储在第一闪存装置内的已知数据类别的数据集,当第一交互指令生成后,调取第一交互参考数据添加进第一交互指令对应的待响应数据集,并生成和第一交互参考数据一一对应的数据类别选择列表通过外部设备传输至用户端,便于用户确定待传输的数据类别;第一选定数据类别即为数据类别选择列表通过外部设备传输至用户端后,由用户选定的待传输数据类别。
第一数据存储列表指的是表征第一闪存装置内部存储数据组别的索引信息,包括多组数据,每组数据下分多组子数据集。当第一交互指令生成后,将第一数据存储列表添加进待响应数据,便于后步快速调用。
S300:对所述第一选定数据类别进行特征提取,获得第一结构特征和第一内容特征;
具体而言,第一结构特征指的是表征第一选定数据类别存储结构的特征信息;第一内容特征指的是表征第一选定数据类别文本内容特征的数据集。特征提取的优选方式为:基于梯度上升决策树构建特征提取模型进行特征提取,特征提取模型是通过多组历史数据训练完成后,搭建至第一闪存装置中的,训练过程如下:采集多组历史数据集作为输入数据,标注一一对应的多组结构特征和内容特征作为输出标识数据,基于决策树进行第一棵决策树的构建;进一步的,当第一棵决策树构建完成后,采集第一棵决策树的输出误差大于预设差值的输入数据集和对应标识信息,构建第二棵决策树;重复构建多棵决策树,当输出误差大于预设差值的输入数据集的数据量小于等于预设数据量时,停止构建,将已经构建完成的多棵决策树合并,即生成特征提取模型。通过梯度上升不断拟合输出误差,进而得到的特征提取模型可进行较准确的特征提取。通过精度较高的特征提取过程保障了后步基于数据类型定向传输的稳定性和准确性。
S400:根据所述第一结构特征和所述第一内容特征,构建相似度评估坐标系,其中,所述第一结构特征和所述第一内容特征为原点特征;
进一步的,基于所述根据所述第一结构特征和所述第一内容特征,构建相似度评估坐标系,步骤S400包括:
S410:遍历所述第一交互参考数据集进行特征提取,获得第二结构特征集和第二内容特征集;
S420:根据所述第一结构特征和所述第二结构特征集、所述第一内容特征和所述第二内容特征集,构建所述相似度评估坐标系,其中,所述结构特征为横坐标,所述内容特征为纵坐标,单位长度限定为1。
具体而言,相似度评估坐标系指的是用于评估第一数据存储列表对应的数据组集和第一选定数据类别相似度的虚拟功能模块,为二维坐标系;第二结构特征集和第二内容特征集指的是将第一交互参考数据集对应的已知数据类型一一输入至特征提取模型进行特征提取得到的数据集合。
进一步的,将选定数据集对应的第一结构特征和第一内容特征设为原点坐标,结构特征为横坐标,内容特征为纵坐标,单位长度为1,优选的为数据集对应的一个字符的差异度,记为1汉明距离,其中,汉明距离是用于量化字符串之间的差异的指标,计算时需要将数据集拆分为多个预设长度进行比对进行汉明距离的计算,预设长度为根据数据集长度的自定义参数,默认值为5个字符。进一步的,基于现有的数据结构,定义不同数据结构的字符标识方法,即可完成对数据结构特征的标识,针对于内容特征,则可优选的使用常规的文本编码方式进行标识表征,基于上述方式即可完成结构特征和内容特征的量化过程。
遍历第一结构特征和第二结构特征集计算横向汉明距离,遍历第一内容特征和第二内容特征集计算纵向汉明距离,根据横向汉明距离和纵向汉明距离确定第一交互参考数据集对应的坐标,进而完成相似度评估坐标系的构建及初始化,基于以填充的已知数据类型的坐标集合,可以得到多种数据类型对应的坐标至,基于此即可对其它未知数据进行相似度的评估,进而进行数据类别的划分。
S500:根据所述相似度评估坐标系和所述第一数据存储列表,遍历第一数据组集,获得第一相似度集合;
进一步的,基于所述根据所述相似度评估坐标系和所述第一数据存储列表,遍历第一数据组集,获得第一相似度集合,步骤S500包括:
S510:根据所述第一数据组集,获得第一数据集;
S520:对所述第一数据集进行数据特征提取,获得第三结构特征和第三内容特征;
S530:将所述第三结构特征和所述第三内容特征输入所述相似度评估坐标系,获得第一坐标;
S540:根据所述第一坐标,获得第一汉明距离集;
S550:将所述第一汉明距离集添加进所述第一相似度集合。
具体而言,第一数据组集指的是存储在第一闪存装置内的全部组别数据,可根据处于待响应状态的第一数据存储列表依次调取处理;为了从第一数据组集中筛选出和选定数据集类别相似度较高的数据,则需要对第一数据组集进行相似度评估,第一相似度集合即为对第一数据组集基于相似度评估坐标系进行相似度评估的结果。
详细过程如下:基于第一数据存储列表以组为单位依次调取第一数据组集,得到第一数据集输入至上述的特征提取模型进行数据特征提取,即为第三结构特征和第三内容特征,其中,需要说明书的本申请实施例中此处输入的第一数据集属于第一数据组集中的第一数组中的数据集,为无法再分组的数据集;第一坐标指的是将第三结构特征和第三内容特征输入相似度评估坐标系,得到的坐标;第一汉明距离集指的是基于第一坐标遍历第一交互参考数据集对应的坐标进行汉明距离计算,进而得到多个汉明距离值的集合。由前述可知汉明距离表征的是不同数据之间的差异度,进而汉明距离短,则说明相似度越高,汉明距离越长,则说明相似度越低;因此可通过第一汉明距离集表征第一相似度集合。使用同第一数据集相同的方式遍历第一数组中的其它数据集,再遍历其它数组,进而完成相似度的评估,将相似度集合添加进待响应数据,便于后步快速调用。
S600:根据所述第一相似度集合对第一数据组集进行优化筛选,获得第一筛选数据集;
进一步的,基于所述根据所述第一相似度集合对所述第一数据组集进行优化筛选,获得第一筛选数据集,步骤S600包括:
S610:将所述第一汉明距离集输入第一接受度评估函数,获得第一评估结果,其中,所述第一评估结果表征同类数据接受概率;
S620:当所述第一评估结果满足第一预设接受度,则将所述第一数据集添加进所述第一筛选数据集。
更进一步的,基于所述将所述第一汉明距离集输入所述第一接受度评估函数,获得第一评估结果,步骤S610包括:
S611:对所述第一汉明距离集进行提取,获得第一横向选定频率和第一纵向选定频率;
S612:根据所述第一横向选定频率和所述第一纵向选定频率,生成所述第一接受度评估函数:
其中,表征横向选定频率,表征纵向选定频率,表征第汉明距离集和第种数据类别横向频率,表征第汉明距离集和第种数据类别纵向频率,表征第汉明距离集的接受度,表征交互参考数据集类型数,和为表征横向频率和纵向频率重要度的参数。
S700:将所述第一筛选数据集添加进第一交互数据。
具体而言,第一筛选数据集指的是根据第一相似度集合对第一数据组集进行优化筛选之后的结果,其中,优化筛选的过程如下:
第一接受度评估函数指的是用来评估第一数据组集中的第n数据集为第一选定数据类别的可能性的概率值,优选的如下:
其中,表征横向选定频率,表征纵向选定频率,表征第汉明距离集和第种数据类别横向频率,表征第汉明距离集和第种数据类别纵向频率,表征第汉明距离集的接受度,表征交互参考数据集类型数,和为表征横向频率和纵向频率重要度比例的参数。
其中,第一横向选定频率确定过程为:将第n汉明距离集中的横向汉明距离按照从大到小的顺序进行排序,筛选排序前L个横向汉明距离,L为正整数,为预设参数;将前L个横向汉明距离设为第n数据集的交互参考数据集,将前L个横向汉明距离中表征第n数据集和第一选定数据类型之间的横向汉明距离的出现频率设定为第一横向选定频率。
第一纵向选定频率确定过程为:将第n汉明距离集中的纵向汉明距离按照从大到小的顺序进行排序,筛选排序前L个纵向汉明距离,L为正整数,为预设参数;将前L个纵向汉明距离设为第n数据集的交互参考数据集,将前L个纵向汉明距离中表征第n数据集和第一选定数据类型之间的纵向汉明距离的出现频率设定为第一纵向选定频率。
将第n数据集的第一横向选定频率和第一纵向选定频率,即可确定接受度,第一预设接受度指的是预设的可选定为交互数据的数据集对应的最低接受度,当大于等于第一预设接受度,则将第n数据集添加进第一筛选数据集,使用相同方式遍历第一数据组集的全部数据集,得到符合要求的全部数据集,进而记为第一交互数据,即可将第一交互数据进行交互,完成基于数据类别的数据定向传输。
进一步的,如图2所示,基于所述方法根据所述第一坐标,获得第一汉明距离集,步骤S540包括:
S541:根据所述第一交互参考数据集,获得第一参考坐标集,其中,所述第一参考坐标集包括第一横向坐标集和第一纵向坐标集;
S542:根据所述第一坐标和所述第一横向坐标集,计算第一横向汉明距离集;
S543:根据所述第一坐标和所述第一纵向坐标集,获得第一纵向汉明距离集;
S544:将所述第一横向汉明距离集和所述第一纵向汉明距离集添加进所述第一汉明距离集。
具体而言,第一参考坐标集指的是第一交互参考数据集对应的坐标集合;第一横向坐标集指的是将第一参考坐标集进行横坐标提取得到的坐标集合;第一纵向坐标集指的是将第一参考坐标集进行纵坐标提取得到的坐标集合;第一横向汉明距离集指的是根据第一坐标的横坐标遍历第一横向坐标集进行汉明距离计算得到的坐标集合;第一纵向汉明距离集指的是根据第一坐标的纵坐标遍历第一纵向坐标集进行汉明距离计算得到的坐标集合,优选的将第一横向汉明距离集和第一纵向汉明距离集一一对应进行存储,并置为待响应状态,等待后步调用。将第一横向汉明距离集和第一纵向汉明距离集添加进第一汉明距离集,通过将第一汉明距离集分为第一横向汉明距离集和第一纵向汉明距离集,得以从数据结构和内容两个维度分别评估数据类型,进而提高了表征结果的准确性和精度,保证了数据识别结果的准确性。
进一步的,所述方法步骤S600还包括S630:
S631:根据所述第一汉明距离集,获得第一数据组数据量,其中,所述第一数据组属于所述第一数据组集;
S632:根据所述第一数据组数据量,生成第一约束条件:
具体而言,为了保证可以进行全局遍历,需要设定约束条件,以组为单位进行数据的遍历,若是不满足约束条件,则无法跳出对应数据组,过程以一组数据组遍历过程如下:
第一数据组数据量指的是表征正在遍历的第一数据组的数据量;第一约束条件形式如下:
通过对遍历数据组进行数据集的筛选过程设定约束条件,保证了可进行全局遍历,保证了定向数据传输的数据完整性。
综上所述,本申请实施例所提供的一种基于闪存数据类识别的定向交换方法及系统具有如下技术效果:
1.采用了当闪存装置和待交互设备连通后,根据闪存装置生成交互指令和数据存储列表;交互指令中包括交互参考数据集,从交互参考数据集中选定待交互的数据类别;对待交互的数据类别进行特征提取,得到结构特征和内容特征;根据结构特征和内容特征构建相似度评估坐标系;将数据存储列表表征的数据组集一一输入相似度评估坐标系,得到相似度集合;基于相似度集合对数据组集中的数据进行优化筛选,得到筛选数据集,进而得到可定向数据类型的交互过程的技术方案,通过构建相似度评估坐标系将数据存储列表表征的数据组集和待交互的数据类别的相似度抽象化为坐标,再根据坐标值对数据类型进行识别筛选,从而完成数据的数据类型定向交互,达到了提高闪存数据交互准确性的技术效果。
实施例二
基于与前述实施例中一种基于闪存数据类识别的定向交换方法相同的发明构思,如图3所示,本申请实施例提供了一种基于闪存数据类识别的定向交换系统,其中,所述系统包括:
第一获得单元11,用于根据第一闪存装置,获得第一交互指令和第一数据存储列表,其中,所述第一交互指令包括第一交互参考数据集;
第一确定单元12,用于根据所述第一交互参考数据集,确定第一选定数据类别;
第二获得单元13,用于对所述第一选定数据类别进行特征提取,获得第一结构特征和第一内容特征;
第一构建单元14,用于根据所述第一结构特征和所述第一内容特征,构建相似度评估坐标系,其中,所述第一结构特征和所述第一内容特征为原点特征;
第三获得单元15,用于根据所述相似度评估坐标系和所述第一数据存储列表,遍历第一数据组集,获得第一相似度集合;
第四获得单元16,用于根据所述第一相似度集合对第一数据组集进行优化筛选,获得第一筛选数据集;
第一添加单元17,用于将所述第一筛选数据集添加进第一交互数据。
进一步的,所述系统还包括:
第五获得单元,用于遍历所述第一交互参考数据集进行特征提取,获得第二结构特征集和第二内容特征集;
第二构建单元,用于根据所述第一结构特征和所述第二结构特征集、所述第一内容特征和所述第二内容特征集,构建所述相似度评估坐标系,其中,所述结构特征为横坐标,所述内容特征为纵坐标,单位长度限定为1。
进一步的,所述系统还包括:
第六获得单元,用于根据所述第一数据组集,获得第一数据集;
第七获得单元,用于对所述第一数据集进行数据特征提取,获得第三结构特征和第三内容特征;
第八获得单元,用于将所述第三结构特征和所述第三内容特征输入所述相似度评估坐标系,获得第一坐标;
第九获得单元,用于根据所述第一坐标,获得第一汉明距离集;
第二添加单元,用于将所述第一汉明距离集添加进所述第一相似度集合。
进一步的,所述系统还包括:
第十获得单元,用于根据所述第一交互参考数据集,获得第一参考坐标集,其中,所述第一参考坐标集包括第一横向坐标集和第一纵向坐标集;
第一计算单元,用于根据所述第一坐标和所述第一横向坐标集,计算第一横向汉明距离集;
第十一获得单元,用于根据所述第一坐标和所述第一纵向坐标集,获得第一纵向汉明距离集;
第三添加单元,用于将所述第一横向汉明距离集和所述第一纵向汉明距离集添加进所述第一汉明距离集。
进一步的,所述系统还包括:
第十二获得单元,用于将所述第一汉明距离集输入第一接受度评估函数,获得第一评估结果,其中,所述第一评估结果表征同类数据接受概率;
第四添加单元,用于当所述第一评估结果满足第一预设接受度,则将所述第一数据集添加进所述第一筛选数据集。
进一步的,所述系统还包括:
第十三获得单元,用于根据所述第一汉明距离集,获得第一数据组数据量,其中,所述第一数据组属于所述第一数据组集;
第一生成单元,用于根据所述第一数据组数据量,生成第一约束条件:
进一步的,所述系统还包括:
第十四获得单元,用于对所述第一汉明距离集进行提取,获得第一横向选定频率和第一纵向选定频率;
第二生成单元,用于根据所述第一横向选定频率和所述第一纵向选定频率,生成所述第一接受度评估函数:
其中,表征横向选定频率,表征纵向选定频率,表征第汉明距离集和第种数据类别横向频率,表征第汉明距离集和第种数据类别纵向频率,表征第汉明距离集的接受度,表征交互参考数据集类型数,和为表征横向频率和纵向频率重要度的参数。
实施例三
基于与前述实施例中一种基于闪存数据类识别的定向交换方法相同的发明构思,本申请实施例提供了一种计算机可读存储介质,所述存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现实施例一任一项所述的方法。
示例性电子设备
下面参考图4来描述本申请实施例的电子设备。
基于与前述实施例中一种基于闪存数据类识别的定向交换方法相同的发明构思,本申请实施例还提供了一种电子设备,包括:处理器,所述处理器与存储器耦合,所述存储器用于存储程序,当所述程序被所述处理器执行时,使得系统以执行实施例一任一项所述的方法。
该电子设备300包括:处理器302、通信接口303、存储器301。可选的,电子设备300还可以包括总线架构304。其中,通信接口303、处理器302以及存储器301可以通过总线架构304相互连接;总线架构304可以是外设部件互连标(peripheral componentinterconnect,简称PCI)总线或扩展工业标准结构(extended industry Standardarchitecture,简称EISA)总线等。所述总线架构304可以分为地址总线、数据总线、控制总线等。为便于表示,图4中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
处理器302可以是一个CPU,微处理器,ASIC,或一个或多个用于控制本申请方案程序执行的集成电路。
通信接口303,使用任何收发器一类的系统,用于与其他设备或通信网络通信,如以太网,无线接入网(radio access network,RAN),无线局域网(wireless local areanetworks,WLAN),有线接入网等。
存储器301可以是ROM或可存储静态信息和指令的其他类型的静态存储设备,RAM或者可存储信息和指令的其他类型的动态存储设备,也可以是电可擦可编程只读存储器(electrically erasable Programmable read-only memory,EEPROM)、只读光盘(compactdisc
read-only memory,CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。存储器可以是独立存在,通过总线架构304与处理器相连接。存储器也可以和处理器集成在一起。
其中,存储器301用于存储执行本申请方案的计算机执行指令,并由处理器302来控制执行。处理器302用于执行存储器301中存储的计算机执行指令,从而实现本申请上述实施例提供的一种基于闪存数据类识别的定向交换方法。
可选的,本申请实施例中的计算机执行指令也可以称之为应用程序代码,本申请实施例对此不作具体限定。
本申请实施例提供了一种基于闪存数据类识别的定向交换方法及系统。采用了当闪存装置和待交互设备连通后,根据闪存装置生成交互指令和数据存储列表;交互指令中包括交互参考数据集,从交互参考数据集中选定待交互的数据类别;对待交互的数据类别进行特征提取,得到结构特征和内容特征;根据结构特征和内容特征构建相似度评估坐标系;将数据存储列表表征的数据组集一一输入相似度评估坐标系,得到相似度集合;基于相似度集合对数据组集中的数据进行优化筛选,得到筛选数据集,进而得到可定向数据类型的交互过程的技术方案,通过构建相似度评估坐标系将数据存储列表表征的数据组集和待交互的数据类别的相似度抽象化为坐标,再根据坐标值对数据类型进行识别筛选,从而完成数据的数据类型定向交互,达到了提高闪存数据交互准确性的技术效果。
本领域普通技术人员可以理解:本申请中涉及的第一、第二等各种数字编号仅为描述方便进行的区分,并不用来限制本申请实施例的范围,也不表示先后顺序。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。“至少一个”是指一个或者多个。至少两个是指两个或者多个。“至少一个”、“任意一个”或其类似表达,是指的这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a ,b,或c中的至少一项(个、种),可以表示:a ,b,c,a-b,a-c,b-c,或a-b-c,其中a,b,c可以是单个,也可以是多个。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程系统。所述计算机指
令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包括一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘(Solid State Disk,SSD))等。
本申请实施例中所描述的各种说明性的逻辑单元和电路可以通过通用处理器,数字信号处理器,专用集成电路(ASIC),现场可编程门阵列(FPGA)或其它可编程逻辑系统,离散门或晶体管逻辑,离散硬件部件,或上述任何组合的设计来实现或操作所描述的功能。通用处理器可以为微处理器,可选地,该通用处理器也可以为任何传统的处理器、控制器、微控制器或状态机。处理器也可以通过计算系统的组合来实现,例如数字信号处理器和微处理器,多个微处理器,一个或多个微处理器联合一个数字信号处理器核,或任何其它类似的配置来实现。
本申请实施例中所描述的方法或算法的步骤可以直接嵌入硬件、处理器执行的软件单元、或者这两者的结合。软件单元可以存储于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM或本领域中其它任意形式的存储媒介中。示例性地,存储媒介可以与处理器连接,以使得处理器可以从存储媒介中读取信息,并可以向存储媒介存写信息。可选地,存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于ASIC中,ASIC可以设置于终端中。可选地,处理器和存储媒介也可以设置于终端中的不同的部件中。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管结合具体特征及其实施例对本申请进行了描述,显而易见的,在不脱离本申请的精神和范围的情况下,可对其进行各种修改和组合。相应地,本说明书和附图仅仅是所附所界定的本申请的示例性说明,且视为已覆盖本申请范围内的任意和所有修改、变化、组合或等同物。显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的范围。这样,倘若本申请的这些修改和变型属于本申请及其等同技术的范围之内,则本申请意图包括这些改动和变型在内。
Claims (10)
1.一种基于闪存数据类识别的定向交换方法,其特征在于,所述方法应用一闪存装置,所述方法包括:
根据第一闪存装置,获得第一交互指令和第一数据存储列表,其中,所述第一交互指令包括第一交互参考数据集;
根据所述第一交互参考数据集,确定第一选定数据类别;
对所述第一选定数据类别进行特征提取,获得第一结构特征和第一内容特征;
根据所述第一结构特征和所述第一内容特征,构建相似度评估坐标系,其中,所述第一结构特征和所述第一内容特征为原点特征;
根据所述相似度评估坐标系和所述第一数据存储列表,遍历第一数据组集,获得第一相似度集合;
根据所述第一相似度集合对第一数据组集进行优化筛选,获得第一筛选数据集;
将所述第一筛选数据集添加进第一交互数据。
2.如权利要求1所述的方法,其特征在于,所述根据所述第一结构特征和所述第一内容特征,构建相似度评估坐标系,包括:
遍历所述第一交互参考数据集进行特征提取,获得第二结构特征集和第二内容特征集;
根据所述第一结构特征和所述第二结构特征集、所述第一内容特征和所述第二内容特征集,构建所述相似度评估坐标系,其中,所述结构特征为横坐标,所述内容特征为纵坐标,单位长度限定为1。
3.如权利要求2所述的方法,其特征在于,所述根据所述相似度评估坐标系和所述第一数据存储列表,遍历第一数据组集,获得第一相似度集合,包括:
根据所述第一数据组集,获得第一数据集;
对所述第一数据集进行数据特征提取,获得第三结构特征和第三内容特征;
将所述第三结构特征和所述第三内容特征输入所述相似度评估坐标系,获得第一坐标;
根据所述第一坐标,获得第一汉明距离集;
将所述第一汉明距离集添加进所述第一相似度集合。
4.如权利要求3所述的方法其特征在于,所述方法根据所述第一坐标,获得第一汉明距离集,包括:
根据所述第一交互参考数据集,获得第一参考坐标集,其中,所述第一参考坐标集包括第一横向坐标集和第一纵向坐标集;
根据所述第一坐标和所述第一横向坐标集,计算第一横向汉明距离集;
根据所述第一坐标和所述第一纵向坐标集,获得第一纵向汉明距离集;
将所述第一横向汉明距离集和所述第一纵向汉明距离集添加进所述第一汉明距离集。
5.如权利要求3所述的方法,其特征在于,所述根据所述第一相似度集合对所述第一数据组集进行优化筛选,获得第一筛选数据集,包括:
将所述第一汉明距离集输入第一接受度评估函数,获得第一评估结果,其中,所述第一评估结果表征同类数据接受概率;
当所述第一评估结果满足第一预设接受度,则将所述第一数据集添加进所述第一筛选数据集。
8.一种基于闪存数据类识别的定向交换系统,其特征在于,所述系统包括:
第一获得单元,用于根据第一闪存装置,获得第一交互指令和第一数据存储列表,其中,所述第一交互指令包括第一交互参考数据集;
第一确定单元,用于根据所述第一交互参考数据集,确定第一选定数据类别;
第二获得单元,用于对所述第一选定数据类别进行特征提取,获得第一结构特征和第一内容特征;
第一构建单元,用于根据所述第一结构特征和所述第一内容特征,构建相似度评估坐标系,其中,所述第一结构特征和所述第一内容特征为原点特征;
第三获得单元,用于根据所述相似度评估坐标系和所述第一数据存储列表,遍历第一数据组集,获得第一相似度集合;
第四获得单元,用于根据所述第一相似度集合对第一数据组集进行优化筛选,获得第一筛选数据集;
第五获得单元,用于将所述第一筛选数据集添加进第一交互数据。
9.一种电子设备,其特征在于,包括:处理器,所述处理器与存储器耦合,所述存储器用于存储程序,当所述程序被所述处理器执行时,使系统以执行如权利要求1~7任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1~7中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211146966.7A CN115237355B (zh) | 2022-09-21 | 2022-09-21 | 一种基于闪存数据类识别的定向交换方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211146966.7A CN115237355B (zh) | 2022-09-21 | 2022-09-21 | 一种基于闪存数据类识别的定向交换方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115237355A true CN115237355A (zh) | 2022-10-25 |
CN115237355B CN115237355B (zh) | 2022-12-09 |
Family
ID=83682269
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211146966.7A Active CN115237355B (zh) | 2022-09-21 | 2022-09-21 | 一种基于闪存数据类识别的定向交换方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115237355B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115629715A (zh) * | 2022-12-06 | 2023-01-20 | 江苏华存电子科技有限公司 | 一种提高闪存中块类型判断准确率的方法及系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111598928A (zh) * | 2020-05-22 | 2020-08-28 | 郑州轻工业大学 | 一种基于具有语义评估和区域建议的突变运动目标跟踪方法 |
CN113269706A (zh) * | 2020-02-14 | 2021-08-17 | 中国科学院国家空间科学中心 | 激光雷达图像质量评价方法、装置、设备及存储介质 |
CN114818686A (zh) * | 2022-05-10 | 2022-07-29 | 平安国际智慧城市科技股份有限公司 | 基于人工智能的文本推荐方法及相关设备 |
-
2022
- 2022-09-21 CN CN202211146966.7A patent/CN115237355B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113269706A (zh) * | 2020-02-14 | 2021-08-17 | 中国科学院国家空间科学中心 | 激光雷达图像质量评价方法、装置、设备及存储介质 |
CN111598928A (zh) * | 2020-05-22 | 2020-08-28 | 郑州轻工业大学 | 一种基于具有语义评估和区域建议的突变运动目标跟踪方法 |
CN114818686A (zh) * | 2022-05-10 | 2022-07-29 | 平安国际智慧城市科技股份有限公司 | 基于人工智能的文本推荐方法及相关设备 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115629715A (zh) * | 2022-12-06 | 2023-01-20 | 江苏华存电子科技有限公司 | 一种提高闪存中块类型判断准确率的方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN115237355B (zh) | 2022-12-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR20190019892A (ko) | 결정 모델 구성 방법 및 장치, 컴퓨터 장치 및 저장 매체 | |
WO2020098296A1 (zh) | 一种图像检索方法及装置 | |
CN106919957B (zh) | 处理数据的方法及装置 | |
CN110728313B (zh) | 一种用于意图分类识别的分类模型训练方法及装置 | |
CN110795464B (zh) | 对象标记数据的字段校验方法、装置、终端及存储介质 | |
CN110362832B (zh) | 一种段落合并的方法、装置、存储介质及电子设备 | |
CN109460398B (zh) | 时间序列数据的补全方法、装置及电子设备 | |
CN111125658A (zh) | 识别欺诈用户的方法、装置、服务器和存储介质 | |
CN115237355B (zh) | 一种基于闪存数据类识别的定向交换方法及系统 | |
CN114428748B (zh) | 一种用于真实业务场景的模拟测试方法及系统 | |
CN111475736A (zh) | 社区挖掘的方法、装置和服务器 | |
CN111353580A (zh) | 目标检测网络的训练方法、电子设备及存储介质 | |
CN113946566B (zh) | Web系统指纹库的构建方法、装置和电子设备 | |
CN107943982B (zh) | 内置约束规则的k-means文本聚类方法及装置 | |
CN112906824B (zh) | 车辆聚类方法、系统、设备及存储介质 | |
CN110019383A (zh) | 一种关联规则挖掘方法、装置及计算机可读存储介质 | |
US9436731B2 (en) | Index-based optimization of convex hull and minimum bounding circle queries | |
CN114021716A (zh) | 一种模型训练的方法、系统及电子设备 | |
CN110059180B (zh) | 文章作者身份识别及评估模型训练方法、装置及存储介质 | |
CN110968690B (zh) | 词语的聚类划分方法和装置、设备以及存储介质 | |
CN108229572B (zh) | 一种参数寻优方法及计算设备 | |
CN114692871B (zh) | 决策树训练方法、运单类型识别方法及装置、设备、介质 | |
CN110188622B (zh) | 一种文字定位方法、装置及电子设备 | |
CN111325024B (zh) | 一种风险项目统计方法 | |
CN114003630B (zh) | 一种数据搜索方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |