CN113177075B - 一种基于大数据平台的笔迹数据存储方法及系统 - Google Patents

一种基于大数据平台的笔迹数据存储方法及系统 Download PDF

Info

Publication number
CN113177075B
CN113177075B CN202110379642.7A CN202110379642A CN113177075B CN 113177075 B CN113177075 B CN 113177075B CN 202110379642 A CN202110379642 A CN 202110379642A CN 113177075 B CN113177075 B CN 113177075B
Authority
CN
China
Prior art keywords
data
handwriting
data storage
storage node
list
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110379642.7A
Other languages
English (en)
Other versions
CN113177075A (zh
Inventor
杨宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Clp Yingshuo Shenzhen Smart Internet Co ltd
Original Assignee
Clp Yingshuo Shenzhen Smart Internet Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clp Yingshuo Shenzhen Smart Internet Co ltd filed Critical Clp Yingshuo Shenzhen Smart Internet Co ltd
Priority to CN202110379642.7A priority Critical patent/CN113177075B/zh
Publication of CN113177075A publication Critical patent/CN113177075A/zh
Application granted granted Critical
Publication of CN113177075B publication Critical patent/CN113177075B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462—Approximate or statistical queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Abstract

本发明提供一种基于大数据平台的笔迹数据存储方法及系统，其中方法包括：步骤S1：通过笔迹输入设备获取待存储的笔迹数据；步骤S2：在获取笔迹数据的同时获取笔迹输入设备的当前输入环境；步骤S3：获取当前可用的数据存储节点列表；步骤S4：基于当前输入环境，从数据存储节点列表中筛选出存储待存储的笔迹数据的数据存储节点。本发明的基于大数据平台的笔迹数据存储方法，在存储笔迹数据时，基于笔迹输入设备的输入环境进行数据存储节点的选择，提高了笔迹数据存储的安全性。

Description

一种基于大数据平台的笔迹数据存储方法及系统
技术领域
本发明涉及大数据平台技术领域，特别涉及一种基于大数据平台的笔迹数据存储方法及系统。
背景技术
目前，随着计算机技术的发展和网络技术的进步，人类的工作和生活发生了巨大的变化，现在人们每天都在接触、读取、存储、处理的信息，诸如通过移动终端进行社会交往、获取新闻、查询知识元素、购物、娱乐等，这使得创造的数据量成倍地增加。由此形成的海量数据被称为大数据平台。
笔迹数据是基于笔迹输入设备(例如：电子签名板、触摸屏等)采集的用户书写笔迹而产生的数据；每个人书写的笔迹都不一样，综合书写内容其可以作为用户的登录验证的一种手段，其验证具体实现是以存储的标准笔迹数据，因此，笔迹数据的存储尤为重要。
发明内容
本发明目的之一在于提供了一种基于大数据平台的笔迹数据存储方法，在存储笔迹数据时，基于笔迹输入设备的输入环境进行数据存储节点的选择，提高了笔迹数据存储的安全性。
本发明实施例提供的一种基于大数据平台的笔迹数据存储方法，包括：
步骤S1：通过笔迹输入设备获取待存储的笔迹数据；
步骤S2：在获取笔迹数据的同时获取笔迹输入设备的当前输入环境；
步骤S3：获取当前可用的数据存储节点列表；
步骤S4：基于当前输入环境，从数据存储节点列表中筛选出存储待存储的笔迹数据的数据存储节点。
优选的，基于大数据平台的笔迹数据存储方法，还包括：
步骤S11：获取数据存储节点的运行参数；
步骤S12：基于运行参数构建运行向量；
步骤S13：获取预设的监测数据库，监测数据库中检测向量与异常概率一一对应关联；
步骤S14：计算运行向量与检测向量的第一匹配度，计算公式如下：
其中，p为运行向量与检测向量的第一匹配度；n为运行向量的数据的数量或检测向量的数据的数量；ai为运行向量的第i个数据的值；bi为检测向量的第i个数据的值；
步骤S15：获取监测数据库中与运行向量第一匹配度最高的检测向量对应的异常概率，当异常概率大于异常概率阈值时，将数据存储节点存储的笔迹数据往备用的数据存储节点迁移。
优选的，基于大数据平台的笔迹数据存储方法，还包括：
步骤S21：获取数据存储节点内各个笔迹数据的活跃度，活跃度计算公示如下：
其中，D为活跃度，数据存储节点接入大数据平台的第一时间至当前时间按照预设规则划分为M段时间，Aj为第j段时间的笔迹数据被调用的次数，为对应第j段时间的预设的权重系数；
步骤S22:获取数据存储节点的被访问的第一统计数据；
步骤S23：获取与数据存储节点连接的其他的大数据平台的节点的被访问的第二统计数据；
步骤S24：对第一统计数据和第二统计数据进行分组、归一化及标准化处理；获得至少一个第一统计项的第一统计值和至少一个第二统计项的第二统计值；
步骤S25：基于第一统计值和第二统计值，计算数据存储节点的关键度，计算公式如下：
其中，G为关键度，Bk为第k个第一统计项的第一统计值；σk为对应第一统计项的预设权重；N为第一统计项的数量或第二统计项的数量；Bx,y为与数据存储节点连接的第y个其他的大数据平台的节点的第x个第二统计项的第二统计值；σx,y对应第二统计项的预设权重；Y为与数据存储节点连接的节点的数目；εy为第y个其他的大数据平台的节点与数据存储节点的连接系数，由节点与数据存储节点的数据传输量查询预设的数据传输量与连接系数的对照表获得；μ1、μ2为预设的关系系数，μ1+μ2＝1；
步骤S26:基于活跃度和关键度，调整大数据平台中笔迹数据与数据存储节点的对应关系。
优选的，步骤S26:基于活跃度和关键度，调整大数据平台中笔迹数据与数据存储节点的对应关系，包括：
步骤S2601：基于关键度从大到小对大数据平台的数据存储节点进行排序，获取存储节点列表；
步骤S2602：基于活跃度从大到小对笔迹数据进行排序，获取笔迹数据列表；
步骤S2603：将笔迹数据列表中笔迹数据按从上到下排列的顺序进行分区，分区的数量与存储节点列表中数据存储节点的数量相等；
步骤S2604A:将存储节点列表中数据存储节点依次与笔迹数据列表中各个分区相关联，形成第一关联表；依照第一关联表调整大数据平台中笔迹数据与数据存储节点的对应关系；
或，
步骤S2604B：获取预设的关联规则，基于关联规则将存储节点列表中的数据存储节点与笔迹数据列表中各个分区的笔迹数据项关联，形成第二关联表；依照第二关联表调整大数据平台中笔迹数据与数据存储节点的对应关系。
优选的，关联规则包括：关联阵列库；关联阵列库包括多个关联阵列；关联阵列中各个数据表示提取各个分区的笔迹数据的数量；
基于关联规则将存储节点列表中的数据存储节点与笔迹数据列表中各个分区的笔迹数据项关联，形成第二关联表，包括：
基于关联阵列库为存储节点列表中的数据存储节点配置关联阵列；
数据存储节点基于关联阵列与笔迹数据列表中各个分区的笔迹数据进行关联。
优选的，步骤S1：通过笔迹输入设备获取待存储的笔迹数据，包括：
步骤S11：当用户首次登录大数据平台，大数据平台获取用户输入的笔迹数据构建验证数据，将用于构建验证数据的笔迹数据作为待存储的笔迹数据；
和/或，
步骤S12：当用户使用笔迹输入设备输入笔迹数据再次登录大数据平台，大数据平台将笔迹数据与验证数据进行相似度计算，当相似度大于预设验证阈值时，用户验证通过，用户登录大数据平台；在验证过程中使用的笔迹数据，提取相似度与预设的验证阈值的差值在预设的范围内的笔迹数据为待存储的笔迹数据；
和/或，
步骤S13：获取笔迹输入设备的当前输入环境，确定当前输入环境的安全度，当安全度大于预设的安全阈值时，将用户通过笔迹输入设备输入的笔迹数据作为待存储的笔迹数据。
优选的，步骤S4：基于当前输入环境，从数据存储节点列表中筛选出存储待存储的笔迹数据的数据存储节点，包括：
步骤S41：解析当前输入环境，获取至少一个输入环境参数；
步骤S42：基于输入环境参数构建环境参数向量；
步骤S43：获取预设的环境安全库，环境安全库中安全向量与安全度一一对应关联；
步骤S44：计算环境参数向量与安全向量的第二匹配度；获取第二匹配度最大时，安全向量的安全度作为当前输入环境的安全度；
步骤S45：基于安全度从数据存储列表节点中挑选数据存储节点；其中，预先为数据存储列表中的数据存储节点一一配置安全度。
优选的，步骤S45：基于安全度从数据存储列表节点中挑选数据存储节点；包括：
步骤S5401：解析笔迹数据，获取笔顺信息中的笔画信息、笔顺信息中的顺序信息、各个笔画的书写力度；
步骤S5402：基于安全度从数据存储列表节点中挑选分别存储笔画信息、顺序信息和书写力度的数据存储节点；
步骤S5403：将挑选出的数据存储节点的节点信息相关联并存储在大数据平台的数据存储管理节点。
优选的，书写力度的确定方法如下：
式中，Fh为书写第h个笔画的书写力度；I为笔画采样点的总个数；fθ,h为第h个笔画的第θ个采样点的力度，fω,h为第h个笔画的第ω个采样点的力度；当用户书写第h个笔画的第θ个采样点的力度落在的概率大于/>时，O取值为1，否则，取值为0；γ为预设的第一修正系数。
本发明还提供一种基于大数据平台的笔迹数据存储系统，包括：
笔迹数据获取模块，用于通过笔迹输入设备获取待存储的笔迹数据；
输入环境获取模块，用于在获取笔迹数据的同时获取笔迹输入设备的当前输入环境；
存储节点获取模块，用于获取当前可用的数据存储节点列表；
筛选模块，用于基于当前输入环境，从数据存储节点列表中筛选出存储待存储的笔迹数据的数据存储节点。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例中一种基于大数据平台的笔迹数据存储方法的示意图；
图2为本发明实施例中又一种基于大数据平台的笔迹数据存储方法的示意图；
图3为本发明实施例中一种基于大数据平台的笔迹数据存储系统的示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
本发明实施例提供了一种基于大数据平台的笔迹数据存储方法，如图1所示，包括：
步骤S1：通过笔迹输入设备获取待存储的笔迹数据；
步骤S2：在获取笔迹数据的同时获取笔迹输入设备的当前输入环境；
步骤S3：获取当前可用的数据存储节点列表；
步骤S4：基于当前输入环境，从数据存储节点列表中筛选出存储待存储的笔迹数据的数据存储节点。
上述技术方案的工作原理及有益效果为：
在用户采用笔迹输入设备登录大数据平台时，当确定输入的笔迹数据需要存储时，获取当前输入环境，输入环境包括：输入界面、输入设备的的设备参数、输入设备的采样软件的版本号、输入设备的连接设备的种类及类型等；通过当前输入环境筛选出用于存储笔迹数据的数据存储节点，使笔迹数据可以安全及有效地存储至大数据平台，大数据平台的数据存储节点按照预先配置的管控等级进行划分，划分的管控等级与输入环境形成对应关系。通过当前环境的存储还可方便后续调用，在调用是根据输入环境选取数据存储节点进行优先筛选，提高了后续笔迹数据调用的便捷性。
本发明的基于大数据平台的笔迹数据存储方法，在存储笔迹数据时，基于笔迹输入设备的输入环境进行数据存储节点的选择，提高了笔迹数据存储的安全性。
在一个实施例中，基于大数据平台的笔迹数据存储方法，如图2所示，还包括：
步骤S11：获取数据存储节点的运行参数；
步骤S12：基于运行参数构建运行向量；
步骤S13：获取预设的监测数据库，监测数据库中检测向量与异常概率一一对应关联；
步骤S14：计算运行向量与检测向量的第一匹配度，计算公式如下：
其中，p为运行向量与检测向量的第一匹配度；n为运行向量的数据的数量或检测向量的数据的数量；ai为运行向量的第i个数据的值；bi为检测向量的第i个数据的值；
步骤S15：获取监测数据库中与运行向量第一匹配度最高的检测向量对应的异常概率，当异常概率大于异常概率阈值时，将数据存储节点存储的笔迹数据往备用的数据存储节点迁移。
上述技术方案的工作原理及有益效果为：
通过对数据存储节点的运行的监测，实现可以提早预测数据存储节点的状态，当发生异常(异常概率大于异常概率阈值时)可以事先建数据进行迁移，保证数据存储的安全性。其中运行参数包括：数据存储节点对应设备的连接状态、各个部件的电压状态、各个部件的电流状态、各个部件的温度状态等。
在一个实施例中，基于大数据平台的笔迹数据存储方法，还包括：
步骤S21：获取数据存储节点内各个笔迹数据的活跃度，活跃度计算公示如下：
其中，D为活跃度，数据存储节点接入大数据平台的第一时间至当前时间按照预设规则划分为M段时间，Aj为第j段时间的笔迹数据被调用的次数，为对应第j段时间的预设的权重系数；
步骤S22:获取数据存储节点的被访问的第一统计数据；
步骤S23：获取与数据存储节点连接的其他的大数据平台的节点的被访问的第二统计数据；
步骤S24：对第一统计数据和第二统计数据进行分组、归一化及标准化处理；获得至少一个第一统计项的第一统计值和至少一个第二统计项的第二统计值；
步骤S25：基于第一统计值和第二统计值，计算数据存储节点的关键度，计算公式如下：
其中，G为关键度，Bk为第k个第一统计项的第一统计值；σk为对应第一统计项的预设权重；N为第一统计项的数量或第二统计项的数量；Bx,y为与数据存储节点连接的第y个其他的大数据平台的节点的第x个第二统计项的第二统计值；σx,y对应第二统计项的预设权重；Y为与数据存储节点连接的节点的数目；εy为第y个其他的大数据平台的节点与数据存储节点的连接系数，由节点与数据存储节点的数据传输量查询预设的数据传输量与连接系数的对照表获得；μ1、μ2为预设的关系系数，μ1+μ2＝1；
步骤S26:基于活跃度和关键度，调整大数据平台中笔迹数据与数据存储节点的对应关系。
上述技术方案的工作原理及有益效果为：
通过关键度和活跃度是实现数据存储节点的存储优化，使笔迹数据的存储更加合理及有效。关键度一定情况下反应数据存储节点在大数据平台的重要性，活跃度一定情况下反应笔迹数据使用的频率，即反应了笔迹数据的重要性，例如作为验证数据的笔迹数据其调用次数高于作为只作为存储用途的笔迹数据，将活跃度高的笔迹数据存储在关键度高的数据存储节点上一方面提高用户调用的速度，另一方面提高关键度高的数据存储节点的管控可以使笔迹数据更加安全，对关键度低的数据存储节点可以适当降低管控力度，以实现数据管控的合理分配，其中，第一统计数据和第二统计数据包括：上次访问时间、上次访问时用户数据获取量、距离当前一个月内的访问次数、距离当前一个月内的访问用户数等。
在一个实施例中，步骤S26:基于活跃度和关键度，调整大数据平台中笔迹数据与数据存储节点的对应关系，包括：
步骤S2601：基于关键度从大到小对大数据平台的数据存储节点进行排序，获取存储节点列表；
步骤S2602：基于活跃度从大到小对笔迹数据进行排序，获取笔迹数据列表；
步骤S2603：将笔迹数据列表中笔迹数据按从上到下排列的顺序进行分区，分区的数量与存储节点列表中数据存储节点的数量相等；
步骤S2604A:将存储节点列表中数据存储节点依次与笔迹数据列表中各个分区相关联，形成第一关联表；依照第一关联表调整大数据平台中笔迹数据与数据存储节点的对应关系；
或，
步骤S2604B：获取预设的关联规则，基于关联规则将存储节点列表中的数据存储节点与笔迹数据列表中各个分区的笔迹数据项关联，形成第二关联表；依照第二关联表调整大数据平台中笔迹数据与数据存储节点的对应关系。
关联规则包括：关联阵列库；关联阵列库包括多个关联阵列；关联阵列中各个数据表示提取各个分区的笔迹数据的数量；
基于关联规则将存储节点列表中的数据存储节点与笔迹数据列表中各个分区的笔迹数据项关联，形成第二关联表，包括：
基于关联阵列库为存储节点列表中的数据存储节点配置关联阵列；
数据存储节点基于关联阵列与笔迹数据列表中各个分区的笔迹数据进行关联。
上述技术方案的工作原理及有益效果为：
调整的方案为两种，一种为将关键度和活跃度进行排序，然后基于活跃度从上到下将排序后的笔迹数据进行分区，使每个分区分别对应一个数据存储节点；实现了当调高关键度高的数据存储节点的管控力度时，存在其中的活跃度高的笔迹数据更加安全；另一种为，基于预设的关联规则从各个分区中提取笔迹数据进行交叉关联；考虑每个数据存储节点的管控力度的负荷，将关键度高的数据存储节点的管控力度进行均衡，避免将活跃度和值最高的分区的笔迹数据都存储在关键度最高的数据存储节点后而造成调整后的管控力度超过数据存储节点的负荷的情况。
在一个实施例中，步骤S1：通过笔迹输入设备获取待存储的笔迹数据，包括：
步骤S11：当用户首次登录大数据平台，大数据平台获取用户输入的笔迹数据构建验证数据，将用于构建验证数据的笔迹数据作为待存储的笔迹数据；
和/或，
步骤S12：当用户使用笔迹输入设备输入笔迹数据再次登录大数据平台，大数据平台将笔迹数据与验证数据进行相似度计算，当相似度大于预设验证阈值时，用户验证通过，用户登录大数据平台；在验证过程中使用的笔迹数据，提取相似度与预设的验证阈值的差值在预设的范围内的笔迹数据为待存储的笔迹数据；
和/或，
步骤S13：获取笔迹输入设备的当前输入环境，确定当前输入环境的安全度，当安全度大于预设的安全阈值时，将用户通过笔迹输入设备输入的笔迹数据作为待存储的笔迹数据。
上述技术方案的工作原理及有益效果为：
并不是所有的笔迹数据都需要存储，在笔迹数据输入节点对用户的笔迹数据进行有针对性的存储，一方面保证笔迹数据存储的高效，另一方面避免大数据平台的资源的浪费。
在一个实施例中，步骤S4：基于当前输入环境，从数据存储节点列表中筛选出存储待存储的笔迹数据的数据存储节点，包括：
步骤S41：解析当前输入环境，获取至少一个输入环境参数；
步骤S42：基于输入环境参数构建环境参数向量；
步骤S43：获取预设的环境安全库，环境安全库中安全向量与安全度一一对应关联；
步骤S44：计算环境参数向量与安全向量的第二匹配度；获取第二匹配度最大时，安全向量的安全度作为当前输入环境的安全度；
步骤S45：基于安全度从数据存储列表节点中挑选数据存储节点；其中，预先为数据存储列表中的数据存储节点一一配置安全度。
上述技术方案的工作原理及有益效果为：
基于输入环境参数确定用户输入的安全性，安全性以安全度进行标识，采用环境安全库进行安全度的确定，保证安全度确定的准确性，数据存储节点的安全度的配置主要表现形式为管控力度，管控力度越大，安全度越大。
在一个实施例中，步骤S45：基于安全度从数据存储列表节点中挑选数据存储节点；包括：
步骤S5401：解析笔迹数据，获取笔顺信息中的笔画信息、笔顺信息中的顺序信息、各个笔画的书写力度；
步骤S5402：基于安全度从数据存储列表节点中挑选分别存储笔画信息、顺序信息和书写力度的数据存储节点；
步骤S5403：将挑选出的数据存储节点的节点信息相关联并存储在大数据平台的数据存储管理节点。
其中，书写力度的确定方法如下：
式中，Fh为书写第h个笔画的书写力度；I为笔画采样点的总个数；fθ,h为第h个笔画的第θ个采样点的力度，fω,h为第h个笔画的第ω个采样点的力度；当用户书写第h个笔画的第θ个采样点的力度落在的概率大于/>时，O取值为1，否则，取值为0；γ为预设的第一修正系数。
上述技术方案的工作原理及有益效果为：
通过将笔迹数据进行解析，使其拆分为多个相关联的数据，单独数据进行单独存储，提高了数据存储的安全性；在书写力度的确定是引入单个采样点的力度偏差进行修正，提高了书写力度确定的准确性。
本发明还提供一种基于大数据平台的笔迹数据存储系统，如图3所示，包括：
笔迹数据获取模块11，用于通过笔迹输入设备获取待存储的笔迹数据；
输入环境获取模块12，用于在获取笔迹数据的同时获取笔迹输入设备的当前输入环境；
存储节点获取模块13，用于获取当前可用的数据存储节点列表；
筛选模块14，用于基于当前输入环境，从数据存储节点列表中筛选出存储待存储的笔迹数据的数据存储节点。
上述技术方案的工作原理及有益效果为：
在用户采用笔迹输入设备登录大数据平台时，当确定输入的笔迹数据需要存储时，获取当前输入环境，输入环境包括：输入界面、输入设备的的设备参数、输入设备的采样软件的版本号、输入设备的连接设备的种类及类型等；通过当前输入环境筛选出用于存储笔迹数据的数据存储节点，使笔迹数据可以安全及有效地存储至大数据平台，大数据平台的数据存储节点按照预先配置的管控等级进行划分，划分的管控等级与输入环境形成对应关系。通过当前环境的存储还可方便后续调用，在调用是根据输入环境选取数据存储节点进行优先筛选，提高了后续笔迹数据调用的便捷性。
本发明的基于大数据平台的笔迹数据存储系统，在存储笔迹数据时，基于笔迹输入设备的输入环境进行数据存储节点的选择，提高了笔迹数据存储的安全性。
在一个实施例中，基于大数据平台的笔迹数据存储系统，还包括：数据存储节点监测模块，数据存储节点监测模块执行如下操作：
获取数据存储节点的运行参数；
基于运行参数构建运行向量；
获取预设的监测数据库，监测数据库中检测向量与异常概率一一对应关联；计算运行向量与检测向量的第一匹配度，计算公式如下：
其中，p为运行向量与检测向量的第一匹配度；n为运行向量的数据的数量或检测向量的数据的数量；ai为运行向量的第i个数据的值；bi为检测向量的第i个数据的值；
获取监测数据库中与运行向量第一匹配度最高的检测向量对应的异常概率，当异常概率大于异常概率阈值时，将数据存储节点存储的笔迹数据往备用的数据存储节点迁移。
上述技术方案的工作原理及有益效果为：
通过对数据存储节点的运行的监测，实现可以提早预测数据存储节点的状态，当发生异常(异常概率大于异常概率阈值时)可以事先建数据进行迁移，保证数据存储的安全性。其中运行参数包括：数据存储节点对应设备的连接状态、各个部件的电压状态、各个部件的电流状态、各个部件的温度状态等。
在一个实施例中，基于大数据平台的笔迹数据存储方法，还包括：数据存储调整模块，数据存储调整模块执行如下操作：
获取数据存储节点内各个笔迹数据的活跃度，活跃度计算公示如下：
其中，D为活跃度，数据存储节点接入大数据平台的第一时间至当前时间按照预设规则划分为M段时间，Aj为第j段时间的笔迹数据被调用的次数，为对应第j段时间的预设的权重系数；
获取数据存储节点的被访问的第一统计数据；
获取与数据存储节点连接的其他的大数据平台的节点的被访问的第二统计数据；
对第一统计数据和第二统计数据进行分组、归一化及标准化处理；获得至少一个第一统计项的第一统计值和至少一个第二统计项的第二统计值；
基于第一统计值和第二统计值，计算数据存储节点的关键度，计算公式如下：
其中，G为关键度，Bk为第k个第一统计项的第一统计值；σk为对应第一统计项的预设权重；N为第一统计项的数量或第二统计项的数量；Bx,y为与数据存储节点连接的第y个其他的大数据平台的节点的第x个第二统计项的第二统计值；σx,y对应第二统计项的预设权重；Y为与数据存储节点连接的节点的数目；εy为第y个其他的大数据平台的节点与数据存储节点的连接系数，由节点与数据存储节点的数据传输量查询预设的数据传输量与连接系数的对照表获得；μ1、μ2为预设的关系系数，μ1+μ2＝1；
基于活跃度和关键度，调整大数据平台中笔迹数据与数据存储节点的对应关系。
上述技术方案的工作原理及有益效果为：
通过关键度和活跃度是实现数据存储节点的存储优化，使笔迹数据的存储更加合理及有效。关键度一定情况下反应数据存储节点在大数据平台的重要性，活跃度一定情况下反应笔迹数据使用的频率，即反应了笔迹数据的重要性，例如作为验证数据的笔迹数据其调用次数高于作为只作为存储用途的笔迹数据，将活跃度高的笔迹数据存储在关键度高的数据存储节点上一方面提高用户调用的速度，另一方面提高关键度高的数据存储节点的管控可以使笔迹数据更加安全，对关键度低的数据存储节点可以适当降低管控力度，以实现数据管控的合理分配，其中，第一统计数据和第二统计数据包括：上次访问时间、上次访问时用户数据获取量、距离当前一个月内的访问次数、距离当前一个月内的访问用户数等。
在一个实施例中，基于活跃度和关键度，调整大数据平台中笔迹数据与数据存储节点的对应关系，包括：
基于关键度从大到小对大数据平台的数据存储节点进行排序，获取存储节点列表；
基于活跃度从大到小对笔迹数据进行排序，获取笔迹数据列表；
将笔迹数据列表中笔迹数据按从上到下排列的顺序进行分区，分区的数量与存储节点列表中数据存储节点的数量相等；
将存储节点列表中数据存储节点依次与笔迹数据列表中各个分区相关联，形成第一关联表；依照第一关联表调整大数据平台中笔迹数据与数据存储节点的对应关系；
或，
获取预设的关联规则，基于关联规则将存储节点列表中的数据存储节点与笔迹数据列表中各个分区的笔迹数据项关联，形成第二关联表；依照第二关联表调整大数据平台中笔迹数据与数据存储节点的对应关系。
关联规则包括：关联阵列库；关联阵列库包括多个关联阵列；关联阵列中各个数据表示提取各个分区的笔迹数据的数量；
基于关联规则将存储节点列表中的数据存储节点与笔迹数据列表中各个分区的笔迹数据项关联，形成第二关联表，包括：
基于关联阵列库为存储节点列表中的数据存储节点配置关联阵列；
数据存储节点基于关联阵列与笔迹数据列表中各个分区的笔迹数据进行关联。
上述技术方案的工作原理及有益效果为：
调整的方案为两种，一种为将关键度和活跃度进行排序，然后基于活跃度从上到下将排序后的笔迹数据进行分区，使每个分区分别对应一个数据存储节点；实现了当调高关键度高的数据存储节点的管控力度时，存在其中的活跃度高的笔迹数据更加安全；另一种为，基于预设的关联规则从各个分区中提取笔迹数据进行交叉关联；考虑每个数据存储节点的管控力度的负荷，将关键度高的数据存储节点的管控力度进行均衡，避免将活跃度和值最高的分区的笔迹数据都存储在关键度最高的数据存储节点后而造成调整后的管控力度超过数据存储节点的负荷的情况。
在一个实施例中，笔迹数据获取模块执行如下操作：
当用户首次登录大数据平台，大数据平台获取用户输入的笔迹数据构建验证数据，将用于构建验证数据的笔迹数据作为待存储的笔迹数据；
和/或，
当用户使用笔迹输入设备输入笔迹数据再次登录大数据平台，大数据平台将笔迹数据与验证数据进行相似度计算，当相似度大于预设验证阈值时，用户验证通过，用户登录大数据平台；在验证过程中使用的笔迹数据，提取相似度与预设的验证阈值的差值在预设的范围内的笔迹数据为待存储的笔迹数据；
和/或，
获取笔迹输入设备的当前输入环境，确定当前输入环境的安全度，当安全度大于预设的安全阈值时，将用户通过笔迹输入设备输入的笔迹数据作为待存储的笔迹数据。
上述技术方案的工作原理及有益效果为：
并不是所有的笔迹数据都需要存储，在笔迹数据输入节点对用户的笔迹数据进行有针对性的存储，一方面保证笔迹数据存储的高效，另一方面避免大数据平台的资源的浪费。
在一个实施例中，筛选模块执行如下操作：
解析当前输入环境，获取至少一个输入环境参数；
基于输入环境参数构建环境参数向量；
获取预设的环境安全库，环境安全库中安全向量与安全度一一对应关联；
计算环境参数向量与安全向量的第二匹配度；获取第二匹配度最大时，安全向量的安全度作为当前输入环境的安全度；
基于安全度从数据存储列表节点中挑选数据存储节点；其中，预先为数据存储列表中的数据存储节点一一配置安全度。
上述技术方案的工作原理及有益效果为：
基于输入环境参数确定用户输入的安全性，安全性以安全度进行标识，采用环境安全库进行安全度的确定，保证安全度确定的准确性，数据存储节点的安全度的配置主要表现形式为管控力度，管控力度越大，安全度越大。
在一个实施例中，基于安全度从数据存储列表节点中挑选数据存储节点；包括：
解析笔迹数据，获取笔顺信息中的笔画信息、笔顺信息中的顺序信息、各个笔画的书写力度；
基于安全度从数据存储列表节点中挑选分别存储笔画信息、顺序信息和书写力度的数据存储节点；
将挑选出的数据存储节点的节点信息相关联并存储在大数据平台的数据存储管理节点。
其中，书写力度的确定方法如下：
式中，Fh为书写第h个笔画的书写力度；I为笔画采样点的总个数；fθ,h为第h个笔画的第θ个采样点的力度，fω,h为第h个笔画的第ω个采样点的力度；当用户书写第h个笔画的第θ个采样点的力度落在的概率大于/>时，O取值为1，否则，取值为0；γ为预设的第一修正系数。
上述技术方案的工作原理及有益效果为：
通过将笔迹数据进行解析，使其拆分为多个相关联的数据，单独数据进行单独存储，提高了数据存储的安全性；在书写力度的确定是引入单个采样点的力度偏差进行修正，提高了书写力度确定的准确性。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (9)

1.一种基于大数据平台的笔迹数据存储方法，其特征在于，包括：
步骤S1：通过笔迹输入设备获取待存储的笔迹数据；
步骤S2：在获取所述笔迹数据的同时获取所述笔迹输入设备的当前输入环境；
步骤S3：获取当前可用的数据存储节点列表；
步骤S4：基于所述当前输入环境，从所述数据存储节点列表中筛选出存储待存储的所述笔迹数据的数据存储节点，包括：
步骤S41：解析所述当前输入环境，获取至少一个输入环境参数；
步骤S42：基于所述输入环境参数构建环境参数向量；
步骤S43：获取预设的环境安全库，所述环境安全库中安全向量与安全度一一对应关联；
步骤S44：计算所述环境参数向量与所述安全向量的第二匹配度；获取所述第二匹配度最大时，所述安全向量的所述安全度作为所述当前输入环境的安全度；
步骤S45：基于所述安全度从所述数据存储列表节点中挑选所述数据存储节点；其中，预先为所述数据存储列表中的所述数据存储节点一一配置所述安全度。
2.如权利要求1所述的基于大数据平台的笔迹数据存储方法，其特征在于，还包括：
步骤S11：获取所述数据存储节点的运行参数；
步骤S12：基于所述运行参数构建运行向量；
步骤S13：获取预设的监测数据库，所述监测数据库中检测向量与异常概率一一对应关联；
步骤S14：计算所述运行向量与所述检测向量的第一匹配度，计算公式如下：
其中，p为所述运行向量与所述检测向量的所述第一匹配度；n为所述运行向量的数据的数量或所述检测向量的数据的数量；ai为所述运行向量的第i个数据的值；bi为所述检测向量的第i个数据的值；
步骤S15：获取所述监测数据库中与所述运行向量第一匹配度最高的所述检测向量对应的所述异常概率，当所述异常概率大于异常概率阈值时，将所述数据存储节点存储的所述笔迹数据往备用的数据存储节点迁移。
3.如权利要求1所述的基于大数据平台的笔迹数据存储方法，其特征在于，还包括：
步骤S21：获取所述数据存储节点内各个所述笔迹数据的活跃度，所述活跃度计算公示如下：
其中，D为所述活跃度，所述数据存储节点接入大数据平台的第一时间至当前时间按照预设规则划分为M段时间，Aj为第j段时间的所述笔迹数据被调用的次数，为对应所述第j段时间的预设的权重系数；
步骤S22:获取所述数据存储节点的被访问的第一统计数据；
步骤S23：获取与所述数据存储节点连接的其他的大数据平台的节点的被访问的第二统计数据；
步骤S24：对所述第一统计数据和所述第二统计数据进行分组、归一化及标准化处理；获得至少一个第一统计项的第一统计值和至少一个第二统计项的第二统计值；
步骤S25：基于所述第一统计值和所述第二统计值，计算所述数据存储节点的关键度，计算公式如下：
其中，G为所述关键度，Bk为第k个所述第一统计项的第一统计值；σk为对应所述第一统计项的预设权重；N为所述第一统计项的数量或所述第二统计项的数量；Bx,y为与所述数据存储节点连接的第y个其他的大数据平台的节点的第x个所述第二统计项的第二统计值；σx,y对应所述第二统计项的预设权重；Y为与所述数据存储节点连接的节点的数目；εy为第y个其他的大数据平台的节点与所述数据存储节点的连接系数，由所述节点与所述数据存储节点的数据传输量查询预设的数据传输量与连接系数的对照表获得；μ1、μ2为预设的关系系数，μ1+2＝1；
步骤S26:基于所述活跃度和所述关键度，调整大数据平台中所述笔迹数据与所述数据存储节点的对应关系。
4.如权利要求3所述的基于大数据平台的笔迹数据存储方法，其特征在于，所述步骤S26:基于所述活跃度和所述关键度，调整大数据平台中所述笔迹数据与所述数据存储节点的对应关系，包括：
步骤S2601：基于所述关键度从大到小对所述大数据平台的所述数据存储节点进行排序，获取存储节点列表；
步骤S2602：基于所述活跃度从大到小对所述笔迹数据进行排序，获取笔迹数据列表；
步骤S2603：将所述笔迹数据列表中所述笔迹数据按从上到下排列的顺序进行分区，分区的数量与所述存储节点列表中所述数据存储节点的数量相等；
步骤S2604A:将所述存储节点列表中所述数据存储节点依次与所述笔迹数据列表中各个分区相关联，形成第一关联表；依照所述第一关联表调整大数据平台中所述笔迹数据与所述数据存储节点的对应关系；
或，
步骤S2604B：获取预设的关联规则，基于所述关联规则将所述存储节点列表中的所述数据存储节点与所述笔迹数据列表中各个分区的所述笔迹数据项关联，形成第二关联表；依照所述第二关联表调整大数据平台中所述笔迹数据与所述数据存储节点的对应关系。
5.如权利要求4所述的基于大数据平台的笔迹数据存储方法，其特征在于，所述关联规则包括：关联阵列库；所述关联阵列库包括多个关联阵列；所述关联阵列中各个数据表示提取各个分区的笔迹数据的数量；
所述基于所述关联规则将所述存储节点列表中的所述数据存储节点与所述笔迹数据列表中各个分区的所述笔迹数据项关联，形成第二关联表，包括：
基于所述关联阵列库为所述存储节点列表中的所述数据存储节点配置所述关联阵列；
所述数据存储节点基于所述关联阵列与所述笔迹数据列表中各个分区的所述笔迹数据进行关联。
6.如权利要求1所述的基于大数据平台的笔迹数据存储方法，其特征在于，所述步骤S1：通过笔迹输入设备获取待存储的笔迹数据，包括：
步骤S11：当用户首次登录大数据平台，大数据平台获取用户输入的笔迹数据构建验证数据，将用于构建验证数据的所述笔迹数据作为待存储的笔迹数据；
步骤S12：当用户使用笔迹输入设备输入笔迹数据再次登录大数据平台，大数据平台将所述笔迹数据与所述验证数据进行相似度计算，当所述相似度大于预设验证阈值时，用户验证通过，所述用户登录所述大数据平台；在验证过程中使用的所述笔迹数据，提取所述相似度与所述预设的验证阈值的差值在预设的范围内的所述笔迹数据为待存储的所述笔迹数据；
步骤S13：获取所述笔迹输入设备的当前输入环境，确定所述当前输入环境的安全度，当所述安全度大于预设的安全阈值时，将用户通过所述笔迹输入设备输入的所述笔迹数据作为待存储的所述笔迹数据。
7.如权利要求1所述的基于大数据平台的笔迹数据存储方法，其特征在于，所述步骤S45：基于所述安全度从所述数据存储列表节点中挑选所述数据存储节点；包括：
步骤S5401：解析所述笔迹数据，获取笔顺信息中的笔画信息、笔顺信息中的顺序信息、各个笔画的书写力度；
步骤S5402：基于所述安全度从所述数据存储列表节点中挑选分别存储所述笔画信息、所述顺序信息和所述书写力度的所述数据存储节点；
步骤S5403：将挑选出的所述数据存储节点的节点信息相关联并存储在大数据平台的数据存储管理节点。
8.如权利要求7所述的基于大数据平台的笔迹数据存储方法，其特征在于，所述书写力度的确定方法如下：
式中，Fh为书写第h个笔画的书写力度；I为笔画采样点的总个数；fθ,h为第h个笔画的第θ个采样点的力度，fω,h为第h个笔画的第ω个采样点的力度；当用户书写第h个笔画的第θ个采样点的力度落在的概率大于/>时，O取值为1，否则，取值为0；γ为预设的第一修正系数。
9.一种基于大数据平台的笔迹数据存储系统，其特征在于，包括：
笔迹数据获取模块，用于通过笔迹输入设备获取待存储的笔迹数据；
输入环境获取模块，用于在获取所述笔迹数据的同时获取所述笔迹输入设备的当前输入环境；
存储节点获取模块，用于获取当前可用的数据存储节点列表；
筛选模块，用于基于所述当前输入环境，从所述数据存储节点列表中筛选出存储待存储的所述笔迹数据的数据存储节点，包括：
解析所述当前输入环境，获取至少一个输入环境参数；
基于所述输入环境参数构建环境参数向量；
获取预设的环境安全库，所述环境安全库中安全向量与安全度一一对应关联；
计算所述环境参数向量与所述安全向量的第二匹配度；获取所述第二匹配度最大时，所述安全向量的所述安全度作为所述当前输入环境的安全度；
基于所述安全度从所述数据存储列表节点中挑选所述数据存储节点；其中，预先为所述数据存储列表中的所述数据存储节点一一配置所述安全度。
CN202110379642.7A 2021-04-08 2021-04-08 一种基于大数据平台的笔迹数据存储方法及系统 Active CN113177075B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110379642.7A CN113177075B (zh) 2021-04-08 2021-04-08 一种基于大数据平台的笔迹数据存储方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110379642.7A CN113177075B (zh) 2021-04-08 2021-04-08 一种基于大数据平台的笔迹数据存储方法及系统

Publications (2)

Publication Number Publication Date
CN113177075A CN113177075A (zh) 2021-07-27
CN113177075B true CN113177075B (zh) 2023-10-03

Family

ID=76924694

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110379642.7A Active CN113177075B (zh) 2021-04-08 2021-04-08 一种基于大数据平台的笔迹数据存储方法及系统

Country Status (1)

Country Link
CN (1) CN113177075B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114826666A (zh) * 2022-03-21 2022-07-29 深圳市鹰硕技术有限公司 一种智能笔的答题方法和笔迹数据采集系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018177124A1 (zh) * 2017-03-30 2018-10-04 腾讯科技（深圳）有限公司 业务处理方法、装置、数据共享系统及存储介质
CN109063121A (zh) * 2018-08-01 2018-12-21 平安科技（深圳）有限公司 数据存储方法、装置、计算机设备及计算机存储介质
CN110413611A (zh) * 2019-06-24 2019-11-05 腾讯科技（深圳）有限公司 数据存储、查询方法及装置
CN111639243A (zh) * 2020-06-04 2020-09-08 东北师范大学 时空数据渐进式多维模式提取与异常检测可视分析方法
CN112541173A (zh) * 2020-12-02 2021-03-23 深圳市鹰硕教育服务有限公司 一种基于笔顺、ocr及人工智能的终端接入方法及系统
CN112597468A (zh) * 2020-12-25 2021-04-02 深圳市鹰硕教育服务有限公司 一种基于笔顺、ocr和人工智能的数据接口管理方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9020900B2 (en) * 2010-12-14 2015-04-28 Commvault Systems, Inc. Distributed deduplicated storage system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018177124A1 (zh) * 2017-03-30 2018-10-04 腾讯科技（深圳）有限公司 业务处理方法、装置、数据共享系统及存储介质
CN109063121A (zh) * 2018-08-01 2018-12-21 平安科技（深圳）有限公司 数据存储方法、装置、计算机设备及计算机存储介质
CN110413611A (zh) * 2019-06-24 2019-11-05 腾讯科技（深圳）有限公司 数据存储、查询方法及装置
CN111639243A (zh) * 2020-06-04 2020-09-08 东北师范大学 时空数据渐进式多维模式提取与异常检测可视分析方法
CN112541173A (zh) * 2020-12-02 2021-03-23 深圳市鹰硕教育服务有限公司 一种基于笔顺、ocr及人工智能的终端接入方法及系统
CN112597468A (zh) * 2020-12-25 2021-04-02 深圳市鹰硕教育服务有限公司 一种基于笔顺、ocr和人工智能的数据接口管理方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
构建高品质云存储资源池的技术方案研究;张钟琴;王悦;;电信技术(第08期);第77-83页 *

Also Published As

Publication number Publication date
CN113177075A (zh) 2021-07-27

Similar Documents

Publication Publication Date Title
US20080134195A1 (en) Parallel data processing architecture
CN113194079B (zh) 登录验证方法、装置、设备及存储介质
US9032491B2 (en) Multi-factor authentication enrollment optimization method and apparatus
Qu et al. Single-shot embedding dimension search in recommender system
US20200201293A1 (en) Industrial data service, data modeling, and data application platform
CN113177075B (zh) 一种基于大数据平台的笔迹数据存储方法及系统
CN112799897B (zh) 一种基于大数据的信息管理方法、管理系统、存储介质
CN108322428A (zh) 一种异常访问检测方法及设备
CN113011471A (zh) 一种社交群体的划分方法、划分系统及相关装置
CN113409016A (zh) 应用于大数据云办公的信息处理方法、服务器及介质
CN112154415A (zh) 大型计算机系统中的高效事件管理
CN116455861B (zh) 一种基于大数据的计算机网络安全监测系统及方法
CN113254572A (zh) 一种基于云平台的电子文档分类监管系统
Zhang et al. Toward more efficient locality‐sensitive hashing via constructing novel hash function cluster
CN109657060A (zh) 安全生产事故案例推送方法及系统
CN106649303A (zh) 解决方案搜寻系统的操作方法及解决方案搜寻系统
Jia et al. ERASE: Benchmarking Feature Selection Methods for Deep Recommender Systems
CN112015922B (zh) 多媒体文件的检索方法、装置、设备及存储介质
CN116720578B (zh) 一种具有时空特性的知识图谱的存储方法
Zhao et al. A Weight-based k-prototypes Algorithm for Anomaly Detection in Smart Grid
CN114785548B (zh) 流量智能监测平台
US20220260963A1 (en) Selection Controller Artificial Neural Network - SCANN
Zhu et al. Multi-view and multi-label method with three-way decision-based clustering
WO2023155306A1 (zh) 基于图神经网络的数据推荐方法及装置、电子设备
US11714997B2 (en) Analyzing sequences of interactions using a neural network with attention mechanism

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant