CN111949720B - 基于大数据和人工智能的数据分析方法及云端数据服务器 - Google Patents
基于大数据和人工智能的数据分析方法及云端数据服务器 Download PDFInfo
- Publication number
- CN111949720B CN111949720B CN202010859039.4A CN202010859039A CN111949720B CN 111949720 B CN111949720 B CN 111949720B CN 202010859039 A CN202010859039 A CN 202010859039A CN 111949720 B CN111949720 B CN 111949720B
- Authority
- CN
- China
- Prior art keywords
- data
- target
- weight
- service
- processed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000007405 data analysis Methods 0.000 title claims abstract description 22
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 20
- 238000009826 distribution Methods 0.000 claims abstract description 71
- 238000013507 mapping Methods 0.000 claims description 36
- 238000004891 communication Methods 0.000 claims description 35
- 238000005538 encapsulation Methods 0.000 claims description 32
- 230000005540 biological transmission Effects 0.000 claims description 27
- 230000006870 function Effects 0.000 claims description 20
- 238000013075 data extraction Methods 0.000 claims description 19
- 238000006243 chemical reaction Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 9
- 230000007547 defect Effects 0.000 claims description 9
- 230000000694 effects Effects 0.000 claims description 9
- 230000003993 interaction Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000012546 transfer Methods 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 4
- 230000000295 complement effect Effects 0.000 claims description 4
- 238000003860 storage Methods 0.000 claims description 3
- 230000008676 import Effects 0.000 claims 2
- 238000012795 verification Methods 0.000 claims 1
- 238000012216 screening Methods 0.000 abstract description 9
- 230000009467 reduction Effects 0.000 description 21
- 238000012163 sequencing technique Methods 0.000 description 21
- 238000012545 processing Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 125000004122 cyclic group Chemical group 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000003111 delayed effect Effects 0.000 description 3
- 238000011946 reduction process Methods 0.000 description 3
- 238000005096 rolling process Methods 0.000 description 3
- 238000011084 recovery Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/258—Data format conversion from or to a database
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
- G06F16/9024—Graphs; Linked lists
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Telephonic Communication Services (AREA)
Abstract
本公开揭示的基于大数据和人工智能的数据分析方法及云端数据服务器，首先获取原始业务数据以及智能终端设备的设备配置参数，其次基于设备配置参数确定业务逻辑信息并进行筛选得到至少两个目标逻辑节点，然后通过目标逻辑节点对原始业务数据进行数据格式还原得到待处理业务数据，进而根据目标设备配置参数确定待处理业务数据的数据兼容性分布以及根据业务标签确定待处理业务数据的数据关联性分布，最后基于数据兼容性分布和数据关联性分布对待处理业务数据进行关键数据提取得到关键数据集。如此，能够在进行关键数据提取时考虑不同数据集之间的关联性和传递性，从而确保提取到互相之间存在联系的关键数据，提高关键数据的特征识别度和兼容性。
Description
技术领域
本公开涉及大数据分析和人工智能处理技术领域，特别涉及一种基于大数据和人工智能的数据分析方法及云端数据服务器。
背景技术
随着通信技术的快速发展，现代社会也逐渐步入大数据时代。大数据时代具有数据量大、数据类型多样化、数据交互快速以及数据价值深度广等优点，能够应用于现代社会的多个行业，从而提高生产效率和生活质量。
然而，随着数据量的进一步增大，数据处理设备中所存储或使用的数据量也在逐渐增多，这样会导致数据处理设备的运行速度过慢。为改善这一问题，需要对大量数据进行关键数据提取，以实现采用更为精简的数据来替代原始数据，从而提高数据处理设备的运行速度和效率。
但是，常见的对原始数据进行关键数据提取的方法会存在关键数据的特征识别度低且兼容性差的技术问题。
发明内容
为改善相关技术中存在的上述技术问题，本公开提供了基于大数据和人工智能的数据分析方法及云端数据服务器。
第一方面，提供一种基于大数据和人工智能的数据分析方法，应用于云端数据服务器，所述方法包括以下步骤：
在从智能终端设备的数据库中获取所述智能终端设备在运行时所存储的原始业务数据的同时，并行地提取所述智能终端设备的设备配置参数；
基于提取到的设备配置参数确定用于对所述原始业务数据进行数据格式还原的业务逻辑信息，从所述业务逻辑信息中提取出多个待使用的业务逻辑节点的节点封装参数以及不同业务逻辑节点之间的传递路径信息；根据所述节点封装参数和所述传递路径信息对多个待使用的业务逻辑节点进行筛选得到至少两个目标逻辑节点；其中，所述目标逻辑节点的节点封装参数的参数特征值位于设定数值区间内且不同的目标逻辑节点之间的传递路径信息的数据缺损率小于设定值；
通过所述目标逻辑节点对所述原始业务数据进行数据格式还原，得到待处理业务数据；
根据从预设的通信记录中确定出的目标终端设备的目标设备配置参数确定所述待处理业务数据的数据兼容性分布，以及根据确定出的所述待处理业务数据中的业务标签确定所述待处理业务数据的数据关联性分布；
基于所述数据兼容性分布和所述数据关联性分布对所述待处理业务数据进行关键数据提取，得到关键数据集。
在第一方面所述的方案中，基于所述数据兼容性分布和所述数据关联性分布对所述待处理业务数据进行关键数据提取，得到关键数据集，包括：
基于所述数据关联性分布对所述待处理业务数据进行数据集拆分得到多个待处理数据集，根据每个待处理数据集与其他待处理数据集之间的关联系数计算每个待处理数据集的关联性权重；
按照所述关联性权重由大到小的顺序将所述待处理数据集进行排序得到数据集排序序列；
基于所述数据兼容性分布依次对所述数据集排序序列中的每个待处理数据集进行关键数据提取，当每提取一组关键数据时，计算该组关键数据的当前特征识别权重和当前兼容性权重；在当前特征识别权重和当前兼容性权重满足设定条件时，继续按照所述数据集排序序列进行关键数据提取；在当前特征识别权重和当前兼容性权重不满足设定条件时，删除当前组关键数据并进行回滚，对当前组关键数据对应的下一排序序列的待处理数据集进行关键数据提取，直至完成对所述数据集排序序列中所有待处理数据集的关键数据提取。
在第一方面所述的方案中，判断当前特征识别权重和当前兼容性权重是否满足设定条件具体包括以下内容：
根据所述数据集排序序列的序列特征分布轨迹确定当前特征识别权重的第一优先级以及当前兼容性权重的第二优先级；
比较所述第一优先级和所述第二优先级的大小；
在所述第一优先级大于所述第二优先级时，判断所述当前特征识别权重是否超过第一预设值；在所述当前特征识别权重未超过所述第一预设值时，判断所述当前兼容性权重是否低于第二预设值，在所述当前兼容性权重低于所述第二预设值时判定所述当前特征识别权重和所述当前兼容性权重满足设定条件；在所述当前兼容性权重大于等于所述第二预设值时判定所述当前特征识别权重和所述当前兼容性权重不满足设定条件；在所述当前特征识别权重超过所述第一预设值时判定所述当前特征识别权重和所述当前兼容性权重不满足设定条件；其中，所述第一预设值和所述第二预设值是根据所述第一优先级和所述第二优先级的差值在第一预设映射列表中的第一映射值确定的；
在所述第一优先级小于等于所述第二优先级时，判断所述当前特征识别权重是否超过第三预设值；在所述当前特征识别权重未超过所述第三预设值时，判断所述当前兼容性权重是否低于第四预设值，在所述当前兼容性权重低于所述第四预设值时判定所述当前特征识别权重和所述当前兼容性权重满足设定条件；在所述当前兼容性权重大于等于所述第四预设值时判定所述当前特征识别权重和所述当前兼容性权重不满足设定条件；在所述当前特征识别权重超过所述第三预设值时判定所述当前特征识别权重和所述当前兼容性权重不满足设定条件；其中，所述第三预设值和所述第四预设值是根据所述第一优先级和所述第二优先级分别在第二预设映射列表中的第二映射值确定的，所述第一预设映射列表与所述第二预设映射列表为互补的列表。
在第一方面所述的方案中，在从智能终端设备的数据库中获取所述智能终端设备在运行时所存储的原始业务数据的同时，并行地提取所述智能终端设备的设备配置参数，具体包括：
生成与所述数据库的访问日志信息对应的查询语句并通过预先与所述数据库建立的传输接口发送所述查询语句，并在发送所述查询语句的同时检测所述智能终端设备的参数配置线程是否处于启动状态；
在检测到所述参数配置线程处于所述启动状态时，向所述智能终端设备发送同步指令以使得所述智能终端设备通过执行所述同步指令将基于所述查询语句从所述数据库中查询得到的原始业务数据以及从所述参数配置线程对应的运行记录中提取的所述设备配置参数进行同步反馈；
在检测到所述参数配置线程处于关闭状态时，根据所述参数配置线程的线程启动延迟生成启动指令并下发至所述智能终端设备，以使得所述智能终端设备根据所述启动指令启动所述参数配置线程并从所述参数配置线程对应的运行记录中提取的所述设备配置参数，并使得所述智能终端设备根据所述启动指令延迟性地基于所述查询语句从所述数据库中查询得到原始业务数据，同步接收所述智能终端设备反馈的设备配置参数和原始业务数据。
在第一方面所述的方案中，基于提取到的设备配置参数确定用于对所述原始业务数据进行数据格式还原的业务逻辑信息，从所述业务逻辑信息中提取出多个待使用的业务逻辑节点的节点封装参数以及不同业务逻辑节点之间的传递路径信息，包括：
从所述设备配置参数中确定出多个具有不同配置类别信息的参数段，根据所述参数段构建第一数据格式队列以及第二数据格式队列；将所述第一数据格式队列中的任意一个第一队列单元对应的格式描述信息映射到所述第二数据格式队列中的对应位置上的第二队列单元中，并确定所述格式描述信息在所述第二队列单元中的格式映射信息；
基于所述格式映射信息与所述第二队列单元中的目标描述信息之间的相关性系数确定所述设备配置参数在设定时段内常用的目标数据格式，解析所述目标数据格式对应的格式文本信息并通过所述格式文本信息所指代的信息特征生成所述业务逻辑信息；
将所述业务逻辑信息以图数据格式列出，得到多个初始业务逻辑节点；根据所述业务逻辑信息的拓扑关系更新频率计算每个初始业务逻辑节点的活跃性系数，按照所述活跃性系数由大到小的顺序将所述初始业务逻辑节点进行排序并选取排序靠前的目标数量个初始业务逻辑节点作为待使用的业务逻辑节点；
针对每个待使用的业务逻辑节点，确定该业务逻辑节点的节点容器函数的函数执行记录和函数调用记录，根据所述函数执行记录确定该业务逻辑节点的节点封装路径，根据所述函数调用记录从所述节点封装路径中提取出所述节点封装参数；针对待使用的多个业务逻辑节点中的每两个业务逻辑节点，计算每两个业务逻辑节点之间的业务互动系数，基于所述业务互动系数确定每两个业务逻辑节点在业务流程上的传递记录，从所述传递记录中提取出每两个业务逻辑节点之间的传递路径信息。
在第一方面所述的方案中，通过所述目标逻辑节点对所述原始业务数据进行数据格式还原，得到待处理业务数据，包括：
从所述目标逻辑节点中确定出所述原始业务数据的数据执行轨迹；其中，所述数据执行轨迹用于表征所述原始业务数据在所述智能终端设备中的数据流向信息；
根据所述数据执行轨迹中的数据流向信息确定所述原始业务数据的格式转换参数，获取所述格式转换参数中存在缺损标识的目标参数；
根据所述数据执行轨迹对应的轨迹特征矩阵的逆矩阵对所述原始业务数据进行数据格式还原，并在数据格式还原过程中采用所述目标参数对所述原始业务数据中存在与所述目标参数的缺损标识对应的请求标识所对应的目标数据字段进行补全，得到所述待处理业务数据。
在第一方面所述的方案中，根据从预设的通信记录中确定出的目标终端设备的目标设备配置参数确定所述待处理业务数据的数据兼容性分布，包括：
从预设的通信记录中提取不随所述通信记录的文本更新而变化的记录消息，提取所述记录消息中的数据通信协议文本并从所述数据通信协议文本中识别出目标终端设备对应的在建立所述数据通信协议文本时所生成的动态身份校验码；
根据所述动态身份校验码确定所述目标终端设备的目标设备配置参数并将所述目标设备配置参数对应的目标数据格式的字段编码导入预设的目标列表中，为每次导入所述目标列表的字段编码设置设备标识符；
按照所述目标列表中的每个字段编码以及所述字段编码的编码权重确定不同字段编码之间的编码兼容性系数；根据确定出的每个编码兼容性系数以及每个编码兼容性系数在所述目标列表中的行列位置信息生成所述待处理业务数据的数据兼容性分布。
第二方面，提供一种云端数据服务器，包括基于大数据和人工智能的数据分析装置，所述装置在运行时执行上述的方法。
第三方面，提供一种云端数据服务器，包括互相之间通信的处理器和存储器，所述处理器通过运行从所述存储器中读取的计算机程序以实现上述的方法。
第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序在运行时实现上述的方法。
本公开的实施例提供的技术方案可以包括以下有益效果。
首先获取原始业务数据以及智能终端设备的设备配置参数，其次基于设备配置参数确定业务逻辑信息并进行筛选得到至少两个目标逻辑节点，然后通过目标逻辑节点对原始业务数据进行数据格式还原得到待处理业务数据，进而根据从预设的通信记录中确定出的目标终端设备的目标设备配置参数确定待处理业务数据的数据兼容性分布以及根据待处理业务数据中的业务标签确定待处理业务数据的数据关联性分布，最后基于数据兼容性分布和数据关联性分布对待处理业务数据进行关键数据提取得到关键数据集。如此，能够在对原始业务数据进行关键数据提取时考虑不同数据集之间的关联性和传递性，从而确保提取到互相之间存在联系的关键数据，以提高关键数据的特征识别度和兼容性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并于说明书一起用于解释本发明的原理。
图1是根据本公开所涉及的基于大数据和人工智能的数据分析系统的示意图；
图2是根据一示例性实施例示出的一种基于大数据和人工智能的数据分析方法的流程图；
图3是根据一示例性实施例示出的一种基于大数据和人工智能的数据分析装置的框图；
图4是云端数据服务器的硬件结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
发明人对常见的关键数据提取方法进行了研究和分析发现，常见的关键数据提取方法是基于预先配置的数据压缩比来实现对原始数据的关键数据提取的，这样无法将原始数据中的数据集之间的关联性和传递性考虑在内，使得提取到的关键数据之间是离散的，难以对原始数据进行全局性的描述，从而存在特征识别度低且兼容性差的技术问题。
为改善这一技术问题，本发明实施例提供了基于大数据和人工智能的数据分析方法及云端数据服务器，能够在对原始数据进行关键数据提取时考虑不同数据集之间的关联性和传递性，从而确保提取到互相之间存在联系的关键数据，以提高关键数据的特征识别度和兼容性。
进一步地，请首先参阅图1，为一种基于大数据和人工智能的数据分析系统100的系统架构示意图，所述数据分析系统100可以包括云端数据服务器110和智能终端设备120。其中，云端数据服务器110和智能终端设备120通信。在本实施例中，智能终端设备120可以是手机、平板电脑、笔记本电脑等，也可以是智能穿戴设备等。
此外，云端数据服务器110不仅可以应用于智慧城市，还可以应用于智慧医疗、智慧工业园区、智慧工业互联网，该数据分析系统100可以应用于大数据、云计算以及边缘计算等场景中，包括但不限于新能源汽车系统管理、智能在线办公、智能在线教育、云游戏数据处理、电商直播带货处理、云上车联网处理、区块链数字金融货币服务、区块链供应链金融服务等，在此不作限定。
在图1的基础上，请结合参阅图2，为一种基于大数据和人工智能的数据分析方法的流程图，所述方法可以应用于图1中的云端数据服务器110，具体可以包括以下步骤S21-步骤S25所描述的内容。
步骤S21，在从智能终端设备的数据库中获取所述智能终端设备在运行时所存储的原始业务数据的同时，并行地提取所述智能终端设备的设备配置参数。
例如，原始业务数据可以是智能终端设备在执行不同的业务流程时所保留下的业务数据。设备配置参数用于表征智能终端设备对应的数据存储格式。
步骤S22，基于提取到的设备配置参数确定用于对所述原始业务数据进行数据格式还原的业务逻辑信息，从所述业务逻辑信息中提取出多个待使用的业务逻辑节点的节点封装参数以及不同业务逻辑节点之间的传递路径信息；根据所述节点封装参数和所述传递路径信息对多个待使用的业务逻辑节点进行筛选得到至少两个目标逻辑节点；其中，所述目标逻辑节点的节点封装参数的参数特征值位于设定数值区间内且不同的目标逻辑节点之间的传递路径信息的数据缺损率小于设定值。
例如，业务逻辑信息中包括互相之间连接的多个业务逻辑节点，每个业务逻辑节点对应的节点封装参数用于对原始业务数据进行数据格式还原，不同业务逻辑节点之间的传递路径信息用于指示原始业务数据的数据格式还原的优先级，参数特征值用于表征业务逻辑节点的格式还原类别，数据缺损率用于表征原始业务数据在业务逻辑节点之间传递时的数据丢失率。
步骤S23，通过所述目标逻辑节点对所述原始业务数据进行数据格式还原，得到待处理业务数据。
例如，待处理业务数据可以应用于不同的智能终端设备中。
步骤S24，根据从预设的通信记录中确定出的目标终端设备的目标设备配置参数确定所述待处理业务数据的数据兼容性分布，以及根据确定出的所述待处理业务数据中的业务标签确定所述待处理业务数据的数据关联性分布。
例如，数据兼容性分布用于表征待处理业务数据在不同目标终端设备中的数据格式转换耗时和转换失真率，数据关联性分布用于表征待处理业务数据中不同数据集之间的业务关联性。
步骤S25，基于所述数据兼容性分布和所述数据关联性分布对所述待处理业务数据进行关键数据提取，得到关键数据集。
在本实施例中，关键数据集可以理解为特征数据集。
在应用上述步骤S21-步骤S25时，首先获取原始业务数据以及智能终端设备的设备配置参数，其次基于设备配置参数确定业务逻辑信息并进行筛选得到至少两个目标逻辑节点，然后通过目标逻辑节点对原始业务数据进行数据格式还原得到待处理业务数据，进而根据从预设的通信记录中确定出的目标终端设备的目标设备配置参数确定待处理业务数据的数据兼容性分布以及根据待处理业务数据中的业务标签确定待处理业务数据的数据关联性分布，最后基于数据兼容性分布和数据关联性分布对待处理业务数据进行关键数据提取得到关键数据集。如此，能够在对原始业务数据进行关键数据提取时考虑不同数据集之间的关联性和传递性，从而确保提取到互相之间存在联系的关键数据，以提高关键数据的特征识别度和兼容性。
在具体实施过程中发明人发现，为了确保关键数据集的特征识别度和兼容性，需要对待处理业务数据进行多次迭代性数据提取，然而在迭代提取过程中，可能会出现提取到的个别组关键数据的特征识别度和兼容性存在波动的技术问题。为改善这一技术问题，步骤S25所描述的基于所述数据兼容性分布和所述数据关联性分布对所述待处理业务数据进行关键数据提取，得到关键数据集，示例性地可以包括以下步骤S251-步骤S253所描述的内容。
步骤S251，基于所述数据关联性分布对所述待处理业务数据进行数据集拆分得到多个待处理数据集，根据每个待处理数据集与其他待处理数据集之间的关联系数计算每个待处理数据集的关联性权重。
步骤S252，按照所述关联性权重由大到小的顺序将所述待处理数据集进行排序得到数据集排序序列。
步骤S253，基于所述数据兼容性分布依次对所述数据集排序序列中的每个待处理数据集进行关键数据提取，当每提取一组关键数据时，计算该组关键数据的当前特征识别权重和当前兼容性权重；在当前特征识别权重和当前兼容性权重满足设定条件时，继续按照所述数据集排序序列进行关键数据提取；在当前特征识别权重和当前兼容性权重不满足设定条件时，删除当前组关键数据并进行回滚，对当前组关键数据对应的下一排序序列的待处理数据集进行关键数据提取，直至完成对所述数据集排序序列中所有待处理数据集的关键数据提取。
可以理解，通过上述步骤S251-步骤S253，能够在迭代提取过程中确保每次迭代时关键数据的特征识别度和兼容性不会存在波动，这样能够确保关键数据集的特征识别度和兼容性趋于一个稳定的范围。
在一个可能的示例中，具体可以通过以下步骤S2531-步骤S2534来判断当前特征识别权重和当前兼容性权重是否满足设定条件。
步骤S2531，根据所述数据集排序序列的序列特征分布轨迹确定当前特征识别权重的第一优先级以及当前兼容性权重的第二优先级。
步骤S2532，比较所述第一优先级和所述第二优先级的大小。
步骤S2533，在所述第一优先级大于所述第二优先级时，判断所述当前特征识别权重是否超过第一预设值；在所述当前特征识别权重未超过所述第一预设值时，判断所述当前兼容性权重是否低于第二预设值，在所述当前兼容性权重低于所述第二预设值时判定所述当前特征识别权重和所述当前兼容性权重满足设定条件；在所述当前兼容性权重大于等于所述第二预设值时判定所述当前特征识别权重和所述当前兼容性权重不满足设定条件；在所述当前特征识别权重超过所述第一预设值时判定所述当前特征识别权重和所述当前兼容性权重不满足设定条件；其中，所述第一预设值和所述第二预设值是根据所述第一优先级和所述第二优先级的差值在第一预设映射列表中的第一映射值确定的。
步骤S2534，在所述第一优先级小于等于所述第二优先级时，判断所述当前特征识别权重是否超过第三预设值；在所述当前特征识别权重未超过所述第三预设值时，判断所述当前兼容性权重是否低于第四预设值，在所述当前兼容性权重低于所述第四预设值时判定所述当前特征识别权重和所述当前兼容性权重满足设定条件；在所述当前兼容性权重大于等于所述第四预设值时判定所述当前特征识别权重和所述当前兼容性权重不满足设定条件；在所述当前特征识别权重超过所述第三预设值时判定所述当前特征识别权重和所述当前兼容性权重不满足设定条件；其中，所述第三预设值和所述第四预设值是根据所述第一优先级和所述第二优先级分别在第二预设映射列表中的第二映射值确定的，所述第一预设映射列表与所述第二预设映射列表为互补的列表。
在具体实施过程中，基于上述步骤S2531-步骤S2534，能够将当前特征识别权重的第一优先级以及当前兼容性权重的第二优先级的大小关系考虑在内，从而基于不同的预设值进行波动性判断，这样可以准确、可靠地判断当前特征识别权重和当前兼容性权重是否满足设定条件。
在实际应用时，为了确保原始业务数据和设备配置参数在时序上的一致性，步骤S21所描述的在从智能终端设备的数据库中获取所述智能终端设备在运行时所存储的原始业务数据的同时，并行地提取所述智能终端设备的设备配置参数，具体可以包括以下步骤S211-步骤S213所描述的内容。
步骤S211，生成与所述数据库的访问日志信息对应的查询语句并通过预先与所述数据库建立的传输接口发送所述查询语句，并在发送所述查询语句的同时检测所述智能终端设备的参数配置线程是否处于启动状态。
步骤S212，在检测到所述参数配置线程处于所述启动状态时，向所述智能终端设备发送同步指令以使得所述智能终端设备通过执行所述同步指令将基于所述查询语句从所述数据库中查询得到的原始业务数据以及从所述参数配置线程对应的运行记录中提取的所述设备配置参数进行同步反馈。
步骤S213，在检测到所述参数配置线程处于关闭状态时，根据所述参数配置线程的线程启动延迟生成启动指令并下发至所述智能终端设备，以使得所述智能终端设备根据所述启动指令启动所述参数配置线程并从所述参数配置线程对应的运行记录中提取的所述设备配置参数，并使得所述智能终端设备根据所述启动指令延迟性地基于所述查询语句从所述数据库中查询得到原始业务数据，同步接收所述智能终端设备反馈的设备配置参数和原始业务数据。
在具体实施过程中，通过执行上述步骤S211-步骤S213所描述的内容，能够确保原始业务数据和设备配置参数在时序上的一致性。
在具体应用上述方法时，为了确保业务逻辑节点的准确性和完整性，避免后续筛选得到的目标逻辑节点的缺失，步骤S22所描述的基于提取到的设备配置参数确定用于对所述原始业务数据进行数据格式还原的业务逻辑信息，从所述业务逻辑信息中提取出多个待使用的业务逻辑节点的节点封装参数以及不同业务逻辑节点之间的传递路径信息，具体可以包括以下步骤S221-步骤S224所描述的内容。
步骤S221，从所述设备配置参数中确定出多个具有不同配置类别信息的参数段，根据所述参数段构建第一数据格式队列以及第二数据格式队列；将所述第一数据格式队列中的任意一个第一队列单元对应的格式描述信息映射到所述第二数据格式队列中的对应位置上的第二队列单元中，并确定所述格式描述信息在所述第二队列单元中的格式映射信息。
步骤S222，基于所述格式映射信息与所述第二队列单元中的目标描述信息之间的相关性系数确定所述设备配置参数在设定时段内常用的目标数据格式，解析所述目标数据格式对应的格式文本信息并通过所述格式文本信息所指代的信息特征生成所述业务逻辑信息。
步骤S223，将所述业务逻辑信息以图数据格式列出，得到多个初始业务逻辑节点；根据所述业务逻辑信息的拓扑关系更新频率计算每个初始业务逻辑节点的活跃性系数，按照所述活跃性系数由大到小的顺序将所述初始业务逻辑节点进行排序并选取排序靠前的目标数量个初始业务逻辑节点作为待使用的业务逻辑节点。
步骤S224，针对每个待使用的业务逻辑节点，确定该业务逻辑节点的节点容器函数的函数执行记录和函数调用记录，根据所述函数执行记录确定该业务逻辑节点的节点封装路径，根据所述函数调用记录从所述节点封装路径中提取出所述节点封装参数；针对待使用的多个业务逻辑节点中的每两个业务逻辑节点，计算每两个业务逻辑节点之间的业务互动系数，基于所述业务互动系数确定每两个业务逻辑节点在业务流程上的传递记录，从所述传递记录中提取出每两个业务逻辑节点之间的传递路径信息。
可以理解，通过上述步骤S221-步骤S224所描述的内容，能够确保业务逻辑节点的准确性和完整性，避免后续筛选得到的目标逻辑节点的缺失。
在具体实施时，为了避免在进行数据格式还原时一些数据字段的丢失，步骤S23所描述的通过所述目标逻辑节点对所述原始业务数据进行数据格式还原，得到待处理业务数据，示例性地可以包括以下步骤231-步骤S233所描述的内容。
步骤S231，从所述目标逻辑节点中确定出所述原始业务数据的数据执行轨迹；其中，所述数据执行轨迹用于表征所述原始业务数据在所述智能终端设备中的数据流向信息。
步骤S232，根据所述数据执行轨迹中的数据流向信息确定所述原始业务数据的格式转换参数，获取所述格式转换参数中存在缺损标识的目标参数。
步骤S233，根据所述数据执行轨迹对应的轨迹特征矩阵的逆矩阵对所述原始业务数据进行数据格式还原，并在数据格式还原过程中采用所述目标参数对所述原始业务数据中存在与所述目标参数的缺损标识对应的请求标识所对应的目标数据字段进行补全，得到所述待处理业务数据。
如此，基于上述步骤S231-步骤S233，能够避免在进行数据格式还原时一些数据字段的丢失。
在一个具体的实施方式中，步骤S24所描述的根据从预设的通信记录中确定出的目标终端设备的目标设备配置参数确定所述待处理业务数据的数据兼容性分布，具体可以包括以下步骤S241-步骤S243所描述的内容。
步骤S241，从预设的通信记录中提取不随所述通信记录的文本更新而变化的记录消息，提取所述记录消息中的数据通信协议文本并从所述数据通信协议文本中识别出目标终端设备对应的在建立所述数据通信协议文本时所生成的动态身份校验码。
步骤S242，根据所述动态身份校验码确定所述目标终端设备的目标设备配置参数并将所述目标设备配置参数对应的目标数据格式的字段编码导入预设的目标列表中，为每次导入所述目标列表的字段编码设置设备标识符。
步骤S243，按照所述目标列表中的每个字段编码以及所述字段编码的编码权重确定不同字段编码之间的编码兼容性系数；根据确定出的每个编码兼容性系数以及每个编码兼容性系数在所述目标列表中的行列位置信息生成所述待处理业务数据的数据兼容性分布。
这样以来，通过上述步骤S241-步骤S244，能够确保数据兼容性分布的准确性和完整性。
在一个可以替换的实施方式中，为了确保数据关联性分布中的数据关联性路径不存在较大区域的重叠，步骤S24所描述的根据确定出的所述待处理业务数据中的业务标签确定所述待处理业务数据的数据关联性分布，进一步可以包括以下步骤a-步骤c所描述的内容。
步骤a，确定所述业务标签的标签字段以及所述待处理业务数据的业务线程的各线程关联信息；在基于所述标签字段确定出所述业务标签中包含有可追溯性标签的情况下，根据所述待处理业务数据在所述可追溯性标签下的线程关联信息及其关联性路径参数计算所述待处理业务数据在所述非追溯性标签下的各线程关联信息与所述待处理业务数据在所述可追溯性标签下的各线程关联信息之间的关联重叠信息。
步骤b，基于计算得到的关联重叠信息将所述待处理业务数据在所述非追溯性标签下的与在所述可追溯性标签下的线程关联信息之间的重叠率大于设定重叠率的线程关联信息转移到所述可追溯性标签下，具体包括：在所述待处理业务数据对应的所述非追溯性标签下包含有多个线程关联信息的情况下，基于所述待处理业务数据在所述可追溯性标签下的线程关联信息及其关联性路径参数计算所述待处理业务数据在所述非追溯性标签下的各线程关联信息之间的关联重叠信息；通过所述各线程关联信息之间的关联重叠信息对所述非追溯性标签下的各线程关联信息进行除噪并基于所述待处理业务数据在所述可追溯性标签下的线程关联信息及其关联性路径参数为上述除噪所保留的第一目标线程关联信息进行关联权重筛分，得到第二目标线程关联信息，将所述第二目标线程关联信息转移到所述可追溯性标签下。
步骤c，基于所述可追溯性标签的每个线程关联信息与所述业务标签之间的映射关系，确定所述待处理业务数据的数据关联性分布。
如此，基于上述步骤a-步骤c，能够确保数据关联性分布中的数据关联性路径不存在较大区域的重叠。
在上述步骤S21-步骤S25的基础上，所述方法还可以包括以下步骤S26和步骤S27所描述的内容。
步骤S26，获取用于调用所述关键数据集的调用指令，解析所述调用指令以确定出调用端设备的认证密钥。
步骤S27，对所述认证密钥进行循环冗余校验，在所述认证密钥通过所述循环冗余校验时，将所述关键数据集发送给所述调用端设备。
如此，能够基于上述步骤S26-步骤S27实现对关键数据集的安全调用，避免关键数据集被恶意调用而导致的数据丢失或篡改。
基于上述同样的发明构思，请结合参阅图3，提供了基于大数据和人工智能的数据分析装置300，具体描述如下。
A1.一种基于大数据和人工智能的数据分析装置300，应用于云端数据服务器，所述装置包括以下功能模块：
数据获取模块310，用于在从智能终端设备的数据库中获取所述智能终端设备在运行时所存储的原始业务数据的同时，并行地提取所述智能终端设备的设备配置参数；
节点提取模块320，用于基于提取到的设备配置参数确定用于对所述原始业务数据进行数据格式还原的业务逻辑信息，从所述业务逻辑信息中提取出多个待使用的业务逻辑节点的节点封装参数以及不同业务逻辑节点之间的传递路径信息；根据所述节点封装参数和所述传递路径信息对多个待使用的业务逻辑节点进行筛选得到至少两个目标逻辑节点；其中，所述目标逻辑节点的节点封装参数的参数特征值位于设定数值区间内且不同的目标逻辑节点之间的传递路径信息的数据缺损率小于设定值；
数据还原模块330，用于通过所述目标逻辑节点对所述原始业务数据进行数据格式还原，得到待处理业务数据；
分布确定模块340，用于根据从预设的通信记录中确定出的目标终端设备的目标设备配置参数确定所述待处理业务数据的数据兼容性分布，以及根据确定出的所述待处理业务数据中的业务标签确定所述待处理业务数据的数据关联性分布；
数据提取模块350，用于基于所述数据兼容性分布和所述数据关联性分布对所述待处理业务数据进行关键数据提取，得到关键数据集；
数据调用模块360，用于获取用于调用所述关键数据集的调用指令，解析所述调用指令以确定出调用端设备的认证密钥；对所述认证密钥进行循环冗余校验，在所述认证密钥通过所述循环冗余校验时，将所述关键数据集发送给所述调用端设备。
A2.根据A1所述的装置，数据提取模块350，用于：
基于所述数据关联性分布对所述待处理业务数据进行数据集拆分得到多个待处理数据集，根据每个待处理数据集与其他待处理数据集之间的关联系数计算每个待处理数据集的关联性权重；
按照所述关联性权重由大到小的顺序将所述待处理数据集进行排序得到数据集排序序列；
基于所述数据兼容性分布依次对所述数据集排序序列中的每个待处理数据集进行关键数据提取，当每提取一组关键数据时，计算该组关键数据的当前特征识别权重和当前兼容性权重；在当前特征识别权重和当前兼容性权重满足设定条件时，继续按照所述数据集排序序列进行关键数据提取；在当前特征识别权重和当前兼容性权重不满足设定条件时，删除当前组关键数据并进行回滚，对当前组关键数据对应的下一排序序列的待处理数据集进行关键数据提取，直至完成对所述数据集排序序列中所有待处理数据集的关键数据提取。
A3.根据A2所述的装置，数据提取模块350，用于：
根据所述数据集排序序列的序列特征分布轨迹确定当前特征识别权重的第一优先级以及当前兼容性权重的第二优先级；
比较所述第一优先级和所述第二优先级的大小；
在所述第一优先级大于所述第二优先级时，判断所述当前特征识别权重是否超过第一预设值；在所述当前特征识别权重未超过所述第一预设值时，判断所述当前兼容性权重是否低于第二预设值，在所述当前兼容性权重低于所述第二预设值时判定所述当前特征识别权重和所述当前兼容性权重满足设定条件；在所述当前兼容性权重大于等于所述第二预设值时判定所述当前特征识别权重和所述当前兼容性权重不满足设定条件；在所述当前特征识别权重超过所述第一预设值时判定所述当前特征识别权重和所述当前兼容性权重不满足设定条件；其中，所述第一预设值和所述第二预设值是根据所述第一优先级和所述第二优先级的差值在第一预设映射列表中的第一映射值确定的；
在所述第一优先级小于等于所述第二优先级时，判断所述当前特征识别权重是否超过第三预设值；在所述当前特征识别权重未超过所述第三预设值时，判断所述当前兼容性权重是否低于第四预设值，在所述当前兼容性权重低于所述第四预设值时判定所述当前特征识别权重和所述当前兼容性权重满足设定条件；在所述当前兼容性权重大于等于所述第四预设值时判定所述当前特征识别权重和所述当前兼容性权重不满足设定条件；在所述当前特征识别权重超过所述第三预设值时判定所述当前特征识别权重和所述当前兼容性权重不满足设定条件；其中，所述第三预设值和所述第四预设值是根据所述第一优先级和所述第二优先级分别在第二预设映射列表中的第二映射值确定的，所述第一预设映射列表与所述第二预设映射列表为互补的列表。
A4.根据A1-A3任一项所述的装置，数据获取模块310，用于：
生成与所述数据库的访问日志信息对应的查询语句并通过预先与所述数据库建立的传输接口发送所述查询语句，并在发送所述查询语句的同时检测所述智能终端设备的参数配置线程是否处于启动状态；
在检测到所述参数配置线程处于所述启动状态时，向所述智能终端设备发送同步指令以使得所述智能终端设备通过执行所述同步指令将基于所述查询语句从所述数据库中查询得到的原始业务数据以及从所述参数配置线程对应的运行记录中提取的所述设备配置参数进行同步反馈；
在检测到所述参数配置线程处于关闭状态时，根据所述参数配置线程的线程启动延迟生成启动指令并下发至所述智能终端设备，以使得所述智能终端设备根据所述启动指令启动所述参数配置线程并从所述参数配置线程对应的运行记录中提取的所述设备配置参数，并使得所述智能终端设备根据所述启动指令延迟性地基于所述查询语句从所述数据库中查询得到原始业务数据，同步接收所述智能终端设备反馈的设备配置参数和原始业务数据。
A5.根据A1所述的装置，节点提取模块320，具体用于：
从所述设备配置参数中确定出多个具有不同配置类别信息的参数段，根据所述参数段构建第一数据格式队列以及第二数据格式队列；将所述第一数据格式队列中的任意一个第一队列单元对应的格式描述信息映射到所述第二数据格式队列中的对应位置上的第二队列单元中，并确定所述格式描述信息在所述第二队列单元中的格式映射信息；
基于所述格式映射信息与所述第二队列单元中的目标描述信息之间的相关性系数确定所述设备配置参数在设定时段内常用的目标数据格式，解析所述目标数据格式对应的格式文本信息并通过所述格式文本信息所指代的信息特征生成所述业务逻辑信息；
将所述业务逻辑信息以图数据格式列出，得到多个初始业务逻辑节点；根据所述业务逻辑信息的拓扑关系更新频率计算每个初始业务逻辑节点的活跃性系数，按照所述活跃性系数由大到小的顺序将所述初始业务逻辑节点进行排序并选取排序靠前的目标数量个初始业务逻辑节点作为待使用的业务逻辑节点；
针对每个待使用的业务逻辑节点，确定该业务逻辑节点的节点容器函数的函数执行记录和函数调用记录，根据所述函数执行记录确定该业务逻辑节点的节点封装路径，根据所述函数调用记录从所述节点封装路径中提取出所述节点封装参数；针对待使用的多个业务逻辑节点中的每两个业务逻辑节点，计算每两个业务逻辑节点之间的业务互动系数，基于所述业务互动系数确定每两个业务逻辑节点在业务流程上的传递记录，从所述传递记录中提取出每两个业务逻辑节点之间的传递路径信息。
A6.根据A1所述的装置，数据还原模块330，用于：
从所述目标逻辑节点中确定出所述原始业务数据的数据执行轨迹；其中，所述数据执行轨迹用于表征所述原始业务数据在所述智能终端设备中的数据流向信息；
根据所述数据执行轨迹中的数据流向信息确定所述原始业务数据的格式转换参数，获取所述格式转换参数中存在缺损标识的目标参数；
根据所述数据执行轨迹对应的轨迹特征矩阵的逆矩阵对所述原始业务数据进行数据格式还原，并在数据格式还原过程中采用所述目标参数对所述原始业务数据中存在与所述目标参数的缺损标识对应的请求标识所对应的目标数据字段进行补全，得到所述待处理业务数据。
A7.根据A1所述的装置，分布确定模块340，用于：
从预设的通信记录中提取不随所述通信记录的文本更新而变化的记录消息，提取所述记录消息中的数据通信协议文本并从所述数据通信协议文本中识别出目标终端设备对应的在建立所述数据通信协议文本时所生成的动态身份校验码；
根据所述动态身份校验码确定所述目标终端设备的目标设备配置参数并将所述目标设备配置参数对应的目标数据格式的字段编码导入预设的目标列表中，为每次导入所述目标列表的字段编码设置设备标识符；
按照所述目标列表中的每个字段编码以及所述字段编码的编码权重确定不同字段编码之间的编码兼容性系数；根据确定出的每个编码兼容性系数以及每个编码兼容性系数在所述目标列表中的行列位置信息生成所述待处理业务数据的数据兼容性分布。
关于上述功能模块的描述请参阅对图2所示的方法的描述，在此不作更多说明。
基于上述同样的发明构思，还提供了一种基于大数据和人工智能的数据分析系统，包括互相之间通信的云端数据服务器和智能终端设备；
其中，云端数据服务器用于：
在从智能终端设备的数据库中获取所述智能终端设备在运行时所存储的原始业务数据的同时，并行地提取所述智能终端设备的设备配置参数；
基于提取到的设备配置参数确定用于对所述原始业务数据进行数据格式还原的业务逻辑信息，从所述业务逻辑信息中提取出多个待使用的业务逻辑节点的节点封装参数以及不同业务逻辑节点之间的传递路径信息；根据所述节点封装参数和所述传递路径信息对多个待使用的业务逻辑节点进行筛选得到至少两个目标逻辑节点；其中，所述目标逻辑节点的节点封装参数的参数特征值位于设定数值区间内且不同的目标逻辑节点之间的传递路径信息的数据缺损率小于设定值；
通过所述目标逻辑节点对所述原始业务数据进行数据格式还原，得到待处理业务数据；
根据从预设的通信记录中确定出的目标终端设备的目标设备配置参数确定所述待处理业务数据的数据兼容性分布，以及根据确定出的所述待处理业务数据中的业务标签确定所述待处理业务数据的数据关联性分布；
基于所述数据兼容性分布和所述数据关联性分布对所述待处理业务数据进行关键数据提取，得到关键数据集。
基于上述方案，请结合参阅图4，提供一种云端数据服务器110，包括基于大数据和人工智能的数据分析装置300，所述装置在运行时执行上述的方法。
进一步地，图4所示的云端数据服务器110包括互相之间通信的处理器111和存储器112，所述处理器111通过运行从所述存储器112中读取的计算机程序以实现上述的方法。
进一步地，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序在运行时实现上述的方法。
综上，本公开的实施例提供的上述技术方案，首先获取原始业务数据以及智能终端设备的设备配置参数，其次基于设备配置参数确定业务逻辑信息并进行筛选得到至少两个目标逻辑节点，然后通过目标逻辑节点对原始业务数据进行数据格式还原得到待处理业务数据，进而根据从预设的通信记录中确定出的目标终端设备的目标设备配置参数确定待处理业务数据的数据兼容性分布以及根据待处理业务数据中的业务标签确定待处理业务数据的数据关联性分布，最后基于数据兼容性分布和数据关联性分布对待处理业务数据进行关键数据提取得到关键数据集。
如此，能够在对原始业务数据进行关键数据提取时考虑不同数据集之间的关联性和传递性，从而确保提取到互相之间存在联系的关键数据，以提高关键数据的特征识别度和兼容性。
以上实施方式中的各种技术特征可以任意进行组合，只要特征之间的组合不存在冲突或矛盾，但是限于篇幅，未进行一一描述，因此上述实施方式中的各种技术特征的任意进行组合也属于本说明书公开的范围。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围执行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
Claims (10)
1.一种基于大数据和人工智能的数据分析方法，其特征在于，应用于云端数据服务器，所述方法包括以下步骤：
在从智能终端设备的数据库中获取所述智能终端设备在运行时所存储的原始业务数据的同时，并行地提取所述智能终端设备的设备配置参数；
基于提取到的设备配置参数确定用于对所述原始业务数据进行数据格式还原的业务逻辑信息，从所述业务逻辑信息中提取出多个待使用的业务逻辑节点的节点封装参数以及不同业务逻辑节点之间的传递路径信息；根据所述节点封装参数和所述传递路径信息对多个待使用的业务逻辑节点进行筛选得到至少两个目标逻辑节点；其中，所述目标逻辑节点的节点封装参数的参数特征值位于设定数值区间内且不同的目标逻辑节点之间的传递路径信息的数据缺损率小于设定值；
通过所述目标逻辑节点对所述原始业务数据进行数据格式还原，得到待处理业务数据；
根据从预设的通信记录中确定出的目标终端设备的目标设备配置参数确定所述待处理业务数据的数据兼容性分布，以及根据确定出的所述待处理业务数据中的业务标签确定所述待处理业务数据的数据关联性分布；其中，所述数据兼容性分布用于表征待处理业务数据在不同目标终端设备中的数据格式转换耗时和转换失真率，数据关联性分布用于表征待处理业务数据中不同数据集之间的业务关联性；
基于所述数据兼容性分布和所述数据关联性分布对所述待处理业务数据进行关键数据提取，得到关键数据集。
2.根据权利要求1所述的方法，其特征在于，基于所述数据兼容性分布和所述数据关联性分布对所述待处理业务数据进行关键数据提取，得到关键数据集，包括：
基于所述数据关联性分布对所述待处理业务数据进行数据集拆分得到多个待处理数据集，根据每个待处理数据集与其他待处理数据集之间的关联系数计算每个待处理数据集的关联性权重；
按照所述关联性权重由大到小的顺序将所述待处理数据集进行排序得到数据集排序序列；
基于所述数据兼容性分布依次对所述数据集排序序列中的每个待处理数据集进行关键数据提取，当每提取一组关键数据时，计算该组关键数据的当前特征识别权重和当前兼容性权重；在当前特征识别权重和当前兼容性权重满足设定条件时，继续按照所述数据集排序序列进行关键数据提取；在当前特征识别权重和当前兼容性权重不满足设定条件时，删除当前组关键数据并进行回滚，对当前组关键数据对应的下一排序序列的待处理数据集进行关键数据提取，直至完成对所述数据集排序序列中所有待处理数据集的关键数据提取。
3.根据权利要求2所述的方法，其特征在于，判断当前特征识别权重和当前兼容性权重是否满足设定条件具体包括以下内容：
根据所述数据集排序序列的序列特征分布轨迹确定当前特征识别权重的第一优先级以及当前兼容性权重的第二优先级；
比较所述第一优先级和所述第二优先级的大小；
在所述第一优先级大于所述第二优先级时，判断所述当前特征识别权重是否超过第一预设值；在所述当前特征识别权重未超过所述第一预设值时，判断所述当前兼容性权重是否低于第二预设值，在所述当前兼容性权重低于所述第二预设值时判定所述当前特征识别权重和所述当前兼容性权重满足设定条件；在所述当前兼容性权重大于等于所述第二预设值时判定所述当前特征识别权重和所述当前兼容性权重不满足设定条件；在所述当前特征识别权重超过所述第一预设值时判定所述当前特征识别权重和所述当前兼容性权重不满足设定条件；其中，所述第一预设值和所述第二预设值是根据所述第一优先级和所述第二优先级的差值在第一预设映射列表中的第一映射值确定的；
在所述第一优先级小于等于所述第二优先级时，判断所述当前特征识别权重是否超过第三预设值；在所述当前特征识别权重未超过所述第三预设值时，判断所述当前兼容性权重是否低于第四预设值，在所述当前兼容性权重低于所述第四预设值时判定所述当前特征识别权重和所述当前兼容性权重满足设定条件；在所述当前兼容性权重大于等于所述第四预设值时判定所述当前特征识别权重和所述当前兼容性权重不满足设定条件；在所述当前特征识别权重超过所述第三预设值时判定所述当前特征识别权重和所述当前兼容性权重不满足设定条件；其中，所述第三预设值和所述第四预设值是根据所述第一优先级和所述第二优先级分别在第二预设映射列表中的第二映射值确定的，所述第一预设映射列表与所述第二预设映射列表为互补的列表。
4.根据权利要求1-3任一项所述的方法，其特征在于，在从智能终端设备的数据库中获取所述智能终端设备在运行时所存储的原始业务数据的同时，并行地提取所述智能终端设备的设备配置参数，具体包括：
生成与所述数据库的访问日志信息对应的查询语句并通过预先与所述数据库建立的传输接口发送所述查询语句，并在发送所述查询语句的同时检测所述智能终端设备的参数配置线程是否处于启动状态；
在检测到所述参数配置线程处于所述启动状态时，向所述智能终端设备发送同步指令以使得所述智能终端设备通过执行所述同步指令将基于所述查询语句从所述数据库中查询得到的原始业务数据以及从所述参数配置线程对应的运行记录中提取的所述设备配置参数进行同步反馈；
在检测到所述参数配置线程处于关闭状态时，根据所述参数配置线程的线程启动延迟生成启动指令并下发至所述智能终端设备，以使得所述智能终端设备根据所述启动指令启动所述参数配置线程并从所述参数配置线程对应的运行记录中提取的所述设备配置参数，并使得所述智能终端设备根据所述启动指令延迟性地基于所述查询语句从所述数据库中查询得到原始业务数据，同步接收所述智能终端设备反馈的设备配置参数和原始业务数据。
5.根据权利要求1所述的方法，其特征在于，基于提取到的设备配置参数确定用于对所述原始业务数据进行数据格式还原的业务逻辑信息，从所述业务逻辑信息中提取出多个待使用的业务逻辑节点的节点封装参数以及不同业务逻辑节点之间的传递路径信息，包括：
从所述设备配置参数中确定出多个具有不同配置类别信息的参数段，根据所述参数段构建第一数据格式队列以及第二数据格式队列；将所述第一数据格式队列中的任意一个第一队列单元对应的格式描述信息映射到所述第二数据格式队列中的对应位置上的第二队列单元中，并确定所述格式描述信息在所述第二队列单元中的格式映射信息；
基于所述格式映射信息与所述第二队列单元中的目标描述信息之间的相关性系数确定所述设备配置参数在设定时段内常用的目标数据格式，解析所述目标数据格式对应的格式文本信息并通过所述格式文本信息所指代的信息特征生成所述业务逻辑信息；
将所述业务逻辑信息以图数据格式列出，得到多个初始业务逻辑节点；根据所述业务逻辑信息的拓扑关系更新频率计算每个初始业务逻辑节点的活跃性系数，按照所述活跃性系数由大到小的顺序将所述初始业务逻辑节点进行排序并选取排序靠前的目标数量个初始业务逻辑节点作为待使用的业务逻辑节点；
针对每个待使用的业务逻辑节点，确定该业务逻辑节点的节点容器函数的函数执行记录和函数调用记录，根据所述函数执行记录确定该业务逻辑节点的节点封装路径，根据所述函数调用记录从所述节点封装路径中提取出所述节点封装参数；针对待使用的多个业务逻辑节点中的每两个业务逻辑节点，计算每两个业务逻辑节点之间的业务互动系数，基于所述业务互动系数确定每两个业务逻辑节点在业务流程上的传递记录，从所述传递记录中提取出每两个业务逻辑节点之间的传递路径信息。
6.根据权利要求1所述的方法，其特征在于，通过所述目标逻辑节点对所述原始业务数据进行数据格式还原，得到待处理业务数据，包括：
从所述目标逻辑节点中确定出所述原始业务数据的数据执行轨迹；其中，所述数据执行轨迹用于表征所述原始业务数据在所述智能终端设备中的数据流向信息；
根据所述数据执行轨迹中的数据流向信息确定所述原始业务数据的格式转换参数，获取所述格式转换参数中存在缺损标识的目标参数；
根据所述数据执行轨迹对应的轨迹特征矩阵的逆矩阵对所述原始业务数据进行数据格式还原，并在数据格式还原过程中采用所述目标参数对所述原始业务数据中存在与所述目标参数的缺损标识对应的请求标识所对应的目标数据字段进行补全，得到所述待处理业务数据。
7.根据权利要求1所述的方法，其特征在于，根据从预设的通信记录中确定出的目标终端设备的目标设备配置参数确定所述待处理业务数据的数据兼容性分布，包括：
从预设的通信记录中提取不随所述通信记录的文本更新而变化的记录消息，提取所述记录消息中的数据通信协议文本并从所述数据通信协议文本中识别出目标终端设备对应的在建立所述数据通信协议文本时所生成的动态身份校验码；
根据所述动态身份校验码确定所述目标终端设备的目标设备配置参数并将所述目标设备配置参数对应的目标数据格式的字段编码导入预设的目标列表中，为每次导入所述目标列表的字段编码设置设备标识符；
按照所述目标列表中的每个字段编码以及所述字段编码的编码权重确定不同字段编码之间的编码兼容性系数；根据确定出的每个编码兼容性系数以及每个编码兼容性系数在所述目标列表中的行列位置信息生成所述待处理业务数据的数据兼容性分布。
8.一种云端数据服务器，其特征在于，包括基于大数据和人工智能的数据分析装置，所述装置在运行时执行权利要求1-7任一项所述的方法。
9.一种云端数据服务器，其特征在于，包括互相之间通信的处理器和存储器，所述处理器通过运行从所述存储器中读取的计算机程序以实现权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序在运行时实现权利要求1-7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010859039.4A CN111949720B (zh) | 2020-08-24 | 2020-08-24 | 基于大数据和人工智能的数据分析方法及云端数据服务器 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010859039.4A CN111949720B (zh) | 2020-08-24 | 2020-08-24 | 基于大数据和人工智能的数据分析方法及云端数据服务器 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111949720A CN111949720A (zh) | 2020-11-17 |
| CN111949720B true CN111949720B (zh) | 2021-07-06 |
Family
ID=73359776
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010859039.4A Active CN111949720B (zh) | 2020-08-24 | 2020-08-24 | 基于大数据和人工智能的数据分析方法及云端数据服务器 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111949720B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112434201B (zh) * | 2020-12-04 | 2021-07-16 | 福建顶点软件股份有限公司 | 基于大数据的数据可视化方法及大数据云服务器 |
| CN113220777B (zh) * | 2021-03-12 | 2023-06-30 | 中国平安财产保险股份有限公司 | 业务数据处理方法、装置、计算机设备及存储介质 |
| CN113778993B (zh) * | 2021-09-14 | 2025-02-21 | 北京沃东天骏信息技术有限公司 | 一种业务数据的处理方法和装置 |
| CN118841121B (zh) * | 2024-09-20 | 2025-02-25 | 苏州工业园区东诚智能网络技术有限公司 | 基于智慧医疗的患者信息管理方法及系统 |
| CN119071165A (zh) * | 2024-11-06 | 2024-12-03 | 浙江省邮电工程建设有限公司 | 一种通信建设数字化管理方法与系统 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10157195B1 (en) * | 2007-11-29 | 2018-12-18 | Bdna Corporation | External system integration into automated attribute discovery |
| US10437564B1 (en) * | 2016-09-16 | 2019-10-08 | Software Tree, LLC | Object mapping and conversion system |
| CN109086395A (zh) * | 2018-07-28 | 2018-12-25 | 安徽赛迪信息技术有限公司 | 一种行业数据分析系统 |
| CN109862087A (zh) * | 2019-01-23 | 2019-06-07 | 深圳市康拓普信息技术有限公司 | 基于边缘计算的工业物联网系统及其数据处理方法 |
| CN112286978A (zh) * | 2020-03-27 | 2021-01-29 | 尹兵 | 基于云计算的数据推送方法及电子设备 |
| CN111177248B (zh) * | 2020-04-10 | 2020-06-26 | 上海飞旗网络技术股份有限公司 | 基于特征识别和格式转换的数据存储方法及装置 |
| CN111245965B (zh) * | 2020-04-26 | 2020-07-24 | 智博云信息科技(广州)有限公司 | 一种数据同步方法及系统 |
-
2020
- 2020-08-24 CN CN202010859039.4A patent/CN111949720B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN111949720A (zh) | 2020-11-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111949720B (zh) | 基于大数据和人工智能的数据分析方法及云端数据服务器 | |
| CN113515367B (zh) | 基于大数据和边缘计算的数据整合方法及存储介质 | |
| US20230289828A1 (en) | Data processing method, computer device, and readable storage medium | |
| US20210241273A1 (en) | Smart contract platform | |
| CN103336791A (zh) | 基于Hadoop的粗糙集快速属性约简方法 | |
| CN111667015B (zh) | 物联网设备状态检测方法、装置及检测设备 | |
| CN114579584B (zh) | 数据表处理方法、装置、计算机设备和存储介质 | |
| CN113282630A (zh) | 基于接口切换的数据查询方法及装置 | |
| CN112749167A (zh) | 确定断链数据的方法、装置及非易失性存储介质 | |
| CN114611712B (zh) | 基于异构联邦学习的预测方法、模型生成方法及装置 | |
| CN115687732A (zh) | 基于ai和流式计算的用户分析方法及系统 | |
| CN118260273A (zh) | 一种基于企业数据的数据库存储优化方法、系统及介质 | |
| CN113282561B (zh) | 链路生成方法及装置 | |
| US20220383137A1 (en) | Enterprise Market Volatility Predictions through Synthetic DNA and Mutant Nucleotides | |
| CN114268625B (zh) | 特征选择方法、装置、设备及存储介质 | |
| CN111784319B (zh) | 基于区块链支付网络的通信数据处理方法及大数据服务器 | |
| CN114781517A (zh) | 风险识别的方法、装置及终端设备 | |
| CN114048512A (zh) | 一种处理敏感数据的方法及装置 | |
| CN113468142A (zh) | 数据转移请求处理方法、装置、设备及存储介质 | |
| CN113836431B (zh) | 基于用户时长的用户推荐方法、装置、设备及介质 | |
| CN117453577B (zh) | 基于流量录制生成接口自动化用例的方法、装置和计算机设备 | |
| CN114036170B (zh) | 相关联案件获取方法、装置、设备、存储介质和程序产品 | |
| US20220383135A1 (en) | Enterprise Market Volatility Prediction through Synthetic DNA and Mutant Nucleotides | |
| CN120179520A (zh) | 一种日志解析识别方法及系统 | |
| CN113360727A (zh) | 基于大数据与人工智能的数据痕迹查询方法、系统及云平台 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: No. 63, Nanshan Road, Babu District, Hezhou City, Guangxi Zhuang Autonomous Region 542800 Applicant after: Feng Wenke Address before: 510700 1st floor, building F, Guangdong Software Park, Guangzhou hi tech Industrial Development Zone, Guangzhou City, Guangdong Province Applicant before: Chen Shunfa |
|
| CB02 | Change of applicant information | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20210621 Address after: 210000 4th floor, building C, Wanbo Science Park, 20 Fengxin Road, Yuhuatai District, Nanjing City, Jiangsu Province Applicant after: NANJING SILICON INTELLIGENCE TECHNOLOGY Co.,Ltd. Address before: No. 63, Nanshan Road, Babu District, Hezhou City, Guangxi Zhuang Autonomous Region 542800 Applicant before: Feng Wenke |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: 5th Floor, Building C, Wanbo Science and Technology Park, No. 20 Fengxin Road, Yuhuatai District, Nanjing City, Jiangsu Province, China 210012 Patentee after: Nanjing Silicon based Intelligent Technology Group Co.,Ltd. Country or region after: China Address before: 210000 4th floor, building C, Wanbo Science Park, 20 Fengxin Road, Yuhuatai District, Nanjing City, Jiangsu Province Patentee before: NANJING SILICON INTELLIGENCE TECHNOLOGY Co.,Ltd. Country or region before: China |
|
| CP03 | Change of name, title or address |