CN113312417B - 应用于大数据和云计算的数据处理方法及大数据服务平台 - Google Patents

应用于大数据和云计算的数据处理方法及大数据服务平台 Download PDF

Info

Publication number
CN113312417B
CN113312417B CN202110596391.8A CN202110596391A CN113312417B CN 113312417 B CN113312417 B CN 113312417B CN 202110596391 A CN202110596391 A CN 202110596391A CN 113312417 B CN113312417 B CN 113312417B
Authority
CN
China
Prior art keywords
data
information
authentication
cross
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110596391.8A
Other languages
English (en)
Other versions
CN113312417A (zh
Inventor
杨伟深
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xinghe Zhiyuan Technology Co.,Ltd.
Original Assignee
Beijing Zhiguquan Technology Service Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhiguquan Technology Service Co ltd filed Critical Beijing Zhiguquan Technology Service Co ltd
Priority to CN202110596391.8A priority Critical patent/CN113312417B/zh
Publication of CN113312417A publication Critical patent/CN113312417A/zh
Application granted granted Critical
Publication of CN113312417B publication Critical patent/CN113312417B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/45—Structures or tools for the administration of authentication

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Storage Device Security (AREA)

Abstract

本申请实施例所提供的应用于大数据和云计算的数据处理方法及大数据服务平台，能够通过映射报文字段之间的交叉权限认证结果，提取目标云业务数据对应的数据访问权限列表，从而可以根据业务互动轨迹中携带的业务设备的设备身份信息准确确定出数据访问权限列表。在目标云业务数据对应的第一业务设备在访问第二业务设备时，数据访问权限列表用于指示第一业务设备在第二业务设备中的访问路径，从而避免第一业务设备在访问第二业务设备时第二业务设备对第一业务设备的访问请求的误拦截，进而确保第一业务设备和第二业务设备之间的正常的数据交互。

Description

应用于大数据和云计算的数据处理方法及大数据服务平台
技术领域
本申请涉及大数据处理技术领域，特别涉及一种应用于大数据和云计算的数据处理方法及大数据服务平台。
背景技术
随着科技的发展，云业务通信的应用越来越广泛。例如，云业务通信可以应用于智慧城市、智能医疗、智能家居、智能交通、工业自动化、大数据分析、大数据挖掘、数据化平台管理等领域，极大地提高了工作效率和工作灵活性。
现如今，多端交互的云业务通信已成为主流，通过多端交互能够实现及时高效的信息互通。
然而，随着多端交互的规模不断扩大，多端交互的云业务通信的稳定性也面临着挑战，其中一个问题便是业务设备间的正常稳定的数据交互难以得到保障。
发明内容
为改善相关技术中存在的上述技术问题，本申请提供了应用于大数据和云计算的数据处理方法及大数据服务平台。
基于第一方面，提供一种应用于大数据和云计算的数据处理方法，包括：
获取待验证云业务数据，对所述待验证云业务数据进行数据生成时刻补全，以将所述待验证云业务数据补全为携带时序信息的云业务数据，得到补全后的目标云业务数据；
基于所述目标云业务数据，确定多组不同交互频率的设备通信日志；分别检测所述多组不同交互频率的设备通信日志中的通信协议报文，以得到所述多组不同交互频率的设备通信日志中的通信协议报文集；根据所述多组不同交互频率的设备通信日志与所述目标云业务数据之间的时序相关性系数，将所述多组不同交互频率的设备通信日志中的通信协议报文集映射到所述目标云业务数据中，得到多个映射报文字段；
根据所述多个映射报文字段之间的字段关联性，对所述多个映射报文字段进行访问权限识别，得到映射报文字段之间的交叉权限认证结果；
通过所述映射报文字段之间的交叉权限认证结果，提取所述目标云业务数据对应的数据访问权限列表；
其中：
所述目标云业务数据对应的第一业务设备在访问第二业务设备时，所述数据访问权限列表用于指示所述第一业务设备在所述第二业务设备中的访问路径。
基于第二方面，提供一种大数据服务平台，包括数据处理装置，所述数据处理装置在运行时通过至少多个功能模块实现上述的方法。
基于第三方面，提供一种大数据服务平台，包括处理器、存储器和总线；其中：所述处理器和所述存储器通过所述总线通信；所述处理器通过所述总线从所述存储器中获取计算机程序，并运行所述计算机程序以实现上述的方法。
基于第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序在运行时实现上述的方法。
本申请实施例所提供的应用于大数据和云计算的数据处理方法及大数据服务平台，首先根据获取到的待验证云业务数据生成目标云业务数据，其次确定多组不同交互频率的设备通信日志并从中检测通信协议报文以得到通信协议报文集并根据设备通信日志与目标云业务数据之间的时序相关性系数将通信协议报文集映射到目标云业务数据中得到多个映射报文字段，然后根据多个映射报文字段之间的字段关联性对多个映射报文字段进行访问权限识别得到映射报文字段之间的交叉权限认证结果，最后通过映射报文字段之间的交叉权限认证结果提取目标云业务数据对应的数据访问权限列表。如此一来，在目标云业务数据对应的第一业务设备在访问第二业务设备时，数据访问权限列表用于指示第一业务设备在第二业务设备中的访问路径，从而避免第一业务设备在访问第二业务设备时第二业务设备对第一业务设备的访问请求的误拦截，进而确保第一业务设备和第二业务设备之间的正常的数据交互。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并于说明书一起用于解释本申请的原理。
图1是根据本申请所涉及的应用于大数据和云计算的数据处理系统的架构示意图；
图2是根据一示例性实施例示出的一种应用于大数据和云计算的数据处理方法的流程图；
图3是根据一示例性实施例示出的一种应用于大数据和云计算的数据处理装置的框图；
图4是根据另一示例性实施例示出的一种大数据服务平台的硬件结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
发明人在发现上述背景技术的问题后，基于背景技术的问题进行了研究和分析，并创新性地发现在云业务通信中，业务设备存在不同隐私等级的交互数据，对应地，这些交互数据的访问权限也不同。
发明人还发现，业务设备会预先配置权限检测机制，以对检测到的存在异常访问权限的访问请求进行拦截。这样会存在一个问题，若业务设备A在访问业务设备B的时，预先没有获得业务设备B的访问权限列表，则业务设备B可能会对业务设备A的访问请求进行误拦截，从而影响到业务设备A与业务设备B之间的正常数据交互。
为改善上述技术问题，本申请实施例提供了应用于大数据和云计算的数据处理方法及大数据服务平台，能够确保目标业务设备在访问其他业务设备时的权限安全性，避免其他业务设备的权限检测机制对目标业务设备的访问请求的误拦截，确保目标业务设备能够和其他业务设备进行正常的数据交互。
为便于对整个方案进行描述，请首先参阅图1，示出了基于大数据和边缘计算的数据处理系统100的通信架构示意图，所述数据处理系统100可以包括大数据服务平台200和多个业务设备400。其中，大数据服务平台200和多个业务设备400互相之间通信连接。在上述基础上，请结合参阅图2，示出了基于大数据和边缘计算的数据处理方法的流程示意图，所述数据处理方法可以应用于图1中的大数据服务平台200，具体可以包括以下步骤21-步骤24所描述的内容。
步骤21，获取待验证云业务数据，对所述待验证云业务数据进行数据生成时刻补全，以将所述待验证云业务数据补全为携带时序信息的云业务数据，得到补全后的目标云业务数据。
例如，在实际中，为了确保获取待验证云业务数据的及时性，通常不会一并获取待验证云业务数据的数据生成时刻。本实施例中的待验证业务数据可以是第一业务设备的业务数据，用于确定与第一业务设备对应的第二业务设备的访问权限信息。
步骤22，基于所述目标云业务数据，确定多组不同交互频率的设备通信日志；分别检测所述多组不同交互频率的设备通信日志中的通信协议报文，以得到所述多组不同交互频率的设备通信日志中的通信协议报文集；根据所述多组不同交互频率的设备通信日志与所述目标云业务数据之间的时序相关性系数，将所述多组不同交互频率的设备通信日志中的通信协议报文集映射到所述目标云业务数据中，得到多个映射报文字段。
例如，时序相关性系数用于表征设备通信日志与目标云业务数据在时间上的同步性或异步性。
步骤23，根据所述多个映射报文字段之间的字段关联性，对所述多个映射报文字段进行访问权限识别，得到映射报文字段之间的交叉权限认证结果。
例如，字段关联性用于表征不同映射报文字段是否存在业务行为上的交互和重叠，交叉权限验证结果用于表征不同业务设备之间在进行业务交互时的权限验证行为。
步骤24，通过所述映射报文字段之间的交叉权限认证结果，提取所述目标云业务数据对应的数据访问权限列表。
例如，所述目标云业务数据对应的第一业务设备在访问第二业务设备时，所述数据访问权限列表用于指示所述第一业务设备在所述第二业务设备中的访问路径。
这样一来，第一业务设备在数据访问权限列表的指示下，能够通过正确的访问路径访问第二业务设备，避免访问到第二业务设备的敏感数据库而触发第二业务设备的权限检测机制，也就避免了第二业务设备对第一业务设备的访问拦截，从而确保第一业务设备和第二业务设备之间的正常数据交互。应当理解，第二业务设备可以为多个。
可以理解，基于上述步骤21-步骤24所描述的内容，首先根据获取到的待验证云业务数据生成目标云业务数据，其次确定多组不同交互频率的设备通信日志并从中检测通信协议报文以得到通信协议报文集并根据设备通信日志与目标云业务数据之间的时序相关性系数将通信协议报文集映射到目标云业务数据中得到多个映射报文字段，然后根据多个映射报文字段之间的字段关联性对多个映射报文字段进行访问权限识别得到映射报文字段之间的交叉权限认证结果，最后通过映射报文字段之间的交叉权限认证结果提取目标云业务数据对应的数据访问权限列表。
如此一来，在目标云业务数据对应的第一业务设备在访问第二业务设备时，数据访问权限列表用于指示第一业务设备在第二业务设备中的访问路径，从而避免第一业务设备在访问第二业务设备时第二业务设备对第一业务设备的访问请求的误拦截，进而确保第一业务设备和第二业务设备之间的正常的数据交互。
在具体实施过程中发明人发现，交叉权限认证结果存在较多的业务互动行为，在确定交叉权限认证结果时如果不对访问权限的匹配情况进行分析，则难以准确、完整地确定出交叉权限认证结果。为实现这一技术目的，步骤23所描述的根据所述多个映射报文字段之间的字段关联性，对所述多个映射报文字段进行访问权限识别，得到映射报文字段之间的交叉权限认证结果，具体可以包括以下步骤所描述的内容：基于所述多个映射报文字段对应的通信协议报文集的协议认证置信度确定访问权限匹配清单；根据确定出的访问权限匹配清单确定所述映射报文字段之间的交叉权限认证结果。这样，可以在确定交叉权限认证结果时对访问权限的匹配情况进行分析，从而准确、完整地确定出交叉权限认证结果。
在上述对步骤23的描述的基础上，基于所述多个映射报文字段对应的通信协议报文集的协议认证置信度确定访问权限匹配清单；根据确定出的访问权限匹配清单确定所述映射报文字段之间的交叉权限认证结果，更进一步地可以包括以下步骤231-步骤237所描述的内容。
步骤231，若所述多个映射报文字段中任两个通信协议报文集的协议认证置信度与所述任两个通信协议报文集中的一个通信协议报文集的协议认证置信度之间的差值的绝对值超过第一设定阈值，则生成所述任两个通信协议报文集的权限比对列表，将所述任两个通信协议报文集的权限比对列表作为所述任两个通信协议报文集的访问权限匹配清单。
步骤232，若所述多个映射报文字段中任两个通信协议报文集的报文编码方式相同，且所述任两个通信协议报文集的协议认证置信度与所述任两个通信协议报文集中的一个通信协议报文集的协议认证置信度之间的差值的绝对值超过第二设定阈值，则将所述任两个通信协议报文集的权限比对列表作为所述任两个通信协议报文集的访问权限匹配清单；其中，所述第一设定阈值大于所述第二设定阈值。
步骤233，统计确定出的所有访问权限匹配清单，并确定每组访问权限匹配清单中的对应的两个通信协议报文集的权限比对列表的权限一致性比对结果，从所述权限一致性比对结果提取出权限事件的比对相似率；其中，所述比对相似率用于表征对应的两个通信协议报文集中，相同权限事件的数量与权限事件的总数的比值，每条权限事件对应一个业务访问行为。
步骤234，提取每组访问权限匹配清单的清单特征，并将每组清单特征中用于表征所述访问权限匹配清单的清单结构化信息的特征队列按照设定转换方式转换为特征队列描述值，对所述特征队列描述值进行归一化处理得到归一化描述值；其中，所述归一化描述值的取值范围为0~1。
步骤235，基于所述多个映射报文字段之间的字段关联性为每个归一化描述值分配第一排序权重，并基于所述通信协议报文集与所述多个映射报文字段之间的映射路径节点参数为每个归一化描述值分配第二排序权重；按照所述第一排序权重由大到小的顺序对所述访问权限匹配清单进行排序得到第一排序队列并按照所述第二排序权重由大到小的顺序对所述访问权限匹配清单进行排序得到第二排序队列。
步骤236，针对所述所有访问权限匹配清单中的当前访问权限匹配清单，确定当前访问权限匹配清单在所述第一排序队列中的第一队列位置以及在所述第二排序队列中的第二队列位置，计算当前访问权限匹配清单的第一队列位置和第二队列位置之间的相对位置差值；判断所述相对位置差值是否大于预设值，在所述相对位置差值大于所述预设值时，将当前访问权限匹配清单进行标记，在所述相对位置差值小于或等于所述预设值时，将当前访问权限匹配清单的下一个访问权限匹配清单作为当前访问权限匹配清单并返回确定当前访问权限匹配清单在所述第一排序队列中的第一队列位置以及在所述第二排序队列中的第二队列位置的步骤。
步骤237，根据标记得到的访问权限匹配清单确定所述映射报文字段之间的交叉权限认证结果。
可以理解，通过执行上述步骤231-步骤237，可以准确、完整地确定出交叉权限认证结果。
在一个可能的实施方式中，步骤237所描述的根据标记得到的访问权限匹配清单确定所述映射报文字段之间的交叉权限认证结果，具体包括以下步骤2371-步骤2374所描述的内容。
步骤2371，在对标记得到的访问权限匹配清单进行权限事件分类得到第一事件集与第二事件集之后，获取所述第一事件集的第一报文签名密钥和所述第二事件集的第二报文签名密钥，其中，所述第一事件集中包括第一权限事件生成时刻列表，所述第二事件集中包括第二权限事件生成时刻列表。
步骤2372，获取所述第一报文签名密钥中的每一组密钥单元与所述第二报文签名密钥中的每一组密钥单元，得到公钥私钥分布队列；确定所述公钥私钥分布队列中的任意两组密钥单元之间的密钥认证逻辑信息，得到密钥认证逻辑列表；将所述密钥认证逻辑列表中的密钥认证逻辑信息的逻辑拓扑图的逻辑节点数量小于设定数量的密钥认证逻辑信息的逻辑节点数量调整为所述设定数量并对该密钥认证逻辑信息对应的两组密钥单元进行更新，得到与所述密钥认证逻辑列表对应的目标逻辑列表。
步骤2373，对所述与所述密钥认证逻辑列表对应的目标逻辑列表逻辑交叉性分析，得到分析结果，其中，所述分析结果用于指示所述第一权限事件生成时刻列表与所述第二权限事件生成时刻列表之间的交叉时刻对应的密钥认证逻辑信息的逻辑拓扑图的图数据特征是否相似。
步骤2374，在所述分析结果指示所述第一权限事件生成时刻列表与所述第二权限事件生成时刻列表之间的交叉时刻对应的密钥认证逻辑信息的逻辑拓扑图的图数据特征相似时，根据所述交叉时刻对应的密钥认证逻辑信息对应的访问权限匹配清单中的权限事件得到映射报文字段之间的交叉权限认证结果；其中，所述映射报文字段的映射时刻与所述交叉时刻之间存在关联。
在应用上述步骤2371-步骤2374所描述的内容时，能够从报文签名密钥层面对访问权限匹配清单进行解析，从而确保交叉权限认证结果的可靠性。
在具体实施时，为了准确确定出数据访问权限列表，步骤24所描述的通过所述映射报文字段之间的交叉权限认证结果，提取所述目标云业务数据对应的数据访问权限列表，具体可以包括以下内容：
获取所述映射报文字段之间的交叉权限认证结果的结果分布轨迹中的交叉认证路径信息，通过与所述交叉权限认证结果对应的交叉认证逻辑信息的当前逻辑拓扑中的最大热度值对应的逻辑节点对所述交叉认证路径信息进行路径参数提取，确定与所述交叉认证路径信息相匹配的第一路径特征样本；
基于所述第一路径特征样本，通过所述与所述交叉权限认证结果对应的交叉认证逻辑信息中的当前逻辑拓扑中的最小热度值对应的逻辑节点，确定与所述交叉认证路径信息相匹配的第二路径特征样本；
基于交叉认证路径信息相匹配的第二路径特征样本，通过所述与所述交叉权限认证结果对应的交叉认证逻辑信息的数据特征提取节点，对所述目标云业务数据中的业务互动特征进行提取，以得到所述目标云业务数据所对应的业务互动轨迹；
根据所述业务互动轨迹中携带的业务设备的设备身份信息确定所述目标云业务数据对应的数据访问权限列表。
如此一来，可以根据业务互动轨迹中携带的业务设备的设备身份信息准确确定出数据访问权限列表。
进一步地，所述通过所述与所述交叉权限认证结果对应的交叉认证逻辑信息的当前逻辑拓扑中的最大热度值对应的逻辑节点对所述交叉认证路径信息进行路径参数提取，确定与所述交叉认证路径信息相匹配的第一路径特征样本的步骤，详细可以包括以下步骤2411-步骤2415所描述的内容。
步骤2411，依据所述与所述交叉权限认证结果对应的交叉认证逻辑信息中的第一数据特征提取节点，确定与所述交叉认证路径信息对应的分类器参数。
步骤2412，基于所述最大热度值对应的逻辑节点中的逻辑执行函数，确定所述分类器参数对应的执行函数模拟器的模拟线程数据。
步骤2413，响应于所述执行函数模拟器的模拟线程数据，通过所述最大热度值对应的逻辑节点中的逻辑执行函数的执行参数队列，对所述分类器参数中的任一配置参数的资源配置信息进行多维特征聚类，确定第一聚类信息集。
步骤2414，根据所述最大热度值对应的逻辑节点中的特征样本筛选脚本，先后对所述第一聚类信息集进行特征样本筛选和多维特征聚类，确定第二聚类信息集。
步骤2415，将交叉认证逻辑信息对应的第二聚类信息集导入至预设权限认证线程中，并通过调整所述预设权限认证线程的线程参数，输出与所述交叉认证路径信息相匹配的第一路径特征样本。
更进一步地，所述基于所述第一路径特征样本，通过所述与所述交叉权限认证结果对应的交叉认证逻辑信息中的当前逻辑拓扑中的最小热度值对应的逻辑节点，确定与所述交叉认证路径信息相匹配的第二路径特征样本的步骤，进一步可以包括以下步骤2421-步骤2425所描述的内容。
步骤2421，构建所述第一路径特征样本对应的样本分布图数据集，构建所述交叉权限认证结果对应的交叉认证逻辑信息中的当前逻辑拓扑中的最小热度值对应的逻辑节点对应的逻辑认证图数据集；其中，所述样本分布图数据集和所述逻辑认证图数据集分别包括多个不同图数据关联度的图数据节点。
步骤2422，提取所述第一路径特征样本在所述样本分布图数据集的任一图数据节点的图数据连线信息，将所述逻辑认证图数据集中具有最小图数据关联度的图数据节点确定为目标图数据节点。
步骤2423，根据所述交叉权限认证结果对应的交叉认证逻辑信息的交叉认证顺序将所述图数据连线信息映射到所述目标图数据节点，在所述目标图数据节点中得到图数据映射信息，并根据所述图数据连线信息和所述图数据映射信息，生成所述第一路径特征样本和所述交叉权限认证结果对应的交叉认证逻辑信息中的当前逻辑拓扑中的最小热度值对应的逻辑节点之间的样本更新清单。
步骤2424，以所述图数据映射信息为参考信息在所述目标图数据节点中获取待更新信息，根据所述样本更新清单对应的更新时刻表，将所述待更新信息映射到所述图数据连线信息所在图数据节点，在所述图数据连线信息所在图数据节点中得到所述待更新信息对应的更新结果信息，并将所述更新结果信息确定为待匹配信息。
步骤2425，获取所述图数据连线信息映射到所述目标图数据节点中的节点函数容器中；根据所述更新结果信息与所述节点函数容器中的多个样本函数对应的样本信息之间的余弦距离，在所述逻辑认证图数据集中遍历所述待匹配信息对应的匹配路径参数，直至获取到的所述匹配路径参数所在图数据节点的节点中心度与所述待匹配信息在所述样本分布图数据集中的节点中心度一致时，停止获取下一图数据节点中的匹配路径参数，并根据所述匹配路径参数将待匹配信息添加到所述第一路径特征样本中得到所述第二路径特征样本。
如此一来，能够基于上述步骤2421-步骤2425确保第二路径特征样本中的样本具有较高的特征识别度。
在一种可以替换的实施方式中，步骤S21所描述的对所述待验证云业务数据进行数据生成时刻补全，以将所述待验证云业务数据补全为携带时序信息的云业务数据，得到补全后的目标云业务数据，具体可以包括以下步骤S211-步骤S214所描述的内容。
步骤S211，从所述待验证云业务数据中定位出业务节点标识。
步骤S212，判断所述待验证云业务数据中的当前业务节点标识相对于所述待验证云业务数据的上一个业务节点标识是否存在更新。
步骤S213，如果是，将从所述待验证云业务数据中定位出的当前业务节点标识确定为所述待验证云业务数据的待补全业务节点；否则，将从所述待验证云业务数据中定位出的当前业务节点标识的节点识别度与所述待验证云业务数据的上一个业务节点标识的节点识别度进行加权和，并根据加权和结果确定所述待验证云业务数据的待补全业务节点。
步骤S214，针对每个待补全业务节点，根据所述待验证云业务数据对应的数据日志对每个待补全业务节点进行数据生成时刻补全，以将所述待验证云业务数据补全为携带时序信息的云业务数据，得到补全后的目标云业务数据。
如此，能够确保对待验证云业务数据进行精准、高效的数据生成时刻补全。
在一种可以替换的实施方式中，步骤S22所描述的基于所述目标云业务数据，确定多组不同交互频率的设备通信日志，包括：根据所述目标云业务数据中携带的通信链路标识从预设数据库中提取与所述通信链路标识对应的多组不同交互频率的设备通信日志；其中，所述交互频率用于表征不同业务设备之间在设定时段内的交互次数。
在一种可以替换的实施方式中，步骤S22所描述的分别检测所述多组不同交互频率的设备通信日志中的通信协议报文，以得到所述多组不同交互频率的设备通信日志中的通信协议报文集，包括：从所述设备通信日志中提取出存在协议层标识的目标报文，在检测到所述目标报文中携带有通信协议认证签名的报文字段时，将所述目标报文确定为通信协议报文并得到所述多组不同交互频率的设备通信日志中的通信协议报文集。
在一种可以替换的实施方式中，步骤S22所描述的根据所述多组不同交互频率的设备通信日志与所述目标云业务数据之间的时序相关性系数，将所述多组不同交互频率的设备通信日志中的通信协议报文集映射到所述目标云业务数据中，得到多个映射报文字段，包括：从每组设备通信日志中确定出与所述目标云业务数据存在业务联系的日志文本，根据所述日志文本中携带的数据流的时序特征确定该组设备通信日志与所述目标云业务数据之间的时序相关性系数，按照所述时序相关性系数由大到小的顺序将所述多组不同交互频率的设备通信日志中的通信协议报文集依次映射到所述目标云业务数据中，得到多个映射报文字段。
基于上述同样的发明构思，还提供了如图3所示的应用于大数据和云计算的数据处理装置300，包括：
数据补全模块310，用于获取待验证云业务数据，对所述待验证云业务数据进行数据生成时刻补全，以将所述待验证云业务数据补全为携带时序信息的云业务数据，得到补全后的目标云业务数据；
报文映射模块320，用于基于所述目标云业务数据，确定多组不同交互频率的设备通信日志；分别检测所述多组不同交互频率的设备通信日志中的通信协议报文，以得到所述多组不同交互频率的设备通信日志中的通信协议报文集；根据所述多组不同交互频率的设备通信日志与所述目标云业务数据之间的时序相关性系数，将所述多组不同交互频率的设备通信日志中的通信协议报文集映射到所述目标云业务数据中，得到多个映射报文字段；
权限认证模块330，用于根据所述多个映射报文字段之间的字段关联性，对所述多个映射报文字段进行访问权限识别，得到映射报文字段之间的交叉权限认证结果；
列表提取模块340，用于通过所述映射报文字段之间的交叉权限认证结果，提取所述目标云业务数据对应的数据访问权限列表。
在上述基础上，所述数据处理装置300集成于大数据服务平台中。
在上述基础上，请结合参阅图4，还提供了大数据服务平台200的硬件结构示意图，所述大数据服务平台200包括包括处理器210、存储器220和总线230；其中：所述处理器210和所述存储器220通过所述总线230通信；所述处理器210通过所述总线230从所述存储器220中获取计算机程序，并运行所述计算机程序以实现图2所示的方法。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围执行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
基于上述的技术方案，本申请实施例还提供了以下的可以替换的实施方式。
可替换的实施方式一：
A1.一种应用于大数据和云计算的数据处理方法，包括：
获取待验证云业务数据，对所述待验证云业务数据进行数据生成时刻补全，以将所述待验证云业务数据补全为携带时序信息的云业务数据，得到补全后的目标云业务数据；具体包括：从所述待验证云业务数据中定位出业务节点标识；判断所述待验证云业务数据中的当前业务节点标识相对于所述待验证云业务数据的上一个业务节点标识是否存在更新；如果是，将从所述待验证云业务数据中定位出的当前业务节点标识确定为所述待验证云业务数据的待补全业务节点；否则，将从所述待验证云业务数据中定位出的当前业务节点标识的节点识别度与所述待验证云业务数据的上一个业务节点标识的节点识别度进行加权和，并根据加权和结果确定所述待验证云业务数据的待补全业务节点；针对每个待补全业务节点，根据所述待验证云业务数据对应的数据日志对每个待补全业务节点进行数据生成时刻补全，以将所述待验证云业务数据补全为携带时序信息的云业务数据，得到补全后的目标云业务数据；
基于所述目标云业务数据，确定多组不同交互频率的设备通信日志；分别检测所述多组不同交互频率的设备通信日志中的通信协议报文，以得到所述多组不同交互频率的设备通信日志中的通信协议报文集；根据所述多组不同交互频率的设备通信日志与所述目标云业务数据之间的时序相关性系数，将所述多组不同交互频率的设备通信日志中的通信协议报文集映射到所述目标云业务数据中，得到多个映射报文字段；
根据所述多个映射报文字段之间的字段关联性，对所述多个映射报文字段进行访问权限识别，得到映射报文字段之间的交叉权限认证结果；
通过所述映射报文字段之间的交叉权限认证结果，提取所述目标云业务数据对应的数据访问权限列表；
其中：
所述目标云业务数据对应的第一业务设备在访问第二业务设备时，所述数据访问权限列表用于指示所述第一业务设备在所述第二业务设备中的访问路径。
A2.如A1所述的方法，根据所述多个映射报文字段之间的字段关联性，对所述多个映射报文字段进行访问权限识别，得到映射报文字段之间的交叉权限认证结果，包括：
基于所述多个映射报文字段对应的通信协议报文集的协议认证置信度确定访问权限匹配清单；
根据确定出的访问权限匹配清单确定所述映射报文字段之间的交叉权限认证结果。
A3.如A2所述的方法，基于所述多个映射报文字段对应的通信协议报文集的协议认证置信度确定访问权限匹配清单，根据确定出的访问权限匹配清单确定所述映射报文字段之间的交叉权限认证结果，包括：
若所述多个映射报文字段中任两个通信协议报文集的协议认证置信度与所述任两个通信协议报文集中的一个通信协议报文集的协议认证置信度之间的差值的绝对值超过第一设定阈值，则生成所述任两个通信协议报文集的权限比对列表，将所述任两个通信协议报文集的权限比对列表作为所述任两个通信协议报文集的访问权限匹配清单；
若所述多个映射报文字段中任两个通信协议报文集的报文编码方式相同，且所述任两个通信协议报文集的协议认证置信度与所述任两个通信协议报文集中的一个通信协议报文集的协议认证置信度之间的差值的绝对值超过第二设定阈值，则将所述任两个通信协议报文集的权限比对列表作为所述任两个通信协议报文集的访问权限匹配清单；其中，所述第一设定阈值大于所述第二设定阈值；
统计确定出的所有访问权限匹配清单，并确定每组访问权限匹配清单中的对应的两个通信协议报文集的权限比对列表的权限一致性比对结果，从所述权限一致性比对结果提取出权限事件的比对相似率；其中，所述比对相似率用于表征对应的两个通信协议报文集中，相同权限事件的数量与权限事件的总数的比值，每条权限事件对应一个业务访问行为；
提取每组访问权限匹配清单的清单特征，并将每组清单特征中用于表征所述访问权限匹配清单的清单结构化信息的特征队列按照设定转换方式转换为特征队列描述值，对所述特征队列描述值进行归一化处理得到归一化描述值；其中，所述归一化描述值的取值范围为0~1；
基于所述多个映射报文字段之间的字段关联性为每个归一化描述值分配第一排序权重，并基于所述通信协议报文集与所述多个映射报文字段之间的映射路径节点参数为每个归一化描述值分配第二排序权重；按照所述第一排序权重由大到小的顺序对所述访问权限匹配清单进行排序得到第一排序队列并按照所述第二排序权重由大到小的顺序对所述访问权限匹配清单进行排序得到第二排序队列；
针对所述所有访问权限匹配清单中的当前访问权限匹配清单，确定当前访问权限匹配清单在所述第一排序队列中的第一队列位置以及在所述第二排序队列中的第二队列位置，计算当前访问权限匹配清单的第一队列位置和第二队列位置之间的相对位置差值；判断所述相对位置差值是否大于预设值，在所述相对位置差值大于所述预设值时，将当前访问权限匹配清单进行标记，在所述相对位置差值小于或等于所述预设值时，将当前访问权限匹配清单的下一个访问权限匹配清单作为当前访问权限匹配清单并返回确定当前访问权限匹配清单在所述第一排序队列中的第一队列位置以及在所述第二排序队列中的第二队列位置的步骤；
根据标记得到的访问权限匹配清单确定所述映射报文字段之间的交叉权限认证结果。
A4.如A3所述的方法，根据标记得到的访问权限匹配清单确定所述映射报文字段之间的交叉权限认证结果，包括：
在对标记得到的访问权限匹配清单进行权限事件分类得到第一事件集与第二事件集之后，获取所述第一事件集的第一报文签名密钥和所述第二事件集的第二报文签名密钥，其中，所述第一事件集中包括第一权限事件生成时刻列表，所述第二事件集中包括第二权限事件生成时刻列表；
获取所述第一报文签名密钥中的每一组密钥单元与所述第二报文签名密钥中的每一组密钥单元，得到公钥私钥分布队列；确定所述公钥私钥分布队列中的任意两组密钥单元之间的密钥认证逻辑信息，得到密钥认证逻辑列表；将所述密钥认证逻辑列表中的密钥认证逻辑信息的逻辑拓扑图的逻辑节点数量小于设定数量的密钥认证逻辑信息的逻辑节点数量调整为所述设定数量并对该密钥认证逻辑信息对应的两组密钥单元进行更新，得到与所述密钥认证逻辑列表对应的目标逻辑列表；
对所述与所述密钥认证逻辑列表对应的目标逻辑列表逻辑交叉性分析，得到分析结果，其中，所述分析结果用于指示所述第一权限事件生成时刻列表与所述第二权限事件生成时刻列表之间的交叉时刻对应的密钥认证逻辑信息的逻辑拓扑图的图数据特征是否相似；
在所述分析结果指示所述第一权限事件生成时刻列表与所述第二权限事件生成时刻列表之间的交叉时刻对应的密钥认证逻辑信息的逻辑拓扑图的图数据特征相似时，根据所述交叉时刻对应的密钥认证逻辑信息对应的访问权限匹配清单中的权限事件得到映射报文字段之间的交叉权限认证结果；其中，所述映射报文字段的映射时刻与所述交叉时刻之间存在关联。
A5.如A1-A4任一项所述的方法，通过所述映射报文字段之间的交叉权限认证结果，提取所述目标云业务数据对应的数据访问权限列表，包括：
获取所述映射报文字段之间的交叉权限认证结果的结果分布轨迹中的交叉认证路径信息，通过与所述交叉权限认证结果对应的交叉认证逻辑信息的当前逻辑拓扑中的最大热度值对应的逻辑节点对所述交叉认证路径信息进行路径参数提取，确定与所述交叉认证路径信息相匹配的第一路径特征样本；基于所述第一路径特征样本，通过所述与所述交叉权限认证结果对应的交叉认证逻辑信息中的当前逻辑拓扑中的最小热度值对应的逻辑节点，确定与所述交叉认证路径信息相匹配的第二路径特征样本；基于交叉认证路径信息相匹配的第二路径特征样本，通过所述与所述交叉权限认证结果对应的交叉认证逻辑信息的数据特征提取节点，对所述目标云业务数据中的业务互动特征进行提取，以得到所述目标云业务数据所对应的业务互动轨迹；根据所述业务互动轨迹中携带的业务设备的设备身份信息确定所述目标云业务数据对应的数据访问权限列表。
A6.如A5所述的方法，所述通过所述与所述交叉权限认证结果对应的交叉认证逻辑信息的当前逻辑拓扑中的最大热度值对应的逻辑节点对所述交叉认证路径信息进行路径参数提取，确定与所述交叉认证路径信息相匹配的第一路径特征样本，包括：
依据所述与所述交叉权限认证结果对应的交叉认证逻辑信息中的第一数据特征提取节点，确定与所述交叉认证路径信息对应的分类器参数；基于所述最大热度值对应的逻辑节点中的逻辑执行函数，确定所述分类器参数对应的执行函数模拟器的模拟线程数据；响应于所述执行函数模拟器的模拟线程数据，通过所述最大热度值对应的逻辑节点中的逻辑执行函数的执行参数队列，对所述分类器参数中的任一配置参数的资源配置信息进行多维特征聚类，确定第一聚类信息集；根据所述最大热度值对应的逻辑节点中的特征样本筛选脚本，先后对所述第一聚类信息集进行特征样本筛选和多维特征聚类，确定第二聚类信息集；将交叉认证逻辑信息对应的第二聚类信息集导入至预设权限认证线程中，并通过调整所述预设权限认证线程的线程参数，输出与所述交叉认证路径信息相匹配的第一路径特征样本。
A7.如A6所述的方法，基于所述第一路径特征样本，通过所述与所述交叉权限认证结果对应的交叉认证逻辑信息中的当前逻辑拓扑中的最小热度值对应的逻辑节点，确定与所述交叉认证路径信息相匹配的第二路径特征样本，包括：
构建所述第一路径特征样本对应的样本分布图数据集，构建所述交叉权限认证结果对应的交叉认证逻辑信息中的当前逻辑拓扑中的最小热度值对应的逻辑节点对应的逻辑认证图数据集；其中，所述样本分布图数据集和所述逻辑认证图数据集分别包括多个不同图数据关联度的图数据节点；
提取所述第一路径特征样本在所述样本分布图数据集的任一图数据节点的图数据连线信息，将所述逻辑认证图数据集中具有最小图数据关联度的图数据节点确定为目标图数据节点；
根据所述交叉权限认证结果对应的交叉认证逻辑信息的交叉认证顺序将所述图数据连线信息映射到所述目标图数据节点，在所述目标图数据节点中得到图数据映射信息，并根据所述图数据连线信息和所述图数据映射信息，生成所述第一路径特征样本和所述交叉权限认证结果对应的交叉认证逻辑信息中的当前逻辑拓扑中的最小热度值对应的逻辑节点之间的样本更新清单；
以所述图数据映射信息为参考信息在所述目标图数据节点中获取待更新信息，根据所述样本更新清单对应的更新时刻表，将所述待更新信息映射到所述图数据连线信息所在图数据节点，在所述图数据连线信息所在图数据节点中得到所述待更新信息对应的更新结果信息，并将所述更新结果信息确定为待匹配信息；
获取所述图数据连线信息映射到所述目标图数据节点中的节点函数容器中；根据所述更新结果信息与所述节点函数容器中的多个样本函数对应的样本信息之间的余弦距离，在所述逻辑认证图数据集中遍历所述待匹配信息对应的匹配路径参数，直至获取到的所述匹配路径参数所在图数据节点的节点中心度与所述待匹配信息在所述样本分布图数据集中的节点中心度一致时，停止获取下一图数据节点中的匹配路径参数，并根据所述匹配路径参数将待匹配信息添加到所述第一路径特征样本中得到所述第二路径特征样本。
对应提供的大数据服务平台可以用于执行上述A1-A7任一项所述的方法。
可替换的实施方式二：
B1.一种应用于大数据和云计算的数据处理方法，包括：
获取待验证云业务数据，对所述待验证云业务数据进行数据生成时刻补全，以将所述待验证云业务数据补全为携带时序信息的云业务数据，得到补全后的目标云业务数据；
基于所述目标云业务数据，确定多组不同交互频率的设备通信日志，具体包括：根据所述目标云业务数据中携带的通信链路标识从预设数据库中提取与所述通信链路标识对应的多组不同交互频率的设备通信日志；其中，所述交互频率用于表征不同业务设备之间在设定时段内的交互次数；
分别检测所述多组不同交互频率的设备通信日志中的通信协议报文，以得到所述多组不同交互频率的设备通信日志中的通信协议报文集，具体包括：从所述设备通信日志中提取出存在协议层标识的目标报文，在检测到所述目标报文中携带有通信协议认证签名的报文字段时，将所述目标报文确定为通信协议报文并得到所述多组不同交互频率的设备通信日志中的通信协议报文集；
根据所述多组不同交互频率的设备通信日志与所述目标云业务数据之间的时序相关性系数，将所述多组不同交互频率的设备通信日志中的通信协议报文集映射到所述目标云业务数据中，得到多个映射报文字段；
根据所述多个映射报文字段之间的字段关联性，对所述多个映射报文字段进行访问权限识别，得到映射报文字段之间的交叉权限认证结果；
通过所述映射报文字段之间的交叉权限认证结果，提取所述目标云业务数据对应的数据访问权限列表；
其中：
所述目标云业务数据对应的第一业务设备在访问第二业务设备时，所述数据访问权限列表用于指示所述第一业务设备在所述第二业务设备中的访问路径。
B2.如B1所述的方法，根据所述多个映射报文字段之间的字段关联性，对所述多个映射报文字段进行访问权限识别，得到映射报文字段之间的交叉权限认证结果，包括：
基于所述多个映射报文字段对应的通信协议报文集的协议认证置信度确定访问权限匹配清单；
根据确定出的访问权限匹配清单确定所述映射报文字段之间的交叉权限认证结果。
B3.如B2所述的方法，基于所述多个映射报文字段对应的通信协议报文集的协议认证置信度确定访问权限匹配清单，根据确定出的访问权限匹配清单确定所述映射报文字段之间的交叉权限认证结果，包括：
若所述多个映射报文字段中任两个通信协议报文集的协议认证置信度与所述任两个通信协议报文集中的一个通信协议报文集的协议认证置信度之间的差值的绝对值超过第一设定阈值，则生成所述任两个通信协议报文集的权限比对列表，将所述任两个通信协议报文集的权限比对列表作为所述任两个通信协议报文集的访问权限匹配清单；
若所述多个映射报文字段中任两个通信协议报文集的报文编码方式相同，且所述任两个通信协议报文集的协议认证置信度与所述任两个通信协议报文集中的一个通信协议报文集的协议认证置信度之间的差值的绝对值超过第二设定阈值，则将所述任两个通信协议报文集的权限比对列表作为所述任两个通信协议报文集的访问权限匹配清单；其中，所述第一设定阈值大于所述第二设定阈值；
统计确定出的所有访问权限匹配清单，并确定每组访问权限匹配清单中的对应的两个通信协议报文集的权限比对列表的权限一致性比对结果，从所述权限一致性比对结果提取出权限事件的比对相似率；其中，所述比对相似率用于表征对应的两个通信协议报文集中，相同权限事件的数量与权限事件的总数的比值，每条权限事件对应一个业务访问行为；
提取每组访问权限匹配清单的清单特征，并将每组清单特征中用于表征所述访问权限匹配清单的清单结构化信息的特征队列按照设定转换方式转换为特征队列描述值，对所述特征队列描述值进行归一化处理得到归一化描述值；其中，所述归一化描述值的取值范围为0~1；
基于所述多个映射报文字段之间的字段关联性为每个归一化描述值分配第一排序权重，并基于所述通信协议报文集与所述多个映射报文字段之间的映射路径节点参数为每个归一化描述值分配第二排序权重；按照所述第一排序权重由大到小的顺序对所述访问权限匹配清单进行排序得到第一排序队列并按照所述第二排序权重由大到小的顺序对所述访问权限匹配清单进行排序得到第二排序队列；
针对所述所有访问权限匹配清单中的当前访问权限匹配清单，确定当前访问权限匹配清单在所述第一排序队列中的第一队列位置以及在所述第二排序队列中的第二队列位置，计算当前访问权限匹配清单的第一队列位置和第二队列位置之间的相对位置差值；判断所述相对位置差值是否大于预设值，在所述相对位置差值大于所述预设值时，将当前访问权限匹配清单进行标记，在所述相对位置差值小于或等于所述预设值时，将当前访问权限匹配清单的下一个访问权限匹配清单作为当前访问权限匹配清单并返回确定当前访问权限匹配清单在所述第一排序队列中的第一队列位置以及在所述第二排序队列中的第二队列位置的步骤；
根据标记得到的访问权限匹配清单确定所述映射报文字段之间的交叉权限认证结果。
B4.如B3所述的方法，根据标记得到的访问权限匹配清单确定所述映射报文字段之间的交叉权限认证结果，包括：
在对标记得到的访问权限匹配清单进行权限事件分类得到第一事件集与第二事件集之后，获取所述第一事件集的第一报文签名密钥和所述第二事件集的第二报文签名密钥，其中，所述第一事件集中包括第一权限事件生成时刻列表，所述第二事件集中包括第二权限事件生成时刻列表；
获取所述第一报文签名密钥中的每一组密钥单元与所述第二报文签名密钥中的每一组密钥单元，得到公钥私钥分布队列；确定所述公钥私钥分布队列中的任意两组密钥单元之间的密钥认证逻辑信息，得到密钥认证逻辑列表；将所述密钥认证逻辑列表中的密钥认证逻辑信息的逻辑拓扑图的逻辑节点数量小于设定数量的密钥认证逻辑信息的逻辑节点数量调整为所述设定数量并对该密钥认证逻辑信息对应的两组密钥单元进行更新，得到与所述密钥认证逻辑列表对应的目标逻辑列表；
对所述与所述密钥认证逻辑列表对应的目标逻辑列表逻辑交叉性分析，得到分析结果，其中，所述分析结果用于指示所述第一权限事件生成时刻列表与所述第二权限事件生成时刻列表之间的交叉时刻对应的密钥认证逻辑信息的逻辑拓扑图的图数据特征是否相似；
在所述分析结果指示所述第一权限事件生成时刻列表与所述第二权限事件生成时刻列表之间的交叉时刻对应的密钥认证逻辑信息的逻辑拓扑图的图数据特征相似时，根据所述交叉时刻对应的密钥认证逻辑信息对应的访问权限匹配清单中的权限事件得到映射报文字段之间的交叉权限认证结果；其中，所述映射报文字段的映射时刻与所述交叉时刻之间存在关联。
B5.如B1-B4任一项所述的方法，通过所述映射报文字段之间的交叉权限认证结果，提取所述目标云业务数据对应的数据访问权限列表，包括：
获取所述映射报文字段之间的交叉权限认证结果的结果分布轨迹中的交叉认证路径信息，通过与所述交叉权限认证结果对应的交叉认证逻辑信息的当前逻辑拓扑中的最大热度值对应的逻辑节点对所述交叉认证路径信息进行路径参数提取，确定与所述交叉认证路径信息相匹配的第一路径特征样本；基于所述第一路径特征样本，通过所述与所述交叉权限认证结果对应的交叉认证逻辑信息中的当前逻辑拓扑中的最小热度值对应的逻辑节点，确定与所述交叉认证路径信息相匹配的第二路径特征样本；基于交叉认证路径信息相匹配的第二路径特征样本，通过所述与所述交叉权限认证结果对应的交叉认证逻辑信息的数据特征提取节点，对所述目标云业务数据中的业务互动特征进行提取，以得到所述目标云业务数据所对应的业务互动轨迹；根据所述业务互动轨迹中携带的业务设备的设备身份信息确定所述目标云业务数据对应的数据访问权限列表。
B6.如B5所述的方法，所述通过所述与所述交叉权限认证结果对应的交叉认证逻辑信息的当前逻辑拓扑中的最大热度值对应的逻辑节点对所述交叉认证路径信息进行路径参数提取，确定与所述交叉认证路径信息相匹配的第一路径特征样本，包括：
依据所述与所述交叉权限认证结果对应的交叉认证逻辑信息中的第一数据特征提取节点，确定与所述交叉认证路径信息对应的分类器参数；基于所述最大热度值对应的逻辑节点中的逻辑执行函数，确定所述分类器参数对应的执行函数模拟器的模拟线程数据；响应于所述执行函数模拟器的模拟线程数据，通过所述最大热度值对应的逻辑节点中的逻辑执行函数的执行参数队列，对所述分类器参数中的任一配置参数的资源配置信息进行多维特征聚类，确定第一聚类信息集；根据所述最大热度值对应的逻辑节点中的特征样本筛选脚本，先后对所述第一聚类信息集进行特征样本筛选和多维特征聚类，确定第二聚类信息集；将交叉认证逻辑信息对应的第二聚类信息集导入至预设权限认证线程中，并通过调整所述预设权限认证线程的线程参数，输出与所述交叉认证路径信息相匹配的第一路径特征样本。
B7.如B6所述的方法，基于所述第一路径特征样本，通过所述与所述交叉权限认证结果对应的交叉认证逻辑信息中的当前逻辑拓扑中的最小热度值对应的逻辑节点，确定与所述交叉认证路径信息相匹配的第二路径特征样本，包括：
构建所述第一路径特征样本对应的样本分布图数据集，构建所述交叉权限认证结果对应的交叉认证逻辑信息中的当前逻辑拓扑中的最小热度值对应的逻辑节点对应的逻辑认证图数据集；其中，所述样本分布图数据集和所述逻辑认证图数据集分别包括多个不同图数据关联度的图数据节点；
提取所述第一路径特征样本在所述样本分布图数据集的任一图数据节点的图数据连线信息，将所述逻辑认证图数据集中具有最小图数据关联度的图数据节点确定为目标图数据节点；
根据所述交叉权限认证结果对应的交叉认证逻辑信息的交叉认证顺序将所述图数据连线信息映射到所述目标图数据节点，在所述目标图数据节点中得到图数据映射信息，并根据所述图数据连线信息和所述图数据映射信息，生成所述第一路径特征样本和所述交叉权限认证结果对应的交叉认证逻辑信息中的当前逻辑拓扑中的最小热度值对应的逻辑节点之间的样本更新清单；
以所述图数据映射信息为参考信息在所述目标图数据节点中获取待更新信息，根据所述样本更新清单对应的更新时刻表，将所述待更新信息映射到所述图数据连线信息所在图数据节点，在所述图数据连线信息所在图数据节点中得到所述待更新信息对应的更新结果信息，并将所述更新结果信息确定为待匹配信息；
获取所述图数据连线信息映射到所述目标图数据节点中的节点函数容器中；根据所述更新结果信息与所述节点函数容器中的多个样本函数对应的样本信息之间的余弦距离，在所述逻辑认证图数据集中遍历所述待匹配信息对应的匹配路径参数，直至获取到的所述匹配路径参数所在图数据节点的节点中心度与所述待匹配信息在所述样本分布图数据集中的节点中心度一致时，停止获取下一图数据节点中的匹配路径参数，并根据所述匹配路径参数将待匹配信息添加到所述第一路径特征样本中得到所述第二路径特征样本。
B8.一种应用于大数据和云计算的数据处理系统，包括：互相通信的大数据服务平台和业务设备；其中，所述大数据服务平台用于：
获取待验证云业务数据，对所述待验证云业务数据进行数据生成时刻补全，以将所述待验证云业务数据补全为携带时序信息的云业务数据，得到补全后的目标云业务数据；
基于所述目标云业务数据，确定多组不同交互频率的设备通信日志，具体包括：根据所述目标云业务数据中携带的通信链路标识从预设数据库中提取与所述通信链路标识对应的多组不同交互频率的设备通信日志；其中，所述交互频率用于表征不同业务设备之间在设定时段内的交互次数；
分别检测所述多组不同交互频率的设备通信日志中的通信协议报文，以得到所述多组不同交互频率的设备通信日志中的通信协议报文集，具体包括：从所述设备通信日志中提取出存在协议层标识的目标报文，在检测到所述目标报文中携带有通信协议认证签名的报文字段时，将所述目标报文确定为通信协议报文并得到所述多组不同交互频率的设备通信日志中的通信协议报文集；
根据所述多组不同交互频率的设备通信日志与所述目标云业务数据之间的时序相关性系数，将所述多组不同交互频率的设备通信日志中的通信协议报文集映射到所述目标云业务数据中，得到多个映射报文字段；
根据所述多个映射报文字段之间的字段关联性，对所述多个映射报文字段进行访问权限识别，得到映射报文字段之间的交叉权限认证结果；
通过所述映射报文字段之间的交叉权限认证结果，提取所述目标云业务数据对应的数据访问权限列表；
其中：
所述目标云业务数据对应的第一业务设备在访问第二业务设备时，所述数据访问权限列表用于指示所述第一业务设备在所述第二业务设备中的访问路径。
应当理解，上述两个可替换的实施方式的具体说明可以参阅对图2所示的方法的说明，在此不作赘述。

Claims (8)

1.一种应用于大数据和云计算的数据处理方法，其特征在于，包括：
获取映射报文字段之间的交叉权限认证结果的结果分布轨迹中的交叉认证路径信息，通过与所述交叉权限认证结果对应的交叉认证逻辑信息的当前逻辑拓扑中的最大热度值对应的逻辑节点对所述交叉认证路径信息进行路径参数提取，确定与所述交叉认证路径信息相匹配的第一路径特征样本；
基于所述第一路径特征样本，通过所述与所述交叉权限认证结果对应的交叉认证逻辑信息中的当前逻辑拓扑中的最小热度值对应的逻辑节点，确定与所述交叉认证路径信息相匹配的第二路径特征样本；
基于交叉认证路径信息相匹配的第二路径特征样本，通过所述与所述交叉权限认证结果对应的交叉认证逻辑信息的数据特征提取节点，对目标云业务数据中的业务互动特征进行提取，以得到所述目标云业务数据所对应的业务互动轨迹；
根据所述业务互动轨迹中携带的业务设备的设备身份信息确定所述目标云业务数据对应的数据访问权限列表；
其中，所述目标云业务数据对应的第一业务设备在访问第二业务设备时，所述数据访问权限列表用于指示所述第一业务设备在所述第二业务设备中的访问路径。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取待验证云业务数据，对所述待验证云业务数据进行数据生成时刻补全，以将所述待验证云业务数据补全为携带时序信息的云业务数据，得到补全后的目标云业务数据；
基于所述目标云业务数据，确定多组不同交互频率的设备通信日志；分别检测所述多组不同交互频率的设备通信日志中的通信协议报文，以得到所述多组不同交互频率的设备通信日志中的通信协议报文集；根据所述多组不同交互频率的设备通信日志与所述目标云业务数据之间的时序相关性系数，将所述多组不同交互频率的设备通信日志中的通信协议报文集映射到所述目标云业务数据中，得到多个映射报文字段；
相应的：时序相关性系数用于表征设备通信日志与目标云业务数据在时间上的同步性或异步性；
根据所述多个映射报文字段之间的字段关联性，对所述多个映射报文字段进行访问权限识别，得到映射报文字段之间的交叉权限认证结果；
相应的：字段关联性用于表征不同映射报文字段是否存在业务行为上的交互和重叠，交叉权限验证结果用于表征不同业务设备之间在进行业务交互时的权限验证行为。
3.根据权利要求1所述的方法，其特征在于，通过与所述交叉权限认证结果对应的交叉认证逻辑信息的当前逻辑拓扑中的最大热度值对应的逻辑节点对所述交叉认证路径信息进行路径参数提取，确定与所述交叉认证路径信息相匹配的第一路径特征样本，包括：
依据所述与所述交叉权限认证结果对应的交叉认证逻辑信息中的第一数据特征提取节点，确定与所述交叉认证路径信息对应的分类器参数；
基于所述最大热度值对应的逻辑节点中的逻辑执行函数，确定所述分类器参数对应的执行函数模拟器的模拟线程数据；
响应于所述执行函数模拟器的模拟线程数据，通过所述最大热度值对应的逻辑节点中的逻辑执行函数的执行参数队列，对所述分类器参数中的任一配置参数的资源配置信息进行多维特征聚类，确定第一聚类信息集；
根据所述最大热度值对应的逻辑节点中的特征样本筛选脚本，先后对所述第一聚类信息集进行特征样本筛选和多维特征聚类，确定第二聚类信息集；
将交叉认证逻辑信息对应的第二聚类信息集导入至预设权限认证线程中，并通过调整所述预设权限认证线程的线程参数，输出与所述交叉认证路径信息相匹配的第一路径特征样本。
4.根据权利要求3所述的方法，其特征在于，基于所述第一路径特征样本，通过所述与所述交叉权限认证结果对应的交叉认证逻辑信息中的当前逻辑拓扑中的最小热度值对应的逻辑节点，确定与所述交叉认证路径信息相匹配的第二路径特征样本，包括：
构建所述第一路径特征样本对应的样本分布图数据集，构建所述交叉权限认证结果对应的交叉认证逻辑信息中的当前逻辑拓扑中的最小热度值对应的逻辑节点对应的逻辑认证图数据集；其中，所述样本分布图数据集和所述逻辑认证图数据集分别包括多个不同图数据关联度的图数据节点；
提取所述第一路径特征样本在所述样本分布图数据集的任一图数据节点的图数据连线信息，将所述逻辑认证图数据集中具有最小图数据关联度的图数据节点确定为目标图数据节点；
根据所述交叉权限认证结果对应的交叉认证逻辑信息的交叉认证顺序将所述图数据连线信息映射到所述目标图数据节点，在所述目标图数据节点中得到图数据映射信息，并根据所述图数据连线信息和所述图数据映射信息，生成所述第一路径特征样本和所述交叉权限认证结果对应的交叉认证逻辑信息中的当前逻辑拓扑中的最小热度值对应的逻辑节点之间的样本更新清单；
以所述图数据映射信息为参考信息在所述目标图数据节点中获取待更新信息，根据所述样本更新清单对应的更新时刻表，将所述待更新信息映射到所述图数据连线信息所在图数据节点，在所述图数据连线信息所在图数据节点中得到所述待更新信息对应的更新结果信息，并将所述更新结果信息确定为待匹配信息；
获取所述图数据连线信息映射到所述目标图数据节点中的节点函数容器中；根据所述更新结果信息与所述节点函数容器中的多个样本函数对应的样本信息之间的余弦距离，在所述逻辑认证图数据集中遍历所述待匹配信息对应的匹配路径参数，直至获取到的所述匹配路径参数所在图数据节点的节点中心度与所述待匹配信息在所述样本分布图数据集中的节点中心度一致时，停止获取下一图数据节点中的匹配路径参数，并根据所述匹配路径参数将待匹配信息添加到所述第一路径特征样本中得到所述第二路径特征样本。
5.根据权利要求2所述的方法，其特征在于，根据所述多个映射报文字段之间的字段关联性，对所述多个映射报文字段进行访问权限识别，得到映射报文字段之间的交叉权限认证结果，包括：
基于所述多个映射报文字段对应的通信协议报文集的协议认证置信度确定访问权限匹配清单；
根据确定出的访问权限匹配清单确定所述映射报文字段之间的交叉权限认证结果。
6.根据权利要求2所述的方法，其特征在于，对所述待验证云业务数据进行数据生成时刻补全，以将所述待验证云业务数据补全为携带时序信息的云业务数据，得到补全后的目标云业务数据，包括：
从所述待验证云业务数据中定位出业务节点标识；
判断所述待验证云业务数据中的当前业务节点标识相对于所述待验证云业务数据的上一个业务节点标识是否存在更新；
如果是，将从所述待验证云业务数据中定位出的当前业务节点标识确定为所述待验证云业务数据的待补全业务节点；否则，将从所述待验证云业务数据中定位出的当前业务节点标识的节点识别度与所述待验证云业务数据的上一个业务节点标识的节点识别度进行加权和，并根据加权和结果确定所述待验证云业务数据的待补全业务节点；
针对每个待补全业务节点，根据所述待验证云业务数据对应的数据日志对每个待补全业务节点进行数据生成时刻补全，以将所述待验证云业务数据补全为携带时序信息的云业务数据，得到补全后的目标云业务数据。
7.一种大数据服务平台，其特征在于，包括处理器、存储器和总线；其中：
所述处理器和所述存储器通过所述总线通信；
所述处理器通过所述总线从所述存储器中获取计算机程序，并运行所述计算机程序以实现权利要求1-6任一项所述的方法。
8.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序在运行时实现权利要求1-6任一项所述的方法。
CN202110596391.8A 2020-09-14 2020-09-14 应用于大数据和云计算的数据处理方法及大数据服务平台 Active CN113312417B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110596391.8A CN113312417B (zh) 2020-09-14 2020-09-14 应用于大数据和云计算的数据处理方法及大数据服务平台

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010957749.0A CN112069242B (zh) 2020-09-14 2020-09-14 基于大数据和云计算的数据处理方法及大数据服务平台
CN202110596391.8A CN113312417B (zh) 2020-09-14 2020-09-14 应用于大数据和云计算的数据处理方法及大数据服务平台

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN202010957749.0A Division CN112069242B (zh) 2020-09-14 2020-09-14 基于大数据和云计算的数据处理方法及大数据服务平台

Publications (2)

Publication Number Publication Date
CN113312417A CN113312417A (zh) 2021-08-27
CN113312417B true CN113312417B (zh) 2022-07-26

Family

ID=73695429

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202110596391.8A Active CN113312417B (zh) 2020-09-14 2020-09-14 应用于大数据和云计算的数据处理方法及大数据服务平台
CN202010957749.0A Active CN112069242B (zh) 2020-09-14 2020-09-14 基于大数据和云计算的数据处理方法及大数据服务平台

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202010957749.0A Active CN112069242B (zh) 2020-09-14 2020-09-14 基于大数据和云计算的数据处理方法及大数据服务平台

Country Status (1)

Country Link
CN (2) CN113312417B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112699131B (zh) * 2021-01-18 2021-11-30 中国电子系统技术有限公司 一种映射连接的交互方法以及装置
CN112685787B (zh) * 2021-02-23 2022-07-12 武汉钐秾科技有限公司 应用于人工智能的大数据信息安全防护方法及云服务器
CN113486060B (zh) * 2021-06-25 2023-06-16 青岛海尔科技有限公司 数据访问处理方法和装置、存储介质及电子设备
CN116777376B (zh) * 2023-06-20 2024-05-10 深圳市云之音科技有限公司 应用于企业智能中台的saas系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7370351B1 (en) * 2001-03-22 2008-05-06 Novell, Inc. Cross domain authentication and security services using proxies for HTTP access
US10326748B1 (en) * 2015-02-25 2019-06-18 Quest Software Inc. Systems and methods for event-based authentication
CN111083102A (zh) * 2019-10-23 2020-04-28 全球能源互联网研究院有限公司 一种物联网数据处理方法、装置及设备
CN111400758A (zh) * 2020-03-16 2020-07-10 沈寿娟 应用于物联网的访问权限验证方法、设备及系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070043950A1 (en) * 2005-08-16 2007-02-22 Sony Corporation Target apparatus, certification device, and certification method
US8520850B2 (en) * 2006-10-20 2013-08-27 Time Warner Cable Enterprises Llc Downloadable security and protection methods and apparatus
US20130268755A1 (en) * 2012-04-06 2013-10-10 Microsoft Corporation Cross-provider cross-certification content protection
US20140250144A1 (en) * 2013-03-02 2014-09-04 Leon Guzenda Method and system for enabling electronic communication through connectivity of separate social graphs
US10162874B2 (en) * 2015-01-15 2018-12-25 Servicenow, Inc. Related table notifications
CN107241307B (zh) * 2017-04-26 2023-08-08 北京立思辰计算机技术有限公司 一种基于报文内容的自学习的网络隔离安全装置和方法
CN109672651A (zh) * 2017-10-17 2019-04-23 阿里巴巴集团控股有限公司 网站访问的拦截处理方法、系统和数据处理方法
CN109922128A (zh) * 2019-01-08 2019-06-21 中金数据（武汉）超算技术有限公司 一种适用于跨云业务部署环境的数据安全交互方法
CN109889517B (zh) * 2019-02-14 2021-10-12 广州小鹏汽车科技有限公司 数据处理方法、权限数据集创建方法、装置及电子设备
CN112468383B (zh) * 2019-09-06 2023-01-06 华为云计算技术有限公司 混合云环境中的通信方法及网关、管理方法及装置
CN110769010B (zh) * 2019-11-03 2020-04-03 长沙豆芽文化科技有限公司 一种数据管理权限处理方法、装置及计算机设备
CN111447273B (zh) * 2020-03-26 2023-08-11 浙江口碑网络技术有限公司 云处理系统及基于云处理系统的数据处理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7370351B1 (en) * 2001-03-22 2008-05-06 Novell, Inc. Cross domain authentication and security services using proxies for HTTP access
US10326748B1 (en) * 2015-02-25 2019-06-18 Quest Software Inc. Systems and methods for event-based authentication
CN111083102A (zh) * 2019-10-23 2020-04-28 全球能源互联网研究院有限公司 一种物联网数据处理方法、装置及设备
CN111400758A (zh) * 2020-03-16 2020-07-10 沈寿娟 应用于物联网的访问权限验证方法、设备及系统

Also Published As

Publication number Publication date
CN112069242B (zh) 2021-10-01
CN113312417A (zh) 2021-08-27
CN112069242A (zh) 2020-12-11

Similar Documents

Publication Publication Date Title
CN113312417B (zh) 应用于大数据和云计算的数据处理方法及大数据服务平台
Feng et al. Characterizing industrial control system devices on the internet
CN112235264B (zh) 一种基于深度迁移学习的网络流量识别方法及装置
AU2020245462B2 (en) Verification of electronic identity components
Aborujilah et al. Cloud‐Based DDoS HTTP Attack Detection Using Covariance Matrix Approach
US20220210172A1 (en) Detection of anomalies associated with fraudulent access to a service platform
CN110855648B (zh) 一种网络攻击的预警控制方法及装置
KR20190070702A (ko) 텍스트 마이닝 기반 보안 이벤트 자동 검증 시스템 및 방법
CN112115468B (zh) 基于大数据和云计算的业务信息检测方法及云计算中心
CN113114618B (zh) 一种基于流量分类识别的物联网设备入侵检测的方法
CN108337219A (zh) 一种物联网防入侵的方法和存储介质
CN111339531A (zh) 恶意代码的检测方法、装置、存储介质及电子设备
CN111680167A (zh) 一种服务请求的响应方法及服务器
WO2024169388A1 (zh) 基于stride模型的安全需求生成方法、装置、电子设备及介质
KR102318496B1 (ko) 블록체인 네트워크에 기반하여 어뷰징을 탐지하는 방법 및 이를 이용한 블록체인 노드
CN117951341A (zh) 基于区块链的业务处理方法、装置、设备、介质及产品
CN112532645A (zh) 一种物联网设备运行数据监测方法、系统及电子设备
CN111917760A (zh) 一种基于标识解析的网络协同制造跨域融合信任管控方法
Dai et al. K‐Modes Clustering Algorithm Based on Weighted Overlap Distance and Its Application in Intrusion Detection
CN111722943B (zh) 基于边缘计算的大数据处理方法及中心云服务器
He et al. Multitask Learning‐Based Security Event Forecast Methods for Wireless Sensor Networks
CN113709092B (zh) 数据检测方法、装置、计算机设备以及存储介质
WO2024109136A1 (zh) 基于云计算技术的数字资产的安全风险分析方法和装置
US11316746B1 (en) Generating a representation of program processes executing on an information technology environment
EP4224364A1 (en) Device identification method, apparatus and system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220422

Address after: 250000 room 2-101, building 27, Baihua community, Licheng District, Jinan City, Shandong Province

Applicant after: Jinan Chuanyan Information Technology Co.,Ltd.

Address before: 510000 Room 301, building D, No. 1021-1023, Gaopu Road, Tianhe District, Guangzhou City, Guangdong Province

Applicant before: Yang Weishen

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220610

Address after: 510000 Room 301, building D, No. 1021-1023, Gaopu Road, Tianhe District, Guangzhou City, Guangdong Province

Applicant after: Yang Weishen

Address before: 250000 room 2-101, building 27, Baihua community, Licheng District, Jinan City, Shandong Province

Applicant before: Jinan Chuanyan Information Technology Co.,Ltd.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220706

Address after: No. 401-1, 4th floor, podium, building 3 and 4, No. 11, Changchun Bridge Road, Haidian District, Beijing 100089

Applicant after: Beijing Zhiguquan Technology Service Co.,Ltd.

Address before: 510000 Room 301, building D, No. 1021-1023, Gaopu Road, Tianhe District, Guangzhou City, Guangdong Province

Applicant before: Yang Weishen

GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: No. 401-1, 4th floor, podium, building 3 and 4, No. 11, Changchun Bridge Road, Haidian District, Beijing 100089

Patentee after: Beijing Zhiguagua Technology Co.,Ltd.

Address before: No. 401-1, 4th floor, podium, building 3 and 4, No. 11, Changchun Bridge Road, Haidian District, Beijing 100089

Patentee before: Beijing Zhiguquan Technology Service Co.,Ltd.

CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: No. 401-1, 4th floor, podium, building 3 and 4, No. 11, Changchun Bridge Road, Haidian District, Beijing 100089

Patentee after: Beijing Xinghe Zhiyuan Technology Co.,Ltd.

Country or region after: China

Address before: No. 401-1, 4th floor, podium, building 3 and 4, No. 11, Changchun Bridge Road, Haidian District, Beijing 100089

Patentee before: Beijing Zhiguagua Technology Co.,Ltd.

Country or region before: China