CN113064731A - 基于云边端架构的大数据处理终端设备、处理方法和介质 - Google Patents

基于云边端架构的大数据处理终端设备、处理方法和介质 Download PDF

Info

Publication number
CN113064731A
CN113064731A CN202110617286.8A CN202110617286A CN113064731A CN 113064731 A CN113064731 A CN 113064731A CN 202110617286 A CN202110617286 A CN 202110617286A CN 113064731 A CN113064731 A CN 113064731A
Authority
CN
China
Prior art keywords
data
classification
processed
module
cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110617286.8A
Other languages
English (en)
Other versions
CN113064731B (zh
Inventor
姚娟娟
钟南山
樊代明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Mingping Medical Data Technology Co ltd
Original Assignee
Mingpinyun Beijing Data Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mingpinyun Beijing Data Technology Co Ltd filed Critical Mingpinyun Beijing Data Technology Co Ltd
Priority to CN202110617286.8A priority Critical patent/CN113064731B/zh
Publication of CN113064731A publication Critical patent/CN113064731A/zh
Application granted granted Critical
Publication of CN113064731B publication Critical patent/CN113064731B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5072—Grid computing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/65—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Bioethics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Storage Device Security (AREA)

Abstract

本发明提供一种基于云边端架构的大数据处理终端设备、处理方法和介质，终端设备包括：数据采集模块，用于进行数据采集；业务请求模块，用于根据待处理任务生成业务请求信息；资源调配模块，用于对执行待处理任务的负载对象进行资源调度；数据分类模块，用于对采集的数据进行分类；信息认证模块，用于对防篡改数据的资质信息进行认证；区块链模块，用于对将处理后的防篡改数据在区块链的节点中存储；本发明基于云边端架构，利用自然语言处理技术和区块链技术，可以使大数据处理的过程中减少延迟、提高可扩展性、增强对信息的访问量，并使业务开发变得更加敏捷，将终端设备接入云边网络后，自适应根据业务需求，选择合理的资源分配方式。

Description

基于云边端架构的大数据处理终端设备、处理方法和介质
技术领域
本发明涉及大数据处理、计算机应用领域，尤其涉及一种基于云边端架构的大数据处理终端设备、处理方法和介质。
背景技术
近年来随着大数据技术的不断发展，为各行各业的企业和用户都带来了巨大的便利，但随着数据更集中、更易得，也带来了数据泄露的风险，一旦这些信息被泄露将会带来伦理、法律、国家安全等诸多问题。
目前，常规的大数据的存储一般是采用集中部署的方式，通过数据加密技术在不同机构之间进行交换、共享，但是随着数据互联互通的日益频繁，现有的方式，一方面资源不能得到充分调配，另一方面，已经无法保证所有的机构都可以解决数据安全问题，因此，如何加强大数据背景下的数据保护已经成为亟待解决的问题。
发明内容
鉴于以上所述现有技术的缺点，本发明提供一种基于云边端架构的大数据处理终端设备、处理方法和介质，以解决上述技术问题。
本发明提供的基于云边端架构的大数据处理终端设备，包括：
数据采集模块，用于进行数据采集；
通信模块，用于与边缘节点进行数据交互；
业务请求模块，用于根据待处理任务生成业务请求信息，并通过所述通信模块将所述业务请求信息发送至边缘节点，所述待处理任务包括对采集的数据进行分类；
资源调配模块，用于根据边缘节点反馈的调度信息，对执行待处理任务的负载对象进行资源调度，所述调度信息包括针对待处理任务，由边缘节点、云数据中心和终端设备三方中的任意一方对其处理，或者三方中的两方协同对其处理，或者三方协同对其进行处理；
数据分类模块，用于对采集的数据进行分类，数据类别包括防篡改数据和普通数据；
信息认证模块，用于对所述防篡改数据的资质信息进行认证；
区块链模块，用于对通过认证的所述防篡改数据进行数据处理，并将处理后的防篡改数据在区块链的节点中存储。
于本发明的一实施例中，所述数据分类模块包括：
第一分类模型，用于根据数据类型进行分类，所述数据类型包括音频数据和文本数据；
第二分类模型，用于根据数据内容进行分类；
所述第一分类模型的输出端与第二分类模型的输入端连接，所述第二分类模型根据所述第一分类模型的数据分类结果，进行二次分类，获取二次分类结果，所述二次分类结果包括防篡改数据和普通数据。
于本发明的一实施例中，还包括数据处理模块，所述待处理任务还包括将所述音频数据和文本数据进行数据分离、将所述音频数据转换为文本数据，以及对文本数据进行关键词提取；所述数据处理模块包括用于将所述音频数据和文本数据进行数据分离的分离单元、用于将所述音频数据转换为文本数据的转换单元，以及用于对文本数据进行关键词提取的提取单元。
于本发明的一实施例中，所述信息认证模块包括用于通过固定数字证书进行认证的第一认证模块和用于通过动态数字证书对资质信息进行认证的第二认证模块，所述信息认证模块通过智能合约进行有效性验证，将验证有效的防篡改数据写入区块链并同步所有节点。
于本发明的一实施例中，还包括加密模块，用于对所述防篡改数据进行数据加密。
本发明还提供一种基于云边端架构的大数据处理方法，包括：
通过终端设备进行数据采集；
与边缘节点进行数据交互，根据待处理任务生成业务请求信息，并将所述业务请求信息发送至边缘节点，所述待处理任务包括对采集的数据进行分类；
根据边缘节点反馈的调度信息，对执行待处理任务的负载对象进行资源调度，所述调度信息包括针对待处理任务，由边缘节点、云数据中心和终端设备三方中的任意一方对其处理，或者三方中的两方协同对其处理，或者三方协同对其进行处理；
对采集的数据进行分类，数据类别包括防篡改数据和普通数据；
对所述防篡改数据的资质信息进行认证；
对通过认证的所述防篡改数据进行数据处理，并将处理后的防篡改数据在区块链的节点中存储。
于本发明的一实施例中，通过数据分类模块对采集的数据进行数据分类，所述数据分类模块包括：
第一分类模型，用于根据数据类型进行分类，所述数据类型包括音频数据和文本数据；
第二分类模型，用于根据数据内容进行分类；
所述第一分类模型的输出端与第二分类模型的输入端连接，所述第二分类模型根据所述第一分类模型的数据分类结果，进行二次分类，获取二次分类结果，所述二次分类结果包括防篡改数据和普通数据；
获取文本数据中目标内容对应的目标特征向量，并输入至所述第一分类模型，获取若干类别向量，根据所述类别向量的权重，获取第一分类模型对应的一次分类结果和一次分类结果的特征信息，并将所述一次分类结果的特征信息以及目标特征向量输入到第二分类模型中，获取二次分类结果。
于本发明的一实施例中，对所述文本数据进行分词处理，并对每个分词进行特征编码，获取分词向量；获取每个分词对应的内容向量、位置向量和数据类型向量，并通过特征提取，获取特征矩阵；通过对所述分词向量和特征矩阵进行向量拼接，获取每个分词对应的特征矩阵，通过所述每个分词对应的特征矩阵进行特征提取，获取所述目标特征向量。
于本发明的一实施例中，创建用于加密的第一密钥，所述第一密钥包括第一密钥的公钥和第一密钥的私钥；
通过所述第一密钥的公钥对所述防篡改数据进行加密，形成第一加密内容；
获取需要授权对象的公钥，通过所述授权对象的公钥对第一密钥的私钥进行加密，形成第二加密内容；
将所述第一加密内容和第二加密内容合并，形成用于针对不同授权对象进行授权的数据；
通过已授权对象获取所述针对不同授权对象进行授权的数据，并利用已授权对象的私钥对所述针对不同授权对象进行授权的数据进行解密，获取所述第一密钥的私钥；
通过所述第一密钥的私钥，获取所述防篡改数据。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述中任一项所述方法。
本发明的有益效果：本发明中的基于云边端架构的大数据处理终端设备、处理方法和介质，基于云边端架构，利用自然语言处理技术和区块链技术，可以使大数据处理的过程中减少延迟、提高可扩展性、增强对信息的访问量，并使业务开发变得更加敏捷，本发明可以将复合数据根据数据类型进行一次分类，再根据数据内容进行二次分类，获取防篡改数据和普通数据，进而针对防篡改数据进行相应的数据处理，在区块链的节点中存储，将终端设备接入云边网络后，可以自适应根据业务需求，选择合理的资源分配方式，为解决大数据背景下的数据安全问题，提供了基础。
附图说明
图1是本发明实施例中基于云边端架构的大数据处理终端设备的拓扑结构示意图。
图2是本发明实施例中基于云边端架构的大数据处理方法的流程示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
在下文描述中，探讨了大量细节，以提供对本发明实施例的更透彻的解释，然而，对本领域技术人员来说，可以在没有这些具体细节的情况下实施本发明的实施例是显而易见的，在其他实施例中，以方框图的形式而不是以细节的形式来示出公知的结构和设备，以避免使本发明的实施例难以理解。
如图1所示，本实施例中的基于云边端架构的大数据处理终端设备，包括：
数据采集模块，用于进行数据采集；
通信模块，用于与边缘节点进行数据交互；
业务请求模块，用于根据待处理任务生成业务请求信息，并通过所述通信模块将所述业务请求信息发送至边缘节点，所述待处理任务包括对采集的数据进行分类；
资源调配模块，用于根据边缘节点反馈的调度信息，对执行待处理任务的负载对象进行资源调度，所述调度信息包括针对待处理任务，由边缘节点、云数据中心和终端设备三方中的任意一方对其处理，或者三方中的两方协同对其处理，或者三方协同对其进行处理；
数据分类模块，用于对采集的数据进行分类，数据类别包括防篡改数据和普通数据；
信息认证模块，用于对所述防篡改数据的资质信息进行认证；
区块链模块，用于对通过认证的所述防篡改数据进行数据处理，并将处理后的防篡改数据在区块链的节点中存储。
在本实施例中，当终端设备的处理能力不足时，可以利用边缘节点的资源，协助处理任务，进一步，如果边缘节点的处理能力也不足时，例如：当边缘节点的能力不满足当前的业务需求，或边缘节点当前处理任务的强度超出预设的处理强度阈值时，则直接通过云数据中心进行任务处理，通过这种方式，可以使处理端与任务发生端较近，减少了延迟，有效节约了成本，一旦业务饱和或过度饱和，可以利用边缘网络中边缘节点和云数据中心的资源进行协助处理，实现资源的动态分配，弥补单一终端设备，或单一边缘节点的能力不足，有效节约了成本。
在本实施例中，终端设备可以作为单独的设备接入云边网络，通过自身可以将复合数据根据数据类型进行一次分类，再根据数据内容进行二次分类，获取防篡改数据和普通数据，进而针对防篡改数据进行相应的数据处理，在区块链的节点中存储。
在本实施例中，数据分类模块主要包括用于根据数据类型进行分类的第一分类模型和根据数据内容进行分类的第二分类模型，第一分类模型可以根据数据类型进行分类，本实施例中的数据类型主要包括音频数据和文本数据，主要针对的是音频数据和文本数据相互结合紧密的复杂应用场景，例如医院、银行、机场等同时存在文本记录和音频记录的场景。通过第一分类模型进行一次分类后，再将分类结果输入至第二分类模型，根据数据内容进行二次分类，获取二次分类结果，二次分类结果包括防篡改数据和普通数据。
在本实施例中，数据处理模块主要包括用于将所述音频数据和文本数据进行数据分离的分离单元、用于将所述音频数据转换为文本数据的转换单元，以及用于对文本数据进行关键词提取的提取单元。受限于时间、人力和成本的限制，针对于大数据领域，现有的方式无法通过多样化的有标注训练数据的采集，因此，会导致有大量参数的复杂网络的过拟合和差的泛化能力。在本实施例中，通过转换单元，可以在语音知识库数据中进行对应统一化文字信息的检索，通过判断统一化文字信息分类中包括的文字信息与语音文字检索分析模块中的文字信息的一致性，完成音频数据转换为文本数据。
在本实施例中，先对文本数据进行分词处理，并对每个分词进行特征编码，获取分词向量；获取每个分词对应的内容向量、位置向量、数据类型向量，并通过特征提取，获取特征矩阵；通过对分词向量和特征矩阵进行向量拼接，获取每个分词对应的特征矩阵，通过每个分词对应的特征矩阵进行特征提取，获取目标特征向量。将获得的目标特征向量输入至第一分类模型，获取若干类别向量，根据类别向量的权重，获取第一分类模型对应的一次分类结果和一次分类结果的特征信息，并将一次分类结果的特征信息以及目标特征向量输入到第二分类模型中，获取二次分类结果。
在本实施例中，还包括信息认证模块，本实施例中的信息认证模块主要用于通过固定数字证书进行认证的第一认证模块和用于通过动态数字证书对资质信息进行认证的第二认证模块，所述信息认证模块通过智能合约进行有效性验证，将验证有效的防篡改数据写入区块链并同步所有节点。在本实施例中，信息认证模块可以根据防篡改数据的不同的属性通过动态数字证书对机构信息进行认证，例如：通过地域和时间对机构信息进行认证，可以通过数字证书的形式进行发放，针对已经公布的不同属性的数字证书，过期证书自动关闭下载，优选地，具有较高权限的机构采用动态证书的方式进行发放。动态证书可以根据一定策略生成，不同类型、不同地域、不同时间的防篡改数据可以采用不同的证书进行授权，数字证书既可存储于专门的硬件中也可以存入相应的终端，由需要使用的角色保管和使用。
在本实施例中，还包括加密模块，用于对所述防篡改数据进行数据加密。通过加密模块首先创建用于加密的第一密钥，所述第一密钥包括第一密钥的公钥和第一密钥的私钥；
通过第一密钥的公钥对所述防篡改数据进行加密，形成第一加密内容；
获取需要授权对象的公钥，通过所述授权对象的公钥对第一密钥的私钥进行加密，形成第二加密内容；
将第一加密内容和第二加密内容合并，形成用于针对不同授权对象进行授权的数据；
通过已授权对象获取针对不同授权对象进行授权的数据，并利用已授权对象的私钥对所述针对不同授权对象进行授权的数据进行解密，获取第一密钥的私钥；
通过第一密钥的私钥，即可获取防篡改数据的明文。
相应的，如图2所示，本实施例还提供一种基于云边端架构的大数据处理方法，包括：
S1.通过终端设备进行数据采集；
S2.终端设备与边缘节点进行数据交互，根据待处理任务生成业务请求信息，并将所述业务请求信息发送至边缘节点，所述待处理任务包括对采集的数据进行分类；
S3.根据边缘节点反馈的调度信息，对执行待处理任务的负载对象进行资源调度，所述调度信息包括针对待处理任务，由边缘节点、云数据中心和终端设备三方中的任意一方对其处理，或者三方中的两方协同对其处理，或者三方协同对其进行处理；
S4.对采集的数据进行分类，数据类别包括防篡改数据和普通数据；
S5.对所述防篡改数据的资质信息进行认证；
S6.对通过认证的所述防篡改数据进行数据处理，并将处理后的防篡改数据在区块链的节点中存储。
在本实施例中，针对待处理任务，由边缘节点、云数据中心和终端设备三方中的任意一方对其处理，或者三方中的两方协同对其处理，或者三方协同对其进行处理，例如可以通过设置比较阈值，当待处理任务的数量大于所述比较阈值时，即当终端设备的处理能力不足时，可以利用边缘节点的资源，协助处理任务，进一步，如果边缘节点的处理能力也不足时，例如：当边缘节点的能力不满足当前的业务需求，或边缘节点当前处理任务的强度超出预设的处理强度阈值时，则直接通过云数据中心进行任务处理，通过这种方式，可以使处理端与任务发生端较近，减少了延迟，有效节约了成本，一旦业务饱和或过度饱和，可以利用边缘网络中边缘节点和云数据中心的资源进行协助处理，实现资源的动态分配，弥补单一终端设备，或单一边缘节点的能力不足，有效节约了成本。在本实施例中，终端设备可以作为单独的设备接入云边网络，通过自身可以将复合数据根据数据类型进行一次分类，再根据数据内容进行二次分类，获取防篡改数据和普通数据，进而针对防篡改数据进行相应的数据处理，在区块链的节点中存储。
在本实施例中，待处理任务还包括将所述音频数据和文本数据进行数据分离、将所述音频数据转换为文本数据，以及将所述音频数据转换为文本数据，可以根据实际的任务量进行自由调配，例如仅将上述待处理任务中的任一一项或多项交给本地的终端设备处理，其他的任务交于边缘节点处理，或交由云数据中心处理，当然，也可以交于其协同处理，通过这种方式，可以更加灵活的分配资源，通过充分调配已有资源，实现了资源分配的优化，避免了业务处理瓶颈和分配处理不均的问题。
在本实施例中，可以通过数据分类模块进行数据分类，本实施例中的数据分类模块包括用于根据数据类型进行分类的第一分类模型和根据数据内容进行分类的第二分类模型，第一分类模型可以根据数据类型进行分类，本实施例中的数据类型主要包括音频数据和文本数据，主要针对的是音频数据和文本数据相互结合紧密的复杂应用场景，例如医院、银行、机场等同时存在文本记录和音频记录的场景。通过第一分类模型进行一次分类后，再将分类结果输入至第二分类模型，根据数据内容进行二次分类，获取二次分类结果，二次分类结果包括防篡改数据和普通数据。
在本实施例中，需要先将音频数据和文本数据进行数据分离，针对分离后的音频数据，再将音频数据转换为文本数据，并对报换后的文本数据和经过一次分类后的文本数据进行关键词提取，为后续的二次分类提供数据基础。受限于时间、人力和成本的限制，针对于大数据领域，现有的方式无法通过多样化的有标注训练数据的采集，因此，会导致有大量参数的复杂网络的过拟合和差的泛化能力。在本实施例中，在将音频数据和文本数据进行数据转换时，可以在语音知识库数据中进行对应统一化文字信息的检索，通过判断统一化文字信息分类中包括的文字信息与语音文字检索分析模块中的文字信息的一致性，完成音频数据转换为文本数据。
在本实施例中，先对文本数据进行分词处理，并对每个分词进行特征编码，获取分词向量；获取每个分词对应的内容向量、位置向量、数据类型向量，并通过特征提取，获取特征矩阵；通过对分词向量和特征矩阵进行向量拼接，获取每个分词对应的特征矩阵，通过每个分词对应的特征矩阵进行特征提取，获取目标特征向量。将获得的目标特征向量输入至第一分类模型，获取若干类别向量，根据类别向量的权重，获取第一分类模型对应的一次分类结果和一次分类结果的特征信息，并将一次分类结果的特征信息以及目标特征向量输入到第二分类模型中，获取二次分类结果。本申请实施例中，第一分类模型和第二分类模型可以通过任何可能的分类算法来实现，例如可以通过softmax算法、逻辑回归（Logistic）或者全连接层等来进行分类，以获得各个分词所对应的分类结果，分类结果即为各个分词的权重值。
在本实施例中，针对第二分类模型，应用场景包括不仅可以用于医院、银行、机场等场景，还可以用于数据内容审核、注册信息审核等场景下，针对上述信息，一方面需要确保信息真实有效，另一方面，也需要对上述信息进行数据保护，防止随意篡改，在应用过程中，也可以对上述信息进行内容审核。若内容审核通过，则进行信息反馈，以便执行下一步操作；若内容审核未通过，则向反馈未通过原因。
在本实施例中，信息认证可以通过固定数字证书进行认证，也可以通过动态数字证书对资质信息进行认证，本实施例中的信息认证模块通过智能合约进行有效性验证，将验证有效的防篡改数据写入区块链并同步所有节点。本实施例中的防篡改数据在写入区块链时都需要进行验证，而验证的内容就是数据是否真实有效，例如，以医疗数据为例，数据内容中的医院、医生、患者等个人信息，都需要进行验证。当这些内容都真实有效时则表示数据有效，从而允许写入区块链被所有节点进行同步，否则会被放弃。可选的，本实施例中可以通过客户端，以P2P的连接方式获取防篡改数据，本实施例中的数据验证将由发布在区块链上的智能合约自动执行和验证。
在本实施例中，还包括对所述防篡改数据进行数据加密。可以通过加密模块首先创建用于加密的第一密钥，第一密钥包括第一密钥的公钥和第一密钥的私钥；
通过第一密钥的公钥对所述防篡改数据进行加密，形成第一加密内容；
获取需要授权对象的公钥，通过所述授权对象的公钥对第一密钥的私钥进行加密，形成第二加密内容；
将第一加密内容和第二加密内容合并，形成用于针对不同授权对象进行授权的数据；
通过已授权对象获取针对不同授权对象进行授权的数据，并利用已授权对象的私钥对所述针对不同授权对象进行授权的数据进行解密，获取第一密钥的私钥；
通过第一密钥的私钥，即可获取防篡改数据的明文。
通过这种方式，在保证了数据交互、数据分享的前提下，还可以对用户的数据进行有效的数据保护，一方面通过加密，使得用户隐私不会被随意泄露，另一方面，通过区块链存储，保证了数据的真实性，不会被随意篡改，不仅提高了数据的安全性，也保证了数据的准确性和可靠性。
本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本实施例中的任一项方法。
本实施例还提供一种电子终端，包括：处理器及存储器；
所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行本实施例中任一项方法。
本实施例中的计算机可读存储介质，本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
本实施例提供的电子终端，包括处理器、存储器、收发器和通信接口，存储器和通信接口与处理器和收发器连接并完成相互间的通信，存储器用于存储计算机程序，通信接口用于进行通信，处理器和收发器用于运行计算机程序，使电子终端执行如上方法的各个步骤。
在本实施例中，存储器可能包含随机存取存储器(Random Access Memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在上述实施例中，除非另外规定，否则通过使用 “第一”、“第二”等序号对共同的对象进行描述，只表示其指代相同对象的不同实例，而非是采用表示被描述的对象必须采用给定的顺序，无论是时间地、空间地、排序地或任何其他方式。在上述实施例中，说明书对“本实施例”、“一实施例”、“另一实施例”、或“其他实施例”的提及表示结合实施例说明的特定特征、结构或特性包括在至少一些实施例中，但不必是全部实施例。“本实施例”、“一实施例”、“另一实施例”的多次出现不一定全部都指代相同的实施例。
在上述实施例中，尽管已经结合了本发明的具体实施例对本发明进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变形对本领域普通技术人员来说将是显而易见的。例如，其他存储结构（例如，动态RAM（DRAM））可以使用所讨论的实施例。本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本发明可用于众多通用或专用的计算系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。
本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本发明，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
上述实施例仅示例性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，但凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种基于云边端架构的大数据处理终端设备，其特征在于，包括：
数据采集模块，用于进行数据采集；
通信模块，用于与边缘节点进行数据交互；
业务请求模块，用于根据待处理任务生成业务请求信息，并通过所述通信模块将所述业务请求信息发送至边缘节点，所述待处理任务包括对采集的数据进行分类；
资源调配模块，用于根据边缘节点反馈的调度信息，对执行待处理任务的负载对象进行资源调度，所述调度信息包括针对待处理任务，由边缘节点、云数据中心和终端设备三方中的任意一方对其处理，或者三方中的两方协同对其处理，或者三方协同对其进行处理；
数据分类模块，用于对采集的数据进行分类，数据类别包括防篡改数据和普通数据；
信息认证模块，用于对所述防篡改数据的资质信息进行认证；
区块链模块，用于对通过认证的所述防篡改数据进行数据处理，并将处理后的防篡改数据在区块链的节点中存储。
2.根据权利要求1所述的基于云边端架构的大数据处理终端设备，其特征在于，所述数据分类模块包括：
第一分类模型，用于根据数据类型进行分类，所述数据类型包括音频数据和文本数据；
第二分类模型，用于根据数据内容进行分类；
所述第一分类模型的输出端与第二分类模型的输入端连接，所述第二分类模型根据所述第一分类模型的数据分类结果，进行二次分类，获取二次分类结果，所述二次分类结果包括防篡改数据和普通数据。
3.根据权利要求2所述的基于云边端架构的大数据处理终端设备，其特征在于，还包括数据处理模块，所述待处理任务还包括将所述音频数据和文本数据进行数据分离、将所述音频数据转换为文本数据，以及对文本数据进行关键词提取；所述数据处理模块包括用于将所述音频数据和文本数据进行数据分离的分离单元、用于将所述音频数据转换为文本数据的转换单元，以及用于对文本数据进行关键词提取的提取单元。
4.根据权利要求1所述的基于云边端架构的大数据处理终端设备，其特征在于，所述信息认证模块包括用于通过固定数字证书进行认证的第一认证模块和用于通过动态数字证书对资质信息进行认证的第二认证模块，所述信息认证模块通过智能合约进行有效性验证，将验证有效的防篡改数据写入区块链并同步所有节点。
5.根据权利要求4所述的基于云边端架构的大数据处理终端设备，其特征在于，还包括加密模块，用于对所述防篡改数据进行数据加密。
6.一种基于云边端架构的大数据处理方法，其特征在于，包括：
通过终端设备进行数据采集；
与边缘节点进行数据交互，根据待处理任务生成业务请求信息，并将所述业务请求信息发送至边缘节点，所述待处理任务包括对采集的数据进行分类；
根据边缘节点反馈的调度信息，对执行待处理任务的负载对象进行资源调度，所述调度信息包括针对待处理任务，由边缘节点、云数据中心和终端设备三方中的任意一方对其处理，或者三方中的两方协同对其处理，或者三方协同对其进行处理；
对采集的数据进行分类，数据类别包括防篡改数据和普通数据；
对所述防篡改数据的资质信息进行认证；
对通过认证的所述防篡改数据进行数据处理，并将处理后的防篡改数据在区块链的节点中存储。
7.根据权利要求6所述的基于云边端架构的大数据处理方法，其特征在于，通过数据分类模块对采集的数据进行数据分类，所述数据分类模块包括：
第一分类模型，用于根据数据类型进行分类，所述数据类型包括音频数据和文本数据；
第二分类模型，用于根据数据内容进行分类；
所述第一分类模型的输出端与第二分类模型的输入端连接，所述第二分类模型根据所述第一分类模型的数据分类结果，进行二次分类，获取二次分类结果，所述二次分类结果包括防篡改数据和普通数据；
获取文本数据中目标内容对应的目标特征向量，并输入至所述第一分类模型，获取若干类别向量，根据所述类别向量的权重，获取第一分类模型对应的一次分类结果和一次分类结果的特征信息，并将所述一次分类结果的特征信息以及目标特征向量输入到第二分类模型中，获取二次分类结果。
8.根据权利要求7所述的基于云边端架构的大数据处理方法，其特征在于，对所述文本数据进行分词处理，并对每个分词进行特征编码，获取分词向量；获取每个分词对应的内容向量、位置向量和数据类型向量，并通过特征提取，获取特征矩阵；通过对所述分词向量和特征矩阵进行向量拼接，获取每个分词对应的特征矩阵，通过所述每个分词对应的特征矩阵进行特征提取，获取所述目标特征向量。
9.根据权利要求6所述的基于云边端架构的大数据处理方法，其特征在于，
创建用于加密的第一密钥，所述第一密钥包括第一密钥的公钥和第一密钥的私钥；
通过所述第一密钥的公钥对所述防篡改数据进行加密，形成第一加密内容；
获取需要授权对象的公钥，通过所述授权对象的公钥对第一密钥的私钥进行加密，形成第二加密内容；
将所述第一加密内容和第二加密内容合并，形成用于针对不同授权对象进行授权的数据；
通过已授权对象获取所述针对不同授权对象进行授权的数据，并利用已授权对象的私钥对所述针对不同授权对象进行授权的数据进行解密，获取所述第一密钥的私钥；
通过所述第一密钥的私钥，获取所述防篡改数据。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求6至9中任一项所述方法。
CN202110617286.8A 2021-06-03 2021-06-03 基于云边端架构的大数据处理终端设备、处理方法和介质 Active CN113064731B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110617286.8A CN113064731B (zh) 2021-06-03 2021-06-03 基于云边端架构的大数据处理终端设备、处理方法和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110617286.8A CN113064731B (zh) 2021-06-03 2021-06-03 基于云边端架构的大数据处理终端设备、处理方法和介质

Publications (2)

Publication Number Publication Date
CN113064731A true CN113064731A (zh) 2021-07-02
CN113064731B CN113064731B (zh) 2021-11-02

Family

ID=76568577

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110617286.8A Active CN113064731B (zh) 2021-06-03 2021-06-03 基于云边端架构的大数据处理终端设备、处理方法和介质

Country Status (1)

Country Link
CN (1) CN113064731B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116545892A (zh) * 2023-06-29 2023-08-04 云账户技术(天津)有限公司 业务瓶颈节点的确定方法、装置、电子设备及存储介质

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107896213A (zh) * 2017-11-16 2018-04-10 重庆忠昇数据处理服务有限公司 电子处方数据存储方法
CN109766451A (zh) * 2019-01-09 2019-05-17 武汉巨正环保科技有限公司 一种云计算平台及其调度、数据分析方法
CN110928658A (zh) * 2019-11-20 2020-03-27 湖南大学 一种车边云协同架构的协同任务迁移系统及算法
CN110942524A (zh) * 2019-12-05 2020-03-31 中国科学院自动化研究所 基于区块链的云边端协同停车管理计时收费系统、方法
CN110941719A (zh) * 2019-12-02 2020-03-31 中国银行股份有限公司 数据分类方法、测试方法、装置及存储介质
CN111586091A (zh) * 2020-03-25 2020-08-25 重庆特斯联智慧科技股份有限公司 一种实现算力组配的边缘计算网关系统
CN111950858A (zh) * 2020-07-20 2020-11-17 深圳供电局有限公司 一种边云协同计算资源交易方法、计算机设备和存储介质
CN112162849A (zh) * 2020-08-28 2021-01-01 中冶华天工程技术有限公司 云与边缘计算协同的装备智能管控系统及方法
CN112182218A (zh) * 2020-09-30 2021-01-05 中国平安财产保险股份有限公司 文本数据的分类方法及装置
CN112231085A (zh) * 2020-10-21 2021-01-15 中国电子科技集团公司第二十八研究所 一种协同环境下基于时间感知的移动终端任务迁移方法
CN112417158A (zh) * 2020-12-15 2021-02-26 中国联合网络通信集团有限公司 文本数据分类模型的训练方法、分类方法、装置和设备
CN112631747A (zh) * 2020-12-15 2021-04-09 西安电子科技大学 一种云-网-端模式下的调度方法与装置
CN112650585A (zh) * 2020-12-24 2021-04-13 山东大学 一种新型边缘-云协同边缘计算平台、方法及存储介质
CN112764835A (zh) * 2021-01-22 2021-05-07 国网宁夏电力有限公司信息通信公司 基于边缘计算的电力物联网传感设备配置微服务系统及方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107896213A (zh) * 2017-11-16 2018-04-10 重庆忠昇数据处理服务有限公司 电子处方数据存储方法
CN109766451A (zh) * 2019-01-09 2019-05-17 武汉巨正环保科技有限公司 一种云计算平台及其调度、数据分析方法
CN110928658A (zh) * 2019-11-20 2020-03-27 湖南大学 一种车边云协同架构的协同任务迁移系统及算法
CN110941719A (zh) * 2019-12-02 2020-03-31 中国银行股份有限公司 数据分类方法、测试方法、装置及存储介质
CN110942524A (zh) * 2019-12-05 2020-03-31 中国科学院自动化研究所 基于区块链的云边端协同停车管理计时收费系统、方法
CN111586091A (zh) * 2020-03-25 2020-08-25 重庆特斯联智慧科技股份有限公司 一种实现算力组配的边缘计算网关系统
CN111950858A (zh) * 2020-07-20 2020-11-17 深圳供电局有限公司 一种边云协同计算资源交易方法、计算机设备和存储介质
CN112162849A (zh) * 2020-08-28 2021-01-01 中冶华天工程技术有限公司 云与边缘计算协同的装备智能管控系统及方法
CN112182218A (zh) * 2020-09-30 2021-01-05 中国平安财产保险股份有限公司 文本数据的分类方法及装置
CN112231085A (zh) * 2020-10-21 2021-01-15 中国电子科技集团公司第二十八研究所 一种协同环境下基于时间感知的移动终端任务迁移方法
CN112417158A (zh) * 2020-12-15 2021-02-26 中国联合网络通信集团有限公司 文本数据分类模型的训练方法、分类方法、装置和设备
CN112631747A (zh) * 2020-12-15 2021-04-09 西安电子科技大学 一种云-网-端模式下的调度方法与装置
CN112650585A (zh) * 2020-12-24 2021-04-13 山东大学 一种新型边缘-云协同边缘计算平台、方法及存储介质
CN112764835A (zh) * 2021-01-22 2021-05-07 国网宁夏电力有限公司信息通信公司 基于边缘计算的电力物联网传感设备配置微服务系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
聂峥 等: "《配变终端边缘节点化及容器化的关键技术和应用场景设计》", 《电力系统自动化》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116545892A (zh) * 2023-06-29 2023-08-04 云账户技术(天津)有限公司 业务瓶颈节点的确定方法、装置、电子设备及存储介质
CN116545892B (zh) * 2023-06-29 2023-10-13 云账户技术(天津)有限公司 业务瓶颈节点的确定方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN113064731B (zh) 2021-11-02

Similar Documents

Publication Publication Date Title
CN108830601B (zh) 基于区块链的智慧城市信息安全使用方法及系统
TWI764037B (zh) 跨區塊鏈的交互方法及系統、電腦設備及儲存媒體
CN108197891B (zh) 一种基于区块链的电子签约装置及方法
WO2018213519A1 (en) Secure electronic transaction authentication
CN106487747B (zh) 用户识别方法、系统、装置及处理方法、装置
CN110458559B (zh) 交易数据处理方法、装置、服务器和存储介质
CN102739774B (zh) 一种云计算环境下的取证方法及系统
CN109815051A (zh) 区块链的数据处理方法和系统
Islam et al. The rise of big data and cloud computing
CN111291394B (zh) 一种虚假信息管理方法、装置和存储介质
CN108600250A (zh) 认证方法
CN108074024A (zh) 风险识别方法、装置及系统
CN112508733A (zh) 一种基于北斗的电网时空大数据智能服务系统
CN115277122A (zh) 基于区块链的跨境数据流动与监管系统
CN116226289A (zh) 基于区块链的电子凭证管理方法、装置、设备及存储介质
CN113064731B (zh) 基于云边端架构的大数据处理终端设备、处理方法和介质
Jiang et al. Research on the application of blockchain in copyright protection
CN113065171B (zh) 一种基于区块链的大数据处理系统、方法、介质及终端
CN112069529B (zh) 基于区块链的卷宗管理方法、装置、计算机以及存储介质
Beltrán et al. A privacy threat model for identity verification based on facial recognition
CN113282959A (zh) 业务数据处理方法、装置及电子设备
Hamrioui et al. A systematic review of security mechanisms for big data in health and new alternatives for hospitals
CN116684160A (zh) 一种公益诉讼数据安全共享与隐私保护方法和系统
Bergers et al. Dwh-dim: a blockchain based decentralized integrity verification model for data warehouses
CN110399706A (zh) 授权认证方法、装置和计算机系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220707

Address after: 201615 room 1904, G60 Kechuang building, No. 650, Xinzhuan Road, Songjiang District, Shanghai

Patentee after: Shanghai Mingping Medical Data Technology Co.,Ltd.

Address before: 102400 no.86-n3557, Wanxing Road, Changyang, Fangshan District, Beijing

Patentee before: Mingpinyun (Beijing) data Technology Co.,Ltd.

TR01 Transfer of patent right