CN112764878A - 一种基于深度学习的大数据一体机容器集群风险预测方法 - Google Patents
一种基于深度学习的大数据一体机容器集群风险预测方法 Download PDFInfo
- Publication number
- CN112764878A CN112764878A CN202110040854.2A CN202110040854A CN112764878A CN 112764878 A CN112764878 A CN 112764878A CN 202110040854 A CN202110040854 A CN 202110040854A CN 112764878 A CN112764878 A CN 112764878A
- Authority
- CN
- China
- Prior art keywords
- risk
- file
- layer
- prediction method
- big data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000013135 deep learning Methods 0.000 title claims abstract description 13
- 239000013598 vector Substances 0.000 claims abstract description 44
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 22
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 238000003064 k means clustering Methods 0.000 claims abstract description 5
- 238000011176 pooling Methods 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 8
- 238000005265 energy consumption Methods 0.000 claims description 5
- 238000012954 risk control Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000012467 final product Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/40—Transformation of program code
- G06F8/41—Compilation
- G06F8/42—Syntactic analysis
- G06F8/427—Parsing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
- G06F2009/45587—Isolation or security of virtual machine instances
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
- G06F2009/45595—Network integration; Enabling network access in virtual machine instances
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Probability & Statistics with Applications (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于深度学习的大数据一体机容器集群风险预测方法,包括三个步骤:数据预处理、构建标准库和文件检测。(1)将Dockerfile文件解析并生成量化的符号向量,通过卷积神经网络模型输出Dockerfile文件的语义和结构特征;(2)将测试文件集输入K‑Means聚类算法模型分成存在存在风险和不存在风险两类,得到文件标准库;(3)待检测的Dockerfile文件的语义和结构特征输入KNN算法中进行风险预测并返回风险概率,如果存在风险则由用户决定是否对镜像进行放置。通过本发明的风险预测方法可以检测Dockerfile文件的风险和漏洞,从源头控制Docker容器的风险,提高大数据一体机容器集群的安全性。
Description
技术领域
本发明涉及风险预测方法,尤其是一种大数据一体机容器集群的风险预测方法。
背景技术
近几年,云计算作为一种新型的计算形式快速的发展起来虚拟机是云计算环境中的常用资源,但因为多个应用对运行环境的要求不同,导致应用部署产生了很多麻烦,因此Docker技术应运而生。Docker作为一种轻量级、可移植、自包含的软件打包技术,使应用程序可以几乎在任何地方以相同的方式运行。随着Docker应用的规模越来越大,大数据一体机也由传统虚拟机集群为基础的云计算集群逐渐转变为以Docker物理节点为集群的方式,因而容器安全方面的问题也越来越受到关注。国内已经有很多关于容器安全方面的工作,但主要还是分布在如何从底层提升Docker安全性而忽略了Docker镜像这一环节。Dockerfile是一个用来构建镜像的文本文件,文本内容包含了一条条构建镜像所需的指令和说明。Clair是目前最流行的镜像扫描工具,但是Clair只能对Docker镜像进行检测,无法检测Dockerfile文件,从源头控制风险,也无法提前检测可能存在的安全风险。
发明内容
发明目的:本发明的目的是提供一种可检测Dockerfile文件,预测Dockerfile文件风险的大数据一体机容器集群风险预测方法。
技术方案:本发明所述的一种基于深度学习的大数据一体机容器集群风险预测方法,包括数据预处理、构建标准库和文件检测;所述数据预处理包括如下步骤:(11)解析Dockerfile文件;(12)生成符号向量;(13)符号向量标准化;(14)建立卷积神经网络模型;所述文件检测包括如下步骤:(21)预测风险概率;(22)根据风险概率决定如何放置Dockerfile文件。
所述数据预处理包括如下步骤:
(31)将Dockerfile文件解析生成抽象语法树;
(32)将Dockerfile文件中的部分指令和控制流节点作为符号向量,所述部分指令集和控制流节点如下表所示;
指令 | FROM、RUN、CMD、MAINTAINER、apt-get、echo…… |
控制流节点 | if、for…... |
(33)将符号向量编码为整数向量;
(34)建立卷积神经网络模型,将测试文件的整数向量输入模型中得到测试文件的语义特征;所述卷积神经网络模型包括嵌入层、卷积层、最大池化层、全连接层和输出层。
所述将符号向量编码为整数向量的方法为:所述指令和控制流节点对应不同的整数标识符,所述整数标识符从1开始至符号向量类型的总数结束;在向量的结尾添加“0”使所有向量长度一致。
所述构建标准库的步骤为:将所述测试文件的语义特征输入K-Means聚类算法模型进行分类,所述测试文件分为存在风险和不存在风险两类,分类后的测试文件是判断风险的标准库。
所述文件检测包括如下步骤:
(41)将待检测的Dockerfile文件的语义和结构特征输入到KNN算法中进行风险预测并返回风险概率;
(42)如果待检测的Dockertfile文件被标记为不存在风险,集群通过自身的负载均衡算法将容器放入;如果Dockerfile文件被标记为存在风险,则进行风险提示,并由用户决定是否对镜像进行放置。如果所述用户决定对镜像进行放置,则镜像文件放置的方法为:通过基于风险控制的放置算法将镜像文件放入到集群中:
其中,S表示安全性、W′表示工作负载、P表示能耗,N*和K*是预先确定的阈值。
H={h1,h2,…hK}表示有K个主机的云计算系统,U={u1,u2,…uM}表示M个用户,D={d1,d2,…dN}表示N个容器,XD×H×U={xd,h,u|xd,h,u=1,如果用户u的容器d分配给主机h}表示将每个用户的容器分配到特定的主机上。
有益效果:本发明的风险预测方法利用卷积神经网络提取Dockerfile文件的语义和结构特征并判断其是否存在风险及风险概率,得到风险概率后根据用户需求进行下一步工作,从源头控制风险,提前检测Docker镜像可能存在的漏洞,提高Docker容器的安全,从而进一步提高大数据一体机容器集群的安全。
附图说明
图1为本发明的风险预测框架;
图2为本发明的数据预处理过程;
图3为本发明的CNN模型结构图。
具体实施方式
下面结合附图对本发明的技术方案作进一步说明。
如图1所示,本发明所述的基于深度学习的大数据一体机容器集群方向预测方法,包括数据预处理、构建标准库和文件检测。
如图2所示,数据预处理的步骤如下:
(1)解析Dockerfile文件
将Dockerfile文件解析生成抽象语法树,抽象语法树上的节点具有构建Dockerfile文件表示的合适粒度,既保留了语法信息又保留了结构信息。
(2)生成符号向量
选择Dockerfile文件中重要指令集和控制流节点作为符号向量,选取的指令集和控制流节点如下表所示。请将表一补充完整
指令 | FROM、RUN、CMD、MAINTAINER、apt-get、echo…… |
控制流节点 | if、for…... |
(3)符号向量标准化
在符号向量和整数之间进行映射,将符号向量编码为整数向量。不同的指令或控制流节点对应不同的整数标识符,整数标识符从1开始至符号向量类型的总数结束。由于不同的Dockerfile文件内容不同,所以提取到的符号向量长度不同,进一步向量标准化后得到的整数向量长度不同,因此,在每个整数向量后添加0作为补充,使它们的长度与最长向量一致。通过此算法得到的整数向量可以输入卷积神经网络(CNN)模型并且保持了原有符号向量顺序的不变,保留了原本的结构信息。
(4)建立CNN模型
如图3所示,本实施例中深度学习算法的CNN模型基于Keras实现,包括嵌入层、卷积层、最大池化层、全连接层和输出层。
(4-1)嵌入层
解析Dockerfile文件,将Dockerfile文件向量化及标准化,并将标准化向量输入到卷积层。
(4-2)卷积层
(4-3)最大池化层
(4-4)全连接层
(4-5)输出层
使用反向传播与梯度下降优化调整CNN网络中的参数,得到CNN模型后,将测试数据向量化后的整数向量输入到CNN模型中,然后CNN的输出层获得测试数据的语义和结构特征。
构建标准库的步骤如下:
将CNN模型输出的测试数据集中的Dockerfile文件的语义特征输入到K-Means聚类算法模型,将Dockerfile文件分成两类:存在风险和不存在风险。K-Means聚类算法模型采用距离作为相似性的评级指标,即两个对象的距离越近,其相似度越大。通过计算当前点与每组中间中间的距离,对每个点进行分类,然后归到与距离最近的中心组内。分类后的Dockerfile文件作为判断风险的标准库。
文件检测的步骤如下:
(1)预测风险概率
将待检测的Dockerfile文件输入到CNN模型中生成语义和结构特征,将语义和结构特征输入到KNN算法中进行风险预测并返回风险概率。KNN算法根据标准库的数据,基于距离进行分类和回归演算,即通过不同特征值之间的距离进行分类预测,每次检测后都不断更新和完善标准库。
(2)Dockertfile文件放置
如果待检测的Dockertfile文件被标记为不存在风险,集群通过虚拟机自身的负载均衡算法将容器放入;负载均衡算法即是指虚拟机本身的任务调度算法,例如先来先服务算法、后来先服务算法、min-min算法、max-min算法等。
如果Dockerfile文件被标记为存在风险,则进行风险提示,并由用户决定是否对镜像进行放置,如果决定放置则通过基于风险控制的放置算法放入到集群中。该风险控制放置算法定量描述了集群安全性、工作负载、能耗之间的关系,不仅大大降低了存在风险的容器与其他安全容器共存的可能性,而且可以满足工作负载平衡和能耗方面的限制。
其中,S表示安全性、W′表示工作负载、P表示能耗,N*和K*是预先确定的阈值。在K个主机H={h1,h2,…hK}的云计算系统中,M个用户U={u1,u2,…uM},启动N个容器D={d1,d2,…dN}。如果将每个用户的容器分配到特定的主机上,则
XD×H×U={xd,h,u|xd,h,u=1,如果用户u的容器d分配给主机h}。
Claims (7)
1.一种基于深度学习的大数据一体机容器集群风险预测方法,其特征在于,包括数据预处理、构建标准库和文件检测;所述数据预处理包括如下步骤:(11)解析Dockerfile文件;(12)生成符号向量;(13)符号向量标准化;(14)建立卷积神经网络模型;所述文件检测包括如下步骤:(21)预测风险概率;(22)根据风险概率决定如何放置Dockerfile文件。
2.根据权利要求1所述的基于深度学习的大数据一体机容器集群风险预测方法,其特征在于,所述数据预处理包括如下步骤:
(31)将Dockerfile文件解析生成抽象语法树;
(32)将Dockerfile文件中的部分指令和控制流节点作为符号向量,所述部分指令集和控制流节点如下表所示;
(33)将符号向量编码为整数向量;
(34)建立卷积神经网络模型,将测试文件的整数向量输入模型中得到测试文件的语义特征;所述卷积神经网络模型包括嵌入层、卷积层、最大池化层、全连接层和输出层。
4.根据权利要求2所述的基于深度学习的大数据一体机容器集群风险预测方法,其特征在于,所述将符号向量编码为整数向量的方法为:所述指令和控制流节点对应不同的整数标识符,所述整数标识符从1开始至符号向量类型的总数结束;在向量的结尾添加“0”使所有向量长度一致。
5.根据权利要求1所述的基于深度学习的大数据一体机容器集群风险预测方法,其特征在于,所述构建标准库的步骤为:将所述测试文件的语义特征输入K-Means聚类算法模型进行分类,所述测试文件分为存在风险和不存在风险两类,分类后的测试文件是判断风险的标准库。
6.根据权利要求1所述的基于深度学习的大数据一体机容器集群风险预测方法,其特征在于,所述文件检测包括如下步骤:
(41)将待检测的Dockerfile文件的语义和结构特征输入到KNN算法中进行风险预测并返回风险概率;
(42)如果待检测的Dockertfile文件被标记为不存在风险,集群通过自身的负载均衡算法将容器放入;如果Dockerfile文件被标记为存在风险,则进行风险提示,并由用户决定是否对镜像进行放置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110040854.2A CN112764878B (zh) | 2021-01-13 | 2021-01-13 | 一种基于深度学习的大数据一体机容器集群风险预测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110040854.2A CN112764878B (zh) | 2021-01-13 | 2021-01-13 | 一种基于深度学习的大数据一体机容器集群风险预测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112764878A true CN112764878A (zh) | 2021-05-07 |
CN112764878B CN112764878B (zh) | 2024-04-23 |
Family
ID=75699990
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110040854.2A Active CN112764878B (zh) | 2021-01-13 | 2021-01-13 | 一种基于深度学习的大数据一体机容器集群风险预测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112764878B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114124973A (zh) * | 2021-09-27 | 2022-03-01 | 烽火通信科技股份有限公司 | 一种面向多云场景的镜像同步方法和装置 |
CN114327753A (zh) * | 2021-12-13 | 2022-04-12 | 中国人民解放军国防科技大学 | 一种容器构建结果的预测方法、装置、设备及介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20170067118A (ko) * | 2015-12-07 | 2017-06-15 | 한양대학교 에리카산학협력단 | 클라우드 환경에서 hdfs 기반의 도커 컨테이너 보안 로그 분석 방법 및 시스템 |
GB201720174D0 (en) * | 2017-12-04 | 2018-01-17 | British Telecomm | Software container application security |
CN107835179A (zh) * | 2017-11-14 | 2018-03-23 | 山东超越数控电子股份有限公司 | 一种基于虚拟化容器的应用程序防护方法与装置 |
WO2019153829A1 (zh) * | 2018-02-12 | 2019-08-15 | 人和未来生物科技(长沙)有限公司 | 一种容器Dockerfile、容器镜像快速生成方法及系统 |
CN110232280A (zh) * | 2019-06-20 | 2019-09-13 | 北京理工大学 | 一种基于树结构卷积神经网络的软件安全漏洞检测方法 |
CN110543770A (zh) * | 2019-09-02 | 2019-12-06 | 南瑞集团有限公司 | 一种开源软件的漏洞检测方法、装置及系统 |
US20200097662A1 (en) * | 2018-09-25 | 2020-03-26 | Ca, Inc. | Combined threat score for container images |
-
2021
- 2021-01-13 CN CN202110040854.2A patent/CN112764878B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20170067118A (ko) * | 2015-12-07 | 2017-06-15 | 한양대학교 에리카산학협력단 | 클라우드 환경에서 hdfs 기반의 도커 컨테이너 보안 로그 분석 방법 및 시스템 |
CN107835179A (zh) * | 2017-11-14 | 2018-03-23 | 山东超越数控电子股份有限公司 | 一种基于虚拟化容器的应用程序防护方法与装置 |
GB201720174D0 (en) * | 2017-12-04 | 2018-01-17 | British Telecomm | Software container application security |
WO2019153829A1 (zh) * | 2018-02-12 | 2019-08-15 | 人和未来生物科技(长沙)有限公司 | 一种容器Dockerfile、容器镜像快速生成方法及系统 |
US20200097662A1 (en) * | 2018-09-25 | 2020-03-26 | Ca, Inc. | Combined threat score for container images |
CN110232280A (zh) * | 2019-06-20 | 2019-09-13 | 北京理工大学 | 一种基于树结构卷积神经网络的软件安全漏洞检测方法 |
CN110543770A (zh) * | 2019-09-02 | 2019-12-06 | 南瑞集团有限公司 | 一种开源软件的漏洞检测方法、装置及系统 |
Non-Patent Citations (6)
Title |
---|
KAMTHANIA S: "A novel deep learning RBM based algorithm for securing containers", 2019 IEEE INTERNATIONAL WIE CONFERENCE ON ELECTRICAL AND COMPUTER ENGINEERING (WIECON-ECE) * |
LI S 等: "Software defect prediction via convolutional neural network", INTERNATIONAL CONFERECE ON SOFTWARE QUALITITY , RELIABILITY AND SECURITY * |
SHUAI Y等: "Memtv: a research on multi-level edge computing model for traffic video processing", 2020 CHINESE AUTOMATION CONGRESS (CAC).IEEE * |
金逸灵: "基于卷积神经网络的容器中恶意软件检测", 现代计算机, no. 33 * |
魏兴慎等: "SecDr:一种内容安全的Docker镜像仓库", 计算机与现代化 * |
鲁涛等: "Docker安全性研究", 计算机技术与发展, no. 06 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114124973A (zh) * | 2021-09-27 | 2022-03-01 | 烽火通信科技股份有限公司 | 一种面向多云场景的镜像同步方法和装置 |
CN114124973B (zh) * | 2021-09-27 | 2023-06-09 | 烽火通信科技股份有限公司 | 一种面向多云场景的镜像同步方法和装置 |
CN114327753A (zh) * | 2021-12-13 | 2022-04-12 | 中国人民解放军国防科技大学 | 一种容器构建结果的预测方法、装置、设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112764878B (zh) | 2024-04-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108959482B (zh) | 基于深度学习的单轮对话数据分类方法、装置和电子设备 | |
Sariyar et al. | The RecordLinkage package: detecting errors in data. | |
EP3467723A1 (en) | Machine learning based network model construction method and apparatus | |
Yin et al. | Incomplete multi-view clustering via subspace learning | |
US11521372B2 (en) | Utilizing machine learning models, position based extraction, and automated data labeling to process image-based documents | |
KR20180079168A (ko) | 이더넷 솔리드 스테이트 드라이브에서 데이터 패턴 매칭 및 기계 학습 알고리즘들을 지원하는 장치 및 방법 | |
KR102264233B1 (ko) | 문장, 문서 특징값 및 문장 가중치 간의 상관관계를 학습한 인공 신경망에 의해 생성된 설명이 부가된 문서 분류 방법 | |
WO2021068563A1 (zh) | 样本数据处理方法、装置、计算机设备及存储介质 | |
CN112764878A (zh) | 一种基于深度学习的大数据一体机容器集群风险预测方法 | |
CN115994177B (zh) | 基于数据湖的知识产权管理方法及其系统 | |
Tan et al. | Efficient execution of deep neural networks on mobile devices with npu | |
US11669687B1 (en) | Systems and methods for natural language processing (NLP) model robustness determination | |
CN110442711A (zh) | 文本智能化清洗方法、装置及计算机可读存储介质 | |
CN113434699A (zh) | Bert模型的预训练方法、计算机装置和存储介质 | |
CN110096697B (zh) | 词向量矩阵压缩方法和装置、及获取词向量的方法和装置 | |
US11531695B2 (en) | Multiscale quantization for fast similarity search | |
CN116957304B (zh) | 无人机群协同任务分配方法及系统 | |
WO2022154829A1 (en) | Neural architecture scaling for hardware accelerators | |
JPWO2020095357A1 (ja) | 検索ニーズ評価装置、検索ニーズ評価システム、及び検索ニーズ評価方法 | |
CN113435182A (zh) | 自然语言处理中分类标注的冲突检测方法、装置和设备 | |
CN113255752A (zh) | 基于特征聚类的固体材料一致性分选方法 | |
US11275893B1 (en) | Reference document generation using a federated learning system | |
CN113705197A (zh) | 一种基于位置增强的细粒度情感分析方法 | |
Bouhlel et al. | Semantic-aware framework for mobile image search | |
Li et al. | New semantic descriptor construction for facial expression recognition based on axiomatic fuzzy set |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |