CN116958767A - 基于多模态技术的智能合约安全分析方法及系统 - Google Patents

基于多模态技术的智能合约安全分析方法及系统 Download PDF

Info

Publication number
CN116958767A
CN116958767A CN202310862937.9A CN202310862937A CN116958767A CN 116958767 A CN116958767 A CN 116958767A CN 202310862937 A CN202310862937 A CN 202310862937A CN 116958767 A CN116958767 A CN 116958767A
Authority
CN
China
Prior art keywords
model
feature
network
intelligent contract
mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310862937.9A
Other languages
English (en)
Other versions
CN116958767B (zh
Inventor
朱会娟
王娜
王良民
杨凯旋
王一
马凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu University
Original Assignee
Jiangsu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu University filed Critical Jiangsu University
Priority to CN202310862937.9A priority Critical patent/CN116958767B/zh
Publication of CN116958767A publication Critical patent/CN116958767A/zh
Application granted granted Critical
Publication of CN116958767B publication Critical patent/CN116958767B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于多模态技术的智能合约安全分析方法及系统，将智能合约的字节码文件转换为图片，并计算智能合约操作码的调用频率，利用这两种特征表征当前待测合约，根据两种特征构建两种不同单模态模型，通过所提出的MFNet集成单模态模型，由MLP生成智能合约的安全分析结果。本发明在不依赖任何专家知识或规则的前提下，利用合约的两种文件构造特征可以自动捕获更全面的特性，具有较高的代码覆盖率和指令细节，多模态特征融合网络MFNet以挖掘两种模态的内在依赖性和互补性优势，将单模态模型集成在一起，克服现有检测方案受限于特征表示能力以及只能检测特定漏洞的问题，能够自动化实现智能合约的安全分析工作。

Description

基于多模态技术的智能合约安全分析方法及系统
技术领域
本发明涉及深度学习、智能合约检测技术，具体涉及基于多模态技术的智能合约安全分析方法及系统。
背景技术
多模态技术是一种应用于许多领域的技术，例如语音助手、自动翻译、虚拟现实和增强现实等等。在机器学习领域，多模态通常指的是同时使用多种类型的数据(例如图像、语音、文本等)来训练和优化模型。这些不同类型的数据可以相互补充和印证，从而提高模型的准确性和泛化能力。
卷积神经网络(Convolutional Neural Networks,CNN)是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks)，是深度学习(deeplearning)的代表算法之一。卷积神经网络具有表征学习能力，能够按其阶层结构对输入信息进行平移不变分类，因此也被称为“平移不变人工神经网络(Shift-InvariantArtificial Neural Networks,SIANN)”。
多模态机器学习是指利用多种不同类型的数据进行训练和预测，例如图像、文本、语音等。在多模态领域，后端融合技术是指将不同数据模态的特征提取器和分类器进行整合，以实现更准确的分类和预测。后端融合技术通常包括两个主要组成部分：特征提取和分类器。其中深度学习方法能够自动地从原始数据中提取特征，并且按照学习目标自动学习分类器，从而减少了手动设计特征的工作量。在多模态数据中，可以使用深度神经网络来实现端到端的融合，以获取更好的性能和效果。因此，后端融合技术是多模态机器学习中至关重要的一环，它可以帮助提高系统的性能和稳定性，并为各种应用场景提供更准确和可靠的预测结果。
在现有的智能合约的安全检测工作中，例如CN202210610675.2公布的一种基于人工智能的漏洞检测方法中，使用无标签样本对预训练模型进行训练，并利用有标签样本对智能合约漏洞检测模型进行训练，以降低智能合约漏洞检测的误报率问题。在CN202210065372.7公布的一种基于迁移学习的智能合约漏洞检测方法中，通过收集java和智能合约源代码数据、预处理建立标签、构建机器学习样本集、训练模型学习java代码，然后针对智能合约漏洞检测任务进行微调以完成模型的构建任务。在CN202010088596.0公布的一种基于深度学习的区块链智能合约漏洞检测方法中，通过将字节码反编译得到操作码，然后使用切片技术得到序列特征，然后使用卷积神经网络进行训练，最终得到一个智能合约的漏洞检测模型。
发明内容
发明目的：本发明的目的在于解决现有技术中存在的不足，提供基于多模态技术的智能合约安全分析方法及系统，能够解决现有技术对已知漏洞类型以及特征表示受限和代码覆盖率低的问题，本发明能静态地从智能合约的字节码和操作码中提取信息特征，充分考虑高代码覆盖率和指令细节，而不依赖于任何专家知识或规则且提出了一种多模态特征融合网络(MFNet)来探索多模态特征之间的内在依赖关系，并根据它们对目标任务的不同贡献来重新校准它们。
技术方案：本发明的一种基于多模态技术的智能合约安全分析方法，包括以下步骤：
步骤1、传入智能合约的地址以获取智能合约的字节码文件以及操作码文件；
步骤2、使用可视化方法将智能合约字节码文件转化为图像并作为第一特征；同时，通过计算智能合约操作码文件中各个操作码的调用频率得到第二特征；将第一特征和第二特征作为后续模型训练的输入；
步骤3、针对步骤2所得两种特征的表现形式分别构造单模态模型：对于第一特征，使用SE-ResNet-50构建图像特征模型，对于第二特征使用一维卷积神经网络Conv1D构建频率特征模型；然后对这两个单模态模型采用有监督的策略进行独立训练，并保存相关参数；
步骤4、使用MFNet网络将训练后的图像特征模型和频率特征模型进融合集成；
步骤5、使用增强的MLP结构作为网络分类头，以生成智能契约分析结果，此处分析结果分为恶意和良性；将MFNet的输出特征X_ma输入MLP结构分类器以生成合约安全分析结果，每个隐藏层均与ReLU激活函数相连；
其中，MLP结构分类器通过多层感知器MLP实现，MLP结构分类器中包含多个隐藏层Dense和一个Softmax函数。
将MFNet的输出特征Xma输入MLP结构分类器以生成合约安全分析结果，每个隐藏层均与ReLU激活函数相连。
进一步地，所述步骤2获得第一特征具体方法为：先读取智能合约字节码文件内容，每三个十六进制字符为一组，将每一组字符标识为色彩系统中的R、G、B的三个通道，通过如下公式进行转换：
color＝(blue&0x0000FF)|(green&0x00FF00)|(red&0xF0000)
其中，blue，green和red分别为十六进制字符组的第一、二、三个字符，“|”为位运算符；
所述步骤2获得第二特征的具体方法为：先读取智能合约操作码文件内容，将操作码文件中的操作码与操作数进行参数分离，按照以太坊黄皮书中的操作码计算智能合约中操作码频率来构建特征向量，最后将频率特征向量进行归一化处理以准备输入到网络中。
进一步地，所述步骤3中图像特征模型使用ResNet-50作为基础模型，并引入SENet重新校准图像的通道级特征，具体结构为：
在基础模型ResNet-50的第2层以及第23层分别堆叠一个SE(Squeeze-and-Excitation)块，将基础模型ResNet-50的最后一层全连接层替换为AveragePooling2D层；图像特征模型的分类函数使用Softmax函数，并基于模型的训练结果进行参数微调；
所述频率特征模型的具体结构为：
使用一维卷积神经网络Conv1D作为基础模型，将最大池化层MaxPooling1D、Dropout层和全连接层Dense与基础模型Conv1D相结合。
进一步地，所述步骤4MFNet网络中包括两个基本结构：多尺度特征增强网络(EnchanceNet)和多模态联合学习网络(JointNet)；MFNet网络融合图像特征模型和频率特征模型这两个模态模型的具体方法为：
步骤4.1、对两个单一模型中不同尺度的层进行处理；
使用全局平均池化GAP和卷积Conv层分别处理图像特征模型和频率特征模型的输出特征，以便得到相同维度的特征；并通过多尺度特征增强网络EnchanceNet将所有相同维度的特征使用concatenate操作为增强特征；
步骤4.2、尽管EnchanceNet可以增强和扩展特征，但不可避免地会引入一些特征冗余或噪声，此处使用基于自适应注意机制的多模态联合学习网络JointNet提高模型性能，而无需额外计算和开销；将步骤4.1所得增强特征输入基于自适应注意力机制的多模态联合学习网络JointNet；
自适应注意力机制的多模态联合学习网络JointNet依次包括Dense、K.reshape、Scaled Dot-Product Attention和Multi-Attention；Dense和K.reshape生成Scaled Dot-Product Attention的输入q、k、v，Scaled Dot-Product Attention重新校准两个单模态模型的增强特征；Multi-Attention旨在实现两个模型的权重分配，并进一步实现特征的重要性校准；
步骤4.3、将多尺度特征增强网络EnchanceNet和多模态联合学习网络JointNet整合为一起，以便来驱动整个MFNet网络；
缩放的点积注意力Scaled Dot-Product Attention的输入定义如下：
qi＝XiWq,ki＝XiWk,vi＝XiWv
上式中，Wq,Wk,Wv是Dense层和K.reshape层可学习的参数；i的取值为1或2，i＝1对应单模态图像特征模型的参数，i＝2对应单模态频率特征模型的参数；
使用Softmax函数计算特征的权重，这个权重用于重校准vi；进而得到两个单模态模型经由Scaled Dot-Product Attention的输出
其中qi表示当前位置的特征，ki表示用于计算注意力权重的向量，vi表示与每个ki相对应的值向量；
为在网络结构中执行残差结构，表示如下：
其中两个单模态模型经由Add层的输出结果；
然后，将两个模态的特征和/>输入到多头注意力组件中，用于计算两个单模态模型的权重attn，如下所示：
使用attn[0]与attn[1]重新校准特征和/>并拼接在一起形成JointNet的输出特征/>如下表示：
本发明还公开一种用于实现基于多模态技术的智能合约安全分析方法的系统，包括特征提取模块，单模态预训练模块和多模态融合模块；
所述特征提取模块用于提取待测文件中的特征文件，得到待测文件的图像特征和频率特征；
所述的单模态预训练模块针对于两种特征进行训练，按照模型的效果调节训练的参数，并保存每个模型的参数和网络结构；
所述的多模态融合模块挖掘两种模态的内在依赖性和互补性优势，将单模态模型集成在一起得到一个多模态模型，最后使用该模型进行目标样本的训练和预测。
有益效果：
1、本发明改进了智能合约依赖于源代码文件的特征提取策略，使用字节码和操作码分别提取图像以及频率特征作为合约的表征方式，不依赖于人工提取和先验知识，能够有效应对混淆技术给检测过程带来的阻力。
2、本发明基于后端融合策略提出的一种多模态特征融合结构(MFNet)不仅探索了多模态特征之间的内在依赖关系，根据它们对目标任务的不同贡献完成校准，保证了模型对于特征信息的学习能力，同时，对模态之间的特征依赖性进行建模，探索了各个模态之间的互补优势；
3、本发明采用热启动的训练策略，使得两个单模态模型在训练之后就具备了一定的性能，这样，在多模态融合阶段，大大减少了后续的训练时间，提高了训练的效率，同时也能保证较高的模型性能。
附图说明
图1为本发明获取第一特征和第二特征的流程示意图；
图2为本发明的图像特征模型结构示意图；
图3为本发明的频率特征模型结构示意图；
图4为本发明的多模态联合训练的示意图。
具体实施方式
下面对本发明技术方案进行详细说明，但是本发明的保护范围不局限于所述实施例。
如图1所示，本发明的基于多模态技术的智能合约安全分析方法，包括以下步骤：
步骤1、传入智能合约的地址以获取智能合约的字节码文件以及操作码文件；
步骤2、使用可视化方法将智能合约字节码文件转化为图像并作为第一特征；同时，通过计算智能合约操作码文件中各个操作码的调用频率得到第二特征；将第一特征和第二特征作为后续模型训练的输入；
步骤3、针对步骤2所得两种特征的表现形式分别构造单模态模型：对于第一特征，使用SE-ResNet-50构建图像特征模型，对于第二特征使用一维卷积神经网络Conv1D构建频率特征模型；然后对这两个单模态模型采用有监督的策略进行独立训练，并保存相关参数；
步骤4、使用MFNet网络将训练后的图像特征模型和频率特征模型进融合集成；
步骤5、使用增强的MLP结构作为网络分类头，以生成智能契约分析结果，此处分析结果分为恶意和良性；将MFNet的输出特征Xma输入MLP结构分类器以生成合约安全分析结果，每个隐藏层均与ReLU激活函数相连；
其中，MLP结构分类器通过多层感知器MLP实现，MLP结构分类器中包含多个隐藏层(Dense)和一个Softmax函数。
如图2所示，本实施例步骤2获得第一特征具体方法为：先读取智能合约字节码文件内容，每三个十六进制字符为一组，将每一组字符标识为色彩系统中的R、G、B的三个通道，通过如下公式进行转换：
color＝(blue&0x0000FF)|(green&0x00FF00)|(red&0xF0000)
其中，blue，green和red分别为十六进制字符组的第一、二、三个字符，“|”为位运算符；
所述步骤2获得第二特征的具体方法为：先读取智能合约操作码文件内容，将操作码文件中的操作码与操作数进行参数分离，按照以太坊黄皮书中的操作码计算智能合约中操作码频率来构建特征向量，最后将频率特征向量进行归一化处理以准备输入到网络中。
如图3所示，本实施例步骤3中图像特征模型使用ResNet-50作为基础模型，并引入SENet重新校准图像的通道级特征，具体结构为：
在基础模型ResNet-50的第2层以及第23层分别堆叠一个SE(Squeeze-and-Excitation)块，将基础模型ResNet-50的最后一层全连接层替换为AveragePooling2D层；图像特征模型的分类函数使用Softmax函数，并基于模型的训练结果进行参数微调；
所述频率特征模型的具体结构为：
使用一维卷积神经网络Conv1D作为基础模型，将最大池化层MaxPooling1D、Dropout层和全连接层Dense与基础模型Conv1D相结合。
如图4所示，本实施例步骤4MFNet网络中包括两个基本结构：多尺度特征增强网络(EnchanceNet)和多模态联合学习网络(JointNet)；MFNet网络融合图像特征模型和频率特征模型这两个模态模型的具体方法为：
步骤4.1、对两个单模态模型中不同尺度的层进行处理；
使用全局平均池化GAP和卷积Conv层分别处理图像特征模型和频率特征模型的输出特征，以便得到相同维度的特征；并通过多尺度特征增强网络EnchanceNet将所有相同维度的特征使用concatenate操作为增强特征；
步骤4.2、采用基于自适应注意力机制的多模态联合学习网络JointNet对增强特征进行处理；
所述基于自适应注意力机制的多模态联合学习网络JointNet依次包括Dense、K.reshape、Scaled Dot-Product Attention和Multi-Attention；Dense和K.reshape生成Scaled Dot-Product Attention的输入q、k、v，Scaled Dot-Product Attention重新校准两个单模态模型的增强特征；Multi-Attention旨在实现两个单模态模型的权重分配，并进一步实现特征的重要性校准；
步骤4.3、将多尺度特征增强网络EnchanceNet和多模态联合学习网络JointNet整合为一起，以便来驱动整个MFNet网络；
缩放的点积注意力Scaled Dot-Product Attention的输入定义如下：
qi＝XiWq,ki＝XiWk,vi＝XiWv
上式中，Wq,Wk,Wv是Dense层和K.reshape层可学习的参数；i的取值为1或2，分别代表两个单模态模型的参数；
使用Softmax函数计算特征的权重，这个权重用于重校准vi；进而得到两个单模态模型经由Scaled Dot-Product Attention的输出
其中qi表示当前位置的特征，ki表示用于计算注意力权重的向量，vi表示与每个ki相对应的值向量；
为在网络结构中执行残差结构，表示如下：
两个单模态模型经由Add层的输出结果。
然后，将特征和/>输入到多头注意力组件中，用于计算两个单模态模型的权重attn，如下所示：
使用attn[0]与attn[1]重新校准特征和/>并拼接在一起形成JointNet的输出特征/>如下表示：
表1本发明与现有技术的性能数据对比
从表1的实验结果可以看出，本发明在数据处理方面能够静态地从智能合约的字节码和操作码两种文件中提取信息，提高模型的代码覆盖率，补充了智能合约的指令细节，同时不依赖于任何专家知识或规则；并且本发明创新提出后端融合技术(多模态特征融合结构MFNet)可提高模型对多模态特征的重校准和学习能力，同时本发明在模型的训练过程中使用热启动的训练思路，可以提高模型的训练速度和泛化能力。

Claims (5)

1.一种基于多模态技术的智能合约安全分析方法，其特征在于，包括以下步骤：
步骤1、传入智能合约的地址以获取智能合约的字节码文件以及操作码文件；
步骤2、使用可视化方法将智能合约字节码文件转化为图像并作为第一特征；同时，通过计算智能合约操作码文件中各个操作码的调用频率得到第二特征；将第一特征和第二特征作为后续模型训练的输入；
步骤3、针对步骤2所得两种特征的表现形式分别构造单模态模型：对于第一特征，使用SE-ResNet-50构建图像特征模型，对于第二特征使用一维卷积神经网络Conv1D构建频率特征模型；然后对这两个单模态模型采用有监督的策略进行独立训练，并保存相关参数；
步骤4、使用MFNet网络将训练后的图像特征模型和频率特征模型进融合集成；
步骤5、使用增强的MLP结构作为网络分类头，以生成智能契约分析结果，此处分析结果分为恶意和良性；将MFNet的输出特征Xma输入MLP结构分类器以生成合约安全分析结果，每个隐藏层均与ReLU激活函数相连；
其中，MLP结构分类器通过多层感知器MLP实现，MLP结构分类器中包含多个隐藏层Dense和一个Softmax函数。
2.根据权利要求1所述的基于多模态技术的智能合约安全分析方法，其特征在于，所述步骤2获得第一特征具体方法为：先读取智能合约字节码文件内容，每三个十六进制字符为一组，将每一组字符标识为色彩系统中的R、G、B的三个通道，通过如下公式进行转换：
color＝(blue&0x0000FF)|(green&0x00FF00)|(red&0xFF0000)
其中，blue，green和red分别为十六进制字符组的第一、二、三个字符，“|”为位运算符；
所述步骤2获得第二特征的具体方法为：先读取智能合约操作码文件内容，将操作码文件中的操作码与操作数进行参数分离，按照以太坊黄皮书中的操作码计算智能合约中操作码频率来构建特征向量，最后将频率特征向量进行归一化处理以准备输入到网络中。
3.根据权利要求1所述的基于多模态技术的智能合约安全分析方法，其特征在于，所述步骤3中图像特征模型使用ResNet-50作为基础模型，并引入SENet重新校准图像的通道级特征，具体结构为：
在基础模型ResNet-50的第2层以及第23层分别堆叠一个SE块，将基础模型ResNet-50的最后一层全连接层替换为AveragePooling2D层；图像特征模型的分类函数使用Softmax函数，并基于模型的训练结果进行参数微调；
所述频率特征模型的具体结构为：
使用一维卷积神经网络Conv1D作为基础模型，将最大池化层MaxPooling1D、Dropout层和全连通层Dense与基础模型Conv1D相结合。
4.根据权利要求1所述的基于多模态技术的智能合约安全分析方法，其特征在于，所述步骤4MFNet网络中包括两个基本结构：多尺度特征增强网络EnchanceNet和多模态联合学习网络JointNet；MFNet网络融合图像特征模型和频率特征模型这两个模态模型的具体方法为：
步骤4.1、对两个单模态模型中不同尺度的层进行处理；
使用全局平均池化GAP和卷积Conv层分别处理图像特征模型和频率特征模型的输出特征，以便得到相同维度的特征；并通过多尺度特征增强网络EnchanceNet将所有相同维度的特征使用concatenate操作拼接为增强特征；
步骤4.2、采用基于自适应注意力机制的多模态联合学习网络JointNet对增强特征进行处理；
所述基于自适应注意力机制的多模态联合学习网络JointNet依次包括Dense、K.reshape、Scaled Dot-Product Attention和Multi-Attention；Dense和K.reshape生成Scaled Dot-Product Attention的输入q、k、v，Scaled Dot-Product Attention重新校准两个单模态模型的增强特征；Multi-Attention旨在实现两个单模态模型的权重分配，并进一步实现特征的重要性校准；
步骤4.3、将多尺度特征增强网络EnchanceNet和多模态联合学习网络JointNet整合为一起，以便来驱动整个MFNet网络；
缩放的点积注意力Scaled Dot-Product Attention的输入定义如下：
qi＝XiWq,ki＝XiWk,vi＝XiWv
上式中，Wq,Wk,Wv是Dense层和K.reshape层可学习的参数；i的取值为1或2，i＝1对应单模态图像特征模型的参数，i＝2对应单模态频率特征模型的参数；
使用Softmax函数计算特征的权重，这个权重用于重校准vi；进而得到两个单模态模型经由Scaled Dot-Product Attention的输出
其中qi表示当前位置的特征，ki表示用于计算注意力权重的向量，vi表示与每个ki相对应的值向量；
为在网络结构中执行残差结构，表示如下：
其中两个单模态模型经由Add层的输出结果；
然后，将特征和/>输入到多头注意力组件中，用于计算两个单模态模型的权重attn，如下所示：
使用attn[0]与attn[1]重新校准特征和/>并拼接在一起形成JointNet的输出特征/>如下表示：
5.一种用于实现权利要求1至4任意一项所述基于多模态技术的智能合约安全分析方法的系统，其特征在于，包括特征提取模块，单模态预训练模块和多模态融合模块；
所述特征提取模块用于提取待测文件中的特征文件，得到待测文件的图像特征和频率特征；
所述的单模态预训练模块针对于两种特征进行训练，按照模型的效果调节训练的参数，并保存每个模型的参数和网络结构；
所述的多模态融合模块挖掘两种单模态的内在依赖性和互补性优势，将单模态模型集成在一起得到一个多模态模型，最后使用该模型进行目标样本的训练和预测。
CN202310862937.9A 2023-07-14 2023-07-14 基于多模态技术的智能合约安全分析方法及系统 Active CN116958767B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310862937.9A CN116958767B (zh) 2023-07-14 2023-07-14 基于多模态技术的智能合约安全分析方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310862937.9A CN116958767B (zh) 2023-07-14 2023-07-14 基于多模态技术的智能合约安全分析方法及系统

Publications (2)

Publication Number Publication Date
CN116958767A true CN116958767A (zh) 2023-10-27
CN116958767B CN116958767B (zh) 2024-04-30

Family

ID=88448569

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310862937.9A Active CN116958767B (zh) 2023-07-14 2023-07-14 基于多模态技术的智能合约安全分析方法及系统

Country Status (1)

Country Link
CN (1) CN116958767B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117574214A (zh) * 2024-01-15 2024-02-20 中科链安(北京)科技有限公司 智能合约分类模型训练方法、智能合约分类方法及装置

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113254939A (zh) * 2021-05-20 2021-08-13 江苏大学 基于多注意力机制和自适应学习的智能合约漏洞检测方法
CN114419327A (zh) * 2022-01-18 2022-04-29 北京百度网讯科技有限公司 图像检测方法和图像检测模型的训练方法、装置
JP2022137145A (ja) * 2021-07-12 2022-09-21 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド マルチモーダルデータ連合学習モデルトレーニング方法及び装置
CN115270130A (zh) * 2022-06-13 2022-11-01 广州大学 基于静态特征全栈层次融合的智能合约漏洞检测系统及方法
CA3177530A1 (en) * 2021-07-14 2023-01-14 Strong Force TX Portfolio 2018, LLC Systems and methods with integrated gaming engines and smart contracts
CN115880312A (zh) * 2022-11-18 2023-03-31 重庆邮电大学 一种三维图像自动分割方法、系统、设备和介质
CN116052271A (zh) * 2023-01-04 2023-05-02 浪潮软件集团有限公司 一种基于CenterNet的实时吸烟检测方法及装置
CN116089944A (zh) * 2022-11-24 2023-05-09 江苏大学 基于迁移学习的跨平台应用程序异常检测方法、系统
WO2023087525A1 (zh) * 2021-11-19 2023-05-25 中国华能集团清洁能源技术研究院有限公司 多模态深度学习的发电设备异常一体化识别方法及设备
CN116226852A (zh) * 2023-02-20 2023-06-06 中国科学院软件研究所 基于多模态信息融合的移动平台恶意软件检测方法及装置
CN116340951A (zh) * 2023-03-17 2023-06-27 电子科技大学 一种基于自监督学习的智能合约漏洞检测方法
CN116340947A (zh) * 2022-12-12 2023-06-27 重庆邮电大学 一种基于Transformer的智能合约漏洞检测方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113254939A (zh) * 2021-05-20 2021-08-13 江苏大学 基于多注意力机制和自适应学习的智能合约漏洞检测方法
JP2022137145A (ja) * 2021-07-12 2022-09-21 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド マルチモーダルデータ連合学習モデルトレーニング方法及び装置
CA3177530A1 (en) * 2021-07-14 2023-01-14 Strong Force TX Portfolio 2018, LLC Systems and methods with integrated gaming engines and smart contracts
WO2023087525A1 (zh) * 2021-11-19 2023-05-25 中国华能集团清洁能源技术研究院有限公司 多模态深度学习的发电设备异常一体化识别方法及设备
CN114419327A (zh) * 2022-01-18 2022-04-29 北京百度网讯科技有限公司 图像检测方法和图像检测模型的训练方法、装置
CN115270130A (zh) * 2022-06-13 2022-11-01 广州大学 基于静态特征全栈层次融合的智能合约漏洞检测系统及方法
CN115880312A (zh) * 2022-11-18 2023-03-31 重庆邮电大学 一种三维图像自动分割方法、系统、设备和介质
CN116089944A (zh) * 2022-11-24 2023-05-09 江苏大学 基于迁移学习的跨平台应用程序异常检测方法、系统
CN116340947A (zh) * 2022-12-12 2023-06-27 重庆邮电大学 一种基于Transformer的智能合约漏洞检测方法
CN116052271A (zh) * 2023-01-04 2023-05-02 浪潮软件集团有限公司 一种基于CenterNet的实时吸烟检测方法及装置
CN116226852A (zh) * 2023-02-20 2023-06-06 中国科学院软件研究所 基于多模态信息融合的移动平台恶意软件检测方法及装置
CN116340951A (zh) * 2023-03-17 2023-06-27 电子科技大学 一种基于自监督学习的智能合约漏洞检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ZHENGJIE HUANG等: "Who is Gambling? Finding Cryptocurrency Gamblers Using Multi-modal Retrieval Methods", ARXIV, pages 1 - 16 *
吴俊杰;刘冠男;王静远;左源;部慧;林浩;: "数据智能:趋势与挑战", 系统工程理论与实践, no. 08 *
孔俊;: "基于双层特征融合的生物识别", 北华大学学报(自然科学版), no. 01 *
张小松等: "基于深度学习的智能合约漏洞检测方法综述", 四川大学学报, pages 1 - 12 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117574214A (zh) * 2024-01-15 2024-02-20 中科链安(北京)科技有限公司 智能合约分类模型训练方法、智能合约分类方法及装置
CN117574214B (zh) * 2024-01-15 2024-04-12 中科链安(北京)科技有限公司 智能合约分类模型训练方法、智能合约分类方法及装置

Also Published As

Publication number Publication date
CN116958767B (zh) 2024-04-30

Similar Documents

Publication Publication Date Title
CN110110624B (zh) 一种基于DenseNet网络与帧差法特征输入的人体行为识别方法
CN108564029B (zh) 基于级联多任务学习深度神经网络的人脸属性识别方法
CN113076994B (zh) 一种开集域自适应图像分类方法及系统
CN110175248B (zh) 一种基于深度学习和哈希编码的人脸图像检索方法和装置
CN116958767B (zh) 基于多模态技术的智能合约安全分析方法及系统
CN110046544A (zh) 基于卷积神经网络的数字手势识别方法
CN113378949A (zh) 一种基于胶囊网络和混合注意力的双重生成对抗学习方法
CN111274987A (zh) 人脸表情识别方法及人脸表情识别装置
CN114662497A (zh) 一种基于协同神经网络的虚假新闻检测方法
CN117408311B (zh) 一种基于CNN、Transformer和迁移学习的小样本恶意网站检测方法
CN114724222A (zh) 一种基于多模态的ai数字人情感分析方法
Zhang et al. Joint distribution alignment via adversarial learning for domain adaptive object detection
CN109815957A (zh) 一种基于彩色图像在复杂背景下的文字识别方法
CN117746078A (zh) 一种基于用户自定义类别的物体检测方法及系统
Ma et al. Banknote serial number recognition using deep learning
CN114662586A (zh) 一种基于共注意的多模态融合机制检测虚假信息的方法
Liu et al. Iterative deep neighborhood: a deep learning model which involves both input data points and their neighbors
CN113076916A (zh) 基于几何特征加权融合的动态人脸表情识别方法及系统
CN110942463B (zh) 一种基于生成对抗网络的视频目标分割方法
Salih et al. Deep learning for face expressions detection: Enhanced recurrent neural network with long short term memory
Gadge et al. Recognition of Indian Sign Language characters using convolutional neural network
Liu et al. Grab What You Need: Rethinking Complex Table Structure Recognition with Flexible Components Deliberation
CN110555342B (zh) 一种图像识别方法、装置和图像设备
CN112487909A (zh) 一种基于并联卷积神经网络的水果品种识别方法
Sun et al. Real-time Underwater Target Tracking Using PP-YOLO and Cloud Computing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant