CN114662033B - 一种基于文本和图像的多模态有害链接识别 - Google Patents
一种基于文本和图像的多模态有害链接识别 Download PDFInfo
- Publication number
- CN114662033B CN114662033B CN202210353216.0A CN202210353216A CN114662033B CN 114662033 B CN114662033 B CN 114662033B CN 202210353216 A CN202210353216 A CN 202210353216A CN 114662033 B CN114662033 B CN 114662033B
- Authority
- CN
- China
- Prior art keywords
- model
- picture
- text
- features
- harmful
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000605 extraction Methods 0.000 claims abstract description 42
- 238000012549 training Methods 0.000 claims abstract description 27
- 238000000034 method Methods 0.000 claims abstract description 22
- 230000004927 fusion Effects 0.000 claims abstract description 15
- 238000007619 statistical method Methods 0.000 claims abstract description 10
- 238000002372 labelling Methods 0.000 claims abstract description 8
- 238000013480 data collection Methods 0.000 claims abstract description 4
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 238000012216 screening Methods 0.000 claims abstract description 4
- 239000013598 vector Substances 0.000 claims description 26
- 238000013145 classification model Methods 0.000 claims description 10
- 238000013515 script Methods 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 claims description 3
- 230000007423 decrease Effects 0.000 claims description 2
- 238000001514 detection method Methods 0.000 abstract description 8
- 238000013135 deep learning Methods 0.000 abstract description 3
- 238000005070 sampling Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 230000007774 longterm Effects 0.000 description 3
- 208000001613 Gambling Diseases 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 239000007943 implant Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002574 poison Substances 0.000 description 1
- 231100000614 poison Toxicity 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
- Character Discrimination (AREA)
Abstract
本发明公开了一种基于文本和图像的多模态有害链接识别，S1、数据收集：利用网页图片截图技术对目标网站进行网页图片截取，对截取的图片按照类别进行人工标注，在人工标注和筛选的基础上尽可能保证涵盖各个行业，不同样式以保证模型的泛化性能，S2、预处理：主要采用图片增强对样本进行上采样，S3、特征提取：通过“有害链接图片文本特征提取”、“有害链接图片图像特征提取”和“有害链接统计分析特征提取”对特征进行提取，S4、特征融合，S5、模型训练：构建全连接分类器，采用深度学习技术，结合文本、图像、统计特征进行多模态融合构建模型，对有害链接进行分类检测。
Description
技术领域
本发明涉及有害链接识别技术领域，具体为一种基于文本和图像的多模态有害链接识别。
背景技术
内容安全已成为全球性互联网生态治理难题。互联网平台多媒体内容爆发带来海量信息的同时，也泥沙俱下裹挟有大量不良有害信息。
当内容平台发展快速，就会被灰黑产盯上，视作“流量蜜罐”，利用其流量曝光机会，植入涉黄赌毒等不良信息，以及大量垃圾广告等。
其中页面内容中包含的有害链接是内容安全检测的一个重要方向，页面中的有害链接可能存在不同程度的安全隐患，例如对网站品牌名誉损害，对用户造成误导产生不良后果等，其中链接最多的是各类非法广告类，涉黄低俗类信息，以及涉赌涉毒信息。主要是由于页面中的网站链接主体由于域名过期被抢注或页面被非法篡改等造成。随着内容的多媒体融合，5G等信息基础设施的发展，互联网内容也迎来大爆发，内容安全压力愈加严峻。
常规的有害链接检测技术可以分为基于黑名单库的过滤检测，基于链接统计分析特征的分类检测，
现实场景下对链接进行解析，域名备案查询得到的信息存在不全面、有效性差、不权威的问题，此外链接、域名、IP的黑名单库建立成本十分高昂。
发明内容
(一)解决的技术问题
针对现有技术的不足，本发明采用深度学习技术，结合文本、图像、统计特征进行多模态融合构建模型，对有害链接进行分类检测，提供了一种基于文本和图像的多模态有害链接识别。
(二)技术方案
为实现以上目的，本发明通过以下技术方案予以实现：一种基于文本和图像的多模态有害链接识别，具体包括以下步骤：
S1、数据收集：利用网页图片截图技术对目标网站进行网页图片截取，对截取的图片按照若干类别进行人工标注，其中网站图片样本每个类别500个，健康类别网站图片样本较多，在人工标注和筛选的基础上尽可能保证涵盖各个行业，不同样式以保证模型的泛化性能，对健康网站图片样本进行了下采样保证收集的若干类别样本相对均衡，样本图片大小为224*224*3；
S2、预处理：采用图片增强对样本进行上采样，利用Tensorflow图片预处理库完成，预处理后的结果将作为图片特征提取的输入；
S3、特征提取：通过“有害链接图片文本特征提取”、“有害链接图片图像特征提取”和“有害链接统计分析特征提取”对特征进行提取，有害链接图片文本特征提取利用基于中文的OCR模型对图片文字进行提取，有害链接图片图像特征提取涉及两个技术点“预训练微调”和“预训练模型提取图像特征”，特征提取手段利用python脚本进行字符串处理，再利用BERT模型提取文字特征、图像预训练模型微调提取网页截图特征、对链接进行统计分析提取特征；
S4、特征融合：在特征提取阶段中，将文本特征768维、图像特征512维、统计特征7维进行融合，共计1287维特征，由于文本、图像、统计特征均为1维的特征向量，特征融合只需对上述三个特征进行向量拼接；
S5、模型训练：构建全连接分类器，将融合后的1287维特征输入分类模型进行训练，经过35轮次的训练迭代后，模型取得了95％的正确率，模型经过部署后以API的形式对外提供，输入任意的网站链接即可返回有害链接的4个分类置信度；
所述S3步骤内“预训练微调”通过完成预训练对有害链接图片微调后，我们获得了一个图像的“特征抽取器”，即微调后的模型，利用这个“特征抽取器”我们输入图片便可以得到图像的特征向量表示，“预训练模型提取图像特征”加载VGG模型，对目标图片以(224，224，3)尺寸进行输入，输出全连接分类层倒数第二层的权重作为图片的特征向量，维度为(1，512)；
所述预训练微调模型核心原理通过冻结VGG16卷积层1到4层权重，解冻第5层卷积层权重，使之参与训练，在第五层的顶接入Flatten层将第五层输出特征矩阵展平，在上述模型的顶部接入全连接分类模型，接入分类模型是为了让预训练模型具有分辨有害链接类别的能力，通过解冻的第5层卷积层权重和全连接分类层进行训练，利用神经网络梯度下降对解冻的层进行参数更新，最终完成“预训练微调”。
优选的，所述S3步骤内OCR提取的文本特征目的是输入BERT模型，提取出图片上文本的特征向量，其中模型输出特征向量维度为(1，768)。
优选的，所述S3步骤内python脚本对域名长度，分隔符个数、特殊字符个数、数字占总长度比、分隔符内数字个数最大值、域名分隔符间最大长度、数字，字母转换频率7个维度进行特征提取，输入链接后，输出特征向量维度为(1，7)。
优选的，所述S3步骤中，BERT模型通过在海量的语料的基础上运行自监督学习方法为单词学习一个的特征表示，抛弃了传统的RNN和CNN，通过Attention机制将任意位置的两个单词的距离转换成1，有效的解决了NLP中棘手的长期依赖问题。
优选的，所述BERT的输入的编码向量是3个嵌入特征的单位和。
(三)有益效果
本发明提供了一种基于文本和图像的多模态有害链接识别。与现有技术相比，具备以下有益效果：该基于文本和图像的多模态有害链接识别，通过在S3、特征提取：通过“有害链接图片文本特征提取”、“有害链接图片图像特征提取”和“有害链接统计分析特征提取”对特征进行提取，有害链接图片文本特征提取利用基于中文的OCR模型对图片文字进行提取，有害链接图片图像特征提取涉及两个技术点“预训练微调”和“预训练模型提取图像特征”，特征提取手段主要利用python脚本进行字符串处理，再利用Bert模型提取文字特征、图像预训练模型微调提取网页截图特征、对链接进行统计分析提取特征，S4、特征融合：在特征提取阶段中，将文本特征768维、图像特征512维、统计特征7维进行融合，共计1287维特征，由于文本、图像、统计特征均为1维的特征向量，针对内容安全场景下黑链检测识别进行研发，利用文本OCR技术提取网页截图的文字，再通过模型提取文字特征、图像预训练模型微调提取网页截图特征、对链接进行统计分析提取特征。对上述特征进行融合训练分类模型以识别链接的合法性。
附图说明
图1为本发明基于文本和图像的多模态有害链接识别的流程图；
图2为本发明基于文本和图像的多模态有害链接识别的OCR文本特征提取流程流程图；
图3为本发明基于文本和图像的多模态有害链接识别的特征抽取器使用流程图；
图4为本发明基于文本和图像的多模态有害链接识别的预训练微调模型架构图；
图5为本发明基于文本和图像的多模态有害链接识别的python脚本提取流程图；
图6为本发明基于文本和图像的多模态有害链接识别的特征融合处理步骤图；
图7为本发明基于文本和图像的多模态有害链接识别的BERT模型结构图；
图8为本发明基于文本和图像的多模态有害链接识别的BERT的输入的编码向量特征图；
图9为本发明基于文本和图像的多模态有害链接识别的VGG16模型结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-9，本发明实施例提供一种技术方案：一种基于文本和图像的多模态有害链接识别，具体包括以下步骤：
S1、数据收集：利用网页图片截图技术对目标网站进行网页图片截取，对截取的图片按照类别进行人工标注，其中网站图片样本每个类别500个，健康类别网站图片样本较多，在人工标注和筛选的基础上尽可能保证涵盖各个行业，不同样式以保证模型的泛化性能，对健康网站图片样本进行了下采样保证收集的多个类别样本相对均衡，样本图片大小为224*224*3；
S2、预处理：采用图片增强对样本进行上采样，利用Tensorflow图片预处理库完成，预处理后的结果将作为图片特征提取的输入；
S3、特征提取：通过“有害链接图片文本特征提取”、“有害链接图片图像特征提取”和“有害链接统计分析特征提取”对特征进行提取，有害链接图片文本特征提取利用基于中文的OCR模型对图片文字进行提取，有害链接图片图像特征提取涉及两个技术点“预训练微调”和“预训练模型提取图像特征”，特征提取手段利用python脚本进行字符串处理，再利用BERT模型提取文字特征、图像预训练模型微调提取网页截图特征、对链接进行统计分析提取特征；
S4、特征融合：在特征提取阶段中，将文本特征768维、图像特征512维、统计特征7维进行融合，共计1287维特征，由于文本、图像、统计特征均为1维的特征向量，特征融合只需对上述三个特征进行向量拼接；
S5、模型训练：构建全连接分类器，将融合后的1287维特征输入分类模型进行训练，经过35轮次的训练迭代后，模型取得了95％的正确率，模型经过部署后以API的形式对外提供，输入任意的网站链接即可返回有害链接的4个分类置信度。
本发明中，S3步骤内“预训练微调”通过完成预训练对有害链接图片微调后，我们获得了一个图像的“特征抽取器”(微调后的模型)，利用这个“特征抽取器”我们输入图片便可以得到图像的特征向量表示，“预训练模型提取图像特征”加载VGG模型，对目标图片以(224，224，3)尺寸进行输入，输出全连接分类层倒数第二层的权重作为图片的特征向量，维度为(1，512)。
本发明中，预训练微调模型核心原理通过冻结VGG16卷积层1到4层权重，解冻第5层卷积层权重，使之参与训练，在第五层的顶接入Flatten层将第五层输出特征矩阵展平，在上述模型的顶部接入全连接分类模型，接入分类模型是为了让预训练模型具有分辨有害链接类别的能力，通过解冻的第5层卷积层权重和全连接分类层进行训练，利用神经网络梯度下降对解冻的层进行参数更新，最终完成“预训练微调”
VGG16的突出特点是简单，体现在：卷积层均采用相同的卷积核参数。
本发明中，S3步骤内OCR提取的文本特征目的是输入BERT模型，提取出图片上文本的特征向量，其中模型输出特征向量维度为(1，768)，BERT的网络架构使用的是《Attentionis all you need》中提出的多层Transformer结构，有效的解决了NLP中棘手的长期依赖问题。
本发明中，S3步骤内python脚本对域名长度，分隔符个数、特殊字符个数、数字占总长度比、分隔符内数字个数最大值、域名分隔符间最大长度、数字，字母转换频率7个维度进行特征提取，输入链接后，输出特征向量维度为(1，7)。
本发明中，S3步骤中，BERT模型通过在海量的语料的基础上运行自监督学习方法为单词学习一个的特征表示，抛弃了传统的RNN和CNN，通过Attention机制将任意位置的两个单词的距离转换成1，有效的解决了NLP中棘手的长期依赖问题。
本发明中，BERT的输入的编码向量是3个嵌入特征的单位和。
本发明中，S5步骤中，具体的数据返回案例如下：
同时本说明书中未作详细描述的内容均属于本领域技术人员公知的现有技术。
对比实验
本文本和图像的多模态有害链接识别，采用多模态链接识别方法与现有的链接识别方法方法进行综合对比实验，多模态链接识别方法综合指数为0.9(综合指数越高，识别效率越高)，现有链接识别方法综合指数为0.6(综合指数越高，识别效率越高)，本发明多模态链接识别方法其综合使用效果远高于现有链接识别方法综合使用效果。
综上所述，通过BERT提取文本特征、预训练模型提取图像特征多种特征提取方式，采用深度学习技术，结合文本、图像、统计特征进行多模态融合构建模型，对有害链接进行分类检测。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (5)
1.一种基于文本和图像的多模态有害链接识别，其特征在于：具体包括以下步骤：
S1、数据收集：利用网页图片截图技术对目标网站进行网页图片截取，对截取的图片按照若干类别进行人工标注，其中网站图片样本每个类别500个，健康类别网站图片样本数量大于不健康类别网站图片样本数量，在人工标注和筛选的基础上尽可能保证涵盖各个行业，不同样式以保证模型的泛化性能，对健康网站图片样本进行了下采样保证收集的若干类别样本相对均衡，样本图片大小为224*224*3；
S2、预处理：采用图片增强对样本进行上采样，利用Tensorflow图片预处理库完成，预处理后的结果将作为图片特征提取的输入；
S3、特征提取：通过“有害链接图片文本特征提取”、“有害链接图片图像特征提取”和“有害链接统计分析特征提取”对特征进行提取，有害链接图片文本特征提取是利用基于中文的OCR模型对图片文字进行提取，有害链接图片图像特征提取涉及两个技术点“预训练微调”和“预训练模型提取图像特征”，特征提取手段利用python脚本进行字符串处理，再利用BERT模型提取文字特征、图像预训练模型微调提取网页截图特征、对链接进行统计分析提取特征；
S4、特征融合：在特征提取阶段中，将文本特征768维、图像特征512维、统计特征7维进行融合，共计1287维特征，由于文本、图像、统计特征均为1维的特征向量，特征融合只需对上述三个特征进行向量拼接；
S5、模型训练：构建全连接分类器，将融合后的1287维特征输入分类模型进行训练，经过35轮次的训练迭代后，模型取得了95％的正确率，模型经过部署后以API的形式对外提供，输入任意的网站链接即可返回有害链接的4个分类置信度；
所述S3步骤内“预训练微调”是通过完成预训练对有害链接图片微调后，获得了一个图像的“特征抽取器”，即微调后的模型，利用这个“特征抽取器”输入图片便可得到图像的特征向量表示，“预训练模型提取图像特征”加载VGG模型，对目标图片以(224，224，3)尺寸进行输入，输出全连接分类层倒数第二层的权重作为图片的特征向量，维度为(1，512)；
所述预训练微调模型核心原理是通过冻结VGG16卷积层1到4层权重，解冻第5层卷积层权重，使之参与训练，在第五层的顶接入Flatten层将第五层输出特征矩阵展平，在上述模型的顶部接入全连接分类模型，接入分类模型是为了让预训练模型具有分辨有害链接类别的能力，通过解冻的第5层卷积层权重和全连接分类层进行训练，利用神经网络梯度下降对解冻的层进行参数更新，最终完成“预训练微调”。
2.根据权利要求1所述的一种基于文本和图像的多模态有害链接识别，其特征在于：所述S3步骤内OCR提取的文本特征目的是输入BERT模型，提取出图片上文本的特征向量，其中模型输出特征向量维度为(1，768)。
3.根据权利要求1所述的一种基于文本和图像的多模态有害链接识别，其特征在于：所述S3步骤内python脚本对域名长度，分隔符个数、特殊字符个数、数字占总长度比、分隔符内数字个数最大值、域名分隔符间最大长度、数字，字母转换频率7个维度进行特征提取，输入链接后，输出特征向量维度为(1，7)。
4.根据权利要求1所述的一种基于文本和图像的多模态有害链接识别，其特征在于：所述S3步骤中，BERT模型通过在若干的语料的基础上运行自监督学习方法为单词学习一个特征表示，通过Attention机制将任意位置的两个单词的距离转换成1。
5.根据权利要求1所述的一种基于文本和图像的多模态有害链接识别，其特征在于：所述BERT的输入的编码向量是3个嵌入特征的单位和。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210353216.0A CN114662033B (zh) | 2022-04-06 | 2022-04-06 | 一种基于文本和图像的多模态有害链接识别 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210353216.0A CN114662033B (zh) | 2022-04-06 | 2022-04-06 | 一种基于文本和图像的多模态有害链接识别 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114662033A CN114662033A (zh) | 2022-06-24 |
| CN114662033B true CN114662033B (zh) | 2024-05-03 |
Family
ID=82034887
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210353216.0A Active CN114662033B (zh) | 2022-04-06 | 2022-04-06 | 一种基于文本和图像的多模态有害链接识别 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114662033B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115688107B (zh) * | 2022-12-28 | 2023-04-11 | 卓望数码技术（深圳）有限公司 | 一种涉诈app检测系统和方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111161207A (zh) * | 2019-11-14 | 2020-05-15 | 西安工程大学 | 一种集成的卷积神经网络织物疵点分类方法 |
| CN111444960A (zh) * | 2020-03-26 | 2020-07-24 | 上海交通大学 | 基于多模态数据输入的皮肤病图像分类系统 |
| CN112685565A (zh) * | 2020-12-29 | 2021-04-20 | 平安科技（深圳）有限公司 | 基于多模态信息融合的文本分类方法、及其相关设备 |
| CN113222022A (zh) * | 2021-05-13 | 2021-08-06 | 支付宝(杭州)信息技术有限公司 | 一种网页分类识别方法及装置 |
| WO2021227091A1 (zh) * | 2020-05-15 | 2021-11-18 | 南京智谷人工智能研究院有限公司 | 一种基于图卷积神经网络的多模态分类方法 |
| CN114239689A (zh) * | 2021-11-19 | 2022-03-25 | 厦门市美亚柏科信息股份有限公司 | 一种基于多模态的网站类型判断方法及装置 |
-
2022
- 2022-04-06 CN CN202210353216.0A patent/CN114662033B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111161207A (zh) * | 2019-11-14 | 2020-05-15 | 西安工程大学 | 一种集成的卷积神经网络织物疵点分类方法 |
| CN111444960A (zh) * | 2020-03-26 | 2020-07-24 | 上海交通大学 | 基于多模态数据输入的皮肤病图像分类系统 |
| WO2021227091A1 (zh) * | 2020-05-15 | 2021-11-18 | 南京智谷人工智能研究院有限公司 | 一种基于图卷积神经网络的多模态分类方法 |
| CN112685565A (zh) * | 2020-12-29 | 2021-04-20 | 平安科技（深圳）有限公司 | 基于多模态信息融合的文本分类方法、及其相关设备 |
| CN113222022A (zh) * | 2021-05-13 | 2021-08-06 | 支付宝(杭州)信息技术有限公司 | 一种网页分类识别方法及装置 |
| CN114239689A (zh) * | 2021-11-19 | 2022-03-25 | 厦门市美亚柏科信息股份有限公司 | 一种基于多模态的网站类型判断方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 一种基于注意力机制与多模态的图像描述方法;牛斌;李金泽;房超;马利;徐和然;纪兴海;;辽宁大学学报(自然科学版);20190215(第01期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114662033A (zh) | 2022-06-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Guo et al. | CDnetV2: CNN-based cloud detection for remote sensing imagery with cloud-snow coexistence | |
| CN110674305B (zh) | 一种基于深层特征融合模型的商品信息分类方法 | |
| CN112749608B (zh) | 视频审核方法、装置、计算机设备和存储介质 | |
| CN111198995B (zh) | 一种恶意网页识别方法 | |
| CN108595708A (zh) | 一种基于知识图谱的异常信息文本分类方法 | |
| CN111061843A (zh) | 一种知识图谱引导的假新闻检测方法 | |
| CN110909673A (zh) | 一种基于自然语言描述的行人再识别方法 | |
| CN112215004A (zh) | 一种基于迁移学习在军事装备文本实体抽取中的应用方法 | |
| Zhou et al. | Remote sensing scene classification based on rotation-invariant feature learning and joint decision making | |
| CN112541476B (zh) | 一种基于语义特征提取的恶意网页识别方法 | |
| CN112907598B (zh) | 一种基于注意力cnn文档证件类图像篡改检测方法 | |
| CN112541501A (zh) | 一种基于视觉语言建模网络的场景文字识别方法 | |
| CN111597340A (zh) | 一种文本分类方法及装置、可读存储介质 | |
| CN111598183A (zh) | 一种多特征融合图像描述方法 | |
| CN111914553B (zh) | 一种基于机器学习的金融信息负面主体判定的方法 | |
| Pan et al. | Real-time winter road surface condition monitoring using an improved residual CNN | |
| CN114662033B (zh) | 一种基于文本和图像的多模态有害链接识别 | |
| CN117391051B (zh) | 一种融合情感的共同注意网络多模态虚假新闻检测方法 | |
| Pérez et al. | Deepcoast: Quantifying seagrass distribution in coastal water through deep capsule networks | |
| CN116796251A (zh) | 一种基于图文多模态的不良网站分类方法、系统及设备 | |
| CN114202336A (zh) | 一种金融场景下的风险行为监测方法及系统 | |
| Barbhuiya et al. | Gesture recognition from RGB images using convolutional neural network‐attention based system | |
| Peng et al. | Combining external attention GAN with deep convolutional neural networks for real–fake identification of luxury handbags | |
| CN111160040B (zh) | 一种基于多尺度门控均衡交互融合网络的信息可信度评估系统及方法 | |
| CN117217807A (zh) | 一种基于多模态高维特征的不良资产估值算法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |