CN110674265A - 面向非结构化信息的特征判别与信息推荐系统 - Google Patents

面向非结构化信息的特征判别与信息推荐系统 Download PDF

Info

Publication number
CN110674265A
CN110674265A CN201910723086.3A CN201910723086A CN110674265A CN 110674265 A CN110674265 A CN 110674265A CN 201910723086 A CN201910723086 A CN 201910723086A CN 110674265 A CN110674265 A CN 110674265A
Authority
CN
China
Prior art keywords
information
unstructured
feature
association
discrimination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910723086.3A
Other languages
English (en)
Other versions
CN110674265B (zh
Inventor
赵继胜
吴宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Fu Dian Intelligent Technology Co Ltd
Original Assignee
Shanghai Fu Dian Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Fu Dian Intelligent Technology Co Ltd filed Critical Shanghai Fu Dian Intelligent Technology Co Ltd
Priority to CN201910723086.3A priority Critical patent/CN110674265B/zh
Publication of CN110674265A publication Critical patent/CN110674265A/zh
Application granted granted Critical
Publication of CN110674265B publication Critical patent/CN110674265B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3322—Query formulation using system suggestions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于机器学习技术的算法框架，以软件的形式实现。本项发明针对非结构化数据的提取、综合、判别与关联，以机器学习建模技术作为技术基础，在模型设计方面以独有的创新形式构建出可以对非结构化数据实体进行关联度分析，实现特征判别和信息推荐功能。该项技术可用广泛的应用于智能商业应用环境中的各种复杂信息推荐和文化教育应用中的学术信息推荐场景。特别是对海量的、具有高维度数据特性集合、且以非结构化数据特性为主的信息进行特征判别并形成信息关联。

Description

面向非结构化信息的特征判别与信息推荐系统
技术领域
本发明属于涉及信息技术领域，尤其是涉及采用深度神经网络对不同类型的非结构化数据进行特征提取和判别，并通过特征关联构建信息推荐服务。该项技术可以用来实现对各种复杂的非结构化信息进行关联，特别是根据当前信息和指定场景，判别与之相关的信息集合。该项技术可用广泛的应用于商业智能应用环境中的各种复杂信息推荐和文化教育应用中的学术信息推荐场景。
背景技术
智能系统已经广泛应用于各类场景，处了判别类应用之外，在商业和学术环境中更多的是对知识和信息的关联，和由此产生的信息推荐系统，例如：商品推荐、文本信息推荐等。随着应用场景和需求的不断发展，越来越多的数据增量来自于不同类型的非结构化数据，因此如何定位非结构化数据的特征、如何提取非结构化信息之间的关联度为智能应用提供信息分析服务需要克服的技术挑战。
传统的信息关联算法通过对结构化单体(通常是结构化数据，例如实物的名称，或商品的名称)出现场景和频率的统计，构建单结构化体间的信息关联。而对于非结构化单体数据，由于其可能的表达多种多样(例如同一人物的照片可能有很多种拍摄角度，从而在此多种表达)，无法形成精确的归类判别，对信息关联造成了巨大的障碍。
深度神经网络已经广泛应用于不同类型的人工智能数据判别和分析领域，在对非结构化数据处理方面页取得了良好的进展。特别是在自然语言处理方面，基于递归神经网络和其变体的神经网络技术已经可以很好的应用于语音识别和语音、文本特征提取。在图形图像领域，深度卷积网络和其变体已经广泛应用于智能安防、医疗健康等领域，对图片的特征提取已经取得了长足进步。
本项发明通过提供一种针对多种非结构化数据进行特征提取，以此来建立基于特征(参见图2)的信息归类，在归类基础上进行信息关联的判别，从而实现了对非结构化信息的关联性判别(参见图1)。该项技术可以作为智能信息推荐引擎的基础技术平台，为商业智能(产品推荐)和学术研究(相关信息检索和搜索)提供有效支持。
发明内容
本项发明设计了一种面向非结构化数据信息关联的分析技术框架，该框架用以实现对不同数据类型的非结构化信息实现关联和映射，从而实现以信息体之间以相关形式出现的频度来判别不同信息体间的关联度的模型(参见图3)。具体包括：
1.对音频类型的非机构和信息的特征向量表达能力：对音频信号通过递归神经网络网络实现编码，即向量化；
2.对文本类型的非结构化信息的特征提取和向量化表达，所用算法以doc2vec为基础，该算法是google词向量技术的扩展，通过采用针对宽采样窗体(采样宽度为200)来实现对一般医疗图片和建筑场景描述的文本信息的精确特征捕捉和特征向量生成(参见图4)；
3.对图片类型的非结构化信息的特征向量化表达能力：使用以残差网络resnet为基础的特征提取算法，该网络以深度卷积网络为基础，通过引入残差连接，避免了因增加网络深度导致的信息丢失。采用深度残差网络可以更有效的提取复杂图片的特征，特别是网络深度可以有效满足不同类型的信息提取和向量化需求(参见图4)；
4.对视频类型的非结构化信息的特征向量表达能力：视频信息的特征向量生成需要采用3中的基于图片的特征向量生成技术对从视频中定期截取的帧进行编码(生成特征向量)，再将向量集合通过递归神经网络网络实现再编码，从而生成视频信息对应的特征向量(参见图4)；
5.基于特征的信息分类：通过以几何距离的方式进行信息聚类操作，实现细粒度归类，每个信息单体以其特征向量所在的类别来标识，信息聚类的算法以kmeans为主(参见图4)；
6.基于信息单体集合中不同的信息组合建立以频度为基础的信息关联模型，输入信息单体通过5中的类型标识来表示，所用的关联模型构建算法为FP-Growth(参见图4)。
面向非结构化数据信息关联的分析技术框架的构建包括如下步骤：
1.构建特征提取训练模型：
a.对于文本类型的特征提取模型：使用doc2vec技术在收集的文本素材上构建文本向量化模型；
b.对于图片类型的特征提取模型：收集图片和分类标注信息作为训练样本，通过resnet网络架构训练深度神经网络，并以训练好的网络的全连接层输出作为特征提取向量输出；
c.对于通过递归神经网络进行特征向量生成的音视频信息，通过以标签(通常采用音视频名称或作者)来表识训练数据集，建立基于递归神经网络的预测模型，再以训练好的递归神经网络模型的序列编码作为输出，即生成特征向量。
2.信息分类模型构建：
a.采用基于kmeans的聚类算法，以细粒度的分类方式将每一种非结构化信息进行归类(类型设置一般为大于20)；
b.将每一种非结构化信息的单体依据归类进行标识；
3.建立信息关联模型：
a.构建以信息归类为基础的关联集合作为训练数据，例如(照片1，照片2，文本1)同时出现，将这组数据作为信息单体‘照片1’，‘照片2’和‘文本1’的关联集合，‘照片1’的类型为‘p1’，‘照片2’的类型为‘p3’，‘文本1’的类型为‘t5’，原信息关联集合(照片1，照片2，文本1)被修改为(p1，p3，t5)；
b.以修改后的信息关联集合作为训练数据，通过FP-Growth算法建立信息关联模型，该模型可以预测当某个信息单体类型Tx出现时，最有可能出显的其他信息单体类型；
4.查询信息关联：对于给定的非结构化信息单体x，预测最有可能与之相关的信息单体集合
本项发明的上述技术方案有益结果如下：
在商业智能、学术信息分析、金融智能投研领域，需要针对海量的非结构化信息作信息关联，以简化人工处理和搜索的工作量。越来越多的智能系统采用机器学习算法作为信息关联的技术基础。但之前的技术局限于对明确的结构化信息单体进行关联分析，对应非机构化数据，由于其相似度相对模糊，因此容易造成关联判别分类时的困难和最终形成的关联模型准确度大幅降低。因此需要一种针对非结构化数据的关联分析解决方案。本项发明通过使用深度神经网络实现对非结构化信息的特征向量生成，结合细粒度的信息归类，将非结构化信息转换为近似结构化信息单体的表达方式，在通过以频度为基础的机器学习算法构建关联度模型。在查询方面，用户数据的非结构化信息可以通过特征向量进行归类，并基于之前的关联度模型找到与之相关的信息类型，通过反向查询该类型对应的信息找到关联的信息。本项发明为实现商业智能提供了更为精确的非结构化信息关联技术，面向大规模的非结构化数据推荐、搜索和分析，提供了高效的技术平台。
附图说明
图1内容关联与推荐技术框架
图2特征向量生成
图3内容关联/推荐系统建模技术框架
图4内容关联/推荐系统建模技术实现
图5内容关联与推荐技术实现
具体实施方式
根据发明内容中所阐述的构建面向非结构化数据信息关联的分析技术框架，其具体实现如下几节所述：构建特征提取训练模型：
a.对音频类型的非机构和信息的特征向量表达能力：对音频信号通过递归神经网络网络实现编码，递归神经网络的结构为2000个输入单元，500个隐含神经元(参见图4)；
b.对文本类型的非结构化信息的特征提取和向量化表达，所用算法以doc2vec为基础，该算法是google词向量技术的扩展，通过采用针对宽采样窗体(采样宽度为200)来实现对文本信息的精确特征捕捉和特征向量生成(参见图4)；
c.对图片类型的非结构化信息的特征向量化表达能力：使用以残差网络resnet-50作为特征提取算法(参见图4)，通过其全连接层作为特征向量输出，特征向量长度设定为128；
d.对视频类型的非结构化信息的特征向量表达能力：视频信息的特征向量生成需要采用3中的基于图片的特征向量生成技术对从视频中定期截取的帧进行编码(生成特征向量，对于每一帧的特征向量长度设定为32，采样数量为128)，再将向量集合通过递归神经网络网络实现再编码，从而生成视频信息对应的特征向量，用于编码的递归神经网络架构为4096个输入单元，800个隐含神经元。
训练数据：
a.对于文本类型的特征提取模型，需要收集文本素材作为训练数据集；
b.对于图片类型的特征提取模型，需要收集图片和分类标注信息作为训练样本；
c.对于通过递归神经网络进行特征向量生成的音视频信息，通过以标签(通常采用音视频名称或作者)来表识训练数据集。
信息分类模型采用基于kmeans的聚类算法，以细粒度的分类方式将每一种非结构化信息进行归类(类型设置一般为20～50)；将每一种非结构化信息的单体依据归类进行标识，并建立每一种标识到对应的非结构化信息单体的数据库关联(参见图4)。
建立信息关联模型：
a.将同时出现的信息单体作为关联集合，例如(照片1，照片2，文本1)同时出现，将这组数据作为信息单体‘照片1’，‘照片2’和‘文本1’的关联集合；
b.收集所有的信息关联集合，对每个集合，以信息单体的归类表识别替换集合内容，例如‘照片1’的类型为‘p1’，‘照片2’的类型为‘p3’，‘文本1’的类型为‘t5’，原信息关联集合(照片1，照片2，文本1)被修改为(p1，p3，t5)；
c.以修改后的信息关联集合作为训练数据，通过FP-Growth算法建立信息关联模型，该模型可以预测当某个信息单体类型Tx出现时，最有可能出显的其他信息单体类型(参见图4)；
查询信息关联：对于给定的非结构化信息单体x，预测最有可能与之相关的信息单体集合(参见图5)
a.通过建立的非结构化数据特征向量生成模型，生成x的特征向量Vx；
b.通过Vx判别x所属的类别Tx；
c.通过Tx定位与之相关的类型Ty；
d.在信息与信息特征向量表中查询Ty对应的信息单体集合Sy；
e.Sy作为与相关的信息返回给查询用户。
对于不断增加的数据，系统可以迭代式更新信息分类和关联度模型，以保障信息关联系统的精确度。

Claims (11)

1.面向非结构化信息的特征判别与信息推荐系统，包括：提供了一种基于机器学习技术的算法框架，以软件的形式实现。该框架能够进行自动化特征判别，并结合信息关联构建信息推荐系统。本发明侧重于对海量具有高维度数据特性集合、且以非结构化数据特性为主的信息进行特征判别，并结合信息关联，生成根据用户给定信息生成相应的推荐信息的机器学习模型。不同于针对结构化信息的推荐系统，目前广泛出现在学术和商业场景中的数据更多表示为非结构化(如图像，音视频，文本信息等)，因此如何将这些信息有效的利用，需要强有力的特征提取、综合与判别能力。本项发明针对非结构化数据的提取、综合、判别与关联构成的挑战，以机器学习建模技术作为技术基础，在模型设计方面以独有的创新形式构建出可以对非结构化数据而非以往的结构化数据实体进行关联度分析，实现特征判别和信息推荐功能。该项技术可用广泛的应用于智能商业应用环境中的各种复杂信息推荐和文化教育应用中的学术信息推荐场景。
2.发明设计了一种面向非结构化数据信息关联的分析技术框架，该框架用以实现对不同数据类型的非结构化信息实现关联和映射，从而实现以信息体之间以相关形式出现的频度来判别不同信息体间的关联度的模型(参见图3)。具体包括：对音频类型的非机构和信息的特征向量表达能力：对音频信号通过递归神经网络网络实现编码，即向量化；对文本类型的非结构化信息的特征提取和向量化表达，所用算法以doc2vec为基础，该算法是google词向量技术的扩展，通过采用针对宽采样窗体(采样宽度为200)来实现对一般医疗图片和建筑场景描述的文本信息的精确特征捕捉和特征向量生成(参见图4)；对图片类型的非结构化信息的特征向量化表达能力：使用以残差网络resnet为基础的特征提取算法，该网络以深度卷积网络为基础，通过引入残差连接，避免了因增加网络深度导致的信息丢失。采用深度残差网络可以更有效的提取复杂图片的特征，特别是网络深度可以有效满足不同类型的信息提取和向量化需求(参见图4)；对视频类型的非结构化信息的特征向量表达能力：视频信息的特征向量生成需要采用3中的基于图片的特征向量生成技术对从视频中定期截取的帧进行编码(生成特征向量)，再将向量集合通过递归神经网络网络实现再编码，从而生成视频信息对应的特征向量；基于特征的信息分类：通过以几何距离的方式进行信息聚类操作，实现细粒度归类，每个信息单体以其特征向量所在的类别来标识，信息聚类的算法以KMeans为主；基于信息单体集合中不同的信息组合建立以频度为基础的信息关联模型，输入信息单体通过类型标识来表示，所用的关联模型构建算法为FP-Growth。
3.面向非结构化信息的特征判别与信息推荐系统，其特征在于通过对各类非结构化数据进行特征提取，分别对不同类型非结构化数据提取的特征向量进行归类，以归类为基础进行基于信息单体的不同组合出现的频度建立信息关联，以信息关联为基础构建推荐系统。
4.面向非结构化信息的特征判别与信息推荐系统，其特征在于采用递归神经网络(2000输入，500个隐含神经元)对音频信号进行特征提取，生成特征向量。
5.面向非结构化信息的特征判别与信息推荐系统，其特征在于词向量技术(doc2vec)对文本类型数据进行特征提取，生成特征向量。
6.面向非结构化信息的特征判别与信息推荐系统，其特征在于对图像数据使用以残差网络resnet为基础的特征提取算法，生成特征向量。
7.面向非结构化信息的特征判别与信息推荐系统，其特征在于对视频数据采用前述图像特征提取使用的基于图片的特征向量生成技术对从视频中定期截取的帧进行编码(生成特征向量)，再将向量集合通过递归神经网络网络实现再编码，从而生成视频信息对应的特征向量。
8.面向非结构化信息的特征判别与信息推荐系统，其特征在于对不同类型的数据的特征向量通过KMeans算法进行归类，应用的类型数量为20～50。
9.面向非结构化信息的特征判别与信息推荐系统，其特征在于对基于信息单体集合中不同的信息组合建立以频度为基础的信息关联模型，输入信息单体通过前述的归类建立的类型标识来表示，所用的关联模型构建算法为FP-Growth。
10.面向非结构化信息的特征判别与信息推荐系统，其特征在输入非结构化信息(音频、文本、图像、视频)，通过查询其分类所对应的关联分类，得到对应的非结构化信息。
11.面向非结构化信息的特征判别与信息推荐系统，其特征在于对非结构化信息及其对应的特征向量进行迭代式保存。
CN201910723086.3A 2019-08-06 2019-08-06 面向非结构化信息的特征判别与信息推荐系统 Active CN110674265B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910723086.3A CN110674265B (zh) 2019-08-06 2019-08-06 面向非结构化信息的特征判别与信息推荐系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910723086.3A CN110674265B (zh) 2019-08-06 2019-08-06 面向非结构化信息的特征判别与信息推荐系统

Publications (2)

Publication Number Publication Date
CN110674265A true CN110674265A (zh) 2020-01-10
CN110674265B CN110674265B (zh) 2021-03-02

Family

ID=69068767

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910723086.3A Active CN110674265B (zh) 2019-08-06 2019-08-06 面向非结构化信息的特征判别与信息推荐系统

Country Status (1)

Country Link
CN (1) CN110674265B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022088417A1 (zh) * 2020-10-29 2022-05-05 深圳大学 一种基于异质特征深度残差网络的内容推荐方法
US20220147758A1 (en) * 2020-11-10 2022-05-12 Fujitsu Limited Computer-readable recording medium storing inference program and method of inferring

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106022477A (zh) * 2016-05-18 2016-10-12 国网信通亿力科技有限责任公司 智能分析决策系统及方法
US20170019312A1 (en) * 2015-07-17 2017-01-19 Brocade Communications Systems, Inc. Network analysis and management system
CN107145503A (zh) * 2017-03-20 2017-09-08 中国农业大学 基于word2vec的远监督非分类关系提取方法及系统
CN108073902A (zh) * 2017-12-19 2018-05-25 深圳先进技术研究院 基于深度学习的视频总结方法、装置及终端设备
CN108268600A (zh) * 2017-12-20 2018-07-10 北京邮电大学 基于ai的非结构化数据管理方法及装置
US20180300647A1 (en) * 2017-04-13 2018-10-18 International Business Machines Corporation Intelligent service negotiation using cognitive techniques
CN109241446A (zh) * 2018-10-17 2019-01-18 重庆聚焦人才服务有限公司 一种职位推荐方法及系统
CN109460472A (zh) * 2018-11-09 2019-03-12 北京京东金融科技控股有限公司 文本分类方法和装置、及电子设备
CN109726258A (zh) * 2018-12-20 2019-05-07 李斯嘉 一种基于关联规则的路径生成方法和系统
CN109886357A (zh) * 2019-03-13 2019-06-14 哈尔滨工程大学 一种基于特征融合的自适应权重深度学习目标分类方法
CN110033766A (zh) * 2019-04-17 2019-07-19 重庆大学 一种基于二值化递归神经网络的语音识别方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170019312A1 (en) * 2015-07-17 2017-01-19 Brocade Communications Systems, Inc. Network analysis and management system
CN106022477A (zh) * 2016-05-18 2016-10-12 国网信通亿力科技有限责任公司 智能分析决策系统及方法
CN107145503A (zh) * 2017-03-20 2017-09-08 中国农业大学 基于word2vec的远监督非分类关系提取方法及系统
US20180300647A1 (en) * 2017-04-13 2018-10-18 International Business Machines Corporation Intelligent service negotiation using cognitive techniques
CN108073902A (zh) * 2017-12-19 2018-05-25 深圳先进技术研究院 基于深度学习的视频总结方法、装置及终端设备
CN108268600A (zh) * 2017-12-20 2018-07-10 北京邮电大学 基于ai的非结构化数据管理方法及装置
CN109241446A (zh) * 2018-10-17 2019-01-18 重庆聚焦人才服务有限公司 一种职位推荐方法及系统
CN109460472A (zh) * 2018-11-09 2019-03-12 北京京东金融科技控股有限公司 文本分类方法和装置、及电子设备
CN109726258A (zh) * 2018-12-20 2019-05-07 李斯嘉 一种基于关联规则的路径生成方法和系统
CN109886357A (zh) * 2019-03-13 2019-06-14 哈尔滨工程大学 一种基于特征融合的自适应权重深度学习目标分类方法
CN110033766A (zh) * 2019-04-17 2019-07-19 重庆大学 一种基于二值化递归神经网络的语音识别方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022088417A1 (zh) * 2020-10-29 2022-05-05 深圳大学 一种基于异质特征深度残差网络的内容推荐方法
US20220147758A1 (en) * 2020-11-10 2022-05-12 Fujitsu Limited Computer-readable recording medium storing inference program and method of inferring

Also Published As

Publication number Publication date
CN110674265B (zh) 2021-03-02

Similar Documents

Publication Publication Date Title
Gabeur et al. Multi-modal transformer for video retrieval
Xu et al. Survey on multi-output learning
CN111858954B (zh) 面向任务的文本生成图像网络模型
CN110334705B (zh) 一种结合全局和局部信息的场景文本图像的语种识别方法
CN112926303B (zh) 一种基于BERT-BiGRU的恶意URL检测方法
CN113158023B (zh) 基于混合推荐算法的公共数字生活精准分类服务方法
Liu et al. LSTM-based multi-label video event detection
CN110598005A (zh) 一种面向公共安全事件的多源异构数据知识图谱构建方法
CN110555208B (zh) 一种信息查询中的歧义消除方法、装置及电子设备
CN112733866A (zh) 一种提高可控图像文本描述正确性的网络构建方法
Gao et al. Self-attention driven adversarial similarity learning network
CN113780003A (zh) 时空数据变分编解码跨模态增强方法
CN111666766A (zh) 数据处理方法、装置和设备
CN114299321A (zh) 视频分类方法、装置、设备及可读存储介质
Menaga et al. Deep learning: a recent computing platform for multimedia information retrieval
CN110674265B (zh) 面向非结构化信息的特征判别与信息推荐系统
CN115131698A (zh) 视频属性确定方法、装置、设备及存储介质
CN116561305A (zh) 基于多模态和transformer的假新闻检测方法
CN115860152A (zh) 一种面向人物军事知识发现的跨模态联合学习方法
CN115203471A (zh) 一种基于注意力机制的多模融合视频推荐方法
CN113240033B (zh) 一种基于场景图高阶语义结构的视觉关系检测方法及装置
Saleem et al. Stateful human-centered visual captioning system to aid video surveillance
Liu et al. A multimodal approach for multiple-relation extraction in videos
CN116561639A (zh) 一种面向开源情报的多模态数据情感分析方法
KR20190023722A (ko) 소셜 빅데이터 기반 감성 분석 키워드 확장 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant