CN107038221B - 一种基于语义信息引导的视频内容描述方法 - Google Patents
一种基于语义信息引导的视频内容描述方法 Download PDFInfo
- Publication number
- CN107038221B CN107038221B CN201710174883.1A CN201710174883A CN107038221B CN 107038221 B CN107038221 B CN 107038221B CN 201710174883 A CN201710174883 A CN 201710174883A CN 107038221 B CN107038221 B CN 107038221B
- Authority
- CN
- China
- Prior art keywords
- vector
- feature vector
- semantic feature
- frame
- time node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
- G06V10/422—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
- G06V10/424—Syntactic representation, e.g. by using alphabets or grammars
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Library & Information Science (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
Description
Claims (1)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710174883.1A CN107038221B (zh) | 2017-03-22 | 2017-03-22 | 一种基于语义信息引导的视频内容描述方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710174883.1A CN107038221B (zh) | 2017-03-22 | 2017-03-22 | 一种基于语义信息引导的视频内容描述方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107038221A CN107038221A (zh) | 2017-08-11 |
CN107038221B true CN107038221B (zh) | 2020-11-17 |
Family
ID=59534623
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710174883.1A Active CN107038221B (zh) | 2017-03-22 | 2017-03-22 | 一种基于语义信息引导的视频内容描述方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107038221B (zh) |
Families Citing this family (48)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107563498B (zh) * | 2017-09-08 | 2020-07-14 | 中国石油大学(华东) | 基于视觉与语义注意力相结合策略的图像描述方法及系统 |
CN107608943B (zh) * | 2017-09-08 | 2020-07-28 | 中国石油大学(华东) | 融合视觉注意力和语义注意力的图像字幕生成方法及系统 |
CN108304846B (zh) * | 2017-09-11 | 2021-10-22 | 腾讯科技(深圳)有限公司 | 图像识别方法、装置及存储介质 |
CN107909014A (zh) * | 2017-10-31 | 2018-04-13 | 天津大学 | 一种基于深度学习的视频理解方法 |
CN107818174A (zh) * | 2017-11-15 | 2018-03-20 | 浙江大学 | 一种利用视频外表及动作上的渐进式优化注意力网络机制解决视频问答的方法 |
CN108334889B (zh) * | 2017-11-30 | 2020-04-03 | 腾讯科技(深圳)有限公司 | 摘要描述生成方法和装置、摘要描述模型训练方法和装置 |
CN107979764B (zh) * | 2017-12-06 | 2020-03-31 | 中国石油大学(华东) | 基于语义分割和多层注意力框架的视频字幕生成方法 |
JP6985121B2 (ja) * | 2017-12-06 | 2021-12-22 | 国立大学法人 東京大学 | 物体間関係認識装置、学習済みモデル、認識方法及びプログラム |
CN108171198B (zh) * | 2018-01-11 | 2020-02-11 | 合肥工业大学 | 基于非对称多层lstm的连续手语视频自动翻译方法 |
CN108364335A (zh) * | 2018-01-23 | 2018-08-03 | 腾讯科技(深圳)有限公司 | 一种动画绘制方法及装置 |
CN108345887B (zh) * | 2018-01-29 | 2020-10-02 | 清华大学深圳研究生院 | 图像语义分割模型的训练方法及图像语义分割方法 |
CN110475129B (zh) | 2018-03-05 | 2021-05-28 | 腾讯科技(深圳)有限公司 | 视频处理方法、介质及服务器 |
CN108492282B (zh) * | 2018-03-09 | 2021-08-06 | 天津工业大学 | 基于线结构光与多任务级联卷积神经网络的三维涂胶检测 |
CN108416026B (zh) * | 2018-03-09 | 2023-04-18 | 腾讯科技(深圳)有限公司 | 索引生成方法、内容搜索方法、装置及设备 |
CN108509880A (zh) * | 2018-03-21 | 2018-09-07 | 南京邮电大学 | 一种视频人物行为语义识别方法 |
CN108765383B (zh) * | 2018-03-22 | 2022-03-18 | 山西大学 | 基于深度迁移学习的视频描述方法 |
CN108446645B (zh) * | 2018-03-26 | 2021-12-31 | 天津大学 | 基于深度学习的车载人脸识别方法 |
CN108647255A (zh) * | 2018-04-23 | 2018-10-12 | 清华大学 | 基于注意力回归的视频时序句子定位方法及装置 |
CN108764299B (zh) * | 2018-05-04 | 2020-10-23 | 北京物灵智能科技有限公司 | 故事模型训练及生成方法、系统、机器人及存储设备 |
CN108805036B (zh) * | 2018-05-22 | 2022-11-22 | 电子科技大学 | 一种非监督视频语义提取方法 |
CN108921032B (zh) * | 2018-06-04 | 2022-04-29 | 创意信息技术股份有限公司 | 一种新的基于深度学习模型的视频语义提取方法 |
CN108829896B (zh) * | 2018-06-29 | 2022-03-25 | 北京百度网讯科技有限公司 | 回复信息反馈方法和装置 |
CN108960207B (zh) * | 2018-08-08 | 2021-05-11 | 广东工业大学 | 一种图像识别的方法、系统及相关组件 |
CN109308719B (zh) * | 2018-08-31 | 2022-03-15 | 电子科技大学 | 一种基于三维卷积的双目视差估计方法 |
CN109344288B (zh) * | 2018-09-19 | 2021-09-24 | 电子科技大学 | 一种基于多模态特征结合多层注意力机制的结合视频描述方法 |
CN109409221A (zh) * | 2018-09-20 | 2019-03-01 | 中国科学院计算技术研究所 | 基于帧选择的视频内容描述方法和系统 |
US10891969B2 (en) * | 2018-10-19 | 2021-01-12 | Microsoft Technology Licensing, Llc | Transforming audio content into images |
CN109684912A (zh) * | 2018-11-09 | 2019-04-26 | 中国科学院计算技术研究所 | 一种基于信息损失函数的视频描述方法和系统 |
CN109670453B (zh) * | 2018-12-20 | 2023-04-07 | 杭州东信北邮信息技术有限公司 | 一种提取短视频主题的方法 |
CN111464881B (zh) * | 2019-01-18 | 2021-08-13 | 复旦大学 | 基于自优化机制的全卷积视频描述生成方法 |
CN110119754B (zh) * | 2019-02-27 | 2022-03-29 | 北京邮电大学 | 图像生成描述方法、装置及模型 |
CN109961041B (zh) * | 2019-03-21 | 2021-03-23 | 腾讯科技(深圳)有限公司 | 一种视频识别方法、装置及存储介质 |
CN110288665B (zh) * | 2019-05-13 | 2021-01-15 | 中国科学院西安光学精密机械研究所 | 基于卷积神经网络的图像描述方法、计算机可读存储介质、电子设备 |
CN110188772A (zh) * | 2019-05-22 | 2019-08-30 | 清华大学深圳研究生院 | 基于深度学习的中文图像描述方法 |
CN110232413A (zh) * | 2019-05-31 | 2019-09-13 | 华北电力大学(保定) | 基于gru网络的绝缘子图像语义描述方法、系统、装置 |
CN110377710B (zh) * | 2019-06-17 | 2022-04-01 | 杭州电子科技大学 | 一种基于多模态融合的视觉问答融合增强方法 |
CN110363164A (zh) * | 2019-07-18 | 2019-10-22 | 南京工业大学 | 一种基于lstm时间一致性视频分析的统一方法 |
CN110909736A (zh) * | 2019-11-12 | 2020-03-24 | 北京工业大学 | 一种基于长短期记忆模型与目标检测算法的图像描述方法 |
CN110991290B (zh) * | 2019-11-26 | 2023-03-10 | 西安电子科技大学 | 基于语义指导与记忆机制的视频描述方法 |
CN111079601A (zh) * | 2019-12-06 | 2020-04-28 | 中国科学院自动化研究所 | 基于多模态注意力机制的视频内容描述方法、系统、装置 |
WO2021115115A1 (en) * | 2019-12-09 | 2021-06-17 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Zero-shot dynamic embeddings for photo search |
CN111259197B (zh) * | 2020-01-13 | 2022-07-29 | 清华大学 | 一种基于预编码语义特征的视频描述生成方法 |
CN111523430B (zh) * | 2020-04-16 | 2023-10-24 | 南京优慧信安科技有限公司 | 基于ucl的可定制交互式视频制作方法与装置 |
CN111985612B (zh) * | 2020-07-21 | 2024-02-06 | 西安理工大学 | 一种提高视频文本描述准确性的编码器网络模型设计方法 |
CN112529857B (zh) * | 2020-12-03 | 2022-08-23 | 重庆邮电大学 | 基于目标检测与策略梯度的超声图像诊断报告生成方法 |
CN112597966B (zh) * | 2021-01-05 | 2024-05-28 | 武汉球之道科技有限公司 | 一种基于比赛视频的动作自动识别方法 |
CN113901846B (zh) * | 2021-09-15 | 2024-05-24 | 昆明理工大学 | 基于时空注意力的视频引导机器翻译方法 |
WO2023050295A1 (zh) * | 2021-09-30 | 2023-04-06 | 中远海运科技股份有限公司 | 一种基于多模态异质特征融合的视频密集事件描述方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102156734A (zh) * | 2011-04-12 | 2011-08-17 | 西南科技大学 | 一种基于语义隐藏标引的视频内容管理方法 |
CN105005772A (zh) * | 2015-07-20 | 2015-10-28 | 北京大学 | 一种视频场景检测方法 |
CN105701480A (zh) * | 2016-02-26 | 2016-06-22 | 江苏科海智能系统有限公司 | 一种视频语义分析方法 |
CN105844239A (zh) * | 2016-03-23 | 2016-08-10 | 北京邮电大学 | 一种基于cnn和lstm的暴恐视频检测方法 |
CN106203283A (zh) * | 2016-06-30 | 2016-12-07 | 重庆理工大学 | 基于三维卷积深度神经网络和深度视频的动作识别方法 |
WO2017015947A1 (en) * | 2015-07-30 | 2017-02-02 | Xiaogang Wang | A system and a method for object tracking |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103905824A (zh) * | 2014-03-26 | 2014-07-02 | 深圳先进技术研究院 | 视频语义检索与压缩同步的摄像系统与方法 |
CN105303519A (zh) * | 2014-06-20 | 2016-02-03 | 汤姆逊许可公司 | 用于生成时间一致的超像素的方法和装置 |
US20160221190A1 (en) * | 2015-01-29 | 2016-08-04 | Yiannis Aloimonos | Learning manipulation actions from unconstrained videos |
CN105279495B (zh) * | 2015-10-23 | 2019-06-04 | 天津大学 | 一种基于深度学习和文本总结的视频描述方法 |
CN105631468B (zh) * | 2015-12-18 | 2019-04-09 | 华南理工大学 | 一种基于rnn的图片描述自动生成方法 |
CN105701460B (zh) * | 2016-01-07 | 2019-01-29 | 王跃明 | 一种基于视频的篮球进球检测方法和装置 |
-
2017
- 2017-03-22 CN CN201710174883.1A patent/CN107038221B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102156734A (zh) * | 2011-04-12 | 2011-08-17 | 西南科技大学 | 一种基于语义隐藏标引的视频内容管理方法 |
CN105005772A (zh) * | 2015-07-20 | 2015-10-28 | 北京大学 | 一种视频场景检测方法 |
WO2017015947A1 (en) * | 2015-07-30 | 2017-02-02 | Xiaogang Wang | A system and a method for object tracking |
CN105701480A (zh) * | 2016-02-26 | 2016-06-22 | 江苏科海智能系统有限公司 | 一种视频语义分析方法 |
CN105844239A (zh) * | 2016-03-23 | 2016-08-10 | 北京邮电大学 | 一种基于cnn和lstm的暴恐视频检测方法 |
CN106203283A (zh) * | 2016-06-30 | 2016-12-07 | 重庆理工大学 | 基于三维卷积深度神经网络和深度视频的动作识别方法 |
Non-Patent Citations (2)
Title |
---|
Specific video identification via joint learning of latent semantic concept, scene and temporal structure;Zhicheng Zhao et al;《Neurocomputing》;20161005;第208卷;第294-306页 * |
高通量视频内容分析技术;唐胜等;《工程研究-跨学科视野中的工程》;20140930;第6卷(第3期);第378-386页 * |
Also Published As
Publication number | Publication date |
---|---|
CN107038221A (zh) | 2017-08-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107038221B (zh) | 一种基于语义信息引导的视频内容描述方法 | |
CN107066973B (zh) | 一种利用时空注意力模型的视频内容描述方法 | |
CN108694225B (zh) | 一种图像搜索方法、特征向量的生成方法、装置及电子设备 | |
CN106845411B (zh) | 一种基于深度学习和概率图模型的视频描述生成方法 | |
US10713298B2 (en) | Video retrieval methods and apparatuses | |
CN111581510A (zh) | 分享内容处理方法、装置、计算机设备和存储介质 | |
CN106897371B (zh) | 中文文本分类系统及方法 | |
CN109710916B (zh) | 一种标签提取方法、装置、电子设备及存储介质 | |
Hoxha et al. | A new CNN-RNN framework for remote sensing image captioning | |
CN110414009B (zh) | 基于BiLSTM-CNN的英缅双语平行句对抽取方法及装置 | |
CN110083729B (zh) | 一种图像搜索的方法及系统 | |
CN107291825A (zh) | 一种视频中同款商品的检索方法和系统 | |
CN111078866A (zh) | 一种基于序列到序列模型的中文文本摘要生成方法 | |
CN110968725B (zh) | 图像内容描述信息生成方法、电子设备及存储介质 | |
CN115081437A (zh) | 基于语言学特征对比学习的机器生成文本检测方法及系统 | |
CN116186328A (zh) | 一种基于预聚类引导的视频文本跨模态检索方法 | |
CN113822368A (zh) | 一种基于无锚的增量式目标检测方法 | |
CN116662565A (zh) | 基于对比学习预训练的异质信息网络关键词生成方法 | |
CN116756303A (zh) | 一种多主题文本摘要自动生成方法及系统 | |
CN114444515A (zh) | 一种基于实体语义融合的关系抽取方法 | |
CN112417890B (zh) | 一种基于多样化语义注意力模型的细粒度实体分类方法 | |
Sowmyayani et al. | STHARNet: Spatio-temporal human action recognition network in content based video retrieval | |
CN111259197B (zh) | 一种基于预编码语义特征的视频描述生成方法 | |
CN117437461A (zh) | 一种面向开放世界的图像描述生成方法 | |
CN117216265A (zh) | 一种基于改进的图注意力网络新闻主题分类方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB03 | Change of inventor or designer information | ||
CB03 | Change of inventor or designer information |
Inventor after: Yan Chenggang Inventor after: Tu Yunbin Inventor after: Feng Xinle Inventor after: Li Bing Inventor after: Lou Jiedong Inventor after: Peng Dongliang Inventor after: Zhang Yongdong Inventor after: Wang Jianzhong Inventor before: Tu Yunbin Inventor before: Yan Chenggang Inventor before: Feng Xinle Inventor before: Li Bing Inventor before: Lou Jiedong Inventor before: Peng Dongliang Inventor before: Zhang Yongdong Inventor before: Wang Jianzhong |
|
GR01 | Patent grant | ||
GR01 | Patent grant |