CN112801017B - 一种视觉场景描述方法及系统 - Google Patents

一种视觉场景描述方法及系统 Download PDF

Info

Publication number
CN112801017B
CN112801017B CN202110174352.9A CN202110174352A CN112801017B CN 112801017 B CN112801017 B CN 112801017B CN 202110174352 A CN202110174352 A CN 202110174352A CN 112801017 B CN112801017 B CN 112801017B
Authority
CN
China
Prior art keywords
frame image
image
description
video
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110174352.9A
Other languages
English (en)
Other versions
CN112801017A (zh
Inventor
张旻晋
许达文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Shihaixintu Microelectronics Co ltd
Original Assignee
Chengdu Shihaixintu Microelectronics Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Shihaixintu Microelectronics Co ltd filed Critical Chengdu Shihaixintu Microelectronics Co ltd
Priority to CN202110174352.9A priority Critical patent/CN112801017B/zh
Publication of CN112801017A publication Critical patent/CN112801017A/zh
Application granted granted Critical
Publication of CN112801017B publication Critical patent/CN112801017B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开的一种视觉场景描述方法及系统，先对视频当前帧图像进行连续性要素处理后，将视频历史帧图像描述语句与连续性要素结果分别进行转换操作获得两组特征向量，将两组特征向量合并后推理运算生成图像描述词汇信息；再对图像描述词汇信息进行一系列处理后得到当前帧图像的最优描述语句；最后以当前帧图像的最优描述语句为下一帧图像的历史帧图像描述语句，循环处理下一帧图像；根据连续性要素处理对视频的图像进行包含多种特征的描述，同时以视频当前帧图像与历史帧图像描述语句来结合推理，具有极大的视觉刻画能力；不仅使视频的上一帧图像与下一帧图像建立连续性关系，而且减少了计算量和内存占用，减少边缘设备工作量。

Description

一种视觉场景描述方法及系统
技术领域
本发明涉及视觉描述技术领域，具体涉及一种视觉场景描述方法及系统。
背景技术
深度学习算法使电子设备对图像的刻画与描述具备了更加精准的能力，如基于图像物体的语义识别，图像中文本的识别，针对图像中物体位置、形状、纹理等特征的描述，并同时刻画出环境中各物体的关系，为计算机设备对环境提供了很好的刻画数据，使得设备对环境具有更深层的感知力，并依据所感知的信息做出更加准确的控制与决策。该技术为智能云中心管理，知识图谱的构建，机器人控制等领域提供很好的环境特征输入，提高相关领域的特征描绘能力与控制能力。然而，当前针对连续场景的视频描述中，其描述的特征仍然不够多样化，空间以及动态的特征刻画能力不够突出；同时，尽管在使用深度学习的方法在特征提取与物体识别等领域表现突出，但其巨大的计算量迫使在对刻画视频特征过程中需要极大算力，在边缘设备上难以达到需求。
发明内容
为克服上述技术的缺陷，本发明提供一种视觉场景描述方法及系统，视觉场景描述方法可根据视频图像场景中的连续性特征对其进行包含多种特征的描述，具有极大的视觉刻画能力。
本发明通过下述技术方案实现：
本方案提供的一种视觉场景描述方法，包括步骤：
S1.对视频当前帧图像进行连续性要素处理后获取当前帧图像的连续性要素结果；
S2.将视频历史帧图像描述语句与当前帧图像的连续性要素结果分别进行转换操作获得历史特征向量和当前特征向量；
S3.将史特征向量与当前特征向量合并后再进行推理运算生成图像描述词汇信息；
S4.将图像描述词汇信息分别进行组合优化和线性处理，并将组合优化结果和线性处理结果合并生成连续图像的初始描述语句；
S5.对连续图像的初始描述语句进行筛选处理得到当前帧图像的最优描述语句；
S6.以当前帧图像的最优描述语句为下一帧图像的视频历史帧图像描述语句，以下一帧图像作为视频当前帧图像，返回S1重复执行S1-S6直至视频描述完成。
对视频的每一帧图像进行上述计算后，最终获取完整的视频描述。
本方案工作原理：当前针对连续场景的视频描述中，其描述的特征不够多样化，空间以及动态的特征刻画能力不够突出；同时，尽管深度学习方法在特征提取与物体识别等领域表现突出，但其巨大的计算量迫使在对刻画视频特征过程中需要极大计算力，在边缘设备上难以达到需求，而本方案提供的一种视觉场景描述方法，可根据场景中的连续性要素处理对视频的图像进行包含多种特征的描述，同时以视频当前帧的图像与历史帧的图像描述语句来进行结合推理，具有极大的视觉刻画能力；不仅使视频的上一帧图像与下一帧图像建立连续性关系，而以历史帧的图像描述语句来参与计算，减少了计算量和内存占用，减少边缘设备工作量。
进一步优化方案为，S2中对视频历史帧图像描述语句与当前帧图像的连续性要素结果分别进行embedding转换操作。
进一步优化方案为，S3中将历史特征向量与当前特征向量合并后再进行transformer的推理运算生成图像描述词汇信息。
进一步优化方案为，所述连续性要素处理包括但不限于：光流检测处理，图像分割处理，图像目标检测处理，文本检测处理和图像文本识别处理。
进一步优化方案为，所述图像分割处理为：采用编码解码结构的卷积神经网络对视频当前帧图像执行特征块提取，对提取的特征块执行分割与框选操作，并对各特征块进行前场景标定和后场景标定。
进一步优化方案为，所述图像目标检测处理为：
采用AlexNet卷积神经网络的解耦股对视频当前帧图像执行特征提取，直至生成到指定规格的特征图；
对特征图进行卷积操作获得置信度与边框偏移量参数：
利用边框偏移量参数对各像素对应选框进行便宜处理，同时依据置信度对所有像素的边框执行排序与次优解求解，获得多个目标检测结果。
进一步优化方案为，所述图像文本识别处理为：
用已构建好的文本检测神经网络模型对视频当前帧图像中的文本进行识别，并对识别到的文本进行框选与位置标定；
利用文本方向纠正神经网络模型对图像框选部分的方向进行纠正并进行复制，生成只含有文本的子图像；
利用注意力网络模型对子图像进行文本识别，生成针对视频当前帧图像的文本内容与置信度。
进一步优化方案为，S4中使用注意力网络模型或递归神经网络模型对输入的图像描述词汇信息进行组合优化处理。
基于上述视觉场景描述方法，本发明还提供一种视觉场景描述系统，包括：
连续性要素处理模块用于对视频当前帧图像进行连续性要素处理后获取当前帧图像的连续性要素结果，连续性要素处理模块将当前帧图像的连续性要素结果发送给特征转换模块；
特征转换模块将视频历史帧图像描述语句与当前帧图像的连续性要素结果分别进行转换操作获得历史特征向量和当前特征向量，特征转换模块将历史特征向量和当前特征向量发送给第一计算模块；
第一计算模块将史特征向量与当前特征向量合并后再进行推理运算生成图像描述词汇信息，第一计算模块将图像描述词汇信息发送给第二计算模块；
第二计算模块将图像描述词汇信息分别进行组合优化和线性处理，并将组合优化结果和线性处理结果合并生成连续图像的初始描述语句；
第二计算模块对连续图像的初始描述语句进行筛选处理得到当前帧图像的最优描述语句；
反馈模块以当前帧图像的最优描述语句作为下一帧图像的视频历史帧图像描述语句发送给特征转换模块，反馈模块以下一帧图像作为视频当前帧图像发送给连续性要素处理模块。
进一步优化方案为，所述连续性要素处理包括但不限于：光流检测处理，图像分割处理，图像目标检测处理，文本检测处理和图像文本识别处理。
本发明与现有技术相比，具有如下的优点和有益效果：
本发明提出一种视觉场景描述方法及系统，根据场景中的连续性要素处理对视频的图像进行包含多种特征的描述，同时以视频当前帧的图像与历史帧的图像描述语句来进行结合推理，具有极大的视觉刻画能力；不仅使视频的上一帧图像与下一帧图像建立连续性关系，而以历史帧的图像描述语句来参与计算，减少了计算量和内存占用，减少边缘设备工作量。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。
图1是本发明视觉场景描述方法流程图；
图2是视觉场景描述系统结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
实施例1
图1是本实施例提供的一种视觉场景描述方法流程示意图，其步骤具体为：
步骤s1，对连当前帧图像分别执行连续性要素处理；
(本实施例中包括：光流检测处理，图像分割处理，图像目标检测处理，文本检测处理，文本识别处理后，获得连续性要素处理结果对应的为：光流场，场景分割结果，目标检测结果及置信度，文本检测结果，文本识别结果及其置信度；)
步骤s2，对视频历史帧图像描述语句与步骤s1生成的连续性要素处理结果执行embedding的转换操作得到两组特征向量，并将两组特征向量进行合并；
步骤s3，对步骤s2中合并特征向量执行transformer推理运算，生成图像描述词汇信息；
步骤s4，对步骤s3生成的图像描述词汇信息分别执行组合优化与线性处理，两者获得组合结果进行合并，生成连续图像的初始描述语句；
步骤s5，对步骤s4中连续图像的初始描述语句进行筛选处理，获得当前帧图像的最优描述语句；
步骤s6，以当前帧图像的最优描述语句为下一帧图像的视频历史帧图像描述语句，以下一帧图像作为视频当前帧图像，跳转至步骤s1。
最终获得该连续视频的描述结果。
在步骤s1中：
针对光流场的计算，其输入为针对视频上一帧的图像提取的特征，以及视频当前帧的图像，其步骤包含：
S111，执行针对视频当前帧图像的特征提取，获得视频当前帧图像提取的特征；
S112，执行针对视频上一帧的图像提取的特征与视频当前帧图像提取的特征进行位置匹配，计算各特征图中所有匹配像素的位置距离，获得光流场向量值；
针对图像分割的计算，其输入为视频当前帧图像，其步骤包含：
S121，采用编码解码结构的卷积神经网络对图像执行特征块提取；
S122，对特征块执行分割与框选操作，并对各特征块进行前后场景标定获得图像分割结果。
针对图像目标检测计算，其输入为视频当前帧图像，其步骤包括：
S131，采用以AlexNet卷积神经网络的解耦股对图像执行特征提取，直至生成到指定尺寸像素大小的特征图；
S132，针对已取得的特征图进行卷积操作，获得置信度与边框偏移量参数；
S133，利用边框偏移量参数对各像素对应选框进行便宜处理，同时依据置信度对所有像素的边框执行排序与次优解求解，获得多个目标检测结果；
针对图像文本识别计算，其输入为当前时刻图像，其步骤包括：
S141，利用用于文本检测的神经网络模型对图像中的文本进行识别，并对其进行框选与位置标定；
S142，利用与用于文本方向纠正的神经网络模型对图形的方向进行纠正并进行复制，生成只含有文本的子图像；
S143，利用注意力网络模型对图像进行文本识别，生成针对图像的文本内容与置信度；
需要说明的是，所述步骤s4，所用的组合优化方法采用注意力网络以及递归神经网络模型，对输入的词汇进行编码与解码。
步骤s2中的合并方法包含但不限于向量向的直接合并与线性化合并；所述线性处理，包含但不限于神经网络方法的词汇处理，用于生成包含但不限于衡量语句准确性的置信度值。
步骤s5中的筛选操作，包含但不限于以历史的预测语句通过对比相似度以排除新预测的重复语句；所述排列方法包含但不限于以语句置信度值对语句进行排序，以快速获取最优结果。
实施例2
视觉场景描述系统，包括：连续性要素处理模块用于对视频当前帧图像进行连续性要素处理后获取当前帧图像的连续性要素结果，连续性要素处理模块将当前帧图像的连续性要素结果发送给特征转换模块；
特征转换模块将视频历史帧图像描述语句与当前帧图像的连续性要素结果分别进行转换操作获得历史特征向量和当前特征向量，特征转换模块将历史特征向量和当前特征向量发送给第一计算模块；
第一计算模块将史特征向量与当前特征向量合并后再进行推理运算生成图像描述词汇信息，第一计算模块将图像描述词汇信息发送给第二计算模块；
第二计算模块将图像描述词汇信息分别进行组合优化和线性处理，并将组合优化结果和线性处理结果合并生成连续图像的初始描述语句；
第二计算模块对连续图像的初始描述语句进行筛选处理得到当前帧图像的最优描述语句；
反馈模块以当前帧图像的最优描述语句作为下一帧图像的视频历史帧图像描述语句发送给特征转换模块，反馈模块以下一帧图像作为视频当前帧图像发送给连续性要素处理模块。
连续性要素处理包括但不限于：光流检测处理，图像分割处理，图像目标检测处理，文本检测处理和图像文本识别处理。
具体的，如图2所示，视觉场景描述系统包括：卷积加速单元11，特征映射单元12，边框处理单元13，递归神经网络加速单元14，词典查表单元15，矩阵乘法加速单元16，归一化计算单元17，Softmax运算单元18，控制器单元19，主处理器单元20，存储器单元20，缓存单元21；
其中，卷积加速单元11，内部包含只晒一个针对向量乘法的乘法运算单元111与加法运算单元112，用于执行并加速包括但不限于光流计算过程中特征提取的卷积运算，图像分割任务中的卷积运算，目标检测过程中的特征提取计算，图像文本识别任务中的文本检测运算，文本方位纠正计算；
其中，特征映射单元12，内部包含代价计算单元121，用于实现前后帧提取特征各像素的相似度匹配；
其中，边框处理单元13，其内部包含至少一个乘法单元131，除法单元132，加法单元133，查找表单元134，用于实现目标检测工程中的边框回归，筛选处理；
其中，递归神经网络加速单元14，内部包含至少一个乘法器141及至少一个加法器142，用于实现针对关键词的组合优化运算过程中的递归神经网络；
其中，词典查表单元15，用于执行针对所述合并的特征向量执行推理运算过程中的embedding查表运算，进一步表征特征向量信息；
其中，矩阵乘法加速单元16，内部包含至少一个乘法器161，至少一个加法器162，用于执行针对所述合并与embedding查表转换后向量的矩阵乘法运算推理；
其中，归一化计算单元17，内部包含归一化运算部件，用于实现本发明提供的方法中合并特征向量的推理过程中的归一化运算，以及关键词的线性归一化运算；
其中，Softmax运算单元18，用于执行本发明提供的方法中合并特征向量的推理过程中的softmax运算；
其中，控制器单元19，内部包含控制逻辑模块191与指令缓存模块192，用于暂存并分析指令，生成控制信号，执行针对各模块的数据管理与运算控制；
其中，主处理器单元20，内部包含主处理器201，用于控制生成指令，执行针对本发明所提出方法运算过程中，光流检测运算过程中的像素映射，图像分割前景与后景的标记，图像文本识别过程中的图像方向纠正，以及描述语句中重复语句的掩码操作；
其中，存储器单元20，包含一种存储介质，用于存储输入图像，各运算特征图中间结果，以及各网络模型的权重，偏移量参数；
其中，缓存单元21，包含一种存储介质，用于暂存所述各模块单元之间的输入，输出，以及中间数据，权重，指令，以及用于执行对多种特征向量的拼接操作；
此外，本发明提供的运算装置，还包括了池化单元22，激活单元23，总线单元24，总线控制单元25，用于完成针对神经网络运算的池化域激活运算，以及各单元之间的连接。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1. 一种视觉场景描述方法，其特征在于，包括步骤：S1.对视频当前帧图像进行连续性要素处理后获取当前帧图像的连续性要素结果；所述连续性要素处理包括：光流检测处理，图像分割处理，图像目标检测处理，文本检测处理和图像文本识别处理；S2.将视频历史帧图像描述语句与当前帧图像的连续性要素结果分别进行转换操作获得历史特征向量和当前特征向量；S3.将历史特征向量与当前特征向量合并后再进行推理运算生成图像描述词汇信息；先将历史特征向量与当前特征向量合并后再进行transformer的推理运算生成图像描述词汇信息；S4.将图像描述词汇信息分别进行组合优化和线性处理，并将组合优化结果和线性处理结果合并生成连续图像的初始描述语句；使用注意力网络模型或递归神经网络模型对输入的图像描述词汇信息进行组合优化处理；S5.对连续图像的初始描述语句进行筛选处理得到当前帧图像的最优描述语句；S6.以当前帧图像的最优描述语句为下一帧图像的视频历史帧图像描述语句，以下一帧图像作为视频当前帧图像，返回S1重复执行S1-S6直至视频描述完成。
2.根据权利要求1所述的一种视觉场景描述方法，其特征在于，S2中对视频历史帧图像描述语句与当前帧图像的连续性要素结果分别进行embedding转换操作。
3.根据权利要求1所述的一种视觉场景描述方法，其特征在于，所述图像分割处理为：采用编码解码结构的卷积神经网络对视频当前帧图像执行特征块提取，对提取的特征块执行分割与框选操作，并对各特征块进行前场景标定和后场景标定。
4.根据权利要求1所述的一种视觉场景描述方法，其特征在于，所述图像目标检测处理为：采用AlexNet卷积神经网络的结构对视频当前帧图像执行特征提取，直至生成到指定规格的特征图；对特征图进行卷积操作获得置信度与边框偏移量参数；利用边框偏移量参数对各像素对应选框进行偏移处理，同时依据置信度对所有像素的边框执行排序与次优解求解，获得多个目标检测结果。
5.根据权利要求1所述的一种视觉场景描述方法，其特征在于，所述图像文本识别处理为：用已构建好的文本检测神经网络模型对视频当前帧图像中的文本进行识别，并对识别到的文本进行框选与位置标定；利用文本方向纠正神经网络模型对图像框选部分的方向进行纠正并进行复制，生成只含有文本的子图像；利用注意力网络模型对子图像进行文本识别，生成针对视频当前帧图像的文本内容与置信度。
6.一种视觉场景描述系统，用于权利要求1-5的任意一种视觉场景描述方法，其特征在于，包括：连续性要素处理模块用于对视频当前帧图像进行连续性要素处理后获取当前帧图像的连续性要素结果，连续性要素处理模块将当前帧图像的连续性要素结果发送给特征转换模块；特征转换模块将视频历史帧图像描述语句与当前帧图像的连续性要素结果分别进行转换操作获得历史特征向量和当前特征向量，特征转换模块将历史特征向量和当前特征向量发送给第一计算模块；第一计算模块将历史特征向量与当前特征向量合并后再进行推理运算生成图像描述词汇信息，第一计算模块将图像描述词汇信息发送给第二计算模块；第二计算模块将图像描述词汇信息分别进行组合优化和线性处理，并将组合优化结果和线性处理结果合并生成连续图像的初始描述语句；第二计算模块对连续图像的初始描述语句进行筛选处理得到当前帧图像的最优描述语句；反馈模块以当前帧图像的最优描述语句作为下一帧图像的视频历史帧图像描述语句发送给特征转换模块，反馈模块以下一帧图像作为视频当前帧图像发送给连续性要素处理模块。
7.根据权利要求6所述的一种视觉场景描述系统，其特征在于，所述连续性要素处理包括但不限于：光流检测处理，图像分割处理，图像目标检测处理，文本检测处理和图像文本识别处理。
CN202110174352.9A 2021-02-09 2021-02-09 一种视觉场景描述方法及系统 Active CN112801017B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110174352.9A CN112801017B (zh) 2021-02-09 2021-02-09 一种视觉场景描述方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110174352.9A CN112801017B (zh) 2021-02-09 2021-02-09 一种视觉场景描述方法及系统

Publications (2)

Publication Number Publication Date
CN112801017A CN112801017A (zh) 2021-05-14
CN112801017B true CN112801017B (zh) 2023-08-04

Family

ID=75814916

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110174352.9A Active CN112801017B (zh) 2021-02-09 2021-02-09 一种视觉场景描述方法及系统

Country Status (1)

Country Link
CN (1) CN112801017B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102902965A (zh) * 2012-10-09 2013-01-30 公安部第三研究所 实现多目标跟踪的视频图像数据结构化描述处理的方法
CN109961041A (zh) * 2019-03-21 2019-07-02 腾讯科技（深圳）有限公司 一种视频识别方法、装置及存储介质
CN110197135A (zh) * 2019-05-13 2019-09-03 北京邮电大学 一种基于多维分割的视频结构化方法
CN110458282A (zh) * 2019-08-06 2019-11-15 齐鲁工业大学 一种融合多角度多模态的图像描述生成方法及系统
CN110837579A (zh) * 2019-11-05 2020-02-25 腾讯科技（深圳）有限公司 视频分类方法、装置、计算机以及可读存储介质
CN111079601A (zh) * 2019-12-06 2020-04-28 中国科学院自动化研究所 基于多模态注意力机制的视频内容描述方法、系统、装置
CN111488807A (zh) * 2020-03-29 2020-08-04 复旦大学 基于图卷积网络的视频描述生成系统
CN111582287A (zh) * 2020-05-06 2020-08-25 西安交通大学 一种基于充足视觉信息与文本信息的图像描述方法
CN111723937A (zh) * 2019-03-21 2020-09-29 北京三星通信技术研究有限公司 多媒体数据的描述信息的生成方法、装置、设备及介质
CN111723238A (zh) * 2019-03-22 2020-09-29 曜科智能科技（上海）有限公司 视频多事件的裁剪及文本描述方法及其装置、设备和介质
CN111882580A (zh) * 2020-07-17 2020-11-03 元神科技(杭州)有限公司 一种视频多目标跟踪方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9807473B2 (en) * 2015-11-20 2017-10-31 Microsoft Technology Licensing, Llc Jointly modeling embedding and translation to bridge video and language

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102902965A (zh) * 2012-10-09 2013-01-30 公安部第三研究所 实现多目标跟踪的视频图像数据结构化描述处理的方法
CN109961041A (zh) * 2019-03-21 2019-07-02 腾讯科技（深圳）有限公司 一种视频识别方法、装置及存储介质
CN111723937A (zh) * 2019-03-21 2020-09-29 北京三星通信技术研究有限公司 多媒体数据的描述信息的生成方法、装置、设备及介质
CN111723238A (zh) * 2019-03-22 2020-09-29 曜科智能科技（上海）有限公司 视频多事件的裁剪及文本描述方法及其装置、设备和介质
CN110197135A (zh) * 2019-05-13 2019-09-03 北京邮电大学 一种基于多维分割的视频结构化方法
CN110458282A (zh) * 2019-08-06 2019-11-15 齐鲁工业大学 一种融合多角度多模态的图像描述生成方法及系统
CN110837579A (zh) * 2019-11-05 2020-02-25 腾讯科技（深圳）有限公司 视频分类方法、装置、计算机以及可读存储介质
CN111079601A (zh) * 2019-12-06 2020-04-28 中国科学院自动化研究所 基于多模态注意力机制的视频内容描述方法、系统、装置
CN111488807A (zh) * 2020-03-29 2020-08-04 复旦大学 基于图卷积网络的视频描述生成系统
CN111582287A (zh) * 2020-05-06 2020-08-25 西安交通大学 一种基于充足视觉信息与文本信息的图像描述方法
CN111882580A (zh) * 2020-07-17 2020-11-03 元神科技(杭州)有限公司 一种视频多目标跟踪方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于深度学习的视频描述技术;海歌;《中国优秀硕士学位论文全文数据库》(第01期);I138-2000 *

Also Published As

Publication number Publication date
CN112801017A (zh) 2021-05-14

Similar Documents

Publication Publication Date Title
US20200218948A1 (en) Thundernet: a turbo unified network for real-time semantic segmentation
US20230153615A1 (en) Neural network distillation method and apparatus
CN113128558B (zh) 基于浅层空间特征融合与自适应通道筛选的目标检测方法
CN113343982B (zh) 多模态特征融合的实体关系提取方法、装置和设备
CN111488985A (zh) 深度神经网络模型压缩训练方法、装置、设备、介质
WO2020088766A1 (en) Methods for optical flow estimation
US20240185086A1 (en) Model distillation method and related device
US20240135174A1 (en) Data processing method, and neural network model training method and apparatus
CN115147598A (zh) 目标检测分割方法、装置、智能终端及存储介质
CN116994021A (zh) 图像检测方法、装置、计算机可读介质及电子设备
CN114241360A (zh) 一种基于自适应推理的视频识别方法和装置
CN115841596B (zh) 多标签图像分类方法及其模型的训练方法、装置
CN115795355B (zh) 一种分类模型训练方法、装置及设备
CN112801017B (zh) 一种视觉场景描述方法及系统
CN111626298A (zh) 一种实时图像语义分割装置及分割方法
CN117392488A (zh) 一种数据处理方法、神经网络及相关设备
CN117036706A (zh) 一种基于多模态对话语言模型的图像分割方法和系统
CN116630975A (zh) 一种基于特征表示分解和鸟瞰图融合的语义场景补全方法
CN116403190A (zh) 目标对象的轨迹确定方法、装置、电子设备和存储介质
CN115861595A (zh) 一种基于深度学习的多尺度域自适应异源图像匹配方法
CN114820755A (zh) 一种深度图估计方法及系统
CN114648762A (zh) 语义分割方法、装置、电子设备和计算机可读存储介质
CN111815658A (zh) 一种图像识别方法及装置
CN115578613B (zh) 目标再识别模型的训练方法和目标再识别方法
US20240193866A1 (en) Methods and systems for 3d hand pose estimation from rgb images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant